WO2022142014A1 - 基于多模态信息融合的文本分类方法、及其相关设备 - Google Patents

基于多模态信息融合的文本分类方法、及其相关设备 Download PDF

Info

Publication number
WO2022142014A1
WO2022142014A1 PCT/CN2021/090497 CN2021090497W WO2022142014A1 WO 2022142014 A1 WO2022142014 A1 WO 2022142014A1 CN 2021090497 W CN2021090497 W CN 2021090497W WO 2022142014 A1 WO2022142014 A1 WO 2022142014A1
Authority
WO
WIPO (PCT)
Prior art keywords
text
image
sample
model
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2021/090497
Other languages
English (en)
French (fr)
Inventor
陈昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2022142014A1 publication Critical patent/WO2022142014A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/383—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • the present application relates to the field of artificial intelligence technology, and in particular, to a text classification method based on multimodal information fusion, and related equipment.
  • the correct classification and labeling of text information are crucial to the classification, storage, search and user understanding of information.
  • the conversion result may be ambiguous. Correctly classifying the text information can help users correctly understand the converted content.
  • the purpose of the embodiments of the present application is to propose a text classification method, device, computer equipment and storage medium based on multimodal information fusion, so as to solve the problem of using a single information source for information classification, lack of mutual verification of other homologous information, accuracy low problem.
  • the embodiments of the present application provide a text classification method based on multimodal information fusion, which adopts the following technical solutions:
  • the text is derived from multimodal information, wherein the multimodal information at least further includes images;
  • the fusion feature is input into a pre-trained text classification model to obtain a classification result of the text in the multimodal information.
  • the embodiments of the present application also provide a text classification device based on multimodal information fusion, which adopts the following technical solutions:
  • an acquisition module configured to acquire text to be classified, the text is derived from multimodal information, wherein the multimodal information at least further includes images;
  • a first extraction module configured to input the text into a pre-trained text feature extraction model for feature extraction to obtain text features of the text
  • a second extraction module configured to input the image in the multimodal information into a pre-trained image feature extraction model for feature extraction to obtain image features of the image;
  • a fusion module for inputting the text features and the image features into a pre-trained attention fusion model for feature fusion, to obtain a fusion feature fused with the text features and the image features;
  • a classification module configured to input the fusion feature into a pre-trained text classification model to obtain a classification result of the text in the multimodal information.
  • the embodiment of the present application also provides a computer device, which adopts the following technical solutions:
  • a computer device includes a memory and a processor, wherein computer-readable instructions are stored in the memory, and the processor implements the following steps when executing the computer-readable instructions:
  • the text is derived from multimodal information, wherein the multimodal information at least further includes images;
  • the fusion feature is input into a pre-trained text classification model to obtain a classification result of the text in the multimodal information.
  • the embodiments of the present application also provide a computer-readable storage medium, which adopts the following technical solutions:
  • a computer-readable storage medium where computer-readable instructions are stored on the computer-readable storage medium, and when the computer-readable instructions are executed by a processor, the processor is caused to perform the following steps:
  • the text is derived from multimodal information, wherein the multimodal information at least further includes images;
  • the fusion feature is input into a pre-trained text classification model to obtain a classification result of the text in the multimodal information.
  • the text is derived from multimodal information, wherein the multimodal information at least further includes images; inputting the text into a pre-trained text feature extraction model for feature extraction to obtain the text the text features of the image; input the image in the multimodal information into a pre-trained image feature extraction model for feature extraction to obtain the image features of the image; input the text features and the image features into the pre-trained image features
  • the attention fusion model performs feature fusion to obtain a fusion feature that fuses the text feature and the image feature; the fusion feature is input into a pre-trained text classification model, and the classification result of the text in the multimodal information is obtained. .
  • text classification is performed based on the fused features.
  • the text classification utilizes image information, and the classification results are more accurate.
  • FIG. 1 is an exemplary system architecture diagram to which the present application can be applied;
  • FIG. 2 is a flowchart of an embodiment of a text classification method based on multimodal information fusion according to the present application
  • FIG. 3 is a schematic structural diagram of the attention fusion model of the present application.
  • FIG. 4 is a schematic structural diagram of a gated activation layer in the attention fusion model of the present application.
  • FIG. 5 is a schematic structural diagram of an attention layer in the attention fusion model of the present application.
  • FIG. 6 is a schematic structural diagram of an embodiment of a text classification apparatus based on multimodal information fusion according to the present application
  • FIG. 7 is a schematic structural diagram of an embodiment of a computer device according to the present application.
  • the system architecture 100 may include terminal devices 101 , 102 , and 103 , a network 104 and a server 105 .
  • the network 104 is a medium used to provide a communication link between the terminal devices 101 , 102 , 103 and the server 105 .
  • the network 104 may include various connection types, such as wired, wireless communication links, or fiber optic cables, among others.
  • the user can use the terminal devices 101, 102, 103 to interact with the server 105 through the network 104 to receive or send messages and the like.
  • Various communication client applications may be installed on the terminal devices 101 , 102 and 103 , such as web browser applications, shopping applications, search applications, instant messaging tools, email clients, social platform software, and the like.
  • the terminal devices 101, 102, and 103 can be various electronic devices that have a display screen and support web browsing, including but not limited to smart phones, tablet computers, e-book readers, MP3 players (Moving Picture Experts Group Audio Layer III, dynamic Picture Experts Compression Standard Audio Layer 3), MP4 (Moving Picture Experts Group Audio Layer IV, Moving Picture Experts Compression Standard Audio Layer 4) Players, Laptops and Desktops, etc.
  • MP3 players Moving Picture Experts Group Audio Layer III, dynamic Picture Experts Compression Standard Audio Layer 3
  • MP4 Moving Picture Experts Group Audio Layer IV, Moving Picture Experts Compression Standard Audio Layer 4
  • the server 105 may be a server that provides various services, such as a background server that provides support for the pages displayed on the terminal devices 101 , 102 , and 103 .
  • the text classification method based on multimodal information fusion provided in the embodiment of the present application is generally executed by the server /terminal device , and accordingly, the text classification device based on multimodal information fusion is generally set on the server/ terminal device. in the terminal device .
  • terminal devices, networks and servers in FIG. 1 are merely illustrative. There can be any number of terminal devices, networks and servers according to implementation needs.
  • FIG. 2 a flowchart of one embodiment of a method for text classification based on multimodal information fusion according to the present application is shown.
  • the described text classification method based on multimodal information fusion includes the following steps:
  • Step S201 acquiring text to be classified, where the text is derived from multi-modal information, wherein the multi-modal information further includes at least an image.
  • the electronic device for example, the server/terminal device shown in FIG. 1
  • the text classification method based on multimodal information fusion runs can obtain the text to be classified through wired connection or wireless connection.
  • the above wireless connection methods may include but are not limited to 3G/4G connection, WiFi connection, Bluetooth connection, WiMAX connection, Zigbee connection, UWB (ultra wideband) connection, and other wireless connection methods currently known or developed in the future .
  • Multimodal here refers to various ways of representing information
  • multimodal information refers to information including images, text, and sounds.
  • the text to be classified here can be directly extracted from the multi-modal information.
  • the text to be classified comes from the extraction of text in the video.
  • the audio and video files of the video are used, the text to be classified comes from the text conversion result of the audio. Correctly classifying and labeling the text in the multimodal information will help users to understand the textual information correctly.
  • Step S202 Input the text into a pre-trained text feature extraction model for feature extraction to obtain text features of the text.
  • the pre-trained text feature extraction model is based on the DPCNN (Deep Pyramid Convolutional Neural Networks) structure, which is widely considered to be able to effectively extract semantic information in text.
  • DPCNN Deep Pyramid Convolutional Neural Networks
  • Step S203 Input the image in the multimodal information into a pre-trained image feature extraction model for feature extraction to obtain image features of the image.
  • the image feature extraction model is composed of the first five layers of the Resnet (Deep Residual Network) deep residual network, which is used for image feature extraction.
  • Resnet Deep Residual Network
  • Step S204 inputting the text feature and the image feature into a pre-trained attention fusion model for feature fusion, to obtain a fusion feature fused with the text feature and the image feature.
  • the attention fusion model mainly needs to realize the fusion of two features, including dimension filling and transformation. For example, if the text information comes from "watering trees", if there are areas of trees in the image, then the information of the tree areas in this image should be supplemented to the text information tensor in some way.
  • the attention fusion model here finds that the trees represent the trees region, and can effectively fuse it into the output information fusion feature.
  • the structure of the attention fusion model here is shown in Figure 3. It consists of a gated activation layer, an attention layer and a fusion layer.
  • the gated activation layer adopts a classic gated design, as shown in Figure 4.
  • the position shown by t is softmax as the activation operation, hi is the hidden state, ri is the learnable gating parameter, is the estimated state of the hidden state after the gating operation.
  • the attention layer is shown in Figure 5: it is composed of multiplication/addition operations and softmax operations between multiple convolutional layers.
  • the fusion layer is composed of residual structural blocks of resnet.
  • Step S205 inputting the fusion feature into a pre-trained text classification model to obtain a classification result of the text in the multimodal information.
  • the text is derived from multi-modal information, wherein the multi-modal information at least further includes images; inputting the text into a pre-trained text feature extraction model for feature extraction to obtain Text features of the text; input the images in the multimodal information into a pre-trained image feature extraction model for feature extraction to obtain image features of the images; input the text features and the image features into The pre-trained attention fusion model performs feature fusion to obtain a fusion feature that combines the text features and the image features; the fusion features are input into the pre-trained text classification model to obtain the text in the multimodal information. classification results. Through the fusion of text features and image features, text classification is performed based on the fused features. The text classification utilizes image information, and the classification results are more accurate.
  • the above electronic device may further perform the following steps:
  • Step S301 obtaining a multimodal information sample, where the multimodal information sample at least includes a text sample and an image sample;
  • Step S302 inputting the text samples in the multimodal information samples into a preset text feature extraction model to obtain the text sample features of the text samples;
  • Step S303 inputting the image samples in the multimodal information samples into a preset image feature extraction model to obtain image sample features of the image samples;
  • Step S304 inputting the text sample feature and the image sample feature into a preset attention fusion model to obtain the fusion sample feature of the multimodal information sample;
  • Step S305 inputting the fused sample features into a preset image restoration model for image restoration, to obtain a restored image of the image sample;
  • Step S306 compare the consistency between the restored image and the image sample through a first loss function, where the first loss function is:
  • L1
  • L2
  • X is the image sample
  • Y is the restored image
  • Step S307 Adjust the parameters of each node in the text feature extraction model, the image feature extraction model, the attention fusion model, and the image restoration model, and end when the first loss function reaches a minimum value, obtaining: The trained text feature extraction model, image feature extraction model and attention fusion model.
  • the preset text feature extraction model is based on DPCNN structure
  • the preset image feature extraction model is based on Resnet structure
  • the attention fusion model is composed of gated activation layer, attention layer and fusion layer
  • the image restoration model is based on CNN structure.
  • Extract features from text samples and image samples then perform feature fusion, restore the fused features, and compare the consistency between the restored images and image samples to check the completeness of the fusion features and ensure that the image information is integrated into the fusion features. for text classification.
  • the first loss function reaches the minimum value, and the first loss function is:
  • L1
  • L2
  • X is the image sample
  • Y is the restored image.
  • the first loss function reaches the minimum value, and it is considered that the restored image is consistent with the image sample.
  • the text feature extraction model, the image feature extraction model, and the attention fusion model reach the optimal state, and the training ends.
  • the text samples in the multimodal information samples are marked with reference classifications.
  • the above electronic device may perform the following steps:
  • the second loss function is used to compare whether the classification prediction result is consistent with the reference classification.
  • the second loss function is:
  • N is the number of training samples
  • the corresponding yi for the ith sample is the reference classification of the label
  • the parameters of each node of the text classification model are adjusted until the second loss function reaches a minimum, and a trained text classification model is obtained.
  • the text samples in the multimodal information samples are labeled as reference classification, and the fused sample features obtained by feature extraction and fusion of the text samples and image samples in the multimodal information samples are input into the text classification.
  • the text classification model is based on the textCNN structure, and the parameters of each node of the text classification model are adjusted so that the classification prediction results output by the text classification model are consistent with the standard reference classification, and the training of the text classification model is completed.
  • the softmax loss function is used here.
  • the above electronic device may perform the following steps:
  • the multimodal information includes at least audio information
  • Text conversion is performed on the audio information to obtain the text to be classified.
  • the multi-modal information contains audio information, and the audio needs to be converted into text.
  • the audio needs to be converted into text.
  • wrong conversions are prone to occur.
  • users need to make content understanding judgments based on text ,Error-prone. If the text converted from the audio information is correctly classified, it can help the user to understand the audio information, and it is also convenient to correctly classify the multimodal information. For example, if the text is converted to "home tree", and the text classification result is "person's name”, the user will not understand the action of "watering the tree”.
  • Audio-to-text conversion is achieved through general-purpose software.
  • step S201 the above electronic device may perform the following steps:
  • the text to be classified is subjected to word segmentation based on the HMM hidden Markov algorithm, and the word segmentation result of the to-be-classified text is obtained;
  • the word segmentation result constitutes a text tensor according to a preset corpus dictionary
  • the text tensor is input into a pre-trained text feature extraction model for feature extraction to obtain text features of the text.
  • the hidden Markov algorithm is applied to Chinese word segmentation.
  • a Chinese sentence is given as input, and the sequence string composed of "BEMS" is used as output, and then word segmentation is performed to obtain Enter the division of the sentence.
  • B represents that the word is the starting word in the word
  • M represents the middle word in the word
  • E represents the ending word in the word
  • S represents a single-character word.
  • What you want to get is the position of each character, but you only see these Chinese characters.
  • You need to use the Chinese characters to deduce the position of each character in the word, and what state each character belongs to is also related to the character before it.
  • This is a HMM problem.
  • the specific implementation can be realized by calling related functions in python based on the HMM algorithm.
  • the word segmentation result is formed into a text tensor including the time dimension.
  • a text tensor ⁇ t, contents> According to the time interval of 5s, construct a text tensor ⁇ t, contents>; here t refers to the moment obtained according to the time interval, and contents is the content obtained by the above method in this time interval.
  • the above electronic device may perform the following steps:
  • the two-dimensional image tensor is input into a pre-trained image feature extraction model for feature extraction to obtain image features of the image.
  • Grayscale the image in the multimodal information is to unify the RGB values of each pixel into the same value.
  • the grayscaled image will change from three-channel to single-channel.
  • binarization is performed, that is, the grayscale threshold is set, and the grayscale of the pixel greater than the grayscale threshold is set as the grayscale maximum value, and normalization is performed here. In the operation, it is set to 1, and the pixel grayscale less than the grayscale threshold is set to the grayscale minimum value, that is, set to 0, thereby realizing binarization.
  • the grayscale and binarized images not only retain the image features, but also reduce the data complexity.
  • the aforementioned storage medium may be a non-volatile storage medium such as a magnetic disk, an optical disk, a read-only memory (Read-Only Memory, ROM), or a random access memory (Random Access Memory, RAM) or the like.
  • the present application provides an embodiment of a text classification device based on multimodal information fusion, which is the same as the method embodiment shown in FIG. 2 .
  • the apparatus can be specifically applied to various electronic devices.
  • the text classification apparatus 600 based on multimodal information fusion described in this embodiment includes: an acquisition module 601 , a first extraction module 602 , a second extraction module 603 , a fusion module 604 and a classification module 605 . in:
  • Obtaining module 601 for obtaining the text to be classified, the text is derived from multimodal information, wherein the multimodal information at least also includes images;
  • a first extraction module 602 configured to input the text into a pre-trained text feature extraction model for feature extraction to obtain text features of the text;
  • the second extraction module 603 is configured to input the image in the multimodal information into a pre-trained image feature extraction model for feature extraction to obtain image features of the image;
  • a fusion module 604 configured to input the text feature and the image feature into a pre-trained attention fusion model for feature fusion, to obtain a fusion feature that fuses the text feature and the image feature;
  • the classification module 605 is configured to input the fusion feature into a pre-trained text classification model to obtain a classification result of the text in the multimodal information.
  • the text is derived from multimodal information, wherein the multimodal information at least further includes images; inputting the text into a pre-trained text feature extraction model for feature extraction to obtain the text the text features of the image; input the image in the multimodal information into a pre-trained image feature extraction model for feature extraction to obtain the image features of the image; input the text features and the image features into the pre-trained image features
  • the attention fusion model performs feature fusion to obtain a fusion feature that fuses the text feature and the image feature; the fusion feature is input into a pre-trained text classification model, and the classification result of the text in the multimodal information is obtained. .
  • text classification is performed based on the fused features.
  • the text classification utilizes image information, and the classification results are more accurate.
  • the text classification apparatus 600 based on multimodal information fusion further includes:
  • a first acquisition sub-module for acquiring multimodal information samples, the multimodal information samples at least including text samples and image samples;
  • a first extraction submodule configured to input text samples in the multimodal information samples into a preset text feature extraction model to obtain text sample features of the text samples;
  • a second extraction submodule configured to input the image samples in the multimodal information samples into a preset image feature extraction model to obtain image sample features of the image samples
  • a first fusion sub-module configured to input the text sample feature and the image sample feature into a preset attention fusion model to obtain the fusion sample feature of the multimodal information sample;
  • a first restoration sub-module configured to input the fused sample features into a preset image restoration model for image restoration, and obtain a restored image of the image sample
  • a first calculation submodule configured to compare the consistency between the restored image and the image sample through a first loss function, where the first loss function is:
  • L1
  • L2
  • X is the image sample
  • Y is the restored image
  • the first adjustment sub-module is used to adjust the parameters of each node in the text feature extraction model, the image feature extraction model, the attention fusion model and the image restoration model, until the first loss function reaches a minimum When the value ends, the trained text feature extraction model, image feature extraction model and attention fusion model are obtained.
  • the text classification apparatus 600 based on multimodal information fusion further includes:
  • a second acquisition sub-module for acquiring multimodal information, wherein the multimodal information at least includes audio information
  • the first conversion submodule is configured to perform text conversion on the audio information to obtain the text to be classified.
  • the text classification device based on multimodal information fusion further includes:
  • the first word segmentation submodule is used to segment the text to be classified based on the HMM Hidden Markov algorithm to obtain the word segmentation result of the text to be classified;
  • the first construction submodule is used to form a text tensor according to the word segmentation result according to a preset corpus dictionary
  • the third extraction sub-module is used for inputting the text tensor into a pre-trained text feature extraction model for feature extraction to obtain text features of the text.
  • the text classification apparatus 600 based on multimodal information fusion further includes:
  • a first processing submodule configured to grayscale the image in the multimodal information to obtain a grayscale image of the image
  • a second processing submodule configured to binarize the grayscale image to obtain a two-dimensional image tensor of the image
  • the fourth extraction sub-module is used for inputting the two-dimensional image tensor into a pre-trained image feature extraction model for feature extraction to obtain image features of the image.
  • the text classification apparatus 600 based on multimodal information fusion further includes:
  • a first prediction submodule configured to input the fused sample feature into a preset text classification model, and obtain a text sample classification prediction result output by the text classification model in response to the fused sample feature;
  • the second calculation submodule is used to compare whether the classification prediction result is consistent with the reference classification through a second loss function, and the second loss function is:
  • N is the number of training samples
  • the corresponding yi for the ith sample is the reference classification of the label
  • the second adjustment sub-module is used to adjust the parameters of each node of the text classification model, and ends when the second loss function reaches a minimum, and a trained text classification model is obtained.
  • FIG. 7 is a block diagram of the basic structure of a computer device according to this embodiment.
  • the computer device 7 includes a memory 71 , a processor 72 , and a network interface 73 that communicate with each other through a system bus. It should be pointed out that only the computer device 7 with components 71-73 is shown in the figure, but it should be understood that it is not required to implement all of the shown components, and more or less components may be implemented instead.
  • the computer device here is a device that can automatically perform numerical calculation and/or information processing according to pre-set or stored instructions, and its hardware includes but is not limited to microprocessors, special-purpose Integrated circuit (Application Specific Integrated Circuit, ASIC), programmable gate array (Field-Programmable Gate Array, FPGA), digital processor (Digital Signal Processor, DSP), embedded equipment, etc.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • DSP Digital Signal Processor
  • embedded equipment etc.
  • the computer equipment may be a desktop computer, a notebook computer, a palmtop computer, a cloud server and other computing equipment.
  • the computer device can perform human-computer interaction with the user through a keyboard, a mouse, a remote control, a touch pad or a voice control device.
  • the memory 71 includes at least one type of readable storage medium, and the readable storage medium includes flash memory, hard disk, multimedia card, card-type memory (for example, SD or DX memory, etc.), random access memory (RAM), static Random Access Memory (SRAM), Read Only Memory (ROM), Electrically Erasable Programmable Read Only Memory (EEPROM), Programmable Read Only Memory (PROM), Magnetic Memory, Magnetic Disk, Optical Disk, etc.
  • the memory 71 may be an internal storage unit of the computer device 7 , such as a hard disk or a memory of the computer device 7 .
  • the memory 71 may also be an external storage device of the computer device 7, such as a plug-in hard disk, a smart memory card (Smart Media Card, SMC), a secure digital (Secure Digital, SD) card, flash memory card (Flash Card), etc.
  • the memory 71 may also include both the internal storage unit of the computer device 7 and its external storage device.
  • the memory 71 is generally used to store the operating system and various application software installed on the computer device 7 , such as computer-readable instructions for a text classification method based on multimodal information fusion.
  • the memory 71 can also be used to temporarily store various types of data that have been output or will be output.
  • the processor 72 may be a central processing unit (Central Processing Unit, CPU), a controller, a microcontroller, a microprocessor, or other data processing chips. This processor 72 is typically used to control the overall operation of the computer device 7. In this embodiment, the processor 72 is configured to execute computer-readable instructions stored in the memory 71 or process data, for example, computer-readable instructions for executing the text classification method based on multimodal information fusion.
  • CPU Central Processing Unit
  • controller central processing unit
  • microcontroller a microcontroller
  • microprocessor microprocessor
  • This processor 72 is typically used to control the overall operation of the computer device 7.
  • the processor 72 is configured to execute computer-readable instructions stored in the memory 71 or process data, for example, computer-readable instructions for executing the text classification method based on multimodal information fusion.
  • the network interface 73 may include a wireless network interface or a wired network interface, and the network interface 73 is generally used to establish a communication connection between the computer device 7 and other electronic devices.
  • the text is derived from multimodal information, wherein the multimodal information at least further includes images; inputting the text into a pre-trained text feature extraction model for feature extraction to obtain the text the text features of the image; input the image in the multimodal information into a pre-trained image feature extraction model for feature extraction to obtain the image features of the image; input the text features and the image features into the pre-trained image features
  • the attention fusion model performs feature fusion to obtain a fusion feature that fuses the text feature and the image feature; the fusion feature is input into a pre-trained text classification model, and the classification result of the text in the multimodal information is obtained. .
  • text classification is performed based on the fused features.
  • the text classification utilizes image information, and the classification results are more accurate.
  • the present application also provides another embodiment, that is, to provide a computer-readable storage medium, where the computer-readable storage medium stores computer-readable instructions, and the computer-readable instructions can be executed by at least one processor to The at least one processor is caused to perform the steps of the method for text classification based on multimodal information fusion as described above.
  • the computer-readable storage medium may be non-volatile or volatile.
  • the text is derived from multimodal information, wherein the multimodal information at least further includes images; inputting the text into a pre-trained text feature extraction model for feature extraction to obtain the text the text features of the image; input the image in the multimodal information into a pre-trained image feature extraction model for feature extraction to obtain the image features of the image; input the text features and the image features into the pre-trained image features
  • the attention fusion model performs feature fusion to obtain a fusion feature that fuses the text feature and the image feature; the fusion feature is input into a pre-trained text classification model, and the classification result of the text in the multimodal information is obtained. .
  • text classification is performed based on the fused features.
  • the text classification utilizes image information, and the classification results are more accurate.
  • the methods of the above embodiments can be implemented by means of software plus a necessary general hardware platform, and of course hardware can also be used, but in many cases the former is better implementation.
  • the technical solution of the present application can be embodied in the form of a software product in essence or in a part that contributes to the prior art, and the computer software product is stored in a storage medium (such as ROM/RAM, magnetic disk, CD-ROM), including several instructions to make a terminal device (which may be a mobile phone, a computer, a server, an air conditioner, or a network device, etc.) execute the methods described in the various embodiments of this application.
  • a storage medium such as ROM/RAM, magnetic disk, CD-ROM

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Image Analysis (AREA)

Abstract

一种基于多模态信息融合的文本分类方法、装置、计算机设备及存储介质，属于人工智能领域，包括通过获取待分类的文本；将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征；将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征；将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征；将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果。通过文本特征和图像特征融合，基于融合后的特征进行文本分类，文本分类利用了图像信息，分类结果更准确。

Description

基于多模态信息融合的文本分类方法、及其相关设备
本申请要求于2020年12月29日提交中国专利局、申请号为202011594264.6，发明名称为“基于多模态信息融合的文本分类方法、及其相关设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能技术领域，尤其涉及基于多模态信息融合的文本分类方法、及其相关设备。
背景技术
在机器学习领域，尤其在自然语言处理领域，对文本信息正确的分类并标注正确的标签对信息的分类存储、搜索以及用户的理解至关重要。尤其，当文本来源与语音转换时，由于技术的限制，转换结果可能具有歧义，对文本信息正确分类，能帮助用户正确理解转换的内容。
发明人发现当前绝大多数方法都只是涉及单一模态的输入，机器视觉仅仅是基于图像、视频；自然语言仅仅是语言本身。而当下场景中，视频等动态场景非常丰富，是各个业务场景中占比相当大的信息输入，单一采用其中一种信息来源，比如仅仅采用视频中的语音信息，是对信息的一种浪费。且采用单一信息源进行信息分类，缺少其他同源信息的互相验证，准确度低。
发明内容
本申请实施例的目的在于提出一种基于多模态信息融合的文本分类方法、装置、计算机设备及存储介质，以解决采用单一信息源进行信息分类，缺少其他同源信息的互相验证，准确度低的问题。
为了解决上述技术问题，本申请实施例提供一种基于多模态信息融合的文本分类方法，采用了如下所述的技术方案：
获取待分类的文本，所述文本来源于多模态信息，其中所述多模态信息至少还包含图像；
将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征；
将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征；
将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征；
将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果。
为了解决上述技术问题，本申请实施例还提供一种基于多模态信息融合的文本分类装置，采用了如下所述的技术方案：
获取模块，用于获取待分类的文本，所述文本来源于多模态信息，其中所述多模态信息至少还包含图像；
第一提取模块，用于将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征；
第二提取模块，用于将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征；
融合模块，用于将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征；
分类模块，用于将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：
获取待分类的文本，所述文本来源于多模态信息，其中所述多模态信息至少还包含图像；
将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征；
将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征；
将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征；
将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
一种计算机可读存储介质，计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时，使得所述处理器执行如下步骤：
获取待分类的文本，所述文本来源于多模态信息，其中所述多模态信息至少还包含图像；
将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征；
将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征；
将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征；
将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果。
与现有技术相比，本申请实施例主要有以下有益效果：
通过获取待分类的文本，所述文本来源于多模态信息，其中所述多模态信息至少还包含图像；将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征；将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征；将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征；将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果。通过文本特征和图像特征融合，基于融合后的特征进行文本分类，文本分类利用了图像信息，分类结果更准确。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2根据本申请的基于多模态信息融合的文本分类方法的一个实施例的流程图；
图3是本申请的注意力融合模型的结构示意图；
图4是本申请的注意力融合模型中门控激活层的结构示意图；
图5是本申请的注意力融合模型中注意层的结构示意图；
图6是根据本申请的基于多模态信息融合的文本分类装置的一个实施例的结构示意图；
图7是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的基于多模态信息融合的文本分类方法一般由 服 务器/终端设备执行，相应地，基于多模态信息融合的文本分类装置一般设置于 服务器/终 端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的基于多模态信息融合的文本分类的方法的一个实施例的流程图。所述的基于多模态信息融合的文本分类方法，包括以下步骤：
步骤S201，获取待分类的文本，所述文本来源于多模态信息，其中所述多模态信息至少还包含图像。
在本实施例中，基于多模态信息融合的文本分类方法运行于其上的电子设备(例如图1所示的 服务器/终端设备)可以通过有线连接方式或者无线连接方式获取待分类的文本。需 要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
多模态这里指表征信息的方式为多种，多模态信息指包含图像、文字、声音的信息。这里待分类的文本可以直接提取自多模态信息，例如当多模态信息为包含文字的视频时，待分类的文本来源于对视频中文字的提取，当多模态信息为包含包含音频和视频的影音文件时，待分类的文本来源于对音频的文字转换结果。对多模态信息中的文本进行正确的分类并标注正确的标签，有助于用户正确的理解文本信息。
步骤S202，将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征。
在本实施例中，预先训练的文本特征提取模型基于DPCNN(Deep Pyramid Convolutional Neural Networks)结构，该结构被广泛认为可以有效提取文本中语义信息。我们这里采用DPCNN中pooling前的卷积层与残差层所组成的结构构成本申请的文本特征提取模型。
步骤S203，将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征。
在本实施例中，图像特征提取模型由Resnet(Deep residual network)深度残差网络的前5层结构构成，用于图像特征的提取。
步骤S204，将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征。
本实施例中，注意力融合模型，主要需要实现两个特征的融合，包含维度的填充和变换。例如如果文本信息来源于“浇树”,如果图像中确实有树木的区域，那么应将这里图像中树木区域的信息以某种方式补充到文本信息张量中，这里的注意力融合模型发现表示树木的区域，并能有效将其融合到输出的信融合特征中。这里的注意力融合模型，结构如图3所示，由门控激活层，注意层以及融合层构成，其中门控激活层采用的是经典的门控设计，如图4所示，在g i t所示位置为softmax作为激活操作，h i为隐含状态，r i为可学习的门控参数，
Figure PCTCN2021090497-appb-000001
为隐含状态经过门控操作后的估计状态。注意层如图5所示：使用多个卷积层之间的乘\加法运算与softmax运算所构成。融合层用resnet的残差结构块所构成。
步骤S205，将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果。
本申请通过通过获取待分类的文本，所述文本来源于多模态信息，其中所述多模态信息至少还包含图像；将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征；将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征；将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征；将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果。通过文本特征和图像特征融合，基于融合后的特征进行文本分类，文本分类利用了图像信息，分类结果更准确。
在本实施例的一些可选的实现方式中，在步骤S202之前，上述电子设备还可以执行以下步骤：
步骤S301，获取多模态信息样本，所述多模态信息样本至少包含文本样本和图像样本；
步骤S302，将所述多模态信息样本中的文本样本输入到预设的文本特征提取模型，获得所述文本样本的文本样本特征；
步骤S303，将所述多模态信息样本中的图像样本输入到预设的图像特征提取模型，获得所述图像样本的图像样本特征；
步骤S304，将所述文本样本特征和图像样本特征输入到预设的注意力融合模型，获得 所述多模态信息样本的融合样本特征；
步骤S305，将所述融合样本特征输入到预设的图像还原模型进行图像还原，获得所述图像样本的还原图像；
步骤S306，通过第一损失函数比较所述还原图像和所述图像样本之间的一致性，所述第一损失函数为：
L＝L1+L2
其中L1＝||X-Y||,L2＝||X-Y|| 2,X为所述图像样本，Y为所述还原图像；
步骤S307，调整所述文本特征提取模型、所述图像特征提取模型、所述注意力融合模型和所述图像还原模型中各节点的参数，至所述第一损失函数达到最小值时结束，得到训练好的文本特征提取模型、图像特征提取模型和注意力融合模型。
预设的文本特征提取模型基于DPCNN结构，预设的图像特征提取模型基于Resnet结构，注意融合模型由门控激活层，注意层以及融合层构成,图像还原模型基于CNN结构。
将文本样本和图像样本进行特征提取，然后进行特征融合，对融合后的特征进行图像还原，比较还原图像与图像样本之间的一致性，可以检验融合特征的完备性，确保图像信息融入融合特征用于文本分类。
通过调整文本特征提取模型、图像特征提取模型、注意力融合模型和图像还原模型中各节点的参数，使第一损失函数到达最小值，第一损失函数为：
L＝L1+L2
其中L1＝||X-Y||,L2＝||X-Y|| 2,X为所述图像样本，Y为所述还原图像。第一损失函数达到最小值，认为还原图像与图像样本具有一致性，此时，文本特征提取模型、图像特征提取模型、注意力融合模型达到最优状态，训练结束。
参考上述实现方式，多模态信息样本中的文本样本标注有参考分类，在步骤S304之后，步骤S205之前，上述电子设备可以执行以下步骤：
将所述融合样本特征输入到预设的文本分类模型，获得所述文本分类模型响应所述融合样本特征输出的文本样本分类预测结果；
通过第二损失函数比较所述分类预测结果与所述参考分类是否一致，第二损失函数为：
Figure PCTCN2021090497-appb-000002
其中，N为训练样本数，针对第i个样本其对应的yi是标注的参考分类，h＝(h1,h2,...,hc)为样本i的分类预测结果，其中C是所有分类的数量；
调整所述文本分类模型各节点的参数，至所述第二损失函数达到最小时结束，得到训练好的文本分类模型。
这里为文本分类模型的训练过程，将多模态信息样本中的文本样本标注参考分类，将多模态信息样本中的文本样本和图像样本进行特征提取和融合得到的融合样本特征输入到文本分类模型中，文本分类模型基于textCNN结构，调节文本分类模型各节点的参数，使文本分类模型输出的分类预测结果与标准的参考分类一致，文本分类模型训练完毕。这里使用softmax损失函数。
在一些可选的实现方式中，在步骤S201之前，上述电子设备可以执行以下步骤：
获取多模态信息，其中所述多模态信息至少包含音频信息；
将所述音频信息进行文字转换，获取待分类的文本。
在一些场景下，多模态信息包含音频信息，且需要对音频进行文字转换，而在文字转换的过程中，由于技术的限制，容易出现错误的转换，当用户需要基于文字进行内容理解判断时，容易出错。如果对音频信息转换的文字进行正确的分类，可以帮助用户理解音频 信息，也方便对多模态信息正确分类。例如，文字转换为“家树”，文本分类结果为“人名”，用户就不会理解为“浇树”的动作。
音频转文字通过通用的软件实现。
在一些可选的实现方式中,在步骤S201之后，上述电子设备可以执行以下步骤：
将所述待分类的文本基于HMM隐马尔可夫算法进行分词，得到所述待分类文本的分词结果；
将所述分词结果根据预设的语料字典构成文本张量；
将所述文本张量输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征。
将待分类文本使用HMM隐马尔可夫算法进行分词，隐马尔可夫算法应用于中文分词，给一个汉语句子作为输入，以“BEMS”组成的序列串作为输出，然后再进行切词，进而得到输入句子的划分。其中，B代表该字是词语中的起始字，M代表是词语中的中间字，E代表是词语中的结束字，S则代表是单字成词。想要得到的是每个字的位置，但是看到的只是这些汉字，需要通过汉字来推出每个字在词语中的位置，并且每个字属于什么状态还和它之前的字有关，这是个HMM问题。此时，我们需要根据可观察状态的序列找到一个最可能的隐藏状态序列。具体实现可以基于HMM算法通过调用python中的相关函数实现。
根据预设的语料字典将分词结果构成包含时间维度的文本张量。按照时间间隔为5s，构建文本张量<t,contents>；这里的t是指根据时间间隔获得的时刻，contents就是上述方法所获得的这个时间间隔内的内容。
在一些可选的实现方式中,在步骤S203之前，上述电子设备可以执行以下步骤：
将所述多模态信息中的图像进行灰度化，得到所述图像的灰度图；
将所述灰度图进行二值化，得到所述图像的二维图像张量；
将所述二维图像张量输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征。
将多模态信息中的图像进行灰度化，灰度化的过程就是将每个像素点的RGB值统一成同一个值。灰度化后的图像将由三通道变为单通道，灰度化之后进行二值化，即设定灰度阈值，把大于灰度阈值像素灰度设为灰度极大值，这里进行归一化操作，即设为1，把小于灰度阈值的像素灰度设为灰度极小值，即设为0，从而实现二值化。经过灰度化和二值化处理的图像既保留了图像特征，又减少了数据复杂度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图6，作为对上述图2所示方法的实现，本申请提供了一种基于多模态信息融合的文本分类装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图6所示，本实施例所述的基于多模态信息融合的文本分类装置600包括：获取模块601、第一提取模块602、第二提取模块603、融合模块604以及分类模块605。其中：
获取模块601，用于获取待分类的文本，所述文本来源于多模态信息，其中所述多模 态信息至少还包含图像；
第一提取模块602，用于将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征；
第二提取模块603，用于将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征；
融合模块604，用于将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征；
分类模块605，用于将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果。
通过获取待分类的文本，所述文本来源于多模态信息，其中所述多模态信息至少还包含图像；将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征；将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征；将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征；将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果。通过文本特征和图像特征融合，基于融合后的特征进行文本分类，文本分类利用了图像信息，分类结果更准确。
在本实施例的一些可选的实现方式中，基于多模态信息融合的文本分类装置600，还包括：
第一获取子模块，用于获取多模态信息样本，所述多模态信息样本至少包含文本样本和图像样本；
第一提取子模块，用于将所述多模态信息样本中的文本样本输入到预设的文本特征提取模型，获得所述文本样本的文本样本特征；
第二提取子模块，用于将所述多模态信息样本中的图像样本输入到预设的图像特征提取模型，获得所述图像样本的图像样本特征；
第一融合子模块，用于将所述文本样本特征和图像样本特征输入到预设的注意力融合模型，获得所述多模态信息样本的融合样本特征；
第一还原子模块，用于将所述融合样本特征输入到预设的图像还原模型进行图像还原，获得所述图像样本的还原图像；
第一计算子模块，用于通过第一损失函数比较所述还原图像和所述图像样本之间的一致性，所述第一损失函数为：
L＝L1+L2
其中L1＝||X-Y||,L2＝||X-Y|| 2,X为所述图像样本，Y为所述还原图像；
第一调整子模块，用于调整所述文本特征提取模型、所述图像特征提取模型、所述注意力融合模型和所述图像还原模型中各节点的参数，至所述第一损失函数达到最小值时结束，得到训练好的文本特征提取模型、图像特征提取模型和注意力融合模型。
在本实施例的一些可选的实现方式中，基于多模态信息融合的文本分类装置600，还包括：
第二获取子模块，用于获取多模态信息，其中所述多模态信息至少包含音频信息；
第一转换子模块，用于将所述音频信息进行文字转换，获取待分类的文本。
进一步的，所述基于多模态信息融合的文本分类装置，还包括：
第一分词子模块，用于将所述待分类的文本基于HMM隐马尔可夫算法进行分词，得到所述待分类文本的分词结果；
第一构建子模块，用于将所述分词结果根据预设的语料字典构成文本张量；
第三提取子模块，用于将所述文本张量输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征。
在本实施例的一些可选的实现方式中，基于多模态信息融合的文本分类装置600，还包括：
第一处理子模块，用于将所述多模态信息中的图像进行灰度化，得到所述图像的灰度图；
第二处理子模块，用于将所述灰度图进行二值化，得到所述图像的二维图像张量；
第四提取子模块，用于将所述二维图像张量输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征。
在本实施例的一些可选的实现方式中，基于多模态信息融合的文本分类装置600，还包括：
第一预测子模块，用于将所述融合样本特征输入到预设的文本分类模型，获得所述文本分类模型响应所述融合样本特征输出的文本样本分类预测结果；
第二计算子模块，用于通过第二损失函数比较所述分类预测结果与所述参考分类是否一致，第二损失函数为：
Figure PCTCN2021090497-appb-000003
其中，N为训练样本数，针对第i个样本其对应的yi是标注的参考分类，h＝(h1,h2,...,hc)为样本i的分类预测结果，其中C是所有分类的数量；
第二调整子模块，用于调整所述文本分类模型各节点的参数，至所述第二损失函数达到最小时结束，得到训练好的文本分类模型。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图7，图7为本实施例计算机设备基本结构框图。
所述计算机设备7包括通过系统总线相互通信连接存储器71、处理器72、网络接口73。需要指出的是，图中仅示出了具有组件71-73的计算机设备7，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器71至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器71可以是所述计算机设备7的内部存储单元，例如该计算机设备7的硬盘或内存。在另一些实施例中，所述存储器71也可以是所述计算机设备7的外部存储设备，例如该计算机设备7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器71还可以既包括所述计算机设备7的内部存储单元也包括其外部存储设备。本实施例中，所述存储器71通常用于存储安装于所述计算机设备7的操作系统和各类应用软件，例如基于多模态信息融合的文本分类方法的计算机可读指令等。此外，所述存储器71还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器72在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器72通常用于控制所述计算 机设备7的总体操作。本实施例中，所述处理器72用于运行所述存储器71中存储的计算机可读指令或者处理数据，例如运行所述基于多模态信息融合的文本分类方法的计算机可读指令。
所述网络接口73可包括无线网络接口或有线网络接口，该网络接口73通常用于在所述计算机设备7与其他电子设备之间建立通信连接。
通过获取待分类的文本，所述文本来源于多模态信息，其中所述多模态信息至少还包含图像；将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征；将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征；将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征；将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果。通过文本特征和图像特征融合，基于融合后的特征进行文本分类，文本分类利用了图像信息，分类结果更准确。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于多模态信息融合的文本分类方法的步骤。所述计算机可读存储介质可以是非易失性，也可以是易失性。
通过获取待分类的文本，所述文本来源于多模态信息，其中所述多模态信息至少还包含图像；将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征；将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征；将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征；将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果。通过文本特征和图像特征融合，基于融合后的特征进行文本分类，文本分类利用了图像信息，分类结果更准确。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (20)

  1. 一种基于多模态信息融合的文本分类方法，包括下述步骤：
    获取待分类的文本，所述文本来源于多模态信息，其中所述多模态信息至少还包含图像；
    将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征；
    将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征；
    将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征；
    将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果。
  2. 根据权利要求1所述的基于多模态信息融合的文本分类方法，其中，在所述将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征的步骤之前还包括：
    获取多模态信息样本，所述多模态信息样本至少包含文本样本和图像样本；
    将所述多模态信息样本中的文本样本输入到预设的文本特征提取模型，获得所述文本样本的文本样本特征；
    将所述多模态信息样本中的图像样本输入到预设的图像特征提取模型，获得所述图像样本的图像样本特征；
    将所述文本样本特征和图像样本特征输入到预设的注意力融合模型，获得所述多模态信息样本的融合样本特征；
    将所述融合样本特征输入到预设的图像还原模型进行图像还原，获得所述图像样本的还原图像；
    通过第一损失函数比较所述还原图像和所述图像样本之间的一致性，所述第一损失函数为：
    L＝L1+L2
    其中L1＝||X-Y||,L2＝||X-Y|| 2,X为所述图像样本，Y为所述还原图像；
    调整所述文本特征提取模型、所述图像特征提取模型、所述注意力融合模型和所述图像还原模型中各节点的参数，至所述第一损失函数达到最小值时结束，得到训练好的文本特征提取模型、图像特征提取模型和注意力融合模型。
  3. 根据权利要求1所述的基于多模态信息融合的文本分类方法，其中，在所述获取待分类的文本的步骤之前，还包括：
    获取多模态信息，其中所述多模态信息至少包含音频信息；
    将所述音频信息进行文字转换，获取待分类的文本。
  4. 根据权利要求1所述的基于多模态信息融合的文本分类方法，其中，在所述获取待分类的文本的步骤之后，还包括：
    将所述待分类的文本基于HMM隐马尔可夫算法进行分词，得到所述待分类文本的分词结果；
    将所述分词结果根据预设的语料字典构成文本张量；
    将所述文本张量输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征。
  5. 根据权利要求1所述的基于多模态信息融合的文本分类方法，其中，在所述将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征的步骤之前，还包括：
    将所述多模态信息中的图像进行灰度化，得到所述图像的灰度图；
    将所述灰度图进行二值化，得到所述图像的二维图像张量；
    将所述二维图像张量输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征。
  6. 根据权利要求2所述的基于多模态信息融合的文本分类方法，其中，所述多模态信息样本中的文本样本标注有参考分类，在所述将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果的步骤之前，在所述将所述文本样本特征和图像样本特征输入到预设的注意力融合模型，获得所述多模态信息样本的融合样本特征的步骤之后，还包括：
    将所述融合样本特征输入到预设的文本分类模型，获得所述文本分类模型响应所述融合样本特征输出的文本样本分类预测结果；
    通过第二损失函数比较所述分类预测结果与所述参考分类是否一致，第二损失函数为：
    Figure PCTCN2021090497-appb-100001
    其中，N为训练样本数，针对第i个样本其对应的yi是标注的参考分类，h＝(h1,h2,...,hc)为样本i的分类预测结果，其中C是所有分类的数量；
    调整所述文本分类模型各节点的参数，至所述第二损失函数达到最小时结束，得到训练好的文本分类模型。
  7. 一种基于多模态信息融合的文本分类装置，包括：
    获取模块，用于获取待分类的文本，所述文本来源于多模态信息，其中所述多模态信息至少还包含图像；
    第一提取模块，用于将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征；
    第二提取模块，用于将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征；
    融合模块，用于将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征；
    分类模块，用于将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果。
  8. 根据权利要求7所述的基于多模态信息融合的文本分类装置，还包括：
    第一获取子模块，用于获取多模态信息样本，所述多模态信息样本至少包含文本样本和图像样本；
    第一提取子模块，用于将所述多模态信息样本中的文本样本输入到预设的文本特征提取模型，获得所述文本样本的文本样本特征；
    第二提取子模块，用于将所述多模态信息样本中的图像样本输入到预设的图像特征提取模型，获得所述图像样本的图像样本特征；
    第一融合子模块，用于将所述文本样本特征和图像样本特征输入到预设的注意力融合模型，获得所述多模态信息样本的融合样本特征；
    第一还原子模块，用于将所述融合样本特征输入到预设的图像还原模型进行图像还原，获得所述图像样本的还原图像；
    第一计算子模块，用于通过第一损失函数比较所述还原图像和所述图像样本之间的一致性，所述第一损失函数为：
    L＝L1+L2
    其中L1＝||X-Y||,L2＝||X-Y|| 2,X为所述图像样本，Y为所述还原图像；
    第一调整子模块，用于调整所述文本特征提取模型、所述图像特征提取模型、所述注意力融合模型和所述图像还原模型中各节点的参数，至所述第一损失函数达到最小值时结 束，得到训练好的文本特征提取模型、图像特征提取模型和注意力融合模型。
  9. 一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：
    获取待分类的文本，所述文本来源于多模态信息，其中所述多模态信息至少还包含图像；
    将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征；
    将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征；
    将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征；
    将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果。
  10. 根据权利要求9所述的计算机设备，其中，在所述将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征的步骤之前，所述处理器执行所述计算机可读指令时还实现如下步骤：
    获取多模态信息样本，所述多模态信息样本至少包含文本样本和图像样本；
    将所述多模态信息样本中的文本样本输入到预设的文本特征提取模型，获得所述文本样本的文本样本特征；
    将所述多模态信息样本中的图像样本输入到预设的图像特征提取模型，获得所述图像样本的图像样本特征；
    将所述文本样本特征和图像样本特征输入到预设的注意力融合模型，获得所述多模态信息样本的融合样本特征；
    将所述融合样本特征输入到预设的图像还原模型进行图像还原，获得所述图像样本的还原图像；
    通过第一损失函数比较所述还原图像和所述图像样本之间的一致性，所述第一损失函数为：
    L＝L1+L2
    其中L1＝||X-Y||,L2＝||X-Y|| 2,X为所述图像样本，Y为所述还原图像；
    调整所述文本特征提取模型、所述图像特征提取模型、所述注意力融合模型和所述图像还原模型中各节点的参数，至所述第一损失函数达到最小值时结束，得到训练好的文本特征提取模型、图像特征提取模型和注意力融合模型。
  11. 根据权利要求9所述的计算机设备，其中，在所述获取待分类的文本的步骤之前，所述处理器执行所述计算机可读指令时还实现如下步骤：
    获取多模态信息，其中所述多模态信息至少包含音频信息；
    将所述音频信息进行文字转换，获取待分类的文本。
  12. 根据权利要求9所述的计算机设备，其中，在所述获取待分类的文本的步骤之后，所述处理器执行所述计算机可读指令时还实现如下步骤：
    将所述待分类的文本基于HMM隐马尔可夫算法进行分词，得到所述待分类文本的分词结果；
    将所述分词结果根据预设的语料字典构成文本张量；
    将所述文本张量输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征。
  13. 根据权利要求9所述的计算机设备，其中，在所述将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征的步骤之前，所述处理器执行所述计算机可读指令时还实现如下步骤：
    将所述多模态信息中的图像进行灰度化，得到所述图像的灰度图；
    将所述灰度图进行二值化，得到所述图像的二维图像张量；
    将所述二维图像张量输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征。
  14. 根据权利要求10所述的计算机设备，其中，所述多模态信息样本中的文本样本标注有参考分类，在所述将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果的步骤之前，在所述将所述文本样本特征和图像样本特征输入到预设的注意力融合模型，获得所述多模态信息样本的融合样本特征的步骤之后，所述处理器执行所述计算机可读指令时还实现如下步骤：
    将所述融合样本特征输入到预设的文本分类模型，获得所述文本分类模型响应所述融合样本特征输出的文本样本分类预测结果；
    通过第二损失函数比较所述分类预测结果与所述参考分类是否一致，第二损失函数为：
    Figure PCTCN2021090497-appb-100002
    其中，N为训练样本数，针对第i个样本其对应的yi是标注的参考分类，h＝(h1,h2,...,hc)为样本i的分类预测结果，其中C是所有分类的数量；
    调整所述文本分类模型各节点的参数，至所述第二损失函数达到最小时结束，得到训练好的文本分类模型。
  15. 一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时，使得所述处理器执行如下步骤：
    获取待分类的文本，所述文本来源于多模态信息，其中所述多模态信息至少还包含图像；
    将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征；
    将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征；
    将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征；
    将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果。
  16. 根据权利要求15所述的计算机可读存储介质，其中，在所述将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征的步骤之前，所述计算机可读指令被所述处理器执行时，使得所述处理器还执行如下步骤：
    获取多模态信息样本，所述多模态信息样本至少包含文本样本和图像样本；
    将所述多模态信息样本中的文本样本输入到预设的文本特征提取模型，获得所述文本样本的文本样本特征；
    将所述多模态信息样本中的图像样本输入到预设的图像特征提取模型，获得所述图像样本的图像样本特征；
    将所述文本样本特征和图像样本特征输入到预设的注意力融合模型，获得所述多模态信息样本的融合样本特征；
    将所述融合样本特征输入到预设的图像还原模型进行图像还原，获得所述图像样本的还原图像；
    通过第一损失函数比较所述还原图像和所述图像样本之间的一致性，所述第一损失函数为：
    L＝L1+L2
    其中L1＝||X-Y||,L2＝||X-Y|| 2,X为所述图像样本，Y为所述还原图像；
    调整所述文本特征提取模型、所述图像特征提取模型、所述注意力融合模型和所述图像还原模型中各节点的参数，至所述第一损失函数达到最小值时结束，得到训练好的文本特征提取模型、图像特征提取模型和注意力融合模型。
  17. 根据权利要求15所述的计算机可读存储介质，其中，在所述获取待分类的文本的步骤之前，所述计算机可读指令被所述处理器执行时，使得所述处理器还执行如下步骤：
    获取多模态信息，其中所述多模态信息至少包含音频信息；
    将所述音频信息进行文字转换，获取待分类的文本。
  18. 根据权利要求15所述的计算机可读存储介质，其中，在所述获取待分类的文本的步骤之后，所述计算机可读指令被所述处理器执行时，使得所述处理器还执行如下步骤：
    将所述待分类的文本基于HMM隐马尔可夫算法进行分词，得到所述待分类文本的分词结果；
    将所述分词结果根据预设的语料字典构成文本张量；
    将所述文本张量输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征。
  19. 根据权利要求15所述的计算机可读存储介质，其中，在所述将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征的步骤之前，所述计算机可读指令被所述处理器执行时，使得所述处理器还执行如下步骤：
    将所述多模态信息中的图像进行灰度化，得到所述图像的灰度图；
    将所述灰度图进行二值化，得到所述图像的二维图像张量；
    将所述二维图像张量输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征。
  20. 根据权利要求16所述的计算机可读存储介质，其中，所述多模态信息样本中的文本样本标注有参考分类，在所述将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果的步骤之前，在所述将所述文本样本特征和图像样本特征输入到预设的注意力融合模型，获得所述多模态信息样本的融合样本特征的步骤之后，所述计算机可读指令被所述处理器执行时，使得所述处理器还执行如下步骤：
    将所述融合样本特征输入到预设的文本分类模型，获得所述文本分类模型响应所述融合样本特征输出的文本样本分类预测结果；
    通过第二损失函数比较所述分类预测结果与所述参考分类是否一致，第二损失函数为：
    Figure PCTCN2021090497-appb-100003
    其中，N为训练样本数，针对第i个样本其对应的yi是标注的参考分类，h＝(h1,h2,...,hc)为样本i的分类预测结果，其中C是所有分类的数量；
    调整所述文本分类模型各节点的参数，至所述第二损失函数达到最小时结束，得到训练好的文本分类模型。
PCT/CN2021/090497 2020-12-29 2021-04-28 基于多模态信息融合的文本分类方法、及其相关设备 Ceased WO2022142014A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011594264.6A CN112685565B (zh) 2020-12-29 2020-12-29 基于多模态信息融合的文本分类方法、及其相关设备
CN202011594264.6 2020-12-29

Publications (1)

Publication Number Publication Date
WO2022142014A1 true WO2022142014A1 (zh) 2022-07-07

Family

ID=75455223

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/090497 Ceased WO2022142014A1 (zh) 2020-12-29 2021-04-28 基于多模态信息融合的文本分类方法、及其相关设备

Country Status (2)

Country Link
CN (1) CN112685565B (zh)
WO (1) WO2022142014A1 (zh)

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049017A (zh) * 2022-07-22 2022-09-13 北京有竹居网络技术有限公司 一种模型训练方法、装置及通用模型框架
CN115114408A (zh) * 2022-07-14 2022-09-27 平安科技（深圳）有限公司 多模态情感分类方法、装置、设备及存储介质
CN115311599A (zh) * 2022-08-05 2022-11-08 网易（杭州）网络有限公司 视频分类方法、模型训练方法、装置、介质、电子设备
CN115310122A (zh) * 2022-07-13 2022-11-08 广州大学 一种多模态数据融合训练中的隐私参数优化方法
CN115375934A (zh) * 2022-10-25 2022-11-22 北京鹰瞳科技发展股份有限公司 一种用于对进行聚类的模型进行训练的方法和相关产品
CN115618849A (zh) * 2022-10-28 2023-01-17 科大讯飞股份有限公司 错别字检测方法、装置、设备及存储介质
CN115797706A (zh) * 2023-01-30 2023-03-14 粤港澳大湾区数字经济研究院(福田) 目标检测方法、目标检测模型训练方法及相关装置
CN115859112A (zh) * 2022-12-15 2023-03-28 微梦创科网络科技（中国）有限公司 模型训练方法、识别方法、装置、处理设备及存储介质
CN115909317A (zh) * 2022-07-15 2023-04-04 广东工业大学 一种三维模型-文本联合表达的学习方法及系统
CN115906845A (zh) * 2022-11-08 2023-04-04 重庆邮电大学 一种电商商品标题命名实体识别方法
CN115935969A (zh) * 2023-01-10 2023-04-07 西安电子科技大学 基于多模态信息融合的异构数据特征提取方法
CN116029556A (zh) * 2023-03-21 2023-04-28 支付宝(杭州)信息技术有限公司 一种业务风险的评估方法、装置、设备及可读存储介质
CN116052186A (zh) * 2023-01-30 2023-05-02 无锡容智技术有限公司 多模态发票自动分类识别方法、校验方法及系统
CN116313040A (zh) * 2022-09-07 2023-06-23 厦门大学 一种舌诊多模态数据分类方法、系统和存储介质
CN116431805A (zh) * 2023-03-15 2023-07-14 青岛海尔电冰箱有限公司 文本分类方法及制冷设备系统
CN116469111A (zh) * 2023-06-08 2023-07-21 江西师范大学 一种文字生成模型训练方法及目标文字生成方法
CN116702035A (zh) * 2023-06-02 2023-09-05 中国科学院合肥物质科学研究院 一种基于多模态自监督Transformer架构的害虫识别方法
CN116740505A (zh) * 2023-07-05 2023-09-12 云从科技集团股份有限公司 图像分类模型的训练、图像分类方法、装置、机器可读介质及设备
CN116796290A (zh) * 2023-08-23 2023-09-22 江西尚通科技发展有限公司 一种对话意图识别方法、系统、计算机及存储介质
CN116912862A (zh) * 2022-12-19 2023-10-20 中国移动通信有限公司研究院 一种消息审核方法及装置、设备、存储介质
CN116975696A (zh) * 2023-08-30 2023-10-31 杭州海康威视数字技术股份有限公司 任务处理方法、装置、电子设备及存储介质
CN116994069A (zh) * 2023-09-22 2023-11-03 武汉纺织大学 一种基于多模态信息的图像解析方法及系统
CN117038063A (zh) * 2023-08-23 2023-11-10 珠海横琴圣澳云智科技有限公司 基于多模态数据的事件预测模型构建方法和事件预测装置
CN117058594A (zh) * 2023-09-04 2023-11-14 西南交通大学 一种基于动态融合门机制的多模态视频分类方法
CN117173638A (zh) * 2023-10-12 2023-12-05 数字广东网络建设有限公司 一种图像监控方法、装置、电子设备及存储介质
CN117312612A (zh) * 2023-10-07 2023-12-29 广东鼎尧科技有限公司 一种基于多模态的远程会议数据记录方法、系统和介质
CN117951092A (zh) * 2024-01-04 2024-04-30 西安电子科技大学 一种基于多模态信息融合的电子档案图像多级分类方法及设备
CN118365887A (zh) * 2024-06-18 2024-07-19 广东电网有限责任公司 一种开放词汇输电线路设备图像分割方法及装置
CN118568654A (zh) * 2024-03-13 2024-08-30 青岛科技大学 基于跨模态增强的虚假新闻检测方法及系统
CN118691511A (zh) * 2024-08-26 2024-09-24 山东浪潮科学研究院有限公司 一种基于多模态大语言模型的图像修复方法、设备及介质
CN118690643A (zh) * 2024-06-18 2024-09-24 深圳市嘉年印务有限公司 包装设计的智能生成方法、装置、计算机设备及存储介质
CN118799564A (zh) * 2024-09-14 2024-10-18 杭州华橙软件技术有限公司 一种目标检测方法、电子设备及计算机可读存储介质
CN119046891A (zh) * 2024-11-01 2024-11-29 湖南工商大学 面向人机物协同情景的多智能体群体决策方法及相关设备
CN119091335A (zh) * 2024-11-08 2024-12-06 之江实验室 一种航拍图像检测方法、装置、存储介质及电子设备
CN119128517A (zh) * 2024-08-26 2024-12-13 厦门熵基科技有限公司 属性识别模型训练方法、装置、存储介质及计算机设备
CN119479969A (zh) * 2025-01-06 2025-02-18 安徽大学 多模态特征融合Mamba用于医学报告自动生成方法
CN119513818A (zh) * 2025-01-16 2025-02-25 中国空气动力研究与发展中心计算空气动力研究所 一种多模态数据融合方法、装置、设备及介质
CN119741552A (zh) * 2024-12-18 2025-04-01 湖南大学 一种基于曼巴模块的多模态图文深度伪造检测与定位方法
CN119783100A (zh) * 2024-12-16 2025-04-08 杭州电子科技大学 一种基于多模态特征提取与融合的恶意代码识别方法
CN119939241A (zh) * 2024-12-20 2025-05-06 北京无问智行科技有限公司 基于多模态模型的标注方法及装置
CN119993526A (zh) * 2024-12-25 2025-05-13 安徽鲲隆康鑫医疗科技有限公司 基于cce数据的患者数据智能分析方法及装置
CN120564218A (zh) * 2025-07-31 2025-08-29 深圳市灵智数字科技有限公司 票据识别方法、装置、设备及存储介质

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112685565B (zh) * 2020-12-29 2023-07-21 平安科技（深圳）有限公司 基于多模态信息融合的文本分类方法、及其相关设备
CN113361247A (zh) * 2021-06-23 2021-09-07 北京百度网讯科技有限公司 文档版面分析方法、模型训练方法、装置和设备
CN113469067B (zh) * 2021-07-05 2024-04-16 北京市商汤科技开发有限公司 一种文档解析方法、装置、计算机设备和存储介质
CN113377958B (zh) * 2021-07-07 2024-08-23 北京百度网讯科技有限公司 一种文档分类方法、装置、电子设备以及存储介质
CN113449808B (zh) * 2021-07-13 2022-06-21 广州华多网络科技有限公司 多源图文信息分类方法及其相应的装置、设备、介质
CN113343936B (zh) * 2021-07-15 2024-07-12 北京达佳互联信息技术有限公司 视频表征模型的训练方法及训练装置
CN113343703B (zh) * 2021-08-09 2021-10-29 北京惠每云科技有限公司 医学实体的分类提取方法、装置、电子设备及存储介质
CN113779934B (zh) * 2021-08-13 2024-04-26 远光软件股份有限公司 多模态信息提取方法、装置、设备及计算机可读存储介质
CN113742483A (zh) * 2021-08-27 2021-12-03 北京百度网讯科技有限公司 文档分类的方法、装置、电子设备和存储介质
CN113468108B (zh) * 2021-09-06 2021-11-12 辰风策划(深圳)有限公司 基于特征数据识别的企业策划方案智能管理分类系统
CN113850201B (zh) * 2021-09-28 2025-11-04 广州华多网络科技有限公司 跨模态商品分类方法及其装置、设备、介质、产品
CN114419404A (zh) * 2021-12-07 2022-04-29 北京邮电大学 基于多模态紧致双线性池的图像分类方法及相关设备
CN114238690A (zh) * 2021-12-08 2022-03-25 腾讯科技（深圳）有限公司 视频分类的方法、装置及存储介质
CN114519377B (zh) * 2021-12-14 2025-10-31 中煤科工集团信息技术有限公司 跨模态煤矸石分选方法及装置
CN113961710B (zh) * 2021-12-21 2022-03-08 北京邮电大学 基于多模态分层融合网络的细粒度化论文分类方法及装置
CN114332040B (zh) * 2021-12-30 2025-02-28 华中科技大学协和深圳医院 一种基于多模态的甲状腺肿瘤图像分类方法及终端设备
CN114445833B (zh) * 2022-01-28 2024-05-14 北京百度网讯科技有限公司 文本识别方法、装置、电子设备和存储介质
CN114495087B (zh) * 2022-02-15 2026-03-31 阿里巴巴（中国）有限公司 模型训练和文本识别方法、装置以及存储介质
CN114913448B (zh) * 2022-03-11 2025-07-25 长视科技股份有限公司 视频理解方法、装置、设备、存储介质和计算机程序产品
CN114625897B (zh) * 2022-03-21 2024-08-20 腾讯科技（深圳）有限公司 多媒体资源处理方法、装置、电子设备及存储介质
CN114662033B (zh) * 2022-04-06 2024-05-03 昆明信息港传媒有限责任公司 一种基于文本和图像的多模态有害链接识别
CN114693977B (zh) * 2022-04-06 2024-12-03 北京百度网讯科技有限公司 图像处理方法、模型训练方法、装置、设备及介质
CN114708461B (zh) * 2022-04-21 2025-05-27 平安科技（深圳）有限公司 基于多模态学习模型的分类方法、装置、设备及存储介质
CN114579964A (zh) * 2022-04-29 2022-06-03 成都明途科技有限公司 一种信息监测方法及装置、电子设备、存储介质
CN115374325A (zh) * 2022-05-31 2022-11-22 国家计算机网络与信息安全管理中心 网站分类方法、装置、分类设备及存储介质
CN116108176A (zh) * 2022-12-31 2023-05-12 青岛海尔电冰箱有限公司 基于多模态深度学习的文本分类方法、设备及存储介质
CN116168403A (zh) * 2023-01-17 2023-05-26 智慧眼科技股份有限公司 医疗数据分类模型训练方法、分类方法、装置及相关介质
CN115828162B (zh) * 2023-02-08 2023-07-07 支付宝(杭州)信息技术有限公司 一种分类模型训练的方法、装置、存储介质及电子设备
CN116561570A (zh) * 2023-03-31 2023-08-08 北京京东方技术开发有限公司 一种多模态模型的训练方法、装置、设备及可读存储介质
CN116956214B (zh) * 2023-07-07 2024-10-18 北京邮电大学 基于正则化集成学习的多模态细粒度论文分类方法和系统
CN117058455A (zh) * 2023-08-16 2023-11-14 华润数字科技有限公司 图像检测方法、图像检测装置、电子设备及存储介质
CN117058385B (zh) * 2023-08-23 2024-10-29 北京国网信通埃森哲信息技术有限公司 基于多系统数据智能融合的图像分割方法与设备
CN117421641B (zh) * 2023-12-13 2024-04-16 深圳须弥云图空间科技有限公司 一种文本分类的方法、装置、电子设备及可读存储介质
CN117894454A (zh) * 2024-01-29 2024-04-16 脉得智能科技(无锡)有限公司 一种肌少症诊断方法、装置及电子设备
CN118035452A (zh) * 2024-03-13 2024-05-14 东北大学 一种数据缺失条件下的多模态混合融合分类方法
CN118762258B (zh) * 2024-06-13 2025-04-22 大湾区大学(筹) 多模态图像融合方法、装置、电子设备及存储介质
CN119888401A (zh) * 2024-12-24 2025-04-25 神州医疗科技股份有限公司 基于融合注意力与动态卷积的机械图片数据集生成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190341025A1 (en) * 2018-04-18 2019-11-07 Sony Interactive Entertainment Inc. Integrated understanding of user characteristics by multimodal processing
CN110717335A (zh) * 2019-09-23 2020-01-21 中国科学院深圳先进技术研究院 用户评论数据处理方法、装置、存储介质及电子设备
CN111259215A (zh) * 2020-02-14 2020-06-09 北京百度网讯科技有限公司 基于多模态的主题分类方法、装置、设备、以及存储介质
CN111985369A (zh) * 2020-08-07 2020-11-24 西北工业大学 基于跨模态注意力卷积神经网络的课程领域多模态文档分类方法
CN112685565A (zh) * 2020-12-29 2021-04-20 平安科技（深圳）有限公司 基于多模态信息融合的文本分类方法、及其相关设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492666B (zh) * 2018-09-30 2021-07-06 北京百卓网络技术有限公司 图像识别模型训练方法、装置及存储介质
US11244205B2 (en) * 2019-03-29 2022-02-08 Microsoft Technology Licensing, Llc Generating multi modal image representation for an image
CN109961491B (zh) * 2019-04-12 2023-05-26 上海联影医疗科技股份有限公司 多模态图像截断补偿方法、装置、计算机设备和介质
CN111126282B (zh) * 2019-12-25 2023-05-12 中国矿业大学 一种基于变分自注意力强化学习的遥感图像内容描述方法
CN111259851B (zh) * 2020-01-23 2021-04-23 清华大学 一种多模态事件检测方法及装置
CN111461174B (zh) * 2020-03-06 2023-04-07 西北大学 多层次注意力机制的多模态标签推荐模型构建方法及装置
CN111860116B (zh) * 2020-06-03 2022-08-26 南京邮电大学 一种基于深度学习和特权信息的场景识别方法
CN111861672A (zh) * 2020-07-28 2020-10-30 青岛科技大学 基于多模态的生成式兼容性服装搭配方案生成方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190341025A1 (en) * 2018-04-18 2019-11-07 Sony Interactive Entertainment Inc. Integrated understanding of user characteristics by multimodal processing
CN110717335A (zh) * 2019-09-23 2020-01-21 中国科学院深圳先进技术研究院 用户评论数据处理方法、装置、存储介质及电子设备
CN111259215A (zh) * 2020-02-14 2020-06-09 北京百度网讯科技有限公司 基于多模态的主题分类方法、装置、设备、以及存储介质
CN111985369A (zh) * 2020-08-07 2020-11-24 西北工业大学 基于跨模态注意力卷积神经网络的课程领域多模态文档分类方法
CN112685565A (zh) * 2020-12-29 2021-04-20 平安科技（深圳）有限公司 基于多模态信息融合的文本分类方法、及其相关设备

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115310122A (zh) * 2022-07-13 2022-11-08 广州大学 一种多模态数据融合训练中的隐私参数优化方法
CN115114408A (zh) * 2022-07-14 2022-09-27 平安科技（深圳）有限公司 多模态情感分类方法、装置、设备及存储介质
CN115114408B (zh) * 2022-07-14 2024-05-31 平安科技（深圳）有限公司 多模态情感分类方法、装置、设备及存储介质
CN115909317A (zh) * 2022-07-15 2023-04-04 广东工业大学 一种三维模型-文本联合表达的学习方法及系统
CN115049017A (zh) * 2022-07-22 2022-09-13 北京有竹居网络技术有限公司 一种模型训练方法、装置及通用模型框架
CN115049017B (zh) * 2022-07-22 2025-09-02 北京有竹居网络技术有限公司 一种模型训练方法、装置及通用模型框架
CN115311599A (zh) * 2022-08-05 2022-11-08 网易（杭州）网络有限公司 视频分类方法、模型训练方法、装置、介质、电子设备
CN116313040A (zh) * 2022-09-07 2023-06-23 厦门大学 一种舌诊多模态数据分类方法、系统和存储介质
CN115375934A (zh) * 2022-10-25 2022-11-22 北京鹰瞳科技发展股份有限公司 一种用于对进行聚类的模型进行训练的方法和相关产品
CN115618849A (zh) * 2022-10-28 2023-01-17 科大讯飞股份有限公司 错别字检测方法、装置、设备及存储介质
CN115906845B (zh) * 2022-11-08 2024-05-10 芽米科技(广州)有限公司 一种电商商品标题命名实体识别方法
CN115906845A (zh) * 2022-11-08 2023-04-04 重庆邮电大学 一种电商商品标题命名实体识别方法
CN115859112A (zh) * 2022-12-15 2023-03-28 微梦创科网络科技（中国）有限公司 模型训练方法、识别方法、装置、处理设备及存储介质
CN116912862A (zh) * 2022-12-19 2023-10-20 中国移动通信有限公司研究院 一种消息审核方法及装置、设备、存储介质
CN115935969A (zh) * 2023-01-10 2023-04-07 西安电子科技大学 基于多模态信息融合的异构数据特征提取方法
CN116052186A (zh) * 2023-01-30 2023-05-02 无锡容智技术有限公司 多模态发票自动分类识别方法、校验方法及系统
CN115797706A (zh) * 2023-01-30 2023-03-14 粤港澳大湾区数字经济研究院(福田) 目标检测方法、目标检测模型训练方法及相关装置
CN116431805A (zh) * 2023-03-15 2023-07-14 青岛海尔电冰箱有限公司 文本分类方法及制冷设备系统
CN116029556B (zh) * 2023-03-21 2023-05-30 支付宝(杭州)信息技术有限公司 一种业务风险的评估方法、装置、设备及可读存储介质
CN116029556A (zh) * 2023-03-21 2023-04-28 支付宝(杭州)信息技术有限公司 一种业务风险的评估方法、装置、设备及可读存储介质
CN116702035A (zh) * 2023-06-02 2023-09-05 中国科学院合肥物质科学研究院 一种基于多模态自监督Transformer架构的害虫识别方法
CN116469111B (zh) * 2023-06-08 2023-09-15 江西师范大学 一种文字生成模型训练方法及目标文字生成方法
CN116469111A (zh) * 2023-06-08 2023-07-21 江西师范大学 一种文字生成模型训练方法及目标文字生成方法
CN116740505A (zh) * 2023-07-05 2023-09-12 云从科技集团股份有限公司 图像分类模型的训练、图像分类方法、装置、机器可读介质及设备
CN116796290A (zh) * 2023-08-23 2023-09-22 江西尚通科技发展有限公司 一种对话意图识别方法、系统、计算机及存储介质
CN117038063A (zh) * 2023-08-23 2023-11-10 珠海横琴圣澳云智科技有限公司 基于多模态数据的事件预测模型构建方法和事件预测装置
CN116796290B (zh) * 2023-08-23 2024-03-29 江西尚通科技发展有限公司 一种对话意图识别方法、系统、计算机及存储介质
CN116975696A (zh) * 2023-08-30 2023-10-31 杭州海康威视数字技术股份有限公司 任务处理方法、装置、电子设备及存储介质
CN117058594A (zh) * 2023-09-04 2023-11-14 西南交通大学 一种基于动态融合门机制的多模态视频分类方法
CN116994069B (zh) * 2023-09-22 2023-12-22 武汉纺织大学 一种基于多模态信息的图像解析方法及系统
CN116994069A (zh) * 2023-09-22 2023-11-03 武汉纺织大学 一种基于多模态信息的图像解析方法及系统
CN117312612B (zh) * 2023-10-07 2024-04-02 广东鼎尧科技有限公司 一种基于多模态的远程会议数据记录方法、系统和介质
CN117312612A (zh) * 2023-10-07 2023-12-29 广东鼎尧科技有限公司 一种基于多模态的远程会议数据记录方法、系统和介质
CN117173638A (zh) * 2023-10-12 2023-12-05 数字广东网络建设有限公司 一种图像监控方法、装置、电子设备及存储介质
CN117951092A (zh) * 2024-01-04 2024-04-30 西安电子科技大学 一种基于多模态信息融合的电子档案图像多级分类方法及设备
CN118568654A (zh) * 2024-03-13 2024-08-30 青岛科技大学 基于跨模态增强的虚假新闻检测方法及系统
CN118365887A (zh) * 2024-06-18 2024-07-19 广东电网有限责任公司 一种开放词汇输电线路设备图像分割方法及装置
CN118690643A (zh) * 2024-06-18 2024-09-24 深圳市嘉年印务有限公司 包装设计的智能生成方法、装置、计算机设备及存储介质
CN119128517A (zh) * 2024-08-26 2024-12-13 厦门熵基科技有限公司 属性识别模型训练方法、装置、存储介质及计算机设备
CN118691511A (zh) * 2024-08-26 2024-09-24 山东浪潮科学研究院有限公司 一种基于多模态大语言模型的图像修复方法、设备及介质
CN118799564A (zh) * 2024-09-14 2024-10-18 杭州华橙软件技术有限公司 一种目标检测方法、电子设备及计算机可读存储介质
CN119046891A (zh) * 2024-11-01 2024-11-29 湖南工商大学 面向人机物协同情景的多智能体群体决策方法及相关设备
CN119091335A (zh) * 2024-11-08 2024-12-06 之江实验室 一种航拍图像检测方法、装置、存储介质及电子设备
CN119783100A (zh) * 2024-12-16 2025-04-08 杭州电子科技大学 一种基于多模态特征提取与融合的恶意代码识别方法
CN119741552A (zh) * 2024-12-18 2025-04-01 湖南大学 一种基于曼巴模块的多模态图文深度伪造检测与定位方法
CN119939241A (zh) * 2024-12-20 2025-05-06 北京无问智行科技有限公司 基于多模态模型的标注方法及装置
CN119993526A (zh) * 2024-12-25 2025-05-13 安徽鲲隆康鑫医疗科技有限公司 基于cce数据的患者数据智能分析方法及装置
CN119479969A (zh) * 2025-01-06 2025-02-18 安徽大学 多模态特征融合Mamba用于医学报告自动生成方法
CN119513818A (zh) * 2025-01-16 2025-02-25 中国空气动力研究与发展中心计算空气动力研究所 一种多模态数据融合方法、装置、设备及介质
CN120564218A (zh) * 2025-07-31 2025-08-29 深圳市灵智数字科技有限公司 票据识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112685565A (zh) 2021-04-20
CN112685565B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN112685565B (zh) 基于多模态信息融合的文本分类方法、及其相关设备
CN113159010B (zh) 视频分类方法、装置、设备和存储介质
CN107391505B (zh) 一种图像处理方法及系统
CN112559800B (zh) 用于处理视频的方法、装置、电子设备、介质和产品
WO2021121198A1 (zh) 基于语义相似度的实体关系抽取方法、装置、设备及介质
CN114416995B (zh) 信息推荐方法、装置及设备
WO2023168997A1 (zh) 一种跨模态搜索方法及相关设备
CN115757731A (zh) 对话问句改写方法、装置、计算机设备及存储介质
CN106611015A (zh) 标签的处理方法及装置
CN112199954A (zh) 基于语音语义的疾病实体匹配方法、装置及计算机设备
CN118070072A (zh) 基于人工智能的问题处理方法、装置、设备及存储介质
WO2022105120A1 (zh) 图片文字检测方法、装置、计算机设备及存储介质
CN110633475A (zh) 基于计算机场景的自然语言理解方法、装置、系统和存储介质
WO2022001233A1 (zh) 基于层次化迁移学习的预标注方法及其相关设备
CN111291758B (zh) 用于识别印章文字的方法和装置
CN114817478A (zh) 基于文本的问答方法、装置、计算机设备及存储介质
CN117992569B (zh) 基于生成式大模型生成文档的方法、装置、设备及介质
JP2023554210A (ja) インテリジェント推奨用のソートモデルトレーニング方法及び装置、インテリジェント推奨方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム
CN115576789A (zh) 流失用户识别方法和系统
CN116975349A (zh) 图像检索方法、装置、电子设备及存储介质
CN113239215B (zh) 多媒体资源的分类方法、装置、电子设备及存储介质
CN115311451A (zh) 图像模糊度的评估方法、装置、计算机设备及存储介质
CN114881033A (zh) 一种文本摘要生成方法、装置、计算机设备及存储介质
CN119884342A (zh) 文本处理方法、检索方法、装置、电子设备及存储介质
CN114238574B (zh) 基于人工智能的意图识别方法及其相关设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21912776

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21912776

Country of ref document: EP

Kind code of ref document: A1