WO2020132933A1 - 短文本过滤方法、装置、介质及计算机设备 - Google Patents

短文本过滤方法、装置、介质及计算机设备 Download PDF

Info

Publication number
WO2020132933A1
WO2020132933A1 PCT/CN2018/123847 CN2018123847W WO2020132933A1 WO 2020132933 A1 WO2020132933 A1 WO 2020132933A1 CN 2018123847 W CN2018123847 W CN 2018123847W WO 2020132933 A1 WO2020132933 A1 WO 2020132933A1
Authority
WO
WIPO (PCT)
Prior art keywords
text
detected
preset
word segmentation
segmentation result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/123847
Other languages
English (en)
French (fr)
Inventor
熊友军
罗沛鹏
廖洪涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ubtech Robotics Corp
Original Assignee
Ubtech Robotics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubtech Robotics Corp filed Critical Ubtech Robotics Corp
Publication of WO2020132933A1 publication Critical patent/WO2020132933A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking

Definitions

  • the present invention relates to the field of machine learning technology, and in particular, to a short text filtering method, device, computer equipment, and storage medium.
  • deep learning technology is widely used in various fields, especially in the field of robots for the classification training or model training of robots.
  • some corpora unrelated to the training task will also enter the model, which makes the model misjudged.
  • the deep learning text and short text classification models have insufficient accuracy in predicting unknown text.
  • a short text filtering method is proposed.
  • the method includes:
  • the text to be detected is a short text
  • a short text filtering device comprising:
  • the word segmentation processing module is used to perform word segmentation on the text to be detected, and obtain a word segmentation result containing at least one word vector;
  • the text filtering module is used to calculate the correlation between the word segmentation result and a preset corpus database, and filter the text to be detected according to the correlation.
  • a computer device which includes a memory and a processor.
  • the memory stores a computer program.
  • the processor is caused to perform the following steps :
  • the text to be detected is a short text
  • a computer-readable storage medium which stores a computer program, and when the computer program is executed by a processor, the processor is caused to perform the following steps:
  • the text to be detected is a short text
  • the invention proposes a short text filtering method, device and computer equipment. Before further classification, prediction and other operations need to be performed on the short text, the short text is first filtered, specifically by segmenting the short text, and then calculating the word segmentation The result is related to the preset corpus database to determine whether the short text is related text, and the short text is filtered according to whether it is related text. That is to say, only short texts that are determined to be related texts through the above process will enter the next link for classification, prediction, or other operations, thereby improving the accuracy of deep learning short text prediction.
  • FIG. 1 is a schematic diagram of an implementation process of a short text filtering method in an embodiment
  • FIG. 2 is a schematic diagram of an implementation process of a short text filtering method in an embodiment
  • FIG. 3 is a schematic diagram of an implementation process of a short text filtering method in an embodiment
  • FIG. 4 is a schematic diagram of an implementation process of a short text filtering method in an embodiment
  • FIG. 5 is a schematic diagram of an implementation process of a short text filtering method in an embodiment
  • FIG. 6 is a schematic structural diagram of a short text filtering device in an embodiment
  • FIG. 7 is a structural block diagram of a computer device in an embodiment.
  • a short text filtering method is specifically proposed.
  • the implementation of the method may depend on a computer program that can run on a computer system based on the von Neumann system.
  • the computer program may be a Text and short text filtering applications.
  • the computer system may be a computer device such as a smartphone, tablet computer, personal computer, etc. that runs the above-mentioned computer program. It should be noted that, in this embodiment, the above short text filtering method can be used in the process of training the robot.
  • a short text filtering method which specifically includes the following steps:
  • Step S102 Obtain text to be detected, where the text to be detected is short text.
  • the text to be detected is a text containing one or more Chinese characters.
  • it can be text obtained through voice recognition, short text information directly input by a user obtained in real time, or a computer device obtained in real time that needs to be processed
  • the short text information may also be short text information that needs to be filtered and pre-stored in the computer device or other devices.
  • short text is relative to long text, short text sentences are short, the amount of information is small and important, that is, the information contained in the short text is relatively dense.
  • the text to be detected is: I am going to eat.
  • the text to be detected may be a training corpus for training the robot.
  • the method further includes: rewriting the text to be detected according to a preset text rewriting algorithm, and the rewritten text to be detected does not include a preset auxiliary word.
  • the preset auxiliary words include but are not limited to stop words (punctuation marks), mood auxiliary words, colloquial words, polite words, verb overlapping words, etc. For example, “turn left”, “um, turn left”, “turn left in trouble”, “turn left” to "turn left”.
  • the rewriting of the text to be detected may not be limited to the deletion of the aforementioned auxiliary times, but may also be the rewriting of other texts, which is not limited in this embodiment.
  • Step S104 Perform word segmentation on the text to be detected, and obtain a word segmentation result including at least one word vector.
  • the short text is first subjected to word segmentation processing, and the short text is split into several words or a combination of words.
  • word segmentation result of "I want to go to Beijing to see” for word segmentation processing is: I, think, go, Beijing, see, see.
  • the text to be detected is cut as much as possible in word units, except for the keywords included in the preset keyword database. That is to say, in the process of word segmentation of the text to be detected, the text to be detected is word segmented according to a preset keyword database, and in addition to the keywords contained in the keyword database, the rest Are all cut in units of words, that is to say, the word segmentation results include word vectors corresponding to the keywords contained in the preset keyword database, and several word vectors.
  • the short text is cut into words as much as possible, considering that the short text has a small number of words, and segmenting by word may result in too few corresponding word vectors, which is not conducive to subsequent similarity and relevance. Calculation; and the keywords in the keyword database are kept in order to retain as much important information as possible on the basis of short text.
  • Step S106 Calculate the correlation between the word segmentation result and a preset corpus database, and filter the text to be detected according to the correlation.
  • Whether the text to be detected needs to be filtered is determined by comparing the word segmentation result of the text to be detected with the corresponding corpus database. For example, when the word segmentation result corresponding to the text to be detected matches the corpus database, the text to be detected is related text and no filtering is required; otherwise, the text to be detected is irrelevant text and filtering is required.
  • the correlation between the word segmentation result corresponding to the text to be detected and the corpus database is calculated by a preset algorithm, and then whether the text to be detected is related text is determined according to the correlation information, and whether to perform filtering processing is determined .
  • the preset corpus database contains multiple corpus texts; when calculating the correlation between the text to be detected and the corpus database, the word segmentation result corresponding to the text to be detected can be calculated by calculating the Between similarities.
  • calculating the correlation between the word segmentation result and the preset corpus database further includes: calculating the similarity between the word segmentation result and each corpus text according to a preset similarity calculation algorithm; obtaining the The maximum value in the similarity calculation result is the target similarity, which is used as the correlation between the word segmentation result and a preset corpus database.
  • the word segmentation result after the text segmentation to be detected and the corpus text in the corpus database of the word segmentation are calculated jaccard similarity one by one.
  • a and B be two different texts (for example, A is the word segmentation result corresponding to the text to be detected, and B is the corpus text in the corpus database), then the jaccard similarity formula is:
  • the max_jaccard score with the highest jaccard similarity is recorded, and max_jaccard is used as the target similarity, and the relevance of the word segmentation result to the preset corpus database.
  • the specific process of filtering the text to be detected according to the relevance is: determining whether the target similarity is greater than or equal to a preset first threshold; if so, determining the The detected text is related text; otherwise, the text to be detected is not related text.
  • the text to be detected is the text related to the preset corpus database, and no filtering is required.
  • the calculation of the correlation between the text to be detected and the corpus database needs to consider not only the similarity between the text to be detected and the corpus text, but also the correlation between other dimensions.
  • the process of calculating the relevance between the word segmentation result and the preset corpus database further includes: calculating the edit between the word segmentation result and each corpus text separately according to a preset edit distance calculation formula Distance; the maximum value in the calculation result of the editing distance is obtained as the target editing distance, as the relevance of the word segmentation result and the preset corpus database.
  • the word segmentation result corresponding to the text to be detected and the corpus text of the word segmentation are calculated one by one for the edit distance similarity, and the similarity is higher than the preset second threshold to be related text.
  • T be the total number of word vectors/word vectors in the two texts (A, B)
  • M be the number of the same words in A and B
  • the formula for the edit distance similarity is:
  • the highest score of edit distance max_edit is recorded as the target editing distance, that is, the editing distance between the text to be detected and the corpus database.
  • the specific process of filtering the text to be detected according to the relevance is: determining whether the target editing distance is greater than or equal to a preset second threshold; if so, determining the pending The detected text is related text; otherwise, the text to be detected is not related text.
  • the text to be detected is text related to the preset corpus database, and no filtering is required.
  • the target similarity is greater than or equal to a preset first threshold; if so, it is determined that the text to be detected is related text; otherwise, when the target similarity is less than the first
  • a threshold it is necessary to further consider the size of the editing distance, that is, to further determine whether the target editing distance is greater than or equal to a preset second threshold; if so, determine that the text to be detected is related text, otherwise, the text to be detected For irrelevant text, it needs to be filtered.
  • the target similarity and the target editing distance are both less than the preset first/second threshold, it is further determined whether the target similarity is greater than the preset third threshold and the target editing distance is greater than the preset
  • the fourth threshold of in the case of yes, determine whether the preset keyword database contains keywords that match the text to be detected, if so, determine that the text to be detected is related text, otherwise, to be detected
  • the text is irrelevant and needs to be filtered.
  • the third threshold may be 0.5
  • the fourth threshold may be 0.5.
  • max_jaccard ⁇ 0.7 and max_edit ⁇ 0.8 if the text to be detected contains preset keywords, then further judge max_jaccard>0.5 and max_edit>0.5 To determine that the text to be detected is related text.
  • the short text is first filtered before the specific model training or classification, so as to avoid too many irrelevant texts entering the training model or classification Model, causing large errors. Specifically, by segmenting the short text and comparing the results with the preset corpus database, it is determined whether the corresponding short text is related to the corpus database, so as to determine whether the short text is related text and whether it needs to be filtered , which greatly improves the accuracy of the prediction of unknown text by deep learning text and short text classification models.
  • an embodiment of the present invention also provides a short text filtering device.
  • the short text filtering device includes:
  • the text-to-be-detected obtaining module 102 is used to obtain text to be detected, the text to be detected is a short text;
  • the word segmentation processing module 104 is configured to perform word segmentation on the text to be detected, and obtain a word segmentation result including at least one word vector;
  • the text filtering module 106 is configured to calculate the correlation between the word segmentation result and a preset corpus database, and filter the text to be detected according to the correlation.
  • the above short text filtering device first obtains the short text to be detected (ie, the text to be detected); at the same time, the word to be detected is segmented to obtain a word segmentation result, and the word segmentation result includes multiple word vectors; and then for a predetermined corpus The corpus text contained in the database is calculated to be related to the word segmentation result corresponding to the text to be detected, so as to determine whether the text to be detected is related text according to the calculation result of the degree of correlation, and filter the text to be detected accordingly.
  • the above filtering of short text reduces the irrelevant short text into the next step of deep learning (such as model training, classification), and improves the accuracy of deep learning.
  • the preset corpus database includes multiple corpus texts; the text filtering module 106 is further configured to separately calculate the word segmentation result and each corpus text according to a preset similarity calculation algorithm The similarity of; the maximum value in the calculation result of the similarity is the target similarity, which is used as the correlation between the word segmentation result and a preset corpus database.
  • the text filtering module 106 is further configured to separately calculate the editing distance between the word segmentation result and each corpus text according to a preset editing distance calculation formula;
  • the maximum value is the target editing distance, as the degree of relevance between the word segmentation result and a preset corpus database.
  • the text filtering module 106 is further used to determine that the target similarity is greater than or equal to a preset first threshold; when the target similarity is greater than or equal to the first threshold, Determine that the text to be detected is related text; when the target similarity is less than the first threshold, execute the calculation of the word segmentation result and each corpus text separately according to the preset editing distance calculation formula The editing distance of; determining that the target editing distance is greater than or equal to a preset second threshold; determining that the text to be detected is related text.
  • the text filtering module 106 is further configured to determine that the target similarity is greater than a preset third threshold and the target editing distance is greater than when the target editing distance is less than the second threshold A preset fourth threshold; searching for keyword keywords that match the text to be detected in the preset keyword database, and if found, determining that the text to be detected is related text.
  • the above-mentioned device further includes a text rewriting module 108 for rewriting the text to be detected according to a preset text rewriting algorithm.
  • a text rewriting module 108 for rewriting the text to be detected according to a preset text rewriting algorithm. Contains preset auxiliary words.
  • the word segmentation processing module 104 is further used to segment the text to be detected according to a preset keyword database, and the word segmentation result includes the key included in the preset keyword database The word vector corresponding to the word and multiple word vectors.
  • the computer device may specifically be a server.
  • the computer device includes a processor, a memory, and a network interface connected through a system bus.
  • the memory includes a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium of the computer device stores an operating system, and may also store a computer program.
  • the processor may enable the processor to implement a short text filtering method.
  • a computer program may also be stored in the internal memory.
  • the processor may be caused to execute the short text filtering method.
  • the network interface is used to communicate with the outside.
  • FIG. 7 is only a block diagram of a part of the structure related to the solution of the present application, and does not constitute a limitation on the computer equipment to which the solution of the present application is applied.
  • the specific computer equipment may It includes more or fewer components than shown in the figure, or some components are combined, or have a different component arrangement.
  • the short text filtering method provided by the present application may be implemented in the form of a computer program, and the computer program may run on the computer device shown in FIG. 7.
  • Various program templates constituting the short text filtering device can be stored in the memory of the computer equipment. For example, a text acquisition module 102 to be detected, a word segmentation processing module 104, and a text filtering module.
  • a computer device includes a memory and a processor.
  • the memory stores a computer program.
  • the processor is caused to perform the following steps:
  • the above computer device when the above computer program is executed by the processor, is also used to perform the following steps:
  • the text to be detected is a short text
  • the preset corpus database contains multiple corpus texts; when the above-mentioned computer program is executed by the processor, it is also used to perform the following steps: separately calculating the said according to a preset similarity calculation algorithm The similarity between the word segmentation result and each corpus text; the maximum value in the similarity calculation result is obtained as the target similarity, which is used as the correlation between the word segmentation result and the preset corpus database.
  • the above computer program when executed by the processor, it is also used to perform the following steps: separately calculate the editing distance between the word segmentation result and each corpus text according to a preset editing distance calculation formula; Obtain the maximum value in the calculation result of the editing distance as the target editing distance, as the relevance of the word segmentation result and the preset corpus database.
  • the above computer program when executed by the processor, it is also used to perform the following steps: determine that the target similarity is greater than or equal to a preset first threshold; when the target similarity is greater than or equal to In the case of the first threshold, it is determined that the text to be detected is related text; in the case where the target similarity is less than the first threshold, executing the calculation method according to the preset edit distance calculation formula respectively The editing distance between the word segmentation result and each corpus text; determining that the target editing distance is greater than or equal to a preset second threshold; and determining that the text to be detected is related text.
  • the above computer program when executed by the processor, it is also used to perform the following step: when the target editing distance is less than the second threshold, determine that the target similarity is greater than a preset A third threshold, and the target editing distance is greater than a preset fourth threshold; search for keyword keywords that match the text to be detected in the preset keyword database, and if found, determine The detection text is related text.
  • the above-mentioned computer program when executed by the processor, it is also used to perform the following steps: according to a preset text rewriting algorithm The detected text is rewritten, and the rewritten text to be detected does not contain a preset auxiliary word.
  • the above computer program when executed by the processor, it is also used to perform the following steps: segment the text to be detected according to a preset keyword database, and the segmentation result includes The word vector corresponding to the keywords contained in the set keyword database and multiple word vectors.
  • a computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the processor is caused to perform the following steps:
  • the text to be detected is short text
  • the preset corpus database contains multiple corpus texts; when the above computer program is executed by the processor, it is also used to perform the following steps: separately calculating the The similarity between the word segmentation result and each corpus text; the maximum value in the similarity calculation result is obtained as the target similarity, which is used as the correlation between the word segmentation result and the preset corpus database.
  • the above computer program when executed by the processor, it is also used to perform the following steps: separately calculate the editing distance between the word segmentation result and each corpus text according to a preset editing distance calculation formula; Obtain the maximum value in the calculation result of the editing distance as the target editing distance, as the relevance of the word segmentation result and the preset corpus database.
  • the above computer program when executed by the processor, it is also used to perform the following steps: determine that the target similarity is greater than or equal to a preset first threshold;
  • the above computer program when executed by the processor, it is also used to perform the following step: when the target editing distance is less than the second threshold, determine that the target similarity is greater than a preset The third threshold, and the target editing distance is greater than the preset fourth threshold;
  • the above computer program when executed by the processor, it is also used to perform the following steps: rewrite the text to be detected according to a preset text rewriting algorithm, and the rewritten text to be detected Does not contain preset auxiliary words.
  • the above computer program when executed by the processor, it is also used to perform the following steps: segment the text to be detected according to a preset keyword database, and the segmentation result includes The word vector and multiple word vectors corresponding to the keywords contained in the set keyword database.
  • short text filtering method short text filtering device, computer equipment, and computer readable storage medium belong to the same inventive concept.
  • the short text filtering method, short text filtering device, computer equipment, and computer readable storage medium relate to The content can be applied to each other.
  • Non-volatile memory may include read-only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory can include random access memory (RAM) or external cache memory.
  • RAM random access memory
  • DRAM dynamic RAM
  • SDRAM synchronous DRAM
  • DDRSDRAM double data rate SDRAM
  • ESDRAM enhanced SDRAM
  • SLDRAM synchronous chain (Synchlink) DRAM
  • RDRAM direct RAM
  • DRAM direct memory bus dynamic RAM
  • RDRAM memory bus dynamic RAM

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种短文本过滤方法、装置、介质和计算机设备，包括：获取待检测文本，所述待检测文本为短文本（S102）；对所述待检测文本进行分词，获取包含至少一个词向量的分词结果（S104）；计算所述分词结果与预设的语料数据库的相关度，根据所述相关度对所述待检测文本进行过滤（S106）。采用上述短文本过滤方法、装置、介质和计算机设备，可以提高短文本过滤的准确率。

Description

短文本过滤方法、装置、介质及计算机设备 技术领域
本发明涉及机器学习技术领域，尤其涉及一种短文本过滤方法、装置、计算机设备及存储介质。
背景技术
随着深度学习技术的发展和计算机性能的提升，深度学习技术广泛应用于各个领域，尤其是在机器人领域中对机器人进行分类训练或模型训练。然而，在模型训练的过程中，部分与训练任务无关的语料也会进入到模型中，这就使得模型出现误判。
也就是说，深度学习文本、短文本分类模型对未知文本的预测存在准确性不足的问题。
发明内容
基于此，有必要针对上述问题，提出一种识别率高的短文本过滤方法、装置和计算机设备。
在本发明的第一方面，提出了一种短文本过滤方法，所述方法包括：
获取待检测文本，所述待检测文本为短文本；
对所述待检测文本进行分词，获取包含至少一个词向量的分词结果；
计算所述分词结果与预设的语料数据库的相关度，根据所述相关度对所述待检测文本进行过滤。
在本发明的第二方面，提出了一种短文本过滤装置，所述装置包括：
待检测文本获取模块，用于获取待检测文本，所述待检测文本为短文本；
分词处理模块，用于对所述待检测文本进行分词，获取包含至少一个词向量的分词结果；
文本过滤模块，用于计算所述分词结果与预设的语料数据库的相关度，根据所述相关度对所述待检测文本进行过滤。
在本发明的第三方面，还提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
获取待检测文本，所述待检测文本为短文本；
对所述待检测文本进行分词，获取包含至少一个词向量的分词结果；
计算所述分词结果与预设的语料数据库的相关度，根据所述相关度对所述待检测文本进行过滤。
在本发明的第四方面，还提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：
获取待检测文本，所述待检测文本为短文本；
对所述待检测文本进行分词，获取包含至少一个词向量的分词结果；
计算所述分词结果与预设的语料数据库的相关度，根据所述相关度对所述待检测文本进行过滤。
本发明提出了一种短文本过滤方法、装置和计算机设备，在需要对短文本进行进一步的分类、预测等操作之前，首先对短文本进行过滤处理，具体通过对短文本进行分词，然后计算分词结果与预设的语料数据库之间是否是相关的来确定该短文本是否为相关文本，根据是否为相关文本对短文本进行过滤。也就是说，只有通过上述过程被判定为相关文本的短文本才会进入到下一个环节进行分类、预测或其他操作，从而提高了深度学习短文本预测的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为一个实施例中短文本过滤方法的实现流程示意图；
图2为一个实施例中短文本过滤方法的实现流程示意图；
图3为一个实施例中短文本过滤方法的实现流程示意图；
图4为一个实施例中短文本过滤方法的实现流程示意图；
图5为一个实施例中短文本过滤方法的实现流程示意图；
图6为一个实施例中短文本过滤装置的结构示意图；
图7为一个实施例中计算机设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本实施例中，特提出了一种短文本过滤方法，该方法的实现可依赖于计算机程序，该计算机程序可运行于基于冯诺依曼体系的计算机系统之上，该计算机程序可以是对文本、短文本进行过滤的应用程序。该计算机系统可以是运行上述计算机程序的例如智能手机、平板电脑、个人电脑等计算机设备。需要说明的是，在本实施例中，上述短文本过滤方法可以用于对机器人进行训练的过程。
如图1所示，在一个实施例中，提供了一种短文本过滤方法，具体包括如下步骤：
步骤S102：获取待检测文本，所述待检测文本为短文本。
待检测文本，为一个包含一个或者多个汉字的文本，例如，可以是通过语音识别获取的文本，也可以是实时获取的用户直接输入的短文本信息，或者是实时获取的计算机设备当前需要处理的短文本信息，还可以是获取预存储在计算机设备或其他设备中的需要进行过滤处理的短文本信息。其中，短文本是相对于长文本来讲的，短文本句子短，信息量少且重要，也即短文本中包含的信息比较稠密。
例如，在本实施例中，待检测文本为：我要去吃饭。
在一个具体的实施例中，待检测文本可以是对机器人进行训练的训练语料。
在本实施例中，在获取到待检测文本之后，还需要对原始的短文本进行一些处理，比如去除停用词(标点符号)、语气助词、口语词、客套词、动词叠 词等，然后才得到最终的待检测的短文本。
在一个具体的实施例中，上述步骤S102之后，还包括：按照预设的文本改写算法对所述待检测文本进行改写，所述改写后的待检测文本中不包含预设的辅助词。其中，预设的辅助词包括但不限于停用词(标点符号)、语气助词、口语词、客套词、动词叠词等。如，“左转啊”、“嗯，左转”、“麻烦左转”、“左转转”改为“左转”。
需要说明的是，在本实施例中，对待检测文本的改写还可以不限于上述辅助次的删除，还可以是其他文本的改写，在本实施例中不做限制。
步骤S104：对所述待检测文本进行分词，获取包含至少一个词向量的分词结果。
在本实施例中，在对短文本进行过滤的过程中，首先要对短文本进行分词处理，将短文本拆分成若干个字或词的组合。例如，将“我想去北京看看”进行分词处理得到的分词结果为：我，想，去，北京，看，看。
在本实施例中，考虑到短文本的特殊性，对待检测文本尽量按字为单位进行切割，但是，除了预设的关键词数据库中包含的关键词除外。也就是说，在对待检测文本进行分词处理的过程中，是根据预设的关键词数据库对所述待检测文本进行分词处理的，且除了在该关键词数据库中包含的关键词之外，其余的均按字为单位进行切割，也就是说，分词结果包括与预设的关键词数据库中包含的关键词对应的词向量、以及若干个字向量。
例如，“我想去北京看看”中“北京”为数据库里的关键词，因此，进行分词处理得到的分词结果为：我，想，去，北京，看，看。
在本实施例中，对短文本尽量按字进行切割时考虑到了短文本的字数较少，按词进行切分可能导致对应的词向量的数量过少，不利于后续的相似度、相关度的计算；而关键词数据库中的关键词予以保留是为了在短文本的基础上尽量多的保留一些重要信息。
步骤S106：计算所述分词结果与预设的语料数据库的相关度，根据所述相关度对所述待检测文本进行过滤。
待检测文本是否需要进行过滤是通过待检测文本的分词结果与相应的语料数据库之间进行比对来确定的。例如，在待检测文本对应的分词结果与语料 数据库之间是匹配度情况下，待检测文本为相关文本，不需要进行过滤，反之，待检测文本为不相关文本，需要进行过滤。
在本实施例中，通过预设的算法计算待检测文本对应的分词结果与语料数据库之间的相关度，然后根据该相关度信息来确定待检测文本是否为相关文本，并确定是否进行过滤处理。
在一个具体的实施例中，预设的语料数据库包含多条语料文本；在计算待检测文本与语料数据库之间的相关度时，可以通过计算待检测文本对应的分词结果与每一个预料文本之间的相似度来进行。具体的，上述计算所述分词结果与预设的语料数据库的相关度，还包括：按照预设的相似度计算算法分别计算所述分词结果与每一条语料文本之间的相似度；获取所述相似度计算结果中的最大值为目标相似度，作为所述分词结果与预设的语料数据库的相关度。
具体的，待检测文本分词后的分词结果与分完词的语料数据库中的语料文本逐条进行jaccard相似度计算。具体的，令A、B为两个不同的文本(例如，A为待检测文本对应的分词结果，B为语料数据库中的语料文本)，则，jaccard相似度公式为：
Figure PCTCN2018123847-appb-000001
并且，针对所有的语料文本，记录jaccard相似度最高的分值max_jaccard，并将max_jaccard作为目标相似度，并作为分词结果与预设的语料数据库的相关度。
进一步的，如图2所示，上述根据所述相关度对所述待检测文本进行过滤的具体过程为：判断确定目标相似度是否大于或等于预设的第一阈值；若是，判定所述待检测文本为相关文本；反之，所述待检测文本不为相关文本。
例如，在jaccard相似度的最高分值大于第一阈值(0.7)的情况下，即max_jaccard>0.7，待检测文本是预设语料数据库相关的文本，不需要过滤。
在另一个实施例中，待检测文本与语料数据库之间的相关度的计算不仅需要考虑待检测文本与语料文本之间相似度，还需要考虑其他维度的相关度。
具体的，在一个实施例中，上述计算分词结果与预设的语料数据库的相关度的过程还包括：按照预设的编辑距离计算公式分别计算所述分词结果与每一 条语料文本之间的编辑距离；获取所述编辑距离计算结果中的最大值为目标编辑距离，作为所述分词结果与预设的语料数据库的相关度。
待检测文本对应的分词结果与分完词的语料文本逐条进行编辑距离相似度计算，相似度高于预设的第二阈值则为相关文本。
具体的，令T为两个文本(A、B)中词向量/字向量的总数，令M为A、B中相同字的个数，编辑距离相似度公式为：
Figure PCTCN2018123847-appb-000002
并且，针对所有的语料文本，记录编辑距离的最高分值max_edit作为目标编辑距离，即待检测文本与语料数据库之间的编辑距离。
进一步的，如图3所示，上述根据所述相关度对所述待检测文本进行过滤的具体过程为：判断确定目标编辑距离是否大于或等于预设的第二阈值；若是，判定所述待检测文本为相关文本；反之，所述待检测文本不为相关文本。
例如，在编辑距离edit的最高分值max_edit大于第二阈值(0.8)的情况下，即max_edit>0.8，待检测文本是预设语料数据库相关的文本，不需要过滤。
在另一个可选的实施例中，在考虑是否需要将待检测文本进行过滤时，不仅需要考虑jaccard相似度，还需要考虑编辑距离edit。
具体地，如图4所示，判断确定目标相似度是否大于或等于预设的第一阈值；若是，判定所述待检测文本为相关文本；反之，在所述目标相似度小于所述第一阈值的情况下，需要进一步的考虑编辑距离的大小，即进一步判断所述目标编辑距离是否大于或等于预设的第二阈值；若是，判定所述待检测文本为相关文本，反之，待检测文本为不相关文本，需要进行过滤。
在另一个实施例中，还可能存在一种情况，相似度和编辑距离均较小，但是其可能也为相关文本。在这种情况下，还可以考虑在待检测文本中包含某些关键词的情况，可以降低对相似度、编辑距离等相关度的要求，从而避免过多的相关文本被过滤。
如图5所示，在目标相似度和目标编辑距离均小于预设的第一/第二阈值的情况下，进一步判断目标相似度是否大于预设第三阈值、且目标编辑距离是否大于预设的第四阈值，在均是的情况下，判断预设的关键词数据库中是否包 含了与所述待检测文本匹配的关键词，若是，判定所述待检测文本为相关文本，反之，待检测文本为不相关文本，需要进行过滤。例如，可以取第三阈值为0.5，第四阈值为0.5。
例如，在max_jaccard＝0.6，max_edit＝0.55的情况下，max_jaccard<0.7，且max_edit<0.8，但是，在该待检测文本中包含了预设的关键词，则进一步判断max_jaccard>0.5，且max_edit>0.5，从而判断待检测文本为相关文本。
在本发明实施例中，对于对话、命令等语料对应的短文本，在进行具体的模型训练或分类之前，首先对短文本进行过滤，从而避免了太多的不相关文本进入到训练模型或分类模型，造成较大的误差。具体的，通过对短文本进行分词并将分词结果与预设的语料数据库进行比对，从而确定相应的短文本是否与语料数据库是相关的，从而判断短文本是否为相关文本，是否需要进行过滤，从而大大的提高，深度学习文本、短文本分类模型对未知文本的预测的准确性。
如图6所示，本发明实施例还提供一种短文本过滤装置。具体的，如图6所示，所述短文本过滤装置包括：
待检测文本获取模块102，用于获取待检测文本，所述待检测文本为短文本；
分词处理模块104，用于对所述待检测文本进行分词，获取包含至少一个词向量的分词结果；
文本过滤模块106，用于计算所述分词结果与预设的语料数据库的相关度，根据所述相关度对所述待检测文本进行过滤。
上述短文本过滤装置，首先获取待检测的短文本(即待检测文本)；同时将所述待检测文本进行分词，得到分词结果，所述分词结果中包含多个词向量；然后针对预设语料数据库中包含的语料文本，计算其与待检测文本对应的分词结果之间的相关度，从而根据相关度计算结果来确定待检测文本是否为相关文本，并据此对待检测文本进行过滤。上述对短文本进行过滤减少了不相关的短文本进入到下一步的深度学习(例如模型训练、分类)环节中，提高了深度学习的准确性。
在其中一个实施例中，所述预设的语料数据库包含多条语料文本；所述文本过滤模块106还用于按照预设的相似度计算算法分别计算所述分词结果与 每一条语料文本之间的相似度；获取所述相似度计算结果中的最大值为目标相似度，作为所述分词结果与预设的语料数据库的相关度。
在其中一个实施例中，所述文本过滤模块106还用于按照预设的编辑距离计算公式分别计算所述分词结果与每一条语料文本之间的编辑距离；获取所述编辑距离计算结果中的最大值为目标编辑距离，作为所述分词结果与预设的语料数据库的相关度。
在其中一个实施例中，所述文本过滤模块106还用于确定所述目标相似度大于或等于预设的第一阈值；在所述目标相似度大于或等于所述第一阈值的情况下，判定所述待检测文本为相关文本；在所述目标相似度小于所述第一阈值的情况下，执行所述按照预设的编辑距离计算公式分别计算所述分词结果与每一条语料文本之间的编辑距离；确定所述目标编辑距离大于或等于预设的第二阈值；判定所述待检测文本为相关文本。
在其中一个实施例中，所述文本过滤模块106还用于在所述目标编辑距离小于所述第二阈值的情况下，确定所述目标相似度大于预设第三阈值、且目标编辑距离大于预设的第四阈值；在所述预设的关键词数据库查找与所述待检测文本匹配的关键词关键词，在查找到的情况下，判定所述待检测文本为相关文本。
在其中一个实施例中，如图6所示，上述装置还包括文本改写模块108，用于按照预设的文本改写算法对所述待检测文本进行改写，所述改写后的待检测文本中不包含预设的辅助词。
在其中一个实施例中，所述分词处理模块104还用于根据预设的关键词数据库对所述待检测文本进行分词，所述分词结果包括与所述预设的关键词数据库中包含的关键词对应的词向量以及多个字向量。
图7示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是服务器。如图7所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现短文本过滤方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行短文本 过滤方法。网络接口用于与外部进行通信。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的短文本过滤方法可以实现为一种计算机程序的形式，计算机程序可在如图7所示的计算机设备上运行。计算机设备的存储器中可存储组成短文本过滤装置的各个程序模板。比如，待检测文本获取模块102、分词处理模块104、文本过滤模块。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
上述计算机设备，在其中一个实施例中，上述计算机程序被所述处理器执行时，还用于执行以下步骤：
获取待检测文本，所述待检测文本为短文本；
对所述待检测文本进行分词，获取包含至少一个词向量的分词结果；
计算所述分词结果与预设的语料数据库的相关度，根据所述相关度对所述待检测文本进行过滤。
在其中一个实施例中，所述预设的语料数据库包含多条语料文本；上述计算机程序被所述处理器执行时，还用于执行以下步骤：按照预设的相似度计算算法分别计算所述分词结果与每一条语料文本之间的相似度；获取所述相似度计算结果中的最大值为目标相似度，作为所述分词结果与预设的语料数据库的相关度。
在其中一个实施例中，上述计算机程序被所述处理器执行时，还用于执行以下步骤：按照预设的编辑距离计算公式分别计算所述分词结果与每一条语料文本之间的编辑距离；获取所述编辑距离计算结果中的最大值为目标编辑距离，作为所述分词结果与预设的语料数据库的相关度。
在其中一个实施例中，上述计算机程序被所述处理器执行时，还用于执行以下步骤：确定所述目标相似度大于或等于预设的第一阈值；在所述目标相似度大于或等于所述第一阈值的情况下，判定所述待检测文本为相关文本；在所述目标相似度小于所述第一阈值的情况下，执行所述按照预设的编辑距离计算 公式分别计算所述分词结果与每一条语料文本之间的编辑距离；确定所述目标编辑距离大于或等于预设的第二阈值；判定所述待检测文本为相关文本。
在其中一个实施例中，上述计算机程序被所述处理器执行时，还用于执行以下步骤：在所述目标编辑距离小于所述第二阈值的情况下，确定所述目标相似度大于预设第三阈值、且目标编辑距离大于预设的第四阈值；在所述预设的关键词数据库查找与所述待检测文本匹配的关键词关键词，在查找到的情况下，判定所述待检测文本为相关文本。
在其中一个实施例中，所述对所述待检测文本进行分词的步骤之前，上述计算机程序被所述处理器执行时，还用于执行以下步骤：按照预设的文本改写算法对所述待检测文本进行改写，所述改写后的待检测文本中不包含预设的辅助词。
在其中一个实施例中，上述计算机程序被所述处理器执行时，还用于执行以下步骤：根据预设的关键词数据库对所述待检测文本进行分词，所述分词结果包括与所述预设的关键词数据库中包含的关键词对应的词向量以及多个字向量。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
获取待检测文本，所述待检测文本为短文本；
对所述待检测文本进行分词，获取包含至少一个词向量的分词结果；
计算所述分词结果与预设的语料数据库的相关度，根据所述相关度对所述待检测文本进行过滤。
在其中一个实施例中，所述预设的语料数据库包含多条语料文本；上述计算机程序被所述处理器执行时，还用于执行以下步骤：按照预设的相似度计算算法分别计算所述分词结果与每一条语料文本之间的相似度；获取所述相似度计算结果中的最大值为目标相似度，作为所述分词结果与预设的语料数据库的相关度。
在其中一个实施例中，上述计算机程序被所述处理器执行时，还用于执行以下步骤：按照预设的编辑距离计算公式分别计算所述分词结果与每一条语料文本之间的编辑距离；获取所述编辑距离计算结果中的最大值为目标编辑距离， 作为所述分词结果与预设的语料数据库的相关度。
在其中一个实施例中，上述计算机程序被所述处理器执行时，还用于执行以下步骤：确定所述目标相似度大于或等于预设的第一阈值；
在所述目标相似度大于或等于所述第一阈值的情况下，判定所述待检测文本为相关文本；在所述目标相似度小于所述第一阈值的情况下，执行所述按照预设的编辑距离计算公式分别计算所述分词结果与每一条语料文本之间的编辑距离；确定所述目标编辑距离大于或等于预设的第二阈值；判定所述待检测文本为相关文本。
在其中一个实施例中，上述计算机程序被所述处理器执行时，还用于执行以下步骤：在所述目标编辑距离小于所述第二阈值的情况下，确定所述目标相似度大于预设第三阈值、且目标编辑距离大于预设的第四阈值；
在所述预设的关键词数据库查找与所述待检测文本匹配的关键词关键词，在查找到的情况下，判定所述待检测文本为相关文本。
在其中一个实施例中，上述计算机程序被所述处理器执行时，还用于执行以下步骤：按照预设的文本改写算法对所述待检测文本进行改写，所述改写后的待检测文本中不包含预设的辅助词。
在其中一个实施例中，上述计算机程序被所述处理器执行时，还用于执行以下步骤：根据预设的关键词数据库对所述待检测文本进行分词，所述分词结果包括与所述预设的关键词数据库中包含的关键词对应的词向量以及多个字向量。
需要说明的是，上述短文本过滤方法、短文本过滤装置、计算机设备和计算机可读存储介质属于同一个发明构思，短文本过滤方法、短文本过滤装置、计算机设备和计算机可读存储介质中涉及的内容可相互适用。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程 ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

  1. 一种短文本过滤方法，其特征在于，所述方法包括：
    获取待检测文本，所述待检测文本为短文本；
    对所述待检测文本进行分词，获取包含至少一个词向量的分词结果；
    计算所述分词结果与预设的语料数据库的相关度，根据所述相关度对所述待检测文本进行过滤。
  2. 根据权利要求1所述的短文本过滤方法，其特征在于，所述预设的语料数据库包含多条语料文本；
    所述计算所述分词结果与预设的语料数据库的相关度，还包括：
    按照预设的相似度计算算法分别计算所述分词结果与每一条语料文本之间的相似度；
    获取所述相似度计算结果中的最大值为目标相似度，作为所述分词结果与预设的语料数据库的相关度。
  3. 根据权利要求2所述的短文本过滤方法，其特征在于，所述计算所述分词结果与预设的语料数据库的相关度，还包括：
    按照预设的编辑距离计算公式分别计算所述分词结果与每一条语料文本之间的编辑距离；
    获取所述编辑距离计算结果中的最大值为目标编辑距离，作为所述分词结果与预设的语料数据库的相关度。
  4. 根据权利要求3所述的短文本过滤方法，其特征在于，所述根据所述相关度对所述待检测文本进行过滤，还包括：
    确定所述目标相似度大于或等于预设的第一阈值；
    在所述目标相似度大于或等于所述第一阈值的情况下，判定所述待检测文本为相关文本；
    在所述目标相似度小于所述第一阈值的情况下，执行所述按照预设的编辑距离计算公式分别计算所述分词结果与每一条语料文本之间的编辑距离；确定所述目标编辑距离大于或等于预设的第二阈值；判定所述待检测文本为相关文本。
  5. 根据权利要求4所述的短文本过滤方法，其特征在于，所述确定所述目标编辑距离大于或等于预设的第二阈值之后，还包括：
    在所述目标编辑距离小于所述第二阈值的情况下，确定所述目标相似度大于预设第三阈值、且目标编辑距离大于预设的第四阈值；
    在所述预设的关键词数据库查找与所述待检测文本匹配的关键词关键词，在查找到的情况下，判定所述待检测文本为相关文本。
  6. 根据权利要求1所述的短文本过滤方法，其特征在于，所述对所述待检测文本进行分词的步骤之前还包括：
    按照预设的文本改写算法对所述待检测文本进行改写，所述改写后的待检测文本中不包含预设的辅助词。
  7. 根据权利要求1所述的短文本过滤方法，其特征在于，所述对所述待检测文本进行分词，还包括：
    根据预设的关键词数据库对所述待检测文本进行分词，所述分词结果包括与所述预设的关键词数据库中包含的关键词对应的词向量以及多个字向量。
  8. 一种短文本过滤装置，其特征在于，所述装置包括：
    待检测文本获取模块，用于获取待检测文本，所述待检测文本为短文本；
    分词处理模块，用于对所述待检测文本进行分词，获取包含至少一个词向量的分词结果；
    文本过滤模块，用于计算所述分词结果与预设的语料数据库的相关度，根据所述相关度对所述待检测文本进行过滤。
  9. 一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
  10. 一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
PCT/CN2018/123847 2018-12-25 2018-12-26 短文本过滤方法、装置、介质及计算机设备 Ceased WO2020132933A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811594130.7 2018-12-25
CN201811594130.7A CN111368061B (zh) 2018-12-25 2018-12-25 短文本过滤方法、装置、介质及计算机设备

Publications (1)

Publication Number Publication Date
WO2020132933A1 true WO2020132933A1 (zh) 2020-07-02

Family

ID=71126919

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/123847 Ceased WO2020132933A1 (zh) 2018-12-25 2018-12-26 短文本过滤方法、装置、介质及计算机设备

Country Status (2)

Country Link
CN (1) CN111368061B (zh)
WO (1) WO2020132933A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613310A (zh) * 2021-01-04 2021-04-06 成都颜创启新信息技术有限公司 一种人名匹配方法、装置、电子设备及存储介质
CN114186014A (zh) * 2020-09-14 2022-03-15 重庆市重报大数据研究院 用于生成词文图谱的方法、装置及设备
CN114201577A (zh) * 2020-09-17 2022-03-18 阿里巴巴集团控股有限公司 信息处理方法、装置、存储介质和处理器
CN114692619A (zh) * 2020-12-29 2022-07-01 北京国双科技有限公司 基于航司事件的关键词提取方法、装置及介质
CN115827800A (zh) * 2022-12-14 2023-03-21 企查查科技有限公司 基于数据库的媒体信息关联方法和装置
CN116052184A (zh) * 2023-01-05 2023-05-02 国网数字科技控股有限公司 一种基于rpa和ai的客户评论回复的方法及相关设备
CN117332039A (zh) * 2023-09-20 2024-01-02 鹏城实验室 文本检测方法、装置、设备和存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784042B (zh) * 2021-01-12 2024-07-26 北京明略软件系统有限公司 结合文章结构与聚合词向量的文本相似度计算方法及系统
CN113486170B (zh) * 2021-08-02 2023-12-15 国泰新点软件股份有限公司 基于人机交互的自然语言处理方法、装置、设备及介质
CN115934926A (zh) * 2022-11-10 2023-04-07 上海工物高技术产业发展有限公司 信息提取方法、装置、计算机设备、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090240498A1 (en) * 2008-03-19 2009-09-24 Microsoft Corporation Similiarity measures for short segments of text
CN101621391A (zh) * 2009-08-07 2010-01-06 北京百问百答网络技术有限公司 基于概率主题进行短文本分类的方法及系统
CN104102626A (zh) * 2014-07-07 2014-10-15 厦门推特信息科技有限公司 一种用于短文本语义相似度计算的方法
CN107085581A (zh) * 2016-02-16 2017-08-22 腾讯科技（深圳）有限公司 短文本分类方法和装置
CN108763477A (zh) * 2018-05-29 2018-11-06 厦门快商通信息技术有限公司 一种短文本分类方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008166B (zh) * 2014-05-30 2017-05-24 华东师范大学 一种基于形态和语义相似度的对话短文本聚类方法
CN106776863A (zh) * 2016-11-28 2017-05-31 合网络技术（北京）有限公司 文本相关度的确定方法、查询结果的推送方法及装置
CN106980870B (zh) * 2016-12-30 2020-07-28 中国银联股份有限公司 短文本之间的文本匹配度计算方法
CN108170806B (zh) * 2017-12-28 2020-11-20 东软集团股份有限公司 敏感词检测过滤方法、装置和计算机设备
CN108334495A (zh) * 2018-01-30 2018-07-27 国家计算机网络与信息安全管理中心 短文本相似度计算方法及系统
CN108804414A (zh) * 2018-05-04 2018-11-13 科沃斯商用机器人有限公司 文本修正方法、装置、智能设备及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090240498A1 (en) * 2008-03-19 2009-09-24 Microsoft Corporation Similiarity measures for short segments of text
CN101621391A (zh) * 2009-08-07 2010-01-06 北京百问百答网络技术有限公司 基于概率主题进行短文本分类的方法及系统
CN104102626A (zh) * 2014-07-07 2014-10-15 厦门推特信息科技有限公司 一种用于短文本语义相似度计算的方法
CN107085581A (zh) * 2016-02-16 2017-08-22 腾讯科技（深圳）有限公司 短文本分类方法和装置
CN108763477A (zh) * 2018-05-29 2018-11-06 厦门快商通信息技术有限公司 一种短文本分类方法及系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114186014A (zh) * 2020-09-14 2022-03-15 重庆市重报大数据研究院 用于生成词文图谱的方法、装置及设备
CN114186014B (zh) * 2020-09-14 2024-12-27 重庆市重报大数据研究院 用于生成词文图谱的方法、装置及设备
CN114201577A (zh) * 2020-09-17 2022-03-18 阿里巴巴集团控股有限公司 信息处理方法、装置、存储介质和处理器
CN114692619A (zh) * 2020-12-29 2022-07-01 北京国双科技有限公司 基于航司事件的关键词提取方法、装置及介质
CN112613310A (zh) * 2021-01-04 2021-04-06 成都颜创启新信息技术有限公司 一种人名匹配方法、装置、电子设备及存储介质
CN115827800A (zh) * 2022-12-14 2023-03-21 企查查科技有限公司 基于数据库的媒体信息关联方法和装置
CN116052184A (zh) * 2023-01-05 2023-05-02 国网数字科技控股有限公司 一种基于rpa和ai的客户评论回复的方法及相关设备
CN117332039A (zh) * 2023-09-20 2024-01-02 鹏城实验室 文本检测方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN111368061B (zh) 2024-04-12
CN111368061A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
WO2020132933A1 (zh) 短文本过滤方法、装置、介质及计算机设备
CN112446218B (zh) 长短句文本语义匹配方法、装置、计算机设备及存储介质
WO2022142613A1 (zh) 训练语料扩充方法及装置、意图识别模型训练方法及装置
CN111325037B (zh) 文本意图识别方法、装置、计算机设备和存储介质
CN108595695B (zh) 数据处理方法、装置、计算机设备和存储介质
WO2019136993A1 (zh) 文本相似度计算方法、装置、计算机设备和存储介质
WO2021042503A1 (zh) 信息分类抽取方法、装置、计算机设备和存储介质
WO2018153265A1 (zh) 关键词提取方法、计算机设备和存储介质
CN109492143A (zh) 图像数据处理方法、装置、计算机设备及存储介质
WO2018157805A1 (zh) 一种自动问答处理方法及自动问答系统
WO2021114810A1 (zh) 基于图结构的公文推荐方法、装置、计算机设备及介质
WO2020114100A1 (zh) 一种信息处理方法、装置和计算机存储介质
US9779728B2 (en) Systems and methods for adding punctuations by detecting silences in a voice using plurality of aggregate weights which obey a linear relationship
CN111191032B (zh) 语料扩充方法、装置、计算机设备和存储介质
WO2022134805A1 (zh) 文档分类预测方法、装置、计算机设备及存储介质
CN111241811B (zh) 确定搜索词权重的方法、装置、计算机设备和存储介质
CN111680132B (zh) 一种用于互联网文本信息的噪声过滤和自动分类方法
CN112632395B (zh) 搜索推荐方法和装置、服务器、计算机可读存储介质
CN112560444A (zh) 文本处理方法、装置、计算机设备和存储介质
CN113761161A (zh) 文本关键词提取方法、装置、计算机设备和存储介质
CN106649276A (zh) 标题中核心产品词的识别方法以及装置
CN110309504A (zh) 基于分词的文本处理方法、装置、设备及存储介质
CN117130595A (zh) 代码开发方法、装置、计算机设备和存储介质
CN111429991A (zh) 药品预测方法、装置、计算机设备及存储介质
WO2020057023A1 (zh) 自然语言的语义解析方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18944372

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18944372

Country of ref document: EP

Kind code of ref document: A1