WO2016180268A1 - 一种文本聚合方法及装置 - Google Patents

一种文本聚合方法及装置 Download PDF

Info

Publication number
WO2016180268A1
WO2016180268A1 PCT/CN2016/081090 CN2016081090W WO2016180268A1 WO 2016180268 A1 WO2016180268 A1 WO 2016180268A1 CN 2016081090 W CN2016081090 W CN 2016081090W WO 2016180268 A1 WO2016180268 A1 WO 2016180268A1
Authority
WO
WIPO (PCT)
Prior art keywords
text
aggregated
similarity
feature
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2016/081090
Other languages
English (en)
French (fr)
Inventor
冯文镛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of WO2016180268A1 publication Critical patent/WO2016180268A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification

Definitions

  • the present application relates to the field of Internet technologies, and in particular, to a text aggregation method and apparatus.
  • text aggregation is a technique for grouping text collections under a given similarity measure to group texts that are close to each other into the same group.
  • the text aggregation may specifically include steps such as text feature extraction and text similarity analysis.
  • the similarity analysis of the text to achieve the aggregation of the text is currently performed mainly based on the vector space model or the probability model.
  • the vector space model words or words in the text are used as features to represent the text, and the similarity between the feature vectors is used to measure the relevance of the text. Therefore, for texts that are too short in length, there will be a problem that the feature vector is too sparse, and the calculation result cannot meet the requirements of the similarity analysis, which leads to the problem that the final text aggregation result is not accurate.
  • the probability model if too short text is used, most of the features will be the result of probability smoothing, and cannot reflect the information of the real data.
  • the embodiment of the present invention provides a text aggregation method and device, which are used to solve the problem that the text aggregation method has low accuracy and low real-time performance due to poor text textuality analysis.
  • the embodiment of the present application provides a text aggregation method, including:
  • the to-be-aggregated text is aggregated to correspond to the second text feature set.
  • the text class In the text class.
  • the embodiment of the present application further provides a text aggregation apparatus, including:
  • a feature extraction unit configured to perform feature extraction on the to-be-aggregated text whose length is not greater than the set length threshold, to obtain a first text feature set corresponding to the to-be-aggregated text
  • a text aggregating unit configured to calculate a hash value of the first text feature set based on the set local sensitivity hash algorithm, and determine, according to the calculated hash value, the constructed local sensitivity to the setting In the hash index corresponding to the Greek algorithm, whether there is a matching value between the calculated hash value and the calculated distance is not greater than the set distance; if so, the distance between the calculated hash value is not greater than Among the matching values of the fixed distance, the matching value with the smallest distance from the calculated hash value is selected, and the first text feature set is calculated between the second text feature set corresponding to the minimum matching value And determining, if the similarity between the first text feature set and the second text feature set is not less than a set similarity threshold, aggregating the to-be-aggregated text to the second In the text class corresponding to the text feature set.
  • the embodiment of the present application provides a text aggregation method and apparatus.
  • a local sensitive hash algorithm is used to combine the similarity degree.
  • the method for determining the similarity analysis of the text to be aggregated to realize the aggregation of the text to be aggregated, so that the accuracy of the text aggregation result caused by the short text similarity analysis based on the vector space model or the probability model can be solved.
  • the problem of low real-time performance achieves an accurate and fast aggregation of short text.
  • FIG. 1 is a schematic flowchart diagram of a text aggregation method according to Embodiment 1 of the present application;
  • FIG. 2 is a schematic structural diagram of a text aggregation apparatus according to Embodiment 2 of the present application.
  • Embodiment 1 is a diagrammatic representation of Embodiment 1:
  • a text aggregation method is provided in the first embodiment of the present application. As shown in FIG. 1 , it is a schematic flowchart of the text aggregation method in the first embodiment of the present application.
  • the text aggregation method may include the following steps:
  • Step 101 Perform feature extraction on the to-be-aggregated text whose length is not greater than the set length threshold, to obtain a first text feature set corresponding to the to-be-aggregated text.
  • the text to be aggregated may be Chinese text data whose length is not more than a set length threshold (for example, 150 to 200 words, etc., wherein the English word or the continuous number is calculated by one Chinese character), and the embodiment of the present application I will not go into details about this.
  • a set length threshold for example, 150 to 200 words, etc., wherein the English word or the continuous number is calculated by one Chinese character
  • the feature to be aggregated whose length is not greater than the set length threshold may be extracted in the following manner, and the text corresponding to the to-be-aggregated text is obtained.
  • N-gram N-gram model
  • the feature extraction method using mechanical word segmentation combined with the N-ary model can achieve better text feature extraction effect. This is because the mechanical participle ignores the semantics to mechanically segment the text, while the N-ary model establishes a certain dependency between the isolated features, thus providing a larger feature set and enriching the information of the feature set. This plays a very good complement to the short text with less information. Therefore, it can achieve good results in the non-standard short text feature extraction, and thus improve the accuracy of text aggregation.
  • the feature extraction method based on the mechanical segmentation and the N-element model is used to perform feature extraction on the to-be-aggregated text whose length is not greater than the set length threshold, and the text feature set corresponding to the to-be-aggregated text is obtained, which may include:
  • any N consecutive word segments of the obtained plurality of word segments are combined into one text feature, and a text feature set corresponding to the to-be-aggregated text is obtained.
  • the N-ary model is Bi-gram
  • My birthday is 1989-01-22
  • the final result is as described above.
  • the set of text features corresponding to the aggregated text can be expressed as ⁇ my, birthday, birthday, day, is 1989-01-22 ⁇ .
  • the method may further include the following steps before performing feature extraction on the to-be-aggregated text whose length is not greater than the set length threshold:
  • Pre-processing the text to be aggregated so that the corresponding text feature extraction may be performed according to the pre-processed text to be aggregated; wherein the pre-processing may include at least one or more of the following operations, the present application
  • the embodiment does not limit this:
  • Remove special tags such as html tags
  • remove non-text special symbols such as &, *, etc.
  • perform complex font conversion on the text to be aggregated such as the traditional text in the text to be aggregated
  • Convert words into simplified characters, etc., and normalize the Latin and/or numbers of continuity in the text to be aggregated into a set string eg, normalize "Abc1234" or "1989-01-22" "xxxxxxx", etc.).
  • Step 102 Calculate a hash value of the first text feature set based on the set local sensitivity hash algorithm, and determine, according to the calculated hash value, the constructed local sensitive hash algorithm. In the corresponding hash index, whether there is a matching value between the calculated hash value and the set distance is not greater than the set distance.
  • the set local sensitivity hash algorithm is not limited to the Simhash algorithm or the Minhash algorithm.
  • the Simhash algorithm is a commonly used method for deduplicating web pages, which generates a digital signature by the content of the webpage, and then determines the degree of similarity of the webpage content by calculating the difference between the digital signatures.
  • the Minhash algorithm is also a kind of locally sensitive hash algorithm, which can be used to quickly estimate the similarity of two sets. It is originally used to detect duplicate web pages in search engines, and of course can also be applied to large-scale aggregation. The problem of the class and the like are not described in detail in the embodiments of the present application.
  • the Simhash algorithm may be preferentially used to calculate the hash value of the first text feature set.
  • step 102 may be specifically performed: calculating a Simhash value of the first text feature set based on the Simhash algorithm, and according to the calculated Simhash value, It is judged whether there is a matching value between the calculated Simhash index and the calculated Simhash value (specifically, the Hamming distance, that is, the Hamming distance) is not greater than the set distance.
  • the set distance can be flexibly set according to the actual situation.
  • the Hamming distance can be set to 3 to 5, etc., which is not described in this embodiment.
  • the Hamming distance between two equal-length strings refers to the number of different characters corresponding to two strings, that is, transform one string into another string. The number of characters to be replaced is not described in this embodiment of the present application.
  • Step 103 If it is determined that the constructed hash index corresponding to the set local sensitive hash algorithm exists, and the distance between the calculated hash value is not greater than the set distance, the And a matching value that is not greater than a set distance between the calculated hash value, selecting a matching value that is the smallest distance from the calculated hash value, and calculating the first text feature set and the The similarity between the second set of text features corresponding to the smallest matching value.
  • the similarity between the first text feature set and the second text feature set may be represented by at least one or more of the following similarity measure parameters: Jaccard similarity, Euclidean distance, and Hamming Distance and so on. That is, when calculating the similarity between the first text feature set and the second text feature set corresponding to the minimum matching value, the first text feature set and the second text may be calculated
  • Jaccard similarity, the Euclidean distance, and the Hamming distance between the feature sets are not described in detail in the embodiments of the present application.
  • Step 104 If it is determined that the similarity between the first text feature set and the second text feature set is not less than a set similarity threshold, the aggregated text to be aggregated to the second text feature set In the corresponding text class.
  • the set similarity threshold may be flexibly set according to actual conditions, for example, when the text is aggregated accurately.
  • the similarity threshold may be set to a relatively high value, and when the accuracy of text aggregation is required to be low, the similarity threshold may be set to a relatively low value, etc. This embodiment of the present application does not describe this.
  • the similarity between the first text feature set and the second text feature set is verified, mainly to eliminate the local sensitive hash.
  • the algorithm is applied to the aggregation of short text data, the misjudgment caused by the collision probability of the local sensitive hash algorithm improves the accuracy of text aggregation.
  • the Simhash algorithm to calculate the hash value of the first text feature set, and then selecting the corresponding matching value
  • the Simhash algorithm to calculate the hash value of the first text feature set, and then selecting the corresponding matching value
  • Jaccard similarity is the most common method to measure the similarity of two sets. It is also suitable for measuring the similarity of short texts, but it cannot be directly used for big data because it is too large. The amount of text aggregated. However, through the Jaccard similarity check, the collision problem of the Simhash algorithm can be completely solved, and the misjudgment caused by the Simhash collision is eliminated. Therefore, when the Simhash algorithm is combined with the Jaccard similarity check method to analyze the similarity of the aggregated text, the effect of synthesizing the short text accurately and quickly can be achieved.
  • the method may further include the following steps:
  • the hash index corresponding to the set local sensitive hash algorithm If it is determined that the hash index corresponding to the set local sensitive hash algorithm is constructed, there is no matching value between the calculated hash value and the set distance; or In the hash index corresponding to the set local sensitive hash algorithm, there is a matching value between the calculated hash value and the set distance, and the first text feature is determined. And the similarity between the set and the second set of text features is less than a set similarity threshold; then updating the calculated hash value to (ie, adding to) the constructed local sensitive hash with the setting Corresponding to the hash index of the algorithm, and creating a new text class based on the text to be aggregated, and categorizing the text to be aggregated into the created new text class.
  • the hash value corresponding to the to-be-aggregated text may be added to the corresponding hash index, and the to-be-aggregated text is returned. This is not described in detail in the embodiment of the present application.
  • the first embodiment of the present application provides a text aggregation method.
  • feature extraction may be performed on a to-be-aggregated text whose length is not greater than a set length threshold, and is obtained and After the text feature set corresponding to the text is aggregated, a local sensitive hash algorithm and a similarity check method may be used to perform similarity analysis on the to-be-aggregated text to implement aggregation of the text to be aggregated, thereby solving the vector-based solution.
  • the spatial model or the probabilistic model performs short text similarity analysis, the text aggregation result is less accurate and the real-time performance is lower, and the effect of aggregating short texts accurately and quickly is achieved, such as realizing big data traffic.
  • Real-time aggregation of short text eg, greater than 10,000 bars/second, etc.
  • Embodiment 2 is a diagrammatic representation of Embodiment 1:
  • the text aggregation device can mainly include:
  • the feature extraction unit 21 is configured to perform feature extraction on the to-be-aggregated text whose length is not greater than the set length threshold, to obtain a first text feature set corresponding to the to-be-aggregated text;
  • the text aggregating unit 22 is configured to calculate a hash value of the first text feature set based on the set local sensitivity hash algorithm, and determine a local sensitivity of the constructed and the set according to the calculated hash value In the hash index corresponding to the hash algorithm, whether there is a matching value between the calculated hash value and the calculated distance is not greater than the set distance; if so, the distance from the calculated hash value is not greater than Setting a matching value of the distance, selecting a matching value that is the smallest distance from the calculated hash value, and calculating a second text feature set corresponding to the first text feature set and the minimum matching value And the similarity between the first text feature set and the second text feature set is determined to be aggregated to the first if the similarity between the first text feature set and the second text feature set is not less than a set similarity threshold The text class corresponding to the two text feature sets.
  • the locally sensitive hash algorithm is not limited to the Simhash algorithm or the Minhash algorithm.
  • the similarity between the first text feature set and the second text feature set may be represented by at least one or more of the following similarity measure parameters: Jaccard similarity, Euclidean distance, Hamming distance, etc. .
  • the text aggregation unit 22 may be further configured to: if it is determined that the constructed hash index corresponding to the set local sensitive hash algorithm, there is no distance between the calculated hash value Not matching the matching value of the set distance; or determining that the constructed hash index corresponding to the set local sensitive hash algorithm has a distance between the calculated hash value and not greater than the set value a matching value of the distance, and determining that the similarity between the first text feature set and the second text feature set is less than a set similarity threshold; The hash value is updated to the constructed hash index corresponding to the set local sensitive hash algorithm, and a new text class is created based on the to-be-aggregated text, and the text to be aggregated is attributed to Created in the new text class.
  • the feature extraction unit 21 is specifically applicable to the feature extraction method based on the mechanical segmentation combined with the N-ary model, and the length is not greater than the set length threshold. Performing feature extraction on the aggregated text to obtain a first text feature set corresponding to the to-be-aggregated text, where N is a natural number greater than 1.
  • the feature extraction unit 21 is specifically configured to use a Chinese character and a continuous character string as a minimum segmentation unit, and perform segmentation on the to-be-aggregated text to obtain a plurality of word segments; and based on the N-ary model, the obtained feature is obtained. Any N consecutive word segments of the plurality of word segments are combined into a text feature, and a text feature set corresponding to the text to be aggregated is obtained.
  • the apparatus may further include a pre-processing unit 23:
  • the pre-processing unit 23 may be configured to pre-process the to-be-aggregated text before performing feature extraction on the to-be-aggregated text whose length is not greater than the set length threshold; wherein the pre-processing may at least include: removing the to-be-aggregated text Aggregate special tags in text, remove non-text special symbols in text to be aggregated, perform complex font conversions on aggregated text, and normalize Latin and/or numbers of continuity in text to be aggregated into settings One or more of a string, etc.
  • embodiments of the present application can be provided as a method, apparatus (device), or computer program product.
  • the present application can take the form of an entirely hardware embodiment, an entirely software embodiment, or an embodiment in combination of software and hardware.
  • the application can take the form of a computer program product embodied on one or more computer-usable storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) including computer usable program code.
  • These computer program instructions can also be stored in a particular computer capable of booting a computer or other programmable data processing device In a computer readable memory that operates in a computer readable memory, causing instructions stored in the computer readable memory to produce an article of manufacture comprising instruction means implemented in a block or in a flow or a flow diagram and/or block diagram of the flowchart The functions specified in the boxes.
  • These computer program instructions can also be loaded onto a computer or other programmable data processing device such that a series of operational steps are performed on a computer or other programmable device to produce computer-implemented processing for execution on a computer or other programmable device.
  • the instructions provide steps for implementing the functions specified in one or more of the flow or in a block or blocks of a flow diagram.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种文本聚合方法及装置，在得到与待聚合文本相对应的文本特征集合之后，可采用局部敏感哈希算法结合相似度校验的判定方法，对所述待聚合文本进行相似性分析以实现待聚合文本的聚合，从而可解决基于向量空间模型或概率模型进行短文本相似性分析时所导致的文本聚合结果准确性较低、实时性较低的问题，达到准确且又快速地对短文本进行聚合的效果。

Description

一种文本聚合方法及装置
本申请要求2015年05月13日递交的申请号为201510242860.0、发明名称为“一种文本聚合方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及互联网技术领域，尤其涉及一种文本聚合方法及装置。
背景技术
在传统的通信应用(如短信、邮件等)以及新型的互联网社交应用(如微信、微博、论坛等)等场景中，时刻都会产生大量的短文本数据，如，长度不大于设定的长度阈值(如150～200个字等，其中，英文单词或者连续数字按一个汉字计算)的中文文本数据。这些文本数据中存在大量有价值的信息，通过对其进行聚合可以发现信息中潜在的热点或者规律。
具体地，文本聚合是一种在给定的相似性度量之下对文本集合进行分组，使彼此相近的文本分到同一个组内的技术。文本聚合具体可包括文本特征提取以及文本相似性分析等步骤。
具体地，由于目前，在对文本进行相似性分析以实现文本的聚合时，主要基于向量空间模型或概率模型进行。而在向量空间模型中，是采用文本中的字或者词作为特征表示文本，用特征向量之间的相似度来度量文本的相关性。因而，对于长度过短的文本，会存在特征向量过于稀疏，导致计算结果无法满足相似性分析的要求，进而导致最终所得到的文本聚合结果并不准确的问题。另外，在概率模型中，若使用过短的文本，则大部分特征都会是概率平滑的结果，不能反映真实数据的信息，因而，也会存在聚合结果并不准确、无法满足用户需求的问题。再有，由于上述两类传统的文本相似度算法计算量巨大，因而，还会存在难以满足通常可以达到千万级甚至亿级的短文本数据的实时分析的问题，使得文本聚合的效果并不佳。
也就是说，目前，在对短文本数据进行文本聚合时，存在文本相似性分析的方式较差所导致的文本聚合的准确性较低、实时性较低的问题，因此，亟需提供一种新的文本聚合方法以解决上述问题。
发明内容
本申请实施例提供了一种文本聚合方法及装置，用以解决目前的文本聚合方式存在文本相似性分析的方式较差所导致的文本聚合的准确性较低、实时性较低的问题。
本申请实施例提供了一种文本聚合方法，包括：
对长度不大于设定的长度阈值的待聚合文本进行特征提取，得到与所述待聚合文本相对应的第一文本特征集合；
基于设定的局部敏感哈希算法计算所述第一文本特征集合的哈希值，并根据计算得到的哈希值，判断已构建的与所述设定的局部敏感哈希算法相对应的哈希索引中，是否存在与计算得到的哈希值之间的距离不大于设定距离的匹配值；
若是，则从与计算得到的哈希值之间的距离不大于设定距离的匹配值中，选取与计算得到的哈希值之间的距离最小的匹配值，并计算所述第一文本特征集合与所述最小的匹配值所对应的第二文本特征集合之间的相似度；
若确定所述第一文本特征集合与所述第二文本特征集合之间的相似度不小于设定的相似度阈值，则将所述待聚合文本聚合至所述第二文本特征集合所对应的文本类中。
相应地，本申请实施例还提供了一种文本聚合装置，包括：
特征提取单元，用于对长度不大于设定的长度阈值的待聚合文本进行特征提取，得到与所述待聚合文本相对应的第一文本特征集合；
文本聚合单元，用于基于设定的局部敏感哈希算法计算所述第一文本特征集合的哈希值，并根据计算得到的哈希值，判断已构建的与所述设定的局部敏感哈希算法相对应的哈希索引中，是否存在与计算得到的哈希值之间的距离不大于设定距离的匹配值；若是，则从与计算得到的哈希值之间的距离不大于设定距离的匹配值中，选取与计算得到的哈希值之间的距离最小的匹配值，并计算所述第一文本特征集合与所述最小的匹配值所对应的第二文本特征集合之间的相似度；以及，若确定所述第一文本特征集合与所述第二文本特征集合之间的相似度不小于设定的相似度阈值，则将所述待聚合文本聚合至所述第二文本特征集合所对应的文本类中。
本申请有益效果如下：
本申请实施例提供了一种文本聚合方法及装置，在本申请实施例所述技术方案中，可在得到与待聚合文本相对应的文本特征集合之后，采用局部敏感哈希算法结合相似度校验的判定方法，对所述待聚合文本进行相似性分析以实现待聚合文本的聚合，从而可解决基于向量空间模型或概率模型进行短文本相似性分析时所导致的文本聚合结果准确性较低、实时性较低的问题，达到准确且又快速地对短文本进行聚合的效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1所示为本申请实施例一中所述文本聚合方法的流程示意图；
图2所示为本申请实施例二中所述文本聚合装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
实施例一：
本申请实施例一提供了一种文本聚合方法，如图1所示，其为本申请实施例一中所述文本聚合方法的流程示意图，所述文本聚合方法可包括以下步骤：
步骤101：对长度不大于设定的长度阈值的待聚合文本进行特征提取，得到与所述待聚合文本相对应的第一文本特征集合。
可选地，所述待聚合文本具体可为长度不大于设定的长度阈值(如150～200个字等，其中，英文单词或者连续数字按一个汉字计算)的中文文本数据，本申请实施例对此不作赘述。
进一步地，由于互联网上的大量短文本数据存在用词不规范、存在各种变形等特点，因而使得，在使用传统的分词方法对其进行特征提取(如利用普通的分词器进行分词，并将相应的分词结果作为文本的特征描述)时，可能存在无法获得较好的特征提取结果，进而导致最终所得到的文本聚合结果并不准确的问题。
因而，为了提高文本特征的提取效果，在本申请所述实施例中，可采用以下方式对长度不大于设定的长度阈值的待聚合文本进行特征提取，得到与所述待聚合文本相对应的文本特征集合：
基于机械分词结合N元模型(N-gram)的特征提取方式对长度不大于设定的长度阈 值的待聚合文本进行特征提取，得到与所述待聚合文本相对应的第一文本特征集合，所述N为大于1的自然数。
需要说明的是，相对于采用传统的分词方法对短文本数据进行特征提取来说，采用机械分词结合N元模型的特征提取方式可达到较好的文本特征提取效果。这是因为，机械分词是忽略语意对文本进行机械地分割，而N元模型则是给孤立的特征之间建立了一定的依赖性，从而能够提供更大的特征集合，丰富了特征集合的信息，这对本身信息就较少的短文本来说起到了很好的补充作用，因而，可在不规范的短文本特征提取中取得良好的效果，进而提高文本聚合的准确性。
可选地，基于机械分词结合N元模型的特征提取方式对长度不大于设定的长度阈值的待聚合文本进行特征提取，得到与所述待聚合文本相对应的文本特征集合，可包括：
以中文汉字以及连续的字符串(如连续的拉丁文字符串、连续的数字串、或连续的拉丁文数字字符串等)为最小切分单元，对所述待聚合文本进行分词，得到多个分词；例如，以待聚合文本为“我的生日是1989-01-22”为例，可将所述待聚合文本分词为“我/的/生/日/是/1989-01-22”；
基于N元模型，将得到的多个分词中的任意N个连续的分词组合为一文本特征，得到与所述待聚合文本相对应的文本特征集合。例如，以所述N的取值为2(即所述N元模型为Bi-gram)，且待聚合文本为“我的生日是1989-01-22”为例，最终所得到的与所述待聚合文本相对应的文本特征集合可表示为{我的，的生，生日，日是，是1989-01-22}。
进一步地，为了提高文本质量，进而提高文本聚合的准确性，在对长度不大于设定的长度阈值的待聚合文本进行特征提取之前，所述方法还可包括以下步骤：
对所述待聚合文本进行预处理，以便后续可依据预处理后的待聚合文本进行相应的文本特征提取；其中，所述预处理至少可包括以下操作中的任意一种或多种，本申请实施例对此不作任何限定：
去除待聚合文本中的特殊标签(如html标签等)、去除待聚合文本中的非文字特殊符号(如&、*等)、对待聚合文本进行繁简字体转换(如将待聚合文本中的繁体字转换为简体字等)、以及将待聚合文本中的连续性的拉丁文和/或数字归一化为设定的字符串(如，将“Abc1234”或“1989-01-22”归一化成“xxxxxxx”等)等。
步骤102：基于设定的局部敏感哈希算法计算所述第一文本特征集合的哈希值，并根据计算得到的哈希值，判断已构建的与所述设定的局部敏感哈希算法相对应的哈希索引中，是否存在与计算得到的哈希值之间的距离不大于设定距离的匹配值。
具体地，所述设定的局部敏感哈希算法不限于为Simhash算法或Minhash算法等。其中，Simhash算法是一种用来对网页去重的常用方法，其通过对网页的内容生成一个数字签名，然后通过计算数字签名之间的差异来判定网页内容的相似程度。另外，与Simhash算法一样，Minhash算法也是局部敏感哈希算法的一种，可以用来快速估算两个集合的相似度，最初用于在搜索引擎中检测重复网页，当然也可以应用于大规模聚类问题等，本申请实施例对此均不作赘述。
优选地，由于Simhash算法的速度较快，因此，在本申请所述实施例中，可优先选用所述Simhash算法来计算第一文本特征集合的哈希值。相应地，以所述设定的局部敏感哈希算法为Simhash算法为例，步骤102可具体执行为：基于Simhash算法计算所述第一文本特征集合的Simhash值，并根据计算得到的Simhash值，判断已构建的Simhash索引中，是否存在与计算得到的Simhash值之间的距离(具体可为海明距离，即Hamming距离)不大于设定距离的匹配值。
其中，所述设定距离可根据实际情况灵活设定，如以海明距离为例，可设置为3～5等，本申请实施例对此不作赘述。另外，需要说明的是，在信息论中，两个等长字符串之间的海明距离是指两个字符串对应位置的不同字符的个数，即，将一个字符串变换成另外一个字符串所需要替换的字符个数，本申请实施例对此也不作赘述。
步骤103：若确定已构建的与所述设定的局部敏感哈希算法相对应的哈希索引中，存在与计算得到的哈希值之间的距离不大于设定距离的匹配值，则从与计算得到的哈希值之间的距离不大于设定距离的匹配值中，选取与计算得到的哈希值之间的距离最小的匹配值，并计算所述第一文本特征集合与所述最小的匹配值所对应的第二文本特征集合之间的相似度。
可选地，所述第一文本特征集合与所述第二文本特征集合之间的相似度至少可通过以下任意一种或多种相似度度量参数来表示：Jaccard相似度、欧式距离以及海明距离等。也就是说，在计算所述第一文本特征集合与所述最小的匹配值所对应的第二文本特征集合之间的相似度时，可计算所述第一文本特征集合与所述第二文本特征集合之间的Jaccard相似度、欧式距离以及海明距离等，本申请实施例对此不作赘述。
步骤104：若确定所述第一文本特征集合与所述第二文本特征集合之间的相似度不小于设定的相似度阈值，则将所述待聚合文本聚合至所述第二文本特征集合所对应的文本类中。
其中，所述设定的相似度阈值可根据实际情况灵活设定，如，当对文本聚合的准确 性要求较高时，可将所述相似度阈值设置为一个相对较高的数值，当对文本聚合的准确性要求较低时，可将所述相似度阈值设置为一个相对较低的数值等，本申请实施例对此不作赘述。
需要说明的是，在本申请所述实施例中，之所以对所述第一文本特征集合与所述第二文本特征集合之间的相似度进行校验，主要是为了消除将局部敏感哈希算法应用于短文本数据的聚合时，局部敏感哈希算法的碰撞概率所导致的误判现象，以提高文本聚合的准确性。
例如，以采用Simhash算法计算第一文本特征集合的哈希值、进而选取相应的匹配值为例，在采用Simhash算法计算第一文本特征集合的哈希值、进而选取相应的匹配值之后，可进一步对所述第一文本特征集合与选取的匹配值所对应的第二文本特征集合之间的相似度(如Jaccard相似度等)进行校验，以消除Simhash碰撞导致的误判问题。
需要说明的是，Jaccard相似度是最常见的衡量两个集合相似性的一种方法，其也很适合用于衡量短文本的相似性，但由于计算量过大，所以无法直接用于大数据量的文本聚合。但是，通过Jaccard相似度校验，却可以完全解决Simhash算法的碰撞问题，消除了Simhash碰撞导致的误判问题。因而，采用Simhash算法结合Jaccard相似度校验的判定方法对待聚合文本进行相似性分析时，可达到准确且又快速地对短文本进行聚合的效果。
进一步地，在本申请所述实施例中，所述方法还可包括以下步骤：
若确定已构建的与所述设定的局部敏感哈希算法相对应的哈希索引中，不存在与计算得到的哈希值之间的距离不大于设定距离的匹配值；或者，确定已构建的与所述设定的局部敏感哈希算法相对应的哈希索引中，存在与计算得到的哈希值之间的距离不大于设定距离的匹配值、且确定所述第一文本特征集合与所述第二文本特征集合之间的相似度小于设定的相似度阈值；则将计算得到的哈希值更新至(即添加至)已构建的与所述设定的局部敏感哈希算法相对应的哈希索引中，并基于所述待聚合文本创建一个新的文本类，以及将所述待聚合文本归至创建的所述新的文本类中。
也就是说，若确定待聚合文本不归属于任何一个已创建的文本类时，可将所述待聚合文本对应的哈希值添加至相应的哈希索引中，并将所述待聚合文本归至一个新创建的文本类中，本申请实施例对此不作赘述。
进一步地，需要说明的是，本申请实施例所述方案无语言、软件或者硬件的限制。但是，为了提高文本聚合的效率，可优先选用性能高的编程语言(如C++或者Java等) 和性能高的硬件等来实现，本申请实施例对此不作赘述。
本申请实施例一提供了一种文本聚合方法，在本申请实施例一所述技术方案中，可对长度不大于设定的长度阈值的待聚合文本进行特征提取，并在得到与所述待聚合文本相对应的文本特征集合之后，可采用局部敏感哈希算法结合相似度校验的判定方法，对所述待聚合文本进行相似性分析以实现待聚合文本的聚合，从而可在解决基于向量空间模型或概率模型进行短文本相似性分析时所导致的文本聚合结果准确性较低、实时性较低的问题，达到准确且又快速地对短文本进行聚合的效果，如可实现大数据流量(如大于1万条/秒等)下的短文本的实时聚合，以支持对数据流的实时分析。
实施例二：
基于同一发明构思，本申请实施例二提供了一种文本聚合装置，该文本聚合装置的具体实施可参见上述方法实施例一中的相关描述，重复之处不再赘述，如图2所示，该文本聚合装置主要可包括：
特征提取单元21，可用于对长度不大于设定的长度阈值的待聚合文本进行特征提取，得到与所述待聚合文本相对应的第一文本特征集合；
文本聚合单元22，可用于基于设定的局部敏感哈希算法计算所述第一文本特征集合的哈希值，并根据计算得到的哈希值，判断已构建的与所述设定的局部敏感哈希算法相对应的哈希索引中，是否存在与计算得到的哈希值之间的距离不大于设定距离的匹配值；若是，则从与计算得到的哈希值之间的距离不大于设定距离的匹配值中，选取与计算得到的哈希值之间的距离最小的匹配值，并计算所述第一文本特征集合与所述最小的匹配值所对应的第二文本特征集合之间的相似度；以及，若确定所述第一文本特征集合与所述第二文本特征集合之间的相似度不小于设定的相似度阈值，则将所述待聚合文本聚合至所述第二文本特征集合所对应的文本类中。
其中，所述设定的局部敏感哈希算法不限于为Simhash算法或Minhash算法等。且，所述第一文本特征集合与所述第二文本特征集合之间的相似度至少可通过以下任意一种或多种相似度度量参数来表示：Jaccard相似度、欧式距离以及海明距离等。
进一步地，所述文本聚合单元22，还可用于若确定已构建的与所述设定的局部敏感哈希算法相对应的哈希索引中，不存在与计算得到的哈希值之间的距离不大于设定距离的匹配值；或者，确定已构建的与所述设定的局部敏感哈希算法相对应的哈希索引中，存在与计算得到的哈希值之间的距离不大于设定距离的匹配值、且确定所述第一文本特征集合与所述第二文本特征集合之间的相似度小于设定的相似度阈值；则将计算得到的 哈希值更新至已构建的与所述设定的局部敏感哈希算法相对应的哈希索引中，并基于所述待聚合文本创建一个新的文本类，以及将所述待聚合文本归至创建的所述新的文本类中。
进一步地，为了提高文本特征的提取效果，在本申请所述实施例中，所述特征提取单元21具体可用于基于机械分词结合N元模型的特征提取方式对长度不大于设定的长度阈值的待聚合文本进行特征提取，得到与所述待聚合文本相对应的第一文本特征集合，所述N为大于1的自然数。
可选地，所述特征提取单元21具体可用于以中文汉字以及连续的字符串为最小切分单元，对所述待聚合文本进行分词，得到多个分词；并基于N元模型，将得到的多个分词中的任意N个连续的分词组合为一文本特征，得到与所述待聚合文本相对应的文本特征集合。
进一步地，所述装置还可包括预处理单元23：
所述预处理单元23，可用于在对长度不大于设定的长度阈值的待聚合文本进行特征提取之前，对所述待聚合文本进行预处理；其中，所述预处理至少可包括：去除待聚合文本中的特殊标签、去除待聚合文本中的非文字特殊符号、对待聚合文本进行繁简字体转换、以及将待聚合文本中的连续性的拉丁文和/或数字归一化为设定的字符串等中的一种或多种。
本领域技术人员应明白，本申请的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方 式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (14)

  1. 一种文本聚合方法，其特征在于，包括：
    对长度不大于设定的长度阈值的待聚合文本进行特征提取，得到与所述待聚合文本相对应的第一文本特征集合；
    基于设定的局部敏感哈希算法计算所述第一文本特征集合的哈希值，并根据计算得到的哈希值，判断已构建的与所述设定的局部敏感哈希算法相对应的哈希索引中，是否存在与计算得到的哈希值之间的距离不大于设定距离的匹配值；
    若是，则从与计算得到的哈希值之间的距离不大于设定距离的匹配值中，选取与计算得到的哈希值之间的距离最小的匹配值，并计算所述第一文本特征集合与所述最小的匹配值所对应的第二文本特征集合之间的相似度；
    若确定所述第一文本特征集合与所述第二文本特征集合之间的相似度不小于设定的相似度阈值，则将所述待聚合文本聚合至所述第二文本特征集合所对应的文本类中。
  2. 如权利要求1所述的方法，其特征在于，所述方法还包括：
    若确定已构建的与所述设定的局部敏感哈希算法相对应的哈希索引中，不存在与计算得到的哈希值之间的距离不大于设定距离的匹配值；或者，确定已构建的与所述设定的局部敏感哈希算法相对应的哈希索引中，存在与计算得到的哈希值之间的距离不大于设定距离的匹配值、且确定所述第一文本特征集合与所述第二文本特征集合之间的相似度小于设定的相似度阈值，则
    将计算得到的哈希值更新至已构建的与所述设定的局部敏感哈希算法相对应的哈希索引中，并基于所述待聚合文本创建一个新的文本类，以及将所述待聚合文本归至创建的所述新的文本类中。
  3. 如权利要求1或2所述的方法，其特征在于，所述对长度不大于设定的长度阈值的待聚合文本进行特征提取，得到与所述待聚合文本相对应的文本特征集合，包括：
    基于机械分词结合N元模型的特征提取方式对长度不大于设定的长度阈值的待聚合文本进行特征提取，得到与所述待聚合文本相对应的第一文本特征集合，所述N为大于1的自然数。
  4. 如权利要求3所述的方法，其特征在于，所述基于机械分词结合N元模型的特征提取方式对长度不大于设定的长度阈值的待聚合文本进行特征提取，得到与所述待聚合文本相对应的第一文本特征集合，包括：
    以中文汉字以及连续的字符串为最小切分单元，对所述待聚合文本进行分词，得到 多个分词；
    基于N元模型，将得到的多个分词中的任意N个连续的分词组合为一文本特征，得到与所述待聚合文本相对应的文本特征集合。
  5. 如权利要求1或2所述的方法，其特征在于，所述设定的局部敏感哈希算法不限于为Simhash算法或Minhash算法。
  6. 如权利要求1或2所述的方法，其特征在于，所述第一文本特征集合与所述第二文本特征集合之间的相似度至少通过Jaccard相似度、欧式距离以及海明距离中的任意一种或多种相似度度量参数来表示。
  7. 如权利要求1或2所述的方法，其特征在于，在对长度不大于设定的长度阈值的待聚合文本进行特征提取之前，所述方法还包括：
    对所述待聚合文本进行预处理；其中，所述预处理至少包括：去除待聚合文本中的特殊标签、去除待聚合文本中的非文字特殊符号、对待聚合文本进行繁简字体转换、以及将待聚合文本中的连续性的拉丁文和/或数字归一化为设定的字符串中的一种或多种。
  8. 一种文本聚合装置，其特征在于，包括：
    特征提取单元，用于对长度不大于设定的长度阈值的待聚合文本进行特征提取，得到与所述待聚合文本相对应的第一文本特征集合；
    文本聚合单元，用于基于设定的局部敏感哈希算法计算所述第一文本特征集合的哈希值，并根据计算得到的哈希值，判断已构建的与所述设定的局部敏感哈希算法相对应的哈希索引中，是否存在与计算得到的哈希值之间的距离不大于设定距离的匹配值；若是，则从与计算得到的哈希值之间的距离不大于设定距离的匹配值中，选取与计算得到的哈希值之间的距离最小的匹配值，并计算所述第一文本特征集合与所述最小的匹配值所对应的第二文本特征集合之间的相似度；以及，若确定所述第一文本特征集合与所述第二文本特征集合之间的相似度不小于设定的相似度阈值，则将所述待聚合文本聚合至所述第二文本特征集合所对应的文本类中。
  9. 如权利要求8所述的装置，其特征在于，
    所述文本聚合单元，还用于若确定已构建的与所述设定的局部敏感哈希算法相对应的哈希索引中，不存在与计算得到的哈希值之间的距离不大于设定距离的匹配值；或者，确定已构建的与所述设定的局部敏感哈希算法相对应的哈希索引中，存在与计算得到的哈希值之间的距离不大于设定距离的匹配值、且确定所述第一文本特征集合与所述第二文本特征集合之间的相似度小于设定的相似度阈值，则
    将计算得到的哈希值更新至已构建的与所述设定的局部敏感哈希算法相对应的哈希索引中，并基于所述待聚合文本创建一个新的文本类，以及将所述待聚合文本归至创建的所述新的文本类中。
  10. 如权利要求8或9所述的装置，其特征在于，
    所述特征提取单元，具体用于基于机械分词结合N元模型的特征提取方式对长度不大于设定的长度阈值的待聚合文本进行特征提取，得到与所述待聚合文本相对应的第一文本特征集合，所述N为大于1的自然数。
  11. 如权利要求10所述的装置，其特征在于，
    所述特征提取单元，具体用于以中文汉字以及连续的字符串为最小切分单元，对所述待聚合文本进行分词，得到多个分词；并基于N元模型，将得到的多个分词中的任意N个连续的分词组合为一文本特征，得到与所述待聚合文本相对应的文本特征集合。
  12. 如权利要求8或9所述的装置，其特征在于，所述设定的局部敏感哈希算法不限于为Simhash算法或Minhash算法。
  13. 如权利要求8或9所述的装置，其特征在于，所述第一文本特征集合与所述第二文本特征集合之间的相似度至少通过Jaccard相似度、欧式距离以及海明距离中的任意一种或多种相似度度量参数来表示。
  14. 如权利要求8或9所述的装置，其特征在于，所述装置还包括预处理单元：
    所述预处理单元，用于在对长度不大于设定的长度阈值的待聚合文本进行特征提取之前，对所述待聚合文本进行预处理；
    其中，所述预处理至少包括：去除待聚合文本中的特殊标签、去除待聚合文本中的非文字特殊符号、对待聚合文本进行繁简字体转换、以及将待聚合文本中的连续性的拉丁文和/或数字归一化为设定的字符串中的一种或多种。
PCT/CN2016/081090 2015-05-13 2016-05-05 一种文本聚合方法及装置 Ceased WO2016180268A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510242860.0A CN106294350B (zh) 2015-05-13 2015-05-13 一种文本聚合方法及装置
CN201510242860.0 2015-05-13

Publications (1)

Publication Number Publication Date
WO2016180268A1 true WO2016180268A1 (zh) 2016-11-17

Family

ID=57248581

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/081090 Ceased WO2016180268A1 (zh) 2015-05-13 2016-05-05 一种文本聚合方法及装置

Country Status (2)

Country Link
CN (1) CN106294350B (zh)
WO (1) WO2016180268A1 (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108959440A (zh) * 2018-06-13 2018-12-07 福建新大陆软件工程有限公司 一种短信聚类方法及装置
CN109190117A (zh) * 2018-08-10 2019-01-11 中国船舶重工集团公司第七〇九研究所 一种基于词向量的短文本语义相似度计算方法
CN109299260A (zh) * 2018-09-29 2019-02-01 上海晶赞融宣科技有限公司 数据分类方法、装置以及计算机可读存储介质
CN109445844A (zh) * 2018-11-05 2019-03-08 浙江网新恒天软件有限公司 基于哈希值的代码克隆检测方法、电子设备、存储介质
CN109657202A (zh) * 2017-10-10 2019-04-19 北京国双科技有限公司 文本处理的方法及装置
CN110147531A (zh) * 2018-06-11 2019-08-20 广州腾讯科技有限公司 一种相似文本内容的识别方法、装置及存储介质
CN110321433A (zh) * 2019-06-26 2019-10-11 阿里巴巴集团控股有限公司 确定文本类别的方法及装置
CN110991358A (zh) * 2019-12-06 2020-04-10 腾讯科技（深圳）有限公司 一种基于区块链的文本比对方法及装置
CN111444325A (zh) * 2020-03-30 2020-07-24 湖南工业大学 一种位置编码单次随机置换哈希度量文档相似度的方法
CN111506708A (zh) * 2020-04-22 2020-08-07 上海极链网络科技有限公司 一种文本审核方法、装置、设备和介质
CN111738437A (zh) * 2020-07-17 2020-10-02 支付宝(杭州)信息技术有限公司 一种训练方法、文本生成方法、装置及电子设备
CN112711648A (zh) * 2020-12-23 2021-04-27 航天信息股份有限公司 一种数据库字符串密文存储方法、电子设备和介质
CN113420141A (zh) * 2021-06-24 2021-09-21 中国人民解放军陆军工程大学 基于哈希聚类和上下文信息的敏感数据搜索方法
CN113688629A (zh) * 2021-08-04 2021-11-23 德邦证券股份有限公司 文本去重的方法、装置以及存储介质
CN113704465A (zh) * 2021-07-21 2021-11-26 大箴(杭州)科技有限公司 文本聚类方法及装置、电子设备、存储介质
CN115859285A (zh) * 2022-12-06 2023-03-28 广州海量数据库技术有限公司 OpenGauss中基于GiST索引技术的文件相似度检测方法
CN115906115A (zh) * 2022-11-07 2023-04-04 中银金融科技有限公司 一种数据脱敏方法及系统
CN115982347A (zh) * 2021-10-14 2023-04-18 厦门快商通科技股份有限公司 一种标注数据质检方法、终端设备及存储介质
CN115984870A (zh) * 2023-01-04 2023-04-18 国网山东省电力公司潍坊供电公司 一种用于工作票核查的方法、系统及终端
CN116204612A (zh) * 2022-10-20 2023-06-02 超聚变数字技术有限公司 一种文本相似度计算方法及系统
CN116341566A (zh) * 2023-05-29 2023-06-27 中债金科信息技术有限公司 文本去重方法、装置、电子设备及存储介质
CN116401478A (zh) * 2023-03-07 2023-07-07 上海观安信息技术股份有限公司 一种基于url的api资产归并方法及系统
CN119068495A (zh) * 2024-08-09 2024-12-03 河北数微信息技术有限公司 一种基于海明距离提升ocr中文识别准确率的方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108572961A (zh) * 2017-03-08 2018-09-25 北京嘀嘀无限科技发展有限公司 一种文本的向量化方法以及装置
CN106951865B (zh) * 2017-03-21 2020-04-07 东莞理工学院 一种基于海明距离的隐私保护生物识别方法
CN110019531B (zh) * 2017-12-29 2021-11-02 北京京东尚科信息技术有限公司 一种获取相似对象集合的方法和装置
CN108399163B (zh) * 2018-03-21 2021-01-12 北京理工大学 结合词聚合与词组合语义特征的文本相似性度量方法
CN109241505A (zh) * 2018-10-09 2019-01-18 北京奔影网络科技有限公司 文本去重方法及装置
CN110134768B (zh) * 2019-05-13 2023-05-26 腾讯科技（深圳）有限公司 文本的处理方法、装置、设备及存储介质
CN110532389B (zh) * 2019-08-22 2023-07-14 北京睿象科技有限公司 一种文本聚类方法、装置和计算设备
CN110516157B (zh) * 2019-08-30 2022-04-01 盈盛智创科技(广州)有限公司 一种文献检索方法、设备和存储介质
CN111241275B (zh) * 2020-01-02 2022-12-06 厦门快商通科技股份有限公司 一种短文本相似度评估方法和装置以及设备
CN111694952A (zh) * 2020-04-16 2020-09-22 国家计算机网络与信息安全管理中心 一种基于微博的大数据分析模型系统及其实现方法
CN111861201A (zh) * 2020-07-17 2020-10-30 南京汇宁桀信息科技有限公司 一种基于大数据分类算法的政务智能派单的方法
CN113177408B (zh) * 2021-04-26 2025-02-07 北京搜狗科技发展有限公司 一种文本检测方法、装置及设备
CN116450918B (zh) * 2023-06-09 2023-08-25 辰风策划(深圳)有限公司 线上信息咨询方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012118659A (ja) * 2010-11-30 2012-06-21 Nippon Telegr & Teleph Corp <Ntt> 情報検索装置、情報検索方法及びそのプログラム
CN103064887A (zh) * 2012-12-10 2013-04-24 华为技术有限公司 一种推荐信息的方法和设备
CN103646080A (zh) * 2013-12-12 2014-03-19 北京京东尚科信息技术有限公司 基于倒序索引的微博去重方法和系统
CN103744964A (zh) * 2014-01-06 2014-04-23 同济大学 一种基于局部敏感Hash函数的网页分类方法
CN103914463A (zh) * 2012-12-31 2014-07-09 北京新媒传信科技有限公司 一种图片信息的相似性检索方法和装置
CN104391963A (zh) * 2014-12-01 2015-03-04 北京中科创益科技有限公司 一种自然语言文本关键词关联网络构建方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8060747B1 (en) * 2005-09-12 2011-11-15 Microsoft Corporation Digital signatures for embedded code
CN101477563B (zh) * 2009-01-21 2010-11-10 北京百问百答网络技术有限公司 一种短文本聚类的方法、系统及其数据处理装置
CN102929906B (zh) * 2012-08-10 2015-07-22 北京邮电大学 基于内容特征和主题特征的文本分组聚类方法
CN103441924B (zh) * 2013-09-03 2016-06-08 盈世信息科技(北京)有限公司 一种基于短文本的垃圾邮件过滤方法及装置
CN103970722B (zh) * 2014-05-07 2017-04-05 江苏金智教育信息技术有限公司 一种文本内容去重的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012118659A (ja) * 2010-11-30 2012-06-21 Nippon Telegr & Teleph Corp <Ntt> 情報検索装置、情報検索方法及びそのプログラム
CN103064887A (zh) * 2012-12-10 2013-04-24 华为技术有限公司 一种推荐信息的方法和设备
CN103914463A (zh) * 2012-12-31 2014-07-09 北京新媒传信科技有限公司 一种图片信息的相似性检索方法和装置
CN103646080A (zh) * 2013-12-12 2014-03-19 北京京东尚科信息技术有限公司 基于倒序索引的微博去重方法和系统
CN103744964A (zh) * 2014-01-06 2014-04-23 同济大学 一种基于局部敏感Hash函数的网页分类方法
CN104391963A (zh) * 2014-12-01 2015-03-04 北京中科创益科技有限公司 一种自然语言文本关键词关联网络构建方法

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657202A (zh) * 2017-10-10 2019-04-19 北京国双科技有限公司 文本处理的方法及装置
CN109657202B (zh) * 2017-10-10 2022-10-28 北京国双科技有限公司 文本处理的方法及装置
CN110147531B (zh) * 2018-06-11 2024-04-23 广州腾讯科技有限公司 一种相似文本内容的识别方法、装置及存储介质
CN110147531A (zh) * 2018-06-11 2019-08-20 广州腾讯科技有限公司 一种相似文本内容的识别方法、装置及存储介质
CN108959440A (zh) * 2018-06-13 2018-12-07 福建新大陆软件工程有限公司 一种短信聚类方法及装置
CN109190117A (zh) * 2018-08-10 2019-01-11 中国船舶重工集团公司第七〇九研究所 一种基于词向量的短文本语义相似度计算方法
CN109299260A (zh) * 2018-09-29 2019-02-01 上海晶赞融宣科技有限公司 数据分类方法、装置以及计算机可读存储介质
CN109445844A (zh) * 2018-11-05 2019-03-08 浙江网新恒天软件有限公司 基于哈希值的代码克隆检测方法、电子设备、存储介质
CN110321433A (zh) * 2019-06-26 2019-10-11 阿里巴巴集团控股有限公司 确定文本类别的方法及装置
CN110321433B (zh) * 2019-06-26 2023-04-07 创新先进技术有限公司 确定文本类别的方法及装置
CN110991358B (zh) * 2019-12-06 2024-03-19 腾讯科技（深圳）有限公司 一种基于区块链的文本比对方法及装置
CN110991358A (zh) * 2019-12-06 2020-04-10 腾讯科技（深圳）有限公司 一种基于区块链的文本比对方法及装置
CN111444325B (zh) * 2020-03-30 2023-06-20 湖南工业大学 一种位置编码单次随机置换哈希度量文档相似度的方法
CN111444325A (zh) * 2020-03-30 2020-07-24 湖南工业大学 一种位置编码单次随机置换哈希度量文档相似度的方法
CN111506708A (zh) * 2020-04-22 2020-08-07 上海极链网络科技有限公司 一种文本审核方法、装置、设备和介质
CN111738437A (zh) * 2020-07-17 2020-10-02 支付宝(杭州)信息技术有限公司 一种训练方法、文本生成方法、装置及电子设备
CN111738437B (zh) * 2020-07-17 2020-11-20 支付宝(杭州)信息技术有限公司 一种训练方法、文本生成方法、装置及电子设备
CN112711648A (zh) * 2020-12-23 2021-04-27 航天信息股份有限公司 一种数据库字符串密文存储方法、电子设备和介质
CN113420141B (zh) * 2021-06-24 2022-10-04 中国人民解放军陆军工程大学 基于哈希聚类和上下文信息的敏感数据搜索方法
CN113420141A (zh) * 2021-06-24 2021-09-21 中国人民解放军陆军工程大学 基于哈希聚类和上下文信息的敏感数据搜索方法
CN113704465A (zh) * 2021-07-21 2021-11-26 大箴(杭州)科技有限公司 文本聚类方法及装置、电子设备、存储介质
CN113688629A (zh) * 2021-08-04 2021-11-23 德邦证券股份有限公司 文本去重的方法、装置以及存储介质
CN115982347A (zh) * 2021-10-14 2023-04-18 厦门快商通科技股份有限公司 一种标注数据质检方法、终端设备及存储介质
CN116204612A (zh) * 2022-10-20 2023-06-02 超聚变数字技术有限公司 一种文本相似度计算方法及系统
CN115906115A (zh) * 2022-11-07 2023-04-04 中银金融科技有限公司 一种数据脱敏方法及系统
CN115859285A (zh) * 2022-12-06 2023-03-28 广州海量数据库技术有限公司 OpenGauss中基于GiST索引技术的文件相似度检测方法
CN115984870A (zh) * 2023-01-04 2023-04-18 国网山东省电力公司潍坊供电公司 一种用于工作票核查的方法、系统及终端
CN116401478A (zh) * 2023-03-07 2023-07-07 上海观安信息技术股份有限公司 一种基于url的api资产归并方法及系统
CN116341566A (zh) * 2023-05-29 2023-06-27 中债金科信息技术有限公司 文本去重方法、装置、电子设备及存储介质
CN116341566B (zh) * 2023-05-29 2023-10-20 中债金科信息技术有限公司 文本去重方法、装置、电子设备及存储介质
CN119068495A (zh) * 2024-08-09 2024-12-03 河北数微信息技术有限公司 一种基于海明距离提升ocr中文识别准确率的方法

Also Published As

Publication number Publication date
CN106294350A (zh) 2017-01-04
CN106294350B (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
WO2016180268A1 (zh) 一种文本聚合方法及装置
US11544459B2 (en) Method and apparatus for determining feature words and server
CN106055574B (zh) 一种识别非法统一资源标识符url的方法与装置
CN103699625B (zh) 基于关键词进行检索的方法及装置
CN103336766B (zh) 短文本垃圾识别以及建模方法和装置
CN106033416B (zh) 一种字符串处理方法及装置
US9197665B1 (en) Similarity search and malware prioritization
CN110413787B (zh) 文本聚类方法、装置、终端和存储介质
WO2021227831A1 (zh) 威胁情报的主题检测方法、装置和计算机存储介质
WO2019200806A1 (zh) 文本分类模型的生成装置、方法及计算机可读存储介质
CN112052331A (zh) 一种处理文本信息的方法及终端
WO2017118427A1 (zh) 网页训练的方法和装置、搜索意图识别的方法和装置
CN112784009B (zh) 一种主题词挖掘方法、装置、电子设备及存储介质
WO2021143009A1 (zh) 一种文本聚类的方法及装置
CN106557777B (zh) 一种基于SimHash改进的Kmeans文档聚类方法
WO2018095411A1 (zh) 一种网页聚类方法及装置
CN110858217A (zh) 微博敏感话题的检测方法、装置及可读存储介质
CN113408660B (zh) 图书聚类方法、装置、设备和存储介质
CN110134965B (zh) 用于信息处理的方法、装置、设备和计算机可读存储介质
CN115033688A (zh) 识别告警事件类型的方法、装置、设备及存储介质
CN105550169A (zh) 一种基于字符长度识别兴趣点名称的方法和装置
CN113935314B (zh) 基于异构图网络的摘要抽取方法、装置、终端设备及介质
CN103309851B (zh) 短文本的垃圾识别方法及系统
CN103744958B (zh) 一种基于分布式计算的网页分类方法
US11347928B2 (en) Detecting and processing sections spanning processed document partitions

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16792118

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16792118

Country of ref document: EP

Kind code of ref document: A1