WO2020207167A1 - 文本分类方法、装置、设备及计算机可读存储介质 - Google Patents
文本分类方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- WO2020207167A1 WO2020207167A1 PCT/CN2020/078389 CN2020078389W WO2020207167A1 WO 2020207167 A1 WO2020207167 A1 WO 2020207167A1 CN 2020078389 W CN2020078389 W CN 2020078389W WO 2020207167 A1 WO2020207167 A1 WO 2020207167A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- text
- preset
- classified
- feature
- alarm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
Definitions
- This application relates to the technical field of financial technology (Fintech), and in particular to a text classification method, device, equipment, and computer-readable storage medium.
- the main purpose of this application is to provide a text classification method, device, equipment, and computer-readable storage medium, aiming to solve the problem of poor accuracy of existing alarm text classification for operation and maintenance scenarios.
- the present application provides a text classification method, the text classification method includes:
- the similarity between the first text feature vector and the second text feature vector is calculated, and the alarm text to be classified is classified according to the calculation result.
- the present application also provides a text classification device, the text classification device includes:
- the word segmentation processing module is used to receive the alarm text to be classified and perform word segmentation processing on the alarm text to be classified to obtain the first word segmentation set;
- the template detection module is used to detect whether there is template text in the preset template pool
- the first extraction module is configured to, if template text exists in the preset template pool, perform feature extraction on the alarm text to be classified based on the first word segmentation set and the first preset rule to obtain a first text feature vector, and Performing feature extraction on the template text to obtain a second text feature vector;
- the text classification module is used for calculating the similarity between the first text feature vector and the second text feature vector, and classifying the alarm text to be classified according to the calculation result.
- this application also provides a text classification device, the text classification device includes: a memory, a processor, and a text classification program stored in the memory and running on the processor, so When the text classification program is executed by the processor, the steps of the text classification method described above are realized.
- the present application also provides a computer-readable storage medium having a text classification program stored on the computer-readable storage medium, and when the text classification program is executed by a processor, the text classification as described above is realized Method steps.
- This application provides a text classification method, device, equipment, and computer-readable storage medium.
- the first word segmentation set is obtained, and whether there is a preset template pool is detected Template text; if template text exists in the preset template pool, feature extraction is performed on the alarm text to be classified based on the first word segmentation set and the first preset rule to obtain the first text feature vector, and feature extraction is performed on the template text, Obtain the second text feature vector; calculate the similarity between the first text feature vector and the second text feature vector, and classify the text to be classified according to the calculation result.
- the present application extracts the first text feature vector and the second text feature vector based on the alarm text to be classified after word segmentation processing and the template text in the preset template pool, and calculates the similarity between the two. It can accurately classify the classified alarm information, which can improve the accuracy of alarm text classification in operation and maintenance scenarios. At the same time, this application intelligently and accurately classifies the alarm text in the operation and maintenance scene, which can also improve the work efficiency of the operation and maintenance staff.
- FIG. 1 is a schematic diagram of the device structure of the hardware operating environment involved in the solution of the embodiment of the application;
- step S30 is a schematic diagram of the detailed flow of step S30 in the first embodiment of the application.
- FIG. 5 is a schematic diagram of functional modules of the first embodiment of the text classification device of this application.
- FIG. 1 is a schematic diagram of the device structure of the hardware operating environment involved in the solution of the embodiment of the application.
- the text classification device in the embodiment of this application may be a PC (Personal Computer, personal computer), or a terminal device such as a server, a tablet computer, a portable computer, and a smart phone.
- PC Personal Computer
- terminal device such as a server, a tablet computer, a portable computer, and a smart phone.
- the text classification device may include a processor 1001, such as a CPU, a communication bus 1002, a user interface 1003, a network interface 1004, and a memory 1005.
- the communication bus 1002 is used to implement connection and communication between these components.
- the user interface 1003 may include a display screen (Display) and an input unit such as a keyboard (Keyboard), and the optional user interface 1003 may also include a standard wired interface and a wireless interface.
- the network interface 1004 may optionally include a standard wired interface and a wireless interface (such as a Wi-Fi interface).
- the memory 1005 may be a high-speed RAM memory, or a non-volatile memory (non-volatile memory), such as a magnetic disk memory.
- the memory 1005 may also be a storage device independent of the foregoing processor 1001.
- the structure of the text classification device shown in FIG. 1 does not constitute a limitation on the text classification device, and may include more or less components than shown in the figure, or a combination of certain components, or different components Layout.
- the memory 1005 as a computer storage medium may include an operating system, a network communication module, a user interface module, and a text classification program.
- the network interface 1004 is mainly used to connect to a back-end server and communicate with the back-end server;
- the user interface 1003 is mainly used to connect to a client and communicate with the client;
- the processor 1001 can be used to Call the text classification program stored in the memory 1005, and execute each step of the following text classification method.
- This application provides a text classification method.
- FIG. 2 is a schematic flowchart of a first embodiment of a text classification method of this application.
- the text classification method includes:
- Step S10 receiving an alarm text to be classified, and performing word segmentation processing on the alarm text to be classified to obtain a first word segmentation set
- the text classification method of this embodiment is implemented by a text classification device, and the device is described by taking a server as an example.
- the server first receives the to-be-classified alarm text sent by each business system (in this embodiment, it can be a banking institution’s business system or a financial management institution’s business system, of course, it can also be other types of systems). Then perform word segmentation processing on the alarm text to be classified to obtain the first word segmentation set.
- word segmentation processing can be implemented by word segmentation tools, such as Chinese lexical analysis system ICTCLAS, Chinese lexical analysis program THULAC, language technology platform LTP, etc.
- the word segmentation is mainly based on the characteristics of the Chinese language, cutting each Chinese text in the sample data into a word.
- Step S20 detecting whether there is template text in the preset template pool
- the first word segmentation set is obtained through word segmentation processing, it is detected whether there is template text in the preset template pool, where the template text refers to the alarm text that has been classified, and an alarm text is selected and taken out of each category obtained by classification , Used to compare with the subsequently received alarm texts to be classified to classify the subsequently received alarm texts to be classified.
- step S30 is executed: feature extraction of the alarm text to be classified based on the first word segmentation set and the first preset rule to obtain the first text feature vector, and compare the Perform feature extraction on the template text to obtain a second text feature vector;
- step S30 includes:
- Step S31 performing word segmentation processing on the template text to obtain a second word segmentation set
- the word segmentation processing method can refer to the word segmentation processing method for the alarm text to be classified, which will not be repeated here. It is understandable that because the template text is also filtered after word segmentation processing, text feature vector extraction and classification, etc., when the template text is saved to the preset template pool, the word segmentation set corresponding to the template text can also be selected Save in association with the template text, so there is no need to perform word segmentation again at this time, and the word segmentation set corresponding to the template text can be directly obtained.
- Step S32 Calculate the first attribute value of each preset feature word based on the first word segmentation set and the second word segmentation set, and respectively calculate the second attribute value and the second attribute value of each preset feature word in the alarm text to be classified The third attribute value of each preset feature word in the template text;
- the first attribute value of each preset feature word is calculated based on the first word segmentation set and the second word segmentation set, and the second attribute value of each preset feature word in the alarm text to be classified and each preset feature in the template text are respectively calculated
- the third attribute value of the word is:
- F s1 is the first attribute value of the preset feature word s.
- the F s1 reflects the frequency of the preset feature word s in all texts. If a word appears in many texts, then the value of F s1 should be lower Low
- n s is the total number of the alarm text to be classified and the template text (ie the sum of the number of alarm text to be classified and the template text)
- df(t, s) is the alarm text to be classified and the template text contains The number of texts of the preset feature word s
- ⁇ is a preset value (it can be set according to the actual situation and is not limited here)
- F s2 is the second attribute value of the preset feature word s in the alarm text to be classified
- F s2 represents the frequency of the preset feature word s in the current alarm text to be classified
- t s1 is the number of times the preset feature word s appears in the current alarm text to be classified
- t total1 is the total number of word
- Step S33 Calculate the first feature value of each preset feature word in the alarm text to be classified according to the first attribute value and the second attribute value, and splice the first feature value to obtain the first feature value.
- Text feature vector
- Step S34 Calculate the second feature value of each preset feature word in the template text according to the first attribute value and the third attribute value, and splice the second feature value to obtain a second text feature vector.
- the first characteristic value of each preset characteristic word in the alarm text to be classified is calculated according to the first attribute value and the second attribute value, and the first characteristic Values are spliced to obtain the first text feature vector.
- the second feature value of each preset feature word in the template text is calculated according to the first attribute value and the third attribute value, and the second feature value is spliced to obtain the second Text feature vector. It should be noted that the execution order of steps S33 and S34 is in no particular order.
- V s1 F s1 ⁇ F s2
- V s2 F s1 ⁇ F s3
- V s1 is the first feature value of the preset feature word s in the alarm text to be classified
- V s2 is the second feature value of the preset feature word s in the template text
- F s1 is the first attribute value of the preset feature word s
- F s2 is the second attribute value of the preset feature word s in the alarm text to be classified
- F s3 is the third attribute value of the preset feature word s in the template text.
- the method for obtaining the first text feature vector is: splicing the first feature value of each preset feature word in the alarm text to be classified. For example, assuming that there are y preset feature words, the preset feature word 1-y is calculated The first feature values of are respectively V 11 , V 21 , ...V s1 , ..., V y1 , and the first text feature vector that can be spliced is ⁇ V 11 ,V 21 ,...V s1 ,...,V y1 ⁇ .
- the second text feature vector and the first text feature vector are acquired in a similar manner, and will not be repeated here.
- Step S40 Calculate the similarity between the first text feature vector and the second text feature vector, and classify the alarm text to be classified according to the calculation result.
- step S40 may include:
- Step a1 calculating the Euclidean distance between the first text feature vector and each of the second text feature vectors, and judging whether there is a Euclidean distance greater than a preset threshold according to the calculation result;
- the similarity can be characterized by calculating Euclidean distance. Specifically, the Euclidean distance between the first text feature vector and each second text feature vector is calculated, and according to the calculation result, it is determined whether there is a Euclidean distance greater than a preset threshold. Among them, Euclidean distance is also called Euclidean distance or Euclidean metric, which refers to the straight-line distance between two points in Euclidean space.
- the cosine similarity between the first text feature vector and each second text feature vector can also be calculated to characterize the similarity between the two. degree.
- Step a2 if there is an Euclidean distance greater than a preset threshold, classify the alarm text to be classified and the template text corresponding to the Euclidean distance greater than the preset threshold into the same category;
- the preset threshold can be set according to actual needs and is not limited here.
- Step a3 if there is no Euclidean distance greater than the preset threshold, the alarm text to be classified is divided into a new category, and the alarm text to be classified is saved in the preset template pool as a new Template text.
- the alarm text to be classified is not similar to any text in the template text.
- the alarm text to be classified is divided into a new category, and the The alarm text to be classified is saved in the preset template pool as a new template text for classifying the subsequent received alarm text.
- the embodiment of the application provides a text classification method.
- the first word segmentation set is obtained, and whether there is template text in the preset template pool is detected; if the preset template pool is If there is a template text in the template text, feature extraction is performed on the alarm text to be classified based on the first word segmentation set and the first preset rule to obtain the first text feature vector, and feature extraction is performed on the template text to obtain the second text feature vector; The similarity between the first text feature vector and the second text feature vector, and the to-be-classified alarm text is classified according to the calculation result.
- the embodiment of this application extracts the first text feature vector and the second text feature vector based on the alarm text to be classified after word segmentation processing and the template text in the preset template pool, and calculates the similarity between the two It can accurately classify the classified alarm information, which can improve the accuracy of alarm text classification in operation and maintenance scenarios.
- this application intelligently and accurately classifies the alarm text in the operation and maintenance scene, which can also improve the work efficiency of the operation and maintenance staff.
- the text classification method may further include the following steps:
- the step of "performing word segmentation processing on the alarm text to be classified to obtain the first word segmentation set” includes: performing word segmentation processing on the alarm text to be classified through word replacement processing to obtain the first word segmentation set.
- each word has a larger weight in the entire alarm text, in order to avoid words that disturb the overall semantic judgment from affecting the subsequent feature value calculation results and classification accuracy . It is necessary to preprocess non-standard vocabularies of the same nature, and replace vocabulary containing similar information with corresponding vocabulary tags or class names, so as to reduce the disturbance of vocabulary to semantic judgment and improve the accuracy of text classification.
- word replacement processing is performed on the alarm text to be classified to improve the accuracy of text classification.
- the step of "performing vocabulary replacement processing on the alarm text to be classified" includes:
- Step b1 receiving an alarm text to be classified, and detecting whether there is a preset target vocabulary in the alarm text to be classified;
- Step b2 If there is a preset target vocabulary in the alarm text to be classified, replace the preset target vocabulary existing in the alarm text to be classified with a corresponding vocabulary tag.
- the preset target vocabulary in the alarm text to be classified is replaced with a corresponding vocabulary tag.
- the mapping relationship between the preset target vocabulary and the vocabulary label may be constructed in advance, and when the preset target vocabulary is detected in the alarm text to be classified, the corresponding vocabulary label is determined according to the mapping relationship and replaced. For example, for alarm text 1: The CPU occupancy rate of the XXX system reaches 98.7%, and the alarm text 2: The CPU occupancy rate of the XXX system reaches 90.1%.
- the specific values in the alarm text 1 and 2 account for the entire alarm text. The weight is relatively large, but it has no substantial effect on the classification of the alarm text.
- the numerical vocabulary can be replaced with the vocabulary tag ⁇ num>.
- the same (type) system may have different system naming, so you can set it to replace it with the vocabulary tag ⁇ SUBSYS>.
- the preprocessing of the warning text to be classified in this application is to replace non-standard words of the same nature with the same vocabulary label to help the warning text to be classified Pure information that has a substantial impact on subsequent classification is extracted, reducing the disturbance of similar words on semantic judgments, thereby improving the accuracy of text classification.
- the word segmentation process is performed on the alarm text to be classified after vocabulary replacement processing to obtain the first word segmentation set, and then the subsequent steps are performed.
- the specific process please refer to the first embodiment above, which will not be repeated here. .
- the first attribute value of each preset feature word is calculated subsequently based on the first word segmentation set and the second word segmentation set, and the second attribute value and template text of each preset feature word in the alarm text to be classified are calculated respectively
- the preset feature word may not only include the above-mentioned vocabulary that has a substantial influence on the classification of the alarm text, but also may include the vocabulary label after the above-mentioned word replacement.
- the vocabulary replacement process is performed on the alarm text to be classified, and non-standard words of the same nature are replaced with the same vocabulary label, which reduces the disturbance of the semantic judgment of the similar words, which can help the classification of the alarm text to be classified.
- the affected feature information is extracted, which can further improve the accuracy of alarm text classification.
- FIG. 4 is a schematic flowchart of a second embodiment of a text classification method of this application.
- the text classification method further includes:
- step S50 perform feature extraction on the alarm text to be classified based on the first word segmentation set and the second preset rule to obtain a third text feature vector;
- Step S50 includes:
- Step c1 calculating the fourth attribute value and the fifth attribute value of each preset feature word based on the first word segmentation set;
- Step c2 Calculate the third feature value of each preset feature word in the alarm text to be classified according to the fourth attribute value and the fifth attribute value, and splice the third feature value to obtain the third Text feature vector.
- the third feature value of each preset feature word in the alarm text to be classified is calculated according to the fourth attribute value and the fifth attribute value, and the third feature value is spliced to obtain a third text feature vector.
- the third text feature vector and the first text feature vector are acquired in a similar manner, and reference may be made to the above-mentioned first embodiment, which will not be repeated here.
- Step S60 clustering the third text feature vector, and classifying the alarm text to be classified according to the clustering result
- clustering and classification methods may include but are not limited to: 1) Calculate the Euclidean distance between each third text feature vector, and classify the alarm text to be classified corresponding to the third text feature vector whose Euclidean distance is greater than a preset threshold The same category; 2) Calculate the cosine similarity (or Jaccard distance and other values that can characterize the similarity) between the third text feature vectors, and classify the alarm texts to be classified according to the calculation results; 3) Use the preset clustering algorithm (Such as K-Means (K-means) clustering, hierarchical clustering algorithm, etc.) cluster the third text feature vector, and classify the alarm text to be classified according to the clustering result, for example, clustering into n categories, then Regarding each category as a category, n types of alarm texts are obtained.
- K-Means K-means
- Step S70 randomly select an alarm text to be classified from each classification according to the classification result, as a template text, and save it in the preset template pool.
- the embodiment of the present application introduces a classification method of the alarm text to be classified when there is no template text in the preset template pool.
- a classification method of the alarm text to be classified By extracting features of the alarm text to be classified, and then clustering the extracted third text feature vector, and classifying the alarm information to be classified according to the clustering result, the accuracy of the alarm text classification in the operation and maintenance scene can be improved.
- this application intelligently and accurately classifies the alarm text in the operation and maintenance scene, which can also improve the work efficiency of the operation and maintenance staff.
- vocabulary replacement processing can be performed on the classified alarm text, so that non-standard vocabulary of the same nature can be replaced with the same vocabulary label through vocabulary replacement processing, thereby reducing similar vocabulary pairs.
- the disturbance of semantic judgment can help the feature information of the alarm text to be classified that has a substantial impact on the classification to be extracted, so as to further improve the accuracy of alarm text classification.
- word replacement processing process please refer to the above-mentioned embodiment, which is not repeated here.
- the application also provides a text classification device.
- FIG. 5 is a schematic diagram of the functional modules of the first embodiment of the text classification device of this application.
- the text classification device includes:
- the word segmentation processing module 10 is configured to receive the alarm text to be classified and perform word segmentation processing on the alarm text to be classified to obtain the first word segmentation set;
- the template detection module 20 is used to detect whether template text exists in the preset template pool
- the first extraction module 30 is configured to, if a template text exists in the preset template pool, perform feature extraction on the alarm text to be classified based on the first word segmentation set and the first preset rule to obtain a first text feature vector, And perform feature extraction on the template text to obtain a second text feature vector;
- the text classification module 40 is configured to calculate the similarity between the first text feature vector and the second text feature vector, and classify the alarm text to be classified according to the calculation result.
- the first extraction module 30 includes:
- the word segmentation processing unit is configured to perform word segmentation processing on the template text to obtain a second word segmentation set
- the first calculation unit is configured to calculate the first attribute value of each preset feature word based on the first word segmentation set and the second word segmentation set, and respectively calculate the first attribute value of each preset feature word in the alarm text to be classified A second attribute value and a third attribute value of each preset feature word in the template text;
- the first splicing unit is configured to calculate the first characteristic value of each preset characteristic word in the alarm text to be classified according to the first attribute value and the second attribute value, and splice the first characteristic value , Get the first text feature vector;
- the second splicing unit is configured to calculate the second characteristic value of each preset characteristic word in the template text according to the first attribute value and the third attribute value, and splice the second characteristic value to obtain The second text feature vector.
- calculation formula of the first attribute value is:
- V s1 F s1 ⁇ F s2 ;
- V s2 F s1 ⁇ F s3 ;
- F s1 is the first attribute value of the preset feature word s
- n s is the total number of the alarm text to be classified and the template text
- df(t, s) is the alarm text to be classified and the
- the template text contains the number of preset feature words s
- ⁇ is a preset value
- F s2 is the second attribute value of the preset feature word s in the alarm text to be classified
- t s1 is the preset feature word s
- t total1 is the total number of word segmentation in the current alarm text to be classified
- F s3 is the third attribute value of the preset feature word s in the template text
- t s2 is the preset feature word s
- t total2 is the total number of word segmentation in the current template text
- V s1 is the first feature value of the preset feature word s in the alarm text to
- the text classification module 40 includes:
- a second calculation unit configured to calculate the Euclidean distance between the first text feature vector and each of the second text feature vectors, and determine whether there is a Euclidean distance greater than a preset threshold according to the calculation result;
- the first classification unit is configured to, if there is a Euclidean distance greater than a preset threshold, classify the alarm text to be classified and the template text corresponding to the Euclidean distance greater than the preset threshold into the same category;
- the second classification unit is configured to, if there is no Euclidean distance greater than the preset threshold, divide the alarm text to be classified into a new category, and save the alarm text to be classified into the preset template pool , As a new template text.
- the text classification device further includes:
- the word replacement module is used to perform word replacement processing on the alarm text to be classified
- the word replacement module includes:
- a text detection unit for detecting whether there is a preset target vocabulary in the alarm text to be classified
- a vocabulary replacement unit configured to replace the preset target vocabulary existing in the alarm text to be classified with a corresponding vocabulary label if there is a preset target vocabulary in the alarm text to be classified;
- the word segmentation processing module 10 is specifically configured to perform word segmentation processing on the alarm text to be classified after word replacement processing to obtain the first word segmentation set.
- the text classification device further includes:
- the second extraction module is configured to, if there is no template text in the preset template pool, perform feature extraction on the alarm text to be classified based on the first word segmentation set and the second preset rule to obtain a third text feature vector;
- a vector clustering module configured to cluster the third text feature vector, and classify the alarm text to be classified according to the clustering result
- the template selection module is used to randomly select an alarm text to be classified from each classification according to the classification result, as the template text, and save it in the preset template pool.
- the second extraction module includes:
- the third calculation unit is configured to calculate the fourth attribute value and the fifth attribute value of each preset feature word based on the first word segmentation set;
- the third splicing unit is configured to calculate the third characteristic value of each preset characteristic word in the alarm text to be classified according to the fourth attribute value and the fifth attribute value, and splicing the third characteristic value , Get the third text feature vector.
- each module in the above text classification device corresponds to each step in the above embodiment of the text classification method, and the functions and realization processes thereof will not be repeated here.
- the present application also provides a computer-readable storage medium having a text classification program stored on the computer-readable storage medium, and when the text classification program is executed by a processor, the text classification method as described in any of the above embodiments is implemented step.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种文本分类方法、装置、设备及计算机可读存储介质,该文本分类方法包括:接收待分类报警文本,并对所述待分类报警文本进行分词处理,得到第一分词集(S10);检测预设模板池中是否存在模板文本(S20);若预设模板池中存在模板文本,则基于所述第一分词集和第一预设规则对所述待分类报警文本进行特征提取,得到第一文本特征向量,并对所述模板文本进行特征提取,得到第二文本特征向量(S30);计算第一文本特征向量与第二文本特征向量之间的相似度,并根据计算结果对所述待分类报警文本进行分类(S40)。上述方法能解决现有针对运维场景的报警文本分类准确性较差的问题。
Description
本申请要求于2019年4月12日提交中国专利局、申请号为201910297133.2、发明名称为“文本分类方法、装置、设备及计算机可读存储介质”的中国专利申请的优先权,其全部内容通过引用结合在申请中。
本申请涉及金融科技(Fintech)技术领域,尤其涉及一种文本分类方法、装置、设备及计算机可读存储介质。
随着金融科技(Fintech),尤其是互联网科技金融的不断发展,企业业务数据中心的规模也日益庞大,在金融科技的日常运维中经常会出现许多报警信息。运维人员需定期对报警文本进行统计分析,以分析报警产生的根本原因,从而确定对应的解决方案。由于金融领域的报警信息的复杂性和庞大性,因此,需通过计算机系统对报警文本进行智能分类挖掘。然而,由于运维场景的报警文本中存在大量专业术语,大多都未被收入到字典中,如果采用现有的文本挖掘方法对运维场景的报警文本进行文本挖掘,会出现报警文本分类准确性较差的问题。因此,亟需一种可提高运维场景中报警文本分类准确性的方法。
发明内容
本申请的主要目的在于提供一种文本分类方法、装置、设备及计算机可读存储介质,旨在解决现有针对运维场景的报警文本分类准确性较差的问题。
为实现上述目的,本申请提供一种文本分类方法,所述文本分类方法包括:
接收待分类报警文本,并对所述待分类报警文本进行分词处理,得到第一分词集;
检测预设模板池中是否存在模板文本;
若预设模板池中存在模板文本,则基于所述第一分词集和第一预设规则对所述待分类报警文本进行特征提取,得到第一文本特征向量,并对所述模板文本进行特征提取,得到第二文本特征向量;
计算所述第一文本特征向量与所述第二文本特征向量之间的相似度,并 根据计算结果对所述待分类报警文本进行分类。
此外,为实现上述目的,本申请还提供一种文本分类装置,所述文本分类装置包括:
分词处理模块,用于接收待分类报警文本,并对所述待分类报警文本进行分词处理,得到第一分词集;
模板检测模块,用于检测预设模板池中是否存在模板文本;
第一提取模块,用于若预设模板池中存在模板文本,则基于所述第一分词集和第一预设规则对所述待分类报警文本进行特征提取,得到第一文本特征向量,并对所述模板文本进行特征提取,得到第二文本特征向量;
文本分类模块,用于计算所述第一文本特征向量与所述第二文本特征向量之间的相似度,并根据计算结果对所述待分类报警文本进行分类。
此外,为实现上述目的,本申请还提供一种文本分类设备,所述文本分类设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的文本分类程序,所述文本分类程序被所述处理器执行时实现如上所述的文本分类方法的步骤。
此外,为实现上述目的,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有文本分类程序,所述文本分类程序被处理器执行时实现如上所述的文本分类方法的步骤。
本申请提供一种文本分类方法、装置、设备及计算机可读存储介质,通过接收待分类报警文本,并对待分类报警文本进行分词处理,得到第一分词集,并检测预设模板池中是否存在模板文本;若预设模板池中存在模板文本,则基于第一分词集和第一预设规则对待分类报警文本进行特征提取,得到第一文本特征向量,并对所述模板文本进行特征提取,得到第二文本特征向量;计算第一文本特征向量与第二文本特征向量之间的相似度,并根据计算结果对待分类报警文本进行分类。通过上述方式,本申请基于分词处理后的待分类报警文本和预设模板池中的模板文本分别提取得到第一文本特征向量和第二文本特征向量,并通过计算两者之间的相似度,可精确地对待分类报警信息进行分类,即可提高运维场景中报警文本分类的准确性。同时,本申请通过智能且准确地对运维场景中的报警文本进行分类,还可以提高运维工作人员的工作效率。
图1为本申请实施例方案涉及的硬件运行环境的设备结构示意图;
图2为本申请文本分类方法第一实施例的流程示意图;
图3为本申请第一实施例中步骤S30的细化流程示意图;
图4为本申请文本分类方法第二实施例的流程示意图;
图5为本申请文本分类装置第一实施例的功能模块示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
参照图1,图1为本申请实施例方案涉及的硬件运行环境的设备结构示意图。
本申请实施例文本分类设备可以是PC(Personal Computer,个人计算机),也可以是服务器、平板电脑、便携计算机、智能手机等终端设备。
如图1所示,该文本分类设备可以包括:处理器1001,例如CPU,通信总线1002,用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如Wi-Fi接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的文本分类设备结构并不构成对文本分类设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及文本分类程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端,与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的文本分类程序,并执行以下文本分类方法的各个步骤。
基于上述硬件结构,提出本申请文本分类方法的各实施例。
本申请提供一种文本分类方法。
参照图2,图2为本申请文本分类方法第一实施例的流程示意图。
在本实施例中,该文本分类方法包括:
步骤S10,接收待分类报警文本,并对所述待分类报警文本进行分词处理,得到第一分词集;
本实施例的文本分类方法是由文本分类设备实现的,该设备以服务器为例进行说明。在本实施例中,服务器先接收各业务系统(本实施例中,可选为银行机构的业务系统或金融理财机构的业务系统,当然也可以为其他类型的系统)发送的待分类报警文本,然后对待分类报警文本进行分词处理,得到第一分词集。其中,分词处理可以通过分词工具实施,例如汉语词法分析系统ICTCLAS,中文词法分析程序THULAC,语言技术平台LTP等。分词主要是根据中文语言的特点,将所述样本数据中的每条中文文本切割成一个一个的单词。
步骤S20,检测预设模板池中是否存在模板文本;
在通过分词处理得到第一分词集后,检测预设模板池中是否存在模板文本,其中,模板文本是指对分类完成的报警文本,在分类得到的每一类中所选取出的一报警文本,用于与后续接收到的待分类报警文本进行比较,以对后续接收到的待分类报警文本进行分类。
若预设模板池中存在模板文本,则执行步骤S30:基于所述第一分词集和第一预设规则对所述待分类报警文本进行特征提取,得到第一文本特征向量,并对所述模板文本进行特征提取,得到第二文本特征向量;
若检测到预设模板池中存在模板文本,则以待分类报警文本和模板文本为一个集合,进行文本特征向量提取,即:基于第一分词集和第一预设规则对待分类报警文本进行特征提取,得到第一文本特征向量,并对所述模板文本进行特征提取,得到第二文本特征向量。具体的,参照图3,步骤S30包括:
步骤S31,对所述模板文本进行分词处理,得到第二分词集;
先对模板文本进行分词处理,得到第二分词集,其中,分词处理方法可参照上述对待分类报警文本的分词处理方法,此处不作赘述。可以理解的是,由于模板文本也是经过分词处理、文本特征向量提取和分类等过程后,筛选得到的,因此在将模板文本保存至预设模板池中时,也可以将模板文本对应的分词集与模板文本进行关联保存,从而此时无需重新进行分词处理,可直接获取模板文本所对应的分词集。
步骤S32,基于所述第一分词集和所述第二分词集计算各预设特征词的第 一属性值,并分别计算所述待分类报警文本中各预设特征词的第二属性值和所述模板文本中各预设特征词的第三属性值;
然后,基于第一分词集和第二分词集计算各预设特征词的第一属性值,并分别计算待分类报警文本中各预设特征词的第二属性值和模板文本中各预设特征词的第三属性值。其中,预设特征词是运维工作人员根据实际分类需要设定的,可以包括对报警文本的分类有实质性影响的词汇。第一属性值的计算公式为:
第二属性值的计算公式为:
第三属性值的计算公式为:
其中,F
s1为预设特征词s的第一属性值,该F
s1反映了预设特征词s在所有文本中出现的频率,如果一个词在很多的文本中出现,那么F
s1值应该较低,n
s为所述待分类报警文本和所述模板文本的文本总数(即待分类报警文本与模板文本的数量之和),df(t,s)为待分类报警文本和模板文本中包含预设特征词s的文本数量,α为一预设值(可根据实际情况进行设定,此处不作限定),F
s2为待分类报警文本中预设特征词s的第二属性值,F
s2表示预设特征词s在当前待分类报警文本中的词频,t
s1为预设特征词s在当前待分类报警文本中出现的次数,t
total1为当前待分类报警文本中的分词总数,F
s3为模板文本中预设特征词s的第三属性值,F
s3表示预设特征词s在当前模板文本中的词频,t
s2为预设特征词s在当前模板文本中出现的次数,t
total2为当前模板文本中的分词总数。需要说明的是,本申请实施例中,对于第一属性值F
s1的计算,采用分段计算的方式,在
时,定义F
s1=0,在
时,定义
通过上述计算方式,可使得各预设特征词的词频(即第二属性值)所对应的权重(即第一属性值)更具有区分度,可进一步提高后续分类的准确性。
步骤S33,根据所述第一属性值和所述第二属性值计算所述待分类报警文本中各预设特征词的第一特征值,并对所述第一特征值进行拼接,得到第一文本特征向量;
步骤S34,根据所述第一属性值和所述第三属性值计算所述模板文本中各预设特征词的第二特征值,并对所述第二特征值进行拼接,得到第二文本特征向量。
在得到第一属性值、第二属性值和第三属性值后,根据第一属性值和第二属性值计算待分类报警文本中各预设特征词的第一特征值,并对第一特征 值进行拼接,得到第一文本特征向量,同时,根据第一属性值和第三属性值计算模板文本中各预设特征词的第二特征值,并对第二特征值进行拼接,得到第二文本特征向量。需要说明的是,步骤S33和S34的执行顺序不分先后。
其中,第一特征值的计算公式为:V
s1=F
s1·F
s2,第二特征值的计算公式为:V
s2=F
s1·F
s3。V
s1为待分类报警文本中预设特征词s的第一特征值,V
s2为模板文本中预设特征词s的第二特征值,F
s1为预设特征词s的第一属性值,F
s2为待分类报警文本中预设特征词s的第二属性值,F
s3为模板文本中预设特征词s的第三属性值。其中,第一文本特征向量的获取方式为:对待分类报警文本中各预设特征词的第一特征值进行拼接,例如,假设预设特征词有y个,计算得到预设特征词1-y的第一特征值分别为V
11、V
21、……V
s1、……、V
y1,可拼接得到第一文本特征向量为{V
11,V
21,…V
s1,…,V
y1}。第二文本特征向量与第一文本特征向量的获取方式相似,此处不再赘述。
步骤S40,计算所述第一文本特征向量与所述第二文本特征向量之间的相似度,并根据计算结果对所述待分类报警文本进行分类。
在得到第一文本特征向量和第二文本特征向量之后,计算第一文本特征向量与第二文本特征向量之间的相似度,并根据计算结果对待分类报警文本进行分类。具体的,步骤S40可以包括:
步骤a1,计算所述第一文本特征向量与各所述第二文本特征向量之间的欧氏距离,并根据计算结果判断是否存在大于预设阈值的欧式距离;
作为其中一种相似度的计算方式,可通过计算欧式距离来表征相似度。具体的,计算第一文本特征向量与各第二文本特征向量之间的欧氏距离,并根据计算结果判断是否存在大于预设阈值的欧式距离。其中,欧氏距离又称为欧几里得距离或欧几里得度量,是指欧几里得空间中两点之间的直线距离。当第一文本特征向量为{V
11,V
21,…V
s1,…,V
y1},第二文本特征向量为{V
12,V
22,…V
s2,…,V
y2}时,可计算得到两者之间的欧氏距离为:
当然,在具体实施例中,还可以通过计算第一文本特征向量与各第二文本特征向量之间的余弦相似度、或杰卡德Jaccard距离、或编辑距离,来表征两者之间的相似度。
步骤a2,若存在大于预设阈值的欧式距离,则将所述待分类报警文本与所述大于预设阈值的欧式距离对应的模板文本分为同一类;
若计算结果中存在大于预设阈值的欧式距离,则说明模板文本对应的第二文本特征向量中存在与待分类报警文本对应的第一文本特征向量较为相似的特征向量,即模板文本中存在一与待分类报警文本相似的文本,此时,可 将两者划分为同一类,即将待分类报警文本与该大于预设阈值的欧式距离所对应的模板文本分为同一类。此外,该预设阈值可根据实际需要进行设定,此处不作限定。
步骤a3,若不存在大于预设阈值的欧式距离,则将所述待分类报警文本另分为一个新类,并将所述待分类报警文本保存至所述预设模板池中,作为一新模板文本。
若计算结果中不存在大于预设阈值的欧式距离,则说明该待分类报警文本与模板文本中的任一文本均不相似,此时,将待分类报警文本另分为一个新类,并将待分类报警文本保存至预设模板池中,作为一新模板文本,以用于对后续接收到的报警文本进行分类。
本申请实施例提供一种文本分类方法,通过接收待分类报警文本,并对待分类报警文本进行分词处理,得到第一分词集,并检测预设模板池中是否存在模板文本;若预设模板池中存在模板文本,则基于第一分词集和第一预设规则对待分类报警文本进行特征提取,得到第一文本特征向量,并对所述模板文本进行特征提取,得到第二文本特征向量;计算第一文本特征向量与第二文本特征向量之间的相似度,并根据计算结果对待分类报警文本进行分类。通过上述方式,本申请实施例基于分词处理后的待分类报警文本和预设模板池中的模板文本分别提取得到第一文本特征向量和第二文本特征向量,并通过计算两者之间的相似度,可精确地对待分类报警信息进行分类,即可提高运维场景中报警文本分类的准确性。同时,本申请通过智能且准确地对运维场景中的报警文本进行分类,还可以提高运维工作人员的工作效率。
为进一步的提高运维场景中报警文本分类的准确性,在上述步骤“对所述待分类报警文本进行分词处理,得到第一分词集”之前,该文本分类方法还可以包括以下步骤:
对所述待分类报警文本进行词汇替换处理;
此时,步骤“对所述待分类报警文本进行分词处理,得到第一分词集”包括:对经词汇替换处理的待分类报警文本进行分词处理,得到第一分词集。
在本实施例中,由于报警文本一般较为简短,各词汇在整个报警文本中所占的权重较大,为避免对整体语义判断扰动比较大的词汇影响后续特征值的计算结果及分类的准确性,需对同性质非标准的词汇进行预处理,将含有类似信息的词汇替换成相应的词汇标签或类名,从而降低词汇对语义判断的扰动,进而提高文本分类的准确性。本实施例中,通过对待分类报警文本进行词汇替换处理,以提高文本分类的准确性。具体的,步骤“对所述待分类报警文本进行词汇替换处理”包括:
步骤b1,接收待分类报警文本,检测所述待分类报警文本中是否存在预设目标词汇;
先接收待分类报警文本,并检测待分类报警文本中是否存在预设目标词汇。
步骤b2,若所述待分类报警文本中存在预设目标词汇,则将所述待分类报警文本中所存在的预设目标词汇替换成对应的词汇标签。
若待分类报警文本中存在预设目标词汇,则将待分类报警文本中所存在的预设目标词汇替换成对应的词汇标签。具体的,可预先构建预设目标词汇与词汇标签之间的映射关系,在检测到待分类报警文本中存在预设目标词汇时,根据该映射关系确定对应的词汇标签,并进行替换。例如,对于报警文本1:XXX系统的CPU占用率达到98.7%,报警文本2:XXX系统的CPU占用率达到90.1%,其中报警文本1和2中的具体数值,在整个报警文本中所占的权重较大,但对报警文本的分类无实质性的作用,因此,可将数值类的词汇替换成词汇标签<num>。此外,由于XXX系统命名差异巨大,同一(类)系统可能有不同的系统命名,因此可以设置将其进行替代成词汇标签<SUBSYS>。当然,上述例子仅作举例,并不用于限定本申请,本申请中对待分类报警文本进行预处理,是为了通过将同性质非标准的词汇替换为同一词汇标签,以助于待分类报警文本中纯粹的对后续分类有实质影响的信息被提取,降低同类词汇对语义判断的扰动,从而提高文本分类的准确性。
在对待分类报警文本进行词汇替换之后,然后对经词汇替换处理的待分类报警文本进行分词处理,得到第一分词集,进而执行后续步骤,具体过程可参照上述第一实施例,此处不作赘述。需要说明的是,在后续基于第一分词集和第二分词集计算各预设特征词的第一属性值,并分别计算待分类报警文本中各预设特征词的第二属性值和模板文本中各预设特征词的第三属性值时,预设特征词除可包括上述所说的对报警文本的分类有实质性影响的词汇外,还可以包括上述词汇替换后的词汇标签。
本申请实施例中通过对待分类报警文本进行词汇替换处理,将同性质非标准的词汇替换为同一词汇标签,降低同类词汇对语义判断的扰动,可有助于待分类报警文本中对分类有实质影响的特征信息被提取,从而可进一步提高报警文本分类的准确性。
进一步的,参照图4,图4为本申请文本分类方法第二实施例的流程示意图。
基于图2所示的第一实施例,在步骤S20之后,该文本分类方法还包括:
若预设模板池中不存在模板文本,则执行步骤S50:基于所述第一分词集 和第二预设规则对所述待分类报警文本进行特征提取,得到第三文本特征向量;
在本实施例中,在检测预设模板池中是否存在模板文本之后,若该预设模板池中不存在模板文本,此时,则以待分类报警文本为一集合,对其进行聚类,进而分类。具体的,先基于第一分词集和第二预设规则对待分类报警文本进行特征,得到第三文本特征向量。步骤S50包括:
步骤c1,基于所述第一分词集计算各预设特征词的第四属性值和第五属性值;
先基于第一分词集计算各预设特征词的第四属性值和第五属性值,其中,第四属性值的计算公式为:
第五属性值的计算公式为:
其中,F
s4为预设特征词s的第四属性值,n
s’为所述待分类报警文本的文本总数,df(t,s)’为待分类报警文本中包含预设特征词s的文本数量,α为一预设值(可根据实际情况进行设定,此处不作限定),F
s5为待分类报警文本中预设特征词s的第五属性值,F
s5表示预设特征词s在当前待分类报警文本中的词频,t
s3为预设特征词s在当前待分类报警文本中出现的次数,t
total3为当前待分类报警文本中的分词总数。
步骤c2,根据所述第四属性值和所述第五属性值计算所述待分类报警文本中各预设特征词的第三特征值,并对所述第三特征值进行拼接,得到第三文本特征向量。
然后,根据第四属性值和第五属性值计算待分类报警文本中各预设特征词的第三特征值,并对第三特征值进行拼接,得到第三文本特征向量。其中,第三特征值的计算公式为:V
s3=F
s4·F
s5,V
s3为待分类报警文本中预设特征词s的第三特征值,F
s4为预设特征词s的第四属性值,F
s5为待分类报警文本中预设特征词s的第五属性值。第三文本特征向量与第一文本特征向量的获取方式相似,可参照上述第一实施例,此处不再赘述。
步骤S60,对所述第三文本特征向量进行聚类,并根据聚类结果对所述待分类报警文本进行分类;
在得到第三文本特征向量之后,对第三文本特征向量进行聚类,并根据聚类结果对待分类报警文本进行分类。其中,聚类和分类方式可以包括但不限于:1)计算各第三文本特征向量之间的欧式距离,将欧氏距离大于预设阈 值的第三文本特征向量所对应的待分类报警文本分类同一类;2)计算各第三文本特征向量之间的余弦相似度(或Jaccard距离等其他可表征相似度的值),根据计算结果对待分类报警文本进行分类;3)通过预设聚类算法(如K-Means(K均值)聚类、层次聚类算法等)对第三文本特征向量进行聚类,根据聚类结果对所述待分类报警文本进行分类,例如,聚为n类,则将聚成的每一类作为一分类,即得到n个类型的报警文本。
步骤S70,根据分类结果从每一分类中随机选取一待分类报警文本,作为模板文本,并保存至所述预设模板池中。
然后,根据分类结果从每一分类中随机选取一待分类报警文本,作为模板文本,并保存至预设模板池中,以便于对后续接收到的报警文本进行分类。
本申请实施例中介绍了预设模板池中不存在模板文本时,待分类报警文本的分类方法。通过对待分类报警文本进行特征提取,进而对提取得到的第三文本特征向量进行聚类,并根据聚类结果对待分类报警信息进行分类,可提高运维场景中报警文本分类的准确性。同时,本申请通过智能且准确地对运维场景中的报警文本进行分类,还可以提高运维工作人员的工作效率。
需要说明的是,在本实施例中,在分词处理之前,可先对待分类报警文本进行词汇替换处理,从而通过词汇替换处理,将同性质非标准的词汇替换为同一词汇标签,降低同类词汇对语义判断的扰动,可有助于待分类报警文本中对分类有实质影响的特征信息被提取,以进一步提高报警文本分类的准确性。其中,具体的词汇替换处理过程可参照上述实施例,此处不作赘述。
本申请还提供一种文本分类装置。
参照图5,图5为本申请文本分类装置第一实施例的功能模块示意图。
所述文本分类装置包括:
分词处理模块10,用于接收待分类报警文本,并对所述待分类报警文本进行分词处理,得到第一分词集;
模板检测模块20,用于检测预设模板池中是否存在模板文本;
第一提取模块30,用于若预设模板池中存在模板文本,则基于所述第一分词集和第一预设规则对所述待分类报警文本进行特征提取,得到第一文本特征向量,并对所述模板文本进行特征提取,得到第二文本特征向量;
文本分类模块40,用于计算所述第一文本特征向量与所述第二文本特征向量之间的相似度,并根据计算结果对所述待分类报警文本进行分类。
进一步的,所述第一提取模块30包括:
分词处理单元,用于对所述模板文本进行分词处理,得到第二分词集;
第一计算单元,用于基于所述第一分词集和所述第二分词集计算各预设 特征词的第一属性值,并分别计算所述待分类报警文本中各预设特征词的第二属性值和所述模板文本中各预设特征词的第三属性值;
第一拼接单元,用于根据所述第一属性值和所述第二属性值计算所述待分类报警文本中各预设特征词的第一特征值,并对所述第一特征值进行拼接,得到第一文本特征向量;
第二拼接单元,用于根据所述第一属性值和所述第三属性值计算所述模板文本中各预设特征词的第二特征值,并对所述第二特征值进行拼接,得到第二文本特征向量。
进一步的,所述第一属性值的计算公式为:
所述第二属性值的计算公式为:
所述第三属性值的计算公式为:
所述第一特征值的计算公式为:
V
s1=F
s1·F
s2;
所述第二特征值的计算公式为:
V
s2=F
s1·F
s3;
其中,F
s1为预设特征词s的第一属性值,n
s为所述待分类报警文本和所述模板文本的文本总数,df(t,s)为所述待分类报警文本和所述模板文本中包含预设特征词s的文本数量,α为一预设值,F
s2为所述待分类报警文本中预设特征词s的第二属性值,t
s1为预设特征词s在当前待分类报警文本中出现的次数,t
total1为当前待分类报警文本中的分词总数,F
s3为所述模板文本中预设特征词s的第三属性值,t
s2为预设特征词s在当前模板文本中出现的次数,t
total2为当前模板文本中的分词总数,V
s1为所述待分类报警文本中预设特征词s的第一特征值,V
s2为所述模板文本中预设特征词s的第二特征值。
进一步的,所述文本分类模块40包括:
第二计算单元,用于计算所述第一文本特征向量与各所述第二文本特征向量之间的欧氏距离,并根据计算结果判断是否存在大于预设阈值的欧式距离;
第一分类单元,用于若存在大于预设阈值的欧式距离,则将所述待分类报警文本与所述大于预设阈值的欧式距离对应的模板文本分为同一类;
第二分类单元,用于若不存在大于预设阈值的欧式距离,则将所述待分 类报警文本另分为一个新类,并将所述待分类报警文本保存至所述预设模板池中,作为一新模板文本。
进一步的,所述文本分类装置还包括:
词汇替换模块,用于对所述待分类报警文本进行词汇替换处理;
其中,所述词汇替换模块包括:
文本检测单元,用于检测所述待分类报警文本中是否存在预设目标词汇;
词汇替换单元,用于若所述待分类报警文本中存在预设目标词汇,则将所述待分类报警文本中所存在的预设目标词汇替换成对应的词汇标签;
所述分词处理模块10,具体用于对经词汇替换处理的待分类报警文本进行分词处理,得到第一分词集。
进一步的,所述文本分类装置还包括:
第二提取模块,用于若预设模板池中不存在模板文本,则基于所述第一分词集和第二预设规则对所述待分类报警文本进行特征提取,得到第三文本特征向量;
向量聚类模块,用于对所述第三文本特征向量进行聚类,并根据聚类结果对所述待分类报警文本进行分类;
模板选取模块,用于根据分类结果从每一分类中随机选取一待分类报警文本,作为模板文本,并保存至所述预设模板池中。
进一步的,所述第二提取模块包括:
第三计算单元,用于基于所述第一分词集计算各预设特征词的第四属性值和第五属性值;
第三拼接单元,用于根据所述第四属性值和所述第五属性值计算所述待分类报警文本中各预设特征词的第三特征值,并对所述第三特征值进行拼接,得到第三文本特征向量。
其中,上述文本分类装置中各个模块的功能实现与上述文本分类方法实施例中各步骤相对应,其功能和实现过程在此处不再一一赘述。
本申请还提供一种计算机可读存储介质,该计算机可读存储介质上存储有文本分类程序,所述文本分类程序被处理器执行时实现如以上任一项实施例所述的文本分类方法的步骤。
本申请计算机可读存储介质的具体实施例与上述文本分类方法各实施例基本相同,在此不作赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系 统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (20)
- 一种文本分类方法,其中,所述文本分类方法包括:接收待分类报警文本,并对所述待分类报警文本进行分词处理,得到第一分词集;检测预设模板池中是否存在模板文本;若预设模板池中存在模板文本,则基于所述第一分词集和第一预设规则对所述待分类报警文本进行特征提取,得到第一文本特征向量,并对所述模板文本进行特征提取,得到第二文本特征向量;计算所述第一文本特征向量与所述第二文本特征向量之间的相似度,并根据计算结果对所述待分类报警文本进行分类。
- 如权利要求1所述的文本分类方法,其中,所述基于所述第一分词集和第一预设规则对所述待分类报警文本进行特征提取,得到第一文本特征向量,并对所述模板文本进行特征提取,得到第二文本特征向量的步骤包括:对所述模板文本进行分词处理,得到第二分词集;基于所述第一分词集和所述第二分词集计算各预设特征词的第一属性值,并分别计算所述待分类报警文本中各预设特征词的第二属性值和所述模板文本中各预设特征词的第三属性值;根据所述第一属性值和所述第二属性值计算所述待分类报警文本中各预设特征词的第一特征值,并对所述第一特征值进行拼接,得到第一文本特征向量;根据所述第一属性值和所述第三属性值计算所述模板文本中各预设特征词的第二特征值,并对所述第二特征值进行拼接,得到第二文本特征向量。
- 如权利要求2所述的文本分类方法,其中,所述第一属性值的计算公式为:所述第二属性值的计算公式为:所述第三属性值的计算公式为:所述第一特征值的计算公式为:V s1=F s1·F s2;所述第二特征值的计算公式为:V s2=F s1·F s3;其中,F s1为预设特征词s的第一属性值,n s为所述待分类报警文本和所述模板文本的文本总数,df(t,s)为所述待分类报警文本和所述模板文本中包含预设特征词s的文本数量,α为一预设值,F s2为所述待分类报警文本中预设特征词s的第二属性值,t s1为预设特征词s在当前待分类报警文本中出现的次数,t total1为当前待分类报警文本中的分词总数,F s3为所述模板文本中预设特征词s的第三属性值,t s2为预设特征词s在当前模板文本中出现的次数,t total2为当前模板文本中的分词总数,V s1为所述待分类报警文本中预设特征词s的第一特征值,V s2为所述模板文本中预设特征词s的第二特征值。
- 如权利要求1所述的文本分类方法,其中,所述计算所述第一文本特征向量与所述第二文本特征向量之间的相似度,并根据计算结果对所述待分类报警文本进行分类的步骤包括:计算所述第一文本特征向量与各所述第二文本特征向量之间的欧氏距离,并根据计算结果判断是否存在大于预设阈值的欧式距离;若存在大于预设阈值的欧式距离,则将所述待分类报警文本与所述大于预设阈值的欧式距离对应的模板文本分为同一类;若不存在大于预设阈值的欧式距离,则将所述待分类报警文本另分为一个新类,并将所述待分类报警文本保存至所述预设模板池中,作为一新模板文本。
- 如权利要求1所述的文本分类方法,其中,所述对所述待分类报警文本进行分词处理,得到第一分词集的步骤之前,还包括:对所述待分类报警文本进行词汇替换处理;其中,所述对所述待分类报警文本进行词汇替换处理的步骤包括:检测所述待分类报警文本中是否存在预设目标词汇;若所述待分类报警文本中存在预设目标词汇,则将所述待分类报警文本中所存在的预设目标词汇替换成对应的词汇标签;所述对所述待分类报警文本进行分词处理,得到第一分词集的步骤包括:对经词汇替换处理的待分类报警文本进行分词处理,得到第一分词集。
- 如权利要求1所述的文本分类方法,其中,所述检测预设模板池中是否存在模板文本的步骤之后,还包括:若预设模板池中不存在模板文本,则基于所述第一分词集和第二预设规则对所述待分类报警文本进行特征提取,得到第三文本特征向量;对所述第三文本特征向量进行聚类,并根据聚类结果对所述待分类报警文本进行分类;根据分类结果从每一分类中随机选取一待分类报警文本,作为模板文本,并保存至所述预设模板池中。
- 如权利要求6所述的文本分类方法,其中,所述基于所述第一分词集和第二预设规则对所述待分类报警文本进行特征提取,得到第三文本特征向量的步骤包括:基于所述第一分词集计算各预设特征词的第四属性值和第五属性值;根据所述第四属性值和所述第五属性值计算所述待分类报警文本中各预设特征词的第三特征值,并对所述第三特征值进行拼接,得到第三文本特征向量。
- 一种文本分类装置,其中,所述文本分类装置包括:分词处理模块,用于接收待分类报警文本,并对所述待分类报警文本进行分词处理,得到第一分词集;模板检测模块,用于检测预设模板池中是否存在模板文本;第一提取模块,用于若预设模板池中存在模板文本,则基于所述第一分词集和第一预设规则对所述待分类报警文本进行特征提取,得到第一文本特征向量,并对所述模板文本进行特征提取,得到第二文本特征向量;文本分类模块,用于计算所述第一文本特征向量与所述第二文本特征向量之间的相似度,并根据计算结果对所述待分类报警文本进行分类。
- 如权利要求8所述的文本分类装置,其中,所述第一提取模块包括:分词处理单元,用于对所述模板文本进行分词处理,得到第二分词集;第一计算单元,用于基于所述第一分词集和所述第二分词集计算各预设特征词的第一属性值,并分别计算所述待分类报警文本中各预设特征词的第二属性值和所述模板文本中各预设特征词的第三属性值;第一拼接单元,用于根据所述第一属性值和所述第二属性值计算所述待分类报警文本中各预设特征词的第一特征值,并对所述第一特征值进行拼接,得到第一文本特征向量;第二拼接单元,用于根据所述第一属性值和所述第三属性值计算所述模板文本中各预设特征词的第二特征值,并对所述第二特征值进行拼接,得到 第二文本特征向量。
- 如权利要求9所述的文本分类装置,其中,所述第一属性值的计算公式为:所述第二属性值的计算公式为:所述第三属性值的计算公式为:所述第一特征值的计算公式为:V s1=F s1·F s2;所述第二特征值的计算公式为:V s2=F s1·F s3;其中,F s1为预设特征词s的第一属性值,n s为所述待分类报警文本和所述模板文本的文本总数,df(t,s)为所述待分类报警文本和所述模板文本中包含预设特征词s的文本数量,α为一预设值,F s2为所述待分类报警文本中预设特征词s的第二属性值,t s1为预设特征词s在当前待分类报警文本中出现的次数,t total1为当前待分类报警文本中的分词总数,F s3为所述模板文本中预设特征词s的第三属性值,t s2为预设特征词s在当前模板文本中出现的次数,t total2为当前模板文本中的分词总数,V s1为所述待分类报警文本中预设特征词s的第一特征值,V s2为所述模板文本中预设特征词s的第二特征值。
- 如权利要求8所述的文本分类装置,其中,所述文本分类模块包括:第二计算单元,用于计算所述第一文本特征向量与各所述第二文本特征向量之间的欧氏距离,并根据计算结果判断是否存在大于预设阈值的欧式距离;第一分类单元,用于若存在大于预设阈值的欧式距离,则将所述待分类报警文本与所述大于预设阈值的欧式距离对应的模板文本分为同一类;第二分类单元,用于若不存在大于预设阈值的欧式距离,则将所述待分类报警文本另分为一个新类,并将所述待分类报警文本保存至所述预设模板池中,作为一新模板文本。
- 如权利要求8所述的文本分类装置,其中,所述文本分类装置还包 括:词汇替换模块,用于对所述待分类报警文本进行词汇替换处理;其中,所述词汇替换模块包括:文本检测单元,用于检测所述待分类报警文本中是否存在预设目标词汇;词汇替换单元,用于若所述待分类报警文本中存在预设目标词汇,则将所述待分类报警文本中所存在的预设目标词汇替换成对应的词汇标签;所述分词处理模块,具体用于对经词汇替换处理的待分类报警文本进行分词处理,得到第一分词集。
- 如权利要求8所述的文本分类装置,其中,所述文本分类装置还包括:第二提取模块,用于若预设模板池中不存在模板文本,则基于所述第一分词集和第二预设规则对所述待分类报警文本进行特征提取,得到第三文本特征向量;向量聚类模块,用于对所述第三文本特征向量进行聚类,并根据聚类结果对所述待分类报警文本进行分类;模板选取模块,用于根据分类结果从每一分类中随机选取一待分类报警文本,作为模板文本,并保存至所述预设模板池中。
- 如权利要求13所述的文本分类装置,其中,所述第二提取模块包括:第三计算单元,用于基于所述第一分词集计算各预设特征词的第四属性值和第五属性值;第三拼接单元,用于根据所述第四属性值和所述第五属性值计算所述待分类报警文本中各预设特征词的第三特征值,并对所述第三特征值进行拼接,得到第三文本特征向量。
- 一种文本分类设备,其中,所述文本分类设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的文本分类程序,所述文本分类程序被所述处理器执行时实现如下步骤:获取待见证的数据,计算所述待见证的数据的哈希值并使用预先保存的见证发起方私钥对所述哈希值进行签名,根据经所述见证发起方私钥签名后的所述哈希值和预设的多方见证完成条件信息生成见证请求消息;将所述待见证的数据和所述见证请求消息发送至预设的见证参与方节点,并接收各见证参与方节点返回的见证响应消息;从所述见证响应消息中获取各见证参与方节点使用自身私钥对所述哈希 值进行签名的签名信息,形成签名列表;发起基于所述签名列表的链上共识;当所述链上共识达成时,判定所述待见证的数据完成了多方见证。
- 如权利要求15所述的文本分类设备,其中,所述文本分类程序被所述处理器执行时还实现如下步骤:对所述模板文本进行分词处理,得到第二分词集;基于所述第一分词集和所述第二分词集计算各预设特征词的第一属性值,并分别计算所述待分类报警文本中各预设特征词的第二属性值和所述模板文本中各预设特征词的第三属性值;根据所述第一属性值和所述第二属性值计算所述待分类报警文本中各预设特征词的第一特征值,并对所述第一特征值进行拼接,得到第一文本特征向量;根据所述第一属性值和所述第三属性值计算所述模板文本中各预设特征词的第二特征值,并对所述第二特征值进行拼接,得到第二文本特征向量。
- 如权利要求15所述的文本分类设备,其中,所述文本分类程序被所述处理器执行时还实现如下步骤:计算所述第一文本特征向量与各所述第二文本特征向量之间的欧氏距离,并根据计算结果判断是否存在大于预设阈值的欧式距离;若存在大于预设阈值的欧式距离,则将所述待分类报警文本与所述大于预设阈值的欧式距离对应的模板文本分为同一类;若不存在大于预设阈值的欧式距离,则将所述待分类报警文本另分为一个新类,并将所述待分类报警文本保存至所述预设模板池中,作为一新模板文本。
- 一种计算机可读存储介质,其中,所述计算机可读存储介质上存储有文本分类程序,所述文本分类程序被处理器执行时实现如下步骤:获取待见证的数据,计算所述待见证的数据的哈希值并使用预先保存的见证发起方私钥对所述哈希值进行签名,根据经所述见证发起方私钥签名后的所述哈希值和预设的多方见证完成条件信息生成见证请求消息;将所述待见证的数据和所述见证请求消息发送至预设的见证参与方节点,并接收各见证参与方节点返回的见证响应消息;从所述见证响应消息中获取各见证参与方节点使用自身私钥对所述哈希值进行签名的签名信息,形成签名列表;发起基于所述签名列表的链上共识;当所述链上共识达成时,判定所述待见证的数据完成了多方见证。
- 如权利要求18所述的计算机可读存储介质,其中,所述文本分类程序被处理器执行时还实现如下步骤:对所述模板文本进行分词处理,得到第二分词集;基于所述第一分词集和所述第二分词集计算各预设特征词的第一属性值,并分别计算所述待分类报警文本中各预设特征词的第二属性值和所述模板文本中各预设特征词的第三属性值;根据所述第一属性值和所述第二属性值计算所述待分类报警文本中各预设特征词的第一特征值,并对所述第一特征值进行拼接,得到第一文本特征向量;根据所述第一属性值和所述第三属性值计算所述模板文本中各预设特征词的第二特征值,并对所述第二特征值进行拼接,得到第二文本特征向量。
- 如权利要求18所述的计算机可读存储介质,其中,所述文本分类程序被处理器执行时还实现如下步骤:计算所述第一文本特征向量与各所述第二文本特征向量之间的欧氏距离,并根据计算结果判断是否存在大于预设阈值的欧式距离;若存在大于预设阈值的欧式距离,则将所述待分类报警文本与所述大于预设阈值的欧式距离对应的模板文本分为同一类;若不存在大于预设阈值的欧式距离,则将所述待分类报警文本另分为一个新类,并将所述待分类报警文本保存至所述预设模板池中,作为一新模板文本。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910297133.2 | 2019-04-12 | ||
| CN201910297133.2A CN110008343B (zh) | 2019-04-12 | 2019-04-12 | 文本分类方法、装置、设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020207167A1 true WO2020207167A1 (zh) | 2020-10-15 |
Family
ID=67171668
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2020/078389 Ceased WO2020207167A1 (zh) | 2019-04-12 | 2020-03-09 | 文本分类方法、装置、设备及计算机可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110008343B (zh) |
| WO (1) | WO2020207167A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115687605A (zh) * | 2021-07-21 | 2023-02-03 | 中移(苏州)软件技术有限公司 | 文本分类方法及装置、设备、存储介质 |
| CN115776623A (zh) * | 2021-09-06 | 2023-03-10 | 中国移动通信集团广西有限公司 | 一种光传送网物理同路由检测方法和装置 |
| CN115795036A (zh) * | 2022-12-07 | 2023-03-14 | 北京优捷信达信息科技有限公司 | 一种实时对长文本去重聚类的方法 |
| CN116644178A (zh) * | 2022-02-14 | 2023-08-25 | 中国移动通信集团河南有限公司 | 故障识别方法、装置及设备 |
| CN120354434A (zh) * | 2025-06-20 | 2025-07-22 | 北京点聚信息技术有限公司 | 一种防止信息泄露的矢量签章方法、装置及系统 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110008343B (zh) * | 2019-04-12 | 2024-08-02 | 深圳前海微众银行股份有限公司 | 文本分类方法、装置、设备及计算机可读存储介质 |
| JP7091295B2 (ja) * | 2019-09-06 | 2022-06-27 | 株式会社東芝 | 解析装置、解析方法及びプログラム |
| CN113111895A (zh) * | 2020-02-13 | 2021-07-13 | 北京明亿科技有限公司 | 基于支持向量机的处警警情类别确定方法和装置 |
| CN111460180B (zh) * | 2020-03-30 | 2024-03-15 | 维沃移动通信有限公司 | 信息显示方法、装置、电子设备及存储介质 |
| CN112328799B (zh) * | 2021-01-06 | 2021-04-02 | 腾讯科技(深圳)有限公司 | 问题分类方法和装置 |
| CN112989050B (zh) * | 2021-03-31 | 2023-05-30 | 建信金融科技有限责任公司 | 一种表格分类方法、装置、设备及存储介质 |
| CN112988954B (zh) * | 2021-05-17 | 2021-09-21 | 腾讯科技(深圳)有限公司 | 文本分类方法、装置、电子设备和计算机可读存储介质 |
| CN113377911B (zh) * | 2021-06-09 | 2022-10-14 | 广东电网有限责任公司广州供电局 | 一种文本信息提取方法、装置、电子设备及存储介质 |
| CN113254653B (zh) * | 2021-07-05 | 2021-12-21 | 明品云(北京)数据科技有限公司 | 一种文本分类方法、系统、设备及介质 |
| CN113657445B (zh) * | 2021-07-13 | 2022-06-07 | 珠海金智维信息科技有限公司 | 基于Resnet的单行文本图片比对方法及系统 |
| CN113704467B (zh) * | 2021-07-29 | 2024-07-02 | 大箴(杭州)科技有限公司 | 基于数据模板的海量文本监控方法及装置、介质、设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103257957A (zh) * | 2012-02-15 | 2013-08-21 | 深圳市腾讯计算机系统有限公司 | 一种基于中文分词的文本相似性识别方法及装置 |
| US20140052728A1 (en) * | 2011-04-27 | 2014-02-20 | Nec Corporation | Text clustering device, text clustering method, and computer-readable recording medium |
| CN104112026A (zh) * | 2014-08-01 | 2014-10-22 | 中国联合网络通信集团有限公司 | 一种短信文本分类方法及系统 |
| CN105045812A (zh) * | 2015-06-18 | 2015-11-11 | 上海高欣计算机系统有限公司 | 文本主题的分类方法及系统 |
| CN110008343A (zh) * | 2019-04-12 | 2019-07-12 | 深圳前海微众银行股份有限公司 | 文本分类方法、装置、设备及计算机可读存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102937960B (zh) * | 2012-09-06 | 2015-06-17 | 北京邮电大学 | 突发事件热点话题的识别与评估装置 |
| CN102831246B (zh) * | 2012-09-17 | 2014-09-24 | 中央民族大学 | 藏文网页分类方法和装置 |
| CN106919619B (zh) * | 2015-12-28 | 2021-09-07 | 阿里巴巴集团控股有限公司 | 一种商品聚类方法、装置及电子设备 |
| CN105677873B (zh) * | 2016-01-11 | 2019-03-26 | 中国电子科技集团公司第十研究所 | 基于领域知识模型的文本情报关联聚类汇集处理方法 |
| CN107291723B (zh) * | 2016-03-30 | 2021-04-30 | 阿里巴巴集团控股有限公司 | 网页文本分类的方法和装置,网页文本识别的方法和装置 |
| CN107315777A (zh) * | 2017-05-31 | 2017-11-03 | 国家电网公司 | 一种基于k最近邻算法的电网监控信号的分类压缩方法 |
| CN108563722B (zh) * | 2018-04-03 | 2021-04-02 | 有米科技股份有限公司 | 文本信息的行业分类方法、系统、计算机设备和存储介质 |
-
2019
- 2019-04-12 CN CN201910297133.2A patent/CN110008343B/zh active Active
-
2020
- 2020-03-09 WO PCT/CN2020/078389 patent/WO2020207167A1/zh not_active Ceased
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140052728A1 (en) * | 2011-04-27 | 2014-02-20 | Nec Corporation | Text clustering device, text clustering method, and computer-readable recording medium |
| CN103257957A (zh) * | 2012-02-15 | 2013-08-21 | 深圳市腾讯计算机系统有限公司 | 一种基于中文分词的文本相似性识别方法及装置 |
| CN104112026A (zh) * | 2014-08-01 | 2014-10-22 | 中国联合网络通信集团有限公司 | 一种短信文本分类方法及系统 |
| CN105045812A (zh) * | 2015-06-18 | 2015-11-11 | 上海高欣计算机系统有限公司 | 文本主题的分类方法及系统 |
| CN110008343A (zh) * | 2019-04-12 | 2019-07-12 | 深圳前海微众银行股份有限公司 | 文本分类方法、装置、设备及计算机可读存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115687605A (zh) * | 2021-07-21 | 2023-02-03 | 中移(苏州)软件技术有限公司 | 文本分类方法及装置、设备、存储介质 |
| CN115776623A (zh) * | 2021-09-06 | 2023-03-10 | 中国移动通信集团广西有限公司 | 一种光传送网物理同路由检测方法和装置 |
| CN116644178A (zh) * | 2022-02-14 | 2023-08-25 | 中国移动通信集团河南有限公司 | 故障识别方法、装置及设备 |
| CN115795036A (zh) * | 2022-12-07 | 2023-03-14 | 北京优捷信达信息科技有限公司 | 一种实时对长文本去重聚类的方法 |
| CN120354434A (zh) * | 2025-06-20 | 2025-07-22 | 北京点聚信息技术有限公司 | 一种防止信息泄露的矢量签章方法、装置及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110008343A (zh) | 2019-07-12 |
| CN110008343B (zh) | 2024-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020207167A1 (zh) | 文本分类方法、装置、设备及计算机可读存储介质 | |
| TWI729472B (zh) | 特徵詞的確定方法、裝置和伺服器 | |
| CN113836314B (zh) | 知识图谱构建方法、装置、设备以及存储介质 | |
| CN111444723A (zh) | 信息抽取模型训练方法、装置、计算机设备和存储介质 | |
| CN113986864A (zh) | 日志数据处理方法、装置、电子设备及存储介质 | |
| WO2020057021A1 (zh) | 数据表处理方法、装置、计算机设备和存储介质 | |
| CN117725161A (zh) | 文本中变种词的识别及提取敏感词的方法和系统 | |
| US12417345B2 (en) | Method and apparatus for constructing object relationship network, and electronic device | |
| CN115470785A (zh) | 基于大数据的债券风险信息处理方法及相关设备 | |
| CN116246287A (zh) | 目标对象识别方法、训练方法、装置以及存储介质 | |
| WO2021174814A1 (zh) | 众包任务的答案验证方法、装置、计算机设备及存储介质 | |
| WO2016188334A1 (zh) | 一种用于处理应用访问数据的方法与设备 | |
| CN113221538B (zh) | 事件库构建方法和装置、电子设备、计算机可读介质 | |
| CN113095073B (zh) | 语料标签生成方法、装置、计算机设备和存储介质 | |
| CN112487808A (zh) | 基于大数据的新闻消息推送方法、装置、设备及存储介质 | |
| CN112862305A (zh) | 确定对象风险状态的方法、装置、设备和存储介质 | |
| CN114676774B (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN114462405A (zh) | 文本类别的识别方法和装置、存储介质及电子装置 | |
| CN119807141A (zh) | 数据标准治理方法、装置、计算机设备及存储介质 | |
| CN115392389B (zh) | 跨模态信息匹配、处理方法、装置、电子设备及存储介质 | |
| CN116955856A (zh) | 信息展示方法、装置、电子设备以及存储介质 | |
| CN116975393A (zh) | 一种企业画像的构建方法、装置及电子设备 | |
| CN116662589A (zh) | 图像匹配方法、装置、电子设备以及存储介质 | |
| CN114357005A (zh) | 科创信息的生成方法、装置、终端及存储介质 | |
| CN119647477B (zh) | 文本检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20786829 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20786829 Country of ref document: EP Kind code of ref document: A1 |




