WO2021073408A1 - 模型预测能力优化方法、装置、设备及可读存储介质 - Google Patents

模型预测能力优化方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
WO2021073408A1
WO2021073408A1 PCT/CN2020/118262 CN2020118262W WO2021073408A1 WO 2021073408 A1 WO2021073408 A1 WO 2021073408A1 CN 2020118262 W CN2020118262 W CN 2020118262W WO 2021073408 A1 WO2021073408 A1 WO 2021073408A1
Authority
WO
WIPO (PCT)
Prior art keywords
result
model
data
labeling
sorting
Prior art date
Application number
PCT/CN2020/118262
Other languages
English (en)
French (fr)
Inventor
刘嘉伟
于修铭
汪伟
陈晨
李可
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021073408A1 publication Critical patent/WO2021073408A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification

Definitions

  • This application relates to the field of machine learning technology, and in particular to methods, devices, equipment, and readable storage media for optimizing model prediction capabilities.
  • the traditional legal intelligent identification methods are based on keyword query, and some are integrated with natural language processing technology.
  • the inventor realized that the efficiency and accuracy of the keyword query method cannot meet the demand; and the method based on the traditional natural language processing technology, because the legal field is a very vertical field, accuracy faces great challenges.
  • natural language processing technology cannot explain its own results, and it also makes it unconvincing in serious legal fields. How to optimize the prediction effect of the model is a technical problem that needs to be solved urgently in the current technical field.
  • the main purpose of this application is to provide a method, device, equipment, and computer-readable storage medium for optimizing model prediction capabilities, aiming to solve the technical problem of low traditional model prediction capabilities.
  • the first aspect of the present application provides a method for optimizing model prediction capabilities, which includes: using a two-way Transformer model to identify a data set to be identified to obtain a first identification result set, and use the following formula to identify the first identification result
  • the set is normalized to obtain a value set, and the values in the value set are sorted to obtain the first sorting result:
  • e is the natural constant
  • i is the numerical model bidirectional Transformer last layer output
  • k is the number of values
  • S i is the result of normalization; determining whether or not there are a plurality of the sorted maximum result of the first sorting The same numerical value; if there are multiple largest identical numerical values in the first sorting result, sort the Euclidean distance between the second clustering result corresponding to the same numerical value and the preset result to obtain the second sorting result
  • the first sorting result does not have multiple sorted largest identical values, output the first recognition result; judge whether the first sorting result is consistent with the second sorting result; if the first sorting result is consistent with the second sorting result; If the sorting result is consistent with the second sorting result, the recognition result corresponding to the first sorting result is used as a second recognition result set and output; if the first sorting result is inconsistent with the second sorting result, then The weight coefficient of the two-way Transformer model is adjusted through a back propagation algorithm.
  • the second aspect of the present application provides a model prediction capability optimization device, including a memory, a processor, and computer-readable instructions stored in the memory and running on the processor, and the processor executes the computer
  • the following steps are implemented when the instructions are readable: the two-way Transformer model is used to recognize the data set to be identified to obtain the first recognition result set, and the first recognition result set is normalized by the following formula to obtain the value set, and Sort the values in the set of values to get the first sort result:
  • e is the natural constant
  • i is the numerical model bidirectional Transformer last layer output
  • k is the number of values
  • S i is the result of normalization; determining whether or not there are a plurality of the sorted maximum result of the first sorting The same numerical value; if there are multiple largest identical numerical values in the first sorting result, sort the Euclidean distance between the second clustering result corresponding to the same numerical value and the preset result to obtain the second sorting result If the first sorting result does not have multiple sorted largest identical values, output the first recognition result; determine whether the first sorting result is consistent with the second sorting result; if the first sorting result If the sorting result is consistent with the second sorting result, the recognition result corresponding to the first sorting result is used as a second recognition result set and output; if the first sorting result is inconsistent with the second sorting result, then The weight coefficient of the two-way Transformer model is adjusted through a back propagation algorithm.
  • the third aspect of the present application provides a computer-readable storage medium having computer instructions stored in the computer-readable storage medium, and when the computer instructions are executed on the computer, the computer executes the following steps: using a two-way Transformer model to treat The recognition data set is recognized to obtain the first recognition result set, and the first recognition result set is normalized by the following formula to obtain a value set, and the values in the value set are sorted to obtain the first ranking result:
  • e is the natural constant
  • i is the numerical model bidirectional Transformer last layer output
  • k is the number of values
  • S i is the result of normalization; determining whether or not there are a plurality of the sorted maximum result of the first sorting The same numerical value; if there are multiple largest identical numerical values in the first sorting result, sort the Euclidean distance between the second clustering result corresponding to the same numerical value and the preset result to obtain the second sorting result If the first sorting result does not have multiple sorted largest identical values, output the first recognition result; determine whether the first sorting result is consistent with the second sorting result; if the first sorting result If the sorting result is consistent with the second sorting result, the recognition result corresponding to the first sorting result is used as a second recognition result set and output; if the first sorting result is inconsistent with the second sorting result, then The weight coefficient of the two-way Transformer model is adjusted through a back propagation algorithm.
  • the fourth aspect of the present application provides a model prediction capability optimization device, including: an identification module for identifying a data set to be identified using a two-way Transformer model to obtain a first identification result set; a first ranking module for using the following formula Perform normalization processing on the first recognition result set to obtain a value set, and sort the values in the value set to obtain a first sorting result:
  • e is a natural constant
  • i is the last bi-level output Transformer model
  • k is the number of values
  • S i is the normalized results of a
  • a first determining module for determining whether the first sorting results Whether there are multiple largest ranked same values
  • the second ranking module is configured to compare the second clustering result corresponding to the same numerical value with the pre-clustering result if there are multiple largest ranked same numerical values in the first ranking result.
  • the Euclidean distance between the results is sorted to obtain a second sorting result; the output module is configured to output the first recognition result if there are no multiple same numerical values with the largest sorting in the first sorting result; second judgment Module for judging whether the first sorting result is consistent with the second sorting result; an adjustment module for judging the first sorting result if the first sorting result is consistent with the second sorting result.
  • the corresponding recognition result is used as a second recognition result set and output. If the first sorting result is inconsistent with the second sorting result, the weight coefficient of the two-way Transformer model is adjusted through a back propagation algorithm.
  • This application first performs structured extraction of the data to be identified to obtain the extracted data set, and then performs clustering to obtain the clustering result. Finally, the second two-way Transformer model is used to identify the clustering result, and the first identification result is obtained. The result is normalized to obtain a first sorting result, the second recognition result is sorted to obtain a second sorting result, and the final recognition result is output according to the first sorting result and the second sorting result. This solution improves the model's recognition effect of the data to be recognized.
  • FIG. 1 is a schematic structural diagram of the operating environment of the model prediction capability optimization equipment involved in the solution of the embodiment of the application;
  • FIG. 2 is a schematic flowchart of a first embodiment of a method for optimizing model prediction capabilities of this application;
  • FIG. 3 is a schematic flowchart of a second embodiment of a method for optimizing model prediction capabilities of this application
  • FIG. 4 is a schematic flowchart of a third embodiment of a method for optimizing model prediction capabilities of this application.
  • FIG. 5 is a detailed flowchart of step S160 in FIG. 3 of this application.
  • FIG. 6 is a schematic diagram of the detailed flow of step S180 in FIG. 3 of this application.
  • FIG. 7 is a detailed flowchart of step S40 in FIG. 2 of this application.
  • FIG. 8 is a schematic diagram of functional modules of the first embodiment of the apparatus for optimizing model prediction capabilities of this application.
  • FIG. 9 is a schematic diagram of functional modules of a second embodiment of an apparatus for optimizing model prediction capabilities of this application.
  • This application provides a model prediction capability optimization device.
  • FIG. 1 is a schematic structural diagram of the operating environment of the model prediction capability optimization equipment involved in the solution of the embodiment of the application.
  • the model prediction capability optimization device includes: a processor 1001, such as a CPU, a communication bus 1002, a user interface 1003, a network interface 1004, and a memory 1005.
  • the communication bus 1002 is used to implement connection and communication between these components.
  • the user interface 1003 may include a display screen (Display) and an input unit such as a keyboard (Keyboard), and the network interface 1004 may optionally include a standard wired interface and a wireless interface (such as a WI-FI interface).
  • the memory 1005 may be a high-speed RAM memory, or a non-volatile memory (non-volatile memory), such as a magnetic disk memory.
  • the memory 1005 may also be a storage device independent of the aforementioned processor 1001.
  • model prediction capability optimization device does not constitute a limitation on the model prediction capability optimization device, and may include more or less components than those shown in the figure, or a combination of certain components. Components, or different component arrangements.
  • the memory 1005 which is a computer-readable storage medium, may include an operating system, a network communication module, a user interface module, and a model prediction capability optimization program.
  • the operating system is a program that manages and controls model predictive capability optimization equipment and software resources, and supports the operation of model predictive capability optimization programs and other software and/or programs.
  • the network interface 1004 is mainly used to access the network; the user interface 1003 is mainly used to detect and confirm instructions and edit instructions.
  • the processor 1001 may be used to call the model prediction capability optimization program stored in the memory 1005, and execute the operations of the following embodiments of the model prediction capability optimization method.
  • model prediction capability optimization device hardware structure Based on the foregoing model prediction capability optimization device hardware structure, various embodiments of the model prediction capability optimization method of the present application are proposed.
  • Fig. 2 is a schematic flowchart of a first embodiment of a method for optimizing model prediction capabilities of this application.
  • the method for optimizing model prediction capabilities includes the following steps:
  • Step S10 use the two-way Transformer model to identify the data set to be identified to obtain a first identification result set
  • the bidirectional Transformer model is a model that can recognize the data to be recognized based on the context relationship.
  • the first identification result set includes multiple identification results.
  • the first identification result set includes one or more of the following: whether the loan relationship is established, whether the loan form is reasonable, whether the contract is valid, whether the contract is valid, whether the contract is normally performed, and whether the guarantee relationship Seven major disputes include the establishment and whether the loan is the joint debt of the husband and wife.
  • step S20 the first recognition result is normalized by the following formula to obtain a value set, and the values in the value set are sorted to obtain a first sorting result:
  • e is the natural constant
  • i is the numerical model bidirectional Transformer last layer output
  • k is the number of values, the result is normalized S i;
  • the value of the last layer of the bidirectional Transformer model can be mapped to (0, 1). For example, there are 7 controversies in total, namely whether the loan relationship is established, whether the loan form is reasonable, whether the contract is effective, whether the contract is valid, whether the contract is normally performed, whether the guarantee relationship is established, whether the loan is a joint debt of the husband and wife, the two-way Transformer model finally
  • the output values of the first layer are 1.3, 0.762, 2.283, 1.523, 0.7412, 0.921, 1.224. These seven values can be normalized by substituting the above formula, and each normalized value can be mapped to (0, In 1), suppose that the set of output values are 0.1, 0.1, 0.1, 0.1, 0.1, 0.4.
  • Step S30 judging whether there are multiple largest identical numerical values in the first sorting result
  • Step S40 if there are no multiple largest identical numerical values in the first sorting result, output the first recognition result
  • Step S50 if there are multiple largest identical numerical values in the first sorting result, sort the Euclidean distance between the second clustering result corresponding to the same numerical value and the preset result to obtain a second sorting result ;
  • step S20 only sorts the normalized values, and its essence is to sort the recognition results output by the bidirectional Transformer model. If the recognition result is not checked, inaccurate recognition may occur. In order to avoid such a phenomenon, when there are a plurality of the same numerical values with the largest ranking in the first ranking result, the corresponding numerical value corresponding to the same numerical value The Euclidean distance between the second clustering result of and the preset result is sorted to obtain the second sorting result.
  • Step S60 judging whether the first sorting result is consistent with the second sorting result
  • the first two-way Transformer model is trained using the clustering results to obtain the two-way Transformer model.
  • the two-way Transformer model has the ability to identify the focus of disputes in the case to a certain extent. Limited test data is used to verify the correctness of the model output results, so it cannot guarantee that the two-way Transformer model can still output accurate recognition results in big data scenarios. Therefore, it is necessary to judge whether the first sorting result is consistent with the second sorting result .
  • Step S70 If the first sorting result is consistent with the second sorting result, the recognition result corresponding to the first sorting result is used as a second recognition result set and output;
  • the recognition result corresponding to the first sorting result is taken as the second recognition result.
  • step S80 if the first sorting result is inconsistent with the second sorting result, the weight coefficient of the bidirectional Transformer model is adjusted through a backpropagation algorithm.
  • the first sorting result and the second sorting result need to be comprehensively considered. If it is determined by the above two ranking results that "whether the loan is a joint debt between husband and wife" is the focal point of the dispute, the recognition result will be output. If the above two ranking results are contradictory, and the correct rate of the first ranking result is higher than that of the first ranking result. For the second sorting result, the final result is output through the two-way two-way Transformer model. If the correct rate of the first sorting result is lower than that of the second sorting result, it means that the two-way Transformer model may not be able to accurately predict, so it is necessary to adjust the backpropagation algorithm. The weight coefficients of the two-way Transformer model are described, and the first two-way Transformer model is trained.
  • Fig. 3 is a schematic flowchart of a second embodiment of a method for optimizing model prediction capabilities of this application.
  • step S10 in Fig. 2 the following steps are further included:
  • Step S90 the manual labeling operation performed during manual labeling is monitored through the preset monitoring program
  • different case documents are manually marked, and the marked contents include: the evidence provided by the plaintiff, the court, the plaintiff and the court, the plaintiff’s petition, the lawyer’s defense, the focus of the dispute, the court’s The result of the judgment, the legal principles and regulations based on it, and the reason for the court judgment.
  • Step S100 Determine a labeling rule according to the manual labeling operation
  • the labeling rules are determined according to the manual labeling operation. For example, when the word "plaintiff" appears in the document, it is labeled as the plaintiff.
  • Step S110 using the first training data to train an initial sequence labeling model based on the labeling rules to obtain a sequence labeling model, and labeling the second training data through the sequence labeling model to obtain labeling data;
  • the initial sequence labeling model refers to a conditional time-field CRF model, and the initial sequence labeling model is trained using the data to be labelled based on the labeling rules.
  • Step S120 judging whether the labeling data meets the labeling rule
  • new data is used to test the accuracy of the output result of the initial sequence labeling model. If the accuracy is higher than the preset value, it means that the label conforms to the label. rule.
  • Step S130 If the labeling data satisfies the labeling rules, use the first training data to train the initial sequence labeling model based on the labeling rules to obtain the sequence labeling model; otherwise, do not process;
  • the model has the ability to correctly label at this time, and the sequence labeling model is obtained. If the labeling rules are not met, the weight coefficient of the sequence labeling model is adjusted until the Standard rules.
  • Step S140 using a sequence labeling model to label the data to be identified to obtain labeling data
  • the purpose of using the sequence labeling model to label the identification data is to facilitate the extraction of different types of data.
  • the content of the label includes: the plaintiff, the lawyer, the plaintiff, and the court.
  • Step S150 using the labeled data set to train a first conditional random field model set to obtain a second conditional random field model set;
  • the training process is: training the first conditional random field model set according to known training samples in advance, that is, using labeled data, and after training a preset number of rounds, start to use the first conditional random field
  • the model set extracts the unlabeled data, that is, the data to be identified, and verifies the accuracy of the extraction results through the pre-prepared verification data. If the accuracy meets the preset threshold, the training is completed It is the first conditional random field model set, that is, the second conditional random field model set. If the accuracy rate does not meet the preset threshold, the backpropagation algorithm is used to adjust the proportion of each conditional random field model in the first conditional random field model set Until the preset threshold is met.
  • Step S160 performing structured extraction of the data to be identified through the second conditional random field model set to obtain an extracted data set, wherein the extracted data set includes a plurality of data categories;
  • the data to be identified is extracted in a structured manner through the second conditional random field model set to obtain the extracted data set.
  • the extracted data set contains multiple categories, such as the plaintiff, the court, the evidence provided by the plaintiff and the court, the plaintiff’s petition, the lawyer’s defense, the dispute focus of the case, the court’s judgment result, The legal principles and regulations based on, and the reasons determined by the court.
  • Step S170 clustering data in each data category in the extracted data set by using a density-based clustering method to obtain a first clustering result
  • the density-based clustering method is used to cluster the data in each data category in the extracted data set to obtain the first clustering result.
  • the purpose of clustering the data in each data category is to facilitate Subsequent models perform fine-grained recognition of the data, for example, use specific clustering results to train the model.
  • Step S180 Use the clustering result to train an initial two-way Transformer model to obtain a two-way Transformer model.
  • the training process is as follows: prepare the verification data in advance, and use the first clustering result to train the first two-way Transformer model for a predetermined number of rounds, and then start to use the first two-way Transformer model to cluster the second cluster. Recognize the result to obtain the recognition result, and check whether the accuracy of the recognition result meets the preset correct rate according to the verification data. If it is, the two-way Transformer model is obtained; if not, the first clustering result is used to train the first The two-way Transformer model, that is, the back propagation algorithm is used to adjust the weight of the first two-way Transformer model until the preset accuracy rate is met.
  • FIG. 4 is a schematic flowchart of a third embodiment of a method for optimizing model prediction capabilities of this application.
  • step S150 in FIG. 3 the following steps are further included:
  • Step S190 Calculate the number of first condition random field models according to the following formula
  • n is the number of labeled types
  • m is the number of conditional random field models
  • Step S200 Combine the number of first conditional random field models in a parallel manner to obtain a first conditional random field model set.
  • the plaintiff, lawyer, and plaintiff evidence are marked, and the number of marked types is 3.
  • the first conditional random field model set composed of two conditional random field models is required, and the first conditional random field model set is used.
  • a model in a conditional random field model set classifies the plaintiff and victim, and classifies the court and plaintiff evidence through the B model.
  • the court data obtained by the classification must be agreed, and then other classifications are output.
  • step S160 includes the following steps:
  • Step S1601 Use a regularization method to filter the stop words and numbers in the second initial to-be-recognized data, and segment the filtered second initial to-be-recognized data to obtain word segmentation, and obtain the word segmentation according to the characteristics of the word segmentation.
  • the feature set of the second data to be identified;
  • a regularization method is first used to filter the stop words and numbers in the second initial data to be recognized to obtain the second data to be recognized.
  • the second to-be-recognized data is segmented to obtain word segmentation, and the feature set of the second to-be-recognized data is obtained according to the characteristics of the word segmentation;
  • the word vector calculation tool word2vec converts the to-be-recognized data into a form of word vector , And calculate the feature set of word segmentation according to the word vector.
  • step S1602 a structured extraction is performed on the feature set through a second conditional random field model to obtain an extraction data set.
  • a part of the feature set can be extracted from the feature set by the principal component analysis algorithm to obtain the extracted data set.
  • step S180 includes the following steps:
  • Step S1801 using a random algorithm to randomly cover the words in the first clustering result according to a preset coverage ratio to obtain the first training data
  • a random algorithm is used to randomly cover the words in the first clustering result according to a preset coverage ratio to obtain the first training data.
  • the preset coverage ratio may be 10%.
  • Step S1802 using the first training data to train a first initial two-way Transformer model to obtain a second initial two-way Transformer model
  • the first initial two-way Transformer model is trained using the first training data to obtain the second initial two-way Transformer model.
  • Step S1803 Predict the words randomly covered in the second training data through the first initial second two-way Transformer model to obtain predicted words
  • 10% of the words are randomly covered, and the covered words are predicted. If the prediction is correct, the number of times the predicted word is correct is recorded; if the prediction is wrong, the number of times the predicted word is wrong is recorded, and then continue Randomly cover 10% of the words and predict them.
  • Step S1804 Calculate the accuracy rate of the predicted word as the correct word according to the preset manual result
  • the preset artificial results are prepared in advance before training.
  • the two-way Transformer model has the characteristic of predicting data based on context. When presetting the artificial results, different characters and left and right characters need to be considered. The relationship between the words is randomly overwritten, so it is unknown which word will be randomly selected, but no matter which word is selected, it is in the preset results, because only in this way can we verify whether the predicted result of the model is correct.
  • Step S1805 judging whether the accuracy rate meets a preset condition
  • Step S1806 if the accuracy rate meets a preset condition, mark the predicted word
  • Step S1807 if the accuracy rate does not meet the preset condition, replace the predicted word with a random word in the preset dictionary, and return to step S1801 until the accuracy rate meets the preset condition;
  • the training prediction can be any Chinese article, randomly covering 10% of the words, so that the model can completely predict the words covered according to the context. Since the trained model may be used in other professional fields, if all characters are covered with the mark symbol [MASK], the prediction effect of the model will decrease, so the method of randomly covering 10% of the characters is adopted.
  • Step S1809 if the accuracy rate increases with the iteration of training the first two-way Transformer model, return to step S1801 until the rate at which the accuracy rate increases with the iteration of the training model is lower than the preset rate;
  • step S1810 if the accuracy rate does not increase with the iteration of training the first two-way Transformer model, a two-way Transformer model is obtained.
  • the trained model will be used to test the test data.
  • F1 score refers to the index of the classification accuracy of the classifier.
  • step S40 includes the following steps:
  • Step S401 if there are multiple largest identical numerical values in the first sorting result, calculate the Euclidean distance between the second clustering result and the preset result by using the word shift distance algorithm;
  • the preset result refers to the pre-set dispute focus data that has a mapping relationship with the text data. For example, if the text related to "whether the contract is in effect" in the text appears more often, the case is explained The focal point of the dispute is the greater the probability of "whether the contract is effective", and this relationship can be established through the hash algorithm. Since the preset result is known and accurate, the Euclidean distance between the second clustering result and the preset result can be calculated.
  • Step S402 Calculate the weight of the Euclidean distance by means of weighted summation, and obtain the second sorting result according to the weight.
  • the method that can be used to sort the Euclidean distance is to calculate the weight of the Euclidean distance by a weighted summation method, and obtain the second sorting result according to the weight.
  • the order from low to high is: whether the loan relationship is established, whether the loan form is reasonable, whether the contract is effective, whether the contract is valid, whether the contract is normally performed, whether the guarantee relationship is established, whether the loan is a joint debt of the husband and wife; through weighted summation
  • the Euclidean distance is calculated in the manner of, and the distance with weighted weight is obtained.
  • the weighted weight is calculated by word frequency or TF-IDF and represents the state transition matrix; finally, the word centroid distance algorithm WCD can be used in the calculation process to accelerate the calculation of the word shift distance between documents.
  • FIG. 8 is a schematic diagram of the functional modules of the first embodiment of the apparatus for optimizing the model prediction ability of this application.
  • the model prediction capability optimization device includes:
  • the recognition module 10 is used for recognizing the data set to be recognized by using the two-way Transformer model to obtain the first recognition result set;
  • the first sorting module 20 is configured to normalize the first recognition result set by the following formula to obtain a value set, and sort the values in the value set to obtain a first sorting result:
  • e is the natural constant
  • i is the numerical model bidirectional Transformer last layer output
  • k is the number of values, the result is normalized S i;
  • the first judgment module 30 is configured to judge whether there are multiple largest identical numerical values in the first ranking result
  • the second sorting module 40 is configured to sort the Euclidean distance between the second clustering result corresponding to the same numerical value and the preset result if there are multiple largest identical numerical values in the first sorting result, Get the second sort result;
  • the output module 50 is configured to output the first recognition result if there are no multiple largest identical numerical values in the first sorting result
  • the second judgment module 60 is configured to judge whether the first sorting result is consistent with the second sorting result
  • the adjustment module 70 is configured to, if the first sorting result is consistent with the second sorting result, use the recognition result corresponding to the first sorting result as a second recognition result set and output it, if the first sorting result If the result is inconsistent with the second sorting result, the weight coefficient of the two-way Transformer model is adjusted through a back propagation algorithm.
  • FIG. 9 is a schematic diagram of the functional modules of the second embodiment of the apparatus for optimizing the model prediction ability of this application.
  • the second sorting module 40 includes the following units:
  • the calculating unit 401 is configured to calculate the Euclidean distance between the second clustering result and the preset result by using the word shift distance algorithm if there are multiple largest identical numerical values in the first sorting result;
  • the sorting unit 402 is configured to calculate the weight of the Euclidean distance in a weighted summation manner, and obtain a second sorting result according to the weight.
  • the present application also provides a model prediction capability optimization device, including: a memory and at least one processor, the memory stores instructions, and the memory and the at least one processor are interconnected by wires; the at least one processor The instructions in the memory are called so that the model prediction capability optimization device executes the steps in the above model prediction capability optimization method.
  • the present application also provides a computer-readable storage medium.
  • the computer-readable storage medium may be a non-volatile computer-readable storage medium or a volatile computer-readable storage medium.
  • the computer-readable storage medium stores computer instructions, and when the computer instructions are executed on the computer, the computer executes the following steps:
  • the first recognition result set is normalized by the following formula to obtain a value set, and the values in the value set are sorted to obtain the first sorting result:
  • e is the natural constant
  • i is the numerical model bidirectional Transformer last layer output
  • k is the number of values, the result is normalized S i;
  • the recognition result corresponding to the first sorting result is used as a second recognition result set and output;
  • the weight coefficient of the bidirectional Transformer model is adjusted through a backpropagation algorithm.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及人工智能技术领域，公开了一种模型预测能力优化方法，包括以下步骤：使用双向Transformer模型对待识别数据集进行识别，得到第一识别结果集；计算得到第一排序结果；判断所述第一排序结果中是否存在多个排序最大的相同数值；若是，则对与所述相同数值对应的第二聚类结果与预置结果间的欧式距离进行排序，得到第二排序结果；若否，则输出第一识别结果；若第一排序结果与所述第二排序结果一致，则将所述第一排序结果所对应的识别结果作为第二识别结果集并输出。本申请还公开了一种模型预测能力优化装置、设备及计算机可读存储介质。本申请提供的模型预测能力优化方法解决了现有的模型预测能力低的技术问题。

Description

模型预测能力优化方法、装置、设备及可读存储介质
本申请要求于2019年10月18日提交中国专利局、申请号为201910992283.5、发明名称为“模型预测能力优化方法、装置、设备及可读存储介质”的中国专利申请的优先权，其全部内容通过引用结合在申请中。
技术领域
本申请涉及机器学习技术领域，尤其涉及模型预测能力优化方法、装置、设备及可读存储介质。
背景技术
目前，传统的法律智能化识别方法有基于关键字查询的，也有融合自然语言处理技术的。发明人意识到，基于关键字查询的方法，效率和准确性都不能满足需求；而基于传统自然语言处理技术的方法，由于法律领域是十分垂直的领域，准确性面领着极大的挑战，同时，自然语言处理技术无法对自身产生的结果进行解释，也让其在严肃的法律领域无法让人信服。如何对模型预测效果进行优化，是目前本技术领域亟待解决的技术问题。
发明内容
本申请的主要目的在于提供一种模型预测能力优化方法、装置、设备及计算机可读存储介质，旨在解决传统模型预测能力较低的技术问题。
为实现上述目的，本申请第一方面提供了一种模型预测能力优化方法，包括：使用双向Transformer模型对待识别数据集进行识别，得到第一识别结果集，通过以下公式对所述第一识别结果集进行归一化处理，得到数值集合，并对所述数值集合中的数值进行排序，得到第一排序结果：
Figure PCTCN2020118262-appb-000001
其中，e为自然常数，i为双向Transformer模型最后一层输出的数值，k为数值的数量，S i为归一化后的结果；判断所述第一排序结果中是否存在多个排序最大的相同数值；若所述第一排序结果中存在多个排序最大的相同数值，则对与所述相同数值对应的第二聚类结果与预置结果间的欧式距离进行排序，得到第二排序结果；若所述第一排序结果中不存在多个排序最大的相同数值，则输出所述第一识别结果；判断所述第一排序结果与所述第二排序结果是否一致；若所述第一排序结果与所述第二排序结果一致，则将所述第一排序结果所对应的识别结果作为第二识别结果集并输出；若所述第一排序结果与所述第二排序结果不一致，则通过反向传播算法调整所述双向Transformer模型的权重系数。
本申请第二方面提供了一种模型预测能力优化设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：使用双向Transformer模型对待识别数据集进行识别，得到第一识别结果集，通过以下公式对所述第一识别结果集进行归一化处理，得到数值集合，并对所述数值集合中的数值进行排序，得到第一排序结果：
Figure PCTCN2020118262-appb-000002
其中，e为自然常数，i为双向Transformer模型最后一层输出的数值，k为数值的数量，S i为归一化后的结果；判断所述第一排序结果中是否存在多个排序最大的相同数值；若所述第一排序结果中存在多个排序最大的相同数值，则对与所述相同数值对应的第二聚类结果与预置结果间的欧式距离进行排序，得到第二排序结果；若所述第一排序结果中不 存在多个排序最大的相同数值，则输出所述第一识别结果；判断所述第一排序结果与所述第二排序结果是否一致；若所述第一排序结果与所述第二排序结果一致，则将所述第一排序结果所对应的识别结果作为第二识别结果集并输出；若所述第一排序结果与所述第二排序结果不一致，则通过反向传播算法调整所述双向Transformer模型的权重系数。
本申请第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如下步骤：使用双向Transformer模型对待识别数据集进行识别，得到第一识别结果集，通过以下公式对所述第一识别结果集进行归一化处理，得到数值集合，并对所述数值集合中的数值进行排序，得到第一排序结果：
Figure PCTCN2020118262-appb-000003
其中，e为自然常数，i为双向Transformer模型最后一层输出的数值，k为数值的数量，S i为归一化后的结果；判断所述第一排序结果中是否存在多个排序最大的相同数值；若所述第一排序结果中存在多个排序最大的相同数值，则对与所述相同数值对应的第二聚类结果与预置结果间的欧式距离进行排序，得到第二排序结果；若所述第一排序结果中不存在多个排序最大的相同数值，则输出所述第一识别结果；判断所述第一排序结果与所述第二排序结果是否一致；若所述第一排序结果与所述第二排序结果一致，则将所述第一排序结果所对应的识别结果作为第二识别结果集并输出；若所述第一排序结果与所述第二排序结果不一致，则通过反向传播算法调整所述双向Transformer模型的权重系数。
本申请第四方面提供了一种模型预测能力优化装置，包括：识别模块，用于使用双向Transformer模型对待识别数据集进行识别，得到第一识别结果集；第一排序模块，用于通过以下公式对所述第一识别结果集进行归一化处理，得到数值集合，并对所述数值集合中的数值进行排序，得到第一排序结果：
Figure PCTCN2020118262-appb-000004
其中，e为自然常数，i为双向Transformer模型最后一层输出的数值，k为数值的数量，S i为归一化后的结果；第一判断模块，用于判断所述第一排序结果中是否存在多个排序最大的相同数值；第二排序模块，用于若所述第一排序结果中存在多个排序最大的相同数值，则对与所述相同数值对应的第二聚类结果与预置结果间的欧式距离进行排序，得到第二排序结果；输出模块，用于若所述第一排序结果中不存在多个排序最大的相同数值，则输出所述第一识别结果；第二判断模块，用于判断所述第一排序结果与所述第二排序结果是否一致；调节模块，用于若所述第一排序结果与所述第二排序结果一致，则将所述第一排序结果所对应的识别结果作为第二识别结果集并输出，若所述第一排序结果与所述第二排序结果不一致，则通过反向传播算法调整所述双向Transformer模型的权重系数。
本申请先对待识别数据进行结构化抽取，得到抽取数据集，再进行聚类，得到聚类结果，最后使用第二双向Transformer模型对聚类结果进行识别，得到第一识别结果，对第一识别结果进行归一化处理，得到第一排序结果，对所述第二识别结果进行排序，得到第二排序结果，根据所述第一排序结果与所述第二排序结果，输出最终识别结果。本方案提高了模型对待识别数据的识别效果。
附图说明
图1为本申请实施例方案涉及的模型预测能力优化设备运行环境的结构示意图；
图2为本申请模型预测能力优化方法第一实施例的流程示意图；
图3为本申请模型预测能力优化方法第二实施例的流程示意图；
图4为本申请模型预测能力优化方法第三实施例的流程示意图；
图5为本申请图3中步骤S160的细化流程示意图；
图6为本申请图3中步骤S180的细化流程示意图；
图7为本申请图2中步骤S40的细化流程示意图；
图8为本申请模型预测能力优化装置第一实施例的功能模块示意图；
图9为本申请模型预测能力优化装置第二实施例的功能模块示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请提供一种模型预测能力优化设备。
参照图1，图1为本申请实施例方案涉及的模型预测能力优化设备运行环境的结构示意图。
如图1所示，该模型预测能力优化设备包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的模型预测能力优化设备的硬件结构并不构成对模型预测能力优化设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及模型预测能力优化程序。其中，操作系统是管理和控制模型预测能力优化设备和软件资源的程序，支持模型预测能力优化程序以及其它软件和/或程序的运行。
在图1所示的模型预测能力优化设备的硬件结构中，网络接口1004主要用于接入网络；用户接口1003主要用于侦测确认指令和编辑指令等。而处理器1001可以用于调用存储器1005中存储的模型预测能力优化程序，并执行以下模型预测能力优化方法的各实施例的操作。
基于上述模型预测能力优化设备硬件结构，提出本申请模型预测能力优化方法的各个实施例。
参照图2，图2为本申请模型预测能力优化方法第一实施例的流程示意图。本实施例中，所述模型预测能力优化方法包括以下步骤:
步骤S10，使用双向Transformer模型对待识别数据集进行识别，得到第一识别结果集；
本实施例中，双向Transformer模型是可以根据上下文关系对待识别数据进行识别的模型。第一识别结果集包括多个识别结果，第一识别结果集包括以下一项或多项：借贷关系是否成立、借贷形式是否合理、合同是否生效、合同是否有效、合同是否正常履行、担保关系是否成立、借款是否为夫妻共同债务等七大争议焦点。
步骤S20，通过以下公式对所述第一识别结果进行归一化处理，得到数值集合，并对所述数值集合中的数值进行排序，得到第一排序结果：
Figure PCTCN2020118262-appb-000005
其中，e为自然常数，i为双向Transformer模型最后一层输出的数值，k为数值的数量，S i为归一化后的结果；
本实施例中，通过公式：
Figure PCTCN2020118262-appb-000006
可将双向Transformer模型最后一层的数值映射到(0，1)。比如，总共有7个争议焦点，分别为借贷关系是否成立、借贷形式是否合理、合同是否生效、合同是否有效、合同是否正常履行、担保关系是否成立、借款是否为夫妻共同债务，双向Transformer模型最后一层输出的数值为1.3,0.762,2.283,1.523,0.7412,0.921,1.224，通过代入上述公式可以将这七个数值进行归一化，每个数值归一化后的都可以映射到(0，1)中，假设输出的数值集合分别为0.1,0.1，0.1，0.1，0.1，0.1，0.4，要注意的是，此时并不能说明“借款是否为夫妻共同债务”为本案的争议焦点，其原因是，若数值集合中出现的两个最大值同为0.4，那么单纯地通过这种方式判定争议焦点，会存在局限性。
步骤S30，判断所述第一排序结果中是否存在多个排序最大的相同数值；
本实施例中，若数值集合中出现了两个以上的最大值，且数值相同，则说明存在多个争议焦点。因此需要判断是否存在多个排序最大的相同数值。
步骤S40，若所述第一排序结果中不存在多个排序最大的相同数值，则输出所述第一识别结果；
本实施例中，第一排序结果中不存在多个排序最大的相同数值，说明不存在两个或两个以上的争议焦点，因此，可输出唯一的识别结果。
步骤S50，若所述第一排序结果中存在多个排序最大的相同数值，则对与所述相同数值对应的第二聚类结果与预置结果间的欧式距离进行排序，得到第二排序结果；
本实施例中，步骤S20仅仅是对归一化后的数值进行了排序，其本质还是对双向Transformer模型所输出的识别结果进行了排序。若不对所述识别结果进行校验，则有可能会出现识别不准确的现象，为了避免这样现象，则在第一排序结果中存在多个排序最大的相同数值时，对与所述相同数值对应的第二聚类结果与预置结果间的欧式距离进行排序，得到第二排序结果。
步骤S60，判断所述第一排序结果与所述第二排序结果是否一致；
本实施例中，使用所述聚类结果训练第一双向Transformer模型，得到双向Transformer模型，此时的双向Transformer模型已经在一定程度上具备了识别案件争议焦点的能力，由于在训练，采用的是有限的测试数据来检验模型输出结果的正确率的，因此并不能保证双向Transformer模型在大数据场景下依然可以输出准确的识别结果，因此需要判断第一排序结果与所述第二排序结果是否一致。
步骤S70，若所述第一排序结果与所述第二排序结果一致，则将所述第一排序结果所对应的识别结果作为第二识别结果集并输出；
本实施例中，若通过上述两种方式排序后，排序结果是一致的，则将与第一排序结果相对应的识别结果作为第二识别结果。
步骤S80，若所述第一排序结果与所述第二排序结果不一致，则通过反向传播算法调整所述双向Transformer模型的权重系数。
本实施例中，需要综合考量第一排序结果与第二排序结果。若通过上述两个排序结果均判定“借款是否为夫妻共同债务”为本案件的争议焦点，则输出识别结果，若上述两个排序结果是矛盾的，且第一排序结果的正确率高于第二排序结果，则通过二双向 Transformer模型输出最终结果，若第一排序结果的正确率低于第二排序结果，则说明双向Transformer模型存在不能准确预测的可能，因此需要通过反向传播算法调整所述双向Transformer模型的权重系数，并对第一双向Transformer模型进行训练。
参照图3，图3为本申请模型预测能力优化方法第二实施例的流程示意图，本实施例中，在所述图2步骤S10之前，还包括以下步骤：
步骤S90，通过预置监控程序监控人工标注时所执行的人工标注操作；
本实施例中，通过人工的方式对不同的案件文件进行标注，标注的内容包括：原告、被告、原告和被告提供的证据、原告的诉请、被告的辩称、案件的争议焦点、法院的判定结果、依据的法理法规、法院判定的原因。
步骤S100，根据所述人工标注操作，确定标注规则；
本实施例中，根据所述人工标注操作，确定标注规则，例如，文档中出现“原告”这一词语时，则标注成原告。
步骤S110，基于所述标注规则使用第一训练数据训练初始序列标注模型，得到序列标注模型以及通过所述序列标注模型对第二训练数据进行标注，得到标注数据；
本实施例中，初始序列标注模型指的是条件随时场CRF模型，基于所述标注规则使用待标注数据训练初始序列标注模型。
步骤S120，判断所述标注数据是否满足所述标注规则；
本实施例中，在对初始序列标注模型训练预置次数后，例如800次，使用新的数据去检验初始序列标注模型输出结果的准确率，若准确率高于预设值，则说明符合标注规则。
步骤S130，若所述标注数据满足所述标注规则，则基于所述标注规则使用第一训练数据训练初始序列标注模型，得到序列标注模型，否则不处理；
本实施例中，若是符合标注规则，则说明此时模型具备了正确标注的能力，则得到该序列标注模型，若不符合标注规则，则调节所述序列标注模型的权重系数，直至满足所述标准规则。
步骤S140，采用序列标注模型对待识别数据进行标注，得到标注数据；
本实施例中，采用序列标注模型对待识别数据进行标注的目的是，方便对不同类型的数据进行抽取，在案件存在争议焦点的场景下，标注的内容包括：原告、被告、原告和被告提供的证据、原告的诉请、被告的辩称、案件的争议焦点、法院的判定结果、依据的法理法规、法院判定的原因等部分。
步骤S150，使用所述标注数据集训练第一条件随机场模型集，得到第二条件随机场模型集；
本实施例中，训练的过程为：预先根据已知训练样本，即通过标注过的数据去训练所述第一条件随机场模型集，在训练预置轮数后，开始使用第一条件随机场模型集对未标注的数据，即待识别数据，进行提取，并通过预先准备好的校验数据去校验所述提取结果的准确率，若准确率满足预设阈值，则说明得到了完成训练的是第一条件随机场模型集，即第二条件随机场模型集，若准确率不满足预设阈值，则采用反向传播算法调节第一条件随机场模型集中的各个条件随机场模型所占的权重，直至满足预设阈值。
步骤S160，通过所述第二条件随机场模型集对待识别数据进行结构化抽取，得到抽取数据集，其中,所述抽取数据集中包括多个数据类；
本实施例中，通过所述第二条件随机场模型集对待识别数据进行结构化抽取，得到抽取数据集，通过该方式可以仅保留与待识别数据最相关的数据。通过结构化抽取，将从待识别数据中抽取出多个大类。即抽取数据集中包含多个大类，例如，原告类、被告类、原告和被告提供的证据类、原告的诉请类、被告的辩称类、案件的争议焦点类、法院的判定 结果类、依据的法理法规类、法院判定的原因类。
步骤S170，采用基于密度的聚类方法对所述抽取数据集中各数据类中的数据进行聚类，得到第一聚类结果；
本实施例中，采用基于密度的聚类方法对所述抽取数据集中各数据类中的数据进行聚类，得到第一聚类结果，对各个数据类中的数据进行聚类的目的是，方便后续的模型对数据进行细粒度的识别，例如，采用具体某一类的的聚类结果训练模型。
步骤S180，使用所述聚类结果训练初始双向Transformer模型，得到双向Transformer模型。
本实施例中，训练的过程为：预先准备好校验数据，在使用所述第一聚类结果训练第一双向Transformer模型达到预定轮数后，开始用第一双向Transformer模型对第二聚类结果进行识别，得到识别结果，并根据校验数据检验识别结果的准确率是否满足预置正确率，若是，则得到双向Transformer模型，若否，则继续使用所述第一聚类结果训练第一双向Transformer模型，即采用反向传播算法调节第一双向Transformer模型的权重，直至满足预置正确率。
参照图4，图4为本申请模型预测能力优化方法第三实施例的流程示意图，本实施例中，在所述图3步骤S150之前，还包括以下步骤：
步骤S190，根据以下公式计算第一条件随机场模型的数量；
Figure PCTCN2020118262-appb-000007
其中，n为标注的类型的数量，m为条件随机场模型的数量；
步骤S200，将所述数量的第一条件随机场模型以并行的方式组合在一起，得到第一条件随机场模型集。
本实施例中，标注的是原告、被告、原告证据，则标注类型的数量为3，根据上述公式则可知，需要由两个条件随机场模型所组成的第一条件随机场模型集，采用第一条件随机场模型集中的甲模型对原告、被告进行分类，通过乙模型对被告、原告证据进行分类，其中分类得到的被告数据要达成一致，然后输出其他的分类。
参照图5，图5为本申请图3中步骤S160的细化流程示意图，本实施例中，步骤S160包括以下步骤：
步骤S1601，采用正则化方法过滤第二初始待识别数据中的停用词和数字，以及对过滤后的第二初始待识别数据进行切分，得到分词，根据所述分词的特征，得到所述第二待识别数据的特征集；
本实施例中，为了防止停用词和数字对识别结果造成干扰，因此先采用正则化方法过滤第二初始待识别数据中的停用词和数字，得到第二待识别数据。
对所述第二待识别数据进行切分，得到分词，根据所述分词的特征，得到所述第二待识别数据的特征集；词向量计算的工具word2vec将待识别数据转化为词向量的形式，并根据词向量统计出分词的特征集。
步骤S1602，通过第二条件随机场模型对所述特征集进行结构化抽取，得到抽取数据集。
本实施例中，可通过主成分分析算法从特征集抽取出一部分特征集，得到抽取数据集。
参照图6，图6为本申请图3中步骤S180的细化流程示意图，本实施例中，步骤S180包括以下步骤：
步骤S1801，采用随机算法按照预置覆盖比例随机覆盖第一聚类结果中的字，得到第 一训练数据；
本实施例中，采用随机算法按照预置覆盖比例随机覆盖第一聚类结果中的字，得到第一训练数据，预置覆盖比例可以是10％。
步骤S1802，使用所述第一训练数据训练第一初始双向Transformer模型，得到第二初始双向Transformer模型；
本实施例中，使用所述第一训练数据训练第一初始双向Transformer模型，得到第二初始双向Transformer模型。
步骤S1803，通过所述第初始二双向Transformer模型对第二训练数据中随机覆盖的字进行预测，得到预测字；
本实施例中，随机地覆盖10％的字，对所述覆盖的字进行预测，如果预测正确，则记录预测字为正确的次数，如果预测错误，则记录预测字为错误的次数，然后继续随机地覆盖10％的字，并对其进行预测。
步骤S1804，根据预置人工结果计算所述预测字为正确字的准确率；
本实施例中，预置人工结果是在训练前预先准备好的，双向Transformer模型具有根据上下文对数据进行预测的特点，在预置人工结果的时候，需要考虑到不同的字与左右的字之间的关系，由于是随机地覆盖字，所以并不知道会随机选择哪个字，但是无论选择哪个字，它都在预置结果之中，因为只有这样才能验证模型预测的结果是否正确。
步骤S1805，判断所述准确率是否满足预设条件；
本实施例中，为了得到可以实现预测字的要求，因此需要预先设置准确率，例如80％。
步骤S1806，若所述准确率满足预设条件，则标记所述预测字；
步骤S1807，若所述准确率不满足预设条件，则采用预置词库中的随机字替换所述预测字，并返回步骤S1801，直至所述准确率满足预设条件；
本实施例中，训练过程：对于训练预料，训练预料可以是任意的中文文章，随机覆盖其中10％的字，让模型根据上下文完全预测覆盖的字。由于训练好的模型可能运用于其他专业领域，如果全部用标记符号[MASK]来覆盖字，则会使得模型预测效果下降，所以采用随机覆盖其中10％的字方法。
步骤S1808，判断所述准确率是否随训练第一双向Transformer模型的迭代而增加；
步骤S1809，若所述准确率随训练第一双向Transformer模型的迭代而增加，则返回步骤S1801，直至所述准确率随训练模型的迭代而增加的速率低于预置速率；
步骤S1810，若所述准确率不随训练第一双向Transformer模型的迭代而增加，则得到双向Transformer模型。
本实施例中，每进行一轮模型的训练后会使用训练好的模型对测试数据进行测试，当模型对测试数据的预测准确率或者F1 score，不会随着训练模型的迭代而显著增加的时候，可以认为模型就训练好了，F1 score即F1分数指的是分类器分类准确度的指标。
参照图7，图7为本申请图2中步骤S40的细化流程示意图，本实施例中，步骤S40包括以下步骤：
步骤S401，若所述第一排序结果中存在多个排序最大的相同数值，则通过词移距离算法计算第二聚类结果与预置结果间的欧氏距离；
本实施例中，预置结果指的是，预先设置的与文本数据存在映射关系的争议焦点数据，例如，若文本中“合同是否生效”相关的文字出现的次数越多，则说明该案件的争议焦点为“合同是否生效”的概率越大，可以通过哈希算法建立这种关系。由于预置结果是已知且准确的，因此可以计算出第二聚类结果与预置结果间的欧氏距离。
步骤S402，通过加权求和的方式计算所述欧氏距离所占的权重，根据所述权重得到第 二排序结果。
本实施例中，对欧氏距离进行排序时可采用的方式为通过加权求和的方式计算所述欧氏距离所占的权重，根据所述权重得到第二排序结果。例如，从低到高的排序分别为：借贷关系是否成立、借贷形式是否合理、合同是否生效、合同是否有效、合同是否正常履行、担保关系是否成立、借款是否为夫妻共同债务；通过加权求和的方式计算所述欧氏距离，得到具有加权权重的距离。此外，通过词频或TF-IDF计算所述加权权重并表示状态转移矩阵；最后还可在计算过程中采用词矩心距离算法WCD来加速计算文档间的词移距离。
参照图8，图8为本申请模型预测能力优化装置第一实施例的功能模块示意图。本实施例中，所述模型预测能力优化装置包括：
识别模块10，用于使用双向Transformer模型对待识别数据集进行识别，得到第一识别结果集；
第一排序模块20，用于通过以下公式对所述第一识别结果集进行归一化处理，得到数值集合，并对所述数值集合中的数值进行排序，得到第一排序结果：
Figure PCTCN2020118262-appb-000008
其中，e为自然常数，i为双向Transformer模型最后一层输出的数值，k为数值的数量，S i为归一化后的结果；
第一判断模块30，用于判断所述第一排序结果中是否存在多个排序最大的相同数值；
第二排序模块40，用于若所述第一排序结果中存在多个排序最大的相同数值，则对与所述相同数值对应的第二聚类结果与预置结果间的欧式距离进行排序，得到第二排序结果；
输出模块50，用于若所述第一排序结果中不存在多个排序最大的相同数值，则输出所述第一识别结果；
第二判断模块60，用于判断所述第一排序结果与所述第二排序结果是否一致；
调节模块70，用于若所述第一排序结果与所述第二排序结果一致，则将所述第一排序结果所对应的识别结果作为第二识别结果集并输出，若所述第一排序结果与所述第二排序结果不一致，则通过反向传播算法调整所述双向Transformer模型的权重系数。
参照图9，图9为本申请模型预测能力优化装置第二实施例的功能模块示意图。本实施例中，所述第二排序模块40包括以下单元：
计算单元401，用于若所述第一排序结果中存在多个排序最大的相同数值，则通过词移距离算法计算第二聚类结果与预置结果间的欧氏距离；
排序单元402，用于通过加权求和的方式计算所述欧氏距离所占的权重，根据所述权重得到第二排序结果。
本申请还提供一种模型预测能力优化设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述模型预测能力优化设备执行上述模型预测能力优化方法中的步骤。
本申请还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，也可以为易失性计算机可读存储介质。计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如下步骤：
使用双向Transformer模型对待识别数据集进行识别，得到第一识别结果集；
通过以下公式对所述第一识别结果集进行归一化处理，得到数值集合，并对所述数值集合中的数值进行排序，得到第一排序结果：
Figure PCTCN2020118262-appb-000009
其中，e为自然常数，i为双向Transformer模型最后一层输出的数值，k为数值的数量，S i为归一化后的结果；
判断所述第一排序结果中是否存在多个排序最大的相同数值；
若所述第一排序结果中存在多个排序最大的相同数值，则对与所述相同数值对应的第二聚类结果与预置结果间的欧式距离进行排序，得到第二排序结果；
若所述第一排序结果中不存在多个排序最大的相同数值，则输出所述第一识别结果；
判断所述第一排序结果与所述第二排序结果是否一致；
若所述第一排序结果与所述第二排序结果一致，则将所述第一排序结果所对应的识别结果作为第二识别结果集并输出；
若所述第一排序结果与所述第二排序结果不一致，则通过反向传播算法调整所述双向Transformer模型的权重系数。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本申请的保护之内。

Claims (20)

  1. 一种模型预测能力优化方法，其中，包括：
    使用双向Transformer模型对待识别数据集进行识别，得到第一识别结果集；
    通过以下公式对所述第一识别结果集进行归一化处理，得到数值集合，并对所述数值集合中的数值进行排序，得到第一排序结果：
    Figure PCTCN2020118262-appb-100001
    其中，e为自然常数，i为双向Transformer模型最后一层输出的数值，k为数值的数量，S i为归一化后的结果；
    判断所述第一排序结果中是否存在多个排序最大的相同数值；
    若所述第一排序结果中存在多个排序最大的相同数值，则对与所述相同数值对应的第二聚类结果与预置结果间的欧式距离进行排序，得到第二排序结果；
    若所述第一排序结果中不存在多个排序最大的相同数值，则输出所述第一识别结果；
    判断所述第一排序结果与所述第二排序结果是否一致；
    若所述第一排序结果与所述第二排序结果一致，则将所述第一排序结果所对应的识别结果作为第二识别结果集并输出；
    若所述第一排序结果与所述第二排序结果不一致，则通过反向传播算法调整所述双向Transformer模型的权重系数。
  2. 如权利要求1所述的模型预测能力优化方法，其中，在所述采用序列标注模型对待识别数据进行标注，得到标注数据的步骤之前，还包括以下步骤：
    通过预置监控程序监控人工标注时所执行的人工标注操作；
    根据所述人工标注操作，确定标注规则；
    基于所述标注规则使用第一训练数据训练初始序列标注模型，得到序列标注模型以及通过所述序列标注模型对第二训练数据进行标注，得到标注数据；
    判断所述标注数据是否满足所述标注规则；
    若是，则基于所述标注规则使用第一训练数据训练初始序列标注模型，得到序列标注模型；
    采用所述序列标注模型对第一初始待识别数据集进行标注，得到标注数据集；
    使用所述标注数据集训练第一条件随机场模型集，得到第二条件随机场模型集；
    通过所述第二条件随机场模型集对第二初始待识别数据集进行结构化抽取，得到抽取数据集，其中,所述抽取数据集中包括多个数据类；
    采用基于密度的聚类方法对所述抽取数据集中各数据类中的数据进行聚类，得到聚类结果；
    使用所述聚类结果训练初始双向Transformer模型，得到双向Transformer模型。
  3. 如权利要求2所述的模型预测能力优化方法，其中，在所述使用所述标注数据集训练第一条件随机场模型集，得到第二条件随机场模型集的步骤之前，还包括以下步骤：
    根据以下公式计算第一条件随机场模型的数量：
    Figure PCTCN2020118262-appb-100002
    其中，n为标注的类型的数量，m为条件随机场模型的数量；
    将所述数量的第一条件随机场模型以并行的方式组合，得到第一条件随机场模型集。
  4. 如权利要求2所述的模型预测能力优化方法，其中，所述通过所述第二条件随机场模型集对第二初始待识别数据集进行结构化抽取，得到抽取数据集包括以下步骤：
    采用正则化方法过滤第二初始待识别数据中的停用词和数字，以及对过滤后的第二初始待识别数据进行切分，得到分词，根据所述分词的特征，得到所述第二待识别数据的特征集；
    通过第二条件随机场模型对所述特征集进行结构化抽取，得到抽取数据集。
  5. 如权利要求2所述的模型预测能力优化方法，其中，所述使用所述聚类结果训练初始双向Transformer模型，得到双向Transformer模型包括以下步骤：
    采用随机算法按照预置覆盖比例随机覆盖第一聚类结果中的字，得到第一训练数据；
    使用所述第一训练数据训练第一初始双向Transformer模型，得到第二初始双向Transformer模型；
    通过所述第初始二双向Transformer模型对第二训练数据中随机覆盖的字进行预测，得到预测字；
    根据预置人工结果计算所述预测字为正确字的准确率；
    判断所述准确率是否满足预设条件；
    若所述准确率满足预设条件，则标记所述预测字，若所述准确率不满足预设条件，则采用预置词库中的随机字替换所述预测字，并采用随机算法按照预置覆盖比例随机覆盖第一聚类结果中的字，得到第一训练数据，直至所述准确率满足预设条件；
    判断所述准确率是否随训练第一双向Transformer模型的迭代而增加；
    若是，则采用随机算法按照预置覆盖比例随机覆盖第一聚类结果中字，得到第一训练数据，直至所述准确率随训练模型的迭代而增加的速率低于预置速率；
    若否，则得到双向Transformer模型。
  6. 如权利要求1所述的模型预测能力优化方法，其中，所述若所述第一排序结果中存在多个排序最大的相同数值，则对与所述相同数值对应的第二聚类结果与预置结果间的欧式距离进行排序，得到第二排序结果包括以下步骤：
    若所述第一排序结果中存在多个排序最大的相同数值，则通过词移距离算法计算第二聚类结果与预置结果间的欧氏距离；
    通过加权求和的方式计算所述欧氏距离所占的权重，根据所述权重得到第二排序结果。
  7. 一种模型预测能力优化设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：
    使用双向Transformer模型对待识别数据集进行识别，得到第一识别结果集；
    通过以下公式对所述第一识别结果集进行归一化处理，得到数值集合，并对所述数值集合中的数值进行排序，得到第一排序结果：
    Figure PCTCN2020118262-appb-100003
    其中，e为自然常数，i为双向Transformer模型最后一层输出的数值，k为数值的数量，S i为归一化后的结果；
    判断所述第一排序结果中是否存在多个排序最大的相同数值；
    若所述第一排序结果中存在多个排序最大的相同数值，则对与所述相同数值对应的第二聚类结果与预置结果间的欧式距离进行排序，得到第二排序结果；
    若所述第一排序结果中不存在多个排序最大的相同数值，则输出所述第一识别结果；
    判断所述第一排序结果与所述第二排序结果是否一致；
    若所述第一排序结果与所述第二排序结果一致，则将所述第一排序结果所对应的识别结果作为第二识别结果集并输出；
    若所述第一排序结果与所述第二排序结果不一致，则通过反向传播算法调整所述双向Transformer模型的权重系数。
  8. 如权利要求8所述的模型预测能力优化设备，所述处理器执行所述计算机程序时还实现以下步骤：
    通过预置监控程序监控人工标注时所执行的人工标注操作；
    根据所述人工标注操作，确定标注规则；
    基于所述标注规则使用第一训练数据训练初始序列标注模型，得到序列标注模型以及通过所述序列标注模型对第二训练数据进行标注，得到标注数据；
    判断所述标注数据是否满足所述标注规则；
    若是，则基于所述标注规则使用第一训练数据训练初始序列标注模型，得到序列标注模型；
    采用所述序列标注模型对第一初始待识别数据集进行标注，得到标注数据集；
    使用所述标注数据集训练第一条件随机场模型集，得到第二条件随机场模型集；
    通过所述第二条件随机场模型集对第二初始待识别数据集进行结构化抽取，得到抽取数据集，其中,所述抽取数据集中包括多个数据类；
    采用基于密度的聚类方法对所述抽取数据集中各数据类中的数据进行聚类，得到聚类结果；
    使用所述聚类结果训练初始双向Transformer模型，得到双向Transformer模型。
  9. 如权利要求9所述的模型预测能力优化设备，所述处理器执行所述计算机程序时还实现以下步骤：
    根据以下公式计算第一条件随机场模型的数量：
    Figure PCTCN2020118262-appb-100004
    其中，n为标注的类型的数量，m为条件随机场模型的数量；
    将所述数量的第一条件随机场模型以并行的方式组合，得到第一条件随机场模型集。
  10. 如权利要求9所述的模型预测能力优化设备，所述处理器执行所述计算机程序时还实现以下步骤：
    采用正则化方法过滤第二初始待识别数据中的停用词和数字，以及对过滤后的第二初始待识别数据进行切分，得到分词，根据所述分词的特征，得到所述第二待识别数据的特征集；
    通过第二条件随机场模型对所述特征集进行结构化抽取，得到抽取数据集。
  11. 如权利要求9所述的模型预测能力优化设备，所述处理器执行所述计算机程序时还实现以下步骤：
    采用随机算法按照预置覆盖比例随机覆盖第一聚类结果中的字，得到第一训练数据；
    使用所述第一训练数据训练第一初始双向Transformer模型，得到第二初始双向Transformer模型；
    通过所述第初始二双向Transformer模型对第二训练数据中随机覆盖的字进行预测，得到预测字；
    根据预置人工结果计算所述预测字为正确字的准确率；
    判断所述准确率是否满足预设条件；
    若所述准确率满足预设条件，则标记所述预测字，若所述准确率不满足预设条件，则采用预置词库中的随机字替换所述预测字，并采用随机算法按照预置覆盖比例随机覆盖第一聚类结果中的字，得到第一训练数据，直至所述准确率满足预设条件；
    判断所述准确率是否随训练第一双向Transformer模型的迭代而增加；
    若是，则采用随机算法按照预置覆盖比例随机覆盖第一聚类结果中字，得到第一训练数据，直至所述准确率随训练模型的迭代而增加的速率低于预置速率；
    若否，则得到双向Transformer模型。
  12. 如权利要求8所述的模型预测能力优化设备，所述处理器执行所述计算机程序时还实现以下步骤：
    若所述第一排序结果中存在多个排序最大的相同数值，则通过词移距离算法计算第二聚类结果与预置结果间的欧氏距离；
    通过加权求和的方式计算所述欧氏距离所占的权重，根据所述权重得到第二排序结果。
  13. 一种计算机可读存储介质，所述计算机可读存储介质中存储计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如下步骤：
    使用双向Transformer模型对待识别数据集进行识别，得到第一识别结果集；
    通过以下公式对所述第一识别结果集进行归一化处理，得到数值集合，并对所述数值集合中的数值进行排序，得到第一排序结果：
    Figure PCTCN2020118262-appb-100005
    其中，e为自然常数，i为双向Transformer模型最后一层输出的数值，k为数值的数量，S i为归一化后的结果；
    判断所述第一排序结果中是否存在多个排序最大的相同数值；
    若所述第一排序结果中存在多个排序最大的相同数值，则对与所述相同数值对应的第二聚类结果与预置结果间的欧式距离进行排序，得到第二排序结果；
    若所述第一排序结果中不存在多个排序最大的相同数值，则输出所述第一识别结果；
    判断所述第一排序结果与所述第二排序结果是否一致；
    若所述第一排序结果与所述第二排序结果一致，则将所述第一排序结果所对应的识别结果作为第二识别结果集并输出；
    若所述第一排序结果与所述第二排序结果不一致，则通过反向传播算法调整所述双向Transformer模型的权重系数。
  14. 如权利要求13所述的计算机可读存储介质，当所述计算机指令在计算机上运行时，使得计算机还执行以下步骤：
    通过预置监控程序监控人工标注时所执行的人工标注操作；
    根据所述人工标注操作，确定标注规则；
    基于所述标注规则使用第一训练数据训练初始序列标注模型，得到序列标注模型以及通过所述序列标注模型对第二训练数据进行标注，得到标注数据；
    判断所述标注数据是否满足所述标注规则；
    若是，则基于所述标注规则使用第一训练数据训练初始序列标注模型，得到序列标注模型；
    采用所述序列标注模型对第一初始待识别数据集进行标注，得到标注数据集；
    使用所述标注数据集训练第一条件随机场模型集，得到第二条件随机场模型集；
    通过所述第二条件随机场模型集对第二初始待识别数据集进行结构化抽取，得到抽取 数据集，其中,所述抽取数据集中包括多个数据类；
    采用基于密度的聚类方法对所述抽取数据集中各数据类中的数据进行聚类，得到聚类结果；
    使用所述聚类结果训练初始双向Transformer模型，得到双向Transformer模型。
  15. 如权利要求14所述的计算机可读存储介质，当所述计算机指令在计算机上运行时，使得计算机还执行以下步骤：
    根据以下公式计算第一条件随机场模型的数量：
    Figure PCTCN2020118262-appb-100006
    其中，n为标注的类型的数量，m为条件随机场模型的数量；
    将所述数量的第一条件随机场模型以并行的方式组合，得到第一条件随机场模型集。
  16. 如权利要求14所述的计算机可读存储介质，当所述计算机指令在计算机上运行时，使得计算机还执行以下步骤：
    采用正则化方法过滤第二初始待识别数据中的停用词和数字，以及对过滤后的第二初始待识别数据进行切分，得到分词，根据所述分词的特征，得到所述第二待识别数据的特征集；
    通过第二条件随机场模型对所述特征集进行结构化抽取，得到抽取数据集。
  17. 如权利要求14所述的计算机可读存储介质，当所述计算机指令在计算机上运行时，使得计算机还执行以下步骤：
    采用随机算法按照预置覆盖比例随机覆盖第一聚类结果中的字，得到第一训练数据；
    使用所述第一训练数据训练第一初始双向Transformer模型，得到第二初始双向Transformer模型；
    通过所述第初始二双向Transformer模型对第二训练数据中随机覆盖的字进行预测，得到预测字；
    根据预置人工结果计算所述预测字为正确字的准确率；
    判断所述准确率是否满足预设条件；
    若所述准确率满足预设条件，则标记所述预测字，若所述准确率不满足预设条件，则采用预置词库中的随机字替换所述预测字，并采用随机算法按照预置覆盖比例随机覆盖第一聚类结果中的字，得到第一训练数据，直至所述准确率满足预设条件；
    判断所述准确率是否随训练第一双向Transformer模型的迭代而增加；
    若是，则采用随机算法按照预置覆盖比例随机覆盖第一聚类结果中字，得到第一训练数据，直至所述准确率随训练模型的迭代而增加的速率低于预置速率；
    若否，则得到双向Transformer模型。
  18. 如权利要求13所述的计算机可读存储介质，当所述计算机指令在计算机上运行时，使得计算机还执行以下步骤：
    若所述第一排序结果中存在多个排序最大的相同数值，则通过词移距离算法计算第二聚类结果与预置结果间的欧氏距离；
    通过加权求和的方式计算所述欧氏距离所占的权重，根据所述权重得到第二排序结果。
  19. 一种模型预测能力优化装置，其中，所述模型预测能力优化包括：
    若所述第一排序结果中存在多个排序最大的相同数值，则通过词移距离算法计算第二 聚类结果与预置结果间的欧氏距离；
    通过加权求和的方式计算所述欧氏距离所占的权重，根据所述权重得到第二排序结果识别模块，用于使用双向Transformer模型对待识别数据集进行识别，得到第一识别结果集；
    第一排序模块，用于通过以下公式对所述第一识别结果集进行归一化处理，得到数值集合，并对所述数值集合中的数值进行排序，得到第一排序结果：
    Figure PCTCN2020118262-appb-100007
    其中，e为自然常数，i为双向Transformer模型最后一层输出的数值，k为数值的数量，S i为归一化后的结果；
    第一判断模块，用于判断所述第一排序结果中是否存在多个排序最大的相同数值；
    第二排序模块，用于若所述第一排序结果中存在多个排序最大的相同数值，则对与所述相同数值对应的第二聚类结果与预置结果间的欧式距离进行排序，得到第二排序结果；
    输出模块，用于若所述第一排序结果中不存在多个排序最大的相同数值，则输出所述第一识别结果；
    第二判断模块，用于判断所述第一排序结果与所述第二排序结果是否一致；
    调节模块，用于若所述第一排序结果与所述第二排序结果一致，则将所述第一排序结果所对应的识别结果作为第二识别结果集并输出，若所述第一排序结果与所述第二排序结果不一致，则通过反向传播算法调整所述双向Transformer模型的权重系数。
  20. 如权利要求19所述的模型预测能力优化装置，其中，所述第二排序模块包括以下单元：
    计算单元，用于若所述第一排序结果中存在多个排序最大的相同数值，则通过词移距离算法计算第二聚类结果与预置结果间的欧氏距离；
    排序单元，用于通过加权求和的方式计算所述欧氏距离所占的权重，根据所述权重得到第二排序结果。
PCT/CN2020/118262 2019-10-18 2020-09-28 模型预测能力优化方法、装置、设备及可读存储介质 WO2021073408A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910992283.5A CN111026851B (zh) 2019-10-18 2019-10-18 模型预测能力优化方法、装置、设备及可读存储介质
CN201910992283.5 2019-10-18

Publications (1)

Publication Number Publication Date
WO2021073408A1 true WO2021073408A1 (zh) 2021-04-22

Family

ID=70201252

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/118262 WO2021073408A1 (zh) 2019-10-18 2020-09-28 模型预测能力优化方法、装置、设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN111026851B (zh)
WO (1) WO2021073408A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111026851B (zh) * 2019-10-18 2023-09-15 平安科技（深圳）有限公司 模型预测能力优化方法、装置、设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664473A (zh) * 2018-05-11 2018-10-16 平安科技（深圳）有限公司 文本关键信息的识别方法、电子装置及可读存储介质
US20190130249A1 (en) * 2017-10-27 2019-05-02 Salesforce.Com, Inc. Sequence-to-sequence prediction using a neural network model
CN110110080A (zh) * 2019-03-29 2019-08-09 平安科技（深圳）有限公司 文本分类模型训练方法、装置、计算机设备及存储介质
CN110287479A (zh) * 2019-05-20 2019-09-27 平安科技（深圳）有限公司 命名实体识别方法、电子装置及存储介质
CN111026851A (zh) * 2019-10-18 2020-04-17 平安科技（深圳）有限公司 模型预测能力优化方法、装置、设备及可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108536679B (zh) * 2018-04-13 2022-05-20 腾讯科技(成都)有限公司 命名实体识别方法、装置、设备及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190130249A1 (en) * 2017-10-27 2019-05-02 Salesforce.Com, Inc. Sequence-to-sequence prediction using a neural network model
CN108664473A (zh) * 2018-05-11 2018-10-16 平安科技（深圳）有限公司 文本关键信息的识别方法、电子装置及可读存储介质
CN110110080A (zh) * 2019-03-29 2019-08-09 平安科技（深圳）有限公司 文本分类模型训练方法、装置、计算机设备及存储介质
CN110287479A (zh) * 2019-05-20 2019-09-27 平安科技（深圳）有限公司 命名实体识别方法、电子装置及存储介质
CN111026851A (zh) * 2019-10-18 2020-04-17 平安科技（深圳）有限公司 模型预测能力优化方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN111026851B (zh) 2023-09-15
CN111026851A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
WO2017143921A1 (zh) 一种多重抽样模型训练方法及装置
WO2021143018A1 (zh) 意图识别方法、装置、设备及计算机可读存储介质
WO2020087774A1 (zh) 基于概念树的意图识别方法、装置及计算机设备
CN108376151A (zh) 问题分类方法、装置、计算机设备和存储介质
CN109635108B (zh) 一种基于人机交互的远程监督实体关系抽取方法
CN109561322A (zh) 一种视频审核的方法、装置、设备和存储介质
CN109993040A (zh) 文本识别方法及装置
CN110825880A (zh) 案件胜率确定方法、装置、设备及计算机可读存储介质
CN108416032A (zh) 一种文本分类方法、装置及存储介质
KR102038237B1 (ko) 신용점수 모델 훈련 방법，신용 점수 계산 방법，장치 및 서버
WO2022199185A1 (zh) 用户操作检测方法及程序产品
WO2022083401A1 (zh) 资源审核模型的训练方法、装置、服务器和存储介质
WO2020107864A1 (zh) 信息处理方法、装置、服务设备及计算机可读存储介质
WO2020024444A1 (zh) 人群绩效等级识别方法、装置、存储介质及计算机设备
WO2021073408A1 (zh) 模型预测能力优化方法、装置、设备及可读存储介质
CN108509561B (zh) 基于机器学习的岗位招聘数据筛选方法、系统及存储介质
CN112800232A (zh) 基于大数据的案件自动分类、优化方法及训练集修正方法
CN109255389B (zh) 一种装备评价方法、装置、设备及可读存储介质
CN110765266A (zh) 一种裁判文书相似争议焦点合并方法及系统
CN111343127A (zh) 一种提升爬虫识别召回率的方法、装置、介质及设备
WO2024055603A1 (zh) 一种未成年人文本识别方法及装置
CN111444362A (zh) 恶意图片拦截方法、装置、设备和存储介质
CN113177164B (zh) 基于大数据的多平台协同新媒体内容监控管理系统
WO2023108928A1 (zh) 基于事件树的飞行超限事件综合后果严重性的计算方法
CN111860299B (zh) 目标对象的等级确定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20876621

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20876621

Country of ref document: EP

Kind code of ref document: A1