WO2021043085A1 - 命名实体识别方法、装置、计算机设备及存储介质 - Google Patents

命名实体识别方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
WO2021043085A1
WO2021043085A1 PCT/CN2020/112303 CN2020112303W WO2021043085A1 WO 2021043085 A1 WO2021043085 A1 WO 2021043085A1 CN 2020112303 W CN2020112303 W CN 2020112303W WO 2021043085 A1 WO2021043085 A1 WO 2021043085A1
Authority
WO
WIPO (PCT)
Prior art keywords
named entity
text
recognized
sample data
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2020/112303
Other languages
English (en)
French (fr)
Inventor
张师琲
霍晓燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2021043085A1 publication Critical patent/WO2021043085A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • This application belongs to the field of artificial intelligence technology, and in particular relates to a named entity recognition method, device, computer equipment and storage medium.
  • CRF Conditional Random Field, Conditional Random Field
  • RNN Recurrent Neural Network, cyclic neural network
  • LSTM long-short term memory, long-short term memory
  • the present application provides a named entity recognition method with high recognition accuracy to solve the problem of poor accuracy of the prior art named entity recognition.
  • this application provides a named entity identification method, which includes the following steps:
  • the initial sample data set contains a plurality of training texts and a named entity labeling result corresponding to each training text;
  • the target named entity annotation result is added to the initial sample data set, so that when the training text in the initial sample data set reaches a preset number, the named entity recognition model is retrained according to the initial sample data set where the training text reaches the preset number .
  • this application also provides a named entity recognition device, including:
  • the initial sample data set acquisition module is used to acquire an initial sample data set from a sample database, and the initial sample data set contains multiple training texts and a named entity annotation result corresponding to each training text;
  • the judging module is used to judge whether the number of training texts in the initial sample data set reaches a preset threshold:
  • the first model training module is configured to train a preset named entity recognition model according to the initial sample data set when the result of the judgment module is yes;
  • the first text receiving module is configured to receive the first text to be recognized and preprocess the first text to be recognized;
  • the first model processing module is configured to use the trained named entity recognition model to process the preprocessed first to-be-recognized text to obtain a named entity automatic labeling result of the first to-be-recognized text;
  • the first comparison module is used to compare whether the automatic labeling result of the named entity is the same as the pre-obtained manual labeling result of the named entity, and if they are the same, the automatic labeling result of the named entity is used as the first text to be recognized If the target named entity marking results are not the same, output the first manual review notification, and receive the first target named entity marking results in response to the first manual review notification;
  • the second comparison module is configured to compare whether the automatic labeling result of the named entity is the same as the received labeling result of the first target named entity;
  • the first sample adding module is configured to correspond to the first to-be-recognized text and the first to-be-recognized text when the automatically annotated named entity result is not the same as the received annotated result of the first target named entity
  • the first target named entity annotation result is added to the initial sample data set, so that when the training text in the initial sample data set reaches a preset number, the named entity recognition model is performed on the initial sample data set where the training text reaches the preset number.
  • this application also provides a computer device, including a memory, a processor, and a computer program stored in the memory and running on the processor, and the processor implements the named entity recognition method when the computer program is executed. The following steps:
  • the initial sample data set contains a plurality of training texts and a named entity labeling result corresponding to each training text;
  • the target named entity annotation result is added to the initial sample data set, so that when the training text in the initial sample data set reaches a preset number, the named entity recognition model is retrained according to the initial sample data set where the training text reaches the preset number .
  • the present application also provides a computer-readable storage medium on which a computer program is stored, and when the computer program is executed by a processor, the following steps of the name entity identification method are realized:
  • the initial sample data set contains a plurality of training texts and a named entity labeling result corresponding to each training text;
  • the target named entity annotation result is added to the initial sample data set, so that when the training text in the initial sample data set reaches a preset number, the named entity recognition model is retrained according to the initial sample data set where the training text reaches the preset number .
  • this application performs named entity recognition on the first to-be-recognized text, it compares whether the named entity automatic annotation result is the same as the pre-obtained manual annotation result of the named entity. If they are not the same, the first manual review notification is output and the response is received.
  • the first target named entity annotation result of the first target named entity is added to the initial sample data set, so that when the training text in the initial sample data set reaches a preset number, the named entity recognition model is identified according to the initial sample data set with the training text reaching the preset number Re-training improves the accuracy of the model, thereby improving the accuracy of named entity recognition.
  • FIG. 1 is a flowchart of an embodiment of a named entity identification method according to this application.
  • Figure 2 is a schematic diagram of the named entity recognition model in this application.
  • FIG. 3 is a structural block diagram of an embodiment of a named entity recognition device according to this application.
  • FIG. 4 is a hardware architecture diagram of an embodiment of the computer device of this application.
  • This embodiment provides a named entity recognition method, which is mainly suitable for natural language processing. As shown in FIG. 1, the method includes the following steps:
  • the training text is a text in .doc or .docx format.
  • the training text can include time, person name, location, organization name, company name, country name, economic vocabulary, transaction type, economic quality indicator, product Names and other different types of named entities.
  • the named entities of different categories in each training text have been preset to different font styles, such as different font colors.
  • step S1 specifically includes the following process: First, obtain an initial sample data set from the sample database, the initial sample data set contains multiple training texts, and the named entities of different categories in each training text have been preset to different fonts Style; then, according to the font style (such as font color attribute) of each word in each training text, obtain the labeled result of the named entity corresponding to each training text.
  • font style such as font color attribute
  • the training text is set to red
  • the time font is set to yellow
  • the place font is set to blue
  • the organization name is set to green
  • the non-named entity is set to black
  • the training text is set to red
  • Words in the font are marked as the name-named entity identification label PERS
  • words in yellow font are marked as the time-named entity identification label TIME
  • words in blue font are marked as the place-named entity identification label LOC
  • words in green font are marked as the organization name-named entity
  • the identification label ORGE the words in black font are marked as the non-named entity label O, which will not be listed here.
  • step S2 Determine whether the number of training texts in the initial sample data set reaches a preset threshold, and if so, perform step S3.
  • the named entity recognition model includes a BERT layer and a CRF layer, that is, the named entity recognition model of this embodiment is constructed by splicing a layer of CRF model on the basis of the BERT model.
  • the BERT model is a natural language processing model released by Google. Its framework is shown in Figure 2. It has a two-way Transformer encoder (ie, the two-layer Trm in the figure). Through the processing of the two-way Transformer encoder, it can fully consider contextual words and The relationship between words makes the result of named entity labeling more accurate. As shown in Figure 2, tok1, tok2,..., tokN represent the input sequence of the training text, E1, E2,..., EN represent the vector corresponding to tok1, tok2,..., tokN, and each vector is input into the forward layer Transformer.
  • each Transformer encoder For each Transformer encoder, the output of each Transformer encoder in the forward layer Transformer is used as the input of each Transformer encoder in the backward layer Transformer, and the output result of each Transformer encoder in the backward layer Transformer is passed through
  • the softmax function is normalized to obtain the probability matrix T1, T2,..., TN of each word corresponding to the named entity category.
  • the CRF model is a discriminative probability model, which is a kind of random field. It is often used to label or analyze sequence data, such as natural language text sequences.
  • sequence data such as natural language text sequences.
  • T T1, T2...Ti...TN
  • N the length of the input
  • P the probability of probability of [y1,..., yN]
  • the CRF model will find the sequence with the largest probability P (y1,..., yN) of [y1,..., yN] under the condition of known sequence X [Y1,..., YN], and then predict the label of each word to get the result of named entity recognition.
  • step S3 is specifically implemented by the following steps: first, the initial sample data set is divided into a training set, a verification set, and a test set; then, the named entity recognition model is trained according to the training set; when the training is completed, According to the verification set, the accuracy of the trained named entity recognition model is verified; when the verification is passed, the verified named entity recognition model is tested according to the test set. If the test is successful, the training ends.
  • the process of training the named entity recognition model according to the training set is as follows: input the sample data in the training set to the BERT layer, and then input the output result of the BERT layer to the CRF layer to perform the training parameters of the BERT layer and the CRF layer. Iterative training.
  • S5 Use the trained named entity recognition model to process the preprocessed first to-be-recognized text to obtain a named entity automatic labeling result of the first to-be-recognized text. It includes the following steps:
  • the embedding representation vector is spliced and combined into a total vector corresponding to each word or identifier.
  • the total vector E [0.05,0.82,0.03,0.05,0,0,0,0,0,0,1,2,3] corresponding to the word.
  • each Transformer encoder in the forward layer Transformer receives the total vector corresponding to each word or identifier in the input sequence and the output result of each Transformer encoder in the forward layer Transformer is used as the backward layer Transformer.
  • the output results of each Transformer encoder in the backward layer Transformer are normalized by the softmax function, and the probability matrix corresponding to the named entity category for each word in the input sequence is obtained as the first The text feature sequence corresponding to the text to be recognized.
  • step S2 when it is determined that the number of training texts in the initial sample data set does not reach the preset threshold, the following operations are performed:
  • S21 Perform N times scramble processing on the sentence sequence of the training text in the initial sample data set to generate N different new sample data sets, where N takes a positive integer. It can be understood that after the sentences of a training text are scrambled, a new training text can be obtained. After the sentences of all training texts in the initial sample data set are scrambled, a new sample data set can be obtained. Random scrambled N times can be Get N different new sample data sets.
  • S23 Receive the second text to be recognized, and preprocess the second text to be recognized.
  • the preprocessing process of the second text to be recognized is the same as the preprocessing process of the first text to be recognized, so it will not be repeated here.
  • N+1 named entity recognition models obtained from the aforementioned N+1 training to process the preprocessed second to-be-recognized text respectively. It can be understood that a named-entity recognition model is used to process the second to-be-recognized text. Recognition text processing, you can get a named entity automatic labeling result, then use N+1 named entity recognition model to process the second to-be-recognized text, you can get the N+1 named-entity automatic labeling results corresponding to the second to-be-recognized text .
  • step S26 Add the second to-be-recognized text and the second target named entity annotation result corresponding to the second to-be-recognized text into the initial sample data set until the number of training texts in the initial sample data set reaches a preset threshold, and then perform step S3 to improve The accuracy of the model further improves the accuracy of named entity recognition.
  • This embodiment provides a named entity recognition device 10, as shown in FIG. 3, including:
  • the initial sample data set acquisition module 101 is configured to acquire an initial sample data set from a sample database, and the initial sample data set contains multiple training texts and a named entity annotation result corresponding to each training text;
  • the judging module 102 is used to judge whether the number of training texts in the initial sample data set reaches a preset threshold:
  • the first model training module 103 is configured to train the preset named entity recognition model according to the initial sample data set when the result of the judgment module is yes;
  • the first text receiving module 104 is configured to receive the first text to be recognized and preprocess the first text to be recognized;
  • the first model processing module 105 is configured to use the trained named entity recognition model to process the preprocessed first to-be-recognized text to obtain a named entity automatic labeling result of the first to-be-recognized text;
  • the first comparison module 106 is used to compare whether the automatic named entity annotation result is the same as the pre-obtained manual annotation result of the named entity, and if they are the same, the automatic named entity annotation result is used as the target named entity annotation result of the first text to be recognized , If they are not the same, output the first manual review notification, and receive the first target named entity marking result in response to the first manual review notification;
  • the second comparison module 107 is configured to compare whether the automatic labeling result of the named entity is the same as the received labeling result of the first target named entity;
  • the first sample adding module 108 is configured to combine the first to-be-recognized text and the first target-named entity corresponding to the first to-be-recognized text when the automatic named entity annotation result is different from the received first target named entity annotation result
  • the annotation result is added to the initial sample data set, so that when the training text in the initial sample data set reaches a preset number, the named entity recognition model is retrained according to the initial sample data set where the training text reaches the preset number.
  • the named entity recognition device 10 further includes:
  • the new sample data set acquisition module 109 is used to perform N times scramble processing on the sentence sequence of the training text in the initial sample data set when the judgment result of the judgment module is no to generate N different new sample data sets, where N Take a positive integer;
  • the second model training module 110 trains the preset named entity recognition model according to the initial sample data set, and trains the preset named entity recognition model respectively according to N different new sample data sets, to obtain N+1 trained named entity recognition models;
  • the second text receiving module 111 is configured to receive the second text to be recognized and preprocess the second text to be recognized;
  • the second model processing module 112 is configured to use the N+1 trained named entity recognition models to respectively process the preprocessed second to-be-recognized text to obtain N+1 names corresponding to the second to-be-recognized text Entity automatically annotates the result;
  • the third comparison module 113 is used to compare whether the labeling results of N+1 named entities are the same, if they are the same, the automatic labeling result of the same named entity is used as the target named entity labeling result of the second text to be recognized, if they are not the same , Output the second manual review notification, and receive the second target named entity marking result in response to the second manual review notification;
  • the second sample adding module 114 is configured to add the second to-be-recognized text and the second target named entity annotation result corresponding to the second to-be-recognized text into the initial sample data set until the number of training texts in the initial sample data set reaches a preset threshold.
  • the first model training module is specifically used for:
  • the verified named entity recognition model is tested according to the test set. If the test is successful, the training ends.
  • the named entity recognition model includes a BERT layer and a CRF layer.
  • the first model processing module is specifically used for:
  • the CRF layer is used to process the text feature sequence of the first text to be recognized, and the result of automatically marking named entities of the first text to be recognized is obtained.
  • the initial sample data set acquisition module is specifically used for:
  • the initial sample data set contains multiple training texts, and different types of named entities in each training text have been preset with different font styles;
  • the labeled result of the named entity corresponding to each training text is obtained.
  • the preprocessing is text serialization processing.
  • This application also provides a computer device, such as a smart phone, a tablet computer, a notebook computer, a desktop computer, a rack server, a blade server, a tower server, or a cabinet server (including independent servers, or more) that can execute programs.
  • a server cluster composed of two servers) and so on.
  • the computer device 20 in this embodiment at least includes but is not limited to: a memory 21 and a processor 22 that can be communicatively connected to each other through a system bus, as shown in FIG. It should be pointed out that FIG. 4 only shows the computer device 20 with the components 21-22, but it should be understood that it is not required to implement all the illustrated components, and more or fewer components may be implemented instead.
  • the memory 21 (ie, readable storage medium) includes flash memory, hard disk, multimedia card, card-type memory (for example, SD or DX memory, etc.), random access memory (RAM), static random access memory (SRAM), Read-only memory (ROM), electrically erasable programmable read-only memory (EEPROM), programmable read-only memory (PROM), magnetic memory, magnetic disks, optical disks, etc.
  • the memory 21 may be an internal storage unit of the computer device 20, such as a hard disk or a memory of the computer device 20.
  • the memory 21 may also be an external storage device of the computer device 20, such as a plug-in hard disk, a smart memory card (Smart Media Card, SMC), and a secure digital (Secure Digital, SD) card, flash card (Flash Card), etc.
  • the memory 21 may also include both an internal storage unit of the computer device 20 and an external storage device thereof.
  • the memory 21 is generally used to store the operating system and various application software installed in the computer device 20, such as the program code of the named entity recognition device 10 in the second embodiment.
  • the memory 21 can also be used to temporarily store various types of data that have been output or will be output.
  • the processor 22 may be a central processing unit (Central Processing Unit, CPU), a controller, a microcontroller, a microprocessor, or other data processing chips.
  • the processor 22 is generally used to control the overall operation of the computer device 20.
  • the processor 22 is used to run the program code or process data stored in the memory 21, for example, to run the named entity recognition device 10, so as to implement the following steps of the named entity recognition method of the first embodiment:
  • the initial sample data set contains a plurality of training texts and a named entity labeling result corresponding to each training text;
  • the target named entity annotation result is added to the initial sample data set, so that when the training text in the initial sample data set reaches a preset number, the named entity recognition model is retrained according to the initial sample data set where the training text reaches the preset number .
  • This application also provides a computer-readable storage medium, such as flash memory, hard disk, multimedia card, card-type memory (for example, SD or DX memory, etc.), random access memory (RAM), static random access memory (SRAM), read-only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic Memory, Disk, CD, Server, App Store, etc., on which computer programs and programs are stored When executed by the processor, the corresponding function is realized, and the computer-readable storage medium may be non-volatile or volatile. .
  • the computer-readable storage medium in this embodiment is used to store the named entity recognition device 10, and when executed by a processor, it implements the following steps of the named entity recognition method in the first embodiment:
  • the initial sample data set contains a plurality of training texts and a named entity labeling result corresponding to each training text;
  • the target named entity annotation result is added to the initial sample data set, so that when the training text in the initial sample data set reaches a preset number, the named entity recognition model is retrained according to the initial sample data set where the training text reaches the preset number .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Character Discrimination (AREA)
  • Machine Translation (AREA)

Abstract

一种命名实体识别方法，包括：获取初始样本数据集，若初始样本数据集中的训练文本数量达到预设阈值，根据初始样本数据集对的命名实体识别模型进行训练；利用训练得到的命名实体识别模型对第一待识别文本进行处理，得到命名实体自动标注结果；比对命名实体自动标注结果与命名实体人工标注结果是否相同，若相同，则将命名实体自动标注结果作为目标命名实体标注结果，否则输出第一人工审核通知，并接收响应第一人工审核通知的第一目标命名实体标注结果；比对命名实体自动标注结果与第一目标命名实体标注结果是否相同，若不相同，则将第一待识别文本加入初始样本数据集中。该方法可以提高命名实体识别的准确率。

Description

命名实体识别方法、装置、计算机设备及存储介质
本申请要求于2019年09月04日递交的申请号为CN201910832541.3、名称为“命名实体识别方法、装置、计算机设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请属于人工智能技术领域，尤其涉及一种命名实体识别方法、装置、计算机设备及存储介质。
 背景技术
命名实体（例如时间、人名、地名、组织机构名称、特定领域词汇等）识别是自然语言理解的一个重要组成部分，常用于信息抽取、实体链接等自然语言处理场景中。在现有技术中，一般采用CRF（Conditional Random Field，条件随机场）模型、RNN（Recurrent Neural Network，循环神经网络）或LSTM（long-short term memory，长短期记忆）+CRF模型等方式对第一待识别文本进行命名实体识别。
 技术问题
发明人发现，无论采用CRF模型或RNN或LSTM+CRF模型进行命名实体识别，准确率都不高。
 技术解决方案
针对上述现有技术的不足，本申请提供一种识别准确率高的命名实体识别方法，以解决现有技术命名实体识别准确不高的问题。
为了实现上述目的，本申请提供一种命名实体识别方法，包括以下步骤：
从样本数据库中获取初始样本数据集，该初始样本数据集中包含多个训练文本以及各训练文本对应的命名实体标注结果；
判断所述初始样本数据集中的训练文本数量是否达到预设阈值，若是，则执行如下操作：
根据所述初始样本数据集对预设的命名实体识别模型进行训练；
接收第一待识别文本，并对所述第一待识别文本进行预处理；
利用训练得到的命名实体识别模型对预处理后的第一待识别文本进行处理，得到所述第一待识别文本的命名实体自动标注结果；
比对所述命名实体自动标注结果与预先获得的命名实体人工标注结果是否相同，若相同，则将所述命名实体自动标注结果作为所述第一待识别文本的目标命名实体标注结果，若不相同，则输出第一人工审核通知，并接收响应所述第一人工审核通知的第一目标命名实体标注结果；
比对所述命名实体自动标注结果与接收到的所述第一目标命名实体标注结果是否相同，若不相同，则将所述第一待识别文本及所述第一待识别文本对应的第一目标命名实体标注结果加入所述初始样本数据集中，以便在所述初始样本数据集中的训练文本达到预设数量时，根据训练文本达到预设数量的初始样本数据集对命名实体识别模型进行重新训练。
为了实现上述目的，本申请还提供一种命名实体识别装置，包括：
初始样本数据集获取模块，用于从样本数据库中获取初始样本数据集，该初始样本数据集中包含多个训练文本以及各训练文本对应的命名实体标注结果；
判断模块，用于判断所述初始样本数据集中的训练文本数量是否达到预设阈值：
第一模型训练模块，用于在所述判断模块的结果为是时，根据所述初始样本数据集对预设的命名实体识别模型进行训练；
第一文本接收模块，用于接收第一待识别文本，并对所述第一待识别文本进行预处理；
第一模型处理模块，用于利用训练得到的命名实体识别模型对预处理后的第一待识别文本进行处理，得到所述第一待识别文本的命名实体自动标注结果；
第一比对模块，用于比对所述命名实体自动标注结果与预先获得的命名实体人工标注结果是否相同，若相同，则将所述命名实体自动标注结果作为所述第一待识别文本的目标命名实体标注结果，若不相同，则输出第一人工审核通知，并接收响应所述第一人工审核通知的第一目标命名实体标注结果；
第二比对模块，用于比对所述命名实体自动标注结果与接收到的所述第一目标命名实体标注结果是否相同；
第一样本增加模块，用于在所述命名实体自动标注结果与接收到的第一目标命名实体标注结果不相同时，将所述第一待识别文本及所述第一待识别文本对应的第一目标命名实体标注结果加入所述初始样本数据集中，以便在所述初始样本数据集中的训练文本达到预设数量时，根据训练文本达到预设数量的初始样本数据集对命名实体识别模型进行重新训练。
为了实现上述目的，本申请还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现命名实体识别方法的以下步骤：
从样本数据库中获取初始样本数据集，该初始样本数据集中包含多个训练文本以及各训练文本对应的命名实体标注结果；
判断所述初始样本数据集中的训练文本数量是否达到预设阈值，若是，则执行如下操作：
根据所述初始样本数据集对预设的命名实体识别模型进行训练；
接收第一待识别文本，并对所述第一待识别文本进行预处理；
利用训练得到的命名实体识别模型对预处理后的第一待识别文本进行处理，得到所述第一待识别文本的命名实体自动标注结果；
比对所述命名实体自动标注结果与预先获得的命名实体人工标注结果是否相同，若相同，则将所述命名实体自动标注结果作为所述第一待识别文本的目标命名实体标注结果，若不相同，则输出第一人工审核通知，并接收响应所述第一人工审核通知的第一目标命名实体标注结果；
比对所述命名实体自动标注结果与接收到的所述第一目标命名实体标注结果是否相同，若不相同，则将所述第一待识别文本及所述第一待识别文本对应的第一目标命名实体标注结果加入所述初始样本数据集中，以便在所述初始样本数据集中的训练文本达到预设数量时，根据训练文本达到预设数量的初始样本数据集对命名实体识别模型进行重新训练。
为了实现上述目的，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现名实体识别方法的以下步骤：
从样本数据库中获取初始样本数据集，该初始样本数据集中包含多个训练文本以及各训练文本对应的命名实体标注结果；
判断所述初始样本数据集中的训练文本数量是否达到预设阈值，若是，则执行如下操作：
根据所述初始样本数据集对预设的命名实体识别模型进行训练；
接收第一待识别文本，并对所述第一待识别文本进行预处理；
利用训练得到的命名实体识别模型对预处理后的第一待识别文本进行处理，得到所述第一待识别文本的命名实体自动标注结果；
比对所述命名实体自动标注结果与预先获得的命名实体人工标注结果是否相同，若相同，则将所述命名实体自动标注结果作为所述第一待识别文本的目标命名实体标注结果，若不相同，则输出第一人工审核通知，并接收响应所述第一人工审核通知的第一目标命名实体标注结果；
比对所述命名实体自动标注结果与接收到的所述第一目标命名实体标注结果是否相同，若不相同，则将所述第一待识别文本及所述第一待识别文本对应的第一目标命名实体标注结果加入所述初始样本数据集中，以便在所述初始样本数据集中的训练文本达到预设数量时，根据训练文本达到预设数量的初始样本数据集对命名实体识别模型进行重新训练。
 有益效果
本申请对第一待识别文本进行命名实体识别后，比对命名实体自动标注结果与预先获得的命名实体人工标注结果是否相同，若不相同，则输出第一人工审核通知，并接收响应所述第一人工审核通知的第一目标命名实体标注结果；若所述命名实体自动标注结果与第一目标命名实体标注结果不相同，则所述第一待识别文本及所述第一待识别文本对应的第一目标命名实体标注结果加入所述初始样本数据集中，以在所述初始样本数据集中的训练文本达到预设数量时，根据训练文本达到预设数量的初始样本数据集对命名实体识别模型进行重新训练，从而提高了模型的准确度，进而提高命名实体识别的准确率。
 附图说明
图1为本申请一种命名实体识别方法的一个实施例的流程图；
图2为本申请中命名实体识别模型的原理图；
图3为本申请一种命名实体识别装置的一个实施例的结构框图；
图4为本申请计算机设备的一个实施例的硬件架构图。
 本发明的实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
本实施例提供一种命名实体识别方法，主要适用于自然语言处理，如图1所示，该方法包括以下步骤：
S1，从样本数据库中获取初始样本数据集，该初始样本数据集中包含多个训练文本以及各训练文本对应的命名实体标注结果。在本实施例中，训练文本为.doc或.docx格式的文本，训练文本中可包含时间、人名、地点、组织机构名称、公司名称、国家名称、经济词汇、交易类型、经济质量指标、产品名称等各种不同类别的命名实体。其中，各训练文本中不同类别的命名实体已预先设置为不同的字体样式，如设置为不同的字体颜色。在此情况下，步骤S1具体包括如下过程：首先，从样本数据库中获取初始样本数据集，初始样本数据集包含多个训练文本，各训练文本中不同类别的命名实体已预先设置为不同的字体样式；而后，根据各训练文本中每个词的字体样式（如字体颜色属性），获取各训练文本对应的命名实体标注结果。例如，假设预先通过人工将训练文本中的人名字体设置为红色，时间字体设置为黄色，地点字体设置为蓝色、组织机构名称设置为绿色，非命名实体设置为黑色，则将训练文本中红色字体的词标注为人名命名实体识别标签PERS，黄色字体的词标注为时间命名实体识别标签TIME，蓝色字体的词标注为地点命名实体识别标签LOC，绿色字体的词标注为组织机构名称命名实体识别标签ORGE，黑色字体的词标注为非命名实体标签O，在此不一一列举。
S2，判断初始样本数据集中的训练文本数量是否达到预设阈值，若是，执行步骤S3。
S3，根据初始样本数据集对命名实体识别模型进行训练。在本实施例中，如图2所示，命名实体识别模型包含BERT层和CRF层，即，本实施例的命名实体识别模型是通过在BERT模型的基础上再拼接一层CRF模型而构成。
BERT模型是由Google公司发布的自然语言处理模型，其框架如图2所示，具有双向Transformer编码器（即图中的双层Trm），通过双向Transformer编码器的处理，能充分考虑上下文词与词之间的关系，使得命名实体标注结果更加准确。如图2所示，tok1、tok2、…、tokN表示训练文本的输入序列，E1、E2、…、EN表示tok1、tok2、…、tokN分别对应的向量，各向量分别输入前向层Transformer中的每一个Transformer编码器，将前向层Transformer中的每一个Transformer编码器的输出作为后向层Transformer中的每一个Transformer编码器的输入，将后向层Transformer中的各Transformer编码器输出的结果通过softmax函数做归一化处理，得到每个词对应命名实体类别的概率矩阵T1、T2、…、TN。
CRF模型是一种判别式概率模型，是随机场的一种，常用于标注或分析序列资料，如自然语言文字序列，对于输入的长度为 N 的序列T [T1、T2…Ti…TN]，假设标签的标注结果为[ y1, … , yN ]，则CRF模型将在已知序列 X 的条件下，找出使得[ y1, … , yN ]的概率P (y1, … , yN)最大的序列[ Y1, … , YN]，然后预测每个词的标签，即得到命名实体识别结果。
在本实施例中，步骤S3具体通过如下步骤实现：首先，将初始样本数据集划分为训练集、验证集和测试集；而后，根据训练集对命名实体识别模型进行训练；当训练完成后，根据验证集对经过训练的命名实体识别模型的准确率等性能进行验证；当验证通过后，根据测试集对经过验证的命名实体识别模型进行测试，若测试成功，训练结束。其中，根据训练集对命名实体识别模型进行训练的过程如下：将训练集中的样本数据输入到BERT层，再将BERT层的输出结果输入到CRF层，以对BERT层和CRF层的训练参数进行迭代训练。
S4，接收第一待识别文本，并对第一待识别文本进行预处理，此处的预处理具体是指文本序列化处理。具体来说，首先对第一待识别文本中的语句进行词处理，并在语句的前面加上开始标志符CLS，在两个语句之间加上分隔标志符SEP。例如，假设第一待识别文本为“小明喜欢看NBA”，则对应的输入序列为“[CLS]、小明、喜欢、看、NBA”。
S5，利用训练得到的命名实体识别模型对预处理后的第一待识别文本进行处理，得到第一待识别文本的命名实体自动标注结果。具体包括以下步骤：
S51，利用BERT层对第一待识别文本对应的输入序列进行处理，得到待识别文本对应的文本特征序列。具体处理过程如下：
首先，对待识别文本对应的输入序列中每个词或标志符（[CLS]、[SEP]）进行词编码、对每个词或标志符所在的段落进行段落编码，对每个词或标志符在相应语句中的位置进行位置编码，从而得到每个词或标志符对应的词嵌入表征向量、段落嵌入表征向量和位置嵌入表征向量，并将对应的词嵌入表征向量、段落嵌入表征向量和位置嵌入表征向量拼接组合成各词或标志符对应的总向量。例如，某词对应的词嵌入表征向量为Etoken=[0.05,0.82,0.03,0.05]、段落嵌入表征向量为Esegment=[0,0,0,0]、位置嵌入表征向量为Eposition=[0,1,2,3]，则该词对应的总向量E=[0.05，0.82，0.03，0.05，0，0，0，0，0，1，2，3]。
而后，将输入序列中每个词或标志符对应的总向量输入前向层Transformer中的每一个Transformer编码器，将前向层Transformer中的每一个Transformer编码器的输出结果作为后向层Transformer中的每一个Transformer编码器的输入，将后向层Transformer中的各Transformer编码器的输出结果通过softmax函数做归一化处理，得到输入序列中每个词对应命名实体类别的概率矩阵，作为第一待识别文本对应的文本特征序列。
S52，利用CRF层对第一待识别文本的文本特征序列进行处理，以预测第一待识别文本中各词的命名实体标签，得到第一待识别文本的命名实体自动标注结果。例如，针对待识别文本“小明在北京大学的图书馆学习”，标注结果将如下表1所示：
表1
  命名实体识别结果   PERS   O   ORG   O   LOC   O
  待识别文本   小明 在   北京大学   的   图书馆   学习
S6，比对命名实体自动标注结果与预先获得的命名实体人工标注结果是否相同，若相同，认为第一待识别文本的命名实体自动标注结果是准确的，则将命名实体自动标注结果作为第一待识别文本的目标命名实体标注结果；若不相同，则认为第一待识别文本的命名实体自动标注结果可能是错误的，则输出第一人工审核通知，工作人员接收到通知后进行审核，并返回第一待识别文本的目标命名实体标注结果，记为第一目标命名实体标注结果，从而可以接收到响应第一人工审核通知的第一目标命名实体标注结果。
S7，比对第一待识别文本的命名实体自动标注结果与接收到的第一目标命名实体标注结果是否相同，若相同，流程结束，若不相同，认为第一待识别文本的命名实体自动标注结果是错误的，则将第一待识别文本及第一待识别文本对应的第一目标命名实体标注结果加入初始样本数据集中，以在初始样本数据集中的训练文本达到预设数量时，根据训练文本达到预设数量的初始样本数据集对命名实体识别模型进行重新训练，从而提高了模型的准确度。
回到步骤S2，当判断得到初始样本数据集中的训练文本数量未达到预设阈值时，则执行以下操作：
S21，对初始样本数据集中的训练文本的语句顺序进行N次打乱处理，生成N个不同的新样本数据集，其中N取正整数。可以理解，一个训练文本的语句打乱后，可以得到一个新的训练文本，初始样本数据集中的所有训练文本的语句打乱后，即可得到一个新的样本数据集，随机打乱N次可得到N个不同的新样本数据集。
S22，根据初始样本数据集对前述预设的命名实体识别模型进行训练，并根据所述N个不同的新样本数据集分别对前述预设的命名实体识别模型进行训练，从而得到N+1个训练后的命名实体识别模型。可以理解，根据初始样本数据集可以训练得到一个命名实体识别模型，根据一个新样本数据集也可以训练得到一个命名实体识别模型，则根据初始样本数据集和N个新样本数据集可以训练得到N+1个命名实体识别模型。
S23，接收第二待识别文本，并对第二待识别文本进行预处理。其中，对第二待识别文本的预处理过程与对第一待识别文本的预处理过程是相同的，故在此不再赘述。
S24，利用前述N+1个训练后的训练得到的N+1个命名实体识别模型分别对的预处理后的第二待识别文本进行处理，可以理解，利用一个命名实体识别模型对第二待识别文本处理，可以得到一个命名实体自动标注结果，则利用N+1个命名实体识别模型对第二待识别文本进行处理，可以得到第二待识别文本对应的N+1个命名实体自动标注结果。
S25，比对前述N+1个命名实体标注结果是否相同，若相同，则认为相同的命名实体自动标注结果是正确的，将相同的命名实体自动标注结果作为第二待识别文本的目标命名实体标注结果，若不相同，则输出第二人工审核通知，工作人员接收到通知后进行审核，并返回第二待识别文本的目标命名实体标注结果，记为第二目标命名实体标注结果，从而可以接收到响应第二人工审核通知的第二目标命名实体标注结果；
S26，将第二待识别文本及第二待识别文本对应的第二目标命名实体标注结果加入初始样本数据集中，直到初始样本数据集中的训练文本数量达到预设阈值，而后执行步骤S3，从而提高模型的准确度，进而提高命名实体识别的准确性。
需要说明的是，对于本实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请所必须的。
实施例二
本实施例提供一种命名实体识别装置10，如图3所示，包括：
初始样本数据集获取模块101，用于从样本数据库中获取初始样本数据集，该初始样本数据集中包含多个训练文本以及各训练文本对应的命名实体标注结果；
判断模块102，用于判断初始样本数据集中的训练文本数量是否达到预设阈值：
第一模型训练模块103，用于在判断模块的结果为是时，根据初始样本数据集对预设的命名实体识别模型进行训练；
第一文本接收模块104，用于接收第一待识别文本，并对第一待识别文本进行预处理；
第一模型处理模块105，用于利用训练得到的命名实体识别模型对预处理后的第一待识别文本进行处理，得到所述第一待识别文本的命名实体自动标注结果；
第一比对模块106，用于比对命名实体自动标注结果与预先获得的命名实体人工标注结果是否相同，若相同，则将命名实体自动标注结果作为第一待识别文本的目标命名实体标注结果，若不相同，则输出第一人工审核通知，并接收响应第一人工审核通知的第一目标命名实体标注结果；
第二比对模块107，用于比对命名实体自动标注结果与接收到的第一目标命名实体标注结果是否相同；
第一样本增加模块108，用于在命名实体自动标注结果与接收到的第一目标命名实体标注结果不相同时，将第一待识别文本及第一待识别文本对应的第一目标命名实体标注结果加入初始样本数据集中，以便在初始样本数据集中的训练文本达到预设数量时，根据训练文本达到预设数量的初始样本数据集对命名实体识别模型进行重新训练。
在本申请一个实施例中，命名实体识别装置10还包括：
新样本数据集获取模块109，用于在判断模块的判断结果为否时，对初始样本数据集中的训练文本的语句顺序进行N次打乱处理，生成N个不同的新样本数据集，其中N取正整数；
第二模型训练模块110，根据初始样本数据集对所述预设的命名实体识别模型进行训练，并根据N个不同的新样本数据集分别对所述预设的命名实体识别模型进行训练，得到N+1个训练后的命名实体识别模型；
第二文本接收模块111，用于接收第二待识别文本，并对第二待识别文本进行预处理；
第二模型处理模块112，用于利用所述N+1个训练后的命名实体识别模型分别对预处理后的第二待识别文本进行处理，得到第二待识别文本对应的N+1个命名实体自动标注结果；
第三比对模块113，用于比对N+1个命名实体标注结果是否相同，若相同，则将相同的命名实体自动标注结果作为第二待识别文本的目标命名实体标注结果，若不相同，则输出第二人工审核通知，并接收响应第二人工审核通知的第二目标命名实体标注结果；
第二样本增加模块114，用于将第二待识别文本及第二待识别文本对应的第二目标命名实体标注结果加入初始样本数据集中，直到初始样本数据集中的训练文本数量达到预设阈值。
在本申请一个实施例中，第一模型训练模块具体用于：
将初始样本数据集划分为训练集、验证集和测试集；
根据训练集对命名实体识别模型进行训练；
根据验证集对经过训练的命名实体识别模型进行验证；
根据测试集对经过验证的命名实体识别模型进行测试，若测试成功，训练结束。
在本申请一个实施例中，命名实体识别模型包括BERT层和CRF层。
在本申请一个实施例中，第一模型处理模块具体用于：
利用BERT层对第一待识别文本对应的输入序列进行处理，得到第一待识别文本对应的文本特征序列；
利用CRF层对第一待识别文本的文本特征序列进行处理，得到第一待识别文本的命名实体自动标注结果。
在本申请一个实施例中，初始样本数据集获取模块具体用于：
从样本数据库中获取初始样本数据集，初始样本数据集包含多个训练文本，各训练文本中不同类别的命名实体已预先设置为不同的字体样式；
根据各训练文本中每个词的字体样式，获取各训练文本对应的命名实体标注结果。
在本申请一个实施例中，预处理为文本序列化处理。
本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的模块作并不一定是本申请所必须的。
实施例三
本申请还提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器（包括独立的服务器，或者多个服务器所组成的服务器集群）等。本实施例的计算机设备20至少包括但不限于：可通过系统总线相互通信连接的存储器21、处理器22，如图4所示。需要指出的是，图4仅示出了具有组件21-22的计算机设备20，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器21（即可读存储介质）包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备20的内部存储单元，例如该计算机设备20的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备20的外部存储设备，例如该计算机设备20上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。当然，存储器21还可以既包括计算机设备20的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备20的操作系统和各类应用软件，例如实施例二的命名实体识别置10的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器（Central Processing Unit，CPU）、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备20的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行命名实体识别装置10，以实现实施例一的命名实体识别方法的以下步骤：
从样本数据库中获取初始样本数据集，该初始样本数据集中包含多个训练文本以及各训练文本对应的命名实体标注结果；
判断所述初始样本数据集中的训练文本数量是否达到预设阈值，若是，则执行如下操作：
根据所述初始样本数据集对预设的命名实体识别模型进行训练；
接收第一待识别文本，并对所述第一待识别文本进行预处理；
利用训练得到的命名实体识别模型对预处理后的第一待识别文本进行处理，得到所述第一待识别文本的命名实体自动标注结果；
比对所述命名实体自动标注结果与预先获得的命名实体人工标注结果是否相同，若相同，则将所述命名实体自动标注结果作为所述第一待识别文本的目标命名实体标注结果，若不相同，则输出第一人工审核通知，并接收响应所述第一人工审核通知的第一目标命名实体标注结果；
比对所述命名实体自动标注结果与接收到的所述第一目标命名实体标注结果是否相同，若不相同，则将所述第一待识别文本及所述第一待识别文本对应的第一目标命名实体标注结果加入所述初始样本数据集中，以便在所述初始样本数据集中的训练文本达到预设数量时，根据训练文本达到预设数量的初始样本数据集对命名实体识别模型进行重新训练。
实施例四
本申请还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能，所述计算机可读存储介质可以是非易失性，也可以是易失性。。本实施例的计算机可读存储介质用于存储命名实体识别装置10，被处理器执行时实现实施例一的命名实体识别方法的以下步骤：
从样本数据库中获取初始样本数据集，该初始样本数据集中包含多个训练文本以及各训练文本对应的命名实体标注结果；
判断所述初始样本数据集中的训练文本数量是否达到预设阈值，若是，则执行如下操作：
根据所述初始样本数据集对预设的命名实体识别模型进行训练；
接收第一待识别文本，并对所述第一待识别文本进行预处理；
利用训练得到的命名实体识别模型对预处理后的第一待识别文本进行处理，得到所述第一待识别文本的命名实体自动标注结果；
比对所述命名实体自动标注结果与预先获得的命名实体人工标注结果是否相同，若相同，则将所述命名实体自动标注结果作为所述第一待识别文本的目标命名实体标注结果，若不相同，则输出第一人工审核通知，并接收响应所述第一人工审核通知的第一目标命名实体标注结果；
比对所述命名实体自动标注结果与接收到的所述第一目标命名实体标注结果是否相同，若不相同，则将所述第一待识别文本及所述第一待识别文本对应的第一目标命名实体标注结果加入所述初始样本数据集中，以便在所述初始样本数据集中的训练文本达到预设数量时，根据训练文本达到预设数量的初始样本数据集对命名实体识别模型进行重新训练。

Claims (20)

  1. 一种命名实体识别方法，其中，包括以下步骤：
    从样本数据库中获取初始样本数据集，该初始样本数据集中包含多个训练文本以及各训练文本对应的命名实体标注结果；
    判断所述初始样本数据集中的训练文本数量是否达到预设阈值，若是，则执行如下操作：
    根据所述初始样本数据集对预设的命名实体识别模型进行训练；
    接收第一待识别文本，并对所述第一待识别文本进行预处理；
    利用训练得到的命名实体识别模型对预处理后的第一待识别文本进行处理，得到所述第一待识别文本的命名实体自动标注结果；
    比对所述命名实体自动标注结果与预先获得的命名实体人工标注结果是否相同，若相同，则将所述命名实体自动标注结果作为所述第一待识别文本的目标命名实体标注结果，若不相同，则输出第一人工审核通知，并接收响应所述第一人工审核通知的第一目标命名实体标注结果；
    比对所述命名实体自动标注结果与接收到的所述第一目标命名实体标注结果是否相同，若不相同，则将所述第一待识别文本及所述第一待识别文本对应的第一目标命名实体标注结果加入所述初始样本数据集中，以便在所述初始样本数据集中的训练文本达到预设数量时，根据训练文本达到预设数量的初始样本数据集对命名实体识别模型进行重新训练。
  2. 根据权利要求1所述的命名实体识别方法，其中，当判断所述初始样本数据集中的训练文本数量未达到预设阈值时，执行以下操作：
    对所述初始样本数据集中的训练文本的语句顺序进行N次打乱处理，生成N个不同的新样本数据集，其中N取正整数；
    根据所述初始样本数据集对所述预设的命名实体识别模型进行训练，并根据所述N个不同的新样本数据集分别对所述预设的命名实体识别模型进行训练，得到N+1个训练后的命名实体识别模型；
    接收第二待识别文本，并对所述第二待识别文本进行预处理；
    利用所述N+1个训练后的命名实体识别模型分别对预处理后的第二待识别文本进行处理，得到所述第二待识别文本对应的N+1个命名实体自动标注结果；
    比对所述N+1个命名实体标注结果是否相同，若相同，则将相同的命名实体自动标注结果作为所述第二待识别文本的目标命名实体标注结果，若不相同，则输出第二人工审核通知，并接收响应所述第二人工审核通知的第二目标命名实体标注结果；
    将所述第二待识别文本及所述第二待识别文本对应的第二目标命名实体标注结果加入所述初始样本数据集中，直到所述初始样本数据集中的训练文本数量达到预设阈值。
  3. 根据权利要求1所述的命名实体识别方法，其中，所述根据所述初始样本数据集对命名实体识别模型进行训练的步骤包括：
    将所述初始样本数据集划分为训练集、验证集和测试集；
    根据所述训练集对命名实体识别模型进行训练；
    根据所述验证集对经过训练的命名实体识别模型进行验证；
    根据所述测试集对经过验证的命名实体识别模型进行测试，若测试成功，训练结束。
  4. 根据权利要求1所述的命名实体识别方法，其中，所述命名实体识别模型包括BERT层和CRF层。
  5. 根据权利要求4所述的命名实体识别方法，其中，所述利用训练得到的命名实体识别模型对预处理后的第一待识别文本进行处理，得到所述第一待识别文本的命名实体自动标注结果的步骤包括：
    利用BERT层对所述第一待识别文本对应的输入序列进行处理，得到所述第一待识别文本的文本特征序列；
    利用CRF层对所述第一待识别文本的文本特征序列进行处理，得到所述第一待识别文本的命名实体自动标注结果。
  6. 根据权利要求1所述的命名实体识别方法，其中，所述从样本数据库中获取初始样本数据集的步骤具体包括：
    从所述样本数据库中获取所述初始样本数据集，所述初始样本数据集包含多个训练文本，各训练文本中不同类别的命名实体已预先设置为不同的字体样式；
    根据各训练文本中每个词的字体样式，获取各训练文本对应的命名实体标注结果。
  7. 根据权利要求1所述的命名实体识别方法，其中，所述对所述第一待识别文本进行预处理的步骤包括：
    对所述第一待识别文本进行文本序列化处理。
  8. 一种命名实体识别装置，其中，包括：
    初始样本数据集获取模块，用于从样本数据库中获取初始样本数据集，该初始样本数据集中包含多个训练文本以及各训练文本对应的命名实体标注结果；
    判断模块，用于判断所述初始样本数据集中的训练文本数量是否达到预设阈值：
    第一模型训练模块，用于在所述判断模块的结果为是时，根据所述初始样本数据集对预设的命名实体识别模型进行训练；
    第一文本接收模块，用于接收第一待识别文本，并对所述第一待识别文本进行预处理；
    第一模型处理模块，用于利用训练得到的命名实体识别模型对预处理后的第一待识别文本进行处理，得到所述第一待识别文本的命名实体自动标注结果；
    第一比对模块，用于比对所述命名实体自动标注结果与预先获得的命名实体人工标注结果是否相同，若相同，则将所述命名实体自动标注结果作为所述第一待识别文本的目标命名实体标注结果，若不相同，则输出第一人工审核通知，并接收响应所述第一人工审核通知的第一目标命名实体标注结果；
    第二比对模块，用于比对所述命名实体自动标注结果与接收到的所述第一目标命名实体标注结果是否相同；
    第一样本增加模块，用于在所述命名实体自动标注结果与接收到的第一目标命名实体标注结果不相同时，将所述第一待识别文本及所述第一待识别文本对应的第一目标命名实体标注结果加入所述初始样本数据集中，以便在所述初始样本数据集中的训练文本达到预设数量时，根据训练文本达到预设数量的初始样本数据集对命名实体识别模型进行重新训练。
  9. 一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现命名实体识别方法的以下步骤：
    样本数据库中获取初始样本数据集，该初始样本数据集中包含多个训练文本以及各训练文本对应的命名实体标注结果；
    判断所述初始样本数据集中的训练文本数量是否达到预设阈值，若是，则执行如下操作：
    根据所述初始样本数据集对预设的命名实体识别模型进行训练；
    接收第一待识别文本，并对所述第一待识别文本进行预处理；
    利用训练得到的命名实体识别模型对预处理后的第一待识别文本进行处理，得到所述第一待识别文本的命名实体自动标注结果；
    比对所述命名实体自动标注结果与预先获得的命名实体人工标注结果是否相同，若相同，则将所述命名实体自动标注结果作为所述第一待识别文本的目标命名实体标注结果，若不相同，则输出第一人工审核通知，并接收响应所述第一人工审核通知的第一目标命名实体标注结果；
    比对所述命名实体自动标注结果与接收到的所述第一目标命名实体标注结果是否相同，若不相同，则将所述第一待识别文本及所述第一待识别文本对应的第一目标命名实体标注结果加入所述初始样本数据集中，以便在所述初始样本数据集中的训练文本达到预设数量时，根据训练文本达到预设数量的初始样本数据集对命名实体识别模型进行重新训练。
  10. 根据权利要求9所述的计算机设备，其中，当判断所述初始样本数据集中的训练文本数量未达到预设阈值时，执行以下操作：
    对所述初始样本数据集中的训练文本的语句顺序进行N次打乱处理，生成N个不同的新样本数据集，其中N取正整数；
    根据所述初始样本数据集对所述预设的命名实体识别模型进行训练，并根据所述N个不同的新样本数据集分别对所述预设的命名实体识别模型进行训练，得到N+1个训练后的命名实体识别模型；
    接收第二待识别文本，并对所述第二待识别文本进行预处理；
    利用所述N+1个训练后的命名实体识别模型分别对预处理后的第二待识别文本进行处理，得到所述第二待识别文本对应的N+1个命名实体自动标注结果；
    比对所述N+1个命名实体标注结果是否相同，若相同，则将相同的命名实体自动标注结果作为所述第二待识别文本的目标命名实体标注结果，若不相同，则输出第二人工审核通知，并接收响应所述第二人工审核通知的第二目标命名实体标注结果；
    将所述第二待识别文本及所述第二待识别文本对应的第二目标命名实体标注结果加入所述初始样本数据集中，直到所述初始样本数据集中的训练文本数量达到预设阈值。
  11. 根据权利要求9所述的计算机设备，其中，所述根据所述初始样本数据集对命名实体识别模型进行训练的步骤包括：
    将所述初始样本数据集划分为训练集、验证集和测试集；
    根据所述训练集对命名实体识别模型进行训练；
    根据所述验证集对经过训练的命名实体识别模型进行验证；
    根据所述测试集对经过验证的命名实体识别模型进行测试，若测试成功，训练结束。
  12. 根据权利要求9所述的计算机设备，其中，所述命名实体识别模型包括BERT层和CRF层。
  13. 根据权利要求12所述的计算机设备，其中，所述利用训练得到的命名实体识别模型对预处理后的第一待识别文本进行处理，得到所述第一待识别文本的命名实体自动标注结果的步骤包括：
    利用BERT层对所述第一待识别文本对应的输入序列进行处理，得到所述第一待识别文本的文本特征序列；
    利用CRF层对所述第一待识别文本的文本特征序列进行处理，得到所述第一待识别文本的命名实体自动标注结果。
  14. 根据权利要求9所述的计算机设备，其中，所述从样本数据库中获取初始样本数据集的步骤具体包括：
    从所述样本数据库中获取所述初始样本数据集，所述初始样本数据集包含多个训练文本，各训练文本中不同类别的命名实体已预先设置为不同的字体样式；
    根据各训练文本中每个词的字体样式，获取各训练文本对应的命名实体标注结果。
  15. 一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现命名实体识别方法的以下步骤：
    样本数据库中获取初始样本数据集，该初始样本数据集中包含多个训练文本以及各训练文本对应的命名实体标注结果；
    判断所述初始样本数据集中的训练文本数量是否达到预设阈值，若是，则执行如下操作：
    根据所述初始样本数据集对预设的命名实体识别模型进行训练；
    接收第一待识别文本，并对所述第一待识别文本进行预处理；
    利用训练得到的命名实体识别模型对预处理后的第一待识别文本进行处理，得到所述第一待识别文本的命名实体自动标注结果；
    比对所述命名实体自动标注结果与预先获得的命名实体人工标注结果是否相同，若相同，则将所述命名实体自动标注结果作为所述第一待识别文本的目标命名实体标注结果，若不相同，则输出第一人工审核通知，并接收响应所述第一人工审核通知的第一目标命名实体标注结果；
    比对所述命名实体自动标注结果与接收到的所述第一目标命名实体标注结果是否相同，若不相同，则将所述第一待识别文本及所述第一待识别文本对应的第一目标命名实体标注结果加入所述初始样本数据集中，以便在所述初始样本数据集中的训练文本达到预设数量时，根据训练文本达到预设数量的初始样本数据集对命名实体识别模型进行重新训练。
  16. 根据权利要求15所述的计算机可读存储介质，其中，当判断所述初始样本数据集中的训练文本数量未达到预设阈值时，执行以下操作：
    对所述初始样本数据集中的训练文本的语句顺序进行N次打乱处理，生成N个不同的新样本数据集，其中N取正整数；
    根据所述初始样本数据集对所述预设的命名实体识别模型进行训练，并根据所述N个不同的新样本数据集分别对所述预设的命名实体识别模型进行训练，得到N+1个训练后的命名实体识别模型；
    接收第二待识别文本，并对所述第二待识别文本进行预处理；
    利用所述N+1个训练后的命名实体识别模型分别对预处理后的第二待识别文本进行处理，得到所述第二待识别文本对应的N+1个命名实体自动标注结果；
    比对所述N+1个命名实体标注结果是否相同，若相同，则将相同的命名实体自动标注结果作为所述第二待识别文本的目标命名实体标注结果，若不相同，则输出第二人工审核通知，并接收响应所述第二人工审核通知的第二目标命名实体标注结果；
    将所述第二待识别文本及所述第二待识别文本对应的第二目标命名实体标注结果加入所述初始样本数据集中，直到所述初始样本数据集中的训练文本数量达到预设阈值。
  17. 根据权利要求15所述的计算机可读存储介质，其中，所述根据所述初始样本数据集对命名实体识别模型进行训练的步骤包括：
    将所述初始样本数据集划分为训练集、验证集和测试集；
    根据所述训练集对命名实体识别模型进行训练；
    根据所述验证集对经过训练的命名实体识别模型进行验证；
    根据所述测试集对经过验证的命名实体识别模型进行测试，若测试成功，训练结束。
  18. 根据权利要求15所述的计算机可读存储介质，其中，所述命名实体识别模型包括BERT层和CRF层。
  19. 根据权利要求18所述的计算机可读存储介质，其中，所述利用训练得到的命名实体识别模型对预处理后的第一待识别文本进行处理，得到所述第一待识别文本的命名实体自动标注结果的步骤包括：
    利用BERT层对所述第一待识别文本对应的输入序列进行处理，得到所述第一待识别文本的文本特征序列；
    利用CRF层对所述第一待识别文本的文本特征序列进行处理，得到所述第一待识别文本的命名实体自动标注结果。
  20. 根据权利要求15所述的计算机可读存储介质，其中，所述从样本数据库中获取初始样本数据集的步骤具体包括：
    从所述样本数据库中获取所述初始样本数据集，所述初始样本数据集包含多个训练文本，各训练文本中不同类别的命名实体已预先设置为不同的字体样式；
    根据各训练文本中每个词的字体样式，获取各训练文本对应的命名实体标注结果。
PCT/CN2020/112303 2019-09-04 2020-08-29 命名实体识别方法、装置、计算机设备及存储介质 Ceased WO2021043085A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910832541.3A CN110704633B (zh) 2019-09-04 2019-09-04 命名实体识别方法、装置、计算机设备及存储介质
CN201910832541.3 2019-09-04

Publications (1)

Publication Number Publication Date
WO2021043085A1 true WO2021043085A1 (zh) 2021-03-11

Family

ID=69194309

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/112303 Ceased WO2021043085A1 (zh) 2019-09-04 2020-08-29 命名实体识别方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN110704633B (zh)
WO (1) WO2021043085A1 (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906375A (zh) * 2021-03-24 2021-06-04 平安科技（深圳）有限公司 文本数据标注方法、装置、设备及存储介质
CN113723102A (zh) * 2021-06-30 2021-11-30 平安国际智慧城市科技股份有限公司 命名实体识别方法、装置、电子设备及存储介质
CN113762132A (zh) * 2021-09-01 2021-12-07 国网浙江省电力有限公司金华供电公司 一种无人机巡检图像自动归类与自动命名系统
CN113836927A (zh) * 2021-09-27 2021-12-24 平安科技（深圳）有限公司 命名实体识别模型的训练方法、装置、设备及存储介质
CN113836315A (zh) * 2021-09-23 2021-12-24 国网安徽省电力有限公司电力科学研究院 一种电力标准知识抽取系统
CN113838524A (zh) * 2021-09-27 2021-12-24 电子科技大学长三角研究院(衢州) S-亚硝基化位点预测方法、模型训练方法及存储介质
CN113849597A (zh) * 2021-08-31 2021-12-28 艾迪恩(山东)科技有限公司 基于命名实体识别的违法广告词检测方法
CN114048744A (zh) * 2021-10-28 2022-02-15 盐城金堤科技有限公司 基于实体抽取的任职记录生成方法、装置及设备
CN114239586A (zh) * 2021-12-17 2022-03-25 深圳壹账通创配科技有限公司 中文命名实体识别方法、装置、存储介质及电子设备
CN114492383A (zh) * 2021-12-20 2022-05-13 北京邮电大学 一种数字货币交易地址的实体名称识别方法和装置
CN114742012A (zh) * 2022-04-08 2022-07-12 工保科技(浙江)有限公司 一种招投标采集数据自动结构化的方法、系统和介质
CN114818929A (zh) * 2022-04-27 2022-07-29 杭州卓印智能科技有限公司 一种基于自学习标注的标注模型训练方法及标注方法
CN114880992A (zh) * 2022-04-21 2022-08-09 浪潮云信息技术股份公司 一种基于深度学习的序列标注方法
CN115238027A (zh) * 2021-04-25 2022-10-25 京东科技控股股份有限公司 文本数据的处理方法及装置
CN115456199A (zh) * 2022-09-20 2022-12-09 云知声智能科技股份有限公司 一种识别模型的训练方法、装置、电子设备及存储介质
CN115965022A (zh) * 2022-12-05 2023-04-14 中信银行股份有限公司 一种包含特定校验的命名实体识别发证机关方法及系统
CN116306648A (zh) * 2023-02-24 2023-06-23 西华大学 命名实体的识别方法和识别装置
CN116629246A (zh) * 2023-07-12 2023-08-22 易信(厦门)信用服务技术有限公司 一种自适应数据分析与模型管理的方法和系统
CN117010390A (zh) * 2023-07-04 2023-11-07 北大荒信息有限公司 基于招标信息的公司实体识别方法、装置、设备及介质
CN117034864A (zh) * 2023-09-07 2023-11-10 广州市新谷电子科技有限公司 可视化标注方法、装置、计算机设备以及存储介质
CN117252202A (zh) * 2023-11-20 2023-12-19 江西风向标智能科技有限公司 高中数学题目中命名实体的构建方法、识别方法和系统
CN117610574A (zh) * 2024-01-23 2024-02-27 广东省人民医院 一种基于跨域迁移学习的命名实体识别方法和装置
CN117877466A (zh) * 2023-12-22 2024-04-12 中国电子科技集团公司第二十八研究所 一种基于实体替换的语音数据增强方法
CN117875319A (zh) * 2023-12-29 2024-04-12 汉王科技股份有限公司 医疗领域标注数据的获取方法、装置、电子设备
CN121093959A (zh) * 2025-11-11 2025-12-09 中国铁道科学研究院集团有限公司电子计算技术研究所 铁路工作经历文本高精度实体识别方法、装置及电子设备

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704633B (zh) * 2019-09-04 2023-07-21 平安科技（深圳）有限公司 命名实体识别方法、装置、计算机设备及存储介质
CN111259134B (zh) * 2020-01-19 2023-08-08 出门问问信息科技有限公司 一种实体识别方法、设备及计算机可读存储介质
CN111444718A (zh) * 2020-03-12 2020-07-24 泰康保险集团股份有限公司 一种保险产品需求文档处理方法、装置及电子设备
CN111414950B (zh) * 2020-03-13 2023-08-18 天津美腾科技股份有限公司 基于标注者专业度管理的矿石图片标注方法和系统
CN111597813A (zh) * 2020-05-21 2020-08-28 上海创蓝文化传播有限公司 一种基于命名实体识别提取短信文本摘要的方法及装置
CN111522958A (zh) * 2020-05-28 2020-08-11 泰康保险集团股份有限公司 文本分类方法和装置
CN111738004B (zh) * 2020-06-16 2023-10-27 中国科学院计算技术研究所 一种命名实体识别模型的训练方法及命名实体识别的方法
CN111797629B (zh) * 2020-06-23 2022-07-29 平安医疗健康管理股份有限公司 医疗文本数据的处理方法、装置、计算机设备和存储介质
CN111881296B (zh) * 2020-07-31 2025-02-14 深圳市万物云科技有限公司 一种基于社区场景的工单处理方法及相关组件
CN112257441B (zh) * 2020-09-15 2024-04-05 浙江大学 一种基于反事实生成的命名实体识别增强方法
CN112487817A (zh) * 2020-12-14 2021-03-12 北京明略软件系统有限公司 命名实体识别模型训练方法、样本标注方法、装置及设备
CN112507082B (zh) * 2020-12-16 2024-08-16 作业帮教育科技（北京）有限公司 一种智能识别不当文本交互的方法、装置和电子设备
CN112633002A (zh) * 2020-12-29 2021-04-09 上海明略人工智能(集团)有限公司 样本标注、模型训练、命名实体识别方法和装置
CN112765985B (zh) * 2021-01-13 2023-10-27 中国科学技术信息研究所 一种面向特定领域专利实施例的命名实体识别方法
CN112686047B (zh) * 2021-01-21 2024-03-29 北京云上曲率科技有限公司 一种基于命名实体识别的敏感文本识别方法、装置、系统
CN112818691A (zh) * 2021-02-01 2021-05-18 北京金山数字娱乐科技有限公司 命名实体识别模型训练方法及装置
CN113064992A (zh) * 2021-03-22 2021-07-02 平安银行股份有限公司 投诉工单结构化处理方法、装置、设备及存储介质
CN112906349A (zh) * 2021-03-30 2021-06-04 苏州大学 一种数据标注的方法、系统、设备及可读存储介质
CN113807096B (zh) * 2021-04-09 2024-10-18 京东科技控股股份有限公司 文本数据的处理方法、装置、计算机设备和存储介质
CN113221576B (zh) * 2021-06-01 2023-01-13 复旦大学 一种基于序列到序列架构的命名实体识别方法
CN113449632B (zh) * 2021-06-28 2023-04-07 重庆长安汽车股份有限公司 一种基于融合感知的视觉与雷达感知算法优化方法、系统及汽车
CN113779065B (zh) * 2021-08-23 2024-09-06 深圳价值在线信息科技股份有限公司 数据比对的验证方法、装置、终端设备及介质
CN115730017A (zh) * 2021-08-27 2023-03-03 台达电子工业股份有限公司 产生实体关系抽取模型的装置及方法
CN114580413B (zh) * 2022-02-15 2025-12-16 阿里巴巴（中国）有限公司 模型训练和命名实体识别方法、装置、电子设备以及存储介质
CN114722172A (zh) * 2022-03-29 2022-07-08 平安科技（深圳）有限公司 获取标注数据的方法、装置、电子设备及介质
CN115099324B (zh) * 2022-06-20 2025-10-21 阳光保险集团股份有限公司 一种训练数据检测模型的方法、数据检测的方法及装置
CN114912455B (zh) * 2022-07-12 2022-09-30 共道网络科技有限公司 命名实体识别的方法和装置
CN115640808B (zh) * 2022-12-05 2023-03-21 苏州浪潮智能科技有限公司 一种文本的标注方法、装置、电子设备及可读存储介质
CN116257644A (zh) * 2023-02-14 2023-06-13 阳光保险集团股份有限公司 标注数据的方法、通过模型标注数据的方法及装置
CN117077679B (zh) * 2023-10-16 2024-03-12 之江实验室 命名实体识别方法和装置
CN119357411B (zh) * 2024-12-24 2025-05-23 天津美腾科技股份有限公司 一种安全管理知识图谱数据的标注方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030187642A1 (en) * 2002-03-29 2003-10-02 International Business Machines Corporation System and method for the automatic discovery of salient segments in speech transcripts
CN109101481A (zh) * 2018-06-25 2018-12-28 北京奇艺世纪科技有限公司 一种命名实体识别方法、装置及电子设备
CN109885825A (zh) * 2019-01-07 2019-06-14 平安科技（深圳）有限公司 基于注意力机制的命名实体识别方法、装置和计算机设备
CN110704633A (zh) * 2019-09-04 2020-01-17 平安科技（深圳）有限公司 命名实体识别方法、装置、计算机设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102033950A (zh) * 2010-12-23 2011-04-27 哈尔滨工业大学 电子产品命名实体自动识别系统的构建方法及识别方法
CN109241520B (zh) * 2018-07-18 2023-05-23 五邑大学 一种基于分词和命名实体识别的多层误差反馈神经网络的句子主干分析方法及系统
CN109145303B (zh) * 2018-09-06 2023-04-18 腾讯科技（深圳）有限公司 命名实体识别方法、装置、介质以及设备
CN109543181B (zh) * 2018-11-09 2023-01-31 中译语通科技股份有限公司 一种基于主动学习和深度学习相结合的命名实体模型和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030187642A1 (en) * 2002-03-29 2003-10-02 International Business Machines Corporation System and method for the automatic discovery of salient segments in speech transcripts
CN109101481A (zh) * 2018-06-25 2018-12-28 北京奇艺世纪科技有限公司 一种命名实体识别方法、装置及电子设备
CN109885825A (zh) * 2019-01-07 2019-06-14 平安科技（深圳）有限公司 基于注意力机制的命名实体识别方法、装置和计算机设备
CN110704633A (zh) * 2019-09-04 2020-01-17 平安科技（深圳）有限公司 命名实体识别方法、装置、计算机设备及存储介质

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906375B (zh) * 2021-03-24 2024-05-14 平安科技（深圳）有限公司 文本数据标注方法、装置、设备及存储介质
CN112906375A (zh) * 2021-03-24 2021-06-04 平安科技（深圳）有限公司 文本数据标注方法、装置、设备及存储介质
CN115238027A (zh) * 2021-04-25 2022-10-25 京东科技控股股份有限公司 文本数据的处理方法及装置
CN113723102B (zh) * 2021-06-30 2024-04-26 平安国际智慧城市科技股份有限公司 命名实体识别方法、装置、电子设备及存储介质
CN113723102A (zh) * 2021-06-30 2021-11-30 平安国际智慧城市科技股份有限公司 命名实体识别方法、装置、电子设备及存储介质
CN113849597A (zh) * 2021-08-31 2021-12-28 艾迪恩(山东)科技有限公司 基于命名实体识别的违法广告词检测方法
CN113849597B (zh) * 2021-08-31 2024-04-30 艾迪恩(山东)科技有限公司 基于命名实体识别的违法广告词检测方法
CN113762132A (zh) * 2021-09-01 2021-12-07 国网浙江省电力有限公司金华供电公司 一种无人机巡检图像自动归类与自动命名系统
CN113836315A (zh) * 2021-09-23 2021-12-24 国网安徽省电力有限公司电力科学研究院 一种电力标准知识抽取系统
CN113838524B (zh) * 2021-09-27 2024-04-26 电子科技大学长三角研究院(衢州) S-亚硝基化位点预测方法、模型训练方法及存储介质
CN113838524A (zh) * 2021-09-27 2021-12-24 电子科技大学长三角研究院(衢州) S-亚硝基化位点预测方法、模型训练方法及存储介质
CN113836927B (zh) * 2021-09-27 2023-09-29 平安科技（深圳）有限公司 命名实体识别模型的训练方法、装置、设备及存储介质
CN113836927A (zh) * 2021-09-27 2021-12-24 平安科技（深圳）有限公司 命名实体识别模型的训练方法、装置、设备及存储介质
CN114048744A (zh) * 2021-10-28 2022-02-15 盐城金堤科技有限公司 基于实体抽取的任职记录生成方法、装置及设备
CN114239586A (zh) * 2021-12-17 2022-03-25 深圳壹账通创配科技有限公司 中文命名实体识别方法、装置、存储介质及电子设备
CN114492383A (zh) * 2021-12-20 2022-05-13 北京邮电大学 一种数字货币交易地址的实体名称识别方法和装置
CN114742012A (zh) * 2022-04-08 2022-07-12 工保科技(浙江)有限公司 一种招投标采集数据自动结构化的方法、系统和介质
CN114880992A (zh) * 2022-04-21 2022-08-09 浪潮云信息技术股份公司 一种基于深度学习的序列标注方法
CN114818929A (zh) * 2022-04-27 2022-07-29 杭州卓印智能科技有限公司 一种基于自学习标注的标注模型训练方法及标注方法
CN115456199A (zh) * 2022-09-20 2022-12-09 云知声智能科技股份有限公司 一种识别模型的训练方法、装置、电子设备及存储介质
CN115965022A (zh) * 2022-12-05 2023-04-14 中信银行股份有限公司 一种包含特定校验的命名实体识别发证机关方法及系统
CN116306648A (zh) * 2023-02-24 2023-06-23 西华大学 命名实体的识别方法和识别装置
CN116306648B (zh) * 2023-02-24 2026-01-30 西华大学 命名实体的识别方法和识别装置
CN117010390A (zh) * 2023-07-04 2023-11-07 北大荒信息有限公司 基于招标信息的公司实体识别方法、装置、设备及介质
CN116629246A (zh) * 2023-07-12 2023-08-22 易信(厦门)信用服务技术有限公司 一种自适应数据分析与模型管理的方法和系统
CN117034864A (zh) * 2023-09-07 2023-11-10 广州市新谷电子科技有限公司 可视化标注方法、装置、计算机设备以及存储介质
CN117034864B (zh) * 2023-09-07 2024-05-10 广州市新谷电子科技有限公司 可视化标注方法、装置、计算机设备以及存储介质
CN117252202A (zh) * 2023-11-20 2023-12-19 江西风向标智能科技有限公司 高中数学题目中命名实体的构建方法、识别方法和系统
CN117252202B (zh) * 2023-11-20 2024-03-19 江西风向标智能科技有限公司 高中数学题目中命名实体的构建方法、识别方法和系统
CN117877466A (zh) * 2023-12-22 2024-04-12 中国电子科技集团公司第二十八研究所 一种基于实体替换的语音数据增强方法
CN117875319A (zh) * 2023-12-29 2024-04-12 汉王科技股份有限公司 医疗领域标注数据的获取方法、装置、电子设备
CN117875319B (zh) * 2023-12-29 2024-09-03 汉王科技股份有限公司 医疗领域标注数据的获取方法、装置、电子设备
CN117610574B (zh) * 2024-01-23 2024-04-26 广东省人民医院 一种基于跨域迁移学习的命名实体识别方法和装置
CN117610574A (zh) * 2024-01-23 2024-02-27 广东省人民医院 一种基于跨域迁移学习的命名实体识别方法和装置
CN121093959A (zh) * 2025-11-11 2025-12-09 中国铁道科学研究院集团有限公司电子计算技术研究所 铁路工作经历文本高精度实体识别方法、装置及电子设备

Also Published As

Publication number Publication date
CN110704633A (zh) 2020-01-17
CN110704633B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
WO2021043085A1 (zh) 命名实体识别方法、装置、计算机设备及存储介质
CN111680634B (zh) 公文文件处理方法、装置、计算机设备及存储介质
US10628403B2 (en) Annotation system for extracting attributes from electronic data structures
CN110362822B (zh) 用于模型训练的文本标注方法、装置、计算机设备及存储介质
CN113704429A (zh) 基于半监督学习的意图识别方法、装置、设备及介质
CN107122416A (zh) 一种中文事件抽取方法
US20200192927A1 (en) Detecting affective characteristics of text with gated convolutional encoder-decoder framework
CN111191275A (zh) 敏感数据识别方法、系统及其装置
CN113743101B (zh) 文本纠错方法、装置、电子设备和计算机存储介质
TW201837788A (zh) 理賠單據的字元識別方法及伺服器
CN111613212A (zh) 语音识别方法、系统、电子设备和存储介质
CN111046670B (zh) 基于毒品案件法律文书的实体及关系联合抽取方法
CN111723870B (zh) 基于人工智能的数据集获取方法、装置、设备和介质
CN112652295B (zh) 语言模型训练、视频字幕校验方法、装置、设备及介质
CN111506595B (zh) 一种数据查询方法、系统及相关设备
CN113204956B (zh) 多模型训练方法、摘要分段方法、文本分段方法及装置
CN111414751A (zh) 质检优化方法、装置、设备及存储介质
WO2021031505A1 (zh) 音频标注的检错方法、装置、计算机设备和存储介质
CN114036950A (zh) 一种医疗文本命名实体识别方法及系统
CN112733530A (zh) 文本标点纠正方法、装置、电子设备及存储介质
CN104778171A (zh) 字符串匹配系统及方法
CN113591479B (zh) 电力计量的命名实体识别方法、装置和计算机设备
CN115169344A (zh) 中文文本纠错方法、装置、设备与介质
CN110705211A (zh) 文本重点内容标记方法、装置、计算机设备及存储介质
CN113961672A (zh) 信息标注方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20861355

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20861355

Country of ref document: EP

Kind code of ref document: A1