WO2020073664A1 - 指代消解方法、电子装置及计算机可读存储介质 - Google Patents

指代消解方法、电子装置及计算机可读存储介质 Download PDF

Info

Publication number
WO2020073664A1
WO2020073664A1 PCT/CN2019/089147 CN2019089147W WO2020073664A1 WO 2020073664 A1 WO2020073664 A1 WO 2020073664A1 CN 2019089147 W CN2019089147 W CN 2019089147W WO 2020073664 A1 WO2020073664 A1 WO 2020073664A1
Authority
WO
WIPO (PCT)
Prior art keywords
antecedent
candidate
model
referential
pronoun
Prior art date
Application number
PCT/CN2019/089147
Other languages
English (en)
French (fr)
Inventor
赵峰
杜展
王健宗
肖京
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2020073664A1 publication Critical patent/WO2020073664A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition

Definitions

  • the present application relates to the field of text processing technology, and more particularly, to a referential digestion method, an electronic device, and a computer-readable storage medium.
  • Reference resolution that is, the task of identifying which references in the text refer to entities in the same real world, is an important aspect in text understanding and has a wide range of applications.
  • Many methods of referential resolution use learning a scoring function defined on a referential pair to make a common reference (two referentials refer to the same entity). However, this method does not use information at the entity level, that is, the characteristics between the references.
  • the purpose of the present application is to provide a referential digestion method, an electronic device, and a computer-readable storage medium that combine entity-level information to improve the accuracy of recognition.
  • the present application provides an electronic device.
  • the electronic device includes a memory and a processor, and the memory includes a reference digestion program.
  • the reference digestion program is executed by the processor, the following steps are implemented:
  • the feature index includes one or more of distance features, grammatical features, semantic features, and rule-based features;
  • a ranking model is used to sort the candidate antecedent words in the aforementioned candidate antecedent subset of each pronoun according to the set rules to obtain the antecedent and weight corresponding to each pronoun;
  • the present application also provides a referential digestion method, including:
  • the feature index includes one or more of distance features, grammatical features, semantic features, and rule-based features;
  • a ranking model is used to sort the candidate antecedent words in the aforementioned candidate antecedent subset of each pronoun according to the set rules to obtain the antecedent and weight corresponding to each pronoun;
  • the weights of the above ranking models are considered to cluster the different pronouns referring to the same antecedent to obtain the referential cluster.
  • the present application also provides a computer-readable storage medium, the computer-readable storage medium includes a reference digestion program, and when the reference digestion program is executed by a processor, the above-mentioned reference is realized Steps of digestion method.
  • the reference digestion method, electronic device, and computer-readable storage medium described in this application use the nesting of classification models, ranking models, and clustering models to construct reference clusters based on the characteristics between the pronouns.
  • the referential resolution of information and entity-level information improves the accuracy of recognition.
  • FIG. 1 is a schematic diagram of an application environment of a preferred embodiment of a digestion method in this application
  • FIG. 2 is a schematic block diagram of a preferred embodiment of the digestion process in FIG. 1;
  • FIG. 3 is a flowchart of a preferred embodiment of the digestion method in this application.
  • the present application provides a referential digestion method, which is applied to an electronic device 1.
  • FIG. 1 it is a schematic diagram of an application environment for referring to a preferred embodiment of a digestion method in this application.
  • the electronic device 1 may be a terminal device having a computing function such as a server, a mobile phone, a tablet computer, a portable computer, a desktop computer, or the like.
  • the electronic device 1 includes a memory 11, a processor 12, a network interface 13, and a communication bus 14.
  • the memory 11 includes at least one type of readable storage medium.
  • the at least one type of readable storage medium may be a non-volatile storage medium such as flash memory, hard disk, multimedia card, card-type memory 11, and the like.
  • the readable storage medium may be an internal storage unit of the electronic device 1, such as a hard disk of the electronic device 1.
  • the readable storage medium may also be the external memory 11 of the electronic device 1, such as a plug-in hard disk equipped on the electronic device 1, a smart memory card (Smart Memory Card, SMC) , Secure Digital (SD) card, Flash card (Flash Card), etc.
  • the readable storage medium of the memory 11 is generally used to store the reference digestion program 10, text sample library, and pre-trained classification model, ranking model, clustering model installed in the electronic device 1. Wait.
  • the memory 11 can also be used to temporarily store data that has been or will be output.
  • the processor 12 may be a central processing unit (CPU), microprocessor, or other data processing chip, which is used to run program codes or process data stored in the memory 11, for example, to perform referential digestion. Procedure 10 and so on.
  • CPU central processing unit
  • microprocessor or other data processing chip, which is used to run program codes or process data stored in the memory 11, for example, to perform referential digestion. Procedure 10 and so on.
  • the network interface 13 may optionally include a standard wired interface and a wireless interface (such as a WI-FI interface), which are generally used to establish a communication connection between the electronic device 1 and other electronic devices.
  • a standard wired interface such as a WI-FI interface
  • WI-FI interface wireless interface
  • the communication bus 14 is used to realize connection and communication between these components.
  • FIG. 1 only shows the electronic device 1 having the components 11-14, but it should be understood that not all components shown are required to be implemented, and more or fewer components may be implemented instead.
  • the electronic device 1 may further include a user interface
  • the user interface may include an input unit such as a keyboard, a voice input device such as a microphone (microphone) and other devices with voice recognition functions, and a voice output device such as a stereo and headphones, etc.
  • the user interface may also include a standard wired interface and a wireless interface.
  • the electronic device 1 may further include a display, and the display may also be called a display screen or a display unit.
  • it may be an LED display, a liquid crystal display, a touch-sensitive liquid crystal display, an organic light-emitting diode (OLED) touch device, or the like.
  • the display is used to display information processed in the electronic device 1 and to display a visual user interface.
  • the electronic device 1 further includes a touch sensor.
  • the area provided by the touch sensor for the user to perform a touch operation is called a touch area.
  • the touch sensor described herein may be a resistive touch sensor, a capacitive touch sensor, or the like.
  • the touch sensor includes not only a touch-type touch sensor but also a proximity-type touch sensor and the like.
  • the touch sensor may be a single sensor or a plurality of sensors arranged in an array, for example.
  • the electronic device 1 may further include logic gate circuits, sensors, audio circuits, etc., which will not be repeated here.
  • the memory 11 as a computer storage medium may include an operating system and a reference digestion program 10; when the processor 12 executes the reference digestion program 10 stored in the memory 11, the implementation is as follows step:
  • the feature index includes one or more of distance features, grammatical features, semantic features, and rule-based features;
  • a ranking model is used to sort the candidate antecedent words in the aforementioned candidate antecedent subset of each pronoun according to the set rules to obtain the antecedent and weight corresponding to each pronoun;
  • the weights of the above ranking models are considered to cluster different pronouns that refer to the same antecedent to obtain a referential cluster.
  • the above-mentioned referral resolution program 10 uses information at the entity level to make a common pre-reference (pre-reference, refer to the following) when making a decision to refer back (refer to the above-mentioned content) Mentioned), for example, if it is found that "Obama” and “He” refer to both, then this information will be used when deciding whether "Obama” and "Barack Obama” or "Michelle Obama” Function, that is to say, "Obama” refers to "Barack Obama", not “Michelle Obama”.
  • the training step of the classification model includes:
  • the number of elements of the first weight matrix is the same as the number of elements of the candidate advance set
  • f (A i , m j ) is the feature of the subset A i of the candidate precedent combination corresponding to the referent m j
  • the training set includes a training reference set and a correct antecedent set and an incorrect antecedent set for each pronoun;
  • the clustering step of the clustering model includes:
  • D represents the decision, for example, it can be the root mean square error, etc.
  • ⁇ e is the weight composed of the weights between the two pronouns referring to the same antecedent and their respective candidate antecedents that are not resolved after the ranking model Matrix
  • f e (D) is the feature function between the two demonstratives under decision D, for example, when decision D is the root mean square error
  • f e (D) is the root mean square between the two demonstratives Error function
  • the reference pair score between the two reference words
  • the reference digestion program 10 may also be divided into one or more modules, and the one or more modules are stored in the memory 11 and executed by the processor 12 to complete the application.
  • the module referred to in this application refers to a series of computer program instruction segments capable of performing specific functions.
  • FIG. 2 it is a functional block diagram of a preferred embodiment of the digestion program 10 in FIG. 1.
  • the referential digestion program 10 can be divided into:
  • the word segmentation module 110 segment the text to obtain the reference set and the candidate advanced set;
  • the vector conversion module 120 constructs a feature vector between each pronoun and each candidate antecedent according to a feature index, where the feature index includes one or more of distance features, grammatical features, semantic features, and rule-based features,
  • the distance feature may be the distance between a pronoun and a candidate antecedent in a sentence.
  • the grammatical feature includes the number of noun phrases under the referent, part-of-speech tags, etc.
  • the features include named entity type, speaker recognition, etc.
  • the rule-based features include accurate or partial string matching rules;
  • Classification module 130 simulating the classification of each pronoun under various weight matrices to refer to a subset of the candidate antecedent sets, and inputting the feature vector corresponding to each classification into the classification model to obtain the classification model corresponding to each pronoun Weight matrix and candidate antecedent subset;
  • the sorting module 140 uses the sorting model to sort the candidate antecedent words in the aforementioned candidate antecedent subset of each pronoun according to a set rule, to obtain the antecedent and weight corresponding to each pronoun;
  • the clustering module 150 considers the weight of the ranking model in clustering decision to cluster different pronouns referring to the same antecedent to obtain a referential cluster.
  • the present application also provides a referential digestion method.
  • FIG. 3 it is a flowchart of a preferred embodiment of a digestion method in this application.
  • the method may be executed by an apparatus, and the apparatus may be implemented by software and / or hardware.
  • the referential digestion method includes:
  • Step S1 word segmentation of the text to obtain the reference set M and the candidate prior set A
  • A [a 1 , a 2 , ... a w ]
  • Step S2 a feature extraction step, constructing a feature vector between each pronoun and each candidate antecedent according to a feature index, the feature index including one or more of distance features, grammatical features, semantic features, and rule-based features Species
  • Step S3 input the feature vector into the classification model to obtain the candidate antecedent combination of each pronoun under the weight matrix of the classification model;
  • step S4 the candidate antecedent combination of each pronoun is sorted according to a set rule using a ranking model to obtain the antecedent of each pronoun under the weight of the ranking model;
  • step S5 the clustering decision of the clustering model considers the weight of the ranking model to cluster different pronouns that refer to the same antecedent to obtain a cluster of referents.
  • step S3 it includes a training step of the classification model and a classification step of the text that does not refer to the digested text, wherein the training step of the classification model includes:
  • a common reference probability model for each reference word and each subset of the candidate antecedent set. For example, use a logarithmic probability regression classifier to assign a probability to a reference m and candidate antecedent a, indicating The two referents are the likelihood of co-reference. If the reference m has no antecedent, then the candidate antecedent a can take a null value (NA),
  • I the common reference probability of the subset A i of the pronoun m j and the candidate precedent combination under the weight matrix ⁇ i
  • f (A i , m j ) is the feature of the subset A i of the candidate precedent combination corresponding to the pronoun m j
  • T stands for matrix transpose
  • a i [a 1 a 3 ]
  • each candidate antecedent is a classification model is obtained by optimizing the loss function. Specifically, each pair of reference pairs is considered independently in the classification model, and the goal is to match as many candidate antecedents as possible for each reference , Each candidate antecedent is used as a class;
  • the training set includes a training reference set and a correct antecedent set and an incorrect antecedent set for each pronoun;
  • the classification model is obtained.
  • optimization methods such as gradient descent on the training data set
  • the The first weight matrix of the classification model is the classification model parameters.
  • the step of classifying the unreferenced digested text includes:
  • the optimization loss function of the classification model is optimized by the following gradient (2) using the gradient descent optimization method,
  • C is a mark to distinguish the Classification model from other models
  • ⁇ C represents the first weight matrix of the classification model to be optimized
  • L C ( ⁇ C ) represents the first weight matrix of the classification model is ⁇ C
  • T (m) represents the correct antecedent set of pronoun m
  • F (m) represents the wrong antecedent set of pronoun m
  • ⁇ is the regularization parameter.
  • step S4 in the ranking model, all candidate antecedents of a certain pronoun are considered at the same time and compete with each other, the purpose is to find the best antecedent of the current referent, that is, after the classification model For each pronoun in the text, a set containing all possible candidate antecedent words is established, and the ranking model selects the best antecedent word from the set of candidate antecedent words.
  • the setting rule of the ranking model for ranking is that the interval between the highest score of the candidate antecedent in the correct antecedent set and the highest score in the wrong antecedent is the largest.
  • the ranking model is obtained by optimizing the loss function, include:
  • r is a mark to distinguish the ranking model from other models
  • ⁇ r represents the second weight matrix of the ranking model to be optimized
  • L r ( ⁇ r ) represents the loss caused when the second weight matrix of the ranking model is ⁇ r ;
  • the optimization method is used to obtain the second weight matrix of the ranking model through the training set. For example, by using optimization methods such as gradient descent on the training data set, the second weight matrix of the ranking model, that is, the ranking model parameters, is obtained.
  • step S5 construct a model based on the reference cluster rather than the entity center of the reference pair, first apply the classification model and the ranking model iteration, and establish a reference cluster (a collection of reference pairs) that points to the same entity.
  • a reference cluster a collection of reference pairs
  • It is a method of agglomerative hierarchical clustering. Starting from a point as an individual cluster, each step merges the two closest clusters until all clusters are merged into one (the uppermost layer), or a termination condition is reached. From the perspective of finite state automata, each state is in a single-element cluster as the starting state, observe the current state s at each step, select one from the state transition set to process D, and merge the two The existing cluster reaches a new state, and then iterates. Entities as the center is to establish a set (cluster) of representative pairs that can represent entities, and then merge them if they refer to the same entity.
  • the clustering steps of the clustering model include:
  • D represents the decision, for example, it can be the root mean square error, etc.
  • ⁇ e is the weight composed of the weights between the two pronouns referring to the same antecedent and their respective candidate antecedents that are not resolved after the ranking model Matrix
  • f e (D) is the feature function between the two demonstratives under decision D, for example, when decision D is the root mean square error
  • f e (D) is the root mean square between the two demonstratives Error function
  • the reference pair score between the two reference words
  • Words are merged to obtain reference clusters that belong to the same antecedent, such as initializing C ⁇ initial clustering, each referring word forms its own cluster
  • C [m i] represents Pronouns in the cluster m i
  • m i i.e. generation is the set of all the pronouns of the same entity
  • the parameter ⁇ C refers to the classifier of the hierarchy and the parameter ⁇ e processing and cut-off threshold y, and the output is cluster C.
  • the clustering procedure of the clustering model is as follows:
  • p ⁇ (m i , m j ) means that mi is a candidate antecedent, and m j is a pronoun, the two are the probabilities of common reference, and ⁇ is ⁇ C , which is the parameter matrix of the classification model.
  • the reference words that refer to the same antecedent after the judgment step are sorted in descending order of the common reference probability, and the reference word with the highest common reference probability is used as the central word.
  • the technical solution of the present application can be embodied in the form of a software product in essence or part that contributes to the existing technology, and the computer software product is stored in a storage medium (such as ROM / RAM) as described above , Magnetic disks, optical disks), including several instructions to enable a terminal device (which may be a mobile phone, computer, server, or network device, etc.) to perform the method described in each embodiment of the present application.
  • a storage medium such as ROM / RAM
  • magnetic disks such as described above , Magnetic disks, optical disks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本申请涉及大数据分析，提供一种指代消解方法，包括：对文本进行分词得到指代集合及候选先行集合；根据特征指标构建指代词和候选先行词之间的特征向量；模拟指代词、权重矩阵和候选先行集合子集的分类情况，将每种分类情况对应的特征向量输入分类模型，得到每个指代词对应的权重矩阵和候选先行词子集；采用排序模型对候选先行词子集中各候选先行词按照设定规则进行排序，得到每个指代词对应的先行词和权重；在聚类决策中考虑排序模型权重对指代同一先行词的不同指代词进行聚类，得到指代簇。本申请还提出了一种电子装置及计算机可读存储介质。本申请通过模型套叠引入一个能够结合指代对信息和实体层面信息的指代消解，提高了识别的正确率。

Description

指代消解方法、电子装置及计算机可读存储介质
本申请要求于2018年10月8日提交的中国专利申请号201811168621.5的优先权益，上述案件全部内容以引用的方式并入本文中。
技术领域
本申请涉及文本处理技术领域，更为具体地，涉及一种指代消解方法、电子装置及计算机可读存储介质。
背景技术
指代消解，即辨认在文本中哪些指代指的是同一个真实世界中的实体的任务，是文本理解中的一个重要方面，有着广泛的应用。很多指代消解的方法都是用学习一个定义在指代对上的计分函数来做出共指(两个指代词指的是同一实体)的判断。然而，这样的方法没有用到实体层次的信息，即指代之间的特征。
发明内容
鉴于上述问题，本申请的目的是提供一种结合实体层次的信息，提高识别的正确率的指代消解方法、电子装置和计算机可读存储介质。
为了实现上述目的，本申请提供一种电子装置，所述电子装置包括存储器和处理器，所述存储器中包括指代消解程序，所述指代消解程序被所述处理器执行时实现如下步骤：
对文本进行分词，得到指代集合及候选先行集合；
根据特征指标构建每个指代词和每个候选先行词之间的特征向量，所述特征指标包括距离特征、语法特征、语义特征和基于规则特征中的一种或多种；
模拟各指代词在各种权重矩阵下的指代各候选先行集合子集的分类情况，将每一种分类情况对应的特征向量输入分类模型，得到每个指代词对应的分类模型的权重矩阵和候选先行词子集；
采用排序模型对每个指代词的上述候选先行词子集中各候选先行词按照设定规则进行排序，得到每个指代词对应的先行词和权重；
在聚类决策中考虑上述排序模型的权重对指代同一先行词的不同指代词进行聚类，得到指代簇。
此外，为了实现上述目的，本申请还提供一种指代消解方法，包括：
对文本进行分词，得到指代集合及候选先行集合；
根据特征指标构建每个指代词和每个候选先行词之间的特征向量，所述特征指标包括距离特征、语法特征、语义特征和基于规则特征中的一种或多种；
模拟各指代词在各种权重矩阵下的指代各候选先行集合子集的分类情况，将每一种分类情况对应的特征向量输入分类模型，得到每个指代词对应的分类模型的权重矩阵和候选先行词子集；
采用排序模型对每个指代词的上述候选先行词子集中各候选先行词按照设定规则进行排序，得到每个指代词对应的先行词和权重；
在聚类模型聚类决策中考虑上述排序模型的权重对指代同一先行词的不同指代词进行聚类，得到指代簇。
此外，为了实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中包括指代消解程序，所述指代消解程序被处理器执行时，实现上述的指代消解方法的步骤。
本申请所述指代消解方法、电子装置和计算机可读存储介质采用分类模型、排序模型和聚类模型的套叠根据指代词之间的特征构建指代簇，通过模型套叠引入一个能够结合指代对信息和实体层面信息的指代消解，提高了识别的正确率。
附图说明
通过参考以下结合附图的说明，并且随着对本申请的更全面理解，本申请的其它目的及结果将更加明白及易于理解。在附图中：
图1是本申请指代消解方法较佳实施例的应用环境示意图；
图2是图1中指代消解程序较佳实施例的模块示意图；
图3是本申请指代消解方法较佳实施例的流程图。
在所有附图中相同的标号指示相似或相应的特征或功能。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
以下将结合附图对本申请的具体实施例进行详细描述。
本申请提供一种指代消解方法，应用于一种电子装置1。参照图1所示，为本申请指代消解方法较佳实施例的应用环境示意图。
在本实施例中，电子装置1可以是服务器、手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。
该电子装置1包括存储器11、处理器12、网络接口13及通信总线14。
存储器11包括至少一种类型的可读存储介质。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器11等的非易失性存储介质。在一些实施例中，所述可读存储介质可以是所述电子装置1的内部存储单元，例如该电子装置1的硬盘。在另一些实施例中，所述可读存储介质也可以是所述电子装置1的外部存储器11，例如所述电子装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。
在本实施例中，所述存储器11的可读存储介质通常用于存储安装于所述电子装置1的指代消解程序10、文本样本库及预先训练好的分类模型、排序模型、聚类模型等。所述存储器11还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行指代消解程序10等。
网络接口13可选地可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该电子装置1与其他电子设备之间建立通信连接。
通信总线14用于实现这些组件之间的连接通信。
图1仅示出了具有组件11-14的电子装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，该电子装置1还可以包括用户接口，用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等，可选地用户接口还可以包括标准的有线接口、无线接口。
可选地，该电子装置1还可以包括显示器，显示器也可以称为显示屏或显示单元。
在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。显示器用于显示在电子装置1中处理的信息以及用于显示可视化的用户界面。
可选地，该电子装置1还包括触摸传感器。所述触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外，这里所述的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且，所述触摸传感器不仅包括接触式的触摸传感器，也可包括接近式的触摸传感器等。此外，所述触摸传感器可以为单个传感器，也可以为例如阵列布置的多个传感器。
可选地，该电子装置1还可以包括逻辑门电路，传感器、音频电路等等，在此不再赘述。
在图1所示的装置实施例中，作为一种计算机存储介质的存储器11中可以包括操作系统、以及指代消解程序10；处理器12执行存储器11中存储的指代消解程序10时实现如下步骤：
对文本进行分词，得到指代集合及候选先行集合；
根据特征指标构建每个指代词和每个候选先行词之间的特征向量，所述特征指标包括距离特征、语法特征、语义特征和基于规则特征中的一种或多种；
模拟各指代词在各种权重矩阵下的指代各候选先行集合子集的分类情况，将每一种分类情况对应的特征向量输入分类模型，得到每个指代词对应的分类模型的权重矩阵和候选先行词子集；
采用排序模型对每个指代词的上述候选先行词子集中各候选先行词按照设定规则进行排序，得到每个指代词对应的先行词和权重；
在聚类模型的聚类决策中考虑上述排序模型的权重对指代同一先行词的不同指代词进行聚类，得到指代簇。
上述指代消解程序10使用实体层面的信息可以在做出共回指(回指，指代的是上文提及的内容)的决定时用上共预指(预指，指代是下文将要提及的内容)的信息，例如，如果发现“奥巴马”和“他”是共指，那么这个信息将在决定“奥巴马”和“贝拉克奥巴马”还是“米歇尔奥巴马”是共指时起作用，也就是说“奥巴马”指“贝拉克奥巴马”，而不是“米歇尔奥巴马”。
优选地，所述分类模型的训练步骤包括：
构建每一个指代词对应的候选先行集合的各子集的特征向量矩阵；
构建第一权重矩阵，所述第一权重矩阵的元素个数和候选先行集合元素个数相同；
根据下式(1)构建每个指代词和每个候选先行集合的子集的共指概率模型
Figure PCTCN2019089147-appb-000001
其中，
Figure PCTCN2019089147-appb-000002
为指代词m j和候选先行组合的子集A i在权重矩阵下θ i的共指概率，f(A i，m j)为指代词m j对应的候选先行组合的子集A i的特征向量矩阵；
将每一个候选先行词作为一类，通过优化损失函数得到分类模型；
根据已指代消解的文本构建训练集，所述训练集包括训练指代集合及每个指代词的正确先行词集合和错误先行词集合；
将训练集代入共指概率模型和分类模型，得到分类模型的第一权重矩阵中各权重的值。
优选地，所述聚类模型的聚类步骤包括：
根据下式(4)构建指代对分数模型
Figure PCTCN2019089147-appb-000003
其中，D表示决策，例如可以为均方根误差等，θ e为经过排序模型后未指代消解的指代同一先行词的两个指代词与各自的候选先行词之间的权重构成的权重矩阵，f e(D)为决策D下，所述两个指代词之间的特征函数，例如决策D为均方根误差时，f e(D)为两个指代词之间的均方根误差函数，
Figure PCTCN2019089147-appb-000004
为在决策D下，所述两个指代词之间的指代对分数；
以指代同一先行词的多个指代词中的任一个指代词为中心词，判断其他指代词与中心词的指代对分数是否满足设定条件，将满足设定条件的其他指代词和中心词进行合并，得到属于同一先行词的指代簇。
在其他实施例中，指代消解程序10还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由处理器12执行，以完成本申请。本申请所称的模块是指能够完成特定功能的一系列计算机程序指令段。参照图2所示，为图1中指代消解程序10较佳实施例的功能模块图。所述指代消解程序10可以被分割为：
分词模块110，对文本进行分词，得到指代集合及候选先行集合；
向量转化模块120，根据特征指标构建每个指代词和每个候选先行词之间的特征向量，所述特征指标包括距离特征、语法特征、语义特征和基于规则特征中的一种或多种，所述距离特征可以是指代词和候选先行词在句子中的距离，所述语法特征包括指代下名词短语的数量、词类标签等，所述予以特征包括命名实体类型、说话人识别等，所述基于规则的特征包括准确或部分字符串的匹配规则；
分类模块130，模拟各指代词在各种权重矩阵下的指代各候选先行集合子集的分类情况，将每一种分类情况对应的特征向量输入分类模型，得到每个指代词对应的分类模型的权重矩阵和候选先行词子集；
排序模块140，采用排序模型对每个指代词的上述候选先行词子集中各候选先行词按照设定规则进行排序，得到每个指代词对应的先行词和权重；
聚类模块150，在聚类决策中考虑上述排序模型的权重对指代同一先行词的不同指代词进行聚类，得到指代簇。
此外，本申请还提供一种指代消解方法。参照图3所示，为本申请指代消解方法较佳实施例的流程图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，指代消解方法包括：
步骤S1，对文本进行分词，得到指代集合M及候选先行集合A，
M＝[m 1，m 2，...m n]
A＝[a 1，a 2，...a w]
其中，m n为第n个指代词，a w为第w个候选先行词；
步骤S2，特征抽取步骤，根据特征指标构建每个指代词和每个候选先行词之间的特征向量，所述特征指标包括距离特征、语法特征、语义特征和基于规则特征中的一种或多种；
步骤S3，将特征向量输入分类模型，得到每个指代词在分类模型的权重矩阵下的候选先行词组合；
步骤S4，采用排序模型对每个指代词的上述候选先行词组合按照设定规则进行排序，得到每个指代词在排序模型的权重下的先行词；
步骤S5，在聚类模型的聚类决策中考虑上述排序模型的权重对指代同一先行词的不同指代词进行聚类，得到指代簇。
在步骤S3中，包括分类模型的训练步骤和未指代消解的文本的分类步骤，其中，所述分类模型的训练步骤包括：
构建每一个指代词对应的候选先行集合的各子集的特征向量矩阵；
构建第一权重矩阵，所述第一权重矩阵的元素个数和候选先行集合元素个数相同，θ T＝[θ 1，θ 2，...θ w]；
根据下式(1)构建每个指代词和每个候选先行集合的子集的共指概率模型，例如，用对数几率回归分类器给一个指代m和候选先行词a赋予一个概率，表示两个指代是共指的似然。如果指代m没有先行词，那么候选先行词a可以取空值(NA)值，
Figure PCTCN2019089147-appb-000005
其中，
Figure PCTCN2019089147-appb-000006
为指代词m j和候选先行组合的子集A i在权重矩阵θ i下的共指概率，f(A i，m j)为指代词m j对应的候选先行组合的子集A i的特征向量矩阵，T代表矩阵转置例如，A i＝[a 1 a 3]，
Figure PCTCN2019089147-appb-000007
将每一个候选先行词作为一类，通过优化损失函数得到分类模型，具体地，在分类模型中独立地考虑每对指代对，目标是为每一个指代匹配到尽可能多的候选先行词，每一个候选先行词作为一个类；
根据已指代消解的文本构建训练集，所述训练集包括训练指代集合及每个指代词的正确先行词集合和错误先行词集合；
将训练集代入共指概率模型和分类模型，得到分类模型的第一权重矩阵中各权重的值通过优化损失函数，得到分类模型，例如，通过在训练数据集上使用梯度下降等优化方法，得到分类模型的第一权重矩阵，即分类模型参数。
所述未指代消解的文本的分类步骤包括：
将经过分词和特征抽取的未指代消解的文本的指代集合和特征向量代入训练后的共指概率模型和分类模型，得到每个指代词在分类模型的权重矩阵下的候选先行词组合，例如，指代词m 1在权重矩阵
Figure PCTCN2019089147-appb-000008
下的候选先行词组合[a 1 a 3]，指代词m 2在权重矩阵
Figure PCTCN2019089147-appb-000009
下的候选先行词组合[a 1 a 2 a 3]。
优选地，所述分类模型的优化损失函数通过下式(2)使用梯度下降的优化方法优化，
Figure PCTCN2019089147-appb-000010
其中，C是分类(Classification)模型与其他模型区分的标志，θ C表示待优化的分类模型的第一权重矩阵，L C(θ C)表示分类模型的第一权重矩阵为θ C时，所造成的损失，T(m)表示指代词m的正确先行词集合，F(m)表示指代词m的错误先行词集合，通过最小化负的加入L1正则化的条件对数似然函数(损失函数)得到分类模型，λ为正则化参数。
在步骤S4中，在排序模型中，某一个指代词的所有候选先行词是同时被考虑并且是彼此竞争的，目的是找到当前指代的一个最好的先行词，也就是说，经过分类模型为文本中每个指代词，建立了一个包含所有可能的候选先行词的集合，排序模型从候选先行词的集合中选出最好的一个先行词。所述排序模型进行排序的设定规则为候选先行词在正确先行词集合中最高分和在错误先行词中的最高分的两者间间隔最大，具体地，通过优化损失函数来得 到排序模型，包括：
根据下式(3)构建排序模型的损失函数，
Figure PCTCN2019089147-appb-000011
其中，r是排序模型与其他模型区分的标志，θ r表示待优化的排序模型的第二权重矩阵，L r(θ r)表示排序模型的第二权重矩阵为θ r时，所造成的损失；
通过训练集采用优化方法得到排序模型的第二权重矩阵，例如，通过在训练数据集上使用梯度下降等优化方法，得到排序模型的第二权重矩阵，即排序模型参数。
在步骤S5中，构建一个基于指代簇而不是指代对的实体中心的模型，首先应用分类模型和排序模型迭代，建立起指向同一实体的指代簇(指代对的集合)，采用的是凝聚的层次聚类的方法，从点作为个体簇开始，每一步合并两个最接近的簇，直到所有的簇合并为一个(层次的最上层)，或者达到一个终止条件。从有限状态自动机的角度来考虑，以每个指代都是在一个单元素的簇的状态为起始状态，每一步观察当前状态s，从状态转移集合中选一个处理D，合并两个已存在的簇，到达一个新状态，然后进行迭代。以实体为中心是在于建立能代表实体的指代对的集合(簇)，然后如果它们指代同一个实体的化就对它们进行合并，具体地，所述聚类模型的聚类步骤包括：
根据下式(4)构建指代对分数模型
Figure PCTCN2019089147-appb-000012
其中，D表示决策，例如可以为均方根误差等，θ e为经过排序模型后未指代消解的指代同一先行词的两个指代词与各自的候选先行词之间的权重构成的权重矩阵，f e(D)为决策D下，所述两个指代词之间的特征函数，例如决策D为均方根误差时，f e(D)为两个指代词之间的均方根误差函数，
Figure PCTCN2019089147-appb-000013
为在决策D下，所述两个指代词之间的指代对分数；
以指代同一先行词的多个指代词中的任一个指代词为中心词，判断其他 指代词与中心词的指代对分数是否满足设定条件，将满足设定条件的其他指代词和中心词进行合并，得到属于同一先行词的指代簇，例如初始化C→初始聚类，每个指代词自成一簇
Figure PCTCN2019089147-appb-000014
其中，C[m i]表示指代词m i的聚类，即与m i代的是同一实体的所有指代词的集合，
Figure PCTCN2019089147-appb-000015
表示当采取的决策是合并C[m i]，C[m j]时(即D＝merge(C[m i]，C[m j])),决策D的概率值。
优选地，还包括判断步骤，判断指代词和其对应的先行词之间的共指概率是否大于设定阈值，删除不大于设定阈值的指代词，例如，聚类模型的输入为文档M中的指代词，参数为θ C指代对层次的分类器和参数为θ e的处理及截止阈值y，输出为聚类C，具体地，聚类模型的聚类程序如下：
初始化指代对的列表P→[]
for每对指代对(m i,m j)∈Μ 2(i＜j)do
if p θ(m i,m j)＞y,then
P.append((m i,m j))
根据
Figure PCTCN2019089147-appb-000016
将P降序排序
其中，p θ(m i,m j)表示m i作为候选先行词，m j作为指代词，二者是共指的概率，θ为θ C，为分类模型的参数矩阵。
进一步，优选地，按照共指概率的降序对经过判断步骤后的指代同一先行词的指代词进行排序，将共指概率最高的指代词作为中心词。
本申请之计算机可读存储介质的具体实施方式与上述指代消解方法、电子装置的具体实施方式大致相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在 涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (20)

  1. 一种指代消解方法，应用于电子装置，其特征在于，所述方法包括：
    对文本进行分词，得到指代集合及候选先行集合；
    根据特征指标构建每个指代词和每个候选先行词之间的特征向量，所述特征指标包括距离特征、语法特征、语义特征和基于规则特征中的一种或多种；
    模拟各指代词在各种权重矩阵下的指代各候选先行集合子集的分类情况，将每一种分类情况对应的特征向量输入分类模型，得到每个指代词对应的分类模型的权重矩阵和候选先行词子集；
    采用排序模型对每个指代词的上述候选先行词子集中各候选先行词按照设定规则进行排序，得到每个指代词对应的先行词和权重；
    在聚类模型聚类决策中考虑上述排序模型的权重对指代同一先行词的不同指代词进行聚类，得到指代簇。
  2. 根据权利要求1所述的指代消解方法，其特征在于，所述分类模型的训练步骤包括：
    构建每一个指代词对应的候选先行集合的各子集的特征向量矩阵；
    构建第一权重矩阵，所述第一权重矩阵的元素个数和候选先行集合元素个数相同；
    用对数几率回归分类器给每一个指代m和每一个候选先行词a赋予一个概率，表示为共指的似然，形成共指概率模型；
    将每一个候选先行词作为一类，通过优化损失函数得到分类模型；
    根据已指代消解的文本构建训练集，所述训练集包括训练指代集合及每个指代词的正确先行词集合和错误先行词集合；
    将训练集代入共指概率模型和分类模型，得到分类模型的第一权重矩阵中各权重的值。
  3. 根据权利要求2所述的指代消解方法，其特征在于，
    如果指代m没有先行词，则候选先行词a取空值。
  4. 根据权利要求2所述的指代消解方法，其特征在于，
    根据下式构建每个指代词和每个候选先行集合的子集的共指概率模型
    Figure PCTCN2019089147-appb-100001
    其中，
    Figure PCTCN2019089147-appb-100002
    为指代词m j和候选先行组合的子集A i在权重矩阵下θ i的共指概率，f(A i，m j)为指代词m j对应的候选先行组合的子集A i的特征向量矩阵。
  5. 根据权利要求2所述的指代消解方法，其特征在于，
    所述分类模型的训练步骤还包括未指代消解的文本的分类步骤：
    将经过分词和特征抽取的未指代消解的文本的指代集合和特征向量代入训练后的共指概率模型和分类模型，得到每个指代词在分类模型的权重矩阵下的候选先行词组合。
  6. 根据权利要求2所述的指代消解方法，其特征在于，所述分类模型的优化损失函数通过下式使用梯度下降的优化方法优化，
    Figure PCTCN2019089147-appb-100003
    其中，C是分类模型与其他模型区分的标志，θ C表示待优化的分类模型的第一权重矩阵，L C(θ C)表示分类模型的第一权重矩阵为θ C时，所造成的损失，T(m)表示指代词m的正确先行词集合，F(m)表示指代词m的错误先行词集合，λ为正则化参数，M为指代集合。
  7. 根据权利要求1所述的指代消解方法，其特征在于，所述排序模型进行排序的设定规则为候选先行词在正确先行词集合中最高分和在错误先行词中的最高分的两者间间隔最大。
  8. 根据权利要求1所述的指代消解方法，其特征在于，
    通过优化损失函数来得到排序模型，包括：
    根据下式构建排序模型的损失函数，
    Figure PCTCN2019089147-appb-100004
    其中，r是排序模型与其他模型区分的标志，θ r表示待优化的排序模型的第二权重矩阵，L r(θ r)表示排序模型的第二权重矩阵为θ r时，所造成的损失；
    通过训练集采用优化方法得到排序模型的第二权重矩阵，即排序模型参数。
  9. 根据权利要求8所述的指代消解方法，其特征在于，通过在训练数据集上使用梯度下降优化方法，得到排序模型的第二权重矩阵。
  10. 根据权利要求1所述的指代消解方法，其特征在于，
    构建一个基于指代簇的实体中心的模型，首先应用分类模型和排序模型迭代，建立起由多个指代对组成的指向同一实体的指代簇，采用凝聚的层次聚类的方法，从点作为个体簇开始，每一步合并两个最接近的簇，直到所有的簇合并为一个，或者达到终止条件。
  11. 根据权利要求10所述的指代消解方法，其特征在于，所述聚类模型的聚类步骤包括：
    根据下式构建指代对分数模型
    Figure PCTCN2019089147-appb-100005
    其中，D表示决策，θ e为经过排序模型后未指代消解的指代同一先行词的两个指代词与各自的候选先行词之间的权重构成的权重矩阵，f e(D)为决策D下，所述两个指代词之间的特征函数，
    Figure PCTCN2019089147-appb-100006
    为在决策D下，所述两个指代词之间的指代对分数；
    以指代同一先行词的多个指代词中的任一个指代词为中心词，判断其他指代词与中心词的指代对分数是否满足设定条件，将满足设定条件的其他指代词和中心词进行合并，得到属于同一先行词的指代簇。
  12. 根据权利要求11所述的指代消解方法，其特征在于，所述聚类模型的聚类步骤还包括：
    判断指代词和其对应的先行词之间的共指概率是否大于设定阈值，删除不大于设定阈值的指代词。
  13. 根据权利要求11所述的指代消解方法，其特征在于，聚类模型的聚类步骤中，按照共指概率的降序对经过判断步骤后的指代同一先行词的指代词进行排序，将共指概率最高的指代词作为中心词。
  14. 一种电子装置，其特征在于，所述电子装置包括存储器和处理器，所 述存储器中包括指代消解程序，所述指代消解程序被所述处理器执行时实现如下步骤：
    对文本进行分词，得到指代集合及候选先行集合；
    根据特征指标构建每个指代词和每个候选先行词之间的特征向量，所述特征指标包括距离特征、语法特征、语义特征和基于规则特征中的一种或多种；
    模拟各指代词在各种权重矩阵下的指代各候选先行集合子集的分类情况，将每一种分类情况对应的特征向量输入分类模型，得到每个指代词对应的分类模型的权重矩阵和候选先行词子集；
    采用排序模型对每个指代词的上述候选先行词子集中各候选先行词按照设定规则进行排序，得到每个指代词对应的先行词和权重；
    在聚类模型聚类决策中考虑上述排序模型的权重对指代同一先行词的不同指代词进行聚类，得到指代簇。
  15. 根据权利要求14所述的电子装置，其特征在于，所述分类模型的训练步骤包括：
    构建每一个指代词对应的候选先行集合的各子集的特征向量矩阵；
    构建第一权重矩阵，所述第一权重矩阵的元素个数和候选先行集合元素个数相同；
    根据下式(1)构建每个指代词和每个候选先行集合的子集的共指概率模型
    Figure PCTCN2019089147-appb-100007
    其中，
    Figure PCTCN2019089147-appb-100008
    为指代词m j和候选先行组合的子集A i在权重矩阵下θ i的共指概率，f(A i，m j)为指代词m j对应的候选先行组合的子集A i的特征向量矩阵；
    将每一个候选先行词作为一类，通过优化损失函数得到分类模型；
    根据已指代消解的文本构建训练集，所述训练集包括训练指代集合及每个指代词的正确先行词集合和错误先行词集合；
    将训练集代入共指概率模型和分类模型，得到分类模型的第一权重矩阵 中各权重的值。
  16. 根据权利要求14所述的电子装置，其特征在于，所述分类模型的优化损失函数通过下式使用梯度下降的优化方法优化，
    Figure PCTCN2019089147-appb-100009
    其中，C是分类模型与其他模型区分的标志，θ C表示待优化的分类模型的第一权重矩阵，L C(θ C)表示分类模型的第一权重矩阵为θ C时，所造成的损失，T(m)表示指代词m的正确先行词集合，F(m)表示指代词m的错误先行词集合，λ为正则化参数，M为指代集合。
  17. 根据权利要求14所述的电子装置，其特征在于，所述排序模型进行排序的设定规则为候选先行词在正确先行词集合中最高分和在错误先行词中的最高分的两者间间隔最大。
  18. 根据权利要求14所述的电子装置，其特征在于，所述聚类模型的聚类步骤包括：
    根据下式(4)构建指代对分数模型
    Figure PCTCN2019089147-appb-100010
    其中，D表示决策，θ e为经过排序模型后未指代消解的指代同一先行词的两个指代词与各自的候选先行词之间的权重构成的权重矩阵，f e(D)为决策D下，所述两个指代词之间的特征函数，
    Figure PCTCN2019089147-appb-100011
    为在决策D下，所述两个指代词之间的指代对分数；
    以指代同一先行词的多个指代词中的任一个指代词为中心词，判断其他指代词与中心词的指代对分数是否满足设定条件，将满足设定条件的其他指代词和中心词进行合并，得到属于同一先行词的指代簇。
  19. 根据权利要求14所述的电子装置，其特征在于，所述聚类模型的聚类步骤还包括：
    判断指代词和其对应的先行词之间的共指概率是否大于设定阈值，删除不大于设定阈值的指代词。
  20. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中 包括指代消解程序，所述指代消解程序被处理器执行时，实现如权利要求1至6中任一项所述的指代消解方法的步骤。
PCT/CN2019/089147 2018-10-08 2019-05-30 指代消解方法、电子装置及计算机可读存储介质 WO2020073664A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811168621.5 2018-10-08
CN201811168621.5A CN109446517B (zh) 2018-10-08 2018-10-08 指代消解方法、电子装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2020073664A1 true WO2020073664A1 (zh) 2020-04-16

Family

ID=65546350

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/089147 WO2020073664A1 (zh) 2018-10-08 2019-05-30 指代消解方法、电子装置及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN109446517B (zh)
WO (1) WO2020073664A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633014A (zh) * 2020-12-11 2021-04-09 厦门渊亭信息科技有限公司 一种基于神经网络的长文本指代消解方法和装置
CN113011162A (zh) * 2021-03-18 2021-06-22 北京奇艺世纪科技有限公司 一种指代消解方法、装置、电子设备及介质
CN113283240A (zh) * 2021-06-18 2021-08-20 竹间智能科技（上海）有限公司 共指消解方法及电子设备
CN113343980A (zh) * 2021-06-10 2021-09-03 西安邮电大学 自然场景文本检测方法及系统
US11645465B2 (en) 2020-12-10 2023-05-09 International Business Machines Corporation Anaphora resolution for enhanced context switching

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446517B (zh) * 2018-10-08 2022-07-05 平安科技（深圳）有限公司 指代消解方法、电子装置及计算机可读存储介质
CN110134944A (zh) * 2019-04-08 2019-08-16 国家计算机网络与信息安全管理中心 一种基于强化学习的指代消解方法
CN110162600B (zh) * 2019-05-20 2024-01-30 腾讯科技（深圳）有限公司 一种信息处理的方法、会话响应的方法及装置
CN112740200B (zh) 2019-07-25 2024-05-03 百度时代网络技术（北京）有限公司 用于基于共指消解的端到端深度强化学习的系统和方法
CN110909548B (zh) * 2019-10-10 2024-03-12 平安科技（深圳）有限公司 中文命名实体识别方法、装置及计算机可读存储介质
CN113297843B (zh) * 2020-02-24 2023-01-13 华为技术有限公司 指代消解的方法、装置及电子设备
CN111522909B (zh) * 2020-04-10 2024-04-02 海信视像科技股份有限公司 一种语音交互方法及服务器
CN111611807B (zh) * 2020-05-18 2022-12-09 北京邮电大学 一种基于神经网络的关键词提取方法、装置及电子设备
CN111626042B (zh) * 2020-05-28 2023-07-21 成都网安科技发展有限公司 指代消解方法及装置
CN112183060B (zh) * 2020-09-28 2022-05-10 重庆工商大学 多轮对话系统的指代消解方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105302794A (zh) * 2015-10-30 2016-02-03 苏州大学 一种中文同指事件识别方法及系统
CN106062791A (zh) * 2014-01-30 2016-10-26 谷歌公司 使电子消息的分段与一个或多个分段收信人相关联
CN107402913A (zh) * 2016-05-20 2017-11-28 腾讯科技（深圳）有限公司 先行词的确定方法和装置
CN109446517A (zh) * 2018-10-08 2019-03-08 平安科技（深圳）有限公司 指代消解方法、电子装置及计算机可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6074820B2 (ja) * 2015-01-23 2017-02-08 国立研究開発法人情報通信研究機構 アノテーション補助装置及びそのためのコンピュータプログラム
US20170286382A1 (en) * 2016-04-01 2017-10-05 International Business Machines Corporation Persisting annotations applied to an electronic hosted whiteboard
CN106294322A (zh) * 2016-08-04 2017-01-04 哈尔滨工业大学 一种基于lstm的汉语零指代消解方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106062791A (zh) * 2014-01-30 2016-10-26 谷歌公司 使电子消息的分段与一个或多个分段收信人相关联
CN105302794A (zh) * 2015-10-30 2016-02-03 苏州大学 一种中文同指事件识别方法及系统
CN107402913A (zh) * 2016-05-20 2017-11-28 腾讯科技（深圳）有限公司 先行词的确定方法和装置
CN109446517A (zh) * 2018-10-08 2019-03-08 平安科技（深圳）有限公司 指代消解方法、电子装置及计算机可读存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11645465B2 (en) 2020-12-10 2023-05-09 International Business Machines Corporation Anaphora resolution for enhanced context switching
CN112633014A (zh) * 2020-12-11 2021-04-09 厦门渊亭信息科技有限公司 一种基于神经网络的长文本指代消解方法和装置
CN112633014B (zh) * 2020-12-11 2024-04-05 厦门渊亭信息科技有限公司 一种基于神经网络的长文本指代消解方法和装置
CN113011162A (zh) * 2021-03-18 2021-06-22 北京奇艺世纪科技有限公司 一种指代消解方法、装置、电子设备及介质
CN113343980A (zh) * 2021-06-10 2021-09-03 西安邮电大学 自然场景文本检测方法及系统
CN113283240A (zh) * 2021-06-18 2021-08-20 竹间智能科技（上海）有限公司 共指消解方法及电子设备
CN113283240B (zh) * 2021-06-18 2023-07-07 竹间智能科技（上海）有限公司 共指消解方法及电子设备

Also Published As

Publication number Publication date
CN109446517A (zh) 2019-03-08
CN109446517B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
WO2020073664A1 (zh) 指代消解方法、电子装置及计算机可读存储介质
CN110162593B (zh) 一种搜索结果处理、相似度模型训练方法及装置
TWI662425B (zh) 一種自動生成語義相近句子樣本的方法
Akimushkin et al. Text authorship identified using the dynamics of word co-occurrence networks
WO2021068339A1 (zh) 文本分类方法、装置及计算机可读存储介质
WO2019218514A1 (zh) 网页目标信息的提取方法、装置及存储介质
US11080910B2 (en) Method and device for displaying explanation of reference numeral in patent drawing image using artificial intelligence technology based machine learning
CN112270196B (zh) 实体关系的识别方法、装置及电子设备
US10593422B2 (en) Interaction network inference from vector representation of words
CN109471944B (zh) 文本分类模型的训练方法、装置及可读存储介质
WO2019218473A1 (zh) 一种字段匹配方法、装置、终端设备及介质
CN110162771B (zh) 事件触发词的识别方法、装置、电子设备
CN108197109A (zh) 一种基于自然语言处理的多语言分析方法和装置
US20210406266A1 (en) Computerized information extraction from tables
WO2021208727A1 (zh) 基于人工智能的文本错误检测方法、装置、计算机设备
CN107209861A (zh) 使用否定数据优化多类别多媒体数据分类
CN111324771B (zh) 视频标签的确定方法、装置、电子设备及存储介质
CN110096573B (zh) 一种文本解析方法及装置
CN110083832B (zh) 文章转载关系的识别方法、装置、设备及可读存储介质
WO2022033426A1 (zh) 文档处理方法、文档处理装置和电子设备
CN107526721B (zh) 一种对电商产品评论词汇的歧义消除方法及装置
US20220058504A1 (en) Autoclassification of products using artificial intelligence
CN111813905A (zh) 语料生成方法、装置、计算机设备及存储介质
Noguti et al. Legal document classification: An application to law area prediction of petitions to public prosecution service
CN114330343A (zh) 词性感知嵌套命名实体识别方法、系统、设备和存储介质

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATE13.07.2021.)

122 Ep: pct application non-entry in european phase

Ref document number: 19871629

Country of ref document: EP

Kind code of ref document: A1