WO2021022816A1 - 一种基于深度学习网络的意图识别方法 - Google Patents

一种基于深度学习网络的意图识别方法 Download PDF

Info

Publication number
WO2021022816A1
WO2021022816A1 PCT/CN2020/081302 CN2020081302W WO2021022816A1 WO 2021022816 A1 WO2021022816 A1 WO 2021022816A1 CN 2020081302 W CN2020081302 W CN 2020081302W WO 2021022816 A1 WO2021022816 A1 WO 2021022816A1
Authority
WO
WIPO (PCT)
Prior art keywords
sequence
deep learning
network
layer
learning network
Prior art date
Application number
PCT/CN2020/081302
Other languages
English (en)
French (fr)
Inventor
司马华鹏
姚奥
Original Assignee
南京硅基智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南京硅基智能科技有限公司 filed Critical 南京硅基智能科技有限公司
Priority to EP20851020.6A priority Critical patent/EP3869411A4/en
Priority to US16/957,088 priority patent/US10916242B1/en
Publication of WO2021022816A1 publication Critical patent/WO2021022816A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates

Definitions

  • the present disclosure relates to the field of intelligent recognition, and more particularly to an intention recognition method based on a deep learning network.
  • intent recognition is one of the most core technologies, and the understanding of natural semantics is one of the premises for human-machine dialogue to be realized.
  • the basic methods of intent recognition include dictionary and template-based rule methods, query click logs and classification models to distinguish user intent.
  • the industry agrees that the biggest difficulty in intent recognition lies in the acquisition of annotation data, so for word sequences Research methods with huge amounts of data such as pinyin sequences are rarely carried out, and the recognition model trained by the feature vectors of characters and pinyin is almost in a blank state.
  • the purpose of the present disclosure is to provide an intent recognition method based on a deep learning network to achieve the purpose of intent recognition by training a recognition model through the feature vectors of characters and pinyin.
  • An intent recognition method based on deep network learning including:
  • the second deep learning network includes an encoding layer and a convolutional layer
  • the intention recognition model is used for intention recognition.
  • the word sequence WD and the Pinyin sequence PD are encoded by the parameter matrices W1', U1', and W2 of the coding layer, and the encoded word sequence WD and the Pinyin sequence PD are weighted and input into the first Second, the convolutional layer of the deep learning network is trained to obtain the intention recognition model.
  • the word sequence WD and the pinyin sequence PD are encoded by the parameter matrices W1', U1' and U2 of the coding layer, and the encoded word sequence WD and the pinyin sequence PD are weighted and input into the first Second, the convolutional layer of the deep learning network is trained to obtain the intention recognition model.
  • the word sequence WD and the pinyin sequence PD are coded by the parameter matrices W1', W2 and U2 of the coding layer, and the coded word sequence WD and the pinyin sequence PD are weighted and input into the second
  • the convolutional layer of the deep learning network is trained to obtain an intent recognition model.
  • the word sequence WD and the pinyin sequence PD are encoded by the parameter matrices U1', W2 and U2 of the coding layer, and the encoded word sequence WD and the pinyin sequence PD are weighted and input into the second
  • the convolutional layer of the deep learning network is trained to obtain an intent recognition model.
  • the first deep learning network is a language model, and a gradient descent algorithm is used for training.
  • the language model includes word2vec network structure, LSTM network structure, bert network structure, gpt network structure and elmo network structure.
  • the second deep learning network is an intent recognition model, which uses a cross-entropy loss function and a gradient descent algorithm for training.
  • the second deep learning network includes an input layer, an encoding layer, a convolutional layer, a pooling layer, a fully connected layer, and an output layer.
  • the task of the first deep learning network is to train the language model
  • the task of the second deep learning network is to train the intent recognition model. If the first deep learning network corresponds to task A, the second deep learning network corresponds to task B , Then the present disclosure trains an intent recognition model with higher recognition accuracy through the technical means of transferring the features learned from task A to task B.
  • the beneficial effects of the present disclosure are: the data sets of all fields are converted into the word sequence WS and the corresponding pinyin sequence PS, and the data set of a certain field is manually annotated to obtain the word sequence WD and the pinyin sequence PD.
  • the data set contains labels.
  • the word sequence WS and the pinyin sequence PS into the first deep learning network for training to obtain a language model, initialize and update the coding layer parameter matrix of the language model, and then put the word sequence WD and the pinyin sequence PD into the second deep learning network coding ,
  • the encoded word sequence WD and pinyin sequence PD are weighted into the second deep learning network to train the intention recognition model, and the intention recognition is performed through the intention recognition model to obtain a higher accuracy rate.
  • Figure 1 is a schematic diagram of the update process of the disclosed parameter matrix
  • Figure 2 is a schematic diagram of the training process of the disclosed intention model.
  • Figure 1 is a schematic diagram of the update process of the public parameter matrix.
  • First obtain the historical voice data of all fields, and use the public ASR (speech to text) method (such as iFlytek, Ali voice recognition api, etc.) to convert it into text information S1
  • the text information S2 is obtained from public data sources (such as Sogou news, Weibo corpus, etc.), and the data set S is obtained by combining S1 and S2.
  • the network structure of the language model can be word2vec, LSTM, bert, gpt, elmo (two-way LSTM network), etc. Then obtain the word coding layer parameter matrix W and the pinyin coding layer parameter matrix U of the language model, and put the word coding layer parameter matrix W and the pinyin coding layer parameter matrix U into the second deep learning network to initialize the coding layer to obtain parameter matrices W1, W2, and U1, U2.
  • the second deep learning network here includes an input layer, an encoding layer, a convolutional layer, a pooling layer, a fully connected layer, and an output layer.
  • the manual labeling here refers to the labeling of intent categories, not the simple segmentation of words, etc., that is, what kind of intent the specific content of a sentence belongs to, such as "how is the weather today” and “it is cold today", these two sentences
  • the label of the intention category is "weather”.
  • FIG. 2 is a schematic diagram of the training process of the disclosed intention model.
  • the training data in D' is converted into a word sequence WD, a pinyin sequence PD and a label and input to the second deep learning network through the parameter matrix of the coding layer of the second deep learning network W1', U1', W2, and U2 encode the word sequence WD and the pinyin sequence PD, and input the encoded word sequence WD and the pinyin sequence PD into the convolutional layer of the second deep learning network, and train the intention recognition model.
  • use the intent recognition model for intent recognition.
  • the function of the label here is to use the cross-entropy loss function, and use the gradient descent algorithm to obtain the updated gradient value of each beach.
  • the parameter matrix of the coding layer can encode the word sequence WD and the Pinyin sequence PD in different combinations, including (W1', U1', W2), (W1', U1', U2), (W1', W2, U2 ), (W1', W2, U2), the word sequence WD and the Pinyin sequence PD encoded by these combined formal parameter matrices are weighted and input into the convolutional layer of the second deep learning network, and the intent recognition model is trained.
  • the first deep learning network has sufficient training text, so the training data of the first deep learning network can be used to train the second deep learning network, thereby improving the training effect of the second deep learning network to be able to train the intention Intent recognition model with higher recognition rate.
  • the first deep learning network is a language model, which is trained using a gradient descent algorithm.
  • the second deep learning network is an intent recognition model, which uses cross-entropy loss function and gradient descent algorithm for training.
  • the main parameters of the second deep learning network are shown in Table 1.
  • the present disclosure uses an already labeled data set in the credit card field, including 137,737 training set data, 11392 test set data, 55 intent categories, and the accuracy of the trained deep learning network intent recognition model is 79.97%.
  • the accuracy of the trained deep learning network intent recognition model is 92.10%, as shown in Table 2. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及智能识别领域，公开了一种基于深度学习网络的意图识别方法，解决了意图识别准确率不高的技术问题，其技术方案要点是将第一深度学习网络的特征迁移到第二深度学习网络中，主要在于将所有领域的数据集转为字序列WS和相应的拼音序列PS，同时对某一领域的数据集进行人工标注，并将其转换为字序列WD、拼音序列PD和标签。将字序列WS和拼音序列PS投入第一深度学习网络训练得到语言模型，将该语言模型的编码层参数矩阵初始化和更新，再将字序列WD和拼音序列PD投入到第二深度学习网络编码后，加权投入到第二深度学习网络训练意图识别模型，该意图识别模型进行意图识别的准确率较高。

Description

一种基于深度学习网络的意图识别方法
本申请要求在2019年8月7日提交中国专利局、申请号为201910724662.6、发明名称为“一种基于深度学习网络的意图识别方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开涉及智能识别领域，尤其涉及一种基于深度学习网络的意图识别方法。
背景技术
在人机对话领域，意图识别是最为核心的技术之一，对于自然语义的理解是人机对话能够实现的前提之一。目前意图识别的基本方法包括基于词典以及模板的规则方法、基于查询点击日志和基于分类模型来对用户的意图进行判别等，业界一致认为意图识别的最大难点在于标注数据的获取，因而对于字序列和拼音序列这样数据量庞大的研究方法鲜少进行，通过字和拼音的特征向量来训练的识别模型几乎处于空白状态。
发明内容
本公开的目的是提供一种基于深度学习网络的意图识别方法，达到通过字和拼音的特征向量训练识别模型进而进行意图识别的目的。
本公开的上述技术目的是通过以下技术方案得以实现的：
一种基于深度网络学习的意图识别方法，包括：
获取所有领域的历史语音数据并将其转换为文本信息S1，同时从公开数据源获取文本信息S2，所述S1和所述S2组合得到数据集S；
获取一个领域的历史语音数据并将其转换为文本，得到数据集D；
对所述D进行人工标注，进行意图类别分类得到D'，将所述D'转换成字序列WD、拼音序列PD和标签；
将所述数据集S转换成字序列WS和拼音序列PS，并投入到第一深度学习网络训练语言模型LM；
获取所述语言模型LM的字编码层参数矩阵W和拼音编码层参数矩阵U，将所述字编码层参数矩阵W与所述拼音编码层参数矩阵U投入到第二深度学习网络初始化编码层得到参数矩阵W1、W2和U1、U2；
所述第二深度学习网络包括编码层和卷积层；
使用所述D'训练所述第二深度学习网络，跟随所述D'的每次训练所述W1和所述U1更新为参数矩阵W1'和U1'，所述W2和U2保持不变；
将所述字序列WD、拼音序列PD和标签输入到所述第二深度学习网络，通过所述编码层的参数矩阵W1'、U1'、W2和U2对所述字序列WD和拼音序列PD进行编码，将编码后的所述字序列WD和拼音序列PD加权输入到所述第二深度学习网络的卷积层，训练得到意图识别模型；
使用所述意图识别模型进行意图识别。
进一步地，通过所述编码层的参数矩阵W1'、U1'、W2对所述字序列WD和拼音序列PD进行编码，将编码后的所述字序列WD和拼音序列PD加权输入到所述第二深度学习网络的卷积层，训练得到意图识别模型。
进一步地，通过所述编码层的参数矩阵W1'、U1'和U2对所述字序列WD和拼音序列PD进行编码，将编码后的所述字序列WD和拼音序列PD加权输入到所述第二深度学习网络的卷积层，训练得到意图识别模型。
进一步地，通过所述编码层的参数矩阵W1'、W2和U2对所述字序列WD和拼音序列PD进行编码，将编码后的所述字序列WD和拼音序列PD加权输入到所述第二深度学习网络的卷积层，训练得到意图识别模型。
进一步地，通过所述编码层的参数矩阵U1'、W2和U2对所述字序列WD和拼音序列PD进行编码，将编码后的所述字序列WD和拼音序列PD加权输入到所述第二深度学习网络的卷积层，训练得到意图识别模型。
进一步地，所述第一深度学习网络为语言模型，使用梯度下降算法进行训练。
进一步地，所述语言模型包括word2vec网络结构、LSTM网络结构、bert网络结构、gpt网络结构和elmo网络结构。
进一步地，所述第二深度学习网络为意图识别模型，使用交叉熵损失函数和梯度下降算法进行训练。
进一步地，所述第二深度学习网络包括输入层、编码层、卷积层、池化层、全连接层和输出层。
综上可知，第一深度学习网络的任务是训练语言模型，第二深度学习网络的任务是训练意图识别模型，若第一深度学习网络对应的是A任务，第二深度学习网络对应的B任务，那么本公开通过将A任务学习的特征迁移到B任务中的技术手段训练了识别准确率更高的意图识别模型。本公开的有益效果在于：将所有领域的数据集转为字序列WS和相应的拼音序列PS，同时对某一领域的数据集进行人工标注，得到字序列WD和拼音序列PD，且标注后的数据集含有标签。将字序列WS和拼音序列PS投入第一深度学习网络训练得到语言模型，对该语言模型的编码层参数矩阵进行初始化和更新，而后将字序列WD和拼音序列PD投入到第二深度学习网络编码，将编码后的字序列WD和拼音序列PD加权投入到第二深度学习网络训练意图识别模型，通过该意图识别模型进行意图识别，得到较高的准确率。
附图说明
图1为本公开参数矩阵更新流程示意图；
图2为本公开意图模型训练流程示意图。
具体实施方式
以下结合附图对本公开作进一步详细说明。
需要理解地是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，而只是用来区分不同的组成部分。
图1为本公开参数矩阵更新流程示意图，首先获取所有领域的历史语音数据，利用公开的ASR(语音转为文本)方法(例如科大讯飞、阿里语音识别api等)将其转换为文本信息S1，同时从公开数据源(例如搜狗新闻、微博语料等)获取文本信息S2，S1和S2组合得到数据集S。
将数据集S转换成字序列WS和拼音序列PS，并投入到第一深度学习网络训练语言模型，语言模型的网络结构可以是word2vec、LSTM、bert,gpt,elmo(双向的LSTM网络)等。然后获取语言模型的字编码层参数矩阵W和拼音编码层参数矩阵U，将字编码层参数矩阵W与拼音编码层参数矩阵U投入到第二深度学习网络初始化编码层得到参数矩阵W1、W2和U1、U2。这里的第二深度学习网络包括输入层、编码层、卷积层、池化层、全连接层和输出层。
获取某一个领域的历史语音数据并将其转换为文本，得到数据集D，对D进行人工标注，进行意图类别分类得到D'。这里的人工标注指的是意图类别的标注，而不是字词等的简单切分，即一句话的具体内容属于什么意图，比如“今天天气怎么样”和“今天好冷”，这两句话的意图类别的标注就是“天气”。
使用D'训练所述第二深度学习网络，跟随D'的每次训练W1和U1更新为参数矩阵W1'和U1'，W2和U2则保持不变，不进行更新。图2为本公开意图模型训练流程示意图，将D'中的训练数据转换成字序列WD、拼音序列PD和标签并输入到第二深度学习网络，通过第二深度学习网络的编码层的参数矩阵W1'、U1'、W2和U2对字序列WD和拼音序列PD进行编码，将编码后的字序列WD和拼音序列PD加权输入到第二深度学习网络的卷积层，训练得到意图识别模型，最后使用该意图识别模型进行意图识别。
这里标签的作用是使用交叉熵损失函数，利用梯度下降算法获得每个beach更新的梯度值，交叉熵损失函数为：
Figure PCTCN2020081302-appb-000001
其中，m为正整数，y i为输入第二深度学习网络前标签，y i-为从第二深度学习网络输出后的标签，x (i)为输入的编码后的字序列WD和拼音序列PD，h θ(x (i))为构建的第二深度学习网络，y i-＝h θ(x (i))，使用梯度下降算法更新第二深度学习网络。
编码层的参数矩阵可以不同组合形式对字序列WD和拼音序列PD进行编码，这些组合包括(W1'、U1'、W2)、(W1'、U1'、U2)、(W1'、W2、U2)、(W1'、W2、U2)，将通过这些组合形式参数矩阵编码后的字序列WD和拼音序列PD加权输入到第二深度学习网络的卷积层，训练得到意图识别模型。
综上可知，第一深度学习网络有充足的训练文本，因而可以利用第一深度学习网络的训练数据来训练第二深度学习网络，从而提升第二深度学习网络的训练效果，以能够训练出意图识别率更高的意图识别模型。
另外，第一深度学习网络为语言模型，使用梯度下降算法进行训练。第二深度学习网络为意图识别模型，使用交叉熵损失函数和梯度下降算法进行训练。
第二深度学习网络的主要参数如表1所示。
参数 参数值
char_dim 100
Pinyin_dim 100
卷积核 3,4,5
dropout 0.7
GradientDescent 0.1
表1
本公开在信用卡领域利用已经标注的数据集，包含训练集数据137737条，测试集数据11392条，意图类别数为55，训练的深度学习网络意图识别模型的准确率为79.97％。在贷款行业，利用已经标注的数据集，包含训练集数据310556条，测试集数据22967条，意图类别数为51，训练的深度学习网络意图识别模型的准确率为92.10％，如表2所示。
Figure PCTCN2020081302-appb-000002
表2
另外，由于拼音序列的数据量非常庞大，一方面需要大量的数据，另一方面运算工作量也非常庞大，故表2给出的数据不包括拼音序列持续更新并编码后训练的意图识别模型的识别准确率。因而，本公开的保护范围由权利要求书及其等效物限定，在本公开的思想下做出的没有创造性劳动的改进均属于本公开的保护范围。

Claims (9)

  1. 一种基于深度网络学习的意图识别方法，其特征在于，包括：
    获取所有领域的历史语音数据并将其转换为文本信息S1，同时从公开数据源获取文本信息S2，所述S1和所述S2组合得到数据集S；
    获取一个领域的历史语音数据并将其转换为文本，得到数据集D；
    对所述D进行人工标注，进行意图类别分类得到D'，将所述D'转换成字序列WD、拼音序列PD和标签；
    将所述数据集S转换成字序列WS和拼音序列PS，并投入到第一深度学习网络训练语言模型；
    获取所述语言模型的字编码层参数矩阵W和拼音编码层参数矩阵U，将所述字编码层参数矩阵W与所述拼音编码层参数矩阵U投入到第二深度学习网络初始化编码层得到参数矩阵W1、W2和U1、U2；
    所述第二深度学习网络包括编码层和卷积层；
    使用所述D'训练所述第二深度学习网络，跟随所述D'的每次训练所述W1和所述U1更新为参数矩阵W1'和U1'，所述W2和U2保持不变；
    将所述字序列WD、拼音序列PD和标签输入到所述第二深度学习网络，通过所述编码层的参数矩阵W1'、U1'、W2和U2对所述字序列WD和拼音序列PD进行编码，将编码后的所述字序列WD和拼音序列PD加权输入到所述第二深度学习网络的卷积层，训练得到意图识别模型；
    使用所述意图识别模型进行意图识别。
  2. 如权利要求1所述的基于深度网络学习的意图识别方法，其特征在于，通过所述编码层的参数矩阵W1'、U1'、W2对所述字序列WD和拼音序列PD进行编码，将编码后的所述字序列WD和拼音序列PD加权输入到所述第二深度学习网络的卷积层，训练得到意图识别模型。
  3. 如权利要求1所述的基于深度网络学习的意图识别方法，其特征在于，通过所述编码层的参数矩阵W1'、U1'和U2对所述字序列WD和拼音序列PD进行编码，将编码后的所述字序列WD和拼音序列PD加权输入到所述第二深度学习网络的卷积层，训练得到意图识别模型。
  4. 如权利要求1所述的基于深度网络学习的意图识别方法，其特征在于，通过所述编码层的参数矩阵W1'、W2和U2对所述字序列WD和拼音序列PD进行编码，将编码后的所述字序列WD和拼音序列PD加权输入到所述第二深度学习网络的卷积层，训练得到意图识别模型。
  5. 如权利要求2所述的基于深度网络学习的意图识别方法，其特征在于，通过所述编码层的参数矩阵U1'、W2和U2对所述字序列WD和拼音序列PD进行编码，将编码后的所述字序列WD和拼音序列PD加权输入到所述第二深度学习网络的卷积层，训练得到意图识别模型。
  6. 如权利要求1-5任一所述的基于深度网络学习的意图识别方法，其特征在于，所述 第一深度学习网络为语言模型，使用梯度下降算法进行训练。
  7. 如权利要求6所述的基于深度网络学习的意图识别方法，其特征在于，所述语言模型包括word2vec网络结构、LSTM网络结构、bert网络结构、gpt网络结构和elmo网络结构。
  8. 如权利要求1-5任一所述的基于深度网络学习的意图识别方法，其特征在于，所述第二深度学习网络为意图识别模型，使用交叉熵损失函数和梯度下降算法进行训练。
  9. 如权利要求8所述的基于深度网络学习的意图识别方法，其特征在于，所述第二深度学习网络包括输入层、编码层、卷积层、池化层、全连接层和输出层。
PCT/CN2020/081302 2019-08-07 2020-03-26 一种基于深度学习网络的意图识别方法 WO2021022816A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20851020.6A EP3869411A4 (en) 2019-08-07 2020-03-26 INTENT IDENTIFICATION PROCESS BASED ON A DEEP LEARNING NETWORK
US16/957,088 US10916242B1 (en) 2019-08-07 2020-03-26 Intent recognition method based on deep learning network

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910724662.6 2019-08-07
CN201910724662.6A CN110232439B (zh) 2019-08-07 2019-08-07 一种基于深度学习网络的意图识别方法

Publications (1)

Publication Number Publication Date
WO2021022816A1 true WO2021022816A1 (zh) 2021-02-11

Family

ID=67855254

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/081302 WO2021022816A1 (zh) 2019-08-07 2020-03-26 一种基于深度学习网络的意图识别方法

Country Status (3)

Country Link
EP (1) EP3869411A4 (zh)
CN (1) CN110232439B (zh)
WO (1) WO2021022816A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966774A (zh) * 2021-03-24 2021-06-15 黑龙江机智通智能科技有限公司 一种基于图片Bert的组织病理图片分类方法
CN113435196A (zh) * 2021-06-22 2021-09-24 平安科技（深圳）有限公司 意图识别方法、装置、设备及存储介质
CN114595427A (zh) * 2022-03-10 2022-06-07 华南理工大学 基于非自回归模型的含缺失值车辆轨迹序列填补修复方法
CN115690566A (zh) * 2022-10-24 2023-02-03 广东工业大学 一种基于深度迁移聚类学习的深海动物新物种识别方法
CN116758479A (zh) * 2023-06-27 2023-09-15 汇鲲化鹏(海南)科技有限公司 一种基于编码深度学习的智能体活动识别方法及系统
CN112966774B (zh) * 2021-03-24 2024-05-31 黑龙江机智通智能科技有限公司 一种基于图片Bert的组织病理图片分类方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232439B (zh) * 2019-08-07 2019-12-24 南京硅基智能科技有限公司 一种基于深度学习网络的意图识别方法
US10916242B1 (en) 2019-08-07 2021-02-09 Nanjing Silicon Intelligence Technology Co., Ltd. Intent recognition method based on deep learning network
CN110941945B (zh) * 2019-12-02 2021-03-23 百度在线网络技术（北京）有限公司 语言模型预训练方法和装置
CN112767928B (zh) * 2021-02-22 2024-04-16 百果园技术(新加坡)有限公司 一种语音理解方法、装置、设备及介质
CN117238277B (zh) * 2023-11-09 2024-01-19 北京水滴科技集团有限公司 意图识别方法、装置、存储介质及计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241255A (zh) * 2018-08-20 2019-01-18 华中师范大学 一种基于深度学习的意图识别方法
CN109657229A (zh) * 2018-10-31 2019-04-19 北京奇艺世纪科技有限公司 一种意图识别模型生成方法、意图识别方法及装置
CN109857868A (zh) * 2019-01-25 2019-06-07 北京奇艺世纪科技有限公司 模型生成方法、文本分类方法、装置及计算机可读存储介质
CN110232439A (zh) * 2019-08-07 2019-09-13 南京硅基智能科技有限公司 一种基于深度学习网络的意图识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10347241B1 (en) * 2018-03-23 2019-07-09 Microsoft Technology Licensing, Llc Speaker-invariant training via adversarial learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241255A (zh) * 2018-08-20 2019-01-18 华中师范大学 一种基于深度学习的意图识别方法
CN109657229A (zh) * 2018-10-31 2019-04-19 北京奇艺世纪科技有限公司 一种意图识别模型生成方法、意图识别方法及装置
CN109857868A (zh) * 2019-01-25 2019-06-07 北京奇艺世纪科技有限公司 模型生成方法、文本分类方法、装置及计算机可读存储介质
CN110232439A (zh) * 2019-08-07 2019-09-13 南京硅基智能科技有限公司 一种基于深度学习网络的意图识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3869411A4

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966774A (zh) * 2021-03-24 2021-06-15 黑龙江机智通智能科技有限公司 一种基于图片Bert的组织病理图片分类方法
CN112966774B (zh) * 2021-03-24 2024-05-31 黑龙江机智通智能科技有限公司 一种基于图片Bert的组织病理图片分类方法
CN113435196A (zh) * 2021-06-22 2021-09-24 平安科技（深圳）有限公司 意图识别方法、装置、设备及存储介质
CN113435196B (zh) * 2021-06-22 2022-07-29 平安科技（深圳）有限公司 意图识别方法、装置、设备及存储介质
CN114595427A (zh) * 2022-03-10 2022-06-07 华南理工大学 基于非自回归模型的含缺失值车辆轨迹序列填补修复方法
CN114595427B (zh) * 2022-03-10 2024-06-04 华南理工大学 基于非自回归模型的含缺失值车辆轨迹序列填补修复方法
CN115690566A (zh) * 2022-10-24 2023-02-03 广东工业大学 一种基于深度迁移聚类学习的深海动物新物种识别方法
CN115690566B (zh) * 2022-10-24 2024-01-19 广东工业大学 一种基于深度迁移聚类学习的深海动物新物种识别方法
CN116758479A (zh) * 2023-06-27 2023-09-15 汇鲲化鹏(海南)科技有限公司 一种基于编码深度学习的智能体活动识别方法及系统
CN116758479B (zh) * 2023-06-27 2024-02-02 汇鲲化鹏(海南)科技有限公司 一种基于编码深度学习的智能体活动识别方法及系统

Also Published As

Publication number Publication date
EP3869411A1 (en) 2021-08-25
EP3869411A4 (en) 2022-02-09
CN110232439A (zh) 2019-09-13
CN110232439B (zh) 2019-12-24

Similar Documents

Publication Publication Date Title
WO2021022816A1 (zh) 一种基于深度学习网络的意图识别方法
CN109508462B (zh) 一种基于编码器-解码器的神经网络蒙汉机器翻译方法
US10916242B1 (en) Intent recognition method based on deep learning network
CN110321418B (zh) 一种基于深度学习的领域、意图识别和槽填充方法
CN108932226A (zh) 一种对无标点文本添加标点符号的方法
CN111291534A (zh) 面向中文长文本自动摘要的全局编码方法
CN111858932A (zh) 基于Transformer的多重特征中英文情感分类方法及系统
CN111832293B (zh) 基于头实体预测的实体和关系联合抽取方法
CN109508457B (zh) 一种基于机器阅读到序列模型的迁移学习方法
CN115759119B (zh) 一种金融文本情感分析方法、系统、介质和设备
CN110196963A (zh) 模型生成、语义识别的方法、系统、设备及存储介质
CN110717341A (zh) 一种以泰语为枢轴的老-汉双语语料库构建方法及装置
CN110046356A (zh) 标签嵌入在微博文本情绪多标签分类中的应用研究
WO2022228127A1 (zh) 要素文本处理方法、装置、电子设备和存储介质
WO2022242074A1 (zh) 一种多特征融合的中文医疗文本命名实体识别方法
CN111553157A (zh) 一种基于实体替换的对话意图识别方法
CN112989839A (zh) 一种基于关键词特征嵌入语言模型的意图识别方法及系统
CN116204643A (zh) 一种基于多任务学习知识增强的级联标签分类方法
CN113434698B (zh) 基于全层级注意力的关系抽取模型建立方法及其应用
CN112380882B (zh) 一种具有误差修正功能的蒙汉神经机器翻译方法
CN112613316B (zh) 一种生成古汉语标注模型的方法和系统
CN113077785A (zh) 一种端到端的多语言连续语音流语音内容识别方法及系统
CN112417116B (zh) 一种基于少样本语料的问句理解模型训练方法和系统
CN109325110A (zh) 印尼语文档摘要生成方法、装置、存储介质及终端设备
CN116562275B (zh) 一种结合实体属性图的自动文本摘要方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20851020

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020851020

Country of ref document: EP

Effective date: 20210519

NENP Non-entry into the national phase

Ref country code: DE