WO2022078346A1 - 文本意图识别方法、装置、电子设备及存储介质 - Google Patents
文本意图识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- WO2022078346A1 WO2022078346A1 PCT/CN2021/123360 CN2021123360W WO2022078346A1 WO 2022078346 A1 WO2022078346 A1 WO 2022078346A1 CN 2021123360 W CN2021123360 W CN 2021123360W WO 2022078346 A1 WO2022078346 A1 WO 2022078346A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- vector
- text
- word
- entity
- vectors
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 239000013598 vector Substances 0.000 claims abstract description 544
- 235000019580 granularity Nutrition 0.000 claims abstract description 56
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims description 82
- 239000011159 matrix material Substances 0.000 claims description 79
- 238000013507 mapping Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/151—Transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/186—Templates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
一种文本意图识别方法、装置、电子设备及存储介质,涉及人工智能技术领域,还涉及区块链技术领域,会话文本存储于区块链节点中。所述方法包括:获取会话文本,并对所述会话文本进行实体识别得到多个实体(S11);根据所述会话文本生成包含上下文特征的第一文本向量,及根据所述多个实体生成实体特征向量(S12);通过卷积运算将所述第一文本向量转换为多个粒度的第二文本向量(S13);对所述多个粒度的第二文本向量进行特征提取得到语义特征向量,拼接所述语义特征向量及所述实体特征向量得到模板特征向量(S14);根据所述模板特征向量确定所述会话文本对应的意图类别(S15)。所述方法通过将会话文本转换为语义特征向量和实体特征向量进行拼接确定会话文本的意图类别,增加实体特征辅助意图分类,提高了意图识别的识别准确率。
Description
本申请要求于2020年10月13日提交中国专利局,申请号为202011092923.6申请名称为“文本意图识别方法、装置、电子设备及存储介质”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
本申请涉及人工智能技术领域,具体涉及一种文本意图识别方法、装置、电子设备及存储介质。
意图识别是智能机器人核心模块之一,现有的意图识别方法主要有三种,基于规则模板的方法,基于过往日志匹配的方法,基于分类模型的方法,发明人意识到无论是基于日志匹配或者文本分类模型,其本质都是基于人工整理或历史数据进行意图分类,在当前的智能客户对话系统中,例如以下3个句子:句子A:你好,平安银行武汉都市花园社区支行在哪?句子B:你好,平安银行武汉鹦鹉花园社区支行在哪?句子C:你好,我要去平安银行武汉都市花园社区支行?三个句子都是在问地址,且都是武汉同叫“花园社区支行”的地址,其中句子A和句子C是指向一个地址,句子A和句子B由于所处的区不同,导致答案差异会很大,但句子A和句子B的句式及文字都很相似,通过现有的意图识别模型得到的答案为:句子A和句子B的相似性要高于句子A和句子C的相似性,导致意图识别错误。
此外,这种句式相同但意思不同的情况在客服场景下及其常见,例如保险行业保险名目五花八门,差一个字就是不同的险种之间的差别,即意图识别粒度较细时,导致意图识别的识别准确率较低。
发明内容
鉴于以上内容,有必要提出一种文本意图识别方法、装置、电子设备及存储介质,通过将会话文本转换为语义特征向量和实体特征向量进行拼接确定会话文本的意图类别,增加实体特征辅助意图分类,提高了意图识别的识别准确率。
本申请的第一方面提供一种文本意图识别方法,所述方法包括:
获取会话文本,并对所述会话文本进行实体识别得到多个实体;
根据所述会话文本生成包含上下文特征的第一文本向量,及根据所述多个实体生成实体特征向量;
通过卷积运算将所述第一文本向量转换为多个粒度的第二文本向量;
对所述多个粒度的第二文本向量进行特征提取得到语义特征向量,拼接所述语义特征向量及所述实体特征向量得到模板特征向量;
根据所述模板特征向量确定所述会话文本对应的意图类别。
本申请的第二方面提供一种电子设备,所述电子设备包括存储器及处理器,所述存储器用于存储至少一个计算机可读指令,所述处理器用于执行所述至少一个计算机可读指令以实现以下步骤:
获取会话文本,并对所述会话文本进行实体识别得到多个实体;
根据所述会话文本生成包含上下文特征的第一文本向量,及根据所述多个实体生成实体特征向量;
通过卷积运算将所述第一文本向量转换为多个粒度的第二文本向量;
对所述多个粒度的第二文本向量进行特征提取得到语义特征向量,拼接所述语义特征向量及所述实体特征向量得到模板特征向量;
根据所述模板特征向量确定所述会话文本对应的意图类别。
本申请的第三方面提供一种计算机可读存储介质,所述计算机可读存储介质存储有至少一个计算机可读指令,所述至少一个计算机可读指令被处理器执行时实现以下步骤:
获取会话文本,并对所述会话文本进行实体识别得到多个实体;
根据所述会话文本生成包含上下文特征的第一文本向量,及根据所述多个实体生成实体特征向量;
通过卷积运算将所述第一文本向量转换为多个粒度的第二文本向量;
对所述多个粒度的第二文本向量进行特征提取得到语义特征向量,拼接所述语义特征向量及所述实体特征向量得到模板特征向量;
根据所述模板特征向量确定所述会话文本对应的意图类别。
本申请的第四方面提供一种文本意图识别装置,所述装置包括:
获取模块,用于获取会话文本,并对所述会话文本进行实体识别得到多个实体;
生成模块,用于根据所述会话文本生成包含上下文特征的第一文本向量,及根据所述多个实体生成实体特征向量;
转换模块,用于通过卷积运算将所述第一文本向量转换为多个粒度的第二文本向量;
拼接模块,用于对所述多个粒度的第二文本向量进行特征提取得到语义特征向量,拼接所述语义特征向量及所述实体特征向量得到模板特征向量;
确定模块,用于根据所述模板特征向量确定所述会话文本对应的意图类别。
综上所述,本申请所述的文本意图识别方法、装置、电子设备及存储介质,一方面,通过将所述会话文本输入至命名实体识别模型中进行实体识别得到多个实体,并不断的增加新的训练集进行命名识别模型的训练,提高了识别得到的多个实体的准确率;另一方面,通过将所述语义特征向量与所述实体特征向量进行拼接得到模板特征向量,根据所述模板特征向量确定所述会话文本对应的意图类别,增加实体特征辅助意图分类,增大了不同意图之间的区别,提高了相同意图下文本的相似度,进而提高了意图识别的识别准确率;最后,通过计算对实体进行训练得到的词向量集合的每个维度的均值得到对应的实体特征向量,降低了实体特性向量的维度,提高了提取得到的实体特性向量的准确率。
图1是本申请实施例一提供的文本意图识别方法的流程图。
图2是本申请实施例提供的文本向量图。
图3是本申请实施例二提供的文本意图识别装置的结构图。
图4是本申请实施例三提供的电子设备的结构示意图。
为了能够更清楚地理解本申请的上述目的、特征和优点,下面结合附图和具体实施例对本申请进行详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。
实施例一
图1是本申请实施例一提供的文本意图识别方法的流程图。
在本实施例中,所述文本意图识别方法可以应用于电子设备中,对于需要进行文本意图识别的电子设备,可以直接在电子设备上集成本申请的方法所提供的文本意图识别的功能,或者以软件开发工具包(Software Development Kit,SKD)的形式运行在电子设备中。
在本实施例中,所述文本意图识别方法可应用于与机器人进行会话中,使机器人能够理解用户一方的会话文本对应的意图,以便返回与该意图对应的回答。具体地,会话文本的意图可以包括多个大类别会话意图,而每个大类别会话意图中包括多个细粒度意图,例如,会话文本1为:“你好,平安银行武汉都市花园社区支行在哪?”,会话文本2为:“你好,平安银行武汉鹦鹉花园社区支行在哪?”,会话文本3为:“我要去平安银行武汉都市花园社区支行”,会话文本1、会话文本2及会话文本3对应的大类别会话意图为询问地址类意图,会话文本1对应的细粒度意图为:都市花园社区支行,会话文本2对应的细粒度意图为:鹦鹉花园社区支行,会话文本3对应的细粒度意图为:都市花园社区支行。
为了准确的识别出人机对话过程中用户想要表达的意图类别,通过增加实体标注,具体的,增加的实体标注为:城市名:武汉,机构名:都市花园社区支行及鹦鹉花园社区支行来进一步的对原始语句信息进行意图识别。
S11:获取会话文本,并对所述会话文本进行实体识别得到多个实体。
本实施例中,获取用户输入的会话文本,所述会话文本可以为用户通过文字输入设备输入给会话机器人的一系列文字,也可以为所述会话机器人通过音频采集设备,例如,麦克风,通过麦克风对用户会话进行音频采集,并接收音频采集设备采集到的会话音频,通过音频转文本处理将其转换为与该会话音频对应的会话文本,其中,所述会话文本可以由一系列的文字组成,所述文字可以包括,但不限于,字或者词,具体地,所述文字可以为一句话,也可以为一段话。
本实施例中,当获取到会话文本后,识别所述会话文本中的多个实体,其中,所述实体可以是指人名、地名、组织机构名、时间、数字表达等,也可以是根据实际的领域或者需求进行自定义的,例如,保险行业的保险名、银行理财产品名及电商的商品名等可以根据对应的领域进行自定义标注实体。
优选的,所述对所述会话文本进行实体识别得到多个实体包括:
将所述会话文本输入至命名实体识别模型中进行实体识别得到多个实体。
具体的,所述命名实体识别模型的训练过程包括:
在预设的训练集中提取训练会话文本;
标注所述训练会话文本对应的训练实体,并基于所述训练实体及所述训练会话文本构建待训练命名实体识别模型的训练样本;
将所述训练样本输入所述待训练命名实体识别模型进行模型训练,获得命名实体识别模型。
本实施例中,可以预先从不同的数据源获取历史会话文本构建训练集,所述预设的数据源可以为第三方应用平台,也可以为存储有历史会话文本的数据库,在获取历史会话文本构建的训练集之后,标注所述训练对话文本对应的训练实体,并基于所述训练实体及所述训练文本信息构建待训练命名实体识别模型的训练样本;最后将所述训练样本输入所述待训练命名实体识别模型进行模型训练,即可获得命名实体识别模型。
本实施例中,通过不断的增加新的训练集进行命名识别模型的训练,提高了得到多个实体的识别的准确率。
需要强调的是,为进一步保证上述会话文本的私密和安全性,上述会话文本还可以存储于一区块链的节点中。
S12:根据所述会话文本生成包含上下文特征的第一文本向量,及根据所述多个实 体生成实体特征向量。
本实施例中,所述第一文本向量是提取了会话文本的文本特征对应的文本向量,所述实体特征向量是针对会话文本中的实体进行的实体特征提取得到的实体特征向量。
优选的,所述根据所述会话文本生成包含上下文特征的第一文本向量包括:
对所述会话文本进行分词操作,得到与所述会话文本对应的字集合;
利用第一词向量映射模型将所述字集合映射为字向量集合;
将所述字向量集合表示为按字序排列的字向量矩阵;
基于所述字向量矩阵,计算每个字向量的上文向量及下文向量;
将每个字向量、所述字向量的上文向量以及所述字向量的下文向量进行拼接,得到包含上下文特征的第一文本向量。
本实施例中,可以根据会话文本的语序,对每个词的前一个词和后一个词分别进行特征向量的提取,其中,所述前一个词表示上文的词,所述后一个词表示下文的词,并与当前词合并,得到所述每个词的更新的词向量,所述更新的词向量表示包含了每个词的上下文特征,保存了准确的语义特征,将会话文本中的每个词以所述更新的词向量进行表示,从而可以得到会话文本的包含上下文特征的向量表示为第一文本向量。
进一步的,所述基于所述字向量矩阵,计算每个字向量的上文向量及下文向量包括:
将目标字向量的前一个字向量的上文向量与所述前一个字向量合并,得到所述目标字向量的上文向量;
将目标字向量的后一个字向量的下文向量与所述后一个字向量合并,得到所述目标字向量的下文向量。
本实施例中,所述上文向量是通过将所述目标字向量的前一个字向量的上文向量与所述前一个字向量合并得到的,所述下文向量是通过将目标字向量的后一个字向量的下文向量与所述后一个字向量合并得到的,通过将所述上文向量和所述下文向量进行拼接,得到包含上下文特征的第一文本向量,所述第一文本向量既能够保留会话文本的词序信息,也能够保存较远的词与词之间的联系信息,从而更加全面的对会话文本的语义进行了保留,提高了文本意图识别的准确率。
优选的,所述根据所述多个实体生成实体特征向量包括:
利用词向量映射模型将所述多个实体映射为词向量集合,其中,每个实体对应一个词向量;
计算所述词向量集合的每个维度的均值;
根据所述每个维度的均值得到所述多个实体对应的实体特征向量。
示例性的,获取会话文本为:平安银行武汉都市花园社区支行在哪?提取所述会话文本中的多个实体:实体1:城市名-武汉,实体2:机构名-都市花园社区支行,将所述武汉及所述都市花园社区支行转换为实体特征向量,参阅图2所示,具体地,每个实体对应一个词向量,所有实体特征长度为10,计算所述会话文本的第一维度上的均值为:
采用相同的方法计算得到所述会话文本的每个维度上的均值,根据计算得到的所述会话文本的每个维度的均值,进而得到所述会话文本的多个实体对应的实体特征向量为[0.6,0.5,0.7,0.5,0.4,0.8]。
本实施例中,通过计算对实体进行训练得到的词向量集合的每个维度的均值得到对应的实体特征向量,降低了实体特性向量的维度,提高了提取得到的实体特性向量的准确率。
S13:通过卷积运算将所述第一文本向量转换为多个粒度的第二文本向量。
本实施例中,由于会话文本的多样性,转换得到的所述第一文本向量的空间分布比较分散,不利于后续的向量特征提取,通过所述卷积运算将所述第一文本向量进行转换,使所述第一文本向量集中在特定的向量空间得到第二文本向量。
优选的,所述通过卷积运算将所述第一文本向量转换为多个粒度的第二文本向量包括:
获取多个预设的卷积核矩阵向量;
针对每一个预设的卷积核矩阵向量,从所述第一文本向量中的起始位置开始逐次滑动直至滑动至所述第一文本向量中的终止位置,获取每次滑动时所述每个预设的卷积核矩阵向量对应的子矩阵向量;
计算每次滑动时所述预设的卷积核矩阵向量与对应的子矩阵向量的乘积得到多个元素,并累加所述多个元素得到卷积结果;
将每一个预设的卷积核矩阵向量每次滑动时得到的卷积结果作为一个粒度的第二文本向量。
本实施例中,卷积核矩阵向量是根据第一文本向量的维度进行预先设置的,可以预先设置多个尺寸的卷积核矩阵向量,然后将所述第一文本向量从初始位置开始逐次滑动得到每个预设的卷积核矩阵向量对应的子矩阵向量,并计算每次滑动时所述预设的卷积核矩阵向量与对应的子矩阵向量的乘积得到多个元素,并累加所述多个元素得到卷积结果,将每一个预设的卷积核矩阵向量每次滑动时得到的卷积结果作为一个粒度的第二文本向量。
示例性的,获取多个预设的卷积核矩阵向量,从所述第一文本向量中的起始位置开始,获取每个预设的卷积核矩阵向量在当前位置的子矩阵向量;执行卷积计算,所述卷积计算包括:计算所述每个预设的卷积核矩阵向量与对应的子矩阵向量对应位置的元素的乘积得到多个元素,并累加所述多个元素得到所述当前位置的卷积结果;及将所述每个预设的卷积核矩阵向量从所述当前位置向下移动一步至下一位置,并获取所述下一位置对应的子矩阵向量;重复执行所述卷积计算,直至完成所述第一文本向量的卷积计算,得到所述每个预设的卷积核矩阵向量对应的一个粒度的第二文本向量。
本实施例中,可以预先设置不同尺寸的卷积核,通过将不同尺寸的卷积核分别与所述第一文本向量进行卷积计算,得到多个粒度的第二文本向量,提高了所述会话文本的特性的多样性。
S14:对所述多个粒度的第二文本向量进行特征提取得到语义特征向量,拼接所述语义特征向量及所述实体特征向量得到模板特征向量。
本实施例中,通过对所述多个粒度的第二文本向量进行特征提取,可以获得所述会话文本的较为全面的语义特征向量,并将所述语义特征向量与所述实体特征向量进行拼接得到所述会话文本的最终特性向量。
优选的,所述对所述多个粒度的第二文本向量进行特征提取得到语义特征向量包括:
对所述多个粒度的第二文本向量进行最大池化后提取每个粒度的第二文本向量的最大值,并进行拼接得到语义特征向量。
本实施例中,每个卷积核对应一个粒度的第二文本向量,对每个粒度的第二文本向量使用池化函数,提取出每个池化后的第二文本向量中的最大特征值,将多个最大特征值进行拼接得到语义特性向量。
在本实施例中,通过增加实体特性向量,并将所述语义特征向量与所述实体特征向量拼接起来,增加了会话文本的细粒度意图,提高了会话文本的意图识别的识别率。
S15:根据所述模板特征向量确定所述会话文本对应的意图类别。
本实施例中,通过将最后拼接得到的最终特性向量通过一个全连接层,并通过softmax层输出最后的类别概率,将所述最后的类别概率作为每个类别的概率值,根据所述每个类别的概率值确定所述会话文本对应的意图类别。
优选的,所述根据所述模板特征向量确定所述会话文本对应的意图类别包括:
通过全连接层计算所述模板特征向量中每个意图类别的分数;
将每个意图类别的分数经过softmax层映射为概率,并选取概率最大的意图类别作为所述会话文本对应的意图类别。
本实施例中,所述全连接层将预设的权重矩阵与输入向量相乘再加上偏置,将所述模板特征向量中的实体映射为对应的每个意图类别的分数,将所述每个意图类别的分数通过softmax层映射为每个类别对应的概率,具体地,所述softmax就是将所述模板特征向量归一化为(0,1)之间的值。
本实施例中,通过将所述语义特征向量与所述实体特征向量进行拼接得到模板特征向量,根据所述模板特征向量确定所述会话文本对应的意图类别,增加实体特征辅助意图分类,增大了不同意图之间的区别,提高了相同意图下文本的相似度,进而提高了意图识别的识别准确率。
本实施例所述的一种文本意图识别方法,通过获取会话文本,并对所述会话文本进行实体识别得到多个实体;根据所述会话文本生成包含上下文特征的第一文本向量,及根据所述多个实体生成实体特征向量;通过卷积运算将所述第一文本向量转换为多个粒度的第二文本向量;对所述多个粒度的第二文本向量进行特征提取得到语义特征向量,拼接所述语义特征向量及所述实体特征向量得到模板特征向量;根据所述模板特征向量确定所述会话文本对应的意图类别。
本实施例,一方面,通过将所述会话文本输入至命名实体识别模型中进行实体识别得到多个实体,并不断的增加新的训练集进行命名识别模型的训练,提高了识别得到的多个实体的准确率;另一方面,通过将所述语义特征向量与所述实体特征向量进行拼接得到模板特征向量,根据所述模板特征向量确定所述会话文本对应的意图类别,增加实体特征辅助意图分类,增大了不同意图之间的区别,提高了相同意图下文本的相似度,进而提高了意图识别的识别准确率;最后,通过计算对实体进行训练得到的词向量集合的每个维度的均值得到对应的实体特征向量,降低了实体特性向量的维度,提高了提取得到的实体特性向量的准确率。
实施例二
图3是本申请实施例二提供的文本意图识别装置的结构图。
在一些实施例中,所述文本意图识别装置30可以包括多个由程序代码段所组成的功能模块。所述文本意图识别装置30中的各个程序段的程序代码可以存储于电子设备的存储器中,并由所述至少一个处理器所执行,以执行(详见图1描述)文本意图识别的功能。
本实施例中,所述文本意图识别装置30根据其所执行的功能,可以被划分为多个功能模块。所述功能模块可以包括:获取模块301、生成模块302、转换模块303、拼接模块304及确定模块305。本申请所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机可读指令段,其存储在存储器中。在本实施例中,关于各模块的功能将在后续的实施例中详述。
在本实施例中,所述文本意图识别方法可应用于与机器人进行会话中,使机器人能够理解用户一方的会话文本对应的意图,以便返回与该意图对应的回答。具体地,会话文本的意图可以包括多个大类别会话意图,而每个大类别会话意图中包括多个细粒度意图,比如,会话文本1为:“你好,平安银行武汉都市花园社区支行在哪?”,会话文本2为:“你好,平安银行武汉鹦鹉花园社区支行在哪?”,会话文本3为:“我要去平安银行武汉都市花园社区支行”会话文本1、会话文本2及会话文本3对应的大类别会话意图为询问地址类意图,会话文本1对应的细粒度意图为:都市花园社区支行,会话文本2对应的细粒度意图为:鹦鹉花园社区支行,会话文本3对应的细粒度意图为:都市花园社区支行。
为了准确的识别出人机对话过程中用户想要表达的意图类别,通过增加实体标注, 具体的,增加的实体标注为:城市名:武汉,机构名:都市花园社区支行及鹦鹉花园社区支行来进一步的对原始语句信息进行意图识别。
获取模块301:用于获取会话文本,并对所述会话文本进行实体识别得到多个实体。
本实施例中,获取用户输入的会话文本,所述会话文本可以为用户通过文字输入设备输入给会话机器人的一系列文字,也可以为所述会话机器人通过音频采集设备,例如,麦克风,通过麦克风对用户会话进行音频采集,并接收音频采集设备采集到的会话音频,通过音频转文本处理将其转换为与该会话音频对应的会话文本,其中,所述会话文本可以由一系列的文字组成,所述文字可以包括,但不限于,字或者词,具体地,所述文字可以为一句话,也可以为一段话。
本实施例中,当获取到会话文本后,识别所述会话文本中的多个实体,其中,所述实体可以是指人名、地名、组织机构名、时间、数字表达等,也可以是根据实际的领域或者需求进行自定义的,例如,保险行业的保险名、银行理财产品名及电商的商品名等可以根据对应的领域进行自定义标注实体。
优选的,所述获取模块301对所述会话文本进行实体识别得到多个实体包括:
将所述会话文本输入至命名实体识别模型中进行实体识别得到多个实体。
具体的,所述命名实体识别模型的训练过程包括:
在预设的训练集中提取训练会话文本;
标注所述训练会话文本对应的训练实体,并基于所述训练实体及所述训练会话文本构建待训练命名实体识别模型的训练样本;
将所述训练样本输入所述待训练命名实体识别模型进行模型训练,获得命名实体识别模型。
本实施例中,可以预先从不同的数据源获取历史会话文本构建训练集,所述预设的数据源可以为第三方应用平台,也可以为存储有历史会话文本的数据库,在获取历史会话文本构建的训练集之后,标注所述训练对话文本对应的训练实体,并基于所述训练实体及所述训练文本信息构建待训练命名实体识别模型的训练样本;最后将所述训练样本输入所述待训练命名实体识别模型进行模型训练,即可获得命名实体识别模型。
本实施例中,通过不断的增加新的训练集进行命名识别模型的训练,提高了得到多个实体的识别的准确率。
需要强调的是,为进一步保证上述会话文本的私密和安全性,上述会话文本还可以存储于一区块链的节点中。
生成模块302:用于根据所述会话文本生成包含上下文特征的第一文本向量,及根据所述多个实体生成实体特征向量。
本实施例中,所述第一文本向量是提取了会话文本的文本特征对应的文本向量,所述实体特征向量是针对会话文本中的实体进行的实体特征提取得到的实体特征向量。
优选的,所述生成模块302根据所述会话文本生成包含上下文特征的第一文本向量包括:
对所述会话文本进行分词操作,得到与所述会话文本对应的字集合;
利用第一词向量映射模型将所述字集合映射为字向量集合;
将所述字向量集合表示为按字序排列的字向量矩阵;
基于所述字向量矩阵,计算每个字向量的上文向量及下文向量;
将每个字向量、所述字向量的上文向量以及所述字向量的下文向量进行拼接,得到包含上下文特征的第一文本向量。
本实施例中,可以根据会话文本的语序,对每个词的前一个词和后一个词分别进行特征向量的提取,其中,所述前一个词表示上文的词,所述后一个词表示下文的词,并与当前词合并,得到所述每个词的更新的词向量,所述更新的词向量表示包含了每个词的 上下文特征,保存了准确的语义特征,将会话文本中的每个词以所述更新的词向量进行表示,从而可以得到会话文本的包含上下文特征的向量表示为第一文本向量。
进一步的,所述基于所述字向量矩阵,计算每个字向量的上文向量及下文向量包括:
将目标字向量的前一个字向量的上文向量与所述前一个字向量合并,得到所述目标字向量的上文向量;
将目标字向量的后一个字向量的下文向量与所述后一个字向量合并,得到所述目标字向量的下文向量。
本实施例中,所述上文向量是通过将所述目标字向量的前一个字向量的上文向量与所述前一个字向量合并得到的,所述下文向量是通过将目标字向量的后一个字向量的下文向量与所述后一个字向量合并得到的,通过将所述上文向量和所述下文向量进行拼接,得到包含上下文特征的第一文本向量,所述第一文本向量既能够保留会话文本的词序信息,也能够保存较远的词与词之间的联系信息,从而更加全面的对会话文本的语义进行了保留,提高了文本意图识别的准确率。
优选的,所述生成模块301根据所述多个实体生成实体特征向量包括:
利用词向量映射模型将所述多个实体映射为词向量集合,其中,每个实体对应一个词向量;
计算所述词向量集合的每个维度的均值;
根据所述每个维度的均值得到所述多个实体对应的实体特征向量。
示例性的,获取会话文本为:平安银行武汉都市花园社区支行在哪?提取所述会话文本中的多个实体:实体1:城市名-武汉,实体2:机构名-都市花园社区支行,将所述武汉及所述都市花园社区支行转换为实体特征向量,参阅图2所示,具体地,每个实体对应一个词向量,所有实体特征长度为10,计算所述会话文本的第一维度上的均值为:
采用相同的方法计算得到所述会话文本的每个维度上的均值,根据计算得到的所述会话文本的每个维度的均值,进而得到所述会话文本的多个实体对应的实体特征向量为[0.6,0.5,0.7,0.5,0.4,0.8]。
本实施例中,通过计算对实体进行训练得到的词向量集合的每个维度的均值得到对应的实体特征向量,降低了实体特性向量的维度,提高了提取得到的实体特性向量的准确率。
转换模块303:用于通过卷积运算将所述第一文本向量转换为多个粒度的第二文本向量。
本实施例中,由于会话文本的多样性,转换得到的所述第一文本向量的空间分布比较分散,不利于后续的向量特征提取,通过所述卷积运算将所述第一文本向量进行转换,使所述第一文本向量集中在特定的向量空间得到第二文本向量。
优选的,所述转换模块303通过卷积运算将所述第一文本向量转换为多个第二文本向量包括:
获取多个预设的卷积核矩阵向量;
针对每一个预设的卷积核矩阵向量,从所述第一文本向量中的起始位置开始逐次滑动直至滑动至所述第一文本向量中的终止位置,获取每次滑动时所述每个预设的卷积核矩阵向量对应的子矩阵向量;
计算每次滑动时所述预设的卷积核矩阵向量与对应的子矩阵向量的乘积得到多个元素,并累加所述多个元素得到卷积结果;
将每一个预设的卷积核矩阵向量每次滑动时得到的卷积结果作为一个粒度的第二文本向量。
本实施例中,卷积核矩阵向量是根据第一文本向量的维度进行预先设置的,可以预先设置多个尺寸的卷积核矩阵向量,然后将所述第一文本向量从初始位置开始逐次滑动 得到每个预设的卷积核矩阵向量对应的子矩阵向量,并计算每次滑动时所述预设的卷积核矩阵向量与对应的子矩阵向量的乘积得到多个元素,并累加所述多个元素得到卷积结果,将每一个预设的卷积核矩阵向量每次滑动时得到的卷积结果作为一个粒度的第二文本向量。
示例性的,获取多个预设的卷积核矩阵向量,从所述第一文本向量中的起始位置开始,获取每个预设的卷积核矩阵向量在当前位置的子矩阵向量;执行卷积计算,所述卷积计算包括:计算所述每个预设的卷积核矩阵向量与对应的子矩阵向量对应位置的元素的乘积得到多个元素,并累加所述多个元素得到所述当前位置的卷积结果;及将所述每个预设的卷积核矩阵向量从所述当前位置向下移动一步至下一位置,并获取所述下一位置对应的子矩阵向量;重复执行所述卷积计算,直至完成所述第一文本向量的卷积计算,得到所述每个预设的卷积核矩阵向量对应的一个粒度的第二文本向量。
本实施例中,可以预先设置不同尺寸的卷积核,通过将不同尺寸的卷积核分别与所述第一文本向量进行卷积计算,得到多个粒度的第二文本向量,提高了所述会话文本的特性的多样性。
拼接模块304:用于对所述多个粒度的第二文本向量进行特征提取得到语义特征向量,拼接所述语义特征向量及所述实体特征向量得到模板特征向量。
本实施例中,通过对所述多个粒度的第二文本向量进行特征提取,可以获得所述会话文本的较为全面的语义特征向量,并将所述语义特征向量与所述实体特征向量进行拼接得到所述会话文本的最终特性向量。
优选的,所述拼接模块304对所述多个粒度的第二文本向量进行特征提取得到语义特征向量包括:
对所述多个粒度的第二文本向量进行最大池化后提取每个粒度的第二文本向量的最大值,并进行拼接得到语义特征向量。
本实施例中,每个卷积核对应一个粒度的第二文本向量,对每个粒度的第二文本向量使用池化函数,提取出每个池化后的第二文本向量中的最大特征值,将多个最大特征值进行拼接得到语义特性向量。
本实施例中,通过将所述语义特征向量与所述实体特征向量拼接起来,增加了会话文本的细粒度意图。
确定模块305:用于根据所述模板特征向量确定所述会话文本对应的意图类别。
本实施例中,通过将最后拼接得到的最终特性向量通过一个全连接层,并通过softmax层输出最后的类别概率,将所述最后的类别概率作为每个类别的概率值,根据所述每个类别的概率值确定所述会话文本对应的意图类别。
优选的,所述确定模块305根据所述模板特征向量确定所述会话文本对应的意图类别包括:
通过全连接层计算所述模板特征向量中每个意图类别的分数;
将每个意图类别的分数经过softmax层映射为概率,并选取概率最大的意图类别作为所述会话文本对应的意图类别。
本实施例中,所述全连接层将预设的权重矩阵与输入向量相乘再加上偏置,将所述模板特征向量中的实体映射为对应的每个意图类别的分数,将所述每个意图类别的分数通过softmax层映射为每个类别对应的概率,具体地,所述softmax就是将所述模板特征向量归一化为(0,1)之间的值。
本实施例中,通过将所述语义特征向量与所述实体特征向量进行拼接得到模板特征向量,根据所述模板特征向量确定所述会话文本对应的意图类别,增加实体特征辅助意图分类,增大了不同意图之间的区别,提高了相同意图下文本的相似度,进而提高了意图识别的识别准确率。
本实施例所述的一种文本意图识别装置,通过获取会话文本,并对所述会话文本进行实体识别得到多个实体;根据所述会话文本生成包含上下文特征的第一文本向量,及根据所述多个实体生成实体特征向量;通过卷积运算将所述第一文本向量转换为多个粒度的第二文本向量;对所述多个粒度的第二文本向量进行特征提取得到语义特征向量,拼接所述语义特征向量及所述实体特征向量得到模板特征向量;根据所述模板特征向量确定所述会话文本对应的意图类别。
本实施例,一方面,通过将所述会话文本输入至命名实体识别模型中进行实体识别得到多个实体,并不断的增加新的训练集进行命名识别模型的训练,提高了识别得到的多个实体的准确率;另一方面,通过将所述语义特征向量与所述实体特征向量进行拼接得到模板特征向量,根据所述模板特征向量确定所述会话文本对应的意图类别,增加实体特征辅助意图分类,增大了不同意图之间的区别,提高了相同意图下文本的相似度,进而提高了意图识别的识别准确率;最后,通过计算对实体进行训练得到的词向量集合的每个维度的均值得到对应的实体特征向量,降低了实体特性向量的维度,提高了提取得到的实体特性向量的准确率。
实施例三
参阅图4所示,为本申请实施例三提供的电子设备的结构示意图。在本申请较佳实施例中,所述电子设备4包括存储器41、至少一个处理器42、至少一条通信总线43及收发器44。
本领域技术人员应该了解,图4示出的电子设备的结构并不构成本申请实施例的限定,既可以是总线型结构,也可以是星形结构,所述电子设备4还可以包括比图示更多或更少的其他硬件或者软件,或者不同的部件布置。
在一些实施例中,所述电子设备4是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的电子设备,其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述电子设备4还可包括客户设备,所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、数码相机等。
需要说明的是,所述电子设备4仅为举例,其他现有的或今后可能出现的电子产品如可适应于本申请,也应包含在本申请的保护范围以内,并以引用方式包含于此。
在一些实施例中,所述存储器41用于存储程序代码和各种数据,例如安装在所述电子设备4中的文本意图识别装置30,并在电子设备4的运行过程中实现高速、自动地完成程序或数据的存取。所述存储器41包括只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
在一些实施例中,所述至少一个处理器42可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述至少一个处理器42是所述电子设备4的控制核心(Control Unit),利用各种接口和线路连接整个电子设备4的各个部件,通过运行或执行存储在所述存储器41内的程序或者模块,以及调用存储在所述存储器41内的数据,以执行电子设备4的各种功能和处理数据。
在一些实施例中,所述至少一条通信总线43被设置为实现所述存储器41以及所述至少一个处理器42等之间的连接通信。
尽管未示出,所述电子设备4还可以包括给各个部件供电的电源(比如电池),可选的,电源可以通过电源管理装置与所述至少一个处理器42逻辑相连,从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备4还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
上述以软件功能模块的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,电子设备,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分。
在进一步的实施例中,结合图3,所述至少一个处理器42可执行所述电子设备4的操作装置以及安装的各类应用程序(如所述的文本意图识别装置30)、程序代码等,例如,上述的各个模块。
所述存储器41中存储有程序代码,且所述至少一个处理器42可调用所述存储器41中存储的程序代码以执行相关的功能。例如,图3中所述的各个模块是存储在所述存储器41中的程序代码,并由所述至少一个处理器42所执行,从而实现所述各个模块的功能以达到文本意图识别的目的。
示例性的,所述程序代码可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器31中,并由所述处理器32执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段,该指令段用于描述所述程序代码在所述电子设备3中的执行过程。例如,所述程序代码可以被分割成获取模块301、生成模块302、转换模块303、拼接模块304及确定模块305。
在本申请的一个实施例中,所述存储器41存储多个计算机可读指令,所述多个计算机可读指令被所述至少一个处理器42所执行以实现文本意图识别的功能。
具体地,所述至少一个处理器42对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
进一步地,所述计算机可读存储介质可以是非易失性,也可以是易失性。
进一步地,所述计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,既可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或,单数不排除复数。本申请中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本申请的技术方案而非限制,尽管参照较佳实施例对本申请进行了详细说明,本领域的普通技术人员应当理解,可以对本申请的技术方案进行修改或等同替换,而不脱离本申请技术方案的精神和范围。
Claims (20)
- 一种文本意图识别方法,其中,所述文本意图识别方法包括:获取会话文本,并对所述会话文本进行实体识别得到多个实体;根据所述会话文本生成包含上下文特征的第一文本向量,及根据所述多个实体生成实体特征向量;通过卷积运算将所述第一文本向量转换为多个粒度的第二文本向量;对所述多个粒度的第二文本向量进行特征提取得到语义特征向量,拼接所述语义特征向量及所述实体特征向量得到模板特征向量;根据所述模板特征向量确定所述会话文本对应的意图类别。
- 如权利要求1所述的文本意图识别方法,其中,所述根据所述多个实体生成实体特征向量包括:利用词向量映射模型将所述多个实体映射为词向量集合,其中,每个实体对应一个词向量;计算所述词向量集合的每个维度的均值;根据所述每个维度的均值得到所述多个实体对应的实体特征向量。
- 如权利要求1所述的文本意图识别方法,其中,所述通过卷积运算将所述第一文本向量转换为多个粒度的第二文本向量包括:获取多个预设的卷积核矩阵向量;针对每一个预设的卷积核矩阵向量,从所述第一文本向量中的起始位置开始逐次滑动直至滑动至所述第一文本向量中的终止位置,获取每次滑动时所述预设的卷积核矩阵向量对应的子矩阵向量;计算每次滑动时所述预设的卷积核矩阵向量与对应的子矩阵向量的乘积得到多个元素,并累加所述多个元素得到卷积结果;将每一个预设的卷积核矩阵向量每次滑动时得到的卷积结果作为一个粒度的第二文本向量。
- 如权利要求1所述的文本意图识别方法,其中,所述对所述多个粒度的第二文本向量进行特征提取得到语义特征向量包括:对所述多个粒度的第二文本向量进行最大池化后提取每个粒度的第二文本向量的最大值,并进行拼接得到语义特征向量。
- 如权利要求1所述的文本意图识别方法,其中,所述对所述会话文本进行实体识别得到多个实体包括:将所述会话文本输入至命名实体识别模型中进行实体识别得到多个实体。
- 如权利要求5所述的文本意图识别方法,其中,所述命名实体识别模型的训练过程包括:在预设的训练集中提取训练会话文本;标注所述训练会话文本对应的训练实体,并基于所述训练实体及所述训练会话文本构建待训练命名实体识别模型的训练样本;将所述训练样本输入所述待训练命名实体识别模型进行模型训练,获得命名实体识别模型。
- 如权利要求1所述的文本意图识别方法,其中,所述根据所述会话文本生成包含上下文特征的第一文本向量包括:对所述会话文本进行分词操作,得到与所述会话文本对应的字集合;利用第一词向量映射模型将所述字集合映射为字向量集合;将所述字向量集合表示为按字序排列的字向量矩阵;基于所述字向量矩阵,计算每个字向量的上文向量及下文向量;将每个字向量、所述字向量的上文向量以及所述字向量的下文向量进行拼接,得到包含上下文特征的第一文本向量。
- 一种电子设备,其中,所述电子设备包括存储器及处理器,所述存储器用于存储至少一个计算机可读指令,所述处理器用于执行所述至少一个计算机可读指令以实现以下步骤:获取会话文本,并对所述会话文本进行实体识别得到多个实体;根据所述会话文本生成包含上下文特征的第一文本向量,及根据所述多个实体生成实体特征向量;通过卷积运算将所述第一文本向量转换为多个粒度的第二文本向量;对所述多个粒度的第二文本向量进行特征提取得到语义特征向量,拼接所述语义特征向量及所述实体特征向量得到模板特征向量;根据所述模板特征向量确定所述会话文本对应的意图类别。
- 如权利要求8所述的电子设备,其中,所述处理器执行所述至少一个计算机可读指令以实现所述根据所述多个实体生成实体特征向量时,具体包括:利用词向量映射模型将所述多个实体映射为词向量集合,其中,每个实体对应一个词向量;计算所述词向量集合的每个维度的均值;根据所述每个维度的均值得到所述多个实体对应的实体特征向量。
- 如权利要求8所述的电子设备,其中,所述处理器执行所述至少一个计算机可读指令以实现所述通过卷积运算将所述第一文本向量转换为多个粒度的第二文本向量时,具体包括:获取多个预设的卷积核矩阵向量;针对每一个预设的卷积核矩阵向量,从所述第一文本向量中的起始位置开始逐次滑动直至滑动至所述第一文本向量中的终止位置,获取每次滑动时所述预设的卷积核矩阵向量对应的子矩阵向量;计算每次滑动时所述预设的卷积核矩阵向量与对应的子矩阵向量的乘积得到多个元素,并累加所述多个元素得到卷积结果;将每一个预设的卷积核矩阵向量每次滑动时得到的卷积结果作为一个粒度的第二文本向量。
- 如权利要求8所述的电子设备,其中,所述处理器执行所述至少一个计算机可读指令以实现所述对所述多个粒度的第二文本向量进行特征提取得到语义特征向量时,具体包括:对所述多个粒度的第二文本向量进行最大池化后提取每个粒度的第二文本向量的最大值,并进行拼接得到语义特征向量。
- 如权利要求8所述的电子设备,其中,所述处理器执行所述至少一个计算机可读指令以实现所述对所述会话文本进行实体识别得到多个实体时,具体包括:将所述会话文本输入至命名实体识别模型中进行实体识别得到多个实体,其中,所述命名实体识别模型的训练过程包括:在预设的训练集中提取训练会话文本;标注所述训练会话文本对应的训练实体,并基于所述训练实体及所述训练会话文本构建待训练命名实体识别模型的训练样本;将所述训练样本输入所述待训练命名实体识别模型进行模型训练,获得命名实体识别模型。
- 如权利要求8所述的电子设备,其中,所述处理器执行所述至少一个计算机可读 指令以实现所述根据所述会话文本生成包含上下文特征的第一文本向量时,具体包括:对所述会话文本进行分词操作,得到与所述会话文本对应的字集合;利用第一词向量映射模型将所述字集合映射为字向量集合;将所述字向量集合表示为按字序排列的字向量矩阵;基于所述字向量矩阵,计算每个字向量的上文向量及下文向量;将每个字向量、所述字向量的上文向量以及所述字向量的下文向量进行拼接,得到包含上下文特征的第一文本向量。
- 一种计算机可读存储介质,其中,所述计算机可读存储介质存储有至少一个计算机可读指令,所述至少一个计算机可读指令被处理器执行时实现以下步骤:获取会话文本,并对所述会话文本进行实体识别得到多个实体;根据所述会话文本生成包含上下文特征的第一文本向量,及根据所述多个实体生成实体特征向量;通过卷积运算将所述第一文本向量转换为多个粒度的第二文本向量;对所述多个粒度的第二文本向量进行特征提取得到语义特征向量,拼接所述语义特征向量及所述实体特征向量得到模板特征向量;根据所述模板特征向量确定所述会话文本对应的意图类别。
- 如权利要求14所述的存储介质,其中,所述至少一个计算机可读指令被所述处理器执行以实现所述根据所述多个实体生成实体特征向量时,具体包括:利用词向量映射模型将所述多个实体映射为词向量集合,其中,每个实体对应一个词向量;计算所述词向量集合的每个维度的均值;根据所述每个维度的均值得到所述多个实体对应的实体特征向量。
- 如权利要求14所述的存储介质,其中,所述至少一个计算机可读指令被所述处理器执行以实现所述通过卷积运算将所述第一文本向量转换为多个粒度的第二文本向量时,具体包括:获取多个预设的卷积核矩阵向量;针对每一个预设的卷积核矩阵向量,从所述第一文本向量中的起始位置开始逐次滑动直至滑动至所述第一文本向量中的终止位置,获取每次滑动时所述预设的卷积核矩阵向量对应的子矩阵向量;计算每次滑动时所述预设的卷积核矩阵向量与对应的子矩阵向量的乘积得到多个元素,并累加所述多个元素得到卷积结果;将每一个预设的卷积核矩阵向量每次滑动时得到的卷积结果作为一个粒度的第二文本向量。
- 如权利要求14所述的存储介质,其中,所述至少一个计算机可读指令被所述处理器执行以实现所述对所述多个粒度的第二文本向量进行特征提取得到语义特征向量时,具体包括:对所述多个粒度的第二文本向量进行最大池化后提取每个粒度的第二文本向量的最大值,并进行拼接得到语义特征向量。
- 如权利要求14所述的存储介质,其中,所述至少一个计算机可读指令被所述处理器执行以实现所述对所述会话文本进行实体识别得到多个实体时,具体包括:将所述会话文本输入至命名实体识别模型中进行实体识别得到多个实体,其中,所述命名实体识别模型的训练过程包括:在预设的训练集中提取训练会话文本;标注所述训练会话文本对应的训练实体,并基于所述训练实体及所述训练会话文本构建待训练命名实体识别模型的训练样本;将所述训练样本输入所述待训练命名实体识别模型进行模型训练,获得命名实体识别模型。
- 如权利要求14所述的存储介质,其中,所述至少一个计算机可读指令被所述处理器执行以实现所述根据所述会话文本生成包含上下文特征的第一文本向量时,具体包括:对所述会话文本进行分词操作,得到与所述会话文本对应的字集合;利用第一词向量映射模型将所述字集合映射为字向量集合;将所述字向量集合表示为按字序排列的字向量矩阵;基于所述字向量矩阵,计算每个字向量的上文向量及下文向量;将每个字向量、所述字向量的上文向量以及所述字向量的下文向量进行拼接,得到包含上下文特征的第一文本向量。
- 一种文本意图识别装置,其中,所述文本意图识别装置包括:获取模块,用于获取会话文本,并对所述会话文本进行实体识别得到多个实体;生成模块,用于根据所述会话文本生成包含上下文特征的第一文本向量,及根据所述多个实体生成实体特征向量;转换模块,用于通过卷积运算将所述第一文本向量转换为多个粒度的第二文本向量;拼接模块,用于对所述多个粒度的第二文本向量进行特征提取得到语义特征向量,拼接所述语义特征向量及所述实体特征向量得到模板特征向量;确定模块,用于根据所述模板特征向量确定所述会话文本对应的意图类别。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011092923.6A CN112183101A (zh) | 2020-10-13 | 2020-10-13 | 文本意图识别方法、装置、电子设备及存储介质 |
CN202011092923.6 | 2020-10-13 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022078346A1 true WO2022078346A1 (zh) | 2022-04-21 |
Family
ID=73949634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2021/123360 WO2022078346A1 (zh) | 2020-10-13 | 2021-10-12 | 文本意图识别方法、装置、电子设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112183101A (zh) |
WO (1) | WO2022078346A1 (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114881029A (zh) * | 2022-06-09 | 2022-08-09 | 合肥工业大学 | 基于混合神经网络的中文文本可读性评价方法 |
CN115690552A (zh) * | 2022-12-30 | 2023-02-03 | 智慧眼科技股份有限公司 | 多意图识别方法、装置、计算机设备及存储介质 |
CN115810345A (zh) * | 2022-11-23 | 2023-03-17 | 北京伽睿智能科技集团有限公司 | 一种智能话术推荐方法、系统、设备及存储介质 |
CN115994527A (zh) * | 2023-03-23 | 2023-04-21 | 广东聚智诚科技有限公司 | 一种基于机器学习的ppt自动生成系统 |
CN116011456A (zh) * | 2023-03-17 | 2023-04-25 | 北京建筑大学 | 基于提示学习的中文建筑规范文本实体识别方法及系统 |
CN116050383A (zh) * | 2023-03-29 | 2023-05-02 | 珠海金智维信息科技有限公司 | 一种理财产品销售环节飞单话术检测方法及系统 |
CN116384515A (zh) * | 2023-06-06 | 2023-07-04 | 之江实验室 | 一种模型训练的方法、装置、存储介质及电子设备 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112183101A (zh) * | 2020-10-13 | 2021-01-05 | 深圳壹账通智能科技有限公司 | 文本意图识别方法、装置、电子设备及存储介质 |
CN113157890A (zh) * | 2021-04-25 | 2021-07-23 | 深圳壹账通智能科技有限公司 | 智能问答方法、装置、电子设备及可读存储介质 |
CN113157900A (zh) * | 2021-05-27 | 2021-07-23 | 中国平安人寿保险股份有限公司 | 意图识别方法、装置、计算机设备及存储介质 |
CN113505607A (zh) * | 2021-06-15 | 2021-10-15 | 北京三快在线科技有限公司 | 一种意图识别方法、装置、电子设备及可读存储介质 |
CN113806487B (zh) * | 2021-09-23 | 2023-09-05 | 平安科技(深圳)有限公司 | 基于神经网络的语义搜索方法、装置、设备和存储介质 |
CN114266255B (zh) * | 2022-03-01 | 2022-05-17 | 深圳壹账通科技服务有限公司 | 基于聚类模型的语料分类方法、装置、设备及存储介质 |
CN116108851B (zh) * | 2023-03-13 | 2023-08-11 | 北京国研数通软件技术有限公司 | 基于ner的群体性诉求识别方法和系统 |
CN116992861B (zh) * | 2023-09-25 | 2023-12-08 | 四川健康久远科技有限公司 | 基于数据处理的医疗服务智慧处理方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108829681A (zh) * | 2018-06-28 | 2018-11-16 | 北京神州泰岳软件股份有限公司 | 一种命名实体提取方法及装置 |
CN109753661A (zh) * | 2019-01-11 | 2019-05-14 | 国信优易数据有限公司 | 一种机器阅读理解方法、装置、设备及存储介质 |
CN111401069A (zh) * | 2018-12-27 | 2020-07-10 | 深圳市优必选科技有限公司 | 会话文本的意图识别方法、意图识别装置及终端 |
US20200258506A1 (en) * | 2013-03-11 | 2020-08-13 | Amazon Technologies, Inc. | Domain and intent name feature identification and processing |
CN112183101A (zh) * | 2020-10-13 | 2021-01-05 | 深圳壹账通智能科技有限公司 | 文本意图识别方法、装置、电子设备及存储介质 |
-
2020
- 2020-10-13 CN CN202011092923.6A patent/CN112183101A/zh active Pending
-
2021
- 2021-10-12 WO PCT/CN2021/123360 patent/WO2022078346A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200258506A1 (en) * | 2013-03-11 | 2020-08-13 | Amazon Technologies, Inc. | Domain and intent name feature identification and processing |
CN108829681A (zh) * | 2018-06-28 | 2018-11-16 | 北京神州泰岳软件股份有限公司 | 一种命名实体提取方法及装置 |
CN111401069A (zh) * | 2018-12-27 | 2020-07-10 | 深圳市优必选科技有限公司 | 会话文本的意图识别方法、意图识别装置及终端 |
CN109753661A (zh) * | 2019-01-11 | 2019-05-14 | 国信优易数据有限公司 | 一种机器阅读理解方法、装置、设备及存储介质 |
CN112183101A (zh) * | 2020-10-13 | 2021-01-05 | 深圳壹账通智能科技有限公司 | 文本意图识别方法、装置、电子设备及存储介质 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114881029A (zh) * | 2022-06-09 | 2022-08-09 | 合肥工业大学 | 基于混合神经网络的中文文本可读性评价方法 |
CN114881029B (zh) * | 2022-06-09 | 2024-03-01 | 合肥工业大学 | 基于混合神经网络的中文文本可读性评价方法 |
CN115810345A (zh) * | 2022-11-23 | 2023-03-17 | 北京伽睿智能科技集团有限公司 | 一种智能话术推荐方法、系统、设备及存储介质 |
CN115810345B (zh) * | 2022-11-23 | 2024-04-30 | 北京伽睿智能科技集团有限公司 | 一种智能话术推荐方法、系统、设备及存储介质 |
CN115690552A (zh) * | 2022-12-30 | 2023-02-03 | 智慧眼科技股份有限公司 | 多意图识别方法、装置、计算机设备及存储介质 |
CN116011456A (zh) * | 2023-03-17 | 2023-04-25 | 北京建筑大学 | 基于提示学习的中文建筑规范文本实体识别方法及系统 |
CN116011456B (zh) * | 2023-03-17 | 2023-06-06 | 北京建筑大学 | 基于提示学习的中文建筑规范文本实体识别方法及系统 |
CN115994527A (zh) * | 2023-03-23 | 2023-04-21 | 广东聚智诚科技有限公司 | 一种基于机器学习的ppt自动生成系统 |
CN115994527B (zh) * | 2023-03-23 | 2023-06-09 | 广东聚智诚科技有限公司 | 一种基于机器学习的ppt自动生成系统 |
CN116050383A (zh) * | 2023-03-29 | 2023-05-02 | 珠海金智维信息科技有限公司 | 一种理财产品销售环节飞单话术检测方法及系统 |
CN116384515A (zh) * | 2023-06-06 | 2023-07-04 | 之江实验室 | 一种模型训练的方法、装置、存储介质及电子设备 |
CN116384515B (zh) * | 2023-06-06 | 2023-09-01 | 之江实验室 | 一种模型训练的方法、装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112183101A (zh) | 2021-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022078346A1 (zh) | 文本意图识别方法、装置、电子设备及存储介质 | |
CN109145294B (zh) | 文本实体识别方法及装置、电子设备、存储介质 | |
CN109597994B (zh) | 短文本问题语义匹配方法和系统 | |
JP2020135852A (ja) | 画像に基づくデータ処理方法、装置、電子機器、コンピュータ可読記憶媒体およびコンピュータプログラム | |
WO2020258502A1 (zh) | 文本分析方法、装置、计算机装置及存储介质 | |
WO2022116420A1 (zh) | 语音事件检测方法、装置、电子设备及计算机存储介质 | |
JP6756079B2 (ja) | 人工知能に基づく三元組チェック方法、装置及びコンピュータプログラム | |
US20220138193A1 (en) | Conversion method and systems from natural language to structured query language | |
WO2021204017A1 (zh) | 文本意图识别方法、装置以及相关设备 | |
CN112328761B (zh) | 一种意图标签设置方法、装置、计算机设备及存储介质 | |
CN110223134B (zh) | 基于语音识别的产品推荐方法及相关设备 | |
WO2022142012A1 (zh) | 话术配置调整方法、装置、电子设备及存储介质 | |
CN111177351A (zh) | 基于规则的自然语言表达意图获取方法、装置和系统 | |
CN112906385A (zh) | 文本摘要生成方法、计算机设备及存储介质 | |
CN112632226A (zh) | 基于法律知识图谱的语义搜索方法、装置和电子设备 | |
CN111274822A (zh) | 语义匹配方法、装置、设备及存储介质 | |
CN114647713A (zh) | 基于虚拟对抗的知识图谱问答方法、设备及存储介质 | |
CN113723077B (zh) | 基于双向表征模型的句向量生成方法、装置及计算机设备 | |
CN111898363B (zh) | 文本长难句的压缩方法、装置、计算机设备及存储介质 | |
CN113297852A (zh) | 一种医学实体词的识别方法和装置 | |
CN113536784A (zh) | 文本处理方法、装置、计算机设备和存储介质 | |
WO2023116572A1 (zh) | 一种词句生成方法及相关设备 | |
CN113779202B (zh) | 命名实体识别方法、装置、计算机设备和存储介质 | |
CN115510188A (zh) | 文本关键词关联方法、装置、设备及存储介质 | |
WO2022141867A1 (zh) | 语音识别方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21879390 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
32PN | Ep: public notification in the ep bulletin as address of the adressee cannot be established |
Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 180723) |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21879390 Country of ref document: EP Kind code of ref document: A1 |