WO2022021987A1 - 基于属性标签控制的对话回复方法、装置和计算机设备 - Google Patents

基于属性标签控制的对话回复方法、装置和计算机设备 Download PDF

Info

Publication number
WO2022021987A1
WO2022021987A1 PCT/CN2021/091699 CN2021091699W WO2022021987A1 WO 2022021987 A1 WO2022021987 A1 WO 2022021987A1 CN 2021091699 W CN2021091699 W CN 2021091699W WO 2022021987 A1 WO2022021987 A1 WO 2022021987A1
Authority
WO
WIPO (PCT)
Prior art keywords
label information
stage layer
attribute
current question
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2021/091699
Other languages
English (en)
French (fr)
Inventor
杨海钦
姚晓远
段逸群
沈剑平
钟捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2022021987A1 publication Critical patent/WO2022021987A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation

Definitions

  • the present application relates to the field of artificial intelligence, and in particular to a method, apparatus and computer equipment for dialogue replying based on attribute tag control.
  • the main purpose of the present application is to provide a dialog reply method based on attribute tag control, which aims to solve the existing technical problem that a dialog reply controlled by multiple attribute tags cannot be generated.
  • the present application proposes a dialogue reply method based on attribute tag control, including:
  • the tag information corresponding to each of the attribute tags is added to the dialogue reply state to the current question in stages to form a dialogue reply to the current question jointly controlled by each of the attribute tags.
  • the present application also provides a dialogue reply device based on attribute tag control, including:
  • the screening module is used to obtain the current question in the dialogue task and each attribute label carried in the dialogue task;
  • control module configured to control the CVAE model to capture the latent variables of each of the attribute labels, and obtain label information corresponding to each of the attribute labels, wherein the label information includes each of the hidden variables;
  • a forming module is used to add the label information corresponding to each of the attribute labels to the dialogue reply state of the current question by stages, so as to form a dialogue reply to the current question jointly controlled by each of the attribute labels .
  • the present application also provides a computer device, including a memory and a processor, the memory stores a computer program, and the processor implements a dialog reply method based on attribute tag control when the processor executes the computer program, and the method includes:
  • the tag information corresponding to each of the attribute tags is added to the dialogue reply state to the current question in stages to form a dialogue reply to the current question jointly controlled by each of the attribute tags.
  • the present application also provides a computer-readable storage medium on which a computer program is stored, and when the computer program is executed by a processor, implements a dialog reply method based on attribute tag control, and the method includes:
  • the tag information corresponding to each of the attribute tags is added to the dialogue reply state to the current question in stages to form a dialogue reply to the current question jointly controlled by each of the attribute tags.
  • the dialogue reply model of the present application is based on the innovative attribute tag control of CVAE, and by adding each attribute tag control to the dialogue reply state in stages, the dialogue reply to the question for each attribute tag is automatically generated, and the diversity of the question reply is realized.
  • 1 is a schematic flowchart of a dialog reply method based on attribute tag control according to an embodiment of the present application
  • FIG. 2 is a schematic structural diagram of a dialog reply device based on attribute tag control according to an embodiment of the present application
  • FIG. 3 is a schematic diagram of an internal structure of a computer device according to an embodiment of the present application.
  • a dialog reply method based on attribute tag control includes:
  • S2 control the CVAE model to capture the latent variables of each of the attribute labels, and obtain label information corresponding to each of the attribute labels, wherein the label information includes each of the hidden variables;
  • each stage only changes the dialogue reply state according to one tag information, until all the tag information is integrated into the dialogue reply.
  • the model architecture of each stage includes an Encoder module and a Decoder module.
  • the dialogue reply specifically includes several stages. According to the dialogue task preset by the user, if there are several attribute tags carried in the dialogue task, the dialogue reply is divided into the same number of stages to complete. For example, if the user has two specific requirements for dialogue tasks, one is to reply to a question, and the other is to reply to a positive emotion, two attribute tags corresponding to the above specific requirements are introduced, and the tag information corresponding to the two attribute tags is gradually divided into two stages.
  • the present application obtains each attribute tag by means of keyword recognition, for example, by identifying the assignment corresponding to the attribute tag keyword in the dialogue task, each attribute tag can be obtained.
  • the parameters of the CVAE model are first obtained from the prior distribution, and then based on the parameters of the CVAE model, the control and confirmation network determines the hidden variables associated with the input question and each attribute label, and obtains the label corresponding to each of the attribute labels. information.
  • each stage from the initial stage is sequentially invoked according to the quantity of the tag information, and the dialogue reply corresponding to each attribute tag is formed through the superposition of the calculations of each stage.
  • the dialogue reply model of the present application is based on CVAE's innovative attribute tag control, and by adding each attribute tag control to the dialogue reply state in stages, the dialogue reply to the question for each attribute tag is automatically generated, and the diversity of the question reply is realized.
  • the dialogue reply model for controlling the dialogue reply state includes an initial stage layer, and the tag information added one by one corresponds to the stage layers of the reply dialogue which are added one by one, and each stage layer includes an encoder and a decoder respectively.
  • the corresponding tag information of each of the attribute tags is added to the dialogue reply state to the current question by stages to form a dialogue reply to the current question jointly managed and controlled by each of the attribute tags Step S3, including:
  • step S30 Input the current question into the initial stage layer in sequence, and sequence each of the reply stage layers after the initial stage layer;
  • S32 Perform vector splicing to obtain the calculation result of the current question by the initial stage layer, the latent variable corresponding to the common semantic information corresponding to the first label information, and the feature latent variable corresponding to the first label information the first splice vector;
  • S33 Input the first splicing vector into the encoder of the first stage layer, wherein the first stage layer corresponds to the first label information, and the first stage layer is sorted in the initial stage layer after that, and a stage layer adjacent to the initial stage layer;
  • S34 Obtain the first output result corresponding to the encoder of the first stage layer, obtain the latent variable corresponding to the common semantic information corresponding to the second label information and the feature latent variable corresponding to the second label information, wherein the The second tag information belongs to any one of all remaining tag information except the first tag information;
  • S35 splicing the first output result, the latent variable corresponding to the common semantic information corresponding to the second label information and the feature latent variable corresponding to the second label information, by vector splicing to obtain a second splicing vector;
  • S36 Input the second splicing vector into the encoder of the second stage to obtain a second output result, wherein the second stage corresponds to the second label information, and the second stage layer is sorted in the order of a stage layer after the first stage layer and adjacent to the first stage layer;
  • S38 Perform vector splicing of the second output result, the latent variable corresponding to the common semantic information corresponding to the next newly added label information and the feature hidden variable corresponding to the new label information, to obtain a new splicing vector, and splicing the new splicing vector
  • the vector is input to the encoder of the newly added stage to obtain all the tag information ranked before the newly added tag information and the dialogue reply to the current question jointly controlled by the newly added tag information.
  • the dialogue reply model of the present application includes an initial stage layer, and a stage layer corresponding to each label information, and each stage layer includes an encoder and a decoder respectively.
  • the initial stage layer does not introduce any label information.
  • the input of the encoder of the initial stage layer is the word vector of the current question x, and the output is the calculation result of the word vector of the current question x.
  • enter the second layer of the dialogue reply model that is, the first stage layer arranged after the initial stage layer and connected to the initial stage layer.
  • the first label information includes a latent variable z c corresponding to the common semantic information and a feature latent variable z 1 of the first label information.
  • the assignment of the above-mentioned hidden variable z c and the assignment of the hidden variable z 1 can be obtained by a CVAE model with label control.
  • the CVAE model includes two parts: a priori network and a recognition network.
  • the assignment of the hidden variable zc can be obtained from the corresponding distribution sampling in the identification network ; the assignment of the hidden variable z1 can be obtained from the corresponding distribution sampling in the identification network.
  • the priori network of the CVAE model and the distribution calculation and sampling process of the recognition network are not repeated here.
  • the latent variable z c and the latent variable z 1 corresponding to the first label information are directly and sequentially spliced to form the first splicing vector, and the first splicing vector is input into the encoder of the first stage layer, and the output is h 1 .
  • h1 is used as the input of the decoder of the first stage layer, and after processing, the dialogue reply for the first tag information is obtained, that is, the first output result is input into the decoder of the first stage, and the current question for the first tag information is obtained. Reply to the first conversation.
  • the second label information is added, it corresponds to the processing process of the second stage layer.
  • the output h 1 of the first-stage layer encoder, the latent variable z ⁇ c and the latent variable z 2 of the second label information are directly vector spliced in turn to form a second splicing vector, and the second splicing vector is input into the second splicing vector.
  • Encoder of the stage layer the output is h 2 .
  • h 2 is used as the input of the decoder of the second stage layer.
  • step S31 of obtaining the calculation result of the current question by the initial stage layer includes:
  • S312 Input the word vector corresponding to the current question into the encoder corresponding to the initial stage, and obtain the output result of the encoder corresponding to the initial stage;
  • the process of extracting word vectors from the current question in this application is the existing process of converting text into word vectors, and will not be described in detail.
  • the word vector corresponding to the above current question includes the word embedding encoding vector and the word position encoding vector. After directly splicing the word embedding encoding vector and the word position encoding vector, input the encoder corresponding to the initial stage to obtain the output. to pass the output Associate the stage layers corresponding to the subsequent label information.
  • step S313 of using the output result of the encoder corresponding to the initial stage as the calculation result of the current question by the initial layer including:
  • S314 Input the output result of the encoder corresponding to the initial stage into the decoder corresponding to the initial stage to obtain a dialogue reply corresponding to the initial stage.
  • the initial stage layer of this application does not introduce any label information, and the input of the initial stage layer is only the word vector of the question x, that is, after the word embedding coding vector and the word position coding vector corresponding to the question x are spliced, it is used as the input of the encoder of the initial stage layer. , get the output will output Input the decoder of the initial stage layer and get the dialogue reply y to the question x.
  • the dialogue reply model is based on the Transformer model, the encoder and decoder of each stage layer respectively include a multi-head attention calculation module, and the second output result is input to the decoder of the second stage layer.
  • the step S37 of obtaining the second dialogue reply to the current question controlled based on the first tag information and the second tag information includes:
  • S372 Control the second multi-head attention calculation module, according to Calculate the probability of generating the second dialogue reply, where p represents the probability, y represents the dialogue reply, x represents the question, l k represents the k-th attribute label, h k represents the output of the encoder of the k-stage layer, and K belongs to the positive integer;
  • the model corresponding to each stage layer in this application is the Transformer model, and the encoder and decoder are implemented based on the multi-head attention calculation module.
  • the encoder of the initial stage layer inputs the word vector splicing, that is, the splicing vector of the word embedding coding vector and the word position coding vector corresponding to the question x, as the initial layer q, k, v of the multi-headattention calculation module of the encoder of the initial stage layer.
  • the assignment of , the calculation gets the output
  • the decoder of the initial stage layer after splicing the word embedding coding vector and the word position coding vector corresponding to the reply y, as the q of the mult-headattention calculation module of the decoder of the initial stage layer, will output the result
  • the k and v of the multi-headattention calculation module of the decoder as the initial stage layer are calculated to obtain the output
  • the encoder After adding the first attribute tag, enter the first stage layer, first combine the first attribute tag to get the first tag information Then the encoder will superimpose a new multi-head attention calculation module on the basis of the initial stage layer to form the encoder corresponding to the first stage layer.
  • the first vector is spliced as the parameters k and v of the multi-head attention calculation layer corresponding to the first stage layer, combined with the dialogue reply output by the decoder of the initial stage layer, and the dialogue reply corresponding to the first label information is output. That is, the initial stage of the encoder of the first stage layer The output is The decoder of the first stage layer also superimposes a new multi-headattention calculation module on the basis of the decoder of the initial stage layer. The initial stage of the decoder of the first stage layer The output is
  • the output is
  • step S2 of controlling the CVAE model to capture the latent variables of each of the attribute labels, and obtaining the label information corresponding to each of the attribute labels includes:
  • S21 Combine the prior distribution calculated by the prior network in the CVAE model with the inputted current question and the given attribute label, according to Perform correlation calculation to obtain the revised first calculation result, and compare the distribution of the recognition network calculation in the CVAE model with the inputted current question, the response to the label-independent attribute corresponding to the current question, and the given attribute label.
  • the latent variables captured by the CVAE model can obtain the label information corresponding to each attribute label, and then jointly control the generation of dialogue responses.
  • This application has a label-controlled CVAE model whose latent variables are explicitly partitioned into z c , z 1 , z 2 , . . . , z K .
  • z c is used to capture the shared semantic information of each attribute label
  • z 1 , z 2 , . . . , z K are used to capture the label information corresponding to the attributes of k different aspects respectively.
  • the value of k can be determined according to the pre-requirements in the user's dialogue task.
  • the RecognitionNetwork (recognition network) and the PriorNetwork (prior network) used to calculate the prior distribution p ⁇ are two parts.
  • the posterior distribution calculated by RecognitionNetwork from the training data The calculation process is: The calculation process is related to the training data question x, reply y, and the given attribute label l.
  • PriorNetwork calculates prior distribution Unlike traditional CVAE networks that only specify In this application, The calculation process is: Related to the input question x and the given attribute label l. Different from the calculation process of Recognition Network, Prior Network calculates the corresponding prior distribution Independent of the response y of the dataset. This is because the Prior Network represents the true distribution of the input question x, and the reply y is unknown under this condition.
  • the distribution calculated by the recognition network in the CVAE model, the inputted current question, the label-independent replies corresponding to the current question, and the given attribute label, according to The step S21 of performing the associated calculation to obtain the revised second calculation result includes:
  • S212 Calculate the distribution of the recognition network calculation in the CVAE model according to the distribution calculation method in the CVAE model.
  • the distribution calculation method in the CVAE model in this application includes three items, which are the first item, the second item, and the third item from top to bottom in the above formula.
  • the first term indicates that the distribution ⁇ obeys a Gaussian distribution, and the parameters are Calculated parameters Then, the distribution ⁇ can be obtained.
  • the last two terms represent the calculation
  • the adopted neural network includes a multi-head attention computing module and a multi-layer perceptron.
  • the second item is the multi-head attention calculation module, is a randomly initialized context vector, Corresponding to the q, k, v of the initial layer of the Transformer, respectively.
  • the information k, v can be found, namely The hidden state associated with the distribution ⁇ in The third term is a multilayer perceptron, a multi-layer neural network.
  • the hidden layer state obtained by the second item After a multilayer perceptron the parameters of the distribution ⁇ can be obtained That is, the distribution ⁇ is obtained.
  • a dialog reply device based on attribute tag control includes:
  • the screening module 1 is used to obtain the current question in the dialogue task and each attribute label carried in the dialogue task;
  • a control module 2 configured to control the CVAE model to capture the latent variables of each of the attribute labels, and obtain label information corresponding to each of the attribute labels, wherein the label information includes each of the hidden variables;
  • the forming module 3 is used to add the label information corresponding to each of the attribute labels to the dialogue reply state of the current question by stages, so as to form a dialogue to the current question jointly managed and controlled by each of the attribute labels reply.
  • each stage only changes the dialogue reply state according to one tag information, until all the tag information is integrated into the dialogue reply.
  • the model architecture of each stage includes an Encoder module and a Decoder module.
  • the dialogue reply specifically includes several stages. According to the dialogue task preset by the user, if there are several attribute tags carried in the dialogue task, the dialogue reply is divided into the same number of stages to complete. For example, if the user has two specific requirements for dialogue tasks, one is to reply to a question, and the other is to reply to a positive emotion, two attribute tags corresponding to the above specific requirements are introduced, and the tag information corresponding to the two attribute tags is gradually divided into two stages.
  • the present application obtains each attribute tag by means of keyword recognition, for example, by identifying the assignment corresponding to the attribute tag keyword in the dialogue task, each attribute tag can be obtained.
  • the parameters of the CVAE model are first obtained from the prior distribution, and then based on the parameters of the CVAE model, the control and confirmation network determines the hidden variables associated with the input question and each attribute label, and obtains the label corresponding to each of the attribute labels. information.
  • each stage from the initial stage is sequentially invoked according to the quantity of the tag information, and the dialogue reply corresponding to each attribute tag is formed through the superposition of the calculations of each stage.
  • the dialogue reply model of the present application is based on CVAE's innovative attribute tag control, and by adding each attribute tag control to the dialogue reply state in stages, the dialogue reply to the question for each attribute tag is automatically generated, and the diversity of the question reply is realized.
  • the dialogue reply model for controlling the dialogue reply state includes an initial stage layer, and the tag information added one by one corresponds to the stage layers of the reply dialogue which are added one by one, and each stage layer includes an encoder and a decoder respectively.
  • the device, the forming module 3, includes:
  • a first input unit configured to sequentially input the current question into the initial stage layer, and each of the reply stage layers after the initial stage layer;
  • the first obtaining unit is used to obtain the calculation result of the current question by the initial stage layer, the hidden variable corresponding to the common semantic information corresponding to the first label information, and the feature hidden variable corresponding to the first label information, wherein,
  • the first label information belongs to any one of all label information;
  • the first splicing unit is used to combine the calculation result of the initial stage layer on the current question, the latent variable corresponding to the common semantic information corresponding to the first label information, and the feature latent variable corresponding to the first label information , perform vector splicing to obtain the first splicing vector;
  • the second input unit is used to input the first splicing vector into the encoder of the first stage layer, wherein the first stage layer corresponds to the first label information, and the first stage layer is sorted in a stage layer after the initial stage layer and adjacent to the initial stage layer;
  • the second acquiring unit is configured to acquire the first output result corresponding to the encoder of the first stage layer, acquire the latent variable corresponding to the common semantic information corresponding to the second label information and the feature latent variable corresponding to the second label information , wherein the second label information belongs to any one of all remaining label information except the first label information;
  • the second splicing unit is configured to perform vector splicing of the first output result, the latent variable corresponding to the common semantic information corresponding to the second label information, and the feature latent variable corresponding to the second label information to obtain a second splicing vector ;
  • the third input unit is configured to input the second splicing vector into the encoder of the second stage to obtain a second output result, wherein the second stage corresponds to the second label information, and the second stage a layer is a stage layer ordered after the first stage layer and adjacent to the first stage layer;
  • the fourth input unit is configured to input the second output result into the decoder of the second stage layer, and obtain the second information for the current question controlled based on the first label information and the second label information. dialogue reply;
  • the obtaining unit is used to splicing the second output result, the hidden variable corresponding to the common semantic information corresponding to the next newly added label information and the feature hidden variable corresponding to the new label information, to obtain a new splicing vector, and combining the
  • the new splicing vector is input to the encoder of the newly added stage to obtain all the tag information in the order of addition prior to the newly added tag information and the dialogue reply to the current question jointly controlled by the newly added tag information.
  • the first obtaining unit includes:
  • An input word unit for inputting the word vector corresponding to the current question into the encoder corresponding to the initial stage, to obtain the output result of the encoder corresponding to the initial stage;
  • the output result of the encoder corresponding to the initial stage is used as the calculation result of the current question by the initial layer.
  • the first acquisition unit includes:
  • the obtaining subunit is used to input the output result of the encoder corresponding to the initial stage into the decoder corresponding to the initial stage to obtain the dialogue reply corresponding to the initial stage.
  • the dialogue reply model is based on the Transformer model, and the encoder and the decoder of each stage layer respectively include a multi-head attention calculation module, and the third input unit includes:
  • the setting subunit is used for setting the second output result as the parameters k and v of the second multi-head attention calculation module, and setting the output result of the decoder of the first stage layer as the first Two parameters q of the multi-head attention calculation module, wherein, the second multi-head attention calculation module is the calculation module in the decoder of the second stage layer;
  • the control subunit is used to control the second multi-head attention calculation module, according to Calculate the probability of generating the second dialogue reply, where p represents the probability, y represents the dialogue reply, x represents the question, l k represents the k-th attribute label, h k represents the output of the encoder of the k-stage layer, and K belongs to the positive integer;
  • control module 2 includes:
  • the calculation unit is used to combine the prior distribution calculated by the prior network in the CVAE model with the inputted current question and the given attribute label, according to Perform correlation calculation to obtain the revised first calculation result, and compare the distribution of the recognition network calculation in the CVAE model with the inputted current question, the response to the label-independent attribute corresponding to the current question, and the given attribute label.
  • control unit configured to control the difference error between the second calculation result and the first calculation result to be within a specified range, so as to determine the corrected prior distribution
  • a sampling unit configured to sample from the corrected prior distribution, so that the CVAE model captures the latent variables of each of the attribute labels, and obtains the label information corresponding to each of the attribute labels.
  • the computing unit includes:
  • the first calculation subunit is configured to calculate the distribution of the recognition network calculation in the CVAE model according to the distribution calculation method in the CVAE model.
  • an embodiment of the present application further provides a computer device.
  • the computer device may be a server, and its internal structure may be as shown in FIG. 3 .
  • the computer device includes a processor, memory, a network interface, and a database connected by a system bus. Among them, the processor of the computer design is used to provide computing and control capabilities.
  • the memory of the computer device includes a non-volatile storage medium, an internal memory.
  • the nonvolatile storage medium stores an operating system, a computer program, and a database.
  • the memory provides an environment for the execution of the operating system and computer programs in the non-volatile storage medium.
  • the database of the computer device is used to store all data required for the dialog reply process based on attribute tag control.
  • the network interface of the computer device is used to communicate with an external terminal through a network connection.
  • FIG. 3 is only a block diagram of a partial structure related to the solution of the present application, and does not constitute a limitation on the computer equipment to which the solution of the present application is applied.
  • An embodiment of the present application further provides a computer-readable storage medium.
  • the computer-readable storage medium may be non-volatile or volatile, and a computer program is stored thereon.
  • the computer program is executed by a processor, the above-mentioned The dialog reply method based on attribute tag control of any embodiment.
  • Nonvolatile memory may include read only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory may include random access memory (RAM) or external cache memory.
  • RAM is available in various forms such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double-rate SDRAM (SSRSDRAM), enhanced SDRAM (ESDRAM), synchronous Link (Synchlink) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及人工智能领域，揭示了基于属性标签控制的对话回复方法，包括：获取对话任务中的当前提问和对话任务中携带的各属性标签；控制CVAE模型捕获各所述属性标签的隐变量，得到各所述属性标签分别对应的标签信息，其中，所述标签信息包括各所述隐变量；将各所述属性标签分别对应的标签信息，通过分阶段加入到对所述当前提问的对话回复状态中，形成各所述属性标签共同管控的对所述当前提问的对话回复。对话回复模型基于CVAE创新的属性标签控制，并通过分阶段加入各属性标签控制至对话回复状态中，自动生成针对各属性标签的对提问的对话回复，实现对提问回复的多样性。

Description

基于属性标签控制的对话回复方法、装置和计算机设备
本申请要求于2020年7月27日提交中国专利局、申请号为2020107331481，发明名称为“基于属性标签控制的对话回复方法、装置和计算机设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及到人工智能领域，特别是涉及到基于属性标签控制的对话回复方法、装置和计算机设备。
背景技术
传统开放域的对话系统，基本上基于序列到序列(Sequence-to-sequence,Seq2Seq)的学习框架。发明人发现，上述框架虽然能够捕捉提问与回复之间的语义语法和上下文依赖关系，但仍然倾向于记忆语料库中出现较多的无意义语句，具有较低的回复多样性，并且模型的可解释性较差，且无法生成针对多个属性标签控制的对话回复。
技术问题
本申请的主要目的为提供基于属性标签控制的对话回复方法，旨在解决现有无法生成针对多个属性标签控制的对话回复的技术问题。
技术解决方案
本申请提出一种基于属性标签控制的对话回复方法，包括：
获取对话任务中的当前提问和对话任务中携带的各属性标签；
控制CVAE模型捕获各所述属性标签的隐变量，得到各所述属性标签分别对应的标签信息，其中，所述标签信息包括各所述隐变量；
将各所述属性标签分别对应的标签信息，通过分阶段加入到对所述当前提问的对话回复状态中，形成各所述属性标签共同管控的对所述当前提问的对话回复。
本申请还提供了一种基于属性标签控制的对话回复装置，包括：
筛选模块，用于获取对话任务中的当前提问和对话任务中携带的各属性标签；
控制模块，用于控制CVAE模型捕获各所述属性标签的隐变量，得到各所述属性标签分别对应的标签信息，其中，所述标签信息包括各所述隐变量；
形成模块，用于将各所述属性标签分别对应的标签信息，通过分阶段加入到对所述当前提问的对话回复状态中，形成各所述属性标签共同管控的对所述当前提问的对话回复。
本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于属性标签控制的对话回复方法，所述方法包括：
获取对话任务中的当前提问和对话任务中携带的各属性标签；
控制CVAE模型捕获各所述属性标签的隐变量，得到各所述属性标签分别对应的标签信息，其中，所述标签信息包括各所述隐变量；
将各所述属性标签分别对应的标签信息，通过分阶段加入到对所述当前提问的对话回复状态中，形成各所述属性标签共同管控的对所述当前提问的对话回复。
本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于属性标签控制的对话回复方法，所述方法包括：
获取对话任务中的当前提问和对话任务中携带的各属性标签；
控制CVAE模型捕获各所述属性标签的隐变量，得到各所述属性标签分别对应的标签信息，其中，所述标签信息包括各所述隐变量；
将各所述属性标签分别对应的标签信息，通过分阶段加入到对所述当前提问的对话回复状态中，形成各所述属性标签共同管控的对所述当前提问的对话回复。
有益效果
本申请的对话回复模型基于CVAE创新的属性标签控制，并通过分阶段加入各属性标签 控制至对话回复状态中，自动生成针对各属性标签的对提问的对话回复，实现对提问回复的多样性。
附图说明
图1本申请一实施例的基于属性标签控制的对话回复方法流程示意图；
图2本申请一实施例的基于属性标签控制的对话回复装置结构示意图；
图3本申请一实施例的计算机设备内部结构示意图。
本发明的最佳实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请一实施例的基于属性标签控制的对话回复方法，包括：
S1：获取对话任务中的当前提问和对话任务中携带的各属性标签；
S2：控制CVAE模型捕获各所述属性标签的隐变量，得到各所述属性标签分别对应的标签信息，其中，所述标签信息包括各所述隐变量；
S3：将各所述属性标签分别对应的标签信息，通过分阶段加入到对所述当前提问的对话回复状态中，形成各所述属性标签共同管控的对所述当前提问的对话回复。
本申请通过在对话回复模型中设定了多个阶段，通过对多个阶段进行叠加，每一阶段只依据一个标签信息使对话回复状态进行更改，直至所有的标签信息都融入到对话回复中。上述对话回复模型中，每个阶段的模型架构均包含一个Encoder模块和一个Decoder模块。对话回复中具体包括几个阶段，根据用户预先设定的对话任务决定，对话任务中携带的属性标签有几个，则对话回复就分为相同数量的阶段完成。比如用户有两个对话任务的具体要求，一是回复疑问句，二是回复正面情感，则引入上述具体要求对应的两个属性标签，且分两个阶段逐渐将两个属性标签对应的标签信息，加入到对话回复状态中，最终形成针对上述两个属性标签的对话回复。本申请通过关键字识别的方式，获取各属性标签，比如识别对话任务中属性标签关键字对应的赋值，可得到各属性标签。本申请的先从先验分布中获取CVAE模型的参数，然后基于CVAE模型的参数，控制确认网络确定输入的提问与各属性标签的相关联的隐变量，得到各所述属性标签分别对应的标签信息。根据标签信息的数量依次调用对话回复模型中，从初始阶段开始的各阶段，通过各阶段计算的叠加，形成各所述属性标签对应的对话回复。本申请的对话回复模型基于CVAE创新的属性标签控制，并通过分阶段加入各属性标签控制至对话回复状态中，自动生成针对各属性标签的对提问的对话回复，实现对提问回复的多样性。
进一步地，控制所述对话回复状态的对话回复模型包括初始阶段层，以及跟随逐一增加的所述标签信息，分别对应逐一增加的回复对话的阶段层，各阶段层分别包括一个编码器和一个解码器，所述将各所述属性标签分别对应的标签信息，通过分阶段加入到对所述当前提问的对话回复状态中，形成各所述属性标签共同管控的对所述当前提问的对话回复的步骤S3，包括：
S30：将所述当前提问依次输入所述初始阶段层，以及排序于所述初始阶段层之后的各所述回复阶段层；S31：获取所述初始阶段层对所述当前提问的计算结果，第一标签信息的共同语义信息对应的隐变量以及所述第一标签信息对应的特征隐变量，其中，所述第一标签信息属于所有标签信息中的任一个；
S32：将所述初始阶段层对所述当前提问的计算结果，与所述第一标签信息对应的共同语义信息对应的隐变量以及所述第一标签信息对应的特征隐变量，进行向量拼接得到第一拼接向量；
S33：将所述第一拼接向量输入第一阶段层的编码器，其中，所述第一阶段层与所述第一标签信息相对应，所述第一阶段层为排序于所述初始阶段层之后，且与所述初始阶段层相邻的阶段层；
S34：获取所述第一阶段层的编码器对应的第一输出结果，获取第二标签信息对应的共同语义信息对应的隐变量以及所述第二标签信息对应的特征隐变量，其中，所述第二标签信息属于除所述第一标签信息之外的所有剩余标签信息中的任一个；
S35：将所述第一输出结果，与第二标签信息对应的共同语义信息对应的隐变量以及所述第二标签信息对应的特征隐变量，进行向量拼接得到第二拼接向量；
S36：将所述第二拼接向量输入第二阶段的编码器，得到第二输出结果，其中，所述第二阶段与所述第二标签信息相对应，所述第二阶段层为排序于所述第一阶段层之后，且与所述第一阶段层相邻的阶段层；
S37：将所述第二输出结果输入所述第二阶段层的解码器，得到基于所述第一标签信息和所述第二标签信息控制的对所述当前提问的第二对话回复；
S38：将第二输出结果，与下一新增加标签信息对应的共同语义信息对应的隐变量以及所述新标签信息对应的特征隐变量，进行向量拼接得到新拼接向量，并将所述新拼接向量输入新增加阶段的编码器，得到增加次序排在所述新增加标签信息之前的所有标签信息以及新增加标签信息共同控制的对所述当前提问的对话回复。
本申请的对话回复模型包括初始阶段层，以及各标签信息分别对应的阶段层，各阶段层分别包括一个编码器和一个解码器。初始阶段层不引入任何标签信息，初始阶段层的编码器输入的为当前提问x的词向量，输出的为当前提问x的词向量的计算结果
Figure PCTCN2021091699-appb-000001
添加第一标签信息后，进入对话回复模型的第二层，即排布于初始阶段层之后，且与初始阶段层相连的第一阶段层。第一标签信息包括共同语义信息对应的隐变量z c和第一标签信息的特征隐变量z 1。上述隐变量z c的赋值以及隐变量z 1的赋值，可通过具有标签控制的CVAE模型获取得到。CVAE模型包括先验网络和识别网络两部分，隐变量z c的赋值，可从识别网络中对应的分布采样获得；隐变量z 1的赋值可从识别网络中对应的分布采样获得，具体过程见CVAE模型的先验网络和识别网络的分布计算采样过程，此处不赘述。
将初始阶段的计算结果
Figure PCTCN2021091699-appb-000002
与第一标签信息对应的隐变量z c以及隐变量z 1，直接依次进行向量拼接，形成第一拼接向量，并将第一拼接向量输入第一阶段层的编码器，输出为h 1。h 1作为第一阶段层的解码器的输入，经过处理得到针对第一标签信息的对话回复，即将第一输出结果输入第一阶段的解码器，得到针对第一标签信息的对所述当前提问的第一对话回复。添加第二标签信息时对应的为第二阶段层的处理过程。即将第一阶段层编码器的输出h 1，与第二标签信息的隐变量z · c以及隐变量z 2，直接依次进行向量拼接，形成第二拼接向量，并将第二拼接向量输入第二阶段层的编码器，输出为h 2。h 2作为第二阶段层的解码器的输入，经过处理得到第一标签信息和第二标签信息共同管控的对话回复，如此类推得到所有标签信息共同管控的对话回复，上述各标签信息具体的依次添加顺序不限，添加顺序的不同，不影响所有标签信息共同管控的对话回复。
进一步地，所述获取所述初始阶段层对所述当前提问的计算结果的步骤S31，包括：
S311：获取所述当前提问对应的词向量；
S312：将所述当前提问对应的词向量输入所述初始阶段对应的编码器中，得到所述初始阶段对应的编码器的输出结果；
S313：将所述初始阶段对应的编码器的输出结果，作为所述初始层对所述当前提问的计算结果。
本申请对当前提问提取词向量的过程，为现有将文本转化为词向量的过程，不赘述。上述当前提问对应的词向量包括词嵌入编码向量和词位置编码向量，将上述词嵌入编码向量和词位置编码向量直接拼接后，输入初始阶段对应的编码器，得到输出
Figure PCTCN2021091699-appb-000003
以通过输出
Figure PCTCN2021091699-appb-000004
对后续各标签信息对应的阶段层进行关联联系。
进一步地，所述将所述初始阶段对应的编码器的输出结果，作为所述初始层对所述当前提问的计算结果的步骤S313之后，包括：
S314：将所述初始阶段对应的编码器的输出结果，输入初始阶段对应的解码器，得到所述初始阶段对应的对话回复。
本申请的初始阶段层不引入任何标签信息，初始阶段层的输入只是提问x的词向量，即将提问x对应的词嵌入编码向量和词位置编码向量拼接后,作为初始阶段层的编码器的输入，得到输出
Figure PCTCN2021091699-appb-000005
将输出
Figure PCTCN2021091699-appb-000006
输入初始阶段层的解码器，得到对提问x的对话回复y。
进一步地，所述对话回复模型为基于Transformer模型，各阶段层的编码器和解码器分别包括multi-head attention计算模块，所述将所述第二输出结果输入所述第二阶段层的解码器，得到基于所述第一标签信息和所述第二标签信息控制的对所述当前提问的第二对话回复的步骤S37，包括：
S371：将所述第二输出结果设定为第二multi-head attention计算模块的参量k和v，将所述第一阶段层的解码器的输出结果设定为所述第二multi-head attention计算模块的参量q，其中，所述第二multi-head attention计算模块为所述第二阶段层的解码器中计算模块；
S372：控制所述第二multi-head attention计算模块，按照
Figure PCTCN2021091699-appb-000007
Figure PCTCN2021091699-appb-000008
计算生成所述第二对话回复的概率，其中，p表示概率，y表示对话回复，x表示提问，l k表示第k个属性标签，h k表示k阶段层的编码器的输出，K属于正整数；
S373：依据所述第二对话回复的概率，按照
Figure PCTCN2021091699-appb-000009
生成基于所述第一标签信息和所述第二标签信息控制的对所述当前提问的所述第二对话回复，其中，W o表示softmax参数，W o∈R H*|V|，H表示隐藏层尺寸，|V|表示词汇量的数量，
Figure PCTCN2021091699-appb-000010
表示采样的字/词，
Figure PCTCN2021091699-appb-000011
表示第k阶段层解码的第t步的解码输出，即k个标签信息共同管控输出的对话回复。
本申请中每个阶段层对应的模型为Transformer模型，编码器和解码器基于multi-head attention计算模块实现。初始阶段层的编码器输入词向量拼接，即提问x对应的词嵌入编码向量和词位置编码向量的拼接向量，作为初始阶段层的编码器的multi-headattention计算模块的初始层q、k、v的赋值，计算得到输出
Figure PCTCN2021091699-appb-000012
初始阶段层的解码器，将回复y对应的词嵌入编码向量和词位置编码向量拼接后，作为初始阶段层的解码器的mult-headattention计算模块的q,将输出结果
Figure PCTCN2021091699-appb-000013
作为初始阶段层的解码器的multi-headattention计算模块的k和v,计算得到输出
Figure PCTCN2021091699-appb-000014
添加第一个属性标签后进入第一阶段层，先结合第一个属性标签得到第一标签信息
Figure PCTCN2021091699-appb-000015
然后编码器在初始阶段层的基础上，会叠加一个新的multi-head attention计算模块，组成第一阶段层对应的编码器。将第一向量拼接作为第一阶段层对应multi-head attention计算层的参量k和v，结合初始阶段层的解码器输出的对话回复,输出针对第一标签信息对应的对话回复。即第一阶段层的编码器的初始
Figure PCTCN2021091699-appb-000016
输出为
Figure PCTCN2021091699-appb-000017
第一阶段层的解码器，同样在初始阶段层的解码器的基础上叠加一个新的multi-headattention计算模块，第一阶段层的解码器的初始
Figure PCTCN2021091699-appb-000018
输出为
Figure PCTCN2021091699-appb-000019
第二阶段层及第二阶段层之后，由于h i-1已经包含了前(i-1)阶段层的所有信息，所 以在获取标签信息
Figure PCTCN2021091699-appb-000020
时，只考虑
Figure PCTCN2021091699-appb-000021
结合属性标签l i，采样得到
Figure PCTCN2021091699-appb-000022
其中i＝1,…,K；编码器部分，会在(i-1)阶段层的基础上，叠加一个新的multi-head attention计算模块，初始层的
Figure PCTCN2021091699-appb-000023
输出
Figure PCTCN2021091699-appb-000024
解码器部分，同样会在(i-1)阶段层的基础上，叠加一个新的multi-headattention计算模块，初始层
Figure PCTCN2021091699-appb-000025
输出为
Figure PCTCN2021091699-appb-000026
进一步地，所述控制CVAE模型捕获各所述属性标签的隐变量，得到各所述属性标签分别对应的标签信息的步骤S2，包括：
S21：将CVAE模型中的先验网络计算的先验分布，与输入的所述当前提问以及给定的属性标签，根据
Figure PCTCN2021091699-appb-000027
进行关联计算，得到修正后的第一计算结果，将CVAE模型中的识别网络计算的分布，与输入的所述当前提问、所述当前提问对应的无关于标签属性的回复以及给定的属性标签，根据
Figure PCTCN2021091699-appb-000028
进行关联计算得到修正后的第二计算结果，其中，
Figure PCTCN2021091699-appb-000029
表示第i阶段层，识别网络针对共同语义信息所获取到的分布，
Figure PCTCN2021091699-appb-000030
表示第i阶段层，识别网络针对标签信息i所获取到的分布，
Figure PCTCN2021091699-appb-000031
表示第i阶段层，先验网络针对共同语义信息所获取到的分布，
Figure PCTCN2021091699-appb-000032
表示第i阶段，先验网络针对标签信息i所获取到的分布；
S22：控制所述第二计算结果与所述第一计算结果的相差误差，处于指定范围内，以确定修正后的先验分布；
S23：从所述修正后的先验分布中采样，使所述CVAE模型捕获各所述属性标签的隐变量，得到各所述属性标签分别对应的标签信息。
本申请通过具有标签控制的CVAE模型，让CVAE模型所捕获的隐变量能够获取各属性标签分别对应的标签信息，进而共同控制对话回复的生成。本申请具有标签控制的CVAE模型，其隐变量明确地划分为z c，z 1，z 2，...，z K。其中z c用于捕获各属性标签的共用的语义信息，z 1，z 2，...，z K分别用于捕获k个不同方面的属性对应的标签信息，上述k个不同方面的属性标签信息，可根据用户的对话任务中预先要求，判断k的取值。本申请的具有标签控制的CVAE模型，包括用于计算分布
Figure PCTCN2021091699-appb-000033
的RecognitionNetwork(识别网络)和用于计算先验分布p θ的PriorNetwork(先验网络)两大部分。RecognitionNetwork从训练数据中计算得到的后验分布
Figure PCTCN2021091699-appb-000034
计算过程为:
Figure PCTCN2021091699-appb-000035
计算过程与训练数据提问x、回复y以及给定的属性标签l有关。PriorNetwork计算先验分布
Figure PCTCN2021091699-appb-000036
不同于传统的CVAE网络中只指定
Figure PCTCN2021091699-appb-000037
本申请中，
Figure PCTCN2021091699-appb-000038
的计算过程为:
Figure PCTCN2021091699-appb-000039
与输入提问x和给定的属性标签l有关。与Recognition Network的计算过程不同，Prior Network计算对应的先验分布
Figure PCTCN2021091699-appb-000040
Figure PCTCN2021091699-appb-000041
与数据集的回复y无关。这是因为Prior Network代表的是输入提问x的真实分布，此条件下回复y是未知的。在训练过程中，RecognitionNetwork的计算结果会逐渐与PriorNetwork趋于一致。然后从Prior Network对应修正后的先验分布
Figure PCTCN2021091699-appb-000042
中采样，得到z c、z i，用于对话回复的生成过程。本申请中，由于无法直接优化获得先验网络的参数，因此通过最大化置信下界，通过
Figure PCTCN2021091699-appb-000043
逼近先验分布p θ，获得参数。模型的优化目标，看作概率函数，通过用数据去训练模型，实现去最大化的优化目标，即函数的值最大 时模型最优。由于本申请的CVAE模型比较复杂，直接在训练过程中去提升概率函数的值是几乎不可能的，因此通过数学方法，先找到优化目标的下界，转化为更简单的概率函数，通过最大化概率函数的下界，来得到优化目标的最大值，即RecognitionNetwork的计算结果会逐渐与PriorNetwork趋于一致的过程。
进一步地，所述将CVAE模型中的识别网络计算的分布，与输入的所述当前提问、所述当前提问对应的无关于标签属性的回复以及给定的属性标签，根据
Figure PCTCN2021091699-appb-000044
进行关联计算得到修正后的第二计算结果的步骤S21，包括：
S211：定义所述CVAE模型中的分布计算方法为：
Figure PCTCN2021091699-appb-000045
其中，
Figure PCTCN2021091699-appb-000046
为分布ψ服从高斯分布时的参数，
Figure PCTCN2021091699-appb-000047
是随机初始化的上下文向量，a＝h 0,
Figure PCTCN2021091699-appb-000048
Figure PCTCN2021091699-appb-000049
表示
Figure PCTCN2021091699-appb-000050
中与分布ψ相关的隐层状态；
S212：根据所述CVAE模型中的分布计算方法，计算得到所述CVAE模型中的识别网络计算的分布。
本申请中CVAE模型中的分布计算方法包括三项，分别为上述公式中从上至下第一项、第二项以及第三项。第一项表示分布ψ服从高斯分布，参数分别为
Figure PCTCN2021091699-appb-000051
计算得到参数
Figure PCTCN2021091699-appb-000052
后，就可以得到分布ψ。后两项表示了计算
Figure PCTCN2021091699-appb-000053
所采用的神经网络，包含一个multi-head attention计算模块和一个多层感知器。第二项是multi-head attention计算模块，
Figure PCTCN2021091699-appb-000054
是一个随机初始化的上下文向量，
Figure PCTCN2021091699-appb-000055
分别对应Transformer初始层的q，k，v。通过multi-head attention计算模块，可以寻找信息k,v,即
Figure PCTCN2021091699-appb-000056
中与分布ψ相关的隐层状态
Figure PCTCN2021091699-appb-000057
第三项是多层感知器，即多层神经网络。第二项获取到的隐层状态
Figure PCTCN2021091699-appb-000058
经过一个多层感知器，就可以得到分布ψ的参数
Figure PCTCN2021091699-appb-000059
即得到了分布ψ。
Figure PCTCN2021091699-appb-000060
表示初始阶段层，即不引入任何标签信息时，模型编码器部分针对回复y的输出。
参照图2，本申请一实施例的基于属性标签控制的对话回复装置，包括：
筛选模块1，用于获取对话任务中的当前提问和对话任务中携带的各属性标签；
控制模块2，用于控制CVAE模型捕获各所述属性标签的隐变量，得到各所述属性标签分别对应的标签信息，其中，所述标签信息包括各所述隐变量；
形成模块3，用于将各所述属性标签分别对应的标签信息，通过分阶段加入到对所述当前提问的对话回复状态中，形成各所述属性标签共同管控的对所述当前提问的对话回复。
本申请通过在对话回复模型中设定了多个阶段，通过对多个阶段进行叠加，每一阶段只依据一个标签信息使对话回复状态进行更改，直至所有的标签信息都融入到对话回复中。上述对话回复模型中，每个阶段的模型架构均包含一个Encoder模块和一个Decoder模块。对话回复中具体包括几个阶段，根据用户预先设定的对话任务决定，对话任务中携带的属性标签有几个，则对话回复就分为相同数量的阶段完成。比如用户有两个对话任务的具体 要求，一是回复疑问句，二是回复正面情感，则引入上述具体要求对应的两个属性标签，且分两个阶段逐渐将两个属性标签对应的标签信息，加入到对话回复状态中，最终形成针对上述两个属性标签的对话回复。本申请通过关键字识别的方式，获取各属性标签，比如识别对话任务中属性标签关键字对应的赋值，可得到各属性标签。本申请的先从先验分布中获取CVAE模型的参数，然后基于CVAE模型的参数，控制确认网络确定输入的提问与各属性标签的相关联的隐变量，得到各所述属性标签分别对应的标签信息。根据标签信息的数量依次调用对话回复模型中，从初始阶段开始的各阶段，通过各阶段计算的叠加，形成各所述属性标签对应的对话回复。本申请的对话回复模型基于CVAE创新的属性标签控制，并通过分阶段加入各属性标签控制至对话回复状态中，自动生成针对各属性标签的对提问的对话回复，实现对提问回复的多样性。
进一步地，控制所述对话回复状态的对话回复模型包括初始阶段层，以及跟随逐一增加的所述标签信息，分别对应逐一增加的回复对话的阶段层，各阶段层分别包括一个编码器和一个解码器，所述形成模块3，包括：
第一输入单元，用于将所述当前提问依次输入所述初始阶段层，以及排序于所述初始阶段层之后的各所述回复阶段层；
第一获取单元，用于获取所述初始阶段层对所述当前提问的计算结果，第一标签信息对应的共同语义信息对应的隐变量以及所述第一标签信息对应的特征隐变量，其中，所述第一标签信息属于所有标签信息中的任一个；
第一拼接单元，用于将所述初始阶段层对所述当前提问的计算结果，与所述第一标签信息对应的共同语义信息对应的隐变量以及所述第一标签信息对应的特征隐变量，进行向量拼接得到第一拼接向量；
第二输入单元，用于将所述第一拼接向量输入第一阶段层的编码器，其中，所述第一阶段层与所述第一标签信息相对应，所述第一阶段层为排序于所述初始阶段层之后，且与所述初始阶段层相邻的阶段层；
第二获取单元，用于获取所述第一阶段层的编码器对应的第一输出结果，获取第二标签信息对应的共同语义信息对应的隐变量以及所述第二标签信息对应的特征隐变量，其中，所述第二标签信息属于除所述第一标签信息之外的所有剩余标签信息中的任一个；
第二拼接单元，用于将所述第一输出结果，与第二标签信息对应的共同语义信息对应的隐变量以及所述第二标签信息对应的特征隐变量，进行向量拼接得到第二拼接向量；
第三输入单元，用于将所述第二拼接向量输入第二阶段的编码器，得到第二输出结果，其中，所述第二阶段与所述第二标签信息相对应，所述第二阶段层为排序于所述第一阶段层之后，且与所述第一阶段层相邻的阶段层；
第四输入单元，用于将所述第二输出结果输入所述第二阶段层的解码器，得到基于所述第一标签信息和所述第二标签信息控制的对所述当前提问的第二对话回复；
得到单元，用于将第二输出结果，与下一新增加标签信息对应的共同语义信息对应的隐变量以及所述新标签信息对应的特征隐变量，进行向量拼接得到新拼接向量，并将所述新拼接向量输入新增加阶段的编码器，得到增加次序排在所述新增加标签信息之前的所有标签信息以及新增加标签信息共同控制的对所述当前提问的对话回复。
进一步地，所述第一获取单元，包括：
获取子单元，用于获取所述当前提问对应的词向量；
输入字单元，用于将所述当前提问对应的词向量输入所述初始阶段对应的编码器中，得到所述初始阶段对应的编码器的输出结果；
作为子单元，用于将所述初始阶段对应的编码器的输出结果，作为所述初始层对所述当前提问的计算结果。
进一步地，第一获取单元，包括：
得到子单元，用于将所述初始阶段对应的编码器的输出结果，输入初始阶段对应的解码器，得到所述初始阶段对应的对话回复。
进一步地，所述对话回复模型为基于Transformer模型，各阶段层的编码器和解码器分别包括multi-head attention计算模块，第三输入单元，包括：
设定子单元，用于将所述第二输出结果设定为第二multi-head attention计算模块的参量k和v，将所述第一阶段层的解码器的输出结果设定为所述第二multi-head attention计算模块的参量q，其中，所述第二multi-head attention计算模块为所述第二阶段层的解码器中计算模块；
控制子单元，用于控制所述第二multi-head attention计算模块，按照
Figure PCTCN2021091699-appb-000061
Figure PCTCN2021091699-appb-000062
计算生成所述第二对话回复的概率，其中，p表示概率，y表示对话回复，x表示提问，l k表示第k个属性标签，h k表示k阶段层的编码器的输出，K属于正整数；
生成子单元，用于依据所述第二对话回复的概率，按照
Figure PCTCN2021091699-appb-000063
生成基于所述第一标签信息和所述第二标签信息控制的对所述当前提问的所述第二对话回复，其中，W o表示softmax参数，W o∈R H*|V|，H表示隐藏层尺寸，|V|表示词汇量的数量，
Figure PCTCN2021091699-appb-000064
表示采样的字/词，
Figure PCTCN2021091699-appb-000065
表示第k阶段层解码的第t步的解码输出，即k个标签信息共同管控输出的对话回复。
进一步地，控制模块2，包括：
计算单元，用于将CVAE模型中的先验网络计算的先验分布，与输入的所述当前提问以及给定的属性标签，根据
Figure PCTCN2021091699-appb-000066
进行关联计算，得到修正后的第一计算结果，将CVAE模型中的识别网络计算的分布，与输入的所述当前提问、所述当前提问对应的无关于标签属性的回复以及给定的属性标签，根据
Figure PCTCN2021091699-appb-000067
进行关联计算得到修正后的第二计算结果，其中，
Figure PCTCN2021091699-appb-000068
表示第i阶段层，识别网络针对共同语义信息所获取到的分布，
Figure PCTCN2021091699-appb-000069
表示第i阶段层，识别网络针对标签信息i所获取到的分布，
Figure PCTCN2021091699-appb-000070
表示第i阶段层，先验网络针对共同语义信息所获取到的分布，
Figure PCTCN2021091699-appb-000071
表示第i阶段，先验网络针对标签信息i所获取到的分布；
控制单元，用于控制所述第二计算结果与所述第一计算结果的相差误差，处于指定范围内，以确定修正后的先验分布；
采样单元，用于从所述修正后的先验分布中采样，使所述CVAE模型捕获各所述属性标签的隐变量，得到各所述属性标签分别对应的标签信息。
进一步地，计算单元，包括：
定义子单元，用于定义所述CVAE模型中的分布计算方法为：
Figure PCTCN2021091699-appb-000072
其中，
Figure PCTCN2021091699-appb-000073
为分布ψ服从高斯分布时的参数，
Figure PCTCN2021091699-appb-000074
是随机初始化的上下文向量，a＝ 0,
Figure PCTCN2021091699-appb-000075
Figure PCTCN2021091699-appb-000076
表示
Figure PCTCN2021091699-appb-000077
中与分布ψ相关的隐层状态；
第一计算子单元，用于根据所述CVAE模型中的分布计算方法，计算得到所述CVAE模型中的识别网络计算的分布。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于属性标签控制的对话回复过程需要的所有数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述任一实施例的基于属性标签控制的对话回复方法。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请一实施例还提供一种计算机可读存储介质，该计算机可读存储介质可以是非易失性，也可以是易失性，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例的基于属性标签控制的对话回复方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (20)

  1. 一种基于属性标签控制的对话回复方法，其中，包括：
    获取对话任务中的当前提问和对话任务中携带的各属性标签；
    控制CVAE模型捕获各所述属性标签的隐变量，得到各所述属性标签分别对应的标签信息，其中，所述标签信息包括各所述隐变量；
    将各所述属性标签分别对应的标签信息，通过分阶段加入到对所述当前提问的对话回复状态中，形成各所述属性标签共同管控的对所述当前提问的对话回复。
  2. 根据权利要求1所述的基于属性标签控制的对话回复方法，其中，控制所述对话回复状态的对话回复模型包括初始阶段层，以及跟随逐一增加的所述标签信息，分别对应逐一增加的回复对话的阶段层，各阶段层分别包括一个编码器和一个解码器，所述将各所述属性标签分别对应的标签信息，通过分阶段加入到对所述当前提问的对话回复状态中，形成各所述属性标签共同管控的对所述当前提问的对话回复的步骤，包括：
    将所述当前提问依次输入所述初始阶段层，以及排序于所述初始阶段层之后的各所述回复阶段层；
    获取所述初始阶段层对所述当前提问的计算结果，第一标签信息的共同语义信息对应的隐变量以及所述第一标签信息对应的特征隐变量，其中，所述第一标签信息属于所有标签信息中的任一个；
    将所述初始阶段层对所述当前提问的计算结果，与所述第一标签信息对应的共同语义信息对应的隐变量以及所述第一标签信息对应的特征隐变量，进行向量拼接得到第一拼接向量；
    将所述第一拼接向量输入第一阶段层的编码器，其中，所述第一阶段层与所述第一标签信息相对应，所述第一阶段层为排序于所述初始阶段层之后，且与所述初始阶段层相邻的阶段层；
    获取所述第一阶段层的编码器对应的第一输出结果，获取第二标签信息对应的共同语义信息对应的隐变量以及所述第二标签信息对应的特征隐变量，其中，所述第二标签信息属于除所述第一标签信息之外的所有剩余标签信息中的任一个；
    将所述第一输出结果，与第二标签信息对应的共同语义信息对应的隐变量以及所述第二标签信息对应的特征隐变量，进行向量拼接得到第二拼接向量；
    将所述第二拼接向量输入第二阶段的编码器，得到第二输出结果，其中，所述第二阶段与所述第二标签信息相对应，所述第二阶段层为排序于所述第一阶段层之后，且与所述第一阶段层相邻的阶段层；
    将所述第二输出结果输入所述第二阶段层的解码器，得到基于所述第一标签信息和所述第二标签信息控制的对所述当前提问的第二对话回复；
    将第二输出结果，与下一新增加标签信息对应的共同语义信息对应的隐变量以及所述新标签信息对应的特征隐变量，进行向量拼接得到新拼接向量，并将所述新拼接向量输入新增加阶段的编码器，得到增加次序排在所述新增加标签信息之前的所有标签信息以及新增加标签信息共同控制的对所述当前提问的对话回复。
  3. 根据权利要求2所述的基于属性标签控制的对话回复方法，其中，所述获取所述初始阶段层对所述当前提问的计算结果的步骤，包括：
    获取所述当前提问对应的词向量；
    将所述当前提问对应的词向量输入所述初始阶段对应的编码器中，得到所述初始阶段对应的编码器的输出结果；
    将所述初始阶段对应的编码器的输出结果，作为所述初始层对所述当前提问的计算结果。
  4. 根据权利要求2所述的基于属性标签控制的对话回复方法，其中，所述对话回复模型为基于Transformer模型，各阶段层的编码器和解码器分别包括multi-head attention计算模块，所述将所述第二输出结果输入所述第二阶段层的解码器，得到基于所述第一标签信息和所述第二标签信息控制的对所述当前提问的第二对话回复的步骤，包括：
    将所述第二输出结果设定为第二multi-head attention计算模块的参量k和v，将所述第一阶段层的解码器的输出结果设定为所述第二multi-head attention计算模块的参量q，其中，所述第二multi-head attention计算模块为所述第二阶段层的解码器中计算模块；
    控制所述第二multi-head attention计算模块，按照
    Figure PCTCN2021091699-appb-100001
    Figure PCTCN2021091699-appb-100002
    计算生成所述第二对话回复的概率，其中，p表示概率，y表示对话回复，x表示提问，l k表示第k个属性标签，h k表示k阶段层的编码器的输出，K属于正整数；
    依据所述第二对话回复的概率，按照
    Figure PCTCN2021091699-appb-100003
    生成基于所述第一标签信息和所述第二标签信息控制的对所述当前提问的所述第二对话回复，其中，W o表示softmax参数，W o∈R H*|V|，H表示隐藏层尺寸，|V|表示词汇量的数量，
    Figure PCTCN2021091699-appb-100004
    表示采样的字/词，
    Figure PCTCN2021091699-appb-100005
    表示第k阶段层解码的第t步的解码输出，即k个标签信息共同管控输出的对话回复。
  5. 根据权利要求1-4中任一项所述的基于属性标签控制的对话回复方法，其中，所述控制CVAE模型捕获各所述属性标签的隐变量，得到各所述属性标签分别对应的标签信息的步骤，包括：
    将CVAE模型中的先验网络计算的先验分布，与输入的所述当前提问以及给定的属性标签，根据
    Figure PCTCN2021091699-appb-100006
    进行关联计算，得到修正后的第一计算结果，将CVAE模型中的识别网络计算的分布，与输入的所述当前提问、所述当前提问对应的无关于标签属性的回复以及给定的属性标签，根据
    Figure PCTCN2021091699-appb-100007
    进行关联计算得到修正后的第二计算结果，其中，
    Figure PCTCN2021091699-appb-100008
    表示第i阶段层，识别网络针对共同语义信息所获取到的分布，
    Figure PCTCN2021091699-appb-100009
    表示第i阶段层，识别网络针对标签信息i所获取到的分布，
    Figure PCTCN2021091699-appb-100010
    表示第i阶段层，先验网络针对共同语义信息所获取到的分布，
    Figure PCTCN2021091699-appb-100011
    表示第i阶段，先验网络针对标签信息i所获取到的分布；
    控制所述第二计算结果与所述第一计算结果的相差误差，处于指定范围内，以确定修正后的先验分布；
    从所述修正后的先验分布中采样，使所述CVAE模型捕获各所述属性标签的隐变量，得到各所述属性标签分别对应的标签信息。
  6. 根据权利要求5所述的基于属性标签控制的对话回复方法，其中，所述将CVAE模型中的识别网络计算的分布，与输入的所述当前提问、所述当前提问对应的无关于标签属性的回复以及给定的属性标签，根据
    Figure PCTCN2021091699-appb-100012
    进行关联计算得到修正后的第二计算结果的步骤之前，包括：
    定义所述CVAE模型中的分布计算方法为：
    Figure PCTCN2021091699-appb-100013
    其中，μΨ，
    Figure PCTCN2021091699-appb-100014
    为分布ψ服从高斯分布时的参数，
    Figure PCTCN2021091699-appb-100015
    是随机初始化的上下文向量，a＝h 0,
    Figure PCTCN2021091699-appb-100016
    表示
    Figure PCTCN2021091699-appb-100017
    中与分布ψ相关的隐层状态；
    根据所述CVAE模型中的分布计算方法，计算得到所述CVAE模型中的识别网络计算的分布。
  7. 一种基于属性标签控制的对话回复装置，其中，包括：
    筛选模块，用于获取对话任务中的当前提问和对话任务中携带的各属性标签；
    控制模块，用于控制CVAE模型捕获各所述属性标签的隐变量，得到各所述属性标签分别对应的标签信息，其中，所述标签信息包括各所述隐变量；
    形成模块，用于将各所述属性标签分别对应的标签信息，通过分阶段加入到对所述当前提问的对话回复状态中，形成各所述属性标签共同管控的对所述当前提问的对话回复。
  8. 根据权利要求7所述的基于属性标签控制的对话回复装置，其中，控制所述对话回复状态的对话回复模型包括初始阶段层，以及跟随逐一增加的所述标签信息，分别对应逐一增加的回复对话的阶段层，各阶段层分别包括一个编码器和一个解码器，所述形成模块包括：
    第一输入单元，用于将所述当前提问依次输入所述初始阶段层，以及排序于所述初始阶段层之后的各所述回复阶段层；
    第一获取单元，用于获取所述初始阶段层对所述当前提问的计算结果，第一标签信息对应的共同语义信息对应的隐变量以及所述第一标签信息对应的特征隐变量，其中，所述第一标签信息属于所有标签信息中的任一个；
    第一拼接单元，用于将所述初始阶段层对所述当前提问的计算结果，与所述第一标签信息对应的共同语义信息对应的隐变量以及所述第一标签信息对应的特征隐变量，进行向量拼接得到第一拼接向量；
    第二输入单元，用于将所述第一拼接向量输入第一阶段层的编码器，其中，所述第一阶段层与所述第一标签信息相对应，所述第一阶段层为排序于所述初始阶段层之后，且与所述初始阶段层相邻的阶段层；
    第二获取单元，用于获取所述第一阶段层的编码器对应的第一输出结果，获取第二标签信息对应的共同语义信息对应的隐变量以及所述第二标签信息对应的特征隐变量，其中，所述第二标签信息属于除所述第一标签信息之外的所有剩余标签信息中的任一个；
    第二拼接单元，用于将所述第一输出结果，与第二标签信息对应的共同语义信息对应的隐变量以及所述第二标签信息对应的特征隐变量，进行向量拼接得到第二拼接向量；
    第三输入单元，用于将所述第二拼接向量输入第二阶段的编码器，得到第二输出结果，其中，所述第二阶段与所述第二标签信息相对应，所述第二阶段层为排序于所述第一阶段层之后，且与所述第一阶段层相邻的阶段层；
    第四输入单元，用于将所述第二输出结果输入所述第二阶段层的解码器，得到基于所述第一标签信息和所述第二标签信息控制的对所述当前提问的第二对话回复；
    得到单元，用于将第二输出结果，与下一新增加标签信息对应的共同语义信息对应的 隐变量以及所述新标签信息对应的特征隐变量，进行向量拼接得到新拼接向量，并将所述新拼接向量输入新增加阶段的编码器，得到增加次序排在所述新增加标签信息之前的所有标签信息以及新增加标签信息共同控制的对所述当前提问的对话回复。
  9. 一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现基于属性标签控制的对话回复方法，所述方法包括：
    获取对话任务中的当前提问和对话任务中携带的各属性标签；
    控制CVAE模型捕获各所述属性标签的隐变量，得到各所述属性标签分别对应的标签信息，其中，所述标签信息包括各所述隐变量；
    将各所述属性标签分别对应的标签信息，通过分阶段加入到对所述当前提问的对话回复状态中，形成各所述属性标签共同管控的对所述当前提问的对话回复。
  10. 根据权利要求9所述的计算机设备，其中，控制所述对话回复状态的对话回复模型包括初始阶段层，以及跟随逐一增加的所述标签信息，分别对应逐一增加的回复对话的阶段层，各阶段层分别包括一个编码器和一个解码器，所述将各所述属性标签分别对应的标签信息，通过分阶段加入到对所述当前提问的对话回复状态中，形成各所述属性标签共同管控的对所述当前提问的对话回复的步骤，包括：
    将所述当前提问依次输入所述初始阶段层，以及排序于所述初始阶段层之后的各所述回复阶段层；
    获取所述初始阶段层对所述当前提问的计算结果，第一标签信息的共同语义信息对应的隐变量以及所述第一标签信息对应的特征隐变量，其中，所述第一标签信息属于所有标签信息中的任一个；
    将所述初始阶段层对所述当前提问的计算结果，与所述第一标签信息对应的共同语义信息对应的隐变量以及所述第一标签信息对应的特征隐变量，进行向量拼接得到第一拼接向量；
    将所述第一拼接向量输入第一阶段层的编码器，其中，所述第一阶段层与所述第一标签信息相对应，所述第一阶段层为排序于所述初始阶段层之后，且与所述初始阶段层相邻的阶段层；
    获取所述第一阶段层的编码器对应的第一输出结果，获取第二标签信息对应的共同语义信息对应的隐变量以及所述第二标签信息对应的特征隐变量，其中，所述第二标签信息属于除所述第一标签信息之外的所有剩余标签信息中的任一个；
    将所述第一输出结果，与第二标签信息对应的共同语义信息对应的隐变量以及所述第二标签信息对应的特征隐变量，进行向量拼接得到第二拼接向量；
    将所述第二拼接向量输入第二阶段的编码器，得到第二输出结果，其中，所述第二阶段与所述第二标签信息相对应，所述第二阶段层为排序于所述第一阶段层之后，且与所述第一阶段层相邻的阶段层；
    将所述第二输出结果输入所述第二阶段层的解码器，得到基于所述第一标签信息和所述第二标签信息控制的对所述当前提问的第二对话回复；
    将第二输出结果，与下一新增加标签信息对应的共同语义信息对应的隐变量以及所述新标签信息对应的特征隐变量，进行向量拼接得到新拼接向量，并将所述新拼接向量输入新增加阶段的编码器，得到增加次序排在所述新增加标签信息之前的所有标签信息以及新增加标签信息共同控制的对所述当前提问的对话回复。
  11. 根据权利要求10所述的计算机设备，其中，所述获取所述初始阶段层对所述当前提问的计算结果的步骤，包括：
    获取所述当前提问对应的词向量；
    将所述当前提问对应的词向量输入所述初始阶段对应的编码器中，得到所述初始阶段对应的编码器的输出结果；
    将所述初始阶段对应的编码器的输出结果，作为所述初始层对所述当前提问的计算结 果。
  12. 根据权利要求10所述的计算机设备，其中，所述对话回复模型为基于Transformer模型，各阶段层的编码器和解码器分别包括multi-head attention计算模块，所述将所述第二输出结果输入所述第二阶段层的解码器，得到基于所述第一标签信息和所述第二标签信息控制的对所述当前提问的第二对话回复的步骤，包括：
    将所述第二输出结果设定为第二multi-head attention计算模块的参量k和v，将所述第一阶段层的解码器的输出结果设定为所述第二multi-head attention计算模块的参量q，其中，所述第二multi-head attention计算模块为所述第二阶段层的解码器中计算模块；
    控制所述第二multi-head attention计算模块，按照
    Figure PCTCN2021091699-appb-100018
    Figure PCTCN2021091699-appb-100019
    计算生成所述第二对话回复的概率，其中，p表示概率，y表示对话回复，x表示提问，l k表示第k个属性标签，h k表示k阶段层的编码器的输出，K属于正整数；
    依据所述第二对话回复的概率，按照
    Figure PCTCN2021091699-appb-100020
    生成基于所述第一标签信息和所述第二标签信息控制的对所述当前提问的所述第二对话回复，其中，W o表示softmax参数，W o∈R H*|V|，H表示隐藏层尺寸，|V|表示词汇量的数量，
    Figure PCTCN2021091699-appb-100021
    表示采样的字/词，
    Figure PCTCN2021091699-appb-100022
    表示第k阶段层解码的第t步的解码输出，即k个标签信息共同管控输出的对话回复。
  13. 根据权利要求9-12中任一项所述的计算机设备，其中，所述控制CVAE模型捕获各所述属性标签的隐变量，得到各所述属性标签分别对应的标签信息的步骤，包括：
    将CVAE模型中的先验网络计算的先验分布，与输入的所述当前提问以及给定的属性标签，根据
    Figure PCTCN2021091699-appb-100023
    进行关联计算，得到修正后的第一计算结果，将CVAE模型中的识别网络计算的分布，与输入的所述当前提问、所述当前提问对应的无关于标签属性的回复以及给定的属性标签，根据
    Figure PCTCN2021091699-appb-100024
    进行关联计算得到修正后的第二计算结果，其中，
    Figure PCTCN2021091699-appb-100025
    表示第i阶段层，识别网络针对共同语义信息所获取到的分布，
    Figure PCTCN2021091699-appb-100026
    表示第i阶段层，识别网络针对标签信息i所获取到的分布，
    Figure PCTCN2021091699-appb-100027
    表示第i阶段层，先验网络针对共同语义信息所获取到的分布，
    Figure PCTCN2021091699-appb-100028
    表示第i阶段，先验网络针对标签信息i所获取到的分布；
    控制所述第二计算结果与所述第一计算结果的相差误差，处于指定范围内，以确定修正后的先验分布；
    从所述修正后的先验分布中采样，使所述CVAE模型捕获各所述属性标签的隐变量，得到各所述属性标签分别对应的标签信息。
  14. 根据权利要求13所述的计算机设备，其中，所述将CVAE模型中的识别网络计算的分布，与输入的所述当前提问、所述当前提问对应的无关于标签属性的回复以及给定的属性标签，根据
    Figure PCTCN2021091699-appb-100029
    进行关联计算得到修正后的第二计算结果的步骤之前，包括：
    定义所述CVAE模型中的分布计算方法为：
    Figure PCTCN2021091699-appb-100030
    其中，μΨ，
    Figure PCTCN2021091699-appb-100031
    为分布ψ服从高斯分布时的参数，
    Figure PCTCN2021091699-appb-100032
    是随机初始化的上下文向量，a＝h 0,
    Figure PCTCN2021091699-appb-100033
    Figure PCTCN2021091699-appb-100034
    表示
    Figure PCTCN2021091699-appb-100035
    中与分布ψ相关的隐层状态；
    根据所述CVAE模型中的分布计算方法，计算得到所述CVAE模型中的识别网络计算的分布。
  15. 一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现基于属性标签控制的对话回复方法，所述方法包括：
    获取对话任务中的当前提问和对话任务中携带的各属性标签；
    控制CVAE模型捕获各所述属性标签的隐变量，得到各所述属性标签分别对应的标签信息，其中，所述标签信息包括各所述隐变量；
    将各所述属性标签分别对应的标签信息，通过分阶段加入到对所述当前提问的对话回复状态中，形成各所述属性标签共同管控的对所述当前提问的对话回复。
  16. 根据权利要求15所述的计算机可读存储介质，其中，控制所述对话回复状态的对话回复模型包括初始阶段层，以及跟随逐一增加的所述标签信息，分别对应逐一增加的回复对话的阶段层，各阶段层分别包括一个编码器和一个解码器，所述将各所述属性标签分别对应的标签信息，通过分阶段加入到对所述当前提问的对话回复状态中，形成各所述属性标签共同管控的对所述当前提问的对话回复的步骤，包括：
    将所述当前提问依次输入所述初始阶段层，以及排序于所述初始阶段层之后的各所述回复阶段层；
    获取所述初始阶段层对所述当前提问的计算结果，第一标签信息的共同语义信息对应的隐变量以及所述第一标签信息对应的特征隐变量，其中，所述第一标签信息属于所有标签信息中的任一个；
    将所述初始阶段层对所述当前提问的计算结果，与所述第一标签信息对应的共同语义信息对应的隐变量以及所述第一标签信息对应的特征隐变量，进行向量拼接得到第一拼接向量；
    将所述第一拼接向量输入第一阶段层的编码器，其中，所述第一阶段层与所述第一标签信息相对应，所述第一阶段层为排序于所述初始阶段层之后，且与所述初始阶段层相邻的阶段层；
    获取所述第一阶段层的编码器对应的第一输出结果，获取第二标签信息对应的共同语义信息对应的隐变量以及所述第二标签信息对应的特征隐变量，其中，所述第二标签信息属于除所述第一标签信息之外的所有剩余标签信息中的任一个；
    将所述第一输出结果，与第二标签信息对应的共同语义信息对应的隐变量以及所述第二标签信息对应的特征隐变量，进行向量拼接得到第二拼接向量；
    将所述第二拼接向量输入第二阶段的编码器，得到第二输出结果，其中，所述第二阶段与所述第二标签信息相对应，所述第二阶段层为排序于所述第一阶段层之后，且与所述第一阶段层相邻的阶段层；
    将所述第二输出结果输入所述第二阶段层的解码器，得到基于所述第一标签信息和所述第二标签信息控制的对所述当前提问的第二对话回复；
    将第二输出结果，与下一新增加标签信息对应的共同语义信息对应的隐变量以及所述新标签信息对应的特征隐变量，进行向量拼接得到新拼接向量，并将所述新拼接向量输入新增加阶段的编码器，得到增加次序排在所述新增加标签信息之前的所有标签信息以及新增加标签信息共同控制的对所述当前提问的对话回复。
  17. 根据权利要求16所述的计算机可读存储介质，其中，所述获取所述初始阶段层对所述当前提问的计算结果的步骤，包括：
    获取所述当前提问对应的词向量；
    将所述当前提问对应的词向量输入所述初始阶段对应的编码器中，得到所述初始阶段对应的编码器的输出结果；
    将所述初始阶段对应的编码器的输出结果，作为所述初始层对所述当前提问的计算结果。
  18. 根据权利要求16所述的计算机可读存储介质，其中，所述对话回复模型为基于Transformer模型，各阶段层的编码器和解码器分别包括multi-head attention计算模块，所述将所述第二输出结果输入所述第二阶段层的解码器，得到基于所述第一标签信息和所述第二标签信息控制的对所述当前提问的第二对话回复的步骤，包括：
    将所述第二输出结果设定为第二multi-head attention计算模块的参量k和v，将所述第一阶段层的解码器的输出结果设定为所述第二multi-head attention计算模块的参量q，其中，所述第二multi-head attention计算模块为所述第二阶段层的解码器中计算模块；
    控制所述第二multi-head attention计算模块，按照
    Figure PCTCN2021091699-appb-100036
    Figure PCTCN2021091699-appb-100037
    计算生成所述第二对话回复的概率，其中，p表示概率，y表示对话回复，x表示提问，l k表示第k个属性标签，h k表示k阶段层的编码器的输出，K属于正整数；
    依据所述第二对话回复的概率，按照
    Figure PCTCN2021091699-appb-100038
    生成基于所述第一标签信息和所述第二标签信息控制的对所述当前提问的所述第二对话回复，其中，W o表示softmax参数，W o∈R H*|V|，H表示隐藏层尺寸，|V|表示词汇量的数量，
    Figure PCTCN2021091699-appb-100039
    表示采样的字/词，
    Figure PCTCN2021091699-appb-100040
    表示第k阶段层解码的第t步的解码输出，即k个标签信息共同管控输出的对话回复。
  19. 根据权利要求15-18中任一项所述的计算机可读存储介质，其中，所述控制CVAE模型捕获各所述属性标签的隐变量，得到各所述属性标签分别对应的标签信息的步骤，包括：
    将CVAE模型中的先验网络计算的先验分布，与输入的所述当前提问以及给定的属性标签，根据
    Figure PCTCN2021091699-appb-100041
    进行关联计算，得到修正后的第一计算结果，将CVAE模型中的识别网络计算的分布，与输入的所述当前提问、所述当前提问对应的无关于标签属性的回复以及给定的属性标签，根据
    Figure PCTCN2021091699-appb-100042
    进行关联计算得到修正后的第二计算结果，其中，
    Figure PCTCN2021091699-appb-100043
    表示第i阶段层，识别网络针对共同语义信息所获取到的分布，
    Figure PCTCN2021091699-appb-100044
    表示第i阶段层，识别网络针对标签信息i所获取到的分布，
    Figure PCTCN2021091699-appb-100045
    表示第i阶段层，先验网络针对共同语义信息所获取到的分布，
    Figure PCTCN2021091699-appb-100046
    表示第i阶段，先验网络针对标签信息i所获取到的分布；
    控制所述第二计算结果与所述第一计算结果的相差误差，处于指定范围内，以确定修正后的先验分布；
    从所述修正后的先验分布中采样，使所述CVAE模型捕获各所述属性标签的隐变量，得到各所述属性标签分别对应的标签信息。
  20. 根据权利要求19所述的计算机可读存储介质，其中，所述将CVAE模型中的识别网络计算的分布，与输入的所述当前提问、所述当前提问对应的无关于标签属性的回复以及给定的属性标签，根据
    Figure PCTCN2021091699-appb-100047
    进行关联计算得到修正后的第二计算结果的步骤之前，包括：
    定义所述CVAE模型中的分布计算方法为：
    Figure PCTCN2021091699-appb-100048
    其中，μΨ，
    Figure PCTCN2021091699-appb-100049
    为分布ψ服从高斯分布时的参数，
    Figure PCTCN2021091699-appb-100050
    是随机初始化的上下文向量，a＝h 0,
    Figure PCTCN2021091699-appb-100051
    Figure PCTCN2021091699-appb-100052
    表示
    Figure PCTCN2021091699-appb-100053
    中与分布ψ相关的隐层状态；
    根据所述CVAE模型中的分布计算方法，计算得到所述CVAE模型中的识别网络计算的分布。
PCT/CN2021/091699 2020-07-27 2021-04-30 基于属性标签控制的对话回复方法、装置和计算机设备 Ceased WO2022021987A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010733148.1A CN111859989B (zh) 2020-07-27 2020-07-27 基于属性标签控制的对话回复方法、装置和计算机设备
CN202010733148.1 2020-07-27

Publications (1)

Publication Number Publication Date
WO2022021987A1 true WO2022021987A1 (zh) 2022-02-03

Family

ID=72948877

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/091699 Ceased WO2022021987A1 (zh) 2020-07-27 2021-04-30 基于属性标签控制的对话回复方法、装置和计算机设备

Country Status (2)

Country Link
CN (1) CN111859989B (zh)
WO (1) WO2022021987A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114595317A (zh) * 2022-02-25 2022-06-07 腾讯科技（深圳）有限公司 回复文本的生成方法、装置、设备及存储介质
CN115080739A (zh) * 2022-06-24 2022-09-20 北京百度网讯科技有限公司 用于训练对话模型的方法以及用于输出应答信息的方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111859989B (zh) * 2020-07-27 2023-11-14 平安科技（深圳）有限公司 基于属性标签控制的对话回复方法、装置和计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110347792A (zh) * 2019-06-25 2019-10-18 腾讯科技（深圳）有限公司 对话生成方法及装置、存储介质、电子设备
WO2020060603A1 (en) * 2018-09-18 2020-03-26 Insilico Medicine, Inc. Subset conditioning using variational autoencoder with a learnable tensor train induced prior
CN111859989A (zh) * 2020-07-27 2020-10-30 平安科技（深圳）有限公司 基于属性标签控制的对话回复方法、装置和计算机设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110275939B (zh) * 2019-06-10 2023-01-17 腾讯科技（深圳）有限公司 对话生成模型的确定方法及装置、存储介质、电子设备
CN110990543A (zh) * 2019-10-18 2020-04-10 平安科技（深圳）有限公司 智能对话的生成方法、装置、计算机设备及计算机存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020060603A1 (en) * 2018-09-18 2020-03-26 Insilico Medicine, Inc. Subset conditioning using variational autoencoder with a learnable tensor train induced prior
CN110347792A (zh) * 2019-06-25 2019-10-18 腾讯科技（深圳）有限公司 对话生成方法及装置、存储介质、电子设备
CN111859989A (zh) * 2020-07-27 2020-10-30 平安科技（深圳）有限公司 基于属性标签控制的对话回复方法、装置和计算机设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GU XIUSENG: "Research on Controllability Chat-oriented Dialogue System", INFORMATION & TECHNOLOGY, CHINA MASTER'S THESES FULL-TEXT DATABASE, 15 September 2019 (2019-09-15), XP055890771 *
XIANDA ZHOU; WILLIAM YANG WANG: "MojiTalk: Generating Emotional Responses at Scale", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 11 November 2017 (2017-11-11), 201 Olin Library Cornell University Ithaca, NY 14853 , XP080836311 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114595317A (zh) * 2022-02-25 2022-06-07 腾讯科技（深圳）有限公司 回复文本的生成方法、装置、设备及存储介质
CN115080739A (zh) * 2022-06-24 2022-09-20 北京百度网讯科技有限公司 用于训练对话模型的方法以及用于输出应答信息的方法

Also Published As

Publication number Publication date
CN111859989B (zh) 2023-11-14
CN111859989A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN114245203B (zh) 基于剧本的视频剪辑方法、装置、设备及介质
CN113035311B (zh) 一种基于多模态注意力机制的医学图像报告自动生成方法
CN109256216A (zh) 医学数据处理方法、装置、计算机设备和存储介质
CN111985572B (zh) 基于特征比较的通道注意力机制的细粒度图像识别方法
CN113849648B (zh) 分类模型训练方法、装置、计算机设备和存储介质
CN109635838A (zh) 人脸样本图片标注方法、装置、计算机设备及存储介质
WO2022021987A1 (zh) 基于属性标签控制的对话回复方法、装置和计算机设备
CN111460303B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
Hafeth et al. Semantic representations with attention networks for boosting image captioning
Wang et al. Few-shot learning based balanced distribution adaptation for heterogeneous defect prediction
CN112070086A (zh) 文本识别系统的优化方法、计算机设备及存储介质
CN110598210B (zh) 实体识别模型训练、实体识别方法、装置、设备及介质
Ming et al. Autolabel: Automated textual data annotation method based on active learning and large language model
CN111125323A (zh) 一种聊天语料标注方法、装置、电子设备及存储介质
Zhu et al. Emotion Recognition in Learning Scenes Supported by Smart Classroom and Its Application.
CN114817452A (zh) 一种语义匹配方法、装置、设备及可存储介质
CN113657496B (zh) 基于相似度匹配模型的信息匹配方法、装置、设备及介质
CN113326762B (zh) 人脸图像的情绪确定方法、装置、电子设备及存储介质
CN119358539B (zh) 口语化文本生成方法、装置、设备及存储介质
CN120145183A (zh) 基于变分信息瓶颈引导的概念瓶颈模型构建方法及设备
CN118394924A (zh) 一种实体关系联合抽取方法和装置
CN117932058A (zh) 基于文本分析的情绪识别方法、装置及设备
CN117875322A (zh) 一种文本数据的实体提取方法、系统、设备和介质
Chitra et al. Penalty based Sentimental Text Generation Framework using Generative Adversarial Networks
CN114706995A (zh) 应用人工智能技术的业务大数据处理方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21850576

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21850576

Country of ref document: EP

Kind code of ref document: A1