WO2020177282A1 - 一种机器对话方法、装置、计算机设备及存储介质 - Google Patents

一种机器对话方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
WO2020177282A1
WO2020177282A1 PCT/CN2019/103612 CN2019103612W WO2020177282A1 WO 2020177282 A1 WO2020177282 A1 WO 2020177282A1 CN 2019103612 W CN2019103612 W CN 2019103612W WO 2020177282 A1 WO2020177282 A1 WO 2020177282A1
Authority
WO
WIPO (PCT)
Prior art keywords
response
value
intention
dialogue
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/103612
Other languages
English (en)
French (fr)
Inventor
吴壮伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2020177282A1 publication Critical patent/WO2020177282A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Definitions

  • the present invention relates to the field of artificial intelligence technology, in particular to a machine dialogue method, device, computer equipment and storage medium.
  • chatbots have gradually emerged.
  • a chatbot is a program used to simulate human conversations or chats. It can be used for practical purposes, such as customer service, consultation and Q&A, and some social robots are used to chat with people.
  • chatbots will be equipped with natural language processing systems, but more often extract keywords from input sentences, and then retrieve answers based on keywords from the database.
  • the answers of these chat bots are usually pretty, non-emotional, and the chat mode is the same, causing people to be less interested in chatting with them, and the utilization rate of chat bots is also low.
  • the invention provides a machine dialogue method, device, computer equipment and storage medium to solve the same problem that a chat robot answers.
  • a machine dialogue method includes the following steps:
  • the dialogue intention is input into a preset response decision model, and the response strategy output by the response decision model in response to the dialogue intention is obtained, wherein the response decision model is used to obtain a response strategy from a plurality of preset candidate response strategies Select a response strategy corresponding to the dialogue intention in the dialog;
  • the language information is input into a response generation model having a mapping relationship with the response strategy, and the response information input by the response generation model in response to the language information is obtained.
  • a machine dialogue device including:
  • the acquisition module is used to acquire the language information input by the current user
  • a recognition module which inputs the language information into a preset intention recognition model, and obtains a dialogue intention output by the intention recognition model in response to the language information;
  • the calculation module inputs the dialog intention into a preset response decision model, and obtains the response strategy output by the response decision model in response to the dialog intention, wherein the response decision model is used to obtain a response from a plurality of preset Selecting a response strategy corresponding to the dialogue intention among candidate response strategies;
  • a generating module inputs the language information into a response generation model that has a mapping relationship with the response strategy, and obtains response information input by the response generation model in response to the language information.
  • a computer device comprising a memory and a processor, the memory stores computer readable instructions, and when the computer readable instructions are executed by the processor, the processor executes the steps of the machine dialogue method described above .
  • a computer-readable storage medium having computer-readable instructions stored thereon, and when the computer-readable instructions are executed by a processor, the processor executes the steps of the machine dialogue method described above.
  • the beneficial effects of the embodiments of the present invention are: by acquiring the language information input by the current user; inputting the language information into a preset intention recognition model, and acquiring the dialogue intention output by the intention recognition model in response to the language information;
  • the dialogue intention is input into a preset response decision model, and the response strategy output by the response decision model in response to the dialogue intention is obtained, wherein the response decision model is used to obtain a response strategy from a plurality of preset candidate response strategies Select the response strategy corresponding to the dialogue intention; input the language information into a response generation model that has a mapping relationship with the response strategy, and obtain the response information input by the response generation model in response to the language information.
  • the response generation model is determined, and the reinforcement learning network model is introduced in the process of determining the response generation model.
  • different response generation models are used to generate different types of responses, so that the dialogue is diversified and more interesting.
  • FIG. 1 is a schematic diagram of the basic flow of a machine dialogue method according to an embodiment of the present invention
  • FIG. 2 is a schematic diagram of a process flow of determining a response strategy using a Q-value matrix in an embodiment of the present invention
  • FIG. 3 is a schematic diagram of a process flow of determining a response strategy using a Q value reinforcement learning network according to an embodiment of the present invention
  • FIG. 4 is a schematic diagram of the training process of an LSTM-CNN neural network model according to an embodiment of the present invention
  • FIG. 5 is a block diagram of the basic structure of a machine dialogue device according to an embodiment of the present invention.
  • Fig. 6 is a block diagram of the basic structure of a computer device according to an embodiment of the present invention.
  • terminal and “terminal equipment” used herein include both wireless signal receiver equipment, equipment that only has wireless signal receivers without transmitting capability, and equipment receiving and transmitting hardware.
  • a device which has a device capable of performing two-way communication receiving and transmitting hardware on a two-way communication link.
  • Such equipment may include: cellular or other communication equipment, which has a single-line display or multi-line display or cellular or other communication equipment without a multi-line display; PCS (Personal Communications Service, personal communication system), which can combine voice and data Processing, fax and/or data communication capabilities; PDA (Personal Digital Assistant), which can include radio frequency receivers, pagers, Internet/Intranet access, web browsers, notebooks, calendars and/or GPS (Global Positioning System (Global Positioning System) receiver; a conventional laptop and/or palmtop computer or other device, which has and/or includes a radio frequency receiver, a conventional laptop and/or palmtop computer or other device.
  • PCS Personal Communications Service, personal communication system
  • PDA Personal Digital Assistant
  • GPS Global Positioning System (Global Positioning System) receiver
  • a conventional laptop and/or palmtop computer or other device which has and/or includes a radio frequency receiver, a conventional laptop and/or palmtop computer or other device.
  • terminal and terminal equipment used here may be portable, transportable, installed in vehicles (aviation, sea and/or land), or suitable and/or configured to operate locally, and/or In a distributed form, it runs on the earth and/or any other location in space.
  • the "terminal” and “terminal device” used here can also be communication terminals, Internet terminals, music/video playback terminals, such as PDA, MID (Mobile Internet Device, mobile Internet device) and/or music/video playback Functional mobile phones can also be devices such as smart TVs and set-top boxes.
  • the terminal in this embodiment is the aforementioned terminal.
  • FIG. 1 is a schematic diagram of the basic flow of a machine dialogue method in this embodiment.
  • a machine dialogue method includes the following steps:
  • the language information input by the user is acquired through the interactive page on the terminal.
  • the received information can be text information or voice information.
  • the voice information is converted into text information through a voice recognition device.
  • the recognition of the dialogue intention can be based on keywords, for example, to determine whether the intent is task-based or chat-type.
  • the task-type is the dialogue intention that requires robots to answer questions. It can be determined whether the input language information contains query keywords, such as "?" "What", "How much”, “Where", “How” and other interrogative mood particles. You can also use a regular matching algorithm to determine whether the input language information is a question sentence.
  • a regular expression is a logical formula for string manipulation. It uses predefined specific characters and combinations of these specific characters to form a "rule” String", this "rule string” is used to express a kind of filtering logic for string.
  • the dialogue intention is a chat type.
  • dialogue intentions can be subdivided.
  • the chat type can be subdivided into positive types, including emotions such as affirmation, praise, and thanks, and negative types, including emotions such as complaints, complaints, and accusations.
  • the subdivided dialogue intentions can be judged by the preset keyword list.
  • a keyword list is preset. When the keywords in the extracted input language information are in the keyword list corresponding to a certain dialogue intention When the words match, it is considered that the input language information corresponds to the dialogue intention.
  • the dialogue intention recognition is performed through the pre-trained LSTM-CNN neural network model.
  • first perform Chinese word segmentation use the basic word segmentation library, and sequentially enter to remove stop words, punctuation, etc., obtain the word embedding vector through the word vector model, and pass it to the neural network model based on LSTM-CNN.
  • the word embedding vector enters the multi-layer LSTM neural unit to obtain the state vector and output of each stage; then, based on the state vector of each stage, perform convolution operation and pooling operation (CNN) to obtain the integrated vector index; then the integrated vector index Enter the softmax function to get the probability of the corresponding intention.
  • CNN convolution operation and pooling operation
  • the intention with the highest probability is the dialogue intention corresponding to the input language information.
  • Figure 4 for the training process of the LSTM-CNN neural network model.
  • the dialogue intention of the input language information is obtained, and the dialogue intention is input into the response decision model to determine the response strategy for the input language information.
  • different response strategies can be preset for different dialogue intentions, for example, for task-based intentions, the response strategy is question answering, and for negative intentions, the response strategy is emotional resolution.
  • Different response strategies correspond to different response generation models.
  • the Q value is calculated to determine the response strategy to be adopted for the dialogue intention.
  • the Q value is used to measure the value of a certain response strategy for a certain dialogue intention to the entire chat process. For example, we examine the degree of pleasure of the chat. The degree of pleasure can be accounted for by the negative intention sentences of the entire dialogue process as the user’s input in the current round of dialogue. Measured by the ratio of the number, the Q value is the value of a certain response strategy for a certain round of dialogue to chat pleasure.
  • a Q-value matrix can be preset through empirical values, the elements of which are q(s,a), s ⁇ S, a ⁇ A, where S is the dialogue intention space and A is the response strategy space.
  • the Q value is calculated by a Q value reinforcement learning network model.
  • the input of Q-value reinforcement learning network model is s, which is the dialogue intention, and the output is Q(s, a). That is, starting from state s and adopting strategy a, the expected benefits can be obtained.
  • the training of the Q-value reinforcement learning network model takes the convergence of the first loss function as the training objective, and the first loss function is
  • s is the dialogue intention
  • a is the response strategy
  • w is the network parameter of the Q value reinforcement learning network model
  • Q is the true value. Is the predicted value.
  • w is the network parameter trained by the Q-value reinforcement learning network model.
  • the response decision model is the aforementioned Q-value matrix or Q-value reinforcement learning network model.
  • S104 Input the language information to a response generation model that has a mapping relationship with the response strategy, and obtain response information input by the response generation model in response to the language information.
  • a corresponding response generation model is preset.
  • the response strategy is a question answering type
  • the corresponding response generation model includes a question and answer database, and matches the corresponding answer by searching for keywords in the input language information.
  • the corresponding response generation model adopts the trained Seq2Seq model.
  • the specific training process is to prepare the training corpus, that is, prepare the input sequence and the corresponding output sequence, input the input sequence into the Seq2Seq model, and calculate the output For the probability of the sequence, adjust the parameters of the Seq2Seq model so that the entire sample, that is, all input sequences, has the highest probability of outputting the corresponding output sequence after Seq2Seq.
  • the training corpus prepared here requires the sentiment of the input sentence to be negative and the sentiment of the output sentence to be positive.
  • step S103 further includes the following steps:
  • S112 Determine that the candidate response strategy corresponding to the largest q value in the Q value matrix is the response strategy of the dialogue intention.
  • the candidate response strategy with the largest q value is the response strategy corresponding to the dialogue intention.
  • step S103 further includes the following steps:
  • S121 Input the candidate response strategy and the dialogue intention into the Q-value reinforcement learning network model in turn, and obtain the Q value corresponding to each candidate response strategy output by the Q-value reinforcement learning network model;
  • the candidate response strategy and the dialogue intention are input into the Q value reinforcement learning network model to obtain the Q value of the dialogue intention using the response strategy.
  • S122 Determine that the candidate response strategy with the largest Q value is the response strategy of the dialogue intention.
  • the candidate response strategy with the largest Q value is the response strategy that the dialogue intention should adopt.
  • the training of the LSTM-CNN neural network model in the embodiment of the present invention includes the following steps:
  • the training samples are labeled with the category of dialogue intent.
  • the types of training sample marks are task type and chat type.
  • the task type responds to user needs for answering questions
  • the chat type responds to applications and needs for small talk.
  • N is the number of training samples.
  • the corresponding label Yi is the final intent recognition result
  • the neural network model of LSTM-CNN takes the convergence of the second loss function as the training target, that is, by adjusting the weight of each node in the neural network model, the second loss function reaches the minimum value.
  • the loss When the value of the function no longer decreases, but instead increases, the training ends.
  • the second loss function is used to measure whether the conversation intention of the training sample predicted by the LSTM-CNN neural network model is consistent with the conversation intention category marked by the training sample. If the second loss function does not converge, adjust the neural network through the gradient descent method
  • the weight of each node in the model ends when the reference type of dialogue intention predicted by the neural network is consistent with the type of dialogue intention marked by the training sample. That is to continue to adjust the weight, the value of the loss function no longer decreases, but increases instead, the training ends.
  • FIG. 5 is a block diagram of the basic structure of the machine dialogue device of this embodiment.
  • a machine dialogue device includes: an acquisition module 210, an identification module 220, a calculation module 230, and a generation module 240.
  • the obtaining module 210 is used to obtain the language information input by the current user;
  • the recognition module 220 is used to input the language information into a preset intention recognition model, and obtain the dialogue output by the intention recognition model in response to the language information.
  • calculation module 230 input the dialogue intent into a preset response decision model, and obtain the response strategy output by the response decision model in response to the dialogue intention, wherein the response decision model is used from the preset
  • the response strategy corresponding to the dialogue intention is selected among the multiple candidate response strategies
  • the generation module 240 inputs the language information into the response generation model that has a mapping relationship with the response strategy, and obtains the response information of the response generation model The response information entered while describing the language information.
  • the embodiment of the present invention obtains the language information input by the current user; inputs the language information into a preset intention recognition model, and obtains the dialogue intention output by the intention recognition model in response to the language information; Input into a preset response decision model to obtain the response strategy output by the response decision model in response to the dialogue intention, wherein the response decision model is used to select from a plurality of preset candidate response strategies and A response strategy corresponding to the dialogue intention; the language information is input to a response generation model that has a mapping relationship with the response strategy, and the response information input by the response generation model in response to the language information is obtained.
  • the response generation model is determined, and the reinforcement learning network model is introduced in the process of determining the response generation model. For different intentions, different response generation models are used to generate different types of responses, so that the dialogue is diversified and more interesting.
  • the response decision model in the machine dialogue device is based on a preset Q-value matrix, wherein the element q in the Q-value matrix is used to evaluate the value of each candidate response strategy for each dialogue intention.
  • the machine dialogue device further includes: a first query submodule and a first confirmation submodule, wherein the first query submodule is used for querying the Q-value matrix according to the dialogue intention; the first confirmation submodule is used for It is determined that the candidate response strategy corresponding to the largest q value in the Q value matrix is the response strategy of the dialogue intention.
  • the response decision model in the machine dialogue device is based on a pre-trained Q-value reinforcement learning network model, wherein the Q-value reinforcement learning network model is characterized by the following first loss function:
  • s is the dialogue intention
  • a is the response strategy
  • w is the network parameter of the Q value reinforcement learning network model
  • Q is the true value. Is the predicted value; adjusting the value of the network parameter w of the Q-value reinforcement learning network model, so that when the first loss function reaches the minimum value, the Q-value reinforcement learning network model defined by the value of the network parameter w is determined to be Pre-trained Q value reinforcement learning network model.
  • the machine dialogue device further includes: a first processing submodule and a second confirmation submodule.
  • the first processing sub-module is configured to sequentially input candidate response strategies and the dialogue intention into the Q-value reinforcement learning network model, and obtain Q corresponding to each candidate response strategy output by the Q-value reinforcement learning network model. Value; the second confirmation sub-module is used to determine that the candidate response strategy with the largest Q value is the response strategy of the dialogue intention.
  • the preset intention recognition model in the machine dialogue device uses a pre-trained LSTM-CNN neural network model
  • the machine dialogue device further includes: a first acquisition submodule, a second processing submodule, and a A comparison sub-module and a first execution sub-module, wherein the first acquisition sub-module is used to acquire training samples marked with dialogue intention categories, and the training samples are language information marked with different dialogue intention categories; second processing The sub-module is used to input the training samples into the LSTM-CNN neural network model to obtain the reference category of the dialogue intention of the training samples; the first comparison sub-module is used to compare the differences in the training samples through the second loss function Whether the sample dialogue intention reference category is consistent with the dialogue intention category, wherein the second loss function is:
  • N is the number of training samples.
  • the corresponding label Yi is the final intent recognition result
  • the preset intent recognition model in the machine dialogue device adopts a regular matching algorithm, wherein the rule character string used by the regular matching algorithm includes at least a question feature string, and the machine dialogue device also It includes a first matching sub-module, which is used to perform a regular matching operation between the language information and the rule string.
  • the result is a match, it is determined that the dialogue intention is task-based, otherwise, it is determined that the dialogue intention is chat-type .
  • the response generation model in the machine dialogue device includes at least a pre-trained Seq2Seq model
  • the machine dialogue device further includes a second acquisition submodule and a third processing submodule, wherein the second acquisition submodule , Used to obtain training corpus, the training corpus includes an input sequence and an output sequence; a third processing sub-module, used to input the input sequence into the Seq2Seq model, adjust the parameters of the Seq2Seq model, and make the Seq2Seq model respond to the input The probability of outputting the output sequence is the greatest.
  • FIG. 6 is a block diagram of the basic structure of the computer device in this embodiment.
  • the computer device includes a processor, a non-volatile storage medium, a memory, and a network interface connected through a system bus.
  • the non-volatile storage medium of the computer device stores an operating system, a database, and computer-readable instructions.
  • the database may store control information sequences.
  • the processor can make the processor realize the above The machine conversation method described in any embodiment.
  • the processor of the computer equipment is used to provide calculation and control capabilities, and supports the operation of the entire computer equipment.
  • the computer readable instructions may be stored in the memory of the computer device, and when the computer readable instructions are executed by the processor, the processor can cause the processor to execute the machine dialogue method described in any of the foregoing embodiments.
  • the network interface of the computer device is used to connect and communicate with the terminal.
  • the processor is used to execute the specific content of the acquisition module 210, the recognition module 220, the calculation module 230, and the generation module 240 in FIG. 5, and the memory stores the program codes and various data required to execute the above modules.
  • the network interface is used for data transmission between user terminals or servers.
  • the memory in this embodiment stores the program codes and data required to execute all the sub-modules in the machine dialogue method, and the server can call the program codes and data of the server to execute the functions of all the sub-modules.
  • the computer device obtains the language information input by the current user; inputs the language information into a preset intention recognition model, and obtains the dialogue intention output by the intention recognition model in response to the language information; and inputs the dialogue intention into
  • the response strategy output by the response decision model in response to the dialogue intention is obtained, wherein the response decision model is used to select the dialogue intention from a plurality of preset candidate response strategies Corresponding response strategy; input the language information to a response generation model that has a mapping relationship with the response strategy, and obtain response information input by the response generation model in response to the language information.
  • the response generation model is determined, and the reinforcement learning network model is introduced in the process of determining the response generation model.
  • different response generation models are used to generate different types of responses, so that the dialogue is diversified and more interesting.
  • the present invention also provides a storage medium storing computer-readable instructions.
  • the computer-readable instructions are executed by one or more processors, the one or more processors execute the machine conversation method described in any of the above embodiments. A step of.
  • the computer program can be stored in a computer readable storage medium. When executed, it may include the processes of the above-mentioned method embodiments.
  • the aforementioned storage medium may be a non-volatile storage medium such as a magnetic disk, an optical disc, a read-only memory (Read-Only Memory, ROM), or a random access memory (Random Access Memory, RAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本发明实施例涉及人工智能技术领域，公开了一种机器对话的方法、装置、计算机设备及存储介质，其中方法包括下述步骤：获取当前用户输入的语言信息；将所述语言信息输入到预设的意图识别模型中，获取所述意图识别模型响应所述语言信息而输出的对话意图；将所述对话意图输入到预设的应答决策模型中，获取所述应答决策模型响应所述对话意图而输出的应答策略；将所述语言信息输入到与所述应答策略具有映射关系的应答生成模型，获取所述应答生成模型响应所述语言信息而输入的应答信息。通过意图识别，确定应答生成模型，生成不同类型应答，使对话多样化，更有趣味性。

Description

一种机器对话方法、装置、计算机设备及存储介质
交叉引用
本申请以2019年3月1日提交的申请号为201910154323.9，名称为“一种机器对话方法、装置、计算机设备及存储介质”的中国发明专利申请为基础，并要求其优先权。
技术领域
本发明涉及人工智能技术领域，尤其涉及一种机器对话方法、装置、计算机设备及存储介质。
背景技术
随着人工智能技术的发展，聊天机器人也逐渐兴起。聊天机器人是一个用来模拟人类对话或聊天的程序，可以用于实用的目的，例如客户服务、咨询问答，也有一部分的社交机器人，用来与人们聊天。
有些聊天机器人会搭载自然语言处理系统，但更多的从输入语句中提取关键字，再从数据库中根据关键字检索答案。这些聊天机器人回答通常中规中矩，不带感情色彩，聊天模式千篇一律，导致人们与之聊天的兴趣不高，聊天机器人的利用率也较低。
发明内容
本发明提供一种机器对话方法、装置、计算机设备及存储介质，以解决聊天机器人回答千篇一律的问题。
一种机器对话方法，包括如下步骤：
获取当前用户输入的语言信息；
将所述语言信息输入到预设的意图识别模型中，获取所述意图识别模型响应所述语言信息而输出的对话意图；
将所述对话意图输入到预设的应答决策模型中，获取所述应答决策模型响应所述对话意图而输出的应答策略，其中，所述应答决策模型用于从预设的多个候选应答策略中选择与所述对话意图对应的应答策略；
将所述语言信息输入到与所述应答策略具有映射关系的应答生成模型，获取所述应答生成模型响应所述语言信息而输入的应答信息。
一种机器对话装置，包括：
获取模块，用于获取当前用户输入的语言信息；
识别模块，将所述语言信息输入到预设的意图识别模型中，获取所述意图识别模型响应所述语言信息而输出的对话意图；
计算模块，将所述对话意图输入到预设的应答决策模型中，获取所述应答决策模型响应所述对话意图而输出的应答策略，其中，所述应答决策模型用于从预设的多个候选应答策略中选择与所述对话意图对应的应答策略；
生成模块，将所述语言信息输入到与所述应答策略具有映射关系的应答生成模型，获取所述应答生成模型响应所述语言信息而输入的应答信息。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述所述机器对话方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时，使得所述处理器执行上述所述机器对话方法的步骤。
本发明实施例的有益效果为：通过获取当前用户输入的语言信息；将所述语言信息输入到预设的意图识别模型中，获取所述意图识别模型响应所述语言信息而输出的对话意图；将所述对话意图输入到预设的应答决策模型中，获取所述应答决策模型响应所述对话意图而输出的应答策略，其中，所述应答决策模型用于从预设的多个候选应答策略中选择与所述对话意图对应的应答策略；将所述语言信息输入到与所述应答策略具有映射关系的应答生成模型，获取所述应答生成模型响应所述语言信息而输入的应答信息。通过对输入语句的意图识别，确定应答生成模型，且在确定应答生成模型过程中引入强化学习网络模型，意图不同，采用不同的应答生成模型，生成不同类型的应答，使对话多样化，更有趣味性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中 所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
图1为本发明实施例一种机器对话方法基本流程示意图；
图2为本发明实施例采用Q值矩阵确定应答策略流程示意图；
图3为本发明实施例采用Q值强化学习网络确定应答策略流程示意图；
图4为本发明实施例LSTM-CNN神经网络模型训练流程示意图；
图5为本发明实施例一种机器对话装置基本结构框图；
图6为本发明实施例计算机设备基本结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备； PCS(Personal Communications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
本实施方式中的终端即为上述的终端。
具体地，请参阅图1，图1为本实施例一种机器对话方法的基本流程示意图。
如图1所示，一种机器对话方法，包括下述步骤：
S101、获取当前用户输入的语言信息；
通过终端上可交互的页面获取用户输入的语言信息，接收到的信息可以是文本信息，也可以是语音信息，通过语音识别装置，将语音信息转化为文本信息。
S102、将所述语言信息输入到预设的意图识别模型中，获取所述意图识别模型响应所述语言信息而输出的对话意图；
将文本化的语言信息输入到预设的意图识别模型中，识别出用户的对话意图。对话意图的识别可以基于关键字，例如判断意图是任务型还是聊天型，任务型即对话意图为需要机器人解答问题，可以通过判断输入的语言信息中是否包含表示疑问的关键词，例如“？””什么”“多少”“哪里”“怎么”等表示疑问的语气词。也可以采用正则匹配的算法，判断输入的语言信息是否疑问句，正则表达式是对字符串操作的一种逻辑公式，用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。
当输入的语言信息不是疑问句，则判断对话意图为聊天型。进一步地，可以细分对话意图，例如聊天型下可细分为积极型，包括肯定、称赞、感谢等情绪；消极型，包括吐槽、抱怨、指责等情绪。细分的对话意图可以通过预设的关键词列表判断，每一种对话意图，预设一个关键词列表，当提取的输入语言信息中的关键词与某种对话意图对应的关键词列表中的词一致时，认为输入语言信息对应该对话意图。
本发明实施例中通过预先训练的LSTM-CNN神经网络模型进行对话意图识别。具体地，对输入的内容，首先进行中文分词，采用基本分词库，依次进入去除停用词、标点符号等，通过词向量模型获得词嵌入向量，传入基于LSTM-CNN的神经网络模型。词嵌入向量进入多层LSTM神经单元，得到各个阶段的状态向量和输出；然后，基于各个阶段的状态向量，进行卷积操作和池化操作(CNN)，得到综合向量指标；然后将综合向量指标输入softmax函数，得到对应的意图的概率。取概率最高的意图为输入语言信息对应的对话意图。具体地，LSTM-CNN神经网络模型的训练过程请参阅图4。
S103、将所述对话意图输入到预设的应答决策模型中，获取所述应答决策模型响应所述对话意图而输出的应答策略，其中，所述应答决策模型用于从预设的多个候选应答策略中选择与所述对话意图对应的应答策略；
经过步骤S102的处理，得到了输入语言信息的对话意图，将对话意图输入到应答决策模型中，确定针对输入语言信息的应答策略。为了使对话带有感情色彩，使对话更有趣，可以针对不同的对话意图预设不同的应答策略，例如，针对任务型意图，应答策略为问题解答型，针对消极型意图，应答策略为情绪排解型，针对积极型意图，应答策略为情绪同理型。不同的应答策略对应不同的应答生成模型。
本发明实施例中，通过计算Q值来确定对话意图所应采取的应答策略。Q值用来衡量针对某种对话意图采取某种应答策略对整个聊天过程的价值，例如我们考察聊天的愉悦程度，愉悦程度可以用整个对话过程中消极意图语句占用户在本轮对话中输入语句数的比例来衡量，则Q值是针对某轮对话采取某种应答策略对聊天愉悦度的价值。
可以通过经验值预设一个Q值矩阵，其中的元素为q(s,a),s∈S,a∈A其中S为对话意图空间，A为应答策略空间。
q(1,1) … q(1,a)
…    …    …
q(s,1) … q(s,a)
在一些实施方式中，Q值通过Q值强化学习网络模型计算得出。Q值强化学习网络模型输入为s，即对话意图，输出为Q(s,a)。即从状态s出发，采取a策略，能得到的预期收益。Q值强化学习网络模型的训练以第一损失函数收敛为训练目标，第一损失函数为
Figure PCTCN2019103612-appb-000001
其中，s为对话意图，a为应答策略，w为Q值强化学习网络模型的网络参数，Q为真实值，
Figure PCTCN2019103612-appb-000002
为预测值。当第一损失函数收敛时，w即为Q值强化学习网络模型训练好的网络参数。
所述的应答决策模型即前述的Q值矩阵或Q值强化学习网络模型。
S104、将所述语言信息输入到与所述应答策略具有映射关系的应答生成模型，获取所述应答生成模型响应所述语言信息而输入的应答信息。
针对每种应答策略，预设对应的应答生成模型，例如，应答策略为问题解答型，对应的应答生成模型包含问答数据库，通过检索输入语言信息中的关键词，匹配相应的答案。对于应答策略为情绪排解型，对应的应答生成模型采用经过训练的Seq2Seq模型，具体的训练过程为准备训练语料，即准备输入序列和对应的输出序列，将输入序列输入到Seq2Seq模型，计算得到输出序列的概率，调整Seq2Seq模型的参数，使整个样本，即所有输入序列经过Seq2Seq输出对应输出序列的概率最高。这里准备的训练语料要求输入语句情感为消极型，输出语句情感为积极型。
如图2所示，当采用预设的Q值矩阵来确定对话意图对应的应答策略时，步骤S103中还包括以下步骤：
S111、根据所述对话意图查询所述Q值矩阵；
查询Q值矩阵中，该对话意图对应的各候选应答策略的q值。
S112、确定所述Q值矩阵中最大的q值对应的候选应答策略为所述对话意图的应答策略。
q值最大的候选应答策略即为该对话意图对应的应答策略。
如图3所示，当采用预先训练的Q值强化学习网络模型来确定对话意图对应的应答策略时，步骤S103中还包括以下步骤：
S121、依次将候选应答策略和所述对话意图输入到所述Q值强化学习网络模型中，获取所述Q值强化学习网络模型输出的各候选应答策略对应的Q值；
计算各候选应答策略的Q值时，将该候选应答策略和对话意图输入到Q值强化学习网络模型，得到该对话意图采用该应答策略的Q值。
S122、确定所述Q值最大的候选应答策略为所述对话意图的应答策略。
确定Q值最大的候选应答策略为该对话意图应该采用的应答策略。
如图4所示，本发明实施例中LSTM-CNN神经网络模型的训练包括以下步骤：
S131、获取标记有对话意图类别的训练样本，所述训练样本为标记有不同对话意图类别的语言信息；
准备训练样本，训练样本标记有对话意图的类别。本发明实施例中的训练样本标记的类别为任务型和聊天型。任务型对应用户需求为解答问题，聊天型对应用和需求为闲聊。
S132、将所述训练样本输入LSTM-CNN神经网络模型获取所述训练样本的对话意图参照类别；
将训练样本，首先进行中文分词，可以采用基本分词库，依次进入去除停用词、标点符号等、通过词向量模型获得词嵌入向量，输入到LSTM-CNN的神经网络模型，即词嵌入向量，进入多层LSTM神经单元，得到各个阶段的状态向量和输出；然后，基于各个阶段的状态向量，进行卷积操作和池化操作(CNN)，得到综合向量指标；然后将综合向量指标进入softmax函数，得到对应的意图的概率。
S133、通过第二损失函数比对所述训练样本内不同样本对话意图参照类别与所述对话意图类别是否一致，其中第二损失函数为：
Figure PCTCN2019103612-appb-000003
其中，N为训练样本数，针对第i个样本其对应的标记为Yi是最终的意图识别结果，h＝(h1,h2,...,hc)为样本i的预测结果，其中C是所有分类的数量；
本发明实施例中，LSTM-CNN的神经网络模型以第二损失函数收敛为训练目标，即通过调整神经网络模型中各节点的权重，使第二损失函数达到最 小值，当继续调整权重，损失函数的值不再减小，反而增大时，训练结束。
S134、当所述对话意图参照类别与所述对话意图类别不一致时，反复循环迭代的更新所述LSTM-CNN神经网络模型中的权重，至所述第二损失函数达到最小值时结束。
通过第二损失函数是否收敛来衡量LSTM-CNN的神经网络模型预测的训练样本的对话意图与训练样本标记的对话意图类别是否一致，如果第二损失函数不收敛，通过梯度下降法，调整神经网络模型中各节点的权重，至神经网络预测的对话意图参照类别与训练样本标记的对话意图类别一致时结束。即继续调整权重，损失函数的值不再减小，反而增大时，训练结束。
为解决上述技术问题本发明实施例还提供一种机器对话装置。具体请参阅图5，图5为本实施例机器对话装置的基本结构框图。
如图5所示，一种机器对话装置，包括：获取模块210、识别模块220、计算模块230和生成模块240。其中，获取模块210，用于获取当前用户输入的语言信息；识别模块220，将所述语言信息输入到预设的意图识别模型中，获取所述意图识别模型响应所述语言信息而输出的对话意图；计算模块230，将所述对话意图输入到预设的应答决策模型中，获取所述应答决策模型响应所述对话意图而输出的应答策略，其中，所述应答决策模型用于从预设的多个候选应答策略中选择与所述对话意图对应的应答策略；生成模块240，将所述语言信息输入到与所述应答策略具有映射关系的应答生成模型，获取所述应答生成模型响应所述语言信息而输入的应答信息。
本发明实施例通过获取当前用户输入的语言信息；将所述语言信息输入到预设的意图识别模型中，获取所述意图识别模型响应所述语言信息而输出的对话意图；将所述对话意图输入到预设的应答决策模型中，获取所述应答决策模型响应所述对话意图而输出的应答策略，其中，所述应答决策模型用于从预设的多个候选应答策略中选择与所述对话意图对应的应答策略；将所述语言信息输入到与所述应答策略具有映射关系的应答生成模型，获取所述应答生成模型响应所述语言信息而输入的应答信息。通过对输入语句的意图识别，确定应答生成模型，且在确定应答生成模型过程中引入强化学习网络模型，意图不同，采用不同的应答生成模型，生成不同类型的应答，使对话多样化，更有趣味性。
在一些实施方式中，所述机器对话装置中的应答决策模型基于预设的Q值矩阵，其中，所述Q值矩阵中的元素q用于评价各候选应答策略对于各对话意图的价值，所述机器对话装置中还包括：第一查询子模块和第一确认子模块，其中，第一查询子模块，用于根据所述对话意图查询所述Q值矩阵；第一确认子模块，用于确定所述Q值矩阵中最大的q值对应的候选应答策略为所述对话意图的应答策略。
在一些实施方式中，所述机器对话装置中的应答决策模型基于预先训练的Q值强化学习网络模型，其中，所述Q值强化学习网络模型以下述第一损失函数为特征：
Figure PCTCN2019103612-appb-000004
其中，s为对话意图，a为应答策略，w为Q值强化学习网络模型的网络参数，Q为真实值，
Figure PCTCN2019103612-appb-000005
为预测值；调整所述Q值强化学习网络模型的网络参数w的值，使所述第一损失函数达到最小值时，确定由所述网络参数w的值定义的Q值强化学习网络模型为预先训练的Q值强化学习网络模型。
在一些实施方式中，所述机器对话装置还包括：第一处理子模块、第二确认子模块。其中，第一处理子模块，用于依次将候选应答策略和所述对话意图输入到所述Q值强化学习网络模型中，获取所述Q值强化学习网络模型输出的各候选应答策略对应的Q值；第二确认子模块，用于确定所述Q值最大的候选应答策略为所述对话意图的应答策略。
在一些实施方式中，所述机器对话装置中预设的意图识别模型采用预先训练的LSTM-CNN神经网络模型，所述机器对话装置还包括：第一获取子模块、第二处理子模块、第一比对子模块和第一执行子模块，其中，第一获取子模块，用于获取标记有对话意图类别的训练样本，所述训练样本为标记有不同对话意图类别的语言信息；第二处理子模块，用于将所述训练样本输入LSTM-CNN神经网络模型获取所述训练样本的对话意图参照类别；第一比对子模块，用于通过第二损失函数比对所述训练样本内不同样本对话意图参照类别与所述对话意图类别是否一致，其中第二损失函数为：
Figure PCTCN2019103612-appb-000006
其中，N为训练样本数，针对第i个样本其对应的标记为Yi是最终的意 图识别结果，h＝(h1,h2,...,hc)为样本i的预测结果，其中C是所有分类的数量；第一执行子模块，用于当所述对话意图参照类别与所述对话意图类别不一致时，反复循环迭代的更新所述LSTM-CNN神经网络模型中的权重，至所述第二损失函数达到最小值时结束。
在一些实施方式中，所述机器对话装置中所述预设的意图识别模型采用正则匹配算法，其中，所述正则匹配算法使用的规则字符串至少包含疑问特征字符串，所述机器对话装置还包括第一匹配子模块，用于将所述语言信息与所述规则字符串进行正则匹配运算，当结果为匹配时，确定所述对话意图为任务型，否则，确定所述对话意图为聊天型。
在一些实施方式中，所述机器对话装置中的应答生成模型至少包含预先训练的Seq2Seq模型，所述机器对话装置还包括第二获取子模块和第三处理子模块，其中，第二获取子模块，用于获取训练语料，所述训练语料包含输入序列和输出序列；第三处理子模块，用于将所述输入序列输入到Seq2Seq模型中，调整Seq2Seq模型的参数，使Seq2Seq模型响应所述输入序列而输出所述输出序列的概率最大。
为解决上述技术问题，本发明实施例还提供计算机设备。具体请参阅图6，图6为本实施例计算机设备基本结构框图。
如图6所示，计算机设备的内部结构示意图。如图6所示，该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现上述任意实施例中所述的机器对话方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行上述任意实施例中所述的机器对话方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本实施方式中处理器用于执行图5中获取模块210、识别模块220、计算 模块230和生成模块240的具体内容，存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有机器对话方法中执行所有子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
计算机设备通过获取当前用户输入的语言信息；将所述语言信息输入到预设的意图识别模型中，获取所述意图识别模型响应所述语言信息而输出的对话意图；将所述对话意图输入到预设的应答决策模型中，获取所述应答决策模型响应所述对话意图而输出的应答策略，其中，所述应答决策模型用于从预设的多个候选应答策略中选择与所述对话意图对应的应答策略；将所述语言信息输入到与所述应答策略具有映射关系的应答生成模型，获取所述应答生成模型响应所述语言信息而输入的应答信息。通过对输入语句的意图识别，确定应答生成模型，且在确定应答生成模型过程中引入强化学习网络模型，意图不同，采用不同的应答生成模型，生成不同类型的应答，使对话多样化，更有趣味性。
本发明还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例所述机器对话方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (20)

  1. 一种机器对话方法,其特征在于,包括下述步骤：
    获取当前用户输入的语言信息；
    将所述语言信息输入到预设的意图识别模型中，获取所述意图识别模型响应所述语言信息而输出的对话意图；
    将所述对话意图输入到预设的应答决策模型中，获取所述应答决策模型响应所述对话意图而输出的应答策略，其中，所述应答决策模型用于从预设的多个候选应答策略中选择与所述对话意图对应的应答策略；
    将所述语言信息输入到与所述应答策略具有映射关系的应答生成模型，获取所述应答生成模型响应所述语言信息而输入的应答信息。
  2. 根据权利要求1所述的机器对话方法，其特征在于，所述应答决策模型基于预设的Q值矩阵，其中，所述Q值矩阵中的元素q用于评价各候选应答策略对于各对话意图的价值，在将所述对话意图输入到预设的应答决策模型中，获取所述应答决策模型响应所述对话意图而输出的应答策略的步骤中，具体包括下述步骤：
    根据所述对话意图查询所述Q值矩阵；
    确定所述Q值矩阵中最大的q值对应的候选应答策略为所述对话意图的应答策略。
  3. 根据权利要求1所述的机器对话方法，其特征在于，所述应答决策模型基于预先训练的Q值强化学习网络模型，其中，所述Q值强化学习网络模型以下述第一损失函数为特征：
    Figure PCTCN2019103612-appb-100001
    其中，s为对话意图，a为应答策略，w为Q值强化学习网络模型的网络参数，Q为真实值，
    Figure PCTCN2019103612-appb-100002
    为预测值；
    调整所述Q值强化学习网络模型的网络参数w的值，使所述第一损失函数达到最小值时，确定由所述网络参数w的值定义的Q值强化学习网络模型为预先训练的Q值强化学习网络模型。
  4. 根据权利要求3所述的机器对话方法，其特征在于，在将所述对话意图输入到预设的应答决策模型中，获取所述应答决策模型响应所述对话意图而输出的应答策略的步骤中，具体包括下述步骤：
    依次将候选应答策略和所述对话意图输入到所述Q值强化学习网络模型中，获取所述Q值强化学习网络模型输出的各候选应答策略对应的Q值；
    确定所述Q值最大的候选应答策略为所述对话意图的应答策略。
  5. 根据权利要求1所述的机器对话方法，其特征在于，所述预设的意图识别模型采用预先训练的LSTM-CNN神经网络模型，其中，所述LSTM-CNN神经网络模型通过下述步骤进行训练：
    获取标记有对话意图类别的训练样本，所述训练样本为标记有不同对话意图类别的语言信息；
    将所述训练样本输入LSTM-CNN神经网络模型获取所述训练样本的对话意图参照类别；
    通过第二损失函数比对所述训练样本内不同样本对话意图参照类别与所述对话意图类别是否一致，其中第二损失函数为：
    Figure PCTCN2019103612-appb-100003
    其中，N为训练样本数，针对第i个样本其对应的标记为Yi是最终的意图识别结果，h＝(h1,h2,...,hc)为样本i的预测结果，其中C是所有分类的数量；
    当所述对话意图参照类别与所述对话意图类别不一致时，反复循环迭代的更新所述LSTM-CNN神经网络模型中的权重，至所述第二损失函数达到最小值时结束。
  6. 根据权利要求1所述的机器对话方法，其特征在于，所述预设的意图识别模型采用正则匹配算法，其中，所述正则匹配算法使用的规则字符串至少包含疑问特征字符串，所述将所述语言信息输入到预设的意图识别模型中，获取所述意图识别模型响应所述语言信息而输出的对话意图的步骤中，包括下述步骤：
    将所述语言信息与所述规则字符串进行正则匹配运算，当结果为匹配时，确定所述对话意图为任务型，否则，确定所述对话意图为聊天型。
  7. 根据权利要求1所述的机器对话方法，其特征在于，所述应答生成模型至少包含预先训练的Seq2Seq模型，其中，所述Seq2Seq模型通过下述步骤进行训练：
    获取训练语料，所述训练语料包含输入序列和输出序列；
    将所述输入序列输入到Seq2Seq模型中，调整Seq2Seq模型的参数，使Seq2Seq模型响应所述输入序列而输出所述输出序列的概率最大。
  8. 一种机器对话装置，其特征在于，包括：
    获取模块，用于获取当前用户输入的语言信息；
    识别模块，将所述语言信息输入到预设的意图识别模型中，获取所述意图识别模型响应所述语言信息而输出的对话意图；
    计算模块，将所述对话意图输入到预设的应答决策模型中，获取所述应答决策模型响应所述对话意图而输出的应答策略，其中，所述应答决策模型用于从预设的多个候选应答策略中选择与所述对话意图对应的应答策略；
    生成模块，将所述语言信息输入到与所述应答策略具有映射关系的应答生成模型，获取所述应答生成模型响应所述语言信息而输入的应答信息。
  9. 根据权利要求8所述的机器对话装置，其特征在于，所述机器对话装置中的应答决策模型基于预设的Q值矩阵，其中，所述Q值矩阵中的元素q用于评价各候选应答策略对于各对话意图的价值，所述机器对话装置中还包括：
    第一查询子模块，用于根据所述对话意图查询所述Q值矩阵；
    第一确认子模块，用于确定所述Q值矩阵中最大的q值对应的候选应答策略为所述对话意图的应答策略。
  10. 根据权利要求8所述的机器对话装置，其特征在于，所述机器对话装置中的应答决策模型基于预先训练的Q值强化学习网络模型，其中，所述Q值强化学习网络模型以下述第一损失函数为特征：
    Figure PCTCN2019103612-appb-100004
    其中，s为对话意图，a为应答策略，w为Q值强化学习网络模型的网络参数，Q为真实值，
    Figure PCTCN2019103612-appb-100005
    为预测值；
    调整所述Q值强化学习网络模型的网络参数w的值，使所述第一损失函数达到最小值时，确定由所述网络参数w的值定义的Q值强化学习网络模型为预先训练的Q值强化学习网络模型。
  11. 一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如下步骤:
    获取当前用户输入的语言信息；
    将所述语言信息输入到预设的意图识别模型中，获取所述意图识别模型响应所述语言信息而输出的对话意图；
    将所述对话意图输入到预设的应答决策模型中，获取所述应答决策模型响应所述对话意图而输出的应答策略，其中，所述应答决策模型用于从预设的多个候选应答策略中选择与所述对话意图对应的应答策略；
    将所述语言信息输入到与所述应答策略具有映射关系的应答生成模型，获取所述应答生成模型响应所述语言信息而输入的应答信息。
  12. 根据权利要求11所述的计算机设备，其特征在于，所述应答决策模型基于预设的Q值矩阵，其中，所述Q值矩阵中的元素q用于评价各候选应答策略对于各对话意图的价值，在将所述对话意图输入到预设的应答决策模型中，获取所述应答决策模型响应所述对话意图而输出的应答策略的步骤中，具体包括下述步骤：
    根据所述对话意图查询所述Q值矩阵；
    确定所述Q值矩阵中最大的q值对应的候选应答策略为所述对话意图的应答策略。
  13. 根据权利要求11所述的计算机设备，其特征在于，所述应答决策模型基于预先训练的Q值强化学习网络模型，其中，所述Q值强化学习网络模型以下述第一损失函数为特征：
    Figure PCTCN2019103612-appb-100006
    其中，s为对话意图，a为应答策略，w为Q值强化学习网络模型的网络参数，Q为真实值，
    Figure PCTCN2019103612-appb-100007
    为预测值；
    调整所述Q值强化学习网络模型的网络参数w的值，使所述第一损失函数达到最小值时，确定由所述网络参数w的值定义的Q值强化学习网络模型为预先训练的Q值强化学习网络模型。
  14. 根据权利要求13所述的计算机设备，其特征在于，在将所述对话意图输入到预设的应答决策模型中，获取所述应答决策模型响应所述对话意图而输出的应答策略的步骤中，具体包括下述步骤：
    依次将候选应答策略和所述对话意图输入到所述Q值强化学习网络模型中，获取所述Q值强化学习网络模型输出的各候选应答策略对应的Q值；
    确定所述Q值最大的候选应答策略为所述对话意图的应答策略。
  15. 根据权利要求11所述的计算机设备，其特征在于，所述预设的意图 识别模型采用预先训练的LSTM-CNN神经网络模型，其中，所述LSTM-CNN神经网络模型通过下述步骤进行训练：
    获取标记有对话意图类别的训练样本，所述训练样本为标记有不同对话意图类别的语言信息；
    将所述训练样本输入LSTM-CNN神经网络模型获取所述训练样本的对话意图参照类别；
    通过第二损失函数比对所述训练样本内不同样本对话意图参照类别与所述对话意图类别是否一致，其中第二损失函数为：
    Figure PCTCN2019103612-appb-100008
    其中，N为训练样本数，针对第i个样本其对应的标记为Yi是最终的意图识别结果，h＝(h1,h2,...,hc)为样本i的预测结果，其中C是所有分类的数量；
    当所述对话意图参照类别与所述对话意图类别不一致时，反复循环迭代的更新所述LSTM-CNN神经网络模型中的权重，至所述第二损失函数达到最小值时结束。
  16. 一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如下的步骤:
    获取当前用户输入的语言信息；
    将所述语言信息输入到预设的意图识别模型中，获取所述意图识别模型响应所述语言信息而输出的对话意图；
    将所述对话意图输入到预设的应答决策模型中，获取所述应答决策模型响应所述对话意图而输出的应答策略，其中，所述应答决策模型用于从预设的多个候选应答策略中选择与所述对话意图对应的应答策略；
    将所述语言信息输入到与所述应答策略具有映射关系的应答生成模型，获取所述应答生成模型响应所述语言信息而输入的应答信息。
  17. 根据权利要求16所述的计算机设备，其特征在于，所述应答决策模型基于预设的Q值矩阵，其中，所述Q值矩阵中的元素q用于评价各候选应答策略对于各对话意图的价值，在将所述对话意图输入到预设的应答决策模型中，获取所述应答决策模型响应所述对话意图而输出的应答策略的步骤中，具体包括下述步骤：
    根据所述对话意图查询所述Q值矩阵；
    确定所述Q值矩阵中最大的q值对应的候选应答策略为所述对话意图的应答策略。
  18. 根据权利要求16所述的计算机设备，其特征在于，所述应答决策模型基于预先训练的Q值强化学习网络模型，其中，所述Q值强化学习网络模型以下述第一损失函数为特征：
    Figure PCTCN2019103612-appb-100009
    其中，s为对话意图，a为应答策略，w为Q值强化学习网络模型的网络参数，Q为真实值，
    Figure PCTCN2019103612-appb-100010
    为预测值；
    调整所述Q值强化学习网络模型的网络参数w的值，使所述第一损失函数达到最小值时，确定由所述网络参数w的值定义的Q值强化学习网络模型为预先训练的Q值强化学习网络模型。
  19. 根据权利要求18所述的计算机设备，其特征在于，在将所述对话意图输入到预设的应答决策模型中，获取所述应答决策模型响应所述对话意图而输出的应答策略的步骤中，具体包括下述步骤：
    依次将候选应答策略和所述对话意图输入到所述Q值强化学习网络模型中，获取所述Q值强化学习网络模型输出的各候选应答策略对应的Q值；
    确定所述Q值最大的候选应答策略为所述对话意图的应答策略。
  20. 根据权利要求16所述的计算机设备，其特征在于，所述预设的意图识别模型采用预先训练的LSTM-CNN神经网络模型，其中，所述LSTM-CNN神经网络模型通过下述步骤进行训练：
    获取标记有对话意图类别的训练样本，所述训练样本为标记有不同对话意图类别的语言信息；
    将所述训练样本输入LSTM-CNN神经网络模型获取所述训练样本的对话意图参照类别；
    通过第二损失函数比对所述训练样本内不同样本对话意图参照类别与所述对话意图类别是否一致，其中第二损失函数为：
    Figure PCTCN2019103612-appb-100011
    其中，N为训练样本数，针对第i个样本其对应的标记为Yi是最终的意图识别结果，h＝(h1,h2,...,hc)为样本i的预测结果，其中C是所有分类的数量；
    当所述对话意图参照类别与所述对话意图类别不一致时，反复循环迭代的更新所述LSTM-CNN神经网络模型中的权重，至所述第二损失函数达到最小值时结束。
PCT/CN2019/103612 2019-03-01 2019-08-30 一种机器对话方法、装置、计算机设备及存储介质 Ceased WO2020177282A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910154323.9 2019-03-01
CN201910154323.9A CN110046221B (zh) 2019-03-01 2019-03-01 一种机器对话方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
WO2020177282A1 true WO2020177282A1 (zh) 2020-09-10

Family

ID=67274468

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/103612 Ceased WO2020177282A1 (zh) 2019-03-01 2019-08-30 一种机器对话方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN110046221B (zh)
WO (1) WO2020177282A1 (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085594A (zh) * 2020-09-14 2020-12-15 深圳前海微众银行股份有限公司 身份核实方法、设备及可读存储介质
CN112131362A (zh) * 2020-09-22 2020-12-25 腾讯科技（深圳）有限公司 对话语句生成方法和装置、存储介质及电子设备
CN112199927A (zh) * 2020-10-19 2021-01-08 古联（北京）数字传媒科技有限公司 古籍标点填充方法和装置
CN112380875A (zh) * 2020-11-18 2021-02-19 杭州大搜车汽车服务有限公司 对话标签跟踪方法、装置、电子装置及存储介质
CN112528679A (zh) * 2020-12-17 2021-03-19 科大讯飞股份有限公司 一种意图理解模型训练方法及装置、意图理解方法及装置
CN112559714A (zh) * 2020-12-24 2021-03-26 北京百度网讯科技有限公司 对话生成方法、装置、电子设备及存储介质
CN113239167A (zh) * 2021-05-31 2021-08-10 百融云创科技股份有限公司 一种可自动生成对话策略的任务型对话管理方法和系统
CN113641806A (zh) * 2021-07-28 2021-11-12 北京百度网讯科技有限公司 对话方法、系统、电子设备及存储介质
CN113705249A (zh) * 2021-08-25 2021-11-26 上海云从企业发展有限公司 对话处理方法、系统、装置及计算机可读存储介质
CN113761149A (zh) * 2021-04-20 2021-12-07 腾讯科技（深圳）有限公司 对话信息处理方法、装置、计算机设备及存储介质
CN114490985A (zh) * 2022-01-25 2022-05-13 北京百度网讯科技有限公司 对话生成方法、装置、电子设备和存储介质
CN114611528A (zh) * 2022-03-10 2022-06-10 贵阳货车帮科技有限公司 信息提取方法、装置、服务器和介质
EP4020326A1 (en) * 2020-12-25 2022-06-29 Beijing Baidu Netcom Science and Technology Co., Ltd Method and apparatus of training model, device, storage medium, and program product
CN114756664A (zh) * 2022-03-30 2022-07-15 北京三快在线科技有限公司 回复内容的生成方法、装置和设备
CN115062114A (zh) * 2022-06-30 2022-09-16 华南理工大学 一种有模型的情绪感知对话策略学习方法
CN115080739A (zh) * 2022-06-24 2022-09-20 北京百度网讯科技有限公司 用于训练对话模型的方法以及用于输出应答信息的方法
CN115374256A (zh) * 2021-05-19 2022-11-22 京东科技控股股份有限公司 问答数据处理方法、装置、设备、存储介质及产品
CN115392435A (zh) * 2022-08-23 2022-11-25 中国电子科技集团公司第五十二研究所 一种基于深度强化学习的分层决策方法
CN115994201A (zh) * 2021-10-15 2023-04-21 华为技术有限公司 一种确定回复语句的方法及装置
CN116501852A (zh) * 2023-06-29 2023-07-28 之江实验室 一种可控对话模型训练方法、装置、存储介质及电子设备
CN116737888A (zh) * 2023-01-11 2023-09-12 北京百度网讯科技有限公司 对话生成模型的训练方法和答复文本的确定方法、装置
CN117556022A (zh) * 2023-12-18 2024-02-13 北京中关村科金技术有限公司 一种智能客服意图识别方法、装置及系统
CN118396659A (zh) * 2024-06-26 2024-07-26 广州平云信息科技有限公司 基于aigc的数字文化产品用户行为分析方法及系统
CN118568241A (zh) * 2024-07-31 2024-08-30 浙江大学 一种基于预训练模型的用户对话和画像的意图预测方法
CN119047578A (zh) * 2024-08-02 2024-11-29 百度在线网络技术（北京）有限公司 基于大模型的角色对话方法、智能体、设备以及存储介质
WO2025081928A1 (zh) * 2023-10-17 2025-04-24 抖音视界有限公司 一种提示信息生成方法、装置、计算机设备及存储介质
WO2025097886A1 (zh) * 2023-11-10 2025-05-15 腾讯科技（深圳）有限公司 对话方法、装置、计算机设备、存储介质和计算机程序产品

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046221B (zh) * 2019-03-01 2023-12-22 平安科技（深圳）有限公司 一种机器对话方法、装置、计算机设备及存储介质
CN110414005B (zh) * 2019-07-31 2023-10-10 达闼机器人股份有限公司 意图识别方法、电子设备及存储介质
CN112396481A (zh) * 2019-08-13 2021-02-23 北京京东尚科信息技术有限公司 线下产品信息发送方法、系统、电子设备和存储介质
CN110472035A (zh) * 2019-08-26 2019-11-19 杭州城市大数据运营有限公司 一种智能应答方法、装置、计算机设备及存储介质
CN110717022A (zh) * 2019-09-18 2020-01-21 平安科技（深圳）有限公司 一种机器人对话生成方法、装置、可读存储介质及机器人
CN111739506B (zh) * 2019-11-21 2023-08-04 北京汇钧科技有限公司 一种应答方法、终端及存储介质
CN110928997A (zh) * 2019-12-04 2020-03-27 北京文思海辉金信软件有限公司 意图识别方法、装置、电子设备及可读存储介质
CN111209380B (zh) * 2019-12-31 2023-07-28 深圳追一科技有限公司 对话机器人的控制方法、装置、计算机设备和存储介质
CN113132214B (zh) * 2019-12-31 2023-07-18 深圳市优必选科技股份有限公司 一种对话方法、装置、服务器及存储介质
CN111341309A (zh) * 2020-02-18 2020-06-26 百度在线网络技术（北京）有限公司 一种语音交互方法、装置、设备和计算机存储介质
CN111400450B (zh) * 2020-03-16 2023-02-03 腾讯科技（深圳）有限公司 人机对话方法、装置、设备及计算机可读存储介质
CN111538820A (zh) * 2020-04-10 2020-08-14 出门问问信息科技有限公司 一种异常答复处理、装置以及计算机可读存储介质
CN111681653A (zh) * 2020-04-28 2020-09-18 平安科技（深圳）有限公司 呼叫控制方法、装置、计算机设备以及存储介质
CN111611365A (zh) * 2020-05-19 2020-09-01 上海鸿翼软件技术股份有限公司 一种对话系统的流程控制方法、装置、设备及存储介质
CN111611350B (zh) * 2020-05-26 2024-04-09 北京妙医佳健康科技集团有限公司 基于健康知识的应答方法、装置及电子设备
CN111666396B (zh) * 2020-06-05 2023-10-31 北京百度网讯科技有限公司 用户意图理解满意度评估方法、装置、设备和存储介质
CN111881254B (zh) * 2020-06-10 2024-08-09 百度在线网络技术（北京）有限公司 话术生成方法、装置、电子设备及存储介质
CN111797215B (zh) * 2020-06-24 2024-08-13 北京小米松果电子有限公司 对话方法、装置及存储介质
CN111651582B (zh) * 2020-06-24 2023-06-23 支付宝(杭州)信息技术有限公司 一种模拟用户发言的方法和系统
CN112347788A (zh) * 2020-11-06 2021-02-09 平安消费金融有限公司 语料处理方法、装置及存储介质
CN112559700A (zh) * 2020-11-09 2021-03-26 联想(北京)有限公司 一种应答处理方法、智能设备及存储介质
CN112733649B (zh) * 2020-12-30 2023-06-20 平安科技（深圳）有限公司 基于视频图像识别用户意图的方法及相关设备
CN112765959B (zh) * 2020-12-31 2024-05-28 康佳集团股份有限公司 意图识别方法、装置、设备及计算机可读存储介质
CN112328776A (zh) * 2021-01-04 2021-02-05 北京百度网讯科技有限公司 对话生成方法、装置、电子设备和存储介质
CN112836028A (zh) * 2021-01-13 2021-05-25 国家电网有限公司客户服务中心 一种基于机器学习的多轮对话方法及系统
CN112800204A (zh) * 2021-02-24 2021-05-14 浪潮云信息技术股份公司 一种智能对话系统的构建方法
CN113220856A (zh) * 2021-05-28 2021-08-06 天津大学 一种基于中文预训练模型的多轮对话系统
CN113360618B (zh) * 2021-06-07 2022-03-11 暨南大学 一种基于离线强化学习的智能机器人对话方法及系统
CN113282755B (zh) * 2021-06-11 2024-11-15 上海寻梦信息技术有限公司 对话型文本分类方法、系统、设备及存储介质
CN113806503A (zh) * 2021-08-25 2021-12-17 北京库睿科技有限公司 一种对话融合方法和装置及设备
CN116090435A (zh) * 2021-10-29 2023-05-09 北京中关村科金技术有限公司 一种文本知识库智能知识选取消歧方法和系统
CN114490961A (zh) * 2021-12-13 2022-05-13 天翼物联科技有限公司 一种基于多轮对话的客服方法、系统、装置及存储介质
CN114239607A (zh) * 2021-12-23 2022-03-25 中国建设银行股份有限公司 一种对话答复方法及装置
CN114444510A (zh) * 2021-12-24 2022-05-06 科大讯飞股份有限公司 情感交互方法及装置、情感交互模型的训练方法及装置
CN116521850B (zh) * 2023-07-04 2023-12-01 北京红棉小冰科技有限公司 一种基于强化学习的交互方法及装置
CN116800891A (zh) * 2023-07-27 2023-09-22 深圳市安络科技有限公司 一种基于智能机器人的反诈对话实现方法、装置及设备
CN117708305B (zh) * 2024-02-05 2024-04-30 天津英信科技有限公司 一种针对应答机器人的对话处理方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777081A (zh) * 2016-12-13 2017-05-31 竹间智能科技（上海）有限公司 用于确定对话系统应答策略的方法及装置
CN106934452A (zh) * 2017-01-19 2017-07-07 深圳前海勇艺达机器人有限公司 机器人对话方法与系统
CN107146610A (zh) * 2017-04-10 2017-09-08 北京猎户星空科技有限公司 一种用户意图的确定方法及装置
CN107665708A (zh) * 2016-07-29 2018-02-06 科大讯飞股份有限公司 智能语音交互方法及系统
CN110046221A (zh) * 2019-03-01 2019-07-23 平安科技（深圳）有限公司 一种机器对话方法、装置、计算机设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150179170A1 (en) * 2013-12-20 2015-06-25 Microsoft Corporation Discriminative Policy Training for Dialog Systems
CN108363690A (zh) * 2018-02-08 2018-08-03 北京十三科技有限公司 基于神经网络的对话语义意图预测方法及学习训练方法
CN108962238B (zh) * 2018-04-25 2020-08-07 苏州思必驰信息科技有限公司 基于结构化神经网络的对话方法、系统、设备及存储介质
CN109063164A (zh) * 2018-08-15 2018-12-21 百卓网络科技有限公司 一种基于深度学习的智能问答方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107665708A (zh) * 2016-07-29 2018-02-06 科大讯飞股份有限公司 智能语音交互方法及系统
CN106777081A (zh) * 2016-12-13 2017-05-31 竹间智能科技（上海）有限公司 用于确定对话系统应答策略的方法及装置
CN106934452A (zh) * 2017-01-19 2017-07-07 深圳前海勇艺达机器人有限公司 机器人对话方法与系统
CN107146610A (zh) * 2017-04-10 2017-09-08 北京猎户星空科技有限公司 一种用户意图的确定方法及装置
CN110046221A (zh) * 2019-03-01 2019-07-23 平安科技（深圳）有限公司 一种机器对话方法、装置、计算机设备及存储介质

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085594B (zh) * 2020-09-14 2024-05-28 深圳前海微众银行股份有限公司 身份核实方法、设备及可读存储介质
CN112085594A (zh) * 2020-09-14 2020-12-15 深圳前海微众银行股份有限公司 身份核实方法、设备及可读存储介质
CN112131362A (zh) * 2020-09-22 2020-12-25 腾讯科技（深圳）有限公司 对话语句生成方法和装置、存储介质及电子设备
CN112131362B (zh) * 2020-09-22 2023-12-12 腾讯科技（深圳）有限公司 对话语句生成方法和装置、存储介质及电子设备
CN112199927A (zh) * 2020-10-19 2021-01-08 古联（北京）数字传媒科技有限公司 古籍标点填充方法和装置
CN112380875A (zh) * 2020-11-18 2021-02-19 杭州大搜车汽车服务有限公司 对话标签跟踪方法、装置、电子装置及存储介质
CN112528679A (zh) * 2020-12-17 2021-03-19 科大讯飞股份有限公司 一种意图理解模型训练方法及装置、意图理解方法及装置
CN112528679B (zh) * 2020-12-17 2024-02-13 科大讯飞股份有限公司 一种意图理解模型训练方法及装置、意图理解方法及装置
CN112559714A (zh) * 2020-12-24 2021-03-26 北京百度网讯科技有限公司 对话生成方法、装置、电子设备及存储介质
CN112559714B (zh) * 2020-12-24 2024-04-12 北京百度网讯科技有限公司 对话生成方法、装置、电子设备及存储介质
EP4020326A1 (en) * 2020-12-25 2022-06-29 Beijing Baidu Netcom Science and Technology Co., Ltd Method and apparatus of training model, device, storage medium, and program product
US12223275B2 (en) 2020-12-25 2025-02-11 Beijing Baidu Netcom Science Technology Co., Ltd. Method of training model, device, and storage medium
CN113761149A (zh) * 2021-04-20 2021-12-07 腾讯科技（深圳）有限公司 对话信息处理方法、装置、计算机设备及存储介质
CN115374256A (zh) * 2021-05-19 2022-11-22 京东科技控股股份有限公司 问答数据处理方法、装置、设备、存储介质及产品
CN113239167A (zh) * 2021-05-31 2021-08-10 百融云创科技股份有限公司 一种可自动生成对话策略的任务型对话管理方法和系统
US12118319B2 (en) 2021-07-28 2024-10-15 Beijing Baidu Netcom Science Technology Co., Ltd. Dialogue state rewriting and reply generating method and system, electronic device and storage medium
CN113641806B (zh) * 2021-07-28 2023-06-23 北京百度网讯科技有限公司 对话方法、系统、电子设备及存储介质
CN113641806A (zh) * 2021-07-28 2021-11-12 北京百度网讯科技有限公司 对话方法、系统、电子设备及存储介质
CN113705249A (zh) * 2021-08-25 2021-11-26 上海云从企业发展有限公司 对话处理方法、系统、装置及计算机可读存储介质
CN115994201A (zh) * 2021-10-15 2023-04-21 华为技术有限公司 一种确定回复语句的方法及装置
EP4404080A4 (en) * 2021-10-15 2025-01-15 Huawei Technologies Co., Ltd. Method and apparatus for determining reply statement
CN114490985B (zh) * 2022-01-25 2023-01-31 北京百度网讯科技有限公司 对话生成方法、装置、电子设备和存储介质
CN114490985A (zh) * 2022-01-25 2022-05-13 北京百度网讯科技有限公司 对话生成方法、装置、电子设备和存储介质
CN114611528A (zh) * 2022-03-10 2022-06-10 贵阳货车帮科技有限公司 信息提取方法、装置、服务器和介质
CN114756664A (zh) * 2022-03-30 2022-07-15 北京三快在线科技有限公司 回复内容的生成方法、装置和设备
CN115080739A (zh) * 2022-06-24 2022-09-20 北京百度网讯科技有限公司 用于训练对话模型的方法以及用于输出应答信息的方法
CN115062114A (zh) * 2022-06-30 2022-09-16 华南理工大学 一种有模型的情绪感知对话策略学习方法
CN115392435A (zh) * 2022-08-23 2022-11-25 中国电子科技集团公司第五十二研究所 一种基于深度强化学习的分层决策方法
CN116737888A (zh) * 2023-01-11 2023-09-12 北京百度网讯科技有限公司 对话生成模型的训练方法和答复文本的确定方法、装置
CN116737888B (zh) * 2023-01-11 2024-05-17 北京百度网讯科技有限公司 对话生成模型的训练方法和答复文本的确定方法、装置
CN116501852B (zh) * 2023-06-29 2023-09-01 之江实验室 一种可控对话模型训练方法、装置、存储介质及电子设备
CN116501852A (zh) * 2023-06-29 2023-07-28 之江实验室 一种可控对话模型训练方法、装置、存储介质及电子设备
WO2025081928A1 (zh) * 2023-10-17 2025-04-24 抖音视界有限公司 一种提示信息生成方法、装置、计算机设备及存储介质
WO2025097886A1 (zh) * 2023-11-10 2025-05-15 腾讯科技（深圳）有限公司 对话方法、装置、计算机设备、存储介质和计算机程序产品
CN117556022A (zh) * 2023-12-18 2024-02-13 北京中关村科金技术有限公司 一种智能客服意图识别方法、装置及系统
CN118396659A (zh) * 2024-06-26 2024-07-26 广州平云信息科技有限公司 基于aigc的数字文化产品用户行为分析方法及系统
CN118568241A (zh) * 2024-07-31 2024-08-30 浙江大学 一种基于预训练模型的用户对话和画像的意图预测方法
CN119047578A (zh) * 2024-08-02 2024-11-29 百度在线网络技术（北京）有限公司 基于大模型的角色对话方法、智能体、设备以及存储介质

Also Published As

Publication number Publication date
CN110046221B (zh) 2023-12-22
CN110046221A (zh) 2019-07-23

Similar Documents

Publication Publication Date Title
WO2020177282A1 (zh) 一种机器对话方法、装置、计算机设备及存储介质
CN111897941B (zh) 对话生成方法、网络训练方法、装置、存储介质及设备
US11657371B2 (en) Machine-learning-based application for improving digital content delivery
WO2020155619A1 (zh) 带情感的机器聊天方法、装置、计算机设备及存储介质
CN107846350B (zh) 一种语境感知网络聊天的方法、计算机可读介质和系统
CN111428010B (zh) 人机智能问答的方法和装置
US11636272B2 (en) Hybrid natural language understanding
WO2020147428A1 (zh) 交互内容生成方法、装置、计算机设备及存储介质
US20210019599A1 (en) Adaptive neural architecture search
WO2022252636A1 (zh) 基于人工智能的回答生成方法、装置、设备及存储介质
CN114600099A (zh) 使用助理系统的基于自然语言理解的元语音系统提高语音识别精度
EP3547155A1 (en) Entity representation learning for improving digital content recommendations
JP7488871B2 (ja) 対話推薦方法、装置、電子機器、記憶媒体ならびにコンピュータプログラム
CN111144124B (zh) 机器学习模型的训练方法、意图识别方法及相关装置、设备
CN108090174A (zh) 一种基于系统功能语法的机器人应答方法及装置
CN117312641A (zh) 智能获取信息的方法、装置、设备及存储介质
WO2019226375A1 (en) Personalized query formulation for improving searches
CN118364060B (zh) 文本生成模型训练方法、文本生成方法及答案生成方法
CN112101042A (zh) 文本情绪识别方法、装置、终端设备和存储介质
CN113420136A (zh) 一种对话方法、系统、电子设备、存储介质和程序产品
CN115510186A (zh) 基于意图识别的即时问答方法、装置、设备及存储介质
CN117808043B (zh) 信息处理方法、模型的训练方法、装置、设备及介质
CN116776870B (zh) 意图识别方法、装置、计算机设备及介质
CN117807181A (zh) 文本处理方法、对象搜索方法及文本处理模型的训练方法
CN120596745A (zh) 数据处理、问题推荐方法、装置及计算设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19918097

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19918097

Country of ref document: EP

Kind code of ref document: A1