WO2018167830A1 - 対話装置、対話システム、及びコンピュータ読み取り可能な記録媒体 - Google Patents

対話装置、対話システム、及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2018167830A1
WO2018167830A1 PCT/JP2017/010044 JP2017010044W WO2018167830A1 WO 2018167830 A1 WO2018167830 A1 WO 2018167830A1 JP 2017010044 W JP2017010044 W JP 2017010044W WO 2018167830 A1 WO2018167830 A1 WO 2018167830A1
Authority
WO
WIPO (PCT)
Prior art keywords
dialogue
state
reward
policy
unit
Prior art date
Application number
PCT/JP2017/010044
Other languages
English (en)
French (fr)
Inventor
拓也 平岡
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/492,664 priority Critical patent/US11663413B2/en
Priority to PCT/JP2017/010044 priority patent/WO2018167830A1/ja
Priority to JP2019505326A priority patent/JP6825693B2/ja
Publication of WO2018167830A1 publication Critical patent/WO2018167830A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Definitions

  • the present invention relates to an interactive apparatus and an interactive method for discussing with a user and outputting an answer to a given question, and further relates to a computer-readable recording medium on which a program for realizing these is recorded.
  • the inquiry dialogue is a dialogue between the parties having a common question or problem to answer it.
  • the inquiry dialogue system is a system having a function of conducting a dialogue with a user.
  • FIG. 15 is a block diagram showing an example of a conventional inquiry dialogue system.
  • this conventional hearing dialogue system 200 includes an input receiving unit 210, a dialogue state updating unit 220, a response candidate generating unit 230, a policy unit 240, an output unit 250, and a knowledge recording unit 260. It is composed of
  • the conventional hearing dialogue system 200 having such a configuration operates as follows.
  • the conventional inquiry dialogue system 200 receives a user's dialogue action from the outside, proceeds with internal processing based on it, and outputs the system's dialogue action to the outside.
  • the input reception unit 210 receives a user's dialogue action from the outside and delivers it to the dialogue state update unit 220.
  • the dialog state update unit 220 receives the user's dialog act from the input unit 210
  • the dialog state update unit 220 performs a dialog based on the knowledge stored in the knowledge recording unit 260 and the system dialog act output by the policy unit 240 in the past.
  • the state is updated, and the updated dialog state is delivered to the response candidate generation unit 230.
  • the response candidate generation unit 230 outputs a system interaction action set based on the dialog state received from the dialog state update unit 220, and the policy unit 240 receives the system interaction action set received from the response candidate generation unit 230. Based on this, the dialogue action that should be output as a system is output.
  • the policy section of the conventional hearing dialogue system selects a dialogue action to be output as a system from a set of dialogue actions of the system according to a static rule predetermined by a person.
  • Non-Patent Document 1 the policy unit operates based on a static rule determined in advance by a person. There is a problem that it can not be adapted to. This problem will be specifically described below.
  • the hearing dialogue system operates.
  • the type of user who uses the hearing dialogue system and the goal to be achieved by the hearing dialogue system are not necessarily determined as one. Therefore, it is practically useful that the hearing dialogue system can be adapted to various situations.
  • Non-Patent Document 1 the rules used in the policy section are prepared in advance assuming that the person who is the designer operates effectively in a specific situation. It does not adapt to new situations that the designer does not expect. Although it is conceivable to manually create rules so that various situations can be covered, it is generally difficult in terms of development period and cost.
  • An object of the present invention is to provide an interactive apparatus, an interactive method, and a computer-readable recording medium that can solve the above-described problems and can be applied to creation of a strategy that matches an operation situation.
  • an interactive apparatus is an apparatus that responds to a user's interactive action, A score is set for each of the response candidates included in the set of response candidates based on the state of the dialogue conducted with the user and the policy parameter, and the set of response candidates is referred to by referring to the set score.
  • a policy unit that selects one as the interactive action of the device; Using the reward function that returns the evaluation of the behavior performed in a specific situation as a reward as a numerical value that is quantitatively expressed, the reward in the dialog state is obtained, and the policy parameter is determined based on the obtained reward.
  • a policy parameter update unit to update It is characterized by having.
  • a dialogue method is a method for responding to a user's dialogue act, (A) A score is set for each response candidate included in the set of response candidates based on the state of the dialogue conducted with the user and the policy parameter, and the set score is referred to, Selecting one of the response candidates as an interaction action of the device; and (B) Using a reward function that returns the evaluation of the behavior performed in a specific situation as a reward as a numerical value that is quantitatively expressed, the reward in the state of the dialogue is obtained, and based on the obtained reward, Updating policy parameters, steps, It is characterized by having.
  • a computer-readable recording medium is a computer-readable recording medium on which a program for causing a computer to respond to a user's interactive action is recorded. Because In the computer, (A) A score is set for each response candidate included in the set of response candidates based on the state of the dialogue conducted with the user and the policy parameter, and the set score is referred to, Selecting one of the response candidates as an interaction action of the device; and (B) Using a reward function that returns the evaluation of the behavior performed in a specific situation as a reward as a numerical value that is quantitatively expressed, the reward in the state of the dialogue is obtained, and based on the obtained reward, Updating policy parameters, steps, A program including an instruction for executing is recorded.
  • FIG. 1 is a block diagram showing a schematic configuration of an interactive apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a specific configuration of the interactive apparatus according to the embodiment of the present invention.
  • FIG. 3 is a flowchart showing the operation of the interactive apparatus in the embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of the contents of the process of step S101 illustrated in FIG.
  • FIG. 5 is a diagram specifically showing an example of the content of the process in step S102 shown in FIG.
  • FIG. 6 is a diagram illustrating an example of the contents of the process of step S103 illustrated in FIG.
  • FIG. 7 is a diagram showing an example of the contents of the process of step S104 shown in FIG.
  • FIG. 1 is a block diagram showing a schematic configuration of an interactive apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a specific configuration of the interactive apparatus according to the embodiment of the present invention.
  • FIG. 3 is a flowchart
  • FIG. 8 is a diagram showing an example of the processing content of step S105 shown in FIG.
  • FIG. 9 is a diagram showing an example of the scoring function used in step S104 shown in FIG.
  • FIG. 10 is a diagram illustrating an implementation example of the function EmbDs illustrated in FIG.
  • FIG. 11 is a diagram illustrating an implementation example of the function EmbDa illustrated in FIG.
  • FIG. 12 is a diagram illustrating an implementation example of the function EmbF illustrated in FIGS. 10 and 11.
  • FIG. 13 is a diagram showing a result of evaluation performed in a specific example of the embodiment of the present invention.
  • FIG. 14 is a block diagram illustrating an example of a computer that implements the interactive apparatus according to the embodiment of the present invention.
  • FIG. 15 is a block diagram showing an example of a conventional inquiry dialogue system.
  • FIG. 1 is a block diagram showing a schematic configuration of an interactive apparatus according to an embodiment of the present invention.
  • a dialogue apparatus 100 according to the present embodiment shown in FIG. 1 is an apparatus that responds to a user's dialogue act. As shown in FIG. 1, the dialogue apparatus 100 includes a policy unit 40 and a policy parameter update unit 60.
  • the policy unit 40 first sets a score for each of the response candidates included in the set of response candidates based on the state of the dialogue with the user and the policy parameters. Subsequently, the policy unit 40 refers to the set score and selects one of the response candidates as an interactive action of the interactive device 100.
  • the policy parameter update unit 60 uses the reward function that returns the evaluation of the behavior performed in a specific situation as a reward as a numerical value that is quantitatively expressed. Ask for a reward at. Subsequently, the policy parameter update unit 60 updates the policy parameter based on the calculated reward.
  • the policy parameter for selecting the interactive action of the device is updated by the policy parameter update unit 60 so as to be adapted to a specific situation. For this reason, according to this Embodiment, it can adapt to preparation of the policy according to the operation condition.
  • FIG. 2 is a block diagram showing a specific configuration of the interactive apparatus according to the embodiment of the present invention.
  • the dialog device 100 in addition to the policy unit 40 and the policy parameter update unit 60, the dialog device 100 includes an input reception unit 10, a dialog state update unit 20, and a response candidate generation unit 30. , An output unit 50, a knowledge recording unit 70, a reward function recording unit 80, and a policy parameter recording unit 90.
  • the input receiving unit 10 receives an input of a user's interactive action (see FIG. 4 described later) from the outside. Further, the input receiving unit 10 delivers the received interactive action to the dialog state updating unit 20.
  • the dialog state update unit 20 is based on the user's dialog act accepted by the input accepting unit 10, knowledge held in advance, and the dialog act output from the policy unit 40 of the dialog device 100 in the past. Update the state of the dialogue that is taking place between and (hereinafter referred to as the “dialogue state”). Then, the dialog state update unit 20 delivers the updated dialog state to the response candidate generation unit 30, the policy unit 40, and the policy parameter update unit 60. In addition, the knowledge used by the dialog state update unit 20 is stored in the knowledge recording unit 70 in the present embodiment (see FIG. 5 described later).
  • the response candidate generation unit 30 applies a predetermined dialog arrangement to the updated dialog state received from the dialog state update unit 20, and generates a set of response candidates. Further, the generated response candidate is a dialogue action of the dialogue device 100. Therefore, in the following, a set of response candidates may be referred to as a “dialogue action set”.
  • An example of the dialogue arrangement is a trial dialogue protocol disclosed in Non-Patent Document 1.
  • the policy unit 40 performs processing using the dialog state updated by the response candidate generation unit 30. Further, the policy unit 40 encodes the updated dialog state into a vector based on the structure of the logical expression included in the updated dialog state. Furthermore, the policy unit 40 also encodes a dialogue action included in each response candidate included in the set of response candidates into a vector based on the structure of the logical expression included in the dialogue action of each response candidate. Then, the policy unit 40 sets the score by applying the policy parameter, the dialog state after encoding, and the dialog action after encoding to the scoring function. The encoding and scoring function will be described later.
  • the policy unit 40 selects a response candidate having a maximum score, and selects the selected response candidate as a dialogue action of the dialogue device 100.
  • the policy unit 40 passes the selected dialogue action to the output unit 50.
  • the output unit 50 outputs the received interactive action to a display device, a user terminal device, or the like.
  • the policy parameter is stored in the policy parameter recording unit 90. Further, as the policy parameters used in the present embodiment, the parametric scoring function parameters used for scoring in the policy unit 40 and the parametrics used for encoding the dialogue state and dialogue action in the policy unit 40 are used. Function parameters are listed. Specifically, as the policy parameter, for example, when a neural network (the following reference document) is used as the parametric function, the weight of the neural network can be cited. (Reference) Bishop, Christopher M. "Pattern recognition.” Machine Learning 128 (2006): 1-58.
  • the policy parameter update unit 60 updates the policy parameters stored in the policy parameter recording unit 90. Further, in the present embodiment, the policy parameter update unit 60 encodes the dialog state updated by the dialog state update unit 20 into a vector based on the structure of the logical expression included in the dialog state. Thereafter, the policy parameter update unit 60 executes the reinforcement learning process using the encoded dialogue state and the reward obtained from the reward function to update the policy parameter. The reward function and the reinforcement learning process will be described later.
  • the dialogue apparatus 100 updates the policy parameter so that the numerical value determined by the reward function is maximized, and causes the reward function and the policy parameter to interact with each other. For this reason, the adaptation of the behavior in the policy unit 40 is realized.
  • FIG. 3 is a flowchart showing the operation of the interactive apparatus in the embodiment of the present invention.
  • FIGS. 1 and 2 are referred to as appropriate.
  • the dialogue method is implemented by operating the dialogue apparatus 100. Therefore, the description of the interactive method in the present embodiment is replaced with the following description of the operation of the interactive apparatus 100.
  • the input receiving unit 10 receives an input of a user's interactive action (step S101). Input is performed via an input device such as a keyboard, another terminal device, or the like.
  • the dialogue state update unit 20 receives the user's dialogue act accepted in step S101 as input, and the knowledge recorded in the knowledge recording unit 70 and the dialogue act output from the policy unit 40 of the dialogue apparatus 100 in the past. Based on the above, the dialog state is updated (step S102). Further, the dialog state update unit 20 outputs the updated dialog state to the response candidate generation unit 30, the policy unit 40, and the policy parameter update unit 60.
  • the response candidate generation unit 30 receives the updated dialogue state as an input, applies a predetermined dialogue arrangement, and sets a set of response candidates in the dialogue state (a dialogue action set of the dialogue device 100). Generate (step S103).
  • the policy parameter update unit 60 receives the dialog state updated in step S102 as an input, calculates a reward using a reward function, and updates the policy parameter based on the calculated reward. (Step S105).
  • the policy unit 40 receives the dialog state updated in step S102 and the dialog action set of the dialog device 100 generated in step S103 as input, and further refers to the policy parameters updated in step S105.
  • a score is set for a response candidate included in the dialogue action set.
  • the policy unit 40 selects a response candidate having the maximum set score as a dialogue action (step S104).
  • the selected interactive action is output by the output unit 50.
  • step S106 determines whether or not the number of executions of these series of processes (the number of loops) is equal to or greater than the designated number. As a result of the determination, if the specified number has not been reached, step S101 is executed again. If the specified number has been exceeded, the processing in the interactive device 100 ends.
  • the policy parameter update unit 60 updates the policy parameter so as to adapt to a specific situation, and the policy unit 40 selects an appropriate interactive action based on the updated policy parameter. To do. Therefore, according to the present embodiment, the behavior of the policy unit 40 can be optimized in accordance with the operation situation, and as a result, an optimal policy is created.
  • FIG. 4 is a diagram illustrating an example of the contents of the process of step S101 illustrated in FIG.
  • the input receiving unit 10 performs “Assert ( ⁇ Price Proposal (E1, X, Z) ⁇ , Price Proposal (E1, X, Z) ⁇ Company A ( Consider the case of accepting X)) ”.
  • the dialogue act shown in Fig. 4 abstractly represents the user's claim that "Company A was making a price proposal somewhere".
  • the input receiving unit 10 receives such an interactive action and outputs it to the interactive state update unit 20.
  • the specification of a user's dialogue act is defined by the said nonpatent literature 1.
  • FIG. 5 is a diagram specifically showing an example of the content of the process in step S102 shown in FIG.
  • the dialogue state update unit 20 accepts the user's dialogue act shown in FIG. 3 as an input and refers to the knowledge recording unit 70.
  • the dialogue state update unit 20 updates the dialogue state based on the knowledge recorded in the knowledge recording unit 70 and the user's dialogue act for which the input has been accepted. In the example of FIG. 5, the part indicated by the broken line is the updated part.
  • the dialog state update unit 20 updates the “system knowledge” in the dialog state with reference to the knowledge recording unit 70 and updates the “utterance history” using the user's dialog action. Note that the detailed agreement of the conversation state is defined in Non-Patent Document 1 above.
  • the dialog state update unit 20 updates the dialog state in this way, and outputs the updated dialog state to the policy unit 40, the policy parameter update unit 60, and the response candidate generation unit 30.
  • FIG. 6 is a diagram illustrating an example of the contents of the process of step S103 illustrated in FIG.
  • the response candidate generation unit 30 uses a trial dialogue protocol as a predetermined dialogue arrangement, and generates a dialogue action set of the dialogue device 100 according to the dialogue state based on the trial dialogue protocol.
  • the response candidate generation unit 30 first refers to the hearing dialogue protocol “ ⁇ is an argument included in the latest Open included in the utterance history”. Then, the response candidate generation unit 30 also sets the latest Open argument “Company A (x) ⁇ Price proposal (e1, x) ⁇ Company B (y) ⁇ Consent (e2, y, Close with “e1)-> cartel (e3, x, y)” is included in the dialogue action set of the dialogue device 100.
  • ⁇ is an argument included in the latest Open included in the utterance history”. Then, the response candidate generation unit 30 also sets the latest Open argument “Company A (x) ⁇ Price proposal (e1, x) ⁇ Company B (y) ⁇ Consent (e2, y, Close with “e1)-> cartel (e3, x, y)” is included in the dialogue action set of the dialogue device 100.
  • a detailed description of the trial dialogue protocol is disclosed in Non-Patent Document 1 above.
  • FIG. 7 is a diagram showing an example of the contents of the process of step S104 shown in FIG.
  • the policy unit 40 receives the dialogue state shown in FIG. 6 and the dialogue action set of the dialogue device 100 and refers to the policy parameters shown in FIG. 6 as shown in FIG.
  • the adaptive policy unit 40 scores the dialogue action based on the policy parameter and the dialogue state, and outputs the dialogue act having the maximum score.
  • the policy unit 40 has a dialogue act “Assert ( ⁇ (Company B (Y), Price proposal (E2, Y, E)) ⁇ , Company B (Y) ⁇ Price proposal (E2, Y, E )) ”(Lm 1 ) is scored“ 1 ”, and the dialogue act“ Assert (basis, cartel (E3, X, Y) ”(lm 2 ) is scored“ 0.5 ”.
  • the dialogue act “Close (Company A (x) ⁇ Price proposal (e1, x) ⁇ Company B (y) ⁇ Consent (e2, y, e1)-> Cartel (e3, x, y))” (lm 3 ) "0" is scored.
  • the dialogue act “Assert ( ⁇ (Company B (Y), Price proposal (E2, Y, E)) ⁇ , Company B (Y) ⁇ Price proposal (E2, Y, E))” ”(lm 1 )
  • the score is the highest. Therefore, the policy section 40 is a dialogue act “Assert ( ⁇ (Company B (Y), Price Proposal (E2, Y, E)) ⁇ , Company B (Y) ⁇ Price Proposal (E2, Y, E))” ( lm 1 ) is selected as the interactive action of the interactive device 100.
  • the dialog state and the response candidates (dialog actions) included in the dialog action set are encoded into a numerical vector, the vector, the policy parameter, and the scoring function. Scoring is performed using f. Specific examples of the scoring function f and encoding (EmbDa, EmbDs) used in this scoring will be described later.
  • FIG. 8 is a diagram showing an example of the processing content of step S105 shown in FIG.
  • the policy parameter update unit 60 receives a dialogue state and performs reinforcement learning with reference to a reward function, as shown in FIG.
  • the policy parameter update unit 60 updates the policy parameter W by performing reinforcement learning using a vector representing a dialog state, a policy parameter, and a reward obtained from the reward function.
  • the policy parameter update unit 60 saves the dialog state at a certain point in time and the dialog state one turn before, and encodes them into a vector based on a method described later. Moreover, the policy parameter update part 60 calculates
  • the policy parameter update unit 60 updates the policy parameter W by using, in particular, Deep Q-Network as an algorithm for reinforcement learning processing.
  • Deep Q-Network As an algorithm for reinforcement learning processing.
  • the technical details of Deep Q-Network are disclosed in Reference 1 below. (Reference 1) Mnih, Volodymyr, et al. "Human-level control through deep reinforcement learning.” Nature 518.7540 (2015): 529-533.
  • the dialogue state and the dialogue action are encoded into a vector, and scoring is performed using a scoring function.
  • these processes will be described using specific examples with reference to FIGS.
  • FIG. 9 is a diagram showing an example of the scoring function used in step S104 shown in FIG.
  • the left square node represents data. Arrows represent the data flow.
  • s is a dialog state
  • lm is a dialog action
  • “score” is a score of the dialog action.
  • EmbDs is a function that encodes the dialog state.
  • EmbDa is a function for encoding a dialogue action.
  • F is a scoring function.
  • is a function for combining vectors.
  • Linear is a function that returns a weighted linear sum of each element of the input vector.
  • FIG. 10 is a diagram illustrating an implementation example of the function EmbDs illustrated in FIG.
  • the function EmbDs accepts the dialog state s as an input and returns its vector representation v s .
  • square nodes represent data
  • square nodes with rounded corners represent functions.
  • the dialogue state s is represented by a commitment store CS, system knowledge ⁇ , and a query store QS. These are represented as a list of logical expressions.
  • “Sum.” is a function that returns the sum of each element of the input vector.
  • ” is a function that returns a combination of input vectors.
  • “EmbF” is a function that returns a vector corresponding to the abstract syntax tree T f of the logical expression. Details of EmbF and the abstract syntax tree of logical expressions will be described later.
  • FIG. 11 is a diagram illustrating an implementation example of the function EmbDa illustrated in FIG. As shown in FIG. 11, the function EmbDa accepts an interactive action lm as input and returns its vector representation v lm .
  • square nodes represent data
  • square nodes with rounded corners represent functions.
  • Each node shown in FIG. 11 is the same as the example of FIG.
  • FIG. 12 is a diagram illustrating an implementation example of the function EmbF illustrated in FIGS. 10 and 11.
  • a vector corresponding to the logical expression “A (x) ⁇ B (y) ⁇ Competitor (x, y)” is obtained.
  • T f corresponding to the logical expression f
  • the branch corresponds to either a logical operator or a predicate.
  • the leaf represents the predicate argument.
  • V f is a vector representation corresponding to T f .
  • the processing for obtaining a vector corresponding to this abstract syntax tree is performed according to the Recursive Neural Network disclosed in Reference Document 2 below. (Reference 2) Socher, Richard, et al. "Parsing natural scenes and natural language with recursive neural networks.” Proceedings of the 28th international conference on machine learning (ICML-11). 2011.
  • ⁇ Performance evaluation is performed using the task achievement rate within 20 turns (the ratio that the policy was able to output a specific dialogue action; Success Rate). In this performance evaluation, measures that can accomplish the task in as short a turn as possible are considered to be superior.
  • FIG. 13 is a diagram showing a result of evaluation performed in a specific example of the embodiment of the present invention. As shown in FIG. 13, it can be seen from the evaluation results that the policy (DQNwE-5d) adapted using this specific example has reached a certain task achievement rate in a shorter turn than Baseline. Therefore, it is suggested that the policy generated based on this specific example can be adapted to the situation in which the interactive device is placed, rather than the policy according to the static rule that is manually considered in advance.
  • the program in the embodiment of the present invention may be a program that causes a computer to execute steps S101 to S106 shown in FIG.
  • the CPU Central Processing Unit
  • the CPU functions as the input receiving unit 10, the dialog state updating unit 20, the response candidate generating unit 30, the policy unit 40, the output unit 50, and the policy parameter updating unit 60, and performs processing.
  • the CPU Central Processing Unit
  • the knowledge recording unit 70, the reward function recording unit 80, and the policy parameter recording unit 90 are stored in a storage device such as a hard disk provided in the computer by storing data files constituting them. Alternatively, it is realized by mounting a recording medium storing this data file on a reading device connected to a computer.
  • the program in the present embodiment may be executed by a computer system constructed by a plurality of computers.
  • each computer functions as any one of the input reception unit 10, the dialog state update unit 20, the response candidate generation unit 30, the policy unit 40, the output unit 50, and the policy parameter update unit 60, respectively.
  • the knowledge recording unit 70, the reward function recording unit 80, and the policy parameter recording unit 90 may be constructed on a computer different from the computer that executes the program in the present embodiment.
  • FIG. 14 is a block diagram illustrating an example of a computer that implements the interactive apparatus according to the embodiment of the present invention.
  • the computer 110 includes a CPU 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader / writer 116, and a communication interface 117. These units are connected to each other via a bus 121 so that data communication is possible.
  • the CPU 111 performs various operations by developing the program (code) in the present embodiment stored in the storage device 113 in the main memory 112 and executing them in a predetermined order.
  • the main memory 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory).
  • the program in the present embodiment is provided in a state of being stored in a computer-readable recording medium 120. Note that the program in the present embodiment may be distributed on the Internet connected via the communication interface 117.
  • the storage device 113 includes a hard disk drive and a semiconductor storage device such as a flash memory.
  • the input interface 114 mediates data transmission between the CPU 111 and an input device 118 such as a keyboard and a mouse.
  • the display controller 115 is connected to the display device 119 and controls display on the display device 119.
  • the data reader / writer 116 mediates data transmission between the CPU 111 and the recording medium 120, and reads a program from the recording medium 120 and writes a processing result in the computer 110 to the recording medium 120.
  • the communication interface 117 mediates data transmission between the CPU 111 and another computer.
  • the recording medium 120 include general-purpose semiconductor storage devices such as CF (Compact Flash (registered trademark)) and SD (Secure Digital), magnetic recording media such as a flexible disk, or CD- Optical recording media such as ROM (Compact Disk Read Only Memory) are listed.
  • CF Compact Flash
  • SD Secure Digital
  • magnetic recording media such as a flexible disk
  • CD- Optical recording media such as ROM (Compact Disk Read Only Memory) are listed.
  • the interactive apparatus 100 can be realized not by using a computer in which a program is installed but also by using hardware corresponding to each unit. Furthermore, part of the interactive apparatus 100 may be realized by a program, and the remaining part may be realized by hardware.
  • a device that responds to user interaction A score is set for each of the response candidates included in the set of response candidates based on the state of the dialogue conducted with the user and the policy parameter, and the set of response candidates is referred to by referring to the set score.
  • a policy unit that selects one as the interactive action of the device; Using the reward function that returns the evaluation of the behavior performed in a specific situation as a reward as a numerical value that is quantitatively expressed, the reward in the dialog state is obtained, and the policy parameter is determined based on the obtained reward.
  • a policy parameter update unit to update An interactive device characterized by comprising:
  • the policy unit encodes the dialogue state and the response candidates included in the set of response candidates into a vector based on the structure of a logical expression included therein, and the state and code of the dialogue after encoding.
  • the score is set using the response candidate after conversion to The interactive apparatus according to appendix 1.
  • the policy parameter update unit encodes the state of the dialogue into a vector based on the structure of a logical expression included therein, and uses the state of the dialogue after encoding and the calculated reward to perform reinforcement learning. Execute the process to update the policy parameters, The interactive apparatus according to appendix 1 or 2.
  • An input receiving unit for receiving an input of a user's dialogue action; Dialogue state update for updating the state of the dialogue performed with the user based on the accepted dialogue act, the knowledge held in advance and the dialogue act output from the device in the past And A response candidate generating unit that generates a set of response candidates by applying a predetermined dialog arrangement to the updated state of the dialog;
  • the interactive apparatus according to any one of appendices 1 to 3, further comprising:
  • a method for responding to a user interaction (A) A score is set for each response candidate included in the set of response candidates based on the state of the dialogue conducted with the user and the policy parameter, and the set score is referred to, Selecting one of the response candidates as an interaction action of the device; and (B) Using a reward function that returns the evaluation of the behavior performed in a specific situation as a reward as a numerical value that is quantitatively expressed, the reward in the state of the dialogue is obtained, and based on the obtained reward, Updating policy parameters, steps, A dialogue method characterized by comprising:
  • step (a) the state of the dialogue and the response candidates included in the set of response candidates are encoded into a vector based on the structure of the logical expression included therein, and the dialogues after the encoding are encoded. Setting the score using the state and the response candidate after encoding; The dialogue method according to attachment 5.
  • step (b) the state of the dialogue is encoded into a vector based on the structure of the logical expression included in the state, and the state of the dialogue after the encoding is used and the obtained reward is reinforced. Execute a learning process to update the policy parameter; The dialogue method according to appendix 5 or 6.
  • a computer-readable recording medium recording a program for causing a computer to respond to a user's interactive action
  • a score is set for each response candidate included in the set of response candidates based on the state of the dialogue conducted with the user and the policy parameter, and the set score is referred to, Selecting one of the response candidates as an interaction action of the device; and
  • step (a) the state of the dialogue and the response candidates included in the set of response candidates are encoded into a vector based on the structure of the logical expression included therein, and the dialogues after the encoding are encoded. Setting the score using the state and the response candidate after encoding;
  • step (b) the state of the dialogue is encoded into a vector based on the structure of the logical expression included in the state, and the state of the dialogue after the encoding is used and the obtained reward is reinforced. Execute a learning process to update the policy parameter;
  • the hearing dialogue system can be applied to the creation of a policy in accordance with the operation situation.
  • the present invention is useful for a system that discusses with a user and finds an answer to a given question, specifically, an information recommendation system, a question answering system, a security analysis system, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

対話装置１００は、ユーザの対話行為に対して応答を行なう装置である。対話装置１００は、ユーザとの間で行なわれている対話の状態と、方策パラメータとに基づいて、応答候補の集合に含まれる応答候補それぞれにスコアを設定し、設定したスコアを参照して、応答候補の１つを、対話装置１００の対話行為として選択する、方策部４０と、特定の状況で行なわれた振る舞いの評価を、報酬として、定量的に表した数値で返す報酬関数を用いて、対話の状態における報酬を求め、求めた報酬に基づいて、方策パラメータを更新する、方策パラメータ更新部６０と、を備えている。

Description

対話装置、対話システム、及びコンピュータ読み取り可能な記録媒体
　本発明は、ユーザと議論を行って、与えられた問いに対する答えを出力する、対話装置、及び対話方法に関し、更には、これらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
　一般に、審理対話（Inquiry dialog）とは、共通の疑問又は問題を持つ当事者達がそれに答えるために互いに対話である。そして、審理対話システム（Inquiry dialog system）は、ユーザとの間で審理対話を行う機能を備えたシステムである。
　従来の審理対話システムの一例が非特許文献１に開示されている。図１５は、従来からの審理対話システムの一例を示すブロック図である。図１５に示すように、この従来の審理対話システム２００は、入力受付部２１０と、対話状態更新部２２０、応答候補生成部２３０と、方策部２４０と、出力部２５０と、知識記録部２６０とから構成されている。
　このような構成を有する従来の審理対話システム２００はつぎのように動作する。すなわち、従来の審理対話システム２００は、外部からユーザの対話行為を受け取り、それに基づいて内部処理を進め、外部にシステムの対話行為を出力する。
　具体的な手順を述べると、まず、入力受付部２１０は、ユーザの対話行為を外部から受け取り、それを対話状態更新部２２０へ引き渡す。そして、対話状態更新部２２０は、入力部２１０からユーザの対話行為を受け取ると、知識記録部２６０に格納している知識と過去に方策部２４０が出力したシステムの対話行為とに基づいて、対話状態を更新し、更新した対話状態を応答候補生成部２３０に引き渡す。
　応答候補生成部２３０は、対話状態更新部２２０から受け取った対話状態を基に、システムの対話行為集合を出力する、そして、方策部２４０は、応答候補生成部２３０から受け取ったシステムの対話行為集合を基に、システムとして出力すべき対話行為を出力する。なお、従来の審理対話システムの方策部は、予め人が定めた静的な規則に従って、システムの対話行為集合から、システムとして出力すべき対話行為を選択している。
Black, Elizabeth, and Anthony Hunter. "A generative inquiry dialogue system." Proceedings of the 6th international joint conference on Autonomous agents and multiagent system. ACM, 2007.
　しかしながら、上記非特許文献１に開示された審理対話システムにおいては、方策部は、予め人が定めた静的な規則に基づいて動作しているため、方策部の挙動を、システムが動作する状況に適応させることが出来ないという問題がある。この問題について以下に具体的に説明する。
　審理対話システムが動作する状況は多様である。例えば、審理対話システムを利用するユーザのタイプ、及び審理対話システムが達成すべき目標は必ずしも一つに定まらない。そのため、審理対話システムが様々な状況に適応できることは実用上有用である。
　しかしながら、上記非特許文献１に開示された審理対話システムでは、方策部で用いられる規則は、設計者である人が、特定の状況で効果的に動作することを想定して、予め用意したものであり、設計者が想定していない新しい状況に適応するものではない。なお、多様な状況を網羅できるように規則を人手で作成することも考えられるが、それは一般的に、開発期間及び費用の観点において、困難である。
（発明の目的）
　本発明の目的は、上記問題を解消し、動作状況に合わせた方策の作成に適応し得る、対話装置、対話方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
　上記目的を達成するため、本発明の一側面における対話装置は、ユーザの対話行為に対して応答を行なう装置であって、
　前記ユーザとの間で行なわれている対話の状態と、方策パラメータとに基づいて、応答候補の集合に含まれる応答候補それぞれにスコアを設定し、設定したスコアを参照して、前記応答候補の１つを、当該装置の対話行為として選択する、方策部と、
　特定の状況で行なわれた振る舞いの評価を、報酬として、定量的に表した数値で返す報酬関数を用いて、前記対話の状態における報酬を求め、求めた前記報酬に基づいて、前記方策パラメータを更新する、方策パラメータ更新部と、
を備えていることを特徴とする。
　また、上記目的を達成するため、本発明の一側面における対話方法は、ユーザの対話行為に対して応答を行なうための方法であって、
（ａ）前記ユーザとの間で行なわれている対話の状態と、方策パラメータとに基づいて、応答候補の集合に含まれる応答候補それぞれにスコアを設定し、設定したスコアを参照して、前記応答候補の１つを、当該装置の対話行為として選択する、ステップと、
（ｂ）特定の状況で行なわれた振る舞いの評価を、報酬として、定量的に表した数値で返す報酬関数を用いて、前記対話の状態における報酬を求め、求めた前記報酬に基づいて、前記方策パラメータを更新する、ステップと、
を有することを特徴とする。
　更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、コンピュータに、ユーザの対話行為に対して応答を行なわせるための、プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
　前記コンピュータに、
（ａ）前記ユーザとの間で行なわれている対話の状態と、方策パラメータとに基づいて、応答候補の集合に含まれる応答候補それぞれにスコアを設定し、設定したスコアを参照して、前記応答候補の１つを、当該装置の対話行為として選択する、ステップと、
（ｂ）特定の状況で行なわれた振る舞いの評価を、報酬として、定量的に表した数値で返す報酬関数を用いて、前記対話の状態における報酬を求め、求めた前記報酬に基づいて、前記方策パラメータを更新する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
　以上のように本発明によれば、動作状況に合わせた方策の作成に適応することができる。
図１は、本発明の実施の形態における対話装置の概略構成を示すブロック図である。 図２は、本発明の実施の形態における対話装置の具体的構成を示すブロック図である。 図３は、本発明の実施の形態における対話装置の動作を示すフロー図である。 図４は、図３に示すステップＳ１０１の処理の内容の一例を示す図である。 図５は、図３に示すステップＳ１０２の処理の内容の一例を具体的に示す図である。 図６は、図３に示すステップＳ１０３の処理の内容の一例を示す図である。 図７は、図３に示すステップＳ１０４の処理の内容の一例を示す図である。 図８は、図３に示すステップＳ１０５の処理内容の一例を示す図である。 図９は、図３に示すステップＳ１０４で用いられるスコアリング関数の一例を示す図である。 図１０は、図９に示した関数EmbDsの実装例を示す図である。 図１１は、図９に示した関数EmbDaの実装例を示す図である。 図１２は、図１０及び図１１に示した関数EmbFの実装例を示す図である。 図１３は、本発明の実施の形態の具体例で行なわれた評価の結果を示す図である。 図１４は、本発明の実施の形態における対話装置を実現するコンピュータの一例を示すブロック図である。 図１５は、従来からの審理対話システムの一例を示すブロック図である。
（実施の形態）
　以下、本発明の実施の形態における、対話装置、対話方法、及びプログラムについて、図１～図１４を参照しながら説明する。
［装置構成］
　最初に、本実施の形態における対話装置の構成について説明する。図１は、本発明の実施の形態における対話装置の概略構成を示すブロック図である。
　図１に示す、本実施の形態における対話装置１００は、ユーザの対話行為に対して応答を行なう装置である。図１に示すように、対話装置１００は、方策部４０と、方策パラメータ更新部６０とを備えている。
　方策部４０は、まず、ユーザとの間で行なわれている対話の状態と、方策パラメータとに基づいて、応答候補の集合に含まれる応答候補それぞれにスコアを設定する。続いて、方策部４０は、設定したスコアを参照して、応答候補の１つを、対話装置１００の対話行為として選択する。
　方策パラメータ更新部６０は、まず、特定の状況で行なわれた振る舞いの評価を、報酬として、定量的に表した数値で返す報酬関数を用いて、ユーザとの間で行なわれている対話の状態における報酬を求める。続いて、方策パラメータ更新部６０は、求めた報酬に基づいて、方策パラメータを更新する。
　このように、本実施の形態では、装置の対話行為を選択するための方策パラメータが、方策パラメータ更新部６０によって、特定の状況に適応するように更新される。このため、本実施の形態によれば、動作状況に合わせた方策の作成に適応することができる。
　続いて、図２を用いて、本実施の形態における対話装置１００の構成についてより具体的に説明する。図２は、本発明の実施の形態における対話装置の具体的構成を示すブロック図である。
　図２に示すように、本実施の形態では、対話装置１００は、方策部４０及び方策パラメータ更新部６０に加えて、入力受付部１０と、対話状態更新部２０と、応答候補生成部３０と、出力部５０と、知識記録部７０と、報酬関数記録部８０と、方策パラメータ記録部９０とを備えている。
　入力受付部１０は、外部から、ユーザの対話行為（後述の図４参照）の入力を受け付ける。また、入力受付部１０は、受け付けた対話行為を対話状態更新部２０に引き渡す。
　対話状態更新部２０は、入力受付部１０で受け付けられたユーザの対話行為と、予め保持されている知識と、過去に対話装置１００の方策部４０から出力された対話行為とに基づいて、ユーザとの間で行なわれてる対話の状態（以下「対話状態」と表記する）を更新する。そして、対話状態更新部２０は、更新した対話状態を、応答候補生成部３０、方策部４０、及び方策パラメータ更新部６０に引き渡す。また、対話状態更新部２０が用いる知識は、本実施の形態では、知識記録部７０に格納されている（後述の図５参照）。
　応答候補生成部３０は、対話状態更新部２０から受け取った更新後の対話状態に、予め設定されている対話の取り決めを適用して、応答候補の集合を生成する。また、生成された応答候補は、対話装置１００の対話行為となる。従って、以下においては、応答候補の集合を「対話行為集合」と表記することもある。対話の取り決めとしては、例えば、上記非特許文献１に開示されている審理対話プロトコルが挙げられる。
　方策部４０は、本実施の形態では、応答候補生成部３０によって更新された対話状態を用いて処理を行なう。また、方策部４０は、更新後の対話状態を、それが含む論理式の構造に基づいて、ベクトルに符号化する。更に、方策部４０は、応答候補の集合に含まれる各応答候補が含む対話行為についても、各応答候補の対話行為が含む論理式の構造に基づいて、ベクトルに符号化する。そして、方策部４０は、方策パラメータと、符号化後の対話状態と、符号化後の対話行為とを、スコアリング関数に適用して、スコアを設定する。なお、符号化及びスコアリング関数については後述する。
　そして、方策部４０は、スコアが最大値を持つ応答候補を選択し、選択した応答候補を、対話装置１００の対話行為として選択する。また、方策部４０は、選択した対話行為を、出力部５０に渡す。出力部５０は、受け取った対話行為を、表示装置、ユーザの端末装置等に出力する。
　方策パラメータは、方策パラメータ記録部９０に格納されている。また、本実施の形態で用いられる方策パラメータとしては、方策部４０でスコアリングに利用されるパラメトリックなスコアリング関数のパラメータ、及び方策部４０で対話状態と対話行為の符号化に利用されるパラメトリック関数のパラメータが挙げられる。具体的には、方策パラメータとしては、例えば上記パラメトリックな関数としてニューラルネットワーク（下記の参照文献）を利用した場合、ニューラルネットワークの重みが挙げられる。
（参照文献）Bishop, Christopher M. "Pattern recognition." Machine Learning 128 (2006): 1-58.
　方策パラメータ更新部６０は、本実施の形態では、方策パラメータ記録部９０に格納されている方策パラメータを更新する。また、方策パラメータ更新部６０は、本実施の形態では、対話状態更新部２０によって更新された対話状態を、それが含む論理式の構造に基づいて、ベクトルに符号化する。その後、方策パラメータ更新部６０は、符号化後の対話の状態と、報酬関数から求めた報酬とを用いて、強化学習処理を実行して、方策パラメータを更新する。なお、報酬関数及び強化学習処理については後述する。
　このように、本実施の形態では、対話装置１００は、報酬関数が定める数値が最大化するように方策パラメータを更新させており、報酬関数と方策パラメータとを相互に作用させる。このため、方策部４０における振る舞いの適応が実現される。
　［装置動作］
　次に、本発明の実施の形態における対話装置１００の動作について図３を用いて説明する。図３は、本発明の実施の形態における対話装置の動作を示すフロー図である。以下の説明においては、適宜図１及び図２を参酌する。また、本実施の形態では、対話装置１００を動作させることによって、対話方法が実施される。よって、本実施の形態における対話方法の説明は、以下の対話装置１００の動作説明に代える。
　図３に示すように、最初に、入力受付部１０が、ユーザの対話行為の入力を受け付ける（ステップＳ１０１）。入力は、キーボード等の入力装置、他の端末装置等を介して行なわれる。
　次に、対話状態更新部２０が、ステップＳ１０１で受け付けられたユーザの対話行為を入力として、知識記録部７０に記録されている知識と過去に対話装置１００の方策部４０から出力された対話行為とに基づいて、対話状態を更新する（ステップＳ１０２）。また、対話状態更新部２０は、更新した対話状態を、応答候補生成部３０、方策部４０、及び方策パラメータ更新部６０に出力する。
　次に、応答候補生成部３０は、更新された対話状態を入力として、予め設定されている対話の取り決めを適用して、その対話状態における応答候補の集合（対話装置１００の対話行為集合）を生成する（ステップＳ１０３）。
　また、ステップＳ１０３の処理と並列に、方策パラメータ更新部６０は、ステップＳ１０２で更新された対話状態を入力として、報酬関数を用いて報償を求め、求めた報償に基づいて、方策パラメータを更新する（ステップＳ１０５）。
　次に、方策部４０は、ステップＳ１０２で更新された対話状態と、ステップＳ１０３で生成された対話装置１００の対話行為集合とを入力とし、更に、ステップＳ１０５で更新された方策パラメータを参照して、対話行為集合に含まれる応答候補にスコアを設定する。そして、方策部４０は、設定したスコアが最大となる応答候補を、対話行為として選択する（ステップＳ１０４）。選択された対話行為は、出力部５０によって出力される。
　その後、方策部４０は、これらの一連の処理の実行回数（ループ回数）が、指定された回数以上であるかどうかを判定する（ステップＳ１０６）。判定の結果、指定回数に達していない場合は、再度ステップＳ１０１が実行され、指定回数以上である場合は、対話装置１００における処理は終了する。
［実施の形態における効果］
　以上のように本実施の形態では、方策パラメータ更新部６０が、特定の状況に適応するように方策パラメータを更新し、方策部４０が、更新した方策パラメータに基づいて、適切な対話行為を選択する。このため、本実施の形態によれば、動作状況に合わせて、方策部４０の挙動を最適化でき、結果、最適な方策が作成される。
［具体例］
　続いて、本実施の形態における具体例を図４～図１３を用いて説明する。また、以下においては、図３に示したステップＳ１０１～Ｓ１０５に沿って説明する。
［ステップＳ１０１］
　図４は、図３に示すステップＳ１０１の処理の内容の一例を示す図である。具体例として、図４に示すように、入力受付部１０が、ユーザの対話行為として「Assert({価格提案(E1, X, Z)}, 価格提案(E1,X,Z)∧A社(X))」を受け付ける場合を考える。
　図４に示す対話行為は、ユーザの「A社はどこかに価格提案を行っていました」という主張を抽象的に表している。入力受付部１０は、このような対話行為を受け付け、これを対話状態更新部２０に出力する。なお、ユーザの対話行為の仕様は、上記非特許文献１で定義される。
［ステップＳ１０２］
　図５は、図３に示すステップＳ１０２の処理の内容の一例を具体的に示す図である。具体例として、図５に示すように、対話状態更新部２０は、図３に示されたユーザの対話行為を入力として受け付け、知識記録部７０を参照する場合を考える。
　対話状態更新部２０は、知識記録部７０に記録されている知識と、入力が受け付けられたユーザの対話行為とに基づいて、対話状態を更新する。図５の例では、破線で記された部分が更新された箇所である。対話状態更新部２０は、知識記録部７０を参照して対話状態中の「システムの知識」を更新し、またユーザの対話行為を用いて「発話履歴」を更新している。なお、詳細な対話状態の取り決めについては、上記非特許文献１で定義される。
　このように対話状態更新部２０は、対話状態を更新して、更新した対話状態を、方策部４０と、方策パラメータ更新部６０と、応答候補生成部３０とに出力する。
［ステップＳ１０３］
　図６は、図３に示すステップＳ１０３の処理の内容の一例を示す図である。具体例として、図６に示すように、応答候補生成部３０が、図５に示した対話状態を受け付ける場合を考える。応答候補生成部３０は、予め設定されている対話の取り決めとして、審理対話プロトコルを用い、それに基づいて対話状態に応じた対話装置１００の対話行為集合を生成する。
　図６の例では、応答候補生成部３０は、まず、審理対話プロトコルの「Ωは発話履歴に含まれる最も直近のOpenに含まれる引数である」を参照する。そして、応答候補生成部３０は、対話状態の「発話履歴」にも直近のOpenの引数「A社(x)∧価格提案(e1, x)∧Ｂ社(y)∧同意(e2, y, e1)->カルテル(e3, x, y)」を持つCloseを、対話装置１００の対話行為集合に含めている。なお、審理対話プロトコルに関する詳細な説明は、上記非特許文献１に開示されている。
［ステップＳ１０４］
　図７は、図３に示すステップＳ１０４の処理の内容の一例を示す図である。具体例として、図７に示すように、方策部４０が、図６に示した対話状態と対話装置１００の対話行為集合とを受け取り、図６に示した方策パラメータを参照する場合を考える。適応的方策部４０は、方策パラメータと対話状態とに基づいて、対話行為をスコアリングし、そのスコアが最大の対話行為を出力する。
　図７の例では、方策部４０は、対話行為「Assert({(B社(Y), 価格提案(E2, Y, E))}, B社(Y)∧価格提案(E2, Y, E))」(lm1)に「1」、対話行為「Assert(根拠, カルテル(E3, X, Y)」(lm2)に「0.5」をスコアリングしている。また、方策部４０は、対話行為「Close(A社(x)∧価格提案(e1, x)∧Ｂ社(y)∧同意(e2, y, e1)->カルテル(e3, x, y)」(lm3)に「0」をスコアリングしている。
　この場合、対話行為「Assert({(B社(Y), 価格提案(E2, Y, E))}, B社(Y)∧価格提案(E2, Y, E))」(lm1)のスコアが最大である。従って、方策部４０は、対話行為「Assert({(B社(Y), 価格提案(E2, Y, E))}, B社(Y)∧価格提案(E2, Y, E))」(lm1)を、対話装置１００の対話行為として選択する。
　また、対話装置１００の対話行為の選択において、対話状態と対話行為集合に含まれている応答候補（対話行為）とは、数値ベクトルに符号化され、そのベクトルと、方策パラメータと、スコアリング関数fとを用いてスコアリングが実施される。このスコアリングで用いられるスコアリング関数fと符号化（EmbDa, EmbDs）との具体例については後述する。
［ステップＳ１０５］
　図８は、図３に示すステップＳ１０５の処理内容の一例を示す図である。具体例として、図８に示すように、方策パラメータ更新部６０が、対話状態を受け取り、報酬関数を参照して強化学習を行なう場合を考える。方策パラメータ更新部６０は、対話状態を表すベクトルと、方策パラメータと、報酬関数から得られた報酬とを用いて強化学習を実施することで、方策パラメータWの更新を行う。
　具体的には、方策パラメータ更新部６０は、ある時点での対話状態と、その１ターン前の対話状態とを保存しておき、それらを後述の方法に基づいてベクトルに符号化する。また、方策パラメータ更新部６０は、報酬関数を参照して、報酬を求める。図８の例では、報酬関数としては、対話状態に応じて２種類の報酬のうちの一つを返す関数が用いられている。図８の例では、対話状態は「カルテルに言及しているAssertが発話履歴に存在する場合」という条件にあてはまらないため、「－１」の報酬が返される。
　また、図８の例では、方策パラメータ更新部６０は、強化学習処理のアルゴリズムとして、特にDeep Q-Networkを用いて、方策パラメータWの更新を行う。Deep Q-Networkの技術的詳細は、下記の参照文献１に開示されている。
（参照文献１）Mnih, Volodymyr, et al. "Human-level control through deep reinforcement learning." Nature 518.7540 (2015): 529-533.
　ところで、上述のステップＳ１０４とＳ１０５との具体例では、対話状態と対話行為（応答候補）とがベクトルに符号化され、スコアリング関数を用いてスコアリングが行なわれている。ここで、これらの処理について、図９～図１２を用いて具体例を挙げて説明する。
　図９は、図３に示すステップＳ１０４で用いられるスコアリング関数の一例を示す図である。図９において、左側の四角形のノードはデータを表している。矢印はデータのフローを表している。sは対話状態、lmは対話行為、「スコア」は対話行為のスコアである。
　また、図９において、角が丸い四角形のノードは関数を表す。「EmbDs」は対話状態を符号化する関数である。また、「EmbDa」は対話行為を符号化する関数である。「f」はスコアリング関数である。「｜｜」はベクトルの結合を行う関数である。「Linear（線形関数）」は入力ベクトルの各要素の重み付き線形和を返す関数である。
　図１０は、図９に示した関数EmbDsの実装例を示す図である。図１０に示すように、関数EmbDsは、対話状態sを入力として受付け、そのベクトル表現vsを返す。図１０において、四角形のノードはデータを表し、角が丸い四角形のノードは関数を表している。また、対話状態sは、コミットメントストアCSと、システムの知識Σと、クエリストアQSとで表される。これらは論理式のリストとして表される。
　図１０において、「Sum.」は、入力ベクトルの要素毎の総和を返す関数である。「｜｜」は入力ベクトルの結合を返す関数である。また、「EmbF」は論理式の抽象構文木Tfに対応するベクトルを返す関数である。EmbFと論理式の抽象構文木との詳細については後述する。
　図１１は、図９に示した関数EmbDaの実装例を示す図である。図１１に示すように、関数EmbDaは、対話行為lmを入力として受付け、そのベクトル表現vlmを返す。図１１において、四角形のノードはデータを表し、角が丸い四角形のノードは関数を表している。また、図１１に示された各ノードは、図１０の例と同様である。
　図１２は、図１０及び図１１に示した関数EmbFの実装例を示す図である。図１２の例では、論理式「A(x)∧B(y) -> Competitor(x, y)」に対応するベクトルが求められている。論理式ｆに対応する抽象構文木Tfでは、枝は論理演算子、述語のいずれかに該当する。また葉は述語の引数を表す。VfはTfに対応するベクトル表現である。この抽象構文木に対応するベクトルを求める処理は、以下の参照文献２に開示されたRecursive Neural Networkに従って行なわれる。
（参照文献２）Socher, Richard, et al. "Parsing natural scenes and natural language with recursive neural networks." Proceedings of the 28th international conference on machine learning (ICML-11). 2011.
（評価）
　続いて、上述の具体例に従って適応させた方策（DQNwE-5d）と、上記非特許文献１で提案された方策（Baseline）とのそれぞれに従って、審理対話を行なった場合の性能評価を行った。Baselineは非特許文献１の著者が作成した静的な規則に従う。性能評価の実験として、「会社間のメールのやり取りからコンプライアンス違反」が成立したか否か推定する審理対話ドメインを想定し、各方策とユーザとの対話シミュレーションを行った。
　性能評価は２０ターン内でのタスク達成率（方策が特定の対話行為を出力できた割合; Success Rate）を用いて評価する。この性能評価では、出来る限り短いターンでタスクを達成できる方策ほど優れたものとする。
　タスク達成率の算出のために、知識記録部７０に格納される知識の初期値が異なる2000対話が実施された。Baselineはタスクを達成するという目標のみに焦点を当てて作成されており、出来る限り短いターンでタスクを達成するという目標は考慮されていない。従って、本発明を用いて適応した方策（DQNwE-5d）は、Baselineよりも短いターンで一定のタスク達成率を実現すると期待できる。次の段落では、図１３を用いて、その結果について述べる。
　図１３は、本発明の実施の形態の具体例で行なわれた評価の結果を示す図である。図１３に示すように、評価結果より、本具体例を用いて適応した方策（DQNwE-5d）は、Baselineよりも短いターンで一定のタスク達成率を到達できたことがわかる。従って、本具体例に基づいて生成された方策は、予め人手で考慮した静的な規則に従う方策よりも、対話装置がおかれた状況に適応できることが示唆される。
［プログラム］
　本発明の実施の形態におけるプログラムは、コンピュータに、図３に示すステップＳ１０１～Ｓ１０６を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における対話装置１００と対話方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、入力受付部１０、対話状態更新部２０、応答候補生成部３０、方策部４０、出力部５０、及び方策パラメータ更新部６０として機能し、処理を行なう。
　また、本実施の形態では、知識記録部７０、報酬関数記録部８０、及び方策パラメータ記録部９０は、コンピュータに備えられたハードディスク等の記憶装置に、これらを構成するデータファイルを格納することによって、又はこのデータファイルが格納された記録媒体をコンピュータと接続された読取装置に搭載することによって実現されている。
　また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、入力受付部１０、対話状態更新部２０、応答候補生成部３０、方策部４０、出力部５０、及び方策パラメータ更新部６０のいずれかとして機能しても良い。また、知識記録部７０、報酬関数記録部８０、及び方策パラメータ記録部９０は、本実施の形態におけるプログラムを実行するコンピュータとは別のコンピュータ上に構築されていても良い。
　ここで、本実施の形態におけるプログラムを実行することによって、対話装置１００を実現するコンピュータについて図１４を用いて説明する。図１４は、本発明の実施の形態における対話装置を実現するコンピュータの一例を示すブロック図である。
　図１４に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
　ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
　また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
　データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
　また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。
　なお、本実施の形態における対話装置１００は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、対話装置１００は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
　上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１２）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
　ユーザの対話行為に対して応答を行なう装置であって、
　前記ユーザとの間で行なわれている対話の状態と、方策パラメータとに基づいて、応答候補の集合に含まれる応答候補それぞれにスコアを設定し、設定したスコアを参照して、前記応答候補の１つを、当該装置の対話行為として選択する、方策部と、
　特定の状況で行なわれた振る舞いの評価を、報酬として、定量的に表した数値で返す報酬関数を用いて、前記対話の状態における報酬を求め、求めた前記報酬に基づいて、前記方策パラメータを更新する、方策パラメータ更新部と、
を備えていることを特徴とする対話装置。
（付記２）
　前記方策部が、前記対話の状態と、前記応答候補の集合に含まれる応答候補とを、それぞれが含む論理式の構造に基づいて、ベクトルに符号化し、符号化後の前記対話の状態と符号化後の前記応答候補とを用いて、前記スコアを設定する、
付記１に記載の対話装置。
（付記３）
　前記方策パラメータ更新部が、前記対話の状態を、それが含む論理式の構造に基づいて、ベクトルに符号化し、符号化後の前記対話の状態と、求めた前記報酬とを用いて、強化学習処理を実行して、前記方策パラメータを更新する、
付記１または２に記載の対話装置。
（付記４）
　ユーザの対話行為の入力を受け付ける、入力受付部と、
　受け付けられた対話行為と、予め保持されている知識と、過去に当該装置から出力された対話行為とに基づいて、前記ユーザとの間で行なわれている対話の状態を更新する、対話状態更新部と、
　更新された前記対話の状態に、予め設定されている対話の取り決めを適用して、前記応答候補の集合を生成する、応答候補生成部と、
を更に備えている、付記１～３のいずれかに記載の対話装置。
（付記５）
　ユーザの対話行為に対して応答を行なうための方法であって、
（ａ）前記ユーザとの間で行なわれている対話の状態と、方策パラメータとに基づいて、応答候補の集合に含まれる応答候補それぞれにスコアを設定し、設定したスコアを参照して、前記応答候補の１つを、当該装置の対話行為として選択する、ステップと、
（ｂ）特定の状況で行なわれた振る舞いの評価を、報酬として、定量的に表した数値で返す報酬関数を用いて、前記対話の状態における報酬を求め、求めた前記報酬に基づいて、前記方策パラメータを更新する、ステップと、
を有することを特徴とする対話方法。
（付記６）
　前記（ａ）のステップにおいて、前記対話の状態と、前記応答候補の集合に含まれる応答候補とを、それぞれが含む論理式の構造に基づいて、ベクトルに符号化し、符号化後の前記対話の状態と符号化後の前記応答候補とを用いて、前記スコアを設定する、
付記５に記載の対話方法。
（付記７）
　前記（ｂ）のステップにおいて、前記対話の状態を、それが含む論理式の構造に基づいて、ベクトルに符号化し、符号化後の前記対話の状態と、求めた前記報酬とを用いて、強化学習処理を実行して、前記方策パラメータを更新する、
付記５または６に記載の対話方法。
（付記８）
（ｃ）ユーザの対話行為の入力を受け付ける、ステップと、
（ｄ）受け付けられた対話行為と、予め保持されている知識と、過去に当該装置から出力された対話行為とに基づいて、前記ユーザとの間で行なわれている対話の状態を更新する、ステップと、
（ｅ）更新された前記対話の状態に、予め設定されている対話の取り決めを適用して、前記応答候補の集合を生成する、ステップと、
を更に有する、付記５～７のいずれかに記載の対話方法。
（付記９）
　コンピュータに、ユーザの対話行為に対して応答を行なわせるための、プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
　前記コンピュータに、
（ａ）前記ユーザとの間で行なわれている対話の状態と、方策パラメータとに基づいて、応答候補の集合に含まれる応答候補それぞれにスコアを設定し、設定したスコアを参照して、前記応答候補の１つを、当該装置の対話行為として選択する、ステップと、
（ｂ）特定の状況で行なわれた振る舞いの評価を、報酬として、定量的に表した数値で返す報酬関数を用いて、前記対話の状態における報酬を求め、求めた前記報酬に基づいて、前記方策パラメータを更新する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
（付記１０）
　前記（ａ）のステップにおいて、前記対話の状態と、前記応答候補の集合に含まれる応答候補とを、それぞれが含む論理式の構造に基づいて、ベクトルに符号化し、符号化後の前記対話の状態と符号化後の前記応答候補とを用いて、前記スコアを設定する、
付記９に記載のコンピュータ読み取り可能な記録媒体。
（付記１１）
　前記（ｂ）のステップにおいて、前記対話の状態を、それが含む論理式の構造に基づいて、ベクトルに符号化し、符号化後の前記対話の状態と、求めた前記報酬とを用いて、強化学習処理を実行して、前記方策パラメータを更新する、
付記９または１０に記載のコンピュータ読み取り可能な記録媒体。
（付記１２）
　前記プログラムが、前記コンピュータに、
（ｃ）ユーザの対話行為の入力を受け付ける、ステップと、
（ｄ）受け付けられた対話行為と、予め保持されている知識と、過去に当該装置から出力された対話行為とに基づいて、前記ユーザとの間で行なわれている対話の状態を更新する、ステップと、
（ｅ）更新された前記対話の状態に、予め設定されている対話の取り決めを適用して、前記応答候補の集合を生成する、ステップと、
を更に実行させる命令を含む、付記９～１１のいずれかに記載のコンピュータ読み取り可能な記録媒体。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　以上のように、本発明によれば、審理対話システムにおいて、動作状況に合わせた方策の作成に適応することができる。本発明は、ユーザと議論を行い与えられた問いに答えを見つけるシステム、具体的には、情報推薦システム、質問応答システム、セキュリティ分析システム等に有用である。
　１０　　入力受付部
　２０　　対話状態更新部
　３０　　応答候補生成部
　４０　　方策部
　５０　　出力部
　６０　　方策パラメータ更新部
　７０　　知識記録部
　８０　　報酬関数記録部
　９０　　方策パラメータ記録部
　１００　対話装置
　１１０　コンピュータ
　１１１　ＣＰＵ
　１１２　メインメモリ
　１１３　記憶装置
　１１４　入力インターフェイス
　１１５　表示コントローラ
　１１６　データリーダ／ライタ
　１１７　通信インターフェイス
　１１８　入力機器
　１１９　ディスプレイ装置
　１２０　記録媒体
　１２１　バス

Claims (6)

  1. 　ユーザの対話行為に対して応答を行なう装置であって、
    　前記ユーザとの間で行なわれている対話の状態と、方策パラメータとに基づいて、応答候補の集合に含まれる応答候補それぞれにスコアを設定し、設定したスコアを参照して、前記応答候補の１つを、当該装置の対話行為として選択する、方策部と、
    　特定の状況で行なわれた振る舞いの評価を、報酬として、定量的に表した数値で返す報酬関数を用いて、前記対話の状態における報酬を求め、求めた前記報酬に基づいて、前記方策パラメータを更新する、方策パラメータ更新部と、
    を備えていることを特徴とする対話装置。
  2. 　前記方策部が、前記対話の状態と、前記応答候補の集合に含まれる応答候補とを、それぞれが含む論理式の構造に基づいて、ベクトルに符号化し、符号化後の前記対話の状態と符号化後の前記応答候補とを用いて、前記スコアを設定する、
    請求項１に記載の対話装置。
  3. 　前記方策パラメータ更新部が、前記対話の状態を、それが含む論理式の構造に基づいて、ベクトルに符号化し、符号化後の前記対話の状態と、求めた前記報酬とを用いて、強化学習処理を実行して、前記方策パラメータを更新する、
    請求項１または２に記載の対話装置。
  4. 　ユーザの対話行為の入力を受け付ける、入力受付部と、
    　受け付けられた対話行為と、予め保持されている知識と、過去に当該装置から出力された対話行為とに基づいて、前記ユーザとの間で行なわれている対話の状態を更新する、対話状態更新部と、
    　更新された前記対話の状態に、予め設定されている対話の取り決めを適用して、前記応答候補の集合を生成する、応答候補生成部と、
    を更に備えている、請求項１～３のいずれかに記載の対話装置。
  5. 　ユーザの対話行為に対して応答を行なうための方法であって、
    （ａ）前記ユーザとの間で行なわれている対話の状態と、方策パラメータとに基づいて、応答候補の集合に含まれる応答候補それぞれにスコアを設定し、設定したスコアを参照して、前記応答候補の１つを、当該装置の対話行為として選択する、ステップと、
    （ｂ）特定の状況で行なわれた振る舞いの評価を、報酬として、定量的に表した数値で返す報酬関数を用いて、前記対話の状態における報酬を求め、求めた前記報酬に基づいて、前記方策パラメータを更新する、ステップと、
    を有することを特徴とする対話方法。
  6. 　コンピュータに、ユーザの対話行為に対して応答を行なわせるための、プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    　前記コンピュータに、
    （ａ）前記ユーザとの間で行なわれている対話の状態と、方策パラメータとに基づいて、応答候補の集合に含まれる応答候補それぞれにスコアを設定し、設定したスコアを参照して、前記応答候補の１つを、当該装置の対話行為として選択する、ステップと、
    （ｂ）特定の状況で行なわれた振る舞いの評価を、報酬として、定量的に表した数値で返す報酬関数を用いて、前記対話の状態における報酬を求め、求めた前記報酬に基づいて、前記方策パラメータを更新する、ステップと、
    を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
PCT/JP2017/010044 2017-03-13 2017-03-13 対話装置、対話システム、及びコンピュータ読み取り可能な記録媒体 WO2018167830A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/492,664 US11663413B2 (en) 2017-03-13 2017-03-13 Dialog apparatus, dialog system, and computer-readable recording medium
PCT/JP2017/010044 WO2018167830A1 (ja) 2017-03-13 2017-03-13 対話装置、対話システム、及びコンピュータ読み取り可能な記録媒体
JP2019505326A JP6825693B2 (ja) 2017-03-13 2017-03-13 対話装置、対話システム、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/010044 WO2018167830A1 (ja) 2017-03-13 2017-03-13 対話装置、対話システム、及びコンピュータ読み取り可能な記録媒体

Publications (1)

Publication Number Publication Date
WO2018167830A1 true WO2018167830A1 (ja) 2018-09-20

Family

ID=63521877

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/010044 WO2018167830A1 (ja) 2017-03-13 2017-03-13 対話装置、対話システム、及びコンピュータ読み取り可能な記録媒体

Country Status (3)

Country Link
US (1) US11663413B2 (ja)
JP (1) JP6825693B2 (ja)
WO (1) WO2018167830A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10387463B2 (en) * 2017-07-06 2019-08-20 International Business Machines Corporation Dialog agent for conducting task-oriented computer-based communications
US11043214B1 (en) * 2018-11-29 2021-06-22 Amazon Technologies, Inc. Speech recognition using dialog history
CN116028615B (zh) * 2023-03-30 2023-06-30 北京红棉小冰科技有限公司 基于知识引导的回复生成方法、装置和电子设备
CN117407514A (zh) * 2023-11-28 2024-01-16 星环信息科技(上海)股份有限公司 一种解决计划生成方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117937A (ja) * 1999-10-20 2001-04-27 Hitachi Ltd 文書検索方法および装置
JP2012038287A (ja) * 2010-07-12 2012-02-23 National Institute Of Information & Communication Technology 学習システム、シミュレーション装置、および学習方法
JP2016085685A (ja) * 2014-10-28 2016-05-19 日本電信電話株式会社 次発話候補スコアリング装置、方法、及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9251474B2 (en) * 2013-03-13 2016-02-02 International Business Machines Corporation Reward based ranker array for question answer system
GB2559617B (en) * 2017-02-13 2020-06-24 Toshiba Kk A dialogue system, a dialogue method and a method of adapting a dialogue system
US10860628B2 (en) * 2017-02-16 2020-12-08 Google Llc Streaming real-time dialog management
WO2018200979A1 (en) * 2017-04-29 2018-11-01 Google Llc Generating query variants using a trained generative model
US11093533B2 (en) * 2018-06-05 2021-08-17 International Business Machines Corporation Validating belief states of an AI system by sentiment analysis and controversy detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117937A (ja) * 1999-10-20 2001-04-27 Hitachi Ltd 文書検索方法および装置
JP2012038287A (ja) * 2010-07-12 2012-02-23 National Institute Of Information & Communication Technology 学習システム、シミュレーション装置、および学習方法
JP2016085685A (ja) * 2014-10-28 2016-05-19 日本電信電話株式会社 次発話候補スコアリング装置、方法、及びプログラム

Also Published As

Publication number Publication date
JP6825693B2 (ja) 2021-02-03
US20200050669A1 (en) 2020-02-13
JPWO2018167830A1 (ja) 2020-01-16
US11663413B2 (en) 2023-05-30

Similar Documents

Publication Publication Date Title
US11056107B2 (en) Conversational framework
WO2018167830A1 (ja) 対話装置、対話システム、及びコンピュータ読み取り可能な記録媒体
Pietquin et al. Sample-efficient batch reinforcement learning for dialogue management optimization
US10909327B2 (en) Unsupervised learning of interpretable conversation models from conversation logs
WO2020250299A1 (ja) 分析装置、分析システム、分析方法及びプログラムが格納された非一時的なコンピュータ可読媒体
US5913023A (en) Method for automated generation of tests for software
US11334671B2 (en) Adding adversarial robustness to trained machine learning models
US10970632B2 (en) Generating a score for a runbook or a script
JP6611053B2 (ja) 主題推定システム、主題推定方法およびプログラム
US20200027443A1 (en) Task-independent conversational systems
JP4617317B2 (ja) アクション中心のアプローチを用いてネットワークシステムの自律管理を行うシステム及び方法
WO2018229877A1 (ja) 仮説推論装置、仮説推論方法、及びコンピュータ読み取り可能な記録媒体
KR101932835B1 (ko) 행동 결정 장치 및 방법, 컴퓨터 판독 가능한 저장 매체
Everitt et al. Self-modification of policy and utility function in rational agents
CN115066694A (zh) 计算图优化
CN111443964A (zh) 更新用户界面的方法、设备和计算机程序产品
US9760835B2 (en) Reasoning over cyclical directed graphical models
KR102610431B1 (ko) 인공지능 분석 기반 프로그램 소스코드의 요약문 생성 장치 및 방법
WO2022121663A1 (en) Adversarial hardening of queries against automated responses
US20220198255A1 (en) Training a semantic parser using action templates
Chandramohan et al. Behavior specific user simulation in spoken dialogue systems
JP7322966B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2023084609A1 (ja) 行動モデルのコスト推定装置、方法およびプログラム
JP7428245B2 (ja) 応答文生成装置およびプログラム
Vassev et al. Formalizing self-adaptive clouds with knowlang

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17900335

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019505326

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17900335

Country of ref document: EP

Kind code of ref document: A1