WO2020170906A1 - 生成装置、学習装置、生成方法及びプログラム - Google Patents

生成装置、学習装置、生成方法及びプログラム Download PDF

Info

Publication number
WO2020170906A1
WO2020170906A1 PCT/JP2020/005318 JP2020005318W WO2020170906A1 WO 2020170906 A1 WO2020170906 A1 WO 2020170906A1 JP 2020005318 W JP2020005318 W JP 2020005318W WO 2020170906 A1 WO2020170906 A1 WO 2020170906A1
Authority
WO
WIPO (PCT)
Prior art keywords
question
answer
generation
range
word
Prior art date
Application number
PCT/JP2020/005318
Other languages
English (en)
French (fr)
Inventor
淳史 大塚
京介 西田
いつみ 斉藤
光甫 西田
久子 浅野
準二 富田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/431,760 priority Critical patent/US20220138267A1/en
Publication of WO2020170906A1 publication Critical patent/WO2020170906A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Definitions

  • the present invention relates to a generation device, a learning device, a generation method, and a program.
  • Question generation is a task to automatically generate a question (question sentence) about a passage when a sentence (passage) described in natural language is given.
  • a question may be generated in which the words in the range given to the question generation model as an answer in the passage (that is, the range of the answer part cut out from the passage) are used as they are. It was For this reason, for example, there are cases in which a question that can be answered with YES/NO is generated that is difficult to use in a chatbot or FAQ search that is an application destination of the question generation task.
  • the present invention has been made in view of the above points, and it is an object of the present invention to prevent the use of words included in the answer range in a passage when generating a question regarding an answer.
  • a generation device generates a question expression for a range that is an answer in the document by using a machine learning model that is pre-learned with the document as an input.
  • the generating means adjusts the probability that a word included in the range is copied when the word forming the question expression is copied and generated from the document.
  • a question generation model (hereinafter, also simply referred to as a “generation model”) that receives a passage as an input and simultaneously generates a range that may be an answer in the passage and a question regarding the answer .)
  • a machine reading comprehension model and a data set which are techniques used for answering a question, are used to extract a plurality of ranges (answer range) that may be answers in a passage. Then, a question is generated such that these answer ranges are the answers.
  • the generation model is a machine learning model using a neural network.
  • a plurality of neural networks may be used for the generative model.
  • a machine learning model other than a neural network may be used for part or all of the generative model.
  • a question may be generated in which words or the like included in the range corresponding to the given answer are used as they are from the passage. For example, when a question that can be answered by YES/NO such as "NTT held R&D Forum 2018 on November 29, 2018?" is generated for the answer range "November 29, 2018" There is. Since such a question that can be answered with YES/NO is a question that is difficult to use in, for example, a chatbot or an FAQ search to which the question generation task is applied, a question that can be answered with YES/NO will not be generated. Is preferred.
  • a mechanism for suppressing copying from the answer range is introduced into the generation model. More specifically, when a word or the like in a passage is copied to generate a question, the probability that the word or the like is copied from the answer range is adjusted to be low (the probability may be adjusted to 0. Including). As a result, a question is generated with a word or the like copied from a portion other than the answer range, and it is possible to prevent generation of a question that can be answered with YES/NO.
  • ⁇ Functional configuration of the generator 10> there are a step of generating an answer and a question using a learned generation model (at the time of generating an answer and a question) and a step of learning this generation model (at the time of learning).
  • FIG. 1 is a diagram showing an example of a functional configuration (at the time of generating an answer and a question) of a generating device 10 according to an embodiment of the present invention.
  • the generation device 10 at the time of generating an answer and a question includes, as functional units, a dividing unit 110, a text processing unit 120, a feature extraction unit 130, a generation processing unit 140, and an answer/question output unit. 150 and.
  • a document for example, a manual
  • this document may be, for example, a document obtained as a result of voice recognition of voice input to the generation device 10 or another device.
  • the dividing unit 110 divides the input document into one or more sentences (passages).
  • the dividing unit 110 divides the input document into passages having a length that can be processed by the generation model (for example, passages having a length of hundreds to thousands of words).
  • the document divided by the dividing unit 110 may be referred to as a “partial document” or the like.
  • any method can be used to divide the input document into one or more passages.
  • each paragraph of the document may be divided into passages, or if the document is a structured department such as HTML (HyperText Markup Language) format, it may be divided into passages using meta information such as tags. Good.
  • the user may create a division rule that defines the number of characters included in one passage, and then divide the passage into passages using these division rules.
  • the subsequent text processing unit 120, feature extraction unit 130, generation processing unit 140, and answer/question output unit 150 perform processing in passage units. Therefore, when the document is divided into a plurality of passages by the dividing unit 110, the feature extraction unit 130, the generation processing unit 140, and the answer/question output unit 150 repeatedly execute the process for each passage.
  • the text processing unit 120 converts the passage into a format that can be input to the generated model. Since the distributed expression conversion layer 141, which will be described later, converts the expression into a distributed expression on a word-by-word basis, the text processing unit 120 is expressed in a format in which a passage is divided into words (for example, a format in which each word is separated by a half-width space). Convert to word series.
  • a conversion format when converting a passage into a word series any format can be used as long as it is a format that can be converted into a distributed expression by a distributed expression conversion layer 141 described later.
  • the passage when the passage is in English, it is possible to use words delimited by single-byte spaces as it is to form a word series, or to divide a word into subwords to form a word series. Further, for example, when the passage is in Japanese, the morpheme analysis of the passage may be performed, and the resulting morpheme may be used as a word, and these words may be separated by a half-width space to form a word series. Any analyzer can be used as the morphological analyzer.
  • the feature extraction unit 130 extracts information effective for generating answers and questions from the passage as feature information.
  • any feature information can be used as long as it can be converted into a distributed expression by the distributed expression conversion layer 141 described later.
  • the reference relationship between words and sentences may be used as the feature information as in Non-Patent Document 1 described above, or the unique expression extracted from a passage may be used as the feature information.
  • the feature information may be simply referred to as “feature”, or as “feature” or “feature amount”.
  • the feature information is not limited to the case where feature information is extracted from a passage, and the feature information may be acquired from the outside such as another device connected via a communication network.
  • the proper expression is a specific label (eg proper noun) extracted from a passage and then given a category label. For example, if the proper noun is “NTT”, the one with the label “company” is the proper expression, and if the date is “November 29, 2018”, the one with the label “date and time” is the proper expression. .. These unique expressions serve as useful information for identifying the type of question generated by the generative model. For example, if a label “date and time” is given to words and the like in the answer range, it is possible to specify that a question of the type such as “when is time?” should be generated. ..
  • the generation processing unit 140 is realized by a generation model using a neural network.
  • the generation processing unit 140 uses the parameters of the learned generation model to extract a plurality of ranges (answer ranges) that may be answers in the passage, and generates a question in which these answers range are answers. ..
  • the generation processing unit 140 (that is, a generation model using a neural network) includes a distributed representation conversion layer 141, an information encoding layer 142, an answer extraction layer 143, and a question generation layer 144. Note that each of these layers is a layer that realizes each function when a generative model using a neural network is functionally divided, and may be called a “part” instead of a “layer”. Good.
  • the distributed expression conversion layer 141 converts the word sequence converted by the text processing unit 120 and the feature information extracted by the feature extraction unit 130 into a distributed expression for use in the generation model.
  • the distributed expression conversion layer 141 first converts each word forming the word sequence and each feature information into a one-hot vector. For example, assuming that the total number of vocabularies used in the generation model is V, the text processing unit 120 converts each word into a V-dimensional vector in which only the element corresponding to the word is 1 and the other elements are 0. .. Similarly, for example, assuming that the number of types of feature information used in the generation model is F, the text processing unit 120 sets each feature information to 1 only for the element corresponding to the feature information and 0 for other elements. Convert each to a dimensional vector.
  • the distributed representation conversion layer 141 uses the conversion matrix Mw ⁇ RV ⁇ d to convert the one-hot vector of each word into a d-dimensional real-valued vector (hereinafter, this real-valued vector is also referred to as a “word vector”). Represent.). Note that R represents the set of all real numbers.
  • the distributed representation conversion layer 141 uses the conversion matrix Mf ⁇ RF ⁇ d′ to convert the one-hot vector of each feature information into a d′-dimensional real-valued vector (hereinafter, this real-valued vector is referred to as “feature”). Also expressed as a vector.)
  • transformation matrices Mw and Mf may be learned as parameters to be learned at the time of learning the generation model, or an existing distributed expression model such as already learned Word2Vec may be used.
  • the information encoding layer 142 uses the set of word vectors obtained by the distributed representation conversion layer 141 to encode these word vectors into a vector series H ⁇ Rd ⁇ T that considers the interrelationship between words.
  • T represents the sequence length of the word vector (that is, the number of elements of the word vector set).
  • the word vector set encoding method may be any method as long as the above-mentioned vector series H is obtained.
  • the vector series H may be encoded using a recurrent neural network, or the vector series H may be encoded by a method using a self-attention (self-attention mechanism).
  • the information encoding layer 142 can encode not only the set of word vectors but also the set of feature vectors obtained by the distributed expression conversion layer 141.
  • An arbitrary method can be used as the encoding method that also incorporates the feature vector set. For example, when the sequence length of the feature vector (that is, the number of elements of the feature vector set) matches the sequence length T of the word vector, the vector (d+d′-dimensional vector) obtained by combining the word vector and the feature vector is used as information.
  • a vector sequence H ⁇ R(d+d′) ⁇ T in which feature information is also taken into consideration may be obtained, or a set of word vectors and a set of feature vectors may be the same or different from each other.
  • each vector constituting the vector sequence H1 and each vector constituting the vector sequence H2 are respectively combined to obtain the vector sequence H in consideration of the feature information.
  • a layer of a neural network such as a fully connected layer may be used to obtain the vector series H in which feature information is also taken into consideration.
  • the information encoding layer 142 may be encoded with a feature vector set incorporated or may be encoded with no feature vector set incorporated.
  • the generation device 10 does not have to have the feature extraction unit 130 (in this case, the feature information is not input to the distributed representation conversion layer 141). Therefore, the feature vector is not created.)
  • the vector sequence H obtained by the information encoding layer 142 is defined as H ⁇ Ru ⁇ T.
  • the answer extraction layer 143 uses the vector sequence H ⁇ Ru ⁇ T obtained by the information encoding layer 142 to extract the start and end points of the answer description from the passage. By extracting the start point and the end point, the range from the start point to the end point becomes the answer range.
  • the vector series H is linearly transformed by the weight W0 ⁇ R1 ⁇ u to create the starting point vector Ostart ⁇ RT. Then, after applying the softmax function with the sequence length T to the starting point vector Ostart to convert it into the probability distribution Pstart, the sth (0 ⁇ s ⁇ T) of the highest probability among the elements of the starting point vector Ostart is obtained.
  • the element is the starting point.
  • the start point vector Ostart and the vector series H are input to the recurrent neural network to create a new modeling vector M′ ⁇ Ru ⁇ T.
  • the modeling vector M′ is linearly transformed by the weight W0 to create the end point vector Oend ⁇ RT.
  • the e-th (0 ⁇ e ⁇ T) of the highest probability among the elements of the end point vector Oend is obtained.
  • the element is the end point.
  • the section from the sth word to the eth word in the passage becomes the answer range.
  • N start points and end points may be extracted by the following (1-1) and (1-2) using the above Pstart and Pend.
  • N is a hyperparameter set by the user or the like.
  • N answer ranges Each of these answer ranges is input to the question generation layer 144.
  • the answer extraction layer 143 may output N answer ranges, or a sentence corresponding to each of the N answer ranges (that is, a sentence composed of words included in the answer range in the passage ( Answer sentence)) may be output as an answer.
  • each answer range does not overlap.
  • the second answer range is “i2 ⁇ i1 and j2 ⁇ i1” or “i2. >j1 and j2>j1”. Answer ranges that at least partially overlap with other answer ranges are not extracted.
  • the question generation layer 144 inputs the answer range and the vector series H to generate a word series forming a question.
  • the word series for example, the one based on the recurrent neural network used in the encoder/decoder model described in Reference 1 below is used.
  • the word generation is determined by the weighted sum of the word generation probability pg output by the recurrent neural network and the probability pc of copying and using the words in the passage. That is, the word generation probability p is expressed by the following equation (1).
  • ⁇ is a parameter of the generative model.
  • the copy probability pc is calculated by the weight value by the attention (attention mechanism: Attention) as in the case of the pointer-generator-network described in Reference Document 2 below.
  • the probability that the tth word wt in the passage will be copied when this word ws is generated is calculated by the following formula (2).
  • Ht represents the t-th vector of the vector series H
  • hs represents the s-th state vector of the decoder.
  • score(•) is a function that outputs a scalar value in order to determine the weight value of the attention, and an arbitrary function may be used.
  • the copy probability of words not included in the passage is 0.
  • the probability pc that the word wt included in the answer range is copied is calculated by the above formula (2).
  • pc(wt) is set to 0 when the word wt is included in the answer range.
  • negative infinity or an extremely small value such as ⁇ 10 to the 30th power
  • score(Ht,hs) is set in the above equation (2). Since the above formula (2) is a softmax function, the probability when negative infinity is set is 0 (the probability is very small when a very small value is set), and the word wt from the answer range is copied. Can be prevented (or suppressed).
  • the process of preventing the word wt in the passage from being copied is also referred to as "masking process".
  • the word wt included in the answer range is prevented from being copied, it means that the answer range is masked.
  • the mask processing range is not limited to the response range, but may be freely set by the user or the like according to the nature of the passage, for example.
  • all the character string parts that match the character string in the answer range that is, the part in the passage that includes the same character string as the answer range
  • the answer/question output unit 150 represents an answer represented by the answer range extracted by the generation processing unit 140 (that is, an answer sentence composed of words included in the answer range in the passage) and a question corresponding to the answer. Is output.
  • the question corresponding to the answer is a question generated by inputting the answer range represented by the answer into the question generation layer 144.
  • FIG. 2 is a diagram showing an example of a functional configuration (during learning) of the generation device 10 according to the embodiment of the present invention.
  • the generating device 10 at the time of learning has a text processing unit 120, a feature extracting unit 130, a generation processing unit 140, and a parameter updating unit 160 as functional units.
  • a learning corpus of machine reading is input at the time of learning.
  • the machine-reading learning corpus is composed of three sets of questions, passages, and answer ranges.
  • a generative model is learned using this learning corpus as training data. The questions and passages are written in natural sentences.
  • Each function of the text processing unit 120 and the feature extraction unit 130 is the same as that at the time of generating an answer and a question, and therefore the description thereof will be omitted. Further, the functions of the distributed representation conversion layer 141, the information encoding layer 142, and the answer extraction layer 143 of the generation processing unit 140 are the same as those at the time of generating an answer and a question, and therefore description thereof is omitted. However, the generation processing unit 140 executes each process using the parameters of the generation model that has not been learned.
  • the question generation layer 144 of the generation processing unit 140 inputs the answer range and the vector series H to generate a word series that constitutes a question.
  • the answer range included in the learning corpus as the answer range ( Hereinafter, it is also referred to as “correct answer range”).
  • either the correct answer range or the answer range output from the answer extraction layer 143 (hereinafter, also referred to as “estimated answer range”) is input according to the progress of learning (for example, the number of epochs). You may.
  • the probability Pa of inputting the estimated answer range is set as a hyperparameter, and the probability Pa determines whether the correct answer range or the estimated answer range is input.
  • a function is set that has a relatively small value (for example, 0 to 0.05) in the initial stage of learning and gradually increases as the learning progresses. Such a function may be set by any calculation method.
  • the parameter updating unit 160 includes the error between the correct answer range and the estimated answer range, the question output from the question generation layer 144 (hereinafter, also referred to as “estimated question”), and the question included in the learning corpus (hereinafter, “correct answer”). Also referred to as a "question.”) and the parameters of the generative model that have not been trained by the known optimization method are updated so as to minimize these errors.
  • FIG. 3 is a diagram showing an example of a hardware configuration of the generation device 10 according to the embodiment of the present invention.
  • the generation device 10 includes, as hardware, an input device 201, a display device 202, an external I/F 203, a RAM (Random Access Memory) 204, and a ROM ( Read Only Memory) 205, a processor 206, a communication I/F 207, and an auxiliary storage device 208.
  • an input device 201 a display device 202
  • an external I/F 203 a RAM (Random Access Memory) 204
  • ROM Read Only Memory
  • the input device 201 is, for example, a keyboard, a mouse, a touch panel, etc., and is used by the user to input various operations.
  • the display device 202 is, for example, a display or the like, and displays the processing result of the generation device 10 (for example, generated answers and questions).
  • the generation device 10 may not include at least one of the input device 201 and the display device 202.
  • the external I/F 203 is an interface with an external recording medium such as the recording medium 203a.
  • the generation device 10 can read or write the recording medium 203a via the external I/F 203.
  • the functional units for example, the dividing unit 110, the text processing unit 120, the feature extracting unit 130, the generation processing unit 140, the answer/question output unit 150, the parameter updating unit 160, etc.
  • One or more programs to be realized, parameters of the generation model, etc. may be recorded.
  • the recording medium 203a includes, for example, a flexible disk, a CD (Compact Disc), a DVD (Digital Versatile Disk), an SD memory card (Secure Digital memory card), and a USB (Universal Serial Bus) memory card.
  • a flexible disk for example, a CD (Compact Disc), a DVD (Digital Versatile Disk), an SD memory card (Secure Digital memory card), and a USB (Universal Serial Bus) memory card.
  • RAM 204 is a volatile semiconductor memory that temporarily holds programs and data.
  • the ROM 205 is a non-volatile semiconductor memory that can retain programs and data even when the power is turned off.
  • the ROM 205 stores, for example, setting information regarding an OS (Operating System), setting information regarding a communication network, and the like.
  • the processor 206 is, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like, and is an arithmetic device that reads programs and data from the ROM 205, the auxiliary storage device 208, and the like onto the RAM 204 and executes processing.
  • Each functional unit included in the generation device 10 is realized by reading one or more programs stored in the ROM 205, the auxiliary storage device 208, or the like onto the RAM 204 and causing the processor 206 to execute the processing.
  • the communication I/F 207 is an interface for connecting the generation device 10 to a communication network.
  • One or more programs that realize the respective functional units of the generation device 10 may be acquired (downloaded) from a predetermined server or the like via the communication I/F 207.
  • the auxiliary storage device 208 is, for example, a HDD (Hard Disk Drive) or SSD (Solid State Drive), and is a non-volatile storage device that stores programs and data.
  • the programs and data stored in the auxiliary storage device 208 include, for example, an OS, an application program that realizes various functions on the OS, one or more programs that realize each functional unit of the generation device 10, and a generation model. There are parameters etc.
  • the generation device 10 according to the embodiment of the present invention can realize an answer/question generation process and a learning process described later by having the hardware configuration shown in FIG.
  • the generation device 10 according to the embodiment of the present invention is realized by one device (computer), but the present invention is not limited to this.
  • the generation device 10 in the embodiment of the present invention may be realized by a plurality of devices (computers). Further, one device (computer) may include a plurality of processors 206 and a plurality of memories (RAM 204, ROM 205, auxiliary storage device 208, etc.).
  • FIG. 4 is a flowchart showing an example of the answer and question generation processing according to the embodiment of the present invention.
  • the generation processing unit 140 uses the parameters of the learned generation model.
  • Step S101 The dividing unit 110 divides the input document into one or more sentences (passages).
  • the document is input to the generation device 10.
  • the above step S101 may not be performed.
  • the generation device 10 may not have the division unit 110.
  • the subsequent steps S102 to S107 are repeatedly executed for each passage obtained by the division in step S101.
  • Step S102 Next, the text processing unit 120 converts the passage into a word sequence expressed in a word-divided format.
  • Step S103 Next, the feature extraction unit 130 extracts feature information from the passage.
  • step S102 may be executed after step S103 is executed, or step S102 and step S103 may be executed in parallel.
  • the above step S103 is not performed. Good.
  • Step S104 Next, the distributed expression conversion layer 141 of the generation processing unit 140 converts the word sequence obtained in the above step S102 into a word vector set.
  • Step S105 Next, the distributed representation conversion layer 141 of the generation processing unit 140 converts the feature information obtained in the above step S103 into a feature vector set.
  • step S104 may be executed after step S105 is executed, or step S104 and step S105 may be executed in parallel. Further, when the feature information is not taken into consideration when the word vector set is encoded into the vector series H in step S106 described later, the above step S105 may not be performed.
  • Step S106 Next, the information encoding layer 142 of the generation processing unit 140 encodes the word vector set obtained in the above step S104 into a vector series H. At this time, the information encoding layer 142 may incorporate and encode the feature vector set.
  • Step S107 The answer extraction layer 143 of the generation processing unit 140 extracts the start point and the end point of each of N answer ranges by using the vector series H obtained in the above step S106.
  • Step S108 The question generation layer 144 of the generation processing unit 140 generates an answer for each of the N answer ranges obtained in step S107.
  • Step S109 The answer/question output unit 150 outputs N answers represented by each of the N answer ranges obtained in the above step S107, and a question corresponding to each of these N answers.
  • the output destination of the answer/question output unit 150 may be any output destination.
  • the answer/question output unit 150 may output the N answers and questions to the auxiliary storage device 208, the recording medium 203a, or the like and store them, or may output them to the display device 202 to display them. Alternatively, it may be output to another device or the like connected via a communication network.
  • FIG. 5 is a flowchart showing an example of the learning process in the embodiment of the present invention.
  • the generation processing unit 140 uses the parameters of the generation model that has not been learned.
  • Steps S201 to S205 are the same as steps S102 to S106 of the answer and question generation process, and therefore the description thereof will be omitted.
  • Step S206 The answer extraction layer 143 of the generation processing unit 140 extracts the start point and the end point of each of N answer ranges (estimated answer range) using the vector series H obtained in Step S205.
  • Step S207 Next, the question generation layer 144 of the generation processing unit 140 generates an estimated question for the input correct answer range (or the estimated answer range obtained in the above step S206).
  • Step S208 The parameter updating unit 160 updates the parameters of the untrained generative model using the error between the correct answer range and the estimated answer range and the error between the estimated question and the correct answer question. As a result, the parameters of the generative model are updated.
  • the generation model is learned by repeatedly executing the parameter update for each learning corpus of machine reading comprehension.
  • FIG. 6 is a diagram for explaining an example of answers and questions.
  • the document 1000 shown in FIG. 6 When the document 1000 shown in FIG. 6 is input to the generation device 10, it is divided into a passage 1100 and a passage 1200 in step S101 of FIG. Then, by executing steps S103 to S107 of FIG. 4 for each of the passage 1100 and the passage 1200, the answer range 1110 and the answer range 1120 are extracted for the passage 1100, and the answer for the passage 1200 is obtained. The range 1210 and the answer range 1220 are extracted.
  • a question 1111 corresponding to the answer represented by the answer range 1110 and a question 1121 corresponding to the answer represented by the answer range 1120 are generated for the passage 1100.
  • a question 1211 corresponding to the answer represented by the answer range 1210 and a question 1221 corresponding to the answer represented by the answer range 1220 are generated.
  • the character string ““interruption certificate”” included in the question 1221 in the example shown in FIG. 6 is not the “interruption certificate” in the response range 1220 of the passage 1200, but the “...insurance of the passage 1200. You can issue a "suspension certificate” upon request from the contractor. ... is a copy of the ""interruption certificate”".
  • the generation device 10 extracts the answer range from each passage and can appropriately generate the question corresponding to the answer represented by this answer range.
  • FIG. 7 is a diagram showing a modification of the functional configuration (at the time of generating an answer and a question) of the generating device 10 according to the embodiment of the present invention.
  • the generation processing unit 140 of the generation device 10 may not include the response extraction layer 143.
  • the question generation layer 144 of the generation processing unit 140 generates a question from the input answer range. Even when the answer range is input to the generation device 10, it is possible to perform mask processing when the question is generated in the question generation layer 144.
  • the answer/question output unit 150 also outputs the answer represented by the input answer range and the question corresponding to this answer.
  • the parameters of the generation model are updated so as to minimize only the error between the correct question and the estimated question during learning. Good.
  • the generation device 10 uses a learning corpus composed of three sets of a question, a passage, and an answer range as training data, and instead of learning a generation model, a keyword set representing a question. , It is also possible to learn the generative model using the passage and the answer range as training data. This makes it possible to generate a keyword set representing a question (in other words, a set of keywords likely to be used in a question) instead of a question when generating an answer and a question.
  • a process such as preprocessing of the search engine may be performed to delete an inappropriate word or the like as a search keyword from the natural sentence.
  • the present invention when the present invention is applied to a system that presents answers to a user's question using a search engine, it is better to prepare a question and answer pair according to the form of the query actually used for the search. , It is possible to present a more appropriate answer to the user's question. That is, in such a case, it is possible to present a more appropriate answer by generating a set of keywords likely to be used in the question, rather than by generating a question (sentence).
  • the generation device 10 that generates the keyword set representing the question, which is the keyword set of. As a result, for example, it becomes possible to eliminate words that become noises in the search in advance.
  • a keyword set that represents a question is generated instead of a question sentence, it is possible to avoid a situation in which, for example, when a question sentence is generated, a word filling between keywords is erroneously generated. Become.
  • a keyword set representing a question to be used as training data can be created, for example, by performing a morphological analysis or the like on a question included in the learning corpus to extract only content words, filtering by part of speech, and the like. is there.
  • the generation device 10 receives a document (or a passage) including one or more passages as an input, and relates to the response and this response without designating the response range in the passage. Questions and can be generated. Therefore, according to the generation device 10 in the embodiment of the present invention, it becomes possible to automatically generate a large number of questions and their answers by giving only a document (or passage). Therefore, for example, it becomes possible to automatically create a FAQ or easily realize a question-answer chatbot.
  • FAQ is a “frequently asked questions” about products and services, but conventionally it was necessary to create it manually.
  • a document including an answer range is set as an answer (A)
  • an automatically generated question sentence is set as a question (Q). Can be created in large quantities and easily.
  • the scenario method is an operation method close to an FAQ search (for example, see Japanese Patent Laid-Open No. 2017-201478) by preparing a large number of QA pairs. Therefore, for example, by inputting a product manual or a profile document of a chatbot character into the generation device 10, a large number of QA pairs of a question (Q) and an answer (A) answered by the chatbot can be created. It is possible to realize a chatbot that can answer a wide range of questions while reducing the cost of creating the chatbot.
  • the generation device 10 when generating the word included in the question, the word is prevented from being copied from the answer range. Therefore, it is possible to prevent the generation of a question that can be answered with YES/NO, and for example, it is possible to generate a question/answer pair suitable for a FAQ or a chatbot. Therefore, by using the generation device 10 according to the embodiment of the present invention, it is not necessary to correct or maintain the generated question and answer pair, and the cost required for the correction or maintenance can be reduced. ..
  • a specific layer for example, the information encoding layer 142 is provided between the neural network including the answer extraction layer 143 and the neural network including the question generation layer 144. Etc.) may be shared.
  • generation device 110 division unit 120 text processing unit 130 feature extraction unit 140 generation processing unit 141 distributed expression conversion layer 142 information encoding layer 143 answer extraction layer 144 question generation layer 150 answer/question output unit 160 parameter update unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

文書を入力として、予め学習済みの機械学習モデルを用いて、前記文書中で回答となる範囲に対する質問表現を生成する生成手段を有し、前記生成手段は、前記質問表現を構成する単語を前記文書中からコピーして生成する際に、前記範囲に含まれる単語がコピーされる確率を調整する、ことを特徴とする。

Description

生成装置、学習装置、生成方法及びプログラム
　本発明は、生成装置、学習装置、生成方法及びプログラムに関する。
　質問生成は、自然言語で記述された文章（パッセージ）が与えられた場合に、そのパッセージに関する質問（質問文）を自動生成するタスクである。
　近年では、パッセージ中から切り出した一部分を回答として質問生成モデルに与えることで、回答部分のみに着目した質問生成を行う技術が提案されている（例えば非特許文献１参照）。このような技術では、例えば「ＮＴＴは２０１８年１１月２９日に東京都武蔵野市でＲ＆Ｄフォーラム２０１８を開催しました。」というパッセージを用いて、このパッセージから切り出した「ＮＴＴ」を回答として質問生成モデルに与えた場合、「Ｒ＆Ｄフォーラムを開催した会社は？」等といった会社名を問う質問が生成される。同様に、例えば「２０１８年１１月２９日」を回答として質問生成モデルに与えた場合、「ＮＴＴがＲ＆Ｄフォーラム２０１８を開催したのはいつ？」等といった時期を問う質問が生成される。
　しかしながら、従来の質問生成では、パッセージ中で回答として質問生成モデルに与えられた範囲（すなわち、パッセージ中から切り出された回答部分の範囲）の単語等をそのまま使用した質問が生成される場合があった。このため、例えば、質問生成タスクの応用先であるチャットボットやＦＡＱ検索等では利用されにくい、ＹＥＳ／ＮＯで回答可能な質問が生成されてしまう場合があった。
　本発明は、上記の点に鑑みてなされたもので、回答に関する質問を生成する際に、パッセージ中の回答範囲に含まれる単語の使用を防止することを目的とする。
　上記目的を達成するため、本発明の実施の形態における生成装置は、文書を入力として、予め学習済みの機械学習モデルを用いて、前記文書中で回答となる範囲に対する質問表現を生成する生成手段を有し、前記生成手段は、前記質問表現を構成する単語を前記文書中からコピーして生成する際に、前記範囲に含まれる単語がコピーされる確率を調整する、ことを特徴とする。
　回答に関する質問を生成する際に、パッセージ中の回答範囲に含まれる単語の使用を防止することができる。
本発明の実施の形態における生成装置の機能構成（回答及び質問生成時）の一例を示す図である。 本発明の実施の形態における生成装置の機能構成（学習時）の一例を示す図である。 本発明の実施の形態における生成装置のハードウェア構成の一例を示す図である。 本発明の実施の形態における回答及び質問生成処理の一例を示すフローチャートである。 本発明の実施の形態における学習処理の一例を示すフローチャートである。 回答及び質問の一例を説明するための図である。 本発明の実施の形態における生成装置の機能構成（回答及び質問生成時）の変形例を示す図である。
　以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。以降の本発明の実施の形態では、パッセージを入力として、パッセージ中で回答となる可能性のある範囲と、その回答に関する質問とを同時に生成する質問生成モデル（以降、単に「生成モデル」とも表す。）を用いた生成装置１０について説明する。本発明の実施の形態では、質問回答に用いられる手法である機械読解のモデルとデータセットとを活用することで、パッセージ中で回答となる可能性がある範囲（回答範囲）を複数抽出した上で、これらの回答範囲が回答となるような質問を生成する。これにより、回答に関する質問を生成する際に、パッセージ中で回答部分となる範囲の指定を不要とすることができる。なお、これに対して、従来技術では、回答に関する質問を生成する際に、パッセージ中で回答部分となる範囲を指定する必要がある。
　なお、本発明の実施の形態では、生成モデルは、ニューラルネットワークを用いた機械学習モデルであるものとする。ただし、生成モデルには、複数のニューラルネットワークが用いられてもよい。また、生成モデルの一部又は全部に、ニューラルネットワーク以外の機械学習モデルが用いられていてもよい。
　ここで、従来の質問生成では、パッセージの内容に基づく質問を生成するため、質問を構成する単語等をパッセージ中からそのまま使用（コピー）している。このため、例えば、与えられた回答に対応する範囲に含まれる単語等をパッセージ中からそのまま使用した質問が生成される場合がある。例えば、回答範囲「２０１８月１１月２９日」に対して、「ＮＴＴがＲ＆Ｄフォーラム２０１８を開催したのは２０１８年１１月２９日？」等というＹＥＳ／ＮＯで回答可能な質問が生成される場合がある。このようなＹＥＳ／ＮＯで回答可能な質問は、例えば、質問生成タスクの応用先であるチャットボットやＦＡＱ検索等では利用されにくい質問であるため、ＹＥＳ／ＮＯで回答可能な質問は生成されないようにすることが好ましい。
　そこで、本発明の実施の形態では、パッセージ中の単語等をコピーして質問を生成する際に、回答範囲からのコピーを抑止する仕組みを生成モデルに導入する。より具体的には、パッセージ中の単語等をコピーして質問を生成する際に、回答範囲から単語等がコピーされる確率が低くなるように調整（確率が０となるように調整することも含む）する。これにより、回答範囲以外の部分からコピーされた単語等で質問が生成され、ＹＥＳ／ＮＯで回答可能な質問の生成を防止することができる。
　＜生成装置１０の機能構成＞
　本発明の実施の形態では、学習済みの生成モデルを用いて回答及び質問を生成する段階（回答及び質問生成時）と、この生成モデルを学習する段階（学習時）とが存在する。
　　≪回答及び質問生成時≫
　まず、回答及び質問生成時における生成装置１０の機能構成について、図１を参照しながら説明する。図１は、本発明の実施の形態における生成装置１０の機能構成（回答及び質問生成時）の一例を示す図である。
　図１に示すように、回答及び質問生成時における生成装置１０は、機能部として、分割部１１０と、テキスト処理部１２０と、素性抽出部１３０と、生成処理部１４０と、回答・質問出力部１５０とを有する。本発明の実施の形態では、回答及び質問生成時には、自然文で記述された文書（例えば、マニュアル等）が生成装置１０に入力されるものとする。なお、この文書は、例えば、生成装置１０又は他の装置に入力された音声を音声認識した結果として得られた文書であってもよい。
　分割部１１０は、入力された文書を１以上の文章（パッセージ）に分割する。ここで、入力された文書が長文である場合等には文書全体を生成モデルで処理することは難しい。そこで、分割部１１０は、入力された文書を、生成モデルで処理可能な長さのパッセージ（例えば、数百～数千語程度の長さのパッセージ）に分割する。なお、分割部１１０によって分割された文書は、「部分文書」等と称されてもよい。
　入力された文書を１以上のパッセージに分割する方法としては、任意の方法を用いることができる。例えば、文書の各段落をそれぞれパッセージに分割してもよいし、文書がＨＴＭＬ（HyperText Markup Language）形式等の構造化部署である場合にはタグ等のメタ情報を用いてパッセージに分割してもよい。また、例えば、１つのパッセージ中に含まれる文字数等を規定した分割ルールをユーザが独自に作成した上で、これらの分割ルールを用いてパッセージに分割してもよい。
　以降のテキスト処理部１２０、素性抽出部１３０、生成処理部１４０及び回答・質問出力部１５０は、パッセージ単位で処理を実行する。したがって、分割部１１０によって文書が複数のパッセージに分割された場合、素性抽出部１３０、生成処理部１４０及び回答・質問出力部１５０は、パッセージ毎に繰り返し処理を実行する。
　テキスト処理部１２０は、生成モデルに入力可能な形式にパッセージを変換する。後述する分散表現変換層１４１では単語単位で分散表現に変換するため、テキスト処理部１２０は、パッセージを単語単位に分割した形式（例えば、単語単位に半角スペースで区切った形式等）で表現される単語系列に変換する。ここで、パッセージを単語系列に変換する際の変換形式としては、後述する分散表現変換層１４１で分散表現に変換可能な形式であれば任意の形式を用いることができる。例えば、パッセージが英語である場合には、半角スペース区切りの単語をそのまま用いて単語系列にすることもできるし、単語をサブワードに分割した形式を単語系列とすることもできる。また、例えば、パッセージが日本語である場合には、パッセージを形態素解析した上で、その結果得られる形態素を単語として、これら単語を半角スペースで区切って単語系列としてもよい。なお、形態素解析器については、任意の解析器を用いることができる。
　素性抽出部１３０は、回答及び質問の生成に有効な情報を素性情報としてパッセージから抽出する。この素性情報についても、後述する分散表現変換層１４１で分散表現に変換可能であれば任意の素性情報を用いることができる。例えば、上記の非特許文献１と同様に単語や文の参照関係を素性情報としてもよいし、パッセージから抽出した固有表現を素性情報としてもよい。なお、素性情報は、単に「素性」と称されたり、「特徴」又は「特徴量」等と称されたりしてもよい。また、素性情報をパッセージから抽出する場合に限られず、例えば、通信ネットワークを介して接続される他の装置等の外部から素性情報が取得されてもよい。
　固有表現とは、パッセージ中の固有の表現（例えば、固有名詞等）を抽出した上で、カテゴリラベルを付与したものである。例えば、固有名詞「ＮＴＴ」であればラベル「会社」を付与したものが固有表現となり、年月日「２０１８年１１月２９日」であればラベル「日時」を付与したものが固有表現となる。これらの固有表現は、生成モデルにより生成される質問のタイプを特定するために有用な情報となる。例えば、回答範囲の単語等に対してラベル「日時」が付与されていれば、「～はいつ？」等といった日時や時期を問うタイプの質問を生成すればよいと特定することが可能となる。また、例えば、回答範囲の単語等に対してラベル「会社」が付与されていれば、「～した会社は？」等といった会社名を問うタイプの質問を生成すればよいと特定することが可能となる。なお、質問のタイプとしては、これら以外にも、カテゴリラベルに応じて様々なタイプがある。
　生成処理部１４０は、ニューラルネットワークを用いた生成モデルによって実現される。生成処理部１４０は、学習済み生成モデルのパラメータを用いて、パッセージ中で回答となる可能性のある範囲（回答範囲）を複数抽出し、これらの回答範囲が回答となるような質問を生成する。ここで、生成処理部１４０（つまり、ニューラルネットワークを用いた生成モデル）には、分散表現変換層１４１と、情報エンコード層１４２と、回答抽出層１４３と、質問生成層１４４とが含まれる。なお、これら各層は、ニューラルネットワークを用いた生成モデルを機能的に分割した場合に各機能をそれぞれ実現する層（レイヤー）のことであり、「層」の代わりに「部」と称されてもよい。
　分散表現変換層１４１は、テキスト処理部１２０により変換された単語系列と、素性抽出部１３０により抽出された素性情報とを、生成モデルで扱うための分散表現に変換する。
　ここで、分散表現変換層１４１は、まず、単語系列を構成する各単語と、各素性情報とをｏｎｅ―ｈｏｔベクトルに変換する。例えば、生成モデルで使用する全語彙数をＶとして、テキスト処理部１２０は、各単語を、当該単語に対応する要素のみを１、それ以外の要素を０とするＶ次元のベクトルにそれぞれ変換する。同様に、例えば、生成モデルで使用する素性情報の種類数をＦとして、テキスト処理部１２０は、各素性情報を、当該素性情報に対応する要素のみを１、それ以外の要素を０とするＦ次元のベクトルにそれぞれ変換する。
　次に、分散表現変換層１４１は、変換行列Ｍｗ∈ＲＶ×ｄを用いて、各単語のｏｎｅ―ｈｏｔベクトルを、ｄ次元の実数値ベクトル（以降では、この実数値ベクトルを「単語ベクトル」とも表す。）に変換する。なお、Ｒは実数全体の集合を表す。
　同様に、分散表現変換層１４１は、変換行列Ｍｆ∈ＲＦ×ｄ´を用いて、各素性情報のｏｎｅ―ｈｏｔベクトルを、ｄ´次元の実数値ベクトル（以降では、この実数値ベクトルを「素性ベクトル」とも表す。）に変換する。
　なお、上記の変換行列Ｍｗ及びＭｆは、学習対象のパラメータとして生成モデルの学習時に学習されてもよいし、学習済みのＷｏｒｄ２Ｖｅｃ等の既存の分散表現モデルが用いられてもよい。
　情報エンコード層１４２は、分散表現変換層１４１で得られた単語ベクトルの集合を用いて、これらの単語ベクトルを、単語間の相互関係を考慮したベクトル系列Ｈ∈Ｒｄ×Ｔにエンコードする。ここで、Ｔは、単語ベクトルの系列長（すなわち、単語ベクトル集合の要素数）を表す。
　なお、単語ベクトル集合のエンコード手法は、上記のベクトル系列Ｈが得られる手法であれば任意の手法を用いることができる。例えば、リカレントニューラルネットワークを用いてベクトル系列Ｈにエンコードしてもよいし、セルフアテンション（自己注意機構：Self-Attention）を用いた手法によってベクトル系列Ｈにエンコードしてもよい。
　ここで、情報エンコード層１４２は、単語ベクトルの集合をエンコードすると同時に、分散表現変換層１４１で得られた素性ベクトルの集合も組み込んだエンコードをすることもできる。なお、素性ベクトル集合も組み込んだエンコード手法は、任意の手法を用いることができる。例えば、素性ベクトルの系列長（すなわち、素性ベクトル集合の要素数）が単語ベクトルの系列長Ｔと一致する場合、単語ベクトルと素性ベクトルとをそれぞれ結合させたベクトル（ｄ＋ｄ´次元のベクトル）を情報エンコード層１４２の入力とすることで、素性情報も考慮したベクトル系列Ｈ∈Ｒ（ｄ＋ｄ´）×Ｔを得てもよいし、単語ベクトルの集合と素性ベクトルの集合とをそれぞれ同一又は異なるエンコード層でエンコードしてベクトル系列Ｈ１及びＨ２を得た後、ベクトル系列Ｈ１を構成する各ベクトルとベクトル系列Ｈ２を構成する各ベクトルとをそれぞれ結合することで、素性情報も考慮したベクトル系列Ｈを得てもよい。又は、例えば、全結合層等のニューラルネットワークの層を利用して、素性情報も考慮したベクトル系列Ｈを得てもよい。
　なお、情報エンコード層１４２は、素性ベクトル集合を組み込んだエンコードしてもよいし、素性ベクトル集合を組み込まないエンコードをしてもよい。情報エンコード層１４２で素性ベクトル集合を組み込まないエンコードをする場合は、生成装置１０は、素性抽出部１３０を有していなくてもよい（この場合、分散表現変換層１４１には素性情報が入力されないため、素性ベクトルは作成されない。）。
　なお、以降では、情報エンコード層１４２で得られたベクトル系列Ｈを、Ｈ∈Ｒｕ×Ｔとする。ここで、ｕは、素性ベクトル集合を組み込んだエンコードを行っていない場合はｕ＝ｄであり、素性ベクトル集合も組み込んだエンコードを行った場合はｕ＝ｄ＋ｄ´である。
　回答抽出層１４３は、情報エンコード層１４２で得られたベクトル系列Ｈ∈Ｒｕ×Ｔを用いて、パッセージ中から回答となる記述の始点と終点とを抽出する。始点と終点とが抽出されることで、この始点から終点までの範囲が回答範囲となる。
　始点に関しては、ベクトル系列Ｈを重みＷ０∈Ｒ１×ｕにより線形変換して、始点ベクトルＯｓｔａｒｔ∈ＲＴを作成する。そして、始点ベクトルＯｓｔａｒｔに対して系列長Ｔでｓｏｆｔｍａｘ関数を適用して確率分布Ｐｓｔａｒｔに変換した上で、始点ベクトルＯｓｔａｒｔの各要素のうち、最も確率が高いｓ番目（０≦ｓ＜Ｔ）の要素を始点とする。
　一方で、終点に関しては、まず、始点ベクトルＯｓｔａｒｔとベクトル系列Ｈとをリカレントニューラルネットワークに入力して、新しいモデリングベクトルＭ´∈Ｒｕ×Ｔを作成する。次に、このモデリングベクトルＭ´を重みＷ０により線形変換して、終点ベクトルＯｅｎｄ∈ＲＴを作成する。そして、終点ベクトルＯｅｎｄに対して系列長Ｔでｓｏｆｔｍａｘ関数を適用して確率分布Ｐｅｎｄに変換した上で、終点ベクトルＯｅｎｄの各要素のうち、最も確率が高いｅ番目（０≦ｅ＜Ｔ）の要素を終点とする。これにより、パッセージ中のｓ番目の単語からｅ番目の単語までの区間が回答範囲となる。
　ここで、Ｎ個の回答範囲を得るには、上記のＰｓｔａｒｔ及びＰｅｎｄを用いて、以下の（１－１）及び（１－２）によりＮ個の始点及び終点を抽出すればよい。なお、Ｎはユーザ等により設定されるハイパーパラメータである。
　（１－１）　系列長をＴ、始点をｉ、終点をｊとして、０≦ｉ＜Ｔ、かつ、ｉ≦ｊ＜Ｔとなる任意の（ｉ，ｊ）に対して、Ｐ（ｉ，ｊ）＝Ｐｓｔａｒｔ（ｉ）×Ｐｅｎｄ（ｊ）を計算する。
　（１－２）　Ｐ（ｉ，ｊ）の上位Ｎ個の（ｉ，ｊ）を抽出する。
　これにより、Ｎ個の回答範囲が得られる。これら各回答範囲は質問生成層１４４に入力される。なお、回答抽出層１４３は、Ｎ個の回答範囲を出力してもよいし、Ｎ個の回答範囲にそれぞれ対応する文（つまり、パッセージ中で回答範囲に含まれる単語等で構成される文（回答文））を回答として出力してもよい。
　ここで、本発明の実施の形態では、Ｎ個の回答範囲を得る際に、各回答範囲の少なくとも一部が重複しないようにする。例えば、１番目の回答範囲が（ｉ１，ｊ１）であり、２番目の回答範囲が（ｉ２，ｊ２）である場合、２番目の回答範囲は、「ｉ２＜ｉ１かつｊ２＜ｉ１」又は「ｉ２＞ｊ１かつｊ２＞ｊ１」のいずれかの条件を満たす必要がある。他の回答範囲と少なくとも一部が重複する回答範囲は抽出されない。
　質問生成層１４４は、回答範囲と、ベクトル系列Ｈとを入力として、質問を構成する単語系列を生成する。単語系列の生成には、例えば以下の参考文献１に記載されているエンコーダ・デコーダモデルで用いられるリカレントニューラルネットワークをベースとしたものを使用する。
　［参考文献１］
　Ilya Sutskever, Oriol Vinyals, Quoc V. Le, "Sequence to Sequence Learning with Neural Networks", NIPS2014
　ここで、単語の生成には、リカレントニューラルネットワークが出力する単語の生成確率ｐｇと、パッセージ中の単語をコピーして使用する確率ｐｃの重み付き和で決定する。すなわち、単語の生成確率ｐは、以下の式（１）で表される。
　ｐ＝λｐｇ＋（１－λ）ｐｃ　・・・（１）
　ここで、λは生成モデルのパラメータである。コピー確率ｐｃは、以下の参考文献２に記載されているpointer-generator-networkと同様に、アテンション（注意機構：Attention）による重み値によって計算する。
　［参考文献２］
　Abigail See, Peter J. Liu, Christopher D. Manning, "Get To The Point: Summarization with Pointer-Generator Networks", ACL2018
　すなわち、生成する質問を構成するｓ番目の単語をｗｓとして、この単語ｗｓを生成するときに、パッセージ中のｔ番目の単語ｗｔがコピーされる確率を以下の式（２）で計算する。
Figure JPOXMLDOC01-appb-M000001
 　ここで、Ｈｔはベクトル系列Ｈのｔ番目のベクトル、ｈｓはデコーダのｓ番目の状態ベクトルを表す。また、ｓｃｏｒｅ（・）は、アテンションの重み値を決定するためにスカラー値を出力する関数であり、任意の関数が用いられてよい。なお、パッセージ中に含まれない単語のコピー確率は０となる。
　ところで、単語ｗｔが回答範囲に含まれる単語である場合には、上記の式（２）により、回答範囲に含まれる単語ｗｔがコピーされる確率ｐｃが計算されることになる。上述したように、質問を構成する単語を生成する際に、回答範囲に含まれる単語からはコピーされないようにすることが好ましい。そこで、本発明の実施の形態では、単語ｗｔが回答範囲に含まれる場合は、ｐｃ（ｗｔ）を０とする。例えば、単語ｗｔが回答範囲に含まれる場合は、上記の式（２）のｓｃｏｒｅ（Ｈｔ，ｈｓ）に負の無限大（又は、例えば－１０の３０乗等の極めて小さい値）を設定する。上記の式（２）はｓｏｆｔｍａｘ関数であるため、負の無限大が設定された場合の確率は０（極めて小さい値が設定された場合は極めて小さい確率）となり、回答範囲からの単語ｗｔがコピーされることを防止（又は抑止）することができる。
　なお、パッセージ中の単語ｗｔがコピーされないようにする処理のことを「マスク処理」とも表す。回答範囲に含まれる単語ｗｔがコピーされないようにする場合、回答範囲に対してマスク処理を施したことを意味する。
　ここで、マスク処理を行う範囲は、回答範囲だけに限られず、例えばパッセージの性質等に応じてユーザ等によって自由に設定されてもよい。例えば、パッセージ中で、回答範囲内の文字列と一致する全ての文字列部分（つまり、パッセージ中で、回答範囲と同一の文字列が含まれる部分）にマスク処理を施してもよい。
　回答・質問出力部１５０は、生成処理部１４０により抽出された回答範囲が表す回答（つまり、パッセージ中の回答範囲に含まれる単語等で構成される回答文）と、この回答に対応する質問とを出力する。なお、回答に対応する質問とは、当該回答により表される回答範囲を質問生成層１４４に入力することで生成された質問のことである。
　　≪学習時≫
　次に、学習時における生成装置１０の機能構成について、図２を参照しながら説明する。図２は、本発明の実施の形態における生成装置１０の機能構成（学習時）の一例を示す図である。
　図２に示すように、学習時における生成装置１０は、機能部として、テキスト処理部１２０と、素性抽出部１３０と、生成処理部１４０と、パラメータ更新部１６０とを有する。本発明の実施の形態では、学習時には、機械読解の学習コーパスが入力されるものとする。機械読解の学習コーパスは、質問と、パッセージと、回答範囲との３つの組で構成されている。この学習コーパスを訓練データとして、生成モデルを学習する。なお、質問及びパッセージは自然文で記述されている。
　テキスト処理部１２０及び素性抽出部１３０の各機能は、回答及び質問生成時と同様であるため、その説明を省略する。また、生成処理部１４０の分散表現変換層１４１、情報エンコード層１４２及び回答抽出層１４３の各機能は、回答及び質問生成時と同様であるため、その説明を省略する。ただし、生成処理部１４０は、学習済みでない生成モデルのパラメータを用いて、各処理を実行する。
　生成処理部１４０の質問生成層１４４は、回答範囲と、ベクトル系列Ｈとを入力として、質問を構成する単語系列を生成するが、学習時では、回答範囲として、学習コーパスに含まれる回答範囲（以降、「正解回答範囲」とも表す。）を入力する。
　又は、学習の進み具合（例えば、エポック数等）に応じて、正解回答範囲と、回答抽出層１４３から出力された回答範囲（以降、「推定回答範囲」とも表す。）とのいずれかを入力してもよい。このとき、学習の初期の段階から推定回答範囲を入力とした場合、学習が収束しない可能性がある。このため、推定回答範囲を入力とする確率Ｐａをハイパーパラメータとして設定し、この確率Ｐａによって正解回答範囲又は推定回答範囲のいずれを入力とするかを決定する。確率Ｐａには、学習の初期の段階では比較的小さい値（例えば、０～０，０５等）となり、学習が進むにつれて徐々にその値が大きくなるような関数を設定する。このような関数は任意の計算方法で設定してよい。
　パラメータ更新部１６０は、正解回答範囲と推定回答範囲との誤差と、質問生成層１４４から出力された質問（以降、「推定質問」とも表す。）と学習コーパスに含まれる質問（以降、「正解質問」とも表す。）との誤差とを用いて、これらの誤差が最小となるように、既知の最適化手法によって学習済みでない生成モデルのパラメータを更新する。
　＜生成装置１０のハードウェア構成＞
　次に、本発明の実施の形態における生成装置１０のハードウェア構成について、図３を参照しながら説明する。図３は、本発明の実施の形態における生成装置１０のハードウェア構成の一例を示す図である。
　図３に示すように、本発明の実施の形態における生成装置１０は、ハードウェアとして、入力装置２０１と、表示装置２０２と、外部Ｉ／Ｆ２０３と、ＲＡＭ（Random Access Memory）２０４と、ＲＯＭ（Read Only Memory）２０５と、プロセッサ２０６と、通信Ｉ／Ｆ２０７と、補助記憶装置２０８とを有する。これら各ハードウェアは、それぞれがバスＢを介して通信可能に接続されている。
　入力装置２０１は、例えばキーボードやマウス、タッチパネル等であり、ユーザが各種操作を入力するのに用いられる。表示装置２０２は、例えばディスプレイ等であり、生成装置１０の処理結果（例えば、生成された回答及び質問等）を表示する。なお、生成装置１０は、入力装置２０１及び表示装置２０２の少なくとも一方を有していなくてもよい。
　外部Ｉ／Ｆ２０３は、記録媒体２０３ａ等の外部記録媒体とのインタフェースである。生成装置１０は、外部Ｉ／Ｆ２０３を介して、記録媒体２０３ａの読み取りや書き込み等を行うことができる。記録媒体２０３ａには、生成装置１０が有する各機能部（例えば、分割部１１０、テキスト処理部１２０、素性抽出部１３０、生成処理部１４０、回答・質問出力部１５０及びパラメータ更新部１６０等）を実現する１以上のプログラムや、生成モデルのパラメータ等が記録されていてもよい。
　記録媒体２０３ａには、例えば、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等がある。
　ＲＡＭ２０４は、プログラムやデータを一時保持する揮発性の半導体メモリである。ＲＯＭ２０５は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリである。ＲＯＭ２０５には、例えば、ＯＳ（Operating System）に関する設定情報や通信ネットワークに関する設定情報等が格納されている。
　プロセッサ２０６は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等であり、ＲＯＭ２０５や補助記憶装置２０８等からプログラムやデータをＲＡＭ２０４上に読み出して処理を実行する演算装置である。生成装置１０が有する各機能部は、ＲＯＭ２０５や補助記憶装置２０８等に格納されている１以上のプログラムをＲＡＭ２０４上に読み出してプロセッサ２０６が処理を実行することで実現される。
　通信Ｉ／Ｆ２０７は、生成装置１０を通信ネットワークに接続するためのインタフェースである。生成装置１０が有する各機能部を実現する１以上のプログラムは、通信Ｉ／Ｆ２０７を介して、所定のサーバ等から取得（ダウンロード）されてもよい。
　補助記憶装置２０８は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等であり、プログラムやデータを格納している不揮発性の記憶装置である。補助記憶装置２０８に格納されているプログラムやデータには、例えば、ＯＳ、当該ＯＳ上で各種機能を実現するアプリケーションプログラム、生成装置１０が有する各機能部を実現する１以上のプログラム、生成モデルのパラメータ等がある。
　本発明の実施の形態における生成装置１０は、図３に示すハードウェア構成を有することにより、後述する回答及び質問生成処理や学習処理を実現することができる。なお、図３に示す例では、本発明の実施の形態における生成装置１０が１台の装置（コンピュータ）で実現されている場合を示したが、これに限られない。本発明の実施の形態における生成装置１０は、複数台の装置（コンピュータ）で実現されていてもよい。また、１台の装置（コンピュータ）には、複数のプロセッサ２０６や複数のメモリ（ＲＡＭ２０４やＲＯＭ２０５、補助記憶装置２０８等）が含まれていてもよい。
　＜回答及び質問生成処理＞
　次に、本発明の実施の形態における生成装置１０により回答及び質問を生成する処理（回答及び質問生成処理）について、図４を参照しながら説明する。図４は、本発明の実施の形態における回答及び質問生成処理の一例を示すフローチャートである。なお、回答及び質問生成処理では、生成処理部１４０は、学習済み生成モデルのパラメータを用いる。
　ステップＳ１０１：分割部１１０は、入力された文書を１以上の文章（パッセージ）に分割する。
　なお、本発明の実施の形態では、文書が生成装置１０に入力されるものとしたが、例えば、パッセージが生成装置１０に入力される場合は、上記のステップＳ１０１は行われなくてもよい。この場合、生成装置１０は、分割部１１０を有していなくてもよい。
　以降のステップＳ１０２～ステップＳ１０７は、上記のステップＳ１０１での分割によって得られたパッセージ毎に繰り返し実行される。
　ステップＳ１０２：次に、テキスト処理部１２０は、パッセージを単語単位に分割した形式で表現される単語系列に変換する。
　ステップＳ１０３：次に、素性抽出部１３０は、パッセージから素性情報を抽出する。
　なお、上記のステップＳ１０２及びステップＳ１０３の実行順は順不同であり、ステップＳ１０３が実行された後にステップＳ１０２が実行されてもよいし、ステップＳ１０２とステップＳ１０３とが平行して実行されてもよい。また、後述するステップＳ１０６で単語ベクトル集合をベクトル系列Ｈにエンコードする際に、素性情報を考慮しない場合（すなわち、素性ベクトル集合をエンコードに組み込まない場合）は、上記のステップＳ１０３は行われなくてもよい。
　ステップＳ１０４：次に、生成処理部１４０の分散表現変換層１４１は、上記のステップＳ１０２で得られた単語系列を単語ベクトル集合に変換する。
　ステップＳ１０５：次に、生成処理部１４０の分散表現変換層１４１は、上記のステップＳ１０３で得られた素性情報を素性ベクトル集合に変換する。
　なお、上記のステップＳ１０４及びステップＳ１０５の実行順は順不同であり、ステップＳ１０５が実行された後にステップＳ１０４が実行されてもよいし、ステップＳ１０４とステップＳ１０５とが平行して実行されてもよい。また、後述するステップＳ１０６で単語ベクトル集合をベクトル系列Ｈにエンコードする際に、素性情報を考慮しない場合は、上記のステップＳ１０５は行われなくてもよい。
　ステップＳ１０６：次に、生成処理部１４０の情報エンコード層１４２は、上記のステップＳ１０４で得られた単語ベクトル集合をベクトル系列Ｈにエンコードする。このとき、情報エンコード層１４２は、素性ベクトル集合を組み込んでエンコードしてもよい。
　ステップＳ１０７：生成処理部１４０の回答抽出層１４３は、上記のステップＳ１０６で得られたベクトル系列Ｈを用いて、Ｎ個の回答範囲の始点及び終点をそれぞれ抽出する。
　ステップＳ１０８：生成処理部１４０の質問生成層１４４は、上記のステップＳ１０７で得られたＮ個の回答範囲のそれぞれに対して、回答を生成する。
　ステップＳ１０９：回答・質問出力部１５０は、上記のステップＳ１０７で得られたＮ個の回答範囲のそれぞれが表すＮ個の回答と、これらＮ個の回答のそれぞれに対応する質問とを出力する。なお、回答・質問出力部１５０の出力先は任意の出力先としてよい。例えば、回答・質問出力部１５０は、Ｎ個の回答及び質問を補助記憶装置２０８や記録媒体２０３ａ等に出力して保存してもよいし、表示装置２０２に出力して表示させてもよいし、通信ネットワークを介して接続される他の装置等に出力してもよいし。
　＜学習処理＞
　次に、本発明の実施の形態における生成装置１０が生成モデルを学習する処理（学習処理）について、図５を参照しながら説明する。図５は、本発明の実施の形態における学習処理の一例を示すフローチャートである。なお、学習処理では、生成処理部１４０は、学習済みでない生成モデルのパラメータを用いる。
　ステップＳ２０１～ステップＳ２０５は、回答及び質問生成処理のステップＳ１０２～ステップＳ１０６と同様であるため、その説明を省略する。
　ステップＳ２０６：生成処理部１４０の回答抽出層１４３は、ステップＳ２０５で得られたベクトル系列Ｈを用いて、Ｎ個の回答範囲（推定回答範囲）の始点及び終点をそれぞれ抽出する。
　ステップＳ２０７：次に、生成処理部１４０の質問生成層１４４は、入力された正解回答範囲（又は、上記のステップＳ２０６で得られた推定回答範囲）に対して、推定質問を生成する。
　ステップＳ２０８：パラメータ更新部１６０は、正解回答範囲及び推定回答範囲の誤差と、推定質問及び正解質問の誤差とを用いて、学習済みでない生成モデルのパラメータを更新する。これにより、生成モデルのパラメータが更新される。機械読解の各学習コーパスに対してパラメータ更新が繰り返し実行されることで、生成モデルが学習される。
　＜回答及び質問の生成結果＞
　ここで、回答及び質問生成処理を行って、回答及び質問を生成した結果について、図６を参照しながら説明する。図６は、回答及び質問の一例を説明するための図である。
　図６に示す文書１０００が生成装置１０に入力された場合、図４のステップＳ１０１ではパッセージ１１００とパッセージ１２００とに分割される。そして、パッセージ１１００及びパッセージ１２００のそれぞれに対して、図４のステップＳ１０３～ステップＳ１０７が実行されることで、パッセージ１１００に対して回答範囲１１１０及び回答範囲１１２０が抽出され、パッセージ１２００に対して回答範囲１２１０及び回答範囲１２２０が抽出される。
　そして、図４のステップＳ１０８が実行されることで、パッセージ１１００に対して、回答範囲１１１０が表す回答に対応する質問１１１１と、回答範囲１１２０が表す回答に対応する質問１１２１とが生成される。同様に、パッセージ１２００に対して、回答範囲１２１０が表す回答に対応する質問１２１１と、回答範囲１２２０が表す回答に対応する質問１２２１とが生成される。なお、図６に示す例における質問１２２１に含まれる『「中断証明書」』との文字列は、パッセージ１２００の回答範囲１２２０中の『中断証明書』ではなく、パッセージ１２００の『・・・保険契約者からの請求により「中断証明書」を発行することができます。・・・』の『「中断証明書」』がコピーされたものである。
　このように、本発明の実施の形態における生成装置１０では、各パッセージから回答範囲を抽出し、この回答範囲が表す回答に対応する質問が適切に生成できていることがわかる。
　＜変形例（その１）＞
　次に、変形例（その１）における生成装置１０の機能構成について、図７を参照しながら説明する。図７は、本発明の実施の形態における生成装置１０の機能構成（回答及び質問生成時）の変形例を示す図である。
　図７に示すように、回答範囲が生成装置１０に入力される場合、当該生成装置１０の生成処理部１４０には、回答抽出層１４３が含まれていなくてもよい。この場合、生成処理部１４０の質問生成層１４４は、入力された回答範囲から質問を生成する。なお、回答範囲が生成装置１０に入力される場合であっても、質問生成層１４４で質問を生成する際にマスク処理を施すことが可能である。
　また、回答・質問出力部１５０は、入力された回答範囲が表す回答と、この回答に対応する質問とを出力する。
　なお、変形例（その１）の場合、回答範囲が生成装置１０に入力されるため、学習時には、正解質問と推定質問との誤差のみを最小化するように、生成モデルのパラメータが更新されればよい。
　＜変形例（その２）＞
　次に、変形例（その２）について説明する。本発明の実施の形態における生成装置１０は、質問と、パッセージと、回答範囲との３つの組で構成されている学習コーパスを訓練データとして生成モデルを学習する代わりに、質問を表すキーワード集合と、パッセージと、回答範囲とを訓練データとして生成モデルを学習することも可能である。これにより、回答及び質問生成時において、質問の代わりに、質問を表すキーワード集合（言い換えれば、質問の際に用いられそうなキーワードの集合）を生成することが可能となる。
　ここで、一般的な検索エンジンを用いて質問の回答を探すための検索を行う際には、ユーザは、クエリとして自然文ではなく、キーワード集合を入力とする場合も多い。例えば、「Ｒ＆Ｄフォーラムを開催した会社は？」といった質問の回答を探す場合のクエリとしては、キーワード集合「Ｒ＆Ｄフォーラム　開催　会社」等を入力することが多い。
　又は、ユーザからクエリとして自然文を入力する場合であっても、検索エンジンの前処理等の中で自然文から、検索キーワードとして不適切な単語等を削除する処理が行われることもある。
　したがって、検索エンジンを用いてユーザの質問に対する回答を提示するシステムに本発明を適用するような場合は、検索に実際に用いられるクエリの形式に合せて質問と回答とのペアを用意した方が、ユーザの質問に対してより適切な回答を提示することが可能となる。つまり、このような場合は、質問（文）を生成するよりも、質問の際に使われそうなキーワードの集合を生成する方がより適切な回答を提示することが可能なる。
　そこで、上述したように、質問を表すキーワード集合と、パッセージと、回答範囲とを訓練データとして生成モデルを学習することで、（パッセージに含まれる）回答と、該回答を検索エンジンから検索するためのキーワード集合である、質問を表すキーワード集合とを生成する生成装置１０を実現することが可能となる。これにより、例えば、検索の際にノイズとなる単語を予め排除することが可能となる。また、質問文ではなく、質問を表すキーワード集合を生成するため、例えば、質問文を生成する際にキーワードとキーワードとの間を埋める単語が誤生成されてしまうといった事態を回避することも可能となる。
　なお、訓練データとする質問を表すキーワード集合は、例えば、学習コーパスに含まる質問に対して、形態素解析等を行って内容語のみを取り出す、品詞でフィルタリングを行う、等の方法により作成可能である。
　＜まとめ＞
　以上のように、本発明の実施の形態における生成装置１０は、１つ以上のパッセージが含まれる文書（又はパッセージ）を入力として、パッセージ中の回答範囲を指定することなく、回答とこの回答に関する質問とを生成することができる。このため、本発明の実施の形態における生成装置１０によれば、文書（又はパッセージ）のみを与えれば、大量の質問とその回答とを自動的に生成することが可能となる。したがって、例えば、ＦＡＱを自動的に作成したり、質問応答型のチャットボットを容易に実現したりすることが可能となる。
　ＦＡＱは商品やサービス等に関する「よくある質問集」であるが、従来はこれを人手で作成する必要があった。本発明の実施の形態における生成装置１０を用いることで、回答範囲が含まれている文書を回答（Ａ）、自動生成した質問文を質問（Ｑ）とすることで、ＦＡＱを構成するＱＡペアを大量かつ容易に作成することができる。
　また、質問応答型のチャットボットは、シナリオ方式という仕組みで動作しているものが多い。シナリオ方式では、ＱＡペアを大量に用意することによるＦＡＱ検索（例えば、特開２０１７－２０１４７８号公報を参照）に近い動作方式である。このため、例えば製品マニュアルやチャットボットキャラクチャのプロフィール文書等を生成装置１０に入力することで、質問（Ｑ）と、チャットボットが回答する回答（Ａ）とのＱＡペアを大量に作成することが可能となり、チャットボットの作成コストを削減させつつ幅広い質問に回答可能なチャットボットを実現することができるようになる。
　更に、上述したように、本発明の実施の形態における生成装置１０では、質問に含まれる単語を生成する際に、回答範囲から単語がコピーされることを防止している。このため、ＹＥＳ／ＮＯで回答可能な質問の生成を防止することが可能となり、例えば、ＦＡＱやチャットボットに相応しい質問及び回答のペアを生成することができる。したがって、本発明の実施の形態における生成装置１０を用いることで、例えば、生成された質問及び回答のペアの修正や整備が不要となり、修正や整備に要していたコストの削減も可能となる。
　なお、生成モデルを複数のニューラルネットワークを用いて構成する場合、例えば、回答抽出層１４３を有するニューラルネットワークと、質問生成層１４４を有するニューラルネットワークとの間で特定の層（例えば、情報エンコード層１４２等）を共有していてもよい。
　本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
　１０　　　　生成装置
　１１０　　　分割部
　１２０　　　テキスト処理部
　１３０　　　素性抽出部
　１４０　　　生成処理部
　１４１　　　分散表現変換層
　１４２　　　情報エンコード層
　１４３　　　回答抽出層
　１４４　　　質問生成層
　１５０　　　回答・質問出力部
　１６０　　　パラメータ更新部
 

Claims (7)

  1. 　文書を入力として、予め学習済みの機械学習モデルを用いて、前記文書中で回答となる範囲に対する質問表現を生成する生成手段を有し、
    　前記生成手段は、
    　前記質問表現を構成する単語を前記文書中からコピーして生成する際に、前記範囲に含まれる単語がコピーされる確率を調整する、ことを特徴とする生成装置。
  2. 　前記生成手段は、
    　前記範囲に含まれる単語がコピーされる確率を、０又は微小値に調整する、ことを特徴とする請求項１に記載の生成装置。
  3. 　前記生成手段は、
    　エンコーダ・デコーダモデルに用いられるニューラルネットワークが出力する単語の生成確率と、前記範囲に含まれる単語がコピーされる確率との重み付き和で表される確率により、前記質問表現を構成する各単語を生成する、ことを特徴とする請求項１又は２に記載の生成装置。
  4. 　前記質問表現は、質問文、又は、質問を表すキーワード集合である、ことを特徴とする請求項１乃至３の何れか一項に記載の生成装置。
  5. 　文書を入力として、機械学習モデルを用いて、前記文書中で回答となる範囲に対する質問表現を生成する生成手段と、
    　前記質問表現と、該質問表現に対する正解の質問表現との誤差を少なくとも用いて、前記機械学習モデルのパラメータを学習する学習手段と、
    　を有し、
    　前記生成手段は、
    　前記質問表現を構成する単語を前記文書中からコピーして生成する際に、前記範囲に含まれる単語がコピーされる確率を調整する、ことを特徴とする学習装置。
  6. 　文書を入力として、予め学習済みの機械学習モデルを用いて、前記文書中で回答となる範囲に対する質問表現を生成する生成手順、
    　をコンピュータが実行し、
    　前記生成手順は、
    　前記質問表現を構成する単語を前記文書中からコピーして生成する際に、前記範囲に含まれる単語がコピーされる確率を調整する、ことを特徴とする生成方法。
  7. 　コンピュータを、請求項１乃至４の何れか一項に記載の生成装置における各手段、又は、請求項５に記載の学習装置における各手段として機能させるためのプログラム。
     
PCT/JP2020/005318 2019-02-20 2020-02-12 生成装置、学習装置、生成方法及びプログラム WO2020170906A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/431,760 US20220138267A1 (en) 2019-02-20 2020-02-12 Generation apparatus, learning apparatus, generation method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-028504 2019-02-20
JP2019028504A JP7103264B2 (ja) 2019-02-20 2019-02-20 生成装置、学習装置、生成方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2020170906A1 true WO2020170906A1 (ja) 2020-08-27

Family

ID=72144681

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/005318 WO2020170906A1 (ja) 2019-02-20 2020-02-12 生成装置、学習装置、生成方法及びプログラム

Country Status (3)

Country Link
US (1) US20220138267A1 (ja)
JP (1) JP7103264B2 (ja)
WO (1) WO2020170906A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11557288B2 (en) * 2020-04-10 2023-01-17 International Business Machines Corporation Hindrance speech portion detection using time stamps
US20230095180A1 (en) * 2021-09-29 2023-03-30 International Business Machines Corporation Question answering information completion using machine reading comprehension-based process
WO2023152914A1 (ja) * 2022-02-10 2023-08-17 日本電信電話株式会社 埋め込み装置、埋め込み方法、および、埋め込みプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017102921A (ja) * 2015-12-02 2017-06-08 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 質問応答（ｑ＆ａ）データベースを拡張するためのシステム、方法、およびコンピュータ・プログラム（質問応答データベースの拡張）
JP2017201478A (ja) * 2016-05-06 2017-11-09 日本電信電話株式会社 キーワード評価装置、類似度評価装置、検索装置、評価方法、検索方法、及びプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010267200A (ja) 2009-05-18 2010-11-25 Nippon Telegr & Teleph Corp <Ntt> 合成翻訳モデル作成装置、テキストクラスタリング装置、それらの方法およびプログラム
DE102014212437A1 (de) * 2014-06-27 2016-01-14 Siemens Aktiengesellschaft System zur verbesserten Parallelisierung eines Programmcodes
JP6074820B2 (ja) 2015-01-23 2017-02-08 国立研究開発法人情報通信研究機構 アノテーション補助装置及びそのためのコンピュータプログラム
US9825875B2 (en) * 2015-03-31 2017-11-21 Alcatel Lucent Method and apparatus for provisioning resources using clustering
US9607616B2 (en) * 2015-08-17 2017-03-28 Mitsubishi Electric Research Laboratories, Inc. Method for using a multi-scale recurrent neural network with pretraining for spoken language understanding tasks
EP3371807B1 (en) * 2015-11-12 2023-01-04 Google LLC Generating target phoneme sequences from input speech sequences using partial conditioning
US10423685B2 (en) * 2016-09-09 2019-09-24 Robert Bosch Gmbh System and method for automatic question generation from knowledge base
JP6929539B2 (ja) 2016-10-07 2021-09-01 国立研究開発法人情報通信研究機構 ノン・ファクトイド型質問応答システム及び方法並びにそのためのコンピュータプログラム
CN106782504B (zh) * 2016-12-29 2019-01-22 百度在线网络技术（北京）有限公司 语音识别方法和装置
US20180225590A1 (en) * 2017-02-07 2018-08-09 International Business Machines Corporation Automatic ground truth seeder
US10410406B2 (en) * 2017-02-27 2019-09-10 Trimble Ab Enhanced three-dimensional point cloud rendering
US10762427B2 (en) * 2017-03-01 2020-09-01 Synaptics Incorporated Connectionist temporal classification using segmented labeled sequence data
CA3055379C (en) * 2017-03-10 2023-02-21 Eduworks Corporation Automated tool for question generation
KR102414583B1 (ko) * 2017-03-23 2022-06-29 삼성전자주식회사 머신 러닝을 수행하는 전자 장치 및 머신 러닝 수행 방법
WO2018195875A1 (en) * 2017-04-27 2018-11-01 Microsoft Technology Licensing, Llc Generating question-answer pairs for automated chatting
US10902738B2 (en) 2017-08-03 2021-01-26 Microsoft Technology Licensing, Llc Neural models for key phrase detection and question generation
US10418023B2 (en) * 2017-10-17 2019-09-17 International Business Machines Corporation Automatic answer rephrasing based on talking style
US20200050942A1 (en) * 2018-08-07 2020-02-13 Oracle International Corporation Deep learning model for cloud based technical support automation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017102921A (ja) * 2015-12-02 2017-06-08 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 質問応答（ｑ＆ａ）データベースを拡張するためのシステム、方法、およびコンピュータ・プログラム（質問応答データベースの拡張）
JP2017201478A (ja) * 2016-05-06 2017-11-09 日本電信電話株式会社 キーワード評価装置、類似度評価装置、検索装置、評価方法、検索方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SATO, SATO ET AL.: "Automatic generation of questions from product manual sentences", PROCEEDINGS OF THE 32ND NATIONAL CONFERENCE OF THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE. 2018, 8 June 2018 (2018-06-08), pages 1 - 4 *

Also Published As

Publication number Publication date
US20220138267A1 (en) 2022-05-05
JP7103264B2 (ja) 2022-07-20
JP2020135457A (ja) 2020-08-31

Similar Documents

Publication Publication Date Title
JP7087938B2 (ja) 質問生成装置、質問生成方法及びプログラム
WO2020170912A1 (ja) 生成装置、学習装置、生成方法及びプログラム
WO2020170906A1 (ja) 生成装置、学習装置、生成方法及びプログラム
JP5413622B2 (ja) 言語モデル作成装置、言語モデル作成方法、およびプログラム
JP7315065B2 (ja) 質問生成装置、質問生成方法及びプログラム
JP6772213B2 (ja) 質問応答装置、質問応答方法及びプログラム
US11669695B2 (en) Translation method, learning method, and non-transitory computer-readable storage medium for storing translation program to translate a named entity based on an attention score using neural network
CN110347802B (zh) 一种文本分析方法及装置
WO2020240709A1 (ja) 対話処理装置、学習装置、対話処理方法、学習方法及びプログラム
CN111930914A (zh) 问题生成方法和装置、电子设备以及计算机可读存储介质
JP7276498B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020170881A1 (ja) 質問応答装置、学習装置、質問応答方法及びプログラム
KR20200057824A (ko) 단어 교정 시스템
Park et al. Jejueo datasets for machine translation and speech synthesis
JP7327647B2 (ja) 発話生成装置、発話生成方法、プログラム
WO2021181569A1 (ja) 言語処理装置、学習装置、言語処理方法、学習方法、及びプログラム
WO2020250279A1 (ja) モデル学習装置、方法及びプログラム
JP7385900B2 (ja) 推論器、推論プログラムおよび学習方法
Mao et al. A neural joint model with BERT for Burmese syllable segmentation, word segmentation, and POS tagging
Sowmya Lakshmi et al. Automatic English to Kannada back-transliteration using combination-based approach
WO2014030258A1 (ja) 形態素解析装置、テキスト分析方法、及びそのプログラム
WO2023100291A1 (ja) 言語処理装置、言語処理方法、及びプログラム
Dapitilla Perin et al. EskayApp: An Eskaya-Latin Script OCR Transliteration e-Learning Android Application using Supervised Machine Learning
WO2023084761A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
Vijayanand et al. Named entity recognition and transliteration for Telugu language

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20759897

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20759897

Country of ref document: EP

Kind code of ref document: A1