WO2021176714A1 - 学習装置、情報処理装置、学習方法、情報処理方法及びプログラム - Google Patents

学習装置、情報処理装置、学習方法、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2021176714A1
WO2021176714A1 PCT/JP2020/009806 JP2020009806W WO2021176714A1 WO 2021176714 A1 WO2021176714 A1 WO 2021176714A1 JP 2020009806 W JP2020009806 W JP 2020009806W WO 2021176714 A1 WO2021176714 A1 WO 2021176714A1
Authority
WO
WIPO (PCT)
Prior art keywords
answer
learning
basis
question
text
Prior art date
Application number
PCT/JP2020/009806
Other languages
English (en)
French (fr)
Inventor
光甫 西田
京介 西田
いつみ 斉藤
久子 浅野
準二 富田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2020/009806 priority Critical patent/WO2021176714A1/ja
Priority to JP2022504937A priority patent/JP7452623B2/ja
Publication of WO2021176714A1 publication Critical patent/WO2021176714A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/908—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Definitions

  • the present invention relates to a learning device, an information processing device, a learning method, an information processing method, and a program.
  • Non-Patent Document 1 A machine reading model that presents the basis for an answer to this problem has been proposed.
  • One embodiment of the present invention has been made in view of the above points, and an object of the present invention is to realize a machine reading comprehension capable of presenting the basis of an answer.
  • the learning device uses the model parameter of the first neural network as input of the text and the question related to the text, and the character string included in the text is used.
  • a first set showing a set of character strings on which the answer is based is obtained by calculating a basis score representing the plausibility that is the basis of the answer to the question and sampling from a predetermined distribution having the basis score as a parameter.
  • Answer extraction means for extracting the answer from the first set by inputting the basis extraction means for extracting from the text, the question, and the first set, and using the model parameters of the second neural network.
  • the model parameters of the first neural network and the second by calculating the gradient by error backpropagation using the first loss and continuous relaxation between the answer and the true answer to the question. It is characterized by having a first learning means for learning the model parameters of the neural network of the above.
  • Machine reading is realized by a machine reading model composed of neural networks and the like.
  • a machine reading model that can present the basis of the answer can be interpreted, and is defined below.
  • the machine reading model is interpretable means that the machine reading model is composed of two models with the following inputs and outputs.
  • the basis is a set of sentences.
  • the basis is not limited to this, and the basis may be a set of character strings longer than the sentence (for example, paragraphs) or a set of character strings shorter than the sentence (for example, phrases). ..
  • the interpretable machine reading model only the character strings included in the basis among the character strings included in the reference text are input to the answer model. That is, information other than the basis (for example, the hidden state of the basis model) is not used in the response model. For this reason, (1) it is possible to present the rationale for the answer in a strict sense, and (2) the answer model has only the rationale and question information, so the reason for predicting the answer is short enough (that is, from the reference text). It can be limited to (the grounds that it is a sufficiently short character string), and (3) since the input of the answer model is shortened, there is an advantage that the answer model can tolerate high calculation cost processing. In addition, by learning by unsupervised learning, which will be described later, there is an advantage that it is possible to learn the grounds necessary for the machine reading comprehension model to answer with high accuracy instead of (4) manual annotation. ..
  • the present embodiment is at the time of learning to learn the parameters of the machine reading model (that is, the parameters of the basis model and the parameters of the answer model) and at the time of inference to perform machine reading by the machine reading model using the learned parameters.
  • the parameters of the machine reading model that is, the parameters of the basis model and the parameters of the answer model
  • the learning method will be explained. Therefore, the "inference time”, “learning (supervised learning) time”, and “learning (unsupervised learning) time” of the question answering device 10 will be described below.
  • FIG. 1 is a diagram showing an example of the overall configuration of the question answering device 10 at the time of inference.
  • the question answering device 10 at the time of inference includes a basis extraction processing unit 101 and an answer extraction processing unit 102 that realize a machine reading comprehension model, and parameters of the basis model (hereinafter, referred to as “foundation model parameters"). It has a basis model parameter storage unit 201 for storing the answer model, and an answer model parameter storage unit 202 for storing the parameters of the answer model (hereinafter, referred to as “answer model parameters”).
  • the rationale extraction processing unit 101 is realized by the rationale model, and the rationale is realized by inputting the reference text P and the question Q and using the learned rationale model parameters stored in the rationale model parameter storage unit 201.
  • the grounds extraction processing unit 101 includes a language understanding unit 111 and a grounds extraction unit 112.
  • Language understanding unit 111 is input with the reference text P and question Q, and outputs the set of all sentence vectors in the query vector q and a reference text P ⁇ s i ⁇ .
  • Rationale extracting unit 112 as input and query vector q and sentence vector set ⁇ s i ⁇ , and outputs the rationale ⁇ R.
  • the answer extraction processing unit 102 is realized by the answer model, and outputs the answer ⁇ A by inputting the basis ⁇ R and the question Q and using the learned answer model parameters stored in the answer model parameter storage unit 202.
  • the answer extraction processing unit 102 includes a language understanding unit 121 and an answer extraction unit 122.
  • the language understanding unit 121 outputs the vector system H by inputting the grounds ⁇ R and the question Q.
  • the answer extraction unit 122 takes the vector sequence H as an input and outputs the answer ⁇ A (more accurately, the score that is the start point and the end point of the answer range in the basis ⁇ R).
  • the basis model parameter storage unit 201 and the answer model parameter storage unit 202 are different storage units, but they may be the same storage unit. Further, among the basis model parameters and the answer model parameters, the parameters used by the language understanding unit 111 and the parameters used by the language understanding unit 121 may be the same (that is, the parameters are set by the language understanding unit 111 and the language understanding unit 121). It may be shared.)
  • FIG. 2 is a flowchart showing an example of inference processing according to the present embodiment.
  • the language understanding unit 111 of the rationale extraction processing unit 101 takes the reference text P and the question Q as inputs, and uses the learned rationale model parameters stored in the rationale model parameter storage unit 201 to use the question vector q and the sentence. and outputs the vector set ⁇ s i ⁇ (step S101).
  • the language comprehension unit 111 sets the reference text P and the question Q as a token sequence ['[CLS Q ]';question;'[SEP Q ]';' [CLS P ]'; sentence 1;'[ Enter in BERT (Bidirectional Encoder Representations from Transformers) as SEP P ]';...;'[CLS P ]'; sentence n;'[SEP P]'].
  • SEP P Enter in BERT
  • BERT Bidirectional Encoder Representations from Transformers
  • the language comprehension unit 111 sets the vector of the position corresponding to'[CLS Q ]'in the output of BERT as the question vector q ⁇ R d , and the vector of the position corresponding to the i-th'[CLS P ]'.
  • the sentence vector s i ⁇ R d of the i-th sentence. d is the dimension of the BERT output.
  • R d is a d-dimensional real space.
  • a query vector q and sentence vector set ⁇ s i ⁇ is obtained.
  • BERT see, for example, Reference 1 "Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova," BERT: Pre-training of Deep Bidirectional Transformers for Language ".
  • each of the plurality of divided reference texts (and question Q).
  • query vector q may be the average of the query vector obtained from each divided reference text.
  • grounds extractor 112 of the grounds extraction processing unit 101 is input with the query vector q and sentence vector set ⁇ s i ⁇ , using the learned basis model parameters stored in the basis model parameter storage unit 201 ,
  • the basis ⁇ R is output (step S102).
  • W p ⁇ R d ⁇ d is a learned parameter included in the learned basis model parameter (that is, W p is a parameter to be learned in the learning process described later).
  • R d ⁇ d is a real space of d ⁇ d dimension.
  • Step2 Next, evidence extraction unit 112 extracts a sentence ⁇ r t by the following.
  • S is a set of whole sentences
  • ⁇ R t-1 is a set of sentences extracted by time t-1. That is, the basis extraction unit 112 extracts the sentence having the highest score among the sentences that have not been extracted so far.
  • Step3 Next, the basis extraction unit 112 determines whether or not the sentence extracted in Step2 is an EOE sentence s EOE. Then, if the sentence extracted in Step 2 is not EOE sentence s EOE , Step 4 is executed, and if it is EOE sentence s EOE , the process is terminated.
  • the sentence vector s EOE is a learned parameter included in the learned basis model parameter (that is, the sentence vector s EOE is a parameter to be learned in the learning process described later).
  • Step 4 The basis extraction unit 112 updates the question vector q t by the following using the sentence vector of the sentence extracted in Step 2 above.
  • query vector q t is expressed the missing information in order to answer the question.
  • Initial state q 0 is all the information needed to answer the question, by the above Step4, extracted sentence ⁇ information in r t is expected to be removed from the q t by GRU.
  • the language understanding unit 121 of the answer extraction processing unit 102 inputs the basis ⁇ R and the question Q, and uses the learned answer model parameters stored in the answer model parameter storage unit 202 to generate the vector sequence H. Output (step S103).
  • the language comprehension unit 121 sets the basis ⁇ R and the question Q as a token series ['[CLS]';question;'[SEP]'; sentence r 1 ; ...; sentence r T ;'[ Enter in BERT as SEP]'].
  • '[CLS]'and'[SEP]' are special tokens
  • T is the number of sentences included in the basis ⁇ R.
  • pre-learned language models other than BERT may be used.
  • k is the series length.
  • R k ⁇ d is a real space of k ⁇ d dimension.
  • the answer extraction unit 122 of the answer extraction processing unit 102 takes the vector series H as an input and outputs the answer ⁇ A using the learned answer model parameters stored in the answer model parameter storage unit 202 (step). S104).
  • the answer extraction unit 122 converts the vector series H into the answer score by the following linear conversion.
  • W a ⁇ R 2 ⁇ d and b a ⁇ R 2 is a learned parameter included in the trained Answer model parameters (i.e., W a and b a is a parameter to be learned in the learning process to be described later be.).
  • R 2 ⁇ d is a 2 ⁇ d-dimensional real space
  • R 2 is a two-dimensional real space.
  • the question answering device 10 at the time of inference can obtain the answer ⁇ A by inputting the reference text P and the question Q. Moreover, at this time, the question answering device 10 can also obtain the basis ⁇ R of the answer ⁇ A (that is, the sentence set on which the answer ⁇ A is based). The answer ⁇ A and its basis ⁇ R may be output to any output destination inside or outside the question answering device 10 (for example, a display, a storage device, another device connected via a communication network, etc.). ..
  • the question answering device 10 at the time of learning includes a reference text P, a question Q related to the reference text P, a correct answer A indicating the answer range of the true answer to the question Q, and the correct answer.
  • a set of training data including the correct answer basis R indicating the true basis of answer A is input.
  • FIG. 3 is a diagram showing an example of the overall configuration of the question answering device 10 during learning (supervised learning). Note that FIG. 3 mainly describes the differences from the time of inference, and omits the description of the same components as those at the time of inference.
  • the question response device 10 at the time of learning learns the basis extraction processing unit 101 and the answer extraction processing unit 102 that realize the machine reading model, and the basis model parameters and the answer model parameters. It has a parameter learning unit 103, a basis model parameter storage unit 201 for storing the basis model parameters, and an answer model parameter storage unit 202 for storing the answer model parameters.
  • the basis model parameter storage unit 201 stores the basis model parameters that have not been learned (that is, is being learned), and the answer model parameters also store the answer model parameters that are being learned.
  • the parameter learning unit 103 learns the basis model parameters using the error (loss) between the basis ⁇ R and the correct answer basis R, and uses the error (loss) between the answer ⁇ A and the correct answer A to obtain the answer model parameters. learn.
  • FIG. 4 is a flowchart showing an example of supervised learning processing according to the present embodiment.
  • the basis model parameter and the answer model parameter are learned by online learning
  • this is an example, and batch learning, mini-batch learning, and the like can also be applied.
  • the parameter learning unit 103 selects one training data (that is, a set of the reference text P, the question Q, the correct answer A, and the correct answer basis R) from the training data set as the processing target (step S201).
  • the language understanding unit 111 of the rationale extraction processing unit 101 stores the reference text P and the question Q included in the training data selected as the processing target in the above step S201 as inputs in the rationale model parameter storage unit 201. using basis model parameters in the training being, and outputs the query vector q and sentence vector set ⁇ s i ⁇ (step S202).
  • the language understanding unit 111 outputs the same processing query vector q and sentence vector set by performing ⁇ s i ⁇ and the step S101 of FIG.
  • grounds extractor 112 of the grounds extraction processing unit 101 is input with the query vector q and sentence vector set ⁇ s i ⁇ , with a basis model parameters in the learning stored in the basis model parameter storage unit 201 Then, the basis ⁇ R is output (step S203).
  • evidence extraction unit 112 extracts sentence ⁇ r t with Teacher-Forcing. That is, the rationale extraction unit 112 extracts sentence ⁇ r t below.
  • the basis model is expected to extract (select) sentences in the order in which they contain important information for question Q.
  • the parameter learning unit 103 as a loss L R grounds the model to calculate the average of the negative log-likelihood Extraction of sentences which to base at each time t (step S204). That is, the parameter learning unit 103 calculates the loss L R below.
  • Pr (i; ⁇ R t-1 ) is the probability that the sentence i is output at time t, that is,
  • the language understanding unit 121 of the answer extraction processing unit 102 takes the grounds ⁇ R and the question Q as inputs, and uses the answer model parameters being learned stored in the answer model parameter storage unit 202 to use the vector sequence H. Is output (step S205).
  • the language understanding unit 121 performs the same processing as in step S103 of FIG. 2 and outputs the vector sequence H.
  • the answer extraction unit 122 of the answer extraction processing unit 102 takes the vector sequence H as an input and outputs the answer ⁇ A using the answer model parameter being learned stored in the answer model parameter storage unit 202 (). Step S206). The answer extraction unit 122 performs the same processing as in step S104 of FIG. 2 and outputs the answer ⁇ A.
  • the parameter learning unit 103 calculates the sum of the Cross-Entropy loss answers ⁇ A correct answer Answer A (step S207). That is, the parameter learning unit 103 calculates the loss L A below.
  • a s is a vector for each a s, i elements, a e is a vector to each a e, the i element. Also, i s the start point of the answer range indicated correct answers A, the j e is the end point of the reply ranging.
  • the parameter learning unit 103 is configured to learn the rationale model parameters using the loss L R calculated in step S204 described above, to learn the answers model parameters using the loss L A calculated in step S207 described above ( Step S208). That is, the parameter learning unit 103 calculates the value and the gradient thereof of loss L R, the value of the loss L R to update the basis model parameters so as to minimize. Similarly, the parameter learning unit 103 calculates the value and the gradient thereof of loss L A, the value of the loss L A updates the answer model parameters so as to minimize.
  • the parameter learning unit 103 determines whether or not all the training data in the training data set has been selected as the processing target (step S209). If there is training data that has not yet been selected as the processing target (NO in step S209), the parameter learning unit 103 returns to step S201. As a result, the above steps S201 to S208 are executed for all the training data in the training data set.
  • the parameter learning unit 103 determines whether or not the convergence condition is satisfied (step S210). If the convergence condition is satisfied (YES in step S210), the parameter learning unit 103 ends the learning process. On the other hand, if the convergence condition is not satisfied (NO in step S210), the parameter learning unit 103 assumes that all the training data in the training data set has not been selected as the processing target, and then returns to step S201. ..
  • the convergence condition for example, the number of times (the number of repetitions) of the above steps S201 to S208 being processed is equal to or more than a predetermined number of times.
  • the question answering device 10 at the time of learning learns the basis model parameter and the answer model parameter by inputting the training data including the reference text P, the question Q, the correct answer A, and the correct answer basis R. can do.
  • the basis model parameter and the answer model parameter are learned in one learning process, but the present invention is not limited to this, and the basis model parameter and the answer model parameter are learned in separate learning processes. May be good.
  • the question answering device 10 at the time of learning includes a reference text P, a question Q related to the reference text P, and a correct answer A indicating the answer range of the true answer to the question Q.
  • a set of training data (training data set) is input.
  • the correct answer basis R indicating the true basis of the correct answer A is not given (that is, unsupervised means that the correct answer basis R is not given). Therefore, even if the correct answer basis R is not available or does not exist, the parameters of the machine reading model can be learned.
  • FIG. 5 is a diagram showing an example of the overall configuration of the question answering device 10 during learning (unsupervised learning). Note that FIG. 5 mainly describes the differences from the time of inference, and omits the description of the same components as those at the time of inference.
  • the question response device 10 learns the basis extraction processing unit 101 and the answer extraction processing unit 102 that realize the machine reading model, and the basis model parameters and the answer model parameters. It has a parameter learning unit 103, a basis model parameter storage unit 201 for storing the basis model parameters, and an answer model parameter storage unit 202 for storing the answer model parameters.
  • the basis model parameter storage unit 201 stores the basis model parameter being learned, and the answer model parameter also stores the answer model parameter being learned.
  • the parameter learning unit 103 learns the basis model parameter and the answer model parameter using the loss of the answer ⁇ A.
  • FIG. 6 is a flowchart showing an example of unsupervised learning processing according to the present embodiment.
  • the basis model parameter and the answer model parameter are learned by online learning
  • this is an example, and batch learning, mini-batch learning, and the like can also be applied.
  • the parameter learning unit 103 selects one training data (that is, a set of the reference text P, the question Q, and the correct answer A) from the training data set as the processing target (step S301).
  • the language understanding unit 111 of the rationale extraction processing unit 101 stores the reference text P and the question Q included in the training data selected as the processing target in the above step S301 as inputs in the rationale model parameter storage unit 201. using basis model parameters in the training being, and outputs the query vector q and sentence vector set ⁇ s i ⁇ (step S302).
  • the language understanding unit 111 outputs the same processing query vector q and sentence vector set by performing ⁇ s i ⁇ and the step S101 of FIG.
  • grounds extractor 112 of the grounds extraction processing unit 101 is input with the query vector q and sentence vector set ⁇ s i ⁇ , with a basis model parameters in the learning stored in the basis model parameter storage unit 201 Then, the basis ⁇ R is output (step S303).
  • the extraction operation argmax statement on which to base a differential impossible when extracting the aforementioned Step2 Debun ⁇ r t, grounds extracting unit 112, statement underlies sampling by gumbel-softmax trick ⁇ r t Is extracted.
  • evidence extraction unit 112 the sentence ⁇ r t be extracted at time t
  • this equation means that the text is extracted by sampling from a predetermined first distribution. More specifically, it means extracting text based on a score consisting of the sum of a rationale score and a random variable according to a predetermined second distribution (in this embodiment, a Gumbel distribution as an example).
  • a predetermined second distribution in this embodiment, a Gumbel distribution as an example.
  • the basis score is the log (Pr (i; ⁇ R t-1 )) in the above formula
  • the sentence i is the score indicating the plausibility on which the answer is based.
  • the rationale extraction operation argmax is indistinguishable.
  • the operation of creating a one-hot vector for extracting a sentence from a sentence set is also non-differentiable. Therefore, when calculating the gradient of the loss L, which will be described later (that is, when back-propagating the loss (error back-propagation)), straight-through gumbel-softmax estimator is used as an approximation of the differential value of the one-hot vector. .. That is, the one-hot vector
  • Continuous relaxation that is, relaxation from discrete space to continuous space
  • ⁇ ⁇
  • y is a vector having y i as an element.
  • the language understanding unit 121 of the answer extraction processing unit 102 takes the grounds ⁇ R and the question Q as inputs, and uses the answer model parameters being learned stored in the answer model parameter storage unit 202 to use the vector sequence H. Is output (step S304).
  • the language understanding unit 121 performs the same processing as in step S103 of FIG. 2 and outputs the vector sequence H.
  • the answer extraction unit 122 of the answer extraction processing unit 102 takes the vector sequence H as an input and outputs the answer ⁇ A using the answer model parameter being learned stored in the answer model parameter storage unit 202 (). Step S305).
  • the answer extraction unit 122 performs the same processing as in step S104 of FIG. 2 and outputs the answer ⁇ A.
  • the parameter learning unit 103 calculates the loss L including the loss of the answer A (step S306).
  • the loss of answer A is originally a probability distribution.
  • ⁇ C , ⁇ N and ⁇ E are hyperparameters.
  • Regularization term information L C is extracted as grounds represent penalties for not to contain information that questions mentioned. Regularization term L C is,
  • L Q is the length of the question
  • l R is the length of the sentence in which all the sentences included in the basis are linked.
  • L C is the word i in question, is intended to include semantically close words j over one word in the extracted text as the basis.
  • the regularization term L N represents a penalty for not including an answer in the rationale.
  • the regularization term L N is
  • L N is a value obtained by giving ReLU (Rectified Linear Unit) as an activation function to the difference in score (sentence score).
  • the loss function used in the ranking problem may be used.
  • the regularization term L N is
  • RankNet see, for example, Reference 2 "C. Burges, T. Shaked, E. Renshaw, A. Lazier, M. Deeds, N. Hamilton, and GN Hullender. Learning to rank using gradient descent. In ICML, pp. 89-96, 2005. ”, etc.
  • Regularization term L E is the entropy regularization often used in reinforcement learning or the like
  • the regularization term L E corresponds to the negative entropy Extraction of sentences which to base in one time. Increasing the entropy has the effect of expanding the search range for sentence extraction and stabilizing learning.
  • the parameter learning unit 103 learns the basis model parameter and the answer model parameter using the loss L calculated in step S306 above (step S307). That is, the parameter learning unit 103 calculates the value of the loss L and its gradient, and updates the basis model parameter and the answer model parameter so that the value of the loss L is minimized.
  • the parameter learning unit 103 determines whether or not all the training data in the training data set has been selected as the processing target (step S308). If there is training data that has not yet been selected as the processing target (NO in step S308), the parameter learning unit 103 returns to step S301. As a result, the above steps S301 to S307 are executed for all the training data in the training data set.
  • the parameter learning unit 103 determines whether or not the convergence condition is satisfied (step S309).
  • the convergence condition for example, the number of times (the number of repetitions) of the above steps S301 to S307 being processed is equal to or more than a predetermined number of times.
  • the question answering device 10 at the time of learning uses the training data including the reference text P, the question Q, and the correct answer A as input (that is, even if the correct answer basis R is not input). You can learn the rationale model parameters and the answer model parameters.
  • unsupervised learning it is preferable to perform pre-learning for stable learning. If the correct answer basis R exists, the above-mentioned supervised learning may be regarded as pre-learning. On the other hand, when the correct answer basis R does not exist, pre-learning may be performed by semi-supervised learning using a pseudo correct answer basis.
  • Such a pseudo-correct answer basis may be, for example, a set of sentences in which the value of this label is equal to or higher than a predetermined threshold value after giving each sentence a label indicating the basis of the sentence.
  • the value of this label may be determined by an arbitrary formula, and for example, the TF-IDF similarity between the sentence and the question can be used. Further, at least one statement of the statements contained in the set of sentences S A containing the answer, to be included in the pseudo-answer basis.
  • Hotpot QA is a dataset with correct answer grounds (that is, teacher data of grounds).
  • Question Q is created to ask the content that spans two paragraphs in Wikipedia.
  • the reference text P is a text in which the two paragraphs are connected.
  • the output is answer A and rationale R.
  • Answer A is one of the answer labels ⁇ yes, no, span ⁇ and the answer section (answer range).
  • the response interval exists only when the response label is'span'. Therefore, in the response model, in addition to the classification of the response section, the response label was also classified. Since the question Q is limited to questions that ask the content that spans two paragraphs, the basis R is two or more sentences.
  • HotpotQA for example, Reference 3 "Z. Yang, P. Qi, S. Zhang, Y. Bengio, WW Cohen, R. Salakhutdinov, and CD Manning. HotpotQA: A dataset for diverse, explainable multi-hop. question answering. In EMNLP, pp. 2369-2380, 2018. ”etc.
  • the baseline model is a model without a basis model, and the reference text P and the question Q are directly input to the answer model.
  • supervised learning and additional learning in which unsupervised learning was performed after supervised learning were evaluated.
  • the batch size is 60
  • the number of epochs is 3
  • the optimization method is Adam
  • the learning rate is 5e-5.
  • unsupervised learning the number of epochs is 1, the learning rate is 5e-6, and ⁇ is 0.001.
  • Learning was performed using a GPU (Graphics Processing Unit) with ⁇ C as 0, ⁇ N as 1, and ⁇ E as 0.001.
  • Table 1 below shows the evaluation results of the answers and grounds when the experiment was conducted with the above data set and experiment settings.
  • Table 1 above shows the evaluation results of EM (Exact match) / F1.
  • Table 4 above shows the evaluation results of EM / F1.
  • the interpretable machine reading model and the learning performance by additional learning were evaluated. It was confirmed that the accuracy of the interpretable machine reading model is improved by extracting the rationale in the previous stage, compared to the normal machine reading model that uses only the answer model. Furthermore, in the additional learning, it was confirmed that the learning to improve the answer accuracy is progressing in each of the answer model and the basis model.
  • the machine reading model By making the machine reading model interpretable, it solves the social problems of conventional machine reading, such as convincing the user, clarifying the source, and verifying the facts. be able to. Further, by extending the additional learning described in the present embodiment to unsupervised learning from scratch, it is possible to extract the rationale even in a data set having no rationale teacher data.
  • the rationale is extracted by the rationale model and then the answer is extracted by the answer model. More generally, after the first substring is extracted (or searched) by the first model, the first substring is extracted. It can be applied to any task realized by the process of extracting the second substring from the first substring in the second model based on a predetermined condition. For example, it can be applied to tasks such as searching a paragraph from a sentence in the first model and reading comprehension (answer extraction, etc.) for the paragraph in the second model.
  • FIG. 7 is a diagram showing an example of the hardware configuration of the question answering device 10 according to the present embodiment.
  • the question-and-answer device 10 is realized by a general computer or computer system, and includes an input device 301, a display device 302, an external I / F 303, and a communication I / F 304. It has a processor 305 and a memory device 306. Each of these hardware is communicably connected via bus 307.
  • the input device 301 is, for example, a keyboard, a mouse, a touch panel, or the like.
  • the display device 302 is, for example, a display or the like.
  • the question answering device 10 does not have to have at least one of the input device 301 and the display device 302.
  • the external I / F 303 is an interface with an external device.
  • the external device includes a recording medium 303a and the like.
  • the question answering device 10 can read or write the recording medium 303a via the external I / F 303.
  • the recording medium 303a may store one or more programs that realize each functional unit (grounds extraction processing unit 101, answer extraction processing unit 102, and parameter learning unit 103) of the question answering device 10.
  • the recording medium 303a includes, for example, a CD (Compact Disc), a DVD (Digital Versatile Disk), an SD memory card (Secure Digital memory card), a USB (Universal Serial Bus) memory card, and the like.
  • a CD Compact Disc
  • DVD Digital Versatile Disk
  • SD memory card Secure Digital memory card
  • USB Universal Serial Bus
  • the communication I / F 304 is an interface for the question answering device 10 to connect to the communication network.
  • One or more programs that realize each functional unit of the question answering device 10 may be acquired (downloaded) from a predetermined server device or the like via the communication I / F 304.
  • the processor 305 is, for example, various arithmetic units such as a CPU (Central Processing Unit) and a GPU. Each functional unit included in the question answering device 10 is realized, for example, by a process in which one or more programs stored in the memory device 306 are executed by the processor 305.
  • a CPU Central Processing Unit
  • GPU GPU
  • the memory device 306 is, for example, various storage devices such as HDD (Hard Disk Drive), SSD (Solid State Drive), RAM (Random Access Memory), ROM (Read Only Memory), and flash memory.
  • the basis model parameter storage unit 201 and the answer model parameter storage unit 202 included in the question answering device 10 can be realized by using, for example, the memory device 306.
  • a storage device (for example, a database server) in which at least one of the basis model parameter storage unit 201 and the answer model parameter storage unit 202 is connected to the question answering device 10 via a communication network is used. It may be realized.
  • the question answering device 10 can realize the above-mentioned inference processing, supervised learning processing, and unsupervised learning processing.
  • the hardware configuration shown in FIG. 7 is an example, and the question answering device 10 may have another hardware configuration.
  • the question answering device 10 may have a plurality of processors 305 or a plurality of memory devices 306.

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一実施形態に係る学習装置は、テキストと、前記テキストに関連する質問とを入力として、第１のニューラルネットワークのモデルパラメータを用いて、前記テキストに含まれる文字列が前記質問に対する回答の根拠となる尤もらしさを表す根拠スコアを算出し、前記根拠スコアをパラメータとして持つ所定の分布からのサンプリングによって、前記回答の根拠となる文字列の集合を示す第１の集合を前記テキストから抽出する根拠抽出手段と、前記質問と、前記第１の集合とを入力として、第２のニューラルネットワークのモデルパラメータを用いて、前記回答を前記第１の集合から抽出する回答抽出手段と、前記回答と前記質問に対する真の回答との間の第１の損失と連続緩和とを用いて誤差逆伝搬により勾配を計算することで、前記第１のニューラルネットワークのモデルパラメータと前記第２のニューラルネットワークのモデルパラメータとを学習する第１の学習手段と、を有することを特徴とする。

Description

学習装置、情報処理装置、学習方法、情報処理方法及びプログラム
　本発明は、学習装置、情報処理装置、学習方法、情報処理方法及びプログラムに関する。
　近年、与えられたテキストを参照し読み解きながら質問に回答する機械読解が注目を集めており、様々な機械読解モデルが提案されている。しかしながら、機械読解モデルはブラックボックスであり、その回答の根拠がわからないという課題がある。この課題に対して、回答の根拠を提示する機械読解モデルが提案されている（非特許文献１）。
K. Nishida, K. Nishida, M. Nagata, A. Otsuka, I. Saito, H. Asano, and J. Tomita. Answering while summarizing: Multi-task learning for multi-hop QA with evidence extraction. In ACL, pp. 2335-2345, 2019.
　しかしながら、上記の非特許文献１に記載されている機械読解モデルが提示する根拠は、訓練データ中のアノテーションを再現しているだけであり、厳密な意味での根拠になっていなかった。
　本発明の一実施形態は、上記の点に鑑みてなされたもので、回答の根拠を提示可能な機械読解を実現することを目的とする。
　上記目的を達成するため、一実施形態に係る学習装置は、テキストと、前記テキストに関連する質問とを入力として、第１のニューラルネットワークのモデルパラメータを用いて、前記テキストに含まれる文字列が前記質問に対する回答の根拠となる尤もらしさを表す根拠スコアを算出し、前記根拠スコアをパラメータとして持つ所定の分布からのサンプリングによって、前記回答の根拠となる文字列の集合を示す第１の集合を前記テキストから抽出する根拠抽出手段と、前記質問と、前記第１の集合とを入力として、第２のニューラルネットワークのモデルパラメータを用いて、前記回答を前記第１の集合から抽出する回答抽出手段と、前記回答と前記質問に対する真の回答との間の第１の損失と連続緩和とを用いて誤差逆伝搬により勾配を計算することで、前記第１のニューラルネットワークのモデルパラメータと前記第２のニューラルネットワークのモデルパラメータとを学習する第１の学習手段と、を有することを特徴とする。
　回答の根拠を提示可能な機械読解を実現することができる。
推論時における質問応答装置の全体構成の一例を示す図である。 本実施形態に係る推論処理の一例を示すフローチャートである。 学習（教師あり学習）時における質問応答装置の全体構成の一例を示す図である。 本実施形態に係る教師あり学習処理の一例を示すフローチャートである。 学習（教師なし学習）時における質問応答装置の全体構成の一例を示す図である。 本実施形態に係る教師なし学習処理の一例を示すフローチャートである。 本実施形態に係る質問応答装置のハードウェア構成の一例を示す図である。
　以下、本発明の一実施形態について説明する。本実施形態では、回答の抽出対象となる参照テキストとこの参照テキストに関連する質問とが与えられたときに、回答を提示すると共に、当該回答の根拠を提示可能な機械読解を実現する質問応答装置１０について説明する。
　機械読解は、ニューラルネットワーク等で構成される機械読解モデルにより実現される。本実施形態では、回答の根拠を提示可能な機械読解モデルを解釈可能であるといい、以下で定義する。
　定義（解釈可能な機械読解モデル）：機械読解モデルが解釈可能であるとは、機械読解モデルが以下の入出力を持つ２つのモデルで構成されていることをいう。
　・根拠モデル：参照テキストと質問とを入力として、根拠を出力するモデル
　・回答モデル：根拠と質問とを入力として、回答を出力するモデル
　ここで、根拠は参照テキストの部分文字列の集合である。本実施形態では、根拠は文の集合であるものとする。ただし、これに限られず、根拠は、文よりも長い文字列（例えば、段落等）の集合であってもよいし、文よりも短い文字列（例えば、フレーズ等）の集合であってもよい。
　解釈可能な機械読解モデルは、参照テキストに含まれる文字列のうち、根拠に含まれる文字列のみを回答モデルに入力する。すなわち、根拠以外の情報（例えば、根拠モデルの隠れ状態等）は回答モデルでは利用しない。このため、（１）厳密な意味で回答の根拠を提示可能であり、（２）回答モデルは根拠と質問の情報のみを持つため、回答を予測した理由を十分短い根拠（つまり、参照テキストよりも十分短い文字列である根拠）に限定することができ、（３）回答モデルの入力が短くなるため、回答モデルで計算コストの高い処理を許容することが可能となる、という利点がある。また、後述する教師なし学習により学習を行うことで、（４）人手のアノテーションではなく、機械読解モデルが高精度に回答するために必要な根拠を学習させることが可能となる、という利点もある。
　ここで、本実施形態は、機械読解モデルのパラメータ（つまり、根拠モデルのパラメータと回答モデルのパラメータ）を学習する学習時と、学習済みのパラメータを用いた機械読解モデルにより機械読解を行う推論時とがある。また、本実施形態では、機械読解モデルのパラメータの学習方法として、根拠の正解データ及び回答の正解データの両方を利用する教師あり学習と、根拠の正解データは利用しない教師なし学習との２つの学習方法について説明する。そこで、以降では、質問応答装置１０の「推論時」、「学習（教師あり学習）時」、「学習（教師なし学習）時」について説明する。
　［推論時］
　まず、機械読解モデルのパラメータが学習済みであるものとして、学習済みのパラメータを用いて機械読解モデルにより機械読解を行う場合について説明する。推論時における質問応答装置１０には、参照テキストＰと、この参照テキストＰに関連する質問Ｑとが入力される。
　＜推論時における質問応答装置１０の全体構成＞
　推論時における質問応答装置１０の全体構成について、図１を参照しながら説明する。図１は、推論時における質問応答装置１０の全体構成の一例を示す図である。
　図１に示すように、推論時における質問応答装置１０は、機械読解モデルを実現する根拠抽出処理部１０１及び回答抽出処理部１０２と、根拠モデルのパラメータ（以下、「根拠モデルパラメータ」という。）を記憶する根拠モデルパラメータ記憶部２０１と、回答モデルのパラメータ（以下、「回答モデルパラメータ」という。）を記憶する回答モデルパラメータ記憶部２０２とを有する。
　根拠抽出処理部１０１は根拠モデルにより実現され、参照テキストＰと質問Ｑとを入力として、根拠モデルパラメータ記憶部２０１に記憶されている学習済み根拠モデルパラメータを用いて、根拠
Figure JPOXMLDOC01-appb-M000001
 を出力する。なお、本明細書のテキスト中では、推定値を表すハット「＾」は任意の記号Ｘの前に付与し、「＾Ｘ」と表記するものとする。ここで、根拠抽出処理部１０１には、言語理解部１１１と、根拠抽出部１１２とが含まれる。
　言語理解部１１１は、参照テキストＰと質問Ｑとを入力として、質問ベクトルｑと参照テキストＰ中の全ての文ベクトルの集合｛ｓｉ｝とを出力する。根拠抽出部１１２は、質問ベクトルｑと文ベクトル集合｛ｓｉ｝とを入力として、根拠＾Ｒを出力する。
　回答抽出処理部１０２は回答モデルにより実現され、根拠＾Ｒと質問Ｑとを入力として、回答モデルパラメータ記憶部２０２に記憶されている学習済み回答モデルパラメータを用いて、回答＾Ａを出力する。ここで、回答抽出処理部１０２には、言語理解部１２１と、回答抽出部１２２とが含まれる。
　言語理解部１２１は、根拠＾Ｒと質問Ｑとを入力として、ベクトル系Ｈを出力する。回答抽出部１２２は、ベクトル系列Ｈを入力として、回答＾Ａ（より正確には、根拠＾Ｒ中で回答範囲の始点及び終点となるスコア）を出力する。
　なお、図１に示す例では、根拠モデルパラメータ記憶部２０１と回答モデルパラメータ記憶部２０２を異なる記憶部としているが、同一の記憶部であってもよい。また、根拠モデルパラメータ及び回答モデルパラメータのうち、言語理解部１１１が用いるパラメータと言語理解部１２１が用いるパラメータとは同一であってもよい（つまり、言語理解部１１１と言語理解部１２１でパラメータを共有していてもよい。）。
　＜推論処理＞
　次に、本実施形態に係る推論処理について、図２を参照しながら説明する。図２は、本実施形態に係る推論処理の一例を示すフローチャートである。
　まず、根拠抽出処理部１０１の言語理解部１１１は、参照テキストＰと質問Ｑとを入力として、根拠モデルパラメータ記憶部２０１に記憶されている学習済み根拠モデルパラメータを用いて、質問ベクトルｑと文ベクトル集合｛ｓｉ｝とを出力する（ステップＳ１０１）。
　具体的には、言語理解部１１１は、参照テキストＰと質問Ｑとをトークン系列［'［ＣＬＳＱ］'；質問；'［ＳＥＰＱ］'；'［ＣＬＳＰ］'；文１；'［ＳＥＰＰ］'；・・・；'［ＣＬＳＰ］'；文ｎ；'［ＳＥＰＰ］'］としてBERT（Bidirectional Encoder Representations from Transformers）に入力する。ここで、'［ＣＬＳＱ］'，［ＳＥＰＱ］'，'［ＣＬＳＰ］'，'［ＳＥＰＰ］'は特殊トークン、ｎは参照テキストＰ中の文数である。なお、BERT以外の他の事前学習済み言語モデルが用いられてもよい。
　そして、言語理解部１１１は、BERTの出力のうち、'［ＣＬＳＱ］'に相当する位置のベクトルを質問ベクトルｑ∈Ｒｄ、ｉ番目の'［ＣＬＳＰ］'に相当する位置のベクトルをｉ文目の文ベクトルｓｉ∈Ｒｄとする。ｄはBERTの出力の次元である。なお、Ｒｄはｄ次元の実空間である。
　これにより、質問ベクトルｑと文ベクトル集合｛ｓｉ｝とが得られる。なお、BERTについては、例えば、参考文献１「Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language」を参照されたい。
　なお、例えば、参照テキストＰが長文でBERTに入力できない場合、適当な長さで参照テキストＰを分割した複数の分割参照テキストを作成した上で、これら複数の分割参照テキストのそれぞれ（と質問Ｑ）をBERTに入力すればよい。この場合、文ベクトル集合｛ｓｉ｝は各分割参照テキストから得られた文ベクトルの集合とすればよく、質問ベクトルｑは各分割参照テキストから得られた質問ベクトルの平均とすればよい。
　次に、根拠抽出処理部１０１の根拠抽出部１１２は、質問ベクトルｑと文ベクトル集合｛ｓｉ｝とを入力として、根拠モデルパラメータ記憶部２０１に記憶されている学習済み根拠モデルパラメータを用いて、根拠＾Ｒを出力する（ステップＳ１０２）。根拠抽出部１１２は、文抽出の終了を判定するためのダミー文であるＥＯＥ文ｓＥＯＥを文ベクトル集合｛ｓｉ｝に追加した上で、上記の非特許文献１と同様に、ＧＲＵ（Gated recurrent unit）を用いて再帰的に文を抽出することで根拠＾Ｒ＝｛＾ｒｔ｝を得る。
　すなわち、根拠抽出部１１２は、時刻ｔ毎に、文＾ｒｔを抽出してその文＾ｒｔの文ベクトルを用いて質問ベクトルｑｔを更新する処理を、終了条件を満たすまで繰り返し実行することで根拠＾Ｒ＝｛＾ｒｔ｝を得る。具体的には、根拠抽出部１１２は、時刻ｔ（ｔ＝０，１，・・・）毎に以下のＳｔｅｐ１～Ｓｔｅｐ４を繰り返し実行する。なお、ｑ０＝ｑとする
　Ｓｔｅｐ１：根拠抽出部１１２は、質問ベクトルｑｔを用いて、以下により文ｉのスコアを得る。
Figure JPOXMLDOC01-appb-M000002
 　ここで、Ｗｐ∈Ｒｄ×ｄは学習済み根拠モデルパラメータに含まれる学習済みパラメータである（つまり、Ｗｐは、後述する学習処理で学習対象となるパラメータである。）。なお、Ｒｄ×ｄはｄ×ｄ次元の実空間である。
　Ｓｔｅｐ２：次に、根拠抽出部１１２は、以下により文＾ｒｔを抽出する。
Figure JPOXMLDOC01-appb-M000003
 　ここで、Ｓは文全体の集合、＾Ｒｔ－１は時刻ｔ－１までに抽出された文の集合である。すなわち、根拠抽出部１１２は、これまでに抽出されていない文の中で最もスコアが高い文を抽出する。
　Ｓｔｅｐ３：次に、根拠抽出部１１２は、上記のＳｔｅｐ２で抽出した文がＥＯＥ文ｓＥＯＥであるか否かを判定する。そして、上記のＳｔｅｐ２で抽出した文がＥＯＥ文ｓＥＯＥでなければＳｔｅｐ４を実行し、ＥＯＥ文ｓＥＯＥであれば処理を終了する。ここで、文ベクトルｓＥＯＥは学習済み根拠モデルパラメータに含まれる学習済みパラメータである（つまり、文ベクトルｓＥＯＥは、後述する学習処理で学習対象となるパラメータである。）。
　Ｓｔｅｐ４：根拠抽出部１１２は、上記のＳｔｅｐ２で抽出した文の文ベクトルを用いて、以下により質問ベクトルｑｔを更新する。
Figure JPOXMLDOC01-appb-M000004
 　なお、質問ベクトルｑｔは質問に答えるために不足している情報を表現している。初期状態ｑ０は質問に答えるために必要な情報の全てであり、上記のＳｔｅｐ４により、抽出した文＾ｒｔにある情報がＧＲＵによってｑｔから除かれることが期待される。
　終了条件を満たすまで（つまり、上記のＳｔｅｐ２でＥＯＥ文ｓＥＯＥが抽出されるまで）、時刻ｔ毎に上記のＳｔｅｐ１～Ｓｔｅｐ４が繰り返し実行され、根拠＾Ｒ＝｛＾ｒｔ｝が得られる。
　次に、回答抽出処理部１０２の言語理解部１２１は、根拠＾Ｒと質問Ｑとを入力として、回答モデルパラメータ記憶部２０２に記憶されている学習済み回答モデルパラメータを用いて、ベクトル系列Ｈを出力する（ステップＳ１０３）。
　具体的には、言語理解部１２１は、根拠＾Ｒと質問Ｑとをトークン系列［'［ＣＬＳ］'；質問；'［ＳＥＰ］'；文ｒ１；・・・；文ｒＴ；'［ＳＥＰ］'］としてBERTに入力する。ここで、'［ＣＬＳ］'，'［ＳＥＰ］'は特殊トークン、Ｔは根拠＾Ｒに含まれる文数である。なお、BERT以外の他の事前学習済み言語モデルが用いられてもよい。
　そして、言語理解部１２１は、各トークンのベクトルの系列Ｈ＝［ｈ１，・・・，ｈｋ］∈Ｒｋ×ｄを出力する。ここで、ｋは系列長である。なお、Ｒｋ×ｄはｋ×ｄ次元の実空間である。
　次に、回答抽出処理部１０２の回答抽出部１２２は、ベクトル系列Ｈを入力として、回答モデルパラメータ記憶部２０２に記憶されている学習済み回答モデルパラメータを用いて、回答＾Ａを出力する（ステップＳ１０４）。
　具体的には、回答抽出部１２２は、ベクトル系列Ｈを以下の線形変換により回答のスコアに変換する。
Figure JPOXMLDOC01-appb-M000005
 　ここで、ａｓ，ｉは第ｉトークンが回答の始点となるスコア、ａｅ，ｉは第ｉトークンが回答の終点となるスコアを表す。また、Ｗａ∈Ｒ２×ｄ及びｂａ∈Ｒ２は学習済み回答モデルパラメータに含まれる学習済みパラメータである（つまり、Ｗａ及びｂａは、後述する学習処理で学習対象となるパラメータである。）。なお、Ｒ２×ｄは２×ｄ次元の実空間、Ｒ２は２次元の実空間である。
　これにより、第ｉトークンが回答の始点となるスコアと終点となるスコアとが得られる。したがって、例えば、ａｓ，ｉが最も高いトークンを回答範囲の始点、ａｅ，ｉが最も高いトークンを回答範囲の終点とすることで、この回答範囲（又は、この回答範囲内の文）が回答＾Ａとして得られる。
　以上により、推論時における質問応答装置１０は、参照テキストＰと質問Ｑとを入力として、回答＾Ａを得ることができる。しかも、このとき、質問応答装置１０は、この回答＾Ａの根拠＾Ｒ（つまり、回答＾Ａの根拠となった文集合）を得ることもできる。なお、この回答＾Ａ及びその根拠＾Ｒは質問応答装置１０の内外の任意の出力先（例えば、ディスプレイや記憶装置、通信ネットワークを介して接続される他の装置等）に出力されてもよい。
　［学習（教師あり学習）時］
　次に、機械読解モデルのパラメータは学習済みでないものとして、このパラメータを教師あり学習により学習する場合について説明する。学習（教師あり学習）時における質問応答装置１０には、参照テキストＰと、この参照テキストＰに関連する質問Ｑと、この質問Ｑに対する真の回答の回答範囲を示す正解回答Ａと、この正解回答Ａの真の根拠を示す正解根拠Ｒとが含まれる訓練データの集合（訓練データセット）が入力される。
　＜学習（教師あり学習）時における質問応答装置１０の全体構成＞
　学習（教師あり学習）時における質問応答装置１０の全体構成について、図３を参照しながら説明する。図３は、学習（教師あり学習）時における質問応答装置１０の全体構成の一例を示す図である。なお、図３では、主に、推論時との相違点について説明し、推論時と同様の構成要素についてはその説明を省略する。
　図３に示すように、学習（教師あり学習）時における質問応答装置１０は、機械読解モデルを実現する根拠抽出処理部１０１及び回答抽出処理部１０２と、根拠モデルパラメータ及び回答モデルパラメータを学習するパラメータ学習部１０３と、根拠モデルパラメータを記憶する根拠モデルパラメータ記憶部２０１と、回答モデルパラメータを記憶する回答モデルパラメータ記憶部２０２とを有する。なお、根拠モデルパラメータ記憶部２０１には学習済みでない（つまり、学習中の）根拠モデルパラメータが記憶されており、回答モデルパラメータにも学習中の回答モデルパラメータが記憶されている。
　パラメータ学習部１０３は、根拠＾Ｒと正解根拠Ｒとの誤差（損失）を用いて根拠モデルパラメータを学習すると共に、回答＾Ａと正解回答Ａとの誤差（損失）を用いて回答モデルパラメータを学習する。
　＜教師あり学習処理＞
　次に、本実施形態に係る教師あり学習処理について、図４を参照しながら説明する。図４は、本実施形態に係る教師あり学習処理の一例を示すフローチャートである。以降では、オンライン学習により根拠モデルパラメータ及び回答モデルパラメータを学習する場合について説明するが、これは一例であって、バッチ学習やミニバッチ学習等も適用可能である。
　パラメータ学習部１０３は、訓練データセットから１件の訓練データ（つまり、参照テキストＰと質問Ｑと正解回答Ａと正解根拠Ｒとの組）を処理対象として選択する（ステップＳ２０１）。
　次に、根拠抽出処理部１０１の言語理解部１１１は、上記のステップＳ２０１で処理対象として選択された訓練データに含まれる参照テキストＰと質問Ｑとを入力として、根拠モデルパラメータ記憶部２０１に記憶されている学習中の根拠モデルパラメータを用いて、質問ベクトルｑと文ベクトル集合｛ｓｉ｝とを出力する（ステップＳ２０２）。なお、言語理解部１１１は、図２のステップＳ１０１と同様の処理を行って質問ベクトルｑと文ベクトル集合｛ｓｉ｝とを出力する。
　次に、根拠抽出処理部１０１の根拠抽出部１１２は、質問ベクトルｑと文ベクトル集合｛ｓｉ｝とを入力として、根拠モデルパラメータ記憶部２０１に記憶されている学習中の根拠モデルパラメータを用いて、根拠＾Ｒを出力する（ステップＳ２０３）。根拠抽出部１１２は、ＥＯＥ文ｓＥＯＥを文ベクトル集合｛ｓｉ｝に追加した上で、図２のステップＳ１０２と同様に、時刻ｔ（ｔ＝０，１，・・・）毎に上記のＳｔｅｐ１～Ｓｔｅｐ４を繰り返し実行する。ただし、上記のＳｔｅｐ２で文＾ｒｔを抽出する際、根拠抽出部１１２は、Teacher-Forcingを用いて文＾ｒｔを抽出する。すなわち、根拠抽出部１１２は、以下により文＾ｒｔを抽出する。
Figure JPOXMLDOC01-appb-M000006
 　このように、教師あり学習時では正解根拠Ｒの中から文＾ｒｔを抽出する。また、ＥＯＥ文ｓＥＯＥは正解根拠Ｒ中の全ての文が抽出された後に選択（抽出）する。
　なお、正解根拠Ｒに含まれる文同士には順序が存在しないため、上記のargmax操作によって未だ選ばれていない根拠Ｒの中で最もスコアが高い文を時刻ｔの正解データとみなしている。そのため、教師あり学習によって、根拠モデルは質問Ｑにとって重要な情報を含む順に文を抽出（選択）することが期待される。
　次に、パラメータ学習部１０３は、根拠モデルの損失ＬＲとして、各時刻ｔで根拠となる文の抽出に関する負の対数尤度の平均を算出する（ステップＳ２０４）。すなわち、パラメータ学習部１０３は、以下により損失ＬＲを算出する。
Figure JPOXMLDOC01-appb-M000007
 　ここで、Ｐｒ（ｉ；＾Ｒｔ－１）は時刻ｔに文ｉが出力される確率、つまり、
Figure JPOXMLDOC01-appb-M000008
 である。
　次に、回答抽出処理部１０２の言語理解部１２１は、根拠＾Ｒと質問Ｑとを入力として、回答モデルパラメータ記憶部２０２に記憶されている学習中の回答モデルパラメータを用いて、ベクトル系列Ｈを出力する（ステップＳ２０５）。なお、言語理解部１２１は、図２のステップＳ１０３と同様の処理を行ってベクトル系列Ｈを出力する。
　次に、回答抽出処理部１０２の回答抽出部１２２は、ベクトル系列Ｈを入力として、回答モデルパラメータ記憶部２０２に記憶されている学習中の回答モデルパラメータを用いて、回答＾Ａを出力する（ステップＳ２０６）。なお、回答抽出部１２２は、図２のステップＳ１０４と同様の処理を行って回答＾Ａを出力する。
　次に、パラメータ学習部１０３は、回答モデルの損失ＬＡとして、回答＾Ａと正解回答ＡのCross-Entropy損失の和を算出する（ステップＳ２０７）。すなわち、パラメータ学習部１０３は、以下により損失ＬＡを算出する。
Figure JPOXMLDOC01-appb-M000009
 　ここで、ａｓは各ａｓ，ｉを要素とするベクトル、ａｅは各ａｅ，ｉを要素とするベクトルである。また、ｉｓは正解回答Ａが示す回答範囲の始点、ｊｅは当該回答範囲の終点である。
　次に、パラメータ学習部１０３は、上記のステップＳ２０４で算出した損失ＬＲを用いて根拠モデルパラメータを学習すると共に、上記のステップＳ２０７で算出した損失ＬＡを用いて回答モデルパラメータを学習する（ステップＳ２０８）。すなわち、パラメータ学習部１０３は、損失ＬＲの値及びその勾配を算出し、損失ＬＲの値が最小となるように根拠モデルパラメータを更新する。同様に、パラメータ学習部１０３は、損失ＬＡの値及びその勾配を算出し、損失ＬＡの値が最小となるように回答モデルパラメータを更新する。
　なお、上記では損失ＬＲと損失ＬＡとをそれぞれ最小化させたが、損失ＬＲ＋ＬＡを最小化させることで、根拠モデルパラメータと回答モデルパラメータとを更新してもよい。
　次に、パラメータ学習部１０３は、訓練データセット中の全ての訓練データが処理対象として選択されたか否かを判定する（ステップＳ２０９）。未だ処理対象として選択されていない訓練データが存在する場合（ステップＳ２０９でＮＯ）、パラメータ学習部１０３は、ステップＳ２０１に戻る。これにより、訓練データセット中の全ての訓練データに対して上記のステップＳ２０１～ステップＳ２０８が実行される。
　一方で、訓練データセット中の全ての訓練データが処理対象として選択された場合（ステップＳ２０９でＹＥＳ）、パラメータ学習部１０３は、収束条件を満たすか否かを判定する（ステップＳ２１０）。収束条件を満たす場合（ステップＳ２１０でＹＥＳ）は、パラメータ学習部１０３は学習処理を終了する。一方で、収束条件を満たさない場合（ステップＳ２１０でＮＯ）は、パラメータ学習部１０３は、訓練データセット中の全ての訓練データが処理対象として選択されていないものとした上で、ステップＳ２０１に戻る。ここで、収束条件としては、例えば、上記のステップＳ２０１～ステップＳ２０８が処理された回数（反復回数）が所定の回数以上となったこと等が挙げられる。
　以上により、学習（教師あり学習）時における質問応答装置１０は、参照テキストＰと質問Ｑと正解回答Ａと正解根拠Ｒとが含まれる訓練データを入力として、根拠モデルパラメータ及び回答モデルパラメータを学習することができる。なお、図４では１つの学習処理の中で根拠モデルパラメータと回答モデルパラメータとを学習させたが、これに限られず、根拠モデルパラメータと回答モデルパラメータとを別々の学習処理の中で学習させてもよい。
　［学習（教師なし学習）時］
　次に、教師なし学習により機械読解モデルのパラメータを学習する場合について説明する。学習（教師なし学習）時における質問応答装置１０には、参照テキストＰと、この参照テキストＰに関連する質問Ｑと、この質問Ｑに対する真の回答の回答範囲を示す正解回答Ａとが含まれる訓練データの集合（訓練データセット）が入力される。このように、教師なし学習時には、正解回答Ａの真の根拠を示す正解根拠Ｒが与えられない（つまり、教師なしとは正解根拠Ｒが与えられないことを意味する。）。このため、正解根拠Ｒが入手できない又は存在しない場合であっても、機械読解モデルのパラメータを学習することができる。
　＜学習（教師なし学習）時における質問応答装置１０の全体構成＞
　学習（教師なし学習）時における質問応答装置１０の全体構成について、図５を参照しながら説明する。図５は、学習（教師なし学習）時における質問応答装置１０の全体構成の一例を示す図である。なお、図５では、主に、推論時との相違点について説明し、推論時と同様の構成要素についてはその説明を省略する。
　図５に示すように、学習（教師なし学習）時における質問応答装置１０は、機械読解モデルを実現する根拠抽出処理部１０１及び回答抽出処理部１０２と、根拠モデルパラメータ及び回答モデルパラメータを学習するパラメータ学習部１０３と、根拠モデルパラメータを記憶する根拠モデルパラメータ記憶部２０１と、回答モデルパラメータを記憶する回答モデルパラメータ記憶部２０２とを有する。なお、根拠モデルパラメータ記憶部２０１には学習中の根拠モデルパラメータが記憶されており、回答モデルパラメータにも学習中の回答モデルパラメータが記憶されている。
　パラメータ学習部１０３は、回答＾Ａの損失を用いて根拠モデルパラメータ及び回答モデルパラメータを学習する。
　＜教師なし学習処理＞
　次に、本実施形態に係る教師なし学習処理について、図６を参照しながら説明する。図６は、本実施形態に係る教師なし学習処理の一例を示すフローチャートである。以降では、オンライン学習により根拠モデルパラメータ及び回答モデルパラメータを学習する場合について説明するが、これは一例であって、バッチ学習やミニバッチ学習等も適用可能である。
　パラメータ学習部１０３は、訓練データセットから１件の訓練データ（つまり、参照テキストＰと質問Ｑと正解回答Ａとの組）を処理対象として選択する（ステップＳ３０１）。
　次に、根拠抽出処理部１０１の言語理解部１１１は、上記のステップＳ３０１で処理対象として選択された訓練データに含まれる参照テキストＰと質問Ｑとを入力として、根拠モデルパラメータ記憶部２０１に記憶されている学習中の根拠モデルパラメータを用いて、質問ベクトルｑと文ベクトル集合｛ｓｉ｝とを出力する（ステップＳ３０２）。なお、言語理解部１１１は、図２のステップＳ１０１と同様の処理を行って質問ベクトルｑと文ベクトル集合｛ｓｉ｝とを出力する。
　次に、根拠抽出処理部１０１の根拠抽出部１１２は、質問ベクトルｑと文ベクトル集合｛ｓｉ｝とを入力として、根拠モデルパラメータ記憶部２０１に記憶されている学習中の根拠モデルパラメータを用いて、根拠＾Ｒを出力する（ステップＳ３０３）。根拠抽出部１１２は、ＥＯＥ文ｓＥＯＥを文ベクトル集合｛ｓｉ｝に追加した上で、図２のステップＳ１０２と同様に、時刻ｔ（ｔ＝０，１，・・・）毎に上記のＳｔｅｐ１～Ｓｔｅｐ４を繰り返し実行する。ただし、根拠となる文の抽出操作argmaxは微分不可であるため、上記のＳｔｅｐ２で文＾ｒｔを抽出する際、根拠抽出部１１２は、gumbel-softmax trickによるサンプリングで根拠となる文＾ｒｔを抽出する。
　具体的には、ｇｉ（ｉ＝１，・・・，ｎ）を一様独立なgumbel分布からサンプリングした確率変数（すなわち、ｕｉ～Uniform（０，１），ｇｉ＝－ｌｏｇ（－ｌｏｇ（ｕｉ））とする。）とする。このとき、根拠抽出部１１２は、時刻ｔに抽出する文＾ｒｔを
Figure JPOXMLDOC01-appb-M000010
 に従って決定する。なお、この式は、所定の第１の分布からのサンプリングによってテキストを抽出することを意味する。より具体的には、根拠スコアと、所定の第２の分布（本実施形態では、一例としてgumbel分布）に従う確率変数との和からなるスコアに基づいてテキストを抽出することを意味する。ただし、根拠スコアとは上記の式中のｌｏｇ（Ｐｒ（ｉ；＾Ｒｔ－１））のことであり、文ｉが回答の根拠となる尤もらしさを表すスコアのことである。
　ここで、上述したように、根拠の抽出操作argmaxは微分不可である。また、文集合の中から文を抽出するためのone-hotベクトルを作成する操作も微分不可である。そこで、後述する損失Ｌの勾配を計算する際（つまり、損失を逆伝播（誤差逆伝搬）する際）には、straight-through gumbel-softmax estimatorをone-hotベクトルの微分値の近似値として用いる。すなわち、one-hotベクトル
Figure JPOXMLDOC01-appb-M000011
 の連続緩和（つまり、離散空間から連続空間への緩和）はτを温度パラメータとして、
Figure JPOXMLDOC01-appb-M000012
 であるため、
Figure JPOXMLDOC01-appb-M000013
 とする。ここで、ｙはｙｉを要素とするベクトルである。
　次に、回答抽出処理部１０２の言語理解部１２１は、根拠＾Ｒと質問Ｑとを入力として、回答モデルパラメータ記憶部２０２に記憶されている学習中の回答モデルパラメータを用いて、ベクトル系列Ｈを出力する（ステップＳ３０４）。なお、言語理解部１２１は、図２のステップＳ１０３と同様の処理を行ってベクトル系列Ｈを出力する。
　次に、回答抽出処理部１０２の回答抽出部１２２は、ベクトル系列Ｈを入力として、回答モデルパラメータ記憶部２０２に記憶されている学習中の回答モデルパラメータを用いて、回答＾Ａを出力する（ステップＳ３０５）。なお、回答抽出部１２２は、図２のステップＳ１０４と同様の処理を行って回答＾Ａを出力する。
　次に、パラメータ学習部１０３は、回答Ａの損失を含む損失Ｌを算出する（ステップＳ３０６）。回答Ａの損失としては、本来は確率分布
Figure JPOXMLDOC01-appb-M000014
 に対応する損失－ｌｏｇＰｒ（Ａ｜Ｐ，Ｑ）を用いることが望ましいが、教師なし学習では、この損失－ｌｏｇＰｒ（Ａ｜Ｐ，Ｑ）の近似である損失ＬＡを用いる。これは、損失ＬＡ＝－ｌｏｇＰｒ（Ａ｜＾Ｒ，Ｑ）は、－ｌｏｇＰｒ（Ａ｜Ｐ，Ｑ）の上限に相当することがJensenの不等式により示されるためである。すなわち、
Figure JPOXMLDOC01-appb-M000015
 となるためである。最後の近似はgumbel-softmax trickによる。
　そして、損失ＬＡと、学習を補助する目的の正則化項ＬＣ、ＬＮ及びＬＥとを用いて、損失Ｌを、Ｌ＝ＬＡ＋λＣＬＣ＋λＮＬＮ＋λＥＬＥとする。ここで、λＣ、λＮ及びλＥはハイパーパラメータである。
　正則化項ＬＣは根拠として抽出した情報が、質問が言及する情報を包含しないことへの罰則を表す。正則化項ＬＣは、
Figure JPOXMLDOC01-appb-M000016
 をそれぞれ質問と根拠の単語埋め込みの系列であるとして、
Figure JPOXMLDOC01-appb-M000017
 により算出される。ここで、ｌＱは質問の長さ、ｌＲは根拠に含まれる全ての文を連携した文の長さである。この正則化項ＬＣは質問中の各単語ｉについて、根拠として抽出された文の中に１単語以上の意味的に近い単語ｊが含まれることを意図している。
　正則化項ＬＮは根拠中に回答が含まれないことへの罰則を表す。正則化項ＬＮは、
Figure JPOXMLDOC01-appb-M000018
 により算出される。ここで、ＳＡ⊂Ｓは回答を含む文の集合、ａｔは回答を含む文のうち時刻ｔに根拠として最も選ばれやすかった文である。この正則化項ＬＮはスコア（文のスコア）の差に活性化関数としてＲｅＬＵ（Rectified Linear Unit）を与えた値
Figure JPOXMLDOC01-appb-M000019
 の時刻に関する最小値である。１回でも回答を含む文が他の文より選ばれやすかった場合、
Figure JPOXMLDOC01-appb-M000020
 となるため、ＬＮ＝０となる。
　また、ＲｅＬＵの代わりに、ランキング問題で使われる損失関数が用いられてもよい。例えば、RankNetの損失関数を用いる場合、正則化項ＬＮは、
Figure JPOXMLDOC01-appb-M000021
 により算出されてもよい。RankNetについては、例えば、参考文献２「C. Burges, T. Shaked, E. Renshaw, A. Lazier, M. Deeds, N. Hamilton, and G. N. Hullender. Learning to rank using gradient descent. In ICML, pp. 89-96, 2005.」等を参照されたい。
　なお、根拠中に回答が含まれない場合、Cross-Entropy損失によって損失ＬＡを計算することができない。このため、根拠中に回答が含まれない場合は、損失ＬＡを計算する前に、
Figure JPOXMLDOC01-appb-M000022
 が根拠＾Ｒに追加される。
　正則化項ＬＥは強化学習等でよく用いられるエントロピー正則化であり、
Figure JPOXMLDOC01-appb-M000023
 により算出される。この正則化項ＬＥは１時刻における根拠となる文の抽出に関する負のエントロピーに相当する。エントロピーを大きくすることで文の抽出の探索範囲を広げ、学習を安定させる効果がある。
　次に、パラメータ学習部１０３は、上記のステップＳ３０６で算出した損失Ｌを用いて根拠モデルパラメータ及び回答モデルパラメータを学習する（ステップＳ３０７）。すなわち、パラメータ学習部１０３は、損失Ｌの値及びその勾配を算出し、損失Ｌの値が最小となるように根拠モデルパラメータ及び回答モデルパラメータを更新する。
　次に、パラメータ学習部１０３は、訓練データセット中の全ての訓練データが処理対象として選択されたか否かを判定する（ステップＳ３０８）。未だ処理対象として選択されていない訓練データが存在する場合（ステップＳ３０８でＮＯ）、パラメータ学習部１０３は、ステップＳ３０１に戻る。これにより、訓練データセット中の全ての訓練データに対して上記のステップＳ３０１～ステップＳ３０７が実行される。
　一方で、訓練データセット中の全ての訓練データが処理対象として選択された場合（ステップＳ３０８でＹＥＳ）、パラメータ学習部１０３は、収束条件を満たすか否かを判定する（ステップＳ３０９）。収束条件を満たす場合（ステップＳ３０９でＹＥＳ）は、パラメータ学習部１０３は学習処理を終了する。一方で、収束条件を満たさない場合（ステップＳ３０９でＮＯ）は、パラメータ学習部１０３は、訓練データセット中の全ての訓練データが処理対象として選択されていないものとした上で、ステップＳ３０１に戻る。ここで、収束条件としては、例えば、上記のステップＳ３０１～ステップＳ３０７が処理された回数（反復回数）が所定の回数以上となったこと等が挙げられる。
　以上により、学習（教師なし学習）時における質問応答装置１０は、参照テキストＰと質問Ｑと正解回答Ａとが含まれる訓練データを入力として（つまり、正解根拠Ｒを入力しなくても）、根拠モデルパラメータ及び回答モデルパラメータを学習することができる。なお、教師なし学習では学習の安定のため、事前学習を行うことが好ましい。正解根拠Ｒが存在する場合には、上述した教師あり学習を事前学習とすればよい。一方で、正解根拠Ｒが存在しない場合には、疑似的な正解根拠を用いて半教師あり学習で事前学習を行えばよい。このような疑似的な正解根拠は、例えば、文の根拠らしさを表すラベルを各文に付与した上で、このラベルの値が所定の閾値以上となる文の集合とすればよい。このラベルの値は任意の式で決定すればよいが、例えば、文と質問のTF-IDF類似度等を用いることができる。また、回答を含む文集合ＳＡに含まれる文のうちの少なくとも１つ文が、疑似的な正解根拠に含まれるようにする。
　＜評価＞
　以下、本実施形態の評価について説明する。
　　（データセット）
　正解根拠（つまり、根拠の教師データ）を持つデータセットであるHotpotQAを用いて評価した。HotpotQAでは、質問ＱはWikipedia中の２段落に跨る内容を問うように作成される。参照テキストＰは当該２段落を繋げたテキストとした。出力は回答Ａと根拠Ｒである。回答Ａは回答ラベル｛ｙｅｓ，ｎｏ，ｓｐａｎ｝のいずれかと回答区間（回答範囲）である。回答区間は、回答ラベルが'ｓｐａｎ'のときのみ存在する。よって、回答モデルでは回答区間の分類に加えて回答ラベルの分類も行なった。質問Ｑが２段落に跨る内容を問う質問に限定されているため、根拠Ｒは２文以上となる。以降では、便宜上、根拠Ｒに含まれる文のうち、回答Ａを含む文を回答文、回答を含まないが回答するために必要な文を補助文と呼ぶ。なお、HotpotQAについては、例えば、参考文献３「Z. Yang, P. Qi, S. Zhang, Y. Bengio, W. W. Cohen, R. Salakhutdinov, and C. D. Manning. HotpotQA: A dataset for diverse, explainable multi-hop question answering. In EMNLP, pp. 2369-2380, 2018.」等を参照されたい。
　　（実験設定）
　本評価では、BERTBaseを用いた３つの手法を比較した。ベースラインモデルは根拠モデルなしのモデルであり、回答モデルに直接参照テキストＰと質問Ｑとを入力する。本実施形態の手法としては、教師あり学習と、教師あり学習の後に教師なし学習を行った追加学習とを評価した。教師あり学習ではバッチサイズを６０、エポック数を３、最適化手法をAdam、学習率を５ｅ－５とし、教師なし学習ではエポック数を１、学習率を５ｅ－６、τを０．００１、λＣを０、λＮを１、λＥを０．００１として、ＧＰＵ（Graphics Processing Unit）を用いて学習を行った。
　　（評価と議論）
　以上のデータセットと実験設定で実験を行った場合における回答と根拠の評価結果を以下の表１に示す。
Figure JPOXMLDOC01-appb-T000024
 　上記の表１はＥＭ（Exact match）／Ｆ１の評価結果を表している。
　また、解釈可能な機械読解モデルと追加学習（教師あり学習＋教師なし学習）の有効性検証のため、以下の（ａ）～（ｃ）のリサーチクエスチョンについて議論する。
　（ａ）本実施形態の手法は回答精度の向上に貢献するか
　回答精度に関して、本実施形態の手法（教師あり学習、追加学習）はベースラインの性能を上回った。特にベースラインの性能を上回ったことで、回答モデルの前に根拠モデルを用いる解釈可能な機械読解モデルが、回答モデル単体に比べて精度よく回答できることを確認した。これは、根拠モデルが不要なテキストを取り除く効果があり、回答モデルでの推論が容易になるためであると考えられる。
　また、追加学習によって回答精度がさらに向上することを確認した。これは、追加学習によって回答モデルが正答しやすい根拠を根拠モデルが学習したためであると考えられる。
　（ｂ）追加学習で根拠モデルの挙動がどう変化したか
　教師あり学習と追加学習での根拠の出力の変化を以下の表２に示す。
Figure JPOXMLDOC01-appb-T000025
 　上記の表２に示されるように、教師あり学習ではPrecisionを重視して文を抽出しているが、追加学習ではRecall重視に傾向が変化している。また、抽出する文数の増加は平均で１．２５文である。
　Recall重視に変わった理由を調査するため、根拠文の種類（回答文、補助文）別でRecallを評価した。その評価結果を以下の表３に示す。
Figure JPOXMLDOC01-appb-T000026
 　教師あり学習では、回答文が補助文よりも抽出されやすかった。これは、質問文（質問Ｑ）が回答文の表現を流用することが多いためであると考えられる。
　追加学習でRecallが増大した理由は、回答の損失ＬＡと根拠に回答がないことの罰則を表す正則化項ＬＮとに求めることができる。上記の表３において、追加学習では回答文より補助文の方が選ばれやすくなっている。正則化項ＬＮには回答文を選びやすくする効果しかないため、損失ＬＡが根拠の抽出の変化に寄与していることがわかる。本結果は、回答モデルが回答するにあたって根拠が過剰であることよりも不足することの方が悪影響であることを、根拠モデルが回答の損失ＬＡから学習していることを示唆している。
　（ｃ）追加学習で回答モデルの挙動がどう変化したか
　回答モデル単体としての性能を評価するため、根拠の予測結果で開発データを４つのドメイン「全て」、「完全一致」、「過剰」、「不足」に分類して評価を行った。「全て」は全ての開発データのドメイン、「完全一致」は教師あり学習と追加学習とで根拠の抽出結果＾Ｒが真の根拠Ｒに対して完全一致（Ｒ＝＾Ｒ）したデータのドメイン、「過剰」は教師あり学習と追加学習とで根拠の抽出結果＾Ｒが真の根拠Ｒに対して過剰（Ｒは＾Ｒの真部分集合）となったデータのドメイン、「不足」は教師あり学習と追加学習とで根拠の抽出結果＾Ｒが真の根拠Ｒに対して不足（＾ＲはＲの真部分集合）なったデータのドメインである。回答ラベルが'ｓｐａｎ'かつ回答文を抽出していないサンプルでは回答が不可能であるため、分析に用いなかった。このときの評価結果を以下の表４に示す。
Figure JPOXMLDOC01-appb-T000027
 　上記の表４はＥＭ／Ｆ１の評価結果を表している。
　追加学習では、全てのドメインで性能が向上している。これは、根拠モデルがRecall重視になったこととは別に、回答モデル単体で見た場合も追加学習によって性能が向上したことを示している。追加学習では回答モデルの入力が予測した根拠になるため、推論時に近い状況でロバストに学習ができるため、精度よく回答ができると考えられる。
　　（本実施形態の手法の貢献）
　本実施形態では、解釈可能な機械読解モデルを定義し、教師なし学習での学習手法を初めて提案した。
　また、本実施形態では、解釈可能な機械読解モデルと追加学習での学習の性能を評価した。回答モデルのみを使う通常の機械読解モデルに比べて、解釈可能な機械読解モデルは前段で根拠の抽出を行うことで精度が向上することを確認した。更に、追加学習では、回答モデル及び根拠モデルそれぞれで回答精度が改善する学習が進んでいることが確認できた。
　機械読解モデルを解釈可能にすることで、例えば、ユーザに納得感を与えることができる、ソースを明示化でき事実検証が可能になる、のように従来の機械読解が抱える社会的問題を解決することができる。また、本実施形態で説明した追加学習をスクラッチからの教師なし学習に拡張することで、根拠の教師データを持たないデータセットでも根拠を抽出することが可能となる。
　なお、本実施形態では、根拠モデルで根拠を抽出した後、回答モデルで回答を抽出したが、より一般には、第１のモデルで第１の部分文字列を抽出（又は検索）した後、第２のモデルで第１の部分文字列から所定の条件に基づいて第２の部分文字列を抽出する処理で実現される任意のタスクに適用可能である。例えば、第１のモデルで文章から段落を検索し、第２のモデルで段落に対して読解（回答抽出等）を行う、等のタスクにも適用可能である。
　＜ハードウェア構成＞
　最後に、本実施形態に係る質問応答装置１０のハードウェア構成について、図７を参照しながら説明する。図７は、本実施形態に係る質問応答装置１０のハードウェア構成の一例を示す図である。
　図７に示すように、本実施形態に係る質問応答装置１０は一般的なコンピュータ又はコンピュータシステムで実現され、入力装置３０１と、表示装置３０２と、外部Ｉ／Ｆ３０３と、通信Ｉ／Ｆ３０４と、プロセッサ３０５と、メモリ装置３０６とを有する。これらの各ハードウェアは、それぞれがバス３０７を介して通信可能に接続されている。
　入力装置３０１は、例えば、キーボードやマウス、タッチパネル等である。表示装置３０２は、例えば、ディスプレイ等である。なお、質問応答装置１０は、入力装置３０１及び表示装置３０２のうちの少なくとも一方を有していなくてもよい。
　外部Ｉ／Ｆ３０３は、外部装置とのインタフェースである。外部装置には、記録媒体３０３ａ等がある。質問応答装置１０は、外部Ｉ／Ｆ３０３を介して、記録媒体３０３ａの読み取りや書き込み等を行うことができる。記録媒体３０３ａには、質問応答装置１０が有する各機能部（根拠抽出処理部１０１、回答抽出処理部１０２及びパラメータ学習部１０３）を実現する１以上のプログラムが格納されていてもよい。
　なお、記録媒体３０３ａには、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等がある。
　通信Ｉ／Ｆ３０４は、質問応答装置１０が通信ネットワークに接続するためのインタフェースである。なお、質問応答装置１０が有する各機能部を実現する１以上のプログラムは、通信Ｉ／Ｆ３０４を介して、所定のサーバ装置等から取得（ダウンロード）されてもよい。
　プロセッサ３０５は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ等の各種演算装置である。質問応答装置１０が有する各機能部は、例えば、メモリ装置３０６に格納されている１以上のプログラムがプロセッサ３０５に実行させる処理により実現される。
　メモリ装置３０６は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の各種記憶装置である。質問応答装置１０が有する根拠モデルパラメータ記憶部２０１及び回答モデルパラメータ記憶部２０２は、例えば、メモリ装置３０６を用いて実現可能である。なお、根拠モデルパラメータ記憶部２０１及び回答モデルパラメータ記憶部２０２のうちの少なくとも一方の記憶部が、質問応答装置１０と通信ネットワークを介して接続される記憶装置（例えば、データベースサーバ等）を用いて実現されていてもよい。
　本実施形態に係る質問応答装置１０は、図７に示すハードウェア構成を有することにより、上述した推論処理や教師あり学習処理、教師なし学習処理を実現することができる。なお、図７に示すハードウェア構成は一例であって、質問応答装置１０は、他のハードウェア構成を有していてもよい。例えば、質問応答装置１０は、複数のプロセッサ３０５を有していてもよいし、複数のメモリ装置３０６を有していてもよい。
　本発明は、具体的に開示された上記の実施形態に限定されるものではなく、請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。
　１０　　　　質問応答装置
　１０１　　　根拠抽出処理部
　１０２　　　回答抽出処理部
　１０３　　　パラメータ学習部
　１１１　　　言語理解部
　１１２　　　根拠抽出部
　１２１　　　言語理解部
　１２２　　　回答抽出部
　２０１　　　根拠モデルパラメータ記憶部
　２０２　　　回答モデルパラメータ記憶部

Claims (7)

  1. 　テキストと、前記テキストに関連する質問とを入力として、第１のニューラルネットワークのモデルパラメータを用いて、前記テキストに含まれる文字列が前記質問に対する回答の根拠となる尤もらしさを表す根拠スコアを算出し、前記根拠スコアをパラメータとして持つ所定の分布からのサンプリングによって、前記回答の根拠となる文字列の集合を示す第１の集合を前記テキストから抽出する根拠抽出手段と、
    　前記質問と、前記第１の集合とを入力として、第２のニューラルネットワークのモデルパラメータを用いて、前記回答を前記第１の集合から抽出する回答抽出手段と、
    　前記回答と前記質問に対する真の回答との間の第１の損失と連続緩和とを用いて誤差逆伝搬により勾配を計算することで、前記第１のニューラルネットワークのモデルパラメータと前記第２のニューラルネットワークのモデルパラメータとを学習する第１の学習手段と、
    　を有することを特徴とする学習装置。
  2. 　前記第１の学習手段は、
    　前記根拠抽出手段により抽出された文字列が表す情報が、前記質問が言及する情報を包含しないことへの罰則に関する項と、前記根拠抽出手段により抽出された文字列中に前記回答が含まれないことへの罰則に関する項とが含まれる損失関数により前記第１の損失を計算する、ことを特徴とする請求項１に記載の学習装置。
  3. 　前記根拠抽出手段は、
    　前記テキストと、前記テキストに関連する質問と、前記質問に対する回答の正解根拠である文字列の集合を示す第２の集合とを入力として、前記第１のニューラルネットワークのモデルパラメータを用いて、前記第１の集合に含まれる文字列を、前記第２の集合から抽出し、
    　前記学習装置は、前記第１の集合と前記第２の集合との間の第２の損失を用いて、前記第１のニューラルネットワークのモデルパラメータを学習すると共に、前記回答と前記真の回答との間の第３の損失を用いて、前記第２のニューラルネットワークのモデルパラメータを学習する第２の学習手段を更に有し、
    　前記第１の学習手段による学習は前記第２の学習手段による学習の後に行われる、ことを特徴とする請求項１又は２に記載の学習装置。
  4. 　テキストと、前記テキストに関連する質問とを入力として、第１のニューラルネットワークのモデルパラメータを用いて、前記質問に対する回答の根拠となる文字列の集合を前記テキストから抽出する根拠抽出手段と、
    　前記質問と、前記集合とを入力として、第２のニューラルネットワークのモデルパラメータを用いて、前記回答を前記集合から抽出する回答抽出手段と、
    　を有することを特徴とする情報処理装置。
  5. 　テキストと、前記テキストに関連する質問とを入力として、第１のニューラルネットワークのモデルパラメータを用いて、前記テキストに含まれる文字列が前記質問に対する回答の根拠となる尤もらしさを表す根拠スコアを算出し、前記根拠スコアをパラメータとして持つ所定の分布からのサンプリングによって、前記回答の根拠となる文字列の集合を示す第１の集合を前記テキストから抽出する根拠抽出手順と、
    　前記質問と、前記第１の集合とを入力として、第２のニューラルネットワークのモデルパラメータを用いて、前記回答を前記第１の集合から抽出する回答抽出手段と、
    　前記回答と前記質問に対する真の回答との間の第１の損失と連続緩和とを用いて誤差逆伝搬により勾配を計算することで、前記第１のニューラルネットワークのモデルパラメータと前記第２のニューラルネットワークのモデルパラメータとを学習する第１の学習手順と、
    　をコンピュータが実行することを特徴とする学習方法。
  6. 　テキストと、前記テキストに関連する質問とを入力として、第１のニューラルネットワークのモデルパラメータを用いて、前記質問に対する回答の根拠となる文字列の集合を前記テキストから抽出する根拠抽出手順と、
    　前記質問と、前記集合とを入力として、第２のニューラルネットワークのモデルパラメータを用いて、前記回答を前記集合から抽出する回答抽出手順と、
    　をコンピュータが実行することを特徴とする情報処理方法。
  7. 　コンピュータを、請求項１乃至３の何れか一項に記載の学習装置における各手段、又は、請求項４に記載の情報処理装置における各手段、として機能させるためのプログラム。
PCT/JP2020/009806 2020-03-06 2020-03-06 学習装置、情報処理装置、学習方法、情報処理方法及びプログラム WO2021176714A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2020/009806 WO2021176714A1 (ja) 2020-03-06 2020-03-06 学習装置、情報処理装置、学習方法、情報処理方法及びプログラム
JP2022504937A JP7452623B2 (ja) 2020-03-06 2020-03-06 学習装置、情報処理装置、学習方法、情報処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/009806 WO2021176714A1 (ja) 2020-03-06 2020-03-06 学習装置、情報処理装置、学習方法、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2021176714A1 true WO2021176714A1 (ja) 2021-09-10

Family

ID=77613967

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/009806 WO2021176714A1 (ja) 2020-03-06 2020-03-06 学習装置、情報処理装置、学習方法、情報処理方法及びプログラム

Country Status (2)

Country Link
JP (1) JP7452623B2 (ja)
WO (1) WO2021176714A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220245322A1 (en) * 2021-01-29 2022-08-04 Salesforce.Com, Inc. Machine-learning based generation of text style variations for digital content items

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019220142A (ja) * 2018-06-18 2019-12-26 日本電信電話株式会社 回答学習装置、回答学習方法、回答生成装置、回答生成方法、及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6721179B2 (ja) 2016-10-05 2020-07-08 国立研究開発法人情報通信研究機構 因果関係認識装置及びそのためのコンピュータプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019220142A (ja) * 2018-06-18 2019-12-26 日本電信電話株式会社 回答学習装置、回答学習方法、回答生成装置、回答生成方法、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220245322A1 (en) * 2021-01-29 2022-08-04 Salesforce.Com, Inc. Machine-learning based generation of text style variations for digital content items
US11694018B2 (en) * 2021-01-29 2023-07-04 Salesforce, Inc. Machine-learning based generation of text style variations for digital content items

Also Published As

Publication number Publication date
JPWO2021176714A1 (ja) 2021-09-10
JP7452623B2 (ja) 2024-03-19

Similar Documents

Publication Publication Date Title
Obamuyide et al. Zero-shot relation classification as textual entailment
Weston et al. Memory networks
CN111914067B (zh) 中文文本匹配方法及系统
JP7247878B2 (ja) 回答学習装置、回答学習方法、回答生成装置、回答生成方法、及びプログラム
Schuster et al. Humpty dumpty: Controlling word meanings via corpus poisoning
Liang et al. Distractor generation with generative adversarial nets for automatically creating fill-in-the-blank questions
JP7276498B2 (ja) 情報処理装置、情報処理方法及びプログラム
Lebret Word embeddings for natural language processing
JPWO2019106965A1 (ja) 情報処理装置、情報処理方法、及びプログラム
Nassiri et al. Arabic L2 readability assessment: Dimensionality reduction study
CN112581327A (zh) 基于知识图谱的法律推荐方法、装置和电子设备
Shah et al. Simple App Review Classification with Only Lexical Features.
Jeon et al. Dropout prediction over weeks in MOOCs via interpretable multi-layer representation learning
WO2021176714A1 (ja) 学習装置、情報処理装置、学習方法、情報処理方法及びプログラム
EP4030355A1 (en) Neural reasoning path retrieval for multi-hop text comprehension
Seilsepour et al. Self-supervised sentiment classification based on semantic similarity measures and contextual embedding using metaheuristic optimizer
Zhao et al. Finding answers from the word of god: Domain adaptation for neural networks in biblical question answering
Mahmoodvand et al. Semi-supervised approach for Persian word sense disambiguation
Sen et al. Support-BERT: predicting quality of question-answer pairs in MSDN using deep bidirectional transformer
JP6899973B2 (ja) 意味関係学習装置、意味関係学習方法、及び意味関係学習プログラム
Arifin et al. Automatic essay scoring for Indonesian short answers using siamese Manhattan long short-term memory
WO2022079826A1 (ja) 学習装置、情報処理装置、学習方法、情報処理方法及びプログラム
WO2018066083A1 (ja) 学習プログラム、情報処理装置および学習方法
US20220318230A1 (en) Text to question-answer model system
Mustar et al. IRnator: A Framework for Discovering Users Needs from Sets of Suggestions

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20922654

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022504937

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 17908898

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20922654

Country of ref document: EP

Kind code of ref document: A1