WO2020004136A1 - 質問応答装置及びコンピュータプログラム - Google Patents

質問応答装置及びコンピュータプログラム Download PDF

Info

Publication number
WO2020004136A1
WO2020004136A1 PCT/JP2019/024059 JP2019024059W WO2020004136A1 WO 2020004136 A1 WO2020004136 A1 WO 2020004136A1 JP 2019024059 W JP2019024059 W JP 2019024059W WO 2020004136 A1 WO2020004136 A1 WO 2020004136A1
Authority
WO
WIPO (PCT)
Prior art keywords
question
vector
answer
questions
type
Prior art date
Application number
PCT/JP2019/024059
Other languages
English (en)
French (fr)
Inventor
鍾勲 呉
健太郎 鳥澤
カナサイ クルンカライ
ジュリアン クロエツェー
龍 飯田
諒 石田
仁彦 淺尾
Original Assignee
国立研究開発法人情報通信研究機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人情報通信研究機構 filed Critical 国立研究開発法人情報通信研究機構
Priority to US17/252,809 priority Critical patent/US20210326675A1/en
Publication of WO2020004136A1 publication Critical patent/WO2020004136A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Definitions

  • the present invention relates to a question answering apparatus, and more particularly, to a question answering apparatus that presents a highly accurate answer to a How-type question.
  • the use of a question answering system that outputs an answer to a question given by a user using a computer is expanding.
  • the factoid-type question is a question to which "what" such as a place name, a person name, a date and time, a quantity, etc. is answered. In short, the answer is given in words.
  • the non-factoid type question is a question to which other than "what", for example, the reason, definition, method, etc., can be answered.
  • the answers to non-factoid questions are relatively long sentences or passages consisting of several sentences.
  • the How-type question answering system uses a technology for extracting answers to How-type questions from a large number of documents prepared in advance.
  • the How-type question answering system is considered to play a very important role in artificial intelligence, natural language processing, information retrieval, Web mining, data mining, and the like.
  • Non-Patent Document 1 On the other hand, recently, in order to store more information in a neural model, in Non-Patent Document 1 described later, Memory @ Network in which a memory is attached to a neural network has been proposed, and "Machine @ comprehension" and “Question for knowledge base” Response "task. Further, a non-patent document 2 proposes a key-value ⁇ memory ⁇ network which is an improvement of the Memory ⁇ Network in order to store various types of information in a memory.
  • Non-Patent Document 2 causes information to be stored in a memory as a key-value pair, and the result of processing each pair on the memory is combined as related information. Used for answer generation. By making good use of this, you may be able to improve the accuracy of answers to How-type questions.
  • the information stored in the memory as a value contains a lot of noise, the related information obtained from this memory is biased by the noise, and the accuracy of the answer is low. Problem arises.
  • a knowledge base that is prepared in advance is used as a knowledge base for obtaining an answer, and noise and the like are not considered. Therefore, when the background knowledge includes noise, the accuracy of the answer is significantly reduced. It is necessary to eliminate such adverse effects of noise as much as possible.
  • an object of the present invention is to provide a question answering apparatus that can reduce the influence of noise in answer generation and generate answers with high accuracy in a How-type question answering system using Key-value ⁇ memory ⁇ network.
  • the question answering apparatus converts a How type question into a plurality of questions of different types, and extracts background knowledge to be an answer from a predetermined background knowledge source for each of the plurality of questions.
  • Background knowledge extraction means, and answer storage means configured to normalize a vector expression of answers included in the set of answers extracted by the background knowledge extraction means and store the normalized vector expression in association with each of the plurality of questions as a normalized vector
  • An updating unit for updating the question vector using the normalized vector, and an answer determining unit for determining an answer candidate for the How-type question based on the question vector updated by the updating unit are included.
  • the updating unit includes a first association calculating unit configured to calculate an association between the question vector and each of the vector expressions of the plurality of questions, and a weighted sum of the normalized vectors stored in the answer storing unit. Is calculated using the relevance calculated by the first relevance calculating means for the question corresponding to the normalized vector as a weight, and a linear relation between the first weighted sum vector and the question vector is calculated.
  • First question vector updating means for updating the question vector by the sum.
  • the first relevance calculating means includes an inner product means for calculating the relevance by an inner product between the question vector and the vector expression of each of the plurality of questions.
  • the question answering device further calculates a second degree of association between the updated question vector output by the first question vector updating means and a vector expression of each of the plurality of questions.
  • a second weighted sum vector composed of a weighted sum of the normalized vectors stored in the answer storage means, and a relevance calculated by the second relevance calculation means for the question corresponding to the normalized vector.
  • a second question vector updating means for outputting a renewed question vector obtained by further updating the updated question vector by a linear sum of the second weighted sum vector and the question vector.
  • the updating means is formed by a neural network whose parameters are determined by training.
  • the question answering apparatus uses, for a set of answers extracted by the background knowledge extracting means, tfidf (term frequency – inverse document frequency) of a word that appears in the set, Word importance calculating means for calculating an index indicating the degree, and for each of a plurality of questions used for extracting background knowledge, the index calculated by the word importance calculating means for each word included in the question is an element.
  • an attention unit for calculating an attention matrix to generate a vector expression by multiplying the answer candidate by the attention matrix and inputting the vector expression to the answer estimation unit.
  • the computer program according to the second aspect of the present invention causes a computer to function as any one of the above-described question answering devices.
  • FIG. 1 is a schematic diagram showing the configuration of the central part of key-value @ memory @ network described in Non-Patent Document 2.
  • FIG. 2 is a schematic diagram illustrating background knowledge related to tools used by the question answering system according to the embodiment of the present invention.
  • FIG. 3 is a schematic diagram for explaining background knowledge on causality used by the question answering system according to the embodiment of the present invention.
  • FIG. 4 is a schematic diagram showing a process of generating “what” type questions and “why” type questions from How type questions in the question answering system according to the embodiment of the present invention.
  • FIG. 5 is a schematic diagram showing that noise can be stored as a value in key-value @ memory in the question answering system.
  • FIG. 1 is a schematic diagram showing the configuration of the central part of key-value @ memory @ network described in Non-Patent Document 2.
  • FIG. 2 is a schematic diagram illustrating background knowledge related to tools used by the question answering system according to the embodiment of the present invention.
  • FIG. 3 is a schematic diagram for explaining background knowledge
  • FIG. 6 is a schematic diagram for explaining a process for obtaining the configuration of the central part of chunked key-value memory memory in the question answering system according to the embodiment of the present invention.
  • FIG. 7 shows a functional configuration of a question answering system employing a chunked ⁇ key-value ⁇ memory @network consisting of one layer (one hop) for explaining the configuration of the question answering system 380 according to the embodiment of the present invention. It is a block diagram.
  • FIG. 8 is a block diagram showing a functional configuration of the background knowledge extracting unit shown in FIG.
  • FIG. 9 is a block diagram showing a functional configuration of the question encoder shown in FIG.
  • FIG. 10 is a block diagram showing a functional configuration of the answer candidate encoder shown in FIG. FIG.
  • FIG. 11 is a block diagram illustrating a functional configuration of the attention calculation unit illustrated in FIG.
  • FIG. 12 is a block diagram showing a functional configuration of the background knowledge encoder shown in FIG.
  • FIG. 13 is a block diagram showing a functional configuration of the key / value memory access unit shown in FIG.
  • FIG. 14 is a block diagram showing a functional configuration of a question answering system employing a chunked ⁇ key-value ⁇ memory ⁇ network including three layers (three hops) according to the embodiment of the present invention.
  • FIG. 15 is a diagram showing, in a table format, results of experiments performed on the system shown in FIG. 14 in comparison with other systems.
  • FIG. 16 is an external view of a computer that realizes the question answering system according to each embodiment of the present invention.
  • FIG. 17 is a hardware block diagram showing the internal configuration of the computer shown in FIG.
  • the "tool-purpose relationship” and the "causal relationship” are used as background knowledge for specifying answers.
  • the present invention is not limited to such an embodiment. If the field of the question is known, the relationship according to the field may be used.
  • the background knowledge thus obtained is further stored in “chunked key-value memory memory network” obtained by developing key-value memory memory network, and is used for generating an answer.
  • a “what” type question and a “why” type question are generated from an input question, and the existing question answering system (at least “what” type question and “why” type question ), And a plurality of answers are obtained for each question.
  • ⁇ Key-value ⁇ memory 150 includes a key memory 174 and a value memory 176.
  • the set of the question and the answer obtained in this way are stored in a one-to-one relationship. More specifically, each question is stored in key memory 174, and each corresponding answer is stored in value memory 176. These memories are refreshed each time a new question is input.
  • all questions and answers are all converted into vector expressions having continuous values as elements.
  • matching 172 is performed between the question 170 and each question stored in the key memory 174.
  • the matching is a process of calculating an index of the degree of association between the vectors, and typically an inner product between the vectors is adopted as the index.
  • a weighted sum 178 of the vectors representing each answer is calculated.
  • This weighted sum 178 becomes the background knowledge 180 for the given question 170.
  • the question 170 is updated using a predetermined function. By this update, at least a part of the information represented by the background knowledge is incorporated into the question 170.
  • the matching processing, the processing for obtaining the weighted sum, and the updating processing are repeated a plurality of times.
  • a predetermined calculation is performed between the finally obtained question and the answer candidate, and a score (typically, a probability) indicating whether the answer candidate is correct as an answer to the question 170 is output.
  • this process is a classification problem into two classes of “correct answer class” and “wrong answer class”, and the probability that the answer candidate belongs to each class is output as a score.
  • the answer candidates are sorted in descending order of the score, and the first answer candidate is output as the final answer to the HOW type question.
  • Such a relation can be automatically obtained from the base text by obtaining a semantic relation between the nouns by using a pattern (this can be performed using an existing technology). That is, the relationship between the product B and the tool (material) A can be automatically obtained by searching for a pattern such as "Make B with A".
  • a given How-type question is converted to a "what" question in order to acquire knowledge of the "tool / purpose” relationship.
  • the converted "what” question is input to an existing "what" type question answering system which is practically used by the applicant.
  • the original sentence of the answer obtained from this system is used as a knowledge source of "tool-purpose relationship”. For example, a How-type question, “ How to make potato chips at home?” Can be converted to a “ what ” question, “Why do you make potato chips at home?”.
  • This "what” question is input to the "what” type question answering system, and the answer "potato" and the original sentence of the answer (for example, " I made potato chips with potatoes received from my dad's home” ) Is obtained.
  • a causal relationship indicating the reason why a tool is used for a certain purpose is also used as clue information. For example, referring to Fig. 3, " cut potatoes are exposed to water for about an hour (consequence). The reason is that by exposing the starch to water to dissolve the starch, crispy potato chips can be made ( cause The sentence 220 is described as a causal relationship between the portion 232 responsible for exposing the potatoes to water and the portion 230 representing its consequences. That is, this sentence includes contextual information that matches part 234 of answer 222 of the question " How to make potato chips?" Such contextual information is used as a knowledge source to specify the answers to How-type questions.
  • a How type question 250 (for example, “How to make potato chips at home?”) Is a “What” type question 252 and a “Why” type question 254. And convert to These are then given as inputs to the "what” type question answering system 256 and the "why” type question answering system 258, respectively.
  • the existing answering system can answer both the “what” type question 252 and the “why” type question 254, the “what” type question answering system 256 and the “why” type question answering system 258 are the same. It is good also as a system of.
  • an answer group 260 is obtained from the "what" type question answering system 256, and an answer group 262 is obtained from the "why" type question answering system 258.
  • These can be used as a tool and purpose relationship knowledge source and a causal relationship knowledge source, respectively.
  • answers 290, 292, and 294 are obtained for a “what” type question 280, and an answer 296, in addition to the answers 290, 292, and 294, for the “what” type question 282.
  • answers 298 and 300 are obtained.
  • answers 290 and 292 are useful as background knowledge of How type questions, but answers 294, 296, 298 and 300 are meaningless as background knowledge of How type questions. That is, it is noise. It is difficult to obtain accurate answers to How-type questions unless the effects of such information are eliminated as much as possible.
  • Non-Patent Document 2 has a problem that such a situation is not considered.
  • a tool / objective relationship and a causal relationship are normalized for each question used to obtain the information, and a neural network called chunked key-value memory memory network is used to specify the answer.
  • Adopt a model.
  • the normalization means that when a plurality of answers are obtained for one question, an average of them is used as the answer to the question.
  • chunked key-value memory 320 is employed instead of key-value memory 150 shown in FIG.
  • the chunked key-value memory 320 includes a key memory 330 and a value memory 332, like the key-value memory 150.
  • the key memory 330 similarly to FIG. 1, the question as Key Canada (eg question q 1 and q 2) are stored. value in memory 332, similar to that shown in FIG. 1, answers group 352 for Answer group 350 and questions q 2 to the question q 1 is stored.
  • the chunked key-value memory 320 differs from the key-value memory 150 shown in FIG. 1 in that the chunked key-value memory 320 includes an averaging unit 334 that calculates an average answer by averaging the answers to the same question. That is, as shown in FIG. 6, an answer vector obtained by averaging the answers a 1 to a 3 included in the answer group 352 for the question q 1 is calculated, and the answer vector for the question q 2 is included in the answer group 350.
  • An answer vector is calculated by averaging the answers a 1 to a 6 . For these answers vectors, it calculates the weighted sum 336 by multiplying the calculated weights for the question q 1 and q 2, as a result, background knowledge 338 for a given HOW type question is obtained. In order to perform such an operation, all questions and answers must be converted into vector expressions.
  • This chunked key-value memory network can be regarded as an improved version of the key-value memory network disclosed in Non-Patent Document 2.
  • chunked key-value set M ⁇ (k i, v i ⁇ ) of the pair memory320 the stored query (key) and answers (value) key chunks as shown in the following equation Into a set C.
  • V j collected value that is a key k'j paired with a value (response)
  • to calculate the chunk c j is the average of answers corresponding to each key k'j.
  • W m v ⁇ R d' ⁇ d'and W m k ⁇ R d' ⁇ d' is a matrix with the elements of the value determined by both training (this embodiment as described below is realized by a neural network ).
  • m is called the number of hops, and indicates the number of repetitions of reading from the key chunk and updating of the query.
  • c m j is the time of the m-th of the update, a chunk that has been calculated for the key k'j.
  • d ′ is the number of dimensions of the vector output from each CNN.
  • the degree of association between the input question and each question of the chunked @ key-value @ memory @ network is calculated, and the weight is used for each question.
  • a weighted sum of the averages (chunks) of the answers is obtained, and a predetermined operation is performed with respect to the original question to update the question.
  • a predetermined operation is performed between the question finally obtained by performing this processing one or more times and the answer candidate, and a label or probability indicating whether the answer candidate is correct as an answer to the original question is obtained.
  • the question answering apparatus for the How-type question of each embodiment described below is an end-to-end except for a part that obtains background knowledge from another question answering system and stores it in chunked key-value memory memory network.
  • one layer corresponds to one hop.
  • question answering system 380 receives question 390, generates “what” type question and “why” type question from question 390, and creates an existing factoid
  • a reason knowledge extraction unit 396 for extracting background knowledge by giving those questions to the question-type question answering system 394 is included.
  • the background knowledge here is a set of pairs of a question given to the background knowledge extraction unit 396 and an answer obtained from the factoid / why-type question answering system 394 for the question.
  • the question answering system 380 further stores a background knowledge storage section 398 for temporarily storing the background knowledge extracted by the background knowledge extraction section 396, and each question and answer constituting the background knowledge stored in the background knowledge storage section 398. And an encoder 406 for converting the word embedding vector sequence into a vector and converting the word embedding vector sequence into a vector.
  • the question answering system 380 further converts the question 390 into a word-embedded vector sequence, an encoder 402 for further converting the vector into a vector, and an answer candidate 392 for converting the candidate answer 392 into a word-embedded vector sequence and further converting the same into a vector.
  • An encoder 404 and a key-value memory 420 that stores the background knowledge vectorized by the encoder 406.
  • the key-value memory 420 is a channeled key-value memory memory network, and a query is performed using the question vector and the background knowledge stored in the key-value memory 420.
  • a predetermined operation is performed between the first layer 408 for updating and outputting the vector, the updated question vector output from the first layer 408, and the vector of the answer candidate 392 output from the encoder 404, and the answer candidate 390 belongs to the correct class and the wrong class that is wrong.
  • the key / value memory 420 is configured to normalize a vector expression of an answer included in a set of answers extracted from a background knowledge source for each of a plurality of different questions and store the normalized vector as a normalized vector, as described later. ing.
  • FIG. 8 shows a schematic configuration of the background knowledge extracting unit 396 shown in FIG.
  • background knowledge extracting section 396 generates a “what” type question from question 390 and provides it to factoid / why type question answering system 394, and outputs the answer from factoid / why type question answering system 394.
  • a “what” type question generator 480 stores each answer and a “what” type question in the background knowledge storage unit 398 and generates a “why” type question from the question 390 to obtain a factoid / why type.
  • a "why" type question is given to the question answering system 394, the answer is obtained from the factoid / why type question answering system 394, and each answer is paired with the "why" type question and stored in the background knowledge storage unit 398. And a generation unit 482.
  • the “what” type question generation unit 480 and the “why” type question generation unit 482 generate one or a plurality of questions, respectively, if possible, and provide one or more answers for each of them to a factoid / why type question. Obtained from the response system 394.
  • encoder 402 shown in FIG. 7 receives question 390, and converts each word constituting question 390 into a word embedding vector to output word embedding vector sequence 502. And a convolutional neural network (CNN) 504 for receiving the word embedding vector sequence 502, converting it into a question vector 506 (vector q), and outputting it.
  • CNN convolutional neural network
  • Each parameter of the CNN 504 is subject to training of the question answering system 380.
  • a vector trained in advance is used as the vector converter 500. In this embodiment and the second embodiment described later, all the vectors output from the CNN have the same dimension.
  • encoder 404 shown in FIG. 7 receives answer candidate 392, converts each word into a word embedding vector, and outputs word embedding vector sequence 522; Based on background knowledge stored in background knowledge storage section 398 shown in FIG. 7, attention calculation section 524 for outputting an attention matrix 526 having as an element the degree of association between each word embedding vector and question 390, and word embedding section 524.
  • An arithmetic unit 528 for performing an operation to be described later on the embedded vector sequence 522 and the attention matrix 526 to output an attention-added vector sequence 530 composed of an attention-embedded word embedding vector, and an attention-added vector sequence 530 as an input.
  • a CNN 532 for receiving and converting to an answer candidate vector 534 (vector p) for output.
  • the parameters of the CNN 532 are also trained by the question answering system 380.
  • the vector conversion unit 520 has been trained in advance.
  • attention calculation section 524 shown in FIG. 10 determines, for each word w represented by word embedding vector sequence 522 output from vector conversion section 520, “what” stored in background knowledge storage section 398.
  • a first normalized tfidf calculation unit 550 for calculating a normalized tfidf based on the answer group to the "type” question, and a normalized tfidf based on the answer group to the "why" type question And a second normalized tfidf calculation unit 552.
  • the first normalized tfidf calculation unit 550 includes a tfidf calculation unit 570 for calculating tfidf for each word w represented by the word embedding vector sequence 522 output from the vector conversion unit 520 using the following equation (3).
  • Bt indicates a set of pairs of a question and an answer obtained by a “what” type question
  • tf (w, Bt) indicates the word frequency of the word w in the set Bt.
  • Df (w) represent the document frequency of the word w in the corpus D for answer search held by the factoid / why type question answering system 2, and
  • the second normalized tfidf calculating unit 552 calculates tfidf for calculating tfidf by the following equation (5) for each word w represented by the word embedding vector sequence 522 output from the vector converting unit 520.
  • Bc indicates a set of question and answer pairs obtained by the “why” type question.
  • the attention matrix 526 shown in FIG. 10 is a matrix in which the element obtained by Expression (4) is the first row and the element obtained by Expression (6) is the second row. Let the attention matrix 526 be the attention matrix A.
  • the operation unit 528 shown in FIG. 10 performs the following operation on the word vector sequence Xp, and outputs a vector sequence with attention to Xp with attention (the symbol " ⁇ " is described immediately above the immediately following character in the formula. ) Is calculated.
  • d represents the number of dimensions of a word embedding vector expressing each word such as a question and an answer used in the embodiment
  • represents the number of words constituting an answer candidate.
  • Wa is a weight matrix of d rows and 2 columns, the parameters of which are training targets.
  • the answer candidate vector ⁇ Xp thus obtained is the vector column with attention 530 shown in FIG.
  • the CNN 532 receives the vector sequence with attention 530 and outputs an answer candidate vector 534 expressing an answer candidate.
  • the parameters of CNN 532 are training targets.
  • encoder 406 shown in FIG. 7 associates a question and its answer with a word embedding vector sequence 602 and a word embedding vector for each pair of a key (question) and its value (answer).
  • the parameters of CNN 604 and CNN 614 are subject to training. As the vector conversion unit 600 and the vector conversion unit 610, those that have been trained in advance are used.
  • the first layer 408 includes a key / value memory 420 for storing background knowledge consisting of a pair of a key (question) and its chunked answer, and a vector representing the question from the encoder 402. And a key / value memory access unit 422 for accessing the key / value memory 420 to extract background knowledge, and a query output from the encoder 402 using a vector representing the background knowledge extracted by the key / value memory access unit 422.
  • update using equation (7) below vector q representing a includes an update unit 424 to output as a vector u 2 where information is embedded representing the background knowledge.
  • a plurality of the same layers as the first layer 408 can be used by overlapping, and the processing by each layer is called a hop.
  • the update unit 424 of each layer is collectively called a controller.
  • the controller can also be realized by a neural network.
  • the m-th hop is called the m-th hop represents the state of the controller after the first m hop u m.
  • m 1. That is, the controller of the state after updating by the first layer 408 becomes u 2.
  • Matrix W m u acting on the linear sum of o m and u m in equation (7) is each hop unique d' ⁇ d'the weighting matrix, a training target.
  • H the number of hops
  • the first layer 408 further uses the vector u 2 and the answer candidate vector p output from the encoder 404 to calculate the probability that the answer candidate belongs to the correct answer class for the question and the wrong answer class by the following equations (8) and (9). , And a logistic regression layer and an output layer 410 using a softmax function.
  • ⁇ y is the predicted label distribution.
  • the matrix Wo is a matrix having 2 rows and 2 ⁇ d ′ + 1 columns, and parameters are determined by training together with the bias vector bo.
  • the key / value memory 420 includes a key memory 440 for storing keys 450 and 452, and a value memory 442 for storing answers 460,..., 462 corresponding to the keys 450 and 452 as values for the keys.
  • FIG. 13 shows a schematic configuration of the key / value memory access unit 422 shown in FIG.
  • key / value memory access unit 422 receives a vector representing question q from encoder 402, accesses key memory 440 of key / value memory 420 shown in FIG.
  • a relevance calculator 632 for calculating an inner product, which is an index of relevance with each key, and normalizing with a softmax function and outputting the result, and relevances r 1 ,..., R n output by the relevance calculator 632
  • a relevance storage unit 636 for temporarily storing the answer, and for each answer vector stored in the value memory 442, chunking for averaging (chunking) the answers to the same question according to equations (1) and (2).
  • the processing unit 638 (corresponding to the averaging unit 334 shown in FIG. 6) and the relevance obtained from the corresponding question stored in the relevance storage unit 636 are used as weights. Multiplied by the average reply vectors chunked by processing unit 638, and a weighted sum calculating unit 640 for calculating the weighted sum o answers by calculating the sum.
  • the question answering system 380 described above operates as follows. There are two operation phases of the question answering system 380, training and inference. First, inference will be explained, and then training will be explained.
  • “what” type question generator 480 converts question 390 into one or more “what” type questions and provides it to factoid / why type question answering system 394, and for each question, Or get multiple answers.
  • the “what” type question generation unit 480 stores each of these answers in the background knowledge storage unit 398 as a pair with the corresponding “what” type question.
  • the "why" type question generator 482 converts the question 390 into one or more "why" type questions and provides it to the factoid / why type question answering system 394 to obtain one or more answers for each.
  • the “why” type question generation unit 482 stores each of these answers in the background knowledge storage unit 398 as a pair with the original “why” type question.
  • the background knowledge storage unit 398 provides each of the question and answer pairs to the encoder 406.
  • the background knowledge storage unit 398 stores tf (w, Bt) from the set of answers to the “what” type question stored in the background knowledge storage unit 398 and tf (w) from the set of answers Bc to the “why” type question. , Bc) are calculated and output to the encoder 404 shown in FIG.
  • encoder 406 converts a question into a word embedding vector sequence 602 by vector conversion unit 600 for each question and answer pair given from background knowledge storage unit 398, and further converts vector 606 by CNN 604. Convert to Similarly, the encoder 406 converts the answer into a word embedding vector sequence 612 by the vector conversion unit 610, and further converts it into a vector 616 by the CNN 614. The encoder 406 stores the pair of the question vector and the answer vector converted in this way in the key / value memory 420.
  • the key corresponding to the “what” type question and the key corresponding to the “why” type question are stored in the key memory 440 of the key / value memory 420, and the value memory 442 is stored in the value memory 442. , 462 paired with these questions are stored.
  • vector conversion section 500 of encoder 402 converts question 390 into word-embedded vector sequence 502 and provides it to CNN 504.
  • the CNN 504 converts the word embedding vector sequence 502 into a question vector 506 and provides it to the key / value memory access unit 422.
  • the encoder 404 shown in FIG. 7 receives the answer candidate 392 and operates as follows. Referring to FIG. 10, vector conversion section 520 converts answer candidate 392 into word embedding vector sequence 522. The word embedding vector sequence 522 is provided to the calculation unit 528 and the attention calculation unit 524.
  • tfidf calculating section 570 of attention calculating section 524 stores tf (w, Bt) calculated from answer set Bt for “what” type question for each word w of the answer candidate in the background knowledge storage. Received from part 398.
  • the tfidf calculating unit 570 also receives
  • the tfidf calculation unit 570 calculates tfidf (w, Bt) from them according to the equation (3) and supplies the tfidf (w, Bt) to the normalization unit 572.
  • Normalization unit 572 the background knowledge memory unit 398 from ⁇ j e tfidf (wj, Bt ) shown in FIG. 7 undergoing a tfidf normalized according to equation (4) assoc (w, B t) each The calculation is performed on the word w and given to the matrix generation unit 554.
  • the tfidf calculating unit 580 and the normalizing unit 582 of the second normalized tfidf calculating unit 552 also use the tf (w, Bt) calculated from the set Bc of answers to the “why” type question, and are similar to the tfidf calculating unit 570. And assoc (w, Bc), which is a normalized tfidf, is given to the matrix generator 554.
  • the matrix generation unit 554 generates a matrix in which these assoc (w, Bt) are arranged in the first row and the assoc (w, Bc) is arranged in the second row, and supplies the matrix to the arithmetic unit 528 as an attention matrix 526 shown in FIG. .
  • the operation unit 528 performs the above-described operation using the attention matrix 526 on the word embedding vector sequence 522 from the vector conversion unit 520 to generate an attention-added vector sequence 530, and provides it to the CNN 532.
  • the $ CNN 532 outputs an answer candidate vector 534 in response to this input and gives it to the input of the output layer 410.
  • relevance calculating section 632 receiving question vector q from encoder 402 calculates the inner product of each key (question vector of background knowledge) stored in key memory 440 and question vector q. By taking this, an index of the degree of association between the question q and each question vector of the background knowledge is calculated, and each degree of association is normalized by a softmax function and stored in the degree-of-association storage unit 636.
  • the chunking processing unit 638 calculates (chunks) the average of the answer vectors for the same question by the equations (1) and (2), and calculates a normalized answer vector. That is, the normalization here refers to obtaining an average of the vectors of each answer. Performing such normalization has the following effects. That is, when the number of answers included in a set of answers extracted for a certain question is large, it is considered that the set includes considerable noise. On the other hand, such a question with a small number of answers is an accurate question, and it is considered that the noise included in the set of answers is small. Therefore, when the set of answers to each question is normalized, the weight of the answer corresponding to noise becomes relatively smaller than the weight of the answer that does not. That is, noise in the background knowledge obtained from the knowledge source can be reduced. Therefore, the probability that the final answer is an accurate answer to the question increases.
  • the weighted sum calculation unit 640 calculates a weighted sum of the answer vectors normalized by the chunking processing unit 638 using the relevance stored in the relevance storage unit 636 as a weight, and updates the weighted sum of the response vectors as a vector o in FIG. 424.
  • updating section 424 performs an operation between question vector q (u 1 ) and vector o (o 1 ) received from encoder 402 according to equation (7), and the resulting vector u 2 to the input of the output layer 410.
  • the output layer 410 performs a calculation by the equation (8) between the answer candidate vector with attention provided from the encoder 404 and the updated question vector u provided from the updating unit 424, and outputs the result. This result is a determination result of whether the answer candidate 392 is a correct answer to the question 390.
  • ⁇ Training> In the question answering system 380, processing after the encoders 402, 404, and 406 is realized by a neural network. First, a large number of pairs of questions and answer candidates for the questions are collected, and each pair is used as a training sample. Both positive and negative examples are prepared as training samples. A positive example means that the answer candidate is a correct answer to the question, and a negative example means that it is not. Positive and negative examples are distinguished by a label attached to each training sample. The parameters of the neural network are initialized by a known method.
  • a question and an answer candidate of the training sample are given to the encoders 402 and 406 as the question 390 and the answer candidate 392.
  • the question answering system 380 executes the same processing as the above-described inference processing on these, and outputs the result from the output layer 410.
  • the result is a probability between 0 and 1 that the answer candidate belongs to the correct answer class and the probability that the answer candidate belongs to the wrong answer class.
  • the error between the label (0 or 1) and this output is calculated, and the parameters of the question answering system 380 are updated by the error backpropagation method.
  • the above process is performed for all training samples, and as a result, the degree of the answer accuracy of the question answering system 380 is verified using a separately prepared verification data set. If the change in the accuracy of the verification result is larger than a predetermined threshold, the training is performed again on all the training samples. The training ends when the change in accuracy falls below the threshold. Training may be ended when the number of repetitions reaches a predetermined threshold.
  • a question answering system 660 according to the second embodiment has the same structure as question answering system 380 shown in FIG. And the third layer 672. Since these structures are similar to first layer 408, description thereof will not be repeated here.
  • the output u 1 of the update unit 424 of the first layer 408 is given to the update unit and the key-value memory access unit of the second layer 670.
  • the output u 2 of the updating of the second layer 670 is provided to the update unit and the key-value memory access unit of the third layer 672.
  • the output u 3 of the update unit of the third layer 672 similar to the output of the updating unit 424 of the first layer 408 in the first embodiment are given to the output layer 410.
  • a controller 680 is formed by these update units.
  • the operation of the question answering system 660 according to the second embodiment differs from the operation of the question answering system 660 in that not only the first layer 408 but also the second layer 670 and the third layer 672 are processed during inference and training. This is the same as in the first embodiment. Therefore, the detailed description will not be repeated here.
  • Base represents a system that performs answer determination using a neural network using only questions and answers.
  • Base + BK is a system in which Base is provided with background knowledge acquired in the same manner as in the above embodiments. However, unlike the memory network, no processing is performed for the question.
  • Base + KVMs represents a system using KVMs proposed in Non-Patent Document 2 for processing background knowledge.
  • Base + cKVMs is a system corresponding to the question answering system 660 of the second embodiment.
  • P @ 1 is the accuracy of the top answer
  • MAP represents the average of the accuracy of the top 20 answers.
  • Base + BK showed an improvement of +6.8 points at P @ 1 and an improvement of +6.1 points at MAP over Base. Therefore, it can be seen that the background knowledge proposed in the above embodiment is effective in the HOW type question answering. Furthermore, compared to Base + KVMs, Base + cKVMs showed an improvement of +5.2 points at P @ 1 and MAP showed an improvement of +2.5 points. Therefore, it was found that the accuracy can be further improved by using cKVMs instead of KVMs.
  • Each functional unit of the question answering system 380 and the question answering system 660 according to each of the above embodiments is executed by computer hardware and a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit) on the hardware. And the program to be executed.
  • FIGS. 16 and 17 show computer hardware for realizing each of the above devices and systems.
  • the GPU is usually used for performing image processing, and such a technique of using the GPU for normal arithmetic processing instead of image processing is referred to as GPGPU (General-purpose computing on graphics processing units).
  • the GPU can execute a plurality of operations of the same type in parallel.
  • the weight calculation of each node is a simple product-sum operation, and they can be simultaneously executed in a massively parallel manner.
  • a large amount of calculations need to be performed, but they can also be executed in massively parallel. Therefore, a computer equipped with a GPGPU is suitable for training and inference of the neural networks constituting the question answering system 380 and the question answering system 660.
  • the computer system 830 includes a computer 840 having a memory port 852 and a DVD (Digital Versatile Disk) drive 850, a keyboard 846, a mouse 848, and a monitor 842.
  • DVD Digital Versatile Disk
  • the computer 840 stores a CPU 856 and a GPU 858, a bus 866 connected to the CPU 856, the GPU 858, the memory port 852 and the DVD drive 850, a boot program, and the like.
  • a ROM 860 which is a read-only memory for storing
  • a random access memory (RAM) 862 which is a computer-readable storage medium connected to the bus 866 and stores program instructions, system programs, work data, and the like, and a hard disk 854.
  • the computer 840 is further connected to a bus 866 and provides a network interface (I / F) 844 that provides a connection to a network 868 that enables communication with other terminals, and inputs and outputs audio signals to and from the outside. And an audio I / F 870.
  • I / F network interface
  • a program for causing the computer system 830 to function as each functional unit of each device and system according to the above-described embodiment is a DVD 872 which is a computer-readable storage medium mounted on the DVD drive 850 or the memory port 852.
  • the data is stored in the removable memory 864 and further transferred to the hard disk 854.
  • the program may be transmitted to computer 840 via network 868 and stored on hard disk 854.
  • the program is loaded into the RAM 862 at the time of execution.
  • the program may be directly loaded from the DVD 872 to the RAM 862 from the removable memory 864 or via the network 868.
  • the data required for the above processing is stored at a predetermined address such as a register in the hard disk 854, the RAM 862, the CPU 856 or the GPU 858, processed by the CPU 856 or the GPU 858, and stored at an address designated by the program.
  • the parameters of the neural network finally trained are stored, for example, on the hard disk 854 together with a program for realizing the neural network training and inference algorithm, or stored in the DVD 872 or the removable memory 864 via the DVD drive 850 and the memory port 852, respectively. Or stored.
  • the data is transmitted to another computer or a storage device connected to the network 868 via the network I / F 844.
  • This program includes an instruction sequence including a plurality of instructions for causing the computer 840 to function as each device and system according to the above embodiment. Numerical processing in each of the above devices and systems is performed using the CPU 856 and the GPU 858. Although only the CPU 856 may be used, the use of the GPU 858 is faster. Some of the basic functions required to cause the computer 840 to perform this operation include an operating system or third party program running on the computer 840 or various dynamically linkable programming toolkits or programs installed on the computer 840. Provided by the library. Therefore, the program itself does not necessarily include all the functions necessary to realize the system, apparatus, and method of the present embodiment.
  • the program described above can be implemented by dynamically calling, at run time, the appropriate functions or appropriate programs in a programming toolkit or program library in a controlled manner to obtain a desired result of the instructions, It is only necessary to include only instructions for realizing the functions of the device or the method. Of course, all necessary functions may be provided only by the program.
  • the present invention improves the interface of a computer so that the computer can provide accurate answers to various questions posed by the user in a natural language, such as manufacturing goods, providing services, and research issues. It makes the stored information and the computing functions of the computer more accessible and can be used to improve work efficiency, product and service quality in many industries.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Computational Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

回答生成におけるノイズの影響を低下させ、高精度に回答を生成できる質問応答装置用メモリは、互いに異なる複数の質問の各々について、所定の背景知識源から抽出された回答の集合に含まれる回答のベクトル表現を正規化し正規化ベクトルとして記憶するよう構成されたメモリ４２０と、質問をベクトル化した質問ベクトルが与えられたことに応答してメモリ４２０をアクセスし、当該質問ベクトルと複数の質問との間の関連度と、複数の質問の各々に対応する正規化ベクトルとを用いて質問ベクトルを更新するキー・バリューメモリアクセス部４２２とを含む。

Description

質問応答装置及びコンピュータプログラム
　この発明は質問応答装置に関し、特に、How型質問に対して高精度な回答を提示する質問応答装置に関する。
　コンピュータにより、ユーザから与えられた質問に対して回答を出力する質問応答システムの利用が広がりつつある。質問には、ファクトイド型質問とノン・ファクトイド型質問とがある。ファクトイド型質問とは、地名、人名、日時、数量等、「何」にあたるものが回答となる質問である。端的には回答は単語で与えられる。ノン・ファクトイド型質問とは、それ以外、例えば理由、定義、方法等、「何」とはいえないものが回答となる質問である。ノン・ファクトイド型質問の回答は、比較的長い文又はいくつかの文からなるパッセージとなる。
　ファクトイド型質問に対する回答を提供する質問応答システムについては、クイズ番組で人間の回答者を破るようなものも現れており、高い精度で高速に回答可能なものが多い。一方、ノン・ファクトイド型質問はさらに「Why型質問」、「How型質問」等に分類される。この中でHow型質問に対する回答をコンピュータにより得ることは、コンピュータサイエンスの分野でも高度な自然言語処理が必要とされる、非常に困難なタスクであると認識されてきた。ここで、How型質問とは、「どうやって家でポテトチップスを作るのか？」のように何らかの目的を達成するための方法を尋ねる質問のことである。
　How型質問応答システムは、予め準備された大量の文書からHow型質問に対する回答を抽出する技術を用いる。How型質問応答システムは、人工知能、自然言語処理、情報検索、Webマイニング、及びデータマイニング等において非常に大きな役割を担うものと考えられる。
　How型質問の回答は、複数文からなることが多い。例えば、上記の質問「どうやって家でポテトチップスを作るのか？」に対する回答としては「最初にじゃがいもを洗い、皮をむきます。そしてスライサー等で薄く切ります。それを水に軽く浸けデンプンを軽く落とします。キッチンペーパーで水気を落とした後、油で２度揚げします。」のようなものがあり得る。How型質問に対する回答は一連の行動・事象を表すことが必要となるためである。一方、How型質問の回答を得るための手掛かりは、「最初に」、「～後」等の順序を表す表現以外にはほとんど見つけることができない。したがって、How型質問に対して何らかの手段により高い精度で回答できる質問応答システムが望まれている。
　一方、最近、ニューラルモデルにより多くの情報を記憶させるため、後掲の非特許文献１において、ニューラルネットワークにメモリを付けたMemory Networkが提案され、「Machine comprehension」と「知識ベースを対象にした質問応答」のタスクに用いられてきた。さらに、多様な形の情報をメモリに保存させるためにこのMemory Networkを改良したKey-value memory networkが後掲の非特許文献２において提案された。
Sukhbaatar, S., Szlam, A.,Weston, J., and Fergus, R. (2015). End-to-end memory networks. In NIPS, 2015. Alexander Miller, Adam Fisch, Jesse Dodge, Amir-Hossein Karimi, Antoine Bordes, and Jason Weston. 2016. Key-value memory networks for directly reading documents. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pages 1400-1409.
　How型質問の回答を特定する従来技術はいずれも機械訓練による分類器を採用している。これらのうち、ニューラルネットワークを使わず、SVM等の機械訓練器を使ったものは低性能である。また、ニューラルネットワークを使っているノン・ファクトイド型質問応答技術に関しても、性能にはさらに改善の余地がある。
　性能を改善するために、非特許文献２に開示されたKey-value memory networkは、情報をkey-value対としてメモリに保存させ、メモリ上の各々の対を処理した結果を合わせて関連情報として回答生成に利用する。これをうまく利用することにより、How型質問に対する回答の精度を高められる可能性がある。しかし、現在のKey-value memory networkでは、valueとしてメモリに記憶された情報にノイズが多く含まれている場合、このメモリから得られる関連情報がノイズによって偏った値になり、回答の精度が低くなるという問題が発生する。上記した非特許文献２では、回答を得るための知識ベースとして予め整備されたものを用いており、ノイズ等については考慮していない。そのため、背景知識にノイズが含まれる場合には回答の精度が著しく低下する。このようなノイズの悪影響はできるだけ排除する必要がある。
　それゆえに本発明は、Key-value memory networkを使用したHow型質問応答システムにおいて、回答生成におけるノイズの影響を低下させ、高精度に回答を生成できる質問応答装置を提供することを目的とする。
　本発明の第１の局面に係る質問応答装置は、How型質問を互いに異なる型式の複数の質問へ変換し、複数の質問の各々について、所定の背景知識源から回答となる背景知識を抽出する背景知識抽出手段と、背景知識抽出手段にて抽出された回答の集合に含まれる回答のベクトル表現を正規化し正規化ベクトルとして複数の質問の各々と対応付けて記憶するよう構成された回答記憶手段と、How型質問をベクトル化した質問ベクトルが与えられたことに応答して回答記憶手段をアクセスし、当該質問ベクトルと複数の質問との間の関連度と、複数の質問の各々に対応する正規化ベクトルとを用いて質問ベクトルを更新する更新手段と、更新手段にて更新された質問ベクトルに基づき、How型質問に対する回答候補を判定する回答判定手段とを含む。
　好ましくは、更新手段は、質問ベクトルと、複数の質問の各々のベクトル表現との間の関連度を算出する第１の関連度算出手段と、回答記憶手段に記憶された正規化ベクトルの加重和からなる第１の加重和ベクトルを、当該正規化ベクトルに対応する質問について第１の関連度算出手段が算出した関連度を重みとして算出し、当該第１の加重和ベクトルと質問ベクトルとの線形和により、質問ベクトルを更新するための第１の質問ベクトル更新手段とを含む。
　より好ましくは、第１の関連度算出手段は、質問ベクトルと、複数の質問の各々のベクトル表現との間の内積により関連度を算出する内積手段を含む。
　さらに好ましくは、質問応答装置は、さらに、第１の質問ベクトル更新手段が出力する更新後の質問ベクトルと、複数の質問の各々のベクトル表現との間の関連度を算出する第２の関連度算出手段と、回答記憶手段に記憶された正規化ベクトルの加重和からなる第２の加重和ベクトルを、当該正規化ベクトルに対応する質問について第２の関連度算出手段が算出した関連度を重みとして計算し、当該第２の加重和ベクトルと質問ベクトルとの線形和により、更新後の質問ベクトルをさらに更新した再更新後の質問ベクトルを出力するための第２の質問ベクトル更新手段とを含む。
　好ましくは、更新手段は、訓練によりパラメータが決定されるニューラルネットワークにより形成される。
　より好ましくは、質問応答装置は、背景知識抽出手段にて抽出された回答の集合について、当該集合中に出現する単語のｔｆｉｄｆ（term frequency & #8211;inverse document frequency）を用い、各単語の重要度を示す指標を算出する単語重要度算出手段と、背景知識の抽出に用いられた複数の質問の各々について、当該質問に含まれる各単語に対して単語重要度算出手段が算出した指標を要素とするアテンション行列を算出するためのアテンション手段と、をさらに含み、回答候補にアテンション行列を乗じてベクトル表現を生成し、回答推定手段に入力する。
　本発明の第２の局面に係るコンピュータプログラムは、コンピュータを、上記したいずれかの質問応答装置として機能させる。
　この発明の上記した特徴及びその他の特徴、解釈、及び利点は後記する実施の形態の説明を図面とともに読むことによりさらによく理解できるだろう。
図１は非特許文献２に記載されたkey-value memory networkの中心部の構成を示す模式図である。 図２は本発明の実施の形態に係る質問応答システムが使用する、道具関係に関する背景知識を説明する模式図である。 図３は本発明の実施の形態に係る質問応答システムが使用する、因果関係に関する背景知識を説明する模式図である。 図４は本発明の実施の形態に係る質問応答システムにおいて、How型質問から「何」型質問と「なぜ」型質問とが生成される過程を示す模式図である。 図５は、質問応答システムにおいてkey-value memoryにvalueとしてノイズが記憶され得ることを示す模式図である。 図６は、本発明の実施の形態に係る質問応答システムにおける、chunked key-value memory networkの中心部の構成を得るための過程を説明するための模式図である。 図７は、本発明の実施の形態に係る質問応答システム３８０の構成を説明するための、１層（１ホップ）からなるchunked key-value memory networkを採用した質問応答システムの機能的構成を示すブロック図である。 図８は、図７に示す背景知識抽出部の機能的構成を示すブロック図である。 図９は、図７に示す質問のエンコーダの機能的構成を示すブロック図である。 図１０は、図７に示す回答候補のエンコーダの機能的構成を示すブロック図である。 図１１は、図１０に示すアテンション算出部の機能的構成を示すブロック図である。 図１２は、図７に示す背景知識のエンコーダの機能的構成を示すブロック図である。 図１３は、図７に示すキー・バリューメモリアクセス部の機能的構成を示すブロック図である。 図１４は、本発明の実施の形態に係る３層（３ホップ）からなるchunked key-value memory networkを採用した質問応答システムの機能的構成を示すブロック図である。 図１５は、図１４に示すシステムについて行った実験結果を他のシステムと比較して表形式で示す図である。 図１６は、本発明の各実施の形態に係る質問応答システムを実現するコンピュータの外観図である。 図１７は、図１６に示すコンピュータの内部構成を示すハードウェアブロック図である。
　以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰返さない。
　以下に説明する各実施の形態では、大規模なテキストコーパスから獲得した「道具・目的関係」及び「因果関係」を回答特定のための背景知識として用い、How型質問の回答を判定する新たなニューラルモデルを提案する。How型質問に対する回答を得る、というタスクにおいて、背景知識を利用することは今まで検討されたことがない。非特許文献２に記載されたシステムでは、key-value memory networkには知識源から生成したデータが記憶される。このデータのうちキーは主体（主語）＋関係、値は客体（目的語）であるが、これらの情報は予め所定のフォーマットにしたがって知識という形で整形しておかなければならない。
　なお、上記した様に以下の実施の形態では「道具・目的関係」及び「因果関係」を回答特定のための背景知識として用いている。しかし本発明はそのようは実施の形態には限定されない。質問の分野が分かっているような場合には、その分野にあわせた関係を用いるようにしてもよい。
　本実施の形態ではさらに、こうして得た背景知識をkey-value memory networkを発展させた「chunked key-value memory network」に記憶させ、回答生成に利用する。
　以下、まず、質問応答システムを、非特許文献２による質問応答システムの基本的考え方を採用して実現する場合について説明する。後述するように本実施の形態では、入力された質問から「何」型質問と「なぜ」型質問とを生成し、既存の質問応答システム（少なくとも「何」型質問と「なぜ」型質問とに応答可能であるもの）に与え、その回答を各質問について複数個得る。
　例えば、図１を参照して、質問１７０（「どうやって家でポテトチップスを作る？」）が与えられたものとする。この質問１７０からは「何で家でポテトチップスを作る？」という「何」型質問ｑ１と、「なぜ家でポテトチップスを作る？」という「なぜ」型質問ｑ２とが得られる。これらを既存の質問応答システムに与え、質問ｑ１に対して回答ａ１～ａ３が得られ、質問ｑ２に対して回答ａ１～質問ａ６が得られたものとする。
　Key-value memory１５０はkeyメモリ１７４とvalueメモリ１７６とを含む。Key-value memory１５０には、このようにして得られた質問と回答の組が互いに１対１に関連付けられて記憶される。より具体的には、各質問はkeyメモリ１７４に、対応する各回答はvalueメモリ１７６に記憶される。なおこれらのメモリは、新たな質問が入力される度にリフレッシュされる。
　なお、後述するように以下の説明では、全ての質問及び回答はいずれも連続値を要素とするベクトル表現に変換されている。質問１７０が与えられると、質問１７０とkeyメモリ１７４に記憶された各質問との間でマッチング１７２が行われる。ここでのマッチングはベクトル同士の関連度の指標を計算する処理であり、典型的にはベクトル間の内積が指標として採用される。この内積の値を各回答の重みとして、各回答を表すベクトルの加重和１７８が計算される。この加重和１７８が、与えられた質問１７０に対する背景知識１８０となる。この背景知識１８０を用いて質問１７０を所定の関数を用いて更新する。この更新により、質問１７０に背景知識の表す情報の少なくとも一部が組込まれる。後述するようにこのマッチング処理、加重和を求める処理、及び更新処理は複数回だけ繰返される。最終的に得られた質問と、回答候補との間で所定の計算がされ、その回答候補が質問１７０に対する回答として正しいか否かを示すスコア（典型的には確率）が出力される。典型的には、この処理は「正解クラス」と「誤答クラス」の２クラスへの分類問題となり、回答候補が各クラスに属する確率がスコアとして出力される。回答候補をスコアの降順でソートし、先頭の回答候補がHOW型質問に対する最終的な回答として出力される。
　［背景知識の獲得］
　How型質問の回答には、質問された目的を達成するための一連の行動・事象が方法として書かれている。これらの行動・事象は何らかの道具を用いて行われる場合が多い。例えば、図２を参照して、上記例での質問「どうやって家でポテトチップスを作るのか？」の回答２０２の中には、「じゃがいも」、「スライサー」、「水」、「キッチンペーパー」、「油」がポテトチップスを作るための道具として使われている。このため、「じゃがいも(道具）でポテトチップスを作る(目的)」のような「道具・目的」関係はHow型質問の回答特定のための手がかりとして用いることができる。こうした関係は、もととなるテキストから、パターンによる名詞間の意味的関係の獲得（これには既存技術を利用できる）によって自動的に獲得できる。すなわち、製品Ｂと道具（材料）Ａとの間の関係を「ＡでＢを作る」というようなパターンを検索することによって自動獲得できる。
　以下の実施の形態では、「道具・目的」関係の知識を獲得するため、与えられたHow型質問を「何で」質問に変換する。そして、変換した「何で」質問を出願人が実用化している既存の「何」型質問応答システムに入力する。このシステムから得られた回答の元文を「道具・目的関係」の知識源として用いる。例えば、How型質問である「どうやって家でポテトチップスを作るのか？」は、「何で」質問である「何で家でポテトチップスを作るのか？」に変換できる。この「何で」質問を「何」型質問応答システムに入力して、回答「じゃがいも」、とその回答の元文（例えば、「パパの実家からいただいた、じゃがいもで、ポテトチップスを作りました」）が得られる。そして、「何で」質問と回答の元文からなる対を「どうやってポテトチップスを作るのか？」に対する「道具・目的」関係を表す知識源として用いる。なお、これら質問の変換方法を複数通り採用しても良いことはいうまでもない。つまり、１つのHOW型質問から２つ以上の「何」型質問又は「なぜ」型質問を生成し既存の質問応答システムからそれらの回答を得るようにしてもよい。
　また、ある目的で何らかの道具が使われる理由を表す因果関係も手がかり情報として用いられる。例えば、図３を参照して、「切ったじゃがいもは１時間ほど水にさらします（帰結）。その理由は水にさらしてでんぷんを溶け出させることで、カリッとしたポテトチップスが作れるため（原因）ためです。」という文２２０は、じゃがいもを水にさらす理由を原因となる部分２３２とその帰結を表す部分２３０との間の因果関係として説明している。すなわち、この文は質問「どうやってポテトチップスを作るのか？」の回答２２２の一部２３４と合致する文脈情報を含む。こういった文脈情報はHow型質問の回答を特定するための知識源として用いられる。
　以下の実施の形態では、上記の因果関係を獲得するため、How型質問を「なぜ」型質問に変換して出願人が実用化している「なぜ」型質問応答システムに入力する。この「なぜ」型質問に対して得られた回答をHow型質問に適合した因果関係の知識源として用いる。
　以上をまとめると、図４を参照して、以下の実施の形態では、How型質問２５０（例えば「どうやって家でポテトチップスを作る？」）を「何」型質問２５２と「なぜ」型質問２５４とに変換する。そしてこれらを「何」型質問応答システム２５６と「なぜ」型質問応答システム２５８とに入力としてそれぞれ与える。もちろん、既存の応答システムが「何」型質問２５２と「なぜ」型質問２５４との双方に回答できるものであれば「何」型質問応答システム２５６と「なぜ」型質問応答システム２５８とを同一のシステムとしてもよい。さらに、こうした処理の結果、「何」型質問応答システム２５６から回答群２６０が得られ、「なぜ」型質問応答システム２５８から回答群２６２が得られる。これらをそれぞれ道具・目的関係の知識源及び因果関係の知識源として用いることができる。
　上記の方法で得られた道具・目的関係又は因果関係を表すテキストからは、How型質問に対する回答を得る上で有用な情報が得られる。一方で、これらのテキストから得られた情報にはHow型質問と無関係なものが多く含まれる場合もある。これらがノイズである。
　図５を参照して、例えば「何」型質問２８０に対して、回答２９０、２９２及び２９４が得られ、同じく「何」型質問２８２に対して回答２９０、２９２及び２９４に加えて回答２９６、回答２９８及び３００が得られた場合を考える。これらの回答のうち、回答２９０及び回答２９２は、How型質問の背景知識として有用だが、回答２９４、２９６、２９８及び３００はHow型質問の背景知識としては意味がない。すなわちノイズである。こうした情報による影響をできるだけ排除しなければHow型質問に対する精度の高い回答を得ることは難しい。非特許文献２ではこうした状況については配慮されていないという問題がある。
　こういった問題を解決するため、以下の実施の形態では、道具・目的関係及び因果関係の情報をその獲得に用いられた質問毎に正規化し、回答特定にchunked key-value memory networkと呼ぶニューラルモデルを採用する。ここでいう正規化とは、１つの質問に対して複数の回答が得られた場合には、それらを平均したものをその質問に対する回答とすることをいう。
　すなわち、図６を参照して、本実施の形態では、図１に示すKey-value memory１５０に代えてchunked key-value memory３２０を採用する。chunked key-value memory３２０はKey-value memory１５０と同様、keyメモリ３３０とvalueメモリ３３２とを含む。
　keyメモリ３３０には、図１と同様、Keyとして質問（例えば質問ｑ１及びｑ２）が記憶される。valueメモリ３３２には、図１に示したものと同様、質問ｑ１に対する回答群３５０及び質問ｑ２に対する回答群３５２が記憶される。chunked key-value memory３２０が図１に示すKey-value memory１５０と異なるのは、同じ質問に対する回答をそれぞれ平均化した平均回答を算出する平均処理部３３４を含む点である。すなわち、図６に示すように質問ｑ１に対しては回答群３５２に含まれる回答ａ１～回答ａ３を平均した回答ベクトルが算出され、質問ｑ２に対しては回答群３５０に含まれる回答ａ１～回答ａ６を平均した回答ベクトルが算出される。これら回答ベクトルに対し、質問ｑ１及びｑ２に対して計算された重みを乗じて加重和３３６が計算され、その結果、与えられたHOW型質問に対する背景知識３３８が得られる。なお、こうした演算を行うためには、質問及び回答は全てベクトル表現に変換しておかなければならない。このchunked key-value memory networkは非特許文献２に開示されたkey-value memory networkの改良版と見ることができる。
　一般に、ある質問に対して多くの回答が得られるような場合、その回答にはノイズが多く含まれると考えられる。一方、質問に対する回答の数が少ない場合には、その回答に含まれるノイズは少ないと考えられる。こうした状況を無視して、的確な回答にもノイズとしての回答にも同じ重みを乗じて加重和を計算した場合には、ノイズの影響が大きくなってしまうという問題がある。それに対し、上記したようにある質問に対する回答を平均化すると、回答数が多かった質問における各回答の重みは、回答数が少なかった質問における各回答の重みと比較するとより小さな重みしか与えられないことになる。したがって、結果としてこれらについてさらに加重和を計算した場合、得られるものに含まれるノイズの影響は相対的に小さくなり、最終的に得られる回答も的確なものとなる可能性が高い。
　なお、具体的には、chunked key-value memory３２０に記憶された質問（key）と回答（value）のペアの集合Ｍ＝｛（ｋｉ,ｖｉ｝）を以下の式に示されるとおりキーチャンクの集合Ｃに変換する。すなわち、ある値のキーｋ´ｊとペアになっている値（回答）を集め集合Ｖｊを形成し、各キーｋ´ｊに対応する回答の平均であるチャンクｃｊを計算する。
Figure JPOXMLDOC01-appb-M000001
 ただしＷｍ ｖ∈Ｒｄ´×ｄ´及びＷｍ ｋ∈Ｒｄ´×ｄ´はいずれも訓練により定まる値を要素に持つ行列である（後述するようにこの実施形態はニューラルネットワークにより実現される）。ｍはホップ数と呼ばれ、キーチャンクからの読出と質問の更新とが行われた繰返し数を示す。ｃｍ ｊはｍ回目の更新時の、キーｋ´ｊに対して計算されたチャンクである。ただしｄ´は各ＣＮＮの出力するベクトルの次元数である。
　以下に説明する本発明の各実施の形態では、Key-value memory networkと同様、入力された質問とchunked key-value memory networkの各質問との関連度を計算し、それを重みとして各質問に対する回答の平均（チャンク）の加重和を求め、もとの質問との間で所定の演算を行って質問を更新する。この処理を１又は複数回行って最終的に得られた質問と、回答候補との間で所定の演算をし、回答候補がもとの質問に対する回答として正しいか否かを示すラベル又は確率を出力する。この回数がホップ数ｍである。以下に説明する第１の実施の形態ではｍ＝１であり、第２の実施の形態ではｍ＝３である。
　後述するように以下に述べる各実施の形態のHow型質問に対する質問応答装置は、背景知識を他の質問応答システムから得てchunked key-value memory networkに記憶する部分を除き、end-to-endのニューラルネットワークで実現できる。このニューラルネットワークでは、１層が１ホップに相当する。
　［第１の実施の形態］
　＜構成＞
　本発明の実施の形態を分かりやすく説明するために、まず中間層が１層のみである質問応答システムについて構成を説明する。図７を参照して、第１の実施の形態に係る質問応答システム３８０は、質問３９０を受けて、質問３９０から「何」型質問と「なぜ」型質問とを生成し、既存のファクトイド・なぜ型質問応答システム３９４にそれらの質問を与えることにより背景知識を抽出するための背景知識抽出部３９６を含む。ここでいう背景知識は、背景知識抽出部３９６に与えられた質問と、その質問に対してファクトイド・なぜ型質問応答システム３９４から得られた回答とのペアの集合である。
　質問応答システム３８０はさらに、背景知識抽出部３９６により抽出された背景知識を一旦記憶するための背景知識記憶部３９８と、背景知識記憶部３９８に記憶された背景知識を構成する各質問及び回答を単語埋込ベクトル列に変換し、さらにこれら各単語埋込ベクトル列をベクトルに変換する処理を行うエンコーダ４０６とを含む。
　質問応答システム３８０はさらに、質問３９０を単語埋込ベクトル列に変換し、さらにベクトルに変換するためのエンコーダ４０２と、回答候補３９２を単語埋込ベクトル列に変換し、さらにベクトルに変換するためのエンコーダ４０４と、エンコーダ４０６によりベクトル化された背景知識を記憶するchanked key-value memory networkであるキー・バリューメモリ４２０を持ち、質問ベクトルとキー・バリューメモリ４２０に記憶された背景知識を用いて質問ベクトルを更新し出力する第１レイヤ４０８と、第１レイヤ４０８の出力する更新後の質問ベクトルと、エンコーダ４０４の出力する回答候補３９２のベクトルとの間で所定の演算を行い、回答候補が質問３９０に対する回答として正しい正解クラスと誤答である誤答クラスとに属する確率をそれぞれ出力するための出力層４１０とを含む。キー・バリューメモリ４２０は、後述するように、互いに異なる複数の質問の各々について、背景知識源から抽出された回答の集合に含まれる回答のベクトル表現を正規化し正規化ベクトルとして記憶するよう構成されている。
　図８は、図７に示す背景知識抽出部３９６の概略構成を示す。図８を参照して、背景知識抽出部３９６は、質問３９０から「何」型質問を生成してファクトイド・なぜ型質問応答システム３９４に与え、ファクトイド・なぜ型質問応答システム３９４からのその回答を得て、各回答と「何」型質問とをペアにして背景知識記憶部３９８に記憶させる「何」型質問生成部４８０と、質問３９０から「なぜ」型質問を生成してファクトイド・なぜ型質問応答システム３９４に与え、ファクトイド・なぜ型質問応答システム３９４からその回答を得て、各回答と「なぜ」型質問とをペアにして背景知識記憶部３９８に記憶させるための「なぜ」型質問生成部４８２とを含む。「何」型質問生成部４８０及び「なぜ」型質問生成部４８２では、それぞれ１又は可能であれば複数個の質問をそれぞれ生成し、それらの各々について１又は複数の回答をファクトイド・なぜ型質問応答システム３９４から得る。
　図９を参照して、図７に示すエンコーダ４０２は、質問３９０を受け、質問３９０を構成する各単語を単語埋込ベクトルに変換して単語埋込ベクトル列５０２を出力するためのベクトル変換部５００と、単語埋込ベクトル列５０２を受けて質問ベクトル５０６（ベクトルｑ）に変換し出力するためのコンボリューショナル・ニューラルネットワーク（ＣＮＮ）５０４とを含む。ＣＮＮ５０４の各パラメータは、質問応答システム３８０の訓練の対象である。ベクトル変換部５００としては予め訓練済のものを用いる。なお、この実施の形態及び後述の第２の実施の形態の各々において、ＣＮＮの出力するベクトルは全て同一次元である。
　図１０を参照して、図７に示すエンコーダ４０４は、回答候補３９２を受け、その各単語を単語埋込ベクトルに変換して単語埋込ベクトル列５２２を出力するためのベクトル変換部５２０と、図７に示す背景知識記憶部３９８に記憶された背景知識に基づき、各単語埋込ベクトルと質問３９０との関連度を要素とするアテンション行列５２６を出力するためのアテンション算出部５２４と、単語埋込ベクトル列５２２とアテンション行列５２６に対し後述する演算を行ってアテンションが付された単語埋込ベクトルからなるアテンション付ベクトル列５３０を出力するための演算部５２８と、アテンション付ベクトル列５３０を入力として受け、回答候補ベクトル５３４（ベクトルｐ）に変換して出力するためのＣＮＮ５３２とを含む。ＣＮＮ５３２のパラメータも質問応答システム３８０の訓練の対象である。ベクトル変換部５２０は予め訓練済である。
　図１１を参照して、図１０に示すアテンション算出部５２４は、ベクトル変換部５２０の出力する単語埋込ベクトル列５２２が表す各単語ｗに対して、背景知識記憶部３９８に記憶された「何」型質問に対する回答群に基づくｔｆｉｄｆを正規化したものを計算するための第１の正規化ｔｆｉｄｆ算出部５５０と、「なぜ」型質問に対する回答群に基づくｔｆｉｄｆを正規化したものを計算するための第２の正規化ｔｆｉｄｆ算出部５５２とを含む。
　第１の正規化ｔｆｉｄｆ算出部５５０は、ベクトル変換部５２０の出力する単語埋込ベクトル列５２２の表す各単語ｗに対して以下の式（３）によりｔｆｉｄｆを計算するためのｔｆｉｄｆ算出部５７０と、ｔｆｉｄｆ算出部５７０により算出されたｔｆｉｄｆを以下の式（４）に示すようにソフトマックス関数により正規化したａｓｓｏｃ（ｗ,Ｂｔ）を算出するための正規化部５７２とを含む。ただし、式（３）及び（４）においてＢｔは「何」型質問により得られた質問と回答とのペアの集合を指し、ｔｆ（ｗ，Ｂｔ）は集合Ｂｔにおける単語ｗの単語頻度を表し、ｄｆ（ｗ）はファクトイド・なぜ型質問応答システム2が保持している回答検索用のコーパスＤ中における単語ｗの文書頻度を表し、｜Ｄ｜はコーパスＤ中の文書数を表す。
Figure JPOXMLDOC01-appb-M000002
 　同様に、第２の正規化ｔｆｉｄｆ算出部５５２は、ベクトル変換部５２０の出力する単語埋込ベクトル列５２２の表す各単語ｗに対して以下の式（５）によりｔｆｉｄｆを計算するためのｔｆｉｄｆ算出部５８０と、ｔｆｉｄｆ算出部５８０により算出されたｔｆｉｄｆを以下の式（６）により正規化するための正規化部５８２とを含む。式（５）及び式（６）においてＢｃは「なぜ」型質問により得られた質問と回答とのペアの集合を指す。
Figure JPOXMLDOC01-appb-M000003
 　図１０に示すアテンション行列５２６は、式（４）により得られた要素を第１行、式（６）により得られた要素を第２行とする行列である。アテンション行列５２６をアテンション行列Ａとする。図１０に示す演算部５２８は単語ベクトル列Ｘｐに対して以下の演算を行ってアテンション付きのアテンション付ベクトル列~Ｘｐ（記号「~」は式中では直後の文字の直上に記載されている。）を計算する。
Figure JPOXMLDOC01-appb-M000004
 　ただしｄは実施の形態で使用する質問及び回答等の各単語を表現する単語埋込ベクトルの次元数を表し、｜ｐ｜は回答候補を構成する単語数を示す。Ｗａはｄ行２列の重み行列であり、そのパラメータは訓練対象である。
　こうして得られた回答候補ベクトル~Ｘｐが図１０に示すアテンション付ベクトル列５３０である。ＣＮＮ５３２はこのアテンション付ベクトル列５３０を入力として回答候補を表現する回答候補ベクトル５３４を出力する。ＣＮＮ５３２のパラメータは訓練対象である。
　図１２を参照して、図７に示すエンコーダ４０６は、キー（質問）とその値（回答）とのペアの各々について、質問とその回答とをそれぞれ単語埋込ベクトル列６０２及び単語埋込ベクトル列６１２に変換するベクトル変換部６００及びベクトル変換部６１０と、単語埋込ベクトル列６０２及び単語埋込ベクトル列６１２をそれぞれベクトル６０６及びベクトル６１６に変換し出力するためのＣＮＮ６０４及びＣＮＮ６１４とを含む。ＣＮＮ６０４及びＣＮＮ６１４のパラメータは訓練の対象である。ベクトル変換部６００及びベクトル変換部６１０としては予め訓練済のものを用いる。
　再び図７を参照して、第１レイヤ４０８は、キー（質問）とそのチャンク化された回答とのペアからなる背景知識を記憶するキー・バリューメモリ４２０と、エンコーダ４０２から質問を表すベクトルを受け、キー・バリューメモリ４２０をアクセスして背景知識を抽出するキー・バリューメモリアクセス部４２２と、キー・バリューメモリアクセス部４２２により抽出された背景知識を表すベクトルを用いてエンコーダ４０２の出力する質問を表すベクトルｑを以下の式（７）を用いて更新し、背景知識の表す情報が組込まれたベクトルｕ２として出力する更新部４２４とを含む。なお、後述するように第１レイヤ４０８と同じものを複数個重ねて用いることができ、各レイヤによる処理をホップと呼ぶ。各レイヤの更新部４２４をまとめてコントローラと呼ぶ。コントローラもニューラルネットワークで実現できる。ｍ番目のホップを第ｍホップと呼び、第ｍホップ後のコントローラの状態をｕｍで表す。ただし最初のコントローラの状態はエンコーダ４０２の出力するベクトルｑであり、ｑ＝ｕ１（ｍ＝１）である。また、ｍ番目のレイヤにおけるキー・バリューメモリアクセス部４２２の出力ベクトルをｏｍで表す。本実施の形態ではｍ＝１である。すなわち、第１レイヤ４０８による更新後のコントローラの状態はｕ２となる。
Figure JPOXMLDOC01-appb-M000005
 式（７）においてｏｍとｕｍの線形和に作用する行列Ｗｍ ｕは各ホップ固有のｄ´×ｄ´の重み行列であり、訓練の対象である。この実施の形態ではホップ数Ｈ＝１なのでＷ１ ｕの１個のみが使用される。
　第１レイヤ４０８はさらに、このベクトルｕ２とエンコーダ４０４の出力する回答候補ベクトルｐとを用いて以下の式（８）及び（９）により回答候補が質問に対する正解クラスに属する確率と誤答クラスに属する確率とをそれぞれ出力する、ロジスティック回帰層及びソフトマックス関数による出力層４１０とを含む。ただし以下の式（８）はホップ数＝Ｈとした一般式であり、本実施の形態ではＨ＝１である。すなわちｕＨ＋１＝ｕ２である。
Figure JPOXMLDOC01-appb-M000006
 式（９）において、＾ｙは予測ラベル分布である。行列Ｗｏは２行２×ｄ´＋１列の行列であり、バイアスベクトルｂｏとともに訓練によりパラメータが定められる。
　キー・バリューメモリ４２０は、キー４５０及び４５２を記憶するキーメモリ４４０と、各キー４５０及び４５２に対応する回答４６０,…,４６２をキーに対する値として記憶するバリューメモリ４４２とを含む。
　図１３は、図７に示すキー・バリューメモリアクセス部４２２の概略構成を示す。図１３を参照して、キー・バリューメモリアクセス部４２２は、エンコーダ４０２から質問ｑを表すベクトルを受け、図７に示すキー・バリューメモリ４２０のキーメモリ４４０をアクセスし、質問ｑを表すベクトルと各キーとの関連度の指標である内積を計算し、ソフトマックス関数で正規化して出力するための関連度計算部６３２と、関連度計算部６３２の出力する関連度ｒ１，…，ｒｎを一時記憶するための関連度記憶部６３６と、バリューメモリ４４２に記憶された各回答のベクトルに対し、同じ質問に対する回答を式（１）及び（２）にしたがって平均（チャンク化）するチャンク化処理部６３８（図６に示す平均処理部３３４に相当）と、関連度記憶部６３６に記憶された対応の質問から得られた関連度を重みとして、チャンク化処理部６３８によりチャンク化された平均回答ベクトルに乗じ、その合計を計算することにより回答の加重和ｏを算出するための加重和算出部６４０とを含む。
　なお、上記式（７）に代えて以下の式（１０）による更新を行っても良い。
Figure JPOXMLDOC01-appb-M000007
 　＜動作＞
　上に構成を説明した質問応答システム３８０は以下のように動作する。質問応答システム３８０の動作フェーズとしては、訓練と推論との２つがある。最初に推論について説明し、その後に訓練について説明する。
　〈推論〉
　推論に先立って、必要なパラメータの訓練は全て終わっていることが前提である。図７を参照して、質問３９０及び回答候補３９２が質問応答システム３８０に入力される。推論結果は回答候補３９２が正解クラス及び誤答クラスにそれぞれ属する確率である。
　図８を参照して、「何」型質問生成部４８０が質問３９０を１又は複数の「何」型質問に変換してファクトイド・なぜ型質問応答システム３９４に与え、各々の質問に対して１又は複数の回答を得る。「何」型質問生成部４８０はこれら回答の各々を対応する「何」型質問とペアにして背景知識記憶部３９８に格納する。同様に「なぜ」型質問生成部４８２が質問３９０を１又は複数の「なぜ」型質問に変換し、ファクトイド・なぜ型質問応答システム３９４に与えて各々に対して１又は複数の回答を得る。「なぜ」型質問生成部４８２は、これら回答の各々を元の「なぜ」型質問とペアにして背景知識記憶部３９８に格納する。背景知識記憶部３９８は質問と回答のペアの各々をエンコーダ４０６に与える。なお背景知識記憶部３９８は、背景知識記憶部３９８に記憶された「何」型質問に対する回答の集合Ｂｔからｔｆ（ｗ，Ｂｔ）を、「なぜ」型質問に対する回答の集合Ｂｃからｔｆ（ｗ，Ｂｃ）を、それぞれ計算し、図７に示すエンコーダ４０４に出力する。
　図１２を参照して、エンコーダ４０６は背景知識記憶部３９８から与えられた質問と回答のペアの各々について、質問をベクトル変換部６００により単語埋込ベクトル列６０２に変換し、ＣＮＮ６０４によりさらにベクトル６０６に変換する。同様にエンコーダ４０６は、回答をベクトル変換部６１０により単語埋込ベクトル列６１２に変換し、ＣＮＮ６１４により更にベクトル６１６に変換する。エンコーダ４０６は、このように変換された質問ベクトル及び回答ベクトルのペアの各々をキー・バリューメモリ４２０に格納する。この処理の結果、今回の例では、キー・バリューメモリ４２０のキーメモリ４４０には「何」型質問に対応するキーと「なぜ」型質問に対応するキーとが格納され、バリューメモリ４４２には、これら各質問とペアになっている回答４６０,…,４６２が格納される。
　一方、質問３９０はエンコーダ４０２に与えられる。図９を参照して、エンコーダ４０２のベクトル変換部５００は、質問３９０を単語埋込ベクトル列５０２に変換してＣＮＮ５０４に与える。ＣＮＮ５０４はこの単語埋込ベクトル列５０２を質問ベクトル５０６に変換しキー・バリューメモリアクセス部４２２に与える。
　図７に示すエンコーダ４０４は、回答候補３９２を受けて以下のように動作する。図１０を参照して、ベクトル変換部５２０は回答候補３９２を単語埋込ベクトル列５２２に変換する。単語埋込ベクトル列５２２は演算部５２８及びアテンション算出部５２４に与えられる。
　図１１を参照して、アテンション算出部５２４のｔｆｉｄｆ算出部５７０は、回答候補の各単語ｗに対し、「何」型質問に対する回答の集合Ｂｔから計算したｔｆ（ｗ，Ｂｔ）を背景知識記憶部３９８から受ける。ｔｆｉｄｆ算出部５７０はまた、図７に示すファクトイド・なぜ型質問応答システム３９４から、｜Ｄ｜／ｄｆ（ｗ）を受ける。ｔｆｉｄｆ算出部５７０は、これらから式（３）にしたがってｔｆｉｄｆ（ｗ,Ｂｔ）を計算し正規化部５７２に与える。
　正規化部５７２は、図７に示す背景知識記憶部３９８からΣｊｅｔｆｉｄｆ（ｗｊ，Ｂｔ）を受け、式（４）にしたがって正規化されたｔｆｉｄｆであるａｓｓｏｃ（ｗ,Ｂｔ）を各単語ｗについて算出し、行列生成部５５４に与える。
　第２の正規化ｔｆｉｄｆ算出部５５２のｔｆｉｄｆ算出部５８０及び正規化部５８２も、「なぜ」型質問に対する回答の集合Ｂｃから計算されたｔｆ（ｗ,Ｂｔ）を用い、ｔｆｉｄｆ算出部５７０と同様にして正規化されたｔｆｉｄｆであるａｓｓｏｃ（ｗ,Ｂｃ）を算出し行列生成部５５４に与える。
　行列生成部５５４は、これらのａｓｓｏｃ（ｗ,Ｂｔ）を第１行、ａｓｓｏｃ（ｗ,Ｂｃ）を第２行に配置した行列を生成し、図１０に示すアテンション行列５２６として演算部５２８に与える。
　演算部５２８は、ベクトル変換部５２０からの単語埋込ベクトル列５２２に対してアテンション行列５２６を用いた上述の演算を行うことによりアテンション付ベクトル列５３０を生成しＣＮＮ５３２に与える。
　ＣＮＮ５３２は、この入力に応答して回答候補ベクトル５３４を出力し出力層４１０の入力に与える。
　一方、図１３を参照して、エンコーダ４０２から質問ベクトルｑを受けた関連度計算部６３２は、キーメモリ４４０に格納されている各キー（背景知識の質問ベクトル）と質問ベクトルｑとの内積を取ることにより質問ｑと背景知識の各質問ベクトルとの関連度の指標を計算し、さらにソフトマックス関数によって各関連度を正規化して関連度記憶部６３６に格納する。
　チャンク化処理部６３８は同じ質問に対する回答のベクトルの平均を式（１）及び（２）により算出し（チャンク化し）、正規化された回答ベクトルを算出する。すなわち、ここでいう正規化とは、各回答のベクトルを平均したものを求めることをいう。このような正規化を行うと以下のような効果がある。すなわち、ある質問に対して抽出された回答の集合に含まれる回答数が多い場合には、その集合にはかなりノイズが含まれると考えられる。一方、そのような回答の数が少ない質問は的確な質問であり、その回答の集合に含まれるノイズは少ないと考えられる。そこで、各質問に対する回答の集合を正規化すると、ノイズに相当する回答の重みがそうでない回答の重みに対して相対的に小さくなる。すなわち、知識源から得た背景知識におけるノイズを削減できる。そのため、最終的な回答が質問に対する的確な回答となる確率が高くなる。
　加重和算出部６４０は、関連度記憶部６３６に記憶された関連度を重みとして、チャンク化処理部６３８により正規化された回答ベクトルの加重和を計算し、ベクトルｏとして図７に示す更新部４２４に出力する。
　図７を参照して、更新部４２４は、式（７）にしたがってエンコーダ４０２から受けた質問ベクトルｑ（ｕ１）とベクトルｏ（ｏ１）との間で演算を行い、その結果のベクトルｕ２を出力層４１０の入力に与える。
　出力層４１０は、エンコーダ４０４から与えられたアテンション付の回答候補ベクトルと、更新部４２４から与えられた更新後の質問ベクトルｕとの間で式（８）による演算を行って結果を出力する。この結果が、回答候補３９２が質問３９０に対する正しい回答かどうかの判定結果となる。
　〈訓練〉
　質問応答システム３８０のうち、エンコーダ４０２、４０４及び４０６以後の処理はニューラルネットワークで実現される。まず、質問と、その質問に対する回答候補とのペアを多数収集し、各ペアを訓練サンプルとする。訓練サンプルとしては正例と負例との双方を準備する。正例とは、回答候補が質問に対する正しい回答であるもののことをいい、負例とはそうでないものをいう。正例と負例とは各訓練サンプルに付されたラベルにより区別される。ニューラルネットワークのパラメータは、公知の方法により初期化される。
　質問３９０と回答候補３９２として訓練サンプルの質問と回答候補とがエンコーダ４０２及び４０６に与えられる。質問応答システム３８０はこれらに対して上記した推論処理と同じ処理を実行し、結果を出力層４１０から出力する。この結果は、０から１の間で回答候補が正解クラスに属する確率と、誤答クラスに属する確率である。ラベル（０又は１）とこの出力との間の誤差を計算し、質問応答システム３８０のパラメータを誤差逆伝搬法により更新する。
　こうした処理を全ての訓練サンプルに対して実行し、その結果、質問応答システム３８０の回答精度がどの程度となったかを別に準備した検証用データセットで検証する。検証結果の精度の変化が所定のしきい値より大きければ、再度全ての訓練サンプルに対して訓練を実行する。精度の変化がしきい値未満となった時点で訓練を終了する。繰返し回数が所定のしきい値となった時点で訓練を終了してもよい。
　このようにして訓練をした結果、質問応答システム３８０を構成する各部のパラメータの訓練が行われる。
　［第２の実施の形態］
　第１の実施の形態ではホップ数Ｈ＝１、すなわちキー・バリューメモリアクセス部４２２によるメモリアクセスと更新部４２４による質問の更新とが１回のみ行われるものであった。しかし本発明はそのような実施の形態には限定されない。ホップ数が２以上でもよい。実験によれば、ホップ数Ｈ＝３の質問応答システムが最もよい性能を示した。第２の実施の形態はホップ数Ｈ＝３の場合を示す。
　図１４を参照して、この第２の実施の形態に係る質問応答システム６６０は、図７に示す質問応答システム３８０の構成に、第１レイヤ４０８といずれも同様の構成を持つ第２レイヤ６７０及び第３レイヤ６７２を含む点である。これらの構造は第１レイヤ４０８と同様であるためここではその説明は繰返さない。
　図１４に示すように、第１レイヤ４０８の更新部４２４の出力ｕ１は第２レイヤ６７０の更新部及びキー・バリューメモリアクセス部に与えられる。同様に、第２レイヤ６７０の更新部の出力ｕ２は第３レイヤ６７２の更新部及びキー・バリューメモリアクセス部に与えられる。第３レイヤ６７２の更新部の出力ｕ３は第１の実施の形態における第１レイヤ４０８の更新部４２４の出力と同様、出力層４１０に与えられる。これら各更新部によりコントローラ６８０が形成される。
　この第２の実施の形態に係る質問応答システム６６０の動作は、推論時においても訓練時においても、第１レイヤ４０８だけではなく第２レイヤ６７０及び第３レイヤ６７２の処理を行う点を除き、第１の実施の形態と同様である。したがってここではその詳細な説明は繰返さない。
　なお、キー・バリューメモリ４２０は第１レイヤ４０８、第２レイヤ６７０及び第３レイヤ６７２で共通に使用される。ただし、式（２）に示す行列Ｗｍ ｖ及びＷｍ ｋ（ｍ＝１,２,３）は、レイヤ毎に異なる行列であり、訓練の対象である。
　［実験結果］
　ホップ数Ｈの値を様々に代えた質問応答システムにより実験を行ったが、前述したとおり、ホップ数Ｈ＝３のときに最も良い性能を示した。図１５にその結果を示す。
　図１５において、Ｂａｓｅは質問と回答のみを用いてニューラルネットワークで回答判定を行うシステムを表す。Ｂａｓｅ＋ＢＫはＢａｓｅに上記各実施の形態と同様の手法で獲得した背景知識を与えたシステムである。ただしメモリネットワークと異なり、質問に対する処理は行わない。Ｂａｓｅ＋ＫＶＭｓは背景知識の処理に非特許文献２において提案されたＫＶＭｓを使ったシステムを表す。Ｂａｓｅ＋ｃＫＶＭｓは上記第２の実施の形態の質問応答システム６６０に相当するシステムである。またＰ＠１は最上位回答の精度であり、ＭＡＰは上位２０の回答の精度の平均を表す。
　図１５において、Ｂａｓｅ＋ＢＫはＢａｓｅに対してＰ＠１で＋６．８ポイント、ＭＡＰで＋６．１ポイントの改善を示した。したがって上記実施の形態で提案した背景知識がHOW型質問応答において有効であることが分かる。さらに、Ｂａｓｅ＋ＫＶＭｓと比較してＢａｓｅ＋ｃＫＶＭｓではＰ＠１で＋５．２ポイント、ＭＡＰでは＋２．５ポイントの改善を示した。したがって、ＫＶＭｓに代えてｃＫＶＭｓを使うことで精度をより向上させることができることが分かった。
　［コンピュータによる実現」
　上記した各実施の形態に係る質問応答システム３８０及び質問応答システム６６０の各機能部は、それぞれコンピュータハードウェアと、そのハードウェア上でＣＰＵ（中央演算処理装置）及びＧＰＵ（Graphics　Processing　Unit）により実行されるプログラムとにより実現できる。図１６及び図１７に上記各装置及びシステムを実現するコンピュータハードウェアを示す。ＧＰＵは通常は画像処理を行うために使用されるが、このようにＧＰＵを画像処理ではなく通常の演算処理に使用する技術をＧＰＧＰＵ（General-purpose　computing　on　graphics　processing　units）と呼ぶ。ＧＰＵは同種の複数の演算を同時並列的に実行できる。一方、ニューラルネットワークの動作時には、各ノードの重み演算は単純な積和演算であり、しかもそれらは同時に超並列的に実行できる。訓練時にはさらに大量の演算を行う必要が生ずるが、それらも超並列的に実行できる。したがって、質問応答システム３８０及び質問応答システム６６０を構成するニューラルネットワークの訓練と推論にはＧＰＧＰＵを備えたコンピュータが適している。
　図１６を参照して、このコンピュータシステム８３０は、メモリポート８５２及びＤＶＤ（Digital　Versatile　Disk）ドライブ８５０を有するコンピュータ８４０と、キーボード８４６と、マウス８４８と、モニタ８４２とを含む。
　図１７を参照して、コンピュータ８４０は、メモリポート８５２及びＤＶＤドライブ８５０に加えて、ＣＰＵ８５６及びＧＰＵ８５８と、ＣＰＵ８５６、ＧＰＵ８５８、メモリポート８５２及びＤＶＤドライブ８５０に接続されたバス８６６と、ブートプログラム等を記憶する読出専用メモリであるＲＯＭ８６０と、バス８６６に接続され、プログラム命令、システムプログラム及び作業データ等を記憶するコンピュータ読出可能な記憶媒体であるランダムアクセスメモリ（ＲＡＭ）８６２と、ハードディスク８５４を含む。コンピュータ８４０はさらに、いずれもバス８６６に接続され、他端末との通信を可能とするネットワーク８６８への接続を提供するネットワークインターフェイス（Ｉ／Ｆ）８４４と、外部との音声信号の入出力を行うための音声Ｉ／Ｆ８７０とを含む。
　コンピュータシステム８３０を上記した実施の形態に係る各装置及びシステムの各機能部として機能させるためのプログラムは、ＤＶＤドライブ８５０又はメモリポート８５２に装着される、いずれもコンピュータ読出可能な記憶媒体であるＤＶＤ８７２又はリムーバブルメモリ８６４に記憶され、さらにハードディスク８５４に転送される。又は、プログラムはネットワーク８６８を通じてコンピュータ８４０に送信されハードディスク８５４に記憶されてもよい。プログラムは実行の際にＲＡＭ８６２にロードされる。ＤＶＤ８７２から、リムーバブルメモリ８６４から又はネットワーク８６８を介して、直接にＲＡＭ８６２にプログラムをロードしてもよい。また、上記処理に必要なデータは、ハードディスク８５４、ＲＡＭ８６２、ＣＰＵ８５６又はＧＰＵ８５８内のレジスタ等の所定のアドレスに記憶され、ＣＰＵ８５６又はＧＰＵ８５８により処理され、プログラムにより指定されるアドレスに格納される。最終的に訓練が終了したニューラルネットワークのパラメータは、ニューラルネットワークの訓練及び推論アルゴリズムを実現するプログラムとともに例えばハードディスク８５４に格納されたり、ＤＶＤドライブ８５０及びメモリポート８５２をそれぞれ介してＤＶＤ８７２又はリムーバブルメモリ８６４に格納されたりする。又は、ネットワークＩ／Ｆ８４４を介してネットワーク８６８に接続された他のコンピュータ又は記憶装置に送信される。
　このプログラムは、コンピュータ８４０を、上記実施の形態に係る各装置及びシステムとして機能させるための複数の命令からなる命令列を含む。上記各装置及びシステムにおける数値演算処理は、ＣＰＵ８５６及びＧＰＵ８５８を用いて行う。ＣＰＵ８５６のみを用いてもよいがＧＰＵ８５８を用いる方が高速である。コンピュータ８４０にこの動作を行わせるのに必要な基本的機能のいくつかはコンピュータ８４０上で動作するオペレーティングシステム若しくはサードパーティのプログラム又はコンピュータ８４０にインストールされる、ダイナミックリンク可能な各種プログラミングツールキット又はプログラムライブラリにより提供される。したがって、このプログラム自体はこの実施の形態のシステム、装置及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能又はプログラミングツールキット又はプログラムライブラリ内の適切なプログラムを実行時に動的に呼出すことにより、上記したシステム、装置又は方法としての機能を実現する命令のみを含んでいればよい。もちろん、プログラムのみで必要な機能を全て提供してもよい。
　今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
　この発明は、物品の製造、サービスの提供、研究上の課題等、ユーザが自然言語で発する様々な質問に対してコンピュータが的確な回答を返すよう、コンピュータのインターフェイスを改善することにより、コンピュータに記憶された情報とコンピュータの計算機能とをより利用しやすくし、多くの産業における作業効率、製品及びサービスの品質向上に利用できる。
１５０　Key-value　memory
１７０、３９０　質問
１７２　マッチング
１７４、３３０　keyメモリ
１７６、３３２　valueメモリ
１７８　加重和
２５０　How型質問
２５２、２８０、２８２　「何」型質問
２５４　「なぜ」型質問
２５６　「何」型質問応答システム
２５８　「なぜ」型質問応答システム
２６０、２６２、３５０、３５２　回答群
２９０、２９２、２９４、２９６、２９８、３００　回答
３２０　Chunked　key-value　memory
３３４　平均処理部
３８０、６６０　質問応答システム
３９２　回答候補
３９４　ファクトイド・なぜ型質問応答システム
３９６　背景知識抽出部
３９８　背景知識記憶部
４０２、４０４、４０６　エンコーダ
４０８　第１レイヤ
４１０　出力層
４２０　キー・バリューメモリ
４２２　キー・バリューメモリアクセス部
４２４　更新部
４４０　キーメモリ
４４２　バリューメモリ
４５０、４５２　キー
４６０、４６２　回答
４８０　「何」型質問生成部
４８２　「なぜ」型質問生成部
５００、５２０、６００、６１０　ベクトル変換部
５０２、５２２、６０２、６１２　単語埋込ベクトル列
５０４、５３２、６０４、６１４　ＣＮＮ
５０６　質問ベクトル
５２４　アテンション算出部
５２６　アテンション行列
５２８　演算部
５３０　アテンション付ベクトル列
５３４　回答候補ベクトル
５５０　第１の正規化ｔｆｉｄｆ算出部
５５２　第２の正規化ｔｆｉｄｆ算出部
５７０、５８０　ｔｆｉｄｆ算出部
５７２、５８２　正規化部
６３２　関連度計算部
６３６　関連度記憶部
６３８　チャンク化処理部
６４０　加重和算出部
６７０　第２レイヤ
６７２　第３レイヤ

Claims (6)

  1. How型質問を互いに異なる型式の複数の質問へ変換し、前記複数の質問の各々について、所定の背景知識源から回答となる背景知識を抽出する背景知識抽出手段と、
    　前記背景知識抽出手段にて抽出された回答の集合に含まれる回答のベクトル表現を正規化し正規化ベクトルとして前記複数の質問の各々と対応付けて記憶するよう構成された回答記憶手段と、
    　前記How型質問をベクトル化した質問ベクトルが与えられたことに応答して前記回答記憶手段をアクセスし、当該質問ベクトルと前記複数の質問との間の関連度と、前記複数の質問の各々に対応する前記正規化ベクトルとを用いて前記質問ベクトルを更新する更新手段と、
    　前記更新手段にて更新された前記質問ベクトルに基づき、前記How型質問に対する回答候補を判定する回答判定手段とを含む、質問応答装置。
  2. 前記更新手段は、
    　前記質問ベクトルと、前記複数の質問の各々のベクトル表現との間の関連度を算出する第１の関連度算出手段と、
    　前記回答記憶手段に記憶された前記正規化ベクトルの加重和からなる第１の加重和ベクトルを、当該正規化ベクトルに対応する質問について前記第１の関連度算出手段が算出した関連度を重みとして算出し、当該第１の加重和ベクトルと前記質問ベクトルとの線形和により、前記質問ベクトルを更新するための第１の質問ベクトル更新手段とを含む、請求項１に記載の質問応答装置。
  3. 前記第１の関連度算出手段は、前記質問ベクトルと、前記複数の質問の各々のベクトル表現との間の内積により前記関連度を算出する内積手段を含む、請求項２に記載の質問応答装置。
  4. さらに、前記第１の質問ベクトル更新手段が出力する更新後の前記質問ベクトルと、前記複数の質問の各々のベクトル表現との間の関連度を算出する第２の関連度算出手段と、
    　前記回答記憶手段に記憶された前記正規化ベクトルの加重和からなる第２の加重和ベクトルを、当該正規化ベクトルに対応する質問について前記第２の関連度算出手段が算出した関連度を重みとして計算し、当該第２の加重和ベクトルと前記質問ベクトルとの線形和により、前記更新後の前記質問ベクトルをさらに更新した再更新後の質問ベクトルを出力するための第２の質問ベクトル更新手段とを含む、請求項２又は請求項３に記載の質問応答装置。
  5. 前記更新手段は、訓練によりパラメータが決定されるニューラルネットワークにより形成される、請求項１～請求項３のいずれかに記載の質問応答装置。
  6. コンピュータを請求項１～請求項５のいずれかに記載の質問応答装置として機能させる、コンピュータプログラム。
     
PCT/JP2019/024059 2018-06-27 2019-06-18 質問応答装置及びコンピュータプログラム WO2020004136A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/252,809 US20210326675A1 (en) 2018-06-27 2019-06-18 Question-answering device and computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018122231A JP7084617B2 (ja) 2018-06-27 2018-06-27 質問応答装置及びコンピュータプログラム
JP2018-122231 2018-06-27

Publications (1)

Publication Number Publication Date
WO2020004136A1 true WO2020004136A1 (ja) 2020-01-02

Family

ID=68984854

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/024059 WO2020004136A1 (ja) 2018-06-27 2019-06-18 質問応答装置及びコンピュータプログラム

Country Status (3)

Country Link
US (1) US20210326675A1 (ja)
JP (1) JP7084617B2 (ja)
WO (1) WO2020004136A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112612866A (zh) * 2020-12-29 2021-04-06 北京奇艺世纪科技有限公司 知识库文本同步方法、装置、电子设备及存储介质
CN113010655A (zh) * 2021-03-18 2021-06-22 华南理工大学 一种机器阅读理解的回答与干扰项生成方法、装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210044559A (ko) * 2019-10-15 2021-04-23 삼성전자주식회사 출력 토큰 결정 방법 및 장치
US20210192377A1 (en) * 2019-12-18 2021-06-24 Nec Laboratories America, Inc. Extracting explanations from supporting evidence
US11893060B2 (en) 2020-02-06 2024-02-06 Naver Corporation Latent question reformulation and information accumulation for multi-hop machine reading
US11257486B2 (en) * 2020-02-28 2022-02-22 Intuit Inc. Machine learning to propose actions in response to natural language questions
US20210279565A1 (en) * 2020-03-04 2021-09-09 WootCloud Inc. Systems And Methods For Device Fingerprinting
US20210303990A1 (en) * 2020-03-31 2021-09-30 Robert Bosch Gmbh Query and answer dialogue computer
JP7618201B2 (ja) 2020-10-20 2025-01-21 国立研究開発法人情報通信研究機構 回答特定用テキスト分類器及び背景知識表現ジェネレータ及びその訓練装置、並びにコンピュータプログラム
KR102645628B1 (ko) * 2020-11-13 2024-03-11 주식회사 포티투마루 선다형 질문에 대한 정답 선택 방법 및 장치
JP2022147406A (ja) 2021-03-23 2022-10-06 キオクシア株式会社 情報処理装置、情報処理方法、及び学習モデルの生成方法
US20240005082A1 (en) * 2022-05-26 2024-01-04 At&T Mobility Ii Llc Embedding Texts into High Dimensional Vectors in Natural Language Processing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009157791A (ja) * 2007-12-27 2009-07-16 Nippon Telegr & Teleph Corp <Ntt> 質問応答方法、装置、プログラム並びにそのプログラムを記録した記録媒体
JP2015011426A (ja) * 2013-06-27 2015-01-19 独立行政法人情報通信研究機構 ノン・ファクトイド型質問応答システム及びコンピュータプログラム
WO2018066489A1 (ja) * 2016-10-07 2018-04-12 国立研究開発法人情報通信研究機構 ノン・ファクトイド型質問応答システム及び方法並びにそのためのコンピュータプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4635659B2 (ja) * 2005-03-14 2011-02-23 富士ゼロックス株式会社 質問応答システム、およびデータ検索方法、並びにコンピュータ・プログラム
US10664744B2 (en) * 2015-10-13 2020-05-26 Facebook, Inc. End-to-end memory networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009157791A (ja) * 2007-12-27 2009-07-16 Nippon Telegr & Teleph Corp <Ntt> 質問応答方法、装置、プログラム並びにそのプログラムを記録した記録媒体
JP2015011426A (ja) * 2013-06-27 2015-01-19 独立行政法人情報通信研究機構 ノン・ファクトイド型質問応答システム及びコンピュータプログラム
WO2018066489A1 (ja) * 2016-10-07 2018-04-12 国立研究開発法人情報通信研究機構 ノン・ファクトイド型質問応答システム及び方法並びにそのためのコンピュータプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112612866A (zh) * 2020-12-29 2021-04-06 北京奇艺世纪科技有限公司 知识库文本同步方法、装置、电子设备及存储介质
CN112612866B (zh) * 2020-12-29 2023-07-21 北京奇艺世纪科技有限公司 知识库文本同步方法、装置、电子设备及存储介质
CN113010655A (zh) * 2021-03-18 2021-06-22 华南理工大学 一种机器阅读理解的回答与干扰项生成方法、装置

Also Published As

Publication number Publication date
JP2020004045A (ja) 2020-01-09
JP7084617B2 (ja) 2022-06-15
US20210326675A1 (en) 2021-10-21

Similar Documents

Publication Publication Date Title
WO2020004136A1 (ja) 質問応答装置及びコンピュータプログラム
CN109783817B (zh) 一种基于深度强化学习的文本语义相似计算模型
US10503791B2 (en) System for creating a reasoning graph and for ranking of its nodes
US11775594B2 (en) Method for disambiguating between authors with same name on basis of network representation and semantic representation
JP2019020893A (ja) ノン・ファクトイド型質問応答装置
US20170351962A1 (en) Predicting user question in question and answer system
Nagaraj et al. Kannada to English Machine Translation Using Deep Neural Network.
KR20240116864A (ko) 검색 엔진 결과를 사용하여 기계 학습 언어 모델 강화
JP2019082841A (ja) 生成プログラム、生成方法及び生成装置
Lin et al. BERT-SMAP: Paying attention to Essential Terms in passage ranking beyond BERT
JP2018084627A (ja) 言語モデル学習装置およびそのプログラム
CN116151235A (zh) 文章生成方法、文章生成模型训练方法及相关设备
JP6586026B2 (ja) 単語ベクトル学習装置、自然言語処理装置、方法、及びプログラム
Lee N-Gram Language Model
JP6232358B2 (ja) 次発話候補ランキング装置、方法、及びプログラム
Aliyanto et al. Supervised probabilistic latent semantic analysis (sPLSA) for estimating technology readiness level
Sangani et al. Comparing deep sentiment models using quantified local explanations
JP2019087157A (ja) 単語ベクトル変換装置、方法、及びプログラム
Agarwal et al. Ranking based question answering system with a web and mobile application
JP7044245B2 (ja) 対話システム補強装置及びコンピュータプログラム
CN115481214A (zh) 一种检索方法、装置、设备及可读存储介质
JP6574469B2 (ja) 次発話候補ランキング装置、方法、及びプログラム
JP2004094434A (ja) 言語処理方法、プログラム及び装置
Suriyasat et al. A Comparison of Machine Learning and Neural Network Algorithms for an Automated Thai Essay Scoring
Agrawal et al. Cosine siamese models for stance detection

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19827089

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19827089

Country of ref document: EP

Kind code of ref document: A1