WO2023084761A1 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
WO2023084761A1
WO2023084761A1 PCT/JP2021/041807 JP2021041807W WO2023084761A1 WO 2023084761 A1 WO2023084761 A1 WO 2023084761A1 JP 2021041807 W JP2021041807 W JP 2021041807W WO 2023084761 A1 WO2023084761 A1 WO 2023084761A1
Authority
WO
WIPO (PCT)
Prior art keywords
sentence
question
generated
answer
text
Prior art date
Application number
PCT/JP2021/041807
Other languages
English (en)
French (fr)
Inventor
淳史 大塚
済央 野本
篤 深山
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2021/041807 priority Critical patent/WO2023084761A1/ja
Publication of WO2023084761A1 publication Critical patent/WO2023084761A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation

Definitions

  • the present invention relates to an information processing device, an information processing method, and an information processing program.
  • Question generation technology is a technology that takes text as input and generates question sentences related to that text in natural language. Many of the generated question sentences are used as scenarios and learning data for the question answering system. Therefore, there are few mechanisms that provide the value of the question text itself generated by the question generation technology.
  • the information processing device has the following units.
  • a question generation unit receives an analysis target sentence as an input and uses a pre-learned machine learning model to generate a generated sentence that is a sentence related to the content of the analysis target sentence and to determine whether the generated sentence does not include an answer in the analysis target sentence.
  • a type type which is information indicating whether or not the question is about information, is generated.
  • a question output unit outputs the generated sentence and the classification type generated by the question generation unit.
  • a question sentence is not generated when the answer is already described in the text, and a question sentence can be generated when the answer is not described in the text.
  • FIG. 1 is a block diagram of an information processing device according to an embodiment.
  • FIG. 2 is a block diagram showing the details of the question generator.
  • FIG. 3 is a block diagram of a machine learning device that learns a question generation model.
  • FIG. 4 is a diagram showing an example of question-answer learning data.
  • FIG. 5 is an image diagram of learning data for learning the question generation model.
  • FIG. 6 is a diagram illustrating an example of question sentence creation by the information processing apparatus according to the embodiment.
  • FIG. 7 is a flowchart of question generation processing by the information processing apparatus according to the embodiment.
  • FIG. 8 is a flowchart of machine learning processing by the machine learning device according to the embodiment.
  • FIG. 9 is a diagram showing experimental results using the information processing apparatus according to the embodiment.
  • FIG. 10 is a diagram illustrating an example of a computer that executes an information processing program;
  • FIG. 1 is a block diagram of an information processing device according to an embodiment. A configuration of an information processing apparatus 1 according to an embodiment will be described with reference to FIG.
  • the information processing device 1 is connected to the text data DB2.
  • the text data DB2 is a database in which files of various documents are stored.
  • the information processing device 1 has a text data DB (Data Base) management unit 11, a question generation unit 12, and a question file creation unit 13, as shown in FIG.
  • the text data DB management unit 11 monitors the text data DB2. Then, when a new file entry is added to the text data DB 2, the text data DB management unit 11 acquires the text part of the newly added entry. The text data DB management unit 11 then transfers the acquired text to the question generation unit 12 .
  • the text data DB management unit 11 can operate with the monitoring frequency of the text data DB 2 as a predetermined period. For example, the text data DB management unit 11 may sequentially monitor the text every five minutes and transfer the text to the question generation unit 12 . Also, the text data DB management unit 11 may collectively process all the entries added on that day as a batch process at night. Alternatively, the text data DB management unit 11 may acquire the text upon receiving notification that an entry has been added by a signal output from the text data DB 2 . Furthermore, the text data DB management unit 11 may transfer text according to predetermined conditions. For example, the text data DB management unit 11 can be set to extract the text of a file created by a person who meets predetermined conditions.
  • the question generation unit 12 receives text input from the text data DB management unit 11 . Then, the question generation unit 12 generates a question sentence based on the acquired text. Details of question sentence generation by the question generation unit 12 will be described below.
  • FIG. 2 is a block diagram showing the details of the question generator.
  • the question generation unit 12 has a text processing unit 121 and a question generation model 122, as shown in FIG.
  • the target text from which the question sentence is generated will be referred to as "analysis target text".
  • the text processing unit 121 receives input of the analysis target text T acquired from the text data DB management unit 11 .
  • the text processing unit 121 also receives an input of the viewpoint label P from an external device (not shown).
  • the viewpoint label P may be input in advance using an external device. Both the text to be analyzed T and the viewpoint label P are character strings.
  • the point of view label P is a label that indicates the point of view of the question, such as "money” and "legal law".
  • the viewpoint label P can be freely set as long as it is adapted to the content of the text that is the learning data.
  • the point of view label P may be an abstract point of view such as "money”, or may be a person's name if a collection of questions from the same person is used as learning data.
  • the viewpoint label P is input together with the analysis target text T
  • the question generation unit 12 does not have to use the viewpoint label P in question generation.
  • the analysis target text T is input to the text processing unit 121, but the viewpoint label P is not input.
  • the text processing unit 121 performs processing to convert a character string representing text into a vector format that can be input to a deep learning model. For example, the text processing unit 121 divides the input analysis target text T into tokens, which are predetermined processing units. Arbitrary words such as morphemes, words, and subwords can be used as predetermined processing units. In this embodiment, as an example of processing, the text processing unit 121 performs morphological analysis when dividing the text into tokens. Then, the text processing unit 121 creates a one-hot vector by assigning an ID (Identifier) corresponding to each token. As a result, the text processing unit 121 converts the analysis target text T into a format that can be input to the question generation model 122 . Any method can be employed for morphological analysis and ID assignment. The text processing unit 121 also converts the viewpoint label P into a vector format.
  • tokens which are predetermined processing units. Arbitrary words such as morphemes, words, and subwords can be used as predetermined processing units.
  • the text processing unit 121 outputs the analysis target text T and the viewpoint label P converted into the vector format to the question generation model 122 .
  • the question generation model 122 is a deep learning generative model including a text generation layer 123.
  • the question generation model 122 is not particularly limited as long as it is a neural network model capable of inputting text and outputting text.
  • the question generation model 122 receives the viewpoint label P and the analysis target text T from the text processing unit 121 .
  • the analysis target text T is text extracted from the document stored in the text data DB 2 by the text data DB management unit 11 and converted into vector format by the text processing unit 121 .
  • the question generation model 122 which is a pre-trained neural network model including the text generation layer 123, receives as input the viewpoint label P and the analysis target text T converted into vector format, and performs calculations to obtain the type type Ty and the result text O to generate
  • the question generation model 122 receives the analysis target text T converted into the vector format as input and generates the type type Ty and the result text O.
  • the type type Ty is information for determining whether the result text O is a question or an extracted text that is a character string extracted from the text to be analyzed. Moreover, when the viewpoint label P is not used, the type type Ty is information for determining whether the result text O is a question.
  • the question generation model 122 generates a character string "question" when the result text O is a question sentence, and generates a character string "extraction” when the result text O is an extracted text.
  • the character string used here as the information representing the classification type Ty is an example, and other character strings may be set.
  • the question generation unit 12 receives a sentence to be analyzed as an input, and determines whether the sentence is generated by a machine learning model that has been learned in advance and whether the generated sentence is a question sentence about information not included in the sentence to be analyzed. Generates a classification type that is information indicating whether or not.
  • the question generating unit 12 acquires viewpoints, which are information representing the tendency of the description content of generated sentences, and generates generated sentences and type types by inputting analysis target sentences and viewpoints.
  • representing a trend means indicating to what category the content belongs to, such as "money” and "legal affairs," and may be abstract information such as "money,” It may be specific information such as a first name.
  • FIG. 3 is a block diagram of a machine learning device that learns a question generation model.
  • the question generation model 122 was learned using the machine learning device 20 shown in FIG. may be mounted on the In that case, the information processing apparatus 1 has two operation phases, a learning phase and an inference phase. Then, the information processing device 1 executes the function of the machine learning device 20 in the learning phase, and performs question sentence generation processing in the inference phase.
  • the machine learning device 20 can use text data for question-answering model learning such as machine reading comprehension in order to learn the question generation model 122 .
  • FIG. 4 is a diagram showing an example of question-answer learning data.
  • Question-answer learning data which is text data for learning, is formed as a set of three pieces of information: a text for learning, a question sentence, and an answer sentence, as shown in FIG.
  • the learning text is a text obtained by extracting a part of the text to be analyzed.
  • the machine learning device 20 has a learning data generator 21 , a question generator 22 and a parameter updater 23 .
  • the learning data generation unit 21 acquires question-answer learning data as shown in FIG.
  • FIG. 5 is an image diagram of learning data for learning the question generation model.
  • the learning data generator 21 simultaneously creates two types of learning data as shown in FIG. 5 from one question answering learning data as shown in FIG.
  • the first learning data #1 on the top of the page of FIG. 5 is learning data for question generation.
  • the learning data generation unit 21 uses the learning text and the question sentence of the question-answer learning data.
  • the learning data generation unit 21 generates a learning text in the learning data for question generation by deleting the answer sentence portion from the learning text in the question answering learning data.
  • the learning data generation unit 21 sets the classification type in the learning data for question generation to "question”.
  • the learning data generation unit 21 sets the question sentence of the question answer learning data to the result text of the learning data for question generation.
  • the learning data generating unit 21 sets the learning text as the text in which the answer part is missing, and sets the question sentence asking the missing part of the learning text as the correct answer sentence.
  • the second learning data #2 at the bottom of the page in FIG. 4 is learning data for generating extracted text.
  • the learning data generator 21 uses learning texts and answer sentences of question-answer learning data.
  • the learning data generation unit 21 sets the learning text of the question-answering learning data as it is as the learning text in the learning data for generating the extracted text.
  • the learning data generating unit 21 sets the classification type of the learning data for generating the extracted text to "extraction”.
  • the learning data generating unit 21 sets an answer sentence to the result text of the learning data for generating the extracted text.
  • the learning data generation unit 21 sets the answer sentence as the correct answer sentence.
  • the learning data generation unit 21 After that, the learning data generation unit 21 generates learning data by assigning viewpoint labels to the learning data including the learning text, the correct answer type, and the correct answer result text. Then, the learning data generation unit 21 outputs the correct answer class type and the correct answer result text to the parameter updating unit 23 . Also, the learning data generation unit 21 outputs the learning text to which the viewpoint label is added to the question generation unit 22 .
  • the learning data generation unit 21 acquires an analysis target sentence, a question sentence about the content of the analysis target sentence, and an answer sentence that is an answer to the question sentence and includes information contained in the analysis target sentence, When generating a generated sentence with a type indicating that it is a question about information not included in the learning text, remove the information that is the answer to the question from the sentence to be analyzed, and replace the question with the correct generated sentence.
  • the learning text is an example of the sentence to be analyzed
  • the result text is an example of the generated sentence.
  • An answer sentence that is an answer to a question sentence and includes information included in the analysis target sentence is an answer sentence that is an answer sentence to the question sentence and includes information included in the analysis target sentence.
  • a generated sentence having a classification type indicating that it is a question sentence about information for which an answer is not included in the analysis target sentence is to be generated is a generated sentence that is a result text generated by the information processing apparatus 1. has a classification type indicating that it is a question sentence about information not included in the analysis target sentence, that is, the classification type is "question”.
  • the case where a generated sentence having a classification type indicating that it is not a question sentence about information for which an answer is not included in the analysis target sentence is a generated sentence that is a result text generated by one information processing device has a classification type indicating that it is not a question sentence about information not included in the analysis target sentence, that is, the classification type is "extraction".
  • the question generation unit 22 has a text processing unit 221 and a question generation model 222.
  • the question generation model 222 is an untrained neural network model that includes a text generation layer 223 .
  • the question generator 22 performs the same processing as the question generator 12 shown in FIG. However, the question generation unit 22 performs processing based on the parameters being learned.
  • the text processing unit 221 performs the same processing as the text processing unit 121 shown in FIG.
  • the viewpoint label and the learning text output from the text processing unit 221 are input to the question generation model 222 .
  • the question generation model 222 performs the same processing as the question generation model 122 shown in FIG. 2 on the input viewpoint label and learning text based on the parameters being learned. Then, the question generation model 222 outputs the generated type type and result text to the parameter updating unit 23 .
  • the parameter update unit 23 receives input of the correct answer type and correct answer result text from the learning data generation unit 21 .
  • the parameter updating unit 23 also receives input of the type type and result text generated by the question generation model 222 . Then, the parameter updating unit 23 compares the type type and the result text generated by the question generation model 222 with the correct type type and the correct result text. After that, the parameter updating unit 23 updates the parameters of the question generation model 222 according to the comparison result.
  • the parameter updating unit 23 can use general learning techniques in machine learning.
  • the machine learning device 20 performs learning to generate a result text, which is a question sentence, with the classification type as "question" when an analysis target text that does not contain an answer sentence is input. Further, the machine learning device 20 performs learning in which, when an analysis target text including an answer sentence is input, a result text corresponding to the answer sentence is generated with the classification type set to “extraction”. After that, the machine learning device 20 transmits the trained question generation model 222 to the information processing device 1 to use it as the question generation model 122 .
  • the question generation unit 22 and the parameter update unit 23 are machine learning execution units that perform learning of the machine learning model based on the learning data generated by the learning data generation unit 21.
  • the question generation unit 12 and the question generation unit 22 may use a binary classification model instead of a character string for the classification type.
  • the binary classification model in this case represents binary values indicating whether to extract or not. For example, a method of assigning 1 to extraction and assigning 0 to classification can be used.
  • the question generation unit 12 and the question generation unit 22 may adopt a learning method that connects the type type and the result text to generate one character string.
  • viewpoint labels may be set manually, or a method in which the question generation units 12 and 22 automatically set viewpoint labels using keyword matching or a classification model may be employed.
  • the question file creating section 13 creates a file in which the questions generated by the question generating section 12 are described. Then, the question file creation unit 13 outputs the created file. For example, the question file creation unit 13 performs processing such as uploading the created file to a shared folder for uploading documents.
  • the format and content of the file generated by the question file generating unit 13 can be freely set.
  • the question file creation unit 13 may describe both the question text and the viewpoint in the file describing the question, or may describe only the question text.
  • the output of the file created by the question file creation unit 13 is not limited to uploading to a folder.
  • the question file creation unit 13 may send the created file to the uploader of the document by e-mail, or may output the contents of the file to a chatbot or the like to notify it in a chat format.
  • This question file creation unit 13 is an example of a "question output unit". That is, the question file creation unit 13 outputs the generated sentence and the classification type generated by the question generation unit 12 .
  • FIG. 6 is a diagram showing an example of question sentence creation by the information processing apparatus according to the embodiment.
  • the case where the file 200 shown in FIG. 6 is prepared will be described.
  • sentences included in the prepared file 200 are stored as entries 201 and 202 in the text data DB 2 in units of sentences.
  • the storage method is not limited to this, and for example, all sentences in the file 200 may be stored in one entry.
  • the text data DB management unit 11 of the information processing device 1 monitors the text data DB 2 and acquires the text to be analyzed from the entry 201 of the new file. For example, the text data DB management unit 11 states that ⁇ digital transformation is the concept that ⁇ the permeation of IT will change people's lives for the better in every aspect''. Digital shift has the same meaning. ” is obtained as the text to be analyzed. The text data DB management unit 11 then transfers the acquired analysis target text to the question generation unit 12 .
  • the question generation unit 12 When “money” is input as the viewpoint label, the question generation unit 12 outputs the question as the classification type, and generates and outputs the question sentence 203 as the result text from the text to be analyzed. Also, when "term” is input as the viewpoint label, the question generation unit 12 outputs extraction as the classification type, and generates and outputs the extraction text 204 as the result text from the text to be analyzed.
  • the question file creation unit 13 creates a file by attaching a label of [money/question] to the question text 203 created by the question creation unit 12 . As a result, the question file creating unit 13 indicates that the viewpoint label is money and the question is generated in the question sentence 203 . In addition, the question file creation unit 13 creates a file by attaching a label of [term/extraction] to the extracted text 204 created by the question creation unit 12 . As a result, the question file creation unit 13 determines that the extracted text 204 uses the viewpoint related to the definition of the term and that the corresponding part exists in the analysis target text, so that the description in the analysis target text is used as it is. indicate that
  • the question file creation unit 13 outputs the result text, which is the generated sentence generated by the question generation unit 12, and the type type. In addition, the question file creation unit 13 outputs the result text and the classification type by adding information on the viewpoint.
  • FIG. 7 is a flowchart of question generation processing by the information processing apparatus according to the embodiment. Next, a flow of question generation processing by the information processing apparatus 1 according to the present embodiment will be described with reference to FIG.
  • the text data DB management unit 11 monitors the text data DB 2 (step S1).
  • the text data DB management unit 11 determines whether or not a new file entry has been added to the text data DB 2 (step S2). If no new file entry has been added (step S2: NO), the text data DB management unit 11 returns to step S1 and waits until a new file entry is added.
  • step S2 if a new file entry is added (step S2: affirmative), the text data DB management unit 11 acquires the text part of the newly added entry as the analysis target text. Then, the text data DB management unit 11 transfers the acquired text to be analyzed to the question generation unit 12 (step S3).
  • the question generation unit 12 acquires the text to be analyzed from the text data DB management unit 11. Also, the question generation unit 12 acquires a viewpoint label from an external device or the like (step S4).
  • the text processing unit 121 of the question generation unit 12 converts the analysis target text and viewpoint labels into vector format. Then, the text processing unit 121 inputs the vectorized text to be analyzed and the viewpoint label to the question generation model 122 .
  • the question generation model 122 receives the vectorized text to be analyzed and the point-of-view label, and generates the type type and the result text by the text generation layer 123 (step S5).
  • the question file creation unit 13 receives the input of the type type and the result text from the question generation unit 12. Then, the question file creation unit 13 creates a file in which the result text is registered by assigning viewpoint labels and classification types. After that, the question file creating unit 13 creates and outputs the file (step S6).
  • FIG. 8 is a flowchart of machine learning processing by the machine learning device according to the embodiment. Next, a flow of machine learning processing by the machine learning device 20 according to this embodiment will be described with reference to FIG.
  • the learning data generation unit 21 acquires question-answer learning data including a learning text, a question sentence, and an answer sentence (step S11).
  • the learning data generation unit 21 selects one of the unselected type types from among the type types "question” and "extraction” (step S12).
  • the learning data generation unit 21 determines whether the selected classification type is "question” (step S13).
  • step S13 If the selected classification type is "question” (step S13: affirmative), the learning data generation unit 21 deletes the answer part from the learning text (step S14).
  • the learning data generation unit 21 sets the question sentence as the correct answer sentence (step S15). After that, the learning data generator 21 proceeds to step S17.
  • step S13 negative
  • the learning data generation unit 21 sets the answer sentence as the correct answer sentence (step S16). After that, the learning data generator 21 proceeds to step S17.
  • the learning data generation unit 21 generates learning data by assigning a viewpoint label to the learning data including the learning text, the correct answer type type, and the correct answer result text (step S17).
  • the learning data generation unit 21 determines whether or not both types have been selected for the current question-answering learning data (step S18). If unselected type types remain (step S18: No), the learning data generator 21 returns to step S12.
  • step S18 determines whether or not the generation of learning data for all question-answering learning data has been completed. (Step S19). If question-answering learning data for which learning data has not been generated remains (step S19: No), the learning data generator 21 returns to step S11.
  • step S19 affirmative
  • the learning data generation unit 21 outputs the generated learning data to the question generation unit 22.
  • the question generation unit 22 and the parameter update unit 23 use the learning data to perform learning of the question generation model 222 (step S20).
  • the evaluation corpus was generated according to the following procedure.
  • a question sentence is manually created for the acquired text to be analyzed.
  • an answer to the created question sentence exists in the text to be analyzed, it is given a label of "extraction”, which is the classification type when there is an answer.
  • the label of "question”, which is the classification type when there is no answer is manually assigned.
  • the part that will be the answer is manually extracted from the text to be analyzed as the "result text”.
  • viewpoints for experimental questions five viewpoints were used for four classifications mechanically created by keyword-based classification for experiments and one other classification.
  • the four perspectives are money, law, performance and reason.
  • Money is a category that includes keywords such as how much, fees, costs and rewards.
  • Law is a classification that includes keywords such as illegal, rule, contract and audit.
  • Performance is a perspective that includes keywords such as evaluation, experimentation, ability, comparison and performance.
  • a reason is a perspective that includes keywords such as why, cause, why and causality.
  • this viewpoint assignment may be performed manually. As a result, all or part of the pairs of texts and questions manually created by the above procedure were used for the evaluation corpus.
  • the question generation model 122 the following two types of language generation models were used.
  • One is Hobbyiest, a dialog model developed by NTT Communication Science Laboratories (https://github.com/nttcslab/japanese-dialog-transformers/blob/main/README-jp.md).
  • the other is Japanese T5, a model of Huggingface model hub (https://huggingface.co/sonoisa/t5-base-japanese).
  • the following model learning corpus was used for learning the question generation model 122 .
  • a machine reading comprehension corpus of 195,053 cases was used as question-answering training data.
  • 9755 question sentences prepared by the same people as the question sentences for evaluation were used. Of these, the total number of model learning corpora actually used is 204,394.
  • This data includes manually generated questions, texts to be analyzed, point of view labels and answer sentences. Then, the viewpoint label and the text to be analyzed are input to the question generation model 122 . After that, it was verified whether the same answer sentence as the evaluation corpus could be extracted as the output of the question generation model 122 .
  • the question accuracy rate, question average BERT score, question average ranking, and perspective accuracy rate were used.
  • five output results with high evaluation were used for evaluation.
  • the question correctness rate, the average question BERT score, and the average question rank are evaluation criteria when using "no answer" data in the evaluation corpus.
  • the viewpoint accuracy rate is an evaluation criterion when using the data of "answered" in the evaluation corpus.
  • the question accuracy rate is the percentage of questions that are correct in the result text.
  • the question correctness rate is the ratio of manually generated questions in the evaluation corpus to the resulting text output by the question generation model 122 .
  • the question average BERT score is the degree of semantic similarity between the manually created question and the result text.
  • the question BERT score is text similarity. For example, consider a BERT score for a question such as "How much resource do you estimate for implementing DTC?" In this case, the BERT score for the question "How much should I invest to realize DTC?" is 0.775. Also, the BERT score of a question such as "Is there any legal problem with DTC?" is 0.721. Also, the BERT score for a question such as "Is NTT promoting IWON?" is 0.693.
  • the viewpoint correct rate is the rate at which the result text from the same viewpoint as the correct answer was output. As described above, the viewpoint accuracy rate is used for evaluation when using the data "with answer" in the evaluation corpus.
  • FIG. 9 is a diagram showing experimental results using the information processing device according to the embodiment.
  • the values of the question accuracy rate, the question BERT score, the question reverse order, and the viewpoint accuracy rate when Japanese T5 and Hobbyiest are used as the question generation model 122 are calculated. Indicated.
  • Japanese T5 is superior regardless of whether the result text is a question sentence or an extracted text.
  • Hobbyiest often outputs only questions or only points of view during N-best. This is likely due to the large influence of the pre-learning model.
  • questions were generated that were relatively similar in content to the manually created questions.
  • the information processing apparatus 1 acquires the analysis target text registered in the text data DB 2 and generates a question sentence together with the classification type. This makes it possible to determine whether or not the text to be analyzed includes an answer to the created question. By using this judgment result, it is possible to extract the text that does not contain the answer, and if the answer is already described in the text, the question sentence is not generated and the answer is not described in the text. In this case, it is possible to generate a question sentence.
  • the information processing apparatus 1 uses a "viewpoint label ” was introduced.
  • the information processing device 1 acquires the analysis target text registered in the text data DB 2 and generates a question sentence according to the viewpoint of the designated viewpoint label. Further, the information processing apparatus 1 extracts and outputs descriptions according to the viewpoint of the specified viewpoint label from the text to be analyzed. As a result, the information processing apparatus 1 according to the present embodiment generates a question regarding the input viewpoint if the description regarding the input viewpoint does not exist in the text, and the description regarding the input viewpoint already exists in the text. In that case, the text is generated by extracting the corresponding part in the text.
  • the information processing device 1 and the machine learning device 20 when generating a question from a text, do not generate a question sentence that already contains an answer in the text. It provides specific improvements to generation techniques and represents an improvement in the art of question generation techniques when it is not known whether the answer is written in the text.
  • each component of each device illustrated is functionally conceptual, and does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution and integration of each device is not limited to the illustrated one, and all or part of them can be functionally or physically distributed or Can be integrated and configured.
  • all or any part of each processing function performed by each device is realized by a CPU (Central Processing Unit) and a program analyzed and executed by the CPU, or hardware by wired logic can be realized as Further, each processing function performed by each device may be realized using a GPU (Graphics Processing Unit).
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the information processing device 1 and the machine learning device 20 can be implemented by installing an information processing program for executing the question generation process as package software or online software on a desired computer.
  • the computer can function as the information processing device 1 or the machine learning device 20 by causing the computer to execute the information processing program.
  • the computer referred to here includes a desktop or notebook personal computer.
  • computers include smartphones, mobile communication terminals such as mobile phones and PHS (Personal Handy-phone Systems), and slate terminals such as PDAs (Personal Digital Assistants).
  • the information processing apparatus 1 may be implemented as a Web server, or may be implemented as a cloud that provides services related to the above-described management processing by outsourcing.
  • FIG. 10 is a diagram showing an example of a computer that executes an information processing program.
  • the computer 1000 has a memory 1010 and a CPU 1020, for example.
  • Computer 1000 also has hard disk drive interface 1030 , disk drive interface 1040 , serial port interface 1050 , video adapter 1060 and network interface 1070 . These units are connected by a bus 1080 .
  • the memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM (Random Access Memory) 1012 .
  • the ROM 1011 stores a boot program such as BIOS (BASIC Input Output System).
  • BIOS BASIC Input Output System
  • Hard disk drive interface 1030 is connected to hard disk drive 1090 .
  • a disk drive interface 1040 is connected to the disk drive 1100 .
  • a removable storage medium such as a magnetic disk or optical disk is inserted into the disk drive 1100 .
  • the serial port interface 1050 is connected to an input unit 1200 such as a mouse 1110 and a keyboard 1120, for example.
  • Video adapter 1060 is connected to output 1300 , such as display 1130 .
  • the hard disk drive 1090 stores, for example, an OS 1091, application programs 1092, program modules 1093, and program data 1094. That is, a program defining each process of the information processing device 1 or the machine learning device 20 having functions equivalent to those of the information processing device 1 or the machine learning device 20 is implemented as a program module 1093 in which computer-executable code is described. be done.
  • Program modules 1093 are stored, for example, on hard disk drive 1090 .
  • the hard disk drive 1090 stores a program module 1093 for executing processing similar to the functional configuration of the information processing device 1 or the machine learning device 20 .
  • the hard disk drive 1090 may be replaced by an SSD (Solid State Drive).
  • the setting data used in the processing of the above-described embodiment is stored as program data 1094 in the memory 1010 or the hard disk drive 1090, for example. Then, the CPU 1020 reads the program modules 1093 and program data 1094 stored in the memory 1010 and the hard disk drive 1090 to the RAM 1012 as necessary, and executes the processes of the above-described embodiments.
  • the program modules 1093 and program data 1094 are not limited to being stored in the hard disk drive 1090, but may be stored in a removable storage medium, for example, and read by the CPU 1020 via the disk drive 1100 or the like. Alternatively, the program modules 1093 and program data 1094 may be stored in another computer connected via a network (LAN (Local Area Network), WAN (Wide Area Network), etc.). Program modules 1093 and program data 1094 may then be read by CPU 1020 through network interface 1070 from other computers.
  • LAN Local Area Network
  • WAN Wide Area Network
  • a non-transitory storage medium storing a program executable by a computer to perform information processing,
  • the information processing includes: Using a sentence to be analyzed as an input and using a machine learning model that has been trained in advance, a generated sentence that is a sentence related to the content of the sentence to be analyzed and a question sentence about information that the generated sentence does not include an answer in the sentence to be analyzed Generate a type type that is information indicating whether or not A non-temporary storage medium for outputting the generated sentence and the classification type.
  • (Appendix 3) memory at least one processor connected to the memory; including The processor Obtaining a sentence to be analyzed, a question about the content of the sentence to be analyzed, and an answer sentence that is an answer to the question and includes information contained in the sentence to be analyzed, and the answer is not included in the sentence to be analyzed
  • a generated sentence having a type indicating that it is a question about information is to be generated, information that is an answer to the question is removed from the analysis target sentence, and the question is treated as a correct generated sentence
  • the generated sentence having the classification type indicating that it is not a question sentence about information for which the answer is not included in the analysis target sentence is to be generated
  • the answer sentence is a correct generated sentence, the analysis target sentence, the type generating learning data including the type and the correct answer generating sentence;
  • An information processing device that learns a machine learning model based on the generated learning data.
  • the answer to the question and including the information contained in the analysis target sentence is the answer to the question and including the information included in the analysis target sentence.
  • a generated sentence having a classification type indicating that it is a question sentence about information for which the target sentence does not contain an answer is targeted for generation means that the generated sentence generated by the information processing device is not included in the analysis target sentence.
  • a generated sentence having a classification type indicating that it is not a question about information that does not contain an answer in the analysis target sentence is considered as a generation target.
  • the generated sentence generated by the information processing apparatus has a classification type indicating that it is not a question sentence about information not included in the analysis target sentence.
  • a non-transitory storage medium storing a program executable by a computer to perform information processing,
  • the information processing includes: Obtaining a sentence to be analyzed, a question about the content of the sentence to be analyzed, and an answer sentence that is an answer to the question and includes information contained in the sentence to be analyzed, and the answer is not included in the sentence to be analyzed
  • a generated sentence having a type indicating that it is a question about information is to be generated
  • information that is an answer to the question is removed from the analysis target sentence, and the question is treated as a correct generated sentence
  • the answer sentence is a correct generated sentence, the analysis target sentence, the type generating learning data including the type and the correct answer generating sentence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

テキスト中に答えが記載されていない質問文を生成する情報処理装置、情報処理方法及び情報処理プログラムを提供する。質問生成部（１２）は、分析対象文を入力として、予め学習済みの機械学習モデルを用いて、分析対象文の内容に関する文である生成文及び生成文が分析対象文に回答が含まれない情報についての質問文であるか否か示す情報である種別タイプを生成する。質問ファイル作成部（１３）は、質問生成部（１２）により生成された生成文及び種別タイプを出力する。

Description

情報処理装置、情報処理方法及び情報処理プログラム
　本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
　質問生成技術は、テキストを入力としてそのテキストに関する質問文を自然言語で生成する技術である。生成された質問文の多くは、質問応答システムのシナリオや学習用データとして利用される。そのため、質問生成技術で生成される質問文それ自体を価値として提供する仕組みは少ない。
特開２０２０－１３５４５６号公報
　しかしながら、生成される質問文自体を提示することを目的とした装置を考えた場合、従来の質問文生成技術には、元となるテキストから質問を生成する際に既にテキスト中に答えが記載されている質問文であっても生成してしまうという課題がある。
　上述した課題を解決し、目的を達成するために、情報処理装置は、以下の各部を有する。質問生成部は、分析対象文を入力として、予め学習済みの機械学習モデルを用いて、前記分析対象文の内容に関する文である生成文及び前記生成文が前記分析対象文に回答が含まれない情報についての質問文であるか否か示す情報である種別タイプを生成する。質問出力部は、前記質問生成部により生成された前記生成文及び前記種別タイプを出力する。
　本発明によれば、既にテキスト中に答えが記載されている場合には質問文は生成せず、テキスト中に答えが記載されていない場合に質問文を生成することができる。
図１は、実施形態に係る情報処理装置のブロック図である。 図２は、質問生成部の詳細を表すブロック図である。 図３は、質問生成モデルの学習を行う機械学習装置のブロック図である。 図４は、質問応答学習データの一例を示す図である。 図５は、質問生成モデルを学習するための学習用データのイメージ図である。 図６は、実施形態に係る情報処理装置による質問文作成の一例を示す図である。 図７は、実施形態に係る情報処理装置による質問生成処理のフローチャートである。 図８は、実施形態に係る機械学習装置による機械学習処理のフローチャートである。 図９は、実施形態に係る情報処理装置を用いた実験結果を示す図である。 図１０は、情報処理プログラムを実行するコンピュータの一例を示す図である。
　以下に、本願の開示す情報処理装置、情報処理方法及び情報処理プログラムの実施例を図面に基づいて詳細に説明する。なお、以下の実施例により本願の開示する情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。
［実施形態の構成］
　図１は、実施形態に係る情報処理装置のブロック図である。図１を参照して、実施形態に係る情報処理装置１の構成について説明する。
　情報処理装置１は、テキストデータＤＢ２に接続される。テキストデータＤＢ２は、各種文書のファイルが格納されるデータベースである。情報処理装置１は、図１に示すように、テキストデータＤＢ（Data　Base）管理部１１、質問生成部１２及び質問ファイル作成部１３を有する。
　テキストデータＤＢ管理部１１は、テキストデータＤＢ２を監視する。そして、テキストデータＤＢ２に新しいファイルのエントリが追加された場合、テキストデータＤＢ管理部１１は、新たに追加されたエントリのテキスト部分を取得する。そして、テキストデータＤＢ管理部１１は、取得したテキストを質問生成部１２へ転送する。
　ここで、テキストデータＤＢ管理部１１は、テキストデータＤＢ２の監視頻度を予め決められた周期として動作することが可能である。例えば、テキストデータＤＢ管理部１１は、５分単位で逐次監視してテキストを質問生成部１２に転送してもよい。また、テキストデータＤＢ管理部１１は、夜間にまとめてバッチ処理としてその日に追加されたエントリをすべて処理してもよい。他にも、テキストデータＤＢ管理部１１は、テキストデータＤＢ２から出力された信号によりエントリが追加されたことの通知を受けて、テキストを取得してもよい。さらに、テキストデータＤＢ管理部１１は、予め決められた条件に応じたテキストを転送してもよい。例えば、テキストデータＤＢ管理部１１は、決められた条件に合致する人物が作成したファイルのテキストを抽出するように設定されることも可能である。
　質問生成部１２は、テキストの入力をテキストデータＤＢ管理部１１から受ける。そして、質問生成部１２は、取得したテキストを基に質問文を生成する。以下に、質問生成部１２による質問文生成の詳細について説明する。図２は、質問生成部の詳細を表すブロック図である。質問生成部１２は、図２に示すように、テキスト処理部１２１及び質問生成モデル１２２を有する。以下では、質問文を生成する元となる対象のテキストを「分析対象テキスト」と呼ぶ。
　テキスト処理部１２１は、テキストデータＤＢ管理部１１から取得した分析対象テキストＴの入力を受ける。また、テキスト処理部１２１は、観点ラベルＰの入力を図示しない外部装置から受ける。観点ラベルＰは、外部装置を用いて予め入力されていてもよい。分析対象テキストＴ及び観点ラベルＰのいずれも、文字列である。
　観点ラベルＰは、「お金」「法務」などといった質問の観点を示すラベルである。観点ラベルＰは、学習用データとなるテキストの内容に適応していれば自由にラベルを設定することができる。例えば、観点ラベルＰは、「お金」といった抽象的な観点であってもよいし、同一人物の質問集を学習用データとして使用する場合であれば人物名であってもよい。
　ここで、本実施形態では、分析対象テキストＴとともに観点ラベルＰが入力される場合を例に説明したが、質問生成部１２は、質問生成において観点ラベルＰを用いなくてもよい。その場合、テキスト処理部１２１には、分析対象テキストＴは入力されるが、観点ラベルＰは入力されない。
　テキスト処理部１２１は、テキストを表す文字列を深層学習モデルに入力できるベクトル形式に変換する処理を行う。例えば、テキスト処理部１２１は、入力された分析対象テキストＴを所定の処理単位であるトークンに分割する。所定の処理単位としては、形態素や単語またはサブワードなど、任意の単語を用いることが可能である。本実施形態においては、処理の一例として、テキスト処理部１２１は、テキストをトークンに分割する際に形態素解析を行う。そして、テキスト処理部１２１は、各トークンに該当するＩＤ（Identifier）を付与することでone－hotベクトルを作成する。これにより、テキスト処理部１２１は、分析対象テキストＴを質問生成モデル１２２に入力可能な形式に変換する。ここで、形態素解析およびＩＤ付与としては、任意の手法を採用可能である。テキスト処理部１２１は、観点ラベルＰも同様にベクトル形式に変換する。
　その後、テキスト処理部１２１は、ベクトル形式に変換した分析対象テキストＴ及び観点ラベルＰを質問生成モデル１２２へ出力する。
　質問生成モデル１２２は、テキスト生成層１２３を含む深層学習の生成モデルである。質問生成モデル１２２は、テキストを入力として、テキストを出力することができるニューラルネットワークモデルであれば、採用可能なモデルに特に制限はない。
　質問生成モデル１２２は、観点ラベルＰ及び分析対象テキストＴがテキスト処理部１２１から入力される。分析対象テキストＴは、テキストデータＤＢ管理部１１によりテキストデータＤＢ２に格納された文書から抽出されたテキストがテキスト処理部１２１によりベクトル形式に変換されたテキストである。
　テキスト生成層１２３を含む予め学習済みのニューラルネットワークモデルである質問生成モデル１２２は、ベクトル形式に変換された観点ラベルＰ及び分析対象テキストＴを入力として、演算を行なって種別タイプＴｙ及び結果テキストＯを生成する。ここで、観点ラベルＰを用いない場合は、質問生成モデル１２２は、ベクトル形式に変換された分析対象テキストＴを入力として、種別タイプＴｙ及び結果テキストＯを生成する。
　種別タイプＴｙは、結果テキストＯが質問であるか、分析対象テキストから抽出された文字列である抽出テキストであるかを判別するための情報である。また、観点ラベルＰを用いない場合は、種別タイプＴｙは、結果テキストＯが質問であるか否かを判別するための情報である。質問生成モデル１２２は、種別タイプＴｙとして、結果テキストＯが質問文である場合は「質問」という文字列を生成し、結果テキストＯが抽出テキストである場合は「抽出」という文字列を生成する。なお、ここで種別タイプＴｙを表す情報として使用した文字列は一例であり、他の文字列を設定してもよい。
　以上のように、質問生成部１２は、分析対象文を入力として、予め学習済みの機械学習モデルによって生成文及び前記生成文が前記分析対象文に含まれない情報についての質問文であるか否か示す情報である種別タイプを生成する。また、質問生成部１２は、生成文の記載内容の傾向を表す情報である観点を取得して、分析対象文及び観点を入力として、生成文及び種別タイプを生成する。ここで、傾向を表すとは、「お金」「法務」などといったどのようなカテゴリに属する内容であるかを示すことであり、「お金」などの抽象的な情報であってもよいし、人物名など具体的な情報であってもよい。
　また、質問生成部１２が上述した質問生成処理を行うにあたり、事前に質問生成モデル１２２の学習が行われる。以下に、質問生成モデル１２２の学習処理について説明する。図３は、質問生成モデルの学習を行う機械学習装置のブロック図である。ここで、本実施例では、分かり易くするため、図３に示す機械学習装置２０を用いて質問生成モデル１２２の学習を行ったが、機械学習装置２０による機械学習の機能は、情報処理装置１に搭載されてもよい。その場合、情報処理装置１は、動作フェーズとして、学習フェーズ及び推論フェーズの２つを有する。そして、情報処理装置１は、学習フェーズにおいて機械学習装置２０による機能を実行し、推論フェーズにおいて質問文生成処理を行う。
　機械学習装置２０は、質問生成モデル１２２の学習を行うために、機械読解などの質問応答モデル学習用のテキストデータを使用することができる。図４は、質問応答学習データの一例を示す図である。学習用のテキストデータである質問応答学習データは、図４に示すように、学習用テキスト、質問文及び回答文の３つ情報の組として形成される。ここで、学習用テキストは分析対象テキストを一部抜粋したテキストである。機械学習装置２０は、学習用データ生成部２１、質問生成部２２及びパラメータ更新部２３を有する。
　学習用データ生成部２１は、図４に示すような質問応答学習データを取得する。図５は、質問生成モデルを学習するための学習用データのイメージ図である。ここでは、学習用データ生成部２１は、図４に示すような１つの質問応答学習データから、図５に示すような２種類の学習用データを同時に作成する。
　図５の紙面に向かって上段の１つ目の学習用データ＃１は質問生成用の学習用データである。質問生成用の学習用データを作成する場合、学習用データ生成部２１は、質問応答学習データの学習用テキストと質問文とを使用する。まず、学習用データ生成部２１は、質問応答学習データにおける学習用テキストから回答文部分を削除して、質問生成用の学習用データにおける学習用テキストを生成する。次に、学習用データ生成部２１は、質問生成用の学習用データにおける種別タイプを「質問」に設定する。次に、学習用データ生成部２１は、質問生成用の学習用データの結果テキストに質問応答学習データの質問文を設定する。これにより、学習用データ生成部２１は、学習用テキストを回答部分が欠落したテキストとし、且つ、学習用テキストの欠落した部分を質問する質問文を正解生成文とする。
　図４の紙面に向かって下段の２つ目の学習用データ＃２は抽出テキストの生成用の学習用データである。抽出テキストの生成用の学習用データを作成する場合、学習用データ生成部２１は、質問応答学習データの学習用テキスト及び回答文を使用する。この場合、学習用データ生成部２１は、抽出テキストの生成用の学習用データにおける学習用テキストとして、質問応答学習データの学習用テキストをそのままの状態で設定する。次に、学習用データ生成部２１は、抽出テキストの生成用の学習用データにおける種別タイプを「抽出」とする。次に、学習用データ生成部２１は、抽出テキストの生成用の学習用データの結果テキストに回答文を設定する。これにより、学習用データ生成部２１は、回答文を正解生成文とする。
　その後、学習用データ生成部２１は、学習用テキスト、正解の種別タイプ及び正解の結果テキストを含む学習用データに観点ラベルを付与して学習用データを生成する。そして、学習用データ生成部２１は、正解の種別タイプ及び正解の結果テキストをパラメータ更新部２３へ出力する。また、学習用データ生成部２１は、観点ラベルが付加された学習用テキストを質問生成部２２へ出力する。
　以上のように、学習用データ生成部２１は、分析対象文、分析対象文の内容に関する質問文、及び、質問文に対する回答であって分析対象文に含まれる情報を含む回答文を取得し、学習用テキストに含まれない情報についての質問文であることを表す種別タイプを有する生成文を生成する場合、分析対象文から質問文に対する回答となる情報を取り除き、且つ、質問文を正解生成文とし、分析対象文に含まれない情報についての質問文でないことを表す種別タイプを有する生成文を生成する場合、回答文を正解生成文として、分析対象文、種別タイプ及び正解生成文を含む学習用データを生成する。ここで、学習用テキストが分析対象文の一例であり、結果テキストが生成文の一例である。なお、質問文に対する回答であって分析対象文に含まれる情報を含む回答文とは、質問文に対する回答文であり且つ分析対象文に含まれる情報を含む回答文である。また、分析対象文に回答が含まれない情報についての質問文であることを表す種別タイプを有する生成文を生成対象とする場合とは、情報処理装置１により生成される結果テキストである生成文が、分析対象文に含まれない情報についての質問文であることを表す種別タイプを有する、すなわち種別タイプが「質問」となる場合である。同様に、分析対象文に回答が含まれない情報についての質問文でないことを表す種別タイプを有する生成文を生成対象とする場合とは、１情報処理装置により生成される結果テキストである生成文が、分析対象文に含まれない情報についての質問文ではないことを表す種別タイプを有する、すなわち種別タイプが「抽出」となる場合である。
　質問生成部２２は、テキスト処理部２２１及び質問生成モデル２２２を有する。質問生成モデル２２２は、テキスト生成層２２３を含む学習が完了していないニューラルネットワークモデルである。質問生成部２２は、図２に示した質問生成部１２と同様の処理を行う。ただし、質問生成部２２は、学習中のパラメータに基づいて処理を行う。
　テキスト処理部２２１は、図２に示したテキスト処理部１２１と同様の処理を行う。そして、テキスト処理部２２１から出力された観点ラベル及び学習用テキストは、質問生成モデル２２２へ入力される。
　質問生成モデル２２２は、入力された観点ラベル及び学習用テキストに対して、学習中のパラメータに基づいて、図２に示した質問生成モデル１２２と同様の処理を行う。そして、質問生成モデル２２２は、生成した種別タイプ及び結果テキストをパラメータ更新部２３へ出力する。
　パラメータ更新部２３は、正解の種別タイプ及び正解の結果テキストの入力を学習用データ生成部２１から受ける。また、パラメータ更新部２３は、質問生成モデル２２２により生成された種別タイプ及び結果テキストの入力を受ける。そして、パラメータ更新部２３は、質問生成モデル２２２により生成された種別タイプ及び結果テキストと正解の種別タイプ及び正解の結果テキストとを比較する。その後、パラメータ更新部２３は、比較結果にしたがって質問生成モデル２２２のパラメータを更新する。ここで、パラメータ更新部２３は、機械学習における一般的な学習技術を用いることができる。
　以上の処理により、機械学習装置２０は、回答文を含まない分析対象テキストが入力された場合に、種別タイプを「質問」として質問文である結果テキストが生成される学習を行う。また、機械学習装置２０は、回答文を含む分析対象テキストが入力された場合に、種別タイプを「抽出」として回答文に該当する結果テキストが生成される学習を行う。その後、機械学習装置２０は、学習済みの質問生成モデル２２２を情報処理装置１へ送信して、質問生成モデル１２２として使用させる。
　このように、質問生成部２２及びパラメータ更新部２３は、学習用データ生成部２１により生成された学習用データを元に機械学習モデルの学習を行う機械学習実行部である。
　ここで、質問生成部１２及び質問生成部２２は、種別タイプについては文字列でなく２値分類モデルを使用してもよい。この場合の２値分類モデルとは、抽出するか否かの２値を表し、例えば、抽出に１を割り当て、分類に０を割り当てるといった方法を用いることができる。また、質問生成部１２及び質問生成部２２は、種別タイプと結果テキストとを連結して１つの文字列として生成するような学習方法を採用してもよい。
　また、学習用データに対する観点ラベルの付与方法として適当な既存の技術を採用することができる。例えば、人手で観点ラベルを設定してもよいし、キーワードマッチや分類モデルによって質問生成部１２及び質問生成部２２が観点ラベルを自動的に設定する方法を採用してもよい。
　図１に戻って説明を続ける。質問ファイル作成部１３は、質問生成部１２により生成された質問を記載したファイルを作成する。そして、質問ファイル作成部１３は、作成したファイルを出力する。例えば、質問ファイル作成部１３は、文書をアップロードする共有フォルダに生成したファイルをアップロードするなどの処理を行う。ここで、質問ファイル作成部１３が生成するファイルの形式及び記載内容については自由に設定することができる。例えば、質問ファイル作成部１３は、質問を記載したファイルに、質問文と観点とを両方とも記載してもよいし、質問文だけを記載してもよい。また、質問ファイル作成部１３による作成したファイルの出力についても、フォルダへのアップロードに限らない。他にも、質問ファイル作成部１３は、作成したファイルをメールで文書のアップロード者に送信してもよいし、ファイル内容をチャットボット等に出力してチャット形式で通知してもよい。
　この質問ファイル作成部１３は、「質問出力部」の一例にあたる。すなわち、質問ファイル作成部１３は、質問生成部１２により生成された生成文及び種別タイプを出力する。
　図６は、実施形態に係る情報処理装置による質問文作成の一例を示す図である。ここでは、図６に示したファイル２００が用意された場合で説明する。ここでは、用意されたファイル２００に含まれる文章が、文単位でテキストデータＤＢ２にエントリ２０１及び２０２として格納される。ただし、格納方法はこれに限らず、例えばファイル２００の文章全部を１つのエントリに格納されてもよい。
　情報処理装置１のテキストデータＤＢ管理部１１は、テキストデータＤＢ２を監視しており、新たなファイルのエントリ２０１から分析対象テキストを取得す。例えば、テキストデータＤＢ管理部１１は、「デジタルトランスフォーメーションとは、「ＩＴの浸透が、人々の生活をあらゆる面でより良い方向に変化させる」という概念である。デジタルシフトも同様の意味である。」という文字列を分析対象テキストとして取得する。そして、テキストデータＤＢ管理部１１は、取得した分析対象テキストを質問生成部１２へ転送する。
　質問生成部１２は、観点ラベルとして「お金」が入力された場合、種別タイプとして質問を出力し、結果テキストとして質問文２０３を分析対象テキストから生成して出力する。また、観点ラベルとして「用語」が入力された場合、質問生成部１２は、種別タイプとして抽出を出力し、結果テキストとして抽出テキスト２０４を分析対象テキストから生成して出力する。
　質問ファイル作成部１３は、質問生成部１２により生成された質問文２０３に、［お金・質問］のラベルを付与してファイルを生成する。これにより、質問ファイル作成部１３は、質問文２０３において、観点ラベルがお金であり、質問が生成されていることを示す。また、質問ファイル作成部１３は、質問生成部１２により生成された抽出テキスト２０４に、［用語・抽出］のラベルを付与してファイルを生成する。これにより、質問ファイル作成部１３は、抽出テキスト２０４において、用語の定義に関する観点が使用されており、且つ、該当箇所が分析対象テキスト中に存在するため分析対象テキスト中の記載がそのまま使用されていることを示す。
　以上のように、質問ファイル作成部１３は、質問生成部１２により生成された生成文である結果テキスト及び種別タイプを出力する。また、質問ファイル作成部１３は、観点の情報を付加して結果テキスト及び種別タイプを出力する。
　［実施形態の処理］
　図７は、実施形態に係る情報処理装置による質問生成処理のフローチャートである。次に、図７を参照して、本実施形態に係る情報処理装置１による質問生成処理の流れについて説明する。
　テキストデータＤＢ管理部１１は、テキストデータＤＢ２を監視する（ステップＳ１）。
　そして、テキストデータＤＢ管理部１１は、テキストデータＤＢ２に新しいファイルのエントリが追加されたか否かを判定する（ステップＳ２）。新しいファイルのエントリが追加されていない場合（ステップＳ２：否定）、テキストデータＤＢ管理部１１は、ステップＳ１に戻り、新しいファイルのエントリが追加されるまで待機する。
　これに対して、新しいファイルのエントリが追加された場合（ステップＳ２：肯定）、テキストデータＤＢ管理部１１は、新たに追加されたエントリのテキスト部分を分析対象テキストとして取得する。そして、テキストデータＤＢ管理部１１は、取得した分析対象テキストを質問生成部１２へ転送する（ステップＳ３）。
　質問生成部１２は、分析対象テキストをテキストデータＤＢ管理部１１から取得する。また、質問生成部１２は、外部装置などから観点ラベルを取得する（ステップＳ４）。
　質問生成部１２のテキスト処理部１２１は、分析対象テキスト及び観点ラベルをベクトル形式に変換する。そして、テキスト処理部１２１は、ベクトル化した分析対象テキスト及び観点ラベルを質問生成モデル１２２へ入力する。質問生成モデル１２２は、ベクトル化された分析対象テキスト及び観点ラベルを入力としてテキスト生成層１２３により種別タイプ及び結果テキストを生成する（ステップＳ５）。
　質問ファイル作成部１３は、種別タイプ及び結果テキストの入力を質問生成部１２から受ける。そして、質問ファイル作成部１３は、観点ラベルや種別タイプを付与して、結果テキストが登録されたファイルを作成する。その後、質問ファイル作成部１３は、作成しファイルを出力する（ステップＳ６）。
　［実施形態の処理］
　図８は、実施形態に係る機械学習装置による機械学習処理のフローチャートである。次に、図８を参照して、本実施形態に係る機械学習装置２０による機械学習処理の流れについて説明する。
　学習用データ生成部２１は、学習用テキスト、質問文及び回答文を含む質問応答学習データを取得する（ステップＳ１１）。
　次に、学習用データ生成部２１は、「質問」と「抽出」との種別タイプのうち未選択の種別タイプを１つ選択する（ステップＳ１２）。
　次に、学習用データ生成部２１は、選択した種別タイプが「質問」か否かを判定する（ステップＳ１３）。
　選択した種別タイプが「質問」である場合（ステップＳ１３：肯定）、学習用データ生成部２１は、学習用テキストから回答部分を削除する（ステップＳ１４）。
　次に、学習用データ生成部２１は、質問文を正解生成文に設定する（ステップＳ１５）。その後、学習用データ生成部２１は、ステップＳ１７に進む。
　これに対して、選択した種別タイプが「抽出」であり、「質問」でない場合（ステップＳ１３：否定）、学習用データ生成部２１は、回答文を正解生成文に設定する（ステップＳ１６）。その後、学習用データ生成部２１は、ステップＳ１７に進む。
　次に、学習用データ生成部２１は、学習用テキスト、正解の種別タイプ及び正解の結果テキストを含む学習用データに観点ラベルを付与して学習用データを生成する（ステップＳ１７）。
　次に、学習用データ生成部２１は、現在の質問応答学習データについて、両方の種別タイプを選択済みか否か判定する（ステップＳ１８）。未選択の種別タイプが残っている場合（ステップＳ１８：否定）、学習用データ生成部２１は、ステップＳ１２へ戻る。
　これに対して、両方の種別タイプを選択済みの場合（ステップＳ１８：肯定）、学習用データ生成部２１は、全ての質問応答学習データについて学習用データの生成が完了したか否かを判定する（ステップＳ１９）。学習用データの生成を行っていない質問応答学習データが残っている場合（ステップＳ１９：否定）、学習用データ生成部２１は、ステップＳ１１へ戻る。
　これに対して、全ての質問応答学習データについて学習用データの生成が完了した場合（ステップＳ１９：肯定）、学習用データ生成部２１は、生成した学習用データを質問生成部２２へ出力する。質問生成部２２及びパラメータ更新部２３は、学習用データを用いて質問生成モデル２２２の学習を実行する（ステップＳ２０）。
［実験結果］
　次に、本実施形態に係る情報処理装置１による質問生成の実験について説明する。ここでは、人手及び観点分類器を用いて評価用コーパスを作成し、モデルの学習及び評価を行った。
　より具体的には以下の手順により評価用コーパスの生成を実施した。最初に、特定のウェブサイトから質問の生成元の文となる分析対象テキストを取得する。次に、取得した分析対象テキストに対して、人手で質問文を作成する。次に、作成した質問文の回答が分析対象テキストに存在する場合には、回答ありの場合の種別タイプである「抽出」のラベルを付与する。また、作成した質問文の回答が分析対象テキストに存在しない場合には、回答なしの場合の種別タイプである「質問」のラベルを人手で付与する。次に、回答ありの場合は、分析対象テキストから回答となる部分を「結果テキスト」として人手で抽出する。次に、作成した質問文に対して、観点を付与する。ここでは、実験用質問の観点として、実験用に機械的にキーワードベースの分類で作成した４分類及びその他１つの分類のための５つの観点を用いた。４つの観点は、お金、法律、性能及び理由である。お金は、いくら、料金、コスト及び報酬といったキーワードを含む分類である。法律は、違法、ルール、契約及び監査といったキーワードを含む分類である。性能は、評価、実験、能力、比べて及びパフォーマンスといったキーワードを含む観点である。理由は、なぜ、原因、どうして及び因果関係といったキーワードを含む観点である。ただし、この観点付与は人手で行ってもよい。これにより、評価用コーパスには、以上の手順で人手により作成されたテキスト及び質問のペアの全て又は一部を用いた。
　また、質問生成モデル１２２として、以下の２種類の言語生成モデルを用いた。１つは、ＮＴＴコミュニケーション科学基礎研究所が開発した対話モデルであるHobbyiestである（https://github.com/nttcslab/japanese-dialog-transformers/blob/main/README-jp.md）。他の１つは、Huggingface　model　hubのモデルである日本語Ｔ５である（https://huggingface.co/sonoisa/t5-base-japanese）。さらに、質問生成モデル１２２の学習に以下のモデル学習コーパスを用いた。質問応答学習データとして、１９５０５３件の機械読解コーパスを用いた。また、評価用の質問文と同じ人出で作成した９７５５件の質問文を用いた。このうち実際に使用したモデル学習コーパスの総数は、２０４３９４件である。
　そして、学習済みの質問生成モデル１２２に、評価用コーパスを用いて以下の評価実験を実施した。まず、評価用コーパスの中から「回答なし」すなわち種別タイプが「質問」となるデータを選択する。このデータには、人手により作成された質問、分析対象テキスト及び観点ラベルが含まれる。そして、観点ラベル及び分析対象テキストを質問生成モデル１２２に入力する。その後、質問生成モデル１２２の出力として質問が生成されるか、生成された質問は人手により生成された質問に近いかを検証した。
　次に、評価用コーパスの中から「回答あり」すなわち種別タイプが「抽出」となるデータを選択する。このデータには、人手により作成された質問、分析対象テキスト、観点ラベル及び回答文が含まれる。そして、観点ラベル及び分析対象テキストを質問生成モデル１２２に入力する。その後、質問生成モデル１２２の出力として評価用コーパスと同じ回答文が抽出できるかを検証した。
　評価基準として、質問正解率、質問平均ＢＥＲＴスコア、質問平均順位及び観点正解率を用いた。ここでは、評価が高い５つの出力結果を用いて評価を行った。質問正解率、質問平均ＢＥＲＴスコア及び質問平均順位は、評価用コーパスの中の「回答なし」のデータを用いた場合の評価基準である。また、観点正解率は、評価用コーパスの中の「回答あり」のデータを用いた場合の評価基準である。
　質問正解率は、結果テキストに正解である質問が含まれる割合である。言い換えれば、質問正解率は、質問生成モデル１２２が出力した結果テキストのうち、評価用コーパスにおける人手で作成された質問が含まれる割合である。
　また、質問平均ＢＥＲＴスコアは、人手で作成された質問と結果テキストの意味的類似度である。言い換えれば、質問ＢＥＲＴスコアは、テキスト類似度である。例えば、「ＤＴＣを実現するためのリソースはどのくらい見積もっていますか」といった質問文に対するＢＥＲＴスコアを考える。この場合、「いくら投資すればＤＴＣを実現できますか」といった質問文のＢＥＲＴスコアは、０．７７５である。また、「ＤＴＣは法的な問題はないのか」といった質問文のＢＥＲＴスコアは、０．７２１である。また、「ＮＴＴはＩＷＯＮを推進しているのですか」といった質問文のＢＥＲＴスコアは、０．６９３である。
　質問平均逆順位は、評価が高い５つの出力結果の中で最初に正解の質問が出た順位の逆数である。例えば、１番目に正解の質問が出た場合、質問平均逆順位は１である。また、２番目に正解の質問が出た場合、質問平均逆順位は１である。また、３番目に正解の質問が出た場合、質問平均逆順位は０．３３（＝１／３）である。すなわち、質問平均逆順位は、正解が上位にあるほどスコアが１に近くなり、その場合に評価が高くなる評価基準である。
　観点正解率は、正解と同じ観点の結果テキストが出力された割合である。観点正解率は、上述したように、評価用コーパスの中の「回答あり」のデータを用いた場合の評価に用いられる。
　図９は、実施形態に係る情報処理装置を用いた実験結果を示す図である。図９では、５つの各観点ラベルについて、質問生成モデル１２２として日本語Ｔ５を用いた場合及びHobbyiestを用いた場合のそれぞれの質問正解率、質問ＢＥＲＴスコア、質問逆順位及び観点正解率の値を示した。この場合、結果テキストが質問文及び抽出テキストのいずれの場合も、日本語Ｔ５の方が優位である。Hobbyiestは、N－best時に質問のみ又は観点のみが出力される場合が多い。これは、事前学習モデルの影響が大きい可能性が高い。日本語Ｔ５においては、比較的人手で作成された質問と近い内容の質問が生成された。
［実施形態の効果］
　以上に説明したように、本実施形態に係る情報処理装置１は、テキストデータＤＢ２に登録された分析対象テキストを取得して、種別タイプとともに質問文を生成する。これにより、作成した質問文に対する回答が分析対象テキストに含まれるか否かを判定することが可能となる。この判定結果を用いることで、回答が含まれないテキストを抽出することができ、既にテキスト中に答えが記載されている場合には質問文は生成せず、テキスト中に答えが記載されていない場合に質問文を生成することが可能となる。
　また、テキストから質問を生成する場合にどのようなテキストからも質問文を生成してしまうという課題をより確実に解決するために、本実施形態に係る情報処理装置１では、入力に「観点ラベル」を導入した。情報処理装置１は、テキストデータＤＢ２に登録された分析対象テキストを取得して、指定された観点ラベルの観点に応じて質問文を生成する。また、情報処理装置１は、指定された観点ラベルの観点に応じた記載を分析対象テキストから抽出して出力する。これにより、本実施形態に係る情報処理装置１は、入力した観点に関する記載がテキスト中に存在していなければ入力された観点に関する質問を生成し、すでに入力の観点に関する記述がテキスト中に存在する場合はテキスト中の当該箇所を抽出する形で本文を生成する。すなわち、より確実にテキスト中に答えが記載されていない質問文を生成することが可能となる。さらに、観点に基づいた文生成を行うことで、種別タイプが「抽出」である文が生成される場合に、その観点においてはテキスト中に必要な情報が存在すること及びそれがどのように書かれているかを知ることができる。したがって、何故質問文が生成されないのかなどの利用者の理解を助けることが可能となる。また、観点として、特定の人物を用いることで、その人物の想定質問集を作ることもできる。
　本実施形態に係る情報処理装置１及び機械学習装置２０は、テキストから質問を生成する際に、既にテキスト中に答えが記載されている質問文であっても生成してしまうような従来の質問生成技術に対して特定の改善を提供するものであり、テキスト中に回答が記載されているかが不明な場合の質問生成技術に係る技術分野の向上を示すものである。
［システム構成等］
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散及び統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ（Central　Processing　Unit）及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。また、各装置にて行われる各処理機能は、ＧＰＵ（Graphics　Processing　Unit）を用いて実現されてもよい。
　また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
［プログラム］
　一実施形態として、情報処理装置１及び機械学習装置２０は、パッケージソフトウェアやオンラインソフトウェアとして上記の質問生成処理を実行する情報処理プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の情報処理プログラムをコンピュータに実行させることにより、コンピュータを情報処理装置１又は機械学習装置２０として機能させることができる。ここで言うコンピュータには、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、コンピュータにはスマートフォン、携帯電話機やＰＨＳ（Personal　Handy-phone　System）等の移動体通信端末、さらには、ＰＤＡ（Personal　Digital　Assistant）等のスレート端末等がその範疇に含まれる。情報処理装置１は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の管理処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。
　図１０は、情報処理プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
　メモリ１０１０は、ＲＯＭ（Read　Only　Memory）１０１１及びＲＡＭ（Random　Access　Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（BASIC　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０やキーボード１１２０などの入力部１２００に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０などの出力部１３００に接続される。
　ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、情報処理装置１又は機械学習装置２０と同等の機能を持つ情報処理装置１又は機械学習装置２０の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、情報処理装置１又は機械学習装置２０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid　State　Drive）により代替されてもよい。
　また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０は、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した実施形態の処理を実行する。
　なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
　（付記項１）
　メモリと、
　前記メモリに接続された少なくとも１つのプロセッサと、
　を含み、
　前記プロセッサは、
　分析対象文を入力として、予め学習済みの機械学習モデルを用いて、前記分析対象文の内容に関する文である生成文及び前記生成文が前記分析対象文に回答が含まれない情報についての質問文であるか否か示す情報である種別タイプを生成し、
　生成した前記生成文及び前記種別タイプを出力する
　情報処理装置。
　（付記項２）
　情報処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
　前記情報処理は、
　分析対象文を入力として、予め学習済みの機械学習モデルを用いて、前記分析対象文の内容に関する文である生成文及び前記生成文が前記分析対象文に回答が含まれない情報についての質問文であるか否か示す情報である種別タイプを生成し、
　生成した前記生成文及び前記種別タイプを出力する
　非一時的記憶媒体。
　（付記項３）
　メモリと、
　前記メモリに接続された少なくとも１つのプロセッサと、
　を含み、
　前記プロセッサは、
　分析対象文、前記分析対象文の内容に関する質問文、及び、前記質問文に対する回答であって前記分析対象文に含まれる情報を含む回答文を取得し、前記分析対象文に回答が含まれない情報についての質問文であることを表す種別タイプを有する生成文を生成対象とする場合、前記分析対象文から前記質問文に対する回答となる情報を取り除き、且つ、前記質問文を正解生成文とし、前記分析対象文に回答が含まれない情報についての質問文でないことを表す前記種別タイプを有する前記生成文を生成対象とする場合、前記回答文を正解生成文として、前記分析対象文、前記種別タイプ及び前記正解生成文を含む学習用データを生成し、
　生成した前記学習用データを元に機械学習モデルの学習を行う
　情報処理装置。
　（ここで、質問文に対する回答であって分析対象文に含まれる情報を含む回答文とは、質問文に対する回答文であり且つ分析対象文に含まれる情報を含む回答文である。また、分析対象文に回答が含まれない情報についての質問文であることを表す種別タイプを有する生成文を生成対象とする場合とは、情報処理装置により生成される生成文が、分析対象文に含まれない情報についての質問文であることを表す種別タイプを有する場合である。同様に、分析対象文に回答が含まれない情報についての質問文でないことを表す種別タイプを有する生成文を生成対象とする場合とは、情報処理装置により生成される生成文が、分析対象文に含まれない情報についての質問文ではないことを表す種別タイプを有する場合である。）
　（付記項４）
　情報処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
　前記情報処理は、
　分析対象文、前記分析対象文の内容に関する質問文、及び、前記質問文に対する回答であって前記分析対象文に含まれる情報を含む回答文を取得し、前記分析対象文に回答が含まれない情報についての質問文であることを表す種別タイプを有する生成文を生成対象とする場合、前記分析対象文から前記質問文に対する回答となる情報を取り除き、且つ、前記質問文を正解生成文とし、前記分析対象文に回答が含まれない情報についての質問文でないことを表す前記種別タイプを有する前記生成文を生成対象とする場合、前記回答文を正解生成文として、前記分析対象文、前記種別タイプ及び前記正解生成文を含む学習用データを生成し、
　生成した前記学習用データを元に機械学習モデルの学習を行う
　非一時的記憶媒体。
　本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記載された場合と同程度に、本明細書中に参照により取り込まれる。
　１　情報処理装置
　２　テキストデータＤＢ
　１１　テキストデータＤＢ管理部
　１２　質問生成部
　１３　質問ファイル作成部
　２０　機械学習装置
　２１　学習用データ生成部
　２２　質問生成部
　２３　パラメータ更新部
　１２１　テキスト処理部
　１２２　質問生成モデル
　１２３　テキスト生成層
　２２１　テキスト処理部
　２２２　質問生成モデル
　２２３　テキスト生成層

Claims (8)

  1. 　分析対象文を入力として、予め学習済みの機械学習モデルを用いて、前記分析対象文の内容に関する文である生成文及び前記生成文が前記分析対象文に回答が含まれない情報についての質問文であるか否か示す情報である種別タイプを生成する質問生成部と、
    　前記質問生成部により生成された前記生成文及び前記種別タイプを出力する質問出力部と
    　を備えたことを特徴とする情報処理装置。
  2. 　前記質問生成部は、前記生成文の記載内容の傾向を表す情報である観点を取得して、前記分析対象文及び前記観点を入力として、前記生成文及び前記種別タイプを生成することを特徴とする請求項１に記載の情報処理装置。
  3. 　前記質問出力部は、前記観点の情報を付加して前記生成文及び前記種別タイプを出力することを特徴とする請求項２に記載の情報処理装置。
  4. 　分析対象文を入力として、予め学習済みの機械学習モデルを用いて、前記分析対象文の内容に関する文である生成文及び前記生成文が前記分析対象文に回答が含まれない情報についての質問文であるか否か示す情報である種別タイプを生成し、
    　生成した前記生成文及び前記種別タイプを出力する
    　ことを特徴とする情報処理方法。
  5. 　分析対象文を入力として、予め学習済みの機械学習モデルを用いて、前記分析対象文の内容に関する文である生成文及び前記生成文が前記分析対象文に回答が含まれない情報についての質問文であるか否か示す情報である種別タイプを生成し、
    　生成した前記生成文及び前記種別タイプを出力する
    　処理をコンピュータに実行させることを特徴とする情報処理プログラム。
  6. 　分析対象文、前記分析対象文の内容に関する質問文、及び、前記質問文に対する回答であって前記分析対象文に含まれる情報を含む回答文を取得し、前記分析対象文に回答が含まれない情報についての質問文であることを表す種別タイプを有する生成文を生成対象とする場合、前記分析対象文から前記質問文に対する回答となる情報を取り除き、且つ、前記質問文を正解生成文とし、前記分析対象文に回答が含まれない情報についての質問文でないことを表す前記種別タイプを有する前記生成文を生成対象とする場合、前記回答文を正解生成文として、前記分析対象文、前記種別タイプ及び前記正解生成文を含む学習用データを生成する学習用データ生成部と、
    　前記学習用データ生成部により生成された前記学習用データを元に機械学習モデルの学習を行う機械学習実行部と
    　を備えたことを特徴とする情報処理装置。
  7. 　分析対象文、前記分析対象文の内容に関する質問文、及び、前記質問文に対する回答であって前記分析対象文に含まれる情報を含む回答文を取得し、前記分析対象文に回答が含まれない情報についての質問文であることを表す種別タイプを有する生成文を生成対象とする場合、前記分析対象文から前記質問文に対する回答となる情報を取り除き、且つ、前記質問文を正解生成文とし、前記分析対象文に回答が含まれない情報についての質問文でないことを表す前記種別タイプを有する前記生成文を生成対象とする場合、前記回答文を正解生成文として、前記分析対象文、前記種別タイプ及び前記正解生成文を含む学習用データを生成し、
    　生成した前記学習用データを元に機械学習モデルの学習を行う
    　ことを特徴とする情報処理方法。
  8. 　分析対象文、前記分析対象文の内容に関する質問文、及び、前記質問文に対する回答であって前記分析対象文に含まれる情報を含む回答文を取得し、前記分析対象文に回答が含まれない情報についての質問文であることを表す種別タイプを有する生成文を生成対象とする場合、前記分析対象文から前記質問文に対する回答となる情報を取り除き、且つ、前記質問文を正解生成文とし、前記分析対象文に回答が含まれない情報についての質問文でないことを表す前記種別タイプを有する前記生成文を生成対象とする場合、前記回答文を正解生成文として、前記分析対象文、前記種別タイプ及び前記正解生成文を含む学習用データを生成し、
    　生成した前記学習用データを元に機械学習モデルの学習を行う
    　処理をコンピュータに実行させることを特徴とする情報処理プログラム。
PCT/JP2021/041807 2021-11-12 2021-11-12 情報処理装置、情報処理方法及び情報処理プログラム WO2023084761A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/041807 WO2023084761A1 (ja) 2021-11-12 2021-11-12 情報処理装置、情報処理方法及び情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/041807 WO2023084761A1 (ja) 2021-11-12 2021-11-12 情報処理装置、情報処理方法及び情報処理プログラム

Publications (1)

Publication Number Publication Date
WO2023084761A1 true WO2023084761A1 (ja) 2023-05-19

Family

ID=86335450

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/041807 WO2023084761A1 (ja) 2021-11-12 2021-11-12 情報処理装置、情報処理方法及び情報処理プログラム

Country Status (1)

Country Link
WO (1) WO2023084761A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020135456A (ja) * 2019-02-20 2020-08-31 日本電信電話株式会社 生成装置、学習装置、生成方法及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020135456A (ja) * 2019-02-20 2020-08-31 日本電信電話株式会社 生成装置、学習装置、生成方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TANIGUCHI, MOTOKI EL AL.: "Improving the versatility of machine reading comprehension model using automatically generated data", PROCEEDINGS OF THE TWENTY-SIXTH ANNUAL MEETING OF THE ASSOCIATION FOR NATURAL LANGUAGE PROCESSING, 9 March 2020 (2020-03-09), pages 665 - 668, XP009545907 *

Similar Documents

Publication Publication Date Title
WO2021082953A1 (zh) 机器阅读理解方法、设备、存储介质及装置
US20210232762A1 (en) Architectures for natural language processing
WO2020147238A1 (zh) 关键词的确定方法、自动评分方法、装置、设备及介质
US11394799B2 (en) Methods, systems, apparatuses, and devices for facilitating for generation of an interactive story based on non-interactive data
US20180068221A1 (en) System and Method of Advising Human Verification of Machine-Annotated Ground Truth - High Entropy Focus
US20180068222A1 (en) System and Method of Advising Human Verification of Machine-Annotated Ground Truth - Low Entropy Focus
US9536444B2 (en) Evaluating expert opinions in a question and answer system
CN110347802B (zh) 一种文本分析方法及装置
CN111797245B (zh) 基于知识图谱模型的信息匹配方法及相关装置
CN111930914A (zh) 问题生成方法和装置、电子设备以及计算机可读存储介质
KR20200087977A (ko) 멀티모달 문서 요약 시스템 및 방법
WO2022154897A1 (en) Classifier assistance using domain-trained embedding
US20220358280A1 (en) Context-aware font recommendation from text
CN112287085B (zh) 语义匹配方法、系统、设备及存储介质
KR20210034679A (ko) 엔티티-속성 관계 식별
CN115309910B (zh) 语篇要素和要素关系联合抽取方法、知识图谱构建方法
CN112579733A (zh) 规则匹配方法、规则匹配装置、存储介质及电子设备
CN113010679A (zh) 问答对生成方法、装置、设备及计算机可读存储介质
Peters Design and implementation of a chatbot in the context of customer support
CN113672738A (zh) 用于确定知识图谱的至少一部分的设备和方法
JP7272060B2 (ja) 生成方法、学習方法、生成プログラム、及び生成装置
CN115600605A (zh) 一种中文实体关系联合抽取方法、系统、设备及存储介质
CN113486143A (zh) 一种基于多层级文本表示及模型融合的用户画像生成方法
CN115617974B (zh) 一种对话处理方法、装置、设备及存储介质
JP7211011B2 (ja) 学習方法、学習プログラム及び生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21964115

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023559368

Country of ref document: JP

Kind code of ref document: A