WO2023170810A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2023170810A1
WO2023170810A1 PCT/JP2022/010237 JP2022010237W WO2023170810A1 WO 2023170810 A1 WO2023170810 A1 WO 2023170810A1 JP 2022010237 W JP2022010237 W JP 2022010237W WO 2023170810 A1 WO2023170810 A1 WO 2023170810A1
Authority
WO
WIPO (PCT)
Prior art keywords
pair
appropriateness
information processing
target pair
question
Prior art date
Application number
PCT/JP2022/010237
Other languages
English (en)
French (fr)
Inventor
康佑 秋元
邦紘 竹岡
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/010237 priority Critical patent/WO2023170810A1/ja
Publication of WO2023170810A1 publication Critical patent/WO2023170810A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to an information processing device, an information processing method, and a program.
  • Patent Document 1 discloses a technology related to Active Learning that selects a pair with a high learning effect from a plurality of pairs of unlabeled questions and correct answers.
  • the technology of Patent Document 1 discloses a configuration in which a plurality of unlabeled pairs are classified in a feature space, and a characteristic pair is selected from the classified pairs using the value of a loss function for each question. has been done.
  • Patent Document 1 uses the value of the loss function for each question to select characteristic pairs.
  • calculating the value of a loss function involves complex processing such as converting pairs into feature quantities and processing using a model learned by machine learning. Therefore, depending on the input pairs, the value of the loss function after calculation may result in an unintended result for the designer. That is, in the technique of Patent Document 1, when the calculation result of the loss function value is an unintended result, characteristic pairs are selected using the result, so pairs with low learning effects are also selected.
  • the problem was that there was a possibility that
  • One aspect of the present invention has been made in view of the above problems, and one example of the purpose thereof is to provide pairs of questions and correct answers suitable for learning a question answering system.
  • An information processing device includes an acquisition unit that acquires a target pair that is a pair of a question to be determined and a correct answer, and one or more similar pairs that are similar to the target pair acquired by the acquisition unit.
  • a determining means is provided for determining the appropriateness of the target pair by referring to information indicating the appropriateness of at least one of the included questions and correct answers.
  • An information processing method includes the steps of: acquiring a target pair that is a pair of a question to be determined and a correct answer; The method includes determining the appropriateness of the target pair by referring to information indicating the appropriateness of at least one of a question and a correct answer included in a plurality of similar pairs.
  • a program according to one aspect of the present invention is a program that causes a computer to function as an information processing device, and the program includes an acquisition unit that causes the computer to acquire a target pair that is a pair of a question to be determined and a correct answer. , determine the appropriateness of the target pair by referring to information indicating the appropriateness of at least one of a question and a correct answer included in one or more similar pairs similar to the target pair acquired by the acquisition means. It functions as a determination means.
  • FIG. 1 is a block diagram showing the configuration of an information processing device according to exemplary embodiment 1 of the present invention.
  • FIG. FIG. 2 is a conceptual diagram showing an example of a target pair and a similar pair in exemplary embodiment 1 of the present invention.
  • FIG. 2 is a flow diagram showing the flow of an information processing method according to exemplary embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing the configuration of an information processing device according to a second exemplary embodiment of the present invention.
  • FIG. 7 is a diagram illustrating an example of a process executed by an information processing apparatus according to a second exemplary embodiment of the present invention.
  • FIG. 3 is a block diagram showing the configuration of an information processing device according to a third exemplary embodiment of the present invention.
  • FIG. 7 is a diagram illustrating an example of a process executed by an information processing apparatus according to a third exemplary embodiment of the present invention.
  • FIG. 3 is a block diagram showing the configuration of an information processing device according to exemplary embodiment 4 of the present invention.
  • FIG. 12 is a diagram illustrating an example of display content displayed by an information processing device according to exemplary embodiment 4 of the present invention.
  • 1 is a block diagram illustrating an example of a hardware configuration of an information processing device according to each exemplary embodiment of the present invention.
  • the information processing device 1 is a device that determines the appropriateness of a pair of questions and correct answers used for learning a question answering system.
  • a question answering system is a system that outputs the correct answer to an input question.
  • the question answering system is, for example, a learning model that has been trained using teacher data that includes pairs of questions and correct answers.
  • the specific configuration of the question answering system is not limited, but as an example, CNN (Convolution Neural Network), RNN (Recurrent Neural Network), Transformer, or a combination thereof can be used.
  • a non-neural network model such as a random forest or a support vector machine may be used.
  • An example of the suitability of a pair of a question and a correct answer used in learning a question answering system is the usefulness of a pair of a question and a correct answer in learning a question answering system.
  • whether a pair of the same question and correct answer is useful or not may differ depending on the question answering system.
  • the pair of a certain question and a correct answer is not useful for the certain question answering system.
  • the pair of a certain question and the correct answer is not included in the trained teacher data in another question answering system different from the certain question answering system, the pair of the certain question and the correct answer is not included in the trained teacher data of the other question answering system.
  • Beneficial for response systems if the pair of a certain question and the correct answer is not included in the trained teacher data in another question answering system different from the certain question answering system, the pair of the certain question and the correct answer is not included in the trained teacher data of the other question answering system.
  • examples of inappropriate question-correct-answer pairs used for learning question-answering systems include cases in which the content of the question cannot be interpreted, the question is not grammatically formed into a question, and the correct answer to the question is incorrect. , etc.
  • FIG. 1 is a block diagram showing the configuration of an information processing device 1 according to this exemplary embodiment.
  • the information processing device 1 includes an acquisition section 11 and a determination section 12.
  • the acquisition unit 11 and the determination unit 12 are configured to implement an acquisition means and a determination means, respectively, in this exemplary embodiment.
  • the acquisition unit 11 acquires a target pair that is a pair of a question to be determined and a correct answer.
  • the acquisition unit 11 supplies the acquired target pair to the determination unit 12.
  • the determining unit 12 determines the appropriateness of the target pair by referring to information indicating the appropriateness of at least one of a question and a correct answer included in one or more similar pairs similar to the target pair acquired by the acquiring unit 11. Make a judgment.
  • Examples of one or more similar pairs similar to the target pair include a pair containing a question similar to the question of the target pair, a pair containing a correct answer similar to the correct answer of the target pair, or a question similar to the question and correct answer of the target pair. and pairs containing the correct answer.
  • the determination unit 12 determines the appropriateness of the target pair by referring to information indicating the appropriateness of questions of similar pairs that include questions similar to the questions of the target pair. As another example, the determination unit 12 determines the appropriateness of the target pair by referring to information indicating the appropriateness of correct answers of similar pairs that include correct answers similar to the correct answers of the target pair. As still another example, the determination unit 12 determines the appropriateness of the target pair by referring to information indicating the appropriateness of questions and correct answers of similar pairs that include questions and correct answers similar to the questions and correct answers of the target pair. conduct.
  • FIG. 2 is a conceptual diagram showing an example of target pairs and similar pairs in this exemplary embodiment.
  • the determination unit 12 determines the target of question Q and correct answer A in the feature space in which each pair SP1 to SP6 of each question q1 to question q6 and each correct answer a1 to correct answer a6 is positioned. Position the pair TP. For example, the determination unit 12 uses the distance between each of the pairs SP1 to SP6 in the feature space and the target pair TP as a degree of similarity, and identifies a pair whose distance to the target pair TP is closer than a predetermined distance as a similar pair. . In the diagram shown in FIG. 2, the determination unit 12 identifies similar pairs SP1, SP2, and SP3 included in similar regions SR at a predetermined distance from the target pair TP.
  • information indicating the appropriateness of at least one of questions q1 to q3 and correct answers a1 to a3 included in each of similar pairs SP1, SP2, and SP3 is a score s1. , score s2, and score s3.
  • the determination unit 12 determines the appropriateness of the target pair TP by referring to the score s1, the score s2, and the score s3.
  • the acquisition unit 11 acquires a target pair that is a pair of a question to be determined and a correct answer
  • a configuration is adopted that includes a determination unit 12 that determines the appropriateness of the target pair by referring to information indicating the appropriateness of at least one of the question and the correct answer included in one or more similar pairs.
  • the information processing device 1 According to the information processing device 1 according to the present exemplary embodiment, information indicating the appropriateness of at least one of a question and a correct answer included in a similar pair that is similar to the target pair is referred to. Since the appropriateness is determined, the possibility that an inappropriate target pair is determined to be appropriate is lower than when the appropriateness is determined by referring only to the target pair.
  • the value of the loss function is calculated through complex processing, so unintended values may be calculated. There is. With this configuration, there is a high possibility that an inappropriate target pair will be determined to be appropriate.
  • the information processing device 1 according to the exemplary embodiment, information indicating the appropriateness of at least one of a question and a correct answer included in a similar pair similar to the target pair is referred to, instead of only the target pair. Since the appropriateness of the target pair is determined based on the above, it is possible to provide pairs of questions and correct answers that are appropriate for learning the question answering system.
  • FIG. 3 is a flow diagram showing the flow of the information processing method S1 according to the exemplary embodiment.
  • Step S11 the acquisition unit 11 acquires a target pair that is a pair of a question to be determined and a correct answer.
  • the acquisition unit 11 supplies the acquired target pairs to the determination unit 12.
  • Step S12 the determination unit 12 refers to information indicating the appropriateness of at least one of the question and the correct answer included in one or more similar pairs similar to the target pair acquired by the acquisition unit 11 in step S11. , determines the appropriateness of the target pair.
  • step S11 the acquisition unit 11 acquires a target pair, which is a pair of a question to be determined and a correct answer, and in step S12, the determination unit determines the appropriateness of the target pair by referring to information indicating the appropriateness of at least one of the question and the correct answer included in one or more similar pairs similar to the target pair obtained in step S11.
  • a configuration that includes this is adopted. Therefore, according to the information processing method S1 according to the present exemplary embodiment, the same effects as those of the information processing apparatus 1 described above can be obtained.
  • Example Embodiment 2 A second exemplary embodiment of the invention will be described in detail with reference to the drawings. Note that components having the same functions as those described in the first exemplary embodiment are denoted by the same reference numerals, and the description thereof will be omitted as appropriate.
  • FIG. 4 is a block diagram showing the configuration of the information processing device 1A according to this exemplary embodiment.
  • the information processing device 1A includes a control section 10A, a database 20A, an input/output section 30A, and a communication section 40A.
  • the database 20A stores data referenced by the control unit 10A.
  • a pair P of a question and a correct answer and a score S which is an example of information indicating the appropriateness of the pair P, are stored in association with each other.
  • the database 20A stores determined pairs DP whose suitability has been determined by the control unit 10A.
  • the score S which is an example of information indicating the appropriateness of the pair P of question and correct answer, may be expressed as a real number, or may be a categorical value that takes discrete values. The process by which the information processing device 1A obtains the score S will be described later.
  • the input/output unit 30A is an interface for acquiring or outputting data.
  • the input/output unit 30A supplies the acquired data to the control unit 10A and outputs the data supplied from the control unit 10A.
  • Examples of the input/output unit 30A include a touch pad for acquiring data, a keyboard, and a display device for outputting data.
  • the communication unit 40A is a communication module that communicates with other devices via a network (not shown). As an example, the communication unit 40A outputs data supplied from the control unit 10A to another device via the network, acquires data output from another device via the network, and outputs the data supplied from the control unit 10A to another device via the network. supply to.
  • examples include a wireless LAN (Local Area Network), a wired LAN, and a WAN (Wide Area Network). , a public network, a mobile data communications network, or a combination of these networks.
  • a wireless LAN Local Area Network
  • a wired LAN Wireless Local Area Network
  • a WAN Wide Area Network
  • public network a public network
  • mobile data communications network or a combination of these networks.
  • the control unit 10A controls each component of the information processing device 1A.
  • the control unit 10A also functions as an acquisition unit 11 and a determination unit 12, as shown in FIG.
  • the acquisition unit 11 and the determination unit 12 are configured to implement an acquisition means and a determination means, respectively, in this exemplary embodiment.
  • the acquisition unit 11 acquires a target pair that is a pair of a question to be determined and a correct answer.
  • the acquisition unit 11 supplies the acquired target pair to the determination unit 12.
  • the determining unit 12 determines the appropriateness of the target pair by referring to information indicating the appropriateness of at least one of a question and a correct answer included in one or more similar pairs similar to the target pair acquired by the acquiring unit 11. Make a judgment.
  • the determining unit 12 stores the determined pair DP in the database 20A.
  • the determination unit 12 determines the usefulness of using the target pair for learning of the question answering system as the appropriateness of the target pair. With this configuration, the determination unit 12 can provide pairs of questions and correct answers that are useful for learning the question answering system.
  • the question is whether or not.
  • the information indicating the suitability of similar pairs may be obtained from the user, or may be calculated using a predetermined algorithm.
  • a process described below as an example of a process by which the information processing device 1A obtains the score S may be used.
  • Another example of information indicating the appropriateness of at least one of the question and the correct answer included in a similar pair is the subjective appropriateness of the correct answer to the question (whether it is appropriate or not as seen by experts in the field). The information shown is listed below.
  • the determination unit 12 also functions as a search unit 121 and an evaluation unit 122, as shown in FIG.
  • the search unit 121 and the evaluation unit 122 are configured to realize a search means and an evaluation means, respectively, in this exemplary embodiment.
  • the search unit 121 refers to the database 20A that stores a plurality of pairs P of questions and correct answers and a score S as information indicating the appropriateness of each of the plurality of pairs P, and searches for a target pair. Search for one or more similar pairs whose degree of similarity is greater than or equal to a predetermined degree. An example of a process in which the search unit 121 searches for similar pairs will be described later.
  • the evaluation unit 122 evaluates the appropriateness of the target pair from the score S, which is information indicating the appropriateness of each of the similar pairs searched by the search unit 121. An example of a process in which the evaluation unit 122 evaluates the appropriateness of the target pair will be described later.
  • the information processing device 1A may be configured to obtain the score S from the user via the input/output unit 30A.
  • the information processing device 1A may output an image prompting the user to input the score S of the pair P via the input/output unit 30A, and obtain the user's input on the image.
  • the information processing device 1A may be configured to use a rule-based program.
  • a rule-based program is a rule-based program that calculates a score S depending on whether a predetermined word is included in at least one of a question and a correct answer.
  • the information processing device 1A may be configured to input at least one of the questions and correct answers of the pair P to the rule-based program and obtain the calculated score S.
  • the information processing device 1A may be configured to use an existing question answering system.
  • the information processing device 1A is configured to input a question of a pair P into an existing question answering system, and obtain as a score S the degree to which the correct answer output from the question answering system matches the correct answer of the pair P.
  • the information processing device 1A may further acquire a score S corresponding to the confidence level of the correct answer output from the question answering system.
  • the information processing device 1A may be configured to acquire a higher score S as the certainty of the correct answer output from the question answering system is higher.
  • a configuration may be used in which a prediction model that receives the pair P as an input and outputs the score S of the pair P is used.
  • the information processing device 1A may be configured to input the pair P into a prediction model and obtain the score S output from the prediction model.
  • the search unit 121 may refer to the degree of similarity between the plurality of pairs and the target pair.
  • the search unit 121 may be configured to function as a similarity calculation unit that calculates the similarity, or may be configured to refer to the similarity calculated by another device.
  • search unit 121 calculates the similarity between the pair P and the target pair when the search unit 121 also functions as a similarity calculation unit will be described below.
  • the search unit 121 calculates the degree of similarity between the pair P and the target pair
  • the character string included in the question or correct answer of the pair P matches the character string included in the question or correct answer of the target pair.
  • An example is a configuration in which the number of character strings is calculated as the degree of similarity between the target pair and the pair P.
  • the search unit 121 identifies a pair P whose degree of similarity is a predetermined degree or higher (for example, five or more matching character strings) as a similar pair.
  • the search unit 121 searches for similar pairs that include questions or correct answers that have many character strings that match character strings included in the question or correct answer of the target pair.
  • the search unit 121 inputs a plurality of pairs of questions and correct answers, and outputs the similarity between the plurality of questions and correct answer pairs.
  • One example is a configuration that uses a similarity prediction model.
  • the search unit 121 may be configured to input the target pair and the pair P into a similarity prediction model and obtain the output similarity.
  • a known learning model can be used as the similarity prediction model used by the search unit 121, and an example is a known natural language processing model.
  • the search unit 121 uses a similarity prediction model to learn the similarity prediction model using training data including a plurality of sets of two pairs and the similarity of the two pairs. It may also be configured to function as a degree prediction model learning means.
  • the search unit 121 calculates the similarity between the pair P and the target pair, as described with reference to FIG.
  • the distance between the two may be calculated as the degree of similarity.
  • the search unit 121 identifies a pair P whose degree of similarity is a predetermined degree or more (for example, the distance between the target pair and the pair P in the feature space is a predetermined distance or less) as a similar pair.
  • the evaluation unit 122 evaluates that the target pair is appropriate. You may.
  • Another example of the evaluation process executed by the evaluation unit 122 includes a process of calculating the average or weighted average of the scores S as information indicating the suitability of each of the plurality of similar pairs searched by the search unit 121. Good too.
  • the evaluation unit 122 calculates a simple average of the scores S of each of the plurality of similar pairs. Then, if the calculated simple average is greater than or equal to a predetermined value, the evaluation unit 122 may evaluate that the target pair is appropriate.
  • the evaluation unit 122 may calculate a weighted average of the scores S by referring to the similarities referenced by the search unit 121 and using a value according to the similarity of the plurality of similar pairs as a weighting coefficient. As an example, the evaluation unit 122 sets a large weighting coefficient for a similar pair that has a relatively higher degree of similarity than other similar pairs, and sets a large weighting coefficient for a similar pair that has a relatively lower degree of similarity than other similar pairs. sets a small weighting coefficient and calculates a weighted average of multiple similar pairs. Then, if the calculated weighted average is greater than or equal to a predetermined value, the evaluation unit 122 may evaluate that the target pair is appropriate.
  • the evaluation unit 122 appropriately evaluates the appropriateness of the target pair by taking the average or weighted average of the scores S as information indicating the appropriateness of each of the plurality of similar pairs searched by the search unit 121. can be evaluated.
  • FIG. 5 is a diagram showing an example of a process executed by the information processing device 1A according to the present exemplary embodiment.
  • the acquisition unit 11 acquires a target pair that is a pair of a question to be determined and a correct answer. As an example, as shown in FIG. 5, the acquisition unit 11 acquires a target pair of the question "What is the capital of the United States of America?" and the correct answer "Washington, D.C.”. The acquisition unit 11 supplies the acquired target pair to the determination unit 12.
  • the search unit 121 of the determination unit 12 refers to the database 20A to search for one or more similar pairs whose degree of similarity with the target pair supplied from the acquisition unit 11 is greater than or equal to a predetermined degree. Then, the search unit 121 supplies the searched one or more similar pairs to the evaluation unit 122. As an example, as shown in FIG. 5, the search unit 121 refers to the database 20A to search for pair 1 and pair 2, which are similar pairs. The process by which the search unit 121 searches for similar pairs is as described above. Then, the search unit 121 supplies the searched pair 1 and pair 2 to the evaluation unit 122.
  • the evaluation unit 122 evaluates the appropriateness of the target pair from the information indicating the appropriateness of each similar pair supplied from the search unit 121. As an example, as shown in FIG. 5, the evaluation unit 122 calculates appropriateness scores of “0” and “0”, which are information indicating the appropriateness of pair 1 and pair 2, which are similar pairs supplied from the search unit 121. 0.1". The evaluation unit 122 then calculates an appropriateness score of "0.05”, which is information indicating the appropriateness of the target pair, and evaluates the appropriateness of the target pair. The process by which the evaluation unit 122 obtains a score and the evaluation process for evaluating appropriateness are as described above.
  • a database storing a plurality of pairs P of questions and correct answers and information indicating the appropriateness of each of the plurality of pairs P is stored.
  • a search unit 121 searches for one or more similar pairs whose degree of similarity with the target pair is equal to or higher than a predetermined degree, and information indicating the suitability of each of the similar pairs searched by the search unit 121. Therefore, a configuration including an evaluation unit 122 that evaluates the appropriateness of the target pair is adopted.
  • similar pairs similar to the target pair are searched from the database 20A, and the suitability of the target pair is evaluated from information indicating the suitability of the similar pairs. Therefore, pairs of questions and correct answers that are appropriate for learning the question answering system can be provided, compared to the case where only information indicating the appropriateness of the target pair is referred to.
  • Example Embodiment 3 A third exemplary embodiment of the invention will be described in detail with reference to the drawings. Note that components having the same functions as those described in the exemplary embodiments described above will be denoted by the same reference numerals, and the description thereof will not be repeated.
  • FIG. 6 is a block diagram showing the configuration of the information processing device 1B according to this exemplary embodiment.
  • the information processing device 1B includes a control section 10B, a database 20A, an input/output section 30A, and a communication section 40A.
  • the database 20A, input/output section 30A, and communication section 40A are as described above.
  • the control unit 10B controls each component of the information processing device 1B.
  • the control unit 10B also functions as an acquisition unit 11 and a determination unit 12, as shown in FIG.
  • the acquisition unit 11 and the determination unit 12 are configured to implement an acquisition means and a determination means, respectively, in this exemplary embodiment.
  • the acquisition unit 11 acquires a target pair that is a pair of a question to be determined and a correct answer.
  • the acquisition unit 11 supplies the acquired target pair to the determination unit 12.
  • the determining unit 12 determines the appropriateness of the target pair by referring to information indicating the appropriateness of at least one of a question and a correct answer included in one or more similar pairs similar to the target pair acquired by the acquiring unit 11. Make a judgment.
  • the determining unit 12 stores the determined pair DP in the database 20A.
  • the determination unit 12 also functions as a prediction unit 125 and an update unit 126, as shown in FIG.
  • the prediction unit 125 and the update unit 126 are configured to realize a prediction means and an update means, respectively, in this exemplary embodiment.
  • the prediction unit 125 predicts the appropriateness of the target pair supplied from the acquisition unit 11 using a prediction model that inputs a pair of a question and a correct answer and outputs a score as information indicating the appropriateness of the pair.
  • a known learning model can be used as the prediction model used by the prediction unit 125.
  • the specific configuration of the prediction model is not particularly limited, but as an example, CNN, RNN, Transformer, or a combination thereof can be used.
  • a non-neural network model such as a random forest or a support vector machine may be used.
  • the updating unit 126 refers to the database 20A that stores a plurality of pairs P of questions and correct answers and a score S as information indicating the appropriateness of each of the plurality of pairs P, and updates the parameters of the prediction model. Update. In other words, the updating unit 126 updates the parameters of the prediction model so that the score S is output from the prediction model when the pair P is input to the prediction model.
  • FIG. 7 is a diagram illustrating an example of a process executed by the information processing apparatus 1B according to the present exemplary embodiment.
  • the acquisition unit 11 acquires a target pair that is a pair of a question to be determined and a correct answer. As an example, as shown in FIG. 7, the acquisition unit 11 acquires a target pair of the question "What is the capital of the United States of America?" and the correct answer "Washington, D.C.”. The acquisition unit 11 supplies the acquired target pair to the determination unit 12.
  • the prediction unit 125 of the determination unit 12 inputs the target pair supplied from the acquisition unit 11 into the prediction model, and acquires a score as information indicating the appropriateness of the target pair.
  • the prediction unit 125 inputs the target pair of the question "What is the capital of the United States of America?" and the correct answer "Washington, D.C.” into the prediction model, and obtains a score of "0.05.”
  • the process in which the determination unit 12 refers to the database 20A to determine the appropriateness of the target pair is as described above.
  • the updating unit 126 of the determining unit 12 makes predictions by referring to the database 20A that stores a plurality of pairs of questions and correct answers and scores as information indicating the appropriateness of each of the plurality of pairs.
  • Update model parameters As an example, the updating unit 126 updates the parameters of the prediction model by referring to the database 20A that stores pairs 1 to 10 and appropriateness scores indicating the appropriateness of each of pairs 1 to 10. .
  • the information processing device 1B uses a prediction model that receives a pair of a question and a correct answer as input and outputs a score as information indicating the appropriateness of the pair.
  • a prediction model that receives a pair of a question and a correct answer as input and outputs a score as information indicating the appropriateness of the pair.
  • a configuration including an updating unit 126 that updates parameters of the prediction model is adopted.
  • Example Embodiment 4 A fourth exemplary embodiment of the invention will be described in detail with reference to the drawings. Note that components having the same functions as those described in the embodiments described above are denoted by the same reference numerals, and the description thereof will not be repeated.
  • FIG. 8 is a block diagram showing the configuration of the information processing system 100 according to this exemplary embodiment.
  • the information processing system 100 is configured to include an information processing device 1C and a question answering system 50, as shown in FIG.
  • the information processing device 1C and the question answering system 50 are communicably connected to each other.
  • the information processing system 100 is configured so that the information processing device 1C learns the question answering system 50 that outputs correct answers to input questions. Further, the information processing device 1C displays the target pair and information indicating the determined suitability of the target pair. An example of display content displayed by the information processing device 1C will be described later.
  • the question answering system 50 is a system that outputs correct answers to input questions.
  • the specific configuration of the question answering system 50 is not particularly limited, for example, CNN, RNN, Transformer, or a combination thereof can be used.
  • a non-neural network model such as a random forest or a support vector machine may be used.
  • the information processing device 1C includes a control section 10C, a database 20A, an input/output section 30A, and a communication section 40A.
  • the database 20A, input/output section 30A, and communication section 40A are as described above.
  • the input/output unit 30A has a configuration that implements display means.
  • the control unit 10C controls the components of the information processing device 1C.
  • the control unit 10C also functions as an acquisition unit 11, a determination unit 12, a teacher data generation unit 13, and a learning unit 14, as shown in FIG.
  • the acquisition unit 11, the determination unit 12, the teacher data generation unit 13, and the learning unit 14 are configured to implement an acquisition means, a determination means, a teacher data generation means, and a learning means, respectively.
  • the acquisition unit 11 acquires a target pair that is a pair of a question to be determined and a correct answer.
  • the acquisition unit 11 supplies the acquired target pair to the determination unit 12.
  • the determining unit 12 determines the appropriateness of the target pair by referring to information indicating the appropriateness of at least one of a question and a correct answer included in one or more similar pairs similar to the target pair acquired by the acquiring unit 11. Make a judgment.
  • the determining unit 12 stores the determined pair DP in the database 20A. Further, the determining unit 12 supplies the target pair and information indicating the appropriateness of the determined target pair to the input/output unit 30A.
  • the determination unit 12 may have a configuration that functions as the search unit 121 and the evaluation unit 122 in the above-described embodiment, or may function as the prediction unit 125 and the update unit 126. .
  • the teacher data generation unit 13 generates teacher data including the target pairs determined to be appropriate by the determination unit 12. As an example, in addition to the target pair determined to be appropriate by the determination unit 12, the teacher data generation unit 13 generates an associated score S of a pair P of questions and correct answers stored in the database 20A. Pairs P having a predetermined value or more may be included in the teacher data to be generated. As another example, in addition to the target pairs determined to be appropriate by the determination unit 12, the teacher data generation unit 13 generates a pair DP determined to be appropriate from among the determined pairs DP stored in the database 20A. The determined pair DP may be included in the teacher data to be generated.
  • the learning unit 14 causes the question answering system 50 to learn using the teacher data generated by the teacher data generating unit 13. As an example, the learning unit 14 causes the question answering system 50 to learn by outputting teacher data to the question answering system 50 via the communication unit 40A.
  • FIG. 9 is a diagram showing an example of display content displayed by the information processing device 1C according to the present exemplary embodiment.
  • the determination unit 12 of the information processing device 1C supplies the target pair and information indicating the appropriateness of the determined target pair to the input/output unit 30A.
  • the input/output unit 30A outputs the target pair acquired from the determining unit 12 and information indicating the appropriateness of the determined target pair.
  • the input/output unit 30A when the input/output unit 30A is a display device that displays an image, the input/output unit 30A displays the display content shown in FIG. 9. Specifically, the input/output unit 30A outputs the target pair of the question "What is the capital of the United States of America?" and the correct answer "Washington, D.C.” and the appropriateness level "0. 05" is displayed.
  • the input/output unit 30A determines the appropriateness of the similar pair and the similar pair. It may be configured such that information indicating the information is included in the display content. As an example, as shown in FIG. 9, the input/output unit 30A generates a similar pair 1 of the question "What is the capital of Japan?" and the correct answer "Tokyo" and an appropriateness score that is information indicating the appropriateness of the similar pair 1. 0, similar pair 2 of the question ⁇ What is the capital of England?'' and the correct answer ⁇ London,'' and the appropriateness score ⁇ 0.1,'' which is information indicating the appropriateness of similar pair 2. May be displayed.
  • the teacher data generating unit 13 generates teacher data including the target pairs determined to be appropriate by the determining unit 12, and the teacher data generating unit 13 uses the teacher data.
  • a configuration including a learning section 14 for learning the question answering system 50 is adopted.
  • the information processing device 1C in addition to the effects of the information processing device 1, the information processing device 1A, and the information processing device 1B according to the exemplary embodiments described above, This has the effect that the system 50 can be trained using appropriate teacher data.
  • the information processing device 1C has a configuration including an input/output unit 30A that displays target pairs and information indicating the appropriateness of the target pairs determined by the determination unit 12. . Therefore, according to the information processing device 1C according to the present exemplary embodiment, information indicating the appropriateness of the target pair and the determined target pair can be presented to the user.
  • Some or all of the functions of the information processing devices 1, 1A, 1B, and 1C may be realized by hardware such as an integrated circuit (IC chip), or may be realized by software.
  • the information processing devices 1, 1A, 1B, and 1C are realized by, for example, a computer that executes instructions of a program that is software that implements each function.
  • a computer that executes instructions of a program that is software that implements each function.
  • An example of such a computer (hereinafter referred to as computer C) is shown in FIG.
  • Computer C includes at least one processor C1 and at least one memory C2.
  • a program P for operating the computer C as the information processing apparatuses 1, 1A, 1B, and 1C is recorded in the memory C2.
  • the processor C1 reads the program P from the memory C2 and executes it, thereby realizing the functions of the information processing devices 1, 1A, 1B, and 1C.
  • Examples of the processor C1 include a CPU (Central Processing Unit), GPU (Graphic Processing Unit), DSP (Digital Signal Processor), MPU (Micro Processing Unit), FPU (Floating Point Number Processing Unit), and PPU (Physics Processing Unit). , a microcontroller, or a combination thereof.
  • a flash memory for example, a flash memory, an HDD (Hard Disk Drive), an SSD (Solid State Drive), or a combination thereof can be used.
  • the computer C may further include a RAM (Random Access Memory) for expanding the program P during execution and temporarily storing various data. Further, the computer C may further include a communication interface for transmitting and receiving data with other devices. Further, the computer C may further include an input/output interface for connecting input/output devices such as a keyboard, a mouse, a display, and a printer.
  • RAM Random Access Memory
  • the program P can be recorded on a non-temporary tangible recording medium M that is readable by the computer C.
  • a recording medium M for example, a tape, a disk, a card, a semiconductor memory, or a programmable logic circuit can be used.
  • Computer C can acquire program P via such recording medium M.
  • the program P can be transmitted via a transmission medium.
  • a transmission medium for example, a communication network or broadcast waves can be used.
  • Computer C can also obtain program P via such a transmission medium.
  • An information processing apparatus comprising: a determination unit that determines the suitability of the target pair by referring to information indicating the suitability of the target pair.
  • the information indicating the appropriateness is information indicating the usefulness of using the similar pair for learning of the question answering system, and the determining means determines the appropriateness of the target pair for the question answering system.
  • the information processing device according to supplementary note 1, which determines the usefulness when used for learning.
  • the determining means refers to a database storing a plurality of pairs of questions and correct answers and information indicating the appropriateness of each of the plurality of pairs, and determines whether the degree of similarity with the target pair is a predetermined degree.
  • a search means for searching for one or more of the similar pairs as described above; and an evaluation means for evaluating the appropriateness of the target pair from information indicating the suitability of each of the similar pairs searched by the search means.
  • the information processing device according to appendix 3, wherein the evaluation process by the evaluation unit includes a process of taking an average or weighted average of scores as information indicating appropriateness for each of the plurality of similar pairs searched by the search unit. .
  • the determination means includes prediction means for predicting the appropriateness of the target pair using a prediction model that receives a pair of a question and a correct answer as input and outputs a score as information indicating the appropriateness of the pair.
  • the information processing device according to supplementary note 1 or 2.
  • the determining means includes updating means for updating parameters of the prediction model by referring to a database storing a plurality of pairs of questions and correct answers and information indicating appropriateness of each of the plurality of pairs.
  • the information processing device according to supplementary note 5, further comprising:
  • Appendix 8 The information processing device according to appendix 7, further comprising a learning means for learning the question answering system using the teacher data.
  • the information processing device acquires a target pair that is a pair of a question to be judged and a correct answer, and a question and a correct answer included in one or more similar pairs similar to the target pair acquired in the acquisition.
  • An information processing method comprising: determining the suitability of the target pair by referring to information indicating the suitability of at least one of the pairs.
  • a program that causes a computer to function as an information processing device comprising: an acquisition unit that acquires a target pair that is a pair of a question to be judged and a correct answer; and a target pair that is acquired by the acquisition unit.
  • the processor includes at least one processor, and the processor performs an acquisition process to acquire a target pair that is a pair of a question to be judged and a correct answer, and includes one or more similar pairs similar to the target pair acquired in the acquisition process.
  • An information processing apparatus that executes a determination process of determining the appropriateness of the target pair by referring to information indicating the appropriateness of at least one of a question and a correct answer.
  • this information processing device may further include a memory, and this memory may store a program for causing the processor to execute the acquisition process and the determination process. Further, this program may be recorded on a computer-readable non-transitory tangible recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

質問応答システムの学習に適切な質問と正答とのペアを提供するために、情報処理装置（１）は、判定対象の質問と正答とのペアである対象ペアを取得する取得部（１１）と、取得部（１１）が取得した対象ペアに類似する１又は複数の類似ペアに含まれる質問と正答との少なくとも何れかの適切さを示す情報を参照して、当該対象ペアの適切さの判定を行う判定部（１２）と、を備えている。

Description

情報処理装置、情報処理方法、およびプログラム
　本発明は、情報処理装置、情報処理方法、およびプログラムに関する。
　入力された質問に対する正答を出力する質問応答システムを学習させるために、教師データとなる質問と当該質問に対する正答とのペアを自動的に生成する技術が開示されている。
　特許文献１には、複数のラベルなしの質問および正答のペアから、学習効果の高いペアを選択するActive Learningに関する技術が開示されている。特許文献１の技術では、複数のラベルなしのペアを特徴量空間上にて分類し、個々の質問に対する損失関数の値を使って、分類されたペアから特徴的なペアを選択する構成が開示されている。
米国特許出願公開２０１６／０２５３５９６号明細書
　しかしながら、特許文献１の技術では、特徴的なペアを選択するために個々の質問に対する損失関数の値を使っている。一般的に、損失関数の値の算出には、ペアの特徴量への変換や機械学習により学習されたモデルによる処理などといった複雑な処理が含まれている。そのため、入力されるペアによっては、算出後の損失関数の値が設計者にとって意図しない結果となる場合がある。すなわち、特許文献１の技術では、損失関数の値の算出結果が意図しない結果となっていた場合に、当該結果を用いて特徴的なペアが選択されるため、学習効果の低いペアも選択される可能性があるという問題があった。
　本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、質問応答システムの学習に適切な質問と正答とのペアを提供することにある。
　本発明の一側面に係る情報処理装置は、判定対象の質問と正答とのペアである対象ペアを取得する取得手段と、前記取得手段が取得した対象ペアに類似する１又は複数の類似ペアに含まれる質問と正答との少なくとも何れかの適切さを示す情報を参照して、当該対象ペアの適切さの判定を行う判定手段と、を備える。
　本発明の一側面に係る情報処理方法は、情報処理装置が、判定対象の質問と正答とのペアである対象ペアを取得することと、前記取得することにおいて取得した対象ペアに類似する１又は複数の類似ペアに含まれる質問と正答との少なくとも何れかの適切さを示す情報を参照して、当該対象ペアの適切さの判定を行うことと、を含む。
　本発明の一側面に係るプログラムは、コンピュータを情報処理装置として機能させるプログラムであって、前記プログラムは、前記コンピュータを、判定対象の質問と正答とのペアである対象ペアを取得する取得手段と、前記取得手段が取得した対象ペアに類似する１又は複数の類似ペアに含まれる質問と正答との少なくとも何れかの適切さを示す情報を参照して、当該対象ペアの適切さの判定を行う判定手段と、として機能させる。
　本発明の一態様によれば、質問応答システムの学習に適切な質問と正答とのペアを提供することができる。
本発明の例示的実施形態１に係る情報処理装置の構成を示すブロック図である。 本発明の例示的実施形態１における対象ペアおよび類似ペアの一例を示す概念図である。 本発明の例示的実施形態１に係る情報処理方法の流れを示すフロー図である。 本発明の例示的実施形態２に係る情報処理装置の構成を示すブロック図である。 本発明の例示的実施形態２に係る情報処理装置が実行する処理の一例を示す図である。 本発明の例示的実施形態３に係る情報処理装置の構成を示すブロック図である。 本発明の例示的実施形態３に係る本例示的実施形態に係る情報処理装置が実行する処理の一例を示す図である。 本発明の例示的実施形態４に係る情報処理装置の構成を示すブロック図である。 本発明の例示的実施形態４に係る情報処理装置が表示する表示内容の一例を示す図である。 本発明の各例示的実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
　〔例示的実施形態１〕
　本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
　（情報処理装置１の概要）
　本例示的実施形態に係る情報処理装置１は、質問応答システムの学習に用いられる質問および正答のペアの適切さを判定する装置である。
　質問応答システムとは、入力された質問に対する正答を出力するシステムである。質問応答システムは、一例として、質問と正答とをペアとする教師データによって学習済の学習モデルである。
　質問応答システムの具体的構成は限定されないが、一例として、ＣＮＮ（Convolution Neural Network）、ＲＮＮ（Recurrent Neural Network）、Ｔｒａｎｓｆｏｒｍｅｒ、またはそれらの組み合わせを用いることができる。また、ランダムフォレストやサポートベクターマシンのような非ニューラルネットワーク型のモデルを用いてもよい。
　質問応答システムの学習に用いられる質問と正答とのペアの適切さの一例として、質問応答システムの学習における当該質問と正答とのペアの有益さが挙げられる。ここで、有益であるかどうかは、同じ質問と正答とのペアであっても、質問応答システム毎に異なる場合がある。一例として、ある質問と正答とのペアが、ある質問応答システムでは学習済の教師データに含まれる場合、当該ある質問と正答とのペアは、当該ある質問応答システムにとって有益ではない。一方で、当該ある質問と正答とのペアが、ある質問応答システムとは異なる他の質問応答システムでは学習済の教師データに含まれない場合、当該ある質問と正答とのペアは当該他の質問応答システムにとって有益である。
　また、質問応答システムの学習に用いられる質問と正答とのペアの適切さの他の例として、ＦＡＱ（Frequently Asked Question）に用いられる質問と正答とのペアのように、質問に対する正答の主観的適切さ（当該分野の専門家が見て適切か否か）が挙げられる。
　一方、質問応答システムの学習に用いられる質問と正答とのペアに不適切な例として、質問の内容が解釈できない、質問が文法的に質問の形になっていない、および質問に対する正答が正しくない、などが挙げられる。
　（情報処理装置１の構成）
　本例示的実施形態に係る情報処理装置１の構成について、図１を参照して説明する。図１は、本例示的実施形態に係る情報処理装置１の構成を示すブロック図である。
　情報処理装置１は、図１に示すように、取得部１１および判定部１２を備えている。取得部１１および判定部１２は、本例示的実施形態において、それぞれ取得手段および判定手段を実現する構成である。
　取得部１１は、判定対象の質問と正答とのペアである対象ペアを取得する。取得部１１は、取得した対象ペアを判定部１２に供給する。
　判定部１２は、取得部１１が取得した対象ペアに類似する１又は複数の類似ペアに含まれる質問と正答との少なくとも何れかの適切さを示す情報を参照して、当該対象ペアの適切さの判定を行う。
　対象ペアに類似する１又は複数の類似ペアの一例として、対象ペアの質問と類似する質問を含むペア、対象ペアの正答と類似する正答を含むペア、または対象ペアの質問および正答と類似する質問および正答を含むペアが挙げられる。
　一例として、判定部１２は、対象ペアの質問と類似する質問を含む類似ペアの質問の適切さを示す情報を参照して、対象ペアの適切さの判定を行う。他の例として、判定部１２は、対象ペアの正答と類似する正答を含む類似ペアの正答の適切さを示す情報を参照して、対象ペアの適切さの判定を行う。さらに他の例として、判定部１２は、対象ペアの質問および正答と類似する質問および正答を含む類似ペアの質問および正答の適切さを示す情報を参照して、対象ペアの適切さの判定を行う。
　また、対象ペアに類似する１又は複数の類似ペアの一例について、図２を参照して説明する。図２は、本例示的実施形態における対象ペアおよび類似ペアの一例を示す概念図である。
　図２に示す例では、判定部１２は、各質問ｑ１～質問ｑ６と各正答ａ１～正答ａ６との各ペアＳＰ１～ペアＳＰ６が位置付けられている特徴空間に、質問Ｑと正答Ａとの対象ペアＴＰを位置付ける。判定部１２は、一例として、特徴空間における各ペアＳＰ１～ペアＳＰ６と対象ペアＴＰとの距離を類似度として、対象ペアＴＰとの距離が所定の距離よりも近いペアを、類似ペアとして特定する。図２に示す図では、判定部１２は、対象ペアＴＰから所定の距離の類似領域ＳＲに含まれる類似ペアＳＰ１、類似ペアＳＰ２、および類似ペアＳＰ３を特定する。
　図２に示す図では、類似ペアＳＰ１、類似ペアＳＰ２、および類似ペアＳＰ３のそれぞれに含まれる質問ｑ１～質問ｑ３と正答ａ１～正答ａ３との少なくとも何れかの適切さを示す情報は、スコアｓ１、スコアｓ２、およびスコアｓ３である。判定部１２は、一例として、スコアｓ１、スコアｓ２、およびスコアｓ３を参照して、対象ペアＴＰの適切さを判定する。
　以上のように、本例示的実施形態に係る情報処理装置１においては、判定対象の質問と正答とのペアである対象ペアを取得する取得部１１と、取得部１１が取得した対象ペアに類似する１又は複数の類似ペアに含まれる質問と正答との少なくとも何れかの適切さを示す情報を参照して、対象ペアの適切さの判定を行う判定部１２とを備える構成が採用されている。
　このため、本例示的実施形態に係る情報処理装置１によれば、対象ペアに類似する類似ペアに含まれる質問と正答との少なくとも何れかの適切さを示す情報を参照して、対象ペアの適切さを判定するので、対象ペアのみを参照して適切さを判定する場合に比べて、不適切な対象ペアを適切であると判定する可能性が低くなる。
　より具体的な例として、個々の質問に対する損失関数の値を使って対象ペアの適切さを判定する場合、損失関数の値は複雑な処理によって算出されるため、意図しない値が算出される場合がある。当該構成では、不適切な対象ペアを適切であると判定する可能性が高くなる。
　一方、本例示的実施形態に係る情報処理装置１によれば、対象ペアのみではなく、対象ペアに類似する類似ペアに含まれる質問と正答との少なくとも何れかの適切さを示す情報を参照して対象ペアの適切さを判定するので、質問応答システムの学習に適切な質問と正答とのペアを提供することができる。
　（情報処理方法Ｓ１の流れ）
　本例示的実施形態に係る情報処理方法Ｓ１の流れについて、図３を参照して説明する。図３は、本例示的実施形態に係る情報処理方法Ｓ１の流れを示すフロー図である。
　（ステップＳ１１）
　ステップＳ１１において、取得部１１は、判定対象の質問と正答とのペアである対象ペアを取得する。取得部１１は、取得した対象ペアを、判定部１２に供給する。
　（ステップＳ１２）
　ステップＳ１２において、判定部１２は、ステップＳ１１において取得部１１が取得した対象ペアに類似する１又は複数の類似ペアに含まれる質問と正答との少なくとも何れかの適切さを示す情報を参照して、対象ペアの適切さの判定を行う。
　以上のように、本例示的実施形態に係る情報処理方法Ｓ１においては、ステップＳ１１において取得部１１が、判定対象の質問と正答とのペアである対象ペアを取得し、ステップＳ１２において判定部１２が、ステップＳ１１において取得された対象ペアに類似する１又は複数の類似ペアに含まれる質問と正答との少なくとも何れかの適切さを示す情報を参照して、対象ペアの適切さの判定を行うことを含む構成が採用されている。このため、本例示的実施形態に係る情報処理方法Ｓ１によれば、上述した情報処理装置１と同様の効果が得られる。
　〔例示的実施形態２〕
　本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
　（情報処理装置１Ａの構成）
　本例示的実施形態に係る情報処理装置１Ａの構成について、図４を参照して説明する。図４は、本例示的実施形態に係る情報処理装置１Ａの構成を示すブロック図である。
　情報処理装置１Ａは、図４に示すように、制御部１０Ａ、データベース２０Ａ、入出力部３０Ａ、および通信部４０Ａを備えている。
　データベース２０Ａには、制御部１０Ａが参照するデータが格納されている。一例として、データベース２０Ａには、図４に示すように、質問と正答とのペアＰと、ペアＰの適切さを示す情報の一例であるスコアＳとが関連付けて格納される。また、他の例として、データベース２０Ａには、図４に示すように、制御部１０Ａによって適切さを判定された判定済みの判定済ペアＤＰが格納される。
　ここで、質問および正答のペアＰの適切さを示す情報の一例であるスコアＳは、実数で表されてもよいし、離散的な値を取るカテゴリ値であってもよい。情報処理装置１ＡがスコアＳを取得する処理については、後述する。
　入出力部３０Ａは、データを取得または出力するためのインタフェースである。入出力部３０Ａは、取得したデータを制御部１０Ａに供給したり、制御部１０Ａから供給されたデータを出力したりする。入出力部３０Ａの一例として、データを取得するためのタッチパッド、キーボード、およびデータを出力するための表示装置が挙げられる。
　通信部４０Ａは、図示しないネットワークを介して他の装置と通信する通信モジュールである。一例として、通信部４０Ａは、制御部１０Ａから供給されたデータを、ネットワークを介して他の装置に出力したり、他の装置から出力されたデータを、ネットワークを介して取得し、制御部１０Ａに供給したりする。
　通信部４０Ａが他の装置と通信するために介するネットワークの具体的構成は本実施形態を限定するものではないが、一例として、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、ＷＡＮ（Wide Area Network）、公衆回線網、モバイルデータ通信網、または、これらのネットワークの組み合わせを用いることができる。
　（制御部１０Ａの機能）
　制御部１０Ａは、情報処理装置１Ａの各構成要素を制御する。制御部１０Ａは、図４に示すように、取得部１１および判定部１２としても機能する。取得部１１および判定部１２は、本例示的実施形態において、それぞれ取得手段および判定手段を実現する構成である。
　取得部１１は、判定対象の質問と正答とのペアである対象ペアを取得する。取得部１１は、取得した対象ペアを判定部１２に供給する。
　判定部１２は、取得部１１が取得した対象ペアに類似する１又は複数の類似ペアに含まれる質問と正答との少なくとも何れかの適切さを示す情報を参照して、対象ペアの適切さの判定を行う。判定部１２は、判定済ペアＤＰを、データベース２０Ａに格納する。
　ここで、類似ペアに含まれる質問と正答との少なくとも何れかの適切さを示す情報の一例として、類似ペアを質問応答システムの学習に利用する場合の有益さを示す情報が挙げられる。この場合、判定部１２は、対象ペアの適切さとして、対象ペアを質問応答システムの学習に利用する場合の有益さを判定する。当該構成により、判定部１２は、質問応答システムの学習に有益な質問および正答のペアを提供することができる。
　また、類似ペアを質問応答システムの学習に利用する場合の有益さの一例として、当該類似ペアを質問応答システムの学習に追加で利用することによって、より高い性能の質問応答システムが得られやすくなるかどうかが挙げられる。
　ここで、類似ペアの適切さを示す情報は、ユーザから取得する構成であってもよいし、所定のアルゴリズムによって算出されたものを用いてもよい。また、後述する、情報処理装置１ＡがスコアＳを取得する処理の一例として記載した処理を用いてもよい。
　また、類似ペアに含まれる質問と正答との少なくとも何れかの適切さを示す情報の他の例として、質問に対する正答の主観的適切さ（当該分野の専門家が見て適切か否か）を示す情報が挙げられる。
　また、判定部１２は、図４に示すように、検索部１２１および評価部１２２としても機能する。検索部１２１および評価部１２２は、本例示的実施形態において、それぞれ検索手段および評価手段を実現する構成である。
　検索部１２１は、質問と正答との複数のペアＰと、当該複数のペアＰの各々についての適切さを示す情報としてのスコアＳとが格納されたデータベース２０Ａを参照して、対象ペアとの類似度が所定の度合い以上である１又は複数の類似ペアを検索する。検索部１２１が類似ペアを検索する処理の一例については、後述する。
　評価部１２２は、検索部１２１が検索した類似ペアの各々についての適切さを示す情報としてのスコアＳから、対象ペアの適切さを評価する。評価部１２２が対象ペアの適切さを評価する処理の一例については、後述する。
　（情報処理装置１ＡがペアＰのスコアＳを取得する処理の一例）
　情報処理装置１ＡがペアＰのスコアＳを取得する処理の一例について、以下に説明する。
　情報処理装置１ＡがペアＰのスコアＳを取得する処理の一例として、情報処理装置１Ａは、入出力部３０Ａを介してスコアＳをユーザから取得する構成であってもよい。例えば、情報処理装置１Ａは、入出力部３０Ａを介して、ペアＰのスコアＳの入力をユーザに促す画像を出力し、当該画像に対するユーザの入力を取得してもよい。
　また、情報処理装置１ＡがペアＰのスコアＳを取得する処理の他の例として、情報処理装置１Ａは、ルールベースプログラムを使用する構成であってもよい。ルールベースプログラムの一例として、予め定められた単語が質問および正答の少なくとも何れかに含まれているか否かに応じてスコアＳを算出するルールベースプログラムが挙げられる。例えば、情報処理装置１Ａは、当該ルールベースプログラムにペアＰの質問および正答の少なくとも何れかを入力し、算出されたスコアＳを取得する構成であってもよい。
　また、情報処理装置１ＡがペアＰのスコアＳを取得する処理のさらに他の例として、情報処理装置１Ａは、既存の質問応答システムを使用する構成であってもよい。例えば、情報処理装置１Ａは、既存の質問応答システムに、ペアＰの質問を入力し、当該質問応答システムから出力される正答がペアＰの正答と一致する度合いを、スコアＳとして取得する構成であってもよい。当該構成において、情報処理装置１Ａはさらに、質問応答システムから出力される正答の確信度に応じたスコアＳを取得してもよい。例えば、情報処理装置１Ａは、質問応答システムから出力される正答の確信度が高い程、高いスコアＳを取得する構成であってもよい。
　また、情報処理装置１ＡがペアＰのスコアＳを取得する処理のさらに他の例として、ペアＰを入力として、ペアＰのスコアＳを出力する予測モデルを使用する構成であってもよい。当該構成において、情報処理装置１Ａは、ペアＰを予測モデルに入力し、予測モデルから出力されたスコアＳを取得する構成であってもよい。
　（検索部１２１が類似ペアを検索する処理の一例）
　検索部１２１が類似ペアを検索する処理の一例について、以下に説明する。
　検索部１２１は、一例として、複数のペアから１又は複数の類似ペアを検索するために、当該複数のペアと対象ペアとの類似度を参照してもよい。一例として、検索部１２１は、類似度を算出する類似度算出手段としても機能する構成であってもよいし、他の装置によって算出された類似度を参照する構成であってもよい。
　検索部１２１が類似度算出手段としても機能する場合、検索部１２１がペアＰと対象ペアとの類似度を算出する処理の一例について、以下に説明する。
　検索部１２１がペアＰと対象ペアとの類似度を算出する処理の一例として、ペアＰの質問または正答に含まれる文字列と、対象ペアの質問または正答に含まれる文字列とにおいて、一致する文字列の数を、対象ペアとペアＰとの類似度として算出する構成が挙げられる。当該構成では、検索部１２１は、類似度が所定の度合い以上（例えば、一致する文字列が５つ以上）のペアＰを、類似ペアであると特定する。換言すると、当該構成では、検索部１２１は、対象ペアの質問または正答に含まれる文字列と一致する文字列の多い質問または正答を含む類似ペアを検索する。
　検索部１２１がペアＰと対象ペアとの類似度を算出する処理の他の例として、複数の質問および正答のペアを入力として、当該複数の質問および正答のペアの間の類似度を出力する類似度予測モデルを使用する構成が挙げられる。具体的には、検索部１２１は、対象ペアおよびペアＰを類似度予測モデルに入力して、出力された類似度を取得する構成であってもよい。検索部１２１が使用する類似度予測モデルとして既知の学習モデルを用いることができ、一例として、既知の自然言語処理モデルが挙げられる。
　検索部１２１が類似度予測モデルを使用する場合、検索部１２１は、２つのペアと、当該２つのペアの類似度との組を複数含む教師データを用いて、類似度予測モデルを学習させる類似度予測モデル学習手段としても機能する構成であってもよい。
　また、検索部１２１がペアＰと対象ペアとの類似度を算出する処理のさらに他の例として、図２を参照して説明したように、検索部１２１は、特徴空間における対象ペアとペアＰとの距離を、類似度として算出してもよい。当該構成では、検索部１２１は、類似度が所定の度合い以上（例えば、特徴空間における対象ペアとペアＰとの距離が所定の距離以下）のペアＰを、類似ペアであると特定する。
　（評価部１２２が対象ペアの適切さを評価する評価処理の一例）
　評価部１２２が対象ペアの適切さを評価する評価処理の一例について、以下に説明する。
　評価部１２２が実行する評価処理の一例として、対象ペアおよび類似ペアのそれぞれの適切さを示す情報としてのスコアＳが所定の値以上の場合、評価部１２２は、対象ペアは適切であると評価してもよい。
　評価部１２２が実行する評価処理の他の例として、検索部１２１が検索した複数の類似ペアの各々についての適切さを示す情報としてのスコアＳの平均又は加重平均を取る処理が含まれていてもよい。
　例えば、評価部１２２は、複数の類似ペアのそれぞれのスコアＳの単純平均を算出する。そして、算出された単純平均が所定の値以上であった場合、評価部１２２は、対象ペアは適切であると評価してもよい。
　また、評価部１２２は、検索部１２１が参照した類似度を参照し、複数の類似ペアの類似度に応じた値を重み係数として、スコアＳの加重平均を算出してもよい。一例として、評価部１２２は、他の類似ペアより相対的に類似度の高い類似ペアに対しては大きい重み係数を設定し、他の類似ペアより相対的に類似度の低い類似ペアに対しては小さい重み係数を設定し、複数の類似ペアの加重平均を算出する。そして、算出された加重平均が所定の値以上であった場合、評価部１２２は、対象ペアは適切であると評価してもよい。
　このように、評価部１２２は、検索部１２１が検索した複数の類似ペアの各々についての適切さを示す情報としてのスコアＳの平均又は加重平均を取ることにより、対象ペアの適切さを適切に評価することができる。
　（情報処理装置１Ａが実行する処理の一例）
　情報処理装置１Ａが実行する処理の一例について、図５を参照して説明する。図５は、本例示的実施形態に係る情報処理装置１Ａが実行する処理の一例を示す図である。
　まず、取得部１１は、判定対象の質問と正答とのペアである対象ペアを取得する。一例として、取得部１１は、図５に示すように、質問「アメリカ合衆国の首都はどこ？」および正答「ワシントンＤ．Ｃ．」の対象ペアを取得する。取得部１１は、取得した対象ペアを判定部１２に供給する。
　判定部１２の検索部１２１は、データベース２０Ａを参照して、取得部１１から供給された対象ペアとの類似度が所定の度合い以上である１又は複数の類似ペアを検索する。そして、検索部１２１は、検索した１又は複数の類似ペアを、評価部１２２に供給する。一例として、検索部１２１は、図５に示すように、データベース２０Ａを参照して、類似ペアであるペア１およびペア２を検索する。検索部１２１が類似ペアを検索する処理については、上述した通りである。そして、検索部１２１は、検索したペア１およびペア２を、評価部１２２に供給する。
　評価部１２２は、検索部１２１から供給された類似ペアの各々についての適切さを示す情報から、対象ペアの適切さを評価する。一例として、評価部１２２は、図５に示すように、検索部１２１から供給された類似ペアであるペア１およびペア２の各々についての適切さを示す情報である適切度スコア「０」および「０．１」を取得する。そして、評価部１２２は、対象ペアの適切さを示す情報である適切度スコア「０．０５」を算出し、対象ペアの適切さを評価する。評価部１２２がスコアを取得する処理および適切さを評価する評価処理については、上述した通りである。
　（情報処理装置１Ａの効果）
　以上のように、本例示的実施形態に係る情報処理装置１Ａにおいては、質問と正答との複数のペアＰと、当該複数のペアＰの各々についての適切さを示す情報とが格納されたデータベース２０Ａを参照して、対象ペアとの類似度が所定の度合い以上である１又は複数の類似ペアを検索する検索部１２１と、検索部１２１が検索した類似ペアの各々についての適切さを示す情報から、対象ペアの適切さを評価する評価部１２２とを備える構成が採用されている。
　このため、本例示的実施形態に係る情報処理装置１Ａによれば、データベース２０Ａから対象ペアに類似する類似ペアを検索し、類似ペアの適切さを示す情報から、対象ペアの適切さを評価するので、対象ペアの適切さを示す情報のみを参照する場合に比べて、質問応答システムの学習に適切な質問と正答とのペアを提供することができる。
　〔例示的実施形態３〕
　本発明の第３の例示的実施形態について、図面を参照して詳細に説明する。なお、上述した例示的実施形態にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
　（情報処理装置１Ｂの構成）
　本例示的実施形態に係る情報処理装置１Ｂの構成について、図６を参照して説明する。図６は、本例示的実施形態に係る情報処理装置１Ｂの構成を示すブロック図である。
　情報処理装置１Ｂは、図６に示すように、制御部１０Ｂ、データベース２０Ａ、入出力部３０Ａ、および通信部４０Ａを備えている。データベース２０Ａ、入出力部３０Ａ、および通信部４０Ａについては、上述した通りである。
　（制御部１０Ｂの機能）
　制御部１０Ｂは、情報処理装置１Ｂの各構成要素を制御する。制御部１０Ｂは、図６に示すように、取得部１１および判定部１２としても機能する。取得部１１および判定部１２は、本例示的実施形態において、それぞれ取得手段および判定手段を実現する構成である。
　取得部１１は、判定対象の質問と正答とのペアである対象ペアを取得する。取得部１１は、取得した対象ペアを判定部１２に供給する。
　判定部１２は、取得部１１が取得した対象ペアに類似する１又は複数の類似ペアに含まれる質問と正答との少なくとも何れかの適切さを示す情報を参照して、対象ペアの適切さの判定を行う。判定部１２は、判定済ペアＤＰを、データベース２０Ａに格納する。
　また、判定部１２は、図６に示すように、予測部１２５および更新部１２６としても機能する。予測部１２５および更新部１２６は、本例示的実施形態において、それぞれ予測手段および更新手段を実現する構成である。
　予測部１２５は、質問と正答とのペアを入力とし、当該ペアの適切さを示す情報としてのスコアを出力する予測モデルを用いて、取得部１１から供給された対象ペアの適切さを予測する。予測部１２５が用いる予測モデルとして、既知の学習モデルを用いることができる。
　予測モデルの具体的構成は特に限定されないが、一例として、ＣＮＮ、ＲＮＮ、Ｔｒａｎｓｆｏｒｍｅｒ、またはそれらの組み合わせを用いることができる。また、ランダムフォレストやサポートベクターマシンのような非ニューラルネットワーク型のモデルを用いてもよい。
　更新部１２６は、質問と正答との複数のペアＰと、当該複数のペアＰの各々についての適切さを示す情報としてのスコアＳとが格納されたデータベース２０Ａを参照して、予測モデルのパラメータを更新する。換言すると、更新部１２６は、予測モデルにペアＰを予測モデルに入力したときに、予測モデルからスコアＳが出力されるように、予測モデルのパラメータを更新する。
　（情報処理装置１Ｂが実行する処理の一例）
　情報処理装置１Ｂが実行する処理の一例について、図７を参照して説明する。図７は、本例示的実施形態に係る情報処理装置１Ｂが実行する処理の一例を示す図である。
　まず、取得部１１は、判定対象の質問と正答とのペアである対象ペアを取得する。一例として、取得部１１は、図７に示すように、質問「アメリカ合衆国の首都はどこ？」および正答「ワシントンＤ．Ｃ．」の対象ペアを取得する。取得部１１は、取得した対象ペアを判定部１２に供給する。
　判定部１２の予測部１２５は、取得部１１から供給された対象ペアを予測モデルに入力し、対象ペアの適切さを示す情報としてのスコアを取得する。一例として、予測部１２５は、質問「アメリカ合衆国の首都はどこ？」および正答「ワシントンＤ．Ｃ．」の対象ペアを予測モデルに入力し、スコア「０．０５」を取得する。
　判定部１２が、データベース２０Ａを参照して対象ペアの適切さの判定を行う処理については、上述した通りである。
　また、判定部１２の更新部１２６は、質問と正答との複数のペアと、当該複数のペアの各々についての適切さを示す情報としてのスコアとが格納されたデータベース２０Ａを参照して、予測モデルのパラメータを更新する。一例として、更新部１２６は、ペア１～ペア１０と、ペア１～ペア１０の各々についての適切さを示す適切度スコアとが格納されたデータベース２０Ａを参照して、予測モデルのパラメータを更新する。
　（情報処理装置１Ｂの効果）
　以上のように、本例示的実施形態に係る情報処理装置１Ｂにおいては、質問と正答とのペアを入力とし、当該ペアの適切さを示す情報としてのスコアを出力する予測モデルを用いて、対象ペアの適切さを予測する予測部１２５と、質問と正答との複数のペアＰと、当該複数のペアＰの各々についての適切さを示す情報としてのスコアＳとが格納されたデータベース２０Ａを参照して、予測モデルのパラメータを更新する更新部１２６とを備える構成が採用されている。
　このため、本例示的実施形態に係る情報処理装置１Ｂによれば、上述した例示的実施形態に係る情報処理装置１および情報処理装置１Ａの奏する効果に加えて、質問と正答とのペアの適切さを示す情報を、適切に導出することができるという効果を奏する。
　〔例示的実施形態４〕
　本発明の第４の例示的実施形態について、図面を参照して詳細に説明する。なお、上述した実施形態にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
　（情報処理システム１００の構成）
　本例示的実施形態に係る情報処理システム１００の構成について、図８を参照して説明する。図８は、本例示的実施形態に係る情報処理システム１００の構成を示すブロック図である。
　本例示的実施形態に係る情報処理システム１００は、図８に示すように、情報処理装置１Ｃおよび質問応答システム５０を含んで構成される。情報処理装置１Ｃおよび質問応答システム５０は、互いに通信可能に接続されている。
　情報処理システム１００では、入力された質問に対する正答を出力する質問応答システム５０を、情報処理装置１Ｃが学習させる構成である。また、情報処理装置１Ｃは、対象ペアと、判定した対象ペアの適切さを示す情報とを表示する。情報処理装置１Ｃが表示する表示内容の一例については、後述する。
　（質問応答システム５０）
　質問応答システム５０は、入力された質問に対する正答を出力するシステムである。質問応答システム５０の具体的構成は特に限定されないが、一例として、ＣＮＮ、ＲＮＮ、Ｔｒａｎｓｆｏｒｍｅｒ、またはそれらの組み合わせを用いることができる。また、ランダムフォレストやサポートベクターマシンのような非ニューラルネットワーク型のモデルを用いてもよい。
　（情報処理装置１Ｃの構成）
　情報処理装置１Ｃは、図８に示すように、制御部１０Ｃ、データベース２０Ａ、入出力部３０Ａ、および通信部４０Ａを備えている。データベース２０Ａ、入出力部３０Ａ、および通信部４０Ａについては、上述した通りである。入出力部３０Ａは、本例示的実施形態において、表示手段を実現する構成である。
　（制御部１０Ｃの機能）
　制御部１０Ｃは、情報処理装置１Ｃの構成要素を制御する。制御部１０Ｃは、図８に示すように、取得部１１、判定部１２、教師データ生成部１３、および学習部１４としても機能する。取得部１１、判定部１２、教師データ生成部１３、および学習部１４は、本実施形態において、それぞれ取得手段、判定手段、教師データ生成手段、および学習手段を実現する構成である。
　取得部１１は、判定対象の質問と正答とのペアである対象ペアを取得する。取得部１１は、取得した対象ペアを判定部１２に供給する。
　判定部１２は、取得部１１が取得した対象ペアに類似する１又は複数の類似ペアに含まれる質問と正答との少なくとも何れかの適切さを示す情報を参照して、対象ペアの適切さの判定を行う。判定部１２は、判定済ペアＤＰを、データベース２０Ａに格納する。また、判定部１２は、対象ペアと、判定した対象ペアの適切さを示す情報とを、入出力部３０Ａに供給する。
　ここで、判定部１２は、上述した実施形態における、検索部１２１および評価部１２２としても機能する構成であってもよいし、予測部１２５および更新部１２６としても機能する構成であってもよい。
　教師データ生成部１３は、判定部１２によって適切であると判定された対象ペアを含む教師データを生成する。一例として、教師データ生成部１３は、判定部１２によって適切であると判定された対象ペアに加えて、データベース２０Ａに格納されている質問および正答のペアＰのうち、関連付けられているスコアＳが所定の値以上のペアＰを、教師データに含めて生成してもよい。他の例として、教師データ生成部１３は、判定部１２によって適切であると判定された対象ペアに加えて、データベース２０Ａに格納されている判定済ペアＤＰのうち、適切であると判定された判定済ペアＤＰを教師データに含めて生成してもよい。
　学習部１４は、教師データ生成部１３によって生成された教師データを用いて、質問応答システム５０を学習させる。一例として、学習部１４は、通信部４０Ａを介して教師データを質問応答システム５０に出力することにより、質問応答システム５０を学習させる。
　（情報処理装置１Ｃが表示する表示内容の一例）
　情報処理装置１Ｃが表示する表示内容の一例について、図９を参照して説明する。図９は、本例示的実施形態に係る情報処理装置１Ｃが表示する表示内容の一例を示す図である。
　情報処理装置１Ｃの判定部１２は、対象ペアと、判定した対象ペアの適切さを示す情報とを、入出力部３０Ａに供給する。入出力部３０Ａは、判定部１２から取得した対象ペアと、判定した対象ペアの適切さを示す情報とを、出力する。
　一例として、入出力部３０Ａが画像を表示する表示装置である場合、入出力部３０Ａは、図９に示す表示内容を表示する。具体的には、入出力部３０Ａは、質問「アメリカ合衆国の首都はどこ？」および正答「ワシントンＤ．Ｃ．」の対象ペアと、当該対象ペアの適切さを示す情報である適切度「０．０５」を含む表示内容を表示する。
　さらに、入出力部３０Ａは、判定部１２が対象ペアの適切さを判定するときに参照した類似ペアおよび当該類似ペアの適切さを示す情報を取得した場合、当該類似ペアおよび類似ペアの適切さを示す情報を、表示内容に含める構成であってもよい。一例として、入出力部３０Ａは、図９に示すように、質問「日本の首都はどこ？」および正答「東京」の類似ペア１と、類似ペア１の適切さを示す情報である適切度スコア「０」と、質問「イギリスの首都はどこ？」および正答「ロンドン」の類似ペア２と、類似ペア２の適切さを示す情報である適切度スコア「０．１」とを含む表示内容を表示してもよい。
　（情報処理装置１Ｃの効果）
　以上のように、本例示的実施形態に係る情報処理装置１Ｃにおいては、判定部１２によって適切であると判定された対象ペアを含む教師データを生成する教師データ生成部１３と、教師データを用いて、質問応答システム５０を学習させる学習部１４とを備える構成が採用されている。
　このため、本例示的実施形態に係る情報処理装置１Ｃによれば、上述した例示的実施形態に係る情報処理装置１、情報処理装置１Ａ、および情報処理装置１Ｂの奏する効果に加えて、質問応答システム５０を適切な教師データを用いて学習させることができるという効果を奏する。
　また、本例示的実施形態に係る情報処理装置１Ｃにおいては、対象ペアと、判定部１２が判定した対象ペアの適切さを示す情報とを表示する入出力部３０Ａを備える構成が採用されている。このため、本例示的実施形態に係る情報処理装置１Ｃによれば、対象ペアおよび判定した対象ペアの適切さを示す情報を、ユーザに提示することができる。
　〔ソフトウェアによる実現例〕
　情報処理装置１、１Ａ、１Ｂ、１Ｃの一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、情報処理装置１、１Ａ、１Ｂ、１Ｃは、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図１０に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを情報処理装置１、１Ａ、１Ｂ、１Ｃとして動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、情報処理装置１、１Ａ、１Ｂ、１Ｃの各機能が実現される。
　プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。
　なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
　また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。
　〔付記事項１〕
　本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
　〔付記事項２〕
　上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
　（付記１）
　判定対象の質問と正答とのペアである対象ペアを取得する取得手段と、前記取得手段が取得した対象ペアに類似する１又は複数の類似ペアに含まれる質問と正答との少なくとも何れかの適切さを示す情報を参照して、当該対象ペアの適切さの判定を行う判定手段と、を備える情報処理装置。
　（付記２）
　前記適切さを示す情報は、当該類似ペアを質問応答システムの学習に利用する場合の有益さを示す情報であり、前記判定手段は、前記対象ペアの適切さとして、当該対象ペアを質問応答システムの学習に利用する場合の有益さを判定する付記１に記載の情報処理装置。
　（付記３）
　前記判定手段は、質問と正答との複数のペアと、当該複数のペアの各々についての適切さを示す情報とが格納されたデータベースを参照して、前記対象ペアとの類似度が所定の度合い以上である１又は複数の前記類似ペアを検索する検索手段と、前記検索手段が検索した類似ペアの各々についての適切さを示す情報から、前記対象ペアの適切さを評価する評価手段とを備えている付記１又は２に記載の情報処理装置
　（付記４）
　前記評価手段による評価処理には、前記検索手段が検索した複数の類似ペアの各々についての適切さを示す情報としてのスコアの平均又は加重平均を取る処理が含まれる付記３に記載の情報処理装置。
　（付記５）
　前記判定手段は、質問と正答とのペアを入力とし、当該ペアの適切さを示す情報としてのスコアを出力する予測モデルを用いて、前記対象ペアの適切さを予測する予測手段を備えている付記１又は２に記載の情報処理装置。
　（付記６）
　前記判定手段は、質問と正答との複数のペアと、当該複数のペアの各々についての適切さを示す情報とが格納されたデータベースを参照して、前記予測モデルのパラメータを更新する更新手段を更に備えている付記５に記載の情報処理装置。
　（付記７）
　前記判定手段が適切と判定した対象ペアを含む教師データを生成する教師データ生成手段を更に備えている付記１から６の何れか１項に記載の情報処理装置。
　（付記８）
　前記教師データを用いて、質問応答システムを学習させる学習手段を備えている付記７に記載の情報処理装置。
　（付記９）
　前記対象ペアと、前記判定手段が判定した前記対象ペアの適切さを示す情報とを表示する表示手段を備えている付記１から８の何れか１項に記載の情報処理装置。
　（付記１０）
　情報処理装置が、判定対象の質問と正答とのペアである対象ペアを取得することと、前記取得することにおいて取得した対象ペアに類似する１又は複数の類似ペアに含まれる質問と正答との少なくとも何れかの適切さを示す情報を参照して、当該対象ペアの適切さの判定を行うことと、を含む情報処理方法。
　（付記１１）
　コンピュータを情報処理装置として機能させるプログラムであって、前記プログラムは、前記コンピュータを、判定対象の質問と正答とのペアである対象ペアを取得する取得手段と、前記取得手段が取得した対象ペアに類似する１又は複数の類似ペアに含まれる質問と正答との少なくとも何れかの適切さを示す情報を参照して、当該対象ペアの適切さの判定を行う判定手段と、として機能させるプログラム。
　〔付記事項３〕
　上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。
　少なくとも１つのプロセッサを備え、前記プロセッサは、判定対象の質問と正答とのペアである対象ペアを取得する取得処理と、前記取得処理において取得した対象ペアに類似する１又は複数の類似ペアに含まれる質問と正答との少なくとも何れかの適切さを示す情報を参照して、当該対象ペアの適切さの判定を行う判定処理とを実行する情報処理装置。
　なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記取得処理と、前記判定処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
　１、１Ａ、１Ｂ、１Ｃ　情報処理装置
　１０Ａ、１０Ｂ、１０Ｃ　制御部
　１１　取得部
　１２　判定部
　１３　教師データ生成部
　１４　学習部
　１２１　検索部
　１２２　評価部
　１２５　予測部
　１２６　更新部

Claims (11)

  1. 　判定対象の質問と正答とのペアである対象ペアを取得する取得手段と、
    　前記取得手段が取得した対象ペアに類似する１又は複数の類似ペアに含まれる質問と正答との少なくとも何れかの適切さを示す情報を参照して、当該対象ペアの適切さの判定を行う判定手段と、
    を備える情報処理装置。
  2. 　前記適切さを示す情報は、当該類似ペアを質問応答システムの学習に利用する場合の有益さを示す情報であり、
    　前記判定手段は、前記対象ペアの適切さとして、当該対象ペアを質問応答システムの学習に利用する場合の有益さを判定する
    請求項１に記載の情報処理装置。
  3. 　前記判定手段は、
    　　質問と正答との複数のペアと、当該複数のペアの各々についての適切さを示す情報とが格納されたデータベースを参照して、前記対象ペアとの類似度が所定の度合い以上である１又は複数の前記類似ペアを検索する検索手段と、
    　　前記検索手段が検索した類似ペアの各々についての適切さを示す情報から、前記対象ペアの適切さを評価する評価手段と
    を備えている請求項１又は２に記載の情報処理装置。
  4. 　前記評価手段による評価処理には、
    　　前記検索手段が検索した複数の類似ペアの各々についての適切さを示す情報としてのスコアの平均又は加重平均を取る処理が含まれる
    請求項３に記載の情報処理装置。
  5. 　前記判定手段は、
    　　質問と正答とのペアを入力とし、当該ペアの適切さを示す情報としてのスコアを出力する予測モデルを用いて、前記対象ペアの適切さを予測する予測手段
    を備えている請求項１又は２に記載の情報処理装置。
  6. 　前記判定手段は、
    　　質問と正答との複数のペアと、当該複数のペアの各々についての適切さを示す情報とが格納されたデータベースを参照して、前記予測モデルのパラメータを更新する更新手段
    を更に備えている請求項５に記載の情報処理装置。
  7. 　前記判定手段が適切と判定した対象ペアを含む教師データを生成する教師データ生成手段を更に備えている請求項１から６の何れか１項に記載の情報処理装置。
  8. 　前記教師データを用いて、質問応答システムを学習させる学習手段を備えている
    請求項７に記載の情報処理装置。
  9. 　前記対象ペアと、前記判定手段が判定した前記対象ペアの適切さを示す情報とを表示する表示手段を備えている
    請求項１から８の何れか１項に記載の情報処理装置。
  10. 　情報処理装置が、
    　判定対象の質問と正答とのペアである対象ペアを取得することと、
    　前記取得することにおいて取得した対象ペアに類似する１又は複数の類似ペアに含まれる質問と正答との少なくとも何れかの適切さを示す情報を参照して、当該対象ペアの適切さの判定を行うことと、
    を含む情報処理方法。
  11. 　コンピュータを情報処理装置として機能させるプログラムであって、
    　前記プログラムは、前記コンピュータを、
    　判定対象の質問と正答とのペアである対象ペアを取得する取得手段と、
    　前記取得手段が取得した対象ペアに類似する１又は複数の類似ペアに含まれる質問と正答との少なくとも何れかの適切さを示す情報を参照して、当該対象ペアの適切さの判定を行う判定手段と、
    として機能させるプログラム。

     
PCT/JP2022/010237 2022-03-09 2022-03-09 情報処理装置、情報処理方法、およびプログラム WO2023170810A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/010237 WO2023170810A1 (ja) 2022-03-09 2022-03-09 情報処理装置、情報処理方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/010237 WO2023170810A1 (ja) 2022-03-09 2022-03-09 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2023170810A1 true WO2023170810A1 (ja) 2023-09-14

Family

ID=87936289

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/010237 WO2023170810A1 (ja) 2022-03-09 2022-03-09 情報処理装置、情報処理方法、およびプログラム

Country Status (1)

Country Link
WO (1) WO2023170810A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013250925A (ja) * 2012-06-04 2013-12-12 Nippon Telegr & Teleph Corp <Ntt> 回答タイプ推定装置、方法、及びプログラム
JP2022067223A (ja) * 2020-10-20 2022-05-06 株式会社日立製作所 生成装置および生成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013250925A (ja) * 2012-06-04 2013-12-12 Nippon Telegr & Teleph Corp <Ntt> 回答タイプ推定装置、方法、及びプログラム
JP2022067223A (ja) * 2020-10-20 2022-05-06 株式会社日立製作所 生成装置および生成方法

Similar Documents

Publication Publication Date Title
US11544573B2 (en) Projection neural networks
Bosselut et al. Dynamic neuro-symbolic knowledge graph construction for zero-shot commonsense question answering
US20210042579A1 (en) Image description information generation method and apparatus, and electronic device
CN113962315B (zh) 模型预训练方法、装置、设备、存储介质以及程序产品
CN112487182B (zh) 文本处理模型的训练方法、文本处理方法及装置
WO2019242297A1 (zh) 基于机器阅读理解的智能对话方法、装置、终端
JP7084617B2 (ja) 質問応答装置及びコンピュータプログラム
CN109977201A (zh) 带情感的机器聊天方法、装置、计算机设备及存储介质
CN114416953A (zh) 问答处理方法、问答模型的训练方法和装置
US20230267152A1 (en) Systems and methods for providing personalized answers with learned user vocabulary for user queries
JPWO2018083804A1 (ja) 分析プログラム、情報処理装置および分析方法
CN114840734B (zh) 多模态表示模型的训练方法、跨模态检索方法及装置
KR20210033235A (ko) 데이터 증강 방법 및 장치, 그리고 컴퓨터 프로그램
CN114492451B (zh) 文本匹配方法、装置、电子设备及计算机可读存储介质
WO2023170810A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7382633B2 (ja) 学習モデル構築装置、学習モデル構築方法及びコンピュータプログラム
JP6947460B1 (ja) プログラム、情報処理装置、及び方法
JP7081455B2 (ja) 学習装置、学習方法、及び学習プログラム
JP7092228B1 (ja) 学習装置、学習方法およびプログラム
JP2020021474A (ja) モーション合成装置及びモーション合成方法
US20230401835A1 (en) Training a speaker neural network using one or more listener neural networks
JP7126682B2 (ja) 対話システム及びそのコンピュータプログラム
US20240126993A1 (en) Transformer-based text encoder for passage retrieval
JP7462206B2 (ja) 学習装置、学習方法、及び学習プログラム
US20210133537A1 (en) Translation method and apparatus therefor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22930794

Country of ref document: EP

Kind code of ref document: A1