WO2024252609A1 - 情報処理装置、応答方法、および応答プログラム - Google Patents

情報処理装置、応答方法、および応答プログラム Download PDF

Info

Publication number
WO2024252609A1
WO2024252609A1 PCT/JP2023/021319 JP2023021319W WO2024252609A1 WO 2024252609 A1 WO2024252609 A1 WO 2024252609A1 JP 2023021319 W JP2023021319 W JP 2023021319W WO 2024252609 A1 WO2024252609 A1 WO 2024252609A1
Authority
WO
WIPO (PCT)
Prior art keywords
query
related information
evaluation result
response
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/021319
Other languages
English (en)
French (fr)
Inventor
康佑 秋元
邦紘 竹岡
昌史 小山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2025525855A priority Critical patent/JPWO2024252609A1/ja
Priority to PCT/JP2023/021319 priority patent/WO2024252609A1/ja
Publication of WO2024252609A1 publication Critical patent/WO2024252609A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation

Definitions

  • One example of the objective of the present invention is to provide an information processing device or the like that makes it possible to improve the accuracy of a response even when related information input together with a query includes information that is not linked to improving the accuracy of the response.
  • An information processing device includes an evaluation result acquisition means for acquiring an evaluation result obtained by evaluating related information of a query that is input together with the query to a machine-learned language processing model that processes the query written in a natural language, and a response means for responding to the query using the language processing model based on the evaluation result.
  • a response method includes: obtaining an evaluation result in which at least one processor evaluates related information for a query that is input together with the query into a machine-learned language processing model that processes the query written in a natural language; and responding to the query using the language processing model based on the evaluation result.
  • a response program causes a computer to function as an evaluation result acquisition means for acquiring an evaluation result obtained by evaluating related information of a query that is input together with the query into a machine-learned language processing model that processes a query written in a natural language, and as a response means for responding to the query using the language processing model based on the evaluation result.
  • FIG. 1 is a block diagram showing a configuration of an information processing device according to a first exemplary embodiment of the present invention
  • FIG. 2 is a flow chart showing the flow of a response method according to the first exemplary embodiment of the present invention.
  • FIG. 11 is a diagram showing a configuration of a response system according to an exemplary embodiment 2 of the present invention.
  • FIG. 11 is a block diagram showing a configuration of an information processing device according to an exemplary embodiment 2 of the present invention.
  • FIG. 13 is a diagram illustrating an example of adjusting the attention level in a language processing model.
  • FIG. 13 is a diagram showing an example in which a plurality of language processing models are generated using a plurality of training data sets.
  • FIG. 11 is a flow chart showing an example of processing executed by an information processing device according to an exemplary embodiment 2 of the present invention.
  • FIG. 13 is a diagram illustrating the receipt of feedback in response to a query.
  • FIG. 13 is a diagram showing an example of presentation of evaluation results of related information.
  • 11A-11C are diagrams illustrating application examples of response methods according to exemplary embodiments.
  • FIG. 1 is a diagram showing an example of a computer that executes instructions of a program, which is software that realizes the functions of each device according to each exemplary embodiment of the present invention.
  • Example embodiment 1 DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS
  • This exemplary embodiment is a basic form of the exemplary embodiments described below.
  • Fig. 1 is a block diagram showing the configuration of the information processing device 1. As shown in the figure, the information processing device 1 includes an evaluation result acquisition unit 11 and a response unit 12.
  • the evaluation result acquisition unit 11 acquires an evaluation result obtained by evaluating related information of a query.
  • the query is written in a natural language.
  • the related information is information that is input together with the query to a machine-learned language processing model that processes the query.
  • the information processing device 1 includes an evaluation result acquisition unit 11 that acquires an evaluation result obtained by evaluating related information of a query that is input together with the query to a machine-learned language processing model that processes a query written in a natural language, and a response unit 12 that responds to the query using the language processing model based on the evaluation result acquired by the evaluation result acquisition unit 11. Therefore, according to the information processing device 1 according to this exemplary embodiment, even if the related information input together with the query includes information that does not lead to improved accuracy of the response, an effect is obtained in which it is possible to improve the accuracy of the response.
  • the above-described functions of the information processing device 1 can also be realized by a program.
  • the response program according to the present exemplary embodiment is configured to cause a computer to function as an evaluation result acquisition means for acquiring an evaluation result obtained by evaluating related information of a query input together with the query to a machine-learned language processing model that processes a query written in a natural language, and as a response means for responding to the query using the language processing model based on the evaluation result. Therefore, according to the response program according to the present exemplary embodiment, even if related information input together with a query includes information that does not contribute to improving the accuracy of the response, an effect is obtained that it is possible to improve the accuracy of the response.
  • Fig. 2 is a flow diagram showing the flow of the response method. Note that the execution subject of each step in this response method may be a processor provided in the information processing device 1, a processor provided in another device, or a processor provided in a different device.
  • At least one processor obtains an evaluation result of evaluating related information of a query that is input together with the query into a machine-learned language processing model that processes the query written in natural language.
  • At least one processor responds to the query using the language processing model based on the evaluation results obtained in S11.
  • Fig. 3 is a diagram showing the configuration of the response system 5.
  • the response system 5 is a system that responds to queries input by a user of the response system 5.
  • the response system 5 includes an information processing device 1A and a terminal device 2.
  • the information processing device 1A and the terminal device 2 are capable of bidirectional communication via a network (NW).
  • NW network
  • a query that instructs the execution of a task to complete a sentence or part of a sentence, a task to generate a summary of a sentence or sentence, a task to translate a sentence or sentence, or the like may be input to the information processing device 1A.
  • the information processing device 1A evaluates related information input to the language processing model together with the query, and responds to the query based on the evaluation results. This makes it possible to improve the accuracy of the response even if the related information includes information that does not lead to improved accuracy of the response.
  • the information processing device 1A may be a device whose main function is to determine the content of the response to the query, or it may be a general-purpose device that also has other functions.
  • the terminal device 2 is a device used by a user of the response system 5.
  • FIG. 3 illustrates an example in which the terminal device 2 is a tablet-type device (e.g., a smartphone or a tablet PC (Personal Computer)).
  • the terminal device 2 may be any device that can accept a query input by a user and present the response generated by the information processing device 1A to the user.
  • the query input may be accepted via an input device such as a touch panel, or the query may be input by voice.
  • a user of the response system 5 can input a query to the terminal device 2, thereby causing the terminal device 2 to output a response to the query.
  • a query For example, in the example of FIG. 3, an input field for inputting a question and an answer field for displaying an answer to the input question are displayed on the display unit of the terminal device 2. Of these, the input field displays the question text entered by the user, "What is the capital of Japan?". This question text is transmitted to the information processing device 1A as a query.
  • Information processing device 1A that receives a query acquires related information for the received query.
  • related information For the example of FIG. 3, two sentences are acquired as related information: (1) "Japan's capital has not been legally determined, and some say it should be Kyoto.” and (2) “Tokyo (Japan), Korea (Seoul), Beijing (China), ".
  • Related information can be acquired, for example, by a keyword search using the entire query or some of the words contained in the query.
  • the information processing device 1A evaluates the acquired related information.
  • the information processing device 1A gives a low rating to sentence (1) and a high rating to sentence (2), and gives the overall related information an evaluation value of 0.5, which is the sum of these evaluation results.
  • response system 5 includes a terminal device 2 that accepts input of a query written in natural language, and an information processing device 1A that acquires an evaluation result obtained by evaluating related information of the query that is input together with the query into a machine-learned language processing model, and responds to the query using the language processing model based on the acquired evaluation result. Since response system 5 responds to a query based on the evaluation result obtained by evaluating the related information, it is possible to improve the accuracy of the response even if the related information includes information that does not lead to improved accuracy of the response.
  • sentence (1) in the example of FIG. 3 suggests that the answer to the query "What is the capital of Japan?" is "Kyoto.” Therefore, this sentence misleads the viewer to the incorrect answer "Kyoto” as the answer to the query.
  • sentence (2) pairs the names of countries with their capitals, leading to the correct answer "Tokyo” as the answer to the query.
  • related information is not limited to that acquired by search, and even related information entered by a user may contain information that does not contribute to improving the accuracy of the response. According to the information processing device 1A, even when related information that contains information that does not contribute to improving the accuracy of the response is acquired, the correct response "It is Tokyo" can be generated and output to the terminal device 2.
  • Fig. 4 is a block diagram showing the configuration of the information processing device 1A.
  • the information processing device 1A includes a control unit 10A that controls each unit of the information processing device 1A, and a storage unit 11A that stores various data used by the information processing device 1A.
  • the information processing device 1A also includes a communication unit 12A for the information processing device 1A to communicate with other devices, an input unit 13A that accepts input of various data to the information processing device 1A, and an output unit 14A for the information processing device 1A to output various data.
  • Each of the components from the storage unit 11A to the output unit 14A may be built into the information processing device 1A, or may be an external device of the information processing device 1A that is attached to the information processing device 1A.
  • the query acquisition unit 101 acquires a query. There are no particular limitations on the method of acquiring the query. For example, the query acquisition unit 101 may acquire a query input to the terminal device 2 via the terminal device 2 and the communication unit 12A as in the example of FIG. 3. Also, for example, the query acquisition unit 101 may acquire a query input via the input unit 13A.
  • the related information is not limited to sentences or paragraphs, as long as it can be used to generate a response.
  • numerical values, images, or audio data can also be used as related information.
  • Related information in a format other than text can be converted into text format and input to the language processing model 111.
  • a language processing model 111 that has been trained to be able to input related information in a format other than text can be used, in which case the above-mentioned conversion is not necessary.
  • the evaluation result acquisition unit 103 acquires an evaluation result obtained by evaluating related information of a query that is input together with the query to the language processing model 111, which is a machine-learned language processing model that processes a query written in a natural language.
  • the evaluation result acquisition unit 103 may acquire the evaluation result by evaluating the related information, or may acquire the evaluation result via the communication unit 12A or the input unit 13A.
  • the method of evaluating related information will be described later in the section "Method of evaluating related information”.
  • the language processing model 111 is a machine-learned language processing model that processes queries written in natural language.
  • the language processing model 111 may be a language processing model that has been trained to output an answer written in natural language to a question sentence when the question sentence written in natural language is input as a query.
  • the language processing model 111 may be a predictive model that outputs a predetermined label for a sentence written in natural language.
  • the label can be set arbitrarily.
  • a predictive model that outputs a label indicating the classification of the sentence may be used as the language processing model 111.
  • the content generated by the language processing model 111 is not limited to that expressed in language (e.g., text data).
  • the language model 111 may generate, for example, image data, video data, audio data, or data in other data formats that correspond to the input query.
  • the information presentation unit 105 presents information to the user.
  • the information presentation unit 105 presents the answer text generated by the response unit 104 to the user who input the query.
  • the information presentation may be in any manner.
  • the information presentation unit 105 may present the information by displaying the information on a display unit as in the example of FIG. 3, or may present the information by printing out the information on a printing device, or by outputting the information as audio on an audio output device, or the like.
  • the information processing device 1A includes an evaluation result acquisition unit 103 that acquires an evaluation result obtained by evaluating related information of a query that is input together with the query to a machine-learned language processing model 111 that processes a query written in a natural language, and a response unit 104 that responds to the query using the language processing model 111 based on the acquired evaluation result. Therefore, even if the related information input together with the query includes information that does not contribute to improving the accuracy of the response, it is possible to improve the accuracy of the response.
  • the evaluation result acquisition unit 103 may acquire the evaluation result of the related information via the communication unit 12A or the input unit 13A.
  • the user of the terminal device 2 may evaluate the related information and transmit the evaluation result to the information processing device 1A, or another device may evaluate the related information and transmit the evaluation result to the information processing device 1A.
  • the evaluation result acquisition unit 103 acquires the above evaluation result by communication via the communication unit 12A.
  • the evaluation result acquisition unit 103 may also acquire the evaluation result by evaluating the related information using a predetermined evaluation method. This provides the effect of automatically generating the evaluation result of the related information and improving the accuracy of the response to the query, in addition to the effect provided by the information processing device 1 according to the first exemplary embodiment.
  • the evaluation method applied by the evaluation result acquisition unit 103 may be a method that gives a high rating to related information or elements thereof that are expected to improve the response accuracy, and a low rating to related information or elements thereof that are not expected to improve the response accuracy.
  • the evaluation result of the related information or elements thereof may be a graded evaluation result such as a high rating or a low rating, or may be expressed by a numerical value (i.e., an evaluation value).
  • the evaluation result acquisition unit 103 may give a high rating to such related information or elements thereof.
  • the evaluation result acquisition unit 103 may give a high rating to related information or elements thereof that include a character string included in the query, and may give a low rating to related information or elements thereof that do not include a character string included in the query. In this way, the evaluation result acquisition unit 103 may take the degree of relevance between the related information and the query as the evaluation result for the related information.
  • queries may be classified into a number of categories according to their contents
  • related information may also be classified into a number of categories according to its contents and source of acquisition (such as the domain in the case of a web page).
  • source of acquisition such as the domain in the case of a web page.
  • an average evaluation result of the related information may be stored in the storage unit 11A or the like. This allows the evaluation result acquisition unit 103 to identify and acquire the evaluation result of the related information from the query category acquired by the query acquisition unit 101 and the related information category acquired by the related information acquisition unit 102.
  • the evaluation result acquisition unit 103 may repeatedly input some of the elements included in the related information together with the query into the language processing model 111 to output a response to the query while changing the input elements, and evaluate the variability in the output response.
  • a value indicating the magnitude of the variability can be used as the evaluation value of the related information. This is because it is considered that the variability in the response will be small if each element included in the related information contributes to improving the accuracy of the response (i.e., if the related information is of high quality). Also, it is considered that the variability in the response will be large if the elements included in the related information include many that mislead the response (i.e., if the related information is of low quality).
  • the language processing model 111 may have a function of calculating the degree of attention for each element (for example, a sentence or a character string such as a word that constitutes the sentence) included in the related information.
  • the degree of attention indicates the degree of importance given to each element when outputting a response to a query, and can also be referred to as a weight.
  • the Transformer model has an attention mechanism and calculates the attention (or degree of attention) of each token, which is a component of the related information. This attention can be used to evaluate the related information.
  • the evaluation result acquisition unit 103 may acquire the evaluation result by evaluating the distribution of attention calculated by the language processing model 111 for each element included in the related information.
  • the evaluation result acquisition unit 103 may give the related information a low evaluation. This is because when attention is concentrated on a part of multiple sentences included in the related information, the related information is considered to contain many sentences that are less relevant to the query and do not contribute to improving the accuracy of the response.
  • the evaluation result acquisition unit 103 may give a high evaluation to related information when attention is distributed among the sentences included in the related information. This is because, when attention is distributed among the sentences included in the related information, the related information is considered to be highly relevant to the query and to contain many sentences that are useful for improving the accuracy of the response.
  • the degree of attention to each element included in the related information can also be calculated using XAI (Explainable Artificial Intelligence).
  • XAI Explainable Artificial Intelligence
  • the evaluation result acquisition unit 103 may input each sentence included in the related information to a language processing model trained to output the polarity of the input sentence (whether it is positive or negative).
  • the evaluation result acquisition unit 103 can identify which of the sentences included in the related information or the character strings that make up the sentences was focused on to generate the output. Then, the evaluation result acquisition unit 103 can generate an evaluation result for the related information based on the above-mentioned identification result.
  • the evaluation result acquisition unit 103 may consider the quality of the related information extracted from the training dataset to be known. For example, when generating the language processing model 111, the language processing model 111 may be trained using a part of the training dataset, and the remainder of the training dataset may be used as test data. In this case, it is sufficient to estimate in advance the average quality of the related information contained in the training dataset used for training, and store the estimated result in the storage unit 11A or the like. This allows the evaluation result acquisition unit 103 to apply the previously stored estimated quality result to the related information included in the test data.
  • a quality prediction model that predicts the quality of related information can be generated by machine learning using training data that associates information indicating the quality of the related information (in other words, the degree to which it contributes to improving the accuracy of the response) for a pair of a query and related information.
  • the evaluation result acquisition unit 103 may input the query and related information into such a quality prediction model, predict the quality of the related information, and acquire the predicted result as the evaluation result.
  • the evaluation result acquisition unit 103 can evaluate the related information from various viewpoints, such as the reliability of the related information and the accuracy of the content indicated in the related information. For example, a reliability level may be determined in advance for each information source of the related information. This allows the evaluation result acquisition unit 103 to reflect the reliability levels in the evaluation results.
  • the average quality of the related information in each domain can be specified in advance. If such quality for each domain is stored in the memory unit 11A or the like, the evaluation result acquisition unit 103 can acquire an evaluation result of the quality of the related information to be evaluated based on the domain from which the related information to be evaluated was acquired. Note that it is also possible to classify related information based on criteria other than the information source. If the related information is classified, the average quality of the related information in that classification can be determined in advance, so the evaluation result acquisition unit 103 can classify the related information to be evaluated and acquire the average quality in that classification as the evaluation result of the related information.
  • the related information may include multiple elements.
  • the evaluation result acquisition unit 103 may evaluate each element included in the related information and generate an evaluation result for the related information based on these evaluation results. For example, the evaluation result acquisition unit 103 may take the ratio of the number of elements that were highly rated to the number of elements that were low rated among the multiple elements included in the related information as the evaluation result for the related information. Furthermore, when the evaluation result acquisition unit 103 calculates an evaluation value for each element included in the related information, it may take the average of these evaluation values as the evaluation result for the related information.
  • the evaluation result acquisition unit 103 may also evaluate the related information based on at least one of the user of the information processing device 1A and the contents of the query. This provides the effect of enabling a response according to at least one of the user and the contents of the query in addition to the effect provided by the information processing device 1 according to the first exemplary embodiment.
  • users may be classified according to their attributes (age, sex, occupation, etc.), and an evaluation method may be defined for each user classification.
  • the evaluation result acquisition unit 103 can highly evaluate related information acquired from information sources that are reliable for surgeons when the user is a surgeon. This allows a response that is appropriate for the medical department to be induced.
  • queries can be classified according to their content, and an evaluation method can be defined in advance for each query classification. For example, if a query asks how to deal with feeling unwell, an evaluation method can be defined in which related information obtained from sources that provide reliable solutions is given a high rating, and related information obtained from sources that provide solutions with little evidence, such as folk remedies, is given a low rating.
  • a language processing model 111 that enables a response that takes into account the related information can be generated.
  • a training data set including a plurality of training data in which information indicating a correct output is associated with a set of a query and related information is used for this learning.
  • the language processing model 111 is generated by repeatedly performing a process of updating the parameters of the model during learning while changing the training data so as to reduce a loss indicating the degree of deviation between the output of the model during learning and the correct output indicated in the training data.
  • the response unit 104 may adjust (optimize) the attention level of the language processing model 111 for each of the multiple elements included in the related information, according to the evaluation result acquired by the evaluation result acquisition unit 103. This allows the language processing model 111 to pay attention to each element to a degree according to the evaluation result in processing the query and related information, thereby making it possible to improve the accuracy of the response to the query.
  • FiD is described in Izacard, Gautier, and Edouard Grave. "Leveraging passage retrieval with generative models for open domain question answering.”
  • FiE is also described in Kedia, Akhil, Mohd Abbas Zaidi, and Haejun Lee. "FiE: Building a Global Probability Space by Leveraging Early Fusion in Encoder for Open-Domain Question Answering.”
  • the response unit 104 may perform such an adjustment (i.e., an adjustment to make the attention levels of multiple elements of the related information uniform) when the quality of the related information is high overall (in other words, the proportion of elements that are highly related to the correct output among the elements included in the related information is large). This can reduce the possibility of overlooking elements that are highly relevant to the correct output and are included in the related information.
  • the response unit 104 may perform such an adjustment (i.e., an adjustment to further increase the attention level of elements of the related information that have a high attention level) when the quality of the related information is low overall (in other words, the proportion of elements that are highly relevant to correct output among the elements in the related information is small). This makes it possible to reduce the possibility that response accuracy will decrease due to consideration of elements in the related information that are less relevant to correct output.
  • the Transformer model processes a sentence by dividing it into components of the sentence called tokens. Therefore, attention is calculated for each token.
  • the response unit 104 can calculate the attention level of the entire sentence from the attention of the tokens corresponding to each element contained in the sentence. Furthermore, the sentence and its components are represented by vectors. In FIG. 5, a vector corresponding to one token is shown as one rectangle.
  • different attention may be set for each layer of the decoder provided in the language processing model 111. In this case, the response unit 104 may obtain the attention in at least one layer as the attention level and adjust the value (or these values).
  • the response unit 104 can calculate the adjusted attention level (which can also be called attention or weight value). For example, assume that the attention levels calculated by the language processing model 111 for elements (e.g., sentences) of 1 to N (N is an integer equal to or greater than 2) included in the related information are ⁇ s 1 , s 2 , ..., s N ⁇ . In this case, the response unit 104 may adjust the attention level of each element using the following formula. Note that "softmax(.)" is a softmax function, and is used to obtain a normalized attention level.
  • the response unit 104 may, for example, increase the value of T as the quality of the related information as a whole increases, and decrease the value of T as the quality of the related information as a whole decreases.
  • the response unit 104 may calculate T such that the entropy of the adjusted attention levels ⁇ s 1 ', s 2 ', ..., s N ' ⁇ becomes a predetermined value.
  • a conversion method for converting the evaluation results acquired by the evaluation result acquisition unit 103 into a target entropy value may be determined in advance. This allows the response unit 104 to obtain a target entropy value from the evaluation results acquired by the evaluation result acquisition unit 103, calculate T from the obtained entropy value, and calculate the adjusted attention level of each element from the calculated T.
  • some language processing models 111 calculate the attention level (which can also be called attention or weight value) of each token.
  • the response unit 104 may maintain the ratio of the attention levels of each token in a sentence even after adjustment.
  • the language processing model 111 calculates the attention intensities of the three tokens in the first sentence as 0.2, 0.2, and 0.1, starting from the top, and the attention intensities of the two tokens in the second sentence as 0.4 and 0.1, starting from the top.
  • the overall attention intensities of both these two sentences are 0.5.
  • the response unit 104 decides to adjust the attention level of the first sentence from 0.5 to 0, and the attention level of the second sentence from 0.5 to 1.
  • the response unit 104 sets the attention levels of all three tokens in the first sentence to zero, and sets the attention levels of the two tokens in the second sentence to 0.8 and 0.2, starting from the top.
  • the attention level ratio of the two tokens in the second sentence is maintained at 4:1 both before and after the adjustment.
  • the language processing model 111 may be generated by learning so as to reduce the degree of discrepancy between an output obtained by inputting a query and related information of the query and a given correct output.
  • the response unit 104 responds to the query using a language processing model 111 trained using related information of an evaluation result corresponding to the evaluation result acquired by the evaluation result acquisition unit 103, out of multiple language processing models 111 trained using related information having different evaluation results.
  • the inventors of the present application have confirmed through experiments that the degree of agreement between the evaluation results of each element contained in the related information used during learning and the evaluation results of each element contained in the related information input to the trained language processing model affects the accuracy of the response. Therefore, the above configuration, which responds using a language processing model 111 according to the evaluation results of each element contained in the related information, makes it possible to improve the accuracy of the response to the query.
  • FIG. 6 shows an example in which multiple language processing models 111 are generated using related information with different evaluation results. Specifically, FIG. 6 shows an example in which language processing models 111a to 111c are generated using training data sets 113a to 113c.
  • the training dataset 113a includes multiple pieces of training data in which queries, related information, and correct answers (which can also be rephrased as correct outputs given) are associated with each other.
  • the related information included in the training dataset 113a is of low quality overall.
  • When generating such a training dataset 113a multiple sentences or passages that are candidates for related information are prepared, and each candidate is input to the language processing model 111 together with the query, and it is determined whether the candidate contributes to improving the accuracy of the response. Then, by increasing the proportion of related information that does not contribute to improving accuracy in the entire training dataset compared to related information that contributes to improving accuracy, it is possible to generate a training dataset 113a that includes low-quality related information. Similarly, it is also possible to generate a training dataset 113b that includes medium-quality related information and a training dataset 113c that includes high-quality related information.
  • Whether or not the related information contributes to improving accuracy can be determined based on the degree of discrepancy between the correct answer and the output obtained by inputting the related information and the query into the language processing model 111.
  • the degree of discrepancy can be expressed, for example, by a known similarity index.
  • the method of evaluating related information in a training dataset is not particularly limited.
  • related information that includes the correct answer string may be considered to be of high quality
  • related information that does not include the correct answer string may be considered to be of low quality.
  • the ratio of high quality related information to low quality related information among multiple pieces of related information may be used as the overall quality of the related information.
  • a training dataset containing related information of a predetermined quality can be generated by adjusting the number of related information that includes the correct answer string and the number of related information that does not include the correct answer string so that the overall quality of the related information is a predetermined value.
  • the language processing model 111a generated by learning using the training dataset 113a is used for responses using low-quality related information.
  • the response unit 104 responds to the query using the language processing model 111a.
  • the response unit 104 may respond to the query using the language processing model 111a when the evaluation value acquired by the evaluation result acquisition unit 103 is less than a predetermined lower limit value.
  • Training datasets 113b and 113c also contain multiple pieces of training data in which queries, related information, and correct answers are associated.
  • the related information contained in training dataset 113b is generally of medium quality
  • the related information contained in training dataset 113c is generally of high quality.
  • the language processing model 111b generated by learning using the training dataset 113b is used for responses using related information of medium quality.
  • the response unit 104 responds to the query using the language processing model 111b.
  • the response unit 104 may respond to the query using the language processing model 111b when the evaluation value acquired by the evaluation result acquisition unit 103 is equal to or lower than a predetermined upper limit value and equal to or higher than a predetermined lower limit value.
  • the language processing model 111c generated by learning using the training dataset 113c is used for responding using high-quality related information.
  • the response unit 104 responds to the query using the language processing model 111c.
  • the response unit 104 may respond to the query using the language processing model 111c when the evaluation value acquired by the evaluation result acquisition unit 103 exceeds a predetermined upper limit value.
  • the response unit 104 may generate a response using one of the language processing models 111a to 111c that has been trained using related information of the evaluation result according to the evaluation result acquired by the evaluation result acquisition unit 103. This makes it possible to suppress a decrease in response accuracy caused by a discrepancy in the quality of related information between the time of learning and the time of inference.
  • the evaluation result acquisition unit 103 may acquire an evaluation result indicating which of multiple categories (e.g., high quality, medium quality, low quality) the quality of the related information falls into, instead of an evaluation value.
  • the response unit 104 may respond using one of the language processing models 111a to 111c that corresponds to the category indicated by the evaluation result.
  • the response unit 104 may respond to a query based on an output obtained by inputting an element selected from among multiple elements included in the related information according to the evaluation result acquired by the evaluation result acquisition unit 103 into the language processing model 111 together with the query.
  • the evaluation results of the related information can affect the accuracy of the response using the language processing model 111. Therefore, the above configuration in which elements selected according to the evaluation results are input to the language processing model 111 makes it possible to improve the accuracy of the response to the query.
  • the response unit 104 may extract, from the multiple elements contained in the related information, those that contribute to improving response accuracy and those that do not contribute to improving response accuracy in a ratio of 3:7, and input them to the language processing model 111 together with the query.
  • the response unit 104 may match the proportion of related information used in learning that contributes to improving response accuracy with the proportion of multiple elements of related information input to the language processing model 111 that contributes to improving response accuracy. This makes it possible to improve the accuracy of responses to queries. Note that the above proportions do not need to match perfectly, and it is sufficient for the response unit 104 to match to an extent that an improvement in response accuracy can be expected.
  • the quality of the related information included in the training data set used when generating the language processing model 111 may be classified in advance as, for example, high quality, low quality, etc.
  • the response unit 104 may select elements from the related information acquired by the related information acquisition unit 102 so that the elements are classified in the same way as the quality of the related information included in the training data set used when generating the language processing model 111.
  • the language processing model 111 may be generated by learning so as to reduce the degree of discrepancy between an output obtained by inputting a query and related information of the query and a given correct output.
  • the related information used in this learning may be provided with information indicating an evaluation result of the related information.
  • the language processing model 111 may be a model generated by learning using related information provided with information indicating the evaluation result.
  • the response unit 104 may respond to a query based on an output obtained by inputting the query and related information of the query, to which information indicating the evaluation result acquired by the evaluation result acquisition unit 103 has been added, into the language processing model 111. Even when such a configuration is adopted, it is possible to improve the accuracy of the response to the query.
  • the related information included in the training dataset used to train the language processing model 111 and that contributes to improving response accuracy may be given the character string "Good” as information indicating the evaluation result of the related information.
  • the related information included in the training dataset used to train the language processing model 111 and that does not contribute to improving response accuracy may be given the character string "Bad” as information indicating the evaluation result of the related information.
  • the response unit 104 assigns the character string "Good” to related information or its elements indicating that the evaluation result acquired by the evaluation result acquisition unit 103 contributes to improving response accuracy.
  • the response unit 104 also assigns the character string "Bad” to related information or its elements indicating that the evaluation result acquired by the evaluation result acquisition unit 103 does not contribute to improving response accuracy.
  • the response unit 104 inputs the related information to which the information indicating the evaluation result has been assigned, together with the query, to the language processing model 111. This makes it possible to induce high attention to related information or its elements that contribute to improving response accuracy and low attention to related information or its elements that do not contribute to improving response accuracy, thereby improving the accuracy of the response.
  • Fig. 7 is a flow diagram showing an example of the process executed by the information processing device 1A. Note that, below, an example will be described in which the response method described in "Response method 1 based on evaluation result of related information" is applied.
  • the query acquisition unit 101 acquires a query.
  • the query acquisition unit 101 may acquire a query input via the terminal device 2 by communication via the communication unit 12A.
  • the related information acquisition unit 102 acquires related information.
  • related information that includes multiple sentences as elements is acquired.
  • the response unit 104 inputs the query acquired in S21 and the related information acquired in S22 to the language processing model 111, and the language processing model 111 determines the degree of attention (e.g., attention) calculated for each element (specifically, a sentence or word) included in the related information.
  • the process of S23 may be performed before S25, and may be performed after S24 or in parallel with S24.
  • the evaluation result acquisition unit 103 acquires the evaluation result of the related information acquired in S22.
  • the evaluation result acquisition unit 103 may perform a process for each sentence included in the related information, in which a sentence that is one of the elements included in the related information acquired in S22 and the query acquired in S21 are input to the language processing model 111 to obtain an output value.
  • the evaluation result acquisition unit 103 may then evaluate the variance of the obtained output value to obtain the evaluation result.
  • the evaluation result acquisition unit 103 may evaluate the related information based on whether the attention level identified in S23 is concentrated on some of the multiple sentences included in the related information, and obtain the evaluation result.
  • the evaluation result acquisition unit 103 may acquire the evaluation result input by the user.
  • the response unit 104 adjusts the attention level of the language processing model 111 for each element (specifically, a sentence or word) included in the related information obtained in S22, depending on the evaluation result obtained in S25.
  • the response unit 104 responds to the query acquired in S21 using the language processing model 111 whose attention level has been adjusted in S25. Specifically, the response unit 104 inputs the query acquired in S21 and the related information acquired in S22 into the language processing model 111 whose attention level has been adjusted, and obtains an output value of the language processing model 111. For example, if the query is a question, the output value may be an answer to the question. The response unit 104 then instructs the information presentation unit 105 to present the output value to the user. This ends the processing in FIG. 7.
  • the process of S25 is not performed. Instead, a process of selecting some of the multiple elements included in the related information is performed according to the evaluation result of S24. Then, in S26, a response is made by inputting the selected element and the query to the language processing model 111.
  • the flow of FIG. 7 described above includes a response method according to this exemplary embodiment.
  • the response method includes obtaining an evaluation result (S24) of related information of a query that is input together with the query to a machine-learned language processing model 111 that processes a query written in a natural language, and responding to the query using the language processing model 111 based on the evaluation result (S26).
  • This response method makes it possible to improve the accuracy of the response even if the related information input together with the query includes information that does not lead to improved accuracy of the response.
  • the response unit 104 accepts user feedback on the most recently generated response.
  • the response unit 104 determines whether or not to regenerate the response depending on the content of the feedback accepted in S31. If it is determined in S32 that the response should be regenerated, the process proceeds to S33, and if it is determined in S32 that the response should not be regenerated, the process of the flow diagram shown in FIG. 8 ends.
  • the response unit 104 may receive feedback by instructing the information presentation unit 105 to display image IMG1 shown in FIG. 8 on the terminal device 2.
  • Image IMG1 includes a message M1 asking whether the response content is appropriate.
  • Image IMG1 also includes objects Ob1 and Ob2, which are user-selectable objects, for rating the appropriateness of the response content as "good” or "bad.”
  • the user can evaluate the response content by selecting either object Ob1 or object Ob2, whichever is closest to the user's assessment of the appropriateness of the response content.
  • Object Ob2 is also an object for regenerating the response. If object Ob2 is selected, S32 returns YES, and the response is regenerated. On the other hand, if object Ob1 is selected, S32 returns NO, and the process ends.
  • the response unit 104 readjusts the attention level of the language processing model 111 for each element of the related information.
  • the response unit 104 responds to the query using the language processing model 111 whose attention level has been readjusted in S33. After this, the process returns to S31.
  • the method of readjustment in S33 may be determined in advance.
  • the response unit 104 may return the attention level of the language processing model 111 for each element of the related information to the value before the most recent adjustment was made.
  • the response unit 104 may adjust the attention level by increasing or decreasing the value of T by a predetermined range.
  • the method of regenerating the response is not limited to the above example.
  • the response unit 104 may regenerate the response using a language processing model 111 different from that used when generating the previous response.
  • the evaluation result acquisition unit 103 may update the evaluation results of the related information, and the response unit 104 may regenerate the response based on the updated evaluation results.
  • the information presentation unit 105 may present to the user the evaluation result of the related information acquired by the evaluation result acquisition unit 103.
  • Fig. 9 is a diagram showing an example of presentation of the evaluation result of the related information.
  • a message M2 indicating the evaluation result of the related information
  • a message M3 indicating a countermeasure according to the evaluation result are displayed on the display unit of the terminal device 2.
  • the evaluation value of "0.1" shown in the message M2 indicates the evaluation result of the related information acquired by the evaluation result acquisition unit 103.
  • multiple candidate sentence patterns may be prepared in advance. For example, a sentence recommending the input of other related information may be stored in the memory unit 11A etc. as a message in the case where the evaluation result is poor, and a message recommending revision of the query may be stored in the memory unit 11A etc. as a message in the case where the evaluation result is good. Then, the information presentation unit 105 may select a sentence corresponding to the evaluation result of the related information acquired by the evaluation result acquisition unit 103 from the sentences stored in the memory unit 11A etc., and display it on the terminal device 2 etc.
  • the information processing device e.g., a server
  • the information processing device 1 is the information processing device 1 or the information processing device 1A.
  • FIG. 10 is a diagram showing an application example of the response method according to each exemplary embodiment.
  • FIG. 10 shows an image IMG2 displayed for receiving a query and outputting a response, and medical data 112c used as related information for generating the answer shown in image IMG2.
  • the image IMG2 is displayed by the information presentation unit 105, for example, on the display unit of the terminal device 2.
  • the image IMG2 may be displayed, for example, on the display screen of a browser, or on the display screen of application software that returns a response to the input query.
  • the medical data 112c is acquired by the related information acquisition unit 102.
  • the related information acquisition unit 102 may acquire the medical data 112c input by the user via the terminal device 2, or may acquire the medical data 112c by accessing various databases that store medical data.
  • Image IMG2 displays query Q1 entered by the user, as well as answer A1 generated for query Q1 using first language processing model 111 and answer A2 generated for query Q1 using second language processing model 111. Because first language processing model 111 and second language processing model 111 are different models, answers A1 and A2 have different content for the same query Q1 and the same related information. However, because both answers were generated using the response method according to the exemplary embodiment described above, it can be expected that the accuracy of the answer content will be improved compared to a case in which the quality of the related information is not taken into account.
  • the control unit 10A of the information processing device 1A may be provided with a first response unit 104 that responds to a query using the first language processing model 111, and a second response unit 104 that responds to a query using the second language processing model 111.
  • the first response unit 104 responds to a query using the first language processing model 111 based on the evaluation result acquired by the evaluation result acquisition unit 103.
  • the second response unit 104 responds to a query using the second language processing model 111 based on the evaluation result acquired by the evaluation result acquisition unit 103.
  • the information presentation unit 105 then presents the content of the response by the first response unit 104 and the content of the response by the second response unit 104 to the user.
  • a separate evaluation result acquisition unit 103 may be provided for each of the first and second language processing models 111.
  • evaluation results suitable for each language processing model 111 used can be acquired, and a response can be made based on the evaluation results. It is also possible to use three or more language processing models in combination.
  • the medical data 112c is data indicating various information collected by medical institutions. Specifically, the medical data 112c associates information indicating the medical institution where the data was collected, the date of the examination at the medical institution, information indicating the patient's symptoms, information indicating the diagnosis of the doctor or other medical professional, and information indicating the prescribed medicine. The medical data 112c is useful for deriving an appropriate answer to a query about the diagnosis or prescribed medicine according to the patient's symptoms, and is suitable as related information.
  • the evaluation result acquisition unit 103 may acquire an evaluation result in which the related information is evaluated using an evaluation method according to at least one of the user and the content of the query.
  • the query Q1 shown in FIG. 10 includes the word "patient.”
  • the evaluation result acquisition unit 103 may set the evaluation result of the related information obtained from a reliable medical information source as a positive one.
  • the evaluation result acquisition unit 103 may rate the data of that medical department higher than the data of other medical departments. For example, if the first line of query Q1 is the sentence "This patient visited the internal medicine department," the evaluation result acquisition unit 103 may rate the "internal medicine” data included in the medical data 112c higher than the data of other medical departments. This can induce an answer that recommends "drug a" as a prescription drug.
  • the execution subject of each process described in the above embodiment is arbitrary and is not limited to the above example.
  • the functions of the information processing device 1 and 1A can be realized by multiple devices (which can also be called processors) that can communicate with each other.
  • processors which can also be called processors
  • each process described in the flowcharts of Figures 2, 7, and 8 can be shared and executed by multiple processors.
  • the execution subject of the response method in the above embodiment may be one processor or multiple processors.
  • Some or all of the functions of the information processing device 1, 1A may be realized by hardware such as an integrated circuit (IC chip), or may be realized by software.
  • the information processing device 1, 1A is realized, for example, by a computer that executes instructions of a program, which is software that realizes each function.
  • a computer that executes instructions of a program, which is software that realizes each function.
  • FIG. 11 An example of such a computer (hereinafter referred to as computer C) is shown in FIG. 11.
  • Computer C has at least one processor C1 and at least one memory C2.
  • Memory C2 records a program (response program) P for operating computer C as information processing device 1, 1A.
  • processor C1 reads and executes program P from memory C2, thereby realizing each function of information processing device 1, 1A.
  • program P can also be executed by terminal device 2 shown in FIG. 3. In this case, terminal device 2 alone can perform operations from accepting input of a query, determining the content of a response to the query, and outputting the response.
  • the processor C1 may be, for example, a CPU (Central Processing Unit), GPU (Graphic Processing Unit), DSP (Digital Signal Processor), MPU (Micro Processing Unit), FPU (Floating point number Processing Unit), PPU (Physics Processing Unit), TPU (Tensor Processing Unit), quantum processor, microcontroller, or a combination of these.
  • the memory C2 may be, for example, a flash memory, HDD (Hard Disk Drive), SSD (Solid State Drive), or a combination of these.
  • Computer C may further include a RAM (Random Access Memory) for expanding program P during execution and for temporarily storing various data.
  • Computer C may further include a communications interface for sending and receiving data to and from other devices.
  • Computer C may further include an input/output interface for connecting input/output devices such as a keyboard, mouse, display, and printer.
  • the program P can also be recorded on a non-transitory, tangible recording medium M that can be read by the computer C.
  • a recording medium M can be, for example, a tape, a disk, a card, a semiconductor memory, or a programmable logic circuit.
  • the computer C can obtain the program P via such a recording medium M.
  • the program P can also be transmitted via a transmission medium.
  • a transmission medium can be, for example, a communications network or broadcast waves.
  • the computer C can also obtain the program P via such a transmission medium.
  • An information processing device comprising: an evaluation result acquisition means for acquiring an evaluation result obtained by evaluating related information of a query input together with the query to a machine-learned language processing model that processes a query written in a natural language; and a response means for responding to the query using the language processing model based on the evaluation result.
  • the language processing model is generated by learning so as to reduce a discrepancy between an output obtained by inputting a query and information related to the query and a given correct output;
  • Appendix 6 The information processing device described in Appendix 1, wherein the response means responds to the query based on an output obtained by inputting an element selected from a plurality of elements included in the related information according to the evaluation result acquired by the evaluation result acquisition means into the language processing model together with the query.
  • Appendix 7 The information processing device described in Appendix 1, wherein the language processing model is generated by learning so as to reduce the deviation between an output obtained by inputting a query and related information of the query and a given correct output, and the related information used for learning is assigned information indicating an evaluation result of the related information, and the response means responds to the query by inputting the query and the related information of the query to which information indicating the evaluation result acquired by the evaluation result acquisition means has been assigned to the language processing model.
  • a response method comprising: obtaining an evaluation result in which at least one processor evaluates related information of a query that is input together with the query into a machine-learned language processing model that processes a query written in a natural language; and responding to the query using the language processing model based on the evaluation result.
  • a response program that causes a computer to function as an evaluation result acquisition means that acquires an evaluation result obtained by evaluating related information of a query that is input together with the query into a machine-learned language processing model that processes a query written in natural language, and a response means that responds to the query using the language processing model based on the evaluation result.
  • An information processing device comprising at least one processor, the at least one processor executing an evaluation result acquisition process for acquiring an evaluation result obtained by evaluating related information of a query that is input together with the query into a machine-learned language processing model that processes a query written in a natural language, and a response process for responding to the query using the language processing model based on the evaluation result.
  • the information processing device may further include a memory, and this memory may store a response program for causing the processor to execute the evaluation result acquisition process and the response process.
  • this response program may be recorded on a computer-readable, non-transitory, tangible recording medium.
  • Appendix 5 The information processing device described in Appendix 1, wherein the language processing model is generated by learning so as to reduce the deviation between an output obtained by inputting a query and related information for the query and a given correct output, and the processor responds to the query in the response process using a language processing model trained using related information of an evaluation result corresponding to the evaluation result acquired by the evaluation result acquisition means, from among a plurality of language processing models trained using related information each having a different evaluation result.
  • Appendix 6 The information processing device described in Appendix 1, wherein, in the response processing, the processor responds to the query based on an output obtained by inputting an element selected from among a plurality of elements contained in the related information according to the evaluation result acquired by the evaluation result acquisition means into the language processing model together with the query.
  • Appendix 7 The information processing device described in Appendix 1, wherein the language processing model is generated by learning so as to reduce the deviation between an output obtained by inputting a query and related information of the query and a given correct output, and the related information used for learning is assigned information indicating an evaluation result of the related information, and the processor responds to the query in the response process by inputting the query and the related information of the query to which information indicating the evaluation result acquired by the evaluation result acquisition means has been assigned to the language processing model.
  • Evaluation result acquisition unit evaluation result acquisition means
  • Response unit evaluation result acquisition means
  • Evaluation result acquisition unit evaluation result acquisition means
  • Response unit evaluation result acquisition means
  • Response unit response unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

クエリに対する応答の精度を高めるために、情報処理装置（１）は、自然言語で記述されたクエリを処理する機械学習済みの言語処理モデルに当該クエリと共に入力される当該クエリの関連情報を評価した評価結果を取得する評価結果取得部（１１）と、当該評価結果に基づき、上記言語処理モデルを用いてクエリに応答する応答手段と、を備える。

Description

情報処理装置、応答方法、および応答プログラム
　自然言語で記述されたクエリに応答する情報処理装置等に関する。
　自然言語で記述されたクエリに応答する技術が知られている。例えば、下記の特許文献１には、人工知能及び自然言語処理方法をマルチラウンド対話の検索方法に応用して、質問に対して回答の返信を行う技術が開示されている。また、特許文献１には、マルチラウンド対話における対話内容をコンテキスト情報として利用することが記載されている。コンテキスト情報を用いることにより、対話のコンテキストに沿った高精度な回答を生成することができる。
日本国特開２０２１－１０８１７８号公報
　また、近年では、自然言語で記述されたクエリを処理する機械学習済みの言語処理モデルに対し、クエリと共に当該クエリの関連情報を入力することにより、クエリに対する応答の精度を高める技術も開発されている。ただし、クエリと共に関連情報を入力することが、必ずしも応答の精度向上に結び付かない場合がある。これは、関連情報には、ユーザの求める応答を導くために有効なもののみが含まれているとは限らず、クエリに関係のないものや、応答をミスリードするようなものが含まれていることもあるためである。
　本発明の目的の一例は、クエリと共に入力される関連情報に応答の精度向上に結び付かない情報が含まれている場合であっても、応答の精度を高めることを可能にする情報処理装置等を提供することである。
　本発明の一側面に係る情報処理装置は、自然言語で記述されたクエリを処理する機械学習済みの言語処理モデルに当該クエリと共に入力される当該クエリの関連情報を評価した評価結果を取得する評価結果取得手段と、前記評価結果に基づき、前記言語処理モデルを用いて前記クエリに応答する応答手段と、を備える。
　本発明の一側面に係る応答方法は、少なくとも１つのプロセッサが、自然言語で記述されたクエリを処理する機械学習済みの言語処理モデルに当該クエリと共に入力される当該クエリの関連情報を評価した評価結果を取得することと、前記評価結果に基づき、前記言語処理モデルを用いて前記クエリに応答することと、を含む。
　本発明の一側面に係る応答プログラムは、コンピュータを、自然言語で記述されたクエリを処理する機械学習済みの言語処理モデルに当該クエリと共に入力される当該クエリの関連情報を評価した評価結果を取得する評価結果取得手段、および前記評価結果に基づき、前記言語処理モデルを用いて前記クエリに応答する応答手段、として機能させる。
　本発明の一態様によれば、クエリと共に入力される関連情報に応答の精度向上に結び付かない情報が含まれている場合であっても、応答の精度を高めることが可能になる。
本発明の例示的実施形態１に係る情報処理装置の構成を示すブロック図である。 本発明の例示的実施形態１に係る応答方法の流れを示すフロー図である。 本発明の例示的実施形態２に係る応答システムの構成を示す図である。 本発明の例示的実施形態２に係る情報処理装置の構成を示すブロック図である。 言語処理モデルにおける注目度の調整例を示す図である。 複数の訓練データセットを用いて複数の言語処理モデルを生成した例を示す図である。 本発明の例示的実施形態２に係る情報処理装置が実行する処理の一例を示すフロー図である。 クエリへの応答に対するフィードバックの受付を説明する図である。 関連情報の評価結果の提示例を示す図である。 各例示的実施形態に係る応答方法の応用例を示す図である。 本発明の各例示的実施形態に係る各装置の各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータの一例を示す図である。
　〔例示的実施形態１〕
　本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
　（情報処理装置の構成）
　本例示的実施形態に係る情報処理装置１の構成について、図１を参照して説明する。図１は、情報処理装置１の構成を示すブロック図である。図示のように、情報処理装置１は、評価結果取得部１１と応答部１２とを備えている。
　評価結果取得部１１は、クエリの関連情報を評価した評価結果を取得する。当該クエリは、自然言語で記述されている。また、上記関連情報は、上記クエリを処理する機械学習済みの言語処理モデルに当該クエリと共に入力される情報である。
　応答部１２は、評価結果取得部１１が取得した評価結果に基づき、上記言語処理モデルを用いて上記クエリに応答する。
　以上のように、本例示的実施形態に係る情報処理装置１は、自然言語で記述されたクエリを処理する機械学習済みの言語処理モデルに当該クエリと共に入力される当該クエリの関連情報を評価した評価結果を取得する評価結果取得部１１と、評価結果取得部１１が取得した評価結果に基づき、上記言語処理モデルを用いて上記クエリに応答する応答部１２と、を備える。このため、本例示的実施形態に係る情報処理装置１によれば、クエリと共に入力する関連情報に応答の精度向上に結び付かない情報が含まれている場合であっても、応答の精度を高めることが可能になるという効果が得られる。
　（応答プログラム）
　上述の情報処理装置１の機能は、プログラムによって実現することもできる。本例示的実施形態に係る応答プログラムは、コンピュータを、自然言語で記述されたクエリを処理する機械学習済みの言語処理モデルに当該クエリと共に入力される当該クエリの関連情報を評価した評価結果を取得する評価結果取得手段、および、当該評価結果に基づき、上記言語処理モデルを用いて上記クエリに応答する応答手段として機能させる、という構成が採用されている。このため、本例示的実施形態に係る応答プログラムによれば、クエリと共に入力する関連情報に応答の精度向上に結び付かない情報が含まれている場合であっても、応答の精度を高めることが可能になるという効果が得られる。
　（応答方法の流れ）
　本例示的実施形態に係る応答方法の流れについて、図２を参照して説明する。図２は、応答方法の流れを示すフロー図である。なお、この応答方法における各ステップの実行主体は、情報処理装置１が備えるプロセッサであってもよいし、他の装置が備えるプロセッサであってもよく、各ステップの実行主体がそれぞれ異なる装置に設けられたプロセッサであってもよい。
　Ｓ１１では、少なくとも１つのプロセッサが、自然言語で記述されたクエリを処理する機械学習済みの言語処理モデルに当該クエリと共に入力される当該クエリの関連情報を評価した評価結果を取得する。
　Ｓ１２では、少なくとも１つのプロセッサが、Ｓ１１で取得された評価結果に基づき、上記言語処理モデルを用いて上記クエリに応答する。
　以上のように、本例示的実施形態に係る応答方法は、少なくとも１つのプロセッサが、自然言語で記述されたクエリを処理する機械学習済みの言語処理モデルに当該クエリと共に入力される当該クエリの関連情報を評価した評価結果を取得することと、当該評価結果に基づき、上記言語処理モデルを用いて上記クエリに応答することと、を含む。このため、本例示的実施形態に係る応答方法によれば、クエリと共に入力する関連情報に応答の精度向上に結び付かない情報が含まれている場合であっても、応答の精度を高めることが可能になるという効果が得られる。
　〔例示的実施形態２〕
　（応答システムの概要）
　本例示的実施形態に係る応答システム５の概要を図３に基づいて説明する。図３は、応答システム５の構成を示す図である。応答システム５は、応答システム５のユーザが入力するクエリに応答するシステムである。図示のように、応答システム５には、情報処理装置１Ａと端末装置２とが含まれている。情報処理装置１Ａと端末装置２は、ネットワーク（ＮＷ）を介して双方向に通信可能となっている。
　情報処理装置１Ａは、クエリに応答する装置である。クエリとは、タスクの実行を指示するために入力される文である。本例示的実施形態では、自然言語で記載された質問文をクエリとして言語処理モデルに入力し、言語処理モデルの出力に基づいて上記クエリに対する回答文を生成し、この回答文をクエリに対する応答としてユーザに提示する例を説明する。つまり、本例示的実施形態では、上記タスクが質問文に対する回答文を出力するタスクである例を説明する。なお、クエリにより実行を指示するタスクは任意である。例えば、文あるいは文章の一部を補完するタスクや、文または文章の要約を生成するタスク、文または文章を翻訳するタスク等の実行を指示するクエリを情報処理装置１Ａに入力してもよい。
　詳細は後述するが、情報処理装置１Ａは、言語処理モデルにクエリと共に入力される関連情報を評価し、その評価結果に基づいてクエリに応答する。これにより、関連情報に応答の精度向上に結び付かない情報が含まれている場合であっても、応答の精度を高めることが可能になる。なお、情報処理装置１Ａは、クエリに対する応答内容の決定を主な機能とする装置であってもよいし、他の機能も備えた汎用的な装置であってもよい。
　端末装置２は、応答システム５のユーザが使用する装置である。図３には、端末装置２がタブレット型の装置（例えば、スマートフォンまたはタブレットＰＣ（Personal Computer））である例を記載している。端末装置２は、ユーザによるクエリの入力を受け付け、情報処理装置１Ａが生成する応答をユーザに提示することができるものであればよい。クエリの入力はタッチパネル等の入力デバイスを介して受け付けてもよいし、クエリを音声入力できるようにしてもよい。
　応答システム５のユーザは、端末装置２にクエリを入力することにより、端末装置２にクエリに対する応答を出力させることができる。例えば、図３の例では、端末装置２の表示部に質問を入力するための入力欄と、入力した質問に対する回答を表示する回答欄とが表示されている。このうち入力欄にはユーザが入力した「日本の首都は？」という質問文が表示されている。この質問文はクエリとして情報処理装置１Ａに送信される。
　クエリを受信した情報処理装置１Ａは、受信したクエリの関連情報を取得する。図３の例では、（１）「日本の首都は法律上定められておらず、京都とする意見もある。」および（２）「東京（日本）、韓国（ソウル）、北京（中国）、…」という２つの文が関連情報として取得されている。関連情報は、例えば、クエリの全体またはクエリに含まれる一部の語を用いたキーワード検索等により取得することが可能である。
　次に、情報処理装置１Ａは、取得した関連情報の評価を行う。図３の例では、情報処理装置１Ａは、関連情報に含まれる２つの文のうち、（１）の文を低評価、（２）の文を高評価とし、これらの評価結果を総合した関連情報全体の評価値を０．５としている。
　そして、情報処理装置１Ａは、算出した評価値すなわち関連情報の評価結果に基づき、自然言語で記述されたクエリを処理する機械学習済みの言語処理モデルを用いて、クエリに応答する。クエリに対する応答の内容については、端末装置２を介してユーザに提示される。
　このように、応答システム５は、自然言語で記述されたクエリの入力を受け付ける端末装置２と、機械学習済みの言語処理モデルに上記クエリと共に入力される当該クエリの関連情報を評価した評価結果を取得し、取得した評価結果に基づき、上記言語処理モデルを用いて上記クエリに応答する情報処理装置１Ａとを含む。応答システム５では、関連情報を評価した評価結果に基づいてクエリに応答するため、関連情報に応答の精度向上に結び付かない情報が含まれている場合であっても、応答の精度を高めることが可能になっている。
　例えば、図３の例における（１）の文は、「日本の首都は？」というクエリに対する回答が「京都」であることを示唆している。このため、この文は当該クエリに対する回答を「京都」という誤った回答にミスリードするものとなっている。一方、（２）の文は、各国の国名とその首都とをペアにして列挙したものであり、上記クエリに対する回答を「東京」という正しい回答に導くものとなっている。なお、検索により取得した関連情報に限られず、例えばユーザが入力した関連情報であっても、応答の精度向上に結び付かない情報が含まれることはあり得る。情報処理装置１Ａによれば、このように応答の精度向上に結び付かない情報が含まれた関連情報が取得された場合であっても、「東京です」という正しい応答を生成し、これを端末装置２に出力させることができる。
　（情報処理装置の構成）
　本例示的実施形態に係る情報処理装置１Ａの構成について、図４を参照して説明する。図４は、情報処理装置１Ａの構成を示すブロック図である。図示のように、情報処理装置１Ａは、情報処理装置１Ａの各部を統括して制御する制御部１０Ａと、情報処理装置１Ａが使用する各種データを記憶する記憶部１１Ａを備えている。また、情報処理装置１Ａは、情報処理装置１Ａが他の装置と通信するための通信部１２Ａ、情報処理装置１Ａに対する各種データの入力を受け付ける入力部１３Ａ、および情報処理装置１Ａが各種データを出力するための出力部１４Ａを備えている。なお、記憶部１１Ａから出力部１４Ａまでの各構成は、情報処理装置１Ａに内蔵されたものであってもよいし、情報処理装置１Ａに外付けされた情報処理装置１Ａの外部の装置であってもよい。
　また、図示のように、情報処理装置１Ａの制御部１０Ａには、クエリ取得部１０１、関連情報取得部１０２、評価結果取得部１０３、応答部１０４、および情報提示部１０５が含まれている。また、記憶部１１Ａには、言語処理モデル１１１が記憶されている。
　クエリ取得部１０１は、クエリを取得する。クエリの取得方法は特に限定されない。例えば、クエリ取得部１０１は、図３の例のように端末装置２に入力されたクエリを、端末装置２および通信部１２Ａ経由で取得してもよい。また、例えば、クエリ取得部１０１は、入力部１３Ａを介して入力されるクエリを取得してもよい。
　関連情報取得部１０２は、クエリ取得部１０１が取得するクエリと共に言語処理モデル１１１に入力される、当該クエリの関連情報を取得する。関連情報の取得方法は任意である。例えば、関連情報取得部１０２は、ユーザが入力した関連情報を取得してもよいし、クエリの全体またはクエリに含まれる一部の語を用いたキーワード検索等により取得してもよい。また、関連情報取得部１０２は、所定のデータベースからクエリの内容およびクエリを入力したユーザ（クエリに対する回答の提示対象のユーザであってもよい）の少なくとも何れかに適合する情報を抽出し、それを関連情報として取得してもよい。
　また、関連情報は、応答の生成に利用できるものであればよく、文あるいは文章に限られない。例えば数値、画像、または音声データを関連情報として利用することもできる。テキスト以外の形式の関連情報については、テキスト形式に変換して言語処理モデル１１１に入力すればよい。また、テキスト以外の形式の関連情報を入力できるように学習した言語処理モデル１１１を用いてもよく、この場合には上記のような変換は不要である。
　評価結果取得部１０３は、自然言語で記述されたクエリを処理する機械学習済みの言語処理モデルである言語処理モデル１１１に、当該クエリと共に入力される当該クエリの関連情報を評価した評価結果を取得する。評価結果取得部１０３は、関連情報を評価することにより評価結果を取得してもよいし、通信部１２Ａまたは入力部１３Ａを介して評価結果を取得してもよい。なお、関連情報の評価方法については後記「関連情報の評価方法」の項目で説明する。
　応答部１０４は、評価結果取得部１０３により取得された評価結果に基づき、言語処理モデル１１１を用いて、クエリ取得部１０１が取得するクエリに応答する。例えば、クエリ取得部１０１が取得したクエリが質問文であれば、応答部１０４は、言語処理モデル１１１にそのクエリを入力することにより回答文を生成する。応答に評価結果を反映させる方法については後記「関連情報の評価結果に基づく応答方法１」～「「関連情報の評価結果に基づく応答方法４」の項目で説明する。
　言語処理モデル１１１は、自然言語で記述されたクエリを処理する機械学習済みの言語処理モデルである。例えば、言語処理モデル１１１は、自然言語で記述された質問文をクエリとして入力したときに、その質問文に対する自然言語で記述された回答文を出力するように学習された言語処理モデルであってもよい。あるいは、言語処理モデル１１１は、自然言語で記述された文に対して、所定のラベルを出力する予測モデルであってもよい。ラベルは任意に設定することができる。例えば、言語処理モデル１１１として、文の分類を示すラベルを出力する予測モデルを用いてもよい。
　また、言語処理モデル１１１の出力は、自然言語に限定されず、人工言語であってもよい（数式またはソースコード等）。例えば、言語処理モデル１１１は、クエリとして、「データベースから特定の文字列を含むデータを取得するには？」という質問の入力を受け付ける。言語モデル１１１は、当該質問に対応するデータベース処理を行うためのプログラムソースコードを出力してもよい。
　また、言語処理モデル１１１が生成するコンテンツは言語で表されるもの（例えばテキストデータ）に限定されない。言語モデル１１１は、例えば、入力されたクエリに対応する画像データ、動画データ、音声データ、又はその他のデータ形式のデータを生成してもよい。
　情報提示部１０５は、ユーザに対して情報の提示を行う。例えば、情報提示部１０５は、応答部１０４が生成した回答文を、クエリを入力したユーザに提示する。情報の提示態様は任意である。例えば、情報提示部１０５は、図３の例のように表示部に情報を表示させることにより情報を提示してもよいし、印字装置に印字出力させる、あるいは、音声出力装置に音声出力させる等の態様で情報を提示してもよい。
　以上のように、情報処理装置１Ａは、自然言語で記述されたクエリを処理する機械学習済みの言語処理モデル１１１に当該クエリと共に入力される当該クエリの関連情報を評価した評価結果を取得する評価結果取得部１０３と、取得された評価結果に基づき、言語処理モデル１１１を用いてクエリに応答する応答部１０４と、を備える。よって、クエリと共に入力する関連情報に応答の精度向上に結び付かない情報が含まれている場合であっても、応答の精度を高めることが可能になる。
　（関連情報の評価方法）
　上述のように、評価結果取得部１０３は、通信部１２Ａまたは入力部１３Ａを介して関連情報の評価結果を取得してもよい。例えば、端末装置２のユーザが関連情報を評価して、その評価結果を情報処理装置１Ａに送信するようにしてもよいし、他の装置に関連情報を評価させて、その評価結果を情報処理装置１Ａに送信させてもよい。これらの場合、評価結果取得部１０３は、通信部１２Ａを介した通信により、上記の評価結果を取得する。
　また、評価結果取得部１０３は、関連情報を所定の評価方法で評価して評価結果を取得してもよい。これにより、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、関連情報の評価結果を自動で生成し、クエリに対する応答の精度を高めることが可能になるという効果が得られる。
　評価結果取得部１０３が適用する評価方法は、応答の精度が高まることが期待できる関連情報またはその要素が高評価、応答の精度が高まることが期待できない関連情報またはその要素が低評価となるような方法であればよい。なお、関連情報またはその要素の評価結果は、高評価と低評価のような段階的な評価結果であってもよいし、数値（つまり評価値）によって表されてもよい。
　例えば、クエリと関連性の高い関連情報またはその要素は、応答の精度を高め得ると考えられるから、評価結果取得部１０３は、このような関連情報またはその要素を高評価としてもよい。具体例を挙げれば、評価結果取得部１０３は、クエリに含まれる文字列を含む関連情報またはその要素を高評価とし、クエリに含まれる文字列を含まない関連情報またはその要素を低評価としてもよい。このように、評価結果取得部１０３は、関連情報とクエリとの関連度合いを、その関連情報の評価結果としてもよい。
　また、例えば、クエリをその内容に応じて複数のカテゴリに分類すると共に、関連情報についてもその内容や取得元（ウェブページであればそのドメイン等）等に応じて複数のカテゴリに分類しておいてもよい。そして、クエリのカテゴリと、関連情報のカテゴリとの組み合わせのそれぞれについて、関連情報の平均的な評価結果を記憶部１１Ａ等に記憶させておいてもよい。これにより、評価結果取得部１０３は、クエリ取得部１０１が取得したクエリのカテゴリと、関連情報取得部１０２が取得した関連情報のカテゴリから、当該関連情報の評価結果を特定し、取得することができる。
　また、例えば、評価結果取得部１０３は、関連情報に含まれる複数の要素の一部をクエリと共に言語処理モデル１１１に入力してクエリに対する応答を出力させる処理を、入力する要素を変えながら繰り返し行い、出力された応答のばらつきを評価してもよい。この場合、ばらつきの大きさを示す値を関連情報の評価値とすることができる。これは、関連情報に含まれる各要素が応答の精度向上に寄与していれば（つまり関連情報が高品質であれば）応答のばらつきは小さくなると考えられるためである。また、関連情報に含まれる要素に応答をミスリードするものが多く含まれていれば（つまり関連情報が低品質であれば）応答のばらつきは大きくなると考えられるためである。
　ここで、言語処理モデル１１１は、関連情報に含まれる各要素（例えば文やそれを構成する単語などの文字列）に対する注目度を算出する機能を備えているものであってもよい。注目度は、クエリに対する応答を出力する上で、各要素を重視する度合いを示すものであり、重みと言い換えることもできる。
　例えば、Transformerモデルは、アテンションメカニズムを備えており、関連情報の構成要素である各トークンのアテンション（注目度と言い換えることもできる）を算出する。このアテンションを関連情報の評価に利用することができる。具体的には、評価結果取得部１０３は、言語処理モデル１１１が関連情報に含まれる各要素について算出したアテンションの分布を評価することにより評価結果を取得してもよい。
　例えば、評価結果取得部１０３は、関連情報に含まれる複数の文の一部にアテンションが集中している場合に、その関連情報を低評価としてもよい。これは、関連情報に含まれる複数の文の一部にアテンションが集中している場合には、その関連情報にはクエリとの関連性が低く、応答の精度を高めることに寄与しない文が多く含まれていると考えられるためである。
　また、評価結果取得部１０３は、関連情報に含まれる各文にアテンションが分散している場合に、その関連情報を高評価としてもよい。これは、関連情報に含まれる各文にアテンションが分散している場合には、その関連情報にはクエリとの関連性が高く、応答の精度を高めるために有用な文が多く含まれていると考えられるためである。
　また、関連情報に含まれる各要素に対する注目度は、ＸＡＩ（Explainable Artificial Intelligence）により算出することもできる。例えば、関連情報が複数の文を含む場合、評価結果取得部１０３は、入力した文の極性（肯定的な内容であるか、否定的な内容であるか）を出力するように学習した言語処理モデルに、関連情報に含まれる各文を入力してもよい。ここで、評価結果取得部１０３は、ＸＡＩを用いることにより、関連情報に含まれる文または文を構成する文字列の何れに注目して出力が生成されたかを特定することができる。そして、評価結果取得部１０３は、上記の特定結果に基づき、関連情報の評価結果を生成することができる。
　また、言語処理モデル１１１の学習に用いた訓練データセットに含まれる関連情報の平均的な品質が既知であるとする。この場合、評価結果取得部１０３は、その訓練データセットから抽出された関連情報については、その品質を既知の品質であるとみなしてもよい。例えば、言語処理モデル１１１を生成する際には、訓練データセットの一部を用いて言語処理モデル１１１の学習を行い、訓練データセットの残りをテストデータとすることがある。この場合、学習に用いた訓練データセットに含まれる関連情報の平均的な品質を予め推定して推定結果を記憶部１１Ａ等に記憶させておけばよい。これにより、評価結果取得部１０３は、テストデータに含まれる関連情報については、予め記憶された品質の推定結果を適用することができる。
　また、クエリと関連情報の組に対し、その関連情報の品質（応答の精度を高めるために寄与した度合いと言い換えることもできる）を示す情報を対応付けた訓練データを用いた機械学習により、関連情報の品質を予測する品質予測モデルを生成することもできる。評価結果取得部１０３は、このような品質予測モデルにクエリと関連情報を入力することにより、当該関連情報の品質を予測し、その予測結果を評価結果として取得してもよい。
　また、評価結果取得部１０３は、上述した以外にも、関連情報の信頼性や、関連情報に示される内容の的確さ等、様々な観点から関連情報を評価することが可能である。例えば、関連情報の情報源ごとに予め信頼度を定めておいてもよい。これにより、評価結果取得部１０３は、上記の信頼度を評価結果に反映させることができる。
　また、ドメイン（情報源と言い換えることもできる）ごとに、そのドメインで取得された様々な関連情報の品質を評価することにより、各ドメインにおける関連情報の平均的な品質を予め特定することができる。このようなドメインごとの品質を記憶部１１Ａ等に記憶させておけば、評価結果取得部１０３は、評価対象となる関連情報が取得されたドメインに基づき、その関連情報の品質の評価結果を取得することができる。なお、関連情報は、情報源以外の基準で分類することも可能である。関連情報を分類すれば、その分類の関連情報の平均的な品質を予め求めることができるから、評価結果取得部１０３は、評価対象となる関連情報を分類し、その分類における平均的な品質を、当該関連情報の評価結果として取得することができる。
　ここで、上述のように、関連情報には複数の要素が含まれていてもよい。関連情報に複数の要素が含まれている場合、評価結果取得部１０３は、関連情報に含まれる各要素を評価し、それらの評価結果に基づいて当該関連情報の評価結果を生成してもよい。例えば、評価結果取得部１０３は、関連情報に含まれる複数の要素のうち、高評価となった要素の数と、低評価となった要素の数との比を、当該関連情報の評価結果としてもよい。また、評価結果取得部１０３は、関連情報に含まれる各要素の評価値を算出した場合、それらの評価値の平均値を当該関連情報の評価結果としてもよい。
　また、評価結果取得部１０３は、情報処理装置１Ａのユーザおよびクエリの内容の少なくとも何れかに基づいて関連情報を評価してもよい。これにより、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、ユーザおよびクエリの内容の少なくとも何れかに応じた応答が可能になるという効果が得られる。
　例えば、ユーザをその属性（年齢、性別、職業等）に応じて分類し、ユーザの分類毎に評価方法を定めておいてもよい。これにより、例えば、評価結果取得部１０３は、ユーザが内科医である場合には内科医にとって信頼のおける情報源（例えば、内科の診療記録）から取得した関連情報を高評価にすることができる。一方、評価結果取得部１０３は、ユーザが外科医である場合には外科医にとって信頼のおける情報源から取得した関連情報を高評価にすることができる。これにより、診療科に適合した応答を誘導することができる。
　同様に、クエリもその内容に応じて分類することが可能であり、クエリの分類毎に評価方法を予め定めておくことができる。例えば、クエリが体調不良の対処法を問うものである場合には、信頼できる対処法を発信している情報源から取得した関連情報を高評価にし、民間療法などの根拠が希薄な対処法を発信している情報源から取得した関連情報を低評価にする、といった評価方法を定めておくこともできる。
　（関連情報の品質と応答の精度について）
　クエリおよびその関連情報と、正しい出力との関係を学習することにより、関連情報を加味した応答を可能にする言語処理モデル１１１を生成することができる。具体的には、この学習には、クエリと関連情報の組に対し、正しい出力を示す情報を対応付けた訓練データを複数含む訓練データセットが用いられる。そして、学習中のモデルの出力と、訓練データに示される正しい出力との乖離度合いを示す損失が小さくなるように学習中のモデルのパラメータを更新する処理を、訓練データを変えながら繰り返し行うことにより、言語処理モデル１１１が生成される。
　このような学習により生成された言語処理モデル１１１は、訓練データセットに含まれる関連情報を過学習したものとなり得る。例えば、正しい出力との関連性が高い要素の割合が小さい（つまり品質が低い）関連情報を用いて学習した言語処理モデル１１１は、学習時と同様の品質の関連情報に対して高精度な応答を出力し得る。しかし、このような言語処理モデル１１１に、正しい出力との関連性が高い要素の割合が大きい（つまり品質が高い）関連情報を入力したときには応答の精度が低下することがある。
　このような、関連情報の品質のミスマッチによる応答精度の低下は、本願の発明者らの実験の結果によって裏付けられている。当該実験では、学習時に用いた関連情報に含まれる各文章の評価結果と、学習済みの言語処理モデルに入力した関連情報に含まれる各文章の評価結果の一致度が、その言語処理モデルが出力する回答文の精度に影響を及ぼすことが確認されている。
　情報処理装置１Ａでは、評価結果取得部１０３が関連情報の評価結果を取得するから、クエリと共に入力する関連情報の品質に応じた処理を行うことができ、これにより応答の精度を高めることが可能になっている。なお、関連情報の評価結果は、必ずしも処理の対象となる関連情報の個々の要素の品質を正確に反映している必要はない。
　（関連情報の評価結果に基づく応答方法１）
　応答部１０４は、関連情報に含まれる複数の要素のそれぞれに対する言語処理モデル１１１の注目度を、評価結果取得部１０３が取得した評価結果に応じて調整（最適化）してもよい。これにより、言語処理モデル１１１によるクエリおよび関連情報の処理において、評価結果に応じた度合いで各要素に注目させることができるから、クエリに対する応答の精度を高めることが可能になる。
　図５は、言語処理モデル１１１における注目度の調整例を示す図である。図５には、言語処理モデル１１１に対し、関連情報として文１１２ａと文１１２ｂが入力された例を示している。そして、言語処理モデル１１１は、文１１２ａの注目度ｓ１を０．７、文１１２ｂの注目度ｓ２を０．３と算出している。なお、１つのクエリに対して関連情報を１つ入力する言語処理モデル１１１を用いる場合、その言語処理モデル１１１への入力は、例えば「クエリ＋文１１２ａ＜ｓｅｐ＞クエリ＋文１１２ｂ＜ｓｅｐ＞答えは：」のような形式としてもよい。＜ｓｅｐ＞はセパレータである。
　言語処理モデル１１１として、Ｔ５（Text-To-Text Transfer Transformer）やＧＰＴ（Generative Pretrained Transformer）などのTransformerモデルや、それらを応用したFiDやFiEなどのモデルを用いる場合、これらのモデルにおいて「アテンション」と呼ばれる数値を注目度として利用することができる。FiDについては、Izacard, Gautier, and Edouard Grave. "Leveraging passage retrieval with generative models for open domain question answering." arXiv preprint arXiv:2007.01282 (2021)に記載されている。また、FiEについてはKedia, Akhil, Mohd Abbas Zaidi, and Haejun Lee. "FiE: Building a Global Probability Space by Leveraging Early Fusion in Encoder for Open-Domain Question Answering." arXiv preprint arXiv:2211.10147 (2022)に記載されている。
　また、言語処理モデル１１１として、ＲＡＧ（Retrieval-Augmented Generation）などの、関連情報中の個々の文（またはその一部）に対して重みを付与し、重みが大きいほど処理結果に大きく影響を及ぼすようなモデルを用いてもよい。この場合、応答部１０４は、言語処理モデル１１１により算出された文またはその一部に対する重みを、文またはその一部に対する注目度として利用することができる。ＲＡＧについてはLewis, Patrick, et al. "Retrieval-augmented generation for knowledge-intensive nlp tasks." Advances in Neural Information Processing Systems 33 (2020): 9459-9474に記載されている。
　図５に示す調整例１では、文１１２ａの注目度ｓ１がｓ１’＝０．５に調整され、文１１２ｂの注目度ｓ２がｓ２’＝０．５に調整されている。つまり、評価結果取得部１０３が文１１２ａおよび１１２ｂの評価結果として言語処理モデル１１１から取得した注目度ｓ１、ｓ２が、応答部１０４によりｓ１’、ｓ２’に調整されて言語処理モデル１１１に戻される。戻されたｓ１’＝ｓ２’であるから言語処理モデル１１１は文１１２ａと文１１２ｂに均等に注目して回答文を生成する。応答部１０４は、関連情報の品質が全体として高い（言い換えれば関連情報に含まれる要素に占める、正しい出力との関連性が高い要素の割合が大きい）場合に、このような調整（つまり関連情報の複数の要素の注目度を一様にする調整）を行えばよい。これにより、関連情報に含まれる正しい出力との関連性が高い要素の考慮漏れが生じる可能性を低減することができる。
　一方、図５に示す調整例２では、文１１２ａの注目度ｓ１がｓ１”＝０．９に調整され、文１１２ｂの注目度ｓ２がｓ２”＝０．１に調整されている。応答部１０４が注目度をこのようにして調整することにより、言語処理モデル１１１は文１１２ｂよりも文１１２ａに注目して回答文を生成する。応答部１０４は、関連情報の品質が全体として低い（言い換えれば関連情報に含まれる要素に占める、正しい出力との関連性が高い要素の割合が小さい）場合に、このような調整（つまり関連情報の要素のうち注目度が高い要素の注目度をさらに高くする調整）を行えばよい。これにより、関連情報に含まれる正しい出力との関連性が低い要素を考慮することにより応答精度が低下する可能性を低減することができる。
　なお、厳密には、Transformerモデルは、文をトークンと呼ばれる当該文の構成要素に分割して処理する。このため、アテンションはトークンごとに算出される。応答部１０４は、文に含まれる各要素に対応するトークンのアテンションから、その文全体の注目度を算出することができる。また、文およびその構成要素はベクトルで表現される。図５においては、１つのトークンに対応するベクトルを１つの矩形で示している。なお、言語処理モデル１１１によっては、その言語処理モデル１１１が備えるデコーダのレイヤごとに異なるアテンションが設定される場合もある。この場合、応答部１０４は、少なくとも何れか一つのレイヤにおけるアテンションを注目度として取得し、その値（あるいはそれらの値）を調整すればよい。
　応答部１０４は、調整後の注目度（アテンションあるいは重み値と言い換えることもできる）を計算で求めることができる。例えば、関連情報に含まれる１～Ｎ（Ｎは２以上の整数）の要素（例えば文）について言語処理モデル１１１が算出した注目度が｛ｓ１，ｓ２，…，ｓＮ｝であったとする。このとき、応答部１０４は、各要素の注目度を下記の数式を用いて調整してもよい。なお、「softmax（・）」はソフトマックス関数であり、正規化された注目度を得るために用いている。
｛ｓ１’，ｓ２’，…，ｓＮ’｝＝｛softmax（log（ｓ１）／Ｔ，log（ｓ２）／Ｔ，…，log（ｓＮ）／Ｔ）｝
　具体的には、応答部１０４は、上記数式におけるＴ（ＴはＴ＞０のスカラ値）を、評価結果取得部１０３の評価結果に応じた値にすることにより、各要素の調整後の注目度｛ｓ１’，ｓ２’，…，ｓＮ’｝を算出する。この調整法を適用した場合、Ｔを大きい値にするほど各要素の調整後の注目度は一様に近付く。一方、Ｔを小さい値にするほど、注目度が大きい要素の注目度がより大きい値となり、かつ、注目度が小さい要素の注目度がより小さい値となる。このため、応答部１０４は、例えば、関連情報の品質が全体として高いほどＴの値を大きくし、関連情報の品質が全体として低いほどＴの値を小さくしてもよい。
　また、応答部１０４は、調整後の注目度｛ｓ１’，ｓ２’，…，ｓＮ’｝のエントロピーが所定の値となるようなＴを算出してもよい。この場合、評価結果取得部１０３が取得する評価結果を目標とするエントロピーの値に変換する変換方法を予め定めておけばよい。これにより、応答部１０４は、評価結果取得部１０３が取得する評価結果から目標とするエントロピーの値を求め、求めたエントロピーの値からＴを算出し、算出したＴから各要素の調整後の注目度を算出することができる。
　なお、上述のように、言語処理モデル１１１には、各トークンの注目度（アテンションまたは重み値と言い換えることもできる）を算出するものがある。このような言語処理モデル１１１を用いる場合、応答部１０４は、１つの文における各トークンの注目度の比を調整後も維持するようにしてもよい。
　例えば、関連情報に２つの文が含まれており、１つ目の文は３つのトークン、２つ目の文は２つのトークンで構成されていたとする。そして、言語処理モデル１１１は、１つ目の文の３つのトークンの注目度を、先頭から順に、０．２、０．２、０．１と算出し、２つ目の文の２つのトークンの注目度を、先頭から順に、０．４、０．１と算出したとする。これら２つの文の注目度は何れも全体として０．５となる。
　ここで、応答部１０４は、１つ目の文の注目度を０．５から０に調整し、２つ目の文の注目度を０．５から１に調整することを決定したとする。この場合、応答部１０４は、１つ目の文の３つのトークンの注目度を全てゼロとし、２つ目の文の２つのトークンの注目度を先頭から順に、０．８、０．２とする。これにより、２つ目の文の２つのトークンにおける注目度の比は、調整後も調整前も４：１で維持される。
　（関連情報の評価結果に基づく応答方法２）
　上述のように、言語処理モデル１１１は、クエリと当該クエリの関連情報を入力して得られる出力と、与えられた正しい出力との乖離度が低くなるように学習することにより生成されたものであってもよい。この場合、応答部１０４は、評価結果がそれぞれ異なる関連情報を用いて学習された複数の言語処理モデル１１１のうち、評価結果取得部１０３が取得した評価結果に応じた評価結果の関連情報を用いて学習された言語処理モデル１１１を用いてクエリに応答する。
　上述のように、本願の発明者らの実験により、学習時に用いた関連情報に含まれる各要素の評価結果と、学習済みの言語処理モデルに入力した関連情報に含まれる各要素の評価結果との一致度が応答の精度に影響を及ぼすことが確認された。よって、関連情報に含まれる各要素の評価結果に応じた言語処理モデル１１１を用いて応答する上記の構成によれば、クエリに対する応答の精度を高めることが可能になる。
　図６は、評価結果がそれぞれ異なる関連情報を用いて複数の言語処理モデル１１１を生成した例を示す図である。具体的には、図６には、訓練データセット１１３ａ～１１３ｃを用いて言語処理モデル１１１ａ～１１１ｃを生成した例を示している。
　訓練データセット１１３ａには、クエリと関連情報と正答（与えられた正しい出力と言い換えることもできる）とが対応付けられた訓練データが複数含まれている。訓練データセット１１３ａに含まれている関連情報は、全体として低品質である。このような訓練データセット１１３ａを生成する場合、関連情報の候補となる文または文章を複数用意し、各候補のそれぞれをクエリと共に言語処理モデル１１１に入力し、当該候補が応答の精度向上に寄与するかを判定すればよい。そして、訓練データセットの全体において、精度向上に寄与しない関連情報の割合を、精度向上に寄与する関連情報よりも多くすることにより、低品質な関連情報を含む訓練データセット１１３ａを生成することができる。また、同様にして、中品質な関連情報を含む訓練データセット１１３ｂおよび高品質な関連情報を含む訓練データセット１１３ｃを生成することもできる。
　なお、関連情報が精度向上に寄与するか否かは、その関連情報とクエリとを言語処理モデル１１１に入力して得られる出力と正答との乖離度により判定することができる。乖離度は、例えば公知の類似度指標等で表すことができる。
　また、訓練データセットにおける関連情報の評価方法は特に限定されない。例えば、正答の文字列を含む関連情報を高品質、正答の文字列を含まない関連情報を低品質とみなしてもよい。この場合、複数の関連情報における、高品質な関連情報と低品質な関連情報との比を、それら関連情報の全体としての品質としてもよい。つまり、関連情報の全体としての品質が所定の値となるように、正答の文字列を含む関連情報の数と、正答の文字列を含まない関連情報の数とを調整することにより、所定の品質の関連情報を含む訓練データセットを生成することができる。
　訓練データセット１１３ａを用いた学習により生成された言語処理モデル１１１ａは、低品質の関連情報を用いた応答に使用される。つまり、関連情報取得部１０２が取得した関連情報について評価結果取得部１０３が取得した評価結果が、当該関連情報の品質が低いことを示していた場合、応答部１０４は、言語処理モデル１１１ａを用いてクエリに応答する。例えば、応答部１０４は、評価結果取得部１０３により取得された評価値が所定の下限値未満であったときに、言語処理モデル１１１ａを用いてクエリに応答してもよい。
　また、訓練データセット１１３ｂおよび１１３ｃにも、クエリと関連情報と正答とが対応付けられた訓練データが複数含まれている。訓練データセット１１３ｂに含まれている関連情報は全体として中程度の品質であり、訓練データセット１１３ｃに含まれている関連情報は全体として高品質である。
　訓練データセット１１３ｂを用いた学習により生成された言語処理モデル１１１ｂは、中品質の関連情報を用いた応答に使用される。つまり、関連情報取得部１０２が取得した関連情報について評価結果取得部１０３が取得した評価結果が、当該関連情報の品質が中程度であることを示していた場合、応答部１０４は、言語処理モデル１１１ｂを用いてクエリに応答する。例えば、応答部１０４は、評価結果取得部１０３により取得された評価値が所定の上限値以下、所定の下限値以上であったときに、言語処理モデル１１１ｂを用いてクエリに応答してもよい。
　また、訓練データセット１１３ｃを用いた学習により生成された言語処理モデル１１１ｃは、高品質の関連情報を用いた応答に使用される。つまり、関連情報取得部１０２が取得した関連情報について評価結果取得部１０３が取得した評価結果が、当該関連情報の品質が高いことを示していた場合、応答部１０４は、言語処理モデル１１１ｃを用いてクエリに応答する。例えば、応答部１０４は、評価結果取得部１０３により取得された評価値が所定の上限値を越えているときに、言語処理モデル１１１ｃを用いてクエリに応答してもよい。
　このように、応答部１０４は、言語処理モデル１１１ａ～１１１ｃのうち、評価結果取得部１０３が取得した評価結果に応じた評価結果の関連情報を用いて学習されたモデルを用いて応答を生成してもよい。これにより、学習時と推論時における関連情報の質の乖離を要因とする応答精度の低下を抑えることが可能になる。
　なお、評価結果取得部１０３は、評価値ではなく、関連情報の品質が複数の分類（例えば、高品質、中品質、低品質）の何れに該当するかを示す評価結果を取得してもよい。この場合、応答部１０４は、言語処理モデル１１１ａ～１１１ｃのうち、評価結果が示す分類に対応するものを用いて応答すればよい。
　（関連情報の評価結果に基づく応答方法３）
　また、応答部１０４は、関連情報に含まれる複数の要素のうち、評価結果取得部１０３が取得した評価結果に応じて選択した要素をクエリと共に言語処理モデル１１１に入力することにより得られる出力に基づきクエリに応答してもよい。
　上述のように、関連情報の評価結果がどのようなものであるかは、言語処理モデル１１１を用いた応答の精度に影響を及ぼし得る。よって、評価結果に応じて選択した要素を言語処理モデル１１１に入力する上記の構成によれば、クエリに対する応答の精度を高めることが可能になる。
　例えば、言語処理モデル１１１を生成する際に用いた訓練データセットに含まれる関連情報のうち応答精度の向上に寄与するものと、応答精度の向上に寄与しないものとの比が３：７であったとする。この場合、応答部１０４は、関連情報に含まれる複数の要素から、応答精度の向上に寄与するものと寄与しないものとを３：７の割合で抽出し、それらをクエリと共に言語処理モデル１１１に入力してもよい。
　このように、応答部１０４は、学習に用いた関連情報に占める応答精度の向上に寄与するものの割合と、言語処理モデル１１１に入力する関連情報の複数の要素に占める応答精度の向上に寄与するものの割合とを一致させてもよい。これにより、クエリに対する応答の精度を高めることが可能になる。なお、上記の割合は完全に一致している必要はなく、応答部１０４は、応答精度の向上が期待できる程度に一致していればよい。
　また、図６の例のように、言語処理モデル１１１を生成する際に用いた訓練データセットに含まれる関連情報の品質を、例えば、高品質、低品質等に予め分類しておいてもよい。この場合、応答部１０４は、言語処理モデル１１１を生成する際に用いた訓練データセットに含まれる関連情報の品質と同じ分類になるように、関連情報取得部１０２が取得した関連情報から要素を選択すればよい。
　（関連情報の評価結果に基づく応答方法４）
　言語処理モデル１１１は、クエリと当該クエリの関連情報を入力して得られる出力と、与えられた正しい出力との乖離度が低くなるように学習することにより生成されたものであってもよいことは上述のとおりである。この学習において使用される関連情報には、当該関連情報の評価結果を示す情報が付与されていてもよい。つまり、言語処理モデル１１１は、評価結果を示す情報が付与された関連情報を用いて学習することにより生成されたモデルであってもよい。
　このような言語処理モデル１１１を用いる場合、応答部１０４は、クエリと、評価結果取得部１０３が取得した評価結果を示す情報を付与した、当該クエリの関連情報とを言語処理モデル１１１に入力することにより得られる出力に基づきクエリに応答してもよい。このような構成を採用した場合にも、クエリに対する応答の精度を高めることが可能になる。
　例えば、言語処理モデル１１１の学習に用いる訓練データセットに含まれる関連情報のうち応答精度の向上に寄与するものには、関連情報の評価結果を示す情報として「Ｇｏｏｄ」との文字列を付与してもよい。また、言語処理モデル１１１の学習に用いる訓練データセットに含まれる関連情報のうち応答精度の向上に寄与しないものには、関連情報の評価結果を示す情報として「Ｂａｄ」との文字列を付与してもよい。このような訓練データセットを用いて学習を行うことにより、「Ｇｏｏｄ」との文字列を含む関連情報またはその要素の注目度を高く、「Ｂａｄ」との文字列を含む関連情報またはその要素の注目度は低くするような言語処理モデル１１１を生成することができる。
　そして、この場合、応答部１０４は、評価結果取得部１０３が取得した評価結果が、応答精度の向上に寄与することを示す関連情報またはその要素には「Ｇｏｏｄ」との文字列を付与する。また、応答部１０４は、評価結果取得部１０３が取得した評価結果が、応答精度の向上に寄与しないことを示す関連情報またはその要素には「Ｂａｄ」との文字列を付与する。応答部１０４は、このようにして評価結果を示す情報を付与した関連情報をクエリと共に言語処理モデル１１１に入力する。これにより、応答精度の向上に寄与する関連情報またはその要素の注目度が高く、応答精度の向上に寄与しない関連情報またはその要素の注目度が低くなるように誘導することができるから、応答の精度を高めることが可能になる。
　（処理の流れ）
　情報処理装置１Ａが実行する処理の流れを図７に基づいて説明する。図７は、情報処理装置１Ａが実行する処理の一例を示すフロー図である。なお、以下では、「関連情報の評価結果に基づく応答方法１」で説明した応答方法を適用する例を説明する。
　Ｓ２１では、クエリ取得部１０１がクエリを取得する。例えば、クエリ取得部１０１は、図３の例のように、端末装置２を介して入力されたクエリを、通信部１２Ａを介した通信により取得してもよい。
　Ｓ２２では、関連情報取得部１０２が関連情報を取得する。以下では、複数の文を要素として含む関連情報が取得された例を説明する。
　Ｓ２３では、応答部１０４が、Ｓ２１で取得されたクエリと、Ｓ２２で取得された関連情報を言語処理モデル１１１に入力し、言語処理モデル１１１が関連情報に含まれる各要素（具体的には文または単語）について算出した注目度（例えばアテンション）を特定する。なお、Ｓ２３の処理は、Ｓ２５より先に行われればよく、Ｓ２４の後またはＳ２４と並行で行われてもよい。
　Ｓ２４では、評価結果取得部１０３が、Ｓ２２で取得された関連情報の評価結果を取得する。例えば、評価結果取得部１０３は、Ｓ２２で取得された関連情報に含まれる要素の１つである文とＳ２１で取得されたクエリとを言語処理モデル１１１に入力して出力値を得るという処理を、当該関連情報に含まれる各文について行ってもよい。そして、評価結果取得部１０３は、得られた出力値のばらつきを評価して評価結果を取得してもよい。また、例えば、評価結果取得部１０３は、Ｓ２３で特定された注目度が、関連情報に含まれる複数の文の一部に集中しているか否かにより当該関連情報を評価して評価結果を取得してもよい。また、評価結果取得部１０３は、ユーザが入力する評価結果を取得してもよい。
　Ｓ２５では、応答部１０４が、Ｓ２５で取得された評価結果に応じて、Ｓ２２で取得された関連情報に含まれる各要素（具体的には文または単語）に対する言語処理モデル１１１の注目度を調整する。
　Ｓ２６では、応答部１０４は、Ｓ２５で注目度が調整された言語処理モデル１１１を用いてＳ２１で取得されたクエリに応答する。具体的には、応答部１０４は、注目度が調整された言語処理モデル１１１に、Ｓ２１で取得されたクエリと、Ｓ２２で取得された関連情報とを入力して言語処理モデル１１１の出力値を得る。例えば、クエリが質問文である場合、出力値はその質問文に対する回答文であってもよい。そして、応答部１０４は、情報提示部１０５に指示して上記の出力値をユーザに提示させる。これにより、図７の処理は終了となる。
　なお、「関連情報の評価結果に基づく応答方法２」で説明した応答方法を適用する場合、Ｓ２５の処理は行われず、Ｓ２６ではＳ２４の評価結果に応じた言語処理モデル１１１を用いて応答がなされる。
　また、「関連情報の評価結果に基づく応答方法３」で説明した応答方法を適用する場合も、Ｓ２５の処理は行われず、その代わりに、Ｓ２４の評価結果に応じて、関連情報に含まれる複数の要素の一部を選択する処理が行われる。そして、Ｓ２６では、選択された要素とクエリとを言語処理モデル１１１に入力することにより応答がなされる。
　また、「関連情報の評価結果に基づく応答方法４」で説明した応答方法を適用する場合も、Ｓ２５の処理は行われず、その代わりに、Ｓ２４の評価結果を示す情報を関連情報に付与する処理が行われる。そして、Ｓ２６では、Ｓ２４の評価結果を示す情報が付与された関連情報とクエリとを言語処理モデル１１１に入力することにより応答がなされる。
　以上説明した図７のフローには、本例示的実施形態に係る応答方法が含まれている。当該応答方法は、自然言語で記述されたクエリを処理する機械学習済みの言語処理モデル１１１に当該クエリと共に入力される当該クエリの関連情報を評価した評価結果を取得すること（Ｓ２４）と、当該評価結果に基づき、言語処理モデル１１１を用いてクエリに応答すること（Ｓ２６）と、を含む。この応答方法によれば、クエリと共に入力する関連情報に応答の精度向上に結び付かない情報が含まれている場合であっても、応答の精度を高めることが可能になる。
　（フィードバックの受付について）
　情報処理装置１Ａは、上述のようにしてクエリに応答した後、その応答に対するユーザのフィードバックを受け付けてもよい。これにより、情報処理装置１Ａは、フィードバックを反映させたより好ましい応答を行うことが可能になる。本項目ではフィードバックの受付について図８に基づいて説明する。図８は、クエリへの応答に対するフィードバックの受付を説明する図である。図８には、フィードバックを受け付ける際の処理の流れを示すフロー図と、フィードバックを受け付ける際に表示させる画像ＩＭＧ１とを示している。
　図８のフロー図におけるＳ３１では、応答部１０４が、直近に生成した応答に対するユーザのフィードバックを受け付ける。Ｓ３２では、応答部１０４は、Ｓ３１で受け付けたフィードバックの内容に応じて、応答を再生成するか否かを判定する。Ｓ３２で再生成すると判定された場合にはＳ３３に進み、Ｓ３２で再生成しないと判定された場合には図８に示すフロー図の処理は終了する。
　Ｓ３１において、例えば、応答部１０４は、情報提示部１０５に指示して図８に示す画像ＩＭＧ１を端末装置２に表示させることにより、フィードバックを受け付けてもよい。画像ＩＭＧ１には、応答内容の適否を問うメッセージＭ１が含まれている。また、画像ＩＭＧ１には、ユーザが選択可能なオブジェクトとして、応答内容の適否を「良い」または「悪い」で評価するためのオブジェクトＯｂ１、Ｏｂ２が含まれている。
　ユーザは、オブジェクトＯｂ１、Ｏｂ２のうち、自身による応答内容の適否の評価に近いものを選ぶことにより、応答内容を評価することができる。また、オブジェクトＯｂ２は、応答を再生成させるためのオブジェクトでもある。オブジェクトＯｂ２が選択された場合、Ｓ３２ではＹＥＳと判定され、応答の再生成が行われる。一方、オブジェクトＯｂ１が選択された場合、Ｓ３２ではＮＯと判定され、処理は終了となる。
　Ｓ３３では、応答部１０４は、関連情報の各要素に対する言語処理モデル１１１の注目度を再調整する。Ｓ３４では、応答部１０４は、Ｓ３３で注目度が再調整された言語処理モデル１１１を用いてクエリに応答する。この後、処理はＳ３１に戻る。
　Ｓ３３における再調整の方法は予め定めておけばよい。例えば、応答部１０４は、関連情報の各要素に対する言語処理モデル１１１の注目度を、直近の調整が行われる前の値に戻してもよい。また、例えば、応答部１０４は、注目度をスカラ値Ｔで調整する場合、Ｔの値を所定幅で増加または減少させることにより注目度を調整してもよい。
　なお、応答を再生成する方法は上述の例に限られない。例えば、「関連情報の評価結果に基づく応答方法２」で説明した応答方法を適用する場合、応答部１０４は、先の応答生成時とは異なる言語処理モデル１１１を用いて応答を再生成してもよい。また、例えば、評価結果取得部１０３が関連情報の評価結果を更新し、応答部１０４が更新後の評価結果に基づいて応答を再生成するようにしてもよい。
　（関連情報の評価結果の提示）
　情報提示部１０５は、評価結果取得部１０３が取得した関連情報の評価結果をユーザに提示してもよい。図９は、関連情報の評価結果の提示例を示す図である。図示の例では、端末装置２の表示部に、関連情報の評価結果を示すメッセージＭ２と、評価結果に応じた対処法を示すメッセージＭ３が表示されている。メッセージＭ２に示される「０．１」という評価値は、評価結果取得部１０３が取得した関連情報の評価結果を示している。
　メッセージＭ３については、その候補となる文章を予め複数パターン用意しておいてもよい。例えば、評価結果が悪い場合のメッセージとして他の関連情報の入力を勧める文章を記憶部１１Ａ等に記憶させておくと共に、評価結果が良い場合の文章としてクエリの手直しを勧めるメッセージを記憶部１１Ａ等に記憶させておいてもよい。そして、情報提示部１０５は、記憶部１１Ａ等に記憶された文章の中から、評価結果取得部１０３が取得した関連情報の評価結果に応じたものを選択して、端末装置２等に表示させてもよい。
　（応用例）
　クエリの入力を受け付け、入力されたクエリに対する応答をブラウザや、アプリケーションソフトウェアの表示画面等に出力させるサービスが知られている。このようなサービスにおいて、上述の例示的実施形態に係る応答方法を適用することにより、関連情報の評価結果を反映させて応答の精度を高めることもできる。この場合、当該サービスを提供するための情報処理装置（例えばサーバ）が、情報処理装置１または情報処理装置１Ａということになる。
　また、入力されたクエリについて、それぞれ異なる複数の言語処理モデルにより応答を生成し、それらの応答を提示するサービスも知られている。このようなサービスにおいて、上述の例示的実施形態に係る応答方法を適用することにより、各応答に関連情報の評価結果を反映させてそれら応答の精度を高めることも可能である。以下、上述の例示的実施形態に係る応答方法を、医療・ヘルスケア関連サービスに適応した例を説明する。
　図１０は、各例示的実施形態に係る応答方法の応用例を示す図である。図１０には、クエリの入力受付および応答出力のために表示される画像ＩＭＧ２と、画像ＩＭＧ２に示される回答を生成するための関連情報として用いた医療データ１１２ｃとを示している。
　画像ＩＭＧ２は、情報提示部１０５により例えば端末装置２の表示部等に表示される。画像ＩＭＧ２は、例えば、ブラウザの表示画面に表示されてもよいし、入力したクエリに応答を返すアプリケーションソフトウェアの表示画面に表示されてもよい。
　医療データ１１２ｃは関連情報取得部１０２により取得される。例えば、関連情報取得部１０２は、ユーザが端末装置２を介して入力する医療データ１１２ｃを取得してもよいし、医療データを記憶している各種データベースにアクセスする等して医療データ１１２ｃを取得してもよい。
　画像ＩＭＧ２には、ユーザが入力したクエリＱ１が表示されていると共に、クエリＱ１について、第１の言語処理モデル１１１を用いて生成した回答Ａ１と、第２の言語処理モデル１１１を用いて生成した回答Ａ２とが表示されている。第１の言語処理モデル１１１と第２の言語処理モデル１１１は、それぞれ異なるモデルであるため、同じクエリＱ１および同じ関連情報に対して、回答Ａ１とＡ２はそれぞれ異なる内容になっている。ただし、何れの回答も上述の例示的実施形態に係る応答方法により生成されたものであるから、関連情報の品質を考慮しない場合と比べて回答内容の精度は高まっていると期待できる。
　このように２つの言語処理モデルのそれぞれに応答を生成させる場合、情報処理装置１Ａの制御部１０Ａには、第１の言語処理モデル１１１を用いてクエリに応答する第１の応答部１０４と、第２の言語処理モデル１１１を用いてクエリに応答する第２の応答部１０４とを設ければよい。第１の応答部１０４は、評価結果取得部１０３が取得する評価結果に基づいて、第１の言語処理モデル１１１を用いてクエリに応答する。また、第２の応答部１０４は、評価結果取得部１０３が取得する評価結果に基づいて、第２の言語処理モデル１１１を用いてクエリに応答する。そして、情報提示部１０５は、第１の応答部１０４による応答の内容と、第２の応答部１０４による応答の内容とをユーザに提示する。
　なお、第１および第２の言語処理モデル１１１のそれぞれについて、個別の評価結果取得部１０３を設けてもよい。この場合、使用する言語処理モデル１１１のそれぞれに適した評価結果を取得し、その評価結果に基づいて応答することができる。また、３つ以上の言語処理モデルを併用することも可能である。
　医療データ１１２ｃは、医療機関で収集された各種情報を示すデータである。具体的には、医療データ１１２ｃは、収集された医療機関を示す情報と、その医療機関で診察が行われた日にちと、患者の症状を示す情報と、医師等の診断結果を示す情報と、処方された医薬品を示す情報とが対応付けられたものである。医療データ１１２ｃは、患者の症状に応じた診断結果あるいは処方薬を問うクエリに対する妥当な回答を導くために有用なものであり、関連情報として好適である。
　ここで、上述のように、評価結果取得部１０３は、ユーザおよびクエリの内容の少なくとも何れかに応じた評価方法で関連情報を評価した評価結果を取得してもよい。例えば、図１０に示すクエリＱ１には「患者」との語が含まれている。この場合、評価結果取得部１０３は、医療関係の信頼できる情報源から得られた関連情報についての評価結果を肯定的なものとしてもよい。
　また、例えば、クエリＱ１を入力したユーザが、特定の診療科を受診したことが分かっている場合、評価結果取得部１０３は、当該診療科のデータを、他の診療科のデータよりも高評価としてもよい。例えば、クエリＱ１の一行目が「内科を受診した患者さんです。」という文であった場合、評価結果取得部１０３は、医療データ１１２ｃに含まれるデータのうち「内科」のデータを、他の診療科のデータよりも高評価としてもよい。これにより、処方薬として「薬剤ａ」を勧める回答を誘導することができる。
　〔変形例〕
　上述の実施形態で説明した各処理の実行主体は任意であり、上述の例に限られない。つまり、相互に通信可能な複数の装置（プロセッサということもできる）により、情報処理装置１および１Ａの機能を実現することができる。例えば、図２、図７、および図８の各フローチャートに記載されている各処理を複数のプロセッサに分担で実行させることもできる。つまり、上述の実施形態における応答方法の実行主体は、１つのプロセッサであってもよいし、複数のプロセッサであってもよい。
　〔ソフトウェアによる実現例〕
　情報処理装置１，１Ａの一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、情報処理装置１，１Ａは、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図１１に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを情報処理装置１，１Ａとして動作させるためのプログラム（応答プログラム）Ｐが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、情報処理装置１，１Ａの各機能が実現される。例えば、図３に示した端末装置２にプログラムＰを実行させることもできる。この場合、端末装置２単体でクエリの入力の受付から、クエリに対する応答内容の決定、および応答の出力まで行うことができる。
　プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、ＴＰＵ（Tensor Processing Unit）、量子プロセッサ、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。
　なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
　また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。
　〔付記事項１〕
　本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
　〔付記事項２〕
　上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
　（付記１）
　自然言語で記述されたクエリを処理する機械学習済みの言語処理モデルに当該クエリと共に入力される当該クエリの関連情報を評価した評価結果を取得する評価結果取得手段と、前記評価結果に基づき、前記言語処理モデルを用いて前記クエリに応答する応答手段と、を備える情報処理装置。
　（付記２）
　前記評価結果取得手段は、前記関連情報を所定の評価方法で評価して前記評価結果を取得する、付記１に記載の情報処理装置。
　（付記３）
　前記評価結果取得手段は、前記情報処理装置のユーザおよび前記クエリの内容の少なくとも何れかに基づいて前記関連情報を評価する、付記２に記載の情報処理装置。
　（付記４）
　前記応答手段は、前記関連情報に含まれる複数の要素のそれぞれに対する前記言語処理モデルの注目度を、前記評価結果に応じて調整する、付記１に記載の情報処理装置。
　（付記５）
　前記言語処理モデルは、クエリと当該クエリの関連情報を入力して得られる出力と、与えられた正しい出力との乖離度が低くなるように学習することにより生成されたものであり、
　前記応答手段は、評価結果がそれぞれ異なる関連情報を用いて学習された複数の前記言語処理モデルのうち、前記評価結果取得手段が取得した評価結果に応じた評価結果の関連情報を用いて学習された言語処理モデルを用いて前記クエリに応答する、付記１に記載の情報処理装置。
　（付記６）
　前記応答手段は、前記関連情報に含まれる複数の要素のうち、前記評価結果取得手段が取得した前記評価結果に応じて選択した要素を前記クエリと共に前記言語処理モデルに入力することにより得られる出力に基づき前記クエリに応答する、付記１に記載の情報処理装置。
　（付記７）
　前記言語処理モデルは、クエリと当該クエリの関連情報を入力して得られる出力と、与えられた正しい出力との乖離度が低くなるように学習することにより生成されたものであって、学習に用いた前記関連情報には当該関連情報の評価結果を示す情報が付与されており、前記応答手段は、前記クエリと、前記評価結果取得手段が取得した評価結果を示す情報を付与した、当該クエリの関連情報とを前記言語処理モデルに入力することにより、当該クエリに応答する、付記１に記載の情報処理装置。
　（付記８）
　少なくとも１つのプロセッサが、自然言語で記述されたクエリを処理する機械学習済みの言語処理モデルに当該クエリと共に入力される当該クエリの関連情報を評価した評価結果を取得することと、前記評価結果に基づき、前記言語処理モデルを用いて前記クエリに応答することと、を含む応答方法。
　（付記９）
　コンピュータを、自然言語で記述されたクエリを処理する機械学習済みの言語処理モデルに当該クエリと共に入力される当該クエリの関連情報を評価した評価結果を取得する評価結果取得手段、および前記評価結果に基づき、前記言語処理モデルを用いて前記クエリに応答する応答手段、として機能させる応答プログラム。
　〔付記事項３〕
　上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。
　（付記１）
　少なくとも１つのプロセッサを備え、前記少なくとも１つのプロセッサは、自然言語で記述されたクエリを処理する機械学習済みの言語処理モデルに当該クエリと共に入力される当該クエリの関連情報を評価した評価結果を取得する評価結果取得処理と、前記評価結果に基づき、前記言語処理モデルを用いて前記クエリに応答する応答処理と、を実行する情報処理装置。
　なお、前記情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記評価結果取得処理と、前記応答処理とを前記プロセッサに実行させるための応答プログラムが記憶されていてもよい。また、この応答プログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
　（付記２）
　前記プロセッサは、前記評価結果取得処理において、前記関連情報を所定の評価方法で評価して前記評価結果を取得する、付記１に記載の情報処理装置。
　（付記３）
　前記プロセッサは、前記評価結果取得処理においては、前記情報処理装置のユーザおよび前記クエリの内容の少なくとも何れかに基づいて前記関連情報を評価する、付記２に記載の情報処理装置。
　（付記４）
　前記プロセッサは、前記応答処理において、前記関連情報に含まれる複数の要素のそれぞれに対する前記言語処理モデルの注目度を、前記評価結果に応じて調整する、付記１に記載の情報処理装置。
　（付記５）
　前記言語処理モデルは、クエリと当該クエリの関連情報を入力して得られる出力と、与えられた正しい出力との乖離度が低くなるように学習することにより生成されたものであり、前記プロセッサは、前記応答処理において、評価結果がそれぞれ異なる関連情報を用いて学習された複数の前記言語処理モデルのうち、前記評価結果取得手段が取得した評価結果に応じた評価結果の関連情報を用いて学習された言語処理モデルを用いて前記クエリに応答する、付記１に記載の情報処理装置。
　（付記６）
　前記プロセッサは、前記応答処理において、前記関連情報に含まれる複数の要素のうち、前記評価結果取得手段が取得した前記評価結果に応じて選択した要素を前記クエリと共に前記言語処理モデルに入力することにより得られる出力に基づき前記クエリに応答する、付記１に記載の情報処理装置。
　（付記７）
　前記言語処理モデルは、クエリと当該クエリの関連情報を入力して得られる出力と、与えられた正しい出力との乖離度が低くなるように学習することにより生成されたものであって、学習に用いた前記関連情報には当該関連情報の評価結果を示す情報が付与されており、前記プロセッサは、前記応答処理において、前記クエリと、前記評価結果取得手段が取得した評価結果を示す情報を付与した、当該クエリの関連情報とを前記言語処理モデルに入力することにより、当該クエリに応答する、付記１に記載の情報処理装置。
　１　　　　情報処理装置
　１１　　　評価結果取得部（評価結果取得手段）
　１２　　　応答部（応答手段）
　１Ａ　　　情報処理装置
　１０３　　評価結果取得部（評価結果取得手段）
　１０４　　応答部（応答手段）
　１１１　　言語処理モデル

 

Claims (9)

  1. 　自然言語で記述されたクエリを処理する機械学習済みの言語処理モデルに当該クエリと共に入力される当該クエリの関連情報を評価した評価結果を取得する評価結果取得手段と、
    　前記評価結果に基づき、前記言語処理モデルを用いて前記クエリに応答する応答手段と、を備える情報処理装置。
  2. 　前記評価結果取得手段は、前記関連情報を所定の評価方法で評価して前記評価結果を取得する、請求項１に記載の情報処理装置。
  3. 　前記評価結果取得手段は、前記情報処理装置のユーザおよび前記クエリの内容の少なくとも何れかに基づいて前記関連情報を評価する、請求項２に記載の情報処理装置。
  4. 　前記応答手段は、前記関連情報に含まれる複数の要素のそれぞれに対する前記言語処理モデルの注目度を、前記評価結果に応じて最適化する、請求項１に記載の情報処理装置。
  5. 　前記言語処理モデルは、クエリと当該クエリの関連情報を入力して得られる出力と、与えられた正しい出力との乖離度が低くなるように学習することにより生成されたものであり、
    　前記応答手段は、評価結果がそれぞれ異なる関連情報を用いて学習された複数の前記言語処理モデルのうち、前記評価結果取得手段が取得した評価結果に応じた評価結果の関連情報を用いて学習された言語処理モデルを用いて前記クエリに応答する、請求項１に記載の情報処理装置。
  6. 　前記応答手段は、前記関連情報に含まれる複数の要素のうち、前記評価結果取得手段が取得した前記評価結果に応じて選択した要素を前記クエリと共に前記言語処理モデルに入力することにより得られる出力に基づき前記クエリに応答する、請求項１に記載の情報処理装置。
  7. 　前記言語処理モデルは、クエリと当該クエリの関連情報を入力して得られる出力と、与えられた正しい出力との乖離度が低くなるように学習することにより生成されたものであって、学習に用いた前記関連情報には当該関連情報の評価結果を示す情報が付与されており、
    　前記応答手段は、前記クエリと、前記評価結果取得手段が取得した評価結果を示す情報を付与した、当該クエリの関連情報とを前記言語処理モデルに入力することにより、当該クエリに応答する、請求項１に記載の情報処理装置。
  8. 　少なくとも１つのプロセッサが、
    　自然言語で記述されたクエリを処理する機械学習済みの言語処理モデルに当該クエリと共に入力される当該クエリの関連情報を評価した評価結果を取得することと、
    　前記評価結果に基づき、前記言語処理モデルを用いて前記クエリに応答することと、を含む応答方法。
  9. 　コンピュータを、
    　自然言語で記述されたクエリを処理する機械学習済みの言語処理モデルに当該クエリと共に入力される当該クエリの関連情報を評価した評価結果を取得する評価結果取得手段、および
    　前記評価結果に基づき、前記言語処理モデルを用いて前記クエリに応答する応答手段、として機能させる応答プログラム。

     
PCT/JP2023/021319 2023-06-08 2023-06-08 情報処理装置、応答方法、および応答プログラム Ceased WO2024252609A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2025525855A JPWO2024252609A1 (ja) 2023-06-08 2023-06-08
PCT/JP2023/021319 WO2024252609A1 (ja) 2023-06-08 2023-06-08 情報処理装置、応答方法、および応答プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/021319 WO2024252609A1 (ja) 2023-06-08 2023-06-08 情報処理装置、応答方法、および応答プログラム

Publications (1)

Publication Number Publication Date
WO2024252609A1 true WO2024252609A1 (ja) 2024-12-12

Family

ID=93795710

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/021319 Ceased WO2024252609A1 (ja) 2023-06-08 2023-06-08 情報処理装置、応答方法、および応答プログラム

Country Status (2)

Country Link
JP (1) JPWO2024252609A1 (ja)
WO (1) WO2024252609A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097561A (ja) * 2015-11-20 2017-06-01 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP7313757B1 (ja) * 2023-05-11 2023-07-25 Ｓｐｉｒａｌ．ＡＩ株式会社 文章生成装置および文章生成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097561A (ja) * 2015-11-20 2017-06-01 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP7313757B1 (ja) * 2023-05-11 2023-07-25 Ｓｐｉｒａｌ．ＡＩ株式会社 文章生成装置および文章生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HIROAKI MASAHIRO MIZUKAMI, HIROMI SUGIYAMA, TSUNEHIRO NARIMATSU, RYUICHIRO ARIMOTO, NTT HIGASHINAKA: "Examination of a response generation method using attention mechanism considering speaker information", THE 34TH ANNUAL CONFERENCE OF THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, 2020, 1 January 2020 (2020-01-01), XP093245996 *
SUGIYAMA HIROAKI, NARIMATSU HIROMI, MIZUKAMI MASAHIRO, ARIMOTO TSUNEHIRO, MEGURO TOYOMI, NAKAJIMA HIDEHARU: "Analysis of Subjective Evaluation for Fine-tuning Methods of Transformer encoder-decoder based Conversational Systems", THE 35TH ANNUAL CONFERENCE OF THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, 2021, 1 January 2021 (2021-01-01), XP093245998 *

Also Published As

Publication number Publication date
JPWO2024252609A1 (ja) 2024-12-12

Similar Documents

Publication Publication Date Title
US20250272534A1 (en) Advanced systems and methods for multimodal ai: generative multimodal large language and deep learning models with applications across diverse domains
US10241997B1 (en) Computing numeric representations of words in a high-dimensional space
JP2025527146A (ja) リアルタイム検索に基づく生成人工知能のためのシステムおよび方法
US20230121711A1 (en) Content augmentation with machine generated content to meet content gaps during interaction with target entities
WO2022051436A1 (en) Personalized learning system
CN110264330B (zh) 信用指标计算方法、装置、计算机可读存储介质
Wang et al. UEFN: Efficient uncertainty estimation fusion network for reliable multimodal sentiment analysis: S. Wang et al.
US11705122B2 (en) Interface-providing apparatus and interface-providing method
CN115510193B (zh) 查询结果向量化方法、查询结果确定方法及相关装置
JP2025094263A (ja) 対話生成方法、装置、電子デバイスおよび記憶媒体
US12573371B2 (en) Vocabulary selection for text processing tasks using power indices
CN121146922A (zh) 一种产品推荐方法、装置、计算机设备及存储介质
US20250384280A1 (en) Training data generation for large language model fine-tuning and/or benchmarking
US20250377864A1 (en) Language-model-based code requirement automation
JP2017097561A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN118760733A (zh) 一种文本处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
US20260105520A1 (en) Privacy-preserving exchange protocols for exchange discovery by artificial intelligence orchestrators
Ham et al. Extensions to hybrid code networks for FAIR dialog dataset
US20260010737A1 (en) Information processing apparatus, determination method, and non-transitory computer-readable storage medium
Giacalone et al. Enhancing Access to Justice via LLMs in the Field of Asset Division: CREA2 and the Digital Journey
CN121233924B (zh) 一种数智化电网关键影响因素的自动化分析方法及装置
WO2025126529A1 (ja) 情報処理装置、支援方法、及び支援プログラム
JP2026059437A (ja) 情報処理装置、更新方法、及び更新プログラム
US12585683B1 (en) Solving multilingual queries using vector database
CN120876096B (zh) 基于跨境规则的跨境方案生成方法、装置、设备及介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23940709

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025525855

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE