WO2022050060A1 - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
WO2022050060A1
WO2022050060A1 PCT/JP2021/030290 JP2021030290W WO2022050060A1 WO 2022050060 A1 WO2022050060 A1 WO 2022050060A1 JP 2021030290 W JP2021030290 W JP 2021030290W WO 2022050060 A1 WO2022050060 A1 WO 2022050060A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
answer
information processing
processing apparatus
information
Prior art date
Application number
PCT/JP2021/030290
Other languages
English (en)
French (fr)
Inventor
亮介 三谷
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/005,857 priority Critical patent/US20230273961A1/en
Publication of WO2022050060A1 publication Critical patent/WO2022050060A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems

Definitions

  • This disclosure relates to an information processing device and an information processing method.
  • a pre-learned judgment model for judging whether or not the polarity of the answer to the question sentence in the sentence is correct is used based on the input sentence and the question sentence.
  • a technique for determining the polarity of an answer to the question text is provided (for example, Patent Document 1). According to this technique, it is possible to answer a question that can be answered by polarity with high accuracy.
  • the information processing apparatus is a first answer corresponding to a question query indicating a question for the first content, and relates to the first answer generated based on the first content.
  • a reception unit that accepts answer information and a generation unit that generates a second answer corresponding to the question query based on a second content different from the first content when the answer information does not satisfy a predetermined condition. And.
  • Each of one or more embodiments (including examples and modifications) described below can be implemented independently. On the other hand, at least a part of the plurality of embodiments described below may be carried out in combination with at least a part of other embodiments as appropriate. These plurality of embodiments may contain novel features that differ from each other. Therefore, these plurality of embodiments may contribute to solving different purposes or problems, and may have different effects.
  • Embodiment 2-1 Configuration of Information Processing Device According to Embodiment 2-2. Outline of information processing according to the embodiment 2-3. Information processing procedure according to the embodiment 2-4. UI image example according to the embodiment 2-5. Effect of embodiment 3. Other Embodiment 3-1. Modification example 3-2. Other variants 3-3. Hardware configuration 4. Addendum
  • the question query when the answer to the user's question query cannot be found in the answer search for the content (first content) (for example, when the answer does not exist, the question query is executed.
  • the answer to the question query can be surely obtained. Achieve a high probability of correct answers.
  • a question query (Query) is input to a document (Document) which is an example of content by a user (User)
  • a question query is searched from the document. If the answer to the question query is not found in the document, the answer to the question query is searched for from other content (other media). The answer obtained by this search is provided to the user.
  • the other contents are new contents (hereinafter referred to as new contents) to be searched for the next answer.
  • Such content reading processing is realized by, for example, a content reading application (media reading application) that executes processing by a computer.
  • a content reading application media reading application
  • the content searches for an answer to the question query, and if no answer is obtained, another content searches for an answer.
  • a content reading application is an application that gives a question query written in a natural language about the content to a computer-readable content and points out an answer to the question query.
  • FIG. 2 is a diagram showing a configuration example of the information processing apparatus according to the embodiment of the present disclosure.
  • the information processing device 100 shown in FIG. 2 is a device that executes content reading processing as information processing according to an embodiment.
  • the information processing device 100 is a terminal device used by the user.
  • various devices used by users such as smartphones, tablet terminals, notebook PCs (Personal Computers), desktop PCs, mobile phones, PDAs (Personal Digital Assistants), and the like are used.
  • the information processing device 100 is not limited to the terminal device used by the user, and may be any device.
  • the information processing device that performs content reading processing and the terminal device used by the user may be separate (see a modification described later).
  • the information processing device and the terminal device are separate bodies, the information processing device functions as, for example, a server.
  • Japanese is described as an example, but the information processing executed by the information processing apparatus 100 is not limited to Japanese, and various languages such as English, French, and German may be targeted.
  • the content reading process may target content in a language related to a question query or a language corresponding to the translation language of that language. That is, the information processing apparatus 100 may perform processing on any language as long as the content reading processing can be executed.
  • the information processing apparatus 100 includes a communication unit 11, an input unit 12, a display unit 13, a storage unit 14, and a control unit 15.
  • the information processing apparatus 100 has an input unit 12 (for example, a keyboard, a mouse, etc.) that receives various operations from a user or the like, and a display unit 13 (for example, a liquid crystal display, etc.) for displaying various information.
  • an input unit 12 for example, a keyboard, a mouse, etc.
  • a display unit 13 for example, a liquid crystal display, etc.
  • the communication unit 11 is realized by, for example, a NIC (Network Interface Card), a communication circuit, or the like.
  • the communication unit 11 is connected to the first communication network N1 and the second communication network N2 by wire or wirelessly, and connects with other devices via the first communication network N1 and the second communication network N2. Send and receive information between.
  • the first communication network N1 for example, a LAN (local network), an in-house network, or the like is used.
  • the second communication network N2 is a communication network having a lower confidentiality than the first communication network N1.
  • a WAN World Area Network
  • the Internet an external network, or the like is used.
  • the Internet is used as the second communication network N2.
  • the input unit 12 accepts various operations such as input operations from the user.
  • the input unit 12 is, for example, a keyboard, a mouse, a touch panel, or the like provided in the information processing apparatus 100, and receives an input operation from the user. Further, the input unit 12 may accept an input operation by the user's voice. Examples of the input operation include input operations such as a question query and content input by the user.
  • the display unit 13 displays various information.
  • the display unit 13 is a display device such as a liquid crystal display or an organic EL (ElectroLuminescence) display, and displays various information such as answers generated by content reading processing.
  • the information processing device 100 is not limited to the display unit 13, and may have a function (configuration) for outputting information, for example, a function for outputting information as voice.
  • the information processing apparatus 100 may have an audio output unit such as a speaker that outputs audio.
  • the storage unit 14 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk.
  • the storage unit 14 stores, for example, various information such as information necessary for the content reading process and answers generated by the content reading process.
  • the control unit 15 has, for example, a computer such as a CPU (Central Processing Unit) or an MPU (Micro Processing Unit).
  • the control unit 15 functions as a controller.
  • the control unit 15 may be realized by executing a program (for example, an information processing program) stored in the information processing apparatus 100 by a computer using a RAM or the like as a work area.
  • the control unit 15 may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • the control unit 15 has an embedding unit 151, an answer search unit 152, a generation unit 153, a reception unit 154, a content search unit 155, and a provision unit 156. Each of these parts 151-156 is realized, for example, by hardware and / or software.
  • the control unit 15 realizes or executes the functions and operations of information processing described below.
  • the internal configuration of the control unit 15 is not limited to the configuration shown in FIG. 2, and may be any other configuration as long as it is configured to perform information processing described later.
  • the control unit 15 acquires and uses a learning model (for example, a content reading comprehension model) from the storage unit 14 or an external device that provides the learning model, if necessary.
  • the information processing described below is appropriately realized based on various learning models.
  • the embedding unit 151 converts the text included in the question query into an embedded expression (numerical vector). For example, the embedding unit 151 converts a question query into a fixed-length question query vector.
  • a natural language process for converting the text into a vector expression is used, and for example, BERT (Bidirectional Encoder Representations from Transformers), Word2Vec, and the like are used.
  • the answer search unit 152 searches the content for a part corresponding to the answer to the question query. For example, the answer search unit 152 searches for the answer candidate block from the content. In the search for the answer candidate block, the answer search unit 152 divides the content input to the information processing apparatus 100 into block units to some extent (to the extent that the expected answer is included, for example, sentences, clauses, paragraphs). , Converts each block into a vector representation corresponding to the block, that is, a block vector. Further, the answer search unit 152 solves the relevance of the block vector to the question query vector as a ranking problem, and searches for the answer candidate block having the highest rank.
  • the text is divided into paragraphs or large sections.
  • the content to be searched is a moving image, it is divided into each scene, if it is music, it is divided into each melody, and if it is an audio file, it is divided into each audio section.
  • Each block (each section) is expressed as a feature vector based on the text such as subtitles, lyrics, and transcription included in the content.
  • the generation unit 153 identifies a suitable part as an answer to a question query, that is, an answer (answer candidate) from within the answer candidate block. For example, if the part corresponding to the answer candidate block is text, the generation unit 153 specifies a section pointing to the answer part, and if the part corresponding to the answer candidate block is a moving image or waveform corresponding to the text to be searched. , Specify the time interval that points to the answer point. Then, the generation unit 153 edits the specified answer as a response to the user in an appropriate form, and generates an answer for presentation to the user. Further, the generation unit 153 calculates the certainty of the answer. If there are multiple answers, the certainty level for each answer is calculated.
  • the reception unit 154 receives the response information regarding the response generated by the generation unit 153. When the response information satisfies a predetermined condition, the reception unit 154 gives an instruction to output the response information to the provision unit 156. On the other hand, when the response information does not satisfy a predetermined condition, the reception unit 154 instructs the content search unit 155 to search for new content in order to perform content reading processing for new content (other content). Further, the reception unit 154 instructs the content search unit 155 to search for new content in response to the user's input operation to the input unit 12.
  • the reception unit 154 does not satisfy the predetermined condition that the answer information includes the answer, so that the content search unit 155 searches for new content.
  • the answer information is information indicating the answer and the certainty of the answer, and the certainty of the answer is smaller than the predetermined threshold value, the certainty of the answer included in the answer information is equal to or higher than the predetermined threshold. Since the predetermined condition is not satisfied, the content search unit 155 is instructed to search for new content.
  • the content search unit 155 searches for new content from various databases (DB) via the second communication network N2 in response to an instruction from the reception unit 154.
  • the content search unit 155 uses the question query vector to search for new content related to the question query. For example, the content search unit 155 solves the degree of relevance of the content to the question query vector as a ranking problem from the database having various information, and searches for the new content having the highest ranking.
  • the content search unit 155 reflects the tendency of the old content, which is the first answer search target, in the ranking by simultaneously using not only the question query vector but also the content vector (content vector) input by the user. You may do so.
  • the providing unit 156 outputs (provides) the answer information regarding the answer generated by the generating unit 153 to the display unit 13 in response to the output instruction (providing instruction) of the receiving unit 154.
  • the answer information may include not only the answer but also the certainty of the answer.
  • the conviction level is also displayed by the display unit 13 together with the answer. As a result, the user can grasp the conviction as well as the answer.
  • the providing unit 156 outputs a user interface image (UI image) related to the content reading comprehension process to the display unit 13. Examples of the UI image include a UI image for searching, a UI image for answering, a UI image for inputting content to be searched, and the like. Each of these UI images will be described later.
  • FIG. 3 is a diagram showing an outline of information processing according to the embodiment. Specifically, FIG. 3 is a diagram showing an outline of content reading comprehension processing as information processing according to an embodiment. In the example of FIG. 3, a document (input document) is shown as an example of the content to be input.
  • the input query (input question query) is converted into an embedded expression (numerical vector) and used as an input vector (question query vector) (step S1). At this time, the input query is converted into a fixed-length input vector by the embedded unit 151.
  • the answer candidate block (for example, the answer candidate paragraph) is searched from the input document (input document) based on the input vector (step S2).
  • the input document is divided into block units (for example, paragraph units) by the answer search unit 152, and a block vector (for example, paragraph vector) is generated for each block.
  • the relevance of the block vector to the input vector is solved as a ranking problem, and the answer candidate block with the highest rank is selected from each block.
  • question queries include, for example, "What is the height of Mt. Fuji?", “What is the director of this movie?”, “What is the name of the protagonist?", "Who is the leading actor?”
  • examples of the document include a web page, a dissertation, an in-house document, and the like.
  • voice voice waveform
  • video knowledge, or the like may be used as the input content (input content).
  • Content is information that can be processed by a computer.
  • the answer word sequence is identified (step S3).
  • the generation unit 153 identifies a part suitable as an answer to the question query, that is, an answer (answer candidate) for the target answer candidate block.
  • step S4 the answer is generated (step S4).
  • the specified answer is edited by the generation unit 153 into an appropriate form as a response to the user, and an answer for user presentation is generated. At this time, the certainty of the answer is also calculated.
  • the answer is confirmed (step S5).
  • the reception unit 154 determines whether or not the certainty of the answer is smaller than the threshold value, and if the certainty of the answer is not smaller than the threshold value, the answer is fed back to the user by the providing unit 156.
  • the providing unit 156 transmits the answer information including the answer to the display unit 13, and the display unit 13 displays the answer based on the answer information.
  • the providing unit 156 feeds back to the user that the answer could not be obtained, and the search is performed again. If the user is not satisfied with the feedback, the user inputs an instruction to perform a re-search by the user's input operation to the input unit 12, and the re-search is performed.
  • the related content is searched first (step S6).
  • a predetermined number of new contents for example, dozens or dozens
  • Candidates new input content candidates
  • the content search unit 155 searched by the content search unit 155.
  • the multimedia index DB is a database containing search indexes of various contents (media).
  • video with subtitles, audio transcription, knowledge, and a set of documents are shown as various databases corresponding to each search index.
  • Content including such content includes, for example, documents (eg, web pages, books, minutes, in-house documents, etc.), videos with / without subtitles, audio with / without transcription, songs with / without lyrics. , There are images with / without explanations. Vectors representing each content are assigned to these contents and stored in the database.
  • the vector assignment method after acquiring the vector for each file using a method of converting multiple sentences such as Doc2vec into a vector expression, when a question query is given, the degree of relevance to the vector of the corresponding file.
  • a function is used that increases.
  • content (media) to which text is not attached data to which text is added in advance is used as teacher data, and a neural network that associates text with content is learned, and text is generated from the content.
  • a learning model that can be used is used.
  • new content (new search target content) is selected from each new content candidate (step S7).
  • each entry is made as a ranking problem for the question query vector from a predetermined number of new content candidates searched from various databases based on the multi-content index DB, and based on the result.
  • the new content is determined by the content search unit 155. For example, the content with the highest ranking is determined as the new content.
  • step S2 the process returns to step S2, and the process for the new content is executed as in steps S2 to S5. That is, after the new content is selected, the process recurses to the search for the answer candidate block for the new content (step S2).
  • FIG. 4 is a flowchart showing an information processing procedure according to the embodiment of the present disclosure.
  • the control unit 15 of the information processing apparatus 100 determines whether or not the question query and the content have been input (step S11), and waits for the input (NO in step S11).
  • the control unit 15 converts the question query into a fixed-length vector (step S12).
  • the control unit 15 divides the content into block units and converts the content into a vector representation corresponding to the block (step S13).
  • the content is a document such as an article
  • the document is divided into paragraphs, for example, and converted into a vector representation corresponding to the paragraph.
  • the control unit 15 solves the relevance of the block vector to the question query vector as a ranking problem, and searches for a target answer candidate block (step S14).
  • the control unit 15 estimates a word candidate (answer candidate) to be an answer from the answer candidate block having the highest rank, that is, the answer candidate block most related to the question query (step S15).
  • the control unit 15 obtains the estimation result and the certainty of the word candidate (step S16).
  • the control unit 15 uses that one word candidate as an answer, and when there are a plurality of word candidates, the control unit 15 obtains the certainty of each word candidate and answers the word candidate with the highest certainty. And.
  • the control unit 15 determines whether or not the certainty of the answer is smaller than the threshold value (step S17).
  • the control unit 15 determines that the certainty of the answer is smaller than the threshold value (YES in step S17)
  • the control unit 15 presents to the user that the answer could not be obtained from the content input by the user (step S18).
  • the control unit 15 transmits the response information indicating that the response could not be obtained to the display unit 13.
  • the display unit 13 displays words, images, and the like indicating that no answer has been obtained, based on the received answer information.
  • the control unit 15 searches for other content (new content) using the question query vector (step S19). For example, the control unit 15 searches for other contents from a database prepared in advance. The control unit 15 selects new content that is highly related to the question query vector (step S20). Find new content by solving the content relevance to the question query vector as a ranking problem.
  • the control unit 15 asks the user for new content to be used for the re-search (step S21). For example, the user is asked whether to input the new content or the new content acquired in the above-mentioned step S20 for the re-search. As an example, a UI image that enables selection thereof is transmitted from the providing unit 156 to the display unit 13 and displayed by the display unit 13. The user operates the input unit 12 to directly input the new content, or issues an instruction to input the new content acquired in the above-mentioned step S20 and inputs the new content.
  • the control unit 15 determines whether or not new content has been input (step S22), and waits for the input of new content (NO in step S22). When the control unit 15 determines that new content has been input (YES in step S22), the control unit 15 returns the process to step S13. In step S13 and subsequent steps, the same processing as described above is executed for the new content.
  • control unit 15 determines that the certainty of the answer is not smaller than the threshold value (NO in step S17)
  • the control unit 15 presents the answer to the user (step S23).
  • the control unit 15 transmits the answer information including the answer, the degree of certainty, and the like to the display unit 13, and the display unit 13 displays the answer based on the answer information.
  • the display unit 13 may display the certainty of the answer together with the answer.
  • the control unit 15 determines whether or not the answer is OK (step S24). For example, the user operates the input unit 12 to input whether or not the answer is OK (for example, satisfied). When the control unit 15 determines that the answer is not OK (NO in step S24), the process proceeds to step S19. In step S19 and subsequent steps, the same processing as described above is executed. On the other hand, when the control unit 15 determines that the answer is OK (YES in step S24), the control unit 15 ends the process.
  • FIG. 5 is a diagram showing a first example of the search UI image according to the embodiment.
  • FIG. 6 is a diagram showing a second example of the search UI image according to the embodiment.
  • FIG. 7 is a diagram showing a first example of the response UI image according to the embodiment.
  • FIG. 8 is a diagram showing a second example of the response UI image according to the embodiment.
  • FIG. 9 is a diagram showing an example of a selection UI image according to the embodiment.
  • a search UI image G1 for inputting a question query is displayed.
  • the URL Uniform Resource Locator
  • the web page document for example, encyclopedia, article, etc.
  • W1 the web page document
  • the question input field (question input area) of the search UI image G1 a question query is input according to the user's input operation to the input unit 12.
  • the sentence "How many subsidiaries of AA?" Is input.
  • this question query is input, the above-mentioned content reading process is executed and the answer W1a is shown.
  • a marker is drawn at the place of the answer W1a in the web page document W1 to emphasize the answer W1a.
  • a search UI image G2 for inputting a question query and contents is displayed.
  • a question query is input according to the user's input operation to the input unit 12.
  • the sentence "What is the release date of BB4?" Is input.
  • a path or a file (path / to / file) is specified by a user's input operation to the input unit 12.
  • the upload button (upload) is pressed by the user's input operation, and the content based on the specified path or file is input.
  • the search button (retrieve) is pressed by the input operation of the user, the above-mentioned content reading process is executed.
  • the answer UI image G3 for presenting the answer is displayed.
  • the answer output area of the answer UI image G3 for example, an answer obtained by performing a content reading process based on the question query and the content input to the search UI image G2 shown in FIG. 6 is shown.
  • a plurality of answers (answer candidates) are shown arranged in descending order of certainty (score).
  • the answer with the highest certainty is treated as the most suitable answer for the question query, but as in the example of FIG. 7, information on both the answers and their certainty may be provided to the user.
  • the question input area of the answer UI image G3 the question query input to the search UI image G2 shown in FIG. 6 is shown.
  • the sentence "What is the release date of BB4?" Is shown.
  • the answer UI image G4 for presenting the answer is displayed.
  • the answer output area of the answer UI image G4 one answer is shown, and further, the basis information W2 that is the basis of the answer is shown.
  • "CCEE” is shown as the answer
  • "CCDD image” and "CCEE profile” of the daughter of CCDD are shown as the basis information W2.
  • a question query is shown in the question input area of the answer UI image G4.
  • the sentence "What is the daughter of CCDD?" Is shown.
  • the basis information W2 for example, various information such as knowledge graph information may be used.
  • the search UI image G2 (see FIG. 6) and the selection UI image G5 for selecting new content are displayed.
  • the selection output area of the selection UI image G5 new contents are displayed arranged in descending order of certainty (score).
  • one new content is selected from the new contents according to the user's input operation to the input unit 12.
  • a question query is shown in the question input area of the search UI image G2.
  • the sentence "What is the release date of BB4?" Is shown.
  • Each UI image G1 to G5 as described above is generated by the providing unit 156, transmitted to the display unit 13, and displayed by the display unit 13.
  • the user can visually recognize the answer information regarding the answer, the degree of certainty, and the like, so that various information related to the answer information can be easily grasped.
  • the user can grasp the certainty of the answer in addition to the answer
  • the fourth example it becomes possible to grasp the basis of the answer in addition to the answer. Therefore, the convenience of the user can be improved.
  • the user can perform an input operation for each UI image G1 to G5, and the input operation can be facilitated, so that the convenience of the user can be improved.
  • the information processing apparatus 100 is a first answer corresponding to a question query indicating a question for the first content, and receives answer information regarding the first answer generated based on the first content.
  • a reception unit 154 and a generation unit 153 that generates a second answer corresponding to a question query based on a second content (new content) different from the first content when the answer information does not meet a predetermined condition.
  • the question query is answered based on the second content. Since the second answer is generated, it is possible to surely obtain the answer to the question query, and it is possible to increase the probability of correct answer.
  • the generation unit 153 when the response information indicates that the first answer cannot be obtained, the generation unit 153 generates the second answer based on the second content. As a result, if the first answer cannot be obtained, the second answer to the question query is generated based on the second content, so that the answer to the question query can be surely obtained.
  • the reception unit 154 receives the first answer and the certainty of the first answer as the answer information
  • the generation unit 153 receives the second content when the certainty of the first answer is smaller than a predetermined threshold value. Generates a second answer based on. As a result, if the first answer is inaccurate, the second answer to the question query is generated based on the second content, so that an accurate answer to the question query can be surely obtained.
  • the information processing apparatus 100 includes a content search unit 155 that selects a second content based on a question query, and a generation unit 153 generates a second answer based on the selected second content.
  • a content search unit 155 that selects a second content based on a question query
  • a generation unit 153 generates a second answer based on the selected second content.
  • the content search unit 155 selects the second content based on the first content in addition to the question query.
  • the question query and the second content related to the first content are selected and used to generate the second answer, so that the answer to the question query can be obtained more reliably.
  • the information processing apparatus 100 includes a providing unit 156 that provides a second answer.
  • the provided device can perform various processes using the second answer.
  • the display unit 13 can display the second answer, so that the user can grasp the second answer.
  • the device to be provided may be an audio output unit that outputs the second answer by voice, a printing unit that prints and outputs the second answer, and the like, and is not particularly limited (the following devices to be provided are also available). The same is true).
  • the providing unit 156 provides a position indicating the second answer and the second answer in the second content.
  • the provided device can perform various processes using the positions of the second answer and the second answer. For example, when the device to be provided is the display unit 13, the display unit 13 can display the second answer together with the position indicating the second answer in the second content, so that the user can display the second answer. It is possible to grasp the position indicating the second answer in the second content together with the second answer.
  • the provision unit 156 provides the second answer and the certainty of the second answer.
  • the provided device can perform various processes using the second answer and the certainty of the second answer.
  • the display unit 13 can display the second answer together with the certainty of the second answer, so that the user can display the second answer together with the second answer. It is possible to grasp the certainty of the answer of 2.
  • the providing unit 156 provides the plurality of second answers side by side in the order of the certainty of the second answer.
  • the display unit 13 can display each second answer in the order of the certainty of the second answer, so that the user can display each second answer. It is possible to grasp the certainty of each second answer together with the second answer.
  • the generation unit 153 acquires the basis for the second answer from the second content, and the providing unit 156 provides the basis for the second answer and the second answer.
  • the device to be provided can perform various processes using the second answer and the grounds for the second answer.
  • the display unit 13 can display the second answer together with the basis of the second answer, so that the user can display the second answer together with the second answer. You can understand the basis of the answer.
  • the information processing apparatus 100 includes a providing unit 156 that provides UI images G1 to G5 for designating the second content.
  • the provided device can perform various processes using the UI images G1 to G5.
  • the display unit 13 can display the UI images G1 to G5, so that the user can grasp and operate the UI images G1 to G5. It is possible to improve the convenience of the user.
  • the providing unit 156 provides the plurality of second contents side by side in the order of the certainty of the second contents.
  • the display unit 13 can display each second content in the order of the certainty of the second content, so that the user can display each second content. It is possible to grasp the certainty of each second content together with the second content.
  • the second content is a content having a larger amount of information than the first content.
  • the second answer is generated based on the second content, which has a larger amount of information than the first content, so that the answer to the question query can be obtained more reliably. For example, in a new content search, the amount of information of the content (first content) input by the user is requested, and the new content (second content) having an amount of information larger than the amount of information is searched from the database.
  • the second content is content with lower confidentiality than the first content (for example, confidential content).
  • the second content is content with lower confidentiality than the first content (for example, confidential content).
  • the first content is content obtained from the first communication network (for example, LAN or in-house network) N1
  • the second content is the second communication having lower confidentiality than the first communication network N1.
  • a network for example, the Internet or an external network
  • Content can be reliably obtained, and the answer to the question query can be obtained more reliably.
  • the first content is a document, video, audio, song or image
  • the second content is a document, video, audio, song or image.
  • the type of the first content and the type of the second content are different.
  • the first content and the second content for example, it is possible to use a combination of a plurality of different types of content depending on the field related to the question query.
  • the first content is a document
  • the second content is a video, audio, song or image.
  • the first content and the second content for example, it is possible to use a combination of a plurality of different types of content depending on the field related to the question query.
  • the information processing device 100 which is a terminal device used by the user, shows an example of performing content reading comprehension processing, but the information processing device performing the content reading comprehension processing is different from the terminal device used by the user. It may be a body.
  • FIG. 10 is a diagram showing a configuration example of an information processing system according to a modified example.
  • the information processing system 1 includes a terminal device 10 and an information processing device 101.
  • the terminal device 10 and the information processing device 101 are connected so as to be communicable by wire or wirelessly via a communication network N (for example, a first communication network N1 or a second communication network N2).
  • the information processing system 1 may include a plurality of terminal devices 10 and a plurality of information processing devices 101.
  • the information processing device 101 communicates with the terminal device 10 via the communication network N, and executes the above-mentioned content reading process for the question query, the content, and the like provided by the terminal device 10.
  • the terminal device 10 is an information processing device used by the user.
  • the terminal device 10 is a client terminal.
  • the terminal device 10 is realized by, for example, a notebook PC (Personal Computer), a desktop PC, a smartphone, a tablet terminal, a mobile phone, a PDA (Personal Digital Assistant), or the like.
  • the terminal device 10 may be any terminal device as long as it can display the information provided by the information processing device 101.
  • the terminal device 10 accepts an input operation by the user.
  • the terminal device 10 receives various information from the information processing device 101 and displays the received various information on the screen.
  • the terminal device 10 receives the answer information provided by the information processing device 101 and information such as various UI images G1 to G5 and displays them on the screen of the display. Further, the terminal device 10 transmits information such as a question query and contents to the information processing device 101.
  • the information processing device 101 is the same as the information processing device 100 (content reading) except that the information processing device 101 is different from the information processing device 100 in that it provides information to the terminal device 10 and acquires information from the terminal device 10. Processing) is realized.
  • the information processing device 101 is a server that provides a service to the terminal device 10 which is a client terminal. For example, the information processing device 101 executes a content reading process or the like based on information such as a question query or content provided by the terminal device 10, and transmits the execution result (for example, answer information) to the terminal device 10. Further, the information processing apparatus 101 transmits various UI images G1 to G5 to the terminal apparatus 10 as needed.
  • each component of each device shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of them may be functionally or physically distributed / physically in any unit according to various loads and usage conditions. Can be integrated and configured.
  • FIG. 11 is a diagram showing a configuration example of hardware that realizes the functions of information devices such as the information processing devices 100 and 101 according to each embodiment.
  • the computer 500 has a CPU 510, a RAM 520, a ROM (Read Only Memory) 530, an HDD (Hard Disk Drive) 540, a communication interface 550, and an input / output interface 560. Each part of the computer 500 is connected by a bus 570.
  • the CPU 510 operates based on the program stored in the ROM 530 or the HDD 540, and controls each part. For example, the CPU 510 expands the program stored in the ROM 530 or the HDD 540 into the RAM 520, and executes processing corresponding to various programs.
  • the ROM 530 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 510 when the computer 500 is started, a program depending on the hardware of the computer 500, and the like.
  • BIOS Basic Input Output System
  • the HDD 540 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 510 and data used by the program.
  • the HDD 540 is a recording medium for recording an information processing program according to the present disclosure, which is an example of program data 541.
  • the communication interface 550 is an interface for the computer 500 to connect to an external network 580 (for example, the Internet).
  • an external network 580 for example, the Internet.
  • the CPU 510 receives data from another device or transmits data generated by the CPU 510 to another device via the communication interface 550.
  • the input / output interface 560 is an interface for connecting the input / output device 590 and the computer 500.
  • the CPU 510 receives data from an input device such as a keyboard or mouse via the input / output interface 560. Further, the CPU 510 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 560.
  • the input / output interface 560 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • media include optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable Disk), magneto-optical recording media such as MO (Magneto-Optical disk), tape media, magnetic recording media, or semiconductors. Memory or the like is used.
  • the CPU 510 of the computer 500 realizes the functions of the control unit 15 and the like by executing the information processing program loaded on the RAM 520. do.
  • the information processing program and the data in the storage unit 14 according to the present disclosure are stored in the HDD 540.
  • the CPU 510 reads the program data 541 from the HDD 540 and executes the program, but as another example, the CPU 510 may acquire these programs from another device via the external network 580.
  • the present technology can also have the following configurations.
  • a reception unit that receives answer information regarding the first answer, which is a first answer corresponding to a question query indicating a question for the first content and is generated based on the first content.
  • a generation unit that generates a second answer corresponding to the question query based on the second content different from the first content, and a generation unit.
  • Information processing device equipped with (2) The generator is If the answer information indicates that the first answer cannot be obtained, the second answer is generated based on the second content.
  • the information processing apparatus according to (1) above.
  • the reception department As the answer information, the certainty of the first answer and the first answer is accepted.
  • the generator is If the conviction is less than a predetermined threshold, the second answer is generated based on the second content.
  • the generator generates the second answer based on the selected second content.
  • the content search unit In addition to the question query, select the second content based on the first content.
  • (6) Further provided with a providing unit that provides the second answer.
  • the providing part Provided is a position indicating the second answer and the second answer in the second content.
  • the providing part Provides confidence in the second answer and the second answer.
  • the providing part When a plurality of the second answers exist, the plurality of the second answers are provided side by side in the order of the certainty of the second answer.
  • the generator is Obtaining the basis for the second answer from the second content, The providing part Provide the basis for the second answer and the second answer.
  • the providing part When a plurality of the second contents exist, the plurality of the second contents are provided side by side in the order of the certainty of the second contents.
  • the second content is content having a larger amount of information than the first content.
  • the second content is less confidential than the first content.
  • the first content is content obtained from the first communication network.
  • the second content is content obtained from a second communication network having a lower confidentiality than the first communication network.
  • the first content is a document, video, audio, song or image.
  • the second content is a document, video, audio, song or image.
  • the information processing apparatus according to any one of (1) to (15). (17)
  • the type of the first content and the type of the second content are different.
  • the information processing apparatus according to any one of (1) to (15).
  • the first content is a document and The second content is video, audio, song or image.
  • (19) The first answer corresponding to the question query indicating the question for the first content, and the answer information regarding the first answer generated based on the first content is accepted. If the answer information does not meet a predetermined condition, a second answer corresponding to the question query is generated based on the second content different from the first content.
  • Information processing method is described in accordance with information from the first content.
  • Communication unit 12 Input unit 13
  • Display unit 14 Storage unit 15
  • Control unit 100 Information processing unit 101
  • Information processing device 151 Embedded unit 152 Answer search unit 153
  • Generation unit 154 Reception unit 155
  • Content search unit 156 Providing unit G5 Selection UI image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本開示に係る一形態の情報処理装置（１００）は、第１のコンテンツに対する質問を示す質問クエリに対応する第１の回答であって、前記第１のコンテンツに基づいて生成される前記第１の回答に関する回答情報を受け付ける受付部（１５４）と、前記回答情報が所定の条件を満たさない場合、前記第１のコンテンツと異なる第２のコンテンツに基づいて、前記質問クエリに対応する第２の回答を生成する生成部（１５３）と、を備える。

Description

情報処理装置及び情報処理方法
　本開示は、情報処理装置及び情報処理方法に関する。
　情報処理装置の一例である回答学習装置において、入力された文章及び質問文に基づき、その文章における質問文に対する回答の極性が正か否かを判断するための予め学習された判断モデルを用い、その質問文に対する回答の極性を判断する技術が提供されている（例えば、特許文献１）。この技術によれば、極性で回答することができる質問に対し、精度よく極性で回答することができる。
特開２０２０－６１１７３号公報
　しかしながら、従来技術において、質問文等の質問クエリに対する回答を極性で行うことは可能であるが、回答が存在しなかった場合について考慮されていない。例えば、ある文書に回答が見つけられなかった場合、そのこと自体を検出することができれば、研究として広く行われているベンチマークのスコアを高めることが可能である。これらの場合においては、ベンチマークスコアを高めることが目的のうちの大部分を占めてしまっており、回答が見つけられなかった場合にもたらされるユーザのデメリットについて考慮されていない。このため、回答が見つけられなかった質問クエリに対する回答を確実に得ることは難しく、正答確率（＝正答数／問題数）は低下する。
　そこで、本開示では、質問クエリに対する回答の正答確率を高くすることができる情報処理装置及び情報処理方法を提案する。
　本開示の実施形態に係る情報処理装置は、第１のコンテンツに対する質問を示す質問クエリに対応する第１の回答であって、前記第１のコンテンツに基づいて生成される前記第１の回答に関する回答情報を受け付ける受付部と、前記回答情報が所定の条件を満たさない場合、前記第１のコンテンツと異なる第２のコンテンツに基づいて、前記質問クエリに対応する第２の回答を生成する生成部と、を備える。
本開示の実施形態に係る情報処理の一例を示す図である。 本開示の実施形態に係る情報処理装置の構成例を示す図である。 本開示の実施形態に係る情報処理の概要を示す図である。 本開示の実施形態に係る情報処理の手順を示すフローチャートである。 本開示の実施形態に係る検索ＵＩ（ユーザインタフェース）画像の第１の例を示す図である。 本開示の実施形態に係る検索ＵＩ画像の第２の例を示す図である。 本開示の実施形態に係る回答ＵＩ画像の第１の例を示す図である。 本開示の実施形態に係る回答ＵＩ画像の第２の例を示す図である。 本開示の実施形態に係る選択ＵＩ画像の一例を示す図である。 本開示の他の実施形態に係る情報処理システムの構成例を示す図である。 本開示の他の実施形態に係るハードウェアの構成例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本開示にかかる情報処理装置及び情報処理方法が限定されるものではない。また、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　以下に説明される１又は複数の実施形態（実施例、変形例を含む）は、各々が独立に実施されることが可能である。一方で、以下に説明される複数の実施形態は少なくとも一部が他の実施形態の少なくとも一部と適宜組み合わせて実施されてもよい。これら複数の実施形態は、互いに異なる新規な特徴を含み得る。したがって、これら複数の実施形態は、互いに異なる目的又は課題を解決することに寄与し得、互いに異なる効果を奏し得る。
　以下に示す項目順序に従って本開示を説明する。
　１．はじめに
　２．実施形態
　２－１．実施形態に係る情報処理装置の構成
　２－２．実施形態に係る情報処理の概要
　２－３．実施形態に係る情報処理の手順
　２－４．実施形態に係るＵＩ画像例
　２－５．実施形態に係る効果
　３．他の実施形態
　３－１．変形例
　３－２．他の変形例
　３－３．ハードウェア構成
　４．付記
＜１．はじめに＞
　一般的に、読解のための技術開発において、コンテンツ（メディアとも言われる）の一例である文書に回答が含まれていない場合には、そのこと自体を検出することができれば、ベンチマークスコアを高めることが可能である。このため、検索対象のコンテンツに回答が見つけられなかった場合の挙動については考慮が足りていない。一方で、実際にユーザへ読解サービスを提供する際には、ユーザの質問クエリ（クエリ）に対し、何も回答が返せないという状態は問題であり、サービス利用率の低下、また、ユーザ離れの原因の一つとなる。
　そこで、本開示の実施形態では、コンテンツ（第１のコンテンツ）に対する回答検索において、ユーザの質問クエリに対しての回答を見つけられなかった場合（例えば、回答が存在しなかった場合、質問クエリが難解で理解できなかった場合等）、ユーザへの返答を行えない状況を回避するため、他のコンテンツ（第２のコンテンツ）に対する回答検索を行うことで、質問クエリに対する回答を確実に得て、正答確率を高くすることを実現する。
　例えば、図１に示すように、ユーザ（Ｕｓｅｒ）により質問クエリ（Ｑｕｅｒｙ）がコンテンツの一例である文書（Ｄｏｃｕｍｅｎｔ）に入力されると、文書から質問クエリに対する回答が検索される。文書から質問クエリに対する回答が見つけられなかった場合、他のコンテンツ（ｏｔｈｅｒ　ｍｅｄｉａ）から質問クエリに対する回答が検索される。この検索により得られた回答（Ａｎｓｗｅｒ）がユーザに提供される。他のコンテンツとは、次の回答検索対象となる新しいコンテンツ（以下、新しいコンテンツという）である。
　このようなコンテンツ読解処理は、例えば、コンピュータにより処理を実行するコンテンツ読解アプリケーション（メディア読解アプリケーション）によって実現される。質問クエリやコンテンツ（例えば、文書）がコンテンツ読解アプリケーションに与えられると、コンテンツから質問クエリに対する回答が検索され、回答を得られなかった場合に他のコンテンツから回答が検索される。コンテンツ読解アプリケーションは、コンピュータによって可読なコンテンツに対し、その内容に関する自然言語で記述された質問クエリを与え、その質問クエリに対する回答を指し示すアプリケーションである。
＜２．実施形態＞
＜２－１．実施形態に係る情報処理装置の構成＞
　実施形態に係る情報処理装置の構成について説明する。図２は、本開示の実施形態に係る情報処理装置の構成例を示す図である。
　図２に示す情報処理装置１００は、実施形態に係る情報処理としてコンテンツ読解処理を実行する装置である。この情報処理装置１００は、ユーザにより利用される端末装置である。情報処理装置１００としては、例えば、スマートフォン、タブレット型端末、ノート型ＰＣ（Personal　Computer）、デスクトップＰＣ、携帯電話機、ＰＤＡ（Personal　Digital　Assistant）等、ユーザによって利用される種々の装置が用いられる。
　なお、情報処理装置１００は、ユーザが利用する端末装置に限らず、どのような装置であってもよい。例えば、コンテンツ読解処理を行う情報処理装置と、ユーザが利用する端末装置とは別体であってもよい（後述する変形例参照）。情報処理装置と端末装置が別体である場合には、情報処理装置は例えばサーバとして機能する。
　また、実施形態では、日本語を一例として説明するが、情報処理装置１００が実行する情報処理は、日本語に限らず、英語やフランス語、ドイツ語等の種々の言語を対象としてもよい。例えば、コンテンツ読解処理は、質問クエリに関する言語又はその言語の翻訳言語に対応する言語のコンテンツを対象としてもよい。すなわち、情報処理装置１００は、コンテンツ読解処理が実行可能であれば、どのような言語を対象に処理を行ってもよい。
　図２に示すように、情報処理装置１００は、通信部１１と、入力部１２と、表示部１３と、記憶部１４と、制御部１５とを有する。図２の例では、情報処理装置１００は、ユーザ等から各種操作を受け付ける入力部１２（例えば、キーボードやマウス等）や、各種情報を表示するための表示部１３（例えば、液晶ディスプレイ等）を有する。
　通信部１１は、例えば、ＮＩＣ（Network　Interface　Card）や通信回路等によって実現される。通信部１１は、第１の通信網Ｎ１及び第２の通信網Ｎ２と有線又は無線で接続されており、第１の通信網Ｎ１や第２の通信網Ｎ２を介して他の装置等との間で情報の送受信を行う。
　第１の通信網Ｎ１としては、例えば、ＬＡＮ（ローカルネットワーク）や社内ネットワーク等が用いられる。第２の通信網Ｎ２は、第１の通信網Ｎ１より秘匿性が低い通信網である。第２の通信網Ｎ２としては、例えば、ＷＡＮ（ワールドエリアネットワーク）やインターネット、社外ネットワーク等が用いられる。ただし、例えば、第１の通信網Ｎ１としてＷＡＮが用いられる場合には、第２の通信網Ｎ２としてはインターネットが用いられる。
　入力部１２は、ユーザからの入力操作等の各種操作を受け付ける。この入力部１２は、例えば、情報処理装置１００に設けられたキーボードやマウスやタッチパネル等であり、ユーザからの入力操作を受け付ける。また、入力部１２は、ユーザの音声による入力操作を受け付けてもよい。入力操作としては、例えば、ユーザによる質問クエリやコンテンツの入力等の入力操作が挙げられる。
　表示部１３は、各種情報を表示する。例えば、表示部１３は、液晶ディスプレイや有機ＥＬ（ElectroLuminescence）ディスプレイ等の表示装置であり、コンテンツ読解処理により生成された回答等の各種情報を表示する。
　なお、情報処理装置１００は、表示部１３に限らず、情報を出力する機能（構成）、例えば、情報を音声として出力する機能を有してもよい。一例として、情報処理装置１００は、音声を出力するスピーカー等の音声出力部を有してもよい。
　記憶部１４は、例えば、ＲＡＭ（Random　Access　Memory)、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。この記憶部１４は、例えば、コンテンツ読解処理に必要な情報やコンテンツ読解処理により生成された回答等の各種情報を記憶する。
　制御部１５は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等のコンピュータを有する。この制御部１５は、コントローラ（controller）として機能する。例えば、制御部１５は、情報処理装置１００内部に記憶されたプログラム（例えば、情報処理プログラム）がコンピュータによりＲＡＭ等を作業領域として実行されることで実現されてもよい。また、制御部１５は、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現されてもよい。
　この制御部１５は、埋込部１５１と、回答検索部１５２と、生成部１５３と、受付部１５４、コンテンツ検索部１５５と、提供部１５６とを有する。これらの各部１５１～１５６は、例えば、ハードウェア及びソフトウェアのどちらか一方又は両方により実現される。制御部１５は、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１５の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。制御部１５は、記憶部１４あるいは学習モデルを提供する外部装置から、必要に応じて学習モデル（例えば、コンテンツ読解モデル）を取得して使用する。以下に説明する情報処理は、適宜、各種の学習モデルに基づいて実現される。
　埋込部１５１は、質問クエリに含まれるテキストを埋め込み表現（数値ベクトル）に変換する。例えば、埋込部１５１は、質問クエリを固定長の質問クエリベクトルに変換する。テキストを埋め込み表現に変換する処理としては、テキストをベクトル表現に変換する自然言語処理（学習モデル）が用いられ、例えば、ＢＥＲＴ（Bidirectional　Encoder　Representations　from　Transformers）やＷｏｒｄ２Ｖｅｃ等が用いられる。
　回答検索部１５２は、質問クエリへの回答に相当する箇所をコンテンツ中から探索する。例えば、回答検索部１５２は、コンテンツから回答候補ブロックを検索する。この回答候補ブロックの検索において、回答検索部１５２は、情報処理装置１００に入力されたコンテンツをある程度（期待される回答が含まれている程度、例えば文、節、パラグラフ）のブロック単位に分割し、ブロック毎にブロックに相当するベクトル表現、すなわちブロックベクトルに変換する。さらに、回答検索部１５２は、質問クエリベクトルに対するブロックベクトルの関連度をランキング問題として解き、順位が最も高い回答候補ブロックを探す。
　例えば、検索対象のコンテンツがテキストである場合には、テキストはパラグラフ毎にあるいは大きな節毎に分割される。また、例えば、検索対象のコンテンツが動画であればシーン毎に分割され、音楽であればメロディ毎に分割され、音声ファイルであれば音声区間毎に分割される。各ブロック（各区間）は、コンテンツに含まれる字幕、歌詞、書き起こし等のテキストを元に特徴ベクトルとして表現される。
　生成部１５３は、回答候補ブロック内から質問クエリへの回答として適した箇所、すなわち回答（回答候補）を特定する。例えば、生成部１５３は、回答候補ブロックに相当する箇所がテキストであれば、回答箇所を指し示す区間を特定し、回答候補ブロックに相当する箇所が検索対象のテキストに相当する動画又は波形であれば、回答箇所を指し示す時間区間を特定する。そして、生成部１５３は、特定した回答をユーザへの応答として適当な形に編集し、ユーザへの提示用の回答を生成する。さらに、生成部１５３は、回答の確信度を算出する。回答が複数存在する場合には、回答毎の確信度を算出する。
　受付部１５４は、生成部１５３により生成される回答に関する回答情報を受け付ける。この受付部１５４は、回答情報が所定条件を満たす場合、提供部１５６に回答情報を出力するように指示を出す。一方、受付部１５４は、回答情報が所定の条件を満たさない場合、新しいコンテンツ（他のコンテンツ）に対するコンテンツ読解処理を行うため、コンテンツ検索部１５５に新しいコンテンツを検索するように指示を出す。また、受付部１５４は、入力部１２に対するユーザの入力操作に応じて、コンテンツ検索部１５５に新しいコンテンツを検索するように指示を出す。
　例えば、受付部１５４は、回答情報が回答を得られなかったことを示す情報である場合、回答情報が回答を含むという所定の条件を満たさないため、コンテンツ検索部１５５に新しいコンテンツを検索するように指示を出す。また、回答情報が回答及びその回答の確信度を示す情報であり、その回答の確信度が所定の閾値より小さい場合には、回答情報に含まれる回答の確信度が所定の閾値以上であるという所定の条件を満たさないため、コンテンツ検索部１５５に新しいコンテンツを検索するように指示を出す。
　コンテンツ検索部１５５は、受付部１５４からの指示に応じて、第２の通信網Ｎ２を介して各種のデータベース（ＤＢ）から新しいコンテンツを検索する。このコンテンツ検索部１５５は、質問クエリベクトルを用いて、質問クエリに関連する新しいコンテンツを検索する。例えば、コンテンツ検索部１５５は、各種情報を有するデータベースから、質問クエリベクトルに対するコンテンツの関連度をランキング問題として解き、順位が最も高い新しいコンテンツを探す。このとき、コンテンツ検索部１５５は、質問クエリベクトルだけではなく、ユーザにより入力されたコンテンツのベクトル（コンテンツベクトル）も同時に用いることで、最初の回答検索対象である古いコンテンツの傾向をランキングに反映させるようにしてもよい。
　提供部１５６は、受付部１５４の出力指示（提供指示）に応じて、生成部１５３により生成される回答に関する回答情報を表示部１３に出力（提供）する。回答情報は、回答だけではなく、回答の確信度を含んでいてもよい。この場合には、回答と共に確信度も表示部１３により表示される。これにより、ユーザは回答と共に確信度も把握することができる。また、提供部１５６は、コンテンツ読解処理に係るユーザインタフェース画像（ＵＩ画像）を表示部１３に出力する。ＵＩ画像としては、例えば、検索用のＵＩ画像や回答用のＵＩ画像、新しい検索対象となるコンテンツ入力用のＵＩ画像等が挙げられる。これらの各ＵＩ画像については後述する。
＜２－２．実施形態に係る情報処理の概要＞
　次に、実施形態に係る情報処理の概要について図３を参照して説明する。図３は、実施形態に係る情報処理の概要を示す図である。具体的には、図３は、実施形態に係る情報処理としてコンテンツ読解処理の概要を示す図である。この図３の例では、入力されるコンテンツの一例として、文書（入力文書）が示されている。
　図３に示すように、入力クエリ（入力された質問クエリ）は埋め込み表現（数値ベクトル）に変換され、入力ベクトル（質問クエリベクトル）とされる（ステップＳ１）。このとき、入力クエリは埋込部１５１によって固定長の入力ベクトルに変換される。
　次に、入力ベクトルに基づいて入力文書（入力された文書）から回答候補ブロック（例えば、回答候補パラグラフ）が検索される（ステップＳ２）。このとき、入力文書は、回答検索部１５２によってブロック単位（例えば、パラグラフ単位）に分割され、ブロック毎にブロックベクトル（例えば、パラグラフベクトル）が生成される。入力ベクトルに対するブロックベクトルの関連度がランキング問題として解かれ、各ブロックの中から順位が最も高い回答候補ブロックが選択される。
　なお、質問クエリ及び文書は、入力部１２に対するユーザの入力操作により情報処理装置１００に入力される。質問クエリとしては、例えば、「富士山の高さは？」、「この映画の監督は？」、「主役の名前は？」、「主演俳優は誰？」等が挙げられる。また、文書としては、例えば、ウェブページ、論文、社内文書等が挙げられる。この文書等のテキスト以外にも、入力されるコンテンツ（入力コンテンツ）として、例えば、音声（音声波形）、ビデオ、知識等が用いられてもよい。コンテンツは、コンピュータで処理可能な情報である。
　次に、回答単語系列の識別が行われる（ステップＳ３）。この回答単語系列の識別では、対象の回答候補ブロックに対して、質問クエリへの回答として適した箇所、すなわち回答（回答候補）が生成部１５３により特定される。
　次に、回答の生成が行われる（ステップＳ４）。この回答の生成では、特定された回答が生成部１５３によりユーザへの応答として適当な形に編集され、ユーザ提示用の回答が生成される。このとき、回答の確信度も算出される。
　次に、回答の確認が行われる（ステップＳ５）。この回答の確認では、回答の確信度が閾値より小さいか否かが受付部１５４により判断され、回答の確信度が閾値より小さくない場合、その回答が提供部１５６によりユーザにフィードバックされる。具体的には、提供部１５６は回答を含む回答情報を表示部１３に送信し、表示部１３は回答情報に基づいて回答を表示する。一方、回答の確信度が閾値より小さい場合には、回答を得られなかったことが提供部１５６によりユーザにフィードバックされ、再検索が実施される。また、フィードバックされた回答に対してユーザが満足しなかった場合には、入力部１２に対するユーザの入力操作により、ユーザからの再検索を実施する指示が入力され、再検索が実施される。
　次に、再検索が実施されると、まず、関連コンテンツの検索が行われる（ステップＳ６）。この関連コンテンツの検索では、前述の質問クエリベクトルを用いて、マルチコンテンツインデックスＤＢに基づく各種のデータベースから、質問クエリに関連がある所定数（例えば、十数個や数十個等）の新しいコンテンツの候補（新しい入力コンテンツ候補）がコンテンツ検索部１５５により検索される。このとき、質問クエリベクトルだけではなく、入力文書のベクトルも同時に用いることで、最初の回答検索対象である古い文書の傾向を検索結果に反映させるようにしてもよい。
　ここで、マルチメディアインデックスＤＢは、様々なコンテンツ（メディア）の検索インデックスを収録したデータベースである。図３の例では、各検索インデックスに対応する各種のデータベースとして、字幕付き動画、音声書き起こし、知識、文書集合が示されている。このようなコンテンツも含め、コンテンツとしては、例えば、文書（例えば、ウェブページ、書籍、議事録、社内文書等）、字幕付き／なし動画、書き起こし付き／なしの音声、歌詞付き／なしの曲、説明文付き／なし画像等がある。これらのコンテンツに対して、各コンテンツを代表するベクトルが付与されてデータベースに格納されている。
　ベクトルの付与方法では、Ｄｏｃ２ｖｅｃなどに代表される複数文をベクトル表現へ変換する手法を用いてファイル毎のベクトルを取得した後、質問クエリを与えた際に、該当するファイルのベクトルへの関連度が高くなるような関数が用いられる。なお、テキストが付属しないコンテンツ（メディア）に対しては、予めテキストが付与してあるデータを教師データとし、コンテンツからテキストを関連付けるようなニューラルネットワークを学習しておき、コンテンツからテキストを生成することができる学習モデルが用いられる。
　次に、各新しいコンテンツの候補から、新しいコンテンツ（新しい検索対象コンテンツ）が選択される（ステップＳ７）。この新しいコンテンツの選択では、マルチコンテンツインデックスＤＢに基づく各種のデータベースから検索された所定数の新しいコンテンツの候補から、質問クエリベクトルに対してのランキング問題として各エントリー付けが行われ、その結果に基づいて新しいコンテンツがコンテンツ検索部１５５により決定される。例えば、順位が最も高いコンテンツが新しいコンテンツとして決定される。
　その後、処理がステップＳ２に戻り、新しいコンテンツに対する処理がステップＳ２～Ｓ５のように実行される。つまり、新しいコンテンツが選択された後、処理は、新しいコンテンツに対する回答候補ブロックの検索（ステップＳ２）へ再帰する。
　前述の情報処理の概要によれば、ユーザにより与えられたコンテンツに対する回答の検索を自然文で行うことができる。また、ユーザにより与えられたコンテンツで答えられない質問クエリ（問題）に対し、他のコンテンツを参照することで、質問クエリに対する回答を得ることが可能になるので、質問クエリに対する回答を確実に得ることができる。さらに、回答が見つけられなかった場合（例えば、回答が無かった場合等）、あらかじめデータベースに蓄積した情報源への検索を行うことが可能となり、ユーザ自身が新しいコンテンツを提示する手間を省略することができるので、ユーザの利便性を向上させることができる。また、回答に満足であるか否か（回答の良し悪し）、あるいは、他の新しいコンテンツを検索するかをユーザに尋ねることで、それらの選択権をユーザに与えることが可能になるので、ユーザの利便性を向上させることができる。
＜２－３．実施形態に係る情報処理の手順＞
　次に、図４を用いて、実施形態に係る情報処理の手順について説明する。図４は、本開示の実施形態に係る情報処理の手順を示すフローチャートである。
　図４に示すように、情報処理装置１００の制御部１５は、質問クエリ及びコンテンツが入力されたか否かを判断し（ステップＳ１１）、それらの入力に待機する（ステップＳ１１のＮＯ）。質問クエリ及びコンテンツが入力されると（ステップＳ１１のＹＥＳ）、制御部１５は、質問クエリを固定長のベクトルへ変換する（ステップＳ１２）。
　制御部１５は、コンテンツをブロック単位に分割し、ブロックに相当するベクトル表現へ変換する（ステップＳ１３）。コンテンツが記事等の文書である場合には、文書を例えばパラグラフ単位に分割し、パラグラフに相当するベクトル表現へ変換する。制御部１５は、質問クエリベクトルに対するブロックベクトルの関連度をランキング問題として解き、対象となる回答候補ブロックを探す（ステップＳ１４）。
　制御部１５は、順位が最も高い、すなわち質問クエリと最も関連がある回答候補ブロックから、回答となる単語候補（回答候補）を推定する（ステップＳ１５）。制御部１５は、単語候補の推定結果と確信度を得る（ステップＳ１６）。制御部１５は、単語候補が一つである場合、その一つの単語候補を回答とし、単語候補が複数存在する場合、単語候補毎の確信度を得て、確信度が最も高い単語候補を回答とする。
　制御部１５は、回答の確信度が閾値より小さいか否かを判断する（ステップＳ１７）。制御部１５は、回答の確信度が閾値より小さいと判断すると（ステップＳ１７のＹＥＳ）、ユーザにより入力されたコンテンツから回答を得られなかったことをユーザに提示する（ステップＳ１８）。具体的には、制御部１５は、回答を得られなかったことを示す回答情報を表示部１３に送信する。表示部１３は、受信した回答情報に基づき、回答を得られなかったこと示す文言や画像等を表示する。
　制御部１５は、質問クエリベクトルを用いて他のコンテンツ（新しいコンテンツ）を検索する（ステップＳ１９）。例えば、制御部１５は、予め用意してあるデータベースから他のコンテンツを検索する。制御部１５は、質問クエリベクトルと関連が高い新しいコンテンツを選ぶ（ステップＳ２０）。質問クエリベクトルに対するコンテンツの関連度をランキング問題として解き、新しいコンテンツを探す。
　制御部１５は、ユーザに対し、再検索に用いる新しいコンテンツを尋ねる（ステップＳ２１）。例えば、再検索のため、新しいコンテンツをユーザが入力するか、前述のステップＳ２０で取得した新しいコンテンツを入力するかがユーザに尋ねられる。一例として、それらの選択を可能とするＵＩ画像が提供部１５６から表示部１３に送信され、表示部１３によって表示される。ユーザは、入力部１２を操作し、新しいコンテンツを直接入力したり、あるいは、前述のステップＳ２０で取得した新しいコンテンツを入力する指示を出して新しいコンテンツを入力したりする。
　制御部１５は、新しいコンテンツが入力された否かを判断し（ステップＳ２２）、新しいコンテンツの入力に待機する（ステップＳ２２のＮＯ）。制御部１５は、新しいコンテンツが入力されたと判断すると（ステップＳ２２のＹＥＳ）、処理をステップＳ１３に戻す。ステップＳ１３以降では、新しいコンテンツに対して前述と同様の処理が実行される。
　一方、制御部１５は、回答の確信度が閾値より小さくないと判断すると（ステップＳ１７のＮＯ）、回答をユーザに提示する（ステップＳ２３）。具体的には、制御部１５は回答や確信度等を含む回答情報を表示部１３に送信し、表示部１３は回答情報に基づいて回答を表示する。このとき、表示部１３は、回答と共に回答の確信度を表示するようにしてもよい。
　制御部１５は、回答がＯＫであるか否かを判断する（ステップＳ２４）。例えば、ユーザは、入力部１２を操作して回答がＯＫ（例えば、満足）であるか否かを入力する。制御部１５は、回答がＯＫでないと判断すると（ステップＳ２４のＮＯ）、処理をステップＳ１９に進める。ステップＳ１９以降では、前述と同様の処理が実行される。一方、制御部１５は、回答がＯＫであると判断すると（ステップＳ２４のＹＥＳ）、処理を終える。
　前述の情報処理の手順によれば、ユーザにより入力されたコンテンツから得られた回答の確信度に応じ、例えば、確信度が所定の閾値より小さい場合、質問クエリに関連がある新しいコンテンツが所定のデータベースから検索され、新しいコンテンツに対する回答検索が実行される。これにより、ユーザにより入力されたコンテンツから得られた回答が不正確である場合、新しいコンテンツに対する回答検索が実行されるので、質問クエリに対する正確な回答を確実に得ることができる。また、ユーザが回答に満足するまで、新しいコンテンツに対する回答検索が実行されるので、ユーザが満足する回答を得ることができる確率を高めることができる。
＜２－４．実施形態に係るＵＩ画像例＞
　次に、実施形態に係るＵＩ画像例（第１から第５の例）について図５から図９を参照して説明する。図５は、実施形態に係る検索ＵＩ画像の第１の例を示す図である。図６は、実施形態に係る検索ＵＩ画像の第２の例を示す図である。図７は、実施形態に係る回答ＵＩ画像の第１の例を示す図である。図８は、実施形態に係る回答ＵＩ画像の第２の例を示す図である。図９は、実施形態に係る選択ＵＩ画像の一例を示す図である。
　第１の例では、図５に示すように、質問クエリを入力するための検索ＵＩ画像Ｇ１が表示される。図５の例では、入力部１２に対するユーザの入力操作によってウェブページのＵＲＬ（Uniform　Resource　Locator）等が指定され、ウェブページ文書（例えば、事典や記事等）Ｗ１が表示される。検索ＵＩ画像Ｇ１の質問入力欄（質問入力領域）には、入力部１２に対するユーザの入力操作に応じて、質問クエリが入力される。図５の例では、「ＡＡの子会社の数は？」という文章が入力される。この質問クエリが入力されると、前述のコンテンツ読解処理が実行され、回答Ｗ１ａが示される。図５の例では、ウェブページ文書Ｗ１中の回答Ｗ１ａの個所にマーカが引かれ、回答Ｗ１ａが強調される。
　第２の例では、図６に示すように、質問クエリ及びコンテンツを入力するための検索ＵＩ画像Ｇ２が表示される。検索ＵＩ画像Ｇ２の質問入力欄には、入力部１２に対するユーザの入力操作に応じて、質問クエリが入力される。図６の例では、「ＢＢ４の発売日は？」という文章が入力される。また、検索ＵＩ画像Ｇ２のコンテンツ入力欄には、パスやファイル（ｐａｔｈ／ｔｏ／ｆｉｌｅ）が入力部１２に対するユーザの入力操作によって指定される。そして、アップロードボタン（ｕｐｌｏａｄ）がユーザの入力操作によって押され、指定されたパスやファイルに基づくコンテンツが入力される。その後、検索ボタン（ｒｅｔｒｉｅｖｅ）がユーザの入力操作によって押されると、上述のコンテンツ読解処理が実行される。
　第３の例では、図７に示すように、回答を提示するための回答ＵＩ画像Ｇ３が表示される。回答ＵＩ画像Ｇ３の回答出力領域には、例えば、図６に示す検索ＵＩ画像Ｇ２に入力された質問クエリ及びコンテンツに基づいてコンテンツ読解処理が行われて得られた回答が示される。図７の例では、回答ＵＩ画像Ｇ３の回答出力領域には、複数の回答（回答候補）が、確信度（ｓｃｏｒｅ）が高い順に上から並べられて示される。なお、確信度が最も高い回答が質問クエリに最も適した回答として扱われるが、図７の例のように、各回答及びそれらの確信度の両方の情報がユーザに提供されてもよい。また、回答ＵＩ画像Ｇ３の質問入力領域には、図６に示す検索ＵＩ画像Ｇ２に入力された質問クエリが示される。図７の例では、「ＢＢ４の発売日は？」という文章が示される。
　第４の例では、図８に示すように、回答を提示するための回答ＵＩ画像Ｇ４が表示される。回答ＵＩ画像Ｇ４の回答出力領域には、一つの回答が示され、さらに、その回答の根拠となる根拠情報Ｗ２が示される。図８の例では、回答として「ＣＣＥＥ」が示され、根拠情報Ｗ２として「ＣＣＤＤの画像」と、ＣＣＤＤの娘の「ＣＣＥＥのプロフィール」が示される。また、回答ＵＩ画像Ｇ４の質問入力領域には、質問クエリが示される。図８の例では、「ＣＣＤＤの娘は？」という文章が示される。なお、根拠情報Ｗ２としては、例えば、ナレッジグラフ情報等の各種情報が用いられてもよい。
　第５の例では、図９に示すように、検索ＵＩ画像Ｇ２（図６参照）と、新しいコンテンツを選択するための選択ＵＩ画像Ｇ５が表示される。選択ＵＩ画像Ｇ５の選択出力領域には、新しいコンテンツが、確信度（ｓｃｏｒｅ）が高い順に上から並べられて示される。図９の例では、それらの新しいコンテンツの中から、入力部１２に対するユーザの入力操作に応じて、一つの新しいコンテンツが選択される。また、検索ＵＩ画像Ｇ２の質問入力領域には、質問クエリが示される。図９の例では、「ＢＢ４の発売日は？」という文章が示される。
　前述のような各ＵＩ画像Ｇ１～Ｇ５が提供部１５６により生成され、表示部１３に送信されて表示部１３により表示される。これにより、ユーザは、回答や確信度等に関する回答情報を視認することが可能になるので、回答情報に係る各種情報を容易に把握することができる。例えば、第３の例では、ユーザは、回答に加えてその回答の確信度を把握することが可能となり、第４の例では、回答に加えてその回答の根拠を把握することが可能になるので、ユーザの利便性を向上させることができる。また、ユーザは、各ＵＩ画像Ｇ１～Ｇ５に対する入力操作を行うことが可能であり、入力操作を容易化することができるので、ユーザの利便性を向上させることができる。
＜２－５．実施形態に係る効果＞
　実施形態に係る情報処理装置１００は、第１のコンテンツに対する質問を示す質問クエリに対応する第１の回答であって、第１のコンテンツに基づいて生成される第１の回答に関する回答情報を受け付ける受付部１５４と、回答情報が所定の条件を満たさない場合、第１のコンテンツと異なる第２のコンテンツ（新しいコンテンツ）に基づいて、質問クエリに対応する第２の回答を生成する生成部１５３とを備える。これにより、第１のコンテンツに基づく回答情報が所定の条件を満たさない場合、例えば、第１のコンテンツから第１の回答を得られない場合等に、第２のコンテンツに基づいて、質問クエリに対する第２の回答が生成されるので、質問クエリに対する回答を確実に得ることが可能となり、正答確率を高くすることができる。
　また、生成部１５３は、回答情報が第１の回答を得られないことを示す場合、第２のコンテンツに基づいて、第２の回答を生成する。これにより、第１の回答を得られない場合、第２のコンテンツに基づいて、質問クエリに対する第２の回答が生成されるので、質問クエリに対する回答を確実に得ることができる。
　また、受付部１５４は、回答情報として、第１の回答及び第１の回答の確信度を受け付け、生成部１５３は、第１の回答の確信度が所定の閾値より小さい場合、第２のコンテンツに基づいて、第２の回答を生成する。これにより、第１の回答が不正確である場合、第２のコンテンツに基づいて、質問クエリに対する第２の回答が生成されるので、質問クエリに対する正確な回答を確実に得ることができる。
　また、情報処理装置１００は、質問クエリに基づいて第２のコンテンツを選択するコンテンツ検索部１５５を備え、生成部１５３は、選択された第２のコンテンツに基づいて第２の回答を生成する。これにより、質問クエリに関連がある第２のコンテンツが選択され、第２の回答の生成に用いられるので、質問クエリに対する回答をより確実に得ることができる。
　また、コンテンツ検索部１５５は、質問クエリに加え、第１のコンテンツに基づいて、第２のコンテンツを選択する。これにより、質問クエリ及び第１のコンテンツに関連がある第２のコンテンツが選択され、第２の回答の生成に用いられるので、質問クエリに対する回答をより確実に得ることができる。
　また、情報処理装置１００は、第２の回答を提供する提供部１５６を備える。これにより、提供先の装置は、第２の回答を用いて各種の処理を行うことが可能となる。例えば、提供先の装置が表示部１３である場合には、表示部１３が第２の回答を表示することが可能になるので、ユーザは第２の回答を把握することができる。なお、提供先の装置は、第２の回答を音声で出力する音声出力部や印刷して出力する印刷部等であってもよく、特に限定されるものではない（以下の提供先の装置も同様である）。
　また、提供部１５６は、第２の回答及び第２のコンテンツ内における第２の回答を示す位置を提供する。これにより、提供先の装置は、第２の回答及び第２の回答の位置を用いて各種の処理を行うことが可能となる。例えば、提供先の装置が表示部１３である場合には、表示部１３が第２の回答を第２のコンテンツ内における第２の回答を示す位置と共に表示することが可能になるので、ユーザは第２の回答と共に第２のコンテンツ内における第２の回答を示す位置を把握することができる。
　また、提供部１５６は、第２の回答及び第２の回答の確信度を提供する。これにより、提供先の装置は、第２の回答及び第２の回答の確信度を用いて各種の処理を行うことが可能となる。例えば、提供先の装置が表示部１３である場合には、表示部１３が第２の回答を第２の回答の確信度と共に表示することが可能になるので、ユーザは第２の回答と共に第２の回答の確信度を把握することができる。
　また、提供部１５６は、第２の回答が複数存在する場合、第２の回答の確信度の順番で複数の第２の回答を並べて提供する。例えば、提供先の装置が表示部１３である場合には、表示部１３が各第２の回答を第２の回答の確信度の順番で並べて表示することが可能になるので、ユーザは各第２の回答と共に個々の第２の回答の確信度を把握することができる。
　また、生成部１５３は、第２のコンテンツから第２の回答の根拠を取得し、提供部１５６は、第２の回答及び第２の回答の根拠を提供する。これにより、提供先の装置は、第２の回答及び第２の回答の根拠を用いて各種の処理を行うことが可能となる。例えば、提供先の装置が表示部１３である場合には、表示部１３が第２の回答を第２の回答の根拠と共に表示することが可能になるので、ユーザは第２の回答と共に第２の回答の根拠を把握することができる。
　また、情報処理装置１００は、第２のコンテンツを指定するためのＵＩ画像Ｇ１～Ｇ５を提供する提供部１５６を備える。これにより、提供先の装置は、ＵＩ画像Ｇ１～Ｇ５を用いて各種の処理を行うことが可能となる。例えば、提供先の装置が表示部１３である場合には、表示部１３がＵＩ画像Ｇ１～Ｇ５を表示することが可能になるので、ユーザはＵＩ画像Ｇ１～Ｇ５を把握して操作することができ、ユーザの利便性を向上させることができる。
　また、提供部１５６は、第２のコンテンツが複数存在する場合、第２のコンテンツの確信度の順番で複数の第２のコンテンツを並べて提供する。例えば、提供先の装置が表示部１３である場合には、表示部１３が各第２のコンテンツを第２のコンテンツの確信度の順番で並べて表示することが可能になるので、ユーザは各第２のコンテンツと共に個々の第２のコンテンツの確信度を把握することができる。
　また、第２のコンテンツは、第１のコンテンツより情報量が多いコンテンツである。これにより、第１のコンテンツよりも情報量が多い第２のコンテンツに基づいて、第２の回答が生成されるので、質問クエリに対する回答をより確実に得ることができる。例えば、新しいコンテンツ検索において、ユーザにより入力されたコンテンツ（第１のコンテンツ）の情報量が求められ、その情報量より多い情報量を有する新しいコンテンツ（第２のコンテンツ）がデータベースから検索される。
　また、第２のコンテンツは、第１のコンテンツ（例えば、社外秘のコンテンツ）より秘匿性が低いコンテンツである。これにより、第１のコンテンツを求めるネットワーク領域に比べて広いネットワーク領域から第２のコンテンツを求めることが可能になるので、第２のコンテンツを確実に取得することができ、質問クエリに対する回答をより確実に得ることができる。
　また、第１のコンテンツは、第１の通信網（例えば、ＬＡＮや社内ネットワーク）Ｎ１から得られるコンテンツであり、第２のコンテンツは、第１の通信網Ｎ１より秘匿性が低い第２の通信網（例えば、インターネットや社外ネットワーク）Ｎ２から得られるコンテンツである。これにより、第１のコンテンツを求めるネットワーク領域としての第１の通信網Ｎ１に比べて広いネットワーク領域としての第２の通信網Ｎ２から第２のコンテンツを求めることが可能になるので、第２のコンテンツを確実に取得することができ、質問クエリに対する回答をより確実に得ることができる。
　また、第１のコンテンツは、文書、動画、音声、曲又は画像であり、第２のコンテンツは、文書、動画、音声、曲又は画像である。これにより、第１のコンテンツ及び第２のコンテンツとして、例えば、質問クエリに関する分野（例えば、業種や業界等）に応じ、各種コンテンツの組み合わせを用いることが可能であり、質問クエリに対する回答をより確実に得ることができる。
　また、第１のコンテンツの種類と第２のコンテンツの種類は異なる。これにより、第１のコンテンツ及び第２のコンテンツとして、例えば、質問クエリに関する分野に応じ、種類が異なる複数のコンテンツの組み合わせを用いることが可能である。ある分野において、例えば、第１のコンテンツの種類よりも第２のコンテンツの種類のコンテンツが多く存在することがある。このような場合、第２のコンテンツを確実に取得することが可能であり、質問クエリに対する回答をより確実に得ることができる。
　また、第１のコンテンツは文書であり、第２のコンテンツは動画、音声、曲又は画像である。これにより、第１のコンテンツ及び第２のコンテンツとして、例えば、質問クエリに関する分野に応じ、種類が異なる複数のコンテンツの組み合わせを用いることが可能である。ある分野において、例えば、第１のコンテンツの文書よりも第２のコンテンツの動画、音声、曲又は画像のコンテンツが多く存在することがある。このような場合、第２のコンテンツを確実に取得することが可能であり、質問クエリに対する回答をより確実に得ることができる。
＜３．他の実施形態＞
　前述の実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態（変形例）にて実施されてよい。例えば、システム構成は、上述した例に限らず、種々の態様であってもよい。この点について以下説明する。なお、以下では、実施形態に係る情報処理装置１００と同様の点については、適宜説明を省略する。
＜３－１．変形例＞
　前述の例では、例えば、ユーザが利用する端末装置である情報処理装置１００がコンテンツ読解処理を行う例を示したが、コンテンツ読解処理を行う情報処理装置と、ユーザが利用する端末装置とは別体であってもよい。この変形例について図１０を参照して説明する。図１０は、変形例に係る情報処理システムの構成例を示す図である。
　図１０に示すように、情報処理システム１は、端末装置１０と、情報処理装置１０１とを備える。端末装置１０及び情報処理装置１０１は、通信網Ｎ（例えば、第１の通信網Ｎ１や第２の通信網Ｎ２等）を介して有線又は無線により通信可能に接続される。なお、情報処理システム１には、複数台の端末装置１０と複数台の情報処理装置１０１が含まれてもよい。情報処理装置１０１は、通信網Ｎを介して端末装置１０と通信し、端末装置１０から提供される質問クエリやコンテンツ等を対象として、前述のコンテンツ読解処理を実行する。
　端末装置１０は、ユーザによって利用される情報処理装置である。この端末装置１０は、クライアント端末である。端末装置１０は、例えば、ノート型ＰＣ（Personal　Computer）、デスクトップＰＣ、スマートフォン、タブレット型端末、携帯電話機、ＰＤＡ（Personal　Digital　Assistant）等により実現される。なお、端末装置１０は、情報処理装置１０１が提供する情報を表示可能であればどのような端末装置であってもよい。
　また、端末装置１０は、ユーザによる入力操作を受け付ける。この端末装置１０は、情報処理装置１０１から各種情報を受信し、受信した各種情報を画面に表示する。例えば、端末装置１０は、情報処理装置１０１が提供する回答情報や各種のＵＩ画像Ｇ１～Ｇ５等の情報を受信し、ディスプレイの画面に表示する。また、端末装置１０は、質問クエリやコンテンツ等の情報を情報処理装置１０１へ送信する。
　情報処理装置１０１は、端末装置１０に情報を提供したり、端末装置１０から情報を取得したりする点で情報処理装置１００と相違する以外は、情報処理装置１００と同様の情報処理（コンテンツ読解処理）を実現する。この情報処理装置１０１は、クライアント端末である端末装置１０にサービスを提供するサーバである。例えば、情報処理装置１０１は、端末装置１０から提供された質問クエリやコンテンツ等の情報に基づき、コンテンツ読解処理等を実行し、その実行結果（例えば、回答情報）を端末装置１０へ送信する。また、情報処理装置１０１は、必要に応じ、各種のＵＩ画像Ｇ１～Ｇ５を端末装置１０へ送信する。
＜３－２．他の変形例＞
　なお、上述した各実施形態や変形例に係る処理は、上記実施形態や変形例以外にも種々の異なる形態（変形例）にて実施されてよい。例えば、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
　また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
＜３－３．ハードウェア構成＞
　上述した各実施形態に係る情報処理装置１００、１０１等の情報機器の具体的なハードウェア構成について説明する。各実施形態に係る情報処理装置１００、１０１等の情報機器は、例えば、図１１に示すような構成のコンピュータ５００によって実現される。図１１は、各実施形態に係る情報処理装置１００、１０１等の情報機器の機能を実現するハードウェアの構成例を示す図である。
　コンピュータ５００は、ＣＰＵ５１０、ＲＡＭ５２０、ＲＯＭ（Read　Only　Memory）５３０、ＨＤＤ（Hard　Disk　Drive）５４０、通信インターフェイス５５０及び入出力インターフェイス５６０を有する。コンピュータ５００の各部は、バス５７０によって接続される。
　ＣＰＵ５１０は、ＲＯＭ５３０又はＨＤＤ５４０に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ５１０は、ＲＯＭ５３０又はＨＤＤ５４０に格納されたプログラムをＲＡＭ５２０に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ５３０は、コンピュータ５００の起動時にＣＰＵ５１０によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ５００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ５４０は、ＣＰＵ５１０によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ５４０は、プログラムデータ５４１の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
　通信インターフェイス５５０は、コンピュータ５００が外部ネットワーク５８０（一例としてインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ５１０は、通信インターフェイス５５０を介して、他の機器からデータを受信したり、ＣＰＵ５１０が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス５６０は、入出力デバイス５９０とコンピュータ５００とを接続するためのインターフェイスである。例えば、ＣＰＵ５１０は、入出力インターフェイス５６０を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ５１０は、入出力インターフェイス５６０を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。
　なお、入出力インターフェイス５６０は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとしては、例えば、ＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、又は、半導体メモリ等が用いられる。
　ここで、例えば、コンピュータ５００が実施形態に係る情報処理装置１００として機能する場合、コンピュータ５００のＣＰＵ５１０は、ＲＡＭ５２０上にロードされた情報処理プログラムを実行することにより、制御部１５等の機能を実現する。また、ＨＤＤ５４０には、本開示に係る情報処理プログラムや記憶部１４内のデータが格納される。なお、ＣＰＵ５１０は、プログラムデータ５４１をＨＤＤ５４０から読み取って実行するが、他の例として、外部ネットワーク５８０を介して、他の装置からこれらのプログラムを取得するようにしてもよい。
＜４．付記＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　第１のコンテンツに対する質問を示す質問クエリに対応する第１の回答であって、前記第１のコンテンツに基づいて生成される前記第１の回答に関する回答情報を受け付ける受付部と、
　前記回答情報が所定の条件を満たさない場合、前記第１のコンテンツと異なる第２のコンテンツに基づいて、前記質問クエリに対応する第２の回答を生成する生成部と、
　を備える情報処理装置。
（２）
　前記生成部は、
　前記回答情報が前記第１の回答を得られないことを示す場合、前記第２のコンテンツに基づいて、前記第２の回答を生成する、
　前記（１）に記載の情報処理装置。
（３）
　前記受付部は、
　前記回答情報として、前記第１の回答及び前記第１の回答の確信度を受け付け、
　前記生成部は、
　前記確信度が所定の閾値より小さい場合、前記第２のコンテンツに基づいて、前記第２の回答を生成する、
　前記（１）又は（２）に記載の情報処理装置。
（４）
　前記質問クエリに基づいて、前記第２のコンテンツを選択するコンテンツ検索部をさらに備え、
　前記生成部は、選択された前記第２のコンテンツに基づいて、前記第２の回答を生成する、
　前記（１）～（３）のいずれか一つに記載の情報処理装置。
（５）
　前記コンテンツ検索部は、
　前記質問クエリに加え、前記第１のコンテンツに基づいて、前記第２のコンテンツを選択する、
　前記（４）に記載の情報処理装置。
（６）
　前記第２の回答を提供する提供部をさらに備える、
　前記（１）～（５）のいずれか一つに記載の情報処理装置。
（７）
　前記提供部は、
　前記第２の回答及び前記第２のコンテンツ内における前記第２の回答を示す位置を提供する、
　前記（６）に記載の情報処理装置。
（８）
　前記提供部は、
　前記第２の回答及び前記第２の回答の確信度を提供する、
　前記（６）又は（７）に記載の情報処理装置。
（９）
　前記提供部は、
　前記第２の回答が複数存在する場合、前記第２の回答の確信度の順番で複数の前記第２の回答を並べて提供する、
　前記（８）に記載の情報処理装置。
（１０）
　前記生成部は、
　前記第２のコンテンツから前記第２の回答の根拠を取得し、
　前記提供部は、
　前記第２の回答及び前記第２の回答の根拠を提供する、
　前記（６）～（９）のいずれか一つに記載の情報処理装置。
（１１）
　前記第２のコンテンツを指定するためのユーザインタフェース画像を提供する提供部をさらに備える、
　前記（１）～（５）のいずれか一つに記載の情報処理装置。
（１２）
　前記提供部は、
　前記第２のコンテンツが複数存在する場合、前記第２のコンテンツの確信度の順番で複数の前記第２のコンテンツを並べて提供する、
　前記（１１）に記載の情報処理装置。
（１３）
　前記第２のコンテンツは、前記第１のコンテンツより情報量が多いコンテンツである、
　前記（１）～（１２）のいずれか一つに記載の情報処理装置。
（１４）
　前記第２のコンテンツは、前記第１のコンテンツより秘匿性が低いコンテンツである、
　前記（１）～（１３）のいずれか一つに記載の情報処理装置。
（１５）
　前記第１のコンテンツは、第１の通信網から得られるコンテンツであり、
　前記第２のコンテンツは、前記第１の通信網より秘匿性が低い第２の通信網から得られるコンテンツである、
　前記（１）～（１４）のいずれか一つに記載の情報処理装置。
（１６）
　前記第１のコンテンツは、文書、動画、音声、曲又は画像であり、
　前記第２のコンテンツは、文書、動画、音声、曲又は画像である、
　前記（１）～（１５）のいずれか一つに記載の情報処理装置。
（１７）
　前記第１のコンテンツの種類と前記第２のコンテンツの種類は異なる、
　前記（１）～（１５）のいずれか一つに記載の情報処理装置。
（１８）
　前記第１のコンテンツは、文書であり、
　前記第２のコンテンツは、動画、音声、曲又は画像である、
　前記（１７）に記載の情報処理装置。
（１９）
　第１のコンテンツに対する質問を示す質問クエリに対応する第１の回答であって、前記第１のコンテンツに基づいて生成される前記第１の回答に関する回答情報を受け付け、
　前記回答情報が所定の条件を満たさない場合、前記第１のコンテンツと異なる第２のコンテンツに基づいて、前記質問クエリに対応する第２の回答を生成する、
　情報処理方法。
　１１　　通信部
　１２　　入力部
　１３　　表示部
　１４　　記憶部
　１５　　制御部
　１００　情報処理装置
　１０１　情報処理装置
　１５１　埋込部
　１５２　回答検索部
　１５３　生成部
　１５４　受付部
　１５５　コンテンツ検索部
　１５６　提供部
　Ｇ５　　選択ＵＩ画像

Claims (19)

  1. 　第１のコンテンツに対する質問を示す質問クエリに対応する第１の回答であって、前記第１のコンテンツに基づいて生成される前記第１の回答に関する回答情報を受け付ける受付部と、
    　前記回答情報が所定の条件を満たさない場合、前記第１のコンテンツと異なる第２のコンテンツに基づいて、前記質問クエリに対応する第２の回答を生成する生成部と、
    　を備える情報処理装置。
  2. 　前記生成部は、
    　前記回答情報が前記第１の回答を得られないことを示す場合、前記第２のコンテンツに基づいて、前記第２の回答を生成する、
    　請求項１に記載の情報処理装置。
  3. 　前記受付部は、
    　前記回答情報として、前記第１の回答及び前記第１の回答の確信度を受け付け、
    　前記生成部は、
    　前記確信度が所定の閾値より小さい場合、前記第２のコンテンツに基づいて、前記第２の回答を生成する、
    　請求項１に記載の情報処理装置。
  4. 　前記質問クエリに基づいて、前記第２のコンテンツを選択するコンテンツ検索部をさらに備え、
    　前記生成部は、選択された前記第２のコンテンツに基づいて、前記第２の回答を生成する、
    　請求項１に記載の情報処理装置。
  5. 　前記コンテンツ検索部は、
    　前記質問クエリに加え、前記第１のコンテンツに基づいて、前記第２のコンテンツを選択する、
    　請求項４に記載の情報処理装置。
  6. 　前記第２の回答を提供する提供部をさらに備える、
    　請求項１に記載の情報処理装置。
  7. 　前記提供部は、
    　前記第２の回答及び前記第２のコンテンツ内における前記第２の回答を示す位置を提供する、
    　請求項６に記載の情報処理装置。
  8. 　前記提供部は、
    　前記第２の回答及び前記第２の回答の確信度を提供する、
    　請求項６に記載の情報処理装置。
  9. 　前記提供部は、
    　前記第２の回答が複数存在する場合、前記第２の回答の確信度の順番で複数の前記第２の回答を並べて提供する、
    　請求項８に記載の情報処理装置。
  10. 　前記生成部は、
    　前記第２のコンテンツから前記第２の回答の根拠を取得し、
    　前記提供部は、
    　前記第２の回答及び前記第２の回答の根拠を提供する、
    　請求項６に記載の情報処理装置。
  11. 　前記第２のコンテンツを指定するためのユーザインタフェース画像を提供する提供部をさらに備える、
    　請求項１に記載の情報処理装置。
  12. 　前記提供部は、
    　前記第２のコンテンツが複数存在する場合、前記第２のコンテンツの確信度の順番で複数の前記第２のコンテンツを並べて提供する、
    　請求項１１に記載の情報処理装置。
  13. 　前記第２のコンテンツは、前記第１のコンテンツより情報量が多いコンテンツである、
    　請求項１に記載の情報処理装置。
  14. 　前記第２のコンテンツは、前記第１のコンテンツより秘匿性が低いコンテンツである、
    　請求項１に記載の情報処理装置。
  15. 　前記第１のコンテンツは、第１の通信網から得られるコンテンツであり、
    　前記第２のコンテンツは、前記第１の通信網より秘匿性が低い第２の通信網から得られるコンテンツである、
    　請求項１に記載の情報処理装置。
  16. 　前記第１のコンテンツは、文書、動画、音声、曲又は画像であり、
    　前記第２のコンテンツは、文書、動画、音声、曲又は画像である、
    　請求項１に記載の情報処理装置。
  17. 　前記第１のコンテンツの種類と前記第２のコンテンツの種類は異なる、
    　請求項１に記載の情報処理装置。
  18. 　前記第１のコンテンツは、文書であり、
    　前記第２のコンテンツは、動画、音声、曲又は画像である、
    　請求項１７に記載の情報処理装置。
  19. 　第１のコンテンツに対する質問を示す質問クエリに対応する第１の回答であって、前記第１のコンテンツに基づいて生成される前記第１の回答に関する回答情報を受け付け、
    　前記回答情報が所定の条件を満たさない場合、前記第１のコンテンツと異なる第２のコンテンツに基づいて、前記質問クエリに対応する第２の回答を生成する、
    　情報処理方法。
PCT/JP2021/030290 2020-09-01 2021-08-19 情報処理装置及び情報処理方法 WO2022050060A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/005,857 US20230273961A1 (en) 2020-09-01 2021-08-19 Information processing device and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020147159 2020-09-01
JP2020-147159 2020-09-01

Publications (1)

Publication Number Publication Date
WO2022050060A1 true WO2022050060A1 (ja) 2022-03-10

Family

ID=80491085

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/030290 WO2022050060A1 (ja) 2020-09-01 2021-08-19 情報処理装置及び情報処理方法

Country Status (2)

Country Link
US (1) US20230273961A1 (ja)
WO (1) WO2022050060A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7272571B1 (ja) 2022-08-16 2023-05-12 １７Ｌｉｖｅ株式会社 データ検索のためのシステム、方法、及びコンピュータ可読媒体

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019220142A (ja) * 2018-06-18 2019-12-26 日本電信電話株式会社 回答学習装置、回答学習方法、回答生成装置、回答生成方法、及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8850219B2 (en) * 2010-05-13 2014-09-30 Salesforce.Com, Inc. Secure communications
US20120030231A1 (en) * 2010-07-28 2012-02-02 Charles Austin Cropper Accessing Personal Records Without Identification Token
US20170270159A1 (en) * 2013-03-14 2017-09-21 Google Inc. Determining query results in response to natural language queries
US9338493B2 (en) * 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10671616B1 (en) * 2015-02-22 2020-06-02 Google Llc Selectively modifying scores of youth-oriented content search results
US9224006B1 (en) * 2015-07-29 2015-12-29 KGSS, Inc. System and method of secure data access
AU2020224091A1 (en) * 2019-02-18 2023-01-19 Pryon Incorporated Intelligent document system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019220142A (ja) * 2018-06-18 2019-12-26 日本電信電話株式会社 回答学習装置、回答学習方法、回答生成装置、回答生成方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Illustrated smartphone business model; 1st ed.", 5 October 2012, SHUWA SYSTEM CO., LTD. KAZUKUNI SAITO, JP, ISBN: 978-4-7980-3523-9, article NAGAHASHI, KENGO: "Passage; Illustrated smartphone business model", pages: 213 - 214, XP009534983 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7272571B1 (ja) 2022-08-16 2023-05-12 １７Ｌｉｖｅ株式会社 データ検索のためのシステム、方法、及びコンピュータ可読媒体
JP2024027055A (ja) * 2022-08-16 2024-02-29 １７Ｌｉｖｅ株式会社 データ検索のためのシステム、方法、及びコンピュータ可読媒体

Also Published As

Publication number Publication date
US20230273961A1 (en) 2023-08-31

Similar Documents

Publication Publication Date Title
US12093252B2 (en) Retrieving context from previous sessions
US20210312826A1 (en) Personalized learning system and method for the automated generation of structured learning assets based on user data
US20180121547A1 (en) Systems and methods for providing information discovery and retrieval
US11487757B2 (en) Assistive browsing using context
US11875585B2 (en) Semantic cluster formation in deep learning intelligent assistants
CN105786969B (zh) 信息展示方法和装置
US20150024351A1 (en) System and Method for the Relevance-Based Categorizing and Near-Time Learning of Words
US20120047131A1 (en) Constructing Titles for Search Result Summaries Through Title Synthesis
JP2006073012A (ja) 予め定められた個数の予め定義された質問に応答することによって情報を管理するシステムおよび方法
CN107408125B (zh) 用于查询答案的图像
US11308146B2 (en) Content fragments aligned to content criteria
JP7047380B2 (ja) 生成プログラム、生成方法及び情報処理装置
CN112765460A (zh) 会议信息查询方法、装置、存储介质、终端设备和服务器
WO2022050060A1 (ja) 情報処理装置及び情報処理方法
US6685475B1 (en) Learning control information generation method, apparatus and computer readable medium storing learning control information generation program
CN109472028B (zh) 用于生成信息的方法和装置
TWI808038B (zh) 媒體檔案選擇方法及服務系統與電腦程式產品
KR102648990B1 (ko) 또래 학습 추천 방법 및 장치
JP7539094B1 (ja) プログラム、方法、情報処理装置、システム
JP7579555B1 (ja) プログラム、方法、情報処理装置、システム
JP7542812B1 (ja) プログラム、方法、情報処理装置、システム
JP2023028783A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP2022124899A (ja) 生成装置、生成方法及び生成プログラム
JP2023084643A (ja) 情報処理装置、端末装置、情報処理システム、情報処理方法及びプログラム
JP2024027084A (ja) データ検索のためのシステム、方法、及びコンピュータ可読媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21864118

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21864118

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP