WO2025192563A1 - 資料生成装置、資料生成方法、およびプログラム - Google Patents

資料生成装置、資料生成方法、およびプログラム

Info

Publication number
WO2025192563A1
WO2025192563A1 PCT/JP2025/008953 JP2025008953W WO2025192563A1 WO 2025192563 A1 WO2025192563 A1 WO 2025192563A1 JP 2025008953 W JP2025008953 W JP 2025008953W WO 2025192563 A1 WO2025192563 A1 WO 2025192563A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
dialogue
query
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/008953
Other languages
English (en)
French (fr)
Inventor
友哉 澤田
諒 伊勢山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of WO2025192563A1 publication Critical patent/WO2025192563A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks

Definitions

  • the present invention relates to a document generation device, a document generation method, and a program.
  • Patent Document 1 discloses an information processing device that, when responding to a given question with an answer derived through deep learning, generates an answer based on multiple pieces of information, including text and images related to the question.
  • Patent Document 1 has the problem that it may not be possible to obtain materials that correspond to a person's characteristics.
  • This disclosure has been made in light of these circumstances, and provides a document generation device, a document generation method, and a program that can generate documents that match a person's characteristics.
  • a material generation device that includes an input unit that accepts input of a query that indicates the material to be generated, and a dialogue management unit that infers the material indicated by the query by having a dialogue between multiple AI (Artificial Intelligence) agents based on the query, and in which the dialogue between the multiple AI agents includes information indicating the characteristics of a person corresponding to at least one of the multiple AI agents.
  • AI Artificial Intelligence
  • the multiple AI agents are multiple dialogue-attached document generation models
  • the input unit is a language input unit that accepts the query input
  • the dialogue management unit is an information refinement unit that uses the query as an initial input and causes the multiple dialogue-attached document generation models to repeatedly exchange input and output with each other to infer a document from the document specified by the query
  • an image generation unit that generates an image based on the document resulting from the inference by the information refinement unit
  • preference information including the preferences or thought patterns of a specific individual is added to the dialogue between the multiple dialogue-attached document generation models.
  • another aspect of this disclosure is the above-mentioned document generation device, further comprising: an image input unit that accepts input of images that serve as examples of the document to be generated; and an image recognition unit that inputs the image input unit to a trained model to infer features of the image input to the image input unit and use them as image-derived context features; and the image generation unit generates images based on the image-derived context features in addition to documents resulting from the inference by the information refinement unit.
  • a natural language processing unit that inputs the query to a trained model, infers features of the query as language-derived context features, and generates a generated query that combines at least a portion of the query, the language-derived context features, the image-derived context features, the preference information, and a document inferred as a result of the inference by the information refining unit; and a document generation unit that inputs the generated query to a dialogue-assisted document generation model, infers a document requested by the generated query, and sets the inference result as a command query, and the image generation unit inputs the command query to a trained image generation model, inferring an image indicated by the command query.
  • Another aspect of this disclosure is the above-mentioned material generation device, wherein the dialogue between the multiple AI agents includes the generation of a hypothesis by one AI agent and criticism or critique of the generated hypothesis by the other AI agents.
  • the plurality of AI agents correspond one-to-one to a plurality of people
  • each of the plurality of AI agents includes in its dialogue personal information indicating the characteristics of the corresponding person among the plurality of people.
  • another aspect of this disclosure is the above-mentioned material generation device, wherein at least one of the multiple characters is a virtual character, and the character information of the virtual character includes information indicating the role of the virtual character.
  • another aspect of this disclosure is the above-mentioned material generation device, which includes a dialogue strategy memory unit that stores dialogue strategy information indicating a dialogue process and a person to be dialogued, and the dialogue management unit causes the AI agent selected from the plurality of AI agents to dialogue in accordance with the dialogue process indicated by the dialogue strategy information obtained from the dialogue strategy memory unit.
  • another aspect of this disclosure is the above-mentioned material generation device, which includes a memory unit that stores information related to the material, and each of the multiple AI agents acquires reference information related to the dialogue from the memory unit and includes the acquired reference information in the dialogue.
  • Another aspect of this disclosure is the above-mentioned document generation device, wherein the input unit accepts input of multimodal data related to the document, the dialogue management unit causes a dialogue between the multiple AI agents based on the query and the multimodal information, and the dialogue between the multiple AI agents is multimodal.
  • another aspect of this disclosure is the above-mentioned document generation device, which includes an output generation unit that generates the document based on the results of the dialogue between the multiple AI agents, and an evaluation and verification unit that evaluates and verifies the document generated by the output generation unit.
  • Another aspect of this disclosure is a material generation method comprising a first step of receiving input of a query that indicates the material to be generated, and a second step of inferring the material indicated by the query by having a dialogue between multiple AI agents based on the query, and adding information indicating the characteristics of a person, including a fictional person, corresponding to at least one of the multiple AI agents to the dialogue between the multiple AI agents.
  • Another aspect of this disclosure is a program for causing a computer to function as an input unit that accepts input of a query that indicates the material to be generated, and a dialogue management unit that infers the material indicated by the query by having multiple AI agents interact with each other based on the query, and the program adds, to the interaction between the multiple AI agents, information indicating the characteristics of a person, including a fictional person, that corresponds to at least one of the multiple AI agents.
  • the material generation device, material generation method, and program disclosed herein can generate materials that match a person's characteristics.
  • FIG. 1 is a schematic block diagram showing the configuration of a material generation device 10 according to a first embodiment of the present disclosure.
  • FIG. 2 is a schematic block diagram showing an example of the configuration of an image recognition unit 110 in the embodiment.
  • FIG. 2 is a schematic block diagram showing an example of the configuration of a natural language processing unit 130 according to the embodiment.
  • FIG. 2 is a schematic block diagram showing an example of the configuration of an information refining unit 140 in the embodiment.
  • FIG. 2 is a schematic block diagram showing an example of the configuration of an image generating unit 170 in the embodiment.
  • 10 is a flowchart illustrating an example of the operation of the material generation device 10 in the embodiment. 2 is a schematic diagram showing a use case of the material generation device 10 in the embodiment.
  • FIG. 10 is a schematic block diagram showing the configuration of a material generation device 20 according to a second embodiment of the present disclosure.
  • FIG. 2 is a schematic block diagram showing the configuration of a hypothesis generation unit 208 in the embodiment.
  • FIG. 1 is an explanatory diagram illustrating a hardware configuration of a material generation device 10 according to each embodiment.
  • FIG. 1 is a schematic block diagram showing the configuration of a material generation device 10 according to the first embodiment of the present disclosure.
  • the material generation device 10 is a device that generates materials consisting of text and images in response to a user request.
  • the material generation device 10 may be realized by one or more computers reading and executing a program.
  • the multiple computers may be connected to each other so as to be able to communicate with each other via a general-purpose or dedicated network.
  • the material generation device 10 includes an image input unit 100, an image recognition unit 110, a language input unit 120 (input unit), a natural language processing unit 130, an information refining unit 140 (dialogue management unit), a memory unit 150, a document generation unit 160, an image generation unit 170, a display processing unit 180, and a display unit 190.
  • the image input unit 100 accepts user input of image D1, which serves as an example of the material to be generated.
  • the image input unit 100 may accept user input using input means such as a keyboard or mouse, or may accept input of image D1 by receiving it from another device.
  • the image recognition unit 110 inputs image D1 input to the image input unit 100 into a trained model and infers its features to create image-derived context features D2.
  • the image-derived context features D2 may be features identified that have important weights from the features of the inference results.
  • the trained model may be a hierarchical network such as the Image Encoder or ViT (Vision Transformer) of CLIP (Contrastive Language-Image Pre-training) by OpenAI (registered trademark).
  • the trained model may be provided by the image recognition unit 110, or by another device that is connected to the material generation device 10 via a network or the like. Additionally, features with significant weights may be identified using an attention mechanism such as multi-head attention.
  • the language input unit 120 accepts user input of language (query D3) that indicates the material to be generated.
  • the language input unit 120 may accept user input using input means such as a keyboard or mouse, or may accept query D3 input by receiving it from another device.
  • This query D3 is text data and may include text data that serves as an example of the material to be generated.
  • the natural language processing unit 130 inputs the query D3 input to the language input unit 120 into a trained model and infers its features to create language-derived context features.
  • the language-derived context features may be features that have been identified as having important weights from the features of the inference results.
  • the natural language processing unit 130 generates a generated query D4, which is language (text data) that combines at least a portion of the query D3, language-derived context features, image-derived context features D2, complementary information D5, which is preference information described below, and summary sentence D6, which is a document resulting from inference by the information refining unit 140.
  • the generated query D4 may be a prompt that causes the document generation unit 160 to infer the document indicated by the generated query D4.
  • the trained model of the natural language processing unit 130 may be, for example, a hierarchical network such as a CLIP text encoder.
  • the trained model may be provided by the natural language processing unit 130, or by another device that is connected to the material generation device 10 via a network or the like. Furthermore, features with significant weights may be identified by an attention mechanism.
  • the trained model of the natural language processing unit 130 is paired with the trained model of the image recognition unit 110, and is trained to infer, as natural language features describing an image, features similar to those inferred from the image by the trained model of the image recognition unit 110.
  • the information refinement unit 140 uses query D3 as an initial input and infers a document from the materials specified by query D3 by repeatedly exchanging input and output between two dialogue-based document generation models.
  • the information refinement unit 140 adds preference information, which includes a specific individual's preferences or thought patterns, to the dialogue between these two dialogue-based document generation models.
  • These two dialogue-based document generation models may be, for example, a dialogue-based document generation network such as chatGPT (registered trademark) by OpenAI (registered trademark).
  • the information refinement unit 140 summarizes the inferred document and inputs the result as summary sentence D6 to the natural language processing unit 130.
  • the information refinement unit 140 also inputs the result of the inferred document summary as language answer D9 to the display processing unit 180.
  • one of these two dialogue-attached document generation models may be required to infer detailed documents, while the other may be required to infer concise documents.
  • the input to at least one of the two dialogue-attached document generation models may be the output of the other, to which a dialogue/inference history D8 stored in the storage unit 150 has been added.
  • the dialogue/inference history D8 may include an inference history D7 that the information refining unit 140 has stored in the storage unit 150 as the inference results from the two dialogue-attached document generation models.
  • these dialogue-attached document generation models may be provided by the information refining unit 140, or may be provided by another device that is communicatively connected to the material generation device 10 via a network or the like.
  • the dialogue/inference history D8 stored in the memory unit 150 may include preference information (for example, the individual's posting history to a social network service (SNS)) that includes the preferences or thought patterns of a specific individual.
  • the specific individual may be the user who requested the generation of the materials, or a person or group of people who are expected to read the generated materials.
  • the information refining unit 140 may input the preference information, or the thought patterns extracted from the preference information by an encoder, expressed as high-dimensional features, or the decoded high-dimensional features, to the natural language processing unit 130 as complementary information D5.
  • the document generation unit 160 inputs the generation query D4 into a dialogue-attached document generation model, infers the document requested by the generation query D4, and sets the inference result as a command query D10.
  • This dialogue-attached document generation model may be a large-scale language model such as chatGPT (registered trademark) or BERT.
  • this dialogue-attached document generation model may be provided by the document generation unit 160, or by another device that is communicatively connected to the material generation device 10 via a network or the like.
  • the command query D10 may be a prompt that causes the image generation unit 170 to infer an image corresponding to the document requested by the generation query D4.
  • the image generation unit 170 generates an image based on at least the document inference result by the information refinement unit 140. Furthermore, the generation of this image may be based on image-derived context features. Specifically, the image generation unit 170 inputs the command query D10 generated using this information into a trained image generation model to infer the image indicated by the command query D10, and sets the inference result as an image answer D11.
  • This trained image generation model may be, for example, an image synthesis model that generates images from text, such as Stable Diffusion developed by the CompVis group at the University of Kunststoff, or it may be a combination of a CLIP text encoder and a corresponding diffusion decoder.
  • the display processing unit 180 obtains the verbal response D9 from the information refining unit 140 and the image response D11 from the image generation unit 170, and displays these on the display unit 190.
  • the display unit 190 is a display such as a liquid crystal display or an organic EL (Electro-Luminescence) display.
  • FIG. 2 is a schematic block diagram showing an example configuration of the image recognition unit 110 in this embodiment.
  • the image recognition unit 110 includes a learned deep feature extraction unit 111 and a context analysis unit 112.
  • the learned deep feature extraction unit 111 inputs image D1 into a learned model such as CLIP's Image Encoder or ViT to infer its features.
  • the context analysis unit 112 identifies features with important weights from the features inferred by the learned deep feature extraction unit 111 using an attention mechanism, and sets these as image-derived context features D2.
  • the attention mechanisms used are self-attention and cross-attention. Self-attention learns the relationships between elements at different positions within sequence data and assigns weights. In other words, self-attention learns similar locations and features within the same image space and assigns weights.
  • Cross-attention can learn correlations between different inputs; in the case of images, it can learn similar features between different images given as input, and in the case of language, it can obtain global features between multiple pieces of text given as input.
  • Cross-attention can also be used to acquire important features of different modalities, such as language and images. Both self-attention and cross-attention have the advantage that the model itself can automatically acquire the relationships between different elements and automatically learn the importance of information.
  • FIG. 3 is a schematic block diagram showing an example configuration of the natural language processing unit 130 in this embodiment.
  • the natural language processing unit 130 includes a learned deep feature extraction unit 131, a context analysis unit 132, and a prompt generation unit 133.
  • the learned deep feature extraction unit 131 inputs query D3 into a learned model such as CLIP's text encoder to infer its features.
  • the context analysis unit 132 identifies, from the features inferred by the learned deep feature extraction unit 131, features that have an important weight due to the attention mechanism, and sets them as language-derived context features. Self-attention and cross-attention are used as the attention mechanism.
  • the prompt generation unit 133 inputs context features, which are a combination of language-derived context features and image-derived context features D2, into the trained model to infer context language, which is text data representing the context features.
  • context features which are a combination of language-derived context features and image-derived context features D2
  • the combination of language-derived context features and image-derived context features D2 may be, for example, element-wise addition or multiplication of the language-derived context features and image-derived context features D2, or may be concatenated as a combination of different tensors, or the relationship between elements of different modalities may be learned using cross-attention.
  • the element of the language-derived context feature D1 is T1i
  • the element of the image-derived context feature D2 is T2i
  • i is an integer from 0 to N-1 (N is the number of elements of each feature)
  • the trained model may be, for example, a hierarchical network such as a text decoder compatible with CLIP.
  • the prompt generation unit 133 combines the query D3, the supplementary information D5, the summary D6, and the context language, and generates a generation query D4, which is text data that instructs the document generation unit 160 to generate an instruction query D10 from the material indicated by the query D3, with reference to the supplementary information D5, the summary D6, and the context language.
  • the prompt generation unit 133 decodes the high-dimensional features of the query D3, the supplementary information D5, the summary D6, and the context language to generate text information, and then combines the text to generate the generation query D4.
  • the query D3, complementary information D5, summary sentence D6, and context language are converted into linguistic information and combined with the text, which can then be input to the dialogue-attached document generation model of the document generation unit 160.
  • the image recognition unit 110 converts an image into high-dimensional features using a transformer encoder such as ViT, the image is decoded here and restored to linguistic information, thereby aligning the linguistic information with that which the dialogue-attached document generation model can understand.
  • a transformer encoder such as ViT
  • the information refinement unit 140 includes an information control unit 141, dialogue-attached document generation inference units 142 and 143, an information complementation unit 144, and an information summary unit 145.
  • the information control unit 141 repeatedly exchanges input and output between the dialogue-attached document generation inference units 142 and 143, causing them to interact with each other.
  • the information control unit 141 uses query D3 as an initial input, requests the dialogue-attached document generation inference unit 142 to infer a detailed document, and requests the dialogue-attached document generation inference unit 143 to infer a concise document.
  • the information control unit 141 may use language (text) such as, for example, "Please tell me more about the following sentence,” "Please provide specific details about the following text,” “Please provide the following information in this context,” “Please explain this in more detail,” or “Please provide information supplementing the above content.” Furthermore, when the information control unit 141 requests the dialogue-assisted document generation inference unit 142 to infer a concise document, it may use language such as "Please briefly summarize the following sentence,” “Please tell me the main points of the following text,” “Please provide a summary of this context,” “Please explain this briefly,” or “Please tell me the main points of the above content.”
  • the information control unit 141 may terminate the repetition of the dialogue after a predetermined number of times, or may terminate it when it is determined that the inference result has not changed even after repetition.
  • the information control unit 141 may extract preference information from the dialogue content by the dialogue-attached document generation type inference unit 142 or the dialogue-attached document generation type inference unit 143 and from the storage unit 150. Specifically, when the information control unit 141 requests the dialogue-attached document generation type inference unit 143 or 142 to infer a document, it adds the following to the text output by the dialogue-attached document generation type inference unit 142 or 143: A.
  • the information control unit 141 when requesting document inference from the dialogue-assisted document generation inference unit 143 or 142, the information control unit 141 adds pairs of questions, such as J. "Please tell us about your recent experiences and thoughts related to [a specific topic]," K. “Please tell us your opinions and feelings about [recent news or events],” L. “Please explain how to address challenges in [a specific area or domain],” M. “What is the most motivating factor when using ChatGPT (registered trademark) or other AI systems?”, and N. "Imagine an ideal conversation with ChatGPT (registered trademark). What topics would you discuss, and what do you expect from the interaction?", along with the user's answers, so that preference information containing specific individual thought patterns is included in the inference result.
  • the text in [ ] may be stored in advance, or may be extracted by the information control unit 141, dialogue-assisted document generation inference unit 143, or 142 from the content of posts to SNS stored in the storage unit 150.
  • the preference patterns of a specific individual can also be obtained through back-end history analysis. For example, the following methods can be used to obtain thought patterns.
  • Chat history analysis By analyzing the chat history of a specific individual, it is possible to understand their interests and preferences in specific topics, their unique expressions and phrases, and their tendencies.
  • Natural language processing technology By utilizing natural language processing (NLP) technology, emotions, attitudes, interests, etc. of a specific individual can be extracted from their writing.
  • NLP natural language processing
  • Personalization Providing individualized responses to specific topics or information based on a specific individual's answers can help understand a specific individual's thought patterns.
  • Clustering Clustering techniques can be used to group individuals with similar responses, allowing for the discovery of common characteristics and trends.
  • Contextual Understanding Understanding the context of a specific individual's conversation and generating responses based on that enables more appropriate interactions.
  • preference information may be extracted based on the language extracted from query D3.
  • the language included in the parentheses of A and D above may be the language extracted from query D3.
  • information control unit 141 may predict the proper nouns of objects in the image using object recognition or VQA (visual question answering), and may add a document describing the name and context to query D3, with the name being written in parentheses of A above. This allows information control unit 141 to automatically specify the preference target.
  • query D3 contains a proper noun
  • the proper noun or sentence context containing the preference information may be written in parentheses of A above. This allows the preference target to be given, and preference information to be automatically acquired.
  • preferences include, for example, topics of interest, favorite activities, favorite music genres, favorite movie and TV drama genres, food preferences, hobbies, special skills, preferred tourist spots or travel destinations, and fashion styles.
  • Thinking patterns are information that indicates the thinking tendencies of users and other people who are expected to read the generated materials, such as logical thinking, intuitive thinking, concrete thinking, mocking thinking, analytical thinking, and comprehensive thinking.
  • Logical thinkers tend to analyze information logically and make rational decisions, and are characterized by a preference for logical problem-solving and argumentation.
  • Intuitive thinkers tend to process information based on intuition and emotion, make intuitive decisions, and are characterized by a preference for intuitive insights and creative problem-solving.
  • Concrete thinkers are characterized by thinking based on concrete facts and detailed information, preferring concrete approaches, and emphasizing concrete examples and concrete procedures.
  • Abstract thinkers are characterized by thinking based on big-picture perspectives and abstract ideas, and being interested in finding general principles and patterns.
  • Analytical thinkers are characterized by analyzing problems, researching information in detail to understand the finer details and related factors, and placing emphasis on logical reasoning and data analysis. Holistic thinkers consider multiple perspectives and factors comprehensively, are interested in grasping the big picture, and seek to integrate information and find comprehensive solutions. Examples of social media platforms include Facebook (registered trademark), Instagram (registered trademark), Twitter (registered trademark), and LINE (registered trademark).
  • the information control unit 141 may instruct the dialogue-attached document generation type inference unit 142 or the dialogue-attached document generation type inference unit 143 to extract preference information from the storage unit 150. Specifically, the information control unit 141 extracts preference information of a specific individual from the content posted to the SNS stored in the storage unit 150 by inputting the above-mentioned text A, B, C, etc. to the dialogue-attached document generation type inference unit 143 or 142. When instructing the extraction of preference information from the storage unit 150, the information control unit 141 may input the content posted to the SNS containing the words extracted from query D3 to the dialogue-attached document generation type inference unit 142 or the dialogue-attached document generation type inference unit 143. Furthermore, the information control unit 141 may extract preference information from an external device such as an SNS server, rather than from the storage unit 150.
  • an external device such as an SNS server
  • Each of the dialogue-attached document generation type inference units 142 and 143 inputs the output of the other into a dialogue-attached document generation model.
  • the dialogue-attached document generation type inference unit 142 and the dialogue-attached document generation type inference unit 143 may use different dialogue-attached document generation models.
  • the information complementation unit 144 uses the preference information as complementary information D5.
  • the information complementation unit 144 may combine preference information extracted from the dialogue content with preference information extracted from the storage unit 150 to create complementary information D5.
  • the information summary unit 145 creates a summary of the inference results of the dialogue-attached document generation type inference units 142 and 143, and creates a summary sentence D6 and a linguistic answer D9.
  • the summary may be created using a trained model for creating a summary, or by instructing the dialogue-attached document generation model to create a summary.
  • FIG. 5 is a schematic block diagram showing an example configuration of the image generation unit 170 in this embodiment.
  • the image generation unit 170 includes a trained deep feature extraction unit 171 and an image decoder unit 172.
  • the trained deep feature extraction unit 171 inputs the command query D10 to a trained model to infer its features.
  • This trained model may be, for example, a hierarchical network such as a CLIP text encoder.
  • the image decoder unit 172 inputs the features resulting from the inference by the trained deep feature extraction unit 171 to the trained model to infer an image answer D11, which is an image representing the features.
  • This trained model may be, for example, a hierarchical network such as a diffusion decoder corresponding to CLIP.
  • the learned deep feature extraction unit 171 may identify features with important weights from the features of the inference result, and the image decoder unit 172 may input the identified features into the learned model to infer an image representing the identified features, and use this as the image answer D11.
  • FIG. 6 is a flowchart illustrating an example of the operation of the material generation device 10 in this embodiment.
  • the language input unit 120 accepts input of a query D3 by the user (step S1).
  • the image input unit 100 accepts input of an image D1 by the user (step S2).
  • the information refining unit 140 uses the query D3 input to the language input unit 120 in step S1 as an initial input, and infers the document requested by the query D3 by repeatedly exchanging input and output between the two dialogue-attached document generation models, and summarizes the inference results as a language answer D9 and complementary information D5 (step S3).
  • the information refining unit 140 may input the preference information of a specific individual read from the storage unit 150 to one of the two dialogue-attached document generation models so that the preference information is reflected in the inference results.
  • the information refining unit 140 also treats the preference information as complementary information D5.
  • the image recognition unit 110 inputs the image D1 input to the image input unit 100 in step S2 into the trained model, infers its features, and identifies features with significant weights from the inferred features, which are then used as image-derived context features D2 (step S4).
  • the natural language processing unit 130 inputs the query D3 into the trained model to infer its features, and identifies features (language-derived context features) with significant weights from the features resulting from the inference. Furthermore, the natural language processing unit 130 combines the query D3, language-derived context features, image-derived context features D2, complementary information D5, and summary sentence D6 to generate a generated query D4 (step S5).
  • the document generation unit 160 inputs the generation query D4 generated in step S5 into a dialogue-attached document generation model, infers the document requested by the generation query D4, and sets the inference result as a command query D10 (step S6).
  • the image generation unit 170 inputs the command query D10 of step S6 into a trained image generation model, infers the image indicated by the command query D10, and sets the inference result as an image answer D11 (step S7).
  • the display processing unit 180 obtains the verbal response D9 of step S3 from the information refining unit 140 and the image response D11 of step S7 from the image generating unit 170, and displays these on the display unit 190 (step S8).
  • the display processing unit 180 may output the verbal response D9 and the image response D11 as electronic files, or may transmit them to another device.
  • FIG. 7 is a schematic diagram showing a use case of the material generation device 10 in this embodiment.
  • the user inputs text E3, "I want to get a rabbit image with holding a carrot," as query D3 into the language input unit 120.
  • the user also inputs three images E1 of rabbits holding carrots into the image input unit 100 as images D1.
  • the rabbits in image E1 are gray, pink, and brown.
  • the information refinement unit 140 extracts the text E8, "She loves white rabbits,” as preference information from the user's SNS posting history stored in the memory unit 150, and inputs it into one of the dialogue-assisted document generation inference units 142, 143.
  • the dialogue-assisted document generation inference units 142, 143 then engage in a dialogue E12, asking questions such as, "What does look like a rabbit?" and "Common rabbits are Lepus Timidus.”
  • the information summary unit 145 generates the text E9, "A white rabbit like Lepus Timidus with ears up, holding a tip up carrot and facing forward," as a linguistic answer D9 or summary sentence D6.
  • the image generation unit 170 Because the command query D10 generated by the document generation unit 160 includes the contents of the text E9, the image generation unit 170 generates an image E11 of a white rabbit holding a carrot as the image answer D11.
  • the material generation device 10 includes a user interface unit 201, a language analysis unit 202, an image analysis unit 203, a multimodal information integration unit 204, a user information DB (Data Base) unit 205, a provider information DB unit 206, an external information DB unit 207, a hypothesis generation unit 208, an artificial intelligence unit 209, and a display processing unit 212.
  • the material generation device 10 may be realized by one or more computers reading and executing programs, or at least a portion of the material generation device 10 may be located on a so-called cloud.
  • the language analysis unit 202 processes text data input to the user interface unit 201.
  • the text data may be text data contained in document data such as a PDF file, or text data contained in content (such as web page content) indicated by referenced data.
  • the language analysis unit 202 may also perform speech recognition processing on voice data input to the user interface unit 201 and convert it into text data.
  • the image analysis unit 203 analyzes image data input to the user interface unit 201 and extracts features.
  • the image data may be image data included in document data such as a PDF file, or image data included in content indicated by referenced data.
  • the multimodal information integration unit 204 integrates the features of the text data and image data from the language analysis unit 202 and image analysis unit 203, and converts them into a vector representation.
  • the multimodal information integration unit 204 inputs the query converted into a vector representation to the hypothesis generation unit 208.
  • the multimodal information integration unit 204 also stores the user information converted into a vector representation in the user information DB unit 205, and stores the provider information converted into a vector representation in the provider information DB unit 206.
  • the user information DB unit 205, provider information DB unit 206, and external information DB unit 207 store information related to materials.
  • the user information DB unit 205 is a database that stores user information converted into vector representation.
  • the provider information DB unit 206 is a database that stores provider information converted into vector representation.
  • the external information DB unit 207 is a database that stores an externally located database such as the Internet, or data acquired from an external source.
  • the hypothesis generation unit 208 generates materials indicated by the query converted into a vector representation input from the multimodal information integration unit 204.
  • the hypothesis generation unit 208 infers materials indicated by the query by having multiple AI agents converse with each other.
  • the hypothesis generation unit 208 includes, in the dialogue between the multiple AI agents, information indicating the characteristics of a person corresponding to at least one of the multiple AI agents.
  • This dialogue may be a dialogue between a hypothesis generation side and a criticism side.
  • the hypothesis generation unit 208 may have one AI agent generate a hypothesis and another AI agent criticize or critique the hypothesis. This allows the hypothesis generation unit 208 to improve the accuracy of the hypothesis and the quality of the materials it generates.
  • the hypothesis generation unit 208 may have the AI agent that generated the hypothesis revise the hypothesis based on the results of the criticism or critique.
  • the hypothesis generation unit 208 references information stored in the user information DB unit 205, provider information DB unit 206, and external information DB unit 207. Furthermore, when generating materials, the hypothesis generation unit 208 uses the artificial intelligence unit 209, which has artificial intelligence functions.
  • the artificial intelligence unit 209 refers to artificial intelligence equipped with intelligent functions such as inference and judgment, and its operating environment.
  • the artificial intelligence unit 209 is composed of a model control unit 210 and a trained model storage unit 211.
  • the artificial intelligence unit 209 is a model configured to output a response to a prompt when the prompt is input, and its operating environment.
  • the artificial intelligence unit 209 outputs a response based on the prompt and the trained model described below.
  • the trained model storage unit 211 stores trained models.
  • the trained model includes model information, which will be described later.
  • the trained model may also include model parameters, which are information that defines the behavior of the model, such as constraints, weighting variables, and evaluation functions.
  • Models include, for example, NN (Neural Network), CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), VAE (Variational Autoencoder), GAN (Generative Adversarial Networks), diffusion model, Transformer, LLM (Large The model may be a model called LLM (Language Model), VLM (Visual Language Model), BERT (Bidirectional Encoder Representations from Transformers), GPT (Generative Pre-trained Transformer), or CLIP (Contrastive Language Image Pre-training).
  • LLM Local Language Model
  • VLM Visual Language Model
  • BERT Binary Encoder Representations from Transformers
  • GPT Geneerative Pre-trained Transformer
  • CLIP Contrastive Language Image Pre-training
  • the model control unit 210 When the model control unit 210 receives a prompt, it outputs an answer corresponding to the prompt based on the prompt and the trained model. In other words, when the model control unit 210 receives a prompt, it uses the model indicated by the trained model to generate and output an answer corresponding to the prompt.
  • the trained model and other information used by the artificial intelligence unit 209 may be prepared in advance, or may be obtained via a network as needed.
  • the display processing unit 212 is equipped with a display such as a liquid crystal display or an organic EL (Electro Luminescence) display, and displays the materials generated by the hypothesis generation unit 208. Note that the display equipped by the display processing unit 212 may be the same as the display equipped by the user interface unit 201.
  • a display such as a liquid crystal display or an organic EL (Electro Luminescence) display, and displays the materials generated by the hypothesis generation unit 208. Note that the display equipped by the display processing unit 212 may be the same as the display equipped by the user interface unit 201.
  • FIG. 9 is a schematic block diagram showing the configuration of the hypothesis generation unit 208 in this embodiment.
  • the hypothesis generation unit 208 includes three AI agent units 301a, 301b, and 301c (AI agents), an AI agent dialogue management unit 302 (dialogue management unit), a dialogue history knowledge DB unit 303, a dialogue strategy DB unit 304 (dialogue strategy storage unit), an output generation unit 305, and an evaluation verification unit 306. While Figure 9 shows three AI agent units 301a, 301b, and 301c, the number of AI agent units included in the hypothesis generation unit 208 may be two, or four or more.
  • the three AI agent units 301a, 301b, and 301c correspond one-to-one to the three people.
  • any AI agent unit such as an AI agent unit selected from the three AI agent units 301a, 301b, and 301c, will also be referred to as AI agent unit 301.
  • Each of the three AI agent units 301a, 301b, and 301c includes personal information indicating the characteristics of the corresponding person among the three people in the dialogue. At least one of the three people may be a fictitious person.
  • the personal information of the fictitious person may include information indicating the role of the fictitious person.
  • the role of the fictitious person may be, for example, an excellent business analyst, an excellent consultant for a provider that promotes digitalization, or an executive of the user's X business division. Note that if a specific, non-fictitious person is included among the three people, the personal information of the specific person may include information indicating the role of the specific person, or may include copyrighted works of or related to the specific person.
  • Each of the AI agent units 301a, 301b, and 301c acquires reference information related to the dialogue from the user information DB unit 205, provider information DB unit 206, external information DB unit 207, and dialogue history knowledge DB unit 303, and includes the acquired reference information in the dialogue.
  • each of the AI agent units 301a, 301b, and 301c is specified by the AI agent dialogue management unit 302 the reference information and tasks to acquire from the user information DB unit 205, provider information DB unit 206, external information DB unit 207, and dialogue history knowledge DB unit 303.
  • Each of the AI agent units 301a, 301b, and 301c acquires the specified reference information from the user information DB unit 205, provider information DB unit 206, external information DB unit 207, and dialogue history knowledge DB unit 303.
  • Each of the AI agent units 301a, 301b, and 301c generates a prompt including the acquired reference information, the specified task, and the corresponding person information, and inputs the generated prompt to the model control unit 210 of the artificial intelligence unit 209. That is, each of the AI agent units 301a, 301b, and 301c requests from the model control unit 210 an answer that would be given if the person indicated by the person information performed the specified task while referring to the acquired reference information.
  • Each of the AI agent units 301a, 301b, and 301c stores the answer from the model control unit 210 in the dialogue history knowledge DB unit 303.
  • Tasks include generating hypotheses, criticizing or commenting on the generated hypotheses, and modifying hypotheses based on the criticism or commentary. For example, tasks include “analyze the reference information and create a detailed report,” “evaluate the feasibility of the report output in the previous step,” and “revise the report based on the evaluation of feasibility.” Tasks may also include specifying a specific format for the answer.
  • the AI agent dialogue management unit 302 causes the AI agent unit 301 selected from the three AI agent units 301a, 301b, and 301c to dialogue in accordance with the dialogue process indicated by the dialogue strategy information obtained from the dialogue strategy DB unit 304.
  • the AI agent dialogue management unit 302 inputs the results of the dialogue to the output generation unit 305.
  • the dialogue and the results of the dialogue may be multimodal data including, in addition to text, images, figures, tables, graphs, audio, and video.
  • the dialogue process may include multiple steps, and may include a task in each step, the designation of one of the AI agent units 301a, 301b, and 301c, and the designation of reference information.
  • the AI agent dialogue management unit 302 may use the model control unit 210 of the artificial intelligence unit 209 to carry out a dialogue between the three AI agent units 301a, 301b, and 301c based on the dialogue strategy information. For example, the AI agent dialogue management unit 302 may input a prompt to the model control unit 210 inquiring about the content of the next step to be executed, along with the execution history of the steps up to that point and dialogue strategy information, and cause the AI agent unit 301 to dialogue according to the answer corresponding to the prompt.
  • the AI agent dialogue management unit 302 may obtain dialogue strategy information from the dialogue strategy DB unit 304 based on a query (hereinafter also referred to as query information) converted into a vector representation input from the multimodal information integration unit 204.
  • the AI agent dialogue management unit 302 may search the dialogue strategy DB unit 304 using the query information and obtain dialogue strategy information as a search result.
  • each step of the dialogue strategy may include obtaining dialogue strategy information by searching the dialogue strategy DB unit 304 again and specifying information to be used in the search.
  • Information used for the search may be, for example, query information, reference information, etc.
  • the dialogue history knowledge DB unit 303 stores the answers that the AI agent unit 301 obtains from the model control unit 210 as dialogue history.
  • the dialogue history knowledge DB unit 303 may also store prompts input to the model control unit 210.
  • the dialogue strategy DB unit 304 stores dialogue strategy information.
  • the dialogue strategy information may include the purpose of the dialogue strategy and the dialogue process.
  • the dialogue strategy information stored in the dialogue strategy DB unit 304 may be, for example, a natural language sentence such as "Create a proposal to improve the business process.
  • the dialogue process consists of three steps. The first step is to have the business analyst's AI agent collect and analyze the user's business process and submit a report of the results. The report format is -- converted into a vector representation.
  • the output generation unit 305 generates materials based on the results of the dialogue input from the AI agent dialogue management unit 302.
  • the format of the materials may be specified by the AI agent dialogue management unit 302 based on the dialogue strategy information.
  • the output generation unit 305 may generate materials by inputting a prompt to the model control unit 210 to instruct the generation of materials, along with the results of the dialogue input from the AI agent dialogue management unit 302 and the format of the materials, and obtaining the materials as a response to the prompt.
  • the materials may be multimodal data that includes images, figures, tables, graphs, etc. in addition to text.
  • the output generation unit 305 may also modify the generated materials based on the results of evaluation and verification by the evaluation verification unit 306 of the materials. For example, the output generation unit 305 may modify the materials by inputting a prompt to the model control unit 210 instructing modification of the materials, along with the results of evaluation and verification by the evaluation verification unit 306 of the generated materials, and obtaining the materials as an answer to the prompt. The output generation unit 305 inputs the modified materials to the display processing unit 212. Note that the output generation unit 305 may repeat the evaluation and verification by the evaluation verification unit 306 and modification multiple times before inputting the modified materials to the display processing unit 212.
  • the evaluation verification unit 306 evaluates and verifies the materials input from the output generation unit 305.
  • the evaluation verification unit 306 may input a prompt to the model control unit 210 instructing the evaluation and verification of the materials along with the materials input from the output generation unit 305, and obtain the results of the evaluation and verification as an answer to the prompt.
  • the evaluation verification unit 306 may also include personal information indicating, for example, a reviewer in the prompt. The personal information included in the prompt may change with each evaluation and verification.
  • the multiple AI agent units 301 correspond one-to-one to multiple people, and each of the multiple AI agent units 301 includes in its dialogue personal information indicating the characteristics of the corresponding person among the multiple people. This allows the document generation device 20 to generate documents that correspond to the characteristics of the multiple people.
  • FIG. 10 is an explanatory diagram illustrating the hardware configuration of the material generation devices 10 and 20 according to this embodiment.
  • the material generation devices 10 and 20 are configured to include an input/output module I, a storage module M, and a control module P.
  • the input/output module I is implemented to include some or all of the following: a communication module H11, a connection module H12, a pointing device H21, a keyboard H22, a display H23, a button H3, a microphone H41, a speaker H42, a camera H51, or a sensor H52.
  • the storage module M is implemented to include a drive H7.
  • the storage module M may further be configured to include some or all of a memory H8.
  • the control module P is implemented to include a memory H8 and a processor H9. These hardware components are connected to each other so as to be able to communicate with each other via a bus, and are supplied with power from a power supply H6.
  • the connection module H12 is a digital input/output port such as a USB (Universal Serial Bus).
  • the pointing device H21, keyboard H22, and display H23 are touch panels.
  • the sensor H52 is an acceleration sensor, gyro sensor, GPS receiver module, proximity sensor, etc.
  • the power supply H6 is a power supply unit that supplies the electricity necessary to operate each device. In the case of a portable device, the power supply H6 is a battery.
  • the drive H7 is an auxiliary storage medium such as a hard disk drive or solid state drive.
  • the drive H7 may be non-volatile memory such as an EEPROM or flash memory, or a magneto-optical disk drive or flexible disk drive.
  • the drive H7 is not limited to being built into each device, but may also be an external storage device connected to the connector of the connection module H12.
  • the memory H8 is a primary storage medium such as a random access memory.
  • the memory H8 may also be cache memory.
  • the memory H8 stores instructions when these instructions are executed by one or more processors H9.
  • the processor H9 is a CPU (central processing unit).
  • the processor H9 may also be an MPU (microprocessing unit) or a GPU (graphics processing unit).
  • the processor H9 reads programs and various data from the drive H7 via the memory H8 and performs calculations to execute the instructions stored in the one or more memories H8.
  • One embodiment of the present disclosure is a material generation device that includes an input unit that accepts input of a query that indicates the material to be generated, and a dialogue management unit that infers the material indicated by the query by having a dialogue between multiple AI agents based on the query, and includes information indicating characteristics of a person corresponding to at least one of the multiple AI agents in the dialogue between the multiple AI agents.
  • Another embodiment of the present disclosure is the document generation device described in (1), wherein the multiple AI agents are two dialogue-attached document generation models, the input unit is a language input unit that accepts the query as input, the dialogue management unit is an information refinement unit that uses the query as an initial input to repeatedly exchange input and output between the two dialogue-attached document generation models to infer a document from the document specified by the query, and the document generation device further includes an image generation unit that generates an image based on the document resulting from the inference by the information refinement unit, and adds preference information including the preferences or thought patterns of a specific individual to the dialogue between the two dialogue-attached document generation models.
  • the input unit is a language input unit that accepts the query as input
  • the dialogue management unit is an information refinement unit that uses the query as an initial input to repeatedly exchange input and output between the two dialogue-attached document generation models to infer a document from the document specified by the query
  • the document generation device further includes an image generation unit that generates an image based on the document
  • Another embodiment of the present disclosure is the document generation device described in (2), further comprising: an image input unit that accepts input of an image that serves as an example of the document to be generated; and an image recognition unit that inputs the image input to the image input unit into a trained model to infer features of the image input to the image input unit and use them as image-derived context features, and the image generation unit generates images based on the image-derived context features in addition to documents that are the inference results of the information refinement unit.
  • Another embodiment of the present disclosure is the document generation device described in (3), further comprising: a natural language processing unit that inputs the query to a trained model, infers features of the query as language-derived context features, and generates a generated query that combines at least a portion of the query, the language-derived context features, the image-derived context features, the preference information, and a document inferred by the information refining unit; and a document generation unit that inputs the generated query to a dialogue-attached document generation model, infers a document requested by the generated query, and sets the inference result as a command query, and the image generation unit inputs the command query to a trained image generation model, inferring an image indicated by the command query.
  • Another embodiment of the present disclosure is the document generation device described in (1), wherein the dialogue between the multiple AI agents includes the generation of a hypothesis by one AI agent and criticism or critique of the generated hypothesis by the other AI agents.
  • Another embodiment of the present disclosure is the document generation device described in (1) or (5), wherein the plurality of AI agents correspond one-to-one to a plurality of people, and each of the plurality of AI agents includes in its dialogue person information indicating the characteristics of the corresponding person among the plurality of people.
  • Another embodiment of the present disclosure is the material generation device described in (6), wherein at least one of the multiple characters is a virtual character, and the character information of the virtual character includes information indicating the role of the virtual character.
  • Another embodiment of the present disclosure is a material generation device described in any one of (1) to (7), which includes a dialogue strategy memory unit that stores dialogue strategy information indicating a dialogue process and a person to be dialogued, and the dialogue management unit causes the AI agent selected from the plurality of AI agents to dialogue in accordance with the dialogue process indicated by the dialogue strategy information acquired from the dialogue strategy memory unit.
  • Another embodiment of the present disclosure is a material generation device according to any one of (1) to (8), comprising a storage unit that stores information related to the material, and each of the plurality of AI agents acquires reference information related to the dialogue from the storage unit and includes the acquired reference information in the dialogue.
  • Another embodiment of the present disclosure is a document generation device described in any one of (1) to (9), wherein the input unit accepts input of multimodal data related to the document, the dialogue management unit causes a dialogue between the multiple AI agents based on the query and the multimodal information, and the dialogue between the multiple AI agents is multimodal.
  • Another embodiment of the present disclosure is a document generation device according to any one of (1) to (10), comprising an output generation unit that generates the document based on the results of the dialogue between the multiple AI agents, and an evaluation and verification unit that evaluates and verifies the document generated by the output generation unit.
  • Another embodiment of the present disclosure is a material generation method including a first step of receiving input of a query that indicates the material to be generated, and a second step of inferring the material indicated by the query by having a dialogue between multiple AI agents based on the query, and adding information indicating characteristics of a person, including a fictional person, corresponding to at least one of the multiple AI agents to the dialogue between the multiple AI agents.
  • Another embodiment of the present disclosure is a program that includes a computer, an input unit that accepts input of a query that indicates the material to be generated, and a program that adds information indicating the characteristics of a person, including a fictional person, corresponding to at least one of the plurality of AI agents to the dialogue between the plurality of AI agents in the query.
  • a program for realizing the functions of the material generation device 10 in Figure 1 may be recorded on a computer-readable recording medium, and the program recorded on this recording medium may be read into a computer system and executed to realize the material generation device 10.
  • the term "computer system” here includes hardware such as the OS and peripheral devices.
  • “computer-readable recording medium” refers to portable media such as flexible disks, optical magnetic disks, ROMs, and CD-ROMs, as well as storage devices such as hard disks built into computer systems. Furthermore, “computer-readable recording medium” also includes devices that dynamically store programs for a short period of time, such as communication lines when transmitting programs over networks like the Internet or communication lines like telephone lines, and devices that store programs for a fixed period of time, such as volatile memory within computer systems that serve as servers or clients in such cases. Furthermore, the above-mentioned programs may be those that implement some of the functions described above, or may be those that can implement the functions described above in combination with programs already stored in the computer system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

生成する資料を指示するクエリの入力を受け付ける言語入力部と、クエリを初期入力として、２つの対話付き文書生成モデルの間で相互に入出力を繰り返して対話させることにより、クエリにより指示された資料のうちの文書を推論する情報精錬部と、情報精錬部による推論結果の文書に基づき、画像を生成する画像生成部とを備え、２つの対話付き文書生成モデルによる対話に、特定の個人の嗜好あるいは思考パターンが含まれる嗜好情報を加える、資料生成装置である。

Description

資料生成装置、資料生成方法、およびプログラム
　本発明は、資料生成装置、資料生成方法、およびプログラムに関する。
　近年、OpenAI（登録商標）社のchatGPT（登録商標）、ミュンヘン大学のCompVisグループのStable Diffusionなど、深層学習を利用した生成AI（Generative Artificial Intelligence）が開発されている。特許文献１では、与えられた質問内容に対して深層学習によって導かれた回答により応答する際に、質問内容に関連したテキスト及び画像を含む複数の情報に基づいて回答を生成する情報処理装置が開示されている。
日本国特開２０２２－１１２５４１号公報
　しかしながら、特許文献１に記載の情報処理装置においては、人物の特徴に応じた資料を得ることができないことがあるという問題がある。
　本開示は、このような事情に鑑みてなされたもので、人物の特徴に応じた資料を生成できる資料生成装置、資料生成方法、およびプログラムを提供する。
　この開示は上述した課題を解決するためになされたもので、本開示の一態様は、生成する資料を指示するクエリの入力を受け付ける入力部と、前記クエリに基づき、複数のＡＩ（Artificial Intelligence）エージェントの間で対話させることにより、前記クエリにより指示された資料を推論する対話管理部とを備え、前記複数のＡＩエージェントによる対話に、前記複数のＡＩエージェントのうち、少なくとも１つのＡＩエージェントに対応する人物の特徴を示す情報を含める、資料生成装置である。
　また、この開示の他の一態様は、上述した資料生成装置であって、前記複数のＡＩエージェントは、複数の対話付き文書生成モデルであり、前記入力部は、前記クエリの入力を受け付ける言語入力部であり、前記対話管理部は、前記クエリを初期入力として、前記複数の対話付き文書生成モデルの間で相互に入出力を繰り返して対話させることにより、前記クエリにより指示された資料のうちの文書を推論する情報精錬部であり、前記情報精錬部による推論結果の文書に基づき、画像を生成する画像生成部を備え、前記複数の対話付き文書生成モデルによる対話に、特定の個人の嗜好あるいは思考パターンが含まれる嗜好情報を加える。
　また、この開示の他の一態様は、上述した資料生成装置であって、前記生成する資料の事例となる画像の入力を受け付ける画像入力部と、前記画像入力部に入力された画像を、学習済みモデルに入力して、前記画像入力部に入力された画像の特徴量を推論させて、画像由来コンテキスト特徴とする画像認識部とをさらに備え、前記画像生成部は、前記情報精錬部による推論結果の文書に加えて、前記画像由来コンテキスト特徴に基づき、画像を生成する。
　また、この開示の他の一態様は、上述した資料生成装置であって、前記クエリを、学習済みモデルに入力して、前記クエリの特徴量を推論させて言語由来コンテキスト特徴とし、前記クエリ、前記言語由来コンテキスト特徴、前記画像由来コンテキスト特徴、前記嗜好情報、前記情報精錬部による推論結果の文書の少なくとも一部を組み合わせた生成クエリを生成する自然言語処理部と、前記生成クエリを、対話付文書生成モデルに入力し、前記生成クエリにより要求された文書を推論し、推論結果を命令クエリとする文書生成部とをさらに備え、前記画像生成部は、前記命令クエリを学習済み画像生成モデルに入力して、前記命令クエリが示す画像を推論させる。
　また、この開示の他の一態様は、上述した資料生成装置であって、前記複数のＡＩエージェントによる対話は、１つのＡＩエージェントによる仮説の生成と、生成された前記仮説に対する他のＡＩエージェントによる批判または批評を含む。
　また、この開示の他の一態様は、上述した資料生成装置であって、前記複数のＡＩエージェントは、一対一に複数の人物に対応し、前記複数のＡＩエージェントの各々は、前記複数の人物のうち、対応する人物の特徴を示す人物情報を対話に含める。
　また、この開示の他の一態様は、上述した資料生成装置であって、前記複数の人物の少なくとも一人は、仮想の人物であり、前記仮想の人物の前記人物情報は、前記仮想の人物の役割を示す情報を含む。
　また、この開示の他の一態様は、上述した資料生成装置であって、対話プロセスと、対話させる人物とを示す対話戦略情報を記憶する対話戦略記憶部を備え、前記対話管理部は、前記対話戦略記憶部から取得した対話戦略情報が示す前記対話プロセスに従い前記複数のＡＩエージェントから選択した前記ＡＩエージェントに対話させる。
　また、この開示の他の一態様は、上述した資料生成装置であって、前記資料に関連する情報を記憶する記憶部を備え、前記複数のＡＩエージェントの各々は、前記記憶部から前記対話に関連する参照情報を取得し、取得した前記参照情報を前記対話に含める。
　また、この開示の他の一態様は、上述した資料生成装置であって、前記入力部は、前記資料に関連するマルチモーダルなデータの入力を受け付け、前記対話管理部は、前記クエリおよび前記マルチモーダルな情報に基づき、前記複数のＡＩエージェントの間で対話させ、前記複数のＡＩエージェントによる対話は、マルチモーダルである。
　また、この開示の他の一態様は、上述した資料生成装置であって、前記複数のＡＩエージェントによる対話の結果に基づき、前記資料を生成するアウトプット生成部と、前記アウトプット生成部が生成した資料を評価および検証する評価検証部とを備える。
　また、この開示の他の一態様は、生成する資料を指示するクエリの入力を受け付ける第１のステップと、前記クエリに基づき、複数のＡＩエージェントの間で対話させることにより、前記クエリにより指示された資料を推論する第２のステップとを有し、前記複数のＡＩエージェントによる対話に、前記複数のＡＩエージェントのうち、少なくとも１つのＡＩエージェントに対応する仮想を含む人物の特徴を示す情報を加える、資料生成方法である。
　また、この開示の他の一態様は、コンピュータを、生成する資料を指示するクエリの入力を受け付ける入力部、前記クエリに基づき、複数のＡＩエージェントの間で対話させることにより、前記クエリにより指示された資料を推論する対話管理部として機能させるためのプログラムであって、前記複数のＡＩエージェントによる対話に、前記複数のＡＩエージェントのうち、少なくとも１つのＡＩエージェントに対応する仮想を含む人物の特徴を示す情報を加える、プログラムである。
　本開示の資料生成装置、資料生成方法、およびプログラムは、人物の特徴に応じた資料を生成できる。
この開示の第１の実施形態による資料生成装置１０の構成を示す概略ブロック図である。 同実施形態における画像認識部１１０の構成例を示す概略ブロック図である。 同実施形態における自然言語処理部１３０の構成例を示す概略ブロック図である。 同実施形態における情報精錬部１４０の構成例を示す概略ブロック図である。 同実施形態における画像生成部１７０の構成例を示す概略ブロック図である。 同実施形態における資料生成装置１０の動作例を説明するフローチャートである。 同実施形態における資料生成装置１０のユースケースを示す模式図である。 この開示の第２の実施形態による資料生成装置２０の構成を示す概略ブロック図である。 同実施形態における仮説生成部２０８の構成を示す概略ブロック図である。 各実施形態に係る資料生成装置１０のハードウェア構成を説明する説明図である。
＜第１の実施形態＞
　以下、図面を参照して、本開示の第１の実施形態について説明する。図１は、この開示の第１の実施形態による資料生成装置１０の構成を示す概略ブロック図である。資料生成装置１０は、ユーザの要求に応じた文章と画像とからなる資料を生成する装置である。資料生成装置１０は、１つまたは複数のコンピュータがプログラムを読み込み実行することで実現されてもよい。該複数のコンピュータは、汎用あるいは専用のネットワークで相互に通信可能に接続されていてもよい。資料生成装置１０は、画像入力部１００、画像認識部１１０、言語入力部１２０（入力部）、自然言語処理部１３０、情報精錬部１４０（対話管理部）、記憶部１５０、文書生成部１６０、画像生成部１７０、表示処理部１８０、ディスプレイ部１９０を備える。
　画像入力部１００は、生成する資料の事例となる画像Ｄ１の、ユーザによる入力を受け付ける。なお、画像入力部１００は、キーボード、マウスなどの入力手段を用いてユーザによる入力を受け付けてもよいし、他装置から受信するなどして画像Ｄ１の入力を受け付けてもよい。画像認識部１１０は、画像入力部１００に入力された画像Ｄ１を、学習済みモデルに入力して、その特徴量を推論させて、画像由来コンテキスト特徴Ｄ２とする。なお、画像由来コンテキスト特徴Ｄ２は、推論結果の特徴量から重要な重みを持つ特徴量を特定したものであってもよい。また、学習済みモデルは、例えば、OpenAI（登録商標）社のCLIP（Contrastive Language-Image Pre-training）のImage encoder、ViT（Vision Transformer）などの階層型ネットワークであってもよい。学習済みモデルは、画像認識部１１０が備えていてもよいし、ネットワークなどを介して資料生成装置１０と通信接続された他装置が備えていてもよい。また、重要な重みを持つ特徴量の特定は、マルチヘッドアテンションなどのアテンション機構により行われてもよい。
　言語入力部１２０は、生成する資料を指示する言語（クエリＤ３）の、ユーザによる入力を受け付ける。なお、言語入力部１２０は、キーボード、マウスなどの入力手段を用いてユーザによる入力を受け付けてもよいし、他装置から受信するなどしてクエリＤ３の入力を受け付けてもよい。このクエリＤ３は、テキストデータであり、生成する資料の事例となるテキストデータが含まれていてもよい。自然言語処理部１３０は、言語入力部１２０に入力されたクエリＤ３を、学習済みモデルに入力して、その特徴量を推論させて、言語由来コンテキスト特徴とする。なお、言語由来コンテキスト特徴は、推論結果の特徴量から重要な重みを持つ特徴量が特定されたものであってもよい。さらに、自然言語処理部１３０は、クエリＤ３、言語由来コンテキスト特徴、画像由来コンテキスト特徴Ｄ２、後述する嗜好情報である補完情報Ｄ５、情報精錬部１４０による推論結果の文書である要約文Ｄ６の少なくとも一部を組み合わせた言語（テキストデータ）である生成クエリＤ４を生成する。なお、生成クエリＤ４は、文書生成部１６０に、生成クエリＤ４が示す文書を推論させるためのプロンプトであってもよい。
　自然言語処理部１３０の学習済みモデルは、例えば、CLIPのtext encoderなどの階層型ネットワークであってもよい。学習済みモデルは、自然言語処理部１３０が備えていてもよいし、ネットワークなどを介して資料生成装置１０と通信接続された他装置が備えていてもよい。また、重要な重みを持つ特徴量の特定は、アテンション機構により行われてもよい。なお、自然言語処理部１３０の学習済みモデルは、画像認識部１１０の学習済みモデルとペアになっており、画像を説明する自然言語の特徴量として、画像認識部１１０の学習済みモデルが該画像から推論する特徴量と同様の特徴量を推論するように訓練されている。
　情報精錬部１４０は、クエリＤ３を初期入力として、２つの対話付き文書生成モデルの間で相互に入出力を繰り返して対話させることにより、クエリＤ３により指示された資料のうちの文書を推論する。情報精錬部１４０は、これらの２つの対話付き文書生成モデルによる対話に、特定の個人の嗜好あるいは思考パターンが含まれる嗜好情報を加える。これらの２つの対話付きの文書生成モデルは、例えば、OpenAI（登録商標）社のchatGPT（登録商標）などの対話付き文書生成ネットワークであってもよい。情報精錬部１４０は、推論した文書を要約し、その結果を要約文Ｄ６として、自然言語処理部１３０に入力する。また、情報精錬部１４０は、推論した文書の要約の結果を、言語回答Ｄ９とし、表示処理部１８０に入力する。
　なお、これらの２つの対話付き文書生成モデルのうち、一方には詳細な文書の推論を要求し、もう一方には簡潔な文書の推論を要求してもよい。さらに、２つの対話付き文書生成モデルのうち、少なくとも一方への入力は、もう一方の出力に、記憶部１５０が記憶する対話・推論履歴Ｄ８が追加されたものであってもよい。対話・推論履歴Ｄ８は、情報精錬部１４０が、２つの対話付き文書生成モデルによる推論結果を、記憶部１５０に記憶させた推論履歴Ｄ７を含んでいてもよい。また、これらの対話付き文書生成モデルは、情報精錬部１４０が備えていてもよいし、ネットワークなどを介して資料生成装置１０と通信接続された他装置が備えていてもよい。
　さらに、記憶部１５０が記憶する対話・推論履歴Ｄ８は、特定の個人の嗜好あるいは思考パターンが含まれる嗜好情報（例えば、該個人のＳＮＳ(Social Network Service)への投稿履歴）を含んでいてもよい。特定の個人は、資料の生成を要求したユーザであってもよいし、生成された資料を読むと想定される人物あるいは人物のグループであってもよい。また、情報精錬部１４０は、嗜好情報、もしくは嗜好情報からエンコーダーにより抽出された思考パターンを高次元特徴として表現したもの、または該高次元特徴をデコードしたものを、補完情報Ｄ５として自然言語処理部１３０に入力してもよい。
　文書生成部１６０は、生成クエリＤ４を、対話付文書生成モデルに入力し、生成クエリＤ４により要求された文書を推論し、推論結果を命令クエリＤ１０とする。この対話付文書生成モデルは、例えば、chatGPT（登録商標）、BERTなどの大規模言語モデルであってもよい。また、この対話付き文書生成モデルは、文書生成部１６０が備えていてもよいし、ネットワークなどを介して資料生成装置１０と通信接続された他装置が備えていてもよい。なお、命令クエリＤ１０は、生成クエリＤ４により要求された文書に対応する画像を、画像生成部１７０に推論させるためのプロンプトであってもよい。
　画像生成部１７０は、少なくとも情報精錬部１４０による推論結果の文書に基づき、画像を生成する。さらに、この画像の生成は、画像由来コンテキスト特徴に基づいてもよい。具体的には、画像生成部１７０は、これらの情報を用いて生成されている命令クエリＤ１０を、学習済み画像生成モデルに入力して、命令クエリＤ１０が示す画像を推論させ、該推論結果を画像回答Ｄ１１とする。この学習済み画像生成モデルは、例えば、ミュンヘン大学のCompVisグループが開発したStable Diffusionなどのテキストから画像を生成する画像合成モデルであってもよいし、CLIPのtext encoderと、それに対応するdiffusion decoderとの組み合わせであってもよい。
　表示処理部１８０は、情報精錬部１４０から言語回答Ｄ９を、画像生成部１７０から画像回答Ｄ１１を取得し、これらをディスプレイ部１９０に表示させる。ディスプレイ部１９０は、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイなどのディスプレイである。
　図２は、本実施形態における画像認識部１１０の構成例を示す概略ブロック図である。画像認識部１１０は、学習済深層特徴量抽出部１１１、コンテキスト解析部１１２を備える。学習済深層特徴量抽出部１１１は、画像Ｄ１を、CLIPのImage encoder、ViTなどの学習済みモデルに入力して、その特徴量を推論させる。コンテキスト解析部１１２は、学習済深層特徴量抽出部１１１が推論した特徴量の中から、アテンション機構により重要な重みを持つ特徴量を特定し、画像由来コンテキスト特徴Ｄ２とする。アテンション機構としては、セルフアテンション（Self-Attention）と、クロスアテンション（Cross-Attention）とを用いる。セルフアテンションは、シーケンスデータ内で異なる位置の要素間の関係性を学習し重みを割り当てる。すなわち、セルフアテンションは、同じ画像空間内の類似箇所や特徴を学習し重みを割り当てる。クロスアテンションは、異なる入力間の相関関係を学習でき、画像であれば入力で与えられた異なる画像間で類似する特徴を学習でき、言語であれば入力で与えられた複数のテキスト間の特徴を大局的に得ることができる。また、言語と画像などの異なるモダリティの重要な特徴の獲得もクロスアテンションで実現できる。なお、セルフアテンションもクロスアテンションもモデル自身が異なる要素間の関係性を自動で獲得し、情報の重要性を自動的に学習できるという特徴がある。
　図３は、本実施形態における自然言語処理部１３０の構成例を示す概略ブロック図である。自然言語処理部１３０は、学習済深層特徴量抽出部１３１、コンテキスト解析部１３２、プロンプト生成部１３３を備える。学習済深層特徴量抽出部１３１は、クエリＤ３を、CLIPのtext encoderなどの学習済みモデルに入力して、その特徴量を推論させる。コンテキスト解析部１３２は、学習済深層特徴量抽出部１３１が推論した特徴量の中から、アテンション機構により重要な重みを持つ特徴量を特定し、言語由来コンテキスト特徴とする。アテンション機構としては、セルフアテンションと、クロスアテンションとを用いる。
　プロンプト生成部１３３は、言語由来コンテキスト特徴と、画像由来コンテキスト特徴Ｄ２とを合成したコンテキスト特徴を、学習済みモデルに入力して該コンテキスト特徴を表すテキストデータであるコンテキスト言語を推論する。言語由来コンテキスト特徴と、画像由来コンテキスト特徴Ｄ２との合成は、例えば、言語由来コンテキスト特徴と、画像由来コンテキスト特徴Ｄ２との要素ごと(element-wise)の足し算や掛け算であってもよいし、異なるテンソルの結合としてコンキャット(concatenate)してもよいし、クロスアテンションにより異なるモダリティの要素間の関係性を学習してもよい。
　すなわち、言語由来コンテキスト特徴の要素がＴ１ｉであり、画像由来コンテキスト特徴Ｄ２の要素がＴ２ｉであり、ｉは０からＮ－１（Ｎは各特徴の要素数）の整数であるとして、合成したコンテキスト特徴であるＴｉ＝Ｔ１ｉ×Ｔ２ｉであってもよいし、Ｔｉ＝Ｔ１ｉ＋Ｔ２ｉであってもよい。学習済みモデルは、例えば、CLIPに対応するtext decoderなどの階層型ネットワークであってもよい。プロンプト生成部１３３は、クエリＤ３、補完情報Ｄ５、要約文Ｄ６、コンテキスト言語を組み合わせて、クエリＤ３により指示された資料を、補完情報Ｄ５、要約文Ｄ６、コンテキスト言語を参考にして、文書生成部１６０に命令クエリＤ１０の生成を指示するテキストデータである生成クエリＤ４を生成する。具体的には、プロンプト生成部１３３は、クエリＤ３、補完情報Ｄ５、要約文Ｄ６、コンテキスト言語を、高次元特徴のものはデコードしてテキスト情報にし、テキスト結合して生成クエリＤ４を生成する。クエリＤ３、補完情報Ｄ５、要約文Ｄ６、コンテキスト言語を、言語情報にし、テキスト結合することで、文書生成部１６０の対話付文書生成モデルに入力可能となる。例えば、画像認識部１１０が、画像をＶｉＴなどのトランスフォーマーエンコーダーを使って高次元特徴とした場合は、ここでデコードして言語情報に復元しておくことで、対話付文書生成モデルが理解できる言語情報に揃えておく。
　図４は、本実施形態における情報精錬部１４０の構成例を示す概略ブロック図である。情報精錬部１４０は、情報統制部１４１、対話付文書生成型推論部１４２、１４３、情報補完部１４４、情報要約部１４５を備える。情報統制部１４１は、対話付文書生成型推論部１４２、１４３の間で相互に入出力を繰り返して対話させる。このとき、情報統制部１４１は、クエリＤ３を初期入力とし、対話付文書生成型推論部１４２には、詳細な文書の推論を要求し、対話付文書生成型推論部１４３には、簡潔な文書の推論を要求する。なお、情報統制部１４１は、対話付文書生成型推論部１４２に詳細な文書の推論を要求する際には、例えば、「以下の文章について詳細な情報を教えてください。」、「次のテキストに関する具体的な詳細を提供してください。」、「この文脈での次の情報を提供してください。」、「これについて詳しく説明してください。」、上記の内容を補足する情報を提供してください。」などの言語（テキスト）を用いてもよい。また、情報統制部１４１は、対話付文書生成型推論部１４２に簡潔な文書の推論を要求する際には、「以下の文章を簡潔にまとめてください。」、「次のテキストの要点を教えてください。」、「この文脈の要約を提供してください。」、「これについて簡潔に説明してください。」、「上記の内容の要点を教えてください。」などの言語を用いてもよい。
　情報統制部１４１は、対話の繰り返しを、予め決められた回数で終了させてもよいし、繰り返しても推論結果の変化がなくなったと判断したときに終了させてもよい。情報統制部１４１は、対話付文書生成型推論部１４２または対話付文書生成型推論部１４３による対話内容および記憶部１５０から嗜好情報を抽出するようにしてもよい。具体的には、情報統制部１４１は、対話付文書生成型推論部１４３あるいは１４２に文書の推論を要求する際に、対話付文書生成型推論部１４２あるいは１４３が出力したテキストに、Ａ．「ユーザの嗜好情報を抽出するために、SNS上の投稿から以下の要素を教えてください：［興味関心のあるトピック、好きな活動、好きな音楽や映画のジャンルなど］。」、Ｂ．「SNS上でのユーザの嗜好情報を教えてください。具体的には、好きなものや興味関心のあるトピックなどについて教えてください。」、Ｃ．「SNSからユーザの嗜好情報を抽出するために、好きなものや関心のあるトピック、よく投稿している内容などを教えてください。」、Ｄ「［趣味や興味関心］について説明し、それらが日常生活にどのように影響を与えているか教えてください。」、Ｅ「お気に入りの本や映画、音楽について語り、なぜ心に響くのか教えてください。」、Ｆ「製品やサービスを選ぶ際の意思決定プロセスと、どのような要因が最も重要なのかを説明してください。」、Ｇ「最近直面した課題について説明し、個人的な価値観に基づいてどのように対処したかを教えてください。」、Ｈ「理想的な一日や完璧な経験を想像してください。それがどんな内容で、なぜそれがあなたにとって重要なのかを教えてください。」、Ｉ「最近の達成や成果について語り、その経験から学んだことを教えてください。」などの言語（テキスト）を付加して、特定の個人の嗜好あるいは思考パターンが含まれる嗜好情報が推論結果に含まれるようにする。
　また、情報統制部１４１は、対話付文書生成型推論部１４３あるいは１４２に文書の推論を要求する際に、Ｊ．「最近の［特定のトピック］に関連する経験や思考を教えてください。」、Ｋ．「［最近のニュースやイベント］についての意見や感情を教えてください。」、Ｌ．「［特定の領域またはドメイン］での課題に対処する方法について説明してください。」、Ｍ．「ChatGPT（登録商標）や他のAIシステムを使う際に、最もモチベーションが高まる要因は何ですか？」、Ｎ．「ChatGPT（登録商標）との理想的な会話を想像してください。どのようなトピックを話し合い、その相互作用から何を期待しますか？」などの質問と、該質問へのユーザの回答のペアを付加して、特定の個人の思考パターンが含まれる嗜好情報が推論結果に含まれるようにする。なお、［］内の文言は、予め記憶されていてもよいし、記憶部１５０が記憶するＳＮＳへの投稿内容から、情報統制部１４１、対話付文書生成型推論部１４３あるいは１４２により抽出されてもよい。
　なお、特定の個人の嗜好パターンは、バックエンドの履歴解析で取得することもでき、例えば以下のような方法での思考パターンの取得が考えられる。
１）チャット履歴の分析：特定の個人の過去のチャット履歴を分析して、特定のトピックへの興味関心や好み、特有の表現や言い回し、傾向を把握することができる。
２）自然言語処理技術：自然言語処理（NLP）の技術を活用して、特定の個人の文章から感情や態度、興味関心などを抽出することができる。
３）パーソナライゼーション：特定の個人の回答に基づいて、特定のトピックや情報に対して個別化された応答を提供することで、特定の個人の思考パターンを把握しやすくなる。
４）クラスタリング：類似した回答を持つ個人をグループ化するクラスタリング技術を用いて、共通の特性や傾向を見つけることができる。
５）コンテキストの理解：特定の個人の会話のコンテキストを理解し、それに基づいて応答を生成することで、より適切な対話が可能になる。
　また、クエリＤ３から抽出した言語に基づき、嗜好情報が抽出されるようにしてもよい。例えば、上記ＡやＤのかっこ内に含める言語については、クエリＤ３から抽出した言語であってもよい。画像入力部１００に画像などが入力されていた場合、情報統制部１４１が物体認識やVQA（visual question answering）を利用して該画像中の物体の固有名詞を予測し、クエリＤ３にその名称やコンテキストの説明を文書として付与して、その名称が上記Ａのかっこ内に記載されるようにしてもよい。これにより、情報統制部１４１は、自動で嗜好対象を指定することができる。また、クエリＤ３に固有名詞が含まれている場合、嗜好情報を含む固有名詞や文章のコンテキストが上記Ａのかっこ内に記載されるようにしてもよい。これにより、嗜好対象が与えられ、嗜好情報が自動で獲得できる。
　ここで、嗜好は、例えば、興味関心のあるトピック、好きな活動、好きな音楽のジャンル、好きな映画およびドラマのジャンル、食べ物の好み、趣味、特技、観光地あるいは旅行先の好み、ファッションのスタイルである。また、思考パターンは、ユーザなど、生成された資料を読むことが想定される人物が取りやすい思考傾向を示す情報であり、例えば、論理的思考、直感的思考、具体的思考、嘲笑的思考、分析的思考、総合的思考のいずれかを示す情報である。論理的思考の人物は、論理的に情報を分析し、合理的な判断を下す傾向があり、論理的な課題解決や論証を好むという特徴がある。直感的思考の人物は、直感や感情に基づいて情報を処理し、直感的な判断を下す傾向があり、直感的な洞察や創造的な問題解決を好むという特徴がある。具体的思考の人物は、具体的な事実や詳細な情報に基づいて思考し、具体的なアプローチを好み、具体的な例や具体的な手順に重点を置くという特徴がある。抽象的思考の人物は、大局的な視点や抽象的なアイデアに基づいて思考し、一般的な原則やパターンを見つけることに興味があるという特徴がある。分析的思考の人物は、問題を分析し、細かい部分や関連する要素を理解するために詳細に情報を調査し、論理的な推論やデータ分析に重点を置くという特徴がある。総合的思考の人物は、複数の視点や要素を総合的に考慮し、全体像を捉えることに興味があり、情報の統合や総合的な解決策を求めるという特徴がある。ＳＮＳは、例えば、Facebook（登録商標）、instagram（登録商標）、twitter（登録商標）、LINE（登録商標）などのいずれであってもよい。
　情報統制部１４１は、対話付文書生成型推論部１４２または対話付文書生成型推論部１４３に対して、記憶部１５０から嗜好情報を抽出するように指示してもよい。具体的には、情報統制部１４１は、対話付文書生成型推論部１４３あるいは１４２に、上記Ａ、Ｂ、Ｃなどのテキストを入力することにより、記憶部１５０が記憶するＳＮＳへの投稿内容から、特定の個人の嗜好情報を抽出する。情報統制部１４１は、記憶部１５０から嗜好情報を抽出するように指示する際に、クエリＤ３から抽出した語句を含むＳＮＳへの投稿内容を、対話付文書生成型推論部１４２または対話付文書生成型推論部１４３に入力するようにしてもよい。また、情報統制部１４１は、記憶部１５０ではなく、ＳＮＳのサーバなど外部の装置から嗜好情報を抽出してもよい。
　対話付文書生成型推論部１４２、１４３の各々は、他方の出力を、対話付き文書生成モデルに入力する。対話付文書生成型推論部１４２と、対話付文書生成型推論部１４３とで、使用する対話付き文書生成モデルは異なっていてもよい。情報補完部１４４は、嗜好情報を補完情報Ｄ５とする。なお、情報補完部１４４は、対話内容から抽出した嗜好情報と、記憶部１５０から抽出した嗜好情報とを結合して補完情報Ｄ５としてもよい。情報要約部１４５は、対話付文書生成型推論部１４２、１４３の推論結果の要約を作成し、要約文Ｄ６、言語回答Ｄ９とする。要約の作成は、要約作成用の学習済みモデルを用いて行ってもよいし、対話付き文書生成モデルに要約の作成を指示することで行ってもよい。
　図５は、本実施形態における画像生成部１７０の構成例を示す概略ブロック図である。画像生成部１７０は、学習済深層特徴量抽出部１７１、画像デコーダ部１７２を備える。学習済深層特徴量抽出部１７１は、命令クエリＤ１０を、学習済みモデルに入力して、その特徴量を推論させる。この学習済みモデルは、例えば、CLIPのtext encoderなどの階層型ネットワークであってもよい。画像デコーダ部１７２は、学習済深層特徴量抽出部１７１による推論結果の特徴量を、学習済みモデルに入力して該特徴量を表す画像である画像回答Ｄ１１を推論する。この学習済みモデルは、例えば、CLIPに対応するdiffusion decoderなどの階層型ネットワークであってもよい。
　なお、学習済深層特徴量抽出部１７１は、推論結果の特徴量から重要な重みを持つ特徴量を特定し、画像デコーダ部１７２は、該特定された特徴量を学習済みモデルに入力して該特定された特徴量を表す画像を推論し、画像回答Ｄ１１としてもよい。
　図６は、本実施形態における資料生成装置１０の動作例を説明するフローチャートである。まず、言語入力部１２０が、ユーザによるクエリＤ３の入力を受け付ける（ステップＳ１）。次に、画像入力部１００が、ユーザによる画像Ｄ１の入力を受け付ける（ステップＳ２）。
　次に、情報精錬部１４０が、ステップＳ１で言語入力部１２０に入力されたクエリＤ３を初期入力として、２つの対話付き文書生成モデルの間で相互に入出力を繰り返して対話させることにより、クエリＤ３により要求された文書を推論し、推論結果を要約して言語回答Ｄ９と、補完情報Ｄ５とする（ステップＳ３）。このとき、情報精錬部１４０は、記憶部１５０から読みだした特定の個人の嗜好情報が推論結果に反映されるように、２つの対話付き文書生成モデルのうち、一方に入力してもよい。また、情報精錬部１４０は、該嗜好情報を補完情報Ｄ５とする。
　次に、画像認識部１１０が、ステップＳ２で画像入力部１００に入力された画像Ｄ１を、学習済みモデルに入力して、その特徴量を推論させ、推論結果の特徴量から重要な重みを持つ特徴量を特定して、画像由来コンテキスト特徴Ｄ２とする（ステップＳ４）。
　次に、自然言語処理部１３０は、クエリＤ３を、学習済みモデルに入力して、その特徴量を推論させ、推論結果の特徴量から重要な重みを持つ特徴量（言語由来コンテキスト特徴）を特定する。さらに、自然言語処理部１３０は、クエリＤ３、言語由来コンテキスト特徴、画像由来コンテキスト特徴Ｄ２、補完情報Ｄ５、要約文Ｄ６を組み合わせて生成クエリＤ４を生成する（ステップＳ５）。
　次に、文書生成部１６０が、ステップＳ５で生成された生成クエリＤ４を、対話付文書生成モデルに入力し、生成クエリＤ４により要求された文書を推論し、推論結果を命令クエリＤ１０とする（ステップＳ６）。次に、画像生成部１７０が、ステップＳ６の命令クエリＤ１０を、学習済み画像生成モデルに入力して、命令クエリＤ１０が示す画像を推論させ、該推論結果を画像回答Ｄ１１とする（ステップＳ７）。
　次に、表示処理部１８０が、ステップＳ３の言語回答Ｄ９を情報精錬部１４０から、ステップＳ７の画像回答Ｄ１１を画像生成部１７０から取得し、これらをディスプレイ部１９０に表示させる（ステップＳ８）。なお、表示処理部１８０は、言語回答Ｄ９と画像回答Ｄ１１を電子ファイルとして出力してもよいし、他装置に送信してもよい。
　図７は、本実施形態における資料生成装置１０のユースケースを示す模式図である。図７では、ユーザにより、“I want to get a rabbit image with holding a carrot”というテキストＥ３がクエリＤ３として言語入力部１２０に入力される。また、ユーザにより、人参を抱えたウサギの画像Ｅ１が３つ、画像Ｄ１として画像入力部１００に入力される。ここで、画像Ｅ１におけるウサギは、灰色、ピンク、茶色である。
　情報精錬部１４０は、記憶部１５０が記憶するユーザのＳＮＳへの投稿履歴から、“She loves white rabbits”というテキストＥ８を嗜好情報として抽出し、対話付文書生成型推論部１４２、１４３のいずれかに入力する。対話付文書生成型推論部１４２、１４３は、“What does look like a rabbit ?”、“Common rabbits are Lepus Timidus”というように対話Ｅ１２を行う。これらに基づき、情報要約部１４５が、“A white rabbit like Lepus Timidus with ears up, holding a tip up carrot and facing forward”というテキストＥ９を、言語回答Ｄ９あるいは要約文Ｄ６として生成する。
　文書生成部１６０が生成する命令クエリＤ１０には、テキストＥ９の内容が含まれているため、画像生成部１７０は、白いウサギが人参を抱えた画像Ｅ１１を、画像回答Ｄ１１として生成する。
＜第２の実施形態＞
　以下、図面を参照して、本開示の第２の実施形態について説明する。第１の実施形態では、人物の特徴を示す情報として、該人物の嗜好あるいは思考パターンが含まれる嗜好情報を用いた。第２の実施形態では、人物の特徴を示す情報として、人物の役割を示す情報を用いる。図８は、この開示の第２の実施形態による資料生成装置２０の構成を示す概略ブロック図である。資料生成装置１０は、ユーザの要求に応じたマルチモーダル（Multimodal）な資料を生成する装置である。資料生成装置１０は、ユーザインターフェース部２０１、言語解析部２０２、画像解析部２０３、マルチモーダル情報統合部２０４、ユーザ情報ＤＢ（Data Base）部２０５、提供者情報ＤＢ部２０６、外部情報ＤＢ部２０７、仮説生成部２０８、人工知能部２０９、表示処理部２１２を備える。資料生成装置１０は、１つまたは複数のコンピュータがプログラムを読み込み実行することで実現されてもよいし、その少なくとも一部がいわゆるクラウド上に配置されていてもよい。
　ユーザインターフェース部２０１は、キーボード、マウス、タッチパネル、マイクロフォン、ディスプレイ、スピーカなどの入出力デバイスを備え、資料生成装置１０にデータを入力するためのユーザインターフェースを提供する。入力するデータは、テキストデータ、音声データ、画像データ、ＰＤＦファイルなどの文書データ、ＵＲＬなどの参照先データを含むマルチモーダルなデータである。また、入力するデータは、生成する資料を指示するクエリ、事前に記憶させておき、資料を生成する際に参照させるユーザ情報、提供者情報を含む。ユーザ情報は、資料生成装置１０が提供する資料生成サービスのユーザが有する情報であり、例えば、ユーザの有するノウハウなどである。提供者情報は、資料生成装置１０による資料生成サービスを提供する提供者が有する情報であり、例えば、提供者の有するノウハウなどである。
　言語解析部２０２は、ユーザインターフェース部２０１に入力されたテキストデータを処理する。テキストデータは、ＰＤＦファイルなどの文書データに含まれるテキストデータであってもよいし、参照先データが示すコンテンツ（Ｗｅｂページコンテンツなど）に含まれるテキストデータであってもよい。また、言語解析部２０２は、ユーザインターフェース部２０１に入力された音声データを音声認識処理して、テキストデータに変換してもよい。
　画像解析部２０３は、ユーザインターフェース部２０１に入力された画像データを解析して、特徴量を抽出する。画像データは、ＰＤＦファイルなどの文書データに含まれる画像データであってもよいし、参照先データが示すコンテンツに含まれる画像データであってもよい。
　マルチモーダル情報統合部２０４は、言語解析部２０２、画像解析部２０３、によるテキストデータと画像データの各特徴量を統合し、ベクトル表現に変換する。マルチモーダル情報統合部２０４は、ベクトル表現に変換したクエリについては、仮説生成部２０８に入力する。また、マルチモーダル情報統合部２０４は、ベクトル表現に変換したユーザ情報は、ユーザ情報ＤＢ部２０５に記憶させ、ベクトル表現に変換した提供者情報は、提供者情報ＤＢ部２０６に記憶させる。
　ユーザ情報ＤＢ部２０５、提供者情報ＤＢ部２０６、外部情報ＤＢ部２０７は、資料に関連する情報を記憶する。ユーザ情報ＤＢ部２０５は、ベクトル表現に変換されたユーザ情報を記憶するデータベースである。提供者情報ＤＢ部２０６は、ベクトル表現に変換された提供者情報を記憶するデータベースである。外部情報ＤＢ部２０７は、インターネットなど外部に配置されたデータベース、または外部から取得したデータを記憶するデータベースである。
　仮説生成部２０８は、マルチモーダル情報統合部２０４から入力されたベクトル表現に変換したクエリが示す資料を生成する。仮説生成部２０８は、複数のＡＩエージェントの間で対話させることにより、クエリにより指示された資料を推論する。仮説生成部２０８は、複数のＡＩエージェントによる対話に、複数のＡＩエージェントのうち、少なくとも１つのＡＩエージェントに対応する人物の特徴を示す情報を含める。この対話は、仮説生成（Generation）側と批判（Discrimination）側との対話であってもよい。例えば、仮説生成部２０８は、１つのＡＩエージェントには、仮説を生成させ、他のＡＩエージェントには、該仮説を批判または批評させてもよい。これにより、仮説生成部２０８は、仮説の精度を上げて、生成する資料の質を上げられる。さらに、仮説生成部２０８は、批判または批評の結果に基づき、仮説を生成したＡＩエージェントに仮説を修正させてもよい。
　また、仮説生成部２０８は、資料を生成する際に、仮説生成部２０８は、ユーザ情報ＤＢ部２０５、提供者情報ＤＢ部２０６、外部情報ＤＢ部２０７が記憶する情報を参照する。また、資料を生成する際に、仮説生成部２０８は、人工知能の機能を有する人工知能部２０９を用いる。
　人工知能部２０９は、推論、判断等の知的な機能を備えた人工知能およびその動作環境をいう。人工知能部２０９は、モデル制御部２１０と学習済モデル記憶部２１１とにより構成される。人工知能部２０９は、プロンプトが入力されると、プロンプトに対する回答を出力するように構成されたモデルおよびその動作環境である。人工知能部２０９は、仮説生成部２０８からプロンプトが入力されると、プロンプト、および後述する学習済モデルに基づいて、回答を出力する。
　学習済モデル記憶部２１１は、学習済モデルを記憶する。
　学習済モデルは、後述するモデルの情報を含む。学習済モデルは、例えば、制約条件、重みづけ変数および評価関数等、モデルの挙動を規定する情報であるモデルパラメータを含んでいてもよい。
　モデルは、例えば、ＮＮ（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＶＡＥ（Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏｅｎｃｏｄｅｒ）、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）、拡散モデル（Ｄｉｆｆｕｓｉｏｎ ｍｏｄｅｌ）、Ｔｒａｎｓｆｏｒｍｅｒ、ＬＬＭ（Ｌａｒｇｅ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌ）、ＶＬＭ（Ｖｉｓｕａｌ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌ）、ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）、ＧＰＴ（Ｇｅｎｅｒａｔｉｖｅ Ｐｒｅ－ｔｒａｉｎｅｄ Ｔｒａｎｓｆｏｒｍｅｒ）、ＣＬＩＰ（Ｃｏｎｔｒａｓｔｉｖｅ Ｌａｎｇｕａｇｅ ＩｍａｇｅＰｒｅ－ｔｒａｉｎｉｎｇ）と呼ばれるモデルであってもよい。なお、上述したモデルは排他的な物ではなく、例えば、ＬＬＭ、ＶＬＭ、ＢＥＲＴ、ＧＰＴは、Ｔｒａｎｓｆｏｒｍｅｒに含まれる。また、例えば、Ｔｒａｎｓｆｏｒｍｅｒは、ＮＮに含まれる。また、学習アルゴリズムおよびモデルは複数の種類を組み合わせたものであってもよい。モデルには、複数の異なる種類のデータを組み合わせて学習したマルチモーダルモデルと呼ばれるものも含まれる。
　モデル制御部２１０は、プロンプトを取得すると、プロンプト、および学習済モデルに基づいて、プロンプトに対応する回答を出力する。すなわち、モデル制御部は２１０、プロンプトを取得すると、学習済モデルにより示されるモデルを用いて、プロンプトに対応する回答を生成して出力する。
　なお、学習済モデル、および人工知能部２０９が用いるその他の情報は、予め用意されたものであってもよいし、必要に応じて、ネットワークを介して取得されるものであってもよい。
　表示処理部２１２は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイなどのディスプレイを備え、仮説生成部２０８が生成した資料を表示する。なお、表示処理部２１２が備えるディスプレイは、ユーザインターフェース部２０１が備えるディスプレイと同一であってもよい。
　図９は、本実施形態における仮説生成部２０８の構成を示す概略ブロック図である。仮説生成部２０８は、３つのＡＩエージェント部３０１ａ、３０１ｂ、３０１ｃ（ＡＩエージェント）、ＡＩエージェント対話管理部３０２（対話管理部）、対話履歴知識ＤＢ部３０３、対話戦略ＤＢ部３０４（対話戦略記憶部）、アウトプット生成部３０５、評価検証部３０６を備える。図９では、３つのＡＩエージェント部３０１ａ、３０１ｂ、３０１ｃを示したが、仮説生成部２０８が備えるＡＩエージェント部の数は、２つであってもよいし、４つ以上であってもよい。
　３つのＡＩエージェント部３０１ａ、３０１ｂ、３０１ｃは、一対一に３人の人物に対応する。以降、３つのＡＩエージェント部３０１ａ、３０１ｂ、３０１ｃから選択されたＡＩエージェント部など、任意のＡＩエージェント部をＡＩエージェント部３０１ともいう。３つのＡＩエージェント部３０１ａ、３０１ｂ、３０１ｃの各々は、該３人の人物のうち、対応する人物の特徴を示す人物情報を対話に含める。該３人の人物の少なくとも一人は、仮想の人物であってもよい。仮想の人物の人物情報は、該仮想の人物の役割を示す情報を含んでもよい。仮想の人物の役割は、例えば、優秀なビジネスアナリスト、デジタル化を推進する提供者の優秀なコンサルタント、ユーザのＸ事業部の経営幹部であってもよい。なお、３人の人物に、仮想ではない特定の人物が含まれている場合、該特定の人物の人物情報は、該特定の人物の役割を示す情報を含んでもよいし、該特定の人物の著作物、または該特定の人物に関する著作物を含んでもよい。
　ＡＩエージェント部３０１ａ、３０１ｂ、３０１ｃの各々は、ユーザ情報ＤＢ部２０５、提供者情報ＤＢ部２０６、外部情報ＤＢ部２０７、対話履歴知識ＤＢ部３０３から対話に関連する参照情報を取得し、取得した参照情報を対話に含める。例えば、ＡＩエージェント部３０１ａ、３０１ｂ、３０１ｃの各々は、ユーザ情報ＤＢ部２０５、提供者情報ＤＢ部２０６、外部情報ＤＢ部２０７、対話履歴知識ＤＢ部３０３から取得する参照情報と、タスクとを、ＡＩエージェント対話管理部３０２から指定される。ＡＩエージェント部３０１ａ、３０１ｂ、３０１ｃの各々は、指定された参照情報を、ユーザ情報ＤＢ部２０５、提供者情報ＤＢ部２０６、外部情報ＤＢ部２０７、対話履歴知識ＤＢ部３０３から取得する。ＡＩエージェント部３０１ａ、３０１ｂ、３０１ｃの各々は、取得した参照情報と、指定されたタスクと、対応する人物情報とを含むプロンプトを生成し、生成したプロンプトを人工知能部２０９のモデル制御部２１０に入力する。すなわち、ＡＩエージェント部３０１ａ、３０１ｂ、３０１ｃの各々は、指定されたタスクを、人物情報が示す人物が、取得した参照情報を参照して行った場合の回答を、モデル制御部２１０に要求する。ＡＩエージェント部３０１ａ、３０１ｂ、３０１ｃの各々は、モデル制御部２１０からの回答を、対話履歴知識ＤＢ部３０３に記憶させる。タスクは、仮説の生成、生成された仮説の批判または批評、批判または批評に基づく仮説の修正を含み、例えば、「参照情報を分析し、詳細なレポートを作成せよ」、「前のステップで出力されたレポートについて実現可能性を評価せよ」、「実現可能性の評価に基づきレポートを修正せよ」などである。また、タスクには、回答の具体的なフォーマットの指定も含まれていてもよい。
　ＡＩエージェント対話管理部３０２は、対話戦略ＤＢ部３０４から取得した対話戦略情報が示す対話プロセスに従い３つのＡＩエージェント部３０１ａ、３０１ｂ、３０１ｃから選択したＡＩエージェント部３０１に対話させる。ＡＩエージェント対話管理部３０２は、対話の結果をアウトプット生成部３０５に入力する。対話および対話の結果は、テキスト以外に、画像、図、表、グラフ、音声、動画などを含むマルチモーダルなデータであってもよい。対話プロセスは、複数のステップを含み、各ステップにおけるタスクと、ＡＩエージェント部３０１ａ、３０１ｂ、３０１ｃのうちのいずれかの指定と、参照情報の指定とを含んでもよい。なお、ＡＩエージェント対話管理部３０２は、人工知能部２０９のモデル制御部２１０を用いて、対話戦略情報に基づいた３つのＡＩエージェント部３０１ａ、３０１ｂ、３０１ｃの対話を行うようにしてもよい。例えば、ＡＩエージェント対話管理部３０２は、それまでのステップの実施履歴と、対話戦略情報とともに、次に実施すべきステップの内容を問い合わせるプロンプトをモデル制御部２１０に入力し、該プロンプトに対応する回答に従い、ＡＩエージェント部３０１に対話させてもよい。
　ＡＩエージェント対話管理部３０２は、マルチモーダル情報統合部２０４から入力されたベクトル表現に変換されたクエリ（以降、クエリ情報ともいう）に基づき、対話戦略情報を対話戦略ＤＢ部３０４から取得してもよい。例えば、ＡＩエージェント対話管理部３０２は、クエリ情報で対話戦略ＤＢ部３０４を検索して、検索結果の対話戦略情報を取得するようにしてもよい。また、対話戦略の各ステップは、再度の対話戦略ＤＢ部３０４の検索による対話戦略情報の取得と、該検索に用いる情報の指定とを含んでいてもよい。検索に用いる情報は、例えば、クエリ情報、参照情報などである。
　対話履歴知識ＤＢ部３０３は、ＡＩエージェント部３０１がモデル制御部２１０から取得した回答を対話履歴として記憶する。対話履歴知識ＤＢ部３０３は、モデル制御部２１０に入力されたプロンプトも記憶していてもよい。
　対話戦略ＤＢ部３０４は、対話戦略情報を記憶する。対話戦略情報は、該対話戦略の目的と、対話プロセスとを含んでいてもよい。対話戦略ＤＢ部３０４が記憶する対話戦略情報は、例えば、「業務プロセスの改善提案を作成する。対話プロセスは、３つのステップからなる。１つめのステップは、ビジネスアナリストのＡＩエージェントに、ユーザの業務プロセスを収集および分析させ、その結果のレポートを提出させる。レポートのフォーマットは、．．．」というような自然言語による文章を、ベクトル表現に変換したものであってもよい。
　アウトプット生成部３０５は、ＡＩエージェント対話管理部３０２から入力された対話の結果に基づき、資料を生成する。資料のフォーマットは、対話戦略情報に基づき、ＡＩエージェント対話管理部３０２により指定されたものであってもよい。例えば、アウトプット生成部３０５は、ＡＩエージェント対話管理部３０２から入力された対話の結果と、資料のフォーマットとともに、資料の生成を指示するプロンプトをモデル制御部２１０に入力し、該プロンプトに対応する回答として資料を取得することで、資料を生成してもよい。該資料は、テキスト以外に、画像、図、表、グラフなどが含まれるマルチモーダルなデータであってもよい。
　また、アウトプット生成部３０５は、生成した資料に対する評価検証部３０６による評価と検証の結果に基づき、該資料を修正してもよい。例えば、アウトプット生成部３０５は、生成した資料に対する評価検証部３０６による評価と検証の結果とともに、資料の修正を指示するプロンプトをモデル制御部２１０に入力し、該プロンプトに対応する回答として資料を取得することで、資料を修正してもよい。アウトプット生成部３０５は、修正した資料を表示処理部２１２に入力する。なお、アウトプット生成部３０５は、評価検証部３０６による評価および検証と、修正とを複数回繰り返してから、修正した資料を表示処理部２１２に入力してもよい。
　評価検証部３０６は、アウトプット生成部３０５から入力された資料を評価および検証する。例えば、評価検証部３０６は、アウトプット生成部３０５から入力された資料とともに、資料の評価および検証を指示するプロンプトをモデル制御部２１０に入力し、該プロンプトに対応する回答として評価および検証の結果を取得してもよい。また、評価検証部３０６は、プロンプトに、例えば、校閲者などを示す人物情報を含めてもよい。プロンプトに含める人物情報は、評価および検証の度に変化してもよい。
　このように、資料生成装置２０において、複数のＡＩエージェント部３０１は、一対一に複数の人物に対応し、複数のＡＩエージェント部３０１の各々は、複数の人物のうち、対応する人物の特徴を示す人物情報を対話に含める。これにより、資料生成装置２０は、複数の人物の特徴に応じた資料を生成できる。
　図１０は、本実施形態に係る資料生成装置１０、２０のハードウェア構成を説明する説明図である。
　資料生成装置１０、２０は、入出力モジュールＩ、記憶モジュールＭ、及び制御モジュールＰを含んで構成される。入出力モジュールＩは、通信モジュールＨ１１、接続モジュールＨ１２、ポインティングデバイスＨ２１、キーボードＨ２２、ディスプレイＨ２３、ボタンＨ３、マイクＨ４１、スピーカＨ４２、カメラＨ５１、又はセンサＨ５２の一部或いは全部を含んで実現される。記憶モジュールＭは、ドライブＨ７を含んで実現される。記憶モジュールＭは、さらに、メモリＨ８の一部或いは全部を含んで構成されてもよい。制御モジュールＰは、メモリＨ８及びプロセッサＨ９を含んで実現される。これらのハードウェア構成要素は、バス（Ｂｕｓ）を介して、相互に通信可能に接続されるとともに、電源Ｈ６から電力を供給されている。
　接続モジュールＨ１２は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉｕｌ　Ｂｕｓ）等のデジタル入出力ポートである。携帯機器の場合、ポインティングデバイスＨ２１、キーボードＨ２２、及びディスプレイＨ２３は、タッチパネルである。センサＨ５２は、加速度センサ、ジャイロセンサ、ＧＰＳ受信モジュール、近接センサ等である。電源Ｈ６は、各装置を動かすために必要な電気を供給する電源ユニットである。携帯機器の場合、電源Ｈ６は、バッテリーである。ドライブＨ７は、ハードディスクドライブやソリッドステートドライブ等の補助記憶媒体である。ドライブＨ７は、ＥＥＰＲＯＭやフラッシュメモリ等の不揮発性メモリ、又は、光磁気ディスクドライブやフレキシブルディスクドライブであってもよい。また、ドライブＨ７は、例えば、各装置に内蔵されるものに限らず、接続モジュールＨ１２のコネクタに接続された外付け型の記憶装置でもよい。メモリＨ８は、ランダムアクセスメモリ等の主記憶媒体である。なお、メモリＨ８は、キャッシュメモリであってもよい。メモリＨ８は、一又は複数のプロセッサＨ９によって命令が実行されるときに、これらの命令を格納する。プロセッサＨ９は、ＣＰＵ（中央演算装置）である。プロセッサＨ９は、ＭＰＵ（マイクロプロセッシングユニット）又はＧＰＵ（グラフィックスプロセッシングユニット）であってもよい。プロセッサＨ９は、メモリＨ８を介してドライブＨ７から、プログラム及び各種データを読み出して演算を行うことで、一又は複数のメモリＨ８に格納した命令を実行する。
　なお、本明細書等において、資料生成装置１０、２０との記載は、制御モジュールＰとの記載に置き換えられてもよい。
　また、以下のような実施形態であってもよい。
（１）本開示の一実施形態は、生成する資料を指示するクエリの入力を受け付ける入力部と、前記クエリに基づき、複数のＡＩエージェントの間で対話させることにより、前記クエリにより指示された資料を推論する対話管理部とを備え、前記複数のＡＩエージェントによる対話に、前記複数のＡＩエージェントのうち、少なくとも１つのＡＩエージェントに対応する人物の特徴を示す情報を含める資料生成装置である。
　これにより、資料生成装置は、人物の特徴に応じた資料を生成できる。
（２）また、本開示の他の一実施形態は、（１）に記載の資料生成装置であって、前記複数のＡＩエージェントは、２つの対話付き文書生成モデルであり、前記入力部は、前記クエリの入力を受け付ける言語入力部であり、前記対話管理部は、前記クエリを初期入力として、２つの対話付き文書生成モデルの間で相互に入出力を繰り返して対話させることにより、前記クエリにより指示された資料のうちの文書を推論する情報精錬部であり、前記情報精錬部による推論結果の文書に基づき、画像を生成する画像生成部を備え、前記２つの対話付き文書生成モデルによる対話に、特定の個人の嗜好または思考パターンが含まれる嗜好情報を加える、資料生成装置である。
　これにより、資料生成装置は、特定の個人の嗜好または思考パターンが反映された資料を生成することができる。
（３）本開示の他の一実施形態は、（２）に記載の資料生成装置であって、前記生成する資料の事例となる画像の入力を受け付ける画像入力部と、前記画像入力部に入力された画像を、学習済みモデルに入力して、前記画像入力部に入力された画像の特徴量を推論させて、画像由来コンテキスト特徴とする画像認識部とをさらに備え、前記画像生成部は、前記情報精錬部による推論結果の文書に加えて、前記画像由来コンテキスト特徴に基づき、画像を生成する、資料生成装置である。
　これにより、資料生成装置は、資料の事例となる画像が反映された画像を生成することができる。
（４）本開示の他の一実施形態は、（３）に記載の資料生成装置であって、前記クエリを、学習済みモデルに入力して、前記クエリの特徴量を推論させて言語由来コンテキスト特徴とし、前記クエリ、前記言語由来コンテキスト特徴、前記画像由来コンテキスト特徴、前記嗜好情報、前記情報精錬部による推論結果の文書の少なくとも一部を組み合わせた生成クエリを生成する自然言語処理部と、前記生成クエリを、対話付文書生成モデルに入力し、前記生成クエリにより要求された文書を推論し、推論結果を命令クエリとする文書生成部とをさらに備え、前記画像生成部は、前記命令クエリを学習済み画像生成モデルに入力して、前記命令クエリが示す画像を推論させる、資料生成装置である。
　これにより、資料生成装置は、特定の個人の嗜好または思考パターンと、資料の事例となる画像とが反映された画像を生成することができる。
（５）本開示の他の一実施形態は、（１）に記載の資料生成装置であって、前記複数のＡＩエージェントによる対話は、１つのＡＩエージェントによる仮説の生成と、生成された前記仮説に対する他のＡＩエージェントによる批判または批評を含む。
　これにより、資料生成装置は、生成する資料の質を上げられる。
（６）本開示の他の一実施形態は、（１）または（５）に記載の資料生成装置であって、前記複数のＡＩエージェントは、一対一に複数の人物に対応し、前記複数のＡＩエージェントの各々は、前記複数の人物のうち、対応する人物の特徴を示す人物情報を対話に含める。
　これにより、資料生成装置は、複数の人物の特徴に応じた資料を生成できる。
（７）本開示の他の一実施形態は、（６）に記載の資料生成装置であって、前記複数の人物の少なくとも一人は、仮想の人物であり、前記仮想の人物の前記人物情報は、前記仮想の人物の役割を示す情報を含む。
　これにより、資料生成装置は、仮想の人物の役割に応じた資料を生成できる。
（８）本開示の他の一実施形態は、（１）から（７）のいずれかに記載の資料生成装置であって、対話プロセスと、対話させる人物とを示す対話戦略情報を記憶する対話戦略記憶部を備え、前記対話管理部は、前記対話戦略記憶部から取得した対話戦略情報が示す前記対話プロセスに従い前記複数のＡＩエージェントから選択した前記ＡＩエージェントに対話させる。
　これにより、資料生成装置は、対話プロセスを柔軟にすることができる。
（９）本開示の他の一実施形態は、（１）から（８）のいずれかに記載の資料生成装置であって、前記資料に関連する情報を記憶する記憶部を備え、前記複数のＡＩエージェントの各々は、前記記憶部から前記対話に関連する参照情報を取得し、取得した前記参照情報を前記対話に含める。
　これにより、資料生成装置は、対話に関連する参照情報に基づき資料を生成することができる。
（１０）本開示の他の一実施形態は、（１）から（９）のいずれかに記載の資料生成装置であって、前記入力部は、前記資料に関連するマルチモーダルなデータの入力を受け付け、前記対話管理部は、前記クエリおよび前記マルチモーダルな情報に基づき、前記複数のＡＩエージェントの間で対話させ、前記複数のＡＩエージェントによる対話は、マルチモーダルである。
　これにより、資料生成装置は、マルチモーダルな情報に基づき資料を生成することができる。
（１１）本開示の他の一実施形態は、（１）から（１０）のいずれかに記載の資料生成装置であって、前記複数のＡＩエージェントによる対話の結果に基づき、前記資料を生成するアウトプット生成部と、前記アウトプット生成部が生成した資料を評価および検証する評価検証部とを備える。
　これにより、資料生成装置は、評価および検証された資料を生成できる。
（１２）本開示の他の一実施形態は、生成する資料を指示するクエリの入力を受け付ける第１のステップと、前記クエリに基づき、複数のＡＩエージェントの間で対話させることにより、前記クエリにより指示された資料を推論する第２のステップとを有し、前記複数のＡＩエージェントによる対話に、前記複数のＡＩエージェントのうち、少なくとも１つのＡＩエージェントに対応する仮想を含む人物の特徴を示す情報を加える、資料生成方法である。
（１３）本開示の他の一実施形態は、コンピュータを、生成する資料を指示するクエリの入力を受け付ける入力部、前記クエリに前記複数のＡＩエージェントによる対話に、前記複数のＡＩエージェントのうち、少なくとも１つのＡＩエージェントに対応する仮想を含む人物の特徴を示す情報を加える、プログラムである。
　また、図１における資料生成装置１０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより資料生成装置１０を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
　以上、この開示の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この開示の要旨を逸脱しない範囲の設計変更等も含まれる。
　１０、２０　　資料生成装置
　１００　画像入力部
　１１０　画像認識部
　１１１　学習済深層特徴量抽出部
　１１２　コンテキスト解析部
　１２０　言語入力部
　１３０　自然言語処理部
　１３１　学習済深層特徴量抽出部
　１３２　コンテキスト解析部
　１３３　プロンプト生成部
　１４０　情報精錬部
　１４１　情報統制部
　１４２、１４３　対話付文書生成型推論部
　１４４　情報補完部
　１４５　情報要約部
　１５０　記憶部
　１６０　文書生成部
　１７０　画像生成部
　１７１　学習済深層特徴量抽出部
　１７２　画像デコーダ部
　１８０　表示処理部
　１９０　ディスプレイ部
　２０１　ユーザインターフェース部
　２０２　言語解析部
　２０３　画像解析部
　２０４　マルチモーダル情報統合部
　２０５　ユーザ情報ＤＢ部
　２０６　提供者情報ＤＢ部
　２０７　外部情報ＤＢ部
　２０８　仮説生成部
　２０９　人工知能部
　２１０　モデル制御部
　２１１　学習済モデル記憶部
　２１２　表示処理部
　３０１ａ、３０１ｂ、３０１ｃ　ＡＩエージェント部
　３０２　ＡＩエージェント対話管理部
　３０３　対話履歴知識ＤＢ部
　３０４　対話戦略ＤＢ部
　３０５　アウトプット生成部
　３０６　評価検証部

Claims (13)

  1. 　生成する資料を指示するクエリの入力を受け付ける入力部と、
    　前記クエリに基づき、複数のＡＩ（Artificial Intelligence）エージェントの間で対話させることにより、前記クエリにより指示された資料を推論する対話管理部と
    　を備え、
    　前記複数のＡＩエージェントによる対話に、前記複数のＡＩエージェントのうち、少なくとも１つのＡＩエージェントに対応する人物の特徴を示す情報を含める、
    　資料生成装置。
  2. 　前記複数のＡＩエージェントは、複数の対話付き文書生成モデルであり、
    　前記入力部は、前記クエリの入力を受け付ける言語入力部であり、
    　前記対話管理部は、前記クエリを初期入力として、前記複数の対話付き文書生成モデルの間で相互に入出力を繰り返して対話させることにより、前記クエリにより指示された資料のうちの文書を推論する情報精錬部であり、
    　前記情報精錬部による推論結果の文書に基づき、画像を生成する画像生成部を備え、
    　前記複数の対話付き文書生成モデルによる対話に、特定の個人の嗜好あるいは思考パターンが含まれる嗜好情報を加える、
    　請求項１に記載の資料生成装置。
  3. 　前記生成する資料の事例となる画像の入力を受け付ける画像入力部と、
    　前記画像入力部に入力された画像を、学習済みモデルに入力して、前記画像入力部に入力された画像の特徴量を推論させて、画像由来コンテキスト特徴とする画像認識部と
    　をさらに備え、
    　前記画像生成部は、前記情報精錬部による推論結果の文書に加えて、前記画像由来コンテキスト特徴に基づき、画像を生成する、
    　請求項２に記載の資料生成装置。
  4. 　前記クエリを、学習済みモデルに入力して、前記クエリの特徴量を推論させて言語由来コンテキスト特徴とし、前記クエリ、前記言語由来コンテキスト特徴、前記画像由来コンテキスト特徴、前記嗜好情報、前記情報精錬部による推論結果の文書の少なくとも一部を組み合わせた生成クエリを生成する自然言語処理部と、
    　前記生成クエリを、対話付文書生成モデルに入力し、前記生成クエリにより要求された文書を推論し、推論結果を命令クエリとする文書生成部と
    　をさらに備え、
    　前記画像生成部は、前記命令クエリを学習済み画像生成モデルに入力して、前記命令クエリが示す画像を推論させる、
    　請求項３に記載の資料生成装置。
  5. 　前記複数のＡＩエージェントによる対話は、１つのＡＩエージェントによる仮説の生成と、生成された前記仮説に対する他のＡＩエージェントによる批判または批評を含む、請求項１に記載の資料生成装置。
  6. 　前記複数のＡＩエージェントは、一対一に複数の人物に対応し、
    　前記複数のＡＩエージェントの各々は、前記複数の人物のうち、対応する人物の特徴を示す人物情報を対話に含める、
    　請求項１に記載の資料生成装置。
  7. 　前記複数の人物の少なくとも一人は、仮想の人物であり、
    　前記仮想の人物の前記人物情報は、前記仮想の人物の役割を示す情報を含む、請求項６に記載の資料生成装置。
  8. 　対話プロセスと、対話させる人物とを示す対話戦略情報を記憶する対話戦略記憶部を備え、
    　前記対話管理部は、前記対話戦略記憶部から取得した対話戦略情報が示す前記対話プロセスに従い前記複数のＡＩエージェントから選択した前記ＡＩエージェントに対話させる、
    　請求項１に記載の資料生成装置。
  9. 　前記資料に関連する情報を記憶する記憶部を備え、
    　前記複数のＡＩエージェントの各々は、前記記憶部から前記対話に関連する参照情報を取得し、取得した前記参照情報を前記対話に含める、
    　請求項１に記載の資料生成装置。
  10. 　前記入力部は、前記資料に関連するマルチモーダルなデータの入力を受け付け、
    　前記対話管理部は、前記クエリおよび前記マルチモーダルな情報に基づき、前記複数のＡＩエージェントの間で対話させ、
    　前記複数のＡＩエージェントによる対話は、マルチモーダルである、
    　請求項１に記載の資料生成装置。
  11. 　前記複数のＡＩエージェントによる対話の結果に基づき、前記資料を生成するアウトプット生成部と、
    　前記アウトプット生成部が生成した資料を評価および検証する評価検証部と
    　を備える、請求項１に記載の資料生成装置。
  12. 　生成する資料を指示するクエリの入力を受け付ける第１のステップと、
    　前記クエリに基づき、複数のＡＩエージェントの間で対話させることにより、前記クエリにより指示された資料を推論する第２のステップと
    　を有し、
    　前記複数のＡＩエージェントによる対話に、前記複数のＡＩエージェントのうち、少なくとも１つのＡＩエージェントに対応する仮想を含む人物の特徴を示す情報を加える、
    　資料生成方法。
  13. 　コンピュータを、
    　生成する資料を指示するクエリの入力を受け付ける入力部、
    　前記クエリに基づき、複数のＡＩエージェントの間で対話させることにより、前記クエリにより指示された資料を推論する対話管理部
    　として機能させるためのプログラムであって、
    　前記複数のＡＩエージェントによる対話に、前記複数のＡＩエージェントのうち、少なくとも１つのＡＩエージェントに対応する仮想を含む人物の特徴を示す情報を加える、
    　プログラム。
PCT/JP2025/008953 2024-03-12 2025-03-11 資料生成装置、資料生成方法、およびプログラム Pending WO2025192563A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2024/009477 WO2025191668A1 (ja) 2024-03-12 2024-03-12 資料生成装置、資料生成方法、およびプログラム
JPPCT/JP2024/009477 2024-03-12

Publications (1)

Publication Number Publication Date
WO2025192563A1 true WO2025192563A1 (ja) 2025-09-18

Family

ID=97063009

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2024/009477 Pending WO2025191668A1 (ja) 2024-03-12 2024-03-12 資料生成装置、資料生成方法、およびプログラム
PCT/JP2025/008953 Pending WO2025192563A1 (ja) 2024-03-12 2025-03-11 資料生成装置、資料生成方法、およびプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/009477 Pending WO2025191668A1 (ja) 2024-03-12 2024-03-12 資料生成装置、資料生成方法、およびプログラム

Country Status (1)

Country Link
WO (2) WO2025191668A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7809308B1 (ja) * 2025-11-05 2026-02-02 株式会社ジェイテック プログラム及び情報収集システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022112541A (ja) * 2021-01-22 2022-08-03 株式会社リコー 情報処理装置、質問応答システム、情報処理方法及びプログラム
CN117350325A (zh) * 2023-10-18 2024-01-05 华东师范大学 一种通用且可配置的多智能体交互框架

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7270894B1 (ja) * 2022-12-09 2023-05-11 株式会社Creator’s NEXT 新規な作風のデジタルデータの特定
JP7448271B1 (ja) * 2023-12-19 2024-03-12 株式会社フィードフォース 情報処理システム、プログラム及び情報処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022112541A (ja) * 2021-01-22 2022-08-03 株式会社リコー 情報処理装置、質問応答システム、情報処理方法及びプログラム
CN117350325A (zh) * 2023-10-18 2024-01-05 华东师范大学 一种通用且可配置的多智能体交互框架

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7809308B1 (ja) * 2025-11-05 2026-02-02 株式会社ジェイテック プログラム及び情報収集システム

Also Published As

Publication number Publication date
WO2025191668A1 (ja) 2025-09-18

Similar Documents

Publication Publication Date Title
Chen et al. Consumers’ perception on artificial intelligence applications in marketing communication
Lin et al. The one thing journalistic AI just might do for democracy
Zahour et al. A system for educational and vocational guidance in Morocco: Chatbot E-Orientation
CN110717017B (zh) 一种处理语料的方法
US10249207B2 (en) Educational teaching system and method utilizing interactive avatars with learning manager and authoring manager functions
JP6793975B2 (ja) 動画基盤求人求職マッチングサーバーおよび方法ならびにその方法を遂行するためのプログラムが記録されたコンピュータ読み取り可能記録媒体
US11468780B2 (en) Smart-learning and knowledge retrieval system
Xu et al. Using machine learning to learn machines: A cross-cultural study of users’ responses to machine-generated artworks
US12333963B2 (en) Smart-learning and knowledge retrieval system with integrated chatbots
CN111201567A (zh) 用于与数字媒体内容交互的口语、面部和姿势通信设备和计算体系架构
Fung et al. Empathetic dialog systems
Zahour et al. Towards a Chatbot for educational and vocational guidance in Morocco: Chatbot E-Orientation
JP7475017B1 (ja) 求人広告関連書類作成支援装置
Devi et al. ChatGPT: Comprehensive study on generative AI tool
US20250315629A1 (en) Personalized writing assistance for software applications via llm integrations
Ye et al. Artificial intelligence through the lens of metaphor: Analyzing the EU AIA
WO2025192563A1 (ja) 資料生成装置、資料生成方法、およびプログラム
Wilks et al. A prototype for a conversational companion for reminiscing about images
Wiencek Digital Mediation of Art and Culture. A Database Approach
US20260003874A1 (en) Generating responses to queries using entity-specific generative artificial intelligence agents
Malik et al. A novel focus encoding scheme for addressee detection in multiparty interaction using machine learning algorithms
Lotherington et al. Hey Siri: Should# language,😕, and follow me be taught?: A historical review of evolving communication conventions across digital media environments and uncomfortable questions for language teachers
Rodrigues et al. Studying natural user interfaces for smart video annotation towards ubiquitous environments
Tunon Redefining reference services in the 21st century
Seidekhanov et al. RETRACTED ARTICLE: Linguistic Features of Copywriting and Rewriting in the Field of Text Content for Corporate Websites: Semantic Aspect

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25769370

Country of ref document: EP

Kind code of ref document: A1