WO2025009035A1 - プロンプト生成装置、及びプロンプト生成方法 - Google Patents

プロンプト生成装置、及びプロンプト生成方法 Download PDF

Info

Publication number
WO2025009035A1
WO2025009035A1 PCT/JP2023/024678 JP2023024678W WO2025009035A1 WO 2025009035 A1 WO2025009035 A1 WO 2025009035A1 JP 2023024678 W JP2023024678 W JP 2023024678W WO 2025009035 A1 WO2025009035 A1 WO 2025009035A1
Authority
WO
WIPO (PCT)
Prior art keywords
prompt
answers
language model
evaluation index
llm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/024678
Other languages
English (en)
French (fr)
Inventor
洋介 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2023/024678 priority Critical patent/WO2025009035A1/ja
Priority to JP2025530833A priority patent/JPWO2025009035A1/ja
Publication of WO2025009035A1 publication Critical patent/WO2025009035A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation

Definitions

  • the present invention relates to a prompt generation device and a prompt generation method.
  • LLMs Large language models
  • GPT-4 Geneative Pre-trained Transformer-4
  • prompt engineering is a method for effectively formatting questions or tasks to obtain more desirable results from large-scale language models (see, for example, Non-Patent Document 2).
  • the embodiment of the present invention has been made in consideration of the above problems, and enables a prompt generation device that generates prompts to be input to a large-scale language model to easily generate prompts that provide more consistent answers using the large-scale language model.
  • a prompt generation device has a creation unit that creates a prompt to be input to a large-scale language model based on a question or problem for a predetermined event, an acquisition unit that inputs the prompt to the large-scale language model multiple times to acquire multiple answers, a calculation unit that calculates an evaluation index that indicates the consistency of the multiple answers, and a correction unit that corrects the prompt to obtain a higher evaluation index if the evaluation index is less than a predetermined threshold.
  • a prompt generation device that generates prompts to be input into a large-scale language model can easily generate prompts that provide more consistent answers using the large-scale language model.
  • FIG. 1 is a diagram illustrating an example of the configuration of an information processing system according to an embodiment of the present invention.
  • 6 is a flowchart illustrating an example of a process of the prompt generation device according to the present embodiment.
  • FIG. 13 is a diagram illustrating an example of an initial prompt according to the embodiment.
  • FIG. 13 is a diagram illustrating an example of a prompt for modifying a prompt according to the embodiment.
  • FIG. 13 is a diagram illustrating an example of a modified prompt according to the present embodiment.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of a computer according to the present embodiment.
  • ⁇ Configuration of Information Processing System> 1 is a diagram showing an example of the configuration of an information processing system according to this embodiment.
  • the information processing system 1 includes, for example, an operator terminal 10, an LLM (Large Language Model) server 20, a domain-specific knowledge DB (Database) 30, and a prompt generation device 100.
  • the prompt generation device 100 is connected to the operator terminal 10, the LLM server 20, the instruction server 20, the domain-specific knowledge DB 30, etc. so as to be able to communicate with them.
  • the information processing system 1 is a system that uses a large-scale language model (hereinafter referred to as LLM) to provide an appropriate answer to a question or problem about a specific event input from, for example, an operator terminal 10.
  • LLM large-scale language model
  • the LLM is a natural language processing model trained using large amounts of text data, and can return appropriate answers to user questions.
  • network communication network
  • the burden on operators can be reduced. For example, in a situation where network operation needs to be addressed, such as responding to a failure, the operator inputs a question about how to deal with the problem into the LLM, and the LLM responds with the solution.
  • the LLM responds with the solution.
  • the information processing system 1 is a recommendation system that answers questions about how to deal with network operations.
  • the information processing system 1 may also be a system that answers questions about or answers about how to deal with problems regarding various phenomena other than network operations.
  • the operator terminal 10 is an information terminal used by an operator and equipped with a computer configuration such as a PC (Personal Computer), tablet terminal, or smartphone.
  • a computer configuration such as a PC (Personal Computer), tablet terminal, or smartphone.
  • the operator inputs a question or problem regarding network operation to the operator terminal 10, and the operator terminal 10 transmits the input question or problem to the prompt generation device 100.
  • the prompt generation device (prompt generation server) 100 is, for example, an information processing device having a computer configuration, or a system including multiple computers.
  • the prompt generation device 100 receives a question or problem sent from the operator terminal 10, and generates an optimal prompt using a prompt generation algorithm.
  • a prompt is instruction information to be output to the LLM, and includes, for example, information such as an instruction statement, a condition, or a specification of an output format.
  • a prompt is also called an AI (Artificial Intelligence) prompt.
  • the prompt generation device 100 is connected to the LLM server 20, and generates optimal prompts by repeatedly modifying the prompts while utilizing the answers from the LLM server 20.
  • the prompt generation device 100 is also connected to the domain-specific knowledge DB 30, and creates prompts for prompt modification according to appropriate prompt modification guidelines for each domain.
  • the LLM server 20 receives prompts sent from the prompt generating device 100, and generates answers to the operator's questions or problems using a large-scale language model such as GPT-4.
  • the LLM server 20 is also connected to the domain knowledge DB 30, and when generating answers, creates appropriate answers that take into account domain knowledge (for example, network configuration information, etc.).
  • domain knowledge for example, network configuration information, etc.
  • the LLM server 20 may be simply referred to as "LLM.”
  • the domain-specific knowledge DB 30 is a database that stores domain-specific knowledge related to network operation.
  • the domain-specific knowledge DB 30 provides domain knowledge to the LLM server 20 to improve the accuracy of answers.
  • the domain-specific knowledge DB 30 also stores prompt revision guidelines, and the prompt generation device 100 creates prompts for prompt revision in accordance with these revision guidelines.
  • the prompt generation device 100 realizes, for example, the functional configuration shown in Fig. 1 by executing a predetermined program by a computer included in the prompt generation device 100.
  • the prompt generation device 100 has a control unit 101, a generation unit 102, an acquisition unit 103, a calculation unit 104, and a correction unit 105. Note that at least a part of the above functional configurations may be realized by hardware.
  • the control unit 101 accepts questions or problems from the operator terminal 10, inputs prompts generated based on the accepted questions to the LLM server 20, and provides answers obtained from the LLM server 20 to the operator terminal 10.
  • the LLM server 20 is an example of a large-scale language model (LLM) according to this embodiment.
  • the large-scale language model according to this embodiment may be, for example, a large-scale language model provided by an external cloud service, etc.
  • the generation unit 102 executes a generation process to generate a prompt to be input to the large-scale language model based on a question or problem about a specific event. For example, the generation unit 102 generates an initial prompt to be input to the LLM server 20 based on a question or problem about network operation that the control unit 101 accepts from the operator terminal 10.
  • the acquisition unit 103 executes an acquisition process in which the prompt is input to the large-scale language model multiple times to acquire multiple answers. For example, the acquisition unit 103 inputs the prompt generated by the generation unit 102 or the same prompt corrected by the correction unit 105 to the LLM server 20 multiple times to acquire multiple answers.
  • the calculation unit 104 executes a calculation process to calculate an evaluation index indicating the consistency of multiple answers. For example, the calculation unit 104 calculates a consistency score or similarity indicating the consistency of the multiple answers acquired by the acquisition unit 103. Note that the consistency score or similarity is an example of an evaluation index indicating the consistency of multiple answers.
  • the correction unit 105 executes a correction process to correct the prompt so as to obtain a higher evaluation index. For example, if the consistency score (or similarity) calculated by the calculation unit 104 does not meet a predetermined threshold, the correction unit 105 uses a large-scale language model such as the LLM server 20 to correct the prompt so as to obtain a higher consistency score (or similarity).
  • the correction unit 105 repeatedly corrects the prompts using, for example, a prompt correction guideline related to network operation contained in the domain-specific knowledge DB 30 until an evaluation index indicating the consistency of multiple answers becomes equal to or exceeds a predetermined threshold.
  • Prompt engineering is a technique for effectively formatting questions or tasks to obtain more desirable results from the LLM (see, for example, Non-Patent Document 2).
  • Common techniques for prompt engineering include, for example, clear instructions, reformatting the question, adding context, and step-by-step instructions. Proper prompt engineering can improve the consistency and accuracy of answers. However, it is difficult for operators to manually perform prompt engineering properly every time they create a question.
  • the prompt generating device 100 has a functional configuration as shown in FIG. 1 and provides, for example, an automatic prompt optimization technology for supporting network operations.
  • This technology enables operators to easily obtain consistent answers from the LLM, and is expected to lead to quick and efficient resolution of problems in network operations. This technology is also expected to reduce the burden on operators and improve the efficiency of network management.
  • a prompt generation device that generates prompts to be input to a large-scale language model can easily generate prompts that provide more consistent answers using the large-scale language model.
  • Fig. 2 is a flowchart showing an example of the process of the prompt generation device according to this embodiment. This process shows an example of the process executed by the prompt generation device 100 having the functional configuration described in Fig. 1.
  • step S201 the generation unit 102 executes a generation process to generate an initial prompt to be input to the large-scale language model based on a question or problem regarding a specific event.
  • the generation unit 102 generates an initial prompt to be input to the LLM server 20 based on a question or problem regarding network operation input by the control unit 101 from the operator terminal 10.
  • the initial prompt accurately and concisely phrases the question or problem so that the target large-scale language model (e.g., GPT-4) can provide an appropriate answer.
  • the initial prompt may be based on user input, an existing template, or an automatically generated question.
  • FIG. 3 is a diagram showing an example of an initial prompt according to this embodiment.
  • the initial prompt 300 is configured to include "event information" and "instructions.” This initial prompt 300 prompts the target LLM to appropriately extract information related to abnormal traffic in the network device and generate a response.
  • the creation of the initial prompt in step S201 is the starting point of the prompt optimization process in this embodiment.
  • step S202 the acquisition unit 103 executes an acquisition process in which the prompt is input to the LLM multiple times to acquire multiple answers.
  • the acquisition unit 103 inputs the initial prompt generated by the generation unit 102 or the corrected prompt corrected by the correction unit 105 multiple times to the LLM server 20 to acquire multiple answers to the prompt.
  • the reason for acquiring the answer multiple times is to evaluate the consistency of the multiple answers and improve the prompt.
  • the calculation unit 104 calculates an evaluation index indicating the consistency of the multiple answers acquired by the acquisition unit 103. For example, the calculation unit 104 calculates the similarity between the answers using a known BERT score, and uses it as an evaluation index for the question.
  • the BERT score is an evaluation index that uses a natural language processing model called a BERT (Bidirectional Encoder Representations from Transformers) model, and evaluates the similarity of sentences in the range of 0 to 1. The higher the BERT score, the higher the consistency of the answers.
  • the calculation unit 104 determines the average of the BERT scores (a real number between 0 and 1, the higher the number, the higher the similarity) of all answer pairs as the consistency score of that answer.
  • the calculation unit 104 calculates the BERT score in the following procedure. (1) The calculation unit 104 inputs each generated answer into the BERT model and obtains an embedding vector of the sentence. (2) The calculation unit 104 calculates the cosine similarity between the respective embedding vectors for all answer pairs. (3) The calculation unit 104 scales the calculated cosine similarity into the range of 0 to 1 to obtain a BERT score for each response pair. (4) The calculation unit 104 determines the average of the BERT scores of all answer pairs as the consistency score of the multiple answers.
  • step S204 the correction unit 105 determines whether the evaluation index indicating the consistency of the multiple answers calculated by the calculation unit 104 is equal to or greater than a predetermined threshold.
  • the predetermined threshold is a value set in advance to determine whether the consistency of the multiple answers is sufficient.
  • this threshold can be adjusted according to the actual task or application scenario. For example, if this threshold is set low, less consistent answers will be tolerated, making it easier to obtain an answer with fewer iterations. On the other hand, if the threshold is set high, the opposite will happen, and more iterations will be required to obtain a final answer.
  • the correction unit 105 determines that the consistency of the multiple answers to the current prompt is low, and shifts the process to step S205. On the other hand, if the evaluation index indicating the consistency of the multiple answers is equal to or greater than a predetermined threshold, the correction unit 105 determines that the consistency of the multiple answers to the current prompt is sufficiently high, and shifts the process to step S206.
  • the correction unit 105 corrects the prompt so as to obtain a higher evaluation index, and the process returns to step S202.
  • the correction unit 105 corrects the prompt using the LLM.
  • the correction unit 105 inputs the contents of the prompt and a correction guideline to the LLM server 20, and corrects the prompt to obtain a more consistent answer.
  • the correction unit 105 creates a prompt for prompt correction as shown in FIG. 4, and inputs it to the LLM server 20.
  • FIG. 4 is a diagram showing an example of a prompt for prompt correction according to this embodiment.
  • a prompt 400 for prompt correction includes a correction guideline 401.
  • the correction guideline 401 is created in advance by applying the concept of prompt engineering, and is suitable for the task or usage scenario.
  • the correction guideline 401 includes guidelines such as "clarify the purpose of the question and the expected answer,” "make the question more specific,” and "specify the information and format to be included in the answer.”
  • the correction unit 105 can correct the prompt so as to obtain a more consistent answer by having the LLM improve the prompt according to these guidelines.
  • the correction unit 105 may prepare multiple prompts for prompt correction and change the correction guideline depending on the value of the evaluation index indicating consistency. For example, when the value of the evaluation index indicating consistency is small, the correction unit 105 may use a prompt that instructs a major correction of the prompt. Furthermore, when the degree of improvement of the evaluation index indicating consistency is small, the correction unit 105 may try a different prompt for prompt correction whose instructions are significantly different from the prompt for prompt correction that has been used so far. Furthermore, the correction unit 105 may correct the prompt using an LLM other than the LLM server 20.
  • the correction unit 105 can repeat the prompt correction process based on the determination result of step S204, and can continue until an appropriate answer is obtained. However, in order to prevent an infinite number of corrections, it is desirable for the correction unit 105 to set an upper limit on the number of corrections and terminate the prompt correction process when the upper limit is reached. Furthermore, if the evaluation index indicating consistency does not increase even after multiple corrections are performed, it is desirable for the correction unit 105 to review the initial prompt or correction guidelines and re-execute the process. This realizes a more efficient prompt correction process.
  • FIG. 5 is a diagram showing an example of a modified prompt according to this embodiment.
  • the modified prompt 500 is configured to include "event information" and "instructions", similar to the initial prompt 300 described in FIG. 3. Furthermore, the "instructions" included in the modified prompt 500 have been improved in accordance with the modification guideline 401 to obtain a more consistent response.
  • the control unit 101 provides the answer obtained using the prompt generated in the processes of steps S201 to S205.
  • the control unit 101 inputs the prompt generated in the processes of steps S201 to S205 to the LLM server 20 based on a question or problem received from the operator terminal 10.
  • the control unit 101 also provides the answer obtained from the LLM server 20 to the operator terminal 10.
  • the process of FIG. 2 allows the prompt generation device 100, which generates prompts to be input to a large-scale language model, to easily generate prompts that provide more consistent answers using the large-scale language model.
  • the prompt generation device 100 has, for example, the hardware configuration of a computer 600 as shown in Fig. 6.
  • the prompt generation device 100 may be made up of a plurality of computers 600.
  • FIG. 6 is a diagram showing an example of the hardware configuration of a computer according to this embodiment.
  • the prompt generating device 100 has, for example, the hardware configuration of a computer 600 as shown in FIG. 5.
  • the computer 600 has a processor 601, a memory 602, a storage device 603, a communication device 604, an input device 605, an output device 606, and a bus B, etc.
  • the processor 601 is, for example, an arithmetic device such as a CPU (Central Processing Unit) that realizes various functions by executing a specific program.
  • the memory 602 is a storage medium readable by the computer 600, and includes, for example, a RAM (Random Access Memory) and a ROM (Read Only Memory).
  • the storage device 603 is a computer-readable storage medium, and may include, for example, a HDD (Hard Disk Drive), an SSD (Solid State Drive), various optical disks, and magneto-optical disks.
  • the communication device 604 includes one or more pieces of hardware (communication devices) for communicating with other devices via a wireless or wired network.
  • the input device 605 is an input device (e.g., a keyboard, a mouse, a microphone, a switch, a button, a sensor, etc.) that accepts input from the outside.
  • the output device 606 is an output device (e.g., a display, a speaker, an LED lamp, etc.) that outputs to the outside. Note that the input device 605 and the output device 606 may be integrated into one configuration (e.g., an input/output device such as a touch panel display).
  • the bus B is commonly connected to each of the above components and transmits, for example, address signals, data signals, and various control signals.
  • the processor 601 is not limited to a CPU, and may be, for example, a DSP (Digital Signal Processor), a PLD (Programmable Logic Device), or an FPGA (Field Programmable Gate Array).
  • the prompt generating device 100 in this embodiment may be realized not only by a dedicated device but also by a general-purpose computer.
  • the prompt generating device 100 may be realized by recording a program for realizing the functions on a computer-readable recording medium, and reading and executing the program recorded on the recording medium into a computer system.
  • computer system here includes hardware such as an OS and peripheral devices.
  • “computer-readable recording medium” includes various storage devices such as portable media such as flexible disks, optical magnetic disks, ROMs, and CD-ROMs, as well as storage devices 603 built into computer systems. Furthermore, “computer-readable recording medium” may also include devices that dynamically hold a program for a short period of time, such as a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line, and devices that hold a program for a certain period of time, such as volatile memory within a computer system that serves as a server or client in such cases.
  • the above program may be for realizing some of the functions described above, or may be capable of realizing the functions described above in combination with a program already recorded in the computer system, or may be realized using hardware such as a PLD (Programmable Logic Device) or FPGA (Field Programmable Gate Array).
  • PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • the automatic prompt optimization technology of the present embodiment reduces the difficulty for operators to create appropriate questions each time, thereby reducing the burden on operators.
  • Improved efficiency of network management This embodiment allows operators to easily obtain consistent answers, and is expected to quickly and efficiently resolve problems in network operation, thereby improving the efficiency of network management.
  • Expanded range of application of LLM The improvement in quality of the information processing system 1 according to the present embodiment has the potential to expand the range of application of LLM. This is expected to promote the use of LLM in new application fields.
  • this embodiment can improve the quality of responses in the information processing system 1, or strengthen the ability to meet the information needs of users. Furthermore, this embodiment can quickly and efficiently solve problems in network operation, reducing the burden on operators. This is expected to improve the productivity of the entire organization and make network management more efficient. Furthermore, this embodiment can be applied to other industries and application fields to achieve even greater effects.
  • Automatic prompt generation algorithm In this embodiment, an algorithm is developed that automatically generates appropriate prompts based on collected and analyzed data. This algorithm suggests optimal prompts according to the type of question or the purpose of the answer, reducing the burden on the operator.
  • Prompt evaluation function This embodiment includes a function for evaluating the effectiveness of generated prompts. This function allows the quality of prompts to be continually improved, enabling operators to ask more effective questions.
  • Iterative optimization process In this embodiment, the prompt generation algorithm is iteratively executed based on the generated prompts and their evaluation results to perform optimization, thereby always providing optimal prompts and efficiently supporting network operations.
  • Introduction of domain-specific knowledge This embodiment can incorporate domain-specific knowledge related to network operation. This allows operators to receive appropriate answers even when they ask specialized questions, realizing more effective operational support.
  • (Section 1) a generator for generating prompts to be input to a large-scale language model; an acquisition unit for inputting the prompt into the large-scale language model multiple times to acquire multiple answers; A calculation unit that calculates an evaluation index indicating consistency of the plurality of answers; a modification unit that modifies the prompt so as to obtain a higher evaluation index when the evaluation index is less than a predetermined threshold; A prompt generating device comprising: (Section 2) 2. The prompt generation device of claim 1, wherein the modification unit modifies the prompt using the large-scale language model.
  • the prompt includes a question or problem regarding an event in network operation; the modification unit repeatedly modifies the prompt using a modification guideline for the prompt related to the network operation until the evaluation index becomes equal to or greater than the predetermined threshold value.
  • a prompt generating device according to claim 1 or 2.
  • (Section 4) generating prompts to input to a large-scale language model; inputting the prompt into the large-scale language model multiple times to obtain multiple answers; A process of calculating an evaluation index indicating consistency of the plurality of answers; if the metric is less than a predetermined threshold, modifying the prompt to obtain a higher metric; The computer executes the prompt generation method.
  • (Section 5) generating prompts to input to a large-scale language model; inputting the prompt into the large-scale language model multiple times to obtain multiple answers; A process of calculating an evaluation index indicating consistency of the plurality of answers; if the metric is less than a predetermined threshold, modifying the prompt to obtain a higher metric; A storage medium that stores a program that causes a computer to execute the program.
  • Reference Signs List 1 Information processing system 10
  • Operator terminal 20
  • LLM server 30
  • Domain specific knowledge DB REFERENCE SIGNS LIST 101
  • Control unit 102
  • Generation unit 103
  • Acquisition unit 104
  • Calculation unit 105 Correction unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

大規模言語モデルに入力するプロンプトを生成するプロンプト生成装置において、大規模言語モデルによる回答の一貫性がより高いプロンプトを容易に生成できるようにするために、プロンプト生成装置は、所定の事象に対する質問又は問題に基づいて、大規模言語モデルに入力するプロンプトを作成する作成部と、前記プロンプトを前記大規模言語モデルに複数回入力して複数の回答を取得する取得部と、前記複数の回答の一貫性を示す評価指標を算出する算出部と、前記評価指標が所定の閾値未満である場合、より高い前記評価指標が得られるように前記プロンプトを修正する修正部と、を有する。

Description

プロンプト生成装置、及びプロンプト生成方法
　本発明は、プロンプト生成装置、及びプロンプト生成方法に関する。
　ＧＰＴ－４（Generative Pre-trained Transformer-4）に代表される大規模言語モデル（ＬＬＭ：Large Language Model）が知られている（例えば、非特許文献１参照）。
　また、質問やタスクを効果的にフォーマットして、大規模言語モデルからより望ましい結果を得るための手法であるプロンプトエンジニアリングが知られている（例えば、非特許文献２参照）。
OpenAI,"GPT-4 Technical Report",arXiv preprint arXiv:2303.08774 (2023), <https://arxiv.org/pdf/2303.08774.pdf>,インターネット, ［令和５年６月２３日検索］ Yang, Xiaohan, et al.,"What gpt knows about who is who",arXiv preprint arXiv:2205.07407 (2022),< https://arxiv.org/pdf/2205.07407.pdf>,インターネット, ［令和５年６月２３日検索］
　大規模言語モデルをネットワーク運用に対処するレコメンドシステムとして適用し、運用者が入力したネットワーク運用の対処方法の質問に対し、その対処方法を回答させることにより、ネットワーク運用を効率化し、運用者の負荷を低減したいという要求がある。
　しかし、従来の大規模言語モデルでは、同一の質問をした場合においても回答内容に一貫性がなく、同一の事象に対して統一した運用の対処方法を提供することには困難を伴っていた。
　本発明の実施形態は、上記の課題に鑑みてなされたものであって、大規模言語モデルに入力するプロンプトを生成するプロンプト生成装置において、大規模言語モデルによる回答の一貫性がより高いプロンプトを容易に生成できるようにする。
　上記の課題を解決するため、本発明の実施形態に係るプロンプト生成装置は、所定の事象に対する質問又は問題に基づいて、大規模言語モデルに入力するプロンプトを作成する作成部と、前記プロンプトを前記大規模言語モデルに複数回入力して複数の回答を取得する取得部と、前記複数の回答の一貫性を示す評価指標を算出する算出部と、前記評価指標が所定の閾値未満である場合、より高い前記評価指標が得られるように前記プロンプトを修正する修正部と、を有する。
　本発明の実施形態によれば、大規模言語モデルに入力するプロンプトを生成するプロンプト生成装置において、大規模言語モデルによる回答の一貫性がより高いプロンプトを容易に生成できるようになる。
本実施形態に係る情報処理システムの構成例を示す図である。 本実施形態に係るプロンプト生成装置の処理の例を示すフローチャートである。 本実施形態に係る初期プロンプトの例を示す図である。 本実施形態に係るプロンプト修正のためのプロンプトの例を示す図である。 本実施形態に係る修正後のプロンプトの例を示す図である。 本実施形態に係るコンピュータのハードウェア構成の例を示す図である。
　以下、図面を参照して本発明の実施の形態（本実施形態）を説明する。以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。
　＜情報処理システムの構成＞
　図１は、本実施形態に係る情報処理システムの構成例を示す図である。情報処理システム１は、例えば、オペレータ端末１０、ＬＬＭ（Large Language Model）サーバ２０、ドメイン固有知識ＤＢ（Database）３０、及びプロンプト生成装置１００等を含む。プロンプト生成装置１００は、オペレータ端末１０、ＬＬＭサーバ２０に指示サーバ２０、及びドメイン固有知識ＤＢ３０等と通信可能に接続されている。
　情報処理システム１は、例えば、オペレータ端末１０から入力された、所定の事象に対する質問または問題に対して、大規模言語モデル（以下、ＬＬＭと呼ぶ）を用いて適切な回答を提供するシステムである。
　ここで、ＬＬＭは、大量のテキストデータを使ってトレーニングされた自然言語処理のモデルであり、利用者の質問に対して適切な回答を返すことができる。このＬＬＭをネットワーク（通信ネットワーク）の運用に応用することで、運用者の負荷を低減することが期待できる。例えば、故障対応等のネットワーク運用の対処が必要な場面において、運用者がＬＬＭに対処方法を質問として入力し、ＬＬＭは対処方法を回答する。このように活用することで、ＬＬＭをネットワークの運用に対処するレコメンドシステムとして使うことが可能となる。
　ここでは、情報処理システム１が、ネットワーク運用の対処方法を回答するレコメンドシステムであるものとして、以下の説明を行う。ただし、これに限られず、情報処理システム１は、ネットワーク運用以外の様々な事象に対する質問又は問題に対する対処方法を回答するシステムであってもよい。
　オペレータ端末１０は、運用者（オペレータ）が利用する、例えば、ＰＣ（Personal Computer）、タブレット端末、又はスマートフォン等のコンピュータの構成を備えた情報端末である。本実施形態では、運用者が、オペレータ端末１０に、ネットワーク運用に関する質問又は問題を入力し、オペレータ端末１０は、入力された質問又は問題をプロンプト生成装置１００に送信する。
　プロンプト生成装置（プロンプト生成サーバ）１００は、例えば、コンピュータの構成を備えた情報処理装置、又は複数のコンピュータを含むシステムである。プロンプト生成装置１００は、オペレータ端末１０から送信された質問又は問題を受信し、プロンプト生成アルゴリズムを用いて最適なプロンプトを生成する。ここで、プロンプトとは、ＬＬＭに対して出力する指示情報であり、例えば、指示文、条件、又は出力形式の指定等の情報を含む。なお、プロンプトは、ＡＩ（Artificial Intelligence）プロンプトとも呼ばれる。
　プロンプト生成装置１００は、ＬＬＭサーバ２０と接続されており、ＬＬＭサーバ２０からの回答内容を活用しながらプロンプト修正を繰り返すことで、最適なプロンプトを生成する。また、プロンプト生成装置１００は、ドメイン固有知識ＤＢ３０とも接続されており、ドメインごとに適切なプロンプトの修正指針に従ってプロンプト修正のためのプロンプトを作成する。
　ＬＬＭサーバ２０は、プロンプト生成装置１００から送信されたプロンプトを受け取り、例えば、ＧＰＴ－４等の大規模言語モデルを用いて運用者の質問又は問題に対する回答を生成する。また、ＬＬＭサーバ２０は、ドメイン知識ＤＢ３０と接続されており、回答を生成する際にはドメイン知識（例えば、ネットワークの構成情報等）を踏まえた適切な回答を作成する。なお、以下の説明において、ＬＬＭサーバ２０を単に「ＬＬＭ」と呼ぶ場合がある。
　ドメイン固有知識ＤＢ３０は、本実施形態では、ネットワークの運用に関連するドメイン固有の知識が格納されているデータベースである。ドメイン固有知識ＤＢ３０は、ＬＬＭサーバ２０に対してドメイン知識を提供し、回答の精度を向上させる。また、ドメイン固有知識ＤＢ３０には、プロンプトの修正指針も保管されており、プロンプト生成装置１００は、この修正指針に従ってプロンプト修正のためのプロンプトを作成する。
　（プロンプト生成装置の機能構成）
　プロンプト生成装置１００は、プロンプト生成装置１００が備えるコンピュータが所定のプログラムを実行することにより、例えば、図１に示すような機能構成を実現している。図１の例では、プロンプト生成装置１００は、制御部１０１、生成部１０２、取得部１０３、算出部１０４、及び修正部１０５等を有する。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。
　制御部１０１は、オペレータ端末１０からの質問又は問題を受け付けし、受け付けた質問又に基づいて生成したプロンプトをＬＬＭサーバ２０に入力し、ＬＬＭサーバ２０から得た回答をオペレータ端末１０に提供する。
　なお、ＬＬＭサーバ２０は、本実施形態に係る大規模言語モデル（ＬＬＭ）の一例である。本実施形態に係る大規模言語モデルは、例えば、外部のクラウドサービス等が提供する大規模言語モデル等であってもよい。
　生成部１０２は、所定の事象に対する質問又は問題に基づいて、大規模言語モデルに入力するプロンプトを生成する生成処理を実行する。例えば、生成部１０２は、制御部１０１がオペレータ端末１０から受け付けた、ネットワークの運用に関する質問又は問題に基づいて、ＬＬＭサーバ２０に入力する初期プロンプトを生成する。
　取得部１０３は、プロンプトを大規模言語モデルに複数回入力して複数の回答を取得する取得処理を実行する。例えば、取得部１０３は、生成部１０２が生成したプロンプト、又は修正部１０５が修正した同一のプロンプトを、ＬＬＭサーバ２０に複数回入力して、複数の回答を取得する。
　算出部１０４は、複数の回答の一貫性を示す評価指標を算出する算出処理を実行する。例えば、算出部１０４は、取得部１０３が取得した複数の回答の一貫性を示す一貫性スコア、又は類似度等を算出する。なお、一貫性スコア、又は類似度は、複数の回答の一貫性を示す評価指標の一例である。
　修正部１０５は、複数の回答の一貫性を示す評価指標が所定の閾値未満である場合、より高い評価指標が得られるようにプロンプトを修正する修正処理を実行する。例えば、修正部１０５は、算出部１０４が算出した一貫性スコア（又は類似度）が、予め定められた閾値に満たない場合、ＬＬＭサーバ２０等の大規模言語モデルを用いて、より高い一貫性スコア（又は類似度）が得られるように、プロンプトを修正する。
　好ましくは、修正部１０５は、例えば、ドメイン固有知識ＤＢ３０に含まれる、ネットワーク運用に関するプロンプトの修正指針を用いて、複数の回答の一貫性を示す評価指標が所定の閾値以上になるまで、プロンプトを繰り返し修正する。
　（従来技術の課題について）
　従来のＬＬＭは、同一の質問をした場合においても、回答内容に一貫性がなく、例えば、ネットワークの運用にそのまま適用することは困難である。これは、ネットワーク運用には複数の運用者が関わるため、ＬＬＭが一貫性のない回答を返してしまうと、同一の事象に対して各運用者が統一した対処を行うことが難しいためである。
　なお、質問の書き方によっては、一貫性の高い（ぶれの少ない）回答が期待できることが知られているが、運用者が都度適切な質問を作成することは困難である。そこで、自動的に最適なプロンプトを生成する技術が求められている。
　従来のＬＬＭでは、回答の一貫性を向上させるために、主にパラメータ調整とプロンプトエンジニアリングの２つのアプローチが取られている。
　パラメータ調整では、ＬＬＭの挙動を制御するために、例えば、temperature、又はtop_p等のパラメータを調整することにより、生成されるテキストの多様性、又は一貫性を調整することが可能である（例えば、非特許文献１参照）。しかし、この方法は、適切なパラメータチューニングが難しく、誤ったパラメータ設定が回答の精度や多様性を極端に損なう可能性がある。また、この方法は、一部のパラメータが外部化されておらず、ユーザ側で変更ができない場合もあり、その制限により適切な調整ができないこともある。
　プロンプトエンジニアリングは、質問又タスクを効果的にフォーマットして、ＬＬＭからより望ましい結果を得るための手法である（例えば、非特許文献２参照）。プロンプトエンジニアリングでは、例えば、明確な指示、質問の再フォーマット、文脈の追加、ステップバイステップ等の手法が一般的に用いられる。適切にプロンプトエンジニアリングを行うことにより、回答の一貫性、及び精度等を向上させることができる。しかし、運用者が、質問を作成するたびに適切にプロンプトエンジニアリングを手動で実施することは困難である。
　このように、従来のＬＬＭでは、同一の質問をした場合においても回答内容に一貫性がなく、同一の事象に対して統一した運用の対処方法を提供することには困難を伴っていた。
　そこで、本実施形態に係るプロンプト生成装置１００は、図１に示すような機能構成により、例えば、ネットワーク運用支援のための自動プロンプト最適化技術を提供する。この技術により、運用者は、ＬＬＭから一貫性のある回答を容易に得られるようになり、ネットワーク運用における問題の解決が迅速かつ効率的に行われることが期待できる。また、この技術により、運用者の負担が軽減され、ネットワーク管理の効率化が図られることが期待できる。
　このように、本実施形態によれば、大規模言語モデルに入力するプロンプトを生成するプロンプト生成装置において、大規模言語モデルによる回答の一貫性がより高いプロンプトを容易に生成できるようになる。
　＜処理の流れ＞
　続いて、本実施形態に係るプロンプト生成方法の所定の流れについて説明する。図２は、本実施形態に係るプロンプト生成装置の処理の例を示すフローチャートである。この処理は、例えば、図１で説明した機能構成を有するプロンプト生成装置１００が実行する処理の例を示している。
　ステップＳ２０１において、生成部１０２は、所定の事象に対する質問又は問題に基づいて、大規模言語モデルに入力する初期プロンプトを生成する生成処理を実行する。例えば、生成部１０２は、制御部１０１が、オペレータ端末１０から入力されたネットワーク運用に関する質問又は問題等に基づいて、ＬＬＭサーバ２０に入力する初期プロンプトを生成する。
　初期プロンプトは、対象となる大規模言語モデル（例えば、ＧＰＴ－４）に対して適切な回答を得ることができるように、質問又は問題の内容を正確かつ簡潔に表現するものである。なお、初期プロンプトは、ユーザからの入力、既存のテンプレート、又は自動生成された質問を元に作成される場合がある。
　図３は、本実施形態に係る初期プロンプトの例を示す図である。図３の例では、初期プロンプト３００は、「イベント情報」と「指示」を含む形で構成されている。この初期プロンプト３００は、対象となるＬＬＭに対して、ネットワーク機器の異常トラフィックに関連する情報を適切に抽出し、回答を生成するよう促すものである。
　なお、初期プロンプトの作成にあたっては、対象となる質問又は問題の難易度、背景知識等を考慮し、適切な質問形式、又は表現を選択することが重要である。これにより、対象となるＬＬＭが、質問又は問題を理解し易くなり、回答の一貫性、又は精度等が向上することが期待される。
　ステップＳ２０１における初期プロンプトの作成は、本実施形態におけるプロンプトの最適化プロセスの出発点となる。
　ステップＳ２０２において、取得部１０３は、プロンプトをＬＬＭに複数回入力して複数の回答を取得する取得処理を実行する。例えば、取得部１０３は、生成部１０２が生成した初期プロンプト、又は修正部１０５が修正した修正後のプロンプトをＬＬＭサーバ２０に複数回入力し、プロンプトに対する複数の回答を取得する。ここで、回答を複数回取得する理由は、複数回の回答の一貫性を評価し、プロンプトの改善を行うためである。
　ステップＳ２０３において、算出部１０４は、取得部１０３が取得した複数の回答の一貫性を示す評価指標を算出する。例えば、算出部１０４は、公知のＢＥＲＴスコアを用いて回答間の類似度を計算し、質問の評価指標として用いる。ＢＥＲＴスコアは、ＢＥＲＴ(Bidirectional Encoder Representations from Transformers)モデルと呼ばれる自然言語処理モデルを利用した評価指標であり、文の類似度を０から１の範囲で評価する。ＢＥＲＴスコアが高いほど、回答の一貫性が高いことを示す。（参考文献：Zhang, Tianyi, et al,"Bertscore: Evaluating text generation with bert", arXiv preprint arXiv: 1904.09675 (2019),<https://arxiv.org/pdf/1904.09675.pdf>）
　算出部１０４は、回答が３つ以上の場合、全ての回答ペアのＢＥＲＴスコア(０から１の実数、数値が大きいほど類似度が高い)の平均値を、その回答の一貫性スコアとする。
　例えば、算出部１０４は、次の手順でＢＥＲＴスコアを計算する。
（１）算出部１０４は、生成された各回答を、ＢＥＲＴモデルに入力し、文の埋め込みベクトルを取得する。
（２）算出部１０４は、全ての回答ペアについて、それぞれの埋め込みベクトル間のコサイン類似度を算出する。
（３）算出部１０４は、算出されたコサイン類似度を０から１の範囲にスケーリングし、各回答ペアのＢＥＲＴスコアを得る。
（４）算出部１０４は、全ての回答ペアのＢＥＲＴスコアの平均値を、複数の回答の一貫性スコアとする。
　ステップＳ２０４において、修正部１０５は、算出部１０４が算出した複数の回答の一貫性を示す評価指標が、所定の閾値以上であるか否かを判断する。ここで、所定の閾値は、複数の回答の一貫性が十分であるか否かを判断するための値が、予め設定されているものとする。
　また、この閾値は、実際のタスク、又は応用シーン等に応じて調整が可能である。例えば、この閾値を低く設定すれば、一貫性の低い回答を許容することになり、少ない繰り返し回数で回答が得やすくなる。一方、この閾値を高く設定すれば、その逆となり、最終的な回答を得るまでの繰り返し回数が多くなる。
　複数の回答の一貫性を示す評価指標が、所定の閾値未満である場合、修正部１０５は、現在のプロンプトに対する複数の回答の一貫性が低いと判断し、処理をステップＳ２０５に移行させる。一方、複数の回答の一貫性を示す評価指標が、所定の閾値以上である場合、修正部１０５は、現在のプロンプトに対する複数の回答の一貫性が十分に高いと判断し、処理をステップＳ２０６に移行させる。
　ステップＳ２０５に移行すると、修正部１０５は、より高い評価指標が得られるように、プロンプトを修正し、処理をステップＳ２０２に戻す。好ましくは、修正部１０５は、ＬＬＭを用いて、プロンプトを修正する。
　例えば、修正部１０５は、プロンプトの内容と修正指針をＬＬＭサーバ２０に入力し、より一貫性の高い回答を得られるようにプロンプトを修正させる。例えば、修正部１０５は、図４に示すような、プロンプト修正のためのプロンプトを作成し、ＬＬＭサーバ２０に入力する。
　図４は、本実施形態に係るプロンプト修正のためのプロンプトの例を示す図である。図４の例では、プロンプト修正のためのプロンプト４００は、修正指針４０１を含む。修正指針４０１は、プロンプトエンジニアリングの考え方を応用して、タスクや利用シーンに適したものを予め作成しておく。図４の例では、修正指針４０１は、「質問の目的および期待する回答を明確にする」、「質問の内容を具体的にする」、及び「回答に含める情報やフォーマットを指定する」等の指針を含む。修正部１０５は、これらの指針に従って、ＬＬＭにプロンプトを改善させることにより、より一貫性の高い回答が得られるように、プロンプトを修正することができる。
　変形例として、修正部１０５は、プロンプト修正のためのプロンプトを複数用意しておき、一貫性を示す評価指標の値に応じて、修正指針を変更してもよい。例えば、一貫性を示す評価指標の値が小さい場合、修正部１０５は、プロンプトの大幅な修正を指示するプロンプトを用いてもよい。また、修正部１０５は、一貫性を示す評価指標の改善度合いが小さい場合、これまで使用していたプロンプト修正のためのプロンプトとは、指示の内容が大きく異なる別のプロンプト修正のためのプロンプトを試してもよい。また、修正部１０５は、ＬＬＭサーバ２０とは別のＬＬＭを用いて、プロンプトを修正してもよい。
　修正部１０５は、ステップＳ２０４の判断結果に基づいて、プロンプトの修正プロセスを繰り返すことが可能であり、適切な回答が得られるまで続けることができる。ただし、無限回の修正が行われることを防ぐため、修正部１０５は、修正回数に上限を設定し、その上限に達した場合にはプロンプトの修正プロセスを終了することが望ましい。また、修正部１０５は、複数回の修正を実施しても一貫性を示す評価指標が高くならない場合、初期プロンプト、又は修正指針を見直して、処理を再実行することがのぞましい。これにより、より効率的なプロンプトの修正プロセスが実現される。
　図５は、本実施形態に係る修正後のプロンプトの例を示す図である。図５の例では、修正後のプロンプト５００は、図３で説明した初期プロンプト３００と同様に、「イベント情報」と「指示」を含む形で構成されている。また、修正後のプロンプト５００に含まれる「指示」は、修正指針４０１に従って、より一貫性の高い回答が得られるように改善されている。
　ステップＳ２０６に移行すると、制御部１０１は、ステップＳ２０１～Ｓ２０５の処理で生成したプロンプトを用いて取得した回答を提供する。例えば、制御部１０１は、オペレータ端末１０から受け付けた質問又は問題に基づいて、ステップＳ２０１～Ｓ２０５の処理で生成したプロンプトを、ＬＬＭサーバ２０に入力する。また、制御部１０１は、ＬＬＭサーバ２０から取得した回答を、オペレータ端末１０に提供する。
　図２の処理により、大規模言語モデルに入力するプロンプトを生成するプロンプト生成装置１００において、大規模言語モデルによる回答の一貫性がより高いプロンプトを容易に生成できるようになる。
　＜ハードウェア構成例＞
　プロンプト生成装置１００は、例えば、図６に示すようなコンピュータ６００のハードウェア構成を有している。或いは、プロンプト生成装置１００は、複数のコンピュータ６００によって構成される。
　図６は、本実施形態に係るコンピュータのハードウェア構成の例を示す図である。プロンプト生成装置１００は、例えば、図５に示すようなコンピュータ６００のハードウェア構成を有している。図６の例では、コンピュータ６００は、プロセッサ６０１、メモリ６０２、ストレージデバイス６０３、通信装置６０４、入力装置６０５、出力装置６０６、及びバスＢ等を有する。
　プロセッサ６０１は、例えば、所定のプログラムを実行することにより、様々な機能を実現するＣＰＵ（Central Processing Unit）等の演算装置である。メモリ６０２は、コンピュータ６００が読み取り可能な記憶媒体であり、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含む。ストレージデバイス６０３は、コンピュータ読み取り可能な記憶媒体であり、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、各種の光ディスク、及び光磁気ディスク等を含み得る。
　通信装置６０４は、無線、又は有線のネットワークを介して他の装置と通信を行うための１つ以上のハードウェア（通信デバイス）を含む。入力装置６０５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサ等）である。出力装置６０６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカ、ＬＥＤランプ等）である。なお、入力装置６０５と出力装置６０６とは、一体となった構成（例えば、タッチパネルディスプレイ等の入出力装置）であってもよい。
　バスＢは、上記の各構成要素に共通に接続され、例えば、アドレス信号、データ信号、及び各種の制御信号等を伝送する。なお、プロセッサ６０１は、ＣＰＵに限られず、例えば、ＤＳＰ（Digital Signal Processor）、ＰＬＤ（Programmable Logic Device）、又はＦＰＧＡ（Field Programmable Gate Array）等であってもよい。
　（補足）
　本実施形態におけるプロンプト生成装置１００は、専用装置による実現に限らず、汎用コンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるストレージデバイス６０３等の様々な記憶装置を含む。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。
　また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良く、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
　＜実施形態の効果＞
　本実施形態によって生じる効果は、以下の通りである。
（１）ＬＬＭ（大規模言語モデル）による回答内容の一貫性の向上:本実施形態によるプロンプトの改善を通じて、ＬＬＭが生成する回答の一貫性が向上し、ユーザにとって混乱を招くことが減少する。
（２）プロンプトの明確化によるＬＬＭの回答精度の向上:プロンプトの明確化により、ＬＬＭが適切な回答を生成し易くなり、回答精度が向上する。これにより、ユーザが必要な情報にアクセスする際の効率が向上する。
（３）効率的なプロンプト修正による適切な回答取得の促進:本実施形態により、プロンプトを効率的に修正できるようになり、適切な回答を取得する確率が高まる。これにより、ユーザは迅速に問題を解決できるようになる。
（４）運用者の負担軽減:本実施形態の自動プロンプト最適化技術は、運用者が都度適切な質問を作成する困難さを軽減し、運用者の負担を軽減する。
（５）ネットワーク管理の効率化:本実施形態により、運用者が簡単に一貫性のある回答を得ることができるようになり、ネットワーク運用における問題の解決が迅速かつ効率的に行われることが期待される。これにより、ネットワーク管理の効率化が図られる。
（６）ＬＬＭの応用範囲の拡大: 本実施形態による情報処理システム１の品質向上は、ＬＬＭの応用範囲を拡大させる可能性がある。これにより、新たな応用分野でのＬＬＭの利用が促進されることが期待される。
　以上の効果により、本実施形態によれば、情報処理システム１における回答品質の向上、又はユーザの情報ニーズに対応する能力を強化することができる。また、本実施形態によれば、ネットワーク運用における問題の解決が迅速かつ効率的に行われ、運用者の負担が軽減される。これにより、組織全体の生産性が向上し、ネットワーク管理がより効率的に実施されることが期待される。さらに、本実施形態が他の業界や応用分野に応用されることで、さらなる効果が発揮される可能性がある。
　＜本実施形態のポイント＞
　本実施形態の技術的なポイントは以下の通りである。
（１）自動プロンプト生成アルゴリズム:本実施形態では、収集、分析されたデータを基に、自動的に適切なプロンプトを生成するアルゴリズムを開発している。このアルゴリズムは、質問のタイプ、又は回答の目的等に応じて最適なプロンプトを提案し、運用者の手間を軽減する。
（２）プロンプト評価機能:本実施形態には、生成されたプロンプトの効果を評価する機能が含まれている。この機能により、プロンプトの質が継続的に向上し、運用者がより効果的な質問を行えるようになる。
（３）反復的最適化プロセス: 本実施形態は、生成されたプロンプトとその評価結果を基に、プロンプト生成アルゴリズムを反復的に実行して最適化を行う。これにより、常に最適なプロンプトが提供され、ネットワーク運用支援が効率的に行われる。
（４）ドメイン固有の知識の導入:本実施形態は、ネットワーク運用に関連するドメイン固有の知識を取り込むことができる。これにより、運用者が専門的な質問を行った際にも適切な回答が得られ、より効果的な運用支援が実現される。
　＜実施形態のまとめ＞
　本明細書には、少なくとも下記の各項のプロンプト生成装置、及びプロンプト生成方法が開示されている。
（第１項）
　大規模言語モデルに入力するプロンプトを生成する生成部と、
　前記プロンプトを前記大規模言語モデルに複数回入力して複数の回答を取得する取得部と、
　前記複数の回答の一貫性を示す評価指標を算出する算出部と、
　前記評価指標が所定の閾値未満である場合、より高い前記評価指標が得られるように前記プロンプトを修正する修正部と、
　を有する、プロンプト生成装置。
（第２項）
　前記修正部は、前記大規模言語モデルを用いて前記プロンプトを修正する、第１項に記載のプロンプト生成装置。
（第３項）
　前記プロンプトは、ネットワーク運用における事象に対する質問又は問題を含み、
　前記修正部は、前記ネットワーク運用に関する前記プロンプトの修正指針を用いて、前記評価指標が前記所定の閾値以上となるまで、前記プロンプトを繰り返し修正する、
　第１項又は第２項に記載のプロンプト生成装置。
（第４項）
　大規模言語モデルに入力するプロンプトを生成する処理と、
　前記プロンプトを前記大規模言語モデルに複数回入力して複数の回答を取得する処理と、
　前記複数の回答の一貫性を示す評価指標を算出する処理と、
　前記評価指標が所定の閾値未満である場合、より高い前記評価指標が得られるように前記プロンプトを修正する処理と、
　をコンピュータが実行する、プロンプト生成方法。
　（第５項）
　大規模言語モデルに入力するプロンプトを生成する処理と、
　前記プロンプトを前記大規模言語モデルに複数回入力して複数の回答を取得する処理と、
　前記複数の回答の一貫性を示す評価指標を算出する処理と、
　前記評価指標が所定の閾値未満である場合、より高い前記評価指標が得られるように前記プロンプトを修正する処理と、
　をコンピュータに実行させる、プログラムを記憶した記憶媒体。
　以上、本実施形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
　１　情報処理システム
　１０　オペレータ端末
　２０　ＬＬＭサーバ
　３０　ドメイン固有知識ＤＢ
　１０１　制御部
　１０２　生成部
　１０３　取得部
　１０４　算出部
　１０５　修正部

Claims (4)

  1. 　大規模言語モデルに入力するプロンプトを生成する生成部と、
    　前記プロンプトを前記大規模言語モデルに複数回入力して複数の回答を取得する取得部と、
    　前記複数の回答の一貫性を示す評価指標を算出する算出部と、
    　前記評価指標が所定の閾値未満である場合、より高い前記評価指標が得られるように前記プロンプトを修正する修正部と、
    　を有する、プロンプト生成装置。
  2. 　前記修正部は、前記大規模言語モデルを用いて前記プロンプトを修正する、請求項１に記載のプロンプト生成装置。
  3. 　前記プロンプトは、ネットワーク運用における事象に対する質問又は問題を含み、
    　前記修正部は、前記ネットワーク運用に関する前記プロンプトの修正指針を用いて、前記評価指標が前記所定の閾値以上となるまで、前記プロンプトを繰り返し修正する、
    　請求項１又は２に記載のプロンプト生成装置。
  4. 　大規模言語モデルに入力するプロンプトを生成する処理と、
    　前記プロンプトを前記大規模言語モデルに複数回入力して複数の回答を取得する処理と、
    　前記複数の回答の一貫性を示す評価指標を算出する処理と、
    　前記評価指標が所定の閾値未満である場合、より高い前記評価指標が得られるように前記プロンプトを修正する処理と、
    　をコンピュータが実行する、プロンプト生成方法。
PCT/JP2023/024678 2023-07-03 2023-07-03 プロンプト生成装置、及びプロンプト生成方法 Ceased WO2025009035A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2023/024678 WO2025009035A1 (ja) 2023-07-03 2023-07-03 プロンプト生成装置、及びプロンプト生成方法
JP2025530833A JPWO2025009035A1 (ja) 2023-07-03 2023-07-03

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/024678 WO2025009035A1 (ja) 2023-07-03 2023-07-03 プロンプト生成装置、及びプロンプト生成方法

Publications (1)

Publication Number Publication Date
WO2025009035A1 true WO2025009035A1 (ja) 2025-01-09

Family

ID=94171734

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/024678 Ceased WO2025009035A1 (ja) 2023-07-03 2023-07-03 プロンプト生成装置、及びプロンプト生成方法

Country Status (2)

Country Link
JP (1) JPWO2025009035A1 (ja)
WO (1) WO2025009035A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119886360A (zh) * 2025-03-25 2025-04-25 浪潮电子信息产业股份有限公司 推理任务执行方法、电子设备、可读存储介质及程序产品
JP7685299B1 (ja) * 2025-02-13 2025-05-29 Ｑｕａｎｔｕｍ Ｎｅｘｕｓ株式会社 情報処理システム、プログラム及び情報処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MADAAN AMAN, TANDON NIKET, CLARK PETER, YANG YIMING, : "MemPrompt: Memory-assisted Prompt Editing with User Feedback", PROCEEDINGS OF THE 2022 CONFERENCE ON EMPIRICAL METHODS IN NATURAL LANGUAGE PROCESSING, ASSOCIATION FOR COMPUTATIONAL LINGUISTICS, 11 December 2022 (2022-12-11), pages 2833 - 2861, XP093258714, Retrieved from the Internet <URL:https://aclanthology.org/2022.emnlp-main.183.pdf> *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7685299B1 (ja) * 2025-02-13 2025-05-29 Ｑｕａｎｔｕｍ Ｎｅｘｕｓ株式会社 情報処理システム、プログラム及び情報処理方法
CN119886360A (zh) * 2025-03-25 2025-04-25 浪潮电子信息产业股份有限公司 推理任务执行方法、电子设备、可读存储介质及程序产品

Also Published As

Publication number Publication date
JPWO2025009035A1 (ja) 2025-01-09

Similar Documents

Publication Publication Date Title
KR102449614B1 (ko) 자동 번역의 품질 평가 장치 및 방법, 자동 번역 장치, 분산 표현 모델 구축 장치
US10515155B2 (en) Conversational agent
CA3120893C (en) Mapping natural language utterances to nodes in a knowledge graph
US10248537B2 (en) Translation bug prediction classifier
WO2025009035A1 (ja) プロンプト生成装置、及びプロンプト生成方法
JP2022173453A (ja) ディープラーニングモデルのトレーニング方法、自然言語処理方法及び装置、電子機器、記憶媒体及びコンピュータプログラム
US20220058349A1 (en) Data processing method, device, and storage medium
US20220335046A1 (en) Computer-readable recording medium storing information generating program, information generating method, and information generating apparatus
CN119378523B (zh) 文本处理方法、计算设备、电子设备和存储介质
EP3525107A1 (en) Conversational agent
JP2021002322A (ja) イジングマシンデータ入力機器、及びイジングマシンにデータを入力する方法
CN108932225B (zh) 用于将自然语言需求转换成为语义建模语言语句的方法和系统
JP2023078411A (ja) 情報処理方法、モデルトレーニング方法、装置、機器、媒体及びプログラム製品
US9547645B2 (en) Machine translation apparatus, translation method, and translation system
CN117291196A (zh) 语音翻译的方法、装置、电子设备和介质
JP2023007379A (ja) ノード表現生成方法、装置、電子デバイス及び可読記憶媒体
KR20230040482A (ko) 소스코드 분석을 이용한 텍스트 의미 분석 장치, 시스템 및 방법, 그리고, 이를 이용한 챗봇 질의응답 서비스 제공 방법
US20250390518A1 (en) Evaluating context-specific content generated by a generative artificial intelligence model
US20240427998A1 (en) Contextual query generation
CN113761951A (zh) 语句翻译方法、装置、设备及介质
KR102645590B1 (ko) 인공지능 기반의 수학 문제 코드 제공 모델 생성 방법과 해당 모델을 이용한 수학 문제 생성 방법 및 장치
US12182528B2 (en) Computer-readable recording medium storing information searching program, information searching method, and information searching apparatus
CN117591654A (zh) 一种问答方法及装置
CN116822462A (zh) 电力系统的仿真报告的生成方法与生成装置
JP2019008744A (ja) 学習装置、テキスト生成装置、方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23944287

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025530833

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025530833

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE