WO2025224904A1 - 処理装置、処理方法及び処理プログラム - Google Patents

処理装置、処理方法及び処理プログラム

Info

Publication number
WO2025224904A1
WO2025224904A1 PCT/JP2024/016172 JP2024016172W WO2025224904A1 WO 2025224904 A1 WO2025224904 A1 WO 2025224904A1 JP 2024016172 W JP2024016172 W JP 2024016172W WO 2025224904 A1 WO2025224904 A1 WO 2025224904A1
Authority
WO
WIPO (PCT)
Prior art keywords
code
advice
processing device
language model
prompt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/016172
Other languages
English (en)
French (fr)
Inventor
友貴 山中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2024/016172 priority Critical patent/WO2025224904A1/ja
Publication of WO2025224904A1 publication Critical patent/WO2025224904A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities

Definitions

  • the present invention relates to a processing device, a processing method, and a processing program.
  • Non-Patent Document 1 Non-Patent Document 1
  • LLM code generated by LLM has high functionality (it is a program that operates according to the user's instructions), it is also known to contain a lot of vulnerabilities.
  • the present invention has been made in consideration of the above, and aims to provide a processing device, processing method, and processing program that can improve the security of code generated by an LLM.
  • the processing device of the present invention is characterized by having a generation instruction unit that causes a large-scale language model to generate code, an evaluation unit that evaluates the security vulnerabilities of the code generated by the large-scale language model, and a generation unit that adds advice for improving security to a prompt that instructs code generation based on the evaluation results by the evaluation unit.
  • the processing method of the present invention is a processing method executed by a processing device, and is characterized by including the steps of: causing a large-scale language model to generate code; evaluating the security vulnerabilities of the code generated by the large-scale language model; and adding advice for improving security to a prompt that instructs code generation based on the evaluation results of the evaluation step.
  • the processing program of the present invention also causes a computer to execute the following steps: causing a large-scale language model to generate code; evaluating the security vulnerabilities of the code generated by the large-scale language model; and adding advice for improving security to a prompt that instructs code generation based on the evaluation results of the evaluation step.
  • This invention makes it possible to improve the security of code generated by LLM.
  • FIG. 1 is a diagram for explaining the processing content proposed in the embodiment.
  • FIG. 2 is a block diagram illustrating an example of the configuration of a processing device according to an embodiment.
  • FIG. 3 is a diagram illustrating a process flow according to the embodiment.
  • FIG. 4 is a diagram showing an example of a method for processing information extracted from an external database (DB).
  • FIG. 5 is a flowchart showing the processing procedure of the processing method according to the embodiment.
  • FIG. 6 is a diagram showing the experimental conditions of the evaluation experiment.
  • FIG. 7 is a diagram showing the experimental results of the evaluation experiment.
  • FIG. 8 is a diagram showing the experimental results of the evaluation experiment.
  • FIG. 9 is a diagram showing the experimental results of the evaluation experiment.
  • FIG. 10 is a diagram showing the experimental results of the evaluation experiment.
  • FIG. 11 is a diagram illustrating an example of a computer that implements a processing device by executing a program.
  • FIG. 1 is a diagram illustrating the processing proposed in the embodiment.
  • appropriate secure coding advice (see box W1) is automatically provided in response to a code generation instruction input to the LLM.
  • a prompt including the instruction and advice shown in FIG. 1 is set in the LLM to instruct code generation. This allows the LLM to generate code taking this advice into consideration, thereby improving the security of the code generated by the LLM.
  • Fig. 2 is a block diagram showing an example of the configuration of a processing device according to an embodiment.
  • the processing device 10 communicates with the generation server 20 and the external DB 30.
  • the generation server 20 has an LLM 21.
  • the LLM 21 is a large-scale language model that generates and outputs data in accordance with prompts set by the processing device 10.
  • a prompt containing coding instructions is set in the LLM 21, and the LLM 21 generates and outputs code in accordance with the prompt.
  • the generation server 20 outputs the code generated by the LLM 21 to the processing device 10.
  • External DB30 is a database that stores vulnerability information. External DB30 holds, for example, information related to CWE (Common Weakness Enumerations). CWE is a standard specification for classifying and identifying security vulnerabilities in software, hardware, and other components of IT (Information Technology) systems, and is often adopted as a common standard for vulnerability classification. External DB30 stores, for example, CWE descriptions (vulnerability information) obtained from the NVD (National Vulnerability Database). The NVD is a database that collects information related to security vulnerabilities in software, IT products, and other products, and is managed and published by the National Institute of Standards and Technology (NIST).
  • NIST National Institute of Standards and Technology
  • the processing device 10 sets a prompt in the LLM 21 and instructs it to generate code. At this time, the processing device 10 has the function of automatically providing appropriate advice on secure coding in response to the code generation instruction input to the LLM 21.
  • the processing device 10 is realized by, for example, loading a predetermined program into a computer or the like including a ROM (Read Only Memory), a RAM (Random Access Memory), a CPU (Central Processing Unit), etc., and having the CPU execute the predetermined program.
  • the processing device 10 is also capable of communicating with other devices connected via a network or the like via a communication interface that transmits and receives various types of information to and from other devices.
  • the processing device 10 has a code generation instruction unit 11 (instruction unit), an evaluation unit 12, and a prompt generation unit 13 (generation unit).
  • the code generation instruction unit 11 sets a prompt instructing the LLM 21 to generate code, and causes the LLM 21 to generate code.
  • the evaluation unit 12 receives the code generated by the LLM 21 and evaluates the security vulnerabilities of the code generated by the LLM 21.
  • the evaluation unit 12 evaluates the security vulnerabilities of the code generated by the LLM 21 using a static analysis tool (for example, SAST (Static Application Security Testing)).
  • the prompt generation unit 13 adds advice for improving security to a prompt that instructs code generation based on the evaluation results by the evaluation unit 12.
  • the prompt generation unit 13 constructs advice based on information output by the static analysis tool.
  • the prompt generation unit 13 searches the external DB 30 based on the information output by the static analysis tool, and constructs advice based on the obtained vulnerability information.
  • the code generation instruction unit 11 uses the instructions given by the user of the processing device 10 as is to instruct the LLM 21 to generate code ((1) in Figure 3).
  • the evaluation unit 12 uses the SAST 12A to analyze the code generated by the LLM 21 ((2) in Figure 3). If the SAST 12A identifies a problem with the code ((3) in Figure 3), the prompt generation unit 13 searches the external DB 30 for advice on improving security in response to that problem.
  • the processing device 10 performs processing such as obtaining vulnerability information from the NVD, and prepares an external DB 30 that stores information related to each CWE ID.
  • the processing device 10 extracts from the external DB 30 countermeasures and points of caution corresponding to the CWE ID output from SAST 12A as information for constructing advice ((4) in Figure 3).
  • the prompt generation unit 13 appropriately processes the extracted information and attaches it to the code generation instructions given by the user as advice, creating a prompt.
  • the code generation instruction unit 11 sets this prompt in the LLM 21 and instructs the LLM 21 to generate code again ((5) in Figure 3), causing the LLM 21 to generate highly secure code ((6) in Figure 3).
  • the processing device 10 first has the LLM 21 generate code based on the instructions, and then has the SAST 12A evaluate it. The processing device 10 then generates coding practices from the CWE detected by the SAST 12A, adds these to the code generation instructions as advice, and generates the code again.
  • Figure 4 shows an example of a method for processing information extracted from the external DB 30.
  • the prompt generation unit 13 processes the vulnerability description corresponding to the CWE ID into secure coding advice (box W22) by having the LLM process it.
  • the prompt generation unit 13 inputs the SAST results (box W21 in Figure 4 (1)) into the LLM along with a prompt that instructs advice conversion.
  • the prompt generation unit 13 then generates a prompt that instructs code generation, as exemplified in Figure 1, by assigning the output from the LLM (box W22) as advice (box W22 in Figure 4 (2)).
  • the prompt generation unit 13 converts the description of the vulnerability corresponding to the CWE ID into coding advice (box W22) and adds the converted advice to the prompt.
  • the code generation instruction unit 11 sets a prompt instructing the LLM 21 to generate code and instructs the LLM 21 to generate code (step S11).
  • the evaluation unit 12 receives the code generated by the LLM 21 (step S12) and evaluates the security vulnerabilities of this code (step S13).
  • the prompt generation unit 13 searches for and obtains an explanation of the vulnerability from the external DB 30 in order to improve security in response to the vulnerability (step S15).
  • the prompt generation unit 13 constructs advice based on the information obtained from the external DB 30 and assigns it to a prompt that instructs the generation of code (step S16).
  • the code generation instruction unit 11 sets the prompt with the advice in the LLM 21, causing the LLM 21 to generate code (step S17).
  • the processing device 10 receives the code generated by the LLM 21 (step S18). If the evaluation unit 12 does not point out any security vulnerabilities in the code (step S14: No), the code generated by the LLM 21 is deemed safe and is provided to the user.
  • Figure 6 shows the experimental conditions for the evaluation experiment. As shown in Figure 6, for the evaluation experiment, 316 vulnerable functions from Python programs were prepared, and natural language instruction prompts for generating these functions were provided. In addition, for each function, functions after the vulnerabilities were fixed and the results of SAST using semgrep were also prepared.
  • GPT3.5 and GPT4 were used to generate code under two conditions: the first and second. Under the first condition, the instruction prompt was set as is, and GPT3.5 and GPT4 were used to generate code. Under the second condition, the processing method according to this embodiment was applied, and advice for improving security was added to the prompt, after which code was generated using GPT3.5 and GPT4.
  • SAST is performed on the generated code, and if no vulnerabilities are detected, it is deemed to have passed.
  • the functionality of the generated code is measured (reference value) by its similarity to the correct function.
  • the rate at which the generated code passes SAST (the rate at which no vulnerabilities are identified) is measured under each of the first and second conditions.
  • the vulnerabilities detected by SAST are CWE IDs
  • the external DB 30 stores CWE descriptions for each CWE ID obtained from the NVD.
  • the advice for improving security that is added to the prompt is converted into advice using GPT3.5 based on the CWE description (i.e., the method shown in Figure 4).
  • Figures 7 to 10 show the results of the evaluation experiments.
  • Figure 7 shows the evaluation results when GPT3.5 was used to generate code under the first condition.
  • Figure 8 shows the evaluation results when GPT3.5 was used to generate code under the second condition.
  • Figure 9 shows the evaluation results when GPT4 was used to generate code under the first condition.
  • Figure 10 shows the evaluation results when GPT4 was used to generate code under the second condition.
  • the rate at which the SAST tool passed was 55% under the first condition, improving to 78% under the second condition. Also, as shown in Figures 9 and 10, for GPT4, the rate at which the SAST tool passed was 55% under the first condition, improving to 85% under the second condition.
  • the processing device 10 automatically provides appropriate advice on secure coding to the prompt. Therefore, the user can have the LLM 21 perform coding that takes security into consideration simply by inputting coding instructions to the LLM 21 as before.
  • the processing device 10 uses a static analysis tool to evaluate security vulnerabilities in the code generated by the large-scale language model, but this is not limited to this.
  • the evaluation unit 12 may use a dynamic analysis tool to evaluate security vulnerabilities in the code generated by the LLM 21, and the prompt generation unit 13 may construct advice based on information output by the dynamic analysis tool.
  • the processing device 10 is a functional concept and does not necessarily have to be physically configured as shown in the figure.
  • the specific form of distribution and integration of the functions of the processing device 10 is not limited to that shown in the figure, and all or part of it can be functionally or physically distributed or integrated in any unit depending on various loads, usage conditions, etc.
  • each process performed by the processing device 10 may be realized, in whole or in part, by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and a program analyzed and executed by the CPU and GPU (Graphics Processing Unit). Furthermore, each process performed by the processing device 10 may be realized as hardware using wired logic.
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • a program analyzed and executed by the CPU and GPU Graphics Processing Unit
  • each process performed by the processing device 10 may be realized as hardware using wired logic.
  • [program] 11 is a diagram showing an example of a computer in which a program is executed to realize the processing device 10.
  • the computer 1000 has, for example, a memory 1010 and a CPU 1020.
  • the computer 1000 also has a hard disk drive interface 1030, a disk drive interface 1040, a serial port interface 1050, a video adapter 1060, and a network interface 1070. These components are connected by a bus 1080.
  • Memory 1010 includes ROM 1011 and RAM 1012.
  • ROM 1011 stores a boot program such as BIOS (Basic Input Output System).
  • Hard disk drive interface 1030 is connected to hard disk drive 1090.
  • Disk drive interface 1040 is connected to disk drive 1100.
  • a removable storage medium such as a magnetic disk or optical disk is inserted into disk drive 1100.
  • Serial port interface 1050 is connected to, for example, a mouse 1110 and a keyboard 1120.
  • Video adapter 1060 is connected to, for example, a display 1130.
  • the hard disk drive 1090 stores, for example, an OS (Operating System) 1091, application programs 1092, program modules 1093, and program data 1094.
  • OS Operating System
  • the programs that define each process of the processing device 10 are implemented as program modules 1093 that contain code that can be executed by the computer 1000.
  • the program modules 1093 are stored, for example, on the hard disk drive 1090.
  • a program module 1093 for executing processes similar to the functional configuration of the processing device 10 is stored on the hard disk drive 1090.
  • the hard disk drive 1090 may be replaced by an SSD (Solid State Drive).
  • the setting data used in the processing of the above-described embodiment is stored as program data 1094, for example, in memory 1010 or hard disk drive 1090.
  • the CPU 1020 reads the program module 1093 or program data 1094 stored in memory 1010 or hard disk drive 1090 into RAM 1012 as needed and executes them.
  • the program module 1093 and program data 1094 do not necessarily have to be stored on the hard disk drive 1090; they may instead be stored on a removable storage medium and read by the CPU 1020 via the disk drive 1100 or the like.
  • the program module 1093 and program data 1094 may be stored in another computer connected via a network (such as a LAN (Local Area Network) or WAN (Wide Area Network)).
  • the program module 1093 and program data 1094 may then be read by the CPU 1020 from the other computer via the network interface 1070.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

処理装置（１０）は、ＬＬＭ（Large　Language　Models）に、コードを生成させるコード生成指示部（１１）と、ＬＬＭが生成したコードのセキュリティ上の脆弱性を評価する評価部（１２）と、評価部（１２）による評価結果を基に、セキュリティ向上のためのアドバイスを、コードの生成を指示するプロンプトに付与するプロンプト生成部（１３）と、を有する。

Description

処理装置、処理方法及び処理プログラム
　本発明は、処理装置、処理方法及び処理プログラムに関する。
　近年、大規模言語モデル（Large　Language　Models：ＬＬＭ）の進歩が目覚ましく、様々な分野で利用されている。特に、ＬＬＭを利用したコード生成は、github　Copilot（非特許文献１）の普及等からもわかるように強力なユースケースの1つとなっており、エンジニアの生産性を大きく向上させている。
GitHub　Copilot,　［令和６年４月１日検索］，インターネット＜ＵＲＬ：https://github.com/features/copilot＞ Hammond　Pearce,　Baleegh　Ahmad,　Benjamin　Tan,　Brendan　Dolan-Gavitt,　Ramesh　Karri,　"Asleep　at　the　Keyboard?　Assessing　the　Security　of　GitHub　Copilot’s　Code　Contributions,"　IEEE　Symposium　on　Security　and　Privacy　2022.
　しかしながら、ＬＬＭによって生成されたコードは、高い機能性（ユーザの指示通りに動作するプログラムであること）を持つが、脆弱なコードも多いことが知られている。
　本発明は、上記に鑑みてなされたものであって、ＬＬＭの生成するコードの安全性を向上させることができる処理装置、処理方法及び処理プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明の処理装置は、大規模言語モデルに、コードを生成させる生成指示部と、前記大規模言語モデルが生成したコードのセキュリティ上の脆弱性を評価する評価部と、前記評価部による評価結果を基に、セキュリティ向上のためのアドバイスを、コードの生成を指示するプロンプトに付与する生成部と、を有することを特徴とする。
　また、本発明の処理方法は、処理装置が実行する処理方法であって、大規模言語モデルに、コードを生成させる工程と、前記大規模言語モデルが生成したコードのセキュリティ上の脆弱性を評価する工程と、前記評価する工程における評価結果を基に、セキュリティ向上のためのアドバイスを、コードの生成を指示するプロンプトに付与する工程と、を含んだことを特徴とする。
　また、本発明の処理プログラムは、大規模言語モデルに、コードを生成させるステップと、前記大規模言語モデルが生成したコードのセキュリティ上の脆弱性を評価するステップと、前記評価するステップにおける評価結果を基に、セキュリティ向上のためのアドバイスを、コードの生成を指示するプロンプトに付与するステップと、をコンピュータに実行させる。
　本発明によれば、ＬＬＭの生成するコードの安全性を向上させることができる。
図１は、実施の形態において提案する処理内容を説明する図である。 図２は、実施の形態に係る処理装置の構成の一例を示すブロック図である。 図３は、実施の形態に係る処理の流れを説明する図である。 図４は、外部データベース（ＤＢ）から抽出した情報の加工方法の一例を示す図である。 図５は、実施の形態に係る処理方法の処理手順を示すフローチャートである。 図６は、評価実験の実験条件を示す図である。 図７は、評価実験の実験結果を示す図である。 図８は、評価実験の実験結果を示す図である。 図９は、評価実験の実験結果を示す図である。 図１０は、評価実験の実験結果を示す図である。 図１１は、プログラムが実行されることにより、処理装置が実現されるコンピュータの一例を示す図である。
　以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
［実施の形態］
　図１は、実施の形態において提案する処理内容を説明する図である。図１に示すように、実施の形態では、ＬＬＭに入力するコード生成の指示に対して、セキュアコーディング上の適切なアドバイス（枠Ｗ１参照）を自動的に付与する。実施の形態では、図１に示す指示及びアドバイスを含むフロンプトをＬＬＭに設定し、コード生成を指示する。これによって、実施の形態では、ＬＬＭが、このアドバイスを考慮してコードを生成することができ、ＬＬＭが生成するコードの安全性の向上を図ることができる。
［処理装置］
　まず、実施の形態に係る処理装置について説明する。図２は、実施の形態に係る処理装置の構成の一例を示すブロック図である。
　図２に示すように、実施の形態に係る処理装置１０は、生成サーバ２０と、外部ＤＢ３０と通信を行う。
　生成サーバ２０は、ＬＬＭ２１を有する。ＬＬＭ２１は、大規模言語モデルであり、処理装置１０によって設定されたプロンプトにしたがって、データを生成して、出力する。本実施の形態では、ＬＬＭ２１には、コーディングの指示を含むプロンプトが設定され、そのプロンプトにしたがって、コードを生成し、出力する。生成サーバ２０は、ＬＬＭ２１が生成したコードを、処理装置１０に出力する。
　外部ＤＢ３０は、脆弱性情報を格納したＤＢである。外部ＤＢ３０は、例えば、ＣＷＥ（Common　Weakness　Enumerations）に関連する情報を保持する。ＣＷＥは、ＩＴ（Information　Technology）システムを構成するソフトウェアやハードウェアなどのセキュリティ上の脆弱性を分類、識別する標準仕様の一つであり、脆弱性分類の共通基準として採用させることが多い。外部ＤＢ３０は、例えば、ＮＶＤ（National　Vulnerability　Database）から取得したＣＷＥの説明（脆弱性情報）を格納する。ＮＶＤは、米国立標準技術研究所（ＮＩＳＴ（National　Institute　of　Standards　and　Technology））が管理・公開している、ソフトウェアやＩＴ製品などのセキュリティ上の脆弱性に関する情報を収集したＤＢである。
　処理装置１０は、フロンプトをＬＬＭ２１に設定し、コード生成を指示する。この際、処理装置１０は、ＬＬＭ２１に入力するコード生成の指示に対して、セキュアコーディング上の適切なアドバイスを自動的に付与する機能を有する。
［処理装置］
　次に、処理装置１０について説明する。処理装置１０は、例えば、ＲＯＭ（Read　Only　Memory）、ＲＡＭ（Random　Access　Memory）、ＣＰＵ（Central　Processing　Unit）等を含むコンピュータ等に所定のプログラムが読み込まれて、ＣＰＵが所定のプログラムを実行することで実現される。また、処理装置１０は、ネットワーク等を介して接続された他の装置との間で、各種情報を送受信する通信インタフェースを介して、他の装置との通信が可能である。
　処理装置１０は、コード生成指示部１１（指示部）、評価部１２及びプロンプト生成部１３（生成部）を有する。
　コード生成指示部１１は、コードの生成を指示するプロンプトを、ＬＬＭ２１に設定し、ＬＬＭ２１にコードを生成させる。
　評価部１２は、ＬＬＭ２１が生成したコードを受信し、ＬＬＭ２１が生成したコードのセキュリティ上の脆弱性を評価する。評価部１２は、静的解析ツール（例えば、ＳＡＳＴ（Static　Application　Security　Testing））を用いて、ＬＬＭ２１が生成したコードのセキュリティ上の脆弱性を評価する。
　プロンプト生成部１３は、評価部１２による評価結果を基に、セキュリティ向上のためのアドバイスを、コードの生成を指示するプロンプトに付与する。プロンプト生成部１３は、静的解析ツールが出力する情報を基に、アドバイスを構築する。プロンプト生成部１３は、静的解析ツールが出力する情報に基づいて、外部ＤＢ３０を検索し、得られた脆弱性情報を基にアドバイスを構築する。
［処理の流れ］
　次に、実施の形態に係る処理の流れについて説明する。図３は、実施の形態に係る処理の流れを説明する図である。
　図３に示すように、例えば、コード生成指示部１１は、処理装置１０のユーザから与えられた指示をそのまま用いて、ＬＬＭ２１にコード生成を指示する（図３の（１））。
　評価部１２は、ＬＬＭ２１が生成したコード（図３の（２））を、ＳＡＳＴ１２Ａを用いて分析する。そして、ＳＡＳＴ１２Ａから、コードの問題点が指摘された場合（図３の（３））、プロンプト生成部１３は、その問題点に応じたセキュリティ向上のためのアドバイスを外部ＤＢ３０から検索して取得する。
　例えば、ＳＡＳＴ１２Ａが問題点として、ＣＷＥのＩＤを出力する場合について説明する。この場合、処理装置１０は、ＮＶＤから脆弱性情報を取得する等の処理を行うことで、ＣＷＥのＩＤごとに、ＣＷＥに関連する情報を保持する外部ＤＢ３０を用意する。処理装置１０は、外部ＤＢ３０から、ＳＡＳＴ１２Ａから出力されたＣＷＥのＩＤに応じた対処方法や注意点を、アドバイス構築用の情報として抽出する（図３の（４））。
　プロンプト生成部１３は、抽出した情報を適切に加工し、アドバイスとして、ユーザから与えられコード生成の指示に付与し、プロンプトとする。コード生成指示部１１は、このプロンプトをＬＬＭ２１に設定し、ＬＬＭ２１にコードの生成を再度指示することで（図３の（５））、ＬＬＭ２１に、セキュリティ性の高いコードを生成させる（図３の（６））。
　このように、処理装置１０は、指示に基づき一度ＬＬＭ２１にコードを生成させた後、ＳＡＳＴ１２Ａにて評価する。そして、処理装置１０は、ＳＡＳＴ１２Ａに検知されたＣＷＥからコーディングプラクティスを生成して、コード生成指示にアドバイスとして付与して、再度コードを生成させる。
　図４は、外部ＤＢ３０から抽出した情報の加工方法の一例を示す図である。図４に示すように、例えば、プロンプト生成部１３は、ＣＷＥのＩＤに対応する脆弱性の説明文をＬＬＭに処理させることで、セキュアコーディング上のアドバイス（枠Ｗ２２）として加工する。
　具体的には、プロンプト生成部１３は、ＳＡＳＴの結果（図４の（１）、枠Ｗ２１）を、アドバイス変換を指示するプロンプトとともに、ＬＬＭに入力する。そして、プロンプト生成部１３は、ＬＬＭからの出力（枠Ｗ２２）をアドバイスとして付与することで（図４の（２））、図１に例示するコード生成を指示するプロンプトを生成する。このように、プロンプト生成部１３は、ＣＷＥのＩＤに対応する脆弱性の説明文を踏まえて、コーディングの際のアドバイス（枠Ｗ２２）に変換し、変換したアドバイスをプロンプトに追加する。
［処理手順］
　次に、実施の形態に係る処理方法の処理手順について説明する。図５は、実施の形態に係る処理方法の処理手順を示すフローチャートである。
　処理装置１０では、コード生成指示部１１が、コードの生成を指示するプロンプトを、ＬＬＭ２１に設定し、ＬＬＭ２１にコード生成を指示する（ステップＳ１１）。
　続いて、評価部１２は、ＬＬＭ２１が生成したコードを受信し（ステップＳ１２）、このコードのセキュリティ上の脆弱性を評価する（ステップＳ１３）。
　評価部１２によって、コードのセキュリティ上の脆弱性に対する問題点の指摘があった場合（ステップＳ１４：Ｙｅｓ）、プロンプト生成部１３は、その問題点に応じたセキュリティ向上のために、脆弱性に関する説明を、外部ＤＢ３０から検索して取得する（ステップＳ１５）。
　プロンプト生成部１３は、外部ＤＢ３０から得られた情報を基に、アドバイスを構築し、コードの生成を指示するプロンプトに付与する（ステップＳ１６）。
　そして、コード生成指示部１１は、アドバイスが付与されたプロンプトを、ＬＬＭ２１に設定し、ＬＬＭ２１にコードを生成させる（ステップＳ１７）。これによって、処理装置１０は、ＬＬＭ２１が生成したコードを受信する（ステップＳ１８）。評価部１２によって、コードのセキュリティ脆弱性に対する問題点の指摘がなかった場合（ステップＳ１４：Ｎｏ）、ＬＬＭ２１によって生成されたコードは安全であるとして、ユーザに提供する。
［評価実験］
　本実施の形態の処理方法について評価実験を行った。
　図６は、評価実験の実験条件を示す図である。図６に示すように、評価実験では、316件のpythonプログラムの脆弱な関数を用意し、その関数を生成するための自然言語での指示プロンプトを用意する。また、それぞれの関数と対応する形で、脆弱性の修正後の関数、及び、semgrepを用いたＳＡＳＴの結果も用意する。
　上記のデータセット（316件のpython）を用いて、第１の条件、第２の条件に分けて、GPT3.5及びGPT4にコードを生成させる。第１の条件では、指示プロンプトをそのまま設定して、GPT3.5及びGPT4にコードを生成させる。第２の条件では、本実施の形態に係る処理方法を適用して、プロンプトにセキュリティ向上のためのアドバイスを付与した後にGPT3.5およびGPT4を用いてコードを生成させる。
　そして、生成後のコードにＳＡＳＴを行い、脆弱性が検知されなければPassとする。なお、生成されたコードの機能性については正解関数との類似度で測定（参考値）する。このように、第１の条件、第２の条件のそれぞれにおいて、生成されたコードがＳＡＳＴをPassする割合（脆弱性が指摘されない割合）を計測する。なお、本実施の形態において、ＳＡＳＴで検知する脆弱性は、ＣＷＥのＩＤとし、外部ＤＢ３０にはＮＶＤより取得したＣＷＥのＩＤごとのＣＷＥの説明を格納しているものとする。また、プロンプトに付与するセキュリティ向上のためのアドバイスは、ＣＷＥの説明を基に、GPT3.5でアドバイスに変換した（つまり、図４に示した方法）ものを用いるものとする。
　図７～図１０は、評価実験の実験結果を示す図である。図７は、第１の条件で、GPT3.5にコードを生成させた場合の評価結果である。図８は、第２の条件で、GPT3.5にコードを生成させた場合の評価結果である。図９は、第１の条件で、GPT4にコードを生成させた場合の評価結果である。図１０は、第２の条件で、GPT4にコードを生成させた場合の評価結果である。
　図７及び図８に示すように、GPT3.5の場合、ＳＡＳＴツールをPassする割合が、第１の条件では55％であるところ、第２の条件では78％に改善している。また、図９及び図１０に示すように、GPT4の場合、ＳＡＳＴツールをPassする割合が、第１の条件では55％であるところ、第２の条件では85％に改善している。
　このように、GPT3.5、GPT4を用いたどちらの場合においても、第２の条件（本実施の形態に係る処理方法）を適用した方が、ＳＡＳＴツールをPassする割合が大きく向上していることがわかる。また、GPT3.5、GPT4のうち、精度が高いGPT4ほどセキュアであるという結果が得られた。
［実施の形態の効果］
　実施の形態では、ＬＬＭ２１に入力するコード生成の指示に対して、評価結果を基に、セキュアコーディング上の適切なアドバイスを自動的に付与するフローを構築した。評価実験の結果からも分かるように、この実施の形態によって、ＬＬＭ２１が生成するコードの安全性を向上させることができる。
　そして、実施の形態では、処理装置１０が、セキュアコーディング上の適切なアドバイスをプロンプトに自動付与する。このため、ユーザは、これまで通りのコーディングの指示をＬＬＭ２１に入力するだけで、セキュリティを考慮したコーディングをＬＬＭ２１に実行させることができる。
　なお、実施の形態では、処理装置１０が、静的解析ツールを用いて、前記大規模言語モデルが生成したコードのセキュリティ脆弱性を評価した場合を例に説明したが、これに限らない。処理装置１０では、評価部１２が、動的解析ツールを用いて、ＬＬＭ２１が生成したコードのセキュリティ脆弱性を評価し、プロンプト生成部１３が、動的解析ツールが出力する情報を基に、アドバイスを構築してもよい。
［実施の形態のシステム構成について］
　処理装置１０は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、処理装置１０の機能の分散及び統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散または統合して構成することができる。
　また、処理装置１０においておこなわれる各処理は、全部または任意の一部が、ＣＰＵ（Central　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit）、及び、ＣＰＵ、ＧＰＵ（Graphics　Processing　Unit）により解析実行されるプログラムにて実現されてもよい。また、処理装置１０において行われる各処理は、ワイヤードロジックによるハードウェアとして実現されてもよい。
　また、実施の形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的に行うこともできる。もしくは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上述及び図示の処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて適宜変更することができる。
［プログラム］
　図１１は、プログラムが実行されることにより、処理装置１０が実現されるコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
　メモリ１０１０は、ＲＯＭ１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。
　ハードディスクドライブ１０９０は、例えば、ＯＳ（Operating　System）１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、処理装置１０の各処理を規定するプログラムは、コンピュータ１０００により実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、処理装置１０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid　State　Drive）により代替されてもよい。
　また、上述した実施の形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。
　なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
　以上、本発明者によってなされた発明を適用した実施の形態について説明したが、本実施の形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれる。
　１０　処理装置
　１１　コード生成指示部
　１２　評価部
　１２Ａ　ＳＡＳＴ
　１３　プロンプト生成部
　２０　生成サーバ
　２１　ＬＬＭ
　３０　外部ＤＢ
　１０００　コンピュータ 

Claims (6)

  1. 　大規模言語モデルに、コードを生成させる生成指示部と、
    　前記大規模言語モデルが生成したコードのセキュリティ上の脆弱性を評価する評価部と、
    　前記評価部による評価結果を基に、セキュリティ向上のためのアドバイスを、コードの生成を指示するプロンプトに付与する付与部と、
    　を有することを特徴とする処理装置。
  2. 　前記評価部は、静的解析ツールを用いて、前記大規模言語モデルが生成したコードのセキュリティ脆弱性を評価し、
    　前記付与部は、前記静的解析ツールが出力する情報を基に、前記アドバイスを構築することを特徴とする請求項１に記載の処理装置。
  3. 　前記付与部は、前記静的解析ツールが出力する情報に基づいて、脆弱性情報を格納したデータベースを検索し、得られた脆弱性情報を基に前記アドバイスを構築することを特徴とする請求項２に記載の処理装置。
  4. 　前記評価部は、動的解析ツールを用いて、前記大規模言語モデルが生成したコードのセキュリティ脆弱性を評価し、
    　前記付与部は、前記動的解析ツールが出力する情報を基に、前記アドバイスを構築することを特徴とする請求項１に記載の処理装置。
  5. 　処理装置が実行する処理方法であって、
    　大規模言語モデルに、コードを生成させる工程と、
    　前記大規模言語モデルが生成したコードのセキュリティ上の脆弱性を評価する工程と、
    　前記評価する工程における評価結果を基に、セキュリティ向上のためのアドバイスを、コードの生成を指示するプロンプトに付与する工程と、
    　を含んだことを特徴とする処理方法。
  6. 　大規模言語モデルに、コードを生成させるステップと、
    　前記大規模言語モデルが生成したコードのセキュリティ上の脆弱性を評価するステップと、
    　前記評価するステップにおける評価結果を基に、セキュリティ向上のためのアドバイスを、コードの生成を指示するプロンプトに付与するステップと、
    　をコンピュータに実行させるための処理プログラム。
PCT/JP2024/016172 2024-04-24 2024-04-24 処理装置、処理方法及び処理プログラム Pending WO2025224904A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/016172 WO2025224904A1 (ja) 2024-04-24 2024-04-24 処理装置、処理方法及び処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/016172 WO2025224904A1 (ja) 2024-04-24 2024-04-24 処理装置、処理方法及び処理プログラム

Publications (1)

Publication Number Publication Date
WO2025224904A1 true WO2025224904A1 (ja) 2025-10-30

Family

ID=97489718

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/016172 Pending WO2025224904A1 (ja) 2024-04-24 2024-04-24 処理装置、処理方法及び処理プログラム

Country Status (1)

Country Link
WO (1) WO2025224904A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116991467A (zh) * 2023-08-01 2023-11-03 苏州蜚语信息科技有限公司 一种基于大型语言模型的代码修复系统及修复方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116991467A (zh) * 2023-08-01 2023-11-03 苏州蜚语信息科技有限公司 一种基于大型语言模型的代码修复系统及修复方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Fixing security vulnerabilities with AI", GITHUB.BLOG, 14 February 2024 (2024-02-14), XP093365888, Retrieved from the Internet <URL:https://github.blog/2024-02-14-fixing-security-vulnerabilities-with-ai/> *

Similar Documents

Publication Publication Date Title
JP6926429B2 (ja) データ処理装置、データ処理方法、およびプログラム
US8387017B2 (en) Black box testing optimization using information from white box testing
US20200089873A1 (en) DYNAMIC CODE EXTRACTION-based AUTOMATIC ANTI-ANALYSIS EVASION AND CODE LOGIC ANALYSIS APPARATUS
US8099781B2 (en) Method of managing and mitigating security risks through planning
CN110728328B (zh) 分类模型的训练方法和装置
US10261767B2 (en) Data integration job conversion
EP3908925A1 (en) Microapp functionality recommendations with cross-application activity correlation
JPWO2019189249A1 (ja) 学習装置、学習方法、及びプログラム
US20170337056A1 (en) Method and computer program stored in computer-readable medium for converting sort script to reuse jcl in different encoding environment
CN115455430B (zh) 一种基于Kyverno安全策略的安全防护方法及系统
EP3901808A1 (en) Analysis query response system, analysis query execution device, analysis query verification device, analysis query response method, and program
KR102386330B1 (ko) 표준 프로세스를 기반으로 한 사용자 프로세스 분석 장치 및 방법
CN114819553A (zh) 基于工作流引擎的动态配置方法、装置、设备及存储介质
Zhou et al. Srdc: Semantics-based ransomware detection and classification with llm-assisted pre-training
CN116529034B (zh) 生成数字孪生、方法、系统、计算机程序产品
US20120151600A1 (en) Method and system for protecting intellectual property in software
US20140279828A1 (en) Control data driven modifications and generation of new schema during runtime operations
JP7351399B2 (ja) ログ生成装置、ログ生成方法、及びプログラム
KR20200110881A (ko) 비음수 행렬 인수분해를 이용하는 데이터 증강 방법 및 장치
US8229903B2 (en) Suggesting data interpretations and patterns for updating policy documents
Wrench et al. Detecting derivative malware samples using deobfuscation-assisted similarity analysis
JP6674048B2 (ja) 判定装置、判定方法及び判定プログラム
WO2021171524A1 (ja) シグネチャ生成装置、シグネチャ生成方法およびシグネチャ生成プログラム
CN114611114A (zh) 代码审计方法、装置、设备及存储介质
WO2025248740A1 (ja) 処理装置、処理方法及び処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24937019

Country of ref document: EP

Kind code of ref document: A1