WO2025258385A1 - テスト評価システム - Google Patents

テスト評価システム

Info

Publication number
WO2025258385A1
WO2025258385A1 PCT/JP2025/019167 JP2025019167W WO2025258385A1 WO 2025258385 A1 WO2025258385 A1 WO 2025258385A1 JP 2025019167 W JP2025019167 W JP 2025019167W WO 2025258385 A1 WO2025258385 A1 WO 2025258385A1
Authority
WO
WIPO (PCT)
Prior art keywords
test
evaluation
model
description
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/019167
Other languages
English (en)
French (fr)
Inventor
マン イウー チャウ
雅樹 小林
友典 田中
光博 木谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Astemo Ltd
Original Assignee
Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Astemo Ltd filed Critical Astemo Ltd
Publication of WO2025258385A1 publication Critical patent/WO2025258385A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Prevention of errors by analysis, debugging or testing of software

Definitions

  • the present invention relates to a test evaluation system.
  • Patent Document 1 discloses a method for evaluating the suitability of architecture analysis and design models by automatically organizing all reference information into a hierarchical model. With the technology in Patent Document 1, users can determine whether suitability and reliability are met by examining a hierarchical model structured based on the input information required for model creation.
  • Patent Document 2 discloses a method for evaluating software reliability using predetermined criteria such as defect rate, uptime rate, and crash rate.
  • test Criteria In testing the functions of software and hardware, whether or not the test conditions (Testing Criteria) corresponding to the software and hardware functions are met is confirmed by executing a test procedure (Testing Procedure) or test command (Testing Command) corresponding to the test conditions.
  • the test procedure or test command corresponding to the test conditions is generated by a person or AI (Artificial Intelligence).
  • AI Artificial Intelligence
  • the present invention was made in consideration of the above points, and aims to provide a test evaluation system that can evaluate the consistency of either test procedures or test commands written in natural language with test conditions written in natural language.
  • the test evaluation system of the present invention which solves the above-mentioned problems, is characterized by comprising: a first input unit into which a description of test conditions is input; a second input unit into which a description of either a test procedure or a test command generated based on the description of test conditions is input; a first extraction AI model that extracts descriptions related to predefined evaluation perspectives from the description of test conditions input to the first input unit; a second extraction AI model that extracts descriptions related to the evaluation perspectives from the description of either the test procedure or the test command input to the second input unit; an evaluation item integration unit that integrates the description of test conditions extracted by the first extraction AI model with the description of either the test procedure or the test command extracted by the second extraction AI model to form evaluation items in the evaluation perspective; and an evaluation AI model that evaluates the consistency between the description of test conditions and the description of either the test procedure or the test command for the evaluation items in the evaluation perspective integrated by the evaluation item integration unit.
  • FIG. 1 is a block diagram showing an outline of a test evaluation system according to a first embodiment.
  • FIG. 2 is a block diagram showing details of the test evaluation system of FIG. 1;
  • FIG. 3 is a block diagram showing details of the first extraction AI model and the second extraction AI model in FIG. 2 .
  • FIG. 4 is a block diagram showing the configuration of an encoder that configures the first extraction AI model and the second extraction AI model in FIG. 3 .
  • FIG. 5 illustrates the scaled dot-product attention that constitutes the multi-head self-attention layer of FIG. 4 .
  • FIG. 6 illustrates a multi-head self-attention layer constructed with the scaled dot-product attention of FIG. 5 .
  • FIG. 10 is a diagram showing an example of test condition descriptions input to the first extraction AI model.
  • FIG. 10 is a diagram showing an example of test condition descriptions input to the first extraction AI model.
  • FIG. 8 is a diagram showing the test condition description in FIG. 7 broken down into tokens.
  • FIG. 9 is a diagram showing a state in which the probability related to the evaluation viewpoint “pre-environment” is calculated for each token in FIG. 8 .
  • FIG. 9 is a diagram showing a state in which the probability related to the evaluation viewpoint “observation variable” is calculated for each token in FIG. 8 .
  • FIG. 11 is a diagram showing a state in which tokens related to the same evaluation perspectives, "prior environment” and “observation variables,” are combined based on the probabilities calculated in FIGS. 9 and 10 .
  • a diagram showing the state in which tokens related to the same evaluation perspectives, "pre-environment” and “observation variables,” are combined in the description of the test procedure input to the second extraction AI model.
  • FIG. 10 is a diagram showing training data for an evaluation AI model including negative data with a reliability score of unacceptable in the second embodiment.
  • FIG. 10 is a block diagram showing an outline of a test evaluation system according to a third embodiment.
  • FIG. 10 is a block diagram showing an outline of a test evaluation system according to a fourth embodiment.
  • FIG. 13 is a diagram showing an example of pattern matching using regular expressions according to the fourth embodiment.
  • FIG. 13 is a diagram showing an example of pattern matching using regular expressions according to the fourth embodiment.
  • FIG. 13 is a diagram showing an example of pattern matching using regular expressions according to the fourth embodiment.
  • Test conditions refers to, for example, the conditions for passing a test related to a predefined evaluation perspective.
  • Test procedures refers to, for example, the procedures for checking whether test conditions related to a predefined evaluation perspective are met.
  • Test commands refers to, for example, the program source commands and source code for checking whether test conditions related to a predefined evaluation perspective are met. Evaluation perspectives related to test conditions, test procedures, and test commands include, for example, "pre-environment,” “observation variables,” “voltage,” and “current,” as described below.
  • the evaluation item integration unit 150 integrates the description of the test conditions 110a extracted by the first extraction AI model 130A with the description of the test procedures or test commands 120a extracted by the second extraction AI model 140A to create evaluation items 160 from an evaluation perspective.
  • the evaluation AI model 170A evaluates the consistency between the description of the test conditions 110a and the description of the test procedure or test command 120a for the evaluation items 160 in the evaluation perspective integrated by the evaluation item integration unit 150 as a reliability score 180a.
  • the first extraction AI model 130A extracts descriptions related to each of multiple evaluation perspectives from the descriptions of the test conditions 110a input to the first input unit 119.
  • the example of FIG. 1 In the example of FIG.
  • the second extraction AI model 140A extracts descriptions related to each of multiple evaluation perspectives from the descriptions of the test procedures or test commands 120a input to the second input unit 129.
  • the second extraction AI model 140A extracts test procedures or test commands (pre-environment) 121a, which are descriptions related to the evaluation perspective "pre-environment.”
  • the second extraction AI model 140A also extracts test procedures or test commands (observation variables) 122a, which are descriptions related to the evaluation perspective "observation variables.”
  • the evaluation item integration unit 150 integrates, for each of multiple evaluation perspectives, the descriptions of test conditions related to the evaluation perspectives extracted by the first extraction AI model 130A and the descriptions of either test procedures or test commands related to the evaluation perspectives extracted by the second extraction AI model 140A.
  • the evaluation item integration unit 150 sets the descriptions of test conditions and the descriptions of either test procedures or test commands integrated for each of the multiple evaluation perspectives as evaluation items 160a for each of the evaluation perspectives.
  • the evaluation item integrator 150 integrates the test conditions (pre-environment) 111a and test procedures or test commands (pre-environment) 121a related to the evaluation perspective "pre-environment” to generate evaluation item 161a in the evaluation perspective "pre-environment”.
  • the evaluation item integrator 150 integrates the test conditions (observation variables) 112a and test procedures or test commands (observation variables) 122a related to the evaluation perspective "observation variables” to generate evaluation item 162a in the evaluation perspective "observation variables”.
  • Evaluation AI model 170A is a plurality of evaluation AI models (prior environment) 171A and evaluation AI models (observation variables) 172A corresponding to evaluation items (prior environment) 161a and evaluation items (observation variables) 162a in the evaluation perspectives "prior environment” and "observation variables” integrated by evaluation item integration unit 150.
  • the second extraction AI model 140A extracts test procedures or test commands (pre-environment) 121a that are descriptions related to the evaluation perspective "pre-environment” from the description of the test procedures or test commands 120a input to the second input section 129.
  • the second extraction AI model 140A also extracts test procedures or test commands (observation variables) 122a that are descriptions related to the evaluation perspective "observation variables” from the description of the test procedures or test commands 120a input to the second input section 129.
  • the first extraction AI model 130A and the second extraction AI model 140A use classification models. More specifically, the first extraction AI model 130A and the second extraction AI model 140A are, for example, encoders 300 constituting a transformer with a multi-head self-attention layer as shown in FIG. 4.
  • the transformer does not process the test conditions 110a and the test procedure or test commands 120a word by word, but processes the entire description at once. This makes it possible to quickly understand which parts of the description are important and the overall context of the description. Furthermore, by processing the entire description at once, the transformer can perform calculations in parallel, thereby improving calculation speed. Furthermore, as described below, the transformer uses attention to analyze which parts of the description are related to other parts and how. This makes it possible to accurately grasp the meaning of the description.
  • the encoder 300 includes an input embedding layer 301, a positional encoding layer 302, a stack 303, a multi-head self-attention layer 304, an additive normalization layer 305, a feedforward layer 306, and an additive normalization layer 307.
  • the Positional Encoding Layer 302 adds information to the vectors converted by the Input Embedding Layer 301 to indicate the position of each token within the test conditions 110a and the test procedure or test commands 120a.
  • the Multi-Head Self-Attention Layer 304 assigns multiple attentions to the vectors converted by the Input Embedding Layer 301. Attentions are information used to direct attention to important parts of the description.
  • Attention consists of a query Q, a key K, a value V, and an output value.
  • the query Q is the target of the calculation.
  • the key K is a collection of word vectors used to calculate similarity with other tokens. In other words, the key K indicates the relationship with other tokens.
  • the value V is a collection of vectors used to calculate the weighted sum of tokens. In other words, the value V indicates the token itself. All output values are vectors.
  • the output value is calculated as the sum of the weighted sum of the values V.
  • the weight assigned to each value V is calculated by the compatibility function of the query Q with the corresponding key K.
  • the multi-head self-attention layer 304 is composed of a scaled dot-product attention 310 as shown in Figure 5.
  • the inputs of the scaled dot-product attention 310 are a query Q, a key K, and a value V.
  • the dimension of the key K is dk .
  • the dimension of the value V is dv .
  • the dot product of the vectors of the query Q and the key K is calculated in matrix multiplication 311.
  • the dot product of the vectors of the query Q and the key K is divided by
  • the multi-head self-attention layer 304 is constructed using multiple scaled dot-product attention layers 310.
  • the dimensions of the value V, key K, and query Q are reduced by using the same number of linear layers 321, 322, and 323 as the scaled dot-product attention layers 310, respectively, thereby speeding up calculations.
  • the second extraction AI model 140A similarly breaks down the description of the test procedure or test command 120a input to the second input section 129 into tokens.
  • the second extraction AI model 140A determines which of multiple evaluation perspectives each token is associated with by calculating the probability that each token is associated with each of multiple evaluation perspectives. As shown in FIG. 12, the second extraction AI model 140A combines tokens associated with the same evaluation perspective, thereby extracting descriptions related to each of multiple evaluation perspectives from the description of the test procedure or test command 120a input to the second input section 129.
  • the evaluation item integration unit 150 integrates the test conditions and test procedure or test command descriptions extracted for each evaluation perspective, and outputs them as evaluation items for each evaluation perspective. In other words, the evaluation item integration unit 150 reassembles the test conditions and test procedure or test command descriptions extracted for each evaluation perspective into groups for each evaluation perspective.
  • a pair of test conditions (pre-environment) 111a and test procedures or test commands (pre-environment) 121a is output as evaluation item (pre-environment) 161a.
  • a pair of test conditions (observation variables) 112a and test procedures or test commands (observation variables) 122a is output as evaluation item (observation variables) 162a.
  • the evaluation item (pre-environment) 161a output by the evaluation item integrating unit 150 is supplied to the evaluation AI model (pre-environment) 171A.
  • the evaluation item (observation variables) 162a output by the evaluation item integrating unit 150 is supplied to the evaluation AI model (observation variables) 172A.
  • evaluation AI model (pre-environment) 171A will be described as a representative example of evaluation AI model 170A.
  • a classification model is used for evaluation AI model 170A such as evaluation AI model (pre-environment) 171A.
  • evaluation AI model (pre-environment) 171A of evaluation AI model 170A includes, for example, encoder 173, encoder 174, and multi-layer perceptron 175.
  • Test condition (pre-environment) 111a for evaluation item (pre-environment) 161a is input to encoder 173, and test procedure or test command (pre-environment) 121a for evaluation item (pre-environment) 161a is input to encoder 174.
  • the configuration of encoders 173 and 174 is similar to that of encoder 300 constituting the transformer described above, and therefore description thereof will be omitted.
  • the multilayer perceptron 175 comprises an input layer 401, a hidden layer 402, and an output layer 403, each of which has one or more nodes 404.
  • Each of the nodes 404 in the input layer 401 is connected to each and every node 404 in the hidden layer 402 by edges 405.
  • Each node 404 in the hidden layer 402 is connected to a node 404 in the output layer 403 by an edge 405.
  • Signals (information) propagating along the edges 405 propagate unidirectionally from nodes 404 in the input layer 401 to nodes 404 in the hidden layer 402.
  • Signals propagating along the edges 405 propagate unidirectionally from nodes 404 in the hidden layer 402 to nodes 404 in the output layer 403.
  • Each signal output from node 404 in input layer 401 and propagating along edge 405 is multiplied by a weight and input to node 404 in hidden layer 402.
  • each signal output from node 404 in hidden layer 402 and propagating along edge 405 is multiplied by a weight and input to node 404 in output layer 403.
  • Each node 404 transforms the input signal using an activation function and outputs it as a new signal.
  • evaluation AI model 171A outputs the consistency between the description of test condition (pre-environment) 111a and the description of test procedure or test command (pre-environment) 121a for evaluation item (pre-environment) 161a as a reliability score indicated by either (Yes/1) or (No/0).
  • evaluation AI model 172A of evaluation AI model 170A Note that in addition to encoders 173 and 174 that constitute a transformer, an LSTM-type encoder model may also be used as a classification model for evaluation AI model 170A.
  • Evaluation AI model 170A is trained with a set of training data that includes positive data in which the description of test condition 110b and the description of test procedure or test command 120b are consistent with each other and have a reliability score of (pass/1), and negative data in which the description of test procedure or test command 120b are inconsistent with each other and have a reliability score of (fail/0).
  • the first extraction AI model (test conditions) 130A to which the description of test conditions 110b has been input, extracts the description of test conditions (pre-environment) 111b and test conditions (observation variables) 112b for each evaluation perspective of "pre-environment” and "observation variables.”
  • the second extraction AI model (test procedure or test command) 140A to which the description of test procedures or test commands 120b has been input, extracts the description of test procedures or test commands (pre-environment) 121b and test procedures or test commands (observation variables) 122b for each evaluation perspective of "pre-environment” and "observation variables.”
  • the first input section 119 and second input section 129 are omitted from the illustration.
  • test conditions pre-environment
  • test procedures or test commands pre-environment
  • test conditions observation variables
  • test procedures or test commands observation variables
  • the evaluation items 161b integrated by the evaluation item integration unit 150 include descriptions of test conditions (pre-environment) 111b and test procedures or test commands (pre-environment) 121b, which are related to each other.
  • the evaluation AI model (pre-environment) 171A outputs a reliability score (pre-environment) 181b indicating (pass/1) as positive data.
  • Evaluation AI model 170B is a plurality of evaluation AI models (voltage) 171B and evaluation AI models (current) 172B corresponding to evaluation item (voltage) 161d and evaluation item (current) 162d in the evaluation perspectives "voltage” and "current” integrated by evaluation item integration unit 150.
  • the test evaluation system 1C further includes a test generation AI model 200 that generates a description of a test procedure or test command 120a based on the description of the test condition 110a input to the first input unit 119.
  • the test generation AI model 200 uses a large language model (LLM) that is fine-tuned for domain knowledge.
  • LLM large language model
  • the second input unit 129 receives the description of the test procedure or test command 120a generated by the test generation AI model 200 based on the description of the test condition 110a input to the first input unit 119.
  • test generation AI model 200 can evaluate the consistency of the description of the test procedure or test command 120a generated based on the description of the test condition 110a.
  • a test evaluation system according to a fourth embodiment will now be described.
  • a first extraction AI model 130C extracts descriptions related to evaluation viewpoints from descriptions of test conditions 110g input to a first input unit 119 by pattern matching using regular expressions.
  • a second extraction AI model 140C extracts descriptions related to evaluation viewpoints from descriptions of test procedures or test commands 120g input to a second input unit 129 by pattern matching using regular expressions.
  • test condition 113a which states "(a) Verification environment: XXX...YYY” from (a) onwards
  • test condition 113b which states "(b) Pre-environment AAA...CCC” from (b) onwards, have been extracted.
  • test condition 113a which states "(a) Verification environment: XXX...YYY” from (a) onwards
  • test condition 113b which states "(b) Pre-environment AAA...CCC” from (b) onwards
  • the alphabets in parentheses may be replaced with Arabic numerals and Roman numerals.
  • Figure 29 shows an example of pattern matching using regular expressions in which the first extraction AI model 130C compares the test conditions 110h entered into the first input unit 119 with titles in the pre-defined target title list 114.
  • the test conditions 110h and the target title list 114 are input into the first extraction AI model 130C.
  • the target title list 114 defines the titles "Verification environment” and "Pre-environment”, for example. From the test conditions 110h, test conditions 113c, which state "(c) Verification environment: XXX...YYY” after "(c) Verification environment”, and test conditions 113d, which state "(d) Pre-environment AAA...CCC” after "(d) Pre-environment", are extracted. The same is true for the second extraction AI model 140C.
  • Figure 30 shows an example of pattern matching in which the first extraction AI model 130C uses regular expressions to match the symbols in the pre-defined target symbol list 115 from the description of the test condition 110i input to the first input unit 119.
  • the test condition 110i and the target symbol list 115 are input to the first extraction AI model 130C.
  • the symbol "###” is defined in the target symbol list 115.
  • test condition 113e which is the description after "###” that reads "### verification environment: XXX...YYY
  • test condition 113f which is the description of "### pre-environment AAA...CCC
  • the first extraction AI model 130C and the second extraction AI model 140C use pattern matching using regular expressions, which enables accurate pattern matching and reduces the risk of incorporating incorrect information. Furthermore, pattern matching using regular expressions can reduce resource consumption.
  • the present invention is not limited to the above-described embodiments and includes various modifications.
  • the above-described embodiments have been described in detail to clearly explain the present invention, and are not necessarily limited to those including all of the described configurations.
  • the above-described configurations, functions, processing units, processing means, etc. may be realized in part or in whole in hardware, for example by designing them as integrated circuits, or they may all be realized in software.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Test And Diagnosis Of Digital Computers (AREA)

Abstract

テスト評価システムは、第１入力部に入力されたテスト条件の記載から、予め定義された評価観点に関連する記載を抽出する第１抽出ＡＩモデルと、第２入力部に入力されたテスト手順又はテストコマンドの記載から、評価観点に関連する記載を抽出する第２抽出ＡＩモデルと、第１抽出ＡＩモデルにより抽出されたテスト条件の記載と、第２抽出ＡＩモデルにより抽出されたテスト手順等の記載とを統合して、評価観点における評価項目とする評価項目統合部と、評価項目統合部により統合された評価観点における評価項目について、テスト条件の記載と、テスト手順等の記載との整合性を評価する評価ＡＩモデルとを備える。

Description

テスト評価システム
　本発明は、テスト評価システムに関する。
　ソフトウェア等を評価する技術が開発されている。例えば、特許文献１には、全ての基準となる情報を階層モデルに自動的に整理することによって、アーキテクチャ解析及び設計モデルの適合性を評価する方法が開示されている。特許文献１の技術では、ユーザは、モデル作成に必要な入力情報に基づいて構造化された階層モデルを検討することで、適合性及び信頼性を満たしているか否かを把握することができる。また、特許文献２には、ソフトウェアの信頼性を欠陥率、稼働率及びクラッシュ率などのあらかじめ定められた項目で評価する方法が開示されている。
米国特許第７４８０８９３号明細書 中国特許出願公開第１１４４８９７６０号明細書
　ところで、ソフトウェア及びハードウェアの機能のテストにおいては、ソフトウェア及びハードウェアの機能に対応したテスト条件（Testing Criteria）を満たしているか否かを、テスト条件に対応したテスト手順（Testing Procedure）又はテストコマンド（Testing Command）を実行することにより確認する。テスト条件に対応したテスト手順又はテストコマンドは、人又はＡＩ（Artificial Intelligence）により生成される。ソフトウェア及びハードウェアの機能のテストを適正に実行するために、テスト条件と、生成されたテスト手順又はテストコマンドとの整合性を評価することが求められる。しかし、テスト条件、テスト手順及びテストコマンドは、自然言語で記載されているため、上記の特許文献１及び特許文献２の技術では対応することが難しく、改善が求められている。
　本発明は、上記の点を鑑みてなされたものであり、自然言語で記載されたテスト条件に対して、自然言語で記載されたテスト手順及びテストコマンドのいずれかの整合性を評価することが可能なテスト評価システムを提供することを目的とする。
　上記課題を解決するための本発明のテスト評価システムは、テスト条件の記載が入力される第１入力部と、テスト条件の記載に基づいて生成されたテスト手順及びテストコマンドのいずれかの記載が入力される第２入力部と、第１入力部に入力されたテスト条件の記載から、予め定義された評価観点に関連する記載を抽出する第１抽出ＡＩモデルと、第２入力部に入力されたテスト手順及びテストコマンドのいずれかの記載から、評価観点に関連する記載を抽出する第２抽出ＡＩモデルと、第１抽出ＡＩモデルにより抽出されたテスト条件の記載と、第２抽出ＡＩモデルにより抽出されたテスト手順及びテストコマンドのいずれかの記載とを統合して、評価観点における評価項目とする評価項目統合部と、評価項目統合部により統合された評価観点における評価項目について、テスト条件の記載と、テスト手順及びテストコマンドのいずれかの記載との整合性を評価する評価ＡＩモデルとを備えたことを特徴とする。
　本発明によれば、自然言語で記載されたテスト条件に対して、自然言語で記載されたテスト手順及びテストコマンドのいずれかの整合性を評価することが可能となる。
　本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の課題、構成および効果は以下の実施形態の説明により明らかにされる。
第１実施例に係るテスト評価システムの概略を示すブロック図。 図１のテスト評価システムの詳細を示すブロック図。 図２の第１抽出ＡＩモデル及び第２抽出ＡＩモデルの詳細を示すブロック図。 図３の第１抽出ＡＩモデル及び第２抽出ＡＩモデルを構成するエンコーダの構成を示すブロック図。 図４のマルチヘッドセルフアテンション層を構成するスケールドドット‐プロダクトアテンションを示す図。 図５のスケールドドット‐プロダクトアテンションにより構成されたマルチヘッドセルフアテンション層を示す図。 第１抽出ＡＩモデルに入力されるテスト条件の記載の例を示す図。 図７のテスト条件の記載がトークンごとに分解された状態を示す図。 図８のトークンごとに評価観点「事前環境」に関連する確率が算出された状態を示す図。 図８のトークンごとに評価観点「観察変数」に関連する確率が算出された状態を示す図。 図９及び図１０で算出された確率に基づいて、同じ評価観点「事前環境」「観察変数」に関連するトークンを結合した状態を示す図。 第２抽出ＡＩモデルに入力されるテスト手順の記載について、同じ評価観点「事前環境」「観察変数」に関連するトークンを結合した状態を示す図。 第１実施例に係る第１抽出ＡＩモデル及び第２抽出ＡＩモデルのそれぞれのトレーニングデータの準備を示す図。 図２の評価項目統合部の詳細を示すブロック図。 図２の評価ＡＩモデルの詳細を示すブロック図。 図１５の多層パーセプトロンを示す図。 第１実施例に係る信頼性スコアが可である肯定的データを含む評価ＡＩモデルのトレーニングデータを示す図。 第１実施例に係る信頼性スコアが不可である否定的データを含む評価ＡＩモデルのトレーニングデータを示す図。 第２実施例に係るテスト評価システムの詳細を示すブロック図。 図１９の第１抽出ＡＩモデル及び第２抽出ＡＩモデルの詳細を示すブロック図。 第１抽出ＡＩモデルに入力されるテスト条件の記載について、同じ評価観点「電圧」「電流」に関連するトークンを抽出した状態を示す図。 第２抽出ＡＩモデルに入力されるテスト手順の記載について、同じ評価観点「電圧」「電流」に関連するトークンを抽出した状態を示す図。 第２実施例に係る第１抽出ＡＩモデル及び第２抽出ＡＩモデルのそれぞれのトレーニングデータの準備を示す図。 第２実施例に係る信頼性スコアが可である肯定的データを含む評価ＡＩモデルのトレーニングデータを示す図。 第２実施例に係る信頼性スコアが不可である否定的データを含む評価ＡＩモデルのトレーニングデータを示す図。 第３実施例に係るテスト評価システムの概略を示すブロック図。 第４実施例に係るテスト評価システムの概略を示すブロック図。 第４実施例に係る正規表現を用いたパターンマッチングの例を示す図。 第４実施例に係る正規表現を用いたパターンマッチングの例を示す図。 第４実施例に係る正規表現を用いたパターンマッチングの例を示す図。
　以下、本発明の実施例について図面を参照して説明する。なお、同一の要素および処理内容には同一の符号を付してその説明を省略する。
[第１実施例]
　以下、第１実施例のテスト評価システムについて説明する。図１に示すテスト評価システム１Ａは、コンピュータとして構成され、例えば、車両のインバータＥＣＵ（Electronic Control Unit）におけるソフトウェア及びハードウェアの機能のテストの評価に用いられる。テスト評価システム１Ａは、テスト評価システム１ＡのＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）に記憶されたコンピュータプログラムをテスト評価システム１ＡのＣＰＵ（Central Processing Unit）が実行することで、以下に示す処理を実行する。テスト評価システム１Ａは、ソフトウェア及びハードウェアの機能に対応したテスト条件（Testing Criteria）と、テスト条件に対応したテスト手順（Testing Procedure）及びテストコマンド（Testing Command）のいずれかとが整合が取れているか否かを評価する。
　「テスト条件」とは、例えば、予め定義された評価観点に関するテストを通過するための条件を意味する。「テスト手順」とは、例えば、予め定義された評価観点に関するテスト条件を満たしているか否かを確認するための手順を意味する。「テストコマンド」とは、例えば、予め定義された評価観点に関するテスト条件を満たしているか否かを確認するためのプログラムソースのコマンド及びソースコードを意味する。テスト条件、テスト手順及びテストコマンドが関連する評価観点には、例えば、後述するように、「事前環境」、「観察変数」、「電圧」及び「電流」等がある。
　評価観点が「事前環境」である場合は、「テスト条件」は、例えば、テストを実行する前に満たさなくてはならない環境を意味する。評価観点が「事前環境」である場合は、「テスト手順」は、例えば、テストを実行する前に満たさなくてはならない環境を満たすための手順を意味する。評価観点が「事前環境」である場合は、「テストコマンド」は、例えば、テストを実行する前に満たさなければならない環境を満たすための手順を実行するプログラムソースのコマンド及びソースコードを意味する。
　さらに具体的には、評価観点が「事前環境」である場合は、「テスト条件」は、例えば、「電流値を初期化する」等の記載である。評価観点が「事前環境」である場合は、「テスト手順」は、例えば、「電流変数を１０にする」等の記載である。評価観点が「事前環境」である場合は、「テストコマンド」は、例えば、「電流変数を１０にする」等の処理をコンピュータに実行させるためのプログラムソースのコマンド及びソースコードである。
　評価観点が「観察変数」である場合は、「テスト条件」は、例えば、テストを通過するために観察される対象、変数及び閾値等の数値を意味する。評価観点が「観察変数」である場合は、「テスト手順」は、例えば、テストを通過するために観察される対象、変数及び閾値等の数値を設定する手順を意味する。評価観点が「観察変数」である場合は、「テストコマンド」は、例えば、テストを通過するために観察される対象、変数及び閾値等の数値を設定する処理をコンピュータに実行させるためのプログラムソースのコマンド及びソースコードである。
　さらに具体的には、評価観点が「観察変数」である場合は、「テスト条件」は、例えば、「Ａテストシステムの状況を観察」等の観察対象を特定する記載である。評価観点が「観察変数」である場合は、「テスト手順」は、例えば、「観察変数設定：１．電流　２．伝達　３．温度」等の記載である。評価観点が「観察変数」である場合は、「テストコマンド」は、例えば、「観察変数設定：１．電流　２．伝達　３．温度」等の設定の処理をコンピュータに実行させるためのプログラムソースのコマンド及びソースコードである。
　評価観点が「電圧」である場合は、「テスト条件」は、例えば、「低電圧源は正常範囲内」等の記載である。評価観点が「電圧」である場合は、「テスト手順」は、例えば、「高圧直流送電スイッチを有効にする」等の記載である。評価観点が「電圧」である場合は、「テストコマンド」は、例えば、「高圧直流送電スイッチを有効にする」等の処理をコンピュータに実行させるためのプログラムソースのコマンド及びソースコードである。
　評価観点が「電流」である場合は、「テスト条件」は、例えば、「直流オフセット」等の記載である。評価観点が「電流」である場合は、「テスト手順」は、例えば、「直流オフセットの計算」等の記載である。評価観点が「電流」である場合は、「テストコマンド」は、例えば、「直流オフセットの計算」等の処理をコンピュータに実行させるためのプログラムソースのコマンド及びソースコードである。
　図１に示すように、テスト評価システム１Ａは、第１入力部１１９、第２入力部１２９、第１抽出ＡＩモデル１３０Ａ、第２抽出ＡＩモデル１４０Ａ、評価項目統合部１５０及び評価ＡＩモデル１７０Ａを備える。第１入力部１１９には、テスト条件１１０ａの記載が入力される。第２入力部１２９には、テスト条件１１０ａの記載に基づいて生成されたテスト手順又はテストコマンド１２０ａの記載が入力される。テスト手順又はテストコマンド１２０ａは、テスト条件１１０ａに基づいて人又はＡＩ（Artificial Intelligence）により生成されたものである。なお、テスト条件１１０ａ及びテスト手順又はテストコマンド１２０ａの記載とは、テスト条件１１０ａ及びテスト手順又はテストコマンド１２０ａを構成する自然言語の文字、単語、句、節及び文を意味する。
　第１抽出ＡＩモデル１３０Ａは、第１入力部１１９に入力されたテスト条件１１０ａの記載から、予め定義された評価観点に関連する記載を抽出する。第２抽出ＡＩモデル１４０Ａは、第２入力部１２９に入力されたテスト手順又はテストコマンド１２０ａの記載から、評価観点に関連する記載を抽出する。
　評価項目統合部１５０は、第１抽出ＡＩモデル１３０Ａにより抽出されたテスト条件１１０ａの記載と、第２抽出ＡＩモデル１４０Ａにより抽出されたテスト手順又はテストコマンド１２０ａの記載とを統合して、評価観点における評価項目１６０とする。
　評価ＡＩモデル１７０Ａは、評価項目統合部１５０により統合された評価観点における評価項目１６０について、テスト条件１１０ａの記載と、テスト手順又はテストコマンド１２０ａの記載との整合性を信頼性スコア１８０ａとして評価する。
　以下、評価項目が「事前環境」及び「観察変数」である場合のテスト評価システム１Ａの例について説明する。なお、本実施例の評価項目「事前環境」「観察変数」は、あくまでも例示であり、他の評価項目としてもよい。評価項目の個数についても、任意に設定することができる。図２に示すように、第１抽出ＡＩモデル１３０Ａは、第１入力部１１９に入力されたテスト条件１１０ａの記載から、複数の評価観点ごとに評価観点に関連する記載を抽出する。図２の例では、第１抽出ＡＩモデル１３０Ａは、評価観点「事前環境」に関連する記載であるテスト条件（事前環境）１１１ａを抽出する。また、第１抽出ＡＩモデル１３０Ａは、評価観点「観察変数」に関連する記載であるテスト条件（観察変数）１１２ａを抽出する。
　第２抽出ＡＩモデル１４０Ａは、第２入力部１２９に入力されたテスト手順又はテストコマンド１２０ａの記載から、複数の評価観点ごとに評価観点に関連する記載を抽出する。図２の例では、第２抽出ＡＩモデル１４０Ａは、評価観点「事前環境」に関連する記載であるテスト手順又はテストコマンド（事前環境）１２１ａを抽出する。また、第２抽出ＡＩモデル１４０Ａは、評価観点「観察変数」に関連する記載であるテスト手順又はテストコマンド（観察変数）１２２ａを抽出する。
　評価項目統合部１５０は、第１抽出ＡＩモデル１３０Ａにより評価観点ごとに抽出された評価観点に関連するテスト条件の記載と、第２抽出ＡＩモデル１４０Ａにより評価観点ごとに抽出された評価観点に関連するテスト手順及びテストコマンドのいずれかの記載とを、複数の評価観点ごとに統合する。評価項目統合部１５０は、複数の評価観点ごとに統合したテスト条件の記載とテスト手順及びテストコマンドのいずれかの記載とを評価観点のそれぞれにおける評価項目１６０ａとする。
　図２の例では、評価項目統合部１５０は、評価観点「事前環境」に関連するテスト条件（事前環境）１１１ａとテスト手順又はテストコマンド（事前環境）１２１ａとを統合し、評価観点「事前環境」における評価項目１６１ａとする。評価項目統合部１５０は、評価観点「観察変数」に関連するテスト条件（観察変数）１１２ａとテスト手順又はテストコマンド（観察変数）１２２ａとを統合し、評価観点「観察変数」における評価項目１６２ａとする。
　評価ＡＩモデル１７０Ａは、評価項目統合部１５０により統合された評価観点「事前環境」「観察変数」のそれぞれにおける評価項目（事前環境）１６１ａ及び評価項目（観察変数）１６２ａについて、それぞれ対応する複数の評価ＡＩモデル（事前環境）１７１Ａ及び評価ＡＩモデル（観察変数）１７２Ａである。
　評価ＡＩモデル（事前環境）１７１Ａは、評価観点「事前環境」における評価項目（事前環境）１６１ａについて、テスト条件（事前環境）１１１ａの記載と、テスト手順又はテストコマンド（事前環境）１２１ａの記載との整合性を（可／１）及び（不可／０）のいずれかで示される信頼性スコア（事前環境）１８１ａとして評価する。
　評価ＡＩモデル（観察変数）１７２Ａは、評価観点「観察変数」における評価項目（観察変数）１６２ａについて、テスト条件（観察変数）１１２ａの記載と、テスト手順又はテストコマンド（観察変数）１２２ａの記載との整合性を（可／１）及び（不可／０）のいずれかで示される信頼性スコア（観察変数）１８２ａとして評価する。
　以下、テスト評価システム１Ａの各部の構成について説明する。図３に示すように、第１抽出ＡＩモデル１３０Ａは、第１入力部１１９に入力されたテスト条件１１０ａの記載から、評価観点「事前環境」に関連する記載であるテスト条件（事前環境）１１１ａを抽出する。また、第１抽出ＡＩモデル１３０Ａは、第１入力部１１９に入力されたテスト条件１１０ａから、評価観点「観察変数」に関連する記載であるテスト条件（観察変数）１１２ａを抽出する。
　第２抽出ＡＩモデル１４０Ａは、第２入力部１２９に入力されたテスト手順又はテストコマンド１２０ａの記載から、評価観点「事前環境」に関連する記載であるテスト手順又はテストコマンド（事前環境）１２１ａを抽出する。また、第２抽出ＡＩモデル１４０Ａは、第２入力部１２９に入力されたテスト手順又はテストコマンド１２０ａの記載から、評価観点「観察変数」に関連する記載であるテスト手順又はテストコマンド（観察変数）１２２ａを抽出する。
　第１抽出ＡＩモデル１３０Ａ及び第２抽出ＡＩモデル１４０Ａには、分類モデルを用いる。さらに具体的には、第１抽出ＡＩモデル１３０Ａ及び第２抽出ＡＩモデル１４０Ａは、例えば、図４に示すようなマルチヘッドセルフアテンション層を備えたトランスフォーマ(Transformer)を構成するエンコーダ（Encoder）３００である。トランスフォーマでは、テスト条件１１０ａ及びテスト手順又はテストコマンド１２０ａの記載を一語ずつ順番に処理せず、記載の全てを一度に処理する。このため、記載のどの部位が重要であるか、短時間で記載の全体の文脈を理解することができる。また、トランスフォーマでは、記載の全てを一度に処理することで、計算を並列に処理できるため、計算の速度が向上している。また、後述するように、トランスフォーマではアテンションにより、記載のどの部位が他の部位とどのように関連しているのかを分析する。このため、記載の意味を正確に把握することができる。
　エンコーダ３００は、入力埋込層３０１、ポジショナルエンコーディング層３０２、スタック３０３、マルチヘッドセルフアテンション層３０４、加算正規化層３０５、フィードフォワード層３０６及び加算正規化層３０７を備えている。
　入力埋込層(Input Embedding Layer)３０１は、入力されたテスト条件１１０ａ及びテスト手順又はテストコマンド１２０ａの記載について、１つ１つの単語を第１抽出ＡＩモデル１３０Ａ及び第２抽出ＡＩモデル１４０Ａが計算することが可能なように変換する。入力埋込層３０１は、既に学習された変換モデルを用いて、入力されたトークンをベクトルに変換する。ここでトークンは、第１抽出ＡＩモデル１３０Ａ及び第２抽出ＡＩモデル１４０Ａが、テスト条件１１０ａ及びテスト手順又はテストコマンド１２０ａの記載を処理する文字列の最小単位を意味する。
　ポジショナルエンコーディング層(Positional Encoding Layer)３０２は、入力埋込層３０１が変換したベクトルに対して、テスト条件１１０ａ及びテスト手順又はテストコマンド１２０ａの記載の中のトークンのそれぞれの位置を示すための情報を付与する。
　スタック(Stack)３０３は、Ｎｘ個の同じ層が積み重なった構造を有する。図４では、スタック３０３の一層のみを表示し、その他の層については記載を省略する。スタック３０３のそれぞれは、マルチヘッドセルフアテンション層３０４、加算正規化層３０５、フィードフォワード層及び加算正規化層３０７を有する。
　マルチヘッドセルフアテンション層(Multi-Head Self-Attention Layer)３０４は、入力埋込層３０１が変換したベクトルに対して、複数のアテンション(Attention)を付与する。アテンションとは、記載の重要箇所に注意を向けるための情報である。
　アテンションは、クエリ（Query）Ｑ、キー（key）Ｋ、バリュー（Value）Ｖ及び出力値で構成されている。クエリＱは、計算する目標である。キーＫは、他のトークンとの類似度の計算に用いる単語ベクトルの集まりである。つまり、キーＫは、他のトークンとの関係性を示すものである。バリューＶは、トークンの重み付け和計算に用いるベクトルの集まりである。つまり、バリューＶは、そのトークンそのものを示すものである。出力値は、全てベクトルである。出力値は、バリューＶの重み付けされた合計の和として計算される。各々のバリューＶに割り当てられた重みは、対応するキーＫとのクエリＱの互換性関数によって計算される。
　マルチヘッドセルフアテンション層３０４は、図５に示すようなスケールドドット‐プロダクトアテンション（Scaled Dot-product Attention）３１０から構成されている。スケールドドット‐プロダクトアテンション３１０の入力は、クエリＱ、キーＫ及びバリューＶである。キーＫの次元は、ｄｋである。バリューＶの次元は、ｄｖである。スケールドドット‐プロダクトアテンション３１０では、行列内積(Matrix Multiplication)３１１において、クエリＱとキーＫとのベクトルの内積が計算される。スケール(Scale)３１２において、クエリＱとキーＫとのベクトルの内積が、｜（ｄｋ）１／２｜で割られる。
　マスク(Mask)３１３において、入力される単語数がシーケンス長よりも短いときにパッド（pad）処理した箇所にマスクが掛けられる。行列内積３１１、スケール３１２及びマスク３１３の計算結果がソフトマックス（softmax）関数３１４に当てはめられる。ソフトマックス関数３１４により、重みの合計が１に正規化される。行列内積(Matrix Multiplication)３１５で、ソフトマックス関数３１４の計算結果と、バリューＶとのベクトルの内積が計算される。以上のスケールドドット‐プロダクトアテンション３１０での計算は、以下の式（１）により表される。
　図６に示すように、スケールドドット‐プロダクトアテンション３１０を複数用いてマルチヘッドセルフアテンション層３０４は構成されている。バリューＶ、キーＫ及びクエリＱのそれぞれの次元が、スケールドドット‐プロダクトアテンション３１０とそれぞれ同数のリニア層(Linear Layer)３２１、リニア層(Linear Layer)３２２及びリニア層(Linear Layer)３２３により減らされることにより、計算の高速化が図られる。
　スケールドドット‐プロダクトアテンション３１０でのそれぞれの計算結果は、コンキャットネイト層（Concatenate Layer）３２４により連結される。コンキャットネイト層により連結された計算結果は、再度、リニア層(Linear Layer)３２５により別次元に射影することで、最終的なマルチヘッドセルフアテンション層３０４の出力値が得られる。
　図４に示すように、エンコーダ３００の加算正規化層(Add and Normalization Layer)３０５は、マルチヘッドセルフアテンション層３０４の出力に対して、その前段のマルチヘッドセルフアテンション層３０４への入力を加算(add)し、マルチヘッドセルフアテンション層３０４の出力を正規化(Normalization)する。
　フィードフォワード層(Feed-Forward Layer)３０６は、位置ｔにおける入力ベクトルｘｔに対し、フィードフォワード全結合ネットワークを適用する。フィードフォワード層３０６は、例えば、２つの層（Layer）で構成される。最初の層の次元は、入力の次元の例えば４倍の値に設定される。２番目の層は、出力値を基の入力の次元に戻す。重みＷ１，Ｗ２は、位置ｔによらず同じである。これにより、フィードフォワード層３０６に入力された同じトークンが同じ出力を生成することが保証される。フィードフォワード層３０６では、ＲｅＬＵ（Rectified Linear Unit）活性化関数が適用される。入力ベクトルｘｔに対するフィードフォワード層３０６の出力ＦＦＮ（ｘｔ）は、以下の式（２）により表される。
　加算正規化層(Add and Normalization Layer)３０７は、フィードフォワード層３０６の出力に対し、その前段のフィードフォワード層３０６への入力を加算(add)し、フィードフォワード層３０６の出力を正規化(Normalization)する。なお、第１抽出ＡＩモデル１３０Ａ及び第２抽出ＡＩモデル１４０Ａとしては、トランスフォーマを構成するエンコーダ３００の他にも、ＬＳＴＭ（Long Short Term Memory）タイプのエンコーダモデルが考えられる。
　以下、第１抽出ＡＩモデル１３０Ａ及び第２抽出ＡＩモデル１４０Ａでの具体的な処理について説明する。以下、代表的な例として、第１抽出ＡＩモデル１３０Ａの動作について説明する。第１入力部１１９に、図７に示すようなテスト条件１１０ａの記載が入力されたと仮定する。図８に示すように、第１抽出ＡＩモデル１３０Ａは、第１入力部１１９に入力されたテスト条件１１０ａの記載を、図８において破線で示すトークンごとに分解する。
　図９に示すように、第１抽出ＡＩモデル１３０Ａは、トークンごとに複数の評価観点のそれぞれに関連する確率を算出する。例えば、図９の例では、評価観点「事前環境」について、同じ題名のトークン「事前環境」の確率は０．９５と高く、その前後の「（ｄ）」「ＡＡＡ…」「ＢＢＢ…」「ＣＣＣ…」の確率も高く算出されている。図１０の例では、評価観点「観察変数」について、題名を示すトークン「成功基準」は「観察変数」と同じ題名ではない。しかし、「成功基準」のセクションには、通常は、テストで観察する必要がある観察変数が含まれているため、関連性は高い。そのため、トークン「成功基準」について、確率は０．８５と高く算出されている。「成功基準」の前後の「（ｆ）」「ＤＤＤ…」「ＥＥＥ…」「ＦＦＦ…」「ＧＧＧ…」「ＨＨＨ…」の確率も高く算出されている。
　図１１に示すように、第１抽出ＡＩモデル１３０Ａは、確率を算出することにより、トークンのそれぞれが複数の評価観点のいずれに関連するかを決定し、同じ評価観点に関連するトークンを結合する。図１１の例では、評価観点「事前環境」について、「（ｄ）事前環境…ＣＣＣ」が結合され、評価観点「観察変数」について、「（ｆ）成功基準…ＨＨＨ」が結合されている。以上のような処理により、第１抽出ＡＩモデル１３０Ａは、第１入力部１１９に入力されたテスト条件１１０ａの記載から、複数の評価観点ごとに評価観点に関連する記載を抽出する。
　図１１の例では、評価観点「事前環境」について、テスト条件（事前環境）１１１ａとして、「（ｄ）事前環境…ＣＣＣ」が抽出される。評価観点「観察変数」について、テスト条件（観察変数）１１２ａとして、「（ｆ）成功基準…ＨＨＨ」が抽出される。
　第２抽出ＡＩモデル１４０Ａも同様に、第２入力部１２９に入力されたテスト手順又はテストコマンド１２０ａの記載をトークンごとに分解する。第２抽出ＡＩモデル１４０Ａは、トークンごとに複数の評価観点のそれぞれに関連する確率を算出することにより、トークンのそれぞれが複数の評価観点のいずれに関連するかを決定する。図１２に示すように、第２抽出ＡＩモデル１４０Ａは、同じ評価観点に関連するトークンを結合することにより、第２入力部１２９に入力されたテスト手順又はテストコマンド１２０ａの記載から、複数の評価観点ごとに評価観点に関連する記載を抽出する。
　図１２の例では、評価観点「事前環境」について、テスト手順又はテストコマンド（事前環境）１２１ａとして、題名「事前環境」以降の記載が抽出される。評価観点「観察変数」について、テスト手順又はテストコマンド（観察変数）１２２ａとして、題名「観察変数」以降の記載が抽出される。
　図１３に示すように、第１抽出ＡＩモデル１３０Ａは、テスト条件１１０ａの記載から複数の評価観点ごとに抽出された評価観点に関連する記載をトレーニングデータとしてトレーニングされている。図１３の例では、上記の第１抽出ＡＩモデル１３０Ａと同様に構成され、トレーニング済みの第１トレーニングデータ準備部（テスト条件）１３１Ａが用いられる。
　第１トレーニングデータ準備部（テスト条件）１３１Ａは、テスト条件１１０ａの記載から、上記と同様にして、テスト条件（事前環境）１１１ａ及びテスト条件（観察変数）１１２ａを抽出する。テスト条件１１０ａ、テスト条件（事前環境）１１１ａ及びテスト条件（観察変数）１１２ａが、第１抽出ＡＩモデル１３０Ａのトレーニングデータとして供給される。
　第２抽出ＡＩモデル１４０Ａは、テスト手順又はテストコマンド１２０ａの記載から複数の評価観点ごとに抽出された評価観点に関連する記載をトレーニングデータとしてトレーニングされている。図１３の例では、上記の第２抽出ＡＩモデル１４０Ａと同様に構成され、トレーニング済みの第２トレーニングデータ準備部（テスト手順又はテストコマンド）１４１Ａが用いられる。
　第２トレーニングデータ準備部（テスト手順又はテストコマンド）１４１Ａは、テスト手順又はテストコマンド１２０ａの記載から、上記と同様にして、テスト手順又はテストコマンド（事前環境）１２１ａ及びテスト手順又はテストコマンド（観察変数）１２２ａを抽出する。テスト手順又はテストコマンド１２０ａ、テスト手順又はテストコマンド（事前環境）１２１ａ及びテスト手順又はテストコマンド（観察変数）１２２ａが、第２抽出ＡＩモデル１４０Ａのトレーニングデータとして供給される。
　図１４に示すように、評価項目統合部１５０には、第１抽出ＡＩモデル１３０Ａにより評価観点ごとに抽出された評価観点に関連するテスト条件の記載が入力される。図１４の例では、評価観点「事前環境」について、テスト条件（事前環境）１１１ａが入力され、評価観点「観察変数」について、テスト条件（観察変数）１１２ａが入力されている。
　評価項目統合部１５０には、第２抽出ＡＩモデル１４０Ａにより評価観点ごとに抽出された評価観点に関連するテスト手順又はテストコマンドの記載が入力される。図１４の例では、評価観点「事前環境」について、テスト手順又はテストコマンド（事前環境）１２１ａが入力され、評価観点「観察変数」について、テスト手順又はテストコマンド（観察変数）１２２ａが入力されている。
　評価項目統合部１５０は、評価観点ごとに抽出されたテスト条件及びテスト手順又はテストコマンドの記載を、評価観点ごとに統合して、評価観点のそれぞれにおける評価項目として出力する。つまり、評価項目統合部１５０は、評価観点ごとに抽出されたテスト条件及びテスト手順又はテストコマンドの記載を、評価観点ごとの組に組み直す。
　図１４の例では、評価項目（事前環境）１６１ａとして、テスト条件（事前環境）１１１ａと、テスト手順又はテストコマンド（事前環境）１２１ａとの組が出力されている。また、評価項目（観察変数）１６２ａとして、テスト条件（観察変数）１１２ａと、テスト手順又はテストコマンド（観察変数）１２２ａとの組が出力されている。評価項目統合部１５０が出力した評価項目（事前環境）１６１ａは、評価ＡＩモデル（事前環境）１７１Ａに供給される。評価項目統合部１５０が出力した評価項目（観察変数）１６２ａは、評価ＡＩモデル（観察変数）１７２Ａに供給される。
　以下、評価ＡＩモデル１７０Ａの代表的な例として、評価ＡＩモデル（事前環境）１７１Ａについて説明する。評価ＡＩモデル（事前環境）１７１Ａ等の評価ＡＩモデル１７０Ａには、分類モデルを用いる。さらに具体的には、図１５に示すように、評価ＡＩモデル１７０Ａの評価ＡＩモデル（事前環境）１７１Ａは、例えば、エンコーダ１７３、エンコーダ１７４及び多層パーセプトロン１７５を備える。エンコーダ１７３には、評価項目（事前環境）１６１ａのテスト条件（事前環境）１１１ａが入力され、エンコーダ１７４には、評価項目（事前環境）１６１ａのテスト手順又はテストコマンド（事前環境）１２１ａが入力される。エンコーダ１７３，１７４の構成は、上述したトランスフォーマを構成するエンコーダ３００と同様であるため、説明を省略する。
　図１６に示すように、多層パーセプトロン（MultiLayer perceptron）１７５は、単数又は複数のノード４０４をそれぞれ有する入力層４０１、隠れ層４０２及び出力層４０３を備える。入力層４０１のノード４０４のそれぞれは、隠れ層４０２のノード４０４のそれぞれ全てとエッジ４０５により接続されている。
　隠れ層４０２のノード４０４のそれぞれは、出力層４０３のノード４０４とエッジ４０５により接続されている。エッジ４０５を伝搬する信号（情報）は、入力層４０１のノード４０４から隠れ層４０２のノード４０４へ一方向に伝搬する。エッジ４０５を伝搬する信号は、隠れ層４０２のノード４０４から出力層４０３のノード４０４へと一方向に伝搬する。
　入力層４０１のノード４０４から出力され、エッジ４０５を伝搬する信号のそれぞれは、重みが乗算され、隠れ層４０２のノード４０４に入力される。同様に、隠れ層４０２のノード４０４から出力され、エッジ４０５を伝搬する信号のそれぞれは、重みが乗算され、出力層４０３のノード４０４に入力される。ノード４０４のそれぞれは、入力された信号を活性化関数により変換し、新たな信号として出力する。
　上記のような処理により、評価ＡＩモデル１７１Ａは、評価項目（事前環境）１６１ａについて、テスト条件(事前環境)１１１ａの記載と、テスト手順又はテストコマンド（事前環境）１２１ａの記載との整合性を、（可／１）及び（不可／０）のいずれかで示される信頼性スコアとして出力する。評価ＡＩモデル１７０Ａの評価ＡＩモデル１７２Ａについても同様である。なお、評価ＡＩモデル１７０Ａに用いる分類モデルとしては、トランスフォーマを構成するエンコーダ１７３，１７４の他にも、ＬＳＴＭタイプのエンコーダモデルが考えられる。
　以下、評価ＡＩモデル１７０Ａのトレーニングデータについて説明する。評価ＡＩモデル１７０Ａは、テスト条件１１０ｂの記載と、テスト手順又はテストコマンド１２０ｂの記載とが互いに整合性が有り、信頼性スコアが（可／１）である肯定的データと、テスト手順又はテストコマンド１２０ｂの記載とが互いに整合性が無く、信頼性スコアが（不可／０）である否定的データとを含むトレーニングデータのセットによりトレーニングされている。
　図１７に示すように、テスト条件１１０ｂの記載が入力された第１抽出ＡＩモデル（テスト条件）１３０Ａは、評価観点「事前環境」「観察変数」ごとに、テスト条件（事前環境）１１１ｂ及びテスト条件（観察変数）１１２ｂの記載を抽出する。テスト手順又はテストコマンド１２０ｂの記載が入力された第２抽出ＡＩモデル（テスト手順又はテストコマンド）１４０Ａは、評価観点「事前環境」「観察変数」ごとに、テスト手順又はテストコマンド（事前環境）１２１ｂ及びテスト手順又はテストコマンド（観察変数）１２２ｂの記載を抽出する。なお、説明の便宜のため、第１入力部１１９及び第２入力部１２９については、図示を省略する。
　テスト条件（事前環境）１１１ｂの記載と、テスト手順又はテストコマンド（事前環境）１２１ｂの記載とは、互いに関連があるものとする。テスト条件（観察変数）１１２ｂの記載と、テスト手順又はテストコマンド（観察変数）１２２ｂの記載とは、互いに関連があるものとする。
　この場合、評価項目統合部１５０により統合された評価項目１６１ｂには、互いに関連があるテスト条件（事前環境）１１１ｂの記載と、テスト手順又はテストコマンド（事前環境）１２１ｂの記載とが含まれる。評価ＡＩモデル（事前環境）１７１Ａは、肯定的なデータとして（可／１）を示す信頼性スコア（事前環境）１８１ｂを出力する。
　評価項目統合部１５０により統合された評価項目１６２ｂには、互いに関連があるテスト条件（観察変数）１１２ｂの記載と、テスト手順又はテストコマンド（観察変数）１２２ｂの記載とが含まれる。評価ＡＩモデル（観察変数）１７２Ａは、肯定的なデータとして（可／１）を示す信頼性スコア（観察変数）１８２ｂを出力する。
　一方、図１８に示すように、テスト条件１１０ｃの記載が入力された第１抽出ＡＩモデル（テスト条件）１３０Ａは、評価観点「事前環境」「観察変数」ごとに、テスト条件（事前環境）１１１ｂ及びテスト条件（観察変数）１１２ｂの記載に加えて、テスト条件（事前環境）１１１ｃ及びテスト条件（観察変数）１１２ｃの記載を抽出する。テスト手順又はテストコマンド１２０ｃの記載が入力された第２抽出ＡＩモデル（テスト手順又はテストコマンド）１４０Ａは、評価観点「事前環境」「観察変数」ごとに、テスト手順又はテストコマンド（事前環境）１２１ｃ及びテスト手順又はテストコマンド（観察変数）１２２ｃの記載を抽出する。
　テスト条件（事前環境）１１１ｂの記載と、テスト手順又はテストコマンド（事前環境）１２１ｃの記載とは、互いに関連が無いものとする。テスト条件（観察変数）１１２ｂの記載と、テスト手順又はテストコマンド（観察変数）１２２ｃの記載とは、互いに関連が無いものとする。
　第１抽出ＡＩモデル（テスト条件）１３０Ａにより抽出されたテスト条件（事前環境）１１１ｂ、テスト条件（観察変数）１１２ｂ、テスト条件（事前環境）１１１ｃ及びテスト条件（観察変数）１１２ｃの記載は、類似性確認部１９０に入力される。類似性確認部１９０では、類似し、重複する記載が削除される。類似性確認部１９０は、キーワード比較及び類似度計算等により、類似し、重複する記載を削除する。図１８の例では、テスト条件（事前環境）１１１ｃ及びテスト条件（観察変数）１１２ｃの記載が削除される。なお、説明の便宜のため、類似性確認部１９０については、図１８及び図２５にのみ図示し、図１，２，１４，１９，２４及び２７では、図示を省略している。
　この場合、評価項目統合部１５０により統合された評価項目１６１ｃには、互いに関連が無いテスト条件（事前環境）１１１ｂの記載と、テスト手順又はテストコマンド（事前環境）１２１ｃの記載とが含まれる。評価ＡＩモデル（事前環境）１７１Ａは、否定的なデータとして（不可／０）を示す信頼性スコア（事前環境）１８１ｃを出力する。
　評価項目統合部１５０により統合された評価項目１６２ｃには、互いに関連が無いテスト条件（観察変数）１１２ｂの記載と、テスト手順又はテストコマンド（観察変数）１２２ｃの記載とが含まれる。評価ＡＩモデル（観察変数）１７２Ａは、否定的なデータとして（不可／０）を示す信頼性スコア（観察変数）１８２ｃを出力する。以上のようにして、信頼性スコアが（可／１）である肯定的データと、信頼性スコアが（不可／０）である否定的データとを含むトレーニングデータのセットを得ることができる。
　上述したように、従来の技術では、自然言語で記載されたテスト条件１１０ａに対して、自然言語で記載されたテスト手順又はテストコマンド１２０ａの整合性を評価することが難しい。これは、ＧＰＴ（Chat Generative Pre-trained Transformer）型の大規模言語モデル（ＬＬＭ：Large Language Models）では、入力された記載の次のトークンしか予測しないため、自然言語で記載された記載の処理が難しいからである。さらに、近年、テスト条件１１０ａ及びテスト手順又はテストコマンド１２０ａが大量及び複雑となる傾向があり、テスト条件１１０ａに対するテスト手順又はテストコマンド１２０ａの整合性の評価がより困難となっている。
　一方、本実施例のテスト評価システム１Ａでは、第１抽出ＡＩモデル１３０Ａが、自然言語で記載されたテスト条件１１０ａの記載から、予め定義された評価観点に関連する記載を抽出し、第２抽出ＡＩモデル１４０Ａが、自然言語で記載されたテスト手順又はテストコマンド１２０ａの記載から、予め定義された評価観点に関連する記載を抽出するため、自然言語で記載されたテスト条件１１０ａ及びテスト手順又はテストコマンド１２０ａに対応することができる。
　評価項目統合部１５０は、第１抽出ＡＩモデル１３０Ａにより抽出されたテスト条件１１０ａの記載と、第２抽出ＡＩモデル１４０Ａにより抽出されたテスト手順又はテストコマンド１２０ａの記載とを統合して、評価観点における評価項目１６０ａとする。評価ＡＩモデル１７０Ａは、評価項目統合部１５０により統合された評価観点における評価項目１６０ａについて、テスト条件１１０ａの記載と、テスト手順又はテストコマンド１２０ａの記載との整合性を評価する。このため、自然言語で記載されたテスト条件１１０ａに対して、自然言語で記載されたテスト手順又はテストコマンド１２０ａの整合性を評価することができる。
　また、本実施例では、第１抽出ＡＩモデル１３０Ａは、テスト条件１１０ａの記載から、複数の評価観点「事前環境」「観察変数」ごとに評価観点「事前環境」「観察変数」に関連する記載を抽出する。第２抽出ＡＩモデル１４０Ａは、テスト手順又はテストコマンド１２０ａの記載から、複数の評価観点「事前環境」「観察変数」ごとに評価観点「事前環境」「観察変数」に関連する記載を抽出する。
　評価項目統合部１５０は、第１抽出ＡＩモデル１３０Ａにより評価観点「事前環境」「観察変数」ごとに抽出された評価観点「事前環境」「観察変数」に関連するテスト条件１１０ａの記載と、第２抽出ＡＩモデル１４０Ａにより評価観点「事前環境」「観察変数」ごとに抽出された評価観点「事前環境」「観察変数」に関連するテスト手順又はテストコマンド１２０ａの記載とを、複数の評価観点「事前環境」「観察変数」ごとに統合する。
　評価ＡＩモデル１７０Ａは、評価項目統合部１５０により統合された評価観点「事前環境」「観察変数」のそれぞれにおける評価項目（事前環境）１６１ａ及び評価項目（観察変数）１６２ａについて、それぞれ対応する複数の評価ＡＩモデル（事前環境）１７１Ａ及び評価ＡＩモデル１７２Ａである。
　複数の評価ＡＩモデル（事前環境）１７１Ａ及び評価ＡＩモデル１７２Ａのそれぞれは、評価観点「事前環境」「観察変数」のそれぞれにおける評価項目（事前環境）１６１ａ及び評価項目（観察変数）１６２ａについて、テスト条件１１０ａの記載と、テスト手順又はテストコマンド１２０ａの記載との整合性を、可及び不可のいずれかで示される信頼性スコアとして評価する。
　つまり、複数の評価観点ごとに分割して評価することで、評価ＡＩモデル１７０Ａは、トレーニングデータから評価観点ごとの評価の規則を十分に理解できるため、より正確な信頼性スコアを計算することができる。また、評価観点ごとに共通の特徴を処理する場合は、その関係性が複雑となり、認識し難いため、複数の評価観点ごとに分割して評価することで、評価の規則の認識の精度が向上する。また、複数の評価観点ごとに、テスト条件１１０ａの記載と、テスト手順又はテストコマンド１２０ａの記載との整合性を評価するため、テストの問題のある個所を把握することができる。また、本実施例では、複数の評価観点について、少ないリソースにより並列で処理することができる。したがって、大量及び複雑なテスト条件１１０ａ及びテスト手順又はテストコマンド１２０ａについても、短時間で正確な評価が可能となる。
　第１抽出ＡＩモデル１３０Ａ及び第２抽出ＡＩモデル１４０Ａは、トランスフォーマを構成するエンコーダ３００である。そのため、アテンション機構により、テスト条件１１０ａ及びテスト手順又はテストコマンド１２０ａの記載が大量且つ複雑であったとしても、テスト条件１１０ａ及びテスト手順又はテストコマンド１２０ａの記載を短時間で正確に処理することができる。評価ＡＩモデル１７０Ａもエンコーダ１７３，１７４を含むため、評価項目１６０ａの記載が大量且つ複雑であったとしても、評価項目１６０ａについて短時間で正確に処理することができる。
[第２実施例]
　以下、第２実施例のテスト評価システムについて説明する。図１９に示すように、本実施例のテスト評価システム１Ｂは、評価観点を「電圧」「電流」として処理を実行する。図１９、図２０及び図２１に示すように、第１抽出ＡＩモデル１３０Ｂは、評価観点「電圧」に関連する記載であるテスト条件（電圧）１１１ｄを抽出する。また、第１抽出ＡＩモデル１３０Ｂは、評価観点「電流」に関連する記載であるテスト条件（電流）１１２ｄを抽出する。
　図１９、図２０及び図２２に示すように、第２抽出ＡＩモデル１４０Ｂは、評価観点「電圧」に関連する記載であるテスト手順又はテストコマンド（電圧）１２１ｄを抽出する。また、第２抽出ＡＩモデル１４０Ｂは、評価観点「電流」に関連する記載であるテスト手順又はテストコマンド（電流）１２２ｄを抽出する。
　図１９に示すように、評価項目統合部１５０は、入力されたテスト条件（電圧）１１１ｄ、テスト条件（電流）１１２ｄ、テスト手順又はテストコマンド（電圧）１２１ｄ及びテスト手順又はテストコマンド（電流）１２２ｄを統合して、評価項目１６０ｄを出力する。評価項目統合部１５０は、評価観点「電圧」に関連するテスト条件（電圧）１１１ｄとテスト手順又はテストコマンド（電圧）１２１ｄとを統合し、評価観点「電圧」における評価項目１６１ｄとする。評価項目統合部１５０は、評価観点「電流」に関連するテスト条件（電流）１１２ｄとテスト手順又はテストコマンド（電流）１２２ｄとを統合し、評価観点「電流」における評価項目１６２ｄとする。
　評価ＡＩモデル１７０Ｂは、評価項目統合部１５０により統合された評価観点「電圧」「電流」のそれぞれにおける評価項目（電圧）１６１ｄ及び評価項目（電流）１６２ｄについて、それぞれ対応する複数の評価ＡＩモデル（電圧）１７１Ｂ及び評価ＡＩモデル（電流）１７２Ｂである。
　評価ＡＩモデル（電圧）１７１Ｂは、評価観点「電圧」における評価項目（電圧）１６１ｄについて、テスト条件（電圧）１１１ｄの記載と、テスト手順又はテストコマンド（電圧）１２１ｄの記載との整合性を（可／１）及び（不可／０）のいずれかで示される信頼性スコア（電圧）１８１ｄとして評価する。
　評価ＡＩモデル（電流）１７２Ｂは、評価観点「電流」における評価項目（電流）１６２ｄについて、テスト条件（電流）１１２ｄの記載と、テスト手順又はテストコマンド（電流）１２２ｄの記載との整合性を（可／１）及び（不可／０）のいずれかで示される信頼性スコア（電流）１８２ｄとして評価する。
　以下、第１抽出ＡＩモデル１３０Ｂ及び第２抽出ＡＩモデル１４０Ｂのトレーニングデータの準備について説明する。図２３に示すように、第１抽出ＡＩモデル１３０Ｂのトレーニングデータの準備のため、上記の第１抽出ＡＩモデル１３０Ｂと同様に構成され、トレーニング済みの第１トレーニングデータ準備部（テスト条件）１３１Ｂが用いられる。第１トレーニングデータ準備部（テスト条件）１３１Ｂは、テスト条件１１０ａの記載から、上記の第１実施例と同様にして、テスト条件（電圧）１１１ｄ及びテスト条件（電流）１１２ｄを抽出する。テスト条件１１０ａ、テスト条件（電圧）１１１ｄ及びテスト条件（電流）１１２ｄが、第１抽出ＡＩモデル１３０Ｂのトレーニングデータとして供給される。
　第２抽出ＡＩモデル１４０Ｂのトレーニングデータの準備のため、上記の第２抽出ＡＩモデル１４０Ｂと同様に構成され、トレーニング済みの第２トレーニングデータ準備部（テスト手順又はテストコマンド）１４１Ｂが用いられる。第２トレーニングデータ準備部（テスト手順又はテストコマンド）１４１Ｂは、テスト手順又はテストコマンド１２０ａの記載から、上記の第１実施例と同様にして、テスト手順又はテストコマンド（電圧）１２１ｄ及びテスト手順又はテストコマンド（電流）１２２ｄを抽出する。テスト手順又はテストコマンド１２０ａ、テスト手順又はテストコマンド（電圧）１２１ｄ及びテスト手順又はテストコマンド（電流）１２２ｄが、第２抽出ＡＩモデル１４０Ｂのトレーニングデータとして供給される。
　以下、評価ＡＩモデル１７０Ｂのトレーニングデータについて説明する。図２４に示すように、テスト条件１１０ｅの記載が入力された第１抽出ＡＩモデル（テスト条件）１３０Ｂは、評価観点「電圧」「電流」ごとに、テスト条件（電圧）１１１ｅ及びテスト条件（電流）１１２ｅの記載を抽出する。テスト手順又はテストコマンド１２０ｅの記載が入力された第２抽出ＡＩモデル（テスト手順又はテストコマンド）１４０Ｂは、評価観点「電圧」「電流」ごとに、テスト手順又はテストコマンド（電圧）１２１ｅ及びテスト手順又はテストコマンド（電流）１２２ｅの記載を抽出する。なお、説明の便宜のため、第１入力部１１９及び第２入力部１２９については、図示を省略する。
　テスト条件（電圧）１１１ｅの記載と、テスト手順又はテストコマンド（電圧）１２１ｅの記載とは、互いに関連があるものとする。テスト条件（電流）１１２ｅの記載と、テスト手順又はテストコマンド（電流）１２２ｅの記載とは、互いに関連があるものとする。
　この場合、評価項目統合部１５０により統合された評価項目１６１ｅには、互いに関連があるテスト条件（電圧）１１１ｅの記載と、テスト手順又はテストコマンド（電圧）１２１ｅの記載とが含まれる。評価ＡＩモデル（電圧）１７１Ｂは、肯定的なデータとして（可／１）を示す信頼性スコア（電圧）１８１ｅを出力する。
　評価項目統合部１５０により統合された評価項目１６２ｅには、互いに関連があるテスト条件（電流）１１２ｅの記載と、テスト手順又はテストコマンド（電流）１２２ｅの記載とが含まれる。評価ＡＩモデル（電流）１７２Ｂは、肯定的なデータとして（可／１）を示す信頼性スコア（電流）１８２ｅを出力する。
　一方、図２５に示すように、テスト条件１１０ｆの記載が入力された第１抽出ＡＩモデル（テスト条件）１３０Ｂは、評価観点「電圧」「電流」ごとに、テスト条件（電圧）１１１ｅ及びテスト条件（電流）１１２ｅの記載に加えて、テスト条件（電圧）１１１ｆ及びテスト条件（電流）１１２ｆの記載を抽出する。テスト手順又はテストコマンド１２０ｆの記載が入力された第２抽出ＡＩモデル（テスト手順又はテストコマンド）１４０Ｂは、評価観点「電圧」「電流」ごとに、テスト手順又はテストコマンド（電圧）１２１ｆ及びテスト手順又はテストコマンド（電流）１２２ｆの記載を抽出する。
　テスト条件（電圧）１１１ｅの記載と、テスト手順又はテストコマンド（電圧）１２１ｆの記載とは、互いに関連が無いものとする。テスト条件（電流）１１２ｅの記載と、テスト手順又はテストコマンド（電流）１２２ｆの記載とは、互いに関連が無いものとする。類似性確認部１９０は、テスト条件（電圧）１１１ｆ及びテスト条件（電流）１１２ｆの記載を削除する。
　この場合、評価項目統合部１５０により統合された評価項目１６１ｆには、互いに関連が無いテスト条件（電圧）１１１ｅの記載と、テスト手順又はテストコマンド（電圧）１２１ｆの記載とが含まれる。評価ＡＩモデル（電圧）１７１Ｂは、否定的なデータとして（不可／０）を示す信頼性スコア（電圧）１８１ｆを出力する。
　評価項目統合部１５０により統合された評価項目１６２ｆには、互いに関連が無いテスト条件（電流）１１２ｅの記載と、テスト手順又はテストコマンド（電流）１２２ｆの記載とが含まれる。評価ＡＩモデル（電流）１７２Ｂは、否定的なデータとして（不可／０）を示す信頼性スコア（電流）１８２ｆを出力する。以上のようにして、信頼性スコアが（可／１）である肯定的データと、信頼性スコアが（不可／０）である否定的データとを含むトレーニングデータのセットを得ることができる。
　本実施例においては、例えば、車両のインバータＥＣＵにおけるソフトウェア及びハードウェアの機能のテストで重要となる評価観点「電圧」「電流」について、上記第１実施例と同様に、テスト条件１１０ａの記載と、テスト手順又はテストコマンド１２０ａの記載との整合性を、可及び不可のいずれかで示される信頼性スコアとして評価することができる。評価観点は、他にも「システム速度」「モータ」「システム温度」等に設定することができる。
[第３実施例]
　以下、第３実施例のテスト評価システムについて説明する。図２６に示すように、本実施例のテスト評価システム１Ｃでは、第１入力部１１９に入力されたテスト条件１１０ａの記載に基づいて、テスト手順又はテストコマンド１２０ａの記載を生成するテスト生成ＡＩモデル２００をさらに備える。第１抽出ＡＩモデル１３０Ａ、第２抽出ＡＩモデル１４０Ａ及び評価ＡＩモデル１７０Ａが分類モデルを用いるのに対し、テスト生成ＡＩモデル２００には、ドメイン知識に向けファインチューン（Fine-Tune）された大規模言語モデル（ＬＬＭ：Large Language Model）を用いる。第２入力部１２９には、テスト生成ＡＩモデル２００が第１入力部１１９に入力されたテスト条件１１０ａの記載に基づいて生成したテスト手順又はテストコマンド１２０ａの記載が入力される。
　本実施例では、テスト生成ＡＩモデル２００が、テスト条件１１０ａの記載に基づいて生成するテスト手順又はテストコマンド１２０ａの記載の整合性について、評価することができる。
[第４実施例]
　以下、第４実施例のテスト評価システムについて説明する。図２７に示すように、本実施例のテスト評価システム１Ｄでは、第１抽出ＡＩモデル１３０Ｃは、正規表現を用いたパターンマッチングにより、第１入力部１１９に入力されたテスト条件１１０ｇの記載から、評価観点に関連する記載を抽出する。第２抽出ＡＩモデル１４０Ｃは、正規表現を用いたパターンマッチングにより、第２入力部１２９に入力されたテスト手順又はテストコマンド１２０ｇの記載から、評価観点に関連する記載を抽出する。
　以下、代表的な例として第１抽出ＡＩモデル１３０Ｃについて説明する。図２８では、第１抽出ＡＩモデル１３０Ｃが、（）内にアルファベットを含む文を先頭から昇順に照合する正規表現を用いたパターンマッチングの例を示している。テスト条件１１０ｇの記載から、（ａ）以降の「（ａ）検証環境：ＸＸＸ…ＹＹＹ」の記載のテスト条件１１３ａと、（ｂ）以降の「（ｂ）事前環境ＡＡＡ…ＣＣＣ」の記載のテスト条件１１３ｂとが抽出されている。第２抽出ＡＩモデル１４０Ｃについても同様である。なお、（）内のアルファベットは、アラビア数字及びローマ数字に置き換えてもよい。
　図２９では、第１抽出ＡＩモデル１３０Ｃが、第１入力部１１９に入力されたテスト条件１１０ｈの記載から、事前に定義された目標題名リスト１１４の題名を照合する正規表現を用いたパターンマッチングの例を示している。第１抽出ＡＩモデル１３０Ｃには、テスト条件１１０ｈと目標題名リスト１１４とが入力される。目標題名リスト１１４には、例えば、題名「検証環境」「事前環境」が定義されている。テスト条件１１０ｈの記載から、「（ｃ）検証環境」以降の「（ｃ）検証環境：ＸＸＸ…ＹＹＹ」の記載のテスト条件１１３ｃと、「（ｄ）事前環境」以降の「（ｄ）事前環境ＡＡＡ…ＣＣＣ」の記載のテスト条件１１３ｄとが抽出されている。第２抽出ＡＩモデル１４０Ｃについても同様である。
　図３０では、第１抽出ＡＩモデル１３０Ｃが、第１入力部１１９に入力されたテスト条件１１０ｉの記載から、事前に定義された目標記号リスト１１５の記号を照合する正規表現を用いたパターンマッチングの例を示している。第１抽出ＡＩモデル１３０Ｃには、テスト条件１１０ｉと目標記号リスト１１５とが入力される。目標記号リスト１１５には、例えば、記号「＃＃＃」が定義されている。テスト条件１１０ｉの記載から、「＃＃＃」以降の「＃＃＃検証環境：ＸＸＸ…ＹＹＹ」の記載のテスト条件１１３ｅと、「＃＃＃事前環境ＡＡＡ…ＣＣＣ」の記載のテスト条件１１３ｆとが抽出されている。第２抽出ＡＩモデル１４０Ｃについても同様である。
　本実施例によれば、第１抽出ＡＩモデル１３０Ｃ及び第２抽出ＡＩモデル１４０Ｃは、正規表現を用いたパターンマッチングを用いるため、正確なパターンマッチングが可能であり、誤った情報を取り込むリスクが低くなる。また、正規表現を用いたパターンマッチングにより、消費するリソースを低減することができる。
　なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよいし、すべてをソフトウェアで実現してもよい。
１Ａ，１Ｂ，１Ｃ，１Ｄ　テスト評価システム
１１０ａ，１１０ｂ，１１０ｃ，１１０ｅ，１１０ｆ，１１０ｇ，１１０ｈ，１１０ｉ　テスト条件
１１１ａ，１１１ｂ，１１１ｃ　テスト条件（事前環境）
１１１ｄ，１１１ｅ，１１１ｆ　テスト条件（電圧）
１１２ａ，１１２ｂ，１１２ｃ　テスト条件（観察変数）
１１２ｄ，１１２ｅ，１１２ｆ　テスト条件（電流）
１１３ａ，１１３ｂ，１１３ｃ，１１３ｄ，１１３ｅ，１１３ｆ　テスト条件
１１４　目標題名リスト
１１５　目標記号リスト
１１９　第１入力部
１２０ａ，１２０ｂ，１２０ｃ，１２０ｅ，１２０ｆ　テスト手順又はテストコマンド
１２１ａ，１２１ｂ，１２１ｃ　テスト手順又はテストコマンド（事前環境）
１２１ｄ，１２１ｅ，１２１ｆ　テスト手順又はテストコマンド（電圧）
１２２ａ，１２２ｂ，１２２ｃ　テスト手順又はテストコマンド（観察変数）
１２２ｄ，１２２ｅ，１２２ｆ　テスト手順又はテストコマンド（電流）
１２９　第２入力部
１３０Ａ，１３０Ｂ，１３０Ｃ　第１抽出ＡＩモデル
１３１Ａ，１３１Ｂ　第１トレーニングデータ準備部（テスト条件）
１４０Ａ，１４０Ｂ，１４０Ｃ　第２抽出ＡＩモデル
１４１Ａ，１４１Ｂ　第２トレーニングデータ準備部（テスト手順又はテストコマンド）１５０　評価項目統合部
１６０　評価項目
１６０ａ，１６０ｄ　評価項目
１６１ａ，１６１ｂ，１６１ｃ　評価項目（事前環境）
１６１ｄ，１６１ｅ，１６１ｆ　評価項目（電圧）
１６２ａ，１６２ｂ，１６２ｃ　評価項目（観察変数）
１６２ｄ，１６２ｅ，１６２ｆ　評価項目（電流）
１７０Ａ，１７０Ｂ　評価ＡＩモデル
１７１Ａ　評価ＡＩモデル（事前環境）
１７１Ｂ　評価ＡＩモデル（電圧）
１７２Ａ　評価ＡＩモデル（観察変数）
１７２Ｂ　評価ＡＩモデル（電流）
１７３，１７４　エンコーダ
１７５　多層パーセプトロン（MultiLayer perceptron）
１８０ａ，１８０ｄ　信頼性スコア
１８１ａ，１８１ｂ，１８１ｃ　信頼性スコア（事前環境）
１８１ｄ，１８１ｅ，１８１ｆ　信頼性スコア（電圧）
１８２ａ，１８２ｂ，１８２ｃ　信頼性スコア（観察変数）
１８２ｄ，１８２ｅ，１８２ｆ　信頼性スコア（電流）
１９０　類似性確認部
２００　テスト生成ＡＩモデル
３００　エンコーダ（Encoder）
３０１　入力埋込層(Input Embedding Layer)
３０２　ポジショナルエンコーディング層(Positional Encoding Layer)
３０３　スタック(Stack)
３０４　マルチヘッドセルフアテンション層(Multi-Head Self-Attention Layer)
３０５　加算正規化層(Add and Normalization Layer)
３０６　フィードフォワード層（Feed-Forward Layer）
３０７　加算正規化層(Add and Normalization Layer)
３１０　スケールドドット‐プロダクトアテンション（Scaled Dot-product Attention）３１１　行列内積(Matrix Multiplication)
３１２　スケール(Scale)
３１３　マスク(Mask)
３１４　ソフトマックス（softmax）関数
３１５　行列内積(Matrix Multiplication)
３２１，３２２，３２３　リニア層(Linear Layer)
３２４　コンキャットネイト層（Concatenate Layer）
３２５　リニア層(Linear Layer)
４０１　入力層
４０２　隠れ層
４０３　出力層
４０４　ノード
４０５　エッジ

Claims (9)

  1. 　テスト条件の記載が入力される第１入力部と、
    　前記テスト条件の記載に基づいて生成されたテスト手順及びテストコマンドのいずれかの記載が入力される第２入力部と、
    　前記第１入力部に入力された前記テスト条件の記載から、予め定義された評価観点に関連する記載を抽出する第１抽出ＡＩモデルと、
    　前記第２入力部に入力された前記テスト手順及び前記テストコマンドのいずれかの記載から、前記評価観点に関連する記載を抽出する第２抽出ＡＩモデルと、
    　前記第１抽出ＡＩモデルにより抽出された前記テスト条件の記載と、前記第２抽出ＡＩモデルにより抽出された前記テスト手順及び前記テストコマンドのいずれかの記載と、を統合して、前記評価観点における評価項目とする評価項目統合部と、
    　前記評価項目統合部により統合された前記評価観点における前記評価項目について、前記テスト条件の記載と、前記テスト手順及び前記テストコマンドのいずれかの記載と、の整合性を評価する評価ＡＩモデルと、
    を備えたことを特徴とするテスト評価システム。
  2. 　前記第１抽出ＡＩモデルは、前記第１入力部に入力された前記テスト条件の記載から、複数の前記評価観点ごとに前記評価観点に関連する記載を抽出し、
    　前記第２抽出ＡＩモデルは、前記第２入力部に入力された前記テスト手順及び前記テストコマンドのいずれかの記載から、複数の前記評価観点ごとに前記評価観点に関連する記載を抽出し、
    　前記評価項目統合部は、前記第１抽出ＡＩモデルにより前記評価観点ごとに抽出された前記評価観点に関連する前記テスト条件の記載と、前記第２抽出ＡＩモデルにより前記評価観点ごとに抽出された前記評価観点に関連する前記テスト手順及び前記テストコマンドのいずれかの記載とを、複数の前記評価観点ごとに統合して、前記評価観点のそれぞれにおける前記評価項目とし、
    　前記評価ＡＩモデルは、前記評価項目統合部により統合された前記評価観点のそれぞれにおける前記評価項目について、それぞれ対応する複数の前記評価ＡＩモデルであり、
    　複数の前記評価ＡＩモデルのそれぞれは、前記評価観点のそれぞれにおける前記評価項目について、前記テスト条件の記載と、前記テスト手順及び前記テストコマンドのいずれかの記載と、の整合性を、可及び不可のいずれかで示される信頼性スコアとして評価する、
    ことを特徴とする請求項１に記載のテスト評価システム。
  3. 　前記評価ＡＩモデルは、
    　前記テスト条件の記載と、前記テスト手順及び前記テストコマンドのいずれかの記載と、が互いに整合性が有り、前記信頼性スコアが可である肯定的データと、
    　前記テスト条件の記載と、前記テスト手順及び前記テストコマンドのいずれかの記載と、が互いに整合性が無く、前記信頼性スコアが不可である否定的データと、
    を含むトレーニングデータのセットによりトレーニングされている、
    ことを特徴とする請求項２に記載のテスト評価システム。
  4. 　前記第１抽出ＡＩモデルは、
    　前記第１入力部に入力された前記テスト条件の記載をトークンごとに分解し、
    　トークンごとに複数の前記評価観点のそれぞれに関連する確率を算出することにより、トークンのそれぞれが複数の前記評価観点のいずれに関連するかを決定し、
    　同じ前記評価観点に関連するトークンを結合することにより、
    　前記第１入力部に入力された前記テスト条件の記載から、複数の前記評価観点ごとに前記評価観点に関連する記載を抽出し、
    　前記第２抽出ＡＩモデルは、
    　前記第２入力部に入力された前記テスト手順及び前記テストコマンドのいずれかの記載をトークンごとに分解し、
    　トークンごとに複数の前記評価観点のそれぞれに関連する確率を算出することにより、トークンのそれぞれが複数の前記評価観点のいずれに関連するかを決定し、
    　同じ前記評価観点に関連するトークンを結合することにより、
    　前記第２入力部に入力された前記テスト手順及び前記テストコマンドのいずれかの記載から、複数の前記評価観点ごとに前記評価観点に関連する記載を抽出する、
    ことを特徴とする請求項２に記載のテスト評価システム。
  5. 　前記第１抽出ＡＩモデルは、
    　前記テスト条件の記載から複数の前記評価観点ごとに抽出された前記評価観点に関連する記載をトレーニングデータとしてトレーニングされており、
    　前記第２抽出ＡＩモデルは、
    　前記テスト手順及び前記テストコマンドのいずれかの記載から複数の前記評価観点ごとに抽出された前記評価観点に関連する記載をトレーニングデータとしてトレーニングされている、
    ことを特徴とする請求項２に記載のテスト評価システム。
  6. 　前記第１入力部に入力された前記テスト条件の記載に基づいて、前記テスト手順及び前記テストコマンドのいずれかの記載を生成するテスト生成ＡＩモデルをさらに備え、
    　前記第２入力部には、前記テスト生成ＡＩモデルが前記第１入力部に入力された前記テスト条件の記載に基づいて生成した前記テスト手順及び前記テストコマンドのいずれかの記載が入力される、
    ことを特徴とする請求項１に記載のテスト評価システム。
  7. 　前記第１抽出ＡＩモデルは、正規表現を用いたパターンマッチングにより、前記第１入力部に入力された前記テスト条件の記載から、前記評価観点に関連する記載を抽出し、
    　前記第２抽出ＡＩモデルは、正規表現を用いたパターンマッチングにより、前記第２入力部に入力された前記テスト手順及び前記テストコマンドのいずれかの記載から、前記評価観点に関連する記載を抽出する、
    ことを特徴とする請求項１に記載のテスト評価システム。
  8. 　前記第１抽出ＡＩモデルは、トランスフォーマを構成するエンコーダであり、
    　前記第２抽出ＡＩモデルは、トランスフォーマを構成するエンコーダである、
    ことを特徴とする請求項２に記載のテスト評価システム。
  9. 　前記評価ＡＩモデルは、トランスフォーマを構成するエンコーダを含むことを特徴とする請求項２に記載のテスト評価システム。
PCT/JP2025/019167 2024-06-14 2025-05-27 テスト評価システム Pending WO2025258385A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024-096848 2024-06-14
JP2024096848A JP2025187795A (ja) 2024-06-14 2024-06-14 テスト評価システム

Publications (1)

Publication Number Publication Date
WO2025258385A1 true WO2025258385A1 (ja) 2025-12-18

Family

ID=98050524

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/019167 Pending WO2025258385A1 (ja) 2024-06-14 2025-05-27 テスト評価システム

Country Status (2)

Country Link
JP (1) JP2025187795A (ja)
WO (1) WO2025258385A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07146806A (ja) * 1993-11-22 1995-06-06 Toshiba Corp テスト作業管理支援装置
US20210303442A1 (en) * 2020-03-27 2021-09-30 Wipro Limited System and method for identification of appropriate test cases using artificial intelligence for software testing
JP2023083728A (ja) * 2021-12-06 2023-06-16 ４４４株式会社 システムおよび方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07146806A (ja) * 1993-11-22 1995-06-06 Toshiba Corp テスト作業管理支援装置
US20210303442A1 (en) * 2020-03-27 2021-09-30 Wipro Limited System and method for identification of appropriate test cases using artificial intelligence for software testing
JP2023083728A (ja) * 2021-12-06 2023-06-16 ４４４株式会社 システムおよび方法

Also Published As

Publication number Publication date
JP2025187795A (ja) 2025-12-25

Similar Documents

Publication Publication Date Title
JP6799800B2 (ja) 意味情報生成方法、意味情報生成装置、およびプログラム
CN112163425B (zh) 基于多特征信息增强的文本实体关系抽取方法
Lee et al. Multi-relational script learning for discourse relations
JP2022028908A (ja) 多項関係生成モデルのトレーニング方法、装置、電子機器及び媒体
CN114528898A (zh) 基于自然语言命令的场景图修改
Guo et al. A prompt-based topic-modeling method for depression detection on low-resource data
CN114036938B (zh) 一种融合主题信息和词向量提取文本特征的新闻分类方法
Zhao et al. Layer by layer: Uncovering where multi-task learning happens in instruction-tuned large language models
Alhojely et al. Recent progress on text summarization
CN118551004A (zh) 一种基于知识检索图中文对话知识检索方法及系统
JP2023167720A (ja) 対話装置、対話システム、及び、対話方法
CN116910185B (zh) 模型训练方法、装置、电子设备及可读存储介质
CN117912691A (zh) 一种心理健康状况评估方法、系统、设备及存储介质
Tao et al. Towards solving text-based games by producing adaptive action spaces
CN117436527A (zh) 一种基于知识图谱的大模型推理方法及装置
Wedholm Exploring the Influence of Data Formats on the Consistency of Large Language Models Outputs
JP2025187795A (ja) テスト評価システム
Bagwan et al. Artificially intelligent health chatbot using deep learning
Petersson et al. Artificial grammar learning and neural networks
CN116991976A (zh) 模型训练方法、装置、电子设备及可读存储介质
JP7366316B2 (ja) 学習装置、推論装置、プログラム、学習方法及び推論方法
KR20200084745A (ko) 자연어 문장에 대한 의미 요소 관계 시각화 방법 및 이를 이용한 장치
Huang et al. Hybrid embedding and joint training of stacked encoder for opinion question machine reading comprehension
KR101472029B1 (ko) 색인요소를 이용한 자연어 분석 방법 및 시스템
Lyon et al. Using single layer networks for discrete, sequential data: an example from natural language processing

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25821733

Country of ref document: EP

Kind code of ref document: A1