JP7034334B2 - Test equipment and development support equipment - Google Patents
Test equipment and development support equipment Download PDFInfo
- Publication number
- JP7034334B2 JP7034334B2 JP2020562382A JP2020562382A JP7034334B2 JP 7034334 B2 JP7034334 B2 JP 7034334B2 JP 2020562382 A JP2020562382 A JP 2020562382A JP 2020562382 A JP2020562382 A JP 2020562382A JP 7034334 B2 JP7034334 B2 JP 7034334B2
- Authority
- JP
- Japan
- Prior art keywords
- test
- information
- project
- error prediction
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims description 586
- 238000011161 development Methods 0.000 title claims description 74
- 238000010801 machine learning Methods 0.000 claims description 51
- 238000012502 risk assessment Methods 0.000 claims description 40
- 238000000034 method Methods 0.000 claims description 28
- 238000011156 evaluation Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 22
- 238000004458 analytical method Methods 0.000 claims description 19
- 230000000694 effects Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 16
- 238000013461 design Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims 5
- 230000006870 function Effects 0.000 description 35
- 230000018109 developmental process Effects 0.000 description 33
- 230000007547 defect Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 28
- 238000003745 diagnosis Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 13
- 238000007405 data analysis Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000012795 verification Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Description
本発明は、対象装置を試験する試験装置、及び、開発支援装置に関する。 The present invention relates to a test device for testing a target device and a development support device.
従来の試験装置は、プログラムのソースコードの複雑性及び必要となるリソースを評価し、ソフトウェア全体の品質が向上する最適な試験の組み合わせを探索することにより、対象装置の試験を効率化する(例えば、特許文献1)。 Traditional test equipment streamlines testing of the target equipment by assessing the complexity of the program source code and the resources required and searching for the optimal test combination that improves the overall quality of the software (eg). , Patent Document 1).
従来の試験装置は、ソースコード等に基づく試験、即ちホワイトボックステストを実行することはできるが、要求仕様書等の上流工程での仕様に関わる情報に基づいて試験を行うものではないので、ブラックボックステストを効率化することができない。
更に、従来の試験装置は、試験実施後に、残存すると予測される誤り情報から自動で優先度に応じたリスク分析に基づく最適な対策を提示することができない。Conventional test equipment can perform tests based on source code, that is, white-box tests, but it does not perform tests based on information related to specifications in upstream processes such as requirement specifications, so it is black. Box testing cannot be streamlined.
Further, the conventional test apparatus cannot automatically present the optimum countermeasure based on the risk analysis according to the priority from the error information predicted to remain after the test is performed.
本発明は、上記のような問題点を解決するためになされたものであり、ホワイトボックステストに加えてブラックボックステストも効率化する試験装置を提供する。
更に、本発明は、残存すると予測される誤り情報から、優先度に応じたリスク分析に基づく最適な対策案を自動的にレポートとして生成し、自動試験実施から試験完了後のプロジェクト診断まで中断なく実施する開発支援装置を提供する。The present invention has been made to solve the above-mentioned problems, and provides a test device that improves the efficiency of a black box test in addition to a white box test.
Furthermore, the present invention automatically generates an optimal countermeasure plan based on risk analysis according to priority from error information that is predicted to remain, and automatically generates a report from automatic test implementation to project diagnosis after test completion without interruption. Provide development support equipment to be implemented.
本発明の一態様による試験装置は、処理部を備える。処理部は、試験対象のプロジェクトに関する情報から、前記プロジェクトにおいて試験を行うためのテストシナリオを生成する。処理部は、学習部と、誤り予測情報取得部と、リスク評価部と、テスト項目生成部と、テストケース情報取得/生成部と、テストシナリオ生成部と、を含む。学習部は、入力されたテストケースが誤りを検出する見込み度合いを示す情報を含む誤り予測情報を出力する誤り予測モデルに対し、機械学習で用いられる種々の情報を記憶するデータベースである機械学習データベースに格納された、少なくとも既存のプロジェクトに関する情報およびテストシナリオにおける個々の処理を規定する複数のテストケースに関する情報に基づいて、各プロジェクトにおける試験での各前記テストケースが誤りを検出したか否かを学習させる。誤り予測情報取得部は、試験対象のプロジェクトに関する情報を、誤り予測モデルに入力して、各テストケースと対応する各誤り予測情報を取得する。リスク評価部は、取得された誤り予測情報と対応するテストケースによって誤りが検出される見込み度合い及び当該誤りの影響度合いを示すリスク評価値を算出して、誤り予測情報に付加する。テスト項目生成部は、リスク評価値が付加された誤り予測情報に基づいて、実施する試験項目を示すテスト項目情報を生成する。テストケース情報取得/生成部は、機械学習データベースに含まれるテストケースデータベースから、前記テスト項目情報が含む前記試験の項目に対応するテストケース情報を取得する。テストシナリオ生成部は、取得された前記テストケース情報に基づいて、前記テストシナリオを生成する。 The test apparatus according to one aspect of the present invention includes a processing unit. The processing unit generates a test scenario for conducting a test in the project from the information about the project to be tested. The processing unit includes a learning unit, an error prediction information acquisition unit, a risk assessment unit, a test item generation unit, a test case information acquisition / generation unit, and a test scenario generation unit. The learning unit is a machine learning database that stores various information used in machine learning for an error prediction model that outputs error prediction information including information indicating the probability that the input test case will detect an error. Whether or not each said test case in the test in each project detected an error, based on at least the information about the existing project and the information about multiple test cases that specify the individual actions in the test scenario, stored in. Let them learn. The error prediction information acquisition unit inputs information about the project to be tested into the error prediction model, and acquires each error prediction information corresponding to each test case. The risk assessment unit calculates a risk assessment value indicating the degree of probability that an error will be detected by the acquired error prediction information and the corresponding test case and the degree of influence of the error, and adds it to the error prediction information. The test item generation unit generates test item information indicating the test items to be executed based on the error prediction information to which the risk assessment value is added. The test case information acquisition / generation unit acquires test case information corresponding to the test item included in the test item information from the test case database included in the machine learning database. The test scenario generation unit generates the test scenario based on the acquired test case information.
本発明の試験装置は、ホワイトボックステストに加えてブラックボックステストも効率化することができる。
更に、本発明の開発支援装置は、自動試験実施完了後に各プロジェクト診断のリスクの優先度に応じて最適な対策案を効率的に提示することができる。The test apparatus of the present invention can improve the efficiency of the black box test in addition to the white box test.
Further, the development support device of the present invention can efficiently present the optimum countermeasure plan according to the risk priority of each project diagnosis after the completion of the automatic test implementation.
以下で説明する複数の実施の形態及びその変形例は、それぞれ、特徴的構成を有する。
ある形態における特徴的構成または動作は、他の形態においても適用可能であり、また、本発明は、以下の例示する形態に限定されるものではない。Each of the plurality of embodiments and variations thereof described below has a characteristic configuration.
The characteristic configuration or behavior in one form is also applicable in other forms, and the invention is not limited to the following exemplary forms.
実施の形態1.
1.構成
図1は、実施の形態1に係る試験装置1の構成を示すブロック図である。試験装置1は、試験対象装置2Aと関連装置2Bとの間の、通信プロトコルに基づく動作に関する試験を実行する。試験装置1は、試験対象のプロジェクトについての情報に基づいて、テストシナリオを生成し、テストシナリオに従って試験を実行する。ここでのプロジェクトは、ソフトウェア設計を伴った製品(装置)開発やシステム開発等を行うプロジェクトのことをいう。
1. 1. Configuration Figure 1 is a block diagram showing the configuration of the
試験装置1は、プロセッサ10と、主記憶部20と、補助記憶部30と、表示部40と、操作部50と、通信部60と、を備える。試験装置1は、例えば、パーソナルコンピュータである。
The
プロセッサ10は、信号線を介して他のハードウェアと接続される。プロセッサ10は、中央演算処理装置(CPU)、MPU、DSP、GPU、マイコン、FPGA、ASIC等で実現できる。プロセッサ10は、後述する補助記憶部30に記憶されたOS(Operating System)、アプリケーションプログラム、種々のデータを読み込んで演算処理を実行することにより、種々の機能を実現する。プロセッサ10は、後述する機能的構成を含む。当該機能的構成は、ファームウェアにより実現されてもよい。プロセッサ10は、処理部10の一例である。プロセッサ10と、後述する主記憶部20及び補助記憶部30と、をまとめたハードウェアを、「プロセッシングサーキットリ」ともいう。
The
主記憶部20は、揮発性の記憶部である。主記憶部20は、RAM(Random Access Memory)等で実現できる。主記憶部20は、試験装置1において使用され、生成され、入出力され、或いは送受信されるデータを一時的に記憶する。
The
補助記憶部30は、不揮発性の記憶部である。補助記憶部30は、ROM(Read Only Memory)、HDD(Hard Disk Drive)、フラッシュメモリ等で実現できる。補助記憶部30は、OS、アプリケーションプログラム、種々のデータを記憶している。OSの少なくとも一部は、主記憶部20にロードされて、プロセッサ10によって実行される。
The
補助記憶部30はさらに、機械学習データベース31と、機械学習データベース31に基づいて生成される誤り予測モデル32も記憶する。以下、データベースを「DB」という。誤り予測モデル32は、機械学習モデルのうちの一つを具体化したものである。
なお、機械学習DB31は、例えば、外部サーバに格納されて、外部ネットワーク、及び、試験装置1のインタフェース部を介して、試験装置1からアクセスされるように、試験装置1及び機械学習DB31が試験システムとして構成されてもよい。The
The machine learning DB 31 is stored in an external server, for example, and the
誤り予測モデル32は、試験対象のプロジェクトについての情報を含む入力データ316が入力されると、試験対象のプロジェクトにて発生し得る誤りに関する情報である誤り予測情報312を出力する。誤り予測モデル32は、機械学習DB31に格納される情報によって生成されて、更新される。機械学習DB31の詳細は後述する。
When the
表示部40は、ユーザ操作に従って文字列や画像を表示する。表示部40は、液晶ディスプレイ、有機ELディスプレイなどで構成される。
The
操作部50は、キーボード、マウス、テンキーなどで構成される。ユーザは、操作部50を介して試験装置1を操作する。また、操作部50は、表示部40に重畳して配置されて、ユーザのタッチ操作を受け付け可能なタッチパネルを含んでもよい。
The
通信部60は、試験対象装置2Aと各種データを送受信する。通信部60は、レシーバと、トランスミッタと、を備える。レシーバは、試験対象装置2Aからの各種データを受信する。
トランスミッタは、プロセッサ10からの各種データを、試験対象装置2Aに送信する。通信部60は、通信チップ、NIC(Network Interface Card)等で実現できる。The
The transmitter transmits various data from the
図2は、補助記憶部30の機械学習DB31に格納される情報を示す図である。機械学習DB31は、機械学習で用いられる種々の情報を記憶するデータベースである。即ち、機械学習DB31は、テスト実績DB301と、出荷後不具合DB302と、テスト技術DB303と、ドメイン知識DB304と、プロジェクトDB305と、を含む。機械学習DB31はさらに、テストケースDB306と、テストシナリオDB307と、ドキュメントDB308と、構造化DB309と、教師ありDB310と、教師なしDB311と、を含む。機械学習DB31に格納される情報は、試験データが既に存在する、既存のプロジェクトに関する情報の一例である。
前述のように機械学習DB31は、例えば、外部サーバに格納されて、外部ネットワーク、及び、試験装置1のインタフェース部を介して、試験装置1からアクセスされるように、試験装置1及び機械学習DB31が試験システムとして構成されてもよい。FIG. 2 is a diagram showing information stored in the
As described above, the
テスト実績DB301は、既存のプロジェクトのテスト実績に関するテスト実績情報301Aを格納する。テスト実績情報301Aは、テストケース番号、試験の工程名、機種名、誤りが検出されたか否か、誤りの内容、誤りが検出された箇所、誤りの原因、シーケンス図、試験ログ等の情報で構成される。誤りは、出荷後不具合の原因となり得る欠陥や設計誤り等のことをいう。テスト実績情報301Aは、後述するテスト結果比較部112により自動生成される。本実施の形態において、機種名は、開発中の製品コードであるがこれに限定されない。例えば、機種名は、製品名であってもよい。
The
出荷後不具合DB302は、既存のプロジェクトの出荷後の不具合に関する出荷後不具合情報302Aを格納する。出荷後不具合情報302Aは、システム名、機種名、ソフトウェアのバージョン名、不具合の発生日時、不具合の内容、不具合の原因、不具合の検出密度等の情報で構成される。出荷後不具合情報302Aは、品質保証部門の担当者により手動で入力される。
The
テスト技術DB303は、テスト技術に関するテスト技術情報303Aを格納する。テスト技術情報303Aは、テスト技法名、テスト観点、テストの条件等の情報で構成される。テスト技法名は、例えば、「ホワイトボックステスト」,「ブラックボックステスト」,「境界値分析」,「同値分割」,「CFD」,「データフロー」,「デシジョンテーブル」等である。テスト技術情報303Aは、テスト技術者により手動で入力される。
The
ドメイン知識DB304は、既存のプロジェクトの製品分野に関するドメイン知識情報304Aを格納する。ドメイン知識情報304Aは、製品の構成、製品が有する機能、ハードウェア依存等についての情報で構成される。例えば、空調器のプロジェクトにおいて、製品の構成は、「室内機」,「室外機」である。ドメイン知識情報304Aは、既存のプロジェクトの参画技術者により手動で入力される。
The
プロジェクトDB305は、既存のプロジェクトに関するプロジェクト情報305Aを格納する。プロジェクト情報305Aは、開発規模、開発期間、開発の進捗状況、開発要員人数、開発手法、流用率、生産性、機種名、機能名、機器のバージョン、担当者名、工程、誤りの検出密度、リスク等の情報で構成される。プロジェクト情報305Aは、プロジェクトの参画技術者により手動で入力される。
The
テストケースDB306は、既存のプロジェクトについて実行した試験についてのテストケース情報306Aを格納する。テストケース情報306Aは、テストケース番号、入力値、実行事前条件、期待値、実行事後条件等の情報で構成される。テストケース情報306Aは、後述するテストケース情報取得/生成部109により生成される。実行事前条件の情報は、例えば、そのテストケースを実行する前に実行する必要があるテストケースのテストケース番号を含む。期待値は、試験対象装置2Aが正しく動作した場合の応答信号が示す情報として期待される値である。実行事後条件の情報は、例えば、そのテストケースを実行した後に実行する必要があるテストケースのテストケース番号を含む。
The
テストシナリオDB307は、既存のプロジェクトに対して行った試験の内容を時系列で記述したテストシナリオ307Aを格納する。テストシナリオ307Aは、DSL(domain-specific language)により記述される。テストシナリオ307Aは、例えば、XML形式のデータである。
The
ドキュメントDB308は、設計書、要求仕様書、試験仕様書、ソースコード、状態遷移図、仕様変更情報、シーケンス図等のドキュメント情報308Aを格納する。ここで、ドキュメント情報308Aは、既存のプロジェクトの参画技術者により作成される。また、シーケンス図は、後述するシーケンス図生成部113により生成され得る。
The
構造化DB309は、関係モデル(Relational Data Model)に基づいて設計されるデータベースである。構造化DB309には、後述するデータ構造化部101により、テスト実績情報301A、出荷後不具合情報302A、テスト技術情報303A、ドメイン知識情報304A、プロジェクト情報305Aの内容が構造化されて格納される。構造化DB309は、機種名、システム名、機能名、テストケース番号、当該テストケースにて誤りが検出されたか否か、当該誤りが後の工程や出荷後の不具合として流出したか否かについての情報等を含む。
The
教師ありDB310は、誤り予測モデル32の機械学習に用いられる教師ありデータ310Aを格納する。教師ありデータ310Aは、後述する教師ありデータ生成部102により、構造化DB309の情報に基づいて生成される。教師ありデータ310Aは、例えば、テストケース番号、及びテストケースに対応する機能名に対して、各テストケースにて誤りが検出されたか否か、及び当該誤りが後の工程や出荷後の不具合として流出したか否かを示す正解ラベルが付されたデータである。
The
教師なしDB311は、誤り予測モデル32の機械学習に用いられる教師なしデータ311Aを格納する。教師なしデータ311Aは、後述する非構造化データ解析部103により、ドキュメント情報308A(例えば、要求仕様書)に基づいて生成される。教師なしデータ311Aは、例えば、テストケース番号、及びテストケースに対応する機能名を含む。教師なしデータ311Aは、各テストケースにて誤りが検出されたか否か、及び当該誤りが後の工程や出荷後の不具合として流出したか否かを示す正解ラベルを含まない。
The
図3~5は、プロセッサ10の機能的構成と各機能的構成に対する入出力データとを示す図である。
3 to 5 are diagrams showing the functional configuration of the
図3は、機械学習DB31に格納された情報に基づいて誤り予測モデル32を生成するまでの、プロセッサ10の機能的構成と各機能的構成に対する入出力データとを示している。プロセッサ10は、機能的構成として、データ構造化部101と、教師ありデータ生成部102と、非構造化データ解析部103と、学習部104と、を含む。
FIG. 3 shows the functional configuration of the
データ構造化部101は、既存のプロジェクトに関する、テスト実績情報301A、出荷後不具合情報302A、テスト技術情報303A、ドメイン知識情報304A、プロジェクト情報305Aが入力されると、これらの情報を構造化DB309に格納する。
When the
教師ありデータ生成部102は、構造化DB309の情報が入力されると、教師ありデータ310Aを生成する。動作の詳細は後述する。
When the information of the structured
非構造化データ解析部103は、ドキュメントDB308及び教師ありデータ310Aをテキスト解析して、教師ありデータ310Aを更新し、教師なしデータ311Aを生成する。動作の詳細は後述する。
The unstructured
学習部104は、教師ありデータ310A及び教師なしデータ311Aが入力されると、当該教師なしデータ311Aを用いて、誤り予測モデル32を学習させる。動作の詳細は後述する。学習部104は、例えば、ブートストラップ法(Boot Strap Method)によって、誤り予測モデル32を学習させる。
When the
図4及び図5は、構造化DB309に格納された試験対象のプロジェクトについての情報に基づいて、試験対象装置2Aの試験を実行し、試験の結果に関する情報を生成するまでの、プロセッサ10の機能的構成と各機能的構成に対する入出力データとを示している。プロセッサ10は、機能的構成として、入力データ生成部105と、誤り予測情報取得部106と、リスク評価部107と、テスト項目生成部108と、テストケース情報取得/生成部109と、を含む。プロセッサ10はさらに、機能的構成として、テストシナリオ生成部110と、テストシナリオ実行部111と、テスト結果比較部112と、シーケンス図生成部113と、を含む。
4 and 5 show the functions of the
入力データ生成部105は、構造化DBに格納された試験対象のプロジェクトに関するプロジェクト情報が入力されると、入力データ316を生成する。
When the project information about the project to be tested stored in the structured DB is input, the input
誤り予測情報取得部106は、入力データ316が入力されると、当該入力データ316を誤り予測モデル32に入力して、誤り予測情報312を取得する。誤り予測情報312は、試験対象のプロジェクトにて生じ得る誤りを示す情報である。誤り予測情報312は、テストケース番号と、当該テストケースの内容、当該テストケースにおいて誤りが生じ得るか、及び当該誤りが後の工程や出荷後の不具合として流出し得るかについての情報と、を対応付けた情報である。誤り予測情報312は、例えば、補助記憶部30が有する、大容量のデータを一時的に記憶するための記憶領域(図示せず)に記憶される。
When the
リスク評価部107は、誤り予測情報312が入力されると、当該誤り予測情報312のテストケース毎にリスク評価値を算出して付加する。以下、リスク評価値が付加された誤り予測情報を誤り予測情報312Aという。リスク評価値については後述する。
When the
テスト項目生成部108は、誤り予測情報312Aが入力されると、テスト項目情報313を生成する。テスト項目情報313は、実行する試験の項目が記載された情報である。テスト項目情報313は、テストケース番号と、当該テストケースの内容を示す情報と、を対応付けた情報である。テスト項目情報313には、テストケース毎に、テスト項目番号が付されている。
When the
テストケース情報取得/生成部109は、テスト項目情報313が入力されると、テストケースDB306から、テスト項目情報313の各テスト項目に対応するテストケース情報306Aを取得する。テストケースDB306に、テスト項目に対応するテストケース情報がないと判断した場合、テストケース情報取得/生成部109は、ユーザ操作に従って、当該テスト項目に対応するテストケース情報306Aを生成する。テストケース情報取得/生成部109は、生成したテストケース情報306Aを、テストケースDB306に格納する。
When the
テストシナリオ生成部110は、テストケース情報306Aが入力されると、テストシナリオ307Aを生成する。
When the
テストシナリオ実行部111は、テストシナリオ307Aが入力されると、試験対象装置2Aをテストシナリオ307Aに従って動作させて、試験を実行する。テストシナリオ実行部111は、テストシナリオ307Aに従って、動作の要求信号を試験対象装置2Aに送信することによって、試験対象装置2Aを動作させる。試験対象装置2Aは、要求信号に対応する動作の結果を示す応答信号を、テストシナリオ実行部111に送信する。テストシナリオ実行部111は、要求信号が示す情報と応答信号が示す情報とを対応付けてテスト結果情報314を生成して、当該テスト結果情報314をテスト結果比較部112に出力する。
When the
テスト結果比較部112は、テスト結果情報314が入力されると、テスト結果比較情報315を生成する。テスト結果比較情報315は、要求信号が示す情報と、応答信号が示す情報と、期待値とを対応付けたものである。
When the test result
シーケンス図生成部113は、テスト結果情報314が入力されると、シーケンス図308Aを生成して、ドキュメントDB308に格納する。
When the test result
2.動作
以上のように構成される試験装置1の動作について、図1~7を参照して説明する。試験装置1は、機械学習DB31に格納された情報に基づいて誤り予測モデル32を生成する。試験装置1は、構造化DB309に格納された試験対象のプロジェクトについての情報から入力データ316を生成し、当該入力データ316を誤り予測モデル32に入力して、試験対象装置2Aを試験するためのテストシナリオ307Aを生成する。試験装置1は、テストシナリオ307Aに従って、試験対象装置2Aの試験を実行する。2. 2. Operation The operation of the
2-1.誤り予測モデルの生成動作
図6は、試験装置1の、誤り予測モデル32を生成する動作を示すフローチャートである。以下、図6のフローチャートに即して、試験装置1の動作を説明する。2-1. Error prediction model generation operation FIG. 6 is a flowchart showing an operation of the
最初に、データ構造化部101は、テスト実績情報301A、出荷後不具合情報302A、テスト技術情報303A、ドメイン知識情報304A、プロジェクト情報305Aを、構造化DB309に格納する(S101)。データ構造化部101は、機種名、機能名、システム名、テストケース番号、テストケースの内容、誤りや不具合の内容、誤りが検出された記録があるか否か、当該誤りが後の工程や出荷後の不具合として流出した記録があるか否か等についての情報を対応付けて、構造化DB309に格納する。
First, the
次に、教師ありデータ生成部102は、構造化DB309の情報が入力されると、教師ありデータ310Aを生成する(S102)。教師ありデータ生成部102は、構造化DB309が含むテストケース番号に対して、誤りが検出された記録があるか否か、当該誤りが後の工程や出荷後の不具合として流出した記録があるか否か、及び、誤りや不具合の内容についての正解ラベルを付して、教師ありデータ310Aを生成する。
Next, the supervised data generation unit 102 generates the
次に、非構造化データ解析部103は、ドキュメントDB308をテキスト解析する(S103)。例えば、非構造化データ解析部103は、ドキュメントDB308を、機能名を検索キーワードとしてテキスト解析する。
Next, the unstructured
次に、非構造化データ解析部103は、テキスト解析の結果に基づいてドキュメントDB308の情報と教師ありデータ310Aの情報との間の類似性を解析して、教師ありデータ310Aを更新し、教師なしデータ311Aを生成する(S104)。
Next, the unstructured
次に、学習部104は、教師ありデータ310A及び教師なしデータ311Aが入力されると、半教師あり学習アルゴリズムにより誤り予測モデル32を学習させる(S105)。
Next, when the
上述したように、試験装置1は、ソースコードに加えて、要求仕様書等の情報に基づいて誤り予測モデル32を学習させる。したがって、本実施の形態の試験装置1は、ホワイトボックステストのテスト項目に加えて、例えば、要求仕様書に記載の要求に基づく試験等のブラックボックステストのテスト項目も出力する誤り予測モデル32を構築することができる。
As described above, the
2-2.テストシナリオの生成及び実行動作
図7は、試験装置1の、テストシナリオ307Aを生成して、当該テストシナリオ307Aに従って、試験対象装置2Aの試験を実行する動作を示すフローチャートである。以下、図7のフローチャートに即して、試験装置1の動作を説明する。2-2. Generation and Execution Operation of Test Scenario FIG. 7 is a flowchart showing an operation of generating a
最初に、プロセッサ10は、ユーザ操作に従って、テスト戦略を設定する(S200)。例えば、プロセッサ10は、後述するリスク評価値が所定の閾値以上であるテストケースのうち、全てのテストケースに対応するテスト項目情報313を生成すること、或いは、重要なテストケースのみに対応するテスト項目情報313を生成することである。所定の閾値は、ユーザにより、事前に設定される。例えば、所定の閾値は、ユーザが、テスト項目情報313Aの全項目数のうちの実行する項目数の割合を示す網羅度を入力することにより、事前に設定される。重要なテストケースは、事前にユーザにより設定される。
First, the
次に、入力データ生成部105は、構造化DB309に格納された、試験対象のプロジェクトについての情報が入力されると、入力データ316を生成する(S201)。試験対象のプロジェクトについての情報は、例えば、操作部50を介して、ユーザ操作に従って入力される。
Next, the input
次に、誤り予測情報取得部106は、入力データ316が入力されると、当該プロジェクト情報305Aを誤り予測モデル32に入力して、誤り予測情報312を取得する(S202)。当該プロジェクト情報305Aは、例えば、プロジェクトDB305に格納されている。
Next, when the
次に、リスク評価部107は、誤り予測情報312が入力されると、当該誤り予測情報312のテストケース毎にリスク評価値を算出して、当該リスク評価値を付加した誤り予測情報312Aを生成する(S203)。リスク評価値は、例えば、誤りが検出される見込み度合いと、当該誤りの影響度合いとを積算した値である。影響度合いは、各テストケースの間の依存関係及び関連性を分析することによって算出される。
Next, when the
次に、テスト項目生成部108は、誤り予測情報312Aが入力されると、テスト戦略及びリスク評価値に基づいて、テスト項目情報313を生成する(S204)。
Next, when the
次に、テストケース情報取得/生成部109は、テストケースDB306から、テスト項目情報313の各テスト項目に対応するテストケース情報306Aを取得する(S205)。このとき、テストケース情報取得/生成部109は、テスト項目情報313に、テストケースDB306に存在しないテスト項目があると判断した場合、当該テスト項目に対応するテストケース情報306Aを生成する。また、テストケース情報取得/生成部109は、各テストケース情報306Aの実行事前条件および実行事後条件に基づいて、各テストケースの実行する順番を設定する。また、テストケース情報取得/生成部109は、ユーザ操作に従って、各テストケースの実行する順番を変更してもよい。
Next, the test case information acquisition /
次に、テストシナリオ生成部110は、テストケース情報取得/生成部109が取得/生成したテストケース情報306Aに基づいて、テストシナリオ307Aを生成する(S206)。
Next, the test
次に、テストシナリオ実行部111は、試験対象装置2Aをテストシナリオ307Aに従って動作させて、試験を実行する(S207)。テストシナリオ実行部111は、動作の要求信号を、試験対象装置2Aに送信することによって、試験対象装置2Aを動作させる。試験対象装置2Aは、要求信号に対応する動作の結果を示す応答情報を、テストシナリオ実行部111に送信する。テストシナリオ実行部111は、要求信号が示す情報と応答信号が示す情報とを対応付けてテスト結果情報314を生成し、当該テスト結果情報314をテスト結果比較部112に出力する。
Next, the test
次に、テスト結果比較部112は、テスト結果情報314に基づいて、テスト結果比較情報315を生成し、当該テスト結果比較情報315を表示部40に表示する(S208)。テスト結果比較部112は、テスト結果比較情報315の、各要求信号が示す情報と、各応答信号が示す情報と、各期待値と、を対応付けて表示部40に表示する。
Next, the test
次に、シーケンス図生成部113は、テスト結果情報314に基づいて、シーケンス図308Aを生成する(S209)。シーケンス図生成部113は、シーケンス図308Aを、ドキュメントDB308に格納する。
Next, the sequence
上述したように、誤り予測モデル32が出力する誤り予測情報312は、ホワイトボックステストに加えて、ブラックボックステストに関する情報も含む。したがって、試験装置1は、ホワイトボックステストに加えて、ブラックボックステストも実行することができる。
As described above, the
3.まとめ
以上説明したように、本実施の形態に係る試験装置1は、処理部10を備える。処理部10は、試験対象のプロジェクトに関する情報から、当該プロジェクトにおいて試験を行うためのテストシナリオ307Aを生成する。処理部10は、学習部104と、誤り予測情報取得部106と、リスク評価部107と、テスト項目生成部108と、テストケース情報取得/生成部109と、テストシナリオ生成部110と、を含む。学習部104は、入力されたテストケースが誤りを検出する見込み度合いを示す情報を含む誤り予測情報を出力する誤り予測モデル32に対し、機械学習で用いられる種々の情報を記憶するデータベースである機械学習データベース31に格納された、少なくとも既存のプロジェクトに関する情報およびテストシナリオ307Aにおける個々の処理を規定する複数のテストケースに関する情報に基づいて、各プロジェクトにおける試験での各テストケースが誤りを検出したか否かを学習させる。誤り予測情報取得部106は、試験対象のプロジェクトに関する情報を、誤り予測モデル32に入力して、各テストケースと対応する各誤り予測情報312を取得する。リスク評価部107は、取得された誤り予測情報312と対応するテストケース情報306Aによって誤りが検出される見込み度合い及び当該誤りの影響度合いを示すリスク評価値を算出して、当該誤り予測情報に付加する。テスト項目生成部108は、リスク評価値が付加された誤り予測情報312Aに基づいて、実施する試験項目を示すテスト項目情報313を生成する。テストケース情報取得/生成部109は、機械学習データベース31に含まれるテストケースデータベース306から、テスト項目情報313が含む試験の項目に対応するテストケース情報306Aを取得する。テストシナリオ生成部110は、取得されたテストケース情報306Aに基づいて、テストシナリオ307Aを生成する。3. 3. Summary As described above, the
このことにより、試験装置1は、ホワイトボックステストに加えてブラックボックステストも効率化することができる。さらに、本発明の試験装置は、過去の試験情報を利用することにより、過去の試験において生じた誤りと同様の誤りを予測してテストシナリオを生成することができる。
As a result, the
テスト項目生成部108は、リスク評価値が、所定の閾値よりも高いテストケース全てについて、テスト項目情報313を生成する。
The test
テスト項目生成部108は、リスク評価値が、所定の閾値よりも高いテストケースのうちの、重要なテストケースについて、テスト項目情報313を生成する。
The test
このことにより、試験装置1は、予め設定されたテスト戦略に従って、テスト項目情報313を生成することができる。
As a result, the
テストケース情報取得/生成部109は、テストケースDB306に、テスト項目情報313の各テスト項目が示す試験の内容を示すテストケース情報がないと判断した場合、テストケース情報を生成する。
When the test case information acquisition /
このことにより、試験装置1は、テストケースDB306に存在しないテストケース情報を、新たに生成することができる。
As a result, the
プロセッサ10はさらに、テストシナリオ307Aに従って、対象装置の試験を実行する、テストシナリオ実行部111を含む。
The
このことにより、試験装置1は、テストシナリオ307Aに従って、試験対象装置の試験を実行することができる。また、試験装置1は、ソースコードとドキュメントとの両面から対象工程で実施すべきテストケースについてテストケース間の依存関係及びリスクを明確にしつつ、過去の類似しているプロジェクトのプログラムのテスト結果を考慮して、総合的に誤りの予測を行うことができる。
This allows the
実施の形態2.
実施の形態1の試験装置1は、テスト結果比較情報315等を生成して動作を終了した。実施の形態2の試験装置1は、テスト結果比較情報315に基づいて、誤り予測モデル32を学習させて、再度試験を実行する。Embodiment 2.
The
図8及び図9は、本実施の形態の試験装置1の構成要素と各構成要素に対する入出力データとを示す図である。図10は、本実施の形態の試験装置1のシナリオ生成及び実行動作を示すフローチャートである。
8 and 9 are diagrams showing the components of the
図8に示すように、本実施の形態のプロセッサ10は、実施の形態1の機能的構成に加えて、テスト結果比較情報投入部114を備える。テスト結果比較情報投入部114は、テスト結果比較部112からのテスト結果比較情報315に基づいて、誤り予測モデル32を学習させる。
As shown in FIG. 8, the
図10に示すように、本実施の形態のプロセッサ10は、実施の形態1の図7のステップS200に変えて、ステップS200Aを実行する。また、本実施の形態のプロセッサ10は、ステップS210,S211の処理も実行する。
As shown in FIG. 10, the
最初に、プロセッサ10は、ユーザ操作に従って、テスト戦略及び試験の終了条件を設定する(S200A)。試験の終了条件は、例えば、試験の実行回数である。以下、ステップS201~S209は、図7のものと同様である。
First, the
プロセッサ10は、試験の終了条件を満たすまで、ステップS202~S208及びS210の動作を実行する(S210においてNO)。
The
上述したように、本実施の形態の試験装置1は、ユーザが事前に設定した終了条件を満たすまで自動で試験を実行する。したがって、本実施の形態の試験装置1は、試験を効率化することができる。
As described above, the
上述したように、本実施の形態の処理部10は、実施の形態1の機能的構成に加えて、テスト結果比較情報投入部114を備える。テスト結果比較情報投入部114は、テストシナリオ307Aに従って対象装置の試験を実行した結果に基づいて、誤り予測モデル32を学習させる。
As described above, the
このことにより、本実施の形態の試験装置1は、誤り予測に基づいてテストケースを自動生成して試験を実行し、そのテスト結果を次ぎの誤り予測に逐次フィードバックすることにより、自動探索的に試験を実行し、誤り予測の精度を向上させることができる。
As a result, the
実施の形態3.
実施の形態1又は2に係る試験装置は、誤り分析モデルを用いて試験を自動的に実施することができる。但し、当該試験装置は、試験を実施した後、残存すると予測される誤り情報から、リスク分析に基づく最適な対策を自動的に提示することまではできない。Embodiment 3.
The test apparatus according to the first or second embodiment can automatically perform the test by using the error analysis model. However, the test equipment cannot automatically present the optimum countermeasures based on the risk analysis from the error information that is predicted to remain after the test is performed.
実施の形態3に係る開発支援装置は、残存すると予測される誤り情報から、リスク分析に基づく最適な対策案を自動的にレポートとして生成するために、自動試験実施から試験完了後のプロジェクト診断まで中断なく実施するものである。 The development support device according to the third embodiment is from the automatic test implementation to the project diagnosis after the test is completed in order to automatically generate the optimum countermeasure plan based on the risk analysis from the error information predicted to remain. It will be carried out without interruption.
1.構成
図11は、実施の形態3に係るプロジェクト診断機能装置700の構成を示すブロック図である。プロジェクト診断機能装置700は、実施の形態1及び2に係る試験装置1から取得される、試験対象装置2Aと関連装置2Bとの間の、通信プロトコルに基づく動作に関する試験結果のデータを元に、解析を実行する。ここでのプロジェクトは、ソフトウェア設計を伴った製品(装置)開発やシステム開発等を行うプロジェクトのことをいう。1. 1. Configuration FIG. 11 is a block diagram showing the configuration of the project
プロジェクト診断機能装置700は、プロセッサ10と、主記憶部20と、補助記憶部30と、表示部40と、操作部50と、通信部60と、を備える試験装置1に付属可能な装置である。試験装置1は、例えば、パーソナルコンピュータである。
The project
プロセッサ10は、信号線を介して他のハードウェアと接続される。プロセッサ10は、中央演算処理装置(CPU)、MPU、DSP、GPU、マイコン、FPGA、ASIC等で実現できる。プロセッサ10は、後述する補助記憶部30に記憶されたOS(Operating System)、アプリケーションプログラム、種々のデータを読み込んで演算処理を実行することにより、種々の機能を実現する。プロセッサ10は、後述する機能的構成を含む。当該機能的構成は、ファームウェアにより実現されてもよい。プロセッサ10は、処理部10の一例である。プロセッサ10と、後述する主記憶部20及び補助記憶部30と、をまとめたハードウェアを、「プロセッシングサーキットリ」ともいう。
The
主記憶部20は、揮発性の記憶部である。主記憶部20は、RAM(Random Access Memory)等で実現できる。主記憶部20は、試験装置1において使用され、生成され、入出力され、或いは送受信されるデータを一時的に記憶する。
The
補助記憶部30は、不揮発性の記憶部である。補助記憶部30は、ROM(Read Only Memory)、HDD(Hard Disk Drive)、フラッシュメモリ等で実現できる。補助記憶部30は、OS、アプリケーションプログラム、種々のデータを記憶している。OSの少なくとも一部は、主記憶部20にロードされて、プロセッサ10によって実行される。
The
補助記憶部30はさらに、機械学習DB620と、機械学習DB620に基づいて生成される、誤り予測モデル32及びプロジェクト診断モデル800を記憶する。誤り予測モデル32及びプロジェクト診断モデル800は、機械学習モデルのうちの一つを具体化したものである。誤り予測モデル32については、実施の形態1及び2において詳しく説明した。プロジェクト診断モデル800は、例えば、ディープニューラルネットワーク(深層学習器)により実現される。
なお、機械学習DB620は、例えば、外部サーバに格納されて、外部ネットワーク、及び、プロジェクト診断機能装置700のインタフェース部を介して、プロジェクト診断機能装置700からアクセスされるように、プロジェクト診断機能装置700及び機械学習DB31がプロジェクト診断機能システムとして構成されてもよい。The
The
プロジェクト診断モデル800は、試験対象のプロジェクトについての残存誤り情報を含む入力データが入力されると、試験対象のプロジェクトにて発生し得るリスクとその対策に関する情報であるリスク及び対策案情報550を出力する。プロジェクト診断モデル800は、機械学習DB620に格納される情報によって生成されて、更新される。機械学習DB620の詳細は後述する。
When input data including residual error information about the project to be tested is input, the project
表示部40は、ユーザ操作に従って文字列や画像を表示する。表示部40は、液晶ディスプレイ、有機ELディスプレイなどで構成される。
The
操作部50は、キーボード、マウス、テンキーなどで構成される。ユーザは、操作部50を介してプロジェクト診断機能装置700を操作する。また、操作部50は、表示部40に重畳して配置されて、ユーザのタッチ操作を受け付け可能なタッチパネルを含んでもよい。
The
通信部60は、試験対象装置2Aと各種データを送受信する。通信部60は、レシーバと、トランスミッタと、を備える。レシーバは、試験対象装置2Aからの各種データを受信する。トランスミッタは、プロセッサ10からの各種データを、試験対象装置2Aに送信する。通信部60は、通信チップ、NIC(Network Interface Card)等で実現できる。
The
図12は、補助記憶部30の機械学習DB620に格納される情報を示す図である。機械学習DB620は、テスト実績DB301と、出荷後不具合DB302と、テスト技術DB303と、ドメイン知識DB304と、プロジェクトDB305と、を含む。機械学習DB31は更に、テストケースDB306と、テストシナリオDB307と、ドキュメントDB308と、構造化DB309と、教師ありDB310と、第2の教師ありDB440と、教師なしDB311と、第2の教師なし450と、残存誤り・リスク・効果情報DB400と、リスク登録簿DB410と、設計技術DB420と、トレーサビリティ情報DB430とを含む。機械学習DB620に格納される情報は、試験データ及び残存誤り予測情報が既に存在する、既存のプロジェクトに関する情報の一例である。
前述のように、機械学習DB620は、例えば、外部サーバに格納されて、外部ネットワーク、及び、プロジェクト診断機能装置700のインタフェース部を介して、プロジェクト診断機能装置700からアクセスされるように、プロジェクト診断機能装置700及び機械学習DB31がプロジェクト診断機能システムとして構成されてもよい。FIG. 12 is a diagram showing information stored in the
As described above, the
教師ありDB310は、誤り予測モデル32の機械学習に用いられる教師ありデータ310Aを格納する。教師ありデータ310Aは、実施の形態1で説明した教師ありデータ生成部102により、構造化DB309の情報に基づいて生成される。教師ありデータ310Aは、例えば、テストケース番号、及びテストケースに対応する機能名に対して、各テストケースにて誤りが検出されたか否か、及び当該誤りが後の工程や出荷後の不具合として流出したか否かを示す正解ラベルが付されたデータである。
The
教師なしDB311は、誤り予測モデル32の機械学習に用いられる教師なしデータ311Aを格納する。教師なしデータ311Aは、実施の形態1で説明した非構造化データ解析部103により、ドキュメント情報308A(例えば、要求仕様書)に基づいて生成される。教師なしデータ311Aは、例えば、テストケース番号、及びテストケースに対応する機能名を含む。教師なしデータ311Aは、各テストケースにて誤りが検出されたか否か、及び当該誤りが後の工程や出荷後の不具合として流出したか否かを示す正解ラベルを含まない。
The
第2の教師ありDB440は、プロジェクト診断モデル800の機械学習に用いられる第2の教師ありデータ440Aを格納する。第2の教師ありデータ440Aは、後述する第2の教師ありデータ作成部52により、構造化DB309の情報に基づいて生成される。第2の教師ありデータ440Aは、例えば、システム試験結果に基づく残存誤り予測情報(件数、分類、発生個所など)に対して、どのようなリスクが検出されたか、それらのリスクの対策として実施した対策案の効果があったか否かを示す正解ラベルが付されたデータである。
The second
第2の教師なしDB450は、プロジェクト診断モデル800の機械学習に用いられる第2の教師なしデータ450Aを格納する。第2の教師なしデータ450Aは、後述する第2の非構造化データ解析部55により、ドキュメント情報308A(例えば、要求仕様書やソースコード)に基づいて生成される。第2の教師なしデータ450Aは、例えば、残存誤り予測情報(件数、分類、発生個所など)に対応するリスク及びそれらのリスク対策を含む。第2の教師なしデータ450Aは、残存誤り予測情報(件数、分類、発生個所など)に対応するリスク及びそれらのリスク対策の効果があったか否かを示す正解ラベルを含まない。
The second
誤り予測モデル構築及び運用を実行する試験装置1のプロセッサ10の機能的構成により、システム試験以降の工程で実施すべきと予測される誤り情報(テストケース、誤り検出有無、誤りの後工程流出有無)を予測可能なモデル「誤り予測モデル」が構築され、試験が実施される。
Error information predicted to be executed in the process after the system test (test case, error detection presence / absence, error post-process leakage presence / absence) due to the functional configuration of the
試験実施後のシステム試験結果に基づく残存誤り予測情報(件数、分類、発生個所など)より、プロジェクト診断モデル学習部790によって、プロジェクト診断モデル800が作成される。
The
図13は、プロセッサ10の機能的構成と各機能的構成に対する入出力データとを示すと共に、プロジェクト診断モデル800を構築するためのプロジェクト診断モデル学習部790の構成例を示すブロック図である。
FIG. 13 is a block diagram showing a functional configuration of the
構造化データ統合部51は、複数の既存プロジェクトのテスト実績DB301、出荷後不具合DB302、テスト技術DB303、ドメイン知識DB304、プロジェクトDB305、残存誤り・リスク・効果情報DB400、リスク登録簿DB410、設計技術DB420、トレーサビリティ情報DB430からのデータを、一つの構造化データに統合する。
The structured
初期教師データを作成する第2の教師ありデータ作成部52は、残存誤り予測情報(件数、分類、発生個所など)に対して、どのようなリスクが検出されたか、それらのリスクの対策として実施した対策案の効果があったか否かを示す正解ラベルが付されたデータを用いて、初期教師データである第2の教師ありデータ440Aを作成する。
The second supervised
非構造化データ統合部54は、(要求仕様書、ソースコード、試験書、シーケンス図、状態遷移図、仕様変更情報、静的・動的解析結果などの)ソフトウエアプロダクトに関する非構造化データであるドキュメント情報308Aを統合する。
The unstructured
第2の非構造化データ解析部55は、統合された非構造化データであるドキュメント情報308Aを解析し、初期教師データである第2の教師ありデータ440Aとの関連性を解析し、第2の教師なしデータ450Aを生成する。
The second unstructured
特徴要素抽出部56は、構造化データと非構造化データとにおける残存誤り予測情報(件数、分類、発生個所など)から、関連性のあるリスク及び効果のある対策案を出力するための特徴要素(例えば、コーディング担当者、流用率、要件の変更率など)を抽出する。
The feature
非構造化データ変換部57は、非構造化データの解析結果と抽出された特徴要素とを、規則性のある構造化されたデータ(例えば、XMLファイル)へ変換する。
The unstructured
教師ありデータ投入部53aは、第2の教師ありデータ440Aをプロジェクト診断モデル800のための学習アルゴリズムへ投入する。
The supervised
検証評価基準抽出部58は、残存誤り予測情報(件数、分類、発生個所など)に対して、どの程度の関連性のあるリスク及び効果のある対策案が出されればどう評価(フィードバック)されるか、の検証基準を抽出する。
The verification evaluation
モデル作成部59は、学習アルゴリズムへ投入された第2の教師ありデータ440Aを基に、プロジェクト診断モデル800を構築する。
The
教師なしデータ投入部53bは、残存誤り予測情報(件数、分類、発生個所など)に対して、どの程度の関連性のあるリスク及び効果のある対策案が出されたか評価され得ていない、第2の教師なしデータ450Aをプロジェクト診断モデル800へ投入する。
The unsupervised
モデル再作成部61は、投入された第2の教師なしデータ450Aを基に、誤り予測モデル32を再構築する。
The
検証評価出力部62は、残存誤り予測情報(件数、分類、発生個所など)に対して、どの程度の関連性のあるリスク及び効果のある対策案であったかを実際に評価(フィードバック)する出力を行う。
The verification
プロジェクト診断モデル800の構築及び学習に必要となる情報データは、様々なものが想定される。プロジェクト診断モデル800の構築及び学習に必要とされ得る情報データの例を以下に示す。
2.動作
次に、本実施の形態に係る試験装置1及びプロジェクト診断機能装置700の動作について、図14に示すフローチャートを参照して説明する。プロジェクト診断モデル800の構築は、半教師あり学習アルゴリズムを用いて行う。2. 2. Operation Next, the operation of the
開始(S500)後、既存の複数のプロジェクトの実施結果が格納されているテスト実績DB301、出荷後不具合DB302、テスト技術DB303、ドメイン知識DB304、残存誤り・リスク・効果情報DB400、リスク登録簿DB410、設計技術DB420、トレーサビリティ情報DB430の各データベースからデータを統合し、残存誤り予測情報(件数、分類、発生個所など)に対する関連性のあるリスク及び効果のある対策案のデータの対応関係を整理する(S501)。
After the start (S500), the
統合されたデータの残存誤り予測情報(件数、分類、発生個所など)の入力に対する関連性のあるリスク及び効果のある対策案の出力の対応関係から、初期学習用の教師ありデータである第2の教師ありデータ440Aの作成を実施する(S502)。
It is supervised data for initial learning from the correspondence of the output of effective countermeasures and the risks related to the input of the residual error prediction information (number of cases, classification, occurrence location, etc.) of the integrated data. The
一方、同一の機種毎に、仕様書・ソース、静的・動的解析結果などの非構造化データをNoSQLのデータベースへ格納する(S503)。 On the other hand, unstructured data such as specifications / sources and static / dynamic analysis results are stored in the NoSQL database for each same model (S503).
初期学習用の教師ありデータである第2の教師ありデータ440Aに記載されている内容を検索キーワードとして、設計書、テスト仕様書、ソース、仕様変更情報、静的・動的解析結果などの非構造化データも含めてテキスト解析を行う(S504)。
Using the content described in the second
テキスト解析結果から、初期学習用の教師ありデータである第2の教師ありデータ440Aに対する類似性を分析し、残存誤りの内容が仕様書のどこに記載がある内容か、仕様変更による影響の可能性があるかどうか、機種間の相関など、実際に対策が必要となった対応の特徴を抽出する(S505)。
From the text analysis results, we analyzed the similarity to the second
構造化データと非構造化データとを、抽出された特徴量において整合性がとれるように、トレーサビリティ情報よりマッピングする(S506)。 Structured data and unstructured data are mapped from traceability information so that consistency can be obtained in the extracted features (S506).
作成された残存誤り情報(予測件数、残存誤り予測発生器機能及びソース箇所、残存誤り種類)、残存誤り情報に対するリスク及びリスク対策の効果結果が判明している、第2の教師ありデータ440Aを投入する(S507)。
The second
フィードバックする効果に対する検証評価の基準を抽出する(S508)。 Criteria for verification evaluation for the effect of feedback are extracted (S508).
第2の教師ありデータ440Aの学習アルゴリズムを使用して、残存誤り情報を基に、関連するリスクの発生とその対策案を予測するプロジェクト診断モデル800を生成する(S509)。
Using the learning algorithm of the second
残存誤り情報(予測件数、残存誤り予測発生器機能及びソース箇所、残存誤り種類)、残存誤り情報に対するリスク及びリスク対応策の実施した効果が不明な教師なしデータ(第2の教師なしデータ450A)を投入する(S510)。
Unsupervised data (second
投入された教師なしデータ(第2の教師なしデータ450A)の特徴量を抽出し、非構造化データの解析結果の情報も含めて、教師なしデータの学習アルゴリズムを用いて、残存誤り情報(予測件数、残存誤り予測発生器機能及びソース箇所、残存誤り種類)、残存誤り情報に対するリスク及びリスク対応策を予測するプロジェクト診断モデル800を生成する(S511)。
Remaining error information (prediction) using the learning algorithm of the unstructured data, including the information of the analysis result of the unstructured data, by extracting the feature quantity of the input unsupervised data (second
残存誤り情報(予測件数、残存誤り予測発生器機能及びソース箇所、残存誤り種類)、残存誤り情報に対するリスク及びリスク対応策の効果が記録されていない試験仕様書、テスト結果、不具合情報等の不明なデータからもリスク及びリスク対応策の効果の規則性を予測して、その評価を行うことにより、誤り予測モデル32を再構築する(S512)。
Residual error information (number of predicted cases, residual error prediction generator function and source location, residual error type), risk to residual error information and the effect of risk countermeasures are not recorded. Unknown test specifications, test results, defect information, etc. The
3.まとめ
本実施の形態に係る開発支援装置は、実施の形態1又は2に係る試験装置1を含む開発支援装置である。開発支援装置は、試験完了時に残存している残存誤り予測情報から、関連するリスク及びその対策を提示するプロジェクト診断モデル800を備える。更に、開発支援装置は、試験完了時に残存している残存誤り予測情報に基づいて、プロジェクト診断モデル800を学習させるプロジェクト診断モデル学習部790を含む。3. 3. Summary The development support device according to the present embodiment is a development support device including the
プロジェクト診断モデル学習部790は、更に、
非構造化データのテキスト解析結果に基づく、非構造化データと、残存誤りに対するリスク及びその対策が明確である教師ありデータとの類似性の分析や、トレーサビリティ情報を活用することにより、実際に対策が必要となった対応の特徴要素を抽出し、
更に、プロジェクト診断モデル学習部790は、非構造化データのテキスト解析結果と、抽出された特徴要素とを、規則性のある構造化データに変換する非構造化データ変換部57を含む。The project diagnostic
Actual countermeasures by analyzing the similarity between unstructured data and supervised data with clear risks and countermeasures against residual errors based on the results of text analysis of unstructured data, and by utilizing traceability information. Extract the corresponding feature elements that are needed,
Further, the project diagnostic
このようにすることにより、開発支援装置は、自動試験実施完了後に各プロジェクト診断のリスクに応じて最適な対策案を効率的に提示することができる。 By doing so, the development support device can efficiently present the optimum countermeasure plan according to the risk of each project diagnosis after the completion of the automatic test implementation.
実施の形態4.
本実施の形態4に係る開発支援装置は、被試験装置と試験装置とを接続した実施の形態1又は2による試験の実施完了後に、実施の形態3で構築したプロジェクト診断モデル800を運用しつつ、被テスト対象物に潜在する残存誤り予測情報(件数、分類、発生個所)を基に、関連するリスク及びその効果的なリスク対応策を自動的に抽出し、レポートを提示する。Embodiment 4.
The development support device according to the fourth embodiment operates the
1.構成
図15は、本実施の形態に係る試験装置1及びプロジェクト診断機能装置700、即ち、開発支援装置の構成例を示すブロック図である。本実施の形態に係る開発支援装置は、装置間の通信に基づいて動作する被試験装置に対して、試験実施完了後に残存誤り予測情報(件数、分類、発生個所)に基づくリスク分析を自動的に行い、対策案を提示する。即ち、当該開発支援装置は、試験完了後にリスク重点入力部510により、診断対象とするプロジェクト及び機能、モジュールを入力し、リスク(QCDRS)の重点度合いを設定する。1. 1. Configuration Figure 15 is a block diagram showing a configuration example of the
試験結果データ記憶部520により、試験が完了した当該プロジェクトのテスト実績情報をロードする。ロードされたテスト実績情報から、残存誤り予測情報取得部530により、試験が完了した時点の残存誤り予測情報(件数、分類、発生個所)540を抽出する。
The test result
プロジェクト診断モデル800は、試験が完了した時点の残存誤り予測情報(件数、分類、発生個所)を入力とし、残存誤り予測情報に関連するリスク及びその対策案情報550を出力する。
The
リスク評価部560は、影響度・発生確率により、抽出されたリスクを評価する。
The
優先度調整部570は、リスク重点入力部510に基づいて設定したQCDRSの重点度合いを反映して、抽出したリスクの優先度を調整する。
The
対策項目選出部580は、調整済みのリスクに基づいて対策案を選出する。
The countermeasure
レポート作成部590は、残存誤り予測情報(件数、分類、発生個所)に基づくリスク分析を行い、対策案をそれぞれ帳票形式で作成する。
The
残存誤り・リスク情報表示部600は、レポート作成部590により作成されたレポートを表示部40の画面に表示する。残存誤り予測情報(件数、分類、発生個所)については、開発プロセス別に誤りの発生実績に基づく予測情報をグラフ化して表示される。対策案レポート610については、残存誤り・リスク・効果情報DB400へ残存誤り及びリスクと共に登録される。
The residual error / risk
リスク対策効果判定入力部615は、リスク対策案を適用した結果の効果の度合いを残存誤り・リスク・効果情報DB400へフィードバック入力する。フィードバック入力されたリスク対策案を適用した結果の効果の度合いは、プロジェクト診断モデル学習部790を介して、プロジェクト診断モデル800を更新する。
The risk countermeasure effect
2.動作
次に、本実施の形態に係るプロジェクト診断機能装置700の動作について、図16a及び図16bに示すフローチャートを参照して説明する。プロジェクト診断機能装置700は、プロジェクト診断モデル800を運用するに当たり、自動探索的に試験を実施した後の残存誤り情報より、リスク及びその対策案を抽出し、リスクに対する利用者による優先度に応じて結果を自動的に提示する。従って、効率的に残存誤りに対する対策を実施することが可能となる。2. 2. Operation Next, the operation of the project
開始(S700)後、当該プロジェクトの実施の形態1又は2に基づく探索的な自動試験のテスト結果を試験結果データ記憶部520へロードすると共に、テスト実績DB301へ保存する(S701)。
After the start (S700), the test result of the exploratory automatic test based on the first or second embodiment of the project is loaded into the test result
実施の形態1又は2に係る試験装置1に基づく誤り予測モデル32適用結果より、残存誤り予測情報540を取得する(S702)。
Residual
残存誤り予測情報540の件数、種類、発生個所をグラフ化して表示する(S703)。
The number, type, and location of occurrence of the residual
以下の当該プロジェクトのデータを、プロジェクト診断モデル学習部790にて統合する(S704)。
・残存誤り・リスク・効果情報DB400
・テスト実績DB301
・プロジェクトDB305
・出荷後不具合DB302
・リスク登録簿DB410
・設計技術DB420
・トレーサビリティ情報DB430The following data of the project is integrated in the project diagnostic model learning unit 790 (S704).
・ Residual error / risk / effect information DB400
・ Test record DB301
・ Project DB305
・ Post-shipment defect DB302
・ Risk register DB410
・ Design technology DB420
-Traceability information DB430
プロジェクト診断モデル学習部790にて、ステップS704にて生成された統合データより、プロジェクト診断モデル800への投入データを作成する(S705)。
The project diagnostic
プロジェクト診断モデル学習部790にて、当該プロジェクトの設計書、テスト仕様書、ソース、仕様変更情報などの非構造化データも含めてテキスト解析を行う(S706)。
The project diagnostic
プロジェクト診断モデル学習部790によるテキスト解析結果から、当該プロジェクトの残存誤りに対する特徴を分析し、誤りが仕様書に記載がある内容か、仕様変更による影響の可能性があるかどうか、機種間の相関などの情報を、XMLファイル等の構造化データとして出力する(S707)。
From the text analysis results by the project diagnostic
当該プロジェクトの試験結果に基づく残存誤り予測情報540のデータをプロジェクト診断モデル800へ投入する(S708)。
The data of the residual
プロジェクト診断モデル800より当該プロジェクトで残存していると予測される誤り情報から関連するリスク及びその対策案情報550を抽出する(S709)。
From the
プロジェクトのどのリスクに対してどの程度重点を置くか優先度を調整する必要がある場合は、リスク重点入力部510にて、QCDRS等の、パラメータが入力される(S710)。 When it is necessary to adjust the priority of which risk of the project is to be prioritized, parameters such as QCDRS are input in the risk priority input unit 510 (S710).
リスク評価部560にて、予測されるリスクの発生確率と影響度を分析し、リスク評価する(S711)。
The
優先度調整部570にて、優先度を調整する必要がある場合かどうか判定する(S712)。
The
優先度調整部570にて、対象を限定する必要がある場合かどうか判定する(S713)。
The
対象を限定する必要がある場合は、優先度調整部570にて、誤り種類や箇所を限定抽出する(S714)。
When it is necessary to limit the target, the
優先度調整部570にて、対象のリスクが既知の未知であるか判定する(S715)。
The
対象のリスクが既知の未知である場合は、優先度調整部570にて、リスク登録簿DB410からコンティンジェンシープランをロードして対策案とする(S716)。
If the target risk is known and unknown, the
優先度調整部570にて、対象のリスクが未知の未知であるか判定する(S717)。
The
対象のリスクが未知の未知である場合は、優先度調整部570にて、プロジェクト診断モデル800より予測される残存誤り情報に対するリスクから想定される対策案をロードする(S718)。
If the target risk is unknown and unknown, the
優先度調整部570にて残存する予測誤りに対するリスクとその対策を優先度で整理し、対策項目選出部580にて対策項目を選出する(S719)。
The
レポート作成部590にて、QCDRSの観点でリスクとその対策に関するレポートを作成する(S720)。
The
対策案を実施後、リスク対策効果判定入力部615にて、リスク対策効果の判定入力を実施する(S721)。
After implementing the countermeasure plan, the risk countermeasure effect
テスト実績DB301の更新情報(実施したテスト項目とその残存誤り予測情報及びリスクとその対策及び効果の度合い)をプロジェクト診断モデル800へフィードバックする(S722)。 The updated information of the test result DB 301 (test items carried out, information on predicting residual errors thereof, risks, countermeasures thereof, and the degree of effectiveness) is fed back to the project diagnostic model 800 (S722).
3.まとめ
本実施の形態に係る開発支援装置は、実施の形態3に係る開発支援装置であることに加えて、残存していると予測される誤りからプロジェクト診断モデル800で出力されるリスクが既知もしくは未知なのかを判別した上で、優先度を判断して対策項目を提示する優先度調整部570を含む。3. 3. Summary In addition to being the development support device according to the third embodiment, the risk of being output by the
また、プロジェクト診断モデル800に対して、既存のプロジェクトに関する情報に基づいて、各プロジェクトにおける試験完了時点での残存している残存誤り予測情報から、関連するリスクに基づく対策案がどの程度効果があったか否かを入力して、学習させるリスク対策効果判定入力部615を含む。
In addition, how effective the countermeasure plan based on the related risk was on the project
このようにすることにより、開発支援装置は、自動試験実施完了後に各プロジェクト診断のリスクの優先度に応じて最適な対策案を効率的に提示することができる。 By doing so, the development support device can efficiently present the optimum countermeasure plan according to the risk priority of each project diagnosis after the automatic test implementation is completed.
他の実施の形態.
以上のように、本発明における技術の例示として、実施の形態を説明した。しかしながら、本発明における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。Other embodiments.
As described above, an embodiment has been described as an example of the technique in the present invention. However, the technique of the present invention is not limited to this, and can be applied to embodiments in which changes, replacements, additions, omissions, etc. are appropriately made. It is also possible to combine the components described in the above embodiment to form a new embodiment.
本発明のプロジェクトは、ソフトウェア開発を伴う製品(装置)やシステムの開発プロジェクトのことをいうが、これに限定されない。例えば、プロジェクトは、ソフトウェア開発を伴う製品(装置)の所定の機能、或いは、モジュールの開発プロジェクトであってもよい。 The project of the present invention refers to, but is not limited to, a product (device) or system development project involving software development. For example, the project may be a predetermined function of a product (device) accompanied by software development, or a development project of a module.
実施の形態1及び2に係るリスク評価部107は、誤り予測情報312の各テストケース番号に対して、誤りが検出される見込み度合いと、当該誤りの影響度合いとを積算した値を、リスク評価値として付加するが、これに限定されない(図7のS203)。例えば、試験装置1は、誤りに対する改修履歴情報を記憶しており、リスク評価部107は、改修履歴情報を有するテストケースに、改修履歴情報を有しないテストケースよりも高いリスク評価値を付加してもよい。
The
実施の形態1及び2に係るテスト項目生成部108は、ユーザ操作に従って、実行するテストケースを選択するが、これに限定されない(図7のS204)。例えば、テスト項目生成部108は、所定のリスク評価値以上のテストケースを、自動で実行するテストケースとして選択してもよい。あるいは、テスト項目生成部108は、所定のテスト観点や重要テスト項目に対応するテストケースを、自動で実行するテストケースとして選択してもよい。例えば、所定のリスク評価値、テスト観点、及び重要テスト項目は、ユーザ操作により事前に設定される。
The test
実施の形態1及び2に係るテスト項目生成部108は、ユーザ操作に従って、テストケースの実行する順番を変更するが、これに限定されない(図7のS204)。例えば、テスト項目生成部108は、リスク評価値が高い順番に、テストケースの実行する順番を変更してもよい。
The test
実施の形態1及び2に係る学習部104は、ブートストラップ法(Boot Strap Method)によって、誤り予測モデル32を学習させるが、これに限定されない。学習部104は、他の公知の方法、例えば、深層学習(Deep Learning)によって、誤り予測モデル32を学習させてもよい。また、実施の形態3及び4に係るプロジェクト診断モデル800は、ディープニューラルネットワーク(深層学習器)により実現され得るが、他の人工知能に係る技術により実現されてもよい。
The
実施の形態1及び2に係るプロセッサ10はテスト項目調整部をさらに備え、テスト項目調整部は、ユーザ操作に従って、テスト項目生成部108が生成したテスト項目を変更したり、テスト項目の順番を変更したりしてもよい。このとき、ユーザは、操作部50を介して、例えば、重要度の高いモジュールや機能についてのテスト項目を網羅するようにテスト項目情報313を変更したり、既存のプロジェクトと共通するモジュールや機能についての試験を優先するようにテスト項目の順番を変更したりすることができる。
The
1 試験装置
10 プロセッサ
20 主記憶部
30 補助記憶部
31 機械学習DB
32 誤り予測モデル
40 表示部
50 操作部
60 通信部
101 データ構造化部
102 教師ありデータ生成部
103 非構造化データ解析部
104 学習部
105 入力データ生成部
106 誤り予測情報取得部
107 リスク評価部
108 テスト項目生成部
109 テストケース情報取得/生成部
110 テストシナリオ生成部
111 テストシナリオ実行部
112 テスト結果比較部
113 シーケンス図生成部
114 テスト結果比較情報投入部
301 テスト実績情報DB
302 出荷後不具合情報DB
303 テスト技術DB
304 ドメイン知識情報DB
305 プロジェクト情報DB
306 テストケースDB
307 テストシナリオDB
308 ドキュメントDB
309 構造化DB
310 教師ありDB
311 教師なしDB
400 残存誤り・リスク・効果情報DB
410 リスク登録簿DB
420 設計技術DB
430 トレーサビリティ情報DB
620 機械学習DB
700 プロジェクト診断機能装置
790 プロジェクト診断モデル学習部
800 プロジェクト診断モデル
51 構造化データ統合部
52 第2の教師ありデータ作成部
53a 教師ありデータ投入部
53b 教師なしデータ投入部
54 非構造化データ統合部
55 第2の非構造化データ解析部
56 特徴要素抽出部
57 非構造化データ変換部
58 検証評価基準抽出部
59 モデル作成部
61 モデル再作成部
62 検証評価出力部
510 リスク重点入力部
520 試験結果データ記憶部
530 残存誤り予測情報取得部
540 残存誤り予測情報
550 リスク及びその対策案情報
560 リスク評価部
570 優先度調整部
580 対策項目選出部
590 レポート作成部
600 残存誤り・リスク情報表示部
610 対策案レポート
615 リスク対策効果判定入力部1
32
302 Post-shipment defect information DB
303 Test technology DB
304 Domain Knowledge Information DB
305 Project Information DB
306 Test case DB
307 Test scenario DB
308 Document DB
309 Structured DB
310 Supervised DB
311 Unsupervised DB
400 Residual error / risk / effect information DB
410 Risk Register DB
420 Design Technology DB
430 Traceability information DB
620 Machine learning DB
700 Project
Claims (21)
入力されたテストケースが誤りを検出する見込み度合いを示す情報を含む誤り予測情報を出力する誤り予測モデルに、前記開発の対象又はプロジェクトに関する情報を入力して、各前記テストケースと対応する各誤り予測情報を取得する誤り予測情報取得部と、
取得された前記誤り予測情報に基づいて、実施する試験項目を示すテスト項目情報を生成するテスト項目生成部と、
前記テストシナリオにおける個々の処理を規定する複数のテストケースに関する情報が格納されたテストケースデータベースから、前記テスト項目情報が含む前記試験項目に対応するテストケース情報を取得する処理部と、
取得された前記テストケース情報に基づいて、前記テストシナリオを生成するテストシナリオ生成部と、
を備える開発支援装置。 A development support device that generates a test scenario for testing in the development target or project from information about the development target or project.
Input information about the target or project of the development into an error prediction model that outputs error prediction information including information indicating the degree of probability that the input test case will detect an error, and each corresponding to each test case. The error prediction information acquisition unit that acquires error prediction information,
Based on the acquired error prediction information, a test item generation unit that generates test item information indicating test items to be executed, and a test item generation unit.
A processing unit that acquires test case information corresponding to the test item included in the test item information from a test case database that stores information about a plurality of test cases that define individual processing in the test scenario .
A test scenario generation unit that generates the test scenario based on the acquired test case information,
Development support device equipped with .
前記テスト項目生成部は、 The test item generation unit
前記リスク評価値が付加された誤り予測情報に基づいて、実施する試験項目を示すテスト項目情報を生成する、Based on the error prediction information to which the risk assessment value is added, test item information indicating the test items to be performed is generated.
請求項1に記載の開発支援装置。The development support device according to claim 1.
前記リスク評価値が、所定の閾値よりも高いテストケース全てについて、前記テスト項目情報を生成する、
請求項2に記載の開発支援装置。 The test item generation unit
Generates the test item information for all test cases in which the risk assessment value is higher than a predetermined threshold.
The development support device according to claim 2 .
前記リスク評価値が、所定の閾値よりも高いテストケースのうち、予め定められた重要なテストケースについて、前記テスト項目情報を生成する、
請求項2に記載の開発支援装置。 The test item generation unit
Among the test cases whose risk assessment value is higher than a predetermined threshold value, the test item information is generated for a predetermined important test case.
The development support device according to claim 2 .
前記テストケースデータベースに、各前記テスト項目情報が示す試験の内容を示すテストケース情報がないと判断した場合、テストケース情報を生成する、
請求項1から4のいずれか1項に記載の開発支援装置。 The processing unit
If it is determined that the test case database does not have the test case information indicating the content of the test indicated by each test item information, the test case information is generated.
The development support device according to any one of claims 1 to 4 .
請求項1から5のいずれか1項に記載の開発支援装置。 Further, a test scenario execution unit for executing the test of the target device according to the test scenario is provided .
The development support device according to any one of claims 1 to 5 .
請求項1から6のいずれか1項に記載の開発支援装置。The development support device according to any one of claims 1 to 6.
請求項7に記載の開発支援装置。 A test result comparison information input unit for learning the error prediction model based on the result of executing the test of the target device according to the test scenario is further provided .
The development support device according to claim 7 .
試験完了時に残存している残存誤り予測情報を入力して、関連するリスク及びその対策を出力するプロジェクト診断モデルを用いてリスク評価する、
請求項2に記載の開発支援装置。 The risk assessment department further
Input the residual error prediction information remaining at the completion of the test, and evaluate the risk using the project diagnostic model that outputs the related risks and countermeasures.
The development support device according to claim 2 .
請求項9に記載の開発支援装置。 A priority adjustment unit for determining and outputting the priority of countermeasure items by determining whether the risk output by the project diagnostic model is known or unknown is further provided .
The development support device according to claim 9 .
請求項9または10に記載の開発支援装置。The development support device according to claim 9 or 10.
少なくとも仕様又は設計の内容を含む非構造化データのテキスト解析結果に基づき、対策が必要となる対応の特徴要素を抽出して、前記非構造化データのテキスト解析結果と、抽出された特徴要素とを、規則性のある構造化データに変換する非構造化データ変換部を、更に備える、
請求項11に記載の開発支援装置。 The project diagnostic model learning department
Based on the text analysis result of the unstructured data including at least the contents of the specification or design, the corresponding feature elements that require countermeasures are extracted, and the text analysis result of the unstructured data and the extracted feature elements Is further provided with an unstructured data conversion unit that converts the data into regular structured data.
The development support device according to claim 11 .
請求項9から12のいずれか1項に記載の開発支援装置。 Based on the information about the existing project , input the information on how effective the countermeasure plan based on the related risk was from the residual error prediction information remaining at the time of the test completion in each project, and the above-mentioned project. Further equipped with a risk countermeasure effect judgment input unit for learning a diagnostic model ,
The development support device according to any one of claims 9 to 12 .
開発の対象又はプロジェクトに関する情報から、前記開発の対象又はプロジェクトにおいて試験を行うためのテストシナリオを生成する開発支援システムであって、
入力されたテストケースが誤りを検出する見込み度合いを示す情報を含む誤り予測情報を出力する誤り予測モデルに、前記開発の対象又はプロジェクトに関する情報を入力して、各前記テストケースと対応する各誤り予測情報を取得する誤り予測情報取得部と、
取得された前記誤り予測情報に基づいて、実施する試験項目を示すテスト項目情報を生成するテスト項目生成部と、
前記テストケースデータベースから、前記テスト項目情報が含む前記試験項目に対応するテストケース情報を取得する処理部と、
取得された前記テストケース情報に基づいて、前記テストシナリオを生成するテストシナリオ生成部と、
を備える、開発支援システム。 It is communicable with the test case database, which is included in the machine learning database, which is a database that stores various information used in machine learning, and stores multiple test case information that defines individual processes in test scenarios.
A development support system that generates test scenarios for testing in the development target or project from information about the development target or project.
Input information about the target or project of the development into the error prediction model that outputs error prediction information including information indicating the probability that the input test case will detect an error, and each error corresponding to each test case. Error prediction information acquisition unit that acquires prediction information, and
Based on the acquired error prediction information, a test item generation unit that generates test item information indicating test items to be executed, and a test item generation unit.
A processing unit that acquires test case information corresponding to the test item included in the test item information from the test case database, and a processing unit .
A test scenario generation unit that generates the test scenario based on the acquired test case information,
A development support system equipped with .
前記テスト項目生成部は、The test item generation unit
前記リスク評価値が付加された誤り予測情報に基づいて、実施する試験項目を示すテスト項目情報を生成する、Based on the error prediction information to which the risk assessment value is added, test item information indicating the test items to be performed is generated.
請求項14に記載の開発支援システム。The development support system according to claim 14.
試験完了時に残存している残存誤り予測情報を入力して、関連するリスク及びその対策を出力するプロジェクト診断モデルを用いてリスク評価する、
請求項15に記載の開発支援システム。 The risk assessment department further
Input the residual error prediction information remaining at the completion of the test, and evaluate the risk using the project diagnostic model that outputs the related risks and countermeasures.
The development support system according to claim 15 .
機械学習で用いられる種々の情報を記憶するデータベースである機械学習データベースに含まれ、テストシナリオにおける個々の処理を規定する複数のテストケース情報が格納される、テストケースデータベースを、設定するステップと、
入力されたテストケースが誤りを検出する見込み度合いを示す情報を含む誤り予測情報を出力する誤り予測モデルに、前記開発の対象又はプロジェクトに関する情報を入力して、各前記テストケースと対応する各誤り予測情報を取得するステップと、
取得された前記誤り予測情報に基づいて、実施する試験項目を示すテスト項目情報を生成するステップと、
前記テストケースデータベースから、前記テスト項目情報が含む前記試験項目に対応するテストケース情報を取得するステップと、及び、
取得された前記テストケース情報に基づいて、前記テストシナリオを生成するステップと、
を備える、開発支援のためのコンピュータプログラム。 In a computer program for development support that generates test scenarios for testing in the development target or project from information about the development target or project.
Steps to set up a test case database, which is included in the machine learning database, which is a database that stores various information used in machine learning, and stores multiple test case information that defines individual processes in test scenarios.
Input information about the target or project of the development into the error prediction model that outputs error prediction information including information indicating the probability that the input test case will detect an error, and each error corresponding to each test case. Steps to get forecast information and
Based on the acquired error prediction information, a step of generating test item information indicating a test item to be performed, and a step of generating test item information.
A step of acquiring test case information corresponding to the test item included in the test item information from the test case database, and
A step to generate the test scenario based on the acquired test case information, and
A computer program for development support .
前記テスト項目情報を生成するステップでは、In the step of generating the test item information,
前記リスク評価値が付加された誤り予測情報に基づいて、実施する試験項目を示すテスト項目情報を生成する、Based on the error prediction information to which the risk assessment value is added, test item information indicating the test items to be performed is generated.
請求項18に記載の開発支援のためのコンピュータプログラム。The computer program for development support according to claim 18.
請求項18または19に記載の開発支援のためのコンピュータプログラム。The computer program for development support according to claim 18 or 19.
試験完了時に残存している残存誤り予測情報を入力して、関連するリスク及びその対策を出力するプロジェクト診断モデル用いてリスク評価するステップを含む、
請求項19に記載の開発支援のためのコンピュータプログラム。 The step of calculating the risk assessment value and adding it to the error prediction information is further further .
Includes steps for risk assessment using a project diagnostic model that inputs residual error prediction information that remains at the end of the test and outputs relevant risks and countermeasures.
The computer program for development support according to claim 19 .
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018244253 | 2018-12-27 | ||
JP2018244253 | 2018-12-27 | ||
PCT/JP2019/040551 WO2020137096A1 (en) | 2018-12-27 | 2019-10-16 | Test device, and development support device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020137096A1 JPWO2020137096A1 (en) | 2021-09-09 |
JP7034334B2 true JP7034334B2 (en) | 2022-03-11 |
Family
ID=71126258
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020562382A Active JP7034334B2 (en) | 2018-12-27 | 2019-10-16 | Test equipment and development support equipment |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7034334B2 (en) |
WO (1) | WO2020137096A1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11782809B2 (en) * | 2020-06-30 | 2023-10-10 | Tektronix, Inc. | Test and measurement system for analyzing devices under test |
CN113902296B (en) * | 2021-10-09 | 2022-06-07 | 鹤山市民强五金机电有限公司 | Intelligent test method and system for single-phase asynchronous motor |
CN117651289B (en) * | 2024-01-26 | 2024-04-05 | 中国人民解放军军事科学院系统工程研究院 | Data processing method and device for radio communication equipment test |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004125670A (en) | 2002-10-03 | 2004-04-22 | Toshiba Corp | Test pattern selection apparatus, test pattern selection means, and test pattern selecting program |
JP2011257947A (en) | 2010-06-08 | 2011-12-22 | Clarion Co Ltd | Method, apparatus and program for preparing test plan |
JP2013125420A (en) | 2011-12-14 | 2013-06-24 | Shift Inc | Apparatus and program for creating test specification of computer program |
US20170091071A1 (en) | 2015-09-25 | 2017-03-30 | International Business Machines Corporation | Predicting software product quality |
-
2019
- 2019-10-16 JP JP2020562382A patent/JP7034334B2/en active Active
- 2019-10-16 WO PCT/JP2019/040551 patent/WO2020137096A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004125670A (en) | 2002-10-03 | 2004-04-22 | Toshiba Corp | Test pattern selection apparatus, test pattern selection means, and test pattern selecting program |
JP2011257947A (en) | 2010-06-08 | 2011-12-22 | Clarion Co Ltd | Method, apparatus and program for preparing test plan |
JP2013125420A (en) | 2011-12-14 | 2013-06-24 | Shift Inc | Apparatus and program for creating test specification of computer program |
US20170091071A1 (en) | 2015-09-25 | 2017-03-30 | International Business Machines Corporation | Predicting software product quality |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020137096A1 (en) | 2021-09-09 |
WO2020137096A1 (en) | 2020-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7034334B2 (en) | Test equipment and development support equipment | |
Xia et al. | Collective personalized change classification with multiobjective search | |
KR20150046088A (en) | Predicting software build errors | |
Yu et al. | Experience in predicting fault-prone software modules using complexity metrics | |
CN110909758A (en) | Computer-readable recording medium, learning method, and learning apparatus | |
KR20110069734A (en) | System and method for distributed elicitation and aggregation of risk information | |
JP7069029B2 (en) | Automatic prediction system, automatic prediction method and automatic prediction program | |
Kaur et al. | An empirical study of software entropy based bug prediction using machine learning | |
US11556837B2 (en) | Cross-domain featuring engineering | |
Boubekeur et al. | Automatic assessment of students' software models using a simple heuristic and machine learning | |
US20220351004A1 (en) | Industry specific machine learning applications | |
Khankhoje | AI-Based Test Automation for Intelligent Chatbot Systems | |
Tanneru et al. | Quantifying uncertainty in natural language explanations of large language models | |
US20210286706A1 (en) | Graph-based method for inductive bug localization | |
Akumba et al. | A predictive risk model for software projects’ requirement gathering phase | |
CN115349129A (en) | Generating performance predictions with uncertainty intervals | |
CN111858386A (en) | Data testing method and device, computer equipment and storage medium | |
Anda et al. | An optimization modeling method for adaptive systems based on goal and feature models | |
Spinner et al. | Revealing the Unwritten: Visual Investigation of Beam Search Trees to Address Language Model Prompting Challenges | |
Nicol et al. | A preliminary approach to quantifying the overall environmental risks posed by development projects during environmental impact assessment | |
Tagharobi et al. | Introducing a Framework for Code based Fairness Audits of Learning Analytics Systems on the Example of Moodle Learning Analytics. | |
Frattini et al. | CiRA: An Open-Source Python Package for Automated Generation of Test Case Descriptions from Natural Language Requirements | |
CN115668174A (en) | Ordering data elements of a given set of data elements | |
Mamman et al. | Search-Based Fairness Testing: An Overview | |
EP4290426A1 (en) | Accuracy calculation program, accuracy calculation method, and information processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210125 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220301 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7034334 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |