JP4873408B2 - ソフトウェアシステムのテストケース選択装置およびテストケース選択プログラム - Google Patents

Description

本発明は、ソフトウェアシステムのテスト技術に関し、特に、テストが繰り返し実行される際のテストケースを絞り込む技術に関する。

従来より、ソフトウェアシステムの開発技法として、「ウォーターフォール型開発技法」、「プロトタイプ型開発技法」、「スパイラル型開発技法」など様々な技法が知られている。これら様々な開発技法によるソフトウェアシステムの開発工程には、「要件定義」、「設計」、「プログラミング」、「テスト」などの工程（フェーズ）が含まれている。これらの各工程のうちソフトウェアシステムのテストは、一般的にはテスト仕様書に基づいて行われる。このテスト仕様書には、個別のテストケース毎に、テストの方法や合否（成功または失敗）を判定するための条件などが記載されている。

ソフトウェアシステムの開発においては、上述した各工程が繰り返されることがある。このような場合、開発当初に作成されたテストケースあるいは仕様変更等に伴って作成されたテストケースについて、繰り返しテストが行われる。ところが、ソフトウェアシステムの開発においては、開発期間や人的資源等の制約上、全てのテストケースについてテストすることが困難な場合がある。このような場合、今回のフェーズでテストを実施しようとするテストケースを全テストケースから選択する必要がある。この点、テストケースの件数が少なければ、テストケースの選択は手作業であっても比較的容易に行われる。しかし、テストケースの件数が多くなるに従い、手作業によるテストケースの選択は困難になる。

そこで従来より、コンピュータのソフトウェア処理によって、例えばテストケースの重要度に応じたテストケースの選択が行われている。具体的には、各テストケースが重要度に応じてＨ（Ｈｉｇｈ：高）ランク、Ｍ（Ｍｉｄｄｌｅ：中）ランク、Ｌ（Ｌｏｗ：低）ランクに分類され、Ｈランクのテストケースのみ、あるいはＨランクおよびＭランクのテストケースのみ、というように選択が行われる。

また、従来より、システム仕様書から抽出された仕様項目に対して、複数の評価観点に基づいた特性値を与えることでシステムの特徴を表現し、そのテスト対象システムにとって適切なテスト戦略を作成・選択することで、優先的にテストすべき仕様項目を示すテスト優先度を導出し、最適なテストケースの設計支援方法が開示されている（特許文献１を参照）。
特開２００３−９９２８３号公報

しかし、上述のような従来例によれば、テストケースはソフトウェアシステムの特徴等に基づいて設定された優先度や重要度に従って自動的に選択されるので、テストケースの設計者または管理者の手間を省くことはできるが、設定された優先度や重要度を適宜変更して選択されるべきテストケースの数を変更することはできない。特に、設定された優先度や重要度などの各種要素を考慮して、適宜のテストケース（具体的には適宜の数のテストケース）を選択することを試行錯誤を行いつつ繰り返し行い、その結果としてテストの達成状況を予測する（シミュレーションを行う）ことは、限られた残りの開発期間を考慮しつつ、テストの質すなわちテスト対象となるソフトウェアシステムの品質を高めるために必要であるといえる。にもかかわらず、上記従来例ではこのような変更について特に考慮していない。

また、テストケースによっては設定された優先度や重要度とは無関係に、設計者や管理者等の装置の利用者により必ずテストしなければならないと判断されるものがあり、また逆に全くテストしなくてよいと判断されるものがある。にもかかわらず、上述のような従来例によれば、このような判断に基づくテストケースの選択を行うことができない。

そこで、本発明では、ソフトウェアシステムの開発において、予め作成されているテストケースから今回実施されるべきテストを実行するためのテストケースを適宜選択したときのテストの達成状況を予測することができるテストケース選択装置を提供することを目的とする。

また、本発明では、予め作成されているテストケースから今回のテストされるべき好適なテストケースを、利用者の判断に基づき適宜に選択することができるテストケース選択装置を提供することをさらなる目的とする。

第１の発明は、予め作成され繰り返しテストが実施されるべき複数のテストケースからなる作成済テストケース群から今回のテストが実施されるべき複数のテストケースである実施対象テストケース群を選択するテストケース選択装置であって、
前記作成済テストケース群から複数のテストケースを一時的な仮の実施対象テストケース群として選択しまたは選択しないための所定のパラメータを設定する操作入力を受け付けるパラメータ設定手段と、
前記パラメータ設定手段により設定された前記パラメータに基づき、前記作成済テストケース群から前記仮の実施対象テストケース群を選択し、前記作成済テストケース群のテストを実施する場合に必要とされる時間に基づき、選択された仮の実施対象テストケース群のテストを実施する場合に必要と予測される時間を算出し、算出された時間に関連する情報を含む予測結果を表示するシミュレーション実行手段と、
前記シミュレーション実行手段により表示される前記予測結果に応じて前記仮の実施対象テストケース群を前記実施対象テストケース群に確定する操作入力を受け付け、当該確定する操作入力が受け付けられる場合に前記仮の実施対象テストケース群を前記実施対象テストケース群に確定するテストケース決定手段とを備え、
前記テストケース決定手段は、前記仮の実施対象テストケース群を前記実施対象テストケース群に確定する操作入力を受け付けない場合に、前記パラメータ設定手段により受け付けられる異なるパラメータに基づき前記シミュレーション実行手段により表示される異なる予測結果に応じて、前記仮の実施対象テストケース群を前記実施対象テストケース群に確定する操作入力をさらに受け付け可能であり、
前記パラメータ設定手段は、
前記仮の実施対象テストケース群として必ず選択される必須選択対象テストケース群を定めるための所定のパラメータを設定する操作入力を受け付ける必須選択パラメータ設定手段と、
前記必須選択対象テストケース群に含まれない場合に前記仮の実施対象テストケース群として必ず選択されない間引き対象テストケース群を定めるための所定のパラメータを設定する操作入力を受け付ける間引きパラメータ設定手段と
を含むことを特徴とする。

第２の発明は、第１の発明において、
前記パラメータ設定手段は、前記仮の実施対象テストケース群に含まれるべきテストケースの総数を設定する操作入力を受け付け、
前記シミュレーション実行手段は、前記必須選択対象テストケース群および前記間引き対象テストケース群を除いた前記作成済テストケース群から、テストの必要性の程度を判定するための所定の基準に基づいて、前記総数に一致する数となるようさらに前記仮の実施対象テストケース群を選択することを特徴とする。

第３の発明は、第１の発明において、
前記シミュレーション実行手段は、前記仮の実施対象テストケース群のテストを実施する場合に予測される実施件数の時間的変化を示すグラフを前記予測結果として表示することを特徴とする。

第４の発明は、第３の発明において、
前記シミュレーション実行手段は、前記作成済テストケース群のテストを実施する場合に予め定められた実施予定件数の時間的変化を示すグラフと、前記作成済テストケース群のうち既に実施されたテストケースの実施済み件数の時間的変化を示すグラフとの少なくとも一方を表示することを特徴とする。

第５の発明は、第１の発明において、
当該装置または当該装置外部の装置において実施されるテストを監視し、今回のテストが既に実施されたテストケースを前記作成済テストケース群から除外する監視手段をさらに備えることを特徴とする。

第６の発明は、予め作成され繰り返しテストが実施されるべき複数のテストケースからなる作成済テストケース群から今回のテストが実施されるべき複数のテストケースである実施対象テストケース群を選択するテストケース選択装置を、一般的に使用されているコンピュータで実現するため、
前記作成済テストケース群から複数のテストケースを一時的な仮の実施対象テストケース群として選択しまたは選択しないための所定のパラメータを設定する操作入力を受け付けるパラメータ設定手段と、
前記パラメータ設定手段により設定された前記パラメータに基づき、前記作成済テストケース群から前記仮の実施対象テストケース群を選択し、前記作成済テストケース群のテストを実施する場合に必要とされる時間に基づき、選択された仮の実施対象テストケース群のテストを実施する場合に必要と予測される時間を算出し、算出された時間に関連する情報を含む予測結果を表示するシミュレーション実行手段と、
前記シミュレーション実行手段により表示される前記予測結果に応じて前記仮の実施対象テストケース群を前記実施対象テストケース群に確定する操作入力を受け付け、当該確定する操作入力が受け付けられる場合に前記仮の実施対象テストケース群を前記実施対象テストケース群に確定するテストケース決定手段として機能させるためのテストケース選択プログラムであって、
前記テストケース決定手段は、前記仮の実施対象テストケース群を前記実施対象テストケース群に確定する操作入力を受け付けない場合に、前記パラメータ設定手段により受け付けられる異なるパラメータに基づき前記シミュレーション実行手段により表示される異なる予測結果に応じて、前記仮の実施対象テストケース群を前記実施対象テストケース群に確定する操作入力をさらに受け付け可能であり、
前記パラメータ設定手段は、
前記仮の実施対象テストケース群として必ず選択される必須選択対象テストケース群を定めるための所定のパラメータを設定する操作入力を受け付ける必須選択パラメータ設定手段と、
前記必須選択対象テストケース群に含まれない場合に前記仮の実施対象テストケース群として必ず選択されない間引き対象テストケース群を定めるための所定のパラメータを設定する操作入力を受け付ける間引きパラメータ設定手段と
を含むことを特徴とする。

第７の発明は、第６の発明において、
前記パラメータ設定手段は、前記仮の実施対象テストケース群に含まれるべきテストケースの総数を設定する操作入力を受け付け、
前記シミュレーション実行手段は、前記必須選択対象テストケース群および前記間引き対象テストケース群を除いた前記作成済テストケース群から、テストの必要性の程度を判定するための所定の基準に基づいて、前記総数に一致する数となるようさらに前記仮の実施対象テストケース群を選択することを特徴とする。

第８の発明は、第６の発明において、
前記シミュレーション実行手段は、前記仮の実施対象テストケース群のテストを実施する場合に予測される実施件数の時間的変化を示すグラフを前記予測結果として表示することを特徴とする。

第９の発明は、第８の発明において、
前記シミュレーション実行手段は、前記作成済テストケース群のテストを実施する場合に予め定められた実施予定件数の時間的変化を示すグラフと、前記作成済テストケース群のうち既に実施されたテストケースの実施済み件数の時間的変化を示すグラフとの少なくとも一方を表示することを特徴とする。

第１０の発明は、第６の発明において、
当該装置または当該装置外部の装置において実施されるテストを監視し、今回のテストが既に実施されたテストケースを前記作成済テストケース群から除外する監視手段としてさらに機能させることを特徴とする。

上記第１の発明によれば、パラメータ設定手段により例えばオペレータから仮の実施対象テストケース群として選択しまたは選択しないための所定のパラメータを設定する操作入力を受け付け、シミュレーション実行手段により、このパラメータに基づき仮の実施対象テストケース群を選択し、作成済テストケース群のテストを実施する場合に必要とされる時間に基づき、上記仮の実施対象テストケース群のテストを実施する場合に必要と予測される時間を算出し、算出された時間に関連する情報を含む予測結果を表示する。したがって、オペレータはこの予測結果によりテストの達成状況を予測することができる。また、オペレータは上記各種パラメータを繰り返し適宜変更することにより、好ましいテスト達成状況が得られるテストケースを適宜選択することができる。これにより、例えばテスト終了予定日までにテストすべきテストケースを好適に（典型的には重要なテストを行う時間が無くならないように）選択することができ、より効果的にテスト対象となるソフトウェアシステムに存在する不具合を洗い出すことが可能となる。その結果、より少ない工数で高品質なソフトウェアシステムを提供することが可能となる。
さらに上記第１の発明によれば、必ず選択される必須選択対象テストケース群を定めるための所定のパラメータを設定する操作入力を受け付ける必須選択パラメータ設定手段と、必須選択対象テストケース群に含まれない場合に必ず選択されない間引き対象テストケース群を定めるための所定のパラメータを設定する操作入力を受け付ける間引きパラメータ設定手段とがパラメータ設定手段として含まれるので、例えばテストケースによって設定された優先度や重要度とは無関係に、設計者や管理者等の装置のオペレータにより必ずテストしなければならないと判断されるテストケースは上記必須選択パラメータ設定手段において選択され、また逆に全くテストしなくてよいと判断されるテストケースは上記間引きパラメータ設定手段において選択されるので、今回実施すべきテストを行うための好適なテストケースを、利用者の判断に基づき適宜に選択することができる。

上記第２の発明によれば、パラメータ設定手段において受け付けられるテストケースの総数に一致するよう、必須選択対象テストケース群および間引き対象テストケース群を除いた作成済テストケース群から、テストの必要性の程度を判定するための所定の基準に基づいて、さらに仮の実施対象テストケース群が自動的に選択されるので、選択しまたは選択しないテストケースを決定するオペレータの判断を尊重しつつ、全てのテストケースについて選択の可否を決定するオペレータの手間を省くことができる。

上記第３の発明によれば、シミュレーション実行手段により予測される実施件数の時間的変化を示すグラフが予測結果として表示されるので、一覧性の高いグラフの形で表示されることにより、例えばオペレータが容易に直感的な（迅速な）判断を行うことができるようになる。

上記第４の発明によれば、シミュレーション実行手段により、実施予定件数の時間的変化を示すグラフと、実施済み件数の時間的変化を示すグラフとの少なくとも一方が表示されるので、さらにテストケースの選択を行う必要があるか否かを例えばオペレータに容易に判断させることができる。

上記第５の発明によれば、監視手段により当該装置または当該装置外部の装置において実施されるテストが監視され、今回のテストが既に実施されたテストケースが作成済テストケース群から除外されるので、今回のテストの計画当初においてのみならず、今回のテストの実行途中においてもその残りのテストケースのテスト計画を変更することが可能となる。

上記第６から第１０までの発明によれば、上記第１から第５までの発明におけるテストケース選択装置の各効果に相当する効果をテストケース選択プログラムによって、一般的に使用されているコンピュータにおいて奏することが可能となる。

以下、添付図面を参照しつつ、本発明の一実施形態について説明する。
＜１．装置の全体的な構成＞
図１は、本発明の一実施形態に係るテストケース選択装置を含む、ソフトウェアシステムの開発環境全体のハードウェア構成図である。このシステムは、サーバ１００と複数のパーソナルコンピュータ（以下「パソコン」と略称する）２００とによって構成され、サーバ１００および各パソコン２００はＬＡＮ（Local Area Network）３００によって互いに接続されている。

サーバ１００は、各パソコン２００からの要求に応じた処理の実行や各パソコン２００から共通して参照等可能なファイル、データベース等の格納などを行う。また、サーバ１００は、ソフトウェアシステムの開発において、今回の実施されるべきテストを実行するためのテストケースを適宜選択しそのテストの達成状況を予測する。このことから、以下、このサーバ１００を「テストケース選択装置１００」という。パソコン２００では、ソフトウェアシステムの開発のためのプログラミング等の作業、テストの実施、テスト結果の入力等が行われる。

図２は、テストケース選択装置１００の構成を示すブロック図である。このテストケース選択装置１００は、ＣＰＵ１０と、液晶パネルやＣＲＴ等からなる表示部４０と、キーボードやマウス等からなる入力部５０と、メモリ６０と、ハードディスク装置などからなる補助記憶装置７０と、図示しないＬＡＮ３００との通信部とを備えている一般的に使用されているコンピュータである。

補助記憶装置７０には、プログラム格納部２０とデータベース３０とが含まれている。ＣＰＵ１０は、与えられた命令に従い演算処理を行う。プログラム格納部２０には、テスト監視部２１と、パラメータ設定部２２と、シミュレーション実行部２３と、テストケース決定部２４との機能をそれぞれ実現するプログラム（実行モジュール）が格納されている。これらの構成要素をＣＰＵ１０がメモリ６０において実行することにより、後述するテストケース選択処理が行われる。

ここで、上記構成要素の機能を実現するプログラムの一部または全部は、例えば、そのプログラムが記録されたＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体によって提供される。このＣＤ−ＲＯＭは、図示されないＣＤ−ＲＯＭ駆動装置に装着され、そのＣＤ−ＲＯＭからそのプログラムが読み出されてテストケース選択装置１００の補助記憶装置７０にインストールされる。なお、上記プログラムは装置外部より所定の通信回線を介して与えられてもよい。

データベース３０には、テスト仕様書テーブル３１と、テストケーステーブル３２が格納されている。テスト仕様書テーブル３１には、テスト仕様書番号、テスト仕様書名、概要、前回担当者、当該テスト仕様書に含まれるテストケースの番号、および当該テスト仕様書に含まれるテストケースのテストを実施する場合に必要なテスト日数（予測値）などが含まれている。このように、テストケースのテストを実施する場合に必要なテスト日数は、ここではテスト仕様書単位で記憶されている。

また、テストケーステーブル３２には、テストケース番号、テスト分類、テスト方法、テストデータ、テストデータ概要、ランク、判定条件、テスト結果、報告者、報告日などが含まれている。ここで、テスト結果として、テストの成否を示す「成功」、「失敗」の他、現在テスト中であることを示す「評価中」、テストが実施予定ではあるが未だ行われていないことを示す「未実施」、または当該テスト結果が後述するように間引かれた（非選択とされた）ことを示す「見送り」などの文言または対応する数値やコードが格納されている。

このように、１つのテストプロジェクトには、複数のテスト仕様書が作成されており、各テスト仕様書には複数のテストケースが含まれている。そして、テストが実施される都度、テストケースの属性としてのテスト結果がテストケーステーブル３２に書き込まれる。なおこのとき、テスト仕様書テーブル３１に実際にテストに要した時間の積算値が書き込まれ、その積算値がテスト日数（実績値）とされる構成であってもよい。

表示部４０は、例えば、オペレータがテストケースの選択を実行する際の操作用画面を表示する。入力部５０は、マウスやキーボードによるオペレータからの入力を受け付ける。次に、図３を参照して、今回のテストについて未実施である全てのテストケースから所定数のテストケースを間引いて（非選択として）テストすべきテストケースを選択する本テストケース選択装置１００の動作について説明する。

＜２．装置の動作＞
図３は、本実施形態におけるテストケース選択処理の処理手順の一例を示すフローチャートである。図３に示されるように、まずテストケース選択装置１００に備えられるテスト監視部２１は、テストケースを選択するために起動されると、各パソコン２００において行われるテストケースに関わるテストの実施実績（テスト実績）の監視を行う（ステップＳ１１０）。実際には、テストケース選択装置１００は常時動作しており、上記テスト監視部２１は、各パソコン２００において行われるテストの実施の有無やそのテスト結果（特に未実施であるか否か）などを含むテスト実績を随時受け取るが、ここでは説明の便宜のため全てのテスト実績は本処理において受け取られるものとする。受け取られたテスト実績は、上記テスト監視部２１により、テストの名称等に関連づけられてデータベース３０に保存されるテストケーステーブル３２に書き込まれる。

ここで本実施形態では、今回のテストについて未実施である全てのテストケースから所定数のテストケースを間引く（非選択とする）ことによりテストすべきテストケースを選択するので、今回のテストについて既に実施済みであるテストケースは、上記テスト監視部２１により結果として選択される対象から除外される。このことにより、本テストケース選択装置１００は、今回のテストプロジェクトの計画当初においてのみ使用可能であるわけではなく、今回のテストプロジェクトの実行途中においてその計画変更のために使用することも可能となっている。

なお、上記テスト実績は、各パソコン２００におけるテストの実施状態をリアルタイムで監視することにより取得されてもよいが、ここでは各パソコン２００においてテスト実施者によりテストが行われた結果としての実績を当該テスト実施者が当該パソコン２００において操作入力することにより得られるものとする。

次に、テストケース選択装置１００に備えられるパラメータ設定部２２は、表示部４０の表示画面上に、テスト当初予定とテスト実績（またはテスト実績予測）とを比較したグラフを含む操作画面を表示する（ステップＳ１２０）。この操作画面例について図４を参照して説明する。

図４は、テストケース選択ダイアログ４００の表示例を示す図である。図４に示されるように、テストケース選択ダイアログ４００には、テストプロジェクト名を選択するためのプルダウンメニュー形式のリストボックス４０１と、当該リストボックス４０１で選択されたテストプロジェクトに含まれるテスト仕様書の数を表示する表示領域（以下、「テスト仕様書数表示領域」という）４０２と、後述するシミュレーション処理の実行後のテストケース数を表示する表示領域（以下、「テストケース数表示領域」という）４０３と、当初予定されていたテスト計画とテストケース選択後のテスト実績の予測とを比較したグラフを表示する表示領域（以下、「シミュレーション予測結果表示領域」という）４０４と、シミュレーション処理の実行前後についてのテスト仕様書毎のテストケース数を表示する表示領域（以下、「選択結果表示領域」という）４０５と、後述する間引きパラメータ設定ダイアログ５００を表示するための間引き選択ボタン４０６と、後述する必須選択パラメータ設定ダイアログ６００を表示するための必須選択ボタン４０７と、テスト仕様書毎のテストケースの最大の間引き率を設定するためのテキストボックス（以下、「間引き率設定テキストボックス」という）４０８と、テストプロジェクト全体でのテストケースの実施（予定）数を設定するためのテキストボックス（以下、「実施テストケース数設定テキストボックス」という）４０９と、オペレータによって設定されたパラメータ等に基づいて選択処理を実行するための適用ボタン４１０と、シミュレーション予測結果表示領域４０４および選択結果表示領域４０５に表示された選択結果をテストケーステーブル３２に最終的に反映させるための確定ボタン４１１と、テストケース選択処理をキャンセル終了するためのキャンセルボタン４１２とが含まれている。

ここで上記シミュレーション予測結果表示領域４０４には、当初予定されていたテスト計画とテスト実績の予測とを比較したグラフ、すなわち当初予定されていたテストの実施予定件数の時間的変化と、上記テスト実績に基づくテストの実施済み件数の時間的変化とを示すグラフが表示される。より詳しく説明すると、このグラフは、当初予定における経過日数とテストの実施完了が予定されるテストケースの件数（テスト件数）との関係と、シミュレーション処理の実行後（ここではシミュレーション処理の実行直前）のテスト実績予測における経過日数と完了すべきテストケースの件数との関係を比較したグラフである。このテスト実績予測は、未実施の全テストケースが後述する処理により適宜に選択された（例えば間引かれた）後、当該選択されたテストケースの予測されるテスト実績と経過日数との関係を示すものである。

そして、今回の一連の処理で後述するシミュレーション処理が行われていない場合であっても、前回以前の処理で当初テストが予定されていた全てのテストケースから適宜にテストケースの選択が行われていれば、当初予定されていたテスト計画とテスト実績の予測とは一致しないことになる。そこでオペレータは、このグラフを見てさらにテストケースの選択を行う必要があるか否かを判断することになる。例えば、当初予定からテスト実績予測が許容できないほど遅れていれば、オペレータはさらにテストされるべきテストケースを間引く選択を行う必要があると判断することになる。この場合には、後述する処理において（選択されることにより）テストされるべきテストケースが変更されることになる。このように一覧性の高い上記グラフの形で予測結果を表示することは、上記判断をオペレータが直感的に（迅速に）行うことを容易にするといえる。また、実施予定件数の時間的変化と、実施済み件数の時間的変化とを示すグラフがそれぞれ表示されるので、テストケースの選択を行う必要があるか否かを容易に判断することができる。

続いて、パラメータ設定部２２は、テストされるべきテストケースが変更されたか否かを判定する（ステップＳ１３０）。具体的には、パラメータ設定部２２は、オペレータの操作入力により図４に示されるキャンセルボタン４１２が押下されるか、またはテストケースが選択されることなく確定ボタン４１１が押下される場合、テストケースが変更されないと判定し、間引き選択ボタン４０６や必須選択ボタン４０７が押下される場合、テストケースが変更されたと判定する。この判定の結果、テストケースが変更される場合（ステップＳ１３０においてＹｅｓの場合）、処理はステップＳ１４０に進み、変更されない場合（ステップＳ１３０においてＮｏの場合）、処理は一旦終了して、本テストケース選択装置が再度起動されると上記一連の処理が再び繰り返される（Ｓ１１０〜）。

次に、パラメータ設定部２２は、図４に示されるような操作画面に基づくオペレータの操作入力による各種パラメータの設定を受け付ける（ステップＳ１４０）。具体的には、図４に示される間引き率設定テキストボックス４０８に対するオペレータによる最高間引き率を示す数値の操作入力を受け付け、実施テストケース数設定テキストボックス４０９に対するオペレータによる実施予定のテストケース数を示す数値の操作入力を受け付け、または間引き選択ボタン４０６や必須選択ボタン４０７を押下する操作入力を受け付ける。

上記間引き率設定テキストボックス４０８に入力される数値は、テスト仕様書毎に間引く（すなわちテストを行うべきテストケースとして選択しない）ことができる上限値を定めるものである。例えば或る１つのテスト仕様書に１０個のテストケースが含まれている場合、上記数値を８０％に設定すれば間引くことができる最大数は８個（＝１０×０．８）となる。したがって、上記計算において小数点以下が切り上げられるものとするとき、上記数値を１００％に設定しない限り各テスト仕様書には必ずテストを行うべき１個のテストケースが残ることになる。よって、テストの偏りをなくすことができる。

また、実施テストケース数設定テキストボックス４０９に入力される数値は、間引いた後のテストケースの数を定めるものであって、通常、後述する間引きパラメータ設定ダイアログにより間引かれた後に選択されるべきテストケースの数よりもさらに少ない数が設定される。さらに間引かれるべきテストケースをどのように決定するかについては後述する。

さらに、間引き選択ボタン４０６または必須選択ボタン４０７が押下されると、図５または図６に示されるような詳細なパラメータを設定するための操作画面が表示部４０に表示される。これらの操作画面について以下に説明する。

図５は、上記間引き選択ボタン４０６が押下されるときに表示される、間引きパラメータ設定ダイアログ５００の表示例を示す図である。図５に示されるように、間引きパラメータ設定ダイアログ５００は、未実施の全テストケースから間引かれるべきテストケースを選択するため、間引かれるべきテストケースに付される重要度を示すランクを設定するためのプルダウンメニュー形式のリストボックス（以下、「間引き対象ランク設定リストボックス」という）５０１と、間引かれるべきテストケースに付されるテスト分類を設定するためのチェックボックスを含む表示領域（以下、「間引き対象テスト分類選択領域」という）５０２と、間引かれるべきテストケースに付される登録日の範囲を設定するためのテキストボックス（以下、「間引き対象登録日設定テキストボックス」という）５０３とを含む。

さらに、間引きパラメータ設定ダイアログ５００は、発生した障害により間引かれるべきテストケースを選択するため、間引かれるべきテストケースに付される障害の程度を設定するためのプルダウンメニュー形式のリストボックス（以下、「間引き対象障害設定リストボックス」という）５０４と、テスト仕様書単位の間引きを行うため、間引かれるべきテストケースを含むテスト仕様書を設定するためのチェックボックスを含む表示領域（以下、「間引き対象テスト仕様書選択領域」という）５０５と、上記各種間引きパラメータ設定を確定させ、図４に示されるテストケース選択ダイアログ４００に戻るためのＯＫボタン５０６と、上記各種間引きパラメータ設定を確定させることなく、図４に示されるテストケース選択ダイアログ４００に戻るためのキャンセルボタン５０７とを含む。

図５では一例として、全テストケースからランクＣのテストケースが間引かれ、テスト分類として機能テスト、シナリオテスト、およびユーザビリティテストのためのテストケースが間引かれ、発生した障害が軽微なテストケースが間引かれ、テスト仕様書名「ＴＳ０００１」に含まれるテストケースが間引かれるように上記パラメータがそれぞれ設定されている。なお、テスト仕様書名「ＴＳ０００１」に含まれるテストケースは必ずしも全てが間引かれるわけではなく、図４に示される間引き率設定テキストボックス４０８に対するオペレータによる最高間引き率を示す数値に応じた割合のテストケースが間引かれることになる。また、後述する必須選択パラメータ設定ダイアログにおいて選択されたテストケースは、上記間引きパラメータ設定ダイアログ５００において間引かれるべき対象であったとしても間引かれないものとする。

図６は、図４に示される必須選択ボタン４０７が押下されるときに表示される、必須選択パラメータ設定ダイアログ６００の表示例を示す図である。図６に示されるように、必須選択パラメータ設定ダイアログ６００は、未実施の全テストケースから必ず選択されるべきテストケースを選択するため、必ず選択されるべきテストケースに付される重要度を示すランクを設定するためのプルダウンメニュー形式のリストボックス（以下、「必須選択対象ランク設定リストボックス」という）６０１と、必ず選択されるべきテストケースに付されるテスト分類を設定するためのチェックボックスを含む表示領域（以下、「必須選択対象テスト分類選択領域」という）６０２と、必ず選択されるべきテストケースに付されるキーワードを検索語として設定するためのテキストボックス（以下、「必須選択対象キーワード設定テキストボックス」という）６０３とを含む。

さらに、必須選択パラメータ設定ダイアログ６００は、発生した障害により必ず選択されるべきテストケースを選択するため、必ず選択されるべきテストケースに付される障害の程度を設定するためのプルダウンメニュー形式のリストボックス（以下、「必須選択対象障害設定リストボックス」という）６０４と、テスト仕様書単位の必須選択を行うため、必ず選択されるべきテストケースを含むテスト仕様書を設定するためのチェックボックスを含む表示領域（以下、「必須選択対象テスト仕様書選択領域」という）６０５と、上記各種必須選択パラメータ設定を確定させ、図４に示されるテストケース選択ダイアログ４００に戻るためのＯＫボタン６０６と、上記各種必須選択パラメータ設定を確定させることなく、図４に示されるテストケース選択ダイアログ４００に戻るためのキャンセルボタン６０７とを含む。

図６では一例として、全テストケースからテスト分類として再帰テストのためのテストケースが必ず選択され、テスト仕様書名「ＴＳ０００３」に含まれるテストケースが必ず選択されるように上記パラメータがそれぞれ設定されている。なお、前述したように、上記必須選択パラメータ設定ダイアログ６００において選択されたテストケースは、図５に示される間引きパラメータ設定ダイアログ５００において間引かれるべき対象であったとしても必ず選択されるものとする。

このように、テストケースによって設定された優先度や重要度とは無関係に、設計者や管理者等の装置のオペレータにより必ずテストしなければならないと判断されるテストケースは上記必須選択パラメータ設定ダイアログ６００において選択され、また逆に全くテストしなくてよいと判断されるテストケースは上記間引きパラメータ設定ダイアログ５００において選択されるので、今回実施すべきテストを行うための好適なテストケースを、利用者の判断に基づき適宜に選択することができるテストケース選択装置を提供することができる。

以上のようにステップＳ１４０において各種パラメータの設定が受け付けられた後、パラメータ設定部２２は、図４に示される適用ボタン４１０が押下されたか否かを判定する（ステップＳ１５０）。この判定の結果、押下された場合（ステップＳ１５０においてＹｅｓの場合）、処理はステップＳ１６０に進み、押下されなかった場合（ステップＳ１５０においてＮｏの場合）、処理はステップＳ１８０に進む。

続いて、ステップＳ１６０において、シミュレーション実行部２３は、上記ステップＳ１４０において受け付けられた各パラメータの設定値と、後述する基準により決定される優先順位とに基づき、未実施の全テストケースから所定のテストケースを選択し、選択されたテストケースに対応するテストを行った場合に必要なテスト日数に基づき、テスト終了予定日までの（例えば１日単位での）テスト件数の予測実施総数を算出する。なお、個々のテストケースによって必要とされるテスト日数は様々であるので、どのテストケースがテストされるべきテストケースとして選択されるかによりその結果としてのテスト件数の１日あたりの予測実施総数は大きく変化する。このテストされるべきテストケースの（シミュレーションのための）選択を含むシミュレーション処理について以下に詳しく説明する。

まず、上記テスト日数は、データベース３０に格納されるテスト仕様書テーブル３１に含まれるテスト日数に基づき算出される。例えば、或るテスト仕様書に含まれるテストケースのうちの半分が選択される場合、当該選択されたテストケースに対応するテストを行った場合に必要なテスト日数は、上記テスト仕様書テーブル３１に含まれるテスト日数の半分と推測できる。なお、正確を期するため、全てのテストケースに対応づけてそのテストに要する日数または時間がテストケーステーブル３２に含まれる構成であってもよいが、テストケースの数が多い場合には実際的ではない。また、前述したように、上記テスト日数は実際に各テストケースに対応するテストに要した時間の積算値（実績値）であってもよい。

次に、シミュレーション実行部２３は、上記ステップＳ１４０において受け付けられた各種パラメータの設定値、すなわち必須選択パラメータ設定ダイアログ６００において設定される各種パラメータにより必ず選択されるべきとされるテストケースを除いて、間引きパラメータ設定ダイアログ５００において設定される各種パラメータにより間引かれるべきとされるテストケースを間引き、さらに必要に応じて後述するように実施予定数に適合するようテストケースを自動的に間引くことにより、テストされるべきテストケースのシミュレーションのための選択を行う。なお、この選択は、シミュレーションのための仮の選択であって、後述するステップＳ１９０の処理において、最終的にテストされるべきテストケースとして確定される。

このようにテストされるべきテストケースの選択は、図４に示される実施テストケース数設定テキストボックス４０９に入力される実施予定のテストケース数を示す数値（実施予定数）に適合するように行われる。しかし、前述したように通常、この実施テストケース数設定テキストボックス４０９に入力される実施予定数は、間引きパラメータ設定ダイアログ５００において間引かれるべきとされたテストケースを差し引いた残りのテストケースの数よりもさらに少ない数が設定されることが多い。そこで、さらに間引かれるべきテストケースをどのように決定するかについて説明する。

なお、実施予定のテストケース数を示す数値が上記残りのテストケースの数以上の場合にはそれ以上間引く必要がないので、シミュレーション実行部２３は、上記ステップＳ１４０において受け付けられた各種パラメータの設定値に基づき、テストされるべきテストケースのシミュレーションのための選択を行い、次のステップＳ１７０に進む。なお、このとき、例えば実施予定数が変更された旨の警告表示や上記数値の強調表示等が行われてもよい。

本実施形態において、上記さらに間引かれるべきテストケースは、予め設定されたテストの必要性の程度を判定するための所定の基準により選択の必要度を示す優先順位を付された後、その優先順位が下位のものから間引くべき所定数に達するまで順に間引かれることにより自動的に決定される。

この優先順位を付すための基準としては、例えば過去にテストに失敗した数や失敗率を基準としてその失敗数や失敗率がより大きいものにより高い優先順位を付すこと、テスト対象の機能の重要度を基準としてその重要度がより高いものにより高い優先順位を付すこと、テストケースに付された（例えば致命的なものは高く、軽微なものは低く設定される）優先順位を基準としてその順位がより高いものにより高い優先順位を付すことなどが考えられる。また、これらの基準は複数使用されてもよい。例えば、或る基準によれば同順位であるときに他の基準によりさらに順位の優劣を決してもよい。さらに優先順位を付すことなく、所定の基準に基づいて直ちに間引かれるべきテストケースが決定されてもよい。

このように、実施テストケース数設定テキストボックス４０９に入力される実施予定数までテストケースを自動的に間引くことにより、間引きパラメータ設定ダイアログ５００および必須選択パラメータ設定ダイアログ６００において選択しまたは選択しないテストケースを決定するオペレータの判断を尊重しつつ、いずれでもよいテストケースが自動的に選択されることにより、全てのテストケースについて選択の可否を決定するオペレータの手間を省くことができる。

シミュレーション実行部２３は、以上のように未実施の全てのテストケースから所定のテストケースを間引くことにより選択し、テスト終了予定日までの（各日毎の）テスト件数（テスト総数）の予測値を算出する。

次に、パラメータ設定部２２は、表示部４０の表示画面上に、上記ステップＳ１６０によるシミュレーション処理の算出結果に基づき、テスト計画とテスト実績とを比較したグラフを含む操作画面を表示する（ステップＳ１７０）。この処理は、テスト実績予測が上記シミュレーション処理によるものである点を除いて、ステップＳ１２０と同様であるのでその説明は省略する。このように一覧性の高い上記グラフの形で予測結果を表示することは、上記判断をオペレータが直感的に（迅速に）行うことを容易にするといえる。また、テスト計画における実施予定件数の時間的変化があわせて表示されるので、さらにテストケースの選択を行う必要があるか否かをオペレータに容易に判断させることができる。なお、ここで既に実施されたテストの実績があわせて表示されてもよい。

続いて、パラメータ設定部２２は、オペレータの操作入力により図４に示される確定ボタン４１１が押下されたか否かを判定する（ステップＳ１８０）。この判定の結果、押下された場合（ステップＳ１８０においてＹｅｓの場合）、処理はステップＳ１９０に進み、押下されない場合（ステップＳ１８０においてＮｏの場合）、処理はステップＳ１４０に戻り確定ボタン４１１が押下されるまで上記処理が繰り返される（Ｓ１８０→Ｓ１４０→Ｓ１５０→…→Ｓ１８０）。なお、これらの処理の途中で図４に示されるキャンセルボタン４１２が押下される場合、処理は一旦終了し、本テストケース選択装置が再度起動されると上記一連の処理が再び繰り返される。

次に、テストケース決定部２４は、上記ステップＳ１６０によるシミュレーション処理により選択されたテストケースを実際にテストすべきテストケースとして選択する（ステップＳ１９０）。具体的には、上記選択されたテストケースにそれぞれ対応するテストケーステーブル３２に含まれるテスト結果の項目に、当該テストが間引かれた（非選択とされた）ことを示す「見送り」を格納する。その後、処理は一旦終了して、本テストケース選択装置が再度起動されると上記一連の処理が再び繰り返される（Ｓ１１０〜）。

＜３．効果＞
上記実施形態では、パラメータ設定部２２によって表示部４０の表示画面上にテストケース選択ダイアログ４００などが表示され、オペレータから受け取られた各種パラメータに基づき今回テストされるべきものと（仮に）されるテストケースが選択され、シミュレーション実行部２３により選択されたテストケースのテストに必要と予測される時間が算出され、テスト件数の時間的変化を示すグラフの形でその予測結果が表示される。したがって、オペレータはこの予測結果によりテストの達成状況を予測することができる。また、オペレータは上記各種パラメータを繰り返し適宜変更することにより、好ましいテスト達成状況が得られるテストケースを適宜選択することができる。これにより、テスト終了予定日までにテストすべきテストケースを好適に（例えば重要なテストを行う時間が無くならないように）選択することができ、より効果的にテスト対象となるソフトウェアシステムに存在する不具合を洗い出すことが可能となる。その結果、より少ない工数で高品質なソフトウェアシステムを提供することが可能となる。

＜４．変形例＞
上記実施形態におけるステップＳ１１０では、テスト監視部２１により、今回のテストの実施実績（テスト実績）の監視が行われ今回のテストについて既に実施済みであるテストケースは結果として選択される対象から除外され、テスト結果が「未実施」になっているテストケースを対象として選択が行われる構成であるが、これに替えて、テスト結果が「未実施」になっているテストケースとテスト結果が「見送り」になっているテストケースとの選択が行われてもよい。この構成によれば、上記とは逆に、今回のテストされるべきテストケースを増加（水増し）させることが可能となる。その結果、今回テストされるテストケースの数が増加し、システムの品質を向上することが可能となる。

上記実施形態におけるステップＳ１２０では、テストケース選択ダイアログ４００内のシミュレーション予測結果表示領域４０４において、当初予定されていたテスト計画とテスト実績の予測とを比較したグラフが表示されるが、テストを実施する場合に必要と予測される時間に関連する情報を含む予測結果であれば、この予測結果はグラフにより示される必要はない。例えば単位時間毎のテスト実績予測数が表により示されてもよいし、例えば単位時間経過毎のテスト達成率などの数値により示されてもよい。

また、上記グラフは、シミュレーションを行う毎に対応する新しいグラフに更新されるが、例えば過去３回分のシミュレーションに対応するグラフが個別に（例えば並んで）表示される構成であってもよい。このように構成すればオペレータはこれらのグラフを比較することにより、より好ましいテスト達成状況が得られるテストケースを適宜選択することができる。

上記実施形態におけるステップＳ１５０では、テストケース選択ダイアログ４００内の適用ボタン４１０が押下されたか否かが判定され、押下された場合にのみ上記ステップＳ１６０におけるシミュレーション処理およびステップＳ１７０におけるグラフ表示が行われる構成であるが、この適用ボタン４１０が省略され、上記各ダイアログにおいて各種パラメータを変更する操作入力がなされる度に、またはその後の適宜の時点で、自動的に上記ステップＳ１６０におけるシミュレーション処理およびステップＳ１７０におけるグラフ表示が行われる構成であってもよい。

本発明の一実施形態に係るテストケース選択装置を含む、ソフトウェアシステムの開発環境全体のハードウェア構成図である。 上記実施形態におけるテストケース選択装置の構成を示すブロック図である。 上記実施形態におけるテストケース選択処理の処理手順の一例を示すフローチャートである。 上記実施形態におけるテストケース選択ダイアログの表示例を示す図である。 上記実施形態における間引きパラメータ設定ダイアログの表示例を示す図である。 上記実施形態における必須選択パラメータ設定ダイアログの表示例を示す図である。

符号の説明

２０…プログラム格納部
２１…テスト監視部
２２…パラメータ設定部
２３…シミュレーション実行部
２４…テストケース決定部
３０…データベース
３１…テスト仕様書テーブル
３２…テストケーステーブル
１００…テストケース選択装置（サーバ）
２００…パソコン
３００…ＬＡＮ
４００…テストケース選択ダイアログ
５００…間引きパラメータ設定ダイアログ
６００…必須選択パラメータ設定ダイアログ

Claims (10)

1. 予め作成され繰り返しテストが実施されるべき複数のテストケースからなる作成済テストケース群から今回のテストが実施されるべき複数のテストケースである実施対象テストケース群を選択するテストケース選択装置であって、
   前記作成済テストケース群から複数のテストケースを一時的な仮の実施対象テストケース群として選択しまたは選択しないための所定のパラメータを設定する操作入力を受け付けるパラメータ設定手段と、
   前記パラメータ設定手段により設定された前記パラメータに基づき、前記作成済テストケース群から前記仮の実施対象テストケース群を選択し、前記作成済テストケース群のテストを実施する場合に必要とされる時間に基づき、選択された仮の実施対象テストケース群のテストを実施する場合に必要と予測される時間を算出し、算出された時間に関連する情報を含む予測結果を表示するシミュレーション実行手段と、
   前記シミュレーション実行手段により表示される前記予測結果に応じて前記仮の実施対象テストケース群を前記実施対象テストケース群に確定する操作入力を受け付け、当該確定する操作入力が受け付けられる場合に前記仮の実施対象テストケース群を前記実施対象テストケース群に確定するテストケース決定手段とを備え、
   前記テストケース決定手段は、前記仮の実施対象テストケース群を前記実施対象テストケース群に確定する操作入力を受け付けない場合に、前記パラメータ設定手段により受け付けられる異なるパラメータに基づき前記シミュレーション実行手段により表示される異なる予測結果に応じて、前記仮の実施対象テストケース群を前記実施対象テストケース群に確定する操作入力をさらに受け付け可能であり、
   前記パラメータ設定手段は、
   前記仮の実施対象テストケース群として必ず選択される必須選択対象テストケース群を定めるための所定のパラメータを設定する操作入力を受け付ける必須選択パラメータ設定手段と、
   前記必須選択対象テストケース群に含まれない場合に前記仮の実施対象テストケース群として必ず選択されない間引き対象テストケース群を定めるための所定のパラメータを設定する操作入力を受け付ける間引きパラメータ設定手段と
   を含むことを特徴とする、テストケース選択装置。
2. 前記パラメータ設定手段は、前記仮の実施対象テストケース群に含まれるべきテストケースの総数を設定する操作入力を受け付け、
   前記シミュレーション実行手段は、前記必須選択対象テストケース群および前記間引き対象テストケース群を除いた前記作成済テストケース群から、テストの必要性の程度を判定するための所定の基準に基づいて、前記総数に一致する数となるようさらに前記仮の実施対象テストケース群を選択することを特徴とする、請求項１に記載のテストケース選択装置。
3. 前記シミュレーション実行手段は、前記仮の実施対象テストケース群のテストを実施する場合に予測される実施件数の時間的変化を示すグラフを前記予測結果として表示することを特徴とする、請求項１に記載のテストケース選択装置。
4. 前記シミュレーション実行手段は、前記作成済テストケース群のテストを実施する場合に予め定められた実施予定件数の時間的変化を示すグラフと、前記作成済テストケース群のうち既に実施されたテストケースの実施済み件数の時間的変化を示すグラフとの少なくとも一方を表示することを特徴とする、請求項３に記載のテストケース選択装置。
5. 当該装置または当該装置外部の装置において実施されるテストを監視し、今回のテストが既に実施されたテストケースを前記作成済テストケース群から除外する監視手段をさらに備えることを特徴とする、請求項１に記載のテストケース選択装置。
6. 予め作成され繰り返しテストが実施されるべき複数のテストケースからなる作成済テストケース群から今回のテストが実施されるべき複数のテストケースである実施対象テストケース群を選択するテストケース選択装置を、一般的に使用されているコンピュータで実現するため、
   前記作成済テストケース群から複数のテストケースを一時的な仮の実施対象テストケース群として選択しまたは選択しないための所定のパラメータを設定する操作入力を受け付けるパラメータ設定手段と、
   前記パラメータ設定手段により設定された前記パラメータに基づき、前記作成済テストケース群から前記仮の実施対象テストケース群を選択し、前記作成済テストケース群のテストを実施する場合に必要とされる時間に基づき、選択された仮の実施対象テストケース群のテストを実施する場合に必要と予測される時間を算出し、算出された時間に関連する情報を含む予測結果を表示するシミュレーション実行手段と、
   前記シミュレーション実行手段により表示される前記予測結果に応じて前記仮の実施対象テストケース群を前記実施対象テストケース群に確定する操作入力を受け付け、当該確定する操作入力が受け付けられる場合に前記仮の実施対象テストケース群を前記実施対象テストケース群に確定するテストケース決定手段として機能させるためのテストケース選択プログラムであって、
   前記テストケース決定手段は、前記仮の実施対象テストケース群を前記実施対象テストケース群に確定する操作入力を受け付けない場合に、前記パラメータ設定手段により受け付けられる異なるパラメータに基づき前記シミュレーション実行手段により表示される異なる予測結果に応じて、前記仮の実施対象テストケース群を前記実施対象テストケース群に確定する操作入力をさらに受け付け可能であり、
   前記パラメータ設定手段は、
   前記仮の実施対象テストケース群として必ず選択される必須選択対象テストケース群を定めるための所定のパラメータを設定する操作入力を受け付ける必須選択パラメータ設定手段と、
   前記必須選択対象テストケース群に含まれない場合に前記仮の実施対象テストケース群として必ず選択されない間引き対象テストケース群を定めるための所定のパラメータを設定する操作入力を受け付ける間引きパラメータ設定手段と
   を含むことを特徴とする、テストケース選択プログラム。
7. 前記パラメータ設定手段は、前記仮の実施対象テストケース群に含まれるべきテストケースの総数を設定する操作入力を受け付け、
   前記シミュレーション実行手段は、前記必須選択対象テストケース群および前記間引き対象テストケース群を除いた前記作成済テストケース群から、テストの必要性の程度を判定するための所定の基準に基づいて、前記総数に一致する数となるようさらに前記仮の実施対象テストケース群を選択することを特徴とする、請求項６に記載のテストケース選択プログラム。
8. 前記シミュレーション実行手段は、前記仮の実施対象テストケース群のテストを実施する場合に予測される実施件数の時間的変化を示すグラフを前記予測結果として表示することを特徴とする、請求項６に記載のテストケース選択プログラム。
9. 前記シミュレーション実行手段は、前記作成済テストケース群のテストを実施する場合に予め定められた実施予定件数の時間的変化を示すグラフと、前記作成済テストケース群のうち既に実施されたテストケースの実施済み件数の時間的変化を示すグラフとの少なくとも一方を表示することを特徴とする、請求項８に記載のテストケース選択プログラム。
10. 当該装置または当該装置外部の装置において実施されるテストを監視し、今回のテストが既に実施されたテストケースを前記作成済テストケース群から除外する監視手段としてさらに機能させることを特徴とする、請求項６に記載のテストケース選択プログラム。

Images