JP4591030B2 - テストシナリオ作成方法、テストシナリオ作成装置およびテストシナリオ作成のためのプログラム - Google Patents

Description

本発明は、状態遷移表に基づいてテストシナリオを作成するテストシナリオ作成方法等に関し、とくに複雑な条件に合致するテストシナリオを得ることができる、テストシナリオ作成方法、テストシナリオ作成装置およびプログラムに関する。

各種装置等の動作試験を行うためのテストシナリオを作成する手法として、状態遷移表に基づく手法が知られている(特許文献１参照)。図５は状態遷移表に基づいてテストシナリオを作成する方法を例示している。図５の状態遷移表では、例えば、現在の状態が「状態１」の場合に、「イベント１」により「状態１」へ（すなわち、状態が変化せず）、「イベント２」により「状態２」へ、「イベント３」により「状態３」へ、それぞれ遷移することを示している。

このような状態遷移表に基づきテストシナリオを作成するアルゴリズムとしては、状態遷移表に示されたすべての経路を１回は通過するテストシナリオを求める方法や、通過する経路の順番を考慮した組み合わせのテストシナリオを生成する方法が知られている。前者の方法は、例えば、「状態１」から開始し、すべての経路、すなわち図５の状態遷移表に示された９通りの遷移をすべて含むような手順を求める方法である。後者の方法は、例えば、「状態１」から開始し、所定の回数のステップの後、「状態１」に戻るすべての組み合わせを求める方法である。図５では、３回のステップで「状態１」に戻る例を示しているが、開始状態と、ステップの回数とを組み合わせることで、多数のテストシナリオが作成される。

特開平１１−３５３３４８号公報

しかし、前者のアルゴリズムに基づく場合には、過去に通過した経路によって処理が異なる場合に動作試験が充分に行えないという問題がある。つまり、状態遷移の履歴が動作に影響を与える場合に、履歴を反映した動作試験が実行できない。

一方、後者のアルゴリズムに基づく場合には、通過する経路の順序が異なれば、異なるテストシナリオとして取り扱われるため、状態遷移の履歴を反映させた動作試験が可能となる。しかしながら、この場合には生成されるシナリオ数が膨大なものとなり、試験の実行に長時間を要するため現実的ではないという問題がある。

状態遷移表に基づいてテストシナリオを作成する場合には、例えば、重点的にテストする状態を決めて、「初期状態から所定回数以内の遷移で指定の状態に到達する経路を抽出し、各経路の最後でイベントを発生させてそれぞれの動作を確認する」といった方針を立てる。しかし、従来のアルゴリズムによりそのような複雑な条件のテストシナリオを作成することは難しい。

本発明の目的は、複雑な条件に即したテストシナリオを容易に作成できるテストシナリオ作成方法、テストシナリオ作成装置およびプログラムを提供することにある。

本発明のテストシナリオ作成方法は、状態遷移表に基づいて、遷移状態の履歴がテスト結果に影響を及ばすテストのテストシナリオを作成するテストシナリオ作成方法において、
終了状態および最大遷移回数の指定を受け付けるステップと、
前記受け付けるステップで受け付けた終了状態および最大遷移回数の指定に従って、前記指定に合致する、前記状態遷移表に従う第１のシナリオ群を生成するステップと、
前記受け付けるステップで受け付けた終了状態を開始状態として特定のイベントを発生させる第２のシナリオを生成するステップと、
前記第１のシナリオ群を生成するステップにより生成された前記第１のシナリオ群に含まれるそれぞれのテストシナリオ、および前記第２のシナリオを生成するステップにより生成された前記第２のシナリオを結合することによりテストシナリオ群を得るステップと、
前記テストシナリオ群を得るステップにより得られた前記テストシナリオの中から、その全体が他の前記テストシナリオの一部として含有されるテストシナリオを削除するステップと、
前記第１のシナリオ群を生成するステップおよび前記第２のシナリオを生成するステップにおいて前記テストシナリオを生成する手順を記憶するステップと、
をコンピュータに実行させ、
前記第１のシナリオ群を生成するステップおよび前記第２のシナリオを生成するステップに、前記記憶するステップにより記憶された前記手順を適用して前記テストシナリオを作成可能とされることを特徴とする。

前記第１のシナリオ群を生成するステップでは、通過する経路の順番を考慮したすべての組み合わせのシナリオを生成してもよい。
この場合には、状態遷移の履歴を反映させた試験を可能とするテストシナリオを得ることができる。

本発明のテストシナリオ作成装置は、状態遷移表に基づいて、遷移状態の履歴がテスト結果に影響を及ばすテストのテストシナリオを作成するテストシナリオ作成装置において、
終了状態および最大遷移回数の指定を受け付ける手段と、
前記受け付ける手段で受け付けた終了状態および最大遷移回数の指定に従って、前記指定に合致する、前記状態遷移表に従う第１のシナリオ群を生成する手段と、
前記受け付ける手段で受け付けた終了状態を開始状態として特定のイベントを発生させる第２のシナリオを生成する手段と、
前記第１のシナリオ群を生成する手段により生成された前記第１のシナリオ群に含まれるそれぞれのテストシナリオ、および前記第２のシナリオを生成する手段により生成された前記第２のシナリオを結合することによりテストシナリオ群を得る手段と、
前記テストシナリオ群を得る手段により得られた前記テストシナリオの中から、その全体が他の前記テストシナリオの一部として含有されるテストシナリオを削除する手段と、
前記第１のシナリオ群を生成する手段および前記第２のシナリオを生成する手段において前記テストシナリオを生成する手順を記憶する手段と、
を備え、
前記第１のシナリオ群を生成する手段および前記第２のシナリオを生成する手段に、前記記憶する手段により記憶された前記手順を適用して前記テストシナリオを作成可能とされることを特徴とする。

本発明のプログラムは、状態遷移表に基づいて、遷移状態の履歴がテスト結果に影響を及ばすテストのテストシナリオを作成するテストシナリオ作成方法を実行するためのプログラムにおいて、
終了状態および最大遷移回数の指定を受け付けるステップと、
前記受け付けるステップで受け付けた終了状態および最大遷移回数の指定に従って、前記指定に合致する、前記状態遷移表に従う第１のシナリオ群を生成するステップと、
前記受け付けるステップで受け付けた終了状態を開始状態として特定のイベントを発生させる第２のシナリオを生成するステップと、
前記第１のシナリオ群を生成するステップにより生成された前記第１のシナリオ群に含まれるそれぞれのテストシナリオ、および前記第２のシナリオを生成するステップにより生成された前記第２のシナリオを結合することによりテストシナリオ群を得るステップと、
前記テストシナリオ群を得るステップにより得られた前記テストシナリオの中から、その全体が他の前記テストシナリオの一部として含有されるテストシナリオを削除するステップと、
前記第１のシナリオ群を生成するステップおよび前記第２のシナリオを生成するステップにおいて前記テストシナリオを生成する手順を記憶するステップと、
をコンピュータに実行させ、
前記第１のシナリオ群を生成するステップおよび前記第２のシナリオを生成するステップに、前記記憶するステップにより記憶された前記手順を適用して前記テストシナリオを作成可能とされることを特徴とする。

本発明によれば、複数の生成アルゴリズムに従って生成された複数のシナリオを組み合わせてテストシナリオを作成するので、複雑な試験条件を満足するテストシナリオを容易に獲得できる。

以下、図１〜図４を参照して、本発明によるテストシナリオ作成方法の一実施形態について説明する。

最初に、本実施形態のテストシナリオ作成方法で使用するアルゴリズムについて説明する。

図１はテストシナリオ作成の基盤となる状態遷移表の一例を示す図、図２および図３は本実施形態のテストシナリオ作成方法で用いるアルゴリズムを示す図である。

図１の状態遷移表では、現在の状態が「状態１」の場合には、「イベント１」により「状態１」へ（すなわち、状態が変化せず）、「イベント２」により「状態２」へ、「イベント３」により「状態３」へ、それぞれ遷移する。また、現在の状態が「状態２」の場合には、「イベント１」により「状態１」へ、「イベント２」により「状態２」へ（すなわち、状態が変化せず）、「イベント３」により「状態３」へ、それぞれ遷移する。また、現在の状態が「状態３」の場合には、「イベント１」により「状態１」へ、「イベント２」により「状態２」へ、「イベント３」により「状態３」へ（すなわち、状態が変化せず）、それぞれ遷移する。

図２に示すように、本実施形態では２つの異なる生成アルゴリズムに基づき生成したシナリオを、所定の加工アルゴリズムに基づき互いに結合することで、１つのシナリオを作成する。

第１のシナリオ生成手順では、第１の生成アルゴリズムを用いて、通過する経路の順番を考慮したすべての組み合わせのシナリオを生成する。第１の生成アルゴリズムでは、開始状態、終了状態および最大遷移回数を指定すると、条件に合致するすべてのシナリオを生成する。ただし、１つのシナリオで同じ経路を２回以上通過しないという制約がある。図２では、「状態１」で始まり、５回以内の遷移で「状態１」へ戻るシナリオを生成する場合を示している。図２に示すように、例えば３回の遷移で「状態１」へ戻るシナリオとして、シナリオＡ：「状態１→状態２→状態３→状態１」が生成される。また、４回の遷移で「状態１」へ戻るシナリオとして、シナリオＢ：「状態１→状態２→状態３→状態２→状態１」が生成される。このように、図２に示す第１のシナリオ生成手順では、５回以内の遷移で「状態１」へ戻るシナリオをすべて生成する。

なお、図２では開始状態と終了状態が同一の状態の場合を例示しているが、両者を互いに異なる状態とすることもできる。例えば、「状態１」で始まり、「状態２」で終わるシナリオを生成するようにしてもよい。

次に、第２のシナリオ生成手順では、第２の生成アルゴリズムを用いて、各イベントを１回発生させるシナリオを生成する。第２の生成アルゴリズムでは、開始状態を指定するとその状態から１つずつイベントを発生するシナリオを生成する。図２では、「状態１」で始まり、各イベントを１回発生させるシナリオを生成する例を示している。すなわち、図２に示すように、シナリオＣ：「状態１→状態２」、シナリオＤ：「状態１→状態３」などが生成される。

次に、第１の加工アルゴリズムに従って、第１のシナリオ生成手順および第２のシナリオ生成手順で生成したシナリオを結合する。第１の加工アルゴリズムでは、ある状態で終わるシナリオと、その状態から始まるシナリオとを指定すると、それぞれを組み合わせたシナリオを生成する。例えば、第１のシナリオ生成手順で生成したシナリオＡ：「状態１→状態２→状態３→状態１」に、第２のシナリオ生成手順で生成したシナリオＣ「状態１→状態２」を結合することで、シナリオＥ：「状態１→状態２→状態３→状態１→状態２」が作成される。また、同様に、シナリオＡとシナリオＤとを結合することでシナリオＦ「状態１→状態２→状態３→状態１→状態３」が、シナリオＢとシナリオＣとを結合することでシナリオＧ「状態１→状態２→状態３→状態２→状態１→状態２」が、シナリオＢとシナリオＤとを結合することでシナリオＨ「状態１→状態２→状態３→状態２→状態１→状態３」が、それぞれ作成される。

次に、第２の加工アルゴリズムを用いて、重複するシナリオを削除する。図３に示すように、第２の加工アルゴリズムではシナリオの結合により作成されたシナリオのうち、経路が重複するシナリオを削除する。シナリオの結合を何度か実行すると、あるシナリオが別のシナリオの経路を含む場合がある。その場合、それぞれのシナリオを実行することは時間の無駄となるので、重複するシナリオを削除する。この例では、シナリオの結合により、シナリオＪ「状態１→状態２→状態１」、シナリオＫ「状態１→状態２→状態１」およびシナリオＬ「状態１→状態２→状態３→状態１→状態２→状態１」が作成された場合を示している。この場合には、シナリオＪおよびシナリオＫと同一の経路は、それぞれシナリオＬに含まれているため、シナリオＪおよびシナリオＫを削除する。

なお、図２および図３では状態の遷移順序のみを示しているが、一般に、状態の遷移が同じでも、イベントが異なれば別の経路として取り扱われる。

以上の手順は、例えば、プログラムに従って機能するコンピュータを用いて実行することができる。

図４は、テストシナリオ作成の手順を機能的に示すブロック図である。

図４において、シナリオ生成手段１は生成アルゴリズム格納部２に格納された生成アルゴリズムの中から必要な複数の生成アルゴリズムを取得する。そして、取得した複数の生成アルゴリズムに基づいて複数のシナリオを生成し、一時的にシナリオ格納手段３に格納する。シナリオ生成手段１は上記第１の生成アルゴリズムおよび上記第２の生成アルゴリズムに従って、図２に示すシナリオＡおよびシナリオＢを生成する機能に対応する。

次に、シナリオ加工手段５は加工アルゴリズム格納部６に格納された加工アルゴリズムの中から必要な加工アルゴリズムを取得する。そして、取得した加工アルゴリズムに基づいてシナリオ格納手段３に格納されている上記複数のシナリオを組み合わせ、テストシナリオ８を作成する。シナリオ加工手段５は、図２において上記第１の加工アルゴリズムに従ってＡ〜Ｄを結合し、シナリオＥ〜Ｈを作成する機能、および図３において上記第２の加工アルゴリズムに従ってシナリオＪおよびＫを削除する機能に対応する。

図４に示すように、シナリオ生成手段１で用いた生成手順を手順記憶手段７に格納することができる。すなわち、シナリオを作成する際に、どのアルゴリズムをどんな順序で実行したかを生成手順として保存できる。また、シナリオ生成手段１は手順記憶手段７に格納されている生成手順を利用して、シナリオを生成することができる。したがって、手順記憶手段７に格納されている前回までの生成手順を取り出すことにより、シナリオ生成のための同一の手順をいつでも再実行できる。例えば、状態遷移表に変更が加えられたような場合にも、容易にテストシナリオを作成し直すことができる。なお、手順記憶手段７は生成手順記憶手段に対応する。

また、シナリオ加工手段５で用いた加工手順を手順記憶手段７に格納することができる。すなわち、シナリオを加工する際に、どのアルゴリズムをどんな順序で実行したかを加工手順として保存できる。さらに、シナリオ加工手段５は手順記憶手段７に格納されている加工手順を利用して、シナリオを加工することができる。したがって、手順記憶手段７に格納されている前回までの加工手順を取り出すことにより、シナリオ加工のための同一の手順をいつでも再実行できる。なお、手順記憶手段７は加工手順記憶手段に対応する。

生成アルゴリズム格納部２にはシナリオ生成手段１で使用する生成アルゴリズムが格納される。本実施形態では、生成アルゴリズムのインターフェースと、生成アルゴリズム格納部２に登録されているインターフェースとが統一されている。このインターフェースにより、例えば、テストシナリオを作成するユーザが自作した生成アルゴリズムを追加登録することもできる。

加工アルゴリズム格納部６にはシナリオ加工手段５で使用する加工アルゴリズムが格納される。本実施形態では、生成アルゴリズムと同様、加工アルゴリズムのインターフェースと、加工アルゴリズム格納部６に登録されているインターフェースとが統一されている。このインターフェースにより、例えば、テストシナリオを作成するユーザが自作した加工アルゴリズムを追加登録することもできる。

さらに、図４に示すように、他のシナリオ生成ツール１１を用いて生成されたシナリオをシナリオ格納部３に格納できるように構成してもよい。この場合、このシナリオをシナリオ加工手段５において加工することで、目的に即したテストシナリオを柔軟に作成できる。

以上のように、本実施形態では、開始状態、終了状態および最大遷移回数を指定すると、条件に合致するすべてのシナリオを生成する第１の生成アルゴリズムにより生成されたシナリオと、開始状態を指定するとその状態から１つずつイベントを発生する第２の生成アルゴリズムにより生成されたシナリオとを組み合わせることで、テストシナリオを作成している。このため、例えば、重点的にテストする状態を決めて、「初期状態から所定回数以内の遷移で指定の状態に到達する経路を抽出し、各経路の最後でイベントを発生させてそれぞれの動作を確認する」動作試験を実行したい場合に適したテストシナリオを、容易に作成できる。

また、シナリオの結合により作成されたシナリオのうち、経路が重複するシナリオを削除しているので、テストシナリオによる試験に要する時間を短縮できる。

以上のように、本発明によれば、複数のアルゴリズムに従った複数のシナリオを組み合わせてテストシナリオを作成するため、比較的単純なアルゴリズムを組み合わせることで、目的に合致するシナリオを効率的に生成することができる。

互いに組み合わせられる複数のアルゴリズムとしては、任意のアルゴリズムを使用することができる。動作試験の条件に合わせてアルゴリズムを適宜選択できる。アルゴリズムは本実施形態で提示されたものに限定されない。

本発明の適用範囲は上記実施形態に限定されることはない。本発明は、各種装置等の試験に用いられるテストシナリオを作成する場合に対し、広く適用することができる。

テストシナリオ作成の基盤となる状態遷移表の一例を示す図。 本実施形態のテストシナリオ作成方法で用いるアルゴリズムを示す図。 本実施形態のテストシナリオ作成方法で用いるアルゴリズムを示す図 テストシナリオ作成の手順を機能的に示すブロック図である。 状態遷移表に基づいてテストシナリオを作成する従来の方法を示す図。

符号の説明

１ シナリオ生成手段
５ シナリオ加工手段
７ 手順記憶手段（生成手順記憶手段、加工手順記憶手段）

Claims (4)

1. 状態遷移表に基づいて、遷移状態の履歴がテスト結果に影響を及ばすテストのテストシナリオを作成するテストシナリオ作成方法において、
   終了状態および最大遷移回数の指定を受け付けるステップと、
   前記受け付けるステップで受け付けた終了状態および最大遷移回数の指定に従って、前記指定に合致する、前記状態遷移表に従う第１のシナリオ群を生成するステップと、
   前記受け付けるステップで受け付けた終了状態を開始状態として特定のイベントを発生させる第２のシナリオを生成するステップと、
   前記第１のシナリオ群を生成するステップにより生成された前記第１のシナリオ群に含まれるそれぞれのテストシナリオ、および前記第２のシナリオを生成するステップにより生成された前記第２のシナリオを結合することによりテストシナリオ群を得るステップと、
   前記テストシナリオ群を得るステップにより得られた前記テストシナリオの中から、その全体が他の前記テストシナリオの一部として含有されるテストシナリオを削除するステップと、
   前記第１のシナリオ群を生成するステップおよび前記第２のシナリオを生成するステップにおいて前記テストシナリオを生成する手順を記憶するステップと、
   をコンピュータに実行させ、
   前記第１のシナリオ群を生成するステップおよび前記第２のシナリオを生成するステップに、前記記憶するステップにより記憶された前記手順を適用して前記テストシナリオを作成可能とされることを特徴とするテストシナリオ作成方法。
2. 前記第１のシナリオ群を生成するステップでは、通過する経路の順番を考慮したすべての組み合わせのシナリオを生成することを特徴とする請求項１に記載のテストシナリオ作成方法。
3. 状態遷移表に基づいて、遷移状態の履歴がテスト結果に影響を及ばすテストのテストシナリオを作成するテストシナリオ作成装置において、
   終了状態および最大遷移回数の指定を受け付ける手段と、
   前記受け付ける手段で受け付けた終了状態および最大遷移回数の指定に従って、前記指定に合致する、前記状態遷移表に従う第１のシナリオ群を生成する手段と、
   前記受け付ける手段で受け付けた終了状態を開始状態として特定のイベントを発生させる第２のシナリオを生成する手段と、
   前記第１のシナリオ群を生成する手段により生成された前記第１のシナリオ群に含まれるそれぞれのテストシナリオ、および前記第２のシナリオを生成する手段により生成された前記第２のシナリオを結合することによりテストシナリオ群を得る手段と、
   前記テストシナリオ群を得る手段により得られた前記テストシナリオの中から、その全体が他の前記テストシナリオの一部として含有されるテストシナリオを削除する手段と、
   前記第１のシナリオ群を生成する手段および前記第２のシナリオを生成する手段において前記テストシナリオを生成する手順を記憶する手段と、
   を備え、
   前記第１のシナリオ群を生成する手段および前記第２のシナリオを生成する手段に、前記記憶する手段により記憶された前記手順を適用して前記テストシナリオを作成可能とされることを特徴とするテストシナリオ作成装置。
4. 状態遷移表に基づいて、遷移状態の履歴がテスト結果に影響を及ばすテストのテストシナリオを作成するテストシナリオ作成方法を実行するためのプログラムにおいて、
   終了状態および最大遷移回数の指定を受け付けるステップと、
   前記受け付けるステップで受け付けた終了状態および最大遷移回数の指定に従って、前記指定に合致する、前記状態遷移表に従う第１のシナリオ群を生成するステップと、
   前記受け付けるステップで受け付けた終了状態を開始状態として特定のイベントを発生させる第２のシナリオを生成するステップと、
   前記第１のシナリオ群を生成するステップにより生成された前記第１のシナリオ群に含まれるそれぞれのテストシナリオ、および前記第２のシナリオを生成するステップにより生成された前記第２のシナリオを結合することによりテストシナリオ群を得るステップと、
   前記テストシナリオ群を得るステップにより得られた前記テストシナリオの中から、その全体が他の前記テストシナリオの一部として含有されるテストシナリオを削除するステップと、
   前記第１のシナリオ群を生成するステップおよび前記第２のシナリオを生成するステップにおいて前記テストシナリオを生成する手順を記憶するステップと、
   をコンピュータに実行させ、
   前記第１のシナリオ群を生成するステップおよび前記第２のシナリオを生成するステップに、前記記憶するステップにより記憶された前記手順を適用して前記テストシナリオを作成可能とされることを特徴とするプログラム。

Images