JPH09511853A

JPH09511853A - 相互作用のある要素を有するシステムのための効率的なテスト・ケースの自動生成方法およびシステム

Info

Publication number: JPH09511853A
Application number: JP8512765A
Authority: JP
Inventors: コーエン，デイヴィッド，モーデカイ; ダラル，シドハーサ，ラマンラル; フレッドマン，マイケル，ローレンス; パットン，ガードナー，コンド
Original assignee: ベルコミュニケーションズリサーチ，インコーポレイテッド
Priority date: 1994-10-11
Filing date: 1995-10-10
Publication date: 1997-11-25
Anticipated expiration: 2015-10-10
Also published as: EP0786110A1; ATE204088T1; CA2200557A1; CA2200557C; EP0786110A4; WO1996011438A1; EP0786110B1; JP2882687B2; DE69522114D1; US5542043A; ES2163533T3; DE69522114T2

Abstract

(57)【要約】相互作用のある要素を有するシステムのための最小数のテスト・ケースを列挙する本方法およびシステムは、要素と各要素について評価された特性数との間の関係に対し作用する。コンピュータ・システムで実行される本発明の方法（１６）においては、ユーザは、各要素に値を入力し、要素間の関係（１８）を定義する。そして、本方法では、適用できる場合は決定論手続を使用して、決定論手続を適用できない場合はランダム手続を使用して、各要素間の関係に対しテスト・ケース表を列挙する（１４）。各関係に対しテスト・ケース表を生成した後、本方法では、関係を結合して単一のテスト・ケース表とする（２０）。

Description

【発明の詳細な説明】相互作用のある要素を有するシステムのための効率的なテスト・ケースの自動生成方法およびシステム発明の属する技術分野本発明は、コンピュータ・ソフトウェアのテストに関する。より具体的には、本発明は、ソフトウェア・システムを頑健に(robustly)テストするために必要な最小の数のテスト・ケース(test case)を効率的に生成し、列挙するシステムおよびプロセスに関する。従来の技術トランザクショナル・コンピュータ・システム(transactional computer syst ems)は、より大型に、かつ、より複雑になってきている。電話会社は、トランザクション処理(transaction processing)を実装し、自己の操作支援システムの効率を高めている。ユーザが、それらのトランザクション処理システムとやりとりをする場合は、ＣＲＴスクリーン上のフィールドにデータを入力し、スクリーン上の他のフィールドの応答を待つのが一般的である。新しいソフトウェアが開発されると、それらのソフトウェア・システムは、エンド・ユーザに提供される前に、テストを受ける必要がある。ソフトウェアをテストする者は、スクリーンへ入力される組合せを特定しているテスト・ケースを開発し、それをシステムに入力して、システムの応答が入力に対する結果として適切であるか否かを調べることによりテストを行う。テストの一方法は、スクリーンへ入力する値のすべてについての、すべての組合せのテスト・ケースを生成することであろう。ほとんどのシステムにおいて、多数のスクリーンが存在し、そのスクリーンは多様なフィールドを有し、それぞれのフィールドは多様な値を有することから、生成されるテスト・ケース数は、極めて大きなものとなることがある。それに応じて、そのようなテストを行うコストも、法外なものとなることがある。そのため、現在の技術においては、テスト・ケース数の削減を、各フィールドのサンプル値をとることにより行っている。サンプル値は、数のフィールドについては、最小値、最大値、および、いくつかの中間値のようなものである。この場合でも、現在の技術においては、スクリーン・テストを行うコストは、ソフトウェアの開発コストを最大３０％増加させることがある。これらの問題は、スクリーンを用いたソフトウェア・システムに特有のものではない。プロトコル適合性(protocol conformance)テストの分野においては、プロトコルおよび機能を有限状態機械(finite state machine)としてモデル化することが一般的である。しかしながら、ｎ個の状態を有する有限状態機械をテストするためのテスト・ケース数は、ｎの多項式(polynomial in n)となる。プロトコルは、何千個もの状態を有することが一般的であり、何百万個の状態を有することもあるので、従来の有限状態機械を用いたテストでは、過度の数のテストを生成することとなる。以下の例により、いくつかの問題が明らかとなる。１つのスクリーンを有し、そのスクリーン上にｎ個のフィールドが存在するシステムについて考える。また、ソフトウェア製作で用いられたシステム要求を分析した結果、テストにおいては、限られた数（ｉ）の入力のみが考慮されるとする。すると、可能性のあるテスト・ケースの数は、スクリーン上のすべてのフィールドに対応する値を含むので、ｉⁿ個である。これは、スクリーンが１つの場合であっても、非常に大きな数となり得る。例えば、各フィールドにつき、３個の値（ｉ＝３）のみが考慮され、スクリーン上に１３個のフィールド（ｎ＝１３）があるとすると、徹底的なテスト・ケースの数は、３¹³＝１，５９４，３２３個である。明らかに、この数は非常に大きく、徹底的なテストでは、いかなる者の使用可能な資源をも、はるかに超えてしまう。そのため、テストをする者は、さまざまな方法を見つけて組合せ数を削減するのが一般的である。その方法は、例えば、直感による方法、または、単に、他のすべてのフィールドをデフォルト値(default values)として、１個のフィールドごとに、すべての値を試みる方法である。残念ながら、このデフォルト・テストの方法は、さまざまなフィールド間の相互作用(interactions)または従属(d ependencies)は考慮されない。当該分野における何人かの研究者は、計画実験(planning experiments)のために使用される実験計画法を、ソフトウェア・テストの分野に適用することを調べた(Phadke，M.S.，"Quality Engineering Using Robust Design"，Prentice Hal l，Englewood Cliffs，NJ.，1989)。特に、Ｐａｈｄｋｅは、ソフトウェアのテストに直交配列構成(orthogonal array designs)を使用することを提案する。直交配列構成は、任意のペア(pair)のフィールドに対して、入力レベルのすべての組合せが、正確に同じ回数だけ現れるようなテスト集合である。例えば、１個のスクリーンが３個のフィールド（ｎ＝３）を有し、各フィールドが２個の入力をとり得る場合を考える。考え得るすべての組合せに関する徹底的な(exhowitive) テストでは、下記の表１に示す８個のテスト集合という結果になる。実験計画法を使用すると、同一のフィールドおよび値についての対応する直交配列は、下記の表２に示す４個のテスト・ケースという結果になる。表２では、すべての対の入力が正確に一回ずつ現れており、テスト・ケースは４つのみである。この場合、表１に示す完全に列挙されたテスト・ケースの集合と比べ、テスト・ケースが５０％削減されている。直交配列は、すべてのペアの入力をカバーし、かつ、完全なテスト集合よりも大幅に少ないテスト集合を提供するが、この先行技術による解決手段には、多くの問題が存在する。まず第一に、全てのフィールドと入力の組合せが、対応する直交配列を有してはいない。例えば、フィールドが７個あり、各フィールドが６入力の可能性を有する場合は、直交配列は存在しない。直交配列の別の問題は、構成することが難しいことである。直交配列を生成するための統一された方法は１つもない。この困難性は、各フィールドのとる値の個数が等しくない場合には、より大きなものとなる。また、直交配列の無駄な点は、ペアの入力のそれぞれが、正確に同じ回数だけ現れることを必要とする点である。このバランス特性は、均等な正確さが要求される統計的実験において、しばしば必要とされるものである。しかしながら、ソフトウェア・テストにおいては、均等な繰り返しを要求する必要はない。従って、本発明の目的は、自動化された方法およびシステムにより、従来技術の限界を克服し、フィールド間の相互作用を取り入れる一方、ソフトウェア・システムを頑健にテストするために必要なテスト・ケースの数を削減することである。発明の概要本発明は、相互作用のある要素を有するシステムのための最小の数のテスト・ケースを列挙する方法およびシステムである。ここでは、スクリーンを用いたソフトウェア・システムを対象として説明されているが、本発明は、フィールド、フィールド値の個数、および、フィールド間の関係により構成されたものに対し働くものである。本方法は、コンピュータ・システムで実行されるが、ユーザは各フィールドに値を入力し、フィールド間の関係を定義し、そして、フィールド間の相互作用の度合を定義する。それから、本方法では、適用できる場合は決定論手続(deterministic procedures)を使用し、決定論手続が適用できない場合はランダム手続(random procedures)を使用して、フィールド間の各関係に対してテスト・ケース表を列挙する。各関係に対してテスト・ケース表を生成した後、本発明の方法では、異なる関係に対するテスト・ケースを結合して、単一のテスト・ケース表とする。システムが異なる特性を有する構成要素から構成される場合の本発明の適用においては、構成要素をフィールドに類似したものとして、構成要素の特性をフィールド値に類似したものとして扱う。図面の簡単な説明図１は、本発明のシステムを示す。図２は、本サンプル・システムの実施形態における、サンプルの入力スクリーンを示す。図３は、関係の例、および、本射影平面アルゴリズム(projective plane algo rithm)を使用して生成したテスト・ケース表の例を表す。図４は、本積規則手続(product rule procedures)を使用して生成したテスト・ケース表を表す。図５は、本縮小積規則手続(reduced product rule procedures)に従って生成した２つの表を表す。図６は、３種類の関係に対するテスト・ケース表を表す。図７は、本テスト・ケース併合プロセスを使用して生成したテスト・ケースの統合表(consolidated table)を表す。発明の詳細な説明本発明は、最小の数のテスト・ケースを列挙し、フィールド間の相互作用を取り入れ、従来技術の限界を克服する方法およびシステムである。本発明の実施態様の例を図１に示すが、これには、図２に示すスクリーンを表示するスクリーン表示装置１０が含まれる。ユーザは、スクリーン２８上の（または、複数のスクリーンにわたる）フィールドの値を入力し、これらのフィールド間の関係（以下「関係(relation)」という）を定義する。この関係により、フィールドのグループに関する正当性規則(validation rules)が確立される。また、ユーザは、制約、および、各関係についてのフィールドの相互作用の程度を指定するパラメータを入力する。また、ユーザは、関係から生成される入力の組合せに対するシステムの正しい応答を指定することもできる。例えば、入力に対するシステムの適切な応答は、入力が適法であるという単純なメッセージかもしれないし、また、電話をかけるというようなアクションかもしれない。表示制御プロセス１２は、これらのフィールドの関係、および、正当性規則を、関係データベース(relation database)１８に格納する。各関係に対するテスト・ケース表は、プロセス１４において生成され、そして、データベース１８にまた格納される。すべてのデータが入力され、フィールドの関係が定義され、個々のテスト・ケース表が生成された後、ユーザは、統合された単一のテスト・ケース表の生成を要求する。次に、テスト・スクリプト併合プロセス(test script merger proc ess)２０は、プロセス１４によって生成されたテスト・ケース表を結合して、単一のテスト・ケース表を生成する。生成された単一のテスト・ケース表は、データベース２２に格納される。その後、単一のテスト・ケース表を、フィルタ・プロセス２４（当該技術において多くのものが知られている）への入力として使用し、テスト・スクリプト生成プロセス２６（これも当該技術において知られている）で読みとれる形に変換し、ソフトウェア・システムで実行できるテスト・スクリプトを生成することができる。上記システムは、本発明の最小数のテスト・ケースを列挙する方法を実現するものである。本発明の方法は、２つの概括的な手続の集合により構成される。１つは、個々の関係のそれぞれについて、テスト・ケース表を生成するもので、プロセス１４において具現化され、もう１つは、個々の表を結合して単一の表とするもので、プロセス２０において具現化されている。それぞれの手続の集合において使用されている構成要素(building blocks)は、本発明のシステムのユーザにより入力されたフィールド、フィールド値、関係、および、フィールドの相互作用の程度である。また、本システムおよび方法を使用して、ソフトウェアのプロトコル適合性、および、機能の相互作用をテストするためのテスト・ケースを生成することもできる。スクリーンを用いたデータベースへの適用においては、フィールドは、スクリーン上のフィールドに対応する。プロトコル適合性への適用においては、フィールドは、パラメータの選択やイベントの順序づけ(orderin gs of events)のような、テストのシナリオを決定する決定ポイント(decision p oints)に対応する。関係を生成するために、ユーザは、関係中のフィールド、各フィールドの有効な値および無効な値、並びに、制約を特定する。特定されたフィールドは、すべてが１つのスクリーンから生じるものであることもあるし、複数のスクリーンに及ぶこともある。スクリーン２８の内部には、３つのフィールド（ＤＥＳＴ３０、ＭＯＤＥ３１、および、ＰＲＩ３２）の例がある。下記の表３は、それらのフィールドの有効な値（ＤＥＳＴについてはｃｏｌｏｒまたはｂｌａｎｋ、ＭＯＤＥについては６００ｄｐｉまたはｂｌａｎｋ、ＰＲＩについてはＤ、Ｄ＋、または、Ｄ−）の関係を表す。この関係は、データベース検索(database query)の出力の印刷に関するものである。これらのフィールド値は、共に関係を定義する。ＤＥＳＴは宛先プリンタ(d estination printer)を、ＭＯＤＥはモードを、ＰＲＩは優先度(priority)を表す。つまり、関係１により、優先度がデファードの値(deferred values)（Ｄ、Ｄ−、Ｄ＋）の１つである場合は、ＤＥＳＴの有効な値はｃｏｌｏｒまたはｂｌａｎｋであり、ＭＯＤＥの有効な値は、６００ｄｐｉかｂｌａｎｋである。表４は、フィールドＤＥＳＴ、ＭＯＤＥ、および、ＰＲＩについての別の関係を表す。表４により、ＰＲＩの有効な値がＩ(イミーディエト(immediate))の場合、フィールドＤＥＳＴの有効な値はｍｙｐｒｉｎｔｅｒまたはｂｌａｎｋであり、ＭＯＤＥの有効な値はｂｌａｎｋである。これらの２つの関係は、一緒になって、ユーザとプリンタとをインターフェースするソフトウェアは、優先度がイミーディエトの場合にローカル・プリンタを使用することができ、優先度がデファードの場合に、カラー・プリンタ、および、６００ｄｐｉモードを使用できるという要件を強制していることをチェックしている。ユーザは、フィールドおよび値の間の関係を指定したら、さらに、テストを望むフィールド間の相互作用の程度も指定する。相互作用は、いかなるｎの組合せ（例えば、ペア(pair-wise)、トリプル(triples)、徹底的など）としても、指定することができる。例えば、ペアの組合せとは、２個のフィールドｆ₁とｆ₂に対して、および、値、ｆ₁に対するｖ₁とｆ₂に対するｖ₂の正当な値に対して、ｆ₁ が値ｖ₁をとり、かつ、ｆ₂が値ｖ₂をとるテスト・ケースがいくつか存在することを意味する。関係１を例として使用すると、正当な値のペアの組合せのテストでは、図６に示すテスト・ケース６１という結果となる。徹底的なテストでは、１２個のテスト・ケースを必要とする。関係２については、徹底的なテストでもペアのテストでも同様に、図６に示す２つのテスト・ケース６２となる。従って、両関係についての徹底的なテストでは、１４個のテスト・ケースを必要とする一方、ペアのテストでは、合計８個のテスト・ケースを必要とする。図６に示す関係１についての６つのテスト・ケース６１は、テスト・ケース生成プロセス１４において実現された、本テスト・ケース表を生成する手続を使用して生成されたものである。このプロセスでは、既知の決定論アルゴリズム(det erministic algorithms)に基づく決定論手続の新規な集合を、我々が開発したランダム・アルゴリズム(random algorithm)に基づくランダム手続とともに使用している。我々が具現化したプロセス１４では、まず、決定論手続を使用して、表の生成を試みる。もし、フィールドの個数および相互作用が決定論アプローチに不向きであるために、決定論手続を直接使用できない場合は、関係を下位部分(s ub-parts)に分解して、決定論手続を使用したテスト・ケースの生成ができるようにする。プロセス１４では、下位部分について生成したテスト・ケースを、本ランダム手続におけるシード・テスト・ケース(seed test cases)として使用し、当該関係についてのテスト・ケース表の生成を完成させる。決定論手続本決定論プロセスにおける第１のステップは、関係を調べ、フィールド値の個数の最も大きいフィールドのグループ、または、フィールド値の個数が同じであるフィールドのグループのうち最大のものを決定することである。そして、次のステップは、このフィールドのグループを調べ、決定論アルゴリズムを使用してテスト・ケース表が作成できるか否かを調べることである。本実施形態においては、決定論アルゴリズムは、本射影平面手続、本一般的積規則手続の適用、または、フィールド値のすべての組合せの単なる徹底列挙(exhaustive enumeration) のいずれかである。もし、フィールド値の個数が最大であるフィールドが１個しか存在しない場合は、本決定論手続では、単に、当該技術においてよく知られた徹底列挙法を使用して、フィールド値の個数が最大であるフィールドの選択された部分集合について、すべてのｎ通りの(n-way)組合せを生成する。そして、これらのテスト・ケースは、共通の値を有するフィールドの個数が最大であるフィールドに関する関係の部分集合から、本射影平面または積規則手続を用いて生成されたテスト・ケースと比較される。このフィールドの部分集合を使用して、ランダム・アルゴリズムをシード(seed)し、ランダム・アルゴリズムを使用して、残りのフィールドの値を埋めて表を完成させる。本一般化された射影平面手続が使用されるのは、値の個数が固定された素数のベキ乗(fixed prime power)ｑであり、かつ、フィールド数がｑ＋１である場合である。当該技術において知られている古典的な射影平面構成(projective plan e construction）は、射影平面幾何学(the geometry of the projective plane) に基づくものである（Hall Jr.，M.，Combinatorial Theory，Wiley Interscien ce，New York，1986を見よ）。それは、ペアの相互作用についての実験計画に使用されてきたものである。一般化された射影平面構成により、ｑⁿ個のテスト・ケース表が与えられる。ここで、ｑはフィールド値の個数であり、ｎは相互作用の程度であり、ｎ≦ｑ＋１である。本一般化された射影平面手続では、ｎ通りのカバレッジ(coverage)を、以下のようにして生成する。フィールド値の個数がｑ個のｎ通りの相互作用をカバーするために必要なテスト・ケースの個数は、ｑⁿ個である。本手続では、（０，....，０）を最初とし、（ｎ−１，....，ｎ−１）を最後とする（α₁，....，α_n）という形で、ｎ通りの組合せの数を列挙する。そして、本手続では、ｆをフィールドの個数として、（ａ₁，....ａ_f）という形でテスト・ケースを決定する。λを０からｑベル付けされたテスト・ケースのフィールドλの値である。もし、ｆ＝ｑ＋１であれば、ａ_fの値はα_nである。フィールドｑ＋１を「無限遠直線」（"line at i nfinity"）と呼ぶ。ｑが素数ではないが、素数のベキ乗である場合は、１からｑまでの数と、ｑ要素を有する有限フィールド(finite field)との間で照合が必要である。本手続を関係に適用した例として、図３に示すようなフィールドを４個有し、それぞれのフィールドが３個の値を有する関係３０を考える。さらに、ユーザは、フィールドのペアの組合せにつき、テスト・ケースの生成を望んでいるものとして考える。本手続では、列３５に表すように、生成されるペアの組合せの個数に従って、テスト・ケースに番号をつける。各フィールドの値が３レベルの場合は、生成されるペアの組合せ（ｎ＝２）の個数は、９（３²）個である。従って、ペアの相互作用についての（ａ₁，ａ₂，ａ₃，ａ₄）という形をした９個のテスト・ケースのうちの第１個目を生成するために、我々は、公式３６の第１の値であり、λは、フィールドの数を表すベクトル（１，....，ｑ）からのフィールドの位置３７を表す数である。それゆえ、ａ₁の値は、フィールド１（λ＝０）においてα₁掛けるλ^1-1足すα₂掛けるλ^2-1で、３８に示すように０となる。ａ₂の値は、フィールド２（λ＝１）においてα₁掛けるλ^1-1足す α₂掛けるλ^2-1で、３９に示すように、これも０となる。このプロセスを、９個の各テスト・ケースの各ａ_iにつき繰り返す。その結果得られる表が、図３に示す９個のテスト・ケース表３４である。一見して、表３４が、関係３０とどのように関係しているかは、明らかではないかもしれない。表３４において、各列３３はフィールドを表し、各列中の各セルの中の各数はフィールド値を表す。例えば、（０，１）とラベル付けされた第４のテスト・ケース４０に注目すると、列ａ₁の下の０は、フィールド１の第１のフィールド値を示し、列ａ₃の下の２は、フィールド３の第３のフィールド値を示す。従って、表３０のである。射影平面アルゴリズムを直接適用できるのは、フィールド値の個数がｑ（素数または素数のベキ乗）個であり、かつ、フィールドの個数がｑ＋１個以下である場合のみである。（値の個数が素数のベキ乗に近い場合も効果的である。例えば、１１に近い１０の場合である。）関係が射影平面構成に簡単に適合しないことは、しばしばある。そのような状況において、本テスト・ケース列挙プロセスでは、関係を部分的な関係に分解し、射影平面手続を使用し、または、それが十分小さい場合は徹底列挙により、部分的な関係についてのテスト・ケースを決定論的に生成できるか否かを決定する。もしそうであれば、部分的な関係は、積規則を使用して結合される。積規則を直接適用できるのは、各フィールドが同じ個数のフィールド値を有し、かつ、フィールドの相互作用の程度がペアである場合のみである。例えば、図４に示すような９個のフィールドを有し、各フィールドが２個のフィールド値を有する関係４３を考える。本手続では、本射影平面アルゴリズムを適用できる関係の部分集合４４をとり、その部分集合のテスト・ケースを生成する。この例においては、各フィールドが２個のフィールド値を有する３個のフィールドについてのペアのカバレッジについて、関係４４に対し４つのテスト・ケース４５が生成される。本積規則では、９個のフィールドについての８個のテスト・ケース表４６を生成する。これらのテスト・ケース４６は、４個のテスト・ケース４５自身を結合した、それらのテスト・ケースの積である。それを実行するプロセスは、第１の表の各要素を、第２の表のフィールドの個数だけ繰り返し、そして、第２の表のフィールドの各一連の要素を、第１の表のフィールドの個数だけ繰り返すことである。そして、本プロセスでは、得られたテスト・ケース表に重複がないかを調べ、冗長なテスト・ケースをすべて除去する。上記の本例においては、第５のテスト・ケース４２が、第１のテスト・ケース４１と重複するので、除去される。本積規則の実現は、以下のように一般化することができる。ＳおよびＴのそれぞれを、各フィールドの値の個数が同じであるテスト・ケースの集合とする。フィールドの個数は任意である。例えば、Ｓはｍ個のフィールドを有し、Ｔはｒ個のフィールドを有するものとする。Ｓのテスト・ケースは、一般に、（ｓ₁，... .，ｓ_m）と書ける。Ｔのテスト・ケースは、一般に、（ｔ₁，....，ｔ_r）と書ける。ｍ＊ｒ個のフィールドのためのテスト・ケースの積は、（ｓ₁，....ｓ₁，ｓ₂ ，....，ｓ₂，．....ｓ_m，....ｓ_m）で各ｓ_iをｒ回繰り返したもの、および、（ｔ₁，....，ｔ_r，．．....，ｔ₁，....，ｔ_r，）で各テスト・ケース（ｔ₁，. ...，ｔ_r）をｍ回繰り返したものという形となる。縮小積規則という他のアプローチを選択して、適用することができる状況もある。その状況とは、射影平面アプローチにより生成されたテスト集合Ｔ、および、Ｔと同じ個数のフィールド値を有し、フィールドの個数は任意であるテスト集合Ｓが存在する状況である。縮小積規則によるアプローチでは、テスト・ケース表における最後のフィールドの値を削除し、さらに、すべての要素の値が同じであるテスト・ケースを削除することにより、Ｔを縮小する。そして、本積規則を使用して、Ｔ′とＳを結合する。得られたテスト・ケースのうち、Ｓから得られたテスト・ケースに対し、０により構成された１列を付加し、Ｔ′から得られた各テスト・ケースに対し、上記の１列の削除の際に、Ｔから削除した要素の値を付加する。例えば、図５に示す表５０をＴとする。表５０は、本射影平面アルゴリズムにより、４個のフィールドおよび３個のフィールド値を有する関係について生成されたテスト・ケース表である。もし、本目的が、フィールドが１６個であり、各フィールドのフィールド値が３個であり、かつ、相互作用がペアである場合のテスト・ケース表の生成であれば、本プロセスでは、積規則を使用して、１６個のフィールドについての１７個のテスト・ケースを有する表を生成する。本縮小積規則を使用すると、図５に示すように、１３個のフィールド５４についての１５個のテスト・ケース５３を有する表５１が生成される。かかるテスト・ケース表の生成は、表５０について、最後の列５５を削除し、さらに、残りの各値が同じであるから、最初の３行５６を削除して、修正することにより行う。そして、修正された表５０について、本積規則を使用して、もとの表５０と結合し、１５個のテスト・ケース表５１を生成する。ランダム・プロセス関係についての完全なテスト・ケース表を生成するために決定論手続を使用できない場合は、テスト・ケース表を完成させるために本ランダム手続を使用する。新たな各テスト・ケースに対し、本ランダム手続では、下記の局所貪欲アルゴリズム(locally greedy algorithm)を使用して、テスト・ケース候補の集合を生成することから始める。このテスト・ケース候補の集合が与えられると、本アルゴリズムでは、評価関数を使用して、各テスト・ケース候補に点数をつけ、次のテスト・ケースを選び出す。表に付加されるテスト・ケースは、最高点のテスト・ケース候補である。２つの基本的な評価関数は、「枝貪欲」("edge-greedy") 評価関数、および、「均衡貪欲」("balanced greedy")評価関数である。本局所貪欲ランダム法を構成する基本的なステップは、以下の通りである。１．最も優先度の高い、（ｎ−１）個の組（ｎ＝相互作用の程度）を、ランダムに選択する。例えば、ペアのカバレッジの場合は、これは、カバーされないペアの最大の個数に属する１個の（フィールド、値）となる。２．残りのフィールドに対する順序をランダムに選択する。その順序で働き、新たなフィールドのそれぞれについて、ユーザが実行のために選択した評価関数に関し、最高点を与えるフィールド値を見つける。それらの中からランダムに１個を選択し、次のフィールドに進む。例えば、関係１を使用すると、もし、フィールドＤＥＳＴ、および、ＭＯＤＥについて、それぞれｃｏｌｏｒ、および、６００ｄｐｉが見つかっているとすると、フィールドＰＲＩの各値について、評価関数の１つを使用して、ＤＥＳＴについて値ｃｏｌｏｒ、ＭＯＤＥについて値６００ｄｐｉ、ＰＲＩについて値Ｄをとるものを含むテスト集合に対し、点数が付与される。３．それぞれの要素について値を選択した後、生成されたテスト・ケースがすべての制約に適合することを確認する。もし、得られたテスト・ケースが制約に反している場合は、特定の値と関連のあるようにフィールド・ラベルを交換(p ermute)して、得られたテスト・ケースが制約に反するか否かを調べる。もし、これがうまくいかない場合は、そのテスト・ケースを捨てて、別のテスト・ケースを生成する。もし、生成されたテスト・ケースのいずれもが制約を満たさない場合は、本アルゴリズムでは、徹底サーチにより、テスト・ケースを見つける。もし、制約が、多くの割合のテスト・ケースを排除するものでなければ、生成されたテスト・ケース候補の１つがその制約を満たす可能性は高い。他の制約は、それに反する部分的なテスト・ケースに対し、評価関数が低い点数を与えるようにすることにより、満たすことができる。本枝貪欲アルゴリズムに従って、サンプルのテスト・ケースを評価することにより、各テスト・ケースによりカバーされる新たなｎ個の組の個数についての局所的な最適化が完成する。すなわち、部分的なテスト・ケースに付与される評価は、その部分的なテスト・ケースに含まれる、それまでにまだカバーされていないｎ個の組の個数である。例えば、ペアのカバレッジにおいて、テスト・ケース｛（ＤＥＳＴ，ｃｏｌｏｒ），（ＭＯＤＥ，６００ｄｐｉ），（ＰＲＩ，Ｄ）｝の評価は、それまでに選択されたテスト・ケースが、このテスト・ケースによってカバーされる２個のペア｛（ＤＥＳＴ，ｃｏｌｏｒ），（ＭＯＤＥ，６００ｄｐｉ）｝，｛（ＭＯＤＥ，６００ｄｐｉ）、（ＰＲＩ，Ｄ）｝をカバーしていない場合は、２点である。もう１つの評価関数は、本均衡貪欲アルゴリズムである。ペアのカバレッジについて、均衡貪欲アルゴリズムでは、グラフ空間のポテンシャル関数に対し、最急降下法(steepest descent)を使用する。頂点（ｆ，１）を有するグラフを考える。ここで、ｆはフィールドであり、１は値である。もし、ペア（ｆ，１），（ｆ′，１′）がカバーされていない場合は、グラフは、（ｆ，１）と（ｆ′，１′）との間に辺を有する。次に、各頂点（ｆ，１）にタプル(tuple)（ｎ₁，.. ..，ｎ_v）を割り当てる。ここで、ｖはフィールド数であり、ｎ_iは考えられるすべてのカバーされていないペア｛（ｆ，１），（ｉ，１′）｝の個数である。ポテンシャル関数は、タプル中の要素の２乗の和である。本ランダム法の別の側面は、テスト・ケース・ブロックを生成するために、循環ブロック法(cyclical block methods)をも取り入れていることである。テスト・ケースの循環ブロック（ｍｏｄｌ）は、テスト・ケース（ａ₁，....，ａ_f）をヘッダとする、１≦ｉ≦ｌについてのテスト・ケース（ａ₁＋ｉ，....，ａ_f＋ｉ）ｍｏｄｌの集合である（任意のグループＧについて、Ｇブロックとは、Ｇ中のｇについてのテスト・ケース（ａ₁ｇ，．....，ａ_fｇ）の集合である）。このブロック・モードにおいては、ランダムに生成したテスト・ケースを、ヘッダのテスト・ケースとして使用し、循環法を使用してテスト・ケース・ブロックを生成する。ブロック・モードで動作しているときは、本プロセスは、フィールド数に応じて、循環手続を限られた回数だけ使用する。その限度は、ユーザが定義可能なシステム・パラメータである。もし、テスト・ケースの集合がブロック構造を有する場合は、テスト・ケース数を増やすことなく、フィールドを付加することができる。表５０に示す「無限遠直線」と同様に、付加されたフィールドには、テスト・ケース・ブロックごとに、異なった値が割り当てられる。さらに、ユーザは、本システムにより許されないテスト・ケースとして扱われる制約を指定することもできる。ユーザは、許されないテスト・ケースの集合を、ワイルド・カード(wild cards)＊、または、明確な値を用いて指定することができる。テスト・ケースは、他の制約によっても、正当な関係から除外される。例えば、ユーザが起こるはずのないテスト・ケースを特定した場合は、そのテスト・ケースはテスト集合から除外される。各関係につき、特定された相互作用についての適切な個数のテスト・ケースが生成されると、本発明の方法では、ユーザに対し、相互作用のないフィールドを特定するように要求する。すなわち、どのクロス正当性規則(cross-validation rule)にも含まれないフィールドである。例えば、図６に示す表６０は、相互作用のない２個のフィールドを表す。ＷＣは、値ＷＣ３８をとるワイヤ・センタ(w ire center)を表し、ＨＥＡＤは、２個の値ＴＯＴＡＬ１、および、ＴＯＴＡＬ２をとり得る。テスト・ケース生成手続の適用例図８に示す、１５個のフィールドを有し、いくつかのフィールド８２は３個のフィールド値８２を有し、いくつかのフィールド８３は２個のフィールド値を有する関係８１について考える。本プロセス１４では、フィールド値の個数が最も大きいフィールドの個数を決定する。この例においては、３個のフィールド値を有するフィールドが１０個存在する。フィールドは３個のフィールド値を有し、かつ、３という数字は素数であるので、本プロセス１４では、射影平面手続の適用を調べ、１０個のフィールド８２についてのテスト・ケース表を生成する。本プロセス１４では、３個の値を有する４個のフィールドについて、射影平面アルゴリズムを使用し、その結果、図５の表５０に表すテスト・ケース表を得る。次に、プロセスでは、テスト・ケース表５０に本積規則を適用する。本プロセスでは、縮小積規則を適用することで１３個のフィールドをカバーすると認識するが、この例では１０個のフィールドをカバーすることのみを必要とする。しかしながら、プロセス１４では、余分な３個のフィールドを使用して、２個のフィールド値を有するフィールド８３のうち２個のフィールドについて列挙する。表への入力は、関数ＭＯＤ［２］により評価され変更される。これを図８に示す３列８６の中に表す。これらの３列８６を、表５１のテスト・ケース表の３列５７と比較すれば、この変更は容易に分る。そして、表８１を使用して、ランダム・アルゴリズムをシードし、残りの２列８７を埋めることにより、表を完成させる。テスト・ケース併合手続本発明した方法の別の側面は、本発明のテスト・スクリプト併合プロセス２０が、プロセス１４により生成されたすべての表に対し動作するプロセスである。上で定義した関係を使用すると、本テスト・ケース併合プロセス２０では、以下の規則に従って、各関係について生成された個々のテスト・ケース表を結合する。１．２つ以上の関係が共通のフィールドを有する場合は、個々の関係について生成されたテスト集合の合併(union)を、結合されたテスト集合とする。２．共通のフィールドを有しない関係については、小さい方のテスト集合を大きい方のテスト集合にたたみ込むこと(folding)により、結合されたテスト集合を生成する。図６に示す関係１（表６１）、関係２（表６２）、および、関係３（表６３）について生成されたテスト・ケースに対し、これらの規則を適用すると、以下のようになる。関係１と関係２は、共通のフィールドを有するので、結合され、図７の表７１に示すテスト・ケースの合併が生成される。本第２の規則を使用して、関係３６３をテスト・ケース７１と結合すると、統合された８個のテスト・ケース表７２が生成される。付加機能本発明は、関係に含まれるフィールドについて、１個又は２個以上の正当でない値を特定することにより、テストの対象であるシステムの正当ではない値に対する反応をテストする機能を提供する。値は、ある関係の中でのみ正当ではないものであり、他の関係の中では正当なものかもしれないということを記憶に留めておくことが重要である。スクリーン・テストのアプリケーションにおいては、１個の正当ではない値を含むテスト・ケースは、適切なエラー・メッセージを生成するべきである。本システムでは、エラー・メッセージの原因を特定できることを保証するために、１個のテスト・ケースにつき、１個の正当ではない値を指定するのみである。あるシステムのｎ通りの誤りに対する反応は、ｎ通りの関係において、それぞれの誤った入力を有効な値とすることにより、テストすることができる。多数の誤りに対するシステムの反応は、ｎを誤りの個数とした場合、ｎ通りの相互作用を有する関係を使用することにより、テストすることができる。また、ユーザは、それぞれの関係について、シード・テスト・ケースを特定することもできる。シードされたケースは、テスト・ケースを必要なもの、又は、許されないものとすることができる。必要なシード・テスト・ケースは、最終的なテスト集合の中に含まれることが保証され、一方、許されないシード・テスト・ケースは、最終的なテスト集合の中に現れないことが保証される。許されないシード・テスト・ケースは制約として扱われ、一方、必要なシード・テスト・ケースは、ランダム貪欲アルゴリズムのシードとして使用される。いくつかの相互作用は、必要なシード・テスト・ケースによりすでにカバーされているので、システムは、より少ない数の追加のテスト・ケースを生成する。また、ユーザは、別の制約を定義することもできる。その制約とは、フィールド間の関係が、特有なフィールドの組合せであるもの、または、特有なフィールド間の値の順序（例えば、増加または減少）であるものについての、必要な組合せ、または、許されない組合せである。これらの制約は、本システムおよび方法において、ランダム・アルゴリズムのシードとして使用される。本発明の方法の別の側面は、フィールドのグループを単一の仮想フィールド(v irtual field)（以下「複合(compounds)」という）として定義し、本方法の処理の対象である関係を定義する際に、これらの複合物を他のフィールドとともに使用することである。処理する際には、複合物は、単一のフィールドと同様に扱われる。複合物を含むこれらの関係は、データベース１８に格納され、システムでは、関係に組み込まれた単一のフィールドとして使用され、本発明のプロセスでは、単一のフィールドとして扱われる。本発明のシステムの別の側面は、スクリーンを用いたソフトウェア・システムに適用し、関係をソフトウェア開発の要件として定義することである。そして、これらの関係を保存し、開発されたソフトウェアのテストに使用して、システムが定義された要件に従って動作することを確かめることができる。最後に、本システムおよび方法は、ここでは、ソフトウェアに対する適用の観点から説明されているが、本発明は、相互作用のある複数の構成要素または要素が存在し、かつ、すべての相互作用についてテストすることができない、あらゆるシステムまたはプロセス（例えば、製造、ハードウェアの相互作用など）に対し、容易に適用できるものである。各構成要素は、上記のフィールドに類似するものであり、また、各構成要素は、本フィールド値に類似する特性または機能を有するものである。本システムおよび方法を使用することにより、相互作用のあるこれらの構成要素の組合せを列挙したテスト・ケース表を生成することができる。それゆえ、テスト・ケースの自動生成を提供する本システムおよび方法は、開示し、および、例示された特定の形式に限定されるものではなく、添付の請求の範囲にのみ限定された他の実施形態をとることもできることが理解される。

【手続補正書】特許法第１８４条の８【提出日】１９９６年１１月５日【補正内容】請求の範囲１．複数の値をとり得る複数のデータ・フィールドを有するソフトウェアを備えたソフトウェア・システムをテストするための最小数のテスト・ケースを生成する方法において、データベースにすべてのフィールド、フィールド値、および、ユーザが定義した制約を入力するステップと、関係あるフィールド値を含む複数の表を定義するステップと、ユーザが特定した値をフィールド間の相互作用の程度に使用して、前記フィールド値の表のそれぞれに対しテスト・ケース表を生成するステップと、相互作用のないフィールド値の複数の表を定義するステップと、前記テスト・ケース表を単一のテスト・ケース表に併合するステップと、前記相互作用のないフィールドの表を前記単一のテスト・ケース表と併合するステップとを備えたことを特徴とする方法。２．請求項１に記載の方法において、前記テスト・ケース表を併合するステップは、前記関係あるフィールドを含む表の２つ以上が共通のフィールドを有する場合は、前記表の合併を生成するステップと、任意の２つの前記表について共通のフィールドが１個もない場合は、小さい方のテスト・ケース表を大きい方のテスト・ケース表にたたみ込むステップとを備えることを特徴とする方法。３．請求項２に記載の方法において、前記テスト・ケース表を生成するステップは、決定論アルゴリズムを使用して前記表を生成することを試みるステップと、前記決定論アルゴリズムを使用してテスト・ケース表を生成できない場合は、ランダム・アルゴリズムを使用して前記表を生成するステップとを備えることを特徴とする方法。４．請求項３に記載の方法において、前記決定論アルゴリズムは、フィールド値の個数が最大であるフィールドのフィールド値の個数が素数のベキ乗であり、かつ、前記フィールドの個数が前記素数のベキ乗に１を加えた数よりも小さい数である場合は、射影平面アルゴリズムであることを特徴とする方法。５．請求項４に記載の方法において、前記決定論アルゴリズムは、さらに、積規則アルゴリズムを含むことを特徴とする方法。６．請求項５に記載の方法において、前記ランダム・アルゴリズムは、表のフィールド総数よりも少ないフィールド数による部分集合で構成され、かつ、カバーされていない組合せが最大数である基準を満たす１つのテスト・ケースをランダムに選択するステップと、前記部分集合で使用されていない残りのフィールドをランダムな順序で選択するステップと、前記選択された残りのフィールドのそれぞれについて、評価関数を使用して評価するときに最高点となるフィールド値を見つけるステップと、生成されたテスト・ケースが、ユーザが指定したすべての制約を満たすことを確認するステップとを備えることを特徴とする方法。７．請求項６に記載の方法において、前記評価関数は、新しいｎ個の組のカバーする組合せの個数を局所的に最適化することを特徴とする方法。８．請求項６に記載の方法において、前記評価関数は、グラフ平面上で最急降下関数を使用する関数であることを特徴とする方法。９．請求項１に記載の方法において、複数の表を定義するステップは、ユーザが生成したスクリーンを取り込むことによって生成されることを特徴とする方法。１０．ソフトウェア・システムをテストするための最小数のテスト・ケースを自動生成するシステムにおいて、ユーザが、前記スクリーン上のフィールドに値を入力し、フィールド間の複数の関係およびユーザが定義する制約を定義することができるためのスクリーン表示を有する表示端末と、前記複数の関係を格納するデータベースと、前記関係内の相互作用のあるフィールドの個数を特定するためにユーザが指定した値に基づき、前記関係のそれぞれに対しテスト・ケースの集合を生成する第１のコンピュータ手段と、相互作用のある値を有する前記複数の関係のそれぞれに対するテスト・ケースを、相互作用のない値を有する前記関係と結合し、単一の併合されたテスト・ケース表を提供する第２のコンピュータ手段と、前記併合されたテスト・ケース表をデータベースに書き込む出力手段とを備えたことを特徴とするシステム。１１．請求項１０に記載のシステムにおいて、さらに、前記出力手段から前記併合されたテスト・ケース表を受け取り、実行によりソフトウェアを自動的にテストできるテスト・スクリプトを生成するテスト・スクリプト生成手段を備えることを特徴とするシステム。１２．請求項１０に記載のシステムにおいて、さらに、スクリーン上でのユーザの活動を取り込み、関係データベースを生成する取り込み手段を備えることを特徴とするシステム。１３．請求項１０に記載のシステムにおいて、前記テスト・ケースの集合を生成する第１のコンピュータ手段は、関係からテスト・ケース表を生成する決定論手段と、前記決定論手段が適用できない場合に、関係からテスト・ケース表を生成するランダム手段とを備えることを特徴とするシステム。１４．データ要素およびデータ要素値から構成され、それらに作用するコンピュータ・システムをテストするためのテスト・ケース表を自動的に生成する方法において、前記方法を実行するコンピュータは、データ要素間の関係、および、ユーザが特定した制約を識別するステップと、前記識別されたデータ要素間の関係、および、ユーザが指定した前記関係の値間のｎタプルの組合せに基づく前記識別された関係に基づき、前記データ要素のそれぞれに対しテスト・ケース表を決定するステップであって、前記決定するステップは、決定論手続を使用して前記テスト・ケース表を決定するステップと、前記決定論手続を使用して前記表を生成できない場合に、ランダム手続を使用して前記テスト・ケース表を決定するステップとを備え、前記表が２個以上の共通のデータ要素を有する場合は、テスト・ケース表の合併を生成することにより、また、テスト・ケースが共通のフィールドを有しない場合は、２つの表のうち小さい方の表を大きい方の表にたたみ込むことにより、前記テスト・ケース表を単一の生成されたテスト・ケースの表に併合するステップとを備えることを特徴とする方法。１５．請求項１４に記載の方法において、前記決定論手続は、射影平面アルゴリズムを取り入れていることを特徴とする方法。１６．請求項１５に記載の方法において、前記ランダム手続は、さらに、表のデータ要素総数よりも少ないデータ要素数による部分集合で構成されるテスト・ケースであって、カバーされていない組合せが最大数である基準を満たすテスト・ケースをランダムに１個選択するステップと、前記部分集合で使用されていない残りのデータ要素をランダムな順序で選択するステップと、前記選択された残りのデータ要素のそれぞれについて、評価関数を使用して評価する場合に最高点となるデータ要素値を見つけるステップと、最高点となるデータ要素値を有する前記テスト・ケースを、上記生成されたテスト・ケースの表に含まれる生成されたテスト・ケースとして選択するステップと、前記生成されたテスト・ケースが、ユーザが指定したすべての制約を満たすことを確認するステップとを備えることを特徴とする方法。１７．請求項１６に記載の方法において、前記評価関数は、局所最適値を決定することを特徴とする方法。１８．請求項１６に記載の方法において、前記評価関数は、グラフ空間のポテンシャル関数についての最急降下法に基づき、値を決定することを特徴とする方法。１９．各構成要素が複数の特性を有する相互作用のあるプロセスの構成要素、または、システムの構成要素についてのテストの組合せを表すテスト・ケース表を自動的に生成する方法において、前記方法を実行するコンピュータは、構成要素のｎタプルの組合せを特定することにより、前記構成要素間の関係を識別するステップと、前記複数の特性に関してユーザが定義したすべての制約を識別するステップと、決定論手続を使用して、前記識別された構成要素間の関係のそれぞれに対し、特性値に関するテスト・ケース表を決定するステップと、前記決定論手続を使用して前記表を生成できない場合に、ランダム手続を使用して前記テスト・ケース表を決定するステップと、前記表が２個以上の共通の構成要素を有する場合は、テスト・ケース表の合併を生成することにより、また、テスト・ケースが共通の構成要素を有しない場合は、小さい方の表を大きい方の表にたたみ込むことにより、前記テスト・ケース表を単一の生成されたテスト・ケースの表に併合するステップとを備えることを特徴とする方法。２０．請求項１９に記載の方法において、前記決定論手続は、射影平面アルゴリズムを取り入れていることを特徴とする方法。２１．請求項１９に記載の方法において、前記ランダム手続は、さらに、表の構成要素総数よりも少ない構成要素数による部分集合で構成されるテスト・ケースであって、カバーされていない組合せが最大数である基準を満たすテスト・ケースの一つをランダムに選択するステップと、前記部分集合で使用されていない残りの構成要素を、ランダムな順序で選択するステップと、前記選択された残りの構成要素のそれぞれについて、評価関数を使用して評価するときに最高点となる構成要素の特性を見つけるステップと、最高点となる構成要素値を有する前記テスト・ケースを、上記生成されたテスト・ケースの表に含まれる生成されたテスト・ケースとして選択するステップと、前記生成されたテスト・ケースが、ユーザが指定したすべての制約を満たすことを確認するステップとを備えることを特徴とする方法。

───────────────────────────────────────────────────── フロントページの続き (72)発明者ダラル，シドハーサ，ラマンラルアメリカ合衆国 08807 ニュージャージー州ブリッジウォーターカボットヒルロード 592 (72)発明者フレッドマン，マイケル，ローレンスアメリカ合衆国 08817 ニュージャージー州エディソンブルックフォールロード９ (72)発明者パットン，ガードナー，コンドアメリカ合衆国 08807 ニュージャージー州ブリッジウォータースタニーブルックドライブ 497

Claims

【特許請求の範囲】１．複数の値をとり得る複数のデータ・フィールドを有するソフトウェアを備えたソフトウェア・システムをテストするための最小数のテスト・ケースを生成する方法において、データ・ベースにすべてのフィールドおよびフィールド値を入力するステップと、関係あるフィールド値を含む複数の表を定義するステップと、フィールド間の相互作用の程度に対してユーザが特定した値を使用して、前記フィールド値の表のそれぞれに対してテスト・ケース表を生成するステップと、相互作用のないフィールド値の複数の表を定義するステップと、前記テスト・ケース表を単一のテスト・ケース表に併合するステップと、前記相互作用のないフィールドの表を前記単一のテスト・ケース表と併合するステップとを備えることを特徴とする方法。２．請求項１に記載の方法において、前記テスト・ケース表を併合するステップは、前記関係あるフィールドを含む表の２つ以上が共通のフィールドを有する場合は、前記表の合併を生成するステップと、共通のフィールドが１個も存在しない場合は、テスト・スクリプト表を最も大きいテスト・スクリプトの表にたたみ込むステップとを備えることを特徴とする方法。３．請求項２に記載の方法において、前記テスト・ケース表を生成するステップは、決定論アルゴリズムを使用して前記表を生成することを試みるステップと、前記決定論アルゴリズムにより解を生成できない場合は、ランダム・アルゴリズムを使用して前記表を生成するステップとを備えることを特徴とする方法。４．請求項３に記載の方法において、前記決定論アルゴリズムは、フィールド値の個数の最大値が素数のベキ乗であり、かつ、フィールドの個数が前記素数のベキ乗に１を加えた数よりも小さい数である場合は、射影平面アルゴリズムであることを特徴とする方法。５．請求項４に記載の方法において、前記決定論アルゴリズムは、既知の構成をシード・テスト・ケースとして使用する積規則アルゴリズムであることを特徴とする方法。６．請求項５に記載の方法において、前記ランダム・アルゴリズムは、カバーされていない組合せの最大数に属するテスト・ケースの１つをランダムに選択するステップと、残りのフィールドをランダムな順序で選択するステップと、選択された新たなフィールドのそれぞれについて、評価関数に対し最高点を与えるフィールド値を見つけるステップと、生成されたテスト・ケースが、ユーザが指定したすべての制約を満たすことを確認するステップとを備えることを特徴とする方法。７．請求項５に記載の方法において、前記評価関数は、新たに選択するｄ個の組の個数を局所的に最適化することを特徴とする方法。８．請求項５に記載の方法において、前記評価関数は、グラフ平面上で最急降下関数を使用する関数であることを特徴とする方法。９．請求項１に記載の方法において、データはスクリーンを通じて入力され、関係データベースが生成されることを特徴とする方法。１０．請求項１に記載の方法において、データは、ユーザが生成したスクリーンを取り込むコンピュータ・システムにより入力され、このスクリーン取り込み機能から関係データベースが生成されることを特徴とする方法。１１．ソフトウェア・システムをテストするための最小数のテスト・ケースを自動生成するシステムにおいて、スクリーン上のフィールドに値を入力し、フィールド間の複数の関係を定義するための表示端末と、前記複数の関係を格納するデータベースと、関係内の相互作用のあるフィールドの個数に関するユーザが特定した値に基づき、前記関係のそれぞれに対しテスト・ケースの集合を生成するコンピュータ手段と、前記複数の関係のそれぞれに対するテスト・ケースと、前記相互作用のない値の関係に対するテスト・ケースとを結合する第２のコンピュータ手段と、すべてのテスト・ケースを列挙する併合表をデータベースに書き込む出力手段とを備えたことを特徴とするシステム。１２．請求項１１に記載のシステムにおいて、さらに、前記出力手段から前記テスト・ケース表を受け取り、ソフトウェアを自動的にテストすることを実行できるテスト・スクリプトを生成するテスト・スクリプト生成手段を備えることを特徴とするシステム。１３．請求項１０に記載のシステムにおいて、さらに、スクリーン上でのユーザの行動を取り込み、フィールド、値、および、関係のデータベースを生成する取り込み手段を備えることを特徴とするシステム。１４．請求項１０に記載のシステムにおいて、前記テスト・ケースの集合を生成するコンピュータ手段は、関係からテスト・ケース表を計算する決定論的手段と、前記決定論的手段が適用できない場合に、関係からテスト・ケース表を生成するランダム手段とを備えることを特徴とするシステム。１５．データ要素およびデータ要素値から構成され、それらに作用するコンピュータ・システムをテストするためのテスト・ケース表を自動的に生成する方法において、前記方法を実行するコンピュータは、データ要素間の関係を識別するステップと、ユーザが指定した前記関係の値間のｎタプルの組合せに基づき、前記識別された関係のそれぞれに対しテスト・ケース表を決定するステップであって、前記決定するステップは、決定論手続を使用して前記テスト・ケース表を決定するステップと、前記決定論手続が解を生成できない場合に、ランダム手続を使用して前記テスト・ケース表を決定するステップとを備え、前記表が２個以上の共通のデータ要素を有する場合は、テスト・ケース表の合併を生成することにより、また、テスト・ケースが共通のフィールドを有しない場合は、小さい方の表を大きい方の表にたたみ込むことにより、前記テスト・ケース表を単一の表に併合するステップとを備えることを特徴とする方法。１６．請求項１５に記載の方法において、前記決定論手続は、射影平面アルゴリズムを取り入れることを特徴とする方法。１７．請求項１５に記載の方法において、前記ランダム手続は、さらに、カバーされていない組合せの最大数に属する１つのテスト・ケースをランダム選択するステップと、残りのデータ要素をランダムな順序で選択するステップと、選択された新たなデータ要素のそれぞれについて、評価関数に対し最高点を与えるデータ要素値を見つけるステップと、生成されたテスト・ケースが、ユーザが指定したすべての制約を満たすことを確認するステップとを備えることを特徴とする方法。１８．請求項１６に記載の方法において、前記評価関数は、局所最適値を決定することを特徴とする方法。１９．請求項１６に記載の方法において、前記評価関数は、グラフ空間のポテンシャル関数についての最急降下法に基づき値を決定することを特徴とする方法。２０．各構成要素が複数の特性を有する相互作用のあるプロセスの構成要素、または、システムの構成要素についてのテストの組合せを表すテスト・ケース表を自動的に生成する方法において、前記方法を実行するコンピュータは、構成要素間の関係を識別するステップと、ユーザが指定した前記関係内の前記構成要素のｎタプルの組合せに基づき、前記識別された関係のそれぞれに対し、特性値に関するテスト・ケース表を決定するステップであって、前記決定論のステップは、決定論手続を使用して前記テスト・ケース表を決定するステップと、前記決定論手続が解を生成できない場合に、ランダム手続を使用して前記テスト・ケース表を決定するステップとを備え、前記表が２個以上の共通のデータ要素を有する場合は、テスト・ケース表の合併を生成することにより、また、テスト・ケースが共通のフィールドを有しない場合は、小さい方の表を大きい方の表にたたみ込むことにより、前記テスト・ケース表を単一の表に併合するステップとを備えることを特徴とする方法。２１．請求項２０に記載の方法において、前記決定論手続は、射影平面アルゴリズムを取り入れることを特徴とする方法。２２．請求項２１に記載の方法において、前記ランダム手続は、さらに、カバーされていない組合せの最大数に属する一つのテスト・ケースをランダムに選択するステップと、残りの構成要素をランダムな順序で選択するステップと、選択された新たな構成要素のそれぞれについて、評価関数に対し最高点を与える構成要素の特性値を見つけるステップと、生成されたテスト・ケースが、ユーザが指定したすべての制約を満たすことを確認するステップとを備えることを特徴とする方法。２３．請求項２２に記載の方法において、前記評価関数は、局所最適値を決定することを特徴とする方法。２４．請求項２２に記載の方法において、前記評価関数は、グラフ空間のポテンシャル関数についての最急降下法に基づき、値を決定することを特徴とする方法。