JPH03290740A - テストデータ自動生成システム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、ソフトウェアのブラックボックステストに用
いるためのテストデータの作成技術に関するものである
。

〔従来技術〕

従来、ソフトウェアのブラックボックステストに用いる
テストデータは、人手で作成されてきた。

人手でテストデータを作成することにより生じる大きな
欠点は、考え間違いや考慮抜け、不要な冗長性が入りや
すいということである。特に、プログラム作成者自身が
テストを実施する場合にはこの現象は顕著である。この
ような人為的なミスをなくするために、入力データの様
々な組合せを計算機で作り出すことにより、数多くのテ
ストデータを自動的に生成する方式が提案されている。

〔発明が解決しようとする課題〕

しかしながら、従来のテストデータ自動生成の方式では
、入力データしか作成できないためにテスト結果の検証
に時間がかかったり、すでにテストが終っている項目で
あるにもかかわらず、それをテストするためのテストデ
ータも生成してしまうといった課題が残っている。

また、大規模なソフトウェアに対しその一部分をテスト
するための手法を特に用意していない。

本発明は、前記課題点を解決するためになされたもので
あり、その課題は、ソフトウェアのブラックボックステ
ストに用いるためのテストデータを自動的に能率良く作
成することが可能な技術を提供することにある。

本発明の前記ならびにその他の課題と新規な特徴は１本
明細書の記述及び添付図面によって明らかになるであろ
う。

〔課題を解決するための手段〕

前記原題を解決するために１本発明は、ソフトウェアの
ブラックボックステストに用いるためのテストデータを
自動的に生成するテストデータ自動生成システムであっ
て、推論装置を用いソフトウェアの仕様に対する形成的
記述から、テストデータ候補となるテスト入出力を生成
する手段と、そのとき生成されるテストデータ候補の大
きさや性質を制御する手段と、生成されたテストデータ
候補や既存テストデータの特徴を解析し、その特徴をデ
ータベースに登録する手段と、生成されたテストデータ
候補がデータベースに登録されていない特徴を有する場
合だけ、そのテストデータとして出力する手段を備えた
ことを最も主要な特徴とする。

〔作用〕

前述の手段によれば、推論装置を用いソフトウェアの仕
様の形式的記述からテストデータを生成する。このとき
、入力データだけでなく、それに対応する正しい出力デ
ータも生威し、次に、既存のテストデータでチエツクで
きていない項目だけをチエツクするデータを選んで生成
するために、チエツク済みのテスト項目を特徴データベ
ースに登録する。

次に、推論装置に対し、仕様を構成する個々の規則の組
合せ方を制御することにより、網羅的な組合せ、ランダ
ムな組合せ、そして人間の指示による組合せが可能とな
る。また、生成されるテストデータの大きさの制限や、
部分仕様に対するテストデータを生成することができる
。

以下１本発明の一実施例を図面を用いて具体的に説明す
る。

〔実施例１〕 第１図は、本発明の実施例工のテストデータ生成システ
ムの概略構成を示すブロック図、第２図及び第３図は、
加算プログラム用テストデータの生成に関する説明図で
あり、第２図は仕様記述例を示す図、第３図は第２図の
仕様から生成されたテストデータを示す図である。

第１図に示すように、本実施例１のテストデータ生成シ
ステム１００は、テストデータ生成器１０１、テストデ
ータ解析器１０２．特徴データベースファイル１０３で
構成されている。

第１図において、点線矢印は既存テストデータ解析の情
報の流れを示し、実線矢印はテストデータの情報の流れ
を示す。串印は特徴データベースファイル１０３に登録
されていない特徴をもつものである。

前記テストデータ生成器１０１は、テストデータ生成の
前準備として、ソフトウェアの仕様をその実現とは独立
に、規則の集合として形式的に記述しておく。このとき
期待される出力データを規定する規則も併せ記述する。

これらの規則を推論装置（図示していない）を用いて組
合わせることにより、規則を満たす入力系列が生成され
る。これがテストデータとなる。また、テストの目的に
応し、テストデータの大きさや各規則の適用回数の制限
値を設定しておく。

前記特徴データベースｌ○３に、それまでに生成された
テストデータのもつ特徴をすべて登録しておき、その後
の生成では、仮に生成されたテストデータの特徴を抽出
し、それが特徴データベース内に格納されている特徴と
同一の特徴をもたないことをテストデータ解析器１０２
で確認した後テストデータとして正式に生成・出力する
ようになっている。

また、新たに生成したテストデータが持つ特徴は、特徴
データベース１０３に追加登録する。

−射的に、以下に示す手順でテストデータ集合の生成を
行う。

（１）テスト済のテストデータがある場合ステップ１：
既存のテストデータを解析し、構文、その特徴を抽出す
る。

ステップ２：前もって抽出された以外の特徴をもつテス
トデータ集合を生成する。

（２）既存のテストデータがない場合 すべての特徴をテストするテストデータ集合を生成する
。

前記（２）は、前記（１）のステップ２で前もって抽出
された特徴が存在しない場合に相当する。

次に、具体的な例を用いて本実施例１の処理動作を説明
する。

〔加算プログラムの場合〕

整数の１か２を何回でも加算できるという仕様をもつプ
ログラムのテストデータを生成する。このプログラムの
仕様記述を第２図に示す、この例では、推論装置として
論理プログラミング言語であるＰ　ｒｏｌｏｇの処理系
を、仕様記述言語としてＰＰ　ｒｏｌｏｇで直接実行す
ることのできるＤＣＧ（Ｄｅｆｉｎｉｔｅ　Ｃ１ａｕｓ
ｅ　Ｇｒａｍｍａｒ）を用いている。ＤＣＧによる仕様
記述においては、規則の区切りは′で表される。

この仕様記述を推論装置であるＰ　ｒｏｌｏｇ処理系上
に構築されたテストデータをテストデータ生成器１０１
に取り込み、各規則を組み合わせてテストデータを生成
する。テストデータ生成器１０１の動作は、ｐ　ｒｏｌ
ｏｇのもつパターンマツチングとバックトラックの機能
を利用している。Ｐ　ｒｏｌｏｇまたはＤＣＧで記述さ
れた仕様は、任意の入力データが記述した仕様に合って
いるかどうかをチエツクするチエッカとして動作する。

このとき、パターンマツチング機能により、この逆、す
なわち、仕様チエッカに合格する入力データを生成する
こともできる。

さらに、バックトラック機能により、仕様チエッカに合
格する入力データを次々に生成することができる。つま
り、この例では、ＤＣＧ記述中の［］でくくられた文字
で構成された加算式が入力データとして、また、その入
力データに対応した加算結果が出力データとして得られ
る。

このとき、規則適用回数（ある入力データを生成すると
きに組合わされた規則ののべ個数）を制限することでテ
ストデータの大きさ、すなわち。

最大演算回数を制限することができる。

また、各規則の適用回数にも制限を与えることができ、
例えば、最終行の規則の最大適用回数をＩＩ　Ｏ＋＋と
指示すれば、整数″１”だけの加算をテストするための
テストデータを生成することができる。

規則を組合わせる際、この例におけるｒｅｓｔａｄｄｅ
ｒやｃｏｎｓｔのように複数候補が存在する場合がある
。

このとき、候補の選択について、順次行う人間に問い合
わせるという３つの方法を適用することができる。

規則適用回数を５、組合わせ方法は順次行うとした場合
の生成例を第３図に示す。−〉の左辺は入力データを右
辺は出力データを表す。

〔実施例２〕 本発明の実施例２では、特徴データベース１０３を利用
したテストデータの生成例として、Ｃコンパイラの言語
仕様準拠性をテストする場合を考える。

この場合、テストデータはＣプログラムということにな
る。また、コンパイラのテストにおいては、式の構造パ
ターン、変数の型の種類、制御構造の種類など、人手で
テストを行う場合のテスト項目として考慮される要素を
特徴とみなす。

Ｃ言語仕様は、構文側と意味則からなり、さらに意味則
は字句間の関係や制限を規定する静的意味側とプログラ
ムが実行されたときの動作を規定する動的意味則からな
る。

この実施例２では、Ｃコンパイラがプログラムの文法（
すなわち、構文側と静的意味側）上の正当性を正しくチ
エツクできるか否かをテストするシステムの概略構成を
示すにとどめる。

第４図乃至第７図は、本実施例２のＣコンパイラ用テス
トデータの生成を説明するための図であり、第４図はシ
ステム概略構成を示すブロック図。

第５図は特徴の一つと考えられるｇｏｔｏ文とラベル付
文との関係水の例を示す図、第６図は特徴を利用したテ
ストデータ生成方式を示す図、第７図は生成されたテス
トデータの例を示す図である。

第４図に示すように、本実施例２のＣコンパイラ用テス
トデータ生成システム２００は、字句列生成器２０１Ａ
と静的意味側チエッカ２０１Ｂからなるテストデータ生
成器２０１、構文解析器２０２Ａと特徴抽出器２０２Ｂ
からなるテストデータ解析＄２０２．特徴データベース
ファイル２０３で構成されている。第４図において、２
０４は字句解析器、２０５はプログラム整形器である。

また、点線矢印は既存テストデータ解析の情報の流れ、
実線矢印はテストデータの情報の流れである。

次に、個々の構成要素について以下に説明する。

なお、本実施例２中の記号、用語は次の意味を持つ。

＋：入力パラメタ ：出力パラメタ ？：入出力バラメタ ＳＰ：ソースプログラム ＴＬ：字句列 ＳＴ：構文木 （１）テストデータ生成器２０１の槽底要素字句列生成
器［：　ｌｅｘ　ｇｅｎ（−ＴＬ）コ２０１Ａは、構文
側の仕様記述をもとに、構文上圧しい字句列を次々に生
成する。

静的意味側チエッカ［：ｓｅｍａｎｔｉｃｓ（＋ＴＬ、
−ＴＬ）コ２０２Ｂは、生成された字句列の静的意味側
が満足していないものはここで棄却する。

（２）テストデータ解析器２０２の構成要素構文解析器
［：　５ｙｎｔａｘ（−５Ｔ、？ＴＬ）コ２０２Ａは、
字句列を解析し構文木を作成する。

特徴抽出器［：　ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ（＋
ＳＴ、？ＴＬ）１２０２Ｂは、構文木を解析し、対応す
るプログラムが持つ特徴を抽出する。抽出された特徴が
特徴データベースファイルに未登録ならば登録する。テ
ストデータ生成時において、生成された字句列のもつ特
徴のすべてが登録済みである場合、その字句列はここで
棄却する。

（３）その他 字句解析器［：　１　ｅｘ（＋ＳＰ、−ＴＬ）コ２０４
はＣプログラムを字句列に分解する。

プログラム整形Ｊｉ　Ｅ　：　Ｐｒｏｇ−ｇｅｎ（＋Ｔ
Ｌ、−３Ｐ）コ２０５は字句列をＣソースプログラムの
形に変換する。

ここで用いている特徴データベースについて、ｇｏｔｏ
文による分岐が正しく処理されていることをテストする
ためのテストデータ生成を例にとり説明する。

ｇｏｔｏ文の特徴は、構文木上でｇｏｔｏ文自身の存在
す°る位置と、対応する分岐先ラベルの位置との関係を
とらえることができる。すなわち、ｇｏｔｏ文とラベル
付文との間の関係を表わす木を特徴とみなすことができ
る。第５図にその例を示す。

この場合、異なるプログラムであっても、ｇｏｔ。

文とラベル付文の間の位置関係が同じならば、ｇｏｔｏ
文の分岐に関するテストのテストデータとしては冗長で
あると判断すべきである。そのために、テストデータ生
成器２０１により生成された字句列（すなわち、プログ
ラム）のもつｇｏｔｏ文とラベル付文との間の関係木を
特徴抽出器２０２Ｂで解析し、特徴データベースに登録
する。以後生成されたテストデータの持つ特徴がこの特
徴と同しとき、そのテストデータは冗長であると判断し
採用しない。

また、既存のテストデータがある場合、既存テストデー
タ解析機能によりそれらの特徴を解析し、特徴データに
登録する。すなわち、ここでは、テストデータであるプ
ログラムを構文解析することでｇｏｔｏ文とラベル付文
の間の関係木を抽出し、特徴データベースを用いてテス
トデータを生成すると、ｇｏｔｏ文の分岐に関しテスト
されていない構文をもつテストデータだけを得ることが
できる。

第６図にｇｏｔｏ文に関する特徴に着目して、本システ
ム内の情報の流れを示す。第６図において、点線矢印は
既存テストデータ解析の情報の流れ、実線矢印はテスト
データの情報の流れを示すものであり、・印は生成時登
録済みの特徴、Ｏ印は生成時未登録の特徴を示すもので
ある。

以下の条件でＣコンパイラのｇｏｔｏ文の処理をテスト
するためのテストデータの生成を実際に行った。

（１）構文側適用回数に上限を設定する。

（２）ラベル、　ｇｏｔｏ文は王回しか現われない。

（３）構成のネストは２以下とする。

その結果、７４種のテストデータが生成された。

実際にあるＣコンパイラの開発時に人手で作成された６
種のテストデータがもつ特徴は、すべてこの中に含まれ
ていた。

また、残り６８個の中には、第７図に示すような、人間
が思いつきにくいと思われるテストデータも存在する。

以上、本発明を実施例にもとづき具体的に説明したが、
本発明は、前記実施例に限定されるものではなく、その
要旨を逸脱しない範囲において種々変更可能であること
は言うまでもない。

〔発明の効果〕

以上、説明したように、本発明によれば、以下の効果を
奏することができる。

・テストデータを少ない工数で作成できる。

・テスト項目に抜けがなく冗長性が少ない。

・出力データも生成でき、テストデータに対する動作確
認を容易にすることができる。

・未テスト項目をテストするテストデータだけを選んで
生成することができる。

・仕様の一部をテストするためのテストデータを容易に
生成することができる。

これらにより、一定期間で行えるテストの精度を向上さ
せることができ、ソフトウェア製品の品質保証を高める
ことができる。

【図面の簡単な説明】

第１図は、本発明の実施例１のテストデータ生成システ
ムの概略構成を示すブロック図、第２図及び３図は、加
算プログラム用テストデータの生成について説明するた
めの図、第４図は、実施例２のシステム概略構成を示す
ブロック図、 第５図は、特徴の一つと考えられるｇｏｔｏ文とラベル
付文との関係木の例を示す図、 第６図は、特徴を利用したテストデータ生成方式を示す
図、 第７図は、生成されたテストデータの例を示す図である
。 図中、１００，２００・・テストデータ生成システム、
１０１，２０１・・テストデータ生成器、１０２．２０
２・・・テストデータ解析器、１０３，２０３・・・特
徴データベースファイル、２０１Ａ　　字句列生成器、
２０１Ｂ・・静的意味側チエッカ、２０２Ａ・テストデ
ータ生成器、２０４・・字句解析器、２０５・・・プロ
グラム整形器。

Claims (1)

【特許請求の範囲】
1. 　ソフトウェアのブラックボックステストに用いるため
   のテストデータを自動的に生成するテストデータ自動生
   成システムであって、推論装置を用いソフトウェアの仕
   様に対する形成的記述から、テストデータ候補となるテ
   スト入出力を生成する手段と、そのとき生成されるテス
   トデータ候補の大きさや性質を制御する手段と、生成さ
   れたテストデータ候補や既存テストデータの特徴を解析
   し、その特徴をデータベースに登録する手段と、生成さ
   れたテストデータ候補がデータベースに登録されていな
   い特徴を有する場合だけ、そのテストデータとして出力
   する手段を備えたことを特徴とするテストデータ自動生
   成システム。