JPH0793185A - ソフトウェア自動試験システム - Google Patents

Abstract

(57)【要約】 【目的】 試験シナリオの再利用性を向上させ、種々の
試験環境および条件での同一内容のソフトウェア自動試
験を高効率化および高信頼化する。 【構成】 複数の試験環境・条件下で共通な試験手順
と、各試験環境・条件下で異なる試験データとを記述し
た各試験シナリオを用いるソフトウェア自動試験システ
ムにおいて、試験環境・条件下で異なる各試験データを
各試験環境・条件で共通な変数名で記述した共通試験シ
ナリオ５ｂと、試験環境・条件別に各試験データを変数
名に対応付ける試験データリスト５ａと、共通試験シナ
リオに記述された変数名を、試験データリストを参照し
て、試験環境・条件に対応する試験データに変換する試
験データ変換部４ｄとを設ける構成とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ソフトウェアの自動試
験技術に係わり、特に、通信網における交換ソフトウェ
アなどのように、試験環境および条件によって異なる試
験データを設定しなければならないソフトウェアの試験
を効率良く行うのに好適なソフトウェア自動試験システ
ムに関するものである。

【０００２】

【従来の技術】従来のソフトウェア開発においては、環
境および条件に依存したシステム構築が主流で、種々の
試験環境および条件に関する試験を実施する必要がな
く、単一の環境と条件における試験データを直接記述し
た試験シナリオを用いることによって試験を行ってい
た。この試験シナリオは、試験手順を、試験を行う装置
に搭載したオペレーティングシステムで処理できる言語
によって記述されたファイルである。ソフトウェア自動
試験では、この試験シナリオをインタプリティブ（逐
次）に解釈して実行する。

【０００３】しかし、通信網における交換ソフトウェア
のように、試験環境および条件によって異なる試験デー
タ（例えば、加入者電番）を設定しなければならないソ
フトウェアがある。また、近年、ネットワーク化が進む
に連れ、一般のソフトウェア開発においても、ネットワ
ークを介在したダイナミックなシステムが考えだされて
きたため、環境および条件に依存しない試験手法が必要
となってきた。すなわち、同一システムの同一機能確認
試験においても、種々の異なる試験環境および条件下で
行う試験の重要性が増し、試験環境および条件によって
異なる試験データの設定方法についての検討を行う必要
が生じてきた。尚、通信網における交換ソフトウェアの
開発および試験に関しては、例えば、社団法人電子情報
通信学会編「電子情報通信ハンドブック」（１９８８
年、株式会社オーム社発行）の第２１５６頁から２１５
８頁に記載されている。

【０００４】図８は、従来のソフトウェア自動試験のた
めの試験データの設定手順例を示すフローチャートであ
る。本例の手順は、種々の異なる試験環境および条件下
でのソフトウェア試験を行う際の人手による作業を示
し、特に、単一環境および条件における試験データを、
直接、試験シナリオに記述する試験データの設定方法
を、種々の試験データの設定に用いた場合の手順であ
る。すなわち、他試験環境および条件での試験を行うた
めに、まず、試験シナリオ群から、実施する試験シナリ
オを読み出す（ステップ８０１）。そして、この試験シ
ナリオ中の変更対象となる試験データを見つけ出し（ス
テップ８０２）、試験データの書き換えを行う（ステッ
プ８０３）。全ての変更対象の試験データに対する書き
換えが終了すれば（ステップ８０４）、変更が完了した
シナリオをセーブする（ステップ８０５）。このように
して、試験実行の準備が完了する。このように、ソフト
ウェア自動試験の試験データの設定において、試験シナ
リオに試験データを直接記述することは、理解性・記述
性の面から容易な方法と言える。

【０００５】しかし、種々の試験環境および条件での同
一内容の試験を行う時には、試験環境および条件によっ
て試験データが異なるため、特定の試験環境および条件
に依存している試験データを直接記述してある試験シナ
リオでは、試験環境および条件に合わせて、試験データ
を、人手により修正する必要がある。すなわち、試験を
行う都度、ステップ８０１における試験シナリオの読み
出しと、ステップ８０２〜８０５における試験データの
修正箇所の検索と修正、および、変更した試験シナリオ
のセーブからなる一連の手作業を繰り返し、試験シナリ
オ中の試験データを書き直す必要がある。そのために、
試験シナリオが再利用できない。このような問題に対処
するためには、各試験環境および条件毎に、同一試験内
容の試験シナリオを用意することが考えられるが、この
ようにした場合には、修正稼働および管理すべき試験シ
ナリオ量が膨大になる。これらの結果として、試験シナ
リオの信頼性が低下してしまう。

【０００６】

【発明が解決しようとする課題】解決しようとする問題
点は、従来の技術では、試験シナリオに特定の試験環境
および条件に依存している試験データが直接記述されて
いるので、種々の試験環境および条件での同一内容の試
験を、同一の試験シナリオで行うことができない点であ
る。本発明の目的は、これら従来技術の課題を解決し、
試験シナリオの再利用性を向上させ、種々の試験環境お
よび条件での同一内容の試験時における試験データの修
正に係わる人手の負荷の軽減と、各試験環境および条件
毎に同一試験内容の試験シナリオを用意することによる
修正稼働および管理すべき試験シナリオ量の膨大とによ
る試験シナリオの信頼性の低下を防止し、ソフトウェア
自動試験の信頼性の向上を可能とするソフトウェア自動
試験システムを提供することである。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、本発明のソフトウェア自動試験システムは、複数の
試験環境および条件下で共通な試験手順と、各試験環境
および条件下で異なる試験データとを記述した各試験シ
ナリオを用いて、複数の試験環境および条件下でのソフ
トウェア自動試験を行うシステムにおいて、試験環境お
よび条件下で異なる各試験データを、各試験環境および
条件で共通な変数名で記述した共通試験シナリオ（図１
および図２の共通試験シナリオ５ｂ）と、試験環境およ
び条件下で異なる各試験データと共通な変数名との対応
付けを、試験環境および条件別に示す試験データリスト
（図１、図２、図４における試験データリスト５ａ）
と、共通試験シナリオに記述された変数名を、試験デー
タリストを参照して、試験環境および条件に対応する試
験データに変換する試験データ変換部（図１および図２
の試験データ変換部４ｄ）とを設けることを特徴とす
る。

【０００８】

【作用】本発明においては、試験シナリオに試験データ
を直接記述する代わりに、試験データを、英数字の並び
である変数として試験シナリオに記述する。ここで言う
変数とは、試験データをシンボルとして記述したもので
ある。また、予め、試験環境および条件毎に、変数対応
で試験データを記述してある試験データリストを作成す
る。そして、試験時には、ソフトウェア試験者が入力し
た試験環境名に基づいて、自動的に試験データの設定を
行う。すなわち、ソフトウェア試験者が、試験実施コマ
ンドを入力する際に、実施対象となる試験環境名を指定
すると、試験データ変換部により、この試験環境名に対
応する試験データリストを参照して、試験シナリオの各
変数に対応する試験データを読み出し、この読み出した
試験データを設定する。このように、試験シナリオにお
いて試験データは変数化され、試験シナリオの再利用性
が向上し、他の試験環境および条件での試験も、同一試
験シナリオを利用することにより実施できるので、ソフ
トウェア自動試験の操作性と信頼性が向上する。

【０００９】

【実施例】以下、本発明の実施例を、図面により詳細に
説明する。図１は、本発明のソフトウェア自動試験シス
テムの本発明に係わる構成の一実施例を示すブロック図
である。本図において、１はソフトウェア試験者、２は
ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ、陰極線
管）等からなる表示装置、３はキーボードやマウス等か
らなる入力装置、４はいわゆる「ＵＮＩＸ」や「Ｘ−Ｗ
ｉｎｄｏｗ」等のオペレーティングシステムを搭載した
ワークステーション等の処理装置、５は磁気ディスク等
からなる記憶装置、６は試験対象側装置である。

【００１０】記憶装置５には、試験環境および条件下で
異なる各試験データを、各試験環境および条件に共通な
変数名で記述した本発明に係わる共通試験シナリオ５ｂ
と、試験環境および条件下で異なる各試験データと共通
な変数名との対応付けを、試験環境および条件別に示す
本発明に係わる試験データリスト５ａと、入力装置３を
介してソフトウェア試験者１が指定した実施試験環境に
基づき、試験データリスト５ａから生成される試験デー
タ変換テーブル５ｃとが登録されている。また、処理装
置４は、入力装置１からのコマンドを解釈して各部署へ
の指示を行い、装置全体の動作制御を行う主制御部４ａ
と、試験対象側装置６やアプリケーションソフトの実行
を制御管理する実行管理部４ｂと、記憶装置５内の試験
データリスト５ａの編集作業を行うリスト編集部４ｃ
と、共通試験シナリオ５ｂに記述された変数名を、試験
データリスト５ａを参照して、試験環境および条件に対
応する試験データに変換する本発明に係わる試験データ
変換部４ｄと、試験実施に用いるアプリケーションソフ
トウェア４ｅとを具備している。

【００１１】このような構成により、本実施例のソフト
ウェア自動試験システムにおいては、試験環境および条
件で異なる試験データの設定が自動的に行われ、他の試
験環境および条件での試験も、同一の共通試験シナリオ
を用いて行うことができる。すなわち、共通試験シナリ
オ５ｂには、試験環境および条件下で異なる各試験デー
タが、各試験環境および条件に共通な変数名で記述され
ており、実行管理部４ｂによるアプリケーションソフト
ウェア４ｅに基づく試験実施中に、この変数名が現われ
た場合には、試験データ変換部４ｄにより、試験データ
変換テーブル５ｃを参照して、この変数に対応する試験
データを読み出す。この試験データ変換テーブル５ｃ
は、ソフトウェア試験者１からの試験環境の指定に基づ
き、予め、試験データ変換部４ｄにより、試験データリ
スト５ａから生成されている。そして、試験データ変換
部４ｄで読み出した試験データを用いて、実行管理部４
ｂによる試験を続行する。このように、共通試験シナリ
オ５ｂ中の変数を、特定の試験環境および条件での試験
データに変換することにより、ソフトウェア試験者は、
別の試験環境呼び条件においての試験実施時には、試験
実施コマンドを投入する際に、別の試験環境名を指定す
るだけで良い。

【００１２】尚、必要となる試験環境が、試験データリ
スト５ａに格納されていない場合や、試験データに修正
が生じた場合は、試験実施前に、ソフトウェア試験者１
が、試験データリスト５ａの編集指示を、入力装置３を
通して、処理装置４に出す。この編集指示を受け取った
主制御部４ａは、コマンドを解釈して、リスト編集部４
ｃを起動する。その結果、表示装置３に編集画面が表示
され、ソフトウェア試験者１は、入力装置３を介して、
試験データリスト５ａの修正や追加等を行うことができ
る。次に、図２を用いて、本実施例のソフトウェア自動
試験システムの本発明に係わる動作の詳細な説明を行
う。

【００１３】図２は、図１におけるソフトウェア自動試
験システムの本発明に係わる詳細構成を示す説明図であ
る。本例は、特に、変数から試験データへの変換の処理
を明確にした記憶装置５の詳細を示している。ソフトウ
ェア作業者は、試験実施に際して、試験データリスト５
ａ、および、共通試験シナリオ５ｂを作成し、記憶装置
５に登録しておく。試験データリスト５ａは、各試験環
境および条件毎にファイル構成されており、それぞれの
試験データリスト５ａは、後述の図４で詳細を示すよう
に、第１行目にはインデックスとして試験環境名を、第
２行目以降は、共通試験シナリオ５ｂ中に書かれている
変数名（図中、変数１、変数２、変数３と記載）と、そ
れに対応する試験データ（図中、試験データ１、試験デ
ータ２、試験データ３と記載）が１対１で記述されてい
る。また、共通試験シナリオ５ｂは、ｅｍａｃｓ等のエ
ディタで記述され、試験データ部分には変数（図中、＄
変数１、＄変数２と記載）が記述されている。

【００１４】試験は、ソフトウェア試験者による試験実
施指示の入力によって始まる。すなわち、ソフトウェア
試験者は、図１における入力装置３を使って、試験実施
コマンド（図中、ｇと記載）と、実施する試験シナリオ
名と、試験対象の試験環境名を入力する。処理装置４
は、その入力されたコマンド（ｇ）を解釈して、試験実
施命令を認識し、コマンド（ｇ）と同時に入力された試
験シナリオ名７と試験環境名８を受け取る。そして、試
験データ変換部４ｄにより、まず、受け取った試験環境
名８に基づき、試験データリスト５ａから、該当するも
のを、例えば、図中の「試験環境１」の試験データリス
ト５ａを抽出する。次に、この抽出した試験データリス
ト５ａに基づいて、試験データ変換テーブル５ｃを生成
する。この試験データ変換テーブル５ｃの構成は、後述
の図３で詳細を示すように、第１項目に変数名（図中、
変数１、変数２、変数３と記載）が、第２項目に該当す
る試験データ（図中、試験データ１、試験データ２、試
験データ３と記載）が、１対１で格納されている。

【００１５】そして、処理装置４は、試験データ変換部
４ｄにより、入力された試験シナリオ名７に該当する共
通試験シナリオ５ｂを抽出する。もし、入力された試験
シナリオ名７と試験環境名８に該当する共通試験シナリ
オ５ｂと試験データリスト５ａが、記憶装置５内に存在
しない場合は、処理装置４は、図１における表示装置３
を介して、実行不可能のメッセージを出力する。試験デ
ータ変換テーブル５ｃの生成と、共通試験シナリオ５ｂ
の抽出が終了すれば、処理装置４は、図１における実行
管理部４ｂにより、この共通試験シナリオ５ｂをインタ
プリティブに解釈し、共通試験シナリオ５ｂ内の記述に
従って試験を実施する。

【００１６】試験実施中の試験データの設定において、
共通試験シナリオ５ｂ中に変数（例えば、図中の＄変数
１、＄変数２）が現われた時には、処理装置４は、試験
データ変換部４ｄにより、試験データ変換テーブル５ｃ
を参照して、変数を試験データに変換する。すなわち、
変数名９に該当する試験データ変換テーブル５ｃの第１
項目（変数名）を検索し、一致する項目の後にある第２
項目の試験データを、変数に対する試験データとする。
そして、図１における実行管理部４ｂは、この置き換え
た試験データで試験を続行する。試験が終了すれば、終
了メッセージを、図１における表示装置３に示す。この
ようにして、共通試験シナリオ５ｂ中の変数を、特定の
試験環境および条件での試験データに自動的に変換する
ことができるので、ソフトウェア試験者は、別の試験環
境呼び条件においての試験実施時には、試験実施コマン
ドを投入する際に、別の試験環境名を指定するだけで良
い。

【００１７】図３は、図１における試験データ変換テー
ブルの詳細構成例を示す説明図である。本例において
は、試験データ変換テーブル５ｃには、第１項目に変数
名（ＸＸＸ、ＹＹＹ、・・・）が、第２項目に該当する
試験データ（ｘｘｘ、ｙｙｙ、・・・）が、１対１で格
納されている。ここで変数名は、英数字で表示され、共
通試験シナリオ中では、「＄変数名」として記述され
る。本例に対しては、「＄ＸＸＸ」および「＄ＹＹＹ」
・・・と記述される。

【００１８】図４は、図１における試験データリストの
詳細構成例を示す説明図である。本例においては、試験
データリスト５ａには、第１行目にはインデックス４１
として試験環境名（ＡＡＡ）が、また、第２行目以降
は、共通試験シナリオ５ｂ中に書かれている変数名（Ｂ
ＢＢ、・・・）と、それに対応する試験データ（ｂｂ
ｂ、・・・）が１対１で記述されている。

【００１９】図５および図６は、図１におけるソフトウ
ェア自動試験システムの本発明に係わる動作例を示すフ
ローチャートである。図５において、まず、試験実施に
際し、予め作成された本発明に係わる試験データリスト
と共通試験シナリオを、図１における記憶装置５内に登
録しておく（ステップ５０１）。そして、ソフトウェア
試験者が図１の入力装置３を介してコマンドを入力する
と（ステップ５０２）、図１の処理装置４は、主制御部
４ａにより、このコマンドを解釈する（ステップ５０
３）。コマンドがリスト編集指示であれば、図１におけ
るリスト編集部４ｃを起動して、試験データリストの追
加や変更等の編集を行い（ステップ５０４）、コマンド
が試験実行指示であれば、図１の試験データ変換部４ｄ
により、コマンドと同時に入力されている試験シナリオ
名、および、試験環境名を解釈する（ステップ５０
５）。

【００２０】図１の試験データ変換部４ｄは、試験環境
名に対応する試験データリストを探索し（ステップ５０
６、５０７）、この試験データリストから、試験データ
変換テーブルを生成すると共に（ステップ５０８）、試
験シナリオ名に対応する共通試験シナリオを探索する
（ステップ５０９、５１０）。図１の実行制御部４ａ
は、このようにして図１の試験データ変換部４ｄが探索
した共通試験シナリオを、インタプリティブに解釈し、
共通試験シナリオ内の記述に従って、各部に指示を出す
ことによって、図６に続く試験を実行する（ステップ５
１１）。尚、入力された試験シナリオ名や試験環境名に
該当する共通試験シナリオや試験データリストが、図１
における記憶装置５内に存在しない場合は、図１の試験
データ変換部４ｄから、図１の主制御部４ａにその旨が
伝えられ、主制御部４ａは、図１における表示装置２
に、実行不可能のメッセージを出力する。

【００２１】図６において、ステップ５１１における試
験の続行は、指示を受けた図１の実行管理部４ｂが（ス
テップ５１２）、図１の試験対象側装置６、および、ア
プリケーションソフトウェア４ｅのそれぞれの実行（ス
テップ５１３、５１４）を制御することにより行う。こ
の試験中に、試験シナリオ中に変数が現われた時には
（ステップ５１５）、試験データの設定を行う。すなわ
ち、図１の実行制御部４ａが、試験実行中に、試験シナ
リオ中の「＄変数名」を認識したならば、図１の試験デ
ータ変換部４ｄにより、図２の試験データ変換テーブル
５ｃを参照して、「＄変数名」に対する試験データを読
み出し（ステップ５１６）、図１の主制御部４ａは、
「＄変数名」をこの試験データに置き換え（ステップ５
１７）、ステップ５１１における試験を続行する。この
ようにして、ステップ５１１の試験実行時において、各
部署に対して指示をする時には、具体的な試験データに
して引き渡す。

【００２２】図１の主制御部４ａは、各部署からの終了
メッセージをが受け取ると、終了メッセージを、図１の
表示装置３に示し（ステップ５１８）、試験を終了す
る。尚、この試験を終了した後に、別の試験環境呼び条
件においての試験を実施する時には、ソフトウェア試験
者は、試験実施コマンドを投入する際に、別の試験環境
名を指定すれば良い。すなわち、図１の試験データ変換
部４ｄは、新たな試験環境名に対応する別の試験データ
リストから試験データ変換テーブルを生成し、同一の共
通シナリオの変数を、別の試験データに置き換える。こ
のように、試験シナリオの試験データを変数化し、か
つ、試験環境および条件によって異なる試験データを環
境および条件毎に管理した試験データリストを作成する
ことにより、試験シナリオから具体的な試験データを引
き離せるので、試験シナリオの再利用性を向上させるこ
とができる。また、試験データリストの試験データは、
編集作業により、任意の試験データが設定できるため、
試験シナリオの修正が容易である。

【００２３】図７は、図１のソフトウェア自動試験シス
テムにおけるソフトウェア試験者の作業手順例を示すフ
ローチャートである。本例は、図１のソフトウェア自動
試験システムにおいて、他試験環境および条件下での試
験を実施する際のソフトウェア試験者による作業手順を
示し、ある試験環境および条件での試験を行う時には、
ソフトウェア試験者は、試験実施コマンドと試験シナリ
オ名、および、試験環境名を入力する（ステップ７０
１）。そして、この、試験環境および条件での試験実行
（ステップ７０２）の後に、他の試験環境および条件で
の試験を行う場合には（ステップ７０３）、実施対象と
なる試験環境名のみを変更して、試験実施コマンドと試
験シナリオ名を入力するステップ７０１）。このよう
に、試験環境および条件での試験の後に、他の試験環境
および条件で同一内容のの試験を行う場合には、ソフト
ウェア試験者は、試験環境名のみを変更するだけの作業
を行えば良く、図８で示した従来行われていた修正作業
を排除することが可能となり、様々な試験環境および条
件についての試験が、迅速かつ容易に行うことができ
る。

【００２４】以上、図１〜図７を用いて説明したよう
に、本実施例のソフトウェア自動試験システムでは、共
通試験シナリオにおいて試験データが変数化され、ま
た、試験実施時には、指定された試験環境に対応する試
験データに変換されて設定が行われる。このことによ
り、他の試験環境および条件での試験を行う時には、ソ
フトウェア試験者は、試験実施コマンドを入力する際
に、実施対象となる試験環境名を変更するだけで、試験
データの内容の書き替えが可能となる。このため、共通
試験シナリオの再利用性が向上し、他の試験環境および
条件での試験も、同一の共通試験シナリオを利用するこ
とにより実施できるので、実施稼働がかからずに、各種
の試験環境および条件による試験を行えるため、ソフト
ウェアの信頼性と生産性が向上する。尚、本発明は、図
１〜図７を用いて説明した実施例に限定されるものでは
なく、その要旨を逸脱しない範囲において種々変更可能
である。

【００２５】

【発明の効果】本発明によれば、種々の試験環境および
条件での同一内容の試験を、同一の試験シナリオを再利
用して行うことができ、従来の試験データの修正に係わ
る人手の負荷と、同一試験内容の各試験シナリオを用意
することに係わる負荷とを回避でき、ソフトウェア自動
試験を高信頼化でき、ソフトウェアの信頼性と生産性と
を向上させることが可能である。

【図面の簡単な説明】

【図１】本発明のソフトウェア自動試験システムの本発
明に係わる構成の一実施例を示すブロック図である。

【図２】図１におけるソフトウェア自動試験システムの
本発明に係わる詳細構成を示す説明図である。

【図３】図１における試験データ変換テーブルの詳細構
成例を示す説明図である。

【図４】図１における試験データリストの詳細構成例を
示す説明図である。

【図５】図１におけるソフトウェア自動試験システムの
本発明に係わる動作例を示すフローチャートの前半部分
である。

【図６】図１におけるソフトウェア自動試験システムの
本発明に係わる動作例を示すフローチャートの後半部分
である。

【図７】図１のソフトウェア自動試験システムにおける
ソフトウェア試験者の作業手順例を示すフローチャート
である。

【図８】従来のソフトウェア自動試験のための試験デー
タの設定手順例を示すフローチャートである。

【符号の説明】

１ ソフトウェア試験者 ２ 表示装置 ３ 入力装置 ４ 処理装置 ４ａ 主制御部 ４ｂ 実行管理部 ４ｃ リスト編集部 ４ｄ 試験データ変換部 ４ｅ アプリケーションソフトウェア ５ 記憶装置 ５ａ 試験データリスト ５ｂ 共通試験シナリオ ５ｃ 試験データ変換テーブル ６ 試験対象側装置 ７ 試験シナリオ名 ８ 試験環境名 ９ 変数名

Claims (1)

【特許請求の範囲】
1. 【請求項１】 複数の試験環境および条件下で共通な試
   験手順と、各試験環境および条件下で異なる試験データ
   とを記述した各試験シナリオを用いて、複数の試験環境
   および条件下でのソフトウェア自動試験を行うシステム
   において、上記試験環境および条件下で異なる各試験デ
   ータを、各試験環境および条件で共通な変数名で記述し
   た共通試験シナリオと、上記試験環境および条件下で異
   なる各試験データと上記共通な変数名との対応付けを、
   上記試験環境および条件別に示す試験データリストと、
   上記共通試験シナリオに記述された上記変数名を、上記
   試験データリストを参照して、上記試験環境および条件
   に対応する試験データに変換する試験データ変換手段と
   を設けることを特徴とするソフトウェア自動試験システ
   ム。