JPH10320234A - ソフトウェアの自動テスト方法 - Google Patents

Abstract

(57)【要約】 【課題】自動的に再テストする手段は存在したが、再テ
ストでデグレーションが発見されても、その原因を追求
する手段が無かった。 【解決手段】バージョンアップ前のシステムのトレース
情報とバージョンアップ後のシステムのトレース情報を
比較し、関数の呼出し順序、引数の値が異なる個所を発
見し、モジュールの変更一覧から、どのモジュールにデ
グレーションの原因があるかを予測する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はソフトウェアの自動
テスト方法に関する。

【０００２】

【従来の技術】従来は、特開平８−２１２１０８“ソフ
トウェアのテスト方法及び装置”に見られるように、バ
ージョンアップ前のソフトウェアをコンピュータシステ
ムに搭載し、検査員がキーボード、マウスを使ってテス
トを行うことで得たテスト手順及びテスト結果をコンピ
ュータシステム内に電子ファイルとして格納していた。
次に、バージョンアップソフトウェアをコンピュータシ
ステムに搭載して同一テストを行う場合は、上記学習結
果であるテスト手順を読出して、キーボードやマウスか
らの入力イベントを自動的に発生させることで自動的な
テストを行い、テスト結果を上記ファイル化したテスト
結果と比較することで、システムのデグレーションをチ
ェックしていた。

【０００３】別な発明としては、特開平５−１４３２６
９“自動テスト装置”に見られるように、キーボード及
びマウス入力信号と、ウィンドウに表示されたデータを
記憶していた。キーボード及びマウス入力信号を再生
し、作成されたウィンドウに表示されたデータと、記憶
していたウィンドウに表示されたデータとを比較しテス
ト結果を出力するものがあった。

【０００４】

【発明が解決しようとする課題】従来の特開平５−１４
３２６９や特開平８−２１２１０８では、デグレーショ
ンがあることは判るが、どのモジュールがデグレーショ
ンの原因になっているかは判らなかった。

【０００５】本発明は、システムのテスト結果に加え
て、モジュール毎の引数の情報、戻り値の情報などのト
レース情報と、作成日付を記憶し、これらの情報を再テ
ストを実行した際の情報と比較することで、再テストに
おいて更新されていて、かつ動作が異なるモジュールを
見つけ出すことで、デグレーションの原因を究明する。

【０００６】

【課題を解決するための手段】システムをテストする際
に、関数が呼ばれる度に、該関数の属するモジュールの
名称、関数の名称、入力引数の値、出力引数の値、リタ
ーン値をトレース情報として記憶する。さらに、テスト
を実行した際のモジュール毎の作成日付を記憶する。シ
ステムをバージョンアップした際に、同様にトレース情
報と、モジュール毎の作成日付を記憶する。トレース情
報を前回のテスト時のトレース情報と比較し、違いをチ
ェックする。違いの原因を究明するために、関数を呼出
した側のモジュールの作成日付と、呼出されたモジュー
ルの作成日付より、両モジュールが変更されているか否
かを利用者に提示する。さらに、トレース情報より呼出
しの際の入力引数、出力引数、リターン値が変更されて
いるか否かを利用者に提示する。これらの情報から、関
数を呼出したモジュールの動作が異なっているのか、関
数が呼出されたモジュールの動作が異なっているのか、
あるいは、別のモジュールの動作が異なっているのかを
利用者に提示する。これによって、利用者がデグレーシ
ョンの個所を予測することを可能にする。

【０００７】さらに、トレース情報から第１のモジュー
ルに属する関数の呼出し部分を検索し、トレース情報の
記憶の順で、第１のモジュールに属する関数を呼出し、
入力引数の値を渡す。関数の実行結果である出力引数の
値、リターン値をトレース情報として記憶していた値と
比べる。これによって、第１のモジュールの単体テスト
を可能にする。

【０００８】さらに、トレースを記憶した際のテストデ
ータとは異なるテストデータでテストを行いたい場合が
ある。その際には、入力引数の値、出力引数の値、リタ
ーン値は当然異なるが、関数の呼出し順序は変わらない
場合が多い。従って、関数の呼出し順序のみを比較する
ことで、デグレーションの原因を追求することが可能と
なる。記憶していたトレース情報から関数の呼出し順序
の情報を抽出し、再テストで得られたトレース情報から
同様に関数の呼出し順序の情報を抽出して、両情報を比
較し、関数の呼出しが異なっている個所を検索して提示
することで、関数を呼出したモジュールにデグレーショ
ンの原因があることを、利用者が判断することを可能に
する。

【０００９】

【発明の実施の形態】本発明の実施例を図１を用いて詳
細に説明する。バージョンアップ前のシステム（１０
０）は、第１のモジュール（１０１）、第２のモジュー
ル（１０１）、モジュールＣ（１０２）、モジュールＤ
（１０３）から構成されている。本発明を実施する処理
プログラム（１１５）は、データ送受信記憶部（１０
５）、モジュール日付記憶部（１０７）、モジュール日
付比較部（１１２）、不良特定部（１１３）から構成さ
れる。システム（１００）が実行されると、データ送受
信記憶部（１０５）は、関数が呼出される際に、入力引
数の値をトレース情報（１０６）に記憶する。さらに、
関数の実行が終了した際には、出力引数の値と関数のリ
ターン値を、トレース情報（１０６）に記憶する。さら
に、本発明を実施する処理プログラムの一部であるモジ
ュール日付記憶部（１０７）は、個々のモジュールの作
成日付をモジュール日付情報（１０８）に記憶する。

【００１０】その後、システムがバージョンアップし、
第１のモジュールと第２のモジュールに変更があったと
する。再度、同じテストを実行し、トレース情報‘（１
１０）とモジュール日付情報（１１１）を記憶する。シ
ステムの出力する結果である出力画面の情報やプリント
アウトの結果が前回のテスト結果と異なっている場合
は、バージョンアップに伴ってデグレーションが発生し
ている。デグレーションの個所を特定するために、再テ
ストにおいて変更されており、かつ前回のテストにおけ
る動作と異なる動作をするモジュールを特定する。変更
されているモジュールを特定するために、モジュール日
付比較部（１１２）は、モジュール日付情報（１０８）
と、モジュール日付情報’（１１１）を比較し、モジュ
ールの変更一覧を不良特定部（１１３）に渡す。不良特
定部（１１３）は、モジュールの変更一覧、トレース情
報（１０６）、トレース情報‘（１１０）を読み込み、
不良の原因となるモジュールを推測する。

【００１１】図２に不良特定部のフローチャートを示
す。始めに、トレース情報（１０６）を読み込み（２０
０）、データが存在すれば（２０１）、バージョンアッ
プ後のトレース情報‘（１１０）を読み込む（２０
２）。

【００１２】トレース情報の例を図３に、バージョンア
ップ後のトレース情報’の例を図４に示す。トレース情
報における‘→’は、関数の呼出しを示し、次の行に呼
出されたモジュール名、関数名、引数の値を示す。トレ
ース情報における‘←’は、関数の実行の終了を示し、
‘←’の右にリターン値を示し、次の行に呼出されたモ
ジュール名、関数名、引数の値を示す。例えば、図３の
トレース情報では、最初に第１のモジュール内の関数１
から第２のモジュール内の関数２が呼出されていること
を示している。次に、第２のモジュール内の関数２か
ら、モジュールＣの関数３、モジュールＤの関数４、モ
ジュールＥの関数５が順に呼出されていることを示して
いる。関数の呼出し関係を図５に示す。

【００１３】呼出す関数が異なっている場合は（２０
３）、呼出し元のモジュールの変更を確認する（２０
４）、もし変更になっていれば、呼出し元のモジュール
に不良がある可能性があるので、呼出し元のモジュール
名を表示する（２０５）。呼出す関数が異なっている場
合には、呼出し元の関数の制御が異なっている。この場
合は、呼出し元の関数についてこれ以上、トレース情報
を比較しても無意味なので、呼出し元の関数が終了する
までトレース情報を読み飛ばす（２０６）。例えば、図
３に示すトレース情報は、関数２から関数３、関数４、
関数５の順に呼ばれているが、図４に示すトレース情報
‘では、関数２から関数３、関数６、関数５の順に呼ば
れている。関数４と関数６が異なっているので、関数５
の呼出しの比較は行わず、関数の終了の直前である１４
行目まで読み飛ばす。トレース情報’も同様に関数２の
実行の終了の直前まで読み飛ばす（２０７）。

【００１４】入力の引数が異なっている場合には（２０
８）、呼出し元のモジュールが変更されているか否かチ
ックする（２０９）、変更されていない場合には、呼出
し先のモジュールが変更されているか否かチェックする
（２１１）。いずれかのモジュールが変更されている場
合には、不良原因究明表から、入力引数の変更、出力引
数／リターン値の変更、呼出し元モジュールの変更、呼
出し先モジュールの変更に対応する欄を検索し（２１
２）、検索した欄に該当する処理を実行する。不良原因
究明表の例を図６に示す。呼出し元モジュールが変更さ
れ、呼出し先のモジュールが変更無く、入力引数の値が
変更され、出力引数あるいはリターン値が変更されてい
る場合は、該当する欄は‘−’である。この時はなにも
しない。呼出し元モジュール、呼出し先のモジュール、
入力引数の値、出力引数あるいはリターン値が全て変更
されている場合は、該当する欄は‘呼出し元モジュー
ル、呼出し先モジュール’である。この時は、呼出し元
モジュール名と関数名、呼出し先モジュール名と関数名
を表示する。

【００１５】入力引数が変更されていない場合には（２
０８）、出力引数あるいはリターン値を調査し（２１
０）、変更されていれば、呼出し先のモジュールが変更
されているか否かをチェックする（２１１）。変更され
ていれば、不良原因究明表を検索し（２１２）、該当す
る処理を実行する。以上の処理をトレース情報の最後ま
で実行する。これによって、不良の存在するモジュール
が予測できる。

【００１６】本発明を実現するハードウェア構成図を図
７に示す。ＣＰＵ（７００）は、モジュール日付記憶部
（１０７）、モジュール日付比較部（１１２）、不良特
定部（１１３）を実行する。主記憶（７０１）は、不良
原因追求表など、本発明の実行過程で必要となるデータ
を一時的に記憶する。外部記憶装置（７０２）は、モジ
ュール日付情報（１０８）やトレース情報（１０６）を
記憶する。入力装置（７０３）は、利用者からの入力を
受け付け、出力装置（７０４）は、不良レポート（１１
４）を画面に表示する。

【００１７】モジュールの作成日付ではなく、モジュー
ルのソースプログラムをバージョンアップ前とバージョ
ンアップ後で比較し、関数単位で変更あるか否かをチェ
ックすることで、より正確な不良予測が可能になる。本
発明のシステム構成図を図８に示す。ソースプログラム
比較部（８００）では、関数毎の変更一覧を不良特定部
（１０１３）に渡す。不良特定部では、不良原因追求表
のモジュールを関数に置き換えて、図２と同じフローチ
ャートで、不良原因を予測する。

【００１８】トレース情報（１０６）を解析すること
で、単体テストが可能である。単体テストを行うための
システム構成図を図９に示す。単体実行部（９００）
は、トレース情報（１０６）を読み込み、関数を呼び出
して結果を検証する。単体実行部（９００）のフローチ
ャートを図１０に示す。始めに、トレース情報を読み込
み（１０００）、利用者が単体テストを指示したモジュ
ールの関数の呼出し部分を検索する（１００２）。発見
したら、トレース情報の入力引数の値を渡すようにし
て、関数を呼出す（１００３）。次に、トレース情報か
ら呼出した関数の実行結果が記述してある個所を検索し
（１００４）、トレース情報に記述してある出力引数の
値とリターン値の値を、呼出した関数の出力引数の値と
リターン値とそれぞれ比較する（１００５）。もし、ど
ちらか一方が異なっていたら、実行したモジュールに不
良がある可能性のあることを表示する（１００６）。

【００１９】これまでの発明は、以前と異なるテストデ
ータを使用するテストには、使用できなかった。テスト
データが異なる場合は、モジュール間で受け渡されるデ
ータに違いが生じるが、関数の実行順序は変わらない場
合が多い。トレース情報の中で関数の実行順序のみを比
較することで、不良の原因が究明できる可能性がある。
本発明を実現するには、システム構成図は図１と変わら
ないが、不良特定部のフローチャートは、図２のフロー
チャートの２０８から２０１３までの処理を除いたもの
になる。

【００２０】さらに、テストを実施する際には、ハード
ウェア環境が整わない等の理由より、特定のモジュール
が実行不可能な状況が生じる。このような場合には、あ
るモジュールの動作を模擬実行すると便利である。トレ
ース情報を読み込み、模擬実行するプログラムを自動的
に生成するフローチャートを図１１に示す。始めに、ト
レース情報を読み込み（１１００）、利用者が模擬実行
プログラムの生成を指示したモジュールの関数の呼出し
部分を検索する（１１０２）。該当する関数の呼出し部
をトレース情報から検索したら、初めてコードを生成す
る関数かチェックする（１１０３）。チェックのため
に、今まで生成した関数と、関数の入力引数の値の並
び、出力引数の値の並び、リターン値を記憶した対応表
を用意する。対応表の例を図１２に示す。図１２の対応
表に基づき生成した模擬実行プログラムを図１３に示
す。

【００２１】既に生成した関数ならば、入力引数の並び
が対応表に存在するかチェックする（１１０４）。も
し、入力引数の並びが対応表に存在するならば、対応す
る出力引数とリターン値が対応表に記述したものと同一
かチェックする（１１０５）。もし、違っていれば、模
擬実行は不可能なので、生成は不可能であると表示する
（１１０６）。もし、同一ならば、既に生成済みであ
る。入力引数の並びが存在していなければ、入力引数の
値に応じて出力引数とリターン値を決定するコードを出
力する（１１０８）。そして、関数名、入力引数の値の
並び、出力引数の値の並び、リターン値を対応表に記憶
する（１１０９）。まだ、生成していない関数ならば、
関数名の定義部を生成する（１１０７）。以上を、トレ
ース情報の最後まで続ける（１１０１）。

【００２２】

【発明の効果】モジュール間のデータの受け渡し、関数
の呼出し順序の違いが前回のテストとどのように異なる
かが判るので、デグレーションの個所が推定できる。

【図面の簡単な説明】

【図１】第１の発明のシステム構成図である。

【図２】第１の発明の１実施例のフローチャートであ
る。

【図３】第１の発明の１実施例のバージョンアップ前の
トレース図である。

【図４】第１の発明の１実施例のバージョンアップ後の
トレース図である。

【図５】第１の発明の１実施例の呼出し関連図である。

【図６】第１の発明の１実施例で使用する不良原因究明
表である。

【図７】第１の発明のハードウェア構成図である。

【図８】第１の発明の別な実施例のシステム構成図であ
る。

【図９】第２の発明のシステム構成図である。

【図１０】第２の発明の１実施例のフローチャートであ
る。

【図１１】第４の発明の１実施例のフローチャトであ
る。

【図１２】第４の発明の１実施例で使用する対応表であ
る。

【図１３】第４の発明の１実施例で生成したプログラム
である。

【符号の説明】

１００…バージョンアップ前システム、１０１…第１の
モジュール、１０２…モジュール２、 １０３…
モジュールＣ、１０４…モジュールＤ、 １０５
…データ送受信記憶部、１０６…トレース情報、
１０７…モジュール日付記憶部、１０８…モジュール
日付情報、 １０９…バージョンアップ後システム、１
１０…トレース情報‘、 １１１…モジュール日付
情報’、１１２…モジュール日付比較部、１１３…不良
特定部、１１４…不良レポート、 １１５…本発
明を実施するプログラム。

Claims (4)

【特許請求の範囲】
1. 【請求項１】システムのテスト方法において、関数が呼
   ばれる度に、該関数の属するモジュールの名称、関数の
   名称、入力引数の値、出力引数の値、リターン値をトレ
   ース情報として記憶し、テストを実行したモジュール毎
   の作成日付を記憶し、システムがバージョンアップした
   際に、同じテストを再度実行して、トレース情報とモジ
   ュール毎の作成日付を、前回のテスト時の結果と比較し
   て、作成日付とトレース情報がともに異なるモジュール
   を提示することで、デグレーションの個所を予測するこ
   とを特徴とする自動テスト方法。
2. 【請求項２】請求項１の自動テスト方法において、第１
   のモジュールを変更した際に、トレース情報から第１の
   モジュールの情報を抽出し、記憶した関数の呼出順に該
   第１のモジュールの関数を入力引数の値を渡して呼出
   し、該関数の実行が終了する際に、該関数の出力引数の
   値とリターン値が、それぞれ記憶してある出力引数の値
   とリターン値と一致しているかチェックし、不一致のと
   きに第１のモジュールから呼び出されている第２のモジ
   ュールの作成日付を調査し、第２のモジュールの変更如
   何、第１のモジュールから第２のモジュールに引き渡さ
   れる入力引数の値の変更如何、第２のモジュールから第
   １のモジュールに戻される出力引数の値とリターン値の
   変更如何より、不良個所を予測することを特徴とする自
   動テスト方法。
3. 【請求項３】請求項１の自動テスト方法において、トレ
   ース情報の比較の際に、出力引数の値とリターン値の一
   致チェックを行うのか、単に関数の呼出し順序の一致チ
   ェックに留めるかを、利用者が選択できることを特徴と
   する自動テスト方法。
4. 【請求項４】請求項１の自動テスト方法において、利用
   者が指定したモジュールの動作を模擬実行するプログラ
   ムをトレース情報から生成して、該モジュールと置換
   し、該モジュールが呼び出された際に、入力引数の値と
   一致する入力引数の値を該トレース情報より検索し、対
   応する出力引数とリターン値を返して、該モジュールが
   稼動しない環境においてもテストを可能にすることを特
   徴とする自動テスト方法。