JPH04195436A - 計算機システム自動テスト方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は大規模ネッｌ〜ワークシステムを構成する計算
機システムのソフトウェアをテストする場合１個々のテ
スト担当者の手動によるテストでは実施工数が莫大とな
り、総合的なテストの実施が困難なソフトウェア開発時
の最終工程である大規模構成下での自動テストの実行に
関する。

〔従来の技術〕

従来、計算機システムに対するテストにおいては、単独
の計算機に対してテストするコマン１〜を投入したり、
ジョブの実行中にコンソールへの応答待ちメツセージに
対する応答を行うキーインアウトシュミレーション機能
及び本機能を用いたＡＯＭ　（Ａｕｔｏｍａｔｉｃ　０
ｐｅｒａｔｉｏｎ　Ｍｏｎｊｔｅｒ）等によるＯＳのオ
ペレーション自動化を用いて自動テストを実施している
。また仮想計算機システムにおいても自動ＩＰＬ等を行
うため自動オペレーション機能を有するものが現れてき
ている。

従来のテスト自動化の例としてはシステムに処理速度の
向上などのレベルアップのような変更を加えた場合、変
更の結果が他の部分に影響を与え、誤動作が発生したり
する可能性があるため、システムの変更前と変更後にそ
れぞれ同じコマンドを投入し、結果を比較、照合するこ
とが行われている。又Ｔ　Ｓ　Ｓ　（Ｔｉｍｅ　Ｓｈａ
ｒｊｎｇ　Ｓｙｓｔｅｍ）等によりコマンドをプロシジ
ャにより自動投入し、同種の効果を上げている事例も存
在する。

〔発明が解決しようとする問題点〕

上記従来技術ではテストを実行する計算機システムが実
計算機なのか又は仮想計算機なのかの区別をしていない
。このため、テストの環境設定や実施できるテストの形
態にたいして配慮がなされておらず、外部仕様の確認を
主体とする検査が主体であったが、品質の向上のために
は内部仕様にもとづくテストも行う必要があるが、その
ためには被テスト環境を仮想計算機に構築して、外部か
ら被テスト環境を制御しなからテス［・を実施する技術
が要求される。又従来の技術ではテスト実行時に発生す
る異常状態に対する検出及び回復手段が配慮されておら
ず、テスト実行時に異常状態が発生した場合の処置は再
び最初からやり直さざるを得なかった。また従来技術で
は複数の計算機から構成される計算機システムに対する
テス［へ自動化の配慮がなされておらず、複数の計算機
例えばディスクの共用、通信ソフ１へウェアを介したメ
ツセージの送受信を実行したりする等有機的関連を持っ
たテストに対して適用できない。

本発明の目的は上記の複数の計算機から構成される計算
機システムにおいて、個々の被テスト計算機の自動的な
ナスｌ−実行に加えて複数の被テスト計算機が同時に運
転された場合のシステム全体に対するテストをテスト規
模に応じたテスト環境の設定と、テストに使用するテス
ト資源と、テストの実行手続きをそれぞれ複数のテスト
担当者が同時に指定して、同時に実行させることを可能
とし、テスト実行時での異常状態に対する検出及び回復
手段により同時に実行させることを可能としている。従
って長時間に亘る大規模構成の計算機システムに対して
自動テストが可能となり今後ますます増大するテスト量
に対する対処が可能である。

〔課題を解決するための手段〕

上記目的を達成するため１本発明においては被テスト計
算機が実計算機の場合だけではなく、仮想計算機の場合
もデス１〜環境として存在させ、どちらの場合でも、ま
た両者同時の場合でも自動テストを実行させる手段を具
備したものである。第１にどの被テスト計算機において
も指定したテスト資源とテスト手続きを実行させるため
に、テスト対象の被テスト計算機の内容に応じてテスト
を実行するため必要な動作条件を規定するテスト制御手
続きと、テストのため使用するテストジョブ、コマンド
等のデータの使用を規定するテスト実行資源手続きをそ
れぞれ独立させた。これにより複数のテスト担当者がそ
れぞれ独立に手続きを作成することが可能になり、テス
ト項目生産性の向上を達成するものである。第２にこれ
らの複数のテスト手続きを同時に実行するために、上記
のテストを実行するためのテスト動作条件を規定したテ
スト制御手続きを入力、解釈してテスト動作を開始し、
複数の上記テスト実行資源手続きによりテスト資源の使
用を可能にし、上記のテスト資源を用いたテスト手順手
続きを多重に実行して、テスト実行時での異常状態に対
する検出及び回復機構により多重にテストを実行する。

第３にテストの実行によって発生が予想される異常状態
に対する監視とそれに対処する動作を可能とするため、
各テストジョブ、コマンドの投入に対して監視すべき条
件を規定する手続きとそれに基づく監視動作の実行と、
異常状態検出時に必要な資料を採取する機構とテストに
よる出力結果を入力して照合する。

第４に夜間の無人の自動テストを可能とするため、仮想
計算機に対する指令とそのコンソールへのメツセージを
受は取る機構を有し被テスト計算機のＩＰＬと停止を仮
想計算機に連絡する機構を採用している。第５に各被テ
スト計算機でのテストの実行状況を記録するため、上記
各手続きを解釈実行する工程で杏子続きの実行状況と、
発生異常状態と、手続きに基づく動作の実行記録をファ
イルに出力して保存する。

〔作用〕

第１に本発明は電子計算機システムのテス１−は与えら
れたバー１−ウェア構成を用意して実施される。被テス
ト対象システムに対しては実計算機を用いてのテストが
一般的であるが、それらを仮想計算機を用いてテストす
ることも可能であり、それらの場合には限られたハード
ウェア構成上に複数の被テスト計算機を構築することが
可能である。

第２に本発明は各被テスト計算機に投入されるテストデ
ータファイル中に蓄積されているテストジョブ、コマン
ド等はテスト毎に修正されるのではなく、投入時に被テ
スト計算機で使用可能な形に修正変更するため複数のテ
ストを同時に実行することを可能としている。

第３に本発明は被テスト計算機が実計算機、仮想計算機
いずれの場合であってもそれらと独立したテストの手続
きを与えることにより、大規模計算機システムのテスト
において必要なテスト手順の同時実行と実行状況の監視
、テス（−手続き間の同時制御、テスト進捗状況の記録
、及び被テスト計算機の立ち上げ、停止を自動的に実行
することにより、複数のテスト作業を並行して実施可能
であり、期待するテストが容易に実施されることになる
。

第４に本発明はテスト実施状態を外部記憶装置に引き継
いでおり、被テスト計算機のＩＰＬを何度も途中に含む
テストについて実行することが出来る。同時にテストの
実行時での異常状態に対する検出及び回復を行うことに
よりテストの自動継続や再実行を自動実行でき、テスト
要員を最小限にすることが出来る。

〔実施例〕

以下、本発明を図面を参照しつつ説明する。

第１図は本実施例の全体構成図である。１は自動テスト
が実行される計算機システムである。２は仮想計算機を
制御する制御プログラムである。

（以下、単４：、ＶＭＣＰという、）３はｖＭｃＰと連
動してその動作を制御する仮想計算機であり、ＶＭＣＰ
の動作を制御する。（以下０８ＴＤと略称する。）４−
１．４−２はテスト対象のソフトウェアのソフトウェア
を仮想計算機環境で動作させる場合の仮想計算機システ
ムである。（以下ＶＭと略称する。）１０はテスト対象
のソフトウェアを実計算機環境で動作させる場合の実計
算機システムである。（以下ＲＭと略称する。）９は２
゜３．４−１．４−２および１０から構成されるテスト
対象のソフトウェアを動作させる複合計算機システムで
ある。５−ａ、　５−ｂ、　５−ｃ、　５−ｄはそれぞ
れ０８ＴＤ、ＶＭ、又はＲＭ上においてテストの実行を
制御する本発明システムである。

（以下ＡＴＳと略称する。）６はＶＭにおける仮想コン
ソールデイスプレィ、７はＶＭにおける仮想プリンタで
ある６１１はＲＭにおける実コンソールデイスプレィ、
１２はＲＭにおける実出力プリンタである。８は０３Ｔ
Ｄを動作させるための手続きを格納するファイルである
。１３はテスト環境を定義する手続きを格納するファイ
ル、１４はテストに使用する資源を定義する手続きを格
納するファイル、１５はテストの手順、内容を定義する
手続きを格納するファイル、１６はテスト実行状況を逐
次蓄積するファイル、１７はテストの実行にともなって
発生するＲＭ又はＶＭにおける６または１１に対する出
力情報を逐次蓄積するファイル、１８は７または１２に
対するテストの実行結果を逐次蓄積するファイル、１９
は被テスト計算機に投入するテストジョブ、テストコマ
ンド、テストデータが格納されているファイル、２０は
被テスト計算機が異常状態となった場合に５−ａ。

５−ｂ、５−ｃがテストの続行のためその実行状態を記
録するファイルである。

ナス１〜対象のソフトウェアのテストは３の開始とそれ
に連動する５−ａの起動、及び５−ａより３に対する指
令による４−１，あるいは４−２の起動と、それに連動
する５−ｂ及び５−ｃの起動、１ｏにおいてはその開始
直後の５−ｄの起動によって開始される。５−ａ、　５
−ｂ、　５−ｃ、　５−ｄはそれぞれ動作が独立に開始
されるが、ファイル１３の手続きを入力、解釈すること
により、テストされる計算機環境がどのような構成で動
作しているか識別し、それぞれ３．４−１．４−２及び
１０で動作するＡＴＳ間の接続経路を確立し、システム
の同期合わせを行なった後その処理を開始する。

５−ａは１３に格納されているテスト環境定義手続きに
指示されている使用環境の定義とファイル８に格納され
ている仮想計算機動作手続きにもとづいて、４−１ある
いは４−２のＶＭの実行の開始を０３ＴＤを経由してＶ
ＭＣＰに連終する。

５−ｂ、５−ｃ、そして５−ｄは上記起動の後ファイル
１４のファイルよりテストに用いる資源を定義する手続
きを入力、解析してそれぞれＶＭ又はＲＭ上において実
行すべきテスト即ちオンラインシステム、ＴＳＳジョブ
、バッチジ目ブ群等に対応したテストの論理的単位であ
るテストプロセスを必要な数だけ生成して、それぞれの
テストプロセスに対応するテスト手順を格納するファイ
ル１５よりデス１−手続きを入力、解析し、ファイル１
９に格納されているテスト資源より必要なテスデータを
それぞれＶＭ又はＲＭへ投入していく。

テストの実行に伴い発生する事象はファイル１６にデス
１〜ログ情報として蓄積され、テスト実行後に別プログ
ラムによって解析される。５−ｂ、５−Ｃそして５−ｄ
はＶＭでは６に対して、ＲＭでは１１に対して発行され
るコンソール入出力情報を発生順にファイル１７に蓄積
格納する。同時にＶＭでは７に対して、ＲＭでは］２に
対して出力される出力結果を、第２図において説明する
工程により選別し、ファイル］８に蓄積格納する。

第２図は３．４−１．４−−２．及び１０において実行
される５　　ａ　＋　５　　ｂ　ｒ　５　　ｃ　ｌ　＋
、）　　ｄの制御機構を示している。ＡＴＳの動作はシ
ステム全体制御部（ＡＴＭＣ）１００によって開始され
る。Ａ　Ｔ　Ｍ、　Ｃは動作のために必要なファイルの
割当てとオープン、使用メモリ資源の確保と初期設定を
行った後、テスト環境定義手続き入力解析部（ＡＴＣＰ
）１１０、テスト資源定義手続き入力解析部（ＡＴＥＰ
）１２０を順次動作させる。また３で動作するＡＴＳの
場合テスト実行に先立って４．−１．４−２の起動を仮
想計算機連絡制御部（ＡＴＶＭ）１５３より３へ連絡す
ることにより実行する。

ＡＴＣＰはファイル１３よりテスト環境定義手続きを入
力、解析して、制御部ＡＴＭＣによって確保された制御
テーブルにその解析結果を格納する。同時に指定された
個数のテストプロセスを生成し、その処理完了後ＡＴＭ
Ｃへ制御を戻す。ＡＴ　Ｍ、　Ｃは制御部ＡＴＥＰに対
して、上記ＡＴＣＰによる解析結果をその人力として制
御を渡す。ＡＴＥＰにおいては使用テスト手順手続きフ
ァイル情報により当該ファイルの動的な割当てとオーブ
ン、使用するテストデータファイルの情報により当該フ
ァイルの動的な割当てとオープン、動作条件に対する手
続きからの情報をもとに処理を実行しテスト資源を使用
可能にし、ＡＴＭＣに制御を渡す。

本システムの被テスト計算機の動作を監視するモニタ部
は、メツセージ入出力について監視し、登録されたメツ
セージが発生した場合にＡＴＭＣ連絡を行うメツセージ
入出力モニタ部（ＡＴＭＳ）１５０、発生しの監視を指
定された事象が被テスト計算機内に発生した場合ＡＴＣ
Ｃに連絡を行う被テスト計算機状態モニタ部（ＡＴＭＮ
）１５１゜指定された経過時間を監視しＡＴＣＣに時間
の経過を報告する経過時間モニタ部（ＡＴＴＭ）１５２
よりなる。

上記処理完了後、ＡＴＭＣはコンソール入出力を処理す
るメツセージ入出力モニタ部（ＡＴＭＳ）１５０、被テ
スト計算機状態モニタ部（ＡＴＭＮ）１５１、被テスト
計算機時間モニタ部（ＡＴＴＭ）１５２を起動した後、
テストプロセスの実行を制御するテストプロセス制御部
（ＡＴＣＣ）１６０を起動するとともに、コンソール入
出力の監視処理及びテスト環境定義手続きに定められた
条件によりテスト実行時間の監視を制御部（ＡＴＴＭ）
］−５２に対して指令する。

制御部ＡＴＣＣは生成された複数のテストプロセスに対
する処理を多重に実行することにより複数のテストの多
重実行を可能としている。制御部ＡＴＣＣはテスト実行
手順手続き人力解析部（ＡＴＳＰ）１３０に対してテス
ト手Ｊｌｒｉの手続きの入力、解析を指令する。Ａ、　
Ｔ　Ｓ　Ｐはテスト手順手続きを第１−図のファイル１
５より入力し、その解析を行い、その結果、を第３図で
説明されるキューとして登録する。本処理により生成さ
れるキューＲＥＱＱ２００はシステムへの投入に必要な
テストジョブのファイル中のメンバ名称、応答待ちメツ
セージ発生時の応答条件手続きのメンバ名称、ジョブ実
行の結果リスト解析手続きのメンバ名称、最大実行許容
時間、動作条件、又は投入すべき被テスト計算機に対す
るコマンド、又はＶＭの制御コマンド、又は発生が予想
される状態について監視すべき情報を指示する項目を含
む。

ＡＴＣＣはＡＴＳＰの処理完了の報告後テスト資源管理
制御部（ＡＴＥＸ）１４０にキューＲＥＱＱをパラメタ
として渡し、動作を指令する。

ＡＴＥＸはキューＲＥＱＱの情報により、テスト実行の
ための制御情報を保持するキューＪＯＢＱ２１０．コマ
ンド情報を保持するキューＣＭＤＱ２２０．メツセージ
情報を保持するキューＭＳＧＱ２５０または経過時間の
検出のためのキューＴＩＭＱ２３０とともに、監視すべ
き条件の成立時の動作を規定するＡＣＴＱ２２０を生成
して監視条件手続き入力、解析部（ＡＴＣＮ）１．４１
に制御を渡し、テストプロセス実行中に発生が予想され
る応答付きメツセージに対する応答の内容の定義、指示
の事象即ち発生するメツセージ、経過時間、被テスト計
算機のメモリの内容、資源（ＣＰＵ使用率、スプールフ
ァイル使用率、入出力使用率等）の監視事象とそれに対
する動作内容即ちコマンドの投入、指定したジョブの投
入、実行。

メモリダンプの採取、指定テストプロセスの停止、及び
当該被テスト計算機即時停止指示をＡＴＳに登録する。

これらのテスト実行に関連する情報は全て第３図におい
けるキューに変換され、それぞれテストプロセスの実行
に伴ってモニタ部によって各キューを解析実行すること
によって所定の動作が行われる。ＡＴＣＣはモニタ部Ａ
ＴＭＳ、ＡＴＭＮ、ＡＴＴＭからの連絡を受けた場合、
第３図に示されたキューの関連情報にもとづき対応する
処理を実行する。

以上説明した一連の動作がすべてのテスト手順を処理す
るまでテストプロセスごとに多重に繰り返される。

メモリダンプの採取、被テスト計算機の停止指令は事象
発生時、ＡＴＭＣより、被テスト計算機がＶＭの場合に
は仮想計算機に対する指令を実行する仮想計算機連絡制
御部（ＡＴＶＭ）１５３を経由して３に対して連絡され
、ＲＭの場合には直接の指令をＲＭに対して連絡するこ
とによってその処理が行われる。

、　　第３図は第２図により説明した制御手順で処理さ
れる情報について、処理に使用される内部情報としての
関連を表したものである。

ＲＥＱＱ２００はテスト手順の情報を保持するキューで
あり、ジョブの実行、又はコマンドの投入、又は指定時
間の経過の待ち、又はメツセージの発生、メモリ情報、
実行時間、システムの状態等の監視、又はテスト手順の
投入終了のテスト手順種別と、テスト手順種別に従って
作成される関連するキュー２１０　、２３０　、２４０
　、２５０へのポインタを保持している。テスト手順の
種別がジョブの実行の場合には、ジョブのファイル中で
のメンバ名、メツセージの発生、メモリ情報、実行時間
、システムの状態等の監視すべき事象とそれに対する処
理を記述する手順のファイル中でのメンバ名、ジョブ終
了時にジョブ出力結果について検証すべき条件を記述す
る手順のファイル中でのメンバ名を保持する。キュー２
００はテスト手順の解析時確保され、テスト手順処理が
終了すると他の関連するキューとともに削減する。

、７０　Ｂ　Ｑ　２１．　Ｏはキュー２００のテスト手
順種別がジョブの実行の場合に確保され、ジョブの実行
に対してテスト手順で指示された条件、及びジョブ実行
中において、開始時間、終了時間、使用したシステムの
資源の記録を保持する。

ＡＣＴＱ２２０はキュー２１０，２３０．２４Ｑ、２６
０よりポイントされ、メツセージの発生。

メモリ情報、実行時間、システムの状態等の監視事象が
発生した場合の処理を規定する情報を保持するキューで
あり、コマンドの投入、応答付きメツセージに対する応
答、他のシステムで動作中のＡＴＳへの連絡、あらかじ
め用意されたジョブの投入、ダンプの採取、システムの
停止、メツセージの出力、ジョブのキャンセル等の動作
を規定する。

ＪＯＢＱ２３０はシステムにおいて時間の経過の検出に
用いるキューであり、キュー２３０を確保し時間間隔を
キューへ指定すると、指定された時間に達した時に連絡
要求元へ時間の経過が連絡される。これらはキュー２０
０，２１．０の他システムの処理で様々な用途に用いら
れる。

ＣＭＤＱ２４０はキュ　２００，２２０よりポイントさ
れ、投入すべきコマンドを保持するキューである。

ＭＳＧＱ２５０はキュー２００，２１０よりポイントさ
れ、監視すべきメツセージの内容を保持するキューであ
る。メツセージの発生の度にキュー２５０に’ＭＢされ
ているメツセージの内容と一致するか否かが判定され、
一致した場合には’ＡＲした連絡要求元へその発生が連
絡される。

第４図はテストプログラム間又はＡＴＳとテストプログ
ラムの間で行われる情報の送受信について示している。

テストプログラム３１０とテストプログラム３２０間で
同期を取ったり、互いに情報を送受信したい場合、テス
トプロゲラ１２の動作中、メツセージ情報やメモリ情報
を参照したい場合、その処理の種類を初期設定でＡＴＳ
へ連絡した後、必要な時点でＡＴＳに処理を要求する。

ＡＴＳは被テスト計算機で動作中のテストプログラムよ
り上記処理要求があった場合には、第２図で説明した制
御機構で要求の情報の送受信を行う。

要求の種類が地被テスト計算機に対するものの場合、第
５図で示される連絡機構を用いて処理を行う。要求の種
類が被テスト計算機のコンソール情報の場合はＡＴＳの
モニタ部により作動中のすへての被テスト計算機のコン
ソール３３０の入出力情報をテストプログラムの要求が
あり次第渡す。

要求の種類が被テスト計算機のメモリ情報の場合はすべ
ての被テスト計算機についてＡ、　Ｔ　Ｓのモニタ部に
より一定時間間隔で監視しているメモリの内容３４．０
がテストプログラムの要求があり次第渡す。ＶＭに対し
てはＶＭＣＰ又は０３ＴＤのコマンドの形式で命令を発
行する。

ＡＴＣＣはテスト手順３１１，３１２の手続きを１個づ
つ処理するが、テストジョブ、コマンドの投入は、テス
トジョブ、コマンド投入部２１０に指令をだして実行す
る。又テストジョブの終了時にはテスト結果入力照合判
定部（ＡＴＯＴ）１７０により、結果リスト中の特定文
字列の探索により所定の実行結果を得たか否かを判定す
る。またこれらの実行についてその更新交信の記録がフ
ァイル１６に逐次蓄積格納される。

第５図は複数のシステム間での情報の連絡を行うための
通信手順の関連を表したものである。各被テスト計算機
で動作するシステム４４０．４５０は、仮想計算機で動
作する場合には共通なメモリ４．　ＯＯを、実計算機で
動作する場合には共通な外部記憶ファイル４１０を使用
し、４００又は４１０を一定時間の間隔で参照して他の
ＡＴＳからの連絡がないかどうかの検出処理を行う。所
定の被テスト計算機で動作するＡＴＳが他のＡＴＳへ情
報を通信する場合には連絡情報を上記共通連絡領域４０
０、又は共通連絡ファイル４１０へ出力することのより
実行される。第５図においてのＡＴＳ間の連絡は、３へ
の指令によりＶＭＣＰ２が特定の共通なメモリ４００を
書替えることによりなされる。互いに二つの被テスト計
算機計算機間で連絡が有ったかどうかの有無及び相手計
算機が作動中か否かの監視動作は以上の機能を使用して
ＡＴＳがその状態を把握し、テストプロセスの実行を進
めていく。それぞれのＡＴＳは一定時間の間隔で４００
又は４１０を参照することにより被テスト計算機システ
ムでどれだけのシステムが動作中か、又被テスト計算機
のシステムダウン等が発生していないかどかを検証して
、特定の被テスト計算機の異常状態が発生していること
を検出した場合、最初に検出したＡＴＳがそれに対応す
る回復動作を実行する。

第６図はテストデータファイル１９に格納されているテ
ストデータに対して、テスト環境に合わせた変更を行う
関連を表したものである。テストデータファイル中のテ
ストデータは例えば使用するディスクの場合には作成時
の想定テスト環境５００あるいは５１０を前提として作
成されているが、想定テスト環境が実際のテスト環境と
異なっている５２０あるいは５３０である場合、その旨
テスト環境及びテスト手順手続き中に指定することによ
り動作させるため、以下の一部情報の補正処理を行う。

テストデータ入出力部（ＡＴＩＯ）１４２で入力された
テストジョブ、コマンドはテスト環境定義手続き入力解
析部（ＡＴＣＰ）１１０により入力解析される環境定義
手続きにより作成されるシステム環境状態を保持するテ
ーブル５７０、及びテスト資源定義手続き入力解析部（
ＡＴＳＰ）１３０で入力され解析するテスト実行手続き
中であらかじめ指定されて作成された変換情報を保持す
るテーブル５８０にもとづいて１４２によりテストデー
タ入力時、データの一部が５４０から５５０へと変更補
正され、被テスト計算機で動作可能な形に変換された後
、１４２によって被テスト計算機に投入される。

第７図はファイル１３，１４．１５中に格納されている
テスト環境、テスト資源、及びテスト手順の手続き間の
関連、及び被テスト計算機で異常状態によりシステムの
実行が不可となった場合にＯＳの再Ｉ　Ｐ　Ｌ　（Ｉｎ
ｉｔｉａｌ　Ｐｒｏｇｒａｍ　Ｌｏａｄ）を含むテスト
の再実行を行う場合のテスト環境、テスト資源手続き、
テスト手続き、テスト実施状況を引き継ぐ場合の関連に
ついて表したものである。

テスト環境、テスト資源、テスト手続きはそれぞれ６４
０，６５０そして６６０に分かれておりそれぞれ対応す
る情報を格納して手続きに従って関連づけられている。

６４０，６５０．そして６６０はファイル６００に同時
に記録される。ファイル６００はテストの実行状況を逐
次蓄積して格軸部６１０及びそれぞれテストプロセスに
対応して格納部６２０．格納部６３０を保持する。格納
部６２０．格納部６３０はそれぞれ指定された個数分生
成される。格納部６１０はテスト環境手続きの解析の結
果による情報６４．０を格納するとともに、現在どのテ
スト環境を使用してテストが実行されているのかを保持
する。格納部６２０はテスト資源定義手続きの解析の結
果による情報６５０を格納するとともに、現在どのテス
ト資源を使用して当該テストプロセスがどこまで実行さ
れているのかを保持する。格納部６３０は実行中のテス
トプロセスにおいて実行中のテストの手順、内容を定義
する手続きの解析の結果による情Ｉ！６６０を格納する
とともに、現在どのテスト手順まで実行されているのか
を保持する。第７図におけるファイル６００においては
２つのテストプロセスが存在して１つ目のテストプロセ
スはテスト手順Ｂ１を２つ目のテストプロセスはテスト
手順Ｂｎを実行中であり、テスト手順はそれぞれＣ１，
Ｃｎを処理中であることを表している。

ファイル６００の初期設定４−１．４−２の開始直後最
初にアクセスしたＡＴＳによって行われるが、当該ファ
イルの状態によって、正常な立ち上げなのか、再開始立
ち上げなのかを判別して、自システムの処理形態を決定
する。処理形態を決定はテスト環境定義手続き入力解析
部（ＡＴＣＰ）１１０により、環境定義の手続き解析時
指定された手続き中にＩＰＬ手続きを含む再開始手続き
が何回含まれているかカウントし、最終状態を示すフラ
グが実行中でかつ再開始カウンタが初期値でなければ再
開始立ち上げであると判断する。異常状態発生等の再立
ち上げの場合はテスト資源定義手続き入力解析部（Ａ、
ＴＥＰ）１２０において、格納部６２０及び格納部６３
０に格納されている最終の状態まで手続きの解析をスキ
ップして開始処理が行われる。立ち上げ時のシステムの
運転の指令内容によっては上記の状態を無視して最初の
手続きから処理を行ったり、最終の状態の次の手続きか
ら処理を行ったりすることも可能である。

Ａ、ＴＭＣｌｏｏはこれらの動作を制御し、必要な指示
をそれぞれの制御部に指示する。

テストの実行に伴うファイル６００の更新は以下のごと
く行われる。テスト環境定義手続き入力解析部（ＡＴＣ
Ｐ）１１０がファイル１４よりテストに用いる資源を定
義する手続きを入力、解釈する時、同時に当該手続きの
先頭からの相対位置Ｂ１やＢｎを順次ファイル６００に
記録する。また各テストプロセスに対応してテスト手順
を格納を格納するファイル１５より手続きを入力、解釈
する際、同時に当該手順の先頭からの相対位ｉｃ１やＣ
ｎを順次ファイル６００に記録する。

複数の被テスト計算機間で動作中のＡＴＳは各被テスト
計算機で互いにファイル６００をその起動時アクセスし
て、テスト状態がどの被テスト計算機からも同等に参照
することが可能である。互いに二つの被テスト計算機計
算機間で連絡が有ったかどうかの有無及び相手計算機が
作動中か否かの監視動作は第５図で示された機構を使用
して実行され、各被テスト計算機でその状態が把握され
る。異常状態の発生またはシステムダウン等による連絡
動作の停止の検出は異常状態発生当該被テスト計算機の
システム以外で動作するＡＴＳで検出され、それらに対
してあらかしめ指定された手順にもとづいて再開始の操
作が当該被テスト計算機に対して行われ、引き続き異常
状態の検出された被テスト計算機でのテストが続行され
る。

〔発明の効果〕

本発明は、異常説明したように構成されているので以下
に記載されるような効果を奏する。

第１にテスト環境に関する手続き、テスト資源に関する
手続き、テスト手順に関する手続きをそれぞれ独立に複
数与えることによりテスト条件の設定が従来の単一的手
続きを与える手法にたいして、同時に複数のテスト担当
者の設定したテストを同時実行できる。

第２に仮想計算機システムとインタフェースを保持して
システムの動作が可能であり、テストの実行に伴う被テ
スト計算機の状態監視、計算機間の同時制御、レジスタ
情報、メモリ情報の必要時点での採取、被テスト計算機
の停止等の従来手法では実現が困難であった複数計算機
でのテストをも可能とし、テストの効率向上を実現でき
る。

第３に上記の番手続きを一連の手続きとして一括して処
理する場合、互いに独立な要素である手続きの内容が分
かれず、保守効率が低い。従ってテスト環境に関する手
続き中で２個々のテストプロセスで使用するテスト資源
の定義を手続きとして規定し、被テスト計算機に対する
環境、動作とそれにより行われるテストプロセスを階層
化した。

又それぞれのテスト手順はテストプロセスの定義手続き
中で使用を指定することにより、同様に独立性を保持さ
せている。この階層構造により、従来に比べてメインテ
ナンスの効率面からでなく、テストの実行に関する手続
きの表現がよりわかりやすくなりテスト準備作業工数を
低減できる。

第４に一度作成したテストデータはテスト環境が変化し
ても、データの一部補正を行うため、テスト環境が変化
する度に修正することが不要であり、テストデータの格
納スペースを低減できる。

同時にテスト環境設定についても共通化を図ることによ
り設備の投資工数を削減することができる。

第５に異常状態の発生によるテスト中断を再開始機能に
より回避することが出来、それに伴うテスト時間のロス
を低減することができる。

【図面の簡単な説明】

第１図は本発明の実施例の構成を示す機能ブロック図、
第２図は本発明の制御機構を説明するシステムの制御部
間の関連図、第３図はテスト動作環境定義手続き、生成
されるテストプロセスで使用するテスト資源定義手続き
と使用するテスト手順手続き、及びそれらに対する動作
条件の関連図、第４図はテストプログラム間又はＡＴＳ
とテストプログラムの間で行われる情報の送受信につい
ての関連図、第５図は複数の被テス１−計算機システム
間での情報の連絡を行うための田楽についての関連図、
第６図はテストデータファイルに格納されているテスト
データに対して、テスト環境に合わせた変更の実行につ
いて関連図、第７図はテスト環境、テスト資源、及びテ
スト手順の手続き間の関連、及び被テスト計算機で異常
状態によりシステムの実行が不可となった場合の回復動
作についての関連について表した図である。 １・・・被テスト計算機、２・・・仮想計算機制御プロ
グラム（ＶＭＣＰ）、４−１．４−２−・・仮想計算機
（ＶＭ）、６・・・仮想コンソール、９・仮想計算機シ
ステム、１０・・・実計算機、１２・・・実コンソール
デイスプレィ、１３・・・テスト環境定義ファイル、１
４・・・テスト資源定義ファイル、１５・・・テスト手
順定義ファイル、１６・・・テストログファイル、１７
・・画面蓄積ファイル、１８・・・出力結果蓄積ファイ
ル、１９・・テストデータファイル、２０・・実行状態
記録ファイル。 第１図 英　２　図 纂　３　図 纂４図 嵩　５　図 第　６　図 纂　７　図

Claims (1)

【特許請求の範囲】
1. １、複数又は単独の実計算機または仮想計算機から構成
   される計算機システムで動作するソフトウェアのテスト
   において、複数の独立したテストの実施を同時に実行す
   るためにテスト環境を設定する手続き、テスト資源の使
   用を設定する手続き、テスト手順を設定する手続きを複
   数のテスト実施者が独立に指令できる手順と、その解析
   及びテストの実行の制御を多重に実行する手順を有し、
   被テスト計算機上のオペレーティングシステム（ＯＳ）
   の発行したコンソールに対する入出力命令を検出する手
   段と、仮想計算機が発行するコンソールに対する入出力
   命令要求を検出する手段と、所定の手続きにより被テス
   ト計算機に対するテストジョブを投入する手段と、所定
   の手続きにより被テスト計算機に対するコマンドを投入
   する手段と、所定の手続きにより被テスト計算機に対す
   るテストジョブ、コマンドを補正する手段と、テストジ
   ョブ及びコマンドの投入を被テスト計算機のＯＳ及び被
   テスト対象ソフトウェアの状態、テスト経過時間、被テ
   スト計算機の出力情報に対する監視すべき状態に応じて
   実行すべき動作を制御する手段と、被テスト計算機内で
   動作するテストプログラムに実行中の計算機システムで
   出力中のＯＳ及び仮想計算機制御プログラム及びサーバ
   計算機システムのメッセージ情報を連絡する手段と、実
   行中の計算機システム内の参照すべきメモリ情報をテス
   トプログラムに連絡する手段と、被テスト計算機のシス
   テムループ、システムウェイトを含む異常状態発生時に
   異常状態の原因を究明するための資料を自動的に採取す
   る手段と、システムループ、システムウェイトである異
   常状態発生時に被テスト計算機の最終状態の資料採取後
   、被テスト計算機での後続のテストを続行するためのテ
   スト実施状態を記憶する手段と、記録したテスト実施状
   態によりテスト実行のため被テスト計算機での再起動を
   含むテスト実行のため異常状態発生直前又は当該状態直
   後に制御状態を補正し、再開始を実行するための制御手
   段と、上記テスト手続きを格納するファイルより被テス
   ト計算機により出力される出力情報を入力してテスト結
   果の合否の判定を行う手段と、テスト結果をテストの実
   行により逐次ファイルに蓄積格納する手段と被テスト計
   算機間の同期を制御する通信手段と、テスト環境を設定
   する手続きを格納するファイルと、テスト資源の使用を
   設定する手続きを格納するファイルと、テスト手順を設
   定する手続きを格納するファイルと、テスト中に被テス
   ト計算機の再立ち上げ、停止及び使用するテスト資源を
   指示する手続きを格納するファイルと、一連のテストの
   実行結果を実行した被テスト計算機全てについて蓄積格
   納するファイルと、被テスト計算機に投入すべきテスト
   ジョブ、コマンドを複数のテスト者は独立に実行するた
   め複数のテスト手続きを格納するファイルと、テスト結
   果を蓄積格納するファイルを有し、これらを多重に実行
   することを特徴とする計算機システムのソフトウェアに
   対するテスト自動化方式。