JPH0830487A - プログラムのテスト方法および装置 - Google Patents
プログラムのテスト方法および装置Info
- Publication number
- JPH0830487A JPH0830487A JP6164415A JP16441594A JPH0830487A JP H0830487 A JPH0830487 A JP H0830487A JP 6164415 A JP6164415 A JP 6164415A JP 16441594 A JP16441594 A JP 16441594A JP H0830487 A JPH0830487 A JP H0830487A
- Authority
- JP
- Japan
- Prior art keywords
- program
- information
- command
- catalog
- catalog data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
- Stored Programmes (AREA)
Abstract
テストを自動化し、プログラムのテストにおける作業ミ
スを低減し、しかも短時間で確実なテストを行うことを
可能とする。 【構成】予め記録媒体に格納されたテスト項目に対応す
るカタログデータを媒体取扱部12を介して読み出し、
カタログデータ格納部22にロードした後、修正処理部
26は、先に述べたテーブル等に基づきカタログデータ
中の装置アドレス部分を検索し、その部分を実際のハー
ドウェア構成に合わせて修正し、またはカタログデータ
内の実際のハードウェア構成に用いられていない装置名
を含むコマンド行を無効化する。修正されたカタログデ
ータは、コマンド展開部28において、対応テーブル格
納部24に格納されたカタログデータとオペレータコマ
ンドとの対応テーブルを参照することにより、オペレー
タコマンドに展開され、この展開されたオペレータコマ
ンドによりテストが実行される。
Description
る制御プログラム、テストプログラム、その他の実行プ
ログラムのテストを行うためのプログラムのテスト方法
および装置に関する。
の他の実行プログラムのような計算機システムにおける
プログラムの正常性を確認するために、プログラムのテ
ストが行われる。
めのテストは、例えば新規にプログラムを開発した場
合、バージョンアップ等によりプログラム自体を変更し
た場合、またはプログラムを実行するためのシステムを
変更した場合等に行われる。このプログラムのテストに
より確認すべき項目としては、種々のプログラムに共通
な項目も多く含まれる。すなわち、プログラムのテスト
は、全く共通のテスト項目または一部が共通のテスト項
目について行うことになる。一部が共通のテスト項目
は、個々のテストの際に非共通部を修正してテストに供
される。このようなプログラムのテストは、オペレータ
コマンドを実行することによって行われることになる
が、テストの都度手作業でオペレータコマンドの全てを
入力していたのでは、操作が煩雑である。
ンドおよび装置アドレス等を含むカタログデータをカタ
ログデータ名と共に記録媒体に格納しておき、プログラ
ムのテスト時に前記カタログデータを記録媒体から読出
し、そのカタログデータをオペレータコマンドに変換し
てテストを行うようにしている。このようなカタログデ
ータは、種々のテストに対応させるために複数用意され
ることが多く、その場合、プログラムのテスト時にカタ
ログデータ名により必要なカタログデータを指定して、
記録媒体から読出すようにしている。また、カタログデ
ータは、典型的なものを雛形すなわち参照用として用意
しておけば、その参照用のカタログデータに若干の変更
を施し、変更後のカタログデータをオペレータコマンド
に変換してテストに供することにより種々の状況に対処
することができる。
のハードウェア構成を種々に変更して、同様のテスト項
目でプログラムの動作確認を行う場合、その都度、参照
用(雛形)とするカタログ名を指定し、さらにシステム
のハードウェアの装置構成を調べ、それに合わせてカタ
ログデータ中の装置アドレスを変更する。このとき、カ
タログデータ中の装置名に該当する装置がシステムのハ
ードウェアに存在しない場合には、該当するコマンド行
をコメント化(実行の対象とならないコメント行に変更
する)して無効とするか、削除するかしてテストに供す
る。
ている全ての装置を使用してシステムについてのテスト
を行うのではなく、新規プログラムまたは変更プログラ
ムについてテストを行う場合がある。
基づき、新規プログラムまたは変更プログラムを調べ
て、カタログデータを新たに手作業で修正することにな
る。さらに、オペレータコマンドのパラメータの仕様と
してデフォールト値が設定されている場合には、デフォ
ールト値についてパラメータを「明」に指定、つまりデ
フォールト値を具体的に指定したときと、デフォールト
値を具体的に指定しない(このように具体的にパラメー
タの指定がないときに自動的に選択されるのがデフォー
ルト値である)、つまり「暗」に指定したときとの両方
についての動作の確認が必要となる。
ムのハードウェアの装置構成を調べて、それに合わせて
参照用のカタログデータ中の装置アドレスを変更してテ
ストに供する際に、システムのハードウェアに存在しな
い装置については、該当するコマンド行を無効とするた
め、参照用のカタログデータを手作業で修正し、コマン
ド行をコメント化または削除しなければならない。
かり、しかも作業ミスが発生し易い。また、システムの
装置構成を調べるのにも多くの時間を要する。また、新
規プログラムまたは変更プログラムについてテストを行
う場合には、新規プログラムまたは変更プログラムの内
容を調べて、参照用のカタログデータを手作業で修正し
なければならない。
び参照用カタログデータの修正における作業ミスが発生
し易く、修正にも時間を要する。さらに、デフォールト
値を具体的に指定したときと、デフォールト値を具体的
に指定しないときとの両方についての動作の確認が必要
な場合において、カタログデータが実行時に初めてオペ
レータコマンドに自動的に変換される仕様、すなわちカ
タログデータにおいて直接オペレータコマンドおよびパ
ラメータを指定できない仕様を採用している場合には、
種々のパラメータの指定の仕方についての正常性を確認
することはできない。
を有効に活用してプログラムのテストを自動化し、プロ
グラムのテストにおける作業ミスを低減し、しかも短時
間で確実なテストを行うことを可能とするプログラムの
テスト方法および装置を提供することにある。
は、対象プログラムを実行するハードウェアシステムの
構成に関する情報であって当該対象プログラムに予め含
まれるシステム構成情報から、プログラムのテストのた
めのテスト項目のカタログ情報に対応するシステム情報
を抽出する情報抽出ステップと、予め用意されたプログ
ラムのテストのためのテスト項目の参照カタログ情報を
読み込む参照カタログ読込ステップと、前記カタログ情
報に対応するシステム情報および所定のコマンドフォー
マットに基づき前記参照カタログ情報を自動的に修正す
るカタログ修正ステップと、修正されたカタログ情報に
所定のオペレータコマンドを対応させ、該カタログ情報
をオペレータコマンドに展開して、前記プログラムのテ
ストに供するコマンド展開ステップとを有するプログラ
ムのテスト方法である〔請求項1〕。
ラムを提供する媒体および更新後のプログラムを提供す
る媒体から各媒体に格納される個別プログラムの名称、
版番号、タイムスタンプおよびプログラムサイズの情報
のうちの少なくとも名称を含む一部の情報からなるプロ
グラム情報を読出し、該プログラム情報が両媒体間で完
全に一致する非更新プログラム名情報を抽出する非更新
プログラム抽出ステップをさらに有し、且つカタログ修
正ステップは、前記非更新プログラム名情報に該当する
個別プログラムに対応するカタログ情報を無効とする非
更新項目無効化ステップを含んでもよい〔請求項2〕。
前記第1の方法において、オペレータコマンドのコマン
ドフォーマットのバリエーションについてのコマンド展
開の条件情報を予め登録する条件登録ステップをさらに
有し、且つコマンド展開ステップは、登録された条件情
報に従ってオペレータコマンドへの展開を行うステップ
を含んでいてもよい〔請求項3〕。
グラムを提供する媒体および更新後のプログラムを提供
する媒体から各媒体に格納される個別プログラムの名
称、版番号、タイムスタンプおよびプログラムサイズの
情報のうちの少なくとも名称を含む一部の情報からなる
プログラム情報を読出し、該プログラム情報が両媒体間
で完全に一致する非更新プログラム名情報を抽出する非
更新プログラム抽出ステップと、予め用意されたプログ
ラムのテストのためのテスト項目の参照カタログ情報を
読み込む参照カタログ読込ステップと、前記非更新プロ
グラム名情報に該当する個別プログラムに対応するカタ
ログ情報を無効とすべく前記参照カタログ情報を自動的
に修正するカタログ修正ステップと、修正されたカタロ
グ情報に所定のオペレータコマンドを対応させ、該カタ
ログ情報をオペレータコマンドに展開して、前記プログ
ラムのテストに供するコマンド展開ステップとを有する
プログラムのテスト方法である〔請求項4〕。
ンドのコマンドフォーマットのバリエーションについて
のコマンド展開の条件情報を予め登録する条件登録ステ
ップをさらに有し、且つコマンド展開ステップは、登録
された条件情報に従ってオペレータコマンドへの展開を
行うステップを含んでいてもよい〔請求項5〕。
ムを実行するハードウェアシステムの構成に関する情報
であって当該対象プログラムに予め含まれているシステ
ム構成情報から、プログラムのテストのためのテスト項
目のカタログ情報に対応するシステム情報を抽出するた
めの情報抽出手段と、参照用のカタログ情報を提供媒体
から読み込むための参照カタログ読込手段と、前記カタ
ログ情報に用いられるコマンドのコマンドフォーマット
を記憶するためコマンドフォーマット記憶手段と、前記
システム情報およびコマンドフォーマットに基づいて前
記参照カタログ情報を修正するためのカタログ修正手段
と、前記カタログ情報とオペレータコマンドの対応情報
を記憶するための対応情報記憶手段と、前記対応情報に
基づき前記カタログ修正手段で修正されたカタログ情報
に所定のオペレータコマンドを対応させ、該カタログ情
報を、前記プログラムのテストに供されるオペレータコ
マンドに展開するためのコマンド展開手段とを具備する
プログラムのテスト装置である〔請求項6〕。
ラムを提供する媒体および更新後のプログラムを提供す
る媒体から各媒体に格納される個別プログラムの名称、
版番号、タイムスタンプおよびプログラムサイズの情報
のうちの少なくとも名称を含む一部の情報からなるプロ
グラム情報を読出すためのプログラム情報読出手段と、
該プログラム情報が両媒体間で完全に一致する非更新プ
ログラム名情報を抽出するための非更新プログラム抽出
手段とをさらに具備し、且つカタログ修正手段は、前記
非更新プログラム名情報に該当する個別プログラムに対
応するカタログ情報を無効とするための非更新項目無効
化手段を含んでいてもよい〔請求項7〕。前記第1の装
置において、オペレータコマンドのコマンドフォーマッ
トのバリエーションについてのコマンド展開の条件情報
を予め登録するための条件登録手段をさらに具備し、且
つコマンド展開手段は、前記条件情報に従ってオペレー
タコマンドへの展開を行うための手段を含んでいてもよ
い〔請求項8〕。
グラムを提供する媒体および更新後のプログラムを提供
する媒体から各媒体に格納される個別プログラムの名
称、版番号、タイムスタンプおよびプログラムサイズの
情報のうちの少なくとも名称を含む一部の情報からなる
プログラム情報を読出すためのプログラム情報読出手段
と、該プログラム情報が両媒体間で完全に一致する非更
新プログラム名情報を抽出するための非更新プログラム
抽出手段と、プログラムのテストのためのテスト項目の
参照用のカタログ情報を提供媒体から読み込むための参
照カタログ読込手段と、前記非更新プログラム名情報に
該当する個別プログラムに対応するカタログ情報を無効
とすべく前記参照カタログ情報を修正するためのカタロ
グ修正手段と、前記カタログ情報とオペレータコマンド
の対応情報を記憶するための対応情報記憶手段と、前記
対応情報に基づき前記カタログ修正手段で修正されたカ
タログ情報に所定のオペレータコマンドを対応させ、該
カタログ情報を、前記プログラムのテストに供されるオ
ペレータコマンドに展開するためのコマンド展開手段と
を具備するプログラムのテスト装置である〔請求項
9〕。
ンドのコマンドフォーマットのバリエーションについて
のコマンド展開の条件情報を登録するための条件登録手
段をさらに具備し、且つコマンド展開手段は、登録され
た条件情報に従ってオペレータコマンドへの展開を行う
ための手段を含んでいてもよい〔請求項10〕。
は、システム情報およびプログラムの更新に関する情報
の少なくとも一方、ならびに所定のコマンドフォーマッ
トに基づき参照カタログ情報を修正し、修正後のカタロ
グ情報を所定のオペレータコマンドに展開して、プログ
ラムのテストに供するようにして、カタログデータを有
効に活用してプログラムのテストを自動化し、プログラ
ムのテストにおける作業ミスを低減し、しかも短時間で
確実なテストを行うことを可能とする。
ータと合致しないハードウェア構成のシステムでテスト
を行う場合、所要の装置アドレスの修正、当該システム
に存在しないテスト対象装置に対応するコマンド行の無
効化を自動的に行うことによって、作業のミスの防止お
よび修正時間の短縮、ひいてはテスト時間の短縮を図
る。
てテストを行うとき、更新前プログラムに相当する参照
用のカタログデータの非更新部分に対応する個別プログ
ラムを無効としたカタログデータを自動的に生成するこ
とによって、作業ミスを防止し、新規または変更プログ
ラムの調査、それに基づく修正時間を低減する。
となるオペレータコマンドの仕様を確認する場合には、
参照用のカタログデータのコマンドを、コマンドフォー
マットのバリエーションに応じた1個以上のオペレータ
コマンドを自動的に生成することによってコマンドフォ
ーマットのバリエーションについてのプログラムの正常
性を確認する。
テムの具体的な実施例を図面を参照して説明する。
によるプログラムのテストシステムの構成を示してい
る。図1のプログラムのテストシステムは、一般的なコ
ンピュータシステムにおけるプログラムのテストを行う
ものとして構成されており、制御プログラム格納部1
0、媒体取扱部12および中央処理部(CPU)14を
有している。
処理部14に付随するメインメモリ(明確には図示して
いない)の一部である。この制御プログラム格納部10
に格納されている制御プログラムは、例えばオペレーテ
ィングシステム等を含むシステムの制御プログラムであ
り、制御プログラムからシステムのハードウェア構成情
報16を得ることができる。媒体取扱部12は、例えば
ディスク装置であり、前記制御プログラム、カタログデ
ータ、およびカタログ修正/起動プログラムが格納され
たディスク等の記録媒体を読み書きする。
納部10にロードされて中央処理部14により実行され
る。該制御プログラムは、通常は、システム起動時に制
御プログラム格納部10に予めロードされているが、さ
らに必要に応じて、媒体取扱部12により前記記録媒体
から読出され、制御プログラム格納部10にロードされ
る。カタログデータは、参照もしくはテスト実行のため
のテスト項目に対応するコマンドおよび装置アドレス等
を含んでいる。カタログ修正/起動プログラムは、中央
処理部14に付随するメインメモリにロードされて、中
央処理部14による前記カタログデータの修正、修正さ
れたカタログデータのオペレータコマンドへの展開、お
よびオペレータコマンドの実行によるテストプログラム
の起動等を行うためのプログラムである。
8、コマンドフォーマット格納部20、カタログデータ
格納部22、対応テーブル格納部24、修正処理部26
およびコマンド展開部28を有する。コマンドフォーマ
ット格納部20、カタログデータ格納部22および対応
テーブル格納部24は、例えばメインメモリの一部であ
る。修正処理部26およびコマンド展開部28は、中央
処理部14においてカタログ修正/起動プログラムの実
行により確立される機能部分である。
ム格納部10に格納された制御プログラム中のハードウ
ェア構成情報からシステム情報を抽出しテーブルの形で
例えばメインメモリに格納する。このシステム情報は、
プログラムのテストのためのテスト項目のカタログ情報
に対応し、例えばシステムを構成する装置の装置アドレ
ス、装置名、およびオプション機能を含んでいる。
ログデータに使用されるコマンドの文法的情報であるコ
マンドフォーマットを格納する。カタログデータ格納部
22は、テストのために提供される記録媒体から媒体取
扱部12により読出されたカタログデータを格納する。
対応テーブル格納部24は、カタログデータとオペレー
タコマンドとの対応関係を示す対応テーブルを格納す
る。
び所定のコマンドフォーマットに基づいて、参照用のカ
タログデータを自動的に修正する。すなわち、参照用の
カタログデータは、媒体取扱部12を介して記録媒体か
ら読出されカタログデータ格納部22に格納される。先
に述べたように、前記システム情報はシステム情報抽出
部18で抽出されてメインメモリに格納され、コマンド
フォーマットはコマンドフォーマット格納部20に格納
されており、これらに基づいて修正処理部26は、前記
参照用のカタログデータを修正する。
部24に格納されるカタログデータとオペレータコマン
ドとの対応テーブルを参照して、修正処理部26による
所要の修正を経たカタログデータに所定のオペレータコ
マンドを対応させ、該カタログデータをオペレータコマ
ンドに展開する。さらに、コマンド展開部28は、展開
されたオペレータコマンドを実行させることにより、前
記プログラムのテストを行う。
テストシステムの動作を説明する。参照用のカタログデ
ータと異なるハードウェア構成のシステムにおいてテス
トを行う場合、次のようにして、装置アドレスの修正お
よび実際に存在しないテスト対象装置名についてのコマ
ンド行の修正を自動的に行う。
理部14において、システムのハードウェア構成情報が
設定された制御プログラムのもとで動作する。カタログ
修正/起動プログラムによって、システム情報抽出部1
8は、制御プログラム格納部10に格納されている制御
プログラム中のハードウェア構成情報16からカタログ
データ修正に必要な情報である装置アドレス、装置名、
およびオプション機能を含むシステム情報を抽出して、
システム情報テーブルを設定する。また、カタログデー
タで使用するコマンドフォーマットを登録したテーブル
を予め設定しコマンドフォーマット格納部20に格納し
ておく。
記録媒体に格納されたテスト項目に対応するカタログデ
ータを媒体取扱部12を介して読み出し、カタログデー
タ格納部22にロードした後、修正処理部26は、先に
述べたテーブル等に基づきカタログデータ中の装置アド
レス部分を検索し、その部分を実際のハードウェア構成
に合わせて修正し、またはカタログデータ内の実際のハ
ードウェア構成に用いられていない装置名を含むコマン
ド行を無効化する。
タは、コマンド展開部28において、対応テーブル格納
部24に格納されたカタログデータとオペレータコマン
ドとの対応テーブルを参照することにより、オペレータ
コマンドに展開され、この展開されたオペレータコマン
ドによりテストが実行される。
るシステムのハードウェア構成情報およびカタログデー
タのコマンドフォーマット情報から参照用のカタログデ
ータを修正して実行するための、カタログデータ修正/
起動プログラムの具体的な処理について、図2に示すフ
ローチャートを参照して説明する。この処理は、主とし
て中央処理部14において行われる。
ログラムのシステムのハードウェア構成情報の格納され
ている領域を調べて(ステップS10)、このハードウ
ェア構成情報から装置アドレス、装置名、および各装置
のオプション機能を含むシステム情報を抽出し(ステッ
プS12)、これらシステム情報に基づいてシステム情
報テーブルを作成する(ステップS14)。ステップS
14で作成されるシステム情報テーブルは、図3に示す
ように、システムに接続されている装置の具体的な装置
アドレス(図示、“0280”、“0281”等)、前記装置を
示す例えばコード化された装置名(図示、“X1”、“X
2”等)、および装置のオプション機能属性を示す所要
個数の装置機能属性(図示、“OP1”、“OP2”等)の各
情報の項目により構成されるテーブルである。
えばフロッピディスク等の記録媒体には、例えば図4に
示すように、プリンタ系のプログラムのテスト用のカタ
ログデータ、およびディスク系のプログラムのテスト用
のカタログデータのように装置系毎に雛形としての典型
的なカタログデータが記録されている。これら装置系毎
のカタログデータは、それぞれの装置系のプログラムの
テストにおける参照用のカタログデータとして用いられ
る。もちろん、必要に応じて、同一の装置系用に複数の
典型的なカタログデータが用意されていてもよい。
する。例えば、図4のプリンタ系のプログラムのテスト
用のカタログデータには、“EX 280-28F X1 OP1 OP2”
というコマンド行がある。このコマンド行は、実行コマ
ンド“EX”のコマンド行であり、装置アドレスが“28
0”から“28F”までであり、装置名が“X1”であり、そ
の装置について“OP1”および“OP2”という2個のオプ
ション機能属性を有することを意味する。このコマンド
行は、このような装置に対応するプログラムを起動する
ためのものである。
を介してテストしようとする装置系に対応するカタログ
データが参照用として読出し、カタログデータ格納部2
2にロードする(ステップS16)。次に、コマンドフ
ォーマット格納部20に格納されているコマンドフォー
マットテーブルを参照して、カタログデータにおける例
えば装置アドレスのパラメータの位置を調べる(ステッ
プS18)。
納されているコマンドフォーマットテーブルは、図5に
示すように、カタログデータの文法的情報として、コマ
ンド種別および複数のパラメータで構成されており、パ
ラメータとしては、装置アドレス、装置名およびオプシ
ョン機能属性等のうち該当するものを有する。
たシステム情報に基づいて、前記参照用のカタログデー
タを修正する(ステップS20)。このカタログデータ
の修正により、システム情報中の装置アドレスが、参照
用のカタログデータと相違する場合には、参照用のカタ
ログデータ中の装置アドレスのパラメータを前記システ
ム情報に合わせて変更し、該当する装置が前記システム
情報中に存在しない場合には、対応するコマンド行をコ
メント化または削除して無効とし、参照用のカタログデ
ータ中に前記システム情報中に存在する装置に対応する
テスト項目すなわちコマンド行が存在しない場合には、
新たにカタログデータのコマンド行を生成する。
系プログラムのテスト用のカタログデータの修正の例に
ついて具体的に説明する。図6に示すカタログデータ
は、図3に示すカタログデータのコマンド行L01〜L
04を修正したものであり、コマンド行L11〜L16
で構成される。図3に示すカタログデータのコマンド行
L01〜L04の各々に対応して逐次説明する。
実在する装置アドレスは“280”、“281”および“28
2”である。オプション機能属性は、装置アドレス“28
0”および“281”が“OP1”と“OP2”であり、装置アド
レス“282”が“OP1”のみである。したがって、コマン
ド行L01については、装置アドレス“280”および“2
81”に対応させて装置アドレス部分を“280-281”に修
正して、図6のコマンド行L11とし、さらに、装置ア
ドレス“282”に対応させて装置アドレス部分を“282”
としオプション機能属性“OP1”のみを持つように修正
したコマンド行L12を新たに追加する。
実在する装置アドレスは“380”および“382”である。
オプション機能属性は、装置アドレス“380”が“OP3”
と“OP4”であり、装置アドレス“382”が“OP3”と“O
P5”である。したがって、コマンド行L02について
は、装置アドレスおよびオプション機能属性の両者を修
正する必要がある。すなわち、装置アドレス“380”に
対応させて、装置アドレス部分を“380”、オプション
機能属性を“OP3”および“OP4”に修正して、図6のコ
マンド行L13とし、装置アドレス“382”に対応させ
て、装置アドレス部分を“382”、オプション機能属性
を“OP3”および“OP5”に修正して、図6のコマンド行
L14として、2行のコマンド行を生成する。
実在する装置アドレスは“400”および“401”である。
オプション機能属性は、両者共コマンド行L03と同様
に“OP6”、“OP7”および“OP8”である。したがっ
て、コマンド行L03については、装置アドレスのみを
“400-401”に修正して、図6のコマンド行L15とす
る。
実在する装置アドレスはないので、コマンド行L04を
コメント行に修正して、無効とする。コメントは、例え
ばアスタリスク“*”を付すことによって、以後行末ま
でをコメント行とみなすものとすれば、コマンド行の先
頭にアスタリスク“*”を付すことによって、そのコマ
ンド行をコメント行に変更することができる。なお、コ
メントおよびコメント行は、オペレータコマンドへの展
開に際して無視され、オペレータコマンドに展開されな
い。したがって、コマンド行L04は、先頭にアスタリ
スク“*”を付すことによって、コメント行に修正し
て、図6のコメント行L16とする。この場合、コマン
ド行を無効にすればよいので、コマンド行L04自体を
削除する修正を行うようにしてもよい。
グデータに基づいて、カタログデータ−オペレータコマ
ンド対応テーブルを参照し、前記修正されたカタログデ
ータを、それに対応するオペレータコマンドに展開する
(ステップS22)。カタログデータ−オペレータコマ
ンド対応テーブルは、予めカタログデータのフォーマッ
トとオペレータコマンドのフォーマットとに基づいて設
定され対応テーブル格納部24に格納されている。
対応テーブルは、一例を図7に示すように、カタログデ
ータの装置名とそれに対応するオペレータコマンドのパ
ラメータとなるプログラム名との対応関係、さらに各装
置毎のオプション機能属性とそれに対応するオペレータ
コマンドのパラメータとの対応関係を示すものである。
例えば、装置名“X1”に対応するプログラム名は“TMP
1”であり、装置名“X1”のオプション機能“OP1”に対
応するパラメータは“P1”、装置名“X1”のオプション
機能“OP2”に対応するパラメータは“P2”である。
レータコマンドへの展開は次のようにして行われる。カ
タログデータ中のコマンド例えば“EX”は、プログラム
の実行を開始させるためのオペレータコマンド“STAR
T”に変換する。カタログデータ中の装置名、例えば“X
1”は、装置“X1”のテストプログラムのプログラム
名、この場合“TMP1”に変換する。あるいは、必要に応
じて、カタログデータ中のコマンドと装置名との組み合
わせを、プログラムの実行を開始させるためのオペレー
タコマンドと起動すべきプログラム名との組み合わせに
変更するようにしてもよい。カタログデータ中の装置ア
ドレス、例えば“282”は、そのままオペレータコマン
ドに与える装置アドレスとして用いる。なお、カタログ
データ中の装置アドレス、例えば“280-281”は、必要
に応じて形式を変更してオペレータコマンドに与える装
置アドレス、この場合“(280-281)”とする。さらにカ
タログデータ中のオプション機能属性、例えば“OP1”
は、それに対応するパラメータ、この場合“P1”に変換
する。
ータコマンド対応テーブルに従って、図6のカタログデ
ータを展開すると、図8に示すようなオペレータコマン
ドが得られる。
マンドを制御プログラムを介して実行することにより、
該当するテストプログラムが起動され、プログラムのテ
ストが行われる(ステップS24)。そして、さらにテ
ストを行うべきカタログデータの有無が判定され(ステ
ップS26)、さらにテストを行うべきカタログデータ
が残っていれば、ステップS16に戻り、テストを行う
べきカタログデータがもうなければ、処理を終了する。
データは、媒体取扱部12を介して提供された記録媒体
にもとの参照用カタログデータと同一カタログデータ名
で書き込んで、もとの参照用カタログデータと置き換え
るようにしてもよいし、媒体取扱部12を介して提供さ
れた記録媒体に書き込んで、もとの参照用カタログデー
タと名称を変えて、新たなカタログデータとして記録し
てもよいし、そのときのテストにだけ用いて破棄してし
まってもよい。これらは、オペレータにより任意に選択
することができるようにすることが望ましい。
よって、カタログデータの修正を自動的に行うことによ
り作業ミスの防止、修正時間の短縮を実現することが可
能となる。例えば、同一テスト項目すなわちカタログデ
ータを複数のシステムに共通に適用してテストを行う場
合、カタログデータの装置アドレスの変更および特定の
システムにおいて存在しないテスト対象装置に対するテ
スト項目の削除が自動的に行われる。
によるプログラムのテストシステムの構成を示してい
る。図9のプログラムのテストシステムは、一般的なコ
ンピュータシステムにおけるプログラムの更新時に新規
または変更プログラムについてのテストを行うものとし
て構成されている。このプログラムのテストシステム
は、媒体取扱部30および中央処理部(CPU)32を
有している。媒体取扱部30は、図1の媒体取扱部12
とほぼ同様に、例えばディスク装置であり、制御プログ
ラム、カタログデータ、カタログ修正/起動プログラム
およびその他の1個以上のプログラムが格納されたディ
スク等の記録媒体を読み書きする。この媒体取扱部30
は、例えば従前の、つまり更新前のバージョン(旧バー
ジョン)のプログラムを提供するため、制御プログラ
ム、カタログデータ、カタログ修正/起動プログラムお
よびその他のプログラムが格納された旧記録媒体と、新
規の、つまり更新後のバージョン(新バージョン)のプ
ログラムを提供するため、制御プログラム、カタログデ
ータ、カタログ修正/起動プログラムおよびその他のプ
ログラムが格納された新記録媒体とを読み書きする。
ていないがシステムのメインメモリにロードされて中央
処理部32により実行される。該制御プログラムは、通
常は、システム起動時に予めロードされているが、さら
に必要に応じて、媒体取扱部30により前記新/旧記録
媒体から読出されてシステムにロードされる。カタログ
データは、参照もしくはテスト実行のためのテスト項目
に対応するコマンドおよび装置アドレス等を含んでい
る。カタログ修正/起動プログラムは、システムのメイ
ンメモリにロードされて、中央処理部32による前記カ
タログデータの修正、修正されたカタログデータのオペ
レータコマンドへの展開、および展開されたオペレータ
コマンドの実行によるテストプログラムの起動等を行う
ためのプログラムである。その他のプログラムには、実
際のテストを実行するためのテストプログラム等の個々
のプログラムが含まれる。
部34、新プログラム情報格納部36、第1の対応テー
ブル格納部38、第2の対応テーブル格納部40、プロ
グラム情報比較部42、不一致テーブル作成部44、修
正処理部46およびコマンド展開部48を有する。旧プ
ログラム情報格納部34、新プログラム情報格納部3
6、第1の対応テーブル格納部38、および第2の対応
テーブル格納部40は、例えばメインメモリの一部であ
る。プログラム情報比較部42、不一致テーブル作成部
44、修正処理部46およびコマンド展開部48は、中
央処理部32においてカタログ修正/起動プログラムの
実行により確立される機能部分である。
ために提供される旧記録媒体から媒体取扱部30を介し
て読出された旧記録媒体中のプログラムのプログラム名
(例えばファイル名またはコマンド名)、版番号(例え
ばバージョンナンバおよびリリースナンバ)、タイムス
タンプ(例えば作成日付)、およびプログラムサイズ等
の旧プログラム情報を格納する。新プログラム情報格納
部36は、テストのために提供される新記録媒体から媒
体取扱部30を介して読出された旧記録媒体中のプログ
ラムのプログラム名、版番号、タイムスタンプおよびプ
ログラムサイズ等の新プログラム情報を格納する。
グデータにおける装置名と、当該装置をテストするため
のプログラムであってオペレータコマンドのオプション
となるプログラム名との対応関係を示す第1の対応テー
ブルを格納する。第2の対応テーブル格納部40は、カ
タログデータにおけるコマンドと当該コマンドに対応す
るオペレータコマンドとの対応関係を示す第2の対応テ
ーブルを格納する。
ム情報格納部36と旧プログラム情報格納部34とにそ
れぞれ格納される新記録媒体と旧記録媒体とについての
プログラム名、版番号、タイムスタンプおよびプログラ
ムサイズ等のプログラム情報を比較する。不一致テーブ
ル作成部44は、新旧両記録媒体間で前記プログラム情
報の全てが一致するプログラム以外の、すなわち両記録
媒体間で少なくともいずれかが不一致であるプログラム
を抽出して不一致テーブルを作成し例えばメインメモリ
に保持させる。
基づいて、参照用のカタログデータを自動的に修正す
る。すなわち、この場合の参照用のカタログデータは、
例えば、媒体取扱部12を介して記録媒体から読出され
て例えばメインメモリに格納されたカタログデータであ
り、先に述べた第1の実施例のようにして、システムの
構成装置等のハードウェア構成に対応させて参照用のカ
タログデータが修正された後のカタログデータとする。
しかし、このカタログデータは、新記録媒体または旧記
録媒体から読出した(ハードウェア構成に応じた修正の
不要な)参照用のカタログデータであってもよく、新記
録媒体または旧記録媒体から読出してハードウェア構成
に応じて手作業により修正を施した参照用のカタログデ
ータであってもよい。修正処理部46は、第1の対応テ
ーブル格納部38に格納されたカタログデータにおける
装置名と当該装置をテストするためのプログラム名との
対応関係を示す第1の対応テーブルを参照し、カタログ
データのうち前記不一致テーブルに登録されていないプ
ログラムに対応する装置についてのコマンド行を無効と
するように参照用のカタログデータを修正する。この場
合、コマンド行の無効化は該当するコマンド行をコメン
ト行に修正することによって行う。もちろん、コマンド
行を無効化するために該当するコマンド行を削除するよ
うにしてもよい。
ル格納部40に格納されるカタログデータとオペレータ
コマンドとの対応テーブルを参照して、修正処理部46
による所要の修正を経たカタログデータに所定のオペレ
ータコマンドを対応させ、該カタログデータをオペレー
タコマンドに展開する。さらに、コマンド展開部48
は、展開されたオペレータコマンドを実行させることに
より、前記プログラムのテストを行う。
テストシステムの動作を説明する。新規に提供されるプ
ログラムまたは新たに変更されたプログラムに着目して
テストを行う場合、次のようにして、更新されたプログ
ラムのみに対応するカタログデータへのカタログデータ
のコマンド行の修正を自動的に行う。
理部32において、所定の制御プログラムのもとで動作
する。カタログ修正/起動プログラムによって、中央処
理部32は、媒体取扱部30を介して、新提供媒体から
新提供媒体中のプログラム情報、すなわちプログラム
名、版番号、タイムスタンプおよびプログラムサイズ等
の情報を読出し、新プログラム情報格納部36(メイン
メモリ)に格納し、同様に、媒体取扱部30を介して、
旧提供媒体から旧提供媒体中のプログラム情報、すなわ
ちプログラム名、版番号、タイムスタンプおよびプログ
ラムサイズ等の情報を読出し、旧プログラム情報格納部
34(メインメモリ)に格納する。
ム情報格納部36と旧プログラム情報格納部34とに格
納された提供媒体のプログラム情報から新旧提供媒体中
のプログラムのプログラム名、版番号、タイムスタンプ
およびプログラムサイズ等を相互に比較して、一致/不
一致を判定する。不一致テーブル作成部44は、プログ
ラム情報に何らかの不一致のあるプログラムを抽出し、
それらが新規または変更プログラムであるとして、不一
致テーブルを作成する。
ル格納部38に格納されたカタログデータにおける装置
名と、当該装置をテストするためのプログラム名との対
応関係を示す第1の対応テーブルを参照し、当該システ
ムのハードウェア構成に対応する参照用のカタログデー
タのうちの前記不一致テーブルに登録されたプログラム
に対応するコマンド行以外のコマンド行を無効にする。
タは、コマンド展開部48において、予め第2の対応テ
ーブル格納部24に格納されたカタログデータとオペレ
ータコマンドとの第2の対応テーブルを参照することに
より、オペレータコマンドに展開され、この展開された
オペレータコマンドによりテストが実行される。
におけるプログラム名、版番号、タイムスタンプおよび
プログラムサイズ等のプログラム情報を比較することに
より新規または変更プログラムを特定し、装置名とプロ
グラム名の第1の対応テーブルを参照して、新規または
変更プログラムに対応するコマンド行以外のコマンド行
を無効とするように参照用のカタログデータを修正して
実行するためのカタログデータ修正/起動プログラムの
具体的な処理について、図10に示すフローチャートを
参照して説明する。この処理は、主として中央処理部3
2において行われる。
グラム名、版番号、タイムスタンプ、およびプログラム
サイズ等のプログラム情報が格納されているレコードを
読出し(ステップS30)、そのプログラム情報を例え
ばプログラム名順にソートして旧プログラム情報をテー
ブルとして旧プログラム情報格納部34に格納する(ス
テップS32)。
格納された旧プログラム情報テーブルの一例を図11に
模式的に示す。図11には、プログラム名、版番号、タ
イムスタンプおよびプログラムサイズからなる旧プログ
ラム情報がプログラム名順にソートされたテーブルが示
されている。例えば、1行目は、プログラム名が
“A”、版番号が“0101”、タイムスタンプが“93063
0”、プログラムサイズが“X'000100'”となっており、
版番号“0101”は、「バージョン1のリリース1」、タ
イムスタンプ“930630”は、「1993年6月30
日」、プログラムサイズ“X'000100'”は、16進表記
で「100」バイトすなわち10進表記で「256バイ
ト」をそれぞれ示している。このようなプログラム情報
が、プログラム名“A”→“B”→“TMP1”→“TMP2”の
順に各行に配列されている。
グラム名、版番号、タイムスタンプ、およびプログラム
サイズ等のプログラム情報が格納されているレコードを
読出し(ステップS34)、そのプログラム情報を例え
ばプログラム名順にソートして新プログラム情報をテー
ブルとして新プログラム情報格納部36に格納する(ス
テップS36)。
格納された新プログラム情報テーブルの一例を図12に
模式的に示す。図12には、プログラム名、版番号、タ
イムスタンプおよびプログラムサイズからなる新プログ
ラム情報がプログラム名順にソートされたテーブルが示
されている。この場合、プログラム情報が、プログラム
名“A”→“B”→“TMP1”→“TMP2”→“TMP3”の順に
各行に配列されている。
旧プログラム情報格納部34に格納された旧プログラム
情報テーブルと新プログラム情報格納部36に格納され
た新プログラム情報テーブルとのプログラム名が比較さ
れ(ステップS38)、不一致テーブル作成部44でプ
ログラム名が一致するか否かが判定される(ステップS
40)。プログラム名が一致する場合は、プログラム情
報比較部42により、さらに版番号、タイムスタンプお
よびプログラムサイズが比較され(ステップS42)、
不一致テーブル作成部44でこれらのうちの1つでも一
致しないものがあるか否か、つまり全てが一致していな
いか否かが判定される(ステップS44)。不一致テー
ブル作成部44は、これらのうちの1つでも一致しない
ものがある場合、つまり全てが一致していない場合に
は、そのプログラムに対応するプログラム情報を不一致
テーブルに登録して(ステップS46)、全てのプログ
ラムについて比較処理が終了したか否かを判定する(ス
テップS48)。
40で、一致しないと判定した場合には、そのプログラ
ムに対応するプログラム情報を不一致テーブルに登録し
て(ステップS50)、ステップS48に移行する。ま
た、不一致テーブル作成部44は、ステップS44で一
致すると判定した場合には、そのままステップS48に
移行する。不一致テーブル作成部44が、ステップS4
8で、全てのプログラムについて比較処理が終了してい
ないと判定した場合には、ステップS38に戻る。
4で作成される不一致テーブルの一例を図13に模式的
に示す。図13では、プログラム“A”は、版番号、タ
イムスタンプおよびプログラムサイズが相違するため、
更新されていることがわかり、プログラム“TMP1”は、
タイムスタンプは一致するが版番号およびプログラムサ
イズが相違するため、更新されていることがわかり、プ
ログラム“TMP3”は、該当するプログラム名自体が旧記
録媒体に存在しないため、新規のプログラムであること
がわかる。不一致テーブルには、これらの、プログラム
名が、新記録媒体の版番号、タイムスタンプおよびプロ
グラムサイズと共に登録される。
作成部44が全てのプログラムについて比較登録処理が
終了したと判定し場合には、修正処理部46が、例えば
媒体取扱部30を介して新記録媒体から参照用のカタロ
グデータをロードする(ステップS52)。この参照用
のカタログデータは、先に述べたように、第1の実施例
の場合のようにシステムのハードウェア構成に応じた修
正が既に施されたものが望ましい。そこで、システムの
ハードウェア構成に応じたカタログデータでない場合に
は、以後の処理に先立って、第1の実施例と同様の修正
を施すようにしてもよい。ここでは、参照用のカタログ
データには、既にシステムのハードウェア構成に応じた
修正が施されているものとして説明する。
と、修正処理部46は、第1の対応テーブル格納部38
に予め格納されている第1の対応テーブルと前記不一致
テーブルを参照し、参照用のカタログデータにおける新
規または変更プログラムでない非更新プログラムに対応
するコマンド行を無効化する(ステップS54)。
なカタログデータがロードされた場合、第1の対応テー
ブル格納部38に予め格納されている図14に示すよう
な装置名とプログラムとの第1の対応テーブルと前記不
一致テーブルを参照し、新規または変更プログラムでな
い非更新プログラムに対応するコマンド行を、例えばコ
メント化することにより無効とする。前記第1の対応テ
ーブルとしては、図7のカタログデータ−オペレータコ
マンド対応テーブルの一部をそのまま利用してもよい。
このようにして、例えば図6のようなカタログデータに
ついては、不一致テーブルのプログラム名が“A”、“T
MP1”、および“TMP3”であるので、これらを装置名に
変換すると“T1”、“X1”および“Y1”以外のコマンド
行が不要となり、これらがコメント化されて図15のよ
うに修正される。
グデータに基づいて、カタログデータ−オペレータコマ
ンド対応テーブルである第2の対応テーブルを参照し、
前記修正されたカタログデータを、それに対応するオペ
レータコマンドに展開する(ステップS56)。前記第
2の対応テーブルは、図7と同様のテーブルであり、予
め第2の対応テーブル格納部40に格納されている。
レータコマンドへの展開は、図16に示すカタログデー
タのコマンドフォーマットとオペレータコマンドのコマ
ンドフォーマットとの関係に基づいて、次のようにして
行われる。図16は、カタログデータのコマンド“E
X”、その第1パラメータ“装置アドレス”、第2パラ
メータ“装置名”および第3以降のパラメータ“オプシ
ョン機能”は、オペレータコマンドの“START”、その
第1パラメータ“プログラム名”、第2パラメータ“装
置アドレス”および第3以降のパラメータ“パラメー
タ”にそれぞれ対応することが示されている。したがっ
て、カタログデータ中のコマンド“EX”は、プログラム
の実行を開始させるためのオペレータコマンド“STAR
T”に変換される。カタログデータ中の装置名、例えば
“X1”は、装置“X1”のテストプログラムのプログラム
名、この場合“TMP1”に変換される。あるいは、必要に
応じて、カタログデータ中のコマンドと装置名との組み
合わせを、プログラムの実行を開始させるためのオペレ
ータコマンドと起動すべきプログラム名との組み合わせ
に変更するようにしてもよい。カタログデータ中の装置
アドレス、例えば“280-281”は、必要に応じて形式を
変更してオペレータコマンドに与える装置アドレス、こ
の場合“(280-281)”に変更する。さらにカタログデー
タ中のオプション機能属性、例えば“OP1”は、それに
対応するパラメータ、この場合“P1”に変換する。
ータコマンド対応テーブルに従って、図15のカタログ
データを展開すると、図17に示すようなオペレータコ
マンドが得られる。
マンドを制御プログラムを介して実行することにより、
該当するテストプログラムが起動され、プログラムのテ
ストが行われる(ステップS58)。そして、さらにテ
ストを行うべきカタログデータの有無が判定され(ステ
ップS60)、さらにテストを行うべきカタログデータ
が残っていれば、ステップS52に戻り、テストを行う
べきカタログデータがもうなければ、処理を終了する。
よって、更新部分のみに対応するカタログデータの修正
を自動的に行うことにより作業ミスの防止、修正時間の
短縮を実現することが可能となる。例えば、新規または
変更プログラムに対してテストを行う場合、カタログデ
ータの既存のプログラムに対するテストに対応する部分
の削除が自動的に行われる。
例によるプログラムのテストシステムの構成を示してい
る。
一般的なコンピュータシステムにおけるプログラムのテ
ストにおけるオペレータコマンドのバリエーションを考
慮したプログラムのテストを行うものとして構成されて
いる。このプログラムのテストシステムは、媒体取扱部
50および中央処理部(CPU)52を有している。媒
体取扱部50は、図1の媒体取扱部12とほぼ同様に、
例えばディスク装置であり、制御プログラム、カタログ
データおよびカタログ修正/起動プログラムが格納され
たディスク等の記録媒体を読み書きする。
ステムのメインメモリにロードされて、中央処理部52
による前記カタログデータのオペレータコマンドへの展
開、および展開されたオペレータコマンドの実行による
テストプログラムの起動等を行うためのプログラムであ
る。
54、対応テーブル格納部56、デフォールト情報テー
ブル格納部58、展開条件テーブル格納部60およびコ
マンド展開部62を有する。カタログデータ格納部5
4、対応テーブル格納部56、デフォールト情報テーブ
ル格納部58および展開条件テーブル格納部60は、例
えばメインメモリの一部である。コマンド展開部62
は、中央処理部52においてカタログ修正/起動プログ
ラムの実行により確立される機能部分である。
めに提供される記録媒体から媒体取扱部50により読出
された参照用のカタログデータを格納する。すなわち、
この場合の参照用のカタログデータは、例えば、媒体取
扱部50を介して記録媒体から読出されて例えばメイン
メモリに格納されたカタログデータであり、先に述べた
第1の実施例のようにして、システムの構成装置等のハ
ードウェア構成に対応させて参照用のカタログデータが
修正された後のカタログデータとする。あるいは、この
参照用カタログデータは、前述のようにシステムの構成
装置等のハードウェア構成に対応させて修正されたカタ
ログデータがさらに先に述べた第2の実施例のようにし
て、カタログデータのうち更新されないプログラムに対
応する装置についてのコマンド行を無効とするように修
正したカタログデータとしてもよい。しかし、このカタ
ログデータは、新記録媒体または旧記録媒体から読出し
た(ハードウェア構成および更新/非更新に応じた修正
の不要な)参照用のカタログデータであってもよく、新
記録媒体または旧記録媒体から読出して手作業により修
正を施した参照用のカタログデータであってもよい。
タをオペレータコマンドへ展開するために必要なカタロ
グデータとオペレータコマンドとの対応関係を示す対応
テーブルを予め格納する。デフォールト情報テーブル格
納部58は、オペレータコマンドにおけるコマンドのパ
ラメータ等の無指定時に適用されるデフォールト情報の
テーブルを予め格納する。展開条件テーブル格納部60
は、カタログデータのオペレータコマンドへの展開に際
し、オペレータコマンドのコマンドフォーマットの上で
同一機能を実現するためのコマンドフォーマットのバリ
エーションをどのように適用して展開するかの展開条件
テーブルを予め格納する。
部56に格納されるカタログデータとオペレータコマン
ドとの対応テーブル、デフォールト情報テーブル格納部
58に格納されるオペレータコマンドのパラメータ等の
無指定時に適用されるデフォールト情報のテーブル、展
開条件テーブル格納部60に格納されるコマンドフォー
マットのバリエーションについての展開条件テーブルを
参照して、カタログデータ格納部54に格納されたカタ
ログデータに所定のオペレータコマンドを対応させ、該
カタログデータを前記展開条件テーブルに応じたオペレ
ータコマンドに展開する。さらに、コマンド展開部54
は、展開されたオペレータコマンドを実行させることに
より、前記プログラムのテストを行う。
テストシステムの動作を説明する。オペレータコマンド
において、パラメータ等のデフォールト値のように、
「明」に、すなわち実際にコマンドステートメントにお
いて指定したり、「暗」に、すなわちコマンドステート
メント上では指定しないで、無指定時に自動的に選択さ
れるように指定したりできる場合に、異なった指定でも
同一の処理となることを確認するためには、カタログデ
ータ中の1つのコマンド行を複数のオペレータコマンド
に展開する必要がある。このような場合に、次のように
して、バリエーションを含むオペレータコマンドへの展
開を自動的に行う。
理部52において、所定の制御プログラムのもとで動作
する。このカタログ修正/起動プログラムによって、中
央処理部52は、次のように動作する。媒体取扱部50
を介して提供媒体から提供媒体中の参照用カタログデー
タを読出し、カタログデータ格納部54に格納する。コ
マンド展開部62は、予め展開条件テーブル格納部60
に登録しておいたコマンド展開条件テーブルを利用し
て、カタログデータ格納部54に格納されたカタログデ
ータを、自動的にコマンド展開条件テーブルに応じた所
要のバリエーションに従った種々のオペレータコマンド
に展開する。
タコマンドに展開するとき、予めコマンド展開条件テー
ブルを登録しておいて、これを利用して自動的に、該コ
マンド展開条件に基づくコマンドフォーマットのバリエ
ーションに従ったオペレータコマンドに展開するための
カタログデータ修正/起動プログラムの具体的な処理に
ついて、図19に示すフローチャートを参照して説明す
る。この処理は、主として中央処理部52において行わ
れる。
ド対応テーブルおよびコマンドのデーフォールト情報テ
ーブルは、予めそれぞれ対応テーブル格納部56および
デーフォールト情報テーブル格納部58に格納してお
く。さらに、この処理に先立って、コマンドの展開の際
に適用すべきコマンドフォーマットのバリエーションに
応じた所要のコマンド展開条件テーブルを展開条件テー
ブル格納部60に格納しておく。
装置50を介して記録媒体から読出し、カタログデータ
格納部54に格納する(ステップS70)。次に、詳細
には図示していないが、必要に応じて、上述した第1の
実施例および第2の実施例のうちの一方または両方と同
様のカタログデータの修正を施す(ステップS72)。
このカタログデータの修正処理は、必要がない場合また
はシステムがそのような機能に対応できない場合等には
省略してもよい。参照用のカタログデータを修正した場
合には、修正されたカタログデータをカタログデータ格
納部54に再格納し、カタログデータ格納部54内のカ
タログデータを更新する。
ログデータを、予め登録し、対応テーブル格納部56に
格納してある例えば図16のようなカタログデータ−オ
ペレータコマンド対応テーブルに基づきオペレータコマ
ンドに展開する(ステップS74)。このとき、例え
ば、(第1の実施例の場合と同様に)図6のようなカタ
ログデータを、対応テーブル格納部56のカタログデー
タ−オペレータコマンド対応テーブルのみに従って図8
のようなカタログデータに一旦展開する。さらに、この
展開されたオペレータコマンドを、展開条件テーブル格
納部60に格納された例えば図20のようなコマンド展
開条件テーブルに従い且つデフォールト情報テーブル格
納部58に格納された例えば図21のようなデフォール
ト情報テーブルおよび予めコマンドフォーマット情報の
一部としてシステムに設定されている図22のような装
置アドレスフォーマットによって再度展開する。
RA=DEF)”として、「プログラム“TMP1”に対するパラ
ーメータ値をデフォールト値に展開する」という条件が
設定され、“ALL (DEVAD)”として、「全てのプログラ
ムに対して装置アドレスへの展開を行う」という条件が
設定されている。
プログラム毎にデフォールトのパラメータ値が登録され
ている。図21のデフォールト情報テーブルによれば、
例えば、プログラム“TMP1”は、第1パラメータが無指
定の場合“P1”が選択され、第2パラメータが無指定の
場合“P2”が選択される。同様に、プログラム“TMP2”
は、第1パラメータが無指定の場合“P3”が選択され、
第2パラメータが無指定の場合“P4”が選択され、第3
パラメータが無指定の場合“P5”が選択される。同様
に、プログラム“TMP3”は、第1パラメータが無指定の
場合“P6”が選択される。図22の装置アドレスフォー
マットは、装置アドレスの指定の仕方のフォーマットで
は、“XXX-XXX”という形式と、その範囲に含まれる個
々のアドレスを併記した“(XXX, XXX, XXX)”という形
式が同様の意味を持つことを示しており、テストのため
のオペレータコマンドへの展開の際には、両形式につい
てテストを行うため、これらの一方の形式の記述に対し
て他方の形式による記述への展開を行う必要がある。
ータコマンドへの展開の結果、展開条件に従ってコマン
ドのバリエーションに応じたオペレータコマンドへの展
開が行われ、例えば、図6のカタログデータを、図16
のカタログデータ−オペレータコマンド対応テーブル、
図20の展開条件テーブル、図21位のデフォールト情
報テーブルおよび図22の装置アドレスフォーマットを
用いて展開した場合、図23に示すようなオペレータコ
マンドへ展開される。
マンドを制御プログラムを介して実行することにより、
該当するテストプログラムが起動され、プログラムのテ
ストが行われ(ステップS76)、処理を終了する。
よって、オペレータコマンドのコマンドフォーマットの
許容されるバリエーションのオペレータコマンドについ
ても展開を行い、許容される種々の形式についてのテス
トを自動的に行うことによって作業ミスの防止、修正時
間の短縮を実現することが可能となる。例えば、オペレ
ータコマンドにパラメータの指定方法が複数ある場合、
自動的に必要なテストが追加される。
対象プログラムを実行するハードウェアシステムの構成
に関する情報であって当該対象プログラムに予め含まれ
るシステム構成情報から、プログラムのテストのための
テスト項目のカタログ情報に対応するシステム情報を抽
出し、予め用意されたプログラムのテストのためのテス
ト項目の参照カタログ情報を読み込み、前記カタログ情
報に対応するシステム情報および所定のコマンドフォー
マットに基づき前記参照カタログ情報を自動的に修正
し、修正されたカタログ情報に所定のオペレータコマン
ドを対応させ、該カタログ情報をオペレータコマンドに
展開して、前記プログラムのテストに供するようにし
て、カタログデータを有効に活用してプログラムのテス
トを自動化し、プログラムのテストにおける作業ミスを
低減し、しかも短時間で確実なテストを行うことを可能
とするプログラムのテスト方法および装置を提供するこ
とができる。
よび装置では、更新前のプログラムを提供する媒体およ
び更新後のプログラムを提供する媒体から各媒体に格納
される個別プログラムの名称、版番号、タイムスタンプ
およびプログラムサイズの情報のうちの少なくとも名称
を含む一部の情報からなるプログラム情報を読出し、該
プログラム情報が両媒体間で完全に一致する非更新プロ
グラム名情報を抽出するとともに、前記非更新プログラ
ム名情報に該当する個別プログラムに対応するカタログ
情報を無効としてカタログ情報の修正を行うようにし
て、プログラムの更新された部分についてのみテストを
行うようにすることもできる。
および装置では、オペレータコマンドのコマンドフォー
マットのバリエーションについてのコマンド展開の条件
情報を予め登録するとともに、登録された条件情報に従
ってオペレータコマンドへの展開を行うようにして、オ
ペレータコマンドのコマンドフォーマットのバリエーシ
ョンについても、漏れなく有効にテストを行うことがで
きる。
理的な第1の実施例の構成を示すブロック図である。
明するためのフローチャートである。
明するためのシステム情報テーブルの一例を模式的に示
す図である。
明するための参照用のカタログデータの一例を模式的に
示す図である。
明するためのカタログデータのコマンドフォーマットテ
ーブルの一例を模式的に示す図である。
明するための修正されたカタログデータの一例を模式的
に示す図である。
明するためのカタログデータ−オペレータコマンド対応
テーブルの一例を模式的に示す図である。
明するための展開されたオペレータコマンドの一例を模
式的に示す図である。
2の実施例の構成を示すブロック図である。
説明するためのフローチャートである。
説明するための旧プログラム情報テーブルの一例を模式
的に示す図である。
説明するための新プログラム情報テーブルの一例を模式
的に示す図である。
説明するための不一致テーブルの一例を模式的に示す図
である。
説明するための装置とプログラムとの対応関係を示すカ
タログデータ−オペレータコマンド対応テーブルの一例
を模式的に示す図である。
説明するための修正されたカタログデータの一例を模式
的に示す図である。
説明するための修正されたコマンドフォーマットの対応
関係を示すカタログデータ−オペレータコマンド対応テ
ーブルの一例を模式的に示す図である。
説明するための展開されたオペレータコマンドの一例を
模式的に示す図である。
第3の実施例の構成を示すブロック図である。
説明するためのフローチャートである。
説明するための展開条件テーブルの一例を模式的に示す
図である。
説明するためのデフォールト情報テーブルの一例を模式
的に示す図である。
説明するための装置アドレスフォーマット情報の一例を
模式的に示す図である。
説明するための展開されたオペレータコマンドの一例を
模式的に示す図である。
Claims (10)
- 【請求項1】 対象プログラムを実行するハードウェア
システムの構成に関する情報であって当該対象プログラ
ムに予め含まれるシステム構成情報から、プログラムの
テストのためのテスト項目のカタログ情報に対応するシ
ステム情報を抽出する情報抽出ステップと、 予め用意されたプログラムのテストのためのテスト項目
の参照カタログ情報を読み込む参照カタログ読込ステッ
プと、 前記カタログ情報に対応するシステム情報および所定の
コマンドフォーマットに基づき前記参照カタログ情報を
自動的に修正するカタログ修正ステップと、 修正されたカタログ情報に所定のオペレータコマンドを
対応させ、該カタログ情報をオペレータコマンドに展開
して、前記プログラムのテストに供するコマンド展開ス
テップとを有することを特徴とするプログラムのテスト
方法。 - 【請求項2】 更新前のプログラムを提供する媒体およ
び更新後のプログラムを提供する媒体から各媒体に格納
される個別プログラムの名称、版番号、タイムスタンプ
およびプログラムサイズの情報のうちの少なくとも名称
を含む一部の情報からなるプログラム情報を読出し、該
プログラム情報が両媒体間で完全に一致する非更新プロ
グラム名情報を抽出する非更新プログラム抽出ステップ
をさらに有し、且つカタログ修正ステップは、前記非更
新プログラム名情報に該当する個別プログラムに対応す
るカタログ情報を無効とする非更新項目無効化ステップ
を含むことを特徴とする請求項1に記載のプログラムの
テスト方法。 - 【請求項3】 オペレータコマンドのコマンドフォーマ
ットのバリエーションについてのコマンド展開の条件情
報を予め登録する条件登録ステップをさらに有し、且つ
コマンド展開ステップは、登録された条件情報に従って
オペレータコマンドへの展開を行うステップを含むこと
を特徴とする請求項1に記載のプログラムのテスト方
法。 - 【請求項4】 更新前のプログラムを提供する媒体およ
び更新後のプログラムを提供する媒体から各媒体に格納
される個別プログラムの名称、版番号、タイムスタンプ
およびプログラムサイズの情報のうちの少なくとも名称
を含む一部の情報からなるプログラム情報を読出し、該
プログラム情報が両媒体間で完全に一致する非更新プロ
グラム名情報を抽出する非更新プログラム抽出ステップ
と、 予め用意されたプログラムのテストのためのテスト項目
の参照カタログ情報を読み込む参照カタログ読込ステッ
プと、 前記非更新プログラム名情報に該当する個別プログラム
に対応するカタログ情報を無効とすべく前記参照カタロ
グ情報を自動的に修正するカタログ修正ステップと、 修正されたカタログ情報に所定のオペレータコマンドを
対応させ、該カタログ情報をオペレータコマンドに展開
して、前記プログラムのテストに供するコマンド展開ス
テップとを有することを特徴とするプログラムのテスト
方法。 - 【請求項5】 オペレータコマンドのコマンドフォーマ
ットのバリエーションについてのコマンド展開の条件情
報を予め登録する条件登録ステップをさらに有し、且つ
コマンド展開ステップは、登録された条件情報に従って
オペレータコマンドへの展開を行うステップを含むこと
を特徴とする請求項4に記載のプログラムのテスト方
法。 - 【請求項6】 対象プログラムを実行するハードウェア
システムの構成に関する情報であって当該対象プログラ
ムに予め含まれているシステム構成情報から、プログラ
ムのテストのためのテスト項目のカタログ情報に対応す
るシステム情報を抽出するための情報抽出手段と、 参照用のカタログ情報を提供媒体から読み込むための参
照カタログ読込手段と、 前記カタログ情報に用いられるコマンドのコマンドフォ
ーマットを記憶するためコマンドフォーマット記憶手段
と、 前記システム情報およびコマンドフォーマットに基づい
て前記参照カタログ情報を修正するためのカタログ修正
手段と、 前記カタログ情報とオペレータコマンドの対応情報を記
憶するための対応情報記憶手段と、 前記対応情報に基づき前記カタログ修正手段で修正され
たカタログ情報に所定のオペレータコマンドを対応さ
せ、該カタログ情報を、前記プログラムのテストに供さ
れるオペレータコマンドに展開するためのコマンド展開
手段とを具備することを特徴とするプログラムのテスト
装置。 - 【請求項7】 更新前のプログラムを提供する媒体およ
び更新後のプログラムを提供する媒体から各媒体に格納
される個別プログラムの名称、版番号、タイムスタンプ
およびプログラムサイズの情報のうちの少なくとも名称
を含む一部の情報からなるプログラム情報を読出すため
のプログラム情報読出手段と、 該プログラム情報が両媒体間で完全に一致する非更新プ
ログラム名情報を抽出するための非更新プログラム抽出
手段とをさらに具備し、且つカタログ修正手段は、前記
非更新プログラム名情報に該当する個別プログラムに対
応するカタログ情報を無効とするための非更新項目無効
化手段を含むことを特徴とする請求項6に記載のプログ
ラムのテスト装置。 - 【請求項8】 オペレータコマンドのコマンドフォーマ
ットのバリエーションについてのコマンド展開の条件情
報を予め登録するための条件登録手段をさらに具備し、
且つコマンド展開手段は、前記条件情報に従ってオペレ
ータコマンドへの展開を行うための手段を含むことを特
徴とする請求項6に記載のプログラムのテスト装置。 - 【請求項9】 更新前のプログラムを提供する媒体およ
び更新後のプログラムを提供する媒体から各媒体に格納
される個別プログラムの名称、版番号、タイムスタンプ
およびプログラムサイズの情報のうちの少なくとも名称
を含む一部の情報からなるプログラム情報を読出すため
のプログラム情報読出手段と、 該プログラム情報が両媒体間で完全に一致する非更新プ
ログラム名情報を抽出するための非更新プログラム抽出
手段と、 プログラムのテストのためのテスト項目の参照用のカタ
ログ情報を提供媒体から読み込むための参照カタログ読
込手段と、 前記非更新プログラム名情報に該当する個別プログラム
に対応するカタログ情報を無効とすべく前記参照カタロ
グ情報を修正するためのカタログ修正手段と、 前記カタログ情報とオペレータコマンドの対応情報を記
憶するための対応情報記憶手段と、 前記対応情報に基づき前記カタログ修正手段で修正され
たカタログ情報に所定のオペレータコマンドを対応さ
せ、該カタログ情報を、前記プログラムのテストに供さ
れるオペレータコマンドに展開するためのコマンド展開
手段とを具備することを特徴とするプログラムのテスト
装置。 - 【請求項10】 オペレータコマンドのコマンドフォー
マットのバリエーションについてのコマンド展開の条件
情報を登録するための条件登録手段をさらに具備し、且
つコマンド展開手段は、登録された条件情報に従ってオ
ペレータコマンドへの展開を行うための手段を含むこと
を特徴とする請求項9に記載のプログラムのテスト装
置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16441594A JP3386232B2 (ja) | 1994-07-15 | 1994-07-15 | テスト計算機システム |
US08/494,060 US5758156A (en) | 1994-07-15 | 1995-06-23 | Method and apparatus of testing programs |
GB9514161A GB2291517B (en) | 1994-07-15 | 1995-07-11 | Method and apparatus of testing programs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16441594A JP3386232B2 (ja) | 1994-07-15 | 1994-07-15 | テスト計算機システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0830487A true JPH0830487A (ja) | 1996-02-02 |
JP3386232B2 JP3386232B2 (ja) | 2003-03-17 |
Family
ID=15792718
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP16441594A Expired - Fee Related JP3386232B2 (ja) | 1994-07-15 | 1994-07-15 | テスト計算機システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US5758156A (ja) |
JP (1) | JP3386232B2 (ja) |
GB (1) | GB2291517B (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100621576B1 (ko) * | 1999-07-07 | 2006-09-12 | 삼성전자주식회사 | 내장 시스템 소프트웨어를 테스트하기 위한 시스템 및 방법 |
KR100621573B1 (ko) * | 1999-07-07 | 2006-09-12 | 삼성전자주식회사 | 내장 시스템 소프트웨어를 테스트하기 위한 시스템 및 방법 |
JP2014115884A (ja) * | 2012-12-11 | 2014-06-26 | Mitsubishi Electric Corp | テストケース生成システム |
WO2020008991A1 (ja) * | 2018-07-04 | 2020-01-09 | 日本電気株式会社 | 検証自動化装置、検証自動化方法、およびコンピュータ読み取り可能な記録媒体 |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5995757A (en) * | 1997-08-29 | 1999-11-30 | Dell Usa, L.P. | Software installation and testing for a build-to order computer system |
US5991543A (en) * | 1997-08-29 | 1999-11-23 | Dell Usa, L.P. | Software installation and testing for a build-to-order computer system |
US5963743A (en) * | 1997-08-29 | 1999-10-05 | Dell Usa, L.P. | Database for facilitating software installation and testing for a build-to-order computer system |
US6195765B1 (en) * | 1998-01-05 | 2001-02-27 | Electronic Data Systems Corporation | System and method for testing an application program |
US6279155B1 (en) | 1998-04-08 | 2001-08-21 | Dell Usa, L.P. | Method of installing software on and/or testing a computer system |
US6327706B1 (en) | 1998-04-08 | 2001-12-04 | Dell Usa, L.P. | Method of installing software on and/or testing a computer system |
US6615406B1 (en) | 1998-04-08 | 2003-09-02 | Dell Usa, L.P. | Apparatus for use in the manufacture of a computer system |
JP3522141B2 (ja) * | 1999-01-28 | 2004-04-26 | 富士通株式会社 | 修正プログラムを継承したプログラムの自動生成方法、プログラム自動生成装置及び修正プログラムを継承したプログラムを自動生成するプログラムを記録した記録媒体 |
DE19922767A1 (de) * | 1999-05-18 | 2000-12-07 | Dell Usa Lp | Verfahren zum Installieren von Software und/oder zum Testen eines Computersystems |
DE19922766A1 (de) * | 1999-05-18 | 2000-12-07 | Dell Usa Lp | Vorrichtung zur Verwendung bei der Herstellung eines Computersystems |
DE19922768A1 (de) * | 1999-05-18 | 2000-12-07 | Dell Usa Lp | Verfahren zum Installieren von Software und/oder zum Testen eines Computersystems |
US6715108B1 (en) * | 1999-10-12 | 2004-03-30 | Worldcom, Inc. | Method of and system for managing test case versions |
US7305659B2 (en) * | 2002-09-03 | 2007-12-04 | Sap Ag | Handling parameters in test scripts for computer program applications |
US7124401B2 (en) * | 2002-09-03 | 2006-10-17 | Sap Aktiengesellschaft | Testing versions of applications |
US7562094B1 (en) | 2003-12-31 | 2009-07-14 | Precise Software Solutions, Inc. | Object-level database performance management |
US7849183B1 (en) * | 2004-08-31 | 2010-12-07 | Precise Software Solutions, Inc. | Method of monitoring network and application performance by analyzing web clients and web servers |
US7926038B2 (en) * | 2005-11-21 | 2011-04-12 | International Business Machines Corporation | Method, system and computer program for testing a command line interface of a software product |
US9489290B1 (en) * | 2005-12-30 | 2016-11-08 | The Mathworks, Inc. | Scheduling tests based on a valuation system |
US20090077537A1 (en) * | 2007-09-18 | 2009-03-19 | International Business Machines Corporation | method of automatically generating test cases to test command line interfaces |
CN101661425B (zh) | 2008-08-26 | 2012-03-21 | 国际商业机器公司 | 测试覆盖分析方法和装置 |
CN105701004B (zh) * | 2014-11-28 | 2020-12-08 | 深圳市腾讯计算机系统有限公司 | 一种应用测试方法和装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU5087893A (en) * | 1992-08-31 | 1994-03-29 | Dow Chemical Company, The | Script-based system for testing a multi-user computer system |
US5371883A (en) * | 1993-03-26 | 1994-12-06 | International Business Machines Corporation | Method of testing programs in a distributed environment |
-
1994
- 1994-07-15 JP JP16441594A patent/JP3386232B2/ja not_active Expired - Fee Related
-
1995
- 1995-06-23 US US08/494,060 patent/US5758156A/en not_active Expired - Lifetime
- 1995-07-11 GB GB9514161A patent/GB2291517B/en not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100621576B1 (ko) * | 1999-07-07 | 2006-09-12 | 삼성전자주식회사 | 내장 시스템 소프트웨어를 테스트하기 위한 시스템 및 방법 |
KR100621573B1 (ko) * | 1999-07-07 | 2006-09-12 | 삼성전자주식회사 | 내장 시스템 소프트웨어를 테스트하기 위한 시스템 및 방법 |
JP2014115884A (ja) * | 2012-12-11 | 2014-06-26 | Mitsubishi Electric Corp | テストケース生成システム |
WO2020008991A1 (ja) * | 2018-07-04 | 2020-01-09 | 日本電気株式会社 | 検証自動化装置、検証自動化方法、およびコンピュータ読み取り可能な記録媒体 |
JPWO2020008991A1 (ja) * | 2018-07-04 | 2021-07-08 | 日本電気株式会社 | 検証自動化装置、検証自動化方法、およびプログラム |
US11409631B2 (en) | 2018-07-04 | 2022-08-09 | Nec Corporation | Verification automation apparatus, verification automation method, and computer-readable recording medium |
Also Published As
Publication number | Publication date |
---|---|
GB2291517B (en) | 1996-09-04 |
GB9514161D0 (en) | 1995-09-13 |
GB2291517A (en) | 1996-01-24 |
JP3386232B2 (ja) | 2003-03-17 |
US5758156A (en) | 1998-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3386232B2 (ja) | テスト計算機システム | |
CN107864052A (zh) | 基于持续部署应用配置自动化升级的方法及其系统 | |
JP2003248582A (ja) | 実行環境構築処理方法および実行環境構築処理プログラム | |
CN111159099A (zh) | 在线数据生成方法、装置、电子设备和存储介质 | |
CN109753289B (zh) | 一种美术资源合并方法、装置、电子设备和存储介质 | |
CN114780135A (zh) | 基于git的项目管理方法、装置、电子设备及存储介质 | |
CN114385196A (zh) | 结合rpa和ai的软件部署方法及装置 | |
CN114625399A (zh) | 系统升级方法及相关装置、设备和存储介质 | |
CN117312270A (zh) | 一种数据库自动化构建和部署的变更管理方法 | |
JPH11282687A (ja) | プログラム自動改版方法 | |
JP2538630B2 (ja) | テスト項目自動選択システム | |
JP2001518659A (ja) | データプロセッシングシステム用のコンフィグレーション方法 | |
JP2004252719A (ja) | データ管理装置及びデータ管理方法及びデータ管理プログラム | |
CN112256365B (zh) | 一种自动化管理多语言版本的方法及终端 | |
JP4903391B2 (ja) | データベースレプリケーション方法及びその装置並びにその制御プログラム | |
JP2609820B2 (ja) | プログラム管理方法 | |
KR950005094B1 (ko) | 파일 압축처리 방법 | |
JPS61147336A (ja) | ロ−ドモジユ−ルの世代管理方式 | |
JPH1185491A (ja) | 複数ドキュメントの自動生成システム | |
JPS5852759A (ja) | パス情報の抽出方式 | |
CN116483365A (zh) | 前端工程构建方法、装置、设备及存储介质 | |
CN114357333A (zh) | 一种低成本前端项目升级方法 | |
Headrick et al. | TPS Translation Versus Rehost | |
JP2011028666A (ja) | ソフトウェア整合性維持システムおよびソフトウェア整合性維持方法 | |
JPH04178829A (ja) | ロードモジュール内のファイル定義情報編集方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20020604 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20021210 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080110 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090110 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100110 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110110 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110110 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120110 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |