JP2885923B2 - システムテスト支援方法 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明はソフトウェアシステムテストにに関するもの
であり、特に、リアルタイム用ソフトウェアシステムの
システムテスト作業における適切なテストケース設定お
よびテストデータ作成を支援するシステムテスト支援方
法に関するものである。

［従来の技術］ 従来のプログラムのテストの評価技術としては、たと
えば、「ソフトウェア工学」第72−80頁（有沢誠著、岩
波書店）に記載されているように、プログラムのテスト
作業におけるテストケースの設定及びテストデータの作
成の妥当性を表す指標として、プログラムのパスに着目
したパスの実行網羅状況を表わすC0カバレージ（全文網
羅）、C1カバレージ（全分岐網羅）を用いる技術が知ら
れている。

ここで、一例として、C0カバレージを用いる技術につ
いて説明する。

この技術は、１個のタスクについてのテスト（以下、
「単体テスト」という）のテストケースの妥当性を判定
するものである。

単体テストはタスク内の機能についてテストするもの
で、テストの対象はアルゴリズムに基づいた制御であ
る。

このため、テストを行うときにこれらアルゴリズムを
司る文、分岐に対してテストケースが存在することが必
要である。テストケースが妥当かどうの判定は、これら
文、分岐についてのカバレージをもって定量的に行うこ
とができる。

第４図、第５図に、この単体テストの概要を示す。

第４図において、11のタスクをテストするため、50の
テスト機構は41〜43のテストデータを入力し、45〜47の
テスト結果を出力する。

41〜43のテストデータだけで十分かどうかは前述のC0
カバレージを用いて評価する。

たとえば第５図に示すタスクはアルゴリズムに基いた
フローチャートで表現することができるが、この場合C0
カバレージは、フローチャートのステートメントの中で
最低１回実行した数と総ステートメントの割合になる。

C0カバレージを用いた評価は次のように行う。

まず、テストデータ１ではステートメント101、102を
実行するのでC0カバレージは2/4＝50％になる。また、
テストデータ２ではステートメント101、103、104を実
行するのでC0カバレージは3/4＝75％になる。テストデ
ータ１およびテストデータ２の両方を実行するとC0カバ
レージは4/4＝100％になり、これら２つのテストデータ
で十分ということになる。

なお、カバレージを測定するには、第６図に示すよう
に、第５図に示した全ステートメントの前にC0カバレー
ジ測定のためのカウントステートメントを埋め込むこと
により、実現できる。

以上、プログラムテスト作業においてC0カバレージ率
が低ければ、未だ実行していないステートメントが存在
することがわかる。また、詳しい説明は省略するが、C1
カバレージ率が低ければ、未だ実行していないプログラ
ムのパスが存在することがわかる。

そこで、そのステートメントやパスを実行するテスト
ケースを設定し、そのテストケースに基づくテストデー
タを作成して再テストをすることにより十分なテストを
行うことができ、結果的にプログラム品質を高めること
ができる。

またテスト十分性が定量的にわかるため効率良いテス
ト作業を遂行することができる。

しかし、これらの技術は、プログラム構成上の制御構
造部に着目しており、カバレージ率が高い場合であって
もプログラム構成上のデータ領域をアクセスしていない
ことがあるため、これらカバーレージに基づいたテスト
ケースおよびテストデータ設定だけでは十分なテストが
遂行できるとは限らない。

そこで、さらに十分なテストを遂行が行えるようにす
る技術として、プログラム構成上のデータ領域部に着目
して、テスト実行時のデータ領域へのアクセス状況から
テストが充分か否かを評価し、適切なテストケースおよ
びテストデータの設定を可能とする特開63−307546号公
報記載の技術が知られている。

［発明が解決しようとする課題］ 以上のように、従来の各技術によれば、プログラムの
単体テスト作業の効率向上が実現できるが、ソフトウェ
アシステム、特に、リアルタイム制御ソフトウェアシス
テムに対する総合テストであるシステムテストの妥当性
に対する評価、すなわち、適切なテストケースおよびテ
ストデータ作成の指標についいての配慮がなされていな
いため、システムテストの効率向上およびシステムの品
質向上がままならないという問題があった。

そこで、本発明は、システムテストの妥当性について
適切に評価し、システムテスト作業における適切なテス
トケース設定およびテストデータ作成を容易にすること
のできるシステムテスト支援方法を提供することを目的
とする。

［課題を解決するための手段］ 前記目的達成のために、本発明は、ソフトウェアシス
テムテストにおいて、該ソフトウェアシステムを構成す
る各タスクの実行状況と、タスクを起動した起動要因を
計測し、計測した実行状況と起動要因より実行したソフ
トウェアシステムテストに用いたテストケースおよびテ
ストデータの妥当性を評価することを特徴とする第１の
システムテスト支援方法を提供する。なお、タスクはプ
ロセスとも呼ばれることがある。

また、前記目的達成のために、ソフトウェアシステム
テストにおいて、該ソフトウェアシステムの制御対象で
あるシステムの構成要素への、リードやライトの有無等
のアクセス状況を計測し、計測したアクセス状況より実
行したソフトウェアシステムテストに用いたテストケー
スおよびテストデータの妥当性を評価することを特徴と
する第２のシステムテスト支援方法を提供する。

また、本発明は、前記目的達成ために、ソフトウェア
システムテストにおいて、該ソフトウェアシステムを構
成する各タスクの実行状況とタスクを起動した起動要因
および該ソフトウェアシステムの制御対象であるシステ
ムの構成要素へのアクセス状況を計測し、計測した実行
状況と起動要因およびアクセス状況より実行したソフト
ウェアシステムテストに用いたテストケースおよびテス
トデータの妥当性を評価することを特徴とする第３のシ
ステムテスト支援方法を提供する。

また、前記目的達成のために、本発明は、テストケー
スおよびテストデータにもとづいて、ソフトウェアシス
テムを構成するタスクの実行を制御し、かつ、各タスク
の実行状況とタスクを起動した起動要因を計測するモニ
タ手段と、モニタ手段が計測した実行状況と起動要因わ
記憶する蓄積手段と、蓄積手段に記憶された実行状況と
起動要因を解析して、前記テストケースおよびテストデ
ータの妥当性に関する情報を出力する解析手段を有する
ことを特徴とする第１のシステムテスト装置を提供す
る。

また、本発明は、前記目的達成のために、テストケー
スおよびテストデータにもとづいて、ソフトウェアシス
テムを構成するタスクの実行を制御し、かつ、前記ソフ
トウェアシステムの制御対象であるシステムの構成要素
へのアクセス状況を計測するモニタ手段と、モニタ手段
が計測したアクセス状況を記憶する蓄積手段と、蓄積手
段に記憶されたアクセス状況を解析して、前記テストケ
ースおよびテストデータの妥当性に関する情報を出力す
る解析手段を有することを特徴とする第２のシステムテ
スト装置を提供する。

また、さらに、本発明は、前記目的達成のために、テ
ストケースおよびテストデータにもとづいて、ソフトウ
ェアシステムを構成するタスクの実行を制御し、かつ、
各タスクの実行状況とタスクを起動した起動要因、およ
び、前記ソフトウェアシステムの制御対象であるシステ
ムの構成要素へのアクセス状況を計測するモニタ手段
と、モニタ手段が計測した実行状況と起動要因およびア
クセス状況を記憶する蓄積手段と、蓄積手段に記憶され
た実行状況と起動要因およびアクセス状況を解析して、
前記テストケースおよびテストデータの妥当性に関する
情報を出力する解析手段を有することを特徴とする第３
のシステムテスト装置を提供する。

なお、前記第１、第３のシステムテスト装置におい
て、前記解析手段は、前記情報として、システムテスト
における各タスクの起動要因毎の実行範囲、または、シ
ステムテストにおける各タスクの起動要因毎の未実行範
囲、または、その両方を出力するようにしてもよい。

また、前記第１、第３のシステムテスト装置におい
て、前記解析手段は前記情報の出力として、前記タスク
種と起動要因種との各組み合わせを元とするマトリック
ス上において、実行範囲と未実行範囲を塗分けて表示す
るようにしてもよい。

また、前記第２、第３のシステムテスト装置におい
て、前記解析手段は、前記情報として、システムテスト
においてアクセスされた前記構成要素の範囲、または、
システムテストにおいてアクセスされなかった前記構成
要素の範囲、または、その両方を出力するようにしても
よい。

［作用］ まず、前記第３のシステムテスト支援方法を代表例に
とり、本発明に係るシステムテスト支援方法を説明す
る。

本発明に係るシステムテスト支援方法によれば、ソフ
トウェアシステムテストにおいて、各タスク毎に、その
実行状況とタスクを起動した起動要因を計測し、また、
システムの構成要素毎に、リードやライトの有無等のア
クセス状況計測するため、ソフトウェアシステムテスト
のカバレージを定量的に把握することができ、ソフトウ
ェアシステムテストに用いたテストケースおよびテスト
データの妥当性を、的確に評価することができる。

次に、前記第３のシステムテスト装置を代表例にと
り、本発明に係るシステムテスト装置を説明する。

本発明に係る第３のシステムテスト装置によれば、モ
ニタ手段が、ソフトウェアシステムテストの実行に際し
て、タスクの実行の制御に伴い、各タスクの実行状況と
タスクを起動した起動要因、および、構成要素へのアク
セス状況を計測し、蓄積手段が、これを記憶する。

そして、解析手段が蓄積手段に記憶された実行状況と
起動要因およびアクセス状況を解析して、前記テストケ
ースおよびテストデータの妥当性に関する情報を出力す
る。

この出力より、システムテストの作成者は、容易にソ
フトウェアシステムテストに用いたテストケースおよび
テストデータの妥当性を、的確に評価することができ、
システムテスト作成の効率を向上でき、またた、システ
ムテストの品質を向上することができる。

［実施例］ 以下本発明の一実施例について説明する。

まず、本実施例の概要を説明する。

本実施例は、ソフトウェアシステムのタスク（あるい
はプロセス）の実行状況を計測することとソフトウェア
システムの制御対象であるシステム構成要素に対するタ
スクからのアクセス状況を計測することによりシステム
テストを評価し、テストケースやテストデータの作成を
支援する。

ここで、タスクとは並行して実行が可能なプログラム
単位で、特にリアルタイム制御ソフトウェアではタスク
監視モニタが、外部からの起動掲示、タイマによる起
動、他のタスクによる起動等のタスク制御を行う。

外部からの起動指示は制御対象のシステム構成要素か
らの指示で、たとえば、センサ、制御駆動装置、プロセ
ス入出力装置、通信装置、CRT、プリンタ等によるもの
である。

また、モジュールとはプログラムの機能分割単位であ
るが、リアルタイム制御ソフトウェアではタスクが１つ
のモジュールに対応する。１タスク内ではプログラムが
アルゴリズムに基いて表現されているため、制御はタス
ク内で閉じている。

システムテストは複数タスクから構成されるソフトウ
ェアシステムの機能および性能についてテストするもの
で、対象は実世界を反映したシステム構成要素を制御す
るソフトウェアである。

したがって、実世界の様々な条件によりタスクが起動
されるため、これらタスクの起動要因についてテストケ
ースにもれがないことが必要である。

このため、システムテストにおいてテストケースが妥
当がどうかの判定はこれらタスクの起動要因についての
カバレージを持って定量的に行うことができる。

第７図にシステムテスト方法を示す。

第７図において、10のリアルタイム制御ソフトウェア
をテストするため、50aのシステムテスト機構は41a〜43
aのシステムテスト用テストデータを入力し、43a〜47a
のシステムテスト結果を出力する。41a〜43aのテストデ
ータだけで十分かどうかは前述のタスク起動要因毎に求
めたタスクカバレージを用いて行う。

単体テストで使用するカバレージ測定方式をシステム
テスト用に採用しても、１タスク内のカバレージ状況は
把握できるが、複数タスク間のカバレージ状況は把握で
きていない。また、タスクの起動要因毎のカバレージは
測定できない。そのため、システムテスト用のカバレー
ジ測定方式が必要となる。

第３図に、単体テストと本実施例に係るシステムテス
トにおけるテストケース妥当性の判定方法の比較を示す 以下、本実施例を詳細に説明する。

第１図に、本実施例に係るシステムテスト機構の全体
構成を示す。

第１図において、10はシステムテストを行う対象のリ
アルタイム制御ソフトウェアで11〜14のタスクから成
る。

30はリアルタイム制御ソフトウェア10により制御され
る制御対象で、31、32のシステム構成要素から成る。シ
ステム構成要素としては、たとえば、31はプラント制御
装置、32は通信メッセージ制御装置である。

20はタスク監視モニタであり、制御対象30の状況によ
り、リアルタイム制御ソフトウェア10を制御実行する。
また、タスク監視モニタ20がリアルタイム制御ソフトウ
ェア10の状況により制御対象30を制御実行する。

すなわち、システム構成要素31、32からの情報を元に
11から14を実行し、その実行結果31、32を制御する。タ
スク11〜14は制御対象30の状況により、並行または非同
期に実行する。

テストデータ40に基づいて50のテスト機構がタスク監
視モニタ20を起動しテストを実行する。

そして、テスト実行の結果、得られたカバレージ情報
をタスク実行状況蓄積機構60と構成要素アクセス状況機
構70に蓄積する。

タスク実行状況蓄積機構60は、タスク監視モニタ20が
リアルタイム制御ソフトウェア10を監視するときに採取
したタスク11〜14の実行情報をタスクの種類、タスクの
起動要因の種類に分類して蓄積する。

タスクの起動要因としては、外部I/Oよりの入出力要
求割込みの他、入出力終了割込み、タイムスライシング
のためのタイマ割込み、異常発生時の異常割込み等があ
る。

構成要素アクセス状況機構70は、タスク監視モニタ20
が制御対象制御対象30を監視するときに採取した31〜32
のアクセス状況情報を制御対象30の種類に分類して蓄積
する。

80の解析機構はタスク実行状況蓄積機構60と構成要素
アクセス状況蓄積機構70の蓄積情報を元にタスク毎の起
動要因と有効起動要因の割合、タスクの実行状況、実行
したタスクと有効タスクの割合あるいはアクセスしたシ
ステム構成要素と有効構成要素の割合、システム構成要
素のアクセス状況などを解析する。

90は出力機構でタスク実行状況蓄積機構60、構成要素
アクセス状況蓄積機構70の蓄積情報および解析機構80の
解析結果を出力するものである。

システムが稼動する環境は実世界に存在する対象物を
制御する実稼動環境と実世界を模擬した模擬稼動環境の
２方式がある。

実稼動環境下でのシステムテストでは制御対象30が実
世界に存在するシステム構成要素で、模擬稼動環境下で
のシステムテストでは制御対象30は実世界に存在しない
システム構成要素でたとえばシミュレータが該当する。

このいずれの稼動環境下とも上記の機構により実現で
きる。

タスク実行状況蓄積機構60と構成要素アクセス状況蓄
積機構70は各々実行状況情報とアクセス状況情報を蓄積
するもので、プログラムを記憶する機構を用いることに
より同様に実現できる。たとえば磁気ディスク、光ディ
スク、光磁気ディスク、磁気テープ、コアメモリ、ICメ
モリ、ICカード等で実現できる。

解析機構80は情報を解析するもので、解析手段をマイ
クロプログラム等で記憶するICメモリまたはプログラム
を用いて実現できる。

90は情報を出力するもので、CRT、VDT等の画面出力装
置またはプリンタ等の出力装置により実現できる。

次に、タスク実行状況蓄積機構60の動作を説明する。

第８図において、リアルタイム制御ソフトウェア10
は、タスク監視モニタ20の元でテストされる。

本例は、タスク11はタスク実行の起動要因ａ、ｃ、ｄ
のいずれかで起動され、処理を実行する。タスク12はタ
スク実行の起動要因ｂ、ｃのいずれかで実行する。タス
ク13はタスク実行の起動要因ａ、ｂ、ｃのいずれかで実
行する。

これらの起動要因はリアルタイム制御ソフトウェア10
の作成者が設定しておくものである。

複数のテストデータによりテスト実行した結果タスク
11は起動要因ａとｃで実行し、起動要因ｄでは未だ実行
していない。タスク12は起動要因ｂとｃで実行してい
る。また、タスク13は起動要因ｂとｃで実行し、起動要
因ａでは実行していない状況とする。

タスク実行状況蓄積機構60ではタスク種類と起動要因
種類毎に、これらのタスク実行状況を、たとえば第８図
に示したようなテーブルに蓄積する。

この、タスク実行状況蓄積機構60への登録はタスク監
視モニタ20が行う。

この処理手順を第９図に示す。

タスク監視モニタ20は、タスクが起動されると、タス
クのディスパッチに際して、タスク名称と、そのタスク
の起動要因を取りだし、この回数をカウントする。そし
て、タスク実行状況蓄積機構60に登録する。

なお、後述するようにカバレージの測定にはタスクの
起動回数は問題ではなく、起動の有無のみが問題となる
ので、前記カウント処理に代えて起動の有無の識別子の
セットのみを行ってもよい。

なお、本実施例でカウントすることとしているのは、
より詳細なタスクの実行状況を把握することの可能性を
考慮したためである。

さて、タスク実行状況蓄積機構60の蓄積情報に基づ
き、タスク起動要因に着目したカバレージを「実行済の
起動要因数／有効起動要因数」とすると、本例の場合、
タスク11のカバレージは2/3＝67％、タスク12のカバレ
ージは2/2＝リアルタイム制御ソフトウェア100％、タス
ク13のカバレージは2/3＝67％となり、タスク11〜13を
実行したときのカバレージは6/8＝75％となる。

したがって、リアルタイム制御ソフトウェア100％に
満たないため未だ十分なテストを実行していないことが
わかる。

また、タスク11に関して起動要因ｄでは未実行であ
り、タスク13に関して起動要因ａでは未実行であること
がタスク実行状況蓄積機構60から判定できる。

そこで、解析機構80（第１図参照）は、これらを解析
し、システムテストにおけるタスクの実行範囲や未実行
範囲やテストの妥当性等の情報を出力機構90（第１図参
照）より出力する。

出力の方法としては、たとえば、第13図に示すように
CRTモニタ上に、タスク種と起動要因種からなるマトリ
ックスを作成し、マトリックス上において、システムテ
ストにおいて実行された要素と、実行されなかった要素
の色を塗分けて表示する方法、タスク毎または起動要因
毎に、その実行されたカバレージを棒グラフ等でパーセ
ンテージ表示する方法、全体のカバレージを棒グラフ等
でパーセンテージ表示する方法、単にリスト形式で実行
範囲や未実行範囲を表示する方法等を用いることができ
る。

これにより、さらにタスク11に関して起動要因ｄ、タ
スク13に関して起動要因ａにより実行できるテストケー
スを設定することにより十分なテストを実施することが
できる。

次に、構成要素アクセス状況蓄積機構70の動作を説明
する。

第10図において、リアルタイム制御ソフトウェア10
は、タスク監視モニタ20の元でテストされる。

第11図に示すように、各タスクは実行中にセンサやI/
Oやファイル等にアクセスするが、これらのアクセス
は、モニタコール等によってタスク監視モニタ20を介し
て行われる。

そこで、第12図に示すように、タスク監視モニタ20
が、構成要素のアクセスに際して、アクセス対象の機構
要素の種類と、リード／ライト等の別を取りだし、この
回数をカウントする。そして、構成要素アクセス状況蓄
積機構70登録する。

なお、この処理において、カウントするのはより詳細
なタスクの実行状況を把握することの可能性を考慮した
ためであり、カウント処理に代えてアクセスの有無の識
別子のセットのみを行ってもよい。

以上のように、構成要素アクセス状況蓄積機構70に
は、システムテストにおける構成要素毎のアクセス状況
が蓄積されるため、これを解析し、構成要素のアクセス
に関するカバレージを得れば、システムテストの妥当性
を判断することができる。

そこで、解析機構80（第１図参照）は、これらを解析
し、システムテストにおける構成要素のアクセス範囲や
未アクセス範囲やテストの妥当性等の情報を出力機構90
（第１図参照）より出力する。

出力の方法としては、たとえば、CRTモニタ上に、ア
クセス範囲を要素毎に色を塗分けて表示する方法、カバ
レージを棒グラフ等でパーセンテージ表示する方法、単
にリスト形式でアクセス範囲や未アクセス範囲を表示す
る方法等を用いることができる。

これにより、さらに未アクセスであった構成要素をア
クセスできるテストケースを設定することにより十分な
テストを実施することができる。

以上、本実施例によれば、システムテストにおけるテ
ストケースおよびテストデータに対する妥当性を定量的
に表わすことができる。

また、より十分なシステムテストを行うために、不足
しているテストケースおよびテストデータが容易に判定
でき、新たなテストケース設定とをテストデータ作成が
容易に行える。

また、解析機構80は、タスク実行状況蓄積機構60のタ
スク実行状況と構成要素アクセス状況蓄積機構70アクセ
ス状況との情報を用いて、より詳細なテストの妥当性等
の情報を出力機構90（第１図参照）より出力するように
してもよい。

出力の方法は、たとえば、前記各表示方法の他、タス
ク種や起動要因や構成要素の、システム上の相互の関連
に基づいて表示する方法等を用いることができる。

前記各表示方法のように、システムテストの妥当性に
関する情報出力をCRTモニタ等に表示することにより、
システムテストの作成者等に、より理解されやすいマン
マシンインタフェースを提供することができる。

［発明の効果］ 以上のように、本発明によれば、システムテストの妥
当性にについて適切に評価し、システムテスト作業にお
ける適切なテストケース設定およびテストデータ作成を
容易にすることのできるシステムテスト支援方法を提供
することができる。

【図面の簡単な説明】

第１図は本発明の１実施例に係るシステム機構を示すブ
ロック図、第２図はリアルタイム制御ソフトウェアによ
る制御を示す説明図、第３図は単体テストとシステムテ
ストにおけるテストケース妥当性の判定方法の比較を示
す説明図、第４図は単体テスト方法を示す説明図、第５
図はC0カバレージを示す説明図、第６図はC0カバレージ
測定方式を示す説明図、第７図はシステムテスト方法を
示す説明図、第８図はタスク実行状況蓄積機構を示す機
構図、第９図は監視モニタのタスク実行状況蓄積機構へ
の蓄積手順を示すフローチャート、第10図は機構要素ア
クセス状況蓄積機構を示す機構図、第11図は機構要素ア
クセス状況蓄積の方式を示す説明図、第12図は監視モニ
タのタスク実行状況蓄積機構への蓄積手順を示すフロー
チャート、第13図はシステムテストのカバレージの表示
を示す説明図である。 リアルタイム制御ソフトウェア10……リアルタイム制御
ソフトウェア、11〜14……タスク、タスク監視モニタ20
……タスク監視モニタ、30……制御対象、31、32……シ
ステム構成要素、40〜43……テストデータ、41a〜43a…
…システムテスト用テストデータ、45〜47……テスト結
果、45a〜47a……システムテスト結果、50……テスト機
構、タスク実行状況蓄積機構60……タスク実行状況蓄積
機構60、構成要素アクセス状況蓄積機構70……構成要素
アクセス状況蓄積機構、解析機構80……解析機構、90…
…出力機構、リアルタイム制御ソフトウェア101〜リア
ルタイム制御ソフトウェア104……ステートメント、111
〜114……カバレージカウント用ステートメント。

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】ソフトウェアシステムテストにおいて、該
   ソフトウェアシステムを構成する各タスクの実行状況
   と、タスクを起動した起動要因を計測し、計測した実行
   状況と起動要因より実行したソフトウェアシステムテス
   トに用いたテストケースおよびテストデータの妥当性を
   評価することを特徴とするシステムテスト支援方法。
2. 【請求項２】テストケースおよびテストデータにもとづ
   いて、ソフトウェアシステムを構成するタスクの実行を
   制御し、かつ、各タスクの実行状況とタスクを起動した
   起動要因を計測するモニタ手段と、モニタ手段が計測し
   た実行状況と起動要因を記憶する蓄積手段と、蓄積手段
   に記憶された実行状況と起動要因を解析して、前記テス
   トケースおよびテストデータの妥当性に関する情報を出
   力する解析手段を有することを特徴とするシステムテス
   ト装置。
3. 【請求項３】請求項２記載のシステムテスト装置であっ
   て、 前記解析手段は、前記情報として、システムテストにお
   ける各タスクの起動要因毎の実行範囲を出力することを
   特徴とするシステムテスト装置。
4. 【請求項４】請求項２記載のシステムテスト装置であっ
   て、 前記解析手段は前記情報の出力として、前記タスク種と
   起動要因種との各組み合わせを元とするマトリックス上
   において、実行範囲と未実行範囲を塗分けて表示するこ
   とを特徴とするシステムテスト装置。