JPH06161825A - ソフトウェアプログラムのテストカバレッジ計測装置 - Google Patents

Abstract

(57)【要約】 【目的】テスト実施時に、種類の異なるテストカバレッ
ジを効率よく計測できるソフトウェアプログラムのテス
トカバレッジ計測装置を提供する。 【構成】テストカバレッジの種別に応じたプローブをソ
ースプログラム中に埋め込む埋め込み手段１と、プロー
ブＩＤを発番するとともに各プローブの解析結果を一元
管理する管理手段２と、テスト対象プログラムに対する
テストＩＤを発番するとともにテストカバレッジの種別
と管理手段２の有する情報とに基いてプローブプログラ
ムを生成する生成手段３と、プローブプログラムとプロ
ーブ埋め込み済みソースプログラムをコンパイルしたプ
ログラムとを結合して実行可能なオブジェクトプログラ
ムを作成する手段５と、オブジェクトプログラムにテス
トデータを与えて実行させたときの測定データからテス
トＩＤをもとにしてテストカバレッジを計算するテスト
カバレッジ算出手段４とを備えている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ソフトウェアプログラ
ムのテストカバレッジを計測する計測装置に関する。

【０００２】

【従来の技術】周知のように、ソフトウェアプログラム
の作成途中や作成後において、そのプログラムの品質を
推定するために様々なテストが行なわれる。このような
テストに際し、プログラムのどの部分をテストしたかを
示す情報、すなわちテストカバレッジの情報は、ソフト
ウェアプログラムの信頼性を推定する指標の一つに利用
されているほか、テスト完了基準、出荷（リリース）判
定基準としても利用されている。

【０００３】ところで、テストカバレッジを計測する手
法としては、従来、特開昭６４−１５８３６号公報や
「ソフトウェアのテスト技法（共立出版）」に示されて
いるように、コンパイラやインタプリタなどの言語処理
系に手をつけることなくプログラム実行時の網羅度を計
測するために、プログラム実行時の網羅度を計測可能な
特別な命令コード（プローブと呼ぶ）をソースプログラ
ム中に挿入し、計測に必要なものを実行時ライブラリと
して結合することによってテストカバレッジを計測する
方法が採用されている。

【０００４】この手法によってテストカバレッジを計測
する場合であっても、どのような網羅基準に対応したも
のかによって計測すべきものが異なることには変わりな
い。たとえば、命令網羅基準に対応するｃ₀ カバレッジ
を分析するためにはステートメントの実行回数を計測す
る必要があり、分岐網羅基準に対応するｃ₁ カバレッジ
を分析するためには各分岐の実行回数を計測する必要が
ある。このようにテストカバレッジの種類を変えた場
合、従来の手法では、ソースプログラムの解析、コンパ
イルリンク、実行、テストカバレッジの算出からなる一
連の手順を頭から繰り返すようにしている。

【０００５】また、ソフトウェアプログラムは、通常複
数のモジュールから構成され、それらのモジュールを組
上げることによってプログラムが開発されていく。この
ため、プログラムは時間の経過とともに増加していく。
このように時間の経過にしたがってプログラムが増加し
た場合であっても、従来の手法では、テストしたい対象
が変わる毎に上記と同様の一連の手順を頭から繰り返す
ようにしている。

【０００６】しかしながら、上述した従来のテストカバ
レッジ計測手法にあっては次のような問題があった。す
なわち、テストカバレッジの種類を変更する毎に、一連
の手続きを頭から繰り返す必要があるので、その都度、
オリジナルのプログラムにプローブを埋め込み直し、そ
のプログラムを再度コンパイルする必要がある。このた
め、プログラムが大きくなると、プログラムをコンパイ
ルするために長時間を要し、テストカバレッジを計測す
るためだけに行うコンパイル時間が実際には時間の浪費
となって現れる。

【０００７】また、同じ種類のテストカバレッジを計測
する場合であっても、プログラムが大きくなるにつれ
て、テストを行う対象モジュールが増えていく。このと
き、一連の手続きを頭から繰り返して行う従来の手法で
は、必然的に長時間を要することになる。なお、新しく
追加されたモジュールや変更されたモジュールのみを対
象に新たにプローブ識別符号（ＩＤ）を発番する（古い
プローブＩＤはそのまま残しておく）ことも考えられる
が、この手法を採用すると、プローブの実行回数を記録
するための媒体（ファイルやメモリ）に永遠に使われな
い部分が発生し、資源の有効利用の面から好ましくはな
い。

【０００８】上述した状況は、通常のソフトウェア開発
の現場、たとえばマイクロプロセッサ組込み機器のソフ
トウェアプログラムおよびリアルタイム制御用ソフトウ
ェアプログラムなどの開発現場においてよく起こる。こ
れらのプログラムも複数のモジュールから構成され、そ
れらのモジュールを組上げていくことによってプログラ
ムが開発される。

【０００９】マイクロプロセッサ組込み機器の場合、テ
ストカバレッジ計測装置がプローブの実行回数を記録す
る媒体であるファイルを利用できない場合が多い。つま
り、ファイルシステムを持っていないのである。このた
め、その記録媒体として機器のメモリを借用することに
なるが、通常、機器はその製品のソフトウェアを動作さ
せるのに必要最低限のメモリしか備えていない。したが
って、実機上でテストカバレッジを測定しようとした場
合には、プログラムが完成に近づくほどテストカバレッ
ジ計測に利用できるメモリが少なくなり、プローブの実
行回数を記録するためのメモリサイズを小さくしなけれ
ばならない。そこで、通常は、たとえばモジュールやタ
スクの単体テストを行うときにセグメントカバレッジを
計測し、タスクの結合テストやシステムテストを行うと
きにモジュールカバレッジを計測するなどしている。

【００１０】また、リアルタイム制御用ソフトウェアの
場合、テストカバレッジを計測するためには、プログラ
ム本来の機能を実現するためには必要としないという意
味で余分な計測命令を挿入する必要がある。このため、
計測機構の付加されたプログラムには、もとのプログラ
ムと比較して実行時間や記憶容量の点でかなりのオーバ
ヘッドがかかる。特に、実行時間に関しては、モジュー
ルやタスクの単体テストではあまり問題にならないが、
タスクの結合テストやシステムテストを行う場合には、
プローブの実行時間がそのプログラムの本来の機能に影
響を与える。このため、結合テスト以降では、プローブ
の実行時間を極力短くする必要がある。そこで、通常
は、たとえばモジュールの単体テストやタスクの単体テ
ストを実施するときにセグメントカバレッジを計測し、
タスクの結合テストやシステムテストを行うときにモジ
ュールカバレッジやタスクカバレッジを計測するなどし
ている。また、特定のタスクについてのみテストカバレ
ッジを計測する場合もある。このように、テストカバレ
ッジの種類を変えなければならない状況は存在してい
る。

【００１１】

【発明が解決しようとする課題】上述の如く、従来のテ
ストカバレッジ計測手法にあっては、テスト時間のオー
バヘッドと記憶容量のオーバヘッドとが起こる問題があ
った。

【００１２】そこで本発明は、上述した問題を解決して
ソフトウェアプログラムのテスト実施時に、種類の異な
るテストカバレッジを効率よく計測できるソフトウェア
プログラムのテストカバレッジ計測装置を提供すること
を目的としている。

【００１３】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、高級言語プログラムを対象とするソフト
ウェアプローブを用いたソフトウェアプログラムのテス
トカバレッジ計測装置を対象にしている。

【００１４】そして、本発明に係るテストカバレッジ計
測装置においては、指定されたソースプログラムを解析
するとともに指定されたテストカバレッジ種別に応じた
ソフトウェアプローブを上記ソースプログラム中の適切
な箇所に埋め込むプローブ埋め込み手段と、このプロー
ブ埋め込み手段からの要求に応じて前記ソフトウェアプ
ローブを識別するための識別符号を発番するとともに各
ソフトウェアプローブの解析結果を一元管理するプロー
ブ管理手段と、指定されたテスト対象プログラムに対す
るテスト識別符号を発番するとともに指定されたテスト
カバレッジ種別と前記プローブ管理手段の有する管理情
報とに基いてプローブの実体となるソースプログラムを
生成するプローブ生成手段と、このプローブ生成手段で
生成されたプローブの実体となるソースプログラムをコ
ンパイルしたオブジェクトプログラムと前記プローブ埋
め込み手段によってプローブの埋め込まれたソースプロ
グラムとをコンパイルしたテスト対象のオブジェクトプ
ログラムとを結合して実行可能なオブジェクトプログラ
ムを作成する手段と、この手段で作成されたオブジェク
トプログラムにテストデータを与えて実行させたときの
測定データから前記テスト識別符号をもとにしてテスト
カバレッジを計算するテストカバレッジ算出手段とを備
えている。

【００１５】

【作用】テスト対象プログラムを変更したり、計測する
テストカバレッジの種類を変更したり、あるいはプロー
ブの通過回数データを記録する媒体上の基準アドレスを
変更したりした場合には、プローブ生成手段によってプ
ローブの実体であるソースプログラムだけが生成され、
それがコンパイルされてテストしたいプログラムのオブ
ジェクトプログラムとリンクされる。そして、テストカ
バレッジが計測される。したがって、プローブの埋め込
まれたソースプログラムには加工を施す必要がないの
で、コンパイル時間を短縮でき、効率よくテストを行う
ことが可能となる。また、記憶容量のオーバヘッドも常
に最小に抑えられる。

【００１６】

【実施例】以下、図面を参照しながら実施例を説明す
る。図１には本発明の一実施例に係るテストカバレッジ
計測装置の概略構成が示されている。

【００１７】このテストカバレッジ計測装置は、大きく
分けて、プローブ埋め込み手段１と、プローブ管理手段
２と、プローブ生成手段３と、コンパイラリンカ４と、
テストカバレッジ算出手段５とで構成されている。

【００１８】プローブ埋め込み手段１は、指定されたソ
ースプログラムの構造を解析するとともに指定されたテ
ストカバレッジの種類に応じたソフトウェアプローブを
適切な箇所に挿入する。このとき、プローブ埋め込み手
段１はソフトウェアプローブを挿入する毎に、プローブ
管理手段２に対してそのプログラムのモジュール名，タ
スク名，ファイル名およびプログラム構造種別を登録
し、プローブ管理手段２でプローブ識別符号（ＩＤ）を
発番してもらう。そして、プローブ埋め込み手段１は、
そのプローブＩＤを引数とするサブルーチン・コール
文、すなわちプローブを挿入する。プローブ埋め込み手
段１が生成したプローブ挿入済みのソースプログラム
は、コンパイラリンカ４に導入される。

【００１９】プローブ生成手段３は、指定されたテスト
対象プログラムの組合わせに対してテスト番号（ＩＤ）
を発番し、指定されたテストカバレッジの種別をもとに
プローブ管理手段２の有する情報からプローブの実体と
なるソースプログラムを生成する。このプローブの実体
となるソース・プログラムは、プローブの実行回数を記
録するための領域の確保および初期化、該当プローブの
有効・無効の判断、プローブＩＤからその実行回数デー
タを保持している媒体上の物理的なアドレスの計算、実
行回数データのインクリメント、記録用領域の解放など
を行う。

【００２０】テスト対象プログラムが変更されたり、テ
ストカバレッジの種類が変更されたりしたときには、プ
ローブ生成手段３によってプローブの実体であるソース
プログラムのみが再生成されるだけである。したがっ
て、記憶容量のオーバヘッドは常に最小に抑えられる。

【００２１】プローブ埋め込み手段１で加工されたプロ
ーブ挿入済みソースプログラムとプローブ生成手段３で
生成されたプローブの実体であるソースプログラムと
は、コンパイラリンカ４によってそれぞれテスト対象の
オブジェクト・プログラムとプローブの実体であるオブ
ジェクト・プログラムとにコンパイルされた後に結合さ
れて実行可能なオブジェクトプログラムに変換される。

【００２２】作成された実行可能なオブジェクトプログ
ラムは、実行手段６においてテストデータが与えられて
実行される。すなわち、通常のテストと同じように、テ
ストデータを与えれば、対応するテスト結果が得られ
る。このテスト結果は、プローブの挿入されていない元
のプログラムに対して同じテストデータを与えたときの
結果と同じになる。実行の過程でプローブによって実行
回数データが収集され、計測結果が記録される。

【００２３】テストカバレッジ算出手段５は、指定され
たテストＩＤをもとに計測結果からテストカバレッジを
算出する。このとき、それ以前の実行回数データは、テ
ストＩＤごとに蓄積されており、それまで実施してきた
テストによる実行回数データも考慮したテストカバレッ
ジが算出される。

【００２４】図２にはテスト対象となっているシステム
のソースプログラムを管理しているエンジニアリングワ
ークステーション上のディレクトリ構造が示されてい
る。以後の説明は、ディレクトリがタスク毎に分かれて
いるものとして行う。

【００２５】図３には本テストカバレッジ計測装置の操
作画面が示されている。この例における操作は、３つボ
タンマウスとキーボードとによって行われる。このと
き、テストはタスクレベルで行うものとする。また、計
測するテストカバレッジをセグメントカバレッジ、モジ
ュールカバレッジ、タスクカバレッジの３種類とする。
これらのテストカバレッジは次のような意味を持ってい
る。 (1) セグメントカバレッジ

【００２６】制御の流れが分岐するところでプログラム
を分割したものをセグメントという。したがって、セグ
メントの中では制御の流れは必ず一直線となる。プログ
ラム中の全てのセグメントに対する実行したセグメント
の割合（％）をセグメントカバレッジという。 (2) モジュールカバレッジ

【００２７】プログラムは複数のモジュールから構成さ
れている。プログラム中の全てのモジュールに対する実
行したモジュールの割合（％）をモジュールカバレッジ
という。 (3) タスクカバレッジ

【００２８】プログラムは並列に動作する複数のタスク
から構成されている場合がある。タスクは当然複数の逐
次的な処理を行うモジュールから構成されている。プロ
グラム中の全てのタスクに対する実行したタスクの割合
（％）をタスクカバレッジという。

【００２９】今、マウスの左ボタンで図３中の「プロー
ブ挿入」をクリックすると、プルダウンメニューが表示
される。その中から「テスト対象追加」を選択する。そ
うすると、指定されているカレントディレクトリに存在
しているディレクトリおよびファイルがプルライトメニ
ューとして表示される。その中からテストしたいディレ
クトリ（すなわちタスク）を指定する。

【００３０】この状態で、マウスの左ボタンで再度「プ
ローブ挿入」をクリックして、プルダウンメニューを表
示させて「実行」を選択する。そうすると、プローブ埋
め込み手段１が起動され、そのタスクを構成している全
てのソースファイルを解析してプローブが埋め込まれ
る。このとき、選択されているテストカバレッジの種類
に応じた特定のプログラム構造のところにプローブが埋
め込まれる。たとえば、セグメントカバレッジが選択さ
れている場合には、全てのモジュールの入り口、繰り返
し文や分岐文の入り口にプローブが挿入される。モジュ
ールカバレッジが選択されている場合には、全てのモジ
ュールの入り口に、またタスクカバレッジが選択されて
いる場合にはメインモジュールの入り口のみにプローブ
が挿入される。この場合には、セグメントカバレッジ、
モジュールカバレッジ、タスクカバレッジの順で厳しい
網羅基準となっており、セグメントカバレッジからモジ
ュールカバレッジ、セグメントカバレッジからタスクカ
バレッジあるいはモジュールカバレッジからタスクカバ
レッジへと移行する。これと逆行するようなテストカバ
レッジの移行を行った場合も正常に動作するが、それは
その本来の網羅基準を満たすものではない。

【００３１】図４(a) にはＣ言語で書かれたプログラム
例が示されており、図４(b) にはプローブ挿入済みのプ
ログラムが示されている。図４(b) 中、Ｐで示されてい
る部分にプローブが挿入されている。

【００３２】プローブ埋め込み手段１はプローブを挿入
する毎に、プローブ管理手段２に対してそのプログラム
のモジュール名、タスク名（すなわち、ディレクトリパ
ス）、ファイル名およびプログラム構造種別を登録し、
プローブＩＤを発番してもらい、プローブ埋め込み手段
１がそのプローブＩＤを引数とするサブルーチン・コー
ルをそのソースプログラムの中に挿入する。

【００３３】マウスの左ボタンで図３中の「プローブ生
成」をクリックすると、プルダウンメニューが表示され
る。その中から「タスク追加」を選択する。そうする
と、指定されているカレントディレクトリに存在してい
るディレクトリおよびファイルがプルライトメニューと
して表示される。その中からテストしたいディレクトリ
（すなわちタスク）を指定する。

【００３４】この状態で、マウスの左ボタンで再度「プ
ローブ生成」をクリックして、プルダウンメニューを表
示させて「実行」を選択する。そうすると、プローブ生
成手段３が起動され、指定されたタスクの組合わせに対
してテストＩＤを発番し、選択されているテストカバレ
ッジの種類に応じてプローブ管理手段２の有するプロー
ブ情報をもとに記憶容量を最小にするように、プローブ
の実行回数を記録する媒体上の物理的アドレスに変換す
るためのテーブルと、記憶媒体上の領域を確保・初期化
・解放するためのロジックと、プローブの有効・無効の
判定および実行回数データをインクリメントするロジッ
クと、記憶領域に対して排他制御を行うロジックとを含
むプローブの実体であるソースプログラムを生成する。
図５には実行回数データをインクリメントするロジック
が示されている。

【００３５】次に、コンパイラリンカ４でプローブ挿入
済みソースプログラムとプローブの実体であるソースプ
ログラムとをコンパイルした後、リンクさせて実行可能
なオブジェクトプログラムを生成する。そして、実行手
段６によって通常のテストを実施させる。図６にはプロ
ーブの通過回数を記録する様子を表したものが示されて
いる。

【００３６】テストが終了した時点で、マウスの左ボタ
ンで図３中の「カバレッジ算出」をクリックすると、プ
ルダウンメニューが表示される。その中から「テストＩ
Ｄ」を選択する。そうすると、テストカバレッジ算出手
段５が起動され、それまでの通過回数データの履歴と、
記憶媒体上の今回の通過回数データを合計してテストカ
バレッジを計算し、テスト報告書が出力される。図８に
は出力されたテスト報告書の記述内容が示されている。

【００３７】ただし、図７(a) に示すようなクロス環境
では、図７(b) に示すように、通過回数データをフロピ
ーディスク（ＦＤ）に落し、これをネットワークを介し
てワークステーションの方へ転送する必要がある。

【００３８】なお、テスト対象を変えたり、計測するテ
ストカバレッジの種類を変更したり、あるいはプローブ
の通過回数を記録する記憶媒体上の領域の基準アドレス
を変更したりする場合には、プローブ生成手段３により
プローブの実体であるソースプログラムだけが再生成さ
れる。この生成されたプローブの実体であるソースプロ
グラムだけをコンパイルし、テストしたいプログラムと
リンクし直す。そして、以下同様にしてテストカバレッ
ジを計測する。したがって、テスト対象のプログラムに
ついて、プローブを埋め込み直したり、コンパイルし直
したりする必要がないので、効率よくテストを実施する
ことができる。図９にはテスト対象プログラムに対する
テストデータと、そのときのそれぞれのテストカバレッ
ジの変化の様子との一例が示されている。

【００３９】

【発明の効果】以上説明したように、本発明によれば、
テストカバレッジの種類を簡単に変更することができる
とともに、その際に発生するコンパイル時間を大幅に短
縮させることができる。また、プローブの通過回数を記
録する領域の大きさも常に最小とすることができる。し
たがって、テストを効率よく実施できるとともにプログ
ラムの分野や大きさに応じて最適なテストカバレッジを
計測できる。

【図面の簡単な説明】

【図１】本発明の一実施例に係るソフトウェアプログラ
ムのテストカバレッジ計測装置の概略構成図

【図２】ソースプログラムの管理ディレクトリ構造を示
す図

【図３】同テストカバレッジ計測装置の操作画面を示す
図

【図４】(a) はソースプログラムの一例を示す図で、
(b) はプローブ挿入済みソースプログラムの一例を示す
図

【図５】実行回数データをインクリメントする処理の流
れ図

【図６】プローブ通過回数記録の概要を示す図

【図７】クロス環境における通過回数データの収集例を
説明するための図

【図８】テスト報告書の書式例を示す図

【図９】テストカバレッジ計測事例を示す図

【符号の説明】

１…プローブ埋め込み手段 ２…プローブ
管理手段 ３…プローブ生成手段 ４…テストカ
バレッジ算出手段 ５…コンパイラリンカ ６…実行手段

Claims (1)

【特許請求の範囲】
1. 【請求項１】ソフトウェアプローブを用いたソフトウェ
   アプログラムのテストカバレッジ計測装置において、指
   定されたソースプログラムを解析するとともに指定され
   たテストカバレッジ種別に応じたソフトウェアプローブ
   を上記ソースプログラム中の適切な箇所に埋め込むプロ
   ーブ埋め込み手段と、このプローブ埋め込み手段からの
   要求に応じて前記ソフトウェアプローブを識別するため
   の識別符号を発番するとともに各ソフトウェアプローブ
   の解析結果を一元管理するプローブ管理手段と、指定さ
   れたテスト対象プログラムに対するテスト識別符号を発
   番するとともに指定されたテストカバレッジ種別と前記
   プローブ管理手段の有する管理情報とに基いてプローブ
   の実体となるソースプログラムを生成するプローブ生成
   手段と、このプローブ生成手段で生成されたプローブの
   実体となるソースプログラムをコンパイルしたオブジェ
   クトプログラムと前記プローブ埋め込み手段によってプ
   ローブの埋め込まれたソースプログラムをコンパイルし
   たオブジェクトプログラムとを結合して実行可能なオブ
   ジェクトプログラムを作成する手段と、この手段で作成
   されたオブジェクトプログラムにテストデータを与えて
   実行させたときの測定データから前記テスト識別符号を
   もとにしてテストカバレッジを計算するテストカバレッ
   ジ算出手段とを具備してなることを特徴とするソフトウ
   ェアプログラムのテストカバレッジ計測装置。