JP6251994B2 - テスト結果表示装置、およびテスト結果表示プログラム - Google Patents

Description

本発明は、ソフトウェアによるテスト結果を表示させるテスト結果表示装置、およびテスト結果表示プログラムに関する。

上記のテスト結果表示装置として、テスト結果と期待値とを比較することで検査の合否を自動判定し、この結果を表示させる構成が知られている（例えば、特許文献１参照）。

特開２００１−００５８５６号公報

しかしながら、上記のテスト結果表示装置では、テスト結果の比較対象となる期待値を、作業者が１つ１つ手作業で設定する必要があるため、作業者による工数が削減する要求があった。

そこで、ソフトウェアによるテスト結果を表示させるテスト結果表示装置、およびテスト結果表示プログラムにおいて、作業者による工数を削減可能なより簡素な構成でテスト結果を表示できるようにすることを本発明の目的とする。

かかる目的を達成するために成された本発明のテスト結果表示装置において、検査情報取得手段は、表示対象となるテスト結果に関するテスト結果データ、およびテストプログラムのうちの少なくともテスト結果データを含む検査情報を取得する。そして、表示態様選択手段は、検査情報に基づいて、テスト結果を図示するために予め準備された複数の表示態様から１または複数の表示態様を選択する。さらに、表示制御手段は、選択された表示態様でテスト結果を図示する表示画像を生成し、表示画像を表示部に表示させる。

このようなテスト結果表示装置によれば、テスト結果を図示する際に適切な表示態様を選択し、この表示態様でテスト結果を表示させることができる。よって、より簡素な構成でテスト結果を表示できる。

また、上記テスト結果表示装置においては、テスト結果を適切な表示態様で表示させることで、テスト結果の合否の判定については使用者（検査者）がテスト結果の表示画像を見ることで直感的に判定することができる。

ところで、本発明では、テストを実施するためのプログラムをテストプログラムと表記し、テストプログラムのうちの、特にシミュレーションを実施するためのプログラムをシミュレーションプログラムと表記している。

なお、上記目的を達成するためには、コンピュータを、テスト結果表示装置を構成する各手段として実現するためのテスト結果表示プログラムとしてもよい。
また、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、発明の目的を達成できる範囲内において一部構成を除外してもよい。

テスト結果表示装置１の概略構成を示すブロック図である。 演算部１０が実行する表示方法設定処理を示すフローチャートである。 表示方法と選択条件との関係を示す説明図（その１）である。 表示方法と選択条件との関係を示す説明図（その２）である。 表示方法の一例としての状態遷移表示図である。 表示方法の一例としてのレジスタリフレッシュ表、およびレジスタ設定表である。 表示方法の一例としてのフラグ状態表示である。 表示方法の一例としてのグラフ表示（その１）である。 表示方法の一例としてのグラフ表示（その２）である。 演算部１０が実行する期待値設定／合否判定処理を示すフローチャート（ａ）と合格範囲（期待値）を示すグラフ（ｂ）である。 期待値と判定結果の一例とを示す一覧表である。 演算部１０が実行する表示処理を示すフローチャートである。

以下に本発明にかかる実施の形態を図面と共に説明する。
［本実施形態の構成］
本発明が適用されたテスト結果表示装置１は、テストプログラムを実行することによるテスト結果を表示させる機能を備えている。特に本実施形態では、シミュレーションプログラムを実行することによるシミュレーション結果を表示させる機能を備えている。詳細には、図１に示すように、テスト結果表示装置１は、演算部１０と、各種記録部３１〜３４と、操作部４１と、表示部４２とを備えている。

各種記録部３１〜３４としては、テスト結果記録部３１、表示ルール記録部３２、ソースコード記録部３３、および期待値記録部３４を備えている。
テスト結果記録部３１は、シミュレーション結果（テスト結果）を記録するためのメモリとして構成されている。テスト結果記録部３１には、テストケース毎にテストを実施した結果の、テスト対象モジュールの入力と出力の情報が記録される。

また、表示ルール記録部３２は、シミュレーション結果を表示部４２に表示させる際の表示態様（表示方法）、および各表示態様を選択するための選択条件を多数記録したメモリとして構成されている。この多数の表示態様から、選択条件に従って１または複数の表示態様が選択されることになる。なお、表示ルール記録部３２には使用者によって表示方法を変更（指定）されたテスト対象モジュールの表示態様および期待値入力を助けるための補助情報をテスト対象モジュール毎が記録される。

ソースコード記録部３３は、シミュレーションを実施するためのシミュレーションプログラム（例えばソースコード等）が記録されたメモリとして構成されている。詳細には、ソースコード記録部３３には、テスト対象モジュールのソースコード、全てのテストケースを実行するためにテスト対象モジュールと結合するソフト（スタブ、ドライバなど）のソースコードが記録される。シミュレーションプログラムとしては、例えば、耐久性や振動、或いは電子回路の特性等を検証するための初期値や境界条件を入力すると、この入力に応じた出力を返すプログラムが該当する。

期待値記録部３４は、シミュレーション結果を合格とする数値範囲（期待値または合格範囲）等を数値の種別毎に記録するためのメモリとして構成されている。この数値範囲（合格範囲または期待値）は、テストケース毎に記録される。

次に、操作部４１は、使用者による操作を受け付けるユーザインタフェースとして機能し、例えば、キーボード、タッチパネル、マウス等として構成されている。表示部４２は、演算部１０によって生成された表示画像をディスプレイ上に表示させる周知の表示装置として構成されている。

演算部１０は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３等を備えた周知のコンピュータとして構成されている。ＣＰＵ１１は、ＲＯＭ１２等に格納されたプログラム（テスト結果表示プログラムを含む）に基づいて、テスト部２１、表示方法判定部２２、期待値設定部２３、表示変更部２４等としての機能を実行する。

テスト部２１としての機能では、操作部４１を介して入力されるシミュレーション条件に従って、ソースコード記録部３３内のソースコード（所定のシミュレーションプログラム等のテストプログラム）から生成した実行コードを実行し、シミュレーション結果等の結果を得る。そして、このシミュレーション結果を、テスト結果としてテスト結果記録部３１に記録させる。

表示方法判定部２２としての機能では、後述する表示方法設定処理を実行することによって適切な表示方法を判定し、判定に基づいて設定されたテスト結果を表示させる。
期待値設定部２３としての機能では、後述する期待値設定／合否判定処理を実行することによって、表示されたテスト結果の評価を行うために、テスト結果を合格とする領域と不合格とする領域の境界を、合格領域を設定することによって設定する。

表示変更部２４としての機能では、後述する表示設定処理を実行することによって、使用者の操作に応じて表示態様を変更する。
［本実施形態の処理］
上記のようなテスト結果表示装置１において実行される処理の詳細について、以下に説明する。まず、表示方法設定処理は、テスト結果記録部３１にテスト結果が記録されたときや、後述する表示方法変更処理において本処理を起動する旨の指示が出力された場合等に開始される。

表示方法設定処理では、図２に示すように、まず、テスト結果記録部３１からテスト結果を取得する（Ｓ１１０）。続いて、ソースコード記録部３３からテスト結果を得るために利用されたシミュレーションプログラムに関するソースコードを取得する（Ｓ１２０）。

そして、表示ルール記録部３２から最も優先順位が高い選択条件（図３に示す例では優先順位０のもの）を取得し、この選択条件を選択する（Ｓ１３０）。ここで、表示ルール記録部３２には、図３および図４に示すように、優先順位、表示方法、および選択条件が互いに対応付けられた対応データが記録されている。

選択条件は、例えば、ソースコードの特徴（シミュレーションプログラムに含まれるキーワードに応じて推定される検査の種別など）、出力信号の系列の特徴や入力信号の系列の特徴（入出力されるデータの種別（浮動小数点型や整数型等）、統計・分布（分散、標準偏差等）、或いは特徴点（極大値、極小値、変曲点、傾き、切片等））等に区分されている。そして、ソースコードの特徴としては、テスト対象モジュール（モジュール内）とテストケースを実施するためにテスト対象モジュールに結合するソフト（スタブ、ドライバなど）に区別されている。

続いて、ソースコードの特徴、出力信号の系列の特徴、入力信号の系列の特徴等が、これらの選択条件に合致するか否かを判定する（Ｓ１６０）。この処理では、優先順位に対応する選択条件の全てを満たす場合に、選択条件に合致すると判定される。

なお、表示ルール記録部３２において、使用者が表示方法を変更した旨の情報が記録されている場合には、使用者が変更した表示方法を選択条件に合致した表示方法としてもよい。

選択条件に合致する場合（Ｓ１６０：ＹＥＳ）、条件に対応する表示方法を設定する（Ｓ１７０）。例えば、図３に示す優先順位０の選択条件に合致する場合には、「状態遷移表示」が表示方法として設定され、また例えば、図４に示す優先順位５に合致する場合には、「フラグ状態表示」が表示方法として設定されることになる。さらに例えば、何れの優先順位の選択条件にも合致しない場合には、優先順位１１が選択され、図１１に示す表形式が表示方法として設定される。

続いて、他の表示方法も選択するか否かを判定する（Ｓ１８０）。ここで、他の表示方法とは、例えば、１つの値を複数の表示方法で表示させる場合のＳ１７０の処理で選択した以外の表示方法を示し、予め複数の表示方法を選択するよう指定されている場合に肯定判定される。

他の表示方法も選択する場合（Ｓ１８０：ＹＥＳ）、優先順位が最も低い選択条件（最終条件）を選択しているか否かを判定する（Ｓ１９０）。最終条件でない場合（Ｓ１９０：ＮＯ）、次に優先順位が高い選択条件を取得し（Ｓ２００）、Ｓ１６０の処理に戻る。このように、優先順位が高い選択条件から順に、選択する選択条件を変更しつつ条件に合致するか否かを判定することで、より優先順位の高い表示方法が設定されやすくなる。

また、最終条件が選択されている場合（Ｓ１９０：ＹＥＳ）、およびＳ１８０の処理にて他の表示方法を選択しない場合（Ｓ１８０：ＮＯ）には、設定された１または複数の表示方法に対応する表示画像を生成する（Ｓ２１０）。

この処理では、例えば、図５（ａ）に示すようなソースコードを有する場合において、図３において優先順位０に設定されている「状態遷移表示」を表示する場合には、図５（ｂ）の上図に示すような状態遷移図に関する表示画像を生成する。なお、図５（ｂ）の下図に示すような入力値の遷移を示すグラフも併せて生成してもよい。

また、優先順位１に設定されている「レジスタリフレッシュ表」を表示する場合には、例えば、図６（ａ）に示すような表を生成する。この表では、「マイコン・リセット直後」等のタイミングと、期待値および設定値が予め準備されており、レジスタ値が期待値と異なる場合にレジスタ値に代入すべき値が設定値として記録されている。

さらに、優先順位２に設定されている「レジスタ設定表」を表示する場合には、例えば、図６（ｂ）に示すような表を生成する。この表では、「マイコン・リセット直後」等のタイミングと、このタイミングにおいてレジスタに設定する設定値とが対応付けられている。

また、優先順位３に設定されている「ＡＤ変換グラフ」や優先順位４に設定されている「ＤＡ変換グラフ」を表示する場合には、アナログ値やデジタル値を軸にとるグラフを生成する。また、優先順位５に設定されている「フラグ状態表示」を表示する場合には、例えば、図７に示すように、横軸に呼び出し回数、縦軸に入力値および出力値をとったグラフを生成する。

さらに、優先順位６〜１０に設定されているグラフを設定する場合には、図８（ａ）〜図８（ｄ）、または図９（ａ）〜図９（ｃ）に示すようなグラフを生成する。例えば、入力や出力の特徴、入力と出力との関係に応じて、適宜、表示態様を選択する。

特に、複数の出力間に相関関係がある場合、図８（ｄ）に示すようなグラフとする。また、図９（ｂ）に示すように、入力に対する出力の特徴や分布に応じて、図９（ｃ）に示すように、入力を並び替えたグラフを生成してもよい。

続いて、生成した表示画像を表示部４２に出力し（Ｓ２２０）、表示方法設定処理を終了する。
次に、期待値設定／合否判定処理は、表示方法設定処理において設定された表示画像が表示部４２に表示されると開始される処理である。期待値設定／合否判定処理は、図１０（ａ）に示すように、表示画像上において期待値の範囲を設定する操作があったか否かを判定する（Ｓ３１０）。ここで、期待値の範囲とは、シミュレーション結果を合格とする合格範囲を示す。

そして、期待値の範囲を設定する操作とは、例えば、図１０（ｂ）に示すようなグラフが表示画像として表示されている場合において、グラフ中の２点（例えば左下の座標ＹＹＹと右上の座標ＺＺＺの２点等）を選択するような操作を示す。なお、図１０（ｂ）に示すような表示画像を生成する場合には、グラフ中の交点、極大値、極小値等の特徴点の座標（例えば、ＸＸＸ等）を表示させる。

期待値の範囲を設定する操作がなければ（Ｓ３１０：ＮＯ）、Ｓ３１０の処理を繰り返す。また、期待値の範囲を設定する操作があれば（Ｓ３１０：ＹＥＳ）、指定された範囲内を期待値の範囲として設定する（Ｓ３２０）。つまり、グラフ中において２点が設定された場合、この２点で特定される長方形が期待値の範囲として設定される。

続いて、テスト結果を各値と、期待値の範囲とを比較する（Ｓ３３０）。そして、この比較結果を示す表示画像を生成し出力する（Ｓ３４０）。このような処理が終了すると期待値設定／合否判定処理を終了する。

このような処理によると、例えば、図１１に示すように、入力値に応じた出力値が期待値の範囲に収まっているか否かが表示画像上において判定結果としてリスト化して（表形式に変換されて）表示されることになる。図１１に示す例では、期待値の範囲外となったテストケース７が、判定の項目でＮＧとなっている。

ここで、本実施形態のテスト結果表示装置１では、使用者が操作部４１を介して特定の指令（表示設定指令）を入力することで、表示方法設定処理にて表示された表示画像の表示方法を使用者の意思によって変更したり、表示方法を選択する際の設定を変更したりすることができる。詳細には、図１２に示す表示設定処理を実行する。表示設定処理は、表示方法設定処理にて表示された表示画像が表示部４２に表示されると開始される。

表示方法設定処理では、図１２に示すように、使用者による操作部４１を介した表示設定指令が入力されたか否かを判定する（Ｓ４１０）。表示設定指令が入力されていなければ（Ｓ４１０：ＮＯ）、Ｓ４１０の処理を繰り返す。

また、表示設定指令が入力されていれば（Ｓ４１０：ＹＥＳ）、表示設定指令のうちの表示の変更を行う旨が入力されたか否かを判定する（Ｓ４２０）。表示の変更を行う旨が入力されていなければ（Ｓ４２０：ＮＯ）、後述するＳ４４０の処理に移行する。また、表示の変更を行う旨が入力されていれば（Ｓ４２０：ＹＥＳ）、表示画像として表示させた表示方法に対応する優先順位を所定のレベルだけ下げる（例えば優先順位を３段階や５段階下げる、或いは最下位まで下げる）よう設定する（Ｓ４３０）。

続いて、表示設定指令のうちの手入力により設定変更を行う旨が入力されたか否かを判定する（Ｓ４４０）。手入力により設定変更を行う旨が入力されていなければ（Ｓ４４０：ＮＯ）、後述するＳ４６０の処理に移行する。

また、手入力により設定変更を行う旨が入力されていれば（Ｓ４４０：ＹＥＳ）、操作部４１を介した指示に従って、表示ルール記録部３２に記録された表示ルールを変更する（Ｓ４５０）。

そして、表示ルールの変更内容を表示ルール記録部３２において反映させ（Ｓ４６０）、表示方法設定処理を再起動させ、新たな表示ルールによる表示画像を表示させる（Ｓ４７０）。このような処理が終了すると表示設定処理を終了する。

［本実施形態による効果］
以上のように詳述したテスト結果表示装置１において演算部１０は、表示対象となるテスト結果に関するテスト結果データ、およびシミュレーションプログラムのうちの少なくともテスト結果データを含む検査情報を取得する。そして、検査情報に基づいて、テスト結果を図示するために予め準備された複数の表示態様から１または複数の表示態様を選択する。さらに、選択された表示態様でテスト結果を図示する表示画像を生成し、表示画像を表示部４２に表示させる。

このようなテスト結果表示装置１によれば、テスト結果を図示する際に適切な表示態様を選択し、この表示態様でテスト結果を表示させることができる。よって、より簡素な構成でテスト結果を表示できる。

また、上記テスト結果表示装置１においては、テスト結果を適切な表示態様で表示させることで、テスト結果の合否の判定については使用者（検査者）がテスト結果の表示画像を見ることで視覚的かつ直感的に判定することができる。

また、上記テスト結果表示装置１において演算部１０は、シミュレーションプログラム（ソースコード）を取得し、シミュレーションプログラムに含まれるキーワードに応じて推定される検査の種別を加味して表示態様を選択する。

このようなテスト結果表示装置１によれば、検査の種別を加味してテスト結果を表示させる際の表示態様を推定するので、表示態様を適切に設定することができる。
さらに、上記テスト結果表示装置１において演算部１０は、テスト結果に関するデータの種別または分布を加味して表示態様を選択する。

このようなテスト結果表示装置１によれば、テスト結果に関するデータの種別（浮動小数点型や整数型等）や分布（極大値、極小値、変曲点、分散、標準偏差等）によってテスト結果を表示させる際の表示態様を推定するので、表示態様を適切に設定することができる。

また、上記テスト結果表示装置１において演算部１０は、表示画像上において、使用者によって入力される合格領域を設定し、設定された合格領域の内側にあるテスト結果を合格とし、合格領域の外側にあるテスト結果を不合格として対応付ける。

このようなテスト結果表示装置１によれば、表示画像上においてテスト結果を合格とする合格領域を設定することができるので、１つ１つ合格値（期待値）を手作業で入力する構成と比較して、簡単な作業とすることができる。

また、上記テスト結果表示装置１において演算部１０は、使用者による表示態様を変更する操作を受け付け、表示態様を変更する操作が入力されると、異なる表示態様を選択させる。

このようなテスト結果表示装置１によれば、使用者の意思によって使用者がテスト結果を見やすいと感じる表示態様に変更させることができる。
［その他の実施形態］
本発明の実施の形態は、上記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。

また、本発明の課題を解決できる限りにおいて、上記実施形態に記載の構成を任意に組み合わせ、または省くことができる。
また、上記実施形態においてはシミュレーション結果を表示させるよう構成したが、シミュレーションに限らず、テストを実施するためのテストプログラムを実行したことによって得られたテスト結果を表示させる構成においても応用することができる。

さらに、上記実施形態においては、テスト部２１としての機能は演算部１０が有する機能である旨説明したが、テスト部２１の機能は、演算部１０の外部に存在してもよい。
また、テスト結果を図として表示させる際には、期待値入力を助けるために、補助情報（特徴点（切片、傾き、極大点、極小点、変曲点など）や補助線（漸近線、延長線、垂線など））を、図を表示する画面中に表示させるようにしてもよい。

［本実施形態と本発明との関係］
上記実施形態における演算部１０は、本発明でいうテスト結果表示装置に相当する。また、演算部１０が実行する処理のうちの、Ｓ１１０、Ｓ１２０の処理は、本発明でいう検査情報取得手段に相当し、Ｓ１６０〜Ｓ１９０の処理は、本発明でいう表示態様選択手段に相当する。

さらに、演算部１０が実行する処理のうちのＳ２１０、Ｓ２２０の処理は、本発明でいう表示制御手段に相当し、Ｓ３１０、Ｓ３２０の処理は、本発明でいう合格領域設定手段に相当する。また、Ｓ３３０、Ｓ３４０の処理は、本発明でいうテスト結果対応付け手段に相当し、Ｓ４１０、Ｓ４２０の処理は、本発明でいう変更受付手段に相当し、Ｓ４３０、Ｓ４６０、Ｓ４７０の処理は、本発明でいう表示態様変更手段に相当する。

１…テスト結果表示装置、１０…演算部、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、２１…テスト部、２２…表示方法判定部、２３…期待値設定部、２４…表示変更部、３１…種記録部、３１…テスト結果記録部、３２…表示ルール記録部、３３…ソースコード記録部、３４…期待値記録部、４１…操作部、４２…表示部。

Claims (6)

1. テストプログラムを実行することによるテスト結果をテスト結果として表示させるテスト結果表示装置（１０）であって、
   表示対象となるテスト結果に関するテスト結果データ、および前記テストプログラムのうちの少なくとも前記テスト結果データを含む検査情報を取得する検査情報取得手段（Ｓ１１０、Ｓ１２０）と、
   前記検査情報に基づいて、前記テスト結果を図示するために予め準備された複数の表示態様から１または複数の表示態様を選択する表示態様選択手段（Ｓ１６０〜Ｓ１９０）と、
   選択された表示態様で前記テスト結果を図示する表示画像を生成し、該表示画像を表示部（４２）に表示させる表示制御手段（Ｓ２１０、Ｓ２２０）と、
   を備え、
   前記検査情報取得手段は、前記テストプログラムを取得し、
   前記表示態様選択手段は、前記テストプログラムに含まれるキーワードに応じて推定される検査の種別を加味して表示態様を選択すること
   を特徴とするテスト結果表示装置。
2. テストプログラムを実行することによるテスト結果をテスト結果として表示させるテスト結果表示装置（１０）であって、
   表示対象となるテスト結果に関するテスト結果データ、および前記テストプログラムのうちの少なくとも前記テスト結果データを含む検査情報を取得する検査情報取得手段（Ｓ１１０、Ｓ１２０）と、
   前記検査情報に基づいて、前記テスト結果を図示するために予め準備された複数の表示態様から１または複数の表示態様を選択する表示態様選択手段（Ｓ１６０〜Ｓ１９０）と、
   選択された表示態様で前記テスト結果を図示する表示画像を生成し、該表示画像を表示部（４２）に表示させる表示制御手段（Ｓ２１０、Ｓ２２０）と、
   を備え、
   前記表示態様選択手段は、前記テスト結果に関するデータの種別または分布を加味して前記表示態様を選択すること
   を特徴とするテスト結果表示装置。
3. テストプログラムを実行することによるテスト結果をテスト結果として表示させるテスト結果表示装置（１０）であって、
   表示対象となるテスト結果に関するテスト結果データ、および前記テストプログラムのうちの少なくとも前記テスト結果データを含む検査情報を取得する検査情報取得手段（Ｓ１１０、Ｓ１２０）と、
   前記検査情報に基づいて、前記テスト結果を図示するために予め準備された複数の表示態様から１または複数の表示態様を選択する表示態様選択手段（Ｓ１６０〜Ｓ１９０）と、
   選択された表示態様で前記テスト結果を図示する表示画像を生成し、該表示画像を表示部（４２）に表示させる表示制御手段（Ｓ２１０、Ｓ２２０）と、
   前記表示画像上において、使用者によって入力される合格領域を設定する合格領域設定手段（Ｓ３１０、Ｓ３２０）と、
   設定された合格領域の内側にあるテスト結果を合格とし、合格領域の外側にあるテスト結果を不合格として対応付けるテスト結果対応付け手段（Ｓ３３０、Ｓ３４０）と、
   を備えたことを特徴とするテスト結果表示装置。
4. 請求項１〜請求項３の何れか１項に記載のテスト結果表示装置において、
   使用者による表示態様を変更する操作を受け付ける変更受付手段（Ｓ４１０、Ｓ４２０）と、
   前記表示態様を変更する操作が入力されると、前記表示態様選択手段に異なる表示態様を選択させる表示態様変更手段（Ｓ４３０、Ｓ４６０、Ｓ４７０）と、
   を備えたことを特徴とするテスト結果表示装置。
5. 請求項１〜請求項３の何れか１項に記載のテスト結果表示装置において、
   前記表示制御手段は、シミュレーションプログラムを実行することによるシミュレーション結果をテスト結果として表示させること
   を特徴とするテスト結果表示装置。
6. コンピュータを請求項１〜請求項５の何れか１項に記載のテスト結果表示装置を構成する各手段として機能させるためのテスト結果表示プログラム。

Images