JP3833626B2 - テストケース生成装置及びテストケース生成方法 - Google Patents
テストケース生成装置及びテストケース生成方法 Download PDFInfo
- Publication number
- JP3833626B2 JP3833626B2 JP2003117070A JP2003117070A JP3833626B2 JP 3833626 B2 JP3833626 B2 JP 3833626B2 JP 2003117070 A JP2003117070 A JP 2003117070A JP 2003117070 A JP2003117070 A JP 2003117070A JP 3833626 B2 JP3833626 B2 JP 3833626B2
- Authority
- JP
- Japan
- Prior art keywords
- test
- error
- resource
- generation unit
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、機能試験を行う場合に、検証対象の製品が有する資源を、試験として活性化させた後、資源に対する期待値と実効値（活性化後の資源の値）との比較の結果エラーが発生した場合や、資源の変化するタイミングが期待値と異なる結果エラーが発生した場合に、エラーの原因を解析する際の作業負荷を軽減する機能検証システムに関するものである。
【０００２】
【従来の技術】
機能試験を行う場合に、試験プログラムをシミュレータ上で実行した結果、エラーとなったテストケースを抽出後、エラーの原因を解析する為に、製品を構成する資源に対する試験プログラムを逐次シミュレータ上で実行する際に変化する推移情報を記録する為の市販のツールなどを利用しながら、エラーを再現する為に先程のテストケースを再度論理シミュレータ上で再実行する。また、再現した後、全ての資源に対する推移情報と、試験プログラムの実行順などを意識しながら、エラーが発生した試験プログラムの箇所と関与する資源及び時間を段階的に特定することで、エラーの原因を解明していた。
【０００３】
【特許文献１】
特開２０００−２７５３号公報
【特許文献２】
特開２００１−５８４１号公報
【０００４】
【発明が解決しようとする課題】
エラーとなったテストケースを抽出後再実行し、市販のツールなどを用いテストケースの実行途中の製品が保有する全ての資源の推移情報を記録するので、エラーを再現する際のテストケースのシミュレータ上での実行時間は、記録しない通常の実行時間よりも数倍の時間を要する。また、エラー解析作業においては、製品の高機能化が進むのにつれて、製品を構成する資源の数が増大し、製品の機能が複雑化するため、これを試験する為のテストケースもまた複雑化する。このため、試験の実行結果がエラーとなった際の、エラー解析作業において、プログラムの実行順を把握しながら、エラーが発生する箇所と関与する資源を抽出して、人手で解析するには、多大な時間と労力を要していた。
本発明は、システムＬＳＩ（大規模集積回路）等の機能検証方式、方法において、試験の再実行の抑止や、解析時間の大幅な短縮を実現することができるようにすることを目的とする。
【０００５】
【課題を解決するための手段】
この発明のテストケース生成装置は、複数の資源を有する回路をモデル化した機能モデルの動作を試験する試験手続きを生成しテストケースとして記憶するテストケース生成部と、
テストケース生成部が生成した試験手続きによる機能モデルの動作の試験の結果がエラーになる場合、このエラー原因を解析するためのエラー原因解析情報を生成して記憶する原因解析情報生成部と
を備えたことを特徴とする。
【０００６】
【発明の実施の形態】
以下に述べる実施の形態のシステムＬＳＩ（大規模集積回路）機能検証方式では、テストケースを生成する際に、各ステップで使用する製品の資源と、ステップの実行順と、資源の継承関係などをエラー原因解析情報として生成しメモリに記録する手段と、これらのエラー原因解析情報をテストケースに追加して記録する手段を有する事で、試験の再実行の抑止や、解析時間の大幅な短縮を実現する。
【０００７】
本システムＬＳＩ機能検証方式によって、従来の方法において発生していた、エラーを再現させる為のテストケースを再実行する作業や、エラーの原因を解析する作業における多大な解析における労力と時間を軽減できる。
【０００８】
実施の形態１．
以下、本発明の実施の形態を図面を用いて説明する。
図１は、本エラー解析支援付きシステムＬＳＩ検証方式の全体構成図である。システムＬＳＩの機能検証作業は、検証対象であるシステムＬＳＩが機能的に正しく動作する事を確認する作業である。よって、システムＬＳＩに関する機能説明が記載されている製品仕様書１０１から、システムＬＳＩの機能を果たす為に保有しているＨ／Ｗ（ハードウェア）資源（以下、単に資源ともいう）を抽出した資源構成情報１０３と、システムＬＳＩの各機能に関する試験を実施するためのテストシナリオ１０２を作成する。また、システムＬＳＩに関する機能説明が記載されている製品仕様書１０１から、システムＬＳＩの回路をモデル化した機能モデル１０４を作成する。機能モデル１０４は、検証対象であるシステムＬＳＩの機能記述を記したものである。また、システムＬＳＩに関する機能説明が記載されている製品仕様書１０１から、機能モデル１０４を試験するためのテストベンチ１０７を作成する。テストベンチ１０７は、機能モデル１０４と接続して機能モデルへの入出力を制御するものである。
【０００９】
ここで、Ｈ／Ｗ資源とは、例えば、プログラムカウンタ、汎用レジスタ、メモリ、入出力（Ｉ／Ｏ）を制御するレジスタなどをいう。また、Ｈ／Ｗ資源の特定とは、プログラムカウンタのＩＤ、汎用レジスタの番号、メモリのアドレス、入出力（Ｉ／Ｏ）を制御するレジスタの番号などの識別子により複数のＨ／Ｗ資源の中から１種かつ１つのＨ／Ｗ資源を一意に定めるこという。また、Ｈ／Ｗ資源の実効値とは、Ｈ／Ｗ資源に設定される情報やデータや値をいい、例えばプログラムカウンタに設定される値、汎用レジスタに設定される値、メモリに設定される値、入出力（Ｉ／Ｏ）を制御するレジスタに設定される値などをいう。Ｈ／Ｗ資源の実効値は、Ｈ／Ｗ資源を識別子により識別して設定コマンドや書き込みコマンドを用いることによりＨ／Ｗ資源に保持される。また、読み込みコマンドによりＨ／Ｗ資源から読み込まれる。
【００１０】
次に、テストケース生成部１０５は、資源構成情報１０３とテストシナリオ１０２から、検証対象であるシステムＬＳＩの機能記述を記した機能モデル１０４及び、機能モデル１０４と接続して機能モデルへの入出力を制御するテストベンチ１０７を制御する為の試験プログラムであるテストケース１０６を生成する。テストケース１０６とは、試験プログラムのことであり、試験データを含んでもよいし含まなくてもよい。また、この実施の形態のテストケース１０６は後述するエラー解析を支援する各種の情報（エラー原因解析情報）を保持し、各種の情報に基づいてエラー結果を解析するメッセージを出力する。テストケース１０６はプログラムファイルとして磁気ディスク等の記録媒体に記録されている。
【００１１】
このテストケース１０６と、機能モデル１０４と、テストベンチ１０７とをシミュレータ１０８で実行し、正常終了またはエラー終了を示すシミュレーション実行結果としてのテストケース実行結果１０９を得る。
【００１２】
エラー解析部１１０は、例えば、テストケース１０６内に試験手続の一部として含まれており、テストケース１０６の実行後に動作するプログラムルーチンである。エラー解析部１１０は、独立したプログラムでもかまわない。
エラー解析部１１０は、このシミュレーション実行結果のうち、エラー終了したテストケース実行結果１０９に対し、エラーの発生した原因を解析する。この際に、従来は、人間が、製品仕様書１０１に書かれている機能説明と、機能モデル１０４が保有している各Ｈ／Ｗ資源の実効値と、試験の手続き内容を表すテストケース１０６とを総合的に参照することでエラー解析していたが、本システムＬＳＩ検証方式では、エラー解析を支援する情報（エラー原因解析情報）が含まれているテストケース１０６を出力することで、製品仕様書１０１や機能モデル１０４を特に調査しなくても、エラー解析部１１０が、エラーの原因を解明できる。エラー解析部１１０はテストケース１０６に含まれているエラー解析を支援する情報（エラー原因解析情報）を参照することにより、自動で或いは半自動でエラー解析をする。或いは、エラー解析部１１０は、テストケース１０６に含まれているエラー解析を支援する情報（エラー原因解析情報）を検索してエラーの原因を推定或いは判定しその推定判定結果をテストケースに表示し人間のエラー解析作業を支援する。
【００１３】
このエラー解析を支援する情報（エラー原因解析情報）を出力する為に、本システムＬＳＩ検証方式では、図１に示す原因解析情報生成部１５６を有している。原因解析情報生成部１５６は、図１のように独立して存在していてもよいし、テストケース生成部１０５の内部にあってもよい。また、原因解析情報生成部１５６は、テストケース１０６の内部にあってもよい。原因解析情報生成部１５６は、テストケース１０６を生成する際に、試験手続き毎に使用するＨ／Ｗ資源との関係を記録する試験手続き別資源記録部１０５ａと、各試験手続きの実行後に格納されるべき期待値をＨ／Ｗ資源別に生成する資源別期待値生成部の一例としての資源別アクセス順序・期待値生成部１０５ｂと、試験手続きの実行順序の期待値を生成する試験手続き実行順序期待値生成部１０５ｃと、テストケース実行結果でエラーと判定された場合に備え、エラーの原因を解析する作業を支援する為のメッセージを出力するエラー解析用メッセージ生成部１０５ｄと、エラーを予測して使用するＨ／Ｗ資源の近傍にデータを配置するための擬似データ生成部１０５ｅと、各試験手続きの継承関係を生成する試験手続き間継承関係生成部１０５ｆを備えている。
【００１４】
上記擬似データ生成部１０５ｅは、エラー原因解析情報として、複数の資源それぞれに設定され、いずれの資源であるかを特定可能な擬似データを生成する。上記テストケース生成部１０５は、上記試験手続きの実行前に擬似データ生成部１０５ｅが生成した擬似データ値を各資源に設定した後に、機能モデルの動作を試験する試験手続きを生成する。こうして、上記テストケースの試験手続きが実行された結果、資源から得られる結果値からその結果値を提供した資源がいずれの資源であるかを特定可能にする。
【００１５】
また、上記エラー解析用メッセージ生成部１０５ｄは、エラー原因解析情報として、想定されるエラー結果とそのエラー要因とを対応させたエラー解析用メッセージを生成する。
テストケース生成部１０５は、回路機能を構成する複数の資源の少なくとも１つの資源に対して試験が実行される場合その資源から得られるはずの期待値が既知の試験を実行し、その試験の実行の結果、その資源から得られる結果値と資源別アクセス順序・期待値生成部１０５ｂが生成した期待値とを比較することにより試験結果がエラーか否かを判定するとともに、試験結果がエラーであると判定される場合にエラー解析用メッセージを出力する試験手続きを生成する。
【００１６】
図２は、試験手続き別資源記録部１０５ａがメモリに生成しテストケース１０６に記録する試験手続き構成情報１０６ａの説明図である。
テストケース１０６は、複数の試験手続き（以下、試験アクセスともいう）から構成されている。この試験手続きを生成する際に、試験手続きの内容を、システムＬＳＩが保有する動作手段の概要やテストベンチが保有する動作手段の概要を記した「試験アクセス種類」と、これらを番号付けした「試験アクセスＩＤ」と、アドレスを格納する為に使用する「アドレス格納資源」と、データを格納する為に使用する「データ格納資源」と、アドレス格納資源を通してアクセスする「メモリアクセス資源」と、「データ格納資源」に値をセットする際の「即値」とに分類して記録する。「アドレス格納資源」と、「データ格納資源」と、「メモリアクセス資源」は、試験としてアクセスした際に使用するＨ／Ｗ資源である。
このように、テストケース生成部１０５は、所定の順序で実行される複数の試験手続きからなる試験手続きを生成するとともに、試験手続き別資源記録部１０５ａは、エラー原因解析情報として試験手続き（試験アクセス）別に試験手続きの内容と試験手続きが使用するＨ／Ｗ資源の情報を生成し、試験手続き構成情報１０６ｂとしてメモリに記録する。
エラー解析用メッセージ生成部１０５ｄは、試験手続き別資源記録部１０５ａがメモリに記録した試験手続き構成情報１０６ａを用いてエラー解析用メッセージ情報１０６ｄを生成する。
試験手続き構成情報１０６ｂとエラー解析用メッセージ情報１０６ｄとは、テストケース１０６に出力され、記録される。
【００１７】
図３は、資源別アクセス順序・期待値生成部１０５ｂがメモリに生成しテストケース１０６に記録する資源別アクセス順序・期待値情報１０６ｂの説明図である。
資源別アクセス順序・期待値生成部１０５ｂは、Ｈ／Ｗ資源別にそのＨ／Ｗ資源をアクセスする試験手続きのリストを生成する。
例えば、図３では、レジスタ３は、
試験アクセスＩＤ−０００２
試験アクセスＩＤ−０００５
試験アクセスＩＤ−０００７
の順にアクセスされることを示している。
【００１８】
また、資源別アクセス順序・期待値生成部１０５ｂは、試験手続き別資源記録部１０５ａが生成した試験手続き構成情報１０６ａの「試験アクセス種類」に従って、試験アクセスが使用するＨ／Ｗ資源に対する、試験アクセス実行後の値（変化後の値）または変化しない場合は試験アクセス実行直前に保持している値を、試験アクセス実行直後の「期待値」としてＨ／Ｗ資源別に保持しておく。ここで、「期待値」とは、機能モデルが正常に動作する場合に試験アクセス実行後にＨ／Ｗ資源から得ることができるはずの値である。
例えば、図３では、レジスタ３に保持される値は、
試験アクセスＩＤ−０００２の実行後、値０になり、
試験アクセスＩＤ−０００５の実行後、値３０００になり、
試験アクセスＩＤ−０００７の実行後、値３３００になる
ことを示している。
【００１９】
上記資源別アクセス順序・期待値生成部１０５ｂは、Ｈ／Ｗ資源別にそのＨ／Ｗ資源をアクセスする試験手続きのリストを生成し、試験手続きが実行され資源が試験されることにより資源に保持されることが期待される期待値を生成してメモリに記憶するとともに、テストケース１０６に記憶する。上記テストケース生成部１０５は、資源が試験された結果、その資源から得られる結果値と資源別アクセス順序・期待値生成部１０５ｂが生成した期待値とを比較することにより試験結果がエラーか否かを判定し、試験結果がエラーであると判定される場合に期待値を含むエラー解析用メッセージを出力する試験手続きを、例えば、エラー解析部１１０の一部として生成する。
【００２０】
図４は、擬似データ生成部１０５ｅがメモリに生成しテストケース１０６に記録する資源別擬似データ情報１０６ｅの説明図である。
試験アクセスで、検証対象であるシステムＬＳＩが誤って動作した際にその誤り方を特定するために、試験アクセスとしては全く使用しないが、誤った箇所を特定するために、使用するＨ／Ｗ資源の近傍に、擬似的なデータを予め設定しておく事を表す。ここで、擬似データとは、本来アクセスすべきＨ／Ｗ資源が特定できる値であり、擬似データの解析により、本来アクセスすべきメモリやレジスタなどのＨ／Ｗ資源を検出できる。
【００２１】
例えば、機能モデルが３２ビット単位の計算が可能な演算器を有しており、メモリを４バイト（４番地）単位でアクセスするものと仮定する。試験アクセスＩＤ−０００５で、レジスタを経由してアクセスするメモリのアドレス２０００番地（「ＲＡＭ−２０００」）に対し、擬似データを例えば、以下のように生成する。
アドレス１ＦＦ８番地（「ＲＡＭ−１ＦＦ８」）に対し、擬似データを、「Ｆ８８Ｆ１ＦＦ１」とする。
アドレス１ＦＦＣ番地（「ＲＡＭ−１ＦＦＣ」）に対し、擬似データを、「ＦＣＣＦ１ＦＦ１」とする。
アドレス２００４番地（「ＲＡＭ−２００４」）に対し、擬似データを、「０４４００２２０」とする。
アドレス２００８番地（「ＲＡＭ−２００８」）に対し、擬似データを、「０８８０２００２」とする。
上記擬似データは、誤ってアクセスされるメモリのアドレスを所定のアルゴリズムで加工した値である。
【００２２】
図２に示すように試験アクセスＩＤ−０００５では、レジスタ２（ＲＥＧ２）に格納された値（アドレス２０００番地）に対応する「ＲＡＭ−２０００」から、「ＲＡＭ−２０００」に格納されているデータ「３０００」をレジスタ３（ＲＥＧ３）に格納する「ＣＰＵ ＲＥＡＤ」というシステムＬＳＩ機能に対する試験アクセスを実行する。この試験アクセスＩＤ−０００５において、システムＬＳＩが誤って、隣の「ＲＡＭ−２００４」からデータを読み出してしまった場合には、ＲＥＧ３には期待値「３０００」ではなく、擬似データである誤ったデータ「０４４００２２０」が格納されており、このデータが検索されることによって、データ「０４４００２２０」からアドレス２００４番地が計算され、「本来アクセスすべきアドレス２０００番地のメモリから４加算したアドレス２００４番地へ誤ってアクセスした」事を検出できる。
【００２３】
或いは、擬似データとして、以下のように、誤ってアクセスされるメモリのアドレスそのものを用いてもよい。
アドレス１ＦＦ８番地（「ＲＡＭ−１ＦＦ８」）に対し、擬似データを、「００００１ＦＦ８」とする。
アドレス１ＦＦＣ番地（「ＲＡＭ−１ＦＦＣ」）に対し、擬似データを、「００００１ＦＦＣ」とする。
アドレス２００４番地（「ＲＡＭ−２００４」）に対し、擬似データを、「００００２００４」とする。
アドレス２００８番地（「ＲＡＭ−２００８」）に対し、擬似データを、「００００２００８」とする。
【００２４】
或いは、擬似データとして、以下のように、本来アクセスすべきメモリのアドレスと誤ってアクセスされたメモリのアドレスとの差分値を用いてもよい。
アドレス１ＦＦ８番地（「ＲＡＭ−１ＦＦ８」）に対し、擬似データを、「−８（１０進数）」とする。
アドレス１ＦＦＣ番地（「ＲＡＭ−１ＦＦＣ」）に対し、擬似データを、「−４（１０進数）」とする。
アドレス２００４番地（「ＲＡＭ−２００４」）に対し、擬似データを、「＋４（１０進数）」とする。
アドレス２００８番地（「ＲＡＭ−２００８」）に対し、擬似データを、「＋８（１０進数）」とする。
【００２５】
以上のように、上記擬似データ生成部１０５ｅは、エラー原因解析情報として、複数の資源（複数のアドレスのメモリ）それぞれに設定され、いずれの資源（いずれのアドレスのメモリ）であるかを特定可能な擬似データ値を生成する。
テストケース生成部１０５は、上記試験手続きの実行前に擬似データ生成部１０５ｅが生成した資源別擬似データ情報１０６ｅを各資源に設定した後に、機能モデルの動作を試験する試験手続きを生成する。エラー解析用メッセージ生成部１０５ｄは、擬似データ生成部１０５ｅが生成した資源別擬似データ情報１０６ｅを含むエラー解析用メッセージを生成する。こうして、上記テストケース１０６の試験手続きが実行された結果、資源から得られる結果値（資源別擬似データ情報１０６ｅ）からその結果値を提供した資源がいずれの資源であるかが特定可能になる。
【００２６】
図５は、試験手続き実行順序期待値生成部１０５ｃがメモリに生成しテストケース１０６に記録する試験手続き実行順序情報１０６ｃの説明図である。
試験手続き実行順序期待値生成部１０５ｃは、テストシナリオ１０２に従って、試験アクセスが逐次生成される際に、その実行順序の期待値を保有しておく。図５に示すように、試験アクセスの実行順序は、試験アクセスＩＤの小さい順とは限らない。
【００２７】
このように、テストケース生成部１０５は、所定の順序で実行される複数の試験手続きからなる試験手続き（試験アクセス）を生成する。試験手続き実行順序期待値生成部１０５ｃは、エラー原因解析情報として複数の試験手続きの実行順序を生成し、試験手続き実行順序情報１０６ｃとして記録する。
エラー解析用メッセージ生成部１０５ｄは、実行順序期待値生成部１０５ｃが生成した試験手続き実行順序情報１０６ｃを用いて試験手続きの実行の順序に従ってエラー解析用メッセージを出力する試験手続きを、例えば、エラー解析部１１０の一部として生成する。
【００２８】
図６は、試験手続き間継承関係生成部１０５ｆがメモリ生成しテストケース１０６に記録する試験アクセス間継承情報１０６ｆの説明図である。
テストケース生成部１０５は、テストシナリオ１０２を実現する為の複数の試験手続きを生成する。この試験手続きを実現する試験アクセスで使用するＨ／Ｗ資源をテストケース生成部１０５が決定する時に、これまでに生成した試験アクセスで使用したＨ／Ｗ資源の情報（図２に記した試験手続き別資源記録情報１０５ａ）と、試験アクセスの実行順序の期待値（図５に記した試験手続き実行順序情報１０６ｃ）とを参照する。テストケース生成部１０５が今回生成すべき試験アクセスで使用するＨ／Ｗ資源を決定する際に、試験手続き間継承関係生成部１０５ｆは既にこのＨ／Ｗ資源を使用した試験アクセスＩＤを抽出する。
例えば、試験手続き間継承関係生成部１０５ｆは、試験アクセスＩＤ−０００５では、ＲＥＧ２とＲＥＧ３を使用するが、図５に記した試験手続き実行順序情報１０６ｃの実行順序の期待値に従うと、試験アクセスＩＤ−０００５より以前に実行する試験アクセスＩＤの中で、ＲＥＧ２を使用した試験アクセスＩＤ−０００１と、ＲＥＧ３を使用した試験アクセスＩＤ−０００２を抽出し、試験アクセスＩＤ−０００５にとって関連のある試験アクセスＩＤとして、実行順序と逆順序、すなわち、試験アクセスＩＤ−０００２、試験アクセスＩＤ−０００１の順に、継承関係を生成し試験手続き間継承情報１０６ｆとしてメモリに保持する。
【００２９】
図７は、エラー解析用メッセージ生成部１０５ｅがメモリに生成しテストケース１０６に記録するエラー解析用メッセージ情報１０６ｅの説明図である。
エラー解析用メッセージ生成部１０５ｄは、試験手続き構成情報１０６ａ（図２）と、資源別アクセス順序・期待値情報１０６ｂ（図３）と、資源別擬似データ情報１０６ｅ（図４）と、試験手続き実行順序情報１０６ｃ（図５）と、試験手続き間継承情報１０６ｆ（図６）から、複数の試験アクセスのうち、資源の値を期待値と比較する試験アクセスを起点に、エラー解析用メッセージ情報１０６ｄをメモリに生成して、テストケース１０６内に出力する。
【００３０】
例えば、図７に示す用に、試験アクセスＩＤ−０００８は、ＲＥＧ３に関して期待値「３３００」と、本試験アクセスを実行した段階でＲＥＧ３に格納されている実行値とを比較する「試験アクセス種類」であるが、もしテストケース１０６をシミュレータ１０８で実行した結果、本試験アクセスＩＤ−０００８の所でエラーを検出し、停止した場合に備え、試験アクセスＩＤで比較対象としている資源ＲＥＧ３に関して、期待値となる値であるエラー予測値を、そのエラー原因付きで表示する。すなわち、資源から得た結果値とエラー予測値（期待値）と予測される１つ以上のエラー原因を表示する。エラー原因が確定していれば、そのエラー原因のみを表示する。
【００３１】
すなわち、試験手続き実行順序情報１０６ｃ（図５）を参照し、試験アクセスＩＤ−０００８より前に実行した試験アクセスＩＤの中から、資源ＲＥＧ３をアクセスした最も近い（直前の）試験アクセスＩＤを探索した結果、試験アクセスＩＤ−０００７を抽出する。同様に、試験アクセスＩＤ−０００７に対し、最も直前に資源ＲＥＧ３をアクセスした試験アクセスＩＤ−０００５を抽出する。このとき、試験アクセスＩＤ−０００５を実行した結果、ＲＥＧ３には期待値「３０００」が格納されるべきであるため、本試験アクセスＩＤ−０００８のエラー予測値の一つとして「３０００」を採択して、メッセージとして「試験アクセス−０００５までは正常、試験アクセス−０００７が失敗」を表示する。同様に、幾つかのエラー予測値を提示する事によって、テストケース実行時に試験アクセスＩＤ−０００８でエラー停止した段階のＲＥＧ３の値が、これらエラー予測値の中のいずれかと一致した場合には、そのメッセージを読む事でエラー要因を迅速に指摘する事が出来る。
【００３２】
図７では、資源の値を期待値と比較する試験アクセス（試験アクセスＩＤ−０００８）を起点にする場合を示したが、比較する試験アクセスを起点にする場合に限らず、他の試験アクセスに対してエラー結果とエラー要因とを生成して出力するようにしてもよい。例えば、図７の試験アクセスＩＤ−０００５において、図４に示す擬似データが設定されることを前提として以下のようなエラー結果とエラー要因を生成しておいて記憶していてもよい。
１．試験アクセスＩＤ−０００５の第１のエラー結果とエラー要因
期待値比較エラー ＲＥＧ３：ＤＡＴＡ−Ｆ８８Ｆ１ＦＦ１。
試験アクセスＩＤ−０００５が失敗、アドレス１ＦＦ８番地のデータ「Ｆ８８Ｆ１ＦＦ１」を誤って受け取っている。
２．試験アクセスＩＤ−０００５の第２のエラー結果とエラー要因
期待値比較エラー ＲＥＧ３：ＤＡＴＡ−ＦＣＣＦ１ＦＦ１。
試験アクセスＩＤ−０００５が失敗、アドレス１ＦＦＣ番地のデータ「ＦＣＣＦ１ＦＦ１」を誤って受け取っている。
３．試験アクセスＩＤ−０００５の第３のエラー結果とエラー要因
期待値比較エラー ＲＥＧ３：ＤＡＴＡ−０４４００２２０。
試験アクセスＩＤ−０００５が失敗、アドレス２００４番地のデータ「０４４００２２０」を誤って受け取っている。
４．試験アクセスＩＤ−０００５の第４のエラー結果とエラー要因
期待値比較エラー ＲＥＧ３：ＤＡＴＡ−０８８０２００２。
試験アクセスＩＤ−０００５が失敗、アドレス２００８番地のデータ「０８８０２００２」を誤って受け取っている。
【００３３】
以上のように、テストケース生成部１０５は、所定の順序で実行される複数の試験手続きからなる試験手続きを生成する。
原因解析情報生成部１５６は、エラー原因解析情報として試験手続き別に試験手続きの内容と試験手続きが使用する資源の情報を生成し、試験手続き構成情報１０６ａとして記録する試験手続き別資源記録部１０５ａと、
エラー原因解析情報として複数の試験手続きの実行順序を生成し、試験手続き実行順序期待値として試験手続き実行順序情報１０６ｃを記録する試験手続き実行順序期待値生成部１０５ｃと、
試験手続き別資源記録部１０５ａが生成した試験手続き構成情報１０６ａと試験手続き実行順序期待値生成部１０５ｃが生成した試験手続き実行順序情報１０６ｃとを用いて、試験手続きが実行された場合にエラー結果を引き起こす試験手続きを試験手続き間継承情報１０６ｆとして生成する試験手続き間継承関係生成部１０５ｆとを備えている。
そして、エラー解析用メッセージ生成部１０５ｄは、試験手続き間継承関係生成部１０５ｆが生成した試験手続き間継承情報１０６ｆを用いてエラー結果を引き起こす試験手続きをエラー要因としたエラー解析用メッセージ情報１０６ｄをメモリに記憶するとともにテストケース１０６に記録する。
【００３４】
前述したエラー原因解析情報は、図２〜図７によるデータや情報でもよいが、これらの情報を利用して解析支援情報やエラー解析用メッセージを出力するプログラムやルーチンを含んでいてもよい。これらプログラムやルーチンは、エラー解析部１１０を構成する。
【００３５】
以上のように、この実施の形態のシステムＬＳＩ機能検証方式は、エラー原因解析情報や解析支援情報やエラー解析用メッセージを出力することに特徴がある。すなわち、この実施の形態のシステムＬＳＩ機能検証方式は、あるシステムＬＳＩを機能的な側面から検証する為に作成する、製品仕様書に基いた試験項目を具現化した、試験の手続き（ステップ）を表したプログラム（テストケース１０６）を作成する際に、テストケース１０６をシミュレータ１０８で実行しその結果がエラーと判定される場合に備え、エラーの発生した手続きと、エラーと判定対象とされたシステムＬＳＩを構成する資源の値（実効値）との組み合わせ別に、エラーの原因を推定しておき、テストケース１０６に出力する手段を有することを特徴とする。
【００３６】
また、この実施の形態のシステムＬＳＩ機能検証方式は、各試験手続きの情報を記録することに特徴がある。すなわち、この実施の形態のシステムＬＳＩ機能検証方式は、テストケース１０６の実行結果がエラーとなった場合に備え、テストケース１０６を構成する試験の手続き毎に、各手続きが使用するシステムＬＳＩの資源に関する情報と手続きの内容をテストケース１０６に出力する手段を有することを特徴とする。
【００３７】
また、この実施の形態のシステムＬＳＩ機能検証方式は、Ｈ／Ｗ資源のアクセス順序履歴を記録することに特徴がある。すなわち、この実施の形態のシステムＬＳＩ機能検証方式は、テストケース１０６の実行結果がエラーとなった場合に備え、システムＬＳＩを構成する資源毎に、資源を使用した手続きを出力する手段を有することを特徴とする。
【００３８】
また、この実施の形態のシステムＬＳＩ機能検証方式は、試験手続き間の継承を記録することに特徴がある。すなわち、この実施の形態のシステムＬＳＩ機能検証方式は、テストケース１０６の実行結果がエラーとなった場合に備え、システムＬＳＩの資源に格納された値（実効値）を期待値と比較する手続きを起点とし、その手続きが比較対照とした資源を使用した他の試験手続きをテストケース１０６の実行時における、各手続きの実行順の期待値に基づいた継承関係をテストケース１０６に出力する手段を有することを特徴とする。
【００３９】
また、この実施の形態のシステムＬＳＩ機能検証方式は、エラー原因の解析用情報をエラーが生じる可能性のある資源の周りにあらかじめ配置させておくことに特徴がある。すなわち、この実施の形態のシステムＬＳＩ機能検証方式は、テストケース１０６の実行結果がエラーとなった場合に備え、エラーを予測し、テストケース１０６で使用する資源の近傍あるいはすべてに、予め擬似的なデータを設定しておき、期待値比較対象の資源の実効値がこの擬似データと一致した場合に備え、擬似データに関する情報をテストケース１０６に出力する手段を有することを特徴とする。
【００４０】
以上の結果、作成されたテストケース１０６は以下のような構成になる。
１．機能モデルの動作を試験する前に、擬似データを資源に設定する擬似データ設定部。
２．回路機能をモデル化した機能モデルの動作を試験する試験手続き部。
３．試験手続き部による機能モデルの動作の試験の結果がエラーになる場合、このエラー原因を解析するためのエラー原因解析情報を試験手続きに対応させて記憶する原因解析情報記憶部。
４．原因解析情報記憶部に記憶されたエラー原因解析情報を利用してエラー原因を解析するため情報を提供するエラー原因情報提供部（エラー解析部）。
【００４１】
上記原因解析情報記憶部は、エラー原因解析情報として以下の情報を記憶する。
試験手続き構成情報１０６ａ（図２）
資源別アクセス順序・期待値情報１０６ｂ（図３）
資源別擬似データ情報１０６ｅ（図４）
試験手続き実行順序期待値情報１０６ｃ（図５）
試験手続き間継承情報１０６ｆ（図６）
エラー解析用メッセージ情報１０６ｄ（図７）
【００４２】
上記原因解析情報記憶部は、テストケース１０６内になくてもよい。メモリやディスクにファイル形式で独立して記録されていてもよい。
【００４３】
また、上記エラー原因情報提供部（エラー解析部）も、テストケース１０６内になくてもよい。メモリやディスクにファイル形式で独立して記録されていてもよい。
【００４４】
上記原因解析情報記憶部は、エラー原因解析情報として上記情報を全て記憶している必要はない。少なくとも１つ以上の情報を保持していればよい。望ましくは、エラー解析用メッセージ情報１０６ｄ（図７）が、他の情報を多く含んでいること、及び、ユーザにメッセージを表示出力するために用いられるので、人間がエラー解析しやすくなることの理由によりエラー原因解析情報に含まれているのがよい。
【００４５】
図８は、実施の形態１におけるプログラム生成装置（テストケース生成装置）の外観を示す図である。
図８において、プログラム生成装置（テストケース生成装置）１００は、システムユニット２００、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）表示装置４１、キーボード（Ｋ／Ｂ）４２、マウス４３、コンパクトディスク装置（ＣＤＤ）８６、プリンタ装置８７、スキャナ装置８８を備え、これらはケーブルで接続されている。さらに、プログラム生成装置（テストケース生成装置）１００は、ＦＡＸ機３１０、電話器３２０とケーブルで接続され、また、ローカルエリアネットワーク（ＬＡＮ）５、ウェブサーバ５００を介してインターネット５０１に接続されている。
【００４６】
図９は、実施の形態１におけるプログラム生成装置（テストケース生成装置）のハードウェア構成図である。
図９において、プログラム生成装置（テストケース生成装置）１００は、プログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３７を備えている。ＣＰＵ３７は、バス３８を介してＲＯＭ３９（不揮発性記憶装置の一例である）、ＲＡＭ４０（メモリ、揮発性記憶装置の一例である）、通信ボード４４、ＣＲＴ表示装置４１、Ｋ／Ｂ４２、マウス４３、ＦＤＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ Ｄｒｉｖｅ）４５、磁気ディスク装置４６（不揮発性記憶装置の一例である）、ＣＤＤ８６、プリンタ装置８７、スキャナ装置８８と接続されている。通信ボード４４は、ＦＡＸ機３１０、電話器３２０、ＬＡＮ５等に接続されている。
例えば、通信ボード４４、Ｋ／Ｂ４２、ＦＤＤ４５は、情報入力部の一例となる。或いは、情報入力部がおこなう処理をプログラムで構成する場合、プログラムは、例えば、通信ボード４４、Ｋ／Ｂ４２、ＦＤＤ４５という入力装置を用いて処理をおこなってもよい。或いは、ＣＰＵ３７を用いてＣＰＵ３７の内部処理としておこなってもよい。
また、例えば、通信ボード４４は、出力部の一例となる。出力部がおこなう処理をプログラムで構成する場合、プログラムは、例えば、通信ボード４４という出力装置を用いて処理をおこなってもよい。或いは、ＣＰＵ３７を用いてＣＰＵ３７の内部処理としておこなってもよい。
また、例えば、ＲＯＭ３９、ＲＡＭ４０、磁気ディスク装置４６は、記憶部の一例となる。記憶部がおこなう処理をプログラムで構成する場合、プログラムは、例えば、ＲＯＭ３９、ＲＡＭ４０、磁気ディスク装置４６という記憶装置を用いて処理をおこなってもよい。
上記以外の各部がハードウェアで構成される場合、例えば、ＣＰＵ３７は、上記以外の各部の一例となる。上記以外の各部がおこなう処理をプログラムで構成する場合、プログラムは、ＣＰＵ３７に処理をさせる。
【００４７】
ここで、通信ボードは、ＬＡＮ５に限らず、直接、インターネット、或いはＩＳＤＮ等のＷＡＮ（ワイドエリアネットワーク）に接続されていても構わない。直接、インターネット、或いはＩＳＤＮ等のＷＡＮに接続されている場合、プログラム生成装置１００は、インターネット、或いはＩＳＤＮ等のＷＡＮに接続され、ウェブサーバ５００は不用となる。
磁気ディスク装置４６には、オペレーティングシステム（ＯＳ）４７、ウィンドウシステム４８、プログラム群４９、ファイル群５０が記憶されている。プログラム群は、ＣＰＵ３７、ＯＳ４７、ウィンドウシステム４８により実行される。
【００４８】
上記プログラム群４９には、実施の形態の説明において「テストワーク」や「シミュレータ」や「〜部」として説明したものがプログラムで実現される場合、そのプログラムが記憶されている。また、「テストワーク」や「シミュレータ」や「〜部」と説明したものを「〜処理」、「〜ルーチン」、「〜手段」、「〜工程」、「〜ステップ」、「〜装置」と置き換えることにより、プログラムの発明、方法の発明、システムの発明とすることもできる。
【００４９】
ファイル群には、上記実施の形態の説明において「テストシナリオ」、「テストケース」、「機能モデル」、「テストベンチ」、「〜結果」、「〜情報」として説明したものが「〜ファイル」として記憶されている。
【００５０】
また、実施の形態の説明において「〜部」として説明したものは、ＲＯＭ３９に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、ハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。
【００５１】
また、実施の形態を実施させるプログラムは、また、磁気ディスク装置、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）、光ディスク、ＣＤ（コンパクトディスク）、ＭＤ（ミニディスク）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のその他の記録媒体による記録装置を用いて記憶されても構わない。
【００５２】
また、前述した説明において、「記憶する」、「保持する」という動作は、メモリや記憶装置に情報やデータを電気的又は磁気的にファイル形式やプログラム内の変数形式で保存することをいう。また、「試験する」、「実行する」、「生成する」、「解析する」、「判定する」という動作も、その結果がメモリや記憶装置に情報やデータを電気的又は磁気的にファイル形式やプログラム内の変数形式で保存されることを意味している。
【００５３】
【発明の効果】
本発明により、例えば、試験対象であるシステムＬＳＩに対する試験の手続きを表したテストケースをシミュレータ上で実行した結果、エラーとなった場合に発生する作業であるエラー解析作業を、テストケースに表示されている幾つかのエラー予測値と、テストケースの実行結果に表示されている、エラー発生箇所及びエラー対象資源の実効値とを比較する事で、大幅に軽減する事が可能である。
【図面の簡単な説明】
【図１】 実施の形態１における全体構成図である。
【図２】 試験手続き別資源記録部１０５ａがメモリに生成しテストケース１０６に記録する試験手続き構成情報１０６ａの説明図である。
【図３】 資源別アクセス順序・期待値生成部１０５ｂがメモリに生成しテストケース１０６に記録する資源別アクセス順序・期待値情報１０６ｂの説明図である。
【図４】 擬似データ生成部１０５ｅがメモリに生成しテストケース１０６に記録する資源別擬似データ情報１０６ｅの説明図である。
【図５】 試験手続き実行順序期待値生成部１０５ｃがメモリに生成しテストケース１０６に記録する試験手続き実行順序情報１０６ｃの説明図である。
【図６】 試験手続き間継承関係生成部１０５ｆがメモリ生成しテストケース１０６に記録する試験アクセス間継承情報１０６ｆの説明図である。
【図７】 エラー解析用メッセージ生成部１０５ｅがメモリに生成しテストケース１０６に記録するエラー解析用メッセージ情報１０６ｅの説明図である。
【図８】 実施の形態１におけるプログラム生成装置（テストケース生成装置）の外観を示す図である。
【図９】 実施の形態１におけるプログラム生成装置（テストケース生成装置）のハードウェア構成図である。
【符号の説明】
５ ＬＡＮ、３７ ＣＰＵ、３８ バス、３９ ＲＯＭ、４０ ＲＡＭ、４１ＣＲＴ表示装置、４２ Ｋ／Ｂ、４３ マウス、４４ 通信ボート、４５ ＦＤＤ、４６ 磁気ディスク装置、４７ ＯＳ、４８ ウィンドウシステム、４９プログラム群、５０ ファイル群、８６ ＣＤＤ、８７ プリンタ装置、８８スキャナ装置、１００ プログラム生成装置、１０１ 製品仕様書、１０２ テストシナリオ、１０３ 資源構成情報、１０４ 機能モデル、１０５ テストケース生成部、１０５ａ 試験手続き別資源記録部、１０５ｂ 資源別アクセス順序・期待値生成部、１０５ｃ 試験手続き実行順序期待値生成部、１０５ｄ エラー解析用メッセージ生成部、１０５ｅ 擬似データ生成部、１０５ｆ 試験手続き間継承関係生成部、１０６ テストケース、１０６ａ 試験手続き構成情報、１０６ｂ 資源別アクセス順序・期待値情報、１０６ｃ 試験手続き実行順序情報、１０６ｄ エラー解析用メッセージ情報、１０６ｅ 資源別擬似データ情報、１０６ｆ 試験手続き間継承情報、１０７ テストベンチ、１０８ シミュレータ、１０９ テストケース実行結果、１１０ エラー解析部、２００ システムユニット、３１０ ＦＡＸ機、３２０ 電話器、５００ ウェブサーバ、５０１ インターネット。
【発明の属する技術分野】
本発明は、機能試験を行う場合に、検証対象の製品が有する資源を、試験として活性化させた後、資源に対する期待値と実効値（活性化後の資源の値）との比較の結果エラーが発生した場合や、資源の変化するタイミングが期待値と異なる結果エラーが発生した場合に、エラーの原因を解析する際の作業負荷を軽減する機能検証システムに関するものである。
【０００２】
【従来の技術】
機能試験を行う場合に、試験プログラムをシミュレータ上で実行した結果、エラーとなったテストケースを抽出後、エラーの原因を解析する為に、製品を構成する資源に対する試験プログラムを逐次シミュレータ上で実行する際に変化する推移情報を記録する為の市販のツールなどを利用しながら、エラーを再現する為に先程のテストケースを再度論理シミュレータ上で再実行する。また、再現した後、全ての資源に対する推移情報と、試験プログラムの実行順などを意識しながら、エラーが発生した試験プログラムの箇所と関与する資源及び時間を段階的に特定することで、エラーの原因を解明していた。
【０００３】
【特許文献１】
特開２０００−２７５３号公報
【特許文献２】
特開２００１−５８４１号公報
【０００４】
【発明が解決しようとする課題】
エラーとなったテストケースを抽出後再実行し、市販のツールなどを用いテストケースの実行途中の製品が保有する全ての資源の推移情報を記録するので、エラーを再現する際のテストケースのシミュレータ上での実行時間は、記録しない通常の実行時間よりも数倍の時間を要する。また、エラー解析作業においては、製品の高機能化が進むのにつれて、製品を構成する資源の数が増大し、製品の機能が複雑化するため、これを試験する為のテストケースもまた複雑化する。このため、試験の実行結果がエラーとなった際の、エラー解析作業において、プログラムの実行順を把握しながら、エラーが発生する箇所と関与する資源を抽出して、人手で解析するには、多大な時間と労力を要していた。
本発明は、システムＬＳＩ（大規模集積回路）等の機能検証方式、方法において、試験の再実行の抑止や、解析時間の大幅な短縮を実現することができるようにすることを目的とする。
【０００５】
【課題を解決するための手段】
この発明のテストケース生成装置は、複数の資源を有する回路をモデル化した機能モデルの動作を試験する試験手続きを生成しテストケースとして記憶するテストケース生成部と、
テストケース生成部が生成した試験手続きによる機能モデルの動作の試験の結果がエラーになる場合、このエラー原因を解析するためのエラー原因解析情報を生成して記憶する原因解析情報生成部と
を備えたことを特徴とする。
【０００６】
【発明の実施の形態】
以下に述べる実施の形態のシステムＬＳＩ（大規模集積回路）機能検証方式では、テストケースを生成する際に、各ステップで使用する製品の資源と、ステップの実行順と、資源の継承関係などをエラー原因解析情報として生成しメモリに記録する手段と、これらのエラー原因解析情報をテストケースに追加して記録する手段を有する事で、試験の再実行の抑止や、解析時間の大幅な短縮を実現する。
【０００７】
本システムＬＳＩ機能検証方式によって、従来の方法において発生していた、エラーを再現させる為のテストケースを再実行する作業や、エラーの原因を解析する作業における多大な解析における労力と時間を軽減できる。
【０００８】
実施の形態１．
以下、本発明の実施の形態を図面を用いて説明する。
図１は、本エラー解析支援付きシステムＬＳＩ検証方式の全体構成図である。システムＬＳＩの機能検証作業は、検証対象であるシステムＬＳＩが機能的に正しく動作する事を確認する作業である。よって、システムＬＳＩに関する機能説明が記載されている製品仕様書１０１から、システムＬＳＩの機能を果たす為に保有しているＨ／Ｗ（ハードウェア）資源（以下、単に資源ともいう）を抽出した資源構成情報１０３と、システムＬＳＩの各機能に関する試験を実施するためのテストシナリオ１０２を作成する。また、システムＬＳＩに関する機能説明が記載されている製品仕様書１０１から、システムＬＳＩの回路をモデル化した機能モデル１０４を作成する。機能モデル１０４は、検証対象であるシステムＬＳＩの機能記述を記したものである。また、システムＬＳＩに関する機能説明が記載されている製品仕様書１０１から、機能モデル１０４を試験するためのテストベンチ１０７を作成する。テストベンチ１０７は、機能モデル１０４と接続して機能モデルへの入出力を制御するものである。
【０００９】
ここで、Ｈ／Ｗ資源とは、例えば、プログラムカウンタ、汎用レジスタ、メモリ、入出力（Ｉ／Ｏ）を制御するレジスタなどをいう。また、Ｈ／Ｗ資源の特定とは、プログラムカウンタのＩＤ、汎用レジスタの番号、メモリのアドレス、入出力（Ｉ／Ｏ）を制御するレジスタの番号などの識別子により複数のＨ／Ｗ資源の中から１種かつ１つのＨ／Ｗ資源を一意に定めるこという。また、Ｈ／Ｗ資源の実効値とは、Ｈ／Ｗ資源に設定される情報やデータや値をいい、例えばプログラムカウンタに設定される値、汎用レジスタに設定される値、メモリに設定される値、入出力（Ｉ／Ｏ）を制御するレジスタに設定される値などをいう。Ｈ／Ｗ資源の実効値は、Ｈ／Ｗ資源を識別子により識別して設定コマンドや書き込みコマンドを用いることによりＨ／Ｗ資源に保持される。また、読み込みコマンドによりＨ／Ｗ資源から読み込まれる。
【００１０】
次に、テストケース生成部１０５は、資源構成情報１０３とテストシナリオ１０２から、検証対象であるシステムＬＳＩの機能記述を記した機能モデル１０４及び、機能モデル１０４と接続して機能モデルへの入出力を制御するテストベンチ１０７を制御する為の試験プログラムであるテストケース１０６を生成する。テストケース１０６とは、試験プログラムのことであり、試験データを含んでもよいし含まなくてもよい。また、この実施の形態のテストケース１０６は後述するエラー解析を支援する各種の情報（エラー原因解析情報）を保持し、各種の情報に基づいてエラー結果を解析するメッセージを出力する。テストケース１０６はプログラムファイルとして磁気ディスク等の記録媒体に記録されている。
【００１１】
このテストケース１０６と、機能モデル１０４と、テストベンチ１０７とをシミュレータ１０８で実行し、正常終了またはエラー終了を示すシミュレーション実行結果としてのテストケース実行結果１０９を得る。
【００１２】
エラー解析部１１０は、例えば、テストケース１０６内に試験手続の一部として含まれており、テストケース１０６の実行後に動作するプログラムルーチンである。エラー解析部１１０は、独立したプログラムでもかまわない。
エラー解析部１１０は、このシミュレーション実行結果のうち、エラー終了したテストケース実行結果１０９に対し、エラーの発生した原因を解析する。この際に、従来は、人間が、製品仕様書１０１に書かれている機能説明と、機能モデル１０４が保有している各Ｈ／Ｗ資源の実効値と、試験の手続き内容を表すテストケース１０６とを総合的に参照することでエラー解析していたが、本システムＬＳＩ検証方式では、エラー解析を支援する情報（エラー原因解析情報）が含まれているテストケース１０６を出力することで、製品仕様書１０１や機能モデル１０４を特に調査しなくても、エラー解析部１１０が、エラーの原因を解明できる。エラー解析部１１０はテストケース１０６に含まれているエラー解析を支援する情報（エラー原因解析情報）を参照することにより、自動で或いは半自動でエラー解析をする。或いは、エラー解析部１１０は、テストケース１０６に含まれているエラー解析を支援する情報（エラー原因解析情報）を検索してエラーの原因を推定或いは判定しその推定判定結果をテストケースに表示し人間のエラー解析作業を支援する。
【００１３】
このエラー解析を支援する情報（エラー原因解析情報）を出力する為に、本システムＬＳＩ検証方式では、図１に示す原因解析情報生成部１５６を有している。原因解析情報生成部１５６は、図１のように独立して存在していてもよいし、テストケース生成部１０５の内部にあってもよい。また、原因解析情報生成部１５６は、テストケース１０６の内部にあってもよい。原因解析情報生成部１５６は、テストケース１０６を生成する際に、試験手続き毎に使用するＨ／Ｗ資源との関係を記録する試験手続き別資源記録部１０５ａと、各試験手続きの実行後に格納されるべき期待値をＨ／Ｗ資源別に生成する資源別期待値生成部の一例としての資源別アクセス順序・期待値生成部１０５ｂと、試験手続きの実行順序の期待値を生成する試験手続き実行順序期待値生成部１０５ｃと、テストケース実行結果でエラーと判定された場合に備え、エラーの原因を解析する作業を支援する為のメッセージを出力するエラー解析用メッセージ生成部１０５ｄと、エラーを予測して使用するＨ／Ｗ資源の近傍にデータを配置するための擬似データ生成部１０５ｅと、各試験手続きの継承関係を生成する試験手続き間継承関係生成部１０５ｆを備えている。
【００１４】
上記擬似データ生成部１０５ｅは、エラー原因解析情報として、複数の資源それぞれに設定され、いずれの資源であるかを特定可能な擬似データを生成する。上記テストケース生成部１０５は、上記試験手続きの実行前に擬似データ生成部１０５ｅが生成した擬似データ値を各資源に設定した後に、機能モデルの動作を試験する試験手続きを生成する。こうして、上記テストケースの試験手続きが実行された結果、資源から得られる結果値からその結果値を提供した資源がいずれの資源であるかを特定可能にする。
【００１５】
また、上記エラー解析用メッセージ生成部１０５ｄは、エラー原因解析情報として、想定されるエラー結果とそのエラー要因とを対応させたエラー解析用メッセージを生成する。
テストケース生成部１０５は、回路機能を構成する複数の資源の少なくとも１つの資源に対して試験が実行される場合その資源から得られるはずの期待値が既知の試験を実行し、その試験の実行の結果、その資源から得られる結果値と資源別アクセス順序・期待値生成部１０５ｂが生成した期待値とを比較することにより試験結果がエラーか否かを判定するとともに、試験結果がエラーであると判定される場合にエラー解析用メッセージを出力する試験手続きを生成する。
【００１６】
図２は、試験手続き別資源記録部１０５ａがメモリに生成しテストケース１０６に記録する試験手続き構成情報１０６ａの説明図である。
テストケース１０６は、複数の試験手続き（以下、試験アクセスともいう）から構成されている。この試験手続きを生成する際に、試験手続きの内容を、システムＬＳＩが保有する動作手段の概要やテストベンチが保有する動作手段の概要を記した「試験アクセス種類」と、これらを番号付けした「試験アクセスＩＤ」と、アドレスを格納する為に使用する「アドレス格納資源」と、データを格納する為に使用する「データ格納資源」と、アドレス格納資源を通してアクセスする「メモリアクセス資源」と、「データ格納資源」に値をセットする際の「即値」とに分類して記録する。「アドレス格納資源」と、「データ格納資源」と、「メモリアクセス資源」は、試験としてアクセスした際に使用するＨ／Ｗ資源である。
このように、テストケース生成部１０５は、所定の順序で実行される複数の試験手続きからなる試験手続きを生成するとともに、試験手続き別資源記録部１０５ａは、エラー原因解析情報として試験手続き（試験アクセス）別に試験手続きの内容と試験手続きが使用するＨ／Ｗ資源の情報を生成し、試験手続き構成情報１０６ｂとしてメモリに記録する。
エラー解析用メッセージ生成部１０５ｄは、試験手続き別資源記録部１０５ａがメモリに記録した試験手続き構成情報１０６ａを用いてエラー解析用メッセージ情報１０６ｄを生成する。
試験手続き構成情報１０６ｂとエラー解析用メッセージ情報１０６ｄとは、テストケース１０６に出力され、記録される。
【００１７】
図３は、資源別アクセス順序・期待値生成部１０５ｂがメモリに生成しテストケース１０６に記録する資源別アクセス順序・期待値情報１０６ｂの説明図である。
資源別アクセス順序・期待値生成部１０５ｂは、Ｈ／Ｗ資源別にそのＨ／Ｗ資源をアクセスする試験手続きのリストを生成する。
例えば、図３では、レジスタ３は、
試験アクセスＩＤ−０００２
試験アクセスＩＤ−０００５
試験アクセスＩＤ−０００７
の順にアクセスされることを示している。
【００１８】
また、資源別アクセス順序・期待値生成部１０５ｂは、試験手続き別資源記録部１０５ａが生成した試験手続き構成情報１０６ａの「試験アクセス種類」に従って、試験アクセスが使用するＨ／Ｗ資源に対する、試験アクセス実行後の値（変化後の値）または変化しない場合は試験アクセス実行直前に保持している値を、試験アクセス実行直後の「期待値」としてＨ／Ｗ資源別に保持しておく。ここで、「期待値」とは、機能モデルが正常に動作する場合に試験アクセス実行後にＨ／Ｗ資源から得ることができるはずの値である。
例えば、図３では、レジスタ３に保持される値は、
試験アクセスＩＤ−０００２の実行後、値０になり、
試験アクセスＩＤ−０００５の実行後、値３０００になり、
試験アクセスＩＤ−０００７の実行後、値３３００になる
ことを示している。
【００１９】
上記資源別アクセス順序・期待値生成部１０５ｂは、Ｈ／Ｗ資源別にそのＨ／Ｗ資源をアクセスする試験手続きのリストを生成し、試験手続きが実行され資源が試験されることにより資源に保持されることが期待される期待値を生成してメモリに記憶するとともに、テストケース１０６に記憶する。上記テストケース生成部１０５は、資源が試験された結果、その資源から得られる結果値と資源別アクセス順序・期待値生成部１０５ｂが生成した期待値とを比較することにより試験結果がエラーか否かを判定し、試験結果がエラーであると判定される場合に期待値を含むエラー解析用メッセージを出力する試験手続きを、例えば、エラー解析部１１０の一部として生成する。
【００２０】
図４は、擬似データ生成部１０５ｅがメモリに生成しテストケース１０６に記録する資源別擬似データ情報１０６ｅの説明図である。
試験アクセスで、検証対象であるシステムＬＳＩが誤って動作した際にその誤り方を特定するために、試験アクセスとしては全く使用しないが、誤った箇所を特定するために、使用するＨ／Ｗ資源の近傍に、擬似的なデータを予め設定しておく事を表す。ここで、擬似データとは、本来アクセスすべきＨ／Ｗ資源が特定できる値であり、擬似データの解析により、本来アクセスすべきメモリやレジスタなどのＨ／Ｗ資源を検出できる。
【００２１】
例えば、機能モデルが３２ビット単位の計算が可能な演算器を有しており、メモリを４バイト（４番地）単位でアクセスするものと仮定する。試験アクセスＩＤ−０００５で、レジスタを経由してアクセスするメモリのアドレス２０００番地（「ＲＡＭ−２０００」）に対し、擬似データを例えば、以下のように生成する。
アドレス１ＦＦ８番地（「ＲＡＭ−１ＦＦ８」）に対し、擬似データを、「Ｆ８８Ｆ１ＦＦ１」とする。
アドレス１ＦＦＣ番地（「ＲＡＭ−１ＦＦＣ」）に対し、擬似データを、「ＦＣＣＦ１ＦＦ１」とする。
アドレス２００４番地（「ＲＡＭ−２００４」）に対し、擬似データを、「０４４００２２０」とする。
アドレス２００８番地（「ＲＡＭ−２００８」）に対し、擬似データを、「０８８０２００２」とする。
上記擬似データは、誤ってアクセスされるメモリのアドレスを所定のアルゴリズムで加工した値である。
【００２２】
図２に示すように試験アクセスＩＤ−０００５では、レジスタ２（ＲＥＧ２）に格納された値（アドレス２０００番地）に対応する「ＲＡＭ−２０００」から、「ＲＡＭ−２０００」に格納されているデータ「３０００」をレジスタ３（ＲＥＧ３）に格納する「ＣＰＵ ＲＥＡＤ」というシステムＬＳＩ機能に対する試験アクセスを実行する。この試験アクセスＩＤ−０００５において、システムＬＳＩが誤って、隣の「ＲＡＭ−２００４」からデータを読み出してしまった場合には、ＲＥＧ３には期待値「３０００」ではなく、擬似データである誤ったデータ「０４４００２２０」が格納されており、このデータが検索されることによって、データ「０４４００２２０」からアドレス２００４番地が計算され、「本来アクセスすべきアドレス２０００番地のメモリから４加算したアドレス２００４番地へ誤ってアクセスした」事を検出できる。
【００２３】
或いは、擬似データとして、以下のように、誤ってアクセスされるメモリのアドレスそのものを用いてもよい。
アドレス１ＦＦ８番地（「ＲＡＭ−１ＦＦ８」）に対し、擬似データを、「００００１ＦＦ８」とする。
アドレス１ＦＦＣ番地（「ＲＡＭ−１ＦＦＣ」）に対し、擬似データを、「００００１ＦＦＣ」とする。
アドレス２００４番地（「ＲＡＭ−２００４」）に対し、擬似データを、「００００２００４」とする。
アドレス２００８番地（「ＲＡＭ−２００８」）に対し、擬似データを、「００００２００８」とする。
【００２４】
或いは、擬似データとして、以下のように、本来アクセスすべきメモリのアドレスと誤ってアクセスされたメモリのアドレスとの差分値を用いてもよい。
アドレス１ＦＦ８番地（「ＲＡＭ−１ＦＦ８」）に対し、擬似データを、「−８（１０進数）」とする。
アドレス１ＦＦＣ番地（「ＲＡＭ−１ＦＦＣ」）に対し、擬似データを、「−４（１０進数）」とする。
アドレス２００４番地（「ＲＡＭ−２００４」）に対し、擬似データを、「＋４（１０進数）」とする。
アドレス２００８番地（「ＲＡＭ−２００８」）に対し、擬似データを、「＋８（１０進数）」とする。
【００２５】
以上のように、上記擬似データ生成部１０５ｅは、エラー原因解析情報として、複数の資源（複数のアドレスのメモリ）それぞれに設定され、いずれの資源（いずれのアドレスのメモリ）であるかを特定可能な擬似データ値を生成する。
テストケース生成部１０５は、上記試験手続きの実行前に擬似データ生成部１０５ｅが生成した資源別擬似データ情報１０６ｅを各資源に設定した後に、機能モデルの動作を試験する試験手続きを生成する。エラー解析用メッセージ生成部１０５ｄは、擬似データ生成部１０５ｅが生成した資源別擬似データ情報１０６ｅを含むエラー解析用メッセージを生成する。こうして、上記テストケース１０６の試験手続きが実行された結果、資源から得られる結果値（資源別擬似データ情報１０６ｅ）からその結果値を提供した資源がいずれの資源であるかが特定可能になる。
【００２６】
図５は、試験手続き実行順序期待値生成部１０５ｃがメモリに生成しテストケース１０６に記録する試験手続き実行順序情報１０６ｃの説明図である。
試験手続き実行順序期待値生成部１０５ｃは、テストシナリオ１０２に従って、試験アクセスが逐次生成される際に、その実行順序の期待値を保有しておく。図５に示すように、試験アクセスの実行順序は、試験アクセスＩＤの小さい順とは限らない。
【００２７】
このように、テストケース生成部１０５は、所定の順序で実行される複数の試験手続きからなる試験手続き（試験アクセス）を生成する。試験手続き実行順序期待値生成部１０５ｃは、エラー原因解析情報として複数の試験手続きの実行順序を生成し、試験手続き実行順序情報１０６ｃとして記録する。
エラー解析用メッセージ生成部１０５ｄは、実行順序期待値生成部１０５ｃが生成した試験手続き実行順序情報１０６ｃを用いて試験手続きの実行の順序に従ってエラー解析用メッセージを出力する試験手続きを、例えば、エラー解析部１１０の一部として生成する。
【００２８】
図６は、試験手続き間継承関係生成部１０５ｆがメモリ生成しテストケース１０６に記録する試験アクセス間継承情報１０６ｆの説明図である。
テストケース生成部１０５は、テストシナリオ１０２を実現する為の複数の試験手続きを生成する。この試験手続きを実現する試験アクセスで使用するＨ／Ｗ資源をテストケース生成部１０５が決定する時に、これまでに生成した試験アクセスで使用したＨ／Ｗ資源の情報（図２に記した試験手続き別資源記録情報１０５ａ）と、試験アクセスの実行順序の期待値（図５に記した試験手続き実行順序情報１０６ｃ）とを参照する。テストケース生成部１０５が今回生成すべき試験アクセスで使用するＨ／Ｗ資源を決定する際に、試験手続き間継承関係生成部１０５ｆは既にこのＨ／Ｗ資源を使用した試験アクセスＩＤを抽出する。
例えば、試験手続き間継承関係生成部１０５ｆは、試験アクセスＩＤ−０００５では、ＲＥＧ２とＲＥＧ３を使用するが、図５に記した試験手続き実行順序情報１０６ｃの実行順序の期待値に従うと、試験アクセスＩＤ−０００５より以前に実行する試験アクセスＩＤの中で、ＲＥＧ２を使用した試験アクセスＩＤ−０００１と、ＲＥＧ３を使用した試験アクセスＩＤ−０００２を抽出し、試験アクセスＩＤ−０００５にとって関連のある試験アクセスＩＤとして、実行順序と逆順序、すなわち、試験アクセスＩＤ−０００２、試験アクセスＩＤ−０００１の順に、継承関係を生成し試験手続き間継承情報１０６ｆとしてメモリに保持する。
【００２９】
図７は、エラー解析用メッセージ生成部１０５ｅがメモリに生成しテストケース１０６に記録するエラー解析用メッセージ情報１０６ｅの説明図である。
エラー解析用メッセージ生成部１０５ｄは、試験手続き構成情報１０６ａ（図２）と、資源別アクセス順序・期待値情報１０６ｂ（図３）と、資源別擬似データ情報１０６ｅ（図４）と、試験手続き実行順序情報１０６ｃ（図５）と、試験手続き間継承情報１０６ｆ（図６）から、複数の試験アクセスのうち、資源の値を期待値と比較する試験アクセスを起点に、エラー解析用メッセージ情報１０６ｄをメモリに生成して、テストケース１０６内に出力する。
【００３０】
例えば、図７に示す用に、試験アクセスＩＤ−０００８は、ＲＥＧ３に関して期待値「３３００」と、本試験アクセスを実行した段階でＲＥＧ３に格納されている実行値とを比較する「試験アクセス種類」であるが、もしテストケース１０６をシミュレータ１０８で実行した結果、本試験アクセスＩＤ−０００８の所でエラーを検出し、停止した場合に備え、試験アクセスＩＤで比較対象としている資源ＲＥＧ３に関して、期待値となる値であるエラー予測値を、そのエラー原因付きで表示する。すなわち、資源から得た結果値とエラー予測値（期待値）と予測される１つ以上のエラー原因を表示する。エラー原因が確定していれば、そのエラー原因のみを表示する。
【００３１】
すなわち、試験手続き実行順序情報１０６ｃ（図５）を参照し、試験アクセスＩＤ−０００８より前に実行した試験アクセスＩＤの中から、資源ＲＥＧ３をアクセスした最も近い（直前の）試験アクセスＩＤを探索した結果、試験アクセスＩＤ−０００７を抽出する。同様に、試験アクセスＩＤ−０００７に対し、最も直前に資源ＲＥＧ３をアクセスした試験アクセスＩＤ−０００５を抽出する。このとき、試験アクセスＩＤ−０００５を実行した結果、ＲＥＧ３には期待値「３０００」が格納されるべきであるため、本試験アクセスＩＤ−０００８のエラー予測値の一つとして「３０００」を採択して、メッセージとして「試験アクセス−０００５までは正常、試験アクセス−０００７が失敗」を表示する。同様に、幾つかのエラー予測値を提示する事によって、テストケース実行時に試験アクセスＩＤ−０００８でエラー停止した段階のＲＥＧ３の値が、これらエラー予測値の中のいずれかと一致した場合には、そのメッセージを読む事でエラー要因を迅速に指摘する事が出来る。
【００３２】
図７では、資源の値を期待値と比較する試験アクセス（試験アクセスＩＤ−０００８）を起点にする場合を示したが、比較する試験アクセスを起点にする場合に限らず、他の試験アクセスに対してエラー結果とエラー要因とを生成して出力するようにしてもよい。例えば、図７の試験アクセスＩＤ−０００５において、図４に示す擬似データが設定されることを前提として以下のようなエラー結果とエラー要因を生成しておいて記憶していてもよい。
１．試験アクセスＩＤ−０００５の第１のエラー結果とエラー要因
期待値比較エラー ＲＥＧ３：ＤＡＴＡ−Ｆ８８Ｆ１ＦＦ１。
試験アクセスＩＤ−０００５が失敗、アドレス１ＦＦ８番地のデータ「Ｆ８８Ｆ１ＦＦ１」を誤って受け取っている。
２．試験アクセスＩＤ−０００５の第２のエラー結果とエラー要因
期待値比較エラー ＲＥＧ３：ＤＡＴＡ−ＦＣＣＦ１ＦＦ１。
試験アクセスＩＤ−０００５が失敗、アドレス１ＦＦＣ番地のデータ「ＦＣＣＦ１ＦＦ１」を誤って受け取っている。
３．試験アクセスＩＤ−０００５の第３のエラー結果とエラー要因
期待値比較エラー ＲＥＧ３：ＤＡＴＡ−０４４００２２０。
試験アクセスＩＤ−０００５が失敗、アドレス２００４番地のデータ「０４４００２２０」を誤って受け取っている。
４．試験アクセスＩＤ−０００５の第４のエラー結果とエラー要因
期待値比較エラー ＲＥＧ３：ＤＡＴＡ−０８８０２００２。
試験アクセスＩＤ−０００５が失敗、アドレス２００８番地のデータ「０８８０２００２」を誤って受け取っている。
【００３３】
以上のように、テストケース生成部１０５は、所定の順序で実行される複数の試験手続きからなる試験手続きを生成する。
原因解析情報生成部１５６は、エラー原因解析情報として試験手続き別に試験手続きの内容と試験手続きが使用する資源の情報を生成し、試験手続き構成情報１０６ａとして記録する試験手続き別資源記録部１０５ａと、
エラー原因解析情報として複数の試験手続きの実行順序を生成し、試験手続き実行順序期待値として試験手続き実行順序情報１０６ｃを記録する試験手続き実行順序期待値生成部１０５ｃと、
試験手続き別資源記録部１０５ａが生成した試験手続き構成情報１０６ａと試験手続き実行順序期待値生成部１０５ｃが生成した試験手続き実行順序情報１０６ｃとを用いて、試験手続きが実行された場合にエラー結果を引き起こす試験手続きを試験手続き間継承情報１０６ｆとして生成する試験手続き間継承関係生成部１０５ｆとを備えている。
そして、エラー解析用メッセージ生成部１０５ｄは、試験手続き間継承関係生成部１０５ｆが生成した試験手続き間継承情報１０６ｆを用いてエラー結果を引き起こす試験手続きをエラー要因としたエラー解析用メッセージ情報１０６ｄをメモリに記憶するとともにテストケース１０６に記録する。
【００３４】
前述したエラー原因解析情報は、図２〜図７によるデータや情報でもよいが、これらの情報を利用して解析支援情報やエラー解析用メッセージを出力するプログラムやルーチンを含んでいてもよい。これらプログラムやルーチンは、エラー解析部１１０を構成する。
【００３５】
以上のように、この実施の形態のシステムＬＳＩ機能検証方式は、エラー原因解析情報や解析支援情報やエラー解析用メッセージを出力することに特徴がある。すなわち、この実施の形態のシステムＬＳＩ機能検証方式は、あるシステムＬＳＩを機能的な側面から検証する為に作成する、製品仕様書に基いた試験項目を具現化した、試験の手続き（ステップ）を表したプログラム（テストケース１０６）を作成する際に、テストケース１０６をシミュレータ１０８で実行しその結果がエラーと判定される場合に備え、エラーの発生した手続きと、エラーと判定対象とされたシステムＬＳＩを構成する資源の値（実効値）との組み合わせ別に、エラーの原因を推定しておき、テストケース１０６に出力する手段を有することを特徴とする。
【００３６】
また、この実施の形態のシステムＬＳＩ機能検証方式は、各試験手続きの情報を記録することに特徴がある。すなわち、この実施の形態のシステムＬＳＩ機能検証方式は、テストケース１０６の実行結果がエラーとなった場合に備え、テストケース１０６を構成する試験の手続き毎に、各手続きが使用するシステムＬＳＩの資源に関する情報と手続きの内容をテストケース１０６に出力する手段を有することを特徴とする。
【００３７】
また、この実施の形態のシステムＬＳＩ機能検証方式は、Ｈ／Ｗ資源のアクセス順序履歴を記録することに特徴がある。すなわち、この実施の形態のシステムＬＳＩ機能検証方式は、テストケース１０６の実行結果がエラーとなった場合に備え、システムＬＳＩを構成する資源毎に、資源を使用した手続きを出力する手段を有することを特徴とする。
【００３８】
また、この実施の形態のシステムＬＳＩ機能検証方式は、試験手続き間の継承を記録することに特徴がある。すなわち、この実施の形態のシステムＬＳＩ機能検証方式は、テストケース１０６の実行結果がエラーとなった場合に備え、システムＬＳＩの資源に格納された値（実効値）を期待値と比較する手続きを起点とし、その手続きが比較対照とした資源を使用した他の試験手続きをテストケース１０６の実行時における、各手続きの実行順の期待値に基づいた継承関係をテストケース１０６に出力する手段を有することを特徴とする。
【００３９】
また、この実施の形態のシステムＬＳＩ機能検証方式は、エラー原因の解析用情報をエラーが生じる可能性のある資源の周りにあらかじめ配置させておくことに特徴がある。すなわち、この実施の形態のシステムＬＳＩ機能検証方式は、テストケース１０６の実行結果がエラーとなった場合に備え、エラーを予測し、テストケース１０６で使用する資源の近傍あるいはすべてに、予め擬似的なデータを設定しておき、期待値比較対象の資源の実効値がこの擬似データと一致した場合に備え、擬似データに関する情報をテストケース１０６に出力する手段を有することを特徴とする。
【００４０】
以上の結果、作成されたテストケース１０６は以下のような構成になる。
１．機能モデルの動作を試験する前に、擬似データを資源に設定する擬似データ設定部。
２．回路機能をモデル化した機能モデルの動作を試験する試験手続き部。
３．試験手続き部による機能モデルの動作の試験の結果がエラーになる場合、このエラー原因を解析するためのエラー原因解析情報を試験手続きに対応させて記憶する原因解析情報記憶部。
４．原因解析情報記憶部に記憶されたエラー原因解析情報を利用してエラー原因を解析するため情報を提供するエラー原因情報提供部（エラー解析部）。
【００４１】
上記原因解析情報記憶部は、エラー原因解析情報として以下の情報を記憶する。
試験手続き構成情報１０６ａ（図２）
資源別アクセス順序・期待値情報１０６ｂ（図３）
資源別擬似データ情報１０６ｅ（図４）
試験手続き実行順序期待値情報１０６ｃ（図５）
試験手続き間継承情報１０６ｆ（図６）
エラー解析用メッセージ情報１０６ｄ（図７）
【００４２】
上記原因解析情報記憶部は、テストケース１０６内になくてもよい。メモリやディスクにファイル形式で独立して記録されていてもよい。
【００４３】
また、上記エラー原因情報提供部（エラー解析部）も、テストケース１０６内になくてもよい。メモリやディスクにファイル形式で独立して記録されていてもよい。
【００４４】
上記原因解析情報記憶部は、エラー原因解析情報として上記情報を全て記憶している必要はない。少なくとも１つ以上の情報を保持していればよい。望ましくは、エラー解析用メッセージ情報１０６ｄ（図７）が、他の情報を多く含んでいること、及び、ユーザにメッセージを表示出力するために用いられるので、人間がエラー解析しやすくなることの理由によりエラー原因解析情報に含まれているのがよい。
【００４５】
図８は、実施の形態１におけるプログラム生成装置（テストケース生成装置）の外観を示す図である。
図８において、プログラム生成装置（テストケース生成装置）１００は、システムユニット２００、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）表示装置４１、キーボード（Ｋ／Ｂ）４２、マウス４３、コンパクトディスク装置（ＣＤＤ）８６、プリンタ装置８７、スキャナ装置８８を備え、これらはケーブルで接続されている。さらに、プログラム生成装置（テストケース生成装置）１００は、ＦＡＸ機３１０、電話器３２０とケーブルで接続され、また、ローカルエリアネットワーク（ＬＡＮ）５、ウェブサーバ５００を介してインターネット５０１に接続されている。
【００４６】
図９は、実施の形態１におけるプログラム生成装置（テストケース生成装置）のハードウェア構成図である。
図９において、プログラム生成装置（テストケース生成装置）１００は、プログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３７を備えている。ＣＰＵ３７は、バス３８を介してＲＯＭ３９（不揮発性記憶装置の一例である）、ＲＡＭ４０（メモリ、揮発性記憶装置の一例である）、通信ボード４４、ＣＲＴ表示装置４１、Ｋ／Ｂ４２、マウス４３、ＦＤＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ Ｄｒｉｖｅ）４５、磁気ディスク装置４６（不揮発性記憶装置の一例である）、ＣＤＤ８６、プリンタ装置８７、スキャナ装置８８と接続されている。通信ボード４４は、ＦＡＸ機３１０、電話器３２０、ＬＡＮ５等に接続されている。
例えば、通信ボード４４、Ｋ／Ｂ４２、ＦＤＤ４５は、情報入力部の一例となる。或いは、情報入力部がおこなう処理をプログラムで構成する場合、プログラムは、例えば、通信ボード４４、Ｋ／Ｂ４２、ＦＤＤ４５という入力装置を用いて処理をおこなってもよい。或いは、ＣＰＵ３７を用いてＣＰＵ３７の内部処理としておこなってもよい。
また、例えば、通信ボード４４は、出力部の一例となる。出力部がおこなう処理をプログラムで構成する場合、プログラムは、例えば、通信ボード４４という出力装置を用いて処理をおこなってもよい。或いは、ＣＰＵ３７を用いてＣＰＵ３７の内部処理としておこなってもよい。
また、例えば、ＲＯＭ３９、ＲＡＭ４０、磁気ディスク装置４６は、記憶部の一例となる。記憶部がおこなう処理をプログラムで構成する場合、プログラムは、例えば、ＲＯＭ３９、ＲＡＭ４０、磁気ディスク装置４６という記憶装置を用いて処理をおこなってもよい。
上記以外の各部がハードウェアで構成される場合、例えば、ＣＰＵ３７は、上記以外の各部の一例となる。上記以外の各部がおこなう処理をプログラムで構成する場合、プログラムは、ＣＰＵ３７に処理をさせる。
【００４７】
ここで、通信ボードは、ＬＡＮ５に限らず、直接、インターネット、或いはＩＳＤＮ等のＷＡＮ（ワイドエリアネットワーク）に接続されていても構わない。直接、インターネット、或いはＩＳＤＮ等のＷＡＮに接続されている場合、プログラム生成装置１００は、インターネット、或いはＩＳＤＮ等のＷＡＮに接続され、ウェブサーバ５００は不用となる。
磁気ディスク装置４６には、オペレーティングシステム（ＯＳ）４７、ウィンドウシステム４８、プログラム群４９、ファイル群５０が記憶されている。プログラム群は、ＣＰＵ３７、ＯＳ４７、ウィンドウシステム４８により実行される。
【００４８】
上記プログラム群４９には、実施の形態の説明において「テストワーク」や「シミュレータ」や「〜部」として説明したものがプログラムで実現される場合、そのプログラムが記憶されている。また、「テストワーク」や「シミュレータ」や「〜部」と説明したものを「〜処理」、「〜ルーチン」、「〜手段」、「〜工程」、「〜ステップ」、「〜装置」と置き換えることにより、プログラムの発明、方法の発明、システムの発明とすることもできる。
【００４９】
ファイル群には、上記実施の形態の説明において「テストシナリオ」、「テストケース」、「機能モデル」、「テストベンチ」、「〜結果」、「〜情報」として説明したものが「〜ファイル」として記憶されている。
【００５０】
また、実施の形態の説明において「〜部」として説明したものは、ＲＯＭ３９に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、ハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。
【００５１】
また、実施の形態を実施させるプログラムは、また、磁気ディスク装置、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）、光ディスク、ＣＤ（コンパクトディスク）、ＭＤ（ミニディスク）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のその他の記録媒体による記録装置を用いて記憶されても構わない。
【００５２】
また、前述した説明において、「記憶する」、「保持する」という動作は、メモリや記憶装置に情報やデータを電気的又は磁気的にファイル形式やプログラム内の変数形式で保存することをいう。また、「試験する」、「実行する」、「生成する」、「解析する」、「判定する」という動作も、その結果がメモリや記憶装置に情報やデータを電気的又は磁気的にファイル形式やプログラム内の変数形式で保存されることを意味している。
【００５３】
【発明の効果】
本発明により、例えば、試験対象であるシステムＬＳＩに対する試験の手続きを表したテストケースをシミュレータ上で実行した結果、エラーとなった場合に発生する作業であるエラー解析作業を、テストケースに表示されている幾つかのエラー予測値と、テストケースの実行結果に表示されている、エラー発生箇所及びエラー対象資源の実効値とを比較する事で、大幅に軽減する事が可能である。
【図面の簡単な説明】
【図１】 実施の形態１における全体構成図である。
【図２】 試験手続き別資源記録部１０５ａがメモリに生成しテストケース１０６に記録する試験手続き構成情報１０６ａの説明図である。
【図３】 資源別アクセス順序・期待値生成部１０５ｂがメモリに生成しテストケース１０６に記録する資源別アクセス順序・期待値情報１０６ｂの説明図である。
【図４】 擬似データ生成部１０５ｅがメモリに生成しテストケース１０６に記録する資源別擬似データ情報１０６ｅの説明図である。
【図５】 試験手続き実行順序期待値生成部１０５ｃがメモリに生成しテストケース１０６に記録する試験手続き実行順序情報１０６ｃの説明図である。
【図６】 試験手続き間継承関係生成部１０５ｆがメモリ生成しテストケース１０６に記録する試験アクセス間継承情報１０６ｆの説明図である。
【図７】 エラー解析用メッセージ生成部１０５ｅがメモリに生成しテストケース１０６に記録するエラー解析用メッセージ情報１０６ｅの説明図である。
【図８】 実施の形態１におけるプログラム生成装置（テストケース生成装置）の外観を示す図である。
【図９】 実施の形態１におけるプログラム生成装置（テストケース生成装置）のハードウェア構成図である。
【符号の説明】
５ ＬＡＮ、３７ ＣＰＵ、３８ バス、３９ ＲＯＭ、４０ ＲＡＭ、４１ＣＲＴ表示装置、４２ Ｋ／Ｂ、４３ マウス、４４ 通信ボート、４５ ＦＤＤ、４６ 磁気ディスク装置、４７ ＯＳ、４８ ウィンドウシステム、４９プログラム群、５０ ファイル群、８６ ＣＤＤ、８７ プリンタ装置、８８スキャナ装置、１００ プログラム生成装置、１０１ 製品仕様書、１０２ テストシナリオ、１０３ 資源構成情報、１０４ 機能モデル、１０５ テストケース生成部、１０５ａ 試験手続き別資源記録部、１０５ｂ 資源別アクセス順序・期待値生成部、１０５ｃ 試験手続き実行順序期待値生成部、１０５ｄ エラー解析用メッセージ生成部、１０５ｅ 擬似データ生成部、１０５ｆ 試験手続き間継承関係生成部、１０６ テストケース、１０６ａ 試験手続き構成情報、１０６ｂ 資源別アクセス順序・期待値情報、１０６ｃ 試験手続き実行順序情報、１０６ｄ エラー解析用メッセージ情報、１０６ｅ 資源別擬似データ情報、１０６ｆ 試験手続き間継承情報、１０７ テストベンチ、１０８ シミュレータ、１０９ テストケース実行結果、１１０ エラー解析部、２００ システムユニット、３１０ ＦＡＸ機、３２０ 電話器、５００ ウェブサーバ、５０１ インターネット。
Claims (8)
- 複数の資源を有する回路をモデル化した機能モデルの動作を試験する試験手続きを生成してテストケースとして記憶するテストケース生成部と、
テストケース生成部が生成した試験手続きの実行前に、機能モデルの動作試験のエラー原因を解析するためのエラー原因解析情報を生成して記憶する原因解析情報生成部と
を備え、
上記原因解析情報生成部は、エラー原因解析情報として、複数の資源それぞれに設定され、いずれの資源であるかを特定可能な擬似データを機能モデルの試験を実行する前に生成する擬似データ生成部を備え、
上記テストケース生成部は、機能モデルの動作を試験する前に擬似データ生成部が生成した擬似データを各資源に設定する試験手続きを生成する
ことを特徴とするテストケース生成装置。 - 上記原因解析情報生成部は、エラー原因解析情報として、エラー結果とそのエラー要因との対応関係とエラー解析用メッセージとを機能モデルの試験を実行する前に生成するエラー解析用メッセージ生成部を備え、
上記テストケース生成部は、資源に対する試験を実行するとその資源に保持されるはずの期待値が既知である資源の試験を実行する試験手続きと、その試験を実行すると得られる結果値と上記期待値とを比較して試験結果がエラーか否かを判定して、試験結果がエラーであると判定される場合にエラー解析用メッセージを出力する試験手続きとを生成する
ことを特徴とする請求項１記載のテストケース生成装置。 - 上記原因解析情報生成部は、
資源に対する試験を実行するとその資源に保持されることが期待される期待値を、機能モデルの試験を実行する前に生成する資源別期待値生成部を備え、
上記テストケース生成部は、資源に対する試験を実行するとその資源から得られる結果値と資源別期待値生成部が生成した期待値とを比較して試験結果がエラーか否かを判定する試験手続きを生成する
ことを特徴とする請求項１または２記載のテストケース生成装置。 - 上記テストケース生成部は、所定の順序で実行される複数の試験手続きを生成し、
上記原因解析情報生成部は、エラー原因解析情報として試験手続き別に試験手続きの内容と試験手続きが使用する資源の情報とを機能モデルの試験を実行する前に生成し、生成した試験手続きの内容と試験手続きが使用する資源の情報とを試験手続き構成情報として記録する試験手続き別資源記録部を備え、
上記エラー解析用メッセージ生成部は、試験手続き別資源記録部が記録した試験手続き構成情報を用いてエラー解析用メッセージを機能モデルの試験を実行する前に生成する
こと特徴とする請求項２に記載のテストケース生成装置。 - 上記テストケース生成部は、所定の順序で実行される複数の試験手続きを生成し、
上記原因解析情報生成部は、エラー原因解析情報として複数の試験手続きの実行順序を機能モデルの試験を実行する前に生成し、生成した複数の試験手続きの実行順序を試験手続き実行順序期待値として記録する試験手続き実行順序期待値生成部を備え、
上記エラー解析用メッセージ生成部は、原因解析情報生成部が生成した試験手続き実行順序期待値を用いてエラー解析用メッセージを機能モデルの試験を実行する前に生成する
こと特徴とする請求項２記載のテストケース生成装置。 - 上記テストケース生成部は、所定の順序で実行される複数の試験手続きを生成し、
上記原因解析情報生成部は、
エラー原因解析情報として試験手続き別に試験手続きの内容と試験手続きが使用する資源の情報とを機能モデルの試験を実行する前に生成し、生成した試験手続きの内容と試験手続きが使用する資源の情報とを試験手続き構成情報として記録する試験手続き別資源記録部と、
エラー原因解析情報として複数の試験手続きの実行順序を機能モデルの試験を実行する前に生成し、生成した複数の試験手続きの実行順序を試験手続き実行順序期待値として記録する試験手続き実行順序期待値生成部と、
試験手続き別資源記録部が生成した試験手続き構成情報と試験手続き実行順序期待値生成部が生成した試験手続き実行順序期待値とを用いて、各試験手続きが使用する資源の情報に基づいて資源の継承関係を判定して、継承関係があると判定した場合に複数の試験手続き間の継承関係を示す試験手続き間継承情報を機能モデルの試験を実行する前に生成する試験手続き間継承関係生成部とを備え、
上記エラー解析用メッセージ生成部は、試験手続き間継承関係生成部が生成した試験手続き間継承情報を用いて試験手続きをエラー要因としたエラー解析用メッセージを機能モデルの試験を実行する前に生成する
ことを特徴とする請求項２記載のテストケース生成装置。 - 複数の資源を有する回路をモデル化した機能モデルの動作を試験する試験手続きを生成しテストケースとして記録媒体に記憶するテストケース生成部によるテストケース生成工程を実行するテストケース生成装置のテストケース生成方法において、
テストケース生成部が生成した試験手続きの実行前に、原因解析情報生成部により機能モデルの動作試験のエラー原因を解析するためのエラー原因解析情報を生成して記録媒体に記憶する原因解析情報生成工程とを有し、
上記原因解析情報生成工程は、擬似データ生成部により、上記エラー原因解析情報として、複数の資源それぞれに設定され、いずれの資源であるかを特定可能な擬似データを機能モデルの試験を実行する前に生成する擬似データ生成工程を含み、
上記テストケース生成工程は、機能モデルの動作を試験する前に、テストケース生成部により、擬似データ生成工程で生成した擬似データを各資源に設定する試験手続きを生成する工程を含む
ことを特徴とするテストケース生成方法。 - 上記原因解析情報生成工程は、機能モデルの試験を実行する前に、エラー原因を解析するためのエラー原因解析情報を、試験手続きに対応させて生成し、記録媒体に記憶する工程を含み、
上記テストケース生成方法は、
シミュレータにより、上記テストケース生成工程で生成した回路をモデル化した機能モデルの動作を試験するテストケースを実行する工程と、
テストケースを実行する工程による機能モデルの動作の試験の結果がエラーになる場合、原因解析情報生成工程で記録媒体に記憶したエラー原因解析情報を試験手続きに対応させて表示する原因解析情報表示工程とを有することを特徴とする請求項７記載のテストケース生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003117070A JP3833626B2 (ja) | 2003-04-22 | 2003-04-22 | テストケース生成装置及びテストケース生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003117070A JP3833626B2 (ja) | 2003-04-22 | 2003-04-22 | テストケース生成装置及びテストケース生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004326237A JP2004326237A (ja) | 2004-11-18 |
| JP3833626B2 true JP3833626B2 (ja) | 2006-10-18 |
Family
ID=33497086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003117070A Expired - Fee Related JP3833626B2 (ja) | 2003-04-22 | 2003-04-22 | テストケース生成装置及びテストケース生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3833626B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4707191B2 (ja) * | 2006-09-26 | 2011-06-22 | 富士通株式会社 | 検証支援プログラム、該プログラムを記録した記録媒体、検証支援装置、および検証支援方法 |
| JP4850091B2 (ja) * | 2007-02-23 | 2012-01-11 | 富士通株式会社 | 検証シナリオ生成装置，方法，およびプログラム，並びに検証装置 |
| CN110334003A (zh) * | 2019-05-22 | 2019-10-15 | 梁俊杰 | 一种流程设计方法以及相关设备 |
| CN110554956B (zh) * | 2019-07-31 | 2023-05-23 | 交控科技股份有限公司 | 一种bdms自动化测试方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03157781A (ja) * | 1989-11-16 | 1991-07-05 | Nec Corp | 論理回路検証方式 |
| JPH04165431A (ja) * | 1990-10-29 | 1992-06-11 | Matsushita Electric Ind Co Ltd | バスシステムテスト装置 |
| JPH05334202A (ja) * | 1992-06-03 | 1993-12-17 | Fuji Electric Co Ltd | Ｒａｍのチェック方法 |
| JPH09330242A (ja) * | 1996-06-12 | 1997-12-22 | Hitachi Ltd | 情報処理装置のテスト命令列生成方式 |
| JP3171236B2 (ja) * | 1997-06-06 | 2001-05-28 | 日本電気株式会社 | 入力端子競合パターン検出システム |
| JPH11120022A (ja) * | 1997-10-13 | 1999-04-30 | Meidensha Corp | プリント基板の試験装置 |
| JP2001022610A (ja) * | 1999-07-07 | 2001-01-26 | Hitachi Ltd | データ処理装置の論理シミュレーション方式 |
-
2003
- 2003-04-22 JP JP2003117070A patent/JP3833626B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004326237A (ja) | 2004-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10055338B2 (en) | Completing functional testing | |
| US7272752B2 (en) | Method and system for integrating test coverage measurements with model based test generation | |
| US7937622B2 (en) | Method and system for autonomic target testing | |
| US8555234B2 (en) | Verification of soft error resilience | |
| US7506211B2 (en) | Automated atomic system testing | |
| US20090271661A1 (en) | Status transition test support device, status transition test support method, and recording medium | |
| US7685471B2 (en) | System and method for detecting software defects | |
| JP2012150535A (ja) | プログラム検証方法及び検証プログラム | |
| JP2000112784A (ja) | プログラムテスト支援装置及びプログラムテスト支援プログラムを記録した記録媒体 | |
| JP3833626B2 (ja) | テストケース生成装置及びテストケース生成方法 | |
| JP2005338987A (ja) | 例外テスト支援プログラム及び例外テスト支援装置 | |
| US7962796B2 (en) | State testing device and methods thereof | |
| GB2397905A (en) | Method for automatically generating and ordering test scripts | |
| JP6974707B2 (ja) | テストプログラム、テスト装置及びテスト方法 | |
| JP2012164098A (ja) | エントリ書換装置及びエントリ書換プログラム | |
| JPH10334125A (ja) | Ｃａｄソフト自動試験装置、ｃａｄソフト自動試験システム及び方法並びに記録媒体 | |
| JP7363164B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
| JP7456289B2 (ja) | 判定プログラム、判定方法および情報処理装置 | |
| JP3179353B2 (ja) | プログラムテスト自動化システム | |
| JP6397800B2 (ja) | テスト支援システムおよびテスト支援方法 | |
| JP2908446B1 (ja) | コンピュータシミュレータ及びシミュレーション方法 | |
| JP3151811B2 (ja) | 情報処理装置の障害処理検証方法および方式 | |
| JP2010211342A (ja) | テストパターン管理装置及びテストパターン管理方法及びプログラム | |
| JP2015069220A (ja) | 性能評価プログラム生成装置、方法、及びプログラム | |
| JP2014142745A (ja) | アプリケーション・テストシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041026 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060516 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060621 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060718 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060719 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |