JP4338607B2

JP4338607B2 - 検証業務管理方法および検証結果解析装置

Info

Publication number: JP4338607B2
Application number: JP2004255681A
Authority: JP
Inventors: 智明片野
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2004-09-02
Filing date: 2004-09-02
Publication date: 2009-10-07
Anticipated expiration: 2024-09-02
Also published as: JP2006072726A

Description

本発明は、ＬＳＩの検証業務の管理方法および検証結果解析装置に関する。

ＬＳＩの開発は、ＬＳＩ設計業務と、ＬＳＩの検証業務とに大別される。ＬＳＩの検証とは、設計したＬＳＩが、設計者の意図どおりに動作するかをテストし、期待どおりの出力が得られるか否かを調べて、合否を判定する作業である。ＬＳＩの検証業務の重要性は年々、増大しており、近年のＬＳＩ開発においては、その７０％以上の期間を検証業務に費やしているといわれている。近年、ＬＳＩの製造会社では、検証業務を設計業務から分離し、検証業務を、専任の担当者にて行うことも多くなり、また、検証業務自体をビジネスとして請け負う設計支援サービス会社も出現している。

検証業務の奥行きは極めて広く、検証仕様書の作成に始まり、テストベンチ（テスト用ファイル）の設計、機能検証、論理合成、タイミング検証等の、多様な検証業務が行われる。このような状況下で、検証業務自体を、どのように評価すればよいのかが問題となるが、現実には、その検証業務を定量化する方法がなく、評価がむずかしいのが現状である。例えば、現在は、検証項目の種類や数、検証手法、検証に要する期間等を事前に打ち合わせることにより、検証業務として請け負う内容を決定し、また、それらを総合的に勘案する等して、検証業務に対する対価が決められている。従来、提案されているＬＳＩの設計支援システムは、工程の管理や、仕様書の作成補助や、設計ツール間の管理を行うものであり（例えば、特許文献1、特許文献2、特許文献3参照）、上記の検証業務自体の評価、管理に関する技術についての提案は、なされていない。
特開２００３−６２３４号公報特開２００３ー６２５０号公報特開２００３−６２５１号公報

上記のとおり、ＬＳＩ開発における検証業務の重要性は年々、増しており、その評価、管理をいかにして行うかは重要な課題であるが、実際には、検証業務の定量化は困難であり、検証業務に対する対価の基準も、とかく、曖昧になりがちである。例えば、検証項目の種類や数、検証手法、検証に要する時間に注目して検証業務の評価を行う場合でも、検証項目が多いとか、どの検証手法を用いるとか、時間がどの程度かかったというような事項は、あくまでも一つの目安であり、本来、形式的ではなく、検証業務の本質を捉えて、より客観的に評価すべきである。

しかし、検証業務といっても、対象とするＬＳＩの仕様や顧客ニーズ等に応じて、その内容は絶えず変動し、本質をつかむのがむずかしく、適切な評価、管理手法が見あたらないのが現状である。このため、検証業務の分業化がむずかしくなり、また、シミュレーションによるすべての検証が終了した後に、別途、人手を使って、その検証業務の結果をまとめる作業（すなわち、検証業務とは別の、検証業務の結果の管理業務）が必要となり、時間と手間がかかるという不都合が生じ、改善が望まれている。

本発明は、ＬＳＩ開発における検証業務を定量化し、客観的かつ効率的な検証業務の評価、管理（対価の決定を含む）を可能とすることを目的とする。

本発明の検証業務管理方法は、各シミュレーション毎に設定した検証項目に対して実施する検証業務を管理する方法であって、各シミュレーション毎の検証結果と前記検証業務の成果として予め選択設定した検証ＯＫまたは検証ＮＧとの一致比較により一致したシミュレーションの総数を算出し、算出した総数に基づいて前記検証業務を評価する。

検証という作業は、シミュレーションを実施し、その検証項目に対して確認がとれるか（検証ＯＫ）、確認がとれないか（検証ＮＧ）を判定する作業である。文言上は、“検証ＯＫ”と“検証ＮＧ”は等価値にも見えるが、実際のＬＳＩ開発においては、開発期間の初期、中期、終期といった時期や、ＬＳＩの開発目的やＬＳＩに付加される機能の性質等に応じて、“検証ＯＫ”あるいは“検証ＮＧ”のいずれか一方が、意味のある結果となることが多い（つまり、ＯＫとＮＧは等価値ではなく、いずれか一方に意味がある場合がほとんどである）。例えば、設計初期段階では、回路の不具合を多く出し、その修正を行うことが検証の目的であるため、“検証ＯＫ”という結果よりも、“検証ＮＧ”という結果が重要である。逆に、設計終盤では、多くの検証パターンを実行することにより、回路の完成度を確認する、リグレッション検証が中心になるので、どれだけのパターンで“検証OK”が得られたかが重要となる。本発明では、この点に着目し、検証業務を、シミュレーションの結果として、その時点で重要な（意味のある）結果（“検証ＮＧ”または“検証ＯＫ”のいずれか）を得た総数にて評価することにする。例えば、１０個の検証項目に関して１０回のシミュレーションで検証を実施したところ、“検証ＮＧ”が６回検出され、“検証ＮＧ”が、その時点での意味のある結果（つまり、検証業務の成果）であったとき、その検証業務の評価は“６（あるいは６／１０）”である、と定量的に把握することができる。本発明では、まず、“検証ＮＧ”，“検証ＯＫ”のいずれを検証業務の成果とするかを設定し、実際のシミュレーションによる検証結果のうち、設定された成果と一致するものの総数を調べ、その総数の情報に基づいて、検証業務全体を評価する。これにより、検証業務を定量化することができ、検証業務を分業化が容易化され、また、検証を実施しながら、これと併行して検証結果自体をまとめること（検証業務の評価、管理）が可能となり、検証業務の評価、管理業務を格段に効率化することができる。

本発明において、算出した総数に単価を乗じて前記検証業務に対する対価を算出する。一致したシミュレーションの総数に所定の単価（事前に決定される）を乗算することで、極めて簡単かつ合理的に、検証業務全体に対する対価を算出することができる。

本発明の検証結果解析装置は、各シミュレーション毎に設定した検証項目に対して実施した検証結果を解析する装置であって、各シミュレーション毎の検証結果と比較対象として予め選択設定した検証ＯＫまたは検証ＮＧと一致するシミュレーションの総数の算出により前記検証結果を解析する解析手段を備える。

上記構成により、“検証ＮＧ”，“検証ＯＫ”のいずれを検証業務の成果とするかの設定、実際のシミュレーションによる検証結果のうち、設定された成果と一致するものの総数のチェック、ならびに、その総数の情報の出力または記録を、自動化することができ、非常に効率的な検証業務の管理が可能となる。

本発明において、一致するシミュレーションを特定する情報を出力する出力手段を備える。一致したシミュレーションの総数情報の出力、記録（例えば、検証結果カウントファイルの作成と出力）のみならず、その一致したシミュレーション自体を特定するための情報の出力、記録（例えば、検証結果リストファイルの作成と出力）も行えるようにしたものである。これにより、検証業務のいっそうの効率化を図ることができる。

また、本発明において、前記解析手段は、シミュレーション実施毎に一致するシミュレーションの総数を算出する。シミュレーション毎に検証結果の記録を逐次、更新していく方式を採用するものである。常に、現在の検証結果の最新状況をチェックすることができるというメリットがある。

また、本発明において、前記解析手段は、全てのシミュレーション実施後に一致するシミュレーションの総数を算出する。シミュレーションの結果情報を蓄積し、最後に一括して解析を実施し、一致したシミュレーションの総数を算出する方式を採用するものである。解析装置の負荷が少なく、大量のデータを処理する場合に有利である。

また、本発明の対価算出装置は、本発明の検証結果解析装置により得られる一致するシミュレーションの総数に単価を乗じて検証業務に対する対価を算出する手段を備える。これにより、ＬＳＩ開発における検証業務についての対価も、自動的に算出することができ、検証業務の管理を、よりいっそう効率的に行うことができる。

本発明のシステムは、本発明の検証結果解析装置と、本発明の対価算出装置とを備える。上記構成により、従来、客観的な把握が困難であったＬＳＩの検証業務を定量化が可能となり、ＬＳＩの検証業務全体を、自動的、合理的かつ効率的に評価、管理することが可能となる。これにより、検証業務を分業化が容易化される。また、検証を実施しながら、これと併行して検証結果自体をまとめること（すなわち、検証業務の評価、管理）が可能となり、ＬＳＩの開発の迅速化、効率化、省力化を図ることができる。

本発明の検証業務管理方法によれば、検証の目的に適合した成果（検証ＮＧ，検証ＯＫのいずれか）に注目し、これを指標として検証業務全体を定量化することができる。これにより、検証業務の分業化に伴う困難が緩和される。また、検証を実施しながら、これと併行して検証結果自体をまとめること（検証業務の評価、管理）が可能となり、検証業務の評価、管理業務を格段に効率化することができる。また、一致したシミュレーションの総数と単価の乗算によって、合理的かつ効率的に、検証業務全体に対する対価を算出することができる。したがって、ＬＳＩの検証業務のみを設計支援サービス会社に委託するような場合でも、合理的に対価（支払い）を決定することができる。このことは、検証業務の分業化を促進する一因となる。

本発明の検証結果解析装置によれば、“検証ＮＧ”，“検証ＯＫ”のいずれを検証業務の成果とするかの設定、実際のシミュレーションによる検証結果のうち、設定された成果と一致するものの総数のチェック、ならびに、その総数の情報の出力または記録を、自動化することができ、また、シミュレーションの結果をリスト等によって管理することもでき、非常に効率的な検証業務の管理が可能となる。

本発明の対価算出装置によれば、ＬＳＩの検証業務に対する対価（支払い）の算出も自動化することができる。

本発明のシステムによれば、従来、客観的な把握が困難であったＬＳＩの検証業務を定量化が可能となり、ＬＳＩの検証業務全体を、自動的、合理的かつ効率的に評価、管理することが可能となる。これにより、検証業務を分業化が容易化される。また、検証を実施しながら、これと併行して検証結果自体をまとめること（すなわち、検証業務の評価、管理）が可能となり、ＬＳＩの開発の迅速化、効率化、省力化を図ることができる。

図１は、本発明の検証業務評価（ならびに管理）システムの構成を示すブロック図である。検証業務評価システム１００は、シミュレーション実施装置１０２と、シミュレーション結果解析装置１０５と、対価算出装置１０８と、を有する。

シミュレーション実施装置１０２は、検証項目リスト１０１を読み取って、所定のシミュレーションによる検証を実施し、検証項目に対する検証結果（“検証ＮＧ”または“検証ＯＫ”）が記録されたシミュレーションログ１０３を出力する。

シミュレーション結果解析装置１０５は、“検証ＮＧ”または“検証ＯＫ”のいずれを検証業務の成果とするかを設定するための検証設定ファイル１０４を読み取ると共に、シミュレーションログファイル１０３を読み取ってシミュレーション結果の解析を実施し、検証結果が、設定された検証業務の成果と一致するシミュレーションの総数を検出し、その総数の情報が記載（記録）された検証結果カウントファイル１００を出力し、同時に、一致が確認されたシミュレーションを特定するための項目（シミュレーション特定情報）が記載（記録）された検証結果リストファイル１０７を出力する。対価算出装置１０８は、検証結果カウントファイル１０６に記載（記録）されている総数に、所定の単価（予め定められている）を乗算して対価を自動的に算出する。

図２は、シミュレーション結果解析装置（図１の参照符号１０５）内部の構成を示すブロック図である。図示されるように、シミュレーション結果解析装置１０５は、設定手段１０と、総数カウント手段２０と、シミュレーション特定情報出力手段３０と、を有する。

設定手段１０は、“検証ＮＧ”または“検証ＯＫ”のいずれを検証業務の成果とするかを設定するための検証設定ファイル１０４の情報を読み取り、いずれを検証業務の成果とするかを総数カウント手段２０に通知する。

総数カウント手段２０は、シミュレーションログファイル１０３の内容を読み取ってシミュレーション結果の解析を実施し、検証結果が、設定された検証業務の成果と一致するシミュレーションの総数を検出する。そして、その総数の情報が記載（記録）された検証結果カウントファイル１００を出力すると共に、どのシミュレーションの結果が設定された成果と一致したかを、シミュレーション特定情報出力手段３０に通知する。

シミュレーション情報出力手段３０は、シミュレーションログファイル１０３の内容と、総数カウント手段２０から通知される、一致したシミュレーションに関する情報と、に基づき、そのシミュレーションを特定するための項目が記載（記録）されている検証結果リストファイル１０７を作成し、出力する。

以下、図３から図１１を参照して、検証業務の定量化による評価、管理の細部について、具体的に説明する。図３は、検証を実施すべき項目を指定する検証項目リストの一例を示す図である。本例では、検証Ｎｏ．１〜ＮＯ．３までの３つのシミュレーションによる検証が実施されることになり、各シミュレーションにおいて使用される検証パターン名（Ａ〜Ｃ）ならびにテストの内容（テストＡ，テストＢ，テストＣ）が、予め、定められている。なお、この検証リストはシミュレーションを実施する前に作成しておく。

図４は、検証設定ファイルの一例を示す図である。上記のとおり、本発明では、例えば、検証対象の回路の完成度を確認することを成果とするか、もしくは、回路の不具合を洗い出すことを成果とするかをあらかじめ指定しておき、その指定項目に合ったシミュレーションの結果を出すことを検証業務の成果とする。

このような考え方の下、検証の実施に先立ち、図４に示すような検証設定ファイル１０４を作成する。この検証設定ファイル１０３は、シミュレーション終了後に、その結果を、どのように判定するかを指定するための手段として機能する。この検証設定ファイル１０３を、シミュレーション結果解析装置１０５に読み込ませることにより、検証ＯＫを成果とするか、検証ＮＧを成果とするかを、適宜、設定することができる。図４の場合、“検証ＯＫ”を成果（有効な結果）とする。

次に、シミュレーション実施装置１０２による、シミュレーション（例えば、設計対象の回路の機能を検証するシミュレーション）を実行する。ここでは、シミュレーション時において、検証結果が“ＯＫ”であるか、あるいは“ＮＧ”であるかを判断するための情報（表記）をログファイルに出力する仕組みを、シミュレーション実施装置１０２の内部のテストベンチ（テスト用ファイル）に、予めに組込んでおく。例えば、メモリ結果の期待値一致を行い、その結果が一致していれば、”Simulation OK”とログファイルに出力し、不一致であれば、”Simulation NG”と出力するようにしておく。

そして、シミュレーション終了時に、そのシミュレーションのログファイルと、検証設定ファイルに、あらかじめ設定したOKやNGの値とを比較する。一致した場合は、その項目を特定する値(検証パターン番号や検証ベクタ名等)を検証結果リストファイル１０７として保存し、また、一致したシミュレーションの総数を、検証結果カウントファイル１０６として保存する。

図５は、シミュレーションの実施手順の一例を示すフロー図である。図示されるように、ステップＳ０００にて、検証項目リストから検証未実施の項目を検出し、検証未実施の項目を探す。Ｓ０００にて実施すべき検証項目が見つかった場合は、ステップＳ００１にて、シミュレータを起動して、シミュレーションを実施する。ステップＳ００３もしくはＳ００４にて、ＯＫかＮＧかどちらかの結果を出力する。本例では、Ｓ００２にて、メモリの値をあらかじめ用意した期待値と比較して、一致していれば“Simulation OK”を出力し、一致していなければ“Simulation NG”をシミュレーションログファイルに出力するようにしている。なお、実行しているシミュレーションの検証No．も同時に出力する。

図６は、シミュレーション結果解析装置（図１の参照符号１０５）が検証結果ファイルを作成する場合の手順を示すフロー図である。図示されるように、ステップＳ１００にてシミュレーションログファイルを読み込む。続いて、ステップＳ１０１にて、検証設定ファイルから設定された値を抽出項目とする。本例ではOKが抽出項目である。ステップＳ１０２にて、シミュレーションログファイルから、抽出する結果値である、“ＯＫ”を検索する。そして、シミュレーションログファイル１０３中の“Simulation OK”の記載から、本シミュレーションがＯＫであることが確認でき、設定した項目と一致が確認できる。一致が確認できた時は、ステップＳ１０３に進み、検証結果カウントファイルに“１”を加算し上書きする。

また、ステップＳ１０４にて、検証結果リストファイル１０７に、実施したシミュレーションを特定する検証No．を出力する。また、ステップＳ１０５にて、ログファイルに出力するだけでなく、あらかじめ用意した検証項目リストの実施の欄にチェックを入れることも行う。本例では、ＯＫ、ＮＧの単語を実施欄に記載する。ステップＳ１０２にて、ＯＫと一致しない場合は、Ｓ１０３，Ｓ１０４，Ｓ１０５の各ステップを経ずに終了する。

図７は、対価算出装置（図１の参照符号１０８）が検証業務に対する対価の計算を実施する場合の手順を示すフロー図である。ステップＳ２００にて、検証結果カウントファイル１０６を読み込み、検証設定ファイル１０４を介して、先に設定された成果（検証結果）と一致する検証結果が生成された総数を把握する。ステップＳ２０１にて、あらかじめ設定した単価をこの総数に乗ずる。ステップＳ２０２にて、ステップＳ２０１の計算結果を出力する。出力先は、ファイルもしくは、ディスプレイとする。

図８は、本発明の検証業務評価システムを用いて、検証業務の定量化による評価、管理を実施する場合の全体の流れを示すフロー図である。図示されるように、ステップＳ３００にて、検証項目リストを作成する。ステップＳ３０１にて検証設定ファイルを作成する。ステップＳ３０２にて、Ｓ３０１で作成した検証項目リストの検証未実施の項目を選択し、シミュレーションを実行する。なお、Ｓ３０１の詳細のフローは、図５に記載したとおりである。ステップＳ３０３，Ｓ３０４にて、シミュレーションの結果と検証設定ファイルからシミュレーションの結果判定を行う。なお、Ｓ３０３，Ｓ３０４の詳細なフローが図６である。そして、Ｓ３０５にて、ＬＳＩの検証業務に対する対価の計算を実施する。Ｓ３０５の詳細なフローが図７である。

図９は、図３に対応する、シミュレーション実施後の検証項目リストの例を示す図である。図９に明示されるように、図３の検証項目リスト１０１に従ってシミュレーションを各パターンで実施した結果として、AとCのパターンを用いたシミュレーションの結果はＯＫであり、Bのパターンを用いたシミュレーションの結果はＮＧとなっている。

図１０は、シミュレーション結果解析装置から出力される検証結果カウントファイルの内容の例を示す図である。“検証ＯＫ”が検証の成果として設定されており（図４参照）、一方、図９の例では、結果がＯＫとなったシミュレーションは２つあるから、検証結果カウントファイル１０６には、設定した値と一致したシミュレーションの総数“２”が記載されている。

図１１は、シミュレーション結果解析装置から出力される検証結果リストファイルの内容の例を示す図である。図９に示すように、設定した値と一致したシミュレーションは、検証Ｎｏ．１およびＮ０．３であるから、そのシミュレーションを特定するための情報として、検証ナンバーの“１”，“３”をリストに記載（記録）して出力している。

また、図９の例の場合の検証業務の対価は以下のように計算される。すなわち、一つの検証項目の単価を１００としたとき、本検証業務に対する対価の額は、１００×２＝２００となる。このように、本発明によれば、きわめて合理的に、ＬＳＩの検証業務における対価を計算することができる。

本発明の検証業務管理方法は、検証の目的に適合した成果（検証ＮＧ，検証ＯＫのいずれか）に注目し、これを指標として検証業務全体を定量化することができるため、検証業務の分業化に伴う困難が緩和され、また、検証を実施しながら、これと併行して検証結果自体をまとめること（検証業務の評価、管理）が可能となり、検証業務の評価、管理業務を格段に効率化することができるという効果を有し、ＬＳＩの検証業務の管理方法等として有用である。

本発明の検証結果解析装置は、“検証ＮＧ”，“検証ＯＫ”のいずれを検証業務の成果とするかの設定、実際のシミュレーションによる検証結果のうち、設定された成果と一致するものの総数のチェック、ならびに、その総数の情報の出力または記録を、自動化することができ、また、シミュレーションの結果をリスト等によって管理することもでき、非常に効率的な検証業務の管理が可能となるという効果を有し、ＬＳＩの検証結果解析装置等として有用である。

本発明の検証業務評価（ならびに管理）システムの構成を示すブロック図シミュレーション結果解析装置内部の構成を示すブロック図検証を実施すべき項目を指定する検証項目リストの一例を示す図検証設定ファイルの一例を示す図シミュレーションの実施手順の一例を示すフロー図シミュレーション結果解析装置が検証結果ファイルを作成する場合の手順を示すフロー図対価算出装置が検証業務に対する対価の計算を実施する場合の手順を示すフロー図本発明の検証業務評価システムを用いて、検証業務の定量化による評価、管理を実施する場合の全体の流れを示すフロー図図３に対応する、シミュレーション実施後の検証項目リストの例を示す図シミュレーション結果解析装置から出力される検証結果カウントファイルの内容の例を示す図シミュレーション結果解析装置から出力される検証結果リストファイルの内容の例を示す図

符号の説明

１０設定手段
２０総数カウント手段
３０シミュレーション特定情報出力手段
１０１検証項目リスト
１０２シミュレーション実施装置
１０３シミュレーションログファイル
１０４検証設定ファイル
１０５シミュレーション結果解析装置
１０６検証結果カウントファイル
１０７検証結果リストファイル
１０８対価算出装置

Claims

各シミュレーション毎に設定した検証項目に対して実施した検証結果と、比較対象として予め選択設定した検証正常終了または検証異常終了と一致するシミュレーションの総数の算出により前記検証結果を解析する解析手段を有する検証結果解析装置と、
前記検証結果解析装置により得られる一致するシミュレーションの総数に単価を乗じて検証業務に対する対価を算出する手段と、を有する対価算出装置と、を備えるシステム。