WO2014118979A1 - 性能モデル検査装置、および、性能モデル検査方法 - Google Patents

Abstract

　性能モデル検査装置は、時刻情報出力命令挿入部と、モデル検査実行部と、反例トレース解析部とを有する。時刻情報出力命令挿入部は、入力された検証モデルソースコードの構成要素のイベントの発生を記述する箇所に、時刻情報出力命令を挿入した時刻情報出力命令済検証モデルソースコードを生成する。次に、モデル検査実行部は、入力された性能検証条件と、時刻情報出力命令挿入済検証モデルソースコードとを用いてモデル検査ツールを実行し、反例トレースを生成する。そして、反例トレース解析部は、反例トレースを解析して検証モデル内の構成要素の稼働率および待ち行列長を算出し、算出結果を基に対象システムのボトルネックを特定し、算出結果およびボトルネック特定情報を出力する。これにより、実機を動作させることなく、モデル検査においてシステムの性能ボトルネックの特定を容易におこなうことができる。

Description

性能モデル検査装置、および、性能モデル検査方法

　本発明は、性能モデル検査装置、および、性能モデル検査方法に係り、特に、実機を動作させることなく、モデル検査においてシステムの性能ボトルネックを容易に特定するのに好適な技術性能モデル検査装置、および、性能モデル検査方法に関する。

　組込みシステムを含むコンピュータシステムの応答速度やスループットなどに関する性能問題の多くは、ボトルネックと呼ばれるシステム内のある特定の一部分が原因であり、ボトルネックを解消することにより大きく改善される。したがって、コンピュータシステムの性能向上には、ボトルネックを特定し、解消する技術が重要となる。しかしながら、ボトルネックの特定については体系的な方法が確立しておらず、専門的な知識や経験が必要であるため、担当できる技術者の制約や掛かる作業時間の長さなどが問題となる。

　専門的な知識や経験を必要とせずにボトルネックの特定を可能とする技術としては、例えば、特許文献１に開示がある。この特許文献１には、測定対象の実行履歴をトレーサにより収集し、それを解析して所定のアルゴリズムで性能指標を計算することによりボトルネックを特定するボトルネック検出システムが記載されている。また、実機を用いない性能検証の手段としては、例えば、特許文献２などに示される待ち行列理論に基づくモデルを用いたシミュレーションによる情報サービスシステムの性能を測定するシステムが知られている。

　また、システム仕様を検証する技術としてモデル検査技術があり、代表的なモデル検査ツールとしては、”ＳＰＩＮ”（例えば、非特許文献１参照）や”ＵＰＰＡＡＬ”（例えば、非特許文献２参照）などが知られている。一般に、モデル検査では、検査モデルの状態を網羅的に探索することで、与えられた検証条件を満たすか否かを検証する。検証の結果検証条件が満たされなかった場合には、その反例となる状態遷移系列である反例トレースが出力され、検証者はこれを調べることにより問題の原因箇所の特定をおこなう。また、モデル検査の反例トレースからの問題の原因箇所の特定を容易にする技術としては、例えば、特許文献３に開示がある。この特許文献３のシステムでは、複数の反例トレースを集積し、それを解析して最も多くの反例に現れるプロセスや処理を探すことにより問題の原因箇所を特定する。

特開２００６－２２７９９９号公報 特開平１０－２６１０１０号公報 特開２０１０－２０５０６６号公報

Gerard J. Holzmann, "The SPIN Model Checker: Primer and Reference Manual", 1 edition, (USA), Addison-Wesley Professional, September 14, 2003 G.Behrmann et.al, "A Tutorial on UPPAAL", In Proceeding of the 4th International School on Formal Methods for the Design of Computer, Communication, and Software Systems(SFM-RT’04), LNCS 3185, (USA), 2004

　上記のように、特許文献１は、測定対象の実行履歴をトレーサにより収集し、それを解析して性能指標を計算するものであるが、特許文献１のような実機を用いた性能検証では、実際にシステムを構築する必要があるため、実施にかかる手間やコストが大きいという問題点がある。特に、パフォーマンス・チューニングのためのボトルネックの特定においては、あるボトルネックを解消することが別の箇所に影響を与え、新たなボトルネックを生むなどの場合がある。そのため、何度も設定を変えて性能検証をおこなう必要があるため、手間やコストがさらに増大する。例えば、ストレージ情報処理装置の開発においては、実際の運用時を想定した高い負荷における性能を検証するために高性能サーバを大量に必要とし、テスト環境構築のためのコストが膨大になるという問題が生じている。さらに、実機を用いた性能検証は、ハードウェアの試作とソフトウェアの実装が完了した開発の下流工程でしか実施できないため、性能問題発見による設計工程への手戻りコストも大きい。

　また、大規模化、複雑化が進行している近年の組込みシステムを含むコンピュータシステムにおいては、複数のシステム構成要素が複雑に協調して動作するため、システムの取りうる状態や状態遷移系列は膨大となり、再現性の低い性能問題が含まれる場合がある。実機による性能検証や特許文献２のなどのシミュレーションによる性能検証の場合、このような性能問題を再現するためには無数のテストパターンに対して何度も検証を実施しなければならず、問題の発見が非常に困難であるという問題点がある。例えば、ストレージ情報処理装置の開発においては、通常の動作に加えてメンテナンス用の機能が実行された場合に発生するスループット低下など、特定の複数の機能が並行動作する状況下で発生する性能問題の発見漏れが問題となっている。

　これに対して、特許文献３は、モデル検査の反例トレースからの問題の原因箇所の特定するものであった。この特許文献３の技術は、機能や動作ロジックに関する問題の原因箇所特定においては有用であるが、性能問題に関しては最も多くの反例トレースに現れるプロセスや処理が必ずしも原因箇所であるとは限らないため、ボトルネックなど性能問題の原因箇所の特定には適さないという問題点がある。

　本発明は、上記問題点を解決するためになされたもので、その目的は、実機を動作させることなく、モデル検査においてシステムの性能ボトルネックを容易に特定する性能モデル検査装置を提供することにある。

　また、本発明の他の目的は、モデル検査による網羅的な検証を実施するため、実機や性能シミュレーションによる性能検証では特定が困難な再現性の低い性能問題の原因となるボトルネックでも必ず発見することができる性能モデル検査装置を提供することにある。

　本発明の性能モデル検査装置は、ＣＰＵと記憶装置とを有し、記憶装置に記憶されたプログラムをＣＰＵにより実行させることにより、対象システムの検証モデルのモデル検査に基づく性能検証をおこなう性能モデル検査装置であって、検証モデルは、構成要素の少なくとも一つが、時刻に基づいて動作し、待ち行列を処理する構成要素であり、検証モデルを記述する検証モデルソースコードは、検証モデルの構成要素のイベントの発生を記述する箇所を有し、時刻情報出力命令挿入部と、モデル検査実行部と、反例トレース解析部とを有するものである。

　時刻情報出力命令挿入部は、入力された検証モデルソースコードの構成要素のイベントの発生を記述する箇所に、時刻情報出力命令を挿入した時刻情報出力命令済検証モデルソースコードを生成する。

　次に、モデル検査実行部は、入力された性能検証条件と、時刻情報出力命令挿入済検証モデルソースコードとを用いてモデル検査ツールを実行し、反例トレースを生成する。

　そして、反例トレース解析部は、モデル検査実行部で生成された反例トレースを解析して検証モデル内の構成要素の稼働率および待ち行列長を算出し、算出結果をもとに対象システムのボトルネックを特定し、算出結果およびボトルネック特定情報を出力する。

　本発明によれば、実機を動作させることなく、モデル検査においてシステムの性能ボトルネックを容易に特定する性能モデル検査装置を提供することができる。

　また、モデル検査による網羅的な検証を実施するため、実機や性能シミュレーションによる性能検証では特定が困難な再現性の低い性能問題の原因となるボトルネックでも必ず発見することができる性能モデル検査装置を提供することができる。

本発明の第一の実施形態に係る性能モデル検査装置のハードウェア構成を示すブロック図である。 本発明の第一の実施形態に係る性能モデル検査装置のソフトウェア構成を示すブロック図である。 モデル検査の対象となるネットワークスイッチのプロキシ機能を示した図である。 モデル検査の対象となるネットワークスイッチのプロキシ機能の処理のシーケンス図である。 本発明の第一の実施形態に係る性能モデル検査装置全体の機能と、データフローを示した図である。 本発明の第一の実施形態に係る性能モデル検査装置の処理を示すゼネラルチャートである。 時刻情報出力命令挿入部の機能と、データフローを示した図である。 時刻情報出力命令挿入部の処理を示すフローチャートである。 検証モデルを表現するソースコードにおいて、時刻情報出力命令挿入処理の挿入前と挿入後を対比して示した図である。 反例トレース解析部の機能と、データフローを示した図である。 反例トレース解析処理を示すフローチャートである（その一）。 反例トレースを示した図である。 検証結果レポートを示した図である（その一）。 本発明の第二の実施形態に係る性能モデル検査装置のソフトウェア構成を示すブロック図である。 本発明の第二の実施形態に係る性能モデル検査装置全体の機能と、データフローを示した図である。 本発明の第一の実施形態に係る性能モデル検査装置の処理を示すゼネラルチャートである。 性能モデル検査装置を利用したパフォーマンス・チューニングの手順を示すフローチャートである。 本発明の第三の実施形態に係る性能モデル検査装置全体の機能と、データフローを示した図である。 本発明の第三の実施形態に係る性能モデル検査装置の処理を示すゼネラルチャートである。 反例トレース解析部の機能と、データフローを示した図である。 反例トレース解析部の処理を示すフローチャートである（その二）。 検証結果レポートを示した図である（その二）

　以下、本発明に係る各実施形態を、図１ないし図２２を用いて説明する。

　　〔実施形態１〕
　以下、本発明に係る第一の実施形態を、図１ないし図１３を用いて説明する。
  先ず、図１および図２を用いて本発明の第一の実施形態に係る性能モデル検査装置の構成について説明する。
  図１は、本発明の第一の実施形態に係る性能モデル検査装置のハードウェア構成を示すブロック図である。
  図２は、本発明の第一の実施形態に係る性能モデル検査装置のソフトウェア構成を示すブロック図である。

　図１に示すように性能モデル検査装置１１は、例えば、パーソナルコンピュータやサーバや専用ハードウェアなどであり、ＣＰＵ（Central Processing Unit）１、ＲＯＭ（Read Only Memory）２、ＲＡＭ（Random Access Memory）３、ＨＤＤ（Hard Disk Drive）５、入力装置９、表示装置１０、ＮＩＣ（Network Interface Card）８、ＣＤ－ＲＯＭドライブ６が、ＢＵＳ４により接続された形態である。

　ＣＰＵ１は、コンピュータの主要な部分であって、演算処理および各部を制御する中心であり、ＨＤＤ５に格納された性能モデル検査プログラム２００を、ＲＡＭ３にロードして実行する。

　ＲＯＭ２は、起動プログラムであるＢＩＯＳなどを記憶する読み出し専用の半導体記憶装置である。

　ＲＡＭ３は、ＯＳ（Operating System）や性能モデル検査プログラム２００などの各種プログラムやワークデータ等を記憶する書き換え可能な半導体記憶装置であり、性能モデル検査装置１１の主記憶装置になる。

　ＨＤＤ５は、大容量の記憶装置であり、ＯＳや性能モデル検査プログラムなどの各種プログラム、プログラムに使用されるデータなどを格納する補助記憶装置である。

　ＣＤ－ＲＯＭドライブ６は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）７に記憶されたプログラムやデータを読み取る装置である。

　ＮＩＣ８は、ネットワークとの通信を制御する装置である。

　入力装置９は、各種操作指示をおこなうキーボードやマウスなどのポインティングデバイスである。

　表示装置１０は、各種情報を表示するＬＣＤ（Liquid Crystal Display）などの表示のための装置である。

　なお、各種プログラムやデータ等を格納するのは、ＨＤＤ５に限らずＳＳＤなどの半導体記憶装置なども用いることができ、記憶媒体としてはＣＤ－ＲＯＭに限らずＤＶＤやその他の磁気、光学、半導体などを用いた媒体を用いることができる。また、ＮＩＣ８を介してネットワークからプログラムやデータをダウンロードしてＨＤＤ５やＲＡＭ３に記憶してもよい。なお、プログラムやデータは、特定のＯＳ上で動作するか、ＯＳを必要としないか、特定のＯＳやアプリケーション群を構成するファイルの一部であるかは問わない。

　次に、図２を用いて本発明の一実施形態に係る性能モデル検査装置のソフトウェア構成について説明する。

　性能モデル検査装置のソフトウェア構成としては、アプリケーションソフトウェアとして性能モデル検査プログラム２００と、ユーティリティ・ライブラリプログラム２２０、ＯＳ２１０よりなる。

　ＯＳ２１０は、ハードウェアとソフトウェアの仲立ちとなり、ユーザに対してのインタフェースを提供する基本プログラムであり、ユーティリティ・ライブラリプログラム２２０は、ＯＳの機能をアプリケーションソフトウェアに隠蔽し、アプリケーションソフトウェアに様々な機能を提供するプログラムである。

　性能モデル検査プログラム２００は、性能モデル検査装置１１のアプリケーションソフトウェアであり、時刻情報出力命令挿入モジュール２０１、モデル検査実行モジュール２０２、反例トレース解析モジュール２０３よりなる。

　時刻情報出力命令挿入モジュール２０１は、検証モデルに対して、時刻情報を出力する命令を挿入するモジュールである。

　モデル検査実行モジュール２０２は、与えられた性能検査条件の下で、モデル検査を実行するモジュールである。

　反例トレース解析モジュール２０３は、モデル検査実行の結果、出力される反例トレースを解析して、結果のレポートを出力するモジュールである。

　なお、これらのモジュールの各処理については、後に詳説する。

　先ず、図３および図４を用いて本実施形態のモデル検査の対象について説明する。
  図３は、モデル検査の対象となるネットワークスイッチのプロキシ機能を示した図である。
  図４は、モデル検査の対象となるネットワークスイッチのプロキシ機能の処理のシーケンス図である。

　ネットワークスイッチのプロキシ機能の構成要素としては、図３に示されるように、ＲＥＣＥＩＶＥＲ１０１、ＰＲＯＸＹ１０２、ＳＥＮＤＥＲ１０３があり、これらは並行に動作する。ネットワークスイッチがメッセージを受信すると、図４に示されるように、ＲＥＣＥＩＶＥＲ、ＰＲＯＸＹ、ＳＥＮＤＥＲの順に処理要求の送信と処理の実行がおこなわれる。プロキシ機能の構成要素が処理実行中であるときに、処理要求１１０が到着した場合、処理要求は待ち行列に並び、ＦＩＦＯ（First In First Out）方式で順次実行される。図３では、ＲＥＣＥＩＶＥＲ１０１に、処理要求１１０の待ちが２個、ＰＲＯＸＹ１０２の待ちが３個、ＳＥＮＤＥＲ１０３の待ちが１個あることを示している。そして、ネットワークスイッチがメッセージを受信してからＳＥＮＤＥＲが処理を完了するまで時間を検証対象の性能とする。

　次に、図５ないし図１３を用いて本発明の第一の実施形態に係る性能モデル検査装置の機能と、その処理について説明する。
  図５は、本発明の第一の実施形態に係る性能モデル検査装置全体の機能と、データフローを示した図である。
  図６は、本発明の第一の実施形態に係る性能モデル検査装置の処理を示すゼネラルチャートである。
  図７は、時刻情報出力命令挿入部の機能と、データフローを示した図である。
  図８は、時刻情報出力命令挿入部の処理を示すフローチャートである。
  図９は、検証モデルを表現するソースコードにおいて、時刻情報出力命令挿入処理の挿入前と挿入後を対比して示した図である。
  図１０は、反例トレース解析部の機能と、データフローを示した図である。
  図１１は、反例トレース解析処理を示すフローチャートである（その一）。
  図１２は、反例トレースを示した図である。
  図１３は、検証結果レポートを示した図である（その一）。

　本実施形態では、モデル検査における検証対象の一例として、上記で説明したネットワークスイッチのプロキシ機能の性能検証をする場合について説明する。

　本実施形態の性能モデル検査装置は、図１に示したハードウェア構成で、ＨＤＤ５に格納された性能モデル検査プログラムが、ＲＡＭ３にロードされて、ＣＰＵ１がプログラムを解釈実行することより、その機能が実行される。

　性能モデル検査装置１１は、図５に示されるように、時刻情報出力命令挿入部２３と、モデル検査実行部２５と、反例トレース解析部２７よりなる。

　時刻情報出力命令挿入部２３は、ボトルネックを特定するための反例トレース２６の解析を可能にするためにモデルに時刻情報出力命令を挿入する部分である。

　モデル検査実行部２５は、モデル検査を実行する部分である。

　反例トレース解析部２７は、モデル検査実行時に出力される反例トレース２６を解析して、モデル検査の対象となっているモデルのボトルネックを特定する。

　なお、性能モデル検査装置１１の中では、当該処理の一時的なデータとして、時刻情報出力命令挿入部２３が時刻情報出力命令挿入済検証モデルソースコード２４を生成し、モデル検査実行部２５が反例トレース２６を生成し、ＲＡＭ３およびＨＤＤ５に一時的に格納されるが、性能モデル検査装置１１の永続的な構成要素ではない。また、ここでは、各機能について、ＣＰＵ１がプログラムを実行することにより実現される例を示したが、ハードウェアとして実現されてもよい。

　性能モデル検査装置１１への入力として、検証モデルソースコード２１と性能検証条件式２３がある。これらの入力はＮＩＣ８や入力装置９やＣＤＲＯＭ７やＨＤＤ５などからＲＡＭ３にロードされるデータである。検証モデルソースコード２１は、性能検証とボトルネック特定をおこなう対象となるモデル検査ツールで検証可能なモデルを記述したソースコードである。検証モデルには、検証対象とするシステムを構成する複数の要素が含まれ、各構成要素は互いに処理の要求や処理結果の返却などにより協調して動作する。本実施形態では、図３に示したＲＥＣＥＩＶＥＲ１０１、ＰＲＯＸＹ１０２、ＳＥＮＤＥＲ１０３がこれに該当する。

　モデル検査ツールとしては、例えば、一般的に使用されているものとしては、“ＳＰＩＮ”や“ＵＰＰＡＡＬ”があるが、その他のモデル検査ツールでもよい。性能検証条件式２３は、検証をおこなう応答時間やスループットなど性能要件であり、モデル検査ツールで用いられる検証式として利用可能な式である。例えば、本実施形態の検証モデルの各々の構成要素のＲＥＣＥＩＶＥＲ１０１、ＰＲＯＸＹ１０２、ＳＥＮＤＥＲ１０３が、パケットを１００ｍｓ以内に処理することなどの条件を記述した式である。

　性能モデル検査装置１１の出力としては、検証結果レポート２８がある。検証結果レポート２８は、反例トレース解析部２７での反例トレース２６の解析によって得られる各システム構成要素の最大待ち行列長や稼働率と、それらにより特定されるボトルネックの情報であり、ＲＡＭ３において生成された後、ＮＩＣ８や表示装置１０やＨＤＤ５に出力されるデータである。

　時刻情報出力命令挿入部２３は、入力された検証モデルソースコード２１に含まれる、各システム構成要素に対する処理要求イベント、各システム構成要素の処理開始イベント、各システム構成要素の処理終了イベントの発生を記述する箇所を特定し、その記述箇所にイベントの種類と発生時刻を出力する命令を挿入することによって、時刻情報出力命令挿入済検証モデルソースコード２４を生成する。

　モデル検査実行部２５は、入力された時刻情報出力命令挿入済検証モデルソースコード２４と性能検証条件式２２を用いて、モデル検査ツールを実行することにより、性能検証条件式２２が満たされない場合の反例トレース２６を生成する。

　反例トレース解析部２７は、モデル検査実行部２５の生成する反例トレース２６を解析することにより、各システム構成要素の待ち行列長や稼働率を算出し、算出した値からシステムのボトルネックを特定し、結果を検証結果レポート２８として生成し、表示装置１０などに出力する。

　次に、図６を用いて性能モデル検査装置１１の処理の手順を説明する。

　先ず、性能検証およびボトルネック特定をおこなうためにユーザが用意した検証モデルソースコード２１を性能モデル検査装置１１に入力する（Ｓ０１）。

　次に、モデル検査実行部２５に対して、性能検証条件式２２を入力する（Ｓ０２）。

　次に、時刻情報出力命令挿入部２３が、入力された検証モデルソースコード２１に含まれる各システム構成要素に対する処理要求イベント、各システム構成要素の処理開始イベント、各システム構成要素の処理終了イベントの発生を記述する箇所を特定し、その記述箇所にイベントの種類と発生時刻を出力する命令を挿入する（Ｓ０３）。

　次に、時刻情報出力命令挿入処理にエラーがあれば終了し、エラーがなければ時刻情報出力命令挿入済検証モデルソースコード２４を生成して、ステップＳ０４に進む（Ｓ０４）。

　時刻情報出力命令挿入処理にエラーがないとき、モデル検査実行部２５がモデル検査ツールを使用し、時刻情報出力命令挿入済検証モデルソースコード２４とユーザが用意した性能検証条件式２２を入力して、モデル検査を実行する（Ｓ０５）。

　次に、モデル検査にエラーがあれば終了し、なければＳ０７に進む（Ｓ０６）。

　モデル検査にエラーがないとき、モデル検査実行の結果、性能検証条件式２２が満たされていればモデル検査結果を出力し、終了し、満たされていない場合、Ｓ０７に進む（Ｓ０７）。このとき、モデル検査ツールにより反例トレース２６が生成される。

　性能検証条件式２２が満たされていないとき、反例トレース解析部２７が反例トレース２６を解析して各システム構成要素の最大待ち行列長や稼働率を算出し、システムのボトルネックを特定し、結果を検証結果レポート２８として生成し、表示装置１０に出力する（Ｓ０８）。

　次に、図７ないし図９を用いて、時刻情報出力命令挿入処理の詳細について説明する。

　時刻情報出力命令挿入部２３は、図７に示されるように、イベント検索部３１と、命令挿入部３２よりなる。

　イベント検索部３１は、検証モデルソースコード２１を解析してモデル内の各システム構成要素に対する処理要求イベント、各システム構成要素の処理開始イベント、各システム構成要素の処理終了イベントを検索する部分である。

　命令挿入部３２は、イベント検索部３１の検索結果に基づいて検証モデルソースコード２１内のイベント発生箇所にイベントの種類と発生時刻を出力する命令を挿入し、時刻情報出力命令挿入済検証モデルソースコード２４を生成する部分である。

　次に、図８を用いて時刻情報出力命令挿入について説明する。

　先ず、イベント検索部３１が検証モデルソースコード２１を解析してモデル内の各システム構成要素に対する処理要求イベント、各システム構成要素の処理開始イベント、各システム構成要素の処理終了イベントの記述箇所を検索する（Ｓ１１）。

　この結果、イベント検索処理にエラーが発生すれば終了し、エラーがなければ次に進む（Ｓ１２）。

　イベント検索処理にエラーがなければ、命令挿入部３２がイベント検索部３１の検索結果に基づいて検証モデル２１内のイベント発生の記述箇所にイベントの種類と発生時刻を出力する命令を挿入し、時刻情報出力命令挿入済検証モデルソースコード２４を生成する（Ｓ１３）。

　ここで、本実施形態の検証モデルにおける時刻情報出力命令挿入処理の挿入前と挿入後のソースコードを対比して示する図９のようになる。

　図９（ａ）の検証モデルソースコード２１におけるＲＥＣＥＩＶＥＲ処理要求４１、ＲＥＣＥＩＶＥＲ処理開始４２、ＲＥＣＥＩＶＥＲ処理終了４３が、各々ステップＳ１１で特定されるシステム構成要素に対する処理要求イベント、システム構成要素の処理開始イベント、システム構成要素の処理終了イベントに該当し、図９（ｂ）の時刻情報出力命令挿入済検証モデルソースコード２４のＲＥＣＥＩＶＥＲ処理要求時刻出力命令４１ａ、ＲＥＣＥＩＶＥＲ処理開始時刻出力命令４２ａ、ＲＥＣＥＩＶＥＲ処理終了時刻出力命令４３ａが挿入された時刻情報出力命令に該当する。ＰＲＯＸＹ、ＳＥＮＤＥＲについても同様である。

　次に、図１０ないし図１３を用いて反例トレース解析処理の詳細について説明する。

　反例トレース解析部２７は、図１０に示されるように、稼働率・待ち行列長算出部５１と、結果出力部５３からなる。

　稼働率・待ち行列長算出部５１は、反例トレース２６を解析してモデル内の各システム構成要素の稼働率および待ち行列長の最大値、平均値を算出し、それらの情報を稼働率・待ち行列長データ５２として生成する部分である。

　結果出力部５３は、稼働率・待ち行列長データ５２に基づいてボトルネックを特定し、その結果を前記各システム構成要素の稼働率および待ち行列長の最大値、平均値とともに検証結果レポート２８として出力する部分である。

　次に、図１１を用い反例トレース解析処理について説明する。

　先ず、稼働率・待ち行列長算出部５１が反例トレース２６を解析してモデル内の各システム構成要素の稼働率および待ち行列長の最大値、平均値を算出し、それらの情報を稼働率・待ち行列長データ５２として生成する（Ｓ２１）。

　このとき算出処理にエラーが発生すれば終了し、エラーがなければ、ステップＳ２３に進む（Ｓ２２）。

　次に、算出処理にエラーがなければ、結果出力部５３が稼働率・待ち行列長データ５２に基づいてボトルネックを特定し、その結果を前記各システム構成要素の稼働率および待ち行列長の最大値、平均値とともに検証結果レポート２８として出力する（Ｓ２３）。

　ここで、ステップＳ２１において解析する反例トレース２６の一例を示すと図１２のようになる。ステップＳ０２で挿入された時刻情報出力命令により、モデル内の各システム構成要素に対する処理要求イベント、各システム構成要素の処理開始イベント、各システム構成要素の処理終了イベントの発生時刻が出力されている。図中のＣＬＯＣＫは、時刻、ＣＯＭＰＯＮＥＮＴは、システム構成要素の識別名（ＲＥＣＥＩＶＥＲ，ＰＲＯＸＹ，ＳＥＮＤＥＲ）、ＥＶＥＮＴは、イベントの種類（ＳＴＡＲＴ，ＲＥＱＥＵＳＴ，ＥＮＤ）を表している。出力の形式は、必ずしもここに示したものである必要はなく、各イベントの発生時刻が抽出可能な形式であればよい。

　ここで、各システム構成要素の稼働率および待ち行列長の最大値、平均値の算出方法とボトルネックの特定方法について説明する。あるシステム構成要素に関して、ｉ番目の処理開始イベントと処理終了イベントの発生時刻をそれぞれＳｉとＥｉとする。Ｅｉ－Ｓｉのすべてのｉに対する総和と反例トレースにおける開始から終了までの時間Ｔの比Σ（Ｅｉ－Ｓｉ）／Ｔにより、このシステム構成要素の稼働率を算出する。ここで、Σは、すべてのｉについて動かしたものの総和を意味する。

　さらに、開始時刻ｔ＝０における待ち行列長Ｌ（０）を０とし、システム構成要素に対する処理要求イベントが発生するごとに待ち行列長に１を加算し、システム構成要素の処理開始イベントが開始するごとに待ち行列長から１を減算することにより、各時刻ｔにおける待ち行列長Ｌ（ｔ）を求め、これらの最大値ｍａｘ（Ｌ（ｔ））と時間平均ΣＬ（ｔ）／Ｔを求めることによりこのシステム構成要素の待ち行列長の最大値、平均値を算出する。ここで、Σは、すべてのｔについて動かしたものの総和を意味する。

　これをモデル内のすべてのシステム構成要素に対して実施することにより、各システム構成要素の稼働率および待ち行列長の最大値、平均値を算出する。そして、稼働率および待ち行列長の最大値、平均値のいずれかが規定の閾値より高いシステム構成要素をボトルネックと特定する。本実施形態では、稼働率および待ち行列長の最大値、平均値の閾値を、それぞれ７０％，３，１とするが、ボトルネックの特定基準として妥当な値であれば他の値でもよい。

　ここで、ステップＳ２３において表示装置１０に出力される検証結果レポート２８の表示の一例を示すと、図１３に示されるようになる。

　検証結果レポート２８の解析結果表示レポート６１には、モデル内の各システム構成要素（ＲＥＣＥＩＶＥＲ、ＰＲＯＸＹ、ＳＥＮＤＥＲ）の稼働率および待ち行列長の最大値、平均値が表示され、ボトルネック候補表示部６２には検証結果レポート２８に含まれるボトルネックと特定されたシステム構成要素が表示される。

　ここで、構成要素のＰＲＯＸＹが、稼働率９０％であり、最大待ち行列長が、４、平均待ち行列長が、２．３であるため、この検査モデルにおけるボトルネックであると判断されて表示されている。なお、本実施形態では、稼働率および待ち行列長の最大値、平均値の閾値の全てが閾値を超えたものを、ボトルネックと判断したが、その内の任意の二つ、あるいは、いずれか一つが閾値を超えたものを、ボトルネックと判断するようにしてもよい。

　このように、本実施形態によれば、実機によるテストを実施することなく、検証対象とするコンピュータシステムのボトルネックを容易に特定することができる。さらに、モデル検査による網羅的な検証を実施するため、実機や性能シミュレーションによる性能検証では特定が困難な再現性の低い性能問題の原因となるボトルネックでも必ず発見することができる効果がある。

　　〔実施形態２〕
　以下、本発明に係る第二の実施形態を、図１４ないし図１７を用いて説明する。

　第一の実施形態では、ネットワークスイッチのプロキシ機能を対象として、モデル検査をおこない、出力される反例トレースを解析することにより、ボトルネックを、対象システムのボトルネック特定する例を説明した。

　本実施形態では、第一の実施形態を前提として、検証結果に応じて検証モデルの性能パラメータを自動的に変更することにより、検証対象システムのパフォーマンス・チューニングを効率化する性能モデル検査装置の例を説明する。本実施形態では、第一の実施形態と異なる所を中心に説明する。

　先ず、図１４を用いて本発明の第二の実施形態に係る性能モデル検査装置の構成について説明する。
  図１４は、本発明の第二の実施形態に係る性能モデル検査装置のソフトウェア構成を示すブロック図である。

　本実施形態の性能モデル検査装置１１ａのハードウェア構成は、第一の実施形態の図１で示した性能モデル検査装置１１のものと同様である。

　本実施形態のソフトウェア構成の性能モデル検査プログラム２００ａは、第一の実施形態の図２で示した性能モデル検査プログラム２００に対して、性能パラメタ設定モジュール２０４と、性能パラメタ変更モジュール２０５が付け加わった構成である。

　性能パラメタ設定モジュール２０４は、性能パラメタを設定するモジュールであり、性能パラメタ変更モジュール２０５は、性能パラメタを変更するモジュールである。

　ここで、性能パラメタとは、システム構成の内で、性能に影響するパラメタであり、本実施形態のネットワークスイッチのパラメタ機能を対象とした例では、ネットワークスイッチのマイクロコントローラの動作周波数、バッファ容量、ポート数、スイッチング能力（スイッチが単位時間あたりに処理することができるフレーム数）、スイッチング容量（スイッチが単位時間あたりに処理することができるデータ量）などがこれに該当する。

　次に、図１５ないし図１７を用いて本発明の第二の実施形態に係る性能モデル検査装置の機能と、その処理について説明する。
  図１５は、本発明の第二の実施形態に係る性能モデル検査装置全体の機能と、データフローを示した図である。
  図１６は、本発明の第一の実施形態に係る性能モデル検査装置の処理を示すゼネラルチャートである。
  図１７は、性能モデル検査装置を利用したパフォーマンス・チューニングの手順を示すフローチャートである。

　本実施形態の性能モデル検査装置１１ａと、図５に示された第一の実施形態の性能モデル検査装置１１との違いは、モデル内で設定可能なプロセッサの処理速度や個数など、検証対象となるシステムの性能に関する値の情報である性能パラメータ７１が入力される点と、性能パラメータ７１を検証モデルソースコード２１に設定する性能パラメータ設定部７２を備える点と、検証結果レポート２８を参照し、性能パラメータ７１内の特定されたボトルネックの解消に関係のある部分を変更し、出力する性能パラメータ変更部７３を備える点であり、他の構成要素は同等である。

　次に、図１６を用いて性能モデル検査装置１１ａの処理の手順を説明する。

　図６に示した第一の実施形態の性能モデル検査装置１１の処理との違いは、ステップＳ３１が追加されている点である。ステップＳ３１においては、性能パラメータ設定部７２が性能パラメータ７１を検証モデルソースコード２１に設定する。

　次に、図１７を用いて性能モデル検査装置を利用したパフォーマンス・チューニングの手順について説明する。

　先ず、性能パラメータ７１の初期値を性能モデル検査装置１１ａに入力する（Ｓ４１）。

　次に、性能モデル検査プログラムを開始し、検証を実行する（Ｓ４２）。このステップＳ４２が、図１６の処理に該当する。

　次に、検証の結果、性能検証条件が満たされていた場合は終了し、満たされていなかった場合は、Ｓ４４に進む（Ｓ４３）。

　性能検証条件が満たされていなかった場合、検証結果の解析によりボトルネックが特定されなかった場合は終了し、ボトルネックが特定された場合は、Ｓ４５に進む（Ｓ４４）。

　ボトルネックが特定された場合は、性能パラメータ変更部７３が検証結果レポート２８を参照し、性能パラメータ７１内の特定されたボトルネックの解消に効果のある部分を変更する（Ｓ４５）。

　次に、変更された性能パラメータ７１を再び性能モデル検査装置１１ａに入力し、Ｓ４２に戻る（Ｓ４６）。

　上記手順が終了したとき、検証モデルソースコード２１の記述する検証モデルに関して、性能検証条件が満たされているか、ボトルネックが存在しないかのいずれかとなる。

　このように、本実施形態によれば、ボトルネックの特定のみでなく、ボトルネックの解消も容易におこなうことができ、検証対象とするコンピュータシステムのパフォーマンス・チューニングを効率的に実施できる効果がある。

　　〔実施形態３〕
　以下、本発明に係る第三の実施形態を、図１８ないし図２２を用いて説明する。

　本実施形態でも、第一の実施形態を前提として、本実施形態では、反例トレースを複数集積して解析利用する性能モデル検査装置の例を説明する。

　本実施形態の性能モデル検査装置１１ｂのハードウェア構成は、第一の実施形態の図１で示した性能モデル検査装置１１のものと同様である。

　以下、図１８ないし図２２を用いて本発明の第三の実施形態に係る性能モデル検査装置の機能と、その処理について説明する。
  図１８は、本発明の第三の実施形態に係る性能モデル検査装置全体の機能と、データフローを示した図である。
  図１９は、本発明の第三の実施形態に係る性能モデル検査装置の処理を示すゼネラルチャートである。
  図２０は、反例トレース解析部の機能と、データフローを示した図である。
  図２１は、反例トレース解析部の処理を示すフローチャートである（その二）。
  図２２は、検証結果レポートを示した図である（その二）
　本実施形態の性能モデル検査装置１２ｂと図５に示された第一の実施形態１における性能モデル検査装置１１ａの違いは、モデル検査実行部２５ａが複数の反例トレース８１を生成する点と、反例トレース解析部２７ａが複数の反例トレース８１を入力して、統計処理をおこない、統計処理された検証結果レポートを出力する点であり、他の構成要素は同等である。

　次に、図１９を用いて本発明の第三の実施形態に係る性能モデル検査装置の構成について説明する。

　図６に示した第一の実施形態の性能モデル検査装置１１の処理との違いは、ステップＳ５１が追加されている点と、ステップＳ０７がステップＳ０７ａに変更されている点と、ステップＳ０８がステップＳ０８ａに変更されている点である。

　ステップＳ０７ａにおいて、性能検証条件が満たされていない場合、ステップＳ５１に進み、規定の数だけ反例トレースの集積をおこなう。規定の数は、１００などの固定値としてもよいし、ユーザが入力により任意に指定できるようにしてもよい。

　次に、図２０ないし図２２を用いて反例トレース解析処理の詳細について説明する。

　本実施形態の反例トレース解析部２７ａは、図１０に示された第一の実施形態の反例トレース解析部２７と統計処理部９１を備える点で異なっている。

　反例トレース解析処理の手順として、先ず、稼働率・待ち行列長算出部５１がモデル検査ツールによって生成されたすべての反例トレース８１に対して、稼働率と待ち行列長の最大値、平均値の算出を行い、算出された情報を稼働率・待ち行列長データ５２として生成する（Ｓ２１）。算出方法は、第一の実施形態で説明したる算出方法と同様である。このとき算出処理にエラーが発生すれば、ステップＳ２２で終了し、すべての反例トレース８１に対して算出処理にエラーがなければ、ステップＳ６１に進む（Ｓ２２）。

　算出処理にエラーがなければ、統計処理部９１が稼働率・待ち行列長データ５２に基づいて各システム構成要素に対し、稼働率、待ち行列長の最大値、平均値のすべての反例トレース８１に関する最大値、最小値、平均値、分散などの統計量の算出をおこなう（Ｓ６１）。

　次に、結果出力部５３がＳ６１で得られた統計処理の結果に基づいてボトルネックを特定し、統計処理の結果とともに検証結果レポート２８として出力する（Ｓ２３ａ）。

　ここで、ステップＳ２３ａにおいて表示装置１０に出力される検証結果レポート２８ａの表示の一例を示すと、図２２に示されるようになる。

　検証結果レポート２８の解析結果表示レポート６１には、モデル内の各システム構成要素（ＲＥＣＥＩＶＥＲ、ＰＲＯＸＹ、ＳＥＮＤＥＲ）の稼働率および待ち行列長の最大値、平均値のすべての反例トレース８１に関する統計情報が表示され、ボトルネック候補表示部６２には検証結果レポート２８に含まれるボトルネックと特定されたシステム構成要素（ＰＲＯＸＹ）が表示される。

　このように、本実施形態によれば、複数の異なるトレースで現れる性能問題が存在する場合でも、一度の検証作業で発見でき、ボトルネックの特定を効率化する効果がある。また、複数のボトルネックが特定された場合、平均値や頻度分布を比較することによりボトルネック解消の優先度の高さを判断でき、ボトルネックの解消を効率化する効果がある。

１…ＣＰＵ
２…ＲＯＭ
３…ＲＡＭ
４…ＢＵＳ
５…ＨＤＤ
６…ＣＤＲＯＭドライブ
７…ＣＤＲＯＭ
８…ＮＩＣ
９…入力装置
１０…表示装置
１１…性能モデル検査装置
２１…検証モデルソースコード
２２…性能検証条件式
２３…時刻情報出力命令挿入部
２４…時刻情報出力命令挿入済検証モデルソースコード
２５…モデル検査実行部
２６…反例トレース
２７…反例トレース解析部
２８…検証結果レポート
３１…イベント検索部
３２…命令挿入部
４１…ＲＥＣＥＩＶＥＲ処理要求
４２…ＲＥＣＥＩＶＥＲ処理開始
４３…ＲＥＣＥＩＶＥＲ処理終了
４１ａ…ＲＥＣＥＩＶＥＲ処理要求時刻出力命令
４２ａ…ＲＥＣＥＩＶＥＲ処理開始時刻出力命令
４３ａ…ＲＥＣＥＩＶＥＲ処理時刻出力命令
５１…稼働率・待ち行列長算出部
５２…稼働率・待ち行列長データ
５３…結果出力部
６１…解析結果表示部
６２…ボトルネック候補表示部
７１…性能パラメータ
７２…性能パラメータ設定部
７３…性能パラメータ変更部
８１…反例トレース
９１…統計処理部

Claims (6)

1. 　ＣＰＵと記憶装置とを有し、前記記憶装置に記憶されたプログラムを前記ＣＰＵにより実行させることにより、対象システムの検証モデルのモデル検査に基づく性能検証をおこなう性能モデル検査装置であって、
   　前記検証モデルは、構成要素の少なくとも一つが、時刻に基づいて動作し、待ち行列を処理する構成要素であり、前記検証モデルを記述する検証モデルソースコードは、検証モデルの構成要素のイベントの発生を記述する箇所を有し
   　入力された検証モデルソースコードの構成要素のイベントの発生を記述する箇所に、時刻情報出力命令を挿入した時刻情報出力命令済検証モデルソースコードを生成する時刻情報出力命令挿入部と、
   　入力された前記性能検証条件と、前記時刻情報出力命令挿入済検証モデルソースコードとを用いてモデル検査ツールを実行し、反例トレースを生成するモデル検査実行部と、
   　前記モデル検査実行部で生成された前記反例トレースを解析して前記検証モデル内の構成要素の稼働率および待ち行列長を算出し、算出結果をもとに前記対象システムのボトルネックを特定し、算出結果およびボトルネック特定情報を出力する反例トレース解析部とを有することを特徴とする性能モデル検査装置。
2. 　さらに、検証モデルの構成要素の性能に関する値の情報である性能パラメータを取得して前記検証モデルに設定する性能パラメータ設定部と、
   　前記性能パラメータのうち、前記反例トレース解析部が特定したボトルネックの解消に関係のある部分を変更する性能パラメータ変更部とを有することを特徴とする請求項１記載の性能モデル検査装置。
3. 　前記反例トレース解析部は、複数の反例トレースを集積して解析をおこない、結果の統計情報に出力することを特徴とする性能モデル検査装置。
4. 　ＣＰＵと記憶装置とを有し、前記記憶装置に記憶されたプログラムを前記ＣＰＵにより実行させることにより、対象システムの検証モデルのモデル検査に基づく性能検証をおこなう性能モデル検査装置の性能モデル検査方法であって、
   　前記検証モデルは、構成要素の少なくとも一つが、時刻に基づいて動作し、待ち行列を処理する構成要素であり、前記検証モデルを記述する検証モデルソースコードは、検証モデルの構成要素のイベントの発生を記述する箇所を有し
   　入力された検証モデルソースコードの構成要素のイベントの発生を記述する箇所に、時刻情報出力命令を挿入した時刻情報出力命令済検証モデルソースコードを生成する時刻情報出力命令挿入処理ステップと、
   　入力された前記性能検証条件と、前記時刻情報出力命令挿入済検証モデルソースコードとを用いてモデル検査ツールを実行し、反例トレースを生成するモデル検査実行処理ステップと、
   　前記モデル検査実行部で生成された前記反例トレースを解析して前記検証モデル内の構成要素の稼働率および待ち行列長を算出し、算出結果をもとに前記対象システムのボトルネックを特定し、算出結果およびボトルネック特定情報を出力する反例トレース解析処理ステップとを有することを特徴とする性能モデル検査方法。
5. 　さらに、検証モデルの構成要素の性能に関する値の情報である性能パラメータを取得して前記検証モデルに設定する性能パラメータ設定処理ステップと、
   　前記性能パラメータのうち、前記反例トレース解析部が特定したボトルネックの解消に関係のある部分を変更する性能パラメータ変更処理ステップとを有することを特徴とする請求項４記載の性能モデル検査方法。
6. 　前記反例トレース解析処理ステップは、複数の反例トレースを集積して解析をおこない、結果の統計情報に出力する処理を含むことを特徴とする請求項４記載の性能モデル検査方法。

Images