JPH09198282A - コンピュータ性能評価システム及び評価方法 - Google Patents

Abstract

(57)【要約】 【課題】システム開発の初期段階からシステムの性能を
評価し、開発段階が進むにつれて、性能評価の精度を次
第に高くできるような評価手段を提供する。 【解決手段】ユーザーが指定するタイミングとパラメー
タを入力する手段と、入力された条件でプロセス生成の
スケジュールを立てる手段と、このスケジュールに従っ
てシミュレートされたＣＰＵ負荷に相当する実際の命令
を生成する手段と、この命令の実行時間を評価する手段
を有する性能評価システムを用意し、これを未完成の構
成要素の代替要素として全体のシステムを構成し、開発
の初期段階から開発終了時のシステムの性能を予測す
る。シミュレートされた未完成の構成要素は、開発段階
が進むにつれて、完成した構成要素で置き換えて、性能
評価の精度を高くする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はＣＰＵ負荷をシミュ
レートすることによりコンピュータの性能を評価するシ
ステム及びその評価方法に関するものである。

【０００２】

【従来の技術】システムの性能を測定する従来の技術と
して、メーカーの提供するベンチマークテスト、特
別に設計されたシミュレーションを用いる方法、又は、
各システム構成要素を別々に評価する方法があった。
以下、各々について説明する。

【０００３】ベンチマークは、通常、特定のシステム
コンフィグレーションにだけ提供され、このコンフィグ
レーションのわずかな変化も、性能の劇的な変化を引き
起こすことがある。さらに、ベンチマークは普通は非常
に特別なアプリケーションのみ（例えば、プログラムを
コンパイルするとか、浮動小数点演算を行うなど）にお
けるシステムの性能を測定しており、特定のシステムの
性能を予測する用途に一般的に適しているという訳では
ない。

【０００４】システムの性能をシミュレートするプロ
グラムを作成するのは、通常は、時間的及び／又はコス
ト的に好ましくない。そうしたプログラムは実際のシス
テムで動くか否か分からないし、性能を予測するときに
現実の構成要素とシミュレートされた構成要素を関連付
ける自然な環境を提供できない。

【０００５】各システム構成要素を別々に評価する方
法は、かなり単純である。しかしながら、例えば、一般
に全ての構成要素は共有されたＣＰＵにアクセスされる
ために、コンピュータの資源割り当てのような構成要素
相互間の問題を無視している。

【０００６】

【発明が解決しようとする課題】本発明のシステムは、
最終的なシステムに少しでも近似させるために、実際に
存在する構成要素とシミュレートされた構成要素の両方
を使うことにより、上記の課題を解決しようとするもの
である。

【０００７】

【課題を解決するための手段】本発明によれば、システ
ムの個々の構成要素は、非常に単純な固有モデル又はユ
ーザーがプログラムできる複雑なモデルによって、シミ
ュレートされる。システム開発の進行に伴い、実際に使
用する構成要素がシステムに加えられるにつれて、それ
らに対応しているシミュレートされた構成要素は除去す
ることができ、これによって、性能測定の正確さを増し
ている。

【０００８】図１は本発明のコンピュータ性能評価シス
テムに用いるプロセスエンジンを通るデータの流れを示
している。最初に、ユーザーによる入力ファイルは、入
力パーサー（つまり、文法解析部）によって加工処理さ
れる。ファイルの中の各々のプロセス生成要求に対し
て、プロセス生成要求リスト（ＰＣＲＬ）に記入がなさ
れる。このリストは、プログラムの始めから終わりまで
一定のままである。次に、リストの各記載に対して次回
の起動時間が計算される。次に、プロセスエンジンは最
も早いプロセス生成要求の時間が来るのを待って、その
プロセス生成要求のＩＤをプロセス生成部に渡す。次
に、スケジューラーはそのプロセス生成要求に対する次
の時間を計算して、プロセス生成要求リストの情報を更
新する。

【０００９】プロセス生成部は要求リストの情報から新
しいコマンドラインを取り出して、プロセスを生成し
て、それを「実行中のプロセスリスト」（ＲＰＬ）に加
える。プロセスが完了すると、結果モニターが非同期に
呼び出される。モニターがＲＰＬの記載を適切に削除し
て、経過した実行時間を計算し、必要に応じて何らかの
累積的な統計値を計算する。

【００１０】任意の時間におけるシステムの性能は、４
つの変数、すなわち、外部で生成されたプロセス、プロ
セスエンジンにより生成されたプロセス、（ネットワー
クトラフィックのような）外部条件、及び、（メモリ容
量のような）システムコンフィグレーションの関数とみ
なされ得る。プロセスエンジンの出力を無視して、外部
で生成されたプロセスのスループットを調べることによ
って、あるいは、生成されたプロセスのスループットを
示すエンジンの出力を調べることによって、あるいは、
両方を調べることによって、性能を評価することができ
る。

【００１１】

【発明の実施の形態】本発明のシステムは、３つの構成
要素（Ａ）〜（Ｃ）から成り立つ。システムの心臓部
は、ユーザーの記述に従うプロセスを生み出すエンジン
である。２番目の構成要素はこのエンジンの拡張部分で
あり、前記生み出されたプロセスのタイミング及びパラ
メータを他のプロセスが支配できるようにすることによ
り、より詳細なシミュレーションモデルを記述するため
の方法をユーザーに提供するものである。最後に、第３
の構成要素は、システムの性能を評価したり予測するた
めに、このエンジンと実際の構成要素を結び付けるため
に使用される方法である。

【００１２】（Ａ）プロセスエンジン プロセスエンジンは、４つのモジュールから成り立つ。
最初に、入力処理モジュールは、コマンドライン入力を
解読して、プロセススケジュールのリストを生成する。
スケジューラーは、ユーザーの記述からプロセスを起動
する時間を決定する。プロセスを起動する時間になる
と、プロセス生成部は、そのプロセスのためのパラメー
タを生成して、そのプロセスを起動する。最後に、結果
監視モジュールは、各々のプロセスが完了するのに要す
る時間を監視し、各要求に対する統計データを編集す
る。

【００１３】（Ａ１）パラメータパーサー パラメータパーサーは、コマンドラインパラメータとし
て記述されたＡＳＣＩＩファイルを、内部のプロセス生
成要求リスト（ＰＣＲＬ）に変換する。各々のプロセス
生成要求は、各要求と関連させて、プロセス生成間の時
間を計算するための乱数関数を有しており、また、プロ
セスが生成されるたびに変数パラメータを計算するため
に別の乱数関数を有しており、さらに、コマンドの文字
列を有している。コマンドの文字列は、実行されるべき
コマンド名と、コマンドラインパラメータと、含まれる
べき変数パラメータの位置（図１の％Ｘの部分）を明ら
かにするものである。

【００１４】（Ａ２）スケジューラー スケジューラーは、ユーザーが指定した時間に従って確
実にプロセスが生成されるように保証するものである。
これを行うために、スケジューラーは、次のプロセスを
生成する時間表を各プロセス生成要求に対して１つ保持
する。プロセス生成要求によりプロセスが生成されるた
びに、そのプロセス生成要求の時間表の記載は、（その
プロセス生成要求のスケジュール関数による）新しい乱
数により更新される。そして、新しいプロセスを生成す
る時間になるまで、スケジューラーは休止する。このと
き、スケジューラーは、どのプロセス生成要求が生成さ
れたプロセスを有するべきかをプロセス生成部に通知す
る。

【００１５】（Ａ３）プロセス生成部 プロセス生成部は、ＯＳによって実行されるべき実際の
命令を生成して、そして、その命令を実行するためにＯ
Ｓを呼び出す。最初に、プロセス生成要求の変数パラメ
ータ関数に従って、ランダムなパラメータのための新し
い値が生成される。次に、新しいランダムな値は、ユー
ザーによって記述された命令文字列の中の実行時に指定
された位置に挿入される。それから、プロセス起動部
は、新しいプロセスを起動し、そして実行中プロセスリ
スト（ＲＰＬ）に追記する。実行中プロセスリスト（Ｒ
ＰＬ）の記載は、プロセス生成要求のＩＤ、そのプロセ
スが起動された時間、乱数パラメータ、及びＯＳから返
されたプロセスＩＤナンバーから成り立つ。

【００１６】（Ａ４）結果監視部 起動されたプロセスの１つが完了したと、ＯＳから親プ
ログラムに通知されると、結果監視部は呼び出される。
このとき、実行中プロセスリスト（ＲＰＬ）におけるそ
のプロセスの記載はリストから抹消され、そのプロセス
の実行時間が計算されて、起動時間及び使用された乱数
パラメータと共に結果リストに蓄えられる。プログラム
終了時に出力されるのは、このリストである。

【００１７】（Ｂ）拡張プログラム 拡張プログラムによって、基本的なプロセスエンジンの
ものに比べて、より複雑なスケジューリング関数と変数
パラメータ関数をユーザーが指定することを可能とす
る。これはユーザーが作成したプログラムに計算させ
て、ランダム関数からの値をプロセスエンジンに送るた
めのプロセス間通信（ＩＰＣ）を使うことによって行わ
れる。このプロセス間通信（ＩＰＣ）は、（ＵＮＩＸの
事実上の標準である）ＢＳＤプロセス間通信機能によっ
て実行され得る。拡張プログラムは、このハンドラに送
られるメッセージのための単純なプロトコルと、入って
くるメッセージを扱うプロセスエンジンのための非同期
のメッセージハンドラだけから成り立つ。

【００１８】（Ｂ１）プロトコル プロセスエンジンに送られるメッセージは、次のプロト
コルに準拠する。プロトコルに従っていないメッセージ
は無視される。また、メッセージの受領は保証されてい
ない。メッセージは、６バイトから成り立つ。最初の２
バイトは、「プロセス起動」又は「変数パラメータのセ
ット」のいずれかの命令コードである。次の２バイト
は、要求ＩＤである。このＩＤは、プロセスエンジンに
どの要求を起動すべきか、又はどの要求の変数パラメー
タを変化させるべきかを知らせる。最後に、終わりの２
バイトは、「変数パラメータのセット」の命令の場合に
のみ定義され、変数パラメータの新しい値を示す。

【００１９】（Ｂ２）メッセージハンドラ メッセージハンドラは、入ってくるメッセージに非同期
で応答する。「プロセス起動」の命令が受けられると、
上述のように、プロセス生成部は、メッセージに含まれ
たＩＤを使って、新しいプロセスを起動する。「変数パ
ラメータのセット」の命令が受けられると、最後の２バ
イトの値はストアされて、新しい値が必要になるまで使
われる。

【００２０】（Ｃ）システム性能の評価方法 開発プロジェクト完了までの開発の早い段階からシステ
ムの性能を見積もり、評価するために、上述のプロセス
エンジンをどのように使用するかを、以下に説明する。
ここで、「システム」とは、コンピュータとソフトウェ
アとハードウェアの集合である。構成要素は、コンピュ
ータの全体であるかも知れないし、インターフェイスボ
ードのようなハードウェアのより小さい断片、ＯＳレベ
ルのソフトウェア（ドライバーのようなもの）、あるい
は、データベースのクライエントプログラムのような、
より高水準のソフトウェアであるかも知れない。

【００２１】この方法では、現在のところ利用できな
い、どんなシステム構成要素も、まだ購入されていない
ものや、あるいはまだ開発されていないものも、ユーザ
ーが記述し、プロセスエンジンによって実行される「仮
想クライエント」によってシミュレートされる。クライ
エントがシステムの或る部分にダウンロードをかけてい
る間は、ユーザーによって選択された時間とパラメータ
の変化をプロセスエンジンが処理する。この「ダウンロ
ード」は、ＣＰＵトラフィックであるかも知れないし、
ネットワークトラフィック、あるいは、何か他の資源の
占有であるかも知れない。クライエントは、生成時に渡
されたパラメータと比例している仕事量を行うべきであ
り、これにより、プロセスエンジンが単一のジョブによ
って行われる仕事量を変えることができる。さらに、
「仮想サーバー」が必要とされる場合もある。これら
は、クライエント（仮想か現実）がサーバープログラム
に実際にデータを渡す必要があるとき、使われる。

【００２２】

【発明の効果】請求項１のコンピュータ性能評価システ
ムは、ユーザーが所望するプロセスの起動タイミングと
該プロセスに付随するパラメータを変化させるための情
報を含む入力情報を解釈する入力処理部と、ユーザーの
指定に沿うようにプロセス生成のスケジュールを立てる
プロセススケジューラーと、シミュレートされたＣＰＵ
負荷条件を生成するように、実際に実行される命令を生
成するプロセス生成部とを備えるものであるから、ユー
ザーの指定するタイミングでＣＰＵに対する所定の負荷
を生じるプロセスを任意にシミュレートすることがで
き、未完成のシステム構成要素を既に完成しているもの
として他のシステム構成要素と共にＣＰＵの負荷とし
て、システムの性能を評価することができる。

【００２３】請求項２の発明によれば、請求項１のタイ
ミングとパラメータ変化の設定可能範囲を広げるための
プロセス間通信を行う非同期のメッセージサーバーを備
えるものであるから、シミュレートされた構成要素の仕
様をユーザーが細かく記述することが可能となる。

【００２４】請求項３の発明によれば、システム開発の
各段階で完成したシステム構成要素を前記シミュレート
された構成要素と順次段階的に置き換えることにより、
開発終了時のシステムの性能を開発初期から予測するこ
とができ、また、シミュレートされた構成要素を完成し
たシステム構成要素に置き換えて行くにつれて、徐々に
性能評価の精度を高くすることができる。

【図面の簡単な説明】

【図１】本発明のプロセスエンジンを通るデータの流れ
のブロック図を示す。

【符号の説明】

ＰＣＲＬ プロセス生成要求リスト ＲＰＬ 実行中プロセスリスト

Claims (3)

【特許請求の範囲】
1. 【請求項１】 ユーザーが所望するプロセスの起動タ
   イミングと該プロセスに付随するパラメータを変化させ
   るための情報を含む入力情報を解釈する入力処理部と、 ユーザーの指定に沿うようにプロセス生成のスケジュー
   ルを立てるプロセススケジューラーと、 シミュレートされたＣＰＵ負荷条件を生成するように、
   実際に実行される命令を生成するプロセス生成部とを備
   えるコンピュータ性能評価システム。
2. 【請求項２】 請求項１のタイミングとパラメータ変
   化の設定可能範囲を広げるためのプロセス間通信を行う
   非同期のメッセージサーバーを更に備えることを特徴と
   するコンピュータ性能評価システム。
3. 【請求項３】 ＣＰＵと、マルチタスクＯＳと、周辺
   装置と、未完成のシステム構成要素をシミュレートする
   ための請求項１又は２の性能評価システムを含み、シス
   テム開発の各段階で完成したシステム構成要素を前記シ
   ミュレートされた構成要素と順次段階的に置き換えるこ
   とにより、開発終了時のシステムの性能を開発初期から
   予測することを特徴とするコンピュータ性能評価方法。