JPH0695931A - システム実行性能評価支援装置 - Google Patents

Abstract

(57)【要約】 【目的】システム性能テストが現実的な実行状況で容易
に且つ再現性よく実施でき、信頼性向上が図れ、性能評
価のポイントを的確に提示できるようにする。 【構成】対象システム実行時のオペレーション内容を収
集部３によりファイル４に収集する。シナリオスクリプ
ト生成部６は、性能評価戦略設定部５により設定された
性能評価の観点を基に、端末をどのように動作させてそ
の観点に合致した性能テストを行わせるかを定義したシ
ナリオスクリプトを生成する。自動実行部８が、このシ
ナリオスクリプトのファイル７に基づき、規定されたシ
ーケンスを実行すると、その実行状況と性能が性能収集
部９によりファイル１０に収集される、この収集された
性能テスト結果は、性能指標設定部１１により生成され
た性能指標ファイル１２を基に、設定された性能評価の
観点に適した形式に性能値加工部１３によって変換され
てファイル１４に保存され、性能評価に供される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、処理システムと複数の
端末がオンラインで接続された状況における当該システ
ムの性能評価を支援するシステム実行性能評価支援装置
に関する。

【０００２】

【従来の技術】従来、オンラインで処理システムと多数
の端末が接続された状況における当該システムの性能テ
ストでは、端末シミュレータを使用してテストの作業の
効率化を行うようにしていた。

【０００３】ここでは、上記の性能テストを実施すると
同時に、計算機資源の使用状況や実行時間などの定量的
なデータをもとにシステムの性能評価を行っている。こ
のシステム評価に用いられる定量的なデータとしては、
例えば、ＣＰＵ利用率、ディスクＩ／Ｏの回数、待ち回
数等である。これらは通常、各計算機の持つＯＳ（オペ
レーティングシステム）が有しているソフトウェアモニ
タ機能を利用して判断することができる。

【０００４】しかしながら、これらの判断のみではシス
テムの的確な性能評価は行えない。例えば、近年急速に
普及しているオンラインシステム（ＯＬＴＰシステム
等）では、端末での業務が急増し、システム利用者層の
底辺が拡大していることから、システムのレスポンスタ
イム（応答時間）を的確に判断し、それを性能指標とす
る必要が高まってきた。

【０００５】レスポンスタイムを的確に測ることは上記
のソフトウェアモニタだけでは不十分である。そこで従
来は、実際に想定される端末とオペレータを用意し、各
オペレータが決められた操作を行い、各作業の応答時間
をストップウオッチで測定していた。しかし、この方法
では人が介入するために、一度の測定では信頼度の高い
測定値が得られないことから、数回の測定を実施した後
に平均値を取る方式を適用する必要があった。また、そ
の結果を人手で性能評価に適した形式に変更する作業を
行う必要があった。

【０００６】その他の方法として、プログラムに実行時
間の計測用のコードを埋め込む方式もある。この方式で
はプログラムを変更するための作業が非常に多く、ま
た、実際の端末でのレスポンスタイムとは若干異なる値
となることが多い。

【０００７】

【発明が解決しようとする課題】上述したように従来
は、レスポンスタイムを代表（性能指標）とするシステ
ムの性能を評価するためにソフトウェアモニタを用いる
方式では、レスポンスタイムを的確に測るには不十分で
あるという問題があった。

【０００８】同様に、多数の端末とオペレータを用意し
てストップウオッチで測定する方式では、非常にコスト
がかかるために大規模なテストは現実的には困難である
という問題があり、そのため、重要度の非常に高いシス
テムに対してのみ実施されるケースが多かった。しか
も、テストの再現性は厳密には保証されないという問題
もあった。更に、ここで得られた測定値を性能評価に適
した形式に人手で変換しなければならなかった。

【０００９】このため、システムの性能を評価するの
に、次の５点 （１）端末、オペレータ等の物理的制約を排除するこ
と。これは単にコストを軽減することを意味するのでは
なく、性能テスト自身の信頼性を高めることを意味す
る。

【００１０】（２）性能テストの実施が容易であるこ
と。即ち、誰が実施しても同じ性能評価結果が得られ、
且つテストの実施が容易であること。

【００１１】（３）性能テストが現実的な実行状況で実
施できること。即ち、現実的な状況下の性能評価を実施
しなければ意味をなさないため、現実的な測定条件が実
現できること。

【００１２】（４）性能テストの再現性が保証できるこ
と。即ち、性能評価結果を基にシステムを変更する等の
必要性が生じた場合、新システムで性能評価を再度実施
できること。

【００１３】（５）性能評価のポイントを的確に提示で
きること。即ち、性能を測定した結果を様々な観点から
加工し適切な形式にし、容易にシステムの限界、ボトル
ネック等が把握可能なものを生成できること。

【００１４】を満たすことが要望される。

【００１５】そこで本発明は、システム性能テストの実
施が種々の現実的な条件下で容易に且つ再現性よく行
え、しかも性能テストの信頼性向上が図れ、更に性能評
価のポイントを的確に提示できるシステム実行性能評価
支援装置を提供することを目的とする。

【００１６】

【課題を解決するための手段】本発明のシステム実行性
能評価支援装置は、オンラインで処理システムと多数の
端末が接続された状況における処理システムの性能テス
トを基にしたシステム性能評価支援のために、性能評価
の対象システム実行時のオペレーション内容（キーボー
ド等の入力装置を用いたユーザの操作入力内容）を収集
してファイル（オペレーションファイル）に保存するオ
ペレーション自動収集手段と、性能評価のための戦略を
規定する性能評価項目を、予め定められた複数項目から
選択して設定するための性能評価戦略設定手段と、設定
された性能評価項目に基づき、対応する戦略を実現する
ために１つまたは複数の端末をいかに動作させるかが上
記オペレーションファイルを指定して定義されたファイ
ル（シナリオスクリプト）を生成するシナリオスクリプ
ト生成手段と、対象システムを上記のシナリオスクリプ
トの定義により想定される実行環境で実行する自動実行
手段と、上記シナリオスクリプトの実行状況とその性能
を性能テスト結果として収集する性能収集手段と、上記
対象システムに対する性能評価指標の目標値を設定する
性能指標設定手段と、上記収集された性能テスト結果
を、性能指標設定手段によって設定された性能評価指標
の目標値を基に、性能評価戦略設定手段により設定され
た性能評価項目で示される性能評価に適合する形式に変
換する性能値加工手段と、を備えたことを特徴とするも
のである。

【００１７】

【作用】上記構成のシステム実行性能評価支援装置にお
いては、性能評価の対象システムをユーザが端末等の入
出力装置を操作して実行させると、その操作入力内容
（オペレーション内容）がオペレーション自動収集手段
により収集され、オペレーションファイルに蓄積され
る。

【００１８】また、本装置には、性能評価のための戦略
を規定した複数の性能評価項目が用意されており、その
中から、性能評価担当者がどのような性能評価を実施し
たいかにより、該当する性能評価項目を選択指定する
と、性能評価戦略設定手段は、その指定された性能評価
項目を選択して内部に設定する。

【００１９】するとシナリオスクリプト生成手段は、性
能評価戦略設定手段により設定された性能評価項目（戦
略）を実現するために、１つまたは複数の端末をどのよ
うに動作させて、その項目に合致した性能テストを行わ
せるかを規定する性能テストの条件・環境を自動生成す
る。それは、シナリオスクリプトにおいて、上記のオペ
レーションファイルと同ファイルで示されているオペレ
ーションを行わせる端末（仮想端末）とを定められた形
式で指定することによって実現される。

【００２０】自動実行手段は、シナリオスクリプト生成
手段によって生成されたシナリオスクリプトに従い、同
スクリプトに記述された性能テストの条件・環境で対象
システムを動作させて性能テストを自動的に実施する。

【００２１】すると性能収集手段は、自動実行手段によ
り実行された対象システムに対する性能テストの実行状
況と性能を収集して性能収集ファイルに格納する。

【００２２】性能評価手段は、性能収集ファイルに収集
された性能テスト結果を、性能評価指標の目標値を基
に、選択された性能評価項目で示される性能評価に適し
た所定の形式に変換して、性能評価担当者による性能評
価に供する。

【００２３】したがって、本発明によれば、システム性
能評価のための性能テストに関して、実際の端末やオペ
レータを用意する必要はない。即ちユーザが、評価対象
システムに対してのオペレーションを一度行えば、その
オペレーション内容がオペレーションファイルに蓄積さ
れて、そのファイル内容を基に様々な性能評価項目につ
いて自動的に性能テストが実施される。しかも、そのテ
スト結果（性能値）が性能評価項目に固有の適切な形式
に加工されるため、性能評価担当者は容易に且つ正確に
システムの性能評価を実現することができる。

【００２４】

【実施例】以下、本発明の一実施例を図面を参照して説
明する。

【００２５】図１は、本発明の一実施例に係るシステム
実行性能評価支援装置を示すブロック構成図である。

【００２６】図１に示すシステム実行性能評価支援装置
の構成は、各端末のオペレーションを記述した情報を生
成して蓄積するためのオペレーションファイル生成部Ａ
と、性能テストの条件・環境を生成するための性能テス
ト条件生成部Ｂと、設定された条件で性能テストを自動
的に実施するための性能テスト実行部Ｃと、性能テスト
を基にその結果を性能評価に適した形式に変換して、性
能評価担当者の意思決定を促すための性能評価部Ｄとの
４つに大別される。

【００２７】オペレーションファイル生成部Ａは、入出
力装置１、性能評価対象システムの各種プログラムが格
納されたプログラムライブラリ（性能評価対象システム
プログラムライブラリ）２、性能評価対象システム実行
時の入出力装置１からの入力を自動収集する自動収集部
（オペレーション自動収集部）３、およびオペレーショ
ン自動収集部３によって収集されたデータが保存される
オペレーションファイル４からなる。入出力装置１は例
えば端末であり、ユーザの操作入力を受付ける。

【００２８】性能テスト条件生成部Ｂは、性能評価担当
者が期待する性能評価の戦略を示す項目（性能評価項
目）を設定するための性能評価戦略設定部５、端末をど
のように操作するかを定義するシナリオスクリプトを生
成するシナリオスクリプト生成部６、およびシナリオス
クリプトファイル７からなる。このシナリオスクリプト
ファイル７には、シナリオスクリプト生成部６により生
成されたシナリオスクリプトが保存される。

【００２９】性能テスト実行部Ｃは、シナリオスクリプ
トファイル７内のシナリオスクリプトに従い、性能評価
対象システムに対して想定される実行環境で自動的に性
能テストを実行する自動実行部８、自動実行部８の実行
状況とその性能を収集する性能収集部９、および性能収
集ファイル１０からなる。この性能収集ファイル１０に
は、性能収集部９によって収集されたデータが保存され
る。

【００３０】性能評価部Ｄは、性能評価対象システムに
対する性能評価指標の目標値（性能指標値）を設定する
ための性能指標設定部１１、設定された性能指標値が保
存される性能指標ファイル１２、性能収集ファイル１０
の内容を、性能指標ファイル１２を基にして、（性能評
価戦略設定部５により設定された）性能評価項目の評価
（判定）に適した形式に変更する性能値加工部１３、お
よび性能判定ファイル１４からなる。この性能判定ファ
イル１４には、性能値加工部１３によって形式変更され
たデータ（性能データ）が保存される。

【００３１】次に、図１の構成の動作を説明する。

【００３２】まずユーザは、入出力装置１を用いて、性
能評価対象システムを実行させるためのコマンド等の入
力のための操作を行う。すると、オペレーションファイ
ル生成部Ａ内のオペレーション自動収集部３は、入出力
装置１からの入力に従い、性能評価対象システムプログ
ラムライブラリ２の中から性能評価対象プログラムを選
択して、同プログラムを実行する。そしてオペレーショ
ン自動収集部３は、この実行時の入出力装置１からの入
力（ユーザ操作に従う入力）を含めて、性能評価対象プ
ログラムの実行（自動実行）に必要なデータを全てオペ
レーションファイル４に保存する。このようにして生成
されるオペレーションファイル４は、性能テスト実行部
Ｃによる性能テストのもとになるファイルであり、命令
レコードの連続したものである。

【００３３】性能テスト条件生成部Ｂ内の性能評価戦略
設定部５は、性能評価担当者に性能評価対象システムの
何を評価したいか、その性能評価項目を選択指定させる
ことで、その性能評価項目を設定する。本実施例では、
選択指定可能な性能評価項目として、以下の４つが用意
されている。

【００３４】（１）単一ジョブ処理能力評価 （２）弱点ジョブ評価 （３）複合ジョブ処理能力評価 （４）自由設定による性能評価 ここで、（１）の単一ジョブ処理能力評価は、単一ジョ
ブを処理する場合における対象システムの性能を評価す
るためのもので、端末数を可変にしてレスポンスを測る
ようになっている。

【００３５】次に、（２）の弱点ジョブ評価は、各ジョ
ブを処理する場合における対象システムの性能を評価し
て、性能低下を招く（弱点となる）ジョブを把握するた
めのもので、端末数一定の条件下でジョブ毎にレスポン
スタイムを測るようになっている。

【００３６】次に、（３）の複合ジョブ処理能力評価
は、複数のジョブを処理する場合における対象システム
の性能を評価するためのもので、複数通りのジョブ組み
合わせのそれぞれについてレスポンスタイムの変化を測
るようになっている。

【００３７】最後に、（４）の自由設定による性能評価
は、性能評価担当者が自由に記述した処理における対象
システムの性能を評価するものである。

【００３８】さて、性能評価担当者による選択指定操作
に従い、性能評価戦略設定部５が指定された性能評価項
目を設定すると、図１の本実施例装置では、その性能評
価項目（の示す性能評価）を実現するために作動する。
その動きは、以下に述べるように、上記（１）〜（４）
のいずれの性能評価項目が選択（設定）されたかによっ
て異なる。

【００３９】まず性能テスト条件生成部Ｂ内のシナリオ
スクリプト生成部６は、性能評価戦略設定部５によって
設定された性能評価項目を実現するためのシナリオスク
リプトを生成する。このシナリオスクリプトは、１つま
たは複数の端末をどのように操作するかを定義するファ
イルである。このシナリオスクリプトの記述例を図２に
示す。

【００４０】シナリオスクリプトの各１行は、図２に示
すように、［ジョブシーケンス開始相対時刻 端末名
オペレーションファイル名］の３要素から構成される。

【００４１】このシナリオスクリプト行は、ある時刻に
指定したターミナル（端末）において、オペレーション
ファイルに定義したオペレーションの内容の動作を実行
させることを意味する。

【００４２】本実施例では、基本制御記号とし
て、“［，］”と“（，）”の対が用意される。前者は
順次実行を、後者は同時実行を意味する。

【００４３】したがって、図２において、 １５（……） と記述されているシナリオスクリプト行の“（，）”の
間に定義されたジョブシーケンスは、スタートから“１
５”という時間の後に同時に実行することを意味する。

【００４４】さて、性能評価項目として単一ジョブ処理
能力評価が選択されている場合には、前記したように端
末数を可変にしてレスポンスタイムを測る必要がある。
このような場合、シナリオスクリプト生成部６は、図３
に示すようなシナリオスクリプトを自動生成する。この
図３は、端末を４台まで変えて同じオペレーション（ジ
ョブ）を実行させるための状況を（実現するためのシナ
リオスクリプトを）生成した例である。

【００４５】次に、弱点ジョブ評価が選択されている場
合には、端末数一定の条件下で想定されるジョブのレス
ポンスタイムを測り、レスポンスタイムが悪いものを発
見する必要がある。このような場合、シナリオスクリプ
ト生成部６は、図４に示すようなシナリオスクリプトを
自動生成する。この図４は、端末を２台に設定した状態
で４つのオペレーションを実行させるための状況を生成
した例である。

【００４６】次に、複合ジョブ処理能力評価が選択され
ている場合には、シナリオスクリプト生成部６は、オペ
レーションファイル４に登録されたジョブの同時実行組
み合わせを生成し、図５に示すようなシナリオスクリプ
トを生成する。この図５は、６つのオペレーション（ジ
ョブ）をそれぞれ異なる端末から実行させるための状況
を生成した例である。

【００４７】他の性能評価項目（戦略）は、自由設定に
よる性能評価である。この項目が選択されている場合に
は、その項目に固有の入力画面が表示されるようになっ
ている。この入力画面を介して、性能評価担当者が端末
とオペレーションファイル（ジョブ）との関係を自由に
設定入力すると、対応するシナリオスクリプトがシナリ
オスクリプト生成部６により生成される。

【００４８】なお本実施例では、単一ジョブ処理能力評
価、弱点ジョブ評価、および複合ジョブ処理能力評価の
ためのシナリオスクリプトは、オペレーションファイル
４を基に、全ての組み合わせについて自動生成されるよ
うになっているが、これに限るものではない。例えば、
上記の自由設定による性能評価が選択された場合と同様
に、その性能評価項目に固有の入力画面を表示し、この
画面を介して性能評価担当者が端末とオペレーションフ
ァイル（ジョブ）との関係を設定入力することにより、
シナリオスクリプト生成部６が対応するシナリオスクリ
プトを生成するようにしてもよい。具体例を挙げると、
単一ジョブ処理能力評価の場合であれば、対象とするジ
ョブに対応したオペレーションファイル名と、実行する
端末台数の範囲（最小値と最大値）とを性能評価担当者
が設定入力可能としてもよい。

【００４９】さて、シナリオスクリプト生成部６によっ
て生成されたシナリオスクリプトはシナリオスクリプト
ファイル７に保存される。すると、性能テスト実行部Ｃ
による性能テストの実行が可能となる。

【００５０】性能テスト実行部Ｃ内の自動実行部８は、
シナリオスクリプトファイル７に基づき各ジョブシーケ
ンスを自動実行する。この自動実行部８によるシーケン
スの自動実行について説明する。

【００５１】まず自動実行部８は、図６に示すように、
スケジュール部８１、時間管理部８２、および端末機能
を提供する仮想端末８３の群から構成される。スケジュ
ール部８１は、ファイル７からシナリオスクリプトを読
み込んで、端末をどのように操作するかの定義内容から
その制御を解釈し、時間軸に沿ってどの仮想端末８３を
何時の時刻にどのように実行（操作）させるかをスケジ
ューリングする。

【００５２】時間管理部８２は、スケジュール部８１の
スケジューリング結果を基に、スケジューリングされた
時刻に１つまたは複数の仮想端末８３にメッセージを送
り、スケジュール部８１によって読み込まれたシナリオ
スクリプトで指定されているオペレーションファイル
（４）の示すオペレーションを実行させる。これによ
り、（そのオペレーションの指示をユーザが実際に端末
を操作して性能評価対象システムに通知したかの如く）
性能評価対象システムプログラムライブラリ２に格納さ
れているプログラムが実行される。そして、このプログ
ラムの実行により指定のオペレーションの処理が行わ
れ、その処理が終了すると、対応する仮想端末８３から
時間管理部８２に終了通知が返される。

【００５３】仮想端末８３からの終了通知の時刻は、ス
ケジュール部８１によってスケジューリングされた終了
時刻とは必ずしも一致しない。そこで時間管理部８２
は、この終了通知の時刻をスケジュール部８１に知らせ
て、同スケジュール部８１による再スケジューリングを
行わせる。

【００５４】さて、性能テスト実行部Ｃ内の自動実行部
８により、シナリオスクリプトに基づくオペレーション
の実行が行われると、性能テスト実行部Ｃ内の性能収集
部９は、その実行状況（と性能）を収集する。

【００５５】性能収集部９により収集される実行状況の
データの１つに、レスポンスタイムがある。このレスポ
ンスタイムに関しては、性能収集部９は、図６に示す仮
想端末８３のレベルで、オペレーションを開始した時刻
と、終了した時刻をシナリオスクリプトに合わせて収集
する。更に具体的に述べるならば、性能収集部９は、オ
ペレーションの開始時刻と終了時刻とを、図７に示すよ
うな形式で、該当するシナリオスクリプトの各シーケン
ス毎に収集する。なお、この図７は、図２に示したシナ
リオスクリプトに従うオペレーションの実行時のレスポ
ンスタイムの収集結果を示したものである。

【００５６】性能収集部９によって上記の如く収集され
た実行状況の内容は性能収集ファイル１０に保存され
る。

【００５７】性能テスト実行部Ｃ（内の自動実行部８）
による性能テスト実行状況が性能収集ファイル１０に収
集されると、該当するシナリオスクリプトに記述された
性能評価項目についての性能評価部Ｄによる性能評価が
可能となる。但し、この性能評価のためには、性能評価
部Ｄ内の性能指標設定部１１による性能指標値の設定が
必要となる。

【００５８】そこで性能指標設定部１１は、各オペレー
ション（ジョブ）に対するレスポンスタイムのサービス
量を、性能指標値として性能評価担当者の操作に従って
設定する。ここで、サービス量とは、各オペレーション
がどの程度の時間内で終了することが設計として要求さ
れているかを示すものである。この性能指標設定部１１
によって設定された各オペレーションのサービス量（サ
ービス目標値、性能指標値）は、性能指標ファイル１２
に保存される。

【００５９】性能評価部Ｄ内の性能値加工部１３は、性
能テスト実行部Ｃで生成された性能収集ファイル１０の
内容を、性能指標ファイル１２を基にして、性能評価戦
略設定部５で設定された性能評価項目の評価に適した形
式に変更し、それを性能判定ファイル１４に保存する。

【００６０】以下、性能値加工部１３の動作の詳細を、
（１）単一ジョブ処理能力評価が選択されていた場合、
（２）弱点ジョブ評価が選択されていた場合、（３）複
合ジョブ処理能力評価が選択されていた場合、（４）自
由設定による性能評価が選択されていた場合、のそれぞ
れについて順に説明する。

【００６１】 （１）単一ジョブ処理能力評価が選択されていた場合 性能値加工部１３は、性能収集ファイル１０を基に、各
端末台数毎のレスポンスタイムを算出して可視化し、そ
の加工結果を性能判定ファイル１４に保存する。この
際、性能値加工部１３は、性能指標設定部１１により設
定されて性能指標ファイル１２に保存されているサービ
ス目標値を基に許容限界を引き、安全に使用できる端末
の台数を示すように加工する。ここでの加工結果の例を
図８に示す。

【００６２】性能評価担当者は、図８に示したような加
工結果が画面表示されることにより、特定ジョブ（オペ
レーション）を実行した際に、端末何台程度まで許容範
囲内のレスポンスタイムが得られるのか予め把握でき
る。また、性能に余裕が見られる場合には、何台ぐらい
までの端末であれば十分なレスポンスタイムが得られる
かを示すことも可能である。

【００６３】 （２）弱点ジョブ評価が選択されていた場合 性能値加工部１３は、性能収集ファイル１０を基に、全
体ジョブに対して各ジョブの実行では、どの程度のレス
ポンスタイムが得られるかを算出し可視化し、その加工
結果を性能判定ファイル１４に保存する。この際、性能
値加工部１３は、同一条件で各ジョブを実行した場合の
平均レスポンスタイム（ＡＶＥ）を引き、相対的にレス
ポンスタイムが得られないものを強調して示すように加
工する。ここでの加工結果の例を図９に示す。

【００６４】性能評価担当者は、図９に示したような加
工結果が画面表示されることにより、各ジョブの全体ジ
ョブから見たレスポンスタイムを把握することが可能で
ある。特にレスポンスタイムというサービス量について
弱点となる（レスポンスタイムの遅い）ジョブが認識で
きる。ここでは条件として、端末の台数（Ｎ）を可変に
できるため、端末が何台程度になれば全体に対してサー
ビス量を満足できるかを推測することも可能である。

【００６５】 （３）複合ジョブ処理能力評価が選択されていた場合 性能値加工部１３は、オペレーションファイル４にジョ
ブとして登録されているものの複数通りの組み合わせに
対して同時実行をさせた場合に性能収集ファイル１０に
得られたレスポンスタイムと性能指標ファイル１２に保
存されているサービス目標値を基に、サービス目標が達
成されない組合わせと、その要因となるジョブが強調さ
れた加工結果を生成して、性能判定ファイル１４に保存
する。ここでの加工結果の例を図１０に示す。

【００６６】性能評価担当者は、図１０に示したような
加工結果が画面表示されることにより、ジョブの組み合
わせ時の能力を判断すると共に、危険な（サービス量が
極度に低下する）ジョブの組み合わせを認識することが
でき、改善のための指針を示すことができる。なお、図
１０において、（数字１，２…が付された縦見出しを持
つ）行は選択実行されたジョブの組み合わせを示し、
（ジョブ名ＪＯＢ１，ＪＯＢ２…が付された横見出しを
持つ）列は総ジョブを示す。各列に関し、各欄の上段に
はその列のジョブを選択したかを（記号○により）示
し、下段にはそのジョブのレスポンスタイムを示す。

【００６７】性能値加工部１３は、性能指標設定部１１
で予めサービス量が設定されていれば、サービス量を満
たさないジョブの組み合わせを判定して強調表示し、ど
のジョブがネックになっているかを明示する。図１０の
例では、サービス量を満たさないジョブの組み合わせ
（を示す縦見出し）と、その要因となるジョブ（のレス
ポンスタイム）の表示を反転することにより、危険なジ
ョブの組み合わせとネックとなるジョブ（弱点ジョブ）
が簡単に視認できるようにしている。

【００６８】なお、本実施例では、複合ジョブを実行す
る端末は、ジョブの組み合わせに無関係にそれぞれ一定
台数を前提としているが、ダイナミックに変化させるこ
とも可能である。

【００６９】 （４）自由設定による性能評価が選択されていた場合 性能値加工部１３は性能収集ファイル１０に保存されて
いた内容を、特別の加工をせずに性能判定ファイル１４
に保存し、画面表示する。

【００７０】このように、本実施例によれば、ジョブの
オペレーションをオペレーションファイル４に蓄え、性
能評価の戦略を選択するだけで、自動的にレスポンスタ
イムを主とするシステムの性能評価資料が性能判定ファ
イル１４内に生成される。

【００７１】したがって、この生成された性能評価資料
（性能評価値）と計算機が持つソフトウェアモニタ機能
によって求められるＣＰＵ使用率、ディスク使用率等を
利用して、システムの診断を実施することができる。

【００７２】以上に述べたシステム実行性能評価支援装
置での性能評価のプロセスは、図１に示すように、一度
オペレーションファイル４を生成した後は、性能テスト
条件生成部Ｂ→性能テスト実行部Ｃ→性能評価部Ｄ→性
能テスト条件生成部Ｂの動作の繰り返しである。ここ
で、シナリオスクリプトは性能テスト条件生成部Ｂ（内
のシナリオスクリプト生成部６）により自動的に生成さ
れるが、テキストベースのファイルであるため、本装置
と性能評価担当者が協調してよりよいシナリオスクリプ
トを定義することにより、性能評価部Ｄ内の性能値加工
部１３の性能値加工機能を利用して性能評価の質を向上
させていくことが可能となる。

【００７３】また、シナリオスクリプトはシナリオスク
リプトファイル７に保存されるので、常に同じ条件の性
能テストを実施することが可能であり、システム改善、
バージョンアップ等を行った後の性能向上検査にも使用
することができる。

【００７４】

【発明の効果】以上説明したように本発明によれば、一
度、性能評価の対象システムを構成するジョブをユーザ
の端末操作等により動かして、その際のオペレーション
内容をオペレーションファイルに登録すれば、以降は人
手を介することなく、そのオペレーションファイルを基
に生成されるシナリオスクリプトに従って、性能評価の
幾つかの観点から想定される実行環境で性能テストを自
動的に実施し、そのテスト結果を必要な性能評価に適し
た形式に変換し提示することができるため、性能評価担
当者は、それを基に性能評価を実施すればよい。

【００７５】このように本発明によれば、端末、オペレ
ータ等の物理的制約を排除することができるため、性能
テスト自身の信頼性を高めることができ、しかも、誰が
実施しても同じ性能評価結果が得られ、且つテストが容
易に行える。

【００７６】また、対象システム実行時のオペレーショ
ン内容を基に、性能評価の幾つかの観点から想定される
現実的な実行環境で性能テストが行える。

【００７７】また、性能テストの条件・環境を記述した
シナリオスクリプトは繰り返し使用できるため、常に同
じ条件・環境での性能テストが実施できる。即ち本発明
によれば、性能テストの再現性が保証できるため、性能
評価結果を基にシステムを変更する等の必要性が生じた
場合でも、新システムにおいて同じ条件・環境下で性能
評価を再度実施できる。

【００７８】また、本発明によれば、性能テストの結果
を様々な性能評価の観点から加工し、その観点に固有の
形式にするようにしているため、性能テスト結果を容易
にシステムの限界、ボトルネック等が把握可能な形式で
提示することができる。

【００７９】以上により、本発明によれば、性能評価の
コストの軽減と、性能評価の質の向上、更には性能予測
に大きく貢献することができる。

【図面の簡単な説明】

【図１】本発明の一実施例に係るシステム実行性能評価
支援装置の構成を示すブロック図。

【図２】シナリオスクリプトの記述例を示す図。

【図３】性能評価項目として単一ジョブ処理能力評価が
選択された場合に生成されたシナリオスクリプトの例。

【図４】性能評価項目として弱点ジョブ評価が選択され
た場合に生成されたシナリオスクリプトの例。

【図５】性能評価項目として複合ジョブ処理能力評価が
選択された場合に生成されたシナリオスクリプトの例。

【図６】図１に示す自動実行部８の機能構成を示すブロ
ック図。

【図７】性能評価項目として単一ジョブ処理能力評価が
選択された場合における性能収集ファイル１０の保存例
を示す図。

【図８】性能評価項目として単一ジョブ処理能力評価が
選択された場合における性能テスト実行後の性能評価値
加工結果の例を示す図。

【図９】性能評価項目として弱点ジョブ評価が選択され
た場合における性能テスト実行後の性能評価値加工結果
の例を示す図。

【図１０】性能評価項目として複合ジョブ処理能力評価
が選択された場合における性能テスト実行後の性能評価
値加工結果の例を示す図。

【符号の説明】

Ａ…オペレーションファイル生成部、Ｂ…性能テスト条
件生成部、Ｃ…性能テスト実行部、Ｄ…性能評価部、１
…入出力装置、２…性能評価対象システムプログラムラ
イブラリ、３…オペレーション自動収集部、４…オペレ
ーションファイル、５…性能評価戦略設定部、６…シナ
リオスクリプト生成部、７…シナリオスクリプトファイ
ル、８…自動実行部、９…性能収集部、１０…性能収集
ファイル、１１…性能指標設定部、１２…性能指標ファ
イル、１３…性能値加工部、１４…性能判定ファイル。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 処理システムと複数の端末がオンライン
   で接続された状況における前記処理システムの性能評価
   を支援するためのシステム実行性能評価支援装置であっ
   て、 前記性能評価の対象システム実行時のオペレーション内
   容を収集してオペレーションファイルに保存するオペレ
   ーション自動収集手段と、 性能評価のための戦略を規定する性能評価項目を、予め
   定められた複数項目から選択して設定するための性能評
   価戦略設定手段と、 前記性能評価戦略設定手段により設定された性能評価項
   目に基づき、対応する戦略を実現するために１つまたは
   複数の端末をいかに動作させるかが前記オペレーション
   ファイルを指定して定義されたシナリオスクリプトを生
   成するシナリオスクリプト生成手段と、 前記対象システムを、前記シナリオスクリプト生成手段
   により生成されたシナリオスクリプトの定義により想定
   される実行環境で実行する自動実行手段と、 前記自動実行手段によるシナリオスクリプト実行状況と
   その性能を性能テスト結果として収集する性能収集手段
   と、 前記対象システムに対する性能評価指標の目標値を設定
   する性能指標設定手段と、 前記性能収集手段によって収集された性能テスト結果
   を、前記性能指標設定手段によって設定された性能評価
   指標の目標値を基に、前記性能評価戦略設定手段により
   設定された性能評価項目で示される性能評価に適合する
   形式に変換する性能値加工手段と、 を具備し、前記性能値加工手段による形式変換後の性能
   テスト結果を性能評価に供するようにしたことを特徴と
   するシステム実行性能評価支援装置。
2. 【請求項２】 前記性能収集手段により収集される性能
   テスト結果および前記性能評価指標の目標値には、ジョ
   ブのレスポンスタイムが含まれており、前記性能値加工
   手段は、前記性能収集手段によって収集された性能テス
   ト結果を、同結果のうちの前記レスポンスタイムの目標
   値を越えた結果部分が強調されるように、前記性能評価
   戦略設定手段により設定された性能評価項目に固有の形
   式で可視化することを特徴とする請求項１記載のシステ
   ム実行性能評価支援装置。
3. 【請求項３】 前記自動実行手段は、端末機能を提供す
   る複数の仮想端末と、前記シナリオスクリプトの定義内
   容を基に、時間軸に沿っていずれの前記仮想端末を何
   時、どのように実行させるかをスケジューリングするス
   ケジュール手段と、このスケジュール手段のスケジュー
   リング結果を基に、スケジューリングされた時刻に１つ
   または複数の前記仮想端末にメッセージを送って、前記
   シナリオスクリプトで示されている前記オペレーション
   ファイルに記述されているオペレーションを実行させる
   ことで、前記対象システムの性能テストを行わせる時間
   管理手段とを備えていることを特徴とする請求項１記載
   のシステム実行性能評価支援装置。
4. 【請求項４】 前記時間管理手段は、前記対象システム
   での指定オペレーションの処理終了時刻を監視し、この
   終了時刻をもとに前記スケジュール手段による再スケジ
   ューリングを行わせることを特徴とする請求項３記載の
   システム実行性能評価支援装置。