JPWO2013018376A1 - システムパラメータ設定支援システム、システムパラメータ設定支援装置のデータ処理方法、およびプログラム - Google Patents

Abstract

時系列に順次テストを実施し、テストの各回のテスト結果を考慮してパラメータをチューニングするシステムパラメータ設定支援システムは、時系列に順次実施されたテストの各回において、前回とのテスト結果を比較してその変化を算出し、算出したテスト結果の変化に基づき、予め定めた指標以上の効果が得られたか否かを評価するテスト結果評価部（５１）と、テスト結果評価部（５１）が予め定めた指標以上の効果が得られないと評価したテスト結果に対応するテストを抽出し、抽出されたテスト時に変更があったパラメータを抽出する変更パラメータ抽出部（５３）と、を備える。

Description

本発明は、システムのパラメータ設定を支援するシステムパラメータ設定支援システム、システムパラメータ設定支援装置のデータ処理方法、およびプログラムに関する。

ＷｅｂシステムやオンラインシステムのようなＩＴ（Information Technology）システムに対して、実運用時に一定性能を維持することが求められている。そこで、実運用に入る前にテスト環境で性能テストを行い、所望された性能を満たすように、サーバのスペックや台数を調整したり、ＯＳ（Operating System）、ミドルウェア、またはアプリケーションのパラメータをチューニングすることが一般的である。このようなＷｅｂシステムの性能評価システムの一例が特許文献１に記載されている。

また、特許文献２には、複数の異なるパラメータの組み合わせ毎に、プログラムの実行結果を統計情報として受け付け、統計情報に基づいて、保証値が最も大きくなるパラメータのグループを検出することで、より高い保証値レベルを実現することが記載されている。

一般的に性能テストを実施する者は、テスト対象システムのシステム構成と、同時アクセスクライアント数、同時リクエスト数、リクエスト間隔、またはリクエストメソッドなどのテスト仕様を決めて、テスト対象システムへ負荷をかけ、リソース消費量、ターンアラウンドタイム、スループットなどを測定して、ボトルネックとなる箇所を見つけ出す。ボトルネックを回避するために、性能評価実施者はＯＳ、ミドルウェア、アプリケーションのパラメータ設定ファイルを編集して、ＯＳ、ミドルウェア、アプリケーションの性能チューニングを行う。そして、その効果を確認するために、再度負荷テストを実施する。このサイクルを何度か回すことで、所望の性能を満たす適切なパラメータ設定値を決定する。

特開２００３−１３１９０７号公報 特開２００６−３１６０５号公報

上述した文献に記載の技術においては、パラメータチューニングは人手で試行錯誤的に変更するため、変更の必要のないパラメータまで変更してしまう恐れがあるという問題点があった。たとえば、ボトルネックを解消するためにパラメータを変更して負荷テストを行ったが、性能向上の効果がなかった場合に、パラメータ変更を元に戻さずに、次の別のパラメータを変更することがある。

パラメータの値によっては、特殊な条件下でのみ問題が発生する場合があり、元に戻さなかったパラメータがそのような特徴を持つパラメータである場合には、実運用時に性能問題などの障害を生じる可能性がある。障害が発生した場合には、すべてのパラメータを点検して設定ミスを人手で発見することになるが、ＩＴシステムを構成するパラメータの数は多く、またシステムの規模に比例してパラメータ数も多くなるため、対応には多くの工数と時間が必要になるという問題があった。

本発明の目的は、上述した課題である実運用において性能障害の原因と推定されるパラメータ設定の抽出の困難さを解決するシステムパラメータ設定支援システム、システムパラメータ設定支援装置のデータ処理方法、およびプログラムを提供することにある。

本発明のシステムパラメータ設定支援システムは、
時系列に順次テストを実施し、前記テストの各回のテスト結果を考慮してパラメータをチューニングするシステムパラメータ設定支援システムであって、
時系列に順次実施された前記テストの各回において、前回とのテスト結果を比較してその変化を算出し、算出した前記テスト結果の前記変化に基づき、予め定めた指標以上の効果が得られたか否かを評価するテスト結果評価手段と、
前記テスト結果評価手段が前記予め定めた指標以上の効果が得られないと評価したテスト結果に対応するテストを抽出し、抽出された前記テスト時に変更があったパラメータを抽出する変更パラメータ抽出手段と、
を備える。

本発明のシステムパラメータ設定支援装置のデータ処理方法は、
時系列に順次テストを実施し、前記テストの各回のテスト結果を考慮してパラメータをチューニングするシステムパラメータ設定支援装置が、
時系列に順次実施された前記テストの各回において、前回とのテスト結果を比較してその変化を算出し、
前記テスト結果の前記変化に基づき、予め定めた指標以上の効果が得られないテストを抽出し、
抽出された前記テスト時に変更があったパラメータを抽出するデータ処理方法である。

本発明のコンピュータプログラムは、
時系列に順次テストを実施し、前記テストの各回のテスト結果を考慮してパラメータをチューニングするシステムパラメータ設定装置を実現するコンピュータに、
時系列に順次実施された前記テストの各回において、前回とのテスト結果を比較してその変化を算出する手順、
前記テスト結果の前記変化に基づき、予め定めた指標以上の効果が得られないテストを抽出する手順、
抽出された前記テスト時に変更があったパラメータを抽出する手順を実行させるためのプログラムである。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。

また、本発明のデータ処理方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明のデータ処理方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。

さらに、本発明のデータ処理方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。

本発明によれば、実運用において性能障害の原因と推定されるパラメータ設定を抽出できるシステムパラメータ設定支援システム、システムパラメータ設定支援装置のデータ処理方法、およびプログラムが提供される。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

本発明の実施の形態に係るシステムパラメータ設定支援システムのネットワーク構成を示す概略図である。 本発明の実施の形態に係るシステムパラメータ設定支援システムの構成を示す機能ブロック図である。 本発明の実施の形態に係るシステムパラメータ設定支援システムの動作を示すフローチャートである。 本発明の実施の形態に係るシステムパラメータ設定支援システムの構成を示す機能ブロック図である。 本発明の実施の形態に係るシステムパラメータ設定支援システムの動作を示すフローチャートである。 本発明の実施の形態に係るシステムパラメータ設定支援システムの構成を示す機能ブロック図である。 本発明の実施の形態に係るシステムパラメータ設定支援システムの負荷テスト時の動作を示すフローチャートである。 本発明の実施の形態に係るシステム設定支援システムの設定ミス抽出時の動作を示すフローチャートである。 本発明の実施の形態に係るシステム設定支援システムのテストケース一覧を示す図である。 本発明の実施例のシステム設定支援システムの負荷テスト結果記憶部の構成の一例を示す図である。 本発明の実施例のシステム設定支援システムのパラメータ設定記憶部の構成の一例を示す図である。 本発明の実施例のシステム設定支援システムにおけるテスト結果の一例を示す図である。 本発明の実施例のシステム設定支援システムにおける性能パラメータの比較結果の一例を示す図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

（第１の実施の形態）
図１は、本発明の実施の形態に係るシステムパラメータ設定支援システムのネットワーク構成を示す概略図である。
同図に示すように、本発明の実施の形態に係るシステムパラメータ設定支援システムは、テスト装置１と、テスト対象システム２と、テスト履歴記憶装置３と、パラメータ設定装置４と、評価装置５と、設定確認装置６と、を備える。テスト装置１と、テスト対象システム２と、テスト履歴記憶装置３と、パラメータ設定装置４と、評価装置５と、設定確認装置６と、は互いにネットワーク７を介して接続される。

各装置は、たとえば、図示しないＣＰＵ（Central Processing Unit）やメモリ、ハードディスク、および通信装置を備え、キーボードやマウス等の入力装置やディスプレイやプリンタ等の出力装置と接続されるサーバコンピュータやパーソナルコンピュータ、またはそれらに相当する装置により実現することができる。そして、ＣＰＵが、ハードディスクに記憶されるプログラムをメモリに読み出して実行することにより、上記各ユニットの各機能を実現することができる。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。以下に説明する各図は、ハードウェア単位の構成ではなく、任意のコンピュータのハードウェアとソフトウェアの任意の組合せによって実現される機能単位のブロックを示している。
また、以下の各図において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。

また、図１の本実施形態において、各装置は、異なるコンピュータからそれぞれ構成されているが、これに限定されない。同一のコンピュータが少なくとも２つ以上の装置の機能を実現する構成とすることができる。コンピュータは、仮想サーバなどにより構成されてもよい。あるいは、各装置は、複数のコンピュータで構成されてもよい。

テスト装置１は、テストを実施するために、リクエストをテスト対象システム２に送信するクライアント端末とすることができる。テストは、たとえば、テスト対象システム２に様々な負荷をかけて、各種のパラメータの設定を変更しながら、システムの動作や性能を検証する性能テストを含む。テストは、たとえば、テスト対象システム２を実運用する前や、テスト対象システム２の更新やメンテナンス時に行うことができる。

テスト対象システム２は、テスト対象となるＩＴシステムからなり、さらに、テスト装置１からのリクエストに呼応して、システムの性能を計測するテストを実施する。テスト対象システム２は、設定変更可能な複数のパラメータを有する。性能テスト時にこれらのパラメータを変更しながら、チューニングを行い、実運用時のパラメータが決定される。

テスト履歴記憶装置３は、テスト対象システム２で計測したテスト結果およびテスト対象システム２に設定されたパラメータを記憶し、蓄積するサーバコンピュータとすることができる。

パラメータ設定装置４は、テスト対象システム２のパラメータの設定を受け付け、テスト対象システム２にパラメータを受け渡すためのツールとすることができる。運用管理者などのユーザは、パラメータ設定装置４を用いて実運用段階に入る前などにパラメータのチューニングを行うことができる。そして、ここで設定変更されたパラメータはテスト対象システム２の図示されないメモリに記憶され、実運用段階で使用されることとなる。

本実施形態において、パラメータのチューニングは、マニュアルや過去の経験を踏まえて、変更の効果を計測しながら人手で実施される。また、規模の大きなシステムなどでは、パラメータ数も多くなり、さらに、複数のオペレータがチューニング作業に関わることも考えられる。よって、チューニング時のパラメータの変更は煩雑で正確に管理するのは困難である。
また、実使用段階でテスト対象システム２の利用者またはテスト対象システム２の運用管理者などが、パラメータ設定装置４を利用してパラメータを変更することができる。

パラメータ設定装置４は、テスト対象システム２に含むこともできる。パラメータ設定装置４を実現するツールは、様々な構成が考えられる。たとえば、パラメータ設定装置４を実現するツールは、ネットワーク７を介してテスト対象システム２に接続されるクライアント端末にインストールされてもよい。あるいは、クライアント端末からブラウザを用いてパラメータを受け付けるサーバにアクセスし、クライアント端末から操作してパラメータの入力を行うこともできる。また、複数のユーザがパラメータ設定装置４を用いてテスト対象システム２のパラメータを変更することもできる。

評価装置５は、パラメータ設定装置４によるパラメータ変更による効果を評価し、効果改善の見られなかったパラメータ変更を抽出し、設定確認装置６に送信してテスト対象システム２の運用管理者などのユーザに提示させるサーバコンピュータとすることができる。

設定確認装置６は、評価装置５が抽出したパラメータをユーザに提示するクライアント端末とすることができる。設定確認装置６への提示方法は、特に限定されない。たとえば、設定確認装置６の表示装置（不図示）に表示することでユーザに提示することができる。あるいは、設定確認装置６に電子情報としてネットワーク７を介して送信することもできる。あるいは、設定確認装置６のプリンタなどの出力装置（不図示）に印字出力することもできる。評価装置５から設定確認装置６にアクセスして情報を提供してもよいし、設定確認装置６から評価装置５にアクセスして情報を要求して取得してもよい。

図２は、本発明の実施の形態に係るシステムパラメータ設定支援システムの構成を示す機能ブロック図である。
本発明のシステムパラメータ設定支援システムは、性能テスト結果の履歴と各テストで用いられた性能パラメータ設定、および、実運用で用いられた性能パラメータ設定から、性能向上に寄与しかなった性能パラメータ変更を抽出する。

本発明の実施の形態に係るシステムパラメータ設定支援システムは、時系列に順次テストを実施し、テストの各回のテスト結果を考慮してパラメータをチューニングするシステムパラメータ設定支援システムであって、時系列に順次実施されたテストの各回において、前回とのテスト結果を比較してその変化を算出し、算出したテスト結果の前記変化に基づき、予め定めた指標以上の効果が得られたか否かを評価するテスト結果評価部５１と、テスト結果評価部５１が予め定めた指標以上の効果が得られないと評価したテスト結果に対応するテストを抽出し、抽出されたテスト時に変更があったパラメータを抽出する変更パラメータ抽出部５３と、を備える。

テスト履歴記憶装置３は、テスト結果記憶部３１と、パラメータ設定記憶部３２と、を備える。
テスト結果記憶部３１は、テスト対象システム２で実施された負荷テスト結果の履歴を記憶する。
パラメータ設定記憶部３２は、テスト実施ごとにテスト対象システム２で抽出されたパラメータ名と設定値の履歴を記憶する。

評価装置５は、テスト結果評価部５１と、変更パラメータ抽出部５３と、を備える。
テスト結果評価部５１は、テスト履歴記憶装置３のテスト結果記憶部３１に記憶されているテスト結果を時系列で順次比較して、前回と変化の度合いを計算する。そして、算出したテスト結果の変化に基づき、予め定めた指標以上の効果が得られたか否かを評価する。本実施形態では、計算された値と予め定められた値とを比較し、予め定められた値以上に差異がみられない場合、もしくは、性能が悪くなる方向へ変化した場合、パラメータを変更しても性能によい効果は得られなかったと評価する。

変更パラメータ抽出部５３は、テスト履歴記憶装置３のパラメータ設定記憶部３２を参照し、変更されたパラメータ設定を時系列で順次比較して、各テストで性能向上に効果がなかったと評価されたパラメータ変更を抽出する。

本実施の形態の評価装置５は、コンピュータプログラムに対応する各種の処理動作をＣＰＵが実行することにより、前述のような各種ユニットが各種機能として実現される。
本実施形態のコンピュータプログラムは、評価装置５を実現させるためのコンピュータに、時系列に順次実施されたテストの各回において、前回とのテスト結果を比較してその変化を算出する手順、テスト結果の変化に基づき、予め定めた指標以上の効果が得られないテストを抽出する手順、抽出されたテスト時に変更があったパラメータを抽出する手順、を実行させるように記述されている。

なお、本実施形態のコンピュータプログラムは、コンピュータで読み取り可能な記録媒体に記録されてもよい。記録媒体は特に限定されず、様々な形態のものが考えられる。また、プログラムは、記録媒体からコンピュータのメモリにロードされてもよいし、ネットワークを通じてコンピュータにダウンロードされ、メモリにロードされてもよい。

また、上述のような構成において、本実施の形態の評価装置５によるデータ処理方法を以下に説明する。図３は、本実施形態のシステムパラメータ設定支援システムの動作を示すフローチャートである。

本実施形態のシステムパラメータ設定支援装置（評価装置５）のデータ処理方法は、評価装置５が、時系列に順次実施されたテストの各回において（ステップＳ１１）、前回とのテスト結果を比較してその変化を算出し（ステップＳ１３）、テスト結果の変化に基づき、予め定めた指標以上の効果が得られないテストを抽出し（ステップＳ１５のＹＥＳ）、抽出された前記テスト時に変更があったパラメータを抽出する（ステップＳ１７）。

このように構成された本実施形態のシステムパラメータ設定支援システムの動作について、以下に説明する。
ここでは、設定ミスの可能性のあるパラメータ設定を抽出するための動作について、図１乃至図３を用いて説明する。
なお、本フローは、ｉ＝１から（パラメータ変更回数−１）まで、ループ処理を繰り返す（ステップＳ１１）。

まず、評価装置５のテスト結果評価部５１が、１回目と２回目のテスト結果の差異、たとえば、変化の度合いを計算する（ステップＳ１３）。さらに、テスト結果評価部５１が、計算された値と予め定められた値とを比較し、予め定められた値以上に差異がみられない場合、もしくは、性能が悪くなる方向へ変化した場合には（ステップＳ１５のＹＥＳ）、２回目に行ったパラメータ変更が効果を示していないとみなし、ステップＳ１７に進む。そして、変更パラメータ抽出部５３が、１回目と２回目のテストでのパラメータ設定を比較して変更されたパラメータ名とパラメータ値を抽出する（ステップＳ１７）。

そのあと、引き続き、ステップＳ１１に戻り、２回目と３回目のテスト結果の評価を開始する。以後、パラメータを変更してテストを実行した回数分、すなわち、｛全テスト回数−１｝回分、ステップＳ１３〜ステップＳ１５、またはステップＳ１７を繰り返す。

なお、ステップＳ１５において予め定められた値以上に差異がみられる場合（ステップＳ１５のＮＯ）には、２回目に行ったパラメータ変更が効果を示したとみなして、ステップＳ１７以降の処理を省略し、ステップＳ１１に戻り、次の２回目と３回目のテスト結果の差異を計算する（ステップＳ１３）。
以上の動作により、評価装置５は、パラメータ変更が行われたのに、テスト結果が、予め定められた値以上に差異がみられない時、もしくは、性能が悪くなる方向へ変化した時のパラメータのパラメータ名とパラメータ設定値が抽出される。

本実施形態で抽出された変更されたパラメータのパラメータ名とパラメータ設定値は、設定確認装置６に出力し、ユーザに提示することができる。

以上説明したように、本発明の実施の形態に係るシステムパラメータ設定支援システムによれば、テスト時に履歴を記憶しておいた性能テスト結果と性能パラメータ設定に基づいて、性能改善が見られなかったパラメータ変更を抽出できる。すなわち、実運用において性能障害の原因と推定されるパラメータ設定を抽出できる。

その理由は、パラメータ設定の履歴からパラメータ変更を抽出し、さらにパラメータ変更の前後の性能テスト結果を比較してその変化の度合いをみることで、パラメータ変更の効果を測ることができるためである。

また、本発明の実施の形態に係るシステムパラメータ設定支援システムによれば、性能テストにおいて効果の見られなかったパラメータ変更を検索できる。また、性能テストにおいて行われた不要なパラメータ変更を抽出できる。

（第２の実施の形態）
図４は、本発明の実施の形態に係るシステムパラメータ設定支援システムの構成を示す機能ブロック図である。
本実施形態のシステムパラメータ設定支援システムは、上記実施形態とは、さらに、最終設定値として設定されたパラメータのうち、性能向上の改善が見られなかった変更不要なパラメータを抽出する点で相違する。
本実施形態のシステムパラメータ設定支援システムは、図２の上記実施形態と同様なテスト履歴記憶装置３を備えるとともに、さらに、図２の評価装置５に替えて、評価装置５０を備える。

本発明の実施の形態に係る評価装置５０は、図２の上記実施形態と同様なテスト結果評価部５１と、変更パラメータ抽出部５３と、を備えるとともに、テスト後、パラメータの最終設定値と変更パラメータ抽出部５３が抽出した変更があったパラメータの設定値とを比較して、同値であるか否かを判定するパラメータ設定ミス候補抽出部５４をさらに備える。

さらに、本発明の実施の形態に係る評価装置５０のパラメータ設定ミス候補抽出部５４は、パラメータの最終設定値と同値であると判定したパラメータをパラメータ設定ミス候補として抽出する。

パラメータ設定ミス候補抽出部５４は、テスト結果評価部５１で計算された変化の度合いが、予め定められた指標以下であるテストを抽出して、その時のパラメータ変更を抽出するとともに、実運用環境へ適用されたパラメータ設定、つまり、パラメータ設定記憶部３２が記憶しているパラメータの最終設定値と同じ値のパラメータ設定を抽出する。ここで、パラメータの最終設定値とは、テスト終了後、テスト対象システム２の実運用時に使用する設定値である。

このように構成された本実施形態のシステムパラメータ設定支援システムの動作について、以下に説明する。
図５は、本実施形態のシステムパラメータ設定支援システムの動作を示すフローチャートである。ここでは、設定ミスの可能性のあるパラメータ設定を抽出するための動作について、図４および図５を用いて説明する。本実施形態のフローチャートは、図３を用いて説明した上記実施形態のシステムパラメータ設定支援システムの動作と同様なステップＳ１１〜ステップＳ１７を有するとともに、さらに、ステップＳ２１〜ステップＳ２５を有する。

なお、本フローは、ｉ＝１から（パラメータ変更回数−１）まで、ループ処理を繰り返す。
上記実施形態と同様なステップの説明は省略する。
ステップＳ１７で、変更パラメータが抽出された後、評価装置５０のパラメータ設定ミス候補抽出部５４が、パラメータ最終設定値をパラメータ設定記憶部３２から取り出して、ステップＳ１７で抽出されたパラメータ設定と比較する（ステップＳ２１）。パラメータ設定が同じ値であれば（ステップＳ２３のＹＥＳ）、パラメータ設定ミス候補抽出部５４は、そのパラメータを設定ミス候補として抽出する（ステップＳ２５）。

そのあと、ステップＳ１１に戻り、２回目と３回目のテスト結果の評価を開始する（ステップＳ１３）。以後、パラメータを変更してテストを実行した回数分、すなわち、｛全テスト回数−１｝回分、ステップＳ１３〜ステップＳ１７、およびステップＳ２１〜ステップＳ２５を繰り返す。

また、ステップＳ２３において抽出されたパラメータ設定とパラメータ最終設定値が異なっていれば（ステップＳ２３のＮＯ）、効果のなかったパラメータ変更が元に戻されているとみなして、ステップＳ２５以降の処理を省略し、ステップＳ１１に戻り、次の２回目と３回目のテスト結果の差異を計算する（ステップＳ１３）。

以上の動作により、評価装置５０は、性能改善に効果がなかったが、実運用環境へそのままの値でリリースされた、またはリリースされる予定のシステムのパラメータ設定の値を抽出することができる。

本実施形態で抽出された変更されたパラメータのパラメータ名とパラメータ設定値は、設定確認装置６に出力し、ユーザに提示することができる。さらに、本実施形態で抽出された設定ミス候補のパラメータのパラメータ名とパラメータ設定値を、設定確認装置６に出力し、ユーザに提示することができる。

以上説明したように、本発明の実施の形態に係るシステムパラメータ設定支援システムによれば、上記実施形態と同様な効果を奏するとともに、さらに、テスト時に履歴を記憶しておいた性能テスト結果と性能パラメータ設定および実運用環境へリリースした性能パラメータ設定に基づいて、実運用環境で性能問題を発生させる可能性の高い、もしくは、発生済みの性能問題の原因となった可能性の高い性能パラメータ設定を抽出できる。
その理由は、上記実施形態で抽出した性能向上が見られなかったパラメータの設定値と実運用環境へリリースされた性能パラメータの設定値を比較し、同値であるかどうかを確認することで実施不要なパラメータ変更が実運用環境へ適用されたかどうかを確認できるためである。

（第３の実施の形態）
図６は、本発明の実施の形態に係るシステムパラメータ設定支援システムの構成を示す機能ブロック図である。
本実施形態のシステムパラメータ設定支援システムは、上記実施形態とは、さらに、性能向上の改善が見られなかった実施不要なパラメータ変更を抽出し、ユーザに提示する点で相違する。さらに、本実施形態のシステムパラメータ設定支援システムは、上記実施形態とは、パラメータを変更しながらテストを実施し、その結果を記憶する構成をさらに備える点で相違する。

本実施形態のシステムパラメータ設定支援システムは、図４の上記実施形態と同様なテスト履歴記憶装置３と、評価装置５０と、を備える。
また、以下、上記実施形態の図１で説明したテスト装置１、テスト対象システム２、パラメータ設定装置４、および設定確認装置６の詳細についても説明する。

図６に示すように、テスト装置１は、テスト実施部１１と、テスト結果表示部１２と、を備える。
本実施形態において、テスト実施部１１は、テスト対象システム２に負荷をかけて応答時間を測定する負荷テストを実施するために、テスト対象システム２にリクエストを送信する。ここで、リクエストは、たとえば、テスト対象システム２に対し、通信の応答を要求するもの、ＣＰＵ（不図示）にある処理（プログラム）の実行を要求するもの、テスト対象システム２のメモリ（不図示）へのアクセスを要求するものなどを含むことができる。

図９に示すように、たとえば、異なるテストケースの負荷のかけ方がある。本実施形態では、３種類の負荷ケース、たとえば、負荷の閑散時、通常時、およびピーク時のケースについて負荷テストを行う。テスト実施部１１は、たとえば、負荷の閑散時には、毎秒１回のリクエストをテスト対象システム２に送信する。通常時には、毎秒１０回のリクエストを送信し、ピーク時には、毎秒１００回のリクエストを送信する。

また、本実施形態では、図９に示すように、異なる負荷をかけた場合について場合分けをして負荷テストを行っているが、これに限定されない。たとえば、負荷を変化させながら、負荷の変化の度合いを変更したり、負荷変化の過渡期などについてテストを行うこともできる。

図６に戻り、テスト結果表示部１２は、テスト対象システム２への上記負荷テストの結果を表示する。テスト対象システム２の運用管理者などのユーザは、テスト結果表示部１２に表示されたテスト結果を参照し、パラメータ設定装置４で、さらにパラメータ設定の変更を行いながら、チューニング作業を進めることができる。

テスト対象システム２は、テスト処理部２１と、テスト結果計測部２２と、パラメータ設定抽出部２３と、を備える。
テスト処理部２１は、テスト対象システム２のテスト対象となる処理を実行する。たとえば、データベースから複数のデータを読み出して、Ｗｅｂブラウザに表示するための形式に変換する処理や、データベースのデータを更新する処理などを実行する。

テスト結果計測部２２は、負荷テスト実施中にテスト処理部２１の性能情報を計測して、負荷テスト結果として統計データを計算する。性能情報は、リクエストに対する応答速度、または単位時間当たりの処理件数などを含む。統計処理は、たとえば、平均処理、パーセンタイルなどの処理を行う。

パラメータ設定抽出部２３は、テスト処理部２１がテストを行った時のパラメータの設定、具体的にはパラメータ名と設定値を抽出する。パラメータは、アプリケーション、ミドルウェア、ＯＳの性能に関わる各種の性能パラメータを含む。

たとえば、パラメータは、ヒープメモリサイズ、最大スレッド数、データベースの最大接続数、または最大同時セッション数、処理タイムアウト時間、最大サーバプロセス数などの性能パラメータを含む。パラメータ設定抽出部２３は、たとえば、予め定められたパラメータ設定用のファイルなどに記述されているパラメータを抽出することができる。あるいは、予め定められたパラメータ名に対する設定値を抽出することができる。

パラメータ設定装置４は、パラメータ変更受付部４１を備える。
パラメータ変更受付部４１は、運用管理者などパラメータを設定する者が操作部（不図示）などを利用して入力したパラメータの設定値を受け付け、テスト対象システム２のテスト処理部２１に受け渡す。

設定確認装置６は、提示部６１を備える。提示部６１は、パラメータ設定ミス候補抽出部５４で抽出された変更があったパラメータ設定、または、性能パラメータ設定ミス候補のパラメータ設定、具体的には少なくともパラメータ名と設定値を表示する。

このように構成された本実施形態のシステムパラメータ設定支援システムの動作について、以下に説明する。
まず、負荷テストを実施して所望の性能を満たすパラメータ設定を見つけ出すまでの動作について、図６および図７を用いて説明する。
図７は、負荷テストを実施して所望の性能を満たすパラメータ設定を見つけ出すまでの動作の手順を示すフローチャートである。

テスト装置１のテスト実施部１１がテスト処理部２１に対して負荷テストを行うための負荷リクエストを送信する（ステップＳ１０１）。このとき、複数のパターンのリクエストを送信する。テスト処理部２１に対して負荷リクエストを送信しているときに、テスト対象システム２では、テスト対象システム２のテスト処理部２１が、テスト装置１から受信したリクエストを処理する（ステップＳ２０１）。

そして、テスト対象システム２のテスト結果計測部２２が、性能データを計測し、計測したデータから各テストパターンの性能統計データ、たとえば平均値を計算する（ステップＳ２０３）。そして、計算した性能統計データを、テスト履歴記憶装置３のテスト結果記憶部３１へ記憶する（ステップＳ３０１）。

次に、テスト対象システム２のパラメータ設定抽出部２３が、テスト処理部２１からパラメータ設定を抽出して（ステップＳ２０５）、テスト履歴記憶装置３のパラメータ設定記憶部３２へ記憶する（ステップＳ３０３）。ここで、テスト対象システム２のパラメータ設定抽出部２３は、予め設定変更されるパラメータのパラメータ名に対応するパラメータ設定値を設定ファイルから抽出する。

次に、テスト対象システム２のテスト結果計測部２２が、ステップＳ２０３で計算した性能統計データをテスト装置１のテスト結果表示部１２へ表示する（ステップＳ１０３）。ユーザは、テスト結果表示部１２に表示されたテスト結果を参照して確認する。テスト結果が所望の性能を達成していない場合、すなわち、テスト結果に問題がある場合（ステップＳ１０５のＹＥＳ）、ユーザは、パラメータ設定装置４の操作部（不図示）を用いて性能パラメータを変更し、パラメータ変更受付部４１が変更を受け付ける（ステップＳ４０１）。パラメータ設定装置４が受け付けたパラメータ変更は、テスト対象システム２に送信され、テスト対象システム２でパラメータが変更される（ステップＳ２０７）。そして、再び負荷テストを実施する（ステップＳ１０１）。

一方、所望の性能を達成している場合には（ステップＳ１０５のＮＯ）、テスト対象システム２のパラメータ設定抽出部２３が、設定されたパラメータを抽出して（ステップＳ２０９）、パラメータ最終設定値としてテスト履歴記憶装置３のパラメータ設定記憶部３２へ記憶する（ステップＳ３０５）。
以上により、テスト結果記憶部３１には負荷テスト結果の履歴が記憶され、パラメータ設定記憶部３２には各テスト実施時のパラメータ設定が記憶される。

次に、設定ミスの可能性のあるパラメータ設定を抽出するための動作を、図６および図８を用いて説明する。
図８は、設定ミス抽出時の動作を示すフローチャートである。
なお、本フローの設定装置５０の処理は、ｉ＝１から（パラメータ変更回数−１）まで、ループ処理を繰り返す。
まず、評価装置５０のテスト結果評価部５１が、テスト履歴記憶装置３のテスト結果記憶部３１を参照し（ステップＳ３１１）、１回目と２回目のテスト結果の差異、たとえば変化の度合いを計算する（ステップＳ５０３）。さらに、テスト結果評価部５１が、計算された値と予め定められた値とを比較し、予め定められた値以上に差異がみられない場合、もしくは、性能が悪くなる方向へ変化した場合には（ステップＳ５０５のＹＥＳ）、２回目に行ったパラメータ変更が効果を示していないとみなし、ステップＳ５０７に進む。そして、変更パラメータ抽出部５３が、テスト履歴記憶装置３のパラメータ設定記憶部３２を参照し（ステップＳ３１３）、１回目と２回目のテストでのパラメータ設定を比較して変更されたパラメータ名とパラメータ値を抽出する（ステップＳ５０７）。

さらに、パラメータ設定ミス候補抽出部５４が、パラメータ最終設定値をパラメータ設定記憶部３２から取り出して、ステップＳ５０７で抽出されたパラメータ設定と比較する（ステップＳ５０９）。パラメータ設定が同じ値であれば（ステップＳ５１１のＹＥＳ）、設定確認装置６の提示部６１へとパラメータ設定を送信する。そして、設定確認装置６の提示部６１が評価装置５０から受信したパラメータ設定を表示する（ステップＳ６０１）。そのあと、ステップＳ５０１に戻り、２回目と３回目のテスト結果の評価を開始する（ステップＳ５０３）。以後、パラメータを変更してテストを実行した回数分、すなわち、｛全テスト回数−１｝回分、ステップＳ５０１〜ステップＳ５１１を繰り返す。

なお、ステップＳ５０５において予め定められた値以上に差異がみられる場合、すなわち、性能改善があった場合には（ステップＳ５０５のＮＯ）、２回目に行ったパラメータ変更が効果を示したとみなして、ステップＳ５０７以降の処理を省略し、ステップＳ５０１に戻り、２回目と３回目のテスト結果の差異を計算する（ステップＳ５０３）。

また、ステップＳ５１１において抽出されたパラメータ設定とパラメータ最終設定値が異なっていれば（ステップＳ５１１のＮＯ）、効果のなかったパラメータ変更が元に戻されているとみなして、ステップＳ５１１以降の処理を省略し、ステップＳ５０１に戻り、次の２回目と３回目のテスト結果の差異を計算する（ステップＳ５０３）。

上記のように、ステップＳ５０３からステップＳ５１１までの処理を｛全テスト回数−１｝回実施することで、性能改善に効果がなかったが、実運用環境へそのままの値でリリースされたパラメータ設定の値を抽出して表示することができる。

以上説明したように、本発明の実施の形態に係るシステムパラメータ設定支援システムによれば、上記実施形態と同様な効果を奏するとともに、負荷テスト結果を比較して効果の低い性能パラメータ設定を抽出し、ユーザに提示することができる。
実運用環境で性能問題が発生した時には、通常、システムのすべてのパラメータを点検して、発生した性能問題との関係を確認する作業が発生するが、本実施の形態を用いることにより、点検する性能パラメータを予め絞り込むことができる。このため性能問題の原因追求と対処を迅速化することが可能となる。

また、実運用環境で運用開始する前に本実施の形態を用いることにより、実運用環境へ移行する前に性能パラメータ設定のミスを検出できるため、実運用環境でのＩＴシステムの信頼性を高めることができる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
たとえば、本発明は、負荷テストとパラメータ確認を実現するプログラムや、ＩＴシステムの運用監視と性能障害発生時の原因探索を実現するプログラムといった用途にも適用できる。
あるいは、本発明は、ＷｅｂシステムやオンラインシステムのようなＩＴシステムにおいて性能問題が発生した時に、ＩＴシステムのパラメータ設定から性能障害の原因の可能性のあるパラメータ設定値を絞り込み、性能障害の原因の究明に使用することもできる。

また、上記実施形態では、予め定めた指標以上の効果が得られなかった時に変更されたパラメータ設定を抽出する構成としたが、予め定めた指標以上の効果が得られた時に変更されたパラメータ設定を抽出する構成とすることもできる。
すなわち、評価装置の変更パラメータ抽出部は、テスト結果評価部が予め定めた指標以上の効果が得られたと評価したテスト結果に対応するテストを抽出し、抽出されたテスト時に変更があったパラメータを抽出することができる。

この構成によれば、たとえば、既に運用中のシステムで適切に動作し、よい性能が得られている場合、パラメータ設定を他の同様なシステムに適用させることなどができる。

実施例１
以下、本発明のシステムパラメータ設定支援システムの実施例について説明する。
まず、本実施例において、負荷テストを実施して所望の性能を満たすパラメータ設定を見つけ出すまでの具体的な動作について、図６、図７、図９乃至図１１を用いて説明する。
図１０は、本発明の実施例のシステム設定支援システムの負荷テスト結果記憶部の構成の一例を示す図である。図１１は、本発明の実施例のシステム設定支援システムのパラメータ設定記憶部の構成の一例を示す図である。

まず、テスト装置１のテスト実施部１１が、図９に示すように、閑散期（秒間１リクエスト）、通常期（秒間１０リクエスト）、ピーク時（秒間１００リクエスト）の３つのテストケースを実施する（ステップＳ１０１）。テスト対象システム２のテスト処理部２１が、受け取ったリクエストを処理する（ステップＳ２０１）。テスト対象システム２のテスト結果計測部２２が、リクエストに対する応答時間を計測する（ステップＳ２０３）。ここでは図１０に示すように、１回目のテストの計測結果は、閑散期ケースでは１００ｍｓｅｃ、通常期ケースには１３０ｍｓｅｃ、ピーク時ケースには８００ｍｓｅｃを示したとする。テスト結果計測部２２は、これらの値をテスト履歴記憶装置３のテスト結果記憶部３１に記憶する（ステップＳ３０１）。

また、テスト対象システム２のパラメータ設定抽出部２３が、テスト処理部２１がテストを実施したときのパラメータ設定を抽出し、図１１の１回目に示すようにヒープメモリサイズ６４Ｍ、最大スレッド数４０、ＤＢ最大接続数１０という値を取得する（ステップＳ２０５）。そして、テスト履歴記憶装置３のパラメータ設定記憶部３２へ記憶する（ステップＳ３０３）。

次にテスト装置１のテスト結果表示部１２が、テスト処理部２１が実施した図１０に示す１回目のテスト結果を表示する（ステップＳ１０３）。ここで、性能要求値として応答時間４００ｍｓｅｃ以下とすると、今回のテスト結果ではピーク時ケース８００ｍｓｅｃが要求を満たしていないので（ステップＳ１０５のＹＥＳ）、ユーザは、操作部を用いてパラメータの最大スレッド数を２０に変更し、パラメータ設定装置４のパラメータ変更受付部４１が受け付けたとする（ステップＳ４０１）。

変更したパラメータの効果を評価するために、テスト装置１のテスト実施部１１が、リクエストして（ステップＳ１０１）、テスト対象システム２のテスト処理部２１がリクエストを処理して負荷テストを実施する（ステップＳ２０１）。テスト対象システム２のテスト結果計測部２２が、リクエストに対する応答時間を計測する（ステップＳ２０３）。その結果、ここでは図１０に示すように、２回目のテストの計測結果は、閑散期ケースでは１０３ｍｓｅｃ、通常期ケースには１２０ｍｓｅｃ、ピーク時ケースには７８０ｍｓｅｃを示したとする。テスト結果計測部２２は、これらの値をテスト履歴記憶装置３のテスト結果記憶部３１に記憶する（ステップＳ３０１）。

また、テスト対象システム２のパラメータ設定抽出部２３が、テスト処理部２１が２回目にテストを実施したときのパラメータ設定を抽出する（ステップＳ２０５）。このとき抽出されたパラメータ設定は、図１１の２回目に示すとおりとする。そして、パラメータ設定抽出部２３が、このときのパラメータ設定をテスト履歴記憶装置３のパラメータ設定記憶部３２へ記憶する（ステップＳ３０３）。

しかし、２回目のテスト結果でもピーク時ケース７８０ｍｓｅｃが性能要求値４００ｍｓｅｃ以下ではないので、結果に問題ありとして（ステップＳ１０５のＹＥＳ）、ユーザは、操作部を用いてパラメータＤＢ最大接続数を５０に変更し、パラメータ設定装置４のパラメータ変更受付部４１が受け付けたとする（ステップＳ４０１）。なお、ここでは最大スレッド数を２０のままとする。パラメータ設定装置４が受け付けたパラメータ変更は、テスト対象システム２に送信され、テスト対象システム２でパラメータが変更される（ステップＳ２０７）。

再び、変更したパラメータの効果を評価するために、テスト装置１のテスト実施部１１がリクエストして（ステップＳ１０１）、テスト対象システム２のテスト処理部２１がリクエストを処理して負荷テストを実施する（ステップＳ２０１）。テスト対象システム２のテスト結果計測部２２が、リクエストに対する応答時間を計測する（ステップＳ２０３）。その結果、ここでは図１０に示すように、３回目のテストの計測結果は、閑散期ケースでは９８ｍｓｅｃ、通常期ケースには１２３ｍｓｅｃ、ピーク時ケースには３０４ｍｓｅｃを示したとする。テスト結果計測部２２は、これらの値をテスト履歴記憶装置３のテスト結果記憶部３１に記憶する（ステップＳ３０１）。

また、パラメータ設定抽出部２３が、テスト処理部２１が３回目にテストを実施したときのパラメータ設定を抽出する（ステップＳ２０５）。このとき抽出されたパラメータ設定は、図１１の３回目に示すとおりとする。そして、パラメータ設定抽出部２３が、テスト履歴記憶装置３のパラメータ設定記憶部３２へ記憶する（ステップＳ３０３）。

ここで、３回目のテスト結果はすべてのテストケースで性能要求値４００ｍｓｅｃ以下を満たしているので、結果に問題なしとして（ステップＳ１０５のＮＯ）、ここで負荷テストを終了する。このときのテスト対象システム２のパラメータ設定抽出部２３が、このときのパラメータ設定を抽出し（ステップＳ２０９）、抽出したパラメータをパラメータ最終設定値として、テスト履歴記憶装置３のパラメータ設定記憶部３２に記憶する（ステップＳ３０５）。

次に、変更ミスの可能性のあるパラメータ設定を抽出するための具体的な実施例を、図６、図８、および図１１乃至図１３を参照して説明する。
図１２は、本発明の実施例のシステム設定支援システムにおけるテスト結果の一例を示す図である。図１３は、本発明の実施例のシステム設定支援システムにおける性能パラメータの比較結果の一例を示す図である。

まず、評価装置５０のテスト結果評価部５１が、テスト１回目と２回目のテスト結果の差異として、変化率を計算する（ステップＳ５０１、Ｓ５０３）。その結果は図１２（ａ）に示すように、閑散期ケースでは＋３．０％、通常期ケースでは−７．７％、ピーク時ケースでは−２．５％となった。本実施例では−２０％以下の改善がみられた場合にパラメータ変更の効果があったとみなすものとする。テスト１回目と２回目のテスト結果の変化率はすべて−２０％以上であるため、２回目の評価のために変更したパラメータ設定は特に効果がなかったと判断する（ステップＳ５０５のＹＥＳ）。

次に、変更パラメータ抽出部５３が、１回目と２回目のテストでのパラメータ設定を比較して変更されたパラメータ名とパラメータ値を抽出する（ステップＳ５０７）。パラメータが、図１３（ａ）に示すようにテストの２回目に、最大スレッド数を４０から２０に変更されていることが確認できる。このパラメータ設定が実運用環境でも利用されているかどうかを確認するために、パラメータ設定ミス候補抽出部５４が、パラメータ最終設定値をパラメータ設定記憶部３２から取り出して、ステップＳ５０７で抽出されたパラメータ設定と比較する（ステップＳ５０９）。

図１１に示すように、パラメータ最終設定値と比較すると、図１３（ｂ）に示すように２回目のパラメータとパラメータ最終設定値が同値であることが確認できる（ステップＳ５１１のＹＥＳ）。すなわち、効果のなかったパラメータ変更がそのまま実運用環境にもリリースされていることから、このパラメータにより問題が発生する可能性が高いため、設定確認装置６の提示部６１が、パラメータ名「最大スレッド数」とパラメータ値「２０」を表示する（ステップＳ６０１）。たとえば、図１３（ｂ）のように、設定ミス候補のパラメータのパラメータ名と、設定が変更される前のパラメータ値と、設定が変更された後のパラメータ値と、最終設定値と、を含む一覧を画面に表示してもよい。これにより、設定ミス候補のパラメータがどのパラメータで、どの値に設定を戻せばよいかをユーザに通知することができる。
そして、２回目と３回目の比較に移る（ステップＳ５１３、Ｓ５０１）。

ステップＳ５０１に戻り、テスト２回目と３回目のテスト結果の変化率を計算する（ステップＳ５０３）。その結果は図１２（ｂ）に示すように、閑散期ケースでは−４．９％、通常期ケースでは−２．５％、ピーク時ケースでは−６１．０％となった。ここではピーク時ケースで−２０％以下の改善がみられるため、パラメータ変更の効果があったものと判断する（ステップＳ５０５のＮＯ）。よって、ステップＳ５０７以降のパラメータ変更の確認は行わずに、ステップＳ５０１に戻り、次の処理へと移る。本実施例では、１回目から３回目までのすべてのテスト結果の比較を終了したため、ここでパラメータ抽出処理を完了する。

以上の結果、設定確認装置６の提示部６１には、パラメータ名の「最大スレッド数」とパラメータ値「２０」がパラメータ設定ミス候補として表示される。もし、他にもパラメータ設定ミス候補が検出された場合には、たとえば、図１３（ｂ）に示すような一覧にレコードを追加して表示することができる。ユーザは、表示された画面でパラメータ設定ミス候補を確認し、必要に応じてパラメータ設定装置４でパラメータ設定を元に戻す操作を行うことができる。

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
時系列に順次テストを実施し、前記テストの各回のテスト結果を考慮してパラメータをチューニングするシステムパラメータ設定支援装置が、
時系列に順次実施された前記テストの各回において、前回とのテスト結果を比較してその変化を算出し、
前記テスト結果の前記変化に基づき、予め定めた指標以上の効果が得られないテストを抽出し、
抽出された前記テスト時に変更があったパラメータを抽出するシステムパラメータ設定支援装置のデータ処理方法。
（付記２）
付記１に記載のシステムパラメータ設定支援装置のデータ処理方法において、
前記システムパラメータ設定支援装置が、さらに、
前記テスト後、前記パラメータの変更が検知された前記変更があったパラメータの設定値と前記パラメータの最終設定値とを比較して、同値であるか否かを判定するシステムパラメータ設定支援装置のデータ処理方法。
（付記３）
付記１または付記２に記載のシステムパラメータ設定支援装置のデータ処理方法において、
前記システムパラメータ設定支援装置が、さらに、抽出された前記変更があったパラメータのパラメータ名と設定値をユーザに提示するシステムパラメータ設定支援装置のデータ処理方法。
（付記４）
付記２に記載のシステムパラメータ設定支援装置のデータ処理方法において、
前記システムパラメータ設定支援装置が、さらに、前記パラメータの最終設定値と同値であると判定されたパラメータをパラメータ設定ミス候補として、抽出するシステムパラメータ設定支援装置のデータ処理方法。
（付記５）
付記４に記載のシステムパラメータ設定支援装置のデータ処理方法において、
システムパラメータ設定支援装置が、さらに、抽出した前記パラメータ設定ミス候補について、そのパラメータ名と設定値をユーザに提示するシステムパラメータ設定支援装置のデータ処理方法。

（付記６）
時系列に順次テストを実施し、前記テストの各回のテスト結果を考慮してパラメータをチューニングするシステムパラメータ設定支援装置を実現するコンピュータに、
時系列に順次実施された前記テストの各回において、前回とのテスト結果を比較してその変化を算出する手順、
前記テスト結果の前記変化に基づき、予め定めた指標以上の効果が得られないテストを抽出する手順、
抽出された前記テスト時に変更があったパラメータを抽出する手順を実行させるためのプログラム。
（付記７）
付記６に記載のプログラムにおいて、
前記テスト後、前記パラメータの変更が検知された前記変更があったパラメータの設定値と前記パラメータの最終設定値とを比較して、同値であるか否かを判定する手順をコンピュータにさらに実行させるためのプログラム。
（付記８）
付記６または付記７に記載のプログラムにおいて、
抽出された前記変更があったパラメータのパラメータ名と設定値をユーザに提示する手順をコンピュータにさらに実行させるためのプログラム。
（付記９）
付記７に記載のプログラムにおいて、
前記パラメータの最終設定値と同値であると判定されたパラメータをパラメータ設定ミス候補として、抽出する手順をコンピュータにさらに実行させるためのプログラム。
（付記１０）
付記９に記載のプログラムにおいて、
抽出した前記パラメータ設定ミス候補について、そのパラメータ名と設定値をユーザに提示する手順をコンピュータにさらに実行させるためのプログラム。

この出願は、２０１１年８月４日に出願された日本出願特願２０１１−１７０７０１号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (10)

1. 時系列に順次テストを実施し、前記テストの各回のテスト結果を考慮してパラメータをチューニングするシステムパラメータ設定支援システムであって、
   時系列に順次実施された前記テストの各回において、前回とのテスト結果を比較してその変化を算出し、算出した前記テスト結果の前記変化に基づき、予め定めた指標以上の効果が得られたか否かを評価するテスト結果評価手段と、
   前記テスト結果評価手段が前記予め定めた指標以上の効果が得られないと評価したテスト結果に対応するテストを抽出し、抽出された前記テスト時に変更があったパラメータを抽出する変更パラメータ抽出手段と、
   を備えるシステムパラメータ設定支援システム。
2. 請求項１に記載のシステムパラメータ設定支援システムにおいて、
   前記テスト後、前記パラメータの最終設定値と前記変更パラメータ抽出手段が抽出した前記変更があったパラメータの設定値とを比較して、同値であるか否かを判定する判定手段をさらに備えるシステムパラメータ設定支援システム。
3. 請求項１または２に記載のシステムパラメータ設定支援システムにおいて、
   前記変更パラメータ抽出手段が抽出した前記変更があったパラメータのパラメータ名と設定値をユーザに提示する変更パラメータ提示手段をさらに備えるシステムパラメータ設定支援システム。
4. 請求項２に記載のシステムパラメータ設定支援システムにおいて、
   前記判定手段が前記パラメータの前記最終設定値と同値であると判定した前記パラメータをパラメータ設定ミス候補として抽出するパラメータ設定ミス候補抽出手段をさらに備えるシステムパラメータ設定支援システム。
5. 請求項４に記載のシステムパラメータ設定支援システムにおいて、
   前記パラメータ設定ミス候補抽出手段が抽出した前記パラメータ設定ミス候補について、そのパラメータ名と設定値をユーザに提示するパラメータ設定ミス候補提示手段をさらに備えるシステムパラメータ設定支援システム。
6. 時系列に順次テストを実施し、前記テストの各回のテスト結果を考慮してパラメータをチューニングするシステムパラメータ設定支援装置が、
   時系列に順次実施された前記テストの各回において、前回とのテスト結果を比較してその変化を算出し、
   前記テスト結果の前記変化に基づき、予め定めた指標以上の効果が得られないテストを抽出し、
   抽出された前記テスト時に変更があったパラメータを抽出するシステムパラメータ設定支援装置のデータ処理方法。
7. 請求項６に記載のシステムパラメータ設定支援装置のデータ処理方法において、
   前記システムパラメータ設定支援装置が、さらに、
   前記テスト後、前記パラメータの変更が検知された前記変更があったパラメータの設定値と前記パラメータの最終設定値とを比較して、同値であるか否かを判定するシステムパラメータ設定支援装置のデータ処理方法。
8. 請求項７に記載のシステムパラメータ設定支援装置のデータ処理方法において、
   前記システムパラメータ設定支援装置が、さらに、前記パラメータの最終設定値と同値であると判定されたパラメータをパラメータ設定ミス候補として、抽出するシステムパラメータ設定支援装置のデータ処理方法。
9. 時系列に順次テストを実施し、前記テストの各回のテスト結果を考慮してパラメータをチューニングするシステムパラメータ設定支援装置を実現するコンピュータに、
   時系列に順次実施された前記テストの各回において、前回とのテスト結果を比較してその変化を算出する手順、
   前記テスト結果の前記変化に基づき、予め定めた指標以上の効果が得られないテストを抽出する手順、
   抽出された前記テスト時に変更があったパラメータを抽出する手順を実行させるためのプログラム。
10. 請求項９に記載のプログラムにおいて、
    前記テスト後、前記パラメータの変更が検知された前記変更があったパラメータの設定値と前記パラメータの最終設定値とを比較して、同値であるか否かを判定する手順をコンピュータにさらに実行させるためのプログラム。

Images