JP6007906B2 - システム性能予測方法、情報処理装置およびその制御プログラム - Google Patents

Description

本発明は、対象とするシステムの実際の振る舞い（挙動）を反映した性能予測を行う技術に関する。

上記技術分野において、特許文献１（特開２０００−２９８５９３号公報）では、マルチタスク環境における並列計算機のスループットやレスポンス、リソース使用率などの性能指標を、並列計算機システムを待ち行列モデルに変換することで予測する方法が提案されている。この待ち行列モデルによる予測においては、構築するシステムに関するパラメータ（例えば、１リクエストあたりの処理時間（Ｄｅｍａｎｄ）など）が事前に与えられているものとし、そのパラメータを用いて予測が行われる。

係るパラメータを調整する技術として、特許文献２では、アプリケーションと、このアプリケーションに対応するアプリケーションモデルのログ出力とを比較する。そして、特許文献２では、係るアプリケーションモデルのパラメータを自動的に調整すると共に、調整済みのパラメータを、当該アプリケーションモデル（以下、単に「モデル」と略称する場合がある）に反映する。即ち、特許文献２には、アプリケーションの実行環境に応じた適当なパラメータを選ぶことにより、そのアプリケーションの性能予測の精度を向上する方法が提案されている。

また、特許文献３においては、サーバ計算機システム全体をブラックボックス化して、計測トランザクションを与えて、待ち行列網によるモデルとは異なる単純確立計算で同時処理数を推定する。

特開２０００−２９８５９３号公報 特開２００２−２１５４２３号公報 特開平１０−１８７４９５号公報

しかしながら、上記特許文献１では、事前に与えられた値と、実際に構築した対象システム（即ち、性能予測の対象とすべきシステム）における値とが異なることがある。そのため、上記特許文献１では、係るアプリケーションモデルを用いて予測した性能指標と、実際に構築した当該対象システムの性能指標との間に差異が生じるという問題がある。

また、特許文献２（特開２００２−２１５４２３号公報）に記載された方法は、対象システムをシミュレーションすることを目的としており、既知の情報に基づいて作成されたモデルのパラメータを調整する。このため、係る特許文献２に記載された技術は、作成済みのモデルにおけるパラメータの調整手法を開示するに留まる。

また、特許文献３（特開平１０−１８７４９５号公報）は、対象システム全体をブラックボックスに置き換えてモデルの評価データを推定する手法を開示する。即ち、特許文献３において、評価対象のモデルは、係る特許文献２と同様に、既知の情報に基づいて作成された対象システムのシミュレーションモデルである。したがって、特許文献３によっても、モデルを用いて予測した性能指標と、実際に構築した対象システムの性能指標との間に差異が生じるという問題を解決することはできない。

本発明の主たる目的は、上述の課題を解決する技術を提供することにある。

上記目的を達成するため、本発明に係る情報処理装置は、
性能予測の対象である性能予測対象システムの入力および出力を計測する入出力計測手段と、
複数の部位モデルにより構成された前記性能予測対象システムのシステムモデルについて、指定された部位モデルを該部位モデルの入力と出力とに接続されたブラックボックスに置き換える調整部位置換手段と、
前記調整部位置換手段によって前記指定された部位モデルをブラックボックスに置き換えた前記性能予測対象システムのシステムモデルに基づいて、前記入出力計測手段が計測した入力に対して、前記システムモデルの予測出力を算出する予測出力算出手段と、
前記入出力計測手段が計測した前記性能予測対象システムの出力と、前記予測出力算出手段が算出した前記システムモデルの予測出力との差がより小さくなるように、前記ブラックボックスにおける入力と出力との関係を調整するモデル調整手段と、
を備えることを特徴とする。

上記目的を達成するため、本発明に係るシステム性能予測方法は、情報処理装置によって、
性能予測の対象とする性能予測対象システムの入力および出力を計測し、
複数の部位モデルにより構成された前記性能予測対象システムのシステムモデルについて、指定された部位モデルを該部位モデルの入力と出力とに接続されたブラックボックスに置き換え、
前記置き換えに際して、前記指定された部位モデルをブラックボックスに置き換えた前記性能予測対象システムのシステムモデルに基づいて、前記性能予測対象システムについて計測した前記入力に対して前記システムモデルの予測出力を算出し、
前記性能予測対象システムについて計測した前記出力と、算出した前記システムモデルの前記予測出力との差がより小さくなるように、前記ブラックボックスにおける入力と出力との関係を調整することを特徴とする。

上記目的を達成するため、本発明に係る制御プログラム（コンピュータ・プログラム）は、
性能予測の対象である性能予測対象システムの入力および出力を計測する入出力計測機能と、
複数の部位モデルにより構成された前記性能予測対象システムのシステムモデルについて、指定された部位モデルを該部位モデルの入力と出力とに接続されたブラックボックスに置き換える調整部位置換機能と、
前記調整部位置換機能によって前記指定された部位モデルをブラックボックスに置き換えた前記性能予測対象システムのシステムモデルに基づいて、前記入出力計測機能によって計測した前記入力に対して、前記システムモデルの予測出力を算出する予測出力算出機能と、
前記入出力計測機能によって計測した前記性能予測対象システムの前記出力と、前記予測出力算出機能によって算出した前記システムモデルの予測出力との差がより小さくなるように、前記ブラックボックスにおける入力と出力との関係を調整するモデル調整機能と、
をコンピュータに実行させることを特徴とする。

更に、上記目的を達成するため、本発明に係るシステム性能予測方法は、情報処理装置によって、
性能予測の対象である性能予測対象システムの入力および出力を計測し、
複数の部位モデルにより構成された前記性能予測対象システムのシステムモデルについて、指定された部位モデルを該部位モデルの入力と出力とに接続されたブラックボックスに置き換え、
前記置き換えに際して、前記指定された部位モデルをブラックボックスに置き換えた前記性能予測対象システムのシステムモデルに基づいて、前記性能予測対象システムについて計測した前記入力に対して前記システムモデルの予測出力を算出し、
前記性能予測対象システムについて計測した前記出力と、算出した前記システムモデルの前記予測出力との差がより小さくなるように、前記ブラックボックスにおける入力と出力との関係を調整し、
前記ブラックボックスの調整により、前記性能予測対象システムについて計測した前記出力と、前記システムモデルの前記予測出力との差が最も小さくなった場合に、前記システムモデルについて算出した前記予測出力を、前記性能予測対象システムの性能予測結果とする、ことを特徴とする。

更に同目的は、上記構成を有する方法、装置、並びにコンピュータ・プログラムだけでなく、更には係るコンピュータ・プログラムが格納されている、コンピュータ読み取り可能な記憶媒体によっても達成される。

本発明によれば、性能予測の対象システムの実際の振る舞いを反映した性能予測を行うことができる。

本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第２実施形態に係る情報処理装置の機能構成を示すブロック図である。 本発明の第２実施形態の第１実施例に係る部位モデルをブラックボックスに置き換えるシステムモデルを概念的に説明する図である。 本発明の第２実施形態の第２実施例に係る部位モデルをブラックボックスに置き換えるシステムモデルを示す図である。 本発明の第２実施形態の第２実施例に係る部位モデルをブラックボックスに置き換えるシステムモデルを示す図である。 本発明の第２実施形態の第２実施例に係る部位モデルをブラックボックスに置き換えるシステムモデルを示す図である。 本発明の第２実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 本発明の第２実施形態に係るシステムモデル・データベースの構成を概念的に示す図である。 本発明の第２実施形態に係るブラックボックス・データベース、モデル調整アルゴリズムおよびモデル調整条件の構成を示す図である。 本発明の第２実施形態に係る情報処理装置の制御手順を示すフローチャートである。 本発明の第３実施形態に係る情報処理装置の機能構成を示すブロック図である。 本発明の第４実施形態に係る情報処理装置の機能構成を示すブロック図である。 本発明の第５実施形態に係る情報処理装置の機能構成を示すブロック図である。 本発明の第５実施形態に係る置換順序データの第１構成を示す図である。 本発明の第５実施形態に係る置換順序データの第２構成を示す図である。 本発明の第５実施形態に係るブラックボックスの置換順序例を示す図である。 本発明の第５実施形態に係る情報処理装置のハードウェア構成を示すブロック図。 本発明の第５実施形態に係るシステムモデル・データベースの構成を示す図である。 本発明の第５実施形態に係る情報処理装置の制御手順を示すフローチャートである。 本発明の第６実施形態に係る情報処理システムの構成を示すブロック図である。

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。

[第１実施形態]
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。図１は、本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。情報処理装置１００は、性能予測の対象とする性能予測対象システムのシステムモデルを生成する装置である。

図１に示すように、情報処理装置１００は、入出力計測部１０１と、調整部位置換部１０２と、予測出力算出部１０３と、モデル調整部１０４とを含む。

入出力計測部１０１は、性能予測対象システム１１０の入力および出力を計測する。ここで、性能予測対象システム１１０は、情報処理装置１００を用いて性能を予測すべき対象である。図１に破線で示すシステムモデル１０５は、係る性能予測対象システム１１０に対応するモデルである。このシステムモデル１０５は、図１に概念的に例示する如く、複数の部位モデル１０５ａにより構成される。

調整部位置換部１０２は、係るシステムモデル１０５について、指定された部位モデル１０５ａを、部位モデル１０５ａの入力と出力とに接続されたブラックボックス１０６ａに置き換える。図１に破線で示す置換モデル１０６は、調整部位置換部１０２において指定された部位モデル１０５ａが、ブラックボックス１０６ａに置き換えられた状態の、性能予測対象システム１１０の置換モデルを概念的に示している。

予測出力算出部１０３は、係る置換モデル１０６に基づいて、入出力計測部１０１が計測した入力（即ち、計測入力：measured input）１０１ａに関して、置換モデル１０６による予測出力（predicted output）１０３ａを算出する。

モデル調整部１０４は、入出力計測部１０１が計測した性能予測対象システム１１０の出力（即ち、計測出力：measured output）１０１ｂと、予測出力算出部１０３が算出した置換モデル１０６による予測出力１０３ａとの差がより小さくなるように、ブラックボックス１０６ａにおける入力と出力との関係を調整する。

本実施形態によれば、性能予測の対象システムの実際の振る舞いを反映した性能予測を行うことができる。

［第２実施形態］
次に、上述した第１の実施形態を基本とする本発明の第２実施形態に係る情報処理装置について説明する。本実施形態においては、システムモデルに含まれる部位モデルのうち、オペレータの指示などにより指定された部位モデルを、ブラックボックスに置き換える。そして、本実施形態においては、係るブラックボックスを含むシステムモデルに性能予測対象システムの計測入力を入力して、その予測出力を監視すると共に、性能予測対象システムの計測出力と予測出力との差が小さくなるように、当該ブラックボックスを調整する。

本実施形態によれば、オペレータの指示に応動してシステムモデルにおいて環境の変化などに起因して性能の変動が生じた場合であっても、その変動に応じて、当該指定された部位モデルを、適切なブラックボックスに置き換えることができる。このため、本実施形態によれば、迅速に性能予測の対象システムの実際の振る舞いを反映した性能予測を行うことができる。

《情報処理装置の機能構成》
図２は、本実施形態に係る情報処理装置２００の機能構成を示すブロック図である。

図２において、情報処理装置２００は、性能予測の対象とする性能予測対象システム２１０と、ネットワーク２２０を介して通信可能に接続されている。情報処理装置２００は、コンピュータ等の、プログラム（コンピュータ・プログラム／ソフトウェア・プログラム）に従って動作する装置である。

性能予測対象システム２１０は、本実施形態における性能予測の対象である。係る性能予測対象システム２１０は、１台、もしくは、複数台のコンピュータ等のプログラムに従って動作する装置で構成される。なお、複数台の装置で構成される場合は、それらの間の通信は、ネットワーク２２０を介して行ってもよいし、直接に接続された通信ケーブル等で行ってもよい。係るネットワーク２２０は、例えばインターネットなどでもよいし、あるいは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）でもよい。但し、ネットワーク２２０は、情報処理装置２００と性能予測対象システム２１０との間の通信を可能にする構成であれば何ら限定されない。

情報処理装置２００は、通信制御部２０１と、入出力計測部２０２と、性能予測部２０３と、モデル調整部２０４と、モデル蓄積部２０５と、調整部位置換部２０６と、置換部位受付部２０７と、を含む。

モデル蓄積部２０５は、性能予測対象システム２１０の性能指標の入力と出力との関係のシステムモデルを蓄積しているデータベース（以下、「ＤＢ」と標記する場合がある）である。ここで、入力とは、例えば、単位時間内にシステムが処理しなくてはならないリクエスト数などである。出力とは、例えば、システムのスループットや応答時間などである。しかし、係る入力及び出力は、これらに限定されるものではなく、独立変数と従属変数の関係としてモデルで記述できる場合には、その独立変数を入力とし、従属変数を出力としてよい。

通信制御部２０１は、ネットワーク２２０を介して性能予測対象システム２１０と通信する。入出力計測部２０２は、通信制御部２０１を介して性能予測対象システム２１０にアクセスし、性能予測対象システム２１０の入力および出力を計測する機能を備える。

置換部位受付部２０７は、オペレータによる操作により、ブラックボックスに置換する部位モデルの指定を受け付ける。例えば、オペレータの操作に従って、キーボード等の入力装置からブラックボックスに置き換える部位モデルを選択してもよい。また、コンピュータ等が備えているハードディスクドライブ（ＨＤＤ）等の記録媒体からブラックボックスに置き換えるべき部位モデルを獲得してもよい。また、インターネット等の通信網を介してサーバ等からブラックボックスに置き換えるべき部位モデルを獲得してもよい。調整部位置換部２０６は、置換部位受付部２０７により獲得した部位モデルを、ブラックボックスに置き換える。

なお、本実施形態におけるブラックボックスとは、学習や回帰などによって、入力に対して適当な出力を決定することができる仕組みである。例えば、係る仕組みは、ニューラルネットワークや隠れマルコフモデルなどで実現してもよいし、多項式関数などによる近似やノンパラメトリック回帰関数で実現してもよい。

性能予測部２０３は、調整部位置換部２０６によって指定された部位モデルをブラックボックスに置き換えたシステムモデルの入力と出力との関係を用いて、入出力計測部２０２が計測した性能予測対象システム２１０の入力に対して、システムモデルが予測する予測出力を算出する。

モデル調整部２０４は、入出力計測部２０２が計測した性能予測対象システム２１０の入力および出力と、性能予測部２０３が算出したブラックボックスを含むシステムモデルが予測する予測出力とを基に、係るブラックボックスを調整する。

《システムモデル》
次に、本実施形態におけるシステムモデルの例と、部位モデルのブラックボックスへの置き換えの例を示す。

（第１実施例）
図３Ａは、本発明の第２実施形態の第１実施例に係る部位モデルをブラックボックスに置き換えるシステムモデル３００を概念的に説明する図である。図３Ａの左側は、複数の部位モデル（モジュール３１１〜３１６）によって構成されたオリジナルのシステムモデル３１０である。図３Ａの右側は、係る複数の部位モデルのうち、１つの部位モデル（即ち、指定された部位モデル：モジュール３２３）を、ブラックボックスに置き換えたシステムモデル３２０を表す。

図３Ａに示される例において、モジュールとは、システムの部分的な要素を模倣したモデルであり、例えば、ＣＰＵ（Central Processing Unit）の振る舞いを模倣した待ち行列モデルなどが挙げられる。しかし、システムの各部分と一対一に対応する必要はなく、システムモデル３１０が性能予測対象システム２１０の振る舞いを模倣するのに必要な構成要素であればよい。

また、モジュールは、１つまたは１つ以上の入力を受け取って、規定された処理を施し、１つまたは１つ以上の出力を決定する。この規定された処理とは、ｙ＝ｅｘｐ（ｕ）（ここで、ｕは入力、ｙは出力）のように数式で表されるものでもよいし、待ち行列などでもよい。すなわち、受け取った入力に対して、あらかじめ定められた手順にのっとって、計算もしくはシミュレーションされ出力が決定するものであれば良く、係るモジュールは、これらの例示には限定されない。

図３Ａに示される例では、システムモデル３１０への入力は、まず、モジュール３１１に渡される。モジュール３１１は規定された処理を施し、その出力をモジュール３１２と３１３とに渡す。モジュール３１２と３１３とは、モジュール３１１から渡された出力を入力として規定された処理を施す。以下同様に、モジュール間での入出力が行われ、最終的にモジュール３１６の出力がシステムモデル３１０の出力になる。図３Ａに示される例では、入力および出力が一種類であるが、複数種類の入出力の場合もまったく同様に扱えることは自明である。

ブラックボックスに置き換える部位モデルの獲得は、例えば、図３Ａのように、システムモデルがグラフィカルに表示されている場合は、モジュールをクリックするというユーザの入力操作に従ってもよいし、各モジュールに識別可能なＩＤが割り当てられている場合には、そのＩＤの指定によってもよい。モジュールが一意に識別できる方法であれば、これらの例示に限定されるものではない。また、指定する部位モデルは複数であってもよい。

図３Ａに示す置換後のシステムモデル３２０においては、モジュール３１３がブラックボックス３２３に置き換えられている。本実施例では、このシステムモデル３２０を用いて、性能予測対象システム２１０についての計測した入力に基づいて予測出力を算出し、性能予測対象システム２１０について計測した出力と比較しながらブラックボックス３２３を調整する。

（第２実施例）
図３Ｂは、本発明の第２実施形態の第２実施例に係る部位モデルをブラックボックスに置き換えるシステムモデル３０１を示す図である。

図３Ｂは、Ｗｅｂサーバ３３０とアプリケーション・サーバ３４０とデータベース・サーバ３５０とからなるサーバシステムのシステムモデル３０１の例である。これらの各サーバは、ＣＰＵとディスクと、それらを繋ぐ待ち行列によってモデル化されるとする。

尚、以下の説明及び／または図面において、アプリケーション・サーバ３４０は「ＡＰサーバ」、データベース・サーバ３５０は「ＤＢサーバ」、ディスク（記憶装置）は「ＤＫ」と標記する場合がある。

Ｗｅｂサーバ３３０は、ＣＰＵ３３１と２つのＤＫ３３２，３３３と待ち行列を有する。ＡＰサーバ３４０は、ＣＰＵ３４１と２つのＤＫ３４２，３４３と待ち行列を有する。ＤＢサーバ３５０は、ＣＰＵ３５１と２つのＤＫ３５２，３５３と待ち行列を有する。

図３Ｃは、本発明の第２実施形態の第２実施例に係る部位モデルを、ブラックボックスに置き換えたシステムモデル３０２を示す図である。図３Ｃにおいては、上述した図３Ｂに示すシステムモデル３０１に含まれるＡＰサーバ３４０のＣＰＵ３４１が、ブラックボックス３７０（図３Ｃには“Ｂ・Ｂ”で示す）に置き換えられている。

図３Ｄは、本発明の第２実施形態の第２実施例に係る部位モデルを、ブラックボックスに置き換えるシステムモデル３０３を示す図である。図３Ｃにおいては、図３Ｂのシステムモデル３０１に含まれるＡＰサーバ３４０が、ブラックボックス３８０（図３Ｄには“Ｂ・Ｂ”で示す）に置き換えられている。

図３Ｃおよび図３Ｄに示す置換後のシステムモデル３０２および３０３を用いて、性能予測対象システムに対する計測した入力であるクライアント３６０からのアクセスに基づいて、性能予測対象システムからの応答である予測出力を算出する。性能予測対象システムに関して計測した出力と比較しながらブラックボックス３７０あるいは３８０を調整する。

《情報処理装置のハードウェア構成》
図４Ａは、本発明の第２実施形態に係る情報処理装置２００のハードウェア構成を示すブロック図である。

図４Ａにおいて、ＣＰＵ４１０は演算制御用のプロセッサであり、プログラムを実行することで、上述した図２に示す各機能構成を実現する。ＲＯＭ４２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。通信制御部２０１は、ネットワークを介して性能予測対象システムと通信する。

ＲＡＭ４４０は、ＣＰＵ４１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ４４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。４４１は、性能予測対象システム２１０（以下、「実システム」と称する場合がある）から送信された入力データ（計測した入力）である。４４２は、実システムから送信された出力データ（計測した出力）である。

４４３は、システムモデルから出力されるモデル予測出力データである。４４４は、実システムから送信された出力データ４４２とシステムモデルから出力されるモデル予測出力データ４４３との差分である出力データ差分である。４４５は、オペレータにより指示入力されたブラックボックスに置き換える部位モデルを指示する置換指示データである。

４４６は、性能予測対象システムのシステムモデルである。４４７は、置換指示データ４４５に従って部位モデルがブラックボックスに置換されたシステムモデルである。４４８は、部位モデルを置換する際に使用されたブラックボックスである。

ストレージ４５０は、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。即ち、４５１は、モデル蓄積部２０５を構成するシステムモデルＤＢである（図４Ｂ参照）。４５２は、部位モデルを置換するのに使用されたブラックボックスを蓄積するブラックボックスＤＢである。４５３は、部位モデルがブラックボックスに置き換えられたシステムモデルによりブラックモデルを調整する手順を示すモデル調整アルゴリズムである。４５４は、モデル調整アルゴリズム４５３に従ったブラックボックス調整における調整完了を判定するためのモデル調整条件である。

また、ストレージ４５０には、以下のプログラムが格納される。４５５は、全体の処理を実行させる情報処理プログラムである。４５６は、情報処理プログラム４５５において、実システムの入出力を計測する入出力計測モジュールである。４５７は、情報処理プログラム４５５において、部位モデルをブラックボックスに置換したシステムモデルにより、そのブラックボックスを制御する調整部位制御モジュールである。

入力インタフェース４６０は、オペレータによる操作やデータの入力をインタフェースする。入力インタフェース４６０には、例えば、キーボード４６１やマウス（登録商標）４６２、記憶媒体４６３が接続される。出力インタフェース４７０は、オペレータに対する操作入力指示や処理結果などの出力をインタフェースする。出力インタフェース４７０には、例えば、表示部４７１やプリンタ４７２が接続される。

なお、図４Ａには、本実施形態に必須なデータやプログラムのみが示されており、ＯＳ（Operating System）などの汎用のデータやプログラムは図示されていない。

（システムモデルＤＢ）
図４Ｂは、本発明の第２実施形態に係るシステムモデルＤＢ４５１の構成を概念的に示す図である。

システムモデルＩＤ４８１は、システムモデルを識別する識別子である。システムモデルＤＢ４５１は、システムモデルＩＤ４８１に対して、当該システムモデルが対象とするモデル対象４８２と、その特徴などを含む属性４８３と、システムモデルへの入力と出力とを示す入力／出力４８４とを関連付けて（紐付けして）格納する。さらに、システムモデルＤＢ４５１は、実際のシステムモデル４８５を含む。図４Ｂには、システムモデル４８５としてサーバの待ち行列モデルの一例を示している（図３Ｂ〜図３Ｄ参照）。

（ブラックボックスＤＢ、モデル調整アルゴリズムおよびモデル調整条件）
図４Ｃは、本実施形態に係るブラックボックスＤＢ４５２、モデル調整アルゴリズム４５３およびモデル調整条件４５４の構成を示す図である。

ブラックボックスを識別する識別子であるブラックボックスＩＤ４９１に関連付けて、ブラックボックス種別４９２が記憶される。同様に、ブラックボックスＩＤ４９１に関連付けて、モデル調整アルゴリズム４５３と、モデル調整条件４５４とが記憶される。

図４Ｃには、ブラックボックス種別４９２として、ニューラルネットワークや、マルコフモデル、多項式関数、あるいはルックアップテーブルなどが、その例として図示されているが、これに限定されない。例えば、ノンパラメトリック回帰関数なども含まれる。又、様々な性能予測対象システムに適応可能な種々のブラックボックスが準備されている。同じ種別についても複数準備されており、ブラックボックスの構造が異なるものや、モデル調整アルゴリズムが異なるものや、モデル調整条件が異なるものなど、が考えられる。

モデル調整アルゴリズム４５３としては、例えば、ブラックボックスがニューラルネットワークの場合は、調整するパラメータとして各シナプス荷重が選択され、その初期値や調整ステップが規定される。また、ブラックボックスが多項式近似の場合は、調整するパラメータとして各係数などが選択され、その初期値や調整順や調整ステップが規定される。初期値としては、ランダムな値が与えられてもよいし、あらかじめ、置き換えられる前の部位モデルの振る舞いを模倣するように値が与えられてもよい。

図４Ｃにおいては、ブラックボックス種別４９２として２つの“ニューラルネットワーク”が準備されており、これに関連付けられた状態で、モデル調整アルゴリズム４５３としては、それぞれ“バックプロパゲーションＡ”と“バックプロパゲーションＢ”が設定されている。また、図４Ｃにおいては、ブラックボックス種別４９２として２つの“マルコフモデル”が準備されており、これに関連付けられた状態で、モデル調整アルゴリズム４５３としては、一方には“強化学習”が設定され、他方には“遺伝的アルゴリズム”が設定されている。更に、図４Ｃにおいては、ブラックボックス種別４９２として“多項式関数”が準備されており、これに関連付けられた状態で、モデル調整アルゴリズム４５３としては、“モンテカルロ法”が設定されている。なお、図４Ｃに示すブラックボックス種別４９２中の“ルックアップテーブル”は、データ収集機能を表すので、データを収集する際のステップ幅がモデル調整アルゴリズム４５３となる。

モデル調整条件４５４としては、例えば、性能予測対象システム２１０から計測された出力と、システムモデルが予測した予測出力とを比較し、その誤差があらかじめ定められた精度以下である場合に調整完了としてよい。すなわち、本実施形態では、係るモデル調整条件４５４が成立した場合に、ブラックボックスを含むシステムモデルが、あらかじめ定められた精度の範囲内で実システムの振る舞い（挙動）を予測できていると判断し、調整を完了する。

また、調整完了のタイミングとしては、以下の例が挙げられる。

・ある一定回数の調整を経ても上記誤差が変化しない、すなわち、調整が平衡状態にあるとみなせる場合、
・あらかじめ定められた回数の調整を行った場合。

尚、本実施形態では、上記種々のあらかじめ規定された条件が所定回数後にも満足されずに調整不可となった場合の条件として、他の部位モデルの置換に変更するか、或いはブラックボックス種別を変更するかなどの手順も記憶されてよい。

図４Ｃには、ニューラルネットワーク、マルコフモデル、多項式関数に対しては、性能予測対象システムの測定出力と、ブラックボックスを含むシステムモデルの予測出力との差分である誤差が、所定閾値以下になった場合の例を示している。図４Ｃにおいては、αとβとの２つの閾値があり、それぞれのブラックボックス種別とモデル調整アルゴリズムとに対応して適切な方が設定されている。なお、測定出力と予測出力との差分による条件判断であるので、全て同じ値にしても構わない。あるいは、性能予測対象システム２１０の種別や用途に対応して、モデル調整の精度を変えることも考えられる。

《情報処理装置の制御手順》
図５は、本発明の第２実施形態に係る情報処理装置２００の制御手順を示すフローチャートである。図４Ａに示すＣＰＵ４１０は、ＲＡＭ４４０を使用しながら、係るフローチャートに記載された手順を実行することにより、図２に示す各機能構成を実現する。

まず、ＣＰＵ４１０は、ネットワーク２２０を介して性能予測対象システム２１０にアクセスし、性能予測対象システム２１０の入力および出力を計測する（ステップＳ５０１）。

次に、ＣＰＵ４１０は、オペレータの入力操作に従ってシステムモデルＤＢ４５１が蓄積しているシステムモデルの、ブラックボックスに置換して調整する部位モデルの情報を獲得する（ステップＳ５０３）。なお、インターネット等の通信網を介したサーバ等からの命令に従って、ブラックボックスに置換して調整する部位モデルの情報を獲得してもよい。

次に、ＣＰＵ４１０は、指定された部位モデルを、ブラックボックスに置き換える（ステップＳ５０５）。

一例として、図３Ａに示されるシステムモデル３１０の中のモジュール３１３が指定された結果、モジュール３１３がブラックボックス３２３に置き換えられたとする。置き換えられたブラックボックス３２３は、モジュール３１１からの入力に応じて、モジュール３１５に出力を与える。なお、指定された部位モデルが複数の場合には、各モジュールをそれぞれブラックボックスに置き換えることになる。

次に、ＣＰＵ４１０は、部位モデルをブラックボックスに置き換えたシステムモデルの入力と出力との関係を用いて、性能予測対象システム２１０からステップＳ５０１にて入手した入力（計測した入力値）に対して、モデルが予測する予測出力を算出する（ステップＳ５０７）。

次に、ＣＰＵ４１０は、ブラックボックスの調整が終了したか否かをモデル調整条件４５４に基づいて判断する（ステップＳ５０９）。ブラックボックスの調整が終了したと判断した場合（ステップＳ５０９にてＹＥＳ）、ＣＰＵ４１０は処理を終了する。一方、調整終了でなければ（ステップＳ５０９にてＮＯ）、ＣＰＵ４１０は処理をステップＳ５１１に進める。ここで、ブラックボックスの調整の終了を判断するモデル調整条件４５４としては、図４Ｃを参照して上述した例の通りである。

そして、ＣＰＵ４１０は、性能予測対象システム２１０からステップＳ５０１にて入手した入力および出力（何れも計測結果）と、ステップＳ５０７において算出したシステムモデルの予測出力とを基に、モデル調整アルゴリズム４５３に従ってブラックボックスを調整する（ステップＳ５１１）。ＣＰＵ４１０は、ステップＳ５１１においてブラックボックスを調整した後、調整されたブラックボックスを含むモデルが予測する予測出力をステップＳ５０７において再び算出する。

即ち、本実施形態において、ブラックボックスの調整は、具体的には、性能予測対象システム２１０から入手した出力（計測した出力値）に、算出したシステムモデルの予測出力を近づけるように、学習または近似などの方法によってブラックボックスを調整する。例えば、性能予測対象システム２１０から入手した出力（計測した出力値）との差を評価関数とし、強化学習や遺伝的アルゴリズム、モンテカルロ法などによって、ブラックボックスのパラメータを補正する。例えば、ニューラルネットワークの場合は各シナプス荷重を補正する。多項式近似の場合は、各係数などを補正する。

このように本実施形態によれば、ブラックボックスの入出力（図３Ａの例の場合、モジュール３１２の入出力が相当する）に対応するシステムモデルの部分的な要素が直接計測できなくても、計測した実システムの出力と、モデルが予測する予測出力との差分を評価関数とすることで、ブラックボックスを調整することができる。

なお、ブラックボックスの入出力に対応するシステムモデルの部分的な要素が直接計測できる場合には、ブラックボックスの予測出力と、部分的な要素の出力の計測結果を近づけるために、バックプロパゲーションなどの教師有り学習や、最小二乗法などを用いるとよい。

［第３実施形態］
次に、上述した第１及び第２の実施形態を基本とする本発明の第３実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、ブラックボックスに置き換える部位モデルの指定を、オペレータなど外部から行なわずに、自装置内部で指定するという構成が上記第２実施形態と異なる。本実施形態においては、情報処理装置がシステムモデルの種別などに応じて、外部環境による影響がある部位や部位モデルに丸めが多い部位などを優先的にブラックボックスに置き換える。本実施形態によれば、オペレータの操作を簡素化して、迅速に性能予測の対象システムの実際の振る舞いを反映した性能予測を行うことができる。

《情報処理装置の機能構成》
図６は、本発明の第３実施形態に係る情報処理装置６００の機能構成を示すブロック図である。

図６に関しては、第２実施形態の図２と異なる部分についてのみ説明する。その他の構成および動作は、第２実施形態と同様であるため、同じ構成については同じ符号を付してその詳しい説明を本実施形態では省略する。

モデル調整部位指定部６０７は、システムモデルの種別などに応じて、外部環境による影響がある部位や、部位モデルに丸めが多い部位などを、優先的にブラックボックスに置き換えるべく、調整部位置換部２０６に対して、部位モデルを指定する情報を送る。

［第４実施形態］
次に、上述した第１及び第２の実施形態を基本とする本発明の第４実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、ブラックボックスの調整が完了した調整後に、システムモデルのモデルとしての妥当性を評価するという構成が上記第２実施形態と異なる。本実施形態によれば、ブラックボックスの調整が完了したシステムモデルが実システムのモデルとして不適切である場合に、不適切なシステムモデルによる性能予測を回避することができる。

《情報処理装置の機能構成》
図７は、本発明の第４実施形態に係る情報処理装置７００の機能構成を示すブロック図である。

図７に関しては、第２実施形態の図２と異なる部分についてのみ説明する。その他の構成および動作は、第２実施形態と同様であるため、同じ構成については同じ符号を付してその詳しい説明を本実施形態では省略する。

モデル妥当性評価部７０８は、ブラックボックスが調整された後のシステムモデルが、性能予測対象システム２１０に関する性能予測に使用するのに妥当か否かを評価する。そして、この評価の結果、妥当と判断された場合、情報処理装置７００は、当該調整後のシステムモデルを、性能予測対象システム２１０の性能予測に使用する。一方、係る評価の結果が妥当でないとの判断の場合、情報処理装置７００は、その判断結果をオペレータなどに報知する。

ここで、ブラックボックスが調整された後のモデルが妥当であるか否かは、例えば、次のように評価される。例えば、指定されたモジュールの一部をブラックボックスへ置き換えた場合には、指定されたモジュールの影響下でブラックボックスの調整が行われる。このように、ブラックボックスは、それを含むモジュールからの影響を強く受けて調整されるので、真に修正すべきモジュールを指定していれば、モデルと実際のシステムとの間における振る舞い（挙動）の齟齬（食い違い）は、そのモジュール内に閉じた状態であり、このような場合は当該モジュールの外部に影響が及ぶことはない。このため、この場合のブラックボックスは、比較的単純な構成になる。

逆に、真に修正すべきではないモジュールが指定されている場合は、モデルと実際のシステムとの振る舞いの齟齬は、そのモジュール外に現れる。このため、このような場合は、修正すべきではないモジュールに含まれるブラックボックスによってその齟齬を調整しようとする結果、ブラックボックスは複雑な構成になる。

従って、ブラックボックスの構成が単純であるほど、調整された後のモデルは妥当であると評価されてよい。ここで、ブラックボックスの構成が単純であるとは、たとえば、ブラックボックスが多項式関数であれば項の数が少ない、ニューラルネットワークであればニューロンやシナプスの数が少ない、などということを指す。これは、システムを構成するモジュールをブラックボックスに置き換えた場合にも適用できる。すなわち、上記モジュールをシステム全体に、上記モジュールの一部をモジュールに置き換えた状況であっても、上述と同様に、調整されたブラックボックスを含むシステムモデルの評価基準となる。

また、調整されたモデルが妥当であるかの評価には、モデルの良さを評価する一般的な指標である赤池情報量規準（ＡＩＣ）やベイズ情報量規準（ＢＩＣ）などを用いてもよい。

なお、評価基準は上記例に限定されず、ブラックボックスを含むシステムモデルの評価基準となるものであればよい。

［第５実施形態］
次に、上述した第１及び第２の実施形態などを基本とする本発明の第５実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、部位モデルをブラックボックスに順次置換すると共にシステムモデルを調整し、その調整したシステムモデルの中で適切な置換が行なわれたシステムモデルを評価し、評価結果をオペレータなどに提示する、という構成が、上述した実施形態における情報処理装置と異なる。

本実施形態によれば、どの部位モデルを修正すべきかを予め把握できていない場合においても、妥当に調整されたモデルが提示されるので、システムの実際の振る舞いを反映した性能予測を行うことができるモデルを得ることができる。さらに、本実施形態によれば、部位モデルの一部をブラックボックスに置き換える場合には、その部位モデルの影響を強く受けながらブラックボックスが調整される。モデルと実際のシステムの振る舞いの齟齬がその部位モデル内に閉じるか否かによって、調整されたモデルの妥当性は大きく異なる。よって、この性質を利用すれば、指定された部位モデルの調整が妥当かどうかの根拠が与えられる。

《情報処理装置の機能構成》
図８は、本発明の第５実施形態に係る情報処理装置８００の機能構成を示すブロック図である。

図８に関しては、第２実施形態の図２と異なる部分についてのみ説明する。その他の構成および動作は、第２実施形態と同様であるため、同じ構成については同じ符号を付してその詳しい説明を本実施形態では省略する。

モデル調整部位指定部８０７は、置換する部位モデルの順序を記憶する置換順序データ８０７ａを有する。モデル調整部位指定部８０７は、置換順序データ８０７ａに記憶された順序（順序を表す情報）に従って、調整部位置換部２０６に対して、ブラックボックスに置換する部位モデルあるいはその一部を指定する。

モデル妥当性評価部７０８は、第４実施形態と同様に、順次に置換されたブラックボックスが調整された後のそれぞれのシステムモデルが、性能予測対象システム２１０による性能予測に使用するのに妥当か否かを評価する。

調整モデル提示部８０９は、モデル妥当性評価部７０８の妥当性の評価の結果、妥当性の基準を超えたシステムモデルを提示する。提示方法としては、例えば、妥当性の基準を超えたシステムモデルを、その妥当性の評価値と共に一覧表示すればよい。また、他の提示方法としては、例えば、妥当性の評価が最も高いシステムモデルを提示してもよい。また、提示方法としては、例えば、ディスプレイ等の画面上に表示してもよいし、ハードディスクドライブ等の記憶装置（記録媒体）に記録してもよい。

（置換順序データ）
図９Ａは、本発明の第５実施形態に係る置換順序データ８０７ａの第１構成８０７ａ−１を示す図である。

第１構成８０７ａ−１には、図９Ａに示すように、置換順序９０１の順に、以下の各種情報が関連付けて記憶される。

・置換部位９０２：ブラックボックスに置換する部位を表す情報、
・ブラックボックス種別９０３：ブラックボックスの種別を表す情報、
・調整完了時データ９０４：調整が完了したブラックボックスの状態を示す情報、
・妥当性評価９０５：妥当性の評価結果を表す情報。

図９Ａには、図３Ａにおけるモジュールの選択順を示している。なお、調整完了時データ９０４と、妥当性評価９０５とは、別途、モデル妥当性評価部７０８や調整モデル提示部８０９が保持してもよい。

図９Ｂは、本発明の第５実施形態に係る置換順序データ８０７ａの第２構成８０７ａ−２を示す図である。

図９Ｂは、ブラックボックスに置換する部位が部位モデルのみでなく、その部位モデル内の一部である場合も含む例を示している。図９Ｂに示す例では、図３Ｂにおける各サーバのブラックボックスへの置換と、係るサーバ内に含まれる要素をブラックボックスに置換する場合を示している。図９Ｂに示す各項目において、図９Ａと同じ参照番号は同じ情報内容である。そして、図９Ｂにおいて追加された項目である“部位の部分”９０６は、同じ置換部位であるＡＰサーバ３４０の２つのＣＰＵ３４１とＤＫ３４２とを示している。

（ブラックボックスの置換順序例）
図１０は、本発明の第５実施形態に係るブラックボックスの置換順序例１０００を示す図である。図１０には、図３Ａにおけるモジュールの選択順を示している。

図１０の左側は、モジュール（部位モデル）３１１〜３１６の１つ１つを、順にブラックボックスに置換する例を表す。係る個々のモジュールを表す円（○印）内の数字順に、モジュール３１１〜３１６が置換される。図１０の右側は、複数のモジュール（部位モデル）からなる組み（ペア）も処理対象として含んだ状況において、順にブラックボックスに置換する例である。即ち、この場合、モジュールの円内の数字順に、１番目にモジュール３１１、２番目にモジュール（３１１,３１３）、３番目にモジュール３１３、４番目にモジュール３１２、５番目にモジュール３１５、６番目にモジュール３１４、そして７番目にモジュール（３１４，３１６）が置換される。

《情報処理装置のハードウェア構成》
図１１Ａは、本発明の第５実施形態に係る情報処理装置８００のハードウェア構成を示すブロック図である。

図１１Ａにおいて、ＣＰＵ１１１０は演算制御用のプロセッサであり、プログラムを実行することで図８に示す各機能構成を実現する。ＲＯＭ１１２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。通信制御部２０１は、ネットワークを介して性能予測対象システムと通信する。

ＲＡＭ１１４０は、ＣＰＵ１１１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１１４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。なお、図１１Ａにおいて、上述した第２実施形態において説明した図４と同様なデータには、同じ参照番号を付し、本実施形態における説明は省略する。

図１１Ａに示すＲＡＭ１４４０の内部には、更に、置換部位モデル１１４５および妥当性評価１４４９が一時記憶されている。この置換部位モデル１１４５は、現在（即ち、現時点において）ブラックボックスに置き換えられている部位モデルを表す情報である。妥当性評価１４４９は、ブラックボックスの調整が完了した後のシステムモデルの妥当性評価を表す情報である。

ストレージ１１５０は、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。なお、上述した第２実施形態において説明した図４と同様なデータには、同じ参照番号を付し、本実施形態における説明は省略する。１１５１は、本実施形態のシステムモデルＤＢ（図１１Ｂ参照）を示す。ストレージ１１５０には、以下のプログラムが格納される。１１５５は、全体の処理を実行させる情報処理プログラムを示す。１０５７は、ブラックボックスに置換する部位モデルを順に選択する機能を実現する調整部位選択モジュールを示す。

なお、図１１Ａには、本実施形態に必須なデータやプログラムのみが示されており、ＯＳなどの汎用のデータやプログラムは図示を省略している。

（システムモデルＤＢ）
図１１Ｂは、本発明の第５実施形態に係るシステムモデルＤＢ１１５１の構成を示す図である。本実施形態のシステムモデルＤＢ１１５１は、上述した図４Ｂに示すシステムモデルＤＢ４５１のデータ（４８１〜４８５）に加えて、システムモデルに対応するブラックボックス置換順序１１８６が記憶され、置換順序データ８０７ａとして使用される。

《情報処理装置の制御手順》
図１２は、本発明の第５実施形態に係る情報処理装置の制御手順を示すフローチャートである。図１１Ａに示した情報処理装置８００において、ＣＰＵ１１１０は、ＲＡＭ１４４０を使用しながら、係るフローチャートに記載した手順を実行することにより、図１１Ａに示す各機能構成を実現する。なお、図１２において、上述した第２実施形態における図５に示したフローチャートと同様な処理内容のステップ（即ち、ＣＰＵ４１０がＲＡＭ４４０を参照して実行するステップ）には、同じ参照番号を付し、本実施形態における説明は省略する。

即ち、本実施形態において、ＣＰＵ１１１０は、ステップＳ５０１において入力及び出力を計測した後、部位モデルを順番に指定する（ステップＳ１２０３）。ここで、指定する順序は、すべての部位モデルを含む必要はない。例えば、図３Ａに示す例において、モジュール３１１を調整する必要がないということが明らかに判っている場合には、モジュール３１１を順序に含まずに、残りのモジュール３１２〜３１６を順番に指定してもよい。順序は、例えば、各モジュールに割り当てられた識別可能なＩＤのアルファベット順などと定めてもよいし、各モジュールに優先度を割り当てて、その優先度の順などと定めてもよい。即ち、本実施形態において、ステップＳ１２０３に係る処理は、モジュールの順序が一意に識別できる方法であれば、これらの例示に限定されない。調整する部位が複数になる場合には、組み合わせによって順序が定められてよい。上記のようにモジュール３１１が調整する必要がないことがあらかじめ分かっている場合には、残りのモジュール３１２〜３１６から組み合わせを選ぶ。

図９Ｂにも一部示したように、調整する部位が２つ（３４１，３４２）の部位からなる組み合わせ（ペア）の場合には、次のペアは（３１２，３１４）、その次のペアは（３１２，３１５）というように順序が定められてよい。また、順序を定める場合に、調整する部位が１つ、２つ、３つというように特定の数に固定されないまま順序を定めてもよい。この場合には、調整する部位の数の上限は、あらかじめ定められた数で打ち切ってもよい。例えば、調整する部位の数を３つまでとすれば、上記のような順序になる。

次に、ＣＰＵ１１１０は、指定したモデルの部位モデルの一部をブラックボックスに置き換える（ステップＳ１２０５）。一例として、図３Ａに示されるシステムモデル３１０の中のモジュール３１３を指定したとすると、ＣＰＵ１１１０は、モジュール３１３の一部をブラックボックスに置き換える。ここで、ブラックボックスに置き換えるモジュールの一部は、システムモデル３１０を作成するときにあらかじめ指定されているとする。モジュールの一部は、例としては、モジュールが待ち行列の場合では処理時間、モジュールがｙ＝ａ＊ｅｘｐ（ｂ＊ｕ）のように数式（ここで、ｕは入力、ｙは出力、ａ、ｂは係数）で表されるものの場合は、その係数、などのパラメータであってよい。

但し、本実施形態は、上記の例示に限らず、ブラックボックスへの置き換えによって、モジュールの要件である「システムの部分的な要素の模倣」から大きく逸脱しない範囲における“一部分”であればよい。一部をブラックボックスに置き換えられたモジュール３１３は、置き換えられる前と同様に、モジュール３１１から入力を受け、モジュール３１５に出力を与える。調整する部位が複数の場合には、各モジュールの一部をそれぞれ上記のようにブラックボックスに置き換えられる。

ＣＰＵ１１１０は、ステップＳ５０７、ステップＳ５０９、ステップＳ５１１において、上述した実施形態と同様な処理を行う。

そしてＣＰＵ１１１０は、ブラックボックスが調整されたシステムモデルの妥当性を評価する（ステップＳ１２１３）。なお、ここでの評価基準については、上述した第４実施形態において説明された基準を使用することとし、本実施形態における説明は省略する。

次に、ＣＰＵ１１１０は、ステップＳ１２１５における判断の結果、システムモデルについて次に調整する部位があればステップＳ１２０５に戻って処理を繰り返し、次に調整する部位がなければステップＳ１２１７に処理を進める。

そして、ＣＰＵ１１１０は、ステップＳ１２１３において評価された各調整されたシステムモデルの中で妥当に調整されたモデルを提示する（ステップＳ１２１７）。本ステップにおいて、ＣＰＵ１１１０は、最も妥当であると評価されたシステムモデルだけを提示してもよいし、妥当だと評価された順に、システムモデルをその評価値（項の数、ＡＩＣの値など）と共に提示してもよい。

［第６実施形態］
次に、本発明の第６実施形態に係る情報処理システムについて説明する。上述した各実施形態においては、性能予測を行うべき対象のシステムと、そのシステムの性能予測を実行する情報処理装置とからなる構成について説明した。本実施形態に係る情報処理システムは、複数のサーバからなる性能予測を行なう性能予測システムと、複数のサーバからなる性能予測対象システムとを有する構成が、上記実施形態と異なる。本実施形態によれば、ネットワークに接続され複数のサーバからなるシステムを、複数のサーバからなるシステムで協働した性能予測が可能である。なお、本実施形態の各機能構成や動作は上記実施形態で説明したものを利用できるのでその詳しい説明を省略し、本実施形態では情報処理システムの構成のみを説明する。

《情報処理システムの構成》
図１３は、本発明の第６実施形態に係る情報処理システム１３００の構成を示すブロック図である。

性能予測対象システム１３２０は、各々がネットワーク１３５０に接続するＷｅｂサーバ１３２１と、ＡＰサーバ１３２２と、ＤＢサーバ１３２３とからなる。性能予測システム１３１０は、各々がネットワーク１３５０に接続する性能予測サーバ１３１１と、システムモデルＤＢサーバ１３１２と、システムモデル実行サーバ１３１３とからなる。性能予測サーバ１３１１は、ブラックボックスの部位モデルの置換と評価を行なう。システムモデルＤＢサーバ１３１２は、システムモデルＤＢを管理する。システムモデル実行サーバ１３１３は、システムモデルによるシミュレーションを実行する。

図１３に示す情報処理システム１３００においては、ブラックボックスを置き換える部位モデルの選択や評価結果の報知は、ネットワーク１３５０に接続する性能予測指示端末１３３０にて行なわれる。さらに、ネットワーク１３５０には、種々の他の対象システム１３４０が接続されている。

［他の実施形態］
本発明は、性能予測を行うべき対象であるシステムについて、そのシステムの実際の振る舞い（挙動）を反映した性能予測の用途に適用可能である。例えば、情報処理システムに本発明を適用した場合においては、実際に運用しないと判らない振る舞いがある場合に、精度のよい性能予測を実現することができる。

また、本発明によれば、システム全体ではなく、システムの一部であるモジュールだけをブラックボックスに置き換え可能である。これにより、前記のシステムに類似したシステムのモデルの予測の精度も向上することが可能になる。すなわち、本発明によれば、ブラックボックスに置き換えられた部分に関しては同一であるが、その他の（ブラックボックスに置き換わっていない）モジュールのパラメータの変更などによって、前記のシステムに類似したシステムのモデルを作成することができる。この場合、既にシステムの実際の振る舞いにより調整されたブラックボックスを含んでいるので、前記のシステムに類似したシステムのモデルは、その分、予測の精度が上がっていると期待される。

特許文献３のようにシステムのモデル全体（図３Ａの３１０）をブラックボックスに置き換える方法では、類似のシステムのモデルの予測の精度を高めることは期待できない。モデル全体をブラックボックスに置き換えると、一般には、情報処理システムのパラメータ（たとえばＣＰＵの駆動周波数など）が、ブラックボックスにどのように反映されているか不明なため、類似のシステムのモデルを構築することはできない。しかし、本発明のように、システムの一部であるモジュールだけをブラックボックスに置き換えれば、その置き換えられたブラックボックス以外のモジュールに対しては、情報処理システムのパラメータを反映できるので、類似のシステムのモデルの構築が可能となる。

以上、本発明の実施形態について詳述したが、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムのダウンロードが可能なＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。

［実施形態の他の表現］
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
性能予測の対象である性能予測対象システムの入力および出力を計測する入出力計測手段と、
複数の部位モデルにより構成された前記性能予測対象システムのシステムモデルについて、指定された部位モデルを該部位モデルの入力と出力とに接続されたブラックボックスに置き換える調整部位置換手段と、
前記調整部位置換手段によって前記指定された部位モデルをブラックボックスに置き換えた前記性能予測対象システムのシステムモデルに基づいて、前記入出力計測手段が計測した入力に対して、前記システムモデルの予測出力を算出する予測出力算出手段と、
前記入出力計測手段が計測した前記性能予測対象システムの前記出力と、前記予測出力算出手段が算出した前記システムモデルの予測出力との差がより小さくなるように、前記ブラックボックスにおける入力と出力との関係を調整するモデル調整手段と、
を備える情報処理装置。

（付記２）
前記調整部位置換手段が置き換える前記部位モデルを指定するユーザからの入力を受け付ける受付手段を備える付記１に記載の情報処理装置。

（付記３）
前記調整部位置換手段が置き換える前記部位モデルを指定する指定手段を備える付記１または２に記載の情報処理装置。

（付記４）
前記部位置換手段は、前記指定された部位モデルの一部をブラックボックスに置き換える付記１乃至３のいずれか１項に記載の情報処理装置。

（付記５）
前記部位モデルに置き換えたブラックボックスの前記モデル調整手段による調整後に、前記性能予測対象システムのシステムモデルの妥当性を評価する評価手段をさらに備える付記１乃至４のいずれか１項に記載の情報処理装置。

（付記６）
前記ブラックボックスは、学習および回帰の少なくとも何れかによって、入力に対して適当な出力を決定することができる構成であり、ニューラルネットワーク、隠れマルコフモデル、多項式関数およびノンパラメトリック回帰関数のいずれかである付記１乃至５のいずれか１項に記載の情報処理装置。

（付記７）
前記評価手段は、前記モデル調整手段による調整後の前記ブラックボックスがより単純な構成である場合、赤池情報量規準（ＡＩＣ）がより小さい場合、または、ベイズ情報量規準（ＢＩＣ）がより低い場合に、前記性能予測対象システムのシステムモデルの妥当性がより高いと評価する付記５または６に記載の情報処理装置。

（付記８）
前記指定手段は、あらかじめ決められた順に前記システムモデルに含まれる前記部位モデルを指定し、
前記評価手段は、各々の前記部位モデルに置き換えたブラックボックスの前記モデル調整手段による調整後に、前記性能予測対象システムのシステムモデルの妥当性を評価し、
前記情報処理装置は、前記評価手段によって妥当性がより高いと評価された前記モデル調整手段による調整後の前記性能予測対象システムのシステムモデルをユーザに提示する提示手段をさらに備える付記５乃至７のいずれか１項に記載の情報処理装置。

（付記９）
前記調整部位置換手段は、複数の前記部位モデルを１つまたは複数の前記ブラックボックスに置き換える付記１乃至８のいずれか１項に記載の情報処理装置。

（付記１０）
前記性能予測対象システムのシステムモデルを、該システムモデルを構成する複数の部位モデルにより蓄積するモデル蓄積手段をさらに備える付記１乃至９のいずれか１項に記載の情報処理装置。

（付記１１）
情報処理装置によって、
性能予測の対象とする性能予測対象システムの入力および出力を計測し、
複数の部位モデルにより構成された前記性能予測対象システムのシステムモデルについて、指定された部位モデルを該部位モデルの入力と出力とに接続されたブラックボックスに置き換え、
前記置き換えに際して、前記指定された部位モデルをブラックボックスに置き換えた前記性能予測対象システムのシステムモデルに基づいて、前記性能予測対象システムについて計測した前記入力に対して前記システムモデルの予測出力を算出し、
前記性能予測対象システムについて計測した前記出力と、算出した前記システムモデルの前記予測出力との差がより小さくなるように、前記ブラックボックスにおける入力と出力との関係を調整する、システム性能予測方法。

（付記１２）
性能予測の対象である性能予測対象システムの入力および出力を計測する入出力計測機能と、
複数の部位モデルにより構成された前記性能予測対象システムのシステムモデルについて、指定された部位モデルを該部位モデルの入力と出力とに接続されたブラックボックスに置き換える調整部位置換機能と、
前記調整部位置換機能によって前記指定された部位モデルをブラックボックスに置き換えた前記性能予測対象システムのシステムモデルに基づいて、前記入出力計測機能によって計測した前記入力に対して、前記システムモデルの予測出力を算出する予測出力算出機能と、
前記入出力計測機能によって計測した前記性能予測対象システムの前記出力と、前記予測出力算出機能によって算出した前記システムモデルの予測出力との差がより小さくなるように、前記ブラックボックスにおける入力と出力との関係を調整するモデル調整機能と、
をコンピュータに実現させる制御プログラム。

（付記１３）
情報処理装置によって、
性能予測の対象である性能予測対象システムの入力および出力を計測し、
複数の部位モデルにより構成された前記性能予測対象システムのシステムモデルについて、指定された部位モデルを該部位モデルの入力と出力とに接続されたブラックボックスに置き換え、
前記置き換えに際して、前記指定された部位モデルをブラックボックスに置き換えた前記性能予測対象システムのシステムモデルに基づいて、前記性能予測対象システムについて計測した前記入力に対して前記システムモデルの予測出力を算出し、
前記性能予測対象システムについて計測した前記出力と、算出した前記システムモデルの前記予測出力との差がより小さくなるように、前記ブラックボックスにおける入力と出力との関係を調整し、
前記ブラックボックスの前記調整により、前記性能予測対象システムについて計測した前記出力と、前記システムモデルの前記予測出力との差が最も小さくなった場合に、前記システムモデルについて算出した前記予測出力を、前記性能予測対象システムの性能予測結果とする、性能予測方法。

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

この出願は、２０１１年６月１６日に出願された日本出願特願２０１１−１３４５６６を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１００，２００，６００，７００，８００ 情報処理装置
１０１ 入出力計測部
１０１ａ 計測した入力
１０１ｂ 計測した出力
１０２ 調整部位置換部
１０３ 予測出力算出部
１０３ａ 予測出力
１０４ モデル調整部
１０５ システムモデル
１０５ａ 部位モデル
１０６ 置換モデル
１０６ａ ブラックボックス
１１０，２１０ 性能予測対象システム（性能を予測すべき対象であるシステム）
２０１ 通信制御部
２０２ 入出力計測部
２０３ 性能予測部
２０４ モデル調整部
２０５ モデル蓄積部
２０６ 調整部位置換部
２０７ 置換部位受付部
２２０，１３５０ ネットワーク（通信ネットワーク）
３００，４８５ システムモデル
３０１，３１０ オリジナルのシステムモデル
３０２，３０３，３２０ 一部をブラックボックスに置き換えたシステムモデル
３１１〜３１６ 部位モデル（モジュール）
３２３ 指定された部位モデル（ブラックボックス）
３３０，１３２１ Ｗｅｂサーバ
３３１，３４１，３５１，４１０，１１１０ ＣＰＵ
３３２，３３３，３４２，３４３，３５２，３５３ 記憶装置（ハードデスクドライブ：ＤＫ）
３４０，１３２２ アプリケーション・サーバ（ＡＰサーバ）
３５０，１３２３ データベース・サーバ（ＤＢサーバ）
３６０ クライアント
３７０ ブラックボックス（Ｂ・Ｂ）
３８０ ブラックボックス・サーバ（Ｂ・Ｂサーバ）
４２０，１１２０ ＲＯＭ
４４０，１４４０ ＲＡＭ
４５０，１１５０ ストレージ
４５１ システムモデル・データベース
４５２ ブラックボックス・データベース
５４３ モデル調整アルゴリズム
４５４ モデル調整条件
４６０ 入力インタフェース
４６１ キーボード
４６２ マウス
４６３ 記憶媒体
４７０ 出力インタフェース
４７１ 表示部
４７２ プリンタ
６０７，８０７ モデル調整部位指定部
７０８ モデル妥当性評価部
８０７ 置換順序データ
８０９ 調整モデル提示部
１０００ ブラックボックスの置換順序例
１３００ 情報処理システム
１３１０ 性能予測システム
１３１１ 性能予測サーバ
１３１２ システムモデル・データベース・サーバ
１３１３ システムモデル実行サーバ
１３２０ 性能予測対象システム（性能を予測すべき対象であるシステム）
１３３０ 性能予測指示端末
１３４０ 他の対象システム

Claims (10)

1. 性能予測の対象である性能予測対象システムの入力および出力を計測する入出力計測手段と、
   複数の部位モデルにより構成された前記性能予測対象システムのシステムモデルについて、指定された部位モデルを該部位モデルの入力と出力とに接続されたブラックボックスに置き換える調整部位置換手段と、
   前記調整部位置換手段によって前記指定された部位モデルをブラックボックスに置き換えた前記性能予測対象システムのシステムモデルに基づいて、前記入出力計測手段が計測した入力に対して、前記システムモデルの予測出力を算出する予測出力算出手段と、
   前記入出力計測手段が計測した前記性能予測対象システムの出力と、前記予測出力算出手段が算出した前記システムモデルの予測出力との差がより小さくなるように、前記ブラックボックスにおける入力と出力との関係を調整するモデル調整手段と、
   を備える情報処理装置。
2. 前記調整部位置換手段が置き換える前記部位モデルを指定するユーザからの入力を受け付ける受付手段を備える請求項１に記載の情報処理装置。
3. 前記調整部位置換手段が置き換える前記部位モデルを指定する指定手段を備える請求項１または２に記載の情報処理装置。
4. 前記部位モデルに置き換えたブラックボックスの前記モデル調整手段による調整後に、前記性能予測対象システムのシステムモデルの妥当性を評価する評価手段をさらに備える請求項３に記載の情報処理装置。
   
5. 前記指定手段は、あらかじめ決められた順に前記システムモデルに含まれる前記部位モデルを指定し、
   前記評価手段は、各々の前記部位モデルに置き換えたブラックボックスの前記モデル調整手段による調整後に、前記性能予測対象システムのシステムモデルの妥当性を評価し、
   前記情報処理装置は、前記評価手段によって妥当性がより高いと評価された前記モデル調整手段による調整後の前記性能予測対象システムのシステムモデルをユーザに提示する提示手段をさらに備える請求項４に記載の情報処理装置。
6. 前記調整部位置換手段は、複数の前記部位モデルを１つまたは複数の前記ブラックボックスに置き換える請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記性能予測対象システムのシステムモデルを、該システムモデルを構成する複数の部位モデルにより蓄積するモデル蓄積手段をさらに備える請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 情報処理装置によって、
   性能予測の対象とする性能予測対象システムの入力および出力を計測し、
   複数の部位モデルにより構成された前記性能予測対象システムのシステムモデルについて、指定された部位モデルを該部位モデルの入力と出力とに接続されたブラックボックスに置き換え、
   前記置き換えに際して、前記指定された部位モデルをブラックボックスに置き換えた前記性能予測対象システムのシステムモデルに基づいて、前記性能予測対象システムについて計測した前記入力に対して前記システムモデルの予測出力を算出し、
   前記性能予測対象システムについて計測した前記出力と、算出した前記システムモデルの前記予測出力との差がより小さくなるように、前記ブラックボックスにおける入力と出力との関係を調整する、システム性能予測方法。
9. 性能予測の対象である性能予測対象システムの入力および出力を計測する入出力計測機能と、
   複数の部位モデルにより構成された前記性能予測対象システムのシステムモデルについて、指定された部位モデルを該部位モデルの入力と出力とに接続されたブラックボックスに置き換える調整部位置換機能と、
   前記調整部位置換機能によって前記指定された部位モデルをブラックボックスに置き換えた前記性能予測対象システムのシステムモデルに基づいて、前記入出力計測機能によって計測した前記入力に対して、前記システムモデルの予測出力を算出する予測出力算出機能と、
   前記入出力計測機能によって計測した前記性能予測対象システムの前記出力と、前記予測出力算出機能によって算出した前記システムモデルの予測出力との差がより小さくなるように、前記ブラックボックスにおける入力と出力との関係を調整するモデル調整機能と、
   をコンピュータに実現させる制御プログラム。
10. 情報処理装置によって、
    性能予測の対象である性能予測対象システムの入力および出力を計測し、
    複数の部位モデルにより構成された前記性能予測対象システムのシステムモデルについて、指定された部位モデルを該部位モデルの入力と出力とに接続されたブラックボックスに置き換え、
    前記置き換えに際して、前記指定された部位モデルをブラックボックスに置き換えた前記性能予測対象システムのシステムモデルに基づいて、前記性能予測対象システムについて計測した前記入力に対して前記システムモデルの予測出力を算出し、
    前記性能予測対象システムについて計測した前記出力と、算出した前記システムモデルの前記予測出力との差がより小さくなるように、前記ブラックボックスにおける入力と出力との関係を調整し、
    前記ブラックボックスの前記調整により、前記性能予測対象システムについて計測した前記出力と、前記システムモデルの前記予測出力との差が最も小さくなった場合に、前記システムモデルについて算出した前記予測出力を、前記性能予測対象システムの性能予測結果とする、システム性能予測方法。

Images