WO2014141419A1

WO2014141419A1 - 仮想計算機システムおよびスケジューリング方法

Info

Publication number: WO2014141419A1
Application number: PCT/JP2013/057141
Authority: WO
Inventors: 翔一竹内; 周平松本
Original assignee: 株式会社日立製作所
Priority date: 2013-03-14
Filing date: 2013-03-14
Publication date: 2014-09-18
Also published as: US20150339167A1; US9740528B2

Abstract

　キャッシュメモリを備えた物理ＣＰＵと物理メモリを含むノードを複数有し、複数のノードの計算機資源から論理ＣＰＵと論理区画を生成して仮想計算機を稼動させる仮想化部が、論理ＣＰＵに物理ＣＰＵを割り当てるスケジューリング方法であって、複数のノードは、インターコネクトを介して接続され、仮想化部が、論理ＣＰＵに割り当てる物理ＣＰＵを選択し、論理ＣＰＵから物理メモリへのアクセス性能に関する性能情報を測定し、性能情報が所定の閾値を満たす場合には、論理ＣＰＵに割り当てる物理ＣＰＵを、前回割り当てた物理ＣＰＵと同一ノードから選択し、性能情報が所定の閾値を満たさない場合には、論理ＣＰＵに割り当てる物理ＣＰＵを、前回割り当てた物理ＣＰＵのノードとは異なるノードから選択する。

Description

仮想計算機システムおよびスケジューリング方法

　本発明は、物理計算機上の物理リソースを論理分割した論理区画（以下：ＬＰＡＲ）を複数生成し、複数の物理ＣＰＵを複数の論理ＣＰＵ間で時分割により共有する際のスケジューリングに関する。

　近年、１台の物理計算機の性能が向上したため、計算機の集約率を上げて管理コストや消費電力の削減をするべく、物理計算機上に論理的な計算機を複数台構築する方法が一般的となってきている。論理的な計算機の構築方法として、ハイパバイザが物理ＣＰＵ、物理メモリ、入出力装置などの計算機リソースを分割または共有して論理的な計算機であるＬＰＡＲ（Ｌｏｇｉｃａｌ　ＰＡＲｔｉｔｉｏｎ）に割り当て、１個以上の論理的な計算機を生成して制御する方法が挙げられる。

　一つの物理ＣＰＵを複数のＬＰＡＲにて共有させるには、ハイパバイザが物理ＣＰＵをタイムスライスとよばれる単位時間にて時分割し、各々のＬＰＡＲに割り当てられた論理ＣＰＵの実行時間を管理して共有させる必要がある。この制御を一般的にスケジューリングとよぶ。

　一方で、物理計算機において、複数のＣＰＵとメモリを一つのノードとよばれる組にまとめ、ある物理ＣＰＵから見て同じノード内のメモリへのアクセスコストが、他のノード内のメモリへのアクセスコストと比べて小さくなるような計算機構成のことをＮＵＭＡ（Ｎｏｎ-ＵｎｉｆｏｒｍＭｅｍｏｒｙＡｃｃｅｓｓ）構成と呼ぶ。このとき、同じノード内のメモリをローカルメモリ、他のノードのメモリをリモートメモリとよぶ。

　全ての物理ＣＰＵからのメモリアクセスコストが同じとなるＵＭＡ（ＵｎｉｆｏｒｍＭｅｍｏｒｙＡｃｃｅｓｓ）構成では、物理ＣＰＵを多く搭載する場合において物理メモリアクセスが物理ＣＰＵ間で競合が発生しやすくなるのに対し、ＮＵＭＡ構成ではノードごとに並列して物理メモリアクセスができるため競合を減らすことができる、というメリットがある。このため、搭載ＣＰＵ数が増加している近年では、ＮＵＭＡ構成を採用している計算機は少なくない。

　物理メモリへのアクセスコストを軽減する機構としては、物理ＣＰＵに対して物理的に近い位置にメモリ内容を一時保存する物理メモリキャッシュ（以下：　キャッシュ）が存在する。物理メモリへアクセスを行なう度にキャッシュにもアクセスしたメモリ内容を保存することで、次回同じメモリ内容へアクセスする際はキャッシュへアクセスすればよくなるため、結果的に物理メモリへのアクセスコストを軽減できるのである。なお、一般的にキャッシュへのアクセス速度はローカルメモリにアクセスするよりも高速にアクセスすることができる。

　特許文献１の仮想計算機の実装方法では、システム全体がビジーのとき、より優先度の高い処理をＬＰＡＲの処理能力の低下を抑制しながら物理ＣＰＵ間で分散して実施する、という技術が開示されている。

特開２００８－１８６１３６号公報

　しかしながら、上記特許文献１では、物理ＣＰＵがアイドルであればその物理ＣＰＵ上で優先度の高い処理を繰り返し実施してしまう。これは、優先度の高い処理をＬＰＡＲの処理として置き換えて考えても同様なことが言える。

　ＮＵＭＡ構成の計算機の場合、ＬＰＡＲの処理を一つの物理ＣＰＵで処理させ続けてしまうと、当該ＬＰＡＲの処理に対してキャッシュ容量以上のメモリアクセスが伴い、かつ、処理を実行する物理ＣＰＵに対してリモートメモリへのアクセスとなっていた場合、計算機システム全体がビジーにならない限りリモートメモリへのアクセスを継続し、物理メモリのアクセスコストが高い状態で処理を継続してしまう、という問題があった。

　そこで本発明は、上記問題点に鑑みてなされたもので、物理メモリへのアクセスコストが高い状態が継続するのを抑制することを目的とする。

　本発明は、キャッシュメモリを備えた物理ＣＰＵと物理メモリを含むノードを複数有し、前記複数のノードの計算機資源を仮想計算機に割り当てる仮想化部と、を備えた仮想計算機システムであって、前記複数のノードは、インターコネクトを介して接続され、前記仮想化部は、前記仮想計算機に割り当てる計算機資源として論理区画と論理ＣＰＵを生成する論理区画管理部と、前記論理ＣＰＵを実行する前記物理ＣＰＵを選択するスケジューリング部と、前記論理ＣＰＵから前記物理メモリへのアクセス性能に関する性能情報を測定するモニタリング部と、を備え、前記スケジューリング部は、前記性能情報が所定の閾値を満たす場合には、前記論理ＣＰＵを実行する前記物理ＣＰＵを、前回実行した物理ＣＰＵと同一ノードから選択し、前記性能情報が所定の閾値を満たさない場合には、前記論理ＣＰＵを実行する前記物理ＣＰＵを、前回実行した物理ＣＰＵのノードとは異なる他のノードから選択する。

　本発明によれば、ＮＵＭＡ構成の計算機のように、複数の物理ＣＰＵが複数の物理メモリにアクセスする際に、物理ＣＰＵと物理メモリの位置関係に応じてメモリのアクセス性能が異なる物理計算機において、論理ＣＰＵ数に対して物理ＣＰＵの数が十分にある場合には、論理ＣＰＵに対する物理メモリのアクセス性能を、１秒程度の所定の観測時間にて観測した際に、最高性能と最低性能の中間程度の性能が少なくとも得られ、さらにキャッシュヒット率が高い際にはキャッシュメモリによる高いメモリリード、ライト性能となるという効果が得られる。

本発明の第１の実施例を示し、仮想計算機システムの一例を示すブロック図である。本発明の第１の実施例を示し、ハイパバイザが管理するリソース管理データの詳細を示すブロック図である。本発明の第１の実施例を示し、ＬＰＡＲの設定を保持するＬＰＡＲ管理テーブルの一例を示す図である。本発明の第１の実施例を示し、論理ＣＰＵを稼動させる物理ＣＰＵの情報を保持する物理ＣＰＵ管理テーブルの初期状態を示す図である。本発明の第１の実施例を示し、ＣＰＵの状態とコードとの対応関係を示すＣＰＵ状態テーブルの一例を示す図である。本発明の第１の実施例を示し、ＣＰＵの状態遷移図である。本発明の第１の実施例を示し、物理ＣＰＵごとに設定された論理ＣＰＵの情報を保持する固有論理ＣＰＵ管理テーブルの初期状態を示す図である。本発明の第１の実施例を示し、全物理ＣＰＵで稼動させることのできる論理ＣＰＵの情報を保持する共有論理ＣＰＵ管理テーブルの初期状態を示す図である。本発明の第１の実施例を示し、論理ＣＰＵを物理ＣＰＵで稼動させるときに一時的に論理ＣＰＵの情報を保持する一時保管用論理ＣＰＵ管理テーブルの初期状態を示す図である。本発明の第１の実施例を示し、論理ＣＰＵを実行させる物理ＣＰＵを選択する際の計算情報を一時的に保管する一時計算テーブルの初期状態を示す図である。本発明の第１の実施例を示し、論理ＣＰＵを実行させる物理ＣＰＵを選択する際の判定用の閾値を保持する閾値管理テーブルの一例を示す図である。本発明の第１の実施例を示し、ハイパバイザで行われる閾値の登録処理の一例を示すフローチャートである。本発明の第１の実施例を示し、ハイパバイザで行われるＬＰＡＲの起動処理の一例を示すフローチャートで、前半部である。本発明の第１の実施例を示し、ハイパバイザで行われるＬＰＡＲの起動処理の一例を示すフローチャートで、後半部である。本発明の第１の実施例を示し、ハイパバイザで行われる物理ＣＰＵの起床処理の一例を示すフローチャートである。本発明の第１の実施例を示し、図１１Ａ、図１１ＢのＬＰＡＲの起動処理後の物理ＣＰＵ管理テーブルの一例を示す図である。本発明の第１の実施例を示し、図１１Ａ、図１１ＢのＬＰＡＲの起動処理後の共有論理ＣＰＵ管理テーブルの一例を示す図である。本発明の第１の実施例を示し、ハイパバイザで行われるスケジューリング処理の概要を示すフローチャートである。本発明の第１の実施例を示し、スケジューリング処理の詳細のうち、物理ＣＰＵディスパッチ開始処理の前半部を示すフローチャートである。本発明の第１の実施例を示し、スケジューリング処理の詳細のうち、物理ＣＰＵディスパッチ開始処理の中間部を示すフローチャートである。本発明の第１の実施例を示し、スケジューリング処理の詳細のうち、物理ＣＰＵディスパッチ開始処理の後半部を示すフローチャートである。本発明の第１の実施例を示し、スケジューリング処理の詳細のうち、物理ＣＰＵディスパッチ開始処理で処理すべき論理ＣＰＵが存在しなかったときのフローチャートである。本発明の第１の実施例を示し、スケジューリング処理の際の共有論理ＣＰＵ管理テーブルと一時保管用論理ＣＰＵ管理テーブルのエントリの関係を示す図である。本発明の第１の実施例を示し、スケジューリング処理の際の一時計算テーブルを示す図である。本発明の第１の実施例を示し、スケジューリング処理における論理ＣＰＵ実行処理の一例を示すフローチャートである。本発明の第１の実施例を示し、ゲストモード終了の要因コードテーブルの一例を示す図である。本発明の第１の実施例を示し、スケジューリング処理のうち、物理ＣＰＵディスパッチ終了処理の一例を示すフローチャートの前半部である。本発明の第１の実施例を示し、スケジューリング処理における物理ＣＰＵディスパッチ終了処理のフローチャートの中間部である。本発明の第１の実施例を示し、スケジューリング処理における物理ＣＰＵディスパッチ終了処理のフローチャートの後半部である。本発明の第１の実施例を示し、図２０Ａの物理ＣＰＵディスパッチ終了処理の処理を実施した際の一時保管用論理ＣＰＵ管理テーブルを示す図である。本発明の第１の実施例を示し、図２０Ａの物理ＣＰＵディスパッチ終了処理の処理を実施した際の一時計算テーブルを示す図である。本発明の第１の実施例を示し、図２０Ｂ、図２０Ｃの処理を実施した際の一時保管用論理ＣＰＵ管理テーブルエントリと共通論理ＣＰＵ管理テーブルの関係を示す図である。本発明の第１の実施例を示し、閾値を閾値管理テーブルに格納する処理の一例を示すフローチャートである。本発明の第１の実施例を示し、論理ＣＰＵのキャッシュヒット率を測定するためのモニタ有効化処理の一例を示すフローチャートである。本発明の第１の実施例を示し、論理ＣＰＵのキャッシュヒット率を測定するためのモニタリング処理の一例を示すフローチャートである。本発明の第１の実施例を示し、図２３のモニタ有効化処理を実施した際の閾値管理テーブルを示す図である。本発明の第１の実施例を示し、物理ＣＰＵディスパッチ終了処理を実施した際の閾値管理テーブルを示す図である。本発明の第１の実施例を示し、図２４のモニタリング処理を実施した際の閾値管理テーブルを示す図である。本発明の第１の実施例を示し、論理ＣＰＵの実行時間とキャッシュヒット率との関係を示すグラフである。ＮＵＭＡ構成の計算機のブロック図で、メモリアクセスの一例を示す図である。従来例を示し、スケジューリング処理による物理ＣＰＵ上の処理の一例を示すタイムチャートである。本発明の第１の実施例を示し、スケジューリング処理による物理ＣＰＵ上の処理の一例を示すタイムチャートで、総キャッシュヒット率閾値が０．５の場合である。ＮＵＭＡ構成の計算機構のブロック図で、メモリアクセスの他の一例を示す図である。本発明の第１の実施例を示し、本発明のスケジューリング処理において計算機システムがビジー状態であった際の物理ＣＰＵ上の処理の一例を示すタイムチャートである。本発明の第２の実施例を示し、仮想計算機システムの一例を示すブロック図である。

　以下、本発明の一実施形態について添付図面を用いて説明する。

図１Ａ、図１Ｂは、本発明における仮想計算機システムの基本的な構成例を示すブロック図である。

　１以上の仮想計算機を提供する物理計算機は、物理ＣＰＵ（＃０～＃３）４～７と、物理ＣＰＵ（または物理プロセッサ）ごとに設けたタイマ１６～１９と、ノードごとに存在する物理キャッシュメモリ８～９と、ノード毎に接続された物理メモリ１０～１１と、入出力装置１３と、システム処理用ユニット１５を有する。

　物理ＣＰＵ４～５およびタイマ１６～１７、物理キャッシュメモリ８、物理メモリ１０はノード（＃０）２に属し、物理ＣＰＵ６～７およびタイマ１８～１９、物理キャッシュメモリ９、物理メモリ１１１はノード（＃１）３にそれぞれ属しており、ノード間はインターコネクト１４で接続されている。

　当該計算機のメモリの一部にロードされるハイパザイザ（仮想化部）２０は、物理ＣＰＵ４～７、物理メモリ１０～１１、入出力装置１３などの物理的な計算機リソースを分割または共有して論理的な計算機であるＬＰＡＲ（Logical ＰＡＲtition：論理区画）８０１、８０２に割り当て、１以上の論理的な計算機（または仮想計算機）を生成して制御する。

　システム処理用ユニット１５は、ＬＰＡＲ８０１、８０２に割り当てず、ハイパバイザ２０の処理のみを行う物理ＣＰＵ１５Ａと物理メモリ１５Ｂを有する。

　ハイパバイザ２０は、入出力装置１３を介してユーザからの入力を受け付け、またユーザへ情報の出力を行なう入出力機能２１と、ＬＰＡＲ８０１、８０２に割り当てる計算機リソースの設定およびＬＰＡＲ８０１、８０２の生成及び起動を行うＬＰＡＲ管理機能２２と、休止状態（または停止状態）の物理ＣＰＵ４～７を起床させる物理ＣＰＵ起床機能２３と、ひとつの物理ＣＰＵを複数の論理ＣＰＵ（論理プロセッサ）で時分割（タイムスライス）で共有させるスケジューリング機能２４と、論理ＣＰＵ８１１、８１２（または物理ＣＰＵ４～７のキャッシュリード回数、キャッシュヒット回数）ごとのキャッシュヒット率を測定するモニタリング機能２５と、物理計算機（ハードウェア）１のリソース情報を保持するリソース管理データ２６とを含んで構成される。

　また、ハイパバイザ２０の上記各機能は、上述のようにシステム処理用ユニット１５にて処理される。図１の例では、ハイパバイザ２０は、物理計算機のハードウェア１から論理ＣＰＵ８１１、８１２と論理メモリ８２１、８２２を生成し、生成したＬＰＡＲ８０１、８０２へそれぞれのリソースを割り当てる例を示す。

　リソース管理データ２６には、図１Ｂで示すように、ＬＰＡＲ８０１、８０２に割り当てた論理ＣＰＵ８１１、８１２と、論理メモリ８２１、８２２の容量を管理するＬＰＡＲ管理テーブル１００と、物理ＣＰＵ４～７の状態を管理する物理ＣＰＵ管理テーブル２００と、対象の物理ＣＰＵ４～７でのみ実行（または割り当て）可能な論理ＣＰＵの情報を物理ＣＰＵ４～７ごとに保持する固有論理ＣＰＵ管理テーブル３００と、全ての物理ＣＰＵ４～７にて実行させる論理ＣＰＵの情報を保持する共有論理ＣＰＵ管理テーブル４００と、物理ＣＰＵ４～７ごとに保持している一時保管用論理ＣＰＵ管理テーブルエントリ５００と、キャッシュメモリ８、９のヒット率を演算するための一時計算用テーブル６００と、論理ＣＰＵ８１１、８１２を、次のタイムスライス期間ではどの物理ＣＰＵ４～７で実行させるかを決定するための基準値を保持する閾値管理テーブル７００と、物理ＣＰＵ４～７の稼動状態を定義するＣＰＵ状態テーブル４５０と、ＬＰＡＲ８０１、８０２の仮想計算機が、ゲストモードを終了させる要因を保持する要因コードテーブル４６０と、が含まれる。

　ハイパバイザ２０上のＬＰＡＲ数およびＬＰＡＲを構成する論理ＣＰＵ数の最大数はハイパバイザ２０内で定義される最大数によって決定される。当該構成図では、ハイパバイザは２台のＬＰＡＲ８０１、８０２を生成し、それぞれのＬＰＡＲ８０１、８０２には、ハードウェア１から設定した各１個の論理ＣＰＵ８１１、８１２と論理メモリ８２１、８２２がそれぞれ割り当てられた例を示している。

　ハイパバイザ２０のモニタリング機能２５は、論理ＣＰＵ８１１、８１２（または物理ＣＰＵ４～７）毎にキャッシュメモリ８、９のリード回数（以下、キャッシュリード回数）と、ヒット回数（以下、キャッシュヒット回数）を測定するカウンタを備え、論理ＣＰＵ８１１、８１２（または物理ＣＰＵ４～７）ごとのキャッシュヒット率を演算する。

　本発明の概要は、次のとおりである。本発明では、論理ＣＰＵ８１１（８１２）が同じノード上の物理ＣＰＵ４（５～７）で連続実行された際に、ハイパバイザ２０にて当該論理ＣＰＵ８１１（８１２）の連続実行時間が、所定のキャッシュヒット率となることを期待する所定時間を経過しているか否かを判定する。所定時間を経過している場合には、ハイパバイザ２０は論理ＣＰＵ８１１（８１２）のキャッシュヒット率が閾値よりも高いか否を判定する。キャッシュヒット率が閾値よりも低い場合は、キャッシュメモリ８、９の恩恵を受けていないとハイパバイザ２０は判断し、論理ＣＰＵ８１１（８１２）が連続実行したノードとは別のノード上に休止状態の物理ＣＰＵが存在すれば当該物理ＣＰＵを起床して当該論理ＣＰＵを実行させる。

　一方、キャッシュヒット率が閾値よりも高い場合は、論理ＣＰＵ８１１（８１２）を連続実行したノードと別のノード上に休止状態の物理ＣＰＵが存在しても起床させず、引き続き現在のノードの物理ＣＰＵ４（または５）にて当該論理ＣＰＵ８１１を実行させる。また、キャッシュヒット率は低いが、論理ＣＰＵ８１１を連続実行させたノードとは別のノード上に休止状態の物理ＣＰＵが存在しなかった場合に関しても、現在起床している物理ＣＰＵ６（または７）にて当該論理ＣＰＵ（８１１）を実行させる。

　物理ＣＰＵ４（～７）に実行させる論理ＣＰＵ８１１（８１２）は、ハイパバイザ２０に設けた論理ＣＰＵのキュー（共有論理ＣＰＵ管理テーブル４００）にて保持する。ハイパバイザ２０は、キューに入った順で論理ＣＰＵ８１１（８１２）を物理ＣＰＵ４（～７）にて実行させ、所定のタイムスライス時間が経過して論理ＣＰＵ８１１（８１２）の実行が完了したら、当該論理ＣＰＵ８１１を再度論理ＣＰＵのキューに入れる。

　所定のキャッシュヒット率となることを期待する論理ＣＰＵの総実行時間の閾値βと、論理ＣＰＵがキャッシュメモリ８、９の恩恵を受けていると判定するためのキャッシュヒット率の閾値αは、ユーザにより設定できる。なお、前者を総実行時間の閾値β、後者をキャッシュヒット率の閾値αとする。

　総実行時間の閾値βは物理メモリ１０、１１のメモリアクセス性能（レイテンシや転送速度など）の平均値を測定する時間Ｔ（後述）よりも小さいものとする。この理由は次の通りである。本発明において論理ＣＰＵ８１１（８１２）が連続して同じノード上の物理ＣＰＵ４（または５）で実行される時間は、総実行時間の閾値βとなり、メモリアクセス性能の平均値を測定する時間Ｔよりも総実行時間の閾値βの方が大きいと、時間Ｔの間に一つのノードの物理ＣＰＵ４（または５）で論理ＣＰＵ８１１が実行され続けてしまう。これは、上記発明が解決しようとする課題で述べたように、時間Ｔにおける論理ＣＰＵ８１１の平均メモリアクセス性能は、リモートメモリへのアクセス性能、すなわち低い性能（レイテンシが大）となってしまう可能性があることを意味する。このため、メモリアクセス性能の平均値を測定する時間Ｔよりも総実行時間の閾値βは小さい値に設定される。

　次に、ハイパバイザ２０及びハイパバイザ２０のスケジューリング機能２４等の各機能部はプログラムとしてシステム処理用ユニット１５のメモリ１５Ｂにロードされ、システム処理用ユニット１５の物理ＣＰＵ１５Ａによって実行される。

　システム処理用ユニット１５の物理ＣＰＵ１５Ａは、各機能部のプログラムに従って動作することによって、所定の機能を実現する機能部として動作する。例えば、物理ＣＰＵ１５Ａは、スケジューリングプログラムに従って動作することでスケジューリング機能２４として機能する。他のプログラムについても同様である。さらに、システム処理用ユニット１５の物理ＣＰＵ１５Ａは、各プログラムが実行する複数の処理のそれぞれを実現する機能部としても動作する。計算機及び仮想計算機システムは、これらの機能部を含む装置及びシステムである。

　ハイパバイザ２０の各機能を実現するプログラム、テーブル等の情報は、図示しないストレージサブシステムや不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記憶デバイス、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。

　図２は、ＬＰＡＲの設定を保持するＬＰＡＲ管理テーブル１００の一例を示す図である。図２に示すＬＰＡＲ管理テーブル１００は、ＬＰＡＲ８０１、８０２の識別子であるＬＰＡＲ番号１０１と、ＬＰＡＲ８０１、８０２に割り当てる論理ＣＰＵ８１１、８１２の個数を格納する論理ＣＰＵ個数１０２と、論理メモリ８２１、８２２としてＬＰＡＲ８０１、８０２に割り当てる物理メモリ１０、１１の開始位置（アドレス）を格納する割り当て物理メモリ開始位置１０３と、開始位置から論理メモリ８２１、８２２へ割り当てる物理メモリ４～７のサイズを格納する物理メモリサイズ１０４と、を備える。

　ＬＰＡＲ管理テーブル１００は、予め定義されたＬＰＡＲ８０１、８０２の数に応じたエントリを有する。ＬＰＡＲ管理テーブル１００の各エントリは、ユーザによるＬＰＡＲ環境の設定命令を入出力装置１３を介して、ハイパバイザ２０の入出力機能２１が受け付ける。そして、ＬＰＡＲ管理機能２２がＬＰＡＲ番号、論理ＣＰＵ数、メモリ領域の情報を読み込んで、ＬＰＡＲ管理テーブル１００の各エントリを定義する。

　図３は、論理ＣＰＵ８１１、８１２を稼動させる物理ＣＰＵ４～７の情報を保持する物理ＣＰＵ管理テーブル２００の初期状態を示す図である。

　図３に示す物理ＣＰＵ管理テーブル２００は、物理ＣＰＵ４～７の識別子である物理ＣＰＵ番号２０１、物理ＣＰＵ４～７の稼動状態を格納する状態２０２、物理ＣＰＵ４～７が属するノード番号を保持する物理ＣＰＵノード番号（２０３）を備える。図３に示す物理ＣＰＵ管理テーブル２００は、ＬＰＡＲ８０１、８０２に時分割で共有可能な物理ＣＰＵ群を保持するため、ＬＰＡＲ８０１、８０２の論理ＣＰＵ８１１、８１２を実行させる物理ＣＰＵの個数分のエントリを有する。

　図４Ａ、図４Ｂではハイパバイザ２０にて予め定義されている物理ＣＰＵ４～７及び論理ＣＰＵ８１１、８１２の状態とコードの対応テーブルと状態遷移図を示す。図４Ａは、物理ＣＰＵ４～７（論理ＣＰＵ８１１、８１２）の状態とコードとの対応関係を示すＣＰＵ状態テーブル４５０の一例を示す図である。図４Ｂは、物理ＣＰＵ４～７（論理ＣＰＵ８１１、８１２）の状態遷移図である。

　物理、論理を問わずＣＰＵの状態の初期状態は処理を行なっていない状態を示すＨＡＬＴ（図４Ａのコード４５１＝３）である。処理が発生すると、ＨＡＬＴの状態から処理の実行がいつでも可能な状態を示すＲＥＡＤＹ（図４Ａのコード４５１＝２）に移る。処理を開始するとＲＥＡＤＹから処理を実行中の状態を示すＲＵＮ（図４Ａのコード４５１＝１）に移る。処理が完了し、処理すべき内容が何もない場合は、ＲＵＮからＨＡＬＴに移り、Ｉ／Ｏなどの待ちが発生した場合等ではＲＵＮからＲＥＡＤＹに移る。ＨＡＬＴから直接ＲＵＮに移ることや、ＲＥＡＤＹからＨＡＬＴに移ることはない。

　物理ＣＰＵ管理テーブル２００は、ハイパバイザ２０が起動する際に物理ＣＰＵ４～７とそのノード番号を認識し、予めハイパバイザ２０で定義されていた物理ＣＰＵ４～７のみ追加される。その際の物理ＣＰＵ状態は全てＨＡＬＴとなる。なお、ＨＡＬＴの状態にはスリーピングステートを加えるようにしても良い。

　図５は、物理ＣＰＵ４～７ごとに設定された論理ＣＰＵ８１１、８１２の情報を保持する固有論理ＣＰＵ管理テーブル３００の初期状態（エントリが０）を示す図である。

　図５に示す固有論理ＣＰＵ管理テーブル３００は、エントリ順序を示すエントリ番号３０１と、当該エントリのＬＰＡＲ番号３０２と論理ＣＰＵ番号３０３、および論理ＣＰＵ状態３０４、当該エントリの論理ＣＰＵが前回実行した物理ＣＰＵの属していたノードの番号を意味する前回のノード番号３０５と、前回のノードにて実行していた際の総キャッシュリード回数３０６と総キャッシュヒット回数３０７、および総実行時間３０８と、ＬＰＡＲ８０１、８０２が起動してからノード＃０の物理ＣＰＵで実行した総時間を意味するノード０の物理ＣＰＵでの実行時間３０９と、同様にノード＃１に関しての実行時間を意味するノード＃１の物理ＣＰＵでの実行時間３１０をひとつのエントリに備える。

　固有論理ＣＰＵ管理テーブル３００は物理ＣＰＵ４～７ごとにハイパバイザ２０で設定され、スケジューリング機能２４にて、対応する物理ＣＰＵ４～７へ優先的に割り当てたい論理ＣＰＵ８１１、８１２のエントリを保持させる。この固有論理ＣＰＵ管理テーブル３００が、上述した本発明の概要における別のノード上の物理ＣＰＵ４、５で論理ＣＰＵ８１１を実行させる手法にあたる。

　図６は、全物理ＣＰＵ４～７で稼動させる論理ＣＰＵ８１１、８１２の情報を保持する共有論理ＣＰＵ管理テーブル４００の初期状態（エントリが０）を示す図である。

　図６に示す共有論理ＣＰＵ管理テーブル４００は、図５に示した固有論理ＣＰＵ管理テーブル３００と同じ構成のエントリで構成される。すなわち、エントリ番号４０１、ＬＰＡＲ番号４０２、論理ＣＰＵ番号４０３、論理ＣＰＵ状態４０４、前回のノード番号４０５、総キャッシュリード回数４０６、総キャッシュヒット回数４０７、総実行時間４０８、ノード０の物理ＣＰＵでの実行時間４０９、ノード１の物理ＣＰＵでの実行時間４１０でひとつのエントリを構成する。

　共有論理ＣＰＵ管理テーブル４００はハイパバイザ２０内に一つのみ存在し、スケジューリング機能２４にて、いずれの物理ＣＰＵで実行させてもよい論理ＣＰＵのエントリを保持する。

　図７は、論理ＣＰＵ８１１、８１２を物理ＣＰＵ４～７で稼動させるときに一時的に論理ＣＰＵ８１１、８１２の情報を保持する一時保管用論理ＣＰＵ管理テーブル５００の初期状態（エントリが０）を示す図である。図７に示す一時保管用論理ＣＰＵ管理テーブルエントリ５００に関しても、図５に示した固有論理ＣＰＵ管理テーブル３００からエントリ番号を削除した他は、同じ構成のエントリで構成される。すなわち、ＬＰＡＲ番号５０１、論理ＣＰＵ番号５０２、論理ＣＰＵ状態５０３、前回のノード番号５０４、総キャッシュリード回数５０５、総キャッシュヒット回数５０６、総実行時間５０７、ノード０の物理ＣＰＵでの実行時間５０８、ノード１の物理ＣＰＵでの実行時間５０９でひとつのエントリを構成する。一時保管用論理ＣＰＵ管理テーブルエントリ５００は、固有論理ＣＰＵ管理テーブル３００、共有論理ＣＰＵ管理テーブル４００と異なり、エントリ番号は備えない。

　一時保管用論理ＣＰＵ管理テーブルエントリ５００は物理ＣＰＵ４～７ごとに設定され、スケジューリング機能２４は、制御対象としている物理ＣＰＵ４～７で実行している論理ＣＰＵ８１１、８１２のエントリを保持させる。

　図１の構成では、ノードが二つ（＃０、＃１）存在する構成であるため、図５のノード（＃０、＃１）の物理ＣＰＵでの実行時間３０９～３１０と、図６のノード（＃０、＃１）の物理ＣＰＵでの実行時間４０９～４１０と、図７のノード（＃０、＃１）の物理ＣＰＵでの実行時間５０８～５０９はそれぞれ二列（２エントリ）ずつ備えることになる。ノードの数が増えると、この列の数は増加する。

　固有論理ＣＰＵ管理テーブル３００と、共有論理ＣＰＵ管理テーブル４００の合計エントリ数の最大値は、起動しているＬＰＡＲ８０１、８０２に割り当てられた論理ＣＰＵ８１１、８１２の数となる。

　一時保管用論理ＣＰＵ管理テーブルエントリ５００は、当該物理ＣＰＵ４～７にて実行中の論理ＣＰＵ８１１、８１２の情報を保持するため、エントリ数は最大でも一つとなる。また、固有論理ＣＰＵ管理テーブル３００、共有論理ＣＰＵ管理テーブル４００、一時保管用論理ＣＰＵ管理テーブルエントリ５００の初期値は、論理ＣＰＵが一つも実行されていない状態であるため、図５、図６、図７のエントリを削除した状態、すなわち空のテーブルとなる。

　図８は、論理ＣＰＵ８１１、８１２を実行させる物理ＣＰＵ４～７を選択する際の計算情報を一時的に保管する一時計算テーブルの初期状態を示す図である。図８に示す一時計算用テーブル６００は、総キャッシュヒット率６０１、論理ＣＰＵを物理ＣＰＵ上で実行させた際のキャッシュリード回数６０２およびキャッシュヒット回数６０３、論理ＣＰＵの物理ＣＰＵ上での実行開始時刻６０４と実行終了時刻６０５を保存する領域を備える。

　図９は、論理ＣＰＵ８１１、８１２を実行させる物理ＣＰＵ４～７を選択する際の判定用の閾値を保持する閾値管理テーブル７００の一例を示す図である。図９に示す閾値管理テーブル７００は、ＬＰＡＲ番号７０１、論理ＣＰＵ番号７０２、当該エントリの論理ＣＰＵを次に実行させる物理ＣＰＵの選択の際に必要となる、総キャッシュヒット率の閾値を意味する閾値α７０３と、総実行時間の閾値を意味する閾値β７０４と、現在の稼動状況を監視するか否かを保持するモニタ有効フラグ７０５と、モニタした内容を書き込んだか否かを保持する書き込み完了フラグ７０６と、モニタした内容を書き込む総キャッシュヒット率７０７および総実行時間７０８からひとつのエントリを構成する。

　閾値管理テーブル７００は、ＬＰＡＲ管理機能２２がＬＰＡＲ管理テーブル１００のエントリを定義した後に、図９のエントリを定義する。図９に示した閾値管理テーブル７００では、ＬＰＡＲ＃１（８０１）、ＬＰＡＲ＃２（８０２）が定義され、ハイパバイザ２０内で閾値αが“０．５”、閾値βが“２０００”と予め定義されているときにエントリが作成された直後の状態を示している。なお、閾値管理テーブル７００において、ＬＰＡＲ８０１、８０２が定義されていないときの初期値はエントリが存在しない、すなわち空のテーブルとなる。

　なお、上述したとおり、閾値βはメモリアクセス性能の平均値を測定する時間Ｔ（例えば、１秒間）よりも小さいものとする。

　図１０は、ハイパバイザ２０で行われる閾値の登録処理の一例を示すフローチャートである。図１０は、入出力装置１３を介してハイパバイザ２０の入出力機能２１からＬＰＡＲ環境の設定命令を受け取り、ＬＰＡＲ管理機能２２がＬＰＡＲ管理テーブル１００のエントリを追加した後に引き続き行なう処理であり、ＬＰＡＲ管理機能２２が当該ＬＰＡＲ８０１、８０２の論理ＣＰＵ８１１、８１２の閾値を閾値管理テーブル７００に登録する処理を示す。以下、当該処理の実施直前にＬＰＡＲ管理テーブル１００に追加したエントリのＬＰＡＲ８０１を当該ＬＰＡＲとして、その処理について説明する。

　ＬＰＡＲ管理機能２２は、論理ＣＰＵ番号を０として、当該ＬＰＡＲ８０１の論理ＣＰＵ８１１の数に応じてステップ９０３を実行し、論理ＣＰＵ番号に１を加算する、というループを繰り返す（９０２～９０４）。

　ステップ９０３では、ＬＰＡＲ管理機能２２が、閾値管理テーブル７００の最後へ、ＬＰＡＲ番号７０１を当該ＬＰＡＲ番号、論理ＣＰＵ番号７０２を現在の論理ＣＰＵ番号、閾値α７０３および閾値β７０４を、ハイパバイザ２０で予め定義されている値に設定し、他のフィールド７０５～７０８を“０”に設定したエントリを挿入する。

　本フローチャートでは、ＬＰＡＲ管理機能２２が、当該ＬＰＡＲ８０１の論理ＣＰＵ８１１の数に応じてエントリを作成し、閾値管理テーブル７００の最後へ追加している。なお、当該ＬＰＡＲ８０１の論理ＣＰＵ数を減少、および当該ＬＰＡＲ８０１を削除する場合には、閾値管理テーブル７００のＬＰＡＲ番号７０１と論理ＣＰＵ番号７０２をインデックスとして検索し、対象の論理ＣＰＵのエントリを削除すればよい。

　また、当該ＬＰＡＲ８０１の論理ＣＰＵ数を増加させる場合には、閾値管理テーブル７００のＬＰＡＲ番号７０１と論理ＣＰＵ番号７０２をインデックスとして検索し、その中で最も大きい論理ＣＰＵ番号のエントリの次に、ステップ９０３と同様の手順でエントリを追加すればよい。

　図１１Ａは、ハイパバイザ２０で行われるＬＰＡＲ８０１、８０２の起動処理の一例を示すフローチャートの前半部で、図１１Ｂは後半部を示す。

　図１１Ａ、図１１Ｂでは、入出力装置１３を介してハイパバイザ２０の入出力機能２１からＬＰＡＲ８０１、８０２の起動命令を受け取り、ＬＰＡＲ管理機能２２がＬＰＡＲ８０１、８０２を起動させる際の処理を示す。以下、起動させるＬＰＡＲ８０１を当該ＬＰＡＲ８０１としてその処理を示す。この処理は、入出力装置１３から指令を受け付けたときにハイパバイザ２０が実行する。

　ハイパバイザ２０のＬＰＡＲ管理機能２２は、ＬＰＡＲ８０１（または８０２）に割り当てる論理ＣＰＵ数とメモリ量をＬＰＡＲ管理テーブル１００から読み出す（９３２）。ＬＰＡＲ管理機能２２は、共有論理ＣＰＵ管理テーブル４００へ新たなエントリを挿入し、エントリ番号４０１として最も大きいエントリ番号に１を加算した値を設定し、ＬＰＡＲ番号４０２として対象ＬＰＡＲ番号を設定し、論理ＣＰＵ番号４０３として０を設定し、論理ＣＰＵ状態４０４としてＲＥＡＤＹを設定し、前回のノード番号４０５として未定義を意味する“－１”を設定し、他のフィールド４０６～４１０は０を設定する（９３３）。ただし、共有論理ＣＰＵ管理テーブル４００が空だった場合、挿入するエントリのエントリ番号４０１は“１”とする。

　次に、ＬＰＡＲ管理機能２２は、ステップ９３４からステップ９３６のループ処理を論理ＣＰＵの数まで繰り返す。

　まず、ＬＰＡＲ管理機能２２は、論理ＣＰＵ番号を１とし、ステップ９３５の処理を行ない、論理ＣＰＵ番号に１を加算する、という処理を当該ＬＰＡＲ８０１の論理ＣＰＵ数分繰り返す（９３４～９３６）。なお、ステップ９３５はステップ９３３において、論理ＣＰＵ状態４０４を“ＨＡＬＴ”に設定し、論理ＣＰＵ番号４０３を１回のループにて１ずつ増加させている点が異なる処理となっている。

　ＬＰＡＲ管理機能２２は、物理ＣＰＵ管理テーブル２００にて、物理ＣＰＵ状態２０２がＨＡＬＴ状態のエントリを、物理ＣＰＵ番号の小さいものから検索する（図１１Ｂのステップ９３７、９３８、９４０）。ＨＡＬＴ状態のエントリが検出した場合、ＬＰＡＲ管理機能２２は、当該物理ＣＰＵを選択して起床させる（９３９）。

　上記フローチャートの処理によって、当該ＬＰＡＲ１０８に割り当てられた論理ＣＰＵ８１１が共有論理ＣＰＵ管理テーブル４００に登録される。そして、登録された論理ＣＰＵはスケジューリング機能２４によって物理ＣＰＵ４～７が割り当てられ、実行を開始する。

　図１２は、ハイパバイザ２０で行われる物理ＣＰＵ４～７の起床処理の一例を示すフローチャートである。図１２では、ハイパバイザ２０の物理ＣＰＵ起床機能２３が、ＨＡＬＴ状態の物理ＣＰＵ４～７の起床を行なう。以下、起床させる物理ＣＰＵ４～７を当該物理ＣＰＵ４として、処理の一例を示す。

　ハイパバイザ２０の物理ＣＰＵ起床機能２３は、物理ＣＰＵ管理テーブル２００の当該物理ＣＰＵ４の物理ＣＰＵ番号２０１の状態２０２を、図４ＡのＣＰＵ状態テーブル４５０のＨＡＬＴからＲＥＡＤＹに対応するコード“２”に更新する（９５２）。その後、物理ＣＰＵ起床機能２３は、物理ＣＰＵ管理テーブル２００の当該物理ＣＰＵ４の状態２０２を、ＲＵＮに対応するコード“１”に更新する（９５３）。

　ハイパバイザ２０は物理ＣＰＵ起床機能２３が起床した物理ＣＰＵ４を対象として、スケジューリング機能２４にてスケジューリング処理を開始する（９５４）。

　図２、３、図５～図９の状態にてＬＰＡＲ＃１（８０１）を起動した際のテーブルの変化を図１３、図１４に示す。

　図１３は、ＬＰＡＲ８０１の起動処理後の物理ＣＰＵ管理テーブル２００の一例を示す図である。図１４は、ＬＰＡＲ８０１の起動処理後の共有論理ＣＰＵ管理テーブル４００の一例を示す図である。

　ＬＰＡＲ＃１（８０１）の論理ＣＰＵ（８１１）の数は一つであり、図６では共有論理ＣＰＵ管理テーブル４００が空であるため、図１１Ａのステップ９３３の処理により共有論理ＣＰＵ管理テーブル４００に、エントリ番号４１１が“１”のエントリが新たに挿入される。

　その後、図３の物理ＣＰＵ管理テーブル２００の物理ＣＰＵ状態２０２は、全てのエントリがＨＡＬＴ状態を示す“３”となっているため、図１１Ｂのステップ９３７～９４０の処理により最も小さい物理ＣＰＵ番号４０３を持つ物理ＣＰＵ＃０（４）を起床させる。図１２に示した物理ＣＰＵ起床処理にて、物理ＣＰＵ管理テーブル２００の物理ＣＰＵ番号２１１が“０”のエントリにおける物理ＣＰＵ状態２１２は、ＨＡＬＴ状態の“３”からＲＥＡＤＹ状態の“２”を経由して、ＲＵＮ状態の“１”となる。

　なお、ＬＰＡＲ管理テーブル１００、固有論理ＣＰＵ管理テーブル３００、一時保管用論理ＣＰＵ管理テーブルエントリ５００、一時計算用テーブル６００、閾値管理テーブル７００に変更はない。

　図１５は、ハイパバイザ２０で行われるスケジューリング処理の概要を示すフローチャートである。

　この処理は、大きく分けて、物理ＣＰＵ４～７にどの論理ＣＰＵ８１１、８１２を実行させるかを選択する物理ＣＰＵディスパッチ開始処理（９７２）と、論理ＣＰＵ８１１、８１２を物理ＣＰＵ４～７上で実行させる論理ＣＰＵ実行処理（９７３）と、時分割の処理が完了した論理ＣＰＵ８１１、８１２を、次にどの物理ＣＰＵ４～７で実行させるかを選択する物理ＣＰＵディスパッチ終了処理（９７４）、の三つで構成される。ハイパバイザ２０のスケジューリング機能２４は、上記ステップ９７２～９７４の処理を繰り返して実行する。

　なお、スケジューリング機能２４は、一つの物理ＣＰＵ４～７に対して実施され、物理ＣＰＵが複数個存在するときは、複数のスケジューリング処理が並列して実行される。以下、スケジューリング機能２４がスケジュールの対象とする物理ＣＰＵ４～７を当該物理ＣＰＵ４として説明する。

　図１６Ａ、図１６Ｂ、図１６Ｃ、図１６Ｄは物理ＣＰＵディスパッチ開始処理（９７２）の処理の一例を示すフローチャートを示す。なお、図１６Ａは、物理ＣＰＵディスパッチ開始処理の前半部を示し、図１６Ｂは中間部を示し、図１６Ｃは後半部を示し、図１６Ｄは、物理ＣＰＵディスパッチ開始処理で処理すべき論理ＣＰＵが存在しなかったときのフローチャートである。

　物理ＣＰＵディスパッチ開始処理（９７２）は図１６Ａの処理１００１から開始する。スケジューリング機能２４は、当該物理ＣＰＵ４に対応する固有論理ＣＰＵ管理テーブル３００において、エントリ番号が小さいものから順に論理ＣＰＵ状態３０４がＲＥＡＤＹを示す“２”であるエントリを検索する（１００２～１００４）。スケジューリング機能２４は、論理ＣＰＵ状態３０４がＲＥＡＤＹを示す“２”であるエントリが存在すれば処理１００５に進む。

　一方、ＲＥＡＤＹを示す“２”の論理ＣＰＵ状態３０４のエントリが固有論理ＣＰＵ管理テーブル３００に存在しない場合は、図１６Ｂのステップ１００７へ進む。

　まず、ステップ１００２～１００４の検索にて、論理ＣＰＵ状態３０４がＲＥＡＤＹを示す“２”となっているエントリが固有論理ＣＰＵ管理テーブル３００に存在するときを説明する。

　スケジューリング機能２４は、ＲＥＡＤＹとなっている論理ＣＰＵ状態３０４のエントリにおいて、エントリ番号３０１以外を一時保管用論理ＣＰＵ管理テーブルエントリ５００にコピーし、固有論理ＣＰＵ管理テーブル３００から当該エントリを除去する（１００５）。

　スケジューリング機能２４は、固有論理ＣＰＵ管理テーブル３００において各々のエントリが持つエントリ番号３０１を一ずつ減らし（１００６）、ステップ１０１２、すなわち図１６Ｃのステップ１０１４に進む。

　次に、ステップ１００２～１００４の検索にて論理ＣＰＵ状態３０４がＲＥＡＤＹを示す“２”のエントリが固有論理ＣＰＵ管理テーブル３００に存在しないときを説明する。

　スケジューリング機能２４は、共有論理ＣＰＵ管理テーブル４００において、エントリ番号４０１が小さいものから順に論理ＣＰＵ状態４０４の値がＲＥＡＤＹを示す“２”であるエントリを検索し（１００７～１００９）、ステップ１００８では、論理ＣＰＵ状態４０４の値がＲＥＡＤＹを示す“２”であるエントリが存在すればステップ１０１０に進む。

　ＲＥＡＤＹとなっている論理ＣＰＵ状態４０４のエントリが共有論理ＣＰＵ管理テーブル４００にも存在しない場合は、ステップ１０１３、すなわち図１６Ｄのステップ１０２２に進む。

　ＲＥＡＤＹとなっている論理ＣＰＵ状態４０４のエントリが共有論理ＣＰＵ管理テーブル４００に存在する場合は、上記ステップ１００５と同様である。すなわち、スケジューリング機能２４は、共有論理ＣＰＵ管理テーブル４００から当該エントリのエントリ番号４０１以外を一時保管用論理ＣＰＵ管理テーブルエントリ５００にコピーし、共有論理ＣＰＵ管理テーブル４００から当該エントリを除去する（１０１０）。

　その後、スケジューリング機能２４は、共有論理ＣＰＵ管理テーブル４００において各々のエントリが持つエントリ番号４０１を一ずつ減らし（１０１１）、ステップ１０１２、すなわち図１６Ｃのステップ１０１４に移る。

　図１６Ｃのステップ１０１４以降の処理では、当該物理ＣＰＵの属するノード番号が一時保管用論理ＣＰＵ管理テーブルエントリ５００の、前回のノード番号５０４と一致するか否かを判定し（１０１５）、一致しなかった場合はステップ１０１６に進み、一致した場合はステップ１０１７に進む。

　スケジューリング機能２４は、一時保管用論理ＣＰＵ管理テーブルエントリ５００の前回のノード番号５０４に、当該物理ＣＰＵ４が属するノード番号を書き込む処理と、総キャッシュリード回数５０５と、総キャッシュヒット回数５０６と、総実行時間５０７に“０”をそれぞれ書き込む処理を行う（１０１６）。

　次に、スケジューリング機能２４は、一時計算用テーブル６００の実行開始時刻６０４に現時刻と、一時保管用論理ＣＰＵ管理テーブルエントリ５００の論理ＣＰＵ状態５０３にＲＵＮをそれぞれ書き込む（１０１７）。

　スケジューリング機能２４は、モニタリング機能２５が備えるカウンタをリセットする。スケジューリング機能２４は、モニタリング機能２５に対して起動対象の論理ＣＰＵ８１１、８１２によるキャッシュリード回数とキャッシュヒット回数のカウンタをリセットし、これらのカウントを開始させる（１０１８）。

　ハイパバイザ２０で予め定義されているタイムスライスの時間（または周期）にて当該物理ＣＰＵ４～７のタイマ１６～１９をセットする（１０１９）。このとき、タイムスライスの時間を経過した物理ＣＰＵ４～７は、タイマ１６～１９によってゲストモードが終了するタイマ割り込みが発生する。なお、タイマ１６～１９によるタイマ割り込みにより、ホストモードに切り替わり、ハイパバイザ２０に制御が移る。

　スケジューリング機能２４は、ハイパバイザ２０が介在しないゲストモードに当該物理ＣＰＵ４～７を切り替え、論理ＣＰＵ８１１、８１２を起動し（１０２０）、物理ＣＰＵディスパッチ開始処理（９７２）は完了となる（１０２１）。

　図１６Ｄの処理１０２２以降の処理では、スケジューリング機能２４が、物理ＣＰＵ管理テーブル２００のうち当該物理ＣＰＵ４のエントリの物理ＣＰＵ状態２０２にＨＡＬＴに対応する“３”を書き込む（１０２３）。

　スケジューリング機能２４は、当該物理ＣＰＵを休止状態にし（１０２４）、スケジューリングの処理終了となる（１０２５）。

　図１６Ａ、図１６Ｂ、図１６Ｃ、図１６Ｄで示したフローチャートでは、以下の処理を行なう。

　スケジューリング機能２４は、固有論理ＣＰＵ管理テーブル４００内のエントリ番号４０１が小さいエントリの論理ＣＰＵ８１１（８１２）を優先的に選択して物理ＣＰＵ４～７で実行させる論理ＣＰＵとする。

　スケジューリング機能２４は、固有論理ＣＰＵ管理テーブル４００内にＲＥＡＤＹに対応する“２”の論理ＣＰＵ状態４０４のエントリが存在しないときには、共有論理ＣＰＵ管理テーブルエントリ５００から同様にＲＥＡＤＹに対応する“２”の論理ＣＰＵ状態５０３を検索して論理ＣＰＵ８１１（８１２）を選択し、それでも存在しないときには当該物理ＣＰＵにて処理する仕事が存在しないため、当該物理ＣＰＵを休止状態とする。

　物理ＣＰＵディスパッチ開始処理（９７２）にて上記の処理を行なうことで、スケジューリング処理はＲＥＡＤＹとなっている論理ＣＰＵ状態３０４の論理ＣＰＵ８１１（８１２）のエントリを、当該物理ＣＰＵ４の固有論理ＣＰＵ管理テーブル３００から優先的に選択する。そして、スケジューリング機能２４は、固有論理ＣＰＵ管理テーブル３００に論理ＣＰＵ８１１のエントリを新たに挿入することで、当該論理ＣＰＵ８１１を当該物理ＣＰＵ４で必ず実行させることができる。

　また、固有論理ＣＰＵ管理テーブル３００に実行させる論理ＣＰＵが存在しない場合は、スケジューリング処理は全物理ＣＰＵ４～７にて実行可能な論理ＣＰＵ８１１（８１２）のエントリを保有する共有論理ＣＰＵ管理テーブル４００からエントリを取得するため、ＲＥＡＤＹ状態の論理ＣＰＵをいずれかの物理ＣＰＵ４～７にて必ず実行させることを保証できる。

　ここで処理の一例として、図２、図５、図７～１４、図１３、図１４の状態にて図１２のフローチャートのステップ９５４にて物理ＣＰＵ＃０（４）を対象としてスケジューリング機能２４のスケジューラ処理を開始したとき、図１６Ａ、図１６Ｂ、図１６Ｃ、図１６Ｄのフローチャートの処理の結果を図１７Ａ、図１７Ｂに示し、このようになる理由を以下に示す。

　図１３、図１４の状態では、固有論理ＣＰＵ管理テーブル３００にはエントリがなく、共有論理ＣＰＵ管理テーブル４００にエントリが１つあるため、ステップ１００７～１００９の処理により共有論理ＣＰＵ管理テーブル４００にてＲＥＡＤＹ状態の論理ＣＰＵ状態のうち、最も小さいエントリ番号４１１のエントリにおいてエントリ番号以外４１２～４２０を、一時保管用論理ＣＰＵ管理テーブルエントリ５００にコピーしてから、共有論理ＣＰＵ管理テーブル４００の当該エントリを削除する。

　その後、共有論理ＣＰＵ管理テーブル４００はエントリが空になるため、図１６Ｂのステップ１０１０の処理は、今回は行なわれない。

　スケジューリング機能２４が、一時保管用論理ＣＰＵ管理テーブルエントリ５００にコピーした論理ＣＰＵ＃０のエントリは、ノード＃０の物理ＣＰＵ４、５上で初めて実行するため、図１６Ｃのステップ１０１５～１０１６により前回のノード番号５０４を“０”に変更して、総キャッシュリード回数５０５と、総キャッシュヒット回数５０６と、総実行時間５０７を、それぞれ“０”で初期化する。

　そして、ステップ１０１７にて一時計算用テーブル６００の実行開始時刻６０４に現在時刻を書き込み、一時保管用論理ＣＰＵ管理テーブルエントリ５００の論理ＣＰＵ状態５０３をＲＵＮ状態に対応する値“１”に更新し、ステップ１０１８～１０２０の処理により物理ＣＰＵ＃０（４）をゲストモードに切り替える。なお、ステップ１０１７では、図１７Ｂで示すように、処理を開始した時刻６０４を２００としている。なお、物理ＣＰＵ４～７は、仮想化支援機能を備えており、ハイパバイザ２０を実行するホストモードと、ゲストＯＳを実行するゲストモードとを備える。

　図１８は、図１５に示した論理ＣＰＵ実行処理（９７３）の処理の一例を示すフローチャートを示す。本処理の内容は、物理ＣＰＵ＃０（４）のゲストモードの終了要因が発生するまで対象の物理ＣＰＵ＃０（４）をゲストモードにて実行させ、モニタリング機能２５にて実行中の論理ＣＰＵ８１１のキャッシュリード回数と、キャッシュヒット回数をそれぞれカウントする処理を行なう（１０５２）。

　ゲストモード終了要因のコードと要因、その後の論理ＣＰＵ状態は、ハイパバイザ内部で予め定められており、図１９に例を示す論理ＣＰＵ終了要因コードと論理ＣＰＵ状態対応表にて識別する。

　図１９は、ゲストモード終了の要因コードテーブル４６０の一例を示す図である。要因コードテーブル４６０は、ゲストモードが終了する際の命令を格納する要因コード４６１と、要因の名称を格納する要因４６２と、要因コードを実行した後の論理ＣＰＵの状態を格納する論理ＣＰＵ状態４６３からひとつのエントリが構成される。

　図２０Ａ、図２０Ｂ、図２０Ｃでは、図１５の物理ＣＰＵディスパッチ終了処理（９７４）で行われる処理の一例を示すフローチャートである。論理ＣＰＵ８１１がゲストモードを終了すると、物理ＣＰＵディスパッチ終了処理（９７４）は図２０Ａのステップ１０６１から開始する。図２０Ａは、スケジューリング処理の物理ＣＰＵディスパッチ終了処理の一例を示すフローチャートの前半部である。同様に、図２０Ｂは物理ＣＰＵディスパッチ終了処理の中間部を示し、図２０Ｃは、後半部を示す。

　スケジューリング機能２４は、要因コードテーブル４６０を参照して、論理ＣＰＵ８１１のゲストモードの終了要因に従って、図１９の要因コードテーブル４６０の論理ＣＰＵ状態を決定し、一時保管用論理ＣＰＵ管理テーブルエントリ５００の論理ＣＰＵ状態５０３に書き込む。そして、スケジューリング機能２４は、当該物理ＣＰＵ＃０（４）にセットされていたタイマ１６を停止させる（１０６２）。この終了要因による論理ＣＰＵ状態の決定は、スケジューリング機能２４が、上述した図１９の要因コードテーブル４６０を参照して実施する。

　一時保管用論理ＣＰＵ管理テーブルエントリ５００の論理ＣＰＵ状態５０３が、ＲＵＮに対応する“１”となっている場合（１０６３のＹＥＳ）は、ハイパバイザ２０の要因コードテーブル４６０で予め定義されたゲストモード処理要因に対応した処理を行ない（１０６４）、一時保管用論理ＣＰＵ管理テーブルエントリ５００の論理ＣＰＵ状態５０３にＲＥＡＤＹに対応する“２”を書き込む（１０６５）。なお、ステップ１０６４には論理ＣＰＵ８１１がタイムスライスの時間を使い切った際の処理も含まれ、この場合は物理ＣＰＵ＃０（４）のタイマ割り込みに対応した処理となる。

　次に、スケジューリング機能２４は、モニタリング機能２５から論理ＣＰＵ８１１のキャッシュリード回数とキャッシュヒット回数をそれぞれ読み込んで、一時計算用テーブル６００の該当フィールド６０２、６０３に書き込む。また、スケジューリング機能２４は、一時保管用論理ＣＰＵ管理テーブルエントリ５００の総キャッシュリード回数５０５、総キャッシュヒット回数５０６に、上記読み込んだキャッシュリード回数とキャッシュヒット回数をそれぞれ加算する（１０６６）。

　スケジューリング機能２４は、一時計算用テーブル６００の実行終了時刻６０５に現在時刻を書き込み、実行終了時刻６０５と実行開始時刻６０４の差分を算出する。そして、スケジューリング機能２４は、一時保管用論理ＣＰＵ管理テーブルエントリ５００において、論理ＣＰＵ８１１を実行した物理ＣＰＵ＃０の属するノードに対応する実行時間５０８または５０９に、上記算出した差分を加算する（１０６７）。また、スケジューリング機能２４は、閾値管理テーブル７００の総実行時間７０８にも上記算出した差分を加算する（１０６７）。

　スケジューリング機能２４は、一時保管用論理ＣＰＵ管理テーブルエントリ５００の総キャッシュヒット回数５０６を総キャッシュリード回数５０５で除算し、結果を一時計算用テーブル６００の総キャッシュヒット率６０１に書き込む（１０６８）。

　次に、スケジューリング機能２４は、閾値管理テーブル７００から、一時保管用論理ＣＰＵ管理テーブルエントリ５００のＬＰＡＲ番号５０１と論理ＣＰＵ番号５０２が一致するエントリを取得する（図２０Ｂの１０７１）。以下、閾値管理テーブル７００から取得した本エントリを閾値管理テーブル７００の対象エントリとする。

　スケジューリング機能２４は、閾値管理テーブル７００の対象エントリのモニタ有効フラグ７０５が“１”であるか否かを判定する（１０７２）。モニタ有効フラグ７０５が１であればステップ１０７３へ進み、そうでなければステップ１０７４へ進む。

　スケジューリング機能２４は、閾値管理テーブル７００の対象エントリにおいて、総キャッシュヒット率７０７および総実行時間７０８に一時計算用テーブル６００の総キャッシュヒット率６０１および一時保管用論理ＣＰＵ管理テーブルエントリ５００の総実行時間５０７を書き込み、書き込み完了フラグ７０６に“１”を書き込み、モニタ有効フラグ７０５に“０”をそれぞれ書き込む（１０７３）。

　スケジューリング機能２４は、一時保管用論理ＣＰＵ管理テーブルエントリ５００の総実行時間５０７が閾値管理テーブル７００の当該エントリの閾値β７０４より大きいか否かを判定する（１０７４）。総実行時間５０７が閾値β７０４より大きい場合にはステップ１０７５へ進み、総実行時間５０７が閾値β７０４以下の場合にはステップ１０７８へ進む。

　ステップ１０７５では、スケジューリング機能２４が、一時計算用テーブル６００の総キャッシュヒット率６０１が閾値管理テーブル７００の対象エントリの閾値α７０３より小さいか否かを判定する。総キャッシュヒット率６０１が閾値α７０３より小さい場合にはステップ１０７６へ進み、総キャッシュヒット率６０１が閾値α７０３以上であればステップ１０７８へ進む。

　ステップ１０７６では、スケジューリング機能２４が、物理ＣＰＵ管理テーブル２００において、当該物理ＣＰＵが属するノードとは別のノードにＨＡＬＴ状態の物理ＣＰＵが存在するか否かを判定する。当該物理ＣＰＵが属するノード以外でＨＡＬＴ状態の物理ＣＰＵが存在する場合は、ステップ１０７７へ進み、存在しない場合にはステップ１０７８へ進む。

　上記複数の判定により、一時保管用論理ＣＰＵ管理テーブルエントリ５００の総実行時間５０７が閾値β７０４より大きく、かつ、総キャッシュヒット率６０１が閾値α７０３より小さく、かつ、当該物理ＣＰＵが属するノード以外でＨＡＬＴ状態の物理ＣＰＵが存在する場合には、ステップ１０７７から図２０Ｃのステップ１０７９へ進み、ステップ１０７４～１０７６の判定のいずれか一つでもＮＯの場合はステップ１０７８から図２０Ｃのステップ１０８３へ進む。

　ステップ１０７９はステップ１０８０に進み、ステップ１０８０～１０８２では下記処理を行なう。

　スケジューリング機能２４は、別のノードにてＨＡＬＴ状態で、かつ一時保管用論理ＣＰＵ管理テーブルエントリ５００にて実行時間（５０８または５０９）が最も短いノードの物理ＣＰＵを選択する（１０８０）。

　スケジューリング機能２４は、上記ステップ１０８０で選択した物理ＣＰＵに対応する固有論理ＣＰＵ管理テーブル３００へ、最も大きいエントリ番号３０１に“１”を加算したものを新たなエントリ番号３０１として一時保管用論理ＣＰＵ管理テーブルエントリ５００に挿入する（１０８１）。ただし、固有論理ＣＰＵ管理テーブル３００のエントリが空だった場合、挿入するエントリのエントリ番号３０１は“１”とする。

　スケジューリング機能２４は、ステップ１０８０で選択した物理ＣＰＵを、ハイパバイザ２０の物理ＣＰＵ起床機能２３によって起床させる（１０８２）。

　一方、ステップ１０７４～１０７６の判定のいずれか一つでも“ＮＯ”の場合のステップ１０８３は処理１０８４に進む。ステップ１０８４では当該物理ＣＰＵに対応する共有論理ＣＰＵ管理テーブル４００へ、最も大きいエントリ番号４０１に１加算したものを新たなエントリ番号４０１として一時保管用論理ＣＰＵ管理テーブルエントリ５００を挿入する（１０８４）。ただし、共有論理ＣＰＵ管理テーブル４００のエントリが空であった場合、挿入するエントリのエントリ番号４０１は“１”とする。

　上記ステップ１０８２またはステップ１０８４の処理完了を以って、物理ＣＰＵディスパッチ終了処理の終了となる（１０８５）。

　図２０Ａ、図２０Ｂ、図２０Ｃの上記フローチャートでは、下記の処理を行なっている。

　論理ＣＰＵのゲストモードが終了した後、論理ＣＰＵ状態５０３によってはハイパバイザ２０にて後処理を行なった後に、スケジューリング機能２４が、モニタリング機能２５から論理ＣＰＵを実行した期間中のキャッシュリード回数とキャッシュヒット回数を取得し、統計情報である総キャッシュヒット率７０７と総実行時間７０８を演算して更新する。

　スケジューリング機能２４は、同じノード内の物理ＣＰＵで、総実行時間７０８の閾値β７０４よりも長く当該論理ＣＰＵを連続実行していた場合に、総キャッシュヒット率７０７が閾値αと比較することで、キャッシュメモリ８、９を有効に活用しているかを判定する。

　閾値αよりも総キャッシュヒット率７０７が小さく、ＨＡＬＴ状態の物理ＣＰＵが別のノード内に存在する場合は、別のノード内の物理ＣＰＵで当該論理ＣＰＵ８１１を実行させるべく、固有論理ＣＰＵ管理テーブル３００に実行させた論理ＣＰＵのエントリを追加する。これにより、論理ＣＰＵを実行する物理ＣＰＵをノード間で転々と移動させることができ、閾値βよりも長い時間にて論理ＣＰＵ８１１のメモリアクセス性能を測定した際に、論理ＣＰＵ８１１からみた物理メモリ１０、１１へのアクセスコストにばらつきを生むことかできる。

　すなわち、論理ＣＰＵ８１１で実行するプログラムがアクセスするデータなどが、物理ＣＰＵ４と同じノードの物理メモリ１０に格納されている場合はローカルアクセスとなり、異なるノードの物理メモリ１１に格納されている場合はリモートアクセスとなり、アクセスコスト、換言すればレイテンシが異なる。

　閾値αよりも総キャッシュヒット率７０７が大きい場合は、論理ＣＰＵ８１１がキャッシュメモリ８の恩恵を受けていることから同じノードの物理ＣＰＵ４、５にて引き続き論理ＣＰＵを実行してもよい。このため、共有論理ＣＰＵ管理テーブル４００へ実行させた論理ＣＰＵ８１１のエントリを追加する。

　このとき、別ノードの物理ＣＰＵ６、７にＨＡＬＴ状態でないものが存在する場合には、別ノードの物理ＣＰＵ６、７を対象としたスケジューリング処理にて共有論理ＣＰＵ管理テーブル４００から当該論理ＣＰＵ８１１のエントリを抽出し、当該論理ＣＰＵ８１１を実行させることもありうる。しかしながらこのような場合は、後述するように仮想計算機システム全体がビジー状態の際のランダム性と同じく、閾値βよりも長い時間Ｔにてメモリアクセス性能を測定した際に、論理ＣＰＵ８１１からみた物理メモリ１０、１１へのアクセスコストにばらつきを生むことができる。

　ＨＡＬＴ状態の物理ＣＰＵが別のノード内に存在しない場合は、仮想計算機システム全体がビジー状態であり、後述のとおり、当該論理ＣＰＵ８１１を割り当てる物理ＣＰＵ４～７の割り当て先にランダム性が働く。

　この特徴を利用すべく、共有論理ＣＰＵ管理テーブル４００に実行させた論理ＣＰＵ８１１のエントリを追加することで、物理ＣＰＵディスパッチ開始処理（９７２）の際に選ばれる論理ＣＰＵ８１１、８１２の選択がランダムとなる。そして、閾値βよりも長い時間Ｔにて論理ＣＰＵ８１１、８１２のメモリアクセス性能を測定した際に、論理ＣＰＵからみた物理メモリ１０、１１へのアクセスコストにばらつきを生むことができるのである。

　図１７Ａ、図１７Ｂとなった状態から引き続き、図２０Ａ、図２０Ｂ、図２０Ｃの処理を実施した結果を図２１Ａ、図２１Ｂ、図２１Ｃに示す。このとき、論理ＣＰＵ８１１の実行開始時刻６０４は、上述のように“２００”、実行終了時刻が“１０００”、論理ＣＰＵ８１１の終了要因がタイマ割り込み、論理ＣＰＵ８１１を実行した期間の当該物理ＣＰＵ４のキャッシュリード回数が“１０００”、キャッシュヒット回数が“３００”だったものとする。図２１Ａ～図２１Ｃは、図２０Ａのステップ１０６１～１０６８を実施した結果である。図２１Ａは、図２０Ａの物理ＣＰＵディスパッチ終了処理の処理を実施した際の一時保管用論理ＣＰＵ管理テーブルエントリ５００を示す図である。図２１Ｂは、図２０Ａの物理ＣＰＵディスパッチ終了処理の処理を実施した際の一時計算用テーブル６００を示す図である。図２１Ｃは、図２０Ｂ、図２０Ｃの処理を実施した際の一時保管用論理ＣＰＵ管理テーブルエントリ５００と共通論理ＣＰＵ管理テーブル４００の関係を示す図である。

　論理ＣＰＵ８１１の終了要因がタイマ割り込みであるため、図２０Ａのステップ１０６２では、図２１Ａで示すように一時保管用論理ＣＰＵ管理テーブルエントリ５００の論理ＣＰＵ状態５０３は、スケジューリング機能２４によって図２１Ａで示すようにＲＵＮからＲＥＡＤＹを示す値“２”に変更される。

　論理ＣＰＵを実行した期間の当該物理ＣＰＵのキャッシュリード回数が“１０００”、キャッシュヒット回数が“３００”だったことから、スケジューリング機能２４は、図２０Ａのステップ１０６６にて、図２１Ｂに示す一時計算用テーブル６００のキャッシュリード回数６０２に“１０００”を書き込み、キャッシュヒット回数６０３に“３００”を書き込む。また、スケジューリング機能２４は、図２１Ａの一時保管用論理ＣＰＵ管理テーブルエントリ５００の総キャッシュリード回数５０５に“１０００”を加算し、総キャッシュヒット回数５０６に“３００”を加算する。

　論理ＣＰＵの実行終了時刻が“１０００”であり、当該物理ＣＰＵがノード＃０に属していたことから、図２０Ａのステップ１０６７にて、スケジューリング機能２４は、図２１Ｂの一時計算用テーブル６００の実行終了時刻６０５に“１０００”を書き込み、実行終了時刻６０５と実行開始時刻６０４との差分８００を演算し、図２１Ａの一時保管用論理ＣＰＵ管理テーブルエントリ５００の総実行時間５０７と、ノード０の物理ＣＰＵ４での実行時間５０８にそれぞれ差分の８００ずつ加算する。

　次に、図２０Ａのステップ１０６８にて、図２１Ａで示した一時保管用論理ＣＰＵ管理テーブルエントリ５００の総キャッシュヒット回数５０６である“３００”を総キャッシュリード回数５０５である“１０００”で除算し、その結果の“０．３”を図２１Ｂに示す一時計算用テーブル６００の総キャッシュヒット率６０１に書き込む。

　図２１Ｃは、図２０Ｂ、図２０Ｃの処理を実施した結果、一時保管用論理ＣＰＵ管理テーブルエントリ５００と共通論理ＣＰＵ管理テーブル４００の関係を示す図である。

　ＬＰＡＲ＃１（８０１）の論理ＣＰＵ＃０（８１１）を示す閾値管理テーブル７００のエントリでは、図９で示したようにモニタ有効フラグ７０５が“０”となっているため、図２０Ｂのステップ１０７３は実施されず、閾値管理テーブル７００は更新されない。

　ＬＰＡＲ＃１（８０１）の論理ＣＰＵ＃０（８１１）を示す閾値管理テーブル７００のエントリでは、閾値β７０４が“２０００”と、図２１Ａの一時保管用論理ＣＰＵ管理テーブルエントリ５００の総実行時間５０７の“８００”よりも大きいため、図２０Ｂのステップ１０７４から図２１Ｃのステップ１０８４に進む。

　この時点で、共有論理ＣＰＵ管理テーブル４００のエントリは空となっているため、図２０Ｃのステップ１０８４にて図２１Ｃのエントリ番号４０１を“１”として一時保管用論理ＣＰＵ管理テーブルエントリ５００を共有論理ＣＰＵ管理テーブル４００に挿入する。

　以上がスケジューリング処理である。

　図２２は、閾値を閾値管理テーブル７００に格納する閾値設定処理の一例を示すフローチャートである。図２２に示す閾値設定処理は、ユーザが入出力装置１３、入出力機能２１を介して総キャッシュヒット率閾値および総実行時間閾値の設定命令をハイパバイザ２０に入力した際に、ＬＰＡＲ管理機能２２で行なわれる処理である。

　ＬＰＡＲ管理機能２２は、入出力機能２１から閾値設定を行なうＬＰＡＲ番号、論理ＣＰＵ番号、総キャッシュヒット率閾値、総実行時間閾値を読み込む（１１０２）。

　ＬＰＡＲ管理機能２２は、ステップ１１０２で読み込んだ当該ＬＰＡＲ番号と論理ＣＰＵ番号を有する閾値管理テーブル７００のエントリにおいて、読み込んだ総キャッシュヒット率閾値および総実行時間閾値をそれぞれ閾値α７０３、閾値β７０４として書き込む（１１０３）。

　以上の処理により、閾値管理テーブル７００が設定される。

　図２３は、論理ＣＰＵのキャッシュヒット率等を測定するためのモニタ有効化処理の一例を示すフローチャートである。図２３に示すモニタ有効化処理は、ユーザが入出力装置１３、入出力機能２１を介してモニタリングの有効化命令をハイパバイザ２０へ入力した際に、モニタリング機能２５にて行なわれる処理である。

　モニタリング機能２５は、入出力機能２１からモニタリングを行なうＬＰＡＲ番号と論理ＣＰＵ番号を読み込む（１１１２）。

　モニタリング機能２５は、ステップ１１１２で読み込んだ当該ＬＰＡＲ番号と論理ＣＰＵ番号をもつ閾値管理テーブル７００のエントリにおいて、モニタ有効フラグ７０５に“１”を書き込む（１１１３）。

　図２４は、論理ＣＰＵのキャッシュヒット率を測定するためのモニタリング処理の一例を示すフローチャートである。図２４に示すモニタリング処理は、ユーザが入出力装置１３、入出力機能２１を介してモニタリング実施命令をハイパバイザ２０へ入力した際に、
モニタリング機能２５で行なわれる処理である。

　モニタリング機能２５は、入出力機能２１からモニタリングを行なうＬＰＡＲ番号と論理ＣＰＵ番号を読み込む（１１２２）。

　モニタリング機能２５は、ステップ１１２２で読み込んだ当該ＬＰＡＲ番号と論理ＣＰＵ番号を含む閾値管理テーブル７００のエントリにおいて、モニタ有効フラグ７０５と書き込み完了フラグ７０６が共に０であるか否かを判定し（１１２３）、共に“０”であればステップ１１２４へ進んで入出力機能２１を介してエラー出力する。

　一方、モニタ有効フラグ７０５と書き込み完了フラグ７０６が共に“０”でない場合は、ステップ１１２５へ進む。

　モニタリング機能２５は、当該ＬＰＡＲ番号と論理ＣＰＵ番号を含む閾値管理テーブル７００のエントリにおいて、書き込み完了フラグ７０６が“１”か否かを判定し、当該書き込み完了フラグ７０６が“１”となるまで待機する（１１２５）。

　ステップ１１２５で書き込み完了フラグ７０６が“１”となった場合、モニタリング機能２５は、当該ＬＰＡＲ番号と論理ＣＰＵ番号を含む閾値管理テーブル７００のエントリにおいて、総キャッシュヒット率７０７および総実行時間７０８を、入出力機能２１を介して出力し、書き込み完了フラグを“０”に設定する（１１２６）。

　上記図２３のモニタ有効化処理と図２４のモニタリング処理により、ユーザは任意の論理ＣＰＵについて、総キャッシュヒット率および総実行時間を得ることができる。

　図２５Ａ、図２５Ｂ、図２５Ｃは、ユーザがＬＰＡＲ＃１（８０１）の論理ＣＰＵ＃０（８１１）に対してモニタリングの有効化命令とモニタリング実施命令を行い、モニタリング処理が完了するまでの閾値管理テーブル７００の遷移を示す。

　図２５Ａは、図２３のモニタ有効化処理を実施した後の閾値管理テーブル７００を示す図である。図２５Ｂは、図２０Ａ～図２０Ｃの物理ＣＰＵディスパッチ終了処理を実施した後の閾値管理テーブル７００を示す図である。図２５Ｃは、図２４のモニタリング処理を実施した後の閾値管理テーブル７００を示す図である。

　なお、モニタ有効化が設定されてモニタリング処理が完了するまでの間に、ＬＰＡＲ＃１（８０１）の論理ＣＰＵ＃０（８１１）は総キャッシュヒット率が“０．４”で、総実行時間が“５００”であったものとする。以下、図２５Ａ～図２５Ｃの遷移の理由を説明する。

　図２５Ａは、図２３に示したモニタ有効化処理のステップ１１１３の処理によって、閾値管理テーブル７００のＬＰＡＲ番号７０１が１、論理ＣＰＵ番号７０２が“０”のエントリにおいて、モニタ有効フラグ７０５が“１”に更新された結果である。

　図２５Ｂは、スケジューリング処理の物理ＣＰＵディスパッチ終了処理９７４として図２０Ｂに示したステップ１０７３において、閾値管理テーブル７００のＬＰＡＲ番号７０１が“１”、論理ＣＰＵ番号７０２が“０”のエントリについて、総キャッシュヒット率７０７が“０．４”、総実行時間７０８が“５００”、書き込み完了フラグ７０６が“１”、モニタ有効フラグ７０５が“０”に更新された結果である。

　図２５Ｃは、図２４に示したモニタリング処理のステップ１１２６によって、閾値管理テーブル７００のうち、ＬＰＡＲ番号７０１が“１”、論理ＣＰＵ番号７０２が“０”のエントリについて、モニタリング機能２５が総キャッシュヒット率７０７および総実行時間７０８を入出力機能２１へ出力した後、書き込み完了フラグ７０６を“０”に更新した結果である。

　ユーザは図２２に示した閾値設定処理によって、各々の論理ＣＰＵに対し、期待する所定のキャッシュヒット率となる時間、すなわち閾値βまで一つのノード内の物理ＣＰＵで連続実行することを許可する。そして、論理ＣＰＵの総実行時間が、閾値βを経過した後に、キャッシュヒット率が閾値αに到達しているか否かに応じて論理ＣＰＵ８１１（８１２）を割り当てる物理ＣＰＵ４～７を制御できる。

　制御内容の概要は次の通りである。総キャッシュヒット率が閾値αに到達していた場合は、論理ＣＰＵ８１１、８１２はキャッシュメモリ８、９の恩恵を受けているため引き続き同じノードの物理ＣＰＵ４～７で当該論理ＣＰＵを連続実行してもよい。このため、ハイパバイザ２０は別のノードにＨＡＬＴ状態の物理ＣＰＵが存在しても起床させず、現在起床している物理ＣＰＵのうちのいずれかにて実行させる。

　一方、総キャッシュヒット率が閾値αに到達していない場合、ハイパバイザ２０は、当該論理ＣＰＵ８１１で実行した処理についてキャッシュの恩恵を受けていないと判断し、別のノードにＨＡＬＴ状態の物理ＣＰＵ４～７が存在する場合は、ＨＡＬＴ状態の物理ＣＰＵを起床させて当該論理ＣＰＵを割り当てる実行させる。これにより、閾値βよりも長い時間にてメモリアクセス性能を測定した際に、論理ＣＰＵからみた物理メモリ１０、１１のアクセスコストをばらつかせ、ひいては物理メモリ１０、１１へのメモリアクセスコストを最大値と最小値の中間値にすることができる。

　閾値α、閾値βの設定に貢献する機能として、モニタリング機能２５のモニタ有効化処理（図２３）とモニタリング処理（図２４）がある。これらの機能によりユーザは、各々の論理ＣＰＵにおいて所定のキャッシュヒット率となるまでの連続実行時間を知ることができる。

　一例として、一つの論理ＣＰＵに対して、モニタ有効化処理とモニタリング処理を交互に繰り返し実施し、論理ＣＰＵを一つのノードの物理ＣＰＵ上で実行し続けた際の、実行時間とキャッシュヒット率との関係を図２６に示す。

　図２６は、論理ＣＰＵの実行時間とキャッシュヒット率との関係を示すグラフである。図中グラフＧ１は、短時間でキャッシュヒット率が上昇している特徴をもつ論理ＣＰＵの実行時間とキャッシュヒット率との関係を示すグラフである。また、グラフＧ２は、緩やかにキャッシュヒット率が上昇している特徴をもつ論理ＣＰＵの実行時間とキャッシュヒット率との関係を示すグラフである。さらに、グラフＧ３は、キャッシュヒット率が上昇することもなく低いまま変動している特徴をもつ論理ＣＰＵの実行時間とキャッシュヒット率との関係を示すグラフである。

　グラフＧ１の場合では、グラフＧ２やグラフＧ３と比べて短時間でキャッシュヒット率が上がっている。このような図となるときは、実行時間が閾値βを経過した後のキャッシュヒット率の高さから、論理ＣＰＵ上で処理させるプログラムの使用メモリ量がキャッシュメモリ８、９の容量に比べて小さいこと等が考えられる。

　グラフＧ２の場合では、グラフＧ１と比べて緩やかにキャッシュヒット率が上昇している。このような図となるときは、キャッシュメモリ８、９に大量の書き込みを行うことでキャッシュヒット率が徐々に上がっていると考えられるので、プログラムの使用メモリ量がキャッシュ容量と同程度であること等が考えられる。

　グラフＧ３の場合では、グラフＧ１やグラフＧ２と比べてキャッシュヒット率が上昇することもなく低いまま変動している。このような図となるときは、キャッシュメモリ８、９に書き込みをしてもキャッシュヒットが増えないことからプログラムの使用メモリ量がキャッシュ容量と比べて大きいこと等が考えられる。

　以上のように、論理ＣＰＵ８１１、８１２で処理させるプログラムによってキャッシュヒット率が所定の閾値αまで上昇する時間は異なるのだが、モニタリング機能２５によってグラフＧ１～Ｇ３のようなキャッシュヒット率と、論理ＣＰＵ８１１、８１２の連続実行時間との関係を得ることができ、ひいては所定のキャッシュ率となるまでの時間を調べることができるのである。

　この結果を用いて、例えば、グラフＧ１のようなメモリ使用量の少ないプログラムと図グラフＧ３のようなメモリ使用量の多いプログラムを一つの論理ＣＰＵ８１１（８１２）で処理させたい場合には、グラフＧ１の閾値αをキャッシュメモリ８、９と物理メモリ１、０１１へのアクセス回数の比がちょうど中間となる“０．５”よりも大きい値に設定する。そして、キャッシュヒット率が閾値αとなるまでの論理ＣＰＵ８１１（８１２）の実行時間を閾値βとして、上述の閾値設定処理にて設定する。なお、物理メモリ１、０１１へのアクセス回数は、論理ＣＰＵ８１１（８１２）キャッシュミスの回数となる。

　これにより、閾値βに達する時間まで同じノードの物理ＣＰＵ４～７で論理ＣＰＵ８１１（８１２）を実行している際に、論理ＣＰＵ８１１（８１２）がメモリ使用量の少ないプログラムを処理しているときには、閾値αよりもキャッシュヒット率が高いためにキャッシュメモリ８、９の恩恵が受けやすくなり、メモリ使用量の多いプログラムを処理しているときには閾値αよりもキャッシュヒット率が低くなるため、論理ＣＰＵ８１１（８１２）からみた物理メモリ１０、１１へのアクセスコストをばらつかせ、ひいてはメモリアクセスコストを最大値と最小値の中間値にすることができる。

　また、論理ＣＰＵ８１１（８１２）のメモリアクセス性能をより向上させるために、モニタリング機能２５を用いて所定のキャッシュヒット率αとなったか否かを判定し、ＬＰＡＲ管理機能２２の閾値設定処理にてキャッシュヒット率を入出力装置１３にフィードバックして閾値αと閾値βをリアルタイムでチューニングする、ということも可能となる。

　以上の通り、多数の物理ＣＰＵ（またはコア）４～７を備えた本実施例の仮想計算機システムにより、休止状態の物理ＣＰＵが存在する状態において、論理ＣＰＵ８１１、８１２のキャッシュヒット率が閾値αよりも高いときは、同じノードの物理ＣＰＵ４～７で論理ＣＰＵ８１１、８１２を再度実行させてキャッシュメモリ８、９の恩恵を受けやすくする。一方、キャッシュヒット率が低い際には物理メモリ１０、１１へのアクセスを複数のノード上の物理ＣＰＵ間で移動させ、論理ＣＰＵ８１１、８１２から見た物理メモリ１、０１１へのアクセスコストを最大値と最小値の中間値にすることができる。

　次に、図２７～図２８を用いて従来例によるメモリアクセスの一例を説明する。図２７はメモリアクセスの位置によりメモリアクセスコストが異なるＮＵＭＡ構成のハードウェア（仮想計算機）１の構成を示すブロック図である。この例では、物理ＣＰＵ１（５）が属するノード０（２）とは異なるノード（１）３の物理メモリ１（１１）に、物理ＣＰＵ１（５）からアクセス（３１）する際のコストは、ノード（０）２とノード（１）３との間を接続するインターコネクト１４を経由しなくてはならないため、物理ＣＰＵ（１）５が属するノード（０）２の物理メモリ（０）１０に物理ＣＰＵ（１）５からアクセス３０する際のコストより大きなものとなってしまう。なお、ハードウェア１では、従来のハイパバイザ（図示省略）が稼動する。

　一方で、従来技術では複数のＬＰＡＲ８０１、８０２の論理ＣＰＵ８１１、８１２として物理ＣＰＵ４～７を時分割共有する際に、物理ＣＰＵ４～７が十分にある場合は休止状態の物理ＣＰＵを起床させず、起床している物理ＣＰＵのみの上で動作させようとする。この一例を図２８に示す。

　図２８では、各ノード０、１の物理ＣＰＵにて実行させる論理ＣＰＵ（実線）とハイパバイザ（点線）の時系列を示しており、図中下方向に時間が進むものとしている。また、矢印４０を論理ＣＰＵの処理に要する時間、破線の矢印６０をハイパバイザの処理に要する時間、破線７０を休止状態の時間、メモリアクセス性能の平均値を測定する時間を時間Ｔ８０とする。論理ＣＰＵの処理を示す矢印４０の長さは最大でも、ハイパバイザにて予め定義されるタイムスライスとよばれる単位時間となる。タイムスライスは一般的には数十ミリ秒程度に設定される。

　図２８では、論理ＣＰＵが一つのみ物理計算機上で稼動しており、ノード０に属する物理ＣＰＵで論理ＣＰＵの処理の実行が開始されている。その後、論理ＣＰＵの実行４０が一旦終了してハイパバイザのスケジューリング処理６０に移り、スケジューリング処理が論理ＣＰＵを再度実行させる先となる物理ＣＰＵを選択しようとしたところ、ノード１に属する物理ＣＰＵが全て休止状態７０であったため、今まで論理ＣＰＵを実行させていたノード０に属する物理ＣＰＵを再度割り当てて実行させる。このように、ハイパバイザのスケジューリング処理がノード０に属する物理ＣＰＵを論理ＣＰＵに割り当て続ける処理は、ノード１に属する物理ＣＰＵが起床しない限り繰り返されてしまう。

　図２８の場合において、ＬＰＡＲの論理ＣＰＵとして物理ＣＰＵ１（５）が割り当てられ、かつ論理ＣＰＵ上のプログラムにてメモリアクセス３１を伴う処理を行なう場合を考える。時間Ｔの間、例えば一般的なメモリ測定の時間単位である一秒の間に注目したとき、論理ＣＰＵはノード０に属する物理ＣＰＵでしか実行していないことから、論理ＣＰＵはリモートでメモリアクセス３１を常に行なっていることになる。このため、時間Ｔの平均メモリアクセス性能は、リモートメモリへのアクセス性能、すなわち低い性能となってしまう。

　ただし、上記の場合でも論理ＣＰＵ上のプログラムにて利用するメモリ量が物理キャッシュメモリに収まる場合は、利用するメモリ内容がキャッシュに収まり次第、キャッシュメモリへのアクセスで足りるため、ＮＵＭＡ構成による物理メモリへのアクセス性能の影響は受けなくなる。言い換えると、短時間にて複数の物理ＣＰＵ間で論理ＣＰＵの割り当て先を変更させるだけではキャッシュメモリの恩恵を受けにくくなってしまうため、キャッシュ内にアクセスしたいデータや命令の含有率、すなわちキャッシュヒット率が高い状態で保たれたときには、そのキャッシュの恩恵も受けられるようにするべきである。

　本発明では、論理ＣＰＵが同じノード上の物理ＣＰＵで連続実行された際に、ハイパバイザ２０にて当該論理ＣＰＵの連続実行時間が、所定のキャッシュヒット率となるまでの時間βを経過しているか否かを判定し、時間βを経過している場合には論理ＣＰＵのキャッシュヒット率が閾値αに達しているか否かを判定する。

　そして、ハイパバイザ２０は、キャッシュヒット率が閾値αよりも低い場合は、キャッシュメモリ８、９の恩恵が受けられていないと判断し、論理ＣＰＵを連続実行したノードとは別のノード上に休止状態の物理ＣＰＵが存在すれば当該物理ＣＰＵを起床して当該論理ＣＰＵを実行させる。

　一方、キャッシュヒット率が高い（閾値αに達している）場合は、論理ＣＰＵを連続実行したノードと別のノード上に休止状態の物理ＣＰＵが存在しても起床させず、ハイパバイザ２０は引き続き現在のノードで起床している物理ＣＰＵに当該論理ＣＰＵを実行させる。また、キャッシュヒット率は低いが、論理ＣＰＵを連続実行させたノードとは別のノード上に休止状態の物理ＣＰＵが存在しなかった場合に関しても、ハイパバイザ２０は現在起床している物理ＣＰＵにて当該論理ＣＰＵを再度実行させる。

　実行させる論理ＣＰＵはハイパバイザ２０の論理ＣＰＵのキューにて保持し、キューに入った順序で論理ＣＰＵを物理ＣＰＵ上にて実行させ、所定の周期（時分割の周期など）で論理ＣＰＵの実行が完了したら再度論理ＣＰＵをキューに入れる。

　総実行時間閾値βはメモリ性能の平均値を測定する時間Ｔよりも小さいものとする。この理由は上述の通りである。

　図２９に本発明にて総キャッシュヒット率の閾値α＝０．５、総実行時間の閾値βが論理ＣＰＵのタイムスライス二つ分であった場合に、各ノードの物理ＣＰＵ４～７で実行させる論理ＣＰＵとハイパバイザの時系列の例を示している。こちらの例も上記図２８と同様に、図中下方向に時間が進むものとしており、矢印４１～４４は論理ＣＰＵ（例えば８１１）の処理に要する時間、破線の矢印６１はハイパバイザ２０の処理に要する時間、破線７１は休止状態の時間、メモリ性能の平均値を測定する時間は時間Ｔ８１としている。

　また、図２９では論理ＣＰＵを一つのみ実行させている。このため、ハイパバイザ２０の論理ＣＰＵのキューには当該論理ＣＰＵ８１１一つしか出し入れされることがなく、当該論理ＣＰＵ８１１の実行完了時に、当該論理ＣＰＵを論理ＣＰＵのキューに再度投入し、次の論理ＣＰＵの選択時に当該論理ＣＰＵを論理ＣＰＵのキューから取り出すことになる。

　総実行時間の閾値βを経過していない期間である９０～９２では、論理ＣＰＵのキャッシュヒット率は閾値αに至っていないとハイパバイザ２０が判断し、ハイパバイザ２０は別のノード１上に休止状態の物理ＣＰＵが存在しても起床させずにできるだけ起床している物理ＣＰＵにて論理ＣＰＵを実行させようとする。

　最初の総実行時間の閾値βを経たとき、すなわち期間９０の直後に当該論理ＣＰＵのキャッシュヒット率が“０．３”だったとする。この場合、ハイパバイザ２０は論理ＣＰＵのキャッシュヒット率が閾値α未満であるので、キャッシュメモリ８、９の恩恵を受けていないと判断し、ノード１に属する物理ＣＰＵを起床し、当該論理ＣＰＵをノード１に属する物理ＣＰＵで実行させている。

　二回目の総実行時間の閾値βを経た期間９１の直後に当該論理ＣＰＵのキャッシュヒット率が“０．２”だったとする。この場合、ハイパバイザ２０は一回目の総実行時間の閾値βを経過した期間９０と同様に、論理ＣＰＵがキャッシュメモリ８、９の恩恵を受けていないと判断し、ノード０に属する物理ＣＰＵを起床し、当該論理ＣＰＵをノード０に属する物理ＣＰＵで再度実行させている。

　三回目の総実行時間の閾値βを経たとき、すなわち期間９２の直後に当該論理ＣＰＵのキャッシュヒット率が“０．６”と、総キャッシュヒット率閾値α以上だったとすると、ハイパバイザ２０は論理ＣＰＵがキャッシュの恩恵を受けているものと判断し、ノード１に属する物理ＣＰＵを起床することなく、引き続き論理ＣＰＵをノード０に属する物理ＣＰＵで実行させている（４４）。

　このとき、時間Ｔに注目すると、期間９０の直後および期間９１の直後ではともにキャッシュヒット率が総キャッシュヒット率閾値αよりも低いため、論理ＣＰＵから物理メモリ１０、１１へのアクセスが頻繁に行なわれると考えることができる。さらに、時間Ｔの間では、論理ＣＰＵの実行時間４１の総和と、論理ＣＰＵの実行時間４２の総和はともに総実行時間の閾値β以上の時間となる。このことにより、時間Ｔの間では論理ＣＰＵはノード０に属する物理ＣＰＵとノード１に属する物理ＣＰＵにて同じ総実行時間の閾値β分だけ論理ＣＰＵを実行させていることとなる。

　図２７において、図２９のノード０に属する物理ＣＰＵを物理ＣＰＵ１（５）、ノード１に属する物理ＣＰＵを物理ＣＰＵ２（６）とし、図２９における論理ＣＰＵが物理メモリ１（１１）へのメモリアクセスを継続していた際のハードウェアの図を図３０に示す。この場合、時間Ｔの間での物理メモリアクセスは、論理ＣＰＵがノード０に属する物理ＣＰＵ１（５）とノード１に属する物理ＣＰＵ２（６）にて同じ総実行時間分実行していることから、メモリアクセス３１とメモリアクセス３２を同程度の時間でそれぞれ行なっていることになる。ゆえに、当該論理ＣＰＵの時間Ｔにおける平均の物理メモリアクセスコストは、ローカルメモリのアクセスコスト、すなわち最小値と、リモートメモリのアクセスコスト、すなわち最大値との中間程度となる。

　本発明により、ＮＵＭＡ構成の仮想計算機のような、メモリのアクセス位置によってメモリアクセス性能（レイテンシ）が異なるハードウェアで、論理ＣＰＵの数に対し物理ＣＰＵが十分にある場合では、論理ＣＰＵに対する物理メモリアクセス性能は、１秒程度の時間Ｔにて観測した際に、最高性能と最低性能の中間程度の性能が少なくとも得られ、さらにキャッシュヒット率が閾値α以上の際にはキャッシュメモリ８、９による高いメモリリード、ライト性能となる効果が得られる。

　また、本発明において、休止状態の物理ＣＰＵが存在しないような仮想計算機システムがビジー状態の場合を図３１に示す。図３１は、図２８と同様に、ノード０、１の物理ＣＰＵで実行させる論理ＣＰＵとハイパバイザの処理の時系列を示しており、図中下方向に時間が進むものとする。

　図３１の場合では、実行させる論理ＣＰＵとして論理ＣＰＵａ、論理ＣＰＵｂ、論理ＣＰＵｃの三つが存在し、矢印５０、５３、５６は論理ＣＰＵａの処理に要する時間、矢印５１、５４は論理ＣＰＵｂの処理に要する時間、矢印５２、５５、５７は論理ＣＰＵｃの処理に要する時間、破線の矢印６２～６７はハイパバイザ２０の処理に要する時間、メモリ性能の平均値を測定する時間は時間Ｔ８２である。また、論理ＣＰＵやハイパバイザ２０の処理が開始される際の論理ＣＰＵのキューに入っている論理ＣＰＵ状態も時系列にて併せて図示する。ハイパバイザ２０は、次に実行させる論理ＣＰＵを、キューのうち図中左側の要素から順次取り出し、論理ＣＰＵの実行が完了したら図中右側のキューの要素として投入される。例えば、論理ＣＰＵｂの処理５１が終わったときのキューではｃ、ａ、ｂとなり、論理ＣＰＵｂの処理が終わったために図中キューの右側にｂが挿入され、次回実行する論理ＣＰＵとして左側のｃ、すなわち論理ＣＰＵｃがハイパバイザ２０によって取り出されることを意味する。

　論理ＣＰＵの上で処理するプログラムによって実行時間は異なるため、各論理ＣＰＵの実行時間はまちまちとなり、先に実行を開始した論理ＣＰＵよりも後で実行を開始した論理ＣＰＵの方が先に実行を完了すると、論理ＣＰＵキューに入る順序は逆転する、という現象が発生する。図３１においては、論理ＣＰＵｂの処理５４と、論理ＣＰＵｃの処理５５がこの現象に該当する。このため、論理ＣＰＵがキューに入る順序に関して、いわばランダム性が働く。

　論理ＣＰＵのキューに入る順序に関してランダム性が働くため、ハイパバイザ２０がキューから取り出す論理ＣＰＵもランダムとなり、ひいては論理ＣＰＵを実行させる物理ＣＰＵもランダムとなる。

　このため、仮想計算機システムがビジー状態の場合において、論理ＣＰＵから物理メモリへのアクセスは、ローカルメモリのアクセスと、リモートメモリのアクセスをランダムに行なうことになる。このため、結果的に論理ＣＰＵに対するメモリアクセスコストが１秒程度の時間Ｔにて観測すると最大値と最小値の中間程度の性能が得られることになるのである。

　以上のように、本発明では、論理ＣＰＵ８１１，８１２を実行した時間が閾値βを経過すると、ハイパバイザ２０は、論理ＣＰＵ８１１，８１２のキャッシュヒット率と閾値αとを比較した結果に応じて、当該論理ＣＰＵを次に実行させる物理ＣＰＵ４～７を決定する。そして、ハイパバイザ２０は、論理ＣＰＵ８１１，８１２の性能情報であるキャッシュヒット率が閾値α以上であれば、同じノード内の物理ＣＰＵ４～５を選択することで、論理ＣＰＵ８１１はキャッシュメモリ８に格納されたデータまたは命令を読み込んで、効率よく処理を実行できる。

　一方、ハイパバイザ２０は、論理ＣＰＵ８１１，８１２のキャッシュヒット率が閾値α未満であれば、他のノードで休止している物理ＣＰＵ６～７を選択し、当該物理ＣＰＵを起床させてから論理ＣＰＵ８１１、８１２を実行させる。これにより、キャッシュヒット率が閾値α未満であれば、論理ＣＰＵ８１１、８１２を実行させる物理ＣＰＵを他のノードの物理ＣＰＵに順次移動させることで、物理メモリへのアクセスコストが高い状態が継続するのを抑制できる。

　なお、実施例１では、モニタリング機能２５が各物理ＣＰＵ４～７のキャッシュメモリ８、９のアクセスに関する性能情報を測定する例を示したが、図３２で示すように、ノード２、３に接続されたプロセッサ性能監視ユニット１２で、物理ＣＰＵ４～７のキャッシュリード回数、キャッシュヒット回数などの性能情報を測定し、モニタリング機能２５でキャッシュヒット率を演算するようにしてもよい。

　プロセッサ性能監視ユニット１２は、ノード２、３にそれぞれ接続されて、物理ＣＰＵ４～７（または論理ＣＰＵ）の性能に関する情報を測定する。物理ＣＰＵ４～７（または論理ＣＰＵ）のキャッシュメモリ８、９のリード回数（キャッシュリード回数）を測定するカウンタと、キャッシュメモリ８、９のヒット回数（キャッシュヒット回数）を測定するカウンタをそれぞれ備える（図示省略）。なお、図３２の例では、物理ＣＰＵ４、５でキャッシュメモリ８を共有し、物理ＣＰＵ６、７がキャッシュメモリ９を共有し、キャッシュプロセッサ性能監視ユニット１２は、各物理ＣＰＵ４～７のキャッシュリード回数とキャッシュヒット回数をそれぞれ計数するカウンタを備える。

　なお、プロセッサ性能監視ユニット１２が論理ＣＰＵのキャッシュリード回数、キャッシュヒット回数をカウントする場合、プロセッサ性能監視ユニット１２からキャッシュメモリ８、９へのリードを観測すると、物理ＣＰＵと論理ＣＰＵの区別はつかない。このため、ハイパバイザ２０は、プロセッサ性能監視ユニット１２のカウンタをリセットした時点以降を、論理ＣＰＵのアクセスとみなしてキャッシュリード回数とキャッシュヒット回数を測定する。

　なお、上記各実施例において、タイマ１６～１９にセットするタイムスライスの時間は、ＬＰＡＲ８０１、８０２のゲストＯＳ（図示省略）のタイマ割り込みの周期としてもよい。

　なお、本発明において説明した計算機等の構成、処理部及び処理手段等は、それらの一部又は全部を、専用のハードウェアによって実現してもよい。

　また、本実施例で例示した種々のソフトウェアは、電磁的、電子的及び光学式等の種々の記録媒体例えば、非一時的な記憶媒体に格納可能であり、インターネット等の通信網を通じて、コンピュータにダウンロード可能である。

　また、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明をわかりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

Claims

　キャッシュメモリを備えた物理ＣＰＵと物理メモリを含むノードを複数有し、前記複数のノードの計算機資源を仮想計算機に割り当てる仮想化部と、を備えた仮想計算機システムであって、
　前記複数のノードは、インターコネクトを介して接続され、
　前記仮想化部は、
　前記仮想計算機に割り当てる計算機資源として論理区画と論理ＣＰＵを生成する論理区画管理部と、
　前記論理ＣＰＵを実行する前記物理ＣＰＵを選択するスケジューリング部と、
　前記論理ＣＰＵから前記物理メモリへのアクセス性能に関する性能情報を測定するモニタリング部と、を備え、
　前記スケジューリング部は、
　前記性能情報が所定の閾値を満たす場合には、前記論理ＣＰＵを実行する前記物理ＣＰＵを、前回実行した物理ＣＰＵと同一ノードから選択し、前記性能情報が所定の閾値を満たさない場合には、前記論理ＣＰＵを実行する前記物理ＣＰＵを、前回実行した物理ＣＰＵのノードとは異なる他のノードから選択することを特徴とする仮想計算機システム。
　請求項１に記載の仮想計算機システムであって
　前記モニタリング部は、
　前記論理ＣＰＵを実行した際のキャッシュリード回数とキャッシュヒット回数を取得し、一つの論理ＣＰＵを連続実行させる間のキャッシュリード回数とキャッシュヒット回数を保持するキャッシュ情報とを有し、
　前記スケジューリング部は、
　前記論理ＣＰＵを実行させるたびに前記モニタリング部により前記キャッシュ情報を更新することを特徴とする仮想計算機システム。
　請求項２に記載の仮想計算機システムであって
　前記モニタリング部は、
　前記キャッシュ情報から前記論理ＣＰＵを実行した際のキャッシュリード回数とキャッシュヒット回数を取得してキャッシュヒット率を算出し、
　前記スケジューリング部は、
　前記性能情報としてのキャッシュヒット率が所定の閾値以上の場合には、前記論理ＣＰＵを実行する前記物理ＣＰＵを、前回実行した物理ＣＰＵと同一ノードから選択し、前記性能情報としてのキャッシュヒット率が所定の閾値未満の場合には、前記論理ＣＰＵを実行する前記物理ＣＰＵを、前回実行した物理ＣＰＵのノードとは異なる他のノードから選択することを特徴とする仮想計算機システム。
　請求項３に記載の仮想計算機システムであって
　前記スケジューリング部は、
　前記論理ＣＰＵを連続実行させた時間を測定して、前記論理ＣＰＵ毎に前記連続実行させた時間を論理ＣＰＵ管理情報に格納し、前記物理ＣＰＵで前記論理ＣＰＵを前記連続実行させた時間が所定の第２の閾値を超えたときには、
　前記キャッシュヒット率が所定の閾値以上の場合には、前記論理ＣＰＵを実行する前記物理ＣＰＵを、前回実行した物理ＣＰＵと同一ノードから選択し、前記キャッシュヒット率が所定の閾値未満の場合には、前記論理ＣＰＵを実行する前記物理ＣＰＵを、前回実行した物理ＣＰＵのノードとは異なる他のノードから選択することを特徴とする仮想計算機システム。
　請求項４に記載の仮想計算機システムであって
　前記スケジューリング部は、
　前回実行した物理ＣＰＵのノードとは異なる他のノードから選択する場合には、前記他のノードから休止状態の物理ＣＰＵを選択し、当該物理ＣＰＵを起床させて前記論理ＣＰＵを実行することを特徴とする仮想計算機システム。
　キャッシュメモリを備えた物理ＣＰＵと物理メモリを含むノードを複数有し、前記複数のノードの計算機資源から論理ＣＰＵと論理区画を生成して仮想計算機を稼動させる仮想化部が、前記論理ＣＰＵを物理ＣＰＵに割り当て実行させるスケジューリング方法であって、
　前記複数のノードは、インターコネクトを介して接続され、
　前記仮想化部が、前記論理ＣＰＵを割り当てる前記物理ＣＰＵを選択する第１のステップと、
　前記仮想化部が、前記論理ＣＰＵから前記物理メモリへのアクセス性能に関する性能情報を測定する第２のステップと、
　前記仮想化部は、前記性能情報が所定の閾値を満たす場合には、前記論理ＣＰＵを実行する前記物理ＣＰＵを、前回実行した物理ＣＰＵと同一ノードから選択し、前記性能情報が所定の閾値を満たさない場合には、前記論理ＣＰＵを実行する前記物理ＣＰＵを、前回実行した物理ＣＰＵのノードとは異なる他のノードから選択する第３のステップと、
を含むことを特徴とするスケジューリング方法。
　請求項６に記載のスケジューリング方法であって
　前記第２のステップは、
　前記論理ＣＰＵを実行した際のキャッシュリード回数とキャッシュヒット回数を取得し、一つの論理ＣＰＵを連続実行させる間のキャッシュリード回数とキャッシュヒット回数をキャッシュ情報に保持し、前記論理ＣＰＵを実行させるたびに前記キャッシュ情報を更新することを特徴とするスケジューリング方法。
　請求項７に記載のスケジューリング方法であって
　前記第２のステップは、
　前記キャッシュ情報から前記論理ＣＰＵを実行した際のキャッシュリード回数とキャッシュヒット回数を取得してキャッシュヒット率を算出し、
　前記第３のステップは、
　前記性能情報としてのキャッシュヒット率が所定の閾値以上の場合には、前記論理ＣＰＵを実行する前記物理ＣＰＵを、前回実行した物理ＣＰＵと同一ノードから選択し、前記性能情報としてのキャッシュヒット率が所定の閾値未満の場合には、前記論理ＣＰＵを実行する前記物理ＣＰＵを、前回実行した物理ＣＰＵのノードとは異なる他のノードから選択することを特徴とするスケジューリング方法。
　請求項８に記載のスケジューリング方法であって
　前記第３のステップは、
　前記論理ＣＰＵを連続実行させた時間を測定して、前記論理ＣＰＵ毎に前記連続実行させた時間を論理ＣＰＵ管理情報に格納し、前記物理ＣＰＵを割り当てた論理ＣＰＵの前記連続実行させた時間を前記論理ＣＰＵ管理情報から取得し、前記連続実行させた時間が所定の第２の閾値を超えたときには、
　前記キャッシュヒット率が所定の閾値以上の場合には、前記論理ＣＰＵを実行する前記物理ＣＰＵを、前回実行した物理ＣＰＵと同一ノードから選択し、前記キャッシュヒット率が所定の閾値未満の場合には、前記論理ＣＰＵを実行する前記物理ＣＰＵを、前回実行した物理ＣＰＵのノードとは異なる他のノードから選択することを特徴とするスケジューリング方法。
　請求項９に記載のスケジューリング方法であって
　前記第３のステップは、
　前回実行した物理ＣＰＵのノードとは異なる他のノードから選択する場合には、前記他のノードから休止状態の物理ＣＰＵを選択し、当該物理ＣＰＵを起床させて前記論理ＣＰＵを実行することを特徴とするスケジューリング方法。