JPH06187308A - 複合計算機システムに於ける分散共有記憶管理方式及び負荷分散方式 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、複数の計算機をネットワークで結合
した複合計算機システムに於いて、ネットワークページ
ャによる分散共有記憶を利用して、特別なプログラムを
使わずに、又、各ノードの局所的な情報を利用して、ノ
ード間の負荷を分散させることを特徴とする。 【構成】ＣＰＵ１は、主記憶２内のプロセス管理モジュ
ールに従い、ネットワークページング機構を実現する記
憶域管理モジュール及び記憶管理装置５を用いて、デマ
ンドページングによりプロセス４３を必要ページ順にノ
ード（計算機）相互の実記憶域２及び外部記憶域３でな
る記憶領域４間で移動させプロセスマイグレーションを
可能にすることを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、複数の計算機をネッ
トワークで結合した複合計算機システムに於ける分散共
有記憶管理方式及び負荷分散方式に関する。

【０００２】

【従来の技術】従来、複数の計算機をネットワークで結
合した複合計算機システムに於ける負荷分散は、まず各
計算機（以下ノードと称す）の負荷情報を採取し、この
採取した負荷情報から、ある特別なプログラムの決定に
従って、移動させるプロセスと移動先ノードを決定し、
選ばれたプロセスのプロセス情報を、チェックポイント
リスタート等の論理的な手段を利用して、選ばれたノー
ドに移動させ、このプロセス情報に従って、当該ノード
で当該プロセスを再起動する、という方法によってい
た。このとき、負荷情報としては、実際には自ノードの
情報のみを使うこともあったが、この自ノードの負荷情
報から移動させるジョブを選ぶアルゴリズムは、記憶域
管理に於けるページ置換アルゴリズムとは別のものであ
り、特別なプログラムを必要としていた。

【０００３】

【発明が解決しようとする課題】上記したように、従来
の複合計算機システムに於ける負荷分散に於いては、移
動させるプロセスを決定したり、移動先ノードを決定す
るために、プロセス毎の資源使用状況や、ネットワーク
内の各ノードの負荷情報を採取していたが、このために
特別なプログラムを必要としていた。又、情報採取のた
めに、無駄な計算機資源を使用していた。又、負荷情報
採取のための通信のオーバヘッド自体がシステム全体の
性能低下を引き起こす虞れもあった。更に、情報の採取
だけではなく、得られた情報から、移動プロセス、移動
先ノードを決定するためにも特別なプログラムが必要で
あった。

【０００４】この発明は上記実情に鑑みなされたもの
で、複数の計算機をネットワークで結合した複合計算機
システムに於いて、ネットワークページャによる分散共
有記憶を利用して、特別なプログラムを使わずに、又、
各ノードの局所的な情報を利用して、ノード間の負荷を
分散させることのできる複合計算機システムに於ける分
散共有記憶管理方式及び負荷分散方式を提供することを
目的とする。

【０００５】

【課題を解決するための手段及び作用】本発明は、複数
の計算機をネットワークで結合した複合計算機システム
に於いて、計算機相互の記憶領域を遠隔アクセス可能に
するネットワークページング機構と、このネットワーク
ページング機構を使ってデマンドページング方式により
プロセスのページのうち、必要なものから順に他ノード
に移動させることによりノード間でのプロセス移動を可
能にするプロセス移送機構と、各ノードの記憶領域につ
いてワーキングセット法によるページ置換を行なうよう
なページングを行なう機構とをもつ分散共有記憶管理装
置を実現して、ネットワーク結合された複数の計算機が
それぞれ分散された共有記憶領域間を対象としたデマン
ドページングによりプロセスマイグレーションを行なう
ことを特徴とする。

【０００６】又、上記各機能をもつ分散共有記憶管理装
置を使用して、自ノードのプロセス制御ページの集合に
対してワーキングセットを設定し、プロセスの生成時に
対応するプロセス制御ページを実記憶域に張り付かせ、
消去時に除去して、ワーキングセット法のアルゴリズム
に従いネットワークページング機構を利用してプロセス
制御ページをネットワーク間で移動させる機構を起動さ
せるような動作を行なうプロセス管理機構を設けること
により、各ノードのプロセス数を一定量以下にし、ある
一定量を越えるときには、これを他のノードに移動さ
せ、結果としてネットワーク内の負荷を分散させる負荷
分散機能を実現することを特徴とする。

【０００７】

【実施例】以下図面を参照して本発明の一実施例を説明
する。図１は本発明の一実施例に於ける分散共有記憶機
構を備えた複合計算機システムの構成を示すブロック図
である。図１に於いて、１はシステム全体の制御を司る
中央処理装置（ＣＰＵと称す）であり、実記憶域（主記
憶）２の命令、データ等に従って処理を実行する。

【０００８】２は実記憶域（主記憶）であり、仮想記憶
域４の情報のうち、ページフォルトを起こさずにアクセ
ス可能な部分の情報が記憶される。この実記憶域（主記
憶）２内に於いて、２０はページ管理のためのページテ
ーブル内に置かれたページ記述子であり、自ノードの全
てのページ各々に対応して設けられる。２１乃至２３は
このページ記述子２０の構成要素をなすもので、２１は
当該ページが今いずれのノードにあるかを示すノード番
号、２２は当該ページがプロセス制御ページ（ＰＣＰ）
であるか否かを示すＰＣＰフラグ、２３は当該ページが
実記憶上に割り当てられているか否かを示す実フラグで
ある。又、主記憶内のＯＳ常駐領域には、プロセス管理
を司るプロセス管理モジュール、記憶管理装置５の制御
を司る記憶域管理モジュール等が常駐される。

【０００９】３は外部記憶域（外部記憶）であり、仮想
記憶域４の情報のうち、アクセス時にページフォルトを
引き起こし、かつ、他ノードの実記憶域には含まれない
部分の情報が格納される。４は仮想記憶域であり、ＣＰ
Ｕ１が使用する命令、データ等を格納するもので、ここ
では符号４１乃至４３の各構成要素が含まれる。

【００１０】仮想記憶域４内に於いて、４１はディスパ
ッチャであり、定められたプロセススケジューリングの
時期に、プロセス制御ページ領域（ＰＣＰＡ）４２から
次に実行すべきプロセスを一つ選択し、この選択したプ
ロセスにＣＰＵ実行権を与える。４２はプロセス制御ペ
ージ領域（ＰＣＰＡ）であり、各プロセススケジューリ
ングに必要な情報を格納したプロセス制御ページ（ＰＣ
Ｐ）の集合を格納する領域である。４３，４３，…はプ
ロセスであり、資源の使用単位であって、プロセス制御
ページ（ＰＣＰ）のエントリの一つに対応する。

【００１１】５は記憶管理装置であり、記憶域管理モジ
ュールの下にローカルな実記憶域、及び外部記憶域の管
理を行なうとともに、ネットワークページング処理を行
ない、ネットワークグローバルな仮想記憶管理を行な
う。６はローカルバスであり、１ノード内の計算機構成
要素を結合する。７は複数の計算機（ノード）を相互に
ネットワーク結合する通信路であり、複数の計算機をネ
ットワークで結合した複合計算機システムを構築する。
図２はＣＰＵ１の制御の下に実行されるプロセスの生成
・消去処理手順を示すフローチャートである。図２に於
いて、Ｓ1 は初期設定を行なうステップであり、プロセ
ス制御ページ領域（ＰＣＰＡ）４２に対してワーキング
セットを設定する。Ｓ2 は要求を判定するステップであ
り、ここではプロセスの生成・消去のいずれが要求され
たかを判定する。

【００１２】Ｓ3 はプロセス制御ページ（ＰＣＰ）を展
開するステップであり、プロセス生成が要求された場合
に、対応するプロセス制御ページ（ＰＣＰ）をプロセス
制御ページ領域（ＰＣＰＡ）４２内に実ページとして展
開する。

【００１３】Ｓ4 はページ排出の要・不要を判定するス
テップであり、新たにプロセス制御ページ（ＰＣＰ）を
プロセス制御ページ領域（ＰＣＰＡ）４２に貼付けたこ
とによって、ページ排出が必要になっていないか否かを
判定する。Ｓ5 は転送の可否を判定するステップであ
り、ページを他ノードに転送できるか否かを判定する。
Ｓ6 はディスクにページを排出するステップであり、ペ
ージをローカルな外部記憶域（外部記憶）３に排出す
る。Ｓ7 は他ノードにページを排出するステップであ
り、ページを他ノードの実記憶域（主記憶）２に排出す
る。

【００１４】Ｓ8 はプロセス制御ページ（ＰＣＰ）を除
去するステップであり、プロセス消去要求に従って、プ
ロセス制御ページ（ＰＣＰ）をプロセス制御ページ領域
（ＰＣＰＡ）４２から削除する。ここで上記各図を参照
して本発明の一実施例に於ける動作を説明する。

【００１５】ＣＰＵ１は主記憶２内のＯＳ常駐領域に置
かれたプロセス管理モジュール、及び記憶域管理モジュ
ール等のプログラムに従い図２に示すプロセスの生成・
消去処理を実行する。

【００１６】即ち、システム初期化時に於いて、先ず自
ノードのプロセス制御ページ領域（ＰＣＰＡ）のワーキ
ングセットを確保する（図２ステップＳ1 ）。そして、
プロセススケジューリングの時期、及びページテーブル
のページ記述子２０のＰＣＰフラグ２２、実フラグ２３
等の内容に従って、現在自ノードの実記憶に割り当てら
れているＣＰＵ割当可能な最適プロセス制御ページ（Ｐ
ＣＰ）に対してＣＰＵを割り当てる。

【００１７】その後、プロセス生成が要求されると、新
しいプロセスのプロセス制御ページ（ＰＣＰ）用に仮想
空間のページを割当て、ページフォルトを起こさせて、
これを実記憶に張り付かせる。即ち、プロセス生成が要
求されたとき、対応するプロセス制御ページ（ＰＣＰ）
をプロセス制御ページ領域（ＰＣＰＡ）４２内に実ペー
ジとして展開する（図３ステップＳ2 ，Ｓ3 ）。

【００１８】このとき、初期設定で与えられたプロセス
制御ページ領域（ＰＣＰＡ）４２用のワーキングセット
が既に一杯になっていなければ処理は終了する（図３ス
テップＳ4 ）。又、上記ワーキングセットが一杯になっ
ているときは、排出すべきページを選定する（図３ステ
ップＳ4 ，Ｓ5 ）。

【００１９】ここでページが他ノードに排出可能であれ
ば、当該ページをネットワークを通じて（即ち記憶管理
装置５、及び通信路７等を介して）他ノードに転送する
（図３ステップＳ5 ，Ｓ7 ）。

【００２０】転送を受けたノードでは、自身のプロセス
スケジューリング規則に従って、プロセス制御ページ
（ＰＣＰ）にＣＰＵ実行権を与えてゆく。このとき、転
送されたプロセス制御ページ（ＰＣＰ）に実行権が与え
られればプロセス制御ページ（ＰＣＰ）に書かれたアド
レスに対応するページから順に、当該プロセスの他のペ
ージもネットワークを通じて転送される。

【００２１】又、上記ページが他ノードに排出不可であ
るとき（例えば自ノードに専用のプロセスに対応するプ
ロセス制御ページ（ＰＣＰ）であるとき等）は、自身の
外部記憶域（外部記憶）３にスワップアウトする（図３
ステップＳ5 ，Ｓ6 ）。

【００２２】又、プロセス消去が要求されると、対応す
るプロセス制御ページ（ＰＣＰ）をプロセス制御ページ
領域（ＰＣＰＡ）４２から除去する。このとき、外部記
憶域（外部記憶）３にスワップアウトされていた必要な
プロセス制御ページ（ＰＣＰ）を復帰させる（図３ステ
ップＳ8 ）。

【００２３】このような実施例の処理機能をもつことに
より、各ノードは、負荷分散を行なうために、移動対象
プロセス、移動ノードの決定するための情報採取を、他
のノードの情報を参照することなく、従って余分な通信
のオーバヘッドなしで、しかも、ページング機構が要求
する各ページに関する情報以外には特別の情報を採取す
ることなく行うことができる。また、得られた情報から
移動対象プロセス、移動ノードを決定する場合も、ペー
ジング機構以外の特別なプログラムあるいは機構を必要
とせずに行なえる。従って、負荷分散をより少ないオー
バヘッドで行なうことができる。

【００２４】尚、上記した実施例では、処理を単純にす
るために、プロセス制御ページの置換をプロセス生成・
消去のときのみとしたが、これに限らず、例えばページ
の強制置換のプリミティブを用意することもできる。
又、ページ置換を禁止するようにページ記述子に属性を
持たせることも可能である。

【００２５】又、上記した本発明の実施例では、プロセ
ス制御ページが単一のプロセスに対応するものとしてい
るが、これに限らず、複数のプロセス（プロセスグルー
プ）を対応させるようにすることも可能である。

【００２６】又、上記した実施例ではプロセス制御ペー
ジ（ＰＣＰ）の置換アルゴリズムをワーキングセット法
としたが、これに限らず、他のアルゴリズムを採用して
もよい。

【００２７】

【発明の効果】以上詳記したように、複数の計算機をネ
ットワークで結合した複合計算機システムに於いて、本
発明の分散共有記憶管理方式及び負荷分散方式を用いる
ことにより、各ノード（計算機）は、負荷分散を行なう
ために、移動対象プロセス、移動ノードを決定するため
の情報採取を、他のノードの情報を参照することなく、
従って余分な通信のオーバヘッドなしで、しかも、ペー
ジング機構が要求する各ページに関する情報以外には特
別の情報を採取することなく行なうことができる。ま
た、得られた情報から移動対象プロセス、移動ノードを
決定する場合も、ページング機構以外の特別なプログラ
ムあるいは機構を必要としない。これにより、負荷分散
をより少ないオーバヘッドで行なうことができる。

【図面の簡単な説明】

【図１】本発明の一実施例に於ける分散共有記憶機構を
備えた複合計算機システムの構成を示すブロック図。

【図２】上記実施例に於けるプロセス生成・消去処理手
順を示すフローチャート。

【符号の説明】

１…中央処理装置（ＣＰＵ）、２…実記憶域（主記
憶）、３…外部記憶域（外部記憶）、４…仮想記憶域、
５…記憶管理装置、６…ローカルバス、７…通信路、２
０…ページ記述子、２１…ノード番号、２２…ＰＣＰフ
ラグ、２３…実フラグ、４１…ディスパッチャ、４２…
プロセス制御ページ領域（ＰＣＰＡ）、４３，４３，…
…プロセス、ＰＣＰ…プロセス制御ページ。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 複数の計算機をネットワークで結合した
   複合計算機システムに於いて、上記各計算機相互の記憶
   領域の遠隔アクセスを可能にするネットワークページン
   グ手段と、このネットワークページング機構を用い、デ
   マンドページングによりプロセスを必要ページ順に計算
   機相互の記憶領域間で移動させプロセスマイグレーショ
   ンを可能にするプロセス移送手段と、上記各計算機の記
   憶領域について上記プロセス移送に伴いページ置換を行
   なうページ置換手段とを具備し、ネットワーク結合され
   た複数の計算機がそれぞれ分散された共有記憶領域間を
   対象としたデマンドページングによりプロセスマイグレ
   ーションを行なうことを特徴とした複合計算機システム
   に於ける分散共有記憶管理方式。
2. 【請求項２】 複数の計算機をネットワークで結合した
   複合計算機システムに於いて、計算機相互の記憶領域の
   遠隔アクセスを可能にするネットワークページング手段
   と、このネットワークページング手段を用いてデマンド
   ページングによりプロセスを必要ページ順に計算機間で
   移動させてプロセスマイグレーションを可能にするプロ
   セス移送手段と、上記各計算機の記憶領域について上記
   プロセス移送に伴いページ置換を行なうページ置換手段
   と、上記計算機の記憶領域上で、同記憶領域に格納され
   たプロセス各々についての制御情報をもつプロセス制御
   ページの集合を管理する手段と、自計算機のプロセス制
   御ページの集合に対してワーキングセットを設定し、上
   記ネットワークページング機構を利用して上記プロセス
   制御ページ、及び当該プロセス制御ページに対応するプ
   ロセスの必要なすべてのページを計算機間て移動させる
   手段とを具備し、上記各計算機のローカルな情報のみか
   ら記憶域管理と連携して負荷分散を行なうことを特徴と
   する複合計算機システムに於ける負荷分散方式。
3. 【請求項３】 プロセス生成時に同プロセスに対応する
   プロセス制御ページを実記憶域に張り付かせ、ワーキン
   グセット法のアルゴリズムに従いネットワークページン
   グ機構を利用してプロセス制御ページをネットワーク間
   で移動させる請求項２記載の複合計算機システムに於け
   る負荷分散方式。