JPH09282227A - マルチプロセッサシステム - Google Patents

Abstract

(57)【要約】 【課題】 ネットワークで複数のコンピュータが接続さ
れたページング方式のマルチプロセッサシステムにおい
ては、システム全体の負荷の状態を考慮することなくペ
ージングを行っているため、負荷の集中が起こるとシス
テム全体の性能が低下される。 【解決手段】 ノードＡでページアウトが発生したとき
に、ページング制御装置１は、情報収集手段１３により
集められたシステムの負荷情報を基に、選択手段１２が
自ノード、或いは他ノードの記憶装置の中から適切と思
われるものを選択し、それにページアウトする。ページ
インのときは、選択手段１２がページング管理表を基
に、ページの在り処を決定し、ページを自ノードまたは
他ノードの記憶装置から読み出す。負荷が低いノードに
ページング処理の大部分が生じることになり、負荷の分
散ができ、システム全体の性能低下が防止される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はネットワークで接続
された複数のコンピュータで構成されるページング方式
を採用するマルチプロセッサシステムに関し、特に各コ
ンピュータに設けられたページング制御装置を改善した
マルチプロセッサシステムにに関する。

【０００２】

【従来の技術】近年のコンピュータでは、物理記憶の大
きさの制限を解決するために、物理記憶ページの一部を
二次記憶装置上に一時的に退避させ、仮想的に記憶領域
を広げるページング技術が用いられている。従来、この
種のページング装置では、ページングされるデータ（ペ
ージと呼ぶ）はコンピュータに直接、接続されたディス
ク装置に保存されるのが一般的である。この場合、ペー
ジング制御装置は仮想記憶管理手段とディスク装置に対
する読み書き手段だけを有しており、物理メモリの残り
が少なくなると一部のページをディスク装置に書き込み
（ページアウト）、その後、そのページを参照しようと
した時にディスク装置から読み出す（ページイン）こと
を行っている。

【０００３】また、ネットワークによってコンピュータ
が接続されており、その中にディスク装置を持たないコ
ンピュータを含むような環境では、ページング制御装置
が他のコンピュータに接続されたディスク装置に対して
ページングを行うこともある。ＵＮＩＸのディスクレス
システム等がこれに当たる。この場合、ページング制御
装置は仮想記憶管理手段とページングを要求するコンピ
ュータとディスク装置が接続されているコンピュータと
の間の通信手段と、ディスク装置への読み書き手段を有
する。ページアウトの時、ページは書き込み要求ととも
に他のコンピュータに送られ、そのコンピュータ上でデ
ィスクへの書き込みが行われる。ページインの時、読み
出し要求がそのページを保有するコンピュータに送ら
れ、そのコンピュータ上でページの読み出しが行われ、
そのページがページインを要求したコンピュータに戻さ
れる。

【０００４】さらに、別のページング制御装置が特開平
０３−０２９０４１号公報に記載されている。この公報
に記載されたページング制御装置は、ローカルエリアネ
ットワークを介して複数接続されたコンピュータ（ノー
ド）が、他のノードのメモリをディスクの代わりにペー
ジングの宛先に使う装置である。各ノードはメモリと、
仮想記憶域が設けられたディスク装置と、自ノードと他
ノードに設けられたメモリのメモリブロックの空き状態
を示すメモリブロック管理表と、ディスク装置上に設け
られた仮想記憶域のページの内容が格納されているメモ
リブロックを示す拡張ページマップ表と、分散ページン
グ制御手段を備えている。この分散ページング制御手段
は、ページアウトの時、自ノードのメモリブロック管理
表に基づいて他ノードのメモリに空きメモリブロックが
存在する場合、ローカルエリアネットワークを介して、
他ノードのメモリの空きブロックにそのページを書き込
む。空きメモリブロックが存在しない場合は、自ノード
のディスクにそのページを書き込む。また、ページイン
の時は拡張ページマップ表に基づき、他ノードにそのペ
ージの転送を要求するか、あるいは自ノードのディスク
からそのページを読み出し、それを自ノードの空きメモ
リブロックにロードする。

【０００５】

【発明が解決しようとする課題】この従来のページング
制御装置における第一の問題点は、負荷の集中が起こる
と、性能が著しく低下することである。すなわち、前述
の特定の他ノードのディスクを使うページング装置で
は、複数のディスクを持たないノードから一つのディス
クを持つノードにページングの要求が集中すると、ディ
スクのＩ／Ｏ処理のオーバヘッドが大きくなり、システ
ム全体の性能は低下する。また、他ノードのメモリを使
うページング制御装置でも、他ノードのＣＰＵの負荷や
ネットワークの負荷が高い時には、ページの受け取りや
ページの転送のオーバヘッドが大きくなり、システム全
体の性能は低下する。これらの理由は、従来のページン
グ装置がシステム全体の負荷の状態を殆ど考慮せずにペ
ージングを行っているからである。

【０００６】また、第二の問題点は、他ノードのメモリ
を使うページング制御装置では、メモリを無駄使いする
可能性があることである。その理由は、ページアウトさ
れるとページの中には一度ページアウトされたら、めっ
たにページインされないページもあり、このようなペー
ジのために他ノードのメモリを使うことはメモリの無駄
使いだからである。特に、メモリを提供しているノード
上で別のプログラムが動くような場合は、めったにペー
ジインされないページが、不必要なページングを引き起
こす原因になる。

【０００７】本発明の目的は、システム全体の負荷の状
態を調べ、それに基づいてページング先を決定すること
により、ページングに関してユーザが望むような性能を
実現することにある。すなわち、ある時はシステム全体
で見たページングの速度を向上するように公平にメモリ
やディスクを割り当て、ある時は一つのタスクに優先的
にメモリや高速なディスクを割り当てることを可能にし
たマルチプロセッサシステムを提供することにある。ま
た、本発明の他の目的は、ページング先のディスクやメ
モリ等に適切に選択することにより、システム全体で使
用できるメモリの最大量を増大させたマルチプロセッサ
システムを提供することにある。

【０００８】

【課題を解決するための手段】本発明は、各々がページ
ング方式による仮想記憶管理を行っている複数のノード
が高速なネットワークを介して接続されたマルチプロセ
ッサシステムにおいて、各ノードには、自ノードの記憶
装置と他ノードの記憶装置を適当に選択し、それをペー
ジング先に使うページング制御装置が設けられることを
特徴とする。このページング制御装置は、システム内の
さまざまな情報を収集する情報収集手段と、その情報を
もとに適切な記憶装置を選択する選択手段と、選択され
たページをディスク装置やメモリに対して読み書きする
手段とを備えている。また、ページング制御装置の情報
収集手段は、各ノードに設けられるＣＰＵの負荷、ディ
スク装置の負荷、メモリの使用量、ネットワークの負荷
等の情報を収集する。また、ページング制御装置には、
メモリ上にページングされたページの中で一定時間以上
アクセスされないページを自動的にディスク装置上に移
すための手段を備えることが好ましい。

【０００９】

【発明の実施の形態】次に、本発明の実施形態について
図面を参照して説明する。図１は本発明の第１の実施形
態の構成を示すブロック図である。図１はネットワーク
７によってそれぞれ符号８，９で示されるノードＡとノ
ードＢが接続されたマルチプロセッサシステムを示して
いる。ノードＡ，Ｂはそれぞれ、メモリ３，６とページ
ング制御装置１，２とページングに用いるためのディス
ク装置４，５を備えている。前記ページング制御装置
１，２はそれぞれ、仮想メモリ管理手段１１，２１と、
選択手段１２，２２と、情報収集手段１３，２３と、デ
ィスク装置読み書き手段１４，２４と、ページ転送手段
１５，２５で構成される。

【００１０】仮想メモリ管理手段１１，２１は、仮想ア
ドレス空間と物理メモリの対応を管理し、通常はＯＳの
仮想メモリ管理部として実現される。仮想メモリ管理手
段１１，２１はそれぞれ、メモリ３，６が不足してペー
ジアウトが必要になったとき、メモリ３，６中の適当な
ページを選んで、それを選択手段１２，２２に渡す。ま
た、すでにページアウトされたページが必要になった時
に選択手段１２，２２に対しページインの要求を出し、
そのページを受け取り、メモリ３，６に戻す。選択手段
１２，２２はページング先の記憶装置を選択する。ペー
ジング制御装置１の選択対象となる記憶装置は、自ノー
ドのディスク装置４、他ノードのディスク装置５、他ノ
ードのメモリ６である。

【００１１】選択手段１２，２２はページアウトされた
ページの行き先を管理するためのページング管理表を持
っており、ページインの時にはそれに基づいてページの
読み込み先を決定する。ページアウトの場合は情報収集
手段１３，２３からの情報に基づいて最適な記憶装置を
選択し、ページンアウト先をページング管理表に記憶す
る。これら選択手段１２，２２が持つページング管理表
の一例を図６および７を参照して説明する。このページ
ング管理表は自ノードのページのありかを記録した自ノ
ード用ページング管理表（図６）と他ノードから預かっ
たページのありかを記録した他ノード用ページング管理
表（図７）の２つにわかれている。自ノード用ページン
グ管理表には、ページアウトの時にページのアドレスと
ページアウト先のノード名、記憶装置名、格納位置が記
録される。また、他ノード用ページング管理表には、ペ
ージアウトを要求したノードのノード名、ページのアド
レス、記憶装置、格納位置が記録される。

【００１２】情報収集手段１３，２３は、システムのさ
まざまな情報を収集し、それを選択手段に提供する。収
集される情報は、システム中の全ノードのＣＰＵやディ
スク装置の負荷、ネットワークの負荷、空きメモリの量
等である。情報収集手段１３，２３はネットワーク７を
介して、互いに情報を交換し合う。ディスク装置読み書
き手段１４，２４は、それそれ自ノードに接続されたデ
ィスク装置１４，２４に対して読み書きを行う。また、
ディスク装置読み書き手段１４，２４はそれぞれ選択手
段１２，２２はページをやりとりする。ページ転送手段
１５，２５はネットワーク７を介してページを転送す
る。転送するページは選択手段１２，２２から渡され
る。

【００１３】次に、図２ないし図５に示すフローチャー
トを参照して、図１の実施形態の動作について説明す
る。先ず、ページアウトの場合について図１および図２
を参照して説明する。ノードＡのメモリ３中の空きペー
ジが少なくなると、仮想メモリ管理手段１１はＬＲＵ
（Ｌｅａｓｔ Ｒｅｃｅｎｔ Ｕｓｅｄ）方式等のペー
ジ選択アルゴリズムを使って、ページアウトすべきペー
ジを決定し、そのページをページアウト要求とともに選
択手段１２に渡す（ステップＡ１）。選択手段１２は情
報収集手段１３からの情報を基に、ページを書き込むべ
き記憶装置を選択する（ステップＡ２）。選択した記憶
装置が自ノードのディスク装置４であれば、ディスク装
置読み書き手段１４を使ってページを書き込む（ステッ
プＡ３，Ａ４）。選択した記憶装置が他ノードのもので
あれば、ページ転送手段１５を使ってページを他ノード
のページング制御装置２に転送（ステップＡ５）。最後
にページング管理表にページとページアウト先に記憶す
る（ステップＡ６）。

【００１４】続いて、ページアウト要求を受けとった側
のノードＢの動作を図１および図３を参照して説明す
る。ページ転送手段２５は他ノードＡからページアウト
要求とページを受けとるとそれらを選択手段２２に渡す
（ステップＢ１）。選択手段はページアウト要求の中に
含まれる記憶装置の指定と情報収集手段２３からの情報
を基に、ページを書き込むべき記憶装置を決定する（ス
テップＢ２）。選択した記憶装置がメモリ６の場合は、
仮想メモリ管理手段２１を使ってページを書き込む（ス
テップＢ３，Ｂ４）。選択した記憶装置がディスク装置
５の場合は、ディスク装置読み書き手段を使ってページ
を書き込む（ステップＡ４）。最後にページング管理表
にページとページアウト先の対応を記録する（ステップ
Ａ６）。

【００１５】次に、ページインの場合について図１およ
び図４を参照して説明する。ノードＡにおいてすでにペ
ージアウトされたページが要求された時、仮想メモリ管
理手段１１は選択手段１２にページイン要求を出す（ス
テップＣ１）。選択手段１２はページング管理表を基に
そのページを保持する記憶装置を特定する（ステップＣ
２）。特定された記憶装置が自ノードのディスク装置４
ならば、ディスク装置読み書き手段１４を使ってページ
を読み出す（ステップＣ３，Ｃ４）。特定された記憶装
置が他ノードのものであればページ転送手段１５を使っ
て他ノードのページング制御装置２にページイン要求を
送信する（ステップＣ５）。ページが送られてきたらそ
れを受信する（ステップＣ６）。最後にページング管理
表からそのページとページアウト先を削除する（ステッ
プＣ7 ）。

【００１６】続いて、ページイン要求を受けとった側の
ノードＢの動作を図１および図５を参照して、説明す
る。ページ転送手段２５は他ノード８からページイン要
求を受けとると、それを選択手段２２に渡す（ステップ
Ｄ１）。選択手段２２はページいん要求のなかに含まれ
る記憶装置の指定とページング管理表に基づいて、ペー
ジを読み出すべき記憶装置を決定する（ステップＤ
２）。その記憶装置がメモリ６の場合は、仮想メモリ管
理手段を使ってページを読み出す（ステップＤ３、Ｄ
４）。記憶装置がディスク装置５の場合は、ディスク装
置読み書き手段１４を使ってページを読み出す（ステッ
プＣ４）。読み出したページはページ転送手段２５を使
って要求元ノードＡに転送する（ステップＤ５）。最後
にページング管理表からそのページとページアウト先を
削除する（ステップＣ７）。

【００１７】ここで、本発明では、ページアウトの時の
記憶装置の選択方法がページングの性能を大きく左右す
る。この記憶装置の選択アルゴリズムの一例を図８を参
照して説明する。この例では、選択時に参照する情報と
しては以下のものを使う。自ノード情報：ＣＰＵの負
荷，ディスク装置の負荷・使用量他ノード情報：ＣＰＵ
の負荷，ディスク装置の負荷・使用量，空きメモリの量
それ以外：ネットワークの負荷。

【００１８】まず、ネットワークの負荷がλより高い場
合は、無条件に自ノードのディスクを選択する。次に、
他ノードの中でＣＰＵ負荷がαより低く、かつ空きメモ
リ量がβより大きいものがあれば、他ノードのメモリを
選択する。次に、自ノードのＣＰＵ負荷がα´より高い
か、ディスク装置の空き容量がδ´より小さいか、ディ
スク装置の負荷がγ´より大きい場合には、他ノードの
ディスク装置を選択する。それ以外の場合は、自ノード
のディスク装置を選択する。ここで、α，β，λ，α
´，γ´，δ´はシステムを構成するノードやネットワ
ーク、ディスク装置の性能用によって変化するので、こ
こで一意に定めることはできない。

【００１９】このように、本発明の第１の実施形態で
は、自ノードのディスク装置、他ノードのディスク装置
もメモリのいずれかを前述のアルゴリズムにより選択
し、ページングに使うので、ネットワークが空いている
時は効率的に他のノードの記憶装置を使うことによりペ
ージングの速度を向上させることができ、また、通信を
頻繁に行うようなプログラムの実行中はその実行を妨げ
ないという効果が期待できる。

【００２０】ここで、前記したノードＡ，Ｂの各選択手
段１２，２２の詳細な動作を図６，図７を参照して説明
する。まず、ノードＡの選択手段１２が前述のアルゴリ
ズムに基づいて、自ノードのディスク４をページアウト
先に選択した場合について説明する。ページのアドレス
５１はＯｘ１２３４８０００であったとする。選択手段
１２はディスク装置読み書き手段１４を使って、そのペ
ージをディスク装置４に書き込む。ページが書き込まれ
た先がディスク装置上のＯｘ８０００であったとする。
この場合、自ノード用ページング管理表にはエントリ５
０１のように記憶される。このページをページングする
時は、選択手段１２は自ノード用ページング管理表を検
索する。ページのアドレスＯｘ１２３４８０００からエ
ントリ５０１が特定され、ノード名フィールド５２の内
容と格納位置５３から自ノードのディスク装置４のＯｘ
８０００の位置に格納されていることが特定され、ディ
スク装置読み書き手段１４を使って、ディスク装置４か
らページが読み出される。

【００２１】次に、ノードＡの選択手段１２がノードＢ
のディスク５をページアウト先に選択した場合について
説明する。ページのアドレスはＯｘ２４６８００００で
あったとする。選択手段１２はページ転送手段１５を使
って、ノードＢにページを転送する。その際、ノードＡ
の自ノード用ページング管理表にはエントリ５０２のよ
うに記憶される。ページを受けとったノードＢの選択手
段２２は、ディスク装置読み書き手段２４を使ってその
ページをディスク装置４に書き込む。ページが書き込ま
れた位置がディスク装置５のＯｘ４０００であったとす
る。この場合、ノードＢの他ノード用ページング管理表
にはエントリ６０１のように記録される。このページを
ページングする時も、ノードＡの選択手段１２はまず自
ノード用ページング管理表を検索する。ページのアドレ
スＯｘ２４６８００００からエントリ５０２が特定さ
れ、ノード名フィールドの内容からノードＢにページが
格納されていることが特定され、ページイン要求がノー
ドＢに送られる。ページイン要求を受けとったノードＢ
の選択手段２２は、他ノード用ページング管理表を検索
する。ノード名とページのアドレスからエントリ６０１
が特定され、ディスク装置５のＯｘ４０００の位置に格
納されていることがわかる。選択手段２２はディスク装
置読み書き手段２４を使って、ディスク装置５からペー
ジを読み出し、それをページ転送手段２５を使ってノー
ドＡに転送する。

【００２２】次に、ノードＡの選択手段１２がノードＢ
のメモリ６をページアウト先に選択した場合について説
明する。ページのアドレスはＯｘ２４６８４０００であ
ったとする。ノードＡ側での処理は前述のノードＢのデ
ィスク５にページアウトする場合と同様であり、自ノー
ド用ページング管理表にはエントリ５０３のように記録
される。ページを受けとったノードＢの選択手段２２
は、仮想メモリ管理手段２１を使ってそのページをメモ
リ６に書き込む。ページが書き込まれた位置がメモり６
のＯｘＡ０００であったとする。この場合、ノードＢの
他ノード用ページング管理表にはエントリ６０２のよう
に記録される。このページをページインする時のノード
Ａ側の処理もノードＢのディスク５を使う場合と同様で
ある。ページイン要求を受けとったノードＢの選択手段
２２は、他ノード用ページング管理表を検索する。ノー
ド名とページのアドレスからエントリ６０２が特定さ
れ、ディスク装置５のＯｘＡ０００の位置に格納されて
いることがわかる。選択手段２２は仮想メモリ管理手段
２１を使って、メモリ６からページを読み出し、それを
ページ転送手段２５を使ってノードＡに転送する。

【００２３】なお、前記した第１の実施形態において
は、ネットワークに接続されたノードの中にディスク装
置を持たないノードを含むことができる。この場合、ア
ルゴリズムの中で自ノードのディスク装置を選択する部
分がなくなることになる。

【００２４】次に、本発明の第２の実施の形態について
図９を参照して説明する。この第２の実施形態は、第１
の実施形態の構成に加えて、メモリページ管理手段３
１，４１を有している。このメモリページ管理手段３
１，４１は、ページアウトされたページがメモリ３，６
中に格納されている場合、それを監視し、一定時間以上
それに対するページイン要求が来なければ、それぞれデ
ィスク装置４，５に移す。

【００２５】この第２の実施形態では、ページアウト、
ページインに関する動作は、第１の実施形態と同様であ
る。メモリページ管理手段４１は、他ノード用管理表を
参照してメモリ６上に置かれているページを定期的に調
べる。これらのページの中で一定時間以上ページイン要
求がきていないページがあれば、そのページはディスク
装置読み書き手段２４を使ってディスク装置５に書き込
み、そのページが格納されていたメモリを解放する。

【００２６】このように、第２の実施形態では、ページ
アウトされたページの中には、めったに使われないもの
もあるので、それをいつまでもメモり上に残すことはメ
モリを浪費することになるが、メモリページ管理手段に
より、このようなメモリの浪費を減らすことができ、そ
の結果、ユーザプログラムが使えるメモリ量が増え、プ
ログラムの実行速度が向上することを期待できる。

【００２７】

【発明の効果】以上説明したように本発明は、高速なネ
ットワークを介して接続された複数のノードに、自ノー
ドの記憶装置と他ノードの記憶装置を適当に選択し、そ
れをページング先に使うページング制御装置が設けられ
るので、マルチプロセッサシステム内の負荷が低いノー
ドにページングの処理の大部分を任せることができ、こ
の結果、負荷の分散ができ、プログラムの効率的な実行
が可能になる。また、負荷が分散することによりシステ
ム全体で見て、ページングの性能も向上する。

【００２８】また、メモリページ管理手段が、メモリ上
に格納されたページを監視し、ページインの頻度が低い
ページはディスク装置に移し、空きメモリ量を増やすこ
とにより、使用頻度の低いページによってメモリが浪費
されることを避けることができ、この結果、メモリをペ
ージングに使っている場合でも、ユーザプログラムが使
えるメモリ量を不必要に減らすことがなくなる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態のページング制御装置
を含むネットワークの構成図である。

【図２】ノードＡでページアウトが起こった場合のノー
ドＡのページング制御装置の動作を示すフローチャート
である。

【図３】ノードＡでページアウトが起こった場合のノー
ドＢのページング制御装置の動作を示すフローチャート
である。

【図４】ノードＡでページインが起こった場合のノード
Ａのページング制御装置の動作を示すフローチャートで
ある。

【図５】ノードＡでページインが起こった場合のノード
Ｂのページング制御装置の動作を示すフローチャートで
ある。

【図６】ページング制御装置の自ノード用ページング管
理表の一例を示す図である。

【図７】ページング制御装置の他ノード用ページング管
理表の一例を示す図である。

【図８】ページング制御装置が記憶装置の選択に使用す
るアルゴリズムの一例を示す図である。

【図９】本発明の第２の実施形態のページング制御装置
を含むネットワークの構成図である。

【符号の説明】

１，２ ページング制御装置 ３，６ メモリ ４，５ ディスク装置 ７ ネットワーク １１，２１ 仮想メモリ管理手段 １２，２２ 選択手段 １３，２３ 情報収集手段 １４，２４ ディスク装置読み書き手段 １５，２５ ページ転送手段 ３１，４１ メモリページ管理手段 ５１ ページのアドレス ５２ ノード名 ５３ 格納位置 ６１ 記憶装置名

Claims (5)

【特許請求の範囲】
1. 【請求項１】 各々がページング方式による仮想記憶管
   理を行っている複数のコンピュータ（ノード）が高速な
   ネットワークを介して接続されたマルチプロセッサシス
   テムにおいて、各ノードには、自ノードの記憶装置と他
   ノードの記憶装置を適当に選択し、それをページング先
   に使うページング制御装置が設けられることを特徴とす
   るマルチプロセッサシステム。
2. 【請求項２】 ページング制御装置は、システム内のさ
   まざまな情報を収集する情報収集手段と、その情報をも
   とに適切な記憶装置を選択する選択手段と、選択された
   ページをディスク装置やメモリに対して読み書きする手
   段とを備える請求項１のマルチプロセッサシステム。
3. 【請求項３】 ページング制御装置の情報収集手段は、
   各ノードに設けられるＣＰＵの負荷、ディスク装置の負
   荷、メモリの使用量、ネットワークの負荷等の情報を収
   集する請求項２のマルチプロセッサシステム。
4. 【請求項４】 一部のノードはディスク装置を有し、残
   りのノードはディスク装置を有していない請求項１ない
   し３のいずれかのマルチプロセッサシステム。
5. 【請求項５】 ページング制御装置には、メモリ上にペ
   ージングされたページの中で一定時間以上アクセスされ
   ないページを自動的にディスク装置上に移すための手段
   を備える請求項１ないし４のいずれかのマルチプロセッ
   サシステム。