JPH07152710A - マルチプロセサシステム - Google Patents

Abstract

(57)【要約】 【構成】 或る要素プロセサ（＃１）が要求するデータ
がその要素プロセサと接続されるローカルメモリ（＃
１）に存在しない、いわゆるページフォルトが生じた場
合、ローカルメモリ（＃１）の１つのページ内のデータ
をインタリーブして複数の２次記憶装置＃１〜＃１０に
蓄えてページアウトし、同じように、要素プロセサが要
求するデータを２次記憶装置から当該ローカルメモリに
取り込む、いわゆるページインについても、インタリー
ブして蓄えられたデータをそのローカルメモリに順次読
み出す。 【効果】 ページフォルトが生じたときの処理の高速化
が図れる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明はマルチプロセサシステ
ムに関し、特にたとえば各要素プロセサにそれぞれ接続
される分散メモリ（ローカルメモリ）と各要素プロセサ
が共有するデータを蓄える共有メモリ（２次記憶）とを
有し仮想記憶を用いる超並列システムに適用される、マ
ルチプロセサシステムに関する。

【０００２】

【従来の技術】近年、要素プロセサを複数台接続し、そ
れらの複数の要素プロセサを用いて並列処理を行うこと
によって、計算機の高速化および高機能化を達成しよう
とする研究、すなわちマルチプロセサシステムに関する
研究が盛んである。このようなマルチプロセサシステム
の１つに仮想記憶を用いたものがある。仮想記憶を用い
ることによって、各要素プロセサに個別に接続される分
散メモリの物理的な大きさを意識せずにプログラミング
が行えるような環境を提供できる。一般的には、図６に
示すマルチプロセサシステム１のように、仮想記憶を行
う際に補助記憶装置としてハードディスクのような２次
記憶装置２が用いられる。

【０００３】仮想記憶を用いたマルチプロセサシステム
１において、膨大なデータを扱うためには、図６に示す
ように、膨大なデータを蓄えるための複数の２次記憶装
置２および多数の要素プロセサ４が必要となる。すなわ
ち、図６に示すマルチプロセサシステム１では、各要素
プロセサ４にはローカルメモリ５が接続され、ローカル
メモリ５は相互に相互結合網８で接続される。そして、
相互結合網８には複数の２次記憶装置２が接続される。

【０００４】図７に示すように、ローカルメモリ３およ
び２次記憶装置２のそれぞれの物理アドレスは、複数の
領域に分割され（分割された各領域を「ページ」とい
う）、ローカルメモリ３上の各ページは２次記憶装置２
上のページにマッピングされている。ローカルメモリ３
上に存在するデータは大きな仮想アドレス空間上の一部
である。

【０００５】要素プロセサ４が要求する仮想アドレス空
間上のデータがローカルメモリ３上に存在しないとき
（「ページフォルト」という）は、ローカルメモリ３上
の１つのページ５を２次記憶装置２上の対応するページ
６に書き込み（「ページアウト」という）、ローカルメ
モリ３上のページ５に必要なデータをページ単位で２次
記憶装置２から（ここでは２次記憶装置２上のページ７
から）読み出す（「ページイン」という）。

【０００６】

【発明が解決しようとする課題】このような仮想記憶を
用いるマルチプロセサシステム１においては、要素プロ
セサ４の各々についてはページフォルトの起こる頻度が
少ないものであっても、多数の要素プロセサ４が用いら
れるため、マルチプロセサシステム１全体としてはペー
ジフォルトが頻繁に起こることが予想される。したがっ
て、ページフォルトによるデータの転送が頻繁に行われ
ることになる。

【０００７】このような場合、相互結合網８の通信速度
を向上させることによって、データ転送の高速化を図る
ことは可能である。しかし、一般的に２次記憶装置２と
して用いられるハードディスクなどは、データアクセス
速度が高速ではない。したがって、ページフォルトが起
こるたびに、すなわち頻繁に、ページフォルトを起こし
た要素プロセサ４は、処理を待たなければならない。特
に、同一ページ内のデータが同一の２次記憶装置に書き
込まれるので、１つのデータを書き込むたびに、そのデ
ータの書き込みが終了するのを要素プロセサは待たなけ
ればならず、したがって、１つのページを全て書き込む
には多くの時間を必要とする。その結果、システムの性
能低下を招くという問題点があった。

【０００８】それゆえに、この発明の主たる目的は、ペ
ージフォルトが生じても高速に処理できる、マルチプロ
セサシステムを提供することである。

【０００９】

【課題を解決するための手段】この発明は、複数の要素
プロセサ、複数の要素プロセサにそれぞれ接続されかつ
ページングされる複数のローカルメモリ、複数のローカ
ルメモリを相互に接続する相互結合網、および相互結合
網に結合される複数の２次記憶装置を含み、仮想記憶を
用いるマルチプロセサシステムにおいて、ページフォル
トを生じたローカルメモリ上の或るページのデータを複
数の２次記憶装置に順次インタリーブして蓄えるように
ページアウトし、複数の２次記憶装置にインタリーブし
て蓄えられたデータをローカルメモリ上の或るページに
順次書き込むようにページインするようにしたことを特
徴とする、マルチプロセサシステムである。

【００１０】

【作用】或る要素プロセサが要求するデータがその要素
プロセサと接続されるローカルメモリに存在しない場
合、すなわちページフォルトが生じた場合、そのローカ
ルメモリ上の１つのページをページアウトするとき、そ
のページ内のデータをたとえば１ワードずつ複数の２次
記憶装置にインタリーブして蓄えるので、或る２次記憶
装置へのデータの書き込みが終了しないうちに、次のデ
ータを次の２次記憶装置に書き込むことができ、ページ
アウトに要する時間が大幅に短縮される。また、ページ
インについても同様である。

【００１１】

【発明の効果】この発明によれば、ローカルメモリ上の
データを複数の２次記憶装置にインタリーブして蓄える
ので、ページフォルト時のページアウトを複数の２次記
憶装置に並行して、またページインを複数の２次記憶装
置から並行して行える。したがって、ページフォルトに
伴うページアウトおよびページインの処理を高速に行え
る。特に、要素プロセサおよびそれに接続されるローカ
ルメモリの数が多い超並列マルチプロセサシステムにお
いて、ページフォルトがシステム全体として頻繁に起こ
る場合であっても、ページフォルトによる性能低下を大
幅に抑えることができる。

【００１２】この発明の上述の目的，その他の目的，特
徴および利点は、図面を参照して行う以下の実施例の詳
細な説明から一層明らかとなろう。

【００１３】

【実施例】図１を参照して、この実施例のマルチプロセ
サシステム１０は複数の要素プロセサ１２を含み、それ
ぞれの要素プロセサ１２にはそれぞれローカルメモリ１
４が接続される。この実施例では説明を簡単にするため
に、要素プロセサ１２およびローカルメモリ１４の数を
それぞれ＃１〜＃１００の１００個とする。ローカルメ
モリ１４はページングされ、各ページが後述する複数の
２次記憶装置１８のキャッシュメモリとして利用され
る。この実施例では、ローカルメモリ１４は、Ｐ１〜Ｐ
４の４つの領域（ページ）に分割（ページング）され、
表１に示すページテーブル１で、ローカルメモリ１４上
の各ページと仮想アドレス空間との対応がとられてい
る。ここで、ローカルメモリ１４のページサイズはたと
えば１００ワードとする。したがって、たとえば表１の
ローカルメモリ番号＃１，ページ番号Ｐ１の仮想アドレ
ス範囲は、「９９００〜９９９９」となる。

【００１４】

【表１】

【００１５】それぞれのローカルメモリ１４は、相互に
相互結合網１６によって接続され、相互結合網１６には
複数の２次記憶装置１８が結合される。複数の２次記憶
装置１８は、複数の要素プロセサ１２が共有するメモリ
システムとして利用される。説明を簡単にするため、こ
の実施例では２次記憶装置１８の数は＃１〜＃１０の１
０個とする。２次記憶装置１８上の各ページについても
仮想アドレス空間との対応が、表２のページテーブル２
のようにとられている。すなわち、表２に、仮想アドレ
スと実際にデータが蓄えられている２次記憶装置１８上
の物理アドレスとの対応を示す。ただし、２次記憶装置
１８のページ数および物理アドレスは非常に膨大である
ので、仮想アドレス空間と２次記憶装置１８の物理アド
レスとを１対１に対応させ、計算式によって両者の対応
を求めてもよい。

【００１６】

【表２】

【００１７】なお、ページテーブル１およびページテー
ブル２は、それぞれたとえばローカルメモリ１４の余っ
た領域に格納される。そして、ページアウト時には、図
２に示すように、ローカルメモリ１４の或るページ内の
データが、第１ワードから１ワード単位で、１０個の２
次記憶装置１８にインタリーブして蓄えられていく。ま
た、ページイン時には、１０個の２次記憶装置１８にイ
ンタリーブして蓄えられたデータが、１ワード単位で順
次ローカルメモリ１４に読み出されていく。

【００１８】このように構成されるマルチプロセサシス
テム１０の動作を、図３ないし図５を参照して説明す
る。なお、動作の説明にあたり、要素プロセサ，ローカ
ルメモリおよび２次記憶装置を「＃１」等で示す。ま
ず、図３に示すステップＳ１において、要素プロセサ＃
１に必要なデータの仮想アドレスが、要素プロセサ＃１
上で決定される。ステップＳ３において、要素プロセサ
＃１に接続されるローカルメモリ＃１上のページテーブ
ル１を参照する。ステップＳ５において、ローカルメモ
リ＃１上に必要なデータがあるか否かを判断し、必要な
データがあれば、ステップＳ７に進む。ステップＳ７に
おいて、ページテーブル１から必要なデータが存在する
ページ番号を得る。そして、ステップＳ９において、ス
テップＳ７で得られたページに存在する必要なデータを
アクセスし、ページテーブル１の対応するアクセス回数
を１つインクリメントして、終了する。

【００１９】一方、ステップＳ５において、ローカルメ
モリ１２上に必要なデータがない場合には、ページフォ
ルトとなりステップＳ１１に進む。ステップＳ１１にお
いて、ページテーブル１を参照して、ローカルメモリ＃
１上に空いているページが存在するかどうかを調べる。
ステップＳ１３において、空いているページがあるか否
かを判断し、空いているページがあれば図４に示すステ
ップＳ１５に進み、ページアウトされることなく、ペー
ジインの動作を行う。

【００２０】たとえば、電源をオンした直後の初期状態
では、各ローカルメモリ＃１〜＃１００にはデータが何
ら格納されていない場合があり、この場合にはページア
ウトすることなくページインされる。そして、ステップ
Ｓ１５において、ページテーブル２を参照し、必要なデ
ータの仮想アドレスから必要なデータの存在する２次記
憶装置上の物理アドレスを求める。ステップＳ１７にお
いて、２次記憶装置＃１上の求めた物理アドレスからデ
ータを読み出し、ローカルメモリ＃１上の空きページに
そのデータを書き込む。次いで、ステップＳ１９におい
て、次の２次記憶装置＃２の同じ物理アドレスからデー
タを読み出し、ローカルメモリ＃１上の空きページの次
のアドレスにそのデータを書き込む。

【００２１】ステップＳ２１において、最後の２次記憶
装置＃１０まで読み出しが終わったか否かを判断する。
最後の２次記憶装置＃１０まで読み出しが終わっていな
ければステップＳ２３に進む。読み出しが終わっていれ
ばステップＳ２５に進む。ステップＳ２５において、最
初の２次記憶装置＃１に戻り、物理アドレスをインクリ
メントし、ステップＳ２３に進む。ステップＳ２３にお
いて、１ページ分のデータを読み出したか否かを判断す
る。１ページ分のデータを読み出していなければステッ
プＳ１９に戻る。ステップＳ２３において、１ページ分
のデータを読み出したと判断すれば、ステップＳ２７に
進む。ステップＳ２７において、ローカルメモリ＃１の
ページテーブル１に、データを書き込んだページのペー
ジ番号とその仮想アドレスとを書き込む。そして、ステ
ップＳ２９において、必要なデータが書き込まれたロー
カルメモリ＃１上のページから必要なデータをアクセス
し、アクセス回数を１にして、終了する。

【００２２】図３に戻って、ステップＳ１３において空
いているページがなければ、図５に示すステップＳ３１
に進み、まずページアウトする。ステップＳ３１におい
て、ページテーブル１のアクセス回数を参照して、ペー
ジアウトすべきページを決定する。このときアクセス回
数の少ないページが選択される。そして、ステップＳ３
３において、ページテーブル１より、ページアウトすべ
きページの仮想アドレスを求める。ステップＳ３５にお
いて、ページテーブル２を参照し、求めた仮想アドレス
から対応する２次記憶装置の物理アドレスを求める。ス
テップＳ３７において、２次記憶装置＃１の求めた物理
アドレスに、ローカルメモリ＃１のページアウトすべき
ページの最初のデータを書き込み、ステップＳ３９に進
む。ステップＳ３９において、次の２次記憶装置＃２の
同じ物理アドレスにローカルメモリ＃１上の次のデータ
を書き込む。ステップＳ４１において、最後の２次記憶
装置＃１０にまで書き込みが終わったか否かを判断す
る。書き込みが終わっていれば、ステップＳ４３におい
て、最初の２次記憶装置＃１に戻り、物理アドレスをイ
ンクリメントし、ステップＳ４５に進む。ステップＳ４
１において、書き込みが終わっていなければ、ステップ
Ｓ４５に進む。ステップＳ４５において、１ページ分の
データを書き込んだか否かを判断する。書き込んでいな
ければステップＳ３９に戻り、書き込んでいればステッ
プＳ４７に進む。ステップＳ４７において、ローカルメ
モリ＃１のページテーブル１から、ページアウトしたペ
ージを削除し、アクセス回数を０にし、図４に示すステ
ップＳ１５に進む。以下、上述したページインの動作を
行う。

【００２３】さらに具体例を挙げて動作を説明する。マ
ルチプロセサシステム１０の動作中に、たとえば要素プ
ロセサ＃１が演算処理等の過程で、仮想アドレス１０５
０番地から１０８０番地までのデータが必要になった場
合、要素プロセサ＃１はローカルメモリ＃１に対して、
仮想アドレス１０５０番地から１０８０番地までのデー
タを要求する。しかし、ページテーブル１を参照したと
き、ローカルメモリ＃１上の各ページに必要な仮想アド
レスのデータが存在しないため、ページフォルトを起こ
す。

【００２４】ページフォルトを起こした場合、複数のペ
ージ（この実施例では４つ）のうちの１つのページをペ
ージアウトしなければならないが、この実施例では、ペ
ージテーブル１に蓄えられた各テーブルのアクセス回数
から、最もアクセス回数（要素プロセサから要求された
回数）の少ないページをページアウトする。したがっ
て、Ｐ３のページをページアウトする。ページアウトす
るページの仮想アドレスは、ページテーブル１を参照す
ると２６００番地から２６９９番地であるので、まず、
各２次記憶装置＃１〜＃１０の物理アドレスが２６０番
地のエリアにＰ３のページのデータを書き込んでいく。
すなわち、仮想アドレスが２６００番地のデータを２次
記憶装置＃１の２６０番地（物理アドレス）に書き込
み、書き込み終了の信号が２次記憶装置＃１から転送さ
れる前に、２６０１番地のデータを２次記憶装置＃２の
２６０番地に、引き続き２６０２番地のデータを２次記
憶装置＃３の２６０番地に書き込む。したがって、１０
個の２次記憶装置＃１〜＃１０に対して並行に、データ
の書き込みを行うことができるため、高速にページアウ
トを行うことができる。なお、この書き込み終了の信号
は１ワードを書き込む毎に出力される。

【００２５】また、要素プロセサ＃１が要求する仮想ア
ドレス１０５０番地から１０８０番地までのデータは、
２次記憶装置＃１〜＃１０の１００番地から始まるペー
ジに存在するので、順次、ローカルメモリ＃１のページ
（ページ番号Ｐ３）に読み出すが、ページアウトと同様
に１０個の２次記憶装置＃１〜＃１０から並行に読み出
すことができるため、ページインも高速に行うことがで
きる。

【００２６】このように、この実施例によれば、１つの
ページ内のデータを複数の２次記憶装置１８に少しずつ
インタリーブして蓄えているので、ローカルメモリ１４
と複数の２次記憶装置１８との間で、データの入れ換え
を高速に行うことができる。なお、上述の具体例では、
ページインおよびページアウトの両方において、データ
を並行に読み書きする例を挙げたが、ページアウトおよ
びページインのいずれか一方のみにおいて並行処理を行
うだけでも大きな効果が得られる。

【００２７】また、ローカルメモリ１４として、各要素
プロセサ１２に１対１の対応で接続されている例を挙げ
たが、要素プロセサ１２をクラスタ化し、各クラスタ内
で共通にアクセスする共有メモリが存在する場合も、こ
の共有メモリを各クラスタのローカルメモリと位置付け
れば、同様の効果が得られる。

【図面の簡単な説明】

【図１】この発明の一実施例を示す図解図である。

【図２】２次記憶装置上にインタリーブして蓄えられた
データの例を示す図解図である。

【図３】この実施例の動作を示すフロー図である。

【図４】図３の動作の続きを示すフロー図である。

【図５】図４の動作の続きを示すフロー図である。

【図６】従来技術を示す図解図である。

【図７】仮想記憶の構成例を示す図解図である。

【符号の説明】

１０ …マルチプロセサシステム １２ …要素プロセサ １４ …ローカルメモリ １６ …相互結合網 １８ …２次記憶装置

Claims (1)

【特許請求の範囲】
1. 【請求項１】複数の要素プロセサ、前記複数の要素プロ
   セサにそれぞれ接続されかつページングされる複数のロ
   ーカルメモリ、前記複数のローカルメモリを相互に接続
   する相互結合網、および前記相互結合網に結合される複
   数の２次記憶装置を含み、仮想記憶を用いるマルチプロ
   セサシステムにおいて、 ページフォルトを生じたローカルメモリ上の或るページ
   のデータを前記複数の２次記憶装置に順次インタリーブ
   して蓄えるようにページアウトし、前記複数の２次記憶
   装置にインタリーブして蓄えられたデータをローカルメ
   モリ上の或るページに順次書き込むようにページインす
   るようにしたことを特徴とする、マルチプロセサシステ
   ム。