JP2746205B2 - 分散記憶型並列コンピュータシステムにおけるメモリ管理方式 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は分散記憶型並列コンピュ
ータシステムにおけるメモリ管理方式に関する。

【０００２】

【従来の技術】プロセッサと主記憶装置とを含むノード
複数台を相互結合網により接続した分散記憶型並列コン
ピュータシステムにおいては、例えば特開平１−１９４
０５６号公報に見られるように、ノード間でデータの転
送を行いながら複数のノードで１つのプログラムを並列
に処理することが行われている。

【０００３】この種の分散記憶型並列コンピュータシス
テムには、（１）ノード上で実行するプロセスを１つに
限定し、またノード毎に二次記憶装置を保有せず、従っ
てプロセスのスワップアウト，スワップインを実行しな
い形式のものと、（２）ノード毎に二次記憶装置を備え
て、プロセスのスワップアウト，スワップインを行い、
ノード上で多数のプロセスを並行して実行する形式のも
のとがあるが、前者の（１）の形式の場合、他のノード
の処理を待ち合わせているノードでは他のプロセスを実
行することができないので、プロセッサが完全に遊んで
しまい、資源の無駄が多いという問題があるため、一般
には後者の（２）の形式が賞用されている。

【０００４】そして、前記（２）の形式の分散記憶型並
列コンピュータシステムにおいては、各ノードのオペレ
ーティングシステム（ＯＳ）は、自ノード内だけで処理
が行われているプロセス以外に、他ノード内のプロセス
とデータ交換しながら１つの分散記憶型並列プログラム
を処理しているプロセスも、一律にスワップアウトの対
象としていた。但し、分散記憶型並列プログラムを処理
するプロセスの場合、プロセスどうしで必要に応じてノ
ード間のデータ転送が行われるため、ノード間データ転
送中にそれに必要な主記憶装置上の領域をスワップアウ
トすると、データの転送が失敗する恐れがある。そこ
で、ノード間データ転送処理はシステムコールによって
実現され、各ノード上のオペレーティングシステム（Ｏ
Ｓ）は、ノード間データ転送にかかるシステムコールを
受け付けると特権命令によって転送するデータをシステ
ム空間内にバッファリングするか、該当ページを主記憶
装置上で固定してスワップアウトされないように保護す
ることにより、ノード間データ転送中にプロセスがスワ
ップアウトされてもデータの転送が失敗しないようにし
ている。

【０００５】

【発明が解決しようとする課題】しかしながら、前述の
ように、プロセスがノード間データ転送を行うたびにシ
ステムコールが発行され、転送処理がＯＳに任される形
態では、ノード間のデータ転送時のシステムコールのオ
ーバヘッドが発生し、転送性能の低下を招く。しかも、
ノード内に複数のプロセッサが存在する場合は、ＯＳの
処理が複数のプロセッサで衝突し、データ転送以外の処
理も含む全体の処理が待たされてしまい、システム全体
の性能低下の原因となる。

【０００６】このような問題の解決方法の１つは、ノー
ド間データ転送をシステムコールを発行することなく非
特権命令で実行することである。

【０００７】しかしながら、このような形態を従来の分
散記憶型並列コンピュータシステムにそのまま適用する
ことはできない。何故なら、ノード間データ転送を非特
権命令で実行すると、ＯＳはノード間データ転送が行わ
れている領域を認識できないため、ノード間データ転送
中の領域をスワップアウトしてしまい、ノード間データ
転送が失敗してしまう恐れがあるからである。このよう
な恐れを避けるため、前記（１）の形式の分散記憶型並
列コンピュータシステムのようにスワップアウト，スワ
ップインを全く行わないようにすることも考えられる
が、そうすると同時実行可能なプログラムの多重度が極
端に低下するという別の問題を招く。

【０００８】そこで本発明の目的は、非特権命令による
ノード間データ転送を行っている分散記憶型並列プログ
ラムが存在するシステムで、ノード間データ転送を妨害
することなくプロセスのスワップを可能にすることにあ
る。

【０００９】

【課題を解決するための手段】本発明は上記の目的を達
成するために、相互結合網により接続された複数台のノ
ードから構成され、各ノードが、１台以上のプロセッサ
と、主記憶装置と、該主記憶装置上のイメージをスワッ
プする領域である二次記憶装置と、ノード間データ転送
を非特権命令によって実行できるノード間データ転送装
置とを有する分散記憶型並列コンピュータシステムにお
けるメモリ管理方式において、以下のような構成を採用
している。

【００１０】（１）各ノードに、自ノード上で実行され
ているプロセスのうち、ノード間データ転送装置を用い
て他ノード内のプロセスとデータ交換しながら１つの分
散記憶型並列プログラムを処理しているプロセスをスワ
ップアウトの対象から除外し、自ノード内だけで処理が
行われているプロセスのみをスワップアウトの対象とす
るメモリスケジューラを備える構成。

【００１１】また、分散記憶型並列プログラムを処理し
ているプロセスもスワップの対象にし得るようにするた
めに、以下の（２）〜（６）の構成を採用している。

【００１２】（２）各ノードに、主記憶装置上に固定す
るページを記録するページロックテーブルと、ノード間
データ転送装置を用いて他ノード内のプロセスとデータ
交換しながら１つの分散記憶型並列プログラムを処理し
ているプロセスから指定されたノード間データ転送を行
う領域に対応するページを主記憶装置上に固定すべく前
記ページロックテーブルに記録する領域ロック手段と、
自ノード上で実行されているプロセスのスワップアウト
時、前記ページロックテーブルを参照し、そのプロセス
に対応する主記憶装置上のページのうち、前記ページロ
ックテーブルに記録されているページ以外のページをス
ワップアウトするメモリスケジューラとを備える構成。

【００１３】（３）各ノードに、主記憶装置上に固定す
るページを記録するページロックテーブルと、前記ノー
ド間データ転送装置がデータの転送処理を開始する前
に、そのノード間データ転送に必要な領域がスワップア
ウトされていれば前記二次記憶装置から前記主記憶装置
にスワップインするページイン手段と、前記ノード間デ
ータ転送装置がデータの転送処理を開始する前に、その
ノード間データ転送に必要な領域に対応するページをそ
のノード間データ転送が終了するまで主記憶装置上に固
定すべく前記ページロックテーブルに記録する領域ロッ
ク手段と、自ノード上で実行されているプロセスのスワ
ップアウト時、前記ページロックテーブルを参照し、そ
のプロセスに対応する主記憶装置上のページのうち、前
記ページロックテーブルに記録されているページ以外の
ページをスワップアウトするメモリスケジューラとを備
える構成。

【００１４】（４）各ノードに、任意の分散記憶型並列
プログラムを実行しているプロセス全てを停止させるプ
ログラム停止手段と、システムに現在存在しているノー
ド間データ転送要求を検索する転送リクエスト確認手段
と、自ノード上で実行されている或るプロセスをスワッ
プアウトの対象に選択したとき、そのプロセスが或る分
散記憶型並列プログラムの処理を行っているプロセスの
場合、その分散記憶型並列プログラムを処理している全
てのプロセスを前記プログラム停止手段により停止させ
た後に、そのスワップアウトの対象に選択したプロセス
に対するノード間データ転送要求が存在しているか否か
を前記転送リクエスト確認手段により調べ、存在してい
ないことを条件に前記スワップアウトの対象に選択した
プロセスを実際にスワップアウトするメモリスケジュー
ラとを備える構成。

【００１５】（５）前記（４）の構成に、更に、各ノー
ドに、前記転送リクエスト確認手段による調査の結果、
スワップアウトの対象に選択したプロセスに対するノー
ド間データ転送要求が存在していることが確認された場
合に、そのノード間データ転送が終了するまで待ち合わ
せる転送待ち合わせ手段を備え、前記メモリスケジュー
ラは、前記転送待ち合わせ手段による待ち合わせ後に前
記スワップアウトの対象に選択したプロセスを実際にス
ワップアウトするようにした構成。

【００１６】（６）前記（４）の構成に、更に、各ノー
ドに、前記転送リクエスト確認手段による調査の結果、
スワップアウトの対象に選択したプロセスに対するノー
ド間データ転送要求が存在していることが確認された場
合に、そのノード間データ転送に関係する主記憶装置上
のページを確定する転送ページ確定手段を備え、前記メ
モリスケジューラは、前記スワップアウトの対象に選択
したプロセスのページのうち、前記転送ページ確定手段
で確定されたページ以外のページをスワップアウトする
ようにした構成。

【００１７】

【作用】（１）の構成の分散記憶型並列コンピュータシ
ステムにおけるメモリ管理方式においては、各ノードに
設けられたメモリスケジューラが、自ノード上で実行さ
れているプロセスのうち、分散記憶型並列プログラムを
処理しているプロセスはスワップアウトの対象から除外
し、自ノード内だけで処理が行われているプロセスのみ
をスワップアウトの対象とする。

【００１８】（２）の構成の分散記憶型並列コンピュー
タシステムにおけるメモリ管理方式においては、各ノー
ドに設けられた領域ロック手段が、分散記憶型並列プロ
グラムを処理しているプロセスがその本来の処理を開始
する前に出した要求に従ってそのプロセスが使用するノ
ード間データ転送を行う領域に対応するページを主記憶
装置上に固定すべくページロックテーブルにそのページ
を記録する。そして、各ノードに設けられたメモリスケ
ジューラが、自ノード上で実行されているプロセスのス
ワップアウト時、ページロックテーブルを参照し、その
プロセスに対応する主記憶装置上のページのうち、ペー
ジロックテーブルに記録されているページ以外のページ
をスワップアウトする。

【００１９】（３）の構成の分散記憶型並列コンピュー
タシステムにおけるメモリ管理方式においては、各ノー
ドに設けられたページイン手段が、ノード間データ転送
装置がデータの転送処理を開始する前に、そのノード間
データ転送に必要な領域がスワップアウトされていれば
二次記憶装置から主記憶装置にスワップインし、また、
各ノードに設けられた領域ロック手段が、ノード間デー
タ転送装置がデータの転送処理を開始する前に、そのノ
ード間データ転送に必要な領域をそのノード間データ転
送が終了するまで主記憶装置上に固定すべくページロッ
クテーブルに記録を行う。そして、各ノードに設けられ
たメモリスケジューラが、自ノード上で実行されている
プロセスのスワップアウト時、ページロックテーブルを
参照し、そのプロセスに対応する主記憶装置上のページ
のうち、ページロックテーブルに記録されているページ
以外のページをスワップアウトする。

【００２０】（４）の構成の分散記憶型並列コンピュー
タシステムにおけるメモリ管理方式においては、各ノー
ドに設けられたメモリスケジューラが、自ノード上で実
行されている或るプロセスをスワップアウトの対象に選
択したとき、そのプロセスが或る分散記憶型並列プログ
ラムの処理を行っているプロセスの場合、その分散記憶
型並列プログラムを処理している全てのプロセスをプロ
グラム停止手段により停止させた後に、そのスワップア
ウトの対象に選択したプロセスに対するノード間データ
転送要求が存在しているか否かを転送リクエスト確認手
段により調べ、存在していないことを条件に前記スワッ
プアウトの対象に選択したプロセスを実際にスワップア
ウトし、存在していた場合にはスワップアウトを中止す
る。

【００２１】（５）の構成の分散記憶型並列コンピュー
タシステムにおけるメモリ管理方式においては、前記
（４）の構成において、転送リクエスト確認手段による
調査の結果、スワップアウトの対象に選択したプロセス
に対するノード間データ転送要求が存在していることが
確認された場合に、メモリスケジューラが、転送待ち合
わせ手段により、そのノード間データ転送が終了するま
で待ち合わせた後、前記スワップアウトの対象に選択し
たプロセスを実際にスワップアウトする。

【００２２】（６）の構成の分散記憶型並列コンピュー
タシステムにおけるメモリ管理方式においては、前記
（４）の構成において、転送リクエスト確認手段による
調査の結果、スワップアウトの対象に選択したプロセス
に対するノード間データ転送要求が存在していることが
確認された場合に、メモリスケジューラが、転送ページ
確定手段により、そのノード間データ転送に関係する主
記憶装置上のページを確定し、前記スワップアウトの対
象に選択したプロセスのページのうち、前記確定された
ページ以外のページをスワップアウトする。

【００２３】

【実施例】次に本発明の実施例について図面を参照して
詳細に説明する。

【００２４】図１は本発明を適用する分散記憶型並列コ
ンピュータシステムのハードウェア構成例を示すブロッ
ク図である。同図において、１−１〜１−ｎはノード、
６はノード１−１〜１−ｎどうしを接続する相互結合網
である。各ノード１−１〜１−ｎ内には、ノード１−ｎ
に例示するように、１つ或いは複数のプロセッサ２−１
〜２−ｍと、主記憶装置３と、主記憶装置３上のイメー
ジをスワップする領域である二次記憶装置４と、ノード
間データ転送要求を受け付け相互結合網６を通じてノー
ド間のデータ転送処理を実行するノード間データ転送装
置５とが備えられている。ここで、ノード間データ転送
はシステムコールを発行することなく非特権命令で実行
できるようになっている。

【００２５】図２は本発明の分散記憶型並列コンピュー
タシステムにおけるメモリ管理方式の第１実施例のブロ
ック図であり、図１と同一符号は同一部分を示し、７は
ＯＳ（オペレーティングシステム）、８−１，８−２は
プロセス、９は分散記憶型並列プログラム、１０はメモ
リスケジューラ、１６は転送リクエストテーブルであ
る。ノード１−１〜１−ｎは全て同じ装置および手段を
有しているので、図２ではノード１−ｎにのみ詳細を記
述してある。各ノード１−１〜１−ｎは、ノード１−ｎ
内に例示されるように、主記憶装置３と、スワップ領域
である二次記憶装置４と、ノード間データ転送を非特権
命令によって実行できるノード間データ転送装置５と、
実行待ちのノード間転送要求を格納しておく転送リクエ
ストテーブル１６と、ＯＳ７とを有している。

【００２６】各々のノードで実行される処理の単位であ
る８−１，８−２のようなプロセスは、各ノード上に複
数存在し、各々のノード上のＯＳ７によって管理されて
いる。ここで、ノード１−ｎ上のプロセス８−２は、ノ
ード外とデータ転送を行わず自ノード内だけで処理が行
われているプロセスを示す。また、プロセス８−１は、
分散記憶型並列プログラム９を実行しているプロセスを
示す。即ち、プロセス８−１は、ノード間データ転送装
置５を用いて他ノード内の分散記憶型並列プログラム９
を実行するプロセスとデータ交換しながら処理を進める
プロセスである。図２では、分散記憶型並列プログラム
を実行しているプロセスとして８−１、ノード外とデー
タ転送を行わないプロセスとして８−２だけを示した
が、実際にはそれぞれのプロセスがノード上に複数存在
する。なお、このようなプロセスの種別はＯＳ７の管理
する図示しないテーブルに記録されており、メモリスケ
ジューラ１０はそのテーブルによりプロセスの種別を識
別することができるようになっている。

【００２７】本実施例では、プロセス８−２が使用する
メモリは、主記憶装置３または二次記憶装置４に存在
し、必要に応じてスワップイン，スワップアウトが行わ
れる。他方、プロセス８−１が使用するメモリは主記憶
装置３に存在し、スワップの対象とはならない。スワッ
プアウト処理はＯＳ７の一部であるメモリスケジューラ
１０が行う。スワップイン処理はメモリスケジューラ１
０が行う場合とプロセスが自ら行う場合があり得る。

【００２８】分散記憶型並列プログラム９の処理は各ノ
ード１−１〜１−ｎ上のプロセスに分割されている。ノ
ード１−ｎ上のプロセス８−１は分散記憶型並列プログ
ラム９の処理を行う１つのプロセスである。１つのノー
ドに同じ分散記憶型並列プログラムの処理を行うプロセ
スが複数存在することもあり得る。

【００２９】プロセス８−１は必要に応じてノード間デ
ータ転送装置５を用いて他ノードのプロセス（分散記憶
型並列プログラム９を処理する他のプロセス）と相互に
データ転送を行う。プロセス８−１はノード間データ転
送を必要とする場合、転送元プロセス，転送先プロセ
ス，ノード間データ転送に使う領域等を指定したノード
間データ転送要求を発行する。プロセス８−１から発行
されたノード間データ転送要求は、ノード間データ転送
装置５で受け付けられて転送リクエストテーブル１６に
一旦蓄積され、その後順番にノード間データ転送装置５
で実行される。ノード間データ転送要求を発行したプロ
セス８−１はその転送が終了するまで待ち合わせる。他
ノードのプロセスの領域を複写する領域、あるいは、他
ノードのプロセスから参照される領域は主記憶装置上に
存在している必要がある。

【００３０】メモリスケジューラ１０は、プロセスの種
別を識別し、スワップアウト処理において、プロセス８
−１のように分散記憶型並列プログラムの処理を実行し
ているプロセスは、全てスワップアウトの対象から除外
し、プロセス８−２のようにノード間データ転送を行わ
ないプロセスのみをスワップアウト対象とする。これに
より、ノード間データ転送を行っている領域が主記憶装
置３に存在することを保証しながらスワップを行うこと
ができる。

【００３１】図３は本発明の分散記憶型並列コンピュー
タシステムにおけるメモリ管理方式の第２実施例のブロ
ック図であり、図２と同一符号は同一部分を示し、１１
は領域ロック手段、１２はページロックテーブルであ
る。この第２の実施例では、図２の第１実施例と異な
り、ＯＳ７のメモリスケジューラ１０は、プロセス８−
１のように分散記憶型並列プログラムの処理を実行して
いるプロセスをもスワップアウト対象とする。また、Ｏ
Ｓ７は、領域ロック手段１１とページロックテーブル１
２とを有している。ここで、領域ロック手段１１は、主
記憶装置３上の領域を固定しておくための手段であり、
ページロックテーブル１２はその固定された領域を示す
情報を記録しておくテーブルである。

【００３２】分散記憶型並列プログラム９の処理を行っ
ているプロセス８−１は、本来の処理の開始に先立っ
て、予めノード間データ転送に必要な主記憶装置３上の
領域を指定して領域ロック手段１１に要求を出す。領域
ロック手段１１は、この指定された領域に対応するペー
ジを主記憶装置上に固定すべく、そのページの情報をペ
ージロックテーブル１２に記録する。メモリスケジュー
ラ１０は、プロセス８−１をスワップアウトする際に
は、ページロックテーブル１２を参照し、プロセス８−
１に対応する主記憶装置３上のページのうち、ページロ
ックテーブル１２に記録されているページ以外のページ
をスワップアウトする。これにより、ノード間データ転
送を行っているプロセスも、そのノード間データ転送を
妨害することなくスワップすることができる。

【００３３】図４は本発明の分散記憶型並列コンピュー
タシステムにおけるメモリ管理方式の第３実施例のブロ
ック図であり、図３と同一符号は同一部分を示し、１７
はページイン手段である。図３の第２実施例では、ノー
ド間データ転送に必要な領域をプロセス８−１が領域ロ
ック手段１１に要求を出すことにより予め固定化してい
たのに対し、図４の第３の実施例では、分散記憶型並列
プログラム９の処理を行っているプロセス８−１がノー
ド間データ転送装置５に対してノード間データ転送要求
を発行した場合、および、他ノードのプロセスがプロセ
ス８−１の領域に対してノード間データ転送要求を発行
してきた場合に、ノード間データ転送装置５がそのデー
タの転送処理を開始する前に、ノード間データ転送要求
内の情報から認識したノード間データ転送に必要な領域
を領域ロック手段１１により固定化してページロックテ
ーブル１２に記録させる。メモリスケジューラ１０は、
図３の第２実施例と同様に、プロセス８−１をスワップ
アウトする際には、ページロックテーブル１２を参照
し、プロセス８−１に対応する主記憶装置３上のページ
のうち、ページロックテーブル１２に記録されているペ
ージ以外のページをスワップアウトする。これにより、
ノード間データ転送を行っているプロセスも、そのノー
ド間データ転送を妨害することなくスワップすることが
できる。

【００３４】また、ノード間データ転送装置５は、ノー
ド間データ転送が終了すると、領域ロック手段１１によ
り、ノード間データ転送の終了した領域に対応するペー
ジの記録をページロックテーブル１２から削除すること
によりその固定化を解除する。従って、ノード間データ
転送に必要な領域であっても実際にノード間データ転送
中でなければスワップアウトの対象となる。

【００３５】なお、このようにノード間データ転送中で
なければノード間データ転送に必要な領域もスワップア
ウトされるので、プロセス８−１がノード間データ転送
装置５に対してノード間データ転送要求を発行した場
合、および、他ノードのプロセスがプロセス８−１の領
域に対してノード間データ転送要求を発行してきた場
合、そのノード間データ転送に必要な領域が二次記憶装
置４にスワップアウトされていることがある。このた
め、ノード間データ転送装置５は、ノード間データ転送
に必要な領域が二次記憶装置４にスワップアウトされて
いた場合はページイン手段１７を用いて主記憶装置３に
スワップインし、その後に前述したように領域ロック手
段１１による固定化を実施するようにしている。

【００３６】図５は本発明の分散記憶型並列コンピュー
タシステムにおけるメモリ管理方式の第４実施例のブロ
ック図であり、図２と同一符号は同一部分を示し、１３
はプログラム停止手段、１４は転送リクエスト確認手段
である。この第４実施例では、図２の第１実施例と異な
り、図３および図４の実施例と同様に、ＯＳ７のメモリ
スケジューラ１０は、プロセス８−１のように分散記憶
型並列プログラムの処理を実行しているプロセスをもス
ワップアウト対象とする。また、ＯＳ７は、プログラム
停止手段１３と転送リクエスト確認手段１４とを有して
いる。ここで、プログラム停止手段１３は、プロセス８
−１のように分散記憶型並列プログラム９の処理を行っ
ている自ノード内のプロセス全てを停止し、さらに、ノ
ード間データ転送装置５を経由して、他ノードのプログ
ラム停止手段に指示を出し、他ノードで分散記憶型並列
プログラム９の処理を行っているプロセスも全て停止さ
せる手段である。また、転送リクエスト確認手段１４
は、自ノードの転送リクエストテーブル１６および他ノ
ードの転送リクエストテーブル１６から、メモリスケジ
ューラ１０がスワップアウト対象に選択したプロセスに
対するノード間データ転送要求を確認する手段である。

【００３７】ＯＳ７のメモリスケジューラ１０は、分散
記憶型並列プログラム９の処理を行っているプロセス８
−１をスワップアウトの対象に選ぶと、先ず、プログラ
ム停止手段１３を起動する。プログラム停止手段１３
は、プロセス８−１および同分散記憶型並列プログラム
９の処理を行っている自ノード内のプロセス全てを停止
し、さらに、ノード間データ転送装置５を経由して、他
ノードのプログラム停止手段に指示を出して、他ノード
で分散記憶型並列プログラム９の処理を行っているプロ
セスも全て停止する。このように、スワップアウトの対
象に選択したプロセス８−１に対してノード間データ転
送が新たに発行されない状態にした後、メモリスケジュ
ーラ１０は転送リクエスト確認手段１４およびノード間
データ転送装置５を用いて、全ノードの転送リクエスト
テーブル１６を検索し、スワップアウトするプロセス８
−１に対するノード間データ転送要求が存在するか否か
を確認する。そして、存在しなければ、プロセス８−１
を実際にスワップアウトする。また、存在すれば、プロ
セス８−１のスワップアウトは中止する。このように、
本実施例では、ノード間データ転送を行う可能性のある
プロセス８−１を、ノード間データ転送処理を行ってい
ないことを条件にスワップアウトすることができる。

【００３８】なお、メモリスケジューラ１０は、プロセ
ス８−１のスワップアウトを中止した場合、プログラム
停止手段１３によって、前記停止させた分散記憶型並列
プログラム９を処理する全プロセスを再開させる。ま
た、プロセス８−１をスワップアウトした場合、他のプ
ロセスの停止を解除する。

【００３９】図６は本発明の分散記憶型並列コンピュー
タシステムにおけるメモリ管理方式の第５実施例のブロ
ック図であり、図５と同一符号は同一部分を示し、１５
は転送待ち合わせ手段である。図５に示される第４実施
例では、スワップアウトの対象に選択したプロセス８−
１に対するノード間データ転送要求が存在した場合、そ
のスワップアウトを中止していたが、本実施例では、そ
の存在したノード間データ転送が終了するまで待ち合わ
せる転送待ち合わせ手段１５をＯＳ７に設け、メモリス
ケジューラ１０はこの転送待ち合わせ手段１５による待
ち合わせ後に、プロセス８−１を実際にスワップアウト
するようにしている。これにより、メモリスケジューラ
１０は、分散記憶型並列プログラム９の処理を行ってい
るプログラム８−１をスワップアウト対象に選択した場
合、確実にスワップアウトすることができる。なお、転
送待ち合わせ手段１５は、前記存在したノード間データ
転送要求の処理が終了したか否かを、転送リクエスト確
認手段１４によりノード間データ転送要求の存否を繰り
返し確認することで判断している。

【００４０】図７は本発明の分散記憶型並列コンピュー
タシステムにおけるメモリ管理方式の第６実施例のブロ
ック図であり、図５と同一符号は同一部分を示し、１８
は転送ページ確定手段１８である。図５に示される第４
実施例では、スワップアウトの対象に選択したプロセス
８−１に対するノード間データ転送要求が存在した場
合、そのスワップアウトを中止していたが、本実施例で
は、その存在したノード間データ転送要求がプロセス８
−１のどのページに当たるかを、転送リクエスト確認手
段１４から取得した該当するノード間データ転送要求に
基づいて転送ページ確定手段１８で判断し、メモリスケ
ジューラ１０は、スワップアウトの対象に選択したプロ
セス８−１のページのうち、ノード間データ転送に関係
の無いページのみをスワップアウトするようにしてい
る。これにより、図６の第５実施例のようにノード間デ
ータ転送の終了を待ち合わせることなく、メモリスケジ
ューラ１０は、分散記憶型並列プログラム９の処理を行
っているプログラム８−１をスワップアウトすることが
できる。

【００４１】

【発明の効果】以上説明したように本発明によれば、以
下のような効果を得ることができる。

【００４２】請求項１記載の構成によれば、自ノード内
だけで処理が行われているプロセスはスワップアウト対
象となるので、全プロセスをスワップアウト対象外にす
る場合に比べてプログラム実行の多重度が上がり、分散
記憶型並列プログラムを処理しているプロセスはスワッ
プアウトされないので、ノード間データ転送中の領域を
スワップアウトしてしまうことがなく、ノード間データ
転送が失敗しない。従って、非特権命令によるノード間
データ転送を行っている分散記憶型並列プログラムが存
在するシステムで、ノード間データ転送を妨害すること
なくスワップ処理が一部実現できる。

【００４３】請求項２記載の構成によれば、分散記憶型
並列プロセスもスワップアウト対象としたことによりプ
ログラム実行の多重度が更に向上し、そして、分散記憶
型並列プログラムを処理するプロセスがノード間データ
転送に使う領域はスワップアウトされないので、ノード
間データ転送中の領域がスワップアウトされてしまうこ
とがなく、ノード間データ転送は失敗しない。

【００４４】請求項３記載の構成によれば、分散記憶型
並列プロセスもスワップアウト対象としたことによりプ
ログラム実行の多重度が更に向上し、そして、分散記憶
型並列プログラムを処理するプロセスがノード間データ
転送に使う領域はスワップアウトされないので、ノード
間データ転送中の領域がスワップアウトされてしまうこ
とがなく、ノード間データ転送は失敗しない。また、請
求項２記載の構成に比べると、ノード間データ転送に使
う領域がノード間データ転送中に限って固定化されるた
め、ノード間データ転送中でない場合はノード間データ
転送にかかる領域もスワップアウト対象になり、その
分、プログラムの多重度を更に上げられる。

【００４５】請求項４記載の構成によれば、分散記憶型
並列プロセスもスワップアウト対象としたことによりプ
ログラム実行の多重度が更に向上し、そして、ノード間
データ転送中のプロセスはスワップアウトされないの
で、ノード間データ転送は失敗しない。また、スワップ
アウト対象に選んだプロセスに関するノード間データ転
送要求が存在した場合にはスワップアウトを中止するの
で、スワップ処理のためにノード間データ転送のオーバ
ヘッドが増加することがない。

【００４６】請求項５記載の構成によれば、分散記憶型
並列プロセスもスワップアウト対象としたことによりプ
ログラム実行の多重度が更に向上し、そして、ノード間
データ転送中のプロセスはスワップアウトされないの
で、ノード間データ転送は失敗しない。また、スワップ
アウト対象に選んだプロセスに関するノード間データ転
送要求が存在した場合には、それが終了するまで待ち合
わせてからスワップアウトするので、スワップアウト対
象に選択したプロセスは確実にスワップアウトできると
共に、スワップ処理のためにノード間データ転送のオー
バヘッドが増加することがない。

【００４７】請求項６記載の構成によれば、分散記憶型
並列プロセスもスワップアウト対象としたことによりプ
ログラム実行の多重度が更に向上し、そして、スワップ
アウト対象に選んだプロセスに関するノード間データ転
送要求が存在した場合には、そのノード間データ転送要
求がどのページに該当するかを調べ、該当しないページ
のみをスワップアウトするので、ノード間データ転送は
失敗せず、また、ノード間データ転送の終了を待ち合わ
せることなく、スワップアウト対象にしたプロセスをス
ワップアウトできるので、スワップ処理が待ち合わせ処
理などによって必要以上に停止することがない。

【図面の簡単な説明】

【図１】本発明を適用する分散記憶型並列コンピュータ
システムのハードウェア構成例を示すブロック図であ
る。

【図２】本発明の第１実施例のブロック図である。

【図３】本発明の第２実施例のブロック図である。

【図４】本発明の第３実施例のブロック図である。

【図５】本発明の第４実施例のブロック図である。

【図６】本発明の第５実施例のブロック図である。

【図７】本発明の第６実施例のブロック図である。

【符号の説明】

１−１〜１−ｎ…ノード ２−１〜２−ｍ…プロセッサ ３…主記憶装置 ４…二次記憶装置 ５…ノード間データ転送装置 ６…相互結合網 ７…オペレーティングシステム（ＯＳ） ８−１…分散記憶型並列プログラムを処理するプロセス ８−１…自ノード内だけで処理が行われるプロセス ９…分散記憶型並列プログラム １０…メモリスケジューラ １１…領域ロック手段 １２…ページロックテーブル １３…プログラム停止手段 １４…転送リクエスト確認手段 １５…転送待ち合わせ手段 １６…転送リクエストテーブル １７…ページイン手段 １８…転送ページ確定手段

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 相互結合網により接続された複数台のノ
   ードから構成され、各ノードが、１台以上のプロセッサ
   と、主記憶装置と、該主記憶装置上のイメージをスワッ
   プする領域である二次記憶装置と、ノード間データ転送
   を非特権命令によって実行できるノード間データ転送装
   置とを有する分散記憶型並列コンピュータシステムにお
   けるメモリ管理方式であって、 各ノードに、自ノード上で実行されているプロセスのう
   ち、ノード間データ転送装置を用いて他ノード内のプロ
   セスとデータ交換しながら１つの分散記憶型並列プログ
   ラムを処理しているプロセスをスワップアウトの対象か
   ら除外し、自ノード内だけで処理が行われているプロセ
   スのみをスワップアウトの対象とするメモリスケジュー
   ラを備えることを特徴とする分散記憶型並列コンピュー
   タシステムにおけるメモリ管理方式。
2. 【請求項２】 相互結合網により接続された複数台のノ
   ードから構成され、各ノードが、１台以上のプロセッサ
   と、主記憶装置と、該主記憶装置上のイメージをスワッ
   プする領域である二次記憶装置と、ノード間データ転送
   を非特権命令によって実行できるノード間データ転送装
   置とを有する分散記憶型並列コンピュータシステムにお
   けるメモリ管理方式であって、 各ノードに、主記憶装置上に固定するページを記録する
   ページロックテーブルと、ノード間データ転送装置を用
   いて他ノード内のプロセスとデータ交換しながら１つの
   分散記憶型並列プログラムを処理しているプロセスから
   指定されたノード間データ転送を行う領域に対応するペ
   ージを主記憶装置上に固定すべく前記ページロックテー
   ブルに記録する領域ロック手段と、自ノード上で実行さ
   れているプロセスのスワップアウト時、前記ページロッ
   クテーブルを参照し、そのプロセスに対応する主記憶装
   置上のページのうち、前記ページロックテーブルに記録
   されているページ以外のページをスワップアウトするメ
   モリスケジューラとを備えることを特徴とする分散記憶
   型並列コンピュータシステムにおけるメモリ管理方式。
3. 【請求項３】 相互結合網により接続された複数台のノ
   ードから構成され、各ノードが、１台以上のプロセッサ
   と、主記憶装置と、該主記憶装置上のイメージをスワッ
   プする領域である二次記憶装置と、ノード間データ転送
   を非特権命令によって実行できるノード間データ転送装
   置とを有する分散記憶型並列コンピュータシステムにお
   けるメモリ管理方式であって、 各ノードに、主記憶装置上に固定するページを記録する
   ページロックテーブルと、前記ノード間データ転送装置
   がデータの転送処理を開始する前に、そのノード間デー
   タ転送に必要な領域がスワップアウトされていれば前記
   二次記憶装置から前記主記憶装置にスワップインするペ
   ージイン手段と、前記ノード間データ転送装置がデータ
   の転送処理を開始する前に、そのノード間データ転送に
   必要な領域に対応するページをそのノード間データ転送
   が終了するまで主記憶装置上に固定すべく前記ページロ
   ックテーブルに記録する領域ロック手段と、自ノード上
   で実行されているプロセスのスワップアウト時、前記ペ
   ージロックテーブルを参照し、そのプロセスに対応する
   主記憶装置上のページのうち、前記ページロックテーブ
   ルに記録されているページ以外のページをスワップアウ
   トするメモリスケジューラとを備えることを特徴とする
   分散記憶型並列コンピュータシステムにおけるメモリ管
   理方式。
4. 【請求項４】 相互結合網により接続された複数台のノ
   ードから構成され、各ノードが、１台以上のプロセッサ
   と、主記憶装置と、該主記憶装置上のイメージをスワッ
   プする領域である二次記憶装置と、ノード間データ転送
   を非特権命令によって実行できるノード間データ転送装
   置とを有する分散記憶型並列コンピュータシステムにお
   けるメモリ管理方式であって、 各ノードに、任意の分散記憶型並列プログラムを実行し
   ているプロセス全てを停止させるプログラム停止手段
   と、システムに現在存在しているノード間データ転送要
   求を確認する転送リクエスト確認手段と、自ノード上で
   実行されている或るプロセスをスワップアウトの対象に
   選択したとき、そのプロセスが或る分散記憶型並列プロ
   グラムの処理を行っているプロセスの場合、その分散記
   憶型並列プログラムを処理している全てのプロセスを前
   記プログラム停止手段により停止させた後に、そのスワ
   ップアウトの対象に選択したプロセスに対するノード間
   データ転送要求が存在しているか否かを前記転送リクエ
   スト確認手段により調べ、存在していないことを条件に
   前記スワップアウトの対象に選択したプロセスを実際に
   スワップアウトするメモリスケジューラとを備えること
   を特徴とする分散記憶型並列コンピュータシステムにお
   けるメモリ管理方式。
5. 【請求項５】 各ノードに、前記転送リクエスト確認手
   段による調査の結果、スワップアウトの対象に選択した
   プロセスに対するノード間データ転送要求が存在してい
   ることが確認された場合に、そのノード間データ転送が
   終了するまで待ち合わせる転送待ち合わせ手段を備え、
   前記メモリスケジューラは、前記転送待ち合わせ手段に
   よる待ち合わせ後に前記スワップアウトの対象に選択し
   たプロセスを実際にスワップアウトすることを特徴とす
   る請求項４記載の分散記憶型並列コンピュータシステム
   におけるメモリ管理方式。
6. 【請求項６】 各ノードに、前記転送リクエスト確認手
   段による調査の結果、スワップアウトの対象に選択した
   プロセスに対するノード間データ転送要求が存在してい
   ることが確認された場合に、そのノード間データ転送に
   関係する主記憶装置上のページを確定する転送ページ確
   定手段を備え、前記メモリスケジューラは、前記スワッ
   プアウトの対象に選択したプロセスのページのうち、前
   記転送ページ確定手段で確定されたページ以外のページ
   をスワップアウトすることを特徴とする請求項４記載の
   分散記憶型並列コンピュータシステムにおけるメモリ管
   理方式。