JPH1145229A - 分散メモリ型マルチプロセッサシステムにおけるプロセスの停止方式 - Google Patents

Abstract

(57)【要約】 【課題】ノード間でデータの送受信を行なう並列処理プ
ロセスに対して、効率的にチェックポイント採取のため
の停止処理を行えるようにする。 【解決手段】複数のノードを相互結合網により結合し、
ノード毎に並列処理プロセスの各スレッドを備える分散
メモリ型マルチプロセッサシステムにおいて、ノード毎
に並列処理プロセスのスレッドを管理する管理プロセス
を備え、チェックポイント要求コマンドが入力された場
合に、ノード番号の最も若いノードの管理プロセスが、
自ノード内のスレッドに対して停止要求を行ない、自ノ
ード内のスレッドが停止した後、次のノード番号を有す
るノードの管理プロセスに停止要求を行ない、並列処理
プロセス内の全ノードのスレッドが停止するまでノード
番号順に、ノードの管理プロセスが自ノード内のスレッ
ドに対する停止要求と、次のノード番号を有するノード
の管理プロセスに対する停止要求を行なう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、プロセス停止方式
に関し、特に、ネットワークに接続された複数のノード
を含み、各ノードが並列処理を行うスレッド群を保持す
る、分散メモリ型マルチプロセッサシステムにおいて実
行されるチェックポイント処理におけるプロセス停止方
式に関する。

【０００２】

【従来の技術】特開平８−２６３３１７号公報には、チ
ェックポイント処理における同期制御（排他制御）に関
係する複数のプロセスの停止順序を制御するためのチェ
ックポイント／リスタート処理システムが開示されてい
る。

【０００３】また、特開平２−２８７８５８号公報に
は、分散処理システムにおけるリスタートシステムが開
示されている。このリスタートシステムにおいては、あ
るプロセッサ中の通信制御部が他のプロセッサ群とデー
タの送受信を行う際には必ず、該通信制御部にそのよう
な処理を行わせるプログラムがチェックポイントデータ
としてセーブされる。

【０００４】

【発明が解決しようとする課題】しかしながら、特開平
８−２６３３１７号公報記載の技術は、密結合型マルチ
プロセッサシステムに適用されるもので、分散メモリ型
マルチプロセッサシステムに適用されるものではない。
分散メモリ型マルチプロセッサシステムにおいて個々の
プロセッサは、他のプロセッサ群のいずれのプロセスか
らもアクセスできない固有の（ローカル）メモリを保持
している。もし、特開平８−２６３３１７号公報記載の
チェックポイント／リスタート処理システムをこの分散
メモリ型マルチプロセッサシステムに適用したとする
と、異なるプロセッサ群上の複数のプロセスはチェック
ポイント処理のための同期処理を実行することができな
い可能性がある。なぜならば、あるプロセッサ中のある
プロセス（同期処理の一方）が停止状態である場合、メ
モリを共有していない他のプロセッサ群上のプロセス群
は先のプロセスが停止状態であることを認識することが
できないからである。そのような状況においては、他の
プロセッサ群上のプロセス群は、その停止状態のプロセ
スからの（返却されるはずのない）応答を待ち続けてし
まうという問題点がある。

【０００５】また、特開平２−２８７８５８号公報記載
の技術においては、チェックポイントデータを任意のタ
イミングでセーブできないという問題点がある。さら
に、チェックポイントデータをセーブする頻度が並列処
理の性能を低下させる要因となる可能性がある。

【０００６】本発明の目的は、分散メモリ型マルチプロ
セッサシステムのノード数が多い場合でも、ノード間で
データの送受信を行なう並列処理プロセスに対して、効
率的にチェックポイント採取のための停止処理を行える
ようにする分散メモリ型マルチプロセッサシステムにお
けるプロセスの停止方式を提供することにある。

【０００７】本発明の他の目的は、分散メモリ型マルチ
プロセッサシステム上において、ノード間でデータの送
受信を行なう並列処理プロセスの通常の処理において
は、同プロセスの性能を低下させないように、チェック
ポイント／リスタートの機能を実現する分散メモリ型マ
ルチプロセッサシステムにおけるプロセスの停止方式を
提供することにある。

【０００８】本発明のさらに他の目的は、分散メモリ型
マルチプロセッサシステム上において、ノード間でデー
タの送受信を行なう並列処理プロセスに対して、任意の
時点で、チェックポイント採取が行えるようにする分散
メモリ型マルチプロセッサシステムにおけるプロセスの
停止方式を提供することにある。

【０００９】

【課題を解決するための手段】本発明の第１の分散メモ
リ型マルチプロセッサシステムにおけるプロセス停止方
式は、複数のノードを相互結合網により結合し、各ノー
ドに並列処理の対象のスレッドを備える分散メモリ型マ
ルチプロセッサシステムにおいて、前記各ノードが並列
処理の対象のスレッドを管理する管理プロセスを備え、
全ノードのいずれかにチェックポイント要求コマンドが
入力された場合に、ノード番号の最も若い前記ノードの
管理プロセスが、自ノード内の前記スレッドに対して停
止要求を行ない、自ノード内のスレッドが停止した後、
次のノード番号を有する前記ノードの管理プロセスに停
止要求を行ない、並列処理の対象の全ノードのスレッド
が停止するまで、前記ノードの管理プロセスが、ノード
番号順に、自ノード内の前記スレッドに対する停止要求
と次のノード番号を有する前記ノードの管理プロセスに
対する停止要求とを行なうことを特徴とする。

【００１０】本発明の第２の分散メモリ型マルチプロセ
ッサシステムにおけるプロセス停止方式は、第１の分散
メモリ型マルチプロセッサシステムにおけるプロセス停
止方式において、前記管理プロセスが、停止要求に基づ
いて自ノード内のスレッドに対して停止要求を行なうノ
ード内停止要求手段と、自ノード内の全スレッドが停止
するまで待ち合わせるノード内停止待ち合わせ手段と、
自ノード内の全スレッドから停止通知を受けた場合に、
次のノード番号のノードの管理プロセスに対して停止要
求を行なうノード間停止要求手段とを備えることを特徴
とする。

【００１１】本発明の第３の分散メモリ型マルチプロセ
ッサシステムにおけるプロセス停止方式は、第２の分散
メモリ型マルチプロセッサシステムにおけるプロセス停
止方式において、前記管理プロセスが、全ノードのスレ
ッドが停止するまで待ち合わせるノード間停止待ち合わ
せ手段と、全ノードのスレッドが停止した後、各ノード
に全ノードのスレッドが停止したことを通知するノード
間停止手段とを備えることを特徴とする。

【００１２】本発明の第４の分散メモリ型マルチプロセ
ッサシステムにおけるプロセス停止方式は、第３の分散
メモリ型マルチプロセッサシステムにおけるプロセス停
止方式において、前記ノードのスレッドが、ノード間で
のデータの送受信処理の同期をとるためのノード間同期
手段と、前記管理プロセスのノード内停止要求手段によ
る停止要求が発行されているかどうかを示す情報を格納
するチェックポイント情報と、他のノードに対してデー
タの送受信を行なう送受信手段と、自ノードの前記管理
プロセスに対して自スレッドが停止したことを通知した
後自スレッドを停止させる停止手段とを備え、前記ノー
ド間同期手段は、ノード間のデータ送受信において、デ
ータ送受信の同期処理がタイムオーバーになった場合
に、前記チェックポイント情報に基づいて停止要求が発
行されているかどうかを調べ、停止要求が発行されてい
れば、自ノードのノード番号と相手ノードのノード番号
を比較し、自ノードのノード番号の方が若い場合に、前
記停止手段により自スレッドの停止を行なうことを特徴
とする。

【００１３】本発明の第５の分散メモリ型マルチプロセ
ッサシステムにおけるプロセス停止方式は、第２の分散
メモリ型マルチプロセッサシステムにおけるプロセス停
止方式において、前記管理プロセスが、前記並列処理プ
ロセスのスレッドが存在する前記ノードのノード番号を
記述したノード番号表を備え、前記管理プロセスの前記
ノード間停止要求手段は、前記ノード番号表によって次
に若いノード番号のノードの管理プロセスに対して停止
要求を行なうことを特徴とする。

【００１４】本発明の第６の分散メモリ型マルチプロセ
ッサシステムにおけるプロセス停止方式は、第４の分散
メモリ型マルチプロセッサシステムにおけるプロセス停
止方式において、前記管理プロセスが、前記並列処理プ
ロセスのスレッドが存在する前記ノードのノード番号を
記述したノード番号表を備え、前記スレッドの前記ノー
ド間同期手段は、前記ノード番号表によって自ノードの
ノード番号と相手ノードのノード番号を比較することを
特徴とする。

【００１５】本発明の第７の分散メモリ型マルチプロセ
ッサシステムにおけるプロセス停止方式は、第４の分散
メモリ型マルチプロセッサシステムにおけるプロセス停
止方式において、ノード間のデータの送受信において、
送信終了の情報と受信終了の情報をセットするノード間
通信情報を備え、前記ノード間同期手段は、所定時間内
に前記ノード間通信情報に前記送信終了及び受信終了の
情報がセットされている場合に同期を確立し、所定時間
内にセットされない場合に、前記チェックポイント情報
に基づいて停止要求が発行されているかどうかを調べ、
停止要求が発行されていれば、自ノードのノード番号と
相手ノードのノード番号を比較し、自ノードのノード番
号の方が若い場合に、前記停止手段により自スレッドの
停止を行なうことを特徴とする。

【００１６】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。

【００１７】本発明の対象となるハードウェアは、１つ
のプロセッサと１つのローカルメモリの組を１つのノー
ドとして、または複数のプロセッサが１つのメモリを共
有するという共有メモリ型マルチプロセッサを１つのノ
ードとして、複数のノードが相互結合網により結合され
ている分散メモリ型マルチプロセッサシステムである。
また、データの送受信時の同期または排他制御のため
に、各ノードから参照できるノード間通信領域を持つこ
とを前提とする。

【００１８】図１に、本発明の実施の形態による分散メ
モリ型マルチプロセッサシステムの全体構成を示す。図
１において、本システムは、マスタースレッドが存在す
るノードであるマスターノード１０と、マスタースレッ
ドが存在するノード以外のスレーブスレッドのみが存在
するスレーブノード２０と、ノード間通信領域３０を備
えて構成される。

【００１９】マスターノード１０は、マスタースレッド
５０ａと、マスターノード内のスレッドを管理する管理
プロセス６０ａを含む。

【００２０】スレーブノード２０は、スレーブスレッド
５０ｂと、スレーブノード内のスレッドを管理する管理
プロセス６０ｂを含む。

【００２１】マスターノード１０及びスレーブノード２
０のマスタースレッド５０ａ及びスレーブスレッド５０
ｂは、それぞれノード間でのデータの送受信を行なう送
信手段５０−１及び受信手段５０−２と、データの送受
信時に送信手段５０−１及び受信手段５０−２から使わ
れる、相手ノードとの同期をとるためのノード間同期手
段５０−３と、安全な停止位置であると判断された時
に、管理プロセス６０ａ、６０ｂに停止通知を行なった
後、スレッドを停止させる停止手段５０−４と、チェッ
クポイント情報５０−５を含む。

【００２２】マスターノード１０及びスレーブノード２
０内の管理プロセス６０ａ、６０ｂは、それぞれ自ノー
ドに停止要求が発行された時に、管理するスレッドに対
してチェックポイント要求フラグを設定することによっ
て停止要求を行なうノード内停止要求手段６０−１と、
停止要求を行なったスレッドが停止するまで待ち合わせ
るノード内停止待ち合わせ手段６０−２と、管理プロセ
ス６０ａ、６０ｂが管理するスレッドから停止通知を受
けた後、ノード番号が次のノードの管理プロセスに対し
て停止要求が発行されたことを通知するノード間停止要
求手段６０−３と、全ノード内の停止対象のスレッドが
停止するまで待ち合わせるノード間停止待ち合わせ手段
６０−４と、全ノード内の停止対象のスレッドが停止し
た後、各ノードの管理プロセスに全ノードが停止したこ
とを通知するノード間停止手段６０−５と、並列処理プ
ロセスの起動時に、ユーザによって指定された最大使用
ノード数に基づいて作られる、並列処理プロセスのスレ
ッドが存在するノードのノード番号を格納するノード番
号表６０−６を含む。

【００２３】ノード間通信領域３０は、送信手段５０−
１及び受信手段５０−２によるノード間のデータ送受信
において、ノード間同期手段５０−３が両者の同期をと
るために用いるノード間通信情報３０−１を含む。

【００２４】本発明の実施形態の特徴は、マスターノー
ド１０とスレーブノード２０間でデータの送受信を行な
っている時に停止要求が発行された場合、送信手段５０
−１及び受信手段５０−２から使われるノード間同期手
段５０−３が、相手ノードが既にチェックポイントによ
る停止要求により停止しているかどうかを自ノード内で
判断できるように構成したことにある。

【００２５】次に、図１及び図２を参照して、上述のよ
うに構成される本発明の実施の形態の動作について説明
する。

【００２６】図１の構成では、スレーブノード２０が１
つの場合を示しているが、実際には複数のスレーブノー
ドが存在する場合も想定している。

【００２７】並列処理プロセスの起動時において、最初
に、現在使用できる最も若い番号のノードをマスターノ
ード１０とし、このマスターノード１０に管理プロセス
６０ａが生成される。この管理プロセス６０ａは、ユー
ザによって指定された最大使用ノード数に基づいて、ス
レーブノードとして使用する全てのノードを決定し、そ
れらのノード及びマスターノード１０のノード番号をノ
ード番号表６０−６に記述する。

【００２８】次に、マスターノード１０内の管理プロセ
ス６０ａは、ノード番号表６０−６に記載されているス
レーブノード２０内の管理プロセス６０ｂとの接続を確
立し、ノード番号表６０−６をスレーブノード２０の管
理プロセス６０ｂのノード番号表６０−６へ複写する。
そして、マスターノード１０及びスレーブノード２０の
管理プロセス６０ａ、６０ｂによって、並列処理プロセ
スのマスタースレッド５０ａ、スレーブスレッド５０ｂ
がそれぞれ生成され、ノード間でのデータの送受信を行
ないながら計算を進める。

【００２９】その後、利用者から入力されたチェックポ
イント要求コマンドにより、この並列処理プロセスにチ
ェックポイントが要求されると、チェックポイントの処
理が開始される。

【００３０】図４を参照すると、チェックポイント要求
コマンドが利用者によりノードｉに入力されると、その
チェックポイント要求コマンドはそのチェックポイント
要求コマンドを送る相手のマスターノード０を決定する
ために、ノードｉのノード間停止要求手段６０−３に入
力される。ノードｉのノード間停止要求手段６０−３
は、ノード番号表６０−６を参照してマスターノード０
の管理プロセスへ、チェックポイント要求コマンドを指
示する信号を送る。ノードｉは、並列処理システムにお
けるプロセス群を常に監視する特別ノードである。ノー
ドｉは、マスターノード０と区別されてもされなくても
良い。ノードｉがマスターノード０と同一の場合には、
チェックポイント要求コマンドは利用者によりマスター
ノード０へ入力される。

【００３１】マスターノード１０の管理プロセス６０ａ
のノード間停止要求手段６０−３を介してチェックポイ
ントによる停止要求が通知されると、この管理プロセス
６０ａは、ノード内停止要求手段６０−１によりマスタ
ースレッド５０ａに対して停止要求を行ない、ノード内
停止待ち合わせ手段６０−２により、マスタースレッド
５０ａが停止するまで待ち合わせる。

【００３２】ノード内停止要求手段６０−１からの停止
要求を受けたマスタースレッド５０ａは、他のノードと
データの送受信中でなければ、停止要求を認識した時点
（例えば、割り込み処理の終了時）で、停止手段５０−
４により管理プロセス６０ａに対し停止通知を行なって
停止する。

【００３３】この後、停止要求を受けたマスターノード
１０の管理プロセス６０ａは、ノード間停止要求手段６
０−３を用いて、ノード番号表６０−６からマスターノ
ード１０の次に若いノード番号のノードがスレーブノー
ド２０であることを調べ、スレーブノード２０の管理プ
ロセス６０ｂに対して停止要求を行なう。そして、マス
ターノード１０の管理プロセス６０ａは、ノード間停止
待ち合わせ手段６０−４により、チェックポイント対象
の並列処理プロセス内の全ノードのスレッドが停止する
まで待ち合わせる。

【００３４】マスターノード１０から停止要求を受けた
スレーブノード２０の管理プロセス６０ｂは、ノード内
停止要求手段６０−１を用いてスレーブノード２０内の
スレーブスレッド５０ｂに対して停止要求を行ない、ノ
ード内停止待ち合わせ手段６０−２により、スレーブス
レッド５０ｂが停止するまで待ち合わせる。

【００３５】この時、スレーブスレッド５０ｂが、他の
ノードとデータの送受信中でなければ、マスタースレッ
ド５０ａと同様に、上記停止要求を認識した時点で、停
止手段５０−４により、管理プロセス６０ｂに対し停止
通知を行なって停止する。

【００３６】次に、上記スレーブスレッド５０ｂが、デ
ータの送受信中の場合について、説明する。

【００３７】図２は、マスタースレッド５０ａとスレー
ブスレッド５０ｂがデータの送受信を行なっている場合
であって、マスタースレッド５０ａは、受信手段５０−
２により受信処理を始める前に既に停止要求を受けて停
止中で、スレーブスレッド５０ｂは、停止要求を受ける
前に送信手段５０−１により送信処理を開始したが、マ
スタースレッド５０ａが既に停止しているので、送信処
理を終わることができない場合の動作の一例を示してい
る。

【００３８】データの送受信中のスレッドは、ノード間
の同期をとるために、ノード間同期手段５０−３によ
り、あらかじめ設定された一定時間のループをしながら
相手ノードのスレッドが、送信手段５０−１または受信
手段５０−２によりデータの送受信処理を始めたかどう
かをノード間通信情報３０−１内のフラグを繰り返し参
照して調べる。

【００３９】このループ中にノード間の同期がとれたこ
とが確認できた場合は、送信手段５０−１または受信手
段５０−２によるデータの送受信が終わった時点で、停
止手段５０−４により、スレーブノード２０の管理プロ
セス６０ｂに停止通知を行ない停止する。

【００４０】しかし、この一定時間のループ中にノード
間の同期がとれず、タイムオーバーになることがある。
このため、ノード間同期手段５０−３では、図２のよう
に相手側のノード（マスターノード１０）のノード番号
が自ノード（スレーブノード２０）のノード番号より若
い場合、相手側のノードのスレッドは停止要求により既
に停止している可能性があるので、停止要求が発行され
ているかどうかを確認し、発行されている場合は、デー
タの送受信処理内で、停止手段５０−４により、スレー
ブノード２０の管理プロセス６０ｂに停止通知を行ない
停止する。

【００４１】相手側のノードのノード番号より自ノード
のノード番号の方が若い場合は、相手ノードのスレッド
が停止している可能性はないので、データの送受信処理
内では停止せず、相手ノードのスレッドとの同期がとれ
るまでさらに待ち合わせる。そして、送信手段５０−１
または受信手段５０−２によるデータの送受信処理が終
了した時点で、停止手段５０−４により、スレーブノー
ド２０の管理プロセス６０ｂに停止通知を行ない停止す
る。

【００４２】以上のどれかの処理によって、停止通知を
受けたスレーブスレッド５０ｂの管理プロセス６０ｂ
は、ノード番号表６０−６を参照して、次のスレーブス
レッドがある場合は、ノード間停止要求手段６０−３に
より、次に若いノード番号のノードの管理プロセスに対
して、さらに停止要求を行ない、ノード間停止待ち合わ
せ手段６０−４により、チェックポイント対象プロセス
内の全ノードのスレッドが停止するまで待ち合わせる。

【００４３】次のスレーブスレッドがない場合は、スレ
ーブノード２０の管理プロセス６０ｂが、マスターノー
ド１０の管理プロセス５０ａにノード間停止通知手段６
０−５により、全ノードのスレッドが停止したことを通
知する。さらに、マスターノード２０から順次全ノード
にノード間停止通知手段６０−５により、全ノードのス
レッドが停止したことを通知する。

【００４４】これによって、各マスターノード１０及び
スレーブノード２０の管理プロセス６０ａ、６０ｂは、
リスタートファイルの作成処理に移ることができる。

【００４５】リスタート時の処理については、上記の処
理によって、チェックポイントの停止時にノード間での
同期のずれが生じていないことが保証されているので、
例えば、特開平８−２６３３１７号公報のような分散メ
モリ型マルチプロセッサシステムを対象としないチェッ
クポイント／リスタートの処理方式から、容易に実現可
能である。つまり、マスターノード１０の管理プロセス
６０ａがスレーブノード２０の管理プロセス６０ｂとの
接続を確立し、その管理プロセスへリスタート要求が発
行されたことを通知する。そして、各ノード内の管理プ
ロセスは、特開平８−２６３３１７号公報に記述された
りスタートの処理方式をノード毎に適用し、スレーブノ
ード２０の管理プロセス６０ｂは、管理するノードのり
スタートが終了した時点で、マスターノード１０の管理
プロセス６０ａへ通知することにより実現できる。

【００４６】図３は、送信手段５０−１及び受信手段５
０−２によるデータの送受信処理で使用されるノード間
同期手段５０−３の処理内容を説明するフローチャート
である。

【００４７】チェックポイント要求が発行されていな
い、通常の並列処理プロセスの処理ににおけるデータの
送受信処理では、図３に従って以下のような処理が行な
われる。

【００４８】送信側のノードでは、送信手段５０−１か
らノード間同期手段５０−３によって、ノード間通信情
報３０−１に送信データが用意できたことを示すフラグ
をセットし、同時にノード間通信情報３０−１を参照し
て（ステップ３０１）、受信側ノードによって受信終了
フラグがセットされているかどうかをチェックする（ス
テップ３０２）。

【００４９】受信終了フラグがセットされていない場合
は、受信側のノードとの同期がまだとれていないので、
一定の時間が経過してタイムオーバーになっているかど
うかを判定し（ステップ３０３）、タイムオーバーにな
っていなければ、再びノード間通信情報３０−１を参照
して、ノード間の同期が取れるまで、ステップ３０１〜
３０３の処理を繰り返すことにより待ち合わせる。

【００５０】受信側のノードにおいては、受信手段５０
−２からノード間同期手段５０−３によって、ノード間
通信情報３０−１を参照して（ステップ３０１）、送信
データが用意できたことを示すフラグがセットされてい
るかどうかをチェックする（ステップ３０２）。フラグ
がセットされていない場合は、送信側のノードと同様
に、送信側との同期がまだとれていないので、一定の時
間が経過してタイムオーバーになっているかどうかを判
定し（ステップ３０３）、タイムオーバーになっていな
ければ、再びノード間通信情報３０−１を参照して、同
期が取れるまで、ステップ３０１〜３０３の処理を繰り
返して待ち合わせる。

【００５１】次に、送信側または受信側のどちらかのノ
ードが、同期待ちで上記のステップ３０１〜３０３の処
理を繰り返している時に、チェックポイントの停止要求
が発行された場合は、以下ような処理を行なう。例え
ば、図２に示したように、受信側のマスタースレッド５
０ａが、受信手段５０−２により受信処理を始める前に
チェックポイントにより停止した場合、送信側のスレー
ブスレッド５０ｂのノードは、ステップ３０１〜３０３
の処理を繰り返しているうちにタイムオーバーになる。

【００５２】この後、スレーブノード２０の管理プロセ
ス６０ｂからノード内停止要求手段６０−１によって、
チェックポイント要求フラグがチェックポイント情報５
０−５に設定されているかどうかを調べる（ステップ３
０４）。チェックポイント要求フラグが設定されていれ
ば、ノード番号表６０−６を参照して受信側ノードのノ
ード番号と送信側ノードのノード番号を比較し（ステッ
プ３０５）、送信側ノードのノード番号の方が若い場合
は、既にチェックポイントにより停止していると判断で
きるので、停止手段５０−４によりスレーブノード２０
の管理プロセス６０ｂに通知を行ない停止する（ステッ
プ３０６）。

【００５３】上記の実施の形態では、マスタースレッド
１０が存在するノードを最も若いノード番号に配置し、
若いノード番号のノードから順に停止要求行なうので、
現在停止要求が発行されているノードのスレッドは、ど
のノードのスレッドが既に停止していて、どのノードが
停止していないかを知ることができる。このため、適切
な停止位置であるかどうかを自ノード内で判断すること
ができる。

【実施例】次に、本発明の具体的な実施例について詳細
に説明する。

【００５４】この実施例では、マスターノード１０がノ
ード番号０、スレーブノード２０がノード番号１にそれ
ぞれ割り当てられているものとする。

【００５５】図２は、マスターノード１０のマスタース
レッド５０ａとスレーブノード２０のスレーブスレッド
５０ｂがデータの送受信をしようとしている場合で、マ
スタースレッド５０ａは、受信手段５０−２により受信
処理を始める前に既に停止要求を受けて停止中で、スレ
ーブスレッド５０ｂは、停止要求を受ける前に送信手段
５０−１により送信処理を開始したが、マスタースレッ
ド５０ａが既に停止しているので、送信処理を終わるこ
とができない場合の動作例を示している。

【００５６】この場合、スレーブスレッド５０ｂは、ノ
ード間の同期をとるために、ノード間同期手段５０−３
により、あらかじめ設定された一定時間のループをしな
がらマスタースレッド５０ａが、受信手段５０−２によ
りデータの受信処理を始めたかどうかをノード間通信情
報３０−１内のフラグを繰り返し参照して調べる。

【００５７】しかし、マスタースレッド５０ａは、既に
チェックポイントの停止要求により停止しており、受信
処理を始めることはない。このため、図３に示したよう
に、ステップ３０１〜３０３のステップを繰り返してい
る間にタイムオーバーを起こして、ステップ３０４へ進
み、スレーブスレッド５０ｂ内のチェックポイント情報
５０−５を参照して、チェックポイント要求フラグが設
定されていることを確認する。

【００５８】次に、ステップ３０５において、受信側の
ノードであるマスターノード５０ａはノード番号０、送
信側のノードであるスレーブスノード５０ｂはノード番
号１に割り当てられているので、受信側ノードのノード
番号の方が若いため、スレーブスレッド５０ｂは、マス
ターノード５０ａは既に停止していると判断し、ステッ
プ３０９で停止手段５０−４によりスレーブスレッド５
０ｂの管理プロセス６０ｂに停止通知を行ない停止す
る。

【００５９】以上好ましい実施の形態と実施例をあげて
本発明を説明したが、本発明は必ずしも上記実施の形態
及び実施例の内容に限定されるものではない。本発明の
実施の形態では、２ノードで、スレーブスレッドが１ス
レッドの場合の並列処理プロセスについて説明したが、
複数のスレーブノードを有する場合にも適用でき、ノー
ド数の制限はない。

【００６０】また、各ノード内のスレッド数について
も、マスターノード、スレーブノード共に複数のスレッ
ドを有する場合にも適用でき、スレッド数に制限はな
い。ただし、管理プロセスは、スレッド数が増加しても
各ノードに１つでよい。この場合、管理プロセスは、そ
のノード内の全てのスレッドから停止手段５０−４によ
り、停止通知を受けた後、ノード間停止要求手段６０−
３により、次のノードの管理プロセスへ停止通知が発行
されたことを通知する。

【００６１】さらに、ノード間のデータの送受信につい
ても、任意のノード間での送受信中の場合について適用
できる。

【００６２】

【発明の効果】以上説明したように本発明の分散メモリ
型マルチプロセッサシステムにおけるプロセス停止方式
によれば、以下に述べる効果が得られる。

【００６３】第１に、最若番ノードから順に停止処理を
行なうため、データの送受信処理内のノード間同期手段
で、相手ノードが既に停止しているかどうかを通信等の
手段で相手ノードの状態を調べることなく、知ることが
できるので、自ノードが停止できるかどうかを自ノード
内で判断することができるため、多くのノードを有する
分散メモリ型マルチプロセッサシステムにおいて、多く
のスレッドを有する並列処理プロセス内で、データの送
受信を行なっている時にチェックポイントのための停止
要求が発行された場合でも、高々ノード数に比例したオ
ーダーの手間で停止させることができるため、効率的に
停止処理を行なうことができる。

【００６４】第２に、チェックポイント要求が発行され
た時のみ、停止処理を含むチェックポイントの処理を行
なうため、分散メモリ型マルチプロセッサシステムにお
いて動作する並列処理プロセスの通常の処理に、チェッ
クポイントのための停止処理が影響を与えることがなく
性能の低下がない。

【００６５】第３に、チェックポイント要求は、外部コ
マンドによって発行されるため、分散メモリ型マルチプ
ロセッサシステムにおいて動作する並列処理プロセスに
対して、任意の時点でチェックポイント採取を行える。

【図面の簡単な説明】

【図１】 本発明の実施の形態における分散メモリ型マ
ルチプロセッサシステムの全体構成を示すブロック図で
ある。

【図２】 本発明の実施の形態におけるノード間のデー
タ送受信中の具体的な操作を説明する図である。

【図３】 本発明の実施の形態におけるノード間同期手
段の具体的な処理内容を説明するフローチャートであ
る。

【図４】 本発明の実施の形態における特別ノードとマ
スターノードとの関係を示すブロック図である。

【符号の説明】

１０ マスターノード ２０ スレーブノード ３０ ノード間通信領域 ３０−１ ノード間通信情報 ５０ａ マスタースレッド ５０ｂ スレーブスレッド ５０−１ 送信手段 ５０−２ 受信手段 ５０−３ ノード間同期手段 ５０−４ 停止手段 ５０−５ チェックポイント情報 ６０ａ、６０ｂ 管理プロセス ６０−１ ノード内停止要求手段 ６０−２ ノード内停止待ち合わせ手段 ６０−３ ノード間停止要求手段 ６０−４ ノード間停止待ち合わせ手段 ６０−５ ノード間停止通知手段 ６０−６ ノード番号表

Claims (7)

【特許請求の範囲】
1. 【請求項１】 複数のノードを相互結合網により結合
   し、各ノードに並列処理の対象のスレッドを備える分散
   メモリ型マルチプロセッサシステムにおいて、 前記各ノードが並列処理の対象のスレッドを管理する管
   理プロセスを備え、 全ノードのいずれかにチェックポイント要求コマンドが
   入力された場合に、ノード番号の最も若い前記ノードの
   管理プロセスが、自ノード内の前記スレッドに対して停
   止要求を行ない、自ノード内のスレッドが停止した後、
   次のノード番号を有する前記ノードの管理プロセスに停
   止要求を行ない、 並列処理の対象の全ノードのスレッドが停止するまで、
   前記ノードの管理プロセスが、ノード番号順に、自ノー
   ド内の前記スレッドに対する停止要求と次のノード番号
   を有する前記ノードの管理プロセスに対する停止要求と
   を行なうことを特徴とする分散メモリ型マルチプロセッ
   サシステムにおけるプロセス停止方式。
2. 【請求項２】 前記管理プロセスが、停止要求に基づい
   て自ノード内のスレッドに対して停止要求を行なうノー
   ド内停止要求手段と、自ノード内の全スレッドが停止す
   るまで待ち合わせるノード内停止待ち合わせ手段と、自
   ノード内の全スレッドから停止通知を受けた場合に、次
   のノード番号のノードの管理プロセスに対して停止要求
   を行なうノード間停止要求手段とを備えることを特徴と
   する請求項１に記載の分散メモリ型マルチプロセッサシ
   ステムにおけるプロセス停止方式。
3. 【請求項３】 前記管理プロセスが、全ノードのスレッ
   ドが停止するまで待ち合わせるノード間停止待ち合わせ
   手段と、全ノードのスレッドが停止した後、各ノードに
   全ノードのスレッドが停止したことを通知するノード間
   停止手段とを備えることを特徴とする請求項２に記載の
   分散メモリ型マルチプロセッサシステムにおけるプロセ
   ス停止方式。
4. 【請求項４】 前記ノードのスレッドが、ノード間での
   データの送受信処理の同期をとるためのノード間同期手
   段と、前記管理プロセスのノード内停止要求手段による
   停止要求が発行されているかどうかを示す情報を格納す
   るチェックポイント情報と、他のノードに対してデータ
   の送受信を行なう送受信手段と、自ノードの前記管理プ
   ロセスに対して自スレッドが停止したことを通知した後
   自スレッドを停止させる停止手段とを備え、 前記ノード間同期手段は、ノード間のデータ送受信にお
   いて、データ送受信の同期処理がタイムオーバーになっ
   た場合に、前記チェックポイント情報に基づいて停止要
   求が発行されているかどうかを調べ、停止要求が発行さ
   れていれば、自ノードのノード番号と相手ノードのノー
   ド番号を比較し、自ノードのノード番号の方が若い場合
   に、前記停止手段により自スレッドの停止を行なうこと
   を特徴とする請求項３に記載の分散メモリ型マルチプロ
   セッサシステムにおけるプロセス停止方式。
5. 【請求項５】 前記管理プロセスが、前記並列処理プロ
   セスのスレッドが存在する前記ノードのノード番号を記
   述したノード番号表を備え、 前記管理プロセスの前記ノード間停止要求手段は、前記
   ノード番号表によって次に若いノード番号のノードの管
   理プロセスに対して停止要求を行なうことを特徴とする
   請求項２に記載の分散メモリ型マルチプロセッサシステ
   ムにおけるプロセス停止方式。
6. 【請求項６】 前記管理プロセスが、前記並列処理プロ
   セスのスレッドが存在する前記ノードのノード番号を記
   述したノード番号表を備え、 前記スレッドの前記ノード間同期手段は、前記ノード番
   号表によって自ノードのノード番号と相手ノードのノー
   ド番号を比較することを特徴とする請求項４に記載の分
   散メモリ型マルチプロセッサシステムにおけるプロセス
   停止方式。
7. 【請求項７】 ノード間のデータの送受信において、送
   信終了の情報と受信終了の情報をセットするノード間通
   信情報を備え、 前記ノード間同期手段は、所定時間内に前記ノード間通
   信情報に前記送信終了及び受信終了の情報がセットされ
   ている場合に同期を確立し、所定時間内にセットされな
   い場合に、前記チェックポイント情報に基づいて停止要
   求が発行されているかどうかを調べ、停止要求が発行さ
   れていれば、自ノードのノード番号と相手ノードのノー
   ド番号を比較し、自ノードのノード番号の方が若い場合
   に、前記停止手段により自スレッドの停止を行なうこと
   を特徴とする請求項４に記載の分散メモリ型マルチプロ
   セッサシステムにおけるプロセス停止方式。