JPH0713943A - 並列計算機 - Google Patents

Abstract

(57)【要約】 【目的】プログラム実行を任意のチェックポイントから
リスタートできるようにし、並列計算機の高信頼性化を
図る。 【構成】プログラム実行時には、各プロセッシングエレ
メント１１−１〜１１−ｎから共有メモリ１３へのアク
セス履歴がプロセッサ番号によって記録され、共有メモ
リ１３をアクセスしたプロセッシングエレメントの順番
を示すアクセス履歴情報がアクセス履歴エリア１３３に
記録される。プログラム実行のリスタート時には、複数
のプロセッシングエレメント１１−１〜１１−ｎはそれ
ぞれ共有メモリのアクセスを要求するが、そのアクセス
は、プログラム実行時に記録されたプロセッサ番号の順
で許可される。これにより、前回のプログラム実行時と
同じ順序で複数のプロセッシングエレメント１１−１〜
１１−ｎによるプログラム実行が再開される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は並列計算機に関し、特
に複数のプロセッシングエレメントによってアクセスさ
れる共有メモリを有する並列計算機に関する。

【０００２】

【従来の技術】近年、より処理能力の高い計算機を実現
するために、複数のプロセッシングエレメントによって
並列処理を行なう並列計算機の開発が進んでいる。単一
プロセッシングエレメントから成る計算機においては、
プログラムは繰り返し実行しても同じ振舞いをする。こ
の性質を利用して、多くのデバッキングツールが開発さ
れている。ところが、並列計算機では、各プロセッシン
グエレメントの動作タイミングのズレなどの原因によ
り、プログラム実行をリスタートさせても、必ずしも同
じ振舞いをするとは限らない。このため、並列計算機に
おいては、プログラムのデバッキングツールを開発する
のは困難である。

【０００３】並列計算機におけるプログラム実行のリス
タート方式としては、例えば、文献（“Ｒｅａｌ−Ｔｉ
ｍｅ，Ｃｏｃｕｒｒｅｎｔ Ｃｈｅｃｋｐｏｉｎｔ ｆ
ｏｒＰａｒａｌｌｅｌ Ｐｒｏｇｒａｓｍｓ”，Ｋａｉ
Ｌｉ，ＪｅｆｆｒｅｙＦ．Ｎａｕｇｈｔｏｎ ａｎｄ
Ｊａｍｅｓ Ｓ．Ｐｌａｎｋ著，ＡＣＭ ＳＩＧＰＬ
ＡＮ Ｎｏｔｉｃｅｓ，Ｖｏｌ．２５，Ｎｏ．３，ｐ
ｐ．７９−８８，１９９０）に記載されているように、
チェックポイント毎に共有メモリの内容をすべて退避す
る方式が知られている。しかしながら、この方式では、
複数のプロセッシングエレメントによって並行処理され
るプロセス間の相互干渉については考慮されてない。こ
のため、特定の時点からプログラムの実行をリスタート
しても、前回と同じ結果となるとは限らない。

【０００４】また、分散環境におけるリスタート方式と
しては、文献（“ＩＧＯＲ：Ａ Ｓｙｓｔｅｍ ｆｏｒ
Ｐｒｏｇｒａｍ Ｄｅｂｕｇｇｉｎｇ ｖｉａ Ｒｅ
ｖｅｒｓｉｂｌｅ Ｅｘｅｃｕｔｉｏｎ”，Ｓ．Ｆｅｌ
ｄｍａｎ ａｎｄ Ｃ．Ｂｒｏｗｎ著，ＡＣＭ ＳＩＧ
ＰＬＡＮ Ｎｏｔｉｃｅｓ，Ｖｏｌ．２４，Ｎｏ．１，
ｐｐ．１１２−１２３，１９８９）に、メッセージ通信
の記録をプロセス間の相互干渉情報として利用する技術
が紹介されている。ところが、各プロセッサから管理プ
ロセッサへのメッセージ通信においては、メッセージ送
信タイミングと受信タイミングとの間に一定ではないデ
ィレイが生じる。このため、後から送信したメッセージ
が先に送信したメッセージよりも先に受信されるといっ
たメッセージの追い越しが起こる場合があり、プロセス
間の相互干渉を正確に把握することは困難である。

【０００５】

【発明が解決しようとする課題】従来では、並列計算機
のプログラム実行を前回の実行過程と同じように再現さ
せることができず、そのデバッキングツールの開発が困
難であった。この発明はこのような点に鑑みてなされた
もので、複数のプロセッシングエレメイントによる共有
メモリアクセスの順番を調整することによって前回の実
行過程と同じようにプログラム実行を任意のチェックポ
イントから再現できるようにし、デバッキングツール開
発に適した高信頼性の並列計算機を提供することを目的
とする。

【０００６】

【課題を解決するための手段および作用】この発明は、
相互接続された複数のプロセッシングエレメントと、こ
れらプロセッシングエレメントによってアクセスされる
共有メモリとを有する並列計算機において、前記各プロ
セッシングエレメントによって実行されるプログラムの
再開のために必要なプロセッサステータスをチェックポ
イト毎に退避するプロセッサ情報退避手段と、前記共有
メモリを複数のメモリブロックに分割し、前記各プロセ
ッシングエレメントによるアクセスがデータ更新を伴う
か否かを示すアクセス識別情報を前記各メモリブロック
に対応して記録するアクセス識別情報記録手段と、前記
アクセス識別情報に従って前記共有メモリを検索し、更
新されたメモリブロックのメモリデータだけをチェック
ポイント毎に退避する更新データ退避手段と、前記共有
メモリをアクセスしたプロセッシングエレメントの順番
を記録し、そのアクセス順を示すアクセス履歴情報を記
録するアクセス履歴情報記録手段と、前記退避された所
定のチェックポイトにおけるプロセッサステータスおよ
びメモリデータをそれぞれ前記各プロセッシングエレメ
ントおよび共有メモリに復帰して、前記各プロセッシン
グエレメントによるプログラム実行を前記所定のチェッ
クポイトからリスタートさせるリスタート手段と、この
リスタート手段によって前記各プロセッシングエレメン
トによるプログラム実行がリスタートされた時、前記複
数のプロセッシングエレメントからの前記共有メモリへ
のアクセス要求を前記アクセス履歴情報に記録されてい
るアクセス順に許可するアクセス順制御手段とを具備す
ることを特徴とする。

【０００７】この並列計算機においては、プログラム実
行時には、各プロセッシングエレメントから共有メモリ
へのアクセス履歴が記録され、共有メモリをアクセスし
たプロセッシングエレメントの順番を示すアクセス履歴
情報が記録される。また、共有メモリアクセス時には、
そのアクセスがデータ更新を伴うか否かを示すアクセス
識別情報がメモリブロックに対応して記録される。

【０００８】そして、所定のチェックポイント毎に、各
プロセッシングエレメントのプロセッサステータスと共
有メモリのメモリデータがそれぞれ退避される。この場
合、更新されたメモリデータがアクセス識別情報によっ
て検索され、その更新されたメモリデータだけが退避さ
れる。

【０００９】プログラム実行のリスタート時には、退避
された所定のチェックポイトにおけるプロセッサステー
タスおよびメモリデータがそれぞれ各プロセッシングエ
レメントおよび共有メモリに復帰され、各プロセッシン
グエレメントによるプログラム実行がリスタートされ
る。複数のプロセッシングエレメントはそれぞれ共有メ
モリのアクセスを要求するが、そのアクセスは、プログ
ラム実行時に記録されたアクセス順で許可される。これ
により、前回のプログラム実行時と同じ順序で複数のプ
ロセッシングエレメントによるプログラム実行が再開さ
れ、前回のプログラム実行時におけるプロセッシングエ
レメントの振る舞いを再現することができる。したがっ
て、前回の実行過程をそのまま再現できるようになり、
デバッキングツール開発に適した高信頼性の並列計算機
を実現することが可能となる。

【００１０】

【実施例】以下、図面を参照してこの発明の実施例を説
明する。図１にはこの発明の一実施例に係わる並列計算
機の構成が示されている。この並列計算機は複数のプロ
セッシングエレメントによってプログラムを並列処理す
るシステムであり、相互結合網１０、プロセッシングエ
レメント１１−１〜１１−ｎ、共有メモリコントローラ
１２、共有メモリ１３、チェックポイント管理ユニット
１４、および２次記憶装置１５を備えている。

【００１１】プロセッシングエレメント１１−１〜１１
−ｎは各種データ処理をそれぞれ独立して行うためのも
のであり、相互結合バス１０を介して相互接続されてい
る。これらプロセッシングエレメント１１−１〜１１−
ｎの各々は、例えばＣＰＵ、プログラムメモリ、各種Ｉ
／Ｏコントローラ等を有するＣＰＵボードとして実現さ
れるものであるが、ここでは、プロセッシングエレメン
トをプロセッサ１１１とプロセッサ管理ユニット１１２
とに大別して説明する。

【００１２】プロセッサ管理ユニット１１２はプロセッ
サ１１１の動作を管理するためのものであり、プロセッ
サ状態セーブ機構１１２ａおよびプロセッサ状態復元機
構１１２ｂを備えている。プロセッサ状態セーブ機構１
１２ａは、プロセッサ１１１によるプログラム実行処理
の再開のために必要なプロセッサステータス（レジスタ
内容、およびＰＳＷ等）をチェックポイント毎に採取し
それを内部メモリに退避する。プロセッサ状態復元機構
１１２ｂは、退避されているステータスをプロセッサ１
１１のレジスタに復元してそのプロセッサ１１１による
プログラム実行を所定のチェックポイントから再開させ
るためのものであり、再開対象のチェックポイントおよ
びその再開処理のタイミングはチェックポイント管理ユ
ニット１４によって指示される。

【００１３】ここで、これらにプロセッサ状態セーブ機
構１１２ａおよびプロセッサ状態復元機構１１２ｂは、
それぞれプロセッサ１１１によって実行されるプログラ
ムによってソウトウェア的に実現することができる。ま
た、プロセッサ１１１とは別にサービスプロセッサを設
け、そのサービスプロセッサによってプロセッサ状態セ
ーブ機構１１２ａおよびプロセッサ状態復元機構１１２
ｂの機能をサポートすることも可能である。また、各プ
ロセッシングエレメントにはローカルメモリを設け、そ
こにデータを格納しても良いが、ここでは説明を簡単に
するために省略する。

【００１４】共有メモリ１３はプロセッシングエレメン
ト１１−１〜１１−ｎそれぞれによってアクセス可能な
メモリであり、各プロセッシングエレメントから共有メ
モリ１３への書き込み／読み出し操作はバス１０を経由
して行なわれる。

【００１５】共有メモリ１３内には、データ保持エリア
１３１、アクセス識別情報が格納されるアクセス識別エ
リア１３２、およびアクセス履歴情報が格納されるアク
セス履歴エリア１３３が設けられている。

【００１６】データ保持エリア１３１には、プロセッシ
ングエレメント１１−１〜１１−ｎによって実行される
プログラムの一部やデータが格納されている。アクセス
識別エリア１３２のアクセス識別情報は、各プロセッシ
ングエレメントによって行われた共有メモリアクセスが
データ更新を伴うものか否かをメモリブロック単位で示
すものであり、例えば、ライトアクセスされたメモリブ
ロックに対応するエリアにはＯＮステートのアクセス識
別情報（更新されたメモリブロックであることを示す）
がセットされ、リードアクセスされたメモリブロックに
対応するエリアにはＯＦＦステートのアクセス識別情報
（データ更新されてないメモリブロックであることを示
す）がセットされる。アクセス履歴エリア３３のアクセ
ス履歴情報は共有メモリをアクセスしたプロセッシング
エレメントの順番を示すものであり、アクセス履歴エリ
ア３３には、プロセッシングエレメントの識別子がアク
セス順に登録される。以下での説明を簡単にするため、
アクセス履歴エリア１３３に記録する識別子はプロセッ
サ番号とする。

【００１７】この共有メモリ１３の管理は共有メモリコ
ントローラ１２によって行われる。すなわち、共有メモ
リ１３のデータ保持エリア１３１に対するデータのリー
ド／ライトアクセス要求はすべて共有メモリコントロー
ラ１２に渡され、その要求にしたがって共有メモリコン
トローラ１２が共有メモリ１３のアクセス制御を行う。

【００１８】また、共有メモリコントローラ１２は、デ
ータのリード／ライトアクセスだけでなく、前述したア
クセス識別エリア１３２およびアクセス履歴エリア１３
３の制御も行う。

【００１９】チェックポイント管理ユニット１４は、こ
の並列計算機のチェックポイントリスタート動作を管理
するためのものであり、プログラム実行時に定期的に各
プロセッシングエレメント１１−１〜１１−ｎに対して
スナップショップを取ることを指示するスナップショッ
ト管理部１４１と、プログラム再現時に任意のチェック
ポイント状態からのプログラム実行の再現を指示する再
現実行管理部１４２からなる。チェックポイント管理ユ
ニット１４は各プロセッシングエレントと同様に独立し
た１つの装置であり、例えば、プロセッシングエレメン
ト１１−１〜１１−ｎとは別個の専用装置から構成され
る。また、プロセッシングエレメント１１−１〜１１−
ｎの１つをマスタプロセッサとして割り当て、そのマス
タプロセッサをチェックポイント管理ユニット１４とし
て利用することもできる。

【００２０】スナップショット管理部１４１は、各プロ
セッサ管理ユニットに対してプロセッサステータスの保
存を指示すると共に、アクセス識別エリア１３２のアク
セス識別情報を使って共有メモリ１３の内容のスナップ
ショットを取る。このスナップショットでは、前回のチ
ェックポイントからデータ内容に変更のあったメモリブ
ロックの内容だけが採取され、それが２次記憶装置１５
に保存される。

【００２１】再現実行管理部１４２は、任意のチェック
ポイント状態からプログラムを再現実行させるため、プ
ロセッサ管理ユニットに対して当該チェックポイントの
プロセッサステータスの復元を指示すると共に、当該チ
ェックポイントのメモリブロック内容を検索し、共有メ
モリ１３に復元する。

【００２２】次に、図２を参照して、図１の並列計算機
のプログラム実行時の動作を説明する。ここでは、装置
番号Ｐのプロセッシングエレメント１１−１が共有メモ
リ１３のアドレスＡｄｄｒからデータを読み出し、レジ
スタＸに格納する命令を発行する場合を例にとって、共
有メモリ１３に対する読み出し操作を説明する。

【００２３】この命令の処理が行なわれる前の共有メモ
リ１３の状態を図２（Ａ）、命令実行後の共有メモリ１
３およびレジスタＸの状態を図２（Ｂ）、（Ｃ）にそれ
ぞれ示す。

【００２４】リード命令実行前においては、図示のよう
に、アドレスＡｄｄｒのデータ保持エリア１３１にはデ
ータ“５”が保持されており、アドレスＡｄｄｒに対応
するメモリブロックｉのアクセス識別情報は“Ｏｆｆ”
に設定されている。

【００２５】装置番号Ｐのプロセッシングエレメント１
１−１がリード命令「Ｒｅａｄ Ａｄｄｒ，Ｘ」を実行
すると、アドレスＡｄｄｒからのデータ読み出し要求が
共有メモリコントローラ１２に送られる。共有メモリコ
ントローラ１２は、データ保持エリア１３１からアドレ
スＡｄｄｒのデータ“５”を取り出し、それをプロセッ
シングエレメント１１−１に渡す。また、この時、共有
メモリコントローラ１２は、アクセス履歴エリア１３３
の先頭ポインタで指定されるエントリに、プロセッサ番
号Ｐを記録する。また、この場合には、アクセス識別エ
リア１３２のメモリブロックｉに対応するアクセス識別
情報はＯｆｆのまま変化されない。

【００２６】そして、共有メモリ１３のアドレスＡｄｄ
ｒから読み出されたデータ“５”がプロセッサ１１１の
レジスタＸにセットされる。次に、図３を参照して、共
有メモリ１３に対するデータ書き込み操作を説明する。

【００２７】ここでは、装置番号Ｐのプロセッシングエ
レメント１１−１が共有メモリ１３のアドレスＡｄｄｒ
にレジスタＸのデータを書き込む命令を発行する場合を
例にとってを説明する。

【００２８】この命令の処理が行なわれる前の共有メモ
リ１３およびレジスタＸの状態を図３（Ａ）、図３
（Ｂ）、命令実行後の共有メモリ１３の状態を図３
（Ｃ）にそれぞれ示す。

【００２９】ライト命令実行前においては、図示のよう
に、アドレスＡｄｄｒのデータ保持エリア１３１にはデ
ータ“５”が保持されており、そのアドレスＡｄｄｒに
対応するメモリブロックｉのアクセス識別情報は“Ｏｆ
ｆ”に設定されている。

【００３０】装置番号Ｐのプロセッシングエレメント１
１−１がライト命令「ＷｒｉｔｅＸ，Ａｄｄｒ」を実行
すると、アドレスＡｄｄｒへのデータ書き込み要求が共
有メモリコントローラ１２に送られる。共有メモリコン
トローラ１２は、プロセッシングエレメント１１−１か
ら転送させる書き込みデータ“１０”をデータ保持エリ
ア１３１のアドレスＡｄｄｒに書き込む。また、この
時、アクセス履歴エリア１３３の先頭ポインタで指定さ
れるエントリに、プロセッサ番号Ｐを記録する。また、
この場合には、アクセス識別エリア１３２のメモリブロ
ックｉに対応するアクセス識別情報はＯｆｆからＯＮに
変化される。

【００３１】このようにプログラム実行時においては、
共有メモリ１３をアクセスしたプロセッシングエレメン
トの順番を示すアクセス履歴情報が記録される。また、
共有メモリアクセス時には、そのアクセスがデータ更新
を伴うか否かを示すアクセス識別情報がメモリブロック
に対応して記録される。

【００３２】また、プログラム実行時においては、スナ
ップショット管理部１４１は、定期的にチェックポイン
トを作るために、各プロセッシング・エレメントにチェ
ックポイントのタイミングを知らせる。これは、スナッ
プショット管理部１４１から各プロセッシングエレメン
トへの割り込みで行なってもよく、またスナップショッ
ト管理部１４１が共有メモリ１３の特定領域にスナップ
ショット命令を書き込み、各プロセッサがその特定領域
を定期的にポーリングすることによって行なっても良
い。

【００３３】チェックポイント時には、各プロセッシン
グエレメントのプロセッサは通常の処理を中断する。各
プロセッサ管理ユニットは対応するプロセッサのプロセ
ッサステータスを保存する。プロセッサステータスは、
その時点よりプログラムを復元するために必要な各種の
レジスタ内容およびＰＳＷである。

【００３４】また、スナップショット管理部１４１は、
アクセス識別エリア１３２のアクセス識別情報により、
前回のスナップショット以降にライトアクセスされた部
分を探す。そして、変更されたデータ、つまりライトア
クセスされたメモリブロックの内容だけを２次記憶装置
１５に退避する。

【００３５】以下、図４を参照して、このスナップショ
ット時の動作の一例を説明する。図４（Ａ）はスナップ
ショットを取る直前の共有メモリ１３の一部を示してお
り、ここでは、メモリブロックｉに対応するアクセス識
別情報がＯｎ、メモリブロックｊに対応するアクセス識
別情報がＯｆｆ、メモリブロックｋに対応するアクセス
識別情報がＯｎに設定されている。

【００３６】この場合には、スナップショット管理部１
４１は、データ保持エリア１３１のメモリブロックｉの
データ“５”，“４”と、メモリブロックｋのデータ
“１”，“０”だけを共有メモリ１３から読み出し、そ
れを２次記憶装置１５に退避する。この時の２次記憶装
置１５の内容は、図４（Ｃ）の通りである。

【００３７】また、スナップショット管理部１４１は、
メモリデータの退避の後、アクセス識別エリア１３２の
アクセス識別情報をクリアしてすべてＯｆｆに設定す
る。このようなスナップショット実行後の共有メモリ１
３の内容は、図４（Ｂ）の通りである。

【００３８】この後、スナップショット管理部１４１
は、各プロセッシングエレメント１１−１〜１１−ｎに
スナップショットが完了したことを伝える。これによ
り、各プロセッシングエレメント１１−１〜１１−ｎの
プロセッサは、通常の処理を再開する。

【００３９】このような共有メモリ１３のデータ退避処
理およびアクセス識別情報のクリア処理は、実際には、
スナップショット管理部１４１からの要求に応じて共有
メモリコントローラ１２によって行われる。

【００４０】次に、プログラム実行を任意のチェックポ
イントから再現する時の動作を説明する。まず、再現実
行管理部１４２は、任意のチェックポイントから処理を
再現するために、各プロセッシングエレメント１−１〜
１１−ｎに再現すべきチェックポイント位置を知らせ
る。プロセッサ管理ユニット１１２のプロセッサ状態復
元機構１１２ｂは、当該チェックポイントのプロセッサ
ステータスを探し、それを対応するプロセッサに設定す
る。

【００４１】次いで、再現実行管理部１４２は、当該チ
ェックポイントからのアクセス履歴情報からアクセスで
きるよにアクセス履歴エリア１３３の先頭ポインタを当
該チェックポイントに対応するエントリに移動する。ア
クセス履歴エリア１３３の先頭ポインタの値は各チェッ
クポイント毎に共有メモリコントローラ１２によって管
理されているので、先頭ポインタの移動は、共有メモリ
コントローラ１２に対して当該チェックポイントを知ら
せることによって行われる。この後、再現実行管理部１
４２は、当該チェックポイントおよびそれ以前のチェッ
クポイントのスナップショットからそれぞれのメモリブ
ロックの最新情報を検索し、共有メモリ１３に設定す
る。

【００４２】これらの処理が終了すると、再現実行管理
部１４２は、各プロセッングエレメント１１−１〜１１
−ｎに実行再現準備が完了したことを割り込みによって
知らせる。

【００４３】これによって、各プロセッングエレメント
１１−１〜１１−ｎは、該当するチェックポイントから
プログラム実行を再開する。そして、プロセッシングエ
レメント１１−１〜１１−ｎはそれぞれプログラムを実
行しながら共有メモリ１３のアクセスを要求するが、そ
のアクセスは、プログラム実行時に記録されたアクセス
順で許可される。

【００４４】以下、図５、図６を参照して、共有メモリ
１３のアクセス許可動作について説明する。ここでは、
プロセッサ番号Ｐのプロセッシングエレメント１１−１
が共有メモリ１３のアドレスＡＤＤＲからデータを読み
出しレジスタＸに格納する命令を発行する場合を例にと
って、共有メモリ１３に対する読み出し操作を説明す
る。この命令の処理が行なわれる前の共有メモリ１３の
状態を図５とする。

【００４５】プロセッシングエレメント１１−１から共
有メモリ１３のアクセス要求が発行されると、共有メモ
リコントローラ１２は、アクセス履歴エリア１３３の先
頭ポインタによって指定されるエントリからプロセッサ
番号を読取り、そのプロセッサ番号と共有メモリ１３を
アクセスしようとしているプロセッサ番号とを比較する
（ステップＳ１１）。一致する場合には、共有メモリコ
ントローラ１２は、そのアクセスを許可し、データ保持
エリア１３１の当該アドレスＡｄｄｒのデータをプロセ
ッサに渡し、その後、アクセス履歴エリア１３３の先頭
ポインタを進める（ステップＳ１２）。一方、一致しな
い場合には、共有メモリコントローラ１２は、アクセス
要求を受け付けずにその要求したプロセッシングエレメ
ントに対してＮＡＣＫを返す（ステップＳ１３）。ＮＡ
ＣＫを受けとったプロセッシングエレメントは、アクセ
ス要求の発行をリトライする。

【００４６】このようにして、アクセス履歴エリアのプ
ロセッサ番号とアクセス要求を発行したプロセッサ番号
が等しくなるまで、当該プロセッサからの命令の処理が
ウエイトされる。

【００４７】この例では、プロセッサ番号３，プロセッ
サ番号５の共有メモリアクセスの処理が終るまでプロセ
ッサ番号Ｐのプロセッシングエレメントの処理は待機さ
せられる。

【００４８】これにより、プロセッシングエレメント１
１−１〜１１−ｎによる共有メモリ１３のアクセスは前
回のアクセス順と同じ順番で行われ、前回のプログラム
実行時と同じ順序で複数のプロセッシングエレメントに
よるプログラム実行を再現できる。

【００４９】以上のように、この実施例においては、プ
ログラム実行時には、各プロセッシングエレメント１１
−１〜１１−ｎから共有メモリ１３へのアクセス履歴が
記録され、共有メモリ１３をアクセスしたプロセッシン
グエレメントの順番を示すアクセス履歴情報がアクセス
履歴エリア１３３に記録される。また、共有メモリアク
セス時には、そのアクセスがデータ更新を伴うか否かを
示すアクセス識別情報がメモリブロックに対応してアク
セス識別エリア１３２に記録される。

【００５０】そして、所定のチェックポイント毎に、各
プロセッシングエレメント１１−１〜１１−ｎのプロセ
ッサステータスと共有メモリ１３のメモリデータがそれ
ぞれ退避される。この場合、更新されたメモリデータが
アクセス識別情報によって検索され、その更新されたメ
モリデータだけが退避される。

【００５１】プログラム実行のリスタート時には、退避
された所定のチェックポイトにおけるプロセッサステー
タスおよびメモリデータがそれぞれ各プロセッシングエ
レメント１１−１〜１１−ｎおよび共有メモリ１３に復
帰され、各プロセッシングエレメント１１−１〜１１−
ｎによるプログラム実行がリスタートされる。複数のプ
ロセッシングエレメント１１−１〜１１−ｎはそれぞれ
共有メモリのアクセスを要求するが、そのアクセスは、
プログラム実行時に記録されたアクセス順で許可され
る。これにより、前回のプログラム実行時と同じ順序で
複数のプロセッシングエレメント１１−１〜１１−ｎに
よるプログラム実行が再開され、前回のプログラム実行
時におけるプロセッシングエレメントの振る舞いを再現
することができる。したがって、前回の実行過程と同じ
ようにプログラム実行をリスタートできるようになり、
デバッキングツール開発に適した高信頼性の並列計算機
を実現することが可能となる。

【００５２】なお、この実施例では、アクセス識別エリ
ア１３２、アクセス履歴エリア１３３をそれぞれ共有メ
モリ１３に設けたが、全てのアクセス識別およびアクセ
ス履歴情報を共有メモリ１３に保持しておく必要はな
く、一部を二次記憶装置１５に置いても良い。

【００５３】

【発明の効果】以上のように、この発明によれば、共有
メモリへのアクセス順でアクセスしたプロセッシングエ
レメントの識別子だけ記録すること、および、共有メモ
リのデータの変化部分だけを退避することによって、プ
ログラム再現に必要な情報の記録量を減らし、且つ任意
のチェックポイントからのプログラム再現において、各
プロセッシングエレメントからの共有メモリへのアクセ
スを識別子の記録順で許可することにより、プロセッシ
ングエレメント間の振舞いが変化することを防ぐ事がで
きる。したがって、複数のプロセッシングエレメントに
よる共有メモリアクセスの順番を少ない情報で効率的に
調整できるようになり、前回の実行過程と同じようにプ
ログラム実行をリスタートすることが可能となる。

【図面の簡単な説明】

【図１】この発明の一実施例に係わる並列計算機の構成
を示すブロック図。

【図２】同実施例におけるプログラム実行時の共有デー
タの読み出し操作の例を示す図。

【図３】同実施例におけるプログラム実行時の共有デー
タの書き込み操作の例を示す図。

【図４】同実施例におけるスナップショット時の共有メ
モリの内容の変化とその時に記録される情報を示す図。

【図５】同実施例におけるプログラム再現時における操
作の例を示す図。

【図６】同実施例におけるプログラム再現時におけるア
クセス許可／禁止の判別動作を説明するフローチャー
ト。

【符号の説明】

１１−１〜１１−ｎ…プロセッシングエレメント、１２
…共有メモリコントローラ、１３…共有メモリ、１４…
チェックポイント管理ユニット、１５…２次記憶装置、
１１１…プロセッサ、１１２…プロセッサ管理ユニッ
ト、１３１…データ保持エリア、１３２…アクセス識別
エリア、１３３…アクセス履歴エリア、１４１…スナッ
プショット管理部、１４２…再現実行管理部。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 相互接続された複数のプロセッシングエ
   レメントと、これらプロセッシングエレメントによって
   アクセスされる共有メモリとを有する並列計算機におい
   て、 前記各プロセッシングエレメントによって実行されるプ
   ログラムの再開のために必要なプロセッサステータスを
   チェックポイト毎に退避するプロセッサ情報退避手段
   と、 前記共有メモリを複数のメモリブロックに分割し、前記
   各プロセッシングエレメントによるアクセスがデータ更
   新を伴うか否かを示すアクセス識別情報を前記各メモリ
   ブロックに対応して記録するアクセス識別情報記録手段
   と、 前記アクセス識別情報に従って前記共有メモリを検索
   し、更新されたメモリブロックのメモリデータだけをチ
   ェックポイント毎に退避する更新データ退避手段と、 前記共有メモリをアクセスしたプロセッシングエレメン
   トの順番を記録し、そのアクセス順を示すアクセス履歴
   情報をを記録するアクセス履歴情報記録手段と、 前記退避された所定のチェックポイトにおけるプロセッ
   サステータスおよびメモリデータをそれぞれ前記各プロ
   セッシングエレメントおよび共有メモリに復帰して、前
   記各プロセッシングエレメントによるプログラム実行を
   前記所定のチェックポイトからリスタートさせるリスタ
   ート手段と、 このリスタート手段によって前記各プロセッシングエレ
   メントによるプログラム実行がリスタートされた時、前
   記複数のプロセッシングエレメントからの前記共有メモ
   リへのアクセス要求を前記アクセス履歴情報に記録され
   ているアクセス順に許可するアクセス順制御手段とを具
   備することを特徴とする並列計算機。