JP3456551B2 - リモートメモリロードにおけるデッドロック回避方式 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は分散メモリ型計算機シス
テムに係り、特に他プロセッサエレメントのメモリを自
プロセッサのリモートload命令によって読み出す際のデ
ッドロックの発生を回避するデッドロック回避方式に関
する。

【０００２】

【従来の技術】あるＰＥのプロセッサが別のＰＥのメモ
リをload命令によって読み出すリモートloadは、一般的
には、その読み出し結果がプロセッサに通知されるまで
の間プロセッサは動作できずに停止している。よって、
リモートloadの宛先ＰＥは、いかなる状況においても返
送メッセージを送出できなければならない。さもなけれ
ば、送信元ＰＥのプロセッサは動作が先に進めずデッド
ロックの状態になる。

【０００３】しかしながら、ＰＥがいかなる状況におい
ても返送メッセージを送出することができるように構成
するのは非常に困難である。例えば、宛先ＰＥのメッセ
ージコントローラが返送メッセージを送出する場合に、
プロセッサに割り込み処理が必要であったとする。この
場合に、リモートloadの要求が複数のプロセッサで循環
していると、リモートloadの返送を待っている間プロセ
ッサは割り込み処理を行うことができない状態が前述の
複数のプロセッサ間で生じると、システムがデッドロッ
クする。

【０００４】図６はデッドロックが発生する状態を説明
する。プロセシングエレメントＰＥ０のプロセッサ１が
リモートload要求をメッセージ送信装置２から他プロセ
シングエレメントＰＥ１に送信し、他プロセシングエレ
メントＰＥ１ではそのプロセシングエレメントＰＥ０か
らのリモートload要求をメッセージ受信装置１４で受信
する前に、プロセシングエレメントＰＥ１ではプロセッ
サ１１に対して割り込み要求手段１３からの割り込み要
求が生じており、プロセシングエレメントＰＥ１のメッ
セージ受信装置１４はプロセシングエレメントＰＥ０か
らのリモートload要求を受信しても、割り込み要求が処
理されるまで、プロセシングエレメントＰＥ０に対して
データを返送できない。

【０００５】ところで、プロセシングエレメントＰＥ０
がリモートload要求を出した時と近接して、プロセシン
グエレメントＰＥ１もメッセージ送信装置１２を介して
プロセシングエレメントＰＥ０にリモートload要求を行
っているとすると、プロセシングエレメントＰＥ１の割
り込み要求はプロセシングエレメントＰＥ０からリモー
トload要求に対する返信が返ってくるまで実行できな
い。プロセシングエレメントＰＥ０ではそのプロセシン
グエレメントＰＥ１からのリモートload要求を受信する
前に、プロセシングエレメントＰＥ０ではプロセッサ１
に対して割り込み要求手段３からの割り込み要求が生じ
ており、プロセシングエレメントＰＥ０はプロセシング
エレメントＰＥ１からのリモートload要求をメッセージ
受信装置４で受信しても、割り込み要求が処理されるま
で、プロセシングエレメントＰＥ１に対してデータを返
送できない。プロセシングエレメントＰＥ０はプロセシ
ングエレメントＰＥ１に対してすでにリモートload要求
を出しているので、その返信が来るまで割り込み要求手
段３の割り込み要求を受け付けることができない。すな
わち、プロセシングエレメントＰＥ０の割り込み要求は
プロセシングエレメントＰＥ０のリモートload要求の返
送が来るまで受け付けられないのにプロセシングエレメ
ントＰＥ１の割り込み要求は逆にプロセシングエレメン
トＰＥ１のリモートload要求の返送が来るまで受け付け
られない。

【０００６】したがって、プロセシングエレメントＰＥ
０，ＰＥ１ともお互いのリモートload要求に対する返送
を待ち続けデッドロックが生じる。なお、デッドロック
が生じるシステムにおいては、ＰＥからのリモートload
要求に対しては、自ＰＥ０のメッセージコントローラは
自プロセッサがリモートload要求を他ＰＥ１に対して送
出してその返信が到着しない前であっても、自メモリに
対してアクセスして、返信ができるが、割り込み処理に
ついては、自プロセッサがリモートload要求を送出した
場合は、その返信が返って来るまでは、自プロセッサや
自メモリに対して実行できないことを前提としている。

【０００７】

【発明が解決しようとする課題】すなわち、デッドロッ
クは、リモートload要求がプロセシングエレメントＰＥ
０からプロセシングエレメントＰＥ１へ発信され、その
後プロセシングエレメントＰＥ１の割り込み要求が発生
し、その後リモートload要求がプロセシングエレメント
ＰＥ１に到達したことと、逆にリモートload要求がプロ
セシングエレメントＰＥ１がプロセシングエレメントＰ
Ｅ０に発信され、その後プロセシングエレメントＰＥ０
の割り込み要求が発生し，その後リモートload要求がプ
ロセシングエレメントＰＥ０に到達したこととがほぼ並
行して起こった場合に生じる。

【０００８】このような状況を解決する従来の方式とし
て、タイムアウトによる方法がある。これは、リモート
loadの結果を待つ時間をタイマを用いて制限し、ある一
定時間が経過しても結果が返ってこないならばエラーを
通知する手段を用いるものである。

【０００９】しかしながら、この方法では、 １．タイムアウトが発生するまでの間、プロセッサは完
全に停止してしまい、高速な応答が要求される割り込み
処理ですら処理を開始できない。

【００１０】２．タイムアウト時間が短すぎると、リモ
ートloadの返送メッセージが常に間に合わなくなり、リ
モートloadが実行できない。また、長すぎると、何らか
の理由で宛先ＰＥからの返送メッセージが遅れた場合、
その間プロセッサが全く動作できず、システム全体に重
大な影響をもたらす。このように、タイムアウトの適切
な時間を決定するのが困難である。 という問題点があった。

【００１１】本発明は分散メモリ型並列計算機において
デッドロック状態を予め発生させないようにすることを
目的とする。本発明はさらに分散メモリ型並列計算機に
おいて割り込み要求に対しては迅速に対応できるように
することを目的とする。

【００１２】

【課題を解決するための手段】第１図は本発明の原理を
説明する原理説明図である。プロセッサ２１とメモリ２
２とからなるプロセシングエレメントＰＥが相互結合網
２３で多数結合された分散メモリ型並列計算機におい
て、プロセシングエレメントＰＥはデッドロック制御回
路２４を有する。このデッドロック制御回路２４は割り
込み制御装置２５から割り込み要因が生じて割り込みが
発生したか否かを監視し、この割り込みが発生した場合
には、フラグ部２６のフラグを１に設定する。プロセッ
サ２１がリモートload要求２７を発生した場合、デッド
ロック制御回路２４により割り込み要因が発生したかを
監視し、割り込み要因が発生してない場合には、メッセ
ージコントローラ２８を介して相互結合網２３に送り出
されたリモートload要求に対する返事が転送されてきた
ことを示す完了通知２９をプロセッサ２１に通知する。

【００１３】デッドロック制御回路２４が割り込み要因
を発生したことを検出した場合には、リモートload要求
のエラー通知３０をプロセッサ２１に通知する。尚、メ
モリ２２は他のＰＥからのリモートload要求に答えるた
めにメッセージコントローラ２８に接続されている。

【００１４】

【作用】本発明の動作を詳細に説明する。まず、プロセ
ッサ２１から、リモートload要求２７が発行される。リ
モートload要求２７が発行されると、デッドロック制御
回路２４は、プロセッサ２１への割り込み要求の信号線
を監視し、割り込み要因が発生していなかどうか常にチ
ェックする。割り込み要因が発生せずに、宛先ＰＥから
返送メッセージが到着したら、その結果を正常としてプ
ロセッサにリモートloadの完了を通知２９して、動作を
終了する。宛先ＰＥから返送メッセージが到着する前に
何らかの割り込み要因が発生したら、すぐにプロセッサ
２１にリモートload要求のアクセスがエラーとなったこ
とを通知３０する。割り込み要因が発生したらリモート
load要求のエラーの通知をプロセッサに行い、直ちに割
り込み処理に入るのは、割り込み要因に迅速に対応する
ためである。一般的なプロセッサ２１は、load命令のア
クセスがエラーとなると、例外処理として登録されてい
た手続きの実行を開始する。この手続きの中で、割り込
みを発生させている要因を解決するための処理を呼び出
す。全ての割り込み処理要因に応答した後、例外処理手
続きを終了し、エラーとなったリモートload要求２７を
再実行する。

【００１５】上記で、エラーを通知した場合、デッドロ
ック制御回路２４は、その状態を記憶するためにフラグ
部２６にフラグをセットしておく。上記の例外処理を終
了して、リモートload要求２７が再実行されるが、今度
は、デッドロック制御回路２４は、フラグがセットされ
ている時にはメッセージコントローラ２８からリモート
loadのメッセージを送出することを禁止し、そのアクセ
スを即座にエラーとする。

【００１６】これは、既にリモートload要求のメッセー
ジが一度送出されているので、同じ処理を意味するメッ
セージが２つ発生してしまって処理手順が混乱してしま
うのを防ぐためである。

【００１７】再び例外処理手順が起動されて、リモート
loadが再実行されるが、このようにフラグがセットされ
ている間はエラーとなり、再実行を繰り返している。こ
の間の割り込み処理要求に対しても、プロセッサは例外
処理手続き内で処理することができる。

【００１８】その後に、最初に送出していたリモートlo
adに対する返送メッセージが到着してくる。このとき、
そのメッセージの内容は破棄するとともに、セットして
おいたフラグをクリアする。メッセージを破棄するの
は、このリモートload要求は、割り込み処理に応答する
ために、プロセッサ２１に対し先にエラーとして通知し
たからである。フラグをクリアするのは、これで、処理
途中のメッセージ、すなわちリモートload要求をしてま
だ返事が到達していないメッセージがシステムからなく
なったからである。

【００１９】この時点で最初の状態に戻り、フラグがク
リアされた後に繰り返して再実行されたリモートload要
求は、今度はまたメッセージとして送信されていくこと
になる。

【００２０】このようにして、デッドロック制御回路２
４を動作させれば良い。また、例外処理手続きは、割り
込み要因を解決する手続きを呼び出して、再びリモート
loadを実行するようになっていれば良い。

【００２１】

【実施例】図２は本発明にかかる分散メモリ型並列計算
機の構成図である。各プロセシングエレメントＰＥはプ
ロセッサ２１とメモリ２２とからなり、多数のプロセシ
ングエレメントＰＥが相互結合網２３を介して接続され
ている。各プロセシングエレメントＰＥのメモリ２２は
各プロセシングエレメントＰＥが固有に使用するローカ
ル部と他のＰＥエレメントが共同して使用する共有部に
分かれている。たとえば、ある特定のアドレスについて
は、特定のプロセシングエレメントの共用メモリのアド
レスとして存在するので、各共有メモリ部は各プロセッ
サに分散しているが、あたかも１つの共有メモリである
ように使用可能である。

【００２２】図３は本発明においてリモートload要求を
説明する図である。プロセシングエレメントＰＥ０のプ
ロセッサ２１がメッセージコントローラ２８を介してlo
ad命令のアドレス部を発生し、このアドレス部よりload
対象のデータが存在するＰＥ番号とその中でのアドレス
を決定してメッセージコントローラ２８がルートａ）に
示すようにリモートload要求のメッセージを例えばプロ
セシングエレメントＰＥ１のメッセージコントローラ２
８に転送する。

【００２３】次にそのメッセージを受け取ったプロセシ
ングエレメントＰＥ１のメッセージコントローラ２８
は、ルートｂ）に示すように、指定されたアドレスのメ
モリ内容を読み出し、結果を送信メッセージとして送信
元のプロセシングエレメントＰＥ０に返送する。

【００２４】送信元プロセシングエレメントＰＥ０はそ
の返送メッセージを受け取ると、ルートｃ）に示すよう
に、その結果をプロセッサ２１のload命令の読み出しの
結果としてプロセッサ２１に通知する。

【００２５】上記のごときリモートload動作において、
第６図に従って説明したように、デッドロックが生ずる
可能性がある。本発明はかかるデッドロックを事前に回
避するのである。

【００２６】図４は本発明の実施例の詳細を示す。プロ
セッサ２１からリモートload要求がデッドロック制御回
路２４のフラグ判定部２４１に加わると、フラグ部２６
のフラグが０ならばリモートload要求をメッセージコン
トローラ２８内のリモートloadメッセージ発生装置２８
１及びメッセージ送信制御装置２８２を介して相互結合
網２３に転送する。フラグ判定部２４１がフラグ部２６
のフラグを１として検出した場合には、リモートload要
求はエラーである旨を通知する。デッドロック制御回路
２４内のフラグ部２６のフラグは、たとえばＩ／Ｏ装置
からの割り込み要求に応じた出力が割り込み制御装置２
５から生じた場合に、割り込み制御装置２５により１に
セットされる。メッセージコントローラ２８内のメッセ
ージ受信制御装置２８３がリモートloadの結果のメッセ
ージを受け取った場合に、フラグ判定部２４２において
フラグ部２６のフラグが０と判定したならばリモートlo
adの結果をプロセッサ２１に転送し、フラグ部２６のフ
ラグが１と判定したならばその受信したメッセージを破
棄してフラグを０に設定する。フラグが１ということ
は、リモートload要求後に割り込み要因が生じ、そのリ
モートload要求はエラーである旨既にプロセッサ２１に
通知してあるので、リモートloadの結果のメッセージは
本来要求していないメッセージであるから破棄される。
そして、フラグをいったん０にセットし、再度リモート
load要求を行い、このとき割り込み制御装置２５から再
び割り込み要求に応答してフラグが１に変更されている
ならば、このリトライしたリモートload要求は再びエラ
ーの旨の通知をプロセッサ２１に行う。

【００２７】次に図４の実施例においてデッドロック制
御回路２４の動作を図５のフローチャートを用いてさら
に詳細に説明する。ＰＥ０がリモートload要求をする
と、フラグが０か否かを判定し（ステップＳ１）フラグ
が０の時はリモートloadメッセージを送出し（ステップ
Ｓ２）、返送メッセージが到着したか否かを判断する
（ステップＳ３）。

【００２８】ステップＳ３において返送メッセージが到
着しているならば、また最初に戻って次のリモートload
要求を送出すればよい。ステップＳ３において返送メッ
セージが到着していないならば、割り込み要因が存在す
るか否かを判断し（ステップＳ４）、割り込み要因が存
在していなければステップＳ３に戻ってメッセージの到
着を待ち続ける。

【００２９】ステップＳ４において割り込み要因が存在
していればフラグを１にし（ステップＳ５）、エラー通
知をプロセッサ２１に行い、例外ハンドラを起動する。
そして、割り込み要因が存在している時には（ステップ
Ｓ６）、割り込み要因の解決の処理（ステップＳ７）を
行う。割り込み要因が存在していないか、あるいは割り
込み要因が存在していても割り込み要因解決の処理か行
われれば、再び最初に戻ってリモートload要求から再開
される。この例外ハンドラはステップＳ１においてフラ
グが０でない時にも起動されて割り込み要因の存在の有
無を判定する。

【００３０】ステップＳ３においてメッセージが到着し
た時フラグが０であるならば（ステップＳ８）割り込み
要求が生じていないので、返送メッセージは結果として
プロセッサへ通知されて次のリモートload要求が行われ
る。しかし、返送メッセージが到着してフラグが０でな
い時にはフラグを０に戻して（ステップＳ９）返送メッ
セージを破棄する。これは前述したようにフラグが１の
時はプロセッサにエラー通知が行われリモートload要求
はいったんキャンセルされているから、このキャンセル
されたリモートload要求に対する返送メッセージを破棄
するものである。

【００３１】上記の実施例においては、割り込み要因が
生じたときは、直ちにフラグを１として、プロセッサに
リモートloadがエラーであることを通知したのは、割り
込み要因に対して高速に対応して割り込み処理を行うた
めである。

【００３２】しかしながら、他の実施例として、自ＰＥ
がリモートload要求を行って、その後に割り込み要因が
生じた場合に、他ＰＥからのリモートload要求が到着し
ているかを判別し、まだ他ＰＥからのリモートload要求
が到着していないときのみデッドロックが生じるので、
フラグを１に設定し、自ＰＥからのリモートload要求に
対してエラー通知を自ＰＥのプロセッサ宛に行ってもよ
い。

【００３３】

【発明の効果】本方式によれば、 １．宛先ＰＥの状況にかかわらず、リモートloadのデッ
ドロックを回避することができる。 ２．リモートloadの返送を待っている間に発生した割り
込み処理要求に対して、すぐに応答することができる。 ３．時間設定の困難なタイムアウトの機構を必要としな
い。 といった効果がある。

【図面の簡単な説明】

【図１】本発明の原理構成図である。

【図２】分散メモリ型並列計算機の構成図である。

【図３】リモートload動作を説明するための構成図であ
る。

【図４】本発明に係るプロセシングエレメントの実施例
の構成図である。

【図５】本発明のプロセシングエレメントの動作を示す
フローチャートである。

【図６】並列計算機においてデッドロックが生ずる場合
の説明図である。

【符号の説明】

ＰＥ プロセシングエレメント ２１ プロセッサ ２２ メモリ ２３ 相互結合網 ２４ デッドロック制御回路 ２５ 割り込み制御装置 ２６ フラグ ２７ リモートload要求 ２８ メッセージコントローラ ２９ 完了通知 ３０ エラー通知

───────────────────────────────────────────────────── フロントページの続き (72)発明者 清水 俊幸 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 石畑 宏明 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (56)参考文献 特開 平１−241660（ＪＰ，Ａ) 特開 平２−183860（ＪＰ，Ａ) 特開 昭63−126060（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 15/16 - 15/177 G06F 9/46 - 9/54 G06F 13/00

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】プロセッサとメモリからなるプロセシング
   エレメントが結合網で結合された並列計算機システムに
   おいて、 前記プロセシングエレメントは、 他のプロセシングエレメントに対してリモートload要求
   を送出するメッセージ送信手段と、 前記プロセッサに対して割り込み要求を行う割り込み要
   求手段と、 前記プロセッサがメッセージ送信手段を介してリモート
   load要求を他プロセッシングエレメントに送出し、前記
   他プロセッシングエレメントからデータが返送されてく
   る前に前記割り込み要求手段が前記プロセッサに対して
   割り込み要求を行った場合には、他プロセッシングエレ
   メントに対するリモートload要求をエラーとして前記プ
   ロセッサに通知し、前記割り込み要求手段による割り込
   み動作を前記プロセッサが優先して受け付けるように制
   御するデッドロック制御手段と、 前記リモートload要求がエラーとなったことを通知した
   とき、内部でそのエラーを発生させたことを記憶するフ
   ラグをセットし、そのあとで、リモートload要求を送信
   した先の他のプロセッシングエレメントから返送メッセ
   ージが到着してきたら、フラグをリセットするフラグ手
   段と、を具備することを特徴とするデッドロック回避方
   式。
2. 【請求項２】プロセッサとメモリからなるプロセシング
   エレメント（ＰＥ）が相互結合網で接続された並列計算
   機システムにおいて、 送信元ＰＥのプロセッサが発行したload命令のアドレス
   部からload対象のデータが存在するＰＥ番号とそのなか
   でのアドレスを決定し、リモートload要求の発行とし
   て、リモートloadコマンドのメッセージを送出し、その
   メッセージを受け取ったＰＥの指定されたアドレスのメ
   モリの内容を含む結果を返送メッセージとして受信し、
   返送メッセージを受け取ると、その結果をプロセッサの
   load命令の読み出し結果としてプロセッサに通知するリ
   モートloadを行う手段と、 リモートload要求が発生して、リモートloadメッセージ
   を受け取ったＰＥからの返送メッセージを待っている間
   に、プロセッサへの割り込み要求信号が生じたかを監視
   し、もし返送メッセージが到着するまで割り込み要求が
   発生しなかったら、到達した返送メッセージの結果を正
   常終了としてプロセッサにリモートloadが完了したこと
   を通知し、リモートload要求が発生して、リモートload
   メッセージを受け取ったＰＥからの返送メッセージを待
   っている間に、プロセッサへの割り込み要求信号を監視
   し、もしそのあいだに割り込み要求が発生したら、プロ
   セッサにリモートload要求がエラーとなったことを通知
   するデッドロック制御手段と、 前記プロセッサにそのアクセスがエラーとなったことを
   通知したとき、内部でそのエラーを発生させたことを記
   憶するフラグをセットし、そのあとでリモートloadメッ
   セージを受け取ったＰＥから返送メッセージが到着して
   きたら、フラグをリセットするフラグ手段と、を備える
   ことを特徴とするリモートloadデッドロック回避方式。
3. 【請求項３】前記フラグがセットされている間に再びリ
   モートload要求を行った場合、その要求に対してエラー
   通知を行う手段を備えることを特徴とする請求項２記載
   のリモートloadデッドロック回避方式。
4. 【請求項４】前記デッドロック制御手段は、前記リモー
   トloadを行う手段がリモートload要求をした後リモート
   load要求に対してデータが自プロセッサに返送されてく
   る前であって、他プロセッサからのリモートload要求を
   自プロセッサのメッセージ受信手段が受信する前に割り
   込み要求が行われた場合には、前記自プロセッサからの
   リモートload要求をエラーし、前記割り込み要求を優先
   して処理することを特徴とする請求項２記載のデッドロ
   ック回避方式。
5. 【請求項５】前記プロセッシングエレメントは多数相互
   結合されて、分散メモリ型並列計算機システムを構成す
   ることを特徴とする請求項２記載のデッドロック回避方
   式。