JP3407358B2 - バリア同期における非同期通信完了保証方法 - Google Patents

Description

【発明の詳細な説明】 【０００１】 【産業上の利用分野】本発明は、バリア同期機能を備え
た分散メモリ型並列計算機上での、非同期通信の完了確
認を高速に行う方法に関する。 【０００２】最近、高速な計算機、例えば、スーパーコ
ンピュータを実現する方法として、並列計算機が注目を
浴びている。該並列計算機において、複数のプロセッサ
が一つの仕事を協力して計算し、正しい結果を得ること
を保証するためには、プロセッサ間の通信と、プロセッ
サ間のソフトウェア上の同期処理が、欠かすことができ
ない重要な技術であり、この同期処理をバリア同期と呼
んでいる。又、これらの処理は、できるだけ、短い時間
で処理できることが、処理全体の高速化に繋がる。 【０００３】そこで、最近においては、分散メモリ型並
列計算機における代表的な通信方式で、send動作と rec
eive動作とが組になって通信が成立する、メッセージパ
ッシング方法によることなく、直接、相手先のメモリに
データを書き込んだり、直接、相手先のメモリからデー
タを読み出す非同期通信が、その高速性から注目されて
いる。 【０００４】この非同期通信では、上記メッセージパッ
シング方法とは異なり、非同期で行われるため、上記バ
リア同期処理においては、各プロセッサから起動された
非同期書き込み, 或いは、非同期読み出しの処理が完全
に終了していることを、効果的に確認する方法が要求さ
れる。 【０００５】 【従来の技術】図９, 図１０は、バリア同期を説明する
図であり、図１１, 図１２ は、従来の非同期通信の完
了を保証する方法を説明する図である。 【０００６】先ず、図９, 図１０によって、バリア同期
を説明する。前述の並列計算機では、各プロセッサ P
(1) 1,〜のプログラム処理の進み具合を制御するための
同期処理をする必要がある。この同期処理のために、該
同期が必要な箇所に特別な同期命令 (バリア同期命令)
が埋め込まれる。この同期命令が埋め込まれた箇所を同
期点と呼び、該同期点に挿入された同期命令は、２つの
部分からなる同期動作を行う。 【０００７】同期動作の前半は、自分がこの同期点に到
着したことを、他の P(2) 2,〜に通知する処理で、該同
期動作の後半は、該同期動作を行う P(1) 1,〜として指
定された全ての P(1) 1,〜が、この同期点に到着するま
で、待ち続ける処理である。 【０００８】図１０(a1),(a2) は、各 P(1) 1,P(2) 2,
〜の CPU 10 で実行されるバリア同期プログラムの例を
示したもので、図示されている如くに、同期命令が、プ
ログラムの所定の位置に挿入されている。 【０００９】図１０(b) は、その同期動作のタイムチャ
ートを示したもので、P(2) 2が、P(1) 1が実行する同期
命令によって、同期点に到着するのを待ち、各 P(2) 2,
P(1) 1 が同期点に到着した時点から、次の命令を同期
して実行する例を示している。 【００１０】このような処理の為に、各 P(1) 1, P(2)
2,〜が同期点に到着したか否かを検出し、更に、検出結
果を各 P(1) 1, P(2) 2 〜に通知する為のハードウェア
機構が必要となる。 【００１１】図９は、このハードウェア機構を示したも
ので、各 P(1) 1 〜P(n) nには、図示されている同期プ
ロセッサ選択マスク 140と、同期検出回路 141が設けら
れており、又、各 P(1) 1 〜P(n) n外に、同期処理網
(バリア処理網) 4 が設けられている。 【００１２】1) 先ず、各 P(1) 1,〜の CPU〜 10 は、
これから行う同期処理を適用する P(1) 1,〜の集合を、
上記同期プロセッサ選択マスク 140を使って設定する。
該同期プロセッサ選択マスク 140は、並列計算機システ
ム内の P(1) 1 〜P(n) nの数と等しい数のラッチで構成
されており、各ビットが各 P(1) 1 〜P(n) nに対応して
いる。CPU 10は、同期をする P(1) 1,〜に対応するビッ
トを“１”に設定し、対応外のビットを“０”に設定す
る。 【００１３】2) 各CPU 〜 10 の実行する前述のプログ
ラムの実行が、同期命令が挿入されている同期点に到着
すると、該同期点に到着したことを、他の P(2) 2 〜に
知らしめる処理、即ち、前述の同期命令の前半の処理を
行う。具体的には、各 P(1)1 内のバリア処理ユニット
(BA)内の同期点到着表示ラッチ 142に“１”を設定す
る。 【００１４】3) 該同期点到着表示ラッチ 142の値
“１”は、上記同期処理網 (バリア処理網) 4 に通知さ
れる。 4) 該同期処理網 (バリア処理網) 4 は、全ての P(1)
1,〜からの上記同期点到着表示ラッチ 142の信号を纏め
て、全ての P(1) 1,〜に返送する。 【００１５】5) 各 P(1) 1 〜P(n) nのバリア処理ユニ
ット(BA)内の上記同期検出回路 141は、「同期プロセッ
サ選択マスク 140中の“１”であるビットに対応する P
(1)1 〜P(n) nからの同期点到着表示ラッチ 142が全て
“１”である」条件を検査し、この条件が満たされる
と、同期が完了したとして、該同期命令の後半の処理を
終了して、次の命令の実行に移ることができるようにな
る。 【００１６】6) 該同期検出回路 141は、同期の完了し
たことを、自己の CPU 10 に、図示の同期完了信号(SYN
E)を通知することにより、該CPU 10は、次の命令の実行
の再開を始める。 【００１７】各プロセッサ P(1) 1,〜が、非同期通信を
行っている場合には、上記バリア同期命令の実行が行わ
れる迄に、全ての非同期通信が完了していることが必要
であり、各プロセッサ P(1) 1,〜において、該非同期通
信が完了していることを確認すると、上記同期点到着表
示ラッチ 142を“オン”にし、全てのプロセッサ P(1)
1,〜において、該同期点到着表示ラッチ 142が“オン”
になったことが、それぞれのプロセッサ P(1) 1,〜で認
識された時点でバリア同期が取れることになる。 【００１８】分散メモリ型並列計算機において、上記バ
リア同期時に、それまで、各プロセッサ P(1) 1,〜で行
われた非同期通信が、全て完了していることを保証する
従来技術を、図１１, 図１２によって説明する。 【００１９】図１１(a) は、メッセージパッシングによ
る非同期通信の完了を保証する方法を示している。この
方法では、例えば、プロセッサ P(1) 1 から、プロセッ
サ P(2) 2 にデータの書き込みを行う場合、図示されて
いる如くに、send(P(2),data1)命令と, receive(P(1),d
ata2) 命令とが組になって、非同期通信が成立する。 【００２０】図１１(b) は、アクティブメッセージを応
用して、非同期通信の完了を保証する方法を示してい
る。この方法は、ティ・エイシェン(T.Eichen)等によっ
て、1992年の ISCA で発表された非同期通信方式であ
る。「 "アクティブメッセージ:通信と計算を統合した
メカニズム",第19回,ISCA,ゴールドゴースト, オースト
ラリヤ,1992,｛"Active Messages:a mechanism integra
ted communication and computation",19th ISCA,Gold
Goast,Australia,1992｝参照」この方法は、特定のアド
レスのデータに対する書き込み要求や, 読み出し要求に
対する処理を、相手側のプロセッサ P(2) 2 での割込み
ハンドラ内で実現することにより、メッセージパッシン
グ方式でのオーバヘッドを克服しようとするものであ
る。 【００２１】同期をとるために、図示されている如く
に、書き込みのときは、書き込み相手側のプロセッサ P
(2) 2 に１ビットのフラグを用意し、読み出しのときに
は、読み出し要求を行う側のプロセッサ P(1) 1 に１ビ
ットのフラグを用意して、それぞれの処理の終了後に、
該当のフラグを“オン”にする機構である。 【００２２】図１２(c) は、ハードウェアによる検出方
法の一例を示したもので、プロセッサ P(1) 1 と P(2)
2 間を結合する伝送路上の、例えば、バッファに、特定
の通信データが無いかどうかを、論理和回路で抽出し
て、判定する方法であり、対象となるデータが伝送路上
に無ければ、目的とする読み書き処理が完了しているこ
とを保証するものである。 【００２３】該ハードウェアによる検出方法の他の方法
として、図示していないが、分散メモリ型の共有メモリ
を実現した並列計算機で、キャッシュメモリの同一性を
保証するハードウェアによって、プロセッサ間に跨がる
読み書きの完了を保証する方法が提起されている。その
代表的なものに, スタンフォード大学の「ＤＡＳＨ」が
ある。その詳細は、「“ＤＡＳＨ試作品：構築と性能,
第19回,ISCA,ゴールドゴースト, オーストラリヤ,1992,
｛"The DASH Prototype:Implementation and Performan
ce",19th ISCA,Gold Goast,Australia,1992 ｝参照」そ
の他として、これも図示していないが、終了確認パケッ
トを送出する方法がある。この方法は、バリア同期時
に、通信が終了したことを確認するためのパケットを、
全てのプロセッサに順番に流し、そのパケットが１周し
て戻ってきた時点で、全ての通信が終了したと確認する
方法である。 【００２４】 【発明が解決しようとする課題】上記の従来の非同期通
信の終了を保証する方法には、以下の問題点を含んでい
る。 【００２５】1) メッセージパッシング方法：図１１
(a) から明らかなように、データの送出(send)を non-b
locking にする為には、受信側のプロセッサ P(2) にバ
ッファエリアを設けて、一時的にコピーする必要があ
る。この為、バッファエリアとコピー時間が、それぞれ
の空間的, 時間的なオーバヘッドとなる。 【００２６】又、受信側のプロセッサ P(2) が receive
状態となるのを待って通信する blocking 型のデータ送
出(send)を行うと、上記の如き、一時的なバッファやコ
ピーをするオーバヘッドは避けられるが、送信側のプロ
セッサ P(1) は、通信相手がreceive状態となるまで待
たされてしまい、無駄な時間が発生する問題がある。
又、この方法では、相手のプロセッサの状態によって、
データを送受信する方法であるので、デッドロックを発
生する危険がある。 【００２７】2) アクティブメッセージの応用：図１１
(b) に示されている１つのフラグだけでは、１回１回の
通信に対して同期をとる必要がある。又、書き込みに対
して、書き込まれるプロセッサ P(2) 2 側にフラグを持
つ方法では、送信側での送信要求が、所定の条件 (図示
の if 文の条件）が成立した時点で行われる場合、受信
側のプロセッサ P(2) 2 では、自分に、いつ、データが
書き込まれることを知ることができないので、このよう
な場合には適用できないという問題がある。 【００２８】3) ハードウェアによる検出：図１２(c)
に示されているように、通信路上でのデータの有無を検
出する為の特殊なハードウェアを必要とする。その為、
コストがかかるという問題があるし、上記のようなハー
ドウェアを備えていない並列計算機では実現することが
できないという問題がある。 【００２９】4) 終了確認パケットを送出する方法：こ
の方法ではバリア同期の時に、新たに通信を行う必要が
あり、そのオーバヘッドが大きい。本発明は上記従来の
欠点に鑑み、バリア同期機能を備えた分散メモリ型並列
計算機上での、非同期通信の完了確認を高速に行うの
に、無駄なデータのバッファへのコピーを避けることが
でき、特殊なハードウェアを必要とせず、又、同期のた
めのオーバヘッドを小さくすることができ、且つ書き込
み，読み出しの両方をサポートして、非同期通信の完了
を保証することができる方法を提供することを目的とす
るものである。 【００３０】 【課題を解決するための手段】図１，図２は、本発明の
一実施例を模式的に示した図であり、図１(a) はフラグ
を設ける場合を示し、図１(b) は、フラグの代わりにカ
ウンタを設ける場合を示し、図１(c) は、要求カウンタ
と、応答カウンタを設ける場合を示し、図２(d) は、バ
リア同期の直前に行う非同期書き込みに対してのみ、該
書き込みの終了を伝える通信を発生させる場合を示して
いる。上記の問題点は下記の如くに構成したバリア同期
における通信完了保証方法によって解決される。 【００３１】(1) バリア同期機能を備えた分散メモリ型
並列計算機において、直接、相手先のメモリにデータを
書き込んだり、直接、相手先のメモリからデータを読み
出す非同期通信の、全ての非同期通信の完了を確認した
時点で、バリア同期点への到着を指示して、バリア同期
を行う方法であって、非同期の書き込みに対して、書き
込みの要求元のプロセッサP(1) 1は、該書き込みの要求
を出すとき、所定のフラグを“１”にし、書き込まれ
たプロセッサP(2)からの、該書き込みの終了を知らせる
通信により、上記フラグを“０”とし、全てのプロセ
ッサP(1) 1,P(2) 2,〜が、自己のフラグを見て、
“０”になったことを確認して、自己の要求した書き込
みが終了したことを保証するように構成する。 【００３２】(2) 上記非同期の書き込みに対して、要求
元のプロセッサP(1) 1にカウンタａを設け、カウンタ
ａの初期値を“０”にして、要求元のプロセッサP(1)
1で、書き込みの要求を行う際に、該カウンタａを１
つカウントアップし、該書き込みの終了を伝える通信が
戻ってきたとき、該カウンタａを１つカウントダウン
し、バリア同期の際、該カウンタａの値が“０”にな
っていることを確認して、自己の要求した全ての書き込
みが終了したことを保証するように構成する。 【００３３】(3) 非同期の読み出しに対して、要求元の
プロセッサP(1) 1にカウンタｂを設け、カウンタｂ
の初期値を“０”にして、要求元のプロセッサP(1) 1
で、読み出しの要求を行う際に、該カウンタｂを１つ
カウントアップし、該読み出しの終了を伝える通信が戻
ってきたとき、該カウンタｂを１つカウントダウン
し、バリア同期の際、該カウンタｂの値が“０”にな
っていることを確認して、自己の要求した全ての読み出
しが終了したことを保証するように構成する。 【００３４】(4) 非同期の書き込みに対して、要求元の
プロセッサP(1) 1に、要求カウンタａと、応答カウン
タａとを設け、それぞれのカウンタａ，ａの初期
値を“０”にして、要求元のプロセッサP(1) 1で、書き
込みの要求を行う際に、該要求カウンタａを１つカウ
ンタアップし、該書き込みの終了を伝える通信が戻って
きたとき、上記応答カウンタａを１つカウントアップ
し、バリア同期の際、該書き込みの要求元のプロセッサ
P(1) 1において、上記要求カウンタａと、上記応答カ
ウンタａの値が一致していることを確認して、自己の
要求した全ての書き込みが終了したことを保証するよう
に構成する。 【００３５】(5) 非同期の読み出しに対して、要求元の
プロセッサP(1) 1に、要求カウンタｂと、応答カウン
タｂとを設け、それぞれのカウンタｂ，ｂの初期
値を“０”にして、要求元のプロセッサP(1) 1で、読み
出しの要求を行う際に、該要求カウンタｂを１つカウ
ンタアップし、該読み出しの終了を伝える通信が戻って
きたとき、上記応答カウンタｂを１つカウントアップ
し、バリア同期の際、該読み出しの要求元のプロセッサ
P(1) 1において、上記要求カウンタｂと、上記応答カ
ウンタｂの値が一致していることを確認して、自己の
要求した全ての読み出しが終了したことを保証するよう
に構成する。 【００３６】(6) 特定のプロセッサP(2)に対して、別の
特定のプロセッサP(1) 1から、複数回の非同期書き込み
を要求した場合、その書き込みの順序が、要求した通り
になることが保証されている並列計算機において、各プ
ロセッサP(1) 1, 〜毎にバリア同期をとる直前に行う要
求に対してのみ、該書き込みの終了を伝える通信を発生
させるように構成する。 【００３７】 【作用】即ち、(1) のフラグを用いる方法では、要求元
のプロセッサP(1) 1から書き込みの要求を行う毎に、フ
ラグを“１”とし、相手先のプロセッサP(2) 2からの
書き込みの終了を知らせる通信を受けて、該フラグを
“０”とし、バリア同期時には、要求元の各プロセッサ
P(1) 1, 〜において、該フラグの“０”になっている
ことを確認して、要求した書き込みの終了を保証するも
のであるので、自分が書き込みの要求を出したときに
“１”としたフラグが、相手プロセッサからの書き込み
終了通信で“０”になったことを自分で見ることで、該
書き込みの終了を保証することができ、書き込まれる側
のプロセッサP(2) 2では、書き込まれることを知らなく
ても同期が可能になる。 【００３８】又、(2),(3) で示したカウンタａ，又
は、ｂを用いる方法では、要求元のプロセッサP(1) 1
から複数の書き込み, 又は、読み出しの要求を行う毎
に、対応するカウンタａ，又は、ｂをカウントアッ
プし、相手のプロセッサP(2) 2から、書き込み，又は，
読み出しの終了を伝える通信が戻ってきた時、対応する
カウンタａ，又は、ｂをカウントダウンすること
で、それぞれのプロセッサP(1) 1, 〜で、該カウンタ
ａ，又は、ｂの値を調べて“０”であることを確認す
ることで、自己の要求した書き込み，又は、読み出しが
終了していることを保証することができるようにしたも
ので、上記フラグを用いる場合と異なり、複数の書き込
み，又は、読み出しを連続して行った場合でも、該複数
の書き込み，又は、読み出しの終了を認識することがで
きる。即ち、複数の非同期書き込み，又は、読み出しに
対して、纏めて、同期をとることができる。 【００３９】又、(4),(5) で示した２つのカウンタ
ａ，ａ，又は、ｂ，ｂを用いる方法では、要求元
のプロセッサP(1) 1から複数の書き込み, 又は、読み出
しの要求を行う毎に、対応する要求カウンタａ，又
は、ｂをカウントアップし、相手のプロセッサP(2) 2
から、書き込み，又は，読み出しの終了を伝える通信が
戻ってきた時、対応する応答カウンタａ，又は、ｂ
をカウントアップすることで、それぞれのプロセッサP
(1) 1, 〜で、該要求カウンタａ，又は、ｂの値
と、応答カウンタａ，又は、ｂの値を調べて、両方
のカウンタの値が一致していることを確認することで、
自己の要求した書き込み，又は、読み出しが終了してき
ることを保証することができるようにしたもので、上記
カウンタを１つ用いる方法では、要求時のカウントアッ
プする処理と、処理終了を伝える通信によるカウントダ
ウンする処理とが、１つのカウンタに対して非同期で行
われるために、このカウンタに対するアクセスを排他制
御を行う必要があるが、要求カウンタと，応答カウンタ
との２つのカウンタを用いることにより、排他制御を必
要とすることなく、複数の書き込み要求，又は、読み出
し要求に対して、同期を取ることができる。従って、排
他制御を行うハードウェアを持たない並列計算機におい
ても、複数の非同期書き込み，又は、読み出しに対して
まとめて同期を取ることができる。 【００４０】又、(6) で示した複数の書き込み要求に対
して、各プロセッサ毎にバリア同期をとる直前に行う書
き込み要求に対してのみ処理の終了を伝える通信を発生
させる事で、バリア同期の為の通信の終了を保証する為
に必要なプロセッサ間の通信を減らすことができ、処理
のオーバヘッドを少なくすることができる。 【００４１】本発明によるバリア同期における通信完了
保証方法は、以上のように作用するので、分散メモリ型
の並列計算機において、非同期書き込み, 又は、読み出
しによる高速なプロセッサ間通信を行いながら、その通
信が完了したことを保証する処理を高速化することがで
きる効果がある。 【００４２】 【実施例】以下本発明の実施例を図面によって詳述す
る。前述の図１，図２は、本発明の一実施例を模式的に
示した図であり、図３〜図８は、本発明の一実施例を実
行ルーチンで示した図である。 【００４３】本発明においては、バリア同期機能を備え
た分散メモリ型並列計算機において、非同期書き込みを
要求したプロセッサ P(1) 1,〜は、所定のフラグを
“１”にして書き込みを行い、書き込まれたプロセッサ
が、書き込みの終了を知らせる通信が戻ってきたとき、
上記フラグを“０”にし、該フラグが“０”である
と、該非同期の通信の終了を認識し、又、書き込み／読
み出し要求元のプロセッサP(1) 1,〜に、上記フラグ
の代わりに、カウンタａ，又は、ｂを設け、書き込
み／読み出し要求元のプロセッサ P(1) 1,〜で、書き込
み／読み出しの要求を行う毎に、１つカウントアップ
し、書き込み／読み出しの終了を伝える通信が戻ってき
たとき、該カウンタａ，ｂをカウントダウンし、
“０”になると、要求した非同期通信が全て終了したと
認識し、又、上記書き込み／読み出し要求元のプロセッ
サ P(1) 1,〜に、要求カウンタａ／ｂと、応答カウ
ンタａ／ｂとを設け、要求元のプロセッサ P(1) 1,
〜で、該要求カウンタａ／ｂと、応答カウンタａ
／ｂの値が一致したことで、該非同期通信の終了を認
識して、バリア同期の同期点到着時点とする手段が、本
発明を実施するのに必要な手段である。尚、全図を通し
て同じ符号は同じ対象物を示している。 【００４４】以下、図９，図１０のバリア同期の手法を
参照しながら、図１，図２，及び、図３〜図８によっ
て、本発明のバリア同期における非同期通信完了保証方
法を説明する。 【００４５】先ず、プロセッサ P(1) 1,P(2) 2, 〜間
で、非同期にデータを書き込むサブルーチンを、以下の
関数で表す。 writeRemote(プロセッサ番号, リモートアドレス, デー
タ) このとき、該非同期の書き込みをされたプロセッサP(1)
1,P(2) 2,〜が、要求元に書き込みの完了を伝えるサブ
ルーチンを、以下の関数で表す。 writeReply (要求元プロセッサ番号) 又、プロセッサ P(1) 1,P(2) 2, 〜間で、非同期にデー
タを読み出すサブルーチンを、以下の関数で表す。 readRemote (プロセッサ番号, リモートアドレス, ロー
カルアドレス) このとき、該非同期の読み出しをされたプロセッサP(1)
1,P(2) 2,〜が、要求元に読み出しデータを伝えるため
のサブルーチンを、以下の関数で表す。 readReply(要求元プロセッサ番号, 要求元のアドレス,
データ) 以下、上記サブルーチンを使用して、非同期の書き込
み, 読み出しを行う場合のプロセッサの処理例、即ち、
実行するプログラムの例を、各請求項に対応して説明す
る。 【００４６】1) 請求項１，７に対応する実施例：書き
込み要求をするプロセッサは、図３(a) に示したプログ
ラムを実行する。即ち、書き込み要求をするプロセッサ
P(1) 1, 〜は、所定のフラグ(flag)を“１”に設定し
て、上記writeRemote(プロセッサ番号, リモートアドレ
ス, データ)を実行することで、該書き込みルーチンが
指示するデータが、相手プロセッサP(2) 2のリモードア
ドレスに送出される。 【００４７】書き込みをされるプロセッサP(2) 2, 〜で
は、図３(b) に示した、例えば、割り込みルーチンが起
動され、該データの書き込みが行われる。ここで、"*ア
ドレス= データ" は、上記書き込みの要求元のプロセッ
サP(1) 1, 〜で実行されたプログラムで指定されたリモ
ートアドレスに、該要求元のプロセッサP(1) 1, 〜が指
示するデータが書き込まれたことを示している。 【００４８】該書き込み要求をしたプロセッサP(1) 1,
〜での、相手先のプロセッサ(P2) 2, 〜からのリプライ
に対する割り込みルーチンは、図３(c) に示したものに
なる。即ち、該書き込み要求をしたプロセッサP(1) 1,
〜で、図３(c) に示した割り込みルーチンが実行され、
上記フラグ(flag)が“０”にリセットされることで、上
記非同期の書き込み処理が終了する。 【００４９】従って、各プロセッサP(1) 1, 〜におい
て、図９，図１０で説明したバリア同期命令を実行する
とき、上記フラグ(flag)が“０”であることを認識した
とき、該非同期書き込み通信が終了しているとして、同
期点到着の表示を行うことで、バリア同期がとれること
になる。 【００５０】2) 請求項２，８に対応する実施例：書き
込み要求をするプロセッサは、図４(a) に示したプログ
ラムを実行する。即ち、書き込み要求をするプロセッサ
P(1) 1, 〜は、書き込みの要求を行う毎に、、排他制御
(LOCK 命令,UNLOCK 命令による) を行って、所定のカウ
ンタ(w-counter) をカウントアップ(w-counter++;)し
て、相手のプロセッサP(2) 2の、所定のアドレス (リモ
ートアドレス) にデータを書き込む。 【００５１】書き込みをされるプロセッサP(2) 2, 〜に
は、図４(b) に示した、例えば、割り込みルーチンが起
動され、該データの書き込みが行われる。該書き込み要
求をしたプロセッサP(1) 1, 〜での、相手先のプロセッ
サP(2) 2, 〜からのリプライに対する割り込みルーチン
は、図４(c) に示したものになる。即ち、該書き込み要
求をしたプロセッサP(1) 1, 〜で、図４(c) に示した割
り込みルーチンが実行され、上記カウンタ(w-counter)
をカウントダウン(w-counter--;)することで、上記非同
期の書き込み処理が終了する。 【００５２】従って、各プロセッサP(1), 〜において、
図９，図１０で説明したバリア同期命令を実行すると
き、上記カウンタ(w-counter) が“０”であることを認
識したとき、該非同期書き込み通信が終了しているとし
て、同期点到着の表示を行うことで、バリア同期がとれ
ることになる。 【００５３】同様にして、図５は、請求項３に対応する
実施例を示している。図４に示した実施例と比較して、
書き込み→読み出しに代わっている点を除いて、同じ動
作となるので、詳細な説明は省略する。 【００５４】3) 請求項４，９に対応する実施例：書き
込み要求をするプロセッサは、図６(a) に示したプログ
ラムを実行する。即ち、書き込み要求をするプロセッサ
P(1) 1, 〜は、書き込みの要求を行う毎に、、排他制御
(LOCK 命令,UNLOCK 命令による) を使用することなく、
所定の要求カウンタ(w-request-counter) をカウントア
ップ(w-request-counter++;)して、相手のプロセッサP
(2) 2の、所定のアドレス (リモートアドレス) でデー
タを書き込む。 【００５５】書き込みをされるプロセッサP(2) 2, 〜で
は、図６(b) に示した、例えば、割り込みルーチンが起
動され、該データの書き込みが行われる。該書き込み要
求をしたプロセッサP(1) 1, 〜での、相手先のプロセッ
サP(2),〜からのリプライに対する割り込みルーチン
は、図６(c) に示したものになる。即ち、該書き込み要
求をしたプロセッサP(1) 1, 〜で、図６(c) に示した割
り込みルーチンが実行され、所定の応答カウンタ(w-rep
ly-counter) をカウンタアップ(w-reply-counter++;)す
ることで、上記非同期の書き込み処理が終了する。 【００５６】従って、各プロセッサP(1) 1, 〜におい
て、図９，図１０で説明したバリア同期命令を実行する
とき、上記要求カウンタ(w-request-counter) と、上記
応答カウンタ(w-reply-counter) の値が一致しているこ
とを検出したとき、該非同期書き込み通信が終了してい
るとして、同期点到着の表示を行うことで、バリア同期
がとれることになる。 【００５７】同様にして、図７は、請求項５に対応する
実施例を示している。図５に示した実施例と比較して、
書き込み→読み出しに代わっている点を除いて、同じ動
作となるので、詳細な説明は省略する。 【００５８】4) 請求項６に対応する実施例：この場
合、書き込みのリプライを、リモート側のプロセッサP
(2) 2に行わせないための書き込み要求関数を用意す
る。 【００５９】図８(a) が、該用意した書き込み要求関数
を示している。上記図８(a) に示した、writeRemoteNoR
eplyの関数 (サブルーチン) に対する書き込まれるプロ
セッサP(2) 2, 〜側での割り込みルーチンは、図８(b)
に示したものとなり、書き込み要求元のプロセッサP(1)
1, 〜に対して、応答をしないようにする。 【００６０】そして、特定のプロセッサP(1) 1に対し
て、別の特定のプロセッサP(2) 2から複数回、非同期書
き込みを要求した場合で、その書き込みの順序が要求し
たとおりになることが保証されている並列計算機におい
ては、上記の「書き込み要求 writenoReply 」関数を用
いて、複数のデータの書き込みを行い、バリア同期をと
る直前の１回の書き込み要求に対してのみ、通常の応答
を行う「書き込み要求」関数｛図６(a) 参照｝を用いて
書き込むようにすることで、非同期の書き込みの通信の
回数を減らすことができる。この場合、上記要求カウン
タａ，応答カウンタａでのカウント動作は、最後の
１回のみとなる。 【００６１】このように、本発明のバリア同期における
通信完了保証方法は、バリア同期機能を備えた分散メモ
リ型並列計算機において、非同期書き込みを要求したプ
ロセッサは、所定のフラグを“１”にして書き込みを行
い、書き込まれたプロセッサから書き込みの終了を知ら
せる通信が戻ってきたとき、上記フラグを“０”にし、
該フラグが“０”であると、該非同期の通信の終了を認
識し、又、書き込み／読み出し要求元のプロセッサに、
カウンタを設け、書き込みの要求を行う毎に、１つカウ
ントアップし、書き込みの終了を伝える通信が戻ってき
たとき、該カウンタをカウントダウンし、“０”である
と、要求した非同期通信が全て終了したと認識し、又、
上記書き込み／読み出し要求元のプロセッサに、要求カ
ウンタと、応答カウンタとを設け、要求元のプロセッサ
で、該要求カウンタと、応答カウンタの値が一致したこ
とで、該非同期通信の終了を認識して、バリア同期の同
期点到着時点とするようにしたところに特徴がある。 【００６２】 【発明の効果】以上、詳細に説明したように、本発明の
バリア同期における通信完了保証方法によれば、分散メ
モリ型の並列計算機において、無駄なデータのコピーを
必要としない非同期書き込み, 又は、読み出しによる高
速なプロセッサ間通信を行いながら、特殊なハードウェ
アを用いることなく、且つ、同期のためのオーバヘッド
を少なくして、上記非同期通信の完了したことを保証し
ているので、バリア同期における非同期通信の完了の保
証処理を高速化することができる効果がある。

【図面の簡単な説明】 【図１】本発明の一実施例を模式的に示した図（その
１） 【図２】本発明の一実施例を模式的に示した図（その
２） 【図３】本発明の一実施例を実行ルーチンで示した図
（その１） 【図４】本発明の一実施例を実行ルーチンで示した図
（その２） 【図５】本発明の一実施例を実行ルーチンで示した図
（その３） 【図６】本発明の一実施例を実行ルーチンで示した図
（その４） 【図７】本発明の一実施例を実行ルーチンで示した図
（その５） 【図８】本発明の一実施例を実行ルーチンで示した図
（その６） 【図９】バリア同期を説明する図（その１） 【図１０】バリア同期を説明する図（その２） 【図１１】従来の非同期通信の完了を保証する方法を説
明する図（その１） 【図１２】従来の非同期通信の完了を保証する方法を説
明する図（その２） 【符号の説明】 1 プロセッサ｛P(1),P(2),〜｝ 10 中央処理装
置(CPU) 140 同期プロセッサ選択マスク 141 同期検出回路 142 同期点到着
表示ラッチ 4 同期処理網 (バリア処理網) フラグ ａ，ｂ カウンタ (書き込み, 読み出し) ａ，ｂ 要求カウンタ (書き込み, 読み出し) ａ，ｂ 応答カウンタ (書き込み, 読み出し)

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平４−260962（ＪＰ，Ａ) 特開 平４−232559（ＪＰ，Ａ) 特開 昭63−654（ＪＰ，Ａ) 特開 平５−20284（ＪＰ，Ａ) 進藤達也、他３名，ＡＰ1000を対象と しＶＰＰ Ｆｏｒｔｒａｎ処理系の実現 と評価，情報処理学会研究報告，日本, 社団法人情報処理学会，1993年 ８月20 日，第93巻，第72号，（93−ＨＰＣ− 48），Ｐ．９−16 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 15/16 - 15/177 G06F 9/46

Claims (1)

1. (57)【特許請求の範囲】 【請求項１】バリア同期機能を備えた分散メモリ型並列
   計算機において、直接、相手先のメモリにデータを書き
   込んだり、直接、相手先のメモリからデータを読み出す
   非同期通信の、全ての非同期通信の完了を確認した時点
   で、バリア同期点への到着を指示して、バリア同期を行
   う方法であって、 特定のプロセッサに対して、別の特定のプロセッサか
   ら、複数回の非同期書き込みを要求した場合、その書き
   込みの順序が、要求した通りになることが保証されてい
   る並列計算機において、各プロセッサ毎にバリア同期を
   とる直前に行う要求に対してのみ、該書き込みの終了を
   伝える通信を発生 させることを特徴とするバリア同期に
   おける非同期通信完了保証方法。