JP3384601B2 - 並列処理計算機 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は並列処理計算機に関
し、特にたとえば、各々が関連の局所メモリを有する複
数のデータ処理装置ないし要素プロセサが通信リンクに
よって相互に結合されて構成される並列処理計算機に関
する。

【０００２】

【従来の技術】近年、並列処理計算機の実用化に向けて
並列処理向きのプロセサの研究開発が盛んである。特
に、並列処理計算機を構成する各要素プロセサ（以下、
単に「プロセサ」とよばれることもある。）に局所メモ
リ（ローカルメモリ）が接続された分散メモリ型の並列
処理計算機は、処理すべきデータを各局所メモリに分割
配置し、演算およびメモリアクセスを要素プロセサ毎に
独立かつ並列に行うことができるため、逐次計算機に比
べて処理の大幅な高速化が可能になる。

【０００３】しかし、科学技術計算などの大規模かつ複
雑な計算を行うためには、要素プロセサどうしが互いに
局所メモリ内のデータを送受しながら並列処理を行うこ
とが不可欠である。このための機構として、プロセサ間
通信機構が効率良く実装されていることが並列処理計算
機の１つの要件といえる。さらに、複数の要素プロセサ
どうしが一定の処理を終えたことを互いに確認し合いな
がら共同して処理を進めてゆくことが、正しい計算結果
を得るために不可欠である。このための機構として、プ
ロセサ間の同期機構が効率良く実装されている必要があ
る。

【０００４】まず、分散メモリ型の並列処理計算機にお
けるプロセサ間の通信機構として、自分と異なる（リモ
ート）プロセサの局所メモリ、すなわちリモートメモリ
に直接データを書き込むような機構が提案されている。
特に、リモートメモリへのデータの書き込みを発行した
プロセサが、その終了を待たずに次の処理を行える、す
なわちリモートメモリへの非同期書き込みをサポートす
る機構は、効率的な並列処理プログラムを実装する上で
非常に有効であることが知られている。

【０００５】また、プロセサ間同期の方法の１つとし
て、一般にバリア同期と呼ばれる手法が広く用いられて
いる。バリア同期は、並列処理計算機システム中で、同
期をとるべき全てのプロセサが、プログラムのバリアと
呼ばれる一定の段階に到達したことが保証されてはじめ
て、各々次の段階に進めるような同期の手法である。つ
まり、先にバリアに到達したプロセサは他の全てのプロ
セサがバリアに到達するまで次の段階に進めないことに
なる。

【０００６】

【発明が解決しようとする課題】ここで、上述のリモー
トメモリへの非同期書き込みを可能にする機構を、バリ
ア同期機構と併用することを考える。リモートメモリへ
の書き込みは非同期的に行われるため、或るプロセサＡ
から他のプロセサＢに対してリモートメモリ非同期書き
込みが発行された後、この処理が終了する前に両方のプ
ロセサがバリアに到達することは容易に起こり得る状況
である。特に大規模な並列処理計算機システムにおいて
は、プロセサ間の通信経路（リンク）上にリモートメモ
リ非同期書き込み要求が存在する時間を事前に見積もる
ことは困難である。ここで、非同期書き込みの処理が実
際に実行される以前にバリア同期が成立してしまうと、
プロセサＢはプロセサＡからのデータが到着する前のメ
モリの内容を用いて次の段階の計算を始めてしまうこと
になり、正しい計算結果を得られないことになる。した
がって、バリア同期の成立は、全てのプロセサがバリア
に到達したことだけではなく、プロセサ間での非同期書
き込み処理が終了したことも保証しなければならない。

【０００７】それゆえに、この発明の主たる目的は、確
実にリモートメモリ非同期書き込みの処理が終了した後
にバリア同期を成立させることができる、並列処理計算
機を提供することである。

【０００８】

【課題を解決するための手段】この発明は、複数の要素
プロセサと、複数の要素プロセサの各々に接続された複
数の局所メモリとを備え、複数の要素プロセサが複数の
通信リンクによって相互に結合され、さらに複数の要素
プロセサとバリア同期の制御を行うためのバリア同期制
御装置とがバリア同期制御信号線によって結合された並
列処理計算機であって、バリア同期制御装置は、グルー
プフェーズを保持し、バリア同期が成立する毎にそのグ
ループフェーズを異なる状態に更新する第１の手段を備
え、各要素プロセサは、プロセサフェーズを保持し、当
該要素プロセサがバリアに到達する毎にそのプロセサフ
ェーズを当該要素プロセサの属するプロセサグループの
グループフェーズと同じ状態に更新する第２の手段、他
の要素プロセサに対してメッセージを通信リンクを経由
して送信する際に、メッセージを発行する要素プロセサ
のプロセサフェーズがメッセージフェーズとして付加さ
れたメッセージとして発行する第３の手段、およびプロ
セサフェーズが当該要素プロセサの属するプロセサグル
ープのグループフェーズと一致しており、かつ当該要素
プロセサ内に存在する全てのリモートメモリ書き込み要
求メッセージが保持しているメッセージフェーズがグル
ープフェーズと一致するときに限りバリア成立を承認す
る信号を生成する第４の手段を備え、バリア同期制御装
置は全ての要素プロセサの第４の手段がバリア成立を承
認したときに限り、バリア成立を全ての要素プロセサに
通知する第５の手段をさらに備える、並列処理計算機で
ある。

【０００９】

【作用】バリア同期制御装置の第１の手段は、バリア同
期をとるべきプロセサのグループに対して付加されるも
ので、そのプロセサグループの実行フェーズ（以下、
「グループフェーズ」と呼ぶ。）を保持し、バリア同期
が成立する毎にグループフェーズを異なる状態に更新す
るグループフェーズ管理機能である。

【００１０】第２の手段は、各要素プロセサに対して付
加されるもので、要素プロセサの実行フェーズ（以下、
「プロセサフェーズ」と呼ぶ。）を保持し、当該要素プ
ロセサがバリアに到達する毎にプロセサフェーズを当該
要素プロセサの属するプロセサグループのグループフェ
ーズと同じ状態に更新するプロセサフェーズ管理機能で
ある。

【００１１】第３の手段は、各要素プロセサに対して付
加されるもので、或る要素プロセサから他の要素プロセ
サに対するデータ通信を、通信リンクを経由するメッセ
ージとして発行するメッセージ送出機能である。このと
き、各メッセージにはそのメッセージを発行する要素プ
ロセサのプロセサフェーズが付加されて送出される。以
下、このメッセージに付加されるフェーズ情報をメッセ
ージフェーズと呼ぶ。

【００１２】第４の手段は、各要素プロセサに対して付
加されるもので、要素プロセサのプロセサフェーズが当
該要素プロセサの属するプロセサグループのグループフ
ェーズと一致しており、かつ、バリア成立以前に処理さ
れるべきリモートメモリ非同期書き込み要求メッセージ
のうち、そのメッセージフェーズがグループフェーズと
異なるものを送出中、転送中、受信中のいずれの状態に
もないときに限り、バリア成立を承認する信号を生成す
るバリア承認機能である。

【００１３】バリア同期制御装置の第５の手段は、バリ
ア同期をとるべきプロセサグループに対して付加される
もので、そのプロセサグループに属する全ての要素プロ
セサの第４の手段がバリア成立を承認するとき、バリア
成立をその全ての要素プロセサ、および第１の手段に通
知するバリア成立通知機能である。第３の手段のメッセ
ージ送出機能によって、バリア同期成立以前に完了が保
証されなければならないリモートメモリ非同期書き込み
要求には、要求発行時の要求発行プロセサにおけるプロ
セサフェーズが付加されて送出される。未処理のリモー
トメモリ非同期書き込み要求メッセージのうち、そのメ
ッセージフェーズとグループフェーズが異なるものがプ
ロセサグループ内のプロセサ、あるいは通信リンク上に
存在すれば、第４の手段、すなわちバリア承認機能によ
っていずれかの要素プロセサによってバリア承認がなさ
れないことが保証される。要素プロセサがバリアに到達
すると第２の手段、すなわちプロセサフェーズ管理機能
によってその要素プロセサのプロセサフェーズがグルー
プフェーズと同一のものに更新される。したがって、バ
リア成立以前に処理されなければならないリモートメモ
リ非同期書き込み要求が存在せず、全ての要素プロセサ
がバリアに到達した状態においてはじめて第５の手段で
あるバリア成立通知機能がプロセサグループに属する全
ての要素プロセサに対してバリア同期の成立を通知し、
要素プロセサのプログラムが次の段階に進めることを許
可する。

【００１４】第１の手段、すなわちグループフェーズ管
理機能は第５の手段からバリア同期の成立を通知される
と、グループフェーズを異なったものに更新する。この
ことにより要素プロセサの第４の手段はバリア承認を停
止し、次回のバリア同期の実行に備える。このように、
この発明では、バリア同期の成立は、バリア同期成立以
前に完了が保証されなければならないリモートメモリ非
同期書き込み要求の全てが完了した後に行われることが
保証される。

【００１５】

【発明の効果】この発明によれば、バリア成立以前に完
了が保証されなければならないリモートメモリ非同期書
き込みメッセージにはそのメッセージを生成した要素プ
ロセサのプロセサフェーズが付加され、このメッセージ
を送信、転送、受信するための経路上の全ての要素が、
このメッセージの存在を監視している。そして、バリア
成立以前に完了が保証されなければならないリモートメ
モリ非同期書き込みメッセージがシステム中に存在する
期間は、いずれかの要素プロセサがバリア承認信号とし
て偽を出力するため、バリア同期が成立することはな
い。したがって、この発明によれば、バリア同期の成立
時には、全てのプロセサがバリアに到達したことだけで
はなく、プロセサ間での非同期書き込み処理が終了した
ことを保証することができる。

【００１６】この発明の上述の目的，その他の目的，特
徴および利点は、図面を参照して行う以下の実施例の詳
細な説明から一層明らかとなろう。

【００１７】

【実施例】図１に示す実施例の並列処理計算機１０は、
ｎ×ｍ台のデータ処理装置（以下、単に「プロセサ」と
呼ぶこともある。）Ｐ₀₀〜Ｐ_nmを含む、たとえばトーラ
ス結合網のような結合網１２を有する。トーラス結合網
１２とは、複数のプロセサを行列配置し、各列方向、す
なわち南北方向のプロセサ列を循環的に結合する複数の
列通信線Ｃ１₀ 〜Ｃ１_m およびＣ２₀ 〜Ｃ２_m と、各行
方向、すなわち東西方向のプロセサ行を循環的に結合す
る複数の行通信線Ｒ１₀ 〜Ｒ１_n およびＲ２ ₀ 〜Ｒ２_n
とで、任意のプロセサ間のメッセージ通信を可能とした
ものである。

【００１８】なお、この発明は、トーラス結合網以外
の、任意の形態の、複数のデータ処理装置を結合した結
合網に適用されてもよい。さらに、結合網１２、すなわ
ち結合網１２を構成する各データ処理装置Ｐ₀₀〜Ｐ
_nmと、バリア同期を制御するためのバリア同期制御装置
１４とが、バス信号線であるバリア同期制御網１６によ
って接続される。

【００１９】図１実施例の各データ処理装置Ｐは、図２
に示すように、要素プロセサＰＥに局所メモリＬＭが接
続された構成となっている。図１に示す各通信線Ｃ１，
Ｃ２，Ｒ１およびＲ２ならびにバリア同期制御網１６が
要素プロセサＰＥに接続される。すなわち、結合網制御
機構１８は、図１の各通信線Ｃ１，Ｃ２，Ｒ１およびＲ
２に結合された東西南北４系統の通信ポート２０ｎ，２
０ｓ，２０ｅおよび２０ｗを保持し、トーラス結合網１
２（図１）に基づく経路制御を行う。また、結合網制御
機構１８は、通信ポート２０ｎ，２０ｓ，２０ｅおよび
２０ｗを経由して自身に向けて到着したメッセージをメ
ッセージ受信制御機構２２に対して出力するとともに、
メッセージ送信制御機構２４によって生成されたメッセ
ージを受けて、４系統のうちの適切な通信ポートを経由
してそれを出力する。

【００２０】命令フェッチ機構２６は局所メモリＬＭに
格納されたプログラム命令を局所メモリバス２８を通じ
て順次フェッチし、解釈を行う。命令実行機構３０は命
令フェッチ機構２６によって解釈された命令の実行を行
う。なお、要素プロセサＰＥの一部の命令には他のプロ
セサへのメッセージ送出を指示する命令が存在するが、
命令実行機構３０は、このような命令を実行するとき、
メッセージ送信制御機構２４に対して、メッセージの宛
先要素プロセサのアドレス，およびメッセージのタイ
プ，データ内容等の情報を送出する。

【００２１】そして、メッセージ送信制御機構２４は、
命令実行機構３０から受け取った情報に従って、メッセ
ージ通信を実行する。メッセージタイプとしては、他の
データ処理装置ないしプロセサに対して特定のプログラ
ム実行を要求するプログラム実行要求（Remote Procedu
re Call ：ＲＰＣ），他のデータ処理装置ないしプロセ
サの局所メモリにデータを書き込むためのリモートメモ
リ非同期書き込み要求（Remote Asynchronous Write ：
ＲＡＷ），他のデータ処理装置ないしプロセサの局所メ
モリにデータを書き込むとともにその終了を発行側に通
知して戻すためのリモートメモリ書き込み要求（Remote
Synchronous Write：ＲＳＷ），および他のデータ処理
装置ないしプロセサの局所メモリのデータを読み出すた
めのリモートメモリ読み出し要求（Remote Read ：Ｐ
Ｒ）などがある。ただし、この実施例においては、メッ
セージ送信制御機構２４から出力されるメッセージに
は、メッセージ出力時点におけるプロセサフェーズの情
報が付加される。このプロセサフェーズ情報は後述の同
期制御機構３２からのプロセサフェーズ信号３４によっ
て与えられる。

【００２２】なお、図３にメッセージ送信制御機構によ
って生成されるメッセージの構造の一例を示す。メッセ
ージ受信制御機構２２は他のプロセサから自身のプロセ
サ宛に送られてきたメッセージの処理を行う機構であ
る。メッセージ受信制御機構２２はＲＡＷ（リモートメ
モリ非同期書き込み要求）メッセージに対しては、その
メッセージの指示内容に従って要求された局所メモリの
アドレスに、要求されたデータの書き込みを局所メモリ
バス２８を通じて直接行う。また、ＲＰＣ（プログラム
実行要求）メッセージに対しては、そのメッセージによ
って指示されたプログラムアドレスを用いたプログラム
の実行開始を命令フェッチ機構２６に通知する。また、
ＰＲ（リモートメモリ読み出し要求）メッセージに対し
ては、そのメッセージによって指示されたアドレスの局
所メモリの内容をそのメッセージを発行した要素プロセ
サに戻すためのメッセージの生成をメッセージ送信機構
２４に指示する。

【００２３】同期制御機構３２は、バリア同期制御網１
６を介してバリア同期制御装置１４（図１）と信号の授
受を行いながら、プロセサのバリア同期の承認および成
立の制御管理を行う。同期制御機構３２にはメッセージ
受信制御機構２２からのバリア承認信号３６，結合網制
御機構からのバリア承認信号３８，およびメッセージ送
信制御機構２４からのバリア承認信号４０が入力され、
これら全ての承認信号が真となり、なおかつプログラム
が既にバリアに到着しているときに限り、バリア同期制
御装置１４に対して、バリア同期制御網１６を通して、
自己の要素プロセサＰＥがバリアを承認していることを
通知する。バリア承認信号とは、バリアを成立させるこ
とを承認する信号である。

【００２４】そして、バリア同期制御網１６を通してバ
リア同期制御装置１４からバリアが成立した通知を受け
取ると、この同期制御機構３２は、命令実行機構３０に
対するバリア成立信号４２を生成する。また、同期制御
機構３２は、バリア同期制御網１６を介してバリア同期
制御装置１４からのプロセサグループフェーズを入力
し、これを結合網制御機構１８，メッセージ受信制御機
構２２およびメッセージ送信制御機構２４の各々に対し
て、グループフェーズ信号４４，４６および４８を用い
て通知する。さらに、同期制御機構３２は命令実行機構
３０から、プログラムがバリアに到達したときに真とな
るバリア到達信号５０を受ける。

【００２５】したがって、バリア同期制御網１６は、図
４に示すように、各要素プロセサから出力されるバリア
承認信号５２，およびバリア同期制御装置１４から出力
されるバリア成立信号５４およびグループフェーズ信号
５６を含むバス信号線として構成されている。図５に詳
細に示すバリア同期制御装置１４は、各要素プロセサの
同期制御機構３２（図２）との間でバリア同期制御網１
６を介して通信を行い、プロセサグループ全体のバリア
同期の制御を行う。第１の手段を構成するグループフェ
ーズレジスタ５８は、たとえば１ビットのデータレジス
タであり、「０」または「１」のグループフェーズない
しフラグを保持しており、この値をグループフェーズ信
号５６として出力し、全ての要素プロセサにグループフ
ェーズを通知する。全ての要素プロセサがバリア承認信
号５２として真を発生すると、バリア同期制御装置１４
は、第５の手段を構成するＡＮＤゲート６０からバリア
成立信号５４に真を発生し、全てのプロセサにバリア同
期の成立を通知する。したがって、このＡＮＤゲート６
０が第５の手段として作用する。さらに、このバリア成
立時には、グループフェーズレジスタ５８はその内容を
反転（「０」から「１」に、あるいは「１」から「０」
に）する。

【００２６】次に、図６に詳細に示す各要素プロセサの
同期制御機構３２は、バリア同期制御装置１４との間で
バリア同期制御網１６を介して通信を行い、要素プロセ
サのバリア同期の制御を行う。同期制御機構３２は、バ
リア同期制御網１６を通してバリア同期制御装置１４か
ら入力されるグループフェーズ信号５６を受け、この値
「１」または「０」を要素プロセサ内の結合網制御機構
１８，メッセージ受信制御機構２２およびメッセージ送
信制御機構２４に、信号４４，４６および４８としてそ
れぞれ伝達する。また、第２の手段として機能するプロ
セサフェーズ保持機構６０は、たとえば１ビットのデー
タレジスタを含み、「１」または「０」のプロセサフェ
ーズないしフラグを保持しておき、命令実行機構３０
（図２）から出力されたバリア到達信号５０を受け取る
と、このプロセサフェーズの値を反転（「１」から
「０」に、または「０」から「１」に）させる。上述の
グループフェーズ信号５６とプロセサフェーズ信号３４
とが第４の手段の一部を構成する一致判定機構６２に与
えられる。したがって、この２つの信号の一致判定によ
り、プログラムがバリアに到達したかどうかを判定する
ことができる。このことは次のように説明できる。

【００２７】まず、初期状態ではグループフェーズを
「１」、各要素プロセサのプロセサフェーズを「０」と
しておく。プログラムがバリアに到達した要素プロセサ
のプロセサフェーズは上述のように反転して「１」とな
る。応じて、一致判定機構６２は真を生成し、さらに要
素プロセサ内の各部よりのバリア承認信号３８，３６お
よび５０が真となると、第４の手段の一部を構成するＡ
ＮＤゲート６４によって生成される要素プロセサのバリ
ア承認信号５２も真となる。

【００２８】さらに、全ての要素プロセサがバリア承認
信号５２を真とするとき、バリア同期制御装置１４は前
述のようにバリア成立信号５４を生成すると同時に、グ
ループフェーズ信号を反転させる。このとき、グループ
フェーズ信号は「０」、また各要素プロセサのプロセサ
フェーズは全て「１」となっている。この時点で一致判
定機構６２は偽を生成することになり、次のバリア同期
に対する準備が整ったことになる。

【００２９】次に、プログラムが２度目にバリアに到達
すると、今度はプロセサがフェーズが「０」となり、一
致判定機構６２は真を生成する。さらに、全ての要素プ
ロセサのバリア承認信号５２が真となると、バリア同期
制御装置１４はバリア成立信号５４を生成すると同時
に、グループフェーズ信号を反転させる。この時点での
グループフェーズは「１」、各要素プロセサのプロセサ
フェーズは全て「０」であり、これは初期状態と同じと
なる。以下、この繰り返しによってバリア同期が制御さ
れる。

【００３０】そして、図７に詳細に示す結合網制御機構
１８は、要素プロセサの東西南北４系統の通信ポート２
０ｎ，２０ｓ，２０ｅおよび２０ｗから入力されたメッ
セージ、およびメッセージ送信制御機構２４から信号線
６５を通して入力されたメッセージを、その宛先に従っ
て適切な通信ポート２０ｎ，２０ｓ，２０ｅまたは２０
ｗあるいはメッセージ受信制御機構２２（信号線６６）
に転送する。入力されたメッセージの先頭は、まずメッ
セージバッファ６８に格納され、宛先アドレスの判別が
行われる。５つの出力ポートのいずれが選択されるべき
かに従って、クロスバスイッチ７０がメッセージを適切
な経路に導く。ここで、前述のように各メッセージに
は、図３に示すメッセージタイプと、メッセージフェー
ズとが付加されている。メッセージフェーズは、メッセ
ージ生成時の、メッセージを生成した要素プロセサのプ
ロセサフェーズに等しい。

【００３１】ここで、注目すべきは、第４の手段の一部
を構成する結合網制御機構１８のメッセージバッファ６
８のうちのいずれかがグループフェーズと異なるメッセ
ージフェーズを持つＲＡＷメッセージを転送中であるな
らば、結合網制御機構１８からのバリア承認信号３８に
偽を出力することである。結合網制御機構１８が転送中
のメッセージを持たないか、あるいは全ての転送中のメ
ッセージが、グループフェーズと等しいフェーズを持つ
のであれば、そのバリア承認信号３８として真が出力さ
れる。

【００３２】この機能を実現するため、各メッセージバ
ッファ６８にはバリア同期制御装置１４からグループフ
ェーズ信号５６が入力されている。そして、メッセージ
バッファ６８は、ＲＡＷメッセージを転送中であり、か
つそのＲＡＷメッセージのメッセージフェーズがグルー
プフェーズと異なるものであるとき、メッセージバッフ
ァからのバリア承認信号７２に偽を出力する。メッセー
ジバッファ６８がメッセージを転送中ではないか、ある
いは転送中のメッセージのメッセージフェーズがグルー
プフェーズに等しい場合には、メッセージバッファから
のバリア承認信号７２に真を出力する。全てのメッセー
ジバッファ６８のバリア承認信号７２がＡＮＤゲート７
４に与えられ、このＡＮＤゲート７４の出力が結合網制
御機構１８のバリア承認信号３８として出力される。

【００３３】次に、図８にメッセージ送信制御機構２４
の一例を詳細に示す。メッセージ送信制御機構２４は、
命令実行機構３０およびメッセージ受信制御機構２２か
らのメッセージ送信要求７６に従って、メッセージの生
成を行い、結合網制御機構１８に対する出力を行う。メ
ッセージ送信要求には、メッセージタイプ，宛先プロセ
サアドレス，宛先メモリアドレス，データ長，および送
信すべきデータが格納されている局所メモリのアドレス
（ソースアドレス）の情報が含まれている。これを図３
のようなメッセージとして構成するために、メッセージ
送信制御機構２４では、これらの情報を対応するレジス
タ７８，８０，８２，８４および８６に保持し、さらに
同期制御機構３２から入力されるプロセサフェーズ信号
３４をメッセージフェーズレジスタ８８に保持する。そ
して、図３のメッセージの構成に従って、順次結合網制
御機構１８に各ワードを出力する。特に、局所メモリＬ
Ｍ（図２）の内容をメッセージのデータ内容として出力
するために、局所メモリを読み出すアドレスを生成する
ためのソースアドレスカウンタ８６，および読み出した
局所メモリの内容を一時的に保持するためのデータレジ
スタ９０を備える。

【００３４】ここで、注目すべきは、メッセージ送信制
御機構２４が、第３の手段すなわち生成するメッセージ
にプロセサフェーズ情報を付加する機能を備えている点
である。そして、メッセージフェーズレジスタ８８に
は、同期制御機構３２からのグループフェーズ信号４８
が入力されており、送信中のＲＡＷメッセージのフェー
ズの値がグループフェーズと異なる場合には、メッセー
ジ送信制御機構２４のバリア承認信号４０に偽を出力す
る。メッセージを送信中でないか、送信中のメッセージ
のフェーズがグループフェーズと同じである場合には、
メッセージ送信制御機構２４からのバリア承認信号４０
として真が出力される。

【００３５】図９に詳細に示すメッセージ受信制御機構
２２は、結合網制御機構１８からの自己の要素プロセサ
宛のメッセージを入力し、そのメッセージタイプに応じ
て種々の操作を行う。まず、結合網制御機構１８から信
号線９１を通して入力されたメッセージのフェーズ情
報，メッセージタイプ，宛先メモリアドレスおよびデー
タ長の情報が、それぞれ、対応するレジスタ９２，９
４，９６および９８に格納される。ここで、データ長が
「０」以外のメッセージに対しては、メッセージのデー
タ内容をデータレジスタ１００に一時的に格納し、この
内容を局所メモリバス２８を経由して直接局所メモリＬ
Ｍ（図２）の宛先メモリアドレスカウンタ９６が示すア
ドレスに書き込む操作を行う。この操作は、宛先メモリ
アドレスカウンタ９６をインクリメントしながらメッセ
ージの全てのデータ内容がメモリに書き込まれるまで続
けられる。その後、メッセージタイプ判別機構９４はメ
ッセージタイプに応じて、信号線１０２あるいは１０４
を通して、命令フェッチ機構２６（図２）あるいはメッ
セージ送信制御機構２４（図２）に後続すべき操作の指
示を行う。たとえば、ＲＰＣメッセージに対しては、格
納されたメッセージデータのアドレスを命令フェッチ機
構２６に通知し、そこに格納されたパラメータ情報を用
いてプログラム実行を指示する。また、ＰＲメッセージ
に対しては、要求されたメモリ内容をリターンメッセー
ジとして送信するための指示がメッセージ送信制御機構
２４に対してなされる。ＲＡＷメッセージに対しては上
で述べた局所メモリへの書き込み以外の操作は必要な
い。

【００３６】ここで、注目すべきは、メッセージフェー
ズレジスタ９２に同期制御機構３２からのグループフェ
ーズ信号４６が入力されており、受信中のＲＡＷメッセ
ージのフェーズの値が、グループフェーズの値と異なる
場合には、メッセージ受信制御機構２２からのバリア承
認信号３６に偽を出力することである。メッセージを受
信中でないか、受信中のメッセージのフェーズがグルー
プフェーズと等しい場合には、メッセージ受信制御機構
２２のバリア承認信号３６としては真が出力される。

【図面の簡単な説明】

【図１】この発明の一実施例を示す概略ブロック図であ
る。

【図２】図１実施例のデータ処理装置の一例を示す機能
ブロック図である。

【図３】データ処理装置間のデータ通信に用いられるメ
ッセージの構造を示す説明図である。

【図４】図１実施例のバリア同期制御網の一例を示す図
解図である。

【図５】図１実施例のバリア同期制御装置の一例を示す
機能ブロック図である。

【図６】データ処理装置の要素プロセサの同期制御機構
の一例を示す機能ブロック図である。

【図７】データ処理装置の要素プロセサの結合網制御機
構の一例を示す機能ブロック図である。

【図８】データ処理装置の要素プロセサのメッセージ送
信制御機構の一例を示す機能ブロック図である。

【図９】データ処理装置の要素プロセサのメッセージ受
信制御機構の一例を示す機能ブロック図である。

【符号の説明】

１０ …並列処理計算機 １２ …結合網 Ｐ₀₀〜Ｐ_nm …データ処理装置 Ｃ１₀ 〜Ｃ１_m ，Ｃ２₀ 〜Ｃ２_m …列方向通信線 Ｒ１₀ 〜Ｒ１_n ，Ｒ２₀ 〜Ｒ２_n …行方向通信線 １４ …バリア同期制御装置 １６ …バリア同期制御網 ＰＥ …要素プロセサ ＬＭ …局所メモリ １８ …結合網制御機構 ２２ …メッセージ受信制御機構 ２４ …メッセージ送信制御機構 ３２ …同期制御機構

フロントページの続き (56)参考文献 特開 平４−260962（ＪＰ，Ａ) 特開 平６−332689（ＪＰ，Ａ) 特開 平６−266678（ＪＰ，Ａ) 特開 平６−187303（ＪＰ，Ａ) 特開 平５−127899（ＪＰ，Ａ) 特開 平４−199257（ＪＰ，Ａ) 特開 平１−241662（ＪＰ，Ａ) 特開 昭51−32147（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 15/16 - 15/177 G06F 9/46

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】複数の要素プロセサと、前記複数の要素プ
   ロセサの各々に接続された複数の局所メモリとを備え、
   前記複数の要素プロセサが複数の通信リンクによって相
   互に結合され、さらに前記複数の要素プロセサとバリア
   同期の制御を行うためのバリア同期制御装置とがバリア
   同期制御信号線によって結合された並列処理計算機であ
   って、 前記バリア同期制御装置は、グループフェーズを保持
   し、バリア同期が成立する毎にそのグループフェーズを
   異なる状態に更新する第１の手段を備え、 各要素プロセサは、 プロセサフェーズを保持し、当該要素プロセサがバリア
   に到達する毎にそのプロセサフェーズを当該要素プロセ
   サの属するプロセサグループのグループフェーズと同じ
   状態に更新する第２の手段、 他の要素プロセサに対してメッセージを通信リンクを経
   由して送信する際に、メッセージを発行する要素プロセ
   サのプロセサフェーズがメッセージフェーズとして付加
   されたメッセージとして発行する第３の手段、および前
   記プロセサフェーズが当該要素プロセサの属するプロセ
   サグループのグループフェーズと一致しており、かつ当
   該要素プロセサ内に存在する全てのリモートメモリ書き
   込み要求メッセージが保持しているメッセージフェーズ
   がグループフェーズと一致するときに限りバリア成立を
   承認する信号を生成する第４の手段を備え、 前記バリア同期制御装置は全ての要素プロセサの前記第
   ４の手段がバリア成立を承認したときに限り、バリア成
   立を前記全ての要素プロセサに通知する第５の手段をさ
   らに備える、並列処理計算機。
2. 【請求項２】前記複数の要素プロセサは各々バリア承認
   信号を前記バリア同期制御信号線を通して前記バリア同
   期制御装置に送り、 前記第１の手段は、前記グループフェーズを保持するグ
   ループフェーズレジスタ、および前記複数の要素プロセ
   サからの前記バリア承認信号が全て真のとき真の信号を
   出力して前記グループフェーズレジスタに与えるＡＮＤ
   手段を含む、請求項１記載の並列処理計算機。
3. 【請求項３】前記第５の手段は前記ＡＮＤ手段を含む、
   請求項２記載の並列処理計算機。
4. 【請求項４】前記複数の要素プロセサの各々は当該要素
   プロセサがバリアに到達したときバリア到達信号を出力
   する手段を含み、 前記第２の手段は前記バリア到達信号に応じた前記プロ
   セサフェーズを保持するプロセサフェーズレジスタを含
   む、請求項１ないし３のいずれかに記載の並列処理計算
   機。
5. 【請求項５】前記複数の要素プロセサの各々は他の要素
   プロセサに対して送信すべきメッセージを出力する手段
   を含み、 前記第３の手段は、前記プロセサフェーズに応じた信号
   をメッセージフェーズとして保持するメッセージフェー
   ズレジスタ、および前記メッセージに前記メッセージフ
   ェーズレジスタに保持されたメッセージフェーズを付加
   して出力する信号線を含む、請求項１ないし４のいずれ
   かに記載の並列処理計算機。
6. 【請求項６】前記第４の手段は、他の要素プロセサから
   送信されてきたメッセージフェーズを有するメッセージ
   を保持する第１のメッセージバッファ、自己の要素プロ
   セサから他の要素プロセサに送信すべきメッセージフェ
   ーズを有するメッセージを保持する第２のメッセージバ
   ッファ、前記第１および第２のメッセージバッファに前
   記グループフェーズを入力する手段、前記第１および第
   ２のメッセージバッファのメッセージフェーズと前記グ
   ループフェーズとが一致しているとき真の第１の承認信
   号を出力する手段、前記プロセサフェーズに応じた信号
   をメッセージフェーズとして保持するとともに前記メッ
   セージフェーズが前記グループフェーズと一致している
   とき真の第２の承認信号を出力するメッセージフェーズ
   レジスタ、および前記第１および第２の承認信号がとも
   に真のときにのみ前記バリアの成立を承認する信号を生
   成する手段を含む、請求項１ないし４のいずれかに記載
   の並列処理計算機。