JPH08110894A

JPH08110894A - 並列計算機システム

Info

Publication number: JPH08110894A
Application number: JP7205804A
Authority: JP
Inventors: Takayuki Nakagawa; 貴之中川
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1994-08-15
Filing date: 1995-08-11
Publication date: 1996-04-30
Anticipated expiration: 2015-08-11
Also published as: JP3115801B2

Abstract

(57)【要約】【課題】ネットワーク接続マルチプロセッサ計算機シ
ステムにおいて、コストパフォーマンスが良く多機能な
ネットワーク制御を実現することが可能な技術を提供す
る。【解決手段】複数のプロセッサをネットワークで接続
した計算機システムにおいて、追加の伝送線に割り込み
信号線を設ける。プロセッサの通信にはパケットが使用
されるが、バリア同期処理の際には固定長のバリア同期
パケットが用いられる。バリア同期パケットは通常のパ
ケットと同一の伝送線で送信制御回路から転送される
が、さらに、割り込み信号線にも割り込み信号が転送さ
れる。一方、受信制御回路には、バリア同期パケットを
最高優先度とした優先度制御回路を設けられており、前
記割り込み信号線の割り込み信号に応答して、通常パケ
ットを記憶するために用意したレジスタファイルにバリ
ア同期パケットを書き込まずにプロセッサへ送る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、並列計算機システ
ムに関し、特に、プログラムの実行の高速化を目指した
マルチプロセッサ計算機システムにおけるプロセッサ間
ネットワークのコストパフォーマンスの良い構成に関す
るものである。

【０００２】

【従来の技術】従来、マルチプロセッサ計算機システム
におけるネットワーク多機能化に関しては、電子通信学
会技術研究報告ＣＰＳＹ91-26，Vol.91，No.130，「高並
列計算機ＡＰ１０００のアーキテクチャと性能評価」(以
下、文献１)に開示されている。この並列計算機システ
ムは、図７に示す構成になっている。

【０００３】図７は、バリア同期プロトコルと汎用のＳ
ＥＮＤプロトコルの２つのプロトコルを備える従来技術
によるシステム構成図であり、Ａ，Ｂ，Ｃ，Ｄは夫々プ
ロセッサ、１０７はバリア(barrier)同期ネットワー
ク、１０８はネットワーク、１は命令プロセッサ、２メ
モリ制御回路、３はメモリ、４８はネットワークインタ
フェース回路、４９はバリア同期制御回路である。

【０００４】マルチプロセッサにおいては、複数のプロ
セッサで処理を分担して実行している。バリア同期と
は、あるプロセッサだけが処理を進み過ぎないようにす
るために、ある特定の命令の実行に達した段階で処理を
停止し、他のプロセッサが同じ段階に達するのを待ち、
複数のプロセッサが同じ段階に達した時点で、一斉に処
理を再開するものである。これにより、複数のプロセッ
サ間において処理の同期をとるものである。

【０００５】前記文献１の技術では、並列計算機システ
ム内に用途別の複数系統のネットワークを備えることに
より、高速なネットワーク処理を実現することを述べて
いるが、ネットワークの高速性のみを重視して、大規模
並列システムのコストパフォーマンスについて配慮して
いない。

【０００６】その結果、ネットワーク機能を飛躍的に改
善しているが、ネットワークのコストパフォーマンスに
ついて配慮していないために、データ転送スループット
の等しく大きな３系統のネットワークを設け、信号線数
の増加によりプロセッササイズの増大をもたらし、結
局、使用するケーブル本数およびＬＳＩ（大規模集積回
路）搭載カード数が２倍になり、２倍コストがかかる。

【０００７】また、複数のパケット混在時にネットワー
クのスループットを向上するためのバーチャルチャンネ
ル制御については、IEEE，Transactions on Parallel a
nd Distributed Systems 1992 Vol.3,No.2,「Virtual-Ch
annel Flow Control」(Dally)(以下、文献２)に開示され
ている。

【０００８】

【発明が解決しようとする課題】前記文献２の技術で
は、１系統の物理ネットワークに同程度の規模を有する
複数のバッファを接続し、論理的には複数のネットワー
クを効率的に構成することが記述されている。文献２の
技術は、同程度の緊急性とパケット長を有するパケット
の複数を、処理可能なものから転送することによるシス
テムスループットの向上を目的としている。多数のプロ
セッサ間の同期をとるバリア同期の緊急性についての配
慮がない。さらに、バリア同期などの緊急性も高く、パ
ケット長も短いパケットが混在している時の転送制御ハ
ードウェアのコストパフォーマンスについての配慮もな
い。このため、多数のパケットの競合を比較的に低いコ
ストで軽減できるという効果があるものの、バッファの
切り替え時間や、レジスタファイルに書き込む処理によ
りバリア同期処理時間が長くなり、処理も複雑化すると
いう問題があった。

【０００９】本発明の目的は、ネットワーク接続マルチ
プロセッサ計算機システムにおいて、コストパフォーマ
ンスが良く多機能なネットワーク制御を実現することが
可能な技術を提供することにある。

【００１０】

【課題を解決するための手段】本願において開示される
発明のうち代表的なもの概要を簡単に説明すれば、以下
のとおりである。

【００１１】複数のプロセッサをネットワークで接続し
た並列計算機システムにおいて、パケットを伝送する伝
送線に、パケット間の到着順を変えるバーチャルチャン
ネルを実現する割り込み信号線を別途設ける。この割り
込み信号線は、優先すべきパケットの先頭が伝送線上に
存在することを示す割り込み信号を伝送する。この割り
込み信号で指示されたパケットの先頭の複数ビットを使
用して、そのパケットの用途の識別を行う。例えば、４
種の優先度のパケットを扱う場合においては、この複数
ビットで識別を行うため、割り込み信号線自体は、少な
くとも１本あればよい。従って、ネットワーク制御回路
の多機能化によりネットワークの伝送線数を削減し、シ
ステム内のプロセッサボード間を接続するケーブル本数
を削減することによりコストパフォーマンスが達成され
る。

【００１２】また、バリア同期パケットを最高優先度と
した優先度制御回路は、数千バイトの可変長のパケット
長を有する通常の通信パケット処理を、直ちに、バリア
同期パケット長に対応して固定サイクル数だけ止め、バ
リア同期処理を優先して転送する。従って、多数のプロ
セッサの間の１番遅いプロセッサの処理時間で全体処理
時間が決まるバリア同期処理が数千倍高速化され、従っ
て、バリア同期を含むユーザプログラムの処理時間が短
縮される。

【００１３】また、バリア同期パケットのように、最優
先で固定長のパケットを、バッファに書き込まずに通す
専用優先路を設けることにより、転送時間の短縮と、回
路の簡略化を行う。

【００１４】

【発明の実施の形態】実施例を説明するための全図にお
いて、同一機能を有するものは同一符号を付け、その繰
り返しの説明は省略する。尚、以下の説明に引用される
メモリ、フリップフロップ、レジスタの各手段は、本発
明の趣旨を逸脱しない限りにおいて、当業者であれば変
更し得る種々の記憶手段を用いることができる。

【００１５】本実施例の並列計算機システムは、図１に
示すように、複数のプロセッサＡ，Ｂ，Ｃ，Ｄがネット
ワーク１０５を介して接続されている。プロセッサＡ，
Ｂ，Ｃ，Ｄは、それぞれ同じ構成を有する。図１では、
プロセッサＡのみの内部構成を示し、他のプロセッサ構
成の表示は省略する。

【００１６】図１において、プロセッサＡ，Ｂ，Ｃ，Ｄ
は、命令制御回路１Ａ，１Ｂ，１Ｃ，１Ｄ、メモリ制御
回路２Ａ，２Ｂ，２Ｃ，２Ｄ、メモリ３Ａ，３Ｂ，３
Ｃ，３Ｄ、ネットワークインタフェース回路４Ａ，４
Ｂ，４Ｃ，４Ｄを有する。なお、１Ｂ，１Ｃ，１Ｄ，２
Ｂ，２Ｃ，２Ｄ，３Ｂ，３Ｃ，３Ｄ，及び４Ｂ，４Ｃ，
４Ｄは図１には図示していない。

【００１７】さらに、プロセッサＡ内のネットワークイ
ンタフェース回路４Ａは、送信制御回路４０１Ａ及び受
信制御回路４０２Ａを有する。同様に、プロセッサＢ内
のネットワークインタフェース回路４Ｂは、送信制御回
路４０１Ｂ及び受信制御回路４０２Ｂを有する。同様
に、プロセッサＣ内のネットワークインタフェース回路
４Ｃは、送信制御回路４０１Ｃ及び受信制御回路４０２
Ｃを有する。同様に、プロセッサＤ内のネットワークイ
ンタフェース回路４Ｄは、送信制御回路４０１Ｄ及び受
信制御回路４０２Ｄを有する。プロセッサＢ，Ｃ，Ｄ
は、プロセッサＡと同一構成なので、送信制御回路４０
１Ｂ，Ｃ，Ｄ及び受信制御回路４０２Ｂ，Ｃ，Ｄについ
ては、図１には示していない。

【００１８】また、ネットワーク１０５は、プロセッサ
Ａ内の受信制御回路４０２Ａに対応して、送信制御回路
４１１Ａを有する。また、ネットワーク１０５は、プロ
セッサＡ内の送信制御回路４０１Ａに対応して、受信制
御回路４１２Ａを有する。受信制御回路４０２Ａは、受
信制御回路４１２Ａと同一の構造をもつものである。ま
た、送信制御回路４０１Ａは送信制御回路４１１Ａと同
一構造をもつものである。

【００１９】そして、プロセッサＡの送信制御回路４０
１Ａから送信されたデータは、ネットワーク１０５内の
受信制御回路４１２Ａによって受信される。逆に、ネッ
トワーク１０５内の送信制御回路４１１Ａから送信され
たデータは、プロセッサＡ内の受信制御回路４０２Ａに
よって受信される。

【００２０】また、プロセッサＢ，Ｃ，Ｄ内の送信制御
回路４０１Ｂ，４０１Ｃ，４０１Ｄ及び受信制御回路４
０２Ｂ，４０２Ｃ，４０２Ｄに対しても、送信制御回路
４０１Ａと受信制御回路４０２Ａと同様に、受信制御回
路４１２Ｂ，４１２Ｃ，４１２Ｄおよび送信制御回路４
１１Ｂ，４１１Ｃ，４１１Ｄがネットワーク内に対応し
て設けられる。尚、受信制御回路４１２Ｂ（４１２Ｃ，
４１２Ｄ）および送信制御回路４１１Ｂ（４１１Ｃ，４
１１Ｄ）は、受信制御回路４０２Ａおよび送信制御回路
４０１Ａと夫々同一構成である。

【００２１】ここで、ネットワーク１０５内の送信制御
回路４１１Ａ，４１１Ｂ，４１１Ｃ，４１１Ｄは、スイ
ッチ５５０を介して、ネットワーク１０５内の任意の受
信制御回路４１２Ａ，４１２Ｂ，４１２Ｃ，４１２Ｄへ
データを送信する。

【００２２】さらに、受信制御回路４０２Ａは、通常受
信バッファキュー５０Ａとバリア同期受信制御回路６０
Ａが備えられている。また、図示していないが、受信制
御回路４０２Ｂ，４０２Ｃ，４０２Ｄ，４１２Ａ，４１
２Ｂ，４１２Ｃ，４１２Ｄも、受信制御回路４０２Ａと
同様に通常受信バッファキューとバリア同期受信制御回
路が備えられている。

【００２３】図２、図３は、この２つの図面で、本実施
例によるバリア同期と通常プロトコルを扱うネットワー
ク制御回路の構成を示しており、その信号線の接続関係
を丸で囲まれたアルファベットで示している。

【００２４】図１及び図２、図３において、１０〜１３
はバッファＩＤ切り替え信号線(割り込み信号線)であ
る。この信号線のバッファＩＤ切り替え信号(割り込み
信号)により、受信制御回路４０２Ｂでは通常受信バッ
ファキュー５０Ｂとバリア同期受信制御回路６０Ｂの切
り替え制御が行なわれ、送信制御回路４０１Ａにおいて
はスルーで伝えられる。

【００２５】また、ネットワーク１０５内では受信制御
回路４１２Ａから送信制御回路４１１Ｂへスイッチ５５
０を介して伝えられる。(図２、図３ではスイッチ５５
０を簡略化して示してある。)命令制御回路はバリア同
期制御が必要なとき、このバッファＩＤ切り替え信号を
制御することで通常受信バッファキューからバリア同期
受信制御回路へ切り替え、これにより、通常データの伝
送がストップし、バリア同期パケット優先パケットとし
てバリア同期受信制御回路を通すことによって通常デー
タを追い越して伝送可能とする。

【００２６】この動作が送信側から受信側までの伝送路
上にある全ての受信制御回路で行なわれるので、通常デ
ータの伝送が一度中断され、バリア同期パケットが転送
できる。バリア同期信号転送後は、再びバッファ切り替
え信号を元に戻すことにより、通常データの送信が再開
される。

【００２７】１９はメモリストア（レジスタストア）制
御信号線、２０〜２３はデータおよびバッファＩＤ信号
線、２４はレジスタロード信号線である。２８はバリア
同期開始レジスタ、２９はバリア同期完了報告レジスタ
である。

【００２８】３０〜３３はデータ送出信号線、４０〜４
２はバッファエントリ解放信号線(リリース信号線)、５
１は読み出しアドレスポインタ、５２は書き込みアドレ
スポインタ、５３は受信バッファ、５８は読み出し制御
用比較器である。

【００２９】６１はバリア同期パケット転送フリップフ
ロップ、６２は制御信号作成フリップフロップ、７０は
優先度制御回路（ＯＲゲート）、９７は受信バッファ空
きエントリ数アップダウンカウンタである。

【００３０】５００はプロセッサ間同期報告生成回路、
５０１Ａ，５０１Ｂはプロセッサ間同期フリップフロッ
プ、５０２はプロセッサ間同期用ＡＮＤ回路、５１１は
読み出しアドレス加算器、５２１は書き込みアドレス加
算器である。

【００３１】本実施例は、１系統の物理ネットワークに
バリア同期プロトコルと汎用のＳＥＮＤプロトコルの２
つのプロトコルを備えるシステムで説明するが、例え
ば、両者の中間の優先度のリモートメモリアクセスプロ
トコルを加え、固定長のパケットでシステム内の他のプ
ロセッサのメモリを読み出し、書き込み可能とする場合
は、一層高い信号数削減効果が得られる。

【００３２】本実施例においては、図２、図３に示すよ
うに、プロセッサＡの送信制御回路４０１Ａから送信し
たメッセージパケットは、ネットワーク１０５の受信制
御回路４１２Ａに転送され、パケット中に記述された送
信先プロセッサ番号に従って選択したネットワークの送
信制御回路４１１Ｂにスイッチされ、第２のプロセッサ
の受信制御回路４０２Ｂに到達される。プロセッサに到
着したメッセージパケットは、従来技術と同様の手順で
プロセッサメモリ上の受信領域中のアドレスに書き込ま
れるものとする。

【００３３】送信制御回路４０１Ａの中には、送信先の
受信バッファの空きエントリ数を計算するアップダウン
カウンタ９７が備えられている。

【００３４】バリア同期開始レジスタ２８から、信号線
１０にバリア同期パケット先頭の送出時に値１とする信
号を出力する。アップダウンカウンタ９７は、メモリ３
Ａからの読み出しデータ信号線２０にデータを送る度に
値１となるセンド信号（データ送出信号）を信号線３１
を受けて、これに応答してレジスタ９８の値をデクリメ
ント（−１）する。一方、送信先の受信バッファから１
エントリが送出され、バッファが空く度に返送されるリ
リース信号（バッファエントリ解放信号）を信号線４１
を介して受け取ると、カウンタ９７はレジスタ９８の値
をインクリメント（＋１）する。

【００３５】受信制御回路４０２Ｂ及び４１２Ａの中に
は、通常のメッセージパケットデータを一時格納する受
信バッファキュー５０Ａ、５０Ｂ、バリア同期受信制御
回路６０Ａ、６０Ｂおよび、本実施例でデータ線を３サ
イクル占有するバリア同期パケットを優先的に転送する
セレクタの制御信号を作成する制御信号作成フリップフ
ロップ６２および優先度制御回路（ＯＲゲート）７０か
らなる優先順位制御回路が備えられている。

【００３６】受信バッファキュー５０Ａ、５０Ｂは、受
信バッファ５３、書き込みアドレスポインタ５２と、ポ
インタを更新するアドレス加算器５２１、読み出しアド
レスポインタ５１と、読み出しアドレスポインタ５１を
更新するアドレス加算器５１１、および読み出しポイン
タ５１と書き込みポインタ５２の値を比較し、空でない
場合に読み出し制御信号線（データ送出信号）３３を発
信する比較器５８とで構成されている。

【００３７】バリア同期受信制御回路６０Ａ、６０Ｂに
は、バリア同期パケットデータを転送するフリップフロ
ップ６１が備えられる。

【００３８】送信制御回路４１２Ａからのデータおよび
バッファＩＤ信号は、デコード回路５１０Ａに与えられ
る。デコード回路は、転送されてきたパケットの先頭の
複数ビットをデコードし、用途の識別を行う。デコード
回路５１０Ａでは、送られてきたパケットがバリア同期
パケットかそれ以外かを判定し、バリア同期パケットな
らプロセッサ間同期フリップフロップ５０１Ａに転送す
る。バリア同期パケットでなければ、信号線５０４Ａを
介してマルチプレクサ５０３へ送る。デコード回路５１
０Ａと同じものが、他の送信制御回路にも設けられてい
る（送信制御回路４１２Ｂにはデコード回路５１０Ｂが
接続される）。

【００３９】送信制御回路４１２Ａからの信号線５６０
は、図示しない回路を経て信号線５７０に接続される。

【００４０】命令制御回路１Ａは、処理がある特定の段
階に達したら、バリア同期処理を開始するために、バリ
ア同期開始レジスタ２８に値１をセットし、バリア同期
パケットを信号線２０を介して転送する。このパケット
を同期報告パケットと称することにする。同期報告パケ
ットは、送信制御装置４０１Ａ、信号線２１を介し、ネ
ットワーク１０５中にあっては受信制御回路４１２Ａを
介して、プロセッサ間同期フリップフロップ５０１Ａに
蓄積される。

【００４１】同期報告パケットは、命令制御回路からバ
ッファＩＤ切り替え信号（レジスタ２８の値）と共に特
定の周期をもってして繰り返し転送される。同期が成立
し、後述する同期成立パケットを命令制御回路が受け取
るまで繰り返し発生される。バッファＩＤ切り替え信号
は、同期報告パケットと共に信号線１０、１１を介して
転送される。

【００４２】他の命令制御回路からも、処理がある特定
の段階に達したら、命令制御回路１Ａと同様にバリア同
期処理を開始する。例えば、命令制御回路１Ｂにおいて
も、処理がある段階に達すると受信制御回路４１２Ｂを
介して同期報告パケットがプロセッサ間同期フリップフ
ロップ５０１Ｂに蓄積される。他の命令制御回路に対し
ても同様にプロセッサ間同期フリップフロップが設けら
れており(図示せず)、全てのプロセッサからの報告が蓄
積されると、プロセッサ間同期報告生成回路５００によ
り、新たなバリア同期パケットを生成すると共に、蓄積
情報をクリアする。この新たなバリア同期パケットを同
期成立パケットと称することにする。マルチプレクサ５
０３は、ＡＮＤ回路５０２における条件成立により同期
成立パケットを信号線５０４Ａ及び５０４Ｂ他の送信制
御回路からの通常パケットに替えて転送する。バリア同
期パケットは、後述するように３サイクルの長さを持つ
が、先頭サイクルのデータは用途を表わしているが、残
りの２サイクルのデータが同期報告パケットか同期成立
パケットかの識別情報を含んでいる。

【００４３】この同期成立パケットは、バリア同期処理
を開始している全てのプロセッサに同報される。例え
ば、プロセッサＢの受信制御回路４０２Ｂにあっては、
通常パケットをバイパスしてプロセッサに同期成立パケ
ットをメモリ制御部に渡し、プロセッサが繰り返し値を
読み出しているバリア同期完了報告レジスタ２９の値を
更新することでプロセッサに同期成立を報告する。他の
プロセッサについても同様に同期成立が報告される。

【００４４】送信制御回路４０１Ａと受信制御回路４１
２Ａを接続する配線、及び送信制御回路４１１Ｂと受信
制御回路４０２Ｂを接続する配線には、バッファＩＤ切
り替え信号線１０〜１３とデータ及びバッファＩＤ信号
線２０〜２３が追加されている。つまり、従来使用され
てきたデータ転送路を形成する信号線に加えて、パケッ
ト優先度の変更を指示する信号線１０〜１３が備えられ
ている。

【００４５】次に、本実施例のネットワーク制御回路の
動作について説明する。

【００４６】今、図２、図３において、データを命令制
御回路１Ａ側から命令制御回路１Ｂ側へ送信することを
考える。

【００４７】（１）送信側の記憶制御回路２Ａは、命令
制御回路１Ａからのメモリストア（レジスタストア）制
御信号線１９により、予めメモリ３Ａ上の指定されたア
ドレスに格納された通常のメッセージパッケットの送信
を開始する。送信制御回路４０１Ａは、送信先バッファ
の空きエントリ数カウンタ９７の値が“＋”であって、
送信データがメモリから送られてきた場合に許される。
メッセージパケットデータは、信号線２０から信号線２
１に渡され、カウンタ９７の値をデクリメントする。

【００４８】（２）ネットワーク１０５内の受信制御回
路４１２Ａは、データを信号線２１により受信バッファ
５３に送って０番地に書き込むと共に、センド信号線
（データ送出信号）３１により書き込みポインタをイン
クリメントし、値を“１”にする。以下、信号線３１と
データ信号線２１により受信処理を行う。そして、受信
制御回路４１２Ａの次段の送信制御回路４１１Ｂが空き
次第、受信バッファ０番地から読み出したデータを送信
制御回路４１１Ｂに送出すると共に、読み出しポインタ
５１の値をインクリメントし、同時に送信元（送信回路
４１１Ａ）にバッファエントリのリリース信号線（バッ
ファエントリ解放信号）４１を返送する。

【００４９】（３）受信制御回路４１２Ａからデータを
受けた送信制御回路４１１Ｂは、データ転送を前記
（１）の項と同一の手順で行う。以下、同様に回路から
の送受信データを、次段の回路へ転送することにより、
ネットワーク１０５上のメッセージ転送を行う。

【００５０】（４）ネットワーク１０５からデータを受
信した受信側の受信制御回路４０２Ｂは、データ転送を
前記（２）の項と同一の手順で行う。

【００５１】（５）命令制御回路１Ｂは、メモリ３Ｂへ
のメッセージ転送の完了をレジスタロード制御２４によ
り検出する。

【００５２】以上（１）〜（５）で説明したデータ伝送
中にバリア同期パケットを送付することを考える。バリ
ア同期パケットを転送する際には、新たに設けられたバ
ッファＩＤの切り替え信号線１０〜１３が使用される。
プロセッサＡでは記憶制御回路２Ａからの通常データ転
送中にバリア同期が開始されると、通常データ転送を中
断し、バッファＩＤ切り替え信号をレジスタ２８にセッ
トと信号線１０を介して転送すると共に、データ線から
バリア同期用のデータ(同期報告パケット)を送信する。

【００５３】このバッファＩＤ切り替え信号線１０にバ
ッファＩＤ切り替え信号がセットされている最中は、通
常データは転送されず、また、この間にデータ線上を送
られるデータは、バリア同期用のデータ（パケット）と
して解釈される。なお、データ線は複数ビット幅から構
成されているので、データ線から送られる値に意味を持
たせることによって、例えば、バリア同期の優先順位を
変えたり、また、バリア同期以外の意味を持たせること
も可能である。

【００５４】受信制御回路４１２Ａでは、このバッファ
ＩＤ切り替え信号から内部の３つのフリップフロップ６
２と回路７０とにより、３サイクルだけデータ線上を同
期報告パケットを優先的に転送できるようにセレクタを
制御する信号線７１が作られる。

【００５５】このセレクタを制御する信号７１により、
３サイクルの期間だけ受信バッファ５３からの通常デー
タの送信が中断され、替わって、バリア同期受信制御回
路６０Ｂからの同期報告パケットが出力される。デコー
ダ回路５１０Ａは、送られてきたパケットがバリア同期
パケットかそれ以外かを判定し、バリア同期パケットな
らプロセッサ間同期フリップフロップ５０１Ａに転送が
なされる。

【００５６】一方、全てのプロセッサからの報告が蓄積
されると、ＡＮＤゲート５０２でＡＮＤ条件が成立し、
プロセッサ間同期報告生成回路５００により、新たなバ
リア同期パケットを生成すると共に、蓄積情報をクリア
する。同期成立パケットは、バリア同期処理を開始して
いる全てのプロセッサに同報される。このとき、バリア
同期処理を行っているプロセッサからバッファＩＤ切り
替え信号が、同期成立パケットと共に各プロセッサに転
送されていることに注意されたい。バッファＩＤ切り替
え信号は、通常は、ゲート５０８の作用により、送信制
御回路４１１Ｂに転送されることはない。

【００５７】送信制御回路４１１Ｂは、同期成立パケッ
トをバイパスして受信制御回路４０２Ｂに転送する。こ
のとき、バッファＩＤ切り替え信号もＡＮＤゲートを通
過し、同期成立パケットと共に同期成立パケットを受信
すべきプロセッサに転送される。

【００５８】受信制御回路４０２Ｂでは、バッファＩＤ
切り替え信号を信号線１２を介して受け取り、受信制御
回路４０２Ｂ内の３つのフリップフロップ６２と回路７
０とにより、３サイクルだけデータ線上を同期報告パケ
ットを優先的に転送できるようにセレクタを制御する信
号線７１を作る。

【００５９】このセレクタを制御する信号７１により、
３サイクルの期間だけ受信バッファ５３からの通常デー
タの送信が中断され、替わって、バリア同期受信制御回
路６０Ｂからの同期成立パケットの送信がなされる。

【００６０】図４は、本実施例による通常パケット転送
中におけるバリア同期パケット転送のタイムチャートで
ある。特に、複数のプロセッサのうち、ブロセッサＡが
最後にバリア同期処理を開始し、同期報告パケット転送
した場合を示している。命令制御回路１Ａが、通常パケ
ットのｎ番目のデータを転送した後に、３サイクルのバ
リア同期パケット（同期報告パケット）を転送したとす
ると、この同期報告パケットは、送信制御回路４０１
Ａ、受信制御回路４１２Ａを介して同期開始フリップフ
ロップ５０１Ａに蓄積される。他のプロセッサはすでに
バリア同期処理を開始しているとの前提であるから、他
のプロセッサに対応する同期開始フリップフロップには
すでに同期報告パケットが蓄積されている。このため、
ＡＮＤゲート５０２の条件が整うので、プロセッサ間同
期フリップフロップをリセットすると共に、同期報告パ
ケットを同期報告生成回路５００から生成する。

【００６１】同期報告は、ネットワーク中の送信制御回
路４１１Ａ及び４１１Ｂに出されるが、例えば、ネット
ワーク中の送信制御回路４１１Ｂで処理中のパケットは
ｋ番目の要素で中断され、プロセッサ中の受信制御回路
４０２Ｂにおいては、ｊ番目で中断される（ｊ≦ｋ）。
このようにバリア同期パケット（同期報告パケット、同
期成立パケット）が通常のパケットに優先して処理され
るため、バリア同期処理を短時間に行うことができる。
各受信、送信制御回路で２サイクルずつ要するとするな
ら、バリア同期処理を１０サイクルで終了させることが
できる。

【００６２】４０１Ａ及び４１２Ａ間のデータ線は、９
ビット程度であり、６４キロバイトのデータ転送に６４
キロサイクルを要求する。これらのパケット２つを越す
ことで１００キロサイクル以上を節約し、１０サイクル
で処理を終ることは、１０キロ倍の高速化にあたる。

【００６３】本実施例の構成により、プロセッサＡの中
の記憶制御回路２Ａの出力が、例えば、ＤＭＡ転送中の
送信パケット処理は、ｎ番目の要素で中断され、割り込
み信号線１０が値“１”に設定されると共に、この例で
はパケット先頭データ２０に値“４”を送ることで、３
サイクル分のバリア同期パケットが直ちに送れる。

【００６４】この追越し制御がプロセッサの送信制御回
路４０１Ａの出力部でも繰り返され、同じパケットのｍ
（ｍ≦ｎ）番目の要素で中断される。中断処理は、従来
からパス競合回路調停として一般に使われるもので実現
でき、受信制御回路４０２Ｂにおける信号線３３０を出
力すると、ＳＥＮＤ信号線３３を抑止するように接続す
る。

【００６５】受信制御回路４１２Ａからの同期報告パケ
ットは同期開始フリップフロップ５０１Ａに伝えられ
る。ＡＮＤゲート５０２の条件が整うと、プロセッサ間
同期フリップフロップ５０１Ａ，５０１Ｂをリセットす
ると共に、同期成立パケットを同期報告生成回路５００
から生成する。

【００６６】同期成立は、ネットワーク中の送信制御回
路４１１Ａ及び４１１Ｂに出されるが、例えば、ネット
ワーク中の送信制御回路４１１Ｂで処理中のパケットは
ｋ番目の要素で中断され、プロセッサ中の受信制御回路
４０２Ｂにおいては、ｊ番目で中断される（ｊ≦ｋ）。

【００６７】以上の説明のように、本実施例では、前述
の文献１の従来技術のようにケーブル本数およびネット
ワーク基板数を倍増することなく、信号線数を１本追加
することで、バリア同期ネットワークを実現している。

【００６８】また、本実施例では、前述の文献２の技術
と同様に、バリア同期パケットが通常パケットの転送が
終わるのを待たないようにパケット到着を変更すること
で、バリア同期処理時間を数千分の１に削減した。

【００６９】さらに、本実施例では、バリア同期パケッ
トを固定長としフリップフロップに書き込んでレジスタ
ファイル等の高集積だが低速な格納手段をバイパスする
ので、ネットワーク転送時間を更に短縮すると共にその
ための大規模なバッファを不要化した。

【００７０】以上、本発明を、前記実施例に基づき具体
的に説明したが、本発明は、前記実施例に限定されるも
のではなく、その要旨を逸脱しない範囲において種々変
更可能であることは勿論である。

【００７１】本実施例においては、各プロセッサからの
同期報告パケットが同期フリップフロップに揃った段階
で新たに同期成立パケットを発生しているが、バリア同
期パケット以外の優先度の高いパケットにプロセッサ間
で通信する際にあるプロセッサからそのような優先パケ
ット（以下、一般優先パケットと称する。）をそのまま
他のプロセッサへ転送するように改変してもよい。

【００７２】図５、図６は、そのような改変を施した他
の実施例である。図５、図６は、この２つの図面で、本
実施例によるバリア同期と通常プロトコルを扱うネット
ワーク制御回路の構成を示しており、その信号線の接続
関係を丸で囲まれたアルファベットで示している。

【００７３】パケットの先頭の複数ビットが、バリア同
期パケットか、通常パケットかの用途かを示すだけでは
なく、バリア同期パケットではないが他のパケット通信
に優先する優先パケットかを識別できるように設定され
る。命令制御回路は優先パケットを転送する際には併せ
て、バッファＩＤ切り替え信号を信号線１０に転送す
る。図２、図３の構成との相違は、デコード回路（５１
０Ａ、５１０Ｂ）が、さらに優先パケットをデコードで
きるものであり、優先パケットをデコードしたときに信
号線（５０６Ａ、５０６Ｂ）に値１を転送する点が機能
として追加される。但し、優先パケットは通常パケット
と同様信号線５０４Ａ（または５０４Ｂ）を介してマル
チプレクサ５０３に送られる。また、ＯＲ回路５０７が
設けられてＡＮＤ回路５０２と信号線５０６Ａ、５０６
Ｂ（信号線５０６ＢとＯＲ回路５０７の接続は図の簡素
化のために示していない。）の信号を論理ＯＲする。こ
の結果、優先パケットはバッファＩＤ切り替え信号と共
に、転送すべきプロセッサに転送される。優先パケット
が、受信制御回路、送信制御回路を通常パケットより優
先して通過し、命令制御回路間で授受されるのはバリア
同期パケットと同様である。

【００７４】

【発明の効果】伝送線として追加した割り込み信号線
は、１本の追加でパケット先頭を送ることを知らせ、用
途の識別には通常のデータ転送線から送るパケット先頭
の複数ビットを用いるので、信号線数を１本追加するだ
けで、バリア同期ネットワークを実現することができ
る。

【００７５】また、バリア同期パケットを最高優先度と
した優先度制御回路は、通常の通信パケットよりもバリ
ア同期処理を優先して転送することにより、多数のプロ
セッサの間の１番遅いプロセッサの処理時間で全体処理
時間が決まるバリア同期処理が高速化されるので、バリ
ア同期を含むユーザプログラムの処理時間を短縮するこ
とができる。

【００７６】さらに、バリア同期パケットを固定長とし
てフリップフロップに書き込んでレジスタファイル等の
高集積だが低速な格納手段をバイパスするので、ネット
ワーク転送時間を更に短縮すると共にそのためのバッフ
ァを受信回路当り数十バイト不要にすることができる。

【図面の簡単な説明】

【図１】本発明によるネットワークを備えた並列計算機
システムの一実施例の概略構成を示すブロック図である

【図２】図３と結合して、本実施例によるバリア同期と
通常プロトコルを扱うネットワーク制御回路の一実施例
の概略構成を示すブロック図である

【図３】図２と結合して、本実施例によるバリア同期と
通常プロトコルを扱うネットワーク制御回路の一実施例
の概略構成を示すブロック図である。

【図４】本実施例による通常パケット転送中におけるバ
リア同期パケット転送のタイムチャートである。

【図５】図６と結合して、他の実施例によるバリア同期
パケットと通常パケットに加えて優先パケットを扱うネ
ットワーク制御回路の一実施例の概略構成を示すブロッ
ク図である。

【図６】図５と結合して、他の実施例によるバリア同期
パケットと通常パケットに加えて優先パケットを扱うネ
ットワーク制御回路の一実施例の概略構成を示すブロッ
ク図である。

【図７】バリア同期プロトコルと汎用のＳＥＮＤプロト
コル２つのプロトコルの専用ネットワークを備える従来
の並列計算機システムの概略構成を示すブロック図であ
る。

【符号の説明】

１Ａ，１Ｂ，１Ｃ，１Ｄ…命令制御回路２Ａ，２Ｂ，２Ｃ，２Ｄ…メモリ制御回路３Ａ，３Ｂ，３Ｃ，３Ｄ…メモリ４Ａ，４Ｂ，４Ｃ，４Ｄ…ネットワークインタフェース
回路４０１Ａ，４０１Ｂ，４０１Ｃ，４０１Ｄ…送信制御回
路４０２Ａ，４０２Ｂ，４０２Ｃ，４０２Ｄ…受信制御回
路１０５…ネットワーク４１１Ａ，４１１Ｂ，４１１Ｃ，４１１Ｄ…送信制御回
路４１２Ａ，４１２Ｂ，４１２Ｃ，４１２Ｄ…受信制御回
路５０Ａ，５０Ｂ…通常受信バッファキュー６０Ａ，６０Ｂ…バリア同期受信制御回路１９…メモリストア制御信号線２０〜２３…データおよびバッファＩＤ信号線２４…レジスタロード信号線２８…バリア同期開始レジスタ２９…バリア同期完了報告レジスタ３０〜３３…データ送出信号線４０〜４２…バッファエントリ解放信号線(リリース信
号線) ５１…読み出しアドレスポインタ５２…書き込みアドレスポインタ５３…受信バッファ５８…読み出し制御用比較器６１…バリア同期パケット転送フリップフロップ６２…制御信号作成フリップフロップ７０…優先度制御回路（ＯＲゲート）９７…受信バッファ空きエントリ数アップダウンカウン
タ５００…プロセッサ間同期報告生成回路５０１Ａ，５０１Ｂ…プロセッサ間同期フリップフロッ
プ５０２…プロセッサ間同期用ＡＮＤ回路５１１…読み出しアドレス加算器５２１…書き込みアドレス加算器

Claims

【特許請求の範囲】

【請求項１】複数のプロセッサをネットワークで接続
した並列計算機システムであって、複数のパケットバッ
ファを有するパケットの伝送線と、前記パケットバッフ
ァをバイパスするパスと、前記伝送線とは別に設けら
れ、パケットに付随した割り込み信号の信号線と、前記
信号線の割り込み信号に応答して、対応するパケットを
前記バイパスに切り替えるセレクタとを設けたことを特
徴とする並列計算機システム。
【請求項２】請求項１の並列計算機システムにおい
て、プロセッサは優先パケットを前記伝送線に発すると
共に、割り込み信号を前記信号線に転送することを特徴
とする並列計算機システム。
【請求項３】請求項２の並列計算機システムにおい
て、複数のプロセッサは夫々が予め定められた程度まで
処理を進めると、同期報告パケットを優先パケットとし
て前記伝送線に発し、前記ネットワークは、該複数のプ
ロセッサから同期報告パケットを受け取ることを条件と
して、同期成立パケットを割り込み信号と共に、夫々前
記伝送線と前記信号線に転送することを特徴とする並列
計算機システム。
【請求項４】請求項３の並列計算機システムにおい
て、前記ネットワークは前記複数のプロセッサ対応に記
憶手段を有し、前記記憶手段は対応するプロセッサから
の同期報告パケットを記憶し、全ての記憶手段に同期報
告パケットが揃った時に前記同期成立パケットを発生す
る手段を有することを特徴とする並列計算機システム。
【請求項５】請求項４の並列計算機システムにおい
て、前記同期成立パケットは、同期報告パケットを発生
した各プロセッサに対して同報されることを特徴とする
並列計算機システム。
【請求項６】請求項１の並列計算機システムにおい
て、優先パケットは固定長の長さを有し、前記セレクタ
は、前記信号線の割り込み信号に応答して前記固定長の
転送の間、優先パケットを前記バイパスに切り替えるこ
とを特徴とする並列計算機システム。
【請求項７】請求項３の並列計算機システムにおい
て、前記ネットワークは優先パケットを識別する識別手
段を有し、プロセッサから転送されたパケットが同期報
告パケットであるときは、該複数のプロセッサから同期
報告パケットを受け取ることを条件として割り込み信号
を、前記信号線に転送することを特徴とする並列計算機
システム。
【請求項８】請求項６の並列計算機システムにおい
て、前記識別手段は、転送された優先パケットが同期報
告パケットか、それ以外の優先パケットかを判別し、そ
れ以外の優先パケットであるときはそのパケットに付随
する割り込み信号を前記信号線を介してそのパケットの
転送先のプロセッサに転送することを特徴とする並列計
算機システム。
【請求項９】複数のプロセッサと、前記複数のプロセ
ッサからのパケットを伝送するネットワークとからなる
並列計算機システムであって、各プロセッサは、前記ネ
ットワークへパケットを転送する送信回路と、前記ネッ
トワークからのパケットを受信する受信回路を有し、前
記各受信回路は前記パケットを蓄積する複数段のバッフ
ァと、前記パケットバッファをバイパスするパスと、前
記バッファを選択するか前記バイパスを選択するかを決
定する手段とを有し、前記各送信回路と前記各受信回路
と前記ネットワークはさらにパケットに付随した割り込
み信号を伝送する信号線を有し、前記送信回路は他のパ
ケットに優先して伝送すべき優先パケットに対して前記
信号線に割り込み信号を転送する手段を有し、前記受信
回路は前記信号線の割り込み信号に応答して、対応する
パケットを前記バイパスに切り替えるセレクタを有する
ことを特徴とする並列計算機システム。
【請求項１０】請求項９の並列計算機システムにおい
て、複数のプロセッサは夫々が予め定められた程度まで
処理を進めると対応する前記送信回路に対して同期報告
パケットを優先パケットとして前記伝送線に発するよう
指示し、前記ネットワークは、さらに同期成立パケット
発生手段を有し、複数のプロセッサから同期報告パケッ
トを受け取ることを条件として同期成立パケットを割り
込み信号と共に、夫々前記伝送線と前記信号線に転送す
ることを特徴とする並列計算機システム。
【請求項１１】請求項１０の並列計算機システムにお
いて、前記ネットワークは前記複数のプロセッサ対応に
記憶手段を有し、前記記憶手段は対応するプロセッサか
らの同期報告パケットを記憶し、全ての記憶手段に同期
報告パケットが揃った時に前記条件が成立したとするこ
とを特徴とする並列計算機システム。
【請求項１２】請求項１１の並列計算機システムにお
いて、前記同期成立パケットは、同期報告パケットを発
生した各プロセッサに対して同報されることを特徴とす
る並列計算機システム。
【請求項１３】請求項９の並列計算機システムにおい
て、優先パケットは固定長の長さを有し、前記セレクタ
は、前記信号線の割り込み信号に応答して前記固定長の
転送の間、優先パケットを前記バイパスに切り替えるこ
とを特徴とする並列計算機システム。
【請求項１４】請求項１１の並列計算機システムにお
いて、前記ネットワークは優先パケットを識別する識別
手段を有し、プロセッサから転送されたパケットが同期
報告パケットであるときは、該複数のプロセッサから同
期報告パケットを受け取ることを条件として割り込み信
号を、前記信号線に転送することを特徴とする並列計算
機システム。
【請求項１５】請求項１２の並列計算機システムにお
いて、前記識別手段は、転送された優先パケットが同期
報告パケットか、それ以外の優先パケットかを判別し、
それ以外の優先パケットであるときはそのパケットに付
随する割り込み信号を前記信号線を介してそのパケット
の転送先のプロセッサに転送することを特徴とする並列
計算機システム。
【請求項１６】複数のプロセッサと、前記複数のプロ
セッサからのパケットを伝送するネットワークとからな
る並列計算機システムであって、各プロセッサは、前記
ネットワークへパケットを転送する送信回路と、前記ネ
ットワークからのパケットを受信する受信回路を有し、
前記各受信回路は前記パケットを蓄積する複数段のバッ
ファと、前記バッファがパケットにより満杯でなけれ
ば、ネットワークに対してパケットの転送要求を出す手
段と、前記パケットバッファをバイパスするパスと、前
記バッファを選択するか前記バイパスを選択するかを決
定する手段とを有し、前記各送信手段は前記ネットワー
クを介して、パケットの送信先の受信回路から伝えられ
る転送要求を受けるとパケットを送信する手段を有し、
前記各送信回路と前記各受信回路と前記ネットワークは
さらにパケットに付随した割り込み信号を伝送する信号
線を有し、前記送信回路は他のパケットに優先して伝送
すべき優先パケットに対して前記信号線に割り込み信号
を転送する手段を有し、前記受信回路は前記信号線の割
り込み信号に応答して、対応するパケットを前記バイパ
スに切り替えるセレクタを有することを特徴とする並列
計算機システム。