JPH09190418A

JPH09190418A - ネットワーク制御方法

Info

Publication number: JPH09190418A
Application number: JP8003452A
Authority: JP
Inventors: Hideyuki Murata; 英之村田; Yuji Saeki; 裕治佐伯
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1996-01-12
Filing date: 1996-01-12
Publication date: 1997-07-22

Abstract

(57)【要約】【課題】ネットワークトポロジーを準静的に固定する
ことにより通信オーバーヘッドを低減し、またプロセッ
サノードからネットワーク内に存在する情報の読み書き
を可能にする。【解決手段】ノード間で通信経路を固定して通信する
とき、命令プロセッサ３１はモード設定レジスタ３４２
に通信経路固定モードを設定する。バリア同期パケット
生成回路３４３は、同期処理を行いながら通信経路を固
定するパケットをクロスバスイッチ１、２に送出する。
クロスバスイッチ１、２は、パケットで指定されたノー
ド間を接続するように出力セレクタを固定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、プログラム実行を
高速化するために複数のプロセッサを格子状に配置した
並列計算機システムにおいて、プロセッサノード間ネッ
トワークの通信オーバーヘッドを低減したネットワーク
制御方法に関する。

【０００２】

【従来の技術】従来、並列計算機ネットワーク結合方式
としては、例えば特開昭６３―１２４１６２号公報
（“並列計算機の相互結合方式”）に記載されている、
ハイパークロスバ方式がある。この方式は、多次元直交
座標格子点上に配置されたプロセッサノードを、各座標
軸方向に完全クロスバスイッチにより結合したものであ
り、任意のプロセッサノード間が効率良く通信される。

【０００３】完全クロスバスイッチでは、任意の異なる
入出力ポート間の通信経路が同時に確保できる利点があ
り、従って、これらの組合わせであるハイパークロスバ
結合方式は、隣接プロセッサノード間を固定的に接続す
るトーラス型の結合方式と比較して、同時に確保できる
任意プロセッサノード間の通信経路が多いという点で効
率が良い。

【０００４】送信プロセッサノードから送信された通信
パケットは、一定のフォーマットに従い、パケット先頭
に書かれた宛先情報に従い通信経路が選択され、受信プ
ロセッサノードに到達する。また、パケット先頭にデー
タ長を記載することで、１回のパケットで伝達される通
信データ長を可変とすることもできる。

【０００５】ところで、バーチャルチャネル方式を適用
した並列計算機バリア同期機構については、バリア同期
パケットと通信パケットの区別を示す信号を１本設ける
ことで、プロセッサノード間を接続する信号線数の増加
を最小限に抑えて、通信パケットと同じネットワークを
使用して、バリア同期処理を行うことが可能である。通
信パケットが使用中のチャネルを、バリア同期パケット
が使用する必要が生じた場合、通信パケットの出力処理
をパケットの途中で一旦中断し、バリア同期パケットの
出力処理を行い、その後中断された通信パケット出力処
理を再開する。バリア同期パケットの運ぶ情報は一般に
同期をとるプロセス番号など限られたものであり、バリ
ア同期パケットのパケット長は短く固定できるため、当
該方式を採用することにより、通信効率が大きく低下す
ることはない。

【０００６】

【発明が解決しようとする課題】しかし、上記した公報
に記載された方式で結合されたネットワークの場合、通
信パケットが選択しうる通信経路の数が多いため、経路
選択制御に要する時間が増すことになる。すなわち、入
力されるパケット毎にパケット先頭に付けられている宛
先情報を切り出して解析を行い、他の入力ポートから入
力され、同じ出力ポートを使用する通信パケットとの間
で出力ポートの使用権を調停しなければならない。

【０００７】このため、構造解析、流体解析等で行われ
る隣接転送や、画像処理、気象解析等で行われる特定方
向転送のように、送受信を行うプロセッサノード対の組
合わせが数パターンしかなく、しかもこれらのプロセッ
サノード間で大容量のデータが一度に通信される場合に
は、各通信パケットの宛先は数パターンに限られてお
り、しかもパケット間で通信経路の競合は発生しないに
もかかわらず、パケット毎に宛先を解析し、経路を調停
する制御を行うことになり、そのためにパケットが送信
プロセッサノードから受信プロセッサノードへ到達する
のに要する時間が不必要に大きくなるという問題があ
る。また、同時刻に多数の通信パケットが異なるポート
から入力した場合、上記の経路競合調停を効率良く行う
ためには、調停回路はポート数だけ多重化するのが望ま
しいが、ポート数の多いスイッチを構成した場合に論理
ゲートが大きくなるという問題がある。

【０００８】この通信オーバーヘッドは、通信パケット
が入力する毎に発生するものであるから、パケットを可
変長とし、１つのパケットで通信されるデータ量を増や
すことでパケット数を減らせば隠蔽することができる。
しかし、この場合、パケット長を制御し、パケットの切
れ目を検出するための回路が必要となり、更に、長いパ
ケットが１つの経路を占有することにより、障害検出の
通知など、より緊急度の高い通信を行う必要が生じて
も、通信経路の確保に時間を要することになる。

【０００９】上記したネットワーク結合方式において
は、通信オーバーヘッドの問題の他に、通信経路の選択
を行うスイッチが多くのプロセッサノードと接続される
ため、スイッチに存在する情報の読み書きをプロセッサ
ノードから行いにくいという問題がある。すなわち、当
該スイッチに接続される全てのプロセッサノードから読
み書きを行うための専用信号線を設けると、ＬＳＩピン
数の制限により、スイッチのポート数が少なくなってし
まい、また、読み書き専用線を一組としてこれを当該ス
イッチに接続されるプロセッサノードのうちの特定の１
つに接続するとしても、プロセッサノードにスイッチ情
報の読み書きが可能であるかどうかという区別が生じる
こととなり、構成制御が複雑になる。

【００１０】本発明の目的は、ネットワークトポロジー
を準静的に固定することにより通信オーバーヘッドを低
減し、またプロセッサノードからネットワーク内に存在
する情報の読み書きを可能にした並列計算機のネットワ
ーク制御方法を提供することにある。

【００１１】

【課題を解決するための手段】前記目的を達成するため
に、本発明では、複数のプロセッサノードをバーチャル
チャネル方式のバリア同期機構を備えたネットワークで
接続した計算機システムにおいて、特定パターンで通信
を行うことが予めわかっている場合に、当該の通信を行
う前の段階で、通信パターンの記されたバリアパケット
をプロセッサノードからの命令により通信経路選択を行
うスイッチに発行することで、通信経路を固定すること
のできるハードウェアを備える。即ち、プロセッサノー
ドから設定可能なモード設定レジスタと、その値に応じ
てバリア同期パケットの一種としてのモードセレクトパ
ケットを生成するバリア同期パケット生成回路を設け、
また、通信経路選択スイッチにはモードセレクト情報保
持するモード保持レジスタとモードデコーダ、及びその
内容によって通信経路を固定的に選択する回路を設け
る。

【００１２】プロセッサノードが上記モード設定レジス
タに対し、これから行う通信の通信パターンを書き込む
と、これにより上記バリア同期パケット生成回路が起動
され、ネットワークに対し通信パターンの記されたバリ
ア同期パケットが送出される。このパケットを受けた上
記経路選択スイッチでは、当該通信パターンを上記モー
ド保持レジスタに登録すると共に、バリア同期処理に入
り、バリア同期処理が完了したところで上記モードデコ
ーダを有効化して、当該スイッチにおける通信経路を上
記モード保持レジスタの示す形に固定する。即ち、当該
スイッチの全ての入力ポートからのモードセレクトパケ
ット入力完了をもって、当該スイッチにそれぞれ複数存
在する入力ポートと出力ポートに対し、モード保持レジ
スタの示す値に応じた１対１の対応づけが行われ、これ
以降に入力する通信パケットはその内容にかかわらずル
ーティング制御なしでそのまま対応する出力ポートに出
力されることになる。

【００１３】本ネットワークが多段スイッチで構成され
る場合には、上記通信経路固定を行うと共に、次段の通
信経路選択スイッチに対し、上記モード保持レジスタの
値が示されたモードセレクトパケットを発行するための
回路が必要となる。これにより、全プロセッサノードが
特定の通信パターンで通信を行う旨のモードセレクトパ
ケットを送出し終えると、全ての経路選択スイッチで
は、当該通信パターンに通信経路が固定され、この報告
がバリア同期成立報告として全プロセッサノードに対し
行われることになる。

【００１４】また、通信パターンの代わりに、経路選択
スイッチ内に存在するレジスタアドレスを内容として持
つバリア同期パケットに対し、プロセッサノードから設
定可能なアドレス設定レジスタ、パケット生成回路、ア
ドレス保持レジスタ、及びアドレスデコーダを含むスイ
ッチ内レジスタへの読み書きを行う回路を設けること
で、当該スイッチに接続される全てのプロセッサノード
から、当該スイッチ内の情報に対し読み書きを行うこと
ができる。ただし、読み書きを行う際の読み出しデータ
を内容として持つパケットは、アドレスを内容として持
つ読み出し要求パケットが入力したポートに対し発行さ
れなければならない。

【００１５】

【発明の実施の形態】以下、本発明の一実施例を図面を
用いて具体的に説明する。図２は、ハイパークロスバ方
式で結合したネットワークの概念図である。システム全
体は、行クロスバスイッチ１、列クロスバスイッチ２、
プロセッサノード３の集合として構成される。図２では
行方向に４プロセッサノード、列方向に４プロセッサノ
ードを配置し、これらのノードを行クロスバスイッチ１
と列クロスバスイッチ２によってハイパークロスバ方式
で結合したネットワークが構成されている。そして、各
ノードには座標が割り当てられていて、図２の例では、
ノード（０.０）の座標からノード（３.３）の座標まで
が識別されている。

【００１６】第１行のプロセッサノード（０，０）、
（１，０）、（２，０）、（３，０）は、第１行の行ク
ロスバスイッチ１に接続され、第２行のプロセッサノー
ド（０，１）、（１，１）、（２，１）、（３，１）
は、第２行の行クロスバスイッチ１に接続され、第３行
のプロセッサノード（０，２）、（１，２）、（２，
２）、（３，２）は、第３行の行クロスバスイッチ１に
接続され、第４行のプロセッサノード（０，３）、
（１，３）、（２，３）、（３，３）は、第３行の行ク
ロスバスイッチ１に接続されている。

【００１７】また、第１列のプロセッサノード（０，
０）、（０，１）、（０，２）、（０，３）は、第１列
の列クロスバスイッチ２に接続され、第２列のプロセッ
サノード（１，０）、（１，１）、（１，２）、（１，
３）は、第２列の列クロスバスイッチ２に接続され、第
３列のプロセッサノード（２，０）、（２，１）、
（２，２）、（２，３）は、第３列の列クロスバスイッ
チ２に接続され、第４列のプロセッサノード（３，
０）、（３，１）、（３，２）、（３，３）は、第３列
の列クロスバスイッチ２に接続されている。

【００１８】図１は、本発明のプロセッサノードの構成
を示す。各プロセッサノードは、図１に示すように、通
常のプロセッサノードのように命令プロセサ３１と、メ
モリ制御ユニット３２と、メモリ３３を備え、さらに通
信ユニット３４を持つ。

【００１９】通信ユニット３４は、行または列クロスバ
スイッチ１、２とデータ授受を行うための入出力ポート
３４１と、クロスバスイッチ１、２内のレジスタアドレ
ス設定レジスタを兼ねたモード設定レジスタ３４２と、
バリア同期パケット生成回路３４３と、バリア同期状態
レジスタ３４４とからなる。

【００２０】図３は、行および列クロスバスイッチの構
成を示す。各行、各列クロスバスイッチ１、２は同一の
構成を採り、クロスバスイッチ１、２内には、通信パケ
ット入力バッファ群１３０−１３３、通信パケット出力
セレクタ群１４０−１４３、入力パケットのルーティン
グを行うルーティング制御回路１００、性能測定用モニ
タ１１０、および本発明のバリア同期回路１０が設けら
れている。

【００２１】バリア同期回路１０は、バリア同期パケッ
ト中のモードフィールドをデコードするパケットデコー
ダ１０１、バリア同期判定回路１０２、バリア同期パケ
ットの出力制御回路１０３、接続プロセッサノードのバ
リア同期の参加、不参加情報を保持する不参加モードレ
ジスタ１０４、通信経路を格納するモード保持レジスタ
１０５、これらのレジスタ１０４、１０５に対する書き
込み制御回路１０６、読み出し制御回路１０７、および
バリア同期パケット中のオプションエリアをデコードす
るモードデコーダ１０８を備えている。

【００２２】図１０は、クロスバスイッチとプロセッサ
ノードとの接続関係を示す図である。図１０は、例え
ば、第１行の行クロスバスイッチと第１行のプロセッサ
ノードとの接続関係を示す。他の行、列とプロセッサノ
ードとの接続も同様である。

【００２３】プロセッサノード（０，０）の出力ポート
が行クロスバスイッチのパケットデータ入力線１２０に
接続され、プロセッサノード（１，０）の出力ポートが
行クロスバスイッチのパケットデータ入力線１２１に接
続され、プロセッサノード（２，０）の出力ポートが行
クロスバスイッチのパケットデータ入力線１２２に接続
され、プロセッサノード（３，０）の出力ポートが行ク
ロスバスイッチのパケットデータ入力線１２３に接続さ
れている。

【００２４】パケットデータ入力線１２０、１２１、１
２２、１２３は、セレクタ１４０、１４１、１４２、１
４３に接続され、セレクタ１４０の出力がプロセッサノ
ード（０，０）の入力ポートに接続され、セレクタ１４
１の出力がプロセッサノード（１，０）の入力ポートに
接続され、セレクタ１４２の出力がプロセッサノード
（２，０）の入力ポートに接続され、セレクタ１４３の
出力がプロセッサノード（３，０）の入力ポートに接続
されている。

【００２５】本発明に係る、通信経路の固定が行われて
いない場合のプロセッサ間の通信は以下のようになる。
すなわち、送信元プロセッサからの通信パケットがクロ
スバスイッチ１、２に入力すると、パケットデータを入
力バッファ１３０−１３３に書き込みながら、パケット
先頭に書かれた宛先情報に基づいて、出力ポートの確保
を要求する信号をルーティング制御回路１００に伝達す
る。

【００２６】ルーティング制御回路１００は、出力ポー
トの使用状態をチェックし、使用可能であれば、当該パ
ケット入力バッファからの読み出しデータを当該出力ポ
ートに出力するように、出力セレクタ１４０−１４３を
選択する。そして、当該パケット出力が終了するまでの
間、選択された出力セレクタ１４０−１４３を固定する
と共に、入力バッファ１３０−１３３からの当該パケッ
トデータの読み出しを開始する。

【００２７】通信経路が固定されていないときの上記し
た処理は、通信パケットが入力する毎に行われる。ま
た、ルーティング制御回路１００が多重化されていない
場合は、同時に複数のパケットが入力したとき、遂次に
パケットが処理されるため、処理待ちのパケットが発生
する。

【００２８】一方、バリア同期機構においては、バリア
同期パケットデータは、通信パケットデータ入力線群１
２０−１２３を介してクロスバスイッチ１、２に入力す
る。バリア同期パケットデコーダ１０１は、入力データ
のうち、バリア同期パケットを認識して同期判定などを
行う。

【００２９】また、通信パケットの状態に係らず同期処
理を遅滞なく行うために、出力制御回路１０３はパケッ
ト出力時に、全入力バッファ１３０−１３３に対して、
バッファからの通信パケットデータの読み出しを一時停
止する要求を発行する。そして、その後にバリア同期パ
ケットを出力するポートの出力セレクタ１４０−１４３
に対して、出力制御回路１０３と接続されるよう要求を
行い、バリアパケットを生成し、出力する。

【００３０】本発明では、上記した通信処理と同期処理
に加えて、通信ユニット３４内にモード設定レジスタ３
４２を設け、クロスバスイッチ１、２内にモード保持レ
ジスタ１０５とモードデコーダ１０８を設けることによ
って、複数のパケットを転送する間、その通信経路を準
静的に固定することができる。

【００３１】本実施例では、特定方向に大量のデータを
転送するとき、データを転送する前に、その特定の通信
経路を固定することができる。すなわち、命令プロセッ
サ３１から、通信ユニット３４内のモード設定レジスタ
３４２に対して書き込み命令が発行されると、バリア同
期生成回路３４３は、モード設定レジスタ３４２に書か
れた内容に応じたパケットを生成し、行クロスバスイッ
チ１に対して送出する。これを受けた行クロスバスイッ
チ１では、パケットデコーダ１０１がその内容を解析
し、これが通信経路の固定を指示するパケットである場
合は、モード保持レジスタ１０５に通信経路パターンが
書き込まれ、同時にバリア同期判定回路１０２において
同期判定処理が行われる。

【００３２】全入力ポート１２０−１２３から通信経路
固定バリア同期パケットが入力し終わると、バリア同期
判定回路１０２は出力制御回路１０３を起動すると共
に、モードデコーダ１０８を有効化し、出力セレクタ群
１４０−１４３の選択信号を、モード保持レジスタ１０
５の値に応じて固定する。

【００３３】このようにモードデコーダ１０８が有効化
されている状態では、各入力バッファ１３０−１３３か
ら読み出された通信パケットデータは決まった出力ポー
トに必ず出力されることになり、通信パケットが入力す
るたびにルーティング制御回路１００を起動して出力ポ
ートの調停動作を行う必要はない。また、出力制御回路
１０３は列クロスバスイッチ２においても、同様の処理
を行うための同期パケットを全ポートから出力する。

【００３４】図４（ａ）は、バリア同期パケットのフォ
ーマットを示す。図のフォーマットは、バリア同期パケ
ットと通信パケットを識別するための制御信号の値４と
バリア同期パケットデータ５、６を示す。モードフィー
ルド５、つまりｍｄは、バリア同期の種類を示し、この
内容に応じてオプションエリア６の意味も変化する。

【００３５】図４（ｂ）は、ｍｄ＝“０００”の場合で
あり、バリア同期処理のみを行うバリア同期パケットで
あることを示し、同期処理のみを行い、オプションエリ
ア６はソフトウェアが自由に使用することができる。

【００３６】図４（ｃ）は、ｍｄ＝“０１０”の場合で
あり、同期処理を行いながら通信経路を特定方向の転送
に固定することを指示するパケットであることを示す。
オプションエリアのＸ部６１は、Ｘ方向のプロセッサノ
ード間の差分、つまり、送信プロセッサノードのｘ座標
−受信プロセッサノードのｘ座標の値である。Ｙ部６２
は、送信プロセッサノードのｙ座標−受信プロセッサノ
ードのｙ座標の値である。

【００３７】図４（ｄ）は、ｍｄ＝“０１１”の場合で
あり、同期処理を行いながら、上記ｍｄ＝“０１０”の
パケットで固定された通信経路の解除を指示するパケッ
トであることを示し、オプションエリア６は無効であ
る。図４（ｅ）は、ｍｄ＝“１００”の場合であり、ク
ロスバスイッチ内レジスタの読み出しを指示するパケッ
トであることを示し、オプションエリア６は、読み出し
先レジスタのアドレス６３およびデータ６４の値を示す
２つのフィールドで構成される。

【００３８】図４（ｆ）は、ｍｄ＝“１０１”の場合で
あり、クロスバスイッチ内レジスタの書き込みを指示す
るパケットであることを示し、オプションエリアは書き
込み先レジスタのアドレス６３およびデータ６４の値を
示す２つのフィールドで構成される。

【００３９】以下、例を用いて本発明を説明する。図８
（ａ）は、バリア同期パケット（ｂ）によって通信経路
が固定された例を示す。この例ではＸ＝１、Ｙ＝２であ
るので、ノード（０，０）とノード（１，２）間が固定
され、ノード（１，０）とノード（２，２）間が固定さ
れ、．．．ノード（３，０）とノード（０，２）間が固
定され、以下同様に図８の太い線のルートが固定され、
該ノード間で大量のデータ（通信メッセージ）が転送さ
れる。

【００４０】図５は、バリア同期パケットを用いて同期
処理および通信経路の固定、解除処理を行うフローチャ
ートである。命令プロセッサ３１がモード設定レジスタ
３４２にモードを設定すると（ステップ５０１）、通信
ユニット３４のバリア同期パケット生成回路３４３は、
設定されたモードに応じた、図８（ｂ）に示すバリア同
期パケットを生成し（ステップ５０２）、行クロスバス
イッチ１に送出する（ステップ５０３）。つまり、第１
行の各プロセッサノード（０，０）〜（３，０）は、第
１行の行クロスバスイッチ１にバリア同期パケットを送
出し、第２行の各プロセッサノード（０，１）〜（３，
１）は、第２行の行クロスバスイッチ１にバリア同期パ
ケットを送出し、以下同様に送出する。

【００４１】行クロスバスイッチ１は、各プロセッサノ
ードから送出されたバリア同期パケット中の同期パケッ
ト識別用制御信号の値が“１”であるか否かをバリア同
期判定回路１０２でチェックし、“１”のときバリア同
期パケットであると識別する（ステップ５０４）。同期
パケット識別用制御信号の値が“０”のときは、通常の
通信パケットであるので、ルーティング制御回路１００
によって経路が制御される。

【００４２】バリア同期パケットであると、パケットデ
コーダ１０１、モード保持レジスタ１０５がイネーブル
となり、バリア同期パケット中のオプションエリア６の
内容をモード保持レジスタ１０５に格納する（ステップ
５０５）。なお、行クロスバスイッチ１では、最初に到
着したバリア同期パケットのオプションエリア６の内容
をモード保持レジスタ１０５に保持し、その後到着する
バリア同期パケットのオプションエリア６の内容をモー
ド保持レジスタ１０５の内容と比較し、同じであること
を確認する。

【００４３】バリア同期パケット中のモードフィールド
５をパケットデコーダ１０１でデコードする（ステップ
５０６）。ｍｄ＝０１０、つまりモードが通信経路の固
定であるときには（ステップ５０７）、行クロスバスイ
ッチ１のモードデコーダ１０６は、オプションエリア６
のＸ部のみをデコードし、通信パケット出力セレクタ１
４０〜１４３を固定する（ステップ５０８）。ここで
は、オプションエリア６のＸ部が“０１”であるので、
図１０に示すように、各セレクタを例えばａに固定す
る。これにより、図１０において、プロセッサノード
（０，０）の出力ポートからプロセッサノード（１，
０）の入力ポートに至る通信経路が固定される。図中の
太い線は固定された通信経路である。

【００４４】行クロスバスイッチ１のバリア同期判定回
路１０２は、各行に接続されたすべてのプロセッサノー
ドからバリア同期パケット（図８（ｂ））が入力された
ことを確認することによって同期判定を行う（ステップ
５０９）。同期が成立すると、行クロスバスイッチ１
は、それぞれ各行に接続されたすべてのプロセッサノー
ドに対して、バリア同期パケット（図８（ｂ））と同じ
パケットを送り返す。

【００４５】全てのプロセッサノードは、送り返されて
きたバリア同期パケットと同じバリア同期パケット（図
８（ｂ））を列クロスバスイッチ２に対して送出し、行
クロスバスイッチ１で説明したと同様に処理する（ステ
ップ５１０）。列クロスバスイッチ２は、各プロセッサ
ノードから送出されたバリア同期パケット中の同期パケ
ット識別用制御信号の値が“１”であるか否かをバリア
同期判定回路１０２でチェックし、“１”のときバリア
同期パケットであると識別し、バリア同期パケットであ
ると、パケットデコーダ１０１、モード保持レジスタ１
０５がイネーブルとなり、同期パケット中のオプション
エリア６の内容をモード保持レジスタ１０５に格納す
る。また、列クロスバスイッチ２では、最初に到着した
バリア同期パケットのオプションエリア６の内容をモー
ド保持レジスタ１０５に保持し、その後到着するバリア
同期パケットのオプションエリア６の内容をモード保持
レジスタ１０５の内容と比較し、同じであることを確認
する。

【００４６】ｍｄが０１０であると、列クロスバスイッ
チ２のモードデコーダ１０６は、オプションエリア６の
Ｙ部のみをデコードし、通信パケット出力セレクタ１４
０〜１４３を固定する。ここでは、オプションエリア６
のＹ部が“１０”であるので、図９に示すように、列ク
ロスバスイッチ２の各セレクタを例えばｂに固定する。
これにより、プロセッサノード（１，０）の出力ポート
からプロセッサノード（１，２）の入力ポートに至る通
信経路が固定される。図９は、プロセッサノード（０，
０）からプロセッサノード（１，２）に至る固定された
通信経路を示す。

【００４７】列クロスバスイッチ２のバリア同期判定回
路１０２は、各列に接続されたすべてのプロセッサノー
ドからバリア同期パケット（図８（ｂ））が入力された
ことを確認することによって同期判定を行い、同期が成
立すると、列クロスバスイッチ２は、それぞれ各列に接
続されたすべてのプロセッサノードに対して、バリア同
期パケット（図８（ｂ））と同じパケットを送り返す。
最終的には全てのプロセッサノードに対して、図８
（ｂ）のパケットが返され、各通信ユニット３４はパケ
ットが返ったことをバリア同期状態レジスタ３４４に反
映して、つまり、オプションエリア６の内容がバリア同
期状態レジスタ３４４に書き込まれて、終了報告とな
る。これにより、図８（ａ）に示すように、通信経路が
固定される。

【００４８】上記したように通信経路が固定されると
（ステップ５１１）、固定された通信経路を介して各プ
ロセッサノード間で通信が行われる（ステップ５１
２）。例えば、プロセッサノード（０，０）が通信メッ
セージ（宛先なし）を送出すると、これがプロセッサノ
ード（１，２）に転送される。通信終了後は、各プロセ
ッサノードは、図４（ｄ）のパケットを行、列クロスバ
スイッチ１、２に送出することによって、固定された通
信経路を解除する（ステップ５１３）。

【００４９】図６は、通信経路の固定処理を行う場合の
構成を示す。モード保持レジスタ１０５は、図４（ａ）
のパケットのオプションエリア６を保持するレジスタで
あり、バリアパケット識別制御信号４の値が“１”のタ
イミングで書き込みが行われ、例えば、モードフィール
ド５がｍｄ＝“０１０”であるときは、モード保持レジ
スタ１０５の内容は、固定される通信経路のパターン情
報６１、６２となる。

【００５０】出力制御回路１０３は、出力ポートを確保
する回路であり、モードデコーダ１０８はモード保持レ
ジスタ１０５に書かれたモードに従って、通信経路の準
静的固定、また固定後の解除を行う。

【００５１】パケットデコーダ１０１がルーティング固
定あるいは解除であるとデコードした場合、モードデコ
ーダ１０８は、モード保持レジスタ１０５に書かれた情
報を基に、出力セレクタ（１４０−１４３）の選択信号
を準静的に固定し、出力制御回路１０３は、全ての出力
セレクタが出力制御回路からの出力バリア同期パケット
を選択するように指示し、全ての出力セレクタを介して
バリア同期パケットを送出する。

【００５２】なお、図４（ｃ，ｄ）のＸ部（６１）≠０
かつＹ部（６２）≠０である通信経路固定を行う場合、
行クロスバから列クロスバにパケットが中継される通信
ユニット３４に、回路１０５、１０８に対応する回路を
設けることによって、同様の処理を行い、更にルーティ
ング制御オーバーヘッドを減らすことができる。

【００５３】（レジスタの読み出し）プロセッサノード
から発行されたバリア同期パケットが図４（ｅ）に示
す、クロスバスイッチ内レジスタの読み出しであるとき
は、以下のようになる。すなわち、図６において、パケ
ットデコーダ１０１は、ｍｄ＝１００であるので、クロ
スバスイッチ１、２内レジスタの読み出しであるとデコ
ードする。クロスバスイッチ１、２内のアドレスデコー
ダ１０９は、モード保持レジスタ１０５に保持されてい
るパケットのオプションエリアアドレス部６３にあるア
ドレス情報をデコードし、読み出し対象レジスタをセレ
クトする。そして、出力制御回路１０３は、読み出し要
求パケットを発行したプロセッサノードに接続されてい
る出力ポートを確保し、読み出し対象のレジスタ情報を
パケットオプションエリアデータ部６４に設定して、読
み出し要求パケットを発行したプロセッサノードに対し
て、バリア同期パケットを返送する。

【００５４】例えば、該アドレス６３がクロスバスイッ
チ内に設けられている性能測定用モニタ１１０を指示し
ているとき、性能測定用モニタ１１０内の値が読み出さ
れ、読み出し要求パケットを送信したプロセッサノード
内の通信ユニット３４のバリア同期状態レジスタ３４４
に書き込まれる。これにより、命令プロセッサ３１はレ
ジスタ３４４内のデータにアクセスすることができる。

【００５５】（レジスタの書き込み）プロセッサノード
から発行されたバリア同期パケットが図４（ｆ）に示
す、クロスバスイッチ内レジスタの書き込みであるとき
は、以下のようになる。すなわち、図６において、パケ
ットデコーダ１０１は、ｍｄ＝１０１であるので、クロ
スバスイッチ１、２内レジスタの書き込みであるとデコ
ードする。

【００５６】クロスバスイッチ１、２内のアドレスデコ
ーダ１０９は、モード保持レジスタ１０５に保持されて
いるパケットのオプションエリアアドレス部６３にある
アドレス情報をデコードし、書き込み対象レジスタをセ
レクトして、パケットオプションエリアデータ部６４の
データを書込む。

【００５７】例えば、あるプロセッサノードが同期処理
に参加しない場合、パケットのアドレス６３に不参加モ
ードレジスタ１０４のアドレスを設定し、データ部６４
にプロセッサノードの識別子（番号など）を設定して、
行、列クロスバスイッチ１，２に送出する。行、列クロ
スバスイッチ１，２内のアドレスデコーダ１０９によっ
てデコードされたアドレスが、バリア同期不参加モード
レジスタ１０４であるとき、パケットのオプションエリ
アデータ部６４に書かれたデータ（プロセッサノードの
識別子）が、行、列クロスバスイッチ１，２内の不参加
モードレジスタ１０４に書き込まれる。これにより、該
パケットを発行したプロセッサノードが同期処理から外
される。また、再び同期処理に参加する場合は、図４
（ｆ）のパケットを用いて、不参加モードレジスタ１０
４に設定されているプロセッサノードの識別子を取り消
す。

【００５８】図７は、特定方向転送を繰り返し行う必要
がある計算プログラムの処理手順のフローチャートであ
り、（ａ）は従来の場合の処理フローチャート、（ｂ）
は本発明の場合のフローチャートである。

【００５９】図７（ａ）、（ｂ）は、図８に示すそれぞ
れＮパケット分の特定方向転送をＭ回繰り返し行う必要
がある計算プログラムについて、ハイパークロスバネッ
トワークに本発明のネットワーク制御方法を適用した場
合と、従来のネットワーク制御方法を比較したものであ
る。

【００６０】従来のネットワーク制御方法は、図７
（ａ）に示すように、パケット転送の度に、通信経路の
確保を行クロスバスイッチ１、列クロスバスイッチ２の
それぞれでＮ×Ｍ回繰り返すため、通信パケットの処理
はＮ×Ｍ×データ長分のデータを行方向及び列方向に転
送することに加えて、ルーティング制御Ａ、ＢもＮ×Ｍ
回繰り返す。また、ルーティング制御Ａ、Ｂを行ってい
る間は通信経路が確定しないため、データを転送するこ
とができない。

【００６１】これに対して、本発明のネットワーク制御
方法を適用した場合は、図７（ｂ）に示すように、１回
目の同期処理時に、ルーティング固定を指示するバリア
同期パケットの発行により、同期処理を行いながら図８
の形に通信経路を固定するため、通信パケットの処理は
データを行方向及び列方向に転送する処理だけであり、
従って、従来のネットワーク制御方法に比べ、（ルーテ
ィング制御Ａ＋Ｂ）×Ｎ×Ｍ分の通信オーバーヘッドの
低減が実現できる。

【００６２】

【発明の効果】以上、説明したように、本発明によれ
ば、特定の通信経路パターンで、大量のデータを転送す
る場合には、通信を実行する前に、バリア同期機構を用
いて、ネットワーク通信経路が特定の通信経路パターン
になるように固定しているので、通信パケット毎にルー
ティング制御を行う必要がなくなり、オーバーヘッドの
小さい通信を実施することができる。そして、通信終了
後は、固定された通信経路を解除することによって、再
び任意のプロセッサノード間で平均的なオーバーヘッド
で通信できるトポロジーに戻すことができる。言いかえ
れば、任意のプロセッサノード間での通信が平均的に効
率良く行えるトポロジーのネットワーク上で、通信経路
を固定することにより、特定パターンでの通信効率を向
上させた、並列計算機ネットワークを構成することが可
能になる。

【００６３】また、複数の通信パターンを登録できるの
で、種々のトポロジーの長所を１つのネットワーク上で
実現することができ、かつ、通信経路が固定されている
間は、通信経路の調停を行う回路が動作しないので、そ
の分、調停回路の多重化を行わない場合に発生する通信
オーバーヘッドの増大を隠蔽できることになる。

【００６４】さらに、通信選択スイッチに存在するレジ
スタに対して、接続される全てのプロセッサノードから
の読み書きが可能であるので、例えば、スイッチ内に設
けられている性能測定用モニタの値を任意のプロセッサ
ノードから読み出すことによって、同時に多くのモニタ
情報が得られることになり、高精度のリアルタイムモニ
タリングが実現される。また、特定プロセッサノード群
をバリア同期に参加させないための不参加モードの設
定、およびその解除を、不参加モードとなる各プロセッ
サノードから行うことができる。従って、このようなモ
ード設定をシステム管理する特定プロセッサノードから
行わなければならない従来のシステムに比べて、システ
ム管理ユニットの負担が軽減され、効率良くシステムを
管理することができる。

【図面の簡単な説明】

【図１】本発明のプロセッサノードの構成を示す。

【図２】ハイパークロスバ方式で結合したネットワーク
の概念図である。

【図３】行および列クロスバスイッチの構成を示す。

【図４】本発明のバリア同期パケットのフォーマットを
示す。

【図５】バリア同期パケットを用いて同期処理および通
信経路の固定、解除処理を行うフローチャートである。

【図６】通信経路の固定処理などを行う場合の構成を示
す。

【図７】（ａ）は従来のパケット転送処理を示し、
（ｂ）は本発明によるパケット転送処理を示す。

【図８】（ａ）は通信経路が固定された例を示し、
（ｂ）は通信経路を固定するバリア同期パケットを示
す。

【図９】プロセッサノード（０，０）からプロセッサノ
ード（１，２）に至る固定された通信経路を示す。

【図１０】クロスバスイッチとプロセッサノードとの接
続関係を示す図である。

【符号の説明】

１行クロスバスイッチ２列クロスバスイッチ３プロセッサノード３１命令プロセッサ３２メモリ制御ユニット３３メモリ３４通信ユニット３４１入出力ポート３４２モード設定レジスタ３４３バリア同期パケット生成回路３４４バリア同期状態レジスタ１０バリア同期回路１００ルーティング制御回路１０１パケットデコーダ１０２バリア同期判定回路１０３出力制御回路１０４不参加モードレジスタ１０５モード保持レジスタ１０６書き込み制御回路１０７読み出し制御回路１０８モードデコーダ１０９アドレスデコーダ１１０性能測定用カウンタ１２０〜１２３パケットデータ入力線１３０〜１３３通信パケット入力バッファ１４０〜１４３通信パケット出力セレクタ

Claims

【特許請求の範囲】

【請求項１】複数のプロセッサノードを、バリア同期
機構を備えたネットワークで接続し、パケット中の経路
情報に従ってプロセッサノード間でデータ転送する並列
計算機のネットワーク制御方法において、特定の通信経
路を介してプロセッサノード間でデータを転送すると
き、該データ転送を行う前に、前記特定の通信経路が書
き込まれたバリア同期パケットを、プロセッサノードか
らネットワークに送出し、該ネットワークは同期処理を
行いながら該特定の通信経路を設定し、該設定された特
定の通信経路を用いてプロセッサノード間でデータ転送
を行い、データ転送終了後に、前記プロセッサノードか
らネットワークに対して、前記特定の通信経路を解除す
るためのバリア同期パケットを送出することを特徴とす
るネットワーク制御方法。
【請求項２】複数のプロセッサノードを、バリア同期
機構を備えたネットワークで接続した並列計算機のネッ
トワーク制御方法において、該ネットワーク内レジスタ
の読み出し、または書き込みを指示したバリア同期パケ
ットを、プロセッサノードからネットワークに送出し、
該ネットワークを介して該レジスタ情報の読み出し、ま
たは書き込みを行うことを特徴とするネットワーク制御
方法。
【請求項３】前記書き込みを行うとき、前記レジスタ
に同期処理の不参加を設定し、特定のプロセッサノード
が同期処理に参加しないことを特徴とする請求項２記載
のネットワーク制御方法。