JPH02245962A - 並列計算機間通信制御方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概　　　要〕 計算機ノードが２次元格子状に配置され、ノード間が双
方向チャネル（こよって接続されているネットワークに
おける並列計算機間通信制御方式に関し、 ワームホールルーティングを用いた並列計算機間の通信
において、全てのメソセージの転送がブロックされたデ
ッドロック状態を回避し、かつ転送性能の低下を起こさ
ない通信を実現することを目的とし、 複数の計算機ノードをチャネルにより相互に接続したネ
ットワーク内で、複数の転送最小単位データに分割され
たメ・ンセー・：りを前記チャネル上で連続的に転送す
るワームホールルーティングを用いた並列計算機間通信
制御方式において、前記複数の計算機ノードの各ノード
内に、前記ネットワーク内で自ノードから最も遠いノー
ドへの中継チャネル数ｎに１を加えた個数の前記転送最
小単位データを記憶するデータ記憶手段を備え、ワーム
ホールルーティングを用いた通信におけるデッドロック
を回避し、高速通信を実現するように構成する。

〔産業上の利用分野〕

本発明は、複数の計算機ノードがチャネルにより相互に
接続された並列計算機間の通信制御方式に係り、さらに
詳しくは計算機ノードが２次元格子状に配置され、ノー
ド間が双方向チャネルによって接続されているネットワ
ークにおける並列計算機間通信制御方式に関する。

〔従来の技術〕

並列計算機間の通信方式として従来用いられているもの
の１つとしてパケット方式がある。このパケット方式で
はノードＡからノードＢを経由してノードＣヘメッセー
ジを送信するときには、ノードＢがノードＡから送られ
たパケットをストアした後に、次のノードＣにそのパケ
ットを送信することによりメツセージの中継を行う。こ
の方式はストアアンドフォワードルーティングと呼ばれ
、−旦パケットをノードＢにストアするためにノードＣ
への送信の遅延が大きい。

並列計算機間の他の通信方式としてワームホールルーテ
ィングと呼ばれる方法がある。ワームボールルーティン
グでは、メツセージがフリットと呼ばれる最小転送単位
、例えば数バイトのデータに分割される。そしてメツセ
ージの最初のフリット、すなわちへ・ンダフリニ・トが
送信ノードと受信ノードの間の中継ルートを作りながら
ネットワーク内で転送されていく。すなわちあるノード
がメツセージのヘッダを受信すると、そのヘッダが示す
転送相手先ノードによって中継ルートとなるチャネル（
通信路）を選択し、ヘッダフリットおよび後続のデータ
フリフトをそのチャネルを介して受信ノード側へ転送す
る。メソセージは送信ノードと受信ノードの間の中継ル
ートをずっと占有した形式、すなわちチャネル上で数珠
つなぎの形式で転送される。メツセージの最後のフリッ
トが送信ノードから出力される前にヘッダフリットが受
信セルに到着することもある。

ヘッダ以外のフリットはルーティングの情報を持ってい
ないが、メツセージのフリットはネットワーク内の連続
したチャネル上で転送されるために他のメツセージのフ
リットによってインクリーブされることはない。メツセ
ージのヘッダフリットがブロックされると、そのメツセ
ージの全てのフリ７・Ｉ・の転送は停止され、そのメツ
セージ転送に使用されているチャネルを必要とする他の
メソセージの転送もブロックされる。

複数のノードがトーラス（円環）状に接続されたネット
ワークにおいてこのワームホールルーティングを用いる
場合には、全てのメツセージの転送がブロックされるデ
ッドロック状態を回避する必要がある。第２６図はトー
ラス状に接続されたネットワークにおけるデッドロック
の説明図である。同図において、ネットワークは４つの
ノード■、■、■、および■、それらを接続する単一方
向のチャネル（ａ）、（ｂ）、ＦＣ）、および（ｄ）に
よって構成されている。

第２６図において、ネットワークを構成する４つのノー
ド全てが同時にワームホールルーティング方式で右廻り
にデータ転送を開始したとすると、ノード■からのメツ
セージはチャネル＋ａｌ、■からのメツセージはチャネ
ル（ｂ）、■からのメソセージはチャネル（Ｃ）、■か
らのメツセージはチャネル（ｄ）を用いて転送される。

しかしながら次のクロックにおいてメツセージの次のフ
リントを送信しようとすると、例えばノード■からのメ
ツセージは、すでにチャネル（ｂ）がノード■からのメ
ツセージの送信に用いられているために、チャネル（ｂ
ｌを使用できずにブロックされる。またノード■から送
信されるメツセージの次のフリットも、同様にチャネル
（Ｃ）を使用できずにブロックされる。ノード■、およ
びノード■から送信されるメツセージも全く同様にブロ
ックされ、全てのメツセージがブロックされたデッドロ
ック状態になる。

このようなデッドロック状態を回避するアルゴリズムと
して、バーチャルチャネルと呼ばれる方法がある。バー
チャルチャネルを使用した通信制御方式を第２７図を用
いて説明する。同図においてノード間を接続するチャネ
ルは単一方向であるが、全て仮想的に２重化されている
。すなわち、例えばノード■と■を接続するチャネルは
■から■への単一・・方向であるが、（ａｌと輿との２
重チャネルとされている。この２重チャネルは本来仮想
的なものであり、ハードウェア的には１つのチャネルで
あるが、ハードウェアとして２つのチャネルを設けても
よいことは当然である。仮想的に２重化された各チャネ
ルはそれぞれメツセージのフリットをストアすることが
でき、例えばチャネル（ａｌと無にストアされたフリッ
トのどちらかがノード■から■へ転送される。どちらの
チャネルのフリットを転送するかはフリットごとに決定
される。

各ノードからメツセージを送信するときの２重化された
チャネルの使用方法は、例えば■−剋−■−上−■−剋
−■ ■−（ｂ）−■−（Ｃ）−■−ｆｄ）−■■−（Ｃ）−
■−（ｄｌ−■−（ａ）−■■−（ｄｌ−■−（９）−
■−皿−■ とされる。このようにチャネルを２重化することにより
、全てのメソセージがブロックされたデッドロック状態
を回避することができる。

〔発明が解決しようとする課題〕

しかしながら、バーチャルチャネルを用いた方法におい
ても、第２６図におけると同様に、全てのノードが同時
に右廻りにメツセージを転送しようとするときには転送
性能が低下するという問題点がある。最初のクロックに
おいてノード■から送信されるメツセージはチャネル輿
、■がらのメツセージはチャネル（ｂ）、■からのメツ
セージはチャネル（Ｃ）、■からのメツセージはチャネ
ル（ｄ）を使用して転送され、４つのチャネルが全て使
用されるが、次のクロック以降においては実際にメツセ
ージ転送が行われるチャネルは２個になる。

すなわちノード■から送信されたメツセージはチャネル
刺を使用してノード■に転送されるが、ノード■から送
信されるメツセージは、ノード■からノード■へのメツ
セージの転送が終了した時点で初めてチャネル剋を使用
してノード■へ転送される。またノード■から送信され
るメツセージは、ノード■からノード■へのメツセージ
転送が終了した時点で、チャネル（ｄ）　４使用してノ
ード■に転送される。さらにノード■から送信されるメ
ツセージは、ノード■からノード■へのメソセージ転送
が終了した時点で、チャネル（Ｃ）を使用してノード■
に転送される。

以上のようにして全てのメソセージの転送が行われるが
、各クロックにおいて実際にメツセージの転送が行われ
ているチャネル数は転送開始クロック以外は常に２個に
なっており、これが転送性能低下の原因となっている。

本発明は、ワームホールルーティングを用いた並列計算
機間の通信において、全てのメッセージの転送がブロッ
クされたデッド口・ツク状態を回避し、かつ転送性能の
低下を起こさない通信を実現することを目的とする。

〔課題を解決するための手段及び作用〕第１図（ａ）は
第１の発明の原理ブロックである。

図において複数の計算機ノード１ａ、１ｂ、・・・がそ
れぞれチャネル２ａ、２ｂ、・・・により相互に接続さ
れて並列計算機間の通信ネットワークが構成されている
。このネットワークでは、計算機ノード間で、メツセー
ジが複数の転送最小単位、例えば数バイトのフリットに
分割される。

データ記憶手段３ａ、３ｂ、・・・は、ネットワーク内
で自ノードから最も遠いノードへの中継チャネル数ｎに
１を加えた個数のフリットを格納するものである。

第１図（ｂｌにその原理例を示す第２の発明においては
、データ記憶手段３ａ、３ｂ、・・・のそれぞれが複数
の領域に分割される。この領域は、前述の転送最小単位
データ、すなわちフリットを１個だけ格納できるもので
、自ノードから転送を開始するフリット用には０、それ
ぞれ１，２．・・・、ｎ個の中継チャネルを介してメツ
セージ転送元ノードから自ノードに入力されるフリット
用には１．２゜・・・、ｎのクラス番号が付加される。

そしてネットワーク内でのデータ転送に際しては、ネッ
トワーク内の各ノードが自ノード内のデータ記憶手段３
ａ、３ｂ、・・・内にある複数のフリットのうち、最高
クラス番号領域内のプリントを隣接ノードに出力すると
いう方法で通信が行われる。

第１図（ｂ）は４つのノードで構成されるネットワーク
における第２の発明の原理例である。同図において、簡
単のため、データ記憶手段３ａ、３ｂ。

・・・としてのバッファがＯから３の４つのクラス番号
の領域に分割された様子のみが示されている。

このバッファは、ノード■から■ヘメッセージを送信す
るときにはノード■のクラス０→ノード■のクラス１、
ノード■から■へ送信するときにはノード■のクラス０
→ノード■のクラス１−ノード■のクラス２、さらにノ
ード■から■へ送信するときにはノード■のクラス０→
ノード■のクラス１→ノード■のクラス２→ノード■の
クラス３というように、中継チャネル数が増えるたびに
クラス番号が増加する形式で使用される。他のノードか
らデータ転送が開始される場合にも全く同様にクラスロ
ークラス１→クラス２−クラス３の順序でバッファが使
用される。データ、すなわちフリットの転送時には、ど
のクラスにフリットが格納されるかを示すために、デー
タそのものに加えて、データのクラスも同時に転送され
る。

第１図（ｂ）で、従来例の第２６図におけると同様に全
てのノードが同時に右廻りにデータ転送を行なう場合に
は、最初のクロックで、まずノード■、■、■、および
■からのメツセージの最初のフリットがそれぞれノード
■、■、■、および■のバッファ内のクラス１に転送さ
れる。

次のクロックにおいては、ノード■、■、■、および■
からの最初のフリットがそれぞれノード■、■、■、お
よび■のバッファ内のクラス２に転送される。

さらに次のクロックでは、各メソセージの最初のフリッ
トは各ノードのバッファ内のクラス３に転送される。こ
のように、本発明では全てのクロックにおいて、全ての
チャネルを用いた転送が行われることになる。

第１図（ｂ）では、簡単のためにネットワークが１次元
のトーラス状で、しかもチャネルが単一方向の場合の原
理例を説明したが、本発明をチャネルが双方向で、２次
元のネットワークに適用することも可能であり、これに
ついては実施例で詳細に説明する。

〔実　　施　　例〕

第２図に本発明における並列計算機ノード間の通信ネッ
トワークシステムの全体構成図を示す。

同図において、各ノードは隣接ノードとチャネルによっ
て接続され、そのチャネルは双方向のものとする。また
このネットワークは最大横方向（東西方向）３２個、縦
方向（南北方向）３２個のノードから構成されるものと
する。

第３図が各ノードの構成を示す全体ブロック図である。

同図においてノード１は、通信ネットワーク内でメツセ
ージの転送方向を制御するルーティングユニット４とＣ
ＰＵ５から成る。そしてノード１は東、西、南、および
北方向のチャネルによってそれぞれ隣接ノードと接続さ
れている。

第２図のネットワーク内において、あるノードから通信
相手先ノードへのデータ転送は人力メツセージの最初の
フリットであるヘッダフリットによって制御される。第
４図にヘッダフリットの実施例を示す。第２図において
、メツセージのルーティングはまず最初に右または左（
東または西）方向、次に下または上（南または北）方向
に行われるものとする。メツセージの各フリットが０か
ら３１の３２ビツトで構成されるものとすると、ヘッダ
フリットは第４図のように３１ビツト目にメツセージの
転送方向（Ｘ方向）が東または西のいずれであるかを示
すｘｓ、２４ビツトから３０ビツト目に東または西方向
のメツセージの転送距離、すなわち中継チャネル数を示
すｘｒｃｉｄ。

２３ビツト目にメツセージの転送方向（Ｙ方向）が南ま
たは北のいずれかであるかを示すｙｓ、および１６ビツ
トから２２ビツト目に南または北方向の転送距離、すな
わち中継チャネルの数を示すｙｒｃｉｄから成っている
。

第４図においてｘｓがＯのとき東方向、１のとき西方向
にメツセージが転送されるものとし、またｙｓがＯのと
き南方向、ｌのとき北方向に転送されるものとする。す
ると第２図においであるノードから東方向、すなわち右
方向に３個、南方向すなわち下方向に２個離れたノード
ヘメッセージを転送する場合には、そのメツセージのヘ
ッダフリットにおいてｘｓ＝Ｑ、ｘｒｃｉｄ＝３、ｙｓ
＝０．　ｙｒｃｉｄ＝２となり、メッセーシハマス東方
向に３個離れたノードへ、次に南方向へ２個離れたノー
ドに転送されることによって、通信相手先ノードに送信
される。

この場合、ネットワーク内でのメツセージのルーティン
グにおいて送信元ノードからみた相手先ノードのノード
番号は（＋３、＋２）と表される。

東方向、すなわちＸ方向へメツセージが１ノード進むた
びに相対ノード番号のＸがデクリメントされ、送信元ノ
ードから東方向に３個離れたノードヘヘソダフリフトが
到達したときには、相対ノード番号は（０、＋２）とな
ってＸ方向へのルーティングは終了し、次に南北方向、
すなわちＹ方向へのルーティングが行われ、相対ノード
番号が（０、Ｏ）になったときにルーティングは終了す
る。

第５図に本発明における隣接ノード間でのデータ転送基
本方式を示す。本発明では、第１図１ｂ）に示したよう
に、自ノード内のデータ記憶手段、例えばバッファ内で
最高クラス番号領域のデータを隣接ノードに送信する。

送信ノード側の送信処理はフェーズ■〜■までの３つフ
ェーズに分かれている。フェーズ■においては、自ノー
ド内のバッファにある最も高いクラスのデータを転送り
ラスデータとして決定する。その次のクロックでフェー
ズ■の処理、すなわち送信するデータのクラスの番号が
送信される。そしてさらに次のクロックでフェーズ■の
処理、すなわちデータフリフトの送信が行われる。

一方受信ノード側では、送信ノード側のフェーズ■の処
理が行われているクロックにおいて、送信側のフェーズ
■で送られるクラスの番号が受信される。そして、次の
クロックで送信ノードからのデータフリフトが受信され
る。すなわち１つのデータフリットの送受信は４クロツ
クの期間で行われる。なお送信ノード側でフェーズ■に
おいて決定される転送りラスは、受信ノード側でバッフ
ァがフルになっていないクラス、すなわち受信ノード側
からの送信要求があったクラスのうちで最も高いクラス
であるという条件を満すものとする。

第６図は１つのノードからの連続するデータフリフトの
出力方式を示す。同図において、３つのデータフリフト
の出力はパイプライン方式で行われる。第１のデータフ
リフトの送信フェーズ■と、第２のデータフリットの送
信フェーズ■は同じクロックで処理される。なお、第１
のデータフリフトの送信フェーズ■と第２のデータフリ
フトのフニーズ■、第１の、フリントのフェーズ■と第
２のデータフリフトのフェーズ■とを、それぞれ同じク
ロックにおいて処理することも可能である。

本発明において、隣接ノードから送信されたデータが自
ノードにあてたものでなく、さらに次の隣接ノードへ転
送する場合、すなわち受信ノードが中継ノードになる場
合には、転送の高速化のために、そのデータをなるべく
バッファに格納することなく、直ちに隣接ノードへ転送
することになる。そのような場合のデータ中継方式の実
施例を第７図に示す。同図においてデータ中継ノードで
は、クロック３の受信フェーズ■で受信したデータのク
ラスからそのデータの中継のを無を知ることができるも
のとし、同じクロックにおける送信フェーズ■でそのク
ラスが転送データのクラスとして選択されたときには、
クロック４の受信フェーズ■で受信したデータをクロッ
ク５の送信フェーズ■でそのまま次のノードに送信する
。

第７図の中継方式において、中継すべきデータの送信先
ノードのバッファがフル状態のとき、あるいはそのクラ
ス以外のクラスが転送データとして選択されその中継デ
ータのクラスが送信されないときには、そのデータは一
旦自ノード内のバッファに格納される。そして、自ノー
ド内のバッファがフルになる可能性があることを、中継
データを送信してきた送信元隣接ノードに通知する。そ
の通知方式を第８図に示す。

同図において、ノードＡからノードＢにデータを転送す
るものとし、ノードＢはノードＡ側から送られたデータ
を受信フェーズ■でバッファに格納する。ノードＡに対
しては、クロック３の受信フェーズ■で受信したクラス
が送信されないとき、バッファがフルになる可能性があ
ることをクロック４で送信し、ノードＡはクロック５で
ノードＢ内のバッファがフルになることを知ることがで
きる。第６図に示したように、データフリフトの転送は
パイプライン方式で行われ・るために、ノードＡがクロ
ック５でバッファがフルになることを知ってもすでに次
のデータを送信しているので、ノードＢ内のバッファは
２つのデータフリフトを格納できることが必要である。

ノードＢ内のバッファのデータが送信されバッファが空
になると、空になったことがノードＡに通知される。本
発明では後述するように送信フェーズ■のクロックにお
いて、送信するデータのクラスとともに、バッファが空
になったクラスの情報が隣接ノードに通知される。

第９図はネットワーク内でルーティングされるデータと
、第５図に示したように、各データフリットに付随して
送信されるクラス情報のフォーマットである。同図［ａ
）はデータフリフトのフォーマントであり、データその
もの、すなわち第４図のヘッダフリットと同様の３２ビ
ツトのデータにエンドビットが付加されて、計３３ビッ
トの形式となる。エンドビットに１が立っている場合に
、そのデータフリフトがメツセージの最後のデータであ
ることが示される。

第９図（ｂ）のクラス情報は、隣接ノード間でデータフ
リフトの転送の制御に用いられるものである。

この情報は東西、あるいは南北方向のルーティングの最
終位置ノードまでの中継チャネル数から、“１”を減じ
た距離データｄｉｓ、送信される信号のバッファ内クラ
スを示すクラス情報ｃｌｓｓ、送信クラス情報のイネー
ブルを示す送信クラスイネーブル信号ｃｏ、クラス情報
の転送相手先からの受信データを格納するための自ノー
ド内バッファの空クラスを示す空クラス情報ｅｃｌｓｓ
、およびその空クラスの情報のイネーブルを示す信号ｅ
ｃｅから成っている。

ここで、第２図に説明したようにネットワークは東西、
および南北方向の最大３２個のノードから構成され、し
かもノード間を接続するチャネルは双方向であるために
、東西、あるいは南北方向へのメツセージの転送の最大
距離は１６となり、各ノード内のバッファのクラス番号
も最高１６となるために、距離データｄｉｓ、受信クラ
ス情報ｃｌｓｓ、および空クラス情報ｅｃｌｓｓは全て
４ビツトのデータとなる。またクラス情報を転送する際
に自ノード内バッファの空クラス情報を同時に転送する
のは、チャネルが双方向で、相手先ノードからもデータ
を受信することになるためである。

第１０図は、第３図におけるノード１内のルーティング
ユニット４の全体構成図である。同図において、ルーテ
ィングユニットＰＳＲＵは東西方向の送受信制御モジュ
ールＭＳＲＤ６、南北方向の送受信制御モジュールＭＳ
ＲＤ？、ｃｐｕ側とのプロセッサインタフェースモジュ
ールＭＡＤ８、自ノードのプロセッサからのデータが入
力する先入先出方式の入カバソファＭＩＦＩＦＯ９、プ
ロセッサへのデータを出力する先入先出方式の出カバソ
ファＭＯＦＩＦＯＩＯ１東西方向と南北方向のＭＳＲＤ
６と７との間の入出力バッファＭＩＯ１１、入力バッフ
ァＭＩＦＩＦＯ９からＭＳＲＤ６へのデータ、およびＭ
ＩＯＩ　１からＭＳＲＤ７へのデータの入力をそれぞれ
制御する２つの入力制御モジュールＭＩＮ１２および１
３、ＭＳＲＤ６からＭＩＯＩ　１へ、およびＭＳＲＤ７
からＭＯＦＩＦＯＩＯへのデータ出力をそれぞれ制御す
る２つの出力制御モジュールＭＯＵＴ１４および１５か
ら成る。

第１１図は、ルーティングユニッ）ＰＳＲＵ内で隣接ノ
ードとの間で相互にデータ送受信を制御する送受信制御
モジュールＭＳＲＤの構成ブロック図である。同図は東
西方向のＭＳＲＤ６の構成を示している。同図において
メモリ１６．１７はそれぞれ東方向、西方向へのデータ
を格納するための２ボートのパンツアメモリである。前
述のようにデータフリフトは３３ビツトであり、最大ク
ラス数は１６、しかも１クラスに２つのデータフリフト
を格納する必要があるため、メモリ容量は２Ｘ１６Ｘ３
３ビツトとなる。

送受信クラス制御モジュールＳＲＰＳＲＵＩ８．１９は
それぞれ東方向、西方向へ出力するデータのクラスを管
理するものである。マルチプレクサ２０．２１はそれぞ
れ東方向、西方向へ出力するデータを切換えるものであ
る。また、マルチプレクサ２２は、第１０図における入
出カバソファＭＩＯＩ　１への出力データを切換えるも
のであり、南北方向のＭＳＲＤ７の場合にはこのマルチ
プレクサの出力はＭＯＦＩＦＯＩＯに入力される。

バス方向切換モジュールＭＳＲＰ２３．２４はそれぞれ
東方向、西方向の隣接ノードとのインタフェースであり
、隣接ノードとのチャネル、すなわちバスを自ノードが
所有しているときには隣接ノードヘクラス情報とデータ
フリットを交互に送信する。バスを所有していない時に
は隣接ノードからのデータとクラス情報を受信する。

バス方向制御モジュールＭＡＲＢ２５．２６はそれぞれ
東方向、西方向の隣接ノードとの間のチャネル、すなわ
ちバスの方向を制御する。１つのチャネルは双方向に使
用されるので、第５図に示した１つのデータの転送に要
する４クロツクを単位とし、４クロツクに１回送信方向
の切換えが行われる。ある時刻においては隣接ノードの
いずれかがバスを所有しており、バスを所有しているノ
ードは相手ノードからのバス要求に応じて、必ずバスを
解放するものとする。バスを所有していないノードは出
力するデータがあるとき、またバッファ内で空になった
クラスがあるときには送信要求を相手ノードに出力し、
バスを所有することができる。レジスタ２７．２８はそ
れぞれ東方向、西方向へのデータを一時格納し、そのデ
ータをバッファ１６．１７に出力する。従ってバッファ
１６．１７へのデータの格納は１クロツク遅れることに
なる。

次に第１１図の送受信制御モジュールＭＳＲＤ内におけ
るデータの流れについて説明する。まず自ノードのプロ
セッサからの入力データ、すなわち第１０図におけるＭ
ＩＦＩＦＯ９からＭＳＲＤ６への入力信号は、第１１図
の入力データバスｄａｔａｗ　　ｉ２９から３つのマル
チプレクサ２０．２１および２２に入力される。そして
そのデータが東方向の隣接ノードへ向かうものであれば
、マルチプレクサ２０から東側ノードへの出力データバ
スｄａｔａｓ　　ｄ　　ｅ３Ｑ、ＭＳＲＰ２３を経由し
て東側ノード間データバスｂｕｆ　　ｅ３１に出力され
る。また、南または北方向の隣接ノードへのデータであ
る場合には、マルチプレクサ２２から第１０図における
入出カバソファＭＩＯＩＩへ出力される。

次に西側隣接ノードからのデータは西側ノード間データ
バスｂｕｆ　　ｗ３２からＭＳＲＰ２４に入力される。

そして西側ノードからの入力データバスｄａｔａｒｗ　
　ｅ３３を通ってマルチプレクサ２２、レジスタ２７、
マルチプレクサ２０．および送受信クラス制御モジュー
ルＳＲＰＳＲｏｌＢに入力される。前述のように各デー
タフリフトにはそのデータのクラス番号を表すクラス情
報が付随しており、まずクラス情報、次にデータフリフ
トの順でネットワーク内を転送されるが、クラス情報は
ＳＲＰＳＲ０１８へ入力され、データフリフトはマルチ
プレクサ２２、レジスタ２７、およびマルチプレクサ２
０に人力される。

そして、入力データをバッファメモリに格納することな
く、ただちに東側ノードへ転送する、すなわちデータを
中継する場合には、そのデータはマルチプレクサ２０を
介してＭＳＲＰ２３から東側隣接ノードへ出力される。

またバッファメモリに格納した後に出力する必要のある
場合には、レジスタ２７を経由してバッファメモリ１６
にデータが格納され、東側ノードのバッファメモリが空
になった時点でマルチプレクサ２０から出力される。さ
らに西側ノードからの入力データが自ノードのプロセッ
サ宛である場合には、マルチプレクサ２２からそのデー
タが出力され、第１０図のＭ■０１１、ＭＳＲＤ７、Ｍ
ＯＦＩＦＯＩＯｌおよびＭＡＤ８を介して自ノードのプ
ロセッサへデータが転送される。このとき自プロセッサ
へデータを転送する場合を除いて、隣接ノードヘデータ
を出力する場合には、そのデータフリットに付随するク
ラス情報がＳＲＰＳＲｏｌＢから東側ノードへの出力ク
ラス情報バスｄａｔａｓ　　ｃ　　ｅ３４を経由して、
ＭＳＲＰ２３からデータフリフトと交互に東側ノード間
データバスｂｕｆ　　ｅ３１に出力される。

送受信クラス制御モジュールＳＲＰＳＲｏｌＢは、前述
のように次に東側ノードに送信するデータのクラスを制
御するものであり、送信相手先、すなわち東側ノード内
のバッファの状態を知る必要がある。このため東側ノー
ドがらバッファフル入力信号ｆｕｌｌｉ　　ｅ３５が入
力する。また自ノード内のバッファがフルになったこと
を示す信号バッファフル出力ｆ　ｕ　１１　ｏ　　ｗ３
６ヲ西側ノードへ出力する。

東側ノード間データバスｂｕｆ　　ｅ３１をどちらのノ
ードが所有するかを制御するために、ＭＡＲＢ２５は隣
接ノードの対応するモジュールとの間でバス要求出力ｂ
ｕｓｏ　　ｅ、およびバス要求人力ｂｕｓｔ　　ｅ３７
を送受信する。

東側ノードから、データバスｂｕｆ　　ｅ３１を介して
入力されるデータは、前述の西側ノードからのデータと
同様に処理され、ＭＳＲＰ　２４から西側ノードへ出力
されるか、またはマルチプレクサ２２から入出カバソフ
ァＭＩＯＩＩへ出力される。その制御方法は前述と全く
同様である。

ここでマルチプレクサ２０および２２の切換制御信号と
、それぞれのマルチプレクサの出力との関係を第１２図
に示す。これらの制御信号のうち、信号ｄｉｒｍｏは第
１θ図のＭＯＵＴ１４から出力され、また他の信号は後
述するように送受信クラス制御モジュールＳＲＰＳＲｏ
ｌＢ内のメモリ制御モジュールＭＣＴＲＬから出力され
る。

またマルチプレクサ２１の制御信号はマルチプレクサ２
０に対する信号と同様である。

第１３図はバス方向切換モジュールＭＳＲＰの構成ブロ
ック図である。同図は第１１図の東側ノード間データバ
スｂｕｆ　　ｅ３１の方向を切換えるＭＳＲＰ２３の構
成を示し、マルチプレクサ３８．２つのレジスタ３９．
４０およびスリーステートバッファ４１から成る。そし
て第１１図の東側ノードへの出力データバスｄａｔａｓ
　　ｄ　　ｅ３０、および東側ノードへの出力クラス情
報バスｄａｔａｓ　　ｃ　　ｅ３４からの信号を、クロ
ック信号ｃｌｋ２のクロックごとに交互に切換えてレジ
スタ３９、およびスリーステートバッファ４１を介して
東側ノード間データバスｂｕｆ　　ｅ３１に出力する。

ここで信号ｂｅはバスの所有権を持っているときに“Ｈ
゛　となり、ｐｂ　　ｅはｂｅより１クロツク遅れた信
号である。さらにレジスタ４０は、東側ノードからバス
ｂｕｆ　　ｅ３１を介して入力されるデータを一時格納
するためのものである。

第１４図が送受信クラス制御モジュール５ＲＰＳＲＵの
全体構成ブロックである。このモジュールは隣接ノード
からのクラス情報、入力制御モジュールＭＩＮＩ　２か
らのデータ出力要求などを受信して、隣接ノード、ある
いは入出カバソファＭＩＯＩＩへ送信するクラス情報を
作成する。同図は第１１図におけるＳＲＰＳＲＵ１８に
対応し、西側ノードからの人力データバスｄａｔａｒｗ
　　ｅ３３が接続される受信制御モジュールＭＲＥＣ■
４０、計１７個のクラス制御モジュールＰＲＩＭ　　Ｍ
Ｃ０ＭＭ４３．４４１、・・・、４４Ｉｔｈ、メモリ制
御モジュールＭＣＴＲＬ４５、および東側ノードへの出
力クラス情報バスｄａｔａｓ　　ｃｅ３４に接続される
送信制御モジュールＭＳＥＮＤ４６から構成される。

同図においてクラス制御モジュールは自ノード内のパフ
ファメモリの各クラスに対応するデータの管理を行う。

このうちＯクラス制御モジュールＰＲＩＭ　　ＭＣ０Ｍ
Ｍ　　Ｆ１ａは自ノードのプロセッサからのデータのク
ラスを管理する。また計１６個のクラス制御モジュール
ＰＲＩＭ　　ＭＣ０ＭＭ４４＋〜４４Ｉｔｈは、自ノー
ド内のバッファの各クラスに対応するデータを管理する
。前述のように、第２図の全体構成において、ノード間
の最大距離に対応する１６個のクラスのそれぞれに対し
てクラス制御モジュール４４＋　〜４４，６が設けられ
る。

受信制御モジュールＭＲＥＣＶ４２は隣接ノードからの
クラス情報をデコードし、対応するクラスのクラス制御
モジュールＰＲＩＭ　　ＭＣ０ＭＭにデータの受信を知
らせる。

送信制御モジエールＭＳＥＮＤ４６はクラス制御モジュ
ール４３．４４１、・・・のデータ送信要求のうちから
最も高いクラスを選択し、これを第９図の（ｂｌ内の送
信クラス番号ｃｌｓｓとする。また東側ノードから自ノ
ードが受信する受信データの格納バッファメモリのうち
で、空になったクラスを東側ノードに通知するために、
第１１図において東側ノードからのクラス情報を受信す
る５ＲＰＳＲＵＩ　９から、自ノード内の西方向データ
用バッファメモリ、ここでは１７の空になったクラスを
示す信号を受は取り、その中から最も高いクラスを選択
し、クラス情報の空クラス番号ｅｃｌｓｓとする。これ
によって東側ノードへのクラス情報が作成されることに
なる。

なお第１４図においてＯクラス制御モジュールＰＲＩＭ
　　ＭＣ０ＭＭ　　Ｆ１ａは、第１０図において自ノー
ドのプロセッサから入カバソファＭＩＦＩＦＯ９を介し
て入力されるデータに対する制御情報を、入力制御モジ
ュールＭＩＮ１２との間で送受する。またメモリ制御モ
ジュールＭＣＴＲＬ４５は、第１１図においてパフファ
メモリ１６、およびマルチプレクサ２０．２２に切換制
御信号を出力する。さらに各クラス制御モジュール、お
よびメモリ制御モジュールと第１０図の出力制御モジュ
ールＭＯＵＴ１４の間でも制御信号が送受される。

第１５図は送受信クラス制御モジュール５Ｒ−ＰＳＲＵ
に対する信号の入出力状態を示す図である。同図におい
てクラス制御モジュールＰＲＩＭＭＣＯＭＭは、計１７
個からのうち１個のみが示されている。同図において受
信制御モジュールＭＲＥＣＶ　４２はデクレメンタＤＥ
ＣＲ４７、比較モジュールＣＭＰ４８．２つのデコーダ
ＤＥＣＯＤＥ４９．５０から成る。

前述のように、受信制御モジュールＭＲＥＣＶ４２には
西側ノードから、入力データパスａａｔａｒｗ　　ｅ３
３を介してデータが入力される。このデータは第９図に
示したように３３ビツトから成るが、そのうちエンドビ
ットのみが直接クラス制御モジュールに入力される。入
力クラス情報のうちで東西方向（または南北方向）の宛
先ノードまでの中継チャネル数−１を示す距離データｄ
ｉＳは、デクレメンタ４７と比較モジュール４８に入力
される。

自ノードにデータが到達したことにより宛先ノードまで
の距離は１減少するので、デクレメンタ４７の出力が新
しい距離データｄｉｓとして、各クラスＭ御モジュール
に入力される。また比較モジュール４８は距離データが
Ｏであるか否かを検出するもので、これがＯでないとき
には東方向イネーブル信号ｒｖａ　　ｅを、また０のと
きには自プロセッサ方向、または東方向から南北方向へ
の方向変更を示す自プロセッサ方向イネーブル信号ｒｖ
ｂ　　ｅを各クラス制御モジュールに出力する。

デコーダ４９は第９図（ｂｌの送信クラス番号ｃｌｓｓ
、および送信クラスイネーブル信号ｃｅを用いて、どの
クラスのデータを受信したかを示す信号をデコードし、
これを受信イネーブル信号ｒｖｅｅとして各クラス制御
モジュールに出力する。

さらにデコーダ５０は西側ノードから送られた空クラス
番号ｅｃｌｓｓ、および空クラスイネーブル信号ｅｃｅ
を用いて、西側ノード内のバッファのどのクラスが空に
なったかを示す信号ｅｒｖａＷを作成し、これを自ノー
ド内で西側ノードへのデータ出力クラスを制御する送受
信クラス制御モジュール、すなわち第１１図のＳＲＰＳ
ＲＵ１９に出力する。また同時に、ＳＲＰＳＲＵＩ９か
らは、東側ノードから送信された東側ノード内バッファ
の空クラスを示す信号ｅｒｖｅ　　ｅが各クラス制御モ
ジュールに入力する。

次に送信制御モジュールＭＳＥＮＤ４６は、２つの優先
度付エンコーダＰＲＩＯＲＩＴＹ　　ＥＮＣＯＤＥ５１
．５２から成っている。優先度付エンコーダ５１は、各
クラス制御モジュールからの隣接ノードへのデータ送信
要求信号ＤＡ　　ｅを受信して、それらの中から最も高
いクラスの送信要求信号を選び出す。そしてそのクラス
を第９図（ｂｌの送信クラス番号ｃｌｓｓとするととも
に、その最高クラスを示す信号を東側ノードへの送信ア
クノリッジ信号ｓｄｅ　　ｅとして、各クラス制御モジ
ュールへ返送する。

優先度付エンコーダ５２ば、自ノード内で東側ノードか
ら送信されるデータを格納するためのメモリ、すなわち
第１１図のバッファ１７の空状態によってＳＲＰＳＲＵ
１９が作成した空クラス送信要求信号ｅｍｗを用いて、
最も高い空クラスを選択し、第９図（ｂ）の空クラス番
号ｅｃｌｓｓを作成するとともに、そのクラスを東側ノ
ードへの空クラス送信アクノリッジ信号ｅｓｄｅ　　ｗ
としてＳＲＰＳＲＵ１９に出力する。同時に各クラス制
御モジュールＰＲＩＭ　　ＭＣ０ＭＭ４３．４４はＳＲ
ＰＳＲＵ１９へ西側ノードへの空りラス送信要求償号ｅ
ｍ　　ｅを出力し、それに対してＳＲＰＳＲＵ１９から
西側ノードへの空クラス送信アクノリッジ信号ｅｓｄｅ
　　ｅを受は取る。

さらに各クラス制御モジュール４３．４４から第１０図
の入出カバソファＭＩＯＩＩ（すなわち自プロセッサ側
または南北方向）へのデータ出力を制御する出力制御モ
ジュールＭＯＵＴ１４へ、ＭＩＯＩＩ側へのデータ送信
要求が信号ＤＢ　　ｅとして出力される。そしてＭＯＬ
ＩＴ１４からは、その中での最高クラスとして選択され
たクラスを示す送信アクノリッジ信号ｐｓｄｅ　　ｅが
、各クラス制御モジュールへ返送される。また各クラス
制御モジュール４３．４４へは東側ノードのバ・ソファ
のフル状態を示す信号ｆｕｌｌｉ　　ｅが入力する。

送信制御モジュールＭＳＥＮＤ４６からは、受信制御モ
ジュールＭＲＥＣＶ４２内のデクレメンタ４７によって
デクレメンタされた距離データｄｉｓ　　ｅと、送信ク
ラス番号、および空クラス番号等がクラス情報として、
東側ノードへの出力クラス情報バスｄａｔａｓ　　ｃ　
　ｅ３４を介して東側ノードへ出力される。

第１６図はクラス制御モジュールＰｔＭ　　ＭＣ０ＭＭ
４４ａの構成ブロック図である。ただし、この図は０ク
ラス制御モジユ一ルＰＲＩＭ　　ＭＣ０ＭＭ　　Ｆ以外
のクラス制御モジュールを示す。

同図において、クラス制御モジュールは４つのカウンタ
５３．５４．５５．５６、レジスタ５７、およびロジッ
ク回路５８から成る。

受信制御モジュールＭＲＥＣＶ４２からの東方向イネー
ブル信号ｒｖｅ　　ｅと、自プロセッサ（ＭＩＯ）方向
イネーブル信号ｒｖｂ　　ｅとが入力するカウンタ５３
は対応するクラ、スのバッツァ内のデータの方向を示す
。またカウンタ５３にはどのクラスへのデータであるか
を示す受信イネーブル信号ｒｖｅ　　ｅが入力する。Ｍ
ＲＥＣＶ４２からエンドビット信号および受信イネーブ
ル信号ｒｖｅ　　ｅが入力するカウンタ５４は、例えば
あるメツセージの最後のデータフリフトを示すエンドビ
ットを判別し、次のメツセージの最初のフリット、すな
わちヘソダフリフトを検出する。

ＭＲＥＣＶ４２からの受信イネーブル信号ｒｖｅ　　ｅ
、ＳＲＰＳＲＵＩ　９内の送信制御モジエールＭＳＥＮ
Ｄからの、西側ノードへ送信される空クラス番号を示す
送信アクノリッジ信号θ５ｄｅｅ、および東側ノードへ
出力されるデータのクラスを示す送信アクノリッジ信号
ｓｄｅ　　ｅ、出力制御モジュールＭＯＵＴ１４からの
、自プロセ・ノサ（ＭＩＯＩＩ）宛に出力されるデータ
のクラスを示す送信アクノリッジ信号ｐｓｄｅ　　ｅが
入力されるカウンタ５５は対応するクラスのバッファ内
にあるデータ数を管理する。ここで各バッファには、前
述のように２つまでデータが格納可能である。

第１１図（７）ＳＲＰＳＲＵＩ９内（７）ＭＲＥＣＶか
らの東側ノード内のバッファ空クラスを示す空クラス受
信信号ｅｒｖｅ　　ｅ、および東側ノードからのバッフ
ァフル信号ｆｕｌｌｉ　　ｅが入力するカウンタ５６は
、東側ノードの対応するバッファがフルであるか否かを
示す。レジスタ５７は、ＭＲＥＣＶ４２内のデクレメン
タ４７によってデクレメントされた距離データｄｉｓ　
　ｅを記憶し、それを送信制御モジュール４６へ出力す
る。

前述のようにクラス情報フォーマット内のｄｉＳがデク
レメントされながらネットワーク内でデータがルーティ
ングされるが、このｄｉｓはヘソダフリフトに対しての
み意味を持つ。例えば西側ノードからクラスＡに対応す
るヘソダフリフトを受信したノードは、ｄｉｓが０でな
ければそのフリットをさらに東側ノードヘルーティング
する。

またｄｉｓが０であれば、そのフリットは東側ノードヘ
ルーティングされることはなく、南／北方向のノード、
あるいはそのノード自身ヘルーティングされる。

そして、このノードのバッファ内のクラスＡに対応する
メツセージの方向はメソセージの最後、すなわちエンド
ビットを検出するまで同じとされる。従ってクラスＡの
後続のデータフリットの転送方向は、クラスＡの転送方
向情報としての、レジスタ５７内に保持されているｄｉ
ｓＯ値によって決定され、このレジスタの内容はヘッダ
７１Ｊツトを受信したときにのみ更新される。なおこの
ノードのバッファ内のクラスＡと異なるクラスに対応す
るメツセージの方向はそのクラスに対応するｄｉｓＯ値
によって全く別に制御されることは当然である。

第１６図のロジック回路５８は、カウンタ５３．５４．
５５．５６からの入力を用いて送信制御モジュールＭＳ
ＥＮＤ４６へ東側ノードへの送信要求信号Ｄ　Ａ　　ｅ
　％出力制御モジュールＭＯＵＴＩ４に対して入出カバ
ソファＭＩＯＩ　１へのデータ送信要求信号ＤＢ　　ｅ
を出力する。またロジック回路５８は、メモリ制御モジ
ュールＭＣＴＲＬ　４５に書込み要求ｗｒ　　ｅ、読込
み要求ｒｄ　　ｅを出力し、さらにそれぞれデータをラ
イト、リードするバッファの下位１ビツトのアドレスで
あるＯｅｓ　　ｅ、ｏｅｒ　　ｅを出力する。さらにロ
ジック回路５８は、ＳＲＰＳＲＵ　（西側）１９の内部
の送信制御モジュールＭＳＥＮＤに対して西側ノードへ
の空クラス送信要求信号ｅｍ　　ｅを出力する。

クラス制御モジュールＰＲＩＭ　　ＭＣ０ＭＭ４４、〜
４４Ｉ６のうちで、クラスｌから１５を管理する４４．
から４４＋ｓは全く同じ作用をするが、クラス１６を管
理する４４．６は、クラス１６に対応するデータが自ノ
ード宛のものであるため、送信制御モジュールＭＳＥＮ
Ｄ４６へのデータ送信要求を行わない点だけが他のモジ
ュールと異なる。

第１７図はＯクラス制御モジュールＰＲＩＭＭＣＯＭＭ
　　Ｆ１ａの構成ブロック図である。その作用はクラス
１からクラス１６を管理するクラス制御モジュール４４
とほぼ同様であるが、前述のように自ノードのプロセッ
サとの間でのデータを管理するものであり、バッファの
管理をしない点が異なる。カウンタ５９は第１６図のカ
ウンタ５６と同様に、東側ノードのバッファがフルであ
るか否かを示す。

ロジック回路６０には入力制御モジュールＭＩＮ１２か
らそれぞれ隣接ノード、人出カバソファＭＩＯＩ　１へ
のデータ送信要求を示す信号ＤＡｉ　　ｅ、Ｉ）１３　
　ｉ　　ｅが入力する。また送信制御モジュールＭＳＥ
ＮＤ４６内の優先度付エンコーダ５１からの、東側ノー
ドへの送信アクノリッジ信号ｓｄｅ　　ｅ、および出力
制御モジュールＭＯＵＴ１４から入力する、入出力バッ
ファＭＩＯＩｌへのデータの送信アクノリッジ信号ｐｓ
ｄｅｅが入力する。そしてロジック回路６０から送信制
御モジュールＭＳＥＮＤ４６へ東側ノードへの送信要求
信号ＤＡ　　ｅ、出力制御モジュールＭＯｔＪＴ１４へ
ＭＩＯＩ　ｌ側への送信要求信号ＤＢｅが出力される。

第１８図はクラス制御モジュールＰＲＩＭ　　ＭＣ０Ｍ
Ｍ内のカウンタの状態遷移と信号の関係を示す。ここで
信号ｄｅ、ｄａＳｄｂ、ｆ　ｓ　ｔ、およびｆｕｌｌは
すべてこのモジュール内部の信号である。同図（ａｌの
ＳＭｌはバッファ内のデータ数を管理するカウンタ５５
の状態を示す。■はバッファ内のデータの数がＯである
ことを示し、この状態は受信イネーブル信号ｒｖｅ　　
ｅが１、かつ東側ノードへと、入出カバソファＭＩＯＩ
　１に出力するクラスに対する送信アクノリッジ信号、
すなわちｓｄｅ　　ｅとｐｓｄｅ　　ｅがともに０のと
き状態■、すなわちバッファ内のデータの数が１である
状態に遷移する。

状態■において前述と全（同様の条件が成立すると、状
態■、すなわちバッファ内データ数が２の状態に遷移す
る。状態■は東側ノード、または入出カバソファＭＩＯ
Ｉ　１に出力するクラスに対する送信アクノリッジ信号
ｓｄｅ　　ｅまたはｐｓｄｅ　　ｅのどちらかが１にな
った時点で状態のに遷移する。

また全く同じ条件によって、状態■は状態■、すなわち
バッファが空になった状態に遷移する。

状態■は西側ノードへの空クラス送信アクノリッジ信号
ｅｓｄｅ　　ｅが１となったとき状態＠に遷移する。こ
れらの４つの状態に対応する信号は状態■、■に対して
はｄｅ＝１、状態■に対しては西側ノードへの空クラス
送信要求信号がｅｍ　　ｅｍ１となる。

第１８図（ｂｌのＳＭ、はバッファ内のデータの方向、
すなわちカウンタ５３の状態を示す。バッファ内にある
２データの方向が異なる可能性があるため、その状態は
＠〜■の４つであり、状態がＯと■のとき隣接ノード方
向を示すｄａ＝ｌ、■と■のとき人出カバソファＭＩＯ
１１方向を示すｄｂ＝１の信号が出力される。後述する
ようにＳＭ。

＝０によってデータがヘッダであることが示され、かつ
そのデータが入出カバソファＭＩＯＩ　ｌ側へのもので
ある（ｒｖｂ　　ｅｍ１）とき状態■は■に遷移する。

状態■から■への遷移条件はＳ　Ｍ　＋　≠２である。

これはバッファ内のデータが２でないと、すなわちデー
タ数が１または０であることを示す。ＳＭ。

＝＝２のときはバッファ内の２個のデータの方向が異な
る可能性がある。例えば以前に受信したバッファ内デー
タがａ方向、すなわち東側ノード方向である（このとき
３Ｍ２の状態は＠　′７′ｄ　ａ　＝　１の信号が出る
）とし、その後す方向、すなわち自プロセッサ（ＭＩＯ
ＩＩ）方向のデータを受信すると、そのデータはバッフ
ァに格納され、ＳＭｚは■となる。ところが先のデータ
がバッファ内にあるときはＳＭ、は■であり、信号ｄａ
は１、ｄｂはＯのままに保たれることになる。先に受信
したデータがバッファから出力された時点でＳＭＩ　は
■となり、３Ｍ２は■へ遷移し、ｄｂ＝１の信号が出る
。このようにして先に受信したデータが必ず先に出力さ
れる。

状態■は、再び５Ｍ３＝Ｏによってデータがヘッダであ
ることが示され、かつそのデータが東側ノードへのもの
である（ｒｖａ　　ｅｍ１）ときに状態■に遷移する。

状態■からＯへの遷移条件は、■から■への遷移条件と
同じ（ＳＭＩ　≠２である。

第１８図（Ｃ）はデータがヘッダデータであるかどうか
を表すカウンタ５４の状ＢＳＭ３の遷移図である。状Ｂ
Ｏはデータがヘッダデータであることを表し、受信イネ
ーブル信号ｒｖｅ　　ｅが１となることによって状態■
、すなわちヘッダデータでない状態に遷移する。そして
エンドビットが１であることが検出された時点で、状態
のは状態＠に遷移する。状態Ｏに対応する信号はｆ　ｓ
　ｔ＝１、■に対応する信号はｆｓｔ＝０である。

第１８図（ｄｌは隣接ノード内のバッファがフルである
か否かを示すカウンタ５６の状ＭＳＭ、の遷移図である
。状態Ｏはフルでないことを示し、バッファフル人力ｆ
ｕｌｌｉ　　ｅの入力によって状態■、すなわち隣接ノ
ード内のバッファがフルの状態に遷移する。そして空ク
ラス受信信号ｅｒｖｅ　ｅの入力により、状態＠に遷移
する。状態＠と■に対応する信号は、それぞれｆｕｌｌ
＝０と１である。

第１８図（ｅ）は東側ノードへのデータ送信要求信号Ｄ
Ａ　　ｅと、入出力バッファＭＩＯＩ　１へのデータ送
信要求信号ＤＢ　　ｅの出力回路である。信号ＤＡ　　
ｅは上述の諸信号と東側方向イネーブル信号ｒｖａ　　
ｅとを用いて出力される。また信号ＤＢ　　ｅは前述の
信号と自プロセッサ方向イネーブル信号ｒｖｂ　　ｅと
を用いて出力される。

第１９図はメモリ制御モジュールＭＣＴＲＬ４５の構成
ブロック図であり、ロジック回路６１とレジスタ６２か
ら成る。ロジック回路６１には送信制御モジュールＭＳ
ＥＮＤ４６からの東側ノードへの送信アクノリッジ信号
ｓｄｅ　　ｅ、出力制御モジュールＭＯＵＴ１４からの
、ＭＩＣ）１１へのデータのクラスを示す送信アクノリ
ッジ信号ｐｓｄｅ　　ｅが入力し、またクラス制御モジ
ュールＰＲＩＭ　　ＭＣ０ＭＭから書込み、および読込
み要求信号ｗｒ　　ｅＳｒｄ　　ｅおよびバッファの下
位１ビツト（全５ビツト）のアドレスｏｅｓ　　ｅ。

ｏｅｒ　　ｅが入力する。ロジック回路６１は西側ノー
ドヘバッファフル出力ｆｕｌｌｏ　　ｗを出力する。こ
の信号は自ノード内バッファへのデータ書込み信号が発
生したときに“１′となる。さらにロジック回路６１は
、第１１図のマルチプレクサ２０と２２に対してｄｉｒ
　　ｍｏ以外の制御信号を出力する。

そしてレジスタ６２からはリードアドレスとり−ドイネ
ーブル信号が２組、ライトアドレスとライトイネーブル
が１組バッファメモリに出力される。ここで、リードア
ドレスとリードイネーブル信号が２組出力されるのは、
メモリからのリードが１クロツク内に２回行われるため
である。その１つは東側ノードへのデータのリードであ
り、他の１つは入出カバソファＭＩＯＩＩへのデータの
リードである。なおこのメモリからのリードは第５図に
おける送信フェーズ■で、メモリへのライトは第８図に
おけるノードＢの受信フェーズ■で行われる。

第２０図は入力制御モジュールＭＩＮの構成ブロック図
である。人力制御モジュールＭＩＮ１２は、自ノードの
プロセッサから入力されるデータの送信方向を決定する
モジュールである。送信方向は第１０図のＭＳＲＤ６か
らの出力方向であり東側ノード、西側ノード、あるいは
入出力レジスタＭＩＯＩＩのいずれかの方向である。送
信方向は第４図に示したようにヘッダフリットに示され
ており、その方向はメツセージの先頭、すなわちヘッダ
フリットからエンドビット検出まで同じである。

入力制御モジュールＭＩＮ１２はデコーダ６３、カウン
タ６４、およびデクレメンタ６５から成る。

デコーダ６３、およびデクレメンタ６５には第１０図の
入力バッファＭＩＦＩＦＯ９からのデータが入力データ
バスｄａｔａｗ　　ｉ２９から入力し、カウンタ６４に
は同じ＜ＭＩＦＩＦＯ９からデータがあることを示す信
号ｒｖｅｗ　　ｆが入力する。

デコーダ６３はヘッダフリットの内容からデータの方向
を決定し、カウンタ６４にデータの送信方向が東側ノー
ド、西側ノード、および入出力バッファＭＩＯＩＩ側に
それぞれ対応するイネーブル信号ｒｖａ　　ｅＳｒｖａ
　　ｗ、およびｒｖｂｅのいずれかを出力する。そして
カウンタ６４はＭＳＲＤ６に対してそれぞれ東側、西側
、および入出カバソファＭＩＯＩＩ側へのデータ送信要
求を示す信号ＤＡ　　ｉ　　ｅ、ＤＡ　　ｉ　　ｗ、お
よびＤＢ　　ｉ　　ｅのいずれかを出力する。図におい
てＤＢ　　ｉ　　ｗは常に０である。これに対してＭＳ
ＲＤ６からカウンタ６４に、データが送信されたことを
示すアクノリッジ信号ｓｄｅ　　ｉが入力する。

カウンタ６４はエンドビットを判別することによってヘ
ソダフリフトを検出し、その内容に従ってデータの送信
方向を保持する。またデクレメンタ６５は、ヘソダフリ
フト内の宛先ノードを示す情報、すなわち宛先ノードま
での相対距離を示すＩＤをデクレメントし、これをＭＳ
ＲＤ６に距離データｄｉｓｅ（またはｄｉｓｗ）として
出力する。ここで自ノードのプロセッサからのデータを
隣接ノードへ出力する前に距離をデクレメントするのは
この距離を表すビット数を少なくするためであり、これ
によって第９図ｆｂｌのｄｉｓは４ビツトでよいことに
なる。

第２１図は出力制御モジュールＭＯＵＴ１４の構成ブロ
ック図である。このモジュールは、前述のようにＭＳＲ
Ｄ６から入出カバソファＭＩＯＩ■へのデータ出力を制
御するものであり、ＭＳＲＤ６から出力要求のあったク
ラスのうちで最も高いクラスのデータを入出力バッファ
ＭＩ０１１に出力させる。出力データのクラスはヘソダ
フリフトからメツセージの最後のフリットまで、すなわ
ちエンドビットを検出するまで同じである。あるメソセ
ージの出力中に、より高いクラスのデータが自ノードに
入力されても、その高いクラスのデータ出力が直ちに行
われることはなく、出力中メツセージのエンドピント検
出後に、入力されたより高いクラスのデータ出力が行わ
れる。ただし、これはＭＳＲＤ６からＭＩＯＩ　１への
データ出力時の制御法であり、ＭＳＲＤ６から隣接ノー
ドへのデータ出力時には、１フリツト毎に異なるクラス
（より高いクラス）のデータ出力が行われる。

出力制御モジュールＭＯＵＴ１４は、優先度付（プライ
オリティ）エンコーダ６６とカウンタ６７から構成され
る。プライオリティエンコーダ６６には、ＭＳＲＤ６内
のＳＲＰＳＲＵ　（、東）１８とＳＲＰＳＲＵ　（西）
１９とからの送信要求信号ＤＢ　　ｅおよびＤＢ　　ｗ
が入力する。これらの入力と、入出カバソファＭＩＯＩ
　１からのバッファのフルを示す信号ｏ　ｒ　　ｆ　ｕ
　１１．　ＭＳＲＤ６からのメンセージの最後のデータ
フリットであることを示すエンドビット、およびプライ
オリティエンコーダ６６の出力がカウンタ６７に入力さ
れる。

プライオリティエンコーダ６６は、データ送信要求信号
ＤＢ　　ｅまたはＤＢ　　ｗのうちで最も高いクラスを
選択し、それをカウンタ６７に出力する。カウンタ６７
はヘソダフリフトを検出して、ＭＳＲＤ６から出力され
るデータのクラスを示す状態を保持するものである。カ
ウンタ６７は入出カバソファＭＩＯ１１に対してデータ
出力を示す信号ｄａｔａｅ　　ｍｏを出力すると同時に
、ＭＳＲＤ６に対して、ＭＯＵＴ１４が選択した、Ｍｌ
ｏｌｌに送信されるデータのクラスを表す送信アクノリ
ッジ信号ｐｓｄｅ　　ｅ、またはｐｓｄｅＷを出力する
。ここでこの２つの信号はそれぞれ東側、西側のＳＲＰ
ＳＲＵ１８．１９からの送信要求に対応するものである
。さらにカウンタ６７は第１１図のマルチプレクサ２２
に制御信号ｄｉｒ　　ｍｏを出力する。

第２２図は、自ノードのプロセッサから入力されるデー
タを格納する先入先出方式のバッファＭ、ＩＦＩＦＯ９
の構成ブロック図であり、カウンタ６８とバッファ６９
から構成されている。バッファ６９は、プロセッサ側か
らインタフェースＭＡＤ８を介してデータバスｄｂｕｓ
上で入力されるデータを一時格納し、Ｍ　Ｓ　ＲＤ　６
への入力データバスｄａｔａｗ　　ｉ２９に出力するも
のである。

ＭＳＲＤ６からの送信アクノリッジ信号５ｄｅｉと、プ
ロセッサ側からの書込み信号ｗｒｉｔｅが入力するカウ
ンタ６８は、バッファ内にあるデータの数を表すカウン
タ、データの出力アドレスを示すレジスタ、および次に
データが入力される入力アドレスを示すレジスタから構
成される。

信号ｗｒｉｔｅが“Ｈｏ　となりデータが入力されると
、カウンタ値および入力アドレスがインクレメントされ
、データが出力されると出力アドレスはインクレメント
、カウンタ値はデクレメントされる。

カウンタ６８からは、入力制御モジュールＭＩＮ１２へ
バッファ内にデータがあることを示す信号ｒｖｅｗ　　
ｉが出力され、またプロセッサ側にバッファがフルであ
ることを示す信号ｉｒ　　ｆｕｌｌ、およびバッファが
空でないことを示す信号ｉｒ　　ｎｅｍｐｔｙが出力さ
れる。

第２３図は、プロセッサへの出力側の先入先出方式のバ
ッファであるＭＯＰＩＦＯＩＯの構成ブロック図である
。第２２図のＭＩＦＩＦＯと同様に、カウンタ７０とバ
ッファ７１から構成される。

バッファ７１はバッファ６９と同様に、ＭＳＲＤ（南／
北）７からのデータを一時的に格納し、プロセッサ側へ
のデータバスに出力するものである。

カウンタ７０はＭＩＦＩＦＯ９内のカウンタ６８と同様
の作用をするもので、ＭＯＵＴ１５から出力される、Ｍ
ＳＲＤ７からのデータ出力を示す信号ｄ　ａ　ｊ　ａ　
ｅ　　ｍ　Ｏ％およびプロセッサからのリード信号が人
力され、出力制御モジュールＭＯＵＴ１５に対してはバ
ッファがフルであることを示す信号ｏｒ　　ｆｕｌｌを
、またプロセッサ側にはこのフル信号とバッファが空で
ないことを示す信号ｏｒ　　ｎｅｍｐｔｙとを出力する
。

第２４図は、２つのＭＳＲＤ６と７との間に挿入される
データバッファである入出力バッファＭ１０１１の構成
ブロック図である。このバッファは一般のＦＩＦＯであ
り、データイネーブルを表す１ビツトのカウンタ７２と
バッファ７３によって構成される。バッファ７３は入力
側のデータバスから人力されるデータを一時記憶し、Ｍ
ＳＲＤ（南／北）７に出力するものである。カウンタ７
２には出力制御モジュールＭＯＵＴ１４からのデータ出
力示す信号ｄａｔａｅ　　ｍｏ、およびＭＳＲＤ６から
の送信アクノリフジ信号ｓｄｅ　　ｉが入力する。そし
てＭＯＵＴ１４にはバッファフルを示す信号ｏｒ　　ｆ
ｕｌｌを、入力制御モジュールＭＩＮＩ　３にはＭＩＯ
内にデータがあることを示す信号ｒｖｅｗ　　ｉが出力
される。

第２５図は、第１１図におけるバス方向制御モジュール
ＭＡＲＢのブロック図である。ＭＡＲＢ２５内にはカウ
ンタ７４があり、カウンタ７４には第１５図の送信制御
モジュールＭＳＥＮＤ４６からチャネル獲得要求信号ｂ
ｕｓｏ　　ｅが入力する。ここでチャネル獲得要求は自
ノードから送信したいデータがあるとき、または東側ノ
ードから送信されるデータを格納するバッファが空にな
ったことを東側ノードに通知するときに出されるもので
あり、ＭＳＥＮＤ４６に入力する東側ノードへの送信要
求信号ＤＡ　　ｅとＳＲＰＳＲＵ　（西）１９から入力
する東側ノードへの空クラス送信要求ｅｍｗとのオア信
号がチャネル獲得要求ｂｕｓｏ　　ｅとなる。

またカウンタ７４には東側ノードからのチャネル獲得要
求ｂｕｓｉ　　ｅが入力する。カウンタ７４からは東側
ノードに対してチャネル獲得要求ｂｕｓｏ　　ｅが出力
されるとともに、チャネルを獲得していることを示す信
号ｂｅが第１３図のバス方向切換モジュールＭＳＲＰ２
３内のレジスタ３９に、またＳＲＰＳＲｔＪを制御する
ために第１５図の受信制御モジュールＭＲＥＣＶ４２、
および送信制御モジュールＭ　Ｓ　Ｅ　Ｎ　Ｄ　４６に
も出力される。

以上詳細に説明したように、多数の計算機ノードが双方
向チャネルによって相互に２次元的に接続されたネット
ワークにおいて、各ノードから隣接ノードへのデータ出
力時に、自ノードから出力できるデータのうち最も高い
クラスのデータを出力することによりチャネルの有効利
用をはかることができる。すなわち、前述のように、送
受信制御モジュールＭＳＲＤから隣接ノードへのデータ
出力時には、データフリフト毎に出力するデータのクラ
スを変えることができる。そこで例えば自ノードから東
側ノードへのチャネルがあるメソセージ転送に使用され
ているときに何らかの原因でそのメツセージ転送がブロ
ックされても、そのチャネルを他のメツセージ転送に用
いることが可能となる。

〔発明の効果〕

以上のように本発明によれば、ワームホールルーティン
グを用いた並列計算線間通信において、デッドロックを
回避し、かつ転送性能の低下を防止することができ、通
信高速化に寄与するところが大きい。

【図面の簡単な説明】

第１図（ａ）は第１の発明の原理ブロック図、第１図（
ｂ）は第２の発明の原理例を示す図、第２図は本発明に
おける並列計算機ノード間の通信ネットワークシステム
の全体構成を示す図、第３図は各ノードの全体構成を示
すブロック図、第４図はメツセージの最初のヘッダフリ
ットのフォーマットの一実施例を示す図、 第５図は隣接ノード間でのデータ転送の基本方式の一実
施例を示す図、 第６図は１つのノードからの連続するデータフリットの
出力方式の一実施例を示す図、第７図はデータ中継方式
の一実施例示す図、第８図は送信元隣接ノードへの自ノ
ードカバ・ソファフル可能性通知方式の一実施例を示す
図、第９図はネットワーク内でルーティングされるデー
タと、各データフリフトに付随して送信されるクラス情
報とのフォーマットの一実施例を示す図、 第１０図はルーティングユニットＰＳＲＵの実施例の全
体構成を示すブロック図、 第１１図は送受信制御モジュールＭＳＲＤの構成を示す
ブロック図、 第１２図は送受信制御モジュールＭＳＲＤ内のマルチプ
レクサ（ＭＵＸ）の出力と切換制御信号との関係を示す
図、 第１３図はバス方向切換モジュールＭＳＲＰの構成を示
すブロック図、 第１４図は送受信クラス制御モジュール５ＲＰＳＲＵの
全体構成を示すブロック図、第１５図は送受信クラス制
御モジュール５ＲＰＳＲＵに対する信号の入出力状態を
示す図、第１６図はクラス制御モジュールＰＲＩＭ　　
ＭＣ０ＭＭの構成を示すブロック図、 第１７図はＯクラス制御モジュールＰＲＩＭＭＣＯＭＭ
　　Ｆの構成を示すブロック図、第１８図（ａ）〜＋８
１はクラス制御モジュールＰＲＩＭ　　ＭＣ０ＭＭ内の
カウンタの状態遷移と信号との関係を示す図、 第１９図はメモリ制御モジュールＭＣＴＲＬの構成を示
すブロック図、 第２０図は入力制御モジュールＭＥＮの構成を示すブロ
ック図、 第２１図は出力制御モジュールＭＯＵＴの構成を示すブ
ロック図、 第２２図は入カバソファＭ　Ｉ　Ｆ　Ｉ　Ｆ　Ｏの構成
を示すブロック図、 第２３図は出カバソファＭＯＦＩＦＯの構成を示すブロ
ック図、 第２４図は人出カバソファＭＩＯの構成を示すブロック
図、 第２５図はバス方向制御モジュールＭＡＲＢのブロック
図、 第２６図は複数の計算機ノードがトーラス状に接続され
たネットワークを示す図、 第２７図バーチャルチャネルを用いた通信制御方式の従
来例を示す図である。 １ａ、１ｂ、ＩＣ・・・計算機ノード、２ａ、２ｂ・・
・チャネル、 ３ａ、３ｂ、３Ｃ・・・データ記憶手段、４・・・ルー
ティングユニット（Ｐ　Ｓ　ＲＵ）、５・・・ｃｐｕ。 ６．７・・・送受信制御モジュール（ＭＳＲＤ）、 ９　　・　・ １０　・　・ １１　・　・ １２、１ １４、　Ｉ Ｔ）、 １６、１ １８、１ ル（ＳＲ ・人カバソファ（ＭＩＦＩＦＯ）、 ・出カバソファ　（ＭＯＦＩＦＯ）、 ・入出カバソファ　（ＭＩＯ）、 ３・・・入力制御モジュール（ＭＩＮ）、５・・・出力
制御モジュール（ＭＯＵ ７・・・バッファメモリ１ ９・・・送受信クラス制御モジュー ＰＳＲＵ）、 ２０〜２２・・・マルチプレクサ（ＭＵＸ）、４２・・
・受信制御モジュール（ＭＲＥＣＶ）４３・・・Ｏクラ
ス制御モジュール（ＰＲＩＭ　　ＭＣ０ＭＭ　　Ｆ）、 ４４、〜４４１６・・・クラス制御モジュール（ＰＲＩ
Ｍ　　ＭＣＯＭＭ）、 ４５・・・メモリ制御モジュール（ＭＣＴＲＬ）、

Claims (1)

1. 【特許請求の範囲】 １）複数の計算機ノード（１ａ、１ｂ、・・・）をチャ
   ネル（２ａ、２ｂ、・・・）により相互に接続したネッ
   トワーク内で、複数の転送最小単位データに分割された
   メッセージを前記チャネル（２ａ、２ｂ、・・・）上で
   連続的に転送するワームホールルーティングを用いた並
   列計算機間通信制御方式において、 前記複数の計算機ノード（１ａ、１ｂ、・・・）の各ノ
   ード内に、前記ネットワーク内で自ノードから最も遠い
   ノードへの中継チャネル数ｎに１を加えた個数の前記転
   送最小単位データを記憶するデータ記憶手段（３ａ、３
   ｂ、・・・）を備え、ワームホールルーティングを用い
   た通信におけるデッドロックを回避し、高速通信を実現
   することを特徴とする並列計算機間通信制御方式。 ２）複数の計算機ノード（１ａ、１ｂ、・・・）をチャ
   ネル（２ａ、２ｂ、・・・）により相互に接続したネッ
   トワーク内で、複数の転送最小単位データに分割された
   メッセージを前記チャネル（２ａ、２ｂ、・・・）上で
   連続的に転送するワームホールルーティングを用いた並
   列計算機間通信制御方式において、 前記複数の計算機ノード（１ａ、１ｂ、・・・）の各ノ
   ード内に、前記ネットワーク内で自ノードから最も遠い
   ノードへの中継チャネル数ｎに１を加えた個数の前記転
   送最小単位データを記憶するデータ記憶手段（３ａ、３
   ｂ、・・・）を備え、該データ記憶手段（３ａ、３ｂ、
   ・・・）のそれぞれを、自ノードから転送を開始する前
   記転送最小単位データを格納するクラス番号０の領域と
   、それぞれ１、２、・・・、ｎ個の中継チャネルを経由
   してメッセージ転送元ノードから自ノードに入力された
   該転送最小単位データを格納する、それぞれクラス番号
   １、２、・・・、ｎの領域に分割し、複数のクラス番号
   領域内に隣接ノードに転送すべきデータがあるときに、
   該複数のクラス番号中の最高クラス番号領域内のデータ
   を隣接ノードに出力することを特徴とする並列計算機間
   通信制御方法。