JPH02228762A - 並列処理コンピュータシステム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は並列処理コンピュータシステムの分野に関する
。

〔従来の技術及び発明が解決しようとする問題点〕

従来の技術では、いくつかの並列処理コンピュータシス
テムが良く知られている。一般に、そのようなシステム
においては、ネットワークの中で多数のプロセッサが互
いに接続されている。そのようなネットワークの中の各
プロセッサは命令を並行して処理する。この並列処理コ
ンピュータシステムは、一般に、２つの種類、すなわち
、（１）単−命令流れ、多重データ流れ（ＳＩＭＤ）シ
ステムと、（２）多重命令流れ、多重データ流れ（ＭＩ
ＭＤ）システムとに分類できる。ＳＩＭＤシステムにお
いては、複数のプロセッサのそれぞれが異なるデータに
ついて同一の命令を同時に実行する。ＭＩＭＤシステム
では、複数のプロセッサのそれぞれが異なるデータにつ
いて異なる命令を同時に実行する。

ＳＩＭＤシステム、ＭＩＭＤシステムのいずれにおいて
も、コンピュータシステム内でプロセッサ間の通信を可
能にするための何らかの手段が必要である。そのような
システムでは、プロセッサを論理的にｎ次元立方体とし
て組成することが知られている。このｎ次元立方体シス
テムの説明は、Ｈｅｒｂｅｒｔ　５ｕｌｌｉｖａｎと　
Ｔ、　Ｒ，Ｂａ、ｓｈｋｏｗの［Ａ　Ｌａｒｇｅ　５ｃ
ａｌｅ　Ｈｏｍｏｇｅｎｅｏｕｔ、　Ｆｕｌｌｙ　Ｄｉ
ｓｔｒｉｂｕｔｅｄ　Ｐａｒａｌｌｅｌ　Ｍａｃｈｉｎ
ｅ　Ｊ　　（Ｐｒｏｃｅｅｄｉｎｇｓは、プールｎ次元
立方体として接続され九プロセッサを含むいくつかの相
互接続構造について論じている。説明されるプールｎ次
元立方体は、Ｎ（Ｎ＝２　）個のプロセッサが互いに接
続されたものであり、それらのプロセッサはｎ次元立方
体の角にそれぞれ配置されていると考えれば良い。

５ｕｌｌｉｖａｎ他の説明によれば、１つのプロセッサ
を、ｎ個のビットから成る２進アドレス（０゜Ｏ２・・
・０）を有する原点として指定することＫよシ、プロセ
ッサの場所を表わすことができる。その場合、他のプロ
セッサの場所は、各ビット位置がｎ次元のうち１つに沿
った１つの座標であると考えられるｎビットの２進数と
して表わされることになる。そのようなシステムにおい
ては、１つのプロセッサが別のプロセッサに直接結合さ
れている場合、それらのアドレスは１ビツトしか違わな
い。このビットの位置は、プロセッサ間の通信が行われ
るｎ次元空間内の方向を示す。すなわち、１つのプロセ
ッサのアドレスは、隣接するプロセッサと１ビツトしか
違わない。

５ｕｌｌｉｖａｎ他の説明によれば、そのようなシステ
ムでは、２つのプロセッサのアドレスのビットごとの和
（モジューロ２）を求めること釦より相対アドレスを計
算する。このビットごとの和の計算は、２つのアドレス
の排他的論理和を求めることと同等である。その結果得
られる相対アドレスの中のゼロでないビットの数は、１
つのプロセッサから別のプロセッサに達するまでに通過
しなければ表らないリンクの数を表わす。

Ｈｉｌｌｉｓの米国特許第４，５９８，４００号には、
同様のｎ次元立方体並列処理コンピュータシステムが記
載されているが、この場合、メートのプレイが２次元以
上のパターンを描いて互いに接続され、ノード間の通信
は、ノードの変位を示すアドレスによシ指示される。Ｈ
ｉｌｌｉｓは、ｎ次元立方体ネットワークの中で１つの
ノードから別のノードへメツセージパケットが経路指定
されるようなシステムを特定して開示している。メツセ
ージパケットは相対アドレス情報と、ノード間で通信さ
れるべき情報とを含む。

公邸の並列処理コンピュータシステムの多くは、１つの
ノードから別のノードヘメッセージヲ通信するために蓄
積交換メカニズムを利用する。Ｈ４１１ｉｓのシステム
は、そのような蓄積変換メカニズムを表わしている。こ
の蓄積交換メカニズムは、Ｐａｒｖｔｚ　Ｋｅｒｍａｎ
ｉとＬｅｏｎａｒｄ　Ｋｌｅｉｎｒｏｃｋのｒ　Ｖｉｒ
ｔｕａｌ　Ｃｕｔ　−Ｔｈｒｏｕｇｈ　：　Ａ　ｎｅｗ
Ｃｏｍｐｕｔｅｒ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｓｗ
ｉｔｃｈｉｎｇＴｅｃｈｎｉｑｕｅ　Ｊ　　（（ｃｏｍ
ｐｕｔｅｒ　Ｎｅｔｗｏｒｋｓ第３巻（１９７９年刊）
、２６７〜２８６ページ）にさらに明確に説明されてい
る。Ｋｅ　ｒｍａｎ　１他は、蓄積交換システムを回路
スイッチングシステムとは区別する。詳細にいえば、回
路スイッチングシステムは、２つのノード間の通信のた
めの完全々経路が、通信開始前に設定されるようなシス
テムであると述べている。経路設定後、２つのノード間
の通信期間を通して、通信経路は結合されている。蓄積
交換（又はメツセージ）スイッチングシステムにおいて
は、あらかじめ経路を確定させずに、メツセージは宛先
ノードへ経路指定される。

このようなシステムでは、経路は、メツセージ通信中に
、−数的にはメツセージの中のアドレス情報に基づいて
動的に確定される。一般に、メツセージは、次の所定の
ノードへ転送される前に、中間ノードに蓄積される。Ｋ
ｅ　ｒｍａｎ　を他は、パケットスイッチングシステム
の概念についてさらに論じている。パケットスイッチン
グシステムは資源洸用度向上を認識し、ネットワークシ
ステムによっては、メツセージをパケットと呼ばれるよ
り小さな単位に分割することによってネットワークの遅
延を短縮できる場合もある。そのようなシステムでは、
各パケット（メツセージではなく）はそれ独自のアドレ
ッシング情報を搬送する。

Ｋｅ　ｒｍａｎ　ｉ他は、公却のシステムに余分の遅延
が起こるのは、メツセージが完全に受信される前に１つ
のノードから次のノードへ伝送されるのを許されていな
いためであると考えた。Ｋｅ　ｒｍａｎ　ｉ他は、通信
経路の確定に際して「仮想通９抜け−１と呼ばれる概念
を開示している。この仮想通シ抜はシステムは回路スイ
ッチング方式と、パケットスイッチング方式とを混成し
たもので、メツセージパケット中の経路指定情報が受信
され且つ出力チャネルが選択されたときに、メツセージ
はその出力チャネルを介して伝送され始める。このシス
テムにおいては、全ての中間チャネルが使用中である場
合に、蓄積交換システムと全く等しいスルーブツト時間
が得られる。全ての中間チャネルがアイドル状態である
場合には、このシステムのスループット時間は回路スイ
ッチングシステムト同様である。しかしながら、　Ｋｅ
ｒｍａｎｉ他によシ開示されたシステムでも、チャネル
が使用中でおる場合に各ノードにメツセージ全体を蓄積
させるのに十分なバッファリングは依然として必要であ
る。

Ｗ、　Ｊ、　Ｄａｌｌｙのｒ　Ａ　ＶＬＳＩ　Ａｒｃｈ
ｉｔｅｃｔｕｒｅｆｏｒ　Ｃｏｎｃｕｒｒｅｎｔ　Ｄａ
ｔａ　５ｔｒｕｃｔｕｒｅｓ　Ｊ（Ｐｈ、　Ｄ、　Ｔｈ
ｅｓｉｓ、　Ｄｅｐａｒｔｍｅｎｔ　ｏｆ　Ｃｏｍｐｕ
ｔｅｒ　５ｃｉｅｎｃｅ、　Ｃａ１ｉｆｏｒｎｉａ　Ｉ
ｎ５ｔｉｔｕｒｅｏｆ　Ｔｅｃｈｎｏｌｏｇｙ、　Ｔｅ
ｃｈｎｉｃａｌ　Ｒｅｐｏｒｔ５２０９　（１９８６年
３月発行））には、メツセージ通過の待ち時間を短縮す
る之めのメツセージ通過同時アーキテクチャが論じられ
ている。第３章の中で、Ｄａｌｌ）’は平衡２進ｎ次元
立方体アーキテクチャについて説明している。

第５章では、Ｄａｌｌ）’はメツセージ待ち時間を短縮
するためのアプリケーションを論じている。

−数的には、Ｄａｌｌ７は蓄積交換方法ではなく、ウオ
ームホール経路指定方法を採用する。ウオームホール経
路指定方法は、ノードが、次のノードへの伝送を開始す
る前にパケット全体が次に到着するのを待機しているの
ではなく、メツセージのバイトが到着した時点でメツセ
ージの各バイトを次のノードへ転送し始めることを特徴
としている。

すなわち、ウオームホール経路指定の場合、メツセージ
待ち時間は、メツセージの長さＬに従って決定される項
と、メツセージが通過する通信チャネルの数りに従って
決定される項という２項の和である。蓄積交換経路指定
の場合の待ち時間は、Ｌ、！−Ｄの積によって左右され
る。（Ｄａｌｌ）’の１５３ページを参照。） ウオームホール経路指定のも５１つの利点は、通信が中
間ノードのメモリ帯域幅を使い果たさないことである。

Ｄａｌｌ７のシステムでは、パケットは経路に沿って中
間ノードのプロセッサ、すなわち、メモリと対話するの
ではなく、宛先に到着するまで、厳密に経路指定チップ
ネットワーク内にとどまっている。

しかしながら、Ｄａｌｌｙは、各処理ノードに大域同期
なしにそれぞれ独自の速度で動作させる自己時限システ
ムを開示している。（Ｄａｉｌｙの１５３ページを参照
）。

さらに、ＤａｌｌＦの１り４〜１５７ページによれば、
メツセージパケットは、相対Ｘ及びＹアドレスフィール
ドと、複数の非ゼロデータバイトから成る可変サイズデ
ータフィールドと、末尾バイトとを含む。

並列処理コンピュータシステムにおいてノード間の改良
された通信方法を開発することが望まれる。

本発明の別の目的として、メツセージ通過の待ち時間が
短縮され且つノード間のチャネル帯域幅は拡張された並
列処理コンピュータシステムを開発することが望まれる
。

本発明の別の目的として、各ノードでメッセージパケッ
トヲバツファリングする必要なくメツセージを効率良く
通過させるシステムを開発することが望まれる。

本発明の別の目的として、システム内部で通信されるデ
ータがデータと共に通信されるクロックによυ制御され
るようなシステムを開発することが望まれる。

〔問題点を解決するための手段〕

並列処理コンピュータシステムについて説明する。本発
明は、２進ｎ次元立方体として互いに接続されている複
数の処理ノードを有するコンピュータシステムから成る
。各ノードは、情報を処理する処理手段と、ｎ次元立方
体の中でノード間で情報を経路指定するルータ手段とを
具備する。

ルータ手段は処理手段からアドレス情報を受取シ、起点
ノードから宛先ノードへ情報を通信する通信経路を確定
させるために、ノードからノードヘアドレス情報を通信
する。通信経路が確定した後、宛先ノードは、それが情
報を受入れることができる状態にあるという肯足応答を
、同じ経路を介して、逆方向に応答する。

次に、逆経路を介して情報の通信が始まる。情報の通信
が完了すると、経路は解放され、経路によυ使用されて
いたチャネルは、他のノード間の通信のために利用でき
る状態になる。

本発明においては、各ルータ手段は情報通信のための２
つのチャネルを含む。第１のチャネルは１つのノードか
ら隣接するノードへ情報を伝送する念めに利用され、第
２のチャネルは隣接するノードからの情報を受信するた
めに利用される。本発明では、情報と共に伝送されるク
ロックの制御の下に、ノード間で情報を通信することが
できる。

各チャネルは、データ情報（実際のメツセージデータと
、状態／制御情報の双方）の通信と、データ情報の送受
信を制御するクロック情報の通信のための手段を具備す
る。

〔実施例〕

並列処理コンピュータシステムについて説明する。以下
の説明中、本発明を完全に理解できるように特定の詳細
な事項を数多く挙げるが、そのような特定の詳細な事項
を含まなくとも本発明を実施しうろことは当業者には自
明であろう。また、場合によっては、本発明を無用にあ
いまいＫしない之め、周昶の回路、構造及び方法を詳細
に示さないとともある。

本発明は並列処理コンピュータシステムに関する。本発
明の好ましい実施例は、カリフォルニア州すンタ・クラ
ラのＩｎｔｅｌ　Ｃｏｒｐｏｒａｔｉｏｎから　ｔ　Ｐ
　Ｓ　Ｃ／２　　　の商品名で市販されている。

１ｓＰｃ／２”’コンピュータは第２世代の並行処理コ
ンピュータシステムである。１ｓＰｃ／２ｔｒｎの経路
指定システムは、５ｔｅｖｅｎ　Ｆ、　Ｎｕｇｅｎｔの
［Ｔｈｅ　１ｓＰｃ／２ｔｒｎＤｉｒｅｃｔ　−Ｃｏｎ
ｎｅｃｔ”’Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ　Ｔｅｃｈ
ｎｏｌｏｇｙ　Ｊ　（ＩｎｔｅｌＳｃｉｅｎｔｉｆｉｃ
　Ｃｏｍｐｕｔｅｒｓ、　１９８８年１月１９〜２０日
のＨｙｐｅｒｃｕｂｅ　Ｃｏｎｆｅｒｅｎｃｅ　にて配
布）にさらに詳細に説明されている。

本発明の概要 本発明は、公知の並列処理コンピュータシステムに比べ
て性能を改善する直接接続経路指定メカニズムを開示す
る。並列処理コンピュータシステムにおいて、直接接続
メカニズムは、メツセージ通過待ち時間を短縮し、ノー
ド間帯域礒を拡大し且つ任意の２つのノードの間で同時
両方向メツセージトラフィックを可能にすることによシ
、性能を向上させる。

直接接続経路指定システムは、複数のルータを具備する
ハードウェア制御メツセージ通過システムである。各ル
ータは１つの計算ノードと結合されており、ルータは、
複数対の計算ノードの間で、任意の大きさのメツセージ
を通過させることができる。ルータは、転送元ノードか
ら宛先ノードに至る１つの経路を動的に構成する回路交
換ネットワークを形成する。　メツセージの持続中、紐
路は開成し次ままである。

経路は、転送元ノードから宛先ノードまで唯−無ニの経
路を形成する一連のチャネルから構成される。経路を規
定する際、経路はいくつかの中間ノードを通っても良い
。経路は、データと、データの伝送を制御するクロック
とを、同一の経路を介して伝送させることができる。

本発明の好ましい実施例におけるチャネルはビット直列
且つ全二重であり、１つのノードをｎ次元空間にあるも
つとも近接する隣接ノードに接続する。好ましい実施例
では、１つのルータは８つまでの全二重チャネルに関す
る接続を支援し、１２８個のノードを含む７次元までの
ネットワークを形成するように互いに接続されて良い。

次元及び／又はノードの数をそれより多く又は少なくし
て、別の実施例を構成しても差支えないことは当業者に
は自明であろう。

８つのチャネルはそれぞれ独立して経路指定されるので
、８つまでのメツセージを同時に経路指定することがで
きる。好ましい実施例においては、ルータごとに１つの
チャネルがネットワークへの外部経路として動作する専
用チャネルになっており、それにより、遠隔装置はネッ
トワークの完全経路指定能力をアクセスすることが可能
である。

ルータはその計算ノードと２本の単方向並列バスを介し
て通信する。

好ましい実施例の経路指定は、５ｕｌｌｉｖａｎ他によ
るｎ次元立方体経路指定アルゴリズムに基づいている。

このアルゴリズムは、デッドロックのないネットワーク
を保証する。以下にさらに詳細に説明するように、本発
明においては、経路は、メツセージごとに、メツセージ
伝送に先立って動的に構成される。ステップ・パイ・ス
テッププロセスによって完全な経路が構成され、複数の
経路セグメントは各ルータで優先順序を決定される。

経路が規定された後、その経路を構成するチャネルは、
メツセージの持続中、ずっと保持される。

メツセージの伝送は、宛先ノードがそのメツセージを受
入れ始めることが可能になったときに始まり、メツセー
ジの終端部がチャネルにｌ接続され九ルータを通過した
ときに、チャネルは解放される。

本発明の直接接続経路指定システムは、Ｄａｌｌｙで論
じられているウオームホール経路指定を変形したもので
ある。本発明の発明性をもつ１つの面として、メツセー
ジは、　Ｄａｌｌ）’で論じられているようにメツセー
ジの伝送の一部として経路を確定させるのではなく、経
路が確定した後に伝送される。本発明のこの面によシ、
システムは完全に同期的に動作することができるようＫ
なり、中間ルータでフロー制御の次めのバッファリング
を実行する必要は少なくなるか、又は全くなくなる。

本発明においては、まず、起点ノードと宛先ノードとの
間に経路を確定させるために、相対アドレス情報を含む
経路指定プローブがネットワーク内のルータからルータ
へ伝送される。経路確定後、２つのノードの間でメツセ
ージが通信される。さらに、本発明では、経路指定を制
御する回路はノードの計算回路とは別である。本発明の
このような面を利用すれば、メツセージ通過の待ち時間
は公知のシステムと比べて著しく短くなる。前述のよう
に、公知のシステムは蓄積交換、パケットスイッチング
ネットワークを利用しているものが多かった。

以上説明した方法を採用すると、メツセージが起点ノー
ドから宛先ノードへ経路指定されるとき、中間ノードを
通って経路指定される間の遅延は最小限に抑えられる。

さらに、中間ノードを介するメツセージの経路指定に際
して、中間ノードでプロセスを中断する、すなわち、中
間ノードでフロー制御のためのバッファリングを実行す
ることは不要である。

本発明の好ましい実施例は、プログラマブルゲートアレ
イを使用してルータを実現する。

好ましい実施例は、全二重、ビット直列チャネルと互い
に接続されて立方体を形成するシングルボードプロセッ
サ、すなわち、ノードの集合体から構成される。立方体
の中で、各ノードはＮ個の最も近接する隣接ノードを有
する。そこで、システムは次元Ｎを有するという。好ま
しい実施例は１２８個のノードを含むので、Ｎは７であ
る。第１図には、ここで使用するチャネル及びノードの
名前の付けかたの規定が示されている。第１図は、次元
３を有する立方体を示す。

好ましい実施例においては、２つの最も近接する隣接ノ
ードのアドレスが１つの２進数字だけ異なるように、ノ
ードには一部アドレスが割当てられる。たとえば、ノー
ド０１００のアドレスは０００である。ノード０　１０
０の最も近接する隣接ノードの１つであるノード１１０
１のアドレスは００１である。従って、これら２つのノ
ードのアドレスは１つの２進数字だけしか違わない。

本発明では、２つのノード間のチャネルの次元を、２つ
のノードのアドレスの２進排他的論理和を求めることに
よシ規定する。２進排他的論理和を求めた後、１を残し
ているビット位ｆ（第１図の場合にはビット位置０，１
又は２）がチャネル番号となる。たとえば、ノード０１
００とノード１１０１のアドレスであるＯＯＯと００１
との排他的論理和を求めると、その結果は００１になる
。

この結果においては、ピット位置Ｏが１であることがわ
かる。従って、これら２つのノードは、次元０を有する
ものとして指定されているチャネル、すなわち、チャネ
ル０１０２により接続される。

好ましい実施例は起点ノードで相対アドレスを計算し、
経路を確定するためにその相対アドレスをノードからノ
ードへと伝送するのであるが、それに代わるいくつかの
実施例も可能である。たとえば、１つの変形実施例にお
いては、宛先ノードの絶対アドレスがノードからノード
へと伝送するのであるが、それに代わるいくつかの実施
例も可能である。たとえば、１つの変形実施例において
は、宛先ノードの絶対アドレスがノードからノードへ経
路指定される。各ノードでは、宛先ノードの絶対アドレ
スと、現在ノードのアドレスとに基づいて、相対アドレ
スが計算される。この相対アドレスは、次のノードへ伝
送するときに通過すべきチャネルを決定する念めに使用
される。

第２図（ａ）は本発明のルータを示す。好ましい実施例
のルータは、８つの入力チャネル（Ｏから７までの番号
が付されている）２１１〜２１８のそれぞれに対して１
つずつ設けらｔた８つの独立した経路指定素子２０１〜
２０８から構成される。経路指定素子２０１〜２０８　
は、本発明のコンピュータシステムのモジュールヲ介し
て、メツセージ経路を動的に形成する。各経路指定素子
２０１〜２０８　はいくつかの出力チャネル２２１〜２
２８を、−度に１チヤネルずつ、駆動することができる
。２つ以上の経路指定素子２０１〜２０８が同時に同じ
出力チャネル２２１〜２２８を要求することもありうる
ので、コンフリクトを解決する念めに、優先順序決定メ
カニズム２３０　が設けられている。

好ましい実施例のルータは、２つの単方向並列チャネル
、すなわち、ノードソースチャネル２３１と、ノードシ
ンクチャネル２３２とをさらに含む。

出力時、経路指定素子２０１〜２０８のうちいずれかが
ノードシンクチャネル２３２を要求し、同様に、ノード
ソースチャネル２３１　は全ての出力チャネル２２１〜
２２８　に対しアクセスを行う。

好ましい実施例においては、チャネル７の経路指定素子
２０８は遠隔入出力ボートとして動作する。これは、デ
ィスクファーム、グラフィック装置、実時間入出力装置
などの遠隔装置に対してネットワークへの入力及びネッ
トワークからの出力を可能にする入出力ゲートウェイを
構成するものである。好ましい実施例では、ノード０の
チャネル７はホストインタフェースとして使用される。

他のノードのチャネル７は汎用チャネルであシ、現時点
で好ましい実施例の場合には、ディスクファームに対す
る入出力ゲートウェイとして使用される。

以下にさらに詳細に説明するが、本発明は経路指定グロ
ーブを起点ノードから宛先へ経路指定する。経路指定プ
ローブの経路指定は、後続するメツセージ伝送のための
経路を予約する働きをする。

この予約経路を一次メッセージ経路と呼んでも良い。

状態経路 好ましい実施例では、−次メッセージ経路に加えて、状
態経路と呼ばれる二次経路が提供される。

この経路は、状態情報を各メツセージの宛先ノードから
起点ノードへ経路指定する。好ましい実施例の場合、状
態経路はメツセージのフロー制御を実行する九めに使用
される。ルータ相互間で状態情報を通行させるため、状
態情報はメツセージ伝送中にチャネルへマルチブレタス
される。メツセージが存在しないときには、状態情報は
連続的に供給されている。

状態経路の確定を支援する念めに、好ましい実施例のル
ータは送信状態論理を含む。第２図（ｂ）を参照して、
この論理を説明する。送信状態論理は、宛先ノードがい
つでもメツセージを受信できる状態にあることを示す状
態情報を、宛先ノードから中間ノードを介して起点ノー
ドへ戻す。各ルータは８つの同時メツセージについて状
態情報を経路指定することができる。宛先レディ状態情
報は宛先ノードから起点ノードへ、同じ中間ノードを介
するが、メツセージのときとは逆の方向に通行する。

前述のように、好ましい実施例においては、状態情報は
メツセージ送信中にデータとマルチプレクスされる。第
２図（ｂ）を見るとわかるが、送信状態情報は状態スイ
ッチ２５６から送信状態線２５７を介して出力チャネル
２５８に供給される。この状態情報はチャネル出力線Ｃ
ｈＯ〜　Ｃｈ７２５１においてデータとマルチプレクス
される。

メツセージのトラフィックがないときには、状態発生器
２５０が、チャネル出力線ＣｈＯ〜Ｃｈ７２５１　を介
して送出されるべき状態情報を提供する。状態発生器２
５０は、アイドル状態にある全てのチャネルに関して、
入力チャネル２５９を介してルータに提供されるのと同
じ送信状態を提供する。この状態情報は送信状態線２５
４を介して状態発生器２５０　Ｋ提供される。

状態情報の通信に際して別の方法を利用しても良いこと
は、当業者には自明であろう。たとえば、状態情報を通
信するためにノードの直接ワイヤリ／グを利用しても良
いし、あるいは、明示状態メツセージを伝送しても良い
。そのような方法は、それぞれ、様々な利点と欠点とを
もっている。

宛先プローブで経路指定プローブが受信されたのに応答
して、宛先受信可信号が宛先ノードによシ起き、デシリ
アライザによυ発生され、信号線２５２　に出力される
。この信号は、いずれかの中間ルータを通過した後、信
号線２５３のデータ許可制御信号として発信元ルータシ
リアライザに到着する。このデータ許可制御信号は、そ
の名が示す通り、発信元ルータシリアライザからのデー
タの発信を制御する。

好ましい実施例におけるチャネルは、１つのノードと結
合され次１つのルータを、隣接するルータに最も近いノ
ードのそれぞれと接続する。好ましい実施例においては
、各チャネルは、第３図に示す通り、４本の導線３０１
〜３０４から構成される。

第３図の導線に付され之ラベルはノードＯに関連するも
のと理解すれば良い。ストローブアウト導線３０１はノ
ード０から信号をストローブアウトする。データ出力導
線３０２はノードＯからデータ信号を送信する。ストロ
ーブイン導線３０３は、ノード０がストローブ信号を受
信できるように結合されている。データ入力導線３０４
は、ノード０がデータ信号を受信できるように結合され
ている。このように、導線３０１〜３０４は、チャネル
ごとに、２対の導線から成るものと考えれば良い。

そのうち第１の対はストローブアウト導線３０１及びデ
ータ出力導線３０２から構成され、第２の対はストロー
ブイン導線３０３及びデータ入力導線３０４から構成さ
れる。２つの対は互いに独立して動作する。

直列データビット、制御ビット及び状態ビットはデータ
線を介して転送される。ストローブ線はデータ線ｔ−確
認するために使用され、また、後続するルータに対する
クロック源を構成する。第４図（ａ）かられかるように
、ストローブ信号４０１　　及び４０３で、４１１及び
４２１で示すような２つの立上シ端と、４１２及び４２
２で示すような２つの立下シ端とは、データ線４０２及
び４０４を確認するために使用される。

本発明においては、導線３０１及び３０３を介して通信
されるクロック信号は、それぞれ、導線３０２及び３０
４　の関連するデータをクロックするために使用される
。このクロック信号はメツセージ経路の全てにわたυデ
ータと共に伝送される。

このようにクロック信号をデータ信号と共に送信すると
いう方法を利用すると、データは、常に、各ノード（及
びそのノードと関連するルータ）が独自のクロックに基
づいて動作する間に単一のクロックにより制御されるこ
とになる。所定のノードにおけるチャネルは、それが受
信しているデータと共に伝送されるクロック信号によっ
て制御される。

たとえば、第１図を参照して説明すると、データをノー
ド４（アドレス１００）からノード１（アドレス００１
）へ通信すべきであると仮定する。そこで、１００と０
０１との排他的論理和をとると、相対アドレスは１０１
になる。従って、データはノード４のシリアライザから
ノード５のチャネル０経路指定素子へ経路指定される。

次に、データはノード５のチャネルＯ経路指定素子から
チャネル２を介してノード１のチャネル２経路指定素子
へ経路指定される。

このプロセスの間、ノード４のシリアライザでクロック
信号が発生され、この信号はデータと共に第３図のスト
ローブアウト導線３０１ｔ−介して伝送される。このク
ロック信号はノード５のチャネル０経路指定素子により
受信されて、チャネル０経路指定素子を制御するために
使用される。クロック信号は再びデータと共にチャネル
０経路指定素子からチャネル２ｔ−介して伝送されて、
ノード１のチャネル２経路指定素子にょシ受信する。

このようＫ、クロック信号は、経路に沿つ之伝送の間を
通して、データの後に続く。

完全ハンドシェークプロトコルと比べた場合の本発明の
経路指定方式の利点の１つとして、本発明の方式により
データ転送速度が総じて速くなることが挙げられる。ハ
ンドシェークプロトコルの転送速度は、ノード間の肯定
応答が要求されることによって起こる待ち時間と、チャ
ネルが物理的に長くなるにつれて起こる速匿劣化のため
に、−般に遅い。本発明においては、メツセージの宛先
でＦＩＦＯバッファを使用すると共に、データ伝送中は
ずつとクロック信号をデータ信号に追従させているので
、ハンドシェークプロトコルは不要である。従って、ス
ループットはチャネル長さ又は肯定応答遅延との関連性
をもたない。好ましい実施例のデータ帯域幅は２．８Ｍ
バイト／秒である。

本発明では、メツセージ伝送が起こっているか否かにか
かわらず、最も近接しているノードの相互間で２つの状
態／制御ビットが連続反復形式で通過している。それら
のビットはＥＮＤ　ＯＦ　ＭＥＳＳｋＧＥ　（メツセー
ジ終結、ａＯＭ）　　と、ＲＥｌｉＡＤＹＳＴＡＴＥ　
　（レディ状態、ＲＤＹ）とである。ＥＯＭビットは、
メツセージの最終ワードが伝送され終わったことを示す
。このビットは、メツセージが進行中でない限ｐ１無視
される。ＲＤＹ　ビットは、確定し次経路の宛先ノード
がレディ状態にあることを表わす。

ＥＯＭビットと、ＲＤＹビットとは２つのフォーマット
のうち一方をとって供給される。２つのフォーマットと
は、（１）第４図（ｂ）に示すように、ｇＯＭビット４
３１　とＲＤＹビット４３２をデータメツセージ４３０
　の中に散在させた第１のフォーマットと、（２）第４
図（ｃ）に示すように、メツセージトラフィックのをい
場合にｇＯＭビット４４１　とＲＤＹビット４４２　を
通過させることができる第２のフォーマットである。

第１のフォーマットは、上記のＥＯＭビット４３１　及
びＲＤＹビット４３２の他に、転送がデータメツセージ
転送であることを示す２つのビット４３３及び４３４と
、１６個のデータビット４３５とを含む。好ましい実施
例においては、メツセージがデータ転送メツセージであ
ることを示すために、２つのビット４３３及び４３４　
は０にセットされている。

「状態ニブル」と呼ばれる第２のフォーマットは、４つ
のビット、すなわち、ＥＯＭビット４４１と、ＲＤＹビ
ット４４２と、フォーマットが　状態単独の転送である
ことを示す２つのビット４４３及び４４４　とを含む。

好ましい実施例においては、それら２つのビット４４３
及び４４４は１にセットされている。状態ニブルの伝送
中、Ｉｌｉ：ＯＭ　　ビットは無視される。データ転送
が行われていない場合、状態ニブルは全てのルータによ
り繰返し伝送されている。

ＲＤＹ◇トは各ルータに受信されたときに「宛先レディ
」レジスタに蓄積されて、前述のように、システム内の
フロー制御のために使用される。

先に説明したように、本発明では、状態フォーマットと
データフォーマットの双方について、２つの「スタート
ビット」４３３及び４３４又は４４３及び４４４　を利
用する。２つのビットを利用するのは、メツセージがル
ータにょシニ分の−ずっ処理されるからである。ルータ
内では、奇数ビットは偶数ビットとは別個に処理される
。これＫよシ、そのような方法をとらない場合に好まし
い実施例のゲートアレイにおいて達成できるデータ転送
速度より高速の転送が可能になる。

本発明のメツセージフォーマットによれば、状態情報を
メツセージデータ中に散在させているので、メツセージ
の終結をルータにょジオン・ザ・７ライ方式で容易に検
出できる。その結果、ルータにメツセージサイズカウン
タを設ける必要はなくなるので、最大メツセージサイズ
に関する制限は取除かれる。従って、本発明においては
、メツセージは任意のサイズをとって良い。

本発明のメツセージは、それぞれ、１つの送信ノードと
、１つの受信ノードとを含む。メツセージがネットワー
クを通ってとる経路は、２っのノードの間でそれぞれ唯
−無二のものである。１つの経路を構成するチャネルの
組合せは、Ｈｅｒｂｅｒｔ　５ｕｌｌｉｖａｎとＴ、　
Ｒ，Ｂａｓｈｋｏｗの［ＡＬａｒｇｅ　５ｃａｌｅ　Ｈ
ｏｍｏｇｅｎｅｏｕｓ、　Ｆｕｌｆｙ　Ｄｌｓｔｒｉｂ
ｕｔｅｄ　　Ｐａｒａｌｌｅｌ　　ＭａｃｈｉｎｅＪ　
（Ｐｒｏｃ年刊の１０５〜１１７ページに掲載）に記載
されているよりな２進立方体経路指定アルゴリズムによ
り規定される。このアルゴリズムを、さらに、Ｃ８Ｒ，
Ｌａｎｇ＋　Ｊｒ＊のｒ　Ｔｈｅ　Ｅｘｔｅｎｓｉｏｎ
　ｏｆＯｂｊｅｃｔ　−０ｒｉｅｎｔｅｄ　Ｌａｎｇｕ
ａｇｅｓ　　ｔｏ　ａＨｏｍｏｇｅｎｅｏｕｓ　、　Ｃ
ｏｎｃｕｒｒｅｎｔ　Ａｒｃｈｉｔｅｃｔ５０１４．１
９８２年５月刊行に掲載）を参照して説明する。そのよ
うな２進立方体アルゴリズムを使用すると、メツセージ
の経路指定中に循環経路は決して起こらないので、デッ
ドロックの発生は確実に阻止される。

このアルゴリズムによれば、デッドロックを防止するた
めに、２進キユーブの形のメツセージを、宛先に達する
まで、徐々に次元を高くしながら経路指定することがで
きる。先に規定したチャネルの番号付けはその次元に対
応している。経路は徐々に番号の大きくなるチャネルか
ら構成されても良いが、必ずしも隣接している必要はな
い。太きい番号のチャネルから番号の小さいチャネル（
又は同一次元のチャネル）へのメツセージの経路指定は
許されない。たとえば、１つの経路がノード０．１．５
及び１３のルータを含むチャネルＯ−チャネル２−チャ
ネル３から構成されているとすると、この場合、転送元
ルータはノードＯにあり、中間ルータはノード１と、ノ
ード５とにおり、宛先ルータはノード１３にある。

本発明の経路指定動作を、経路の確立、メツセージを受
信可能な状態にある宛先ノードの肯定応答、メツセージ
送口及び接続解放の４段階に分割することができる。メ
ツセージの経路指定を開始するために、転送元ノードは
そのルータへ最小限で１つの３２ビツト語を転送する。

この最初の３２ビツト語のうち下位の１６ビツトは経路
指定プローブを構成する。経路指定グローブはアドレッ
シング情報から成シ、メツセージがとる経路を構成する
中間ルータを介する接続を成立させるために使用される
。好ましい実施例においては、経路指定プローブの上位
８ビツトはゼロにセットされる。

経路指定プローブの下位８ビツトは、宛先ノードと転送
元ノードの２進アドレスの排他的論理和を求めることに
よシ計算される。経路指定プローブの各ビットは、メツ
セージが九どることができる１つのチャネルに対応する
。（好ましい実施例は７次元２道立方体であり、８番目
のビットは外部入出力チャネルをアドレッシングするな
めに使用され石。） 転送元ルータのシリアライザが経路指定プローブでセッ
トされている最下位ビットに対応する出力チャネルを要
求したとき、経路の第１のセグメントは確立される。同
じチャネルに対する要求は、局所要求者の中から、アー
ビタによシその優先順位を決定される。アービタは、「
ラウントロピン」優先順序決定方式を使用して、−度に
１つの要求を許可する。チャネルが許可されると、メツ
セージ伝送の開始に先立って、経路指定プローブが転送
元ルータにより送信される。

たとえば、ビットＮがセットされている最下位ビットで
あるようなルータへ経路指定プローブが転送された場合
、要求されるのはチャネルＮである。アービタがチャネ
ルＮを許可すると、経路指定プローブは、チャネルＮに
あって転送元ノードに最も近接している中間ルータへ伝
送される。

好ましい実施例においては、中間ルータは、経路指定プ
ローブを受信すると、その経路指定プローブを記憶し、
上位８ビツト（全てゼロである）を放棄して、短い経路
指定グローブを形成する。

放棄されたビットは宛先ルータで再構成される。

短い経路指定プローブは中間ルータ相互間を通過して、
経路の追加セグメントを予約する。

中間ルータは、セットされている最下位ビットを判定す
るために、短い経路指定プローブのビットＮ＋１からビ
ット７を検査する。セットされている最初のビットに対
応する出力チャネルが要求され、短い経路指定グローブ
はそこで待機する。

出力チャネルが許可されると、短い経路指定プローブは
経路中の次のルータへ伝送される。第５図に示すようＫ
、このプロセスは、経路指定グローブが宛先ルータに受
信されるまで繰返される。

第５図に関して説明する。これは、二次元立方体におい
て、転送元ノード２（２進アドレス１０）５０１　から
宛先ノード１（２進アドレス０１　）　５０３ヘメツセ
ージを伝送すべき場合である。転送元ノード５０１はそ
のルータ５１１へ経路指定プローブを転送する。前述の
ように、経路指定プローブは転送元ノードと、宛先ノー
ドとの相対アドレスを含む。従って、第５図の例では、
経路指定グローブはアドレス１１　（１０ＸＯＲ０１＝
　１１）　’ｔ”含む。この場合、チャネルＯに対応す
る０番のビットは１である。そこで、先に説明した通り
、経路指定プローブは伝送の九めにチャネル０を要求す
る。

経路指定プローブは、チャネル０に対するアクセスを許
可されると、チャネルＯを介して、中間ノード５０２に
対応するルータ５１２へ送信される。本発明の経路指定
アルゴリズムによれば、ルータ５１２は、前述のように
、受信したときよシ高い次元のチャネルを介して経路指
定プローブを送り出さなければならない。従って、ルー
タ５１２は、ビット位置１にあるビットを第一番に１で
あるビットを求めて経路指定プローブのビットを検査し
始める（経路指定プローブはルータ５１２によりチャネ
ルＯから受信されたのである）。最初の１のビットが見
つかると、その１のビットに対応するチャネルに対して
要求が行われる。この特定の例では、最初の１のビット
はビット位置１にあるので、チャネル１に対して要求が
なされる。

経路指定プローブは、チャネル１を介して、宛先ノード
５０３に対応するルータ５１３へ伝送される。ルータ５
１３は、経路指定プローブが受信されたときのチャネル
より高い次元のビットから始めて、経路指定プローブを
検査する。図示した例においては、残りのビットは全て
Ｏでちる。従って、ルータ５１３は、経路指定プローブ
がその最終宛先に達したと判定する。

ルータ５１３　は、経路指定プローブを当初の状態に戻
すために、経路指定プローブに８個のゼロを付は加える
。宛先ルータは、メツセージを受入れることができる場
合には、肯定応答を報知する、すなわち、ＲＤＹビット
を発信する。

ここで、経路指定動作の肯定応答段階が開始される。肯
定応答段階では、フロー制御情報を搬送するために、宛
先ルータから転送元ルータへ戻る１定的接続を成立させ
なければならない。これは「状態経路」と呼ばれ、メツ
セージ経路と全く同じ中間ノードをたどるが、その方向
は宛先ノードから転送元ノードへとなシ、逆である。

九とえば、メツセージがある中間ルータでＣＨＡＮＮＩ
ｉ：Ｌ　　２ＩＮからＣＨＡＮＮＥＬ　４０ＵＴへ経路
指定された場合、状態ルートでは、ＣＨＡＮＮＥＬ４　
　ＩＮからＣＨｐ、ＮＮＥＬ　　２０ＵＴ　への接続が
行われる。状態経路は、メツセージ経路と同様に、メツ
セージの持続中はその接続を維持する。

第６図は、本発明の経路指定動作の肯定応答段階を示す
。第６図のノード６０１　は第５図のノード５０１　に
対応し、ルータ６１１　はルータ５１１に、を九、ノー
ド６０２はノード５０２にそれぞれ対応している。その
他の各部分についても同様である。

第７図及び第８図も同じような図中符号の対応関係をも
って描かれている。

第６図に示すように、肯定応答はルータ６１３（宛先ノ
ード１６０３に対応する）からチャネル１を介して中間
ルータ６１２へ送信される。中間ルータ６１２　は肯定
応答をチャネル０を介して起点ルータ６１１へ送出し、
そこで、ノード２６０１　によって受信される。当業者
には理解できるであろうが、ＲＤＹ状態情報は前記のフ
ォーマットで伝送される。従って、異なる起点ノードか
ら発したメツセージ情報が同じチャネルを介して状態情
報と同時に伝送されることもありうる。同一のチャネル
を使用するという要求がなければ、状態ニブル（先に説
明した通シ）が伝送される。

ＲＤＹビットが最終的に転送元ノード６０１に達すると
、メツセージ伝送段階が始まる。転送元ルータは、メツ
セージ終結が送信されるか又は状態経路を介して非レデ
イ表示が受信されるまで、連続的にデータを（前記のフ
ォーマットで）ネットワーク内へ伝送することができる
。好ましい実施例においては、メツセージは中間ルータ
で緩衝されない。

第７図を参照するとわかるように、メツセージ情報はノ
ード２７０１　からルータ７１１へ伝送され、次に、ル
ータ７１１　のシリアライザから送出される。その後、
メツセージ情報は予約ルート（チャネルＯから中間ルー
タ７１２へ、チャネル１から宛先ルータ７１３へ）を介
して伝送される。

さらに、メツセージはルータ７１３　で非直列化されて
、宛先ノード７０３へ伝送される。

メツセージの伝送中に、転送元ルータ７１１　　が入力
チャネルＯから非レデイ表示を受信し九場合、転送元ノ
ード７１１はメツセージの伝送を中断し、状態ニブルを
伝送する。入力チャネルＯを介してレディ表示が再び受
信されれば、転送元ルータはメツセージの伝送を再開す
る。好ましい実施例においては、宛先ルータは、非レデ
イ表示が動作している時点で通過中であるメツセージ情
報を全て記憶する。従って、非レデイ表示によってメツ
セージが抑制されたときには、ネットワークにはデータ
ビットが記憶されたｔまにならず、データビットは宛先
ルータのＦＩＦＯバッファに記憶されるのである。この
ように、宛先ノードがレディ状態ではないという表示を
受信し、そのような表示に応答してメツセージの伝送を
一時停止することにより、メツセージ伝送を抑制するこ
の方法は、本発明のネットワークにおけるフロー制御を
実行する。

メツセージの伝送が完了した後、転送元ルータはメツセ
ージに検査合計ワードを付加する。検査合計ワードを含
むデータフォーマットではＥＯＭビットがセットされて
いる。検査合計は、ハードウェア故障が起こった場合に
それを検出するためにメツセージの保全性を検査する手
段である。

第８図に示すように、ＥＯＭビットがセットされている
ワードを伝送することによって、転送元ルータ８１１　
は、メツセージの九めに予約されていた出力チャネル（
チャネルＯ）を解放する。ルート中の各中間ルータ（図
示した例ではルータ８１２）においては、ｇＯＭビット
がセットされているワードが再び伝送されたときにメツ
セージ用に予約されてい友チャネルは解放される。そと
で、解放されたチャネルは別のメツセージのために利用
可能となる。

ＥＯＭビットがセットされているワードが宛先ルータ８
１３で受信されたときは、付随するデータ情報はメツセ
ージに関する検査合計であると仮定される。検査合計情
報はメツセージの保全性を検査するために使用される。

検査合計情報は原メツセージの一部ではないので、宛先
ルータ８１３により取除かれる。その結果は、その後の
検査に備えて、宛先ノード８０３に記憶される。

以上、並列処理コンピュータシステムを説明した。本発
明を好ましい実施例のいくつかの詳細な部分を特定して
参照しながら説明したが、本発明の趣旨から逸脱せずに
様々な変形及び変更を採用しうろことは自明であろう。

従って、そのような変形や変更は、全て、特許請求の範
囲によシ規定される本発明の所期の範囲内に含まれる。

【図面の簡単な説明】

第１図は、本発明により利用可能であるプロセッサのｎ
次元立方体を示す線図、 第２図（ａ）は、本発明のルータのアーキテクチャを示
すブロック線図、 第２図（ｂ）は、本発明によシ利用可能である状態経路
の組成を示すブロック線図、 第３図は、本発明のノード間の物理的チャネルを示すブ
ロック線図、 第４図（ａ’）は、本発明によシ利用可能であるチャネ
ルタイミングを示すタイミング図、 第４図（ｂ）は、本発明により利用可能であるデータ及
び状態情報の伝送のためのデータフォーマットを示す図
、 第４図（ｃ）は、本発明により４ｕ用可能である状態情
報の伝送のためのフォーマットを示す図、第５図は、本
発明により達成可能であるネットワーク形コンピュータ
システムにおける通信経路の成立を示す線図、 第６図は、本発明により達成可能であるネットワーク形
コンピュータシステムにおける経路成立の肯定応答を示
す線図、 第７図は、本発明により達成可能であるネットワーク形
コンピュータシステムにおけるメツセージの伝送を示す
線図、 第８図は、本発明により達成可能であるネットワーク形
コンピュータシステムにおける経路の解放を示す線図で
ある。 ２０１〜２０Ｂ・Φ・・経路指定素子、２１１〜２１８
・・・番人力チャネル、２２１〜２１８・・・・出力チ
ャネル、２３０・・・・優先順序決定メカニズム、２３
１　◆慟・・ノードソースチャネル、２３２＃・・・ノ
ードシンクチャネル、２５０・φ・・状態発生器、２５
６・・・・状態スイッチ、２５Ｂ　・・・・出力チャネ
ル、２５９　・・・・入力チャネル、３０１　・・・・
ストローブアウト導線、３０２　・・・・データ出力導
線、３０３　・・・・ストローブイン導線、３０４φφ
・・データ入力導線、５（Ｎ　、６０１．７０ｊ　、８
０１　　・・・・転送元ノード２．５０２，６０２，７
０２，８０２　−−−・中間ノード３．５０３，６０３
，７０３，８０３　　・・・・宛先ノード１．５１１，
５１２，５１３，６１１　。 ６１２．６１３．γ１１，１１２，７１３．ＩＮ１．８
１２，８１３ｓｅ　＠ｓルータ〇

Claims (1)

1. 【特許請求の範囲】 １、少なくとも３つのノードを有するコンピュータシス
   テムにおいて、前記ノードは、それぞれ、情報を処理す
   る処理手段と； 前記処理手段と結合され、ノード間で情報を経路指定す
   るルータ手段とを具備し、前記ルータ手段は、 （ａ）前記処理手段からアドレス情報を受取る手段と； （ｂ）情報を他のノードへ通信する少なくとも２つのチ
   ャネルと； （ｃ）前記２つのチャネルの中から、前記アドレス情報
   に基づいて選択される第１のチャネルを予約する手段と
   ； （ｄ）データの伝送に先立つて、前記アドレス情報を第
   ２のノードへ伝送する手段とを有するコンピュータシス
   テム。 ２、少なくとも３つのノードを有するコンピュータシス
   テムの中で情報を通信する方法において、（１）起点ノ
   ードから宛先ノードまでのルートを予約する過程と； （２）前記宛先ノードは前記起点ノードからの情報を受
   入れるためにアベイラビリテイを肯定応答する過程と； （３）前記情報を前記起点ノードから前記宛先ノードへ
   通信する過程と； （４）前記予約された経路を解放する過程とから成る方
   法。 ３、少なくとも３つのノードを有するコンピュータシス
   テムにおいて、前記ノードは、それぞれ、情報を処理す
   る処理手段と； 隣接するノードとの間で情報を通信するチャネルを有し
   、前記チャネルは前記情報と共にクロック信号を伝送す
   るような、ノード間で情報を経路指定するルータ手段と
   を具備するコンピュータシステム。 ４、少なくとも３つのノードを有するコンピュータシス
   テムにおいて、前記ノードは、それぞれ、情報を処理す
   る処理手段と； 前記処理手段と結合され、ノード間で情報を経路指定す
   るルータ手段とを具備し、前記ルータ手段は、 （ａ）前記処理手段からアドレス情報を受取る手段と； （ｂ）情報を他のノードへ通信する少なくとも２つのチ
   ャネルで、それぞれがデータ情報と、クロック情報の双
   方を通信するものと； （ｃ）前記２つのチャネルの中から、前記アドレス情報
   に基づいて選択される第１のチャネルを予約する手段と
   ； （ｄ）前記アドレス情報を第２のノードへ伝送する手段
   とを有するようなコンピュータシステム。 ５、情報を処理する複数のノードを有し、前記複数のノ
   ードは２進ｎ次元立方体として互いに接続されており、
   各ノードは、隣接するノードとの間に通信経路を形成す
   るために、前記隣接するノードと結合される並列処理コ
   ンピュータシステムにおいて、前記通信経路は、それぞ
   れ、 第１のノードから第２のノードへ情報を通信する第１の
   線路と； 前記第１のノードと前記第２のノードとの間で、前記デ
   ータ情報をクロックするためのクロック情報を通信する
   第２の線路とを具備する並列処理コンピユータシステム
   。