JP3119130B2 - ネットワーク構成 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、並列計算機を構成する
複数のプロセッサをグループ化し、グループ間接続に要
する配線長をグループ内でのプロセッサ間配線長と同程
度に抑えることによって、任意プロセッサ間通信効率を
大きく低下させることなく、プロセッサ数大規模化に対
し容易に対応を可能とするネットワーク構成方式に関す
る。

【０００２】

【従来の技術】並列計算機システムでは、任意の２プロ
セッサ間の通信を可能とするネットワークを構成する必
要があり、このようなネットワークとして、メッシュ
型、完全クロスバー型、ハイパークロスバー型などの構
成方式が知られている。

【０００３】メッシュ型ネットワークの場合、プロセッ
サを一定次元の座標格子点上にマッピングして各次元方
向に隣接するプロセッサ同志を直接接続し、非隣接プロ
セッサ間は、プロセッサ間の座標格子点上での距離に応
じた数のプロセッサを経由することで間接的に接続され
る。各格子点上では、入力してくる通信データを、プロ
セッサに取り込む、或いは、いずれかの次元方向に中継
するかを判定し、通信路を確保するネットワークＬＳＩ
が設けられることになる。

【０００４】Ｎ個のプロセッサを接続する完全クロスバ
ー型のネットワークの場合、データ経路は任意の２プロ
セッサ間を直結しており、プロセッサ間の接続路確定は
各プロセッサへの出力ポートに存在するＮ対１のセレク
タ回路を用いて行う。この完全クロスバースイッチを一
つのＬＳＩとして実現することができると、その結果、
Ｎ×Ｎ本の任意プロセッサ間接続配線がＬＳＩ内に閉じ
込められ、配線スペースを節約することができ、高密度
な実装が可能となる。

【０００５】ハイパークロスバー型のネットワークの場
合、プロセッサを一定次元の座標格子点上にマッピング
して、各次元方向の接続は完全クロスバースイッチによ
り行い、異なる次元方向のクロスバースイッチ間の通信
データの乗り換えは各プロセッサに付随する完全クロス
バースイッチにより行う。本ネットワークに関しては、
例えば、特開昭６３−１２４１６号、特開平５−８１２
１６号に記載がある。

【０００６】

【発明が解決しようとする課題】２プロセッサ間での通
信効率がプロセッサの位置関係によって大きく異なる並
列計算機システムでは、利用者は、プロセッサの位置関
係とプログラム或いはデータの関連性を考慮して、各プ
ロセッサに対するプログラム或いは計算データの割当て
を行い、効率の悪いプロセッサ間の通信発生を抑止しな
ければならない。また、そのプログラムは特定の並列計
算機に最適化されたものとなるため、異なるネットワー
ク構成方式によって実現された並列計算機上では効率の
良い計算ができなくなる。なお、通信効率とは、２つ以
上のプロセッサが通信を行う際の、データ経路が競合す
る確率であり、この確率が低いほど通信効率が高いとい
うことになる。

【０００７】また、並列計算機システムが大規模になり
多数の利用者により共同利用されるものとなれば、同じ
アプリケーションプログラムであっても常に同じ位置関
係にあるプロセッサ群にプログラム及びデータが割り当
てられるとは限らなくなり、従って、効率の良い計算が
実行できなくなる場合がある。

【０００８】例えば、メッシュ型ネットワークでは、通
信を行う２プロセッサの格子上での距離が大きくなれば
なるほど、多くの格子点及び隣接格子点をつなぐデータ
経路を使用する必要があるため、異なるプロセッサ対で
行われる通信の使用するデータ経路が競合する確率が高
くなり、従って通信効率は低くなる。

【０００９】一方、完全クロスバー型ネットワークで
は、通信を行うプロセッサ対が異なればデータ経路の競
合は発生せず従って通信効率は最も良い。この完全クロ
スバー型ネットワーク用の完全クロスバースイッチを１
つのＬＳＩで実現できる場合、配線に必要なスペースを
節約でき高密度実装が可能となる。しかしながら、１つ
のＬＳＩのピン数には制限があるため、接続可能なプロ
セッサ数は当該ＬＳＩのピン数によって制限を受け、そ
の結果、大規模な並列計算機システムは実現できない。
また、１つのＬＳＩで完全クロスバスイッチを構成した
場合、当該ＬＳＩの周辺に接続される各ＬＳＩと当該Ｌ
ＳＩを結ぶ一点集中型の配線が必要になるために、当該
ＬＳＩと周辺ＬＳＩ間の配線が長くなる問題がある。

【００１０】また、ハイパークロスバー型ネットワーク
では、任意プロセッサ間の通信効率に対する位置依存性
が小さく、また、完全クロスバー接続可能プロセッサ数
の累乗だけのプロセッサが接続可能である。しかしなが
ら、各軸方向の接続を行うのは完全クロスバーであるた
めに、各軸方向の完全クロスバースイッチに配線が集中
する。従って、並列計算機システム全体の物理的大きさ
の程度の長さの配線が、プロセッサ総数に比例した数だ
けクロスバースイッチ群に対して張られねばならないこ
とになる。長い配線上を伝わる信号の電気的特性、及
び、莫大な配線物量を考慮すると、ハイパークロスバー
型ネットワークにおいても接続可能なプロセッサ総数に
は限りがあると考えられる。

【００１１】本願発明の目的は、並列計算機に於いて、
任意プロセッサ間の通信効率の低下を押さえつつ、大規
模な数のプロセッサ間の配線実装及びプロセッサ増設の
容易性を確保することにある。

【００１２】

【課題を解決するための手段】上記目的を達成するため
に、多数のプロセッサを相互に接続するためのネットワ
ークが、前記多数のプロセッサを適当な単位で分けた各
グループ内の各プロセッサ間の接続を行う、前記各グル
ープ対応の複数の完全クロスバースイッチと、前記複数
のグループをリング状に接続し、かつ、前記グループに
属するプロセッサの数と等しい数で前記リング上の任意
に隣接する前記グループ同志を接続し、お互いに異なる
グループに属するプロセッサ間の接続に用いられるデー
タ経路とを有するように構成する。

【００１３】また、ネットワークが、前記データ経路は
片方向の転送路であり、第１のグループに属するプロセ
ッサから入力されるパケットを、前記第１のグループか
ら前記第１のグループの次段にあるグループへの前記デ
ータ経路のいずれかに出力する第１の回路と、前記第１
のグループの前段にあるグループから前記第１のグルー
プへの前記データ経路からのパケットを、前記第１のグ
ループに属するプロセッサへ、または、前記次段にある
グループへの前記データ経路へ出力する第２の回路とを
有するように構成する。

【００１４】次に、並列計算機用のネットワークが、そ
れぞれが複数のプロセッサを接続して使用される複数の
ネットワークＬＳＩと、前記複数のネットワークＬＳＩ
をリング状に接続する複数の片方向転送のデータ経路と
を有し、前記ネットワークＬＳＩは、前記複数のプロセ
ッサの数に等しい数の、前記プロセッサに接続される複
数の入力ポート及び複数の出力ポートと、前記複数の入
力ポートと前記複数の出力ポートとを結合する完全クロ
スバスイッチ結合網とを有し、前記複数のデータ経路
は、任意の隣接するネットワークＬＳＩ間で前記複数の
プロセッサＬＳＩの数と等しい数であり、異なるネット
ワークＬＳＩに属するプロセッサ間の接続は、前記デー
タ経路を介して行うように構成する。

【００１５】次にまた、前記ネットワークＬＳＩが、前
記入力ポートから次段のネットワークＬＳＩへの複数の
データ経路のいずれかへ接続する回路と、前段のネット
ワークＬＳＩからの複数のデータ経路を前記出力ポート
へまたは次段のネットワークＬＳＩへのデータ経路へ接
続する回路とを有するように構成する。

【００１６】

【作用】本発明のネットワーク構成方式により、完全ク
ロスバー結合を容易に行いうる実装範囲に存在するプロ
セッサ群を単位としたグループを構成でき、グループ内
でのプロセッサ間通信は、完全クロスバー結合で効率良
く実行できる。他方、物理的距離が互いに遠い異なるグ
ループに属するプロセッサ間の接続は、隣接グループ間
を接続するのみで、配線長を短くとれ配線量の増加率も
小さいリング型結合により行うために、各ＬＳＩ間の配
線長は一定限度内に保ったままで、配線長及び配線量の
制限に抑えられることなく、グループ単位で増設してい
くだけで、並列計算機システムを大規模化できる。

【００１７】リング型結合の問題点であるプロセッサ間
距離による通信効率の低下に関しては、本構成ではリン
グ状のデータ経路がグループを構成するプロセッサ数だ
け多重化されるため、グループ数をｇ（ｇ≧２）とする
と、完全クロスバー結合の場合と比較して、２／（ｇ−
１）の通信効率の低下にとどまる。

【００１８】この通信効率に関しては、グループを構成
するプロセッサ数が多いほどメッシュ型に対して有利と
なるが、一方容易に完全クロスバー結合できるプロセッ
サ数には限りがある。そこで、例えばハイパークロスバ
ーネットワークのような、任意プロセッサ間の通信効率
の良いキューブ型ネットワークの一部の次元に対し本構
成のネットワークを用いることで、より大規模かつ任意
プロセッサ間の通信効率の良い並列計算機システムを構
築することができる。

【００１９】また、本構成では、リングを構成するネッ
トワークＬＳＩの数が２である場合、グループを構成す
るプロセッサ数×２の入出力ポートを有する完全クロス
バーとして機能する。１ＬＳＩに実装できる論理ゲート
量に制限がある場合にも、本方式を用いることで２ＬＳ
Ｉにて所定の数のポートを有する完全クロスバースイッ
チを構成することができる。

【００２０】更に、入力ポートの機能と出力ポートの機
能を別ＬＳＩに実装することにより、４ＬＳＩをもっ
て、グループを構成するプロセッサ数×２の入出力ポー
トを有する完全クロスバーとして機能させることがで
き、１ＬＳＩに実装できるピン数及び論理ゲート量に制
限がある場合にも、本方式を用いることで４ＬＳＩにて
所定の数のポートを有する完全クロスバースイッチを構
成することができる。

【００２１】

【実施例】以下、本発明の実施例を図面を用いながら詳
述する。図１は、本発明の方式で構成されたネットワー
ク（１、３、４）によって、複数のプロセッサ（２）が
相互に接続されている並列計算機システムのブロック図
である。本並列計算機のネットワークは、プロセッサ間
の通信経路の確保を行う複数のネットワークＬＳＩ
（１）と、ネットワークＬＳＩとプロセッサ（２）を接
続するデータ経路（３）、及び、ネットワークＬＳＩ同
志をリング状に接続する片方向転送の伝送路であるデー
タ経路（４）から構成される。

【００２２】本並列計算機では、プロセッサ（２）は、
物理的に近距離に実装されるプロセッサ毎にグループ化
され、同一グループに属するプロセッサは、ネットワー
クを構成する１つのネットワークＬＳＩ（１）に接続さ
れる。この構成では、物理的に近距離にあるプロセッサ
同志は１つのネットワークＬＳＩに接続され、物理的に
遠距離にあるプロセッサ同志はそれぞれのプロセッサか
ら近距離にある異なるネットワークＬＳＩに接続される
ので、プロセッサから遠距離にあるネットワークＬＳＩ
へデータ経路が設けられることはなく、その結果、プロ
セッサからネットワークＬＳＩまでのデータ経路（３）
の距離を短縮することができる。

【００２３】各ネットワークＬＳＩ（１）は、当該ネッ
トワークＬＳＩに直接接続されるプロセッサ相互間のデ
ータ転送に関する部分と当該ネットワークＬＳＩ間のデ
ータ転送に関する部分から構成される。１つのネットワ
ークＬＳＩに直接接続されるプロセッサ相互間のデータ
転送に関する部分は、通信を行うプロセッサ対が異なれ
ばデータ経路の競合が起こらない完全クロスバー型で構
成することで、近距離同志のプロセッサ間の通信効率を
高めている。ネットワークＬＳＩ間のデータ転送に関す
る部分は、プロセッサからの入力ポート、プロセッサへ
の出力ポート、リング接続前段ネットワークＬＳＩから
のデータ入力ポート、及び、リング接続次段ネットワー
クＬＳＩへのデータ出力ポートを、それぞれ等しい数だ
け設ける構成とすることで、プロセッサグループとネッ
トワークＬＳＩの間の通信容量を、ネットワークＬＳＩ
間の通信容量と等しく保つている。

【００２４】図２は、データ経路によりリング型に互い
に接続されるＮ個のネットワークＬＳＩ＜０＞、＜１
＞．．．＜Ｎ−１＞のうちの任意の一つである、ネット
ワークＬＳＩ＜ｎ＞の構成例を示す。なお、ここではネ
ットワークＬＳＩ＜ｎ＞の構成例を示すが、他のネット
ワークＬＳＩの構成もネットワークＬＳＩ＜ｎ＞の構成
と同様である。以下、前述のプロセッサグループが４つ
のプロセッサ０〜プロセッサ３から構成され、この４つ
のプロセッサが接続されるネットワークＬＳＩを例とし
て説明する。

【００２５】本ネットワークＬＳＩは、プロセッサ数に
対応した、それぞれ４つずつの、プロセッサからの入力
ポート（１０、１１、１２、１３）、プロセッサへの出
力ポート（２０、２１、２２、２３）、本ＬＳＩで構成
されるリングにおいて前段にあたるネットワークＬＳＩ
＜ｎ−１＞からの入力ポート（３０、３１、３２、３
３）、及び、次段にあたるネットワークＬＳＩ＜ｎ＋１
＞への出力ポート（４０、４１、４２、４３）を有す
る。各入力ポートから入力されるデータは、図２に示さ
れるＬＳＩ内のデータ経路を通って出力ポート群に達す
る。各入力ポートから出力ポート群に達したデータは、
出力ポート毎に存在するセレクタ回路（６０、６１、６
２、６３、８０、８１、８２、８３）によって、当該出
力ポートへ転送すべき入力ポートからのデータのみが選
択され、その後、選択された出力ポートから出力され
る。この結果、本ネットワークＬＳＩに接続されている
任意のプロセッサ或いは次段ネットワークＬＳＩ＜ｎ＋
１＞へ到達することが可能となる。

【００２６】整理すると、本構成例のネットワークＬＳ
Ｉ内におけるデータ経路は、図３に示される本ネットワ
ークＬＳＩに接続されている４プロセッサ間での完全ク
ロスバー結合を実現する、即ち、入力ポート（１０、１
１、１２、１３）と出力ポート（２０、２１、２２、２
３）を完全クロスバースイッチ結合するデータ経路、図
４に示される本ネットワークＬＳＩ＜ｎ＞に接続されて
いる４つのプロセッサ０〜プロセッサ３からの入力ポー
ト（１０、１１、１２、１３）と次段ネットワークＬＳ
Ｉ＜ｎ＋１＞への４つの出力ポート（４０、４１、４
２、４３）を結ぶ完全クロスバー型のデータ経路、図５
に示される前段ネットワークＬＳＩ＜ｎ−１＞から本ネ
ットワークＬＳＩ＜ｎ＞に接続されるプロセッサへの４
系統のデータ経路（９０、９１、９２、９３）、及び、
図６に示される本ＬＳＩ接続のプロセッサが関与しない
通信データの経路となる前段ネットワークＬＳＩ＜ｎ−
１＞と次段ネットワークＬＳＩ＜ｎ＋１＞を結ぶ４系統
のデータ経路（９４、９５、９６、９７）から構成され
ているといえる。

【００２７】図５におけるデータ経路は、前段ネットワ
ークＬＳＩ＜ｎ−１＞からのデータが入力される入力ポ
ート（３０、３１、３２、３３）と当該ネットワークＬ
ＳＩ＜ｎ＞に接続されるプロセッサへデータを出力する
出力ポート（２０、２１、２２、２３）との間に１対１
の対応関係がある。従って、前段ネットワークＬＳＩ＜
ｎ−１＞は、当該ネットワークＬＳＩ＜ｎ＞に接続され
るプロセッサへ通信データを転送する際は、当該プロセ
ッサが接続されている出力ポート（２０、２１、２２、
２３）に対応する入力ポート（３０、３１、３２、３
３）へ接続されたデータ経路へ通信データを送信する必
要がある。

【００２８】また、図６におけるデータ経路は、前段ネ
ットワークＬＳＩ＜ｎ−１＞からのデータが入力される
入力ポート（３０、３１、３２、３３）と次段ネットワ
ークＬＳＩ＜ｎ＋１＞へデータを出力する出力ポート
（４１、４２、４３、４０）との間に１対１の対応関係
がある。ここで、前段ネットワークＬＳＩ＜ｎ−１＞か
らの入力ポート（３０、３１、３２、３３）と次段ネッ
トワークＬＳＩ＜ｎ＋１＞への出力ポート（４０、４
１、４２、４３）との対応関係が、４に関する剰余に対
して１だけずれている。つまり、本ネットワークＬＳＩ
で中継される通信データは、入力ポートの位置に対して
一つずれた位置にある出力ポートに出力される（図６の
（３０−４１）、（３１−４２）、（３２−４３）、
（３３−４０）の関係）。なお、４に関する剰余に対し
て１だけずれているというのは、入力ポート番号／出力
ポート番号として、図６における説明番号の下一桁の番
号を割り振ったとき（例：３０は０番入力ポート、４３
は３番出力ポートとする）、対応関係にある入出力ポー
ト番号は、「出力ポート番号＝Ｍｏｄ（入力ポート番号
＋１、４）」となっているということである。

【００２９】このため、図７に示される様に、本ネット
ワークＬＳＩ（１）を複数個用いてリング状にデータ経
路で接続して構成したネットワークは、次のような特徴
を有する（図７ではネットワークＬＳＩが４個（１ａ，
１ｂ，１ｃ，１ｄ）の場合を示している）。送信側プロ
セッサ（１ａ）が、異なるネットワークＬＳＩ（１ｄ）
に接続される受信側プロセッサへ通信データを転送する
場合、ネットワークＬＳＩ同志を結ぶ４系統あるデータ
経路のうちのいずれを選ぶかは、受信プロセッサ（１０
２）の位置により決まる。つまり、本構成例における送
信プロセッサと受信プロセッサを結ぶ通信経路選択は、
送信プロセッサが接続されるネットワークＬＳＩ（１
ａ）の、図３及び図４に示した２系統の完全クロスバー
型のデータ選択回路によってそのほとんどが行われ、こ
れ以降データを中継していくネットワークＬＳＩにおい
ては、図５に示す関係で対応するプロセッサに出力する
か、或いは、図６に示す関係で次段ネットワークＬＳＩ
に出力するかの選択が行われていくだけである。

【００３０】例えば、図７においてネットワークＬＳＩ
（１ａ）に接続されるプロセッサ（１０４、１０５、１
０６、１０７）のいずれかからネットワークＬＳＩ（１
ｄ）に接続されるプロセッサ（１０２）への通信を行う
ためには、まずネットワークＬＳＩ（１ａ）において、
次段ネットワークＬＳＩ（１ｂ）への出力ポートのうち
（７０１（図４の４０相当））を出力ポートとして選択
し、以下ネットワークＬＳＩ（１ｂ）では図６のデータ
経路（９４）、次にネットワークＬＳＩ（１ｃ）では図
６でのデータ経路（９５）、最後にネットワークＬＳＩ
（１ｄ）では図５のデータ経路（９２）を選択して、受
信プロセッサ（１０２）への通信経路を確立する。

【００３１】なお、図６において、前段ネットワークＬ
ＳＩ＜ｎ−１＞からの入力ポート（３０、３１、３２、
３３）と次段ネットワークＬＳＩ＜ｎ＋１＞への出力ポ
ート（４０、４１、４２、４３）との対応関係が、４に
関する剰余に対して１だけずれているのは、図８に示す
ような、ネットワークＬＳＩ間をデータが流れる方向と
は逆の方向の隣接プロセッサに向けて全プロセッサから
送信を行う場合に、各プロセッサからの通信が使用する
データ経路が互いに競合しないようにするためである。

【００３２】次に、ネットワーク内でのルーティングに
ついて説明する。本ネットワークに於いては、プロセッ
サ間の通信は、受信プロセッサ番号を含むヘッダを有す
る一定の形式のパケットの交換によって行われるものと
する。

【００３３】まず、パケットがネットワークＬＳＩに接
続されているプロセッサからネットワークＬＳＩに入力
される場合を説明する。図２に示されるネットワークＬ
ＳＩは、プロセッサからの各入力ポートにバッファ（５
０、５１、５２、５３）を有し、当該ＬＳＩに接続され
たプロセッサから入力されるパケットを、バッファに一
旦保持する。また、各入力ポート部には、入力されたパ
ケットのヘッダをデコードするデコーダ回路（５４、５
５、５６、５７）を有しており、プロセッサから入力さ
れるパケットをバッファに取り込みながら、ヘッダ内の
受信プロセッサ番号を解析する。解析の結果、当該パケ
ットを受信するプロセッサが本ネットワークＬＳＩに接
続されている場合には、デコーダ回路は、受信プロセッ
サへの出力ポートセレクタ（６０、６１、６２、６３）
が当該パケット入力ポートからのデータを選択するよ
う、ルーティング制御部（９）に対し要求を行う。ルー
ティング制御部（９）は、デコード回路から受信プロセ
ッサ番号の解析結果に基ずく要求を受信すると、要求に
従い出力ポートセレクタを制御する。一方、当該パケッ
ト受信プロセッサが他のネットワークＬＳＩに接続され
るものであった場合には、デコーダ回路は、図６及び図
５に示したデータ経路を通って受信プロセッサ出力ポー
トに到達するデータ経路への出力ポートセレクタ（８
０、８１、８２、８３）が当該入力ポートを選択するよ
う、ルーティング制御部（９）に対し要求を行う。

【００３４】次に、パケットが前段のネットワークＬＳ
Ｉ＜ｎ−１＞から当該ネットワークＬＳＩ＜ｎ＞に入力
される場合を説明する。ネットワークＬＳＩは、前段ネ
ットワークＬＳＩ＜ｎ−１＞からの各入力ポートにも、
プロセッサからの入力ポートと同様に、バッファ（７
０、７１、７２、７３）とヘッダを解析するデコード回
路（７４、７５、７６、７７）を有している。前段ネッ
トワークＬＳＩ＜ｎ−１＞からパケットの入力がある
と、パケットを一旦バッファに保持し、デコード回路に
よりヘッダの解析を行い、当該パケットを受信するプロ
セッサが自ネットワークＬＳＩに接続されているか否か
を判定する。ヘッダの解析を行ったデコード回路は、受
信プロセッサが自ネットワークＬＳＩに接続されている
場合には図５の関係で対応する出力ポートセレクタ（６
０、６１、６２、６３）を、接続されていない場合には
図６の関係で対応する出力ポートセレクタ（８０、８
１、８２、８３）が、当該パケットを受け取った入力ポ
ートを選択するようルーティング制御部（９）に対し要
求を行う。

【００３５】今、図８に示したリング逆回り方向（ネッ
トワークＬＳＩ間のデータ経路の転送方向と逆の方向）
の隣接プロセッサ間でのデータ転送の場合のルーティン
グを考えてみる。プロセッサ（１０３）からリング逆回
り方向に隣接するプロセッサ（１０２）への通信は、２
つのプロセッサが同一のネットワークＬＳＩ（１ｄ）に
接続されているため、ネットワークＬＳＩ（１ｄ）にお
けるプロセッサ（１０３）が接続される入力ポート（８
００）からのルーティング要求は、プロセッサ（１０
２）が接続される出力ポート（８０１）のセレクタ制御
に関するものとなる。一方、プロセッサ（１００）から
リング逆回り方向に隣接するプロセッサ（１１５）への
通信は、ネットワークＬＳＩ（１ａ、１ｂ、１ｃ）及び
ネットワークＬＳＩ間をつなぐデータ経路（８３１、８
３２、８３３）を経由する。そのため、ネットワークＬ
ＳＩ（１ｄ）におけるプロセッサ（１００）が接続され
る入力ポート（８０２）からルーティング制御部に対す
るルーティング要求は、ネットワークＬＳＩ（１ｄ、１
ａ）間をつなぐデータ経路（８３１）への出力ポート
（８０３）のセレクタ制御に関するものとなる。データ
経路（８３１）を経由してネットワークＬＳＩ（１ａ）
にパケットが入力されると、当該入力ポート（８０４）
からルーティング制御部に対するルーティング要求は、
ネットワークＬＳＩ（１ａ、１ｂ）間をつなぐデータ経
路（８３２）への出力ポート（８０５）のセレクタ制御
に関するものとなる。同じく、データ経路（８３２）を
経由してネットワークＬＳＩ（１ｂ）にパケットが入力
されると、当該入力ポート（８０６）からのルーティン
グ要求は、ネットワークＬＳＩ（１ｂ、１ｃ）間をつな
ぐデータ経路（８３３）への出力ポート（８０７）のセ
レクタ制御に関するものとなる。更に、データ経路（８
３３）を経由してネットワークＬＳＩ（１ｃ）にパケッ
トが入力されると、当該入力ポート（８０８）からのル
ーティング要求は、受信プロセッサ（１１５）への出力
ポート（８０９）のセレクタ制御に関するものとなる。

【００３６】なお、ネットワークＬＳＩを３個以上経由
して行われる通信の場合、送信プロセッサから受信プロ
セッサに至る全ての入力バッファを確保した後パケット
を送信するものとする。全経路確保の確認をすることな
く次々と使用するバッファを確保していくと、同時に複
数のネットワークＬＳＩからパケットが送出され始めた
場合に、図９に示すように複数のパケットがいずれも受
信されることなくネットワーク上に滞留してしまうから
である。例えば、図９では、ネットワークＬＳＩ（１
ｄ）に接続されるプロセッサ（１０２）が、ネットワー
クＬＳＩ（１ａ、１ｂ）を経由してネットワークＬＳＩ
（１ｃ）に接続されるプロセッサ（１１４）に受信され
るパケットの送信を開始し、同時に、ネットワークＬＳ
Ｉ（１ｂ）に接続されるプロセッサ（１１１）が、ネッ
トワークＬＳＩ（１ｃ、１ｄ）を経由してネットワーク
ＬＳＩ（１ａ）に接続されるプロセッサ（１０４）に受
信されるパケットの送信を開始した場合を示している。
この場合、両方のパケットはともにバッファ（９００）
及び（９０１）を使用しなければならないのにもかかわ
らず、バッファ（９００）はプロセッサ（１０２）送信
のパケットによって確保され、一方バッファ（９０１）
はプロセッサ（１１１）送信のパケットが確保されてし
まい、いずれのパケットも受信プロセッサに到達できな
いことになる。

【００３７】送信プロセッサから受信プロセッサに至る
全経路確保は、次のように行う。まず、パケットヘッダ
をあらかじめ受信プロセッサの接続されるネットワーク
ＬＳＩまで経路確保要求として送る。受信プロセッサの
接続されるネットワークＬＳＩは、このパケットヘッダ
を受信すると、このパケットヘッダに対する応答（経路
が確保できたのでパケット本体を送ってもよいという意
味のＡｃｋｎｏｗｌｅｄｇｅ）を、リング逆回り方向に
返す。この応答を返されたネットワークＬＳＩは、リン
グ逆回り方向に、順に、この応答を、送信プロセッサが
接続されるネットワークＬＳＩに向けて返していく。こ
の応答が、送信プロセッサの接続されたネットワークＬ
ＳＩまで到達すれば、全経路が確保できたことが送信側
で確認できる。その後、パケット本体の転送が開始され
る。他のプロセッサ対の行う通信により、途中の経路が
直ちには使用できない状態にある場合には、通信中のパ
ケットの転送が終了し当該経路が使用可能となった後、
受信プロセッサまでの経路確保要求を行う。

【００３８】また、図９のような場合には、複数のヘッ
ダ同志が互いに同じ経路を要求することになる。この種
の競合調停のために、ネットワークＬＳＩに循環しない
優先順位を割り当て、送信プロセッサの接続されたネッ
トワークＬＳＩの持つ優先順位が高いヘッダが、優先順
位の低いヘッダを上書きする形で経路確保を行う。上書
きされた部分の低優先のルーティング要求に関しては、
高優先のパケット転送終了後にヘッダを再発行すること
で、受信プロセッサまでの経路確保を行う。

【００３９】本実施例のネットワークを用いた並列計算
機を実装する場合、図１０に示されるように、プロセッ
サ（２）とネットワークＬＳＩ（１）の間、及び、ネッ
トワークＬＳＩ（１）同志の間の各配線の長さを短くす
るため、ネットワークＬＳＩ（１）を中心として、当該
ＬＳＩに直接接続されるプロセッサ（２）群を配置し、
これらを１セット（７）として、複数セットをリング状
に配置する。更に、ネットワークＬＳＩをリングの中心
に寄せて配置することで、リング状に形成されたネット
ワークに於いて、隣接するネットワークＬＳＩ（１）同
志の間の配線の長さを、一つのセット（７）内における
プロセッサとネットワークＬＳＩとの間の距離程度に平
均化することが可能になる。

【００４０】これを図１０を用いて説明する。今、プロ
セッサ（２）をプロセッサを搭載したプロセッサボード
と考え、その大きさをＫとし、ネットワークＬＳＩ
（１）を搭載するバックボードの大きさをＬとし、ここ
で、 「プロセッサボードの大きさＫ」≒「バックボードの大
きさＬ」 とする。この結果、 「同一セット内のプロセッサとネットワークＬＳＩ間の
距離」 ＝「（Ｋ＊＊２＋Ｌ＊＊２）＊＊（１／２）」 ≒「隣接セット相互間のネットワークＬＳＩとネットワ
ークＬＳＩとの距離」 ＝「２＊＊（１／２）Ｌ」 （ここで、＊＊はベキ乗を示す。以下の明細書の中で同
様の意味で用いる。）となり、上記の関係となる。な
お、配線長は、２乗和の平方根で表すよりも代数和とし
て表す方がより望ましいが、何れにせよ、結果はほぼ等
しくなる。

【００４１】また、このリング状配置により、プロセッ
サの増設は、セット（７）を単位として、リング状配線
中に追加することで行うことができる。この際、増設を
行うに比例してシステムの床面積は大きくなるものの、
隣接するネットワークＬＳＩ間の間の各配線の配線長が
伸びることはなく、既存部分のケーブルの交換も必要な
い。また、ネットワークＬＳＩのピン数による制限のた
めに一つのネットワークＬＳＩに接続できるプロセッサ
数は限られるが、上記の方法で実装する場合各配線の配
線長は、電気的には余裕のあるものとなる。例えば、上
記のシステムが、ＬＳＩの信号ピン数を約５００、１バ
イト幅ネットワーク（１バイトに、パリティビットと制
御信号が加算され１系統あたり１０数信号が必要）から
構成されると考えると、１つのネットワークＬＳＩのポ
ート数（接続プロセッサ数）は約１０以下となる。そこ
で、１セットが１０個のプロセッサと１個のネットワー
クＬＳＩから構成されると考える。この場合、例えば一
つのセットが一つのボードにコンパクトに実装されると
すると、標準的なボードの大きさから、プロセッサとネ
ットワークＬＳＩ間または隣接するネットワークＬＳＩ
間の配線長＜約５０ｃｍであり、また、別の例として、
１プロセッサが１ボード（Ｋ≒２５ｃｍ）から構成され
ると考えても、ボード間隔≒５ｃｍならば、Ｋ≒Ｌ≒２
５ｃｍのため、前述の配線長＜約５０ｃｍとなる。一般
に、ＬＳＩ間を１対１で結ぶ１ｍ未満の配線は電気的に
問題とならず、上記配線長は電気的に余裕のあるものと
なる。

【００４２】一方、大規模な並列計算機システムを実現
するためには、リングを構成するセット数が増大するこ
ととなり、プロセッサ間の通信効率が低下することにな
る。

【００４３】電気特性の限界まで配線長を伸ばして、通
信効率の良い大規模並列計算機システムを実現するため
には、ハイパークロスバーネットワークのような通信効
率は良いが配線の難しいキューブ型ネットワークの一部
の次元に対し、本実施例のネットワークＬＳＩを使用す
ればよい。

【００４４】例として、特開平５−８１２１６号に示さ
れるｘ、ｙ、ｚの３次元のハイパークロスバーネットワ
ークにより、８×８×４個のプロセッサが配線接続され
た並列計算機を考える。ここで、配線の制限により、こ
れ以上の個数のプロセッサの接続は困難であったとす
る。この並列計算機に本実施例のネットワークを適用し
て、８×８×４×ｇ個のプロセッサを接続する場合を説
明する。

【００４５】まず、８（Ｘ方向）×８（Ｙ方向）×４
（Ｚ方向）個のプロセッサを接続するハイパークロスバ
ーネットワークにおいて、ｚ方向の全ての４入力４出力
完全クロスバースイッチを、それぞれ本実施例の４入力
４出力の完全クロスバースイッチを包含するネットワー
クＬＳＩと置き換えたネットワークを構成する。これ
は、この置き換えたネットワークに於いて、ネットワー
クＬＳＩは、Ｘ方向の８本のクロスバースイッチとＹ方
向の８本のクロスバースイッチとの交点（６４カ所）に
対応して計６４個用いられることを意味する。ここで、
ハイパークロスバーネットワークのＺ方向のクロスバー
スイッチに接続されていた乗り換えスイッチの出力ポー
ト及び入力ポートを、本実施例のネットワークＬＳＩに
おけるプロセッサに対する入力ポート及び出力ポートに
接続する。この置き換えたネットワーク（以下セットと
呼ぶ）をｇ組作る。そして、ｇ組のセットの各セットに
於いて、Ｘ方向のクロスバースイッチとＹ方向のクロス
バースイッチとの交点の位置が同一である、ｇ個のネッ
トワークＬＳＩを本実施例におけるデータ経路でリング
状に接続する。各セット内にはネットワークＬＳＩが６
４個あるので、ｇ個のネットワークＬＳＩがリング状に
接続された組が、合計６４組できる。１セットにはプロ
セッサ数は８×８×４個であるからｇセットで、８×８
×４×ｇ個のプロセッサから成る並列計算機が構成され
る。

【００４６】図１１には、８×８個のネットワークＬＳ
Ｉ（１）と、８×８個のネットワークＬＳＩにより相互
に結合された８×８×４個のプロセッサ（２）とを１セ
ットとして、これをｇセット配置した図を示す。このよ
うにネットワークＬＳＩ（１）をリングの内側に向けて
配置すれば、ネットワークＬＳＩ（１）間を接続する８
×８×４系統のデータ経路は、８×８×４ハイパークロ
スバーネットワーク実現に要する配線長（７８）を超え
ることなく、８×８×４×ｇ個のプロセッサを有する並
列計算機システムを構築できることになる。この関係を
図１５に示す（図１５は、図１１における配線長を説明
する図である）。図１５に示されるように、８×８×４
のハイパークロスバーネットワークの最長配線長≒Ｍと
なり、一方、ネットワークＬＳＩ間の配線（ケーブル）
長は図１５に示すようにＭ／（２＊＊（１／２））また
はＭとなり、いずれの場合もネットワークＬＳＩ間を接
続するデータ経路は、配線長Ｍを超えることはない。こ
こで、同数のプロセッサを有するハイパークロスバーネ
ットワークに対する通信効率の低下は２／（ｇ−１）と
なる。

【００４７】なお、図１４は、上記関係の理解を助ける
ための模式図である。図１４では、２×２×２のプロセ
ッサを有するセットを４組示しており、各セットにおけ
るＸ方向のクロスバースイッチとＹ方向のクロスバース
イッチは単純化して平面として示している。Ｚ方向に２
個のプロセッサが存在するので、この平面は上面と下面
の２つとなる。図に於いて、各セットにおけるＺ軸方向
のＡ、Ｂ、Ｃ、ＤがネットワークＬＳＩを示す。この場
合、ネットワークＬＳＩは２プロセッサ接続のネットワ
ークＬＳＩとなる。ここで、各セットの同じ位置にある
ネットワークＬＳＩをデータ経路でリング状に接続す
る。図１４では、図が見にくくなるため、データ経路に
関しては、各セット内のＡの位置にあるネットワークＬ
ＳＩを上面に関して接続した例を示している。位置Ａに
関する下面のリング状のデータ経路、位置Ｂ、Ｃ、Ｄに
関する上面および下面のリング状のデータ経路は示して
いない。黒く示した部分は、ネットワークＬＳＩのリン
グ方向の出力ポート及び入力ポートを示している。

【００４８】次に、本発明の並列計算機用ネットワーク
に於いて、リングを構成するネットワークＬＳＩの数を
２とした場合について説明する。この場合、ネットワー
クは、完全クロスバー型の結合と同等となる。即ち、完
全クロスバー型のネットワークを２つのＬＳＩにて実現
する方法を示していることになる。以下、２つのＬＳＩ
で完全クロスバースイッチを構成する方法を説明する。

【００４９】リングを構成するネットワークＬＳＩの数
を２と限定した場合、配線長を大きく伸ばすことなくネ
ットワークＬＳＩ同志を隣接して配置することが可能と
なる。そして、このようにネットワークＬＳＩが隣接し
て配置された場合、図２におけるネットワークＬＳＩ間
をつなぐ経路上に存在する入力バッファ（７０、７１、
７２、７３）は必要なくなる。また、図２に示されるネ
ットワークＬＳＩを単純に２個用いると、通信経路確定
のためのセレクタ（６０、６１、６２、６３、８０、８
１、８２、８３）を、送信側プロセッサと受信側プロセ
ッサのそれぞれで持つことになり、つまり２段構成で持
つことになり、ルーティング制御に余分なオーバーヘッ
ドを要することになる。

【００５０】上記を考慮し、図１２に示すように、２つ
のネットワークＬＳＩを構成するのがゲート量、性能の
観点から効率的である。図１２では、２つのネットワー
クＬＳＩ（１２１、１２２）が、２ｎ個のプロセッサ間
の完全クロスバースイッチを構成する。ネットワークＬ
ＳＩ（１２１）はプロセッサ０〜ｎ−１に対する入出力
を担当し、ネットワークＬＳＩ（１２２）はプロセッサ
ｎ〜２ｎ−１に対する入出力を担当する。各ネットワー
クＬＳＩには、接続されるプロセッサ対応に入力ポート
（１０、１４、１５、１９）が設けられ、入力ポート対
応にパケットを保持するバッファ（５０、５４、５５、
５９）およびヘッダを解析してルーティング制御部（１
２３、１２４）に対しルーティング要求を出すデコーダ
（９０、９４、９５、９９）が１ＬＳＩあたりｎ個設け
られる。また、プロセッサからのデータ入力ポート（１
０、１４、１５、１９）と一対一に対応するようネット
ワークＬＳＩ間を結ぶデータ経路の出力ポート（４０、
４４、４５、４９）を設ける。この出力ポート（４０、
４４、４５、４９）は、ネットワークＬＳＩ間を結ぶデ
ータ経路へそれぞれ対応するプロセッサからの入力パケ
ットを中継するのみである。またこの出力ポートは、ネ
ットワークＬＳＩ間を結ぶデータ経路を介して、相対す
るネットワークＬＳＩの入力ポート（３０、３４、３
５、３９）に接続される。この入力ポート対応に、ヘッ
ダを解析してルーティング制御部（１２３、１２４）に
対しルーティング要求を行うデコーダ（９００、９４
０、９５０、９９０）が１ＬＳＩあたりｎ個設けられて
いる。各ネットワークＬＳＩに接続されているプロセッ
サへの各出力ポート（２０、２４、２５、２９）には、
２ｎ対１のセレクタ回路（６０、６４、６５、６９）が
当該出力ポート対応に設けられる（即ち１ＬＳＩあたり
ｎ個設けられる）。これら各セレクタは、自ネットワー
クＬＳＩに接続されているプロセッサからの各入力ポー
トと相対するネットワークＬＳＩ接続のプロセッサから
の各入力ポートが接続され、ルーティング制御部により
どのポートからの信号を選択するのか制御される。ルー
ティング制御部へのルーティング要求は、送信プロセッ
サと受信プロセッサが同一ＬＳＩ接続である場合、デコ
ーダ（９０、９４、９５、９９）が行い、パケットがＬ
ＳＩ間を渡る場合には、更に、デコーダ（９００、９４
０、９５０、９９０）がルーティング要求を行う。

【００５１】本構成例（２個のネットワークＬＳＩを使
用する構成）のそれぞれのＬＳＩに必要とする論理ゲー
トの量は、１つのＬＳＩで２ｎ×２ｎの完全クロスバー
を実現する場合に比べ、入力バッファ及び出力セレクタ
の数が半分となっているだけ減少するため、容易に多く
の入出力ポートを有する完全クロスバースイッチを実現
することができる。

【００５２】但し図１２に示す構成では、１ＬＳＩで２
ｎ×２ｎの完全クロスバーを実現する場合と比較して、
１ＬＳＩあたりの論理ゲート量は削減できるが、１ＬＳ
Ｉあたりのピン数は削減できない。そこで図１２に示し
たＬＳＩを、図１３に示すように、入力ポート（１３
１、１３２）側と出力ポート（１３３、１３４）側に分
割して、全体で４ＬＳＩ構成とする。入力ポート側ＬＳ
Ｉ（１３１、１３２）には入力バッファ（５０、５４、
５５、５９）機能を配し、出力ポート側ＬＳＩ（２、
６）では、ヘッダデコーダ（９０、９４、９５、９９、
９００、９４０、９５０、９９０）、２ｎ対１出力セレ
クタ（６０、６４、６５、６９）、及び、ルーティング
制御部（１２３、１２４）機能を配する。この場合、１
ＬＳＩあたりの論理ゲート量のみならず、１ＬＳＩあた
りのピン数も削減されて、容易に多くの入出力ポートを
有する完全クロスバースイッチを実現することができ
る。

【００５３】

【発明の効果】以上説明したように本発明によれば、並
列計算機のネットワーク構成方式において、物理的距離
が互いに近い範囲に実装されるプロセッサ群をグループ
化すると、このグループ化したプロセッサ群に対して、
プロセッサ間接続は通信効率の良い完全クロスバースイ
ッチ構成方式で行い、他方、異なるグループに属し物理
的距離が互いに遠いプロセッサ間の接続は、グループ化
されたプロセッサ数と等しいデータ経路数でリング型結
合により行うために、任意プロセッサ間の通信効率の低
下率を２／（グループ数−１）にとどめることができ
る。低下率２／（グループ数−１）は次のように求める
ことができる。

【００５４】グループ数をｇ、グループを構成するプロ
セッサ数をｎとすと、通信効率は、各プロセッサ（ｇ×
ｎ個）が、受信先プロセッサをランダムに選んで送信を
行ったときのグループ間パスの競合確率で表すことがで
きる。今、グループ（ｇ−１）とグループ０とをつなぐ
ｎ系統のパス（データ経路）に着目すると、 １）グループ０に属するプロセッサ送信の通信で占有さ
れるパス本数期待値＝０ ２）グループ１に属するプロセッサ送信の通信で占有さ
れるパス本数期待値＝（ｎ×１）／ｇ ３）グループ２に属するプロセッサ送信の通信で占有さ
れるパス本数期待値＝（ｎ×２）／ｇ ・・・・ ｇ）グループ（ｇ−１）に属するプロセッサ送信の通信
で占有されるパス本数期待値＝（ｎ×（ｇ−１））／ｇ これら１）〜ｇ）の総和量（ｎ／２）×（ｇ−１）と実
際に存在するパス（データ経路）ｎとの比が完全クロス
バースイッチに対する性能低下率を表す。即ち、 ｇグループに分割時の性能低下率＝２／（ｇ−１） となる。

【００５５】また、本ネットワーク構成は、隣接グルー
プ間を接続するだけで配線でき、かつ、配線長が短く配
線量も少ないによりリング型結合を用いているため、各
ＬＳＩ間の配線長は一定限度内に保ったまま、即ち、配
線長及び配線量による制限を被ることなく、グループ単
位で増設することができ、並列計算機システムを容易に
大規模化できる効果がある。

【００５６】更に、本ネットワークのリングを構成する
ネットワークＬＳＩの数を２とすることで、論理ゲート
量或いはピン数による制限により１ＬＳＩにては実現で
きない入出力ポート数を有する完全クロスバースイッチ
を、２ＬＳＩ或いは４ＬＳＩにて構成することが可能と
なる。上記性能低下率の式にｇ＝２を代入すると性能低
下率は１以上となり、従って、ネットワークＬＳＩの数
を２とした場合は有意の性能低下は無い。

【図面の簡単な説明】

【図１】本発明の方式で構成されたネットワークを用い
た並列計算機の基本ブロック図である。

【図２】ネットワークＬＳＩの構成例を示すブロック図
である。

【図３】同一ネットワークＬＳＩ接続のプロセッサ間結
合方式を示す図である。

【図４】プロセッサからリング型経路への接続の方式を
示す図である。

【図５】リング型経路からの入力ポートとプロセッサへ
の出力ポートの対応を示す図である。

【図６】リング型経路に対する入出力ポート間の対応を
示す図である。

【図７】受信プロセッサの接続位置と通信に使用される
リング型経路の対応を示す図である。

【図８】リング逆回り方向の隣接転送において使用され
るリング型経路を示す図である。

【図９】同時送信開始により複数のパケットがリング型
経路の一部を取り合って受信が開始されない様子を示す
図である。

【図１０】本発明のネットワークを用いた並列計算機の
実装例を示す図である。

【図１１】ハイパークロスバーネットワークの一次元に
本発明のネットワークを用いた並列計算機の実装例を示
す図である。

【図１２】２ＬＳＩで完全クロスバースイッチを構成す
る例を示すブロック図である。

【図１３】４ＬＳＩで完全クロスバースイッチを構成す
る例を示すブロック図である。

【図１４】ハイパークロスバーネットワークの一次元に
本発明のネットワークを用いた並列計算機を示す説明図
である。

【図１５】隣接するネットワークＬＳＩ同志の配線の長
さと一つのセットにおけるネットワークＬＳＩとプロセ
ッサの間の距離との関係を示す図である。

【符号の説明】

１ ネットワークＬＳＩ ２ プロセッサ ３ ネットワークＬＳＩとプロセッサの間のデータ経路 ４ ネットワークＬＳＩ同志を結ぶリング状のデータ経
路 ９ 通信経路確定制御を行うルーティング制御回路 １０、１１、１２、１３ プロセッサからの入力ポート ２０、２１、２２、２３ プロセッサへの出力ポート ３０、３１、３２、３３ 前段ネットワークＬＳＩから
の入力ポート ４０、４１、４２、４３ 次段ネットワークＬＳＩへの
出力ポート ５０、５１、５２、５３、７０、７１、７２、７３ 入
力パケットを一旦保持するためのバッファ ５４、５５、５６、５６、７４、７５、７６、７７ パ
ケットヘッダデコーダ ６０、６１、６２、６３ プロセッサへの出力データを
選択するセレクタ ８０、８１、８２、８３ リング型経路への出力データ
を選択するセレクタ

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 15/173 ＪＩＣＳＴファイル（ＪＯＩＳ) ＷＰＩ（ＤＩＡＬＯＧ)

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 多数のプロセッサを相互に接続するため
   のネットワーク構成であって、 前記多数のプロセッサを適当な単位で分けた各グループ
   内の各プロセッサ間の接続を行う、前記各グループ対応
   の複数の完全クロスバースイッチと、前記複数のグルー
   プをリング状に接続する複数のデータ経路とを有し、前
   記複数のデータ経路は、任意の隣接するグループ間で各
   グループ内のプロセッサの数と等しい数であり、異なる
   グループに属するプロセッサ間の接続は、前記データ経
   路を介して行うことを特徴とするネットワーク構成。
2. 【請求項２】 請求項１のネットワーク構成であって、 前記データ経路は片方向の転送路であり、第１のグルー
   プに属するプロセッサから入力されるパケットを、前記
   第１のグループから前記第１のグループの次段にあるグ
   ループへの前記データ経路のいずれかに出力する第１の
   回路と、前記第１のグループの前段にあるグループから
   前記第１のグループへの前記データ経路からのパケット
   を、前記第１のグループに属するプロセッサへ、また
   は、前記次段にあるグループへの前記データ経路へ出力
   する第２の回路とを有することを特徴とするネットワー
   ク構成。
3. 【請求項３】 複数のプロセッサを相互に接続するため
   のネットワーク構成であって、 それぞれが前記複数のプロセッサを接続して使用される
   複数のネットワークＬＳＩと、前記複数のネットワーク
   ＬＳＩをリング状に接続する複数の片方向転送のデータ
   経路とを有し、前記ネットワークＬＳＩは、前記複数の
   プロセッサの数に等しい数の、前記プロセッサに接続さ
   れる複数の入力ポート及び複数の出力ポートと、前記複
   数の入力ポートと前記複数の出力ポートとを結ぶ完全ク
   ロスバスイッチ結合網とを有し、前記複数のデータ経路
   は、任意の隣接するネットワークＬＳＩ間で前記複数の
   プロセッサの数と等しい数であり、異なるネットワーク
   ＬＳＩに属するプロセッサ間の接続は、前記データ経路
   を介して行うことを特徴とするネットワーク構成。
4. 【請求項４】 多数のプロセッサを相互に接続するため
   に、リング状に接続されて用いられるネットワークＬＳ
   Ｉであって、 当該ネットワークＬＳＩに接続されるプロセッサ数に等
   しい数である、当該プロセッサからのパケットが入力さ
   れる複数の第１の入力ポート、および、当該プロセッサ
   へパケットを出力する複数の第１の出力ポートと、 当該ネットワークＬＳＩに接続されるプロセッサ数に等
   しい数である、前記第１の入力ポートに入力されたパケ
   ットを次段のネットワークＬＳＩへ出力する複数の第２
   の出力ポートと、当該ネットワークＬＳＩに接続される
   プロセッサ数に等しい数である、前記第１の出力ポート
   または前記第２の出力ポートへ出力するパケットを前段
   のネットワークＬＳＩから入力される複数の第２の入力
   ポートとを有し、前記複数の第１の入力ポートと前記複
   数の第１の出力ポートは完全クロスバスイッチにより接
   続され、前記第１の入力ポートに入力されたパケットを
   前記複数の第２の出力ポートの何れへでも出力できるこ
   とを特徴とするネットワークＬＳＩ。
5. 【請求項５】 多数のプロセッサを相互に接続した並列
   計算機システムであって、 前記多数のプロセッサを適当な単位で分けた各グループ
   内の各プロセッサ間の接続を行う、前記各グループ対応
   の複数の完全クロスバースイッチと、前記複数のグルー
   プをリング状に接続し、かつ、前記グループに属するプ
   ロセッサの数と等しい数で前記リング上の任意に隣接す
   る前記グループ同志を接続し、お互いに異なるグループ
   に属するプロセッサ間の接続に用いられるデータ経路と
   から構成される前記多数のプロセッサを相互に接続する
   ネットワークを有することを特徴とする並列計算機シス
   テム。