JPH02148354A - ネットワーク通信システム及び方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 Ａ、産業上の利用分野 本発明は一般に多数の送信元が多数の宛先に選択的に接
続される相互接続システムに関する。こうした相互接続
システムの特定の適用分野は、共用メモリ・コンピュー
タφシステムにある。より具体的には、本発明は、メツ
セージ転送待ち時間の異なる多段ネットワークの２つ以
上のレベルをもつ複数経路ネットワーク階層を対象とす
る。

Ｂ、従来技術及びその問題点 多数のプロセッサを有する従来技術の共用メモリ・シス
テムは、通常多段ネットワークと相互接続されている。

多数のプロセッサとは、大体２５６台以上のプロセッサ
を言う。高性能マルチプロセッサ・システムの少なくと
も１つの例では、ネットワークは、多段ネットワーク・
アーキテクチャに固有の転送遅延を克服するためにプロ
セッサの技術より１０倍高速の技術で構築されている。

多段ネットワークには性能上制限があることから、たと
えば、フラナシェク（Ｆｒａｎａｓｚｅｋ　）の米国特
許第４７５２７７７号、関連特許出願第０７／１２５０
８８号、及びＩＢＭ　Ｊｏｕｒｎａｌ　ｏｆ　Ｒｅ５ｅ
ａｒｃｈａｎｄ　ＤｅｖｅｌｏｐｍｅｎｔｌＶｏ　１．
３１）Ｎｏ、　　１　（１９８７年１月）、Ｉ）り、１
２０−１３１に発表さレタピーター（Ｐｅｔｅｒ）　Ａ
、フラナシェクの論文「相互接続ネットワークにおける
経路階層（Ｐａｔｈｌｌｉｅｒａｒｃｈｉｅｓ　ｉｎ　
Ｉｎｔｅｒｃｏｎｎｅｃｔｉｏｎ　Ｎｅｔｗｏｒｋｓ）
　Ｊで開示されているような階層ネットワークが発明さ
れた。

階層ネットワークの動作は、記憶階層のそれに類似して
おり、良好な設計のその階層の平均性能は、最高速構成
要素の速度によって決まる。米国特許第４７５２７７７
号に記載された経路階層は、２つのレベルしか持たず、
トップ・レベルまたは高速経路はクロスバ−交換機によ
って実現される。

しかし、経路階層は、必ずしも２レベルに制限したりク
ロスバ−交換機を含んだりする必要はない。

たとえば、ネットワーク階層が、それぞれメツセージ転
送待ち時間（１ａｔｅｎｃｙ）　の異なる複数レベルの
多段ネットワークで構成される場合、クロスバ−交換機
を含む２レベル階層に比べて大きなコスト上の利点が達
成できる。さらに、ネットワーク・ノードの数Ｎが非常
に多く、たとえば、１０００より大きい場合、クロスバ
−交換機の７１−ドウエア上の複雑さがＮの２乗に比例
して増大するものとすれば、現技術で実際に実現できる
唯一のタイプの階層技術は、多段ネットワークのみから
構成されるものである。

Ｃ９関連出願 本特許出願の開示は、１９８７年５月１２日に出願され
た特許出願第０７１０４８９８２号の継続出願として１
９８７年１０月２５日に出願された特許出願第０７／１
２５０８８号の主題と関連している。前記特許出願は、
現在「クロスポイント交換機のデルタ型ネットワーク（
Ｄｅｌｔａ　Ｎｅｔｗｏｒｋｏｆ　ａ　Ｃｒｏｓｓ−Ｐ
ｏｉｎｔ　５ｗ１ｔｃｈ）　Ｊと題するフラナシェクの
米国特許第４７５２７７７号となっている。

この特許出願第０７／１２５０８８号の開示を引用によ
り本明細書に組み込む。

Ｄ８問題点を解決するための手段 したがって、本発明の目的は、複数レベルの多段ネット
ワークを含む階層ネットワークを提供することにある。

本発明の他の目的は、これまでこうした相互接続システ
ムの特徴であった転送遅延を伴わずに、非常に多数のノ
ードを含む通信システムにおいて多段相互接続システム
の潜在的なコスト上の利点を実現することにある。

本発明によると、ネットワーク階層は、それぞれメツセ
ージ転送待ち時間の異なる複数レベルの多段ネットワー
クで構成される。特定の例として、複数経路ネットワー
クの階層は、通信システムにおける複数の送信元と複数
の宛先の間の接続を選択的に行なう。この階層は、１つ
の送信元を１つの宛先に接続するための高速経路となる
、緩衝動作（ｂｕｆｆｅｒｉｎｇ）　　なしの第１の多
段ネットワークを含んでいる。緩衝動作を有し複数の段
を含む少なくとも第２のネットワークが、高速経路で送
信元と宛先の間の接続が阻止される場合に送信元を宛先
に接続するための代替のより低速の経路となる。高速経
路ネットワークでは、送信元からのメツセージのアドレ
ス・フィールドが、次の段への適切な接続を選択するた
めに各段で検査され、その接続が利用できる場合、メツ
セージは第２段に伝播される。しかし、次の段が阻止さ
れている場合はメツセージは停止され、否定応答が送信
元に戻される。送信元で否定応答を受け取ると、階層の
第２のネットワークを介してメツセージの再送信が開始
される。最後のレベルだけで緩衝動作を行なって、この
概念を複数レベルに拡張することができる。

高速経路のハードウェアの複雑さは最小であるので、送
信元と宛先の対を接続する経路はわずかのゲート遅延と
チップ交差に出会うだけで、メツセージ伝播遅延は非常
に小さい。しかし、このネットワークの閉塞率が極めて
高くなる可能性がある。

したがって、閉塞率がより小さい同様の（すなわち、緩
衝動作のない）ネットワークで階層の第２レベルを実現
することができる。最後に、ｎ番目のレベル（ただしｎ
は３以上）は、あらゆる通信条件で宛先への配送を保証
する記憶後転送式ネットワークで実現することになる。

Ｅ、実施例 図面、特に第３図を参照すると、それぞれ独立にかつ互
いに並列に動作し、多数のメモリ・システム１２にアク
セスできる多数のプロセッサ１０を備えたコンピュータ
・システムが示されている。

各プロセッサは入出力経路１４を備え、各メモリ・シス
テムも同様に入出力経路１６を備えている。

経路１４と１６はバスでよく、全２重通信を行なえるよ
うに重複させてもよい。しかし、重要な点は、特定のメ
モリ・システムへのアクセスを必要とするプロセッサ１
０は、その入出力経路１４が必要なメモリ・システム１
２の入出力経路に接続されなければならないことである
。この選択的接続は、交換ネットワーク１８によって行
なわれる。

交換ネットワーク１８のクロスポイント交換機のユーザ
は、必要な高帯域を供給する。クロスポイント交換機の
重要な特徴は、一方の側から他方の側へのＮ個の接続を
それぞれ選択的に同時に行なえることである。クロスポ
イント交換機の複雑さはＮの２乗に比例して増大するが
、実際のＮ２クロスポイントが比較的簡単なため、現在
利用できる技術でその製造が可能である。ゲオルギウ（
Ｇｅｏｒｇ　ｉｏｕ　）の米国特許第４６３５２５０号
［全２重片側クロスポイント交換機（Ｆｕｌｌ　Ｄｕｐ
ｌｅｘＯｎｅ−Ｓｉｄｅｄ　Ｃｒｏｓｓ−Ｐｏｉｎｔ　
５ｗ１ｔｃｈ）　Ｊを参照のこと。

クロスポイント交換機の代替物は、デルタまたはオメガ
型ネットワークなどの多段ネットワークである。より広
い多段ネットワークのクラスの代表としてデルタ型ネッ
トワークを例として考慮すると、デルタ型ネットワーク
は、ＩＥＥＥコンピュータ紀要（ＩＥＥＥ　Ｔｒａｎｓ
ａｃｔｉｏｎｓ　ｏｎ　Ｃｏｍｐｕｔｅｒｓ）ｓＶｏｌ
、Ｃ−３０、Ｎｏ、４　（１９８１年４月）、１）ｐ、
２７３−２８２に発表されたディアス（Ｄｉａｓ）等の
技術論文「緩衝デルタ型ネットワークの解析及びシミュ
レーシジン（Ａｎａｌｙｓｉｓ　ａｎｄＳｉｍｕｌａｔ
ｉｏｎ　　ｏｆ　　Ｂｕｒｆｅｒｅｄ　　Ｄｅｌｔａ　
　Ｎｅｔｗｏｒｋｓ）　　Ｊ　　に示された複数の例で
定義されている。バテル（Ｐａｔｅｌ）も、ＩＥＥＥコ
ンピュータ紀要、Ｖｏ　ｌ。

Ｃ−３０、Ｎｏ、１０　（１９８１年１０月）、ｐｐ、
７７１−７８０に所載の論文「多重プロセッサ用のプロ
セッサ・メモリ相互接続の性能（Ｐｅｒｆｏｒｍａｎｃ
ｅ　ｏｆ　Ｐｒｏｃｅｓｓｏｒ−ＭｅｍｏｒｙＩｎｔｅ
ｒｃｏｎｎｅｃｔｉｏｎｓ　ｆｏｒ　Ｍｕｌｔｉｐｒｏ
ｃｅｓｓｏｒｓ）　Ｊでデルタ型ネットワークを定義し
ている。

本明細書ではデルタ型ネットワークについて、Ｉ　ＥＥ
Ｅコンピュータ紀要、Ｖｏｌ、Ｃ−３２、Ｎｏ、２　（
１９８３年２月）、りり、　　１７５−１８９に発表さ
れたゴツトリーブ（Ｇｏｔｔｌｉｅｂ）等の技術論文ｒ
ＮＹＵウルトラコンピューターＭＩＭＤ共用メモリ並列
コンピュータの設計（Ｔｈｅ　ＮＹＵＵｌｔｒａｃｏｍ
ｐｕｔｅｒ　−Ｄｅｓｉｇｎｉｎｇ　ａｎ　ＭＩＭＤ　
ＳｈａｒｅｄＭｅｍｏｒｙ　Ｐａｒａｌｌｅｌ　Ｃｏｎ
＋ｐｕｔｅｒ）　Ｊに記載されたオメガ型交換ネットワ
ークを参照しながら説明する。

デルタ型ネットワークのこの例は、第５図に示されてい
る。２進数で識別される左側の８つのポートと、やはり
２進数で識別される右側の８つのポートがある。右側と
左側のポートを３段の交換機２０が接続する。各交換機
２０は、一方の側の２つの入力の１つを他方の側の２つ
の出力の１つに選択的に接続することのできる２ｘ２交
換機である。

デルタ型ネットワークは、右側の任意のポートから左側
の任意のポートへの接続を行なうことができ、並列パイ
プライン方式で使用できるようになっている。データは
、比較的小さなパケットで一方の側から他方の側に送信
される。パケットは、データに加えて、望みの宛先のア
ドレスを含む制御情報を含む。たとえば、左側のポート
０００がデータのパケットを右側のポート１００に送ろ
うとする場合、パケットのヘッダに宛先アドレス１００
を含み、そのパケットを交換機２ＯＡに入力する。

交換機２ＯＡは、宛先アドレスの右端のビットを見て、
その結果、パケットの宛先アドレスとデータ部分の両方
をそのＯ出力から交換機２０Ｂに送る。交換機２０Ｂは
、宛先アドレスの中間ビット、つまりＯを見て、パケッ
トをそのＯ出力から交換機２０ｃに送る。交換機２０Ｃ
は、宛先アドレスの第３のすなわち左端のビット、つま
り１を見て、パケットをその１出力から右端のポート１
００に送る。

交換機２０中にバッファを使用すると、異なるセクシ日
ソの交換機を減結合して、制御及び送信を２ｘ２交換機
２０の各段の間でパイプライン化することができる。こ
うすると、スルーブツトが高くなるが、バッファ制御に
関連するハードウェアを導入するのに追加の論理回路が
必要となる。

このこと、及びバッファに空間が必要なことのために、
通常は論理ゲートと交差するチップの数が大幅に増加し
て、送信の待ち時間が増大する。

第４図のデルタ型ネットワークは並列伝送経路を備えて
おり、そのためシステムの帯域幅が増加するが、これは
閉塞性ネットワークである。すなわち、望みの出力ポー
トが普通なら利用できる場合でさえ、交換機を通る接続
経路が利用できる保証はない。たとえば、左側の０００
ポートと右側の１００ボートの間を前述のように接続す
る場合、左側のポート００１は、右側の４つのポート０
００．０１０．１００１１１０に到達することを阻止さ
れる。閉塞をなくす前に前述の接続を遮断しなければな
らない。すなわち、デルタ型ネットワークは高速となる
可能性があるが、通信量が増加するにつれて、閉塞遅延
が予想される。

米国特許第４７５２７７７号によるシステムを、第５図
に示す。このシステムは、データ伝送用に非閉塞性クロ
スポイント交換機を設け、クロスポイント交換機の入力
ポートと出力ポートの間で制御情報を交換するためにデ
ルタ型ネットワーク交換機を追加して設けることにより
、クロスポイント交換機とデルタ型交換ネットワークの
特徴を組み合わせたものである。第６図では、各入力ポ
ートが当該の入力アダプタ３０に接続され、各出力ポー
トが出力アダプタ３２に接続されている。クロスポイン
ト交換機３４は、入力アダプタ３２に接続された４本の
水平線３６を有する。水平線３６と垂直線３８の各交点
にクロスポイントがあり、当該の水平線３６とある垂直
線３８の間の接続を行なうために個別に選択できる。ク
ロスポイント制御装置４０は、各水平線３６と連携して
その水平線３６のクロスポイントを制御する。この構成
が水平に区分されているのは、制御装置は出力ポートで
はなく入力ポートと関連付けられているからである。各
クロスポイント制御装置４０自体は関連する入力アダプ
タ３０によって制御される。

クロスポイント交換機３４は、主としてデータの選択的
伝送に使用され、それとは別になったデルタ型ネットワ
ーク４２が主として入力アダプタ３０と出力アダプタ３
２の間での制御情報の選択的伝送に使用される。Ｎが４
の場合、それぞれ２つの交換機を持つ段が２つある２ｘ
２交換機４４が必要である。このデルタ型ネットワーク
は、各交換機４４がそれ自体の緩衝動作を有し、アダプ
タ３０と３２も緩衝動作を必要とするので、第５図のそ
れとは異なっている。クロスポイント交換機３４を制御
する際の基本的問題は、望みの水平線３６と垂直線３８
が利用できるかどうかを確認することである。水平に区
分されたクロスポイント交換機の制御装置４０は、その
関連する水平線３６が利用可能であるかどうかを容易に
判定できるけれども、望みの垂直線３８が利用できるか
どうか、または他の制御装置４０が異なるクロスポイン
トを望みの垂直線３８に接続したかどうかを知るのは、
制御装置４０にとってより難しい。デルタ型ネットワー
ク４２はこの情報を得るための手段をもたらす。

入力アダプタ３０は、指定された出力ポートｌ０−１３
に接続することを求める要求をその入力ポートｌ０−Ｉ
３から受け取ると、デルタ型ネットワーク４２を介して
指定された出力アダプタ４２にこの要求を送る。アダプ
タ３２は、それに関連する垂直線３８の使用記録を取る
。入力アダプタ３０が出力アダプタ３２に送信する要求
は、制御メツセージ５Ｃ１ｊの形をとる。ただし、ｌは
入力アダプタ３０の番号、ｊは出力アダプタ３２の番号
である。出力アダプタ３２から入力アダプタ３０に戻さ
れる制御メツセージ５Ｒｉｊは、入力アダプタが出力ア
ダプタに対してメツセージの送信を開始する時間に関す
る情報を供給する。その時間がくると、入力アダプタ３
０はその関連する制御装置４０に、クロスポイント交換
機３４のクロスポイント接続（ｉｊ）を行なうよう指令
し、次いでそのメツセージを送り始める。同時に、出力
アダプタ３２は、予約待ち行列の上位メンバによって１
旨定されるメツセージを受け取る準備をする。

米国特許第４７５２７７７号に記載されたシステムでの
クロスバ−交換機の使用は、クロスバ−がこの技術のフ
ァンアウト特性とハードウェアの複雑さが２乗で成長す
ることによって制限されるという欠点がある。Ｎが１０
００より大きい場合には、現在の技術ではクロスバ−交
換機が利用できない。一方、多段ネットワークは、デー
タ伝送がｌｏｇｋＮ個の連続ネットワーク段を通過しな
ければならないように構成されている。ネットワーク段
は、クロスバ−交換機のバス相互接続とは異なり、２地
点間相互接続によって接続されており、したがって、こ
の技術のファンアウト特性によって拘束されない。しか
し、多段ネットワークの性能は、他の２つの要素、すな
わち段間のデータ転送遅延と各段での競合解決遅延によ
って制限される。

オフチップ・データ経路の伝送速度はオンチップ経路の
それよりかなり小さい（通常１桁程度小さい）ので、段
間のデータ転送遅延が重要である。

これは主として、伝送線のキャパシタンス及びチップ・
パッケージの同時オフチップ・ドライバ（ＯＣＤ）切替
え制限による。多段ネットワークは、段数が多いので、
クロスバ−交換機よりもこれらの遅延によって大きな影
響を受ける。第６図のタイミング図はこの点を示す。

競合の解決が必要なために多段ネットワークの各段で導
入される遅延が、段間伝送遅延を増大する可能性がある
。通常の多段ネットワークでは、まず次の段を識別する
メツセージ・ヘッダの１つまたは複数のビットの検査を
し、次にその段をテストしてそれがメツセージを受信す
るのに利用できる（すなわち、阻止されていない）かど
うかを判定することによって、メツセージがある段から
次の段に経路指定される。受信段が送信段とは異なるチ
ップ上にある場合、競合解決テストで、もちろんネット
ワーク転送遅延に加えて２チツプ交差が必要になること
がある。このチップ交差は、単一チップ上に複数の段を
統合することにより最小になる。チップ上の段の数は、
段のハードウェアの複雑さに応じて変わる。

記憶後転送機能（ｓｔｏｒｅ−ａｎｄ−ｆｏｒｗａｒｄ
ｃａｐａｂｉｌｉｔｙ）のない多段ネットワークでは、
チップ入出力ピンの数と当該技術のレイアウト規則によ
ってそれが可能なら、複数の段が単一チップ上に統合で
きる。こうしたネットワークでは、次の段が阻止されて
いる場合、そのメツセージは捨てられ、再送信を開始す
るための信号が送信元に送られる。通常はそうであるが
、ネットワークが非閉塞性設計である場合、再試行の結
果として、見かけの通信量が局所的に大幅に増加して、
かなりの性能低下をもたらすことがある。

他方、緩衝動作を備えた多段ネットワークでは、全体的
なネットワーク閉塞率は低下するが、複雑さが犠牲にな
って、チップ当りの段数が制限され、そのためチップ交
差の数が増加する。記憶動作と、記憶後転送機能のない
場合よりも複雑な競合解決のために追加の遅延が生じる
。

本発明によると、多段ネットワークの階層が提供される
。その高速経路は、緩衝動作がなく少数の段しか含まな
いネットワークによって提供される。この交換ネットワ
ークの基本形式を、第１図に示す。現在の技術を用いる
と、に＝８４であり、Ｎ＝２０００ノードのネットワー
クが２つの段だけで構成できることを意味する。したが
って、ネットワークの第１の経路すなわち高速経路５０
は、図では２つの段５１と５２を含んでいる。各段は６
４個の入力ボートと６４個の出力ボートをもつ複数のチ
ップから構成される。

メツセージは以下のようにして高速経路中を伝播する。

アドレス・フィールドの最初の６ビツトは、適切な第２
段を選択するため第１段で使用される。第２段への接続
が利用できる場合、すなわち、阻止されていない場合、
６つのアドレス・ビットを外されたメツセージが、第２
段に伝播する。

他方、第２の段が阻止されている場合は、メツセージ伝
播は停止され、否定応答が送信元に送られて、階層の第
２レベル５３を介するメツセージの再伝送を開始する。

この第２レベルは、たとえば、記憶後転送式複数経路ネ
ットワークの１６の段を含み、各段は４個の入力ボート
と４個の出力ボートを持つ複数のチップから構成される
。第２レベルのネットワークが記憶後転送機能をもつた
め、待ち時間がより長いにも関わらず、第ルベルで阻止
されたメツセージの配送が保証される。

第２図は、レベル５０と５３の間に中間レベル６０が追
加された、本発明の実施態様を示す。この中間レベルの
目的は、低レベル（すなわち、保証された配送）に代わ
るより短い待ち時間をもたらすことである。それは、第
ルベルと同じネットワークまたはより安価でより遅いレ
ベルの技術で単に実施されたネットワークを含むことが
できる。あるいは、より多数の段を持つデルタ型ネット
ワークでもよい。最後に、記憶後転送緩衝動作を備えた
次のレベル５３は、すべてのトラフィック条件のもとで
宛先へのメツセージの配送を保証する。緩衝ネットワー
クは、上記の米国特許第４７５２７７７におけるような
取出し及び追加などの動作の組合せを組み込むことがで
きることに留意されたい。

以上、本発明を好ましい実施例に関して説明してきたが
、当業者なら理解できるように、頭記の特許請求の範囲
の精神及び範囲内で修正を加えて本発明を実施すること
ができる。たとえば、階層ネットワーク中のレベル数は
２．３またはそれ以上でもよい。さらに、利用可能な技
術に応じて、複数経路ネットワークのチップ当りの入出
力ボートの数を、現在の６４より大きくすることもでき
る。

Ｆ０発明の効果 本発明によれば、メツセージ伝送の確実性の保証の下で
、全体としてみればメツセージ伝送に伴う遅延を減らす
ことができる。

【図面の簡単な説明】

第１図は、本発明による基本的、２レベル階層多段ネッ
トワークを示す構成図である。 第２図は、第１図の基本ネットワークをどのようにして
３以上のレベルに拡大できるかを示す構成図である。 第３図は、複数ボート交換システムの一般化した例を示
す構成図である。 第４図は、階層ネットワークの１つの構成要素としての
デルタ型ネットワークを示す構成図である。 第５図は、クロスポイント交換機とデルタ型ネットワー
クの特徴を利用した通信ネットワークの構成図である。 第６図は、クロスバ−交換機の遅延を多段ネットワーク
と対比して示す相対的タイミング図である。 １０・・・・プロセッサ、１２・・・・メモリ・システ
ム、１４．１６・・・・入出力経路、１８・・・・交換
ネットワーク。 段 段 段 段 第４図 殴３ 段 第３図 第４図

Claims (2)

【特許請求の範囲】
1. （１）複数の送信元と複数の宛先を選択的に相互接続す
   るための複数経路ネットワーク通信システムにおいて、 少なくとも２つの段から構成され、送信元を宛先に接続
   する高速経路となる、緩衝動作のない第１の複数経路ネ
   ットワーク、及び 複数の段を含み、上記の高速経路での送信元と宛先の接
   続が阻止されている場合に送信元を宛先に接続する代替
   低速経路となる、緩衝動作を備えた第２の複数経路ネッ
   トワークを含むことを特徴とする、 ネットワーク通信システム。
2. （２）ネットワーク通信システムにおける複数の送信元
   と複数の宛先を選択的に相互接続する方法において、 少なくとも２つの段から構成され、送信元を宛先に接続
   する高速経路となる、緩衝動作のない第１の複数経路ネ
   ットワークと、複数の段を含み、上記の高速経路で送信
   元と宛先の接続が阻止されている場合に送信元を宛先に
   接続する代替低速経路となる、緩衝動作を備えた第２の
   複数経路ネットワークとを設けておき、 上記第１ネットワーク内の後続段に対する適切な接続を
   選択するため、上記の各段で送信元からのメッセージの
   アドレス・フィールドを検査し、その接続が利用可能な
   場合はメッセージを後続段に伝播し、後続段が阻止され
   ている場合はメッセージの伝播を停止して、送信元に否
   定応答を戻し、送信元で否定応答を受け取ったとき、上
   記第２のネットワークを介するメッセージの再伝送を開
   始することを特徴とする 方法。