JPH02128268A - ネツトワークでのメツセージのコンバイニング及びデコンバイニング方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 Ａ、産業上の利用分野 本発明はデータ・プロセッサ、ストレージ・システムに
関し、詳しくは複数のプロセッサ及び複数の個々のメモ
リ・モジュールを有する大型マルチプロセッサ・コンピ
ュータ・システムで用いるそのようなストレージ・シス
テムの制御に関する。

さらに詳しくは、そのようなシステムにおける個々のプ
ロセッサとメモリ・モジュールの間のデータ・フローを
インプリメントし制御するインターコネクション（相互
接続）・ネットワークのアーキテクチャに関する。

Ｂ、従来技術及びその問題点 Ｂ１．概要 最近の研究（下記文献１．４）によれば、大規模並列コ
ンピュータはパフォーマンス・クリップリング（ｃｒｉ
ｐｐｌｉｎｇ）という欠陥に直面しがちであることがわ
かった。メモリ参照のかなりの部分が１つのメモリ・ア
ドレスにアドレスされるなら。

全システムのパフォーマンスはその１つのメモリのキャ
パシティによって制限される。そのメモリに対するアク
セスが後で第２図に即して詳しく説明するマルチステー
ジ・インターコネクション・ネットワーク（Ｍ　Ｉ　Ｎ
）を介して行われるなら、ツリー・プロッヶージ（ｔｒ
ｅｅ　ｂｌｏｃｋａｇｅ）として知られる現象が競合に
拍車をかけ、当該システムのすべてのユーザにとって相
当な遅延をもたらすことになる。

この問題の解決策の１つがコンバイニング（併合操作実
行。以下単に併合とも言う）ＭＩＮである。コンバイニ
ング・ネットワークはメモリの″ホット・スポット″′
１の参照を、メモリへ至る途中で併合し、もってホット
・スポットへの競合を削減する。コンバイニング（併合
）とデコンバイニング（併合解除。単に分離とも言う）
のグラフィカルな例が第６図に示されている。このコン
バイニングはネットワークのどのステージのどのスイッ
チでも実行され得る０分割を、正確に行うために、メモ
リからの返答は、メツセージの併合が行われたスイッチ
に行われなければならない。メツセージの分割がその他
のスイッチで行われようとする場合には、エラーのレポ
ートが行われるべきである。システムの適切なパフォー
マンスのためには、誤った分割を避けなければならない
。後でわかるように、併合したパケットをさらに併合す
ることも可能である。実際、併合ネットワークスイッチ
が同一アドレスについての３つ以上のパケットを併合で
きるように設計することができる。

ホット・スポットに起因するパフォーマンスの低下を避
けるために、併合ネットワークが提唱され、ＲＰ３実験
コンピュータ用に設計されている（下記文献１）ＲＰ３
併合ネットワークのデザインにおいては、“コンバイン
された”メツセージの各々に対して、それがコンバイン
されたステージの番号のタグが付される。このようなタ
ギング（ｔａｇｇｉｎｇ）は、コンバイニングを行うス
イッチによって行われる。メモリからの返答メツセージ
にもまたこのステージ番号（つまり、リクエスト・メツ
セージ中のステージ番号）のタグが付される。

これはメモリによって実行される。メツセージを正しい
ステージで分割するために、各スイッチは、まず自身の
ステージ番号を返答メツセージのタグと比較する。両者
がマツチするならば、当該スイッチはメツセージを分割
し、そうでなければ当該メツセージを行のステージヘル
ートするだけである。当該ネットワークの用いるルーテ
ィング（経路指定）方法により、（当該ネットワークが
フォールト・フリーであるならば、）メモリ行き、及び
メモリ発のメツセージが該ネットワークの同じスイッチ
を通過することが保証されるものとする。

ＲＰ３の用いるルーティング、スキームはこのことを保
証する。

例えば、第６図では、２つのメツセージがステージ２の
スイッチ６０９で併合される。したがって、スイッチ６
０９は、生まれた併合済メツセージに“ＴＡＧ＝２”な
るタグを付する。メモリ６１３はこのタグを返答メツセ
ージに付する。この返答メツセージはネットワークのス
テージ３，２．１にあルスイッチ６１１．６０９．６０
６、及び６０５をそれぞれ通過する。しかし、ステージ
２にあるスイッチ６０９だけがメツセージをデコンバイ
ンする。なぜなら、そのステージ番号が返答メツセージ
のタグ（つまりＴＡＧ＝２）とマツチするからである。

したがって、デコンバイニングはコンバイニングを行っ
たスイッチによってなされなければらならい。

このスキームは、コンバイニング・ネットワークに障害
（フォールト）が存在しないときはうまく働く。しかし
、この方法は、次のような障害の生じる可能性があると
きにはうまく作用しない。

（１）メツセージがデコンバインされる前に、コンバイ
ンされたメツセージまたは返答メツセージのタグ・フィ
ールドが改ざんされる。

（２）メツセージがデコンバインされる前に、ネットワ
ークの何れかのステージで、メツセージが誤ってルート
される（振り向けられる）。

第１のケースでは、改ざん後のタグとマツチするステー
ジでメツセージがデコンバインされるので、誤ったデコ
ンバイニングが生じる。このステージはメツセージがコ
ンバインされたステージではないのである。

第２のケースでは、正しいステージにあるけれどもメツ
セージのコンバイニングは行わなかったスイッチにおい
て、誤ったデコンバイニングが行われる。

例えば、第６図では、エラーによりスイッチ６１１が返
答メツセージをスイッチ６１５にルートすると、スイッ
チ６１５は誤ってこのメツセージをデコンバインするこ
とがある。結果生じたメツセージは、スイッチ６１８と
６１９、そしてそれにつながるＰＥ６２２と６２３に誤
ってルートされる。

エラー検出コード及び回路を用いるならば、改ざんによ
るエラーは検出可能である。例えば、コンバイニング・
ネットワークにおいて、１バイトのメツセージ中に１個
（または奇数個）のビット・エラーがあり得るだけなら
、バイトごとのパリティを用いることができる（例えば
、ＲＰ３コンバイニング・ネットワーク）、エラーを検
出するために、このネットワークのスイッチにはパリテ
ィ生成及びチエツク・ロジックが必要となる。ここで唯
一注意すべきことは、メツセージがネットワークの中を
ルートされていくときに、スイッチのパリティ生成回路
はエラーをマスクしてはならないことである。すなわち
、１バイトを誤った状態で受は取ったなら、当該スイッ
チはエラーを表わすパリティ・セットとともにそのバイ
トを送信しなければならない、これをしないと、エラー
のマスキングが誤ったデコンバイニングを引き起こすこ
とがある、不正確なルーティングゆえのエラーは、ルー
ティング・タグが誤っている場合、またはスイッチの制
御回路が故障している場合に起こり得る。ルーティング
・タグ・エラーに起因するルーティング・エラーは、エ
ラー検出コードを用いるならば、やはりそれによって検
出可能である。

しかし、制御回路エラーに起因する不正確ルーティング
・エラーは、エラー検出コードによっては検出できない
、なぜなら、該コードはスイッチの制御回路中のエラー
を検出するものではないからである。該コードはデータ
中のエラーを検出するだけである。それゆえ、−時的で
あれ永続的であれスイッチのルーティング制御回路が故
障すると、メツセージはそのデータ・ワードが無傷のま
ま誤ってルートされることがある。そのような場合、エ
ラーがネットワークによって検出されることはなく、メ
ツセージは誤ってデコンバインされることになる。以上
及び以下の本発明の説明において、エラー検出コードは
すべての起り得るルーティング・タグ・エラーを検出で
きると仮定する。もしそうでないなら、不正確なルーテ
ィングは時々生じ得る０例えば、ＲＰ３コンバイニング
・ネットワークでは、メツセージの１バイトに対して１
ビツトの奇数パリティが割り当てられる。したがって、
メツセージ中のすべての単一（または奇数）ビット・エ
ラーは検出可能である。しかし、ダブルの（または偶数
）ビット・エラーは検出できない、ルーティング・タグ
にダブルの（または偶数）ビット・エラーがあれば、メ
ツセージが不正確にルートされしかもそのエラーがスイ
ッチによって検出されないという事態が起こり得る。

したがって、ＲＰ３コンバイニング・ネットワーク・ス
イッチ・デザインでは、メツセージの不正確なルーティ
ングゆえの誤ったデコンバイニングを検出し回避できる
とは限らないことは明らかである。かかるエラーは不正
確な計算の原因となるので、検出し回避することが重要
である。さらに、ユーザー・アプリケーションとオペレ
ーティング・システムの両方についてコンバイニング・
ネットワーク（例えばＲＰ３）の使用が期待されるので
、かかるエラーの検出・回避は重要である。

誤ったデコンバイニングは、オペレーティング・システ
ムとマルチ・ユーザー並列プロセッサ・システムに対し
てクリップリング効果を及ぼしかねない。

Ｂ２．文献 以下の４つの文文献は、先に触れた大規模な共用メモリ
を持つＲＰ３として知られる実験的な高速マルチプロセ
ッサの属性を概説している。これらはすべてＰｒｏｃｅ
ｅｄｉｎｇｓ　ｏｆ　１９８５　Ｉｎｔｅｒｎａｔｉｏ
ｎａｌＣｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｐａｒａｌｌｅｌ
　Ｐｒｏｃｅｓｓｉｎｇ、　１９８５年８月２０日〜２
３日にて発表された論文である。

１　、　Ｐｆｉｓｔｅｒ、Ｇ、Ｆ、；Ｂｒａｎｔｌｅｙ
、Ｗ、ｃ、；Ｇｅｏｒｇｅ、Ｄ、Ａ、。

；）ｌａｒｖｅｙ　、ｓ　、　Ｌ、　；Ｋｌｅｉｎｆｅ
ｌｄｅｒ　、　Ｗ　、Ｊ　、　；ＭｃＡｕｌｉｆｆｅ、
　Ｋ　、Ｐ、　；Ｍｅｌｔｏｎ、Ｅ、Ａ、；Ｎｏｒｔｏ
ｎ、Ｖ、Ａ、；ａｎｄ　Ｗｅｉｓｓ、Ｊ、　”Ｔｈｅ　
ＩＢＭ　Ｒｅ５ｅａｒｃｈ　Ｐａｒａｌｌｅｌ　Ｐｒｏ
ｃｅｓｓｏｒ　Ｐｒｏｔｏｔｙｐｅ（ＰＨ１）：Ｉｎｔ
ｒｏｄｕｃｔｉｏｎ　ａｎｄ　Ａｒｃｈｉｔｅｃｔｕｒ
ｅ；”　ｐｐ、７６４−７７１゜この論文は教育的なも
のであり、本発明が特に有用なマルチプロセッサ・シス
テムの全体を記述している。

２　、Ｎｏｒｔｏｎ、Ｖ、Ａ、Ａｎｄ　Ｐｆｉｓｔｅｒ
、Ｇ、Ｆ、”Ａ　Ｍｅｔｈｏｄｏｌｏｇｙ　ｆｏｒ　Ｐ
ｒｅｄｉｃｔｉｎｇ　Ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ　
Ｐｅｒｆｏｒｍａｎｃｅ、′″ｐｐ、７７２−７８１　
、この論文もまた教育的なものであり、所与のマルチプ
ロセッサ・パフォーマンスの予測を試みる方法を記述す
るとともに、全体的なシステム・パフォーマンスを大き
く低下させがねない様々なタイプのメモリ・プロッケー
ジ等を予測する際のいくつかの考慮すべき事柄を指摘し
ている。評価及びモニタについての一般的な概念は、本
発明の必要性を認識するのに助けとなることに注意され
たい。

３　、　ＭｃＡｕｌｉｆｆｅ、に、Ｐ、；Ｂｒａｎｔｌ
ｅｙ、ｖ、ｃ、；ａｎｄ　Ｗｅｉｓｓ。

Ｊ、”Ｔｈｅ　　ＲＰ３　　Ｐｒｏｃｅｓｓｏｒ／Ｍｅ
ｍｏｒｙ　　Ｅｌｅｍｅｎｔ、”ｐｐ、７８２−７８９
、この論文は、かかるシステムのメモリ・エレメントを
記載しており、全体的なメモリ・パフォーマンスに影響
するメモリ・デザインの考慮すベキ事柄のいくつかを概
説している。大型マルチプロセッサ・システムのメモリ
・デザインの背景情報をなすという点で、本発明に関連
する。

４　、　Ｐｆｉｓｔｅｒ、Ｇ、Ｆ、ａｎｄ　Ｎｏｒｔｏ
ｎ、Ｖ、Ａ、”Ｈｏｔ−３ｐｏｔ　Ｃｏｎｔｅｎｔｉｏ
ｎ　　ａｎｄ　　Ｃｏｍｂｉｎｉｎｇ　　ｉｎ　　Ｍｕ
ｌｔｉｓｔａｇｅ　　Ｉｎｔｅｒｃｏｎｎｅｃｔｉｏｎ
　Ｎｅｔｗｏｒｋｓ、”ｐｐ、７９０−７９７．この論
文は、ＲＰ３のような大型マルチプロセッサ・システム
の相互接続ネットワーク及び問題を論するとともに、少
なくともホット・スポット問題が緩和されるようにメモ
リ参照を選択的に送ることのできる。

２つの別個の相互接続ネットワークを使用することを提
唱している。

以下の４つの論文はパブリック・ドメインのものであり
、コンバイニング・ネットワーク及びコンバイニング・
ネットワーク・スイッチのデザインについて論じている
。本発明との関連性については、大まかなことを以下で
述べるとともに、詳しいことについては本明細書本文の
関連箇所で述べることにする。

５　　、　　Ｇｏｔｔｌｓｉｂ、、４．、ａｔ　　ａｌ
、”丁ｈｅ　　ＮＹＵ　Ｕｌｔｒａｃｏｍｐｕｔｅｒ　
−−Ｄｅｓｉｇｎｉｎｇ　ａ　ＭＩＭＤ、５ｈａｒｅｄ
　Ｍｅｍｏｒｙ　Ｐａｒａｌｌｅｌ　Ｍａｃｈｉｎｅ”
、ＩＥＥＥ　ＴＣ，１９８３年２月、　１７５−１８９
ページ、この論文は、ＮＹＵウルトラ・コンピュータに
ついての高水準の記述である。また、そのようなマルチ
プロセッサ・システムにおけるコンバイニング・ネット
ワークの用途についても概説している。

６　、５ｕｓａｎ　Ｄｉｃｋｅｙ、Ｒｉｃｈａｒｄ　Ｋ
ｅｎｎｅｒ、Ｍａｒｅ　５ｎｉｒａｎｄ　Ｊｏｈｎ　Ｓ
ｏｌｗｏｒｔｈ、“Ａ　ＶＬＳＩ　Ｃｏｍｂｉｎｉｎｇ
　Ｎｅｔｗｏｒｋｆｏｒ　ｔｈｅ　ＮＹＵ　Ｕｌｔｒａ
ｃｏｍｐｕｔｅｒ”、Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　
ｔｈａ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅ
ｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｄｅｓｉｇｎ、１９
８５．この論文は、（第５図のような）コンバイニング
・ネットワークのためのル−ティング・スキーム及びリ
ンク・プロトコールを論じている。

また、コンバイニング・スイッチのＶＬＳＩインプリメ
ンテーションも述べている。このＶＬＳＩインプリメン
テーションの記述は、スイッチとともに維持されねばな
らないタイプの情報及びフォワード・パス（ｐａｔｈ）
スイッチ、リバース・パス・スイッチ間で交換する情報
についても触れている。

７　、５ｕｓａｎ　Ｄｉｃｋｅｙ　ａｎｄ　Ｒｉｃｈａ
ｒｄ　Ｋｅｎｎｅｒ、”５ｐｅｃｉｆｉｃａｔｉｏｎ　
ｆｏｒ　ａ　Ｃｏｍｂｉｎｉｎｇ−３ｗｉｔｃｈ”、Ｎ
ｅｗ　Ｙｏｒｋ　Ｕｎｉｖｅｒｓｉｔｙ、Ｎｏｔｅ　ｏ
ｆ　Ｎｏｖｅｍｂａｒ　１８，１９８６．これは、ＮＹ
Ｕウルトラ・コンピュータ・プロジェクトから入手でき
るノートである。この論文は、コンバイニング・スイッ
チのデザインのためのメツセージ・フォーマット、サポ
ートされるコンバイン可能（併合可能）オペレーション
（操作）、及びデコンバイニング・スイッチを示すため
のパケット・フォーマットにおけるスイッチ・レベルの
使用について詳述している。本発明の実施例では、この
スイッチ・レベルのことをステージ番号と呼んでいる。

コンバインされたメツセージをデコンバインすべきスイ
ッチを表わすのにステージ番号（スイッチ・レベル）の
みを用いるこの文献のスキームに比べて、本発明は大き
く改善されている。

８　、　Ｙａｒｓｕｎ　Ｈｓｕ２ｗａｌｌｙ　Ｋｌｅｉ
ｎｆｅｌｄｅｒ　ａｎｄ　Ｃ，Ｊ、Ｔａｎ、”Ｄｅｓｉ
ｇｎ　ｏｆ　ａ　ＣｏＩｌｂｉｎｉｎｇ　Ｎｅｔｗｏｒ
ｋ　ｆｏｒ　ｔｈｅ　ＲＰ３　Ｐｒｏｊｅｃｔ”、１９
８７　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｓｙｍｐｏｓｉｕ
ｍ　ｏｎ　ＶＬＳＩ　Ｔｅｃｈｎｏｌｏｇｙ、（Ｓｙｓ
ｔｅ＋＊ｓ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎｓ）。

１９８７年５月１３日〜１５日。この論文は、コンバイ
ニング・ネットワーク・スイッチのためのデザインを論
じている。また、フォワード・パス及びリバース・パス
のコンバイニング・スイッチの構成、ネットワークで使
うルーティング・スキーム、（第５図のような）メツセ
ージ・フォーマットのフォーワード・パス・パケット及
びリバース・パス・パケット、並びにコンバイン可能オ
ペレーションについて述べている。

次に、技術内容が本発明に比較的近いと思われる米国特
許明細書を４件取り上げる。もっとも、これらが本発明
に過度に関連するものではないことは、後に続く説明か
ら明らかであろう。

まず、ＵＳＰ４０８１６１２は、デジタル・テレコミュ
ニケーション・ネットワークのスイッチング・ノードに
関連するルーティング・ワードから・なる、ルーティン
グ・アドレスのビルディング・アップ方法に関する。こ
の方法は、アドレス・フィールドをルーティング・パス
の各セグメントのアドレスと複合することによりルーテ
ィング・アドレスを生成することを提唱する。

この方法と本発見の大きな違いは次の２点である６（１
）本発明の適用領域はテレコミュニケーションではなく
て並列処理システム（計算システム）である、（２）本
発明はルーティング・アドレスの生成に向けられたもの
ではなくて、情報／計算システムにおいて使用できるコ
ンバイニング・ネットワークでの誤ったデコンバイニン
グを避ける方法に向けられたものである。

次に、ＵＳＰ４５６９０４１は、複合パケットを組み立
てルートすることのできる１回路／バケット８換ループ
・ネットワーク構築用のネットワークを開示する。本発
明はマルチステージ・インターコネクション・ネットワ
ークで用いる技術に関するものなので、このＵＳＰとは
大きく異なる。

また、本発明は回路交換式環境におけるパケットのルー
ティングを考慮するものでもない。

ＵＳＰ４５７７３１１は、各パケットがパケット・セン
ダー（送信者）・ステーションからパケット・レシーバ
−・ステーションへ至るルートに含まれる相次ぐスイッ
チング・ネットワークに割り当てられた一連のアドレス
をアドレス・フィールドに挿入されて具備するような、
パケット・ペースのテレコミュニケーション・システム
に関連する。このＵＳＰの技術内容と本発明の大きな違
いは次の２点である。（１）本発明の適用領域はテレコ
ミュニケーションではなくて並列処理システム（計算シ
ステム）である、（２）本発明はルーティング・アドレ
スの生成に向けられたものではなくて、情報／計算シス
テムにおいて使用できるコンバイニング・ネットワーク
での誤ったデコンバイニングを避ける方法に向けられた
ものである。

最後に、ＵＳＰ４１６８４００は、誤ったアドレス及び
データ・フィールドを持つパケットを削除するための、
チエツク用デバイス及び削除・スイッチング用デバイス
を開示する。この特許発明は、パケットのアドレス・フ
ィールド中のエラーを検出するためのエラー検出コード
とデータ・フィールド中のエラーを検出するための別の
エラー検出コードを使用する。これらのエラー検出コー
ドは、パケットがネットワークのノードからノードへと
転送される際に導入されやすいエラーを検出するのに役
立つ。ところで、本発明はパケットの転送中に導入され
たかもしれないこれらのフィールドのエラー中のエラー
を検出するにあたって、かかるエラー検出コードの使用
を妨げるものではない。しかし、これらのコードはデー
タ・バス回路（つまり、アドレス、データ、及びこれら
のエラー・コード・フィールドのビットを転送するのに
使われる回路及び回線）によって導入されるエラーの検
出にしか役立たないことに注意されたい。

上記コードは、ノードの制御回路によって生成されるエ
ラー（例えば、ノードがエラーなしでパケットを受信し
たにもかかわらず不正確にルーティングすること）を検
出することができない０本発明は、コンバイニング・ネ
ットワークにおけるこのような制御回路エラーの検出方
法を開示する。

かかる制御回路エラーの検出は、コンバイニング・ネッ
トワークを用いる計算システムの正確なオペレーション
にとって重要であり、従来のエラー検出／訂正を超越す
るものである。

参考までに、本発明の背景情報をなすその他のＵＳＰを
指摘しておく。

ＵＳＰ４４１３３１８、同４２０７６０９、同４３５２
６３、同４１５３９３２ Ｂ３．関連出願 １９８８年４月２６日に出願された、”Ａ　Ｈａｒｄｗ
ａｒｅ　Ｍｅｃｈａｎｉｓ＋＋＋　Ｆｏｒ　Ａｕｔｏａ
＋ａｔｉｃａｌｌｙ　Ｄｅｔｅｃｔｉｎｇ　１１ａｔ−
５ｐｏｔ　Ｒｅｆｅｒｅｎｃｅ　Ａｎｄ　Ｄｉｖｅｒｔ
ｉｎｇ　Ｓａｍｅ　Ｆｒｏｍ　Ｍｅｍｏｒｙ　　Ｔｒａ
ｆｆｉｃ　　Ｉｎ　　Ａ　　Ｍｕｌｔｉｐｒｏｃｅｓｓ
　　ｏｒ　　Ｃｏｍｐｕｔｅｒ　　Ｓｙｓｔｅｍ”とい
うタイトルの米国特許出願シリアル・ナンバー０７／１
８６，３２７号明細書では、メモリ・プロッケージの削
減に役立つ代替法が開示されている。本発明におけるよ
うに単一のマルチステージ・インターコネクション・ネ
ットワークにおいてメツセージのコンバイニング及びデ
コンバイニングを行う代りに、上記特許出願では２つの
別々のネットワークを使用し、一方を少待ち時間（ｌｏ
ｗ　１ａｔｅｎｃｙ）用にするとともに、他方をハイ・
コンテンション・トラフィック処理用にし７、”ホット
・スポット”を検出されたメツセージを後者のネットワ
ークに転向するようにしている。

また、該システムは、メツセージ・ルーティング機能を
効率よく制御するために、ホット・スボットを動的に検
出し除去する手段を提供する。

Ｂ４．本発明の目的 本発明の主要な目的は、大規模共用メモリ・マルチプロ
セッシング・システムで使用する、改善されたマルチス
テージ・インターコネクション・ネットワーク・アーキ
テクチャを提供することにある。

本発明の別の目的は、“プロッケージ″を減らすことに
よりネットワーク効率を改善するアーキテクチャを提供
することにある。

本発明のさらに別の目的は、メツセージのコンバイン及
びデコンバイン能力を持つネットワークのリライアビリ
ティを改善するアーキテクチャを提供することにある。

本発明のさらに別の目的は、コンバイニング／デコンバ
イニング・フィーチャーと協同して、メツセージの誤っ
た“デコンバイン”を検出し回避するインターコネクシ
ョン・ネットワークを提供することにある。

本発明のさらに別の目的は、ネットワーク中のエラー検
出回路とともにメツセージ・ヘッダー中の付加データを
利用して、スイッチング・ネットワークでの誤ったメツ
セージ・デコンバイニング（併合解除。分解とも呼ぶ）
を検出・回避するネットワーク・アーキテクチャを提供
することにある。

Ｃ０問題点を解決するための手段 上記目的は、マルチステージ・インターコネクション・
ネットワークでのメツセージ・コンバイニング／デコン
バイニング処理のための改善された方法において、ネッ
トワーク内の各スイッチに対してユニーク識別番号（Ｉ
　Ｄ）を割り当て、特定のスイッチ・ノードでメツセー
ジのコンバイニングが必要となる度に当該コンバイニン
グ・スイッチ・ノードのユニークなＩＤをメツセージ・
ヘッダーに附することによって達成される。メモリ等の
宛先ソースがこのメツセージへの応答を生成するとき、
メモリはこのＩＤを応答メツセージのヘッダーにコピー
する。該メツセージがメモリ・エレメントによってイン
ターコネクション・ネットワークへとデコンバイニング
の可能性を持って戻されると、ヘッダー中のＩＤと各受
信スイッチ・ノードのＩＤとの比較が行われる。ＩＤが
一致するなら、当該スイッチにてデコンバイニングが実
行される。ＩＤが一致しないときは、当該スイッチによ
りデコンバイニングは実行されない。このようにして、
誤ったデコンバイニングは回避される。プロセッサがコ
ンバイニング・ネットワークから受は取るメツセージの
中に非ゼロＩＤ（つまり、非ＮＯＣＩＤ）が見つかると
、エラーが検出される。あるプロセッサに非ゼロよりが
届くということは、デコンバイニングが実行されなかっ
たことを表わす、これはエラーである。

本発明の第１の側面によれば、システムにおいてシング
ルのユニークなＩＤが用いられて、誤ったデコンバイニ
ングの試行を明瞭に指摘する。本発明のより具体的な実
施例では、ヘッダーにおいて個々のスイッチのＩＤがス
イッチ・レベルのＩＤと連結され、エラー検出時にシス
テムに対してより多くの情報を提供するという意味にお
いて、後でシステム・コントロールが診断のために使え
るより精緻な形でエラー検出を行う。この第２の例では
、コンバイニング・スイッチがエラーを検出して回復策
（ｒｅｍｅｄｉａｌ　ａｃｔｉｏｎ）を講じることが可
能になる。これに対し、第１の例では、プロセッサだけ
がエラーを検出して適当な行動をとることができる。

Ｄ、実施例 Ｄｉ、概要 本発明の教示にしたがって誤ったデコンバイニングを防
止するための、２つの密接に関連した方法が開示される
。まずいくつかの全体的な仮定及び本発明の高水準の概
略について述べ、続いて上記２つの方法の具体的な説明
を行うことにする。

ここでは、コンバイニング・ネットワークのスイッチが
メツセージをデコンバインしつつ、エラーが検出された
ことをホスト・システムに知らせることのできる方法が
存在すると仮定する。用いられる正確な方法は本発明の
要旨に関係しない。

１つのやり方は、エラー表示ビット／フィールドがある
と仮定して、そのようなビット／フィールドをセットし
ておくことである。そうしておくと、プロセッサは、受
信したデコンバインされたすべてのメツセージの該ビッ
ト／フィールドをテストすることができる。もし当該ビ
ット／フィールドがセットされているなら、プロセッサ
は必要な行動（リトライ、割込など）を開始することが
できる。なお、メツセージ・ワード中のエラーを検出す
めためにエラー検出コード及び適当なエラー検出ハード
ウェアが使われるものと仮定する。

第１の方法によれば、コンバイニング・ネットワークの
各スイッチに対してユニークな識別番号（ＩＤ）が割り
当てられる。このＩＤは、ネットワークのその他のスイ
ッチに対してユニークなものである０例えば、コンバイ
ニング・ネットワークに１２個のスイッチがある場合、
これらのスイッチに１から２までの番号を割り当てるこ
とができる（第１１図参照）０番号Ｏは、コンバイニン
グが起こらなかったことを表わすために取っておくこと
ができる。もちろん、ネットワーク初期設定時に各スイ
ッチに対してＩＤを知らせる必要がある。スイッチがメ
ツセージをコンバインする度に、生じたコンバイン後の
メツセージには当該スイッチのＩＤのタグが付される。

もちろんコンバインされたメツセージには、このＩＤを
書き込むことのできるフィールドが与えられていなけれ
ばならない、メモリは、コンバインされたメツセージに
サービスするとき、返答メツセージにこれと同一のＩＤ
のタグを付する。この返答メツセージがルート・バック
されるとき、各々のスイッチは自分のＩＤをメツセージ
中のＩＤと比較する。これらのＩＤが一致する場合にの
み、スイッチはメツセージをデコンバインする。一致し
ない場合、メツセージは後続のステージへとルート・バ
ックされる。このように、各スイッチがユニークなＩＤ
を持つが故に、誤ったデコンバインが生じ得ないことは
明らかである。

上述の方法は誤ったデコンバインの発生を回避するだけ
である。エラーの検出は行わない。なぜなら、この方法
では、メツセージが当該スイッチに着く前に他のスイッ
チでデコンバインされるべきであったか否かを当該スイ
ッチが伝えることができないからである。このようなエ
ラーを検出するためには、第２の方法が使える。

第２の方法では、スイッチのＩＤは、２つのフィールド
１２１３．１２１４を連結することにより形成されてい
る（第１２図参照）、第１フイールド１２１３は当該ス
イッチの存するステージを表わす一方、第２フィールド
１２１４は当該ステージ内での当該スイッチのユニーク
な番号（つまり、行番号）を与える。例えば、ネットワ
ーク内にスイッチのステージが“Ｌ”個あり、そして１
ステージにつき“Ｎ”個のスイッチがあるとする。

このとき、各ステージに対して１から“Ｌ”までのユニ
ークな番号を割り当てるとともに、１つのステージの各
スイッチに対して１から“Ｎ”までのユニークな番号を
割り当てることができる。ステージ番号Ｏとスイッチ番
号Ｏは、メツセージがコンバインされなかったこと（Ｎ
ＯＣ）を表わすために使うことができる。スイッチＩＤ
は、これら２つの番号のビット表現を連結することによ
って形成される。

第２の方法を用いる場合、スイッチのＩＤとメツセージ
のＩＤが一致するときにのみ、当該スイッチはメツセー
ジをデコンバインする。すなわち。

両方のＩＤの両方のフィールドが一致しなければならな
い、もしどちらかのフィールドが一致しないならば、メ
ツセージはデコンバインされずに後続のステージへとル
ートされる。しかし、ステージ番号フィールドは一致す
るのにスイッチ番号フィールドは一致しないなら、エラ
ーのフラグが立てられる。なぜなら、このような不一致
は、返答メツセージが正しいステージにはあるものの誤
ったスイッチにあることを表わすからである。こういっ
たコンバイニング・ネットワークでは１つのステージの
スイッチ同士の間のインターコネクションを持たないの
で、当該メツセージはデコンバインされ得ない、したが
って、不正確ルーティング・エラーが生じたことになる
。このように、このＩＤナンバリング・スキームによれ
ば、誤ったスイッチでのデコンバイニングが避けられる
だけでなく、当該スイッチにてそのエラーが検出される
ことがわかるであろう。

ここで、上記指針に従う限り、デザイナ−はスイッチへ
のＩＤ割当を自由に選択できることに注意されたい。ま
た、先に述べたように、このようなＩＤフィールド中の
エラーを検出するのにエラー検出コードを用いることが
できる。

Ｄ２．具体例 本発明の理解を容易にするために、並列プロセッサ・シ
ステムが３つの異なったエレメントを持つとする。プロ
セッサ・エレメント（ＰＥ）１０１、メモリ・エレメン
ト（ＭＥ）１０２、相互接続ネットワーク１０３がそれ
らである（第１図参照）６並列プロセッサ・システムは
、相互接続ネットワークによって相互に接続されたいく
つかのプロセッサとメモリ・エレメントからなる。かか
る相互接続のために１以上のネットワークを用いること
ができる。ネットワークを介して通信するために、ＰＥ
ｌ０Ｉはケーブル１０４を通じてネットワーク１０３ヘ
メツセージを送る。ネットワークはこのメツセージが所
望のＭＥに至る経路を指定する。ＭＥ１０２はこのメツ
セージをケーブル１０５から受は取って処理し、ケーブ
ル１０６を通じて返答メツセージを要求ネットワーク１
０３へ送る。ネットワークはこのメツセージを所望のＰ
Ｅへと経路指定（ルーティング）する。ＰＥはこのメツ
セージをケーブル１０７から受は取って処理する。ネッ
トワークはＰＥ間での通信にも使えることに注意された
い。

ＰＥ及びＭＥの詳細は本発明に関係しないので、ここで
は詳しい説明を省くことにする。かかるマルチ・プロセ
ッサ・システムの一般特性のより完全な説明を求めるな
らば、上記文献１．３を参照されたい。マルチステージ
・インターコネクション（相互接続）・ネットワーク（
ＭＩＮ）は並列処理システムにおいてきわめて頻繁に用
いられる。

ＭＩＮの概容の１例が、第２図に示されている。

第２図は、８×８サイズのＭＩＮであり、８個のＰＥを
８個のＭＥに接続する。異なるサイズのＭＩＮをデザイ
ンすることは容易である。ＭＩＮはいくつかの段階（ス
テージ）のスイッチ２０３を用いる。それらのスイッチ
は、指定された順に、２０４や２０５等のリンクによっ
て相互に接続されている。ＰＥ及びＭＥとＭＩＮとの間
のインター　７　ｘ−スｌ：！　２０１．２０２．２０
６．２０７等のリンクである。

ＭＩＮのリンク２０１．２０２．２０４．２０５．２０
６．２０７は、メツセージの通信に使われるバスである
。ＭＩＮのインプリメンテーションに応じて、これらの
リンクは１方向であることもあるし、双方向であること
もある。リンク及びリンクを介しての通信に用いられる
プロトコールの詳細は当業者に周知なので、ここでは述
べない。

リンク・プロトコールの１例は、上記文献６に記されて
いる。

ＭＩＮのスイッチ２０３の基本的な責任は、入力リンク
２０１．２０２を介して受は取るメツセージを出力リン
ク２０４．２０５へ経路指定することである。第３図の
例では、ＰＥ４からＭＥＯへ進むメツセージのとる経路
（パス）が示されている。ＰＥ４はリンク３０１を通じ
てメツセージをスイッチ３０２へ送る。スイッチ３０２
はこのメツセージをルートし、その出力リンク３０３を
通じてスイッチ３０４へ送る。スイッチ３０４はこのメ
ツセージをその出力リンク３０５を通じてスイッチ３０
６へルートする。スイッチ３０６はこのメツセージをリ
ンク３０７を通じてＭＥＯヘルートする。返答ＭＥＯか
らＰＥ４へ向けるために、同様の通信経路が作られる。

周知のことであるが、これらの通信経路はスイッチによ
ってメツセージごとに動的に作られることに注意された
い。

なお、各メツセージがスイッチを通じて送られた後、ス
イッチは経路を切断し、次のメツセージがもしあればそ
の処理にとりかかる。ＭＩＮは多くのメツセージの経路
を同時に指定することができる。第２図の例のＭＩＮで
は、２Ｘ２のサイズのスイッチ、つまり入力リンクと出
力リンクを２つずつ持つスイッチが使われている。ＭＩ
Ｈのために異なるサイズのスイッチを使うことも周知で
ある、スイッチの詳細は本発明と関係がない、適当なス
イッチの例は上記文献６．７．８を参照されたい。

リンク（２０１，２０２，２０４〜２０７）がリンクの
スイッチをつなぐやり方は、ＭＩＮのトポロジーと呼ば
れる。第２図はかかるトポロジーの１つを示す。その他
のトポロジーも使うことができる。ＭＩＮの特定のトポ
ロジーの詳細もまた発明とは関係がない。

メツセージのルーティングの他のメツセージ処理ができ
るようにＭＩＮのスイッチを設計することができる。そ
のような設計可能な処理機能の１つはコンバイニング（
併合）と呼ばれる。コンバイニングをサポートするＭＩ
Ｎネットワークはコンバイニング・ネットワークと呼ば
れる。以下でコンバイニング・ネットワークの１例を説
明する。

まず、コンバイニング機能の１例及びコンバイニング・
ネットワークでのコンバイニングの１例について説明す
る。次に、かかるネットワークの編成について説明する
。その後、コンバイニング・ネットワーク・スイッチの
編成について説明する。

コンバイニングを行う大きな理由は、上記文献１．４で
述べられているような、ＭＥが遭遇するメツセージ・ト
ラフィックを減らすことにある。

このメツセージ・トラフィックの削減は、ＭＥの同じア
ドレスへの同様のリクエストのグループについて１つの
リクエストを生成することによって達成される。例えば
、並列処理システムの複数のＰＥによってＭＥの同じア
ドレスについての２つのロード（ＬＤ）操作（オペレー
ション）がリクエストされる場合に、コンバイニング機
能を使ってシステムはＭＥホスティング・アドレスＡへ
のＬＤリクエストを１つだけ送る。（この結果、メモリ
に対する２つのＬＤリクエストが１つのＬＤリクエスト
に削減され、したがってこの場合にはＭＥへのトラフィ
ックが５０％削減されることに注意されたい。）ＭＥは
このリクエストを実行して返答メツセージを生成する。

この返答メツセージはシステムによってデコンバイン（
併合解除、分割）され、元来は複数ＰＥによってリクエ
ストされた２つのＬＤリクエストに対する返答メツセー
ジが生じる。生じた返答メツセージは複数ＰＨに送られ
る。この例ではコンバイニングを説明するのにロード・
メモリ・オペレージ１ンを用いたけれども、コンバイニ
ングは他の多くのタイプのメモリ・オペレーションにつ
いても実行できる。

いくつかのコンバイン（併合）可能なオペレーションが
、上記文献３．４，８にて提唱されている。

コンバイニング・ネットワークでは、かかるコンバイニ
ング・オペレーションがネットワークのスイッチによっ
て行われる。第６図は、どのようにして上述のコンバイ
ニング例がコンバイニング−ネットワークによって実行
されるかを示している。

第２図に示されるような２×２スイツチを使う８Ｘ８Ｍ
ＩＮがかかるネットワークの例として使われている。コ
ンバイニングは他のサイズのスイッチを俺ってインプリ
メントされる他のサイズのＭＩＮネットワークにおいて
もサポート可能である。

ここで説明するコンバイニング・ネットワーク例では、
ＰＥからＭＥへの通信バス（ｐａｔｈ）をフォワード・
バスと呼び、ＭＥからＰＥへの通信バスをリバース・バ
スと呼ぶ、第６図の例では、ＰＥ６０１．６０２がＬＤ
リクエスト（＜ＬＤＡ＞）を生成し、それらをリンク６
０３．６０４を通じてスイッチ６０５，６０６にそれぞ
れ送る。この例では、スイッチ６０５．６０６によって
コンバイン可能メツセージは検出されなかった。それ故
、スイッチ６０５，６０６はこれらのＬＤリクエスト・
メツセージをそれぞれリンク６０７，６０８を介してス
テージ２の所望（ｒｅｑｕｉｒｅｄ）スイッチ６０９へ
振り向けるだけである。ここで、これらのＬＤメツセー
ジは時間的にコンバインされるのに都合よくスイッチ６
０９に到着すると仮定しよう、コンバインされるために
メツセージが同時に到着する必要はない。スイッチ６０
９がこれらのメツセージが併合可能と検知するのでそれ
らを結合する。生じた単一のリクエスト、ＬＤメツセー
ジ（＜ＬＤＡ））は、リンク６１０を介して次のステー
ジのスイッチ６１１へ送られる。スイッチ６１１によっ
て併合可能なメツセージは検出されないので、スイッチ
６１１はＬＤメツセージをリンク６１２を通じて所望Ｍ
Ｅ６１３へ振り向ける。

ＭＥ６１３はそのメモリ中のロケーションＡからのＬＤ
オペレーションを実行する。このメモリ・ロケーション
には値５がストアされているので、この値が読み取られ
る。ＭＥ６１３は返答メツセージ（＜ＲＥＰＬＹ　　５
＞）を生成し、これをＪノンクロ１２を通じてスイッチ
６１１へ送る。

このシステムでエラーが生じなかったと仮定しよう。ス
イッチ６１１は、この返答メツセージについて自身がリ
クエスト・メツセージを結合したか否かをチエツクする
。スイッチ６１１はそのようなことをしていないので、
スイッチ６１１は返答メツセージの経路指定を行い、リ
ンク６１０を経てスイッチ６０９へ送るだけである。ス
イッチ６０９は自身が２つのメツセージを１つに結合し
たこと、及び受信した返答メツセージがその結果生じた
メツセージのためのものであることを認識する。したが
って、スイッチ６０９は返答メツセージを分割（デコン
バイン）する。すなわち、自身が結合したＬＤメツセー
ジに対する所望の返答メツセージを生成し、これら２つ
の返答メツセージをリンク６０７．６０８を介して送信
する６該メツセージはスイッチ６０５，６０６によって
それぞれ受信される。スイッチ６０５，６０６はこれら
の返答メツセージに関してリクエスト・メッセ二ジの結
合を行わなかったので、メツセージをそれぞれリンク６
０３．６０４を通じて所望のＰＥ６０１．６０２に振り
向けるだけである。

かかるシステムでエラーが起こってメツセージのルーテ
ィングに影響を与えることはあり得ることである。時に
はエラーによって誤った分割が行われる。例えば、第６
図において、スイッチ６１１が返答メツセージのルーテ
ィングを行っているときにそのルーティング・ロジック
にエラーが生じたと仮定する。その場合、スイッチが誤
ってリンク６１０ではなくてリンク６１４を介して返答
メツセージをルートする可能性がある。（このことは破
線で図示されている）。このとき、返答メツセージはス
イッチ６０９ではなくてスイッチ６１５によって受信さ
れる。公知の従来技術におけるのと同様に、スイッチが
返答メツセージを分割する必要の有無を識別するために
ステージ・ナンバーだけが使われるならば、スイッチ６
１５はこのメツセージを分割してしまう。なぜなら、フ
ォワード・パスにてメツセージを併合したのはスイッチ
６０９であり、そしてこのスイッチはステージ２にある
ので、併合されて生じたリクエスト・メツセージにはネ
ットワークの第２ステージで併合されたというタグがつ
けられているからである。

リバース・パスにおいてスイッチ６０９，６１５は両方
ともステージ２にあるので、誤って導がれたメツセージ
はスイッチ６１５によって誤って分割され得る。その結
果生じた返答メツセージはそれぞれリンク６１６．６１
７を経てスイッチ６１８．６１９へ送られる。スイッチ
６１８，６１９は、これらの返答メツセージを、それぞ
れリンク６２０．２２１を介してＰＥ６２２．６２３へ
向ける。

併合（コンバイニング）ネットワークは第４図に示され
るようにして論理的に編成されるＭＩＮネットワークで
ある。それは２つのＭＩＮ、つまりフォワード・ネット
ワーク４０２とリバース・ネットワーク４０５から成る
。ＰＥはネットワークの入力リンク４０１を通じてリク
エスト・メツセージをフォワード・ネットワーク４０２
へ送る。

フォワード・ネットワークは必要に応じてリクエスト・
メツセージを併合し、出力リンク４０３を通じてＭＥへ
と振り向ける。ＭＥは１′リクエスト１′メツセージに
よってリクエストされたオペレーションを実行し、“返
答（リプライ）”メツセージを生成する。しかる後、返
答はリバース・ネットワーク４０５ヘネツトワークの入
力リンク４０４を通じて送られる。リクエスト・メツセ
ージがフォワード・ネットワーク４０２によって併合さ
れていたならば、もちろん返答メツセージはリバース・
ネットワーク４０５によって分割されなければならない
。分割されてできたメツセージ、また（分割されなかっ
た場合の）単独返答メツセージはリバース・ネットワー
ク４０５の出力リンク４Ｏ６を通じて所望のＰＥへ届け
られる。

このような併合ネットワークの物理的編成は、インプリ
メンテーションに依存する。つまり、フォワード・ネッ
トワークとリバース・ネットワークを２つの別個のＭＩ
Ｎとして設計することが可能である。また、物理的に１
つのＭＩＮとして設計することも可能である。その場合
、ネットワークのスイッチはフォワード・ネットワーク
・オペレーションとリバース・ネットワーク・オペレー
ションをサポートし、リンクは双方向の通信をサポーと
する。どちらのインプリメンテーションでも、併合操作
（コンバイニング・オペレーション）のためには、リバ
ース・ネットワーク中のコンパニオン・スイッチと通信
するフォワード・ネットワーク中のスイッチが必要であ
る。同様に、リバース・ネットワークとフォワード・ネ
ットワークの間での通信も必要とされる。この通信はネ
ットワーク間リンク・セット４０７を介して行われる。

このフォワード・ネットワーク・スイッチとリバース・
ネットワーク・スイッチの間での通信は、必要な分割情
報をこれらのスイッチの間で通信するのに必要とされる
（上記文献６．７．８を参照）。

併合ネットワークでは、併合されたリクエスト・メツセ
ージ及びその返答メツセージがフォワード・ネットワー
ク及びリバース・ネットワーク中の同じ通信バスを通っ
て導かれることが必要となることに注意されたい、すな
わち、併合されたリクエスト・メツセージの返答メツセ
ージは、該リクエスト・メツセージが通ったフォワード
・ネットワーク中のスイッチのコンパニオンであるとこ
ろのリバース・ネットワークのスイッチを通って導かれ
なければならない。

併合ネットワーク・スイッチは論理的にフォワード・ス
イッチ５０４とコンパニオンのリバース・スイッチ５０
９からなる（第５図参照）。かかるスイッチング・ネッ
トワーク及びスイッチの一般的な説明は、上記文献６．
７．８にて行われている。フォワード・ネットワーク・
スイッチ５０４はＰＥによって生成されたリクエスト・
メツセージをその入力リンク５０１，５０２を通じて受
は取る。フォワード・スイッチ５０４は、メツセージが
併合可能か否かの判断とメツセージの併合を行う。メツ
セージが併合されたなら、フォワード・スイッチは分割
情報をそのコンパニオンのリバース・スイッチ５０９に
対してリンク５１３を通じて送る。コンパニオン・リバ
ース・スイッチ５０９がフォワード・スイッチ５０４に
対してフロー制御またはその他の制御情報を送ることも
可能である。この情報はリンク５１４を介して交換され
る。（リンク５１３．５１４は第４図のネットワーク間
リンク・セット４０７を構成することに注意されたい。

）併合が行われると、単一のリクエスト・メツセージが
フォワード・スイッチ５０４によって生成される。この
リクエスト・メツセージにはフォワード・スイッチのＩ
Ｄ５０３が添えられ（ｔａＨＨｅｄ）　、このメツセー
ジがどこで併合されたかを表示する。フォワード・スイ
ッチのＩＤ５０３は、リバース・スイッチのＩＤ５１０
と同じであることに注意されたい、フォワードスイッチ
５０４は、生じたリクエスト・メツセージを、次のステ
ージのスイッチへ、あるいはスイッチ５０４が最終スイ
ッチ・レベルにある（つまり、メモリに最も近い）なら
ばＭＥへ、その出力リンク５０５または５０６の１つを
介して振り向ける。

併合が行われないなら、フォワード・スイッチ５０４は
、リクエスト・メツセージにタグを付けない、フォワー
ド・スイッチ５０４は、リクエスト・メツセージを、次
のステージのスイッチまたはＭＥへ、その出力リンク５
０５または５０６の１つを通じて振り向けるだけである
。

リバース・ネットワーク・スイッチ５−０９は、ＭＥに
よって生成された返答メツセージをその入力リンク５０
７，５０８を通じて受は取る。リバース・スイッチ５０
９は、メツセージを分割すべきか否かの判断を行う、メ
ツセージのＩＤがリバース・スイッチのＩＤ５１０とマ
ツチするなら、メツセージは分割される。返答メツセー
ジが分割されると、リバース・スイッチ５０９は要求さ
れる返答メツセージ（複数）を生成し、それらを所望の
リンク５１１または５１２を通じて送信する。

返答メツセージが分割されないなら、リバース・スイッ
チは受は取った返答メツセージを所望の出力リンク５１
１または５１２を通じて送信する。

併合スイッチの物理的な編成はインプリメンテーション
に依存する。つまり、フォワード・スイッチ５０４とリ
バース・スイッチ５０９は別々のモジュール（チップま
たはカード）として設計してもよいし、１つのモジュー
ルとなるように設計してもよい。このようなスイッチの
これ以上の詳細は本発明に無関係であり、当業者にとっ
ては自明のことである（上記文献６．７．８）。

ＭＩＮによって振り向けられるメツセージは、第７図に
示されるようにして編成されている６１つ１つのメツセ
ージは、論理的にヘッダ一部７０１と情報部７０２とに
分けることができる。各部分のサイズやメツセージ自体
は本発明の要旨とは無関係である。このようなメツセー
ジの使用及び内容は周知のものである。

併合ネットワークのメツセージの構造が第７図に示され
る。このメツセージのヘッダ一部は以下のようなフィー
ルドに分かれる（第８図参照）。

ルーティング・フィールド　８０１　：このフィールド
は、フォワード・ネットワーク及びリバース・ネットワ
ークがリクエスト・メツセージ及び結果の返答メツセー
ジを振り向けるのに必要とされる情報をストアする。

ＩＤフィールド　８０２　：メッセージが併合されると
、リクエスト・メツセージ中のこのフィールドは、フォ
ワード・スイッチ５０４（第５図参照）によってそのＩ
Ｄ５０３に初期設定される。

エラー・フィールド　８０３　：このフィールドは、フ
ォワード・スイッチ５０４、ＭＥ、及びリバース・スイ
ッチ５０９によって、それらがメツセージを受は取った
り処理したりする際に、いつでもエラーが検出されると
セットされる。

その　のフィールド　８０４　：このフィールドは、使
用する併合ネットワークの設計によって必要とされ得る
その他の情報をストアするのに用いられる。このフィー
ルドの詳細及び使用は、本発明の要旨と関係しない。併
合ネットワークのフォワードスイッチ５０４（第５図）
のオペレーションの概要が第９図に示されている０本発
明に関係する制御情報だけが同図に示されていることに
注意されたい、リクエスト・メツセージはフォワード・
スイッチ５０４によって受信される（ブロック９０１）
、受信したリクエスト・メツセージについて、他のメツ
セージとの併合可能性がチエツクされる（ブロック９０
２）。他のメツセージは、スイッチ５０４の中でバッフ
ァされているものでもよいし、他の入力リンクで受信し
たものであってもよい、メツセージが併合可能ならば（
９０３）、併合が実行される（ブロック９０５）。

メツセージが併合可能でないならば（９０４）、メツセ
ージを通すスイッチの出力リンクが決定される（ブロッ
ク９０７）、メツセージがブロック９０５で併合される
と、メツセージのＩＤフィールド８０２（第８図）は、
フォワード・スイッチ５０４のＩＤ５０３に初期設定さ
れる（ブロック９０６）。リクエスト・メツセージを向
ける（ルートする）ために、メツセージが向けられるべ
き。

必要な出力リンクが、メツセージ・ヘッダー（第８図）
のルーティング・フィールドを使って決定される（ブロ
ック９０７）、次に、決定された出力リンクについて、
それがフリーか否かのチエツクが行われる（ブロック９
０８）。当該出力リンクがフリーならば（９０９）、つ
まり、それが他のメツセージを送るのに使われていない
ならば、当該メツセージは当該出力リンクを介して送信
される。もし当該出力リンクがビジーであって他のメツ
セージを送るのに使用中だと表示されているならば（９
１０）、当該メツセージは送信されない。この場合、ス
イッチは次のスイッチ・サイクル（つまり、メツセージ
転送時間）を待って（ブロック９１１）、当該メツセー
ジの送信を再度試みる（ブロック９０８）。

当業者なら理解できることだが、かかる併合ネットワー
クは、各併合されたメツセージについての多量の内部情
報を各スイッチにてストアしなければならない。したが
って、スイッチで併合されたメツセージのセットごとに
、そこにデータ・セットをストアしなければならないこ
とになる。通常このようなデータは少なくとも併合され
たパケットのルーティング情報を含む、その結果、併合
されたメツセージがメモリから戻ったときに分割するこ
とが可能になり、各部分は適当なパスを通って起点プロ
セッサへと至る。このデータ及びその他のデータは、ス
イッチにて併合がなされる度にそこにストアされる。該
データは、プロセッサから新しいメツセージを受は取っ
て併合するとき、及びメモリからデータが返されて分割
が必要となるときに、入力され、変更され、あるいは削
除されなければならない。ブロック９０５．１００５に
“′内部情報の更新″と記されているのは、スイッチで
該データの更新等が行われることを意味している。（上
記文献６．７．８は、かかる内部情報の使用法及び機能
について多くを述べている。）併合ネットワークのリバ
ース・スイッチ５０９（第５図）のオペレーションの概
要が第１０図に示されている１本発明に関係する制御情
報だけが同図に示されていることに注意されたい、ブロ
ック１００１にて受は取られたメツセージのＩＤフィー
ルド８０２（第８図参照）は、スイッチ５０９のＩＤフ
ィールド５１０と比較される（ブロック１００２）、−
４することがわかったなら、ライン１００３がアクティ
ブになり、返答メツセージは分割され、必要とされる返
答メツセージが生成される（ブロック１００５）、次に
生じた返答メツセージのルーティングが行われる（ブロ
ック１００６）、ＩＤが一致しない場合は（１００４）
、受信した返答メツセージについてエラーの有無がチエ
ツクされる（１０１１．１０１２）。

エラーが検知されると（１０１３）、返答メツセージの
エラー・フィールド（８０３）がセットされ（１０１５
）、該メツセージがルート・バックされる（１００６）
、エラーが何も検出されなかったときは（１０１４）、
エラー・フィールド８０３はセットされない、返答メツ
セージをルートするために、メツセージをルートすべく
必要になる出力リンクが決定される（ブロック１００６
）。

次に、当該出力リンクについて、それがフリーか否かの
チエツクが行われる（ブロック１００７）。

当該出力リンクがフリーならば（１００８）、つまり、
それが他のメツセージを送るのに使われていないならば
、当該メツセージは当該出力リンクを介して送信される
。もし当該出力リンクがビジーである（１００９）、つ
まり他のメツセージを送信するのに使用中であるならば
、当該メツセージは送信されない。この場合（１００９
）、スイッチは次のスイッチ・サイクル（つまり、メツ
セージ転送時間）を待って（ブロック１０１０）。

当該メツセージの送信を再度試みる（ブロック１００７
）、本発明の第１方法によれば、併合スイッチの各々に
ユニークなＩＤ１１１３が割り当てられる（第１１図）
、第５図のフォワード・スイッチ５０４のＩＤ５０３と
リバース・スイッチ５０のＩＤ５０９のＩＤ５１０の両
方には、このユニークなＩＤ１１１３が割り当てられる
。すなわち、フォワード・スイッチ５０４とリバース・
スイッチ５０９には同じＩＤが割り当てられる。このス
キームによれば、メツセージがどのスイッチによっても
併合されないことを表示するために、１つのユニークな
ＩＤ“ＮＯＣ”を取っておく必要がある。ＰＥは自分の
リクエスト・メツセージのＩＤフィールドをＮＯＣにセ
ットする。フォワード・スイッチがそれらのメツセージ
を併合する場合だけ、このＩＤ（つまりＮ０Ｃ）を改め
る。

リバース・スイッチはこのＩＤ（つまりＮ０Ｃ）を手掛
りにして、返答メツセージが併合されなかったリクエス
ト・メツセージに対するものであることを知る。

第１１図は、このようなＩＤの割当の１例を示す、簡単
のために、第１１図にはスイッチ１１０１〜１１１２の
みが示されている。これらのスイッチ１１０１〜１１１
２にはそれぞれユニークなＩＤ１２１５が割り当てられ
る。この例では、ＮＯＣのＩＤ値には０が選ばれる。

本発明の第２方法によれば、併合スイッチの各々にユニ
ークなＩＤ１２１５が割り当てられる。

第５図のフォワード・スイッチ５０４のＩＤ５０３とリ
バース・スイッチ５０９のＩＤ５１０の両方に対してこ
のユニークなＩＤ１２１５が割り当てられる。すなわち
、フォワード・スイッチ５０４とリバース・スイッチ５
０９には同じＩＤが割り振られる。このスキームによれ
ば、メツセージがどのスイッチによっても併合されてい
ないことを表示するために、１つのユニークなＩＤ”Ｎ
ＯＣＩ＋を取っておく必要がある。ＰＥは自分のリクエ
スト・メツセージのＩＤフィールドをＮＯＣにセットす
る。フォワード・スイッチがそれらのメツセージを併合
する場合だけ、このＩＤ（つまりＮ０Ｃ）を改める。リ
バース・スイッチはこのＩＤ（つまりＮ０Ｃ）を手掛り
にして、返答メツセージが併合されなかったリクエスト
・メツセージに対するものであることを知る。

第１２図に示されるように、このスキームが割り当てる
ＩＤのそれぞれは、２つのフィールド１２１３と１２１
４を連結することによって構成される。第１のフィール
ド１２１３はスイッチのステージ番号である。例えば、
このフィールド１２１３はスイッチ１２０１については
１にセットされ、スイッチ１２０２については２にセッ
トされる。第２のフィールド１２１４はそのステージの
中で当該スイッチにユニークな番号である。例えば、こ
のフィールド１２１４はスイッチ１２０１については１
にセットされ、スイッチ１２０４については２にセット
される。

第１２図は、このようなＩＤの割当の１例を示す。簡単
のために、第１２図にはスイッチ１２０１〜１２１２の
みが示されている。これらのスイッチ１２０１〜１２１
２にはそれぞれユニークなＩＤＩＩ、２１．３１．１２
．２２．３２．１３゜２３．３３．１４．２４．３４が
割り当てられる。

この例では、ＮＯＣのＩＤ値には００が選ばれる。

Ｄ３．結び あるスイッチ・ノードが受は取った２つのメツセージが
併合可能かどうかを識別するのに必要なハードウェアは
すべてよく知られており、上記文献６，７．８にも記載
されている。メツセージ・ヘッダーに所与のレベルまた
はスイッチ・ノードＩＤを置くのに必要なハードウェア
は、メツセージの帰還時に所与のスイッチ・ノードにお
けるローカルのＩＤフィールドとメツセージ・ヘッダー
の上記フィールドとの比較を行う手段と同様、当業者に
とっては自明なものであろう。かかる自明のファンクシ
ョンを実行するのに使うハードウェアや編成の仕様は様
々な形態を採り得るであろうし、回路設計分野の当業者
にとっては自明のことと言えよう。かかる回路のハード
ウェアの細部を示すことは１本発明の理解を混乱させる
だけなので、本明細書では取り上げない、したがって本
発明のポイントは、第９図及び第１０図で説明したアー
キテクチャの仕様及び手続（プロシージャ）にある。そ
れらは、フォワード・ネットワーク・スイッチとリバー
ス・ネットワーク・スイッチを含む併合／分割（操作実
行）ネットワークの各スイッチ・ノードにてインプリメ
ントされる。したがって、フォワード方向のメツセージ
・ヘッダー中にアディショナルなスイッチ／レベルＩＤ
情報を少量付加するとともに、リバース・ネットワーク
にアディショナルなハードウェアを少量付加し、関連す
るヘッダー・フィールドを修正して何らかのエラー・チ
エツク・オペレーションを行うようにすれば、相互接続
ネットワーク・アーキテクチャはさらに大きく改善され
よう。

さて、本発明の良好な実施例を第９図〜第１２図に基づ
いて説明した。そこでは、メツセージの併合は１つのス
イッチ・ノード及びレベルでのみ可能であった。しかし
ながら１次のようなシステムの変形例も考えられる。

１）ｎ方向スイッチを使い、所与のスイッチにて３つ以
上のメツセージを併合できるようにする。

２）ネットワークのどのレベルでも、併合基卆に合致す
るならば、メツセージを併合できるようにする。

明らかに、これらのためのテストと併合を行うには適当
なハードウェアが必要になるであろうし。

必要となるＩＤ、エラー・コード等を保持するのに適当
なヘッダーを付けなければならないであろう、また、メ
ツセージを分割しその分割したメツセージをそれが他の
先行スイッチ・ノードであれ起点プロセッサであれ適切
なソースにルートするのに必要なルーティング情報及び
すべてのデータを保持するために、各スイッチにおいて
適当なロジックとストレージが必要になるであろう。し
かしながら、こういったものは上記文献６．７，８に見
られるように周知である。

Ｅ、効果 本発明によれば、コンバイニング及びデコンバイニング
を実行するマルチステージ・インターコネクション・ネ
ットワークにおいて、デコンバインされるべきメツセー
ジが誤ってルートされたことに起因して誤ったスイッチ
にてデコンバインされるのを防止することができる。

【図面の簡単な説明】

第１図は、大規模並列プロセッサ・システムの典型的な
編成を示す高水準の機能ブロック図である。 第２図は、第１図の並列プロセッサ・システムで使われ
るようなマルチステージ・インターコネクション（相互
接続）・ネットワーク（ＭＩＮ）の典型例を示す機能ブ
ロック図である。 第３図は、並列プロセッサ・システムでのプロセッサ・
エレメントとメモリ・エレメントの通信パスの１例を示
すブロック図である。 第４図は、併合ネットワークの全体的編成及びフロー・
バスを示す高水準機能ブロック図である。 第５図は、第４図の併合ネットワークで用いられるよう
なスイッチの１例を示す機能ブロック図である。 第６図は、第４図のＭＩＮで行われるメツセージ併合、
それに続くメツセージ分解、及び誤ったメツセージ分解
操作の例を示すブロック図である。 第７図は、ネットワーク・メツセージの全体構造及び内
容を示す説明図である。 第８図は、第７図のメツセージのヘッダー・フィールド
の構造及び内容を示す説明図である。 第９図は、本発明に従って、併合ネットワークの各スイ
ッチ・ノードにてフォワード方向のメツセージについて
行われる操作に流れ図である。 第１０図は、本発明に従って、併合ネットワークの各ス
イッチ・ノードにてリバース方向のメツセージについて
行われる操作の流れ図である。 第１１図は、本発明の目的達成のための第１のタグ添付
方法を示す説明図である。 第１２図は、本発明の目的達成のための第２のタグ添付
方法を示す説明図である。 出願人　　インターナショナル・ビジネス・マシーンズ
・コーポレーション 代理人　　弁理士　　頓　　宮　　孝　　−（外１名） ＦＩＧ、１ ＦＩＧ。 ＦＩＧ。 ＦＩＧ、７ ＦＩＧ、８ ステージ１ ステージ ステージ３ ステージ１ ステーブ２ ステージ゛３

Claims (5)

【特許請求の範囲】
1. （１）マルチステージ・インターコネクション・ネット
   ワークにおいてメッセージのコンバイニング及びデコン
   バイニングを実行するための方法であって、 （ａ）ネットワーク内の各スイッチに対して当該スイッ
   チの識別番号を割り当て、 （ｂ）上記スイッチの各々で、当該スイッチをプロセッ
   サ側からメモリ側へ至るフオワード方向に通るメッセー
   ジの各々について、当該メッセージが発信プロセッサを
   異にする他のフォワード方向のメッセージとコンバイン
   することができるか否かを判断し、判断結果が肯定的で
   あるならば当該スイッチにてコンバイニングを実行し、 （ｃ）メッセージのヘッダーにコンバイニングを実行し
   たスイッチの識別番号を付加し、 （ｄ）修正されたメッセージをネットワークの中でフォ
   ワード方向に進め、該メッセージがメモリ内の宛先に到
   達するまで上記ステップ（ａ）〜（ｃ）を繰り返し、 （ｅ）メモリに到達したメッセージに応答して、該メッ
   セージに含まれているスイッチ識別番号をヘッダーに付
   加した返答メッセージを生成し、返答メッセージを上記
   ネットワークの中でメモリ側からプロセッサ側へ至るリ
   バース方向に進めていき、その際に、 （ｅ１）上記スイッチの各々で、当該スイッチを通るリ
   バース方向のメッセージの各々について、当該スイッチ
   の識別番号と当該メッセージのヘッダーに含まれている
   スイッチ識別番号との比較を行い、 （ｅ２）識別番号の一致が検出された場合には、当該メ
   ッセージのデコンバイニングを当該スイッチにて実行し
   、 （ｅ３）デコンバイニングの結果生じた複数のメッセー
   ジを上記ネットワークの中でリバース方向に進める ことを特徴とする、ネットワークでのメッセージのコン
   バイニング及びデコンバイニング方法。
2. （２）スイッチに割り当てられる識別番号はステージ番
   号と当該ステージ内で当該スイッチにユニークな番号の
   組合せである 特許請求の範囲第１項記載の方法。
3. （３）上記ステップ（ｅ１）において、 ステージ番号の一致が検出され、かつ当該ステージ内で
   のスイッチ番号の不一致が検出された場合には、エラー
   が発生したと判断し、当該スイッチをしてエラー対策の
   動作を行わせる 特許請求の範囲第２項記載の方法。
4. （４）上記マルチステージ・インターコネクション・ネ
   ットワークは１つのネットワークからなり、該ネットワ
   ークがメッセージをフォワード方向にもリバース方向に
   も伝える 特許請求の範囲第１項、第２項または第３項記載の方法
   。
5. （５）上記マルチステージ・インターコネクション・ネ
   ットワークは、メッセージをフォワード方向に進める第
   １のネットワークとメッセージをリバース方向に進める
   第２のネットワークからなり、第１のネットワークのス
   イッチと第２のネットワークのスイッチは一対一に対応
   しており、第１のネットワークのスイッチと対応する第
   ２のネットワークのスイッチには該第１のネットワーク
   のスイッチと同じ識別番号が割り当てられている 特許請求の範囲第１項、第２項または第３項記載の方法
   。