JPH0728764A - プロセツサ−メモリ間のトラフイツク径路指定装置及び方法 - Google Patents

Abstract

(57)【要約】 （修正有） 【目的】複数の多段接続用ネツトワークにおいて、一様
でないトラフイツクを動的に検出して径路指定する。 【構成】共用メモリマルチプロセツサコンピユータシス
テムにおいて、メモリアクセスが均一にメモリモジユー
ル間に分散している場合には、２つのネツトワーク間に
均等にメモリアクセスを配分し、性能を最大にする。ト
ラフイツクが高度に不均一な場合には、トラフイツクの
不均一部分を一方のネツトワークに、残りの部分を他方
のネツトワークに制限するために、優勢となつているト
ラフイツク状態に基づいて選択する。割り当てられてい
るフイードバツク機構は、トラフイツク状態の変化を検
出し、径路指定方法を変更する。各メモリモジユール内
のトラフイツク監視回路は、メモリモジユールへのトラ
フイツクを連続的に監視し、トラフイツク状態の変化を
感知する。演算処理要素は、トラフイツク状態の変化に
応じて代替用の径路指定方法に切り換える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はプロセツサ−メモリ間ト
ラフイツク径路指定装置及び方法に関し、特に２つの多
段切換えネツトワークからなる相互接続用ネツトワーク
によつて相互に接続されている複数のプロセツサ及び複
数のメモリモジユールを含むマルチプロセツサコンピユ
ータシステムについて、さらに詳細には、プロセツサか
らメモリモジユールへの相互接続用ネツトワークを通る
データトラフイツクの径路指定に関するものである。

【０００２】

【従来の技術】共用メモリ方式のマルチプロセツサコン
ピユータシステムにおいて、プロセツサ−メモリ間通信
及びプロセツサ−プロセツサ間通信のために、バツフア
多段接続回路が用いられている。これらのネツトワーク
は一般にｌｏｇ_K Ｎ段の切換え要素からなり、各切換え
要素はｋ個の入出力端子を有する。このネツトワークに
より送られるメツセージは通常、メモリワード又はキヤ
ツシユラインを表現している固定サイズパケツト形式を
もつ。各切換えチツプには、回線争奪が生じた場合に、
入つて来るパケツトをキユーに入れるためのバツフアが
設けられる。

【０００３】共用メモリ方式のマルチプロセツサ内の相
互接続用ネツトワークによつて運ばれるトラフイツク
は、データの記憶又は検索のために、演算処理要素によ
るメモリモジユールに対する要素から構成されている。
このトラフイツクの特性は、演算処理要素により実行さ
れるアルゴリズムの種類や、アクセスデータをメモリモ
ジユール群の間に分散させる方法により変化することが
ある。すべてのメモリモジユールがほぼ等しい頻度でア
クセスされるような通信量パターン（トラフイツクパタ
ーン）である場合には、そのようなトラフイツクは均一
なトラフイツクと呼ばれる。メモリモジユール群の１つ
のサブセツトが残りのサブセツトよりも多くのトラフイ
ツクを受取る場合には、そのようなトラフイツクは不均
一なトラフイツクと呼ばれる。

【０００４】バツフア多段接続ネツトワークは、均一な
トラフイツクの下では良好に動作するが、ネツトワーク
の通信量に僅かでも不均一があると著しく効率が低下す
る。トラフイツクが極めて不均一な場合には、多段接続
ネツトワークは、ツリー飽和として知られている現象に
より悩まされる。この現象は、1985年10月刊、ＩＥＥＥ
コンピユータトランザクシヨン（IEEE Transactions on
Computers）第943 〜948 頁、Ｇ・Ｆ・フイスター及び
Ｖ・Ａ・ノートン著、「多段接続ネツトワークにおける
ホツトスポツト回線争奪及び結合」と題する論文に記述
されている。ツリー飽和現象はネツトワークに激しい渋
滞をもたらし、ネツトワーク全体に亘つて実質的にメモ
リモジユール群への全トラフイツクに対する遅延増大を
もたらす。

【０００５】多段接続ネツトワークにおける不均一なト
ラフイツクによりもたらされるツリー飽和現象を軽減す
るためにいくつかの解決法が提案されていた。フイスタ
ー及びノートンは、ホツトなメモリモジユールが経験す
る要求率を低減させるようなメモリの結合方法を示唆し
た。２つのメツセージは、ホツトなメモリモジユール内
の同じ記憶場所に向つてアドレス指定されておりかつ殆
ど同時に切換え要素に到着する場合にのみ、切換え要素
の中で結合され得る。

【０００６】1983年２月刊、ＩＥＥＥコンピユータトラ
ンザクシヨン（IEEE Transactionson Computers）第175
〜189 頁、Ａ・ゴツトリーブ他による「ＮＹＵウルト
ラコンピユータ、ＭＩＭＤ共用メモリ並列コンピユータ
の設計」と題する論文に述べられている他の方法は、結
合ネツトワーク（combinig network）と呼ばれる特殊な
ネツトワークを使用する。この結合ネツトワークは１つ
のメモリモジユールに径路をとろうとするアクセス要求
同士を組み合わせることにより、そのメモリモジユール
への実際上のトラフイツクを減少させて渋滞を緩和しよ
うとする。１つの切換え要素に同時に到着した１つのメ
モリモジユールに対する複数の要求が、組み合わされて
１つの要求となつて出て行くように、結合ネツトワーク
内の各切換え要求が設計される。

【０００７】このような対策はホツトスポツトによる渋
滞を緩和するが、結合ネツトワークは設計が複雑である
上に、結合機能に起因する付加的な遅延をもたらす。さ
らに、この手法は、メモリモジユール内の１つの記憶位
置だけにトラフイツクの大部分が向けられているような
特定の形式の不均一トラフイツクに関してのみ有効であ
る。メモリモジユールへのトラフイツクが単一の記憶位
置に向けられていない場合には、結合は無力である。

【０００８】1987年４月刊、ＩＥＥＥコンピユータトラ
ンザクシヨン（IEEE Transactionson Computers）第388
〜395 頁、Ｐ・Ｃ・ユー、Ｎ・Ｆ・ツエン、Ｄ・Ｈ・
ローリーによる「大規模なマルチプロセツサにおけるホ
ツトスポツトアドレス指定の分散」と題する論文には、
渋滞を緩和するための別の手法が記載されている。この
方法はソフトウエア技術であり、メモリアクセスがいく
つかのメモリモジユール間に分散されるように、マルチ
プロセツサ上を走る演算アルゴリズムを構成する。この
方法は、マルチプロセツサ上で実行されるプログラムの
動作を事前に予言し得るようなある種の演算の場合だけ
に有用である。これは大規模なプログラムにおいては困
難であつて、メモリアクセス動作は予言ができないので
制御し難い。

【０００９】

【発明が解決しようとする課題】プロセツサ−メモリ間
の相互接続に２つの同一の多段切換えネツトワークが使
用される場合、演算処理要素からメモリモジユールへの
要求はいずれも、いずれのネツトワークも通ることもで
きる。従つて各要求が使用する径路を決定する何らかの
方法が必要である。単純な戦略はトラフイツクを２つの
ネツトワーク間に均一に分けることであり、奇数のメモ
リアドレスにアドレス指定されているパケツトを一方の
ネツトワークに径路指定し、残りのパケツトを第２のネ
ツトワークに径路指定することによつて適切に遂行され
る。ここでこの戦略を平衡戦略と呼ぶ。この平衡戦略は
均一なトラフイツクにおいては良好に作動する。しか
し、１つのホツトスポツトがネツトワークの一方にツリ
ー飽和現象を生じさせると、そのネツトワークを通る全
トラフイツクに悪影響を及ぼす。複数のホツトスポツト
は両方のネツトワークを飽和させることがあり得る。

【００１０】こうした状況下においては、均衡を崩して
いる不均一トラフイツクをネツトワークの一方に割り当
て、第２のネツトワークが残りのトラフイツクのための
明確な径路を提供し得るようにするのが最適である。こ
こで、ホツトスポツトトラフイツクを運ぶネツトワーク
を結合ネツトワークにすれば、これによりホツトトラフ
イツクについての性能が改善される。しかしながらこの
第２の戦略は、ホツトスポツトが存在しないときには、
ネツトワークの一方を十分に活用しないまま取り残す。
従つて性能を改善するためには、ホツトスポツトが発生
した場合にそのホツトスポツトを検出して径路指定戦略
を変更することが必要である。

【００１１】もし、プログラムのランタイムに先立つて
ホツトスポツトの位置が分かれば、このようなホツトス
ポツトの動的な検出をすることを回避できる。若干の科
学計算プログラムにおいてはコンパイル時にこうした情
報を集めることができるかもしれないが、一般的には困
難である。各プロセツサ内にローカルキヤツシユを設け
ることは、複雑さの度合いを一層増すことになる。実際
には、プログラムのメモリアクセスパターンにより生ず
るトラフイツクの不均一は、実行する間に空間的にも時
間的にも変化する。すなわち、そのような不均一は時間
の経過に従つて現れたり消えたりし、その位置も変化す
る。２つの切換えネツトワークによつてもたらされる柔
軟性を十分に活用するためには、プログラム実行中に、
トラフイツクの性質によつて径路指定法を動的に変化さ
せなければならない。

【００１２】さらに、マルチプロセツサシステムのため
の相互接続用ネツトワークに関する下記の米国特許が従
来技術として知られている。Ｊ・Ｓ・ターナーの米国特
許第４，５１２，０１１号は、一群の高速デイジタル中
継線を相互接続するための二重スイツチアレイを含んだ
パケツト切換えネツトワークを開示している。各中継線
に組み合わせられている中継コントローラは、パケツト
を切換えネツトワークに送り、アレイの一方を選択す
る。もしも両方のアレイを利用できるならば、コントロ
ーラは、出て行くパケツトを交互に割り振ることによつ
てパケツトをアレイ間に均等に分配する。もし障害のた
め又はトラフイツクが過密なためにアレイの一方が利用
できなければ、コントローラは他方のアレイにトラフイ
ツクを送る。中央処理装置はスイツチアレイの状態を監
視して、フイードバツク信号を中継コントローラに提供
する。

【００１３】本発明も、マルチプロセツサ相互接続用ネ
ツトワークにおいて同じような機能を果たすのである
が、前記米国特許第４，５１２，０１１号のように中央
処理装置を用いることはせず、その代わりに分散形フイ
ードバツク機構に依存する。その上、本発明は、ネツト
ワーク内のトラフイツクを監視してこの情報を中央処理
装置に通報するための装置を使用しない。こうした機
能、及び中央処理装置により必要とされる処理は、大規
模なマルチプロセツサシステムにおいては極めて高価な
ものとなろう。そこで本発明は、監視機能をメモリモジ
ユール内に置き、相互接続用ネツトワークの設計を簡単
にする。

【００１４】Ｐ・Ａ・フラナツエクの米国特許第４，７
５２，７７７号はマルチプロセツサシステムのプロセツ
サ−メモリ相互接続のための双対ネツトワーク相互接続
システムを開示している。そのネツトワークの一方は多
段切換えネツトワークであり、他方はクロスポイントス
イツチである。いずれかの演算処理要素からいずれかの
メモリモジユールに向かうトラフイツクは、本発明と同
様に、どちらのネツトワークを通るように指定されても
良い。しかしながら、システムのトラフイツクを監視し
て、トラフイツク状態に基づいて径路指定を行うための
方法が全く開示されておらず、示唆されてもいない。

【００１５】Ｒ・Ｊ・マクミランの米国特許第４，６２
１，３５９号は、切換えノードの中で使用するための負
荷平衡回路を開示している。この回路は、切換えシステ
ムの中に入つて来るパケツトを、均等に出力ポート間に
分配する。この方法は、パケツトが、その位置に関連な
くどの出力ポートに径路を指定されても良いようなシス
テムの場合にのみ適用できる。しかしそのような仮定を
マルチプロセツサシステムに導入することはできない。
その理由は演算処理要素が出すアクセス要求は特定のメ
モリモジユールを指定しており、それ以外に径路指定さ
れてはならないからである。

【００１６】本発明の目的の１つは、トラフイツクの不
均一部分を１つの切換えネツトワークに局限し、トラフ
イツクの残りの部分を第２の切換えネツトワークに割り
当てることによつて混雑を緩和するようにした多段プロ
セツサ−メモリ間相互接続用ネツトワークを提供するこ
とである。本発明の他の目的は、あらゆる状態の下で性
能が最大となるようにトラフイツクの不均衡を検出して
径路指定方法を動的に変更する手段を提供することであ
る。

【００１７】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、（Ａ）プロセツサ−メモリ間相互
接続ネツトワークにおけるホツトスポツトを、それらが
ツリー飽和状態を引き起こす前に検出し、（Ｂ）その情
報に基づいて、２つ有る径路指定戦略を動的に選択する
ための方策が提供される。本発明が適用される環境は、
Ｎ個のプロセツサをＮ個の記憶装置に接続するための２
つの並列切換えネツトワークを含む。この２つのネツト
ワークはバツフア付多段切換えネツトワークであり、こ
の２つのネツトワークのうちの第２のものは結合ネツト
ワークとすることもできる。いずれにしても、結合し得
るトラフイツクが存在しないときにはこの２つのネツト
ワークは同一の動作をする。

【００１８】本発明の検出方式は、「均一なトラフイツ
クを受けるメモリモジユールと比較して、「ホツトな」
メモリモジユールは若干の期間に亘つて高頻度の要求を
経験する」という観察に基づいている。メモリモジユー
ルが、最後のＷ周期の間に少くともＨの要求を受取つた
ならば（Ｈ≦Ｗ）、そのメモリモジユールは「ホツト」
であると識別される。この状態は最後のＷ周期の間に渡
される要求数がもう１つのスレシヨルドＮＨよりも少な
くなれば「クール」にリセツトされる。これは最後のＷ
周期をカバーするスライデイングウインドウの間に受取
る要求の数の軌跡を保存することによつて実現される。

【００１９】

【作用】メモリモジユールからの応答パケツトに付随す
る状態ビツトは、そのメモリモジユールの現在の状態を
伝える。これによりメモリモジユールにアクセスしてい
るプロセツサはいずれも、応答パケツトを受取るときに
当該メモリモジユールの状態を知らされる。この情報は
径路指定戦略を選択するために使用される。 ２つの径
路指定戦略すなわち平衡形および固定形は、ホツトスポ
ツトの異なる強度範囲内において良好に動作する。この
方式の有効性は、軽度のホツトスポツトに応答して、認
め得るほどの性能低下が生ずる前に戦略を切り換えるこ
とができるか否かに基づいている。また有効性はウイン
ドウの長さＷと、スレシヨルドＨ及びＮＨの選択にも大
きく左右される。ウインドウの長さＷの選択にはある種
の兼合いが存在する。小さなＷはホツトスポツトの指摘
し損ないと、振動とをもたらす。大きなＷはホツトスポ
ツトを指摘することに関しては高い信頼性をもたらす
が、そうしたホツトスポツトの検出がツリー飽和現象の
発生後になるかもしれない危険を伴う。Ｗ、Ｈ、ＮＨの
値は、経験的に決定される。径路指定戦略は、応答パケ
ツトの一部分としてプロセツサがメモリモジユールから
受取る情報に基づき、各プロセツサにて独立に決定され
る。プロセツサは、システム内にホツトなメモリモジユ
ールを見出していない場合には平衡形戦略を使用し、そ
うでない場合には固定形戦略を使用する。

【００２０】

【実施例】以下図面について本発明の一実施例を詳述す
る。

【００２１】図１に示す複数Ｎ個の演算処理要素１００
₁ 〜１００_N は、相互接続システム１０６を介して、複
数のＭ個のメモリモジユール１０４₁ 〜１０４_M に接続
されている。この相互接続システムは、それぞれネツト
ワークＡ、ネツトワークＢと呼ばれる２つの同じ構成の
多段切換えネツトワーク１０８、１１２からなる。これ
ら２つのネツトワークは要求ネツトワークを形成し、演
算処理要素１００からメモリモジユール１０４へのトラ
フイツクは相互接続システム１０６において径路を指定
される。別の応答ネツトワーク１１０はメモリモジユー
ル１０４から演算処理要素１００に帰る応答データのた
めの帰路を提供する。応答ネツトワーク１１０は、１つ
以上の多段ネツトワーク又はクロスポイントネツトワー
クによつて構成されても良い。この応答ネツトワーク１
１０は、メモリモジユール１０４から演算処理要素１０
０への応答を伝送するに十分な容量をもつている限り、
本発明によつて特別な構造を必要としない。

【００２２】図１の各切換えネツトワーク１０８、１１
２は、その入力端子のいずれから出力端子のいずれへで
もデータを径路指定し得る能力を有する。各ネツトワー
クは多段配置された切換え要素からなつており、８入力
かつ８出力の場合を図２に示す。図２の各切換え要素１
１６は２つの入力ライン及び２つの出力ラインを有し、
当該切換え要素が３段に配置されている。従つて図示の
実施例は、当該切換え要素を合計１２個有する。このネ
ツトワークは、切換え要素が３つ以上の入力と３つ以上
の出力とを有し、それに対応して少ない段数を有するよ
うに設計されても良い。こうした多段切換えネツトワー
クの構成に関する技術は、1981年12月刊、コンピユータ
（Computer）第12〜27頁の、Ｔ．Ｙ．フエン著、「相互
接続用ネツトワークの概説」に述べられている。

【００２３】このネツトワークを介して伝送されるデー
タはパケツト様式である。各パケツトの宛先、すなわち
そのデータを送り付ける予定のメモリモジユールはパケ
ツトのヘツダ部分に書き込まれる。図２の各切換え要素
はこのパケツトを入力端子から受取つて、当該パケツト
のヘツダに書き込まれている宛先アドレスによつて決め
られる適切な出力端子に切り換える。ここで要求された
出力端子が他のパケツトによつて占有されているとき、
到着して来るパケツトは切換え要素内のキユーに入れら
れる。パケツトは先着順にキユーから選び出されて伝送
される。

【００２４】本発明が適用されるマルチプロセツサシス
テムは、メモリモジユール内にデータを格納したり読み
出したりすることによつて演算処理要素群が通信するよ
うにした共用メモリ形のシステムによつて構成されてい
る。演算処理要素からメモリモジユールへのトラフイツ
クは、本質的に２つの形式のパケツト、すなわち格納要
求パケツト及び読出し要求パケツトからなる。これらの
パケツトの構成を図３に示す。どの形式の格納要求パケ
ツトも、フイールド１２２、１２６及び１３０からなる
ヘツダ部をもち、これに情報フイールドが続く。ヘツダ
部のうち、宛先アドレスフイールド１２２はパケツトの
仕向け先メモリモジユールのアドレスを指定する。宛先
アドレス（DSTN ADDRESS）はパケツトを正しいメモリモ
ジユールに径路指定するために、相互接続システム内の
各切換え要素１１６によつて使用される。さらにヘツダ
部分は当該要求を出した演算処理要素のアドレスを書き
込むための発信元アドレスフイールド（SOURCE ADDRES
S）１２６を含む。メモリモジユールからの応答は応答
ネツトワークを通つてその演算処理要素に至る径路を指
定される。ヘツダのパケツト識別子（PID ）フイールド
１３０は、ネツトワーク内においてパケツトが失われた
り誤つた宛先に届けられたりした場合の障害回復のため
の独特のパケツトを識別するために使用される。読出し
要求パケツトの情報フイールドは、演算コード（OPCOD
E）フイールド１３４、フラグ（FLAGS ）フイールド１
３８、メモリアドレス（MEM ADDRESS ）フイールド１４
２とからなる。さらに格納要求パケツトはデータ（DAT
A）フイールド１４６を含んでいる。演算コードフイー
ルド１３４は要求の形式、すなわち読出し動作又は格納
動作を指定する。このシステムの特殊な必要に合わせる
ためにこれ以外の演算形式が定義されても良い。フラグ
フイールド１３８は任意に選択できるものであり、その
要求に組み合わせられる多様なオプシヨン又はパラメー
タを指定する１つ以上のフラグを含む。これらのフラグ
は本発明には関係しない。

【００２５】読出し要求パケツト内のメモリアドレス
（MEM ADDRESS ）フイールド１４２は、メモリモジユー
ルの要求されたデータが存在するアドレスを指定する。
このメモリアドレスは、メモリモジユールのアドレス
と、当該メモリモジユール内のアクセスされたデータが
存在する記憶位置とからなる。格納要求パケツトの場
合、データフイールド１４６はメモリアドレスフイール
ド１４２によつて指定される記憶位置に格納されるべき
データを含んでいる。

【００２６】演算処理要素から要求パケツトを受取つた
とき、メモリモジユールは当該パケツトによつて指定さ
れている読出し動作又は格納動作を実行して、結果を前
記演算処理要素に送り返す。この結果は、応答パケツト
の形式に応じて応答ネツトワークを伝送される。読出し
要求の場合の応答は指定された記憶位置から読み出され
たデータにより構成されている。格納要求の場合の応答
は書込みの状態、すなわちそのデータが問題なく格納さ
れたか否かを表す情報を含む。図３には２つの形式の応
答パケツトの構成が示されている。要求パケツトの場合
と同様に、応答パケツトもヘツダ部とそれに続く情報と
からなる。ヘツダ部はフイールド１５０、１５４及び１
５８からなる。宛先アドレス（DSTN ADDRESS）フイール
ド１５０はパケツトの仕向け先の演算処理要素のアドレ
スを指定する。宛先アドレスはパケツトを正しい演算処
理要素に径路指定するために応答ネツトワークによつて
使用される。発信元アドレス（SOURCE ADDRESS）フイー
ルド１５４はその要求を出したメモリモジユールのアド
レスを特定する。パケツト識別子（ＰＩＤ）フイールド
１５８の機能は前述のＰＩＤフイールド１３０と同様で
ある。

【００２７】格納応答パケツト内の情報フイールドは演
算結果コード（RESULT CODE ）１６２、フラグ（FLAGS
）フイールド１６６及びメモリアドレス（MEM ADDRESS
）フイールド１７４からなる。さらに読出し応答パケ
ツトはデータ（DATA）フイールド１７８を含む。演算結
果コードは演算の結果、すなわち読出し動作又は格納動
作が正常であつたか否かを伝達する。またアクセス妨害
のような特殊な状態を付加的に表示するようにしても良
い。フラグフイールド１６６は１つ以上の状態フラグを
含む。特に本発明の動作に必要なメモリモジユール状態
フラグ（MODULE-STATUS FLAGS ）１７０を含んでいる。
その他のフラグは任意に選択でき、本発明には関係しな
い。メモリアドレスフイールド１７４は要求パケツトの
メモリアドレスフイールド１４２と同じである。読出し
応答パケツトの場合、データフイールド１７８はアドレ
スフイールド１７４によつて特定される記憶位置から読
み出されるデータを収納する。

【００２８】上述においては、本発明が適用されるシス
テムの全体について述べたが、次に本発明の実施例の詳
細を説明する。本発明は３つの別個の要素、すなわち、
（1a）各メモリモジユールへのトラフイツクを監視して
その状態が「ホツト」又は「クール」であるかを確認す
るために各メモリモジユール内に設けられている手段
と、（1b）各メモリ要素の状態を各演算処理要素に通報
するためのフイードバツク機構と、（1c）メモリモジユ
ールの状態に関する知識に基づいて径路指定方法を動的
に選択するために各演算処理要素内に設けられている手
段とから構成されている。これら３つの部分について以
下に詳述する。

【００２９】（１）トラフイツク不均衡の検出 この検出方法は、「相互接続用ネツトワークに渋滞を生
ずるトラフイツク不均衡は１又は２以上のメモリモジユ
ールに高いトラフイツク率をもたらす」という原理に基
づいている。従つて、そのような不均衡はメモリモジユ
ールに到着する要求の数をカウントすることによつて検
出し得る。ウインドウレングスＷと呼ばれる期間の間に
メモリモジユールに到着する要求の数をカウントし、こ
の数が所定のスレシヨルドを越えているか否かを検査す
る。最後のＷサイクルの間に少くともＨ個の要求をメモ
リモジユールが受取ると、検出機構がそのメモリモジユ
ールに「ホツト」であることを表すマークを付ける。こ
こでＨはＷ以下である。この状態は、最後のＷサイクル
の間に渡される要求の数が第２スレシヨルドＮＨを下回
る程度に低下したときに「クール」にリセツトされる。

【００３０】ウインドウレングスＷはスレシヨルドＨ及
びスレシヨルドＮＨと同様にシステムの設計者によつて
経験的に決定されるパラメータである。あらゆるトラフ
イツク状況においてシステムの性能を最大にしようとす
るこの戦略全体の有効性は、認め得るほどの性能低下を
トラフイツク変化が引き起こす以前にその状況を変更す
べく、トラフイツク密度に正しく反応する検出機構の有
効性によつて左右される。この有効性はウインドウレン
グスＷ、スレシヨルドＨ及びスレシヨルドＮＨの選択に
よつて大幅に左右される。これらのパラメータはシステ
ムとりわけ相互接続用ネツトワークの特定の設計につい
て、パラメータを十分に考慮して設定されなければなら
ない。パラメータＷ、Ｈ及びＮＨを選択する際の参考と
なるよう、以下に指針を示す。

【００３１】ウインドウレングスＷを余りにも小さく設
定すると、誤つてホツトメモリモジユールを表示する結
果を招くことが有る。その理由は均衡のとれたトラフイ
ツクをメモリモジユールが受取つている場合であつて
も、短期間だけの集中的要求（シヨートバースト）を受
取ることが有り得るからである。従つて観測期間が余り
に短すぎる場合には、こうしたバーストがクールからホ
ツトに状態を変更させるかもしれない。その後短期間の
間非作動状態になると、状態を切り換えてクールに戻す
ことになる。このようにして、状態がホツト及びクール
の間を行つたり戻つたりして高速で振動することによ
り、本発明を意義のないものにする。これに対してＷが
大き過ぎると、トラフイツクの不均衡を表示する点では
信頼性が高いが、ホツトメモリモジユールの検出に先立
つてツリー飽和現象が生ずるおそれがある。

【００３２】Ｗの選択は演算処理要素がその要求を出す
率、すなわちトラフイツク密度によつても影響を受け
る。低密度トラフイツクの場合には、比較的短いウイン
ドウサイズでも、十分な信頼性をもつてメモリモジユー
ルへのトラフイツク集中を検出できる。しかしながらト
ラフイツク密度が高い場合には、トラフイツクが高度に
一様な場合でも、メモリモジユールへのトラフイツク率
が短期間だけ高くなることが有り得る。一般にトラフイ
ツク密度が高めの場合には大きめのウインドウサイズが
推奨される。スレシヨルドＨはネツトワーク内に激しい
渋滞を引き起こすようなトラフイツク不均衡のみを検出
するように十分に高く設定されねばならない。スレシヨ
ルドＮＨは、振動を防止するためにＨより低くなるよう
に設定されねばならないが、均一なトラフイツクの下で
経験される要求率よりは高めでなければならない。

【００３３】図４に、各メモリモジユール内の検出回路
のブロツクを示す。この回路はスライデイングウインド
ウが最後のＷサイクルをカバーしている間にＷビツトの
シフトレジスタ（SHIFT REGISTER（W bits））２００が
受取る要求（REQUEST ）数分のトラツクを保存する。メ
モリモジユールが要求を受取る各サイクルの間に、論理
「１」が直列入力（SERIAL IN ）２０４を通つてシフト
レジスタ２００に入る。要求（REQUEST ）を受取らない
各サイクルの間に論理「０」が入る。これらの値は１つ
の要求サイクルについて１つのクロツク（CLOCK ）２０
８によつてシフトレジスタ２００にシフトされる。従つ
て各瞬間におけるシフトレジスタ２００の「１」の数は
シフトレジスタ内の段数に等しい数だけ前サイクルの間
にメモリモジユールが受取る要求の数を表す。接続され
ているｎ×１マルチプレクサ（MUX ）２１２はシフトレ
ジスタ２００からｎ個の出力を受取り、この入力のうち
の１つをこのマルチプレクサの出力として選択する。選
択されるこの出力はウインドウレングスＷに対応してお
り、かつオペレーテイングシステムによつて設定される
選択信号に応じてマルチプレクサ２１２により選択され
る。従つてＷはプログラムすることもできる。

【００３４】数百ビツトもの長さになることも有るシフ
トレジスタの内容のデコーデイングを回避すべく、シフ
トレジスタ内の「１」の数のトラツクを保存するために
独立したアツプ／ダウンカウンタ（COUNTER ）２１６を
使用する。カウンタ２１６の最大カウントはＷである。
カウンタ２１６はシフトレジスタ２００への直列入力及
びマルチプレクサ２１２の直列出力を監視することによ
つて、当該入力から選択出力までのシフトレジスタ内の
「１」の数のトラツクを保存する。カウンタ２１６のカ
ウント及びシフトレジスタ２００内の「１」の数とを一
致させるため特に次のような動作がなされる。

【００３５】レジスタ２００にシフトされるビツトが、
マルチプレクサ２１２を経由してシフトアウトされるビ
ツトと同じであればカウントは変化せずにそのまま残さ
れる。またシフトインされるビツトが「１」で、マルチ
プレクサ２１２を介してシフトアウトされるビツトが
「０」であればカウンタ２１６は「１」だけ大きくな
る。またシフトインされるビツトが「０」で、シフトア
ウトされるビツトが「１」であれば、カウンタ２１６は
「１」だけ小さくなる。アンドゲート２２０、２２４は
この論理を実行する。アンドゲート２２０はシフトレジ
スタ２００の入力が「１」で、マルチプレクサ２１２の
出力が「０」であるとき、カウンタ２１６のカウントア
ツプ制御入力を作動状態にしてカウントを「１」だけ大
きくする。同様に、アンドゲート２２４はマルチプレク
サ２１２の出力が「１」で、シフトレジスタ２００への
入力が「０」であるとき、カウンタのカウントダウン入
力を作動状態にする。これは、カウンタのカウント値を
１だけ小さくする。

【００３６】カウンタ２１６の並列出力は２つの比較器
２２８、２３２に接続される。アツプ比較器（UP COMPA
RATOR ）２２８はそのカウント値とプリセツトされた第
１のスレシヨルドＨとを比較する。カウント値がＨと一
致すると必ず比較器２２８の出力が作動状態にされる。
この出力はホツトモジユールフラグ回路（HOT-MODULEFL
AGS）２３６をセツトするために使用される。ホツトモ
ジユールフラグはフリツプフロツプであり、セツトされ
たときそのメモリモジユールをホツトであるとマークす
る。ダウン比較器（DOWN COMPALATOR ）２３２はカウン
タ２１６の出力を第２のスレシヨルドＮＨと比較する。
比較器２３２はカウント値が現在のスレシヨルドＮＨを
下回つたときその出力を作動状態にする。この出力はホ
ツトモジユールフラグ２３６をリセツトし、メモリモジ
ユールの状態をクール状態に戻す。

【００３７】各比較器２２８及び２３２に入力として与
えられるスレシヨルドＨ及びスレシヨルドＮＨは、マル
チプロセツサシステムのオペレーテイングシステムのソ
フトウエアによつて設定される。図４の実施例において
は、マルチプレクサ２１２を除去してシフトレジスタ２
００の出力をアンドゲート２２０及び２２４に直接的に
接続することにより、パラメータＷを固定にしてもよ
い。

【００３８】（２）演算処理要素へのメモリモジユール
状態の通報 メモリモジユールの状態がクールからホツトへ又はその
逆方向に変化すると、当該変化は径路指定方法を変更し
得るようにするために演算処理要素に通知される。この
動作はこの機能専用の独立したフイードバツクネツトワ
ークによつて遂行され得る。しかしそのようなネツトワ
ークは大規模なマルチプロセツサシステムにおいては高
価となる。従つて本発明はメモリモジユールの状態を演
算処理要素に伝達するために応答ネツトワーク１１０そ
れ自身を用いる。

【００３９】本発明はメモリモジユールから送信される
各応答パケツトにモジユール状態フラグを対応付ける。
このフラグ１７０については応答パケツトの構成の説明
に関連して図３について上述した。このフラグはホツト
モジユールフラグ２３６の現在の内容を反映する。この
フラグの値は、パケツトフオーマツタ（PACKET FORMATT
ER）２４０が応答パケツトを演算処理要素に伝送するた
めにアセンブルするごとに、パケツトに挿入される。こ
うして、メモリモジユールに対して要求を発信した演算
処理要素は当該要求に対する応答を受取る際にその状態
を通知される。このようにして、メモリモジユールの状
態変化は、変化が生じた後にメモリモジユールから応答
パケツトを受取る各演算処理要素によつて各別に検出さ
れる。

【００４０】（３）要求の径路指定 本発明の基本的な目的は多様なトラフイツク状態におけ
るプロセツサ−メモリ間通信の性能を改善することであ
る。これは、２つのネツトワークの間に要求を分配する
ための径路指定方法を、トラフイツク状態に適合するよ
うに選択することによつて実現される。本発明は演算処
理要素からメモリモジユールへの要求を径路指定する２
つの全く異なる方法を提供する。第１の方法はホツトな
メモリモジユールが存在しないときに使用される。１又
は２以上のホツトなモジユールが検出されると、演算処
理要素は全てのモジユールがクールな状態に戻るまで第
２の方法に頼る。各演算処理要素はその時点におけるメ
モリモジユールの状態に関してそれが有する知識に基づ
いて、独立にこの決定を下す。この知識は各応答メツセ
ージの一部分として届くホツトモジユールフラグから次
々に入手することができる。演算処理要素におけるこれ
ら２つの径路指定方法の実行と、検出されたメモリモジ
ユールの状態に基づいてそれらを動的に選択するための
手段とに関して以下に述べる。

【００４１】２つのネツトワークにそれぞれ要求パケツ
トを径路指定するための第１の方法は、各ネツトワーク
にパケツトを均等に配分しようと試みる。これは演算処
理要素からの未決パケツトを２つのネツトワークに交互
に径路指定することにより達成される。この方法は、総
負荷を２つのネツトワークの間に平衡させようと努める
ので、平衡形径路指定と呼ばれる。そのようにパケツト
を交互に径路指定することはハードウエアによつて容易
に実行できるが、１つの演算処理要素から出された同一
メモリアドレス向けの２つの要求が、別々のネツトワー
クに径路指定されることに起因して逆の順序でメモリモ
ジユールに届くことがないように、これを阻むための手
段が設けられねばならない。そうした「蛙跳び」のよう
な動作は、プログラムの実行に矛盾を生ずることが有り
得る。本発明はこのような要求の「蛙跳び」を阻止する
ためのハードウエア機構を提供する。

【００４２】平衡形径路指定方法はトラフイツクが均一
であるときには最良の性能を提供する。すなわち演算処
理要素からのアクセスがＭ個のメモリモジユールにそれ
ぞれほぼ均等に配分される。しかし不均一なトラフイツ
クを伴う状態、すなわち不釣合に大量のトラフイツクが
１つ又は少数のメモリモジユールに向けられる状態のと
きには、双方のネツトワークがすぐに渋滞して、殆ど全
ての要求について遅延が増大する。本発明はこのような
不均一なトラフイツクが存在する状態においては、固定
形径路指定と呼ばれる第２の径路指定方法を使用する。
固定形径路指定においては、ホツトなメモリモジユール
へのトラフイツクの全てが専らネツトワークＡに径路指
定され、残りのトラフイツクは全てネツトワークＢを通
るよう径路指定される。この方法はホツトモジユールへ
のトラフイツクを全てネツトワークＡ内に閉じ込めるこ
とによつて、残りのトラフイツクの全てに対しネツトワ
ークＢを通る確かな径路を提供する。この方法はネツト
ワーク渋滞を除去するのではなく、渋滞をネツトワーク
Ａに局限する。ホツトなメモリモジユールへの処理能力
は結局、そのサービス率によつて制限される。従つてこ
の処理能力は結合ネツトワークをさらに高価にすること
なしには改良できない。本発明はクールなメモリモジユ
ールに対するトラフイツクの全てをツリー飽和現象の麻
痺作用から開放し、一方ホツトなメモリモジユールへの
トラフイツクがメモリモジユールによつてサービスされ
得る最大の率で進むことができるようにする。

【００４３】図５は演算処理要素において本発明の径路
指定法を実行するためのハードウエアのブロツク図であ
る。メモリアクセス要求はメモリアドレスバス３００に
メモリアドレス（MEM ADDRESS ）を置くことによつて始
まる。メモリアドレスは２つの部分からなるものと仮定
する。その第１部分は要求されたメモリモジユールを指
定し、第２部分はメモリモジユール内のアドレス指定を
することができる要素すなわち特定のワードの記憶位置
を決定する。メモリアドレスバス３００に乗せられるメ
モリアドレスは物理アドレスである。本発明を用いるマ
ルチプロセツサシステムにおいて仮想アドレスを使用す
る場合には、メモリアドレスバス３００の前に仮想アド
レスを物理アドレスに翻訳するための適切な手段を設け
ることが必要である。

【００４４】キヤツシユメモリ（CACHE ）３０４は、最
近アクセスしたデータへ高速でアクセスできるようにす
ることによつてネツトワークへのトラフイツクを低減す
るのに役立つ。こうしたキヤツシユの使用は本発明にと
つては任意選択的なものであり、キヤツシユが存在しな
い場合のために径路指定ロジツクを改造することは容易
である。キヤツシユが存在する場合には、メモリ階層の
一貫性を確保することに留意しなければならない。この
ような理由によりあるデータがキヤツシユ不能と指定さ
れるかも知れず、かかるデータはキヤツシユに記憶され
ない。この実施例においては、すべての書込み動作がキ
ヤツシユをバイパスする「ストアスルー」戦略を用いる
ものとする。本実施例に僅かな変更を加えることによ
り、「ストアイン」のような代替戦略を実施することも
できる。これらの仮定を伴つて、以下の２つの条件の下
にメモリアクセスは相互接続用ネツトワークに径路指定
される。（2a）当該メモリアクセス動作は書込み動作で
ある。（2b）当該メモリアクセス動作は読出し動作であ
るがキヤツシユミスに終わる。

【００４５】これらの条件は、メモリアクセスに対応し
てネツトワーク要求が出されることを要するか否かを決
定するための基準として、選択回路３０８により使用さ
れる。もし要求が出されることを必要とするならば、さ
らに選択回路３０８は要求が径路指定されるべきネツト
ワークを決定する。この選択プロセスに関連するロジツ
クの詳細は後に述べる。選択回路３０８は、メモリ状態
テーブル３１２、未決要求テーブル３１６、ホツトモジ
ユールカウンタ（HOT-MODULE COUNTER）３２０に支援さ
れてこの決定を行う。次にこれらの要素について詳細に
説明する。メモリ状態テーブル３１２は、各メモリモジ
ユールの状態をホツト又はクールと記憶する。メモリ状
態テーブル３１２はメモリモジユール番号によりアドレ
ス指定されるＭ個のエントリをもつランダムアクセスメ
モリによつて構成される。各エントリは１ビツトの長さ
である。「１」は対応するメモリモジユールがホツトで
あることを表し、「０」はクールであることを表す。メ
モリ状態テーブル３１２は２つのポートからアクセスさ
れ得る。第１ポートは読出しポートであり、第２ポート
は読出し及び書込みの双方をサポートする。第１ポート
はＡＤＤＲ１のラベルを付けられたアドレスラインと、
データ出力ラインＯＵＴ１とからなる。これらのアドレ
スラインはメモリアドレスバス３００のラインのメモリ
モジユール番号を表しているラインに接続される。これ
によつてメモリアクセスの間に対応するメモリモジユー
ルの状態がＯＵＴ１出力に現れる。このラインは入力の
１つとして選択回路３０８に接続される。またこのライ
ンはアクセスされたメモリモジユールがホツトモジユー
ルであるとのマークを付けられたときに「１」の値をと
るので、ホツトモジユール（HOT MODULE）とラベルを付
けられる。

【００４６】メモリ状態テーブル３１２の第２ポートは
アドレスラインＡＤＤＲ２、データ入力ラインＳＴＡＴ
ＵＳ ＩＮ、データ出力ラインＯＵＴ２及び必要な制御
信号からなる。このポートは各応答パケツトの一部分と
して受取る状態情報に基づいてテーブルの内容を変更す
るために使用される。アドレスラインはアドレスバス３
２４に接続される。モジユールアドレスをアドレスバス
３２４に与え、新しいデータ（「０」又は「１」）をＳ
ＴＡＴＵＳ ＩＮ入力に与え、適切な制御ラインを作動
状態にすることによつて、テーブル内のエントリを更新
することができる。これに加えてアドレスバス３２４に
よつてアドレス指定されるテーブル３１２内のエントリ
はＯＵＴ２出力に読み出され得る。

【００４７】アドレスバス３２４はパケツトデフオーマ
ツタ３２８から始まる。パケツトデフオーマツタ３２８
の機能は応答ネツトワークを介してメモリモジユールか
ら受取つた各応答パケツトから各フイールドを抽出する
ことである。応答パケツトを受取つたとき、パケツトデ
フオーマツタ３２８はメモリアドレスフイールド１７４
を抽出してこの情報をアドレスバス３２４に乗せる。さ
らにパケツトデフオーマツタ３２８は応答パケツトのそ
のフイールド１７０からのモジユール状態フラグの値を
モジユール状態ライン３４０に乗せる。これらのアドレ
ス及びフラグの値は、後述するように、メモリ状態テー
ブル３１２、未決要求テーブル３１６及びホツトモジユ
ールカウンタ３２０を更新するために使用される。

【００４８】メモリ状態テーブル３１２は各メモリモジ
ユールの状態をホツト又はクールと記憶し、一方ホツト
モジユールカウンタ３２０はシステム内のホツトモジユ
ール数のカウントを保存するために使用される。従つて
ホツトモジユールカウンタ３２０の値はいつでもメモリ
状態テーブル３１２内の「１」エントリの数に等しい。
ホツトモジユールカウンタ３２０はアツプダウンカウン
タとして具体化される。カウンタ３２０はメモリモジユ
ールの状態がホツトからクールに変化したことを検出し
たときに「１」だけ大きくされる。同様にしてホツトか
らクールへの状態変化が検出されたときに「１」だけ小
さくされる。アンドゲート３３２及び３３６はそれぞれ
パケツトデフオーマツタ３２８によつて出される情報に
基づいてアツプカウント動作及びダウンカウント動作を
制御する。ホツトモジユールカウンタ３２０が外に出す
必要がある情報はそのカウントが零であるか否かという
情報だけである。カウントが「０」のとき、このことは
ホツトメモリモジユールが検出されなかつたことを示
し、このことはトラフイツクが均一に感知されることを
示唆する。カウントが「０」以外のとき、このことは１
又は２以上のホツトモジユールが存在することを示す。
この情報はＺＥＲＯ ＣＯＵＮＴとラベルを付けられて
いる出力ラインにカウンタによつて提供され、径路指定
判断をする際に選択回路３０８により使用される。

【００４９】未決要求テーブル３１６は演算処理要素か
らの全ての未決ネツトワーク要求の記録を保持するため
に使用される。未決要求とは、演算処理要素によつてネ
ツトワークＡ、ネツトワークＢのうちの１つを介して伝
送された要求であつて、しかも未だその応答が演算処理
要素に届いていない要求のことである。メモリモジユー
ルへの前の要求が未決である間に別の要求がその同一メ
モリモジユールに送られ、しかもこれら２つの要求が異
なるネツトワークを介して径路指定されると、メモリア
クセスの「蛙跳び」が生ずるかも知れない。未決要求テ
ーブル３０４の機能は、この状態を阻止することであ
る。未決要求テーブル３１６はその設計に許容される未
決要求の最大数を記憶するに十分なだけの記憶位置を有
する連想メモリとして編成される。このテーブルのフオ
ーマツトを図６に示す。各エントリはメモリアドレスフ
イールド及びネツトワーク識別子フイールドにより構成
される。メモリアドレスフイールドは物理メモリアドレ
スを記憶する。この物理メモリアドレスは未決要求のメ
モリモジユールのアドレス及びモジユール内における記
憶位置との双方を含んでいる。ネツトワーク識別子フイ
ールドは対応する要求が径路指定されるネツトワークの
識別子を記憶する。このフイールドは１ビツトであり、
値が「０」であればネツトワークＡを示し、「１」であ
ればネツトワークＢを示す。

【００５０】２つのポートから未決要求テーブル３１６
にアクセスすることができる。第１ポートは、アドレス
ラインＡＤＤＲ１、ＭＡＴＣＨ出力ライン及びＮＥＴ
ＩＤＯＵＴ出力ラインからなる。ＭＡＴＣＨラインはテ
ーブル内のエントリのアドレスフイールドがＡＤＤＲ１
ラインに与えられるアドレスと一致したとき作動状態に
なる。そのような一致が見られた場合には、未決要求テ
ーブル３１６の回路がＮＥＴ ＩＤ ＯＵＴラインを当
該一致しているエントリのネツトワーク識別子フイール
ドの値にセツトする。こうしてメモリアクセスの間、テ
ーブルのＭＡＴＣＨ出力は要求されたメモリアドレスに
対していずれかの要求が未決となつているか否かを表示
し、ＮＥＴ ＩＤ ＯＵＴ出力は一致が存在するとき当
該一致している要求のために使用されるネツトワークを
表示する。各メモリアクセスの間に、メモリアドレスバ
ス３００のメモリアドレスは、未決要求テーブル３１６
に記憶されている全ての未決要求のアドレスと比較され
る。それはＭＡＴＣＨ出力によつて表示されるのである
が、一致が存在するとき、選択回路３０８が現在の要求
に対して選択されるネツトワーク識別子及びＮＥＴ Ｉ
Ｄ ＯＵＴラインに与えられるネツトワーク識別子を比
較する。これら２つのネツトワーク識別子が同一なら
ば、要求は進行することを許される。これに対してこれ
ら２つのネツトワーク識別子が異なるとき、未決要求テ
ーブル３１６内の一致している要求に対する応答が届く
まで現在の要求はその状態に保持される（すなわち凍結
される）。

【００５１】要求がネツトワークへ進むことを許される
とき、その要求に対応するエントリが未決要求テーブル
３１６に挿入される。そのような挿入はテーブルへのＩ
ＮＳＥＲＴ入力によつて制御される。このラインが作動
状態にされるとき新しいエントリがテーブルに挿入され
るので、そのアドレスフイールドはＡＤＤＲ１ライン上
の現在のメモリアドレスの値を有することとなり、その
ネツトワーク識別子フイールドはＮＥＴ ＩＤ ＩＮ入
力ラインに与えられる値を有することになる。ＩＮＳＥ
ＲＴ入力は選択回路３０８のＸＭＩＴ ＰＫＴ出力に結
合される。選択回路３０８がこのラインを作動状態にす
るのは要求をネツトワークの１つに径路指定する決定が
なされたときである。このような決定がなされたとき、
選択回路３０８はそのＳＥＬＥＣＴ出力ラインを現在の
要求を径路指定すべく選択されるネツトワークの識別子
にセツトする。このＳＥＬＥＣＴ出力は未決要求テーブ
ルのＮＥＴ ＩＤ ＩＮ入力に結合されているので、そ
れは未決要求テーブル３１６の新しいエントリのネツト
ワーク識別子フイールドを、選択回路３０８によつて決
定されるネツトワーク識別子に一致するようにセツトす
る。

【００５２】未決要求テーブル３１６の第２ポートは、
一度応答を受取るとそれに対応するエントリをテーブル
から除去するために使用される。第２ポートはアドレス
ラインＡＤＤＲ２及びＤＥＬＥＴＥ制御入力からなる。
ＤＥＬＥＴＥ制御入力が作動状態になると、ＡＤＤＲ２
ラインに与えられるアドレスと一致するアドレスフイー
ルドを有するエントリをテーブルから削除する。この削
除動作は応答パケツトの受領に基づいてパケツトデフオ
ーマツタ３２８によつて開始される。

【００５３】パケツトデフオーマツタ３２８は、メモリ
状態テーブル３１２と、最後に得られる状態に更新され
るホツトモジユールカウンタ３２０との保持に責任を有
する。演算処理要素が応答パケツトを受取つたとき、パ
ケツトデフオーマツタ３２８は、その応答パケツトを出
したメモリモジユールのアドレス及びそのモジユールに
対応するモジユール状態ビツトを当該パケツトから抽出
する。デフオーマツタ３２８は次にこのようにして抽出
したメモリアドレスをアドレスバス３２４に乗せ、モジ
ユール状態ビツトをＭＯＤＵＬＥ ＳＴＡＴＵＳ出力に
乗せる。後者はメモリ状態テーブル３１２のＳＴＡＴＵ
Ｓ ＩＮ入力に接続される。メモリ状態テーブル３１２
は次に現在その記憶位置に記憶されている状態を見出す
べく、バス３２４上のアドレスのメモリモジユール番号
を表している部分を使用する。そこでアンドゲート３３
２及びアンドゲート３３６は、ホツトモジユールカウン
タ３２０を更新する必要が有るか否かを知るために、こ
の古い状態をパケツトデフオーマツタ３２８からの新し
い状態出力と比較する。古い状態と新しい状態とが同一
である場合にはカウントの変化は生じないが、それらの
状態が異なつている場合にはアンドゲート出力の１つが
作動状態になる。また古い状態が「０」でありかつ新し
い状態が「１」であるとき、アンドゲート３３２がカウ
ンタ３２０を「１」だけカウントアツプさせる。その逆
の条件においては、アンドゲート３３６がカウンタ３２
０を「１」だけカウントダウンさせる。前者の条件はメ
モリモジユールの状態のクールからホツトへの変化を表
現しており、後者の条件はその反対を表現する。その結
果、アンドゲート３３２及び３３６は変化を反映するよ
うカウンタ３２０を更新する。

【００５４】古い状態がメモリ状態テーブル３１２から
読み出されかつホツトモジユールカウンタ３２０が更新
された後、古い状態を置き換えるため、ＭＯＤＵＬＥ
ＳＴＡＴＵＳラインの新しい状態出力がメモリ状態テー
ブル３１２に書き込まれる。このようにして、メモリ状
態テーブル３１２及びホツトモジユールカウンタ３２０
の更新は古い状態を読み出すための読出し動作と、これ
に続いて新しい状態を書き込むための書込み動作とから
なる。

【００５５】上述のようにメモリ状態テーブル３１２が
更新されている間に、パケツトデフオーマツタ３２８は
受取つた応答パケツトに対応するエントリを除去するこ
とによつて未決要求テーブル３１６を更新する。これは
未決要求テーブル３１６のＤＥＬＥＴＥ入力を作動状態
にすることによつて達成される。デフオーマツタ３２８
によつてアドレスバス３２４に出されたメモリアドレス
は削除されるべきエントリを決定するために未決要求テ
ーブル３１６によつて使用される。ここで未決要求テー
ブル３１６は、削除を実行するために、メモリモジユー
ル番号及びそのメモリモジユール内の記憶位置を含みか
つアドレスバス３２４に置かれているメモリアドレス全
体を使用する点に留意されたい。これに対してメモリ状
態テーブル３１２はメモリモジユール番号のみを使用す
る。ここで、それら全てが同じネツトワークに径路指定
されている限り、複数の未決要求の同じメモリアドレス
への可能性を本発明は排除しないようになされ、これに
より未決要求テーブル３１６内の２つ以上のエントリが
与えられたアドレスと一致することも有り得る点に注意
されたい。未決要求テーブル３１６のロジツクは各削除
動作の間に一致しているエントリがただ１つだけ削除さ
れるように設計されねばならない。しかしながらこのテ
ーブルの連想特性によつて一致しているエントリのうち
のどれが削除されるものとして任意に選択されてもよ
い。

【００５６】パケツトフオーマツタ３４４はメモリアク
セスに関連する情報を組み立てることによつて要求パケ
ツトを構成する責任を有する。この情報が書込みアクセ
スである場合には、アクセス期間中にメモリアドレスバ
ス３００に乗せられるメモリアドレス及びメモリに書き
込まれるべきデータを含む。パケツトフオーマツタ３４
４によつて構成された要求パケツトは次にパケツトルー
タ（PACKET ROUTER ）３４８に与えられ、パケツトルー
タ３４８は当該パケツトをネツトワークの一方に伝送す
る。選択回路３０８によつて提供される２つの制御入
力、すなわちＳＥＬＥＣＴ及びＸＭＩＴ ＰＫＴはパケ
ツトの伝送を制御する。ＳＥＬＥＣＴ信号は特定のネツ
トワークを径路として指定し、一方ＸＭＩＴ ＰＫＴは
その選択されたネツトワークにパケツトが伝送され得る
ようにする。パケツトルータ３４８は２セツトのデータ
出力ラインを有し、その一方はネツトワークＡに接続さ
れ、他方はネツトワークＢに接続される。これらのうち
のどちらを現在のパケツトの伝送に使用するかをＳＥＬ
ＥＣＴ信号が決定する。

【００５７】選択回路３０８はメモリ要求に組み合わせ
られる径路の決定に責任を有する。選択回路３０８は次
の各項を決定する。（3a）与えられた要求がネツトワー
クの一方に径路指定されることを必要とするか否か。
（3b）ネツトワークＡ及びネツトワークＢのうちのどち
らが径路として使用されるべきであるか。（3c）要求が
前述の「蛙跳び」の可能性のために「ホールド」される
ことを必要とするか否か。

【００５８】選択回路３０８はその機能を遂行するため
に次のような入力群を使用する。ＣＡＣＨＥ ＭＩＳＳ
入力は、現在のメモリアクセスがキヤツシユミスに帰着
する場合に、キヤツシユによつて作動状態にされる。Ｗ
ＲＩＴＥ入力は現在のメモリアクセスを読出し又は書込
みと識別する（「０」は読出しであり、「１」は書込み
である）。ＭＡＴＣＨ信号及びＮＥＴ ＩＤ信号は未決
要求テーブル３１６から来る入力である。上述したよう
に、ＭＡＴＣＨラインは現在のアクセスに対応するメモ
リアドレスが未決要求テーブル内のエントリと一致する
ときに作動状態にされる。そのような一致が存在する場
合には、ＮＥＴ ＩＤラインは、その一致しているエン
トリに対応する要求を径路指定するために使用されるネ
ツトワークを表示する。ＨＯＴ ＭＯＤＵＬＥ信号はメ
モリ状態テーブル３１２から来る入力である。この信号
は現在のアクセスにより参照されるメモリモジユールが
メモリ状態テーブル３１２にホツトモジユールとして指
定されているときには作動状態になり、そうでないとき
には非作動状態になる。ＵＮＩＦＯＲＭ ＴＲＡＦＦＩ
Ｃ入力は現在のホツトモジユール数のカウントに基づい
てホツトモジユールカウンタ３２０により駆動される。
この入力が「１」のとき、このことはカウンタの値が
「０」であることを表しており、均一なトラフイツクで
あることを表している。これに対して「０」はホツトな
メモリモジユールが１つ以上存在することを表してお
り、不均一なトラフイツクであることを表している。

【００５９】選択回路３０８は３つの出力を有する。Ｘ
ＭＩＴ ＰＫＴラインが作動状態になるのはこの選択回
路の判断ロジツクが現在の要求がネツトワークの一方に
径路指定されることが必要であると決定したときであ
る。これは現在のアクセスに対応する要求パケツトを一
方のネツトワークに伝送できるようにする。またＳＥＬ
ＥＣＴ出力ラインは現在の要求が径路指定されるべきネ
ツトワークを指定するものであり、値「０」はネツトワ
ークＡを指定し、「１」はネツトワークＢを指定する。
ＨＯＬＤ ＰＫＴ出力ラインは、同じメモリアドレスへ
の未決要求が満足させられるまでメモリ参照を保持する
ために作動状態にされる。この出力は当該メモリアクセ
スを要求しているプロセツサに送られる。

【００６０】これらの決定を行うために使用される選択
回路３０８の判断ロジツクを図７に示す。オアゲート４
００は現在のアクセスが書込みであるとき又はアクセス
されたデータがキヤツシユに見出されないとき、作動状
態出力を発生する。従つてオアゲート４００の作動状態
出力は現在の要求がネツトワークの１つに径路指定され
る必要があることを表している。この出力は「蛙跳び」
を生じ得る条件についての検査をするため、ゲート４１
２及び４２０からなる論理回路の後段を通る。ＭＡＴＣ
Ｈ入力が非作動状態であるとき、「蛙跳び」が生ずる可
能性はない。この場合アンドゲート４１２はオアゲート
４００の出力がＸＭＩＴ ＰＫＴ出力に進行することを
許す。しかしながらＭＡＴＣＨ入力が作動状態であると
き、排他的論理和ゲート４０４が、現在の要求のために
選択されたネツトワーク識別子を、一致している要求に
より使用されるネツトワーク識別子と比較する。不一致
のとき、アンドゲート４２０がイネーブルになり、これ
によりＨＯＬＤ ＰＫＴ信号が作動状態にされる。しか
しながら２つのネツトワーク識別子が同一であれば、ア
ンドゲート４０８はオアゲート４００の出力がＸＭＩＴ
ＰＫＴ出力に進行することを許し、これにより要求を
ネツトワークに伝送できるようにする。

【００６１】ゲート４２４、４２８及び４３２並びにフ
リツプフロツプ４３６が現在の要求を径路指定する目的
で一方のネツトワークを選択する機能を果たす。これら
はホツトなモジユールが現時点において検出されている
か否かに基づいて、径路指定方法のうちの１つ、すなわ
ち平衡形径路指定又は固定形径路指定を選択する。フリ
ツプフロツプ回路ＦＦ４３６は平衡形径路指定を実行す
る。フリツプフロツプはパケツトを伝送できるようにす
るためＸＭＩＴ ＰＫＴラインが作動状態になるごとに
切り換えられ、これにより各要求に対して交互に「１」
と「０」を作り出す。ＵＮＩＦＯＲＭ ＴＲＡＦＦＩＣ
ラインが作動状態にあつて均一なトラフイツクであるこ
とを表しているとき、フリツプフロツプ回路４３６の出
力は直接にＳＥＬＥＣＴ出力への径路をとる。しかし１
又は２以上のホツトモジユールが検出されたとき、アン
ドゲート４２８はフリツプフロツプ回路の出力を無効に
する。このような場合には、固定形径路指定方法が現在
の要求がホツトモジユールに向けられているか否かに基
づいてネツトワークの選択が遂行されるべきことを指令
する。アンドゲート４２４は固定形径路指定の下にこの
選択を実行する。その出力はアクセスされたモジユール
がホツトモジユールであるとき「０」であつて、使用さ
れるべきネツトワークとしてネツトワークＡを指定し、
ホツトモジユールでないとき「１」であつて、ネツトワ
ークＢを指定する。

【００６２】図５の各機能要素について説明したので、
次にメモリアクセスに関する動作を述べる。図８のフロ
ーチヤートにメモリアクセス動作を示す。メモリアクセ
スは読出し動作又は書込み動作である。メモリアクセス
はメモリアドレスをアドレスバス３００に乗せ、次に当
該メモリアクセスを知らせるべく適切な制御ラインを作
動状態にすることによつて開始される。ＷＲＩＴＥライ
ンは読出しアクセス及び書込みアクセスを識別するため
に使用される。メモリアクセスの間に後続の動作が並列
に進行する。判断ブロツク５０２においては、そのメモ
リ要求が書込み要求であるか否かを確認するためのテス
トがなされる。当該アクセスが読出しであるとき、参照
されたデータがキヤツシユ内において入手できるか否か
を調べるためにキヤツシユアクセスが実行される。その
データを入手できるか否かを確認するために判断ブロツ
ク５０４においてテストが行われる。入手できるとき、
機能ブロツク５０６に示すように当該データは直ちにデ
ータバスに送られる。そのデータを入手できないとき、
ＣＡＣＨＥ ＭＩＳＳラインがキヤツシユ３０４によつ
て作動状態にされる。

【００６３】キヤツシユミスのとき又は当該メモリアク
セスが書込み動作であるとき、ネツトワーク１０８、１
１２の一方を介して該当するメモリモジユールに要求が
径路指定されることを要する。そのアクセスに対応する
メモリモジユールアドレスは、機能ブロツク５０８にお
いて、メモリ状態テーブル３１２及び未決要求テーブル
３１６をアドレス指定（ルツクアツプ）するために使用
される。同時に機能ブロツク５１０において、当該要求
の径路となるネツトワークを決定するために選択回路３
０８が作動状態にされる。モジユール状態の表示、すな
わち「ホツト」であるか「クール」であるかの表示はメ
モリ状態テーブル３１２のＯＵＴ１ラインに現われる。
機能ブロツク５１２においては、未決要求テーブル３１
６が同一メモリアドレスへの係属中の要求があるか否か
を検査する。一致が得られればＭＡＴＣＨ出力を作動状
態にし、さらにＮＥＴ ＩＤ ＯＵＴ出力に一致してい
るエントリのためのネツトワークＩＤを表示させる。こ
れら２つのルツクアツプ動作の結果は要求の径路となる
べきネツトワークを決定するために選択回路３０８によ
つて使用される。

【００６４】選択回路が一度要求の径路となるべきネツ
トワークを決定すると、メモリアドレス及びデータ（書
込みの場合）は、機能ブロツク５１４に示すように、メ
モリアクセスに対応する図３に示した多様なフイールド
を結合して要求パケツトを形成するためにパケツトフオ
ーマツタ３４４によつて使用される。このパケツトはパ
ケツトルータ３２８に与えられ、パケツトルータ３２８
はこのパケツトを機能ブロツク５１６に示すように選択
回路３０８によつて選択されたネツトワークに径路指定
する。上述の動作は、メモリアクセス待ち時間を減らす
ため、並行的に進行することを許される。メモリ参照が
キヤツシユによつて満足されると、それ以上の処理は不
必要である。そうでない場合にはパケツトがどのように
ネツトワークに径路指定されるべきかを決定すべく、選
択回路３０８が多様な機能要素により与えられる情報を
使用する。その要求は未決要求に対する応答を受取るま
での間保留されるべきであるということを選択回路３０
８が決定した場合には、アクセスを要求しているプロセ
ツサに対するＨＯＬＤ ＰＫＴラインを活動化し、これ
によりメモリアクセスを凍結する。そうでない場合に
は、選択回路３０８が要求パケツトをネツトワークに径
路指定すべく、上述したにようにＳＥＬＥＣＴライン及
びＸＭＩＴ ＰＫＴラインを作動状態にする。

【００６５】図９は未決要求に応じて応答ネツトワーク
１１０からパケツトが届いたときに実行される動作を示
すフローチヤートである。機能ブロツク５２２におい
て、応答パケツトのメモリアドレスフイールドは応答パ
ケツトの対応するメモリフラグ１７０の前の状態を入手
すべく、メモリ状態テーブル３１２をアドレス指定する
ために使用される。メモリ状態テーブル３１２から読み
出された状態は、機能ブロツク５２４において、届いた
パケツト内のフラグにより表示される新しい状態と比較
される。次に判断ブロツク５２６において、状態が変わ
つたか否かを確認するためのテストがなされる。不一致
は「ホツト」から「クール」に又はその逆への状態の変
化を示す。状態が変化したとき、次に機能ブロツク５２
８においてメモリ状態テーブル３１２が新しい状態に更
新される。さらに機能ブロツク５３０においてホツトモ
ジユールカウンタ３２０も更新され、「クール」から
「ホツト」への変化であるときにはカウント値を大きく
し、そうでなければ小さくする。最後に機能ブロツク５
３２において、要求の完了を書くために、受取つた応答
に対応するエントリを未決要求テーブル３１６から取り
除く。もし応答パケツトが読出し応答を表していれば、
次に機能ブロツク５３４において、要求を出しているプ
ロセツサに関連するデータが送られる。

【００６６】上述の動作は、シーケンサからなる制御回
路によつて制御されても良い。これらの動作シーケンス
の記述からそうした回路を設計する手続きは良く知られ
ているので、これ以上の説明は当業者には不必要であろ
う。またこれらの動作がソフトウエアとして具体化され
ても良く、熟練したプログラマならば図８及び図９のフ
ローチヤートから容易にソースコードを書くことができ
る。上述においては、１つの好ましい実施例によつて本
発明を説明したが、請求の範囲の精神及び範囲から離れ
ることなく変更を加えて本発明を実施し得ることを、当
業者は認めるであろう。例えば、この好ましい実施例は
２つの切換えネツトワークを使用しているが、一層複雑
でダイナミツクな径路指定アルゴリズムを具体化するた
めに、３つ以上のネツトワークを使用することもでき
る。

【００６７】

【発明の効果】上述のように本発明によれば、プロセツ
サ−メモリ間に２つのバツフアをもつ多段切換えネツト
ワークを含む相互接続用ネツトワークを設け、当該２つ
の多段切換えネツトワークのトラフイツク状態の検出結
果に基づいてトラフイツクの割当て比率を制御するよう
にしたことにより、比較的簡易な構成によつてプロセツ
サ及びメモリ間のデータの転送効率を確実に高めること
ができる。

【図面の簡単な説明】

【図１】図１は本発明が適用されるべきマルチプロセツ
サコンピユータシステムの基本構成を示すと共に、プロ
セツサ−メモリ間通信のためのネツトワークＡ及びネツ
トワークＢとして同じ構成の２つのネツトワークを示す
ブロツク図である。

【図２】図２は図１のネツトワークコピーの一方の内部
構造を示すブロツク図である。

【図３】図３は相互接続ネツトワークを伝送されるメツ
セージパケツトのフオーマツトを示すと共に、各フイー
ルドをも示す略線図である。

【図４】図４は各メモリモジユール内に用いられる検出
機構の機能ブロツク図である。

【図５】図５は各プロセツサにおける径路指定制御を示
すと共に、ネツトワークへの要求を径路指定するのに必
要な機能要素を示すブロツク図である。

【図６】図６は図５の未決要求テーブルのフオーマツト
を示す略線図である。

【図７】図７は図５の選択回路の内部論理回路を示す接
続図である。

【図８】図８は図５に示した径路指定制御において実施
される制御機能の論理動作を示すフローチヤートであ
る。

【図９】図９は図５に示した径路指定制御において実施
される制御機能の論理動作を示すフローチヤートであ
る。

【符号の説明】

１００……演算処理要素、１０４……メモリモジユー
ル、１０６……相互接続システム、１０８、１１２……
多段切換えネツトワーク、１１０……応答ネツトワー
ク、１１６……切換え要素、１２２、１５０……宛先ア
ドレスフイールド、１２６、１５４……発信元アドレス
フイールド、１３０、１５８……パケツト識別子（ＰＩ
Ｄ）フイールド、１３４……演算コード（ＯＰＣＯＤ
Ｅ）フイールド、１３８、１６６……フラグフイール
ド、１４２、１７８……メモリアドレスフイールド、１
４６、１７８……データフイールド、１６２……演算結
果コード、１７０……メモリモジユール状態フラグ、２
００……シフトレジスタ、２１２……マルチプレクサ、
２１６……アツプダウンカウンタ、２２０、２２４、３
３２、３３６、４０８……アンドゲート、２２８、２３
２……比較器、２３６……ホツトモジユールフラグ、２
４０、３４４……パケツトフオーマツタ、３００……メ
モリアドレスバス、３０４……キヤツシユメモリ、３０
８……選択回路、３１２……メモリ状態テーブル、３１
６……未決要求テーブル、３２０……ホツトモジユール
カウンタ、３２４……アドレスバス、３２８……パケツ
トデフオーマツタ、３４０……モジユール状態ライン、
３４８……パケツトルータ、４００……オアゲート、４
１２、４２０、４２４、４２８、４３２……ゲート、４
０４……排他的論理和ゲート、４３６……フリツプフロ
ツプ回路。

フロントページの続き (72)発明者 アニユージヤン・マナグラ・バーマ アメリカ合衆国、ニユーヨーク州10520、 クロトン・オン・ハドソン、ドーブ・コー ト ４−０番地

Claims (15)

【特許請求の範囲】
1. 【請求項１】複数の演算処理要素及び複数のメモリモジ
   ユールを有する形式の共用メモリマルチプロセツサコン
   ピユータシステムについてプロセツサ−メモリ間のトラ
   フイツクの径路を指定する装置において、 少くとも２つの多段切換えネツトワークを有し、上記少
   くとも２つの多段切換えネツトワークはそれぞれ上記複
   数の処理要求及び上記複数のメモリモジユール間を相互
   接続する相互接続システムと、 各メモリモジユール内のトラフイツク不均一性を検出す
   る手段と、 上記複数の演算処理要素に各メモリモジユールの状態を
   通報するためのフイードバツク手段と、 各演算処理要素内において上記フイードバツク手段に応
   答して上記少くとも２つのネツトワークのうちの１つを
   選択することにより、一方は均一のトラフイツク条件に
   適しておりかつ他方は不均一のトラフイツク条件に適し
   ている２つの別個の径路指定法に基づいて要求の径路を
   指定する手段とを具えることを特徴とするプロセツサ−
   メモリ間のトラフイツク径路指定装置。
2. 【請求項２】上記選択手段は、 上記演算処理要素からのメモリアドレスによつてアドレ
   スされ、かつアドレスされたメモリモジユールの状態を
   示す第１出力を供給するメモリ状態テーブルと、 上記メモリ状態テーブルの上記第１出力に応答して選択
   出力を発生する選択回路と、 上記選択出力に応答して上記演算処理要素からのメモリ
   要求を上記切換えネツトワークのうちの１つに径路指定
   するパケツトルータ手段とを含むことを特徴とする特許
   請求の範囲第１項に記載のプロセツサ−メモリ間のトラ
   フイツクの径路指定装置。
3. 【請求項３】上記選択手段は、さらに、 上記演算処理要素のうちの対応するものからのメモリ要
   求が、上記少くとも２つの切換えネツトワークのうちの
   異なるものを通るように径路指定されるようにすること
   により順序が乱れることを防止する手段を含むことを特
   徴とする特許請求の範囲第２項に記載のプロセツサ−メ
   モリ間のトラフイツクの径路指定装置。
4. 【請求項４】上記メモリ要求が順序を乱さないように防
   止する手段は、 上記演算処理要素からの上記メモリアドレスによつてア
   ドレス指定されると共に、アドレス指定されたメモリモ
   ジユールが以前にアドレス指定されたことがありかつ当
   該メモリモジユールから未だ応答を受け取つていないか
   否かを示す第１出力と、以前の要求が径路指定された切
   換えネツトワークを識別する第２出力とを供給する未決
   要求テーブルと、 上記未決要求テーブルの上記第１出力によつて作動状態
   にされた上記選択回路において、上記第２出力を選択さ
   れた切換えネツトワークと比較して一致するか否かを確
   認し、一致したとき上記演算処理要素に対してホールド
   パケツト出力を発生する比較手段とを具えることを特徴
   とする特許請求の範囲第３項に記載のプロセツサ−メモ
   リ間のトラフイツクの径路指定装置。
5. 【請求項５】前記選択手段は、さらに、 上記フイードバツク手段に応答して不均一なトラフイツ
   ク状態を有するメモリモジユールのカウントを保持する
   カウンタ手段を具えることを特徴とする特許請求の範囲
   第２項に記載のプロセツサ−メモリ間のトラフイツクの
   径路指定装置。
6. 【請求項６】上記トラフイツクの不均一を検出する手段
   は、 上記各メモリモジユール内において、当該モジユールに
   対するトラフイツクの監視に基づいてメモリモジユール
   をホツト又はクールと認定する検出手段を含むことを特
   徴とする特許請求の範囲第１項に記載のプロセツサ−メ
   モリ間のトラフイツクの径路指定装置。
7. 【請求項７】上記検出手段は、 予め定められたサイクル数の期間の間、メモリモジユー
   ルに対する要求の数をカウントするウインドウ手段と、 上記ウインドウ手段に接続されて上記ウインドウ手段内
   のカウントを予め定められた第１及び第２スレシヨルド
   と比較する比較手段と、 上記第１スレシヨルドを超過している上記カウントによ
   つてセツトされかつ上記第２スレシヨルドを下回つてい
   る上記カウントによつてリセツトされるフラグ手段とを
   含むことを特徴とする特許請求の範囲第６項に記載のプ
   ロセツサ−メモリ間のトラフイツクの径路指定装置。
8. 【請求項８】上記予め定められた第１及び第２スレシヨ
   ルドは上記マルチプロセツサコンピユータシステムのオ
   ペレーテイングシステムによつてセツトされることを特
   徴とする特許請求の範囲第７項に記載のプロセツサ−メ
   モリ間のトラフイツクの径路指定装置。
9. 【請求項９】上記ウインドウ手段はメモリ要求をカウン
   トする期間のサイクル数をプログラマブルに変更できる
   ことを特徴とする特許請求の範囲第７項に記載のプロセ
   ツサ−メモリ間のトラフイツクの径路指定装置。
10. 【請求項１０】上記相互接続システムは、上記メモリモ
    ジユールからの応答データを上記演算処理要素に径路指
    定する応答ネツトワークを含み、 上記フイードバツク手段は、上記応答ネツトワークに接
    続された上記各モジユールに設けられ、かつ上記応答デ
    ータを受取つて上記フラグ手段に応答して上記モジユー
    ルにおけるトラフイツク不均一を示すフラグを挿入する
    パケツトフオーマツタ手段を含むことを特徴とする特許
    請求の範囲第７項に記載のプロセツサ−メモリ間のトラ
    フイツクの径路指定装置。
11. 【請求項１１】上記選択手段は、 上記演算処理要素からのメモリアドレスによつてアドレ
    スされると共に、アドレスされたメモリモジユールの状
    態を示す第１出力を供給するメモリ状態テーブルと、 上記メモリ状態テーブルの上記第１出力に応答して選択
    出力を発生する選択回路と、 上記選択出力に応答して上記演算処理要素からのメモリ
    要求を上記切換えネツトワークのうちの１つに径路指定
    するパケツトルータ手段とを含むことを特徴とする特許
    請求の範囲第１０項に記載のプロセツサ−メモリ間のト
    ラフイツクの径路指定装置。
12. 【請求項１２】上記選択手段は、さらに、 上記演算処理要素のうちの対応するものからのメモリ要
    求が上記少くとも２つの切換えネツトワークのうちの異
    なるものを通るように径路指定されるようにすることに
    より、上記要求の順序が乱れることを防止する手段を含
    むことを特徴とする特許請求の範囲第１１項に記載のプ
    ロセツサ−メモリ間のトラフイツクの径路指定装置。
13. 【請求項１３】上記メモリ要求の順序が乱れることを防
    止する手段は、 上記演算処理要素からの上記メモリアドレスによつてア
    ドレスされると共に、アドレスされたメモリモジユール
    が以前にアドレスされたことがありかつ当該モジユール
    から未だ応答を受取つていないか否かを示す第１出力
    と、以前の要求が径路指定された切換えネツトワークを
    識別する第２出力とを供給する未決要求テーブルと、 上記未決要求テーブルの上記第１出力によつて作動状態
    にされた上記選択回路において、上記第２出力を選択さ
    れた切換えネツトワークと比較して一致するか否かを確
    認し、一致したとき、ホールドパケツト出力を上記演算
    処理要素に対して発生する比較手段とを具えることを特
    徴とする特許請求の範囲第１２項に記載のプロセツサ−
    メモリ間のトラフイツクの径路指定装置。
14. 【請求項１４】上記各演算処理要素内の手段は、さら
    に、上記応答しているメモリモジユールのアドレスを第
    １出力として供給しかつ上記応答しているメモリモジユ
    ールの状態を第２出力として供給するパケツトデフオー
    マツタを含み、 上記選択手段は、さらに、上記デフオーマツタの上記第
    ２出力に応答して不均一トラフイツク状態を有するメモ
    リモジユールのカウンタを保持するカウンタ手段を含
    み、 上記第１出力及び上記第２出力は上記メモリ状態テーブ
    ルを更新するために上記メモリ状態テーブルに与えら
    れ、 上記第１出力は上記未決要求テーブルを更新するために
    上記未決要求テーブルに与えられることを特徴とする特
    許請求の範囲第１３項に記載のプロセツサ−メモリ間の
    トラフイツクの径路指定装置。
15. 【請求項１５】少くとも２つの多段切換えネツトワーク
    によつて相互接続されている複数の演算処理要素及び複
    数のメモリモジユールを含んでいる形式の共用メモリマ
    ルチプロセツサコンピユータシステムにおいてプロセツ
    サ−メモリ間のトラフイツクを径路指定する方法であつ
    て、 各メモリモジユールにおけるトラフイツク不均一を動的
    に検出するステツプと、 上記複数の演算処理要素に対して各メモリモジユールに
    ついてトラフイツクの均一又は非均一を示す各メモリモ
    ジユールの状態を通知するステツプと、 上記少くとも２つのネツトワークのうちの一方を選択す
    ることにより２つの異なる径路指定法に基づいて要求を
    径路指定するステツプとを含み、 上記２つの異なる径路指定法のうちの一方は均一トラフ
    イツク状態に適し、かつ他方は不均一トラフイツク状態
    に適することを特徴とするプロセツサ−メモリ間のトラ
    フイツクの径路指定方法。