JPH08320839A

JPH08320839A - 分散型データ処理システム

Info

Publication number: JPH08320839A
Application number: JP8079177A
Authority: JP
Inventors: James Thomas Brady; ジェイムズ・トーマス・ブラディ; Damon W Finney; デイモン・ダブリュー・フィネイ; Michael Howard Hartung; マイケル・ハワード・ハーツング; Paul W Hunter; ポール・ウェイン・ハンター; Michael Anthony Ko; マイケル・アントニー・コウ; Donald J Lang; ドナルド・ジェイ・ラング; Noah R Mendelsohn; ノア・アール・メンデルゾーン; Jaishankar Moothedath Menon; ジェイシェンカー・ムーセダス・メノン; David Ronald Nowlen; ディビッド・ロナルド・ナウレン
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1995-05-24
Filing date: 1996-04-01
Publication date: 1996-12-03
Anticipated expiration: 2016-04-01
Also published as: KR100219350B1; US5675736A; JP3365705B2; KR960042414A; EP0744851A1

Abstract

(57)【要約】【課題】長いデータ・メッセージの存在にも拘わらず
制御メッセージの迅速なディスパッチが可能なマルチノ
ード・データ処理システムを提供する。【解決手段】双方向通信リンクにより相互に接続され
た複数のノードを含む分散型データ処理システムであっ
て各ノードが、制御メッセージを扱うための制御メッセ
ージ・ラインと、制御メッセージを記憶するための制御
メモリと、データ・メッセージを扱うデータ・メッセー
ジ・ラインと、データ・メッセージを記憶するデータ・
メモリとを有する。ノード内のプロセッサは、データ・
メッセージ・ラインをキューさせると共にデータ・メモ
リからのデータ・メッセージをディスパッチし、そして
制御メッセージ・ラインをキューさせると共に制御メモ
リからの制御メッセージをディスパッチする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ノード間通信リン
クの分散型交換を利用するマルチノード(multi-node)・
ネットワークに関し、特に、制御メッセージ及びデータ
・メッセージが、ノード内の別々のパスに沿って処理さ
れるマルチノード・ネットワークに関する。

【０００２】

【従来の技術】低コストのマイクロプロセッサの利用に
より、分散型マルチノード・データ・プロセッサが多用
されるようになってきた。このようなシステムは複数の
ノードを含み、各ノードがマイクロプロセッサを備えて
いる。所与のシステムにおいては、複数のノードが固定
回路により相互接続され、また別のシステムにおいて
は、複数のノードが集中型交換器を介して相互接続され
る。これらのシステムは大きな課題の解決のためにしば
しば適用され、その場合には各ノードがその課題の異な
る個々の部分に関して並列に動作し、それらの結果が出
力ノードにおいて結合される。他のマルチノード・シス
テムには、ディスク・ドライブ・メモリの制御装置等の
制御機能を構築するために用いられるものがある。これ
らのシステムにおけるデータ転送は、一般的にディスク
・ドライブの複数のトラックからのデータを含む長いデ
ータ・メッセージからなる。一方、これらのシステムに
おけるノード間の制御メッセージは比較的短い。長いデ
ータ・メッセージのみならず制御メッセージのディスパ
ッチを行うこともできるよう個々のノードに制御論理が
設けられている。しかしながら、このようなノード内で
は、データ・メッセージと制御メッセージとが共通の入
出力（Ｉ／Ｏ）ポートを介して処理されるため、制御メ
ッセージの処理において不測の遅延を生じてしまうこと
が多々ある。

【０００３】従来、ネットワークにおいてノード間でデ
ータ・メッセージ及び制御メッセージを経路設定(routi
ng)するための多くの技術が開示されている。Flaigらに
よる米国特許第５１０５４２４号に開示された分散型ノ
ード間メッセージ経路設定システムは、各ノードが、ネ
ットワークの各ディメンジョンのための個別の経路設定
制御回路を有する。当該特許に係るシステムでは、各ノ
ードが、メッセージ・パケットの次の送信先に従ってそ
のパケットに対して経路設定方向を追加する。そして各
パケットは、経路設定回路により、送信先ノードへの経
路上にある次のノードへとディスパッチされる。各ノー
ド・インタフェースには、システム内の他のノードの場
所及び各ノードへの対応する経路を記憶したメモリ・マ
ップがある。経路設定回路は、メッセージ・パケットに
対して追加する経路情報を決定するために記憶されたメ
モリ・マップにアクセスする。

【０００４】Buschによる米国特許第３６７６８４６号
は、集中型メッセージ・バッファ・システムを開示す
る。低速の送信元からのメッセージは、入力データを一
時的に記憶しそれをデータ・ブロックのストリングへ配
列させる周辺コンピュータの中にバッファされる。そし
てこれらのストリングは、高速データ転送のメッセージ
として中央ホスト・コンピュータへと伝送される。Fung
による米国特許第４３８００４６号は、大規模な並列処
理プロセッサ・システムを開示する。この場合、並列デ
ータが処理され、また個々のプロセッサの間のデータ転
送を可能とするために双方向データ・バスが用いられ
る。

【０００５】Hillisらによる米国特許第５１１７４２０
号は、メッセージ・パケットのための経路設定技術を開
示している。これによれば、メッセージ・パケットがそ
のルータ(router)に関係する処理ノードへアドレス指定
されているか否かが最初に判断される。アドレス指定さ
れていない場合、ルータは、可能であればメッセージ・
パケットをそれらの送信先へと振り向け、それができな
ければ回路競合のために経路設定することができないメ
ッセージ・パケットを記憶しておく。さらにルータは、
同じ送信先へアドレス指定されたメッセージ・パケット
を併合することも、またノード・アレイ内の複数のプロ
セッサ・ノードに対してメッセージ・パケットを選択的
に同報通信することもできる。Cokによる米国特許第４
９４２５１７号は、トーラス(torus)状の分散型メモリ
の並列コンピュータを開示している。これは、複数行の
プロセッサを有し、各プロセッサが独立のメモリを具備
する。共通の入出力チャネルは、単一行のプロセッサへ
接続されるように、その行の中の各プロセッサに関連す
るバッファにより適応される。

【０００６】このように既に多くのネットワーク相互接
続方式があるにも拘わらず、長いデータ・メッセージが
伝送される間に制御メッセージの伝送が妨げられる場合
に発生する問題を克服する方法は、提示されていない。
さらに、ネットワークの個々のノード内では、データ・
メッセージの処理を待つ必要なく制御メッセージが迅速
に処理されることが肝要である。

【０００７】

【発明が解決しようとする課題】以上により、本発明の
目的は、データ・メッセージ及び制御メッセージを処理
するための優れた機能をもつマルチノード・データ処理
システムを提供することである。

【０００８】本発明の更なる目的は、長く続くデータ・
メッセージが存在する場合であっても、制御メッセージ
の迅速なディスパッチができるよう構築されたマルチノ
ード・データ処理システムを提供することである。

【０００９】本発明の更なる目的は、メッセージ経路設
定回路がノードのプロセッサから独立して動作可能であ
ることにより、メッセージ転送処理の間であってもノー
ド内処理を続けることができるマルチノード・データ処
理システムを提供することである。

【００１０】

【課題を解決するための手段】分散型データ処理システ
ムは、双方向通信リンクにより相互に接続された複数の
ノードを含む。各ノードは、制御メッセージを扱うため
の制御メッセージ・ラインと、制御メッセージを記憶す
るための制御メモリとを有する。各ノードはさらに、デ
ータ・メッセージを扱うデータ・メッセージ・ライン
と、データ・メッセージを記憶するデータ・メモリとを
有する。ノード内のプロセッサは、データ・メッセージ
・ラインをキュー(queue)させると共にデータ・メモリ
からのデータ・メッセージをディスパッチし、そして制
御メッセージ・ラインをキューさせると共に制御メモリ
からの制御メッセージをディスパッチする。各ノード
は、Ｎ個の双方向通信リンクを具備することにより、制
御メッセージ・ラインとデータ・メッセージ・ラインと
を合わせたものの少なくとも２倍の入出力帯域幅をもつ
ことができる。入出力交換器(input/output switch)は
経路設定プロセッサを具備し、Ｎ個の双方向通信リン
ク、データ・メッセージ・ライン、及び制御メッセージ
・ラインの間に接続される。入出力交換器は、経路設定
プロセッサからの出力に従って制御メッセージ又はデー
タ・メッセージのいずれかを少なくとも１つの双方向通
信リンク上へディスパッチする。これにより、各双方向
通信リンクは制御メッセージ又はデータ・メッセージの
いずれかを搬送することができる。双方向通信リンク
が、制御メッセージ又はデータ・メッセージのいずれか
のためにビジー状態となっている場合、経路設定プロセ
ッサはキュー状態のメッセージをディスパッチできるよ
うに、更に１つの双方向通信リンクを増やす。

【００１１】

【発明の実施の形態】図１は、ディスク・ドライブ制御
アレイとして構築されたマルチノード・ネットワーク１
０を示すブロック図である。ノードＡ及びＤはデータ記
憶ノードであり、対となっているディスク・ドライブ１
２、１４及び１６、１８へそれぞれ接続される。一対の
通信インタフェース・ノードＢ及びＣには、複数のホス
ト・プロセッサとの入出力機能が設けられる。ホスト・
プロセッサは、マルチノード・ネットワークのデータ記
憶機構を利用する。キャッシュ・ノードＥには、ネット
ワーク１０と１又は複数のホスト・プロセッサとの間の
データ転送機能の入力及び出力のための一時的記憶機構
が設けられる。マルチノード・ネットワーク１０は、更
なるノードを追加することにより拡張可能であり、これ
ら全てのノードが、相互通信ネットワーク２０により相
互に接続される。

【００１２】ノードＡ〜Ｅの各々は、図２に示す共通ノ
ード配置から構築される。各ノードは、そのノードの全
機能を制御するノード・プロセッサ２２を有する。さら
に各ノードは、制御メッセージを受信し、記憶し、かつ
ディスパッチする制御メッセージ・ライン２４、及びデ
ータ・メッセージを受信し、記憶し、かつディスパッチ
するデータ・メッセージ・ライン２６を有する。制御メ
ッセージ・ライン２４は、制御メモリ・インタフェース
・モジュール２７とダイナミックＲＡＭ(ＤＲＡＭ)２８
とを具備する。各データ・メッセージ・ライン２６は、
データ・バッファ・インタフェース・モジュール３０と
ＤＲＡＭ３２とを具備する。データ・バッファ・インタ
フェース・モジュール３０は、複数のデバイス・インタ
フェース３４、３６等へ接続され、そしてこれらのデバ
イス・インタフェースが、関連するディスク・ドライブ
３８、４０等へのインタフェースを設けている。制御メ
モリ・インタフェース２７、プロセッサ２２等から発せ
られた制御メッセージは、様々なノードの動作の制御を
可能とする。

【００１３】図２のノードがキャッシュ・ノードとして
利用される場合、データ・メッセージ・ライン２６内の
ＤＲＡＭ３２の大きさは、このノードが通信インタフェ
ース・ノード又はデータ記憶ノードとして構築された場
合よりも大きくなる。ノードが通信インタフェース・ノ
ードとして構築された場合には、通信アダプタ（図示せ
ず）を具備することにより、外部のホスト・プロセッサ
への接続が可能となる。

【００１４】以下の説明により明らかとされるが、マル
チノード・ネットワーク１０のアーキテクチャは、長い
データ・メッセージ及び多様な短い制御メッセージの双
方を効率的に扱うことができるよう構築されている。長
いデータ・メッセージは、ディスク・ドライブに対する
入出により発生するのが特徴であり、短い制御メッセー
ジは、ネットワーク及び個々のノードのオペレーション
を可能とするために必要である。各ノード内で、それぞ
れの制御メッセージ・ライン及びデータ・メッセージ・
ラインは、制御メッセージとデータ・メッセージとを分
離することができ、そして各ノードに設けられる入出力
交換器４２に対して独立した処理及び転送が可能であ
る。入出力交換器４２は、１又は複数の通信リンク４４
へ到着しそして別のノードへ向けられるメッセージを独
立して交換することが可能な装置を具備する。各ノード
は、存在するラインの少なくとも２倍の通信リンク４４
を設けることが好ましい。これにより、ノード内に存在
するものよりも少なくとも２倍の通信帯域幅を各ノード
に提供することができる。

【００１５】通信リンク４４の各々は、別のノードへ接
続される。これにより状況に応じて、接続されたノード
へ直接メッセージを経路設定することも、又は接続され
たノードを介して別のノードへメッセージを経路設定す
ることもできる。入出力交換器４２は、任意の通信リン
ク４４からのメッセージを他の任意の通信リンク４４へ
と振り向けることができる。さらに入出力交換器４２
は、多様なリンクの現在の状態に応じて、使用するに最
適な通信リンク４６を動的に選択することができる。各
々の通信リンク４４は独立しており、データ・メッセー
ジ又は制御メッセージのいずれについても使用可能であ
る。

【００１６】上記のノード構造により構築された分散型
ネットワークにおいては、全てのメッセージ交換機能を
全ノードに分散することができるので、集中型交換制御
の必要性が排除される。制御メッセージとデータ・メッ
セージとが分離され実質的に独立に扱われるのはノード
内においてのみである。各入出力交換器４２は、同じ方
法で制御メッセージとデータ・メッセージとを取り扱
う。さらに、このようなノード間多重リンクによってシ
ステムは、１又は２、３のノードの故障の際にも高レベ
ルの堅固さ及び冗長性を与えられる。

【００１７】図３は、入出力交換器４２をさらに詳細に
示したブロック図である。通信リンク４４の各々は、双
方向性であってリンク・アダプタ５０とインタフェース
する。ここでは５個のリンク・アダプタが図示され、各
々が別のノードと全二重通信可能であることを注記す
る。各リンク・アダプタ５０は、好適には、１００メガ
バイト／秒の全二重トランシーバであって小さい先入れ
先出しバッファを含み、経路設定交換器５２からのデー
タ又は通信リンク４４を介して接続された別のノードか
らのデータを非同期的クロックにより処理する。

【００１８】経路設定プロセッサ５４は、出ていくメッ
セージの場合には、制御メッセージ・ライン・インタフ
ェース５８又はデータ・メッセージ・ライン・インタフ
ェース６０のいずれかから送信先アドレスを受け取る。
これに応じて経路設定プロセッサ５４は、（メッセージ
が異なるノードを送信先としている場合）経路テーブル
５６へアクセスし、経路設定交換器５２の状態を検査
し、そしてメッセージの伝送に最適なリンク・アダプタ
５０を選択する。メッセージが当該ノードに対するもの
であれば、経路設定プロセッサ５４は、状況に応じて制
御ライン又はバッファ・ラインのいずれかを選択する。
経路設定プロセッサ５４は、全てのリンクがビジー状態
であることが判明した場合、ノード・プロセッサ２２に
対してビジー標示を送り返す。

【００１９】さらに入出力交換器４２は、ノード・セッ
トアップ回路を有する。ノード・セットアップ回路は、
制御メッセージ・ライン・インタフェース５８へ接続さ
れ、入出力交換器４２を初期化しまたこれから状態情報
を読出すために用いられる。基本的セットアップ機能
は、経路テーブル５６の初期化である。経路テーブル５
６は、予想される全てのノード・アドレスの各々に対す
る個々のエントリを有する。各ノード・アドレス・エン
トリは、さらに、そのノード・アドレスへの最短経路で
ある基本リンク・アダプタ及びこの基本リンク・アダプ
タが使用できない場合の代わりの３つのリンク・アダプ
タを指定する。メッセージが中間ノードを介して経路設
定され基本通信パスが選択されないとき、経路設定プロ
セッサ５４は、使用可能なリンク・アダプタが見つかる
まで次の代わりのリンク・アダプタを選択する。リンク
・アダプタが見つからない場合、そのメッセージを出し
たノードにおいて割込みが発生される。

【００２０】制御メッセージ・ライン・インタフェース
５８に制御メッセージが入ったとき、又はデータ・メッ
セージ・ライン・インタフェース６０にデータ・メッセ
ージが入ったとき、経路設定プロセッサ５４は、送信先
アドレスを検査し、そして経路テーブル５６及び経路設
定交換器５２からのビジー／非ビジー情報に従って使用
可能なリンク・アダプタを介してそのメッセージを経路
設定する。ここで、入出力交換器４２内では、データ・
メッセージと制御メッセージとが、転送待ち状態の独立
したメッセージとして同様に取り扱われることを注記す
る。入出力交換器４２は、制御メッセージ・ライン及び
データ・メッセージ・ラインの双方で使用可能なものの
少なくとも２倍の帯域幅を含むので、メッセージ転送
は、不測の遅延を生じることなく実行される。従って、
送信（又は受信）のプロセスに存在し得る非常に長いデ
ータ・メッセージの完了を待つ必要なく制御メッセージ
がディスパッチされる。

【００２１】経路設定プロセッサ５４は、好適には、制
御メッセージ・ライン・インタフェース５８又はデータ
・メッセージ・ライン・インタフェース６０のいずれか
からメッセージを受け入れる。これは、最初にいずれの
インタフェースが送信可能なメッセージを示すかに依存
する。制御メッセージとデータ・メッセージとの間に競
合(tie)が発生した場合、経路設定プロセッサ５４は、
先ず制御メッセージを送信することが好ましいであろ
う。なぜなら、制御メッセージは、データ・メッセージ
に比べて非常に短いメッセージだからである。

【００２２】経路設定交換器５２は、汎用的には、７×
７の非ブロッキング回路交換器であって、任意のリンク
・アダプタ５０、制御メッセージ・ライン・インタフェ
ース５８、及びデータ・メッセージ・ライン・インタフ
ェース６０の間の通信を可能とする。経路設定プロセッ
サ５４は、経路設定交換器５２を介して１又は複数のリ
ンク・アダプタ５０へメッセージを伝送するべく適応さ
れている。経路指定プロセッサ５４は、メッセージのヘ
ッダに含まれる１又は複数の値に応じて、そのメッセー
ジに対して１又は複数のリンク・アダプタを割当てるこ
とができ、これにより「ウェイブ・フロント(wavefron
t)」型のメッセージ経路指定を実行する。しかしなが
ら、別のノードへ振り向けられるためにリンク・アダプ
タ５０を介して受信されるメッセージについては、経路
設定プロセッサ５４は、ノード・プロセッサ２２にアク
セスすることなく又はノード・プロセッサ２２内に割込
みを発生させることなくそのメッセージの再経路設定を
実行する。このような方法で、ノード・プロセッサ２２
との相互作用の必要なく、マルチノード・ネットワーク
内のメッセージ経路設定が実質的に実行される。これに
より、各ノードのプロセッサ２２は、その内部のノード
機能の動作に集中することができる。

【００２３】図４は、制御メモリ・インタフェース・モ
ジュール２７をさらに詳細に示したブロック図である。
交換器７０は、制御メモリ・インタフェース２７内の様
々な機能の間の通信を可能とする。これらの機能は、プ
ロセッサ・バス・インタフェース７２、命令実行ユニッ
ト７４、ＤＲＡＭ制御装置７６、ローカル制御バス・イ
ンタフェース７８、出力ポート論理８０、及び入力ポー
ト論理８２である。ＤＲＡＭ制御装置７６は、オペラン
ド・メモリ・バス８４を介してランダム・アクセス・メ
モリを付設することができる。

【００２４】プロセッサ・バス・インタフェース７２
は、ノード・プロセッサ２２へのインタフェースであ
り、メモリ・フェッチ及び記憶を可能とするパスを提供
する。命令実行ユニット７４は、実行されるべき命令と
して所与のメモリ・レジスタに対してデータを解釈し、
フェッチし、そして記憶する。全てではないがいくつか
の命令は、このユニットで実行される。これらの命令の
いくつかについては後述する。実際に、命令実行ユニッ
ト３２は、ノード・プロセッサ２２と特に関わることな
く所与の命令を迅速に処理することができる。

【００２５】日時クロック８６は、クロック加算器及び
クロック比較器（図示せず）の双方を含む。各ノードに
おける各日時クロック８６は、他のノードにおける日時
クロックと定期的に再同期される。命令実行ユニット７
４は、日時クロック８６をセットし、読み出し、そして
制御する機能を有する。

【００２６】ローカル制御バス・インタフェース７８
は、ノード・プロセッサ２２と、データ・バッファ・イ
ンタフェース３０及びこれに接続された様々なデバイス
・インタフェース３４、３６．．．（図２）との間のア
クセスを可能とする。ノード・プロセッサ２２は、ロー
カル制御バス７８を介して多くの機能を実行することが
できる。例えば、データ・メモリ３２へのフェッチ及び
記憶、１又は複数のデバイス・インタフェース３４、３
６への命令の発生、制御メッセージ・ライン２４からデ
ータ・メッセージ・ライン２６への及びその逆のデータ
転送である。

【００２７】出力ポート論理８０は複数のキュー９０を
含み、これらには様々なレベルの優先度をもつメッセー
ジがキューされ、伝送されるのを待つ。出力ポート論理
８０は、次の低い優先度のキューへ進む前に、最も高い
優先度のキュー内の各メッセージを伝送しようとする。
メッセージは、同じノードの制御メッセージ・ライン・
インタフェース５８を介して出力ポート論理８０から入
力ポート論理８２へ送ることができるが、通常、このよ
うなメッセージは、入出力交換器４２を介して他のノー
ドへ送られる。

【００２８】入力ポート論理８２は、制御メッセージ・
ライン・インタフェース５８から制御メッセージを受信
して、それらを一時的にバッファする。そしてクラス
（すなわち、ハードウェアによる実行か又はプロセッサ
による実行か）に従って制御メッセージをデコードし、
そしてハードウェア実行メッセージは、メッセージ実行
ユニット８３へ送られ、そこで実行される。プロセッサ
実行メッセージは、ＤＲＡＭ２８内のメモリ・アドレス
へ受信される。このメッセージ構造は、受信された制御
メッセージのヘッダのコードにより要求される機能に対
応する論理入力データ構造である。その後において適宜
その機能が実行される。

【００２９】図５は、バッファ・インタフェース・モジ
ュール３０を詳細に示したブロック図である。構造的に
は制御メモリ・インタフェース・モジュール２７に類似
しているが、日時クロック、メッセージ実行ユニット及
びプロセッサ・バス・インタフェースを含んでいない。
データ・バッファ・インタフェース・モジュール３０
は、接続される様々な機能間の通信を可能とする経路設
定交換器１００の周りに構築される。ＤＲＡＭ制御装置
１０２は、データ・メモリ３２へアクセスすることがで
きる。ローカル制御バス・インタフェース１０４は、制
御メモリ・インタフェース・モジュール２７と相互に接
続され、制御メッセージを受信しかつ送信することがで
きる。データ・バス・インタフェース１０６は、デバイ
ス・インタフェース・モジュール３４、３６及びこれら
にそれぞれ接続されたディスク・ドライブに対してアク
セスすることができる。出力ポート論理１０８及び入力
ポート論理１１０は、制御メモリ・インタフェース・モ
ジュール２７の入出力ポート論理とほとんど同様の形態
で構築されるが、この中で処理されるデータ構造はさら
に複雑である。命令実行ユニット１１０は、データ・メ
ッセージ・ライン機能に関係するハードウェア実行メッ
セージを実行する。

【００３０】上記の制御及びデータのメッセージ・ライ
ン構造の結果として、制御メッセージとデータ・メッセ
ージが、実質的に独立して取り扱われる。これによっ
て、長いデータ・メッセージがキューされ伝送される一
方で制御メッセージが処理され伝送されるのを待つこと
が同時に可能となる。この結果、長いデータ・メッセー
ジの処理に制御メッセージを割込ませる必要がなくな
る。このような割込みには、保存、ロード、及び再ロー
ドの多くの状態が必要であるため、データ・メッセージ
の処理に深刻なオーバヘッドを生じることとなる。例え
ば、ディスク・ドライブからのデータ・メッセージの転
送の場合、ノード間のデータ・メッセージ転送が関連す
る制御メッセージによって少なくとも５回は割込みされ
ることになるであろう。これによってこのメッセージの
有効な帯域幅は非常に狭くなってしまう。

【００３１】さらに本システムは、無制限に長いメッセ
ージを使用することができる。従って従来の、（制御メ
ッセージのパケットを挿入するために）メッセージを特
定の長さのメッセージ・セグメントへ分離するパケット
型交換システムとは異なるものである。メッセージの多
数のフィールドを単一のメッセージに連結できることに
よって無制限に長いデータ・メッセージが実現される。
各フィールドは、その長さを特定するデリミタ及びそれ
に続くＣＲＣ(cycric redundancy check)コードを含
む。これによって、ＣＲＣコードの誤り検出能力を超え
ることなく、データを１つのメッセージで送信すること
が可能となる。

【００３２】制御メッセージは、好適には、２つのクラ
スにサブ分割される。制御メッセージは、入力ポート論
理８２内のクラスによりデコードされる。一方のクラス
は、そのノードのプロセッサにより処理されなければな
らない制御メッセージであり、他方のクラスは、そのノ
ードのプロセッサの介入を必要とせずそのノードのハー
ドウェア内で処理可能な制御メッセージである。後者の
クラスの制御メッセージは、ロック・メッセージ及び状
態抽出メッセージである。ロック・メッセージは、１つ
のノードが別のノードのプロセッサと関わることなくそ
の別のノードの１又は複数のロックを獲得し又は解放す
ることを可能とする。これにより、ロックを獲得するた
めの応答時間及びオーバヘッドが２分の１以下に低減さ
れ、そして要求しているノードがそのロックを同期的に
操作することが可能となる。すなわち、別のタスクのデ
ィスパッチを必要としないことであり、実質的に本シス
テムの応答性を向上させることとなる。

【００３３】状態抽出メッセージは、１つのノードが別
のノードのプロセッサと関わることなくその別のノード
から状態情報を抽出することを可能とする。このような
制御メッセージの一例として、ノードのメモリに記憶さ
れたデータの一部を読出させ、それを要求しているノー
ドへ送り返す制御メッセージがある。このような制御メ
ッセージは、メモリ・インタフェース２６内の命令実行
ユニット７４で直接処理される。これらの一例として
「送信先アドレスを読取れ」というコマンドがあり、こ
のコマンドにより送信先ノードのメモリ場所からデータ
をフェッチさせる。この制御メッセージの実体はマルチ
バイトのメモリ・アドレスを含み、送信先ノードにおい
てこの制御メッセージが受信されると、その送信先ノー
ドの命令実行ユニット７４は、この制御メッセージの実
体からのデータをこの制御メッセージの実体により指定
されたメモリ場所へと書込む。この制御メッセージの再
ディスパッチにより、アクセスされたデータを要求して
いるノードへと搬送する。別の制御メッセージの例とし
ては、「複数データを書込め」というものがあり、任意
の数のデータ・ワードが連続したメモリ場所に記憶され
る。この制御メッセージの実体は、メモリ・アドレス
と、書込まれる１又は複数のデータ・ワードとからな
り、そのメモリ・アドレスから始まっている。

【００３４】以上の記述は、本発明を説明するためのも
のにすぎないことを理解されたい。当業者であれば本発
明から逸脱することなく様々な代替や修整が工夫できる
であろう。例えば、図２におけるＤＲＡＭ２８及び３２
は、別々のモジュールとして示されているが、物理的実
施態様においては、単一のメモリ・モジュールの中の２
つの部分として設けてもよい。さらに、制御メモリ・イ
ンタフェース２７及びデータ・バッファ・インタフェー
ス３０の機能は、好適には、単一のインタフェース・モ
ジュールに組み込んでもよい。従って本発明は、このよ
うな全ての代替、修整、及び変形を包含するものとす
る。

【００３５】まとめとして、本発明の構成に関して以下
の事項を開示する。

【００３６】（１）双方向通信リンクによる相互接続さ
れた複数のノードを含む分散型データシステムであっ
て、制御メッセージを処理する制御メッセージ手段と、
前記制御メッセージ手段へ接続されかつ前記制御メッセ
ージを記憶する制御メモリ手段と、データ・メッセージ
を処理するデータ・メッセージ手段と、前記データ・メ
ッセージ手段へ接続されかつ前記データ・メッセージを
記憶するデータ・メモリ手段と、前記の各手段へ接続さ
れ、前記データ・メモリ手段からの前記データ・メッセ
ージをキューさせかつディスパッチすると共に、前記制
御メッセージ手段からの前記制御メッセージをキューさ
せかつディスパッチするプロセッサ手段と、Ｎが２以上
の整数である場合のＮ個の双方向通信リンクと、前記Ｎ
個の双方向通信リンクと前記データ・メッセージ手段及
び前記制御メッセージ手段との間に接続されかつ経路設
定手段を含み、該経路設定手段の出力に従って前記制御
メッセージ又は前記データ・メッセージのいずれかを前
記Ｎ個の双方向通信リンクの少なくとも１つへディスパ
ッチする入出力交換器手段とを有する分散型データ処理
システム。（２）双方向通信リンクを介して受信されたメッセージ
が別のノードへ送信されたものである場合に、該メッセ
ージに応じて前記経路設定手段が、前記プロセッサ手段
のオペレーションと関わることなく該メッセージを該別
のノードへ振り向ける上記（１）に記載の分散型データ
処理システム。（３）前記入出力交換器手段が、データ・メッセージ及
び制御メッセージを、これらのメッセージをそれぞれ受
信した順にディスパッチし、該データ・メッセージと該
制御メッセージとが実質的に同時に受信された場合に該
制御メッセージを該データ・メッセージの前にディスパ
ッチする上記（１）に記載の分散型データ処理システ
ム。（４）前記経路設定手段が各送信先ノードについてのエ
ントリを含み、前記エントリが該送信先ノードに送られ
るメッセージに対して割当てられる基本双方向通信リン
ク及び該基本双方向通信リンクがビジー状態の場合に使
用される複数の別の双方向通信リンクを指定する上記
（１）に記載の分散型データ処理システム。（５）前記経路設定手段が、メッセージに付加される送
信先ノードについての各アドレスに含まれる値を用い
て、該送信先ノードへの該メッセージの送信が１つの双
方向通信リンクにより行われるか又は複数の双方向通信
リンクにより行われるかを判断する上記（１）に記載の
分散型データ処理システム。（６）前記経路設定手段が、受信されたメッセージのア
ドレス・ヘッダ情報に応じて該情報が別のノードを示す
か否かを判断し、そして別のノードを示す場合には、前
記プロセッサ手段と全く関わることなく前記テーブル手
段内の該情報に対応するエントリにアクセスすることに
より該メッセージのディスパッチを行うことができる上
記（４）に記載の分散型データ処理システム。（７）前記Ｎが５である上記（１）に記載の分散型デー
タ処理システム。（８）前記プロセッサ手段が、前記データ・メッセージ
手段及び前記データ・メモリ手段を制御することにより
無制限に長いデータ・メッセージを誤り検査のために適
宜挿入されるＣＲＣコードと組合せ、該ＣＲＣコードの
各々は該ＣＲＣコードの誤り検出能力の範囲内において
該無制限に長いデータ・メッセージ内の所与の位置に配
置され、そして該無制限に長いデータ・メッセージはヘ
ッダ情報とそれに続くディスク・ドライブの１又は複数
のトラックから読み出されたデータとを有する上記
（１）に記載の分散型データ処理システム。（９）受信された制御メッセージが前記プロセッサ手段
により処理されるべき第１の種類のものであるか又は命
令実行ユニットにより処理されるべき第２の種類のもの
であるかを判断する前記制御メッセージ手段内に含まれ
る手段と、前記第２の種類の制御メッセージを受信し、
前記プロセッサ手段に介入されることなく該第２の種類
の制御メッセージにより要求されるオペレーションを実
行する命令実行ユニットとを有する上記（１）に記載の
分散型データ処理システム。（１０）前記第２の種類の制御メッセージが状態報告を
要求するとき、前記命令実行ユニットが状態値を取り出
し、該状態値を応答制御メッセージへ挿入し、該応答制
御メッセージをディスパッチする上記（９）に記載の分
散型データ処理システム。（１１）前記制御メモリ手段及び前記データ・メモリ手
段が、単一のランダム・アクセス・メモリの中の２つの
部分である上記（１）に記載の分散型データ処理システ
ム。

【図面の簡単な説明】

【図１】本発明を実施するマルチノード・ネットワーク
のブロック図である。

【図２】代表的なノードのブロック図である。

【図３】図２のノードで用いられる入出力交換器のブロ
ック図である。

【図４】図２のノードに含まれる制御メモリ・インタフ
ェース・モジュールのブロック図である。

【図５】図２のノードに含まれるデータ・バッファ・イ
ンタフェース・モジュールのブロック図である。

【符号の説明】

１０データ処理システム１２、１４、１６、１８ディスク・ドライブ２０相互通信ネットワーク２２ノード・プロセッサ２４制御メッセージ・ライン２６データ・メッセージ・ライン２７制御メモリ・インタフェース２８ＤＲＡＭ３０データ・バッファ・インタフェース３２ＤＲＡＭ３４、３６デバイス・インタフェース４２入出力交換器４４双方向通信リンク５０リンク・アダプタ５２経路設定交換器５４経路設定プロセッサ５６経路テーブル５８制御ライン・インタフェース６０データ・ライン・インタフェース７４、１１１命令実行ユニット

───────────────────────────────────────────────────── フロントページの続き (72)発明者デイモン・ダブリュー・フィネイアメリカ合衆国95133、カリフォルニア州、サンノゼ、ストーンクレスト・ウェイ 2830 (72)発明者マイケル・ハワード・ハーツングアメリカ合衆国85715−2848、アリゾナ州、ツーソン、イー・アルテザ・ビスタ 8040 (72)発明者ポール・ウェイン・ハンターアメリカ合衆国95120−4712、カリフォルニア州、サンノゼ、シャトー・ドライブ 1270 (72)発明者マイケル・アントニー・コウアメリカ合衆国95120、カリフォルニア州、サンノゼ、クイーンズブリッジ・コート 1064 (72)発明者ドナルド・ジェイ・ラングアメリカ合衆国95014、カリフォルニア州、クーパーチノ、モントレイ・コート 11220 (72)発明者ノア・アール・メンデルゾーンアメリカ合衆国02173、マサチューセッツ州、レキシントン、ウォルサム・ストリート 191 (72)発明者ジェイシェンカー・ムーセダス・メノンアメリカ合衆国95120、カリフォルニア州、サンノゼ、スターリング・ゲイト・ドライブ 1095 (72)発明者ディビッド・ロナルド・ナウレンアメリカ合衆国95037、カリフォルニア州、モーガン・ヒル、マーフィ・スプリングス・ドライブ 18395

Claims

【特許請求の範囲】

【請求項１】双方向通信リンクによる相互接続された複
数のノードを含む分散型データシステムであって、制御メッセージを処理する制御メッセージ手段と、前記制御メッセージ手段へ接続されかつ前記制御メッセ
ージを記憶する制御メモリ手段と、データ・メッセージを処理するデータ・メッセージ手段
と、前記データ・メッセージ手段へ接続されかつ前記データ
・メッセージを記憶するデータ・メモリ手段と、前記の各手段へ接続され、前記データ・メモリ手段から
の前記データ・メッセージをキューさせかつディスパッ
チすると共に、前記制御メッセージ手段からの前記制御
メッセージをキューさせかつディスパッチするプロセッ
サ手段と、Ｎが２以上の整数である場合のＮ個の双方向通信リンク
と、前記Ｎ個の双方向通信リンクと前記データ・メッセージ
手段及び前記制御メッセージ手段との間に接続されかつ
経路設定手段を含み、該経路設定手段の出力に従って前
記制御メッセージ又は前記データ・メッセージのいずれ
かを前記Ｎ個の双方向通信リンクの少なくとも１つへデ
ィスパッチする入出力交換器手段とを有する分散型デー
タ処理システム。
【請求項２】双方向通信リンクを介して受信されたメッ
セージが別のノードへ送信されたものである場合に、該
メッセージに応じて前記経路設定手段が、前記プロセッ
サ手段のオペレーションと関わることなく該メッセージ
を該別のノードへ振り向ける請求項１に記載の分散型デ
ータ処理システム。
【請求項３】前記入出力交換器手段が、データ・メッセ
ージ及び制御メッセージを、これらのメッセージをそれ
ぞれ受信した順にディスパッチし、該データ・メッセー
ジと該制御メッセージとが実質的に同時に受信された場
合に該制御メッセージを該データ・メッセージの前にデ
ィスパッチする請求項１に記載の分散型データ処理シス
テム。
【請求項４】前記経路設定手段が各送信先ノードについ
てのエントリを含み、前記エントリが該送信先ノードに
送られるメッセージに対して割当てられる基本双方向通
信リンク及び該基本双方向通信リンクがビジー状態の場
合に使用される複数の別の双方向通信リンクを指定する
請求項１に記載の分散型データ処理システム。
【請求項５】前記経路設定手段が、メッセージに付加さ
れる送信先ノードについての各アドレスに含まれる値を
用いて、該送信先ノードへの該メッセージの送信が１つ
の双方向通信リンクにより行われるか又は複数の双方向
通信リンクにより行われるかを判断する請求項１に記載
の分散型データ処理システム。
【請求項６】前記経路設定手段が、受信されたメッセー
ジのアドレス・ヘッダ情報に応じて該情報が別のノード
を示すか否かを判断し、そして別のノードを示す場合に
は、前記プロセッサ手段と全く関わることなく前記テー
ブル手段内の該情報に対応するエントリにアクセスする
ことにより該メッセージのディスパッチを行うことがで
きる請求項４に記載の分散型データ処理システム。
【請求項７】前記Ｎが５である請求項１に記載の分散型
データ処理システム。
【請求項８】前記プロセッサ手段が、前記データ・メッ
セージ手段及び前記データ・メモリ手段を制御すること
により無制限に長いデータ・メッセージを誤り検査のた
めに適宜挿入されるＣＲＣコードと組合せ、該ＣＲＣコ
ードの各々は該ＣＲＣコードの誤り検出能力の範囲内に
おいて該無制限に長いデータ・メッセージ内の所与の位
置に配置され、そして該無制限に長いデータ・メッセー
ジはヘッダ情報とそれに続くディスク・ドライブの１又
は複数のトラックから読み出されたデータとを有する請
求項１に記載の分散型データ処理システム。
【請求項９】受信された制御メッセージが前記プロセッ
サ手段により処理されるべき第１の種類のものであるか
又は命令実行ユニットにより処理されるべき第２の種類
のものであるかを判断する前記制御メッセージ手段内に
含まれる手段と、前記第２の種類の制御メッセージを受信し、前記プロセ
ッサ手段に介入されることなく該第２の種類の制御メッ
セージにより要求されるオペレーションを実行する命令
実行ユニットとを有する請求項１に記載の分散型データ
処理システム。
【請求項１０】前記第２の種類の制御メッセージが状態
報告を要求するとき、前記命令実行ユニットが状態値を
取り出し、該状態値を応答制御メッセージへ挿入し、該
応答制御メッセージをディスパッチする請求項９に記載
の分散型データ処理システム。
【請求項１１】前記制御メモリ手段及び前記データ・メ
モリ手段が、単一のランダム・アクセス・メモリの中の
２つの部分である請求項１に記載の分散型データ処理シ
ステム。