JPH05242055A

JPH05242055A - マルチプロセッサ・システム

Info

Publication number: JPH05242055A
Application number: JP4301997A
Authority: JP
Inventors: John J Coleman; ジョン・ジョーゼフ・コールマン; Ronald G Coleman; ロナルド・ジェラルド・コールマン; Owen K Monroe; オーウェン・キース・モンロー; Robert Frederick Stucke; ロバート・フレデリック・スタック; Elizabeth A Vanderbeck; エリザベス・アン・ファンデルベック; Stephen E Bello; スチーブン・エドワード・ベッロ; John R Hattersley; ジョン・ロバート・ハッタースリー; Kien A Hua; キエン・アン・ファ; David R Pruett; デービッド・レイモンド・プリュエット; Gerald F Rollo; ジェラルド・フランクリン・ロッロ
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1991-11-19
Filing date: 1992-11-12
Publication date: 1993-09-21
Anticipated expiration: 2012-11-17
Also published as: EP0543512A3; JP2677744B2; EP0543512B1; US5517662A; DE69230093D1; DE69230093T2; EP0543512A2

Abstract

(57)【要約】【目的】クロスポイント交換機またはクロスバー交換
機を使用して互いに結合された複数の高水準プロセッサ
を備える並列コンピュータ・システムの提供。【構成】本発明のシステムは、各プロセッサと交換機
の間に１つのアダプタを含む。交換機の駆動、ページ転
送およびプロセッサ間の転送スケジューリングを行うた
めのプロトコル処理が、このアダプタによって実行され
る。このプロトコルは、送信中または受信中のメッセー
ジの意味をクライアントがバインドできるようにする、
タイプ付きまたはタグ付きの緩衝記憶管理の概念を使用
する。これらの意味は、メッセージ・パケットが出発す
る時または到着する時のプロトコル内での挙動を指定す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、多重プロセッサ・シス
テムに関し、具体的には、あるプロセッサが、別のプロ
セッサ上に存在する記憶域をアドレスしアクセスするこ
とができるようにする装置および方法に関する。

【０００２】

【従来の技術】

【発明が解決しようとする課題】処理システムのスルー
プットを増加させるための周知の方法の１つは、作業を
複数の工程に分割し、個々の工程を、それぞれ工程の一
部を処理する別々のプロセッサに結合するものである。
数台または数千台のプロセッサを使用する並列処理に
は、なんらかの形のプロセッサ間通信が必要である。プ
ロセッサ群が共有記憶域を共用する共用記憶型や、各プ
ロセッサがそれぞれ大域記憶域の一部を有する分散シス
テムなど、多数のタイプのシステムが存在する。結合に
は、密結合から疎結合まで様々なタイプがある。結合
は、ＬＡＮ、クロスポイント交換機（スイッチ）または
クロスバー交換機、最近接型、階層式、ハイパーキュー
ブなどがある。これらのシステムのすべてにおいて、通
信の潜在的な非効率とオーバーヘッドが、システムの性
能を低下させる。このオーバーヘッドを減少させ、根本
的に異なる通信パターン、特性および資源を必要とする
非常に効率的なメッセージ受け渡しの方法および装置を
提供することが望ましく、これが本発明の目的である。
少数の高水準プロセッサを並列化するシステムあるいは
多数の低水準プロセッサを並列化するシステムが存在す
る（米国特許第４５９８４００号明細書など）が、高水
準プロセッサの間での改良された柔軟な通信を伴う高水
準プロセッサの並列化が必要とされている。さらに、作
業要求の生成とスケジューリングを行う手段を設けなけ
ればならない。ＩＢＭのＲＩＳＣＳｙｓｔｅｍ／６０
００（ＲＩＳＣＳｙｓｔｅｍ／６０００は、インター
ナショナル・ビジネス・マシーンズ・コーポレイション
の商標）などの高水準プロセッサを多数使用するシステ
ムは、数値計算中心の科学・技術適用業務などの大規模
で複雑な問題の処理に望ましい。

【０００３】

【課題を解決するための手段】本発明の一実施例によれ
ば、並列コンピュータ・システムは、複数の独立コンピ
ュータを有し、独立コンピュータはそれぞれ、それ自体
のメモリがネットワークによって互いに結合されてい
る。各コンピュータ対の間に１対のアダプタが存在する
ように、ネットワークと各独立コンピュータの間にアダ
プタが結合される。このアダプタは、プロセッサとメモ
リを含んでいる。アプリケーションが、メモリ内の名前
空間と、プロセッサ間で通信経路を確立するためにその
空間をどのように使用するか（意味）を指定するタグと
を定義する。このアプリケーションによって確立された
クラス内で定義される情報を使用して、データがあるア
ダプタ・メモリから別のアダプタ・メモリに送られる。

【０００４】

【実施例】図１を参照すると、本発明の一実施例によ
る、数値計算中心の科学・技術適用業務研究用の並列処
理システム設計が示されている。システム１０は、６０
個のＲＳ／６０００マイクロプロセッサ・ノード１９₁
〜１９₆₀を含み、これらのフィールドは、それぞれそれ
自体のＲＩＳＣＳｙｓｔｅｍ／６０００（以下、ＲＳ
／６０００と略す）プロセッサ、メモリおよびディスク
記憶装置が、ＩＢＭ９０３２エンタープライズ・システ
ム接続ディレクタ（ＥＳＣＤ）光学式交換機などのクロ
スポイント交換機２３によって互いにリンクされてい
る。この交換機とプロトコルの詳細は米国特許出願第０
７／４２９２６７号にある。この交換機の入力線および
出力線は、直列光ファイバである。リンク・フレーム・
メッセージを復号して、適当な交換機を制御する。この
クロスポイント交換機２３は、高速チャネル（ＨＳＣ）
１３を介して３０９０システムなどのホスト・コンピュ
ータ１１にリンクされる。ＨＳＣ１３の接続は、米国特
許出願第０７／３５８７７４号に記載されている。この
高速接続は、ＨＩＰＰＩ交換機によって行ってもよい。
上記の参照によって本明細書に組み込まれる関連特許出
願に記載されているように、拡張チャネルに指定される
一義的ページ・アドレスのページング命令を用いてホス
ト・プロセッサを操作することによって、情報がやり取
りされる。ユーザ・インターフェース１２は、プログラ
ムと命令をホストに入力し、その出力をシステムから受
け取る。実行のためプロセッサ・ノード記憶域にロード
されるデータとプログラムを記憶する大容量記憶装置１
４もホストに接続されている。ホストは、緩衝記憶域
（バッファ）１５、ＨＳＣ１３および変換アダプタ・カ
ード１７を介してＲＳ／６０００プロセッサ・ノードの
１つ１９₆₀に結合される。変換アダプタ・カード１７
は、米国特許出願第０７／５５８００３号に記載されて
いるように、ＡＩＸ／３７０アーキテクチャをマイクロ
チャネル・アーキテクチャに変換する。ノード１９
₆₀は、他のプロセッサ間で作業を分割し、その回答をホ
ストに戻す、監視プロセッサである。アダプタ２１₁〜
２１₆₀は、ノード１９₁〜１９₆₀のそれぞれとクロスポ
イント交換機２３の間に結合される。このアダプタを用
いると、どのプロセッサでも、ソフトウェア制御の下で
他のどのプロセッサとも通信できるようになる。また、
要素１５₁、１７₁、１９₁、２１₁から構成される、冗長
ホスト・アクセス／監視プロセッサ・リンクも設けられ
る。一方の経路を使用してホストから信号を送ると同時
に、他方が帰還信号をホストに結合することができる。
ノード１９₁〜１９₆₀にある個々のプロセッサが、複雑
な計算の異なる部分を処理し、他のノードにある他のプ
ロセッサと中間結果を交換することによって、完全な解
に到達する。このシステムに対するプログラミング・イ
ンターフェースは、たとえば、各ノード１９₁〜１９₆₀
上のＡＩＸ環境で走行する拡張クラスタ化ＦＯＲＴＲＡ
Ｎとすることができる。簡単に理解できるプログラミン
グ構造と標準の操作環境を使用することによって、既存
のアプリケーションの移行が改善される。

【０００５】このシステムのソフトウェア構成要素は、
拡張クラスタ化ＦＯＲＴＲＡＮ機能、ジョブ管理プログ
ラム、ファイル・アクセス機構、システムの利用度を監
視し、ユーザ・インターフェースに報告を提供する性能
モニタ、呼出しのサービスを援助するファイル・アクセ
ス機構、およびデバッガである。このシステムは、ホス
ト・コンピュータ１１上ではＡＩＸ／３７０、ノード１
９₁〜１９₆₀上ではＡＩＸ３．１を使用する。拡張ク
ラスタ化ＦＯＲＴＲＡＮ言語は、並列処理の作成と実
行、プロセス間通信およびプロセス調整の諸機能をＦＯ
ＲＴＲＡＮに追加したものである。ジョブ管理プログラ
ムは、ホスト・コンピュータ１１上で走行し、ジョブの
コンパイル、実行、デバッグ、消去および取消しのため
のＡＩＸサービスを提供する。ファイル・サーバまたは
ファイル・アクセス機構を用いると、アプリケーション
が、ホスト・ファイルにアクセスし、計算結果をユーザ
・ディレクトリに返せるようになる。性能モニタは、ハ
ードウェア機能とソフトウェア機能の図形分析を提供す
ることによって、プログラムのデバッグと最適化を簡単
にする。

【０００６】アダプタ２１は、マイクロ・チャネルとク
ロスポイント交換機（この例ではやはりＡＩＸ／３７０
チャネル）の間に結合される。同様に、各ノード１９と
クロスポイント交換機２３の間には、新型の直列チャネ
ル・アダプタであるアダプタ２１がある。各ノード１９
はそれぞれ、局所記憶用のメモリ・セクションと、大域
アクセス用の第２のメモリ・セクションを有する。

【０００７】システム１０のアーキテクチャは、多層式
であり、新型直列チャネル・アダプタ、ＲＳ／６０００
およびＡＩＸオペレーティング・システムのシステム構
造に含まれるハードウェアに従う。図２を参照された
い。また、インターフェースを通るメッセージの流れを
示す図３を参照されたい。新型直列アダプタであるアダ
プタ２１は、たとえばインテルのｉ９６０プロセッサな
ど、それ自体のプロセッサを有する。論理リンク制御ア
ーキテクチャは、５つの副層に分割される１つの層であ
る。最上層は、トランスポート・プロトコルとネットワ
ーク・プロトコル用のシステム・レベルのアプリケーシ
ョン・プログラム・インターフェース（ＡＰＩ）を提供
する。これは、ノード１９₁〜１９₆₀にある各プロセッ
サにある。この層は、クライアントまたはアプリケーシ
ョンを「バインド」し「アンバインド」する機能、メッ
セージの送受、ならびに、アプリケーションが必要とす
る他の機能を提供する。第２層は、装置ドライバであ
る。これも、ノード１９₁〜１９₆₀のＲＳ／６０００プ
ロセッサにある。図示の実施例では、各ノード１９ごと
に１つのアダプタ・ドライバ副層がある。他の実施例で
は、各ノード１９₁〜１９₆₀ごとに別々の複数のアダプ
タがあってもよい。すべてのアダプタ２１は、１つの装
置ドライバによって管理される局所プロセッサ（この例
ではＲＳ／６０００）に接続される。ノード１９₁〜１
９₆₀の各プロセッサ内にあるこの装置ドライバは、ＡＩ
Ｘカーネル内で、処理状況でも割込み状況でも走行す
る。装置ドライバは、ＡＰＩとＮＳＣＡアダプタの間の
ハードウェア・インターフェースとデータ構造を管理す
る。これには、バスへの接続、ＲＳ／６０００内のキャ
ッシュのフラッシュ、割込みの処理、カーネル常駐待ち
行列の連鎖／解除およびその管理が含まれる。装置ドラ
イバは、ＡＰＩによって処理されるメッセージ・パケッ
トを、アダプタ・ドライバによって処理される作業パケ
ットに変換し、また、その逆の変換を行う。クライアン
トは、メッセージ・パケットを作成し、消費し（対等通
信として）、アダプタ・ドライバは、作業パケットを作
成し、消費する。作業パケットとは、装置ドライバとア
ダプタ・ドライバの間で交換される、サービスを求める
要求を一般化したものである。一般に、１つのメッセー
ジを送出しあるいは受け取ると、１つの作業パケットが
生成され、逆も同様である。メッセージ・パケットに
は、それで運ばれるデータの量に応じて３つのタイプが
ある。３つのパケット・タイプとは、アンテグラム・メ
ッセージ、データグラム・メッセージおよび緩衝記憶メ
ッセージである（図４を参照すると、ヘッダ、データグ
ラムおよび緩衝記憶を伴うメッセージのフォーマットが
示されている）。アンテグラム・パケットとは、データ
を含まないメッセージ・パケットである。アンテグラム
・パケットは、短い命令のブロックを含むプロトコル・
ヘッダと制御情報だけを含んでいる。データグラム・メ
ッセージおよび緩衝記憶メッセージは、プロトコル・ヘ
ッダならびにデータを含んでいる。データグラム・メッ
セージは、最大３５バイトのデータを運び、緩衝記憶メ
ッセージは、１ページまでのデータを運ぶ。現在の実施
態様では、このプロトコルでは、６４Ｋバイトまでのペ
ージ長が可能である。データグラム・メッセージおよび
緩衝記憶メッセージは、待ち行列に入れられ、受け取っ
た順序で装置ドライバによって処理されなければならな
い。しかし、アンテグラム・パケットは、プロトコル・
ヘッダ内で要求される優先順位に従って、保留中の他の
すべてのメッセージより前に処理することができる。作
業パケットには、純、通常、および、複合または２段階
の３つのタイプがある。純作業パケットは、割込みサー
ビス・ルーチン（ＩＳＲ）への呼出しからなる。通常作
業パケットは、プロトコル・ヘッダと４バイトのフラグ
情報を含んでいる。通常作業パケットは、純作業パケッ
トと同様に、ＩＳＲへの呼出しを含んでいるが、受信側
要素によって処理される命令の制御ブロックと制御情報
も含んでいる。受信側要素は、状況に応じて、ノード１
９内の装置ドライバ、またはアダプタ・ドライバであ
る。通常作業パケットは、たとえば２８バイトであり、
ＡＰＩによって生成され処理されるアンテグラム・メッ
セージ・パケットおよびデータグラム・メッセージ・パ
ケットに対応する。複合作業パケットまたは２段階作業
パケットは、通常作業パケットと、装置間のマイクロチ
ャネル・インターフェースを介する１転送分のデータか
らなる。２段階作業パケットでは、制御情報が交換され
る段階の後の別の段階でデータ転送が行われる。したが
って、「２段階」と称する。アダプタ２１内のアダプタ
・ドライバ副層は、そのアダプタ自体に含まれる１プロ
グラムとして、完全にプロセッサの外部で走行する。ア
ダプタ・ドライバは、作業パケット・インターフェース
（ＷＰＩ）を介するファイバ上での出発と到着に関し
て、緩衝記憶パケットのスケジューリングを行う。アダ
プタ・ドライバは、緩衝記憶域属性の意味を解釈し、ホ
スト・システムの仮想記憶域との間でのすべての転送を
手配する。図５を参照すると、このアダプタは、待ち行
列のシステムである作業パケット・インターフェース７
０を含んでいる。ＷＰＩ内の各構造は、アダプタ・ドラ
イバ宛（アウトバウンド）の作業パケット用の副構造、
装置ドライバ宛（インバウンド）の作業パケット用の副
構造、および装置ドライバからアダプタ・ドライバへ肯
定応答禁止を渡すための副構造の、３つの副構造に分け
られる。ＷＰＩ構造は、装置ドライバとアダプタ・ドラ
イバによって共用される記憶資源に常駐する。図６を参
照のこと。作業パケットのサービスは、下記のようにし
て行われる。アダプタ・ドライバが、ＷＰＩアウトバウ
ンド構造をポーリングし、見つかった作業パケットに関
して要求されるサービスのスケジューリングを行う。こ
れとは対照的に、装置ドライバは、ＩＳＲ（割込みサー
ビス・ルーチン）によってその作業パケットの最初の部
分を受け取り、同じ割込みサイクルの間に残りのパケッ
トを受け取る。通常は、この装置ドライバのＩＳＲに対
して呼出しが行われ、その後、作業パケットが、ＷＰＩ
構造から読み出され、順次処理される。装置ドライバが
作業パケットを送出する時、先に進むには２つの方法が
ある。クライアントの代わりに、装置ドライバが同期式
にふるまい、第１水準肯定応答（ＦＡＣＫ）が返される
までスピン待機することができる。あるいは、装置ドラ
イバは、ＦＡＣＫを待たずに、ＷＰＩ上で複数の作業パ
ケットをパイプライン式に伝送することによって、非同
期式にふるまうこともできる。装置ドライバまたは、デ
ータがいつホスト・システムから移動されたかを示す送
信完了肯定応答（すなわち、純作業パケット）を要求す
ることができ、あるいは、データをいつ受信側ノードに
送出し終えたかを示す第２水準肯定応答（ＳＡＣＫ）を
要求することもできる。ＳＡＣＫは、アンテグラム・メ
ッセージとしてソース・アプリケーション・クライアン
トにディスパッチされる通常作業パケットである。した
がって、本発明では、同期モードと非同期モードの両方
の動作が可能である。第４の層は、アダプタ２１内のリ
ンク・プロトコル副層である。これは、図１に示すよう
に、クロスポイント交換機のリンク・プロトコルと装置
プロトコルのサブセットを実施する。

【０００８】ＭＩＣ転送は、別のＰＥにアウトバウンド
のメッセージ・パケットを送信するため、および別のＰ
Ｅからインバウンドのメッセージ・パケットを受信する
ための２つのステージング緩衝記憶域プールを介してス
テージングされる。この２つのステージング緩衝記憶域
プールを、それぞれ送出（xmit）緩衝記憶域および受取
（recv）緩衝記憶域と称する。

【０００９】メッセージに関連するデータは、（１）Ａ
ＩＸ仮想記憶域内の固定ページ境界上にあるかまたはそ
の内部に含まれなければならず、（２）装置ドライバが
そのページを「解放」するまでこのデータにアクセスし
てはならない。アダプタ・ドライバは、作業パケットが
待ち行列に入られた後の不確定な時点で、ＭＩＣにデー
タ転送コマンドを発行する。したがって、メッセージを
送ることによって、たとえば、アダプタ・ドライバがま
だそのxmit緩衝記憶域プールにデータを転送しないうち
に、クライアントがＡＰＩから戻ることができる。

【００１０】緩衝記憶域の属性と待ち行列化の規律が、
実際のデータの移動を決定する。データが転送された
後、アダプタ・ドライバは、純作業パケットを装置ドラ
イバに送って、そのページを解放する。また、アダプタ
・ドライバは、４部分からなるアドレス(PE,channel,pe
ck-unit,buffer-id)の経路指定上の意味を実施する。送
出時と受取時に、アダプタ・ドライバは、クライアント
が前もってバインドする属性ごとに、メッセージ内の
(*,*,peck-unit,buffer-id)を解釈する。送出時に、ア
ダプタ・ドライバは、(PE,channel,*,*)を交換機上の物
理ポート番号にマッピングする。その後、このポート番
号を使用して、その交換機を介する接続を指示する。

【００１１】アダプタ・ドライバの下にリンク・プロト
コル・ドライバがある。このリンク・プロトコル・ドラ
イバは、完全にＮＳＣＡ上のリンク・プロトコル・ドラ
イバ・エンジン内で走行する。これは、図７に示すよう
に、クロスポイント交換機のリンク・プロトコルと装置
プロトコルのサブセットを実施する。リンク・プロトコ
ル・ドライバは、交換機接続を作成または破壊し、交換
機フレームを介してＬＳＰパケットをパックまたはアン
パックし、これらのパケットをxmitおよびrecv緩衝記憶
方式を介して、緩衝記憶ディレクトリ・パケットとして
送出しまたは受け取る。緩衝記憶ディレクトリ・パケッ
トとは、アダプタ・ドライバとリンク・プロトコル・ド
ライバの間で情報を交換するための戦略を一般化したも
のである。

【００１２】ｉ９６０プロセッサとリンク・プロトコル
・ドライバの間のインターフェースは、局所データ記憶
域（ＬＤＳ）内または局所プロセッサ記憶域（ＬＰＳ）
内の共用領域を介する。この共用領域は、（１）次に使
用可能な受信緩衝記憶域を指す変数next_recv_avail、
（２）次に使用可能な送信緩衝記憶域を指す変数next_x
mit_avail、および（３）何が（ｉ９６０とＭＣＭのど
ちらが）次のxmit/recv変数ポインタを更新することを
許されているのかを示すup_interlock_turn変数の、３
つのメタデータ変数を保持する。xmit緩衝記憶域とrecv
緩衝記憶域は、ＬＤＳ内の循環リスト・データ構造を形
成し、メタデータは、ＬＤＳまたはＬＰＳのどちらかに
置くことができる。変数next_recv_availとnext_xmit_a
vail（以下、この２つをまとめてnext変数と称する）
は、実際にはhead（頭部）副フィールドとtail（尾部）
副フィールドを含んでいる。

【００１３】アダプタ・ドライバと、リンク・プロトコ
ル・ドライバのどちらかが非静止状態である。アダプタ
・ドライバが非静止状態の時は、たとえばＷＰＩを走査
するなどでアダプタ・ドライバが使用中である。アダプ
タ・ドライバは、静止する時、リンク・プロトコル・ド
ライバの値をインターロックに書き込み、続行する。ア
ダプタ・ドライバは、これを行う時、next変数を更新し
ないことに同意する。すなわち、アダプタ・ドライバか
ら見ると、これらの変数の状態は静止している。

【００１４】リンク・プロトコル・ドライバが非静止状
態の時は、リンク・プロトコル・ドライバはnext変数を
自由に更新することができる。また、リンク・プロトコ
ル・ドライバは、アウトバウンド（の伝送物があるなら
ば、それ）を受諾でき、またインバウンドの伝送物（が
あるなら、それ）を受諾することができる。リンク・プ
ロトコル・ドライバが、行うべき作業がない場合、すな
わち、アウトバウンドの伝送物もインバウンドの伝送物
もない場合は、リンク・プロトコル・ドライバは、アダ
プタ・ドライバの値をインターロックに書き込むことに
よって静止する。前述のアダプタ・ドライバと同様に、
リンク・プロトコル・ドライバは、そうすることによっ
てnext変数を更新しないことに同意する。

【００１５】静止状態の間に、アダプタ・ドライバは、
おそらく３つのことを行っている。１つは、受信データ
をrecv緩衝記憶域からＭＩＣを介してシステム・メモリ
に押し戻すことである。もう１つは、送信データをシス
テム・メモリからＭＩＣを介してxmit緩衝記憶域に押し
出すことである。最後に、アダプタ・メモリは、必要に
応じて作業パケットを処理しながら、ＷＰＩを走査する
こともできる。

【００１６】アダプタ・ドライバは、非静止状態の時、
xmit/recv緩衝記憶域の状態を収集する。その後、アダ
プタ・ドライバは、静止し、上述の３項目の処理を継続
する。したがって、アダプタ・ドライバは、（１）１つ
の項目だけが送信待ち行列の先頭にあり、（２）かつそ
れが非静止状態である場合に、遊休状態になる。

【００１７】静止状態では、リンク・プロトコル・ドラ
イバは、おそらくはデータの送信と受信という２つのこ
とを行うことができる。アダプタ・ドライバと同様に、
リンク・プロトコル・アダプタは、非静止状態の間にxm
it/recvデータを収集し、その後、静止する。

【００１８】静止状態にあるリンク・プロトコル・ドラ
イバは、もう１度非静止状態になるまでに、ちょうどｎ
個の入力伝送物を受諾することができる。値ｎは、使用
可能なrecv緩衝記憶域の数である。構成要素headは、リ
ンク・プロトコル・ドライバが非静止状態の時、リンク
・プロトコル・ドライバによって進められる。構成要素
tailは、アダプタ・ドライバが非静止状態の時に、アダ
プタ・ドライバによって進められる。

【００１９】リンク・プロトコル・ドライバの処理の詳
細を図７に示す。図７は、リンク・プロトコル・ドライ
バの制御ループを示す図である。リンク・プロトコル・
ドライバは、アウトバウンドの作業を処理しているか、
インバウンド接続を待っているか、あるいは非静止状態
になるのを待っているかのいずれかである。ｉ９６０用
の類似のアルゴリズムを作ることができる。

【００２０】この通信管理システムでは、アプリケーシ
ョンが、使用可能メモリ内の緩衝記憶域の名前空間と、
論理プロセッサ間の通信経路を確立するためにその名前
空間をどう使用するか（意味）のクラスを指定するタグ
とを定義する。この意味は、そのアプリケーションがそ
の緩衝記憶域に関連するタグを変更するか、あるいはそ
の緩衝記憶域を解放するまで、その名前空間にバインド
される。アプリケーションから見ると、そのアプリケー
ションによって確立されたクラスで定義される情報を使
用して、データが、ある論理緩衝記憶域から別の論理緩
衝記憶域へ送られる。これは、論理プロセッサの外部の
ハードウェアによって行われ、プロセッサは、通信割込
みの処理から解放される。論理プロセッサは、通信管理
プログラムの機能を呼び出し、各プロセッサは、協力し
通信する論理プロセッサのグループ内で、一義的な識別
子をもたなければならない。

【００２１】アウトバウンドのアダプタ・ドライバは、
低水準インターフェースの細部をプロセッサから隠し、
低水準ヘッダを作成し、低水準機能呼出しを生成し、ア
プリケーションから与えられるページ・サイズのデータ
・ブロックを分解して媒体特有のフレームにし、クラス
特性を名前空間（緩衝記憶域）にマッピングする。アウ
トバウンドのアダプタ・ドライバは、アプリケーション
によって静的に構成される緩衝記憶域の意味に関して、
インバウンドとアウトバウンドの伝送をスケジューリン
グし、キャッシュ記憶する。アウトバウンドのアダプタ
・ドライバは、緩衝記憶域プールを管理し、すべての待
ち行列化を実施する。

【００２２】通信管理プログラムは、インバウンドとア
ウトバウンドのデータ要求を、深さｎのＦＩＦＯ待ち行
列に入れる。宛先毎に１つの待ち行列がある。データ自
体は待ち行列化されず、データを求める要求だけが待ち
行列に入れられる。要求は、名前空間（緩衝記憶域）の
受信属性に従って待ち行列から外される。このようにし
て、順序が保存され、宛先使用中状態が、ソース側で取
り除かれる。

【００２３】属性とは、特定の名前空間の特性を記述す
る静的値である。たとえば、緩衝記憶域属性は、「送
信」特性または「受信」特性を指定することができる。
クラスとは、アプリケーションに対して使用可能にされ
た属性の組であり、アダプタ・ドライバが緩衝記憶域を
管理する論理的な方法を反映する。図８を参照のこと。

【００２４】定義済みクラス（属性の組）の数は有限で
ある。これらのクラスをアプリケーションが変更するこ
とはできないが、アプリケーションは、それが制御する
すべての緩衝記憶域のクラスを変更することができる。
効率的な通信を保証するために、アプリケーションは、
属性の他の組合せを定義しない。

【００２５】本段では、緩衝記憶域および緩衝記憶域管
理の概念を説明する。このシステムは、数種類の緩衝記
憶域を使用する。内部目的に使用される緩衝記憶域は、
クライアントから不可視である。これらの緩衝記憶域の
例には、補助xmit/recv緩衝記憶域、非送信請求受信の
ために維持される緩衝記憶域などが含まれる。クライア
ントから見ると、緩衝記憶域は、データの送信および受
信に使用される論理記憶資源である。この目的のため、
緩衝記憶域は、論理対(peck-unit,buffer-id)によって
アドレスされる。

【００２６】クライアントは、（１）ある緩衝記憶域の
名前空間と、（２）その緩衝記憶域の意味を指定するタ
グとを定義する。これらの意味は、そのクライアントが
そのタグを変更するかあるいはその名前をアンバインド
するまで、バインドされたままになる。属性は、メッセ
ージが送信または受信される時、システムにとってよく
定義された挙動を指定する。

【００２７】(peck-unit,buffer-id)対は、論理記憶域
アドレスである。この対は、ある時点で物理記憶域にバ
インドされなければならない。この設計は、後期バイン
ディングと早期バインディングの両方をサポートする。
主要な緩衝記憶域クラスは２つある。

【００２８】バインディングが早期（かつ暗黙の条件か
ら静的）である場合には、緩衝記憶域の属性は、持続性
である。持続性の緩衝記憶域は、共用メモリと同様の挙
動を示す。(peck-unit,buffer-id)対から物理記憶域へ
の１対１のマッピングが存在する。この属性を有する緩
衝記憶域上での局所送信および局所受信の挙動は、局所
アクセスおよび局所更新と同様である。遠隔送信および
遠隔受信の挙動は、遠隔アクセスおよび遠隔更新と同様
である。この意味で、データ（および名前マッピング）
は持続する。

【００２９】バインディングが後期（かつ暗黙の条件か
ら動的）である場合には、緩衝記憶域の属性は非持続性
である。非持続性の緩衝記憶域は、深さｎのＦＩＦＯリ
ンクと同様の挙動を示す。(peck-unit, buffer-id)対か
ら物理記憶域への１対多のマッピングが、潜在的に存在
する。この属性を有する緩衝記憶域上での送信および受
信は、遠隔ＰＥに向けてアウトバウンドに待ち行列化さ
れるか、あるいは遠隔ＰＥからインバウンドに待ち行列
化される。データは、持続しない。

【００３０】受信タイプの属性を有する緩衝記憶域は、
遠隔ＰＥからデータを受け取ることができる。この緩衝
記憶域を使ってメッセージを送信することはできない。
受信属性には、３つの異なる属性がある。これらの属性
は、受信通知をいつどのように配布するのかを指定す
る。受信通知（ＲＶＮ）とは、宛先クライアント向けの
メッセージが受信されたことを伝える、宛先クライアン
トに送られる「信号」である。属性が受信通過の場合に
は、メッセージが到着するごとにＲＶＮが送られる。１
０個のメッセージが到着する場合、通知ルーチンへの１
０回の呼出しがスケジューリングされる。属性が受信遅
延の場合には、１メッセージ・ブロックにつき１つのＲ
ＶＮだけが送られる。ブロックのサイズは、単一の割込
みサイクル中にアダプタ・ドライバによって作成される
作業パケットの数によって決定される。１つの割込みの
間に３つのメッセージが到着し、別の割込みの間に７つ
のメッセージが到着する場合、ＲＶＮルーチンへの２回
の呼出しがスケジューリングされる。これら２つの属性
は、スループットと応答の間のヒューリスティックなト
レードオフを表している。それ自体の緩衝記憶域管理を
実行する高性能クライアントは、これらの属性のうちの
１つを選択するであろう。属性が受信ポーリングの場
合、ＲＶＮは送られない。クライアントは、ＡＰＩの受
信機能を呼び出すことによって、そのメッセージを求め
て「ポーリング」を行わなければならない。この属性
は、それ自体の緩衝記憶域管理を実行しない低性能クラ
イアントに有用である。この場合、このシステムの内部
緩衝記憶域が使用され、メモリ間コピーによって、その
データがカーネル・メモリからクライアントのメモリに
移される。

【００３１】送信タイプの属性を有する緩衝記憶域は、
遠隔ＰＥにデータを送るのに使用することができる。こ
れを使ってメッセージを受信することはできない。送信
属性には、３つの異なる属性がある。これらの属性は、
送信通知（ＸＴＮ）をいつどのように送るのかを指定す
る。ＸＴＮとは、メッセージのデータ・ページが再度ア
クセス可能になった時にソース・クライアントに送られ
る「信号」である。緩衝記憶域属性が送信通過の場合に
は、各ページがアダプタ上のxmit緩衝記憶域にＤＭＡ転
送された後に、ＸＴＮが送られる。この時点で、クライ
アントは、そのページを割振り解除するか、あるいはそ
のページを使って別のメッセージを送ることができる。
ただし、ＸＴＮは、そのメッセージがシステムを出たこ
とを意味するものではない。その目的には、別の機構で
あるＳＡＣＫが使用される。緩衝記憶域属性が送信遅延
の場合には、ＤＭＡ転送される１ページ・ブロックにつ
き１つのＸＴＮだけが送られる。このブロックのサイズ
は、アダプタ・ドライバを介してディスパッチできるメ
ッセージ数に依存する。やはり、これら２つの属性は、
応答とスループットの間のヒューリスティックなトレー
ドオフを表している。緩衝記憶域属性が送信の場合に
は、ＸＴＮは全く送られない。この属性は、それ自体の
緩衝記憶域管理を実行するクライアントに有用である。
この場合、たとえば、クライアント・レベルの肯定応答
を使用して、いつページが解放されたのかを通知する。

【００３２】アダプタ専用という意味は、主に、その緩
衝記憶域がＬＤＳアダプタ空間内で割り振られることを
指定する。

【００３３】取出し可能属性という意味は、別のアダプ
タ・ドライバがその緩衝記憶域に遠隔アクセスできるか
否かを指定する。この緩衝記憶域は、取出し可能な有効
状態でなければならない。すなわち、ある緩衝記憶域内
のデータは、その緩衝記憶域内のデータが有効である場
合に限って取出し可能である。クライアントは、ＡＰＩ
の送信要求呼出しを使って、別のクライアントの取出し
可能緩衝記憶域に遠隔アクセスできる。

【００３４】緩衝記憶域属性には、組み合わされた時に
意味を有するものもあれば、そうでないものもある。緩
衝記憶域は、持続性か非持続性のどちらかでなければな
らない。その両方になることは不可能である。さらに、
緩衝記憶域は、送信専用タイプ、受信専用タイプ、また
は送信受信組合せタイプでなければならない。これらの
属性の６つの組合せのうちのどれももたない緩衝記憶域
は無意味である。取出し可能属性は、その緩衝記憶域が
持続性であることも暗示している。アダプタ専用属性に
ついても同じことがいえる。たとえば、ある緩衝記憶域
が、取出し可能（またはアダプタ専用）であり、かつ非
持続性であることは不可能である。アンテグラムは、形
式上は記憶域のないメッセージ・パケットである。アン
テグラムは、緩衝記憶資源を必要としないが、どのよう
な場合であっても、このクラス属性パラダイム内で処理
される。

【００３５】たとえば、上記のタイプの意味を実行する
能力を有する知能アダプタを介して通信を実行する、コ
ンピュータまたはデータ・サーバまたはデータ・マネジ
ャー資源間の有効な２地点間通信の手段を提供する、ク
ロスバー接続式またはカスケード式のクロスバー交換機
のネットワークも、本明細書に記載のタイプの分散メモ
リ式計算システムとみなされるはずである。前に提案し
た数値計算中心の科学・技術用システムの他に、このよ
うなシステムも、照会処理、トランザクション処理また
は様々なワークステーション・サーバ機能などの様々な
市販アプリケーションを実行できるはずである。さら
に、"ＥＳＣＤ"クロスバ交換機を、１つの可能な相互接
続ファブリックとして提案したが、他の交換機も本発明
の実施に適しているはずである。また、このようなシス
テムは、同一のラックや格納装置中など、互いに物理的
に接近して実装することもでき、また選択されたファブ
リックによってサポートされる距離を隔てて分散してい
ても、なおかつ本発明から利益を得ることができるはず
である。

【図面の簡単な説明】

【図１】本発明の一実施例によるシステムの全体ブロッ
ク図である。

【図２】アーキテクチャ層を示す図である。

【図３】メッセージの流れを示す図である。

【図４】メッセージ・パケットのフォーマットを示す図
である。

【図５】アダプタを示す図である。

【図６】ＷＰＩの動作を示す図である。

【図７】リンク・プロトコル・ドライバ処理の流れ図で
ある。

【図８】クラスと属性の組合せ表である。

【符号の説明】

１０システム１１ホスト・コンピュータ１２ユーザ・インターフェース１３高速チャネル（ＨＳＣ）１４大容量記憶装置１５緩衝記憶域１７変換アダプタ・カード１９ノード２１アダプタ２２メモリおよびディスク記憶装置２３クロスポイント交換機７０作業パケット・インターフェース（ＷＰＩ）

───────────────────────────────────────────────────── フロントページの続き (72)発明者ロナルド・ジェラルド・コールマンアメリカ合衆国、ニューヨーク州ハイド・パーク、シーニック・ドライブ 14 (72)発明者オーウェン・キース・モンローアメリカ合衆国、ニューヨーク州ポート・エウェン、ブロードウェイ 262 (72)発明者ロバート・フレデリック・スタックアメリカ合衆国、ニューヨーク州ソージャティーズ、リッジ・ロード９ (72)発明者エリザベス・アン・ファンデルベックアメリカ合衆国、ニューヨーク州キングストン、ビーバーキル・ロード 280 (72)発明者スチーブン・エドワード・ベッロアメリカ合衆国、ニューヨーク州キングストン、ジョン・ストリート 95 (72)発明者ジョン・ロバート・ハッタースリーアメリカ合衆国、ニューヨーク州ソージャティーズ、ブルーストーン・パーク・ロード 25 (72)発明者キエン・アン・ファアメリカ合衆国、フロリダ州オビエド、マッコール・コート 1012 (72)発明者デービッド・レイモンド・プリュエットアメリカ合衆国、ニューヨーク州ソージャティーズ、チェリー・レーン８ (72)発明者ジェラルド・フランクリン・ロッロアメリカ合衆国、ニューヨーク州ポーキープシー、プレザント・リッジ・ドライブ 40

Claims

【特許請求の範囲】

【請求項１】それぞれそれ自体のプロセッサとメモリと
オペレーティング・システムとを有し、前記メモリが局
所記憶区画と大域記憶区画とを有する、複数の独立コン
ピュータと、複数のポートと、前記ポート間の選択的結合手段とを有
する多重ネットワーク手段と、前記ポートのそれぞれと前記独立コンピュータの間に結
合され、データを記憶するだけでなく、所与の１組の意
味に基づいて受信データに作用するためのプロセッサと
知能メモリ手段とを含む、前記ネットワーク手段と前記
コンピュータの間の経路接続を維持し、それによって、
２つのアダプタを通過して２つのコンピュータ間を結合
するためのアダプタ手段とを備える並列コンピュータ・
システム。
【請求項２】それぞれ局所プロセッサを含む、複数の処
理ユニットと、局所プロセッサと、処理ユニットの外部にある少なくと
も１つの他のプロセッサとによって、データおよびコマ
ンドを記憶および検索するためのメモリと、前記処理ユニットによるアクセスを可能にする外部通信
経路と、前記局所プロセッサを前記外部通信経路に接続するため
のインターフェースと、前記外部通信経路によって前記処理ユニットを接続する
ためのクロスポイント交換機と、デジタル計算システムの作用を受けるデータおよび動作
を記憶するための記憶装置と、ユーザ・インターフェース、および前記記憶装置に対す
るアクセスを提供するためのホスト・コンピュータと、前記処理ユニットのうちの少なくとも１つと前記ホスト
・コンピュータの間の通信を可能にするためのホスト通
信経路とを備えることを特徴とする、分散メモリ式デジ
タル計算システム。
【請求項３】情報を記憶および検索するための前記メモ
リが、さらに、実行時またはそれ以前に定義されたタイ
プおよび属性を有する緩衝記憶域を備え、緩衝記憶域の
前記タイプおよび属性が、そこに書き込まれるかまたは
そこから読み取られるメッセージに対する応答を決定す
ることを特徴とする、請求項２に記載の形式の分散メモ
リ式デジタル計算システム。
【請求項４】それぞれ局所プロセッサと、通信アダプタ
と、前記局所プロセッサまたは局所通信アダプタから発
行されたコマンドによってのみアクセス可能なメモリと
を有する複数の処理ノードを備え、前記通信アダプタ
が、アダプタ・プロセッサと、保留中の局所プロセッサ
作業要求を記憶するための第１データ構造および保留中
のアダプタ・プロセッサ作業要求を記憶するための第２
データ構造を備えるアダプタ記憶域と、局所プロセッサ
作業要求が前記第１データ構造にいつ書き込まれたかを
検出するための書込み標識と、前記書込み標識に応答し
て、前記アダプタ記憶域内での局所プロセッサ作業要求
の位置を表す局所プロセッサ作業要求信号を生成し、前
記局所プロセッサに伝送するための手段と、前記作業要
求および前記局所プロセッサに応答して、前記作業要求
を前記第１データ構造から検索するための手段と、前記
アダプタ・プロセッサに応答して、前記第２データ構造
をポーリングして前記アダプタ・プロセッサ作業要求を
前記アダプタ・プロセッサに伝送するための手段と、前
記アダプタ・プロセッサおよび前記アダプタ・プロセッ
サ作業要求に応答して、作業要求を伝送するための外部
通信経路と、前記外部通信経路によって前記処理ノード
を接続するためのクロスポイント交換機と、デジタル計
算システムの作用を受けるデータおよび動作を記憶する
ための記憶装置と、ユーザ・インターフェースおよび前
記記憶装置に対するアクセスを提供するためのホスト・
コンピュータと、前記ノードのうちの少なくとも１つと
前記ホスト・コンピュータの間の通信を可能にするため
のホスト通信経路とを備える、分散メモリ式デジタル計
算システム。