JP2677744B2

JP2677744B2 - 分散メモリ式デジタル計算システム

Info

Publication number: JP2677744B2
Application number: JP4301997A
Authority: JP
Inventors: ジョン・ジョーゼフ・コールマン; ロナルド・ジェラルド・コールマン; オーウェン・キース・モンロー; ロバート・フレデリック・スタック; エリザベス・アン・ファンデルベック; スチーブン・エドワード・ベッロ; ジョン・ロバート・ハッタースリー; キエン・アン・ファ; デービッド・レイモンド・プリュエット; ジェラルド・フランクリン・ロッロ
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1991-11-19
Filing date: 1992-11-12
Publication date: 1997-11-17
Anticipated expiration: 2012-11-17
Also published as: EP0543512A3; EP0543512B1; US5517662A; DE69230093D1; JPH05242055A; DE69230093T2; EP0543512A2

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、多重プロセッサ・シス
テムに関し、具体的には、あるプロセッサが、別のプロ
セッサ上に存在する記憶域をアドレスしアクセスするこ
とができるようにする装置および方法に関する。

【０００２】

【従来の技術】

【発明が解決しようとする課題】処理システムのスルー
プットを増加させるための周知の方法の１つは、作業を
複数の工程に分割し、個々の工程を、それぞれ工程の一
部を処理する別々のプロセッサに結合するものである。
数台または数千台のプロセッサを使用する並列処理に
は、なんらかの形のプロセッサ間通信が必要である。プ
ロセッサ群が共有記憶域を共用する共用記憶型や、各プ
ロセッサがそれぞれ大域記憶域の一部を有する分散シス
テムなど、多数のタイプのシステムが存在する。結合に
は、密結合から疎結合まで様々なタイプがある。結合
は、ＬＡＮ、クロスポイント交換機（スイッチ）または
クロスバー交換機、最近接型、階層式、ハイパーキュー
ブなどがある。これらのシステムのすべてにおいて、通
信の潜在的な非効率とオーバーヘッドが、システムの性
能を低下させる。このオーバーヘッドを減少させ、根本
的に異なる通信パターン、特性および資源を必要とする
非常に効率的なメッセージ受け渡しの方法および装置を
提供することが望ましく、これが本発明の目的である。
少数の高水準プロセッサを並列化するシステムあるいは
多数の低水準プロセッサを並列化するシステムが存在す
る（米国特許第４５９８４００号明細書など）が、高水
準プロセッサの間での改良された柔軟な通信を伴う高水
準プロセッサの並列化が必要とされている。さらに、作
業要求の生成とスケジューリングを行う手段を設けなけ
ればならない。ＩＢＭのＲＩＳＣＳｙｓｔｅｍ／６０
００（ＲＩＳＣＳｙｓｔｅｍ／６０００は、インター
ナショナル・ビジネス・マシーンズ・コーポレイション
の商標）などの高水準プロセッサを多数使用するシステ
ムは、数値計算中心の科学・技術適用業務などの大規模
で複雑な問題の処理に望ましい。

【０００３】

【課題を解決するための手段】本発明の一実施例によれ
ば、並列コンピュータ・システムは、複数の独立コンピ
ュータを有し、独立コンピュータはそれぞれ、それ自体
のメモリがネットワークによって互いに結合されてい
る。各コンピュータ同志間に１対のアダプタが存在する
ように、ネットワークと各独立コンピュータの間にアダ
プタが結合される。このアダプタは、プロセッサとメモ
リを含んでいる。アプリケーションが、メモリ内の名前
（name）をマップするメモリ空間（以下、名前空間と称
する）と、プロセッサ間で通信経路を確立するためにそ
の空間をどのように使用するか（意味）のクラスを指定
するタグとを定義する。このアプリケーションによって
確立されたクラス内で定義される情報を使用して、デー
タがあるアダプタ・メモリから別のアダプタ・メモリに
送られる。

【０００４】

【実施例】図１を参照すると、本発明の一実施例によ
る、数値計算中心の科学・技術適用業務研究用の並列処
理システム設計が示されている。システム１０は、６０
個のＲＳ／６０００マイクロプロセッサ・ノード１９₁
〜１９₆₀を含み、これらのフィールドは、それぞれそれ
自体のＲＩＳＣＳｙｓｔｅｍ／６０００（以下、ＲＳ
／６０００と略す）プロセッサ、メモリおよびディスク
記憶装置が、ＩＢＭ９０３２エンタープライズ・システ
ム接続ディレクタ（ＥＳＣＤ）光学式交換機などのクロ
スポイント交換機２３によって互いにリンクされてい
る。この交換機とプロトコルの詳細は米国特許出願第０
７／４２９２６７号にある。この交換機の入力線および
出力線は、直列光ファイバである。リンク・フレーム・
メッセージを復号して、適当なスイッチを制御する。こ
のクロスポイント交換機２３は、高速チャネル（ＨＳ
Ｃ）１３を介して３０９０システムなどのホスト・コン
ピュータ１１にリンクされる。ＨＳＣ１３の接続は、米
国特許出願第０７／３５８７７４号に記載されている。
この高速接続は、ＨＩＰＰＩ交換機によって行ってもよ
い。上記の参照によって本明細書に組み込まれる関連特
許出願に記載されているように、拡張チャネルに指定さ
れる一義的ページ・アドレスのページング命令を用いて
ホスト・プロセッサを操作することによって、情報がや
り取りされる。ユーザ・インターフェース１２は、プロ
グラムと命令をホストに入力し、その出力をシステムか
ら受け取る。実行のためプロセッサ・ノード記憶域にロ
ードされるデータとプログラムを記憶する大容量記憶装
置１４もホストに接続されている。ホストは、緩衝記憶
域（バッファ）１５、ＨＳＣ１３および変換アダプタ・
カード１７を介してＲＳ／６０００プロセッサ・ノード
の１つ１９₆₀に結合される。変換アダプタ・カード１７
は、米国特許出願第０７／５５８００３号に記載されて
いるように、ＡＩＸ／３７０アーキテクチャをマイクロ
チャネル・アーキテクチャに変換する。ノード１９
₆₀は、他のプロセッサ間で作業またはタスクを分割し、
その回答をホストに戻す、監視プロセッサである。アダ
プタ２１₁〜２１₆₀は、ノード１９₁〜１９₆₀のそれぞれ
とクロスポイント交換機２３の間に結合される。このア
ダプタは各プロセッサ・ノードが独立して動作すること
を許容し、このアダプタを用いると、どのプロセッサで
も、ソフトウェア制御の下で他のどのプロセッサとも通
信できるようになる。また、要素１５₁、１７₁、１
９₁、２１₁から構成される、冗長ホスト・アクセス／監
視プロセッサ・リンクも設けられる。一方の経路を使用
してホストから信号を送ると同時に、他方が戻りの信号
をホストに結合することができる。ノード１９₁〜１９
₆₀にある個々のＲＳ／６０００プロセッサが、複雑な計
算またはタスクの異なる部分を処理し、他のノードにあ
る他のプロセッサと中間結果を交換することによって、
完全な解に到達する。このシステムに対するプログラミ
ング・インターフェースは、たとえば、各ノード１９₁
〜１９₆₀上のＡＩＸオペレーティング・システム環境で
走行する拡張クラスタ化ＦＯＲＴＲＡＮとすることがで
きる。簡単に理解できるプログラミング構造と標準の操
作環境を使用することによって、既存のアプリケーショ
ンの移行が改善される。

【０００５】このシステムのソフトウェア構成要素は、
拡張クラスタ化ＦＯＲＴＲＡＮ機能、ジョブ管理プログ
ラム、ファイル・アクセス機構、システムの利用度を監
視し、ユーザ・インターフェースに報告を提供する性能
モニタ、呼出しのサービスを援助するファイル・アクセ
ス機構、およびデバッガである。このシステムは、ホス
ト・コンピュータ１１上ではＡＩＸ／３７０オペレーテ
ィング・システム、ノード１９₁〜１９₆₀上ではＡＩＸ
／３オペレーティング・システムを使用する。拡張クラ
スタ化ＦＯＲＴＲＡＮ言語は、並列処理の作成と実行、
プロセス間通信およびプロセス調整の諸機能をＦＯＲＴ
ＲＡＮに追加したものである。ジョブ管理プログラム
は、ホスト・コンピュータ１１上で走行し、ジョブのコ
ンパイル、実行、デバッグ、消去および取消しのための
ＡＩＸサービスを提供する。ファイル・サーバまたはフ
ァイル・アクセス機構を用いると、アプリケーション
が、ホスト・ファイルにアクセスし、計算結果をユーザ
・ディレクトリに返せるようになる。性能モニタは、ハ
ードウェア機能とソフトウェア機能の図形分析を提供す
ることによって、プログラムのデバッグと最適化を簡単
にする。

【０００６】アダプタ２１は、マイクロ・チャネルとク
ロスポイント交換機（この例ではやはりＡＩＸ／３７０
チャネル）の間に結合される。同様に、各ノード１９と
クロスポイント交換機２３の間には、新型の直列チャネ
ル・アダプタであるアダプタ２１がある。各ノード１９
はそれぞれ、局所記憶用のメモリ・セクションと、大域
アクセス用の第２のメモリ・セクションを有する。

【０００７】システム１０のアーキテクチャは、階層化
され、新型直列チャネル・アダプタ、ＲＳ／６０００お
よびＡＩＸオペレーティング・システムのシステム構造
に含まれるハードウェアに従う。図２を参照されたい。
また、インターフェースを通るメッセージの流れを示す
図３を参照されたい。新型直列アダプタであるアダプタ
２１は、たとえばインテルのｉ９６０プロセッサなど、
それ自体のプロセッサを有する。論理リンク制御アーキ
テクチャは、５つの副層に分割される１つの層である。
副層の最上部は、トランスポート・プロトコルとネット
ワーク・プロトコル用のシステム・レベルのアプリケー
ション・プログラム・インターフェース（ＡＰＩ）を提
供する。これは、ノード１９₁〜１９₆₀にある各プロセ
ッサにある。この層は、クライアントまたはアプリケー
ションを「バインド」し「アンバインド」する機能、メ
ッセージの送受、ならびに、アプリケーションが必要と
する他の機能を提供する。第２の副層は、装置ドライバ
である。これも、ノード１９₁〜１９₆₀のＲＳ／６００
０プロセッサにある。図示の実施例では、各ノード１９
ごとに１つのアダプタ・ドライバ副層がある。他の実施
例では、各ノード１９₁〜１９₆₀ごとに別々の複数のア
ダプタがあってもよい。すべてのアダプタ２１は、１つ
の装置ドライバによって管理される局所プロセッサ（こ
の例ではＲＳ／６０００）に接続される。ノード１９₁
〜１９₆₀の各プロセッサ内にあるこの装置ドライバは、
ＡＩＸアーキテクチャプログラムカーネル内で、処
理状況でも割込み状況でも走行する。装置ドライバは、
ＡＰＩとＮＳＣＡアダプタの間のハードウェア・インタ
ーフェースとデータ構造を管理する。これには、バスへ
の接続、ＲＳ／６０００内のキャッシュのフラッシュ、
割込みの処理、カーネル常駐待ち行列の連鎖／解除およ
びその管理が含まれる。装置ドライバは、ＡＰＩによっ
て処理されるメッセージ・パケットを、アダプタ・ドラ
イバによって処理される作業パケットに変換し、また、
その逆の変換を行う。クライアントは、メッセージ・パ
ケットを作成し、消費し（対等通信として）、アダプタ
・ドライバは、作業パケットを作成し、消費する。作業
パケットとは、装置ドライバとアダプタ・ドライバの間
で交換される、サービスを求める要求を一般化したもの
である。一般に、１つのメッセージを送出しあるいは受
け取ると、１つの作業パケットが生成され、逆も同様で
ある。メッセージ・パケットには、それで運ばれるデー
タの量に応じて３つのタイプがある。３つのパケット・
タイプとは、アンテグラム・メッセージ、データグラム
・メッセージおよび緩衝記憶メッセージである（図４を
参照すると、ヘッダ、データグラムおよび緩衝記憶を伴
うメッセージのフォーマットが示されている）。アンテ
グラム・パケットとは、データを含まないメッセージ・
パケットである。アンテグラム・パケットは、短い命令
のブロックを含むプロトコル・ヘッダと制御情報だけを
含んでいる。データグラム・メッセージおよび緩衝記憶
メッセージは、プロトコル・ヘッダならびにデータを含
んでいる。データグラム・メッセージは、最大３５バイ
トのデータを運び、緩衝記憶メッセージは、１ページま
でのデータを運ぶ。現在の実施態様では、このプロトコ
ルでは、６４Ｋバイトまでのページ長が可能である。デ
ータグラム・メッセージおよび緩衝記憶メッセージは、
待ち行列に入れられ、受け取った順序で装置ドライバに
よって処理されなければならない。しかし、アンテグラ
ム・パケットは、プロトコル・ヘッダ内で要求される優
先順位に従って、保留中の他のすべてのメッセージより
前に処理することができる。作業パケットには、純、通
常、および、複合または２段階の３つのタイプがある。
純作業パケットは、割込みサービス・ルーチン（ＩＳ
Ｒ）への呼出しからなる。通常作業パケットは、プロト
コル・ヘッダと４バイトのフラグ情報を含んでいる。通
常作業パケットは、純作業パケットと同様に、ＩＳＲへ
の呼出しを含んでいるが、受信側要素によって処理され
る命令の制御ブロックと制御情報も含んでいる。受信側
要素は、状況に応じて、ノード１９内の装置ドライバ、
またはアダプタ・ドライバである。通常作業パケット
は、たとえば２８バイトであり、ＡＰＩによって生成さ
れ処理されるアンテグラム・メッセージ・パケットおよ
びデータグラム・メッセージ・パケットを表す。複合作
業パケットまたは２段階作業パケットは、装置間のマイ
クロチャネル・インターフェースを介する１転送分のデ
ータに含まれる複数の通常作業パケットからなる。２段
階作業パケットでは、制御情報が交換される段階の後の
別の段階でデータ転送が行われる。したがって、「２段
階」と称する。第３の副層であるアダプタ２１内のアダ
プタ・ドライバ副層は、そのアダプタ自体に含まれる１
プログラムとして、完全にプロセッサの外部で走行す
る。アダプタ・ドライバは、作業パケット・インターフ
ェース（ＷＰＩ）を介するファイバ上での出発と到着に
関して、緩衝記憶パケットのスケジューリングを行う。
アダプタ・ドライバは、緩衝記憶域属性の意味を解釈
し、ホスト・システムの仮想記憶域との間でのすべての
転送を手配する。図５を参照すると、このアダプタは、
待ち行列のシステムである作業パケット・インターフェ
ース７０を含んでいる。ＷＰＩ内の各構造は、アダプタ
・ドライバ宛（アウトバウンド）の作業パケット用の副
構造、装置ドライバ宛（インバウンド）の作業パケット
用の副構造、および装置ドライバからアダプタ・ドライ
バへ肯定応答禁止を渡すための副構造の、３つの副構造
に分けられる。ＷＰＩ構造は、装置ドライバとアダプタ
・ドライバによって共用される記憶資源に常駐する。図
６を参照のこと。作業パケットのサービスは、下記のよ
うにして行われる。アダプタ・ドライバが、ＷＰＩアウ
トバウンド構造をポーリングし、見つかった作業パケッ
トに関して要求されるサービスのスケジューリングを行
う。これとは対照的に、装置ドライバは、ＩＳＲ（割込
みサービス・ルーチン）によってその作業パケットの最
初の部分を受け取り、同じ割込みサイクルの間に残りの
パケットを受け取る。通常は、この装置ドライバのＩＳ
Ｒに対して呼出しが行われ、その後、作業パケットが、
ＷＰＩ構造から読み出され、順次処理される。装置ドラ
イバが作業パケットを送出する時、先に進むには２つの
方法がある。クライアントの代わりに、装置ドライバが
同期式にふるまい、第１水準肯定応答（ＦＡＣＫ）が返
されるまで待機することができる。あるいは、装置ドラ
イバは、ＦＡＣＫを待たずに、ＷＰＩ上で複数の作業パ
ケットをパイプライン式に伝送することによって、非同
期式にふるまうこともできる。装置ドライバはまた、デ
ータがいつホスト・システムから移動されたかを示す送
信完了肯定応答（すなわち、純作業パケット）を要求す
ることができ、あるいは、データをいつ受信側ノードに
送出し終えたかを示す第２水準肯定応答（ＳＡＣＫ）を
要求することもできる。ＳＡＣＫは、アンテグラム・メ
ッセージとしてソース・アプリケーション・クライアン
トにディスパッチされる通常作業パケットである。した
がって、本発明では、同期モードと非同期モードの両方
の動作が可能である。第４の副層は、アダプタ２１内の
リンク・プロトコル副層である。これは、図１に示すよ
うに、クロスポイント交換機のリンク・プロトコルと装
置プロトコルのサブセットを実施する。

【０００８】マイクロチャネル・インターフェース・コ
ントローラＭＩＣ転送は、別のプロセッサ・エレメント
ＰＥにアウトバウンドのメッセージ・パケットを送信す
るため、および別のＰＥからインバウンドのメッセージ
・パケットを受信するための２つのステージング緩衝記
憶域プールを介して行れる。この２つのステージング緩
衝記憶域プールを、それぞれ送出（xmit）緩衝記憶域お
よび受取（recv）緩衝記憶域と称する。

【０００９】メッセージに関連するデータは、（１）Ａ
ＩＸ仮想記憶域内の固定ページ境界上にあるかまたはそ
の内部に含まれなければならず、（２）装置ドライバが
そのページを「解放」するまでこのデータにアクセスし
てはならない。アダプタ・ドライバは、作業パケットが
待ち行列に入られた後の不確定な時点で、ＭＩＣにデー
タ転送コマンドを発行する。したがって、メッセージを
送ることによって、たとえば、アダプタ・ドライバがま
だそのxmit緩衝記憶域プールにデータを転送しないうち
に、クライアントがＡＰＩから戻ることができる。

【００１０】緩衝記憶域の属性と待ち行列化の規律が、
実際のデータの移動を決定する。データが転送された
後、アダプタ・ドライバは、純作業パケットを装置ドラ
イバに送って、そのページを解放する。また、アダプタ
・ドライバは、４部分からなるアドレス(PE,channel,wo
rk-paket-unit,buffer-id)の経路指定上の意味を実施す
る。送出時と受取時に、アダプタ・ドライバは、クライ
アントが前もってバインドする属性ごとに、メッセージ
内の(*,*,work-paket-unit,buffer-id)を解釈する。送
出時に、アダプタ・ドライバは、(PE,channel,*,*)を交
換機上の物理ポート番号にマッピングする。その後、こ
のポート番号を使用して、その交換機を介する接続を指
示する。

【００１１】アダプタ・ドライバの下にリンク・プロト
コル・ドライバがある。このリンク・プロトコル・ドラ
イバは、完全にＮＳＣＡ上のリンク・プロトコル・ドラ
イバ・エンジン内で走行する。これは、図７に示すよう
に、クロスポイント交換機のリンク・プロトコルと装置
プロトコルのサブセットを実施する。リンク・プロトコ
ル・ドライバは、交換機接続を作成または解除し、交換
機フレームを介してＬＳＰパケットをパックまたはアン
パックし、これらのパケットをxmitおよびrecv緩衝記憶
域を介して、緩衝記憶ディレクトリ・パケットとして送
出しまたは受け取る。緩衝記憶ディレクトリ・パケット
とは、アダプタ・ドライバとリンク・プロトコル・ドラ
イバの間で情報を交換するための戦略を一般化したもの
である。

【００１２】ｉ９６０プロセッサとリンク・プロトコル
・ドライバの間のインターフェースは、局所データ記憶
域（ＬＤＳ）内または局所プロセッサ記憶域（ＬＰＳ）
内の共用領域を介する。この共用領域は、（１）次に使
用可能な受信緩衝記憶域を指す変数next_recv_avail、
（２）次に使用可能な送信緩衝記憶域を指す変数next_x
mit_avail、および（３）何が（ｉ９６０とリンク・プ
ロトコル・ドライバのどちらが）次のxmit/recv変数ポ
インタを更新することを許されているのかを示すup_int
erlock_turn変数の、３つのメタデータ変数を保持す
る。xmit緩衝記憶域とrecv緩衝記憶域は、ＬＤＳ内の循
環リスト・データ構造を形成し、メタデータは、ＬＤＳ
またはＬＰＳのどちらかに置くことができる。変数next
_recv_availとnext_xmit_avail（以下、この２つをまと
めてnext変数と称する）は、実際にはhead（頭部）副フ
ィールドとtail（尾部）副フィールドを含んでいる。

【００１３】アダプタ・ドライバと、リンク・プロトコ
ル・ドライバのどちらかが非静止状態である。アダプタ
・ドライバが非静止状態の時は、たとえばＷＰＩを走査
するなどでアダプタ・ドライバが使用中である。アダプ
タ・ドライバは、静止する時、リンク・プロトコル・ド
ライバの値をインターロックに書き込み、続行する。ア
ダプタ・ドライバは、これを行う時、next変数を更新し
ないことに同意する。すなわち、アダプタ・ドライバか
ら見ると、これらの変数の状態は静止している。

【００１４】リンク・プロトコル・ドライバが非静止状
態の時は、リンク・プロトコル・ドライバはnext変数を
自由に更新することができる。また、リンク・プロトコ
ル・ドライバは、アウトバウンド（の伝送物があるなら
ば、それ）を受諾でき、またインバウンドの伝送物（が
あるなら、それ）を受諾することができる。リンク・プ
ロトコル・ドライバが、行うべき作業がない場合、すな
わち、アウトバウンドの伝送物もインバウンドの伝送物
もない場合は、リンク・プロトコル・ドライバは、アダ
プタ・ドライバの値をインターロックに書き込むことに
よって静止する。前述のアダプタ・ドライバと同様に、
リンク・プロトコル・ドライバは、そうすることによっ
てnext変数を更新しないことに同意する。

【００１５】静止状態の間に、アダプタ・ドライバは、
おそらく３つのことを行っている。１つは、受信データ
をrecv緩衝記憶域からＭＩＣを介してシステム・メモリ
に押し戻すことである。もう１つは、送信データをシス
テム・メモリからＭＩＣを介してxmit緩衝記憶域に押し
出すことである。最後に、アダプタ・メモリは、必要に
応じて作業パケットを処理しながら、ＷＰＩを走査する
こともできる。

【００１６】アダプタ・ドライバは、非静止状態の時、
xmit/recv緩衝記憶域の状態を収集する。その後、アダ
プタ・ドライバは、静止し、上述の３項目の処理を継続
する。したがって、アダプタ・ドライバは、（１）１つ
の項目だけが送信待ち行列の先頭にあり、（２）かつそ
れが非静止状態である場合に、遊休状態になる。

【００１７】静止状態では、リンク・プロトコル・ドラ
イバは、おそらくはデータの送信と受信という２つのこ
とを行うことができる。アダプタ・ドライバと同様に、
リンク・プロトコル・アダプタは、非静止状態の間にxm
it/recvデータを収集し、その後、静止する。

【００１８】静止状態にあるリンク・プロトコル・ドラ
イバは、もう１度非静止状態になるまでに、ちょうどｎ
個の入力伝送物を受諾することができる。値ｎは、使用
可能なrecv緩衝記憶域の数である。構成要素headは、リ
ンク・プロトコル・ドライバが非静止状態の時、リンク
・プロトコル・ドライバによって進められる。構成要素
tailは、アダプタ・ドライバが非静止状態の時に、アダ
プタ・ドライバによって進められる。

【００１９】リンク・プロトコル・ドライバの処理の詳
細を図７に示す。図７は、リンク・プロトコル・ドライ
バの制御ループを示す図である。リンク・プロトコル・
ドライバは、アウトバウンドの作業を処理しているか、
インバウンド接続を待っているか、あるいは非静止状態
になるのを待っているかのいずれかである。ｉ９６０用
の類似のアルゴリズムを作ることができる。

【００２０】この通信管理システムでは、アプリケーシ
ョンが、使用可能メモリ内の緩衝記憶域の名前空間と、
論理プロセッサ間の通信経路を確立するためにその名前
空間をどう使用するか（意味）のクラスを指定するタグ
とを定義する。この意味は、そのアプリケーションがそ
の緩衝記憶域に関連するタグを変更するか、あるいはそ
の緩衝記憶域を解放するまで、その名前空間にバインド
される。アプリケーションから見ると、そのアプリケー
ションによって確立されたクラスで定義される情報を使
用して、データが、ある論理緩衝記憶域から別の論理緩
衝記憶域へ送られる。これは、論理プロセッサの外部の
ハードウェアによって行われ、プロセッサは、通信割込
みの処理から解放される。論理プロセッサは、通信管理
プログラムの機能を呼び出し、各プロセッサは、協力し
通信する論理プロセッサのグループ内で、一義的な識別
子をもたなければならない。

【００２１】アウトバウンドのアダプタ・ドライバは、
低水準インターフェースの細部をプロセッサから隠し、
低水準ヘッダを作成し、低水準機能呼出しを生成し、ア
プリケーションから与えられるページ・サイズのデータ
・ブロックを分解して媒体特有のフレームにし、クラス
特性を名前空間（緩衝記憶域）にマッピングする。アウ
トバウンドのアダプタ・ドライバは、アプリケーション
によって静的に構成される緩衝記憶域の意味に関して、
インバウンドとアウトバウンドの伝送をスケジューリン
グし、キャッシュ記憶する。アウトバウンドのアダプタ
・ドライバは、緩衝記憶域プールを管理し、すべての待
ち行列化を実施する。

【００２２】通信管理プログラムは、インバウンドとア
ウトバウンドのデータ要求を、深さｎのＦＩＦＯ待ち行
列に入れる。宛先毎に１つの待ち行列がある。データ自
体は待ち行列化されず、データを求める要求だけが待ち
行列に入れられる。要求は、名前空間（緩衝記憶域）の
受信属性に従って待ち行列から外される。このようにし
て、順序が保存され、宛先使用中状態が、ソース側で取
り除かれる。

【００２３】属性とは、特定の名前空間の特性を記述す
る静的値である。たとえば、緩衝記憶域属性は、「送
信」特性または「受信」特性を指定することができる。
クラスとは、アプリケーションに対して使用可能にされ
た属性の組であり、アダプタ・ドライバが緩衝記憶域を
管理する論理的な方法を反映する。図８を参照のこと。

【００２４】定義済みクラス（属性の組）の数は有限で
ある。これらのクラスをアプリケーションが変更するこ
とはできないが、アプリケーションは、それが制御する
すべての緩衝記憶域のクラスを変更することができる。
効率的な通信を保証するために、アプリケーションは、
属性の他の組合せを定義しない。

【００２５】本段では、緩衝記憶域および緩衝記憶域管
理の概念を説明する。このシステムは、数種類の緩衝記
憶域を使用する。内部目的に使用される緩衝記憶域は、
クライアントから不可視である。これらの緩衝記憶域の
例には、補助xmit/recv緩衝記憶域、非送信請求受信の
ために維持される緩衝記憶域などが含まれる。クライア
ントから見ると、緩衝記憶域は、データの送信および受
信に使用される論理記憶資源である。この目的のため、
緩衝記憶域は、論理対(work-paket-unit,buffer-id)に
よってアドレスされる。

【００２６】クライアントは、（１）ある緩衝記憶域の
名前空間と、（２）その緩衝記憶域の意味のクラスを指
定するタグとを定義する。これらの意味は、そのクライ
アントがそのタグを変更するかあるいはその名前をアン
バインドするまで、バインドされたままになる。属性
は、メッセージが送信または受信される時、システムに
とってよく定義された挙動を指定する。

【００２７】(work-paket-unit,buffer-id)対は、論理
記憶域アドレスである。この対は、ある時点で物理記憶
域にバインドされなければならない。この設計は、後期
バインディングと早期バインディングの両方をサポート
する。主要な緩衝記憶域クラスは２つある。

【００２８】バインディングが早期（かつ暗黙の条件か
ら静的）である場合には、緩衝記憶域の属性は、持続性
である。持続性の緩衝記憶域は、共用メモリと同様の挙
動を示す。(work-paket-unit,buffer-id)対から物理記
憶域への１対１のマッピングが存在する。この属性を有
する緩衝記憶域上での局所送信および局所受信の挙動
は、局所アクセスおよび局所更新と同様である。遠隔送
信および遠隔受信の挙動は、遠隔アクセスおよび遠隔更
新と同様である。この意味で、データ（および名前マッ
ピング）は持続する。

【００２９】バインディングが後期（かつ暗黙の条件か
ら動的）である場合には、緩衝記憶域の属性は非持続性
である。非持続性の緩衝記憶域は、深さｎのＦＩＦＯリ
ンクと同様の挙動を示す。(work-paket-unit, buffer-i
d)対から物理記憶域への１対多のマッピングが、潜在的
に存在する。この属性を有する緩衝記憶域上での送信お
よび受信は、遠隔ＰＥに向けてアウトバウンドに待ち行
列化されるか、あるいは遠隔ＰＥからインバウンドに待
ち行列化される。データは、持続しない。

【００３０】受信タイプの属性を有する緩衝記憶域は、
遠隔ＰＥからデータを受け取ることができる。この緩衝
記憶域を使ってメッセージを送信することはできない。
受信属性には、３つの異なる属性がある。これらの属性
は、受信通知をいつどのように配布するのかを指定す
る。受信通知（ＲＶＮ）とは、宛先クライアント向けの
メッセージが受信されたことを伝える、宛先クライアン
トに送られる「信号」である。属性が受信通過の場合に
は、メッセージが到着するごとにＲＶＮが送られる。１
０個のメッセージが到着する場合、通知ルーチンへの１
０回の呼出しがスケジューリングされる。属性が受信遅
延の場合には、１メッセージ・ブロックにつき１つのＲ
ＶＮだけが送られる。ブロックのサイズは、単一の割込
みサイクル中にアダプタ・ドライバによって作成される
作業パケットの数によって決定される。１つの割込みの
間に３つのメッセージが到着し、別の割込みの間に７つ
のメッセージが到着する場合、ＲＶＮルーチンへの２回
の呼出しがスケジューリングされる。これら２つの属性
は、スループットと応答の間のヒューリスティックなト
レードオフを表している。それ自体の緩衝記憶域管理を
実行する高性能クライアントは、これらの属性のうちの
１つを選択するであろう。属性が受信ポーリングの場
合、ＲＶＮは送られない。クライアントは、ＡＰＩの受
信機能を呼び出すことによって、そのメッセージを求め
て「ポーリング」を行わなければならない。この属性
は、それ自体の緩衝記憶域管理を実行しない低性能クラ
イアントに有用である。この場合、このシステムの内部
緩衝記憶域が使用され、メモリ間コピーによって、その
データがカーネル・メモリからクライアントのメモリに
移される。

【００３１】送信タイプの属性を有する緩衝記憶域は、
遠隔ＰＥにデータを送るのに使用することができる。こ
れを使ってメッセージを受信することはできない。送信
属性には、３つの異なる属性がある。これらの属性は、
送信通知（ＸＴＮ）をいつどのように送るのかを指定す
る。ＸＴＮとは、メッセージのデータ・ページが再度ア
クセス可能になった時にソース・クライアントに送られ
る「信号」である。緩衝記憶域属性が送信通過の場合に
は、各ページがアダプタ上のxmit緩衝記憶域にＤＭＡ転
送された後に、ＸＴＮが送られる。この時点で、クライ
アントは、そのページを割振り解除するか、あるいはそ
のページを使って別のメッセージを送ることができる。
ただし、ＸＴＮは、そのメッセージがシステムを出たこ
とを意味するものではない。その目的には、別の機構で
あるＳＡＣＫが使用される。緩衝記憶域属性が送信遅延
の場合には、ＤＭＡ転送される１ページ・ブロックにつ
き１つのＸＴＮだけが送られる。このブロックのサイズ
は、アダプタ・ドライバを介してディスパッチできるメ
ッセージ数に依存する。やはり、これら２つの属性は、
応答とスループットの間のヒューリスティックなトレー
ドオフを表している。緩衝記憶域属性が送信の場合に
は、ＸＴＮは全く送られない。この属性は、それ自体の
緩衝記憶域管理を実行するクライアントに有用である。
この場合、たとえば、クライアント・レベルの肯定応答
を使用して、いつページが解放されたのかを通知する。

【００３２】アダプタ専用という意味は、主に、その緩
衝記憶域がＬＤＳアダプタ空間内で割り振られることを
指定する。

【００３３】取出し可能属性という意味は、別のアダプ
タ・ドライバがその緩衝記憶域に遠隔アクセスできるか
否かを指定する。この緩衝記憶域は、取出し可能な有効
状態でなければならない。すなわち、ある緩衝記憶域内
のデータは、その緩衝記憶域内のデータが有効である場
合に限って取出し可能である。クライアントは、ＡＰＩ
の送信要求呼出しを使って、別のクライアントの取出し
可能緩衝記憶域に遠隔アクセスできる。

【００３４】緩衝記憶域属性には、組み合わされた時に
意味を有するものもあれば、そうでないものもある。緩
衝記憶域は、持続性か非持続性のどちらかでなければな
らない。その両方になることは不可能である。さらに、
緩衝記憶域は、送信専用タイプ、受信専用タイプ、また
は送信受信組合せタイプでなければならない。これらの
属性の６つの組合せのうちのどれももたない緩衝記憶域
は無意味である。取出し可能属性は、その緩衝記憶域が
持続性であることも暗示している。アダプタ専用属性に
ついても同じことがいえる。たとえば、ある緩衝記憶域
が、取出し可能（またはアダプタ専用）であり、かつ非
持続性であることは不可能である。アンテグラムは、形
式上は記憶域のないメッセージ・パケットである。アン
テグラムは、緩衝記憶資源を必要としないが、どのよう
な場合であっても、このクラス属性パラダイム内で処理
される。

【００３５】たとえば、上記のタイプの意味を実行する
能力を有する知能アダプタを介して通信を実行する、コ
ンピュータまたはデータ・サーバまたはデータ・マネジ
ャー資源間の有効な２地点間通信の手段を提供する、ク
ロスバー接続式またはカスケード式のクロスバー交換機
のネットワークも、本明細書に記載のタイプの分散メモ
リ式計算システムとみなされるはずである。前に提案し
た数値計算中心の科学・技術用システムの他に、このよ
うなシステムも、照会処理、トランザクション処理また
は様々なワークステーション・サーバ機能などの様々な
市販アプリケーションを実行できるはずである。さら
に、"ＥＳＣＤ"クロスバ交換機を、１つの可能な相互接
続ファブリックとして提案したが、他の交換機も本発明
の実施に適しているはずである。また、このようなシス
テムは、同一のラックや格納装置中など、互いに物理的
に接近して実装することもでき、また選択されたファブ
リックによってサポートされる距離を隔てて分散してい
ても、なおかつ本発明から利益を得ることができるはず
である。

【図面の簡単な説明】

【図１】本発明の一実施例によるシステムの全体ブロッ
ク図である。

【図２】アーキテクチャ層を示す図である。

【図３】メッセージの流れを示す図である。

【図４】メッセージ・パケットのフォーマットを示す図
である。

【図５】アダプタを示す図である。

【図６】ＷＰＩの動作を示す図である。

【図７】リンク・プロトコル・ドライバ処理の流れ図で
ある。

【図８】クラスと属性の組合せ表である。

【符号の説明】１０システム１１ホスト・コンピュータ１２ユーザ・インターフェース１３高速チャネル（ＨＳＣ）１４大容量記憶装置１５緩衝記憶域１７変換アダプタ・カード１９ノード２１アダプタ２２メモリおよびディスク記憶装置２３クロスポイント交換機７０作業パケット・インターフェース（ＷＰＩ）

───────────────────────────────────────────────────── フロントページの続き (72)発明者オーウェン・キース・モンローアメリカ合衆国、ニューヨーク州ポート・エウェン、ブロードウェイ 262 (72)発明者ロバート・フレデリック・スタックアメリカ合衆国、ニューヨーク州ソージャティーズ、リッジ・ロード９ (72)発明者エリザベス・アン・ファンデルベックアメリカ合衆国、ニューヨーク州キングストン、ビーバーキル・ロード 280 (72)発明者スチーブン・エドワード・ベッロアメリカ合衆国、ニューヨーク州キングストン、ジョン・ストリート 95 (72)発明者ジョン・ロバート・ハッタースリーアメリカ合衆国、ニューヨーク州ソージャティーズ、ブルーストーン・パーク・ロード 25 (72)発明者キエン・アン・ファアメリカ合衆国、フロリダ州オビエド、マッコール・コート 1012 (72)発明者デービッド・レイモンド・プリュエットアメリカ合衆国、ニューヨーク州ソージャティーズ、チェリー・レーン８ (72)発明者ジェラルド・フランクリン・ロッロアメリカ合衆国、ニューヨーク州ポーキープシー、プレザント・リッジ・ドライブ 40 (56)参考文献特開昭63−312750（ＪＰ，Ａ) 特開昭56−108137（ＪＰ，Ａ) 特開昭58−181166（ＪＰ，Ａ) 特開平２−33649（ＪＰ，Ａ) 特公平３−70950（ＪＰ，Ｂ２)

Claims

(57)【特許請求の範囲】

【請求項１】ａ）各処理ユニットが下記(イ)乃至(ニ)に記
載する手段を含む、複数の処理ユニットと、 (イ)タスクのある部分を実行するための局所プロセッサ
手段 (ロ)処理ユニットの外部にある１つの他のプロセッサ手
段によってアクセス可能であり、該処理ユニット内の前記局所プロセッサ手
段によって前記タスクのある部分に含まれるデータおよ
びコマンドを記憶および検索するための局所メモリ手段 (ハ)前記各処理ユニットによって非制限的且つ連続的に
アクセスすることが可能な外部通信経路手段 (ニ)転送要求が、前記処理ユニット内の前記局所プロセ
ッサ手段および前記処理ユニット外の他の処理ユニット
内のプロセッサ手段のいずれかで発せられ、前記処理ユ
ニット内の前記局所メモリ手段からのデータに対する転
送要求を管理するための、前記各処理ユニットを前記外
部通信経路手段に接続するアダプタ・インタフェース手
段であって、 1)前記転送要求に伴って要求された転送データを記憶す
ることなく前記要求を待ち行列に入れるためのＦＩＦＯ
待ち行列化手段、および、 2)前記少なくとも１つの他のプロセッサ手段からの要求
の受け取りにつれて前記処理ユニット内の前記プロセッ
サ手段の介在を要さずに前記局所メモリ手段にアクセス
しうるインテリジェント・アクセス手段、を含む、アダプタ・インタフェース手段ｂ）複数の処理ユニット間における、タスクのそれぞれ
の部分を実行するための命令の伝送およびタスクのそれ
ぞれの部分の処理結果の伝送のために、前記外部通信経
路手段をすべての処理ユニットに接続するためのクロス
ポイント交換機手段と、ｃ）前記複数の処理ユニットおよび前記クロスポイント
交換機手段のいずれの部分にも属さず、前記複数の処理
ユニットによるタスクの実行のために、前記複数の処理
ユニットに命令とデータを提供するための制御ホストコ
ンピュータ・システムであって、 (イ)前記複数の処理ユニットによるタスクの実行のため
に命令とデータを記憶するためのホスト記憶手段、およ
び、 (ロ)命令を入力するためおよび制御ホストコンピュータ
・システムからの出力を受信するための、ユーザ・イン
ターフェース手段、を含む、制御ホストコンピュータ・
システムと、ｄ）前記複数の処理ユニットの内の少なくとも１つの処
理ユニットに監視機能を付与し、前記複数の処理ユニッ
トに対する監視手段となし、該監視手段は前記制御ホス
トコンピュータ・システムからタスクを受け取り、その
タスクを複数のタスクの部分に分割し、分割したタスク
の部分を他の複数の処理ユニットに分配し、該タスクの
処理結果を前記制御ホストコンピュータ・システムに提
供し、前記複数の処理ユニットおよび前記クロスポイン
ト交換機手段のいずれの部分にも属さず、前記制御ホス
トコンピュータ・システムと上記１つの処理ユニットの
間を互いに通信しうるように結合するホスト通信経路手
段と、からなる、タスクを実行するための分散メモリ式デジタ
ル計算システム。