JP3470951B2 - 非一様メモリ・アクセス・コンピュータ・システム及びその操作方法 - Google Patents
非一様メモリ・アクセス・コンピュータ・システム及びその操作方法Info
- Publication number
- JP3470951B2 JP3470951B2 JP18183999A JP18183999A JP3470951B2 JP 3470951 B2 JP3470951 B2 JP 3470951B2 JP 18183999 A JP18183999 A JP 18183999A JP 18183999 A JP18183999 A JP 18183999A JP 3470951 B2 JP3470951 B2 JP 3470951B2
- Authority
- JP
- Japan
- Prior art keywords
- node
- transaction
- processing node
- processing
- communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000015654 memory Effects 0.000 title claims description 44
- 238000000034 method Methods 0.000 title claims description 29
- 238000012545 processing Methods 0.000 claims description 149
- 238000004891 communication Methods 0.000 claims description 75
- 239000000872 buffer Substances 0.000 claims description 41
- 230000004044 response Effects 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 10
- 230000000903 blocking effect Effects 0.000 claims description 4
- 238000003860 storage Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000014759 maintenance of location Effects 0.000 description 4
- 230000001427 coherent effect Effects 0.000 description 3
- ZRTQSJFIDWNVJW-WYMLVPIESA-N Lanoconazole Chemical compound ClC1=CC=CC=C1C(CS\1)SC/1=C(\C#N)N1C=NC=C1 ZRTQSJFIDWNVJW-WYMLVPIESA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 229940121710 HMGCoA reductase inhibitor Drugs 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000003999 initiator Substances 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000001693 membrane extraction with a sorbent interface Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
- G06F15/163—Interprocessor communication
- G06F15/17—Interprocessor communication using an input/output type connection, e.g. channel, I/O port
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Memory System Of A Hierarchy Structure (AREA)
- Multi Processors (AREA)
- Information Transfer Systems (AREA)
- Computer And Data Communications (AREA)
Description
【０００１】本発明は一般にデータ処理のための方法及
びシステムに関し、特に非一様メモリ・アクセス（Ｎｏ
ｎ−Ｕｎｉｆｏｒｍ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ（Ｎ
ＵＭＡ））データ処理システム及びＮＵＭＡデータ処理
システムにおける通信方法に関する。更に詳細には本発
明は潜在的な第三ノード・トランザクションが通信待ち
時間を縮小するためにバッファされるＮＵＭＡデータ処
理システム及び通信方法に関する。
びシステムに関し、特に非一様メモリ・アクセス（Ｎｏ
ｎ−Ｕｎｉｆｏｒｍ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ（Ｎ
ＵＭＡ））データ処理システム及びＮＵＭＡデータ処理
システムにおける通信方法に関する。更に詳細には本発
明は潜在的な第三ノード・トランザクションが通信待ち
時間を縮小するためにバッファされるＮＵＭＡデータ処
理システム及び通信方法に関する。
【０００２】
【従来の技術】複数の別個のプロセッサの処理能力を連
係させるようにハーネシングすることにより大きなコン
ピュータ・システム・パフォーマンスが達成されること
は、コンピュータ技術分野において周知である。マルチ
・プロセッサ（ＭＰ）コンピュータ・システムは多くの
異なった接続形態で設計することができ、各アプリケー
ションのパフォーマンス要求及びソフトウェア環境に応
じて特定のアプリケーションのためにより適合した設計
が可能である。最も普通のＭＰコンピュータ接続形態
は、典型的に共用システム相互接続手段に結合されるシ
ステム・メモリ及び入出力（Ｉ／Ｏ）サブシステムのよ
うな共通の資源を複数のプロセッサが共用する対称マル
チ・プロセッサ（ＳＭＰ）構成である。そのようなコン
ピュータ・システムは、共用システム・メモリ中に記憶
されているデータへのＳＭＰコンピュータ・システム中
の全てのプロセッサのアクセス待ち時間が理論上同じで
あるため、対称であると呼ばれている。
係させるようにハーネシングすることにより大きなコン
ピュータ・システム・パフォーマンスが達成されること
は、コンピュータ技術分野において周知である。マルチ
・プロセッサ（ＭＰ）コンピュータ・システムは多くの
異なった接続形態で設計することができ、各アプリケー
ションのパフォーマンス要求及びソフトウェア環境に応
じて特定のアプリケーションのためにより適合した設計
が可能である。最も普通のＭＰコンピュータ接続形態
は、典型的に共用システム相互接続手段に結合されるシ
ステム・メモリ及び入出力（Ｉ／Ｏ）サブシステムのよ
うな共通の資源を複数のプロセッサが共用する対称マル
チ・プロセッサ（ＳＭＰ）構成である。そのようなコン
ピュータ・システムは、共用システム・メモリ中に記憶
されているデータへのＳＭＰコンピュータ・システム中
の全てのプロセッサのアクセス待ち時間が理論上同じで
あるため、対称であると呼ばれている。
【０００３】ＳＭＰコンピュータ・システムは比較的単
純なプロセッサ間通信及びデータ共用方法を可能にして
いるが、ＳＭＰコンピュータ・システムの拡張容易性
（スケーラビリティ）には限界がある。言い換えれば、
典型的なＳＭＰコンピュータ・システムのパフォーマン
スは一般的にスケール（すなわち更なるプロセッサの追
加）によって改善することが期待され得るが、バス、メ
モリ、及び入出力（Ｉ／Ｏ）の固有の帯域幅制限のた
め、これらの共用資源の利用が最適化されるインプリメ
ンテーション依存サイズを越えてＳＭＰをスケーリング
することによって得られる重要な利点が得られなくな
る。このように、システム・スケールの増加に伴い、Ｓ
ＭＰ接続形態それ自身はある程度帯域幅制限、特にシス
テム・メモリの帯域幅制限に影響される。ＳＭＰコンピ
ュータ・システムは、また、製造効率の観点から、良く
スケールできない。例えば、幾つかの部品は単一プロセ
ッサ及び小規模ＳＭＰコンピュータ・システムの両方で
の使用のために最適化され得るが、そのような部品はし
ばしば大規模ＳＭＰコンピュータ・システムでの使用の
ためには効率的ではない。逆に言えば、大規模ＳＭＰコ
ンピュータ・システムでの使用のために設計された部品
は、小規模システムでの使用のためにはコストの観点か
ら実用的でない。
純なプロセッサ間通信及びデータ共用方法を可能にして
いるが、ＳＭＰコンピュータ・システムの拡張容易性
（スケーラビリティ）には限界がある。言い換えれば、
典型的なＳＭＰコンピュータ・システムのパフォーマン
スは一般的にスケール（すなわち更なるプロセッサの追
加）によって改善することが期待され得るが、バス、メ
モリ、及び入出力（Ｉ／Ｏ）の固有の帯域幅制限のた
め、これらの共用資源の利用が最適化されるインプリメ
ンテーション依存サイズを越えてＳＭＰをスケーリング
することによって得られる重要な利点が得られなくな
る。このように、システム・スケールの増加に伴い、Ｓ
ＭＰ接続形態それ自身はある程度帯域幅制限、特にシス
テム・メモリの帯域幅制限に影響される。ＳＭＰコンピ
ュータ・システムは、また、製造効率の観点から、良く
スケールできない。例えば、幾つかの部品は単一プロセ
ッサ及び小規模ＳＭＰコンピュータ・システムの両方で
の使用のために最適化され得るが、そのような部品はし
ばしば大規模ＳＭＰコンピュータ・システムでの使用の
ためには効率的ではない。逆に言えば、大規模ＳＭＰコ
ンピュータ・システムでの使用のために設計された部品
は、小規模システムでの使用のためにはコストの観点か
ら実用的でない。
【０００４】それ故に、非一様メモリ・アクセス（ＮＵ
ＭＡ）として知られるより複雑なＭＰコンピュータ・シ
ステム接続形態が、ＳＭＰコンピュータ・システムの多
くの制限に対処する代替の設計として、現れた。典型的
なＮＵＭＡコンピュータ・システムは、夫々が一以上の
プロセッサ及びローカル”システム”メモリを含む多数
の相互接続ノードを含む。そのようなコンピュータ・シ
ステムは、各プロセッサがローカル・ノードのシステム
・メモリ中に記憶されているデータに関してはリモート
・ノードのシステム・メモリ中に記憶されているデータ
に関するよりも短いアクセス待ち時間を持つため、非一
様メモリ・アクセスを持つと言われている。ＮＵＭＡシ
ステムは、異なるノードのキャッシュ間でデータ・コヒ
ーレンシが維持されるか否かに応じて、非コヒーレント
又はキャッシュ・コヒーレントに、更に分類することが
できる。キャッシュ・コヒーレントＮＵＭＡ（ＣＣ−Ｎ
ＵＭＡ）システムの複雑性は、各ノード内のキャッシュ
・メモリ及びシステム・メモリの多様なレベルの間だけ
ではなく異なるノードのキャッシュ及びシステム・メモ
リ間のデータ・コヒーレンシをも維持するためハードウ
ェアに必要とされる付加的通信に、大いに起因する。し
かしながら、ＮＵＭＡコンピュータ・システムは、その
各ノードがより小さいＳＭＰシステムとして実装され得
るから、従来のＳＭＰコンピュータ・システムの拡張容
易性の制限に対処する。このように、各ノード中の共用
コンポーネントはわずか数台のプロセッサによる使用の
ために最適化され得るが、システム全体としては、比較
的短い待ち時間を維持しつつ、より大規模な並列性が得
られるという利益がある。
ＭＡ）として知られるより複雑なＭＰコンピュータ・シ
ステム接続形態が、ＳＭＰコンピュータ・システムの多
くの制限に対処する代替の設計として、現れた。典型的
なＮＵＭＡコンピュータ・システムは、夫々が一以上の
プロセッサ及びローカル”システム”メモリを含む多数
の相互接続ノードを含む。そのようなコンピュータ・シ
ステムは、各プロセッサがローカル・ノードのシステム
・メモリ中に記憶されているデータに関してはリモート
・ノードのシステム・メモリ中に記憶されているデータ
に関するよりも短いアクセス待ち時間を持つため、非一
様メモリ・アクセスを持つと言われている。ＮＵＭＡシ
ステムは、異なるノードのキャッシュ間でデータ・コヒ
ーレンシが維持されるか否かに応じて、非コヒーレント
又はキャッシュ・コヒーレントに、更に分類することが
できる。キャッシュ・コヒーレントＮＵＭＡ（ＣＣ−Ｎ
ＵＭＡ）システムの複雑性は、各ノード内のキャッシュ
・メモリ及びシステム・メモリの多様なレベルの間だけ
ではなく異なるノードのキャッシュ及びシステム・メモ
リ間のデータ・コヒーレンシをも維持するためハードウ
ェアに必要とされる付加的通信に、大いに起因する。し
かしながら、ＮＵＭＡコンピュータ・システムは、その
各ノードがより小さいＳＭＰシステムとして実装され得
るから、従来のＳＭＰコンピュータ・システムの拡張容
易性の制限に対処する。このように、各ノード中の共用
コンポーネントはわずか数台のプロセッサによる使用の
ために最適化され得るが、システム全体としては、比較
的短い待ち時間を維持しつつ、より大規模な並列性が得
られるという利益がある。
【０００５】ＣＣ−ＮＵＭＡコンピュータ・システムの
パフォーマンスに関する重要な問題は、ノードを結合す
る相互接続手段を通じて送信される通信トランザクショ
ンに関連付けられる待ち時間である。全てのデータ・ア
クセスが潜在的にノード相互接続でのコヒーレンシ又は
データ要求トランザクションを引き起こし得るため、リ
モート・ノードへの要求の送信及びリモート・ノードか
らの応答の送信に関する待ち時間はシステム全体のパフ
ォーマンスに非常に影響を与え得る。これから明らかな
ように、短いノード間通信待ち時間を持つＣＣ−ＮＵＭ
Ａコンピュータ・システムを提供することが望まれる。
パフォーマンスに関する重要な問題は、ノードを結合す
る相互接続手段を通じて送信される通信トランザクショ
ンに関連付けられる待ち時間である。全てのデータ・ア
クセスが潜在的にノード相互接続でのコヒーレンシ又は
データ要求トランザクションを引き起こし得るため、リ
モート・ノードへの要求の送信及びリモート・ノードか
らの応答の送信に関する待ち時間はシステム全体のパフ
ォーマンスに非常に影響を与え得る。これから明らかな
ように、短いノード間通信待ち時間を持つＣＣ−ＮＵＭ
Ａコンピュータ・システムを提供することが望まれる。
【０００６】
【発明が解決しようとする課題】それゆえに、データ処
理のための改善された方法及びシステムを提供すること
が、本発明の一つの目的である。
理のための改善された方法及びシステムを提供すること
が、本発明の一つの目的である。
【０００７】改善されたＮＵＭＡデータ処理システム及
びＮＵＭＡデータ処理システムにおける通信方法を提供
することが、本発明の他の目的である。
びＮＵＭＡデータ処理システムにおける通信方法を提供
することが、本発明の他の目的である。
【０００８】潜在的な第三のノードのトランザクション
が通信待ち時間を縮小するためにバッファされる、改善
されたＮＵＭＡデータ処理システム及び通信方法を提供
することが、本発明の更なる目的である。
が通信待ち時間を縮小するためにバッファされる、改善
されたＮＵＭＡデータ処理システム及び通信方法を提供
することが、本発明の更なる目的である。
【０００９】
【課題を解決するための手段】上述の目的は、以下に記
述されるように達成される。第一、第二、及び第三の処
理ノードが結合された相互接続手段を含む非一様メモリ
・アクセス（ＮＵＭＡ）コンピュータ・システムが提供
される。第一、第二、及び第三の処理ノードの各々は、
少なくとも一つのプロセッサ及びローカル・システム・
メモリを含む。ＮＵＭＡコンピュータ・システムは、相
互接続手段に結合されたトランザクション・バッファを
更に含む。このトランザクション・バッファは、相互接
続手段を介して送信される通信トランザクションのう
ち、第三の処理ノード以外の処理ノードによって開始さ
れ且つ第三の処理ノード以外の処理ノードを宛先（ター
ゲット）とする通信トランザクションを記憶する。元々
は他の処理ノードを宛先とする特定の通信トランザクシ
ョンが第三の処理ノードによって処理されるべきとの決
定に応じて、トランザクション・バッファに結合された
バッファ制御論理は特定の通信トランザクションをトラ
ンザクション・バッファから取り出し、当該トランザク
ションを第三の処理ノードによって処理させる。一実施
の形態において、相互接続手段は同報通信構成を含み、
トランザクション・バッファ及びバッファ制御論理は、
第三の処理ノードの一部を構成する。
述されるように達成される。第一、第二、及び第三の処
理ノードが結合された相互接続手段を含む非一様メモリ
・アクセス（ＮＵＭＡ）コンピュータ・システムが提供
される。第一、第二、及び第三の処理ノードの各々は、
少なくとも一つのプロセッサ及びローカル・システム・
メモリを含む。ＮＵＭＡコンピュータ・システムは、相
互接続手段に結合されたトランザクション・バッファを
更に含む。このトランザクション・バッファは、相互接
続手段を介して送信される通信トランザクションのう
ち、第三の処理ノード以外の処理ノードによって開始さ
れ且つ第三の処理ノード以外の処理ノードを宛先（ター
ゲット）とする通信トランザクションを記憶する。元々
は他の処理ノードを宛先とする特定の通信トランザクシ
ョンが第三の処理ノードによって処理されるべきとの決
定に応じて、トランザクション・バッファに結合された
バッファ制御論理は特定の通信トランザクションをトラ
ンザクション・バッファから取り出し、当該トランザク
ションを第三の処理ノードによって処理させる。一実施
の形態において、相互接続手段は同報通信構成を含み、
トランザクション・バッファ及びバッファ制御論理は、
第三の処理ノードの一部を構成する。
【００１０】
【発明の実施の形態】［システム概観］図面、特に図１
を参照すると、本発明に係るＮＵＭＡコンピュータ・シ
ステムの実施の形態が図示されている。図示された実施
の形態は、例えば、ワークステーション、サーバ、又は
メインフレーム・コンピュータとして実現され得る。図
示のように、ＮＵＭＡコンピュータ・システム８は、ノ
ード相互接続手段２２によって相互に接続された多数
（Ｎ）の処理ノード１０ａ乃至１０ｄを含む。処理ノー
ド１０ａ乃至１０ｄの各々は、一つ以上Ｍ個までのプロ
セッサ（ＣＰＵ）１２を含む。プロセッサ１２ａ乃至１
２ｄは好ましくは同一であり、例えばＩＢＭ社から入手
可能なＰｏｗｅｒＰＣ（商標）ラインのプロセッサを含
む。レジスタ、命令フロー論理及びプログラム命令を実
行するために利用される実行ユニットに加えて、プロセ
ッサ１２ａ乃至１２ｄの各々はまたオンチップの１次
（Ｌ１）キャッシュ（図示せず）を含む。この一次キャ
ッシュは、データをシステム・メモリ１８から関連する
プロセッサ１２へステージするために２次（Ｌ２）キャ
ッシュ１４ａ乃至１４ｄの夫々と共に利用される。言い
換えれば、１次キャッシュ及び２次キャッシュ１４ａ乃
至１４ｄは、システム・メモリ１８とプロセッサ１２と
の間において、関連するプロセッサ１２によってアクセ
スされる可能性の高いデータを一時的にバッファする中
間記憶装置として機能する。２次キャッシュ１４は、典
型的には、１次キャッシュより長いアクセス待ち時間を
必要とするが、１次キャッシュより大きい記憶容量を持
つ。例えば、オンチップ１次キャッシュが８乃至３２キ
ロバイト（ＫＢ）の記憶容量を持つのに対し、２次キャ
ッシュ１４ａ乃至１４ｄは１乃至１６メガバイト（Ｍ
Ｂ）の記憶容量を持つ。２次キャッシュ１４ａ乃至１４
ｄは図１ではプロセッサ１２の外部に図示されている
が、関連するプロセッサ１２にオンチップ・キャッシュ
・メモリの付加的なレベルとして組み込まれていてもよ
い。更に、キャッシュ・メモリの一以上の付加的なレベ
ル（３次（Ｌ３）、４次（Ｌ４）、等）が付加的なデー
タ記憶を提供するために利用され。以下の記述中で、各
プロセッサ１２及びその関連するキャッシュ階層（１次
（Ｌ１）、２次（Ｌ２）、等）は、単一のスヌーパとし
て考察される。
を参照すると、本発明に係るＮＵＭＡコンピュータ・シ
ステムの実施の形態が図示されている。図示された実施
の形態は、例えば、ワークステーション、サーバ、又は
メインフレーム・コンピュータとして実現され得る。図
示のように、ＮＵＭＡコンピュータ・システム８は、ノ
ード相互接続手段２２によって相互に接続された多数
（Ｎ）の処理ノード１０ａ乃至１０ｄを含む。処理ノー
ド１０ａ乃至１０ｄの各々は、一つ以上Ｍ個までのプロ
セッサ（ＣＰＵ）１２を含む。プロセッサ１２ａ乃至１
２ｄは好ましくは同一であり、例えばＩＢＭ社から入手
可能なＰｏｗｅｒＰＣ（商標）ラインのプロセッサを含
む。レジスタ、命令フロー論理及びプログラム命令を実
行するために利用される実行ユニットに加えて、プロセ
ッサ１２ａ乃至１２ｄの各々はまたオンチップの１次
（Ｌ１）キャッシュ（図示せず）を含む。この一次キャ
ッシュは、データをシステム・メモリ１８から関連する
プロセッサ１２へステージするために２次（Ｌ２）キャ
ッシュ１４ａ乃至１４ｄの夫々と共に利用される。言い
換えれば、１次キャッシュ及び２次キャッシュ１４ａ乃
至１４ｄは、システム・メモリ１８とプロセッサ１２と
の間において、関連するプロセッサ１２によってアクセ
スされる可能性の高いデータを一時的にバッファする中
間記憶装置として機能する。２次キャッシュ１４は、典
型的には、１次キャッシュより長いアクセス待ち時間を
必要とするが、１次キャッシュより大きい記憶容量を持
つ。例えば、オンチップ１次キャッシュが８乃至３２キ
ロバイト（ＫＢ）の記憶容量を持つのに対し、２次キャ
ッシュ１４ａ乃至１４ｄは１乃至１６メガバイト（Ｍ
Ｂ）の記憶容量を持つ。２次キャッシュ１４ａ乃至１４
ｄは図１ではプロセッサ１２の外部に図示されている
が、関連するプロセッサ１２にオンチップ・キャッシュ
・メモリの付加的なレベルとして組み込まれていてもよ
い。更に、キャッシュ・メモリの一以上の付加的なレベ
ル（３次（Ｌ３）、４次（Ｌ４）、等）が付加的なデー
タ記憶を提供するために利用され。以下の記述中で、各
プロセッサ１２及びその関連するキャッシュ階層（１次
（Ｌ１）、２次（Ｌ２）、等）は、単一のスヌーパとし
て考察される。
【００１１】図示のように、処理ノード１０ａ乃至１０
ｄは、システム・メモリ１８及び２次キャッシュ１４ａ
乃至１４ｄと共にローカル相互接続手段１６に結合され
たノード・コントローラ２０を更に含む。各ノード・コ
ントローラ２０は、少なくとも二つの機能を果たすこと
によりリモート処理ノード１０のためのローカル・エー
ジェントとして、働く。第一の機能として、ノード・コ
ントローラ２０は、関連するローカル相互接続手段１６
をスヌープし、リモート処理ノード１０へのローカル通
信トランザクションの伝送を容易にする。第二の機能と
して、ノード・コントローラ２０は、ノード相互接続手
段２２上の通信トランザクションをスヌープし、関連す
るローカル相互接続手段１６上の関係のある通信トラン
ザクションを支配する。各ローカル相互接続手段１６上
の通信は、アービタ２４によって、制御される。以下で
更に論じられるように、アービタ２４は、プロセッサ１
２によって生成されるバス要求信号に基づくローカル相
互接続手段１６へのアクセスを調整し、ローカル相互接
続手段１６上のスヌープされた通信トランザクションの
ためのコヒーレンシ応答をコンパイルする。
ｄは、システム・メモリ１８及び２次キャッシュ１４ａ
乃至１４ｄと共にローカル相互接続手段１６に結合され
たノード・コントローラ２０を更に含む。各ノード・コ
ントローラ２０は、少なくとも二つの機能を果たすこと
によりリモート処理ノード１０のためのローカル・エー
ジェントとして、働く。第一の機能として、ノード・コ
ントローラ２０は、関連するローカル相互接続手段１６
をスヌープし、リモート処理ノード１０へのローカル通
信トランザクションの伝送を容易にする。第二の機能と
して、ノード・コントローラ２０は、ノード相互接続手
段２２上の通信トランザクションをスヌープし、関連す
るローカル相互接続手段１６上の関係のある通信トラン
ザクションを支配する。各ローカル相互接続手段１６上
の通信は、アービタ２４によって、制御される。以下で
更に論じられるように、アービタ２４は、プロセッサ１
２によって生成されるバス要求信号に基づくローカル相
互接続手段１６へのアクセスを調整し、ローカル相互接
続手段１６上のスヌープされた通信トランザクションの
ためのコヒーレンシ応答をコンパイルする。
【００１２】勿論、ＮＵＭＡコンピュータ・システム８
は、本発明の理解のために必要でないゆえに省略されて
いる付加的装置を更に含むことができる。例えば、各ノ
ード１０は、Ｉ／Ｏデバイス（例えば、表示デバイス、
キーボード、又はグラフィカル・ポインタ）、オペレー
ティング・システム及びアプリケーション・ソフトウェ
アを記憶するための不揮発性記憶装置、並びにネットワ
ーク又は付加されたデバイスとの接続のためのシリアル
・ポート及びパラレル・ポートをサポートし得る。
は、本発明の理解のために必要でないゆえに省略されて
いる付加的装置を更に含むことができる。例えば、各ノ
ード１０は、Ｉ／Ｏデバイス（例えば、表示デバイス、
キーボード、又はグラフィカル・ポインタ）、オペレー
ティング・システム及びアプリケーション・ソフトウェ
アを記憶するための不揮発性記憶装置、並びにネットワ
ーク又は付加されたデバイスとの接続のためのシリアル
・ポート及びパラレル・ポートをサポートし得る。
【００１３】［メモリ構成］ＮＵＭＡコンピュータ・シ
ステム８中の全てのプロセッサ１２は単一の物理メモリ
空間を共用し、このことは各物理アドレスは一のシステ
ム・メモリ１８の中の単一の位置にのみ関連することを
意味する。このように、一般にＮＵＭＡコンピュータ・
システム８中の何れのプロセッサ１２によってもアクセ
スされ得るシステム・メモリの内容全体は、四つのシス
テム・メモリ１８間に分割されたように見られ得る。例
えば、図１に図示されている本発明の実施の形態では、
プロセッサ１２は、汎用メモリ・エリア及び予約エリア
の両方を含む１６ギガバイト（ＧＢ）アドレス空間をア
ドレスする。汎用メモリ・エリアは５００ＭＢのセグメ
ントに分割されており、各処理ノード１０にはその三つ
おきのセグメントが割り振られる。おおよそ２ＧＢの予
約エリアは、システム制御エリア、周辺メモリ・エリア
及びＩ／Ｏエリアを含み、その各エリアは処理ノード１
０の夫々に割り振られる。
ステム８中の全てのプロセッサ１２は単一の物理メモリ
空間を共用し、このことは各物理アドレスは一のシステ
ム・メモリ１８の中の単一の位置にのみ関連することを
意味する。このように、一般にＮＵＭＡコンピュータ・
システム８中の何れのプロセッサ１２によってもアクセ
スされ得るシステム・メモリの内容全体は、四つのシス
テム・メモリ１８間に分割されたように見られ得る。例
えば、図１に図示されている本発明の実施の形態では、
プロセッサ１２は、汎用メモリ・エリア及び予約エリア
の両方を含む１６ギガバイト（ＧＢ）アドレス空間をア
ドレスする。汎用メモリ・エリアは５００ＭＢのセグメ
ントに分割されており、各処理ノード１０にはその三つ
おきのセグメントが割り振られる。おおよそ２ＧＢの予
約エリアは、システム制御エリア、周辺メモリ・エリア
及びＩ／Ｏエリアを含み、その各エリアは処理ノード１
０の夫々に割り振られる。
【００１４】現在の議論の目的のため、特定のデータを
そのシステム・メモリ１８中に記憶する処理ノード１０
は、そのデータについてホーム・ノードと言われる。逆
に言えば、他の処理ノードは前記特定のデータに関して
はリモート・ノードと言われる。
そのシステム・メモリ１８中に記憶する処理ノード１０
は、そのデータについてホーム・ノードと言われる。逆
に言えば、他の処理ノードは前記特定のデータに関して
はリモート・ノードと言われる。
【００１５】［メモリ・コヒーレンシ］ＮＵＭＡコンピ
ュータ・システム８中の何れのプロセッサ１２も各シス
テム・メモリ１８に記憶されたデータを要求し、アクセ
スし、そして変更することができるので、ＮＵＭＡコン
ピュータ・システム８は同一処理ノード中のキャッシュ
間及び異なる処理ノード中のキャッシュ間のコヒーレン
シを維持するためキャッシュ・コヒーレンシ・プロトコ
ルを実装する。このため、ＮＵＭＡコンピュータ・シス
テム８は、ＣＣ−ＮＵＭＡコンピュータ・システムとし
て、適切に分類される。実装されたキャッシュ・コヒー
レンシ・プロトコルはインプリメンテーション依存であ
り、例えば周知の変更・排他的・共用・無効（ＭＥＳ
Ｉ）プロトコル又はその変形を含む。ここでは、１次キ
ャッシュ、２次キャッシュ１４ｂ、及びアービタ２４は
従来のＭＥＳＩプロトコルを実装しており、そのうちノ
ード・コントローラ２０はＭ、Ｓ及びＩ状態を認識し、
そして正確さのためにＥ状態がＭ状態にマージされると
みなすものとする。すなわち、ノード・コントローラ２
０は、リモート・キャッシュによって排他的に保持され
るデータが実際に変更されたか否かに関わらず、変更さ
れたものとみなす。
ュータ・システム８中の何れのプロセッサ１２も各シス
テム・メモリ１８に記憶されたデータを要求し、アクセ
スし、そして変更することができるので、ＮＵＭＡコン
ピュータ・システム８は同一処理ノード中のキャッシュ
間及び異なる処理ノード中のキャッシュ間のコヒーレン
シを維持するためキャッシュ・コヒーレンシ・プロトコ
ルを実装する。このため、ＮＵＭＡコンピュータ・シス
テム８は、ＣＣ−ＮＵＭＡコンピュータ・システムとし
て、適切に分類される。実装されたキャッシュ・コヒー
レンシ・プロトコルはインプリメンテーション依存であ
り、例えば周知の変更・排他的・共用・無効（ＭＥＳ
Ｉ）プロトコル又はその変形を含む。ここでは、１次キ
ャッシュ、２次キャッシュ１４ｂ、及びアービタ２４は
従来のＭＥＳＩプロトコルを実装しており、そのうちノ
ード・コントローラ２０はＭ、Ｓ及びＩ状態を認識し、
そして正確さのためにＥ状態がＭ状態にマージされると
みなすものとする。すなわち、ノード・コントローラ２
０は、リモート・キャッシュによって排他的に保持され
るデータが実際に変更されたか否かに関わらず、変更さ
れたものとみなす。
【００１６】［相互接続アーキテクチャ］各ローカル相
互接続手段１６及びノード相互接続手段２２は、任意の
同報通信又は二地点間相互接続アーキテクチャ、例えば
バス又はクロスバ・スイッチとして実装され得る。しか
しながら、好適な実施の形態では、各ローカル相互接続
手段１６及びノード相互接続手段２２は、ＩＢＭ社によ
って開発された６ｘｘ通信プロトコルによって管理され
るハイブリッド・バス・アーキテクチャとして、実装さ
れている。
互接続手段１６及びノード相互接続手段２２は、任意の
同報通信又は二地点間相互接続アーキテクチャ、例えば
バス又はクロスバ・スイッチとして実装され得る。しか
しながら、好適な実施の形態では、各ローカル相互接続
手段１６及びノード相互接続手段２２は、ＩＢＭ社によ
って開発された６ｘｘ通信プロトコルによって管理され
るハイブリッド・バス・アーキテクチャとして、実装さ
れている。
【００１７】図２を参照すると、ＮＵＭＡコンピュータ
・システム８中のノード相互接続手段２２の好適な実施
の形態が一つの処理ノード１０の視点から図示されてい
る。ノード相互接続手段２２の図示されている実施の形
態は、分割されたトランザクションを許すために分離さ
れた（すなわち、多重化されない）アドレス部及びデー
タ部を含む。ノード相互接続手段２２のアドレス部は、
中央アービタ２７によってアクセスが制御される共用ア
ドレス・バス２６として、実装されている。ノード・コ
ントローラ２０は共用アドレス・バス２６へのアクセス
をその夫々のアドレス・バス要求（ＡＢＲ）信号２５を
活動化することによって要求し、中央アービタ２７によ
るアドレス・バス許可（ＡＢＧ）信号２９の活動化を通
じてアクセスの許可を通知される。ノード相互接続手段
２２に結合された各ノード・コントローラ２０は、ま
た、メモリ・コヒーレンシをサポートするために、共用
アドレス・バス２６上の全ての通信トランザクションを
以下で更に議論するように、スヌープする。共用アドレ
ス・バス２６のための関係のある信号名及び定義の概要
は、表１に与えられている。
・システム８中のノード相互接続手段２２の好適な実施
の形態が一つの処理ノード１０の視点から図示されてい
る。ノード相互接続手段２２の図示されている実施の形
態は、分割されたトランザクションを許すために分離さ
れた（すなわち、多重化されない）アドレス部及びデー
タ部を含む。ノード相互接続手段２２のアドレス部は、
中央アービタ２７によってアクセスが制御される共用ア
ドレス・バス２６として、実装されている。ノード・コ
ントローラ２０は共用アドレス・バス２６へのアクセス
をその夫々のアドレス・バス要求（ＡＢＲ）信号２５を
活動化することによって要求し、中央アービタ２７によ
るアドレス・バス許可（ＡＢＧ）信号２９の活動化を通
じてアクセスの許可を通知される。ノード相互接続手段
２２に結合された各ノード・コントローラ２０は、ま
た、メモリ・コヒーレンシをサポートするために、共用
アドレス・バス２６上の全ての通信トランザクションを
以下で更に議論するように、スヌープする。共用アドレ
ス・バス２６のための関係のある信号名及び定義の概要
は、表１に与えられている。
【００１８】
【表１】
【００１９】共用アドレス・バス２６の利用度は、共用
アドレス・バス２６をパイプライン式バスとして実装す
ることによって、好適に高められる。これは、ある処理
ノード１０が、他の各処理ノード１０からコヒーレンシ
応答を受信する、前の通信トランザクションのマスタに
先立って次のトランザクション開始できることを意味す
る。
アドレス・バス２６をパイプライン式バスとして実装す
ることによって、好適に高められる。これは、ある処理
ノード１０が、他の各処理ノード１０からコヒーレンシ
応答を受信する、前の通信トランザクションのマスタに
先立って次のトランザクション開始できることを意味す
る。
【００２０】ノード相互接続手段２２のデータ部も共用
バスとして実装され得るが、ノード相互接続手段２２の
データ部は各処理ノード１０のための（Ｎ−１）（例え
ば、４−１＝３）個のデータ入力チャネル３０及び一つ
のデータ出力チャネル２８を備える分散スイッチとして
好適に実装される。ある処理ノード１０によるデータ出
力チャネル２８へのデータ出力は全ての処理ノード１０
へ送信され、そして各処理ノード１０はデータを他の全
ての処理ノード１０からデータ入力チャネル３０を通じ
て受信する。共用バスとしてよりもこの方法でノード相
互接続手段２２のデータ部を実装することによって、デ
ッドロックは避けられ、そしてデータ帯域幅は有利に増
加される。ノード相互接続手段２２のデータ部の好適な
実施の形態中の関係する信号名及び各チャネルの定義
は、以下の表２に要約されている。
バスとして実装され得るが、ノード相互接続手段２２の
データ部は各処理ノード１０のための（Ｎ−１）（例え
ば、４−１＝３）個のデータ入力チャネル３０及び一つ
のデータ出力チャネル２８を備える分散スイッチとして
好適に実装される。ある処理ノード１０によるデータ出
力チャネル２８へのデータ出力は全ての処理ノード１０
へ送信され、そして各処理ノード１０はデータを他の全
ての処理ノード１０からデータ入力チャネル３０を通じ
て受信する。共用バスとしてよりもこの方法でノード相
互接続手段２２のデータ部を実装することによって、デ
ッドロックは避けられ、そしてデータ帯域幅は有利に増
加される。ノード相互接続手段２２のデータ部の好適な
実施の形態中の関係する信号名及び各チャネルの定義
は、以下の表２に要約されている。
【００２１】
【表２】
【００２２】表２に示されているように、データ・パケ
ットの受信者が、各データ・パケットが属する通信トラ
ンザクションを決定できるようにするため、各データ・
パケットはトランザクション・タグによって識別され
る。これにより、ノード相互接続手段２２の共用アドレ
ス・バス２６及びデータ部のタイミングを完全に分離す
ることができる。これは、アドレス保持期間とデータ保
持期間との間に固定したタイミング関係が存在しないこ
と、及びデータ保持期間が関連するアドレス保持期間と
は異なって指示され得ることを意味する。有限のデータ
通信資源の使用を規制するためにデータ・フロー制御論
理及び関連するフロー制御信号が利用されるべきことは
当業者であれば明らかであろう。
ットの受信者が、各データ・パケットが属する通信トラ
ンザクションを決定できるようにするため、各データ・
パケットはトランザクション・タグによって識別され
る。これにより、ノード相互接続手段２２の共用アドレ
ス・バス２６及びデータ部のタイミングを完全に分離す
ることができる。これは、アドレス保持期間とデータ保
持期間との間に固定したタイミング関係が存在しないこ
と、及びデータ保持期間が関連するアドレス保持期間と
は異なって指示され得ることを意味する。有限のデータ
通信資源の使用を規制するためにデータ・フロー制御論
理及び関連するフロー制御信号が利用されるべきことは
当業者であれば明らかであろう。
【００２３】図２に示されているように、ノード相互接
続手段２２の好適な実施の形態はまた高速度Ｉ−コマン
ド・チャネル３１を含む。ノード相互接続手段２２のデ
ータ部と同様に、この側波帯チャネルは、各処理ノード
１０に対して一つの出力チャネル（コマンド出力チャネ
ル３２）及び（Ｎ−１）個の入力チャネル（コマンド入
力チャネル３４）を含む分散スイッチとして、好適に実
装される。チャネル３２及び３４は、ノード相互接続手
段２２のアドレス部又はデータ部に付加的なロードをか
けることなく、処理ノード１０間のＩ−コマンドの通信
を可能にする。Ｉ−コマンドの典型的な実施の形態が図
３に示されている。図示のように、Ｉ−コマンド３６
は、４ビットのコマンド・タイプ・フィールド３３、Ｎ
ビット（例えば、４ビット）のターゲット・ノード・フ
ィールド３５、Ｎビットのソース・ノード・フィールド
３７、トランザクション・タグ・フィールド３８、及び
有効（Ｖ）フィールド３９の五つのフィールドを含む。
コマンド・タイプ・フィールド３３は、Ｉ−コマンド３
６のタイプを符号化したものである。タイプ・フィール
ド３３に符号化され得るＩ−コマンドの幾つかが、以下
の表中に列記されている。
続手段２２の好適な実施の形態はまた高速度Ｉ−コマン
ド・チャネル３１を含む。ノード相互接続手段２２のデ
ータ部と同様に、この側波帯チャネルは、各処理ノード
１０に対して一つの出力チャネル（コマンド出力チャネ
ル３２）及び（Ｎ−１）個の入力チャネル（コマンド入
力チャネル３４）を含む分散スイッチとして、好適に実
装される。チャネル３２及び３４は、ノード相互接続手
段２２のアドレス部又はデータ部に付加的なロードをか
けることなく、処理ノード１０間のＩ−コマンドの通信
を可能にする。Ｉ−コマンドの典型的な実施の形態が図
３に示されている。図示のように、Ｉ−コマンド３６
は、４ビットのコマンド・タイプ・フィールド３３、Ｎ
ビット（例えば、４ビット）のターゲット・ノード・フ
ィールド３５、Ｎビットのソース・ノード・フィールド
３７、トランザクション・タグ・フィールド３８、及び
有効（Ｖ）フィールド３９の五つのフィールドを含む。
コマンド・タイプ・フィールド３３は、Ｉ−コマンド３
６のタイプを符号化したものである。タイプ・フィール
ド３３に符号化され得るＩ−コマンドの幾つかが、以下
の表中に列記されている。
【００２４】
【表３】
【００２５】Ｉ−コマンドの各タイプごとに、受信者は
ターゲット・ノード・フィールド３５で指定され、送信
ノードはソース・ノード・フィールド３７で指定され、
そしてＩ−コマンドが関連するトランザクションはトラ
ンザクション・タグ・フィールド３８で指定される。Ｉ
−コマンド３６の有効性は、有効（Ｖ）フィールド３９
によって示される。重要なことは、Ｉ−コマンド・チャ
ネル３１を通じて処理ノード１０によって発行されるＩ
−コマンドは、関連する通信トランザクションのアドレ
ス部又はデータ部といかなるタイミング関係も持ってい
ないということである。そして、Ｉ−コマンド・チャネ
ル３１は小さいパケットを使用し、非ブロッキング（す
なわち、一の処理ノード１０によるＩ−コマンド・チャ
ネル３１の使用は他の処理ノードによる使用を禁止すな
わちブロックしない）であるため、Ｉ−コマンドは処理
ノード１０間を高速度で送信され得る。
ターゲット・ノード・フィールド３５で指定され、送信
ノードはソース・ノード・フィールド３７で指定され、
そしてＩ−コマンドが関連するトランザクションはトラ
ンザクション・タグ・フィールド３８で指定される。Ｉ
−コマンド３６の有効性は、有効（Ｖ）フィールド３９
によって示される。重要なことは、Ｉ−コマンド・チャ
ネル３１を通じて処理ノード１０によって発行されるＩ
−コマンドは、関連する通信トランザクションのアドレ
ス部又はデータ部といかなるタイミング関係も持ってい
ないということである。そして、Ｉ−コマンド・チャネ
ル３１は小さいパケットを使用し、非ブロッキング（す
なわち、一の処理ノード１０によるＩ−コマンド・チャ
ネル３１の使用は他の処理ノードによる使用を禁止すな
わちブロックしない）であるため、Ｉ−コマンドは処理
ノード１０間を高速度で送信され得る。
【００２６】ノード相互接続手段２２と同様に、ローカ
ル相互接続手段１６は、三つの別個の要素、すなわちア
ドレス部、データ部、及びコヒーレンシ部分を含む。各
ローカル相互接続手段１６のアドレス部は、上記された
ノード相互接続手段２２の共用アドレス・バス２６のよ
うに、好適に実装される。各ローカル相互接続手段１６
のデータ部は上記表２に列挙されたものと同じデータ信
号を利用するが、分散スイッチよりも共用データ・バス
として好適に実装される（ただし分散スイッチでも構わ
ない）。上で議論されたＩ−コマンド・チャネルの代わ
りに、各ローカル相互接続手段１６のコヒーレンシ部
は、付加された各スヌーパをローカル・アービタ２４に
結合する信号線を含む。コヒーレンシ通信のために利用
されるローカル相互接続手段１６中の当該信号線が以下
の表４に要約されている。
ル相互接続手段１６は、三つの別個の要素、すなわちア
ドレス部、データ部、及びコヒーレンシ部分を含む。各
ローカル相互接続手段１６のアドレス部は、上記された
ノード相互接続手段２２の共用アドレス・バス２６のよ
うに、好適に実装される。各ローカル相互接続手段１６
のデータ部は上記表２に列挙されたものと同じデータ信
号を利用するが、分散スイッチよりも共用データ・バス
として好適に実装される（ただし分散スイッチでも構わ
ない）。上で議論されたＩ−コマンド・チャネルの代わ
りに、各ローカル相互接続手段１６のコヒーレンシ部
は、付加された各スヌーパをローカル・アービタ２４に
結合する信号線を含む。コヒーレンシ通信のために利用
されるローカル相互接続手段１６中の当該信号線が以下
の表４に要約されている。
【００２７】
【表４】
【００２８】Ｉ−コマンド・チャネル３１を通じて処理
ノード１０間を送信されるコヒーレンシ応答に対し、ロ
ーカル相互接続手段１６のＡＲｅｓｐ及びＡＳｔａｔ線
を通じて送信されるコヒーレンシ応答は、関連するアド
レス・バス・トランザクションとの固定しているがプロ
グラマブルなタイミング関係を持っているのが好まし
い。例えば、ローカル・アドレス・バス上の通信トラン
ザクションに対する各スヌーパの応答を予備的に示すＡ
ＳｔａｔＯｕｔ情報は、ローカル・アドレス・バス上の
要求の受信に続く第二のサイクルで必要とされるかも知
れない。アービタ２４は、ＡＳｔａｔＯｕｔ情報をコン
パイルし、そして固定しているがプログラマブルな数の
サイクル（例えば、１サイクル）後にＡＳｔａｔＩｎ情
報を発行する。可能なＡＳｔａｔ情報が以下の表５に要
約されている。
ノード１０間を送信されるコヒーレンシ応答に対し、ロ
ーカル相互接続手段１６のＡＲｅｓｐ及びＡＳｔａｔ線
を通じて送信されるコヒーレンシ応答は、関連するアド
レス・バス・トランザクションとの固定しているがプロ
グラマブルなタイミング関係を持っているのが好まし
い。例えば、ローカル・アドレス・バス上の通信トラン
ザクションに対する各スヌーパの応答を予備的に示すＡ
ＳｔａｔＯｕｔ情報は、ローカル・アドレス・バス上の
要求の受信に続く第二のサイクルで必要とされるかも知
れない。アービタ２４は、ＡＳｔａｔＯｕｔ情報をコン
パイルし、そして固定しているがプログラマブルな数の
サイクル（例えば、１サイクル）後にＡＳｔａｔＩｎ情
報を発行する。可能なＡＳｔａｔ情報が以下の表５に要
約されている。
【００２９】
【表５】
【００３０】ＡＳｔａｔＩｎ期間に続いて、ＡＲｅｓｐ
Ｏｕｔ情報が固定しているがプログラマブルな数のサイ
クル（例えば、２サイクル）後に必要とされるかも知れ
ない。アービタ２４は各スヌーパのＡＲｅｓｐＯｕｔ情
報をコンパイルし、ＡＲｅｓｐＩｎ情報を好適には次の
サイクルで送付する。可能なＡＲｅｓｐ情報は上記表３
に列挙されたコヒーレンシ応答を好適に含む。また、可
能なＡＲｅｓｐ情報は、スヌープされた要求が長い待ち
時間を持つこと、及び要求のソースが後にトランザクシ
ョンの再発行を指示されることを示すために、（通常ノ
ード・コントローラ２０によって）発行される”再実
行”を含む。このように、再試行応答と対照的に、再実
行応答は再実行を示したトランザクションの受信者（そ
して当該トランザクションの開始者ではない）に後で通
信トランザクションを再発行させる。
Ｏｕｔ情報が固定しているがプログラマブルな数のサイ
クル（例えば、２サイクル）後に必要とされるかも知れ
ない。アービタ２４は各スヌーパのＡＲｅｓｐＯｕｔ情
報をコンパイルし、ＡＲｅｓｐＩｎ情報を好適には次の
サイクルで送付する。可能なＡＲｅｓｐ情報は上記表３
に列挙されたコヒーレンシ応答を好適に含む。また、可
能なＡＲｅｓｐ情報は、スヌープされた要求が長い待ち
時間を持つこと、及び要求のソースが後にトランザクシ
ョンの再発行を指示されることを示すために、（通常ノ
ード・コントローラ２０によって）発行される”再実
行”を含む。このように、再試行応答と対照的に、再実
行応答は再実行を示したトランザクションの受信者（そ
して当該トランザクションの開始者ではない）に後で通
信トランザクションを再発行させる。
【００３１】［ノード・コントローラ］図４を参照する
と、図１のＮＵＭＡコンピュータ・システム８の中のノ
ード・コントローラ２０のより詳細なブロック図が、図
示されている。図４に示されているように、ローカル相
互接続手段１６とノード相互接続手段２２との間に結合
されている各ノード・コントローラ２０は、トランザク
ション受信ユニット４０、トランザクション送信ユニッ
ト４２、データ受信ユニット（ＤＲＵ）４４、及びデー
タ送信ユニット（ＤＳＵ）４６を含む。トランザクショ
ン受信ユニット４０、トランザクション送信ユニット４
２、ＤＲＵ４４及びＤＳＵ４６は、例えばフィールド・
プログラマブル・ゲート・アレイ（ＦＰＧＡ）又は特定
用途集積回路（ＡＳＩＣ）によって、実装され得る。示
されたように、ノード・コントローラ２０を通るアドレ
ス・パス及びデータ・パスは、アドレス信号がトランザ
クション受信ユニット４０及びトランザクション送信ユ
ニット４２によって処理され、データ信号がＤＳＵ４４
及びＤＲＵ４６によって処理されるように、二またに分
けられている。
と、図１のＮＵＭＡコンピュータ・システム８の中のノ
ード・コントローラ２０のより詳細なブロック図が、図
示されている。図４に示されているように、ローカル相
互接続手段１６とノード相互接続手段２２との間に結合
されている各ノード・コントローラ２０は、トランザク
ション受信ユニット４０、トランザクション送信ユニッ
ト４２、データ受信ユニット（ＤＲＵ）４４、及びデー
タ送信ユニット（ＤＳＵ）４６を含む。トランザクショ
ン受信ユニット４０、トランザクション送信ユニット４
２、ＤＲＵ４４及びＤＳＵ４６は、例えばフィールド・
プログラマブル・ゲート・アレイ（ＦＰＧＡ）又は特定
用途集積回路（ＡＳＩＣ）によって、実装され得る。示
されたように、ノード・コントローラ２０を通るアドレ
ス・パス及びデータ・パスは、アドレス信号がトランザ
クション受信ユニット４０及びトランザクション送信ユ
ニット４２によって処理され、データ信号がＤＳＵ４４
及びＤＲＵ４６によって処理されるように、二またに分
けられている。
【００３２】ノード相互接続手段２２から離れるトラン
ザクション・フローを示すためにそのように呼ばれてい
るトランザクション受信ユニット４０の役割は、Ｉ−コ
マンド・チャネル３１からＩ−コマンドを受信するこ
と、ノード相互接続手段２２からトランザクション及び
応答を受け入れること、受信されたトランザクションを
ローカル相互接続手段１６上に発行すること、及び応答
をトランザクション送信ユニット４２へ転送することで
ある。トランザクション受信ユニット４０は、トランザ
クション・バッファ５２を維持する役割もある。トラン
ザクション・バッファ５２は、トランザクション受信ユ
ニット４０がローカル処理ノード以外の処理ノード１０
をソース及びターゲットとする、共用アドレス・バス２
６上のスヌープされた通信トランザクションを記憶す
る、連想バッファである。トランザクション・バッファ
５２の各エントリは通信トランザクションをトランザク
ション・タグ（すなわち、アドレス・ビット＜８：１５
＞）と共に記憶するので、通信トランザクションは、以
下に図６を参照して説明するように、迅速にアクセスさ
れ得る。
ザクション・フローを示すためにそのように呼ばれてい
るトランザクション受信ユニット４０の役割は、Ｉ−コ
マンド・チャネル３１からＩ−コマンドを受信するこ
と、ノード相互接続手段２２からトランザクション及び
応答を受け入れること、受信されたトランザクションを
ローカル相互接続手段１６上に発行すること、及び応答
をトランザクション送信ユニット４２へ転送することで
ある。トランザクション受信ユニット４０は、トランザ
クション・バッファ５２を維持する役割もある。トラン
ザクション・バッファ５２は、トランザクション受信ユ
ニット４０がローカル処理ノード以外の処理ノード１０
をソース及びターゲットとする、共用アドレス・バス２
６上のスヌープされた通信トランザクションを記憶す
る、連想バッファである。トランザクション・バッファ
５２の各エントリは通信トランザクションをトランザク
ション・タグ（すなわち、アドレス・ビット＜８：１５
＞）と共に記憶するので、通信トランザクションは、以
下に図６を参照して説明するように、迅速にアクセスさ
れ得る。
【００３３】その名が示すように、トランザクションを
ノード相互接続手段２２の方へ流すための管路であるト
ランザクション送信ユニット４２は、メモリ要求トラン
ザクションを処理するためトランザクション受信ユニッ
ト４０と相互に作用し、ローカル相互接続手段１６とノ
ード相互接続手段２２のデータ部との間のデータ転送を
制御するためのコマンドをＤＲＵ４４及びＤＳＵ４６へ
発行する。トランザクション送信ユニット４２は、また
ノード相互接続手段２２のための選択された（すなわ
ち、ＭＳＩ）コヒーレンシ・プロトコルを実装し、コヒ
ーレンス・ディレクトリ５０を維持する。
ノード相互接続手段２２の方へ流すための管路であるト
ランザクション送信ユニット４２は、メモリ要求トラン
ザクションを処理するためトランザクション受信ユニッ
ト４０と相互に作用し、ローカル相互接続手段１６とノ
ード相互接続手段２２のデータ部との間のデータ転送を
制御するためのコマンドをＤＲＵ４４及びＤＳＵ４６へ
発行する。トランザクション送信ユニット４２は、また
ノード相互接続手段２２のための選択された（すなわ
ち、ＭＳＩ）コヒーレンシ・プロトコルを実装し、コヒ
ーレンス・ディレクトリ５０を維持する。
【００３４】コヒーレンス・ディレクトリ５０は、ロー
カル処理ノードがホーム・ノードであるところのリモー
ト・ノード中のキャッシュへ取り出されたデータ（例え
ば、キャッシュ・ライン）のシステム・メモリ・アドレ
スの指示を記憶する。各データのアドレス指示は、当該
データのコピーを有する各処理ノードの識別子及びその
ような各処理ノードにおけるデータのコヒーレンシ状況
と共に記憶されている。コヒーレンシ・ディレクトリ５
０のエントリのための可能なコヒーレンシ状態が表６に
要約されている。
カル処理ノードがホーム・ノードであるところのリモー
ト・ノード中のキャッシュへ取り出されたデータ（例え
ば、キャッシュ・ライン）のシステム・メモリ・アドレ
スの指示を記憶する。各データのアドレス指示は、当該
データのコピーを有する各処理ノードの識別子及びその
ような各処理ノードにおけるデータのコヒーレンシ状況
と共に記憶されている。コヒーレンシ・ディレクトリ５
０のエントリのための可能なコヒーレンシ状態が表６に
要約されている。
【００３５】
【表６】
【００３６】表６に示されているように、リモート処理
ノードによって保持されるキャッシュ・ラインのコヒー
レンシ状態の知識はあいまいである。このあいまいさ
は、リモートに保持されるキャッシュ・ラインが、Ｓか
らＩ、ＥからＩ、又はＥからＭへの遷移を、ホーム・ノ
ードのノード・コントローラ２０に報告することなく、
なし得るという事実に負うところのものである。
ノードによって保持されるキャッシュ・ラインのコヒー
レンシ状態の知識はあいまいである。このあいまいさ
は、リモートに保持されるキャッシュ・ラインが、Ｓか
らＩ、ＥからＩ、又はＥからＭへの遷移を、ホーム・ノ
ードのノード・コントローラ２０に報告することなく、
なし得るという事実に負うところのものである。
【００３７】［先行技術の”第三ノード”通信のシナリ
オ］図５（Ａ）乃至（Ｄ）を参照すると、先行技術によ
るＮＵＭＡコンピュータ・システムの典型的な”第三ノ
ード”通信のシナリオが図示されている。図示のよう
に、従来のＮＵＭＡコンピュータ・システム５８は、夫
々参照番号６０、６２、６４、及び６６にて示される第
一、第二、第三、及び第四のノードを含む。第二のノー
ド６２が第三のノード６４によって排他的に（すなわ
ち、Ｅ又はＭ状態で）保持されているデータのホーム・
ノードであると仮定し、第一のノード６０が読取要求を
ノード相互接続手段上に同報通信することによって当該
データを要求する。図５（Ａ）に示されているように、
要求トランザクションは第二のノード６２、第三のノー
ド６４、及び第四のノード６６によって受信される。し
かしながら、要求されたデータが第二のノード６２によ
って所有されているため、第三のノード６４及び第四の
ノード６６は当該データ要求を無視する。要求トランザ
クションの受領に応答して、第二のノード６２は要求さ
れたデータのコピーがリモート・ノード中に保持されて
いるか否かを決定するためそのノード・ディレクトリを
チェックする。排他的にリモート・ノードによって保持
されている要求されたデータが第二のノード６２のノー
ド・ディレクトリ中に記録されているため、第二のノー
ド６２は第一のノード６０から受信された要求トランザ
クションに対して直ちには応答できない。これは、第二
のノード６２にある要求されたデータのコピーが古くな
ったかも知れない（すなわち、第三のノード６４のプロ
セッサが要求されたデータを変更しているかも知れな
い）という理由による。
オ］図５（Ａ）乃至（Ｄ）を参照すると、先行技術によ
るＮＵＭＡコンピュータ・システムの典型的な”第三ノ
ード”通信のシナリオが図示されている。図示のよう
に、従来のＮＵＭＡコンピュータ・システム５８は、夫
々参照番号６０、６２、６４、及び６６にて示される第
一、第二、第三、及び第四のノードを含む。第二のノー
ド６２が第三のノード６４によって排他的に（すなわ
ち、Ｅ又はＭ状態で）保持されているデータのホーム・
ノードであると仮定し、第一のノード６０が読取要求を
ノード相互接続手段上に同報通信することによって当該
データを要求する。図５（Ａ）に示されているように、
要求トランザクションは第二のノード６２、第三のノー
ド６４、及び第四のノード６６によって受信される。し
かしながら、要求されたデータが第二のノード６２によ
って所有されているため、第三のノード６４及び第四の
ノード６６は当該データ要求を無視する。要求トランザ
クションの受領に応答して、第二のノード６２は要求さ
れたデータのコピーがリモート・ノード中に保持されて
いるか否かを決定するためそのノード・ディレクトリを
チェックする。排他的にリモート・ノードによって保持
されている要求されたデータが第二のノード６２のノー
ド・ディレクトリ中に記録されているため、第二のノー
ド６２は第一のノード６０から受信された要求トランザ
クションに対して直ちには応答できない。これは、第二
のノード６２にある要求されたデータのコピーが古くな
ったかも知れない（すなわち、第三のノード６４のプロ
セッサが要求されたデータを変更しているかも知れな
い）という理由による。
【００３８】したがって、図５（Ｂ）に示されるよう
に、第二のノード６２はノード相互接続手段を通じて、
要求されたデータのアドレスを指定する要求トランザク
ションを第三のノード６４に発行する。矢印７０によっ
て示されるように、要求トランザクションに応答して第
三のノード６４は要求トランザクションを要求されたデ
ータを記憶している内部キャッシュへ転送する。要求さ
れたデータを排他的に保持している内部キャッシュは、
キャッシュが要求されたデータのコヒーレンシ状態をＳ
状態へ変更することを示す共用コヒーレンシ応答を返
す。そして図５（Ｃ）に示されるように、第三のノード
６４は、自信が保持している要求されたデータのコピー
のコヒーレンシ状態が共用状態へ変更されることを知ら
せる共用応答を第二のノード６２へ送信する。
に、第二のノード６２はノード相互接続手段を通じて、
要求されたデータのアドレスを指定する要求トランザク
ションを第三のノード６４に発行する。矢印７０によっ
て示されるように、要求トランザクションに応答して第
三のノード６４は要求トランザクションを要求されたデ
ータを記憶している内部キャッシュへ転送する。要求さ
れたデータを排他的に保持している内部キャッシュは、
キャッシュが要求されたデータのコヒーレンシ状態をＳ
状態へ変更することを示す共用コヒーレンシ応答を返
す。そして図５（Ｃ）に示されるように、第三のノード
６４は、自信が保持している要求されたデータのコピー
のコヒーレンシ状態が共用状態へ変更されることを知ら
せる共用応答を第二のノード６２へ送信する。
【００３９】最後に図５（Ｄ）を参照すると、第三のノ
ード６４からの共用応答の受信に応答して、第二のノー
ド６２は、矢印７２によって示されるように、要求トラ
ンザクションを処理することが可能である。そして、要
求されたデータは、矢印７４によって示されるように、
共用コヒーレンシ状態で第一のノード６０へ供給され
る。この従来の第三ノード通信シナリオはＮＵＭＡコン
ピュータ・システムにおけるノード間のデータ・コヒー
レンシを保証するが、図５（Ａ）及び（Ｂ）に示される
ように、同じ通信トランザクションが第三のノード６４
へ二度送信されることは問題である。本発明はノード相
互接続手段を介するこの冗長な通信を有益に除去し、そ
れによって通信待ち時間を縮小し、ＮＵＭＡコンピュー
タ・システムの拡張容易性を高める。
ード６４からの共用応答の受信に応答して、第二のノー
ド６２は、矢印７２によって示されるように、要求トラ
ンザクションを処理することが可能である。そして、要
求されたデータは、矢印７４によって示されるように、
共用コヒーレンシ状態で第一のノード６０へ供給され
る。この従来の第三ノード通信シナリオはＮＵＭＡコン
ピュータ・システムにおけるノード間のデータ・コヒー
レンシを保証するが、図５（Ａ）及び（Ｂ）に示される
ように、同じ通信トランザクションが第三のノード６４
へ二度送信されることは問題である。本発明はノード相
互接続手段を介するこの冗長な通信を有益に除去し、そ
れによって通信待ち時間を縮小し、ＮＵＭＡコンピュー
タ・システムの拡張容易性を高める。
【００４０】［革新的な第三ノード通信シナリオ］図６
を参照すると、本発明に係る第三のノードの通信方法の
高レベル論理フローチャートが、図示されている。図６
に示されているフローチャートは上記に議論された従来
の先行技術のシナリオと同じ初期状態を想定している。
すなわち、プロセッサ１２ａ乃至１２ｄの一つが、処理
ノード１０ｃによって排他的に保持され且つび処理ノー
ド１０ｂをホーム・ノードとして持つキャッシュ・ライ
ンに対する読取要求を発行している。
を参照すると、本発明に係る第三のノードの通信方法の
高レベル論理フローチャートが、図示されている。図６
に示されているフローチャートは上記に議論された従来
の先行技術のシナリオと同じ初期状態を想定している。
すなわち、プロセッサ１２ａ乃至１２ｄの一つが、処理
ノード１０ｃによって排他的に保持され且つび処理ノー
ド１０ｂをホーム・ノードとして持つキャッシュ・ライ
ンに対する読取要求を発行している。
【００４１】図示のように、処理はブロック８０にて開
始し、次に、処理ノード１０ａのノード・コントローラ
２０が、ノード相互接続手段２２の共用アドレス・バス
２６を通じて、指定のアドレスにあるデータを要求する
通信トランザクションを送信するブロック８２へ進む。
好適な実施の形態では、共用アドレス・バス２６が同報
通信媒体であるため、要求トランザクションは各処理ノ
ード１０ｂ、１０ｃ、及び１０ｄによって受信される。
ブロック８２に続いて、処理はブロック８４及びブロッ
ク９０の双方へ進む。
始し、次に、処理ノード１０ａのノード・コントローラ
２０が、ノード相互接続手段２２の共用アドレス・バス
２６を通じて、指定のアドレスにあるデータを要求する
通信トランザクションを送信するブロック８２へ進む。
好適な実施の形態では、共用アドレス・バス２６が同報
通信媒体であるため、要求トランザクションは各処理ノ
ード１０ｂ、１０ｃ、及び１０ｄによって受信される。
ブロック８２に続いて、処理はブロック８４及びブロッ
ク９０の双方へ進む。
【００４２】ブロック８４乃至８８は、共用アドレス・
バス２６上の要求トランザクションの受信に対して処理
ノード１０ｂ（すなわち、要求されたキャッシュ・ライ
ンのホーム・ノード）によって行われる処理を示す。最
初に、ブロック８４にて示されているように、処理ノー
ド１０ｂのノード・コントローラ２０はそのローカル相
互接続手段１６の所有権を仲裁し、ローカル相互接続手
段１６上の要求トランザクションを支配する。そして処
理はブロック８６へ進み、処理ノード１０ｂのノード・
コントローラ２０が要求トランザクションに対するその
ＡＲｅｓｐＯｕｔコヒーレンシ応答のために再実行を決
める。再実行の決定は、トランザクション送信ユニット
４２がコヒーレンス・ディレクトリ５０への参照によっ
て、要求されたキャッシュ・ラインのコヒーレンシ状態
は要求されたデータを排他的に保持する第三の処理ノー
ドすなわち処理ノード１０ｃを関与させること無しには
解決され得ないことを決定したことを示す。ブロック８
８に示されているように、ＡＲｅｓｐＩｎのために再実
行を決めるローカル相互接続手段１６のアービタ２４に
応答して、処理ノード１０ｂのノード・コントローラ２
０中のトランザクション送信ユニット４２は、処理ノー
ド１０ａによって発行された元の要求トランザクション
のトランザクション・タグと共に”第三ノード実行”Ｉ
−コマンドを処理ノード１０ｃへＩ−コマンド・チャネ
ル３１を通じて発行する。Ｉ−コマンドがノード相互接
続手段２２のアドレス部又はデータ部ではなく、側波帯
Ｉ−コマンド・チャネル３１を通じて送信されるため、
ノード相互接続手段２２のアドレス帯域幅は他のトラン
ザクションを通信するために使用され得る。このように
して、ノード相互接続手段２２の帯域幅が制限されたブ
ロッキング部分の通信待ち時間が縮小される。ブロック
８８に続いて、処理は、以下に記述されるブロック１０
０へ、進む。
バス２６上の要求トランザクションの受信に対して処理
ノード１０ｂ（すなわち、要求されたキャッシュ・ライ
ンのホーム・ノード）によって行われる処理を示す。最
初に、ブロック８４にて示されているように、処理ノー
ド１０ｂのノード・コントローラ２０はそのローカル相
互接続手段１６の所有権を仲裁し、ローカル相互接続手
段１６上の要求トランザクションを支配する。そして処
理はブロック８６へ進み、処理ノード１０ｂのノード・
コントローラ２０が要求トランザクションに対するその
ＡＲｅｓｐＯｕｔコヒーレンシ応答のために再実行を決
める。再実行の決定は、トランザクション送信ユニット
４２がコヒーレンス・ディレクトリ５０への参照によっ
て、要求されたキャッシュ・ラインのコヒーレンシ状態
は要求されたデータを排他的に保持する第三の処理ノー
ドすなわち処理ノード１０ｃを関与させること無しには
解決され得ないことを決定したことを示す。ブロック８
８に示されているように、ＡＲｅｓｐＩｎのために再実
行を決めるローカル相互接続手段１６のアービタ２４に
応答して、処理ノード１０ｂのノード・コントローラ２
０中のトランザクション送信ユニット４２は、処理ノー
ド１０ａによって発行された元の要求トランザクション
のトランザクション・タグと共に”第三ノード実行”Ｉ
−コマンドを処理ノード１０ｃへＩ−コマンド・チャネ
ル３１を通じて発行する。Ｉ−コマンドがノード相互接
続手段２２のアドレス部又はデータ部ではなく、側波帯
Ｉ−コマンド・チャネル３１を通じて送信されるため、
ノード相互接続手段２２のアドレス帯域幅は他のトラン
ザクションを通信するために使用され得る。このように
して、ノード相互接続手段２２の帯域幅が制限されたブ
ロッキング部分の通信待ち時間が縮小される。ブロック
８８に続いて、処理は、以下に記述されるブロック１０
０へ、進む。
【００４３】ブロック９０は、処理ノード１０ａによっ
て発行された要求トランザクションの受信に応答して、
夫々要求トランザクションのソースでもターゲットでも
ない処理ノード１０ｃ及び１０ｄで引き起こされる処理
を示す。示されているように、各処理ノード１０ｃ及び
１０ｄ中のトランザクション受信ユニット４０は、要求
トランザクション及びトランザクション・タグを、それ
ぞれのトランザクション・バッファ５２のエントリに記
憶する。好適な実施の形態において、スヌープされたト
ランザクションの全てが、第三のノード（すなわち、ト
ランザクションのソースでもターゲットでもない処理ノ
ード）のトランザクション・バッファ５２に記憶される
わけではない。そのかわりに、トランザクション・バッ
ファ５２の限られた記憶容量を大切に使うため、第三の
ノードの関与を必要とし得るトランザクションとして、
アドレス信号線＜０：７＞及びＴＤｅｓｃｒｉｐｔｏｒ
ｓによって識別されるトランザクションのみがバッファ
される。勿論、限られたサイズのトランザクション・バ
ッファ５２の記憶効率を改善するための他の最適化、例
えば、もしバッファされなければ、再送信のために規定
数よりも多い通信資源の使用を引き起こすトランザクシ
ョンのみを記憶することも可能である。
て発行された要求トランザクションの受信に応答して、
夫々要求トランザクションのソースでもターゲットでも
ない処理ノード１０ｃ及び１０ｄで引き起こされる処理
を示す。示されているように、各処理ノード１０ｃ及び
１０ｄ中のトランザクション受信ユニット４０は、要求
トランザクション及びトランザクション・タグを、それ
ぞれのトランザクション・バッファ５２のエントリに記
憶する。好適な実施の形態において、スヌープされたト
ランザクションの全てが、第三のノード（すなわち、ト
ランザクションのソースでもターゲットでもない処理ノ
ード）のトランザクション・バッファ５２に記憶される
わけではない。そのかわりに、トランザクション・バッ
ファ５２の限られた記憶容量を大切に使うため、第三の
ノードの関与を必要とし得るトランザクションとして、
アドレス信号線＜０：７＞及びＴＤｅｓｃｒｉｐｔｏｒ
ｓによって識別されるトランザクションのみがバッファ
される。勿論、限られたサイズのトランザクション・バ
ッファ５２の記憶効率を改善するための他の最適化、例
えば、もしバッファされなければ、再送信のために規定
数よりも多い通信資源の使用を引き起こすトランザクシ
ョンのみを記憶することも可能である。
【００４４】処理は、ブロック９０から、第三のノード
である処理ノード１０ｃが”第三ノード実行”Ｉ−コマ
ンドを受信したか否かの決定を示すブロック１００へ進
む。もし受信していなければ、図６に示されている処理
は、”第三ノード実行”Ｉ−コマンドが処理ノード１０
ｃによって受信されるまで、ブロック１００を繰り返
す。勿論、処理ノード１０ｃが要求トランザクションを
トランザクション・バッファ５２に記録してから、”第
三ノード実行”Ｉ−コマンドを受信するまでの間に、処
理ノード１０ａ乃至１０ｄは他の通信トランザクション
を開始し、受信し、処理することができる。そして、処
理ノード１０ｃが”第三ノード実行”Ｉ−コマンドを受
信したというブロック１００での決定に応答して、処理
はブロック１０２へ進む。
である処理ノード１０ｃが”第三ノード実行”Ｉ−コマ
ンドを受信したか否かの決定を示すブロック１００へ進
む。もし受信していなければ、図６に示されている処理
は、”第三ノード実行”Ｉ−コマンドが処理ノード１０
ｃによって受信されるまで、ブロック１００を繰り返
す。勿論、処理ノード１０ｃが要求トランザクションを
トランザクション・バッファ５２に記録してから、”第
三ノード実行”Ｉ−コマンドを受信するまでの間に、処
理ノード１０ａ乃至１０ｄは他の通信トランザクション
を開始し、受信し、処理することができる。そして、処
理ノード１０ｃが”第三ノード実行”Ｉ−コマンドを受
信したというブロック１００での決定に応答して、処理
はブロック１０２へ進む。
【００４５】ブロック１０２は、Ｉ−コマンド・チャネ
ル３１を通じて受信されたトランザクション・タグと一
致するトランザクション・タグがトランザクション・バ
ッファ５２の中に記憶されているか否かを、処理ノード
１０ｃのノード・コントローラ２０の中のトランザクシ
ョン受信ユニット４０が決定することを示している。ト
ランザクション・バッファ５２のサイズと、ステップ９
０及びステップ１０２の間に処理ノード１０ｃによって
受信された通信トランザクションの数とに依存して、ト
ランザクション・タグによって指定されるトランザクシ
ョンは、もはや、サイズが限られているトランザクショ
ン・バッファ５２の中に記憶されていないかも知れな
い。一致するトランザクション・タグを有するトランザ
クションがトランザクション・バッファ５２の中に記憶
されている場合、処理はブロック１０２から以下に記述
されるブロック１０８へ進む。しかしながら、Ｉ−コマ
ンド・チャネル３１を通じて受信されたトランザクショ
ン・タグがトランザクション・バッファ５２中の何れの
トランザクション・タグとも一致しなければ、処理はブ
ロック１０４へ進む。ブロック１０４は、処理ノード１
０ｃが受信されたトランザクション・タグと共に”再発
行”Ｉ−コマンドを処理ノード１０ｂへＩ−コマンド・
チャネル３１を通じて送信することを示している。ブロ
ック１０６にて示されているように、”再発行”Ｉ−コ
マンドの受信に応答して、処理ノード１０ｂは、図５
（Ｂ）に関して上述したように、ノード相互接続手段２
２の共用アドレス・バス２６を通じて、通信トランザク
ションを処理ノード１０ｃへ再送信する。このように、
関係のある通信トランザクションが処理ノード１０ｃの
トランザクション・バッファ５２に記憶されていないと
いう、統計的にありそうもない事象において、ＮＵＭＡ
コンピュータ・システム８は従来のＮＵＭＡコンピュー
タ・システム５８のように第三ノード通信シナリオを扱
う。
ル３１を通じて受信されたトランザクション・タグと一
致するトランザクション・タグがトランザクション・バ
ッファ５２の中に記憶されているか否かを、処理ノード
１０ｃのノード・コントローラ２０の中のトランザクシ
ョン受信ユニット４０が決定することを示している。ト
ランザクション・バッファ５２のサイズと、ステップ９
０及びステップ１０２の間に処理ノード１０ｃによって
受信された通信トランザクションの数とに依存して、ト
ランザクション・タグによって指定されるトランザクシ
ョンは、もはや、サイズが限られているトランザクショ
ン・バッファ５２の中に記憶されていないかも知れな
い。一致するトランザクション・タグを有するトランザ
クションがトランザクション・バッファ５２の中に記憶
されている場合、処理はブロック１０２から以下に記述
されるブロック１０８へ進む。しかしながら、Ｉ−コマ
ンド・チャネル３１を通じて受信されたトランザクショ
ン・タグがトランザクション・バッファ５２中の何れの
トランザクション・タグとも一致しなければ、処理はブ
ロック１０４へ進む。ブロック１０４は、処理ノード１
０ｃが受信されたトランザクション・タグと共に”再発
行”Ｉ−コマンドを処理ノード１０ｂへＩ−コマンド・
チャネル３１を通じて送信することを示している。ブロ
ック１０６にて示されているように、”再発行”Ｉ−コ
マンドの受信に応答して、処理ノード１０ｂは、図５
（Ｂ）に関して上述したように、ノード相互接続手段２
２の共用アドレス・バス２６を通じて、通信トランザク
ションを処理ノード１０ｃへ再送信する。このように、
関係のある通信トランザクションが処理ノード１０ｃの
トランザクション・バッファ５２に記憶されていないと
いう、統計的にありそうもない事象において、ＮＵＭＡ
コンピュータ・システム８は従来のＮＵＭＡコンピュー
タ・システム５８のように第三ノード通信シナリオを扱
う。
【００４６】処理は、ブロック１０２又はブロック１０
６のどちらかから、処理ノード１０ｃのノード・コント
ローラ２０の中のトランザクション受信ユニット４０が
要求トランザクション（トランザクション・バッファ５
２からアクセスされ、又は処理ノード１０ｂから受信さ
れた）を支配するブロック１０８へ進む。要求トランザ
クションに応答して、ローカル相互接続手段１６に接続
された各スヌーパはＡＲｅｓｐＯｕｔ期間中にコヒーレ
ンシ応答を標示する。要求されたデータを排他的に保持
するスヌーパは、ＡＲｅｓｐＯｕｔ期間中に共用を標示
し、要求されたキャッシュ・ラインのコヒーレンシ状況
のＳ状態への変更を開始する。その間、他のスヌーパは
ヌルを標示する。ブロック１１０に示されているよう
に、処理ノード１０ｃのバス・アービタ２４は、これら
のコヒーレンシ応答をコンパイルし、そしてＡＲｅｓｐ
Ｉｎ期間中に共用コヒーレンシ応答を発行する。共用Ａ
ＲｅｓｐＩｎコヒーレンシ応答の受信に応答して、ノー
ド・コントローラ２０の中のトランザクション送信ユニ
ット４２は、共用応答及びトランザクション・タグを含
むＩ−コマンドを処理ノード１０ｂへ、Ｉ−コマンド・
チャネル３１を通じて、送信する。処理は、処理ノード
１０ｂのノード・コントローラ２０が処理ノード１０ｂ
のローカル相互接続手段１６上の要求トランザクション
を再実行するブロック１１２へ進む。要求トランザクシ
ョン再実行のスヌープに応答して、処理ノード１０ｂの
ノード・コントローラ２０は、ＡＲｅｓｐＯｕｔ期間中
に共用を標示し、処理ノード１０ｃが要求されたデータ
を共用状態で保持することを示す。処理ノード１０ｂの
バス・アービタ２４は、その後、コヒーレンシ応答をコ
ンパイルし、そしてＡＲｅｓｐＩｎ期間中に共用を標示
する。最後に、ブロック１１４にて示されているよう
に、処理ノード１０ｂのノード・コントローラ２０は共
用応答及びトランザクション・タグを含むＩ−コマンド
を処理ノード１０ａへＩ−コマンド・チャネル３１を通
じて送信し、そして要求されたキャッシュ・ラインを処
理ノード１０ａへデータ出力チャネル２８を通じて送
る。その後、処理はブロック１１６にて終了する。
６のどちらかから、処理ノード１０ｃのノード・コント
ローラ２０の中のトランザクション受信ユニット４０が
要求トランザクション（トランザクション・バッファ５
２からアクセスされ、又は処理ノード１０ｂから受信さ
れた）を支配するブロック１０８へ進む。要求トランザ
クションに応答して、ローカル相互接続手段１６に接続
された各スヌーパはＡＲｅｓｐＯｕｔ期間中にコヒーレ
ンシ応答を標示する。要求されたデータを排他的に保持
するスヌーパは、ＡＲｅｓｐＯｕｔ期間中に共用を標示
し、要求されたキャッシュ・ラインのコヒーレンシ状況
のＳ状態への変更を開始する。その間、他のスヌーパは
ヌルを標示する。ブロック１１０に示されているよう
に、処理ノード１０ｃのバス・アービタ２４は、これら
のコヒーレンシ応答をコンパイルし、そしてＡＲｅｓｐ
Ｉｎ期間中に共用コヒーレンシ応答を発行する。共用Ａ
ＲｅｓｐＩｎコヒーレンシ応答の受信に応答して、ノー
ド・コントローラ２０の中のトランザクション送信ユニ
ット４２は、共用応答及びトランザクション・タグを含
むＩ−コマンドを処理ノード１０ｂへ、Ｉ−コマンド・
チャネル３１を通じて、送信する。処理は、処理ノード
１０ｂのノード・コントローラ２０が処理ノード１０ｂ
のローカル相互接続手段１６上の要求トランザクション
を再実行するブロック１１２へ進む。要求トランザクシ
ョン再実行のスヌープに応答して、処理ノード１０ｂの
ノード・コントローラ２０は、ＡＲｅｓｐＯｕｔ期間中
に共用を標示し、処理ノード１０ｃが要求されたデータ
を共用状態で保持することを示す。処理ノード１０ｂの
バス・アービタ２４は、その後、コヒーレンシ応答をコ
ンパイルし、そしてＡＲｅｓｐＩｎ期間中に共用を標示
する。最後に、ブロック１１４にて示されているよう
に、処理ノード１０ｂのノード・コントローラ２０は共
用応答及びトランザクション・タグを含むＩ−コマンド
を処理ノード１０ａへＩ−コマンド・チャネル３１を通
じて送信し、そして要求されたキャッシュ・ラインを処
理ノード１０ａへデータ出力チャネル２８を通じて送
る。その後、処理はブロック１１６にて終了する。
【００４７】前述のように、本発明は、改善されたＮＵ
ＭＡコンピュータ・システム及びＮＵＭＡコンピュータ
・システムでの改善された第三ノード通信方法を提供す
る。本発明によれば、第三のノードの関与を必要とする
トランザクションは、通信トランザクションのソースで
もターゲットでもない第三ノードにて、バッファされ
る。第三のノードの関与が必要とされる場合、トランザ
クションはノード相互接続手段の中の共用アドレス・バ
スを介して再送信される代わりに、バッファからアクセ
スされ得る。このようにして、ノード相互接続手段の帯
域幅が限られた部分におけるトラフィックは有利に縮小
され、それによって通信待ち時間が少なくなり、システ
ム全体のパフォーマンスがいっそう良くなる。
ＭＡコンピュータ・システム及びＮＵＭＡコンピュータ
・システムでの改善された第三ノード通信方法を提供す
る。本発明によれば、第三のノードの関与を必要とする
トランザクションは、通信トランザクションのソースで
もターゲットでもない第三ノードにて、バッファされ
る。第三のノードの関与が必要とされる場合、トランザ
クションはノード相互接続手段の中の共用アドレス・バ
スを介して再送信される代わりに、バッファからアクセ
スされ得る。このようにして、ノード相互接続手段の帯
域幅が限られた部分におけるトラフィックは有利に縮小
され、それによって通信待ち時間が少なくなり、システ
ム全体のパフォーマンスがいっそう良くなる。
【００４８】好適な実施の形態を参照しながら本発明を
説明してきたが、形式及び詳細の種々の変更は本発明の
精神及び範囲から逸脱することなくなされることは当業
者によって理解されるであろう。例えば、本発明はノー
ド相互接続手段がバス・ベースの構成（例えば、共用バ
ス）を有する好適な実施の形態について記述されたが、
ノード相互接続手段はクロスバ・スイッチのような二地
点間同報通信構成であってもよい。その場合、各ノード
のためのトランザクション・バッファ及び関連する制御
論理は、各ノード中に組み入れられるよりも、クロスバ
・スイッチに結合される。
説明してきたが、形式及び詳細の種々の変更は本発明の
精神及び範囲から逸脱することなくなされることは当業
者によって理解されるであろう。例えば、本発明はノー
ド相互接続手段がバス・ベースの構成（例えば、共用バ
ス）を有する好適な実施の形態について記述されたが、
ノード相互接続手段はクロスバ・スイッチのような二地
点間同報通信構成であってもよい。その場合、各ノード
のためのトランザクション・バッファ及び関連する制御
論理は、各ノード中に組み入れられるよりも、クロスバ
・スイッチに結合される。
【図１】本発明が有利に用いられるＮＵＭＡコンピュー
タ・システムの実施の形態を示す図。
タ・システムの実施の形態を示す図。
【図２】図１に示されている実施の形態中で用いられる
相互接続アーキテクチャのより詳細なブロック図。
相互接続アーキテクチャのより詳細なブロック図。
【図３】Ｉ−コマンドの実施の形態を示す図。
【図４】図１に示されているノード・コントローラのよ
り詳細なブロック図。
り詳細なブロック図。
【図５】従来技術の第三ノード通信シナリオを示す図。
【図６】本発明に係る第三ノード通信方法の高レベル論
理フローチャートを示す図。
理フローチャートを示す図。
８ 非一様メモリ・アクセス・コンピュータ・システ
ム １０ａ 第一の処理ノード １０ｂ 第二の処理ノード １０ｃ 第三の処理ノード １０ｄ 第四の処理ノード １２ プロセッサ １４ 二次キャッシュ １６ ローカル相互接続手段 １８ ローカル・システム・メモリ ２０ ノード・コントローラ ４０ トランザクション受信ユニット ４２ トランザクション送信ユニット ４４ データ受信ユニット（ＤＲＵ） ４６ データ送信ユニット（ＤＳＵ） ５０ コヒーレンス・ディレクトリ ５２ トランザクション・バッファ ２４ ローカル・アービタ ２２ ノード相互接続手段 ２５ アドレス・バス要求（ＡＢＲ） ２７ 中央アービタ ２９ アドレス・バス許可（ＡＢＧ） ２６ 共用アドレス・バス ２８ データ出力 ３０ データ入力 ３１ Ｉ−コマンド・チャネル ３２ コマンド出力 ３４ コマンド入力 ３６ Ｉ−コマンド ３３ コマンド・タイプ ３５ ターゲット・ノード ３７ ソース・ノード ３８ トランザクション・タグ ３９ 有効 ５８ 非一様メモリ・アクセス・コンピュータ・シス
テム ６０ 第一の処理ノード ６２ 第二の処理ノード ６４ 第三の処理ノード ６６ 第四の処理ノード
ム １０ａ 第一の処理ノード １０ｂ 第二の処理ノード １０ｃ 第三の処理ノード １０ｄ 第四の処理ノード １２ プロセッサ １４ 二次キャッシュ １６ ローカル相互接続手段 １８ ローカル・システム・メモリ ２０ ノード・コントローラ ４０ トランザクション受信ユニット ４２ トランザクション送信ユニット ４４ データ受信ユニット（ＤＲＵ） ４６ データ送信ユニット（ＤＳＵ） ５０ コヒーレンス・ディレクトリ ５２ トランザクション・バッファ ２４ ローカル・アービタ ２２ ノード相互接続手段 ２５ アドレス・バス要求（ＡＢＲ） ２７ 中央アービタ ２９ アドレス・バス許可（ＡＢＧ） ２６ 共用アドレス・バス ２８ データ出力 ３０ データ入力 ３１ Ｉ−コマンド・チャネル ３２ コマンド出力 ３４ コマンド入力 ３６ Ｉ−コマンド ３３ コマンド・タイプ ３５ ターゲット・ノード ３７ ソース・ノード ３８ トランザクション・タグ ３９ 有効 ５８ 非一様メモリ・アクセス・コンピュータ・シス
テム ６０ 第一の処理ノード ６２ 第二の処理ノード ６４ 第三の処理ノード ６６ 第四の処理ノード
フロントページの続き
(72)発明者 マーク・エドワード・ディーン
アメリカ合衆国78730、テキサス州オー
スティン、ランチ・クリーク・ドライブ
3610
(72)発明者 デビッド・ブライアン・グラスコ
アメリカ合衆国78726、テキサス州オー
スティン、エムバー・グレン・ドライブ
10337
(72)発明者 リチャード・ニコラス・アチェッタ、ジ
ュニア
アメリカ合衆国78660、テキサス州フル
ガビル、ダンスワース・ドライブ
17907
(56)参考文献 特開 平10−143483（ＪＰ，Ａ)
米国特許5734922（ＵＳ，Ａ)
欧州特許出願公開817071（ＥＰ，Ａ
１)
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06F 15/16 - 15/177
G06F 12/08
Claims (12)
- 【請求項１】夫々が、ローカル相互接続手段と、前記ロ
ーカル相互接続手段に接続された、少なくとも一つのプ
ロセッサ及びローカル・システム・メモリとを含む、第
一、第二、及び第三の処理ノードと、前記各処理ノードを接続するノード相互接続手段と、 を含む、非一様メモリ・アクセス（ＮＵＭＡ）・コンピ
ュータ・システムにおいて、 各処理ノードが、ローカル相互接続手段とノード相互接
続手段とに接続されたノード・コントローラを含み、 各ノード・コントローラが、他のノードを開始及び宛先
とする、ノード相互接続手段上を送信される通信トラン
ザクションを記憶するトランザクション・バッファと、
データのコピーを有する各処理ノードの識別子及び各処
理ノードにおけるデータのコヒーレンシ状況を記憶する
コヒーレンス・ディレクトリとを含み、 前記第一の処理ノードが前記通信トランザクションの開
始ノードであり、前記第二の処理ノードが宛先ノードの
場合に、 前記第三の処理ノードのトランザクション・バッファ
が、前記通信トランザクションを記憶し、 前記第二の処理ノードのノード・コントローラが、前記
第二の処理ノードのコヒーレンス・ディレクトリを参照
することによって、要求されたキャッシュ・ラインのコ
ヒーレンシ状態が、前記第三の処理ノードによって排他
的に保持されている状態であるので前記通信トランザク
ションは 前記第三の処理ノードによって処理されるべき
であるとの決定をし、前記通信トランザクションに関連
付けられたトランザクション・タグと共に「第三ノード
実行」コマンドを前記第三の処理ノードに送信し、 前記コマンドに応答して、前記第三の処理ノードのノー
ド・コントローラが、前記通信トランザクションを前記
トランザクション・バッファから取り出して処理する、 ことを特徴とする非一様メモリ・アクセス（ＮＵＭＡ）
・コンピュータ・システム。 - 【請求項２】前記ノード相互接続手段は同報通信相互接
続手段を含む、請求項１に記載のＮＵＭＡコンピュータ
・システム。 - 【請求項３】前記トランザクション・バッファが、前記
通信トランザクションにおいて要求されたキャッシュ・
ラインのコヒーレンシ状態が、前記第三の処理ノードに
よって排他的に保持されている状態であるので、前記第
三の処理ノードによる処理を必要とし得る通信トランザ
クションのみを記憶する、請求項１または２に記載のＮ
ＵＭＡコンピュータ・システム。 - 【請求項４】前記トランザクション・バッファ中の各通
信トランザクションが関連するトランザクション・タグ
によってアクセスされる、請求項１〜３のいずれか1項
に記載のＮＵＭＡコンピュータ・システム。 - 【請求項５】前記ノード相互接続手段が、前記第二の処
理ノードから前記第三の処理ノードへ前記コマンドを運
ぶ非ブロッキング相互接続手段を含む、請求項１〜４の
いずれか１項に記載のＮＵＭＡコンピュータ・システ
ム。 - 【請求項６】前記第三の処理ノードのノード・コントロ
ーラが、前記第三の処理ノードによって処理されるべき
通信トランザクションのトランザクション・タグが、前
記トランザクション・バッファの中の何れのトランザク
ション・タグとも一致しないことを決定し、該決定に応
答して再発行コマンドを前記第二の処理ノードへ送信す
る、請求項１〜５のいずれか１項に記載のＮＵＭＡコン
ピュータ・システム。 - 【請求項７】夫々が、ローカル相互接続手段と、前記ロ
ーカル相互接続手段に接続された、少なくとも一つのプ
ロセッサ及びローカル・システム・メモリとを含む、第
一、第二、及び第三の処理ノードと、前記各処理ノードを接続するノード相互接続手段とを含
む、非一様メモリ・アク セス（ＮＵＭＡ）・コンピュー
タ・システム を操作する方法であって、各処理ノードが、ローカル相互接続手段とノード相互接
続手段とに接続されたノード・コントローラを含み、 各ノード・コントローラが、他のノードを開始及び宛先
とする、ノード相互接続手段上を送信される通信トラン
ザクションを記憶するトランザクション・バッファと、
データのコピーを有する各処理ノードの識別子及び各処
理ノードにおけるデータのコヒーレンシ状況を記憶する
コヒーレンス・ディレクトリとを含み、 前記第一の処理ノードから前記第二の処理ノードを宛先
とする通信トランザクションを前記相互接続手段上へ送
信するステップと、前記通信トランザクションを前記第三の処理ノードで受
信し、前記第三の処理ノードのトランザクション・バッ
ファに記憶するステップと 、前記第二の処理ノードのノード・コントローラが 、前記
第二の処理ノードのコヒーレンス・ディレクトリを参照
することによって、要求されたキャッシュ・ラインのコ
ヒーレンシ状態が、前記第三の処理ノードによって排他
的に保持されている状態であるので前記通信トランザク
ションは前記第三の処理ノードによって処理されるべき
であるとの決定をし、前記通信トランザクションに関連
付けられたトランザクション・タグと共に「第三ノード
実行」コマンドを前記第三の処理ノードに送信するステ
ップと、 前記コマンドに応答して、前記第三のノード・コントロ
ーラが、前記通信トランザクションを前記トランザクシ
ョン・バッファから取り出して処理するステップと、 を含む方法。 - 【請求項８】前記ノード相互接続手段が同報通信相互接
続手段を含む、請求項７に記載の方法。 - 【請求項９】前記通信トランザクションを前記トランザ
クション・バッファに記憶するステップが、前記通信ト
ランザクションにおいて要求されたキャッシュ・ライン
のコヒーレンシ状態が、前記第三の処理ノードによって
排他的に保持されている状態 であるので、前記第三の処
理ノードによる処理を必要とし得る場合にのみ前記通信
トランザクションを前記トランザクション・バッファに
記憶するステップを含む、請求項７または８に記載の方
法。 - 【請求項１０】前記通信トランザクションを前記トラン
ザクション・バッファから取り出すステップが、関連付
けられたトランザクション・タグを利用して前記通信ト
ランザクションを前記トランザクション・バッファから
取り出すステップを含む、請求項７〜９のいずれか１項
に記載の方法。 - 【請求項１１】前記コマンドを送信するステップが、前
記コマンドを非ブロッキング相互接続手段を通じて送信
するステップを含む、請求項１０に記載の方法。 - 【請求項１２】前記第三の処理ノードのノード・コント
ローラが、前記第三の処理ノードによって処理されるべ
き通信トランザクションのトランザクション・タグが、
前記トランザクション・バッファの中の何れのトランザ
クション・タグとも一致しないことを決定するステップ
と、記憶されていないと決定された場合には、 再発行コマン
ドを前記第二の処理ノードへ送信するステップを更に含
む、請求項７〜１１のいずれか１項に記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/106945 | 1998-06-30 | ||
| US09/106,945 US6067611A (en) | 1998-06-30 | 1998-06-30 | Non-uniform memory access (NUMA) data processing system that buffers potential third node transactions to decrease communication latency |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000112910A JP2000112910A (ja) | 2000-04-21 |
| JP3470951B2 true JP3470951B2 (ja) | 2003-11-25 |
Family
ID=22314080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18183999A Expired - Fee Related JP3470951B2 (ja) | 1998-06-30 | 1999-06-28 | 非一様メモリ・アクセス・コンピュータ・システム及びその操作方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6067611A (ja) |
| JP (1) | JP3470951B2 (ja) |
| KR (1) | KR100324975B1 (ja) |
| BR (1) | BR9903228A (ja) |
| CA (1) | CA2271536C (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108123901A (zh) * | 2016-11-30 | 2018-06-05 | 新华三技术有限公司 | 一种报文传输方法和装置 |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6546429B1 (en) * | 1998-09-21 | 2003-04-08 | International Business Machines Corporation | Non-uniform memory access (NUMA) data processing system that holds and reissues requests at a target processing node in response to a retry |
| US6418462B1 (en) * | 1999-01-07 | 2002-07-09 | Yongyong Xu | Global sideband service distributed computing method |
| US6192452B1 (en) * | 1999-02-26 | 2001-02-20 | International Business Machines Corporation | Method and system for avoiding data loss due to cancelled transactions within a non-uniform memory access system |
| US6591348B1 (en) * | 1999-09-09 | 2003-07-08 | International Business Machines Corporation | Method and system for resolution of transaction collisions to achieve global coherence in a distributed symmetric multiprocessor system |
| US6591307B1 (en) * | 1999-11-09 | 2003-07-08 | International Business Machines Corporation | Multi-node data processing system and method of queue management in which a queued operation is speculatively cancelled in response to a partial combined response |
| JP3764015B2 (ja) * | 1999-12-13 | 2006-04-05 | 富士通株式会社 | メモリアクセス方法及びマルチプロセッサシステム |
| KR100362607B1 (ko) * | 2000-05-10 | 2002-11-29 | 정상화 | I/o 버스상의 캐쉬 일관성 비단일 메모리 엑세스 모듈을 포함하는 멀티프로세서 시스템의 프로세싱 노드 장치 및 그 제어방법 |
| US20030041215A1 (en) * | 2001-08-27 | 2003-02-27 | George Robert T. | Method and apparatus for the utilization of distributed caches |
| US8185602B2 (en) | 2002-11-05 | 2012-05-22 | Newisys, Inc. | Transaction processing using multiple protocol engines in systems having multiple multi-processor clusters |
| US7111128B2 (en) * | 2002-12-19 | 2006-09-19 | Intel Corporation | Hierarchical virtual model of a cache hierarchy in a multiprocessor system |
| US7917646B2 (en) * | 2002-12-19 | 2011-03-29 | Intel Corporation | Speculative distributed conflict resolution for a cache coherency protocol |
| US7644237B1 (en) * | 2003-06-23 | 2010-01-05 | Mips Technologies, Inc. | Method and apparatus for global ordering to insure latency independent coherence |
| US20050262250A1 (en) * | 2004-04-27 | 2005-11-24 | Batson Brannon J | Messaging protocol |
| US20050240734A1 (en) * | 2004-04-27 | 2005-10-27 | Batson Brannon J | Cache coherence protocol |
| US7822929B2 (en) * | 2004-04-27 | 2010-10-26 | Intel Corporation | Two-hop cache coherency protocol |
| US7305524B2 (en) * | 2004-10-08 | 2007-12-04 | International Business Machines Corporation | Snoop filter directory mechanism in coherency shared memory system |
| US7577794B2 (en) * | 2004-10-08 | 2009-08-18 | International Business Machines Corporation | Low latency coherency protocol for a multi-chip multiprocessor system |
| US8332592B2 (en) * | 2004-10-08 | 2012-12-11 | International Business Machines Corporation | Graphics processor with snoop filter |
| US7451231B2 (en) * | 2005-02-10 | 2008-11-11 | International Business Machines Corporation | Data processing system, method and interconnect fabric for synchronized communication in a data processing system |
| US7395381B2 (en) * | 2005-03-18 | 2008-07-01 | Intel Corporation | Method and an apparatus to reduce network utilization in a multiprocessor system |
| JP5115075B2 (ja) * | 2007-07-25 | 2013-01-09 | 富士通株式会社 | 転送装置、転送装置を有する情報処理装置及び制御方法 |
| JP6578992B2 (ja) * | 2016-03-02 | 2019-09-25 | 富士通株式会社 | 制御回路、情報処理装置、および情報処理装置の制御方法 |
| US10713169B2 (en) | 2018-01-17 | 2020-07-14 | International Business Machines Corporation | Remote node broadcast of requests in a multinode data processing system |
| US10387310B2 (en) | 2018-01-17 | 2019-08-20 | International Business Machines Corporation | Remote node broadcast of requests in a multinode data processing system |
| US10579527B2 (en) | 2018-01-17 | 2020-03-03 | International Business Machines Corporation | Remote node broadcast of requests in a multinode data processing system |
| US11068407B2 (en) | 2018-10-26 | 2021-07-20 | International Business Machines Corporation | Synchronized access to data in shared memory by protecting the load target address of a load-reserve instruction |
| US10884740B2 (en) | 2018-11-08 | 2021-01-05 | International Business Machines Corporation | Synchronized access to data in shared memory by resolving conflicting accesses by co-located hardware threads |
| US11119781B2 (en) | 2018-12-11 | 2021-09-14 | International Business Machines Corporation | Synchronized access to data in shared memory by protecting the load target address of a fronting load |
| US11106608B1 (en) | 2020-06-22 | 2021-08-31 | International Business Machines Corporation | Synchronizing access to shared memory by extending protection for a target address of a store-conditional request |
| US11693776B2 (en) | 2021-06-18 | 2023-07-04 | International Business Machines Corporation | Variable protection window extension for a target address of a store-conditional request |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5535116A (en) * | 1993-05-18 | 1996-07-09 | Stanford University | Flat cache-only multi-processor architectures |
| US5887146A (en) * | 1995-08-14 | 1999-03-23 | Data General Corporation | Symmetric multiprocessing computer with non-uniform memory access architecture |
| US5673413A (en) * | 1995-12-15 | 1997-09-30 | International Business Machines Corporation | Method and apparatus for coherency reporting in a multiprocessing system |
| US5893144A (en) * | 1995-12-22 | 1999-04-06 | Sun Microsystems, Inc. | Hybrid NUMA COMA caching system and methods for selecting between the caching modes |
| US5878268A (en) * | 1996-07-01 | 1999-03-02 | Sun Microsystems, Inc. | Multiprocessing system configured to store coherency state within multiple subnodes of a processing node |
-
1998
- 1998-06-30 US US09/106,945 patent/US6067611A/en not_active Expired - Fee Related
-
1999
- 1999-05-12 CA CA002271536A patent/CA2271536C/en not_active Expired - Fee Related
- 1999-05-19 KR KR1019990018121A patent/KR100324975B1/ko not_active IP Right Cessation
- 1999-06-28 JP JP18183999A patent/JP3470951B2/ja not_active Expired - Fee Related
- 1999-06-30 BR BR9903228-7A patent/BR9903228A/pt not_active Application Discontinuation
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108123901A (zh) * | 2016-11-30 | 2018-06-05 | 新华三技术有限公司 | 一种报文传输方法和装置 |
| CN108123901B (zh) * | 2016-11-30 | 2020-12-29 | 新华三技术有限公司 | 一种报文传输方法和装置 |
| US11057302B2 (en) | 2016-11-30 | 2021-07-06 | New H3C Technologies Co., Ltd. | Sending packet |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000112910A (ja) | 2000-04-21 |
| US6067611A (en) | 2000-05-23 |
| CA2271536C (en) | 2002-07-02 |
| CA2271536A1 (en) | 1999-12-30 |
| BR9903228A (pt) | 2000-10-03 |
| KR20000005690A (ko) | 2000-01-25 |
| KR100324975B1 (ko) | 2002-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3470951B2 (ja) | 非一様メモリ・アクセス・コンピュータ・システム及びその操作方法 | |
| KR100348947B1 (ko) | 노드 상호 접속망 상에서 요구를 예측 방식으로 발행하는 비균일 메모리 액세스 데이터 처리 시스템 | |
| JP3644587B2 (ja) | 共用介入サポートを有する不均等メモリ・アクセス（ｎｕｍａ）・データ処理システム | |
| US5749095A (en) | Multiprocessing system configured to perform efficient write operations | |
| KR100465583B1 (ko) | 판독 요청을 원격 처리 노드에 추론적으로 전송하는 비정형 메모리 액세스 데이터 처리 시스템 및 이 시스템에서의 통신 방법 | |
| JP3661761B2 (ja) | 共用介入サポートを有する不均等メモリ・アクセス（ｎｕｍａ）データ処理システム | |
| EP0818733B1 (en) | A multiprocessing system configured to perform software initiated prefetch operations | |
| US8037253B2 (en) | Method and apparatus for global ordering to insure latency independent coherence | |
| US8015366B2 (en) | Accessing memory and processor caches of nodes in multi-node configurations | |
| JPH10187645A (ja) | プロセス・ノードの多数のサブノード内にコヒーレンス状態で格納するように構成されたマルチプロセス・システム | |
| US6266743B1 (en) | Method and system for providing an eviction protocol within a non-uniform memory access system | |
| JPH10149342A (ja) | プリフェッチ動作を実行するマルチプロセス・システム | |
| JP2000250883A (ja) | 不均等メモリ・アクセス・システムにおいてトランザクションのキャンセルによるデータ損失を避けるための方法およびシステム | |
| JP2000250882A (ja) | 不均等メモリ・アクセス・システム内で無効化トランザクションの衝突によって生じるライブロックを避けるための方法およびシステム | |
| US6085293A (en) | Non-uniform memory access (NUMA) data processing system that decreases latency by expediting rerun requests | |
| US7089376B2 (en) | Reducing snoop response time for snoopers without copies of requested data via snoop filtering | |
| US5701422A (en) | Method for ensuring cycle ordering requirements within a hierarchical bus system including split-transaction buses | |
| US7000080B2 (en) | Channel-based late race resolution mechanism for a computer system | |
| MXPA99006144A (en) | Data processing system for non-uniform memory access data introducing potential intermediate memories third-node transactions to decrease communicate waiting time |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080912 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |