JPH10187534A - コヒーレントメモリシステムにおいて強い順序づけを維持する方法およびシステム - Google Patents

Abstract

(57)【要約】 【課題】 コヒーレントメモリを有するマルチフ゜ロセッサコンヒ゜ュータシステムに
おいて強い順序付けを維持する方法及びシステムを提供する
こと。 【解決手段】 メモリトランサ゛クション(MT)が1つ以上のフ゜ロセッサ210
からフ゜ロセッサエーシ゛ェント(PA)118へ送られる。PA118はクロスハ゛ース
イッチ(CB)114を介しメモリエーシ゛ェント(MA)124にトランサ゛クションを送
る。MA124はメモリコヒーレンシー操作を行いCB114を介してPA118
にMTを返送する。CB114はPA118にMTが送られる順序を変
更できる。このためMA124は各MT毎にタイムスタンフ゜(TA)を専
用リンク310を介してPA118に送る。PA118内のアーヒ゛トレータ(A)4
00は該TA及びMTを受信し、該TAを用いてMTを再順序付け
し、該MTが送られた順序でフ゜ロセッサ210に該MTを送る。更
にMA124は各TAと共にハ゜リティ信号を送る。ハ゜リティ信号及びT
Aの特定の組み合わせによりMA124から受信することにな
るMTのタイフ゜がA400に伝えられる。MTのタイフ゜に応じてA400
はフ゜ロセッサ210にMTが送られる順序を変更できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は一般にマルチプロセ
ッサコンピュータシステムに関し、特にかかるシステム
でキャッシュのコヒーレンシ−を維持する方法およびシ
ステムに関する。

【０００２】

【従来の技術】マルチプロセッサコンピュータシステム
は典型的には、多数の相互接続された処理ノードを有す
る。各ノードは、最大１６個のプロセッサを有すること
ができる。更に、各プロセッサは、１つまたは複数のメ
モリキャッシュを有することができる。これらのキャッ
シュは、プロセッサにより必要とされるプログラム及び
データを保持する。各キャッシュがコヒーレントなデー
タを保持することを確実化するために、コンピュータシ
ステムにおける重要なハードウェアがそれ専用に割り当
てられる。すなわち、各キャッシュは、メインメモリの
内容を正確に反映するものとなる。

【０００３】幾つかのマルチプロセッサシステムでは、
キャッシュは「強く順序づけされる(strongly ordere
d)」。かかる強く順序づけされるシステムでは、プロセ
ッサは、同一ノード内の別のプロセッサのストア(stor
e)を、そのストアが行われた順序と同一の順序で見る。

【０００４】強く順序づけされるシステムでは、ストア
はセマフォーとして使用することができる。例えば、以
下に示すストアシーケンスを考える。

【０００５】

【表１】

【０００６】このシーケンスでは、ラインＡ'はデータ
であり、ラインＢ'はラインＡ'の使用が早すぎないよう
に保護するセマフォーである。ＣＰＵ０は、Ａ’を変更
し終わった後にのみＢ’を変更する。また、ＣＰＵ１
は、Ｂがセマフォーであるため、Ｂが変更されたことを
確認するまではＡを使用しない。強い順序づけは、ＣＰ
Ｕ１がＡの旧い値とＢの新しい値とを決して同時に持た
ないことを必要とする。そうでなければ、ＣＰＵ１は、
新たにストアされた値ではなくＡの旧いデータを使用す
る可能性がある。

【０００７】従来のシステムでは、他のプロセッサにパ
ージコマンドを送り、応答の戻りを受け取ることによっ
て、強い順序づけが維持されていた。したがって、表１
の例の場合には、ＣＰＵ０は、ＣＰＵ１にＡをパージす
るよう指示するコマンドをＣＰＵ１に送ることになる。
ＣＰＵ１は、該パージを完了すると、ＣＰＵ０に「パー
ジ完了」応答を返す。ＣＰＵ０は、他のすべてのプロセ
ッサから「パージ完了」応答を受け取るまで待ってから
Ｂ'を変更する。

【０００８】

【発明が解決しようとする課題】「パージ完了」応答を
待つことに関する問題は、パージコマンド及びその応答
が一通り完了するのを待つことによって生じる遅延にあ
る。この遅延は、コンピュータシステムの通常の動作時
に各プロセッサにより行われるストアの数を乗じるとか
なりの時間になる。加えて、パージコマンド及びその応
答の送受信とカウントを行うために各キャッシュコント
ローラに追加の論理回路が必要となる。

【０００９】このため、当業界では、パージコマンドの
送信及びそれに対する応答の待機を必要としない強い順
序づけを維持する方法およびシステムが必要とされてい
る。

【００１０】更に、当業界では、キャッシュコントロー
ラに追加のカウント用の論理回路を必要としない強い順
序づけを維持する方法およびシステムが必要とされてい
る。

【００１１】

【課題を解決するための手段】上述その他の必要性は、
タイムスタンプ信号を使用して、各プロセッサにトラン
ザクションが送られる順序を示す、強い順序づけの方法
およびシステムによって満たされる。このタイムスタン
プ信号は、一定の伝送待ち時間を有する専用経路を介し
て伝送される。このため、プロセッサは、タイムスタン
プ信号を、その信号が送信された順序で常に受け取る。

【００１２】アービトレータ(arbitrator)は、タイムス
タンプ信号及びメモリトランザクションの両方を受信す
る。タイムスタンプ信号は、該信号が受信された順序で
バッファリングされる。メモリトランザクションはクロ
スバーから受信される。クロスバーは、トランザクショ
ンの順序変更することができるため、アービトレータは
トランザクションを、必ずしも該トランザクションが送
信されたのと同じ順序で受信するとは限らない。アービ
トレータは、タイムスタンプ信号を使用することによ
り、トランザクションを正しい順序に並べ替えることが
できる。

【００１３】更に、各タイムスタンプ信号にはパリティ
ビットが付く。特定のシーケンスのタイムスタンプ及び
パリティビットは、それに対応するトランザクションが
データ戻りであることを示す。トランザクションがデー
タ戻りであってパージ操作ではないため、アービトレー
タは、別のトランザクションを順序外で送っても安全で
あることを知る。

【００１４】本発明の技術的な利点は、セマフォーにア
クセスする際の待ち時間が短縮されることにある。「パ
ージ完了」応答を待つ必要がないため、パージトランザ
クションと同時にデータ戻りを送ることができる。この
ため、セマフォーを変更する前に「パージ完了」応答を
待つ必要がない。

【００１５】本発明の別の技術的な利点は、セマフォー
の変更前に「パージ完了」応答をカウントする論理回路
が不要となることにある。

【００１６】以上は、以下の本発明の詳細な説明を理解
しやすくするために、本発明の特徴と技術的利点の概略
を示したものである。本発明のその他の特徴および利点
について以下で説明するが、それは特許請求の範囲に記
載の本発明の要旨を構成するものである。当業者であれ
ば、本開示の思想及び特定の実施態様を基礎として用い
て修正または他の構造の設計を行い本発明と同一の目的
を容易に達成することが可能であることが理解されよ
う。かかる等価的な構成は特許請求の範囲に記載の本発
明の思想および範囲から逸脱しないものであることもま
た当業者には理解されよう。

【００１７】

【発明の実施の形態】本発明及びその利点を一層良好に
理解することができるように図面を参照しながら以下に
その説明を行う。

【００１８】図１は、マルチプロセッサコンピュータシ
ステムの１つのノード100を示す上位レベルのブロック
図である。該コンピュータシステムは、１つのノード10
0しか備えていない場合もあれば、28個のノード壁(node
wall)に構成された112個ものノードを備えている場合
もある。かかるコンピュータシステムでは、１つのノー
ド壁内のノードは、「７つのＸ次元リング×４つのＹ次
元リング」として構成される。４つのノード壁は、４つ
のＺ次元リングによって相互接続される。ブリッジノー
ドを使用してＹ次元リングがＺ次元リングに接続され
る。

【００１９】かかるシステムの各ノード（例えばノード
100）は、プロセッサ側110とメモリ側112と、クロスバ
ー114とに分けられる。各側には多数の同一の要素が含
まれていることに留意されたい。分かり易くするため
に、本明細書の説明では、同様の要素には単一の符号を
使用して示す。２つ以上の同様の要素を区別する場合に
は、符号に英字を付加して、その符号が指す要素を識別
することとした。

【００２０】プロセッサ側110には、プロセッサボード1
16が含まれている。各プロセッサボード116は、ランウ
ェイ(runway)バス122を介して対応するプロセッサエー
ジェントチップ（ＰＡＣ）118に接続されている。各Ｐ
ＡＣ118は、入出力（Ｉ／Ｏ）サブシステム119を有して
おり、クロスバー114とコア論理アクセスバス120とに接
続されている。

【００２１】クロスバー114の他方の側にはメモリアク
セスチップ（ＭＡＣ）124がある。各ＭＡＣ124は、２つ
のメモリバンク126a,126bとリングアクセスコントロー
ラ128とに接続されている。該リングアクセスコントロ
ーラは、トーラスアクセスコントローラ（ＴＡＣ）とも
呼ばれる。

【００２２】図１に示すように、本発明の一実施例は、
各ＰＡＣ118に接続された２つのプロセッサボードを有
している。したがって、各ノード100は、合計16個のプ
ロセッサボード116を有することができる。図２は、プ
ロセッサボード116の例を示す上位レベルのブロック図
である。

【００２３】図２には、プロセッサ（ＣＰＵとも呼ばれ
る）210、命令キャッシュ212、データキャッシュ214、
及びランウェイバス122が示されている。プロセッサ210
は、好適には、HEWLETT-PACKARD PA-8000プロセッサと
なる。しかし、本発明は、プロセッサのタイプやアーキ
テクチャによって制限されるものではない。

【００２４】命令キャッシュ212及びデータキャッシュ2
14は、それぞれ１メガバイトの情報を保持することが好
ましい。当業界で周知のように、キャッシュは、プロセ
ッサにより使用されるメモリラインを保持する。どのラ
インをキャッシュに入れるかを決定する技法は、本発明
の範囲外であり、本明細書では詳述しないこととする。
メモリラインは、４状態コヒーレンシーモデルを使用し
てキャッシュに入れられる。このコヒーレンシーモデル
については以下で詳述することとする。前述のように、
ランウェイバス122によってプロセッサ210がＰＡＣ118
に接続される。

【００２５】ここで図１に戻る。コア論理アクセスバス
120は主としてシステムブート操作に使用される。この
バス120は、全てのＰＡＣ118を消去可能プログラマブル
読出し専用メモリ（ＥＰＲＯＭ）、スタティックランダ
ムアクセスメモリ（ＳＲＡＭ）、リアルタイムクロッ
ク、RS-232インタフェース、及びイーサネットインタフ
ェースと結合する低帯域幅マルチドロップバスである。
更に、プロセッサ210は、制御状態レジスタ（ＣＳＲ）
に対する書き込みを行うことができる。該ＣＳＲは、バ
ス120を介してアクセスされてクロスバー114の初期設定
及び構成を行うものである。

【００２６】ＰＡＣ118は、プロセッサボード116及びＩ
／Ｏサブシステム119とクロスバー114及びコア論理アク
セスバス120とのインタフェースをとる。ＰＡＣ118は、
４つの一方向データ経路124を使用してクロスバー114と
の間でトランザクションの送受信を行う。

【００２７】図１に示すように、クロスバー114は、実
際には、４つの別々の経路指定接続チップ（ＲＡＣ:rou
ting attachment chip）114a〜114dからなる。クロスバ
ー114は、ＰＡＣ118とＭＡＣ124との間でトランザクシ
ョンを転送する。各ＲＡＣ114a〜114dは、16個の32ビッ
ト幅の一方向相互接続手段を有している。該一方向相互
接続手段は、各ＲＡＣ114a〜114dを４つのＰＡＣと４つ
のＭＡＣとに接続するものである。クロスバー114は、
それ自体のＣＳＲを有さず、コアアクセス論理バス120
上にあるＣＳＲへの書込みによって初期設定される。こ
れらのＣＳＲは、どのポートがアクティブであるかを制
御し、及びエラー検出を可能にする。

【００２８】ＭＡＣ124は、コヒーレントメモリへのア
クセスを制御する。図１では、１つのＭＡＣ124につき
２つのメモリバンク126a,126bしか示されていないが、
各ＭＡＣ124は４つのメモリバンクを制御することが好
ましい。このように、８つのＭＡＣを有するシステムで
は最大32個のメモリバンクを制御することが可能であ
る。これらのメモリバンク126は、ＳＤＲＡＭのデュア
ルインラインメモリモジュール（ＤＩＭＭ）であること
が好ましい。ＭＡＣ124によって制御されるメモリは、
ノードローカルメモリ、ネットワークキャッシング、及
びメッセージングのために使用される。

【００２９】キャッシュ212,214に関して簡単に述べた
ように、ノード100内のメモリは強く順序づけされたデ
ィレクトリベースの４状態メモリである。本明細書で使
用する「強く順序づけされた」という用語は、１つのプ
ロセッサ210が、同一ノード内の他のプロセッサによっ
て行われたストアを、該ストアが行われた順序と同じ順
序で見ることを意味する。オーナーシップの反映及び無
効化の順序づけを行うことにより、ノード100内のコヒ
ーレントなアクセス間で強い順序づけが維持される。オ
ーナーシップの反映により、プロセッサがデータ戻りを
使用することが可能となる。通常、オーナーシップの反
映は、データ戻りと共にプロセッサに送られる。したが
って、プロセッサは、システムが該システムに戻される
プロセッサの読出要求を反映する場合に、１ラインのオ
ーナーシップを獲得する。強い順序づけは、ノード100
内のコヒーレントアクセスと非コヒーレントアクセスと
の間でも維持される。

【００３０】メモリラインはディレクトリベースのもの
である。各メモリラインのタグは、どのプロセッサ及び
Ｉ／Ｏポートがそのメモリラインのオーナーシップを有
しているかを示すラインオーナーまたは共有マスクを有
している。ラインのフラッシュまたはパージを行う必要
がある場合、その情報を使用して、そのラインを有する
ことができるプロセッサ及びＩ／Ｏポートだけにトラン
ザクションを送る。

【００３１】また、メモリラインは４状態を有する。し
たがって、メモリラインは、プライベートダーティ、プ
ライベートクリーン、共有、または非共有の状態となり
得る。この４状態によって、データを共有読出要求のた
めに選択的にプライベートに戻すことが可能となる。或
るラインが最初に共有読出しされる際に、該ラインがプ
ライベートに戻される。それ以降の共有読出しでは、最
初のオーナーが該ラインをダーティにしていない場合
に、該ラインが共有にされる。この技法は、最も一般的
な場合であるラインが共有にされていない場合について
最適化される。

【００３２】最後に、ＴＡＣ128は、ノード100からコン
ピュータシステム中の別のノードへのインタフェースと
して作用する。ＴＡＣ128は、２つの一方向データ経路
を介してＭＡＣ124と通信を行う。ＴＡＣ128は、２つの
リング、即ち、Ｘ次元リング及びＹ次元リングとのイン
タフェースを有している。

【００３３】一般に、プロセッサ210は、クロスバー114
に要求を送ることによってメモリにアクセスする。この
要求は次いでＭＡＣ124のうちの１つに送られる。ＭＡ
Ｃ124は、そのメモリバンク126にアクセスして、エラー
修正情報及びタグ付きコヒーレンシー情報を調べる。追
加のコヒーレンシー操作が不要である場合には、クロス
バー114に応答を返送することによって、メモリ126から
アクセスされたデータがプロセッサ210に戻される。次
いでクロスバー114がその応答をＰＡＣ118に送り、該Ｐ
ＡＣ118がランウェイバス122上に読出応答を生成する。

【００３４】詳細には、プロセッサ210は、２つのコヒ
ーレント読取りトランザクション、即ち、Read_Private
及びRead_Shar_or_Privのうちの一方を発行することが
できる。Read_Privateトランザクションは、ストア命令
によって開始される。要求されたデータを含むラインが
プロセッサにプライベート・クリーンで戻される。該ラ
インが、別のプロセッサのキャッシュにプライベート・
ダーティを保持している場合には、該ラインが、そのキ
ャッシュから、要求側プロセッサへと移されると同時
に、メモリ中の旧いコピーが更新される。それ以外の場
合には、要求されたラインがメモリから読み出され、キ
ャッシュされた該ラインのコピーが全てパージされる。

【００３５】トランザクションRead_Shar_or_Privは、
ロード命令によって開始される。要求されたデータを含
むラインは、共有またはプライベート・クリーンでプロ
セッサに戻される。要求されたラインが、別のプロセッ
サのキャッシュにプライベート・ダーティで保持されて
いる場合には、該ラインが、現在のオーナーのキャッシ
ュから要求側プロセッサへとプライベート・クリーンで
コピーされると同時に、メモリ中の旧いコピーが更新さ
れる。要求されたラインが、別のプロセッサのキャッシ
ュにプライベート・クリーンまたは共有で保持されてい
る場合には、要求されたラインは、メモリから共有で戻
され、プライベート・クリーンのコピーが全て共有に変
換される。更に、同一ラインについて別の読出要求があ
った場合、またはプロセッサがラインをプライベートで
有していることをメモリタグが示しているが問い合わせ
時に該プロセッサが該ラインをもはや有していないこと
が分かった場合には、該ラインは共有に戻される。最後
に、要求されたラインが他のどのプロセッサのキャッシ
ュにも保持されていない場合は、該ラインはプライベー
ト・クリーンに戻される。

【００３６】図３は、ＰＡＣ118とＭＡＣ124が、タイム
スタンプを使用して上記のトランザクションシーケンス
を実行するように相互接続される態様を示す上位レベル
のブロック図である。同図には、３つのＰＡＣ118a〜11
8c、３つのＭＡＣ124a〜１２４ｃ、及びＰＡＣ１１８と
ＭＡＣ124とを接続する相互接続手段310が示されてお
り、相互接続手段310a〜310cはその典型的なものであ
る。同図には、３つのＰＡＣ118a〜118cと３つのＭＡＣ
124a〜124cとしか示されていないが、好ましい実施例は
それぞれ８つ、合計で64個の相互接続手段を有するもの
となる。

【００３７】相互接続手段310は、各ＭＡＣ124から各Ｐ
ＡＣ118へと信号を送信する。相互接続手段310は、一方
向及び２ビット幅のものである。各相互接続手段310
は、１ビットのタイムスタンプ信号と１ビットのパリテ
ィ信号とを伝送する。相互接続手段310は直接リンクで
あり、従って一定の伝送待ち時間を有するものであるこ
とに留意されたい。相互接続手段310は図１には示して
いない。

【００３８】相互接続310と通信を行うために、各ＭＡ
Ｃ124は８対の出力を有し、各ＰＡＣ118は８対の入力を
有する。ＭＡＣ124は、クロスバー114を介してＰＡＣ11
8にメモリトランザクションを送信する際に、相互接続
手段310を介して該ＰＡＣ118にタイムスタンプ及びパリ
ティビットも送信する。クロスバー114は、該クロスバ
ー114を通過するトランザクションの順序を変更するこ
とができるが、タイムスタンプ及びパリティビットは、
常に、それらが送信された順序と同じ順序でＰＡＣ118
に到達する。

【００３９】各ＰＡＣ118内には、タイムスタンプ信号
及びパリティ信号を受信するアービトレータがある。図
４はアービトレータ400を示すブロック図である。アー
ビトレータ400は、タイムスタンプ入力410及びパリティ
入力412を有している。タイムスタンプ入力410及びパリ
ティ入力412は両方とも８ビット幅を有している。更
に、アービトレータ400は、各ＭＡＣ124からの入力も有
している。なお、ＭＡＣ124からの入力のうちの２つの
入力414,416しか示していない。最後に、アービトレー
タ400は、４つの出力も有している。最初の２つの出力4
18,420は、ＣＰＵ0及びＣＰＵ1にそれぞれ接続される。
第３の出力422は、ＰＡＣ118に接続され、制御レジスタ
及び状況レジスタへのアクセスに使用される。第４の出
力424は、Ｉ／Ｏポート119へのアクセスに使用される。

【００４０】アービトレータ400は、クロスバー114から
到着したトランザクションを、プロセッサ、ＰＡＣ11
8、またはＩ／Ｏポート119に送る順序を制御する。しか
しながら、ＰＡＣ出力422及びＩ／Ｏ出力424は強く順序
づけされないことに留意されたい。基本的に、アービト
レータ400は、タイムスタンプを使用して、ＭＡＣ124か
ら受信したトランザクションをプロセッサ210に送る順
序を割り出す。入力410及びＭＡＣ入力414,416から受信
したタイムスタンプがバッファリングされる。次いで、
該タイムスタンプの順序が、ＭＡＣ入力414,416から受
信したトランザクションに付与される。このため、特定
のＭＡＣ124からのタイムスタンプを受信した場合に
は、アービトレータ400は、その特定のＭＡＣ124に対応
する入力から受信したトランザクションが送出されるま
では、プロセッサ210にどのトランザクションも送出し
ない。

【００４１】しかしながら、アービトレータ400は、パ
ージ（無効化）を、まだ到着していないそれより前のタ
イムスタンプを持つトランザクションよりも先にプロセ
ッサ210に送ることを許容する。データ戻りがそれより
も前のタイムスタンプが付与されたパージを伝えない限
り、コヒーレントアクセスについて強い順序づけが維持
される。

【００４２】更に、アービトレータ400の好ましい実施
例は、パリティビットを使用して、その効率を更に向上
させる。通常、アービトレータ400は、奇数パリティを
使用する。即ち、パリティビットは、常にタイムスタン
プビットの逆となる。しかしながら、アービトレータ40
0の好ましい実施例は、パリティビットを使用して、オ
ーナーシップ反映及びデータ戻りが共に送られた場合に
ＭＡＣ124から送られたトランザクションのタイプを判
定する。この技法は、「ロングタイムスタンプ(long ti
mestamp)」と呼ばれるものである。

【００４３】表２にロングタイムスタンプの使用法を示
す。

【００４４】

【表２】

【００４５】ＭＡＣ124は、表２に示す信号を使用し
て、タイムスタンプがデータ戻りのためのものであるこ
とをアービトレータ400に通知することができる。この
通知は、１クロックサイクルでタイムスタンプビット及
びパリティビットを「１」に設定し、次いで、それに続
くクロックで両方のビットを「０」に設定することによ
り行われる。

【００４６】このデータ戻り信号により、アービトレー
タ400及びそのＰＡＣ118が、データ戻りのタイムスタン
プを受信したがそれに対応するトランザクションをまだ
受信していない場合に一層効率的に動作することが可能
となる。アービトレータ400は、当該トランザクション
がデータ戻りであってパージではないことが分かってい
るため、他の受信トランザクションをプロセッサ210に
安全に送信することができる。

【００４７】表３は、表１のコードシーケンスを使用し
た場合に本発明によってメモリアクセスが強く順序づけ
される態様を示すものである。プロセッサの「ランウェ
イ」は、プロセッサボード116をＰＡＣ118に接続するバ
ス122である、ということを想起されたい。更に、ライ
ンＢがラインＡのためのセマフォーとして使用されるこ
とを想起されたい。

【００４８】

【表３】

【００４９】表３において、ＣＰＵ0によるＡについて
の要求がＣＰＵ0のランウェイに置かれる前にＣＰＵ1に
よるＢについての要求がＣＰＵ1のランウェイに置かれ
る。クロスバーでの遅延に起因して、ＣＰＵ0による要
求が先にメモリに到着する。したがって、ＣＰＵ0によ
る要求の結果として生じるトランザクションの方がＣＰ
Ｕ1による要求から生じるトランザクションよりも前に
タイムスタンプが付与されることになる。タイムスタン
プを付与することにより、各ＣＰＵがＢについてのスト
アを見る前にＡについてのパージを見ることが保証され
る。

【００５０】メモリからＣＰＵのランウェイに送られる
トランザクションは、常に該トランザクションにタイム
スタンプが付与された順序でランウェイに置かれる。し
かしながら、異なるランウェイに送られるトランザクシ
ョンは、該トランザクションにタイムスタンプが付与さ
れたときとは異なる順序でランウェイに置くことができ
る。したがって、読出しＢフラッシュトランザクション
がＣＰＵ0のランウェイに置かれる前に、読出しＢオー
ナーシップ反映がＣＰＵ1のランウェイに置かれ、この
操作は、それら２つのトランザクションが異なる順序で
タイムスタンプが付与された場合であっても行われる。

【００５１】以上、本発明及びその利点について詳述し
たが、特許請求の範囲に規定する本発明の思想及び範囲
から逸脱することなく本発明に様々な変更、置換、又は
変形を加えることが可能であることが理解されよう。

【００５２】以下においては、本発明の種々の構成要件
の組み合わせからなる例示的な実施態様を示す。

【００５３】１．マルチプロセッサコンピュータシステ
ムにおいて強い順序づけを維持する方法であって、タイ
ムスタンプ信号を用いて第１のメモリトランザクション
にタイムスタンプを付与し、前記タイムスタンプ信号を
第１の伝送経路を介してアービトレータに送信し、第２
のメモリトランザクションがアービトレータに送信され
るまで前記第１のメモリトランザクションの送信を遅延
させることが可能な第２の伝送経路を介して前記第１の
メモリトランザクションをアービトレータに送信し、必
要な場合にアービトレータにより前記タイムスタンプ信
号を使用して前記第１のメモリトランザクションを第２
のメモリトランザクションの前に再順序づけする、とい
う各ステップを有することを特徴とする方法。

【００５４】２．前記タイムスタンプ信号と共にパリテ
ィ信号を送信するステップを更に有する、前項１に記載
の方法。 ３．前記パリティ信号及び前記タイムスタンプ信号に基
づき前記第１のメモリトランザクションがデータ戻りで
あるか否かを判定し、前記第１のメモリトランザクショ
ンがデータ戻りである場合には前記の再順序づけステッ
プを行わない、という各ステップを更に有する、前項２
に記載の方法。

【００５５】４．前記第１の伝送経路が、メモリエージ
ェントとアービトレータとの間の一定の伝送時間を有す
る専用リンクである、前項１ないし前項３の何れかに記
載の方法。

【００５６】５．強く順序づけられたコヒーレントメモ
リを有するマルチプロセッサコンピュータシステムであ
って、第１及び第２のメモリトランザクションと第１及
び第２のタイムスタンプとを伝送するメモリエージェン
トであって、前記第１及び第２のタイムスタンプを第１
の順序で伝送する、メモリエージェントと、前記メモリ
エージェントからの前記第１及び第２のメモリトランザ
クションを受信し、前記第１及び第２のメモリトランザ
クションを前記第１の順序とは異なる第２の順序で送信
する、クロスバーと、前記クロスバーからの前記第１及
び第２のメモリトランザクションを前記第２の順序で受
信し、前記メモリエージェントからの前記第１及び第２
のタイムスタンプを前記第１の順序で受信する、プロセ
ッサエージェントと、前記プロセッサエージェント内に
あり、前記第１及び第２のメモリトランザクションを前
記第１の順序へと再順序づけする、アービトレータとを
備えることを特徴とする、コンピュータシステム。

【００５７】６．前記アービトレータ内にあり前記第１
及び第２のタイムスタンプと前記第１及び第２のパリテ
ィ信号とに基づき前記第１のメモリトランザクションの
タイプを判定する手段と、前記第１のメモリトランザク
ションのタイプに応じて前記第１及び第２のメモリトラ
ンザクションを第３の順序へと再順序づけする手段とを
更に備えている、前項５に記載のコンピュータシステ
ム。

【００５８】７．前記プロセッサエージェントに接続さ
れた第１及び第２のプロセッサボードを更に備えてお
り、前記プロセッサエージェントが前記第１及び第２の
プロセッサボードに第１及び第２のメモリトランザクシ
ョンを前記第１の順序で送信する、前項５または前項６
に記載のコンピュータシステム。

【００５９】８．マルチプロセッサコンピュータシステ
ムにおいて強い順序づけを維持する方法であって、複数
のタイムスタンプを第１の順序で受信し、前記タイムス
タンプに１つずつ対応する複数のメモリトランザクショ
ンを前記第１の順序とは異なる第２の順序で受信し、必
要な場合に前記複数のメモリトランザクションを前記複
数のタイムスタンプにより示される前記第１の順序へと
再順序づけする、という各ステップを有することを特徴
とする方法。

【００６０】９．前記複数のタイムスタンプが、複数の
メモリエージェントから、一定の伝送時間を有する複数
の専用通信リンクを介して伝送される、前項８に記載の
方法。

【００６１】１０．複数のパリティ信号及び前記複数の
タイムスタンプのうちの選択された一方に基づき前記複
数のメモリトランザクションのうちの特定のメモリトラ
ンザクションのタイプを判定し、前記特定のメモリトラ
ンザクションのタイプに基づき前記複数のメモリトラン
ザクションを第３の順序へと再順序づけする、という各
ステップを更に有する、前項８または前項９に記載の方
法。

【図面の簡単な説明】

【図１】マルチプロセッサコンピュータシステム中の１
つのノードを示す上位レベルのブロック図である。

【図２】プロセッサボードを示す上位レベルのブロック
図である。

【図３】ＰＡＣとＭＡＣとがタイムスタンプ信号経路に
より相互接続される態様を示す上位レベルのブロック図
である。

【図４】アービトレータを示すブロック図である。

【符号の説明】

100 ノード 110 プロセッサ側 112 メモリ側 114 クロスバー 116 プロセッサボード 118 プロセッサエージェントチップ 119 入出力サブシステム 120 コア論理アクセスバス 122 ランウェイバス 124 メモリアクセスチップ 126a,126b メモリバンク 128 トーラスアクセスコントローラ 210 プロセッサ 212 命令キャッシュ 214 データキャッシュ 310 相互接続手段 400 アービトレータ 410 タイムスタンプ入力 412 パリティ入力 414,416 ＭＡＣ入力 418,420 ＣＰＵ出力 422 ＰＡＣ出力 424 Ｉ／Ｏ出力

Claims (1)

【特許請求の範囲】
1. 【請求項１】マルチプロセッサコンピュータシステムに
   おいて強い順序づけを維持する方法であって、 タイムスタンプ信号を用いて第１のメモリトランザクシ
   ョンにタイムスタンプを付与し、 前記タイムスタンプ信号を第１の伝送経路を介してアー
   ビトレータに送信し、 第２のメモリトランザクションがアービトレータに送信
   されるまで前記第１のメモリトランザクションの送信を
   遅延させることが可能な第２の伝送経路を介して前記第
   １のメモリトランザクションをアービトレータに送信
   し、 必要な場合にアービトレータにより前記タイムスタンプ
   信号を使用して前記第１のメモリトランザクションを第
   ２のメモリトランザクションの前に再順序づけする、と
   いう各ステップを有することを特徴とする方法。