JPH10260898A - キャッシュ整合メモリ・システムの整合サイクルの回数を低減する方法 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 ディレクトリをベースとするキャッシュ整合
を使用する、マルチプロセッサ・コンピュータ・システ
ムでのメモリの使用を改善する。 【解決手段】 コンピュータ・システムは、状態キャッ
シュ・メモリの他に、共有システム・メモリ；複数のデ
ータ・キャッシュ・メモリ；共有システム・メモリを含
み、共有システム・メモリ及び複数のデータ・キャッシ
ュ・メモリのメモリのライン間で一貫性を維持するた
め、集中／分散式のディレクトリをベースとするキャッ
シュ整合スキームを使用する。置き換え前に、メモリ・
ラインに関連する状態キャッシュ入力に対する、システ
ム・メモリ・ライン状態が読み出される。放出動作は、
上記共有メモリのメモリのラインを更新し、システム・
メモリ・ライン状態が「占有状態」である場合には、デ
フォールトの「共有」のデータ・キャッシュ・メモリ・
ライン状態を、各データ・キャッシュ・メモリの上記ラ
インに割り当てる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数のデータ・キ
ャッシュ・メモリおよび共有メモリを含むマルチプロセ
ッサ・コンピュータ・システム、特にキャッシュとの整
合を維持するために、ディレクトリをベースとするプロ
トコルを使用するマルチプロセッサ・コンピュータ・シ
ステムに関する。

【０００２】

【従来の技術、及び、発明が解決しようとする課題】こ
こ数年間の間に、コンピュータ・システムの性能、速
度、集積度および容量はほぼ指数的に進歩している。こ
のような進歩は、コンピュータ・システムのコストの低
下とあいまって、コンピュータ・システムの利用のさら
なる拡大をもたらし、より進歩したリソースが豊富なコ
ンピュータのアプリケーションが開発された。最近の歴
史的傾向により、アプリケーションのメモリに対する要
件は、毎年二倍に増大している。コンピュータ・システ
ムおよび部材のコストは、ここ数年確実に下がってきて
いるが、システムの主メモリで使用される高速ＲＡＭメ
モリおよびキャッシュ・メモリのコストは、ほとんどの
コンピュータ・システムにおいて最も高い状態のまま安
くならない。

【０００３】主に、データ、アプリケーション・ソフト
ウェアおよびオペレーティング・システム・ソフトウェ
アの一時的な記憶装置として使用されるシステム・メモ
リおよびキャッシュ・メモリは、またパリテイ・ビッ
ト、キャッシュ整合状態情報およびエラー検出および／
または修正シンドローム・ビットを記憶するために、よ
り進歩したマルチプロセッサ・システムでも使用されて
いる。マルチプロセッサ・システムの追加メモリ要件、
および高度のオペレーティング・システムおよびアプリ
ケーションに対するより高度のメモリ要求により、高速
ＲＡＭに対する要求およびコストが増大している。

【０００４】高速システムおよびキャッシュ・メモリを
使用し、システムおよびキャッシュ・メモリ要件を低減
するための、もっと効率的な方法が待望されている。

【０００５】それ故、本発明の一つの目的は、ディレク
トリをベースとするキャッシュ整合を使用する、コンピ
ュータ・システムでのメモリの使用を改善する新しく、
有益な方法を提供することである。

【０００６】

【課題を解決するための手段】本発明は、状態キャッシ
ュ・メモリ、共有システム・メモリ、複数のデータ・キ
ャッシュ・メモリ、上記システム・メモリと上記複数の
データ・キャッシュ・メモリとを相互に接続するバスの
システムとを含む、マルチプロセッサ・コンピュータ・
システムの状態キャッシュ・メモリの入力を置き換える
方法である。上記コンピュータ・システムは、上記共有
システム・メモリおよび上記複数のデータ・キャッシュ
・メモリのメモリのライン間で一貫性を維持するため
に、集中／分散式のディレクトリをベースとするキャッ
シュ整合スキームを使用している。本発明の方法は、状
態キャッシュ・メモリに表示されるメモリ・ラインに対
して、「共有」のデフォールト・メモリ状態を確立する
ステップと；置き換えを行う前に、共有メモリおよび少
なくとも一つのデータ・キャッシュ・メモリに記憶され
ている、メモリ・ラインに関連する状態キャッシュ入力
に対する、システム・メモリ・ライン状態を読み取るス
テップと；上記共有メモリのメモリ・ラインを更新する
ために放出動作を行い、システム・メモリ・ライン状態
が「占有状態」である場合には、「共有」のデータ・キ
ャッシュ・メモリ・ライン状態を、メモリのラインを含
む各データ・キャッシュ・メモリの上記メモリ・ライン
に割り当てるステップとを含む。

【０００７】メモリのラインの状態に関する情報は、状
態キャッシュ・メモリおよびデータ・キャッシュ・メモ
リに維持される。各データ・キャッシュ・メモリは、デ
ータ・キャッシュ・メモリにセーブされたメモリの各ラ
インと共に、データ・キャッシュ・メモリ・ライン状態
を含み、データ・キャッシュ・メモリ・ライン状態は、
ＭＥＳＩ（修正−排他−共有−無効）状態、すなわち、
修正、排他、共有または無効の中の任意の一つである。
状態キャッシュ・メモリは、システム・メモリにセーブ
されているメモリの、予め定めた数のラインに対する、
システム・メモリ・ライン状態を含む。システム・メモ
リ・ライン状態は、下記の状態、すなわち、共有バス
Ａ、共有バスＢ、両者共有、占有バスＡおよび占有バス
Ｂの中の任意の一つである。

【０００８】状態キャッシュ・ライン置換動作を行う方
法は、下記のステップを含む。すなわち、上記状態キャ
ッシュ・メモリに表示されるメモリのラインに対して、
デフォールト・システム・メモリ状態を「共有」状態に
するステップと；上記共有メモリ、および少なくとも一
つのデータ・キャッシュ・メモリに記憶されているメモ
リのラインに関連する、予め記憶した状態キャッシュ入
力の置き換えを行う前に、予め記憶した状態キャッシュ
入力に対するシステム・メモリ・ライン状態を読み取る
ステップと；上記共有メモリのメモリのラインを更新す
るために放出動作を行い、上記予め記憶した状態キャッ
シュ入力に対する上記システム・メモリ・ライン状態
が、「占有」（占有バスＡまたは占有バスＢ）である場
合には、「共有」のデータ・キャッシュ・メモリ・ライ
ン状態を、メモリの上記ラインを含む各データ・キャッ
シュ・メモリのメモリの上記ラインに割り当てるステッ
プとを含む。

【０００９】上記方法は、状態キャッシュ・メモリで置
き換えを行うことにより生じる整合動作の回数を低減す
る。メモリの大部分のラインは共有状態にあるので、デ
フォールト状態をキャッシュに記憶していない状態にセ
ットするのではなく、共有状態にセットすると、状態キ
ャッシュ・ライン置換中に行わなければならない無効な
整合動作の回数が減少る。

【００１０】添付の図面を参照しながら以下に本発明を
説明するが、これは単に例示としてのものに過ぎない。

【００１１】

【発明の実施の形態】ＮＣＲ社は、自らが開発したシス
テム技術を使用する、高度マルチプロセッサ・アーキテ
クチャを開発し、一方、インテル・ペンティアム・プロ
・プロセッサ、ＰＣＩ Ｉ／Ｏチップセット、ペンティ
アム・プロ・チップセット、ペンティアム・プロ・バス
・トポロジィ（Ｐ６）のような標準大容量（ＳＨＶ）構
成部材および標準メモリ・モジュール（ＳＩＭＭおよび
ＤＩＭＭ）を巧みに利用している。ＮＣＲシステム技術
と標準ＳＨＶ構成部材とを注意深く融合することによ
り、ＮＣＲは世界的規模の拡張性と機能を供給すること
ができ、一方、全面的なカスタム開発に関連する不利益
を避け、ＳＨＶに資本を投入している。図１はこのアー
キテクチャの実施形態である。

【００１２】＜システムの概略＞図１について説明する
と、この図は参照記号ＡおよびＢで示す、二組の四つの
プロセッサからなる構築ブロック、すなわち、複合体で
形成されている８プロセッサＳＭＰシステムである。各
複合体は、それぞれ複合体「Ａ］および複合体「Ｂ」の
ように、ＡまたはＢで終わる参照番号がついている、同
一の構造体および構成部品を含む。

【００１３】複合体Ａに設置されているシステムのこの
部分は、高帯域幅、分割処理プロセッサ・バス１０３Ａ
に接続している、１−４のプロセッサ１０１Ａを含む。
各プロセッサ３０１Ａは、キャッシュ・メモリ３２１Ａ
と関連している。システム・メモリ１０５Ａは、高度二
重ポート付きメモリ・コントローラ１０７Ａを通して、
バス１０３Ａに接続している。プロセッサ・バス１０３
Ａは、メモリ・コントローラ１０７Ａ第一のポートに接
続している。第二のメモリ・コントローラ・ポートは、
本明細書では拡張バスと呼ぶ、高帯域幅 Ｉ／Ｏバス１
１５に接続している。この拡張バスは、多重ＰＣＩ Ｉ
／Ｏインターフェース１０９Ａへの接続に使用されてい
る。これらの構成部材すべては、高度メモリ・コントロ
ーラ１０７Ａを除いて、現在入手可能な市販の構成部材
である。例えば、プロセッサ１０１Ａとしては、インテ
ル・ペンティアム・プロ・プロセッサを使用できるし、
バス１０３Ａとしては、ペンティアム・プロ（Ｐ６）バ
ス・トポロジィを使用することができる。

【００１４】高度メモリ・コントローラ（ＡＭＣ）１０
７Ａは、プロセッサ・バス１０３ＡとＩ／Ｏバス１１５
との間のすべての方向の制御およびデータの流れを管理
する。上記Ｉ／Ｏバスは、後で説明するように、ＰＣＩ
Ｉ／ＯブリッジへのＰ６、および他のプロセッサへ接
続するための、他のＡＭＣ ＡＳＩＣを含むことができ
る。ＡＭＣ１０７Ａは、また整合ＤＲＡＭメモリ・アレ
イへのアクセスを制御する。このＡＭＣは、制御および
データ・スライスＡＳＩＣペアからなる。

【００１５】すでに説明したように、複合体Ｂは複合体
Ａと同じ構造をしている。二つの複合体は、拡張バス１
１５により相互に接続していて、プロセッサ１０１Ａお
よび１０１Ｂ、システム・メモリ１０５Ａおよび１０５
Ｂ、ならびに共有Ｉ／Ｏ装置、キャッシュ・メモリおよ
び他の構成部材との間で通信を行うことができる。

【００１６】各複合体において、プロセッサは、プロセ
ッサ・バス上で、バス監視プロトコルを使用する。バス
監視プロトコルは、プロセッサとメモリとの間のデータ
の移動を絶えず追跡する方法である。少数の緊密に結合
したプロセッサを含むこのシステムは、優れた性能を持
つ。プロセッサが、同じバス上の他のプロセッサのデー
タ・キャッシュで使用することができるデータを必要と
する場合には、そのデータを両方のプロセッサで共有す
ることができる。そうでない場合には、そのデータは、
主メモリ１０５Ａまたは１０５Ｂから検索しなければな
らないが、これはシステム・バス・トラフィックを必要
とする時間の掛かる動作である。この方法は、システム
・バスの取り合いを少なくすることにより、システムの
性能を向上させる。

【００１７】図１のＮＣＲアーキテクチャの特徴は下記
の通りである。

【００１８】ｏ 工業ＳＨＶアーキテクチャおよびサポ
ートする物資チップ（ＩＯＢ等）への投資。

【００１９】ｏ 二重ポート付きメモリ・コントローラ
１０７Ａおよび１０７Ｂによる、それぞれが、６４ビッ
トの帯域幅で６６ＭＨｚで動作し、５３３ＭＢ／ｓの持
続データ転送速度で動作する複数の二重バスの接続と利
用の実現。

【００２０】ｏ 二重バス方式による、バス・ローディ
ングの低減と、ＩＯＢトラフィックへのＩＯＢから独立
して動作することができる、メモリ・パスへの私的プロ
セッサの設置による、拡張性の増進。

【００２１】ｏ 拡張バス１１５への追加プロセッサお
よびＩ／Ｏ装置への接続が可能。

【００２２】上記システムは、コンピュータ工業のＳＨ
Ｖの動きに焦点を合わせながら、高利用度取引処理（Ｈ
ＡＴＰ）および拡張可能なデータ・ウェアハウス（ＳＤ
Ｗ）サーバのニーズを満足させることができる。

【００２３】＜メモリをベースとする整合＞データ・キ
ャッシュ・メモリを使用するすべての装置、特に多重デ
ータ・キャッシュ・メモリおよび多重レベルのデータ・
キャッシュ・メモリを使用するシステムの場合には、特
定のメモリ位置からのデータは、主メモリおよび一つま
たはそれ以上のデータ・キャッシュ・メモリに同時に常
駐することができる。しかし、主メモリおよびデータ・
キャッシュ・メモリのデータは、何時でも同じではな
い。このようなことは、マイクロプロセッサが、主メモ
リおよび他のデータ・キャッシュ・メモリを更新しない
で、関連データ・キャッシュ・メモリに含まれているデ
ータを更新した場合、または他のバス・マスタが、マイ
クロプロセッサのデータ・キャッシュ・メモリのそのコ
ピーを更新しないで、主メモリのデータを変更した場合
に起こる。

【００２４】プロセッサ、システム・メモリ・モジュー
ル１０５Ａおよび１０５Ｂ、および種々のデータ・キャ
ッシュ・メモリ間を移動するデータを追跡するために、
システムは、メモリとキャッシュをベースにする整合の
ハイブリッドを使用する。システム・メモリとキャッシ
ュイング・エージェント、すなわち、第一および恐らく
第二のレベルのデータ・キャッシュを含む、システム・
バス・プロセッサとの間の整合は、集中／分散型のディ
レクトリをベースとするキャッシュの整合の組み合わせ
を通して維持される。

【００２５】ディレクトリをベースとするキャッシュ整
合スキームは、プロセッサとメモリとの間のデータの動
きを絶えず追跡する方法である。データの整合に対する
この方法により、メモリ状態表は、どのプロセッサが、
その関連データ・キャッシュ・メモリに、メモリのどの
ラインを持っているのかを識別する。プロセッサがデー
タを要求した場合には、状態表は、主メモリまたはプロ
セッサ・データ・キャッシュの、そのデータの最も新し
いコピーが常駐している場所を識別する。この方法の利
点は、プロセッサが監視によりアクセスすることができ
ないデータ・キャッシュに常駐するデータを必要とする
まで、追加の作業をする必要がないということである。
ディレクトリをベースとするキャッシュの整合は、シス
テム・バス上で多数の緊密に結合しているプロセッサを
使用した場合に、最も効果がある。

【００２６】図１のシステムで使用される、集中／分散
型のディレクトリをベースとする、キャッシュ整合スキ
ームは、二つのディレクトリ素子からなる。ディレクト
リ・スキームの中央素子は、それぞれシステム・メモリ
・モジュール１０５Ａおよび１０５Ｂに関連する、状態
キャッシュ・メモリ２０３Ａおよび２０３Ｂに常駐す
る。この素子は、メモリ・ライン状態表（ＭＬＳＴ）と
呼ばれる。システム・メモリのそれぞれのアクティブな
（キャッシュ・メモリに記憶された）メモリ・ライン
は、ＭＬＳＴに対応する入力を含む。この対応する入力
は、メモリ・ラインがキャッシュ・メモリに記憶されて
いるかどうかを示す情報を含み、もし記憶されている場
合には、一つのプロセッサ（またはバス）または共有ア
クロスマルチプロセッサ（またはバス）により、排他的
に占有されているかどうかを示す情報を含む。ディレク
トリ・スキームおよびＭＬＳＴは、システム・バスまた
はプロセッサによるメモリ・ラインの占有権を識別する
ように設定することができる。「ビット・パア・バス」
ＭＬＳＴは、バスに基づいて占有権を識別し、一方、も
っと粗い「ビット・パア・プロセッサ」ＭＬＳＴは、プ
ロセッサに基づいて占有権を識別する。この識別はメモ
リ設計の際に行うべきものなので、システム・バス上の
すべての他の装置には何の影響も与えない。

【００２７】分散型のディレクトリ素子は、各プロセッ
サのデータ・キャッシュ・ディレクトリに局部的に常駐
している。特定のプロセッサに関連するこの素子は、そ
のプロセッサのライン状態表（ＰＬＳＴ）と呼ばれる。
各キャッシュ・ラインは、ＰＬＳＴに対応する入力を持
つ。局部的プロセッサから見た場合、この入力は、ライ
ンが主メモリ・ラインの有効なコピーを含んでいるかど
うかを示す情報を含み、含んでいる場合には、そのライ
ンを修正すべきかどうかをシステムの残りの部分に報告
しなければならない。システムから見た場合、各プロセ
ッサのＰＬＳＴは、メモリ介入コマンド（ＭＩＣ）と呼
ばれる特殊なシステム・バス・サイクルに対するスレー
ブである。これらサイクルは、特定の隣接するのローカ
ル状態についてＰＬＳＴに問い合わせを行い、および／
またはＰＬＳＴにそのローカル状態を変更するように命
令する。

【００２８】＜メモリおよびキャッシュ状態の定義＞修
正−排他−共有−無効（ＭＥＳＩ）キャッシュ整合プロ
トコルは、主メモリの内容とデータ・キャッシュ・メモ
リの内容とを同じ状態に維持するための、ハードウェア
実行プロトコルである。ＭＥＳＩハードウェア・キャッ
シュ整合プロトコルの通常の実行の際には、下記の機能
を持つキャッシュ・コントローラを使用する必要があ
る。

【００２９】１．メモリ・バス上の、すべてのキャッシ
ュ・メモリに対して、同じライン・サイズを使用するこ
とができること。

【００３０】２．メモリ・バス上のすべての活動を、観
察することができること。

【００３１】３．キャッシュ・メモリの、すべての各ラ
インに対する状態情報を、維持することができること。

【００３２】４．キャッシュ・メモリと、主メモリの内
容を同じ状態に維持するために、適当な行動をとること
ができること。

【００３３】ＭＥＳＩは、ラインが有効であるかどう
か、他のキャッシュで使用することができるかどうか、
修正済みであるかどうかを定義する四つの状態を表す。
データ・キャッシュのデータの各ラインは、データのラ
インが修正済みか、排他的か、共有か、または無効かを
示す関連フィールドを含む。プロセッサ・ライン状態表
の各ラインは、四つの可能なＭＥＳＩ状態の中の一つに
マークがつけられている。

【００３４】ｏ 修正済み−この状態は、このキャッシ
ュだけで排他的に使用することができ、修正されるデー
タのラインを示す。修正済みのラインは、共有メモリ・
バスを獲得しなくても、キャッシュで局部的に更新する
ことができる。システムの他の装置が、このラインを必
要とする場合には、占有中のキャッシュがデータを供給
しなければならない。

【００３５】ｏ 排他（ＰＥ）−この状態は、このキャ
ッシュだけで排他的に使用できるデータのラインが修正
されていないこと（主メモリも有効なコピーを持
つ。）、ローカル・プロセッサが、システムに通知しな
いで、このラインを自由に修正できることを示す。排他
的データは、ある種の方法で働きかけられるまで、他の
いかなるプロセッサも使用することはできない。排他的
ラインに書き込みを行うと、他のキャッシュに通知しな
くても、状態が修正された状態に変化する。そのため、
メモリ・バスの活動は発生しない。以下に説明するよう
に、（ＰＥ）状態にあるラインには、ＭＬＳＴで（Ｍ
Ｏ）のマークがつけられることに留意されたい。 ｏ 共有（ＰＳ）−この状態は、他のキャッシュと潜在
的に共有しているデータのライン（同じラインが、一つ
またはそれ以上のキャッシュに存在する。）を示す。共
有データは、複数のプロセッサの間で共有することがで
き、複数のキャッシュに記憶することができる。ローカ
ル・プロセッサは、主メモリにアクセスしないで、共有
ラインを読むことができる。プロセッサが、局部的に共
有とマークされているラインに書き込みを行った場合に
は、そのプロセッサは、システムにも、その書き込みを
放送しなければならない。

【００３６】ｏ 無効（ＰＩ）−この状態は、キャッシ
ュで使用することができないデータのラインを示す。特
定のキャッシュの無効データは、診断または類似の用途
以外には、将来の処理用に使用することはできない。こ
のラインを読出すと、「ミス」（使用不能）となる。こ
のラインに書き込みを行うと、メモリ・バスへのライト
・スルー・サイクルとなる。すべてのキャッシュ・ライ
ンは、システムが初期化された時、（ＰＩ）状態にな
る。

【００３７】ＭＥＳＩプロトコルによれば、プロセッサ
がメモリのラインを占有すると、修正であろうと、排他
であろうと、主メモリのメモリの占有ラインへ書き込み
を行った場合には、その書き込みが何であろうとも、プ
ロセッサのデータ・キャッシュ・メモリに含まれている
同じデータは直ちに更新される。

【００３８】メモリ・ライン状態表は、三つの可能な状
態、すなわち、「キャッシュに記憶されていない（ＭＮ
Ｃ）」、共有（ＭＳ）および占有（ＭＯ）の一つの状態
になっているメモリ・ラインをマークする。文字Ｍは、
文字Ｐで識別されるＰＬＳＴ状態から、これらの状態を
区別するためのものである。さらに、バスまたはプロセ
ッサをベースとする共有または占有を示すバスおよび／
またはプロセッサ状態ビットも使用される。

【００３９】ｏ キャッシュに記憶されていない（ＭＮ
Ｃ）：この状態は、キャッシュがそのラインのコピーを
持っていないことを示す。システムが初期化された時に
は、すべてのメモリ・ラインを（ＭＮＣ）状態にリセッ
トしなければならない。

【００４０】ｏ 共有状態（ＭＳ）：この状態は、一つ
またはそれ以上のキャッシュが、潜在的にそのラインの
コピーを持っていることを示す。

【００４１】ｏ 占有状態（ＭＯ）：この状態は、一つ
そして唯一のキャッシュが、潜在的にそのラインのコピ
ーを持っていて、メモリのデータが潜在的にそれと一致
していないことをしめす。（メモリ・データは、失効し
たと呼ばれる。） 共有および占有状態の定義に使用された「潜在的」とい
う用語に留意されたい。ＭＬＳＴが、特定のメモリ・ラ
インについての最新の情報を持っていない状況がいくつ
かある。例えば、ＭＬＳＴは、一本のラインを、二つの
特定のプロセッサにより共有されているとマークする場
合がある。何故なら、ＭＬＳＴが二つの特定プロセッサ
がそのラインを読んだと見なしたからである。しかし、
両方のプロセッサが、（「無言の置換」と呼ばれる）Ｍ
ＬＳＴに通知しないで、新しいデータのために空きを作
るために、そのラインをずっと前から放棄している場合
がある。ＭＬＳＴは、当然、あるマスタの力、ＭＩＣが
そのラインにアクセスする度に、特定のラインの最新の
状態に「追いつこう（ｃａｔｃｈ ｕｐ）」とする。こ
の例の場合、第三のプロセッサがこのラインに書き込み
を行うと、他のキャッシュに記憶されていコピーを無効
にするために、（現在不必要な）ＭＩＣを初期化し、Ｍ
ＬＳＴを更新する。しかし、ＭＬＳＴは、何時でも、キ
ャッシュ・ラインの状態を前の状態に保持しようとする
ことに留意されたい。すなわち、プロセッサが占有また
は共有しているラインは、何時でも、ＭＬＳＴに正確に
マークされている。ＭＬＳＴの「失効した」情報は、も
はやどのプロセッサのデータ・キャッシュにも存在しな
い占有または共有とマークされたラインの形をとる。

【００４２】システム・メモリの内容とデータ・キャッ
シュ・メモリの内容を同じに維持するために、上記シス
テムで使用される三つの異なるＭＩＣ動作がある。

【００４３】ｏ 無効（ＭＢＩ） このサイクルがスタ
ートすると、アドレスされたラインを持つすべてのデー
タ・キャッシュは無効状態（ＰＩ）になる。このサイク
ルは、通常、ＭＬＳＴの共有とマークされた（ＭＳ）ラ
インにアクセスする、ある種のメモリ動作に応えて発生
する。他のＭＩＣ動作とは異なり、ＭＢＩは、ローカル
・キャッシュのアドレスされたラインの現在の状態に関
して、ＰＬＳＴからのフィ−ドバックを要求しない。そ
れどころか、ＭＢＩは、単に、そのラインがキャッシュ
に存在する場合には、その無効化を要求する。ＭＢＩ
は、論理的フィ−ドバックは要求しないが、そのサイク
ルを終了するために、目標プロセッサから積極的な承認
を要求する。ＭＢＩは、単に、プロセッサが無効なアド
レスを受け入れ、他のアドレスを受け入れることができ
ることを表示する。

【００４４】ｏ 放棄無効（ＭＢＣＯＩ） このサイク
ルがスタートすると、アドレスされたラインの潜在的に
修正されたコピーを持つキャッシュは、システム・メモ
リに送られ、無効状態（ＰＩ）になる。このサイクル
は、ＭＬＳＴで占有とマークされた（ＭＯ）メモリ・ラ
インにアクセスする、ある種のメモリ動作に応えて発生
する。占有キャッシュが修正（ＰＭ）状態のラインを持
っている場合には、そのキャッシュは、データを供給
し、無効になる。占有キャッシュが排他（ＰＥ）状態の
ラインを持っている場合には、そのキャッシュは、ＭＢ
ＣＯＩに通知し、無効になるが、データの供給は行わな
い。占有キャッシュがもはやラインを持っていない場合
には、このキャッシュは、単に、サイクルが終了したこ
とをＭＢＣＯＩ通知するだけである。

【００４５】ｏ 放棄共有（ＭＢＣＯＳ） このサイク
ルは、アドレスされたラインの潜在的に修正されたコピ
ーを持つキャッシュをシステム・メモリに送り、共有状
態（ＰＳ）になる。このサイクルは、ＭＬＳＴの占有と
マークされた（ＭＯ）、メモリ・ラインにアクセスす
る、ある種のメモリ動作に応えて発生する。占有キャッ
シュが修正された状態（ＰＭ）のラインを持っている場
合には、そのキャッシュはデータを供給し、共有にな
る。占有キャッシュが排他状態（ＰＥ）のラインを持っ
ている場合には、そのキャッシュはＭＢＣＯＳに通知し
て、共有状態になるが、データの供給は行わない。占有
キャッシュが、もはやラインを持っていない場合には、
このキャッシュは、サイクルが終了したことをＭＢＣＯ
Ｉ通知する。最後の場合には、ラインがキャッシュに記
憶されていなくても、ＭＬＳＴは共有状態（ＭＳ）にな
る。何故なら、ＭＬＳＴは、無効状態（ＰＩ）のライン
と、占有者のキャッシュの排他状態（ＰＥ）のラインと
を区別することができないからである。

【００４６】すでに説明したように、ＭＬＳＴは、バス
またはプロセッサを基準とする共有または占有を示す、
追加のバスおよび／またはプロセッサ状態ビットを含
む。

【００４７】ビット・パア・バス・プロトコルは、ライ
ンの現在の状態を表示するために、一つのライン語との
三つのメモリ状態ビットを使用する。一つのビットは共
有または占有を示し、他の二つのビットはどのバス（Ａ
またはＢ）またはバス（ＡおよびＢ）が、共有または占
有ラインを持っているのかを示す。バスの占有権は、そ
のバス上のプロセッサの中の一つが、そのラインを占有
していることを示す。六つの状態、すなわち、「キャッ
シュに記憶されていない」、「共有バスＡ」、「共有バ
スＢ」、「両者共有」、「占有バスＡ」および「占有バ
スＢ」が可能である。一本のラインを占有できるのは一
台のプロセッサだけ、すなわち、一本のバスだけである
ことに留意されたい。共有ラインは、各バス上の一台ま
たはそれ以上のプロセッサにより共有することができ
る。

【００４８】 ビット・パー・プロセッサ・プロトコルは、そのライン
の現在の状態を表示するための一本のラインに対して、
ｎ＋１個のビット（ｎはプロセッサの数に等しい）から
なるＭＬＳＴを持つ。一つのビットは、そのラインが共
有（ＭＳ）または占有（ＭＯ）かを示し、他のｎ個のビ
ットは、どの一台のプロセッサまたは複数のプロセッサ
が、キャッシュに記憶されているラインを持っているか
を示す。特定のプロセッサにはＰｉの番号がつけられる
が、この場合ｉは０からｎ−１の数字である。ｉが偶数
であるすべてのＰｉはバスＡ上に存在し、ｉが奇数であ
るすべてのＰｉはバスＢ上に存在する。プロセッサの占
有権は、どのプロセッサ（一台だけ）がそのラインを占
有しているかを示す。共有ラインは、どちらか一方また
は両方のバスにより共有することができる。

【００４９】 ＜メモリ状態キャッシュ＞すでに説明したように、シス
テム・メモリ１０５Ａおよび１０５Ｂに関連する状態情
報を含むＭＬＳＴは、それぞれ状態キャッシュ・メモリ
２０３Ａおよび２０３Ｂに維持されている。状態キャッ
シュ・メモリは、どのような場合でも、一度にすべての
システム・メモリが使用（キャッシュに記憶される）こ
とは滅多にないことを考慮して、システム・メモリに含
まれているメモリ・ラインの一部だけに対する状態情報
を記憶することができるだけの容量を持っている。例示
としての状態キャッシュ・メモリ２０３Ａの構造および
動作を、図２および図３に示す。

【００５０】図２は、例えば、各ラインが３２バイトの
大きさを持つ、３３兆５５４４億３２００万（２²⁵）の
メモリ・ブロック、すなわち、ラインに分割された１ギ
ガバイト（２²⁹）の容量を持つシステム・メモリ１０５
Ａである。メモリ１０５Ａに記憶されているデータに
は、２９ビットのアドレス２０１によりアクセスする。
「Ｘ」ビットと呼ばれる、このアドレスの２５の最上位
のビットは、メモリ・ブロック番号、すなわち、ライン
番号を示す。「Ｗ」ビットと呼ばれる、次の四つのアド
レス・ビットは、メモリ・ブロックの語を示し、最下位
のアドレス・ビット「Ｂ」は、語の中のバイトを示す。

【００５１】状態情報を記憶するためのキャッシュ・メ
モリ２０３Ａは、「キャッシュ・タグＲＡＭ」２０５
Ａ、および「キャッシュ・データＲＡＭ」２０７Ａと呼
ばれる二つのセクションを含む。状態キャッシュ・メモ
リ２０３Ａの各ライン入力は、キャッシュ・データＲＡ
Ｍにセーブされた状態情報、およびキャッシュ・タグＲ
ＡＭに記憶された四つのビット・タグを含む。

【００５２】状態キャッシュ・メモリ２０３Ａは、全部
の数のメモリ・アドレス・ビットのサブセットにより索
引される。アドレス・ビットまたはタグ・ビットの残り
は、記憶装置の各入力に対する内容の一部である。索引
ビットは、状態キャッシュの入力の数を指定し、タグ・
ビットは状態キャッシュの同じ入力を取り合うことがで
きるメモリ・ラインの数を決定する。索引ビットにタグ
・ビットを加えたものは、サポートすることができるメ
モリ・ラインの全数を指定する。本質的には、状態記憶
装置の低減は、タグ・ビットの数により決まる。例え
ば、タグ・ビットの数が４である場合には、このコンセ
プトに対する状態記憶装置の要件は、従来のアーキテク
チャの１／１６である。

【００５３】図３は、状態キャッシュ２０３Ａの構造お
よび動作に関するもっと詳細な情報である。状態キャッ
シュの入力には、主メモリ１０５Ａにアクセスした時に
使用したのと同じアドレス２０１によりアクセスでき
る。このアドレスの四つの最上位のビットは、タグ・ビ
ットと呼ばれ、次の２１のアドレス・ビットは、索引ビ
ットと呼ばれる。これら２５のアドレス・ビットは、図
４のＸビットと同じビットであり、主メモリ１０５Ａの
メモリ・ブロックを識別するのに使用される。

【００５４】状態キャッシュの読出し動作中、上記アド
レスの索引フィールドは、チェックするキャッシュの特
定の入力またはラインを指定するのに使用される。次
に、上記アドレスのタグ・ビットは、選択したキャッシ
ュ・ラインのタグと比較される。一致する場合には、キ
ャッシュ的中が起こり、選択したキャッシュ・ラインに
関連する状態ビットが検索される。

【００５５】状態キャッシュ・メモリの状態情報を記憶
する際には、タグおよび状態情報記憶装置に対する特定
の入力、またはキャッシュ・ラインを識別するために、
アドレスの索引フィールドが使用される。最初の四つの
アドレス・ビットは、キャッシュ・タグＲＡＭにセーブ
され、そのアドレスに関連する状態情報は、キャッシュ
・データＲＡＭにセーブされる。オプションとして、エ
ラー検出および／または修正シンドローム・ビット、ま
たはパリテイ・ビットを、状態キャッシュ・メモリに内
蔵させることができる。

【００５６】上記状態キャッシュは、直接マップされた
キャッシュである。しかし、状態キャッシュは、データ
・キャッシュに従って、結合型、セクタ型、または直接
マップ型にすることができることに留意されたい。

【００５７】メモリ・システムの動作を以下に説明す
る。システム・メモリの読み出しまたは書き込み動作が
要求されると、プロトコルに従って、必要な整合サイク
ルを決定するために、状態キャッシュがアクセスされ
る。状態キャッシュのタグ情報が、メモリ・アドレスの
対応するビットと一致する場合には、対応する整合サイ
クルが実行され、状態が更新される。タグが一致しない
場合には、デフォールト状態に対する整合動作が実行さ
れ（恐らく、実行されることはないが）、新しいライン
・アドレスおよび状態が、状態キャッシュに割り当てら
れる。恐らく、現存する入力は新しいラインにより置き
換えられることになる。整合動作は、置き換えられたラ
イン状態を、デフォールト状態にするために必要になる
場合がある。これらの置換整合動作は、状態記憶装置の
容量を少なくするためのパーフォーマンス費用である
が、すでに説明したように、妥当な状態キャッシュ容量
および通常の作業量の場合には、無視することができ
る。状態キャッシュは、結合型、セクタ型、またはデー
タ・キャッシュの場合と同じように直接マップ型にする
ことができることに留意されたい。

【００５８】下記の例を使用して、状態キャッシュ・メ
モリの使用によるメモリ・スペースの節約を説明する。
上記の、１ギガバイトのメモリと、メモリの一つのライ
ンに対して必要な、４ビットの整合状態フィールドを持
つシステムについて考えてみよう。メモリの基本的な整
合ブロック、すなわち、ラインは３２バイトである。す
べてのメモリに対する４ビット状態を記憶するために
は、１６ＭＢの状態メモリ（一つのラインにつき、３２
００万のライン × ４ビット）が必要になる。状態メモ
リの各入力が、４ビットのタグを含んでいる場合には、
状態メモリは一本のライン当たり８ビットの情報を含ん
でいて、これは従来の量の二倍である。しかし、４ビッ
ト・タグのおかげで、ラインの数は１／１６ですむ。そ
れ故、必要な全状態メモリは２ＭＢで、これは従来の容
量の１／８である。折り合いは、比較的少ない状態キャ
ッシュ入力の可能な置き換えにより行われる。この例の
場合には、状態キャッシュは、６４ＭＢデータ・キャッ
シュ（それぞれが３２バイトのラインを表す２００万の
入力）に等しい。

【００５９】上記プロセスのように、メモリ状態キャッ
シュを使用する際の不利な点は、キャッシュに記憶され
ている、状態入力の置き換えにより生じる追加の整合動
作が、通常の転送と干渉することである。本発明は、デ
ィレクトリをベースとするメモリ状態キャッシュの置き
換えにより生じる整合動作の数を減らすための方法を提
供する。

【００６０】＜置換動作の低減＞すでに説明したよう
に、状態キャッシュに記憶されていないアドレスに関す
る情報が必要な場合に、新しいアドレスの割当ができる
ようにするために、前の記憶している状態キャッシュ入
力を置き換えなければならない。アート・プロトコルの
現在の状態は、メモリ・ライン（基本的な整合素子）の
システム状態を、キャッシュに記憶されていない（共有
または占有）状態に復帰させる。この動作は、プロセッ
サ・データ・キャッシュに対する無効化動作および放棄
動作を含む。

【００６１】今まで説明してきた、ディレクトリをベー
スとするキャッシュ整合システム、および多くの類似の
システムにおいては、大部分の状態キャッシュ・ライン
は、ウオームアップ期間を過ぎると、共有としてマーク
されることを認識しておく必要がある。そのため、共有
のデフォールト・メモリ状態を指定することにより、置
き換えの結果生じる整合動作の数を低減することができ
る。それ故、キャッシュ状態入力の置き換えの結果生じ
る動作を処理するために使用する置換アルゴリズムは、
共有状態を単に確実に生じさせるためのものでなければ
ならない。キャッシュの大部分のラインは、共有状態に
あるので、このことは無効を意味しない。また、データ
・キャッシュは、共有状態でメモリ情報を継続して保持
している。置換したラインが占有状態である場合には、
放棄動作が発生するが、そのラインはデータ・キャッシ
ュで、共有状態に遷移することができる。

【００６２】この方法に対する折り合いは、ラインが、
（書き込みミスにより生じた）占有状態にある、状態キ
ャッシュ・メモリに割り当てられた場合、すべてのデー
タ・キャッシュのそのラインのすべての可能な共有者
に、無効が必要になる。しかし、書き込みミスおよび読
取りミスは、割当を生じさせ、割当は置換を生じさせ
る。ミスの数の半分以下が書き込みサイクルである場合
には、書き込みサイクルにより生じた無効より、セーブ
された置換無効のほうが多い。何故なら、読取りサイク
ルが、キャッシュの共有入力を割り当てるからである。

【００６３】一つの例として、二つのキャシング・エー
ゲントに対して、メモリ・ライン（整合素子）当たり、
３ビットの状態情報を持つディレクトリをベースとする
メモリ・システムを考えてみよう。通常使用される八つ
の可能な状態の中の六つは、キャッシュに記憶されてい
ない、共有エージェントＡ、共有エージェンントＢ、両
者共有、占有エージェントＡ、および占有エージェント
Ｂである。図４は、従来のアルゴリズムに対する置換さ
れたライン動作、および「両者共有」または「共有だ
け」デフォールト状態を持つ本発明の方法を示す表であ
る。一方のエージェントがメモリに対してより高速でよ
り高い優先権アクセスを持っている場合には、共有エー
ジェントＡまたは共有エージェントＢデフォールトはメ
リットがあることに留意されたい。それ故、無効は、状
態キャッシュに対する割当に対してはより迅速である。

【００６４】両者共有デフォールト状態プロトコルの場
合には、入力が占有者状態である場合に限って、置換動
作が必要になり、エージェントは、局部的にラインを共
有状態に維持することができる。「共有Ａ」デフォール
ト状態プロトコルの場合には、ラインが「エージェント
Ａによって共有」または「両者によって共有」の場合
に、無効が必要になる。しかし、このケースに対する状
態キャッシュへの割当の間、余計な無効は少なくてす
む。図５の表は、キャッシュに記憶していないデフォー
ルト状態を持つ、３ビットのディレクトリをベースとす
るメモリに対する整合状態表である。図６および図７の
表は、「両者共有」および「共有エージェントＡ」デフ
ォールト状態に対する整合状態である。ある種の追加無
効を起こす状態は、太字で示してある。「両者共有」デ
フォールトの場合には、書き込みミスにより対向するエ
ージェントを無効にし、ＤＭＡ書き込みを行うと両方の
エージェントを無効にする。「共有Ａ」デフォールトの
場合には、エージェントＡが書き込みミスを起こすと、
局部的な整合サイクルを起こし、ＤＭＡ書き込みはエー
ジェントＡだけを無効にするだけである。それ故、この
ケースの場合には、より少ない無効しか生じない。
（注：Ｉ／Ｏインターフェースが、どちらかのエージェ
ントだけのものである場合には、そのエージェント、す
なわち、ローカル監視プロトコルに対して無効は局部的
に処理され、この場合、メモリは対向するエージェント
を無効にする。） それ故、本発明は、集中／分散型のディレクトリをベー
スとするキャッシュ整合および状態キャッシュ・メモリ
を使用するコンピュータ・システムでのメモリ使用を改
善するための新しい有用な方法を提供する。上記方法
は、状態キャッシュ・メモリでの置換により生じる整合
（無効）動作の数を減少する。

【図面の簡単な説明】

【図１】現在入手可能な市販構成部材を使用する、８プ
ロセッサ超大容量（ＳＨＶ）対称多重処理（ＳＭＰ）コ
ンピュータ・システムの簡単なブロック図である。

【図２】状態情報を記憶するためのシステム・メモリ１
０５Ａとキャッシュ・メモリのブロック図である。

【図３】状態キャッシュ２０３の構造および動作をさら
に詳細に示す、図２の状態キャッシュ・メモリ２０３の
ブロック図である。

【図４】本発明の三つの可能なデフォールト・メモリ・
ライン状態に対する、置換メモリ・ライン整合動作の低
減を示す表である。

【図５】従来の置換手順による「キャッシュに記憶して
いない」デフォールト状態を含む、３ビットのディレク
トリをベースとするメモリに対する整合状態表である。

【図６】本発明の第一の実施形態による、「両方共有」
デフォールト状態を含む、３ビットのディレクトリをベ
ースとするメモリに対する整合状態表である。

【図７】本発明の第二の実施形態による、「共有エージ
ェントＡ」デフォールト状態を含む、３ビットのディレ
クトリをベースとするメモリに対する整合状態表であ
る。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ロイ エム．スティーブンス アメリカ合衆国 サウスカロライナ州 29072 レクシントン ペイン レーン 168 (72)発明者 ラリー シー．ジェイムズ アメリカ合衆国 サウスカロライナ州 29172 ウェスト コロンビア シティー ヴュー ドライブ 237

Claims (1)

【特許請求の範囲】
1. 【請求項１】 状態キャッシュ・メモリ（３０３ＣＡ、
   ３０３Ｂ）と、共有システム・メモリ（１０５Ａ、１０
   ５Ｂ）と、複数のデータ・キャッシュ・メモリ（１２１
   Ａ、１２１Ｂ）と、上記システム・メモリと上記複数の
   データ・キャッシュ・メモリとを相互に接続するバスの
   システム（１０３Ａ、１０３Ｂ）とを含み、上記共有シ
   ステム・メモリ（１０５Ａ、１０５Ｂ）および上記複数
   のデータ・キャッシュ・メモリ（１２１Ａ、１２１Ｂ）
   のメモリのライン間で一貫性を維持するために、集中／
   分散式のディレクトリをベースとするキャッシュ整合ス
   キームを使用する、マルチプロセッサ・コンピュータ・
   システムの状態キャッシュ・メモリ（３０３Ａ、３０３
   Ｂ）の入力を置き換える方法であって、 状態キャッシュ・メモリ（３０３Ａ、３０３Ｂ）に表示
   されるメモリのラインに対して、「共有」のデフォール
   ト・メモリ状態を確立するステップと、 置き換えを行う前に、共有メモリ（１０５Ａ、１０５
   Ｂ）および少なくとも一つのデータ・キャッシュ・メモ
   リ（１２１Ａ、１２１Ｂ）に記憶されている、メモリの
   ラインに関連する状態キャッシュ入力に対する、システ
   ム・メモリ・ライン状態を読み取るステップと、 上記共有メモリ（１０５Ａ、１０５Ｂ）のメモリ・ライ
   ンを更新するために放出動作を行い、システム・メモリ
   ・ライン状態が「占有状態」である場合には、「共有」
   のデータ・キャッシュ・メモリ・ライン状態を、上記メ
   モリのラインを含む各データ・キャッシュ・メモリのメ
   モリの上記ラインに割り当てるステップとを含むキャッ
   シュ整合メモリ・システムの整合サイクルの回数を低減
   する方法。