JP3365488B2 - メモリ共有型マルチプロセッサシステム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、ライトバック方式
のキャッシュメモリを備えた複数のＣＰＵを用いて構成
されたメモリ共有型マルチプロセッサシステムに関し、
特にキャッシュメモリのコヒーレンシ制御に特徴を有す
るメモリ共有型マルチプロセッサシステムに関する。

【０００２】

【従来の技術】メモリ共有型マルチプロセッサシステム
は、プロセッサ数の増加に伴ってシステムバスの使用効
率が低下したり、データ転送速度が低下したりすること
を防ぐため、キャッシュメモリを介して多階層のバスシ
ステムを形成している。図７及び図８に、従来のこの種
のメモリ共有型マルチプロセッサシステムの構成例を示
す。

【０００３】図７に示すメモリ共有型マルチプロセッサ
システムは、ライトバック方式のキャッシュメモリを有
する複数のＣＰＵを備えた２組のＣＰＵクラスタ７１
０、７２０と、Ｉ／Ｏクラスタ７３０、７４０と、メイ
ンメモリ７５０とをシステムバス７６０で接続してあ
る。また、ＣＰＵクラスタ７１０、７２０は、図８に示
すように、ホストバス８４０を介して接続された複数の
ＣＰＵ８１１、８１２、・・・、８１ｎ及びホストブリ
ッジ８３０と、各ＣＰＵ８１１、８１２、・・・、８１
ｎに接続されたローカルキャッシュ８２１、８２２、・
・・、８２ｎと、ホストブリッジ８３０に接続されたブ
リッジキャッシュ８５０とを備え、ホストブリッジ８３
０を介してシステムバス７６０に接続されている。

【０００４】メモリ共有型マルチプロセッサシステムで
は、各ＣＰＵに対応する各キャッシュメモリに記憶され
たデータの内容のコヒーレンシを維持する、すなわちメ
インメモリ及び同一のデータを共有する他のキャッシュ
メモリの記憶内容と常に一致させておくために、キャッ
シュメモリ間及びキャッシュメモリとメインメモリとの
間でデータの転送や保有するデータの無効化といった種
々の制御を行う必要がある。上記のように構成された従
来のメモリ共有型マルチプロセッサシステムは、このよ
うなローカルキャッシュ８２１、８２２、・・・、８２
ｎのコヒーレンシ制御のためにシステムバス７６０を使
用している。

【０００５】また、ＣＰＵ８１１、８１２、・・・、８
１ｎが要求するデータが自ＣＰＵ８１１、８１２、・・
・、８１ｎのローカルキャッシュ８２１、８２２、・・
・、８２ｎに記憶されていない場合、すなわちキャッシ
ュミスが生じた場合や、更新しようとするデータが複数
のローカルキャッシュ８２１、８２２、・・・、８２ｎ
にも共有されている場合に、所望のデータの転送を要求
したり、当該データを共有する他のローカルキャッシュ
８２１、８２２、・・・、８２ｎに対して記憶している
当該データの無効化を要求する必要がある。この場合
に、種々の要求を送信したりデータの転送を行うために
システムバスを使用している。

【０００６】

【発明が解決しようとする課題】上述したように、従来
のメモリ共有型マルチプロセッサシステムは、キャッシ
ュメモリのコヒーレンシ制御のためにシステムバスを使
用するため、システムバスに多大な負担がかかり、シス
テム全体の処理効率の低下を招くという欠点があった。

【０００７】また、キャッシュミスが生じた場合や複数
のキャッシュメモリに共有されているデータを更新しよ
うとする場合に、所定の要求の送信やデータ転送にシス
テムバスを使用するため、ペナルティが大きいという欠
点があった。

【０００８】本発明の目的は、上記従来の欠点を解決
し、ライトバック方式のキャッシュメモリを有する複数
のＣＰＵで構成される２個のＣＰＵクラスタを、高速な
キャッシュバスで接続すると共に、グローバルキャッシ
ュを用いて各ＣＰＵのキャッシュメモリの状態を管理す
ることによって、システムバスの過負荷によるシステム
全体の処理効率の低下を防止するメモリ共有型マルチプ
ロセッサシステムを提供することにある。

【０００９】また、本発明の他の目的は、上記目的に加
えて、ＣＰＵがキャッシュメモリにアクセスする際のレ
イテンシの向上を図ったメモリ共有型マルチプロセッサ
システムを提供することにある。

【００１０】

【課題を解決するための手段】上記の目的を達成する本
発明は、ライトバック方式のキャッシュメモリを備えた
複数のＣＰＵを用いて構成されたメモリ共有型マルチプ
ロセッサシステムにおいて、前記複数のＣＰＵと、各Ｃ
ＰＵに個別に接続された複数のライトバック方式のロー
カルキャッシュメモリと、該ローカルキャッシュメモリ
間のコヒーレンシ制御を行うブリッジ手段とを備えた２
個のＣＰＵクラスタと、前記ＣＰＵクラスタの前記ロー
カルキャッシュメモリにおけるデータの状態を管理する
グローバルキャッシュメモリと、前記ＣＰＵクラスタに
対してシステムバスを介して接続されたメインメモリと
を備え、前記２個のＣＰＵクラスタと前記グローバルキ
ャッシュメモリとが前記システムバスよりも高速なキャ
ッシュバスを介して接続され、前記ＣＰＵクラスタが他
方のＣＰＵクラスタの前記ローカルキャッシュに格納さ
れているデータにアクセスする場合、前記グローバルキ
ャッシュメモリにおける前記ローカルキャッシュメモリ
のデータの状態を判別することにより、他方のＣＰＵク
ラスタへのアクセス要求に対する応答を待つことなく、
前記グローバルキャッシュメモリに格納されているデー
タを利用することを特徴とする。

【００１１】請求項２の本発明のメモリ共有型マルチプ
ロセッサシステムは、前記グローバルキャッシュメモリ
が、前記ＣＰＵクラスタのいずれかの前記ＣＰＵにより
前記メインメモリから読出されたデータを格納すると共
に、前記ＣＰＵクラスタの前記ローカルキャッシュメモ
リにおけるデータの格納状態を示すタグデータを保持
し、前記ＣＰＵクラスタの前記ブリッジ手段が、前記キ
ャッシュバスを介して前記グローバルキャッシュメモリ
にアクセスし、前記ＣＰＵクラスタの前記ローカルキャ
ッシュメモリに格納されたデータの内容と、前記グロー
バルキャッシュメモリに格納されたデータの内容とを常
に一致させるように制御することを特徴とする。

【００１２】請求項３の本発明のメモリ共有型マルチプ
ロセッサシステムは、前記グローバルキャッシュメモリ
にて保持される前記タグデータが、前記ローカルキャッ
シュメモリにおけるデータの格納状態として、少なくと
も、データが無効であることを示す無効状態と、同一デ
ータが複数の前記ローカルキャッシュメモリに保持され
ていることを示す共有状態と、データが唯一つの前記ロ
ーカルキャッシュメモリに保持されていることを示す排
他状態と、データがいずれの前記ローカルキャッシュメ
モリにも保持されていないことを示す非保持状態の４つ
の状態を区別して示すことを特徴とする。

【００１３】請求項４の本発明のメモリ共有型マルチプ
ロセッサシステムは、前記グローバルキャッシュメモリ
にて保持される前記タグデータが、前記グローバルキャ
ッシュメモリに格納されているデータごとに設定され、
対応データの前記ローカルキャッシュメモリにおける格
納状態を示すステート情報と、対応データが格納されて
いる前記ローカルキャッシュメモリを特定するディレク
トリ情報とを含み、前記ステート情報が、前記ローカル
キャッシュメモリにおける対応データの格納状態とし
て、少なくとも、データが無効であることを示す無効状
態と、データが複数の前記ローカルキャッシュメモリに
保持されていることを示す共有状態と、データが唯一つ
の前記ローカルキャッシュメモリに保持されていること
を示す排他状態と、データがいずれの前記ローカルキャ
ッシュメモリにも保持されていないことを示す非保持状
態の４つの状態を区別して示し、前記ディレクトリ情報
が、前記２個のＣＰＵクラスタに搭載される全ての前記
ローカルキャッシュメモリに関して、対応データを保持
しているかどうかを示すことを特徴とする。

【００１４】請求項５の本発明のメモリ共有型マルチプ
ロセッサシステムは、前記ステート情報が、前記ローカ
ルキャッシュメモリに保持されたデータが該データを保
持する前記ローカルキャッシュメモリに接続した前記Ｃ
ＰＵにより更新されたかどうかを示す情報をさらに含む
ことを特徴とする。

【００１５】請求項６の本発明のメモリ共有型マルチプ
ロセッサシステムは、前記グローバルキャッシュメモリ
が、２方向からの入出力が可能なデュアルポートメモリ
であり、前記各ＣＰＵクラスタに対して独立に接続さ
れ、前記各ＣＰＵクラスタの前記ブリッジ手段から独立
にアクセスすることを許容することを特徴とする。

【００１６】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。

【００１７】図１は、本発明の第１の実施形態によるメ
モリ共有型マルチプロセッサシステムの構成を示すブロ
ック図である。図１を参照すると、本実施形態のメモリ
共有型マルチプロセッサシステムは、ライトバック方式
のキャッシュメモリを有する複数のＣＰＵを備えた２組
のＣＰＵクラスタ１０、２０と、Ｉ／Ｏクラスタ３０、
４０と、メインメモリ５０とをシステムバス６０で接続
すると共に、ＣＰＵクラスタ１０、２０どうしをキャッ
シュバス８０で接続し、かつキャッシュバス８０にキャ
ッシュメモリであるグローバルキャッシュ７０を接続し
てある。キャッシュバス８０は、システムバス６０に比
べて高速のバスであり、かつＣＰＵクラスタ１０、２０
間のデータの送受信及びグローバルキャッシュ７０によ
るデータ制御のためにのみ使用される。

【００１８】ＣＰＵクラスタ１０は、図２に示すよう
に、ホストバス１４を介して接続された複数のＣＰＵ１
１１、１１２、・・・、１１ｎ及びホストブリッジ１３
と、各ＣＰＵ１１１、１１２、・・・、１１ｎに接続さ
れたキャッシュメモリであるローカルキャッシュ１２
１、１２２、・・・、１２ｎとを備え、ホストブリッジ
１３を介してシステムバス６０及びキャッシュバス８０
に接続されている。同様に、ＣＰＵクラスタ２０は、ホ
ストバス２４を介して接続された複数のＣＰＵ２１１、
２１２、・・・、２１ｎ及びホストブリッジ２３と、各
ＣＰＵ２１１、２１２、・・・、２１ｎに接続されたロ
ーカルキャッシュ２２１、２２２、・・・、２２ｎとを
備え、ホストブリッジ２３を介してシステムバス６０及
びキャッシュバス８０に接続されている。なお、ＣＰＵ
クラスタ１０とＣＰＵクラスタ２０とは、区別のために
符号を変えてあるが、図示のように、同一の構成を備え
ている。

【００１９】グローバルキャッシュ７０は、図３に示す
ように、データメモリ７１と、タグメモリ７２とを備え
る。データメモリ７１には、メインメモリから読出され
たデータ（キャッシュライン）が格納され、タグメモリ
７２には、データメモリ７１におけるキャッシュライン
に関する各種の情報が格納されている。

【００２０】キャッシュバス８０は、図３に示すよう
に、データメモリ７１及びタグメモリ７２を制御する制
御信号と、キャッシュラインのアドレスと、データと、
キャッシュラインに関する各種の情報を示すタグとを伝
送するのに用いられる。

【００２１】キャッシュバス８０により伝送されるタグ
の構成を図５に示す。図５を参照すると、本実施形態で
使用されるタグは、キャッシュラインのアドレスの一部
であるタグアドレス７２１と、キャッシュラインの状態
を表すステート７２２と、該当キャッシュラインがロー
カルキャッシュ１２１、１２２、・・・、１２ｎ、２２
１、２２２、・・・、２２ｎに存在するかどうかを表す
ディレクトリ７２３とを含む。

【００２２】ステート７２２のデータ構成としては、例
えば、ローカルキャッシュ１２１、１２２、・・・、１
２ｎ、２２１、２２２、・・・、２２ｎにおけるキャッ
シュラインの後述する４つの状態をコード化して示す２
ビットと、データメモリ７１内の対応するキャッシュラ
インが変更状態であるかどうかを示す１ビットとの合計
３ビットのデータとすることができる。ここで、キャッ
シュラインの４つの状態とは、データメモリ７１内にお
ける対応するキャッシュラインのデータが無効であるこ
とを示す無効状態と、対応するキャッシュラインが複数
のローカルキャッシュに保持されていることを示す共有
状態と、対応するキャッシュラインが唯一つのローカル
キャッシュに保持されていることを示す排他状態と、対
応するキャッシュラインがどのローカルキャッシュにも
保持されていないことを示す非保持状態である。また、
キャッシュラインが変更状態であるとは、データメモリ
７１内の対応するキャッシュラインがメインメモリ５０
内のデータとは異なる内容に書き換えられていることを
示す。

【００２３】ディレクトリ７２３のデータ構成として
は、例えば、ローカルキャッシュ１２１、１２２、・・
・、１２ｎ、２２１、２２２、・・・、２２ｎに１対１
で対応したビットを含み、各ビットによって対応するロ
ーカルキャッシュ上に対応するキャッシュラインが存在
するかどうかを表すことができる。

【００２４】Ｉ／Ｏクラスタ３０は、図４に示すよう
に、Ｉ／Ｏクラスタ３０は、Ｉ／Ｏバス３４を介して接
続された複数のＩ／Ｏコントローラ３１１、３１２、・
・・、３１ｍ及びＩ／Ｏブリッジ３３と、各Ｉ／Ｏコン
トローラに接続されたＩ／Ｏ装置３２１、３２２、・・
・、３２ｍとを備える。Ｉ／Ｏブリッジ３３は、Ｉ／Ｏ
バス３４とシステムバス６０との間のブリッジの役割を
果たす。

【００２５】以上のように構成された本実施形態のメモ
リ共有型マルチプロセッサシステムにおいて、各ＣＰＵ
クラスタ１０、２０に搭載されたホストブリッジ１３、
２３は、ＣＰＵ１１１、１１２、・・・、１１ｎ、２１
１、２１２、・・・、２１ｎからの要求に応じて、グロ
ーバルキャッシュ７０に対してデータの読み書きを行っ
たり、タグの更新を行う。タグの更新は、ローカルキャ
ッシュ１２１、１２２、・・・、１２ｎ、２２１、２２
２、・・・、２２ｎにおけるキャッシュラインの状態に
応じて、ステート７２２の内容を更新したり、ディレク
トリ７２３の内容を更新したりする。また、ホストブリ
ッジ１３、２３は、必要な処理の内容に応じて、ＣＰＵ
１１１、１１２、・・・、１１ｎ、２１１、２１２、・
・・、２１ｎから送られたキャッシュラインを、当該キ
ャッシュラインを要求するＣＰＵに転送したり、メイン
メモリ５０から読出したデータをグローバルキャッシュ
７０に格納したりする。

【００２６】図６は、本発明の第２の実施形態によるメ
モリ共有型マルチプロセッサシステムの構成を示すブロ
ック図である。図６を参照すると、本実施形態のメモリ
共有型マルチプロセッサシステムは、ライトバック方式
のキャッシュメモリを有する複数のＣＰＵを備えた２組
のＣＰＵクラスタ１０、２０と、Ｉ／Ｏクラスタ３０、
４０と、メインメモリ５０とをシステムバス６０で接続
すると共に、ＣＰＵクラスタ１０、２０どうしを、グロ
ーバルキャッシュ９０を挿んでキャッシュバス８０で接
続してある。

【００２７】本実施形態において、グローバルキャッシ
ュ９０及びグローバルキャッシュ９０とＣＰＵクラスタ
１０、２０との接続関係を除く他の構成要素は、図１に
示した第１実施形態によるメモリ共有型マルチプロセッ
サシステムの構成要素と同様であるため、同一の符号を
伏して説明を省略する。

【００２８】グローバルキャッシュ９０は、２方向から
の入出力が可能なデュアルポートメモリであり、ＣＰＵ
クラスタ１０のホストブリッジ１３と、ＣＰＵクラスタ
２０のホストブリッジ２３とから、それぞれ独立してア
ドレスやデータの転送が可能である。すなわち、図１に
示す第１の実施形態は、一方のホストブリッジ１３、２
３がキャッシュバス８０を介してグローバルキャッシュ
７０を使用している間は他方のホストブリッジ２３、１
３はグローバルキャッシュ７０に対する処理を開始でき
ない。これに対し、本実施形態は、グローバルキャッシ
ュ９０の異なるキャッシュラインに対しては、ホストブ
リッジ１３及びホストブリッジ２３が同時にアクセスが
可能である。また、図６に示すように、グローバルキャ
ッシュ９０とホストブリッジ１３、２３とは１対１で接
続するため、データ転送を高速化することができる。

【００２９】

【実施例】次に、第１の実施形態に関して、所定のＣＰ
Ｕが所定のデータを読出す場合と更新する場合における
具体的な実施例を説明する。

【００３０】まず、ＣＰＵ１１１がデータの読出しを行
う場合の動作について説明する。この場合、データが、
自ＣＰＵ１１１のローカルキャッシュ１２１にある場
合、ＣＰＵクラスタ１０のローカルキャッシュ１２１以
外のローカルキャッシュにある場合、ＣＰＵクラスタ２
０のローカルキャッシュにある場合で、大きく動作が異
なる。また、ローカルキャッシュ１２１以外のいずれか
のローカルキャッシュに保持されているデータの内容が
書き換えられている場合にも固有の動作が行われる。

【００３１】ＣＰＵ１１１は、最初に、ローカルキャッ
シュ１２１にアクセスして所望のデータが保持されてい
るかどうかを調べる。ローカルキャッシュ１２１に当該
データが保持されている場合（ヒットした場合）、ロー
カルキャッシュ１２１から当該データを読み出して処理
を終了する。

【００３２】ローカルキャッシュ１２１に当該データが
保持されていない場合（ミスした場合）、ＣＰＵ１１１
は、ホストバス１４を介して当該データのリード要求を
発行する。ＣＰＵクラスタ１０内のＣＰＵ１１２、・・
・、１１ｎは、発行されたリード要求を受け付けると、
該当するデータをローカルキャッシュ１２２、・・・１
２ｎに保持し、かつデータの書き換えが行われていない
かチェックする。ＣＰＵ１１ｉ（ＣＰＵ１１２ないしＣ
ＰＵ１１ｎのうちのいずれか１つのＣＰＵ）がローカル
キャッシュ１２ｉ（ローカルキャッシュ１２２ないしロ
ーカルキャッシュ１２ｎのうちのいずれか１つのローカ
ルキャッシュであって、ＣＰＵ１１ｉに対応するローカ
ルキャッシュ）上で該当データの書き換えを行っていた
場合、ＣＰＵ１１ｉは、書き換え後の当該データをホス
トバス１４を介してＣＰＵ１１１に転送する。

【００３３】ホストブリッジ１３は、ＣＰＵ１１１から
発行されたリード要求を受け付けると、キャッシュバス
８０を介してグローバルキャッシュ７０から該当データ
および対応するタグを読み出す。ＣＰＵクラスタ２０の
ホストブリッジ２３は、キャッシュバス８０を監視し、
ホストブリッジ１３によりグローバルキャッシュ７０か
らタグが読み出された場合に当該タグを受信する。ホス
トブリッジ１３およびホストブリッジ２３は、読み出し
たタグを基に、ヒット／ミスの判定をすると共に、キャ
ッシュラインの状態および存在場所を判別する。

【００３４】判別の結果、当該データのがキャッシュラ
インがクラスタ１０内のローカルキャッシュ１２ｉにお
いてヒットし、当該キャッシュラインの状態が共有状態
か、非保持状態か、あるいは排他状態である場合、ホス
トブリッジ１３は、グローバルキャッシュ７０から読み
出したデータを、ホストバス１４を介してＣＰＵ１１１
に転送する。また、グローバルキャッシュ７０における
当該キャッシュラインに対応するタグを更新する。タグ
の更新は、キャッシュラインの状態が変わる場合は、ス
テート７２２とディレクトリ７２３とを更新し、キャッ
シュラインの状態が変わらない場合は、ディレクトリ７
２３のみを更新する。この場合、当該タグのステート７
２２が共有状態であれば、ステート７２２は更新せず、
ディレクトリ７２３をローカルキャッシュ１２１に当該
データが存在することを示す内容に更新する。当該タグ
のステート７２２が非保持状態であれば、ステート７２
２を排他状態とすると共に、ディレクトリ７２３をロー
カルキャッシュ１２１に当該データが存在することを示
す内容に更新する。当該タグのステート７２２が排他状
態であれば、ステート７２２を共有状態とすると共に、
ディレクトリ７２３をローカルキャッシュ１２１に当該
データが存在することを示す内容に更新する。ただし、
排他状態でＣＰＵ１１ｉにおいてデータの書き換えが行
われていた場合、ホストブリッジ１３は、ＣＰＵ１１１
へのデータの転送を行わず、ＣＰＵ１１ｉからホストバ
ス１４上に転送されたデータを受け取り、グローバルキ
ャッシュ７０の該当データの内容を更新すると共に、必
要に応じてタグを更新する。

【００３５】判別の結果、当該データのキャッシュライ
ンがクラスタ２０内のローカルキャッシュ２２ｊ（ロー
カルキャッシュ２２１ないしローカルキャッシュ２２ｎ
のうちのいずれか１つのローカルキャッシュ）において
ヒットし、排他状態である場合、ホストブリッジ２３
が、ホストバス２４を介してＣＰＵ２１ｊ（ＣＰＵ２１
１ないしＣＰＵ２１ｎのうちのいずれか１つのＣＰＵで
あって、ローカルキャッシュ２２ｊに対応するＣＰＵ）
に当該データのリード要求を行う。ＣＰＵ２１ｊにおい
て該当データの書き換えが行なわれていた場合、ＣＰＵ
２１ｊは、書き換え後のデータをホストバス２４を介し
てホストブリッジ２３に転送する。ホストブリッジ２３
は、ＣＰＵ２１ｊから受け取った当該データを、キャッ
シュバス８０を介してホストブリッジ１３に転送する。
また、グローバルキャッシュ７０のデータメモリ７１に
格納されているデータをＣＰＵ２１ｊで書き換えられた
内容に更新すると共に、タグメモリ７２の対応するタグ
を更新し、ステート７２２を共有状態とする。ホストブ
リッジ１３は、ホストブリッジ２３から転送されたデー
タを、ホストバス１４を介してＣＰＵ１１１に転送す
る。また、グローバルキャッシュ７０の対応するタグの
ディレクトリ７２３を、ローカルキャッシュ１２１に当
該データが存在することを示す内容に更新する。

【００３６】一方、該当データがＣＰＵ２１ｊにおいて
書き換えられていない場合、ＣＰＵ２１ｊは、書き換え
未実施を示す通知をホストブリッジ２３に転送する。ホ
ストブリッジ２３は、ホストブリッジ１３に書き換え未
実施通知を転送する。ホストブリッジ１３は、先にグロ
ーバルキャッシュ７０から読み出したデータを、ホスト
バス１４を介してＣＰＵ１１１に転送する。また、グロ
ーバルキャッシュ７０の対応するタグを更新し、ステー
ト７２２を共有状態とすると共に、ディレクトリ７２３
をローカルキャッシュ１２１に当該データが存在するこ
とを示す内容に更新する。

【００３７】判別の結果、全てのローカルキャッシュ１
２１、１２２、・・・、１２ｎ、２２１、２２２、・・
・、２２ｎにおいてミスした場合、ホストブリッジ１３
は、システムバス６０に当該データのリード要求を発行
し、メインメモリ５０から当該データを読み出す。そし
て、メインメモリ５０から受け取ったデータを、ホスト
バス１４を介してＣＰＵ１１１に転送すると共に、キャ
ッシュバス８０を介してグローバルキャッシュ７０のデ
ータメモリ７１に書き込む。また、タグメモリ７２に、
当該データのキャッシュラインに対応するタグを書き込
む。

【００３８】次に、ＣＰＵ１１１がデータの書き換えを
行う場合の動作について説明する。この場合、データ
が、自ＣＰＵ１１１のローカルキャッシュ１２１にある
場合とローカルキャッシュ１２１以外のローカルキャッ
シュにある場合とで、大きく動作が異なる。また、ロー
カルキャッシュ１２１にあるデータが排他状態で保持さ
れているか共有状態で保持されているかによっても動作
が異なる。

【００３９】ＣＰＵ１１１は、最初に、ローカルキャッ
シュ１２１にアクセスして所望のデータが保持されてい
るかどうかを調べる。当該データがローカルキャッシュ
１２１において排他状態でヒットした場合、ＣＰＵ１１
１は、直ちにローカルキャッシュ１２１のデータを書き
換える。

【００４０】当該データがローカルキャッシュ１２１に
おいて共有状態でヒットした場合、以下の手順で動作が
行われる。まず、ＣＰＵ１１１は、ホストバス１４に対
して、当該データを保持する他のローカルキャッシュ１
２２、・・・、１２ｎの該当データを無効化する要求を
発行する。ＣＰＵクラスタ１０内のＣＰＵ１１２、・・
・、１１ｎは、発行された無効化要求を受け付けると、
ローカルキャッシュ１２２、・・・、１２ｎ上に保持し
ている該当データを無効化する。

【００４１】ホストブリッジ１３は、ＣＰＵ１１１から
発行された無効化要求を受け付けると、キャッシュバス
８０を介してグローバルキャッシュ７０から該当データ
に対応するタグを読み出す。ＣＰＵクラスタ２０のホス
トブリッジ２３は、キャッシュバス８０を監視し、ホス
トブリッジ１３によりグローバルキャッシュ７０からタ
グが読み出された場合に当該タグを受信する。ホストブ
リッジ１３および２３は、読み出したタグを基に、該当
データがクラスタ２０のローカルキャッシュ２２１、２
２２、・・・、２２ｎに保持されているかどうかを判断
する。

【００４２】該当データがクラスタ２０のローカルキャ
ッシュ２２１、２２２、・・・、２２ｎに保持されてい
ない場合、ホストブリッジ１３は、無効化完了通知をホ
ストバス１４を介してＣＰＵ１１１に転送すると共に、
グローバルキャッシュ７０の対応するタグを更新してス
テート７２２を排他状態にする。

【００４３】該当データがクラスタ２０のローカルキャ
ッシュ２２１、２２２、・・・、２２ｎに保持されてい
る場合、ホストブリッジ２３は、ホストバス２４に対し
て該当データの無効化要求を発行する。ＣＰＵ２１１、
２１２、・・・、２１ｎは、発行された無効化要求を受
け付けると、該当するデータをローカルキャッシュ２２
１、２２２、・・・、２２ｎに保持しているかどうか確
認し、保持していれば、該当データを無効化する。ま
た、ホストブリッジ２３は、キャッシュバス８０を介し
てホストブリッジ１３に無効化完了通知を発行し、グロ
ーバルキャッシュ７０のタグを更新してステート７２２
を排他状態にする。ホストブリッジ１３は、ホストブリ
ッジ２３から無効化完了通知を受信すると、当該無効化
完了通知を、ホストバス１４を介してＣＰＵ１１１に転
送する。

【００４４】ＣＰＵ１１１は、ホストブリッジ１３から
の無効化完了通知を受信した後、ローカルキャッシュ１
２１に保持されている当該データを書き換える。

【００４５】当該データがローカルキャッシュ１２１に
保持されていなかった場合、以下の手順で動作が行われ
る。まず、ＣＰＵ１１１は、ホストバス１４に対してリ
ード・無効化要求を発行する。ＣＰＵ１１２、・・・、
１１ｎは、発行されたリード・無効化要求を受け付ける
と、該当するデータをローカルキャッシュ１２２、・・
・１２ｎ上に保持しているかどうか、保持している場合
は当該データの書き換えを行っているかどうかをチェッ
クする。チェックの結果、ローカルキャッシュ１２２、
・・・１２ｎのいずれかにおいて当該データを保持して
いるが、いずれのデータに対しても書き換えが行われて
いない場合、保持されている該当データを無効化する。
ローカルキャッシュ１２２、・・・１２ｎのいずれかに
当該データが保持されており、かついずれかのデータに
対して書き換えが行われている場合、書き換え後のデー
タをホストバス１４を介してＣＰＵ１１１に転送した
後、ローカルキャッシュ１２２、・・・１２ｎに保持さ
れている当該データを無効化する。

【００４６】ホストブリッジ１３は、ＣＰＵ１１１から
発行されたリード・無効化要求を受け付けると、キャッ
シュバス８０を介してグローバルキャッシュ７０から該
当データおよび対応するタグを読み出す。ＣＰＵクラス
タ２０のホストブリッジ２３は、キャッシュバス８０を
監視し、ホストブリッジ１３によりグローバルキャッシ
ュ７０からタグが読み出された場合に当該タグを受信す
る。ホストブリッジ１３およびホストブリッジ２３は、
読み出したタグを基に、ヒット／ミスの判定をすると共
に、キャッシュラインの状態および存在場所を判別す
る。

【００４７】判別の結果、当該データのがキャッシュラ
インがクラスタ１０内のローカルキャッシュ１２ｉにお
いてヒットし、当該キャッシュラインの状態が共有状態
か、非保持状態か、あるいは排他状態である場合、ホス
トブリッジ１３は、グローバルキャッシュ７０から読み
出したデータを、ホストバス１４を介してＣＰＵ１１１
に転送する。また、グローバルキャッシュ７０における
当該キャッシュラインに対応するタグを更新する。タグ
の更新は、キャッシュラインの状態が変わる場合は、ス
テート７２２とディレクトリ７２３とを更新し、キャッ
シュラインの状態が変わらない場合は、ディレクトリ７
２３のみを更新する。この場合、当該タグのステート７
２２が排他状態である場合を除き、ステート７２２を排
他状態とすると共に、ディレクトリ７２３をローカルキ
ャッシュ１２１に当該データが存在することを示す内容
に更新する。当該タグのステート７２２が排他状態の場
合は、ディレクトリ７２３のみをローカルキャッシュ１
２１に当該データが存在することを示す内容に更新す
る。ただし、排他状態でＣＰＵ１１ｉにおいてデータの
書き換えが行われていた場合、ホストブリッジ１３は、
ＣＰＵ１１１へのデータの転送を行わず、ＣＰＵ１１ｉ
からホストバス１４上に転送されたデータを受け取り、
グローバルキャッシュ７０の該当データの内容を更新す
ると共に、必要に応じてタグを更新する。また、共有状
態でクラスタ２０のローカルキャッシュ２２１、２２
２、・・・、２２ｎにも当該データが保持されている場
合、ホストブリッジ２３は、ホストバス２４を介して当
該データを保持しているローカルキャッシュ２２１、２
２２、・・・、２２ｎに対応するＣＰＵ２１１、２１
２、・・・、２１ｎに対して当該データの無効化要求を
発行する。

【００４８】判別の結果、当該データのキャッシュライ
ンがクラスタ２０内のローカルキャッシュ２２ｊにおい
てヒットし、排他状態である場合、ホストブリッジ２３
が、ホストバス２４を介してＣＰＵ２１ｊに当該データ
のリード・無効化要求を行う。ＣＰＵ２１ｊにおいて該
当データの書き換えが行われていた場合、ＣＰＵ２１ｊ
は、書き換え後のデータをホストバス２４を介してホス
トブリッジ２３に転送した後、ローカルキャッシュ２１
ｊに保持されている該当データを無効化する。ホストブ
リッジ２３は、ＣＰＵ２１ｊから受け取った当該データ
を、キャッシュバス８０を介してホストブリッジ１３に
データを転送する。また、グローバルキャッシュ７０の
データメモリ７１に格納されているデータをＣＰＵ２１
ｊで書換えられた内容に更新すると共に、タグメモリ７
２の対応するタグを更新し、ステート７２２を排他状態
とする。ホストブリッジ１３は、ホストブリッジ２３か
ら転送されたデータを、ホストバス１４を介してＣＰＵ
１１１に転送する。また、グローバルキャッシュ７０の
対応するタグのディレクトリ７２３を、ローカルキャッ
シュ１２１に当該データが存在することを示す内容に更
新する。

【００４９】一方、該当データがＣＰＵ２１ｊにおいて
書き換えられていない場合、ＣＰＵ２１ｊは、書き換え
未実施通知をホストブリッジ２３に転送した後、ローカ
ルキャッシュ２２ｊに保持されている当該データを無効
化する。ホストブリッジ２３は、ホストブリッジ１３に
書き換え未実施通知を転送する。ホストブリッジ１３
は、先にグローバルキャッシュ７０から読み出したデー
タを、ホストバス１４を介してＣＰＵ１１１に転送す
る。また、グローバルキャッシュ７０の対応するタグを
更新し、ステート７２２を排他状態とすると共に、ディ
レクトリ７２３をローカルキャッシュ１２１に当該デー
タが存在することを示す内容に更新する。

【００５０】判別の結果、全てのローカルキャッシュ１
２１、１２２、・・・、１２ｎ、２２１、２２２、・・
・、２２ｎにおいてミスした場合、ホストブリッジ１３
は、システムバス６０に当該データのリード要求を発行
し、メインメモリ５０から当該データを読み出す。そし
て、メインメモリ５０から受け取ったデータを、ホスト
バス１４を介してＣＰＵ１１１に転送すると共に、キャ
ッシュバス８０を介してグローバルキャッシュ７０のデ
ータメモリ７１に書き込む。また、タグメモリ７２に、
当該データのキャッシュラインに対応するタグを書き込
む。

【００５１】グローバルキャッシュ７０に所望のデータ
が格納されていなかった場合、すなわちグローバルキャ
ッシュ７０においてミスした場合、グローバルキャッシ
ュ７０から読み出したキャッシュラインが共有状態であ
れば、各ＣＰＵクラスタ１０、２０のホストブリッジ１
３、２３は、ホストバス１４、２４に対して該当データ
の無効化要求を発行する。読み出したキャッシュライン
が排他状態であれば、ホストブリッジ１３、２３は、ホ
ストバス１４、２４に対して該当データのリード・無効
化要求を発行する。ＣＰＵ１１ｉ、２１ｊは、リード・
無効化要求を受信すると、書き換え後のデータもしくは
書き込み未実施通知をホストブリッジ１３、２３に転送
した後、ローカルキャッシュ１２ｉ、２２ｊに保持され
ている該当データを無効化する。また、グローバルキャ
ッシュ７０から読み出したキャッシュラインが変更状態
であれば、ホストブリッジ１３、２３は、該当データを
システムバス６０を介してメインメモリ５０に書き戻
す。ただし、読み出したキャッシュラインが排他状態で
あり、かつＣＰＵ１１ｉ、２１ｊから書き換え後のデー
タを転送された場合は、受け取ったデータをメインメモ
リ５０に書き戻す。

【００５２】したがって、ローカルキャッシュ１２１、
１２２、・・・、１２ｎ、２２１，２２２、・・・、２
２ｎは、常に、グローバルキャッシュ７０のサブセット
となる。すなわち、ローカルキャッシュ１２１、１２
２、・・・、１２ｎ、２２１、２２２、・・・、２２ｎ
上に存在するキャッシュラインは、必ずグローバルキャ
ッシュ７０上に存在することになる。

【００５３】以上好ましい実施例をあげて本発明を説明
したが、本発明は必ずしも上記実施例に限定されるもの
ではない。

【００５４】

【発明の効果】以上説明したように、本発明のメモリ共
有型マルチプロセッサシステムによれば、ライトバック
方式のキャッシュメモリを有する複数のＣＰＵで構成さ
れる２個のＣＰＵクラスタを、高速なキャッシュバスで
接続すると共に、グローバルキャッシュを用いて各ＣＰ
Ｕのキャッシュメモリの状態を管理することにより、キ
ャッシュメモリのコヒーレンシ制御およびＣＰＵクラス
タ間のデータ転送にシステムバスを使用する必要が無く
なるため、システムバスの使用効率を向上させることが
でき、これにより、システム全体の処理効率の低下を防
止することができるという効果がある。

【００５５】また、本発明によれば、グローバルキャッ
シュからタグを読み出した時点で、他のクラスタ内のロ
ーカルキャッシュに所望のキャッシュラインが存在する
かどうかを判断すると共に、存在する場合に当該データ
の書き換えが行われているかどうかを推測すること、及
びＣＰＵクラスタ間及びＣＰＵクラスタとグローバルキ
ャッシュとの間のデータ転送を高速なキャッシュバスを
用いて行うことにより、レイテンシを向上させるため、
キャッシュミスが生じた場合や複数のキャッシュメモリ
に共有されているデータを更新しようとする場合に、ペ
ナルティが少なくなるという効果がある。

【図面の簡単な説明】

【図１】 本発明の第１の実施形態によるメモリ共有型
マルチプロセッサシステムの構成を示すブロック図であ
る。

【図２】 本実施形態におけるＣＰＵクラスタの構成を
示すブロック図である。

【図３】 本実施形態におけるグローバルキャッシュの
構成を示すブロック図である。

【図４】 本実施形態におけるＩ／Ｏクラスタの構成を
示すブロック図である。

【図５】 本実施形態において用いられるタグの構成を
示す図である。

【図６】 本発明の第２の実施形態によるメモリ共有型
マルチプロセッサシステムの構成を示すブロック図であ
る。

【図７】 従来のメモリ共有型マルチプロセッサシステ
ムの構成を示すブロック図である。

【図８】 従来のＣＰＵクラスタの構成を示すブロック
図である。

【符号の説明】

１０、２０ ＣＰＵクラスタ １３ ホストブリッジ １４ ホストバス ３０、４０ Ｉ／Ｏクラスタ ５０ メインメモリ ６０ システムバス ７０、９０ グローバルキャッシュ ８０ キャッシュバス １１１、１１２、・・・、１１ｎ ＣＰＵ ２１１、２１２、・・・、２１ｎ ＣＰＵ １２１、１２２、・・・、１２ｎ ローカルキャッシ
ュ ２２１、２２２、・・・、２２ｎ ローカルキャッシ
ュ

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平５−35697（ＪＰ，Ａ) 特開 平８−235061（ＪＰ，Ａ) 特開 平９−44401（ＪＰ，Ａ) 特開 昭58−123151（ＪＰ，Ａ) 特開 平２−58153（ＪＰ，Ａ) 特開 平４−3241（ＪＰ，Ａ) Ｓｔｅｎｓｔｒｏｍ Ｐ．，Ａ Ｓｕ ｒｖｅｙ ｏｆ Ｃａｃｈｅ Ｃｏｈｅ ｒｅｎｃｅ Ｓｃｈｅｍｅｓ ｆｏｒ Ｍｕｌｔｉｐｒｏｃｅｓｓｏｒｓ，ＩＥ ＥＥ ＣＯＭＰＵＴＥＲ，米国，ＩＥＥ Ｅ，1990年 ６月，Ｖｏｌ．23，Ｎｏ. ６，ｐ．12−24 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 12/08 G06F 15/16 - 15/177

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 ライトバック方式のキャッシュメモリを
   備えた複数のＣＰＵを用いて構成されたメモリ共有型マ
   ルチプロセッサシステムにおいて、 前記複数のＣＰＵと、各ＣＰＵに個別に接続された複数
   のライトバック方式のローカルキャッシュメモリと、該
   ローカルキャッシュメモリ間のコヒーレンシ制御を行う
   ブリッジ手段とを備えた２個のＣＰＵクラスタと、 前記ＣＰＵクラスタの前記ローカルキャッシュメモリに
   おけるデータの状態を管理するグローバルキャッシュメ
   モリと、 前記ＣＰＵクラスタに対してシステムバスを介して接続
   されたメインメモリとを備え、 前記２個のＣＰＵクラスタと前記グローバルキャッシュ
   メモリとが前記システムバスよりも高速なキャッシュバ
   スを介して接続され、 前記ＣＰＵクラスタが他方のＣＰＵクラスタの前記ロー
   カルキャッシュに格納されているデータにアクセスする
   場合、前記グローバルキャッシュメモリにおける前記ロ
   ーカルキャッシュメモリのデータの状態を判別すること
   により、他方のＣＰＵクラスタへのアクセス要求に対す
   る応答を待つことなく、前記グローバルキャッシュメモ
   リに格納されているデータを利用すること を特徴とする
   メモリ共有型マルチプロセッサシステム。
2. 【請求項２】 前記グローバルキャッシュメモリが、 前記ＣＰＵクラスタのいずれかの前記ＣＰＵにより前記
   メインメモリから読出されたデータを格納すると共に、 前記ＣＰＵクラスタの前記ローカルキャッシュメモリに
   おけるデータの格納状態を示すタグデータを保持し、 前記ＣＰＵクラスタの前記ブリッジ手段が、 前記キャッシュバスを介して前記グローバルキャッシュ
   メモリにアクセスし、前記ＣＰＵクラスタの前記ローカ
   ルキャッシュメモリに格納されたデータの内容と、前記
   グローバルキャッシュメモリに格納されたデータの内容
   とを常に一致させるように制御することを特徴とする請
   求項１に記載のメモリ共有型マルチプロセッサシステ
   ム。
3. 【請求項３】 前記グローバルキャッシュメモリにて保
   持される前記タグデータが、前記ローカルキャッシュメ
   モリにおけるデータの格納状態として、少なくとも、デ
   ータが無効であることを示す無効状態と、同一データが
   複数の前記ローカルキャッシュメモリに保持されている
   ことを示す共有状態と、データが唯一つの前記ローカル
   キャッシュメモリに保持されていることを示す排他状態
   と、データがいずれの前記ローカルキャッシュメモリに
   も保持されていないことを示す非保持状態の４つの状態
   を区別して示すことを特徴とする請求項２に記載のメモ
   リ共有型マルチプロセッサシステム。
4. 【請求項４】 前記グローバルキャッシュメモリにて保
   持される前記タグデータが、前記グローバルキャッシュ
   メモリに格納されているデータごとに設定され、対応デ
   ータの前記ローカルキャッシュメモリにおける格納状態
   を示すステート情報と、対応データが格納されている前
   記ローカルキャッシュメモリを特定するディレクトリ情
   報とを含み、 前記ステート情報が、前記ローカルキャッシュメモリに
   おける対応データの格納状態として、少なくとも、デー
   タが無効であることを示す無効状態と、データが複数の
   前記ローカルキャッシュメモリに保持されていることを
   示す共有状態と、データが唯一つの前記ローカルキャッ
   シュメモリに保持されていることを示す排他状態と、デ
   ータがいずれの前記ローカルキャッシュメモリにも保持
   されていないことを示す非保持状態の４つの状態を区別
   して示し、 前記ディレクトリ情報が、前記２個のＣＰＵクラスタに
   搭載される全ての前記ローカルキャッシュメモリに関し
   て、対応データを保持しているかどうかを示すことを特
   徴とする請求項２に記載のメモリ共有型マルチプロセッ
   サシステム。
5. 【請求項５】 前記ステート情報が、前記ローカルキャ
   ッシュメモリに保持されたデータが該データを保持する
   前記ローカルキャッシュメモリに接続した前記ＣＰＵに
   より更新されたかどうかを示す情報をさらに含むことを
   特徴とする請求項４に記載のメモリ共有型マルチプロセ
   ッサシステム。
6. 【請求項６】 前記グローバルキャッシュメモリが、２
   方向からの入出力が可能なデュアルポートメモリであ
   り、前記各ＣＰＵクラスタに対して独立に接続され、前
   記各ＣＰＵクラスタの前記ブリッジ手段から独立にアク
   セスすることを許容することを特徴とする請求項１ない
   し請求項５に記載のメモリ共有型マルチプロセッサシス
   テム。