JPH0816474A - マルチプロセッサシステム - Google Patents

Abstract

(57)【要約】 【目的】本発明の目的は、大規模なマルチプロセッサシ
ステムにおいて、少量のハードで高速且つプロセッサ間
の通信量を低減可能なキャッシュ一致保証方式を提供す
ることにある。 【構成】大規模マルチプロセッサを複数のクラスタ（複
数のプロセッサ及びローカルメモリからなるグループ）
に分割し、各クラスタ毎にエクスポートディレクトリを
設けた。エクスポートディレクトリは、担当クラスタ内
のローカルメモリのデータの内、外部のクラスタのキャ
ッシュメモリに登録されたデータの識別子を登録するセ
ットアソシアティブ型のディレクトリである。小容量の
エクスポートディレクトリを検索することによって、ク
ラスタ全てを対象にキャッシュ一致保証すべきか、クラ
スタ内のキャッシュ一致保証だけで良いのかを即座に判
定する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、マルチプロセッサシス
テムに係り、特に、キャッシュメモリ内容の一致化を高
速に実行するものに関する。

【０００２】

【従来の技術】従来、マルチプロセッサシステムにおい
ては、キャッシュメモリ内容の一致化を行う必要があ
る。例えば、特開平4−239351 号公報記載のものは、マ
ルチプロセッサシステム全体において、キャッシュメモ
リの一致処理のための共通する管理テーブルメモリを持
つ構成となり、全てのマルチプロセッサのキャッシュメ
モリを管理する情報をテーブルメモリに持っている。

【０００３】

【発明が解決しようとする課題】近年、数十台から数千
台のプロセッサを効率良く動作させるスケーラブルなマ
ルチプロセッサシステムが要求される場合には、全体に
おいて共通するキャッシュメモリの一致処理のための管
理テーブルメモリを持つ構成では、この管理テーブルメ
モリを検索する時間が膨大となり、処理の高速化の妨げ
となっていた。

【０００４】本発明の目的は、キャッシュメモリの一致
保証をより高速に実行できるマルチプロセッサシステム
を提供することにある。

【０００５】

【課題を解決するための手段】上記目的を達成するため
の本発明の特徴は、それぞれキャッシュメモリを有する
複数のプロセッサと、該複数のプロセッサのそれぞれに
接続されたローカルメモリと、前記複数のプロセッサ及
び前記ローカルメモリに接続された通信制御装置とを含
むクラスタを複数具備し、該クラスタが互いに前記通信
制御装置を介して接続されたマルチプロセッサシステム
において、前記通信制御装置は、自クラスタの前記ロー
カルメモリのデータのうち、他クラスタの前記キャッシ
ュメモリに登録されたデータに関する情報を記憶する記
憶手段を有し、該記憶手段に基づきキャッシュメモリ内
容を一致化すべき範囲を判定するキャッシュメモリ内容
一致化範囲判定手段を有することにある。

【０００６】さらに具体的にいえば、大規模マルチプロ
セッサを複数のクラスタ（複数のプロセッサ及び主メモ
リからなるグループ）に分割し、各クラスタ毎にエクス
ポートディレクトリを設けることによって達成される。
クラスタ内は、少なくとも１つのプロセッサと、少なく
とも１つの主メモリを含み、クラスタ内プロセッサのキ
ャッシュメモリはバススヌープなどのキャッシュ一致保
証機能により一貫性を保証する。エクスポートディレク
トリは、各クラスタ毎に設けられ、担当クラスタのデー
タの内、外部のクラスタのキャッシュメモリに登録され
たデータの識別子を登録するセットアソシアティブ型の
ディレクトリである。エクスポートディレクトリの各エ
ントリは、外部のクラスタに登録されたデータの物理ア
ドレス及びその状態を示す状態ビットを有する。状態ビ
ットは、Shared, Dirty, Invalidの３つの状態を示す。
Sharedは、該当データが外部のクラスタに登録されてい
るが、変更はされていないことを示す。Dirty は、該当
データが外部のデータに登録され且つ内容が変更されて
いることを示す。Invalid は、該当エントリが無効であ
ることを示す。

【０００７】また、エクスポートディレクトリのオーバ
ーフロー制御手段は、前記エクスポートディレクトリが
オーバーフローを起こしたときに、追い出されたエント
リに対応したデータをシステム内の全てのキャッシュメ
モリから無効化する手段を有する。

【０００８】

【作用】あるクラスタに属する主メモリに対し、クラス
タ外から読みだしがあると、対象データのアドレスが、
クラスタのエクスポートディレクトリに登録される。こ
のとき、クラスタ外からのアクセスの種類によって、登
録されたエントリの状態が決定される。すなわち、参照
のみであればShared状態として登録され、更新のための
読みだしであればDirty 状態で登録される。クラスタ外
にエクスポートされたデータが無効化された場合、ある
いは該データがキャッシュメモリから追い出されてホー
ムのクラスタに書き戻される時に、エクスポートディレ
クトリ内の該当エントリが無効化される。

【０００９】あるプロセッサがメモリアクセス要求を発
行すると、該プロセッサが属するクラスタ内でキャッシ
ュ一致保証処理が行われる。この時、同時に該クラスタ
のエクスポートディレクトリが検索され、対象データが
クラスタ外のキャッシュに登録されているかどうか検証
される。その結果、対象データがクラスタ外に登録され
ていなければ、クラスタ内のキャッシュ一致保証のみ実
行すればよい。一方、対象データがクラスタ外に登録さ
れており、その状態がキャッシュ一致保証を必要とする
場合は、全てのクラスタにメモリアドレスをブロードキ
ャストしキャッシュ一致保証処理を実施する。キャッシ
ュ一致保証の結果、必要であればクラスタ間でキャッシ
ュ間データ転送を行う。

【００１０】エクスポートディレクトリがオーバーフロ
ーした場合、追い出されたエントリのアドレスが、前記
オーバーフロー制御手段に送られる。オーバーフロー制
御手段は、該当アドレスを全ての外部クラスタにブロー
ドキャストし、対応するデータを無効化する。

【００１１】このようにすれば、エクスポートディレク
トリの情報によってキャッシュ一致保証すべき範囲を限
定することができる。特に大規模なマルチプロセッサシ
ステムでは、キャッシュ一致保証の範囲を限定できれ
ば、システム内の全てのキャッシュを対象にキャッシュ
一致保証する必要がなく、キャッシュ一致保証制御の遅
延を大幅に改善できる。また、メモリ読みだし／書き込
みごとにシステム内の全てのプロセッサにブロードキャ
ストする必要もなく、プロセッサ間の通信量を大幅に低
減することが可能になる。

【００１２】

【実施例】図１は、本発明が適用される計算機システム
の全体構成を示している。本構成では、キャッシュメモ
リ２５０を有する複数のプロセッサ２００が、ローカル
バス１６００を介してプロセッサメモリインターフェー
ス装置３００に接続される。また、エクスポートディレ
クトリ６００を有するクラスタ通信制御装置５００もロ
ーカルバス１６００を介してプロセッサメモリインター
フェース装置３００に接続される。プロセッサメモリイ
ンターフェース装置３００には、ローカルメモリバス１
７００を介してローカルメモリ４００が接続される。こ
れら、複数のプロセッサ２００，キャッシュメモリ２５
０，プロセッサメモリインターフェース装置３００，ロ
ーカルメモリ４００，クラスタ通信制御装置５００及び
エクスポートディレクトリ６００が集合体としてクラス
タ１００と呼ばれる。エクスポートディレクトリ６００
には、クラスタ１００内のローカルメモリ４００のデー
タが、クラスタ外のキャッシュ２５０に登録されたとき
に該データのアドレスが登録される。エクスポートディ
レクトリ６００によって、システム全体のキャッシュ一
致保証をすべきかどうかの判定が可能になり、キャッシ
ュ一致保証の高速化が可能になる。

【００１３】複数のクラスタ１００は、クラスタ通信制
御装置５００を介してクラスタバス２２００に接続さ
れ、全体として大規模マルチプロセッサを構成する。ま
た、各クラスタ１００は入出力バス２１００を介して入
出力制御装置７００，ネットワーク制御装置８００，フ
ァイル制御装置９００，グラフィックス制御装置1000に
接続される。ファイル制御装置９００は、固定ディスク
装置１３００とローカルメモリ４００との間のデータ転
送を制御する。ネットワーク制御装置８００は、ＦＤＤ
Ｉ，Ethernetといったネットワークとローカルメモリ４
００との間のデータ転送を制御する。グラフィックス制
御装置１００は表示用フレームメモリ1410とローカルメ
モリ４００間のデータ転送を制御する。転送されたデー
タは、グラフィックス制御装置１０００により表示装置
１４００に表示される。また、Ｉ／Ｏ制御装置７００は
フロッピーディスク装置１１００やプリンタ装置１２０
０と、ローカルメモリ４００間のデータ転送を制御す
る。各Ｉ／Ｏ制御装置は、DMA（Direct Memory Acces
s）機能を持つ。ＤＭＡ機能により各Ｉ／Ｏ装置はプロ
セッサ２００に負荷をかけることなく、Ｉ／Ｏバス２１
００を介してローカルメモリ４００間でデータの転送が
可能である。

【００１４】プロセッサ２００からメモリ空間へのアク
セス要求は、ローカルバス１６００を介して一旦プロセ
ッサメモリインターフェース装置３００に及びクラスタ
通信制御装置５００に受け付けられる。プロセッサメモ
リインターフェース装置300及びクラスタ通信制御装置
５００では受け付けたアクセスのアドレスからアクセス
先を判定する。自クラスタ内のローカルメモリ４００へ
のアクセスであれば、プロセッサメモリインターフェー
ス装置３００がこれを識別しローカルメモリ４００への
書き込み／読みだしを実行する。一方、プロセッサ２０
０から他クラスタのローカルメモリ４００へのアクセス
であれば、クラスタ通信制御装置500がこれを識別しク
ラスタ間バス２２００を介して他クラスタのクラスタ通
信制御装置５００にアクセス要求を転送する。他クラス
タのクラスタ通信制御装置500はこれを受けてクラスタ
内のプロセッサメモリインターフェース装置３００にア
クセスを転送する。他クラスタのプロセッサメモリイン
ターフェース装置３００はローカルメモリ４００への書
き込み／読みだしを実行する。

【００１５】プロセッサ２００からＩ／Ｏ装置へのアク
セス要求（以下プロセッサによるＩ／Ｏ直接アクセスと
呼ぶ）であれば、ローカルバス１６００を介して一旦プ
ロセッサメモリインターフェース装置３００に受け付け
られる。プロセッサメモリインターフェース装置３００
はアクセスのアドレスを分析し、Ｉ／Ｏ空間へのアクセ
スであればＩ／Ｏバス２１００上にアクセス要求を発行
する。各Ｉ／Ｏ装置７００，８００，９００，１０００
は、Ｉ／Ｏバス２１００上のアクセス要求を受け付け、
そのアドレスから自装置へのアクセスかどうかを検証す
る。自装置へのアクセス要求であれば要求された処理
(レジスタの設定，Ｉ／Ｏ装置の制御等)を実施する。

【００１６】図２は、プロセッサ２００からみたシステ
ム全体のローカルメモリ４００のアドレス割当ての一例
を示している。各クラスタ１００のメーカルメモリ４０
０に対して順次アドレスを割当てる。あるプロセッサ２
００から全てのメモリに対してアクセスが可能である。
アドレス割当は、ここで示した割当に限らず、他の割当
も可能である。例えば、各クラスタ１００内のローカル
メモリをバンクとみなし、あるまとまったデータ単位
（例えば３２バイト）でインターリーブ動作させるメモ
リ割当も可能である。これらの実メモリ空間の割当て情
報は、各クラスタ１００内のプロセッサメモリインター
フェース３００及びクラスタ通信制御装置５００内のレ
ジスタに設定される。

【００１７】図３は、プロセッサ２００及びキャッシュ
メモリ２５０の構成を示している。命令フェッチユニッ
ト２０１はプログラムの実行に必要な命令をローカルメ
モリ４００から読み出す。読み出された命令は命令実行
ユニット２０２に転送される。命令実行ユニット２０２
は、命令の意味を解釈し、命令実行に必要なデータをロ
ーカルメモリ４００から読みだし演算を実行する。命令
キャッシュメモリ251は、ローカルメモリ４００上にあ
る命令の一部を複写して保持する高速メモリである。命
令フェッチユニット２０１が要求する命令が命令キャッ
シュメモリ251内に存在すれば、ローカルメモリ４００
にアクセスすることなく即座に命令を読み出すことがで
きる。要求する命令がキャッシュメモリに存在しない場
合、命令キャッシュメモリ２５１は、命令キャッシュ制
御部２１０を介してローカルメモリ４００にデータを要
求する。命令キャッシュ制御部２１０は、命令キャッシ
ュメモリ２５１からのローカルメモリアクセスを受け付
け、ローカルバス１６００を経由してプロセッサメモリ
インターフェース３００及びクラスタ通信制御装置５０
０にアクセスを送る。プロセッサメモリインターフェー
ス３００あるいはクラスタ通信制御装置５００から、応
答データが返送されてくると、これを命令キャッシュメ
モリ２５１に登録する。

【００１８】データキャッシュメモリ２５２は、ローカ
ルメモリ４００のデータの一部を保持する高速メモリで
ある。命令実行ユニット２０２が要求するデータがキャ
ッシュメモリ２５２内に存在すれば、ローカルメモリ４
００にアクセスすることなく即座にデータを提供するこ
とができる。要求するデータがキャッシュメモリに存在
しない場合、データキャッシュメモリ２５２は、データ
キャッシュ制御部212を介してローカルメモリ４００に
データを要求する。データキャッシュメモリ２５２とロ
ーカルメモリ４００との間のデータ転送は、一般に３２
バイトから１２８バイト程度のラインを転送単位とする
ことによりキャッシュメモリのヒット率の向上を計って
いる。

【００１９】本実施例におけるデータキャッシュメモリ
２５２では、ストアイン方式により命令実行ユニット２
０２からの主メモリ書き込み処理を高速化している。ス
トアイン方式では、書き込み対象となるデータがデータ
キャッシュメモリ２５２上に存在しかつそのデータのコ
ピーが他のキャッシュメモリに存在しなければ、データ
キャッシュメモリにのみ書き込みを行い、ローカルメモ
リ４００には書き込みを行わない。書き込みが行われた
データキャッシュ内のラインをダーティラインと呼ぶ。
ダーティラインは、データキャッシュメモリ２５２が溢
れたときにローカルメモリ４００に書き戻される。デー
タキャッシュ制御部２１２は、命令キャッシュ制御部２
１０とほぼ同等な動作となるので詳細説明は省略する。

【００２０】データキャッシュメモリ２５２に登録され
たラインはInvalid, Shared,Exclusive, Dirtyの４つの
状態を持つ。Invalid は無効状態、Sharedは他のキャッ
シュメモリに同じラインのコピーが存在することを示
す。Exclusive は、該当ラインが自キャッシュのみに存
在し、且つ内容の変更が行われていない状態を示す。Di
rty は、該当ラインが自キャッシュのみに存在し、且つ
内容の変更が行われていることを示す。データキャッシ
ュメモリ２５２を操作する命令として、キャッシュフラ
ッシュ命令とキャッシュパージ命令などが設けられる。
キャッシュフラッシュ命令が発行されると、対象のライ
ンがDirty 状態であれば、該データが主メモリに書き戻
された後無効化される。Dirty 以外の状態では無効化の
みが行われる。一方キャッシュパージ命令が発行される
と、対象ラインの状態にかかわらず無効化が行われる。

【００２１】バスモニター及びキャッシュ一致保証制御
部２１１は、プロセッサ間でキャッシュ一致保証を行う
機構である。自プロセッサがキャッシュ一致保証処理を
必要とするトランザクションを発行したとき、あるいは
ローカルバス１６００上にキャッシュ一致保証の対象と
なるトランザクションが発行されたときに起動される。
自プロセッサがトランザクションを発行したときは、信
号線１６０２によって他プロセッサのキャッシュ一致保
証結果を取り込み、データキャッシュメモリ２５２に登
録するラインの状態を決定する。また、ローカルバス１
６００上にトランザクションを検出した場合には、バス
モニター及びキャッシュ一致保証制御部２１１は、この
トランザクションを取り込みデータキャッシュメモリ２
５２を検索し、該当するラインが存在するかどうか、あ
るいは該当ラインがダーティラインかどうかを判定す
る。そしてキャッシュ一致保証の結果を信号線１６０３
によって他プロセッサに報告するとともに、トランザク
ションの要求にしたがって、該当するダーティラインを
アクセス要求元に転送したり、該当するラインを無効化
したりする。

【００２２】図４は、プロセッサメモリインターフェー
ス装置３００の内部構成を示している。ローカルバス受
信部３５１はプロセッサ２００からのアクセス要求を受
け付ける制御を行う。ローカル／リモートメモリ制御部
３３０は、ローカルバス受信部３５１から受け取ったア
クセスのアドレスから、アクセス先が自クラスタ内ロー
カルメモリ４００か、他クラスタのローカルメモリかを
判定する。自クラスタのローカルメモリ４００へのアク
セスであれば、バス２０１１を介してローカルメモリ起
動制御部３７０にアクセス要求を転送する。また、アク
セス先が他クラスタ内ローカルメモリ４００であれば処
理を行わない。またアクセス先がＩ／Ｏ装置であれば、
バス２０１０を介してＩ／Ｏバス送信制御部３８０にア
クセスを送る。ローカルバス送信部３５２は、ローカル
メモリ受信制御部３７１からバス２０１５を介して送ら
れてくるローカルメモリ４００の読みだしデータを受け
取り、ローカルバス１６００を介して要求元プロセッサ
にデータを転送する。またＩ／Ｏバス受信制御部３８２
からバス２０１３を介して送られてくるＩ／Ｏ装置から
の読みだしデータを受け取り、ローカルバス１６００を
介して要求元プロセッサにデータを転送する。

【００２３】ローカルバスキャッシュ一致保証監視装置
３５０は、クラスタ内のプロセッサ２００に内蔵された
キャッシュメモリ２５０を対象に、キャッシュメモリ一
致保証の結果を監視する機構である。ローカルバス１６
００上にキャッシュ一致保証の対象となるトランザクシ
ョンが発行され、該トランザクションが自クラスタ内の
ローカルメモリ４００を対象とするものであればキャッ
シュメモリ一致保証の監視が開始される。ローカルバス
１６００に接続された全てのプロセッサ２００及びクラ
スタ通信制御装置５００からのキャッシュ一致保証の検
証結果を信号線１６０３から受け取り、対応した処理を
行う。例えば、キャッシュ間データ転送が行われる場合
は、ローカルメモリ４００の読みだしをキャンセルし、
且つキャッシュ間で転送されているデータを取り込んで
ローカルメモリ４００に書き込むといった処理を行う。

【００２４】図５は、クラスタ通信制御装置５００の内
部構成、及びエクスポートメモリ６００の構成を示して
いる。クラスタ通信制御装置５００は、ローカルバス16
00及びクラスタバス２２００に接続され、クラスタ１０
０間の通信を制御する。ローカルバス受信部５０６はロ
ーカルバス１６００からのトランザクションを受け付け
る制御を行う。受け付けるトランザクションとしては、
自クラスタ内プロセッサ２００からのアクセス要求及
び、自クラスタ内ローカルメモリからの応答データがあ
る。プロセッサ２００からのアクセス要求の場合は、ロ
ーカル／リモートメモリ制御部５０７がローカルバス受
信部５０６から受け取ったアクセスのアドレスから、ア
クセス先が自クラスタ内ローカルメモリ４００か、他ク
ラスタのローカルメモリかを判定する。他クラスタのロ
ーカルメモリ４００へのアクセスであれば、バス５１１
を介してクラスタバス送信制御部５０３にアクセス要求
を転送する。一方、アクセス先が自クラスタ内ローカル
メモリ４００であれば他クラスタのローカルメモリの読
みだし処理は行わない。

【００２５】ローカルバス送信制御部５０４は、他クラ
スタのプロセッサ２００から発行されたアクセス要求
や、他クラスタのローカルメモリ４００から返送されて
きたデータをローカルバス１６００に転送する制御を行
う。また、他クラスタからの読み出しアクセスで、自ク
ラスタ内のデータをクラスタ外に送出するときには、バ
ス５１５を経由して該データのアドレスをエクスポート
ディレクトリ６００に登録する。ローカルバスキャッシ
ュ一致保証監視装置５０５は、クラスタ内のプロセッサ
２００に内蔵されたキャッシュメモリ２５０を対象に、
キャッシュメモリ一致保証の結果を監視する機構であ
る。ローカルバス送信制御部５０４が他クラスタからの
アクセス要求でキャッシュ一致保証を必要とするトラン
ザクションをローカルバス１６００に送出したとき、あ
るいはローカルバス１６００上にキャッシュ一致保証の
対象となるトランザクションが発行されたときに起動さ
れる。ローカルバス送信制御部５０４がトランザクショ
ンを発行したときは、信号線１６０２によってクラスタ
内の他プロセッサのキャッシュ一致保証結果を取り込
み、その結果をクラスタバスキャッシュ一致保証制御監
視装置５０２に送る。また、キャッシュ一致保証の結果
キャッシュ間データ転送が発生する場合は、他プロセッ
サ２００のキャッシュメモリ２５０から送られてきたデ
ータをローカルバス受信制御部５０６で受けて、クラス
タバス送信制御部５０３に送る。一方、ローカルバス１
６００上にキャッシュ一致保証を必要とするトランザク
ションを検出した場合、ローカルバスキャッシュ一致保
証監視装置５０５は、このトランザクションを取り込み
バス５１６を介してエクスポートディレクトリ６００を
検索し、クラスタ間でのキャッシュ一致保証が必要かど
うか判定する。自クラスタ内でキャッシュ一致保証が閉
じる場合は、信号線１６０３によってキャッシュ一致保
証の結果を報告する。一方、クラスタ間でキャッシュ一
致保証が必要な場合は、信号線５１３によりクラスタバ
スキャッシュ一致保証監視装置５０２を起動する。

【００２６】クラスタバス受信制御部５０１は、他クラ
スタのプロセッサ２００からのアクセス要求あるいは、
他クラスタのローカルメモリ４００からの応答データを
受け付け、バス５１０を介してローカルバス送信制御部
５０４に送る。クラスタバス送信制御部５０３は、ロー
カルバス受信制御部５０６から受け取った外部クラスタ
へのアクセス要求や、外部クラスタへの応答データをク
ラスタバス２２００に送出する。クラスタバスキャッシ
ュ一致保証監視装置５０２は、ローカルバスキャッシュ
一致保証監視装置５０５からクラスタ間キャッシュ一致
保証要求を受けた場合、あるいはクラスタバス２２００
上にキャッシュ一致保証の対象となるトランザクション
が発行されたときに起動される。クラスタ間キャッシュ
一致保証を要求された場合は、該アクセスのアドレスを
クラスタバス２２００にブロードキャストし全クラスタ
１００のキャッシュ一致保証の終了を待つ。クラスタ間
キャッシュ一致保証が終了するとその結果を信号線２２
０３によって受け取り、ローカルバスキャッシュ一致保
証監視装置５０５に報告する。この時クラスタ間でキャ
ッシュ間データ転送が必要な場合は、他クラスタから送
られてきたデータをクラスタ受信制御部５０１が受け取
りローカルバス送信制御部５０４に転送する。一方、ク
ラスタバス２２００上にキャッシュ一致保証の対象とな
るトランザクションの発行を検出したときには、該トラ
ンザクションをクラスタバス受信制御部５０１に取り込
み、ローカルバス送信制御部５０４を経由してクラスタ
内のローカルバス１６００にブロードキャストし、ロー
カルバスのキャッシュ一致保証を行う。その結果をロー
カルバスキャッシュ一致保証監視装置５０５から受け取
り、信号線２２０２によりキャッシュ一致保証の結果を
報告する。

【００２７】次に、図５を用いてエクスポートディレク
トリ６００の構成を説明する。エクスポートディレクト
リ６００は、並列に検索される複数のセットから構成さ
れうる。本実施例では４つのセットから構成される。各
セットは複数のエントリから成り、各エントリは物理ア
ドレス部６０１，ダーティビット部６０２，有効ビット
部６０３から構成される。自クラスタ内のデータがクラ
スタ外のキャッシュメモリに登録される時に、該データ
に対応したアドレスがエクスポートディレクトリ６００
に登録される。他クラスタからの読みだし要求は、クラ
スタバス受信制御部５０１を経由しバス５１５を経て、
エクスポートディレクトリアドレスレジスタ５２０に登
録される。エクスポートディレクトリアドレスレジスタ
５２０は、インデクス部５２２と比較タグ部５２１から
成る。エクスポートディレクトリ制御装置５０８は、イ
ンデクス部５２２によってエクスポートディレクトリ60
0のエントリを指定し、比較タグ部５２１を物理アドレ
ス部６０１に登録する。この時、トランザクションの種
類によってダーティビット６０２が決定される。すなわ
ち、他クラスタから受け付けたデータ読みだしトランザ
クションが、参照のみを目的とするのであればダーティ
ビットはオフ即ちShared状態となる。一方、該トランザ
クションが読みだした後変更する目的であればダーティ
ビットはオン即ちDirty 状態となる。

【００２８】新しいエントリを登録するときに、対象と
なる各セットのエントリが全て利用されている場合に
は、最も利用されていないエントリが追い出される。追
い出されたエントリはセレクタ５２４で選択されビクテ
ィムバッファ５２６にそのアドレスがセットされる。エ
クスポートディレクトリ制御装置５０８は、ビクティム
バッファ５２６のアドレスをバス５１２，クラスタバス
送信制御部５０３を経由してシステム内の全てのクラス
タにブロードキャストし対応するデータを無効化する。

【００２９】エクスポートディレクトリ６００は、自ク
ラスタ内でキャッシュ一致保証を必要とするトランザク
ションが発行されたときに、クラスタ間即ち、システム
全体を対象にキャッシュ一致保証すべきかどうかの判定
に利用される。この場合、自クラスタ内で発行されたト
ランザクションは、ローカルバスキャッシュ一致保証監
視装置５０５及びローカルバス受信制御部５０６によっ
てスヌープされる。スヌープされたトランザクションの
アドレスはバス５１１，５１６を経由してエクスポート
ディレクトリアドレスレジスタ５２０に登録される。エ
クスポートディレクトリ制御装置５０８は、インデクス
部５２２によってエクスポートディレクトリ６００のエ
ントリを指定し、各セットから読み出された物理アドレ
ス部601と、エクスポートディレクトリアドレスレジス
タ５２０の比較タグ部５２１を比較器５２３によって比
較しその結果をローカルバスキャッシュ一致保証監視装
置５０５に送る。ヒットした場合には、対応したエント
リのダーティビット部602をセレクタ５２５で選択しロ
ーカルバスキャッシュ一致保証監視装置５０５に送る。
ローカルバスキャッシュ一致保証監視装置５０５は、エ
クスポートディレクトリ検索結果に基づいて、システム
全体を対象にキャッシュ一致保証すべきかどうか判定す
る。

【００３０】次に、図６〜図１１を用いて、メモリアク
セス処理手順を示す。

【００３１】（１）自クラスタ内のローカルメモリに対
するラインリード 図６は、自クラスタ内のローカルメモリ４００に対する
ラインリードアクセスの処理フローを示す。プロセッサ
２００が発行するラインリード要求は、ローカルバス１
６００にブロードキャストされ（３０００）、プロセッ
サメモリインターフェース装置３００及びクラスタ通信
制御装置５００に送信される。この時同時にクラスタ内
の他のプロセッサは、該ラインリード要求をスヌープ
し、自キャッシュ内のキャッシュ検索を行う。プロセッ
サメモリインターフェース装置300及びクラスタ通信制
御装置５００は、受け取ったアクセスのアドレスから自
クラスタ内のローカルメモリ４００へのアクセスである
ことを識別し（３００１）、プロセッサメモリインター
フェース装置３００はローカルメモリのアクセスを開始
しクラスタ通信制御装置５００は他クラスタへの読みだ
しを中止する。この時クラスタ通信制御装置５００は、
エクスポートディレクトリ６００を検索しクラスタ間キ
ャッシュ一致保証が必要かどうかを判定する（３００
３）。

【００３２】エクスポートディレクトリにミスヒットす
るかあるいは、Shared状態でヒットした場合はクラスタ
間キャッシュ一致保証は不要となる。この場合、クラス
タ内キャッシュ一致保証の結果、他のキャッシュメモリ
上にダーティラインが存在するかどうかを判定する（３
０２０）。存在する場合はクラスタ内でキャッシュ間転
送を行い、ローカルメモリ４００の読みだしはキャンセ
ルする(３０２１)。この時キャッシュ間データ転送され
るデータをプロセッサメモリインターフェース装置３０
０が取り込みローカルメモリ４００に書き戻す(３０２
２)。そして応答データをアクセス元のキャッシュメモ
リにShared状態として登録する(３０２３)。また、ダー
ティラインが存在しない場合は、ローカルメモリ４００
から読みだしたデータをアクセス元に転送し（３０２
４）、キャッシュメモリに登録する（３０２５）。この
時、キャッシュ一致保証の結果、他のキャッシュメモリ
に対象データのコピーが存在していればShared状態とし
て登録し、コピーが存在しなければExclusive 状態とし
て登録する。

【００３３】一方、クラスタ通信制御装置５００が、エ
クスポートディレクトリ６００を検索しクラスタ間キャ
ッシュ一致保証が必要かどうかを判定（３００３）した
結果、対応エントリがエクスポートディレクトリに存在
し且つDirty 状態であれば、クラスタ間キャッシュ一致
保証が必要となる。クラスタ通信制御装置５００は、ロ
ーカルバスにキャッシュ一致保証処理を引き伸ばすよう
に指示する(３００４)とともに、クラスタバス２２００
にメモリアドレスをブロードキャストしクラスタ間キャ
ッシュ一致保証を開始する（３００５）。他クラスタの
クラスタ通信制御装置５００はブロードキャストされた
アドレスをスヌープし、更に各クラスタ内のローカルバ
ス１６００に該アドレスをブロードキャストしローカル
キャッシュ一致保証処理を実施する（３００６）。クラ
スタ間キャッシュ一致保証の結果、他クラスタにダーテ
ィラインが存在するかどうかを判定する（３０１０）。
他クラスタにダーティラインが存在しなければ、自クラ
スタ内のローカルメモリ４００のデータを読みだし（３
０１５）。アクセス元に転送する。そして、クラスタ内
のローカルメモリ４００のデータを読みだし（３０１
５）アクセス元に転送する。そして、クラスタ間キャッ
シュ一致保証の結果に従って、SharedあるいはExclusiv
e 状態としてキャッシュに登録する（３０１６）。他ク
ラスタにダーティラインが存在する場合、該データライ
ンはクラスタ通信制御装置５００間を経由してアクセス
元のクラスタに転送される（３０１１）。その後アクセ
ス元のクラスタで中断されていたローカルキャッシュ一
致保証処理が再開され、クラスタ通信制御装置５００か
らアクセス元のプロセッサにデータが転送される。この
時自クラスタ内のローカル共有メモリ４００の読みだし
はキャンセルされる。また、転送されるデータをプロセ
ッサメモリインターフェース装置３００が取り込みロー
カルメモリ４００に書き戻す（３０１２）。更にエクス
ポートディレクトリ６００の該当エントリの状態がDirt
y からSharedに変更される。そして応答データをアクセ
ス元のキャッシュメモリにShared状態として登録する
(３０１４)。 （２）他クラスタ内のローカルメモリに対するラインリ
ード 図７は、他クラスタ内のローカルメモリ４００に対する
ラインリードアクセスの処理フローを示す。プロセッサ
２００が発行するラインリード要求は、ローカルバス１
６００にブロードキャストされ（３１００）、プロセッ
サメモリインターフェース装置３００及びクラスタ通信
制御装置５００に送信される。この時同時にクラスタ内
の他のプロセッサは、該ラインリード要求をスヌープ
し、自キャッシュ内のキャッシュ検索を行う。プロセッ
サメモリインターフェース装置300及びクラスタ通信制
御装置５００は、受け取ったアクセスのアドレスから他
クラスタ内のローカルメモリ４００へのアクセスである
ことを識別する(３１０１)。プロセッサメモリインター
フェース装置３００はローカルメモリのアクセスを中止
する。一方クラスタ通信制御装置５００は、エクスポー
トディレクトリ６００にかかわらず、ローカルバスにキ
ャッシュ一致保証処理を引き伸ばすように指示する（３
１０３）とともに、クラスタバス２２００にメモリアド
レスをブロードキャストして対象クラスタにアドレスを
送るとともにクラスタ間キャッシュ一致保証を開始する
（３１０４）。他クラスタのクラスタ通信制御装置５０
０はブロードキャストされたアドレスをスヌープし、更
に各クラスタ内のローカルバス１６００に該アドレスを
ブロードキャストしローカルキャッシュ一致保証処理を
実施する（３１０５）。この時、アクセス対象のクラス
タでは、ローカルメモリ４００の読みだしが開始され
る。クラスタ間キャッシュ一致保証の結果、他クラスタ
にダーティラインが存在するかどうかを判定する（３１
０６）。他クラスタにダーティラインが存在する場合、
該データラインはクラスタ通信制御装置500間を経由し
てアクセス元のクラスタに転送される（３１０７）。こ
の時、対象クラスタのローカルメモリ４００の読みだし
はキャンセルされる。また、クラスタ間で転送されるデ
ータを対象クラスタのクラスタ通信制御装置５００が取
り込み対象クラスタのローカルメモリ４００に書き戻す
（３１０８）。更に対象クラスタのエクスポートディレ
クトリ６００の該当エントリの状態がDirty からShared
に変更される。これと平行してアクセス元のクラスタで
は、中断されていたローカルキャッシュ一致保証処理が
再開され、クラスタ通信制御装置５００からアクセス元
のプロセッサにデータが転送される。そして応答データ
をアクセス元のキャッシュメモリにShared状態として登
録する（３１１０）。

【００３４】クラスタ間キャッシュ一致保証の結果、他
クラスタにダーティラインが存在しなければ、対象クラ
スタのローカルメモリ４００から読み出されたデータが
アクセス元クラスタのクラスタ通信制御装置５００に転
送される。この時、対象クラスタのエクスポートディレ
クトリに対応するエントリが存在しなければ、Shared状
態として新規登録する（３１１１）。そして、中断され
ていたローカルキャッシュ一致保証処理が再開されアク
セス元クラスタ内のキャッシュにダーティラインが存在
するかどうか判定される（３１２０）。ダーティライン
が存在すれば、クラスタ内のキャッシュ間でデータが転
送される（３１２１）。この時、クラスタ通信制御装置
５００まで転送されていた対象クラスタから読みだしデ
ータは廃棄される。また、キャッシュ間転送されたデー
タはクラスタ通信制御装置５００に取り込まれ、対象ク
ラスタに転送されてローカルメモリ４００に書き戻され
る（３１２２）。この時同時に対象クラスタのエクスポ
ートディレクトリの対応エントリは、Dirty 状態からSh
aredに変更される（３１２３）。そして、アクセス元キ
ャッシュでは、応答データがShared状態として登録され
る（３１２４）。

【００３５】一方、ローカルキャッシュ一致保証処理が
再開後、アクセス元クラスタ内のキャッシュメモリにダ
ーティラインが存在しなければ、対象クラスタから送ら
れてきたデータが、クラスタ通信制御装置５００からア
クセス元のキャッシュに転送され登録される（３１２
７）。この時、ラインの状態はクラスタ間キャッシュ一
致保証の結果にかかわらずShared状態とする。これは、
Exclusive 状態として登録すると、プロセッサが他のキ
ャッシュに報告することなく自キャッシュの内容を変更
してしまい、対象クラスタのエクスポートディレクトリ
がShared状態であることと矛盾してしまう恐れがあるた
めである。

【００３６】（３）自クラスタ内のローカルメモリに対
するキャッシュフラッシュ 図８は、自クラスタ内のローカルメモリ４００に対する
キャッシュフラッシュアクセスの処理フローを示す。プ
ロセッサ２００が発行するキャッシュフラッシュ要求
は、ローカルバス１６００にブロードキャストされ（３
２００）、プロセッサメモリインターフェース装置３０
０及びクラスタ通信制御装置５００に送信される。この
時同時にクラスタ内の他のプロセッサは、該ラインリー
ド要求をスヌープし、自キャッシュ内のキャッシュ検索
を行う。プロセッサメモリインターフェース装置３００
及びクラスタ通信制御装置５００は、受け取ったアクセ
スのアドレスから自クラスタ内のローカルメモリ４００
へのアクセスであることを識別し（３２０１）、プロセ
ッサメモリインターフェース装置３００はキャッシュ一
致保証の終了を待つ。この時クラスタ通信制御装置５０
０は、エクスポートディレクトリ６００を検索しクラス
タ間キャッシュ一致保証が必要かどうかを判定する（３
２０３）。エクスポートディレクトリにミスヒットした
場合はクラスタ間キャッシュ一致保証は不要となる。こ
の場合、アクセス元クラスタ内キャッシュ一致保証の結
果、他のキャッシュメモリ上にダーティラインが存在す
るかどうかを判定する（３２２０）。存在する場合は、
該当データがプロセッサメモリインターフェース装置３
００に転送されローカルメモリ４００に書き戻された後
（３２２１）、該当ラインがキャッシュメモリから無効
化される（３２２２）。また、ダーティラインが存在し
ない場合は、即座に対象ラインが無効化される（３２２
３）。

【００３７】一方、クラスタ通信制御装置５００が、エ
クスポートディレクトリ６００を検索した結果、対応エ
ントリがエクスポートディレクトリに存在すれば、クラ
スタ間キャッシュ一致保証が必要となる。クラスタ通信
制御装置５００は、ローカルバスにキャッシュ一致保証
処理を引き伸ばすように指示する（３２０４）ととも
に、クラスタバス２２００にメモリアドレスをブロード
キャストしクラスタ間キャッシュ一致保証を開始する
（３２０５）。他クラスタのクラスタ通信制御装置５０
０はブロードキャストされたアドレスをスヌープし、更
に各クラスタ内のローカルバス１６００に該アドレスを
ブロードキャストしローカルキャッシュ一致保証処理を
実施する（３２０６）。クラスタ間キャッシュ一致保証
の結果、他クラスタにダーティラインが存在するかどう
かを判定する（３２１０）。他クラスタにダーティライ
ンが存在しなければ、即座に各クラスタ内のキャッシュ
メモリに登録された該当ラインを無効化する（３２１
４）。また、アクセス元クラスタのエクスポートディレ
クトリの対象エントリも無効化する（３２１５）。

【００３８】他クラスタにダーティラインが存在する場
合、該データラインはクラスタ通信制御装置５００間を
経由してアクセス元のクラスタに転送される。その後ア
クセス元のクラスタで中断されていたローカルキャッシ
ュ一致保証処理が再開され、クラスタ通信制御装置５０
０からプロセッサメモリインターフェース装置３００に
データが転送され、ローカルメモリ４００へ書き戻され
る(３２１１)。同時に、全クラスタ内の対象ラインは全
て無効化される(３２１２)。また、アクセス元クラスタ
のエクスポートディレクトリの対象エントリも無効化さ
れる(３２１３)。

【００３９】（４）他クラスタ内のローカルメモリに対
するキャッシュフラッシュ 図９は、他クラスタ内のローカルメモリ４００に対する
キャッシュフラッシュアクセスの処理フローを示す。プ
ロセッサ２００が発行するキャッシュフラッシュ要求
は、ローカルバス１６００にブロードキャストされ（３
３００）、プロセッサメモリインターフェース装置３０
０及びクラスタ通信制御装置５００に送信される。この
時同時にクラスタ内の他のプロセッサは、該ラインリー
ド要求をスヌープし、自キャッシュ内のキャッシュ検索
を行う。プロセッサメモリインターフェース装置３００
及びクラスタ通信制御装置５００は、受け取ったアクセ
スのアドレスから他クラスタ内のローカルメモリ４００
へのアクセスであることを識別する（３３０１）。クラ
スタ通信制御装置５００は、エクスポートディレクトリ
６００にかかわらず、ローカルバスにキャッシュ一致保
証処理を引き伸ばすように指示する（３３０３）ととも
に、クラスタバス２２００にメモリアドレスをブロード
キャストして対象クラスタにアドレスを送るとともにク
ラスタ間キャッシュ一致保証を開始する（３３０４）。
他クラスタのクラスタ通信制御装置500はブロードキャ
ストされたアドレスをスヌープし、更に各クラスタ内の
ローカルバス１６００に該アドレスをブロードキャスト
しローカルキャッシュ一致保証処理を実施する（３３０
５）。クラスタ間キャッシュ一致保証の結果、他クラス
タにダーティラインが存在するかどうかを判定する（３
３０６）。他クラスタにダーティラインが存在する場
合、該データラインはクラスタ通信制御装置５００間を
経由して対象クラスタに転送される（３３０７）。対象
クラスタでは、受け取ったデータをプロセッサメモリイ
ンターフェース装置３００に転送しローカルメモリ４０
０に書き戻す。また、対象クラスタのエクスポートディ
レクトリの対応するエントリが無効化される（３３０
９）。クラスタ間キャッシュ一致保証の結果、他クラス
タのキャッシュメモリに登録されていた対象エントリが
無効化される（３３０８）。これと平行してアクセス元
のクラスタでは、中断されていたローカルキャッシュ一
致保証処理が再開され、キャッシュメモリ内の対象エン
トリが無効化される。

【００４０】クラスタ間キャッシュ一致保証の結果、他
クラスタにダーティラインが存在しなければ、他クラス
タのキャッシュに登録されていた対象ラインが無効化さ
れ（３３１０）、中断されていたローカルキャッシュ一
致保証処理が再開される。この時、対象クラスタのエク
スポートディレクトリの対象エントリがShared状態であ
れば、該エントリを無効化する（３３１０）。Dirty 状
態の時は無効化しない。そして、アクセス元クラスタ内
のキャッシュにダーティラインが存在するかどうか判定
される（３３２０）。ダーティラインが存在すれば、ク
ラスタ内のキャッシュから、クラスタ通信制御装置５０
０を経由して対象クラスタのローカルメモリ４００にデ
ータが書き戻される（３３１２）。この時同時に対象ク
ラスタのエクスポートディレクトリの対応エントリが無
効化される（３３２３）。そして、アクセス元キャッシ
ュでは、クラスタ内の全てのキャッシュから対象ライン
が無効化される（３３２２）。一方、ローカルキャッシ
ュ一致保証処理が再開後、アクセス元クラスタ内のキャ
ッシュメモリにダーティラインが存在しなければ、即座
に対象ラインを無効化する（３３２６）。

【００４１】（５）自クラスタ内のローカルメモリに対
するキャッシュパージ 図１０は、自クラスタ内のローカルメモリ４００に対す
るキャッシュパージアクセスの処理フローを示す。エク
スポートディレクトリ６００を検索しクラスタ間キャッ
シュ一致保証が必要かどうかを判定する処理（３４０
３）まではキャッシュフラッシュと同処理である。エク
スポートディレクトリにミスヒットした場合はクラスタ
間キャッシュ一致保証は不要となり、アクセス元クラス
タ内のキャッシュに登録された対象ラインが即座に無効
化される（３４２０）。

【００４２】一方、クラスタ通信制御装置５００が、エ
クスポートディレクトリ６００を検索した結果、対応エ
ントリがエクスポートディレクトリに存在すれば、クラ
スタ間キャッシュ一致保証が必要となる。クラスタ通信
制御装置５００は、ローカルバスにキャッシュ一致保証
処理を引き伸ばすように指示する(３４０４)とともに、
クラスタバス２２００にメモリアドレスをブロードキャ
ストしクラスタ間キャッシュ一致保証を開始する(３４
０５)。他クラスタのクラスタ通信制御装置500はブロー
ドキャストされたアドレスをスヌープし、更に各クラス
タ内のローカルバス１６００に該アドレスをブロードキ
ャストしローカルキャッシュ一致保証処理を実施する
（３４０６）。クラスタ間キャッシュ一致保証の結果、
全てのキャッシュに登録された対象ラインが無効化され
る（３４０７）。同時にアクセス元クラスタのエクスポ
ートディレクトリの対象エントリも無効化される(３４
０８)。

【００４３】（６）他クラスタ内のローカルメモリに対
するキャッシュパージ 図１１は、他クラスタ内のローカルメモリ４００に対す
るキャッシュパージアクセスの処理フローを示す。エク
スポートディレクトリ６００にかかわらずクラスタ間キ
ャッシュ一致保証を実施し、各クラスタ内のローカルバ
ス１６００にブロードキャストする処理（３５０５）ま
では、他クラスタヘのキャッシュフラッシュと同処理で
ある。クラスタ間キャッシュ一致保証の結果、全クラス
タのキャッシュに登録された対象ラインが即座に無効化
される（３５０６）。注意すべきは対象クラスタのエク
スポートディレクトリ６００の変更である。キャッシュ
パージには２種類のトランザクションがある。即ち、命
令によるキャッシュパージ、及びShared状態のキャッシ
ュエントリにストアアクセスが発生したときに他の全て
のキャッシュの該当エントリを無効化するキャッシュパ
ージである。命令によるキャッシュパージでは、すべて
のキャッシュから該当エントリが無効化される。一方、
Sharedラインへの書き込みによるキャッシュパージで
は、アクセス元のキャッシュに該当ラインがDirty 状態
で残ることになる。従って、対象クラスタのエクスポー
トディレクトリ６００を変更する場合、上記２種類のキ
ャッシュパージを判定し（３５０８）、命令によるキャ
ッシュパージであれば、対象クラスタのエクスポートデ
ィレクトリ６００の対象エントリを無効化する(３５０
９)。一方、Sharedラインへのストアによるキャッシュ
パージでは、エクスポートディレクトリ６００の対象エ
ントリ無効化せず、Shared状態からDirty 状態に変更す
る（３５１０）。

【００４４】以上説明したように構成されるので以下に
記載されるような効果がある。大規模マルチプロセッサ
を複数のクラスタ（複数のプロセッサ及び主メモリから
なるグループ）に分割し、各クラスタ毎にエクスポート
ディレクトリを設けた。エクスポートディレクトリと
は、担当クラスタ内のローカルメモリのデータの内、外
部のクラスタのキャッシュメモリに登録されたデータの
識別子を登録するセットアソシアティブ型のディレクト
リである。これによって、クラスタ全てを対象にキャッ
シュ一致保証すべきか、クラスタ内のキャッシュ一致保
証だけで良いのかを即座に判定でき、また、大部分のデ
ータはクラスタ外へエクスポートされることはなく、ク
ラスタ内キャッシュ一致保証だけで処理を終えることが
できるので、キャッシュ一致保証制御の遅延を大幅に改
善できる。

【００４５】また、エクスポートディレクトリによっ
て、メモリ読みだし／書き込みごとにシステム内の全て
のプロセッサにブロードキャストする必要がなく、プロ
セッサ間の通信量を大幅に低減することが可能になる。

【００４６】また、エクスポートディレクトリはローカ
ルメモリの容量とは無関係に容量を決めることができ
る。そして、オーバーフローが発生したときは、対応し
たラインを他のクラスタから無効化する機構を設けた。
これにより、１０−２０Ｍバイトといった大きなディレ
クトリ容量を必要とするディレクトリ方式にくらべ、少
ない物量で効率の良いキャッシュ一致保証方式を実現で
きる。

【００４７】

【発明の効果】本発明によれば、マルチプロセッサシス
テムにおいて、分散したキャッシュメモリの一致保証を
高速に実行できる。

【図面の簡単な説明】

【図１】計算機システムの全体構成例を示す図。

【図２】プロセッサからみえる実メモリ空間のアドレス
割付を例示する図。

【図３】プロセッサの内部構成例を示す図。

【図４】プロセッサメモリインターフェース装置の内部
構成例を示す図。

【図５】クラスタ通信制御装置の内部構成例を示す図。

【図６】自クラスタ内ローカルメモリへのラインリード
処理例を示す図。

【図７】他クラスタ内ローカルメモリへのラインリード
処理例を示す図。

【図８】自クラスタ内ローカルメモリへのキャッシュフ
ラッシュ処理例を示す図。

【図９】他クラスタ内ローカルメモリへのキャッシュフ
ラッシュ処理例を示す図。

【図１０】自クラスタ内ローカルメモリへのキャッシュ
パージ処理例を示す図。

【図１１】他クラスタ内ローカルメモリへのキャッシュ
パージ処理例を示す図。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 石川 佐孝 神奈川県海老名市下今泉810番地 株式会 社日立製作所オフィスシステム事業部内

Claims (6)

【特許請求の範囲】
1. 【請求項１】それぞれキャッシュメモリを有する複数の
   プロセッサと、該複数のプロセッサのそれぞれに接続さ
   れたローカルメモリと、前記複数のプロセッサ及び前記
   ローカルメモリに接続された通信制御装置とを含むクラ
   スタを複数具備し、該クラスタが互いに前記通信制御装
   置を介して接続されたマルチプロセッサシステムにおい
   て、 前記通信制御装置は、自クラスタの前記ローカルメモリ
   のデータのうち、他クラスタの前記キャッシュメモリに
   登録されたデータに関する情報を記憶する記憶手段を有
   し、該記憶手段に基づきキャッシュメモリ内容を一致化
   すべき範囲を判定するキャッシュメモリ内容一致化範囲
   判定手段を有することを特徴とするマルチプロセッサシ
   ステム。
2. 【請求項２】請求項１において、前記記憶手段は、他ク
   ラスタの前記キャッシュメモリに登録されたデータのア
   ドレスと、該データが変更されているか否かを示す状態
   情報からなる複数のエントリを有することを特徴とする
   マルチプロセッサシステム。
3. 【請求項３】請求項１において、 前記記憶手段は、所定の順序にて消去すべきエントリを
   決定する消去エントリ決定手段を有し、 さらに、前記消去エントリ決定手段により、消去すべき
   と決定されたエントリに対応する他クラスタの前記キャ
   ッシュメモリに登録されたデータを無効化する無効化手
   段を有することを特徴とするマルチプロセッサシステ
   ム。
4. 【請求項４】請求項１において、 前記通信制御装置は、前記記憶手段の内容に基づき、自
   クラスタ内におけるキャッシュメモリ内容一致化手段と
   他クラスタとの間におけるキャッシュメモリ内容一致化
   手段との少なくとも一方を作動することを特徴とするマ
   ルチプロセッサシステム。
5. 【請求項５】請求項１において、システム内の全てのキ
   ャッシュメモリの特定のデータを無効化する全パージ手
   段と、 一のプロセッサに接続された前記キャッシュメモリを除
   いたシステム内の全てのキャッシュメモリの特定のデー
   タを無効化する外部パージ手段とを有することを特徴と
   するマルチプロセッサシステム。
6. 【請求項６】それぞれキャッシュメモリを有する複数の
   プロセッサと、 該複数のプロセッサを互いに接続するローカルバスと、 該ローカルバスに接続されたローカルメモリと、 該ローカルバスに接続された通信制御装置とを含むクラ
   スタを複数具備し、 該複数のクラスタは互いに前記通信制御装置を介してク
   ラスタバスに接続されたマルチプロセッサシステムにお
   いて、 前記ローカルバスを監視するローカルバス監視手段と、 前記クラスタバスを監視するクラスタバス監視手段とを
   有し、 自クラスタの前記ローカルメモリのデータのうち、他ク
   ラスタの前記キャッシュメモリに登録されたデータに関
   する情報を記憶する記憶手段を有し、 該記憶手段に基づき、キャッシュメモリ内容の一致化を
   前記ローカルバス監視手段に基づくか、 前記クラスタバス監視手段に基づくかを判定する判定手
   段を有することを特徴とするマルチプロセッサシステ
   ム。