JP2786124B2

JP2786124B2 - 共有メモリ型マルチプロセッサシステム

Info

Publication number: JP2786124B2
Application number: JP7102532A
Authority: JP
Inventors: 浩一堀川
Original assignee: NEC Computertechno Ltd
Current assignee: NEC Computertechno Ltd
Priority date: 1995-04-26
Filing date: 1995-04-26
Publication date: 1998-08-13
Anticipated expiration: 2013-08-13
Also published as: FR2733614A1; FR2733614B1; JPH08297642A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は共有メモリ型マルチプロ
セッサシステムに関し、特にディレクトリ方式の共有メ
モリ型マルチプロセッサシステムに関する。

【０００２】

【従来の技術】１つのシステムバスに、複数のストアイ
ンキャッシュおよび共有メモリが接続されているマルチ
プロセッサシステム（一般的に「クラスタ」と呼ばれ
る）を、ディレクトリ方式で複数接続した共有メモリ型
マルチプロセッサシステムは既知の技術で実現されてい
る。たとえば特開平２―１２３６１号公報記載の「階層
化バスによる並列計算機システム」、特開平４―２９１
４４６号公報記載の「スケーラブルメモリ帯域を備えた
緊密結合型多重プロセッサ」がある。しかし、特開平２
―１２３６１号公報の技術では、クラスタ間のストアイ
ンキャッシュのコヒーレンシの保証の方法が開示されて
いない。また、特開平４―２９１４４６号公報の技術で
はクラスタ相互を接続するのにクロスバ（これに接続さ
れている複数のクラスタのうち、任意の２つのクラスタ
間の通信を可能にするスイッチ）を用いており、さらに
ストアインキャッシュのコヒーレンシを保証するため
に、クラスタ内、クラスタ間を問わず複数のストアイン
キャッシュ間で同一メモリブロックを同時にキャッシン
グ（キャッシュに貯蔵することをキャッシングするとい
う。以下この用語を使用する。）しないように制御して
いる。

【０００３】

【発明が解決しようとする課題】上述した特開平２―１
２３６１号公報記載の構成では、クラスタ間のストアイ
ンキャッシュのコヒーレンシの保証がとれないという欠
点がある。また、特開平４―２９１４４６号公報記載の
構成ではクラスタ単体だけでも動作することができるシ
ステムを２つ接続した構成とする場合において、バス方
式でなくクロスバ方式を採用しているために、ハードウ
ェア量の増大を招くという欠点がある。さらに、ストア
インキャッシュのコヒーレンシの保証のために、共有メ
モリのいずれのメモリブロックも同時期にはどれか１個
のストアインキャッシュにしかキャッシングできないよ
うに制御される。このため、ストアインキャッシュでの
ヒット率が低下しシステム全体の性能が低下するという
欠点がある。

【０００４】

【課題を解決するための手段】本発明の第１の共有メモ
リ型マルチプロセッサシステムは、２つのクラスタを有
し、各クラスタが複数のプロセッサと前記プロセッサの
全てに接続されたストアインキャッシュとを有する複数
の処理装置と、共有メモリと、前記複数の処理装置と前
記共有メモリとを接続するシステムバスとを備えた共有
メモリ型マルチプロセッサであり、前記クラスタの各々
が、（ａ）前記システムバス間の同期を制御する同期制
御手段と、（ｂ）自クラスタの前記システムバスと接続
されかつ他クラスタのディレクトリと相互に接続され他
クラスタのストアインキャッシュに保持された自クラス
タ内共有メモリのメモリブロックアドレスを貯蔵するデ
ィレクトリと、（ｃ）自クラスタの前記処理装置から前
記共有メモリへのメモリアクセス要求のアドレスと他ク
ラスタの前記ディレクトリからのアドレスとを受け取り
それらのアドレスの一致を検出するアドレス一致検出手
段と、（ｄ）前記アドレス一致検出手段の結果に応じて
自クラスタの前記メモリアクセス要求をキャンセルする
キャンセル信号を発行するキャンセル手段と、（ｅ）前
記ストアインキャッシュに設けられキャンセル信号を受
け取り自クラスタの前記メモリアクセス要求を無効化し
再試行する再試行手段と、を備える。

【０００５】本発明の第２の共有メモリ型マルチプロセ
ッサシステムは、上記第１の構成に加え、前記ディレク
トリ内のアドレスの各々に対応して前記ディレクトリ内
に更新フラグを設け、他クラスタのストアインキャッシ
ュに保持された自クラスタの共有メモリのメモリブロッ
クが他クラスタのプロセッサによる書き込みで更新され
ている場合に、自クラスタのディレクトリに貯蔵されて
いる前記メモリブロックアドレスに対応する前記更新フ
ラグをセットする手段を備える。

【０００６】

【実施例】本発明について、図面を参照して詳細に説明
する。

【０００７】図１は本発明の一実施例を示すブロック図
である。

【０００８】図１を参照すると、演算部１０〜１７はそ
れぞれ４つのプロセッサ（以下ＥＰＵという）からな
り、それぞれストアインキャッシュ３００〜３７０に接
続されている。また、ストアインキャッシュ３００〜３
３０はシステムバス４０に接続され、ストアインキャッ
シュ３４０〜３７０はシステムバス４１に接続されてい
る。本実施例に用いたストアインキャッシュにキャッシ
ングされるメモリブロックのとりうる状態は表１の通り
である。

【０００９】

【表１】

【００１０】システムバス４０および４１は、本実施例
の場合、ともに５クロックサイクル（５サイクル）で１
周期となるよう制御される（表２）。システムバス４０
および４１は、同期制御回路２０および２１にそれぞれ
接続され、同期制御回路２０および２１は互いに接続さ
れる。システムバス４０および４１は互いに同期をずら
して制御される。本実施例の場合、２．５サイクルずら
している。すなわち、システムバス４０のステート１
が、システムバス４１のステート３と４の間にくること
になる。

【００１１】

【表２】

【００１２】共有メモリ３０はシステムバス４０に接続
され、システムバス４０上に発行されるリクエストに対
して、必要に応じてデータを返す。共有メモリ３１も同
様であり、共有メモリ３０、３１はシステム内の全ての
ＥＰＵからアクセスされる可能性がある。ディレクトリ
１００は、システムバス４０およびディレクトリ２００
に接続され、またディレクトリ２００はシステムバス４
１に接続される。

【００１３】図２は図１の実施例に使用されるストアイ
ンキャッシュのブロック図である。ここではストアイン
キャッシュ３００について示してあるが、他のストアイ
ンキャッシュも同様の構成である。

【００１４】図２を参照すると、ストアインキャッシュ
制御回路３０２は演算部１０、ストアインキャッシュメ
モリ３０１、再試行指示回路３０３、およびシステムバ
ス４０に接続されている。

【００１５】ストアインキャッシュ制御回路３０２は、
接続されているＥＰＵからの要求に応じて、ストアイン
キャッシュメモリ３０１からＥＰＵにデータを返した
り、ストアインキャッシュメモリ３０１を更新したり、
システムバス４０にメモリブロックリード等のリクエス
ト（以下単にリクエストという）を発行する。

【００１６】また、再試行指示回路３０３はシステムバ
ス４０上に「キャンセル」が発行された場合、ストアイ
ンキャッシュ制御回路３０２に対し、リクエストを再試
行するよう指示する。

【００１７】図３は図１の実施例に使用されるディレク
トリのブロック図である。ここではディレクトリ１００
について示してあるが、ディレクトリ２００も同様の構
成である。図３を参照するとディレクトリ制御回路１０
２はシステムバス４０、ディレクトリメモリ１０１、お
よびディレクトリ２００と接続される。ディレクトリメ
モリ１０１には、クラスタ２のいずれかのストアインキ
ャッシュがクラスタ１の共有メモリ３０のメモリブロッ
クをキャッシングしている場合、そのメモリブロックの
アドレスが登録される。またそのメモリブロックがクラ
スタ２のいずれかのストアインキャッシュ内で更新され
ているかどうかの更新フラグも同時に保持される。

【００１８】ディレクトリ制御回路１０２は、システム
バス４０上に発行されたリクエストを監視し、ディレク
トリメモリ１０１内の情報を索引、更新し、必要に応じ
てディレクトリ２００にリクエストを転送する。また逆
に、ディレクトリ２００から転送されるリクエストに応
じてディレクトリ１０１内の情報を索引、更新し、必要
に応じてシステムバス４０にリクエストを発行する（デ
ィレクトリ１００とディレクトリ２００の間の転送は
１．５サイクルかかるものとする）。ディレクトリ制御
回路１０２がこのようにディレクトリメモリ１０１の情
報を登録、索引、更新することを、単に「ディレクトリ
に登録、を索引、を更新」するという。

【００１９】アドレス一致検出回路１０３はシステムバ
ス４０およびディレクトリ２００からのリクエストのア
ドレス一致を検出し、一致が検出されるとキャンセル信
号生成回路１０４に通知する。

【００２０】キャンセル信号生成回路１０４は、アドレ
ス一致検出回路１０３からの通知により、システムバス
４０上に「キャンセル」を発行する。

【００２１】図４は、図３のディレクトリメモリ１０１
のブロック図である。図４を参照すると、ディレクトリ
メモリ１０１の各エントリ０からＮのアドレスは、クラ
スタ２のいずれかのストアインキャッシュにキャッシン
グされている共有メモリ３０のメモリブロックのアドレ
スである。更新フラグは対応するアドレスのメモリブロ
ックがクラスタ２のストアキャッシュ内で更新されると
‘１’にセットされる。有効フラグは各エントリが有効
かどうかを示すものであり、‘１’にセットされていな
ければそのエントリのアドレスは、無効であり、ディレ
クトリメモリ１０１には登録されていないとみなされ
る。

【００２２】次に、図１、図２、図３、図４のブロック
図を参照して本発明の実施例の動作について詳細に説明
する。便宜的にクラスタ１の演算部１０のいずれかのＥ
ＰＵから共有メモリ３０または３１をアクセスしようと
した場合について説明する。クラスタ１の他のＥＰＵお
よびクラスタ２のＥＰＵの場合も全く同様である。ＥＰ
Ｕからの要求の種類に応じて、以下の４つの場合の基本
動作に分けて説明する。１．自クラスタのメモリ空間（共有メモリ３０）に対す
るリード（読み出し）２．他クラスタのメモリ空間（共有メモリ３１）に対す
るリード（読み出し）３．自クラスタのメモリ空間（共有メモリ３０）に対す
るライト（書き込み）４．他クラスタのメモリ空間（共有メモリ３１）に対す
るライト（書き込み）１．自クラスタのメモリ空間（共有メモリ３０）に対す
るリードの場合を説明する。以下、１．１．所望のデー
タがストアインキャッシュ３００内にキャッシングされ
ている場合と、１．２．所望のデータがストアインキャ
ッシュ３００内にキャッシングされていない場合とに分
けて説明する。

【００２３】１．１．所望のデータがストアインキャッ
シュ３００内にキャッシングされている場合、そのデー
タがＥＰＵに返される。

【００２４】１．２．所望のデータがストアインキャッ
シュ３００内にキャッシングされていない場合、ストア
インキャッシュ制御回路３０２はシステムバス４０のス
テート１でシステムバス獲得要求を発行し、システムバ
ス４０が獲得できたら、システムバス４０のステート
３、４で「共有ブロックリードリクエスト」（以下ＳＢ
Ｒという）を発行する（以降、ストアインキャッシュが
システムバスにリクエストを発行する時は同様の動作を
するものとする）。このＳＢＲに対するデータリプライ
が返って来たらこれをＥＰＵに返すことになる。以下、
１．２．１．クラスタ１の他のストアインキャッシュが
ＤＥ状態でキャッシングしていた場合と、１．２．２．
クラスタ１の他のストアインキャッシュがＣＥまたはＣ
Ｓ状態でキャッシングしていた場合と、１．２．３．ク
ラスタ１の他のストアインキャッシュどれもがキャッシ
ングしていない場合とに分けて説明する。

【００２５】１．２．１．クラスタ１の他のストアイン
キャッシュがＤＥ状態でキャッシングしていた場合、そ
のストアインキャッシュがシステムバス４０上にデータ
リプライを行ない、自身をＣＳ状態にする。ストアイン
キャッシュ３００はデータを受けとり、ＣＳ状態で登録
し、ＥＰＵに返す。共有メモリ３０もこのデータを受け
とり、メモリの内容を更新する。

【００２６】１．２．２．クラスタ１の他のストアイン
キャッシュがＣＥまたはＣＳ状態でキャッシングしてい
た場合、ＣＥ状態の場合はＣＳ状態に更新する。共有メ
モリ３０がシステムバス４０上にデータリプライを行な
う。ストアインキャッシュ３００はこのデータを受けと
り、ＣＳ状態で登録し、ＥＰＵに返す。

【００２７】１．２．３．クラスタ１の他のストアイン
キャッシュどれもがキャッシングしていない場合、ディ
レクトリ１００は、ディレクトリメモリ１０１を索引す
る。以下、１．２．３．１．アドレスがディレクトリ１
００に登録されていない場合と、１．２．３．２．アド
レスがディレクトリ１００に登録されておりかつ更新フ
ラグが‘０’である場合と、１．２．３．３．アドレス
がディレクトリ１００に登録されておりかつ更新フラグ
が‘１’である場合とに分けて説明する。

【００２８】１．２．３．１．アドレスがディレクトリ
１００に登録されていない場合は何もしない。この時は
共有メモリ３０がシステムバス４０上にデータリプライ
を行なう。ストアインキャッシュ３００はこのデータを
受けとり、ＣＥ状態で登録し、ＥＰＵに返す。

【００２９】１．２．３．２．アドレスがディレクトリ
１００に登録されておりかつ更新フラグが‘０’である
場合は何もしない。この時は共有メモリ３０がデータリ
プライを行なう。ストアインキャッシュ３００はデータ
を受けとり、ＣＳ状態で登録し、ＥＰＵに返す。

【００３０】１．２．３．３．アドレスがディレクトリ
１００に登録されておりかつ更新フラグが‘１’である
場合、更新フラグを‘０’にする。また、ディレクトリ
２００にＳＢＲを転送する。ディレクトリ２００はシス
テムバス４１上にＳＢＲを発行する。このＳＢＲに対
し、クラスタ２のいずれかのストアインキャッシュのう
ち、ＤＥ状態でキャッシングしているものがシステムバ
ス４１上にデータリプライを行なう。データリプライを
行なったストアインキャッシュは状態をＤＥからＣＳに
更新する。このデータはディレクトリ２００で受けとら
れ、ディレクトリ１００に転送される。ディレクトリ１
００はシステムバス４０上にデータリプライを行なう。
ストアインキャッシュ３００はこのデータを受けとり、
ＣＳ状態で登録し、ＥＰＵに返す。共有メモリ３０もこ
のデータを受けとり、メモリの内容を更新する。

【００３１】２．他クラスタのメモリ空間（共有メモリ
３１）に対するリードの場合を説明する。以下、２．
１．所望のデータがストアインキャッシュ３００内にキ
ャッシングされている場合と、２．２．所望のデータが
ストアインキャッシュ３００内にキャッシングされてい
ない場合とに分けて説明する。

【００３２】２．１．所望のデータがストアインキャッ
シュ３００内にキャッシングされていればそのデータが
ＥＰＵに返される。

【００３３】２．２．所望のデータがストアインキャッ
シュ３００内にキャッシングされていなければ、システ
ムバス４０にＳＢＲを発行する。このＳＢＲに対するデ
ータリプライが返って来たらこれをＥＰＵに返すことに
なる。以下、２．２．１．クラスタ１の他のストアイン
キャッシュがＤＥ状態でキャッシングしていた場合と、
２．２．２．クラスタ１の他のストアインキャッシュが
ＣＳ状態でキャッシングしていた場合と、２．２．３．
クラスタ１の他のストアインキャッシュのどれもがキャ
ッシングしていない場合とに分けて説明する。

【００３４】２．２．１．クラスタ１の他のストアイン
キャッシュがＤＥ状態でキャッシングしていた場合、そ
のストアインキャッシュがシステムバス４０上にデータ
リプライを行ない、自身をＣＳ状態にする。ストアイン
キャッシュ３００はこのデータを受けとり、ＣＳ状態で
登録し、ＥＰＵに返す。これと並行してディレクトリ１
００がデータを受けとり、ディレクトリ２００に転送す
る。ディレクトリ２００はこのデータのメモリブロック
アドレスに対する更新フラグを‘０’にする。また、シ
ステムバス４１上に「メモリブロックライトリクエス
ト」を発行し、共有メモリ３１にこのデータをライトす
る。

【００３５】２．２．２．クラスタ１の他のストアイン
キャッシュがＣＳ状態でキャッシングしていた場合、こ
の（これらの）ストアインキャッシュは何もしない。デ
ィレクトリ１００はＳＢＲをディレクトリ２００に転送
する。ディレクトリ２００はこのＳＢＲをシステムバス
４１上に発行する。共有メモリ３１がシステムバス４１
上にデータリプライを行なう。ディレクトリ２００はこ
のデータを受けとり、ディレクトリ１００に転送する。
ディレクトリ１００はシステムバス４０上にデータリプ
ライを行なう。ストアインキャッシュ３００はデータを
受けとり、ＣＳ状態で登録し、ＥＰＵに返す。

【００３６】２．２．３．クラスタ１の他のストアイン
キャッシュのどれもがキャッシングしていない場合、デ
ィレクトリ１００はＳＢＲをディレクトリ２００に転送
する。ディレクトリ２００はこのＳＢＲのアドレスを、
更新フラグを‘０’、有効フラグを‘１’として登録す
る。また、システムバス４１上にＳＢＲを発行する。以
下、このＳＢＲに対する動作を２．２．３．１．クラス
タ２のストアインキャッシュいずれかがＤＥ状態でキャ
ッシングしていた場合と、２．２．３．２．クラスタ２
のストアインキャッシュがＣＥまたはＣＳ状態でキャッ
シングしていた場合と、２．２．３．３．クラスタ２の
ストアインキャッシュどれもがキャッシングしていない
場合とに分けて説明する。

【００３７】２．２．３．１．クラスタ２のストアイン
キャッシュいずれかがＤＥ状態でキャッシングしていた
場合、そのストアインキャッシュがシステムバス４１上
にデータリプライを行ない、自身をＣＳ状態にする。デ
ィレクトリ２００はこのデータを受けとり、ディレクト
リ１００に転送する。共有メモリ３１もこのデータを受
けとり、メモリの内容を更新する。ディレクトリ１００
はシステムバス４０上にデータリプライを行なう。スト
アインキャッシュ３００はデータを受けとり、ＣＳ状態
で登録し、ＥＰＵに返す。

【００３８】２．２．３．２．クラスタ２のストアイン
キャッシュがＣＥまたはＣＳ状態でキャッシングしてい
た場合、ＣＥ状態の場合はＣＳ状態に更新する。共有メ
モリ３１がシステムバス４１上にデータリプライを行な
う。ディレクトリ２００はこのデータを受けとり、ディ
レクトリ１００に転送する。ディレクトリ１００はシス
テムバス４０上にデータリプライを行なう。ストアイン
キャッシュ３００はデータを受けとり、ＣＳ状態で登録
し、ＥＰＵに返す。

【００３９】２．２．３．３．クラスタ２のストアイン
キャッシュどれもがキャッシングしていない場合、共有
メモリ３１がシステムバス４１上にデータリプライを行
なう。ディレクトリ２００はこのデータを受けとり、デ
ィレクトリ１００に転送する。ディレクトリ１００はシ
ステムバス４０上にデータリプライを行なう。ストアイ
ンキャッシュ３００はデータを受けとり、ＣＳ状態で登
録し、ＥＰＵに返す。

【００４０】３．自クラスタのメモリ空間（共有メモリ
３０）に対するライトの場合を説明する。以下、３．
１．ストアインキャッシュ３００が、ライト対象のデー
タをＤＥ状態でキャッシングしている場合と、３．２．
ストアインキャッシュ３００が、ライト対象のデータを
ＣＥ状態でキャッシングしている場合と、３．３．スト
アインキャッシュ３００が、ライト対象のデータをＣＳ
状態でキャッシングしている場合と、３．４．ストアイ
ンキャッシュ３００が、ライト対象のデータをキャッシ
ングしていない場合とに分けて説明する。

【００４１】３．１．ストアインキャッシュ３００が、
ライト対象のデータをＤＥ状態でキャッシングしている
場合、これにライトする。

【００４２】３．２．ストアインキャッシュ３００が、
ライト対象のデータをＣＥ状態でキャッシングしている
場合、これにライトし、自身をＤＥ状態にする。

【００４３】３．３．ストアインキャッシュ３００が、
ライト対象のデータをＣＳ状態でキャッシングしている
場合、これにライトし、ＤＥ状態にする。これと並行し
てシステムバス４０上に「メモリブロック無効化リクエ
スト」（以下ＩＮＶという）を発行する。クラスタ１の
他のストアインキャッシュでＣＳ状態でキャッシングし
ているものがあれば、これをＩＶ状態にして登録を抹消
する。ディレクトリ１００に更新フラグが‘０’で登録
されている場合には、ディレクトリ１００は有効フラグ
を‘０’として登録を抹消し、ディレクトリ２００にＩ
ＮＶを転送する。ディレクトリ２００はＩＮＶをシステ
ムバス４１上に発行する。クラスタ２のストアインキャ
ッシュでＣＳ状態でキャッシングしているものがあれ
ば、これをＩＶ状態にする。

【００４４】３．４．ストアインキャッシュ３００がラ
イト対象のデータをキャッシングしていない場合、シス
テムバス４０上に「排他ブロックリードリクエスト」
（以下ＥＢＲという）を発行する。以下、３．４．１．
クラスタ１の他のストアインキャッシュがＤＥ状態でキ
ャッシングしている場合と、３．４．２．クラスタ１の
他のストアインキャッシュがＣＥ状態でキャッシングし
ている場合と、３．４．３．クラスタ１の他のストアイ
ンキャッシュがＣＳ状態でキャッシングしている場合
と、３．４．４．クラスタ１の他のストアインキャッシ
ュどれもがキャッシングしていない場合とに分けて説明
する。

【００４５】３．４．１．クラスタ１の他のストアイン
キャッシュがＤＥ状態でキャッシングしている場合、そ
のストアインキャッシュがシステムバス４０上にデータ
リプライを行ない、自身をＩＶ状態にする。ストアイン
キャッシュ３００はこのデータを受けとり、これに対し
てライトし、ＤＥ状態で登録する。

【００４６】３．４．２．クラスタ１の他のストアイン
キャッシュがＣＥ状態でキャッシングしている場合、こ
れをＩＶ状態にする。共有メモリ３０がシステムバス４
０上にデータリプライを行なう。ストアインキャッシュ
３００はデータを受けとり、これに対してライトし、Ｄ
Ｅ状態で登録する。

【００４７】３．４．３．クラスタ１の他のストアイン
キャッシュがＣＳ状態でキャッシングしている場合、こ
れをＩＶ状態にする。共有メモリ３０がシステムバス４
０上にデータリプライを行なう。ストアインキャッシュ
３００はデータを受けとり、これに対してライトし、Ｄ
Ｅ状態で登録する。また、これらと並行してディレクト
リ１００はディレクトリを索引し、更新フラグが‘０’
で登録されているならば有効フラグ‘０’として登録を
抹消し、ディレクトリ２００にＩＮＶを転送する。ディ
レクトリ２００はシステムバス４１上にＩＮＶを発行す
る。クラスタ２のストアインキャッシュでＣＳ状態でキ
ャッシングしているものがあれば、これをＩＶ状態にす
る。

【００４８】３．４．４．クラスタ１の他のストアイン
キャッシュどれもがキャッシングしていない場合、ディ
レクトリ１００は、ディレクトリメモリ１０１を索引す
る。以下、３．４．４．１．ディレクトリ１００に登録
されていない場合と、３．４．４．２．ディレクトリ１
００に更新フラグが‘０’で登録されている場合と、
３．４．４．３．ディレクトリ１００に更新フラグが
‘１’で登録されている場合とに分けて説明する。

【００４９】３．４．４．１ディレクトリ１００に登録
されていない場合、何もしない。この場合、共有メモリ
３０がシステムバス４０上にデータリプライを行なう。
ストアインキャッシュ３００はデータを受けとり、これ
に対してライトし、ＤＥ状態で登録する。

【００５０】３．４．４．２．ディレクトリ１００に更
新フラグが‘０’で登録されている場合、ディレクトリ
１００は有効フラグを‘０’として登録を抹消し、ディ
レクトリ２００にＩＮＶを転送する。ディレクトリ２０
０はシステムバス４１上にＩＮＶを発行する。クラスタ
２のストアインキャッシュでＣＳ状態でキャッシングし
ているものがあれば、これをＩＶ状態にする。これらと
並行して、共有メモリ３０がシステムバス４０上にデー
タリプライを行なう。ストアインキャッシュ３００はこ
のデータを受けとり、これに対してライトし、ＤＥ状態
で登録する。

【００５１】３．４．４．３．ディレクトリ１００に更
新フラグが‘１’で登録されている場合、有効フラグを
‘０’として登録を抹消し、ディレクトリ２００にＥＢ
Ｒを転送する。ディレクトリ２００はシステムバス４１
上にＥＢＲを発行する。このＥＢＲに対し、クラスタ２
のいずれかのストアインキャッシュのうち、ＤＥ状態で
キャッシングしているものがシステムバス４１上にデー
タリプライを行なう。データリプライを行なったストア
インキャッシュは状態をＤＥからＩＶに更新する。この
データはディレクトリ２００で受けとられ、ディレクト
リ１００に転送される。ディレクトリ１００はシステム
バス４０上にデータリプライを行なう。ストアインキャ
ッシュ３００はこのデータを受けとり、これに対してラ
イトし、ＤＥ状態で登録する。

【００５２】４．他クラスタのメモリ空間（共有メモリ
３１）に対するライトの場合を説明する。以下、４．
１．ストアインキャッシュ３００が、ライト対象のデー
タをＤＥ状態でキャッシングしている場合と、４．２．
ストアインキャッシュ３００が、ライト対象のデータを
ＣＳ状態でキャッシングしている場合と、４．３．スト
アインキャッシュ３００がライト対象のデータをキャッ
シングしていない場合とに分けて説明する。

【００５３】４．１．ストアインキャッシュ３００が、
ライト対象のデータをＤＥ状態でキャッシングしている
場合、これにライトする。

【００５４】４．２．ストアインキャッシュ３００が、
ライト対象のデータをＣＳ状態でキャッシングしている
場合、これにライトし、ＤＥ状態にする。これと並行し
てシステムバス４０上にＩＮＶを発行する。クラスタ１
の他のストアインキャッシュでＣＳ状態でキャッシング
しているものがあれば、これをＩＶ状態にする。ディレ
クトリ１００はディレクトリ２００にＩＮＶを転送す
る。ディレクトリ２００は更新フラグを‘１’にし、Ｉ
ＮＶをシステムバス４１上に発行する。クラスタ２のス
トアインキャッシュでＣＳ状態でキャッシングしている
ものがあれば、これをＩＶ状態にする。

【００５５】４．３．ストアインキャッシュ３００がラ
イト対象のデータをキャッシングしていない場合、シス
テムバス４０上にＥＢＲを発行する。以下、４．３．
１．クラスタ１の他のストアインキャッシュがＤＥ状態
でキャッシングしている場合、４．３．２．クラスタ１
の他のストアインキャッシュがＣＳ状態でキャッシング
している場合、４．３．３．クラスタ１の他のストアイ
ンキャッシュどれもがキャッシングしていない場合とに
分けて説明する。

【００５６】４．３．１クラスタ１の他のストアインキ
ャッシュがＤＥ状態でキャッシングしている場合、その
ストアインキャッシュがシステムバス４０上にデータリ
プライを行ない、自身をＩＶ状態にする。ストアインキ
ャッシュ３００はこのデータを受けとり、これに対して
ライトし、ＤＥ状態で登録する。

【００５７】４．３．２．クラスタ１の他のストアイン
キャッシュがＣＳ状態でキャッシングしている場合、そ
のストアインキャッシュは、これをＩＶ状態にする。デ
ィレクトリ１００は、ディレクトリ２００にＥＢＲを転
送する。ディレクトリ２００は更新フラグを‘１’にし
て、システムバス４１上にＥＢＲを発行する。クラスタ
２のストアインキャッシュでＣＳ状態でキャッシングし
ているものがあれば、これをＩＶ状態にする。共有メモ
リ３１がシステムバス４１上にデータリプライを行な
う。このデータはディレクトリ２００で受けとられ、デ
ィレクトリ１００に転送される。ディレクトリ１００は
システムバス４０上にデータリプライを行なう。ストア
インキャッシュ３００はこのデータを受けとり、これに
対してライトし、ＤＥ状態で登録する。

【００５８】４．３．３．クラスタ１の他のストアイン
キャッシュどれもがキャッシングしていない場合、ディ
レクトリ１００は、ディレクトリ２００にＥＢＲを転送
する。ディレクトリ２００は、更新フラグを‘１’、有
効フラグを‘１’として登録し、システムバス４１上に
ＥＢＲを発行する。以下、このＥＢＲに対する動作を
４．３．３．１．クラスタ２のストアインキャッシュい
ずれかがＤＥ状態でキャッシングしている場合と、４．
３．３．２．クラスタ２のストアインキャッシュがＣＥ
状態またはＣＳ状態でキャッシングしている場合と、
４．３．３．３．クラスタ２のストアインキャッシュど
れもがキャッシングしていない場合とに分けて説明す
る。

【００５９】４．３．３．１．クラスタ２のストアイン
キャッシュいずれかがＤＥ状態でキャッシングしている
場合、そのストアインキャッシュがシステムバス４１上
にデータリプライを行ない、自身をＩＶ状態にする。こ
のデータはディレクトリ２００で受けとられ、ディレク
トリ１００に転送される。ディレクトリ１００はシステ
ムバス４０上にデータリプライを行なう。ストアインキ
ャッシュ３００はこのデータを受けとり、これに対して
ライトし、ＤＥ状態で登録する。

【００６０】４．３．３．２．クラスタ２のストアイン
キャッシュがＣＥ状態またはＣＳ状態ででキャッシング
している場合、これをＩＶ状態にする。共有メモリ３１
がシステムバス４１上にデータリプライを行なう。この
データはディレクトリ２００で受けとられ、ディレクト
リ１００に転送される。ディレクトリ１００はシステム
バス４０上にデータリプライを行なう。ストアインキャ
ッシュ３００はこのデータを受けとり、これに対してラ
イトし、ＤＥ状態で登録する。

【００６１】４．３．３．３．クラスタ２のストアイン
キャッシュどれもがキャッシングしていない場合、共有
メモリ３１がシステムバス４１上にデータリプライを行
なう。このデータはディレクトリ２００で受けとられ、
ディレクトリ１００に転送される。ディレクトリ１００
はシステムバス４０上にデータリプライを行なう。スト
アインキャッシュ３００はこのデータを受けとり、これ
に対してライトし、ＤＥ状態で登録する。

【００６２】次にアドレス一致検出と、キャンセルとの
動作を図１、図２、図３を参照して詳細に説明する。

【００６３】システムバス４０にリクエストが発行され
た時（システムバス４０のステート３、４のタイミン
グ）、ディレクトリ２００からリクエストが転送されて
来ていなければ何もしない。

【００６４】ディレクトリ２００がディレクトリ１００
にリクエストを転送する時には、システムバス４１のス
テート５、１のタイミングで行なう。このリクエストは
ディレクトリ１００によりシステムバス４０のステート
４、５のタイミングで受けとられる。これと並行して、
ディレクトリ１００はシステムバス４０上のリクエスト
をシステムバス４０のステート４、５のタイミングで受
けとる。したがって、アドレス一致検出回路１０３は、
システムバス４０からのリクエストのアドレスと、ディ
レクトリ２００からのリクエストのアドレスを、システ
ムバス４０のステート５のタイミングで比較することが
できる。もし一致している時にはキャンセル信号生成回
路１０４に通知する。キャンセル信号生成回路１０４は
アドレス一致検出回路１０３からの指示により、システ
ムバス４０上に「キャンセル」を発行する（システムバ
ス４０の次の周期のステート１のタイミング）。

【００６５】システムバス４０にリクエストを発行した
ストアインキャッシュが、たとえばストアインキャッシ
ュ３００だったとする（図２参照）と、システムバス４
０上の「キャンセル」は再試行指示回路３０３により検
出され、再試行指示回路３０３はストアインキャッシュ
制御回路３０２に、そのリクエストを再試行するよう指
示する。ストアインキャッシュ制御回路３０２は、内部
でそのリクエストを無効化し、再度同じリクエストをシ
ステムバスの次の周期以降で発行する。以上、システム
バス４０上に一度発行されたリクエストがキャンセルさ
れる場合を説明したが、ディレクトリ２００内でアドレ
ス一致が検出された場合には、システムバス４１上のリ
クエストが同様にキャンセルされることになる。

【００６６】システムバス４０および４１は互いに２．
５サイクルずらして制御されているので、信号線１０５
と１０６上をリクエストが同時に通過することはなく、
アドレス一致検出回路１０３（またはクラスタ２のアド
レス一致検出回路）で必ずアドレス一致の検出が可能で
ある。すなわち、アドレス一致検出のタイミングおよび
場所は、「システムバス４０のステート５のタイミング
でディレクトリ１００内」→「システムバス４１のステ
ート５のタイミングでディレクトリ２００内」→「シス
テムバス４０のステート５のタイミングディレクトリ１
００内」・・・と、クラスタ１と２で交互に行なわれる
ことになる。したがって、２つのクラスタからのリクエ
ストのアドレスを保持しておく等特別なハードウェア機
構を必要としない。また、システムバス４０上に発行さ
れたリクエストでクラスタ２に転送されるものは、アド
レス一致検出回路１０３でアドレス一致が検出されない
限り待たされずにクラスタ２に転送され、クラスタ２の
システムバス４１が獲得できしだい発行できる。また、
システムバス４１上に発行されたリクエストでクラスタ
１に転送されるものについても同様である。

【００６７】なお、ＥＰＵの台数、ストアインキャッシ
ュの個数等本実施例以外の構成でも本発明の原理を用い
れば、同様に実現できることはいうまでもない。

【００６８】

【発明の効果】以上説明したように、本発明による共有
メモリ型マルチプロセッサシステムは、クラスタ間のス
トアインキャッシュのコヒーレンシの保証ができるとい
う効果がある。また、２つのクラスタを接続するのにク
ロスバを用いない構成とすることによりハードウェア量
を少なくできるという効果がある。またさらに、クラス
タ内、クラスタ間を問わず複数のストアインキャッシュ
間で同一メモリブロックを共有できるように制御するこ
とにより、ストアインキャッシュのヒット率が向上しシ
ステム全体の性能向上の達成が図れるという効果があ
る。

【図面の簡単な説明】

【図１】本発明の一実施例のブロック図である。

【図２】図１に用いたストアインキャッシュの詳細ブロ
ック図である。

【図３】図１に用いたディレクトリの詳細ブロック図で
ある。

【図４】図３に用いたディレクトリメモリのフォーマッ
ト図である。

【符号の説明】

１、２クラスタ１０〜１７演算部２０、２１同期制御回路３０、３１共有メモリ４０、４１システムバス１００、２００ディレクトリ１０１ディレクトリメモリ１０２ディレクトリ制御回路１０３アドレス一致検出回路１０４キャンセル信号生成回路１０５、１０６信号線３００〜３７０ストアインキャッシュ３０１ストアインキャッシュメモリ３０２ストアインキャッシュ制御回路３０３再試行指示回路

Claims

(57)【特許請求の範囲】

【請求項１】２つのクラスタを有し、各クラスタが、
複数のプロセッサと前記プロセッサの全てに接続された
１つのストアインキャッシュとを有する複数の処理装置
と、共有メモリと、前記複数の処理装置と前記共有メモ
リとを接続するシステムバスとを備えた共有メモリ型マ
ルチプロセッサにおいて、前記クラスタの各々が、
（ａ）前記システムバス間の同期を制御する同期制御手
段と、（ｂ）自クラスタの前記システムバスと接続され
かつ他クラスタのディレクトリと相互に接続され他クラ
スタのストアインキャッシュに保持された自クラスタ内
共有メモリのメモリブロックアドレスを貯蔵するディレ
クトリと、（ｃ）自クラスタの前記処理装置から前記共
有メモリへのメモリアクセス要求のアドレスと他クラス
タの前記ディレクトリからのアドレスとを受け取りそれ
らのアドレスの一致を検出するアドレス一致検出手段
と、（ｄ）前記アドレス一致検出手段の結果に応じて自
クラスタの前記メモリアクセス要求をキャンセルするキ
ャンセル信号を発行するキャンセル手段と、（ｅ）前記
ストアインキャッシュに設けられキャンセル信号を受け
取り自クラスタの前記メモリアクセス要求を無効化し再
試行する再試行手段と、を具備したことを特徴とする共
有メモリ型マルチプロセッサシステム。
【請求項２】前記ディレクトリ内のアドレスの各々に
対応して前記ディレクトリ内に更新フラグを設け、他ク
ラスタのストアインキャッシュに保持された自クラスタ
の共有メモリのメモリブロックが他クラスタのプロセッ
サによる書き込みで更新されている場合に、自クラスタ
のディレクトリに貯蔵されている前記メモリブロックア
ドレスに対応する前記更新フラグをセットするようにし
たことを特徴とする請求の範囲の第１項に記載の共有メ
モリ型マルチプロセッサシステム。