JP3340047B2 - マルチプロセッサシステムおよび複製タグの制御方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、主記憶を共有する
密結合型のマルチプロセッサシステムおよびその複製タ
グの制御等に適用して有効な技術に関する。

【０００２】

【従来の技術】たとえば、特開平７−１２１４４２号公
報等の文献にも記載されているように、汎用のマイクロ
プロセッサ等の任意のＣＰＵエレメントでは、動作の高
速化のためにキャッシュメモリを内蔵するとともに、主
記憶からのリードデータのみならず主記憶へのライトデ
ータもキャッシュメモリ内に一時的に保持させるライト
バック方式を採用することが一般化している。

【０００３】一方、各々がキャッシュメモリを内蔵した
複数のＣＰＵエレメントやプロセッサにて主記憶を共有
する密結合型のマルチプロセッサシステムを構築する場
合、主記憶内の同一アドレスのデータが、複数のプロセ
ッサのキャッシュメモリ内に分散して存在することとな
り、しかも更新後のライトデータもキャッシュメモリを
経由して主記憶に転送するライトバック方式では分散し
たデータは各プロセッサにて独立に更新され、主記憶上
の同一アドレスのデータとは異なっている（ダーティに
なっている）可能性がある。このため、任意のプロセッ
サにて主記憶のリード要求が発生した場合、各プロセッ
サ内のキャッシュメモリおよび主記憶におけるデータの
時系列的な一意性（キャッシュコヒーレンシ）、換言す
ればリードデータが最新のデータであることを検証する
操作が必須となる。

【０００４】このような操作の一つとしてスヌープ処理
が知られており、自プロセッサ内にて目的のリード要求
データのキャッシュミスが発生した時点で、他の全ての
プロセッサ内のキャッシュメモリに目的の最新データが
存在するか否かを調べる処理を行う。このとき、スヌー
プ対象のプロセッサ内部のキャッシュメモリ（キャッシ
ュタグ）にその都度直接的にアクセスしたのでは、アク
セスされたプロセッサの負荷を増大させ、処理速度を低
下させることとなる。

【０００５】このため、プロセッサの外部に、プロセッ
サ内のキャッシュメモリの状態を反映した複製タグを配
置し、スヌープ処理ではこの複製タグをアクセスするこ
とで処理速度の低下を防ぐことが考えられる。

【０００６】ところで、最近のマイクロプロセッサ等で
は、リード要求処理の高速化のために、キャッシュメモ
リの他に、ライトバッファを内蔵し、キャッシュミス等
によりキャッシュメモリでのデータ置換が発生した時
に、置換対象となったダーティ（更新後、未だ主記憶に
未反映）なキャッシュラインを、外部の主記憶に書き出
すことなく、ライトバッファに過渡的に保持（キューイ
ング）させることで、可能な限り、外部の主記憶等への
時間のかかるライトバックアクセスを減らすことが行わ
れている。このようなライトバッファへのダーティなデ
ータの移動を伴うリード要求処理は、内蔵のキャッシュ
メモリでのキャッシュミス時に、ライトバック処理の先
行による遅延が回避されるので、ノンブロッキングリー
ドと呼ばれている。

【０００７】

【発明が解決しようとする課題】上述のように、複製タ
グを備えたマルチプロセッサシステムにて、個々のプロ
セッサがライトバックに先行するリード発行を実行した
時を考えると、プロセッサ内部では、置換対象のダーテ
ィなキャッシュラインは、ライトバッファに移動し、プ
ロセッサ外部に出力されるキャッシュミスによるリード
要求の検出を契機として、複製タグ内の該当タグエント
リが無効化される。この時点で他のプロセッサから、当
該タグエントリに対応したキャッシュライン（このデー
タは現在、ライトバッファに存在）にリード要求が発生
すると、スヌープ処理にて複製タグをアクセスしてもキ
ャッシュミスとなり、最新のキャッシュラインがライト
バッファ内に存在するにもかかわらず、キャッシュミス
を応答されたリード要求元のプロセッサは、主記憶内の
古いデータへのアクセスを実行してしまうため誤動作と
なる、という技術的課題がある。

【０００８】この対策としては、スヌープ時に、プロセ
ッサ内部のライトバッファにアクセスして目的のキャッ
シュラインが存在するか否かを調べる操作をその都度実
行すれば回避できることは自明であるが、折角、複製タ
グをプロセッサの外部に配置してスヌープ時のアクセス
に起因するプロセッサの負荷を減らす効果が損なわれ
る、という他の技術的課題が発生する。

【０００９】さらに、プロセッサによって、ライトバッ
ファの数量は様々であることが予想され、たとえば、プ
ロセッサ内部に複数キャッシュライン分のライトバッフ
ァを配置する場合、キャッシュメモリ内の同一エントリ
に対する反復したノンブロッキングリードを許容する場
合、すなわち、先行発行されたライトバックをリード要
求が追い越すことを許容した場合の対策も必要となる。

【００１０】なお、前述の特開平７−１２１４４２号公
報の技術では、プロセッサ内のＬ１キャッシュの他に、
外部にＬ２キャッシュを備えたマルチレベルキャッシュ
において、Ｌ２キャッシュ内のラインがＬ１キャッシュ
内にロードされた時に該ラインにセットされ、Ｌ１キャ
ッシュの該ラインによってＬ２キャッシュが置換された
時にリセットされる内包ビットを持ち、スヌープ時に、
この内包ビットがセットされたＬ２キャッシュのライン
対応のＬ１キャッシュのラインを追跡する技術が開示さ
れているが、Ｌ１キャッシュとともにプロセッサ内にラ
イトバッファを配置し、外部に複製タグを配置した場合
においてノンブロッキングリードを実行する時のスヌー
プの正確化の対策については配慮されていない。

【００１１】本発明の目的は、複製タグを備えたマルチ
プロセッサシステムにおいて、ハードウェア規模を必要
以上に増大させることなく、正しいスヌープ処理を実現
することにある。

【００１２】本発明の他の目的は、複製タグを備えたマ
ルチプロセッサシステムにおいて、動作の信頼性を維持
しつつ、ノンブロッキングリードの実行による性能向上
を達成することにある。

【００１３】本発明の他の目的は、複製タグを備えたマ
ルチプロセッサシステムにおいて、個々のプロセッサや
ＣＰＵエレメント等における多様な仕様に影響されるこ
となく、動作の信頼性を維持しつつ、ノンブロッキング
リードの実行による性能向上を達成することにある。

【００１４】本発明の他の目的は、ノンブロッキングリ
ードを実現するための複数のライトバッファを備え、先
行発行されたライトバックをリード要求が追い越すこと
を許容した構成において、動作の信頼性を維持しつつ、
複数のノンブロッキングリードの連続した実行による性
能向上を達成することにある。

【００１５】本発明の他の目的は、複数のＣＰＵエレメ
ントを構成するマイクロプロセッサの仕様変更に対し
て、最小限の設計変更にて対応することが可能なマルチ
プロセッサシステムおよび複製タグの制御技術を提供す
ることにある。

【００１６】本発明の他の目的は、使用するＣＰＵエレ
メント等の仕様変更等に影響されることなく、マルチプ
ロセッサシステムの市場での寿命を延ばすことにある。

【００１７】

【課題を解決するための手段】本発明では、キャッシュ
メモリの他に当該キャッシュメモリの置換時等に発生す
るライトバックデータを一時的に保持するライトバッフ
ァを備え、ノンブロッキングリードの実行を可能にした
プロセッサやＣＰＵエレメント等を含むシステムにおい
て、スヌープ処理のために外部に設けられた複製タグの
一部に、ノンブロッキングリードに伴って、キャッシュ
メモリ内からライトバッファにキャッシュラインが移動
して存在することを識別するための識別情報を、複製タ
グ内の該当エントリの一部に記憶させるものである。

【００１８】この識別情報としては、たとえば、ライト
バッファが一つの場合には、１ビットのフラグが設定さ
れ、このフラグは、キャッシュメモリからライトバッフ
ァに該当キャッシュラインが移動させるノンブロッキン
グリードの発生時にセットされ、ライトバッファから主
記憶、あるいはプロセッサ外部の二次キャッシュ等に当
該キャッシュラインが書き出された時点でリセットされ
る。

【００１９】また、プロセッサやＣＰＵエレメント内に
複数のライトバッファを備え、キャッシュメモリ内の特
定エントリに対する連続したノンブロッキングリードの
実行を許容する構成では、複製タグに設定される識別情
報としては、当該タグエントリの有効／無効を示すフラ
グと、当該タグエントリのキャッシュラインに対するノ
ンブロッキングリードの実行時にインクリメントされ、
ライトバッファから当該キャッシュラインが書き出され
た時点でデクリメントされるカウンタフィールドとが設
定される。

【００２０】これらのフラグおよびカウンタ値に応じ
て、ライトバッファ内における一つあるいは複数のライ
トバックデータの存在を、ライトバッファ自体にアクセ
スすることなく、確実に知ることができる。また、所望
のｎビット幅のカウンタフィールドを設定することで、
２ⁿ −１個までの多様な数のライトバッファを内蔵した
構成の多様なプロセッサやＣＰＵエレメントの複製タグ
の使用による正確なスヌープ処理を、複数のノンブロッ
キングリードを許容しつつ、実現可能となる。

【００２１】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照しながら詳細に説明する。

【００２２】（実施の形態１）図１および図２は、本発
明の第１の実施の形態である複製タグの制御方法が実施
されるマルチプロセッサシステムの構成の一例を示すブ
ロック図であり、図２は、本第１の実施の形態の複製タ
グの制御方法にて用いられる制御情報の一例を示す概念
図である。また、図４および図５は、本第１の実施の形
態のマルチプロセッサシステムおよび複製タグの制御方
法の作用の一例を示す概念図、図６、図７および図８
は、本第１の実施の形態のマルチプロセッサシステムお
よび複製タグの制御方法の作用の一例を示すフローチャ
ートである。

【００２３】図１に例示されるように、本第１の実施の
形態のマルチプロセッサシステムは、各々がＣＰＵエレ
メント１０およびＣＰＵ−ＳＣインタフェース２０を備
えた複数のプロセッサモジュールＰＭ０〜ＰＭｎと、少
なくとも一つのメインメモリ３０（ＭＭ）とが、バスま
たはクロスバスイッチ等の任意のシステムコネクション
４０（ＳＣ）を介して結合された構成となっており、メ
インメモリ３０は、複数のプロセッサモジュールＰＭ０
〜ＰＭｎによって共有される密結合型のマルチプロセッ
サシステムとなっている。

【００２４】ＣＰＵエレメント１０は、たとえば汎用の
マイクロプロセッサ等で構成され、その内部には、所望
の演算処理等を行うＣＰＵコア１１と、このＣＰＵコア
１１によってアクセスされるメインメモリ３０上のデー
タが一時的に格納されるＣＰＵキャッシュ１２およびＣ
ＰＵキャッシュ１２を管理するための情報が格納される
ＣＰＵキャッシュタグ１３と、ライトバッファ１４を備
えている。本実施の形態のＣＰＵエレメント１０は、メ
インメモリ３０から読出されるリードデータのみなら
ず、ＣＰＵコア１１にて更新されたライトデータもＣＰ
Ｕキャッシュ１２を経由してメインメモリ３０に書き出
す、ライトバック（ストアイン）方式を採用している。

【００２５】ＣＰＵキャッシュ１２でのキャッシュミス
が発生し、新なリードデータをＣＰＵキャッシュ１２に
格納するためにＣＰＵキャッシュ１２上の更新データ
（メインメモリ３０に未反映のダーティなデータライ
ン）の置換が発生した場合、置換対象のダーティなデー
タラインは、直ちにメインメモリ３０に書き出されるの
ではなく、一旦、ライトバッファ１４に移動され、任意
のタイミングでメインメモリ３０に書き出される。この
ため、キャッシュミス時のメインメモリ３０へのリード
要求時に、当該リード要求に先行してＣＰＵキャッシュ
１２からメインメモリ３０へのライトバック動作が発生
しない、ノンブロッキングリードが可能である。

【００２６】ＣＰＵ−ＳＣインタフェース２０は、ＣＰ
Ｕエレメント１０とメインメモリ３０との間に介在して
両者間における情報の授受を制御する。具体的には、上
位のＣＰＵエレメント１０から受信したリード要求やラ
イト要求のシステムコネクション４０への送出、システ
ムコネクション４０から受信した他のプロセッサモジュ
ールからのリード要求の後述のような選別およびＣＰＵ
エレメント１０への送出、等の動作を行う。

【００２７】本実施の形態の場合、このＣＰＵ−ＳＣイ
ンタフェース２０には、ＣＰＵキャッシュ複製タグ２１
が配置されており、ＣＰＵエレメント１０とメインメモ
リ３０との間で授受されるリードデータおよびライトデ
ータのアドレスを監視することで、ＣＰＵエレメント１
０内のＣＰＵキャッシュ１２の状態を記録する。これに
より、スヌープ処理等に際して、他のプロセッサモジュ
ールからシステムコネクション４０を経由してリード要
求が到来した時、ＣＰＵキャッシュ複製タグ２１を参照
し、ＣＰＵキャッシュ１２内に目的のデータがある時
（キャッシュヒット時）は当該リード要求をＣＰＵエレ
メント１０に送出し、無い（キャッシュミス）時には、
当該リード要求をＣＰＵエレメント１０に送出すること
なく、リード要求元にキャッシュミスを応答する、とい
うシステムコネクション４０側からのリード要求の選別
処理を行う。これにより、ＣＰＵエレメント１０に対す
る無駄なアクセスの発生が少なくなり、スヌープ処理等
におけるＣＰＵエレメント１０の負荷が軽減される。

【００２８】本実施の形態の場合、このＣＰＵキャッシ
ュ複製タグ２１の各タグエントリ２２には、任意のアド
レスのキャッシュラインのＣＰＵキャッシュ１２におけ
る有無を判別するためのタグアドレス２３の他に、ライ
トバッファ監視情報２４が設けられている。

【００２９】図２に例示されるように、このライトバッ
ファ監視情報２４は、本実施の形態の場合、１ビットの
全ヒットフラグ２４ａであり、当該タグエントリ２２に
対応するＣＰＵキャッシュ１２内のダーティなキャッシ
ュラインが、ノンブロッキングリード要求に伴う置換操
作のためにライトバッファ１４に移動（キューイング）
された時に“１”にセットされ、ライトバッファ１４の
キャッシュラインがメインメモリ３０に書き出されるラ
イトバック実行時に、“０”にリセットされる。

【００３０】ノンブロッキングリードと、ＣＰＵキャッ
シュ１２からライトバッファ１４へのデータ移動が伴わ
ない通常のリード要求とを区別する方法としては、たと
えば、ＣＰＵエレメント１０として市販の汎用のマイク
ロプロセッサを使用する場合、リード要求の発生時に、
マイクロプロセッサの特定のピンの信号（論理）状態を
検査することでノンブロッキングリードか否かを識別可
能である。このような動作仕様のマイクロプロセッサと
しては、たとえばＰｏｗｅｒＰＣ６０４等の製品が知ら
れている。たとえば、１９９５年１２月発行、「Ｐｏｗ
ｅｒＰＣ６０４ＲＩＳＣ マイクロプロセッサ ユーザ
ーズ・マニュアル」第７章、Ｐ１〜Ｐ１３、には、通常
のリード要求（書き出し無しデータ・リード）と、ノン
ブロッキングリード（書き出し付きデータ・リード）
は、転送コード出力ＴＣ０〜ＴＣ２のうち、ＴＣ２の論
理状態が“０”か“１”かで外部から区別できる。な
お、ＰｏｗｅｒＰＣ６０４はあくまでも一例であり、Ｃ
ＰＵエレメント１０としては、同様の動作仕様を有する
ものであれば、任意のマイクロプロセッサ製品を使用可
能であることはいうまでもない。

【００３１】あるいは、たとえば、ＣＰＵエレメント１
０とＣＰＵ−ＳＣインタフェース２０との間に、ノンブ
ロッキングリード要求か通常のリード要求かを区別する
ための専用のインタフェースを設けることでリード要求
がノンブロッキングリードか否かを判別することもでき
る。

【００３２】以下、図４、図５および図６、図７、図８
等を参照して、本実施の形態のマルチプロセッサシステ
ムおよび複製タグの制御方法の作用の一例を説明する。

【００３３】〔１〕ＣＰＵキャッシュ複製タグ２１の制
御動作 図４（１）初期状態 この状態では、ＣＰＵキャッシュ１２のインデックスａ
のエントリにタグアドレスＡのダーティなキャッシュラ
インＡが存在し、これに対応して、ＣＰＵキャッシュ複
製タグ２１のインデックスａ対応のタグエントリ２２に
は、タグアドレスＡが格納さている。この時、全ヒット
フラグ２４ａは不定（×）である。

【００３４】図４（２）ＣＰＵエレメント１０がリード
要求Ｂ発行 図４（１）の初期状態で、ＣＰＵコア１１によるＣＰＵ
キャッシュ１２のキャッシュミスにより、リードリクエ
ストＢ（ノンブロッキングリード）が発生すると、新規
のリードデータＢの格納領域を確保するための置換によ
り、ダーティなキャッシュラインＡは、ライトバッファ
１４に移動（キューイング）され、外部に対するライト
バックは抑止される。また、ＣＰＵエレメント１０は、
リード要求Ｂおよび当該リード要求Ｂがノンブロッキン
グリードであることを示す図示しない識別信号をＣＰＵ
−ＳＣインタフェース２０に出力する。

【００３５】このリード要求Ｂを受けたＣＰＵ−ＳＣイ
ンタフェース２０では、図６に例示されるように、ま
ず、ＣＰＵキャッシュ複製タグ２１のインデックスａの
タグエントリ２２に、リードターゲットのタグアドレス
Ｂを記録（ステップ１０１）したのち、ノンブロッキン
グリード（置換によるライトバック有り）か否かを判別
し（ステップ１０２）、ライトバック有りのため、全ヒ
ットフラグ２４ａを“１”にセットする。なお、ノンブ
ロッキングリードでない通常のリード要求であれば、全
ヒットフラグ２４ａは“０”にリセット（ステップ１０
３）される。

【００３６】図４（３）ＣＰＵエレメント１０がライト
要求Ａ発行 図４（２）の状態で、ＣＰＵエレメント１０からライト
バッファ１４内のキャッシュラインＡのライトバックが
ＣＰＵ−ＳＣインタフェース２０に発行されると、メイ
ンメモリ３０にキャッシュラインＡが反映されるととも
に、図７に示すように、ＣＰＵ−ＳＣインタフェース２
０は、全ヒットフラグ２４ａを“０”にリセット（ステ
ップ２０１）する。

【００３７】〔２〕ＣＰＵエレメント１０の同一インデ
ックスアドレスに対するシリアライズ動作 図５（１）初期状態 この初期状態は、図４の（２）の状態である。

【００３８】図５（２）ＣＰＵエレメント１０による、
リード要求に先立つライトバック動作 ＣＰＵコア１１から同一インデックスａに対するリード
要求Ｃが発生してキャッシュミスすると、ＣＰＵエレメ
ント１０は、ライトバッファ１４に以前にキューイング
されたキャッシュラインＡ（インデックスａ）の存在を
検出し、当該リード要求Ｃに先立ち、まず、当該ライト
バッファ１４内のキャッシュラインＡをメインメモリ３
０に反映させるためのライト要求Ａを発行する。これに
より、ライトバッファ１４内のキャッシュラインＡのデ
ータは、メインメモリ３０に書き込まれるとともに、こ
のライト要求Ａは、インデックスａのタグエントリ２２
の全ヒットフラグ２４ａを“０”にリセットする。

【００３９】図５（３）ＣＰＵエレメント１０による、
リード要求Ｃの実行 図５（２）の後、ＣＰＵコア１１からインデックスａに
対するリード要求Ｃが実行されると、ＣＰＵキャッシュ
１２内のインデックスａのエントリには現在、ダーティ
なキャッシュラインＢが存在するため当該キャッシュラ
インの置換が発生し、当該キャッシュラインＢはライト
バッファ１４に移動（キューイング）される。その後リ
ード要求Ｃ（ノンブロッキングリード）がＣＰＵ−ＳＣ
インタフェース２０に発行される。

【００４０】これを受けた、ＣＰＵ−ＳＣインタフェー
ス２０は、インデックスａのタグエントリ２２にタグア
ドレスＣをセットするとともに、全ヒットフラグ２４ａ
を“１”にセットする。

【００４１】このような動作により、同一のインデック
スに対する複数のリード要求が発生しても当該リード要
求はライトバックを追い越さないので、コヒーレンシは
維持される。

【００４２】〔３〕システムコネクション４０を経由し
た他のＣＰＵエレメント１０からのリード要求の処理 次に、任意の契機、たとえば、図４の（２）の状態で、
スヌープ処理のために、システムコネクション４０（他
のＣＰＵエレメント１０）からＣＰＵ−ＳＣインタフェ
ース２０にリード要求Ａが到来すると、ＣＰＵ−ＳＣイ
ンタフェース２０は、まずＣＰＵキャッシュ複製タグ２
１を検索する（ステップ３０１）。

【００４３】そして、リード要求Ａに対応するタグエン
トリ２２（インデックスａ）の全ヒットフラグ２４ａが
“１”か否かを判定する（ステップ３０２）。この時、
“１”ならば、目的のキャッシュラインＡは、ＣＰＵエ
レメント１０内のライトバッファ１４に存在すると判る
ので（ライトバッファヒット）、ＣＰＵエレメント１０
に対して、リード要求Ａを発行する（ステップ３０
４）。

【００４４】一方、前記ステップ３０２の判定で全ヒッ
トフラグ２４ａが“１”でない場合には、さらに、同一
タグエントリ２２のタグアドレスがリード要求Ａのもと
一致するか否かを調べる（ステップ３０３）。

【００４５】一致する場合には、ＣＰＵキャッシュヒッ
トとなり、前記ステップ３０４を実行する。また、不一
致の場合にはＣＰＵキャッシュミスとなり、当該結果を
リード要求Ｃの要求元に応答するだけで、ＣＰＵエレメ
ント１０に対するアクセスは発生しない（ステップ３０
５）。

【００４６】ここで、本実施の形態における前記ステッ
プ３０２の全ヒットフラグ２４ａの判定がなく、ＣＰＵ
キャッシュ複製タグ２１におけるヒット判定がタグアド
レスのみの従来の場合には、タグアドレスが不一致とな
ると、ＣＰＵエレメント１０のライトバッファ１４内に
目的のキャッシュラインＡが存在する（ライトバッファ
ヒット）にも関わらず要求元にはミスが応答されること
になる。このミス応答を受けた要求元の他のＣＰＵエレ
メント１０は、メインメモリ３０に対して当該リード要
求Ａを発行することになるが、メインメモリ３０のリー
ド要求Ａのアドレスのデータは、ライトバッファ１４内
のキャッシュラインＡが反映される前の古い無効なデー
タであるため、キャッシュコヒーレンシが保たれず、障
害が発生する。

【００４７】これに対して、本実施の形態の場合には、
タグアドレスが不一致の場合でも、全ヒットフラグ２４
ａによって、ノンブロッキングリード時にライトバッフ
ァ１４にキューイングされた状態の目的のキャッシュラ
インＡを確実に見い出して正確にヒット判定をすること
ができ、前述のような障害の発生は確実に回避される。

【００４８】また、使用する物量は、ＣＰＵキャッシュ
複製タグ２１のタグエントリ２２における高々１ビット
であるため、ＣＰＵキャッシュ複製タグ２１の容量が必
要以上に増大する等の不利益が発生することもない。す
なわち、比較的少ない物量にて、ＣＰＵキャッシュ複製
タグ２１を備えたマルチプロセッサシステムにおけるノ
ンブロッキングリード実行時のキャッシュコヒーレンシ
の制御、すなわちスヌープ処理を正確に実行することが
可能になる。

【００４９】（実施の形態２）図３は、本発明の第２の
実施の形態である複製タグの制御方法が実施されるマル
チプロセッサシステムにて用いられる制御情報の一例を
示す概念図であり、図図９および図１０は、その作用の
一例を示す概念図、図１１、図１２および図１３は、そ
の作用の一例を例示すフローチャートである。

【００５０】前述の第１の実施の形態では、全ヒットフ
ラグ２４ａが１ビットであったため、図５に例示される
ような同一インデックスに対する複数のリード要求処理
時のシリアライズ動作、すなわち、２回目以降のリード
要求がライトバック処理を追い越さない動作が必要、と
いう制約があった。そこで、この第２の実施の形態で
は、前述のような制約を取り除く技術を例示する。

【００５１】本実施の形態では、図３に例示されるよう
に、ライトバッファ監視情報２５として、ライトカウン
タ２５ａおよびエントリバリッド２５ｂを、ＣＰＵキャ
ッシュ複製タグ２１におけるタグエントリ２２の一部に
設ける。また、ＣＰＵエレメント１０では、ライトバッ
ファ１４を複数エントリ（Ｎ個）備えている。その他の
構成は前記第１の実施の形態と同様なので、同一の構成
要素は同一の符号にて引用する。

【００５２】ライトカウンタ２５ａのビット幅は、ライ
トバッファ１４のエントリ数Ｎに依存し、ｌｏｇ（Ｎ＋
１）ビットの幅を持つ（ただし小数は切上げ）。エント
リバリッド２５ｂは１ビットのフラグである。

【００５３】ライトカウンタ２５ａは、当該タグエント
リ２２に対応したＣＰＵキャッシュ１２内のインデック
スのデータのライトバッファ１４へのキューイングが行
われる毎にインクリメントされ、ライトバッファ１４か
らメインメモリ３０への書込動作が実行される毎にデク
リメントされる。

【００５４】エントリバリッド２５ｂは、当該タグエン
トリ２２が有効の時に“１”セットされ、それ以外は
“０”にクリアされる。

【００５５】以下、図９および図１０、さらには図１
１、図１２、図１３を参照して、本第２の実施の形態の
作用の一例を説明する。

【００５６】〔１〕基本的なＣＰＵキャッシュ複製タグ
２１の制御動作 図９（１）初期状態 この初期状態では、ＣＰＵエレメント１０内のＣＰＵキ
ャッシュ１２のインデックスａにキャッシュラインＡ
（ダーティ）が存在し、これ対応して、ＣＰＵキャッシ
ュ複製タグ２１のタグエントリ２２には、タグアドレス
Ａが設定されている。この時、ライトバッファ１４は空
であり、ライトカウンタ２５ａは０、エントリバリッド
２５ｂは“１”である。

【００５７】図９（２）ＣＰＵエレメント１０によるノ
ンブロッキングリードの実行 前記（１）の状態にて、ＣＰＵコア１１から出されたリ
ード要求ＢがＣＰＵキャッシュ１２にてミスすると、置
換のためのライトバックが発生し、ダーティなキャッシ
ュラインＡは、ライトバッファ１４にキューイングされ
るとともに、外部にリード要求Ｂ（ノンブロッキングリ
ード）が発行される。

【００５８】これを受けたＣＰＵ−ＳＣインタフェース
２０は、図１１に例示されるように、インデックスａに
タグアドレスＢを上書きし、エントリバリッド２５ｂに
“１”をセットする（ステップ４０１）とともに、ノン
ブロッキングリードか判定し（ステップ４０２）、ノン
ブロッキングリードであるので、さらにエントリバリッ
ド２５ｂが“０”か否か判別し（ステップ４０３）、
“１”なので、さらにライトカウンタ２５ａ＝ライトバ
ッファ１４のエントリ数か否か判定し（ステップ４０
４）、不一致の場合にライトカウンタ２５ａをインクリ
メントする（ステップ４０５）。なお、ステップ４０３
およびステップ４０４の判定での条件成立の場合はＥＲ
ＲＯＲ終了であるが、本第２の実施の形態の正常な動作
では発生せず、図示の便宜上記載されている。

【００５９】図９（３）ＣＰＵエレメント１０によるラ
イトバック実行 ＣＰＵエレメント１０からライトバッファ１４内のキャ
ッシュラインＡのライトバック要求が発生すると、当該
キャッシュラインＡは、メインメモリ３０の対応アドレ
スに上書きされて反映される。このとき、このライトバ
ック要求を検出したＣＰＵ−ＳＣインタフェース２０
は、ＣＰＵキャッシュ複製タグ２１における当該インデ
ックスａの対応タグエントリ２２のエントリバリッド２
５ｂが“０”（無効）か否かを判定し（ステップ５０
１）、“０”でない（有効）場合は、ライトカウンタ２
５ａ＝０か否か（ライトバッファ１４にデータがあるの
にライトカウンタ２５ａ＝０だとＥＲＲＯＲであるが、
本実施の形態では起こりえない）を調べ（ステップ５０
２）、０でない場合には、ライトカウンタ２５ａをデク
リメントする。

【００６０】〔２〕ＣＰＵエレメント１０による同一イ
ンデックスに対する複数のノンブロッキングリード実行
（第１の実施の形態のシリアライズ動作は不要） 図１０（１）初期状態 これは、図９（２）の状態に相当し、ＣＰＵエレメント
１０におけるＣＰＵキャッシュ１２のインデックスａに
はキャッシュラインＢ（ダーティ）が存在し、ライトバ
ッファ１４には前のノンブロッキングリードでキューイ
ングされたキャッシュラインＡが存在する。これに対応
してＣＰＵキャッシュ複製タグ２１の当該インデックス
ａのタグエントリ２２にはタグアドレスＢが設定され、
ライトカウンタ２５ａには、キャッシュラインＡがライ
トバッファ１４に存在することを示す１が設定され、エ
ントリバリッド２５ｂは“１”が設定されている。

【００６１】図１０（２）ＣＰＵエレメント１０がライ
トバック未完のインデックスに対するリード要求を発行 ＣＰＵエレメント１０において、ＣＰＵコア１１から発
行されたリード要求Ｃ（インデックスａ）がＣＰＵキャ
ッシュ１２にてミスすると、ＣＰＵキャッシュ１２の置
換のためのライトバック要求Ｂが発生し、キャッシュラ
インＢは、ライトバッファ１４にキューイングされる。
リード要求Ｃは、ノンブロッキングリードとしてＣＰＵ
−ＳＣインタフェース２０に発行される。

【００６２】これを受けたＣＰＵ−ＳＣインタフェース
２０では、まず、ＣＰＵキャッシュ複製タグ２１のイン
デックスａにタグアドレスＣを記録し、エントリバリッ
ド２５ｂに“１”をセットし、さらに、ライトカウンタ
２５ａをインクリメントする。これにより、ライトカウ
ンタ２５ａの値は２となる。これは、インデックスａに
対応するライトバック未完のキャッシュラインが、ＣＰ
Ｕエレメント１０内のライトバッファ１４内に２つ（Ａ
およびＢ）存在することを意味する。

【００６３】図１０（３）ＣＰＵエレメント１０がライ
トバック要求を発行 前記（２）の状態から、ＣＰＵエレメント１０にてライ
トバック要求が実行されると、ライトバッファ１４内に
て最も古いキャッシュラインＡがＣＰＵ−ＳＣインタフ
ェース２０を経由してメインメモリ３０に書き込まれ反
映される。

【００６４】このとき、このライトバック要求を受けた
ＣＰＵ−ＳＣインタフェース２０は、ＣＰＵキャッシュ
複製タグ２１のインデックスａにおけるライトカウンタ
２５ａをデクリメントする。

【００６５】この結果、ＣＰＵエレメント１０内のライ
トバッファ１４にはキャッシュラインＢが残り、ＣＰＵ
キャッシュ複製タグ２１におけるインデックスａのタグ
エントリ２２のライトカウンタ２５ａは１となる。

【００６６】図１０（４）ＣＰＵエレメント１０がライ
トバック要求を発行 前記（３）と同様に、さらにＣＰＵエレメント１０から
ライトバック要求が発行されると、キャッシュラインＢ
は、メインメモリ３０に反映されるとともに、ＣＰＵキ
ャッシュ複製タグ２１のライトカウンタ２５ａは０にな
る。この時、ライトバッファ１４は空である。

【００６７】〔３〕システムコネクション４０を経由し
た他のＣＰＵエレメント１０からのリード要求の処理 次に、任意の契機、たとえば図１０の（２）の状態で、
システムコネクション４０を介して他のプロセッサモジ
ュール（ＣＰＵエレメント１０）からリード要求Ｂを受
けたとすると、図１３に例示されるように、まずＣＰＵ
キャッシュ複製タグ２１の該当タグエントリ２２を検索
する（ステップ６０１）。

【００６８】そして、ライトカウンタ２５ａ＞０か調
べ、この条件が成立する場合には、目的のキャッシュラ
インＢがＣＰＵエレメント１０内のライトバッファ１４
に存在すると判定して、ＣＰＵエレメント１０に対して
リード要求Ｂを発行する（ステップ６０４）。

【００６９】また、ステップ６０２での条件が不成立の
場合には、さらに、エントリバリッド２５ｂ＝“１”で
かつタグアドレスが一致するか否かを調べ（ステップ６
０２）、条件成立の場合には、ＣＰＵキャッシュ１２内
に目的のデータがあると判断して、ＣＰＵエレメント１
０に対してリード要求Ｂを発行する（ステップ６０
４）。

【００７０】また、ステップ６０３において条件が不成
立の場合には、ミスと判定して、要求元に応答するとと
もに、ＣＰＵエレメント１０に対するリード要求の発行
は抑止される。

【００７１】このように、本第２の実施の形態の場合に
も、前記第１の実施の形態の場合と同様に、他のプロセ
ッサモジュールからのリード要求に対して、ノンブロッ
キングリードによってＣＰＵエレメント１０内のライト
バッファ１４にキューイングされているキャッシュライ
ンをライトカウンタ２５ａおよびエントリバリッド２５
ｂの情報によって確実に把握でき、障害の発生を防止で
きるとともに、ライトカウンタ２５ａにより、複数のラ
イトバッファ１４を利用して、同一インデックスに対す
る複数の連続したノンブロッキングリードの発生を許容
できるという利点がある。

【００７２】たとえば、市販の汎用のマルチプロセッサ
では、製品の市場サイクルが比較的短く、したがって、
製品改良（バージョンアップ）等により、ＣＰＵエレメ
ント１０内のライトバッファ１４のエントリ数は変化す
る可能性がある。本第２の実施の形態の場合には、この
ような仕様変更が発生しても、ライトカウンタ２５ａの
ビット幅を調整するだけで、ＣＰＵ−ＳＣインタフェー
ス２０等の制御論理に対する変更は全く必要ない。ま
た、マイクロプロセッサ側の仕様変更を見越してある程
度広いビット幅のライトカウンタ２５ａを設定すれば、
ライトバッファ１４のエントリ数の異なる多様なマイク
ロプロセッサをＣＰＵエレメント１０として用いるマル
チプロセッサシステムの構築に際して、ＣＰＵ−ＳＣイ
ンタフェース２０やシステムコネクション４０等を共通
に用いることが可能になる。

【００７３】すなわち、汎用のマイクロプロセッサをＣ
ＰＵエレメント１０として用いることにより、マルチプ
ロセッサシステム構築することを考えた場合、マイクロ
プロセッサの仕様変更に際しても、ＣＰＵ−ＳＣインタ
フェース２０やシステムコネクション４０等のユーザ側
の制御論理等の変更は全く必要ないか、あるいは最小限
に止めることが可能となり、マルチプロセッサシステム
を開発する場合の設計工数等を削減できるとともに、マ
ルチプロセッサシステムの市場での寿命を長くすること
ができる。

【００７４】（実施の形態３）図１４は、本発明の第３
の実施の形態であるマルチプロセッサシステムの構成の
一例を示すブロック図である。この第３の実施の形態で
は、ＣＰＵ−ＳＣインタフェース２０の内部に、二次キ
ャッシュ５０および当該二次キャッシュ５０を制御する
ための二次キャッシュタグ５１を備えたところが、前記
第１および第２の実施の形態と異なっており、他は同様
である。

【００７５】この第３の実施の形態の場合、他のプロセ
ッサモジュール（ＣＰＵエレメント１０）からのリード
要求をＣＰＵ−ＳＣインタフェース２０が受信すると、
二次キャッシュタグ５１の検索と、ＣＰＵキャッシュ複
製タグ２１のタグアドレスおよびライトバッファ監視情
報２４（２５）のチェックを同時並行して実行する。こ
のとき、たとえ、二次キャッシュ５０やＣＰＵキャッシ
ュ複製タグ２１のタグアドレスにてミスと判定されて
も、ライトバッファ監視情報２４（２５）により、ノン
ブロッキングリードにてＣＰＵエレメント１０内のライ
トバッファ１４にキューイングされた存在するライトバ
ック保留中のキャッシュラインの存在を確実に把握でき
るので、ノンブロッキングリードによってＣＰＵエレメ
ント１０内のライトバッファ１４内に存在するデータを
見逃すことに起因するスヌープ処理の失敗を確実に回避
することが可能になる。

【００７６】なお、図１４では、説明の便宜上、ＣＰＵ
キャッシュ複製タグ２１と、二次キャッシュ５０用の二
次キャッシュタグ５１とを別個に例示しているが、両者
を同一の記録媒体内に配置して管理することも本発明に
含まれる。

【００７７】以上本発明者によってなされた発明を実施
の形態に基づき具体的に説明したが、本発明は前記実施
の形態に限定されるものではなく、その要旨を逸脱しな
い範囲で種々変更可能であることはいうまでもない。

【００７８】

【発明の効果】本発明のマルチプロセッサシステムおよ
び複製タグの制御方法によれば、複製タグを備えたマル
チプロセッサシステムにおいて、ハードウェア規模を必
要以上に増大させることなく、正しいスヌープ処理を実
現することができる、という効果が得られる。

【００７９】本発明のマルチプロセッサシステムおよび
複製タグの制御方法によれば、複製タグを備えたマルチ
プロセッサシステムにおいて、動作の信頼性を維持しつ
つ、ノンブロッキングリードの実行による性能向上を達
成することができる、という効果が得られる。

【００８０】本発明のマルチプロセッサシステムおよび
複製タグの制御方法によれば、複製タグを備えたマルチ
プロセッサシステムにおいて、個々のプロセッサやＣＰ
Ｕエレメント等における多様な仕様に影響されることな
く、動作の信頼性を維持しつつ、ノンブロッキングリー
ドの実行による性能向上を達成することができる、とい
う効果が得られる。

【００８１】本発明のマルチプロセッサシステムおよび
複製タグの制御方法によれば、ノンブロッキングリード
を実現するための複数のライトバッファを備え、先行発
行されたライトバックをリード要求が追い越すことを許
容した構成のマルチプロセッサシステムにおいて、動作
の信頼性を維持しつつ、複数のノンブロッキングリード
の連続した実行による性能向上を達成することができ
る、という効果が得られる。

【００８２】本発明のマルチプロセッサシステムおよび
複製タグの制御方法によれば、複数のＣＰＵエレメント
を構成するマイクロプロセッサの仕様変更に対して、最
小限の設計労力にて対応することができる、という効果
が得られる。

【００８３】本発明のマルチプロセッサシステムおよび
複製タグの制御方法によれば、使用するＣＰＵエレメン
ト等の仕様変更等に影響されることなく、マルチプロセ
ッサシステムの市場での寿命を延ばすことができる、と
いう効果が得られる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態である複製タグの制
御方法が実施されるマルチプロセッサシステムの構成の
一例を示すブロック図である。

【図２】本発明の第１の実施の形態のマルチプロセッサ
システムおよび複製タグの制御方法にて用いられる制御
情報の一例を示す概念図である。

【図３】本発明の第２の実施の形態であるマルチプロセ
ッサシステムおよび複製タグの制御方法にて用いられる
制御情報の一例を示す概念図である。

【図４】本発明の第１の実施の形態であるマルチプロセ
ッサシステムおよび複製タグの制御方法の作用の一例を
説明する概念図である。

【図５】本発明の第１の実施の形態のマルチプロセッサ
システムおよび複製タグの制御方法の作用の一例を示す
概念図である。

【図６】本発明の第１の実施の形態であるマルチプロセ
ッサシステムおよび複製タグの制御方法の作用の一例を
説明するフローチャートである。

【図７】本発明の第１の実施の形態であるマルチプロセ
ッサシステムおよび複製タグの制御方法の作用の一例を
説明するフローチャートである。

【図８】本発明の第１の実施の形態のマルチプロセッサ
システムおよび複製タグの制御方法の作用の一例を示す
フローチャートである。

【図９】本発明の第２の実施の形態のマルチプロセッサ
システムおよび複製タグの制御方法の作用の一例を示す
概念図である。

【図１０】本発明の第２の実施の形態のマルチプロセッ
サシステムおよび複製タグの制御方法の作用の一例を示
す概念図である。

【図１１】本発明の第２の実施の形態のマルチプロセッ
サシステムおよび複製タグの制御方法の作用の一例を示
すフローチャートである。

【図１２】本発明の第２の実施の形態のマルチプロセッ
サシステムおよび複製タグの制御方法の作用の一例を示
すフローチャートである。

【図１３】本発明の第２の実施の形態のマルチプロセッ
サシステムおよび複製タグの制御方法の作用の一例を示
すフローチャートである。

【図１４】本発明の第３の実施の形態であるマルチプロ
セッサシステムの構成の一例を示すブロック図である。

【符号の説明】

１０…ＣＰＵエレメント（上位モジュール）、１１…Ｃ
ＰＵコア、１２…ＣＰＵキャッシュ（上位キャッシ
ュ）、１３…ＣＰＵキャッシュタグ、１４…ライトバッ
ファ、２０…ＣＰＵ−ＳＣインタフェース（インタフェ
ース手段）、２１…ＣＰＵキャッシュ複製タグ、２２…
タグエントリ、２３…タグアドレス、２４…ライトバッ
ファ監視情報（識別情報）、２４ａ…全ヒットフラグ、
２５…ライトバッファ監視情報（識別情報）、２５ａ…
ライトカウンタ、２５ｂ…エントリバリッド、３０…メ
インメモリ、４０…システムコネクション（システム結
合手段）、５０…二次キャッシュ、５１…二次キャッシ
ュタグ。

フロントページの続き (72)発明者 鈴木 英雄 神奈川県海老名市下今泉810番地 株式 会社日立製作所 オフィスシステム事業 部内 (56)参考文献 特開 平９−54758（ＪＰ，Ａ) 特開 平10−232832（ＪＰ，Ａ) 特開 平７−44459（ＪＰ，Ａ) 特開 平９−138779（ＪＰ，Ａ) 特開 平７−6092（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 12/08 G06F 15/16 - 15/177

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 複数のプロセッサモジュールがシステム
   結合手段を介してメモリモジュールを共有し、個々の前
   記プロセッサモジュールは、ＣＰＵコアおよびＣＰＵキ
   ャッシュおよびライトバッファを含むＣＰＵエレメント
   と、前記ＣＰＵエレメントと前記システム結合手段との
   間における情報の授受を仲介するインタフェース手段と
   を含む構成のマルチプロセッサシステムであって、 前記インタフェース手段の一部には、前記ＣＰＵエレメ
   ント内の前記ＣＰＵキャッシュの状態が反映される複製
   タグを備え、 前記複製タグの各タグエントリには、当該タグエントリ
   に対応した前記ＣＰＵキャッシュ内のデータラインが当
   該ＣＰＵキャッシュから前記ライトバッファ内に移動し
   て存在するか否かを識別するための識別情報を含むこと
   を特徴とするマルチプロセッサシステム。
2. 【請求項２】 請求項１記載のマルチプロセッサシステ
   ムにおいて、前記識別情報は、 前記タグエントリに対応する前記ＣＰＵキャッシュ内の
   前記データラインが前記ライトバッファに移動した時に
   セットされ、前記ライトバッファ内の前記キャッシュラ
   インが前記メモリモジュールに書き出された時にリセッ
   トされる１ビットの第１のフラグからなる第１の構成、 または、前記タグエントリが有効か否かを示す１ビット
   の第２のフラグと、当該タグエントリに対応した前記Ｃ
   ＰＵキャッシュ内のデータラインが前記ライトバッファ
   に移動する毎にインクリメントされ、前記ライトバッフ
   ァから前記キャッシュラインが前記メモリモジュールに
   書き出される毎にデクリメントされるカウンタフィール
   ドとを含む第２の構成、 のいずれかを備えたことを特徴とするマルチプロセッサ
   システム。
3. 【請求項３】 上位キャッシュメモリと、この上位キャ
   ッシュメモリを管理する上位タグと、前記上位キャッシ
   ュメモリから外部に書き出されるキャッシュラインを一
   時的に保持するライトバッファとを含む上位モジュール
   の外部に、前記上位キャッシュメモリの状態が反映され
   る複製タグを配置し、前記上位モジュールの外部から前
   記上位キャッシュメモリに対するリード要求が発生した
   時、前記複製タグを参照して前記リード要求の対象の前
   記キャッシュラインが前記上位キャッシュメモリ内に存
   在するか否かを判定する複製タグの制御方法であって、 前記複製タグのタグエントリの一部に、当該タグエント
   リに対応した前記上位キャッシュメモリ内のキャッシュ
   ラインが、前記ライトバッファに移動して存在するか否
   かを識別するための識別情報を備えたことを特徴とする
   複製タグの制御方法。