JPH09198309A - 情報処理システム及びシステム制御方法及び情報処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 システムの処理性能を向上する情報処理シス
テム及びそのシステム制御方法及び情報処理装置を提供
する。 【解決手段】 ノード０内のＭＰＵ00の制御によりノー
ド１のノード・メモリ１からキャッシングしてきたデー
タブロックに対し、該データブロックが他のどのノード
内のキャッシュ・メモリにキャッシュされているかを示
す第１キャッシング情報をＥＣＳ０に記憶する。また、
ノード１内のノード・メモリ１に格納されているデータ
ブロックが、他のどの情報処理装置にキャッシングされ
ているかを示す第２キャッシング情報をＤＩＲ１に記憶
する。第１キャッシング情報と第２キャッシング情報に
基づいて、各ノードの各キャッシュ・メモリにキャッシ
ュされているデータブロックの一貫性を保持する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、少なくとも１つの
プロセッサ及びそれに付随するキャッシュ・メモリ、主
記憶装置、及び、該キャッシュ・メモリと該主記憶装置
間を相互に接続する結合網からなる情報処理装置と、情
報処理装置の複数台を相互に接続する結合網からなる情
報処理システム及びそのシステム制御方法及び情報処理
装置に関するものである。

【０００２】

【従来の技術】複数個の計算ノードを結合網によって相
互に接続した階層型並列計算機システムにおいては、計
算ノードを相互に接続した結合網を伝送する通信トラフ
ィックを減らすため、各計算ノードに内蔵される複数の
プロセッサ装置それぞれにキャッシュ・メモリを備える
ていることが多い。また、各プロセッサ装置から発行さ
れる各計算ノードに内蔵される記憶装置あるいは他の計
算ノードに内蔵される記憶装置に対するアクセス要求に
対して高速に応じることができるようにするためにも、
キャッシュ・メモリを備えることは有用である。

【０００３】各プロセッサ装置は、キャッシュ・メモリ
中に記憶装置からコードやデータ（以下、これらをデー
タ・ブロックと呼ぶ）のコピーをロードし、キャッシュ
・メモリ中にコピーされたデータ・ブロックを用いて処
理を行っていく。このように各プロセッサ装置に備えら
れるキャッシュ・メモリ中に記憶装置からデータ・ブロ
ックのコピーをロードすることにより、複数の同一デー
タ・ブロックのコピーがシステム中に同時に存在すると
いう状況が発生する場合がある。この場合、各キャッシ
ュ・メモリ中に存在する複数の同一データ・ブロックの
コピー間の内容の一貫性を保持する必要がある。

【０００４】従来、この複数の同一データ・ブロックの
コピー間の内容の一貫性を保持するために、様々な方法
が考案、実現されている。例えば、プロセッサ装置間や
プロセッサ装置及び記憶装置間を相互に接続する結合網
に、バスのようなすべてのトランザクションを監視する
ことができるものを用いた並列計算機システムにおいて
は、スヌープ方式が一般的である。スヌープ方式とは、
プロセッサ装置またはキャッシュ・メモリの制御装置
が、結合網上に発行されるすべてのトランザクションを
監視し、自キャッシュ・メモリ中に格納されているデー
タ・ブロックのコピーのいずれかがアクセス対象である
トランザクションを検知した際に、必要な一貫性保持操
作を当該データ・ブロックのコピーに対して施すもので
ある。

【０００５】また、プロセッサ装置間やプロセッサ装置
及び記憶装置間を相互に接続する結合網に、すべてのト
ランザクションを監視することが困難な結合網を用いた
並列計算機システム、即ち、スヌープ方式の適用が困難
な並列計算機システムにおいては、ディレクトリ方式が
用いられる。ディレクトリ方式とは、データ・ブロック
単位にコピーがどのキャッシュ・メモリ中に存在してい
るかの情報（以下、キャッシング情報と呼ぶ）を、ディ
レクトリと呼ばれる記憶装置に格納・管理しておく。そ
して、トランザクション発生時にはディレクトリから得
られるキャッシング情報を基にして、一貫性保持操作が
必要なキャッシュ・メモリに対してのみその指示を通知
し、必要な操作を執り行わせるというものである。

【０００６】尚、ディレクトリの物理的配置としては、
システム中の全データ・ブロックに対応するディレクト
リ・エントリをシステム中の１箇所に集中して配置する
方式と、各計算ノードに内蔵される記憶装置のデータ・
ブロックに対応するディレクトリ・エントリを各計算ノ
ード内に分散して配置する方式がある。また、階層型並
列計算機システムの場合では、一般的にスヌープ方式を
適用することは困難であり、ディレクトリ方式を用いて
キャッシュ・メモリの一貫性保持を行っていることが多
い。

【０００７】

【発明が解決しようとする課題】しかしながら、上記従
来のディレクトリ方式において、全ディレクトリ・エン
トリをシステム中の１箇所に集中して配置する方式の場
合、各計算ノードに内蔵されるプロセッサ装置が一貫性
を乱す可能性のあるアクセスの発行や、各計算ノードか
ら同じディレクトリのアクセスが重なったりすると、デ
ータ・ブロックの一貫性を保つためのオーバヘッドが大
きくなり、その結果、システムの処理機能が低下してし
まうという問題点があった。

【０００８】一方、ディレクトリ・エントリを各計算ノ
ード内に分散して配置する方式の場合も、各計算ノード
内のプロセッサ装置が一貫性を乱す可能性のあるアクセ
スの発行や、アクセス対象であるデータ・ブロックに対
応するディレクトリ・エントリが他の計算ノードに備え
られていると、データ・ブロックの一貫性を保つための
オーバヘッドが大きくなり、その結果、システムの処理
機能が低下してしまうという問題点があった。

【０００９】本発明は上記の問題点に鑑みてなされたも
のであり、システムの処理性能を向上する情報処理シス
テム及びそのシステム制御方法及び情報処理装置を提供
することを目的としている。

【００１０】

【課題を解決するための手段】上記の目的を達成するた
めの本発明による情報処理システムは以下の構成を備え
る。即ち、少なくとも１つのプロセッサ及びそれに付随
するキャッシュ・メモリ、主記憶装置、及び、該キャッ
シュ・メモリと該主記憶装置間を相互に接続する結合網
からなる情報処理装置と、情報処理装置の複数台を相互
に接続する結合網からなる情報処理システムであって、
前記情報処理装置内のプロセッサの制御により他の情報
処理装置の主記憶装置からキャッシングしてきたデータ
ブロックに対し、該データブロックが他のどの情報処理
装置内のキャッシュ・メモリにキャッシュされているか
を示す第１キャッシング情報を記憶する第１記憶手段
と、前記情報処理装置内の主記憶装置に格納されている
データブロックが、他のどの情報処理装置にキャッシン
グされているかを示す第２キャッシング情報を記憶する
第２記憶手段と、前記第１キャッシング情報と前記第２
キャッシング情報に基づいて、各キャッシュ・メモリに
キャッシュされているデータブロックの一貫性を保持す
る保持手段とを備える。

【００１１】また、好ましくは、前記保持手段は、キャ
ッシュ・メモリにキャッシュされているデータブロック
がライトヒットし、該データブロックが他のキャッシュ
・メモリにもキャッシュされている場合、該他のキャッ
シュ・メモリにキャッシュされているデータブロックを
無効化することで、データブロックの一貫性を保持す
る。他のキャッシュ・メモリにキャッシュされているデ
ータブロックを無効化することで、データブロックの一
貫性を保持することができるからである。

【００１２】また、好ましくは、前記第２記憶手段は、
各情報処理装置内に配置されている。また、好ましく
は、前記保持手段は、各情報処理装置内のデータブロッ
クの一貫性をスヌープ方式によって保持し、情報処理装
置間のデータブロックの一貫性をディレクトリ方式によ
って保持する。情報処理装置間のデータブロックの一貫
性をディレクトリ方式によって保持することで、情報処
理装置間の一貫性を保持するための情報を最小にするこ
とができるからである。

【００１３】上記の目的を達成するための本発明による
情報処理システム制御方法は以下の構成を備える。即
ち、少なくとも１つのプロセッサ及びそれに付随するキ
ャッシュ・メモリ、主記憶装置、及び、該キャッシュ・
メモリと該主記憶装置間を相互に接続する結合網からな
る情報処理装置と、情報処理装置の複数台を相互に接続
する結合網からなる情報処理システム制御方法であっ
て、前記情報処理装置内のプロセッサの制御により他の
情報処理装置の主記憶装置からキャッシングしてきたデ
ータブロックに対し、該データブロックが他のどの情報
処理装置内のキャッシュ・メモリにキャッシュされてい
るかを示す第１キャッシング情報を記憶する第１記憶工
程と、前記情報処理装置内の主記憶装置に格納されてい
るデータブロックが、他のどの情報処理装置にキャッシ
ングされているかを示す第２キャッシング情報を記憶す
る第２記憶工程と、前記第１キャッシング情報と前記第
２キャッシング情報に基づいて、各キャッシュ・メモリ
にキャッシュされているデータブロックの一貫性を保持
する保持工程とを備える。

【００１４】また、好ましくは、前記保持工程は、キャ
ッシュ・メモリにキャッシュされているデータブロック
がライトヒットし、該データブロックが他のキャッシュ
・メモリにもキャッシュされている場合、該他のキャッ
シュ・メモリにキャッシュされているデータブロックを
無効化にすることで、データブロックの一貫性を保持す
る。

【００１５】また、好ましくは、前記第２記憶工程で記
憶される記憶媒体は、各情報処理装置内に配置されてい
る。また、好ましくは、前記保持工程は、各情報処理装
置内のデータブロックの一貫性をスヌープ方式によって
保持し、情報処理装置間のデータブロックの一貫性をデ
ィレクトリ方式によって保持する。

【００１６】上記の目的を達成するための本発明による
情報処理装置は以下の構成を備える。即ち、少なくとも
１つのプロセッサ及びそれに付随するキャッシュ・メモ
リ、主記憶装置、及び、該キャッシュ・メモリと該主記
憶装置間を相互に接続する結合網からなる情報処理装置
であって、前記情報処理装置と他の情報処理装置を含む
複数の情報処理装置と相互に接続する結合網と、前記情
報処理装置内のプロセッサの制御により、前記他の情報
処理装置の主記憶装置からキャッシングしてきたデータ
ブロックに対し、該データブロックが他のどの情報処理
装置内のキャッシュ・メモリにキャッシュされているか
を示す第１キャッシング情報を記憶する第１記憶手段
と、前記情報処理装置内の主記憶装置に格納されている
データブロックが、他のどの情報処理装置にキャッシン
グされているかを示す第２キャッシング情報を記憶する
第２記憶手段と、前記第１キャッシング情報と前記第２
キャッシング情報に基づいて、各キャッシュ・メモリに
キャッシュされているデータブロックの一貫性を保持す
る保持手段とを備える。

【００１７】

【発明の実施の形態】以下、図面を参照して本発明の好
適な実施の形態を詳細に説明する。図１は本実施の形態
の情報処理システムの構成を示すブロック図である。図
に示すように、１個以上のＭＰＵを持つノードが４つで
構成されている。各ノードは、ＩＤ番号として「ｉ」が
（ｉ＝０、１、…、ｎ）が付けられており、ノード０か
らノード３のＩＤ番号を持つノードとなっており、各ノ
ード０〜３の構成は全て同一である。但し、これらのシ
ステム構成は本発明により限定されるものではない。

【００１８】１０１はノード０、１０２はノード１、１
０３はノード２、１０４はノード３である。１０５はＩ
ＮＣコントローラ（Inter Node Connection：インタノ
ード・コネクション・コントローラ）、１０６はスイッ
チング・ユニットである。１０７はノード０（１０１）
からＩＮＣコントローラ（１０５）への通信ライン、１
０８はＩＮＣコントローラ（１０５）からノード０（１
０１）への通信ラインである。１０９はノード０（１０
１）と他のノード（１０２／１０３／１０４）との通信
に用いられる通信ラインであり、スイッチング・ユニッ
ト（１０６）と接続される。

【００１９】同様に、１１０、１１１はノード１（１０
２）とＩＮＣコントローラ（１０５）との通信ライン、
１１２はノード１（１０２）と他のノード（１０１／１
０３／１０４）との通信ラインである。１１３、１１４
はノード２（１０３）とＩＮＣコントローラ（１０５）
との通信ライン、１１５はノード２（１０３）と他のノ
ード（１０１／１０２／１０４）との通信ラインであ
る。１１６、１１７はノード３（１０４）とＩＮＣコン
トローラ（１０５）との通信ライン、１１８はノード３
（１０４）と他のノード（１０１／１０２／１０３）と
の通信ラインである。 １１９、１２０はノード０（１
０１）のＭＰＵ00、ＭＰＵ01（ Micro Processor Uni
t）である。尚、各ノードに内蔵されるＭＰＵは区別す
るために、ＭＰＵij（i、ｊ＝正の整数）で表され、ｉ
はノードのＩＤ番号、ｊは各ノードのｊ番目のＭＰＵで
あることを示す。１２１、１２２は各々ＭＰＵ00（１１
９）、ＭＰＵ01（１２０）に付随するキャッシュ・メモ
リ00、キャッシュ・メモリ01である。キャッシュ・メモ
リについても、同様に番号ijが付加されており、キャッ
シュ・メモリijは、ノードｉのｊ番目のキャッシュ・メ
モリであることを示す。

【００２０】１２３はノード０（１０１）に内蔵される
メモリ０であり、後にふってある番号０はノード０のメ
モリであることを示す。また、メモリｉでノードｉのメ
モリであることを示す。尚、本実施の形態における各ノ
ードのメモリの容量は３２ＭＢとする。１２４はノード
０（１０１）のＩＮＣｉ／ｆ０であり、後にふってある
番号０はノード０のＩＮＣｉ／ｆであることを示す。ま
た、ＩＮＣｉ／ｆｉでノードｉのＩＮＣｉ／ｆであるこ
とを示す。

【００２１】１２５はノード０（１０１）のＤＩＲ０
（ディレクトリ）であり、後にふっている番号０はノー
ド０のディレクトリであることを示す。また、ＤＩＲｉ
でノードｉのＤＩＲであることを示す。各ＤＩＲｉはノ
ードｉ、メモリｉ中のすべてのデータ・ブロックのキャ
ッシング情報を記憶している。１２６はノード０（１０
１）のＥＣＳ０（External Caching information Stora
ge）であり、後にふってある番号０はノード０のＥＣＳ
であることを示す。また、ＥＣＳｉでノードｉのＥＣＳ
であることを示す。ＥＣＳｉはノードｉ内の任意のキャ
ッシュ・メモリijが、ノードｋ（ｋ≠ｉ）内のノードメ
モリｋ中からキャッシングしているデータ・ブロックの
キャッシング情報を含むものである。１２７はノード０
（１０１）の内部バスであり、キャッシュ・メモリ00
（１２１）、キャッシュ・メモリ01（１２２）、メモリ
０（１２３）、及びＩＮＣｉ／ｆ０（１２４）を相互に
接続する。

【００２２】以下、各ノード１〜３（１０２／１０３／
１０４）について同様に、１２８、１２９はノード１に
内蔵されるＭＰＵ10、ＭＰＵ11であり、１３７、１３８
はノード２に内蔵されるＭＰＵ20、ＭＰＵ211であり、
１４６、１４７はノード３に内蔵されるＭＰＵ30、ＭＰ
Ｕ31である。１３０、１３１はノード１に内蔵されるキ
ャッシュ・メモリ10、キャッシュ・メモリ11であり、１
３９、１４０はノード２に内蔵されるキャッシュ・メモ
リ20、キャッシュ・メモリ21であり、１４８、１４９は
ノード３に内蔵されるキャッシュ・メモリ30、キャッシ
ュ・メモリ31である。

【００２３】１３２はノード１に内蔵されるメモリ１で
あり、１４１はノード２に内蔵されるメモリ２であり、
１５０はノード３に内蔵されるメモリ３である。１３３
はノード１に内蔵されるＩＮＣｉ／ｆ１であり、１４２
はノード２に内蔵されるＩＮＣｉ／ｆ２であり、１５１
はノード３に内蔵されるＩＮＣｉ／ｆ３である。１３４
はノード１に内蔵されるＤＩＲ１であり、１４３はノー
ド２に内蔵されるＤＩＲ２であり、１５２はノード３に
内蔵されるＤＩＲ３である。１３５はノード１に内蔵さ
れるＥＣＳ１であり、１４４はノード２に内蔵されるＥ
ＣＳ２であり、１５３はノード３に内蔵されるＥＣＳ３
である。１３６はノード１の内部バスであり、１４５は
ノード２の内部バスであり、１５４はノード３の内部バ
スである。１５５はＩＮＣコントローラ（１０５）がス
イッチング・ユニット（１０６）を制御する制御ライン
である。

【００２４】尚、図２に示すように、本システムにおけ
る物理アドレスの上位７ビットのアドレスＡ０−Ａ６は
ノードの番号を示す。各ノード（１０１、１０２、１０
３、１０４）内のノード・メモリ（１２３、１３２、１
４１、１５０）の容量は各々３２ＭＢである。よって、
キャッシュ・メモリ（１２１、１２２、１３０、１３
１、１３９、１４０、１４８、１４９）のライン・サイ
ズは１６Ｂであるから、ＤＩＲ（１２５、１３４、１４
３、１５２）のエントリ数は各々２Ｍエントリとなる。
また、キャッシュ・メモリ（１２１、１２２、１３０、
１３１、１３９、１４０、１４８、１４９）のライン数
は各々２ｋラインであるから、ＥＣＳ（１２６、１３
５、１４４、１５１）のエントリ数は４ｋエントリとな
る。

【００２５】次にキャッシュ・メモリijの詳細な構成と
動作を図３を用いて説明する。尚、ここではキャッシュ
・メモリ00を例に挙げて説明する。また、図１に示され
る他のキャッシュ・メモリ（１２２、１３０、１３１、
１３９、１４０、１４８、１４９）の構成については同
様なので省略する。図３は本実施の形態のキャッシュ・
メモリの詳細な構成を示すブロック図である。

【００２６】２０１はキャッシュ・コントローラであ
り、２０２はキャッシュ・タグである。２０３、２０
４、２０５、及び２０６はそれぞれが２k×３２bitの記
憶容量を持つＲＡＭ、２０７はデータバッファである。
尚、本実施の形態のキャッシュ・メモリは、ダイレクト
マップ方式、ライン数＝２k、ライン・サイズ＝１６
Ｂ、記憶容量＝３２kＢの構成とするが、これが本発明
により限定されるものではない。

【００２７】次にキャッシュ・メモリ00（１２１）の動
作を説明する。ＭＰＵ00（１１９）がメモリアクセスを
発行すると、キャッシュ・コントローラ２０１はmisc信
号によって、例えば、 「メモリ・アクセスが発行されたこと」 「キャッシュ・メモリ00を介するアクセス（cache enab
le access）であるか、あるいはキャッシュ・メモリ00
をスルーするアクセス（cache disable access）である
か」等の情報を受け取る。

【００２８】cache disable accessの場合は、Bmisc信
号を用いてバス１２７の使用権を獲得した後に、ＭＰＵ
00が出力したアドレス信号（Ａ0-31）をバス・アドレス
信号（ＢＡ0-31）に、サイズ信号（ＳＩＺ0-1）をバス
サイズ信号（ＢＳＩＺ0-1）に出力する。また、発行さ
れたメモリ・アクセスがライトアクセスであるかリード
でアクセスであるかを示すアクセス方向信号（Ｒ／Ｗ）
をエンコードし、その結果をアクセスタイプ信号（Ｂty
pe）に出力する。

【００２９】ライトアクセスの場合はデータバッファ２
０７を制御し、データ信号（Ｄ0-31）をバスデータ信号
（ＢＤ0-31）に各々出力し、Ｂmisc信号を用いてバスア
クセスを発行する。発行したバスアクセスは、Ｂmisc信
号を用いたバス・プロトコルに従ってターミネートされ
る。キャッシュ・コントローラ２０１は、misc信号を用
いたＭＰＵ00のバス・プロトコルに従って、ＭＰＵ00が
発行したメモリアクセスをターミネートする。

【００３０】リードアクセスの場合は、ターミネート時
に返されるデータＢＤ0-31を、データバッファ２０７を
制御することでＤ0-31に出力し、ターミネートする。ca
che enable accessの場合は、ＭＰＵ00が出力したアド
レス信号（Ａ0-31）のうちのＡ17-27アドレスをライン
アドレス信号としてＣＡ17-27へ、Ａ0-16をタグ・アド
レス信号としてＣＡ0-16に出力する。そして、コントロ
ール信号（control）を用いてキャッシュ・タグ２０２
に、ＭＰＵ00の発行したアクセスの対象であるデータ・
ブロックがキャッシュ・メモリ00中に存在するか否かを
チェックさせる。キャッシュ・タグ２０２は、ack信号
を用いてチェックが完了したことを知らせ、その結果を
state0-1信号に出力する。

【００３１】尚、本実施の形態のキャッシュ・メモリ
は、コヒーレンシ・プロトコルとしてＭＥＳＩプロトコ
ルを用いるものとする。以下、ＭＥＳＩプロトコルの動
作を図４の状態遷移図を用いて説明する。図４は本実施
の形態のＭＥＳＩプロトコルの状態遷移を示す図であ
る。ＭＥＳＩプロトコルは、ステートとして、ＩＮＶＡ
ＬＩＤ、ＳＨＡＲＥＤ、ＥＸＣＬＵＳＩＶＥ 、ＭＯＤ
ＩＦＩＥＤの４つから構成されている。この４つの各ス
テートは、state0-1信号によって、例えば、state0-1＝
「00」の時がＩＮＶＡＬＩＤステート、「01」の時がＳ
ＨＡＲＥＤステート、「11」の時がＥＸＣＬＵＳＩＶＥ
ステート、「10」の時がＭＯＤＩＦＩＥＤステートを示
すものとする。また、state0-1信号の値が「00」が返さ
れた場合はキャッシュ・ミス（要求するデータがキャッ
シュ・メモリ内に存在しない）であり、その他の値が返
された場合は各々のステートにおけるキャッシュ・ヒッ
ト（要求するデータがキャッシュ・メモリ内に存在す
る）である。各々のステートにおけるキャッシュ・ヒッ
ト時に、キャッシュ・コントローラ２０１が行う必要の
ある動作は、以下の通りである。

【００３２】・ＥＸＣＬＵＳＩＶＥステート リード・ヒット時はステートの変更等はなし、ライト・
ヒット時はステートをＭＯＤＩＦＩＥＤステートに変更
する。 ・ＭＯＤＩＦＩＥＤステート リード・ヒット時、ライト・ヒット時、ステートの変更
はなし。

【００３３】・ＳＨＡＲＥＤステート リード・ヒット時はステートの変更はなし、他キャッシ
ュ・メモリ中の当該データ・ブロックを無効化し、ステ
ートをＭＯＤＩＦＩＥＤに変更する。ここでキャッシュ
・コントローラ２０１は、キャッシュ・ミス時あるいは
SHAREDステートのデータ・ブロックにおけるライト・ヒ
ット時に、バス１２７上にトランザクションを発行する
必要がある。その場合は、Ｂmisc信号を用いてバス１２
７の使用権を獲得した後に、ＭＰＵ00が出力したアドレ
ス信号（Ａ0-31）が指すデータ・ブロックのアドレスを
バス・アドレス信号（ＢＡ0-31）に、アクセス・サイズ
（本実施の形態では、１６Ｂ（＝ライン・サイズ））を
エンコードしたサイズ信号（ＳＩＺ0-1）をバス・サイ
ズ信号（ＢＳＩＺＥ0-1）に、 ・リード・ミス時は、「リード」（read）であること
を、 ・ライト・ミス時は、「変更を意図したリード」（read
with intent to modify）であることを、 ・ＳＨＡＲＥＤステートのデータ・ブロックにおけるラ
イト・ヒット時は、「無効化」（invalidate）であるこ
とをエンコードし、アクセス・タイプ信号（Ｂtype）に
各々出力し、Ｂmisc信号を用いてトランザクションを発
行する。

【００３４】ここでのトランザクションは、各ノード
（１０１、１０２、１０３、１０４）のバス（１２７、
１３６、１４５、１５４）上に選択的に発行する（後
述）。発行されたトランザクションは、バス上の各ノー
ド（１０１、１０２、１０３、１０４）に内蔵されるキ
ャッシュ・コントローラ（２０１）によってスヌープさ
れる。

【００３５】スヌープ時には、バス・アドレス信号（Ｂ
Ａ0-31）のうちのＢＡ17-27アドレスをライン・アドレ
ス信号としてＣＡ17-27へ、ＢＡ0-16をタグ・アドレス
信号としてＣＡ0-16に出力する。そして、コントロール
信号（control）を用いてキャッシュ・タグ（２０２）
に、バス上に発行されているトランザクションの対象で
あるデータ・ブロックがキャッシュ・メモリ中に存在す
るか否かをチェックさせる。キャッシュ・タグ（２０
２）は、ack信号を用いてチェックが完了したことを知
らせ、その結果をstate0-1信号に出力する。

【００３６】ここでトランザクション対象のデータ・ブ
ロックがキャッシュ・メモリ中に存在していなかった場
合は、スヌープ動作は完了する。存在していた場合は存
在していることをＢmisc信号を用いてバス上に示すとと
もに、各々ステートに応じて以下のような動作を行う。 ・ＥＸＣＬＵＳＩＶＥステート リード（read）トランザクション時は、ＳＨＡＲＥＤス
テートに変更する。変更を意図したリード（read with
intent to modify）トランザクション時は、ＩＮＶＡＬ
ＩＤステートに変更する。無効化（invalidate）トラン
ザクション時は、このステートで存在することは有り得
ないが、その場合はＩＮＶＡＬＩＤステートに変更す
る。

【００３７】・ＭＯＤＩＦＩＥＤステート リード（read）トランザクション時は、ＳＨＡＲＥＤス
テートに変更するとともに、当該データ・ブロックをノ
ード・メモリに書き戻す。変更を意図したリード（read
with intent to modify）トランザクション時は、ＩＮ
ＶＡＬＩＤステートに変更するとともに、当該データ・
ブロックをノード・メモリに書き戻す。無効化（invali
date）トランザクション時は、このステートで存在する
ことは有り得ないが、その場合はＩＮＶＡＬＩＤステー
トに変更する。

【００３８】・ＳＨＡＲＥＤステート リード（read）トランザクション時は、ステートの変更
等はなし。変更を意図したリード（read with intent t
o modify）または無効化（invalidate）トランザクショ
ン時は、ＩＮＶＡＬＩＤステートに変更する。以上のよ
うな動作を行うことによって、キャッシュ・メモリ中の
データ・ブロックのコピー間の一貫性を保持する。この
際、各ノードのバス上に上述のようなトランザクション
を発行する必要はなく、どのノードにトランザクション
を発行する必要があるか、即ち、どのノードのキャッシ
ュ・メモリ中に当該データ・ブロックのコピーが存在す
るか等のキャッシング情報を、各ディレクトリが記憶し
ており、必要のあるノードに対してのみトランザクショ
ンを発行する。本発明ではこれに付け加えて、ノード
（１０１、１０２、１０３、１０４）内の各キャッシュ
・メモリ（１２１、１２２、１３０、１３１、１３９、
１４０、１４８、１４９）にキャッシングされた各デー
タ・ブロックのキャッシング情報の要約または全てを、
各ノードのＥＣＳ（１２６、１３５、１４４、１５４）
に格納しておき、その情報を基にキャッシュの一貫性保
持を図る。

【００３９】次に図５〜７を用いて、ＩＮＣｉ／ｆ（１
２４、１３３、１４２、１５１）、ＤＩＲ（１２５、１
３４、１４３、１５２）、及びＥＣＳ（１２６、１３
５、１４４、１５１）の構成を説明するとともに、本実
施の形態におけるキャッシュの一貫性保持動作を説明す
る。ここでは、特に,リード・ミス時の処理動作とＳＨ
ＡＲＥＤステートのデータ・ブロックに対するライト・
ヒット時の処理動作で説明する。

【００４０】尚、図５では、ノード０に内蔵されるＩＮ
Ｃｉ／ｆ０、ＤＩＲ０、ＥＣＳ０を例に挙げて説明す
る。また、図１に示される他のノード１〜ノード３のそ
れぞれに内蔵されるＩＮＣｉ／ｆ、ＤＩＲ、ＥＣＳの構
成については同様なので省略する。尚、図６において、
ノード１（１０２）内のノード・メモリ１（１３２）中
に、あるデータ・ブロック１０００の原本が格納されて
いる。また、データ・ブロック１０００が、ノード２
（１０３）内のキャッシュ・メモリ20（１３９）中にDI
RTYステートでキャッシングされているとする。更に、
ノード０（１０１）内のキャッシュ・メモリ00（１２
１）には、データ・ブロック１０００はキャッシュされ
ていないとする。

【００４１】また、図６に示される括弧付きの番号は、
処理が行われていく順番を表しており、以下、処理の説
明において、それぞれ括弧付きの番号に対応する処理の
説明の末尾にその番号を付加する。まず、ノード０（１
０１）内のＭＰＵ00（１１９）が、データ・ブロック１
０００に対するリード・アクセスをキャッシュ・メモリ
00（１２１）に対し発行する（１）。キャッシュ・メモ
リ00（１２１）には、データ・ブロック１０００はキャ
ッシュされていないのでキャッシュ・ミスが生じる
（２）。その結果、キャッシュ・メモリ00（１２１）に
内蔵されるキャッシュ・コントローラ（２０１）は、キ
ャッシュ・ミス処理を開始し、バス１２７にreadトラン
ザクションを発行する（３）。同時に、バス１２７上の
バス・アドレス信号（ＢＡ0-31）のＢＡ0-6より、このr
eadトランザクションの対象となるデータ・ブロック１
０００の原本が、ノード１（１０２）内のノード・メモ
リ１（１３２）中に存在することが判明する。

【００４２】ＩＮＣｉ／ｆ０（１２４）はこれに応じ
て、通信ライン（１０７）のＩＮＣrtype上にreadトラ
ンザクションであることをエンコードした信号を出力す
る。また、ＴＡ0-27上には、対象となるデータ・ブロッ
ク１０００のアドレスを出力する。更に、ＩＮＣreq信
号を用いてＩＮＣｉ／ｆ０（１２４）の使用要求をＩＮ
Ｃコントローラ（１０５)に対して行う（４）。

【００４３】ＩＮＣコントローラ（１０５）は、通信ラ
イン（１１１）のＩＮＣcmd上にキャッシング情報の要
求であることをエンコードした信号を出力する。また、
ＣＫＡ0-27上には、対象となるデータ・ブロック１００
０のアドレスを出力する。更に、ＩＮＣcontorolを用い
てノード１（１０２）内のＩＮＣｉ／ｆ１（１３３）に
データ・ブロック１０００のキャッシング情報の転送を
指示する（５）。

【００４４】ノード１（１０２）のＩＮＣｉ／ｆ１（１
３３）は、渡されたアドレスをＤＡ7-27に出力し、chip
select信号でＤＩＲ１（１３４）のＲＡＭを選択す
る。また、contorol信号を用いてＤＩＲ１（１３４）中
のデータ・ブロック１０００のキャッシング情報を読み
出す（６）。そして、読み出したキャッシング情報を通
信ライン（１１０）のＴＡ0-27に出力し、ＩＮＣreq信
号を用いてデータ・ブロック１０００のキャッシング情
報をＩＮＣコントローラ（１０５）に転送する（７）。
ここでデータ・ブロック１０００のコピーが、ノード
２（１０３）内のキャッシュ・メモリ20／キャッシュ・
メモリ21（１３７／１３８）中に存在することが示され
たとする。ＩＮＣコントローラ（１０５）は、通信ライ
ン（１１４）のＩＮＣcmd上にノード０（１０１）が発
行したreadトランザクションに対応したコヒーレンシ・
チェックであることをエンコードした信号を、ＣＫＡ0-
27上にターゲット・データ・ブロックのアドレスを出力
する。また、ＩＮＣcontrolを用いてノード２（１０
３）内のＩＮＣｉ／ｆ２（１４２）にデータ・ブロック
１００００のコヒーレンシ・チェックを指示する
（８）。

【００４５】ＩＮＣｉ／ｆ２（１４２）が、バス（１４
５）上に擬似readトランザクションを発行する（９）。
その結果、キャッシュ・メモリ20（１３９）及びキャッ
シュ・メモリ21（１４０）のキャッシュ・コントローラ
（２０１）は、それをスヌープする（１０）。そして、
それぞれのキャッシュ・タグ（２０２）をアクセスする
ことでデータ・ブロック１０００のコピーの存在の有無
とそのステートのチェックを行う（１１）。ここではキ
ャッシュ・メモリ２０（１３９）中に、データ・ブロッ
クのコピーがＭＯＤＩＦＩＥＤステートで存在していた
とする。キャッシュ・メモリ20（１３９）に内蔵される
キャッシュ・コントローラ（２０１）は、データ・ブロ
ック１０００のコピーがＭＯＤＩＦＩＥＤステートで存
在していたことを示すとともに、それを書き戻すための
writeトランザクションを発行する（１２）。一方、キ
ャッシュ・メモリ21（１４０）中にはデータブロック１
０００のコピーが存在しないので、キャッシュ・メモリ
21（１４０）のキャッシュ・コントローラ（２０１）
は、データブロック１０００のコピーが存在しなかった
ことを示す（１２）。コヒーレンシ・チェックの結果と
キャッシュ・メモリ20（１３９）から発行されたwrite
トランザクションに対して以下の処理を行う。ＩＮＣｉ
／ｆ２（１４２）は通信ライン（１１３）のＩＮＣrtyp
e上にリード・スヌープ・ヒット（read snoop hit）に
応じたwriteトランザクションであることをエンコード
した信号を、ＴＡ0-27上にデータ・ブロック１０００の
アドレスを出力する。また、ＩＮＣreq信号を用いてＩ
ＮＣの使用昇給をＩＮＣコントローラ（１０５）に対し
て行う（１３）。ＩＮＣコントローラ（１０５）は、す
ぐにこれを許可する（１４）とともに、ノード１（１０
２）内のＩＮＣｉ／ｆ１（１３３）にも回線設定を指示
する（１４）。

【００４６】ＩＮＣｉ／ｆ２（１４２）は、writeトラ
ンザクションをＩＮＣの通信ライン（１１５、１１２）
上に発行する（１５）。そして、それを受けたノード１
（１０２）内のＩＮＣｉ／ｆ１（１３３）が、バス（１
３６）上にwriteトランザクションを発行する（１
６）。その結果、データ・ブロック１０００の原本の更
新が行われる。キャッシュ・メモリ２０（１３０）中の
データ・ブロック１０００のコピーのステートは、ＭＯ
ＤＩＦＩＥＤからＳＨＡＲＥＤへ変更される。この時点
でノード２（１０３）内のＥＣＳ２（１４４）のデータ
・ブロック１０００に対応したエントリには、ノード０
（１０１）中にもキャッシングされていることが書き込
まれる（１８）。

【００４７】ノード２（１０３）からのwriteトランザ
クションが完了した後に、ＩＮＣコントローラ（１０
５）は先に出されていたノード０（１０１）からのＩＮ
Ｃ使用要求を認める。同時に、データ・ブロック１００
０がノード２（１０３）にもキャッシングされていると
いう情報が与えられる（１９）。また、ノード１（１０
２）内のＩＮＣｉ／ｆ１（１３３）にも回線設定を指示
する（１９）。

【００４８】ＩＮＣｉ／ｆ０（１２４）は、readトラン
ザクションをＩＮＣの通信ライン（１０９、１１２）上
に発行する（２０）。それを受けたノード１(１０２)内
のＩＮＣｉ／ｆ１（１３３）がバス（１３６）上にread
トランザクションを発行する。また、ＩＮＣｉ／ｆ１
（１３３）は、ＤＩＲ１（１３４）のデータ・ブロック
１０００に対応したエントリにノード０（１０１）中に
もキャッシングされていることが書き込まれる（２
２）。

【００４９】キャッシュ・メモリ00（１２１）中に転送
されてきたデータ・ブロック１０００は、ＳＨＡＲＥＤ
ステートに変更される（２３）。ＩＮＣｉ／ｆ０（１２
４）はＥＣＳ０（１２６）のデータ・ブロック１０００
に対応したエントリに、ノード２（１０３）にもキャッ
シングされていることが書き込まれる（２４）。上述の
図６の処理における処理フローについて、図７〜図９の
フローチャートを用いて説明する。また、括弧付きの番
号における処理の対応関係を併記する。

【００５０】ステップＳ７０１で、あるデータ・ブロッ
クに対するリード・アクセスを発行する（（１）に対
応）。ステップＳ７０２で、対象とするデータ・ブロッ
クがキャッシュ・メモリにあるかどうかを判定する。対
象とするデータ・ブロックがキャッシュ・メモリにある
場合（ステップＳ７０２でＹＥＳ）、ステップＳ７０３
に進む。

【００５１】ステップＳ７０３で、対象とするデータ・
ブロックを用いてリード処理を行う（（２３）、（２
４）に対応）。対象とするデータ・ブロックがキャッシ
ュ・メモリにない場合（ステップＳ７０３でＮＯ）、図
８のステップＳ８０１に進む（（２）、（３）に対
応）。ステップＳ８０１で、対象とするデータ・ブロッ
クの原本を記憶するノードにアクセスする（（４）、
（５）に対応）。

【００５２】ステップＳ８０２で、対象とするデータ・
ブロックが他のノードに記憶されているかどうかを判定
する（（６）に対応）。対象とするデータ・ブロックが
他のノードに記憶されていない場合（ステップＳ８０２
でＮＯ）、ステップＳ８０３に進む。ステップＳ８０３
で、対象とするデータ・ブロックをアクセス要求を行っ
たノードに転送し（（１６）、（２０）〜（２２）に対
応）、ステップＳ７０３に進む。

【００５３】対象とするデータ・ブロックが他のノード
に記憶されている場合（ステップＳ８０２でＹＥＳ）、
図９のステップＳ９０１に進む。ステップＳ９０１で、
対象とするデータ・ブロックをキャッシュしているノー
ドへアクセスする（（７）、（８）に対応）。ステップ
Ｓ９０２で、各キャッシュに基づく処理を行う（（９）
〜（１１）、（１７）、（１８）に対応）。

【００５４】ステップＳ９０３で、対象とするデータ・
ブロックがＭＯＤＩＦＩＥＤステートであるかどうかを
判定する。対象とするデータ・ブロックがＭＯＤＩＦＩ
ＥＤステートである場合（ステップＳ９０３でＹＥ
Ｓ）、ステップＳ９０４に進む（（１２）に対応）。ス
テップＳ９０４で、対象とするデータ・ブロックの原本
を記憶するノードへアクセスし（（１３）〜（１５）、
（１９）に対応）、図８のステップＳ８０３に進む。

【００５５】次に、キャッシュ・メモリ00（１２１）中
に、上述で説明した図６の処理を経て転送されてきたデ
ータブロック１０００に対し、ＭＰＵ00（１１９）が書
き込みを行う際（ＳＨＡＲＥＤステートのデータ・ブロ
ックに対するライト・ヒット時）の動作を、図１０を用
いて示す。尚、図１０に示される括弧付きの番号は、処
理が行われていく順番を表しており、以下、処理の説明
において、それぞれ括弧付きの番号に対応する処理の説
明の末尾にその番号を付加する。

【００５６】ノード０（１０１）のＭＰＵ00（１１９）
が、データ・ブロック１０００に対してライト・アクセ
スを発行する（２５）。そして、それがＳＨＡＲＥＤス
テートのデータ・ブロック１０００にライト・ヒットす
る（２６）。キャッシュ・メモリ00（１２１）のキャッ
シュ・コントローラ（２０１）は、コヒーレンシ保持の
ための処理を開始し、バス（１２７）にinvalidateトラ
ンザクションを発行する（２７）。ＩＮＣｉ／ｆ０（１
２４）は、これに応じてこのトランザクションを発行す
べきノードを知るためにＥＣＳ０（１２６）中のデータ
・ブロック１０００のキャッシング情報を読み出す（２
８）。読み出したキャッシング情報により、データ・ブ
ロック１０００は、ノード２（１０３）にキャッシング
されていることが判る。

【００５７】その結果、ＩＮＣｉ／ｆ０（１２４）は、
通信ライン（１０７）のＩＮＣrtype上にinvalidateト
ランザクションであることをエンコードした信号を、Ｔ
Ａ0-27にデータ・ブロック１０００のアドレスを出力す
る。また、ＩＮＣreq信号を用いてＩＮＣの使用要求を
ＩＮＣコントローラ（１０５）に対して行う（２９）。
ＩＮＣコントローラ（１０５）は、通信ライン（１１
４）のＩＮＣcmd上にinvalidate要求であることをエン
コードした信号を、ＣＫＡ0-27上にデータ・ブロック１
０００のアドレスを出力する。また、ＩＮＣcontrolを
用いてノード２（１０３）内のＩＮＣｉ／ｆ２（１４
２）に、データ・ブロック１０００のアドレスを出力す
る。更に、ＩＮＣcontrolを用いて、ノード２（１０
３）内のＩＮＣｉ／ｆ２（１４２）に、データ・ブロッ
ク１０００のinvalidateトランザクションのバス（１４
５）上への発行を指示する（３０）。

【００５８】ＩＮＣｉ／ｆ２（１４２）が、バス（１４
５）上にinvalidateトランザクションを発行する（３
１）。キャッシュ・メモリ20（３１３９）及びキャッシ
ュ・メモリ21（１４０）のキャッシュ・コントローラ
（２０１）は、それをスヌープする（３２）。その結
果、キャッシュ・タグ（２０２）をアクセスすることで
データ・ブロック１０００のコピーの存在の有無とその
ステートのチェックを行う（３３）。

【００５９】キャッシュ・メモリ21（１４０）中には、
データ・ブロック１０００は存在しないので、キャッシ
ュ・メモリ21（１４０）のキャッシュ・コントローラ
（２０１）は、データ・ブロック１０００のコピーが存
在しなかったことを示す（３４）。 一方、キャッシュ
・メモリ20（１３９）のキャッシュ・コントローラ（２
０１）は、データ・ブロック１０００のコピーがＳＨＡ
ＲＥＤステートで存在していたことを示し（３４）、こ
れを指示に従って無効化する（３５）。

【００６０】ＩＮＣｉ／ｆ２（１４２）は、ＥＣＳ２
（１１４）中のデータ・ブロック１０００に対応したエ
ントリを無効化する（３６）。また、ＩＮＣコントロー
ラ（１０５）は、ノード１（１０２）のＩＮＣｉ／ｆ１
（１３３）に対して、以下の処理を行う。通信ライン
（１１１）のＩＮＣcmd上にノード２（１０３）中のデ
ータ・ブロック１０００が、無効となったことを示す情
報をＤＩＲ１（１３４）へ転送する指示をエンコードし
た信号を出力する。また、ＣＫＡ0-27上にデータ・ブロ
ックのアドレスを出力する。更に、ＩＮＣcontrolを用
いてノード１（１０２）内のＩＮＣｉ／ｆ１（１３３）
に、ＤＩＲ１（１３４）の書き換えを指示する（３
７）。

【００６１】ＩＮＣｉ／ｆ１（１３３）は、ＤＩＲ１
（１３８）中のデータ・ブロック１０００に対応したエ
ントリを書き換える（３８）。この無効化処理完了後、
ノード０（１０１）内のキャッシュ・メモリ00（１２
１）では、データ・ブロック１０００の書き換えが行わ
れ、ステートがＳＨＡＲＥＤからＭＯＤＩＦＩＥＤに変
わる（３９）。そして、ＩＮＣｉ／ｆ０（１２４）は、
ＥＣＳ０（１２６）中のデータ・ブロック１０００に対
応したエントリを書き換える（４０）。

【００６２】上述の図１０処理における処理フローにつ
いて、図１１〜図１３のフローチャートを用いて説明す
る。また、括弧付きの番号における処理の対応関係を併
記する。ステップＳ１１０１で、あるデータ・ブロック
に対するライト・アクセスを発行する（（２５）に対
応）。

【００６３】ステップＳ１１０２で、ライト・ヒットす
る（（２６）に対応）。ステップＳ１１０３で、ライト
・ヒットしたデータ・ブロックに対し、そのデータ・ブ
ロックがＳＨＡＲＥＤステートであるかいなかを判定す
る（（２７）、（２８）に対応）。データ・ブロックが
ＳＨＡＲＥＤステートでない場合（ステップＳ１１１０
３でＮＯ）、ステップＳ１１０４に進む。ステップＳ１
１０４で、対象とするデータ・ブロックのライト処理を
行う（（３９）、（４０）に対応）。

【００６４】データ・ブロックがＳＨＡＲＥＤステート
である場合（ステップＳ１１０３で、ＹＥＳ）、図１２
のステップＳ１２０１に進む。ステップＳ１２０１で、
対象とするデータ・ブロックをキャッシュしているノー
ドへアクセスする（（２９）、（３０）に対応）。ステ
ップＳ１２０２で、各キャッシュに基づく処理を行い
（（３１）〜（３６）に対応）、図１３のステップＳ１
３０１に進む。

【００６５】ステップＳ１３０１で、対象とするデータ
・ブロックの原本を記憶するノードへアクセスする
（（３７）に対応）。ステップＳ１３０２で、対象とす
るデータ・ブロックのキャッシング情報を更新し（（３
８）に対応）、ステップＳ１１０４へ進む。尚、本実施
の形態では、ディレクトリを各ノードに配置させる構成
にしているが、これに限らない。例えば、システムの１
箇所に集中させて配置させる構成にしても良い。

【００６６】以上説明したように、本実施の形態によれ
ば、ＥＣＳを備えることにより、ＳＨＡＲＥＤステート
のデータ・ブロックのライト・ヒット時等の一貫性保持
動作が必要な場合に、ＤＩＲ中に格納されているキャッ
シング情報への高速アクセスが可能となる。また、情報
処理システムの上位の結合網の通信トラフィックをへら
ることが可能となり、情報処理システム全体の性能を向
上することができる。

【００６７】また、本発明は、『ホストコンピュータ、
インタフェース、プリンタ等の』複数の機器から構成さ
れるシステムに適用しても、１つの機器からなる装置に
適用しても良い。また、本発明はシステム或は装置にプ
ログラムを供給することによって達成される場合にも適
用できることはいうまでもない。この場合、本発明を達
成するためのソフトウェアによって表されるプログラム
を格納した記憶媒体から、該プログラムを該システム或
は装置に読み出すことによって、そのシステム或は装置
が、本発明の効果を享受することが可能となる。

【００６８】

【発明の効果】以上の説明からも明らかなように、シス
テムの処理性能を向上する情報処理システム及びそのシ
ステム制御方法及び情報処理装置を提供できる。

【図面の簡単な説明】

【図１】本実施の形態の情報処理システムの構成を示す
ブロック図である。

【図２】本実施の形態の情報処理システムの物理アドレ
スのフィールド構成とメモリマップを示す図である。

【図３】本実施の形態のキャッシュ・メモリの詳細な構
成を示すブロック図である。

【図４】本実施の形態のＭＥＳＩプロトコルの状態遷移
を示す図である。

【図５】本実施の形態のＩＮＣｉ／ｆ、ＤＩＲ、ＥＣＳ
の構成を示すブロック図である。

【図６】本実施の形態のリード・ミス時の処理動作を説
明するための図である。

【図７】本実施の形態の図６の処理フローを示すフロー
チャートである。

【図８】本実施の形態の図６の処理フローを示すフロー
チャートである。

【図９】本実施の形態の図６の処理フローを示すフロー
チャートである。

【図１０】本実施の形態のＳＨＡＲＥＤステートのデー
タ・ブロックへ、ライト・ヒットした時の処理動作を説
明するための図である。

【図１１】本実施の形態の図１０の処理フローを示すフ
ローチャートである。

【図１２】本実施の形態の図１０の処理フローを示すフ
ローチャートである。

【図１３】本実施の形態の図１０の処理フローを示すフ
ローチャートである。

【符号の説明】

１０１ ノード０ １０２ ノード１ １０３ ノード２ １０４ ノード３ １０５ ＩＮＣコントローラ １０６ スイッチング・ユニット １０７〜１１８ 通信ライン １１９、１２０、１２８、１２９、１３７、１３８、１
４６、１４７ ＭＰＵ １２１、１２２、１３０、１３１、１３９、１４０、１
４８、１４９ キャッシュ・メモリ １２３、１３３、１４２、１５１ ノード・メモリ １２５、１３４、１４３、１５２ ディレクトリ １２６、１３５、１４４、１５３ ＥＣＳ １２７、１３６、１４５、１５４ バス １５５ コントロール・ライン ２０１ キャッシュ・コントローラ ２０２ キャッシュ・タグ ２０３〜２０６ ＲＡＭ ２０７ データ・バッファ

フロントページの続き (72)発明者 中村 秀一 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内

Claims (12)

【特許請求の範囲】
1. 【請求項１】 少なくとも１つのプロセッサ及びそれに
   付随するキャッシュ・メモリ、主記憶装置、及び、該キ
   ャッシュ・メモリと該主記憶装置間を相互に接続する結
   合網からなる情報処理装置と、情報処理装置の複数台を
   相互に接続する結合網からなる情報処理システムであっ
   て、 前記情報処理装置内のプロセッサの制御により他の情報
   処理装置の主記憶装置からキャッシングしてきたデータ
   ブロックに対し、該データブロックが他のどの情報処理
   装置内のキャッシュ・メモリにキャッシュされているか
   を示す第１キャッシング情報を記憶する第１記憶手段
   と、 前記情報処理装置内の主記憶装置に格納されているデー
   タブロックが、他のどの情報処理装置にキャッシングさ
   れているかを示す第２キャッシング情報を記憶する第２
   記憶手段と、 前記第１キャッシング情報と前記第２キャッシング情報
   に基づいて、各キャッシュ・メモリにキャッシュされて
   いるデータブロックの一貫性を保持する保持手段とを備
   えることを特徴とする情報処理システム。
2. 【請求項２】 前記保持手段は、キャッシュ・メモリに
   キャッシュされているデータブロックがライトヒット
   し、該データブロックが他のキャッシュ・メモリにもキ
   ャッシュされている場合、該他のキャッシュ・メモリに
   キャッシュされているデータブロックを無効化すること
   で、データブロックの一貫性を保持することを特徴とす
   る請求項１に記載の情報処理システム。
3. 【請求項３】 前記第２記憶手段は、各情報処理装置内
   に配置されていることを特徴とする請求項１に記載の情
   報処理システム。
4. 【請求項４】 前記保持手段は、各情報処理装置内のデ
   ータブロックの一貫性をスヌープ方式によって保持し、
   情報処理装置間のデータブロックの一貫性をディレクト
   リ方式によって保持することを特徴とする請求項１に記
   載の情報処理システム。
5. 【請求項５】 少なくとも１つのプロセッサ及びそれに
   付随するキャッシュ・メモリ、主記憶装置、及び、該キ
   ャッシュ・メモリと該主記憶装置間を相互に接続する結
   合網からなる情報処理装置と、情報処理装置の複数台を
   相互に接続する結合網からなる情報処理システム制御方
   法であって、 前記情報処理装置内のプロセッサの制御により他の情報
   処理装置の主記憶装置からキャッシングしてきたデータ
   ブロックに対し、該データブロックが他のどの情報処理
   装置内のキャッシュ・メモリにキャッシュされているか
   を示す第１キャッシング情報を記憶する第１記憶工程
   と、 前記情報処理装置内の主記憶装置に格納されているデー
   タブロックが、他のどの情報処理装置にキャッシングさ
   れているかを示す第２キャッシング情報を記憶する第２
   記憶工程と、 前記第１キャッシング情報と前記第２キャッシング情報
   に基づいて、各キャッシュ・メモリにキャッシュされて
   いるデータブロックの一貫性を保持する保持工程とを備
   えることを特徴とする情報処理システム制御方法。
6. 【請求項６】 前記保持工程は、キャッシュ・メモリに
   キャッシュされているデータブロックがライトヒット
   し、該データブロックが他のキャッシュ・メモリにもキ
   ャッシュされている場合、該他のキャッシュ・メモリに
   キャッシュされているデータブロックを無効化すること
   で、データブロックの一貫性を保持することを特徴とす
   る請求項５に記載の情報処理システム制御方法。
7. 【請求項７】 前記第２記憶工程で記憶される記憶媒体
   は、各情報処理装置内に配置されていることを特徴とす
   る請求項５に記載の情報処理システム制御方法。
8. 【請求項８】 前記保持工程は、各情報処理装置内のデ
   ータブロックの一貫性をスヌープ方式によって保持し、
   情報処理装置間のデータブロックの一貫性をディレクト
   リ方式によって保持することを特徴とする請求項５に記
   載の情報処理システム制御方法。
9. 【請求項９】 少なくとも１つのプロセッサ及びそれに
   付随するキャッシュ・メモリ、主記憶装置、及び、該キ
   ャッシュ・メモリと該主記憶装置間を相互に接続する結
   合網からなる情報処理装置であって、 前記情報処理装置と他の情報処理装置を含む複数の情報
   処理装置と相互に接続する結合網と、 前記情報処理装置内のプロセッサの制御により、前記他
   の情報処理装置の主記憶装置からキャッシングしてきた
   データブロックに対し、該データブロックが他のどの情
   報処理装置内のキャッシュ・メモリにキャッシュされて
   いるかを示す第１キャッシング情報を記憶する第１記憶
   手段と、 前記情報処理装置内の主記憶装置に格納されているデー
   タブロックが、他のどの情報処理装置にキャッシングさ
   れているかを示す第２キャッシング情報を記憶する第２
   記憶手段と、 前記第１キャッシング情報と前記第２キャッシング情報
   に基づいて、各キャッシュ・メモリにキャッシュされて
   いるデータブロックの一貫性を保持する保持手段とを備
   えることを特徴とする情報処理装置。
10. 【請求項１０】 前記保持手段は、キャッシュ・メモリ
    にキャッシュされているデータブロックがライトヒット
    し、該データブロックが他のキャッシュ・メモリにもキ
    ャッシュされている場合、該他のキャッシュ・メモリに
    キャッシュされているデータブロックを無効化すること
    で、データブロックの一貫性を保持することを特徴とす
    る請求項９に記載の情報処理装置。
11. 【請求項１１】 前記第２記憶手段は、前記情報処理装
    置内に配置されていることを特徴とする請求項９に記載
    の情報処理装置。
12. 【請求項１２】 前記保持手段は、情報処理装置内のデ
    ータブロックの一貫性をスヌープ方式によって保持し、
    情報処理装置間のデータブロックの一貫性をディレクト
    リ方式によって保持することを特徴とする請求項９に記
    載の情報処理装置。