JPH09305489A - 情報処理システム及びその制御方法 - Google Patents

Abstract

(57)【要約】 【課題】分散共有メモリを実現するシステムにおいて、
キャッシュデータの一貫性を保持するためのマルチキャ
ストを、少ない記憶容量で効率の良く行う。 【解決手段】ディレクトリ１５２は各メモリブロックに
関するキャッシュの状態を、複数のノードを含むグルー
プを単位として記憶する。invalidateが発生すると、キ
ャッシュデータの一貫性保持のための情報をマルチキャ
ストすべく、コンセントレータ６００に通知される。当
該メモリブロックのキャッシュの状態は、ディレクトリ
１５２より獲得されて、ノード単位の情報に展開され、
ＩＣＣ６３０に記憶される。コンセントレータ６００
は、ＩＣＣ６３０に記憶されたキャッシング情報に基づ
いて、キャッシュのデータ一貫性保持のための情報を必
要なノードへマルチキャストする。そして、このマルチ
キャストの結果に基づいて、ＩＣＣ６３０に記憶された
キャッシング情報がノード単位で更新される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は分散共有メモリを実
現するために、通信機構上でマルチキャストを行う情報
処理システム及びその制御方法に関するものである。

【０００２】

【従来の技術】従来、分散共有メモリを実現する場合、
共有メモリの一貫性保持のために必要な通信を必要な計
算機にのみ配送するために、あるアクセスに関しての情
報をどの計算機に送るかを記録しておく必要があった。
特に、ディレクトリ方式の分散共有メモリのキャッシュ
システムでは、メモリのキャッシュライン毎にどの計算
機のアクセス情報をマルチキャストしなければならない
かを記録している。

【０００３】

【発明が解決しようとする課題】しかしながら、どの計
算機にマルチキャストするかを示す宛て先の保持に使用
するメモリの容量は、通信機構上の計算機の数により増
大してゆき、その容量を押さえることが求められてい
る。従来、容量を押さえるために宛て先の情報を欠落さ
せ、不必要な計算機にまでマルチキャストを行うことが
行われることが多かった。そのため記憶容量を節約でき
る反面、性能の低下が避けられなかった。

【０００４】以上のように、従来の技術においては、高
性能な分散共有メモリシステムを効率良く作成するため
には、大容量の記憶機構を用意することが必要となり、
それが実現上、コスト上、現実的でない場合があった。

【０００５】本発明は上記の問題に鑑みてなされたもの
であり、分散共有メモリを実現する際に必要になるアク
セス情報のマルチキャストの宛て先を記録する記憶機構
の容量を押さえつつ、効率の良いマルチキャストを達成
することを可能とする情報処理システム及びその制御方
法を提供することを目的とする。

【０００６】また、本発明の目的は、分散共有メモリを
実現するシステムにおいて、キャッシュデータの一貫性
を保持するためのマルチキャストを、該マルチキャスト
の宛て先を記録する記憶機構の容量を押さえつつ、効率
良く実行することを可能とする情報処理システム及びそ
の制御方法を提供することにある。

【０００７】

【課題を解決するための手段】上記の目的を達成するた
めの本発明の情報処理システムは、複数のノードによっ
て共有分散メモリを実現する情報処理システムであっ
て、当該情報処理システムにおけるマルチキャストの宛
て先を、各マルチキャストのエントリ毎に、１つ又は複
数のノードを含むグループを単位として記憶する第１記
憶手段と、マルチキャストを実行すべきエントリについ
て、前記第１記憶手段よりキャッシュの状態を獲得して
ノード単位の情報に展開し、これをマルチキャスト情報
として記憶する第２記憶手段と、前記第２記憶手段に記
憶されたマルチキャスト情報に基づいて、当該エントリ
についてマルチキャストを実行する実行手段と、前記実
行手段によるマルチキャストの結果に基づいて前記第２
記憶手段に記憶されたマルチキャスト情報をノード毎に
更新する第１更新手段とを備える。

【０００８】また、上記の目的を達成する本発明の情報
処理システムは、複数のノードによって共有分散メモリ
を実現し、各ノード内のプロセッサがキャッシュメモリ
を備えた情報処理システムであって、各メモリブロック
に関するキャッシュの状態を、１つ又は複数のノードを
含むグループを単位として記憶する第１記憶手段と、キ
ャッシュデータの一貫性保持のための情報をマルチキャ
ストすべきメモリブロックについて、前記第１記憶手段
よりキャッシュの状態を獲得してノード単位の情報に展
開し、これをキャッシング情報として記憶する第２記憶
手段と、前記第２記憶手段に記憶されたキャッシング情
報に基づいて、メモリブロックに関するキャッシュのデ
ータ一貫性保持のための情報のマルチキャストを実行す
る実行手段と、前記実行手段によるマルチキャストの結
果に基づいて前記第２記憶手段に記憶されたキャッシン
グ情報をノード毎に更新する第１更新手段とを備える。

【０００９】また、好ましくは、前記更新手段は、前記
実行手段によるマルチキャストの結果、当該メモリブロ
ックをキャッシュしていないノードを検出し、この検出
結果に基づいて前記第２記憶手段のキャッシング情報を
更新する。マルチキャストの結果に基づいて当該メモリ
ブロックをキャッシュしていないノードを検出して、第
２記憶手段のキャッシング情報をノード毎に更新するの
で、正確なキャッシング情報が第２記憶手段に記憶され
るようになる。

【００１０】また、好ましくは、前記第１記憶手段は、
前記複数のノードの夫々に設けられている。

【００１１】また、好ましくは、自ノード内のメモリに
対するアクセスの発生を検出する検出手段と、前記検出
手段によってアクセスの発生が検出された場合、該アク
セスのアクセス元を獲得して前記第１記憶手段に記憶さ
れたキャッシュの状態を更新する第２更新手段とを更に
備える。

【００１２】また、好ましくは、当該情報処理システム
におけるキャッシュデータの一貫性保持機構はディレク
トリ方式によって実現され、前記第１記憶手段は、該デ
ィレクトリ方式におけるディレクトリ情報を複数のノー
ドで構成されるグループを単位として記憶し、前記第２
記憶手段は、前記実行手段におけるキャッシュメモリを
構成する。

【００１３】

【発明の実施の形態】以下に添付の図面を参照して、本
発明の好適な実施形態を説明する。

【００１４】［第１の実施形態］図１は、第１の実施形
態における並列計算機システムの構成を示す図である。
同図に示されるように、本実施形態の計算機は複数のノ
ード１００，２００，３００，４００，５００からな
り、各々のノードはコンセントレータ６００を通じて光
ファイバによりネットワークを構成している。コンセン
トレータ６００は、ノード間の通信を管理する。各ノー
ドは通常の計算機であり、各々１個または複数個のＣＰ
Ｕを持つ。また、各々のノードはアドレス空間を共有し
ている。図２は本実施形態における計算機システムのメ
モリマップを示す図である。一つのＣＰＵからみえるア
ドレス空間は、図２に示されるようになっている。そし
て、ノード間通信は、自分のアドレス上に見えている相
手のメモリに対してデータを直接書込むことにより行わ
れる。

【００１５】各ノード１００，２００，３００，４０
０，５００が光通信装置１４０，２４０，３４０，４４
０，５４０を通じ、アービトレーション回線１６０，２
６０，３６０，４６０，５６０、データ回線１７０，２
７０，３７０，４７０，５７０の２本の光ファイバを介
してコンセントレータ６００に接続されることによりネ
ットワークが構成される。アービトレーション回線１６
０，２６０，３６０，４６０，５６０は、夫々ノード１
００，２００，３００，４００，５００とコンセントレ
ータ６００内の光バスアービタ６１０を接続する。アー
ビトレーション回線により、各ノードは光バスアービタ
６１０と相互に通信することができる。

【００１６】データ回線１７０，２７０，３７０，４７
０，５７０は、ノードとコンセントレータ内のスターカ
プラ６２０を接続する。スターカプラ６２０は、一端に
光を入力すると他端からその光が均等に出力される。従
って、一つのノードがデータ回線に光信号を発すると、
その光信号を他の全てのノードで受け取ることができ
る。このため、一つのノードがデータ回線に発した光通
信を、全てのノードで受けとることが可能である。

【００１７】ノードは、通信する波長を選択することに
より、任意のノードと通信を行う。例えば、ノードＡ１
００がノードＢ２００と通信を行う場合は、ノードＡ１
００がアービトレーション回線１６０を通じて光バスア
ービタ６１０にノードＢ２００と通信を行うための通信
要求を送る。光バスアービタ６１０は、ノードＢ２００
が他のノードと通信中でないことを確認し、どのノード
も使用していない波長αをアービトレーション回線１６
０，２６０を通じて、ノードＡ１００、ノードＢ２００
間の通信に割り当てる。ノードＡ１００，ノードＢ２０
０は波長αを使用してデータ回線１７０，２７０を通じ
て通信を行う。

【００１８】分散共有メモリは、上述のようなネットワ
ークの上における光通信装置によって実現される。例と
して、ノードＡ１００のＣＰＵ１１０が、ノードＢ２０
０のメモリ２３０の内容をリードする（読み出す）様子
を、図３を使って説明する。図３は、分散共有メモリに
よるメモリリードの手順を説明するための図である。な
お、図３に示される（Ａ１）〜（Ａ７）の動作は、一連
のものとして実施される。

【００１９】（Ａ１）ノードＡ１００のＣＰＵ１１０
が、ノードＢ２００のメモリ２３０に対してリードアク
セスを発行する、（Ａ２）ノードＡ１００の光通信装置
１４０は、メインバス上のバスアクセスを監視してい
る。メインバス上に、そのノードＡ１００のメモリ１３
０以外のアドレスに対してアクセスが発行されると、光
通信装置１４０はそのバスアクセスを検出する、（Ａ
３）光通信装置１４０は、アクセス要求パケットをコン
セントレータ６００を通じて、ノードＢ２００の光通信
装置２４０に対して送る、（Ａ４）ノードＢ２００の光
通信装置２４０はアクセス要求パケットを受けとると、
その依頼にしたがってノードＢのメモリ２３０に対して
のアクセスを代行する、（Ａ５）ノードＢ２００のメモ
リ２３０がアクセスに応答する、（Ａ６）ノードＢの光
通信装置２４０は、アクセスが終わると、ノードＡ１０
０の光通信装置１４０に対してアクノリッジ（メモリ２
３０よりの読出しデータを含む）を返す、（Ａ７）アク
ノリッジを受けとったノードＡ１００の光通信装置１４
０は、ノードＢ２００のメモリ２３０の代わりにノード
Ａ１００のＣＰＵ１１０のアクセスに応答する。

【００２０】また、本実施形態では分散共有メモリ上
で、ディレクトリ方式の一貫性保持方式を採用したキャ
ッシュシステムを搭載している。ディレクトリ方式のキ
ャッシュの詳細は、「共有記憶型並列システムの実際」
（コロナ社刊）に示されている。本実施形態で採用した
ディレクトリ方式のキャッシュについては、特許情メ研
番号ｋ９４００８７で提案されているＩＣＣ（Ｉｎｔｅ
ｒ−ｎｏｄｅ Ｃａｃｈｅ−ｉｎｆｏｒｍａｔｉｏｎ
Ｃａｃｈｅ）を採用したものを使用する。これは各ノー
ドにディレクトリを分散して持ち、ディレクトリ方式の
一貫性保持動作を行う際に必要なキャッシュメンテナン
ス情報のマルチキャストは、ネットワーク中央のコンセ
ントレータで行うというものである。

【００２１】即ち、各ノードにおいて、自ノード内のキ
ャッシュ単位であるメモリブロックを、ディレクトリを
使用して管理する。そして、各ディレクトリにはそのメ
モリブロックに対するキャッシュメンテナンス情報をマ
ルチキャストするためのマルチキャスト先を示す情報が
格納される。コンセントレータは、このディレクトリ情
報を参照してマルチキャストを実行する。

【００２２】また、ノード内のＣＰＵ間でのキャッシュ
の一貫性保持は、各ＣＰＵに内蔵されたＭＥＳＩプロト
コル（Ｍｏｄｉｆｉｅｄ，Ｅｘｃｌｕｓｉｖｅ，Ｓｈａ
ｒｅｄ，Ｉｎｖａｌｉｄの４状態によりキャッシュを管
理するプロトコル）によるスヌープキャッシュで管理さ
れているものとする。なお、本実施形態ではＭＥＳＩプ
ロトコルを使用するが、これは本発明を限定するもので
はない。

【００２３】ノード間のキャッシュの一貫性保持は、外
付けされたキャッシュ管理装置１５０、２５０、３５
０、４５０、５５０により管理される。また、キャッシ
ュメンテナンス情報のマルチキャストは、コンセントレ
ータ６００内の光バスアービタ６１０により行われる。
光バスアービタ６１０にはＩＣＣと呼ばれるディレクト
リ情報のキャッシュがある（図６により後述する）。光
バスアービタ６１０がキャッシュメンテナンス情報のマ
ルチキャストを行う場合には、各ノードに格納されたデ
ィレクトリ情報が必要となるが、ＩＣＣ６３０に必要な
ディレクトリ情報があった場合には、このＩＣＣ６３０
のディレクトリ情報を参照することにより、効率よく情
報のマルチキャストを行なえるようになっている。

【００２４】特に、本実施形態では、コンセントレータ
６００内のディレクトリ情報のキャッシュを２４ビット
幅のＲＡＭで構成するフルマップ方式をとっている。従
って、本実施形態のシステムにおいては最大ノード数が
２４となるが、この数はキャッシュを構成するＲＡＭの
ビット幅を変更することで容易に変更可能であることは
明らかである。また、ＲＡＭの各ビットはそれぞれのノ
ードを示し、該当キャッシュブロックをキャッシングし
ているノードに対応するビットが１となる。

【００２５】以上のような構成に対して、各ノード内の
ディレクトリには、グループごとのディレクトリ情報の
みを記録する。本実施形態では、４ノードを１つのグル
ープとして、各ディレクトリのマルチキャスト先をグル
ープ単位で記憶する。このような構成をとることによ
り、よく使用するディレクトリ情報はコンセントレータ
６００内のキャッシュメモリに詳細に記憶されることに
なりマルチキャストの効率低下が防止される。また、稀
にしか使用しないディレクトリ情報は各ノード内でグル
ープを単位として記憶されることにより、その情報量を
落とすことが出来る。この結果、システム性能の向上
（マルチキャストの効率的な実行）とディレクトリ情報
のための記憶容量の縮小の両立を実現する。

【００２６】図４は、本実施形態における計算機システ
ムのノードの構成を示すブロック図である。ディレクト
リ方式のキャッシュを実現するキャッシュ管理装置１５
０は、バス監視装置１５１、ディレクトリ１５２、ディ
レクトリ管理装置１５３、通信管理装置１５４、アクセ
スエミュレーション装置１５５から構成されている。

【００２７】図５は第１の実施形態のおける各ノード内
のディレクトリのデータ構造を表す図である。同図に示
されるように、ディレクトリ１５２はノードを４個ずつ
の６グループに分割し、ディレクトリ１５２の各ビット
によりそれぞれのグループにおけるキャッシング状態を
示す。ディレクトリ１５２は「６ビット×キャッシュブ
ロック数」（６：グループ数）のＲＡＭにより構成され
る。ここでは、ノードＡ，Ｂ，Ｃ，Ｄを第１グループ、
ノードＥ，Ｆ，Ｇ，Ｈを第２グループとし、以下同様
に、ノードＵ，Ｖ，Ｗ，Ｘで構成される第６グループま
での６個のグループでキャッシング状態を管理する。各
グループ内のノードのうち一つでも該当キャッシュブロ
ックをキャッシングしていれば、そのグループに対応す
るビットが１となる。該当キャッシュブロックに対する
キャッシュメンテナンス情報の伝達が必要な場合は、ビ
ットが１になっているグループに対してキャッシュ情報
をマルチキャストする。このようにグループ化すること
で、フルマップ方式と比較してディレクトリの容量を縮
小している。

【００２８】図６はコンセントレータ６００の構成を表
すブロック図である。コンセントレータ６００は、光バ
スアービタ６１０、スターカプラ６２０、ＩＣＣ（Ｉｎ
ｔｅｒ−ｎｏｄｅ Ｃａｃｈｅ−ｉｎｆｏｒｍａｔｉｏ
ｎ Ｃａｃｈｅ）６３０により構成される。ノードから
送られてきたキャッシュ管理情報は、光バスアービタ６
１０とＩＣＣ６３０により必要なノードに転送（マルチ
キャスト）される。ＩＣＣ６３０はフルマップ方式をと
っており、２４ビット幅のＲＡＭ（２４：ノード数）に
より構成される。図７は、本実施形態におけるＩＣＣの
データ構造を説明する図である。ＩＣＣ６３０では、各
ディレクトリ情報がマルチキャストの必要なノードを正
確に記録するので、不必要なマルチキャストがなくな
り、システムの性能向上をすることができる。

【００２９】次にキャッシュ管理装置１５０の動作を説
明する。ここでは、 ・ノード内のメモリに対してリードアクセスが発行され
たとき、 ・ノード内のアドレスにｉｎｖａｌｉｄａｔｅ，Ｒｅａ
ｄ−ｗｉｔｈ−Ｉｎｔｅｎｔ−ｔｏ−Ｍｏｄｉｆｙ（キ
ャッシュのライトミス時に出力されるライトを前提とし
たリードサイクル）などのキャッシュメンテナンス情報
が出力されたとき、 ・ノード外のアドレスに対してｉｎｖａｌｉｄａｔｅ，
Ｒｅａｄ−ｗｉｔｈ−Ｉｎｔｅｎｔ−ｔｏ−Ｍｏｄｉｆ
ｙなどのキャッシュメンテナンス情報が出力されたと
き、に分けて説明する。

【００３０】図８は、ノード内のアドレスに対してリー
ドアクセスが発行された場合の動作を説明する図であ
る。図９は、ノード内のアドレスに対してキャッシュメ
ンテナンスが発生した場合の動作を説明する図である。
また、図１０は、ノードにおけるキャッシュ管理動作の
手順を示すフローチャートである。

【００３１】先ず、ノード内のメモリに対してリードア
クセスが発行された時の動作を、図８及び図１０を用い
て説明する。ノード内のメモリ１３０に対してリードア
クセスが行われる（Ｂ１）と、バス監視装置１５１がそ
のアクセスを検知する（Ｂ２）（ステップＳ１１）。当
該アクセスが自ノードのメモリへのアクセスである場合
は、メモリ１３０の応答を抑制する（Ｂ３）（ステップ
Ｓ１２、Ｓ１３）。

【００３２】続いて、ディレクトリ１５２を参照し（ス
テップＳ１４）、当該アクセス先のメモリ内容が他のノ
ードにキャッシングされているかどうかを判断する（ス
テップＳ１５）。

【００３３】他のノードにキャッシングされていない場
合、バス監視装置１５１は、リードを行ったノードの属
するグループのＩＤを、そのグループのＣＰＵが実効ア
ドレスのメモリブロックをキャッシングしているものと
して記録するように、リードの実効アドレスと共にディ
レクトリ管理装置１５３に対して要求を出す（Ｂ４）。
ディレクトリ管理装置１５３はバス監視装置１５１の要
求に基づき、ディレクトリ１５２の当該実効アドレスに
対応する欄の光通信装置から送られてきたノードグルー
プＩＤ（Ｂ５）に対応するビットに「１」を記録する
（Ｂ６）（ステップＳ１８）。記録が終了すると、バス
監視装置１５１はメモリ１３０の応答抑制を解除し（Ｂ
７）、当該リードアクセスが完了する（Ｂ８）（ステッ
プＳ１９）。

【００３４】一方、アクセス先のメモリ内容が既に他の
ノードにキャッシングされている場合には、キャッシュ
管理装置１５０はディレクトリ情報の内容と共にマルチ
キャスト要求を送出する（ステップＳ１６）。なお、こ
のマルチキャスト要求におけるディレクトリ情報には、
ディレクトリ１５２に既に記録されているキャッシング
情報と、今回のリードアクセスの発生元のノードを含む
グループがキャッシング先として含まれている。

【００３５】ここで、ディレクトリ情報を含むマルチキ
ャスト要求パケットを受信したコンセントレータ６００
は、ＩＣＣ６３０を検索してマルチキャストさきを得
る。もし、ＩＣＣでミスした場合、受信したパケットの
ディレクトリ情報を使用する。その後、コンセントレー
タ６００は、ディレクトリ情報に従ってマルチキャスト
を実行する。そして、このマルチキャストの実行結果に
基づいてＩＣＣ６３０を更新し、情報欠落の無い詳細な
ディレクトリ情報とする。そして、コンセントレータ６
００より当該要求に対する完了パケットが発行される。
なお、このコンセントレータ６００の動作については後
述する。

【００３６】バス監視装置１５１は、この完了パケット
を受信すると、ディレクトリ１５２を更新する（ステッ
プＳ１８）。そして、バス監視装置１５１はメモリ１３
０の応答抑制を解除し、当該リードアクセスが完了する
（ステップＳ１９）。

【００３７】次に、ノード内のアドレスに対してｉｎｖ
ａｌｉｄａｔｅもしくはＲｅａｄ−ｗｉｔｈ−Ｉｎｔｅ
ｎ−ｔｏ−Ｍｏｄｉｆｙが発行された時の動作を、図９
を使って説明する。ノード内のメモリ１３０に対してｉ
ｎｖａｌｉｄａｔｅ／Ｒｅａｄ−ｗｉｔｈ−Ｉｎｔｅｎ
ｔ−ｔｏ−Ｍｏｄｉｆｙアクセスが行われると（Ｃ
１）、バス監視装置１５１がそのアクセスを検知する
（Ｃ２）。バス監視装置１５１はメモリ１３０の応答を
抑制する（Ｃ３）（ステップＳ１１〜Ｓ１３）。そして
ディレクトリ管理装置１５３を通じ、アクセスの実効ア
ドレスに対応するエントリを参照する（Ｃ４）（ステッ
プＳ１４）。バス監視装置１５１は、参照したノードグ
ループＩＤの記録を調べ、対象アドレスをキャッシング
しているノードグループがあるかどうか調べる。もし対
象メモリブロックをキャッシングしているノードグルー
プがなかったら、当該アクセスに基づいてディレクトリ
１５２を更新するとともに（Ｃ１０）、メモリ１３０の
応答抑制を解除し（Ｃ１１）、ｉｎｖａｌｉｄａｔｅ／
Ｒｅａｄ−ｗｉｔｈ−Ｉｎｔｅｎｔ−ｔｏ−Ｍｏｄｉｆ
ｙを完了させる（ステップＳ１５、Ｓ１８、Ｓ１９）。

【００３８】もしキャッシングしているノードグループ
があったら、通信管理装置１５４に対象アドレス、ｉｎ
ｖａｌｉｄａｔｅ／Ｒｅａｄ−ｗｉｔｈ−Ｉｎｔｅｎ−
ｔｏ−Ｍｏｄｉｆｙを発行したノードグループＩＤと共
にマルチキャスト要求を出す（Ｃ５）。要求を受けとっ
た通信管理装置１５４は、光バスアービタ６１０に対す
るマルチキャスト要求パケットを作成し、これを送信す
る（Ｃ６）（ステップＳ１５、Ｓ１６）。

【００３９】この要求パケットを受けとった光バスアー
ビタ６１０は、ＩＣＣ６３０からパケットに含まれる実
効アドレスに対応したディレクトリ情報を捜し、ＩＣＣ
にディレクトリ情報がなければ要求パケットに含まれる
情報量の欠けたディレクトリ情報をフルマップ情報に変
換してＩＣＣ６３０に登録する（Ｃ７）。光アービタ６
１０は、ＩＣＣ６３０の情報にしたがって要求されたア
クセスを記録されたグループの各ノードにマルチキャス
トする（Ｃ８）。各ノードからの応答パケットが返って
くると、光アービタ６１０はパケットからマルチキャス
トの必要なノードを判断し、ＩＣＣ６３０を更新する
（Ｃ９）。マルチキャストが完了すると完了パケットが
コンセントレータ６００よりノードへ転送される。

【００４０】光バスアービタ６１０によるマルチキャス
トが終わると、バス監視装置１５１は、当該アクセスに
基づいてディレクトリ１５２を更新するとともに（Ｃ１
０）、メモリ１３０の応答抑制を解除し（Ｃ１１）、ｉ
ｎｖａｌｉｄａｔｅ／Ｒｅａｄ−ｗｉｔｈ−Ｉｎｔｅｎ
ｔ−ｔｏ−Ｍｏｄｉｆｙを完了させる（ステップＳ１
７、Ｓ１８、Ｓ１９）。

【００４１】次に、ノード外のアドレスに対してｉｎｖ
ａｌｉｄａｔｅ，Ｒｅａｄ−ｗｉｔｈ−Ｉｎｔｅｎｄ−
ｔｏ−Ｍｏｄｉｆｙなどのキャッシュメンテナンス情報
が出力された時の動作を説明する。ノード外のアドレス
に対してキャッシュメンテナンス情報によるアクセスが
発生した場合には、バス監視装置１５１がそのアクセス
を検知し、そのアクセスをリトライさせる（ステップＳ
１１、Ｓ１２、Ｓ２０、Ｓ２１）。バス監視装置１５１
は、通信管理装置１５４に対象アドレスと共にマルチキ
ャスト要求を出す。要求を受けとった通信管理装置１５
４は、光アービタ６１０に対するマルチキャスト要求パ
ケットを作成して送る（ステップＳ２２）。光バスアー
ビタ６１０によるマルチキャストが終わると、バス監視
装置１５１アクセスリトライを解除し、本アクセスが完
了する（ステップＳ２３、Ｓ２４）。

【００４２】図１１はキャッシュ管理装置がパケットを
受信した場合の動作を説明するフローチャートである。
ステップＳ３１において、パケットの受信を待ち、パケ
ットが受信されるとステップＳ３２へすすむ。ステップ
Ｓ３２では、パケットの種類を判定し、「回線接続完了
パケット」の場合はステップＳ３３へ、「キャッシュメ
ンテナンスパケット」の場合はステップＳ３４へ、「デ
ィレクトリ要求パケット」の場合はステップＳ３６へそ
れぞれ進む。

【００４３】ステップＳ３３では、パケットの情報に従
って、アクセス情報をバスに出力する。ステップＳ３４
では、パケットの情報に従ってアクセス情報をバスに出
力し、ステップＳ３５において、そのアクセス結果を光
バスアービタ６１０に送信する。即ち、キャッシュメン
テナンスパケットが対象とするディレクトリを、当該ノ
ードのＣＰＵがキャッシュしているか否かを判定し、そ
の結果を光バスアービタに送出する。また、ステップＳ
３６では、ディレクトリ１５２をアクセスし、当該パケ
ットで示されたディレクトリのディレクトリ情報を獲得
し、これを光バスアービタに送出する。

【００４４】次にネットワーク中央の光バスアービタの
動作を ・ディレクトリ情報を含んだマルチキャスト要求パケッ
トを受け取ったとき、 ・ディレクトリ情報を含まないマルチキャスト要求パケ
ットやアクセスパケットを受け取ったとき、に分けて説
明する。図１５は、光バスアービタの動作を説明するフ
ローチャートである。

【００４５】図１２は、ディレクトリ情報を含んだマル
チキャスト要求パケットを受け取ったときの光バスアー
ビタ６１０の動作を説明する図である。ディレクトリ情
報を含んだマルチキャスト要求パケットを受け取ると
（Ｄ１）、光バスアービタ６１０はパケットに含まれる
対象アドレスに対応したディレクトリがＩＣＣ６３０に
キャッシングされていないか調べる（Ｄ２）（ステップ
Ｓ４１、Ｓ４２、Ｓ５２）。もし、当該ディレクトリが
キャッシングされていなければ、そのディレクトリ情報
をフルマップ方式に変換し、ＩＣＣ６３０にキャッシン
グする（Ｄ３）（ステップＳ５３、Ｓ５４）。その後、
光バスアービタ６１０はディレクトリ情報で示されたノ
ードに対して、パケットで示されたアクセスのマルチキ
ャストを行う（Ｄ４）（ステップＳ４８）。マルチキャ
ストを終えると、光バスアービタ６１０はマルチキャス
トしたアクセスの結果をＩＣＣ６３０に反映させる（Ｄ
５）（ステップＳ４９）。マルチキャストが完了する
と、要求元のノードに対してマルチキャスト完了パケッ
トを送出する（Ｄ６）（ステップＳ５５）。

【００４６】一方、ステップＳ５３において、当該ディ
レクトリがキャッシングされていれば、そのままステッ
プＳ４８へ進む。即ち、ＩＣＣにヒットした場合は、Ｉ
ＣＣの内容が優先される。

【００４７】次に、ディレクトリの情報を含まないマル
チキャスト要求パケットやアクセスパケットを受け取っ
たときの動作を説明する。図１３は、ディレクトリ情報
を含まないマルチキャスト要求パケットを受け取ったと
きの光バスアービタ６１０の動作を説明する図である。

【００４８】ディレクトリ情報を含まないアクセスパケ
ットやマルチキャスト要求パケットを受け取ると（Ｅ
１）、光バスアービタ６１０はパケットに含まれる対象
アドレスに対応したディレクトリがＩＣＣ６３０にキャ
ッシングされていないか調べる（Ｅ２）（ステップＳ４
１、Ｓ４２、Ｓ４３）。もしＩＣＣ６３０に該当するデ
ィレクトリ情報がキャッシングされていなければ、光バ
スアービタ６１０はそのディレクトリ情報を持っている
ノード（パケットで示されるアクセスアドレスに対応し
たノード）に対してディレクトリ要求パケットを送出す
る（Ｅ３）（ステップＳ４５）。

【００４９】ディレクトリ要求パケットを受け取ったノ
ードの通信管理装置２５４は、ディレクトリ管理装置２
５１を通じてパケットに含まれるアクセスアドレスから
該当ディレクトリを参照し（Ｅ４）、光バスアービタ６
１０に対してディレクトリ情報を送出する（Ｅ５）。

【００５０】光バスアービタ６１０はパケットに含まれ
るディレクトリ情報をフルマップの形式に変換してＩＣ
Ｃ６３０にキャッシングする（Ｅ６）（ステップＳ４
６、Ｓ４７）。その後、光バスアービタ６１０はＩＣＣ
６３０のディレクトリ情報で示されたノードに対して、
パケットで示されたアクセスのマルチキャストを行う
（Ｅ７）（ステップＳ４８）。マルチキャストを終える
と、光バスアービタ６１０は、マルチキャストしたアク
セスの結果をＩＣＣに反映させる（Ｅ８）（ステップＳ
４９）。マルチキャストが完了すると、要求元のノード
に対してマルチキャスト完了パケットを送出する（Ｅ
９）（ステップＳ５０、Ｓ５５）。

【００５１】なお、受信したパケットが回線接続要求で
あった場合は、回線の接続を行った後に、マルチキャス
ト完了パケットを送出する（ステップＳ５０、Ｓ５１、
Ｓ５５）。

【００５２】先に述べたように、ＩＣＣ６３０はフルマ
ップ方式であり、各ノードのディレクトリはいくつかの
ノードをグループ化して情報量を落としている。そのた
め、ＩＣＣミス（キャッシュミス）が起こり、ＩＣＣ６
３０に各ノードのディレクトリからディレクトリ情報を
読み込む際には、図１４のような変換を行う。図１４は
ノードのディレクトリとＩＣＣとの間のデータ変換方法
を示す図である。各ノードのディレクトリからＩＣＣに
情報を読み込む際には、ディレクトリにマルチキャスト
が必要だと記録されたノードグループについて、そのグ
ループに属するノードに対応するＩＣＣのビットを全て
ＯＮにする変換を行う。

【００５３】このような変換はキャッシュメンテナンス
情報を必要のないノードに対してキャストすると言う、
不要なキャストを含むマルチキャストを生じさせる。だ
が、必要のないノードに対してのマルチキャストは、性
能を落とすが論理的な矛盾を生じないため、このような
変換が可能である。最初の１回は不必要なノードにまで
マルチキャストが行われるが、各ノードがマルチキャス
トに応答して返してくるパケットの中に、そのノードが
該当アドレスをキャッシングしているかの情報が含まれ
ているので、それに基づいてＩＣＣ６３０を更新するこ
とで、２回目以降のマルチキャストは必要なノードにの
みに行われることになる。

【００５４】次にキャッシュ管理装置内の個々の装置に
ついて説明する。

【００５５】図１６はバス監視装置１５１の構成を示す
ブロック図である。バス監視装置１５１の内部は、シー
ケンサ１５１ａとアドレスラッチ１５１ｂからなってい
る。シーケンサ１５１ａはノード内のバスを監視し、バ
スマスタ（例えば、ＣＰＵ１１０）によるメモリのリー
ドアクセス、ｉｎｖａｌｉｄａｔｅ、Ｒｅａｄ−ｗｉｔ
ｈ−Ｉｎｔｅｎｔ−ｔｏ−Ｍｏｄｉｆｙ、メモリ書込み
の実行を検出する。シーケンサ１５１ａは、バス上のア
クセス要求信号、バスアクセスに伴ってバスマスタから
出力されるアクセス修飾信号などを監視することで、ア
クセスを検出する。

【００５６】即ち、バス監視装置１５１は、アクセス要
求信号が有効であり、アクセスアドレスが自分のノード
のメモリに対するものであり、アクセス修飾信号がリー
ドであることを示している場合、リードアクセスを検出
したと判断する。そして、リードアクセスを検出する
と、メモリ１３０の応答を抑制し、その間に通信管理装
置１５４を通じて光通信装置１４０にリードアクセスを
行うように依頼を出したノードを問い合わせ、ディレク
トリ管理装置１５３を通じてディレクトリ１５２のリー
ドアクセスの対象アドレスに対応する欄に登録する。

【００５７】また、バス監視装置１５１は、アクセス要
求信号が有効であり、アクセス修飾信号がそのアクセス
がライト／ｉｎｖａｌｉｄａｔｅ／Ｒｅａｄ−ｗｉｔｈ
−Ｉｎｔｅｎ−ｔｏ−Ｍｏｄｉｆｙ等のキャッシュメン
テナンスアクセスであることを示している場合、ライト
／ｉｎｖａｌｉｄａｔｅ／Ｒｅａｄ−ｗｉｔｈ−Ｉｎｔ
ｅｎ−ｔｏ−Ｍｏｄｉｆｙを検出したと判断する。

【００５８】自ノードに対するライト／ｉｎｖａｌｉｄ
ａｔｅ／Ｒｅａｄ−ｗｉｔｈ−Ｉｎｔｅｎｔ−ｔｏ−Ｍ
ｏｄｉｆｙを検出すると、バス監視装置１５１は、メモ
リ書込み／ｉｎｖａｌｉｄａｔｅ／Ｒｅａｄ−ｗｉｔｈ
−Ｉｎｔｅｎｔ−ｔｏ−Ｍｏｄｉｆｙを中断する。そし
て、ディレクトリ管理装置１５３を通じてディレクトリ
１５２の書込み先アドレスに対応する欄を参照して、そ
のアドレスに対応したメモリブロックをキャッシングし
ているノードがあるかどうかを調べる。キャッシングし
ているノードがあれば、通信管理装置１５４に対して書
込み／ｉｎｖａｌｉｄａｔｅをマルチキャストするよう
要求を出す。その後、通信管理装置１５４がマルチキャ
ストの終了を通知してきたら、中断していたメモリ書込
み／ｉｎｖａｌｉｄａｔｅ／Ｒｅａｄ−ｗｉｔｈ−Ｉｎ
ｔｅｎ−ｔｏ−Ｍｏｄｉｆｙを再開し、ディレクトリ管
理装置１５３を通じてディレクトリ１５２のメモリ書込
み先アドレスに対応する欄をクリアする。

【００５９】なお、ライト／ｉｎｖａｌｉｄａｔｅ／Ｒ
ｅａｄ−ｗｉｔｈ−Ｉｎｔｅｎｔ−ｔｏ−Ｍｏｄｉｆｙ
の中断は、バス上にアクセス再実行信号を出力し、その
ライトアクセスをプロセッサにリトライさせることで実
現したが、他の方法によりライト命令を中断してもよ
い。

【００６０】次に、図１７は、ディレクトリ１５２、デ
ィレクトリ管理装置１５３の構成を示すブロック図であ
る。ディレクトリ１５２は、各メモリブロックをキャッ
シングしているノードをグループ単位で記録する。即
ち、各対象メモリブロック（ディレクトリ）に対して、
ライト／ｉｎｖａｌｉｄａｔｅ／Ｒｅａｄ−ｗｉｔｈ−
Ｉｎｔｅｎｔ−ｔｏ−Ｍｏｄｉｆｙが行われた場合に、
どのノードに、キャッシュの一貫性保持のためにライト
／ｉｎｖａｌｉｄａｔｅ／Ｒｅａｄ−ｗｉｔｈ−Ｉｎｔ
ｅｎｔ−ｔｏ−Ｍｏｄｉｆｙを通知しなければならない
かを記録している。

【００６１】ディレクトリ１５２への操作は、ディレク
トリ管理装置１５３により行われる。ディレクトリ管理
装置１５３は、シーケンサ１５３ａにより管理されてい
る。ディレクトリ１５２に対する操作は、バス監視装置
１５１がリードアクセスを検出してリードアクセスを実
行したノードを記録する場合、バス監視装置１５１がメ
モリ書込み／ｉｎｖａｌｉｄａｔｅ／Ｒｅａｄ−ｗｉｔ
ｈ−Ｉｎｔｅｎｔ−ｔｏ−Ｍｏｄｉｆｙを検出して対象
メモリブロックをキャッシングしているノードを参照す
る場合、或はバス監視装置１５１の要求により記録を破
棄する場合に行われる。

【００６２】ディレクトリ１５２は、６ビット幅（６は
本例におけるノードグループの数）のメモリである。デ
ィレクトリの詳しい構造については先に説明した。ディ
レクトリ管理装置１５２は、バス監視装置１５１から記
録要求を受けると、要求があったノードが所属するグル
ープに対応するビットをＯＮにする。またバス監視装置
１５１から記録破棄要求を受けると、全てのビットをＯ
ＦＦにする。

【００６３】通信管理装置１５４はバス監視装置１５１
からの要求により、光通信装置１４０とのコミュニケー
ションを行う。通信管理装置１５４は、バス監視装置１
５１からのｉｎｖａｌｉｄａｔｅ／Ｒｅａｄ−ｗｉｔｈ
−Ｉｎｔｅｎ−ｔｏ−Ｍｏｄｉｆｙ／メモリ書込みのマ
ルチキャスト要求を受け、光通信装置１４０を介して光
アービタ６１０に、検出されたライトアクセスのマルチ
キャスト依頼パケットを送出する。また光通信装置１４
０を通じて受けとったキャッシュの一貫性保持動作要求
パケットにより、メモリアクセスエミュレーション装置
１５５に対してｉｎｖａｌｉｄａｔｅ／Ｒｅａｄ−ｗｉ
ｔｈ−Ｉｎｔｅｎ−ｔｏ−Ｍｏｄｉｆｙ／ライト／リー
ド要求を出力する。

【００６４】図１８は、メモリアクセスエミュレーショ
ン装置１５５の構成を示すブロック図である。メモリア
クセスエミュレーション装置１５５は、通信管理装置１
５４からの要求により、ダミーのメモリライトアクセス
／ダミーのメモリリードアクセス／ｉｎｖａｌｉｄａｔ
ｅ／Ｒｅａｄ−ｗｉｔｈ−Ｉｎｔｅｎｔ−ｔｏ−Ｍｏｄ
ｉｆｙアクセスを自ノードのバス上に発行する。これら
のアクセスにより、ノード間のキャッシュの一貫性が保
持される。エミュレート装置１５５の発行するアクセス
は、自分のノードに割り当てられたアドレスではないた
め、ノード内のバススレーブ（例えばメモリ１３０）よ
り応答は発生せず、ダミーのアクセスとなる。

【００６５】また、コンセントレータ６００内の光バス
アービタ６１０にも、キャッシュの一貫性保持のための
機構が存在する。本実施形態では、光バスアービタ６１
０は一つの計算機として実現したため、これらの機構は
ソフトウェアで実現している。しかしながら、これは本
発明を制限するものではなく、ハードウェアで実現する
ことも可能である。

【００６６】次に本ディレクトリ方式のキャッシュシス
テムの詳細な動作例を示す。本例では、以下のような動
作が行われた場合を説明する。

【００６７】（１）ノードＡ１００（以下、単にノード
Ａとする）のＣＰＵ１１０がノードＡのメモリ１３０の
ＸＸＸＸ番地をリードする、（２）ノードＥ５００（以
下、単にノードＥとする）のＣＰＵ５１０がノードＡの
メモリ１３０のＸＸＸＸ番地をリードする、（３）ノー
ドＡのＣＰＵ１１０がノードＡのメモリ１３０のＸＸＸ
Ｘ番地にデータをライトする。

【００６８】以上の（１）、（２）により２つのノード
のＣＰＵに同一番地がキャッシングされたときの状態
を、（３）により他のノードにキャッシングされている
番地に対してライトを行ったときの動作を説明する。

【００６９】先ず、ノードＡのＣＰＵ１１０がノードＡ
のメモリ１３０のＸＸＸＸ番地にリードを行った場合、
ディレクトリ方式のキャッシュシステムがどのような動
作をするか、図１９を使って説明する。図１９は、ノー
ドＡが自ノード内のメモリをリードアクセスした場合の
動作を説明する図である。

【００７０】（Ｆ１）ノードＡのＣＰＵ１１０が、リー
ドを行いキャッシュミスしてリードのメモリアクセスを
開始する、（Ｆ２）バス監視装置１５１が、リードアク
セスを検出し、メモリ応答を抑制する、（Ｆ３）バス監
視装置１５１が、ディレクトリ管理装置１５３に記録要
求を出す、（Ｆ４）ディレクトリ管理装置１５３が、デ
ィレクトリ１５２のＸＸＸＸ番地を含むメモリブロック
のディレクトリ情報にノードＡの属するグループを登録
する、（Ｆ５）メモリ１３０の応答抑制が解除されリー
ドが行われる、（Ｆ６）ノードＡのＣＰＵ１１０がＸＸ
ＸＸ番地をｅｘｃｌｕｓｉｖｅでキャッシングする。

【００７１】以上の動作により、ノードＡのＣＰＵ１１
０がＸＸＸＸ番地をキャッシングしたことがディレクト
リ１５２に記録される。即ち、ＸＸＸＸ番地を含むディ
レクトリのノードＡを含むグループ（本例では、ノード
Ａ，Ｂ，Ｃ，Ｄ）のビットが１にセットされる。

【００７２】次にノードＥのＣＰＵ５１０がノードＡの
メモリ１３０のＸＸＸＸ番地にリードを行った場合、デ
ィレクトリ方式のキャッシュシステムがどのような動作
をするかを説明する。図２０は、ノードＥがノードＡの
メモリに対してリードアクセスを行った場合の動作を説
明する図である。

【００７３】（Ｇ１）ノードＥのＣＰＵ５１０が、リー
ドを行うと、キャッシュミスして当該リードのメモリア
クセスを開始する、（Ｇ２）光通信装置５４０が、外部
ノードへのリードアクセスを検出する、（Ｇ３）光通信
装置５４０が、光バスアービタ６１０にＸＸＸＸ番地を
リードするための回線接続要求パケットを出す。

【００７４】（Ｇ４）光バスアービタはＩＣＣ６３０を
調べ、ＸＸＸＸ番地に対応するエントリを探索する（こ
こではみつからなかったことにする）、（Ｇ５）光バス
アービタはノードＡにＸＸＸＸ番地に対応するディレク
トリ情報を送信するように要求する、（Ｇ６）光通信装
置１４０を通じて要求を受けとった通信管理装置１５４
は、ディレクトリ管理装置１５３を通じてディレクトリ
１５２を参照し、ＸＸＸＸ番地に対応するディレクトリ
情報を得る、（Ｇ７）通信管理装置１５４は光バスアー
ビタ６１０にディレクトリ情報を返答する、（Ｇ８）光
バスアービタ６１０は送られてきた、情報量の削減され
たディレクトリ情報から、ＩＣＣ６３０のフルマップデ
ータに変換してＩＣＣ６３０にキャッシュする、（Ｇ
９）光バスアービタ６１０が、返答内容からノードＡを
含むグループがＸＸＸＸ番地の内容をキャッシングして
いることを知り、グループのメンバであるノードＡ，
Ｂ，Ｃ，Ｄに対してリードをマルチキャストする、この
時、例えばノードＡでは、ＣＰＵ１１０がリードアクセ
スをスヌープし、ＸＸＸＸ番地のキャッシュの状態をｓ
ｈｅｒｅｄに変える、（Ｇ１０）光バスアービタ６１０
は、各ノードから送られてきたマルチキャスト完了パケ
ットに基づいてノードＡ，ノードＥが対象アドレスをキ
ャッシングしていることをＩＣＣ６３０に記録する。こ
の時点でＩＣＣに欠落のない完全な情報が記録されるこ
とになる。

【００７５】（Ｇ１１）光バスアービタ６１０はノード
ＡとノードＥのデータ回線を接続し、ノードＥの光通信
装置５４０が、ＸＸＸＸ番地のリード要求パケットを送
信する、（Ｇ１２）ノードＡの光通信装置１４０が、当
該リードアクセスの代行を開始する、（Ｇ１３）バス監
視装置１５１がリードアクセスを検出し、メモリ応答を
抑制する、（Ｇ１４）バス監視装置１５１がディレクト
リ管理装置１５３に記録要求を出す、（Ｇ１５）光通信
装置１４０が、当該リードアクセスがノードＥを含むグ
ループからの要求であったことをディレクトリ管理装置
１５３に伝える、（Ｇ１６）ディレクトリ管理装置１５
３が、ディレクトリ１５２を更新する。即ち、バス監視
装置１５１が指定したアドレス（ＸＸＸＸ番地）に対応
する欄（ディレクトリ）のノードＥを含むグループのビ
ットに「１」を記録する、（Ｇ１７）バス監視装置１５
１がメモリ応答抑制を解除し、メモリシステム１３０
が、当該リードアクセスに応答する、（Ｇ１８）ノード
Ａの光通信装置１４０が、リードアクセスに対して、応
答を代行する、（Ｇ１９）ノードＥの光通信装置５４０
が、リードアクセスに対して、応答を代行する、（Ｇ２
０）ノードＥのＣＰＵ５１０は、ＸＸＸＸ番地をｓｈａ
ｒｅｄでキャッシングする。

【００７６】以上のような動作により、ノードＡのＣＰ
Ｕ１１０、ノードＥのＣＰＵ５１０がＸＸＸＸ番地をキ
ャッシングしたことをディレクトリ１５２に記録する。
続いて、ノードＡのＣＰＵ１１０がノードＡのメモリ１
３０のＸＸＸＸ番地にライトを行った場合、ディレクト
リ方式のキャッシュシステムがどのような動作をするか
図２１を使って説明する。図２１はノードＡがｓｈａｒ
ｅｄの状態でキャッシュしているデータに対してライト
アクセスを行った場合の動作を説明する図ある。

【００７７】（Ｈ１）ノードＡのＣＰＵ１１０が、ＸＸ
ＸＸ番地をライトし、キャッシュヒットしてｉｎｖａｌ
ｉｄａｔｅトランザクションをバス上に出力する、（Ｈ
２）ノードＡのバス監視装置１５１がｉｎｖａｌｉｄａ
ｔｅを検出し、ＣＰＵ１１０のｉｎｖａｌｉｄａｔｅ要
求を中断する（リトライさせる）、（Ｈ３）バス監視装
置１５１はディレクトリ管理装置１５３にＸＸＸＸ番地
に対応するエントリの参照要求を出す、（Ｈ４）ディレ
クトリ管理装置１５３はディレクトリ１５２を参照し、
バス監視装置１５１に対応するエントリを返答する、
（Ｈ５）バス監視装置１５１は通信管理装置１５４にｉ
ｎｖａｌｉｄａｔｅのマルチキャスト要求を出す、（Ｈ
６）通信管理装置１５４は光通信装置１４０を通じて、
光バスアービタ６１０にＸＸＸＸ番地のｉｎｖａｌｉｄ
ａｔｅのマルチキャストを要求するパケットを出す。

【００７８】（Ｈ７）光バスアービタ６１０はＩＣＣ６
３０を参照し、ＸＸＸＸ番地はノードＡ、Ｅにキャッシ
ングされていることを知り、ノードＥにｉｎｖａｌｉｄ
ａｔｅ要求パケットを送る（ＩＣＣの情報は欠落がない
ためノードグループ全体にマルチキャストする必要はな
い）。

【００７９】（Ｈ８）ノードＥの通信管理装置５５４
は、ｉｎｖａｌｉｄａｔｅ要求を受けとり、アクセスエ
ミュレーション装置５５５に対してアクセス要求を出
す、（Ｈ９）アクセスエミュレーション装置５５５はｉ
ｎｖａｌｉｄａｔｅトランザクションをバス上に出力す
る、（Ｈ１０）ノードＥのＣＰＵ５１０はｉｎｖａｌｉ
ｄａｔｅトランザクションをスヌープし、ＸＸＸＸ番地
のキャッシュをｉｎｖａｌｉｄａｔｅする、（Ｈ１１）
ノードＥの通信管理装置５５４は光通信装置５４０を通
じて、光バスアービタ６１０にｉｎｖａｌｉｄａｔｅ完
了パケットを送信する。

【００８０】（Ｈ１２）光バスアービタ６１０は、ＩＣ
Ｃ６３０を更新する、（Ｈ１３）光バスアービタ６１０
は、ノードＡにｉｎｖａｌｉｄａｔｅ完了パケットを送
る。

【００８１】（Ｈ１４）ノードのバス監視装置１５１
は、ディレクトリを更新し、その後ＣＰＵ１１０のｉｎ
ｖａｌｉｄａｔｅバストランザクションの中断を解除し
トランザクションを完了させる、（Ｈ１５）ノードＡの
ＣＰＵ１１０はＸＸＸＸ番地をｍｏｄｉｆｉｅｄでキャ
ッシングする。

【００８２】以上のような動作により、ノードＥのＣＰ
Ｕ５１０にキャッシングされたＸＸＸＸ番地のデータブ
ロックをｉｎｖａｌｉｄａｔｅし、ノードＡのＣＰＵ１
１０がＸＸＸＸ番地をキャッシングしたことを、ディレ
クトリ１５２に記録する。

【００８３】以上説明したように、第１の実施形態によ
れば、共有メモリ上でディレクトリ方式の一貫性保持方
式を採用したキャッシュシステムを搭載した計算機シス
テムにおいて、そのディレクトリに要するメモリ容量を
低減すると共に、一貫性保持のためのマルチキャストを
無駄無く、効率的に行うことが可能となる。

【００８４】［第２の実施形態］次に本発明の第２の実
施形態を、図面を参照して説明する。第１の実施形態で
は、ディレクトリの構造を、ノードをいくつかのグルー
プに分けて記録するようになっていた。だがこれではデ
ィレクトリ情報がＩＣＣになかった場合、グループ内の
メンバ（ノード）全てにマルチキャストを行わなければ
ならなくなり、非効率な面がある。そこで第２の実施形
態では、各ノードのディレクトリの構成を変更する。即
ち、グループの割り当てを動的に変え、そのグループ内
のノードに関してはフルマップ方式と同じパフォーマン
スを提供するようにする。

【００８５】図２２は第２の実施形態におけるノード側
のディレクトリの構造を示す図である。同図に示される
ように、ディレクトリの上位でグループの最初のノード
が示される。また、ディレクトリの下位は、それらのグ
ループ内の各ノードについてのフルマップのディレクト
リ情報が記録される。例えば上位でノードＳが示されて
いた場合、下位ではノードＳ〜Ｘについてのフルマップ
の情報が示されることになる。同様に上位でノードＣが
示されていた場合、下位ではノードＣ〜Ｈがフルマップ
で示される。

【００８６】なお、ノードＡとＪが同時に同じ番地をキ
ャッシングした場合はこのような形式では対応できない
ので、ディレクトリの上位を特別のパターン（例えば全
て１）にして「全ノード」を示すようにし、その番地に
対するアクセスではブロードキャスト（全てのノードに
対して放送を行うこと）を実行する。

【００８７】第２の実施形態によれば、このようなディ
レクトリ構成にすることで、グループ内の局所的なメモ
リ共有を効率的に実現することが出来る。

【００８８】なお、上記実施形態では、複数のノードを
有する計算機システムにおけるキャッシュシステムを例
に挙げて説明したが、１台の計算機内に複数のプロセッ
サが存在し、夫々がキャッシュシステムを有するような
構成に適用することも可能である。この場合、上述のキ
ャッシュ管理装置を各プロセッサ毎に所有することにな
る。

【００８９】なお、本発明は、複数の機器（例えばホス
トコンピュータ，インタフェイス機器，リーダ，プリン
タなど）から構成されるシステムに適用しても、一つの
機器からなる装置（例えば、複数のプロセッサを有する
マルチプロセッサ装置）に適用してもよい。

【００９０】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。

【００９１】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００９２】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。

【００９３】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【００９４】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００９５】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明したフローチャートに対応す
るプログラムコードを格納することになるが、簡単に説
明すると、図２３のメモリマップ例に示す各モジュール
を記憶媒体に格納することになる。すなわち、少なくと
も「獲得処理モジュール」「記憶処理モジュール」「実
行処理モジュール」および「更新処理モジュール」の各
モジュールのプログラムコードを記憶媒体に格納すれば
よい。

【００９６】ここで、獲得処理モジュールは、キャッシ
ュデータの一貫性保持のための情報をマルチキャストす
べきメモリブロックについて、そのキャッシュの状態
を、複数のノードを含むグループを単位として記憶した
第１のメモリより獲得する獲得処理を実現するプログラ
ムモジュールである。また、記憶処理モジュールは、前
記第１のメモリより獲得したキャッシュの状態をノード
単位の情報に展開し、キャッシング情報として第２のメ
モリに記憶する記憶処理を実現するプログラムモジュー
ルである。また、実行処理モジュールは、前記第２のメ
モリに記憶されたキャッシング情報に基づいて、メモリ
ブロックに関するキャッシュのデータ一貫性保持のため
の情報のマルチキャストの実行処理を実現するプログラ
ムモジュールである。また、更新処理モジュールは、前
記実行処理によるマルチキャストの結果に基づいて前記
第２のメモリに記憶されたキャッシング情報をノード毎
に更新する更新処理を実現するプログラムモジュールで
ある。

【００９７】

【発明の効果】以上説明したように、本発明によれば、
分散共有メモリを実現する際に必要になるアクセス情報
のマルチキャストの宛て先を記録する記憶機構の容量を
押さえつつ、効率の良いマルチキャストを達成すること
が可能となる。

【００９８】また、本発明によれば、分散共有メモリを
実現するシステムにおいて、キャッシュデータの一貫性
を保持するためのマルチキャストを、該マルチキャスト
の宛て先を記録する記憶機構の容量を押さえつつ、効率
良く実行することが可能となる。

【００９９】

【図面の簡単な説明】

【図１】第１の実施形態における並列計算機システムの
構成を示す図である。

【図２】本実施形態における計算機システムのメモリマ
ップを示す図である。

【図３】分散共有メモリによるメモリリードの手順を説
明するための図である。

【図４】本実施形態における計算機システムのノードの
構成を示すブロック図である。

【図５】第１の実施形態のおける各ノード内のディレク
トリのデータ構造を表す図である。

【図６】コンセントレータ６００の構成を表すブロック
図である。

【図７】本実施形態におけるＩＣＣのデータ構造を説明
する図である。

【図８】ノード内のアドレスに対してリードアクセスが
発行された場合の動作を説明する図である。

【図９】ノード内のアドレスに対してキャッシュメンテ
ナンスが発生した場合の動作を説明する図である。

【図１０】ノードにおけるキャッシュ管理動作の手順を
示すフローチャートである。

【図１１】キャッシュ管理装置がパケットを受信した場
合の動作を説明するフローチャートである。

【図１２】ディレクトリ情報を含んだマルチキャスト要
求パケットを受け取ったときの光バスアービタ６１０の
動作を説明する図である。

【図１３】ディレクトリ情報を含まないマルチキャスト
要求パケットを受け取ったときの光バスアービタ６１０
の動作を説明する図である。

【図１４】ノードのディレクトリとＩＣＣとの間のデー
タ変換方法を示す図である。

【図１５】光バスアービタの動作を説明するフローチャ
ートである。

【図１６】バス監視装置１５１の構成を示すブロック図
である。

【図１７】ディレクトリ１５２、ディレクトリ管理装置
１５３の構成を示すブロック図である。

【図１８】メモリアクセスエミュレーション装置１５５
の構成を示すブロック図である。

【図１９】ノードＡが自ノード内のメモリをリードアク
セスした場合の動作を説明する図である。

【図２０】ノードＥがノードＡのメモリに対してリード
アクセスを行った場合の動作を説明する図である。

【図２１】ノードＡがｓｈａｒｅｄの状態でキャッシュ
しているデータに対してライトアクセスを行った場合の
動作を説明する図ある。

【図２２】第２の実施形態におけるノード側のディレク
トリの構造を示す図である。

【図２３】本発明に係るプログラムの特徴を示す図であ
る。

【符号の説明】

１００，２００，３００，４００，５００ ノード １１０，１２０，２１０，２３０，３１０，３２０，４
１０，４２０，５１０，５２０ ＣＰＵ １３０，２３０，３３０，４３０，５３０ メモリ １４０，２４０，３４０，４４０，５４０ 光通信装置 １５０，２５０，３５０，４５０，５５０ キャッシュ
管理装置 １６０，２６０，３６０，４６０，５６０ アービトレ
ーション回線 １７０，２７０，３７０，４７０，５７０ データ回線 ６００ コンセントレータ ６１０ 光バスアービタ ６２０ スターカプラ ６３０ ＩＣＣ １５１，２５１，３５１，４５１，５５１ バス監視装
置 １５２，２５２，３５２，４５２，５５２ ディレクト
リ １５３，２５３，３５３，４５３，５５３ ディレクト
リ管理装置 １５４，２５４，３５４，４５４，５５４ 通信管理装
置 １５５，２５５，３５５，４５５，５５５ アクセスエ
ミュレーション装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 中村 秀一 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内

Claims (14)

【特許請求の範囲】
1. 【請求項１】 複数のノードによって共有分散メモリを
   実現する情報処理システムであって、 当該情報処理システムにおけるマルチキャストの宛て先
   を、各マルチキャストのエントリ毎に、１つ又は複数の
   ノードを含むグループを単位として記憶する第１記憶手
   段と、 マルチキャストを実行すべきエントリについて、前記第
   １記憶手段よりキャッシュの状態を獲得してノード単位
   の情報に展開し、これをマルチキャスト情報として記憶
   する第２記憶手段と、 前記第２記憶手段に記憶されたマルチキャスト情報に基
   づいて、当該エントリについてマルチキャストを実行す
   る実行手段と、 前記実行手段によるマルチキャストの結果に基づいて前
   記第２記憶手段に記憶されたマルチキャスト情報をノー
   ド毎に更新する第１更新手段とを備えることを特徴とす
   る情報処理システム。
2. 【請求項２】 複数のノードによって共有分散メモリを
   実現し、各ノード内のプロセッサがキャッシュメモリを
   備えた情報処理システムであって、 各メモリブロックに関するキャッシュの状態を、１つ又
   は複数のノードを含むグループを単位として記憶する第
   １記憶手段と、 キャッシュデータの一貫性保持のための情報をマルチキ
   ャストすべきメモリブロックについて、前記第１記憶手
   段よりキャッシュの状態を獲得してノード単位の情報に
   展開し、これをキャッシング情報として記憶する第２記
   憶手段と、 前記第２記憶手段に記憶されたキャッシング情報に基づ
   いて、メモリブロックに関するキャッシュのデータ一貫
   性保持のための情報のマルチキャストを実行する実行手
   段と、 前記実行手段によるマルチキャストの結果に基づいて前
   記第２記憶手段に記憶されたキャッシング情報をノード
   毎に更新する第１更新手段とを備えることを特徴とする
   情報処理システム。
3. 【請求項３】 前記更新手段は、前記実行手段によるマ
   ルチキャストの結果、当該メモリブロックをキャッシュ
   していないノードを検出し、この検出結果に基づいて前
   記第２記憶手段のキャッシング情報をノード毎に更新す
   ることを特徴とする請求項２に記載の情報処理システ
   ム。
4. 【請求項４】 前記第１記憶手段は、前記複数のノード
   の夫々に設けられていることを特徴とする請求項２に記
   載の情報処理システム。
5. 【請求項５】 自ノード内のメモリに対するアクセスの
   発生を検出する検出手段と、 前記検出手段によってアクセスの発生が検出された場
   合、該アクセスのアクセス元を獲得して前記第１記憶手
   段に記憶されたキャッシュの状態を更新する第２更新手
   段とを更に備えることを特徴とする請求項４に記載の情
   報処理システム。
6. 【請求項６】 当該情報処理システムにおけるキャッシ
   ュデータの一貫性保持機構はディレクトリ方式によって
   実現され、 前記第１記憶手段は、該ディレクトリ方式におけるディ
   レクトリ情報を複数のノードで構成されるグループを単
   位として記憶し、 前記第２記憶手段は、前記実行手段におけるキャッシュ
   メモリを構成することを特徴とする請求項２に記載の情
   報処理システム。
7. 【請求項７】 当該情報処理システムは通信管理機構を
   有し、前記複数のノードは該通信管理機構を中心とする
   スター結合によって接続され、 少なくとも前記実行手段及び前記第１更新手段が該通信
   管理機構によって構成されることを特徴とする請求項２
   に記載の情報処理システム。
8. 【請求項８】 複数のノードによって共有分散メモリを
   実現し、各ノード内のプロセッサがキャッシュメモリを
   備えた情報処理システムにおける制御方法であって、 各メモリブロックに関するキャッシュの状態を、１つ又
   は複数のノードを含むグループを単位として第１のメモ
   リに記憶する第１記憶工程と、 キャッシュデータの一貫性保持のための情報をマルチキ
   ャストすべきメモリブロックについて、前記第１のメモ
   リよりキャッシュの状態を獲得してノード単位の情報に
   展開し、これをキャッシング情報として第２のメモリに
   記憶する第２記憶工程と、 前記第２のメモリに記憶されたキャッシング情報に基づ
   いて、メモリブロックに関するキャッシュのデータ一貫
   性保持のための情報のマルチキャストを実行する実行工
   程と、 前記実行工程によるマルチキャストの結果に基づいて前
   記第２のメモリに記憶されたキャッシング情報をノード
   毎に更新する第１更新工程とを備えることを特徴とする
   制御方法。
9. 【請求項９】 前記更新工程は、前記実行工程によるマ
   ルチキャストの結果、当該メモリブロックをキャッシュ
   していないノードを検出し、この検出結果に基づいて前
   記第２のメモリのキャッシング情報をノード毎に更新す
   ることを特徴とする請求項８に記載の制御方法。
10. 【請求項１０】 前記第１記憶工程は、前記複数のノー
    ドの夫々に設けられた第１のメモリに対して、該複数の
    ノードの夫々において実行されることを特徴とする請求
    項８に記載の制御方法。
11. 【請求項１１】 自ノード内のメモリに対するアクセス
    の発生を検出する検出工程と、 前記検出工程によってアクセスの発生が検出された場
    合、該アクセスのアクセス元を獲得して前記第１のメモ
    リに記憶されたキャッシュの状態を更新する第２更新工
    程とを更に備えることを特徴とする請求項１０に記載の
    制御方法。
12. 【請求項１２】 当該情報処理システムにおけるキャッ
    シュデータの一貫性保持機構はディレクトリ方式によっ
    て実現され、 前記第１記憶工程は、該ディレクトリ方式におけるディ
    レクトリ情報を複数のノードで構成されるグループを単
    位として前記第１のメモリに記憶し、 前記第２記憶工程に用いられる前記第２のメモリは、前
    記実行工程におけるキャッシュメモリを構成することを
    特徴とする請求項８に記載の制御方法。
13. 【請求項１３】 当該情報処理システムは通信管理機構
    を有し、前記複数のノードは該通信管理機構を中心とす
    るスター結合によって接続され、 少なくとも前記実行工程及び前記第１更新工程は該通信
    管理機構によって実現されることを特徴とする請求項８
    に記載の制御方法。
14. 【請求項１４】 複数のノードによって共有分散メモリ
    を実現し、各ノード内のプロセッサがキャッシュメモリ
    を備えた情報処理システムにおける制御方法のプログラ
    ムコードが格納されたコンピュータ可読メモリであっ
    て、 キャッシュデータの一貫性保持のための情報をマルチキ
    ャストすべきメモリブロックについて、そのキャッシュ
    の状態を、複数のノードを含むグループを単位として記
    憶した第１のメモリより獲得する獲得工程のコードと、 前記第１のメモリより獲得したキャッシュの状態をノー
    ド単位の情報に展開し、キャッシング情報として第２の
    メモリに記憶する記憶工程のコードと、 前記第２のメモリに記憶されたキャッシング情報に基づ
    いて、メモリブロックに関するキャッシュのデータ一貫
    性保持のための情報のマルチキャストを実行する実行工
    程のコードと、 前記実行工程によるマルチキャストの結果に基づいて前
    記第２のメモリに記憶されたキャッシング情報をノード
    毎に更新する更新工程のコードとを備えることを特徴と
    するコンピュータ可読メモリ。