JPH1185615A

JPH1185615A - 情報処理システム及び情報処理装置及びその制御方法

Info

Publication number: JPH1185615A
Application number: JP9243127A
Authority: JP
Inventors: Tomohiko Shimoyama; 朋彦下山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-09-08
Filing date: 1997-09-08
Publication date: 1999-03-30

Abstract

(57)【要約】【課題】分散共有メモリを実現する際に必要となるアク
セス情報のマルチキャストの宛て先を記録するための記
憶機構の容量を削減する。【解決手段】共有メモリ空間へのアクセスによって得ら
れたデータをキャッシングするノードＡ、Ｂは、自身の
メモリ空間に関して他のノードにキャッシングされてい
るか否かをキャッシュ単位で示すキャッシュフラグ１５
２、２５２が保持されている。自ノード内のメモリに対
するアクセスが検出されるとキャッシュフラグを参照
し、当該アクセスアドレスが他ノードにキャッシングさ
れている場合は、コンセントレータ６００に当該アクセ
スのマルチキャストを要求する。コンセントレータ６０
０のＩＣＣ６３０にはより詳細なディレクトリ情報のキ
ャッシュが保持されており、キャッシュヒットした場合
は、このディレクトリ情報で示されるノードへ当該アク
セスが通知される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は分散共有メモリとそ
の上でのキャッシュ機構を有する情報処理システム及び
情報処理装置及びその制御方法に関するものである。

【０００２】

【従来の技術】分散共有メモリとその上でのキャッシュ
機構を有する情報処理システムが提案されている。一般
に、分散共有メモリを実現する場合、共有メモリの一貫
性保持のために必要な通信を必要な計算機にのみ配送す
るため、あるアクセスに関しての情報をどの計算機に送
るかを記録する必要があった。例えばディレクトリ方式
の分散共有メモリのキャッシュシステムにおいては、メ
モリのキャッシュライン毎にどの計算機にアクセス情報
をマルチキャストしなければならないかを記録してい
る。

【０００３】だがどの計算機にマルチキャストするかを
示す宛て先の保持に使用するメモリの容量は、通信機構
上、計算機の数により増大してゆき、その容量を押さえ
ることが求められている。一般に、容量を押さえるため
の手法として、宛て先の情報を欠落させ、不必要な計算
機にまでマルチキャストを行うことが行われることが多
かった。しかしながら、この手法では、記憶容量を節約
できる反面、不必要な計算機にマルチキャストを行うこ
とによる性能の低下が避けられなかった。

【０００４】これを補う技術として、頻繁に使用される
メモリアドレスについては詳しく宛て先を記録し、他の
メモリアドレスに関しては宛て先の情報を欠落させる
（特願平８−１１９２６８）、頻繁に使用しされるメモ
リアドレスについては宛先を記録し他のメモリアドレス
に関してはブロードキャストを行う（特願平８−３１０
２２）、といった手法が本出願人によって提案されてい
る。

【０００５】

【発明が解決しようとする課題】しかしながら、上記の
ように宛て先をグループ化するなどしても、まだ大容量
の記憶機構が必要となる局面が生じたり、宛て先情報の
欠落をブロードキャストで補うことによる性能上の問題
が生じたりして、その実現が現実的でなくなる場合があ
った。

【０００６】本発明は、分散共有メモリを実現する際に
必要となるアクセス情報のマルチキャストの宛て先を記
録するための記憶機構の容量の削減と不要なマルチキャ
ストによる性能低下とのバランスを向上させ、低コスト
で高性能な情報処理システム及び情報処理装置及びその
制御方法を提供することを目的とする。

【０００７】

【課題を解決するための手段】上記の目的を達成するた
めの本発明の情報処理システムは以下の構成を備える。
すなわち、複数の情報処理装置が通信可能に接続され、
相互に共有可能な共有メモリ空間を有する情報処理シス
テムであって、前記共有メモリ空間へのアクセスによっ
て得られたデータをアクセス元の情報処理装置にてキャ
ッシングするキャッシュ手段と、前記複数の情報処理装
置の各々が、自身のメモリ空間に関して、他の情報処理
装置にキャッシングされているか否かをキャッシュ単位
で示すキャッシュ情報を保持する保持手段と、前記保持
手段によって保持されているキャッシュ情報に基づいて
前記キャッシュ手段のキャッシュメンテナンスを行うメ
ンテナンス手段とを備える。

【０００８】また、上記の目的を達成するための本発明
の情報処理装置は以下の構成を備える。すなわち、複数
の情報処理装置が通信可能に接続され、相互に共有可能
な共有メモリ空間を有する情報処理システムにおける情
報処理装置であって、前記共有メモリ空間へのアクセス
によって得られたデータをキャッシングするキャッシュ
手段と、自身のメモリ空間に関して、他の情報処理装置
にキャッシングされているか否かをキャッシュ単位で示
すキャッシュ情報を保持する保持手段と、前記メモリ空
間にアクセスが発生した場合、前記保持手段によって保
持されているキャッシュ情報に基づいて前記キャッシュ
手段のキャッシュメンテナンスを行うメンテナンス手段
とを備える。

【０００９】また、上記の目的を達成するための本発明
の情報処理システムの制御方法は以下の工程を備える。
すなわち、複数の情報処理装置が通信可能に接続され、
相互に共有可能な共有メモリ空間を有する情報処理シス
テムの制御方法であって、前記共有メモリ空間へのアク
セスによって得られたデータをアクセス元の情報処理装
置にてキャッシングするキャッシュ工程と、前記複数の
情報処理装置の各々が、自身のメモリ空間に関して、他
の情報処理装置にキャッシングされているか否かをキャ
ッシュ単位で示すキャッシュ情報を保持する保持工程
と、前記保持工程によって保持されたキャッシュ情報に
基づいて前記キャッシュ工程のキャッシュメンテナンス
を行うメンテナンス工程とを備える。

【００１０】また、上記の目的を達成する本発明の情報
処理装置の制御方法は、複数の情報処理装置が通信可能
に接続され、相互に共有可能な共有メモリ空間を有する
情報処理システムにおける情報処理装置の制御方法であ
って、前記共有メモリ空間へのアクセスによって得られ
たデータをキャッシングするキャッシュ工程と、自身の
メモリ空間に関して、他の情報処理装置にキャッシング
されているか否かをキャッシュ単位で示すキャッシュ情
報を保持する保持工程と、前記メモリ空間にアクセスが
発生した場合、前記保持工程によって保持されているキ
ャッシュ情報に基づいて前記キャッシュ工程におけるキ
ャッシュメンテナンスを行うメンテナンス工程とを備え
る。

【００１１】

【発明の実施の形態】以下、図面を参照して本発明の好
適な一実施形態を詳細に説明する。

【００１２】＜第１の実施形態＞図１は、本実施形態の
情報処理システムの採用する並列計算機システムの構成
を示す図である。計算機は複数のノード（１００，２０
０，３００，４００，５００）からなり、各々のノード
はコンセントレータ６００を通じて光ファイバによりネ
ットワークを構成している。コンセントレータは、ノー
ド間の通信を管理する。

【００１３】各ノードは通常の計算機であり、各々１個
または複数個のＣＰＵを持つ。各々のノードはアドレス
空間を共有している。図２は本実施形態によるメモリア
ドレス空間を説明する図である。図２に示されるよう
に、一つのＣＰＵからみえるアドレス空間には他のノー
ドのアドレス空間が含まれる。なお、ノード間通信は、
自分のアドレス上に見えている相手のメモリに対し、直
接にデータを書き込むことで行う。

【００１４】ノード（１００，２００，３００，４０
０，５００）は光通信装置（１４０，２４０，３４０，
４４０，５４０）を通じ、アービトレーション回線（１
６０，２６０，３６０，４６０，５６０）、データ回線
（１７０，２７０，３７０，４７０，５７０）の２本の
光ファイバを介してコンセントレータ６００に接続する
ことによりネットワークを構成している。アービトレー
ション回線（１６０，２６０，３６０，４６０，５６
０）は、ノード（１００，２００，３００，４００，５
００）とコンセントレータ６００内の光バスアービタ６
１０を接続する。アービトレーション回線により、各ノ
ードは光バスアービタ６１０と相互に通信することがで
きる。データ回線（１７０，２７０，３７０，４７０，
５７０）は、ノードとコンセントレータ内のスターカプ
ラ６２０を接続する。スターカプラ６２０は、一端に光
を入力すると他端からその光が均等に出力される。従っ
て、一つのノードがデータ光線に光を発すると、その光
を他の全てのノードで受け取ることができる。この結
果、一つのノードがデータ回線に発した光通信を、全て
のノードで受け取ることが可能となる。

【００１５】ノードは、通信する波長を選択することに
より、任意のノードと通信を行う。例えば、ノードＡ１
００がノードＢ２００と通信を行う場合は以下の手順が
実行される。まず、ノードＡ１００がアービトレーショ
ン回線１６０を通じて光バスアービタ６１０にノードＢ
２００との通信要求を送る。そして、光バスアービタ６
１０はノードＢ２００が他のノードと通信中でないこと
を確認すると、どのノードも使用していない波長αをノ
ードＡ，Ｂ間（１００，２００間）の通信に割当てる。
アービトレーション回線（１６０，２６０）を通じてノ
ードＡ，Ｂ（１００，２００）に波長αを使用して通信
を行うように指示が出されると、ノードＡ，Ｂ（１０
０，２００）が波長αを使用してデータ回線（１７０，
２７０）を通じて通信を行う。

【００１６】分散共有メモリは、このようなネットワー
クの上で光通信により実現される。例としてノードＡ１
００のプロセッサ１１０（以下、ＣＰＵ１１０）が、ノ
ードＢ２００のメモリ２３０をリードする様子を図３に
示す。なお、（Ａ１）〜（Ａ７）に示す動作は一連のも
のとして実施される。

【００１７】図３において、（Ａ１）ノードＡ１００のＣＰＵ１１０が、ノードＢの
メモリ２３０に対してリードアクセスを発行する。（Ａ２）ノードＡ１００の光通信装置１４０は、メイン
バス上のバスアクセスを監視している。メインバス上
に、そのノードＡのメモリ１３０以外のアドレスに対し
てアクセスが発行されると、光通信装置１４０はそのバ
スアクセスを検出する。（Ａ３）光通信装置１４０は、アクセス要求パケットを
コンセントレータ６００を通じて、ノードＢの光通信装
置２４０に対して送る。（Ａ４）ノードＢの光通信装置２４０はアクセス要求パ
ケットを受け取ると、その依頼にしたがってノードＢの
メモリ２３０に対してのアクセスを代行する。（Ａ５）ノードＢのメモリ２３０がアクセスに応答す
る。（Ａ６）ノードＢの光通信装置２４０は、アクセスが終
わると、ノードａの光通信装置１４０に対してアクノリ
ッジを返す。（Ａ７）アクノリッジを受け取ったノードＡの光通信装
置１４０は、ノードＢのメモリ（２３０）の代わりにノ
ードＡのＣＰＵ１１０のアクセスに応答する。

【００１８】また本実施形態では、分散共有メモリ上
で、ディレクトリ方式の一貫性保持方式を採用したキャ
ッシュに類似したシステムを搭載している。ディレクト
リ方式のキャッシュの詳細については、「共有記憶型並
列システムの実際」（コロナ社刊）に示されている。

【００１９】通常のディレクトリ方式のキャッシュ一貫
性保持機構では、メモリの各キャッシュアドレス毎に
（正確にはキャッシュ単位毎であるが、以下、これをキ
ャッシュアドレス毎ということにする）そのアドレスを
キャッシングしているノードを記録する。例えばノード
がＡ〜Ｈまであるとすれば、各キャッシュアドレス毎に
８ｂｉｔのディレクトリを待つ。ディレクトリの各ビッ
トは、ノードＡ〜Ｈに対応する。もしノードＡ，Ｂ，
Ｆ，Ｈにそのアドレスがキャッシングされていれば、そ
のキャッシュアドレスに対応したディレクトリの値は２
進数で１１０００１０１となる。

【００２０】本実施形態では上述の様なディレクトリ方
式の代わりに、各キャッシュアドレス毎に１ｂｉｔのフ
ラグを持たせる。以降このフラグをキャッシングフラグ
と呼ぶ。キャッシングフラグは、そのキャッシュアドレ
スが他のノードにキャッシングされているかどうかを示
す。例えばノードＡのメモリ１３０内のアドレス１８０
０００００がノードＡ，Ｂ，Ｈにキャッシングされてい
れば、アドレス１８００００００に対応するキャッシン
グフラグはＯＮとなる。キャッシュアドレス１８０００
０００がどのノードにもキャッシングされていないか、
もしくはノードＡ自身のみにキャッシングされている場
合には、キャッシュアドレス１８００００００に対応す
るキャッシングフラグはＯＦＦになる。

【００２１】ノード内のＣＰＵ間でのキャッシュの一貫
性保持は、ＣＰＵに内蔵されたＭＥＳＩプロトコル（Mo
dified,Exclusive,Shared,Invalidの４状態によりキャ
ッシュを管理するプロトコル）によるスヌープキャッシ
ュで管理されている（この実施形態ではＭＥＳＩプロト
コルを使用するが、これは本発明を限定するものではな
い）。

【００２２】さて、各ノード間のキャッシュの一貫性保
持は、外付けされたキャッシュ管理装置（１５０，２５
０，３５０，４５０，５５０）により管理される。キャ
ッシュ管理装置は内部バス上でアクセスを検出すると、
そのアクセスアドレスに対応したキャッシングフラグを
参照し、もしキャッシングフラグがＯＮになっていたら
バス上に発行されたアクセス（キャッシュメンテナンス
情報）を他のノードに伝達する。

【００２３】実際のキャッシュメンテナンス情報のマル
チキャストは、コンセントレータ６００内の光バスアー
ビタ６１０により行われる。光バスアービタ６１０は、
各ノードのキャッシュ管理装置からの要求によりアクセ
スを各ノードに伝達する。光バスアービタ６１０にはＩ
ＣＣ６３０と呼ばれるアクセスマルチキャスト情報のキ
ャッシュがある。ＩＣＣ６３０は最近使用されたアドレ
スについて、そのアドレスへのアクセスをどのノードに
伝えるべきかを記録するキャッシュである。光バスアー
ビタ６１０はアクセス要求を受け取ると、ＩＣＣ６３０
を参照してそのアクセスを伝達すべきノードが記録され
ていないかを調べる。もし記録されていたら（以下、Ｉ
ＣＣヒットという）、光バスアービタ６１０はそれらの
ノードにアクセスをマルチキャストする。もし記録され
ていなければ（以下、ＩＣＣミスという）、全てのノー
ドにアクセスをブロードキャストする。

【００２４】以下、キャッシュ管理装置及び光バスアー
ビタの構成について説明する。

【００２５】図４はノードＡにおけるキャッシュ管理装
置１５０の構成を示すブロック図である。ノード間のキ
ャッシュの一貫性保持をするキャッシュ管理装置１５０
は、バス監視装置１５１、キャッシングフラグ１５２、
キャッシュフラグ管理装置１５３、通信管理装置１５
４、アクセスエミュレーション装置１５５を備える。以
下にキャッシュ管理装置１５０の備える各装置について
説明する。

【００２６】図５は、バス監視装置１５１の構成を示す
ブロック図である。バス監視装置１５１の内部は、シー
ケンサ１５１ａとアドレスラッチ１５１ｂからなってい
る。シーケンサ１５１ａはノード内のバスを監視し、バ
スマスタ（例えばＣＰＵ１１０）によるメモリ１３０の
リードアクセス、invalitate,Read-with-Intent-to-Mod
ify、メモリ書込みの実行を検出する。シーケンサ１５
１ａは、バス上のアクセス要求信号、バスアクセスに伴
ってバスマスタから出力されるアクセス修飾信号などを
監視することで、アクセスを検出する。

【００２７】バス監視装置１５１はアクセス要求信号が
有効であり、アクセスアドレスが自分のノードのメモリ
に対するものであったとき、もしくは他ノードのメモリ
へのキャッシュメンテナンスアクセスであったとき、ア
クセスを検出したと判断する。アクセスが自ノードのメ
モリに対するものであったとき、バス監視装置１５１は
アクセスを検出するとメモリ１３０の応答を押さえ、そ
の間にキャッシュフラグ管理装置１５３を通じてキャッ
シングフラグ１５２を調べる。もし対応するキャッシン
グフラグがＯＮなら、バス監視装置１５１は光バスアー
ビタ６１０にアクセスの伝達要求を出す。そしてそれら
に対する応答により対象アドレスが他のノードにキャッ
シングされているかどうかを知り、キャッシュフラグ管
理装置１５３を通じてキャッシュフラグ１５２を更新す
る。その後バス監視装置１５１がメモリ１３０の応答を
許可することにより、ＣＰＵ１１０はそのアクセスを完
了する。一方、他ノードのメモリへのキャッシュメンテ
ナンスアクセスであったときは、ＣＰＵ１１０のアクセ
スをリトライさせておき、その間に光バスアービタ６１
０にアクセスの伝達要求を出す。そして、その完了パケ
ットが届いたらＣＰＵ１１０のアクセスリトライを解除
し、処理を続行させる。

【００２８】なお、上記メモリアクセスの中断は、バス
上にアクセス再実行信号を出力し、そのメモリアクセス
をプロセッサにリトライさせることで実現したが、他の
方法によりアクセスを中断してもよい。

【００２９】図６はキャッシュフラグ１５２及びキャッ
シュフラグ管理装置の構成を説明するブロック図であ
る。先に述べたように本実施形態は、メモリの各キャッ
シュブロックに対して１ｂｉｔのキャッシュフラグを持
つ。キャッシングフラグは、そのアドレスが他のノード
にキャッシングされているかどうかを示す。キャッシュ
フラグ１５２への操作は、キャッシュフラグ管理装置１
５３により行われる。キャッシュフラグ管理装置１５３
はシーケンサ１５３ａにより管理されている。キャッシ
ュフラグ１５２は、バス監視装置１５１が他ノードから
のリード／ライトアクセスを検出した際に、対象メモリ
ブロックが外部ノードにキャッシングされていることを
記録する場合にＯＮにされ、バス管理装置１５１がメモ
リ書込み／invalidata／Read-with-Intent-to-Modifyを
検出した場合、或いは対象メモリブロックが自ノードに
のみキャッシングされている場合にはＯＦＦにされる。

【００３０】通信管理装置１５４はバス監視装置１５
１、キャッシュフラグ管理装置１５３からの要求によ
り、光通信装置１４０とのコミュニケーションを行う。
通信管理装置１５４は、バス監視装置１５１、キャッシ
ュフラグ管理装置１５３からのリード／invalidata／Re
ad-with-Intent-to-Modify／メモリ書込みのマルチキャ
スト要求を受け、光通信装置１４０を介して光バスアー
ビタ６１０に、アクセスのマルチキャスト／ブロードキ
ャストパケットを送出する。また光通信装置１４０を通
じて受け取ったキャッシュの一貫性保持動作要求パケッ
トにより、メモリアクセスエミュレート装置１５５に対
してinvalidata／Read-with-Intent-to-Modify／ライト
／リード要求を出力する。

【００３１】図７はメモリアクセスエミュレート装置の
構成を示すブロック図である。メモリアクセスエミュレ
ート装置１５５は、通信管理装置１５４からの要求によ
り、ダミーのメモリライトアクセス／ダミーのメモリリ
ードアクセス／invalidata／Read-with-Intent-to-Modi
fyアクセスを自ノードのバス上に発行する。これらのア
クセスにより、ノード間のキャッシュの一貫性を保持す
る。エミュレート装置１５５の発行するアクセスは、自
分のノードに割り当てられたアドレスではありえないた
め、ノード内のバススレーブ（例えばメモリ１３０）よ
り応答はありえず、ダミーのアクセスとなる。

【００３２】次に、コンセントレータ６００について説
明する。図８はコンセントレータ６００の構成を示すブ
ロック図である。コンセントレータ６００は、光バスア
ービタ６１０、スターカプラ６２０、ＩＣＣ６３０を備
える。光バスアービタ６１０は先に述べたように光回線
の通信制御を行う。またノードから送られてきたマルチ
キャスト要求により、各ノードへのパケットの転送を行
う。また、ＩＣＣ６３０はアクセスのマルチキャスト先
を保持するキャッシュメモリである。光バスアービタ６
１０は、マルチキャスト対象アドレスがＩＣＣ６３０に
ヒット（ＩＣＣヒット）した場合にはＩＣＣ６３０に記
録されたノードに対してマルチキャストを行う。ＩＣＣ
６３０にミス（ＩＣＣミス）した場合は全てのノードに
対してブロードキャストを行う。

【００３３】ＩＣＣ６３０を用いることにより、マルチ
キャストの必要なノードを正確に知ることができるよう
になり、不必要なブロードキャストがなくなる。このた
め、当該情報処理システムの性能を向上することができ
る。図９はＩＣＣ６３０のデータ構成を示す図である。
本実施形態ではＩＣＣ６３０は図９のようなフルマップ
（各ノードにつき１ビットを割り当てる）方式をとって
いる。

【００３４】なお、本実施形態では、光バスアービタ６
１０は一つの計算機として実現するので、これらの機構
はソフトウェアで実現されるものとする。しかしなが
ら、この構成例は本発明を制限するものではなく、ハー
ドウェアで実現することも可能であることは明らかであ
る。

【００３５】以上の様な構成を備える本実施形態の動作
について以下に詳細に説明する。

【００３６】図１０はキャッシュ管理装置の動作を説明
するフローチャートである。まず、ステップＳ１０１に
おいて、バス監視装置１５１がバスアクセスを検出する
とステップＳ１０２へ進む。ステップＳ１０２では、当
該アクセスが自ノード内のメモリに対するアクセスか否
かを判定する。そして、自ノード内のメモリへのアクセ
スであった場合はステップＳ１０３へ、そうでない場合
はステップＳ１１１へそれぞれ進む。

【００３７】ステップＳ１０３では、バス監視装置１５
１がメモリ１３０の応答を抑制する。そして、キャッシ
ュフラグ管理装置１５３を通してキャッシュフラグ１５
２を参照し、当該キャッシュアドレスが他ノードにキャ
ッシングされているか否かを判定する。他ノードへにキ
ャッシングされていなければ、そのままステップＳ１０
８へ進み、メモリ１３０に対する応答抑制を解除し、当
該アクセスを完了させる。

【００３８】一方、ステップＳ１０４で当該キャッシュ
アドレスが他ノードに対してキャッシングされていると
判定された場合は、他のノードに当該アクセスを通知す
るためにステップＳ１０５へ進む。ステップＳ１０５で
は、通信管理装置１５４に対して当該アクセスを通知す
るべく指示を出す。通信管理装置１５４は光通信装置１
４０を通じて、コンセントレータ６００にマルチキャス
ト要求を通知する。そして、コンセントレータ６００よ
りマルチキャスト完了パケット（マルチキャスト完了パ
ケットには、当該キャッシュアドレスが他ノードへキャ
ッシングされている否かを示す情報が含まれる）を受信
すると、このパケットに従ってキャッシュフラグ１５２
を更新する。

【００３９】その後、ステップＳ１０８にて、メモリ１
３０に対する応答抑制を解除し、当該アクセスを完了さ
せる。また、ステップＳ１０２で自ノードのメモリでは
ないと判定された場合は、ステップＳ１１１へ進み、当
該アクセスがキャッシュメンテナンスを含むか否かを判
定する。キャッシュメンテナンス情報を含まない場合
は、図３で説明した様な手順によって、光通信装置から
アクセス要求パケットが発行されることになる。また、
キャッシュメンテナンスを含むアクセスであれば、ステ
ップＳ１１２へ進み、メモリをリトライさせる。そし
て、ステップＳ１１３において、対象メモリを有するノ
ードに対してアクセス要求パケットを送出し、その応答
を待つ。そして、応答を得たならば、ステップＳ１１４
にてメモリのリトライを解除し、本アクセスを完了す
る。なお、ステップＳ１１１〜Ｓ１１４に関しても、キ
ャッシュ管理装置１５０内のバス管理装置１５１、通信
管理装置１５４が処理している。

【００４０】図１１は、光バスアービタよりパケットを
受信した場合の動作を説明するフローチャートである。
光バスアービタ６１０よりパケットを受信すると、アク
セスエミュレーション装置１５５は当該パケットに従っ
てバス上にアクセス情報を出力する（ステップＳ１５
１、Ｓ１５２）。この結果、バスをスヌープしているＣ
ＰＵ１１０、１２０やバス監視装置１５１が応答情報を
生成し、通信管理装置１５４がこの応答情報をアクセス
結果として光バスアービタ６１０に通知する（ステップ
Ｓ１５３）。

【００４１】図１２は、光バスアービタの動作手順を説
明するフローチャートである。図１２では、キャッシュ
メンテナンスに係るマルチキャスト（ブロードキャスト
を含む）に対する応答動作が示されている。

【００４２】ステップＳ２０１において、キャッシュア
ドレスを含むマルチキャスト要求パケットを受信する
と、ステップＳ２０２へ進み、当該キャッシュアドレス
でＩＣＣ６３０を検索する。ＩＣＣミスした場合は、ス
テップＳ２０３へ進み、全ノードに対してマルチキャス
ト（ブロードキャスト）を行い、ステップＳ２０５へ進
む。一方、ステップＳ２０２においてＩＣＣヒットした
場合は、ステップＳ２０４へ進み、当該キャッシュアド
レスに対応して記録されているノードに対してマルチキ
ャストを行い、ステップＳ２０５へ進む。

【００４３】ステップＳ２０５では、マルチキャスト先
の各ノードからの完了パケットを待つ。各ノードからの
完了パケットを受信したら、ステップＳ２０６へ進み、
受信した完了パケットに従ってＩＣＣ６３０を更新す
る。そして、ステップＳ２０７において、当該マルチキ
ャスト要求もとのノードに対してマルチキャスト完了パ
ケットを送出する。

【００４４】次にキャッシュ管理装置１５０の動作を更
に具体的に説明する。すなわち、・ノード内のアドレスにリード、invalidate、Read-wit
h-Intent-to-Modify（キャッシュのライトミス時に出力
されるライトを前提としたリードサイクルであり、以下
ＲＷＩＴＭとする）などのキャッシュメンテナンス情報
が出力されたとき、及び・ノード外のアドレスに対してinvalidate、ＲＷＩＴＭ
などのキャッシュメンテナンス情報が出力されたときに
ついて具体的な動作を説明する。

【００４５】図１３は、ノード内のメモリに対してリー
ド／ライト／invalidate／ＲＷＩＴＭ等のバスアクセス
が発行された場合の動作を説明する図である。（Ｂ１）ノード内のメモリ１３０に対してリードアクセ
スが行われる。（Ｂ２）バス監視装置１５１がそのアクセスを検知す
る。（Ｂ３）メモリ１３０へのアクセスを検知したバス監視
装置１５１は、メモリ１３０の応答を抑制する。（Ｂ４）その間にバス監視装置１５１はキャッシュフラ
グ管理装置１５３に、当該キャッシュアドレスに関する
参照要求を出す。（Ｂ５）キャッシュフラグ管理装置１５３はキャッシュ
フラグ１５２に指定されたキャッシュアドレスが他ノー
ドにキャッシングされているか（対象アドレスに対応し
たビットがＯＮかＯＦＦか）調べる。（Ｂ６）もし対応するキャッシュフラグがＯＮならば、
キャッシュフラグ管理装置１５３は通信管理装置１５４
を通じて発行されたリードアクセスを他のノードにマル
チキャストするよう光バスアービタ６１０に要求を出
す。（Ｂ７）光バスアービタ６１０はＩＣＣ６３０を参照す
る。（Ｂ８）ＩＣＣミスならば光バスアービタ６１０は全て
のノードに当該リードアクセスをブロードキャストす
る。（Ｂ９）リードアクセスをブロードキャストされた各ノ
ード（２００，３００，４００，５００）は、バス上に
リードアクセスを発行する。（Ｂ１０）各ノードのＣＰＵ（２１０，３１０，４１
０，５１０）はこれをスヌープし、そのリードアクセス
されたメモリ番地をキャッシングしているかどうかを返
答する。（Ｂ１１）各ノードのバス監視装置（２５１，３５１，
４５１，５５１）はこれを検出し、通信管理装置（２５
４，３５４，４５４，５５４）を通じて、アクセスが完
了したこととそのノードで該当アドレスがキャッシング
しているかどうかを光バスアービタ６１０に伝える。（Ｂ１２）各ノードからリードアクセスが完了したこと
を通知された光バスアービタ６１０は、各ノードがキャ
ッシングしている／していないという情報をＩＣＣ６３
０にキャッシングし、ＩＣＣ６３０を更新する。（Ｂ１３）他ノードに対象番地がキャッシングされてい
るかどうかの情報を含んだアクセス完了パケットをノー
ドＡ１００に伝える。（Ｂ１４）通信管理装置１５４を通じて各ノードのキャ
ッシング状況を受け取ったキャッシュフラグ管理装置１
５３は、その内容をキャッシュフラグ１５２に記録す
る。（Ｂ１５）記録が終了すると、バス監視装置１５１はメ
モリ１３０の応答抑制を解除し、当該リードアクセスが
完了する。

【００４６】もし（Ｂ８）においてＩＣＣヒットなら
ば、光バスアービタ６１０は記録されたノードにアクセ
スをマルチキャストする。その後の動作は上記の物と同
様である。

【００４７】上記手順によれば、最初の１回目のアクセ
スは、アクセス情報を必要のないノードに対してもブロ
ードキャストを生じさせる。しかし、必要のないノード
に対してのブロードキャストは、システムの性能を落と
すことにはなるが論理的な矛盾を生じさせるものではな
い。各ノードがブロードキャストに応答して返してくる
パケットの中に、そのノードが該当アドレスをキャッシ
ングしているかの情報が含まれているので、それに基づ
きキャッシュフラグをアップデートすることで、２回目
以降のアクセスは必要なノードにのみマルチキャストが
行われることになる。

【００４８】また、ノード外のアドレスに対してリード
／ライト／invalidata等のバスアクセスが出力された時
は、光通信装置を通じて他ノードにアクセスを依頼す
る。アクセス先のノードのキャッシュ管理装置は、先に
述べたように光通信装置を通じて行われたアクセスに対
して応答する。

【００４９】以上の様に、上記実施形態によれば、すべ
てのキャッシュアドレスについてそのアドレスが他の計
算機にキャッシングされているかどうかを示すキャッシ
ングフラグが記録され、他のノードにキャッシングされ
ているアドレスに対してのメモリアクセスのみが他の計
算機に伝達されることになる。このため、効率のよいマ
ルチキャスト要求が実現されることになる。

【００５０】なお、以上のような構成をとるのは、計算
機外への伝達コストが比較的高いためである。計算機外
に伝達が必要なアクセスが多発した場合には、システム
全体としての性能を発揮することができない。そこで外
部へのアクセスであるかどうを的確に判定し、計算機外
への不要なアクセスを無くす或いは低減することでシス
テムの性能の向上が図られる。

【００５１】＜第２の実施形態＞次に本発明の第２の実
施形態を、図面を参照して説明する。

【００５２】第１の実施形態ではＩＣＣ６３０の構造
を、フルマップ構造（ひとつのノードを１ビットで示す
方法）で記録するようになっていた。このような場合、
システムのノード数が多くなればＩＣＣ６３０が必要と
するメモリ容量も増加する。、また、メモリ容量の増大
化を防止すれば、その分登録可能なキャッシングアドレ
スが減少してしまう。そこで第２の実施形態はＩＣＣ６
３０の構成を変更し、１つのキャッシングアドレスに関
する記憶容量の削減を図る。

【００５３】図１４は、第２の実施形態におけるＩＣＣ
６３０の構造を示す図である。ＩＣＣ６３０の各データ
レコードは、キャッシュタグ６３０ａ、ノードグループ
６３０ｂ、マップ情報６３０ｃで構成される。キャッシ
ュタグ６３０ａはキャッシングアドレスを示す。ノード
グループ６３０ｂには、ノードグループ内の先頭のノー
ドが格納される。本例では、ノードはＡからＺまでの順
に順序付けがなされており、ノードグループ６３０ｂに
よって先頭のノードとして指定されたノードから順に６
つのノードがノードグループとなる。例えば、ノードグ
ループ６３０ｂにノードＡが指定されていれば、ノード
ＡからノードＦがノードグループとして指定されたこと
になる。

【００５４】ＩＣＣ６３０の下位はマップ情報６３０ｃ
であり、これは、当該グループ内のノードについてのフ
ルマップの情報である。例えば上位でノードＳが示され
ていた場合、下位ではノードＳ〜Ｘについてのフルマッ
プの情報が示される。同様に上位でノードＣが示されて
いた場合、下位ではノードＣ〜Ｈがフルマップで示され
ている。ノードＡとＪが同時に同じ番地をキャッシング
した場合はこのような形式では対応できないので、ＩＣ
Ｃ６３０の上位を特別のパターン（例えば全て１）にし
て、その番地に対するアクセスはブロードキャスト（全
てのノードに対して放送する）する。

【００５５】以上の様に第２の実施形態によれば、グル
ープ内で局所的なメモリ共有が行われている場合に、こ
のような構成にすることでＩＣＣ６３０の容量の削減を
図ることができる。

【００５６】以上説明したように、上記各実施形態によ
れば、各ノードに大容量のディレクトリ（メモリ）を備
えることなく、フルマップ法式を採用したディレクトリ
方式に匹敵する高性能のキャッシュシステムを構築する
ことができる。

【００５７】なお、本発明は、複数の機器（例えばホス
トコンピュータ，インタフェイス機器，リーダ，プリン
タなど）から構成されるシステムに適用しても、一つの
機器からなる装置（例えば、複写機，ファクシミリ装置
など）に適用してもよい。

【００５８】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。

【００５９】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００６０】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。

【００６１】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【００６２】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００６３】

【発明の効果】以上説明したように、本発明によれば、
分散共有メモリを実現する際に必要となるアクセス情報
のマルチキャストの宛て先を記録するための記憶機構の
容量の削減と不要なマルチキャストによる性能低下との
バランスを向上させ、分散共有メモリシステムにおいて
低コストで高性能なキャッシュシステムを提供できる。

【００６４】

【図面の簡単な説明】

【図１】本実施形態の情報処理システムの採用する並列
計算機システムの構成を示す図である。

【図２】本実施形態によるメモリアドレス空間を説明す
る図である。

【図３】ノードＡ１００のＣＰＵ１１０が、ノードＢ２
００のメモリ２３０をリードする様子を説明する図であ
る。

【図４】ノードＡにおけるキャッシュ管理装置１５０の
構成を示すブロック図である。

【図５】バス監視装置１５１の構成を示すブロック図で
ある。

【図６】キャッシュフラグ１５２及びキャッシュフラグ
管理装置の構成を説明するブロック図である。

【図７】メモリアクセスエミュレート装置の構成を示す
ブロック図である。

【図８】コンセントレータ６００の構成を示すブロック
図である。

【図９】ＩＣＣ６３０のデータ構成を示す図である。

【図１０】キャッシュ管理装置の動作を説明するフロー
チャートである。

【図１１】光バスアービタよりパケットを受信した場合
の動作を説明するフローチャートである。

【図１２】光バスアービタの動作手順を説明するフロー
チャートである。

【図１３】ノード内のメモリに対してリード／ライト／
invalidate／ＲＷＩＴＭ等のバスアクセスが発行された
場合の動作を説明する図である。

【図１４】第２の実施形態におけるＩＣＣ６３０の構造
を示す図である。

【符号の説明】

１００，２００，３００，４００，５００ノード１１０，１２０，２１０，２２０，３１０，３２０，４
１０，４２０，５１０，５２０ＣＰＵ１３０，２３０，３３０，４３０，５３０メモリ１４０，２４０，３４０，４４０，５４０光通信装置１５０，２５０，３５０，４５０，５５０キャッシュ
管理装置１６０，２６０，３６０，４６０，５６０アービトレ
ーション回線１７０，２７０，３７０，４７０，５７０データ回線６００コンセントレータ６１０光バスアービタ６２０スターカプラ

Claims

【特許請求の範囲】

【請求項１】複数の情報処理装置が通信可能に接続さ
れ、相互に共有可能な共有メモリ空間を有する情報処理
システムであって、前記共有メモリ空間へのアクセスによって得られたデー
タをアクセス元の情報処理装置にてキャッシングするキ
ャッシュ手段と、前記複数の情報処理装置の各々が、自身のメモリ空間に
関して、他の情報処理装置にキャッシングされているか
否かをキャッシュ単位で示すキャッシュ情報を保持する
保持手段と、前記保持手段によって保持されているキャッシュ情報に
基づいて前記キャッシュ手段のキャッシュメンテナンス
を行うメンテナンス手段とを備えることを特徴とする情
報処理システム。
【請求項２】前記メンテナンス手段は、前記複数の情報処理装置の各々において、自身のメモリ
空間へのアクセスが発生した場合に、当該アクセス先ア
ドレスが他の情報処理装置にキャッシングされているか
否かを前記キャッシュ情報を参照して判定する判定手段
と、前記判定手段によって前記アクセス先アドレスが他の情
報処理装置によってキャッシングされていると判定され
た場合、当該アクセスをマルチキャストするマルチキャ
スト手段とを備えることを特徴とする請求項１に記載の
情報処理システム。
【請求項３】前記複数の情報処理装置の一つが、キャ
ッシングアドレスとキャッシング先の情報処理装置を示
すマルチキャスト情報を保持する第２保持手段を備える
通信管理装置であり、前記マルチキャスト手段による前記アクセスのマルチキ
ャストは、前記第２保持手段に保持されたマルチキャス
ト情報に基づいて選択された情報処理装置に対して行な
われることを特徴とする請求項２に記載の情報処理シス
テム。
【請求項４】前記マルチキャスト手段は、前記判定手
段によって前記アクセス先アドレスが他の情報処理装置
によってキャッシングされていると判定され、前記第２
保持手段に対応する情報が保持されていない場合、当該
アクセスを前記複数の情報処理装置の全てにマルチキャ
ストすることを特徴とする請求項３に記載の情報処理シ
ステム。
【請求項５】前記複数の情報処理装置を接続する通信
網が、前記通信管理装置を中心としたスター結合である
ことを特徴とする請求項３に記載の情報処理システム。
【請求項６】前記複数の情報処理装置を接続する通信
網が、複数の波長の光を用いて接続する光波長多重化し
た経路により構成されることを特徴とする請求項１乃至
５のいずれかに記載の情報処理システム。
【請求項７】複数の情報処理装置が通信可能に接続さ
れ、相互に共有可能な共有メモリ空間を有する情報処理
システムにおける情報処理装置であって、前記共有メモリ空間へのアクセスによって得られたデー
タをキャッシングするキャッシュ手段と、自身のメモリ空間に関して、他の情報処理装置にキャッ
シングされているか否かをキャッシュ単位で示すキャッ
シュ情報を保持する保持手段と、前記メモリ空間にアクセスが発生した場合、前記保持手
段によって保持されているキャッシュ情報に基づいて前
記キャッシュ手段のキャッシュメンテナンスを行うメン
テナンス手段とを備えることを特徴とする情報処理装
置。
【請求項８】前記メンテナンス手段は、前記複数の情報処理装置の各々において、自身のメモリ
空間へのアクセスが発生した場合に、当該アクセス先ア
ドレスが他の情報処理装置にキャッシングされているか
否かを前記キャッシュ情報を参照して判定する判定手段
と、前記判定手段によって前記アクセス先アドレスが他の情
報処理装置によってキャッシングされていると判定され
た場合、当該アクセスのマルチキャストを要求する要求
手段とを備えることを特徴とする請求項７に記載の情報
処理装置。
【請求項９】複数の情報処理装置が通信可能に接続さ
れ、相互に共有可能な共有メモリ空間を有する情報処理
システムの制御方法であって、前記共有メモリ空間へのアクセスによって得られたデー
タをアクセス元の情報処理装置にてキャッシングするキ
ャッシュ工程と、前記複数の情報処理装置の各々が、自身のメモリ空間に
関して、他の情報処理装置にキャッシングされているか
否かをキャッシュ単位で示すキャッシュ情報を保持する
保持工程と、前記保持工程によって保持されたキャッシュ情報に基づ
いて前記キャッシュ工程のキャッシュメンテナンスを行
うメンテナンス工程とを備えることを特徴とする制御方
法。
【請求項１０】前記メンテナンス工程は、前記複数の情報処理装置の各々において、自身のメモリ
空間へのアクセスが発生した場合に、当該アクセス先ア
ドレスが他の情報処理装置にキャッシングされているか
否かを前記キャッシュ情報を参照して判定する判定工程
と、前記判定工程によって前記アクセス先アドレスが他の情
報処理装置によってキャッシングされていると判定され
た場合、当該アクセスをマルチキャストするマルチキャ
スト工程とを備えることを特徴とする請求項９に記載の
制御方法。
【請求項１１】前記マルチキャスト工程は、前記判定
工程によって前記アクセス先アドレスが他の情報処理装
置によってキャッシングされていると判定された場合、
当該アクセスを前記複数の情報処理装置の全てにマルチ
キャストすることを特徴とする請求項９に記載の制御方
法。
【請求項１２】前記複数の情報処理装置の一つが、キ
ャッシングアドレスとキャッシング先の情報処理装置を
示すマルチキャスト情報をメモリに保持する第２保持工
程を備える通信管理装置であり、前記マルチキャスト工程による前記アクセスのマルチキ
ャストは、前記第２保持工程によって前記メモリ保持さ
れたマルチキャスト情報に基づいて選択された情報処理
装置に対して行なわれることを特徴とする請求項１１に
記載の制御方法。
【請求項１３】複数の情報処理装置が通信可能に接続
され、相互に共有可能な共有メモリ空間を有する情報処
理システムにおける情報処理装置の制御方法であって、前記共有メモリ空間へのアクセスによって得られたデー
タをキャッシングするキャッシュ工程と、自身のメモリ空間に関して、他の情報処理装置にキャッ
シングされているか否かをキャッシュ単位で示すキャッ
シュ情報を保持する保持工程と、前記メモリ空間にアクセスが発生した場合、前記保持工
程によって保持されているキャッシュ情報に基づいて前
記キャッシュ工程におけるキャッシュメンテナンスを行
うメンテナンス工程とを備えることを特徴とする制御方
法。
【請求項１４】複数の情報処理装置が通信可能に接続
され、相互に共有可能な共有メモリ空間を有する情報処
理システムに適用可能な情報処理装置のための制御プロ
グラムを格納する記憶媒体であって、該制御プログラム
がコンピュータを、前記共有メモリ空間へのアクセスによって得られたデー
タをキャッシングするキャッシュ手段と、自身のメモリ空間に関して、他の情報処理装置にキャッ
シングされているか否かをキャッシュ単位で示すキャッ
シュ情報を保持する保持手段と、前記メモリ空間にアクセスが発生した場合、前記保持手
段によって保持されているキャッシュ情報に基づいて前
記キャッシュ手段のキャッシュメンテナンスを行うメン
テナンス手段として機能させることを特徴とする記憶媒
体。