JPH09223115A

JPH09223115A - 情報処理装置及びシステム及びその制御方法

Info

Publication number: JPH09223115A
Application number: JP8031022A
Authority: JP
Inventors: Tomohiko Shimoyama; 朋彦下山; Kazumasa Hamaguchi; 一正濱口; Toshiyuki Fukui; 俊之福井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-02-19
Filing date: 1996-02-19
Publication date: 1997-08-26

Abstract

(57)【要約】【課題】分散共有メモリを実現する際に必要になるアク
セス情報のマルチキャストの宛て先を記録する記憶機構
の容量を押さえつつ、効率の良いマルチキャストを達成
することを可能とする。【解決手段】複数のノードが通信可能に接続された計算
機システムにおいて、キャッシュメンテナンス情報の配
送情報がディレクトリに保持されていない場合、複数の
ノードの全てに対して情報のブロードキャストを行う
（S11〜S14、S20）。このブロードキャストによる情報
の配送の結果に基づいて、ディレクトリへ配送情報を登
録する（S17、S18）。また、ディレクトリに配送情報が
保持されている場合は、該配送情報で指定されるノード
に情報の配送（マルチキャスト）を行う（S14〜S16）。
そして、このマルチキャストの結果に基づいて、ディレ
クトリに保持されている配送情報の更新を行う（S17、S1
8）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は分散共有メモリを実
現するための情報をマルチキャストする情報処理装置及
びシステム及びその制御方法に関する。

【０００２】

【従来の技術】分散共有メモリを実現する場合、共有メ
モリの一貫性保持のために必要な通信を必要な計算機に
のみ配送する（マルチキャスト）ため、あるアクセスに
関しての情報をどの計算機に送るか記録する必要があっ
た。例えばディレクトリ方式の分散共有メモリのキャッ
シュシステムでは、メモリのキャッシュライン毎に、ど
の計算機に対してアクセス情報をマルチキャストしなけ
ればならないかを記録している。

【０００３】

【発明が解決しようとする課題】しかしながら、どの計
算機にマルチキャストするかを示す宛て先の保持に使用
するメモリの容量は、通信機構上の計算機の数によって
増大することになるため、その容量を押さえることが求
められている。従来、メモリ容量を押さえるために、宛
て先の情報を欠落させ、不必要な計算機にまでマルチキ
ャストを行うことが行われていた。そのため、記憶容量
を節約できる反面、性能の低下が避けられなかった。

【０００４】このように、高性能な分散共有メモリシス
テムを効率良く作成するためには大容量の記憶機構を用
意する必要があるが、それが実現上、コスト上、現実的
でない場合があった。

【０００５】本発明は上記の問題に鑑みてなされたもの
であり、分散共有メモリを実現する際に必要になるアク
セス情報のマルチキャストの宛て先を記録する記憶機構
の容量を押さえつつ、効率の良いマルチキャストを達成
することを可能とする情報処理装置及びシステム及びそ
の制御方法を提供することを目的とする。

【０００６】また、本発明の目的は、分散共有メモリを
実現するシステムにおいて、キャッシュデータの一貫性
を保持するためのマルチキャストを、該マルチキャスト
の宛て先を記録する記憶機構の容量を押さえつつ、効率
良く実行することを可能とする情報処理システム及びそ
の制御方法を提供することにある。

【０００７】

【課題を解決するための手段】上記の目的を達成する本
発明の情報処理装置は、複数のプロセッサを有する情報
処理装置であって、前記複数のプロセッサ間において相
互に情報の通信を行う通信手段と、前記複数のプロセッ
サのいずれに情報を配送するかを示す配送先情報を保持
する保持手段と、前記保持手段に前記配送情報が保持さ
れていない場合、前記通信手段を介して前記複数のプロ
セッサの全てに対して情報の配送を行う第１配送手段
と、前記保持手段に配送情報が保持されている場合、前
記通信手段を介して、該配送情報で指定されるプロセッ
サに情報の配送を行う第２配送手段と、前記第１及び第
２配送手段による情報の配送の結果に基づいて、前記保
持手段への配送情報の登録もしくは前記保持手段に保持
されている前記配送情報の更新を行う更新手段とを備え
る。

【０００８】また、上記の目的を達成する本発明の他の
構成の情報処理装置は、複数のノードで構成され、分散
共有メモリを実現する情報処理システムを構成するため
のノードとして適用可能な情報処理装置であって、外部
のノードとの通信を行う通信手段と、情報の配送先とな
るノードを示す配送情報を保持する保持手段と、前記保
持手段に前記配送情報が保持されていない場合、前記通
信手段を介して前記複数のノードの全てに対して情報の
配送を行う第１配送手段と、前記第１配送手段による情
報の配送の結果に基づいて、前記保持手段への配送情報
を登録する登録手段と、前記保持手段に配送情報が保持
されている場合、前記通信手段を介して、該配送情報で
指定されるノードに情報の配送を行う第２配送手段とを
備えることを特徴とする。

【０００９】また、好ましくは、前記第２配送手段によ
る情報の配送の結果に基づいて、前記保持手段に保持さ
れている前記配送情報の更新を行う更新手段を更に備え
る。第２配送手段による情報の配送が行われる度に、配
送情報を更新することが可能となり、常に適切な配送情
報を保持できるからである。

【００１０】また、好ましくは、前記保持手段は、シス
テム内でキャッシュされている自ノード内のメモリに関
して、キャッシング単位でキャッシュメンテナンスのた
めの情報の配送先を配送情報として保持する。分散共有
メモリによるキャッシュメンテナンス情報の配送先に関
る情報を、低記憶容量で保持できるからである。

【００１１】また、好ましくは、前記配送情報は、前記
複数のプロセッサの全てについて、情報配送の要否を登
録してある。第２配送手段による情報の配送（マルチキ
ャスト）を適切に実行できる。

【００１２】また、好ましくは、前記配送情報は、前記
複数のプロセッサのうちの所定数のプロセッサを含むグ
ループを指定するグループ情報と、該グループ情報で指
定されるグループに含まれるプロセッサの各々について
情報配送の要否を示す情報とで構成される。保持手段に
要求されるメモリ容量を更に低減できるからである。ま
た、システム内で局所的なメモリ共有が行われている場
合、同一メモリをキャッシュするノードが集中するの
で、上記配送情報のような部分的なフルマップ情報であ
っても、キャッシュ状態を正確に表現できる可能性が高
く、性能の低下は防止されることになる。

【００１３】また、上記の目的を達成する本発明の情報
処理システムは、複数のノードで構成され、複数のノー
ド間で分散共有メモリを実現する情報処理システムであ
って、前記複数のノード間で通信を行う通信手段と、情
報の配送先となるノードを示す配送情報を保持する保持
手段と、前記保持手段に前記配送情報が保持されていな
い場合、前記通信手段を介して前記複数のノードの全て
に対して情報の配送を行う第１配送手段と、前記第１配
送手段による情報の配送の結果に基づいて、前記保持手
段への配送情報を登録する登録手段と、前記保持手段に
配送情報が保持されている場合、前記通信手段を介し
て、該配送情報で指定されるノードに情報の配送を行う
第２配送手段とを備えることを特徴とする。

【００１４】また、好ましくは、上記情報処理システム
において、前記第１及び第２配送手段は情報の配送要求
を発行し、前記通信手段は、前記複数のノードと直接的
に接続してノード間の通信の調停を行うとともに、各ノ
ードより受信した配送要求に基づいてマルチキャストを
実行する調停手段を有する。調停手段が各ノードと直接
的に通信できるとともに、マルチキャストを実行するの
で、効率良くマルチキャストを実行できる。

【００１５】

【発明の実施の形態】以下、添付の図面を参照して本発
明の好適な実施形態を詳細に説明する。

【００１６】［第１の実施形態］図１は、第１の実施形
態における並列計算機システムの構成を示す図である。
また、図２は第１の実施形態における並列計算機システ
ムのメモリアドレス空間を示す図である。

【００１７】図１に示されるように、本計算機システム
は、複数のノード１００，２００，３００，４００，５
００からなり、各々のノードはコンセントレータ６００
を通じて光ファイバにより接続されてネットワークを構
成している。コンセントレータ６００は、ノード間の通
信を管理する。各ノードは通常の計算機であり、各々１
個または複数個のＣＰＵを持つ。また、各々のノードは
アドレス空間を共有しており、一つのＣＰＵからみえる
アドレス空間は、図２のようになっている。そして、ノ
ード間通信は、自分のアドレス上に見えている相手のメ
モリに対し、直接データを書込むことにより行う。

【００１８】ノード１００，２００，３００，４００，
５００は、光通信装置１４０，２４０，３４０，４４
０，５４０を通じ、アービトレーション回線１６０，２
６０，３６０，４６０，５６０、データ回線１７０，２
７０，３７０，４７０，５７０の２本の光ファイバを介
してコンセントレータ６００に接続されている。このよ
うな接続によって、ネットワークが構成されている。ア
ービトレーション回線１６０，２６０，３６０，４６
０，５６０は、ノード１００，２００，３００，４０
０，５００とコンセントレータ６００内の光バスアービ
タ６１０を接続する。これらのアービトレーション回線
により、各ノードは光バスアービタ６１０と相互に通信
することができる。また、データ回線１７０，２７０，
３７０，４７０，５７０は、各ノードとコンセントレー
タ６００内のスターカプラ６２０とを接続する。スター
カプラ６２０は、一端に光を入力すると他端からその光
が均等に出力される。一つのノードがデータ回線に光を
発すると、その光を他の全てのノードで受け取ることが
できる。よって、一つのノードデータ回線に発した光通
信を、全てのノードにおいて受信することが可能であ
る。

【００１９】ノードは、通信に用いる波長を選択するこ
とにより、任意のノードと通信を行うことができる。例
えば、ノードＡ１００がノードＢ２００と通信を行う場
合は次のような手順となる。即ち、ノードＡ１００が
アービトレーション回線１６０を通じて光バスアービタ
６１０にノードＢ２００との通信要求を送る、光バス
アービタ６１０はノードＢ２００が他のノードと通信中
でないことを確認し、どのノードも使用していない波長
αをノードＡ１００とノードＢ２００間の通信に割当
て、アービトレーション回線１６０，２６０を通じてノ
ードＡ１００，ノードＢ２００に波長αを使用して通信
を行うように指示を出す、ノードＡ１００，ノードＢ
２００は波長αを使用してデータ回線１７０，２７０を
通じて通信を行う。

【００２０】本実施形態の分散共有メモリは、このよう
なネットワークの上の光通信機構によって実現される。
以下に、一例として、ノードＡ１００（以下、単にノー
ドＡという）のＣＰＵ１１０がノードＢ２００（以下、
単にノードＢという）のメインメモリ２３０の内容をリ
ードする場合の手順を説明する。図３は、ノードＡのＣ
ＰＵがノードＢのメインメモリの内容をリードする様子
を説明する図である。なお、図３の（Ａ１）〜（Ａ７）
に示す動作は一連のものとして実施される。

【００２１】（Ａ１）：ノードＡのＣＰＵ１１０が、ノ
ードＢのメインメモリ２３０に対してリードアクセスを
発行する、（Ａ２）：ノードＡの光通信装置１４０は、メインバス
上のバスアクセスを監視している。従って、メインバス
上にノードＡのメインメモリ１３０以外のアドレスに対
してアクセスが発行されると、光通信装置１４０はその
バスアクセスを検出する、（Ａ３）：光通信装置１４０は、アクセス要求パケット
を生成し、これをコンセントレータ６００を通じてノー
ドＢの光通信装置２４０に対して送る、（Ａ４）：ノードＢの光通信装置２４０はアクセス要求
パケットを受けると、その依頼に従ってノードＢのメイ
ンメモリ２３０に対するアクセスを行う、（Ａ５）：ノードＢのメモリ２３０が、（Ａ４）で行わ
れたアクセスに応答する、（Ａ６）：ノードＢの光通信装置２４０は、アクセスが
終わると、ノードＡの光通信装置１４０に対してアクノ
リッジを返す、（Ａ７）：ノードＢよりアクノリッジを受け取ったノー
ドＡの光通信装置１４０は、ノードＢのメインメモリ２
３０の代わりにノードＡのプロセッサ１１０のアクセス
に応答する。

【００２２】また本実施形態では分散共有メモリ上で、
ディレクトリ方式の一貫性保持方式を変形したキャッシ
ュシステムを搭載している。ディレクトリ方式によるキ
ャッシュシステムの詳細は、「共有記憶型並列システム
の実際」（コロナ社刊）に示されている。本実施形態で
は各ノードにディレクトリを分散して持ち、ディレクト
リ方式の一貫性保持動作を行う際に必要なキャッシュメ
ンテナンス情報のマルチキャストは、ネットワーク中央
のコンセントレータ６００で行う。

【００２３】なお、ノード内のＣＰＵ間でのキャッシュ
の一貫性は、ＣＰＵに内蔵されたＭＥＳＩプロトコル
（Modified,Exclusive,Shared,Invalidの４状態により
キャッシュを管理するプロトコル）によるスヌープキャ
ッシュで管理されている（この実施形態ではＭＥＳＩプ
ロトコルを使用するが、これは本発明を限定するもので
はない）。

【００２４】ノード間のキャッシュの一貫性保持は、外
付けされたキャッシュ管理装置１５０，２５０，３５
０，４５０，５５０により管理される。また、キャッシ
ュメンテナンス情報のマルチキャストは、コンセントレ
ータ６００内の光バスアービタ６１０により行われる。
光バスアービタ６１０は各ノードに直接接続されている
（スター接続を採用している）ので、効率よく情報のマ
ルチキャストを行うことができる。

【００２５】図４は第１の実施形態におけるノードの構
成、特にキャッシュ管理装置の詳細な構成を示すブロッ
ク図である。ディレクトリ方式のキャッシュを実現する
キャッシュ管理装置１５０は、バス監視装置１５１、デ
ィレクトリ１５２、ディレクトリ管理装置１５３、通信
管理装置１５４、アクセスエミュレーション装置１５５
を備えている。以下に、キャッシュ管理装置１５０が備
える個々の装置について、それぞれ説明する。

【００２６】図５はバス監視装置１５１の構成を示すブ
ロック図である。バス監視装置１５１は、シーケンサ１
５１ａとアドレスラッチ１５１ｂからなっている。シー
ケンサ１５１ａはノード内のバスを監視し、バスマスタ
（例えばＣＰＵ１１０）によるメモリのリードアクセ
ス，invalidate，Read-with-Intent-to-Modify，メモリ
書込みの実行を検出する。また、シーケンサ１５１ａ
は、バス上のアクセス要求信号、バスアクセスに伴って
バスマスタから出力されるアクセス修飾信号などを監視
することで、アクセスを検出する。

【００２７】バス監視装置１５１は、アクセス要求信号
が有効でありアクセスアドレスが自分のノードのメモリ
に対するものであった場合、アクセスを検出したと判断
する。アクセスを検出すると、メインメモリ１３０の応
答を押さえ、その間に、ディレクトリ管理装置１５３を
通じてディレクトリ１５２に対象アドレスに関するキャ
ッシング情報が記録されているかを調べる。もし記録さ
れていなければ、そのアクセスを全てのノードにブロー
ドキャストする。そしてそれらに対する応答によりキャ
ッシング情報を得て、ディレクトリ監視装置１５３を通
じてディレクトリ１５２を更新する。一方、ディレクト
リにキャッシング情報が記録されていた場合には、キャ
ッシング情報で示されるノードに対して、当該アクセス
の情報をマルチキャストする。そして、このマルチキャ
ストに対する各ノードよりの応答よりキャッシング情報
を得て、ディレクトリ監視装置１５３を通じてディレク
トリ１５２を更新する。

【００２８】なお、本実施形態では、メモリアクセスの
中断（メインメモリ１３０の応答を押さえること）は、
バス上にアクセス再実行信号を出力し、そのライトアク
セスをプロセッサにリトライさせることで実現するが、
他の方法によりライト命令を中断してもよい。

【００２９】図６は、ディレクトリ１５２、ディレクト
リ管理装置１５３の構成を示すブロック図である。ディ
レクトリ１５２は、最近アクセスされたメモリブロック
に関して、これをキャッシングしているノード（キャッ
シング情報）を記録する。キャッシング情報は、キャッ
シュの一貫性保持を実現するために、対象メモリブロッ
クに対してリード／ライト／invalidate／Read-with-In
tent-to-Modifyが行われた場合に、どのノードに対して
そのリード／ライト／invalidate／Read-with-Intent-t
o-Modifyを通知しなければならないかを示すものであ
る。ここで、ディレクトリ１５２はキャッシュメモリの
一種である。本実施形態では、キャッシュ内容のリプレ
ースに擬似ＬＲＵ法を使用したが、別の方法を使用して
もよい。

【００３０】ディレクトリ１５２への操作は、ディレク
トリ管理装置１５３により行われる。ディレクトリ管理
装置１５３は、シーケンサ１５３ａによって管理されて
いる。ディレクトリ１５２に対する操作は、バス監視装
置１５１がリードアクセス／メモリ書込み／invalidate
／Read-with-Intent-to-Modifyを検出して対象メモリブ
ロックをキャッシングしているノードを参照する場合に
行われる。

【００３１】図７はディレクトリ１５２のデータ構造を
説明する図である。ディレクトリ１５２は２４ビット幅
のキャッシュメモリ（２４：ノード数）で構成するフル
マップ方式をとっている。キャッシュメモリの各ビット
はそれぞれのノードを示し、該当キャッシュブロックを
キャッシングしているノードに対応するビットが１とな
る。キャッシュタグは、各ディレクトリ情報が対象とす
るメモリブロックの先頭を示す。ディレクトリ１５２
に、該当メモリ番地に対応するマルチキャスト先が記録
されている場合には、マルチキャストの必要なノードを
正確に知ることができるため不必要なブロードキャスト
がなくなり、システムの性能を向上することができる。
ディレクトリ管理装置１５３は、バス監視装置１５１か
ら記録要求を受けると、記録要求に示される対象メモリ
ブロックとノードに従って、ディレクトリ１５２の対応
するビットをＯＮ，ＯＦＦする。

【００３２】通信管理装置１５４はバス監視装置１５
１、ディレクトリ管理装置１５３からの要求により、光
通信装置１４０とのコミュニケーションを行う。通信管
理装置１５４は、バス監視装置１５１、ディレクトリ管
理装置１５３からのメモリリード／invalidate／Read-w
ith-Intent-to-Modify／メモリ書き込みのマルチキャス
ト要求を受け、光通信装置１４０を介して光バスアービ
タ６１０に、アクセスのマルチキャスト／ブロードキャ
ストパケットを送出する。また、光通信装置１４０を通
じて受け取ったキャッシュの一貫性保持動作要求パケッ
トにより、メモリアクセスエミュレート装置１５５に対
してinvalidate／Read-with-Intent-to-Modify／ライト
／リード要求を出力する。

【００３３】図８は、アクセスエミュレーション装置の
構成を示すブロック図である。アクセスエミュレーショ
ン装置１５５は、通信管理装置１５４からの要求によ
り、ダミーのメモリライトアクセス／ダミーのメモリリ
ードアクセス／invalidate／Read-with-Intent-to-Modi
fyアクセスを自ノードのバス上に発行する。これらのア
クセスにより、ノード間のキャッシュの一貫性が保持さ
れる。アクセスエミュレーション装置１５５の発行する
アクセスは、自分のノードに割り当てられたアドレスで
はありえないため、ノード内のバススレーブ（例えばメ
インメモリ１３０）よりの応答はありえず、ダミーのア
クセスとなる。

【００３４】図９はコンセントレータ６００の構成を示
すブロック図である。同図に示されるように、コンセン
トレータ６００は、光バスアービタ６１０、スターカプ
ラ６２０により構成される。光バスアービタ６１０は先
に述べたように光回線の通信制御を行う。またノードか
ら送られてきたマルチキャスト要求により、当該要求に
含まれる宛て先ノードへのパケットの転送を行う。

【００３５】なお、本実施形態では、光バスアービタ６
１０は一つの計算機として実現したため、これらの機構
はソフトウェアで実現している。しかしながら、これは
本発明を制限するものではなく、ハードウェアで実現す
ることも可能であることはいうまでもない。

【００３６】次にキャッシュ管理装置１５０の動作を説
明する。

【００３７】以下、ノード内のメモリに対してリード／
ライト／invalidate等のバスアクセスが発行された場合
の動作を、図１０及び図１１を用いて説明する。

【００３８】ノードＡ内のメモリ１３０に対してリード
アクセスが行われる（Ｂ１）と、バス監視装置１５１が
そのアクセスを検知し（Ｂ２）、メインメモリ１３０の
応答を抑制する（Ｂ３）。この応答抑制の間に、バス監
視装置１５１は、当該リードアクセスを行ったノードＩ
Ｄを（そのグループのＣＰＵが実効アドレスのメモリブ
ロックをキャッシングしているものとして）記録するよ
うに、ディレクトリ管理装置１５３に対して要求する。
ここで、バス監視装置１５１より出力される要求には、
アクセスを行ったノードのＩＤと当該アクセスの実効ア
ドレスとが含まれる（Ｂ４）。ディレクトリ管理装置１
５３は、ディレクトリ１５２を参照して、上記要求によ
って指定されたアドレスがキャッシングされているか調
べる（Ｂ５）。もしディレクトリ１５２にキャッシング
されていなければ、ディレクトリ管理装置１５３は通信
管理装置１５４を通じて発行されたリードアクセスを全
てのノードにブロードキャストするよう光バスアービタ
６１０にブロードキャスト要求を出す（Ｂ６）。

【００３９】バスアービタ６１０はこのブロードキャス
ト要求に従い、全てのノードに当該リードアクセスをマ
ルチキャストする（Ｂ７）。リードアクセスをマルチキ
ャストされた各ノード（２００，３００，４００，５０
０）では、アクセスエミュレーション装置がバス上にリ
ードアクセス（ダミーのリード）を発行する（Ｂ８）。
各ノードのＣＰＵ（２１０，３１０，４１０，５１０）
はこれをスヌープし、そのリードアクセスされたメモリ
番地をキャッシングしているかどうかを返答する（Ｂ
９）。各ノードのバス監視装置（２５１，３５１，４５
１，５５１）はこれを検出し、通信管理装置（２５４，
３５４，４５４，５５４）を通じて、アクセスが完了し
たこととそのノードで該当アドレスがキャッシングして
いるかどうかを光バスアービタ６１０に伝える（Ｂ１
０）。

【００４０】各ノードからリードアクセスが完了したこ
とを通知された光バスアービタ６１０は、各ノードがキ
ャッシングしているか否かを示す情報を含んだアクセス
完了パケットをノード１００に伝える（Ｂ１１）。通信
管理装置１５４を通じて各ノードのキャッシング状況を
受け取ったディレクトリ管理装置１５３は、その内容を
ディレクトリ１５２にキャッシングする（Ｂ１２）。キ
ャッシングが終了すると、バス監視装置１５１はメモリ
１３０に対すする応答抑制を解除し、当該リードアクセ
スが完了する（Ｂ１３）。

【００４１】一方、（Ｂ５）においてディレクトリ情報
が既にキャッシングされていた場合を図１１を参照して
説明する。図１１において、（Ｂ１）〜（Ｂ５）までの
動作は図１０で説明した動作と同様である。

【００４２】（Ｂ５）においてディレクトリ情報がキャ
ッシングされていると、ディレクトリ管理装置１５３は
ディレクトリ１５２にキャッシングされていたディレク
トリ情報（対象アドレスのメモリブロックがどのノード
にキャッシングされているか）をバス監視装置１５１に
返す（Ｂ６’）。ディレクトリ管理装置１５３より返さ
れたディレクトリ情報に、他のノードに対象アドレスが
キャッシングされていると記録されていた場合には、バ
ス監視装置１５１は発行されたリードアクセスをディレ
クトリ情報に記録されていたノードにマルチキャストす
るよう、通信管理装置１５４を通じて光バスアービタ６
１０にマルチキャスト要求を出す（Ｂ７’）。

【００４３】光バスアービタ６１０はこのマルチキャス
ト要求に従い、必要なノード（ここではノードＢのみと
する）に当該リードアクセスをマルチキャストする（Ｂ
８’）。リードアクセスをマルチキャストされた各ノー
ド（ここではノードＢのみとする）では、アクセスエミ
ュレーション装置を介してバス上にリードアクセスを発
行する（Ｂ９’）。ノードＢのＣＰＵ２１０はこれをス
ヌープし、そのリードアクセスされたメモリ番地をキャ
ッシングしているかどうかを返答する（Ｂ１０’）。ノ
ードＢのバス監視装置２５１はこれを検出し、通信管理
装置２５４を通じて、アクセスが完了したこととそのノ
ードで該当アドレスがキャッシングしているかどうかを
光バスアービタ６１０に伝える（Ｂ１１’）。

【００４４】ノードＢからリードアクセスが完了したこ
とを通知された光バスアービタ６１０は、各ノードがキ
ャッシングしているか否かを示す情報を含んだアクセス
完了パケットをノードＡに伝える（Ｂ１２’）。ノード
Ａにおいて、通信管理装置１５４を通じて各ノードのキ
ャッシング状況を受け取ったディレクトリ管理装置１５
３は、その内容をディレクトリ１５２にキャッシング
（キャッシュを更新）する（Ｂ１３’）。キャッシング
が終了すると、バス監視装置１５１はメモリ１３０の応
答抑制を解除し、リードアクセスが完了する（Ｂ１
４’）。

【００４５】なお、上記（Ｂ１２）、（Ｂ１３’）にお
けるディレクトリ１５２の操作では、当該アクセスの発
生元のノードも登録されることは言うまでもない。ま
た、上記説明では、ノードＡ内のＣＰＵがノードＡ内の
メインメモリにアクセスする場合を示したが、他のノー
ドのＣＰＵからメインメモリへのアクセスが発生した場
合も同様の処理が実行される。但し、この場合、他のノ
ードから発行されるリードパケットには、少なくとも当
該パケットの発行元とリードアクセスの対象アドレスを
示す情報が必要である。

【００４６】以上説明した本実施形態のキャッシュ管理
動作について、図１２及び図１３を用いて更に説明す
る。図１２、図１３は、本実施形態のキャッシュ管理装
置によるキャッシュ管理動作を説明するフローチャート
である。

【００４７】ステップＳ１１において、バスアクセス
（リード、ライトアクセス及びキャッシュメンテナンス
を含む）の発生がバス監視装置１５１によって検出され
ると、ステップＳ１２において、当該バスアクセスが自
ノードのメモリ（メインメモリ１３０）に対するもので
あるか否かが判定される。このバスアクセスが自ノード
のメモリに対するものであった場合、ステップＳ１３へ
進み、当該アクセスに対するメモリの応答が抑制され
る。

【００４８】次に、ステップＳ１４において、ディレク
トリ１５２が参照され、当該アクセスの対象アドレスを
含むメモリブロックについてディレクトリ情報がキャッ
シングされているか否かを調べる。ここで、ディレクト
リ１５２にディレクトリ情報がキャッシングされていれ
ば、ステップＳ１６において、該ディレクトリ情報で指
定されるノードを対象に当該アクセスに関する情報のマ
ルチキャストを要求し、ステップＳ１７へ進む。一方、
ステップＳ１４において、当該アクセスアドレスを含む
メモリブロックのディレクトリ情報がディレクトリ１５
２に格納されていなかった場合は、ステップＳ２０へ進
む。ステップＳ２０では、全ノードを対象に当該アクセ
スに関する情報のブロードキャストを要求し、ステップ
Ｓ１７へ進む。

【００４９】ステップＳ１７では、ステップＳ１６によ
るマルチキャスト要求（或は、ステップＳ２０によるブ
ロードキャスト要求）に対するマルチキャスト完了パケ
ットを待つ。この完了パケットには、当該アクセスアド
レスを含むメモリブロックについて実際にキャッシュを
行っているノードを示すキャッシュ情報が含まれる。ス
テップＳ１８では、受信した完了パケットに含まれるキ
ャッシュ情報、及び当該アクセスの発生元のノードＩＤ
に基づいて、ディレクトリ１５２の当該メモリブロック
に対応するディレクトリ情報を更新する。なお、ディレ
クトリにキャッシング情報が存在しなかった場合は、当
該メモリブロックに関するディレクトリ情報を新規に登
録することになる。

【００５０】ステップＳ１９では、ステップＳ１３で行
ったメインメモリ１３０の応答抑制を解除する。これに
より、ステップＳ１１で検出したバスアクセスに対して
メモリ１３０が実際に応答することになる。

【００５１】一方、ノード外のアドレスに対してリード
／ライト／invalidate等のバスアクセスが出力された時
は、光通信を通じて他のノードにアクセスを依頼する。
即ち、ステップＳ１２において、当該バスアクセスが自
ノードのメモリに対するものでなかった場合は、ステッ
プＳ２１へ進む。ステップＳ２１では、当該バスアクセ
スがキャッシュメンテナンス情報である否かを判断す
る。そして、キャッシュメンテナンス情報であると判断
された場合は、ステップＳ２２へ進み、メモリのリトラ
イを開始する。ステップＳ２３では、当該バスアクセス
の対象となるメモリを有するノードに対して、アクセス
要求パケットを送出する。このアクセス要求パケットを
受信したノードでは、自ノードのメモリへのアクセスと
なるので、上述のステップＳ１３〜Ｓ２０が実行される
ことになる。その後、ステップＳ２４において、メモリ
のリトライが解除され、本処理を終了する。

【００５２】アクセス先のノードのキャッシュ管理装置
は、先に述べたように光通信装置を通じて行なわれたア
クセスに対して応答する。図１３では、パケットを受信
した際の動作手順が示されている。

【００５３】先ず、ステップＳ３１では、光通信装置１
４０を通信管理装置１５４が監視し、パケットが受信さ
れるのを待つ。パケットが受信されると、ステップＳ３
２へ進み、アクセスエミュレーション装置１５５を用い
て、受信したパケットに従ってアクセス情報をバスへ出
力する。例えば、受信したパケットがステップＳ２３で
発行されたアクセス要求パケットであった場合は、当該
要求パケットに従ってバスにアクセス情報が出力され、
ステップＳ１１〜ＳＳ２０の処理が実行されることにな
る。

【００５４】ステップＳ３４では、ステップＳ３３によ
るアクセスの結果を光バスアービタ６１０へ送出する。
例えば、上述したように、ＣＰＵ１１０はバス上に発行
されたアクセスをスヌープし、当該アクセスの対象アド
レスをキャッシュしているか否かを判断する。ステップ
Ｓ３３では、この判断結果をアクセス結果として送出す
る。

【００５５】以上のように、最初の１回目のアクセスで
は、アクセス情報を必要のないノードに対しても配送す
るブロードキャストを生じさせる。このような必要のな
いノードに対してのブロードキャストは、性能を落すが
論理的な矛盾は生じない。ここで、各ノードがブロード
キャストに応答してくるパケットの中には、そのノード
が該当アドレスをキャッシングしているのか情報が含ま
れている。従って、この情報に基づいてディレクトリ情
報を更新することで、２回目以降のアクセスは必要なノ
ードにのみアクセス情報を配送する、適切なマルチキャ
ストを実行することが可能となる。従って、２回目以降
では、不要なノードへのアクセス情報の配送による性能
の低下は防止される。

【００５６】また、フルマップによってディレクトリ情
報を保持するが、実際にアクセス（キャッシュ状態）の
発生したメモリブロックについて、ディレクトリ情報が
保持されることになるので、ディレクトリ情報のために
消費されるメモリ容量も低減される。

【００５７】［第２の実施形態］次に本発明の第２の実
施形態を、図面を参照して説明する。

【００５８】第１の実施形態ではディレクトリ情報を、
フルマップ構造（ひとつのノードを１ビットで示す方
法）で、キャッシュ状態の発生したメモリブロックに関
して記録するようになっていた。だがこれでもまだディ
レクトリの容量が大き過ぎる場合がある。そこで第２の
実施形態ではディレクトリのデータ構造を変更し、ディ
レクトリ容量の更なる削減を図る。

【００５９】図１４は第２の実施形態によるディレクト
リの構造を示す図である。キャッシュタグで示されるメ
モリブロックについて、各ディレクトリ情報の上位ビッ
トでグループの最初のノードを示す。ディレクトリの下
位ビットは、それらのグループ内のノードについてのフ
ルマップのディレクトリ情報である。例えば上位でノー
ドＳが示されていた場合、下位でビットはノードＳ〜ノ
ードＸについてのフルマップの情報が示されることにな
る。同様に上位ビットでノードＣが示されていた場合、
下位ビットではノードＣ〜ノードＨがフルマップで示さ
れる。但し、ノードＡとノードＪが同時に同じ番地（メ
モリブロック）をキャッシングした場合は、この様な形
式では対応できないので、ディレクトリの上位を特別の
パターン（例えば全て１）にして、その番地（メモリブ
ロック）に対するアクセスはブロードキャスト（全ての
ノードに対して放送する）する。

【００６０】第２の実施形態によるディレクトリの登
録、更新は第１の実施形態と同様に行われる。即ち、デ
ィレクトリ情報が未登録の状態では全ノードに対してア
クセスがブロードキャストされる。そして、各ノードよ
りの応答（各ノードが当該アクセスの対象メモリをキャ
ッシュしているか否かを示す情報を含む）に従って、デ
ィレクトリ情報が登録される。ここで、例えば、ノード
ＡとノードＣが当該アクセスの対象メモリをキャッシュ
していると、同一グループで表現できるので、ディレク
トリ情報の上位ビットにノードＡを記録する。これによ
り、当該ディレクトリ情報の下位ビットはノードＡ〜ノ
ードＦのフルマップデータとなり、ノードＡとノードＣ
に対応するビットが「１」にセットされる。

【００６１】以上のように、ディレクトリ情報を全ノー
ドについてフルマップで保持する第１の実施形態に比べ
て、ディレクトリ情報を部分的にフルマップで保持する
のでメモリ容量を低減できる。特に、システム内で局所
的なメモリ共有が行われている場合、同一メモリをキャ
ッシュするノードが集中するので、部分的なフルマップ
情報としてもキャッシュ状態を正確に表現できる可能性
が高くなる。

【００６２】以上の説明から明らかなように、上記各実
施形態によれば、各ノードに大容量のディレクトリ（メ
モリ）を備えることなく高性能のディレクトリ方式のキ
ャッシュシステムを構築することができる。

【００６３】なお、本発明は、複数の機器（例えばホス
トコンピュータ，インタフェイス機器，リーダ，プリン
タなど）から構成されるシステムに適用しても、一つの
機器からなる装置（例えば、複写機，ファクシミリ装置
など）に適用してもよい。

【００６４】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。

【００６５】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００６６】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。

【００６７】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【００６８】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００６９】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明したフローチャートに対応す
るプログラムコードを格納することになるが、簡単に説
明すると、図１５のメモリマップ例に示す各モジュール
を記憶媒体に格納することになる。

【００７０】すなわち、少なくとも「第１配送処理モジ
ュール」「第２配送処理モジュール」および「更新処理
モジュール」の各モジュールのプログラムコードを記憶
媒体に格納すればよい。

【００７１】ここで、第１配送処理とは、当該プロセッ
サと通信可能に接続された複数のプロセッサのいずれに
情報を配送するかを示す配送情報が記憶手段に保持され
ていない場合に、該複数のプロセッサの全てに対して情
報の配送を行う処理である。また、第２配送処理は、記
憶手段に配送情報が保持されている場合、該配送情報で
指定されるプロセッサに情報の配送を行う処理である。
更に、更新処理は、上記第１及び第２配送処理による情
報の配送の結果に基づいて、前記記憶手段への配送情報
の登録もしくは前記保持工程によって前記記憶手段に保
持されている前記配送情報の更新を行う処理である。

【００７２】また、本発明に関るプログラムの他の形態
としては、図１６のメモリマップ例に示す各モジュール
を記憶媒体に格納することになる。

【００７３】すなわち、少なくとも「第１配送処理モジ
ュール」「登録処理モジュール」及び「第２配送処理モ
ジュール」の各モジュールのプログラムコードを記憶媒
体に格納すればよい。また、好ましくは、図１６に記載
してあるように、「更新処理モジュール」のプログラム
コードを格納する。

【００７４】ここで、第１配送処理とは、情報の配送先
となるノードを示す配送情報が記憶手段に保持されてい
ない場合、当該情報処理装置に接続された複数のノード
の全てに対して情報の配送を行う処理である。また、登
録処理は、第１配送処理による情報の配送の結果に基づ
いて、前記記憶手段へ配送情報を登録する処理である。
また、第２配送処理は、記憶手段に配送情報が保持され
ている場合、前記通信工程を介して、該配送情報で指定
されるノードに情報の配送を行う処理である。更に、更
新処理とは、前記第２配送処理による情報の配送の結果
に基づいて、前記記憶手段に保持されている配送情報の
更新を行う処理である。

【００７５】

【発明の効果】以上のように、本発明によれば、分散共
有メモリを実現する際に必要になるアクセス情報のマル
チキャストの宛て先を記録する記憶機構の容量を押さえ
つつ、効率の良いマルチキャストを達成することが可能
となる。

【００７６】また、本発明によれば、分散共有メモリを
実現するシステムにおいて、キャッシュデータの一貫性
を保持するためのマルチキャストを、該マルチキャスト
の宛て先を記録する記憶機構の容量を押さえつつ、効率
良く実行することが可能となる。

【００７７】

【図面の簡単な説明】

【図１】第１の実施形態における並列計算機システムの
構成を示す図である。

【図２】第１の実施形態における並列計算機システムの
メモリアドレス空間を示す図である。

【図３】ノードＡのＣＰＵがノードＢのメインメモリの
内容をリードする様子を説明する図である。

【図４】第１の実施形態におけるノードの構成、特にキ
ャッシュ管理装置の詳細な構成を示すブロック図であ
る。

【図５】バス監視装置１５１の構成を示すブロック図で
ある。

【図６】ディレクトリ１５２、ディレクトリ管理装置１
５３の構成を示すブロック図である。

【図７】ディレクトリ１５２のデータ構造を説明する図
である。

【図８】アクセスエミュレーション装置の構成を示すブ
ロック図である。

【図９】コンセントレータ６００の構成を示すブロック
図である。

【図１０】ノード内のメモリに対してリードアクセスが
発生した場合の動作を説明する図である。

【図１１】ノード内のメモリに対してリードアクセスが
発生した場合の動作を説明する図である。

【図１２】本実施形態のキャッシュ管理装置によるキャ
ッシュ管理動作を説明するフローチャートである。

【図１３】本実施形態のキャッシュ管理装置によるキャ
ッシュ管理動作を説明するフローチャートである。

【図１４】第２の実施形態によるディレクトリの構造を
示す図である。

【図１５】本発明に関わるプログラムの構造的特徴とを
表す図である。

【図１６】本発明に関わるプログラムの構造的特徴とを
表す図である。

【符号の説明】

１００，２００，３００，４００，５００ノード１１０，１２０，２１０，２２０，３１０，３２０，４
１０，４２０，５１０，５２０ＣＰＵ１３０，２３０，３３０，４３０，５３０メインメモ
リ１４０，２４０，３４０，４４０，５４０光通信装置１５０，２５０，３５０，４５０，５５０キャッシュ
管理装置１６０，２６０，３６０，４６０，５６０アービトレ
ーション回線１７０，２７０，３７０，４７０，５７０データ回線６００コンセントレータ６１０光バスアービタ６２０スターカプラ１５１バス監視装置１５２ディレクトリ１５３ディレクトリ管理装置１５４通信管理装置１５５アクセスエミュレーション装置

Claims

【特許請求の範囲】

【請求項１】複数のプロセッサを有する情報処理装置
であって、前記複数のプロセッサ間において相互に情報の通信を行
う通信手段と、前記複数のプロセッサのいずれに情報を配送するかを示
す配送先情報を保持する保持手段と、前記保持手段に前記配送情報が保持されていない場合、
前記通信手段を介して前記複数のプロセッサの全てに対
して情報の配送を行う第１配送手段と、前記保持手段に配送情報が保持されている場合、前記通
信手段を介して、該配送情報で指定されるプロセッサに
情報の配送を行う第２配送手段と、前記第１及び第２配送手段による情報の配送の結果に基
づいて、前記保持手段への配送情報の登録もしくは前記
保持手段に保持されている前記配送情報の更新を行う更
新手段とを備えることを特徴とする情報処理装置。
【請求項２】前記配送情報は、前記複数のプロセッサ
の全てについて、情報配送の要否を登録してあることを
特徴とする請求項１に記載の情報処理装置。
【請求項３】前記配送情報は、前記複数のプロセッサ
のうちの所定数のプロセッサを含むグループを指定する
グループ情報と、該グループ情報で指定されるグループ
に含まれるプロセッサの各々について情報配送の要否を
示す情報とで構成されることを特徴とする請求項１に記
載の情報処理装置。
【請求項４】前記第１配送手段及び第２配送手段によ
って配送される情報は、前記複数のプロセッサによって
分散共有されたメモリのキャッシュメンテナンスのため
の情報であることを特徴とする請求項１乃至３のいずれ
かに記載の情報処理装置。
【請求項５】複数のノードによって構成され、分散共
有メモリを実現する情報処理システムを構成するための
ノードとして適用可能な情報処理装置であって、外部のノードとの通信を行う通信手段と、情報の配送先となるノードを示す配送情報を保持する保
持手段と、前記保持手段に前記配送情報が保持されていない場合、
前記通信手段を介して前記複数のノードの全てに対して
情報の配送を行う第１配送手段と、前記第１配送手段による情報の配送の結果に基づいて、
前記保持手段への配送情報を登録する登録手段と、前記保持手段に配送情報が保持されている場合、前記通
信手段を介して、該配送情報で指定されるノードに情報
の配送を行う第２配送手段とを備えることを特徴とする
情報処理装置。
【請求項６】前記第２配送手段による情報の配送の結
果に基づいて、前記保持手段に保持されている前記配送
情報の更新を行う更新手段を更に備えることを特徴とす
る請求項５に記載の情報処理装置。
【請求項７】前記保持手段は、システム内でキャッシ
ュされている自ノード内のメモリに関して、キャッシン
グ単位でキャッシュメンテナンスのための情報の配送先
を配送情報として保持することを特徴とする請求項５に
記載の情報処理装置。
【請求項８】前記配送情報は、前記複数のプロセッサ
の全てについて、情報配送の要否を登録してあることを
特徴とする請求項５乃至７のいずれかに記載の情報処理
装置。
【請求項９】前記配送情報は、前記複数のプロセッサ
のうちの所定数のプロセッサを含むグループを指定する
グループ情報と、該グループ情報で指定されるグループ
に含まれるプロセッサの各々について情報配送の要否を
示す情報とで構成されることを特徴とする請求項５乃至
７のいずれかに記載の情報処理装置。
【請求項１０】複数のノードで構成され、複数のノー
ド間で分散共有メモリを実現する情報処理システムであ
って、前記複数のノード間で通信を行う通信手段と、情報の配送先となるノードを示す配送情報を保持する保
持手段と、前記保持手段に前記配送情報が保持されていない場合、
前記通信手段を介して前記複数のノードの全てに対して
情報の配送を行う第１配送手段と、前記第１配送手段による情報の配送の結果に基づいて、
前記保持手段への配送情報を登録する登録手段と、前記保持手段に配送情報が保持されている場合、前記通
信手段を介して、該配送情報で指定されるノードに情報
の配送を行う第２配送手段とを備えることを特徴とする
情報処理システム。
【請求項１１】前記第２配送手段による情報の配送の
結果に基づいて、前記保持手段に保持されている前記配
送情報の更新を行う更新手段を更に備えることを特徴と
する請求項１０に記載の情報処理システム。
【請求項１２】前記保持手段は前記複数の各ノード毎
に備わっており、前記複数のノードの少なくとも１つで
キャッシュされている自ノード内のメモリに関して、キ
ャッシング単位でキャッシュメンテナンスのための情報
の配送先を配送情報として保持することを特徴とする請
求項１１に記載の情報処理システム。
【請求項１３】各ノードにおいて、前記第１及び第２
配送手段によってキャッシュメンテナンス情報が配送さ
れた場合に、当該キャッシュメンテナンスの対象となる
メモリブロックをキャッシュしているか否かを示す情報
を出力する応答手段を更に備えることを特徴とする請求
項１２に記載の情報処理システム。
【請求項１４】前記登録手段及び前記更新手段は、前
記応答手段によって各ノードより出力された情報を参照
して、前記メモリブロックをキャッシュしているノード
に対して情報が配送されるように配送情報を登録、更新
することを特徴とする請求項１３に記載の情報処理シス
テム。
【請求項１５】前記配送情報は、前記複数のプロセッ
サの全てについて、情報配送の要否を登録してあること
を特徴とする請求項１０乃至１４のいずれかに記載の情
報処理システム。
【請求項１６】前記配送情報は、前記複数のプロセッ
サのうちの所定数のプロセッサを含むグループを指定す
るグループ情報と、該グループ情報で指定されるグルー
プに含まれるプロセッサの各々について情報配送の要否
を示す情報とで構成されることを特徴とする請求項１０
乃至１４のいずれかに記載の情報処理システム。
【請求項１７】前記第１及び第２配送手段は、情報の
配送要求を発行し、前記通信手段は、前記複数のノード
と直接的に接続してノード間の通信の調停を行うととも
に、各ノードより受信した配送要求に基づいてマルチキ
ャストを実行する調停手段を有することを特徴とする請
求項１０乃至１６のいずれかに記載の情報処理システ
ム。
【請求項１８】複数のプロセッサと通信可能に接続さ
れる情報処理装置の制御方法であって、前記複数のプロセッサのいずれに情報を配送するかを示
す配送情報が記憶手段に保持されていない場合、前記複
数のプロセッサの全てに対して情報の配送を行う第１配
送工程と、前記記憶手段に前記配送情報が保持されている場合、該
配送情報で指定されるプロセッサに情報の配送を行う第
２配送工程と、前記第１及び第２配送工程による情報の配送の結果に基
づいて、前記記録手段への配送情報の登録もしくは前記
記憶手段に保持されている前記配送情報の更新を行う更
新工程とを備えることを特徴とする情報処理装置の制御
方法。
【請求項１９】複数のノードと通信可能に接続され、
分散共有メモリを実現する情報処理システムのノードに
適用可能な情報処理装置の制御方法であって、情報の配送先となるノードを示す配送情報が記憶手段に
保持されていない場合、前記複数のノードの全てに対し
て情報の配送を行う第１配送工程と、前記第１配送工程による情報の配送の結果に基づいて、
前記記憶手段への配送情報を登録する登録工程と、前記記憶手段に配送情報が保持されている場合、該配送
情報で指定されるノードに情報の配送を行う第２配送工
程とを備えることを特徴とする情報処理装置の制御方
法。
【請求項２０】前記第２配送工程による情報の配送の
結果に基づいて、前記記憶手段に保持されている前記配
送情報の更新を行う更新工程を更に備えることを特徴と
する請求項１７に記載の情報処理装置の制御方法。
【請求項２１】複数のプロセッサを通信可能に接続す
る情報処理装置において、情報の配送を行うためのプロ
グラムコードを格納したコンピュータ可読メモリであっ
て前記複数のプロセッサのいずれに情報を配送するかを
示す配送情報が記憶手段に保持されていない場合、該複
数のプロセッサの全てに対して情報の配送を行う第１配
送工程のコードと、前記記憶手段に配送情報が保持されている場合、該配送
情報で指定されるプロセッサに情報の配送を行う第２配
送工程のコードと、前記第１及び第２配送工程による情報の配送の結果に基
づいて、前記記憶手段への配送情報の登録もしくは前記
記憶手段に保持されている前記配送情報の更新を行う更
新工程のコードとを備えることを特徴とするコンピュー
タ可読メモリ。
【請求項２２】相互に通信可能な複数のノードを含
み、分散共有メモリを実現する情報処理システムを構成
するためのノードに適用可能な情報処理装置を制御する
プログラムコードを格納したコンピュータ可読メモリで
あって、情報の配送先となるノードを示す配送情報が前記記憶手
段に保持されていない場合、前記複数のノードの全てに
対して情報の配送を行う第１配送工程のコードと、前記第１配送工程による情報の配送の結果に基づいて、
前記記憶手段へ配送情報を登録する登録工程のコード
と、前記記憶手段に配送情報が保持されている場合、該配送
情報で指定されるノードに情報の配送を行う第２配送工
程のコードとを備えることを特徴とするコンピュータ可
読メモリ。
【請求項２３】前記第２配送工程による情報の配送の
結果に基づいて、前記記憶手段に保持されている前記配
送情報の更新を行う更新工程のコードを更に備えること
を特徴とする請求項２１に記載のコンピュータ可読メモ
リ。