JP3410535B2 - 並列計算機 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数のキャッシュメモ
リおよび共有メモリを有し、該共有メモリにディレクト
リを備える並列計算機に関する。

【０００２】

【従来の技術】計算機性能の向上のため、多数台のプロ
セッサを並列動作させる並列計算機が有望視されてい
る。並列計算機ではプロセッサ間の通信手段が必要とな
る。通信手段としては、ネットワークを介してメッセー
ジを交換するメッセージパッシング方式と、各プロセッ
サよりアクセスできる共有メモリ領域を用意する共有メ
モリ方式とがある。メッセージパッシング方式における
メッセージの交換は、一般にオペレーティングシステム
を起動することで実現する。オペレーティングシステム
の起動は、特に短いメッセージの通信において、非常に
重いオーバヘッドとなる。これに対し、共有メモリを用
いる方法では、オペレーティングシステムを起動するこ
となく通信が実現する。このため、共有メモリ方式は、
通信におけるプロセッサの負担を軽減できる。

【０００３】大規模並列計算機の共有メモリ方式とし
て、共有メモリを分割・分散させて用意する、分散型共
有メモリ方式が有効である。共有メモリを分散させるこ
とで、複数のプロセッサによる共有メモリの同時アクセ
スが可能になり、高度な並列性を持つ処理が実現する。
分散共有メモリ方式としては、 （Ａ）プロセッサを持つ構成要素と、一部の共有メモリ
を持つ構成要素とを、ネットワークで結合する、均質な
分散型共有メモリシステム （Ｂ）プロセッサと一部の共有メモリとを持つ構成要素
を、ネットワークで結合する、不均質な分散型共有メモ
リシステム とが知られている。均質（アクセス時間にバラツキのな
い）な分散型共有メモリシステムとしては、特開平５−
１２８０７１などが、不均質（アクセス時間にバラツキ
のある）な分散型共有メモリシステムとしては、特開平
５−８９０５６などがある。これらの方式では、プロセ
ッサが共有メモリをアクセスする場合、均質な分散型共
有メモリ方式では毎回、不均質な分散型共有メモリシス
テムでも高い確率で、ネットワークを介してデータ転送
することになる。近年のプロセッサの処理速度の向上
は、ネットワーク速度の向上と比べ著しい。このため、
ネットワークを介するアクセスでは、遅延時間が大きな
問題になる。

【０００４】各プロセッサの共有メモリアクセスの高速
化手段として、キャッシュメモリを各プロセッサに用意
する方式が有効である。キャッシュメモリは、共有メモ
リの一部の内容を登録する、高速なバッファである。キ
ャッシュメモリを用意した共有メモリ型並列計算機で
は、同一データを複数のプロセッサがそれぞれのキャッ
シュメモリに登録するケースが発生する。この場合、各
プロセッサのキャッシュメモリ内容の一致を保証する手
段が必要となる。バスで結合された並列計算機では、ス
ヌーピング手法を利用することで、キャッシュメモリの
内容の一致を保証する。しかし、ネットワークを用いた
分散型共有メモリシステムでは、スヌーピング手法は利
用が困難である。スヌーピング手法が必要とする、一致
管理の情報を全てのプロセッサに通達する通信のオーバ
ヘッドが、ネットワークでは非常に大きくなるためであ
る。分散型共有メモリシステムでキャッシュメモリの一
致を保証する手段として、特開平４−３２８６５３で
は、アドレス／コマンド用にバスを、データ用にネット
ワークを設ける方式を開示する。この方法では、アドレ
ス／コマンド送信は並列処理が不可能であり、高並列な
処理は実現困難である。

【０００５】並列性を高めた一致管理として、「Ｔｈｅ
Ｓｔａｎｆｏｒｄ Ｄａｓｈ Ｍｕｌｔｉｐｒｏｃｅ
ｓｓｏｒ，ＩＥＥＥ Ｃｏｍｐｕｔｅｒ，Ｍａｒｃｈ
１９９２ ｐｐ．６３〜７８」では、ディレクトリ方式
が開示される。ディレクトリ方式では、共有メモリから
キャッシュメモリに登録する単位であるラインごとに、
そのラインをキャッシュメモリに登録しているプロセッ
サを記憶するディレクトリを用意する。また、分散され
た共有メモリごとに、ディレクトリを制御するディレク
トリ制御回路とを用意する。あるラインを１つまたはそ
れ以上のプロセッサがキャッシュメモリに登録した場
合、ディレクトリ制御回路は、そのラインに用意される
ディレクトリに、そのプロセッサ全てをディレクトリに
登録する。また、あるプロセッサがあるラインの内容を
更新する場合には、ディレクトリ制御回路が更新するラ
インのディレクトリを調べ、そのラインをキャッシュメ
モリに登録しているプロセッサ（更新する主体のプロセ
ッサ以外）を特定する。さらディレクトリ制御回路は、
特定されたプロセッサのキャッシュメモリに対しては、
ネットワークを通じ、 （Ａ）そのキャッシュメモリより、更新するラインの情
報を、（必要な場合には共有メモリに書き戻した後に）
抹消する （Ｂ）そのキャッシュメモリの情報も更新する のどちらかの処理を命令する。以上の管理を行なうこと
により、全てのキャッシュメモリにおいて、同一ライン
については同一の情報が登録されることになる。

【０００６】ディレクトリ方式には、フルマップ方式と
リミテッドポインタ方式がある。フルマップ方式は、１
ビットと１プロセッサとが対応するビットマップで、デ
ィレクトリを構成する方式である。リミテッドポインタ
方式は、プロセッサＩＤがいくつか記憶できる有限長ポ
インタ配列で、ディレクトリを構成する方式である。リ
ミテッドポインタ方式は、同じラインを同時にキャッシ
ュメモリに登録しているプロセッサ数は一般に少ない、
という特性を利用する。フルマップ方式で発生するディ
レクトリの冗長性（ディレクトリのほとんどのビットが
０となる）が、リミテッドポインタ方式では削減され
る。これにより、ディレクトリ容量を小さくすることが
可能である。リミテッドポインタ方式では、あるライン
のディレクトリが溢れる場合には、リプレース処理など
の対策が必要になる。リプレース処理とは、ディレクト
リに既に記憶されているプロセッサの１つが、そのライ
ンをキャッシュから共有メモリに書き戻した後に、その
プロセッサをディレクトリより抹消し、新たなプロセッ
サを登録する処理である。「Ｔｈｅ Ｓｔａｎｆｏｒｄ
Ｄａｓｈ Ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ，ＩＥＥＥ
Ｃｏｍｐｕｔｅｒ，Ｍａｒｃｈ １９９２ ｐｐ．６
３〜７８」ではフルマップ方式が用いられており、特開
平５−１２８０７１ではリミテッドポインタ方式が用い
られている。

【０００７】

【発明が解決しようとする課題】上記のディレクトリ方
式を用いて、分散型共有メモリを持つ大規模並列計算機
を構成すると、極めて大きなディレクトリ容量が必要と
なる。例として、４０９６台のプロセッサがネットワー
クで結合されている並列計算機で、フルマップ方式のデ
ィレクトリを用意する場合を説明する。ページおよびラ
インの大きさは、１ページ６４ライン、１ライン５１２
ビット（１ページ４Ｋバイト）とする。フルマップ方式
では、各ラインに４０９６ビット＝５１２バイトのディ
レクトリが必要になり、共有メモリ１ページごとに必要
なディレクトリ容量は、５１２バイト×６４ライン＝３
２Ｋバイトとなる。つまり、共有メモリ容量の８倍の容
量を持つディレクトリが必要となり、実用性に欠ける。
同じ並列計算機で、リミテッドポインタ方式を用意する
場合を説明する。一つのラインのディレクトリに１６プ
ロセッサまで登録可能とすると、各記憶場合には、共有
メモリの１ページごとに必要なディレクトリ容量は、
（１２＋１）／８バイト×１６ポインタ×６４ライン＝
１６６４バイトとなる（４０９６台の場合のラインディ
レクトリの１ポインタには、各プロセッサ番号を表すた
めには１２ビット必要である。また、各ポインタには、
そのポインタが使用されているかどうかを示すＶａｌｉ
ｄビットが１ビット必要である）。リミテッドポインタ
ディレクトリ方式では、ディレクトリの容量は共有メモ
リ容量の約２／５となりフルマップ方式より大幅に軽減
されるものの、まだ相当大きい。以上に示した通り、フ
ルマップ方式は、大規模の並列計算機では実用性に欠け
る容量のディレクトリを必要とする。リミテッド方式で
も、ディレクトリの容量は無視できない大きさになる。
本発明の目的は、ディレクトリ容量の小さい、ディレク
トリ方式の分散型共有メモリを持つ大規模並列計算機を
実現することにある。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、本発明は、複数のプロセッサと該各プロセッサがア
クセスできる複数の分散型の共有メモリを備え、前記各
プロセッサは共有メモリのデータをライン単位で登録す
るキャッシュメモリを備える並列計算機において、前記
共有メモリは、該共有メモリの各ページごとに用意さ
れ、該ページの一部または全てのラインをキャッシュメ
モリに登録したプロセッサを記憶するページディレクト
リと、共有メモリの各ラインごとに用意され、該ライン
をキャッシュメモリに登録したプロセッサのページディ
レクトリ上での位置をビットマップ形式で記憶するライ
ンディレクトリとを備えるようにしている。また、前記
ラインディレクトリは、共有メモリの各ラインごとに用
意され、該ラインをキャッシュメモリに登録したプロセ
ッサのページディレクトリ上での位置をポインタ形式で
記憶するようにしている。また、前記複数の共有メモリ
と前記複数のプロセッサとをネットワークで接続するよ
うにしている。また、前記共有メモリと前記プロセッサ
とによりノードを構成し、複数の前記ノードをネットワ
ークで接続するようにしている。また、前記ページディ
レクトリ毎に、該ページディレクトリに記憶されている
プロセッサのうち、記憶された時間が最も早いプロセッ
サを指示するページディレクトリポインタを備えるよう
にしている。また、前記ページディレクトリに記憶され
ている各プロセッサ対応に、該ページディレクトリから
のプロセッサの記憶抹消の可否を表すロックビットを備
えるようにしている。

【０００９】

【作用】本発明によれば、共有メモリにページディレク
トリとラインディレクトリを備えたことにより、ライン
ディレクトリに必要となる容量を大幅に低減することが
でき、これにより、ディレクトリ全体に必要な容量の大
幅な低減を達成することができる。

【００１０】

【実施例】図１〜図６に本発明の１実施例を示す。ま
た、図９に、本実施例によるページディレクトリ７０、
ラインディレクトリ９０の内容の１例を示す。最初に、
図７〜図９により、本実施例の概要を説明する。８台の
プロセッサＩ〜ＶＩＩＩが、それぞれ共有メモリから６
ラインだけ登録できるキャッシュメモリ２０−０〜７を
持つ場合の、キャッシュメモリの内容の例を図７に示
す。各プロセッサのキャッシュメモリ２０が図７に示す
登録状況である時、本実施例に示す方式で、各ラインが
登録されているプロセッサを記憶した場合の、ページデ
ィレクトリ７０およびラインディレクトリ９０を図９に
示す。ただし、ライン０〜７の８本で共有メモリ１ペー
ジとし、そのページのページディレクトリ７０、ライン
０〜７に対応するラインディレクトリ９０−０〜７の内
容のみ示す。

【００１１】ライン０〜７を記憶しているプロセッサ
は、プロセッサＩ、ＩＩ、ＩＩＩ、ＶＩであるため、ペ
ージディレクトリ７０のポインタ９４にはプロセッサ
Ｉ、ＩＩ、ＩＩＩ、ＶＩの４つのプロセッサＩＤを記憶
する。さらに、各ラインに、ラインディレクトリ９０−
０〜７を用意する。ラインディレクトリ９０−０〜７
は、そのラインをキャッシュメモリ２０−０〜７に登録
しているプロセッサが、ページディレクトリ７０に記憶
されているプロセッサのうち、どのプロセッサであるか
をビットマップ形式で記憶する。本例では、ページディ
レクトリ７０に記憶されるプロセッサ４つに対応した４
ビットのビットマップで、ラインディレクトリ９０−０
〜７を構成している。例えば、ライン０に用意されたラ
インディレクトリ９０−０が全て１であれば、ページデ
ィレクトリに記憶されているすべてのプロセッサＩ、Ｉ
Ｉ、ＩＩＩ、ＶＩがライン０をキャッシュに登録してい
ることを意味する。なお、ラインディレクトリ９０−０
〜７は、ポインタ形式、すなわちポインタ列で構成する
ことも可能である。この場合、各ポインタは、ページデ
ィレクトリ７０中のプロセッサ登録位置を示すことにな
る。例えば、図９の場合ページディレクトリには４つの
プロセッサＩＤが登録されているが、その登録位置にそ
れぞれポインタ００、０１、１０、１１を与え、ライン
ディレクトリにはこのポインタを格納するようにする。
ページディレクトリ７０のポインタ９４のそれぞれに
は、そのポインタの使用／未使用を示すフラグを用意し
ても、用意しなくてもよい。用意しない場合には、ペー
ジディレクトリが記憶するプロセッサは常に定数個とな
る。この場合、ページディレクトリ７０には記憶されて
いるが、対応するラインディレクトリ９０−０〜７のビ
ットが全て０のプロセッサが有り得る。

【００１２】リミテッドポインタ方式のディレクトリ
で、図７に示す登録状況を記憶した場合の、ライン０〜
７に用意されたディレクトリ９２−０〜７の内容を図８
に示す。各ラインに用意されたディレクトリ９２−０〜
７のポインタ９４は、そのラインをキャッシュメモリ２
０−０〜７に登録しているプロセッサのＩＤをそのまま
記憶する。例えば、ライン０は、プロセッサＩ、ＩＩ、
ＩＩＩ、ＶＩの４つのキャッシュメモリ２０−０〜７に
登録されているため、ディレクトリ９２−０には、プロ
セッサＩ、ＩＩ、ＩＩＩ、ＶＩの４つのプロセッサＩＤ
が記憶されている。なお、各ポインタ９４は、使用／未
使用を表すＶａｌｉｄフラグ９６が必要である。

【００１３】一般に、あるラインをキャッシュメモリに
登録するプロセッサは、近接するラインもキャッシュメ
モリに登録する確率が高い。これは、ループ構造をもつ
プログラムでは、連続した領域を処理することが多いこ
とによる（一般的には、連続する領域を処理するよう
に、プログラムを最適化する）。例えば、図７のプロセ
ッサＶのキャッシュメモリ２０−４のように、連続する
ラインがキャッシュメモリに登録される確率は高い。上
記の特性がある場合、リミテッドポインタ方式では、近
接するディレクトリに同じプロセッサのＩＤが繰り返し
登録されることになる。この場合、ディレクトリのもつ
情報に冗長性が発生する。例えば、図８の８本のディレ
クトリ９２−０〜７には、のべ２２個のプロセッサＩＤ
が記憶されているが、記憶されているのはプロセッサ
Ｉ、ＩＩ、ＩＩＩ、ＶＩの４つだけである。本実施例の
方式では、この冗長性を利用して、ディレクトリの容量
を削減する。図８、９の例で、それぞれに必要なディレ
クトリの容量を計算する。プロセッサは全８個であるか
ら、ポインタ９４は３ビット必要である。リミテッドポ
インタ方式では、Ｖａｌｉｄビット９６も含めて、全部
で（３＋１）ビット×４ポインタ×８ライン＝１２８ビ
ットのディレクトリ容量が必要になる。これに対し、本
実施例の方式では、ページディレクトリ７０に３ビット
×４ポインタ＝１２ビット、ラインディレクトリ９０−
０〜８に４ビット×８ライン＝３２ビット、合計４４ビ
ットで済み、リミテッドポインタ方式に比べ、約１／３
の容量で済む。更に、４０９６台のプロセッサがネット
ワークで結合されている並列計算機で、本実施方式で必
要とされるディレクトリ容量を計算する。前記のフルマ
ップ方式およびリミテッドポインタ方式でディレクトリ
の容量を計算した際と同様に、ページおよびラインの大
きさは、１ページ６４ライン、１ライン５１２ビット
（１ページ４Ｋバイト）とする。各ページのページディ
レクトリに登録できるプロセッサ数を１６とした場合、
１２／８バイト×１６ポインタ＋１６／８バイト×６４
ライン＝１５２バイトとなる。また、各ページのページ
ディレクトリに登録できるプロセッサ数を６４とした場
合にも、１２／８バイト×６４ポインタ＋６４／８バイ
ト×６４ライン＝６０８バイトで済む。これは、同条件
におけるフルマップ方式の３２Ｋバイト、リミテッドポ
インタ方式の１６６４バイトに比べると、ディレクトリ
容量が低減されている。

【００１４】本実施例においては、ページディレクトリ
が全て使用されていて、かつさらに新たなプロセッサを
ページディレクトリに記憶する必要が生じた場合の処理
が問題となる。この処理の概要を、図１を用いて説明す
る。本実施例では、ページディレクトリ７０が全て使用
されていて、かつさらに新たなプロセッサをページディ
レクトリ７０に記憶する必要が生じた場合には、ページ
ディレクトリ７０に記憶されているプロセッサのうち、
最も記憶された時間が早いプロセッサを指すページディ
レクトリポインタ８０により指されるプロセッサに対し
て、メッセージ解釈／実行部５０がリプレース処理を要
求する。例えば，ページディレクトリ７０に既に記憶さ
れているプロセッサ１５について、プロセッサ２１５へ
のリプレース処理を行なう場合、メッセージ解釈／実行
部５０は、プロセッサ１５に、ページディレクトリ７０
の所属する共有メモリ４５のページから、キャッシュメ
モリ２０に登録されているラインを全て共有メモリ４５
に書き戻すよう要求し、プロセッサ１５をラインディレ
クトリ９０およびページディレクトリ７０より消去する
ことで、ディレクトリを空けた後に、新しいプロセッサ
２１５をページディレクトリ７０に記憶する。ページデ
ィレクトリポインタ８０は、リプレース処理ごとにイン
クリメント（またはディクリメント）することで、最も
記憶された時間が早いプロセッサを常に指すことができ
る。さらに、ページディレクトリ７０に記憶されている
プロセッサそれぞれについて、記憶抹消の可否を表すロ
ックビット７５を持たせることで、記憶抹消を避けたい
プロセッサのリプレースを禁止することができる。この
場合、リプレース処理の必要が生じた場合には、ページ
ディレクトリポインタ８０がロックビット７５によりリ
プレースが禁止されていないプロセッサを指すまで、ペ
ージディレクトリポインタ８０をインクリメント（また
はディクリメント）する。ページディレクトリポインタ
８０およびロックビット７５により、リプレース処理の
頻発を避け、リプレース処理の時間コストを低減でき
る。

【００１５】図１〜図６を用いて、本実施例の詳細を説
明する。図１はシステムユニット０、２００、１０００
を持つ、分散型共有メモリ方式の並列計算機である。各
システムユニットは、プロセッサノード１０、２１０、
１０１０、メモリノード４０、２４０、１０４０より構
成される。本実施例は、全てのプロセッサユノード１
０、２１０、１０１０と、メモリユノード４０、２４
０、１０４０との間を、ネットワーク１５００で接続し
た、均質な分散型共有メモリである。同一システムユニ
ット０内のプロセッサノード１０とメモリノード４０、
システムユニット２００内のプロセッサノード２１０と
メモリノード２４０、システムユニット１０００内のプ
ロセッサノード１０１０とメモリノード１０４０間の接
続には、ネットワーク１５００を利用せずに、別に用意
した結合方法を利用する、不均質な分散型共有メモリに
おいても、本実施例は、適応できる。また、本実施例で
は、常に、ページディレクトリ７０が全て使用されてい
る状態で動作させる。この場合、ページディレクトリ７
０へ新たにプロセッサ１５、２１５、１０１５を記憶さ
せる場合、必ずリプレース処理が必要になる。

【００１６】システムユニット０についてのみ、プロセ
ッサノード１０およびメモリノード４０の構成を述べ
る。他のシステムユニット２００、１０００もシステム
ユニット０と同じ構成である。プロセッサノード１０
は、プロセッサ１５、キャッシュメモリ２０、プロセッ
サネットワーク接続回路２５、メッセージ組立回路３
０、メッセージ分解回路３５より構成される。プロセッ
サネットワーク接続回路２５は、プロセッサ１５の共有
メモリ４５、２４５、１０４５に対する要求が、どのメ
モリノード４０、２４０、１０４０に対する要求である
かを判別するための分散メモリマップ２７を持ち、また
プロセッサ０とメッセージ組立回路３０、メッセージ分
解回路３５とを接続する機能とを持つ。メッセージ組立
回路３０は、プロセッサネットワーク接続回路２５から
のネットワーク１５００に対するメモリノード番号、ア
ドレス、データおよびコマンドに対し、メッセージパケ
ットを生成して、ネットワーク１５００に送る機能を持
つ。メッセージ分解回路３５は、ネットワークからのメ
ッセージパケットを、アドレス、データおよびコマンド
に分解して、プロセッサネットワーク接続回路２５に送
る機能をもつ。

【００１７】メモリノード４０は、共有メモリ４５、ぺ
ージディレクトリ７０、ロックビット７５、ページディ
レクトリポインタ８０、ラインディレクトリ９０、ペー
ジディレクトリ制御回路６５、ラインディレクトリ制御
回路８５、メッセージ組立回路５５、メッセージ分解回
路６０より構成される。メッセージ解釈／実行部５０
は、プロセッサ１５、２１５、１０１５の要求に対し、
ページディレクトリ７０、ロックビット７５、ページデ
ィレクトリポインタ８０にアドレス線１７３を介してペ
ージ番号を送るほか、ページディレクトリ制御回路６
５、ラインディレクトリ制御回路８５にアドレス情報、
データ、制御信号を送り、ページディレクトリ７０、ラ
インディレクトリ９０の書き込み、または読み出しを行
う。また、共有メモリ４５の書き込み、読み出しを行
う。本実施例では、メッセージ解釈／実行部５０を、内
部にプロセッサ、メモリ、およびＩ／Ｏを持つ制御シス
テムとするが、回路で構成することも可能である。ペー
ジディレクトリ制御回路６５は、メッセージ解釈／実行
部５０からの制御信号により、ページディレクトリ７
０、ロックビット７５、ページディレクトリポインタ８
０を操作する回路である。ラインディレクトリ制御回路
８５は、メッセージ解釈／実行部５０からの制御信号に
より、ラインディレクトリ９０を操作する回路である。

【００１８】図２にページディレクトリ制御回路６５の
構成を示す。ここでは、ページディレクトリ７０に各ペ
ージごとに登録できるプロセッサ数を、ｍとしている。
プロセッサ番号レジスタ１０１には、メッセージ解釈／
実行部５０よりデータ線１５７で送られてきたプロセッ
サ番号が入る。プロセッサ番号レジスタ１１０〜１１４
には、データ線１７０より送られてきた、ページディレ
クトリ７０に記憶されているプロセッサ番号が入る。プ
ロセッサ番号レジスタ１１０〜１１４の数はｍである。
比較器１０５〜１０９は、プロセッサ番号レジスタ１０
１とプロセッサ番号レジスタ１１０〜１１４のプロセッ
サ番号を比較し、一致判定結果を、ビット演算器１２
０、およびデータ線１６０を介してラインディレクトリ
制御回路８５のビット演算器１８０に送る回路である。
比較結果が全て不一致の場合には、データ線１４５によ
り、メッセージ解釈／実行部５０へ不一致が出力され
る。マルチプレクサ１１７は、プロセッサ番号レジスタ
１１０〜１１４に記憶されているプロセッサ番号のう
ち、セレクタ１１８からの信号により決定される１つ
を、メッセージ解釈／実行部５０に出力する回路であ
る。デマルチプレクサ１１９は、メッセージ解釈／実行
部５０からの制御信号１５０に応じて、プロセッサ番号
レジスタ１０１に記憶されているプロセッサ番号を、プ
ロセッサ番号レジスタ１１０〜１１４のうちポインタ情
報レジスタ１２２により示される１つのレジスタへ出力
する回路である。ロック情報レジスタ１２１には、デー
タ線１７１より送られてきた、ロックビット７５の１ペ
ージ分のロック情報が入る。ビット演算器１２０は、ロ
ック情報レジスタ１２１の内容を、メッセージ解釈／実
行部５０からの制御信号１５１に応じてセット、制御信
号１５２に応じてリセットする回路である。ロック情報
レジスタ１２１のどのビットをセット／リセットするか
は、比較器１０５〜１０９からの一致信号により決定さ
れる。また、ビット演算器１２０は、メッセージ解釈／
実行部５０からの制御信号１５３に応じて、ロック情報
レジスタ１２１のビットが０か１かをテストし、結果を
データ線１４６を介してメッセージ解釈／実行部５０へ
送る機能を持つ。テストするビットは、ポインタ情報レ
ジスタ１２２からのデータにより決定される。ポインタ
情報レジスタ１２２には、データ線１７２から送られて
きた、ディレクトリページポインタ８０の１ページ分の
情報が入る。ポインタレジスタの内容は、データ線１６
１を介して、ラインディレクトリ制御回路８５のビット
演算器１８０にも出力される。インクリメント回路１２
３は、ポインタ情報レジスタ１２２の内容を、メッセー
ジ解釈／実行部５０からの制御信号１５６に応じて、イ
ンクリメントする回路である。プライオリティエンコー
ダは、ラインディレクトリ制御回路８５からデータ線１
６５で送られてきたライン情報レジスタ１７９の内容を
エンコードする回路である。エンコードした結果が複数
になる場合には、一定の方法もしくはランダムな方法に
より、一つを選んでセレクタ１１８に出力する。メッセ
ージ解釈／実行部５０からの制御線１５５により、エン
コードした複数の結果を順にセレクタ１１８に出力する
機能も持つ。セレクタ１１８は、メッセージ解釈／実行
部５０からの制御信号１５４に応じて、マルチプレクサ
１１７に出力する信号を、ポインタ情報レジスタ１２２
の内容か、プライオリティエンコーダ１２４の内容かに
切り換える回路である。

【００１９】図３に、ラインディレクトリ制御回路９０
の構成を示す。ライン番号発生器１７５は、メッセージ
解釈／実行部５０からの制御線１８８に応じて、全ての
ライン番号を順々に発生させる回路である。発生させた
ライン番号は、セレクタ１７６に出力される。ライン番
号発生器１７５は、ビット演算器１８０にテスト要求も
出力する。セレクタ１７６は、メッセージ解釈／実行部
５０からの制御線１８７に応じて、ライン番号発生器１
７５の出力するライン番号、もしくはアドレス線１８５
より得られるメッセージ解釈／実行部５０からのライン
番号のどちらかを出力する回路である。ミキサ１７８
は、メッセージ解釈／実行部５０よりアドレス線１８６
で送られてきた、ページ番号と、セレクタ１７６からの
ライン番号とを合成して、ラインディレクトリ９０のア
ドレス線１６０に結果を出力する回路である。ライン情
報レジスタ１７９には、データ線１９７から送られてき
た、ラインディレクトリ９０の１ライン分の情報が入
る。ライン情報レジスタ１７９の内容は、データ線１６
５より、ページディレクトリ制御回路６５のプライオリ
ティエンコーダ１５５に出力される。ビット演算器１８
０は、ライン情報レジスタ１８０の内容を、メッセージ
解釈／実行部５０からの制御信号１８９に応じてセッ
ト、制御信号１９０に応じてリセットする回路である。
ライン情報レジスタ１７９のどのビットをセット／リセ
ットするかは、ページディレクトリ制御回路６５の比較
器１０５〜１０９からの一致信号１６０により決定され
る。また、ビット演算器１８０は、ライン番号発生器１
７５からの制御信号に応じて、ライン情報レジスタ１７
９のビットが０か１かをテストし、結果をライン番号ラ
ッチ１７７に出力する機能を持つ。テストするビット
は、ページディレクトリ制御回路６５のポインタ情報レ
ジスタ１６１からのデータにより決定される。ライン番
号ラッチ１７７は、ビット演算器１８０のテスト結果が
真の場合に、セレクタ１７６の出力するライン番号をメ
ッセージ解釈／実行部５０に出力する回路である。

【００２０】以下に、本発明方式による、プロセッサ１
５によるロード、ストア、フラッシュ実行時のメモリ制
御機構の動作を説明する。プロセッサ１５は、ストアイ
ン型のキャッシュメモリ２０を持つとする。この中で、
ページディレクトリ制御回路６５、ラインディレクトリ
制御回路８５の動作が必要とされるページディレクトリ
チェック２０００、ページディレクトリ記憶２１００、
プロセッサ検索２２００、全プロセッサ検索２３００、
ラインディレクトリ記憶２４００、ラインディレクトリ
抹消２５００、ロックビットセット、ロックビットリセ
ットの詳細は、後に説明する。

【００２１】［１］プロセッサ１５が共有メモリ４５の
データをロードする場合 キャッシュメモリ２０に目的のデータを含むラインが登
録されている場合には、プロセッサ１５よりプロセッサ
ネットワーク接続回路２５へはロード要求は出力され
ず、動作は全て終了となる。キャッシュメモリ２０に目
的のデータを含むラインが登録されていない場合に、プ
ロセッサ１５よりプロセッサネットワーク接続回路２５
にロード要求が出力され、以下の動作を行う。プロセッ
サネットワーク接続回路２５において、分散メモリマッ
プ２７をチエックし、ロード要求は共有メモリ４５への
ロード要求と判断される。プロセッサネットワーク接続
回路２５は、メッセージ組立回路３０、ネットワーク１
５００、メッセージ分解回路６０を介して、メッセージ
解釈／実行部５０にロードコマンドを送付する。

【００２２】ロードコマンドに対するメッセージ解釈／
実行部５０の動作を図４に示し、以下に説明する。ロー
ドコマンドを受けたメッセージ解釈／実行部５０はペー
ジディレクトリチェック２０００を行い、プロセッサ１
５がページディレクトリ７０に記憶されているかを調べ
る。記憶されていなければ、ページディレクトリ記憶２
１００を行い、プロセッサ１５をページディレクトリ７
０に記憶させる。次に他のプロセッサ２１５、１０１５
が、そのラインをキャッシュメモリ２２０、１０２０に
登録していないかどうかプロセッサ検索２２００を行
う。その結果、例えばプロセッサ２１５のキャッシュメ
モリ２２０に登録されていれば、メッセージ解釈／実行
部５０は、メッセージ組立回路５５、ネットワーク１５
００、メッセージ分解回路２３５、プロセッサネットワ
ーク接続回路２２５を介して、プロセッサ２１５にライ
ンをプロセッサ１５へ転送するように依頼する。依頼さ
れたプロセッサ２１５は、キャッシュメモリ２２０より
ラインを読みだし、プロセッサネットワーク接続回路２
２５、メッセージ組立回路２３０、ネットワーク１５０
０、メッセージ分解回路３５、プロセッサネットワーク
接続回路２５を介して、プロセッサ１５へとラインを転
送する。ラインのキャッシュメモリ２２０、１０２０へ
の登録がない場合には、メッセージ解釈／実行部５０は
共有メモリ４５よりラインを読みだし、そのラインをメ
ッセージ組立回路５５、ネットワーク１５００、メッセ
ージ分解回路３５、プロセッサネットワーク接続回路２
５を介して、プロセッサ１５に送る。最後に、メッセー
ジ解釈／実行部５０は、ラインディレクトリ記憶２４０
０を実行し、プロセッサ１５をラインディレクトリ９０
に記憶させる。以上で、プロセッサ１５が共有メモリ４
５のデータをロードする場合の動作の説明を終了する。

【００２３】［２］プロセッサ１５が共有メモリ４５の
データにストアする場合 キャッシュメモリ２０にストアするデータを含むライン
が登録されていない場合、最初に上記データのロードと
同じ動作が行われる。目的のデータを含むラインがキャ
ッシュメモリ２０に登録された状態で、以下の動作が行
われる。プロセッサ１５は、ストアを実行する場合に、
他プロセッサ２１５、１０１５のキャッシュメモリ２２
０、１０２０に登録しているそのラインを無効化する要
求を、プロセッサネットワーク接続回路２５に出力す
る。プロセッサネットワーク接続回路２５は、分散メモ
リマップ２７をチェックすることで、ストアするデータ
が、元は共有メモリ４５のデータであることを判断し、
メッセージ組立回路３０、ネットワーク１５００、メッ
セージ分解回路６０を介し、インバリデートコマンドを
送る。インバリデートコマンドに対するメッセージ解釈
／実行部５０の動作を、図５に示し、以下に説明する。
インバリデートコマンドを受けたメッセージ解釈／実行
部５０は、そのラインをキャッシュメモリ２２０、１０
２０に登録している全プロセッサ番号を抽出するする全
プロセッサ検索２３００を行う。その結果、例えばプロ
セッサ１５、プロセッサ２１５、プロセッサ１０１５の
キャッシュメモリ２０、キャッシュメモリ２２０、キャ
ッシュメモリ１０２０に登録されていた場合、メッセー
ジ解釈／実行部５０は、インバリデート要求元であるプ
ロセッサ１５を除くプロセッサ２１５、プロセッサ１０
１５に、メッセージ組立回路５５、ネットワーク１５０
０、メッセージ分解回路２３５およびメッセージ分解回
路１０３５、プロセッサネットワーク接続回路２２５お
よびプロセッサネットワーク接続回路１０２５を介し
て、そのラインの無効化を要求する。プロセッサ２１５
およびプロセッサ１０１５は、そのラインをキャッシュ
メモリ２２０およびキャッシュメモリ１０２０から無効
化した後に、プロセッサネットワーク接続回路２２５お
よびプロセッサネットワーク接続回路１０２５、メッセ
ージ組立回路２３０およびメッセージ組立回路１０３
０、ネットワーク１５００、メッセージ分解回路６０を
介し、メッセージ解釈／実行部５０に無効化終了を通達
する。メッセージ解釈／実行部５０は、無効化終了を受
ける度に、無効化したプロセッサ２１５、またはプロセ
ッサ１０１５の記憶を、そのラインのラインディレクト
リ９０より抹消するラインディレクトリ抹消２５００を
行う。インバリデートコマンドを要求したプロセッサ１
５以外のプロセッサ２１５とプロセッサ１０１５の無効
化終了受理およびラインディレクトリ抹消２５００を終
了した後に、メッセージ解釈／実行部５０は、メッセー
ジ組立回路５５、ネットワーク１５００、メッセージ分
解回路３５、プロセッサネットワーク接続回路２５を介
して、プロセッサ１５にインバデーションコマンド終了
を通達する。以上で、プロセッサ１５が共有メモリ４５
のデータにストアする場合の動作の説明を終了する。

【００２４】［３］プロセッサ１５が共有メモリ４５に
ラインをフラッシュする場合 プロセッサ１５は、フラッシュ要求をプロセッサネット
ワーク接続回路２５に、フラッシュするラインとともに
出力する。プロセッサネットワーク接続回路２５は、分
散メモリマップ２７をチェックすることで、フラッシュ
するラインが、元は共有メモリ４５のラインであること
を判断し、メッセージ組立回路３０、ネットワーク１５
００、メッセージ分解回路６０を介し、ラインとともに
フラッシュコマンドを送る。フラッシュコマンドに対す
るメッセージ解釈／実行部５０の動作を、図６に示し、
以下に説明する。フラッシュコマンドを受けたメッセー
ジ解釈／実行部５０は、そのラインを共有メモリ４５に
書き戻す。さらに、そのラインのラインディレクトリ９
０よりプロセッサ１５の記憶を抹消するラインディレク
トリ抹消２５００を行う。最後に、メッセージ解釈／実
行部５０は、メッセージ組立回路５５、ネットワーク１
５００、メッセージ分解回路３５、プロセッサネットワ
ーク接続回路２５を介し、プロセッサ１５にフラッシュ
コマンド終了を通達する。以上で、プロセッサ１５が共
有メモリ４５のラインをフラッシュする場合の動作の説
明を終了する。

【００２５】以下に、ページディレクトリ制御回路６
５、ラインディレクトリ制御回路８５の動作が必要とさ
れるページディレクトリチェック２０００、ページディ
レクトリ記憶２１００、プロセッサ検索２２００、全プ
ロセッサ検索２３００、ラインディレクトリ記憶２４０
０、ラインディレクトリ消去２５００、ロックビットセ
ット、ロックビットリセットの詳細な動作を説明する。

【００２６】＜１＞ページディレクトリチェック２００
０ ページディレクトリチェック２０００は、プロセッサ１
５、２１５、１０１５がページディレクトリ７０に記憶
されているかを調べる動作である。例として、プロセッ
サ１５について調べるとする。メッセージ解釈／実行部
５０は、データ線１５７より、ページディレクトリ制御
回路６５内のプロセッサ番号レジスタ１０１に、プロセ
ッサ１５のＩＤ番号を記憶させる。また、メッセージ解
釈／実行部５０は、アドレス線１７３により、ページデ
ィレクトリ７０に調査するページ番号を通達する。調査
するページのページディレクトリ情報は、データ線１７
０を通り、プロセッサ番号レジスタ１１０〜１１４に記
憶される。プロセッサ番号レジスタ１０１の内容と、プ
ロセッサ番号レジスタ１１０〜１１４の内容とが、比較
器１０５〜１０９において比較され、結果がすべて不一
致であった場合には、データ線１４５より不一致がメッ
セージ解釈／実行部５０に通達される。以上により、プ
ロセッサ１５がページディレクトリ７０に記憶されてい
るか調べる動作が終了する。

【００２７】＜２＞ページディレクトリ記憶２１００ ページディレクトリ記憶２１００は、ページディレクト
リ７０より前述のリプレース処理を行うことで、プロセ
ッサ１５、２１５、１０１５を新たに登録する動作であ
る。例として、プロセッサ２１５をページディレクトリ
７０より抹消し、新たにプロセッサ１５を登録させる動
作について説明する。メッセージ解釈／実行部５０は、
アドレス線１７３により、ページディレクトリ７０、ロ
ックビット７５、ページディレクトリポインタ８０に調
査するページ番号を通達する。調査するページの、ペー
ジディレクトリ情報はデータ線１７０を通りプロセッサ
番号レジスタ１１０〜１１４に、ロック情報はデータ線
１７１を通りロック情報レジスタ１２１に、ポインタ情
報はデータ線１７２を通りポインタ情報レジスタ１２２
に記憶される。メッセージ解釈／実行部５０は、制御線
１５３よりビット演算器１２０に、ロック情報レジスタ
１２１のポインタ情報レジスタ１２２が指すビットの、
テストを要求する。ビット演算器１２０は、データ線１
４６を通して、結果をメッセージ解釈／実行部５０に送
る。メッセージ解釈／実行部は、もしテスト結果がロッ
ク状態とわかれば制御線１５６により、インクリメント
回路１２３にインクリメント要求を出す。インクリメン
ト回路１２３は、インクリメント要求があった場合には
ポインタ情報レジスタ１２２の内容を、インクリメント
する。メッセージ解釈／実行部５０は、インクリメント
した場合には、再び制御線１５３よりビット演算器１２
０に、ロック情報レジスタ１２１のポインタ情報レジス
タ１２２が指すビットの、テストを要求する。以上の動
作を、テスト結果がアンロック状態となるまで繰り返
す。ｍ回繰り返しても、アンロック状態がない場合に
は、メッセージ解釈／実行部５０は異常終了となる。

【００２８】アンロック状態がプロセッサ２１５につい
て見つかると、メッセージ解釈／実行部５０は、制御線
１５４により、セレクタ１１８の出力をポインタ情報レ
ジスタ１２２側のデータとする。セレクタ１１８の出力
により、マルチプレクサ１１７は、プロセッサ番号レジ
スタ１１０〜１１４のうち、ポインタ情報レジスタ１２
２の指すものの内容、つまりリプレース処理で抹消する
べきプロセッサ２１５のＩＤ番号を出力する。この出力
は、データ線１４０よりメッセージ解釈／実行部５０に
送られる。これによって、メッセージ解釈／実行部５０
は、リプレース処理で抹消すべきプロセッサのＩＤ番号
を入手する。

【００２９】次に、メッセージ解釈／実行部５０は、制
御線１８７を使い、ラインディレクトリ制御回路８５の
セレクタ１７６を、ライン番号発生器１７５側に切り替
える。また、メッセージ解釈／実行部５０は、アドレス
線１８６より、ページ番号をミキサ１７８に送る。さら
に、メッセージ解釈／実行部５０は、制御線１８８によ
り、ライン番号発生器１７５を起動する。

【００３０】ライン番号発生器１７５よりでたライン番
号は、セレクタ１７６を通り、ミキサ１７８でページ番
号とミクスされ、アドレス線１９５よりラインディレク
トリ９０に出力される。ラインディレクトリ９０の情報
は、ライン情報レジスタ１７９に入る。ライン番号発生
器１７５は、ビット演算器１８０にテスト要求信号を入
力する。ここで、ビット演算器１８０には、データ線１
６１を通り、ページディレクトリ制御回路６５のポイン
タ情報レジスタ１２２の内容、つまり、リプレースする
プロセッサ２１５のページディレクトリ７０における位
置が入力されている。これにより、ビット演算器は、リ
プレースすべきプロセッサ２１５が、ライン番号発生器
１７５が出力するラインのラインディレクトリ９０に記
憶されているかどうかを調べることになる。調べた結
果、記憶されていた場合には、ライン番号ラッチ１７７
に、出力要求信号を送る。出力要求信号を受けたライン
番号ラッチ１７７は、セレクタ１７６の出力を、データ
線１８１より、メッセージ解釈／実行部５０に出力す
る。ライン番号発生器１７５は、ライン番号が一巡する
まで、新たなライン番号を発生させ、ビット演算器１８
０にテスト要求信号を出力する。これにより、メッセー
ジ解釈／実行部５０は、リプレース処理で抹消すべきプ
ロセッサ２１５がキャッシュメモリ２２０に登録してい
た、そのページのラインの番号全てを入手する。

【００３１】リプレース処理で抹消すべきプロセッサ２
１５のＩＤ番号、およびャッシュメモリ２２０に登録し
ていたそのページのラインの番号全てを入手した後、メ
ッセージ解釈／実行部５０は、メッセージ組立回路５
５、ネットワーク１５００、メッセージ分解回路２３
５、プロセッサネットワーク接続回路２２５を介し、プ
ロセッサ２１５にそのラインのフラッシュを要求する。
プロセッサ２１５より、プロセッサネットワーク接続回
路２２５、メッセージ組立回路２３０、ネットワーク１
５００、メッセージ分解回路６０を介し、メッセージ解
釈／実行部５０までフラッシュデータが送出されてきた
ら、メッセージ解釈／実行部５０はそのデータを共有メ
モリ４５に書き戻す。

【００３２】その後、データ線１５７を使い、リプレー
スすべきプロセッサ２１５のＩＤ番号を、ページディレ
クトリ制御回路６５のプロセッサ番号レジスタ１０１に
入力する。プロセッサ番号レジスタ１１０〜１１４には
そのページのページディレクトリ７０の情報が入ってい
るので、比較器１０５〜１０９により比較されること
で、データ線１６０には、リプレースすべきプロセッサ
２１５の、ページディレクトリ７０における位置が出力
される。ラインディレクトリ制御回路８５のビット演算
器１８０には、データ線１６０により、リプレースすべ
きプロセッサ２１５の、ページディレクトリ７０におけ
る位置が入力される。この状態で、アドレス線１８５の
信号が、セレクタ１７６より出力されるように、メッセ
ージ解釈／実行部５０より制御信号１８７を出す。

【００３３】更に、メッセージ解釈／実行部５０は、フ
ラッシュされたライン番号を、アドレス線１８５、セレ
クタ１７６を通し、ミキサ１７８に送る。アドレス線１
８６にはそのページ番号が入力されているので、ライン
ディレクトリ９０には、アドレス線１９５よりフラッシ
ュの終了したライン番号が入力される。ラインディレク
トリ９０からは、そのラインの情報が、データ線１９７
を通り、ラインディレクトリレジスタ１７９に入力され
る。ここで、メッセージ解釈／実行部５０から制御線１
９０で、リセット要求を出力する。ビット演算器１８０
には、データ線１６０より、リプレースすべきプロセッ
サ２１５の、ページディレクトリ７０における位置が入
力されているので、プロセッサ２１５の記憶がラインデ
ィレクトリレジスタ１７９より抹消される。抹消された
データをラインディレクトリ９０に、データ線１９７を
通し、書き戻す。メッセージ解釈／実行部５０は、フラ
ッシュされたすべてのラインについて、上記の抹消処理
を繰り返す。

【００３４】ラインディレクトリ９０からのプロセッサ
２１５の抹消処理の終了後、メッセージ解釈／実行部５
０は、新たにページディレクトリ７０に記憶したいプロ
セッサ１５のＩＤ番号を、データ線１５７を通して、ペ
ージディレクトリ制御回路のプロセッサ番号レジスタ１
０１に入れる。ここで、ポインタ情報レジスタ１２２
は、プロセッサ２１５の記憶されているプロセッサ番号
レジスタ１１０〜１１４を指している。この状態で、メ
ッセージ解釈／実行部が、制御信号１５０により、デマ
ルチプレクサ１１９に出力要求信号を出す。デマルチプ
レクサは、プロセッサ番号レジスタ１０１に記憶されて
いるプロセッサ１５のＩＤ番号を、プロセッサ２１５が
記憶されていたプロセッサ番号レジスタ１１０〜１１４
に出力する。プロセッサ番号レジスタ１１０〜１１４
を、データ線１７０を通して、ページディレクトリ７０
に書き戻す。以上により、新たにプロセッサ１５を、ペ
ージディレクトリ７０に記憶する動作が終了する。

【００３５】＜３＞ プロセッサ検索２２００、全プロ
セッサ検索２３００ プロセッサ検索２２００は、プロセッサ１５、２１５、
１０１５のうち、あるラインをキャッシュメモリ２０、
２２０、１０２０に登録しているものを、１つだけ調べ
る動作であり、全プロセッサ検索２３００は全て調べる
動作である。メッセージ解釈／実行部５０は、アドレス
線１７３により、ページディレクトリ７０に調査するペ
ージ番号を通達する。調査するページのページディレク
トリ情報は、データ線１７０を通り、プロセッサ番号レ
ジスタ１１０〜１１４に記憶される。次に、メッセージ
解釈／実行部５０は、制御線１８７を使い、ラインディ
レクトリ制御回路８５のセレクタ１７６を、アドレス線
１８５側に切り替える。また、メッセージ解釈／実行部
５０は、アドレス線１８６より、ページ番号をミキサ１
７８に送る。また、メッセージ解釈／実行部５０は、調
査したいライン番号を、アドレス線１８５、セレクタ１
７６を通し、ミキサ１７８に送る。ミキサ１７８でペー
ジ番号とライン番号がミクスされ、アドレス線１９５を
通りラインディレクトリ９０に出力される。

【００３６】ラインディレクトリ９０の情報は、ライン
情報レジスタ１７９に入る。ページディレクトリ制御回
路６５のプライオリティエンコーダ１２４には、ライン
情報レジスタ１７９の情報が入力される。プライオリテ
ィエンコーダ１２４は、ライン情報に記憶されているペ
ージディレクトリ上のプロセッサ１５、２１５、１０１
５の位置情報のうち、１つをセレクタ１１８に出力す
る。メッセージ解釈／実行部５０は、制御線１５５を使
い、セレクタ１１８をプライオリティエンコーダ１２４
側に切り換える。これにより、プロセッサ番号レジスタ
１１０〜１１４に記憶されているプロセッサＩＤ番号の
うち、プライオリティエンコーダ１２４の選択した位置
のプロセッサ番号が、マルチプレクサ１１７によりメッ
セージ解釈／実行部５０に送られる。全てのプロセッサ
番号が必要な全プロセッサ検索２３００の場合には、プ
ライオリティエンコーダ１２４への制御信号１５５に、
メッセージ解釈／実行部５０よりプライオリティ変更要
求を出す。プライオリィティを一巡変更すれば、メッセ
ージ解釈／実行部５０は全プロセッサを入手できる。以
上により、あるラインをキャッシュメモリ２０、２２
０、１０２０に登録しているものを、１つまたは全て調
べる動作が終了する。

【００３７】＜４＞ラインディレクトリ記憶２４００、
ラインディレクトリ抹消２５００ ラインディレクトリ記憶２４００とは、あるラインのラ
インディレクトリ９０より、プロセッサ１５、２１５、
１０１５のいずれかを記憶する動作であり、ラインディ
レクトリ抹消２５００とは記憶を抹消する動作である。
メッセージ解釈／実行部５０は、データ線１５７より、
ページディレクトリ制御回路６５内のプロセッサ番号レ
ジスタ１０１に、プロセッサ１５のＩＤ番号を記憶させ
る。また、メッセージ解釈／実行部５０は、アドレス線
１７３により、ページディレクトリ７０に調査するペー
ジ番号を通達する。調査するページのページディレクト
リ情報は、データ線１７０を通り、プロセッサ番号レジ
スタ１１０〜１１４に記憶される。プロセッサ番号レジ
スタ１０１の内容と、プロセッサ番号レジスタ１１０〜
１１４の内容とが、比較器１０５〜１０９において比較
され、結果がすべて不一致であった場合には、データ線
１４５より不一致がメッセージ解釈／実行部５０に通達
され、異常終了となる。一致があった場合には、データ
線１６０より、記憶／抹消すべきプロセッサ１５、２１
５、１０１５の記憶／抹消位置が、ラインディレクトリ
制御回路８５のビット演算器１８０に入力される。次
に、メッセージ解釈／実行部５０は、制御線１８７を使
い、ラインディレクトリ制御回路８５のセレクタ１７６
を、アドレス線１８５側に切り替える。また、メッセー
ジ解釈／実行部５０は、アドレス線１８６より、ページ
番号をミキサ１７８に送る。また、メッセージ解釈／実
行部５０は、記憶／抹消したいライン番号を、アドレス
線１８５、セレクタ１７６を通し、ミキサ１７８に送
る。ミキサ１７８でページ番号とライン番号がミクスさ
れ、アドレス線１９５を通りラインディレクトリ９０に
出力される。ラインディレクトリ９０の情報は、ライン
情報レジスタ１７９に入る。この状態で、メッセージ解
釈／実行部５０よりビット演算器１８０まで、制御信号
１８９により記憶要求を出すことで記憶が、制御信号１
９０により抹消要求を出すことで抹消が実行される。最
後に、ライン情報レジスタ１７９より、ラインディレク
トリ９０に情報を書き戻す。以上により、あるラインの
ラインディレクトリ９０より、プロセッサ１５、２１
５、１０１５のいずれかを記憶／抹消する動作が終了す
る。

【００３８】＜５＞ロックビットセット、ロックビット
リセット ロックビットセットとは、あるページのロックビット７
５を特定のプロセッサ１５、２１５、１０１５について
ロック状態にする動作であり、ロックビットリセットと
はアンロック状態にする動作である。メッセージ解釈／
実行部５０は、データ線１５７より、ページディレクト
リ制御回路６５内のプロセッサ番号レジスタ１０１に、
プロセッサ１５のＩＤ番号を記憶させる。また、メッセ
ージ解釈／実行部５０は、アドレス線１７３により、ペ
ージディレクトリ７０、ロックビット７５にページ番号
を通達する。ページディレクトリ情報はデータ線１７０
を通りプロセッサ番号レジスタ１１０〜１１４に、ロッ
ク情報はデータ線１７１を通りロック情報レジスタ１２
１に記憶される。プロセッサ番号レジスタ１０１の内容
と、プロセッサ番号レジスタ１１０〜１１４の内容と
が、比較器１０５〜１０９において比較され、結果がす
べて不一致であった場合には、データ線１４５より不一
致がメッセージ解釈／実行部５０に通達され、異常終了
となる。一致があった場合には、記憶／抹消すべきプロ
セッサ１５、２１５、１０１５の記憶／抹消位置が、比
較器１０５〜１０９より、ページディレクトリ制御回路
６５のビット演算器１２０に入力される。この状態で、
メッセージ解釈／実行部５０よりビット演算器１２０ま
で、制御信号１５１によりロック要求を出すことでロッ
クが、制御信号１５２により抹消要求を出すことで抹消
が実行される。最後に、ロック情報レジスタ１２１よ
り、ロックビット７５に情報を書き戻す。以上により、
あるページのロックビット７５を特定のプロセッサ１
５、２１５、１０１５についてロック／アンロック状態
にする動作が終了する。

【００３９】以上により、本発明方式による、プロセッ
サ１５、２１５、１０１５によるロード、ストア、フラ
ッシュ実行時のメモリ制御機構の動作の説明を終了す
る。以上述べた回路、制御方法により、ページディレク
トリ７０、ロックビット７５、ページディレクトリポイ
ンタ８０、ラインディレクトリ９０を持つ、共有メモリ
型並列計算機が実現する。

【００４０】

【発明の効果】本発明によれば、共有メモリに設けられ
た、キャッシュメモリの一致制御を行うディレクトリの
容量を、従来に比べ大幅に低減することができる。

【図面の簡単な説明】

【図１】実施例の共有メモリ機構を持った並列計算機の
構成を示す図である。

【図２】実施例の共有メモリ機構におけるページディレ
クトリ制御回路を示す図である。

【図３】実施例の共有メモリ機構におけるラインディレ
クトリ制御回路を示す図である。

【図４】実施例の共有メモリ機構におけるメッセージ解
釈／実行部のロードコマンドに対する処理のフローチャ
ートを示す図である。

【図５】実施例の共有メモリ機構におけるメッセージ解
釈／実行部のインバリデートコマンドに対する処理のフ
ローチャートを示す図である。

【図６】実施例の共有メモリ機構におけるメッセージ解
釈／実行部のフラッシュコマンドに対する処理のフロー
チャートを示す図である。

【図７】並列計算機のキャッシュメモリにおけるライン
の記憶状態を示す図である。

【図８】リミテッドポインタ方式のディレクトリを示す
図である。

【図９】実施例の共有メモリ機構を持った並列計算機の
ディレクトリを示す図である。

【符号の説明】

０、２００、１０００ システムユニット １０、２１０、１０１０ プロセッサノード １５、２１５、１０１５ プロセッサ ２０、２２０、１０２０ キャッシュメモリ ２５、２２５、１０２５ プロセッサネットワーク接続
回路 ２７ 分散メモリマップ ３０、５５、２３０、１０３０ メッセージ組立回路 ３５、６０、２３５、１０３５ メッセージ分解回路 ４０、２４０、１０４０ メモリノード ４５、２４５、１０４５ 共有メモリ ５０ メッセージ解釈／実行部 ６５ ページディレクトリ制御回路 ７０ ページディレクトリ ７５ ロックビット ８０ ページディレクトリポインタ ８５ ラインディレクトリ制御回路 ９０ ラインディレクトリ ９２ フルマップディレクトリ ９４ リミテッドポインタディレクトリ ９６ ディレクトリバリッドビット １０１ プロセッサ番号レジスタ １０５〜１０９ 比較器 １１０〜１１４ プロセッサ番号レジスタ １１７ マルチプレクサ １１８ セレクタ １１９ デマルチプレクサ １２０ ビット演算器 １２１ ロック情報レジスタ １２２ ポインタ情報レジスタ １２３ インクリメント回路 １２４ プライオリティ・エンコーダ １７５ ライン番号発生器 １７６ セレクタ １７７ ライン番号ラッチ １７８ ミキサ １７９ ライン情報レジスタ １８０ ビット演算器 １５００ ネットワーク

フロントページの続き (56)参考文献 特開 昭58−9272（ＪＰ，Ａ) 特開 平６−243035（ＪＰ，Ａ) 特開 平４−302044（ＪＰ，Ａ) 特開 平３−235143（ＪＰ，Ａ) 寺澤卓也、天野英晴、工藤知宏，計算 機の記憶システム−４ マルチプロセッ サの記憶システム（１），情報処理，日 本，社団法人情報処理学会，1993年 １ 月15日，第34巻，第１号，ｐ．96−105 森眞一郎、他７名，分散共有メモリ型 マルチプロセッサ「阿修羅」の概要，情 報処理学会研究報告，日本，社団法人情 報処理学会，1992年 ６月12日，第92 巻，第48号，（92−ＡＲＣ−94），ｐ. 41−48 寺澤卓也、天野英晴、工藤知宏，計算 機の記憶システム−４ マルチプロセッ サの記憶システム（２），情報処理，日 本，社団法人情報処理学会，1993年 ２ 月15日，第34巻，第２号，ｐ．233−243 近藤仁志，マルチＣＰＵシステムの活 用研究 マルチＣＰＵシステム入門−複 数ＣＰＵで一つの処理を行うために−, インターフェース，日本，ＣＱ出版株式 会社，1993年 ２月 １日，第19巻，第 ２号，ｐ．84−115 坂井修一，海外の並列処理研究動向 ＭＩＴにおける並列処理研究の現状，情 報処理，日本，社団法人情報処理学会, 1992年 ６月15日，第33巻，第６号, ｐ．698−704 Ｄａｎｉｅｌ Ｌｅｎｏｓｋｉ ｅｔ ａｌ，共有メモリ型超並列マシンＤａ ｓｈ，プロトタイプが完成（下），日経 エレクトロニクス，日本，日経ＢＰ社, 1992年 ８月31日，第562号，ｐ．171− 188 漆原茂，ＤＡＳＨ：スケーラブル共有 メモリ型マルチプロセッサ，情報処理, 日本，社団法人情報処理学会，1992年 ２月15日，第33巻，第２号，ｐ．143− 152 Ｄａｖｉｄ Ｊ．Ｌｉｌｊａ，Ｃａｃ ｈｅ Ｃｏｈｅｒｅｎｃｅ ｉｎ Ｌａ ｒｇｅ−Ｓｃａｌｅ Ｓｈａｒｅｄ−Ｍ ｅｍｏｒ Ｍｕｌｔｉｐｒｏｃｅｓｓｏ ｒｓ：Ｉｓｓｕｅｓ ａｎｄ Ｃｏｍｐ ａｒｉｓｏｎｓ，ＡＣＭ Ｃｏｍｐｕｔ ｉｎｇ Ｓｕｒｖｅｙｓ，ＡＣＭ，1993 年 ９月，Ｖｏｌ．25，Ｎｏ．３，ｐａ ｇｅｓ：303−338 Ｄａｖｉｄ Ｊ．Ｌｉｌｊａ ｅｔ ａｌ，Ｉｍｐｒｏｖｉｎｇ Ｍｅｍｏｒ ｙ Ｕｔｉｌｉｚａｔｉｏｎ ｉｎ Ｃ ａｃｈｅ Ｃｏｈｅｒｅｎｃｅ Ｄｉｒ ｅｃｔｏｒｉｅｓ，ＩＥＥＥ Ｔｒａｎ ｓａｃｔｉｏｎｓ ｏｎ Ｐａｒａｌｌ ｅｌ ａｎｄ Ｄｉｓｔｒｉｂｕｔｅｄ Ｓｙｓｙｔｅｍｓ，ＩＥＥＥ，1993年 10月，Ｖｏｌ．４，Ｎｏ．10，ｐａｇｅ ｓ：1130−1146 Ｍｉｌｏ Ｔｏｍａｓｅｖｉｃ ｅｔ ａｌ，Ａ ＳＵＲＶＥＹ ＯＦ ＨＡ ＲＤＷＡＲＥ ＳＯＬＵＴＩＯＮＳ Ｆ ＯＲ ＭＡＩＮＴＥＮＡＮＣＥ ＯＦ ＣＡＣＨＥ ＣＯＨＥＲＥＮＣＥ ＩＮ ＳＨＡＲＥＤ ＭＥＭＯＲＹ ＭＵＬ ＴＩＰＲＯＣＥＳＳＯＲＳ，Ｐｒｏｃｅ ｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｔｗｎｔ ｙ−Ｓｉｘｔｈ Ｈａｗａｉｉ Ｉｎｔ ｅｒｎａｔｉｏｎａ Ｃｏｎｆｅｒｅｎ ｃｅ ｏｎ Ｓｙｓｔｅｍ Ｓｃｉｅｎ ｃｅｓ，米国，ＩＥＥＥ，1993年 １月 ８日，ｐａｇｅｓ：863−872 Ｙｅｏｎｇ−Ｃｈａｎｇ Ｍａａ ｅ ｔ ａｌ，Ａ Ｈｉｅｒａｒｃｈｉｃａ ｌ Ｄｉｒｅｃｔｏｒｙ Ｓｃｈｅｍｅ ｆｏｒ Ｌａｒｇｅ−Ｓｃａｌｅ Ｃ ａｃｈｅ−Ｃｏｈｅｒｅｎｔ Ｍｕｌｔ ｉｐｒｏｃｅｓｓｏｒｓ，Ｐｒｏｃｅｅ ｄｉｎｇｓ ｏｆ ｔｈｅ Ｐａｒａｌ ｌｅｌ Ｓｉｘｔｈ Ｉｎｔｅｒｎａｔ ｉｏｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｓ ｙｍｐｏｓｉｕｍ，ＩＥＥＥ，1992年, ｐａｇｅｓ：43−46 Ｄａｖｉｄ Ｃｈａｉｋｅｎ ｅｔ ａｌ，Ｄｉｒｅｃｔｒｙ−Ｂａｓｅｄ Ｃａｃｈｅ Ｃｏｈｅｒｅｎｃｅ ｉｎ Ｌａｒｇｅ−Ｓｃａｌｅ Ｍｕｌｔｉ ｐｒｏｃｅｓｓｏｒｓ，Ｃｏｍｐｕｔｅ ｒ，ＩＥＥＥ，1990年 ６月，ｐａｇｅ ｓ：49−58 Ｂｒｉａｎ Ｗ．Ｏ’Ｋｒａｆｋａ ｅｔ ａｌ，Ａｎ Ｅｍｐｉｒｉｃａｌ Ｅｖａｌｕａｔｉｏｎ ｏｆ Ｔｗｏ Ｍｅｍｏｒｙ−Ｅｆｆｉｃｉｅｎｔ Ｄｉｒｅｃｔｏｒｙ Ｍｅｔｈｏｄｓ, Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ 17ｔｈ Ａｎｎｕａｌ Ｉｎｔｅｒｎ ａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｏｍｐｕｔｅｒ Ａｒｃｈｉｔ ｅｃｔｕｒｅ，ＩＥＥＥ，1990年，ｐａ ｇｅｓ：138−147 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 15/16 - 15/177 G06F 12/08 - 12/12

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 複数のプロセッサと該各プロセッサがア
   クセスできる複数の分散型の共有メモリを備え、前記各
   プロセッサは共有メモリのデータをライン単位で登録す
   るキャッシュメモリを備える並列計算機において、 前記共有メモリは、該共有メモリの各ページ毎に用意さ
   れ、該ページの一部または全てのラインをキャッシュメ
   モリに登録したプロセッサのプロセッサＩＤをポインタ
   として記憶するページディレクトリと、共有メモリの各
   ライン毎に用意され、該ラインをキャッシュメモリに登
   録したプロセッサのプロセッサＩＤのページディレクト
   リ上での位置をビットマップ形式で記憶するラインディ
   レクトリとを備えることを特徴とする並列計算機。
2. 【請求項２】 複数のプロセッサと該各プロセッサがア
   クセスできる複数の分散型の共有メモリを備え、前記各
   プロセッサは共有メモリのデータをライン単位で登録す
   るキャッシュメモリを備える並列計算機において、 前記共有メモリは、該共有メモリの各ページ毎に用意さ
   れ、該ページの一部または全てのラインをキャッシュメ
   モリに登録したプロセッサのプロセッサＩＤをポインタ
   として記憶するページディレクトリと、共有メモリの各
   ライン毎に用意され、該ラインをキャッシュメモリに登
   録したプロセッサのプロセッサＩＤのページディレクト
   リ上での位置をポインタ形式で記憶するラインディレク
   トリとを備えることを特徴とする並列計算機。
3. 【請求項３】 請求項１または請求項２記載の並列計算
   機において、 前記複数の共有メモリと前記複数のプロセッサとをネッ
   トワークで接続したことを特徴とする並列計算機。
4. 【請求項４】 請求項１または請求項２記載の並列計算
   機において、 前記共有メモリと前記プロセッサとによりノードを構成
   し、複数の前記ノードをネットワークで接続したことを
   特徴とする並列計算機。
5. 【請求項５】 請求項１または請求項２記載の並列計算
   機において、 前記ページディレクトリ毎に、該ページディレクトリに
   記憶されているプロセッサのうち、記憶された時間が最
   も早いプロセッサを指示するページディレクトリポイン
   タを備えることを特徴とする並列計算機。
6. 【請求項６】 請求項１または請求項２記載の並列計算
   機において、 前記ページディレクトリに記憶されている各プロセッサ
   対応に、該ページディレクトリからのプロセッサの記憶
   抹消の可否を表すロックビットを備えることを特徴とす
   る並列計算機。