JPH11102321A

JPH11102321A - 分散共有メモリ型並列計算機のキャッシュコヒーレンシ制御方式

Info

Publication number: JPH11102321A
Application number: JP9279556A
Authority: JP
Inventors: Yoshinori Okura; 義典大倉
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1997-09-26
Filing date: 1997-09-26
Publication date: 1999-04-13

Abstract

(57)【要約】【課題】ディレクトリを用いてキャッシュのコヒーレン
シを制御する分散共有メモリ型並列計算機においてロー
カルメモリからのブロックロード時間の削減を図る方式
の提供。【解決手段】演算処理装置、キャッシュメモリ、ローカ
ルメモリ部からなるプロセッサエレメント＃1〜＃64、
ネットワークから構成され、各キャッシュメモリはデー
タアレイ、アドレスアレイ、キャッシュメモリディレク
トリ、アクセス頻度管理手段から構成され各ローカルメ
モリ部はローカルメモリとローカルメモリディレクトリ
とディレクトリ制御手段から構成され、各キャッシュブ
ロック毎に演算処理装置のアクセス頻度を計測し、アク
セス頻度管理手段からディレクトリ管理手段に通知しキ
ャッシュコヒーレンシ制御情報を無効化方式から更新方
式に変更し、演算処理装置のローカルメモリからのブロ
ックロード時間を削減する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、キャッシュメモリ
のコヒーレンシ制御方式に関し、特に、演算処理装置と
ローカルメモリを有するプロセッサエレメントがネット
ワークで結合されている分散共有メモリ型並列計算機の
キャッシュコヒーレンシ制御方式に関する。

【０００２】

【従来の技術】従来、数十、数百のプロセッサエレメン
トからなる分散共有メモリ型並列計算機のキャッシュコ
ヒーレンシを維持する方法として、プロセッサエレメン
ト内の演算処理装置の共有メモリ更新に対して、コピー
が保持されているプロセッサエレメント内のキャッシュ
ブロックを無効化することにより一致をとる無効化方
式、あるいはキャッシュブロックを更新することにより
一致をとる更新方式のいずれかの方式を採用していた。

【０００３】図９乃至図１１を参照して、演算処理装置
とキャッシュメモリとローカルメモリからなるプロセッ
サエレメントＡ〜Ｄと、ネットワークから構成された分
散共有メモリ型並列計算機の、それぞれ更新方式及び無
効化方式のロード時の動作、無効化方式のストア時の動
作、更新方式のストア時の動作を示す。キャッシュヒッ
トの動作は、更新方式、無効化方式とも同一動作である
ため省略する。

【０００４】図９は、プロセッサエレメントＡの演算処
理装置ＡがプロセッサエレメントＢにローカルメモリＢ
に物理的に割り当てられた共有メモリ上のデータをロー
ドしようとした際に、キャッシュミスした場合の動作を
模式的に示したものである。処理手順は次のようにな
る。

【０００５】キャッシュミスするとローカルメモリＢ
に対して読み出し要求が発行される。読み出し要求を受
けたローカルメモリＢは、ローカルメモリディレクトリ
Ｂを検索し、有効ビット、最新データ保持プロセッサ番
号情報を調べ、最新のデータがローカルメモリＢに存在
するか否かをチェックする。

【０００６】′最新データが存在すれば当該データを
要求プロセッサエレメントＡのキャッシュメモリＡに送
信する。

【０００７】存在しなければ、ローカルメモリディレ
クトリＢ内の最新データ保持プロセッサ番号情報により
最新のデータを保持するプロセッサエレメント（ここで
はプロセッサエレメントＤとする）のキャッシュメモリ
Ｄに対して、メモリ書き戻し要求を発行する。

【０００８】キャッシュメモリＤからプロセッサエレ
メントＢのローカルメモリＢへデータの書き戻しを行わ
せる。

【０００９】要求したプロセッサエレメントＡのキャ
ッシュメモリＡにデータを送信することで処理は終了す
る。

【００１０】図１０、および図１１は、演算処理装置Ａ
が物理的にローカルメモリＢに割り当てられた共有メモ
リ上のアドレスにストアする場合、キャッシュメモリ
Ｃ、及びＤにも登録されているコピーデータを無効化す
る方式、及び更新する方式の動作を示したものである。

【００１１】図１０の無効化方式の処理手順は、次のよ
うになる。

【００１２】プロセッサエレメントＡの演算処理装置
ＡはキャッシュメモリＡでヒットした場合にはキャッシ
ュメモリＡを更新し、ヒットしなかった場合にはそのま
まローカルメモリＢに対してキャッシュ一致処理を発行
する。

【００１３】キャッシュ一致処理要求を受けたローカ
ルメモリＢは、ローカルメモリディレクトリＢのコピー
保持プロセッサ番号情報を検索し、コピーを保持するプ
ロセッサエレメントＣ、プロセッサエレメントＤのキャ
ッシュメモリＣ、Ｄに対して無効化要求を発行する。無
効化要求を受けたキャッシュメモリＣ、Ｄのブロックコ
ピーは無効化される。

【００１４】プロセッサエレメントＢのローカルメモ
リＢはキャッシュメモリＣ、Ｄに対する無効化処理が完
了すると、処理完了メッセージを受信する。

【００１５】処理完了メッセージを受け、ローカルメ
モリＢはプロセッサエレメントＡの演算処理装置Ａに対
して処理完了を通知する。

【００１６】キャッシュメモリＡでヒットしなかった
場合は、ローカルメモリＢからキャッシュメモリＡにブ
ロックデータを登録し、ストアデータで更新する。

【００１７】図１１の更新方式の処理手順は次のように
なる。

【００１８】プロセッサエレメントＡの演算処理装置
ＡはキャッシュメモリＡでヒットした場合にはキャッシ
ュメモリＡを更新し、ヒットしなかった場合にはそのま
まローカルメモリＢに対してキャッシュ一致処理要求と
ともにデータを送る。

【００１９】キャッシュ一致処理要求を受けたローカ
ルメモリＢは、ローカルメモリディレクトリＢのコピー
保持プロセッサ番号情報を検索しコピーを保持するプロ
セッサエレメントＣ、及びプロセッサエレメントＤのキ
ャッシュメモリＣ、Ｄに対して更新要求を発行する。更
新要求を受けたキャッシュメモリＣ、Ｄのブロックは更
新が行われる。

【００２０】ローカルメモリＢはキャッシュメモリ
Ｃ、Ｄに対する更新処理が完了すると更新完了メッセー
ジを受信する。

【００２１】更新完了メッセージを受け、ローカルメ
モリＢはプロセッサエレメントＡの演算処理装置Ａに対
して更新完了を通知する。

【００２２】キャッシュメモリＡでヒットしなかった
場合は、ローカルメモリＢからキャッシュメモリＡにブ
ロックデータを登録し、ストアデータで更新する。

【００２３】

【発明が解決しようとする課題】上記した従来の分散共
有メモリ型並列計算機においては、キャッシュコヒーレ
ンシを制御する方式として無効化方式を採用した場合、
複数の演算処理装置が頻繁に読み書きを行うブロックを
共有した場合に、各々の演算処理装置が同一ブロックの
データの書き込み、読み出しを行うと、キャッシュブロ
ックは各々のプロセッサエレメントのキャッシュ上を互
いに無効化されながら行き来し、演算処理装置のメモリ
アクセス時間が大きいものとなる。

【００２４】例えば無効化方式を採用した分散共有メモ
リ型並列計算機において、プロセッサエレメントＡ、Ｂ
のキャッシュメモリに共有メモリ上の同一ブロックが登
録されていたとし、共有メモリ上のブロックは、物理的
にローカルメモリＣに割り当てられているとする。ここ
で、演算処理装置Ａが共有しているキャッシュブロック
の更新を行うと、同じブロックを共有しているローカル
メモリＣのブロック、及びキャッシュメモリＢのブロッ
クは無効化される。

【００２５】次にプロセッサエレメントＢの演算処理装
置Ｂが同一ブロックの読み出しを行おうとすると、キャ
ッシュメモリＢには当該ブロックの最新データが存在し
ないため、ローカルメモリＣにロード要求を発行し、ロ
ーカルメモリＣは、最新ブロックを保持するプロセッサ
エレメントＡのキャッシュメモリＡに対して書き戻しを
行わせ、ローカルメモリＣを更新したのち、ブロックを
キャッシュメモリＢにロードする。

【００２６】更にまた、演算処理装置Ｂが共有している
キャッシュブロックの更新を行うと、同様に同じブロッ
クを共有しているローカルメモリＣのブロック、及びキ
ャッシュメモリＡのブロックが無効化される。

【００２７】その後、プロセッサエレメントＡの演算処
理装置Ａが同一ブロックの読み出しを行うとすると、ロ
ーカルメモリＣにロード要求を発行し、最新ブロックを
保持するプロセッサエレメントＢのキャッシュメモリＢ
に対して書き戻しを要求し、ローカルメモリＣを更新
し、ブロックをキャッシュメモリＡに送信する。

【００２８】無効化方式を採用した分散共有メモリ型並
列計算機では、２つのプロセッサエレメントの演算処理
装置が、同一ブロックの書き込みあるいは読み出しを行
うと、以上のような効率の悪い操作がその度に行われ、
ブロックは両方のキャッシュ上を互いに無効化されなが
ら行き来し、各演算処理装置メモリアクセス時間が大き
なものとなる。

【００２９】一方、従来の分散共有メモリ型並列計算機
において、キャッシュコヒーレンシを制御する方式が無
効化方式から更新方式に変わったとすると、プロセッサ
エレメントＡで動いていたプロセスがプロセッサエレメ
ントＢに移動した場合、プロセッサエレメントＡではこ
のキャッシュメモリに登録されているプロセスの変数を
使用しないにもかかわらず、更新方式では、無効化され
ることがないため、その変数が入ったブロックが追い出
されるまで有効である。このため、プロセッサエレメン
トＢがそのプロセスの変数に書き込むと、必要もないの
にネットワーク、共有メモリを介してプロセッサエレメ
ントＡのもう使わないキャッシュブロックのデータを更
新しなければならない。

【００３０】つまり、更新方式の場合は、ブロックの書
き込みが行われる度に、意味のないデータの更新を行わ
なければならない場合が生じ、ネットワークトラフィッ
クを増加させることになる。

【００３１】そして、アプリケーションごとに、キャッ
シュコヒーレンシの制御方式の違いによるメモリアクセ
スレイテンシ、ネットワークトラフィックの状況が異な
るため、いずれか一方の方式では、種々のアプリケーシ
ョンに対応した充分な性能が得られない、という問題が
あった。

【００３２】したがって、本発明は、上記問題点に鑑み
てなされたものであって、その目的は、ディレクトリを
用いてキャッシュのコヒーレンシを制御する分散共有メ
モリ型並列計算機において、キャッシュブロック毎に演
算処理装置からのアクセス状況によってキャッシュのコ
ヒーレンシ制御を無効化方式から、更新方式に変更する
ことにより、ローカルメモリからのブロックロード時間
の削減を図るキャッシュコヒーレンシ制御方式を提供す
ることにある。

【００３３】

【課題を解決するための手段】前記目的を達成するため
に、本発明は、各々が演算処理装置、キャッシュメモ
リ、ローカルメモリ部を含む複数個のプロセッサエレメ
ントがネットワークで結合され、前記複数個のプロセッ
サエレメント内の前記各演算処理装置から、前記複数個
のプロセッサエレメント内すべての前記ローカルメモリ
が同一のアドレス空間を有する共有メモリとしてアクセ
ス可能な分散共有メモリ型並列計算機システムにおい
て、前記キャッシュメモリが、データアレイ、アドレス
アレイ、登録キャッシュブロックのアクセス情報を格納
するキャッシュメモリディレクトリ、アクセス頻度管理
手段を含み、前記ローカルメモリ部が、キャッシュコヒ
ーレンシ制御情報を格納するディレクトリとディレクト
リ制御手段を含み、前記各キャッシュブロック毎に演算
処理装置のアクセス頻度を計測し、アクセス頻度が所定
値に達した時前記アクセス頻度管理手段から前記ディレ
クトリ制御手段に通知し、キャッシュコヒーレンシ制御
情報を無効化方式から更新方式に変更し、演算処理装置
のローカルメモリからのブロックロード時間を削減す
る、ことを特徴とする。

【００３４】本発明は、好ましくは、各々が演算処理装
置、キャッシュメモリ、ローカルメモリで構成された複
数個のプロセッサエレメントがネットワークで結合さ
れ、該複数個のプロセッサエレメント内の各演算処理装
置から前記複数個のプロセッサエレメント内すべてのロ
ーカルメモリが同一のアドレス空間を有する共有メモリ
としてアクセス可能な分散共有メモリ型並列計算機シス
テムにおいて、前記各プロセッサエレメントは、前記共
有メモリ更新を前記キャッシュメモリ更新の度には行わ
ず、キャッシュブロックが追い出される場合に更新する
ライトバック方式のキャッシュメモリ制御手段と、前記
キャッシュメモリに登録されるブロック単位ごとに、前
記複数個のプロセッサエレメント内のいずれの前記キャ
ッシュメモリ上にコピーブロックが登録されているかを
示すコピー保持プロセッサ番号情報と前記共有メモリ更
新時に前記複数個のプロセッサエレメント内の前記キャ
ッシュメモリに登録されているコピーブロックを無効化
するか更新するかのキャッシュコヒーレンシ制御方式情
報が格納されたローカルメモリディレクトリと、前記演
算処理装置が前記共有メモリを更新する際、前記ローカ
ルメモリディレクトリに格納されたキャッシュコヒーレ
ンシ制御方式情報により、コピーを保持する前記各プロ
セッサエレメント内のキャッシュブロックを無効化もし
くは更新する手段と、前記キャッシュメモリの登録エン
トリごとに、登録キャッシュブロックが有効であるか否
かを示す有効性情報と前記演算処理装置からの登録キャ
ッシュブロックアクセス頻度情報が格納されたキャッシ
ュディレクトリと、前記キャッシュブロックアクセス頻
度情報を管理し、アクセス頻度があらかじめ定められた
状態に達したことを検出するアクセス頻度情報管理手段
と、該アクセス頻度情報管理手段の検出情報を受け、前
記ローカルメモリディレクトリ内の前記キャッシュコヒ
ーレンシ制御方式情報を書き換え、他プロセッサエレメ
ント内演算処理装置からの前記ローカルメモリ更新に対
して、書き換えられた前記キャッシュコヒーレンシ制御
情報をもとに、キャッシュコヒーレンシ制御を行い、前
記プロセッサエレメント内キャッシュメモリのキャッシ
ュブロックが前記共有メモリに書き戻される時に前記ロ
ーカルメモリディレクトリ内のキャッシュコヒーレンシ
制御方式情報を初期状態に書き戻すディレクトリ制御手
段を有することを特徴とする。

【００３５】

【発明の実施の形態】本発明の実施の形態について以下
に説明する。本発明は、その好ましい実施の形態におい
て、各々が演算処理装置（図１の１〜６４）、キャッシ
ュメモリ（図１の１０１〜１６４）、及びローカルメモ
リ部（図１の２０１〜２６４）を含む複数個のプロセッ
サエレメント（図１のプロセッサエレメント＃１〜＃６
４）がネットワーク（図１の９０）で結合され、該複数
個のプロセッサエレメント内の各演算処理装置から複数
個のプロセッサエレメント内すべてのローカルメモリが
同一のアドレス空間を有する共有メモリとしてアクセス
可能な分散共有メモリ型並列計算機システムとして構成
されている。

【００３６】各プロセッサエレメントは、共有メモリ更
新をキャッシュメモリ更新の度には行わず、キャッシュ
ブロックが追い出される場合に更新するライトバック方
式のキャッシュメモリ制御手段と、キャッシュメモリに
登録されるブロック単位ごとに、前記複数個のプロセッ
サエレメント内のいずれの前記キャッシュメモリ上にコ
ピーブロックが登録されているかを示すコピー保持プロ
セッサ番号情報と、前記共有メモリ更新時に前記複数個
のプロセッサエレメント内の前記キャッシュメモリに登
録されているコピーブロックを無効化するか更新するか
のキャッシュコヒーレンシ制御方式情報とが格納された
ローカルメモリディレクトリ（図１の８０１〜８６４）
と、演算処理装置が共有メモリを更新する際、ローカル
メモリディレクトリに格納されたキャッシュコヒーレン
シ制御方式情報により、コピーを保持する前記各プロセ
ッサエレメント内のキャッシュブロックを無効化もしく
は更新する手段と、キャッシュメモリの登録エントリご
とに、登録キャッシュブロックが有効であるか否かを示
す有効性情報と演算処理装置からの登録キャッシュブロ
ックアクセス頻度情報が格納されたキャッシュディレク
トリ（図１の４０１〜４６４）と、キャッシュブロック
アクセス頻度情報を管理し、アクセス頻度があらかじめ
定められた状態に達したことを検出するアクセス頻度情
報管理手段（図１の３０１〜３６４）と、該アクセス頻
度情報管理手段の検出情報を受け、前記ローカルメモリ
ディレクトリ内の前記キャッシュコヒーレンシ制御方式
情報を書き換え、他プロセッサエレメント内演算処理装
置からの前記ローカルメモリ更新に対して、書き換えら
れた前記キャッシュコヒーレンシ制御情報をもとに、キ
ャッシュコヒーレンシ制御を行い、前記プロセッサエレ
メント内キャッシュメモリのキャッシュブロックが前記
共有メモリに書き戻される時に前記ローカルメモリディ
レクトリ内のキャッシュコヒーレンシ制御方式情報を初
期状態に書き戻すディレクトリ制御手段（図１の７０１
〜７６４）を備える。

【００３７】

【実施例】次に、上記した本発明の実施の形態について
更に詳細に説明すべく、本発明の実施例について図面を
参照して詳細に説明する。

【００３８】図１は、本発明の一実施例の構成を示す図
である。図１を参照すると、本発明の一実施例における
分散共有メモリ型並列計算機は、演算処理装置１〜６
４、キャッシュメモリ１０１〜１６４、ローカルメモリ
部２０１〜２６４からなるプロセッサエレメント＃１〜
＃６４がネットワーク９０で結合され、各プロセッサエ
レメントを結合するネットワーク９０は、三次元トーラ
ス網で構成される。各ローカルメモリは、他プロセッサ
エレメント内のローカルメモリも自プロセッサエレメン
ト内ローカルメモリと同一のアドレス空間としてアクセ
スできる共有アドレス空間として管理されている。共有
アドレス空間は連続な６４空間に分散され、各プロセッ
サエレメント内のローカルメモリ９０２〜９６４に固定
的に割り当てられている。ローカルメモリ９０２〜９６
４の容量はそれぞれ１２８ＭＢ（メガバイト）であり、
トータル８ＧＢ（ギガバイト）の容量を有する。共有ア
ドレス空間として管理されたメモリを「共有メモリ」と
呼ぶ。

【００３９】各プロセッサエレメント＃１〜＃６４は共
有アドレス空間上の写しを自プロセッサエレメント内の
キャッシュメモリ１０１〜１６４に登録することができ
る。キャッシュのブロックサイズは３２Ｂ（バイト）で
ある。キャッシュ内ブロックの共有メモリへの一致方法
は、書き換えられたブロックが追い出される時にブロッ
ク単位で、共有メモリに書き戻すライトバック方式をと
る。キャッシュブロックの追い出し制御方式は、ＬＲＵ
（Ｌeast Ｒecently Ｕsed）方式を用いる。

【００４０】各プロセッサエレメント＃１〜＃６４内の
ローカルメモリ部２０１〜２６４は、それぞれ、ローカ
ルメモリディレクトリ８０１〜８６４と、ローカルメモ
リディレクトリの情報を制御するディレクトリ制御手段
７０１〜７６４と、を備えて構成される。

【００４１】ローカルメモリディレクトリ８０１〜８６
４の各エントリには、３２Ｂのブロック毎のブロック有
効ビット、ブロックコピーをキャッシュメモリに保持し
ているプロセッサエレメント番号情報、及び、ブロック
コピーを保持するプロセッサエレメント内のキャッシュ
メモリを無効化するか更新するかを示すキャッシュコヒ
ーレンシの制御情報が格納されている。

【００４２】キャッシュメモリ１０１〜１６４は、デー
タアレイ６０１〜６６４と、アドレスアレイ５０１〜５
６４と、キャッシュメモリディレクトリ４０１〜４６４
と、キャッシュブロックアクセス頻度を初期値“０”か
らカウントし３回に達したことを検出してディレクトリ
制御手段７０１〜７６４に伝えるアクセス頻度管理手段
３０１〜３６４と、を備えて構成されている。

【００４３】図２は、本発明の一実施例のキャッシュメ
モリディレクトリ４０１〜４６４の１エントリを示した
ものであり、各キャッシュブロックごとのブロックアク
セス頻度情報２ビット、キャッシュブロックの有効ビッ
トとして１ビット、共有メモリと内容が一致しているか
を示す共有メモリ一致情報として１ビットが格納されて
いる。この有効ビットと、共有メモリ一致ビットとを併
せて「ローカルメモリブロック状態情報」と呼ぶ。

【００４４】ローカルメモリブロック状態情報は次のよ
うになる。００：無効（Ｉnvalid）。１１：現在の内容が共有メモリと一致する（Ｓhare）。１０：共有メモリと一致しない（Ｄirty）。

【００４５】図３は、本発明の一実施例におけるローカ
ルメモリディレクトリ８０１〜８６４の１エントリを示
したものである。図３を参照すると、キャッシュメモリ
へ登録するブロック単位でディレクトリの内容の有効性
を示す有効ビット１ビット、ブロック単位でのキャッシ
ュコヒーレンシ制御方式を決定するキャッシュコヒーレ
ンシ制御情報１ビット、プロセッサエレメント番号情報
６４ビットから構成されている。キャッシュコヒーレン
シ制御情報は、無効化方式を“０”、更新方式を“１”
とし、初期値は無効化方式の“０”が格納されている。
プロセッサエレメント番号情報はプロセッサエレメント
数分６４ビットを有し、対応するローカルメモリのブロ
ックが有効である時は、コピーを保持しているプロセッ
サエレメント番号に対応するビットを“１”、ローカル
メモリのブロックが無効である時は最新データを保持す
るプロセッサエレメント番号に対応するビットを“１”
とする。

【００４６】図４は、本発明の一実施例において、いず
れのプロセッサエレメント内のキャッシュにも登録され
ていない共有メモリ上のデータで物理的にローカルメモ
リ９０１に割り当てられているデータを読み出す時の動
作を示した図である。これは無効化方式でも更新方式で
も動作は同じである。

【００４７】ローカルメモリディレクトリ８０１には、
有効ビット“１”、プロセッサエレメント番号情報はコ
ピー保持プロセッサ番号情報として、６４ビット、全て
“０”である。

【００４８】次にプロセッサエレメント＃１のローカル
メモリ８０１上のデータを演算処理装置１、演算処理装
置２、演算処理装置３、演算処理装置６４が読み出す。
この場合、そのデータを含むブロックは、それぞれプロ
セッサエレメント＃１、プロセッサエレメント＃２、プ
ロセッサエレメント＃３、プロセッサエレメント＃６４
のキャッシュメモリ１０１、１０２、１０３、１６４に
送られ、ローカルメモリディレクトリ８０１の値は、有
効ビットが“１”、コヒーレンシ制御情報が“０”で、
コピー保持プロセッサ番号情報は、プロセッサエレメン
ト＃１、＃２、＃３、＃６４に対応するビットが
“１”、残り６０ビットは“０”となる。

【００４９】また、プロセッサエレメント＃１、＃２、
＃３、＃６４のディレクトリ４０１、４０２、４０３、
４６４の対応するエントリの内容は“１１”で、“現在
の内容が共有メモリと一致する状態（Ｓhare）”とな
る。

【００５０】図５は、図４の最終状態からプロセッサエ
レメント＃２内の演算処理装置２がプロセッサエレメン
ト＃１、２、３、６４で共有しているブロックを更新す
る時の、キャッシュコヒーレンシの制御情報が無効化方
式時の動作を示したものである。処理の手順は次のよう
になる。

【００５１】演算処理装置２からプロセッサエレメン
ト＃１のローカルメモリ部２０１に対して共有ブロック
への書き込み要求が送られる。

【００５２】ローカルメモリディレクトリ８０１の対
応するエントリの値が、有効ビット“１”、キャッシュ
コヒーレンシ制御情報が“０”、コピー保持プロセッサ
番号情報はプロセッサエレメント＃１、＃２、＃３、＃
６４に対応するビットが“１”であるため、ディレクト
リ制御手段７０１はプロセッサエレメント＃１、＃３、
＃６４のキャッシュメモリ１０１、１０３、１６４のブ
ロックコピーを無効化する必要があると判断し、無効化
要求を送出する。無効化メッセージをプロセッサエレメ
ント＃１、＃３、＃６４に送り、各キャッシュメモリ４
０１、４０３、４６４内のブロック状態情報が“００”
つまり、無効化される。

【００５３】無効化が完了すると無効化完了のメッセ
ージがプロセッサエレメント＃１に送られる。

【００５４】ローカルメモリディレクトリ８０１の値
を、有効ビットは“０”、コピー保持プロセッサ番号情
報（この場合は最新データ保持プロセッサ番号）のプロ
セッサエレメント＃２に対応するビットを“１”とし、
残りのビットは“０”とし、処理終了をプロセッサエレ
メント＃２に通知する。

【００５５】以降、演算処理装置＃２は、他のプロセッ
サにメッセージを送ることなしに、そのブロックを更新
することができる。

【００５６】図６は、図４の最終状態からプロセッサエ
レメント＃２内の演算処理装置２がプロセッサ＃１、
２、３、６４で共有しているブロックを更新する時のキ
ャッシュコヒーレンシの制御情報が更新方式の動作を示
したものである。処理の手順は次のようになる。

【００５７】演算処理装置２が、キャッシュメモリ１
０２にデータを書き込むと共に、共有メモリ上の書き込
みアドレスが物理的に割り当てられているプロセッサエ
レメント＃１のローカルメモリ９０１にブロック更新要
求とともに書き込みデータを送る。

【００５８】プロセッサエレメント＃１のローカルメ
モリ部２０１のディレクトリ制御手段７０１はローカル
メモリディレクトリ８０１のコピー保持プロセッサ番号
情報を検索し、コピーを所有するプロセッサエレメント
＃１、＃３、＃６４に更新データを送る。

【００５９】プロセッサエレメント＃１、＃３、＃６
４はキャッシュメモリ１０１、１０３、１６４の更新を
行い、プロセッサエレメント＃１、３、６４は処理完了
のメッセージをプロセッサエレメント＃１に送る。

【００６０】処理終了をプロセッサエレメント＃２に
通知する。

【００６１】以降、演算処理装置２は、他のプロセッサ
にメッセージを送ることなしに、当該ブロックの更新を
行うことができる。

【００６２】図７は、図５の最終状態、つまりプロセッ
サエレメント＃２のキャッシュメモリ１０２上にのみ最
新データが存在する状態から、演算処理装置３が同一デ
ータの読み出し要求を出した場合の無効化動作を示した
図である。処理の手順は次のようになる。

【００６３】プロセッサエレメント＃３のキャッシュ
メモリ１０３上のアクセスアドレスに対応したブロック
が既に無効化されているため、演算処理装置３はアクセ
スアドレスが物理的に割り当てられているプロセッサエ
レメント＃１のローカルメモリ９０１に対して当該デー
タを含むブロックの読み出し要求を送る。

【００６４】ローカルメモリディレクトリ８０１の有
効ビットは“０”で「他のキャッシュに共有メモリと内
容が一致しないコピーが存在する」であるため、最新デ
ータ保持プロセッサ番号を示すプロセッサエレメント番
号情報を検索し最新のブロックを持つプロセッサエレメ
ント＃２を見つけて、これに対して書き戻し要求メッセ
ージをプロセッサエレメント＃２に送る。

【００６５】プロセッサエレメント＃２はキャッシュ
メモリ１０２から当該ブロックをプロセッサエレメント
＃１のローカルメモリ９０１に送信する。

【００６６】ローカルメモリ９０１はブロックを書き
戻し、読み出しを要求したプロセッサエレメント＃３に
ブロックを送る。この時、プロセッサエレメント＃１の
ローカルメモリディレクトリ８０１の値は、有効ビット
が“１”、コピー保持プロセッサ番号を示すプロセッサ
エレメント番号情報は、プロセッサエレメント＃２、＃
３に対応するビットが“１”となり、他のキャッシュに
共有メモリと内容が一致するコピーが存在する”状態と
なる。

【００６７】図７では、無効化方式として説明したが、
本実施例では、プロセッサエレメント間のブロックの送
受信は必ず共有メモリを介して行い、キャッシュ間のデ
ータ送受信は行わないとしているため更新方式であれ
ば、プロセッサエレメント＃３のキャッシュメモリ１０
３でヒットしてしまう。

【００６８】図８は、演算処理装置＃２のキャッシュブ
ロックのアクセス頻度により、ローカルメモリディレク
トリ２０２内コヒーレンシ制御情報が無効化方式から更
新方式に変化する時の動作を示したものである。例とし
て、プロセスがプロセッサエレメント＃２とプロセッサ
エレメント＃３で動作し、物理的にローカルメモリ９０
１に割り当てられているデータをキャッシュメモリ１０
２，１０３にロードし、共有している状態で演算処理装
置２が当該ブロックを連続３回更新するとする。ローカ
ルメモリ部２０１のローカルメモリディレクトリ８０１
のキャッシュコヒーレンシ情報の初期値は“０”で無効
化方式を示し、キャッシュディレクトリ４０２、４０３
のアクセス頻度情報も“０”になっているとする。処理
の手順は次のようになる。

【００６９】演算処理装置２により同一キャッシュブ
ロックへの書き込みが３回行われると、プロセッサエレ
メント＃２のキャッシュディレクトリ４０２のブロック
アクセス頻度情報が値“３”を示す。

【００７０】キャッシュメモリ１０２のアクセス頻度
管理手段３０２は、ローカルメモリ部２０１のディレク
トリ制御手段７０１にローカルメモリディレクトリ８０
１のキャッシュコヒーレンシ制御情報の変更要求を送出
する。

【００７１】ディレクトリ制御手段７０１はローカル
メモリディレクトリ８０１のコヒーレンシ制御情報を
“０”（無効化方式）から“１”（更新方式）に変更す
る。

【００７２】この後、プロセッサエレメント＃３が同一
データを更新すると、初期値の無効化方式のままではプ
ロセッサエレメント＃２のブロックが無効化されてしま
い再度プロセッサエレメント＃２から同一ブロックへの
アクセスが発生した場合に再登録が必要であったはず
が、更新方式に変更することによって最新データに更新
されているためキャッシュへのブロックロードが不要と
なる。

【００７３】演算処理装置２、３が他プロセスを実行
するためにいままでの該ブロックを参照しなくなると、
プロセッサエレメント＃２のキャッシュメモリ１０２の
該ブロックはいずれ他ブロックのロードによりキャッシ
ュメモリ１０２から追い出され、その時プロセッサエレ
メント＃１のローカルメモリディレクトリ８０１のキャ
ッシュコヒーレンシ制御情報が、ディレクトリ制御手段
７０１により“１”（更新方式）から“０”（無効化方
式）にリセットされる。

【００７４】この変更により他演算処理装置の該ブロッ
ク更新に伴う最新データの送信がなくなり、ネットワー
クトラフィックは削減される。

【００７５】

【発明の効果】以上説明したように、本発明によれば、
ディレクトリを用いキャッシュのコヒーレンシを制御す
る分散共有メモリ型並列計算機において、ローカルメモ
リからのブロックロード時間の削減、ネットワークトラ
フィックの削減を図ることができる、という効果を奏す
る。その理由は、本発明においては、各キャッシュブロ
ックのコヒーレンシ制御の初期制御情報を無効化方式と
し、プロセッサエレメント内キャッシュブロックに対す
る演算処理装置のアクセス頻度を測定する手段をブロッ
クごとに有し、演算処理装置のキャッシュブロックのア
クセス頻度が高くなると、キャッシュに登録されるブロ
ック単位ごとにキャッシュブロックのコヒーレンシ制御
方式を無効化方式から更新方式へ変更する機能を備えた
ことによる。

【図面の簡単な説明】

【図１】本発明に係る分散共有メモリ型並列計算機の一
実施例の構成を示す図である。

【図２】本発明の一実施例におけるプロセッサエレメン
ト内のキャッシュメモリのディレクトリ構成を示す図で
ある。

【図３】本発明の一実施例におけるプロセッサエレメン
ト内ローカルメモリのディレクトリ構成を示す図であ
る。

【図４】本発明の一実施例の動作を説明するための図で
あり、プロセッサエレメント内演算処理装置１、２、
３、６４の共有メモリからのデータ読み出し時の動作を
示す図である。

【図５】本発明の一実施例の動作を説明するための図で
あり、図４の最終状態からプロセッサエレメント＃２内
演算処理装置が共有しているブロックを更新する時の更
新方式の動作を示す図である。

【図６】本発明の一実施例の動作を説明するための図で
あり、図５の最終状態からプロセッサエレメント＃２内
演算処理装置が共有しているブロックを更新する時の無
効化方式の動作を示す図である。

【図７】本発明の一実施例の動作を説明するための図で
あり、図６の最終状態からプロセッサエレメント＃３内
演算処理装置がプロセッサエレメント＃１内のローカル
メモリに読み出し要求を行った時の動作を示す図であ
る。

【図８】本発明の一実施例の動作を説明するための図で
あり、プロセッサエレメント＃２内演算処理装置のキャ
ッシュアクセス頻度によりキャッシュコヒーレンシの制
御情報が無効化方式から更新方式に変更する時の動作を
示す図である。

【図９】従来技術の更新方式、無効化方式におけるロー
ド時の動作を示す図である。

【図１０】従来技術の無効化方式におけるストア時の動
作を示す図である。

【図１１】従来技術更新方式におけるストア時の動作を
示す図である。

【符号の説明】

０〜６４本発明の分散共有メモリ型並列計算機を構成
するプロセッサエレメント内演算処理装置９０ネットワーク１００〜１６４プロセッサエレメント内キャッシュメ
モリ２００〜２６４プロセッサエレメント内ローカルメモ
リ部３００〜３６４キャッシュメモリ内アクセス頻度管理
手段４００〜４６４キャッシュメモリディレクトリ５００〜５６４キャッシュメモリ内アドレスアレイ６００〜６６４キャッシュメモリ内データアレイ７００〜７６４ローカルメモリ内ディレクトリ制御手
段８００〜８６４ローカルメモリディレクトリ９００〜９６４ローカルメモリ

Claims

【特許請求の範囲】

【請求項１】各々が演算処理装置、キャッシュメモリ、
ローカルメモリ部を含む複数個のプロセッサエレメント
がネットワークで結合され、前記複数個のプロセッサエレメント内の前記各演算処理
装置から、前記複数個のプロセッサエレメント内すべて
の前記ローカルメモリが同一のアドレス空間を有する共
有メモリとしてアクセス可能な分散共有メモリ型並列計
算機システムにおいて、各キャッシュブロックのコヒーレンシ制御の初期制御情
報を無効化方式とし、前記プロセッサエレメント内キャッシュブロックに対す
る前記演算処理装置のアクセス頻度を測定する手段をブ
ロック毎に有し、前記演算処理装置のキャッシュブロックのアクセス頻度
が高くなり、予め定めた所定値に達すると、前記キャッ
シュメモリに登録されるブロック単位毎にキャッシュブ
ロックのコヒーレンシ制御方式を無効化方式から更新方
式へ変更する手段を備えたことを特徴とする分散共有メ
モリ型並列計算機のキャッシュコヒーレンシ制御方式。
【請求項２】各々が演算処理装置、キャッシュメモリ、
ローカルメモリ部を含む複数個のプロセッサエレメント
がネットワークで結合され、前記複数個のプロセッサエレメント内の前記各演算処理
装置から、前記複数個のプロセッサエレメント内すべて
の前記ローカルメモリが同一のアドレス空間を有する共
有メモリとしてアクセス可能な分散共有メモリ型並列計
算機システムにおいて、前記キャッシュメモリが、登録キャッシュブロックのア
クセス情報を格納するキャッシュディレクトリとアクセ
ス頻度管理手段とを含み、前記ローカルメモリ部が、キャッシュコヒーレンシ制御
情報を格納するディレクトリとディレクトリ制御手段を
含み、前記各キャッシュメモリに登録されるブロック毎に前記
演算処理装置のアクセス頻度を計測してアクセス情報が
所定値に達した時前記アクセス頻度管理手段から前記デ
ィレクトリ制御手段に通知し、前記ディレクトリ制御手
段はキャッシュコヒーレンシ制御情報を無効化方式から
更新方式に変更し、前記演算処理装置のローカルメモリ
からのブロックロード時間を削減する、ことを特徴とす
る分散共有メモリ型並列計算機のキャッシュコヒーレン
シ制御方式。
【請求項３】各々が演算処理装置、キャッシュメモリ、
ローカルメモリを含む複数個のプロセッサエレメントが
ネットワークで結合され、前記複数個のプロセッサエレメント内の前記各演算処理
装置から、前記複数個のプロセッサエレメント内すべて
の前記ローカルメモリが同一のアドレス空間を有する共
有メモリとしてアクセス可能な分散共有メモリ型並列計
算機システムにおいて、前記各プロセッサエレメントは、前記共有メモリの更新を前記キャッシュメモリの更新の
度には行わず、キャッシュブロックが追い出される場合
に更新するライトバック方式のキャッシュメモリ制御手
段と、前記キャッシュメモリに登録されるブロック単位ごと
に、前記複数個のプロセッサエレメント内のいずれの前
記キャッシュメモリ上にコピーブロックが登録されてい
るかを示すコピー保持プロセッサ番号情報と、前記共有
メモリ更新時に前記複数個のプロセッサエレメント内の
前記キャッシュメモリに登録されているコピーブロック
を無効化するか更新するかのキャッシュコヒーレンシ制
御方式情報と、が格納されるローカルメモリディレクト
リと、前記演算処理装置が前記共有メモリを更新する際、前記
ローカルメモリディレクトリに格納されたキャッシュコ
ヒーレンシ制御方式情報により、コピーを保持する前記
各プロセッサエレメント内のキャッシュブロックを無効
化もしくは更新する手段と、前記キャッシュメモリの登録エントリごとに、登録キャ
ッシュブロックが有効であるか否かを示す有効性情報と
前記演算処理装置からの登録キャッシュブロックアクセ
ス頻度情報が格納されたキャッシュディレクトリと、前記キャッシュブロックアクセス頻度情報を管理し、ア
クセス頻度があらかじめ定められた状態に達したことを
検出するアクセス頻度情報管理手段と、前記アクセス頻度情報管理手段の検出情報を受け、前記
ローカルメモリディレクトリ内の前記キャッシュコヒー
レンシ制御方式情報を書き換え、他プロセッサエレメン
ト内演算処理装置からの前記ローカルメモリ更新に対し
て、書き換えられた前記キャッシュコヒーレンシ制御情
報をもとに、キャッシュコヒーレンシ制御を行い、前記
プロセッサエレメント内キャッシュメモリのキャッシュ
ブロックが前記共有メモリに書き戻される時に前記ロー
カルメモリディレクトリ内のキャッシュコヒーレンシ制
御方式情報を初期状態に書き戻すディレクトリ制御手段
を、有することを特徴とする分散共有メモリ型並列計算機の
キャッシュコヒーレンシ制御方式。