JPH08202622A

JPH08202622A - 分散型メモリ構成のキャッシュ制御方法

Info

Publication number: JPH08202622A
Application number: JP7013604A
Authority: JP
Inventors: Hiroyuki Agata; 博之縣
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1995-01-31
Filing date: 1995-01-31
Publication date: 1996-08-09

Abstract

(57)【要約】【目的】ローカルメモリ領域についてはアクセス競合
の低減化を、また共用メモリ領域についてはデータの最
新化を優先させるとともに、リードアクセスの際の同一
アドレスデータのコヒーレンシを確保することを目的と
する。【構成】ローカルメモリ領域と共用メモリ領域を有す
る分散型メモリ構成において、あるプロセッサからのラ
イト命令のアドレスがローカルメモリ領域アドレスの場
合には、ライト命令要求時に、要求元プロセッサのキャ
ッシュのみへの書込みを実行するとともに、同じローカ
ルメモリ領域を用いる他の各キャッシュの該当アドレス
の旧データを無効化し、また、前記ライト命令のアドレ
スが共用メモリ領域アドレスの場合には、ライト命令要
求時に、要求元プロセッサのキャッシュおよび前記共用
メモリ領域の両者への書込みを実行するとともに、他の
各キャッシュの該当アドレスの旧データを無効化する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、分散型メモリ構成のキ
ャッシュ制御方法に関し、特にマルチプロセッサの一部
のプロセッサ単位ごとに対応したローカルメモリ領域と
マルチプロセッサのすべてのプロセッサに対応した共用
メモリ領域を有する分散型メモリ構成のキャッシュ制御
方法に関する。

【０００２】このような分散型メモリ構成を持つマルチ
プロセッサシステムのキャッシュ制御に際しては、ある
プロセッサやローカルメモリで故障が発生したときにそ
の影響がシステム全体に及ばないようにすることが要請
され、本発明はこのような要請に応えるものである。な
お、本明細書で用いる「プロセッサ」にはＣＰＵやＭＰ
Ｕなどが含まれる。

【０００３】

【従来の技術】図７は、従来の、分散型メモリ構成を持
つマルチプロセッサシステムにおけるキャッシュ制御方
法を示す説明図であり、41〜43はプロセッサ、44〜46は
各プロセッサのキャッシュ、47〜49は各プロセッサのロ
ーカルメモリ領域、50は共用メモリ領域をそれぞれ示し
ている。

【０００４】ここで、ローカルメモリ領域のそれぞれは
対応するプロセッサから（例えばローカルメモリ領域47
はプロセッサ41から）個別にアクセスされるのに対し、
共用メモリ領域50はすべてのプロセッサ41〜43からアク
セスされる。

【０００５】ローカルメモリ領域および共用メモリ領域
へのライト命令の際には、・前者の場合、自キャッシュ
のデータ書込みを実行するだけで、自ローカルメモリ領
域のデータ書込みについてはその後で置き換えが必要と
なった時点などに実行し、・後者の場合、自キャッシュ
と共用メモリ領域の両者へのデータ書込みをライト命令
要求時に実行している。

【０００６】本明細書では、ローカルメモリ領域への前
者のデータ書込み方式を「コピーバック方式」といい、
共用メモリ領域への後者のデータ書込み方式を「ライト
スルー方式」という。

【０００７】そして、このライトスルー方式とコピーバ
ック方式を併用することにより、共用メモリ領域50につ
いてはシステムの性能向上（アクセス競合の低減化）よ
りもシステムの高信頼性（データの最新化）を優先さ
せ、またローカルメモリ領域47〜49については逆にシス
テムの性能向上を優先させている。

【０００８】なお、ローカルメモリ領域へのライト命令
の対象キャッシュにそのアドレスがエントリーされてい
ないときにはキャッシュミスが発生し、この場合、ロー
カルメモリ領域から該当アドレス（ライト命令アドレ
ス）のデータを対象キャッシュにエントリーした後でこ
のキャッシュ領域への該当データの書込みがおこなわれ
る。

【０００９】また、共用メモリ領域へのライト命令のさ
いのキャッシュミス発生時のキャッシュに対する処理方
式としては、・ローカルメモリ領域の場合と同様の手順で該当データ
の書込みをおこなう・データ書込みのための処理は実行しないの両者がある。

【００１０】

【発明が解決しようとする課題】このように、従来の分
散型メモリ構成におけるキャッシュ制御方法では、ロー
カルメモリ領域と共用メモリ領域とのアクセス環境の違
いに基づきそれぞれのメモリ書込み方式を使い分けてい
るが、自キャッシュへの書込みの際に他キャッシュの同
一アドレス領域のデータについての無効化をおこなって
いないので、リード命令の際に旧データのままのキャッ
シュにヒットしてそれを用いてしまうことが生じる。

【００１１】例えば、プロセッサ41からのライト命令に
より自らのキャッシュ44および共用メモリ領域50のある
アドレスＡ₁にデータD1が書き込まれた後で別のプロセ
ッサ42がこのアドレスＡ₁に対するリード命令を出した
場合、・プロセッサ42のキャッシュ45でキャッシュミスが発生
すると共用メモリ領域50の前記アドレスＡ₁の領域を必
ず参照するので本来の正しいデータが読み込まれるが、・プロセッサ42のキャッシュ45にヒットすると当該キャ
ッシュのアドレスＡ₁のデータ、すなわちプロセッサ41
からのライト命令により書き込まれた本来のデータD1で
はなく当該書込み前の旧データが読み込まれることにな
る。

【００１２】このことは複数のプロセッサで共用される
かたちのローカルメモリ領域においても発生し、同一ア
ドレスに対する各キャッシュ間でのリードデータの一致
性が保証されないという問題点があった。

【００１３】そこで、本発明では、ローカルメモリ領域
および共用メモリ領域に対するデータ書込みを前述のよ
うに使い分けることに加えて、あるキャッシュへのデー
タ書込みのさいに他のキャッシュの該当アドレス（ライ
ト命令アドレスと同一アドレス）の旧データを無効化し
てしまうことにより、ライト命令ですでに更新されてい
るアドレスへのリード命令のときに旧データが読み出さ
れることのないようにすることを目的とする。

【００１４】

【課題を解決するための手段】図１は本発明の原理説明
図である。図において、１〜４はプロセッサ、５〜８は
キャッシュ、９および10はローカルメモリ領域、11は共
用メモリ領域をそれぞれ示している。

【００１５】また、キャッシュ５〜８のそれぞれはプロ
セッサ１〜４のそれぞれと対応し、・プロセッサ１、キャッシュ５、プロセッサ２、キャッ
シュ６およびローカルメモリ領域９で第一のグループを
形成し、・プロセッサ３、キャッシュ７、プロセッサ４、キャッ
シュ８およびローカルメモリ領域10で第二のグループを
形成している。

【００１６】これら第一および第二のグループおよび共
用メモリ領域11からなる分散型メモリ構成やこれを利用
するマルチプロセッサシステム自体は従来のものと同様
であって、本発明の特徴は、任意のプロセッサがライト
命令を出したときのキャッシュに対する制御内容であ
る。

【００１７】すなわち、例えばプロセッサ１のライト命
令アドレスがローカルメモリ領域９のアドレスであって
キャッシュ５にヒットする場合には、・キャッシュ５の該当アドレス（ライト命令アドレス）
に新データを書き込むとともに、・第一のグループに属する他キャッシュ６に該当アドレ
スがエントリーされていればその領域の旧データを無効
化する。

【００１８】この場合、キャッシュ５への書込みデータ
はコピーバック方式でローカルメモリ領域９に反映さ
れ、またキャッシュ５においてキャッシュミスが発生し
た場合は従来と同様の処理がおこなわれる。

【００１９】次に、プロセッサ１のライト命令アドレス
が共用メモリ領域11のアドレスであってキャッシュ５に
ヒットする場合には、・キャッシュ５および共用メモリ領域11の該当アドレス
に新データを書き込むとともに、・マルチプロセッサシステム全体の他キャッシュ６、７
および８に該当アドレスがエントリーされていればその
領域の旧データを無効化する。

【００２０】この場合、キャッシュ５への書込みデータ
はライトスルー方式で共用メモリ領域11に反映され、ま
たキャッシュ５においてキャッシュミスが発生した場合
は従来と同様の処理がおこなわれる。

【００２１】なお、ローカルメモリ領域９、10および共
用メモリ領域11への書込み命令のときの他キャッシュに
該当アドレスがエントリーされているかどうかは、バス
中を流れているデータやアドレス情報を各キャッシュが
ウォッチすることにより求められる。

【００２２】本発明の基本的構成は、「マルチプロセッ
サの一部のプロセッサ単位ごとに対応したローカルメモ
リ領域とマルチプロセッサのすべてのプロセッサに対応
した共用メモリ領域を有する分散型メモリ構成におい
て、あるプロセッサからのライト命令のアドレスがロー
カルメモリ領域アドレスの場合には、ライト命令要求時
に、要求元プロセッサのキャッシュのみへの書込みを実
行するとともに、同じローカルメモリ領域を用いる他の
各キャッシュの該当アドレスの旧データを無効化し、前
記ライト命令のアドレスが共用メモリ領域アドレスの場
合には、ライト命令要求時に、要求元プロセッサのキャ
ッシュおよび前記共用メモリ領域の両者への書込みを実
行するとともに、他の各キャッシュの該当アドレスの旧
データを無効化するようにしたことを特徴とする分散型
メモリ構成のキャッシュ制御方法」である。

【００２３】

【作用】本発明は、このように、ローカルメモリ領域と
共用メモリ領域とを併用するマルチプロセッサの各キャ
ッシュの書込みデータをローカルメモリ領域および共用
メモリ領域へ反映する際に、前者に対してはコピーバッ
ク方式を用い、また後者に対してはライトスルー方式を
用いるとともに、ライト命令の発信元ではない各プロセ
ッサのキャッシュにライト命令アドレスと同一のアドレ
スがエントリーされている場合にはその領域の旧データ
を無効化するものである。

【００２４】そのため、コピーバック方式とライトスル
ー方式との使い分けによりシステムの性能向上（アクセ
ス競合の低減化）とシステムの高信頼性（データの最新
化）とのいわば相反する要求を各メモリ領域の特性に合
致したかたちで満たすことに加え、リードアクセスの際
の同一アドレスデータのコヒーレンシを確保することが
できる。

【００２５】すなわち、旧データが無効化されたアドレ
スに対するリード命令が出されたとしても、当該アドレ
スに旧データはもはや入っていないので従来のように旧
データがキャッシュから読み出されて使用されるような
ことはない。

【００２６】なお、「旧データの無効化」とは、旧デー
タが有効なかたちで読み出されないようにすることであ
り、・そのアドレス領域に無効フラグをたてること・そのアドレス領域に新データをエントリーすることなどの種々の方式が考えられる。

【００２７】また、ローカルメモリ領域との間でグルー
プを構成するプロセッサの個数は複数の場合に限定され
るのではなく、単一プロセッサとそのローカルメモリ領
域とからなるグループに対しても本発明は適用できる。

【００２８】また、共用メモリ領域には各プロセッサの
共用データや故障時のリカバリデータが格納され、プロ
セッサやキャッシュの故障の際にもこの共用メモリ領域
を参照することにより復旧することができる。

【００２９】

【実施例】図２〜図６を参照して本発明の実施例を説明
する。図２は、本発明の前提となるマルチプロセッサ例
を示す説明図であり、・プロセッサ22，24、キャッシュ23，25、ＭＣ（メモリ
コントローラ）26およびローカルメモリ領域27でクラス
タ21を構成し、・プロセッサ32，34、キャッシュ33，35、ＭＣ（メモリ
コントローラ）36およびローカルメモリ領域37でクラス
タ31を構成し、・クラスタ21とクラスタ31とは共用メモリ領域38を共有
している。

【００３０】ここで、各キャッシュの書込みデータのロ
ーカル／共用メモリ領域への書込みは、前記のように、・ローカルメモリ領域27および37に対してはコピーバッ
ク方式・共用メモリ領域38に対してはライトスルー方式が用いられる。

【００３１】また、これらのコピーバック方式およびラ
イトスルー方式の選択や他キャッシュの該当アドレス
（ライト命令アドレス）領域の旧データの無効化につい
ての処理はキャッシュやＭＣが担当する。

【００３２】図３は、本発明の、あるプロセッサからリ
ード／ライト命令が発信されたときの自キャッシュにお
ける処理手順を示す説明図であり、その内容は次のよう
になっている。

【００３３】なお、図３および図４の説明では「あるプ
ロセッサ」としてプロセッサ22を用いる。したがって、
キャッシュ23が自キャッシュ、キャッシュ25、33、35が
他キャッシュ、ローカルメモリ領域27が自ローカルメモ
リ領域、ローカルメモリ領域37が他ローカルメモリ領域
となる。

【００３４】(1) プロセッサ22はキャッシュ（自キャッ
シュ）23にリード／ライト命令のアドレスおよびデータ
を送信して、次のステップに進む。 (2) 該当アドレス（受信アドレス）の値があらかじめ設
定した基準アドレス値よりも大きいかどうかを判断し、
「YES」の場合は次のステップに進み、「NO」の場合は
ステップ(8) に進む。 (3) 命令の種別がライト命令であるかどうかを判断し、
「YES」の場合は次のステップに進み、「NO」の場合は
ステップ(5) に進む。 (4) キャッシュ23および共用メモリ領域38の該当アドレ
ス領域にそれぞれデータを書き込んで一連の処理を終了
する。

【００３５】なお、ステップ(2) の各アドレス値の大小
関係と各メモリ領域との対応付けは任意であるが、ここ
では「YES」の場合のアドレス範囲に共用メモリ領域38
が割り当てられている。

【００３６】(5) キャッシュ23にヒットするかどうかを
判断し、「YES」の場合は次のステップに進み、「NO」
の場合はステップ(7) に進む。 (6) キャッシュ23の該当アドレスのデータを要求元プロ
セッサ22に通知して一連の処理を終了する。 (7) 共用メモリ領域38の該当アドレスのデータを、要求
元プロセッサ22に通知するとともにキャッシュ23に書き
込んで一連の処理を終了する。

【００３７】以上のステップ(3) 〜(7) は共用メモリ領
域38に対する処理であり、ローカルメモリ領域27に対す
る処理は以下のようになる。 (8) 命令の種別がライト命令であるかどうかを判断し、
「YES」の場合は次のステップに進み、「NO」の場合は
ステップ(10)に進む。 (9) キャッシュ23の該当アドレス領域にデータを書き込
んで一連の処理を終了する。なお、キャッシュミスが発
生した場合には、前述のように、共用メモリ領域38の該
当アドレスのデータをキャッシュ23に書き込んでからこ
れを更新する。 (10)キャッシュ23にヒットするかどうかを判断し、「YE
S」の場合は次のステップに進み、「NO」の場合はステ
ップ(12)に進む。 (11)キャッシュ23の該当アドレスのデータを要求元プロ
セッサ22に通知して一連の処理を終了する。 (12)ローカルメモリ領域27の該当アドレスのデータを、
要求元プロセッサ22に通知するとともにキャッシュ23に
書き込んで一連の処理を終了する。

【００３８】図４は、本発明の、あるプロセッサからリ
ード／ライト命令が発信されたときの他キャッシュにお
ける処理手順を示す説明図であり、その内容は次のよう
になっている。

【００３９】(21)プロセッサ22はキャッシュ23にリード
／ライト命令のアドレスおよびデータを送信して、次の
ステップに進む。 (22)該当アドレス（受信アドレス）の値があらかじめ設
定した基準アドレス値よりも大きいかどうかを判断し、
「YES」の場合は次のステップに進み、「NO」の場合は
ステップ(26)に進む。 (23)命令の種別がライト命令であるかどうかを判断し、
「YES」の場合は次のステップに進み、「NO」の場合は
一連の処理を終了する。 (24)他キャッシュにヒットするかどうかを判断し、「YE
S」の場合は次のステップに進み、「NO」の場合は一連
の処理を終了する。 (25)ヒットアドレスの旧データを無効化して一連の処理
を終了する。

【００４０】以上のステップ(23)〜(25)の処理は共用メ
モリ領域38に対する処理であり、ローカルメモリ領域37
に対する処理は以下のようになる。 (26)命令の種別がライト命令であるかどうかを判断し、
「YES」の場合は次のステップに進み、「NO」の場合は
ステップ(29)に進む。 (27)他キャッシュにヒットするかどうかを判断し、「YE
S」の場合は次のステップに進み、「NO」の場合は一連
の処理を終了する。 (28)ヒットアドレスの旧データを無効化して一連の処理
を終了する。 (29)他キャッシュにヒットするかどうかを判断し、「YE
S」の場合は次のステップに進み、「NO」の場合は一連
の処理を終了する。 (30)ヒットアドレスのデータをローカルメモリ領域37に
反映させて一連の処理を終了する。

【００４１】ステップ(30)の処理はコピーバック方式に
よるデータ書込みの一態様であって、例えばプロセッサ
22からアドレスＡ₁に対するライト命令が出てキャッシ
ュ23のこのアドレスのデータが更新され、かつキャッシ
ュ25のアドレスＡ₁の旧データが無効化された後で、今
度はプロセッサ24からアドレスＡ₁に対するリード命令
が出てキャッシュ25のこのアドレスのデータを読み出そ
うとする場合に有効である。

【００４２】すなわち、この場合、キャッシュ25のアド
レスＡ₁の領域は無効化されているので例えばＭＣ26は
ローカルメモリ領域27のこのアドレスＡ₁のデータを読
み出してキャッシュ25に書き込むとともにプロセッサ24
に通知しようとするが、この際にキャッシュ23のアドレ
スＡ₁の新データがローカルメモリ領域に反映されてい
ればこの新データがプロセッサ24に通知されることにな
る。

【００４３】図５は、本発明の、共用メモリ領域の情報
に基づいて再ＩＰＬを実行するときの処理手順を示す説
明図であり、その内容は次のようになっている。 (41)システム構成情報（クラスタ数など）やＩＰＬ情報
などを共用メモリ領域38に書き込んでおく。 (42)各プロセッサは自らの、また自キャッシュの故障や
異常を検出する。 (43)故障や異常を検出したプロセッサは自らが属してい
るクラスタを一時使用不可にする。そして、この一時使
用不可の状態で当該プロセッサの復旧処理がおこなわれ
る。 (44)別の正常クラスタのプロセッサから一時使用不可と
なっているクラスタのプロセッサにＩＰＬを指示する。 (45)当該クラスタのプロセッサが復旧して一時使用不可
が解除されている場合には当該プロセッサのそれぞれは
再ＩＰＬを実行する。

【００４４】図６は、本発明の、一時使用不可となった
プロセッサが実行していた処理を、共用メモリ領域の情
報に基づいて別のクラスタのプロセッサで継続していく
ときの処理手順を示す説明図であり、その内容は次のよ
うになっている。 (51)各プロセッサは自ら処理している仕事のリカバリ情
報を共用メモリ領域38に書き込んでいく。 (52)各プロセッサは自らの、また自キャッシュの故障や
異常を検出する。 (53)故障や異常を検出したプロセッサは自らが属してい
るクラスタを一時使用不可にする。 (54)別の正常クラスタのプロセッサは共用メモリ領域38
に書き込まれた（一時使用不可のプロセッサについて
の）リカバリ情報を当該正常クラスタのローカルメモリ
領域に書き込む。 (55)当該正常クラスタのプロセッサはこのリカバリ情報
に基づいて一時使用不可プロセッサのそれまでの処理を
継続する。

【００４５】また、正常クラスタのプロセッサで継続さ
れる処理のリカバリ情報も共用メモリ領域38に書き込ま
れていくので、当初この処理を実行していたプロセッサ
はその復旧後に当該リカバリ情報に基づき当該処理を取
り戻すことができる。

【００４６】

【発明の効果】本発明は、このように、ローカルメモリ
領域と共用メモリ領域とを併用するマルチプロセッサの
各キャッシュの書込みデータをローカルメモリ領域およ
び共用メモリ領域へ反映する際に、前者に対してはコピ
ーバック方式を用い、また後者に対してはライトスルー
方式を用いるとともに、ライトアクセス対象外のキャッ
シュにライト命令アドレスと同一のアドレスがエントリ
ーされている場合にはその領域の旧データを無効化する
ようにしたものである。

【００４７】そのため、ローカルメモリ領域に対する性
能向上（アクセス競合の低減化）と共用メモリ領域に対
する高信頼性（データの最新化）とを確保できることに
加え、同一アドレスへの各プロセッサのリード命令によ
り求められるデータのコヒーレンシを確保することがで
きる。

【図面の簡単な説明】

【図１】本発明の、原理説明図である。

【図２】本発明の、分散型メモリのマルチプロセッサシ
ステムを示す説明図である。

【図３】本発明の、あるプロセッサからリード／ライト
命令が発信されたときの自キャッシュにおける処理手順
を示す説明図である。

【図４】本発明の、あるプロセッサからリード／ライト
命令が発信されたときの他キャッシュにおける処理手順
を示す説明図である。

【図５】本発明の、共用メモリ領域の情報に基づいて再
ＩＰＬを実行するときの処理手順を示す説明図である。

【図６】本発明の、一時使用不可となったプロセッサが
実行していた処理を、共用メモリ領域の情報に基づいて
別のクラスタのプロセッサで継続していくときの処理手
順を示す説明図である。

【図７】従来の、キャッシュ制御方法を示す説明図であ
る。

【符号の説明】

図１において、１〜４・・・プロセッサ５〜８・・・キャッシュ９・・・ローカルメモリ領域 10・・・ローカルメモリ領域 11・・・共用メモリ領域

Claims

【特許請求の範囲】

【請求項１】マルチプロセッサの一部のプロセッサ単
位ごとに対応したローカルメモリ領域とマルチプロセッ
サのすべてのプロセッサに対応した共用メモリ領域を有
する分散型メモリ構成において、あるプロセッサからのライト命令のアドレスがローカル
メモリ領域アドレスの場合には、ライト命令要求時に、
要求元プロセッサのキャッシュのみへの書込みを実行す
るとともに、同じローカルメモリ領域を用いる他の各キ
ャッシュの該当アドレスの旧データを無効化し、前記ライト命令のアドレスが共用メモリ領域アドレスの
場合には、ライト命令要求時に、要求元プロセッサのキ
ャッシュおよび前記共用メモリ領域の両者への書込みを
実行するとともに、他の各キャッシュの該当アドレスの
旧データを無効化するようにしたことを特徴とする分散
型メモリ構成のキャッシュ制御方法。
【請求項２】前記プロセッサ単位が、複数のプロセッ
サからなるクラスタ構成となっていることを特徴とする
請求項１記載の分散型メモリ構成のキャッシュ制御方
法。