JPH06231033A - 分散共有メモリシステムを有するデータ処理装置 - Google Patents

Abstract

(57)【要約】 【目的】 １つ以上のＣＰＵと主記憶装置を有するクラ
スタを複数個接続ネットワークで結合した分散共有メモ
リシステムを有するデータ処理装置において、各ＣＰＵ
の持つキャッシュメモリ上のブロックが全システムを通
して整合性が得られるとともに、クラスタ間のデータ転
送回数を減少することである。 【構成】 少なくとも１つのＣＰＵと、主記憶装置を有
するクラスタ１、２、３、４・・・を複数個ネットワー
ク５で結合した、分散共有メモリシステムを有するデー
タ処理装置において、クラスタに、キャッシュブロック
に必要なブロックを含むページ要求手段１８を設け、こ
のページ要求手段１８からの要求にもとづく同報信号を
ネットワーク５から他のクラスタに伝送し、またこれに
基づき他のクラスタから伝送されたページを要求元のク
ラスタの主記憶装置に保持するようにしたことを特徴と
する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、１つ以上のＣＰＵと主
記憶装置を有するクラスタを複数個接続ネットワークに
より結合した分散共有メモリシステムにおいて、各ＣＰ
Ｕの持つキャッシュメモリが全システムを通して整合性
がとれるようにした分散共有メモリシステムを有するデ
ータ処理装置に関する。

【０００２】

【従来の技術】最近では、データ処理装置を構成すると
き、少なくとも１つのＣＰＵと、主記憶装置を具備する
クラスタを複数個設けてこれを接続ネットワークにより
接続し、またデータ処理を複数のクラスタで並列処理を
行うとともに、クラスタ内に複数のＣＰＵが設けられて
いるときはクラスタ内の処理を複数のＣＰＵで遂行する
ことが行われている。このようなシステムではデータの
整合性が重要となる。

【０００３】ところで、データ処理において、各ＣＰＵ
のキャッシュメモリにキャッシングされたキャッシュブ
ロック（以下単に「ブロック」という）のデータは、そ
のブロックが自ＣＰＵによりデータを更新されたブロッ
ク（以下「ダーテイ（Ｄｉｒｔｙ）なブロック」とい
う）であれば、いずれ主記憶装置に書き戻される。

【０００４】これが自クラスタの主記憶装置からのデー
タであればそれを主記憶装置に書き込むだけであるが、
このデータが他クラスタの主記憶装置からのデータであ
れば、それを接続ネットワークを介して元のクラスタの
主記憶装置に書き戻してやる必要がある。

【０００５】

【発明が解決しようとする課題】ところで従来ではクラ
スタ間のデータ転送がキャッシュブロック単位で行われ
るため、データ処理の遂行のとき連続したメモリ領域を
アクセスするような場合でも、クラスタ間のデータの転
送が細切れに行われることになり、このために接続ネッ
トワークの使用率が高くなり、このようなクラスタ間の
データ転送効率の低下とネットワーク負荷の増大を招い
ていた。

【０００６】したがって本発明の目的は、このような問
題点を改善するために、クラスタ間のデータの転送回数
を少なくして接続ネットワークの負荷を減少するととも
に、各ＣＰＵの持つキャッシュメモリが全システムを通
して整合性が取れるようにした分散共有メモリシステム
を有するデータ処理装置を提供することである。

【０００７】

【課題を解決するための手段】前記目的を遂行するた
め、本発明では、図１に示す如く、クラスタ１、２、
３、４・・・とクラスタ間ネットワーク５により構成さ
れるデータ処理装置において、クラスタ１に代表的に示
す如く、各クラスタにＣＰＵ１０、１１、１２と、主記
憶装置１３と、磁気ディスクの如き２次記憶装置１４
と、ネットワークインタフェース１５を設ける。クラス
タに設けられるＣＰＵの数は少なくとも１個あればよ
い。そして各ＣＰＵには、ＣＰＵ１０で代表的に例示す
る如く、キャッシュメモリ部１７、ページ要求部１８が
設けられる。また１６はクラスタ内の共有バスである。

【０００８】各クラスタでは、データ処理に際して通常
は主記憶装置上のデータを、例えば１６バイトのブロッ
ク単位でキャッシュメモリ部１７に転送して行う。しか
し例えばクラスタ１において、ＣＰＵ１０が必要とする
ブロックが自クラスタ内に存在しないとき、そのＣＰＵ
のページ要求部１８は、必要とするブロックを含むペー
ジ（例えば４Ｋバイトサイズ）単位で他のクラスタに対
するページ要求命令を出力する。

【０００９】これを受信したネットワークインタフェー
ス１５では、これに応じて、その要求元のＣＰＵを認識
するとともに、そのページ要求を行う同報通知を作成し
てクラスタ間ネットワーク５に送出する。この同報通知
には発信元クラスタ番号と、クラスタ内のＣＰＵ番号
と、必要とするブロックを含むページの先頭の仮想アド
レスと、ページサイズが記入されている。クラスタ間ネ
ットワーク５ではこの同報通知を他の全クラスタ２、
３、４・・・に送出する。

【００１０】要求されたページを保持するクラスタで
は、このページをクラスタ間ネットワーク５を経由して
必要とするクラスタのＣＰＵに送出する。クラスタ１で
は、ネットワークインタフェース部１５でこれを受信す
る。そしてこのクラスタ１内でメインプロセッサとして
動作する、例えばＣＰＵ１がこれを主記憶装置１３に格
納し、このページ内のブロックを必要としたＣＰＵ１に
所望のページが受信されたことを通知する。これにより
そのページ内のブロックを必要としたＣＰＵ１では必要
とするブロックをキャッシュメモリ部１７に転送してデ
ータ処理を続けることができる。

【００１１】なお、データ処理に際し、このブロックに
書き込み処理が行われた場合、そのＣＰＵ１から、他の
クラスタに対してページ無効化要求が出力されるので、
ネットワークインタフェース１５ではこれによりページ
無効化要求の同報通知を作成し、クラスタ間ネットワー
ク５を経由して他の全クラスタ２、３、４・・・に対し
該当ページ無効化要求を行う。これによりそのページを
保持するクラスタではこのページを無効化する。このよ
うにしてブロック書き込み処理によるデータの整合性を
保持できる。

【００１２】なお、ＣＰＵ１０では、このページが不必
要になったとき、主記憶装置１３に書き戻す。これによ
りキャッシュメモリ部から主記憶装置への書き戻しが自
クラスタ内で行うことができるので、このページを初め
に保持していたクラスタに転送する必要はない。このペ
ージを他のクラスタが必要とする場合には、前記の如き
同報通知で要求すればよい。

【００１３】

【作用】本発明により、クラスタ間でデータ転送を行う
場合にはアドレス変換のページ単位で行うので、データ
の転送効率を向上できる。またキャッシュメモリ部から
主記憶装置への書き戻しが、他のクラスタではなく自ク
ラスタの主記憶装置に行うので、これまたクラスタ間ネ
ットワーク５の負荷を軽くすることができる。

【００１４】

【実施例】本発明の一実施例を図１、図２にもとづき詳
述する。図１は本発明の概略構成図であり、図２は本発
明におけるＣＰＵの構成の１例である。

【００１５】本発明は、キャッシュメモリのブロックの
整合性を保証するためのプロトコルを直接規定するもの
ではないが、ここでは説明を簡単にするためにインバリ
デート（Ｉｎｖａｌｉｄａｔｅ）方式を想定する。イン
バリデート方式はキャッシュメモリへの書き込みを行う
場合に他のＣＰＵが同一アドレスのブロックを保持して
いれば、先ずそれらを無効にして自ＣＰＵのキャッシュ
メモリへの書き込みを行う方式であり、この方式では、
データが更新されていないダーテイ（Ｄｉｒｔｙ）でな
いブロックは複数のＣＰＵのキャッシュメモリに存在す
ることができるが、データが更新されたダーテイなブロ
ックは全システムで１つのＣＰＵにしか存在しないこと
が保証される。なお各クラスタ間を結合するクラスタ間
ネットワークの構成については本発明と直接関係がない
ので詳細な説明は省略する。

【００１６】本発明において、ＣＰＵは図２に示す如
く、キャッシュメモリ部１７、アドレス変換部２１、実
行部２２等を具備する。キャッシュメモリ部１７は、Ｃ
ＰＵ１がデータ処理に必要なブロックを保持するキャッ
シュメモリ１７−１、キャッシュメモリ１７−１にアク
セス制御を行うキャッシュメモリ制御部１７−２を有
し、このキャッシュメモリ制御部１７−２には、必要と
するブロックがキャッシュメモリ１７−１になく、同一
クラスタ内に存在するときにクラスタ内に同報を行うク
ラスタ内同報部１７−３を有する。なおキャッシュメモ
リ１７−１には、ブロックの外に各ブロックがどのよう
な状態にあるのかを示すブロック状態が記入されてい
る。またキャッシュメモリ１７−１は論理アドレスでア
クセスされる。

【００１７】アドレス変換部１８は、論理アドレスによ
りキャッシュメモリ１７−１に保持されているブロック
を主記憶装置１３に戻す場合に必要な物理アドレスに変
換するためのアドレス変換を行う外に、主記憶装置１３
上の各ページの状態を示すページ状態保持部２１−１及
び、データ処理に必要なブロックが自クラスタの主記憶
装置１３上に保持されていないときにこのブロックを含
むページを他クラスタに求めるためのページ要求命令を
出力する前記ページ要求部１８を有する。

【００１８】実行部２２は、ＣＰＵ１がデータ処理を行
うために必要な各種演算を行ったり、命令を解釈する外
に、データ処理に必要なブロックがその属するクラスタ
内に存在するか否かを判別し、なければページ要求部１
８に対して他のクラスタにページ要求の同報通知を行う
ように指示したり、ＣＰＵが読み出し要求又は書き込み
要求を行うとき、対象のブロックとページの状態に応じ
た、後記の処理を、識別テーブル２２−１を参照して行
うものである。

【００１９】次に各ＣＰＵの持つキャッシュメモリ１７
−１の各ブロックの取り得る状態は、インバリッド
（Ｉｎｖａｌｉｄ）、ダーテイ（Ｄｉｒｔｙ）、ク
リーン（Ｃｌｅａｎ）、シェアード（Ｓｈａｒｅｄ）
の４つであり、キャッシュメモリ１７−１にこれらのブ
ロックの状態も記入されている。次にこれらの状態につ
いて説明する。

【００２０】インバリッド：そのブロックが自ＣＰＵ
のキャッシュメモリ上には存在しない状態である。 ダーテイ：そのブロックが自ＣＰＵのキャッシュメモ
リ上にのみ存在しており、かつデータが更新されている
状態である。

【００２１】クリーン：そのブロックが自ＣＰＵのキ
ャッシュメモリ上にのみ存在しており、かつデータが更
新されていない状態である。 シェアード：そのブロックが他ＣＰＵのキャッシュメ
モリ上にも存在している可能性があり、かつデータが更
新されていない状態である。

【００２２】また自クラスタに保持されている各ページ
の取り得る状態は、インバリッド（Ｉｎｖａｌｉ
ｄ）、ダーテイ（Ｄｉｒｔｙ）、クリーン（Ｃｌｅ
ａｎ）、シェアード（Ｓｈａｒｅｄ）、スワップド
（Ｓｗａｐｐｅｄ）の５つであり、アドレス変換部２１
におけるページ状態保持部２１−１に記入されている。
次にこれらの状態について説明する。

【００２３】インバリッド：そのページが自クラスタ
には存在しない状態である。即ち自クラスタの主記憶装
置にも２次記憶装置にも存在しない状態である。 ダーテイ：そのページが自クラスタにのみ存在してお
り、且つデータが更新されている状態である。

【００２４】クリーン：そのページが自クラスタにの
み存在しており、且つデータが更新されていない状態で
ある。 シェアード：そのページが他クラスタにも存在してい
る可能性があり、且つデータが更新されていない状態で
ある。

【００２５】スワップド：そのページが自クラスタの
主記憶装置上にはなく、スワップアウトされて２次記憶
装置にのみ存在する状態である。 本発明では、各ＣＰＵにおける、Ａ読み出し要求と、Ｂ
書き込み要求は、対象のブロックとページの状態に応じ
て下記のように処理される。

【００２６】Ａ．読み出し ブロック状態がダーテイ、クリーン、シェアードのい
ずれかの場合 この場合は、自ＣＰＵでそのブロックを持っている場合
であるので、実行部２２はキャッシュメモリ１７−１を
アクセスしてこれを認識したとき、ページ状態にかかわ
らず、実行部２２はキャッシュメモリ１７−１からの読
み出しを行い、必要なブロックを得る。実行部２２はこ
のとき識別テーブル２２−１からブロック状態、ページ
状態を変化させる必要のないことを判別し、これらを変
化することはしない。

【００２７】ブロック状態がインバリッドであり、ペ
ージ状態がインバリッドの場合 この場合はこのクラスタには該当するデータが存在しな
い場合であり、実行部２２はキャッシュメモリ１７−１
及びページ状態保持部２１−１をアクセスしてこれを認
識したとき、実行部２２は識別テーブル２２−１を参照
して新しいページを自クラスタ内の主記憶装置上に割り
当てる必要があると判断し、アドレス変換部２１に対
し、そのブロックを含むページの読み取りを命令する。
これにもとづき、アドレス変換部２１では、そのページ
要求部１８ではそのブロックの先頭論理アドレスのペー
ジサイズに応じた下位アドレスのビット長をゼロ（例え
ばページサイズが４Ｋバイトのとき下位１２ビットを０
にする）にした論理アドレスと、ＣＰＵ番号とを含むペ
ージ要求命令をバス１６に送出する。

【００２８】これにもとづき、そのクラスタでは図１に
示すネットワークインタフェース１５がこれを受信し、
全クラスタに対する同報信号（必要とするページの先頭
論理アドレスとページサイズ、発信元クラスタ名、要求
元ＣＰＵ番号等を含む）を作成してこれをクラスタ間ネ
ットワーク５に送出する。クラスタ間ネットワーク５で
は、この同報信号を各クラスタ２、３、４・・・に送出
する。

【００２９】これを受信したクラスタでは、そのネット
ワークインタフェースがページ状態保持部２１−１をチ
ェックして該当ページの有無を判別する。もし自クラス
タがそのページを保有すればこれを要求元のクラスタに
送信する。このとき、該当ページが主記憶装置上にあれ
ば、これを送信するが、主記憶装置上ではなく、２次記
憶装置上にあれば、このページを一旦主記憶上に移して
から送信する。このようなクラスタ内処理は、クラスタ
内の複数のＣＰＵの１つを予めメインＣＰＵとして定め
ておき、そのＣＰＵに処理させる。論理ネットワークイ
ンタフェースが各ＣＰＵの動作を監視しておき、負担の
軽いものを判別して、それを指定して処理を行わせるこ
ともできるし、要求元のＣＰＵに処理を行わせることも
できる。また自クラスタ内に保持するページリストをネ
ットワークインタフェースに設けることにより、このよ
うな同報信号を受信したとき、必要とするページが自ク
ラスタ内に保持しているか否かを簡単に判断できる。

【００３０】このようにして他のクラスタから所望のペ
ージが転送されたとき、新しいページを自クラスタ内の
主記憶装置上に割り当ててこのページを取り込む。そし
て必要なデータを要求元のＣＰＵのキャッシュメモリ１
７−１に転送する。この処理の後に、実行部はページ状
態、ブロック状態ともシェアードとする。即ち、転送元
のクラスタ内のＣＰＵに同一のページ、ブロックが保持
されている可能性があるので、シェアードとする。ま
た、アドレス変換部２１におけるアドレス変換テーブル
の物理アドレスは、新しく作成した自クラスタ内の主記
憶装置上のページアドレスで書き換えられる。

【００３１】ブロック状態がインバリッドであり、ペ
ージ状態がダーテイ、シェアード、クリーンのいずれか
の場合 この場合には、ページがすでに自クラスタ内に存在する
ので、クラスタ内の他のＣＰＵのキャッシュが該当する
ブロックを持っていればこれを供給してもらう。このた
めキャッシュメモリ制御部１７−２内のクラスタ内同報
部１７−３が、必要とするブロックの先頭の論理アドレ
ス、ブロック長、発信元ＣＰＵ番号等を含むクラスタ内
同報信号を作成して、これをバス１６上に送出する。こ
れにより、このブロックを保持するＣＰＵのキャッシュ
メモリ制御部のクラスタ内同報部がこれを送信制御す
る。この場合にはページ状態は不変であり、ブロック状
態はシェアードになる。

【００３２】もし、同じクラスタの他のＣＰＵのキャッ
シュメモリに該当するブロックが存在しないときは、ア
ドレス変換の結果得られた物理アドレスに従って主記憶
装置からデータを読み出し、キャッシュメモリに保持す
る。この場合にはページ状態は不変であり、またブロッ
ク状態はクリーンとなる。

【００３３】ブロック状態がインバリッドであり、ペ
ージ状態がスワップドの場合 この場合には、該当するデータを含むページは、このク
ラスタの２次記憶装置にスワップアウトされているの
で、自クラスタ内の主記憶装置に新しいページを割り当
ててそこに目的のページを読み出し、さらに目的のブロ
ックを自ＣＰＵのキャッシュメモリに転送する。この処
理の後に、ページの状態、ブロックの状態ともクリーン
とする。またアドレス変換テーブルの物理アドレスは、
新しく作成した自クラスタ内の主記憶装置上のページア
ドレスで書き換えられる。

【００３４】Ｂ．読み込み 各ＣＰＵの書き込み要求は、対象とするブロックとペー
ジの状態に応じて下記のように処理される。いずれの場
合も書き込みの後に、ブロック状態、ページ状態ともダ
ーテイとする。

【００３５】ブロック状態：ダーテイ この場合はページ状態に拘らず（ページ状態は先のブロ
ック書き込みによりダーテイの筈ではあるが）、キャッ
シュメモリへの書き込みを行う。

【００３６】ブロック状態：クリーン ページ状態に拘らず（この場合、ページ状態は必ずクリ
ーンかダーテイの筈である）、キャッシュメモリへの書
き込みを行う。

【００３７】ブロック状態シェアード、ページ状態ク
リーン又はダーテイ この場合は、クラスタ内の他のＣＰＵに該ブロックが保
持されている可能性があるので、クラスタ内同報部１７
−３が、該当するブロックの無効化要求信号を共有のバ
ス１６に発行し、他のＣＰＵの保持する該ブロックを無
効化したあとで、キャッシュメモリへの書き込みを行
う。

【００３８】ブロック状態シェアード、ページ状態シ
ェアード この場合、他のＣＰＵに該当ブロックが保持され、他の
クラスタに該当するブロックを含むページが保持されて
いる可能性がある。従ってクラスタ内の共有のバス１６
にはそのブロックの無効化要求を発行してこれを無効化
し、またネットワークインタフェース１５に対して該当
するページの無効化要求を発行する。これによりネット
ワークインタフェースではこのページを無効化要求する
同報信号を作成してこれを接続ネットワーク５に送出
し、これにもとづき各クラスタ２、３、４・・・にこの
ページ無効化要求が同報され、該当ページの無効化が行
われる。その後にキャッシュメモリへの書き込みを行
う。

【００３９】ブロック状態インバリッド、ページ状態
インバリッド この場合には、自クラスタに該当するデータが存在しな
いので、同報通知により他のクラスタからのブロックを
含むページを取り込むことが必要である。このために新
しいページを自クラスタ内の主記憶装置上に割り当て、
他クラスタからページ単位でのデータ転送を行い、この
ページを主記憶装置に一旦記憶したのち、その中から必
要なデータをキャッシュメモリに転送する。またアドレ
ス変換テーブルの物理アドレスは、新しく作成した自ク
ラスタ内の主記憶装置上のページアドレスに書き換えら
れる。なおクラスタ間データ転送を要求するとき、全シ
ステムに該当するページの無効化要求も発行し、書き込
みにもとづく不整合性が存在しないようにする。

【００４０】ブロック状態インバリッド、ページ状態
ダーテイ又はクリーン この場合、必要とするブロックのページが自クラスタに
存在するので、クラスタ内の他のＣＰＵのキャッシュメ
モリが該当するブロックを持っていればそれを供給して
もらった上で書き込みを行うとともに、クラスタ内の同
一のキャッシュブロックを無効化する。もし他のＣＰＵ
のキャッシュメモリに該当するブロックがなければ、ア
ドレス変換の結果得られた物理アドレスに従って主記憶
装置からデータを読み出してキャッシュメモリに保持し
た上で書き込みを行う。

【００４１】ブロック状態インバリッド、ページ状態
シェアード この場合、必要とするページは自クラスタのみならず他
クラスタにも存在する可能性があるので、自クラスタの
ネットワークインタフェース１５を経由して、全システ
ムに該当するページの無効化要求を発行した後に、自ク
ラスタ内の他のＣＰＵのキャッシュメモリが該当するブ
ロックを持っていればそれを供給してもらった上で書き
込みを行うとともに、クラスタ内の同一物理アドレスの
キャッシュブロックを無効化する。もし他のＣＰＵのキ
ャッシュに該当するブロックがなければ、アドレス変換
の結果得られた物理アドレスに従い、主記憶装置からデ
ータを読み出した上で書き込みを行う。

【００４２】ブロック状態インバリッド、ページ状態
スワップド この場合、該当するデータを含むページは、このクラス
タの２次記憶装置にスワップアウトされているので、自
クラスタ内の主記憶装置に新しいページを割り当ててそ
こに目的のページを読み出し、さらに目的のブロックを
自ＣＰＵのキャッシュメモリに転送した上で書き込みを
行う。なおアドレス変換テーブルの物理アドレスは新し
く作成した自クラスタ内の主記憶上のページアドレスで
書き換えられる。

【００４３】

【発明の効果】本発明により、クラスタ間のデータ転送
をブロック単位ではなく、ページ単位で行うので、クラ
スタ間の大量のデータ転送を効率的に行うことができる
とともに、データ転送の回数を大幅に減少することが可
能となる。

【００４４】しかも、キャッシュメモリのムーブアウト
処理をそのクラスタ内に閉じ込めることができるので、
これまたクラスタ間の通信量を低減させることができ
る。

【図面の簡単な説明】

【図１】本発明の概略構成図を示す。

【図２】本発明におけるＣＰＵの構成の１例である。

【符号の説明】

１、２、３、４ クラスタ ５ 接続ネットワーク １０、１１、１２ ＣＰＵ １３ 主記憶装置 １４ ２次記憶装置 １５ ネットワークインタフェース １６ 共有のバス １７ キャッシュメモリ １８ ページ要求部

Claims (1)

【特許請求の範囲】
1. 【請求項１】 少なくとも１つのＣＰＵと、主記憶装置
   を有するクラスタ（１）、（２）、（３）、（４）・・
   ・を複数個ネットワーク（５）で結合した、分散共有メ
   モリシステムを有するデータ処理装置において、 クラスタに、キャッシュブロックに必要なブロックを含
   むページ要求手段（１８）を設け、このページ要求手段
   （１８）からの要求にもとづく同報信号をネットワーク
   （５）から他のクラスタに伝送し、またこれに基づき他
   のクラスタから伝送されたページを要求元のクラスタの
   主記憶装置に保持するようにしたことを特徴とする分散
   共有メモリシステムを有するデータ処理装置。