JPH061463B2

JPH061463B2 - マルチプロセッサ・システムおよびそのプライベート・キャッシュ制御方法

Info

Publication number: JPH061463B2
Application number: JP2004668A
Authority: JP
Inventors: 茂則清水; 盛幹小原
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1990-01-16
Filing date: 1990-01-16
Publication date: 1994-01-05
Anticipated expiration: 2009-01-05
Also published as: EP0438211B1; DE69130580T2; JPH03217963A; DE69130580D1; EP0438211A2; EP0438211A3; US5228136A

Description

【発明の詳細な説明】以下の順でこの発明を説明する。

Ａ．産業上の利用分野Ｂ．従来の技術Ｃ．産業上の利用分野Ｄ．問題点を解決するための手段Ｅ．実施例Ｅ１．実施例の構成（第１図〜第４図）Ｅ２．実施例の動作（第１図〜第４図）Ｅ３．実施例の効果（第５図〜第７図）Ｅ４．実施例の変形Ｆ．発明の効果Ａ．産業上の利用分野この発明は複数のプロセッサがプライベート・キャッシ
ュを介して共有バスおよび共有メモリに接続しているマ
ルチプロセッサ・システムに関し、とくに各プライベー
ト・キャッシュがわに制御装置を設け共有バス上の信号
を監視することによってプライベート・キャッシュにお
けるデータの操作、たとえばプライベート・キャッシュ
間のデータの一貫性を維持する操作を行う、いわゆるス
ヌープ・キャッシュを有するマルチプロセッサ・システ
ムおよびそのプライベート・キャッシュ制御方法に関す
る。

Ｂ．従来の技術複数台のプロセッサがそれぞれプライベート・キャッシ
ュを持ち、共有バスによって相互接続される密結合マル
チプロセッサ・システムが提案され、実用化されつつあ
る。

複数のプロセッサは、同じく共有バスに接続される共有
メモリをリード・ライトする。もしプライベート・キャ
ッシュが無い場合を考えると、各プロセッサの発生する
共有メモリへのリード・ライトはすべて共有バスを介し
て行なわれる。そのため共有バスの使用率が高くなり、
プロセッサの台数を増やしてもシステムの性能はある限
界以上に向上しない。

そこで、各プロセッサにプライベート・キャッシュを搭
載することによって、共有メモリ内データの一部のコピ
ーをキャッシュ・メモリに持ち、データのリード・ライ
トをキャッシュ内で処理して、共有バスと共有メモリを
できるだけ使わずに済ませる方式がある（マルチキャッ
シュ・システム）。ところで、この方式では、各プロセ
ッサがそれぞれのキャッシュ内で同じアドレスのデータ
を勝手に書き替えてしまうと、同一時刻に同一アドレス
のデータが異なる値をとる可能性が生じる。そして同一
時刻、同一アドレスのデータ間で値がことならないよう
にする工夫が必要であった。ここで、どのプロセッサか
ら見ても同じアドレスには同じ値が入っているように見
えることをデータの一致性（コンシステンシ）と呼ぶ。

コンシステンシを保証するひとつの方法としてスヌープ
・キャッシュ方式がある。スヌープ・キャッシュ方式
は、各プロセッサのキャッシュ制御装置が共有バスを常
時監視することによって、キャッシュ間のコンシステン
シを保つものである。即ち、あるプロセッサが自分のキ
ャッシュ内にあるデータを更新するとき、他のプロセッ
サのキャッシュにもそのコピーがあると、どのアドレス
のデータをどう書き替えたかという情報を共有バス上に
流す。他のプロセッサのキャッシュ制御装置はそれを見
て、自分のキャッシュ内にあるデータを更新（アップデ
ート）するか、もしくは無効化（インバリデート）する
ことによってコンシステンシを保つ。

従来のスヌープ・キャッシュ方式では、共有データに対
する書き込みが起こったとき、他のキャッシュに存在す
るコピーを更新するか無効化するか、どちらか一方の方
式をとっていた。以後、更新する方式をアップデート方
式、無効化する方式をインバリデート方式と呼ぶことに
する。例えば、米国ゼロック社のＤｒａｇｏｎや米国デ
ジタル・イクイップメント・コーポレーション社のＦｉ
ｒｅＦｌｙはアップデート方式、カリフォルニア大学の
ＳＰＵＲはインバリデート方式を用いている。日本アイ
・ビー・エム社の東京基礎研究所で開発されたＴＯＰ−
１（開発雛形）は、アップデート方式とインバリデート
方式とをプログラムで選択的に切り換えることができる
ように設計されている。

ところで、この２方式は、複数のキャッシュ間のコンシ
ステンシを保つという意味では等価で、キャッシュ内の
データを更新（アップデート）しても無効化（インバリ
デート）してもコンシステンシ上はかまわないが、性能
という観点からは一長一短がある。

まずアップデート方式は、複数のプロセッサが、非常に
密に共有するデータを扱うのに適している。つまり、密
に共有するデータに対してインバリデート方式を用いる
と、１台のプロセッサがその領域をライトするたびに他
のキャッシュ内のコピーを無効化してしまい、他のキャ
ッシュがその領域をリード・ライトするときに必ずキャ
ッシュ・ミスになって共有バスにアクセスが必要とな
る。その点アップデート方式では、コピーを持つキャッ
シュすべてが同時に更新されるので、共有バスを使うこ
となく当該データを読むことができる。例えば、一般的
にアップデート方式は、生産者−消費者モデルの並列プ
ログラムに用いられるバッファや、プロセッサ間の同期
に使われるセマフォアなどに適している。

他方、インバリデート方式は、ある１台のプロセッサで
排他的に使用されるデータや共有アクセスがあまり発生
しない共有データに応用するのが望ましい。本来、ある
１台のプロセッサにおいて専有されていたデータである
にもかかわらず、ページングやプロセス・マイグレーシ
ョンによって見かけ上共有データになってしまった場合
には、不要な共有データがシステム中に残ることにな
り、性能低下の原因となる。このような環境ではインバ
リデート方式が有効に働く。

ゆえに、どちらかの方式をとるのが望ましいかは一概に
決まらず、実行されるプログラムの性質や個々のプロセ
ッサの動作状況に依存する。いろいろなデータアクセス
の状況において、いつも良い性能を提供するプロトコル
は実現困難であった。

前述のＤｒａｇｏｎ、ＦｉｒｅＦｌｙ、ＳＰＵＲはどち
らか一方の方式のみ実現されている。したがって場合に
よっては好ましい性能を提供できない。また、ＴＯＰ−
１では上記の２方式を選択的に切り換えることができる
ようにっているが、ソフトウェアで２方式を制御してい
る。したがってどのように切替るかの問題が残ってお
り、その態様によっては十分な性能を引きだせない場合
も考えられる。

Ｃ．発明が解決しようとする問題点この発明は以上の事情を考慮してなされたものであり、
インバリデート方式とアップデート方式の２つのプロト
コルを動的に最適に切り換える制御機構を提供すること
目的としている。これにより、共有バスのトラフィック
を減少させ、システムの性能を向上させることが出来
る。

さらに、同じ機構を応用して、新たなキャッシュ・プロ
トコルを導入して、共有バスのトラフィックをさらに減
少させるキャッシュの制御を行うことも目的としてい
る。

Ｄ．問題点を解決するための手段通常、プロセッサは短い時間では限られた領域のメモリ
をくりかえしアクセスしている。この領域をワーキング
・セットという。この発明では、共有データに書きこみ
が発生したとき、そのデータがワーキング・セットに含
まれているかどうか検出し、含まれていればアップデー
ト方式、含まれていなければインバリデート方式でキャ
ッシュのコンシステンシを制御する。ワーキング・セッ
ト内のデータは、プロセッサにより使われる確率が高
い。そこで、ワーキング・セット内のデータをアップデ
ートすることにより、そのプロセッサはバスを使用する
ことなく、最新のデータにアクセスできる。逆に、ワー
キング・セット外のデータは、プロセッサにより使われ
る確率が低い。ところが、このデータはキャッシュの中
に存在する以上、他のプロセッサが書きこみを行うたび
にバスを使ってアップデートされなければならない。以
上の点を考慮して、ワーキング・セット外のデータをイ
ンバリデートすることにより、不必要なアップデートの
ためのバス・トラフィックを少なくする。

さらに、上記のワーキング・セットの検出機構を利用し
て、オール・リード（ ALL-READ）という新たなキャ
ッシュ・プロトコルを導入し、システムの性能を向上さ
せる。スヌープ・キャッシュを用いたマルチプロセッサ
・システムでは、同一番地のデータやコードをいくつか
のプロセッサで共有することが頻繁にある。この場合、
通常のスヌープ・キャッシュ・プロトコルでは、それぞ
れのプロセッサがバスを使用して、同一番地のデータや
コードを繰返し各自のキャッシュ中にロードすることに
なる。あるプロセッサがある番地のデータあるいはコー
ドに対してリード・ミスを起こして、バスを使用してキ
ャッシュ中にロードする時、そのデータあるいはコード
を使用するであろう他のキャッも自動的に自キャッシュ
中に取り込むことができれば、システム性能が大幅に向
上するが、従来方式では、そのデータあるいはコードの
使用性を、他のキャッシュが先見的に予測することがで
きないため、リード・データのブロードキャストを効率
よく実現することは不可能である。この発明では、上述
のワーキング・セット検出機構を使って、ワーキング・
セット内のデータのみオール・リードを適用する。これ
により、効率良くオール・リードを実現し、バスのトラ
フィックを減少させシステムの性能を向上させる。

Ｅ．実施例Ｅ１．実施例の構成以下この発明の実施例を説明する。第１図はマルチプロ
セッサ・システムの全体図である。この図において、複
数のプロセッサＰ₁、Ｐ₂、・・、Ｐ_nがキャッシュＣ₁、
Ｃ₂、・・Ｃ_nを経由して共有バス１および共有メモリ２
に接続されている。これらのキャッシュＣ₁、Ｃ₂、・・
Ｃ_nは、プロセッサＰ₁、Ｐ₂、・・、Ｐ_nの平均メモリ・
アクセススピードをはやめるだけでなく、共有バス１の
信号をモニタ（以後これをスヌープと呼ぶ）することに
より、キャッシュＣ₁、Ｃ₂、・・Ｃ_n相互間のコンシス
テンシを保つ機能を持っている。

各キャッシュＣは第２図のように構成される。キャッシ
ュ基本制御部３は、キャッシュＣがプロセッサＰからア
クセスされたとき、およびバス１のスヌープを行うとき
のキャッシュＣ全体の基本的な制御を行う。データ・メ
モリ４は、主記憶（共有メモリ２）の一部のコピーを記
憶する高速なメモリである。プロセッサＰはほとんどの
場合、主記憶にアクセスすることなく、このデータ・メ
モリ４から必要なデータの読み書きができる（データの
アクセスはたとえば４バイト単位で行なわれる）。この
ため、プロセッサＰの平均メモリ・アクセスが速くな
る。モード切換制御部５が、この発明により新たに考案
された部分である。このモード切換制御部５は、プロセ
ッサＰのメモリ・アクセスとバス１上のメモリ・アクセ
スをモニタすることにより、キャッシュ基本制御部３が
キャッシュＣ間のコンシステンシを効率よくを保てるよ
うに、キャッシュＣのモードを切換る。

第３図にキャッシュ基本制御部３の内部を示す。この制
御部３には、プロセッサＰとバス１の両方からそれぞ
れ、アクセス制御信号とアドレス信号が入力される。キ
ャッシュ基本制御部３にはタグ・メモリ６があり、この
キャッシュＣがコピーを持っている主記憶のアドレスが
保持されている。この制御部５は、プロセッサＰからア
クセスされたときや、バス１のスヌープを行うときに、
そのアドレスのデータがキャッシュＣに記憶されている
かどうか調べ、キャッシュＣの適当な制御を行う。

第４図にモード切換制御部５の内部を示す。この制御部
は、ｎ個のワーキング・セット・メモリ（以下ＷＳ
Ｍ₁、ＷＳＭ₂、・・、ＷＳＭ_nまたは総じてＷＳＭと呼
ぶ）とｎ入力のＯＲ回路７からなる。ＷＳＭはカウンタ
８、アドレス・タグ９、バリッド・フラグ１０、２つの
コンパレータ１１、１２と、ＷＳＭの制御を行う制御回
路１３から構成される。各ＷＳＭには、ワーキング・セ
ットに含まれる１つの記憶ブロック（たとえば４Ｋバイ
ト単位）が登録されている。モード切換制御部５は、プ
ロセッサＰやバス１上のアクセスのアドレスがワーキン
グ・セットの記憶ブロックに含まれるかどうか調べる。
ワーキング・セット中のｎ個の記憶ブロックのいずれか
に含まれていれば、ＯＲ回路７の出力が１になり、前述
のキャッシュ基本制御部３のモードをアップデートに
し、そうでなければＯＲ回路７の出力が０になり、キャ
ッシュ基本制御部３のモードをインバリデートにする。

Ｅ２．実施例の動作（１）モード切換制御部の動作プロセッサＰは短い時間で見ると、非常にかぎられたメ
モリ空間（限られた数の記憶ブロック）を頻繁にアクセ
スしている。この空間をワーキング・セットという。Ｗ
ＳＭは、このワーキング・セットを検出して、それに属
する記憶ブロックを登録する。プロセッサＰやバス１上
のメモリ・アクセスに対して、そのアドレスが登録した
ワーキング・セットにあるかどうか調べる。また、ワー
キング・セットは長い時間では変化しているので、使わ
れなくなった記憶ブロックはＷＳＭから削除される。以
下、第４図を使ってモード切換制御部５の動作について
説明する。

第４図のアドレス・タグ９は、ワーキング・セットに登
録されている記憶ブロックのアドレスを保持している。
ここでは、プロセッサＰのアドレス空間を２のＭ乗バイ
ト、ワーキング・セットの記憶ブロックの管理区画の大
きさを２のｗ乗バイトとすると、アドレス・タグは、ア
ドレスの上位（Ｍ−ｗ）ビットを記憶している。バリッ
ド・フラグ１０は、ＷＳＭがワーキング・セットとして
有効な記憶ブロックのアドレスを記憶しているかどうか
を示す。プロセッサＰかバス１でメモリ・アクセス要求
を行うと、各ＷＳＭはそのアドレスの上位（Ｍ−ｗ）ビ
ットとアドレス・タグ９の内容とをコンパレータ１１で
比較する。上位アドレスが一致して、かつバリッド・フ
ラグ１０のビットが１であれば、そのアクセスはワーキ
ング・セット内へのものであり、ＯＲ回路７の出力が１
になる。

ワーキング・セットに属する記憶ブロックの登録は以下
のようにして行なわれる。プロセッサＰからのメモリ・
アクセス要求があり、それがワーキング・セットのいず
れの記憶ブロックにも含まれない場合、そのアドレスは
新たなワーキング・セットの記憶ブロックのアドレスと
して登録される。これには、ｎ個のＷＳＭの内、バリッ
ド・フラグ１０のビットが０であるＷＳＭの一つについ
て、アドレス・タグ９にアドレスの上位（Ｍ−ｗ）ビッ
トを書きこみ、バリット・フラブ１０を１にするだけで
良い。もしこの時、すべてのＷＳＭのバリッド・フラグ
１０のビットが１のときは新たなワーキング・セットは
登録されない。

つぎに、ワーキング・セットからの記憶ブロックの削除
について述べる。ワーキング・セットは、一度登録され
ても、それがプロセッサＰによって使われなくなれば、
ＷＳＭから削除される。これにはＷＳＭのカウンタ８が
使われる。このカウンタ８は、プロセッサＰからのメモ
リ・アクセス要求があるとインクリメントされる。さら
に、プロセッサＰからのメモリ・アクセス要求がそのＷ
ＳＭのワーキング・セットの記憶ブロック内であれば、
カウンタ８はクリアされる。すなわち、このカウンタ８
はプロセッサＰがワーキング・セット中の対応する記憶
ブロックに最後にアクセスしてから、何回その記憶ブロ
ック以外の記憶領域にアクセス捨ているかを示してい
る。このカウンタ８がオーバーフローしたとき、もはや
そのワーキング・セッド中の記憶ブロックはプロセッサ
Ｐに使われなくなっとと見なされ、バリット・フラグ１
０のビット１をクリアして、その記憶ブロックをワーキ
ング・セットからを削除する。

この実施例では、以上のようにして、ワーキング・セッ
トをＷＳＭ上に記憶する。以下では、モード切換制御部
５の出力（第４図のＯＲ回路の出力）によってプロトコ
ルの動的な最適化とリード・ブロードキャストの制御を
行う方法を述べる。

（２）プロトコルの動的な最適化制御第１図の各キャッシュＣは、バス１をスヌープしてい
る。キャッシュ基本制御部３（第２図）は自分がコピー
を持つデータへの書込みをバス１上に発見すると、その
コピーをインバリデートするか、アップデートすること
によって、キャッシュＣ相互間のコンシステンシを保
つ。自分がコピーを持つデータへの書込みがある場合、
この実施例では、モード切換制御部５により、そのデー
タがワーキング・セットに含まれているかどうかわか
る。もしそのデータが自分のワーキング・セットに入っ
ていれば、キャッシュ基本制御部３はアップデート方式
で処理を行う。また、ワーキング・セットに入っていな
ければ、インバリデート方式で処理を行う。ワーキング
・セット内のデータは頻繁に使われるので、アップデー
ト方式の方が効率がよく、ワーキング・セット外のデー
タは頻繁にアクセスされないので、インバリデート方式
の方が効率がよい。このように、共有データへの書込み
がワーキング・セット中へかどうかによってプロトコル
を切り換え、効率良くキャッシュＣ間のコンシステンシ
を保持する。

（３）オール・リードの制御通常のキャッシュを使ったバス結合マルチプロセッサ・
スシテムでは、キャッシュ・ミスが発生すると、各プロ
セッサＰは個別にバス１を使用してメモリ２からデータ
をキャッシュＣに読みこむ。このため、各プロセッサＰ
が大量の同じデータを共有して処理を進める場合には、
異なるプロセッサＰがそれぞれバス１を使用して同じデ
ータを読むことになる。この場合、一つのプロセッサＰ
がデータを読んだとき他のプロセッサＰのキャッシュＣ
にもデータを転送できれば、バス１の使用率を大幅に下
げシステムの性能を向上させることができる。この方式
を、オール・リードと呼ぶことにする。

この方式は、但し、他のプロセッサＰのキャッシュＣ内
にすでにストアされたデータを追い出して、新しいデー
タをストアするので、以下の点で注意が必要である。

ｉ）ブロードキャストを行うプロセッサの選択一つのバス１で結合されたプロセッサＰはすべてが、同
じ共有データで処理を行うとは限らないので、共有デー
タの転送が必要なプロセッサＰのみにブロードキャスト
を行う必要がある。

ｉｉ）プロセッサＰ間の同期同じ共有データを処理しているプロセッサＰ間でも、プ
ログラム上でいつも同期がとられているとは限らないの
で、一つのプロセッサＰがオール・リードを実行したと
きに、他のプロセッサＰがそのデータを必要としている
かどうか一般には明らかでない。このため、共有データ
の転送を必要とするプロセッサＰを動的に選択してブロ
ードキャストを行う必要がある。

以上のような注意を払わないと、このオール・リードは
キャッシュＣ中の本来必要なデータを追い出して、シス
テムの性能をかえって低下させる可能性もある。

この実施例では、ワーキング・セットの検出機能を使っ
て、このオール・リードを効率よく実現する。あるプロ
セッサＰがオール・リードを実行すると、オール・リー
ド要求がバス１に出力される。このとき、他のプロセッ
サＰのモード切換制御部５はそのアドレスがワーキング
・セットの記憶ブロックに含まれているかどうか調べ
る。もしそのアドレスが自分のワーキング・セットの記
憶ブロックに入っていれば、キャッシュ基本制御部３は
そのデータをデータ・メモリ４に取り込む。また、ワー
キング・セットに入っていなければ取り込まない。この
方式により、ブロードキャストされた共有データを使用
しないプロセッサＰは、データを取り込まないので、
ｉ）で述べたような問題が解決される。またｉｉ）に関
しても、プロードキャストが実行されたとき、そのデー
タを使用していないプロセッサＰはデータを取り込まな
い。これに対して、複数のプロセッサＰが同じ共有デー
タの大きなブロックを必要としているときには、次のよ
うにしてオール・リードが実現される。

１）最初の共有データへのアクセスは、それぞれのプロ
セッサＰがバス１を使用してデータを読みこむ（通常の
アクセス）。このときそのデータを含むワーキング・ブ
ロックが各プロセッサのワーキング・セットに登録され
る。

２）つぎに、いずれかのプロセッサＰが同じ共有データ
・ブロックの次のデータをオール・リードで読みこむ。
このデータは、１）で登録されたワーキング・セット内
にあるので、他のプロセッサＰはそのデータを取り込
む。

このようにして、最初のリードは通常のアクセスが行な
われるが、それ以降の同じワーキング・ブロックへのリ
ードについては、オール・リードを効率よく使って、バ
スのトラフィックを減し、システムの性能を向上させる
ことができる。

Ｅ３．実施例の効果この実施例によれば、プロトコルの動的な最適化制御や
オール・リードの制御により、マルチプロセッサにおけ
るバスのトラッフィックを減らし、システムの効率を向
上させることができる。以下では、マルチプロセッセで
見られる典型的な事例を使って、実施例の効果を具体的
に示す。

１）プロトコルの動的な最適化制御による効果ａ．スピン・ロックスピン・ロックは、マルチプロセッサでクリティカル・
セクションの排他制御のために用いられる典型的な手法
である。第５図に、スピン・ロックの概念図を示す。こ
の場合、各プロセッサＰはクリティカル・セクションに
入るときに、ある共有変数の値を１にセットし、出ると
きに０にリセットする。各プロセッサＰは、クリティカ
ル・セクションに入る前にその共有変数の値を調べ、１
であれば０になるまで待つ。５図のプログラムを説明す
ると、（１）共有変数ｘを読む（２）読みこんだｘを１と比較する（３）比較した結果、ｘが１であれば、ｌｏｏｐにジャ
ンプする（４）（３）でｘが０であれば、ｘをもう一度１かどう
か調べ、１にセットする。（４）の命令は比較とセット
を不可分に実行する。

（５）（４）で、ｘが０でなければ、ｌｏｏｐにジャン
プする（６）クリティカル・セクションの本体を実行する（７）最後に、ｘを０にリセットする今、１０台のプロセッサＰ（第１図でｎを１０とする）
を結合したマルチプロセッサについて、１台のプロセッ
サＰ₁がクリティカル・セクションを実行中で、その他
の９台のプロセッサＰ₂〜Ｐ₁₀クリティカル・セクショ
ンに入るために、ｘが０になるのを待っているとする。
ここで、共有変数ｘについてのキャッシュＣの動作を考
える。

プロセッサＰ₁が（７）でｘに書きこむ。このとき、他
のキャッシュＣはｘのコピーを持っているので、キャッ
シュ制御回路はキャッシュＣのコンシステンシを保つよ
うに動作する。インバリデーション方式では、プロセッ
サＰ₂〜Ｐ₁₀のｘのコピーはインバリデートされる。こ
のとき、これらのプロセッサＰは（１）〜（３）のプロ
グラムを実行しているので、（１）でキャッシュのリー
ド・ミスが発生し、バスを使ってｘのコピーが読みこま
れる。このため、プロセッサＰ₁の（７）での書きこみ
と、プロセッサＰ₂〜Ｐ₁₀の（１）でのリード・ミスに
より、合計１０回のバス・トラフィックが発生する。こ
れに対して、アップデート方式では、プロセッサＰ₁が
（７）で書きこみを行ったとき、プロセッサＰ₂〜Ｐ₁₀
のｘのコピーはアップデートされる。このため、プロセ
ッサＰ₂〜Ｐ₁₀は、（１）でリード・ミスを発生しな
い。よって、合計のバス・トラフィックはプロセッサＰ
₁の（７）での書きこみ１回のみである。

実施例によると、プロセッサＰ₂〜Ｐ₁₀が（１）〜
（３）のループを実行している間は、ｘはプロセッサＰ
₂〜Ｐ₁₀のワーキング・セットに含まれている。そこ
で、プロセッサＰ₁が（７）でｘに書きこんだとき、プ
ロセッサＰ₂〜Ｐ₁₀のモード切換制御部５は、キャッシ
ュ基本制御部３に対して、アップデート方式でキャッシ
ュＣ間のコンシステンシを保つように指示する。このた
め、上で述べたように、全体のバス・トラフィックが減
り、システムの効率が向上する。

ｂ．プロセス・マイグレーション前述の例は、アップデート方式がインバリデート方式よ
りすぐれている場合であるが、その逆の例もある。汎用
のマルチプロセッサでは、プログラムはマルチプロセス
環境で実行される。通常、プロセスの個数よりプロセッ
サＰの個数の方が少ないので、マルチプロセッサの制御
プログラムは、プロセッサＰに割当てるプロセスを一定
の条件の下に切り換ている。これをプロセスに注目して
考えると、プロセスはあるプロセッサＰに割当てられた
後、制御プログラムによって実行を中断され、またある
時に再度プロセッサＰに割当てられ実行を再開する。こ
のとき、一般的には、プロセスは以前に割当てられてい
たプロセッサＰと異なるプロセッサＰに割当てられるこ
とがある。このようにして、プロセスがプロセス切り換
えによって、プロセッサＰ間を移っていくことをプロセ
ス・マイグレーションと呼ぶ。

アップデート方式では、共有データへの書き込みはバス
１に出力され、他のプロセツサＰのキャッシュＣのコピ
ーを更新する。そこで、共有データが大変多くなると、
バス１の使用率が高くなってしまう。プロセス・マイグ
レーションがおこるとプロセスは異なるプロセッサＰで
実行されるが、以前にそのプロセスが実行されていたプ
ロセッサＰのキャッシュＣは、そのプロセスの使ってい
たデータのコピーを持ったままである。このため、その
プロセスの使うデータは現在のプロセッサＰと以前のプ
ロセッサＰのキャッシュ間で共有されてしまう。このよ
うな共有データを疑似共有データと呼ぶことにする。プ
ロセス・マイグレーションがおこるとこのようにして共
有データが大変多くなり、アップデート方式のプロトコ
ルではバス使用率が高くなるため、システムの性能に影
響を与える。

一方、インバリデート方式のキャッシュＣでは、プロセ
ス・マイグレーションによるシステムの性能の低下は非
常に少ない。それというのは、疑似共有データに一度書
き込みが発生すると、プロセスが以前に実行されていた
プロセッサＰのキャッシュＣにある疑似共有データは、
無効化されてしまい、非共有データとなるからである。
よって、各疑似共有データについては、最初の一回の書
き込みはバスに出力されるが、以降はバス１を使用しな
いですむ。

この実施例によれば、ワーキング・セット内のデータは
アップデート方式、それ以外はインバリデート方式で、
キャッシュＣのコンシステンシを制御する。さらに、プ
ロセス・マイグレーションがおこると、プロセスのワー
キング・セットは、以前にそのプロセスを実行していた
プロセッサＰのキャッシュＣのワーキング・セット・メ
モリから削除される。このため、疑似共有データはイン
バリデート方式で処理される。

以上のように、キャッシュのコンシステンシを制御する
プロトコルは、インバリデート方式がよい場合と、アッ
プデート方式がよい場合がある。この実施例によると、
これらのプロトコルを効率のよい方に自動的に切り換え
ることができるため、システムの性能を向上させること
ができる。

２）オール・リードによる効果ここでは、２次元行列の掛算の場合について、オール・
リードが有効であることを示す。ここでは、第６図に示
したように、１２０ｘ１２０の行列２つをそれぞれ９個
の部分行列に分割し、掛算を行う。９台のプロセッサＰ
₂〜Ｐ₉は第７図に示したように、部分行列の掛算を行
う。また、行列の１つの要素は３２ビット（４バイト）
で、バス１の１回の転送で３２ビットのデータが転送さ
れるとする。

ｉ．通常のプロトコルを使った場合第７図に示された通り、各プロセッサＰは部分行列の掛
算を３回行うので、６個の部分行列を読みこむ。各部分
行列は１６００個の要素を持ち、一回の転送で１個の要
素が転送されるので、各プロセッサＰは９６００（＝１
６００ｘ６）回のバス転送を要求する。さらに、９台の
プロセッサＰが独立にバス転送を行うので、システム全
体では、８６４００（＝９６００ｘ９）回のバス転送が
必要である。

ｉｉ．オール・リードを使った場合第７図によると、各部分行列は３つのプロセッサＰから
参照される。オール・リードを使うと、ワーキング・セ
ット含まれるデータについては、１回の転送で複数のキ
ャッシュＣに読みこむことができる。ここでは、各部分
行列の要素は連続したメモリ領域に配置されているもの
とする。例えば、Ａ１１について考えてみると、Ａ１１
はプロセッサＰ₁、プロセッサＰ₂、プロセッサＰ₃の３
プロセッサＰから参照される。Ａ１１の最初の要素につ
いては、個別にバスを使ってデータを読みこむ。このと
き、Ａ１１の配置されているメモリ領域がこれらのプロ
セッサＰのワーキング・セットとして登録される。この
ため、２番目以降のＡ１１の要素は、これらのプロセッ
サＰの一つがバス１を使って読みこむと他の２つのプロ
セッサＰのキャッシュにも読みこまれる。このため、Ａ
１１を３つのプロセッサＰが読みこむために必要なバス
転送回数は、１６０２（＝３＋１５９９）回となる。他
の８個の部分行列についても同様である。よって、行列
の掛算に必要なバス転送回数の合計は、１４４１８（＝
１６０２ｘ９）回となる。

このように、通常のプロトコルでは８６４００回必要で
あったバス転送を、オール・リードを使うことによって
１４４１８回に減らすことができる。

Ｅ４．実施例の変形以上実施例に即してこの発明を詳述したが、この発明は
実施例に限定されるものではなく種々の変形が可能であ
る。たとえばアクセス・データがワーキング・セットに
属するかどうかの判別に変えてＬＲＵの手法を採用して
もよい。要するに局所性のあるデータについてはアップ
デート手法を採り、局所性のないデータについてはイン
バリデート手法を採ればよい。

Ｆ．発明の効果以上説明したようにこの発明によれば、インバリデート
方式とアップデート方式の２つのプロトコルを動的に最
適に切り換える制御機構を提供することができる。これ
により、共有バスのトラフィックを減少させ、システム
の性能を向上させることができる。さらに、同じ機構を
応用して、新たなキャッシュ・プロトコルを導入して、
共有バスのトラフィックをさらに減少させることができ
る。

【図面の簡単な説明】

第１図はこの発明の１実施例の全体構成を示すブロック
図、第２図は第１図例のプライベート・キャッシュの構
成を示すブロック図、第３図は第２図のキャッシュ基本
制御部の構成を示すブロック図、第４図は第２図のモー
ド切換制御部の構成を示すブロック図、第５図、第６図
および第７図は上述実施例の応用例を示す図である。Ｐ…プロセッサ、Ｃ…プライベート・キャッシュ、１…
共有バス、２…共有メモリ、３…キャッシュ基本制御
部、４…データ・メモリ、５…モード切換制御部、ＷＳ
Ｍ…ワーキング・セット・メモリ。

Claims

【特許請求の範囲】

【請求項１】複数のプロセッサがそれぞれのプライベー
ト・キャッシュを介して共有バスおよび共有メモリに接
続され、かつ上記プライベート・キャッシュの各々に設
けられた制御装置が上記共有バス上の信号を監視して、
当該プライベート・キャッシュを含む２以上のプライベ
ート・キャッシュで共有される共有データについて上記
２以上のプライベート・キャッシュのいずれかで更新書
込みがあったときに共有データ間の不一致を解消するよ
うにデータ一貫性維持手続きを実行するマルチプロセッ
サ・システムにおいて、上記プライベート・キャッシュのそれぞれに、当該プライベート・キャッシュのデータに対して上記一
貫性維持手続きが必要なときにそのデータがワーキング
・セットに属する記憶ブロックに含まれるかどうかを判
別する判別手段と、少なくとも２種類のデータ一貫性維持手続きを選択的に
実現でき、上記判別手段の判別結果に応じた種類の一貫
性維持手続きを実行する一貫性維持手続き実行手段とを
設けることを特徴とするマルチプロセッサ・システム。
【請求項２】上記判別手段は、上記ワーキング・セットに含まれる複数の記憶ブロック
の識別子を記憶する記憶手段と、当該プライベート・キャッシュに対応するプロセッサま
たは他のプロセッサによりアクセスされるデータを含む
記憶ブロックの識別子が上記記憶手段に記憶されている
識別子かどうかを判別する手段とを有する特許請求の範
囲第１項記載のマルチプロセッサ・システム。
【請求項３】当該プライベート・キャッシュのワーキン
グ・セットに属しない任意の記憶ブロックに含まれるデ
ータが、当該プライベート・キャッシュに対応するプロ
セッサによってアクセスされたときに、上記任意の記憶
ブロックを上記ワーキング・セットに属させるように
し、さらに当該プライベート・キャッシュのワーキング
・セットに属する任意の記憶ブロックの他の記憶ブロッ
クに含まれるデータが、当該プライベート・キャッシュ
に対応するプロセッサによって所定回数アクセスされ、
かつその間に上記任意の記憶ブロックに含まれるデータ
が上記プロセッサによってアクセスされないときに、上
記任意の記憶ブロックを上記ワーキング・セットから外
すようにする特許請求の範囲第２項記載のマルチプロセ
ッサ・システム。
【請求項４】上記データ一貫性維持手続きは、１のプラ
イベート・キャッシュで共有データに更新書込みがあっ
たときに当該プライベート・キャッシュの当該共有デー
タの状態表示を占有に変え、かつ他のプライベート・キ
ャッシュの当該共有データを無効にする無効型のデータ
一貫性維持手続きと、１のプライベート・キャッシュで
共有データに更に新書込みがあったときに他のプライベ
ート・キャッシュに当該共有データがあればこれを変更
するとともに、当該プライベート・キャッシュの当該共
有データの状態表示を共有のままにし、他のプライベー
ト・キャッシュに共有データがなければ当該プライベー
ト・キャッシュの当該データの状態表示を占有に変える
更新型のデータ一貫性維持手続きである特許請求の範囲
第１項、第２項または第３項記載のマルチプロセッサ・
システム。
【請求項５】上記データ一貫性維持手続きの対象データ
が上記ワーキング・セットに属する記憶ブロックに含ま
れることを上記判別手段が判別したときに上記更新型の
データ一貫性維持手続きを実行し、上記データ一貫性維
持手続きの対象データが上記ワーキング・セットに属す
る記憶ブロックに含まれないことを上記判別手段が判別
したときに上記無効型のデータ一貫性維持手続きを実行
する特許請求の範囲第４項記載のマルチプロセッサ・シ
ステム。
【請求項６】複数のプロセッサがそれぞれのプライベー
ト・キャッシュを介して共有バスおよび共有メモリに接
続され、かつ上記プライベート・キャッシュの各々に設
けられた制御装置が上記共有バス上の信号を監視して、
当該プライベート・キャッシュを含む２以上のプライベ
ート・キャッシュで共有される共有データについて上記
２以上のプライベート・キャッシュのいずれかで更新書
込みがあったときに共有データ間の不一致を解消するよ
うにデータ一貫性維持手続きを実行するマルチプロセッ
サ・システムにおいて、上記プライベート・キャッシュのそれぞれに、当該プライベート・キャッシュのデータに対して上記一
貫性維持手続きが必要なときにそのデータがアクセス局
所性を有する記憶ブロックに含まれるかどうかを判別す
る判別手段と、少なくとも２種類のデータ一貫性維持手続きを選択的に
実現でき、上記判別手段の判別結果に応じた種類の一貫
性維持手続きを実行する一貫性維持手続き実行手段とを
設けることを特徴とするマルチプロセッサ・システム。
【請求項７】複数のプロセッサがそれぞれのプライベー
ト・キャッシュを介して共有バスおよび共有メモリに接
続され、かつ上記プライベート・キャッシュの各々に設
けられた制御装置が上記共有バス上の信号を監視して、
当該プライベート・キャッシュを含む２以上のプライベ
ート・キャッシュで共有されるべきデータについて上記
２以上のプライベート・キャッシュのうちの他のプライ
ベート・キャッシュへ読み込みがあったときに当該プラ
イベート・キャッシュへも上記共有バスを介して同時に
当該データの読み込みを行えるようにしたマルチプロセ
ッサ・システムにおいて、上記プライベート・キャッシュのそれぞれに、他のプライベート・キャッシュが読み込むデータが当該
プライベート・キャッシュのワーキング・セットに属す
る記憶ブロックに含まれるときに、当該プライベート・
キャッシュもそのデータを読み込む必要があると判別す
る判別手段と、上記判別結果に基づいて上記データを当該プライベート
・キャッシュに読み込む手段とを設けることを特徴とす
るマルチプロセッサ・システム。
【請求項８】特許請求の範囲第７項記載のマルチプロセ
ッサ・システムのプライベート・キャッシュ制御方法に
おいて、複数のプライベート・キャッシュに個別のアクセスで同
一のデータを読み込み、このデータを含む記憶ブロック
を上記複数のプライベート・キャッシュのワーキング・
セットに含ませるステップと、上記ワーキング・セットに含まされた記憶ブロックに含
まれるデータを上記複数のプライベート・キャッシュの
１つへの読み込みアクセスを行ない、同時に上記プライ
ベート・キャッシュの他のものにも読み込みを行うステ
ップとを有することを特徴とするマルチプロセッサ・シ
ステムのプライベート・キャッシュ制御方法。