JPH0272453A - 共有メモリ及び私用キャッシュメモリを有するマルチプロセッサコンピュータシステム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、一般に、キャッシュメモリを用いたコンピュ
ータシステムに係り、より詳細には、ローカルキャッシ
ュメモリのいずれか又は全てに存在する共有データの多
数のコピーを有するマルチプロセッサコンピュータシス
テムに係る。

従来の技術 典型的な単一プロセッサコンピュータシステムのアーキ
テクチャは、ホン・ニューマンのコンピュータモデルの
ある変形であると考えることができる。このモデルによ
れば、命令及びデータが同じメモリに記憶され、プロセ
ッサは、メモリから命令を１つづつフェッチし、命令で
して異されたようにデータに対してオペランドを実行す
る。

プロセッサの速度が増すにつれて、主コンピユータメモ
リのアクセス時間をプロセッサの計算時間に適当に一致
させる方法を見出すことが必要となる。これを達成する
１つの公知方法は、典型的に主メモリよりもアクセス時
間が相当に速いキャッシュメモリを使用することである
が、これは主メモリよりも何倍も高価なものとなる。

キャッシュメモリは、主メモリに記憶された情報のある
サブセットを含んでおり、処理ユニットとシステムバス
との間に存在して、プロセッサと主メモリとの間にデー
タ路を形成する。プロセッサがそのキャッシュにコピー
された主メモリ位置をアクセスしようと試みるときには
くキャツシュヒツト”）、ＣＰＵに所要の値を供給する
のに主メモリへのアクセスが必要とされず、プロセッサ
は非常に迅速に動作を再開することができる。

一方、プロセッサがキャッシュにコピーされていない主
メモリ位置をアクセスしようと試みるときには（キャッ
ジユバミス″）、主メモリへのアクセスを行なわねばな
らない。この場合、読み取りデータがプロセッサ及びキ
ャッシュの両方に送られ、そのメモリ位置へアクセスす
るためのその後の幾つかの試みによってキャッシュのヒ
ツトが生じるようにされる。このように、プロセッサに
対する効果的なメモリアクセス時間は、キャッシュメモ
リの高速アクセス時間と主メモリの低速なアクセス時間
との間のある値まで減少される。キャッシュメモリは、
通常、主メモリよりも１積重」−小さいので、キャッシ
ュメモリを制御するコンピュータサブシステムは、どの
メモリ位置をどのキャッシュ位置に対応させるか（マツ
ピング機能）そして新たなメモリ位置を既にいっばいの
キャッシュに書き込みべき場合にどのキャッシュ位置を
重畳書き込みすべきであるか（キャッシュ交換アルゴリ
ズム）を決定する方法を使用しなければならない。これ
らの任意の構成を判断しながら選択することによりキャ
ッシュの「ヒツト率」　（キャツシュヒツトを生じるメ
モリアクセス要求のパーセンテージ）が９０ないし９９
％に達する。

然し乍ら、各メモリの使用によるシステム効率の増大に
伴い、データコヒレンスの問題も生じる。即ち、キャッ
シュ位置は、これに対応する主メモリ位置と同じ値を保
持するように確保しなければならない。データコヒレン
スを維持する１つの方法は、当該位置へのメモリ書き込
みアクセスが要求されるたびにキャッシュメモリに含ま
れたデータの変更値をキャッシュメモリ及びそれに対応
する主メモリ位置の両方に書き込むことである。

この方法は、「書き込みスルー」ポリシーと称する。別
のキャッシュコヒレンス技術は、「書き込みバック」ポ
リシーに関するもので、この場合には、対応するキャッ
シュ位置を重畳書き込みしなければならなくなるまで、
変更されたデータ値が低速の主メモリに書き込まれない
ものである。これらのポリシー間で兼ね合いをとる場合
、書き込みスルーポリシーにおいては各書き込みアクセ
スのたびに主メモリを更新する際にメモリサブシステム
レベルでより広い帯域「１」が要求され、一方、１１７
き込みバックポリシーにおいてはキャッシュコヒレンス
の複雑さが増大する。充分な帯域中を有するシステムに
おいては、書き込みスルーポリシーがその簡単さからし
ばしば好ましいものとなる。

近年、処理ユニットのコストが下がってきたことにより
、複数のプロセッサが互いに同時に動作し、一方、共通
のシステムバスを介して共通の主メモリスペースをアク
セスするようなホン・ニューマンのマシーン構成から根
本的に異なるものが容易に現われるようになった。各プ
ロセッサは、プロセッサとシステムバスとの間にそれ自
身の私用キャッシュを有することができる。このような
マルチプロセッサシステムでは、キャッシュメモリの使
用が単一プロセッサシステムの場合よりシステム性能に
著しく影響する。というのは、各プロセッサが共通のシ
ステムバスを使用して共有メモリにアクセスするために
他のプロセッサとの競合が生じるからである。又、同様
に、データコヒレンスの問題も顕著なものとなる。とい
うのは、単一の主メモリ位置に記憶された値がいずれか
或いは全てのプロセッサの私用キャッシュメモリに一度
に複写されるからである。ローカルキャッシュメモリの
各々が書き込みバックポリシーを使用する場合には、１
つのプロセッサがあるメモリ位置の値を変更してその変
更をそのキャッシュメモリに書き込むときにいずれかの
他のローカルキャッシュのそのメモリ位置のコピーがそ
の１つのプロセッサによって行なわれた変更を表わすよ
うにシステムがともかく確保しなければならない。

本発明は、時分割システムバスな介して共通のメモリス
ペースを共有する複数のＣＰＵモジュールと、１つ以上
の■／○モジュールとを備えたマルチプロセッサコンピ
ュータシステムに関する。

共通のメモリスペースは、共有システムメモリの一部分
を各々含む複数のメモリモジュールとして構成すること
ができる。ＣＰＵモジュールは、命令を実行するプロセ
ッサと、使用キャッシュメモリユニットと、ＣＰ［Ｊモ
ジュールを効率的に制御すると共にＣＰＵモジュールを
システムの他の要素と同期させるための付加的なサポー
トハードウェアとを０１１１えている。Ｉ１０モジュー
ルは、システムバスなＩ１０バスにインターフェイスし
て、ディスクドライブやテープドライブやデイスプレィ
装置やプリンタやモデムのような入力／出力装置と転送
を行なえるようにする。

マルチプロセッサシステムの分野で一般に知られている
ように、システムバスにインターフェイスされたモジュ
ールは、ヌル、読み取り、書き込み及び読み取りデータ
トランザクションの４ｓ類のトランザクションのうちの
１つをバスにおいて開始することができる。これらトラ
ンザクションの１つをバスにおいて行なう時間をバスサ
イクルと称する。ヌルトランザクションは、バスを要求
するモジュールがないときに生じ、全てのモジュールに
よって無視される。読み取りトランザクションは、ＣＰ
Ｕ又はＩ１０モジュールがメモリデータを返送する要求
をメモリモジ・ニールに送信。

するものである。書き込みトランザクションは。

ＣＰＵ又はＩ１０モジュールが新たなメモリデータを書
き込むための要求をメモリモジュールに送信するもので
ある。読み取りデータトランザクションは、メモリモジ
ュールがデータをＣＰＵに返送するか又はＩ１０モジュ
ールが手前の読み取りトランザクションに応答するよう
なものである。

種々のモジュール間でシステムバスを使用するための競
合は、そのシステムバスの実施に対して特定であり且つ
仲裁プロトコルの分野で知られているあるやり方で仲裁
される。

ＣＰＵモジュールに関連したサポートハードウェアの一
部分として、公知技術では、読み取りデータ待ち行列と
称する構造体がシステムバスとＣＰＵモジュールとの間
に導入されることが示唆されている。この構造体は、読
み取りトランザクションに応答してメモリモジュールか
ら返送されたデータの値を保持する。読み取りデータを
待ち行列に入れることにより、主メモリのアクセスが行
なわれる間にプロセッサが返送されるべきデータを待機
してアイドル状態になるのではなく他のタスクを実行で
きることになって、システム性能が向上される。読み取
りデータ待ち行列は、データフィールド及び有効ビット
を各々含む多数の入力を備えた先入れ先出しくＦ　Ｉ　
Ｆ○）待ち行列である。有効ビットがセットされたとき
には、有効データがその入力にあり、即ち、その入力が
「いっばい」であることを指示することが理解されよう
。その入力の有効ビットがセットされない場合には、そ
の入力が「空」であり、即ち何のデータも含まない。Ｃ
ＰＵモジュールが読み取りデータトランザクションによ
って主メモリからデータを受け取るときには、そのデー
タが読み取りデータ待ち行列の一端に入れられ、その入
力に対して有効ビットがセットされる。ＣＰＵが入って
くるデータを受け入れてそのキャッシュメモリに入れる
準備ができたときには、第１の有効入力が待ち１１列の
他端から除去され、有効ビットがクリアされる。

無効待ち行列と称する別のＦＩＦＯ構造体をシステムバ
スとＣＰＵモジュールとの間に導入することもできる。

この無効待ち行列は、少なくともアドレスフィールドと
有効ビットとを各々含む「４１６効状態」と称する多数
の入力を含む。ＣＩ）　Ｕは、コヒレントなトランザク
ションに対してシステムバスを監視する。書き込みスル
ーポリシーを用いたシステムにおいては、ＣＰＵモジュ
ールが書き込みトランザクションに対してシステムバス
を１藷視する。システムバスにおいて何等かのデータ書
き込みトランザクションが検出されたときには、そのト
ランザクションのアドレスがＣＰＵモジュールの無効待
ち行列の一端に入れられ、有効ビットがセットがセット
されて、その入力がいっばいであることを指示する。Ｃ
ＰＵが無効状態を処理できるときには、第１の有効入力
が無効待ち行列の他端から取り去られ、その有効ビット
がクリアされる。書き込みトランザクションのアドレス
は、キャッシュの内容に対してチェックされ、もし存在
すれば、そのアドレスに対応する入力が無効（空）と印
される。このようにして、ＣＰＵは、古いデータ値を使
用することが防止される。

マルチプロセッサシステムにおけるキャッシュのコヒレ
ンスは、各キャッシュメモリがトランザクションをそれ
らがシステムバスにおいて生じたのと同じ順序で処理す
るときに維持される。システムバスに現われた無効状態
の順序は、それらを保持するＦＩＦＯ待ち行列によって
保持することができる。同様に、読み取りデータトラン
ザクションの順序も、それらのＦＩＦＯ待ち行列におい
て保持できる。然し乍ら、不都合なことに、読み取りデ
ータトランザクションに対する無効状態の順序、或いは
これと同等のことであるがシステムバスに現われる無効
状態に対する読み取りデータトランザクションの順序は
、別々の読み取りデータ及び無効待ち行列の使用によっ
て保持されない。

全ての形態のこの直列化技術がコヒレンスの間圧を充分
に解決することはない。例えば、１つの技術は、読み取
りデータをキャッシュメモリに送信する前に無効待ち行
列が空になるのを待機することである。然し乍ら、これ
は、マルチプロセッサシステムにおけるキャッシュコヒ
レンスの問題を充分に解決するものではない。というの
は、システムバスにおける新たな書き込みがキャッシュ
メモリによって無効状態として処理されるのと同程度の
速さで無効待ち行列の端に加えられるような最悪の場合
のトラヒックパターンを構成できるからである。このよ
うな状態においては、無効待ち行列が決して空にならな
いので、読み取りデータはキャッシュメモリに決して戻
されない。本発明の方法は、一定の所定数の無効状態が
処理されてしまうまでキャッシュへの読み取りデータの
送信が禁止されるだけであるから、このような病理学的
な特性に陥ることはない。

発明の構成 本発明は、ＣＰＵモジュールの各待ち行列からの入力を
正しい直列化順序で処理し、各ＣＰＵが共有データの最
も最近書き込まれた値を用いて種々のシステム要素の中
でデータのコヒレンス性を維持できるようにする方法及
び装置を提供する。

本発明によって構成されたマルチプロセッサコンピュー
タシステムは、共通のシステムバスにインターフェイス
された複数のＣＰＵモジュール及び複数のＩ１０モジュ
ールを備えている。これらのモジュールは、コンピュー
タシステムの主メモリを画成すると共に時分割システム
バスにもインターフェイスされる複数のメモリモジュー
ルへのアクセスを分担する。ＣＰＵモジュールの各々は
、中央プロセッサに加えて、情報のあるサブセットを主
メモリに記憶するのに用いられるローカルキャッシュメ
モリと、読み取りデータ待ち行列と、無効待ち行列とを
備え、これらの待ち行列は、各々、主メモリからフェッ
チされてキャッシュへ送られるべきデータ値と、システ
ムバス上で検出されてキャッシュの潜在的なストールデ
ータを識別するのに用いられる書き込みトランザクショ
ンの記録とを保持する。読み取りデータ待ち行列の各入
力は、有効ビットと称するビットフィールドが組み合わ
されており、これは、セットされると、その入力におけ
るデータが有効であることを指示する。無効待ち行列の
入力は、各々、有効ビットに加えて、フラッシュビット
と称する当該１ビツトフイールドを有していなければな
らず、このビットは、読み取りデータ待ち行列からの読
み取りデータを受け入れる前にどの無効状態をキャッシ
ュメモリによって処理しなければならないかを判断する
ために使用されねばならない。これらの待ち行列は、デ
ータが一端から入力されそして地端から取り出されるＦ
ＩＦＯ構造体である。

ＣＰＵモジュールが読み取りトランザクションを発生し
たときには、無効待ち行列の全ての入力に対し有効ビッ
トをフラッシュビットにコピーする。読み取りトランザ
クションが発せられたときに無効待ち行列の入力に対す
る有効ビットがゼロである場合には、この動作の後にフ
ラッシュビットもゼロになる。同様に、いずれかの入力
に対する有効ビットがｌである場合には、フラッシュビ
ットもｌになる。このように、ＣＰＵモジュールは、読
み取りトランザクションが開始されたときに有効であっ
た無効待ち行列入力を追跡することができる。

ＣＰＵは、主メモリからキャッシュメモリへ読み取りデ
ータを受け入れることができる前に、読み取りトランザ
クションが発せられたときに有効であった全ての無効待
ち行列入力を最初に処理する。次いで、ＣＰＵは、その
キャッシュのデータが読み取りトランザクションが発せ
られたときの主メモリのデータに対応する正確なコピー
を表わすように確保する。

これは、ＣＰＩＪが読み取りデータを受け入れる前に全
ての有効な無効待ち行列入力を処理しなければならない
ことを意味するものではない。読み取りトランザクショ
ンが行なわれる前に有効であった入力のみを、読み取り
データ受け入れの前に処理すればよい。読み取りトラン
ザクションと読み取りデータトランザクションとの間の
時間中に無効待ち行列に入れられた無効状態は、フラッ
シュビットではなくて有効ビットのみがセットされ、こ
れらの入力は、読み取りトランザクションを開始する前
に行なわれた主メモリデータへの変更を表わすものでは
ない。

実施例 本発明によるマルチプロセッサ式のコンピュータシステ
ム８の一般的な構成が第１図に示されている。システム
の共有主メモリを含む複数のＮ個のメモリモジュール１
０が設けられており、これらは、良く知られているよう
にバスをいかに実施するかに基づいて決まる手段により
共通のシステムバス１２ヘインターフエイスされる。実
際は、メモリモジュールｌＯの個数Ｎは、主メモリをど
のように実施したいかによって１以上のどんな数にもな
りつる。複数のプロセッサモジュール１４（ＣＰＵ）も
設けられている。本発明は２つ以上のプロセッサモジュ
ール１４を使用したコンピュータシステムに係るが、明
瞭化のためプロセッサモジュールは２つしか示していな
い。同様に、いかなる数のＩ１０モジュール１６をシス
テムバス１２にインターフェイスできるが、第１図には
これを２つしか示してない。

本発明によるＣＰＵモジュール１４が第２図にシステム
バス１２にインターフェイスされて示されている。シス
テムバスインターフェイス１８は各ＣＩ）　ＩＪモジュ
ール１４に対応しそしてシステムバス１２に電気的に接
続されており、そしてこのシステムバスインターフェイ
スは、それぞれの対応するＣＰＵモジュール１４と、他
のＣＰ　ｔ、Ｊモジュール１４、Ｉ１０モジュール１６
及びメモリモジュール１０との間でシステムバス１２を
通して通信リンクを確立する役割を果たす。又、システ
ムバスインターフェイス１８とＣＰＵバスインターフェ
イス２２との間には別のバス接続部２０が設けられてい
る。この接続部２０は、キャッシュインターフェイス２
６によって発生されてＣＰＵバス２４を通ってＣＰＵバ
スインターフェイス２２へ供給される主メモリ読み取り
／書き込みアクセス要求に対する経路を形成する。キャ
ッシュインターフェイス２６は、各々、ＣＰＵデータバ
ス３２とキャッシュバス２８を通ってＣＰＵ３／１とキ
ャッシュメモリ３０との間を取り次ぐ役［］を果たす。

本発明のこの実施例によりＣＰＵ３４によって開始され
るメモリの読み取りは、次のように待なわれる。即ち、
ＣＰＵ３／Ｉは、指定のメモリ位置でメモリを読み取る
要求をデータバス３２に出し、この要求はキャッシュイ
ンターフェイス２６よって受け取られる。キャッシュイ
ンターフェイス２６はキャッシュバス２８を使い、要求
されたメモリ位置がキャッシュ３０にコピーされていて
それが有効かどうかを決定するためにキャッシュ３０を
アクセスする。もしそうだとすれば、キャッシュインタ
ーフェイス２６はこの値をＣＰ　ｔＪ　３４に返送する
。所望されたメモリ位置がキャッシュ３０内に複写され
ていない時、またはその値のキャッシュコピーが有効で
ないと示された場合、キャッシュインターフェイス２６
は、ＣＰＵバス２４からＣＰＵバスインターフェイス２
２を通してメモリ読み取り要求を進める。ここから、そ
の要求は電気接続部２２を通してシステムバスインター
フェイス１８まで進められる。システムバスインターフ
ェイス１８は、それをシステムバス１２への許可された
アクセスとするために必要とされる適当なバス仲裁プロ
トコルに参加しなければならない。いったんアクセスが
許可されると、システムバスインターフェイス１８はシ
ステムバス１２上で読み取りトランザクションを開始し
、ＣＰＵ３４によって要求されているメモリ位置の値を
メモリモジュール１０に指示する。上記したメモリ読み
取りプロセスは、メモリ１０内の所望の位ｉγｔが数字
オペランドを保持しているかメモリアドレスを保持して
いるか又は命令のＯＰコードを保持しているかに拘りな
く、ＣＰ　（、；　３４によって開始される読み取り動
作の典型である。

ＣＰｔＪによって開始されるメモリ書き込みの一連の事
象は次の通りである。すなわち、メモリ書き込み要求は
ＣＰ　Ｕ　３４からＣＰＵデータバス３２を通ってキャ
ッシュインターフェイス２６へ送られる。キャッシュイ
ンターフェイス２６はキャッシュバス２８を使用して所
望のメモリ位置がキャッシュ３０の中にもあるかどうか
決定し、もしそうならば、古い値に代わって新しい値が
書き込まれる。書き込みスルーのキャッシュポリシーを
続ける場合、キャッシュインターフェイス２６は、所望
の位置がキャッシュ３０にコピーされているかどうかに
関係なく、ＣＰＵバス２４を通してＣＰＵバスインター
フェイス２２へ書き込み要求を進める。要求は、キャッ
シュインターフェイス２６から電気接続部２０を通って
システムバスインターフェイス１８へ要求が送られる。

システムバスインターフェイス１８は、システムバスア
クセスが許可されると、システムバス１２を通って主メ
モリ１０へ書き込み要求を送る。

システムバスインターフェイス１８の他の機能は、シス
テムバス１２に生じる全てのトランザクションをモニタ
ーすることである。書き込みトランザクションがＣＰＵ
モジュール１４のどれか又はＩ１０モジュール１６のど
れかによって生じたときには、それぞれのＣＰＵモジュ
ール１４内のシステムバスインターフェイス１８は、第
３図について述べる無効待ち行列３８にそのトランザク
ションのアドレスを入力する役割をする。

第３図によれば、無効待ち行列３８は、先入れ先出しく
Ｆ　Ｉ　ＦＯ）の待ち行列で、これは、本発明の好まし
い実施例では、アドレスフィールド４２、有効ビットフ
ィールド４４及びフラッシュビットフィールド４６を各
々持つ１組の人力４０を含む。マルチビットアドレスフ
ィールド４２は書き込みトランザクションのターゲット
位置の主メモリアドレスを保持する。単一ビットの有効
ビットフィールド４４は、待ち行列入力４０のどれが有
効な無効状態を保持するかを示す。最後の１ビツトのフ
ラッシュビットフィールド４６は、以下で述べるように
、読み取りトランザクションが関連ＣＰＵモジュール１
４によって発せられたときにどの待ち行列入力４０が有
効であったかを決定するために用いられる。無効待ち行
列３８中の全ての入力４０のフラッシュビットフィール
ド４６は、多入力論理１１０　ＲＩ＋ゲート４８への入
力として使用される。“’ＯＲ”ゲート４８の出力５０
は゛フラッシュ要求′°信号を運ぶ。このフラッシュ要
求信号は、無効待ち行列３８内のフラッシュビットフィ
ールド４６のどれかが論理ｌをもつときに高く　（論理
ｌ）、無効待ち行列３８のどのフラッシュビット４６も
セットされていない場合にのみ（即ち、論理１を含む）
、フラッシュ要求信号が低（論理Ｏ）となる。

３種類目のバストランザクションである読み取りデータ
トランザクションは、読み取りトランザクションによっ
てデータを要求したプロセッサへ主メモリ位置の内容を
戻すために主メモリ管理ロジックによって始められる。

もう−魔笛２図を見ると、主メモリモジュール１０の１
つから生じた読み取りデータトランザクションはシステ
ムバスインターフェイス１８によって受け取られる。

データは、ＣＰＵバスインターフェイス２２に直接送ら
れるのではなく、読み取りデータ待ち行列３６に入力さ
れる。この待ち行列３６は、無効待ち行列３８と同じよ
うに、システムバスインターフェイス１８とＣＰＵバス
インターフェイス２２との間に設けられている。第４図
に示されているように読み取りデータ待ち行列３６は、
それぞれが２つのフィールド、即ちデータフィールド５
４と有効ビットフィールド５６を持つ１組の多ビツト入
力５２を含む。データフィールド５４は、読み取りトラ
ンザクションに応答してメモリ制御器によって返送され
たメモリ位置の内容を保持する。

有効ビットフィールド５６はデータフィールド５４に入
っているデータが有効かどうか示すための１ビツトフイ
ールドである。無効待ち行列３８と同じように、読み取
りデータ待ち行列３６もまたＦ　Ｉ　ＦＯ構造を持ち、
一端でシステムバスインターフェイス１８からのデータ
を受け取り、もう−方の一端からＣＰＵバスインターフ
ェイス２２にデータを送るようになっている。

システム全体にわたるデータのコヒレンス性は本発明の
機構により次のように確保される。すなわち、システム
バスインターフェイス１８は、システムバス１２上に、
主メモリへの読み取りトランザクションを送る時、無効
待ち行列３８中の全ての入力４０に関し有効ビット４４
をフラッシュビット４６にコピーし、読み取りトランザ
クションが生じたときに有−効であった全ての入力４０
がフラッシュビット４６をセットしく即ち、論理１を有
し）そして読み取りトランザクションが生じたときに有
効でなかった全ての入力４０がフラッシュビット４６を
リセットする（即ち、論理Ｏを含む）ようにする。ＣＰ
Ｕモジュール１４は、受け取った内容をＣＰＵキャッシ
ュ３０へ通す前に、フラッシュビットがセットされた無
効待ち行列３８の全ての無効状態を処理しなければなら
ない。このように、無効状態は、主メモリがアクセスさ
れて読み取りデータが返送される時間中に処理され、メ
モリのアクセスと無効状態の処理が並列に行われるよう
にする。ＣＰＵキャッシュ３０が読み取りデータをもつ
ことができるまでに処理されるべき無効状態の数は、無
効待ち行列３８の入力４０の数以下に保証され、従って
、ＣＰＵモジュール１４がフラッシュビット４６がセッ
トされた入力４０の無効待ち行列３８を空にするに要す
る一定の時間後に、ＣＰＵキャッシュは読み取りデータ
待ち行列３６に記憶された入力データをアクセスできる
よう保証される。このように、本発明は、読み取りデー
タの返送によって無効状態を正しく直列化すると共に、
共有データプロトコルを正しく操作することを保証する
。

次にあげる例はマルチプロセッサシステムにおけるデー
タコヒレンスの問題と、本発明によってこの問題がどの
ように解決されるのかを示している。すなわち、ＣＰＵ
０とＣＰＵＩの２つのプロセッサモジュールを持つマル
チプロセッサシステムでは、変数Ｖは２つのプロセッサ
間で共有されるデータである。他の変数Ｔは、共有デー
タへの同時アクセスを仲介する技術で知られているよう
に、２つのプロセッサによるＶへのアクセスを同期する
のに使用される゛′フラッグ″である。特に、′「がＯ
でない時は変数Ｖの内容は有効である。

Ｔが０の時は、変数■の内容は有効でない。

変数Ｔが始めにＯの値を持っていると仮定すると、この
ことはＣＰＵモジュールの変数■の値が有効でないこと
と、変数ＴがＣＰＵＩキャッシュメモリの中にあるので
はなく、変数ＶがＣＰＵ１のキャッシュメモリの中にあ
るということの両方をいずれかのＣＰＬＩモジュールへ
指示する。

次に、ｃｐｕｏが位置■に値を書き込み、それからゼロ
以外の値を位置Ｔに書き込んで、新しく書かれたＶの値
が有効であることを示すと仮定する。これらの２つの書
き込みトランザクションが行われたすぐ後、ＣＰＵ　１
はビジー待機ループを実行し始め、それぞれのループの
繰返しの始めに変数Ｔの値をチェックし、■の値が有効
になったかどうか調べる。ＣＰＵＩがいったんＴの値が
Ｏでないと判断してしまうと、ビジー待機ループを出て
処理を続ける。ＣＰＵＩキャッシュの中にＴの値がない
ことを想起すれば、ビジー待機ループの最初の実行の際
に、ＣＰＵＩは読み取りトランザクションをシステムバ
スを通じて送り、主メモリから変数下の値を要求する。

ＣＰＵ０がたった今ＯでないＴの値を主メモリに書き込
んだので、ＣＰＵ１に返送される読み取りデータはこの
変化を反映し、変数Ｖの現在の値が有効なものであるこ
とをＣＰＵ　１に示す。この点において、キャッシュコ
ヘレンスを考えることなしに、ＣＰＵＩは変数Ｖの値を
そのキャッシュから読み取ることができ、この値を使っ
て処理を続ける。然し乍ら、このキャッシュ値は、ｃＰ
ＵＯが新しい■の値をメモリに書き込む前に存在するも
のであるから、ＣＰＵＩは″ストール即ちインコヒレン
トなＶの値をそのキャッシュから受け取る。

キャッシュ無効化の技術はストールデータの使用を防止
できるが、それは無効状態が他のシステムパストランザ
クションに対して適当な順序で処理される場合のみであ
る。この場合、システムは、Ｔの読み取りデータ値が主
メモリからＣＰＬＪｌに戻される前に位置Ｖへのｃｐｕ
ｏの書き込みに対応する無効状態がＣＰＵ１によって処
理されるよう確保しなければならない。本発明は、″必
要な″″無効状態がＣＰＵＩによって処理されるまでＣ
ＰｔＪｌへのＴの読み取り値の返送を禁止する二とによ
って適切な順序で処理を行えるようにする。パ必要な”
無効状態は、ＣＰｔＪｌの無効待ち行列がＴの値を要求
する読み取りデータトランザクションを生じた時にこの
行列に存在する状態である。従って、これらの無効待ち
行列人力は、ＣＰＵ１がその読み取りトランザクション
を生じるときに有効ビットをフラッシュビットヘコピー
することにより表示される。この例において、ＣＰＵ１
は、主メモリからＴの値を受け取ることを許可される前
に、そのキャッシュのＶの値を無効化するよう強制され
る。

【図面の簡単な説明】

第１図は、全てが共通システムバスにインターフェイス
された共有主メモリ、多数のＣＰＵモジュールそして多
数のＩ１０モジュールからなる複数のメモリモジュール
を含んだマルチプロセッサコンピュータシステムのブロ
ック図、第２図は、システムバスにインターフェイスさ
れる第１図のそれぞれのＣＰＵモジュールの機能ユニッ
トを示している詳細なブロック図、第３図は、第２図の
無効待ち行列を示す図、そして 第４図は、第２図の読み取りデータ待ち行列を示す図で
ある。 ８・・・マルチプロセッサベースのコンピュータシステ
ム １０・・・メモリモジュール １２・・・共通システムバス １４・・・複数プロセッサモジュール（ｃｐｕ）１６・
・・Ｉ１０モジュール １８・・・システムバスインターフェイス２０　・ ２２　・ ２４　・ ２６　・ ２８　・ ３０　・ ３２　・ ３４　・ ４０　・ ４２　・ ４４　・ ４６　・ ４８　・ ５　ｏ　・ ５４　・ ５６　・ ・バス接続部 ・ＣＰＵインターフェイス ・ＣＰＵバス ・キャッシュインターフェイス ・キャッシュバス ・キャッシュメモリ ・ＣＰＵデータバス ・ＣＰＵ　　　３８・・・無効待ち行列・入力 ・アドレスフィールド ・有効ビットフィールド ・フラッシュビットフィールド ・複数入力ロジカル“’ＯＲ”ゲート ・出力　　５２・・・複数ビット入力 ・データフィールド ・有効ビットフィールド

Claims (1)

1. 【特許請求の範囲】 （１）１組のデータを記憶するための主メモリと、該主
   メモリに記憶されたデータのサブセットを記憶するため
   の関連キャッシュメモリを各々有する複数のプロセッサ
   と、該プロセッサ及び主メモリを相互接続すると共に上
   記プロセッサの各々を互いに他のプロセッサと相互接続
   するためのシステムバスとを具備するコンピュータシス
   テムにおいて、上記主メモリ及びキャッシュメモリに記
   憶されたデータの完全性を維持するための装置が、 ａ）各プロセッサごとに読み取りデータ待ち行列を備え
   、この読み取りデータ待ち行列は上記システムバスに接
   続され、該無効の待ち行列は複数の入力を有し、各入力
   は、上記プロセッサのキャッシュメモリへ処理されるべ
   き読み取りデータを記憶するためのデータフィールドと
   、１つの完全な読み取りデータ入力を識別するための有
   効ビットフィールドとを有しており、そして ｂ）更に、各プロセッサごとに無効待ち行列を備え、該
   無効待ち行列は複数の入力を有し、各入力は、無効状態
   を記憶するためのアドレスフィールドと、１つの完全な
   無効入力を識別するための有効ビットフィールドと、処
   理されるべき無効状態を指示するためのフラッシュビッ
   トフィールドとを有し、上記プロセッサに対応するキャ
   ッシュにメモリアドレスが存在しないところのデータに
   対し上記プロセッサのいずれかが読み取り要求を開始し
   た際に、それに関連した無効待ち行列の各入力に対する
   有効ビットフィールドをそれに関連したフラッシュビッ
   トフィールドに読み込むように上記プロセッサが指示す
   ると共に、フラッシュビットがセットされたところの全
   ての無効状態の処理を開始する一方、全てのこれら無効
   状態が処理されてしまうまで上記読み取りデータ待ち行
   列の読み取りデータ値の処理を停止することを特徴とす
   る装置。 （２）主メモリを有し、更に、複数のプロセッサを有し
   、各プロセッサは、それに関連したキャッシュメモリを
   有していると共に読み取りデータ待ち行列も有しており
   、この読み取りデータ待ち行列は複数の入力を有し、各
   入力は、プロセッサの関連キャッシュメモリへ処理され
   るべき読み取りデータ値を保持するためのデータフィー
   ルドと、１つの完全な読み取りデータ値を指示するため
   の有効ビットフィールドとを有しており、更に、各プロ
   セッサは無効待ち行列を有し、この無効待ち行列は複数
   の入力を有し、各入力は、プロセッサの関連キャッシュ
   メモリへ処理されるべき無効値を保持するためのアドレ
   スフィールドと、１つの完全な無効値を指示するための
   有効ビットフィールドと、次の読み取りデータ値を処理
   する前に処理されるべき無効値を指示するためのフラッ
   シュビットフィールドとを有しており、上記主メモリ及
   びキャッシュメモリのデータのコヒレンス性を維持する
   方法が、 ａ）上記プロセッサのキャッシュに要求データのメモリ
   アドレスが存在しないところの上記プロセッサの１つか
   ら読み取りトランザクションを発生し、 ｂ）上記無効待ち行列の各有効ビットをそれに関連した
   フラッシュビットへコピーして、選択されたフラッシュ
   ビットをセットし、 ｃ）その関連フラッシュビットがセットされたところの
   無効待ち行列における全ての無効状態の処理を開始し、 ｄ）上記システムの主メモリから、上記読み取りトラン
   ザクションを発生するプロセッサの読み取りデータ待ち
   行列へ読み取りデータトランザクションを発生し、 ｅ）フラッシュビットのセットされた全ての無効状態が
   処理されてしまうまで、対応するキャッシュメモリに対
   する読み取りデータ待ち行列の内容の処理を休止し、そ
   して ｆ）対応するキャッシュメモリに対する読み取りデータ
   待ち行列の内容の処理を続けることを特徴とする方法。 （３）コンピュータシステムにおいて、 ａ）１組のデータを記憶するためのアクセス可能な主メ
   モリと、 ｂ）データを処理するための複数のプロセッサであって
   、その各々には、上記主メモリに記憶されたデータのサ
   ブセットを記憶するための二次メモリが組み合わされて
   おり、更に、上記メモリからデータを読み取るための読
   み取り要求を発生する手段も備えているプロセッサと、 ｃ）上記主メモリ及び各々のプロセッサを接続すると共
   に、各々のプロセッサを互いに他のプロセッサに接続す
   るためのシステムバスと、 ｄ）各々の上記プロセッサに組み合わされて、上記二次
   メモリへ処理されるべき上記主メモリから読み取ったデ
   ータを記憶するためのバッファ記憶手段と、 ｅ）上記プロセッサの各々に組み合わされ、上記プロセ
   ッサにより上記二次メモリに対して処理することを必要
   とする無効手段であって、無効である上記二次メモリ内
   のデータの有効アドレスを記憶するような無効手段と、 ｆ）読み取り要求が発生した際に、この読み取り要求の
   発生時に上記無効手段にある全ての有効アドレスを、上
   記バッファ記憶手段に記憶されたデータが上記二次メモ
   リへと処理される前に、処理するための直列化手段とを
   具備することを特徴とするシステム。 （４）コンピュータシステムにおいて、 １組のデータを記憶するための主メモリと、データを処
   理するための複数のプロセッサであって、その各々には
   、上記主メモリに記憶されたデータのサブセットを記憶
   するための二次メモリが組み合わされており、更に、上
   記メモリからデータを読み取るための読み取り要求を発
   生する手段も備えているプロセッサと、 上記主メモリ及び各々のプロセッサを接続するためのシ
   ステムバスとを具備し、 各々の上記プロセッサは、無効である上記二次メモリ内
   のデータのアドレスを記憶するための無効手段と、上記
   読み取り要求の１つが発生された後に作動され、上記読
   み取り要求の発生時に上記無効手段にある全てのアドレ
   スを、上記読み取り要求に応じてデータが上記二次メモ
   リにロードされる前に、処理するための直列化手段とを
   備えていることを特徴とするシステム。 （５）上記プロセッサの各々は、上記システムバスと上
   記二次メモリとの間の経路にバッファ記憶手段を有し、
   該バッファ記憶手段は、上記読み取り要求に応答して上
   記メモリから読み取ったデータを、それが上記二次メモ
   リにロードされる前に記憶する請求項４に記載のシステ
   ム。 （６）各プロセッサの上記無効手段は、複数のメモリ位
   置を含むＦＩＦＯメモリを備え、上記メモリ位置の各々
   は、無効である上記データアドレスの１つに対するフィ
   ールドと、フラッシュビットに対するフィールドとを有
   し、上記直列化手段は上記フラッシュビットに応答して
   動作する請求項４に記載のシステム。 （７）各プロセッサの上記無効手段は、全ての上記フラ
   ッシュビットに応答して上記直列化手段を制御する論理
   手段を備えている請求項６に記載のシステム。 （８）主メモリを共有する複数のプロセッサを有する形
   式のコンピュータシステムを操作する方法であって、上
   記プロセッサの各々はキャッシュを有し、そして各々の
   プロセッサは、上記主メモリに対する読み取り要求及び
   書き込み要求を開始し、上記方法は、 上記プロセッサの他のものによってなされた書き込み要
   求のアドレスを上記プロセッサの各々に一時的に記憶し
   、上記プロセッサによる読み取り要求に応答して主メモ
   リから受け取ったデータを上記プロセッサの各々に一時
   的に記憶し、そして 上記読み取り要求の前に生じる書き込み要求の上記アド
   レスをチェックした後にのみ上記主メモリから受け取っ
   た上記データを上記キャッシュへロードするという段階
   を備えたことを特徴とする方法。 （９）読み取り要求が開始されたときに存在する上記一
   時的に記憶されたアドレスの各々に対してインジケータ
   を動作する段階を備えた請求項８に記載の方法。 （１０）データをキャッシュへ移動する前記段階の前に
   上記インジケータのいずれかが作動されたがどうかを検
   出する段階を備えた請求項９に記載の方法。 （１１）アドレスがある位置に記憶されたことを指示す
   るために上記一時的に記憶されたアドレスの各々に対し
   て有効ビットをセットする段階を備えた請求項１０に記
   載の方法。（１２）上記チェック段階は、上記有効ビッ
   トに基づいて上記インジケータを作動することを含む請
   求項１１に記載の方法。 （１３）共通のシステムバスを介して主メモリを共有す
   る複数のプロセッサを具備し、各々のプロセッサはキャ
   ッシュを有し、そして各々のプロセッサは、上記システ
   ムバスを介して上記主メモリへの読み取り要求及び書き
   込み要求を行なうようなコンピュータシステムにおいて
   、上記プロセッサの各々は、 主メモリに対してなされる書き込み要求のアドレスを一
   時的に記憶する手段と、 プロセッサによって要求された読み取りに応答して主メ
   モリから受け取ったデータを記憶するバッファと、上記
   バッファから上記キャッシュへデータをロードする前に
   プロセッサによってなされた所与の読み取り要求の前に
   生じた上記書き込み要求のアドレスをチェックする手段
   とを備えたことを特徴とするシステム。 （１４）アドレスを一時的に記憶する上記手段は、読み
   取り要求がなされたときに存在する各々の記憶されたア
   ドレスに対しインジケータビットをセットする手段を含
   む請求項１３に記載のシステム。 （１５）上記チェック手段は、上記インジケータビット
   のいずれかがセットされたかどうか検出するための手段
   を含む請求項１４に記載のシステム。 （１６）アドレスを一時的に記憶する上記手段は、書き
   込みアドレスが記憶される各位置に対し有効ビットをセ
   ットする手段を備えている請求項１５に記載のシステム
   。 （１７）上記チェック手段は、全ての上記有効ビットを
   上記インジケータビットにロードする手段を備えている
   請求項１６に記載のシステム。