JPH02255932A

JPH02255932A - マルチプロセツサ・システム

Info

Publication number: JPH02255932A
Application number: JP1155983A
Authority: JP
Inventors: Brian W Curran; ブライアン・ウイリアム・カラン; Onofrio Joseph M D; ジヨセフ・マイケル・デオノフリノ; Richard N Fuqua; リチヤード・ニツケルズ・フークア; Robert D Herzl; ロバート・ダブ・ハーズル; Louis J Milich; ルイス・ジエームズ・ミリイチ; Paul M Moore; ポール・ミルトン・モーレ; Iii Joseph L Temple; ジヨセフ・レスター・テンプル、サード
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1988-07-21
Filing date: 1989-06-20
Publication date: 1990-10-16
Also published as: DE68924313D1; US5032985A; EP0351955A2; DE68924313T2; EP0351955B1; EP0351955A3

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】Ａ、産業上の利用分野本発明は各々のプロセッサがストアイン・キャッシュを
有し、且つ１つの主記憶装置に相互＄ｉ続論理を介して
接続されたマルチプロセッサ・システムに関する。ここ
で、相互接続論理はシステム制御装置を含み、該装置は
データ・ラインがフェッチされている間、他プロセツサ
のキャッシュを照会して、要求プロセッサが、このデー
タ・ラインをアクセスしうることを確認するとともに、
各フェッチごとに解放又はキャンセル信号を発生するよ
うに構成されている。さらに具体的には、本発明はフェ
ッチアレイサイクルが相互照会以前に完了した時、特別
のバッファ機構が呼び出されるようにしたシステムに関
するものである。

Ｂ、従来技術及びその問題点第５図は従来のマルチプロセッサ・システムの構成を示
す。このシステム中には、複数の中央プロセッサ（ＣＰ
　）１１　ａ−１１ｎと複数の独立メモリ１３ａ−１３
ｎが存在する。第５図中の複数のメモリは所謂主記憶ア
レイ１３を構成するものである。中央プロセッサ（ＣＰ
）ｌｌａ−１１ｎとメモリ１３ａ−１３ｎは、相互接続
論理１５によって接続されている。システム中の各中央
プロセッサ（ＣＰ）はストアイン・キャッシュを有して
いる。ストアイン・キャッシュについては、例えば米国
特許第４１３６３８６号及び第４６５４７７８号に同様
記載されている。各プロセッサにおけるストアイン・キ
ャッシュは、ディレクトリとともにバッファメモリ、及
び記憶制御装置を有している。プロセッサが自己のキャ
ッシュにすでに常駐しているデータのフェッチあるいは
書込みを行なう場合は、このアクセスは、離れた所に存
在するシステム制御装置（これは通常光プロセッサに関
するキャッシュの複写ディレクトリを有する）に影響を
与えない。プロセッサが自己のキャッシュに存在しない
データをアクセスしようとする場合、そのアクセス要求
は、次の主記憶アレイのメモリ１３ａ−１３ｎの１つへ
の伝送に備えて待ち行列に加えられるように、システム
制御装置へ送られる。このアクセス要求が主記憶アレイ
のメモリへ送られる場合、当該要求データのアドレスは
このデータが他のプロセッサのキャッシュに人っている
か否かを調べるためにシステム制御装置内にある他のキ
ャッシュ・ディレクトリの内容と比較される。もし他の
プロセッサのキャッシュ内に要求データが存在しなけれ
ば、このアクセス要求は解放される。もし、要求データ
が他プロセツサのキャッシュに存在すれば、“相互照会
”（ｃｒｏｓｓ−ｉｎｔｅｒｒｏｇａｔｅ　）ヒツト信
号が発生される。

この信号は、主記憶アレイメモリからデータが読み出さ
れて要求プロセッサのキャッシュに送られるのを阻止す
るためと、キャッシュにデータを有するプロセッサに対
しこのデータをメモリに対しキャッシュ・アウトさせる
ために利用される。主記憶アレイに対するアクセス要求
は、後に再アクセスされるようファーストイン・ファー
ストアウト・キューに保持される。

このシステムは夫々が２以上のプロセッサに開運する１
以上のシステム制御装置を有することがある。このよう
なシステムでは、各システム制御装置がそれと開運する
プロセッサのディレクトリのコピーのみを有するとすれ
ば、主記憶アレイの要求メモリのアドレスはその要求デ
ータが成るプロセッサのキャッシュにすでに取り込まれ
ているか否かを確認するためすべてのディレクトリでチ
ェックを行なえるよう各システム制御装置に送られなけ
ればならない。

第６図は上述のシステムを示すもので、複数のシステム
制御装置（ＳＣＥ）と複数の記憶制振装置（ＭＣ）から
なる相互接続論理が、複数のプロセッサ（ＣＰ）、チャ
ネル制御装置（ＣＣＥ）、複数のメモリを、相互に結び
つけた構造となっている。このチェック・プロセスがす
なわち相互照会（ｘＢである。この相互照会（Ｘｉは１
つの要求ごとに複数のサイクルを必要とし、しかも１度
には１つの要求に対してのみサービスが可能であるので
、記憶装置の利用度が高い場合には相互照会（ＸＩ）が
ネックとなる。

第７図はこの点を表わすタイミング図を示す。

これは第５図における中央プロセッサ１１ａ−１１ｎが
、メモリ１３ａ−１３ｎから同時にデータを要求する場
合のタイミングを示す。中央プロセッサ１１ｂ、１１Ｃ
に対するデータ伝送は相互照会（ＸＩ）がネックとなり
遅れることが明らかである。第７図におけるＸチェック
終了は相互照会が完了した時点を示す。

問題を単純化すると、高速メモリは相互照会がネックと
なって緊密結合マルチプロセッサ・システムにおいては
有効に活用できないということである。

記憶装置の記憶保護キーは、各システム制御装置に備え
られ、各ライン・アクセス要求において記憶保護キー（
要求データ・ラインを含むページ・フレームに割りつけ
られる）をチェックして、フェッチ・アクセスが主記憶
装置へ送られる前にアクセス要求ファイルが保護要求で
あるか否かを確認する。米国特許第４９２３９１０号に
はシステム制御装置中に備えられた記憶保護装置に関連
する記載がある。さらにシステム制御装置は異なるプロ
セッサからの異なるタイプの記憶装置アクセス要求の優
先順位を決定する優先回路を有し、これにより複数のア
クセス要求が主記憶アレイに対して正しい順序で直列に
与えられることを保証している。各システム制御装置（
ＳＣＥ）は優先度制御装置、相互照会及び、記憶保護回
路、他プロセツサ記憶制御、要求制御パス、主記憶装置
と接続ＣＰＵを結ぶデータ・パス、Ｉ１０プロセッサ、
そしてリモート回路制御装置を有する。上述のすべての
ものは遅延を生せしめることが明らかである。

プロセッサが他プロセツサのキャッシュで変更されたデ
ータの要求ラインを獲得する効率を高めるには、キャッ
シュ間及びチャネル間伝送が効果的である。これらにつ
いては米国特許第４５０３４９７号に述べられている。

記憶装置の階層レベルの数が増加し、プロセッサの環境
が複雑になるにつれて、各記憶要求に対するマシン・サ
イクルの数が増加し、そしてこのことは例えば主記憶装
置に対するＣＰＵ要求のように、記憶階層の離れた部分
に対するアクセスを必要とする。米国特許第４６５４７
７８号は、要求元と、階層中の記憶装置（例えば要求元
と離れた場所にある主記憶装置）との間に通常設けられ
る制御及びデータ・パスと並行に、高速パス（制御及び
／又はデータバスを含む）を介在させることにより、記
憶装置アクセスの基本機能を失うことなく、離れた階層
の記憶装置へのアクセス時間を減少させる手段を開示し
ている。

２レベル・キャッシュは例えば米国特許第４２９０１０
３号、第４８７５８１１号等でよく知られている。これ
らの特許では、バッファ及びディレクトリを備えたキャ
ッシュを持つプロセッサ・ユニットに加えて、相互接続
論理は第２バツフア記憶デイレクトリ及び記憶制御装置
を含む第２レベルのキャッシュを備えており、そこにプ
ロセッサ間の高速アクセスのために通常は複数のプロセ
ッサに保持されるデータを保持するようにしている。第
２レベルのキャッシュは幾分、相互照会によるネックを
解消するが、フェッチ及びデータ書込みのために新たな
レベルでの照会を生じてしまう。この２レベル・キャッ
シュは常にロードされ、所与のメモリとは関連づけられ
ていない。上記特許に記載された第２レベル・キャッシ
ュはシステム全体に余分のコストを追加する。

Ｃ０発明の概要本発明の一実施例において、改良されたマルチプロセッ
サ・システムはメモリ・アレイ中の複数の独立メモリ、
複数のプロセッサ及び相互接続論理を有し、各プロセッ
サは各々ストアイン・キャッシュを持ち、データの最新
コピーは主記憶装置に常駐しているとは限らず、プロセ
ッサのキャッシュに保持され得るようになっており、成
るプロセッサがデータ要求を行なう時はいつでもそのデ
ータの最新コピーの場所を確認するための論理チェック
を実行し、チェックが完了すると解放信号を送るように
構成されている。このチェックは相互照会と呼ばれる。

上記アレイ中の少なくとも１つのメモリのためのフェッ
チ・バッファが相互接続論理中に設けられる。該フェッ
チ・バッファはメモリとプロセッサ間に選択的に接続さ
れていて、メモリがレディ状態であり、且つ相互照会及
び他のシステム・チェックが完了していない場合はフェ
ッチ・データをホールドし、相互照会及び他のシステム
・チェックが終了して解放信号が送られる場合はフェッ
チ・データをプロセツサヘアンロードするように利用さ
れる。

Ｄ、実施例第１図は本発明の好ましい実施例を示すマルチプロセッ
サ・システムの構成図であり、中央プロセッサ（ＣＰ）
２１−２４が示されている。これらのプロセッサの各々
は、当該プロセッサのためのストアーインキャッシュを
形成する専用バッファ記憶装置、記憶制御機構及び、デ
ィレクトリを有している。先述した米国特許第４１３６
３８６号には、これに開運する構成が詳細に記述されて
いる。このシステムは相互接続論理２０及び複数のメモ
リ３ｌ−３４（主記憶アレイ）を含む。相互接続論理２
０は例えば２つのシステム制御装置（ＳＣＥ）４１．４
３及びメモリ制御装置（ＭＣ）５１．５３を含む。各シ
ステム制御装置４１．４８は相互照会回路４１ｂ、４３
ｂ及び優先論理回路４１ａ、４３ａを含む。優先論理回
路４１ａ、４３ａは優先順位制御とともに記憶保護キー
回路を含む。プロセッサ２１−２３からのフェッチ要求
に応答して、フェッチ要求がシステム制御装置の論理回
路４１ａ、４３ａからメモリ制御装置５１．５８のメモ
リコントロール及び相互照会論理回路４１ｂ、４３ｂへ
送られ、相互照会をスタートさせる。システム制御装置
（ＳＣＥ）４１と４３の間には、相互照会回路４１ｂ、
４３ｂの間にパス６０、要求バス６０、通信要求′４！
：扱うデータ・パス６０．２つの８０８間のデータ・パ
ス６０がある。データ・スイッチ４１Ｃと４３Ｇはシス
テム制御装置（ＳＣＥ）を介してのデータの流れを制御
する。例えば、主記憶メモリ３１−３４はこれらのデー
タスイッチを介して中央プロセッサ２１−２４の任意の
ものによりアドレスされる。メモリ制御装置５１は、例
えばメモリ３１．３２のためのローカル制御を行なう。

図面を簡潔にするため、メモリ３１の出力はプロセッサ
２１へ接続され、メモリ８２の出力はプロセッサ２２へ
、メモリ３３の出力はプロセッサ２３へ、メモリ３４の
出力はプロセッサ２４へ接続されるように図示されてい
る。しかし、これらのメモリ及びプロセッサは実際はア
ドレス・パスにより相互接続されているので、いずれの
プロセッサも任意のメモリにアドレス可能であり、その
逆も同様である。例えば、メモリ８４の出力はバス１１
０、データ・スイッチ４３ｃ、バス６０ａ、データ・ス
イッチ４１Ｃ１パス１１０ｅ介してプロセッサ２１へ至
る。これは米国特許第４６５４７７８号における高速バ
スを利用して行なうこともできる。

メモリ制御装置（ＭＣ）５１．５３はメモリ・コントー
ル回路５１ａ、５３ａを有し、これらは優先論理４１ａ
、４３ａからのフェッチ要求に応答して対応するバッフ
ァ制御装置７１．７２．７３又は７４に対して”メモリ
・レディ”信号を供給する。メモリ・コントロール回路
はフェッチ後の記憶装置アクセスまでの既知のマシン・
サイクル数をカウントしてレディ信号を供給する。本発
明に従って、メモリ制御装置５１はフェッチ・バッファ
６１．６８を有し、メモリ制御装置５３はフェッチ・バ
ッファ６５．６７を有する。フェッチ・バッファ６１．
６８．６５．６７は夫々メモリ３１．３２．３３．３４
と接続され、そこからの出力をバッファする。相互照会
回ｉ？８４１ｂ、４３ｂはバッファ制御回路７１−７４
に対して解放又はキャンセル信号を発生する。解放信号
は、主記憶装置がシステム中の最新コピーを有し、要求
中のプロセッサが優先論理からのフェッチ要求に従って
このデータをアクセスしつるという相互照会の検査結果
が得られる時に発せられる。バッファ制御論理はメモリ
制御回路からの”メモリ・レディ０信号に応答してフェ
ッチバッファをロードし、解放信号の後にバッファ６１
．６３．６５．６７からのデータ出力を伝送する。フェ
ッチ要求信号はメモリ・レディ信号を発生し、バッファ
制御装置中にあるカウンタのカウントを開始させるとと
もに、フェッチ・バッファにデータをロードさせる。

例えば、バッファの深さが１であるメモリについては、
１つのキャッシュ・ラインがバッファ６１にロードされ
る。解放信号がメモリ・レディの前に解放されると、バ
ッファ６１．６３．６５．６７はゲート９１−９４を介
してバイパスされる。

第２図は、ダブルワード・カウンタ（Ｄ、Ｗ。

Ｃ０ＵＮＴＥＲ）８１を有するバッファ制御装置７１を
示す。このカウンタの出力は、メモリからフェッチ・バ
ッファへロードするため、バッファを順次にクロックす
る。このキャンセルは論理４１ｂ、又は４３ｂからの別
個の線を介して行われる。相互照会の結果としてキャン
セル信号が発せられると、これはダブルワード・カウン
タ８１をクリアして記憶装置からいかなる出力も供給さ
れないようにする。相互照会回路からの出力がシステム
制御装置（ＳＣＥ　）からの解放信号である時には、こ
れはフェッチ・バッファからデータをシフトアウトする
のに使用される。さらに、メモリ・レディ信号に続いて
解放信号がある状態の場合は、選択ゲート９１に選択信
号が加えられ、かくてフェッチ・バッファの出力が中央
プロセッサに供給されることになる。この状態は、例え
ばバッファ制御装置７１中のインバータ１００、ＡＮＤ
ゲート１０１、ワンショット・ラッチ１０２、ＡＮＤゲ
ート１０３により検出することができる。メモリ・レデ
ィ信号の後に解放信号が生じた時にのみ、フェッチ・バ
ッファからデータをシフト・アウトするようにＡＮＤゲ
ート１０３が選択ゲート９１を動作させる。この状態の
みにおいてフェッチ・バッファからの出力が接続される
ようにゲート９１が動作することとなる。選択ゲー）９
２−９４も同様に動作する。相互照会からの出力がキャ
ンセル信号である時は、ダブルワード・カウンタ８１は
クリアされる。ダブルワード・カウンタ８１がクリアさ
れると、バッファのカウンタは使用されなくなり、次の
フェッチ要求の間オーバーレイされる。”メモリ・レデ
ィ”信号が、カウンタをスタートさせない限り、バッフ
ァへは何もクロック入力されない。解放信号が、メモリ
・レディ信号と同時又はその前にオンとなる場合は、メ
モリ・データはフェッチ・バッファをバイパスする。

バッファはフェッチ（メモリから中央プロセッサ（ＣＰ
）又はチャネル（ＣＣＥ）へデータを送る）に利用され
る。各バッファは所定の深さを持つ。深さ１（ｎ＝１）
は、バッファが１つのキャッシュ・ラインまでの１つの
メモリ伝送を保持できることを意味する。深さ２（ｎ＝
２）は、バッファが２つのキャッシュ・ラインまでを保
持できることを意味する。

１つのキャッシュ・ラインより小さな深さを有するシス
テムの動作において、フェッチ・バッファは相互照会の
間に伝送されるキャッシュ・ラインの一部のみを保持す
ることとなる。例として、１つのキャッシュ・ラインは
１６のダブルワードであり、１ワードは７２ビツト長で
ある。フェッチ・バッファは夫々が１つのダブルワード
を保持する３つのレジスタから成る。この場合、Ｄ＝３
／１６である。

”メモリ・レディ”信号の後に解放信号が生じると、レ
ジスタからのデータは順次にシフトアウトされ、カウン
タ８１の信号により選択ゲート９１ｔ−その後フェッチ
・バッファをバイパスするように制御信号が出力される
。

第３図は、１つのキャッシュ・ラインの深さを有するフ
ェッチ・バッファを有する場合と、有さない場合とで、
３つの中央プロセッサ（ＣＰ）が異なるメモリからフェ
ッチを行なう動作がどのように相違するかを例示Ｖた図
である。両方の場合（フェッチ・バッファを有する場合
と有さない場合）において、第１のプロセッサ（ＣＦ３
Ｉ）は同じ時間にデータを受は取る。これはＣＦ３Ｉが
相互照会（ＸＩ）に対する第１の要求元であることに基
づく。フェッチ・バッファを有する場合には、ＣＰ２２
とＣＰ２３はバッファが無い場合よりも早くデータを受
は取る。これはデータが主記憶装置のメモリカードのか
わりに、相互接続論理に現に保持されていることに基づ
く、従って、データ伝送に起因する相互照会によって生
じる待ち時間は削減される。この図に示されていないも
う１つの点は、メモリが一層速かに他のリクエストに対
応できるようになるということである。これはデータが
メモリから一層速かに転送されることによる。

第４図はバッファの深さが２で、７つの中央プロセッサ
（ＣＰ”）がフェッチを行なう場合の時間削減の効果を
示した図である。図示の如く、中央プロセッサＣＰ５と
ＣＰ６は所与のメモリからフェッチを行なっている。こ
の例では、相互照会は各要求に関してバックアップされ
る（チェック論理待ち行列を参照）。フェッチ・バッフ
ァが無い場合、中央プロセッサＣＰ６は、中央プロセッ
サＣＰ５の要求について相互照会が完了するまで、メモ
リＦをスタートできない。これはメモリが不使用状態に
される時間を増大させてしまう。フェッチ・バッファを
有する場合、ＣＦ２の要求は、ＣＦ２の要求がメモリに
関し処理された（ただし、依然として相互照会を待機し
ている）後、直ちに開始することができる。

Ｅ０発明の効果本システムによれば、緊密結合マルチプロセッサ・シス
テムにおいて、メモリを十分に活用することが可能とな
る。

【図面の簡単な説明】

第１図は本発明に従うマルチプロセッサ・システムの構
成を示すブロック図、第２図は第１図のバッファ制御装
置を示すブロック図、第３図はフェッチ・バッファ（バ
ッファ深さ＝１）の有無によるプロセッサのフェッチ動
作の差異を示すタイミング図、第４図は第３図と同様に
バッファ深さ＝２の場合のタイミング図、第５図は従来
のマルチプロセッサ・システムの構成を示すブロック図
、第６図は複数のシステム制御装置を有する従来のマル
チプロセッサ・システム構成を示すブロック図、第７図
は第６図のマルチプロセッサ・システムにおける動作を
示すタイミング図である。２０・・・・相互接続論理、２１．２２．２３．２４・
・・・中央プロセッサ、３１．３２．３３．３４・・・
・主記憶装置、４１．４３・・・・システム制御装置、
４１ａ、４３ａ＝優先論理、４１ｂ、４３ｂ・・・・相
互照会論理、５１．５３・・・・メモリ制御回路、６１
．６３．６５．６７・・・・フェッチ・バッファ、７１
．７２．７３．７４・・・・バッファ制御装置、９１．
９２．９３．９４・・・・選択ゲート。出願人　　インターナショナル・ビジネス・（外１名）

Claims

【特許請求の範囲】複数の独立メモリのアレイ；各々がストアイン・キャッシュを有する複数のプロセッ
サ；上記複数のメモリと上記複数のプロセッサとを相互接続
する相互接続論理とを有し、上記相互接続論理は、プロセッサのデータ要求に応答して該データの最新コピ
ーの存在位置を確認する相互照会チェックを実行すると
ともに、該チェックが終了し且つ要求されたメモリが最
新コピーを保持している場合には解放信号を発生するよ
うに構成されており、さらに、１つの上記メモリと上記
プロセッサの間に選択的に接続されたフェッチ・バッフ
ァを有し、上記フェッチ・バッファは上記解放信号が発
生される前に上記メモリがレディ状態であるとき、上記
プロセッサ要求に応答して上記メモリからフェッチされ
たデータのみを保持し、上記相互照会チェック及び他のチェックが完了し、且つ
上記解放信号が発生されるとき、上記保持されたフェッ
チ・データを上記プロセッサに対してアンロードするよ
うに構成されていることを特徴とするマルチプロセッサ
・システム。