JPH0748197B2

JPH0748197B2 - データ・バスを確保する方法

Info

Publication number: JPH0748197B2
Application number: JP4228140A
Authority: JP
Inventors: ロバート・ドブ・ハーツル; ダビッド・アンドリュー・シュローター
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1991-09-05
Filing date: 1992-08-27
Publication date: 1995-05-24
Anticipated expiration: 2010-05-24
Also published as: US5835714A; US5953510A; JPH05242022A; EP0531003A1

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、他のプロセツサからの
相互問い合わせ（cross interrogate-ＸＩ）要求を夫々
のプロセツサが調整しなければならない多重プロセツサ
（ＭＰ）のデータ処理システムに係る。詳細に言えば、
データ・バスの確保（reservation）を要求する要求源
のストレージ制御エレメント（ＳＣＥ）が、１マシン・
サイクルよりも長い伝播遅延を生じる距離で互に離隔し
ている場合、データ・バスを留保する複数の要求の間で
の優先問題を解決するために有効な技術に関する。更に
具体的に言えば、本発明は、データ・バスの確保を要求
する２つの要求源が、２つの双方向性データ・バスの内
の一方のデータ・バスを確保するのに競合した場合の優
先問題を解決する方法に関する。本発明の基本的な技術
は、複数の要求源が複数個のデータ・バスを確保しよう
とすることに関する技術である。

【０００２】

【従来の技術】別個のプロセツサ中で同時に実行するこ
とのできる動作を並列に遂行することによつてスループ
ツトを向上するような高性能の多重プロセツサ（ＭＰ）
のコンピユータ・システムが開発されている。ＭＰコン
ピユータ・システムにおける各中央プロセツサ（ＣＰ）
は独立して並列に動作するが、データを交換する必要が
生じた時には、プロセツサ相互間、または主ストレージ
（ＭＳ）とプロセツサの間で通信を行なう。ＣＰ及びＭ
Ｓは、データを交換するために接続される入／出力（Ｉ
／Ｏ）ポートを持つている。

【０００３】夫々のＣＰがそれら自身のキヤツシユ・メ
モリを持つていることを特徴とする強結合の多重プロセ
ツサ・システムとして知られているタイプのＭＰシステ
ムにおいては、システムの種々のレベルにおけるデータ
の整合性の問題がある。この問題をより特定して言え
ば、多重プロセツサのコンピユータ・システムにおい
て、メモリ階層の隣接レベルの間でデータの一貫性が保
てないことがあり得ると言う問題である。例えば、複数
のＣＰの内の１つのＣＰが、あるデータのコピーを変更
することによつて、これら複数のキヤツシユが同じデー
タについて異なつたバージヨンのものを持つことがあ
る。従つて、各プロセツサのキヤツシユは、複数のキヤ
ツシユ中のラインにおいて何が発生したかを同時期に知
つていなければならない。同じ主ストレージを共有する
多数のＣＰを持つＭＰシステムにおいて、各ＣＰは、ア
クセスが生じた時、アーキテクチヤの仕様に従つたデー
タの更新された最新のバージヨンを得ることが要求され
る。このためにキヤツシユの間のデータの一貫性を常に
監視することが必要となる。

【０００４】キヤツシユのデータの一貫性の問題につい
て幾つかの解決方法が提案されている。初期の解決方法
は、１９７６年のＡＧＩＰＳの会報に記載されたタング
（C.K.Tang）の「Cache System Design in the Tightly
Coupled Multi-processor System」と題する記事と、
１９７８年１２月の「IEEE Transactions on Computer
s」におけるセンシア（L.M.Censier）等の「A New Solu
tion to Coherence Problems in Multicache Systems」
と題する記事（１１１２頁乃至１１１８頁）とに記載さ
れている。センシア等は、中央に纒められた大域アクセ
ス権限テーブルを使用することにより、共有された書き
込み可能なデータを複数個のキヤツシユ中に存在させる
ことを可能にする方法を記載している。また、タングは
メモリ・ブロツクの状態を維持するためにキヤツシユの
コピー・デイレクトリを使用することを提案している
が、センシア等は、同じ状態ビツトで各メモリ・ブロツ
クをタグすることを提案している。

【０００５】これらの初期の提案による解決方法は、必
要がある時に、相互問い合わせ（ＸＩ）を達成するため
にどのようにして記録するかについての問題を解決す
る。このアイデアは、どのプロセツサのキヤツシユがラ
インのコピーを所有しているか、そして、その中のどの
キヤツシユがそのラインを変更したかについての情報を
コピー・タグ、またはメモリ・タグとして大域デイレク
トリに記録することに着想の原点がある。基本的な動作
は、プロセツサがラインにストアする時の状態を大域テ
ーブルに記録（MODIFIEDビツトによつて）させることで
ある。ストア・イン・キヤツシユが使用されているの
で、プロセツサのキヤツシユ・コントローラは、どのラ
インが変更されたのか、またはどのラインが専用ライン
であるかをそれ自身のキヤツシユ・デイレクトリから知
る。プロセツサの非変更ラインにストアすることは、ス
トレージ・コントローラと同期することが必要であり、
先ず、MODIFIED状態を得る。従つて、キヤツシユがシス
テムのラインのコピーだけしか持つていない場合でも、
プロセツサがストレージ・ブロツクに対してストアを実
際に発生しなければ、ストレージ・ブロツクをプロセツ
サに対して排他的状態、即ち変更可能状態にすることは
できない。

【０００６】米国特許第４３９４７３１号に記載されて
いるように、より一般的な意味におけるＥＸ（排他的）
状態は、ラインがキヤツシユの中にストアされていない
場合でも、ストレージ制御エレメント（ＳＣＥ）に知ら
せることなく、プロセツサによつてキヤツシユにストア
することができる。これは、例えばＩＢＭ／３０８１シ
ステムにおいて可能なので、微妙な差異であるが概念的
な観点からは重要なことであり、後続のストアが到来す
る「可能性がある（likely）」場合に、プロセツサのラ
インのＥＸ状態を獲得する。

【０００７】従来のＭＰシステムにおいては幾つかのキ
ヤツシユのタイプがある。キヤツシユの１つのタイプ
は、ＩＢＭ／３７０のモデル３０３３ＭＰに関する米国
特許第４１４２２３４号に記載されているようなストア
・スルー（store through-ＳＴ）キヤツシユである。Ｓ
Ｔキヤツシユのデザインは、主ストレージへのデータの
更新の際のＣＰが主ストレージに直接にデータをストア
する動作を妨げるものではない。主ストレージに対して
ストア・スルー・キヤツシユを更新する時、ストアされ
たキヤツシユ・ラインの遠隔コピーを無効にするため
に、相互問い合わせ（ＸＩ）動作が行なわれる。ストレ
ージ制御エレメント（ＳＣＥ）は、主ストレージ（Ｍ
Ｓ）のストア要求を待ち行列にして、適当なストア・ス
タツクを維持し、そして、バツフア制御エレメント（Ｂ
ＣＥ）とＳＣＥとの間の標準的な通信によつて、ストア
・スタツクが溢れ状態になるのを回避する。ＳＣＥのス
トア・スタツクが一杯になつた時、満杯の状態が除去さ
れるまで、関連するＢＣＥは、そのＭＳのストアを保留
する。

【０００８】キヤツシユの他のタイプは、米国特許第３
７３５３６０及び同第４７７１１３７号に記載されてい
るようなストア・イン・キヤツシユ（ＳＩＣ）である。
ＳＩＣキヤツシユ・デイレクトリは、米国特許第４３９
４７３１号に記載されているように、ストア・イン・キ
ヤツシユ中の各ラインは、排他的／読取専用（ＥＸ／Ｒ
Ｏ）フラグ・ビツトによつて制御される多重プロセツサ
共有性（shareability）を持つている。ＳＴキヤツシユ
とＳＩＣキヤツシユとの間の主な相違は、ＳＩＣ中のす
べてのストアがキヤツシユそれ自身に差し向けられると
いう点である（ストアされたラインがＳＩＣキヤツシユ
になければ、キヤツシユ・ミスを発生する）。また、米
国特許第４５０３４９７号において、取り出しミスの場
合のデータ転送は、コピーが遠隔のキヤツシユ中にあれ
ば、キヤツシユからキヤツシユへの転送（ＣＴＣ）によ
つて行なわれる。各キヤツシユ中のデイレクトリのコピ
ーを含むＳＣＥが使用される。これは、相互問い合わせ
（ＸＩ）の決定によりＳＣＥにおいて解決されるのを可
能にする。通常、キヤツシユ・ラインの変更は、ライン
がキヤツシユから置換されたときにだけ、主ストレージ
に対して更新される。

【０００９】多重プロセツサ（ＭＰ）システムにおける
ＳＣＥの間の接続は、双方向性のデータ・バスを与える
ケーブルを通して行なわれている。例えば、２つのＳＣ
Ｅを有するＭＰシステムのためには、２つのＳＣＥの間
に２つの双方向性の（ＢＩＤＩ）データ・バスがある。
ＳＣＥの間の物理的な接続が長い非常に大型のＭＰシス
テムの場合には、物理的なパツケージ制限のために、Ｓ
ＣＥが同じマシン・サイクルで相互に通信することがで
きないのに反して、従来のマシンにおけるＳＣＥの間の
ケーブルは、１つのＳＣＥによつて発生された要求及び
データが同じマシン・サイクルで他のＳＣＥに到達する
ような短い長さであつた。この問題に対する他の原因
は、最近のＭＰシステムのプロセツサのクロツク速度が
高速になつたことである。これらの高いクロツク速度
は、データ・バスを確保する複数の要求を、従来のマシ
ンでは１マシン・サイクルの間で通信できるほど充分に
短いケーブルであつてさえも、マシン・サイクル中で大
きな伝播遅延を生じることを意味する。ＢＩＤＩバスを
通る通信は、要求源のＳＣＥによりいずれか一方のバス
を確保することによつて行なわれる。然しながら、プロ
セツサの間の通信が１マシン・サイクルよりも長い伝播
遅延を生じる時には、ケーブルの長さによつて生じた伝
播遅延は、ＳＣＥの間の通信に問題を生じる。特に、Ｂ
ＩＤＩバスの確保を要求する優先権の競合を解決する問
題がある。通信を１マシン・サイクルで達成することの
できないような大型のマシンにおいては、データ・バス
の確保を要求する複数の要求に対して優先権を付与する
問題を効果的に解決する技術が必要である。

【００１０】

【発明が解決しようとする課題】本発明の目的は、デー
タ・バスの確保を要求する要求源の間の通信を１マシン
・サイクルで達成することができない場合において、複
数の要求源の間における双方向性のデータ・バスを効率
的に確保するシステムを提供することにある。

【００１１】

【課題を解決するための手段】本発明に従つて、データ
・バスの確保を要求する各要求源には、他のデータ・バ
スの確保を試行する前に、その要求源が確保しようと試
みなければならないデイフオルト・データ・バスが割り
当てられる。若し、デイフオルト・データ・バスが利用
可能でなければ、バスの確保を要求する要求源は、デー
タ・バスが利用可能になり、トークンが要求源に転送さ
れることとを待たなければならない。トークンは、要求
源が利用可能なデータ・バスを確保する優先権を持つた
ことを知らせる。トークンは各マシン・サイクルに要求
源の間を循環する。

【００１２】良好な実施例において、バスの確保を要求
する２つの要求源の各々はデイフオルト・データ・バス
を割り当てられ、この割り当てに従つて、いずれか一方
の要求源が「マスタ」モードにされ、他方の要求源が
「スレーブ」モードにされる。マスタ・モードにある要
求源はデイフオルトによつて第１のデータ・バスを割り
当てられ、他方、スレーブ・モードにある要求源はデイ
フオルトによつて第２のデータ・バスを割り当てられ
る。各要求源は、それら自身の優先権制御ロジツク及び
他の要求源の優先権制御ロジツクからデータ・バスの確
保を要求する。両方のデータ・バスが利用可能な場合に
は、優先権制御ロジツクは、両方の要求源にそのデイフ
オルト・データ・バスを自由に確保させる。若し、デー
タ・バスが１つだけしか利用できなければ、要求源は、
トークンが転送されることによつて、利用可能なデータ
・バスを確保する優先権を持つたことをその要求源に通
知されるまで、待機しなければならない。トークンは各
マシン・サイクル毎に２つの要求源の間で循環される。
トークンは、要求源の間の同期を維持するために、「マ
スタ」モードにある要求源によつて制御される。

【００１３】更に、本発明は簡単なエラー検査回路を与
える。バスの確保を要求する要求源の優先権制御ロジツ
クは１つの要求源によつて受け取られた確保が、確認信
号によつて確認される。エラー検査回路は、要求源の間
の遅延を考慮に入れて、１つの要求源によるデータ・バ
スの確保と、他の要求源からの確認とを相関させる簡単
な比較ロジツクを使用する。

【００１４】

【実施例】図１を参照すると、本発明を適用するための
多重プロセツサ（ＭＰ）システムのブロツク図が示され
ている。このＭＰシステムは、４つの中央プロセツサ
（ＣＰ₀、ＣＰ₁、ＣＰ₂及びＣＰ₃）ＣＰ１０、１１、１
２及び１３を含み、各ＣＰはインストラクシヨン実行
（ＩＥ）ユニツト１４、１５、１６及び１７と、バツフ
ア制御ユニツト（ＢＣＥ）２０、２１、２２及び２３と
を含んでいる。各ＩＥユニツトは主ストレージ（ＭＳ）
５０中のオペランドの取り出し動作及びストア動作を要
求するインストラクシヨンを発生するハードウエア及び
マイクロコードを含んでいる。

【００１５】ＩＥユニツト１４乃至１７は、関連するキ
ヤツシユ制御、ＢＣＥ２０乃至２３に対してフエツチ・
コマンド、即ち取り出しコマンド、またはストア・コマ
ンドを発生することによつて取り出し動作、またはスト
ア動作を開始する。ＢＣＥ２０乃至２３は、関連するプ
ロセツサのキヤツシユ・デイレクトリ（ＰＤ）を持つプ
ロセツサのストア・イン・キヤツシユ（ＳＩＣ）と、関
連するＣＰ１０乃至１３によつて排他的に使用されるす
べてのプロセツサのキヤツシユ制御とを含んでいる。一
般に、ＣＰはオペランドが必要とする各ダブルワード
（ＤＷ）単位の取り出しコマンド、またはストア・コマ
ンドを発生する。若し、ＤＷを含むキヤツシユ・ライン
がＰＤの中にあれば（この場合を「キヤツシユヒツト」
という）、ＤＷは、コマンドに従つてキヤツシユ中に取
り出され、またはストアされる。キヤツシユのオペラン
ド取り出しヒツトに対して、ストレージ・アクセスは、
ＢＣＥの外部に行くのを必要とせずに完了される。時
々、必要とされるＤＷがキヤツシユ中にはないことがあ
る（この場合をキヤツシユ・ミスという）。ＩＥの取り
出しコマンド、またはストア・コマンドの実行が完了す
る前に、ＤＷは主ストレージから取り出されていなけれ
ばならない。これを行なうために、ＢＣＥは、対応する
取り出しコマンド、またはストア・ミス・コマンドを発
生し、取り出しコマンド、またはストア・ミス・コマン
ドは、ＩＥユニツトによつて必要とされるＤＷを有する
ライン単位のデータを主ストレージ５０から獲得するこ
とをストレージ制御エレメント（ＳＣＥ）３０に要求す
る。ラインの単位は、ライン境界の所で主ストレージ５
０中に見い出されるが、しかし、ミスされたライン転送
が完了するまではＩＥ要求を進行状態に保持するため
に、必要なＤＷは、要求したＢＣＥに返還されるべき取
り出されたライン中の最初のＤＷである。

【００１６】ＳＣＥ３０はＣＰ１０乃至１３と、主スト
レージ５０とに接続されている。主ストレージ５０は、
複数個の基本ストレージ・モジユール（ＢＳＭ）のコン
トローラＢＳＣ₀、ＢＳＣ₁、ＢＳＣ₂及びＢＳＣ₃（ＢＳ
Ｃ５１、５２、５３及び５４）を含んでおり、基本スト
レージ・モジユールの各コントローラは、２つのＢＳＭ
０（６０、６２、６４及び６５）及びＢＳＭ１（６１、
６３、６５及び６７）で構成されている。４つのＢＳＣ
５１乃至５４の各々はＳＣＥ３０に接続されている。

【００１７】従来の多重システムにおいて、ＳＣＥ３０
は４つのコピー・デイレクトリ（ＣＤ）３１、３２、３
３及び３４を含んでおり、各ＣＤは、米国特許第４３９
４７３１号に記載されたものと同じ態様でＢＣＥの１つ
の中の対応するプロセツサ・キヤツシユ・デイレクトリ
（ＰＤ）の内容の１つのイメージを含んでいる。ダブル
ワード幅の双方向性のデータ・バスは、主ストレージ中
の各ＢＳＭ６０乃至６７及び対応するＳＣＥポートの間
と、ＳＣＥポートからＩ／Ｏチヤンネル・プロセツサ４
０への間、及び対応するＣＰ１０乃至１３の各々の間と
に与えられている。データ・バスと共に、制御信号とア
ドレス信号のために１組のコマンド・バスがある。ＣＰ
がＤＷへのアクセス要求に際してキヤツシユ・ミスに遭
遇した時、そのＢＣＥはＳＣＥ３０へミス・コマンドを
送ることによつて、主ストレージに対してラインのアク
セス要求を開始し、ＳＣＥ３０は、次に、主ストレージ
中の所定のＢＳＭに対して、コマンドを再度発生する。
ＢＳＭが動作中である場合、ＳＣＥ３０はコマンドの待
ち行列中にラインのアクセス要求を保持し、そして、必
要とするＢＳＭ６０乃至６７が利用可能になつた後でラ
インのアクセス要求を再度発生する。また、ＳＣＥ３０
は、通常の態様で主ストレージのコマンドを順序付ける
ので、特定のＢＳＭへのすべてのコマンドは、ＸＩロジ
ツクによつてキヤツシユの競合が見出された場合を除
き、先入れ先き出し（ＦＩＦＯ）の順序で発生される。
主ストレージの要求を処理する通常の順序の間で、ＳＣ
Ｅ３０は、常に、主ストレージの状態を監視し、保護キ
イの問い合わせの結果及びすべてのキヤツシユ・デイレ
クトリを分析し、そして、ＳＣＥ中に現在保持している
すべての待機中のコマンドの更新された状態を検査し、
そしてまた、ＳＣＥ３０により受け取られるようにＢＣ
Ｅ２０乃至２３中で待たされているすべての新しいＢＣ
Ｅコマンドを検査する。

【００１８】ＳＣＥ３０は複数個のストア・スタツク
（ＳＳ₀、ＳＳ₁、ＳＳ₂及びＳＳ₃）３５、３６、３７及
び３８を保持しており、各ストア・スタツクは、対応す
るＣＰに対して１６個のＤＷまでの主ストレージのスト
ア要求を保持する。ＳＣＥ３０は、主ストレージのアド
レス及び有効性の表示のストア・スタツクのために充分
なデイレクトリ情報を保持している。ストア・スタツク
が溢れそうになつた時ＳＣＥ３０は、ストア・スタツク
の満杯状態を除去するＳＣＥ３０からの信号をＢＣＥが
受け取るまで、ＢＣＥからのそれ以上のストア要求の転
送を保留するために、関連するＢＣＥ２０乃至２３に対
して優先的な要求を送る。ストア・スタツク中のデータ
はそれに到来した順序を守りつつ適正なスケジユールで
主ストレージに対して更新される。ストア・スタツクに
おいて、ラインに対して存在するすべてのストアが関連
するＢＳＭ６０乃至６７に送られたことを、ＳＣＥが確
認するまで、ＣＰによるライン取り出し要求はＳＣＥ３
０によつて保留される。

【００１９】以下に記載される説明によつて理解される
ように、本発明は２つ以上のＳＣＥを必要とするような
多重プロセツサ・システムに関連している。そのような
システムにおいて、上述したような機能を遂行するため
相互に通信するためのＳＣＥが必要である。ある種の大
型の高性能のＭＰシステムにおいては、物理的なパツケ
ージの制限によつて、ＳＣＥは、同じマシン・サイクル
内で相互に通信することを妨害される。この通信遅延
は、ケーブルの長さによつて発生し、そして、データ・
バスを確保するための優先方式を必要とする。

【００２０】図２は、ＳＣＥ０及びＳＣＥ１で示された
２つのＳＣＥ７０及び７１を用いた多重プロセツサ（Ｍ
Ｐ）システムを示している。ＳＣＥ７０はバツフア制御
エレメント（ＢＣＥ）７２及び７３、通信チヤンネル
（ＣＣ）７４及び基本ストレージ・モジユール制御（Ｂ
ＳＣ）７５及び７６と通信し、そして、ＳＣＥ７１はＢ
ＣＥ７７及び７８、ＣＣ７９及びＢＳＣ８０及び８１と
通信する。ＳＣＥ７０及び７１は２つの双方向性バス８
２及び８３により相互接続され、これにより、各ＳＣＥ
によつてすべてのＢＣＥ、ＢＳＣ及びＣＣを効果的に通
信させる。

【００２１】従来のマシンにおいて、ＳＣＥ７０から送
られた信号は、同じマシン・サイクルにおいてＳＣＥ７
１によつて受け取ることができる。２つのＳＣＥの間の
データ・バスの確保は、両側から要求される双方向性バ
スの確保要求を１サイクル毎のベースでデコードする優
先権制御ロジツクによつて行なわれる。

【００２２】本発明が実施されるマシンにおいては、Ｓ
ＣＥ７０及びＳＣＥ７１は同じマシン・サイクルの間で
は相互に通信することができない。これは、システムの
物理的なパツケージの制限に起因している。２つのＳＣ
Ｅの間のケーブルは３メートルの長さである。従つて、
ＳＣＥの間のすべての信号は、ケーブルの中で、最小限
１マシン・サイクルを費す。

【００２３】図３は本発明に従つたＢＩＤＩの確保制御
回路のブロツク図を示す。この実施例において、ＳＣＥ
７０及びＳＣＥ７１を相互接続する２つのＢＩＤＩデー
タ・バス８２及び８３がある。ＳＣＥのいずれか一方
は、「マスタ」と呼ばれ、他方は「スレーブ」と呼ばれ
る。この実施例の説明を簡単にするために、マスタＳＣ
Ｅは、ＳＣＥ０と表示されたＳＣＥ７０とし、スレーブ
ＳＣＥはＳＣＥ１と表示されたＳＣＥ７１とするが、こ
の関係を反対にすることができるのは容易に理解できる
であろう。

【００２４】各ＳＣＥには双方向性（ＢＩＤＩ）バスの
優先権制御ロジツクが与えられている。図３において、
ＳＣＥ０のＢＩＤＩバスの優先権制御ロジツク９１は、
ＳＣＥ７０から、ＢＩＤＩバスを確保するための要求を
受け取り、そして、バス８２及び８３の状態を通知す
る。同様に、ＳＣＥ１のＢＩＤＩバスの優先権制御ロジ
ツク９２は、ＳＣＥ７１から、ＢＩＤＩバスを確保する
ための要求を受け取り、そして、バス８２及び８３の状
態を通知する。加えて、ＢＩＤＩバスの優先権制御ロジ
ツク９１はＢＩＤＩバスの優先権制御ロジツク９２へ通
知し、バス８２及び８３の状態を受け取り、かつ、ＢＩ
ＤＩバスの優先権制御ロジツク９２はＢＩＤＩバスの優
先権制御ロジツク９１へ通知し、バス８２及び８３の状
態を受け取るように、２つのＳＣＥは相互に通信する。

【００２５】ＢＩＤＩの優先権制御ロジツク９１と関連
してトークン制御ロジツク９３があり、そして、対応す
るトークン制御ロジツク９４はＢＩＤＩの優先権制御ロ
ジツク９２と関連されている。トークン制御ロジツク９
３は、ＢＩＤＩバスの優先権制御ロジツク９１及び９２
の両方と通信する。トークン制御ロジツク９４も同じよ
うに優先権制御ロジツク９１及び９２と通信する。優先
権制御ロジツク９１及び優先権制御ロジツク９２の両方
のロジツクはトークン制御ロジツクに関連しているが、
マスタ・モードにある優先権制御ロジツクのトークン制
御ロジツクのみが動作し、これによりＳＣＥの間の同期
を保証する。また、ＢＩＤＩバスの優先権制御ロジツク
９１と関連してエラー検査ロジツク９５があり、対応す
るエラー検査ロジツク９６はＢＩＤＩバスの優先権制御
ロジツク９２と関連している。

【００２６】マスタ・モードにあるＳＣＥは、先ずＢＩ
ＤＩバス８２を確保することを試行し、そして、次にＢ
ＩＤＩバス８３を確保することを試行する。反対に、ス
レーブ・モードにあるＳＣＥは、先ずＢＩＤＩバス８３
の確保を試行し、そして、次にＢＩＤＩバス８２の確保
を試行する。これは、ＢＩＤＩバスを確保する時に、Ｓ
ＣＥ間の競合の可能性を減少するために行なわれる。こ
の実施例の場合、ＳＣＥ０、即ちＳＣＥ７０はマスタで
あるから、ＢＩＤＩバス８３の確保を試行する前にＢＩ
ＤＩバス８２の確保を試行し、そして、ＳＣＥ７１はＢ
ＩＤＩバス８２の確保を試行する前にＢＩＤＩバス８３
の確保を試行する。

【００２７】ＳＣＥは、与えられた１マシン・サイクル
の間で、ＢＩＤＩバスを確保する要求を１つだけしか要
求することができない。若し、２つのＢＩＤＩバス８２
及び８３が利用可能ならば、ＳＣＥは、そのデイフオル
トＢＩＤＩバスを確保する要求を任意の時にすることが
できる。若し、ただ１つのＢＩＤＩバスが利用可能なら
ば、ＳＣＥは、そのバスがデイフオルト・バスであつて
も、あるいは他のバスであつても、ＢＩＤＩバスを確保
するためには、トークンを受け取るまで待機しなければ
ならない。トークンは、１マシン・サイクル毎にＳＣＥ
７０及び７１の間で切り換り、マスタ・モードにあるＳ
ＣＥのトークン制御ロジツク９３、または９４によつて
制御される。図３に示した２つのＳＣＥによる簡単な実
施例においては、トークン制御ロジツクは各マシン・サ
イクル毎に切り換る単純なフリツプ・フロツプ回路であ
る。３個、または４個のＳＣＥに対しては、トークン制
御ロジツクは例えば２段カウンタであつてよい。代案と
して、トークン制御ロジツクはリング・カウンタの形式
を取つてもよい。３個以上のＳＣＥの場合にも各ＳＣＥ
は他のＳＣＥの各々と２つのＢＩＤＩバスで互いに接続
される。

【００２８】図４はＢＩＤＩバスの優先権制御ロジツク
の流れ図である。若し、データ・バス８２及び８３の両
方が利用可能ならば（決定ボツクス１００）、ロジツク
は、バスの確保要求をしたＳＣＥがマスタＳＣＥか、ス
レーブＳＣＥかを判断する。この判断の結果、そのＳＣ
Ｅのデイフオルト・データ・バスが確保される。バスの
確保要求が行なわれた時に、若し、両方のデータ・バス
が利用可能でなければ、ロジツクは、利用可能なデータ
・バスがあるか否かを検査する（ボツクス１２０）。若
し、現在、利用可能なバスがなければ、要求源は、バス
が利用可能になり、要求源がトークンを保持するまで待
機しなければならない。若し、バスの確保要求が行なわ
れた時に少なくとも１つのデータ・バスが利用可能なら
ば、ロジツクは、要求源が現在トークンを保持している
か否かを検査する（ボツクス１５０）。若し、バスの確
保要求源がトークンを保持していなければ、その要求
は、トークンが要求源に転送される次のマシン・サイク
ルまで待機しなければならない（ボツクス１７０）。若
し、１つのバスが利用可能であり、かつ、要求源がトー
クンを持つていれば、そのデータ・バスは要求源によつ
て確保される（ボツクス１６０）。

【００２９】若し、ＳＣＥが同じマシン・サイクルでＢ
ＩＤＩバス確保要求の受信、送信が競合したならば、Ｓ
ＣＥはバスの確保要求の受信を優先する。つまり、ＢＩ
ＤＩバスの優先権制御ロジツク９１、または９２によつ
て、バスの確保要求を受け取るための優先権が与えられ
るということである。２つのＳＣＥの間の接続線は、バ
スの確保要求を１マシン・サイクルの間、効果的に「ス
トア」する、即ち遅延するので、ＳＣＥによつて受け取
られた確保要求は、より以前のサイクルにおいて他のＳ
ＣＥにより転送されたものであり、時間的に早い順序に
あるためである。

【００３０】ＢＩＤＩバスの優先権制御ロジツク９１及
び９２が両方のＳＣＥに適正に動作するのを保証するた
めに、エラー検査ロジツク９５及び９６が、ＢＩＤＩバ
スの優先権制御ロジツクによつて転送されたＢＩＤＩバ
スの状態を検査する。エラー検査ロジツク９５及び９６
は単純な比較ロジツクによつて実行される。ＢＩＤＩバ
ス確保要求が他のＳＣＥから受け取られた時には、バス
が確保されたことを確認する信号が要求ＳＣＥに送り戻
される。確保信号及び確認信号は、ＳＣＥの間の遅延を
考慮に入れて比較される。これは、システムの両側の優
先権制御ロジツクが同じ決定をすることを保証するため
に行なわれる。若し、エラーがエラー検査ロジツク９
５、または９６で検出されたならば、エラー信号が対応
するＳＣＥのエラー・ロジツクに送られる。

【００３１】以上、本発明の１実施例について説明して
きたが、本発明の技術的思想の範囲内で、当業者によつ
て、この実施例に種々の変更を施すことができる。例え
ば、実施例においては、２つのＳＣＥと２つの双方向デ
ータ・バスとを用いたが、本発明の技術思想の範囲内
で、当業者は２以上のＳＣＥ、あるいは、２以上の双方
向データ・バスを持つシステムに容易に拡張することが
できる。

【００３２】

【発明の効果】本発明は、双方向性のデータ・バスによ
つてストレージ制御エレメント相互の通信を行なう大型
の多重プロセツサのデータ処理システムにおいて、通信
を１マシン・サイクルの間で達成することができない場
合に、データ・バスの確保要求の競合の問題を効果的に
解決することができる。

【図面の簡単な説明】

【図１】本発明が実施例される多重プロセツサ・システ
ムのブロツク図である。

【図２】４路の多重プロセツサ・システムを示すブロツ
ク図である。

【図３】本発明を適用した双方向性バスを確保する優先
権の制御を説明するためのブロツク図である。

【図４】双方向性バスの確保システムのための優先権制
御ロジツクを説明するための流れ図である。

【符号の説明】

１０乃至１３中央プロセツサ（ＣＰ）１４乃至１７インストラクシヨン実行ユニツト（Ｉ
Ｅ）２０乃至２３、７２、７３、７７、７８バツフア制御
ユニツト（ＢＣＥ）３０、７０、７１ストレージ制御エレメント（ＳＣ
Ｅ）３１乃至３４コピー・デイレクトリ（ＣＤ）３５乃至３８ストア・スタツク（ＳＳ）４０Ｉ／Ｏチヤンネル・プロセツサ５０主ストレージ（ＭＳ）５１乃至５４、７５、７６、８０、８１基本ストレー
ジ・モジユールのコントローラ（ＢＳＣ）６０乃至６７基本ストレージ・モジユール（ＢＳＭ）７４、７９通信チヤンネル８２、８３双方向性バス９１、９２優先権制御ロジツク９３、９４トークン制御ロジツク９５、９６エラー検査ロジツク

───────────────────────────────────────────────────── フロントページの続き (72)発明者ダビッド・アンドリュー・シュローターアメリカ合衆国ニューヨーク州、ワッペンジー・フォールス、ダニエル・サビア・ドライブ２番地

Claims

【特許請求の範囲】

【請求項１】複数個のストレージ制御エレメントを相互
接続する複数個のデータ・バスを含み、上記ストレージ
制御エレメントの各々にそれぞれ異なるデイフオルト・
データ・バスが割り当てられており、ストレージ制御エ
レメントから他のストレージ制御エレメントにマシン・
サイクル毎にトークンを渡すトークン制御ロジックが上
記ストレージ制御エレメントの各々に備えられている多
重プロセツサのデータ処理システムにおいて、前記スト
レージ制御エレメント間のデータ転送に１マシンサイク
ル以上の遅延が生じる場合に、データを転送するデータ
・バスを確保する方法において、要求源である１つのストレージ制御エレメントからデー
タを転送するための要求を検出することと、上記複数個のデータ・バスのすべてが利用可能である
時、上記要求されたデータを伝送するために上記要求源
のデイフオルト・データ・バスを確保することと、若し、上記複数個のデータ・バスのすべてが利用可能で
あるのでなければ、上記トークンが上記要求源に与えら
れるまで、上記データ・バスの確保の試みを禁止するこ
とと上記要求源が上記トークンを受け取ったとき、先ず該要
求源のデイフオルト・データ・バスを確保することを試
み、該デイフオルト・データ・バスが利用可能でなけれ
ば次に代替のデータ・バスを確保することを試みること
と、を含むことを特徴とするデータ・バスを確保する方法。
【請求項２】上記複数のストレージ制御エレメントは第
１及び第２のストレージ制御エレメントを含み、上記複
数のデータ・バスは第１及び第２のデータ・バスを含
み、上記第１のストレージ制御エレメントをマスタとして指
定し、上記第２のストレージ制御エレメントをスレーブ
として指定すると共に、上記第１のデータ・バスは上記
第１のストレージ制御エレメントのためのデイフオルト
・データ・バスとして割り当てられ、かつ、上記第２の
データ・バスは上記第２のストレージ制御エレメントの
ためのデイフオルト・データ・バスとして割り当てられ
る、ことを特徴とする請求項１に記載のデータ・バスを確保
する方法。
【請求項３】上記データ・バスの状態を上記要求源に通
知することと、エラーを検出するために上記状態を検査することとを含むことを特徴とする請求項１に記載のデータ・バス
を確保する方法。