JPH09506731A

JPH09506731A - マルチプロセッサ・システム用バス構造

Info

Publication number: JPH09506731A
Application number: JP8528822A
Authority: JP
Inventors: ヨルクゲツラフ、クラウス; ヴィレ、ウド; ヴェルナータスト、ハンス; レプラ、ベルント
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1995-03-27
Filing date: 1995-03-27
Publication date: 1997-06-30
Anticipated expiration: 2015-09-11
Also published as: WO1996030842A1; EP0760979A1; JP3086261B2; US5889969A

Abstract

(57)【要約】本発明は、複数段のキャッシュ構造を有するマルチプロセッサ・コンピュータ・システム用の改良型多重バスの概念に関する。この概念は、詳細には、改良されたバス切換装置を提供する。本発明はまた、そのようなバス・システムを介して多数のプロセッサが電気的に相互接続されている場合の近端信号受信の問題の処理に関する。提案したバス構造は、それぞれいくつかの物理バス手段によって構成された論理バスを含む。各論理バスは、１つまたは複数の物理メモリ・バス手段によってメモリ装置及びバス切換装置（ＢＳＵ）に接続される。各処理装置は、１つまたは複数の物理バス及びＢＳＵを介して各メモリ装置に接続される。

Description

【発明の詳細な説明】マルチプロセッサ・システム用バス構造本発明は、主に複数段のキャッシュ構造を有するマルチプロセッサ・コンピュータ・システム用の改良型多重バスの概念に関する。詳細には、この概念は、そのようなバス・システムを介して多数のプロセッサが電気的に相互接続される場合において改良型バス切換ユニット及び近端信号受信の方法を提供する。マルチプロセッサ・コンピュータ・システムにおけるバス構造は、システムの全体的な性能、機能性、及び細分性に大きく影響する。バスの効率を高める最も重要な特性の１つは、バスの帯域幅であり、これはプロセッサの速度及び可変数のプロセッサと適合することのできるバスの能力を記述する。これは、バスの幅、バス・プロトコルによるバスの効率的利用、及びバスのサイクル時間に左右される。バスの幅は、チップ・パッド、モジュール・ピン、カード、及びボードの配線しやすさなどパッケージの物理的制約によって制限される。したがって、従来技術のバス・システムにおいては、１つの大きなバスまたは１組の小さなバスが構築されていた。別の従来技術の手法においては、スマート・バス・プロトコルによりプロセッサ間のバス・インターリーブによって、アドレス指定されたメモリ・バンクのアクセス時間によって生じるバスの時間ギャップを埋めることができる。「バス・インターリーブ」は、バス上の待ちサイクルを利用して他のメモリ・バンクにコマンドを出す既知の方法である。バスとメモリの帯域幅を広げるために、１つのバスについて複数のメモリ・バンクを同時に動作させることができる。バス帯域幅に主に影響を及ぼすのは、バス・サイクル時間である。効率のよいバス構造は、プロセッサとバスのサイクル時間をできるだけ一致させる優れた電気特性を備えていなければならない。たとえば、ランドリー・ラインのようなプロセッサを接続する簡単な構造では、電気特性が低いためにサイクル時間とプロセッサの数が制限される。これと対照的に、より多数の複雑なバス構造は、各プロセッサと中央切換装置の間にポイント・ツー・ポイント・バスを提供する。この装置には、１つまたは複数のメモリ・バンクが接続される。この構造によって、バス・サイクルを短くすることができるが、長い配線が必要になる。パッケージングに関しては、すべてのバスがスイッチに経路指定されるため、中央切換装置は非常に多くのピン数を必要とする。さらに、従来技術のシステムにおいて、バス構造の性能は、分散調停機能または集中調停機能として実施できるバス調停の概念によって改善される。集中調停の概念は、追加のハードウェア構成要素、すなわち集中バス・スイッチのような制御装置に基づく。この装置は、すべてのバス要求を受け取って調停を行い、次のサイクルで要求装置に許可を出す。分散方式は、すべての要求線をバスに関与するすべての機構に配線しなければならないため、多数の配線を必要とする。しかし、その利点は、集中調停と比較して、経路にオフチップ・ネットワークが１つしかないために、１サイクル内で調停を終えることができる点である。経路全体は、オフチップ・ネットワーク、すなわち要求線と、調停論理回路からなる。これがバスのサイクル時間を制限する場合は、２サイクルの集中バス調停が好ましい解決策となる。効率のよいバス構造のもう一つの重要な特徴は、多重キャッシュ・プロセッサ構造においてデータの整合性を保証できることである。既知の簡単な概念は、いわゆるバス・スヌープである。これにより、各プロセッサが、他のすべてのプロセッサのバス操作を監視し、そのキャッシュ線の状況を追跡する。その状況は、「修正」、「独占」、「共用」または「無効」である。必要なアクションは、メモリを更新しまたは更新せずに線を無効にするかあるいは修正データを放棄することである。修正データの放棄は、ＰＵが線の独占的所有者ではなくなっていることを意味する。これらの動作はすべて、個々のプロセッサによって開始され制御される。しかし、この簡単な概念は、構造的に複数のバスがある場合には、集中交換装置を有するシステムに制限される。したがって、データの整合性を集中交換装置で制御しなければならない。これにより、プロセッサのすべてのキャッシュ・ディレクトリならびに各線の状況のコピーが維持される。集中交換装置は、キャッシュ線の状況を監視し、必要に応じてプロセッサからの放棄を開始し、データ転送を行うための必要なメモリ・コマンドを出す。その利点は、サイクル時間が短いこととバス／メモリの帯域幅が大きいことである。しかし、この方式の欠点は、キャッシュを含む完全なプロセッサに相当する設計努力が必要なことである。したがって、このコストのかかる概念は、ハイエンドのメインフレームの設計においてしか実施できない。このような集中調停の概念は、ＩＢＭテクニカル・ディスクロージャ・ブルテン、Vol.35、No.6、1992年11月（第２図）に、中央クロスバー交換機を使用するものが開示されている。この論文において、メモリ要求はプロセッサ・バスを介して転送され、データはクロスバー交換機を介してメモリ装置に転送される。この分割概念によって、いくつかのメモリ・バンクに対するインターリーブ・アクセスの集中メモリ制御が可能になる。集中調停のもう１つの手法は、本出願人の米国特許第５３５５４５５号明細書に示されている。この特許は、複数のバスがバス・アダプタによって接続されたコンピュータ・システムにおけるデッドロック問題に関するものである。このバス・アダプタは、共通のバス・システムを２つの並列バスに分割し、第１の部分は処理装置とメモリ装置を含み、第２の部分はいくつかの入出力制御装置を含む（上記明細書の第１図）。この発明の基礎となる問題は、２つのデータ・バスを有するコンピュータ・システムに関し、第１のバスのバス装置が第２のバスのバス装置と通信しようとするが、第２のバスのバス装置は第１のバスとは別のバス装置と通信しようとし、通常はデッドロック状態になるものである。この問題は、バス・アダプタが１つしかないためにボトルネック状況として発生し、特にＢＵＳＳＵＳＰＥＮＤ制御信号を導入することによって解決される。分散調停手法の例は、Siemens Aktiengesellschaft，Germanyに譲渡された米国特許第５０９３８２６号明細書に記載されている。同特許は、任意の半分に分割された多重バス・システムに関し、各半分が、重複した主メモリの対応する半分に接続されている。これにより、同一の情報が異なる２つのメモリに記憶される。この特許の教示によれば、特別の動作時間に、個々のプロセッサ、１つのバス・システムの片方、及びいくつかのメモリ・セクションが分割され、独立の専用コンピュータを形成するように相互接続される。欧州特許出願０５５７６５１号明細書は、メモリ・バス上で効率の良いインターリーブを可能にするマルチプロセッサ・システムに関する。この概念によって、メモリが少なくとも２つのメモリ・バンクに論理的に分割されるため、バスに関与する機構のメモリへの複数アクセスが可能になる。さらに、ドイツ国特許ＰＳ３７０８８８７号明細書において、並列バス構造が開示されている。この構造では、、セクション間にレジスタが挿入されてバスがセクションに分割される。各バス・セクションにおいて、所与の時間に、データが、互いに独立に転送されまたはパイプライン転送される。個々のバス・セクション内のデータ・バスが通常はセンチメートルの物理長さでさらに細分割されるので、信号伝送時間が大幅に短縮される。したがって、サイクル時間と転送速度が速くなる。したがって、本発明の目的は、単純で効率の良い多重バス・システムを最短のバス・サイクル時間で利用することによってバス帯域幅が最大になるようにする、密結合マルチプロセッサ・コンピュータ・システム用の改良型バスの概念を提供することである。もう１つの目的は、このバスの概念を実施するコンピュータ・システムの拡張及び縮小に関して最も大きなシステム・モジュール性を有するバス構造を提供することである。もう１つの目的は、バスに関与する機構間のポイント・ツー・ポイントの接続性が最大になるようにするバス構造を提供することである。本発明によるバス構造は、複数の物理バスによって構成される論理バスを提供することによってこの問題を解決する。物理バスの数は、変更可能で、そのバス・システムによって相互接続されるプロセッサの数に比例する。さらに、各論理バスは、バス切換装置（ＢＳＵ）を含み、メモリ・バンクに接続され、プロセッサは物理バスとバス切換装置を介して各論理バスに接続される。物理バスにより、各プロセッサが各論理バスにアクセスすることができる。これにより、１つまたは複数のメモリ装置に対する１つまたは複数のプロセッサの並列アクセスが極めて効率的に支援される。この並列処理は、いくつかのメモリ装置に対する１つの処理装置のアクセス、ならびにいくつかのメモリ装置に対するいくつかの処理装置のアクセスに関するものであることが重要である。さらに、所与の時間に論理バスに対してプロセッサ・アクセスを１つだけ可能にするバス調停論理回路によってデータの整合性が達成される。このようにいくつかのプロセッサによる同一線のバス要求を自動的に直列化することによって、所与の時間にただ１つのプロセッサの独占的所有が簡単にできるようになる。さらに、論理バス上で様々なメモリ装置のバス・インターリーブを簡単に行うことができる。この多重論理バスの概念によって、二倍または四倍のバス幅を有する単一バスの概念に勝る接続性及び帯域幅の著しい改善が達成される。バス上のラインフェッチ動作は、一般に、コマンド・サイクル、メモリ待ちサイクル、及びデータ転送サイクルからなる。単一バスの改善により、データ転送のサイクル数だけが減少し、コマンドまたはメモリ待ち動作のサイクル数は減少しない。この多重論理バスの概念は、完全な動作を並列に行うことができるので、１つのバス動作について少しのサイクルしか必要でない。ＢＳＵ動作中の１サイクルの損失は、短くなったサイクル時間に関してシステムの性能に小さな影響しか及ぼさない。提案したバス構造のＢＳＵは、次のサイクルに、１つのポートからのコマンド／制御信号及びデータを他のすべてのポートに送出するスイッチ１＞ｎとして働く。バスに関与する様々な機構の間の電気的ポイント・ツー・ポイント接続によってバス・サイクル時間を改善するために、それぞれのＢＳＵは、いくつかの物理バスに分割された１つの論理バス上でのみ動作する。論理バスは、それぞれのＢＳＵを介してそのメモリ装置まで経路指定される。したがって、この構成により、システム内でメモリ装置の並列選択が可能になる。第２段のキャッシュ・メモリ装置を少なくとも２つの部分に分割することによって、単一プロセッサまたはプロセッサのグループはそれぞれ、各ＢＳＵに電気的ポイント・ツー・ポイント接続を行う。これにより、これらのＢＳＵバスの物理構造を、バス・サイクルがプロセッサ・サイクルに等しいかまたは近づくように構成することができる。さらに、物理バスの数は可変なので、たとえば、プロセッサの数またはグループを拡張した場合に、バス構造をプロセッサ及び帯域幅の要件に簡単に適合させることができる。特に、提案した構造を利用すると、そのモジュール性によって、高い性能またはコスト・パフォーマンスあるいは低コストに向けて最適化された様々なシステムを構成することができる。多数の論理バス及びプロセッサを備えたハイ・エンド・システム用の複数チップ・モジュール、あるいは、２つの処理装置と１つの論理バスがカード上の単一チップ・モジュールに取り付けられたロー・エンド・システムなど様々なパッケージを選択することができる。さらにこのモジュール式システム構造によって、ハードウエアに欠陥がある場合でも、たとえば、それぞれ、処理装置の数を減らすか、プロセッサ・クラスタの数を減らすか、あるいはバスまたはメモリ・カードの数を減らすことによって、低下モードでのシステム動作が可能になる。本願で提案するバスの概念は、独立のコマンド・バス、アドレス・バス及びデータ・バスを含むことができない。信号数に制限があるため、これらはすべて同一の物理バス上で多重化される。したがって、バス上のコマンド、アドレスまたはデータに応じて、異なるバス通信が必要になる。この通信の詳細は、実施形態の説明を参照されたい。別の実施形態では、これらの通信プロトコルは、特に情報をバス全体に簡単に同報通信するための再ドライブ機構を含むＢＳＵによって処理される。本発明のさらに別の好ましい実施形態では、所与の時間に論理バスに対するアクセスを１つのプロセッサだけに許可するバス調停装置を提供することによって、データの整合性がさらに改善される。論理バスをアドレス・クラスに割り当てることにより、多数のプロセッサによる同一線のバス要求の直列化が実施される。各論理バスをただ１つのアドレス・クラスに割り当てることによって、データの整合性が極めて効率良く保証される。それにより、各バスは、たとえば低位線アドレス・ビットによって決定されたそれ自体の合同クラスをもつことができる。要求プロセッサは、この基準のみによって適切な論理バスを選択する。さらに、バス切換装置内でバス調停機能を実施することによって、バス構造の全体的なパフォーマンスを改善することができる。さらに、たとえば、Ｐｕ＞キャッシュ＞バス＞再ドライブ機構＞バス＞メモリ（コマンド）あるいはメモリ＞バス＞再ドライブ機構＞バス＞キャッシュ＞Ｐｕ（データ）などコマンド及びデータの方向に向かうバス上の再ドライブ論理回路によって、バスのサイクル時間を改善することができる。これらの一部のバスは、サイクル時間を短くすることができるが、再ドライブ論理回路内で１サイクルを各方向に使用しなければならない。ＢＳＵは、いくつかのプロセッサ装置、キャッシュ・メモリ、メモリ・バス・アダプタ、及び記憶制御装置の間の様々な物理バスを接続し、バスに関与する機構に入力データを再ドライブする。したがって、ＢＳＵは、バス再ドライブ機能と制御信号再ドライブ機能を含むことができ、それにより、プロセッサとキャッシュの間のデータの整合性を保証する機能は含まなくてもよい。その代わりに、コマンド選択信号を含めてアクティブ・プロセッサのコマンド・サイクルを、１つのバスから他のすべてのバスに再ドライブする。これにより、他のプロセッサが、当該の線のバス・スヌープ操作を実行する。また、本願で提案する構造によって、すべてのバス・スヌープ・アクションがプロセッサ自体中に留まることができる。キャッシュ・ディレクトリのコピーを維持する必要はない。さらに、ＢＳＵがメモリ・バス上でコマンドを並列に出すので、他のバス上のコマンドの再ドライブによってバス・サイクルが失われることはない。さらに、バス切換装置は、ＢＳＵとメモリの間のポイント・ツー・ポイント接続であり、プロセッサのサイクル時間とも一致するメモリ・インターフェースとしても働く。さらに、メモリ階層全体にわたるデータ線の関連性を含むことが重要である。ラインフェッチ動作中に生じるようなすべての線交換動作が、最初に選択した論理バス及びメモリ装置に常に関連付けられていると好都合である。バス間にもインターリーブした線間にも干渉はない。また、プロセッサが再ドライブ機能を独占的に実行することもできる。メモリ装置は、記憶制御装置によって制御される少なくとも２つのメモリ・バンクを含むことが好ましい。論理バスは、システム内のメモリ・バンクの並列選択を可能にするそれぞれのＢＳＵを介してそのメモリ・バンクまで様々に経路指定される。ラインフェッチ中に起こるすべての線交換動作は、常に、最初に選択したバス及びバンクと関連付けられる。バス間にもインターリーブした線間にも干渉はない。本発明のもう１つの態様は、プロセッサのクラスタがポイント・ツー・ポイント接続によって相互接続されていない本願に提案するバス構造において、近端信号受信の問題を解決する方法である。具体的には、１つのプロセッサが実際の線を占有してそれを隣のプロセッサに転送しなければならない、同一の物理バス上でのバス・スヌープや放棄など、すべての近端送出／受信動作が２サイクルで実行される。具体的には、実際の信号反射挙動に応じて、１サイクルと２サイクルの情報転送動作モードが動的に切り換えられる。さらに、バス構造全体に、１サイクルの制御信号しか必要ない。第１図は、本発明による多重バス構造の基本的な特徴を示すブロック図である。第２図は、各メモリ・バス上で２通りのインターリーブを可能にする２つの論理バスを有する構造の線の割当てを示す表である。第３図は、１つの論理バスを介してメモリ・バンクに接続された共用Ｌ２キャッシュ・メモリを備える、２つのプロセッサを含むロー・エンド・コンピュータ・システムにおいて、本発明によるバス構造の実施形態を示す図である。第４図は、２つの論理バスを介してメモリ・バンクに接続された６つのプロセッサを含む中間コンピュータ・システムにおけるバス構造のさらに別の実施形態を示す図である。第５図は、１６個のプロセッサが４つの論理バスを介して４つのメモリ・バンクに接続されているハイ・エンド・コンピュータ・システムにおける本発明の好ましい実施形態の図である。第６図は、本発明によるＢＳＵ（バス切換装置）の好ましい実施形態の図である。第７図は、ＢＳＵによって実施される基本的なバス動作の完全な制御信号の構成を示す図である。第８図と第９図は、本発明によるバス構造上の「ラインフェッチ」と「放棄動作を伴うラインフェッチ」のためのバス・プロトコルを示すタイミング図である。第１０図は、バス遅延による多重バスの信号受信挙動を示す（電気的ポイント・ツー・ポイント接続ではない）、ＢＳＵを介して論理バスに接続されたプロセッサ・クラスタの概略的なブロック図である。第１１図は、第１０図のバス構造をそれぞれの制御信号と共に示す図である。第１図は、本発明による多重バス構造を含むマルチプロセッサ・コンピュータ・システムの概略図である。マルチプロセッサ・システムは、具体例として、専用Ｌ２キャッシュ・メモリがなく、２つのメモリ・モジュール５、６からなる第１のメモリ・バンクと２つのメモリ・モジュール７、８からなる第２のメモリ・モジュールに例示的に分割された主メモリを有する４つのプロセッサ１、２、３、４からなる。メモリ・バンク５、６、及び７、８は、記憶制御装置（ＳＴＣ）９、１０によって制御される。共通バス・システムは、それぞれ論理参照番号０と１で示された２つの論理バス１１、１２に分割され、各論理バスはそれぞれ、バス切換装置（ＢＳＵ）１３、１４を含む。プロセッサ１、２、３、４はそれぞれ、ＢＳＵ１３、１４に電気接続（レーザ・コンピュータでは光接続）され、４つの物理アドレス"０Ｌ"、" ０Ｒ"、"１Ｌ"、"１Ｒ"を有するバス・ネットワーク（ポイント・ツー・ポイント接続）を提供する。ＢＳＵ１３、１４は、プロセッサ側の４つの物理バスをメモリ・バス１５、１６を介してメモリ・バンク５、６、７、８に接続する。論理バス１１、１２の数がＢＳＵ１３、１４の数と等しいことに留意されたい。ＢＳＵ１３、１４は、論理バス１１、１２へのアクセスを制御するためのバス調停機能（図示せず）を含む。論理バス１１、１２がそれぞれメモリ・バンク５、６、７、８への単一の線接続を提供することが重要である。さらに、この多重バスの概念によって、それぞれ論理バス１１、１２の１本当たりのプロセッサ１、２、３、４の数及びメモリ装置またはメモリ・バンク５、６、７、８の数を容易に拡張できることも重要である。プロセッサをいくつか追加する場合に、ＢＳＵ１３、１４を追加する必要はない。したがって、メモリ・バンクを追加してシステムを改良するとき、論理バスまたはＢＳＵの数がそれぞれ変化することがある。このバス構造の他の重要な要素は、論理バス１１、１２が、可変数の物理バスによって構成されていること、ならびに両方の論理バス１１、１２によって、ｎ通りのインターリーブ、たとえば第１図による実施形態では、各論理バス１１、１２ごとに２つのメモリ・バンク５、６、７、８があるため、各論理バスごとに２通り、すなわち４通りのインターリーブが可能なことである。しかし、より複雑なバス・インターリーブを支援するために、論理バス１１、１２ごとに複数のバンクを設けることもできる。第１図によるバス構造は、別々のコマンド・バス、アドレス・バス、データ・バスを含まない。信号数を制限するために、それらの信号はすべて同じ物理バス上で多重化される（第６図）。したがって、バス上のコマンド、アドレス、またはデータに応じて、異なるバス通信が必要となる（第８図と第９図）。たとえば、データは、放棄動作の場合以外はプロセッサ１、２、３、４とＢＳＵ１３、１４の間でのみ交換される。しかし、コマンド・サイクルとアドレス・サイクルは、プロセッサ−ＢＳＵ間とプロセッサ−プロセッサ間の両方の通信を必要とする。第１図の論理バス１１、１２はそれぞれ、それ自体の合同アドレス・クラスに割り当てられる。これを、第２図に、第１図による各論理バス上の２通りのインターリーブを有する２論理バス・システムの事例で示す。メモリ・アドレス空間全体が、キャッシュ線サイズのブロックに分割され、各ブロックが、低位アドレス・ビットによってバスとメモリ・バンクに関連付けられる。したがって、８本の線０〜７、たとえば第２段のＬ２キャッシュ・メモリを備えたプロセッサの場合はキャッシュ線が、主メモリ５、６、７、８に記憶される。各線は、論理バスの数及びそれが記憶されるメモリ・バンクによって特徴付けられる。合同クラスは、線の低位アドレス・ビットによって容易に決定することができる。要求プロセッサ１、２、３、４は、この基準のみによって適切な論理バス１１、１２を選択する。論理バス１１、１２は、それぞれのＢＳＵ１３、１４を介してそのメモリ・バンク５、６、７、８まで経路指定される。この構成によって、全システム内でメモリ・バンク５、６、７、８を並列に選択することができ、したがって、所与の時間にそれぞれの線を１つのプロセッサだけがアクセスすることができる。多数のプロセッサが同一の線に対するアクセスを要求する場合は、これらのクラスによって自動的にアクセスが直列化されるため、コンピュータ・システム全体のデータ整合性が極めて効果的に保証される。この構成のもう一つの利点は、たとえばラインフェッチ動作中に生じるすべての線交換動作が、最初に選択された論理バス１１、１２ならびに最初に選択されたバンク５、６、７、８に常に関連付けられることである。バス間にもインターリブした線間にも干渉はない。本願に提案するバス構造は、少なくとも２つのプロセッサ装置を含むいわゆる「ロー・エンド」と「ハイ・エンド」のマルチプロセッサ・コンピュータ・システム全般で実施することができる。第３図ないし第５図において、この広い範囲の応用例を、３つの異なるシステムにおける実施形態で示す。まず第３図に、物理バス１０４、１０５によって共用Ｌ２キャッシュ・メモリ１０３に接続された２つのプロセッサ１０１、１０２を備えたロー・エンド・コンピュータ・システムを示す。このシステムはまた、例として、独立に動作する２つのメモリ・バンク１０７、１０８を含む主メモリ装置１０６を備える。メモリ・バンク１０７、１０８へのアクセスを制御するために、記憶制御装置（ＳＴＣ）を備える。プロセッサ１０１、１０２とメモリ装置１０７、１０８は、バス切換装置（ＢＳＵ）１０９により論理バス１１０を介して相互接続される。ＢＳＵ１０９はまた、外部入出力装置への接続部として機能する入出力ポート１１１を備える。この構造において、両方のバス構造１０１、１０２は、メモリ・バンク１０７、１０８のそれぞれへの電気的ポイント・ツー・ポイント接続を有する。このシステムは、多数のプロセッサまたはメモリ・モジュールを加えることによって容易に拡張することができる。後者の場合には、システム全体の既存部分を変更せずに、各メモリ装置ごとに追加の論理バスだけを実施しなければならない。第４図は、中間コンピュータ・システムの例として、６つのプロセッサ装置２０１〜２０６と２つの論理バス２０７、２０８を備えたシステムを示す。３つのプロセッサ装置は、共用Ｌ２キャッシュ・メモリ２０９、２１０に接続される。各論理バス２０７、２０８は、それぞれ２つのメモリ・バンク２１７〜２２０からなるメモリ装置２１５、２１６に接続されたＢＳＵ２１１、２１２及びＳＴＣ２１３、２１４を備える。このバスの概念は、プロセッサ２０１〜２０６とメモリ・バンク２１７〜２２０との間で電気的なポイント・ツー・ポイント接続を提供することが分かる。したがって、主メモリに記憶される各線には、１つの物理バスを介してのみアクセスすることができる。第５図に、１６個のプロセッサを備えた好ましいハイ・エンド・コンピュータ・システムにおけるバス構造の実施形態を示すが、この図では、４つの論理バス３０５〜３０８と４つのプロセッサ３０１〜３０４だけを示す。さらに、各論理バス３０５〜３０８は、主メモリ装置３０９〜３１２を備え、メモリ装置は、メモリ・バンク３１３〜３２０によって構成される。４つのプロセッサ装置からなる各グループ、たとえばグループ３０１〜３０４は、２つのＬ２キャッシュ・メモリ３２１〜３２８に接続される。このシステムが複雑であるにもかかわらず、すべてのプロセッサ３０１〜３０４とメモリ・バンク３１３〜３２０は、単純ポイント・ツー・ポイント接続によって連結される。さらに、Ｌ２キャッシュ・メモリを２つの部分に分割するので、２プロセッサ装置３０１〜３０４だけでなく１プロセッサ装置も、所与の時間に主メモリと通信することができる。第６図に、本発明によるＢＳＵ（第４図のシステム）の再ドライブ論理回路のブロック図を、ＢＳＵ内部のデータ・フローと共に詳細に示す。ＢＳＵは、４つの双方向ポート４０１〜４０４を備え、ポート４０１〜４０３は、ＢＳＵのプロセッサ側の双方向物理バスへのポートを表し、ポート４０４は双方向メモリ・バスに接続される。最初に、着信トラフィックが、バス受信器４０５〜４０８を通り、バス・ドライバ４０９〜４１２の制御信号がディスエーブルされる。着信トラフィックはマルチプレクサ４１３に転送され、適切な信号が着信コマンド信号４１４によって選択される。さらに、トラフィックはレジスタ４１５〜４１８内でバッファされ、その後でドライバ４０９〜４１２に送られる。そこから、信号（トラフィック）は、ポート４０１〜４０４を介してすべてのバスに再ドライブされる。ＢＳＵによって内部で生成された信号自体は、バス受信器４１９を介してマルチプレクサ４１３に転送される。したがって、ＢＳＵはスイッチ１＞ｎとして働き、次のサイクルで、コマンド／制御信号及びデータを１つのポートから他のすべてのポートに接続して再ドライブする。さらに別の実施形態では、ＢＳＵは、様々な機能、すなわちバス再ドライブ機能、制御信号再ドライブ機能、メモリ・インターフェース機能ならびにバス調停機能を含む。ＢＳＵは、コマンドとデータを、１つのソース・ポートから、メモリ・バスを含む他のすべてのポートに再ドライブする。それぞれの制御信号も大部分が再ドライブされる。完全な情報がＢＳＵ内でバッファされ、次のサイクルで配布される。したがって、各単一プロセッサまたはプロセッサ・グループは、各ＢＳＵへのポイント・ツー・ポイント・バス接続を有し、プロセッサ・サイクルと同じかまたはそれに近いバス・サイクルが達成される。同一物理バス上のバス・スヌープのようなすべての近端駆動／受信動作が２サイクルで実施される。したがって、物理バス構造のエンド・ノードにおける電気信号の反射は、少なくとも第２のサイクルで確実に弱くなる。これにより、反射雑音信号を、極めて効率よく抑えることができる。ポイント・ツー・ポイント・バスは、最適な短いバス・サイクルを可能にし、ビルディング・ブロック（クラスタ）内のプロセッサとＬ２キャッシュ・チップのグループ化によって実施することができる。この構造は、プロセッサとＬ２キャッシュ・チップの間ならびに各グループとそのそれぞれのＢＳＵチップの間のポイント・ツー・ポイント・バスによって構成することができる。ＢＳＵとＳＴＣの間のメモリ・インターフェースは、４つの信号だけからなり、その４つの信号とは、バス上にデータがあることを示す転送データ（Xfer dat a）信号、プロセッサによるデータ要求を確認するデータ転送許可（Allow trans fer data）信号、バス上にコマンドがあることを示すコマンド選択信号（Comman d select）、及びバス上にエラーまたは無効データがあることを示すメモリ・エラー（Memory error）信号である。バス調停は、ＢＳＵによって実行することもできる。それにより、調停論理回路によって許可されバスが使用可能なときに、すべての要求が集められ、要求プロセッサへの認可信号を与えられる。ＢＳＵは、プロセッサ・キャッシュ間のデータ整合性を保証する機能は含まない。さらに、ＢＳＵは、コマンド選択信号を含む活動プロセッサのコマンド・サイクルを、１つのバスから他のすべてのバスに再ドライブする。これにより、他のプロセッサがバス・スヌープ動作を実行する。１つまたは複数のプロセッサが線を見つけた場合は、それらのプロセッサは、必要なアクションを完了するまでビジー信号をＢＳＵに送る。この場合も、ビジー信号が、要求プロセッサを含む他のすべてのプロセッサに再ドライブされる。プロセッサ内のバス・スヌープ機能の実施形態は、必要とされる機能のほとんどがすでにプロセッサのキャッシュ制御装置に含まれているため、ほんの小さな追加でしかない。第７図と関連して、ＢＳＵによって実施される基本的なバスの動作を次に示す。＊ＰＵＲＥＱＵＥＳＴこの制御信号は、ＢＳＵ調停論理回路に対するプロセッサのバス要求に関係する。主に、たとえば、ラインフェッチ／ラインストア、線無効化または入出力フェッチ、記憶動作を要求の対象とすることができる。要求ＰＵは、どの論理バス上でアドレス・クラスにより、要求を転送しなければならないかを判断する。これにより、メモリ・バンクに対する確定したアクセスが達成できる。＊ＰＵＣＭＤＳＥＬＥＣＴこの制御信号はＰＵから送られた、バス上にコマンド、フィールド長、及びアドレスがあることを示す。この信号を確定ＢＳＵが受け取って、次のサイクルで、メモリ・インターフェースを含む他のすべてのバス上でＢＳＵＣＭＤＳＥＬＥＣＴとして再ドライブする。＊ＸＦＥＲＤＡＴＡこの信号はメモリから送られ、たとえばラインフェッチ動作のためにバス上にデータがあることを示す。この信号を確定ＢＳＵが受け取って、次のサイクルで、他のすべてのバス上でＢＳＵＸＦＥＲＤＡＴＡ信号として再ドライブする。放棄動作の場合は、信号はＢＳＵによって生成される。＊ＰＵＢＵＳＹこの信号は、一致する線が見つかったことを示すプロセッサからの応答である。プロセッサは、必要な動作が完了するまでこの信号をオンに維持する。この信号を確定ＢＳＵが受け取って、次のサイクルで、他のすべてのバス上にＢＳＵＢＵＳＹ信号として再ドライブする。＊ＢＳＵＧＲＡＮＴＢＳＵは、調停の結果として論理バスが利用可能になると、要求ＰＵにその論理バスを認可する。＊ＡＬＬＯＷＸＦＥＲＤＡＴＡこの制御信号は、メモリへのデータ・フェッチ／記憶コマンドを確認し、放棄か行われないことを示す。この信号は、バス・スヌープの結果としてＰＵＢＵＳＹ信号が放棄なしにハイまたはローにされないときに、ＢＳＵによって生成される。＊ＭＥＭＯＲＹＥＲＲＯＲこのエラー表示信号は、メモリ・バンクのメモリ制御装置によって生成される。この信号をＢＳＵが受け取って、次のサイクルで、他のすべてのバス上でＢＳＵＭＥＭＯＲＹＥＲＲＯＲ信号として再ドライブする。これらの信号はすべて、すべての物理バスに提供される。その信号の総量は、１つのバスに接続されたプロセッサの数に応じて異なることがある。このバス構造とバス・プロトコルにより、重大な性能の低下なしにすべてのプロセッサの同期バス・スヌープが可能になる。これにより、ＢＳＵ内のすべてのプロセッサのキャッシュ・ディレクトリ・コピーが回避され、最終的に同一バス上でのアドレスとデータの多重化が可能になり、余分なアドレス・バスが必要でなくなる。第８図に、本発明によるバス構造の機能を、ラインフェッチ・バス動作を表すタイミング・チャートによって示す。バスの概念の基本的態様を簡略化するため、バス切換装置（ＢＳＵ）に接続された２つの物理バス（０Ｌ、０Ｒ）に分割された論理バスを介して通信するプロセッサ（ＰＵ⁰、ＰＵ¹）を２つだけ含むシステムの実施形態に関する動作を取り上げる。さらに、ＢＳＵは、メモリ・バス（Ｍ−ＢＵＳ）を介してメモリ装置に接続される。第１のＰＵ⁰が、ラインフェッチ要求をＢＳＵに送る。調停サイクル（Ａ）の後で、ＢＳＵは、要求ＰＵ⁰に利用可能になった論理バスを認可する。ＰＵ⁰は、物理バス０Ｌ上にコマンド、ラインフェッチ・アドレス及び長さ（Ｃ）の情報があることを示すＰＵＣＭＤＳＥＬＥＣＴ制御信号を生成する。ＢＳＵは、次のサイクルで、他の物理バス、すなわちＢＵＳ"０Ｒ"とＭ−ＢＵＳ上で、ＰＵＣＭＤＳＥＬＥＣＴ信号をＢＳＵＣＭＤＳＥＬＥＣＴ信号として再ドライブする。したがって、コマンド、ラインフェッチ・アドレス及び長さの情報が、１サイクルの待ち時間でこれらのバスに達する。バス０Ｒ上のＢＳＵＣＭＤＳＥＬＥＣＴ信号によって、ＰＵ¹は、バス・スヌープ時間枠の範囲内でバス・スヌープ動作を実行する。ＰＵ¹は、要求された線を見つけず、それによりＰＵＢＵＳＹ制御信号はアクティブにならない。この制御信号は、ＰＵ¹が一致する線を見つけた場合だけアクティブになる。他のプロセッサが物理バス０Ｌに接続されている場合には、物理バス０Ｌ上のＰＵＢＵＳＹ信号にも注意しなければならない。ＰＵＢＵＳＹ信号がアクティブでない場合、ＢＳＵは、ＢＳＵＡＬＬＯＷＸＦＥＲＤＡＴＡ制御信号を生成してメモリ装置へのラインフェッチ・コマンドを確認する。ここで、メモリ装置は、要求されたデータをＭ−ＢＵＳを介してＢＳＵに送り、ＸＦＥＲＤＡＴＡ制御信号がメモリによって並列に生成される。この制御信号とデータをＢＳＵが受け取って、他のすべてのバス上に１サイクルの待ち時間で再ドライブする。詳細には、制御信号が、ＢＳＵＸＦＥＲＤＡＴＡ制御信号として再ドライブされる。どちらの制御信号も、バス上にデータがある間はバス上に維持される。第９図は、たとえば、第８図によるシステムにおいて成功した（一致した）バス・スヌープに応答した放棄動作のタイミング図を示す。詳細には、この図は、近端受信の問題を示す。この場合も、ＰＵ⁰は、最初に、物理バス０Ｌを介して線（ラインフェッチ）を要求する。ＢＳＵは、ＰＵ⁰にバスを認可し、したがって、そのＰＵのバス０Ｌ上で、コマンド、ラインフェッチ・アドレス及び長さがある。さらに、バスのこの状態を示すＰＵＣＭＤＳＥＬＥＣＴ制御信号が、ＰＵによって並列に生成される。この制御信号をＢＳＵが受け取って、次のサイクルで、すべてのバス上にＢＳＵＣＭＤＳＥＬＥＣＴ信号として再ドライブする。この信号により、ＰＵ¹のバス・スヌープ動作が始まる。ＰＵ¹が線を見つけ、ＰＵＢＵＳＹ制御信号をＢＳＵに出したと想定する。この信号は、ＰＵ¹の必要とされるアクションが完了するまでバス上に維持され、ＢＳＵがそれを受け取って、次のサイクルで、他のすべてのバス上にＢＳＵＢＵＳＹ制御信号として再ドライブする。ＰＵ¹は、放棄コマンドをバス０Ｒに置き、それが１サイクルの待ち時間で他のすべてのバスに再ドライブされる。同時に、ＰＵ¹は、ＢＳＵへのＰＵＣＭＤＳＥＬＥＣＴ信号をハイにし、それが次のサイクルで他のすべてのバスに再ドライブされる。このとき、８つのデータ・パケットが、メモリ装置からＰＵ¹ に転送される。この近端でのプロセッサ−プロセッサ間の通信は、電気信号の反射挙動を引き起こし、両方のプロセッサによってハイにされＢＳＵによって再ドライブされた信号が各物理バス上で干渉する。このバス構造の信号の反射を利用して、バス・サイクル時間を最適化することができる。遠端から戻る反射は近端側の受信を妨害するので、バスの遅延は、信号が近端の受信機に送られるか遠端の受信機に送られるかによって決まる。この現象は、すべての非終端物理ネットワークで知られている。第１０図は、この型の物理バスを例示する。ここで、本発明の提案は、近端受信を可能にするために、物理バスを、コマンド、バス・スヌープ・アドレス、及び放棄データに関して、２サイクルの間妨害し続けることである。放棄動作により、バス０Ｒ上の各データ・ブロックの第２サイクル中に、ＢＳＵＸＦＥＲＤＡＴＡ制御信号がＢＳＵによって生成される。このデータ・ブロックはまた、１サイクルの待ち時間で他のバスに再ドライブされる。制御信号のこの１サイクルの遅延は、これらの反射した信号が、システムの性能に小さな影響しか与えず、クリティカルなバス動作を緩和させるという利点を有する。第１１図に、これらのバスをそれぞれの制御信号と共に示す。ここでは、起点バスと再ドライブバスの両方のバス妥当性を示すＣＭＤＳＥＬＥＣＴとＸＦＥＲＤＡＴＡ信号がＢＳＵから送られる。

───────────────────────────────────────────────────── フロントページの続き (72)発明者タスト、ハンスヴェルナードイツ国ヴァイルインシェーンブーフ、ハルトマンシュトラーセ 66 (72)発明者レプラ、ベルントドイツ国エーニンゲン、クーニッヒシュトラーセ 93

Claims

【特許請求の範囲】１．少なくとも２つの処理装置を含むマルチプロセッサ・システム用のバス構造であって、少なくとも２つの物理バスによって構成された少なくとも１つの論理バスを含み、各論理バスが、メモリ装置及びバス切換装置への接続を提供し、処理装置とメモリ装置が、バス切換装置により物理バスを介して相互接続されることを特徴とするバス構造。２．アドレス、コマンド、及びデータが、物理バスの単一線を介して転送されることを特徴とする請求項１に記載のバス構造。３．各論理バスが、所与の時間に、論理バスへのアクセスをただ１つの処理装置に認可するバス調停装置を備えることを特徴とする請求項１または２あるいはその両方に記載のバス構造。４．論理バスが、論理バスの参照数字によって定義される少なくとも１つのアドレス・クラスに割り当てられ、アドレス・クラスの数が、独立のメモリ装置の数によって決まることを特徴とする請求項１ないし３のいずれか一項または複数項に記載のバス構造。５．物理バスの数が、処理装置または処理装置グループの数に応じて増減することを特徴とする請求項１ないし４のいずれか一項または複数項に記載のバス構造。６．メモリ装置が、記憶制御装置手段によって制御されｎ通りのバス・インターリーブを可能にする少なくとも２つのメモリ・バンクを含むことを特徴とする請求項１ないし５のいずれか一項または複数項に記載のバス構造。７．マルチプロセッサ・システムが、論理バス上に少なくとも２つの第２段・キャッシュ・メモリを含み、各処理装置が、単一線によって各キャッシュ・メモリ装置にそれぞれ接続されることを特徴とする請求項１ないし６のいずれか一項または複数項に記載のバス構造。８．バス切換装置が、着信情報を収集してバッファする受信手段及びレジスタ手段と、バス切換装置に情報を入れまたはそこから情報を再ドライブするドライブ手段と、再ドライブに適した信号を選択する多重化手段と、次のサイクルで、多重化手段を介して他のすべてのポートに情報を再ドライブする再ドライブ論理手段とを備えることを特徴とする請求項１ないし７のいずれか一項または複数項に記載のバス構造。９．バス切換装置がさらに、ある一定のバス・プロトコルの後でバスを調停する調停手段を含むことを特徴とする請求項８に記載のバス構造。１０．分岐した物理バスを介してバス切換装置に接続された少なくとも２つの処理装置からなるクラスタを含み、近端の信号受信が、起点物理バスまたは再ドライブ物理バスを介して相互通信する２つの処理装置間で転送される信号を動的に見つけ、少なくとも２つのバス・サイクルの間バス上にこれらの信号を維持することによって行われることを特徴とする請求項１ないし９のいずれかに一項または複数項に記載のバス構造。１１．バス切換装置が、近端受信信号に１サイクルの制御信号を提供することを特徴とする請求項１０に記載のバス構造。１２．バス切換装置が、起点バス上の第２のサイクルの信号に、１サイクルの制御信号を提供することを特徴とする請求項１０に記載のバス構造。