JPH08320827A - キャッシュコヒーレンス装置 - Google Patents

キャッシュコヒーレンス装置

Info

Publication number
JPH08320827A
JPH08320827A JP7250527A JP25052795A JPH08320827A JP H08320827 A JPH08320827 A JP H08320827A JP 7250527 A JP7250527 A JP 7250527A JP 25052795 A JP25052795 A JP 25052795A JP H08320827 A JPH08320827 A JP H08320827A
Authority
JP
Japan
Prior art keywords
bus
cache
processor module
unit
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7250527A
Other languages
English (en)
Other versions
JP3872118B2 (ja
Inventor
Akira Kabemoto
章 河部本
Naohiro Shibata
直宏 柴田
Toshiyuki Muta
俊之 牟田
Takayuki Shimamura
貴之 島村
Hirohide Sugawara
博英 菅原
Junji Nishioka
潤治 西岡
Takanori Sasaki
崇諭 佐々木
Satoshi Shinohara
聡 篠原
Youzou Nakayama
陽象 中山
Jun Sakurai
潤 桜井
Hiroaki Ishihata
宏明 石畑
Kenji Horie
健志 堀江
Toshiyuki Shimizu
俊幸 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
PFU Ltd
Original Assignee
Fujitsu Ltd
PFU Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd, PFU Ltd filed Critical Fujitsu Ltd
Priority to JP25052795A priority Critical patent/JP3872118B2/ja
Priority to US08/598,243 priority patent/US5890217A/en
Priority to GB9605790A priority patent/GB2299187B/en
Publication of JPH08320827A publication Critical patent/JPH08320827A/ja
Application granted granted Critical
Publication of JP3872118B2 publication Critical patent/JP3872118B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0815—Cache consistency protocols
    • G06F12/0817—Cache consistency protocols using directory methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0815—Cache consistency protocols
    • G06F12/0831—Cache consistency protocols using a bus scheme, e.g. with bus monitoring or watching means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/25—Using a specific main memory architecture
    • G06F2212/254—Distributed memory
    • G06F2212/2542—Non-uniform memory access [NUMA] architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Multi Processors (AREA)

Abstract

(57)【要約】 【課題】複数のプロセッサモジュールに内蔵した複数の
プロセッサのキャッシュと各モジュールに主記憶分割配
置したローカル記憶間でのキャッシュコヒーレンスを効
率良く実現して処理性能を高める。 【解決手段】複数のプロセッサモジュール１０に設けた
キャッシュ１８付きの複数のプロセッサ１６を内部のス
ヌープバス（第１共通バス）２２を介して相互に接続す
ると共に、主記憶を配置したローカル記憶部２８と接続
する。各プロセッサモジュール１０は主記憶側をシステ
ムバス（第２共通バス）１２を介して接続する。この２
階層の共通バス構成により、プロセッサモジュール１０
内でのキャッシュコヒーレンスのバス動作と、プロセッ
サモジュール１０間でのキャッシュコヒーレンスのバス
動作を分離する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、複数のプロセッサ
モジュールをシステムバスを介して接続したマルチプロ
セッサシステムのキャッシュコヒーレンス装置に関し、
特に、モジュール内に主記憶と内部共有バスを介してキ
ャッシュ付きプロセッサエレメントを複数接続したマル
チプロセッサシステムのキャッシュコヒーレンス装置に
関する。
【０００２】
【従来の技術】近年、コンピュータ装置の処理性能を飛
躍的に向上させることが期待できることから、複数のプ
ロセッサを共有バスを介して接続したマルチプロセッサ
システムの開発が進められている。マルチプロセッサシ
ステムにあっては、プロセッサにスパースカラ型やＶＬ
ＩＷ（Very Long Instruction Word) 型を採用すること
で、プロセッサ単体の処理性能を向上させると同時に、
キャッシュ機構の採用が性能向上に大きく寄与する。
【０００３】このようなプロセッサのキャッシュ機構と
しては、プロセッサに一次キャッシュを内蔵させると同
時に、外部の主記憶との間に２次キャッシュを設けてお
り、２次キャッシュのヒット率を高めることで、主記憶
へのアクセスを低減して性能向上を図る。更に、複数の
プロセッサに対する共有メモリとして、単独のメモリユ
ニットを設けず、所定数のプロセッサ単位にその主記憶
として機能するローカルメモリを分散配置し、このロー
カルメモリに共有メモリ領域を分散配置し、システム規
模に応じたローカルメモリユニットの数により共有メモ
リを柔軟に構築できるようにしている。
【０００４】図６５は従来の典型的なマルチプロセッサ
システムを示す。このシステムは、例えば２台のプロセ
ッサモジュール１０００−１，１０００−２を有する。
プロセッサモジュール１０００−１，１０００−２は同
一構成であり、例えばプロセッサモジュール１０００−
１を例にとると、プロセッサエレメント１１００−１，
１１００−２、キャッシュユニット１２００−１，１２
００−２、共通バス１３００−１及びローカルストレー
ジユニット１４００−１で構成される。
【０００５】プロセッサエレメント１１００−１，１１
００−２は、一次キャッシュを内蔵しており、外部に２
次キャッシュとしてのキャッシュユニット１２００−
１，１２００−２を設けている。ローカルストレージユ
ニット１４００−１は、プロセッサエレメント１１００
−１，１１００−２に固有の物理空間を割り当てること
で各々の主記憶として機能し、同時に、プロセッサモジ
ュール１０００−１，１０００−２の全てのプロセッサ
エレメント１１００−１〜１１００−４に共有される共
有メモリ空間を割り当てている。
【０００６】プロセッサモジュール１０００−２側も同
様に、プロセッサエレメント１１００−３，１１００−
４、キャッシュユニット１２００−３，１２００−４、
共通バス１３００−２及びローカルストレージユニット
１４００−２で構成される。プロセッサモジュール１０
００−１，１０００−２の共通バス１３００−１，１３
００−２は、モジュール筐体のバックパネルを経由して
接続された１つのバスとして動作する。
【０００７】複数のプロセッサ１１００−１〜１１００
−４に設けたキャッシュユニット１２００−１〜１２０
０−４のキャッシュ制御は、あるプロセッサエレメント
で読出アクセスがあり、ミスヒットであれば、対応する
ローカルストレージのアクセスで読出アドレスのコピー
値をキャッシュに転送して応答する。またプロセッサの
書込アクセスでキャッシュがミスヒットになると、対応
するローカルストレージのコピー値をキャッシュに転送
して上書きする。このとき主記憶の値と上書きされたキ
ャッシュのコピー値は異なることから、キャッシュ上の
最新値を主記憶に転送して旧い値を更新するコピーバッ
クによりキャッシャコヒーレンスが実現される。
【０００８】また、あるローカルストレージの値を複数
のキャッシュにコピーしている場合には、書込アクセス
があったキャッシュ以外の他のキュッシュ上のコピー値
を無効化した後に、アクセス元のキャッシュ上のコピー
値を更新して最新値とし、その後にローカルストレージ
にコピーバックすることで、キャッシュコヒーレンスが
実現される。
【０００９】
【発明が解決しようとする課題】しかしながら、図６５
のマルチプロセッサシステムにあっては、全てのプロセ
ッサエレメント、キャッシュユニット及びローカルスト
レージを１つのバスに接続する構成をとっているため、
次の問題があった。まずキャッシャコヒーレンスを実現
するために、読出又は書込アクセスを発生したプロセッ
サエレメントのキャッシュユニットとアクセスアドレス
をもつローカルストレージユニットの間で命令及びデー
タの転送を行う。このため、複数のプロセッサエレメン
トでコヒーレンスを実現するためのバス転送要求が競合
し、共通バスの負荷がプロセッサ数に応じて増加し、高
速処理ができない。
【００１０】勿論、共通バスを複数設けることで、バス
負荷を下げることはできるが、プロセッサ数が１０台，
２０台と増加すると、対応できなくなる。またプロセッ
サモジュール１０００−１，１０００−２は、モジュー
ル筐体単位に構築されている。このため共通バス１３０
０−１，１３００−２は、筐体のバックパネルを経由し
てコネクタでケーブル接続される。このためバスの線路
長が長くなり、電気的な特性によりバスのクロック周波
数を上げることができない。
【００１１】例えばモジュール内のバスだけであればク
ロック周波数を６０ＭＨｚとできるものが、バックパネ
ルを共有したバス接続では、４０ＭＨｚに下がってしま
う。本発明は、このような従来の問題点に鑑みてなされ
たもので、プロセッサモジュールの内部と外部に共通バ
スを設けた２階層の共通バス構造により、各プロセッサ
モジュールに内蔵した複数のプロセッサのキャッシュと
各モジュールに１つ設けたローカルストレージ間でのキ
ャッシュコヒーレンスを効率良く実現して処理性能を高
めたキャッシュコヒーレンス装置を提供することを目的
とする。
【００１２】またマルチプロセッサシステムにおいて、
特に性能に大きな影響を及ぼすのがシステムバスであ
る。システムバスはデータ転送速度と、バスサイクルの
中でデータ転送に使われるサイクルの割合であるバス使
用効率を高めなければならない。さもなければシステム
バスがボトルネックとなり、プロセッサ数を増やしても
性能が向上しなくなる。
【００１３】データ転送速度を向上するためにはデータ
バスの幅を拡げたり、信号振幅の小さいインタフェース
の採用でバスの動作周波数を上げるのが一般的である。
またバス使用効率を高めるためには、メモリアクセスな
どの要求を出してから応答を受け取るまでの間、他のバ
スユニットに使用権を譲るスプリット型転送方式の採用
があげられる。
【００１４】したがって本発明は、分散共有メモリ型の
マルチプロセッサシステムにおいて、キャッシュコヒー
レンス維持を効率よく実現し、且つシステムの拡張性を
損なうことのないキャッシュコヒーセンス装置の共通バ
スを提供することを目的とする。
【００１５】
【課題を解決するための手段】図１は本発明の原理説明
図である。まず本発明は、複数のプロセッサ１６を備え
たプロセッサ群を有する。このプロセッサ群は、図１
（Ａ）のように、少なくとも１つ以上のプロセッサで構
成される例えば３つのプロセッサモジュール１０−１〜
１０−３に分割される。またプロセッサ群が共有する主
記憶が設けられる。主記憶は複数のローカル記憶部２８
に分割され、各ローカル記憶部８はプロセッサモジュー
ル１０−１〜１０−３上に配置される。以下の説明で
は、主記憶にローカル記憶の符号を付す。
【００１６】プロセッサ１６の各々には主記憶２８のア
クセスを高速化するキャッシュユニット１８が設けられ
る。主記憶２８のデータのキャッシュユニット１８への
登録状態はキャッシュライン単位にディレクトリ記憶部
３０に記憶される。主記憶２８とキャッシュユニット１
８間は第１共通バス２２で接続され、プロセッサモジュ
ール１０−１〜１０−３のの間は第２共通バス１２で接
続される。主記憶２８とキャッシュユニット１８間のキ
ャッシュコヒーレンスは、スヌープユニット２０による
内部コヒーレンス処理部で実現される。また複数のプロ
セッサモジュール１０−１〜１０−３の間のキャッシュ
コヒーレンスは、キャッシュ変換部８０による外部コヒ
ーレンス処理部で実現される。
【００１７】キャッシュユニット１８は、キャッシュラ
インを複数のサブラインに分割して管理し、ディレクト
リ記憶部３０は、キャッシュユニット１８上のデータが
最新値で主記憶２８上のデータが旧値となるダーティ状
態である場合のキャッシュ状態をサブライン単位に記憶
し、キャッシュユニット上と主記憶上のデータが同じ値
になるシェア状態をキャッシュライン単位に記憶する。
【００１８】またディレクトリ記憶部３０へのキャッシ
ュ状態の記憶は、プロセッサモジュール単位に行われ
る。具体的には、プロセッサモジュール１０−１〜１０
−３は、ディレクトリ記憶部３０に複数のプロセッサモ
ジュール１０−１〜１０−３との対応状態を記憶するデ
ィレクトリ制御部を有し、このディレクトリ制御部によ
ってディレクトリ記憶部３０への登録を複数のプロセッ
サモジュール単位に指定する。
【００１９】複数のプロセッサモジュール１０−１〜１
０−３の各々は、複数のプロセッサ１６と、各プロセッ
サ１６毎に設けられたキャッシュユニット１８と、主記
憶として使用されるローカル記憶２８と、主記憶２８及
びディレクトリ記憶部３０を管理するメモリ管理ユニッ
ト２６と、複数のキャッシュユニット１８とメモリ管理
ユニット２６を接続する第１共通バス２２と、複数のプ
ロセッサモジュール１０−１〜１０−３間を接続する第
２共通バス１２と、第１共通バス２２と第１共通バス１
２のプロトコル変換を管理するプロトコル管理ユニット
２４と、プロセッサモジュール１０−１〜１０−３間を
第２共通バス１２で結合するモジュール接続ユニット３
２と、第１共通バス２２で特定マシンサイクルに同期さ
せてキャッシュユニット１８をスヌープすることにより
キャッシュコヒーレンスを実現するスヌープユニット２
０と、メモリ管理ユニット２６に設けられ第２共通バス
１２によるディレクトリ記憶部３０の参照に基づきプロ
セッサモジュール１０−１〜１０−３間でのコヒーレン
スを実現するキャッシュ変換部８０を設けている。
【００２０】キャッシュユニット１８は、例えば２５６
バイトのキャッシュラインを６４バイトのサブラインに
分割して管理する。これに対応してディレクトリメモリ
３０には、キャッシュ上のデータが最新値で主記憶上の
データが旧値となるダーティ状態がサブライン単位に登
録される。またキャッシュ上と主記憶上のデータが同じ
値になるシェア状態は、キャッシュライン単位に登録さ
れる。
【００２１】ディレクトリ記憶部３０にキャッシュライ
ン単位に登録されたディレクトリエントリ１０４は、図
１（Ｂ）のように、例えばダーティ状態の有無を示す複
数のサブラインビットＤ３〜Ｄ０と、シェア状態を複数
のプロセッサモジュール毎に示すシェアードマップビッ
トＳ７〜Ｓ０を有する。更にシェアードマップビットＳ
７〜Ｓ０のビット位置とプロセッサモジュール１０の対
応関係を登録する構成レジスタを設け、この構成レジス
タによって同一マップビットに複数の複数のプロセッサ
モジュールのシェア状態を登録可能としている。
【００２２】更に、ディレクトリエントリ１０４のサブ
ラインビットＤ３〜Ｄ０をセットした場合には、このビ
ットセットに対応して最新値を持つキャッシュユニット
１８が存在するプロセッサモジュール１０の情報（ＰＭ
−ＩＤ）を、主記憶２８の特定領域に格納する。またサ
ブラインビットＤ３〜Ｄ０をリセットした場合は、この
リセットビットに対応して、最新値が存在するプロセッ
サモジュール１０の情報（ＰＭ−ＩＤ）を、主記憶２８
の特定領域に格納する。
【００２３】プロセッサ１６は、キャッシュラインのサ
ブライン単位に読出アクセス又は書込アクセスを行う。
第２共通バスとしてのシステムバス１２及び第１共通バ
スとしてのスヌープバス２２は、指令転送と応答転送を
分離したスプリット形式により情報を転送する。プロセ
ッサの読出アクセスに対するキャッシュコヒーレンスに
は、次の読出モード１〜３がある。
【００２４】［読出モード１］この読出モード１は、第
１のプロセッサモジュール１０−１内の任意のプロセッ
サ１６の読出アクセスに対し自己のキャッシュユニット
１８及びスヌープバス２２で接続した他の全てのキャッ
シュユニット１８でミスヒットし、且つ読出アドレスが
第１のプロセッサモジュール１０−１内の主記憶にあ
り、更に読出アドレスのデータがリモートとなる第２の
プロセッサモジュール１０−２内のキャッシュユニット
１８に最新値をもつダーティ状態で存在する場合であ
る。
【００２５】この場合、読出アクセスを発生した第１の
プロセッサモジュール１０−１は、システムバス１２に
指令を発行して第２のプロセッサモジュール１０−２に
アクセスし、自己のスヌープバス２２を介してダーティ
状態にあるキャッシュユニット１８から最新値を取得し
た後に、システムバス１２で最新値を第１のプロセッサ
モジュール１０−１に応答する。第１のプロセッサモジ
ュール１０−１は、この応答で得られた最新値をアクセ
ス元のキャッシュユニット１８に格納して読出アクセス
に応答させ、同時に主記憶２８に最新値を書き込むこと
でキャッシュコヒーレントを実現する。
【００２６】ここで第１のプロセッサモジュール１０−
１、主記憶２８に最新値を書き込んだ際に、ディレクト
リ記憶部３０のディレクトリエントリ１０４をダーティ
状態をシェア状態に更新し、またアクセス元のキャッシ
ュユニット１８はタグメモリの無効化状態をシェア状態
に更新する。 ［読出モード２］この読出モード２は、第１のプロセッ
サモジュール１０−１内の任意のプロセッサ１６の読出
アクセスに対し自己のキャッシュユニット１８及びスヌ
ープバス２２で接続した他の全てのキャッシュユニット
１８でミスヒットし、且つ読出アドレスが第２のプロセ
ッサモジュール１０−２内の主記憶２８にあり、更に読
出アドレスのデータが第３のプロセッサモジュール１０
−３内のキャッシュユニット１８に最新値をもつダーテ
ィ状態で存在する場合である。
【００２７】この場合、第１のプロセッサモジュール１
０−１は、システムバス１２に指令を発行して第２のプ
ロセッサモジュール１０−２にアクセスし、第２のプロ
セッサモジュール１０−２はシステムバス１２から受領
した指令に基づき、システムバス１２に指令を発行して
第３のプロセッサモジュール１０−３にアクセスする。
第３のプロセッサモジュール１０−３は自己のスヌープ
バス２２によってダーティ状態にあるキャッシュユニッ
ト１８から最新値を取得した後に、システムバス１２で
最新値を第１及び第２のプロセッサモジュール１０−
１，１０−２に応答する。
【００２８】第２のプロセッサモジュール１０−２は、
応答の受領で得られた最新値を主記憶２８に書き込み、
また第１のプロセッサモジュール１０−１は、応答の受
領で得られた最新値をアクセス元のキャッシュユニット
１８に格納して読出アクセスに応答させる。ここで、第
２のプロセッサモジュール１０−２は、主記憶２８に最
新値を書き込んだ際にディレクトリ記憶部３０のディレ
クトリエントリ１０４をダーティ状態をシェア状態に更
新する。また第１のプロセッサモジュール１０−１のア
クセス元のキャッシュユニット１８は、タグメモリの無
効化状態をシェア状態に更新する。
【００２９】［読出モード３］この読出モード３は、あ
るプロセッサモジュール内のキャッシュ間でキャッシュ
コヒーレンスを実現する。即ち、任意のプロセッサモジ
ュール１０−１内の任意のプロセッサ１４の読出アクセ
スに対し自己のキャッシュユニット１４はミスヒットし
たが、スヌープバス２２で接続した他のプロセッサのキ
ャッシュユニットに最新値が存在する場合である。
【００３０】この場合、両キャッシュユニット間でスヌ
ープバス２２を介して最新値の転送を実行してアクセス
元のキャッシュユニット１４に格納し、読出アクセスに
応答させる。この場合のスヌープバス２２を使用した最
新値の転送はキャッシュサブライン単位で実行される。
次にプロセッサの書込アクセスに対するキャッシュコヒ
ーレンスには、次の書込モード１〜５がある。
【００３１】［書込モード１］この書込モード１は、第
１のプロセッサモジュール１０−１内の任意のプロセッ
サ１６の書込アクセスに対し、自己のキャッシュユニッ
ト１４及びスヌープバス２２で接続した他のキャッシュ
ユニット１４に書込権を所有した状態でコピー値が格納
されておらずにミスヒットとなり、且つ書込アドレスが
第１のプロセッサモジュール１０−１内の主記憶２８に
あり、更に、主記憶２８の書込アドレスのコピー値が第
１のプロセッサモジュール１０−１以外の他の複数のプ
ロセッサモジュール１０−２，１０−３のキャッシュユ
ニット１８にシェア状態で存在する場合である。
【００３２】この場合、第１のプロセッサモジュール１
０−１は、シェア状態にある全てのプロセッサモジュー
ル１０−２，１０−３に対してシステムバス１２を使用
して無効化指令を発行する。シェア状態にある全てのプ
ロセッサモジュール１０−２，１０−３は、無効化指令
を同時に受理して、無効化に成功した際にシステムバス
１２を使用して第１のプロセッサモジュールに独立に応
答する。
【００３３】第１のプロセッサモジュール１０−１は、
システムバス１２からの全ての応答を受理したことで無
効化の成功を認識して、主記憶２８の書込アドレスのコ
ピー値をアクセス元のキャッシャユニット１８に格納し
て書込アクセスにより上書きさせる。ここで、第１のプ
ロセッサモジュール１０−１は、無効化の成功を認識し
てアクセス元のキャッシュユニット１８にコピーバック
した際に、ディレクトリ記憶部３０のディレクトリエン
トリにおけるシェア状態をダーティ状態に更新する。
【００３４】［書込モード２］この書込モード２は、第
１のプロセッサモジュール１０−１内の任意のプロセッ
サ１６の書込アクセスに対し自己のキャッシュユニット
１８及びスヌープバス２２で接続した他のキャッシュユ
ニット１８にコピー値が書込権を所有した状態で登録さ
れておらずにミスヒットとなり、且つ書込アドレスが第
１のプロセッサモジュール１０−１内の主記憶２８であ
り、更に主記憶２８の書込アドレスのコピー値が第１の
プロセッサモジュール１０−１を含む複数のプロセッサ
モジュール１０−１〜１０−３のキャッシュユニットに
シェア状態で存在する場合である。
【００３５】この場合、第１のプロセッサモジュール１
０−１は、シェア状態にある全てのプロセッサモジュー
ル１０−２，１０−３に対してシステムバス１２を使用
して無効化指令を発行するのと並行して、第１のプロセ
ッサモジュール１０−１内のキャッシュユニットにスヌ
ープバス２２を使用して無効化指令を発行する。シェア
状態にある全てのプロセッサモジュール１０−２，１０
−３は無効化指令を同時に受理して、無効化の成功をシ
ステムバス１２を使用して第１のプロセッサモジュール
１０−１に独立に応答するのと並行して、第１のプロセ
ッサモジュール１０−１内のキャッシュユニット１８
は、スヌープバス２２を使用して無効化の成功を応答す
る。
【００３６】第１のプロセッサモジュール１０−１は、
システムバス１２からの全ての応答と、自己のスヌープ
バス２２からの応答を受理したことで無効化の成功を認
識して、主記憶２８の書込アドレスのコピー値をキャッ
シャユニット１８に格納してプロセッサ１６の書込アク
セスにより上書きさせる。この場合にも書込モード１と
同様、第１のプロセッサモジュール１０−１は、無効化
の成功を認識してアクセス元のキャッシュユニットにコ
ピーした際に、ディレクトリ記憶部３０のディレクトエ
ントリにおけるシェア状態をダーティ状態に更新する。
【００３７】［書込モード３］この書込モード３は、第
１のプロセッサモジュール１０−１内のプロセッサ１６
の書込アクセスに対し自己のキャッシュユニット１８及
びスヌープバス２２を介して接続した他のキャッシュユ
ニット１８にコピー値が書込権を所有した状態で登録さ
れておらずにミスヒットとなり、書込アドレスが第２の
プロセッサモジュール１０−２内の主記憶２８にあり、
更に主記憶２８の書込アドレスのコピー値が第２のプロ
セッサモジュール１０−２以外の他の複数のプロセッサ
モジュール１０−３，１０−４のキャッシュユニットに
シェア状態で存在する場合である。
【００３８】この場合、第１のプロセッサモジュール１
０−１は、システムバス１２を使用して第２のプロセッ
サモジュール１０−２に書込所有権の要求指令（ホーム
コマンド）を発行し、書込所有権の要求指令を受領した
第２のプロセッサモジュール１０−２は、シェア状態に
ある他の全てのプロセッサモジュール１０−３，１０−
４に対してシステムバス１２を使用して無効化指令（パ
ージコマンド）を発行する。
【００３９】シェア状態にある全てのプロセッサモジュ
ール１０−３，１０−４は、無効化指令を同時に受理し
て、無効化に成功した際にシステムバス１２を使用して
第２のプロセッサモジュール１０−２に独立に応答す
る。第２のプロセッサモジュール１０−２は全ての無効
化の応答を受理したことで無効化の成功を認識すると、
第１のプロセッサモジュール１０−１に対してシステム
バス１２を使用して、自己の主記憶２８のアクセスアド
レスのコピー値を含む書込所有権の移動を応答する。
【００４０】第１のプロセッサモジュール１０−１は、
書込所有権の応答の受領により得られたコピー値をアク
セス元のキュッシュユニット１８に格納して、プロセッ
サ１６の書込アクセスで上書きさせる。ここで、第２の
プロセッサモジュール１０−１は、無効化の成功を認識
して書込所有権を移動した際に、自己のディレクトリ記
憶部３０のディレクトリエントリにおけるシェア状態を
ダーティ状態に更新する。
【００４１】［書込モード４］この書込モード４は、第
１のプロセッサモジュール１０−１内の任意のプロセッ
サの書込アクセスに対し自己のキャッシュユニット１８
及びスヌープバス２２を介して接続した他のキャッシュ
ユニット１４にコピー値が書込権を所有した状態で登録
されておらずにミスヒットとなり、書込アドレスが第２
のプロセッサモジュール１０−２内の主記憶２８にあ
り、更に、この主記憶２８の書込アドレスのコピー値が
第２のプロセッサモジュール１０−２を含む複数のプロ
セッサモジュール１０−３，１０−４のキャッシュユニ
ット１８にシェア状態で存在する場合である。
【００４２】この場合、第１のプロセッサモジュール１
０−１は、第２のプロセッサモジュール１０−２に書込
所有権の要求指令（ホームコマンド）を発行する。書込
所有権の要求指令を受領した第２のプロセッサモジュー
ル１０−２は、シェア状態にある全てのプロセッサモジ
ュール１０−３，１０−４に対してシステムバス１２を
使用して無効化指令（パージコマンド）を発行するのと
並行して、自己のシェア状態にあるキャッシュユニット
１８に対しスヌープバス２２を使用して無効化指令を発
行する。
【００４３】シェア状態にある全てのプロセッサモジュ
ール１０−３，１０−４が無効化指令を同時に受理し
て、無効化の成功をシステムバス１２を使用して第２に
プロセッサモジュール１０−２に独立に応答するのと並
行して、第２のプロセッサモジュール１０−２のキャッ
シュユニット１８は無効化の成功をスヌープバス２２を
使用して応答する。
【００４４】第２のプロセッサモジュール１０−２は、
システムバス１２からの全ての無効化成功の応答とスヌ
ープバス２２からの無効化成功の応答を受領したことで
無効化の成功を認識して、第１のプロセッサモジュール
１０−１に対してシステムバス１２を使用して、自己の
主記憶２８の書込アドレスのコピー値を含む書込所有権
の移動を応答する。
【００４５】第１のプロセッサモジュール１０−１は、
書込所有権の応答の受領で得られたコピー値をアクセス
元のキュッシュユニット１８に格納して、プロセッサ１
６の書込アクセスで上書きさせる。ここで、第２のプロ
セッサモジュール１０−２は、無効化の成功を認識して
書込所有権の移動を応答した際に、自己のディレクトリ
記憶部３０のディレクトリエントリにおけるシェア状態
をダーティ状態に更新する。
【００４６】また書込モードにおける無効化指令は、キ
ャッシュサブライン単位で発行する。更に、無効化指令
の応答時には、無効化を指令したしたサブラインが含ま
れるキャッシュラインの他のサブラインの状態を返送す
る。 ［書込モード５］この書込モード５は、第１のプロセッ
サモジュール１０−１内の任意のプロセッサ１６の書込
アクセスに対し自己のキャッシュユニット１８及びスヌ
ープバス２２で接続した他のキャッシュユニット１８に
コピー値が書込権を所有した状態で登録されておらずに
ミスヒットとなり、且つ書込アドレスが第１のプロセッ
サモジュール１０−１の主記憶２８にあり、更に主記憶
２８の書込アドレスの最新値が第２のプロセッサモジュ
ール１０−２のキャッシュユニット１８に書込権を所有
したダーティ状態で存在する場合である。
【００４７】この場合、第１のプロセッサモジュール１
０−１は、ダーティ状態にある第２のプロセッサモジュ
ール１０−２に対してシステムバス１２を使用して書込
所有権の要求指令（リモートコマンド）を発行する。第
２のメモリモジュール１０−２は、書込所有権の要求指
令を受理して、キャッシュユニット１８の最新値を含む
書込所有権の移動をシステムバス１２を使用して第１の
プロセッサモジュール１０−１に応答する。
【００４８】第１のプロセッサモジュール１０−１は、
書込所有権の応答により得られた最新値を、アクセス元
のキャッシュユニット１８に格納してプロセッサ１６に
よる書込アクセスで上書きさせる。ここで、第２のプロ
セッサモジュール１０−２のキャッシュユニット１８
は、書込所有権を移動した際にタグメモリのダーティ状
態を無効化状態に更新し、また第１のプロセッサモジュ
ール１０−１は書込所有権を受領した際に、自己のディ
レクトリ記憶部３０のディレクトリエントリにおけるダ
ーティ状態を、キャッシュ上に最新値が存在するメモリ
モジュール１０−１の情報に変更したダーティ状態に更
新する。
【００４９】［書込モード６］この書込モード６は、第
１のプロセッサモジュール１０−１内のプロセッサ１６
の書込アクセスに対し自己のキャッシュユニット１８及
びスヌープバス２２を介して接続した他のキャッシュユ
ニット１８にコピー値が書込権を所有した状態で登録さ
れておらずにミスヒットとなり、書込アドレスが第２の
プロセッサモジュール１０−２内の主記憶２８にあり、
更にこの主記憶２８の書込アドレスの最新値が第３のプ
ロセッサモジュール１０−３のキャッシュユニット１８
に書込権を所有したダーティ状態で存在する場合であ
る。
【００５０】この場合、第１のプロセッサモジュール１
０−１は、第２のプロセッサモジュール１０−２にシス
テムバス１２を使用して書込所有権の要求指令を発行す
る。書込所有権の要求指令を受領した第２のプロセッサ
モジュール１０−２は、第３のプロセッサモジュール１
０−３に対してシステムバス１２を使用して書込所有権
の要求指令を発行する。
【００５１】書込所有権の要求指令を受領した第３のプ
ロセッサモジュール１０−３は、キャッシュユニット１
８の最新値を含む書込所有権をシステムバス１２を使用
して第１及び第２のプロセッサモジュール１０−１，１
０−２に応答する。第２のプロセッサモジュール１０−
２は、書込所有権の応答を受領して書込所有権の移動を
認識する。また第１のプロセッサモジュール１０−１
は、書込所有権の受領で得られた最新値をアクセス元の
キュッシュユニット１８に格納して、プロセッサ１６の
書込アクセスで上書きさせる。
【００５２】ここで、第３のプロセッサモジュール１０
−３のキャッシュユニット１８は、書込所有権を移動し
た際にタグメモリのダーティ状態を無効化状態に更新す
る。また第２のプロセッサモジュール１０−２は、書込
所有権の移動を認識した際に、自己のディレクトリ記憶
部３０のディレクトリエントリにおけるダーティ状態
を、最新値の存在するプロセッサモジュール１０−１の
情報に変更したダーティ状態に更新する。
【００５３】更に第１のプロセッサモジュール１０−１
のアクセス元のキャッシュユニット１８は、最新値を格
納した際に、タグメモリの無効化状態を書込権が存在す
るダーティ状態に更新する。 ［書込モード７］この書込モード７は、プロセッサモジ
ュール内の複数のキャッシュ間でアクセスする場合であ
る。即ち、第１のプロセッサモジュール１０−１内の任
意のプロセッサ１６の書込アクセスに対し自己のキャッ
シュユニット１８はミスヒットしたが、スヌープバス２
２を介して接続した他のキャッシュユニット１４に書込
アドレスの最新値が書込権を所有したダーティ状態で存
在する場合である。
【００５４】この場合、スヌープバス２２を介してキャ
ッシュユニット１８間でデータ転送及び書込所有権の移
動を行ってアクセス元のキャッシュユニット１８に格納
した後に、プロセッサ１６の書込アクセスにより上書き
させる。ここで、アクセス先のキャッシュユニット１８
は書込所有権を移動した後に、タグメモリのダーティ状
態を無効化状態に更新する。またアクセス元のキャッシ
ュユニット１８は、書込権を獲得した後にタグメモリを
無効化状態から書込所有権が存在するダーティ状態に更
新する。
【００５５】［キャッシュユニットのアクセス競合処
理］本発明は、プロセッサモジュールのキャッシュユニ
ットに対し、モジュール内部からのアクセスとモジュー
ル外部からのアクセスが競合した場合、次の競合処理を
行う。まず先発したモジュールにキャッシュユニットを
獲得させて後発のモジュールにリトライの指示を行わせ
る。更に、先発したモジュールに競合した相手先モジュ
ールとアクセスアドレスを記憶させ、自己のアクセス終
了後に競合した相手先モジュール以外からのアクセスコ
マンドを受けた場合はリトライを指示し、競合した相手
先のリトライによるアクセスコマンドを優先的に受け付
ける。
【００５６】具体的には、プロセッサモジュール１０−
２のキャッシュユニット１８に対し、モジュール内部の
あるプロセッサ１６からのアクセスと外部のプロセッサ
モジュール１０−２からのアクセスが競合し、プロセッ
サ１６が先発してキャッシュユニット１８を獲得した場
合である。この場合、プロセッサ１６は、プロセッサモ
ジュール１０−１にリトライの指示を行わせ、更に、競
合したプロセッサモジュール１０−１とアクセスアドレ
スを記憶し、自己のアクセス終了後に競合したプロセッ
サモジュール１０−１以外からのアクセスコマンドを受
けた場合はリトライを指示し、競合した第２プロセッサ
モジュール１０−１のリトライによるアクセスコマンド
を優先的に受け付ける。
【００５７】これにより外部のプロセッサモジュール１
０−１が、プロセッサモジュール１０−２に内蔵してい
る複数のプロセッサ１６とのアクセスの競合に負けてリ
トライを繰り返し、システムバス１２のタイムエラーと
なってしまうことを未然に防止し、システムバス１２を
経由したキャッシュコヒーレンスの効率化と高信頼性を
向上できる。
【００５８】またキャッシュユニット１８を獲得したモ
ジュールは、自己のアクセス終了後、競合相手先のモジ
ュールからのアクセスが所定時間発生しない場合は、競
合相手先とアクセスアドレスの記憶内容を初期化して、
競合相手先の優先受付けを解除する。 ［主記憶に対するコピーバックの書込所有権］本発明の
プロセッサモジュールは、主記憶２８に最新データがな
く複数のキャッシュユニット１８に存在する場合、複数
のキャッシュユニットの１つが最新データを主記憶２８
へコピーバックするための書込所有権を保有している。
この状態で、書込所有権を有するキャッシュユニットで
プロセッサ１６による最新データのリプレースが発生し
た場合、書込所有権を最新データを保有しているキャッ
シュユニットに委譲し、最新データを保有するキャッシ
ュユニットが１つになるまで主記憶２８への最新データ
のコピーバックを抑止して行わないようにする。
【００５９】これによって、複数のキャッシュユニット
１８及び主記憶２８側のメモリ管理ユニット（ディレク
トリ側）２６を結合しているスヌープバス２２の負担を
軽減する。書込所有権の委譲は、複数のキャッシュユニ
ットは固有の識別番号＃０〜＃３をもつことから、最新
データをリプレースしたキャッシュユニットの識別番号
を基に、予め定めた順番に従って書込所有権を委譲す
る。
【００６０】また主記憶２８を管理するメモリ管理ユニ
ット２６は、最新データがキャッシュユニット１８に存
在し主記憶２８のデータがダーティ状態にあることを示
す書込所有権を有するが、キャッシュユニット１８間で
書込所有権の委譲が行われても、メモリ管理ユニット２
６の書込所有権を他のプロセッサモジュールに移動せず
にそのまま維持する。
【００６１】［共有システムバス］また本発明に従え
ば、分散共有メモリ型のマルチプロセッサシステムにお
いて、キャッシュコヒーレンシ維持を効率よく実現し、
且つシステムの拡張性を損なうことのないキャッシュコ
ヒーセンス装置の共通システムバスが提供される。更
に、大規模なマルチプロセッサの利用が期待される基幹
システムへの使用を考慮した信頼性の高い共有システム
バスが提供される。更に、異なったバスとの接続を考慮
し、既存のバス資産の有効活用を可能とする共有バスが
提供される。
【００６２】本発明の共有システムバスとして機能する
第２共有バス１２は、複数のプロセッサモジュールのバ
ス接続ユニット３２とバスアービタ（バス調停ユニッ
ト）とを結合して、複数のプロセッサモジュールの間で
スプリット型パケット転送によりバスコマンドの転送を
行い、バスコマンドに、アクセス要求元（ソースＩＤ）
を示すソースフィールド、第１のアクセス要求先（第１
宛先ＩＤ）を示す第１宛先フィールド、及び第２のアク
セス要求先（第２宛先ＩＤ）を示す第２宛先フィールド
の３つを備えたことを特徴とする。
【００６３】ソースフィールド、第１宛先フィールド、
及び第２宛先フィールドの３つをもつ本発明のバスコマ
ンドは、リードバスコンドして使用される。リード要求
元となる第１プロセッサモジュール１０−１は、自己の
リード要求の対象データが第２プロセッサモジュール１
０−２の主記憶２８に存在する場合、ソースフィールド
に自己のユニットＩＤ＃１を指定し、第１宛先フィール
ドに第２プロセッサモジュールのユニットＩＤ＃２を指
定した第１バスコマンドを送出する。この場合、第２宛
先フィールドは使用しない。
【００６４】第１バスコマンドを受信した第２プロセッ
サモジュール１０−２は、リード要求の最新データが主
記憶２８に存在せずに第３プロセッサジュール１０−３
のキャッシュユニット１８に存在する場合、ソースフィ
ールドに自己のユニットＩＤ＃２を指定し、第１宛先フ
ィールドに最新データをもつ第３プロセッサモジュール
１０−３のユニットＩＤ＃３を指定し、更に第２宛先フ
ィールドにアクセス要求元の第１プロセッサモジュール
１０のユニットＩＤ＃１を指定した第２バスコマンドを
送出する。
【００６５】第２バスコマンドを受信した第３プロセッ
サモジュール１０−３は、ソースフィールドに自己のユ
ニットＩＤ＃３を指定し、第１宛先フィールドに主記憶
２８の第２プロセッサモジュール１０−２のユニットＩ
Ｄ＃２を指定し、更に第２宛先フィールドにリード要求
元の第１プロセッサモジュール１０−１のユニットＩＤ
＃１を指定したリプライコマンドを送出して、第１及び
第２プロセッサモジュール１０−１，１０−２に同時に
リードデータを応答する。
【００６６】この場合、第１プロセッサモジュール１０
−１は、第２プロセッサモジュール１０−２から第３プ
ロセッサモジュール１０−３に対し第２バスコマンドが
送出された際に、通常のバス転送より時間がかかること
から、バス転送のタイムアウトを監視するタイマの設定
時間を、第１時間からより長い第２時間に変更する。更
に、第２共有バス１２で使用するバスコマンドは、ソー
スフィールド、第１宛先フィールドおよび第２宛先フィ
ールドの各々を、第２共有バスを示すバス識別子（バス
ＩＤ）とプロセッサモジュール等のユニットを示すユニ
ット識別子（ユニットＩＤ）の２つで表現する。これに
よって複数の第２共有バスをバス間接続ユニットを介し
て相互に接続した場合、別の第２共有バス内のユニット
を指定することができる。
【００６７】また複数のプロセッサモジュールを第２共
有バス１８で接続したサブシステムを、サブシステム接
続ユニットを介して複数結合した拡張システムの場合、
バスコマンドにサブシステム間での転送を示すサブシス
テム拡張識別子を設ける。このサブシステム拡張識別子
が有効なときに、バスコマンドの各サブシステム毎のコ
マンドフィールドを有し、各々ソースフィールド、第１
宛先フィールドおよび第２宛先フィールドの各々を指定
して、異なるサブシステムのユニットを指定することが
できるようにする。
【００６８】更に、複数のプロセッサモジュールを接続
した第２共有バス１８に対し、異種のシステムバスをも
つサブシステムが異種バス接続ユニットを介して結合さ
れた場合、バスコマンドは、異種のシステムバスをエミ
ュレートするコマンドをコマンドフィールドの一部に備
え、異種のシステムバス上のユニットを指定できるよう
にしている。
【００６９】バスマスタとしての第１プロセッサモジュ
ール１０−１がバススレーブとしての第２プロセッサモ
ジュール１０−２へのバスコマンドの転送中に、第２プ
ロセッサモジュール１０−２で異常を検出した場合、第
２プロセッサモジュール１０−２は、エラーリプライバ
スコマンドを送出して第１プロセッサモジュール１０−
１にエラー通知する。
【００７０】またバスマスタとしての第１プロセッサモ
ジュール１０−１から第２プロセッサモジュール１０−
２へのバスコマンドのバス転送でバススレーブとして第
２プロセッサモジュール１０−２が確定するまでは、バ
スアービタがバス異常を監視しており、バスアービタが
異常を検出すると、リプライバスコマンドを送出して第
１プロセッサモジュール１０−１にエラー通知する。
【００７１】このエラーリプライバスコマンドは、検出
した異常の原因を分類フィールド、アクセス経路が複数
存在する場合にどのアクセス経路で異常が発生したかを
示すフィールド、及び検出した異常の種類を示すフィー
ルドを有する。また第２共有バス１２で使用するバスコ
マンドは、第１宛先フィールドおよび第２宛先フィール
ドの各々に、ソースユニットの動作識別子（アクセスＩ
Ｄ）を格納するアクセス識別子フィールドを設け、この
アクセス識別子フィールドの動作識別子によりバスコマ
ンドを修飾し、バスコマンドの動作モードを変更する。
【００７２】例えばキャッシュコヒーレンスのために、
アクセス要求元となる第１プロセッサモジュール１０−
１からのアクセス先の主記憶２８をもつ第２プロセッサ
モジュール１０−２に第１バスコマンドを送出し、第２
プロセッサモジュール１０−２から最新データをキャッ
シュユニット１８に保有する第３プロセッサモジュール
１０−３に第２バスコマンドを送出し、最終的に第３プ
ロセッサモジュール１０−３からリプライバスコマンド
を送出する場合、アクセス識別子を次のように指定す
る。まず第１プロセッサモジュール１０−１は、第２バ
スコマンドにおける第１宛先フィールドのアクセス識別
子フィールドに自己の動作識別子を指定する。第２プロ
セッサモジュール１０−２は、第２バスコマンドにおけ
る第１及び第２宛先フィールドのアクセス識別子フィー
ルドの各々に、第２バスコマンドと同じ動作識別子を指
定する。
【００７３】第３プロセッサモジュール１０−３は、リ
プライバスコマンドにおける第１及び第２宛先フィール
ドのアクセス識別子フィールドの各々に、第２バスコマ
ンドと同じ動作識別子を指定する。そして、第１及び第
２プロセッサモジュール１０−１，１０−２の各々は、
リプライバスコマンドの自己の宛先フィールドの動作識
別子とバスコマンド送出時に記憶保持した動作識別子と
の一致を判断して自己のバスコマンドに対するリプライ
であると判断する。
【００７４】このためアクセス要求元の第１プロセッサ
モジュール１０−１は、自己の送出した第１バスコマン
ドが第２プロセッサモジュール１０−２による第２バス
コマンドの送出の契機となり、結果として第２バスコマ
ンドに対するリプライコマンドが第３プロセッサモジュ
ールから送出されるが、第１プロセッサモジュールは第
２バスコマンドを意識せず、あたかも自己の第１バスコ
マンドに対するリプライとして受領することができる。
【００７５】第２共有バス１２のハードウェアとして
は、データ及びパリティを並列転送するデータバス線
と、データバス線とは独立にバスシーケンスの動作を規
定するタグ情報線を有し、タグ情報線によるタグ情報の
指定により、１回のバス獲得で複数のバスサイクルを継
続する。このタグ情報線によるリトライの指定により、
バスサイクルの任意のタイミングで実行中のバスシーケ
ンスの無効化を指示することができる。
【００７６】またタグ制御線で相互に接続された複数の
プロセッサモジュールのバス接続ユニット３２とバスア
ービタは、複数のバス接続ユニットのいずれもバスサイ
クルを開始していない場合には、バスアービタから各バ
ス接続ユニットに対し個別に出力されるバス使用許可信
号（バスグラント信号）とバスアービタから全てのバス
接続ユニットに共通に出力されるバス使用開始指示信号
（タグバス信号）を同時に受信した特定のバス接続ユニ
ットがバスサイクルを開始する。
【００７７】既に他のバス接続ユニットがバスシーケン
スを開始していた場合には、バス使用許可信号を受け取
ったバス接続ユニットが、他のバス接続ユニットが出力
するバスサイクルの終了信号を検出してバスサイクルを
開始する。またバスアービタは、特定タイミングで受理
したバス接続ユニットからのバス使用要求が全て処理さ
れるまで、後続のバス使用要求処理を保留する。
【００７８】タグ情報線は、通常のバス使用要求信号に
使用する第１バス使用要求線と、異常報告等の緊急バス
使用要求信号に使用する第２バス使用要求線を有する。
バスアービタは、特定タイミングで受理したバス使用要
求信号の中で緊急要求信号を出力したバス接続ユニッに
優先してバス使用許可を与える。更に、第１及び第２バ
ス使用要求線の信号の組み合わせで、通常のバス使用要
求、緊急バス使用要求、バス使用要求無し、及びバス接
続ユニット自身の非動作状態の通知を行う。
【００７９】［第２ディリレクトリ記憶部］本発明の別
の形態にあっては、メモリ管理ユニット２６のディレク
トリ記憶部３０に加え、バス接続ユニット３２は第２デ
ィレクトリ記憶部をうもけたことを特徴とする。この第
２ディレクトリ記憶部には、他のプロセッサモジュール
に対するアクセス要求で応答待ちにある状態をキャッシ
ュライン単位に登録し、他のプロセッサモジュールから
のアクセスに対し第２ディレクトリの記憶部の参照で同
一キャッシュラインのアクセスを認識した場合、ビジー
を応答する。
【００８０】具体的には、リモートとしての第１プロセ
ッサモジュール１０−１からライトアクセスを受けたホ
ームとしての第２プロセッサモジュール１０−２が、リ
モートの第３プロセッサモジュール１０−３に対し同じ
キャッシュラインの無効化を要求した場合、リモートに
対する無効化要求の完了待ちの状態を第２ディレクトリ
記憶部に登録し、他のプロセッサモジュールからの同一
キャッシュラインのアクセス要求に対し、第２共有バス
１２にビジーを応答する。
【００８１】このビジー応答は、要求元のプロセッサモ
ジュール内のキャッシュユニットまで伝えてリトライを
行わせる。また無効化完了待ちの状態で、ホームの第２
プロセッサモジュール１０−２に対する他のプロセッサ
モジュールのアクセス要求で、パス接続ユニット３２の
バッファフルとなった場合、アクセス要求元のプロセッ
サモジュールのバス接続ユニットにビジーを応答し、キ
ャッシュユニットまでは伝えずに、第２共有バス３２上
でのリトライを行わせる。
【００８２】このような第２共有バス側の第２ディレク
トリ記憶部により、他のプロセッサモジュールのアクセ
要求を、メモリ管理ユニット２６側まで伝える必要がな
く、ビシー応答を高速化できる。このような本発明のキ
ャッシュコヒーレント装置によれば次の作用が得られ
る。まず複数のプロセッサモジュールに設けた複数のキ
ャッシュ付きのプロセッサを内部のスヌープバス（第１
共通バス）を介して相互に接続すると共に主記憶と接続
する。更に、各プロセッサモジュールは主記憶側をシス
テムバス（第２共通バス）を介して接続する。この２階
層の共通バス構成により、プロセッサモジュール内での
キャッシュコヒーレンスのバス動作と、プロセッサモジ
ュール間でのキャッシュコヒーレンスのバス動作を分離
することができる。即ち、内部スヌープバスはモジュー
ル内のプロセッサ数に外部からアクセスする１台のプロ
セッサを加えたバス負荷で済む。また外部のシステムバ
スは、プロセッサモジュールの数分のバス負荷で済む。
このため、内部および外部の各共通バスの負荷をプロセ
ッサ数が増加しても抑えることができ、高速のキャッシ
ュコヒーレンスを実現して処理性能を向上できる。
【００８３】また内部のスヌープバスは、プロセッサモ
ジュール外部への接続を必要としないため、線路長を短
くして電気的な特性を良好に保つことができ、これによ
ってバスのクロック周波数を高く、内部に設けたプロセ
ッサのキャッシュ間でのキャッシュコヒーレンスを高速
処理で実現できる。また外部のシステムバスを使用した
プロセッサモジュール間で行われるキャッシュコヒーレ
ンスにあっては、書込アクセスの際には、アクセス元の
キャッシュに対し最新値を転送するが、書込アドレスを
もつ主記憶への書込み（コピーバック）は行わずに、デ
ィレクトリ記憶部のキャッシュ状態のみをダーティ状態
（最新値がキュッシュ上に存在し、主記憶には旧い値が
存在する状態）に更新して終了する。このため、主記憶
への書込み（コピーバック）を行わない分、書込アクセ
ス時のキャッシュコヒーレンスを高速に終了できる。
【００８４】この書込アクセスでダーティ状態となった
主記憶は、同じアドレスの読出アクセスの際に、最新値
をもつキャッシュのプロセッサモジュールからアクセス
元のキャッシュが存在するプロセッサモジュールへの転
送時に、同時にダーティ状態にある主記憶への転送書込
み（コピーバック）が行われ、読出アクセスとコピーバ
ックによる主記憶更新が並行して行われることで、より
高速の読出アクセスのキャッシュコヒーレンスが実現で
きる。
【００８５】
【発明の実施の形態】
＜目 次＞ １．システム構成 ２．ＣＰＵリードアクセス時のキャッシュコヒーレンス ３．ＣＰＵライトアクセス時のキャッシュコヒーレンス ４．キャッシュユニットのアクセス競合処理 ５．コピーバックの書込所有権 ６．システム共通バス （１）バス構成 （２）バスアビトレーション動作 （３）バス転送シーケンス （４）バス間転送 （５）バスコマンド ７．第２ディレクトリメモリ ８．その他 １．システム構成 図２は本発明のキャッシュコヒーレンス装置が適用され
るマルチプロセッサシステムのブロック図である。この
システムは、少なくとも１つのプロセッサエレメントを
もつプロセッサ群として例えば５つのプロセッサモジュ
ール１０−１〜１０−５を有し、プロセッサモジュール
１０−１〜１０−５を２本のシステムバス（第２共通バ
ス）１２−１，１２−２を介してお互いに接続してい
る。
【００８６】プロセッサモジュール１０−１〜１０−５
は、図３のプロセッサモジュール１０−１に代表して示
すように、例えば４つのプロセッサエレメント１４−１
〜１４−４を有し、スヌープバス２２を介してお互いに
接続している。プロセッサエレメント１４−１〜１４−
４のそれぞれは、プロセッサ１６−１〜１６−４、キャ
ッシュユニット１８−１〜１８−４およびスヌープユニ
ット２０−１〜２０−４を備える。
【００８７】メモリモジュール２５は、スヌープバス２
２に接続されると同時に、他のポートよりシステムバス
１２−１，１２−２に接続される。メモリモジュール２
５はプロトコル管理ユニット２４、メモリ管理ユニット
２６およびモジュール接続ユニット３２を備える。プロ
トコル管理ユニット２４は、システムバス１２−１，１
２−２と内部のスヌープバス２２との間のプロトコル変
換を行う。バス接続ユニット３２はメモリモジュール２
５とシステムバス１２−１，１２−２の間のバスアクセ
スを行う。
【００８８】メモリ管理ユニット２６には、主記憶とし
て機能するローカルストレージ２８と、プロセッサモジ
ュール間でのキャッシュコヒーレンスの実現に使用され
るディレクトリメモリ３０が接続される。スヌープユニ
ット２２−１〜２２−４は、スヌープバス２２で特定の
マシンサイクルに同期させて複数のキャッシュユニット
１８−１〜１８−４をスヌープするスヌーププロトコル
に従って、主記憶としてのローカルストレージ２８とキ
ャッシュユニット１８−１〜１８−４の間のキャッシュ
コヒーレンスを実現する。即ち、スヌープユニット２２
−１〜２２−４は、内部コヒーレンス処理部として機能
する。
【００８９】他のプロセッサモジュールとの間のキャッ
シュコヒーレンスを実現する外部コヒーレンス処理部と
しての機能は、メモリ管理ユニット２６に設けたキャッ
シュ変換部８０により行われる。キャッシュ変換部８０
は、システムバス１２−１，１２−２を使用した他のプ
ロセッサモジュールとの間のやり取りを通じ、ディレク
トリメモリ３０の参照に基づき、プロセッサモジュール
間でのキャッシュコヒーレンスを実現する。
【００９０】プロセッサエレメント１４−１〜１４−４
は、図４のプロセッサエレメント１４−１に代表して示
すように、ＣＰＵ回路１６−１には１次キャッシュ３６
をもつＣＰＵ３４が設けられ、ＣＰＵ３４の外部には２
次キャッシュ３８が接続される。２次キャッシュ３８の
制御部として２次キャッシュ制御モジュール３５が設け
られ、２次キャッシュ制御モジュール３５にはタグメモ
リ４０が接続される。ＣＰＵ３４の１次キャッシュ３６
はライトスルーで制御され、２次キャッシュ３８はコピ
ーバックで制御される。
【００９１】２次キャッシュ制御モジュール３５は、２
次キャッシュ３８のデータのアドレスと、そのエントリ
のキャッシュ状態を示す情報を、タグメモリ４０に登録
している。ここで２次キャッシュ３８は、図５に示すよ
うに、キャッシュデータを２５６バイト他印のデータと
して登録している。このためキャッシュ制御モジュール
３５は、２５６バイトのアドレス単位でキャッシュ登録
を管理する。この２次キャッシュ３８上の２５６バイト
単位のデータをキャッシュライン１００という。
【００９２】したがって、タグメモリ４０の中には２５
６バイト単位のキャッシュライン１００のアドレスが保
持されている。更に本発明にあっては、２５６バイトの
キャッシュライン１００を６４バイト単位のサブライン
１０２−１〜１０２−４に分割して、サブライン１０２
−１〜１０２−４ごとにキャッシュ状態を保持してい
る。
【００９３】２次キャッシュ３８は常にＣＰＵ３４の１
次キャッシュ３６を包含するように制御される。スヌー
プバス２２で接続されている例えば図３に示す４つのプ
ロセッサエレメント１４−１〜１４−４における各キャ
ッシュユニット１８−１〜１８−４間でのデータのコヒ
ーレンスを保証するため、スヌープバス２２によって２
次キャッシュ３８がスヌープされる。
【００９４】スヌープバス２２はパケットプロトコルに
よるバスで、２次キャッシュ３８のスヌープを行うため
の機構としてスヌープ送受信ユニット４２、スヌープバ
ッファ４４、コピーバックバッファ４６およびプロセッ
サアクセスユニット４８を有する。スヌープバス２２に
は各種のスヌープコマンドが準備されている。スヌープ
バスはパケットプロトコルであるため、複数のアクセス
を同時に進行させることができる。
【００９５】２次キャッシュ３８のスヌープは、スヌー
プバス２２に接続されている各プロセッサエレメント１
４−１〜１４−４の２次キャッシュ制御モジュール３５
で同時に行われ、その結果が同時にスヌープバス２２上
のプロセッサエレメント固有のキャッシュ状態信号に反
映される。このキャッシュ状態信号は、スヌープバスに
接続している全てのプロセッサエレメント１４−１〜１
４−４とメモリモジュール２５で参照される。
【００９６】メモリモジュール２５側のスヌープバス２
２に対するユニットとしては、空間識別ユニット５０、
スヌープ送受信ユニット５２およびスヌープバス送信ユ
ニット６０が設けられている。プロセッサエレメント１
４−１の２次キャッシュ制御モジュール３５がキャッシ
ュ状態信号によってキャッシュ状態を表示すると同様
に、メモリモジュール２５に設けているメモリ管理ユニ
ット２６も、主記憶を分割配置したローカルストレージ
２８の状態を表示するため、メモリ状態信号を持ってい
る。このメモリ状態信号も、スヌープバス２２内の全て
の２次キャッシュ制御モジュール３５に供給される。
【００９７】このようなスヌープバス２２上における２
次キャッシュ３８に関するキャッシュ状態信号と、メモ
リモジュール２５に接続したローカルストレージ２８の
メモリ状態信号の内容から、プロセッサエレメント１４
−１〜１４−４に設けた２次キャッシュ制御モジュール
３５のそれぞれは、ＣＰＵ３４のアクセスに対し応答を
行うプロセッサエレメントの判定、アクセス対象となっ
たキャッシュデータの最新値を書込権の所有状態で持っ
ている所謂オーナーの決定、各種のスヌープコマンドの
成否を判定する。
【００９８】更に、タグメモリ４０に保持している２次
キャッシュ３８のキャッシュ状態の変更を必要に応じて
行う。更に、１次キャッシュ３６の無効化や２次キャッ
シュ３８からのデータの応答を伴う場合もある。このよ
うなスヌープバス２２による一連の動作はパイプライン
で制御される。２次キャッシュ３８のキャッシュ状態信
号による表示は、ビジー、ミス、クリーン、ダーティ、
エラーの表示がある。ビジー表示は、受信コマンドが処
理資源の枯渇で処理できない場合あるいはプロトコル上
矛盾をきたすタイミングのときに表示される。ミス、ク
リーンおよびダーティ表示は、２次キャッシュ３８のタ
グメモリ４０のスヌープ結果である。
【００９９】即ち、ミス表示は、スヌープコマンドのア
ドレスで２次キャッシュ３８をスヌープした結果、その
アドレスのデータを２次キャッシュ３８で保持していな
いミスヒット検出の際に表示される。クリーン表示は、
２次キャッシュ３８をスヌープした結果、ローカルスト
レージ２８の内容と同じデータを２次キャッシュ３８内
に保持している場合と、ローカルストレージ２８の内容
に対し変更が加えられたデータを２次キャッシュ３８内
に保持している場合である。
【０１００】更にダーティ表示は、２次キャッシュ３８
をスヌープした結果、ローカルストレージ２８の内容に
対し変更が加えられた最新データを２次キャッシュ３８
内に保持している場合であり、ローカルストレージ２８
への書込みによる反映を行う責任を負っていることか
ら、この状態を書込権を所有しているオーナーと呼ぶ。
このようにプロセッサエレメント１４−１〜１４−４間
は、スヌープバス２２を用いたスヌープ方式によりキャ
ッシュコヒーレンスが保たれる。
【０１０１】次にメモリモジュール２５側を説明する。
メモリモジュール２５にはメモリ管理ユニット２６が設
けられ、メモリ管理ユニット２６にメモリバス６６を介
してローカルストレージ２８を接続し、また専用線を介
してディレクトリメモリ３０を接続している。ローカル
ストレージ２８は４本のメモリバス６６ごとに、メモリ
アクセスユニット６８−１〜６８−４と主記憶素子とし
てのＳＲＡＭ７０−１〜７０−４を接続している。
【０１０２】メモリバス６６は３２ビット幅のバスであ
り、２つのバスを同時にアクセスすることで、キャッシ
ュラインにおけるサブラインの６４ビット幅に一致する
１ワードのデータのアクセスを行う。ローカルストレー
ジ２８は、４つのメモリバス６６で４グループに分けら
れており、例えばメモリアクセスユニット６８−１，６
８−２の２グループで１ワードのアクセスを行い、メモ
リアクセスユニット６８−３と６８−４で１ワードのア
クセスを行うインターリーブ方式でアクセス可能として
いる。
【０１０３】メモリモジュール２５は、空間識別ユニッ
ト５０により、メモリユニット２６により接続したロー
カルストレージ２８のメモリ空間を全てのＰＭ１０−１
〜１０−５から参照可能な物理空間にマッピングするこ
とができる。図６は図４の空間識別ユニット５０のマッ
ピング機能を示す。まずプロセッサエレメント１４−１
に設けたＣＰＵ３４のＣＰＵ物理アドレス空間８６は、
例えば６４ＧＢ（ギガバイト）のアドレス空間をもつ。
【０１０４】このうち先頭の０〜４ＧＢの領域を、ＣＰ
Ｕで使用する制御レジスタ空間８８に割り当てている。
また最後の６０〜６４ＧＢの領域を、ＣＰＵのＲＯＭ空
間９２に割り当てている。残り４〜６０ＧＢの５６ＧＢ
幅の領域は、ＰＭ１０−１〜１０−５に設けている全て
のＣＰＵ３４でアクセス可能な共有空間９０としてい
る。ＣＰＵで任意の３６ビット物理アドレス９４を指定
したＣＰＵアクセス（読出アクセスまたは書込アクセ
ス）が発生すると、この３６ビット物理アドレス９４は
スヌープコマンドによってスヌープバス２２を経由し
て、メモリ制御モジュール２５の空間識別ユニット５０
に送られる。
【０１０５】勿論、空間識別ユニット５０にスヌープバ
ス２２を介して送られるのは、スヌープバス２２で接続
しているプロセッサエレメント１４−１〜１４−４のキ
ャッシュ上に、アクセス対象となった物理アドレス９４
のキャッシュラインが存在しない場合である。空間識別
ユニット５０は、制御テーブル９５を保持している。制
御テーブル９５には共有空間９０のアドレス４ＧＢから
６０ＧＢのエントリが設けられ、このアドレスによるエ
ントリに対応してＩＤ領域を設けている。対応ＩＤ領域
には、共有空間９０のアドレスが割り当てられたプロセ
ッサモジュールを示す情報としてユニットＩＤが登録さ
れている。このユニットＩＤは、物理的には、図２のシ
ステムバス１２−１，１２−２にプロセッサモジュール
を接続することのできるスロット番号を示している。
【０１０６】この例にあっては、４ＧＢから２４ＧＢの
アドレスに対応してユニットＩＤ＃００〜＃０７を登録
している。対応ＩＤ領域には、ユニットＩＤに加えてプ
ロセッサモジュールの実装と未実装を示す情報も登録さ
れている。この例では、１２〜１６ＧＢの物理アドレス
をもつユニットＩＤ＝＃０２のプロセッサモジュールは
未実装となっていることがわかる。またユニットＩＤ＝
＃００〜＃０３の４つについては４ＧＢ幅のアドレス領
域が割り当てられているが、ユニットＩＤ＝＃０４〜＃
０３の４つにプロセッサモジュールについては１ＧＢ幅
のアドレスが割り当てられている。
【０１０７】更に、制御テーブル９５の対応ＩＤ領域に
は自ホーム情報も格納されている。自ホーム情報とは、
ＣＰＵアクセスで発行された３６ビット物理アドレス９
４がプロセッサモジュール自身に内蔵したローカルスト
レージのアドレス空間に存在することを意味する。この
ような空間識別ユニット５０に対するスヌープバス２２
からの３６ビット物理アドレス９４によるアクセスで、
生成情報としてホーム情報９６、ユニットＩＤ９８、３
６ビット物理アドレス９４が生成される。ホーム情報９
６は、アクセスされた物理アドレス９４が自ホームか否
か、即ち物理アドレス９４がアクセスを起こしたプロセ
ッサモジュール自身に存在するか否かを表わす。
【０１０８】ユニットＩＤ９８は、物理アドレス９４が
存在するプロセッサモジュールを示す。具体例を説明す
ると、次のようになる。ＣＰＵアクセスにより３６ビッ
ト物理アドレス９４として、１６進表示でＸ´４．Ｄ０
００．００００´が発生したとする。この場合、空間識
別ユニット５０の制御テーブル９５のエントリで対応Ｉ
ＤエリアからユニットＩＤ＝＃０３が生成され、右側の
破線の枠に示すように、ホーム情報９６としてＰＭ自身
がホームでないことを示す「ｎｏｔ Ｈｏｍｅ」、ユニ
ットＩＤ＝＃０３、物理アドレス９４であるＸ´４．Ｄ
０００．００００´を生成する。
【０１０９】再び図４のメモリモジュール２５を参照す
るに、メモリモジュール２５はスヌープバス２２を通し
てプロセッサエレメント１４−１のＣＰＵ３４からアク
セスされ、またシステムバス１２−１（１２−２を含
む）を通して、他のプロセッサモジュール１０−２〜１
０−５に設けているＣＰＵ３４からもアクセスされる。
プロセッサモジュール１０−１内に設けたプロセッサエ
レメント１４−１〜１４−４のキャッシュ間におけるキ
ャッシュコヒーレンスはスヌープバス２２を使用して実
現されているのに対し、プロセッサモジュール１０−１
〜１０−５間にあっては、システムバス１２−１，１２
−２を使用したディレクトリ方式でキャッシュコヒーレ
ンスを保っている。このディレクトリ方式によるキャッ
シュコヒーレンスを実現するため、ディレクトリメモリ
３２には２５６バイトのキャッシュライン単位に１エン
トリが記憶されている。
【０１１０】このディレクトリエントリは、ＣＰＵアク
セスで発生した３６ビット物理アドレスで選択され、キ
ャッシュラインの状態を表示している。このディレクト
リエントリにおけるキャッシュラインの状態表示には、
ダーティ、シェアおよびインバリッドの状態がある。ダ
ーティとは、ある２次キャッシュ３８上のキャッシュラ
インが書き替えられて最新データとなっており、キャッ
シュラインのコピー元となるローカルストレージ２８上
には旧いデータしかなく、書き替えたプロセッサエレメ
ントが最新データを所有していることを意味する。
【０１１１】シェアとは、キャッシュラインのデータが
プロセッサモジュールによって参照されたことを示し、
ローカルストレージ２８上のデータと同一のデータが２
次キャッシュ３８に同時に存在している可能性を示す。
更にインバリッドとは、キャッシュラインが、どのプロ
セッサモジュールからも参照されず、また書き替えられ
ていない状態を示す。
【０１１２】更に、あるキャッシュラインがダーティの
場合、書き替えられた最新データをもつプロセッサモジ
ュールの識別情報がメモリ管理ユニット２６に保持され
る。またキャッシュラインがシェアの場合にも、ローカ
ルストレージ２８のデータのコピーをもつプロセッサモ
ジュールの識別情報がメモリ管理ユニット２６に保持さ
れる。
【０１１３】図７は、図４のメモリモジュール２５に設
けたメモリ管理ユニット２６の詳細である。図７におい
て、メモリ管理ユニット２６には、バスアービタ７４、
メモリバス６０を介してローカルストレージ２８を接続
したメモリバス制御ユニット７６、専用線でディレクト
リメモリ３０を接続したディレクトリ制御ユニット７８
が設けられる。
【０１１４】またメモリ管理ユニット２６には、プロセ
ッサモジュール間をディレクトリ方式を使ってキャッシ
ュコヒーレンスを保つため、キャッシュ変換部８０が設
けられ、ローカルステートマシン８１、ホームステート
マシン８２およびリモートステートマシン８３を内蔵し
ている。本発明のディレクトリ方式を使用したプロセッ
サモジュール間のキャッシュコヒーレンスの制御にあっ
ては、アクセスを起動したプロセッサモジュールをロー
カルと呼び、アクセスしたアドレスをローカルストレー
ジにもっているプロセッサモジュールをホームと呼ぶ。
また、アクセスしたローカルストレージのアドレスがダ
ーティ状態、即ちローカルストレージのアドレスに旧い
データしかなく他のプロセッサモジュールのキャッシュ
上で最新データをキャッシュ上に所有しているプロセッ
サエレメントが属しているプロセッサモジュールをリモ
ートと呼ぶ。
【０１１５】このようなプロセッサモジュールのローカ
ル、ホームおよびリモートの各ステートは、キャッシュ
変換部８０に設けたローカルステートマシン８０、ホー
ムステートマシン８２およびリモートステートマシン８
４の処理動作で実現される。これら３つのステートマシ
ン８１，８２，８３に対応し、図４のメモリモジュール
２５には、バスアービタ７４を経由して、それぞれのス
テートマシンの処理対象となるコマンドおよびデータを
保持するためのバッファキューが設けられている。即
ち、ローカルステートマシン８０に対応してローカルア
クセスバッファキュー５４が設けられる。
【０１１６】ローカルアクセスバッファキュー５４に
は、空間識別ユニット５０で生成された図６の生成情報
であるホーム情報Home、ユニットＩＤおよび３６ビット
物理アドレスが格納される。更に、ローカルアクセスバ
ッファキュー５４に対してはスヌープ送受信ユニット５
２より応答割込みINT が与えられ、またローカルアクセ
スバッファキュー５４が一杯になると、フル状態を示す
情報Fullをスヌープ送受信ユニット５２に返している。
【０１１７】ホームステートマシン８２に対応しては、
メモリモジュール２５にホームアクセスバッファキュー
５６が設けられる。ホームアクセスバッファキュー５６
には、システムバス１２−１，１２−２を使用して発行
されたローカルとなったプロセッサモジュールからのア
クセスコマンド、所謂ホームコマンドが格納される。リ
モートステートマシン８４に対応しては、リモートアク
セスバッファキュー５８が設けられる。リモートアクセ
スバッファキュー５８には、ホームとなったプロセッサ
モジュールからシステムバス１２−１，１２−２を使用
して発行されたアクセスコマンド、所謂リモートコマン
ドが格納される。
【０１１８】ローカルアクセスバッファキュー５４に格
納するローカルコマンドおよびホームアクセスバッファ
キュー５６に格納するホームコマンドについては、メモ
リ管理ユニット２６に設けているローカルステートマシ
ン８０およびホームステートマシン８２のそれぞれでロ
ーカルストレージ２８のアクセスを伴うが、リモートア
クセスバッファキュー５８のリモートコマンドはプロセ
ッサエレメント１４−１の２次キャッシュ３８上のキャ
ッシュラインを対象とするアクセスであるため、スヌー
プバス送信ユニット６０によって直接、スヌープバス２
２に接続されている。
【０１１９】次に、図７のメモリ管理ユニット２６に設
けたディレクトリ制御ユニット７８および専用線で接続
したディレクトリメモリ３０の内容を説明する。図８
は、メモリ管理ユニット２６に設けたディレクトリ制御
ユニット７８に設けられるディレクトリエントリレジス
タ１０４の内容であり、このディレクトリエントリレジ
スタ１０４の内容がディレクトリメモリ３０に格納され
たキャッシュラインごとのディレクトリエントリの読出
結果である。したがってディレクトリエントリレジスタ
１０４の内容は、これ即ちディレクトリメモリ３０に記
憶されたディレクトリエントリデータそのものの説明と
なる。
【０１２０】ディレクトリエントリレジスタ１０４は、
下位８ビットにシェアードマップビット領域１０６を割
り当てている。このシェアードマップビット領域１０６
は、プロセッサモジュール内の主記憶であるローカルス
トレージ２８のキャッシュラインに対応するデータが参
照されて、いずれのプロセッサモジュールの２次キャッ
シュ上に存在するかを示すビットである。
【０１２１】このシェアードマップビット領域１０６に
対しては、図９に示すシェアードマップビット対応レジ
スタ１１２が組み合わされ、更に、シェアードマップビ
ット対応レジスタ１１２には図１０のプロセッサモジュ
ール構成レジスタ１１４が組み合わされる。ディレクト
リエントリレジスタ１０４のシェアードマップビット領
域１０６はビットＳ０〜Ｓ７であり、このビットＳ０〜
Ｓ７を１にセットすることで、シェアードマップビット
対応レジスタ１１２で示されるプロセッサモジュール上
にキャッシュラインのデータがシェア状態で存在するこ
とを示す。
【０１２２】シェアードマップビット対応レジスタ１１
２は例えば１６台のプロセッサモジュールのユニットＩ
Ｄ＝＃００〜＃１５に対応するマップビット対応エリア
をもっている。これに対しシェアードマップビット領域
１０６は、Ｓ０〜Ｓ７の８ビットと半分しかない。この
ため、シェアードマップビット対応レジスタ１１２にシ
ェアードマップビット領域１０６のシェアードマップビ
ットを重複して格納することで、シェアードマップビッ
トを複数のプロセッサモジュールについて表現すること
ができ、ディレクトリエントリレジスタ１０４のビット
低減を実現している。
【０１２３】更に、シェアードマップビット領域１０６
に格納するシェアードマップビットＳ０〜Ｓ７は、２次
キャッシュ上では２５６バイトのキャッシュラインを４
分割した６４バイトのキャッシュサブラインごとに保持
されている。これに対しシェアードマップビットは１ビ
ットしかないことから、４つのキャッシュサブラインの
シェア状態をＯＲによって表わしている。
【０１２４】この４つのサブラインのＯＲによるシェア
ードマップビットの表現は、２次キャッシュのキャッシ
ュコヒーレンスがスヌープ方式で実現されているため、
シェア状態のキャッシュラインが存在するプロセッサエ
レメントを意識することなくアクセスでき、複数のサブ
ラインのＯＲ表現が可能となっている。図９のシェアー
ドマップビット対応レジスタ１１２に対応して設けた図
１０のプロセッサモジュール構成レジスタ１１４には、
プロセッサモジュール実装ビット領域１１６とバスＩＤ
ビット領域１１８が設けられている。バスＩＤビット領
域１１８にはシステムバス１２−１，１２−２に分けた
バスＩＤが格納されている。各システムバス１２−１，
１２−２は１６個のスロットをもっている。したがって
最大１６台のプロセッサモジュールを実装することがで
きる。
【０１２５】プロセッサモジュール実装ビット領域１１
６はユニットＩＤと同じスロット番号＃００〜＃１５に
１対１に対応したビット領域をもっており、実装状態で
ビット１がセットされ、未実装状態でビット０にリセッ
トされている。図１１は、ディレクトリエントリレジス
タ１０４、シェアードマップビット対応レジスタ１１２
およびプロセッサモジュール構成レジスタ１１４の具体
的な対応関係を示している。まずプロセッサモジュール
構成レジスタ１１４はプロセッサモジュール実装ビット
領域１１６のみを示しており、ビット１にセットされた
ユニットＩＤが実装されたプロセッサモジュールを示し
ている。
【０１２６】この例ではユニットＩＤ＝＃００，＃０
２，＃０５，＃０６，＃０８，＃１０，＃１１，＃１３
にプロセッサモジュールが実装されて、それ以外は未実
装となっている。プロセッサモジュール構成レジスタ１
１４の各ビットは、シェアードマップビット対応レジス
タ１１２に１対１に対応している。あるプロセッサモジ
ュールのＣＰＵアクセスで、あるプロセッサモジュール
の主記億となるローカルストレージのキャッシュライン
が参照されて、そのコピーがキャッシュ上に存在するシ
ェア状態が起きると、そのキャッシュラインのディレク
トリエントリデータのシェアードマップビット領域１０
６の空きビットが１にセットされ、同時にシェアードマ
ップビット対応レジスタ１１２のコピーデータがシェア
状態で存在するプロセッサモジュールのレジスタ領域、
シェアードマップビット領域１０６のビット１を示すイ
ンデックス情報が格納される。
【０１２７】例えば、シェアードマップビットＳ６につ
いては、シェアードマップビット対応レジスタ１１２の
ユニットＩＤ＝＃０６と＃１０に対応したエリアに、そ
れぞれＳ６を格納している。これによって、シェアード
マップビットＳ６はユニットＩＤ＝＃０６および＃１０
の２つのプロセッサモジュールに参照され、それぞれキ
ャッシュ上でシェア状態にあることを表わしている。
【０１２８】再び図８のディレクトリエントリレジスタ
１０４を参照するに、シェアードマップビット領域１０
６に続いてはダーティサブラインビット領域１０８が設
けられている。ダーティサブラインビット領域１０８は
２５６バイトのキャッシュラインを分割した４つのサブ
ラインに対応してビットＤ０〜Ｄ３が割り当てられてい
る。
【０１２９】このダーティサブラインビットＤ０〜Ｄ３
は、ビット１にセットすることで、システム内のいずれ
かのプロセッサモジュールのキャッシュ上に、主記憶と
してのローカルストレージ２８の旧いデータに対し、書
き替えられた最新データが存在することを表わしてい
る。また、ダーティサブラインビット領域１０８がビッ
ト０にリセットされている場合には非ダーティ状態を意
味ｒ．。
【０１３０】この場合には主記憶としてのローカルスト
レージ２８に最新データが存在し、シェアードマップビ
ットＳ０〜Ｓ７で指定されるいずれかのプロセッサモジ
ュール上に、シェア状態でそのコピーデータが存在する
ことを意味する。データサブラインビットＤ０〜Ｄ３に
関するプロセッサモジュールの識別情報は、主記憶とし
てのローカルストレージ２８上の特定領域、例えば図６
のＣＰＵ物理アドレス空間８６における制御レジスタ空
間８８に格納されている。
【０１３１】図１２は、ディレクトリエントリレジスタ
１０４の具体的な内容を示す。まずシェアードマップビ
ット領域は、システムバス１２−１，１２−２に対応し
てシェアードマップビット領域１０６−１と１０６−２
に分けられている。ここで、システムバス１２−１側に
ついてのみプロセッサモジュールを実装しており、シス
テムバス１２−２側についてはプロセッサモジュールを
未実装であった場合には、シェアードマップビット領域
１０６−１側が実装プロセッサモジュール用に使用され
る。
【０１３２】シェアードマップビット領域１０６−１で
は、シェアードマップビットＳ３とＳ４にビット１がセ
ットされている。この場合、図９に示したシェアードマ
ップビット対応レジスタ１１２による対応で、例えばシ
ェアードマップビットＳ３はユニットＩＤ＝＃０３のプ
ロセッサモジュールのキャッシュラインのデータの全サ
ブラインのシェア情報のＯＲを意味する。また、シェア
ードマップビットＳ４が同じく図９のシェアードマップ
ビット対応レジスタ１１２による対応関係の指定で、例
えばユニットＩＤ＝＃０４のプロセッサモジュール上の
あるプロセッサエレメントのキャッシュ上の全サブライ
ンのシェア状態のＯＲとなる。
【０１３３】一方、ダーティサブラインビット領域１０
８については、例えばダーティサブラインビットＤ１と
Ｄ４がビット１にセットされ、Ｄ２とＤ３がビット０に
リセットされている。このダーティサブラインビットＤ
１〜Ｄ４に対応して、ローカルストレージ２８にはプロ
セッサモジュール情報格納領域１２０，１２２，１２
４，１２６が設けられている。
【０１３４】例えばダーティサブラインビットＤ１のプ
ロセッサモジュール情報領域１２０には、ユニットＩＤ
＝＃０１のプロセッサモジュールに存在するキャッシュ
上にダーティ状態として最新データが存在することを示
している。同様に、ビット１にセットされたダーティサ
ブラインビットＤ４については、プロセッサモジュール
情報領域１２６にユニットＩＤ＝＃０２のプロセッサモ
ジュールに存在するキャッシュ上にダーティ状態として
最新データが存在することを示している。
【０１３５】またビット０にリセットされたダーティサ
ブラインビットＤ２，Ｄ３のプロセッサモジュール情報
領域１２２，１２４については、このキャッシュライン
の物理アドレスが存在する主記憶としてのローカルスト
レージに最新データがあり、いずれかのプロセッサモジ
ュールのキャッシュ上に主記憶の最新データの参照によ
りコピーデータがシェア状態で存在することを示す。
【０１３６】シェア状態でコピーデータが存在するプロ
セッサモジュールのユニットＩＤについては、シェアー
ドマップビット領域１０６−１のビット１にセットされ
たシェアードマップビットＳ３，Ｓ４に対する図９のシ
ェアードマップビット対応レジスタ１１２の参照で得ら
れ、例えばユニットＩＤ＝＃０３，＃０４のプロセッサ
モジュール上にシェア状態でコピーデータが存在する可
能性を示す情報が格納されている。
【０１３７】またビット０にセットされたダーティサブ
ラインビットＤ２，Ｄ３のプロセッサモジュール情報領
域１２２，１２４の内容は、シェアード以外に非シェア
ードが格納される場合もあり、この場合には、対応する
主記憶としてのローカルストレージにのみ最新データが
存在することを示す。次に、スヌープバス２２のパケッ
トを説明する。パケットは起動コマンドと応答コマンド
に分類される。起動コマンドと応答コマンドは、基本的
に対になっている。パケットはコマンドフェーズとデー
タフェーズからなる。コマンドフェーズは１クロックで
ある。データフェーズは、コマンドとサイズによって０
から８クロックまでの長さをとることができる。
【０１３８】起動コマンドのコマンドフェーズは、パケ
ットの宛先を示す宛先フィールド、パケット処理につい
て補助的な指示を含むフラグフィールド、処理対象のデ
ータサイズを示すサイズフィールド、コマンドの種別を
示すタイプフィールド、コマンドの処理対象のアドレス
を示すアドレスフィールドから構成される。起動コマン
ドと応答コマンドの区別はタイプフィールドで識別す
る。
【０１３９】一方、応答コマンドもコマンドフェーズと
データフェーズからなる。コマンドフェーズは１クロッ
クで、データフェーズはコマンドとサイズによって０か
ら８のクロックの長さをとることができる。応答コマン
ドのコマンドフェーズは、パケットの宛先を示す宛先フ
ィールド、アクセスの成否，エラー要因およびリトライ
指示を示すリプライコードフィールド、リプライの種別
を示すリプライフィールド、コマンドの種別を示すコマ
ンドフィールド（リプライであることを示す種別情報が
格納される）、コマンドの処理対象のアドレスを示すア
ドレスフィールドから構成される。
【０１４０】複数のプロセッサモジュール間を接続する
システムバス１２−１，１２−２についても、パケット
は基本的にスヌープバス２２と同じであるが、バスクロ
ックが相違する。即ち、スヌープバスはバスの線路長が
モジュール筐体内で済むことから短く、電気的特性が良
いので、例えば６０ＭＨｚのクロック周波数とできる。
【０１４１】これに対しシステムバス１２−１，１２−
２はバックパネルを介して複数のプロセッサモジュール
間に接続されるために線路長が長く、電気的特性の制約
から例えば４０ＭＨｚのクロック周波数に抑えられてい
る。このようなスヌープバス２２とシステムバス１２−
１，１２−２の間のクロック周波数の相違によるタイミ
ングは、図３のメモリモジュール２５に示したプロトコ
ル管理ユニット２４によるプロトコル変換機能により調
整がとられている。
【０１４２】図１３は、スヌープバス２２で使用される
コマンドの種類を、プロセッサ１６、スヌープユニット
２０、メモリ管理ユニット２６に分けて示している。次
に、図４のプロセッサエレメント１４−１に設けている
キャッシュ制御モジュール３５側におけるキャッシュ状
態の遷移を説明する。まず、２次キャッシュ制御モジュ
ール３５のタグメモリ４０にキャッシュサブライン単位
に保持されるキャッシュ状態には、図１４に示す無効状
態、シェアードクリーン状態、シェアードモディファイ
状態、排他的ダーティ状態、シェアードダーティ状態の
５つがある。
【０１４３】無効状態ＩＮＶは２次キャッシュ３８上に
データが存在しない非キャッシュ状態である。シェアー
ドクリーン状態ＳＨ＆Ｃは、ホームとなるプロセッサモ
ジュールの主記憶であるローカルストレージと同一内容
のデータを保持している状態である。シェアードモディ
ファイ状態ＳＨ＆Ｍは、ホームとなる主記憶上にあるデ
ータは最新データではない旧いデータであり、自分自身
の２次キャッシュには、そのコピーデータが存在し、更
に自分のプロセッサモジュール内の他の２次キャッシュ
上に排他的ダーティ状態ＥＸ＆Ｄにより、システム内で
唯一の最新データが存在している状態である。
【０１４４】排他的ダーティ状態ＥＸ＆Ｄはシステム内
で唯一の最新データを保留している状態であり、この場
合、書込権を所有した所謂オーナーとなっている。更
に、シェアードダーティ状態ＳＨ＆Ｄは、ホームとして
の主記憶上に最新データがなく、自分のプロセッサモジ
ュール内の２次キャッシュ群に最新データを保留してお
り、更に、自分のプロセッサモジュール内の２次キャッ
シュ群にホームの主記憶データのコピーをもったシェア
ードモディファイ状態ＳＨ＆Ｍが存在し、最新データを
保留しているキャッシュ制御モジュール自身が書込権を
所有してオーナーとなっている場合である。
【０１４５】図１５は図４の２次キャッシュ制御モジュ
ール３５におけるキャッシュ状態の遷移を示す。まず初
期状態は、ブロック１３０の無効状態ＩＮＶである。こ
の状態でプロセッサのリードアクセスによって１次キャ
ッシュ３６がミスヒットになると、アクセス要求が２次
キャッシュ状態モジュール３５に発行される。このとき
２次キャッシュ３８の該当するキャッシュサブラインが
無効状態ＩＮＶであれば、スヌープバス２２へデータを
要求するコマンドを送出する。
【０１４６】この場合、遷移状態はブロック１５０のシ
ェアードモディファイ状態ＳＨ＆Ｍに遷移するケース１
の場合と、ブロック１４０のシェアードクリーン状態Ｓ
Ｈ＆Ｃに遷移するケース２の場合の２つがある。ケース
１の場合、ブロック１５０のシェアードモディファイ状
態（ＳＨ＆Ｍ）は、他のプロセッサエレメントが排他的
ダーティ状態ＥＸ＆Ｄあるいはシェアードダーティ状態
ＳＨ＆Ｄで、アクセス対象となったサブラインをキャッ
シュ上に所有している場合であり、いずれかのプロセッ
サエレメントのキャッシュ状態信号によってダーティが
表示される。
【０１４７】そこで、ダーティが表示されたプロセッサ
エレメントのキャッシュ制御モジュール３５が２次キャ
ッシュ３８をアクセスし、データ応答をスヌープバス２
２に発行する。このとき応答を行ったプロセッサエレメ
ントでキャッシュ状態がブロック１６０の排他的ダーテ
ィ状態ＥＸ＆Ｄであった場合には、ブロック１７０のシ
ェアードダーティ状態ＳＨ＆Ｄに遷移する。応答を受け
取ったプロセッサエレメントは、キャッシュ状態をブロ
ック１５０のシェアードモディファイ状態ＳＨ＆Ｍへ遷
移する。
【０１４８】一方、ケース２の場合は、プロセッサのリ
ードアクセスの１次キャッシュにおけるミスヒットに対
するアクセス要求に対し、他のプロセッサエレメントが
ブロック１４０のシェアードクリーン状態ＳＨ＆Ｃか或
いはブロック１３０の無効状態ＩＮＶであった場合であ
り、キャッシュ状態信号およびメモリモジュール２５側
のメモリ状態信号はクリーン或いはミスが表示される。
クリーン表示を行ったキャッシュ制御モジュール３５
は、キャッシュ状態信号を参照して、応答を作成すべき
か否か判断する。
【０１４９】同様に、メモリ状態信号を参照したメモリ
モジュール２５、即ちメモリモジュール２５に設けてい
るメモリ管理ユニット２６も、メモリ状態信号を参照し
て、応答を作成すべきか否か判断する。応答すべきこと
を検出したモジュールが２次キャッシュ制御モジュール
３５であれば、２次キャッシュメモリ３８にアクセス
し、データの応答をスヌープバス２２に発行する。応答
すべきことを検出したモジュールがメモリモジュール２
５のメモリ管理ユニット２６であれば、主記憶としての
ローカルストレージ２８へのアクセスを起動し、スヌー
プバス２２に応答データを発行する。
【０１５０】このようにしてスヌープバス２２から応答
データを受け取ったアクセス元の２次キャッシュ制御モ
ジュール３５は、ブロック１３０の無効状態ＩＮＶから
ブロック１４０のシェアードクリーン状態ＳＨ＆Ｃに遷
移する。 ２．ＣＰＵリードアクセス時のキャッシュコヒーレンス 次に、図２に示したプロセッサモジュール１０−１〜１
０−５のいずれかのＣＰＵでリードアクセスが発生した
場合のキャッシュコヒーレンスの処理を、読出モード１
〜３に分けて説明する。 （１）読出モード１ 図１６は読出モード１のキャッシュコヒーレンスのプロ
トコルを示している。
【０１５１】読出モード１は、プロセッサモジュール１
０−１内の任意のＣＰＵの読出アクセスＰ−ＲＤに対
し、キャッシュユニット群１８の中の自己のキャッシュ
ユニットでミスヒットし、且つスヌープバス２２で接続
した他の全てのキャッシュユニット１８でミスヒットし
た場合である。この場合には、メモリ管理ユニット２６
に対し主記憶となるローカルストレージ２８をアクセス
するためのリモートコマンドとしてコマンドＴ−ＣＲが
発行される。ここで、読出アドレスがプロセッサモジュ
ール１０−１のローカルストレージ２８にあることでプ
ロセッサモジュール１０−１はホームとなり、更にロー
カルストレージ２８のデータがリモートとなるプロセッ
サモジュール１０−２内のキャッシュユニット群のいず
れかに最新データをもつダーティ状態で存在していたも
のとする。
【０１５２】このような場合、読出アクセスを発生した
プロセッサモジュール１０−１のメモリ管理ユニット２
６は、システムバス１２にリモートコマンド２２０を発
行して、プロセッサモジュール１０−２にアクセスす
る。このリモートコマンド２２０を受領したプロセッサ
モジュール１０−２のメモリ管理ユニット２６は、スヌ
ープバス２２を介してダーティ状態Ｄにあるキャッシュ
ユニットから最新データを取得した後に、システムバス
１２を使用して最新データをリプライデータ２３０とし
て、ローカルで且つホームとなっているプロセッサモジ
ュール１０−１に応答する。
【０１５３】プロセッサモジュール１０−１は、システ
ムバス１２の応答として得られたリプライデータ２３０
をアクセス元のキャッシュユニットにスヌープバス２２
を介して格納し、ＣＰＵの読出アクセスに対するリード
データとして応答させる。同時に、主記憶としてのロー
カルストレージ２８に最新データを書き込むことで、キ
ャッシュコヒーレンスを実現する。ここでリモートコマ
ンド２２０を受けて最新データの応答を行ったプロセッ
サモジュール１０−２のキャッシュユニットにあって
は、ダーティ状態Ｄをクリーン状態Ｃに更新する。ま
た、アクセス元のプロセッサモジュール１０−１のロー
カルストレージ２８のキャッシュデータを管理している
ディレクトリメモリについて、アクセス対象となったキ
ャッシュラインのダーティ状態Ｄをシェア状態Ｓに更新
する。更に、アクセス元のキャッシュユニットについて
は、無効状態Ｉをクリーン状態Ｃに更新する。 （２）読出モード２ 図１７は読出モード２におけるキャッシュコヒーレンス
のためのプロトコルを示す。この読出モード２は、任意
のＣＰＵの読出アクセスＰ−ＲＤに対し自己のキャッシ
ュユニットでミスヒットし、且つスヌープバス２２で接
続した他の全てのキャッシュユニットでミスヒットし、
且つ読出アドレスが他のプロセッサモジュール１０−２
の主記憶であるローカルストレージ２８にあり、このロ
ーカルストレージ２８の読出アドレスのデータが別のプ
ロセッサモジュール１０−３のいずれかのキャッシュユ
ニット上に最新データをもつダーティ状態Ｄで存在する
場合である。
【０１５４】この場合、読出アクセスが起きたプロセッ
サモジュール１０−２のメモリ管理ユニット２６はロー
カルとして動作し、システムバス１２にホームコマンド
２４０を発行してプロセッサモジュール１０−２にアク
セスする。プロセッサモジュール１０−２は、システム
バス１２から受領したホームコマンド２４０に基づき、
読出アドレスによるディレクトリメモリの参照でプロセ
ッサモジュール１０−３のキャッシュ上にダーティ状態
Ｄで最新データが存在することを認識し、システムバス
１２にリモートコマンド２５０を発行してプロセッサモ
ジュール１０−３にアクセスする。
【０１５５】プロセッサモジュール１０−３は、システ
ム１２−２から受領したリモートコマンド２５０に基づ
き、メモリ管理ユニット２６がリモートとして動作し、
スヌープバス２２によってダーティ状態Ｄにあるキャッ
シュユニットにアクセスして最新データを取得した後、
システムバス１２を使用して、ホームとしてのプロセッ
サモジュール１０−２およびローカルとしてのプロセッ
サモジュール１０−１のそれぞれにリプライデータ２６
０を応答する。ホームとしてのプロセッサモジュール１
０−２は、システムバス１２の応答により得られたリプ
ライデータ２６０により主記憶としてのローカルストレ
ージ２８の対応データの書込みを行って、最新データに
更新する。
【０１５６】同時に、ローカルとしてのプロセッサモジ
ュール１０−１にあっては、システムバス１２からの応
答で受領したリプライデータ２６０をスヌープバス２２
を介してアクセス元のキャッシュユニットに転送して２
次キャッシュ上に格納し、ＣＰＵの読出アクセスに対し
リードデータとして応答させる。ここで、リモートとな
ったプロセッサモジュール１０−３で最新データの応答
を行ったキャッシュユニットは、キャッシュ状態をダー
ティ状態Ｄからクリーン状態Ｃに更新する。またホーム
となったプロセッサモジュール１０−２にあっては、ア
クセス対象となったキャッシュラインの状態をダーティ
状態Ｄからシェア状態Ｓに更新する。
【０１５７】具体的には、図８のディレクトリエントリ
レジスタ１０４のダーティサブラインビット領域１０８
の対応するサブラインビットを１から０にリセットす
る。また、リモートとしてのプロセッサモジュール１０
−３およびローカルとしてのプロセッサモジュール１０
−１にシェア状態でホームにおけるローカルストレージ
２８のデータと同一データが存在するシェア状態にある
ことから、シェアードマップビット領域１０６の対応す
るシェアードマップビットを１にセットする。
【０１５８】更に、ローカルとなったプロセッサモジュ
ール１０−１のアクセスが発生したキャッシュユニット
にあっては、無効状態Ｉをクリーン状態Ｃに遷移させ
る。 （３）読出モード３ 図１８は読出モード３におけるキャッシュコヒーレンス
のプロトコルであり、このモードにあっては、アクセス
が発生したモジュールの内部のキャッシュユニット間で
のスヌープバス２２を使用したキャッシュコヒーレンス
が行われる。読出モードには図１８（Ａ）と図１８
（Ｂ）の２つのケースがある。
【０１５９】図１８（Ａ）はＣＰＵの読出アクセスＰ−
ＲＤが発生したキャッシュユニット１８−４が無効状態
ＩＮＶにあってミスヒットとなったが、スヌープバス２
２で接続された他のキャッシュユニット１８−１に最新
データがシェアードクリーン状態ＳＨ＆Ｃで存在してい
た場合である。この場合には、キャッシュユニット１８
−４がスヌープバス２２を使用してコマンドＴ−ＣＲを
発行し、キャッシュユニット１８−１から該当するサブ
ラインを含むリプライデータ２７０の応答が行われ、キ
ャッシュユニット１８−４上に格納されて、読出アクセ
スにリードデータとして応答する。
【０１６０】このときアクセス元のキャッシュユニット
１８−４にあっては、無効化状態ＩＮＶからシェアード
クリーン状態ＳＨ＆Ｃに遷移し、アクセス先のキャッシ
ュユニット１８−１にあってはシェアードクリーン状態
ＳＨ＆Ｃを維持する。図１８（Ｂ）は無効化状態ＩＮＶ
にあるキャッシュユニット１８−４に対するＣＰＵから
の読出アクセスＰ−ＲＤに対し、スヌープバス２２で接
続したキャッシュユニット１８−１に最新データが排他
的ダーティ状態ＥＸ−Ｄで存在した場合、即ち書込権を
所有した状態で存在した場合である。この場合のキャッ
シュユニット１８−４からのアクセスＴ−ＣＲに対し、
同様にキャッシュユニット１８−１から最新データのサ
ブラインを含むリプライデータ２８０の応答が行われ
る。
【０１６１】この場合、アクセス元のキャッシュユニッ
ト１８−４は無効化状態ＩＮＶからシェアードモディフ
ァイ状態ＳＨ＆Ｍ、即ち自分のプロセッサモジュール内
の他のキャッシュユニットにシェアードダーティ状態で
最新データが存在することを示す。またアクセス先のキ
ャッシュユニット１８−１にあっては、排他的ダーティ
状態ＥＸ＆Ｄからシェアードダーティ状態ＳＨ＆Ｄに遷
移する。 （４）ローカルプロセッサモジュールのリード処理 図１９のフローチャートは、図１６，図１７の読出モー
ド１，２におけるローカルとなったプロセッサモジュー
ルのリード処理である。まずステップＳ１で、プロセッ
サエレメントのリードアクセスを受けて、ステップＳ２
で、キャッシュヒットの有無が判定され、キャッシュヒ
ットであれば、ステップＳ１４で、プロセッサエレメン
トにデータを応答して処理を終了する。
【０１６２】キャッシュミスヒットの場合には、ステッ
プＳ３で、タグメモリ４０からキャッシュステータスを
取得し、ステップＳ４で、他のプロセッサエレメントの
キャッシュ上に最新データがあるか否かチェックする。
他のプロセッサエレメントのキャッシュ上に最新データ
があれば、ステップＳ１５に進み、スヌープバス２２に
コマンドを送出し、ステップＳ１６でリプライデータを
受けて、ステップＳ１３で、キャッシュに格納してプロ
セッサエレメントに応答する。このステップＳ１５〜Ｓ
１７は、図１８の読出モード３の処理である。
【０１６３】一方、ステップＳ４で他のプロセッサエレ
メントのキャッシュ上にも最新データがなかった場合に
は、ステップＳ５で、ローカルコマンドをスヌープバス
２２を介してメモリ管理ユニット２６に送出する。メモ
リ管理ユニット２６側にあっては、まずステップＳ６
で、図４に示した空間識別ユニット５０によりコマンド
の物理アドレスからプロセッサモジュール空間を判別す
る。
【０１６４】ステップＳ７で、リードアドレスが自分の
プロセッサモジュールのローカルストレージ２８の主記
憶空間であった場合、ステップＳ８で、自らをホームと
してディレクトリメモリ３０のディリクトリエントリか
らキャッシュステータスを取得する。キャッシュステー
タスについて、ステップＳ９で、サブラインがダーティ
か否かチェックし、ダーティであれば、ステップＳ１０
で、リモートプロセッサモジュールに対しシステムバス
を介してリモートコマンドを送出する。
【０１６５】このリモートコマンドに対しステップＳ１
１で応答があると、リプライデータをステップＳ１２で
主記憶としてのローカルストレージ２８に書き込み、ダ
ーティ状態をシェアード状態に更新する。そしてステッ
プＳ１３で、アクセス元のキャッシュユニットに応答
し、処理を終了する。ステップＳ９でサブラインがダー
ティでなかった場合には、ステップＳ２２で、主記憶と
してのローカルストレージ２８からデータを読み出して
アクセス元のキャッシュユニットに応答し、ステップＳ
２３で、主記憶としてのローカルストレージ２８のサブ
ラインのシェアードビットをオンする。
【０１６６】またステップＳ７で、アクセスした物理ア
ドレスが他のプロセッサモジュール空間であった場合に
は、ステップＳ１８で、システムバスを介してホームと
なるプロセッサモジュールに対しホームコマンドを送出
する。このホームコマンドの送出に対し、システムバス
を介して最新データのリプライがあることから、ステッ
プＳ１９でリプライを判別すると、ステップＳ２０で、
アクセスごとのキャッシュに応答して処理を終了する。 （５）ホームプロセッサモジュールのリード処理 図２０のフローチャートは、図１６，図１７の読出モー
ド１，２においてホームとなったプロセッサモジュール
のリード処理を示す。まずステップＳ１で、ホームコマ
ンドを受領する。ホームコマンドは、システムバスを経
由して受領する場合と、自分自身がローカルで且つホー
ムとなる場合に自分自身で生成したホームコマンドを受
領する場合とがある。
【０１６７】ホームコマンドを受領すると、ステップＳ
２で、自分自身をホームとしてディレクトリメモリ３０
からキャッシュラインのステータスを取得し、ステップ
Ｓ３で、サブラインがダーティか否かチェックする。サ
ブラインがダーティであった場合には、ステップＳ４
で、自分のプロセッサモジュール内のプロセッサエレメ
ントのキャッシュ上に最新データがあるか否かチェック
する。
【０１６８】最新データが自分自身のキャッシュ上にあ
れば、ステップＳ５でスヌープバス２２にコマンドを送
出し、ステップＳ６でリプライを待って、ステップＳ７
でリプライデータを主記憶としてのローカルストレージ
２８に書き込み、ディレクトリエントリのダーティ状態
をシェアード状態に更新する。続いてステップＳ８で、
ローカルプロセッサモジュールに対しリプライデータを
システムバスを使用して送出する。
【０１６９】またステップＳ４で、別のプロセッサモジ
ュール内のプロセッサエレメントのキャッシュ上にダー
ティ状態の最新データが存在している場合には、ステッ
プＳ１２で、システムバスを介してリモートプロセッサ
モジュールにリモートコマンドを送出し、ステップＳ１
３でリプライを待って、ステップＳ１４で、主記憶とし
てのローカルストレージ２８に最新データを書き込んで
ディレクトリアントリのダーティ状態をシェアード状態
に更新する。
【０１７０】一方、ステップＳ３でサブラインがダーテ
ィでなかった場合には、主記憶としてのローカルストレ
ージ２８から最新データを読み出して、システムバスを
介してローカルプロセッサモジュールにリプライデータ
を送出し、処理を終了する。 （６）リモートプロセッサモジュールのリード処理 図２１のフローチャートは、図１６，図１７の読出モー
ド１，２におけるリモートプロセッサモジュールのリー
ド処理である。まずステップＳ１で、システムバスを介
してリモートコマンドを受領すると、ステップＳ２で、
自分自身をリモートとしてキャッシュユニットにスヌー
プバスを介してコマンドを送出する。該当するプロセッ
サエレメントのキャッシュユニットからデータのリプラ
イを受けると、ステップＳ４で、スヌープバス２２から
リプライデータを受領し、ステップＳ５で、システムバ
スを介してホームプロセッサモジュールおよびローカル
プロセッサモジュールにリプライデータを送出する。 （７）プロセッサエレメントのリード処理 図２２のフローチャートはプロセッサエレメント自身の
リード処理である。まずステップＳ１でＣＰＵのリード
要求が発生すると、ステップＳ２でキャッシュヒットの
有無を判定し、キャッシュヒットであれば、ステップＳ
１２で、キャッシュデータをリードアクセスに対し応答
する。
【０１７１】キャッシュミスヒットとなった場合には、
ステップＳ３で、キャッシュ制御モジュール３５でキャ
ッシュラインのステータスをタグメモリ４０から取得
し、ステップＳ４で、他のプロセッサエレメントのキャ
ッシュ上でヒットか否か判定する。この場合、ミスヒッ
トであればステップＳ１３に進み、メモリモジュール２
０側に対するアクセスで他のプロセッサモジュールに対
する処理を行う。
【０１７２】ステップＳ４でキャッシュヒットとなった
場合には、ステップＳ５で、他のプロセッサエレメント
のキャッシュ状態はシェアードクリーン状態ＳＨ＆Ｃか
否かチェックする。シェアードクリーン状態ＳＨ＆Ｃで
あれば、ステップＳ６で、スヌープバス２２にコマンド
を送出し、ステップＳ７で、リプライデータを受領して
キャッシュに応答し、ステップＳ８で、ステータスを無
効化状態ＩＮＶからシェアードクリーン状態ＳＨ＆Ｃに
更新する。
【０１７３】一方、他のプロセッサが排他的ダーティ状
態ＥＸ＆Ｄであった場合には、ステップＳ９でスヌープ
バス２２にコマンドを送出した後、ステップＳ１０で、
リプライデータを受領してキャッシュに応答し、ステッ
プＳ１１で、ステータスをシェアードモディファイ状態
ＳＨ＆Ｍに更新する。 ３．ＣＰＵ書込アクセスに対するキャッシュコヒーレン
ス （１）書込モード１ 図２３は、書込モード１におけるキャッシュコヒーレン
スのプロトコルを示す。この書込モード１は、プロセッ
サモジュール１０−１の任意のＣＰＵの書込アクセスＰ
−ＷＴに対し自己のキャッシュユニットでミスヒット
し、且つスヌープバス２２で接続した他のキャッシュユ
ニットにおいてもミスヒットとなり、且つ書込アドレス
がプロセッサモジュール１０−１の主記憶であるローカ
ルストレージ２８にあり、更に、ローカルストレージ２
８の書込アドレスのコピーデータが他の複数のプロセッ
サモジュール１０−２，１０−３のキャッシュ上にシェ
ア状態で存在する場合である。
【０１７４】この場合には、スヌープバス２２を介して
書込アクセスＴ−ＣＲＩを受けたプロセッサモジュール
１０−１のメモリ管理ユニット２６は、自らをローカル
およびホームとし、キャッシュディレクトリの参照で、
シェア状態にある全てのプロセッサモジュール１０−
２，１０−３に対し、システムバス１２を使用して無効
化指令であるパージコマンド３００を発行する。
【０１７５】このパージコマンド３００に対し、プロセ
ッサモジュール１０−２，１０−３はリモートとして動
作し、それぞれのメモリ管理ユニット２６はスヌープバ
ス２２を介してシェア状態Ｃにあるメモリユニットに対
し無効化を要求する。シェア状態にあるキャッシュユニ
ットで無効化に成功すると、プロセッサモジュール１０
−２，１０−３はシステムバス１２を使用して独立にパ
ージ応答３１０，３２０を行う。このパージ応答３１
０，３２０には、プロセッサモジュール１０−２，１０
−３における対象となったキャッシュラインのキャッシ
ュステータスが含まれている。
【０１７６】ホームとしてのプロセッサモジュール１０
−１は、システムバス１２から全てのパージ応答３１
０，３２０を受理したことで無効化の成功を認識し、主
記憶としてのローカルストレージ２８の書込アドレスの
コピーデータをアクセス元のキャッシュユニットに格納
して、書込アクセスにより上書きさせる。このときホー
ムとしてのプロセッサモジュール１０−１にあっては、
アクセス対象となったキャッシュラインのディレクトリ
エントリのシェア状態Ｓをダーティ状態Ｄに更新する。
【０１７７】このように書込アクセスにあっては、アク
セス元のキャッシュ上で主記憶としてのローカルストレ
ージ２８と同一データが上書きにより変更されて最新デ
ータとなることで、ローカルストレージ２８のデータが
旧いデータとなった状態で処理を終了し、ローカルスト
レージ２８の旧いデータの最新データとのコヒーレンス
は、既に説明したリードアクセスを通じて行われること
になる。 （２）書込モード２ 図２４は、書込モード２によるキャッシュコヒーレンス
のプロトコルを示す。書込モード２は、ＣＰＵアクセス
が発生したプロセッサモジュール１０−１のキャッシュ
ユニットに、スヌープバス２２で接続した他のキャッシ
ュユニットに書込権を所有しないシェア状態Ｃで主記憶
としてのローカルストレージ２８と同一データが存在し
ている場合であり、それ以外の状態は図２３のモード１
と同じである。
【０１７８】この書込モード２にあっては、ＣＰＵの書
込アクセスＰ−ＷＴに基づいて、ホームとして動作した
メモリ管理ユニット２６よりシステムバス１２を使用し
てリモートとしてのプロセッサモジュール１０−２，１
０−３にパージコマンド３００を発行すると同時に、こ
れに並行して、同じプロセッサモジュール１０内のキャ
ッシュユニット群１８に対しパージコマンド３２５を発
行する。
【０１７９】このため、ホームとして動作したプロセッ
サモジュール１０−１のメモリ管理ユニット２６は、シ
ステムバス１２を介してリモートとしてのプロセッサモ
ジュール１０−２，１０−３からのパージ応答３１０，
３２０の全ての応答と、自己のスヌープバス２２からの
パージ応答を受理したことで、無効化の成功を認識し、
主記憶としてのローカルストレージ２８の最新データの
コピーデータをアクセス元のキャッシュユニットに格納
して、ＣＰＵの書込アクセスにより上書きする。この場
合にも、書込モード１と同様、ディレクトリエントリの
シェア状態Ｓはダーティ状態Ｄに更新される。 （３）書込モード３ 図２５は、書込モード３によるキャッシュコヒーレンス
のプロトコルを示す。この書込モード３は、プロセッサ
モジュール１０−１のＣＰＵの書込アクセスＰ−ＷＴに
対し、自己のキャッシュユニットおよびスヌープバス２
２を介して接続したキャッシュユニットを含むキャッシ
ュ群１８のいずれにもコピーデータが書込みを所有した
状態で登録されておらず、ミスヒットになり、書込アド
レスがプロセッサモジュール１０−２の主記憶であるロ
ーカルストレージ２８にあり、更にローカルストレージ
２８の最新データのコピーデータがプロセッサモジュー
ル１０−２以外の他の複数のプロセッサモジュール１０
−３，１０−４にシェア状態Ｃで存在する場合である。
【０１８０】この場合、ローカルとしてのプロセッサモ
ジュール１０のメモリ管理ユニット２６は、システムバ
ス１２を使用してホームとしてのプロセッサモジュール
１０−２に書込所有権の要求指令、所謂ホームコマンド
３３０を発行する。書込所有権の要求指令であるホーム
コマンド３３０を受領したプロセッサモジュール１０−
２は、シェア状態にある他のプロセッサモジュール１０
−３，１０−４に対し、システムバス１２を使用して無
効化指令としてのパージコマンド３４０を発行する。
【０１８１】プロセッサモジュール１０−３，１０−４
は、パージコマンド３４０を受理すると、スヌープバス
２２を介して、シェア状態にあるキャッシュ群１８の中
のキャッシュユニットに対し無効化を指令し、無効化に
成功すると、システムバス１２を使用してホームとして
のプロセッサモジュール１０−２に独立にパージ応答３
５０，３６０を返す。
【０１８２】ホームとしてのプロセッサモジュール１０
−２は、全てのパージ応答３５０，３６０を受理したこ
とで無効化の成功を認識すると、ローカルとしてのプロ
セッサモジュール１０−１に対し、システムバス１２を
使用して自分自身の主記憶であるローカルストレージ２
８の最新データのコピーデータを含む書込所有権の移動
を応答する。
【０１８３】ローカルのプロセッサモジュール１０−１
は、システムバス１２より書込所有権の応答であるリプ
ライデータ３７０の受領により得られたコピーデータを
アクセス元のキャッシュユニットに格納し、ＣＰＵの書
込アクセスにより上書きさせる。ここで、無効化の成功
を認識して書込所有権の移動を行ったホームとしてのプ
ロセッサモジュール１０−２のメモリ管理ユニットは、
ディレクトリエントリのシェア状態Ｓをダーティ状態Ｄ
に更新する。またプロセッサモジュール１０−１のアク
セス元のキャッシュユニットにあっては、書込アクセス
の終了でキャッシュ状態を書込権を所有したダーティ状
態Ｄに更新する。 （４）書込モード４ 図２６は、書込モード４によるキャッシュコヒーレンス
のプロトコルを示す。書込モード４は、ローカルおよび
ホームとして動作するプロセッサモジュール１０−１に
おけるＣＰＵの書込アクセスＰ−ＷＴに対し、自己のキ
ャッシュユニットがミスヒットで、且つスヌープバス２
２を介して接続した他のキャッシュユニットにもコピー
データが書込権を所有した状態で登録されておらずにミ
スヒットとなり、書込アドレスがプロセッサモジュール
１０−２の主記憶であるローカルストレージ２８にあ
り、更にローカルストレージ２８の最新データのコピー
データがプロセッサモジュール１０−２を含む複数のプ
ロセッサモジュール１０−３，１０−４のキャッシュユ
ニットにシェア状態Ｃで存在する場合である。
【０１８４】この場合には、書込アクセスが発生したプ
ロセッサモジュール１０−１のメモリ管理ユニット２６
が、ローカルとしてプロセッサモジュール１０−２に対
しシステムバス１２を使用して書込所有権の要求指令で
あるホームコマンド３７０を発行する。この書込所有権
要求指令となるホームコマンド３７０を受領したプロセ
ッサモジュール１０−２のメモリ管理ユニット２６は、
シェア状態にある全てのプロセッサモジュール１０−
３，１０−４に対し、システムバス１２を使用して無効
化指令としてのパージコマンド３８０を発行する。この
パージコマンド３８０の発行に並行して更に、メモリ管
理ユニット２６は、自己のシェア状態にあるキャッシュ
群１８の中のキャッシュユニットに対しスヌープバス２
２を使用して無効化指令としてのパージコマンド４１０
を発行する。
【０１８５】キャッシュ上でシェア状態Ｃにある全ての
プロセッサモジュール１０−３，１０−４はリモートと
して動作し、パージコマンド３４０を同時に受理して、
スヌープバス２２を介してキャッシュ群１８側に無効化
を指令し、無効化に成功すると、システムバス１２を使
用して、プロセッサモジュール１０−２に独立にパージ
応答３５０，３６０を返す。これに並行してプロセッサ
モジュール１０−２のシェア状態Ｃにあるキャッシュユ
ニットからは、無効化の成功がスヌープバス２２を使用
して応答される。
【０１８６】ホームとなるプロセッサモジュール１０−
２は、システムバス１２からの全ての無効化成功のパー
ジ応答３５０，３６０と、スヌープバス２２からの無効
化成功の応答を受領したことで、無効化の成功を認識し
て、システムバス１２を使用してローカルのプロセッサ
モジュール１０−１に対し自分の主記憶であるローカル
ストレージ２８の最新データのコピーデータを含む書込
所有権の移動をリプライデータ３７０として応答する。
【０１８７】プロセッサモジュール１０−１は、システ
ムバス１２から書込所有権の応答の受領で得られたコピ
ーデータをアクセス元のキャッシュユニットに格納し
て、ＣＰＵの書込アクセスにより上書きさせる。ここで
プロセッサモジュール１０−２は、無効化の成功を認識
して書込所有権の移動を応答した際に、自己のディレク
トリエントリのシェア状態Ｓをダーティ状態Ｄに更新す
る。 （５）書込モード５ 図２７は、書込モード５によるキャッシュコヒーレンス
のプロトコルを示す。この書込モード５は、プロセッサ
モジュール１０−１のＣＰＵの書込アクセスＰ−ＷＴに
対し自己のキャッシュユニットおよびスヌープバス２２
で接続した他のキャッシュユニットのキャッシュ群１８
にコピーデータが書込権を所有した状態で登録されてお
らずにミスヒットとなり、且つ書込アドレスがプロセッ
サモジュール１０−１の主記憶であるローカルストレー
ジ２８にあり、更にローカルストレージ２８の書込アド
レスの最新データがプロセッサモジュール１０−２のキ
ャッシュユニットに書込権を所有したダーティ状態Ｄで
存在する場合である。
【０１８８】この場合、ローカルおよびホームとしての
プロセッサモジュール１０−１は、ダーティ状態Ｄにあ
るプロセッサモジュール１０−２に対し、システムバス
１２を使用して、書込所有権の要求指令となるリモート
コマンド４４０を発行する。プロセッサモジュール１０
−２は、システムバス１２から書込所有権の要求指令で
あるリモートコマンド４４０を受理して、キャッシュユ
ニット上のシェア状態Ｄの最新データを含む書込所有権
の移動を示すリプライデータ４５０をシステムバス１２
を使用してプロセッサモジュール１０−１に応答する。
【０１８９】プロセッサモジュール１０−１は、リプラ
イデータ４５０による書込所有権の応答で得られた最新
データをアクセス元のキャッシュユニットに格納して、
ＣＰＵによる書込アクセスで上書きさせる。ここでプロ
セッサモジュール１０−２の書込所有権を移動したキャ
ッシュユニットにあっては、ダーティ状態Ｄを無効化状
態Ｉに更新する。またプロセッサモジュール１０−１の
メモリ管理ユニット２６は、書込所有権を受領した際に
ディレクトリエントリのダーティ状態Ｄを自分のキャッ
シュ上に最新データが存在するダーティ状態Ｄ´に更新
する。 （６）書込モード６ 図２８は、書込モード６によるキャッシュコヒーレンス
のプロトコルを示す。この書込モード６は、プロセッサ
モジュール１０−１のＣＰＵによる書込アクセスＰ−Ｗ
Ｔに対し、自己のキャッシュユニットおよびスヌープバ
ス２２で接続した他のキャッシュユニットを含むキャッ
シュ群１８にコピーデータが書込権を所有した状態で登
録されておらずに、ミスヒットとなり、書込アドレスが
プロセッサモジュール１０−２の主記憶であるローカル
ストレージ２８にあり、更にローカルストレージ２８の
書込アドレスの最新データがプロセッサモジュール１０
−３のキャッシュユニットに書込権を所有したダーティ
状態Ｄで存在する場合である。
【０１９０】この場合に、ローカルとしてのプロセッサ
モジュール１０−１のメモリ管理ユニット２６は、シス
テムバス１２を使用して、書込所有権の要求指令となる
ホームコマンド４６０を発行する。ホームコマンド４６
０を受領したホームとなるプロセッサモジュール１０−
２のメモリ管理ユニット２６は、リモートとなるプロセ
ッサモジュール１０−３に対し、システムバス１２を使
用して、同じく書込所有権の要求指令であるリモートコ
マンド４７０を発行する。
【０１９１】リモートコマンド４７０を受領したプロセ
ッサモジュール１０−３は、ダーティ状態Ｄにあるキャ
ッシュユニットの最新データを含む書込所有権を、シス
テムバス１２を使用して、リプライデータ４８０として
ホームであるプロセッサモジュール１０−２およびロー
カルであるプロセッサモジュール１０−１に応答する。
【０１９２】ホームであるプロセッサモジュール１０−
２は、書込所有権の応答であるリプライデータ４８０を
受領して、書込所有権の移動を認識する。またローカル
となるプロセッサモジュール１０−１は、リプライデー
タ４８０による書込所有権の受領で得られた最新データ
をアクセス元のキャッシュユニットに格納して、ＣＰＵ
の書込アクセスで上書きさせる。
【０１９３】ここで、リモートとなるプロセッサモジュ
ール１０−３のキャッシュユニットにあっては、ダーテ
ィ状態Ｄを書込所有権を移動した際に無効化状態Ｉに更
新する。またホームとなるプロセッサモジュール１０−
２は、書込所有権の移動を確認した際に、ディレクトリ
エントリのダーティ状態Ｄを最新データが存在するプロ
セッサモジュール１０−１の情報に変更したダーティ状
態Ｄ´に更新する。
【０１９４】更に、ローカルとなるプロセッサモジュー
ル１０−１のアクセス元のキャッシュユニットにあって
は、最新データを格納した後に、書込権を所有している
ダーティ状態Ｄに更新する。 （７）書込モード７ 図２９は、書込モード７によるキャッシュコヒーレンス
のプロトコルを示す。この書込モード７は、プロセッサ
モジュール１０−１内の複数のキャッシュユニット間で
アクセスする場合である。即ち、プロセッサモジュール
１０−１内のＣＰＵの書込アクセスＰ−ＷＴに対し、自
己のキャッシュユニット１８−４はミスヒットしたが、
スヌープバス２２を介して接続した他のキャッシュユニ
ット１８−１に書込アドレスの最新データが書込権を所
有したダーティ状態、即ち排他的ダーティ状態ＥＸ＆Ｄ
で存在する場合である。
【０１９５】この場合、アクセス元のキャッシュユニッ
ト１８−４はスヌープバス２２を介してコマンドＴ−Ｃ
ＲＩを発行し、これに応答してキャッシュユニット１８
−１は最新のキャッシュサブラインのデータを含むリプ
ライデータ４９０を応答し、キャッシュユニット１８−
４に格納した後に、書込アクセスにより上書きさせる。
【０１９６】ここで、アクセス先のキャッシュユニット
１８−１にあっては、書込所有権を移動した後に無効化
状態ＩＮＶに更新される。またアクセス元のキャッシュ
ユニット１８−４は、書込権を獲得した後に無効化状態
ＩＮＶから書込権を所有するダーティ状態である排他的
ダーティ状態ＥＸ＆Ｄに更新される。 （８）書込アクセスのプロセッサライト処理 図３０のフローチャートは、書込アクセスに伴うキャッ
シュコヒーレンスでローカルとなったプロセッサモジュ
ールのライト処理である。ステップＳ１で、プロセッサ
エレメントのライトアクセスが発生すると、ステップＳ
２で、２次キャッシュ３８のキャッシュヒットが判定さ
れ、キャッシュヒットであれば、ステップＳ１４で、キ
ャッシュ上にデータを上書きする。
【０１９７】キャッシュミスヒットであればタグメモリ
４０からキャッシュステータスを取得し、スヌープバス
２２で取得した他のキャッシュユニットに最新データが
あるか否かステップＳ４でチェックする。他のキャッシ
ュ上に最新データがあれば、ステップＳ１５で他のプロ
セッサエレメントにコマンドを送出し、ステップＳ１６
でリプライを待ち、ステップＳ１７で、最新のリプライ
データに上書きを行って、書込アクセスを終了する。
【０１９８】ステップＳ１４で、スヌープバス２２で接
続した他のプロセッサエレメントのキャッシュ上に最新
データがなかった場合には、ステップＳ５で、ローカル
コマンドをスヌープバス２２を介してメモリ管理ユニッ
ト２６に送出し、ステップＳ６で、空間識別ユニット５
０からプロセッサモジュール空間を判別し、ステップＳ
７で、自分自身のプロセッサモジュール空間か否か判断
する。
【０１９９】自分自身のプロセッサモジュール空間であ
れば、ステップＳ８で、自分自身をホームとしてディレ
クトリメモリ３０からキャッシュラインのステータスを
見るためにディレクトリエントリを取得する。ステップ
Ｓ９で、ディレクトリエントリのサブラインはダーティ
か否かチェックし、ダーティであれば、ステップＳ１０
で、リモートとなるプロセッサモジュールにシステムバ
ス１２を介してパージを要求する。
【０２００】このパージ要求に対しステップＳ１１で応
答があれば、ディレクトリエントリの別のサブラインに
ダーティをセットし、キャッシュステータスを更新す
る。そしてステップＳ１３で、プロセッサエレメントの
アクセス元のキャッシュ上でリプライデータを上書き
し、無効化状態ＩＮＶを書込所有権付きのダーティ状態
ＥＸ＆Ｄに更新する。
【０２０１】一方、ステップＳ９で、ディレクトリエン
トリのサブラインがダーティではなくシェアであった場
合には、ステップＳ２１で、リモートプロセッサモジュ
ールにパージを要求し、ステップＳ２２でリプライを待
って、ステップＳ２３で、ディレクトリエントリのシェ
ア状態Ｓをダーティ状態Ｄに更新するキャッシュステー
タスの更新を行い、最終的に、ステップＳ２４で、キャ
ッシュデータに上書きを行って無効化状態ＩＮＶからシ
ェアードダーティ状態ＳＨ＆Ｄに更新する。
【０２０２】このステップＳ８〜Ｓ１３およびステップ
Ｓ２１〜Ｓ２４は、ローカルプロセッサモジュールが同
時にホームプロセッサモジュールとなった場合の処理で
ある。一方、ステップＳ７で、アクセス空間が自分自身
のプロセッサモジュール空間でなかった場合には、ステ
ップＳ１８で、他のプロセッサモジュールに対しホーム
コマンドを送出し、ステップＳ１９で、最新データのリ
プライを待って、ステップＳ２０で、リプライデータを
キャッシュ上で上書きして無効化状態ＩＮＶから排他的
ダーティ状態ＥＸ＆Ｄに更新する。これはホームコマン
ドにより書込所有権の移動を伴うものである。
【０２０３】図３１のフローチャートは、書込アクセス
によるキャッシュコヒーレンスでホームプロセッサモジ
ュールとなった場合のライト処理である。ステップＳ１
でホームコマンドを受領すると、ステップＳ２で、自分
自身をホームとしてディレクトリメモリ３０からキャッ
シュステータスとしてのディレクトリエントリを取得す
る。
【０２０４】ステップＳ３で、ディレクトリエントリの
サブラインを参照してダーティか否かチェックし、ダー
ティであれば、ステップＳ４で、ダーティ状態の最新デ
ータの存在が自分自身のプロセッサモジュールのキャッ
シュ上か否かチェックする。自分自身のキャッシュ上で
あれば、ステップＳ５で、スヌープバス２２を介してパ
ージを要求し、ステップＳ６のリプライを待って新デー
タを、ステップＳ７で、主記憶としてのローカルストレ
ージ２８のキャッシュ状態であるディレクトリエントリ
の新たなサブラインをダーティ状態にセットし、ステッ
プＳ８で、ローカルプロセッサモジュールに最新データ
をリプライデータとして送出する。
【０２０５】ステップＳ４で、ダーティ状態の最新デー
タが他のプロセッサモジュールのキャッシュ上に存在す
る場合には、ステップＳ９で、リモートプロセッサモジ
ュールに対しパージを要求し、ステップＳ１０でリプラ
イを待って、ステップＳ１１に進み、ディレクトリエン
トリにおける新サブラインのダーティをセットする。一
方、ステップＳ３で、ディレクトリエントリのサブライ
ンがダーティでなくシェア状態であった場合には、ステ
ップＳ１２で、自分自身のプロセッサモジュール内のキ
ャッシュ上か否かチェックする。自分自身のキャッシュ
上でなければ、ステップＳ１３で、リモートプロセッサ
モジュールにパージを要求し、ステップＳ１４でリプラ
イを待って、ステップＳ１５で、主記憶としてのローカ
ルストレージから最新データとしてのリプライデータを
読み出してローカルプロセッサモジュールに送出し、キ
ャッシュディレクトリをダーティ状態Ｄからシェア状態
Ｓに更新する。
【０２０６】またステップＳ２で、自分自身のプロセッ
サモジュール内のキャッシュ上にシェア状態が存在する
ときには、ステップＳ１６で、スヌープバス２２を介し
てパージを要求し、ステップＳ１７でリプライを待っ
て、ステップＳ１８に進み、ディレクトリエントリのシ
ェア状態をダーティ状態に更新する。そしてステップＳ
１９で、主記憶としてのローカルストレージ２８の最新
データをローカルプロセッサモジュールにリプライデー
タとして送出する。
【０２０７】図３２のフローチャートは、書込アクセス
においてリモートプとなるロセッサモジュールのライト
処理である。リモートプロセッサモジュールのライト処
理にあっては、まずステップＳ１で、システムバス１２
からリモートコマンド、即ち書込所有権の要求指令を受
領すると、ステップＳ２で、スヌープバス２２にコマン
ドを送出し、ステップＳ３で、スヌープバス２２からの
リプライを待ち、ローカルプロセッサモジュールおよび
ホームプロセッサモジュールに対し、ステップＳ４で、
書込所有権の移動を応答するコマンドと最新データをリ
プライデータとして送出する。
【０２０８】図３３は、書込アクセスが発生した際のプ
ロセッサエレメントのライト処理のフローチャートであ
る。まずステップＳ１でライト要求が発生すると、ステ
ップＳ２で、自分自身のキャッシュユニットおよびスヌ
ープバス２２で接続した他のキャッシュユニットに書込
権を所有した最新データが存在するか否かチェックす
る。
【０２０９】他のキャッシュ上に存在すれば、ステップ
Ｓ９で、アクセス元に転送してキャッシュデータの上書
きを行い、読出時のキャッシュユニットでキャッシュヒ
ットとなるか否か、ステップＳ２でチェックする。キャ
ッシュヒットであれば、ステップＳ９に進み、キャッシ
ュデータにライト要求によるデータを上書きし、自分自
身のキャッシュ状態を同じ書込所有権付きの排他的ダー
ティ状態ＥＸ＆Ｄ´に送信する。
【０２１０】自分自身のキャッシュユニットに書込権を
所有した状態で最新データが存在しなかった場合には、
ステップＳ３に進み、キャッシュ制御モジュール３５で
タグメモリ４０を参照して、キャッシュラインのステー
タスを取得し、他のプロセッサエレメントのキャッシュ
上に書込権を所有した状態で最新データが存在するか否
かチェックする。
【０２１１】存在すればヒットと判定し、ステップＳ５
で、スヌープバス２２にコマンドを送出し、書込所有権
の要求指令を行う。ステップＳ６でリプライがあると、
アクセス元のキャッシュ上にリプライデータを格納して
上書きし、ステップＳ８で、キャッシュステータスを無
効状態ＩＮＶから排他的ダーティ状態ＥＸ＆Ｄに更新す
る。
【０２１２】ステップＳ４で、他のプロセッサエレメン
トに書込所有権が存在した状態で最新データがない場合
には、ステップＳ１０に進み、他のプロセッサモジュー
ルに対するアクセス処理となり、これは図３０のローカ
ルプロセッサモジュールのライト処理を起動することに
なる。 ４．キャッシュユニットのアクセス競合処理 本発明のキャッシュコヒーレンス装置にあっては、複数
のプロセッサモジュールの各々のプロセッサエレメント
毎に設けたキャッシュユニットは、モジュール内のプロ
セッサエレメント及び外部のプロセッサモジュールのア
クセス対象となり、このため特定のキャッシュユニット
にアクセスが集中する可能性がある。
【０２１３】例えばリモートのプロセッサモジュール内
のプロセッサエレメントとキャッシュユニット間でデー
タ授受が行われているとき、外部のホームとして機能す
るプロセッサモジュールからのリモートコマンドがスヌ
ープバスに現れたとき、後発のリモートコマンドは、先
発したキャッシュ制御によってリトライが指示される。
これは、先発のコマンドによって、キャッシュ状態が遷
移過渡期にあるため、リモートコマンドへの対処が決定
できないからである。
【０２１４】このように、リモートのプロセッサモジュ
ール内でのデータの授受が際限なく続いた場合、リモー
トコマンドを送出したホームのプロセッサモジュール
は、リトライを繰り返す場合がある。このときシステム
バスに対するバス接続ユニットでは、アクセス応答の時
間監視を行っており、リトライの繰り返しがバスタイム
アウトの引金になる。
【０２１５】図３４において，プロセッサモジュール１
０−１は，アクセス対象となるデータのアドレスを主記
憶２８に持つことからホームとして機能する。この主記
憶２８のアクセスアドレスのデータは最新データでない
ことから，ディレクトリを管理するメモリ管理ユニット
２６はダーティ状態Ｄを登録している。このアクセスア
ドレスのデータの最新データは、プロセッサモジュール
１０−２のキャッシュユニット群１８における４番目の
プロセッサエレメントＰＥ＃３のキャッシュユニットに
排他的ダーティ状態ＥＸ＆Ｄで保持されている。
【０２１６】この状態でプロセッサモジュール１０−１
の第４プロセッサエレメントＰＥ＃３でライトコマンド
Ｐ−ＷＴが発生し、またプロセッサモジュール１０−２
の第１プロセッサモジュールＰＥ＃０で同じアドレスに
対するライトコマンドＰ−ＷＴが発生したとする。プロ
セッサモジュール１０−２にあっては、第１プロセッサ
エレメントＰＥ＃１の発生したライトアクセスに基づ
き、キャッシュユニット１８−１からスヌープバス２２
に、のようにコヒーレントライト＆インバリデートの
ＣＲＩコマンドが発行される。この場合、第４プロセッ
サエレメントＰＥ＃３のキャッシュユニット１８−４に
アクセスアドレスのデータが排他的ダーティ状態ＥＸ＆
Ｄで記録されているため、のように第４プロセッサエ
レメントＰＥ＃３のキャッシュユニットから第１プロセ
ッサエレメントＰＥ＃０に対しデータが供給される。
【０２１７】このようなプロセッサモジュール１０−２
内におけるアクセスに並行して、プロセッサモジュール
１０−１の第４プロセッサエレメントＰＥ＃３のライト
アクセスに基づき、システムバス１２にリモートコマン
ド２２０が送出され、のようにリモートとなるプロセ
ッサモジュール１０−２のスヌープバス２２にリモート
コマンドが現れる。
【０２１８】このとき，に示した内部のプロセッサ
エレメントＰＥ＃０，＃３の間のアクセスが終了してい
れば問題ないが、アクセス中にリモートコマンドが現れ
るとバスビジーとなって、プロセッサモジュール１０−
１に対しシステムバス１２を介してリトライを指示する
ためのリプライコマンド２３０がのように送出され
る。
【０２１９】このため、リプライコマンド２３０を受け
たプロセッサモジュール１０−１は、再度リモートコマ
ンド２２０をプロセッサモジュール１０−２に送出する
リトライ動作を行うが、このときのプロセッサモジュー
ル１０−２の内部のアクセスによりスヌープバス２２が
ビジーであると、再度リプライコマンド２３０によるリ
トライとなり、リトライが際限なく続く可能性がある。
【０２２０】図３５は、リモートコマンドに対するリト
ライ指示が繰り返されるプロセッサモジュール１０−２
の処理のタイムチャートである。図３５のタイムチャー
トにあっては、横軸にバスクロックサイクルの処理タイ
ミングを示し、縦軸にスヌープバス２２の使用中のプロ
セッサエレメント、プロセッサエレメントＰＥ＃０〜＃
３ごとのビジー期間、更に各プロセッサエレメント＃０
〜＃３に対応したキャッシュステータス信号ＣＳＴ０〜
３を示している。
【０２２１】まずのように、第１プロセッサエレメン
トＰＥ＃０のライトコマンドの発行に伴い、スヌープバ
ス２２がプロセッサエレメントＰＥ＃０で占有され、コ
ヒーレント＆インバリデートのＣＲＴコマンドが送出さ
れる。このＣＲＴコマンドに伴い、アクセス先のプロセ
ッサエレメントＰＥ＃０のビジー状態が設定される。ア
クセス先となるプロセッサエレメントＰＥ＃０のビジー
期間中に、のように、外部のプロセッサエレメント１
０−１からのリモートコマンド＃ＲのＣＲＩコマンドが
現われると、アクセス先のプロセッサエレメントＰＥ＃
０はビジー状態にあることからビジー応答となり、例え
ば４サイクル後ののタイミングでリモートコマンド＃
Ｒに対するビジー応答のリプライコマンドがプロセッサ
モジュール１０−１に送出される。
【０２２２】一方、のリモートコマンド＃ＲのＣＲＩ
コマンドの後にプロセッサエレメントＰＥ＃３からデー
タトランスファのＤＴコマンドが現われ、ＣＲＩコマン
ドを受けたプロセッサエレメントＰＥ＃０から要求元の
プロセッサエレメントＰＥ＃３に対するデータ転送が行
われる。こののＤＴコマンドに基づくデータ転送の終
了後に、のように、プロセッサエレメントＰＥ＃１の
ＣＲＩコマンドがスヌープバス２２に現われ、このアク
セス要求先がビジーリプライとなったリモートコマンド
＃Ｒと同じプロセッサエレメント＃０であったとする
と、再びプロセッサエレメントＰＥ＃０がビジー状態と
なる。
【０２２３】このため、のリモートコマンドに対する
ビジーリプライに基づいてプロセッサモジュール１０−
１から、のようにリモートコマンド＃Ｒのリトライが
スヌープバス上に現われても、アクセス要求先となるプ
ロセッサエレメント＃０はビジー状態にあるため、の
ように、リモートコマンド＃Ｒに対するビジーリプライ
となる。
【０２２４】そして、このようなリモートコマンド＃Ｒ
に対するアクセス要求先のプロセッサエレメント＃０の
ビジー状態によるリトライ指示が際限なく繰り返され、
結局はプロセッサモジュール１０−１からのアクセスが
バスタイムアウトとなってエラー終了してしまう。この
ような特定のキャッシュユニットにおけるアクセスの競
合に対し本発明にあっては、プロセッサモジュールの各
プロセッサエレメントの中に、自己のアクセス処理中に
リモートコマンドを受けてリトライの指示を行ったこと
を記憶するフラグと、そのときのアクセスアドレスを保
持するアドレスレジスタを設ける。
【０２２５】そして、リモートコマンドに対するリトラ
スの指示を行ったことを示すフラグが有効な期間の間
は、アドレスレジスタにセットしたアクセスアドレスと
同じリモートコマンド以外のアクセス要求は全て受け付
けずにリトライを指示するように構成する。このため、
プロセッサモジュールのスヌープバス２２上で内部的な
アクセス中にリモートコマンドによるアクセスが競合し
た場合、１回はリトライ指示となるが、２回目のリトラ
イによるリモートコマンドについては、他のアクセスが
一切拒否されている。このため、２回目のリモートコマ
ンドによるアクセスを優先的に受け付けた処理を行うこ
とができる。
【０２２６】図３６は、プロセッサエレメントにリモー
トコマンドのアクセスを優先させるためのフラグ及びア
ドレスレジスタを設けた場合の本発明による処理動作の
タイムチャートである。図３６において、のようにプ
ロセッサエレメントＰＥ＃０のライトアクセスによるＣ
ＲＴコマンドがスヌープバス２２に現われたならば、こ
のＣＲＴコマンドを発行したプロセッサエレメントＰＥ
＃０において、のように、プロセッサエレメントＰＥ
＃３側のアクセス対象となるアドレスをレジスタに格納
する。
【０２２７】プロセッサエレメントＰＥ＃０のＣＲＩコ
マンドに伴うプロセッサエレメントＰＥ＃０のビジー期
間中に、のようにリモートコマンド＃ＲのＣＲＩコマ
ンドが現われると、のようにリモートコマンド＃Ｒに
対するリトライ指示を行ったことを示すフラグをセット
する。この第１回目のリモートコマンド＃Ｒについて
は、図３５と同様、でビジーリプライによるリトライ
指示となる。続いてのアクセス要求先のプロセッサエ
レメントＰＥ＃３からのデータ転送が行われ、スヌープ
バス２２の使用が解除された後に、のように別のプロ
セッサエレメントＰＥ＃１から同じプロセッサエレメン
トＰＥ＃３の同一アドレスに対しＣＲＩコマンドが発行
されたとする。
【０２２８】これに対し、１回目のリモートコマンド＃
Ｒに対しリトライ指示を行ったプロセッサエレメントＰ
Ｅ＃０は、リモートコマンドに対しリトライ指示を行っ
たことを示すフラグのセット状態と、そのときのアクセ
スアドレスを記憶保持していることから、のプロセッ
サエレメントＰＥ＃１のＣＲＩコマンドに対しでバス
ビジーとなり、でプロセッサエレメントＰＥ＃１に対
するビジーリプライによってリトライを指示し、アクセ
ス要求を拒否する。
【０２２９】続いてでリトライによるリモートコマン
ド＃Ｒが現われると、このときアクセス要求先のプロセ
ッサエレメントＰＥ＃０は空き状態にあることから、リ
モートコマンド＃ＲのＣＲＩコマンドによる処理が受け
入れられ、リモート側に対するデータ転送に入る。この
データ転送を開始すると、その後のタイミングで、（１
０）に示すように、プロセッサエレメント＃０に記憶さ
れていたフラグ及びアクセスアドレスは順次初期化され
て解除され、リトライを行ったリモートコマンド＃Ｒに
対する優先受付けを解除することになる。
【０２３０】尚、図３６のタイムチャートは外部のプロ
セッサモジュールからのリモートコマンドと内部のプロ
セッサエレメントのアクセスコマンドの競合を例にとっ
ているが、内部のプロセッサエレメント同士のアクセス
コマンドの競合についても同様な処理により、後続した
アクセスコマンドは１回リトライとなるが、２回目につ
いては優先的に受け入れられ、スヌープバス２２上にお
けるキャッシュコヒーレントのためのアクセス競合を適
切に調整することができる。 ５．コピーバックの書込所有権 図３７は、プロセッサモジュール１０−１のキャッシュ
ユニットのいずれかで保有している最新データを、最新
データのリプレースが発生した際に分散型の主記憶とし
てのローカルストレージ２８にコピーバックするための
書込所有権の移動に関する制御手順の説明図である。
【０２３１】いまプロセッサモジュール１０−１におい
て、分散型主記憶としてのローカルストレージ２８のデ
ーダか最新データでなく、スヌープバス２２でメモリ管
理ユニット２６に接続された４つのキャッシュユニット
の内のキャッシュユニット１８−１，１８−４に存在し
ていたとする。更に同じ最新データを共有しているキャ
ッシュユニット１８−１，１８−４の内、キャッシュユ
ニット１８−１が、最新データをローカルストレージ２
８にコピーバックする書込所有権を保有していたとす
る。
【０２３２】この時のキャッシュ状態は、最新データ及
び書込所有権を保有したキャッシュユニット１８−１が
シェアードダーティ状態ＥＸ＆Ｄで表わされ、最新デー
タを保有するが書込所有権はもたないキャッシュユニッ
ト１８−４がシェアードモディファイ状態ＳＨ＆Ｍで現
わされる。更にメモリ管理ユニット２６にあっては、ロ
ーカルストレージ２８の対象データがダーティ状態Ｄに
あることを表わしている。ここでローカルストレージ２
８へのコピーバックのための書込所有権を保有している
キャッシュユニット１８−１をオーナという。
【０２３３】このような図３７のプロセッサモジュール
１０−１におけるキャッシュ状態で、オーナとして書込
所有権を保有しているキャッシュユニット１８−１の最
新データがプロセッサの動作によりデータ破棄等でリプ
レースされたとする。このリプレースに伴い、スヌープ
バス２２にはリプレースコマンドＰ−ＲＰが発生する。
また書込所有権を保有していたキャッシュユニット１８
−１は無効状態ＩＮＶに遷移する。
【０２３４】一方、最新データを保有しているが書込所
有権を保有していないキャッシュユニット１８−４は、
スヌープバス２２に表われたリプレースコマンドＰ−Ｒ
Ｐに基づき、書込所有権の委譲を受けてオーナとなり、
シェアードダーティ状態ＥＸ＆Ｄに遷移する。このた
め、メモリユニット１８−１で最新データのリプレース
が行われても、書込所有権は別のキャッシュユニット１
８−４に移り、最新データのローカルストレージ２８に
対するコピーバックはこの時点では行われない。
【０２３５】書込所有権が移った後にキャッシュユニッ
ト１８−４で同様なプロセッサ動作によるリプレースが
起きると、この場合には他のメモリユニットに書込所有
権を移すことができないことから、ローカルストレージ
２８に対する最新データのコピーバックが行われるこ。
またキャッシュユニット１８−１からキャッシュユニッ
ト１８−４に書込所有権を委譲した際に、メモリ管理ユ
ニット２６にあっては、書込所有権の委譲の対象となっ
たデータについてダーティ状態Ｄを保有しているが、書
込所有権がキャッシュユニット１８−１，１８−４間で
行われても、このダーティ状態はそのまま維持する。
【０２３６】メモリ管理ユニット２６のダーティ状態
は、最新データをもつキャッシュラインが別のプロセッ
サモジュールに移って初めて移動することになる。また
ローカルストレージ２８に対する最新データのコピーバ
ックが行われると、ダーティ状態Ｄはクリーン状態Ｃに
遷移する。図３７は、４つのキャッシュユニット１８−
１〜１８−４の内の２つにローカルストレージ２８の最
新データが保有されている場合を例にとっているが、３
つまたは４つのキャッシュユニットに最新データが保有
されている場合には、書込所有権を委譲するキャッシュ
ユニットが複数となるため、この場合には例えば図３８
に示す予め定めた順番に従った書込所有権の委譲が行わ
れる。
【０２３７】図３８は、キャッシュユニット１８−１〜
１８−４の識別番号を＃０〜＃３として表わし、書込所
有権を保有してリプレースしたキャッシュユニットをイ
ンデックスとして残りの３つのキャッシュユニットに対
する書込所有権を移す順番を示している。例えばキャッ
シュユニット＃０が書込所有権を有し、他のキャッシュ
ユニット＃１〜＃３の３つが最新データを保有していた
場合には、キャッシュユニット＃０のリプレースが起き
ると書込所有権を移す優先度は＃１，＃２，＃３の順番
に優先度が決まっている。このため、最も優先度の高い
キャッシュユニット＃１に書込所有権を委譲する。そし
て次はキャッシュユニット＃２、そして最後はキャッシ
ュユニット＃３となる。勿論、書込所有権を移すキャッ
シュユニットの順番は図３８のユニット識別番号以外に
も適宜に定めることができる。 ６．システム共通バス （１）バス構成 図３９は、図３の本発明によるキャッシュコヒーレンス
装置を基幹としたサブシステムの構成図である。図３９
において、サブシステム５００−１は基本システム５０
１として例えば５つのプロセッサモジュール１０−１〜
１０−５を、第２共有バスとしてのシステムバス１２に
より接続している。システムバス１２にはバス調停を行
うバスアービタ５０２が設けられる。
【０２３８】このような基本システム５０１に対し、例
えばプロセッサモジュール５１０−１〜５１０−３の３
台をバスアービタ５０３を備えたシステムバス１２−１
０に接続した拡張システム５０６を接続している。基本
システム５０１に対し拡張システム５０６は、同じ構成
のバスアービタ及びプロセッサモジュールを使用してい
る。更に基本システム５０１のシステムバス１２に対し
ては、異種バス拡張ユニット５４０を介して異種システ
ム５０５を接続している。異種システム５０５はシステ
ムバス５４２により適宜の処理ユニット５４４−１〜５
４４−３を接続している。異種サブシステム５０５は、
本発明によるキャッシュコヒーレンス装置を実現する基
本システム５０１，拡張システム５０６とは全く異なっ
たシステムであり、例えば外部記憶装置に対するＩ／Ｏ
システムを構成している。
【０２３９】このようなサブシステム５００−１に対し
ては、同じ構成をもつ別のサブシステム５００−２を拡
張することができる。サブシステム５００−１は、サブ
システム間接続ユニット５１２により拡張したサブシス
テム５００−２と接続することができる。サブシステム
５００−２側もサブシステム５００−１側と同様、サブ
システム間接続ユニットを介して自己のシステムバスと
接続している。
【０２４０】ここで基本ユニット５０１のシステムバス
１２に対しては、最大で例えば１６台のモジュールもし
くはユニットを接続することができる。この実施形態で
は、システムバスに５台のプロセッサモジュール１０−
１〜１０−５、サブシステム間接続ユニット５１２、異
種バス拡張ユニット５４０及びバスアービタ５０２の８
台を接続している。
【０２４１】システムバス１２に接続可能なモジュール
もしくはユニットに対しては、ユニットＩＤ＃０〜＃１
５が割り当てられる。例えばプロセッサモジュール１０
−１〜１０−５にはユニットＩＤ（ＵＩＤ）＃０〜＃４
が割り当てられ、サブシステム間接続ユニット５１２に
はユニットＩＤ＃６が割り当てられ、異種バス拡張ユニ
ット５１０にはユニットＩＤ＃８が割り当てられ、更に
バスアービタ５０２にはユニットＩＤ＃１６が割り当て
られている。
【０２４２】残りのユニットＩＤは空きとなっている。
なおバス拡張ユニット５０４は単なるシステムバス１２
間のインタフェースであり、ユニットＩＤの指定は不要
である。バス拡張ユニット５０４を介して接続した拡張
システム５０６のシステムバス１２−１０に接続してい
るバスアービタ５０２及びプロセッサモジュール５１０
−１〜５１０−３についても、システムバス１２−１０
に固有な１６個のユニットＩＤが適宜に割り当てられて
いる。更に異種サブシステム５０５については、基本シ
ステム５０１や拡張システム５０６とは全く異なった異
種システム固有のユニットＩＤ＃Ａ，＃Ｂ，＃Ｃが割り
当てられている。
【０２４３】図４０は、図３９の基本システム５０１に
設けているシステムバス１２の信号線の構成である。図
４０において、プロセッサモジュール１２−１〜１２−
５とバスアービタ５０２の間は、基本的にはバスデータ
線５０７とタグ制御線５０９で構成される。バスデータ
線５０７には共通データバス線５１４とデータパリティ
線５１６が含まれる。共通データバス線５１４は例えば
１２８回線で構成され、１バイトを８ビットとすると１
６バイトのビットデータを並列転送することができる。
データパリティ線５１６は１６回線であり、１バイトの
データパリティを転送する。
【０２４４】タグ制御線は、バスリクエスト線５２０、
緊急バスリクエスト線５２２、バスグラント線５２４、
バスＩＤ線５２６、ユニットＩＤ線５２８、ホルト線５
３０、マスタ権切替線５３２、インストール線５３４、
ディスコネクト通知線５３６及びクロック線５３８で構
成される。このような図４０のデータバス１２の構成を
更に詳細に説明すると次のようになる。まず共通データ
バス線５１４及びデータパリティ線５１６は、全てのプ
ロセッサモジュール１２−１〜１２−５とバスアービタ
５０２に共通に接続され、データ１２８ビット（１６バ
イト），パリティ１６ビット（１バイト）の並列伝送を
双方向に行ってデータを授受する。
【０２４５】共通タグバス線５１８は４回線で構成さ
れ、全てのプロセッサモジュール１２−１〜１２−５と
バスアービタ５０２に共通接続される。この共通タグバ
ス線５１８の信号を参照することにより、そのときのバ
スサイクルの共通データバス線５１４上のデータの種類
を知ることができる。共通タグバス線５１８で示される
共通データバス線１２８上のデータの種類は図４１のよ
うになる。
【０２４６】図４１において、タグバスコード（ＴＢコ
ード）は、３ビットのコードにより共通データバス線５
１４の各バスクロックサイクルにおける動作を指定して
いる。この共通タグバス線５１８の信号状態は、プロセ
ッサモジュール１２−１〜１２−５における送信元とな
るバスマスタ及び宛先となるバススレーブ、更にバスア
ービタ５０２によって参照され、後の説明で明らかにす
るバスクラント（使用許可）の切替え、バスサイクルの
切替え、及びデータ受信の制御を行う。
【０２４７】図４１のタグバスコード０番は、コマンド
終結とバス使用権の継続を意味する。タグバスコード１
番はコマンド終結とバス使用権の開放を意味する。タグ
バスコード２番はコマンドの継続を意味する。タグバス
コード３番はリトライ（無効化）とバス使用権の開放を
意味する。タグバスコード４番はシングルワードコマン
ドとバス使用権の継続を意味する。タグバスコード５番
はシングルワードコマンドとバス使用権の開放を意味す
る。タグバスコード６番はマルチワードコマンドの開
始、必要ならばバス使用権の継続を意味する。タグバス
コード７番はアイドルサイクルを意味する。
【０２４８】ここでシングルワードコマンドとは、１バ
スクロックサイクルでパケット転送を終了するコマンド
である。これに対しマルチワードコマンドとは、複数の
バスクロックサイクルでのパケット転送を必要とするコ
マンドである。またバス使用権の開放とは、これを示す
タグバスコードのバスサイクルでバス使用権を放棄し、
他のバス使用要求者にバスを開放することを示す。
【０２４９】またバス使用権の継続とは、タグバスコー
ドが示すバスサイクルの次のサイクルも継続してバスを
使用することを示す。更にリトライとは、タグバスコー
ドが示すバスサイクル（バスコマンド）を強制終了して
リトライすることを示す。このときバススレーブは、リ
トライ指示されたバスコマンドを破棄する。またリトラ
イを実行するか否かはシステムのインプリメントに依存
している。更にまたアイドルサイクルとは、如何なるユ
ニットもバスを使用していないときの状態を示す。この
ときバススレーブ側は、アイドルサイクルとなるバスサ
イクルは無視することになる。
【０２５０】次に図４０のバスリクエスト線５２０と緊
急バスリクエスト線５２２を説明する。バスリクエスト
線５２０及び緊急バスリクエスト線５２２はそれぞれ１
５の信号線で構成され、プロセッサモジュール１２−１
〜１２−５とバスアービタ５０２との間で１対１に接続
され、プロセッサモジュール１２−１〜１２−５側から
バスアービタ５０２に対しバス転送要求を行う。
【０２５１】通常の転送要求については、バスリクエス
ト線５２０のみによる転送要求が行われる。これに対し
異常検出等の緊急時にあっては、バスリクエスト線５２
０と緊急バスリクエスト線５２２の両方を使用した転送
要求が行われる。図４２は、バスリクエスト線５２０と
緊急バスリクエスト線５２２の組合せによるバスアービ
タ５０２に対する要求事項を示す。まずバスリクエスト
ＢＲＱと緊急バスリクエストＢＲＥが共にＬレベルの場
合には、ユニットＩＤ＃Ｎのスロットのユニットが非動
作状態にあることを示す。
【０２５２】次の緊急バスリクエストＢＲＥのみがＨレ
ベルとなった場合はバス要求なしであり、現在バスリク
エストを行っていないユニットが緊急バスリクエストの
みをアサートした場合である。３番目のバスリクエスト
ＢＲＱのみがＨレベルとなるのは通常のバス要求であ
り、緊急バスリクエスト以外の通常のバス要求である。
４番目のバスリクエストＢＲＱ及び緊急バスリクエスト
ＢＲＥの両方がＨレベルとなるのは緊急バス要求であ
り、バススレーブがエラーを検出したときに、エラーリ
プライのためのバス獲得のためにこの要求を行う。
【０２５３】再び図４０を参照するに、次のバスグラン
ト線５２４はバスアービタ５０２と各プロセッサモジュ
ール１２−１〜１２−５との間で１対１に接続され、バ
スアービタ５０２がバスグラント線５２４の信号をＨレ
ベルとすることで、バスの使用許可を与えたことを示
す。バスＩＤ線５２６は、プロセッサモジュール１２−
１〜１２−５及びバスアービタ５０２が接続されている
システムバス１２の番号を設定している。同じシステム
バスに接続されているユニットは全て同じ値が設定され
る。図３９のシステム構成にあっては、基本システム５
０１のシステムバス１０２にバスＩＤ＃１が設定され
る。これに対し、バス拡張ユニット５０４を介して接続
した拡張システム５０６のシステムバス１２−１０には
バスＩＤ＃２が設定される。
【０２５４】次に図４０のユニットＩＤ線５２８を説明
する。ユニットＩＤ線５２８は、バスアービタ５０２及
びプロセッサモジュール１２−１〜１２−５のバス上で
の識別番号を設定する。図３９にあっては、プロセッサ
モジュール１０−１〜１０−５にユニットＩＤ＃１〜＃
５を設定し、バスアービタ５０２にユニットＩＤ＃１６
を設定している。
【０２５５】このため、バスＩＤ線５２６とユニットＩ
Ｄ線５２８によるバスＩＤとユニットＩＤの組合せでシ
ステム全体におけるプロセッサモジュール１２−１〜１
２−５及びバスアービタ５０２の番号が一意に決まる。
次に図４０のホルト線５３０とマスタ権切替線５３２を
説明する。ホルト線５３０はバスアービタ５０２からプ
ロセッサモジュール１２−１〜１２−５を含む全ユニッ
トに例えば９通りに接続され、ホルト線５３０をＨレベ
ルとすることでバスアービタ５０２が自分自身の故障を
検出して停止状態にあることを示す。
【０２５６】マスタ権切替線５３２はバスアービタ５−
２からプロセッサモジュール１２−１〜１２−５を含む
全ユニットに共通に接続され、ホルト線５３０と共にバ
スの調停処理に使用される。このホルト線５３０とマス
タ権切替線５３２の信号の組合せによるバス調停処理
は、図４３のようになる。図４３において、まずホルト
ＨＬＴがＨレベルでマスタ権切替ＭＦＣ(MasterForce C
hange) がＬレベルの状態は、バスアービタ５０２の非
実装を意味する。次のホルトＨＬＴ及びマスタ権切替Ｍ
ＦＣの両方がＨレベルの場合には、バスアービタ５０２
のホルト即ちバスアービタ５０２の自己診断等でエラー
となり、バスアービタ５０２が停止状態にあることを通
知する。
【０２５７】３番目のホルトＨＬＴ及びマスタ権切替Ｍ
ＦＣが共にＬレベルの場合はバスグラントＧＢＲの通常
切替であり、バスアービタ５０２がバス要求を保持して
いるときにバスサイクルの終了を検出した場合のバスグ
ラントＧＢＲを切り替えるタイミングを意味する。最後
のホルトＨＬＴがＬレベルでバス権切替ＭＦＣがＨレベ
ルの状態はバスグラントＧＢＲの強制切替えであり、バ
スアービタ５０２がバス要求を保持しており、且つその
バスが未使用の場合のバスグラント切替タイミングを与
える。
【０２５８】再び図４０を参照するに、インストール線
５３４はプロセッサモジュール１２−１〜１２−５を含
む各ユニットとバスアービタ５０２の間で１対１に接続
され、Ｌレベルにセットすることでバスアービタ５０２
に対しユニットが実装されていることを通知する。ディ
スコネクト通知線５３６は、プロセッサモジュール１２
−１〜１２−５を含む各ユニットとバスアービタ５０２
との間で１他１に接続される。ディスコネクト通知線５
３６をＬレベルにすることで、バスアービタ５０２に対
しユニットがシステムバス１２から切り離された状態に
あることを通知する。 （２）バスアビトレーション動作 次に図４０のバスデータ線５０７とタグ制御線５０９で
構成されるシステムバス１２のバスアビトレーション動
作を説明する。本発明のシステムバスのバスアビトレー
ション動作としては、ファーストモードとセーフティモ
ードの２つのモードがある。また優先バスアビトレーシ
ョンとしてバススレーブが優先バスアビトレーションを
要求する場合と、バスアービタが優先バスアビトレーシ
ョンを要求する場合とに分けられる。
【０２５９】図４４は、ファーストモードによるアビト
レーションのタイムチャートであり、横軸のバスクロッ
クサイクルＴ１，Ｔ２，Ｔ３，・・・に対し縦軸方向に
バスアービタ５０２の内部動作とシステムバス１２上の
インタフェース信号に分けて示している。バスアービタ
５０２の内部動作としては、バスリクエストのホールド
動作である。システムバス１２上のインタフェース信号
としては、バスリクエスト、バスグラント、タグバス及
びデータバスを示している。
【０２６０】まずサイクルＴ１で、ユニットＩＤ＃０，
＃１からに示すように、バスリクエスト信号の１サイ
クルのアサートが行われたとする。このときデータバス
はアイドル状態にあることから、バスアービタ５０２は
全てのバス要求元からのバスリクエストの立上がりを監
視している。のようにユニットＩＤ＃０，＃１の２つ
のバスリクエスト信号がアサートされると、次のサイク
ルＴ２でに示すように全てのリクエスト要求をホール
ドする。ここで複数のバスリクエストがあった場合に
は、ユニットＩＤの番号の若い方が優先順位が高いもの
とする。
【０２６１】このためバスアービタ５０２は、アイドル
状態からの優先順位の高いユニットＩＤ＃０に対するバ
スグラント信号を、に示すように、マスタ権切替信号
と共にアサートする。続いてバスアービタ５０２は、次
のサイクルＴ３で、バスの使用権を許可したユニットＩ
Ｄ＃０のバスリクエストのホールド要求を破棄すると同
時に、他のホールド要求があればバスグラント信号を切
り替える。
【０２６２】このときユニットＩＤ＃１のホールド要求
があることから、バスリクエスト信号をユニットＩＤ＃
１に切り替える。このようにバスアービタ５０２からの
バスグラント信号及びマスタ権切替信号により許可を受
けたバスマスタとしてのユニットＩＤ＃０は、次のサイ
クルＴ３からデータ転送を開始する。このサイクルＴ３
からはタグバス信号が図４１に示したタグバスコード０
１０，１００または１１０（ＣＣ，ＳＣ＆Ｃ，ＭＣ＆
Ｓ）のいずれかを示す。この場合には、複数のバスクロ
ックサイクルでデータを送ることから、タグバスコード
は１１０（ＭＣ＆Ｓ）のマルチワードコマンドの開始と
なる。
【０２６３】このようなサイクルＴ３からのデータ転送
中にバスシーケンスが、例えばサイクルＴ５に示すよう
にタグバスによって終了ＥＮＤを示すと、のように、
このときのバスグラント信号に従ってバスマスタがユニ
ットＩＤ＃１に切り替わり、次のサイクルＴ６から、バ
スマスタとなったユニットＩＤ＃１からのデータ転送を
開始する。ここでデータ転送終了を示すタグバスのタグ
バスコードは、図４１の００１，０１１，１０１（ＣＥ
＆Ｅ，リトライ，ＳＣ＆Ｅ）のいずれかとなる。
【０２６４】一方、バスアービタ５０２はサイクルＴ２
で一旦保持したユニットＩＤ＃１からのバスリクエスト
の処理中に、例えばサイクルＴ３，Ｔ４のように他のユ
ニットＩＤ＃０，＃２からのバスリクエストの立上がり
を検出すると、それぞれのバスリクエストを別途記憶す
る。そしてサイクルＴ５のように、ホールド要求がない
ときのタグバスによる終了通知のタイミングで、のよ
うに、ユニットＩＤ＃０，＃２の新たなバスリクエスト
をホールドする。
【０２６５】更にサイクルＴ４のユニットＩＤ＃０から
の２回目のバスリクエストはシングルコマンドであり、
このためサイクルＴ８でユニットＩＤ＃１のデータ転送
が終了すると、次のサイクルＴ９で、サイクルＴ３で出
された下位のユニットＩＤ＃２のバスリクエストに先行
してユニットＩＤ＃０のシングルコマンドのデータ転送
を行う。このシングルコマンドのデータ転送は同時に転
送終了を意味することから、ユニットＩＤ＃１がサイク
ルＴ６で行ったバスリクエストのホールドをサイクルＴ
１０ののように行う。
【０２６６】図４４のファーストモードのバスアビトレ
ーションにあっては、バスアービタ５０２にバスリクエ
ストがホールドされている限り、データバスに空きサイ
クルを生ずることなく連続的にバス転送が行われ、空き
サイクルを発生しないことでバス転送速度を高めること
ができる。図４５は本発明のバスアビトレーションにお
けるセーフティモードのタイムチャートである。このセ
ーフティモードのタイムチャートにあっても、図４４の
ファーストモードと同様なユニットＩＤ＃０〜＃２によ
るバスリクエストが行われた場合を例にとっている。
【０２６７】セーフティモードにあっては、バスアービ
タ５０２からのバスグラント信号とマスタ権切替信号の
アサートによりバスマスタとしてのユニットＩＤが許可
を受けた後に、１サイクルのアイドルサイクルを置いて
データ転送を開始するようにしている。即ち、サイクル
Ｔ１におけるのバスリクエストに対し、サイクルＴ２
でのようにバスアービタ５０２のバスリクエストのホ
ールドが行われ、優先順位の高いユニットＩＤ＃０に対
するバスグラント信号と更にマスタ切替信号をのよう
にアサートすると、次のサイクルＴ３をアイドルサイク
ルとした後、サイクルＴ４よりデータ転送を開始する。
【０２６８】このサイクルＴ３のアイドルサイクルはタ
グバスの過渡状態を安定化させるための期間であり、こ
のアイドルサイクルにおいて全てのユニットはタグバス
の値を無視する。サイクルＴ６でユニットＩＤ＃０のバ
スマスタによるデータ転送が終了して、そのときのユニ
ットＩＤ＃１のバスグラント信号によるデータ転送につ
いても、サイクルＴ７の１サイクルのアイドル期間を設
けた後に、のようにデータ転送を開始している。
【０２６９】このようにバスアービタ５０２からデータ
転送の許可を受けてデータ転送開始までの間に１サイク
ルのアイドル期間を置く以外の動作は、図４４のファー
ストモードと同じである。図４６は、バススレーブがデ
ータ転送中にエラーを検出した場合のエラーリプライ動
作のための優先バスアビトレーションのタイムチャート
である。いまサイクルＴ１に示すように、ユニットＩＤ
＃０〜＃２の３つのユニットからのバスリクエストがア
イドル状態で同時に行われ、次のサイクルＴ２でバスア
ービタ５０２に全てのバスリクエストがホールドされる
と、優先順位の最も高いユニットＩＤ＃０に対しバスア
ービタ５０２よりバスグラント信号が出力される。
【０２７０】同時にマスタ権切替信号もアサートされる
ことで、サイクルＴ３よりバスマスタとなったユニット
ＩＤ＃０からバススレーブとしての例えばユニットＩＤ
＃３に対しデータ転送が開始される。このデータ転送中
のサイクルＴ４でバススレーブとなるユニットＩＤ＃３
でエラーを検出したとすると、バスアービタ５０２に対
しユニットＩＤ＃３からバスリクエスト信号及び緊急バ
スリクエスト信号の両方がのように出力される。
【０２７１】サイクルＴ６のバスリクエスト信号及び緊
急バスリクエスト信号を受けたバスアービタ５０２は、
バスリクエストを最優先でホールドすると同時に、の
ように、バスを早期に切り替えるためにバスグラント
を、エラー検出を行ったユニットＩＤ＃３に切り替え
る。このためサイクルＴ８でデータ転送が終了すると、
このときバスグラント信号が有効となっているエラー検
出を行ったバススレーブとしてのユニットＩＤ＃３をバ
スマスタに切り替え、サイクルＴ９で、のように、エ
ラーを検出したバスマスタのユニットＩＤ＃３からエラ
ーリプライを行わせる。
【０２７２】このときバスアービタ５０２内の最優先の
ホールド要求は破棄され、次のサイクルＴ１０からは通
常のアビトレーションを続行する。ここで、バススレー
ブ側で検出するエラーには物理バッファフル等のブロッ
ク検出も含まれている。このようにバス転送中にバスス
レーブ側でエラー検出が行われると、次のバス転送に切
り替える前に強制的にエラー検出を行ったバススレーブ
がバスマスタに切り替わってエラーリプライを行うこと
ができ、バス転送中のエラーを迅速に検出してリトライ
等の対応処置をとることができる。
【０２７３】図４７は、バススレーブ側が確定する前の
バス転送中に起きたエラーをバスアービタ５０２で検出
した場合のエラーリプライのための優先バスアビトレー
ションのタイムチャートである。即ち本発明のバス転送
にあっては、スプリット型のパケット転送を採用してお
り、パケットの第１ワードとしてコマンドワードを転送
するため、コマンドワードの宛先フィールドの解読が終
了しないとバススレーブが確定しない。
【０２７４】このバススレーブが確定するまではバスア
ービタ５０２でバス転送のエラーを監視し、エラーを検
出するとスレーブの代わりにバスアービタ５０２がエラ
ーリプライを行うようになる。図４７にあっては、サイ
クルＴ１のユニットＴ１のユニットＩＤ＃０〜＃２から
のバスリクエストがあると、サイクルＴ２で全てバスア
ービタ５０２がホールドする。そして優先順位の最も高
いユニットＩＤ＃０について、バスグラント信号を有効
とすると共にマスタ権切替信号をアサートし、次のサイ
クルＴ３からデータ転送を開始する。
【０２７５】このサイクルＴ２において、バスアービタ
５０２はのように、バス使用許可を与えたバスマスタ
を示すユニットＩＤ＃０のバスマスタフラグをもってお
り、このバスマスタフラグをユニットＩＤ＃０のサイク
ルＴ３〜Ｔ８に亘るバスサイクル期間中ホールドしてお
く。バスマスタであるユニットＩＤ＃０からのデータ転
送中のサイクルＴ５で、のようにアービタ５０２がエ
ラーを検出した場合、例えばパケットヘッダのパリティ
エラーを検出した場合、そのエラー内容を保持すると同
時にバスアービタ５０２の内部に自分自身の緊急バス要
求フラグをのようにセットする。尚、エラー検出が行
われたサイクルＴ５は、バスマスタとしてのユニットＩ
Ｄ＃０１が、連続した複数のバスコマンドを転送中にエ
ラーを検出した例である。
【０２７６】続いてバスアービタ５０２は、自分自身の
セットした緊急要求バスフラグにより、現在ホールド
している他のバスリクエストをマスクし、ホールド中の
バスリクエストについてバスグラントをアサートしない
ようにする。そしてサイクルＴ８でバスマスタをユニッ
トＩＤ＃０としたデータ転送を検出すると、このバスマ
スタ切替タイミングでバスアービタ５０２自身がバスマ
スタとなって、のようにサイクルＴ９でエラーリプラ
イを転送する。
【０２７７】即ち、バス上には現われないバスアービタ
５０２の内部でのアビトレーションにより、バスアービ
タ５０２自身がバスマスタとなってエラーリプライを行
うことになる。このようなバスアービタ５０２のエラー
リプライが済むと、同時にバスアービタ５０２内でセッ
トした緊急バス要求フラグ及びバスマスタフラグが破棄
され、次のバスマスタとしてのユニットＩＤ＃１への切
替えがバスグラントにより行われ、次のサイクルＴ１０
から通常のアビトレーションを実行する。 （３）バス転送シーケンス 次に図４０のシステムバス１２上におけるバスコマンド
及びデータの転送シーケンスを説明する。図４８はユニ
ット＃１からユニット＃２にメモリの読出要求を行うと
きの転送シーケンスである。ここで読出要求元のユニッ
ト＃１をソースユニットとし、読出要求先のユニット＃
２を宛先ユニット（ディストネーションユニット）とす
る。まず要求元のユニット＃１は、コマンド内容、要求
元、要求先、転送バイト数及びアクセスアドレスを指定
したパケットヘッダを、バスコマンドとして送信する。
このパケットヘッダはバスコマンドの第１ワードを構成
する。具体的には、ユニット＃１はパケットヘッダのコ
マンドフィールドにメモリリードを指定し、ソースフィ
ールドに要求元となる自分自身のユニットＩＤ＃１を指
定し、宛先フィールドに要求先のユニットＩＤ＃２を指
定する。
【０２７８】更に転送バイト数を示すサイドのフィール
ドに１６バイトを指定し、更にアドレスフィールドにア
クセスアドレスを指定したパケットヘッダを作成して送
信する。本発明のバス転送にあっては、パケットヘッダ
として送信されるバスコマンドの第１ワードには、要求
元を示すソースフィールド、要求先を示す宛先フィール
ドに加え、第２の要求先を示す第２宛先フィールドが設
けられている。
【０２７９】ここで、通常使用される宛先フィールド
は、以下、第１宛先フィールドという。尚、第１宛先フ
ィールドは、第２宛先フィールドの指定がない場合には
単に宛先フィールドという場合もある。このパケットヘ
ッダとして送出されるバスコマンドの第１ワードのソー
スフィールド、第１宛先フィールド及び第２宛先フィー
ルドをもつバスコマンドの詳細は、後の説明で明らかに
される。
【０２８０】図４８のメモリリードの転送シーケンスに
あっては、宛先は１つであることから、ユニット＃１か
ら送出されるパケットヘッダは第１宛先フィールドに読
出要求先ユニットＩＤ＃２を指定しているだけである。
システムバスはユニット＃１からのパケットヘッダの送
信が終了すると開放され、次に割り当てられたユニット
にバス使用権が移る。
【０２８１】一方、読出要求先となるユニット＃２にあ
っては、システムバス上の転送パケットを受信してその
宛先フィールドのＩＤを識別しており、自分自身が指定
されたパケットであればそれを受信し、受信パケットで
指定された処理即ちユニット＃１からのパケットヘッダ
で指定されたメモリのリード処理を開始する。ユニット
＃２において、要求されたリードデータが準備できたな
らば、に示すリプライバスコマンドとデータを作成し
て返送する。
【０２８２】このリプライバスコマンドの第１ワード
は、ソースフィールドに自分自身のユニットＩＤ＃２を
指定し、宛先フィールドに要求元のユニットＩＤ＃１を
指定し、コマンドフィールドはリプライコマンドである
ことを指定し、更に必要に応じたステータス情報を付加
して送出する。リプライバスコマンドのパケットヘッダ
である第１ワードの送出が済むと、続けて指定バイト数
１６バイト分のデータを返送する。この実施例におい
て、データバス幅は１６バイトであることから、２ワー
ドのリプライバスコマンドは２バスサイクルで転送を終
了する。
【０２８３】図４９は、本発明のシステムバスにおける
メモリライトの転送シーケンスである。まず書込要求元
のユニット＃１は、書込要求先となるユニット＃２に対
しバスコマンドの第１ワードとなるパケットヘッダを作
成して転送し、パケットヘッダに続いて例えば３２バイ
トデータを書き込む場合には、１６バイト単位に分けて
２ワードのデータパケットを転送する。
【０２８４】第１ワード目のパケットヘッダには、ソー
スフィールドを自分自身のユニットＩＤ＃１とし、宛先
フィールドを書込相手先のユニットＩＤ＃２とし、コマ
ンドフィールドにメモリライトを指定し、更にアドレス
フィールドに３２バイトアドレスを指定して、バスに送
出する。書込要求先のユニット＃２にあっては、宛先フ
ィールドで自分自身のユニットＩＤ＃２を指定したパケ
ットであればそのパケットを受信し、コマンドフィール
ドで指定された書込処理を開始する。書込処理が終了す
ると、のように、書込要求元のユニット＃１に対する
リプライバスコマンドを作成して処理のステータスを返
送する。
【０２８５】即ち、リプライバスコマンドはソースフィ
ールドを自分自身のユニットＩＤ＃２、宛先フィールド
を書込要求元のユニットＩＤ＃１、コマンドフィールド
をリプライとし、更にステータスフィールドに例えば書
込正常を示すステータスをセットして返送するようにな
る。図５０は、システムバスに接続している複数のユニ
ットを同時に指定してデータを転送するブロードキャス
トの転送シーケンスである。この例では、ユニット＃１
がキャッシュコヒーレントのためのキャッシュインバリ
デートのバスコマンドを、ユニット＃２，＃３，＃４に
ブロードキャストコマンドとして転送した場合である。
【０２８６】まずキャッシュインバリデートの要求元の
ユニット＃１は、ブロードキャストバスコマンドのパケ
ットヘッダにつき、ソースフィールドに要求元のユット
ＩＤ＃１を指定し、ブロードキャストフィールドに要求
先となるユニット＃２，＃３，＃４の３つを指定する。
更にコマンドフィールドにキャッシュインバリデートを
指定し、更にアクセスアドレスを指定して送出する。
【０２８７】キャッシュインバリデートの要求先となる
ユニット＃２，＃３，＃４のそれぞれは、要求元のユニ
ット＃１からのブロードキャストバスコマンドを受信
し、ブロードキャストフィールドに自己の指定があれば
それを受信し、指定されたキャッシュインバリデートの
処理を開始する。キャッシュインバリデート処理が完了
すると、完了した順番に要求元のユニット＃１に対しリ
プライバスコマンドを送出する。
【０２８８】この例では、ユニット＃２，＃４，＃３の
順番にキャッシュインバリデート処理を終了してリプラ
イバスコマンドを返送している。例えば最初のユニット
＃２にあっては、ソースフィールドを自分自身のユニッ
トＩＤ＃２とし、宛先フィールドを要求元のユニットＩ
Ｄ＃１とし、コマンドフィールドでリプライを指定し、
更にステータスフィールドにキャッシュインバリデート
の処理結果をセットして返送する。ユニット＃４，＃３
についても同様である。
【０２８９】要求元のユニット＃１は全ての要求先のユ
ニット＃２，＃３，＃４からのリプライバスコマンドを
受領し、そのステータス情報からキャッシュインバリデ
ートの成功を認識すると、次の処理に移行する。図５１
は、図３９において基本システム５０１のユニットから
拡張システム５０６のユニットとの間でバス転送を行う
場合の転送シーケンスである。図５１にあっては、基本
システムにおけるシステムＩばす１のユニット＃１から
バス拡張ユニット５０４を介して拡張システムのシステ
ムバス＃２のユニット＃３にリード要求を行った場合の
転送シーケンスである。
【０２９０】まずシステムバス＃１のユニット＃１は、
のように、システムバス＃２のユニット＃３を要求先
とするバスコマンドを作成して送出する。このユニット
＃１からのバスコマンドは、ソーススフィールドに要求
元のシステムバスを示すバスＩＤ＃１とユニット＃１を
示すユニットＩＤ＃１を指定している。また宛先フィー
ルドには相手先のシステムバスを示すバスＩＤ＃２と相
手先のユニットを示すユニットＩＤ＃３を指定してい
る。
【０２９１】これ以外の点は、同じシステムバス上のバ
スコマンドと同様、コマンドフィールドにメモリリード
を指定し、更に転送バイト数を指定して送信する。バス
拡張ユニット５０４は、ユニット＃１からのバスコマン
ドを受信し、このバスコマンドの宛先フィールドのバス
ＩＤ＃２が、自分自身が接続拡張しているバスであるこ
とを認識すると、そのバスコマンドを受理し、システム
バス＃２に対し同じバスコマンドをのように発行す
る。
【０２９２】システムバス＃２のユニット＃３にあって
は、宛先フィールドのユニットＩＤが自己のユニットＩ
Ｄ＃３であることを認識すると、そのバスコマンドを受
信してリード処理を行い、リードデータが準備できたな
らば、のように、コマンドを第１ワード、データを第
２ワードとするリプライバスコマンドを送信する。この
リプライバスコマンドについても、ソースフィールドに
システムバスのＩＤ＃２と自分自身のユニットＩＤ＃３
を指定し、宛先フィールドについては別のシステムバス
のバスＩＤ＃１とユニットＩＤ＃１を指定し、更にコマ
ンドフィールドにリプライを指定し、更にリード結果の
ステータスを付けて送信する。リプライバスコマンドの
１ワード目の送信が済むと、次の２ワード目の１６バイ
トデータのパケットを送信する。
【０２９３】バス拡張ユニット５０４はのリプライコ
マンドを受信し、その宛先フィールドのバスＩＤ＃１か
ら自分自身が接続拡張しているシステムバス＃１である
ことを認識すると、同じリプライコマンドをシステムバ
ス＃１に転送する。システムバス＃１のユニット＃１
は、このリプライコマンドから自分自身の宛先ユニット
ＩＤ＃１を認識するとリプライバスコマンドを受信し、
次の２ワード目の１６バイトのリードデータを受信して
処理を終了する。
【０２９４】図５２は、図３９におけるサブシステム５
００−１とサブシステム５００−２の間のサブシステム
間接続ユニット５１２を経由したバス転送のシーケンス
である。図５２にあっては、サブシステム＃１のユニッ
ト＃１から別のサブシステム＃２のユニット＃３にリー
ド要求を行った場合である。まず要求元となるサブシス
テム＃１のユニット＃１は、のように、リード要求の
ためのバスコマンドを送出する。このバスコマンドはパ
ケットヘッダを２つ使用した２ワードのバスコマンドで
構成される。
【０２９５】まずバスコマンドの第１ワード目には、拡
張サブシステム＃２のアクセスを指定するための識別
子、即ちサブシステム拡張識別子ＥＸの指定を行う。続
いてソースフィールドにサブシステム＃１のバスＩＤ＃
１とユニットＩＤ＃１をセットし、サブシステム＃２に
対するサブシステム間接続ユニット５１２のユニットＩ
Ｄ＃６を宛先フィールドで指定する。
【０２９６】更にコマンドフィールドにはメモリリード
を指定し、アドレスフィールドにはアクセスアドレスを
指定し、更に図示しないサイズフィールドに転送バイト
数を指定する。次の２ワード目はシステムバス拡張識別
子ＥＸの指定で付加された拡張バスコマンドであり、ソ
ースフィールドに要求元のサブシステムＩＤ＃１、バス
ＩＤ＃１及びユニットＩＤ＃１が指定される。
【０２９７】また宛先フィールドには、要求先のサブシ
ステムＩＤ＃２、要求先のバスＩＤ＃２及び要求先のユ
ニットＩＤ＃３が指定される。この２ワードとなるバス
コマンドがシステムバスに送出されると、サブシステム
間接続ユニット５１２において、第１ワード目の宛先フ
ィールドのユニットＩＤ＃６を認識し、バスコマンドの
第１ワード及び第２ワードを受信する。
【０２９８】そしてサブシステム＃２側に設けているサ
ブシステム間接続ユニット５１３に対し、同じバスコマ
ンドをそのまま転送する。この転送制御はバスコマンド
の第２ワード目の各ＩＤにより定まる。サブシステム＃
１のサブシステム間接続ユニット５１２からのバスコマ
ンドを受信したサブシステム＃２のサブシステム間接続
ユニット５１３は、バスコマンドの第１ワード目のソー
スフィールドにおけるユニットＩＤを自分自身のユニッ
トＩＤ＃７の指定に変更すると共に、宛先フィールドを
第２ワードから解読したユニットＩＤ＃３の指定に変更
してシステムバス＃２に送出する。バスコマンドの第２
ワード目はそのまま送出する。
【０２９９】システムバス＃２のユニット＃３は、サブ
システム間接続ユニット５１３から送出されたバスコマ
ンドの第１ワード目の受信で宛先フィールドのユニット
ＩＤが自分自身のユニットＩＤ＃３であることを認識す
ると、このコマンドを受信し、更に第２ワード目も受信
する。そして第１ワード目のコマンドフィールドにより
指定されたメモリリードを、指定されたアクセスアドレ
スについて行う。
【０３００】リードデータが準備できると、に示すよ
うにリプライバスコマンドを送出する。このリプライバ
スコマンドは、第１ワード目のソースフィールドにサブ
システム識別子ＥＸをセットし、更にバスＩＤ＃２及び
ユニットＩＤ＃３をセットし、宛先フィールドはサブシ
ステム間接続ユニット５１３のユニットＩＤ＃７を指定
する。もちろんコマンドフィールドはリプライを指定
し、図示しないステータスもセットする。
【０３０１】リプライバスコマンドの第２ワード目は、
ソースフィールドにサブシステムＩＤ＃２、システムバ
スＩＤ＃２及びユニットＩＤ＃３を指定し、宛先フィー
ルドについては要求元となるサブシステムＩＤ＃１、シ
ステムバスＩＤ＃１及びユニットＩＤ＃１を指定する。
そして第３ワード目がリードデータとなる１６バイトデ
ータである。
【０３０２】サブシステム間接続ユニット５１３は、ユ
ニット＃３から送出されたリプライバスコマンドの第１
ワード目の宛先フィールドから自己のユニットＩＤ＃７
を認識すると、このバスコマンドを受信し、のよう
に、サブシステム間インタフェースを介してサブシステ
ム＃１のサブシステム間接続ユニット５１２にリプライ
バスコマンドの第１ワード、第２ワード、第３ワードを
転送する。
【０３０３】サブシステム＃１のサブシステム間接続ユ
ニット５１２は、リプライバスコマンドの第１ワードの
ソースフィールドのユニットＩＤを自分自身のユニット
ＩＤ＃６の指定に変更すると共に、宛先フィールドを要
求元のユニットＩＤ＃１に変更してシステムバス＃１に
送出する。このソースフィールド及び宛先フィールドの
ユニットＩＤの変更は、受信したリプライバスコマンド
の第２ワード目を参照することで指定変更できる。リプ
ライバスコマンドの第２ワード目は、そのまま送出す
る。第２ワード目の１６バイトデータについても、その
まま転送する。
【０３０４】サブシステム＃１のユニット＃１は、リプ
ライバスコマンドの第１ワードの宛先フィールドから自
己のユニットＩＤを認識すると、このバスコマンドの受
信を開始し、第３ワードまで受信して処理を終了する。
図５３は、本発明のシステムバスのバス幅を８バイトバ
スとした場合の転送シーケンスである。図４０のシステ
ムバスにあっては、共通データバス線５１４を１２８本
とすることで１６バイト転送を行っているが、システム
によっては半分の８バイトバスを使用する場合もある。
このように８バイトシステムバスを使用した場合には、
今まで説明した１６バイト幅の１クロックサイクルでの
バス転送は２バスクロック分の転送を行うことになる。
【０３０５】図５３は、８バイトバスを使用した場合の
ユニット＃１からユニット＃２にリード要求を行った場
合の転送シーケンスである。ユニット＃１は、１６バイ
トのバスコマンドを８バイト単位の第１ワードと第２ワ
ードに分けてシステムバスに送出する。８バイトバスコ
マンドの第１ワードには、ソースフィールド、宛先フィ
ールド、コマンドフィールド及びサイドフィールドのそ
れぞれが設けられている。第２ワード目はアドレスフィ
ールドである。
【０３０６】このような８バイトの２ワードで構成され
るバスコマンドがシステムバスに送出されると、要求先
のユニット＃２はバスコマンドの第１ワード目の宛先ユ
ニットＩＤ＃２を認識してバスコマンドを受信し、第２
ワード目で指定されたアクセスアドレスについてメモリ
のリード動作を行う。リードデータが準備できると、
のようにリプライバスコマンドを送出する。リプライバ
スコマンドは、８バイトの第１ワードがパケットヘッダ
となり、その後ろに８バイトずつ分けた合計１６バイト
の２ワードを付加して送出する。
【０３０７】図５４は、図３９のサブシステム５００−
１における基本システム５０１と異種サブシステム５０
５との間のバス転送シーケンスである。図５１におい
て、基本システムのシステムバス＃１は異種バス拡張ユ
ニット５４０を介して異種システムバス＃２に接続され
る。異種バス拡張ユニット５４０には、システムバス＃
１側のコマンドを異種システムバス＃２側のコマンドに
変換するコマンド変換機能が設けられている。
【０３０８】いま、システムバス＃１のユニット＃１か
ら異種システムバス＃２のユニット＃Ｂに対しアクセス
要求を行うものとする。ユニット＃１はバスコマンドと
して２ワードのパケットをパケットヘッダとして送出す
る。このバスコマンドの第１ワード目にはソースフィー
ルドでバスＩＤ＃１及びユニットＩＤ＃１を指定し、ま
た宛先フィールドにバスＩＤ＃１と異種バス拡張ユニッ
ト５４０のユニットＩＤ＃８を指定している。
【０３０９】更にコマンドフィールドには、異種システ
ムバス＃２のコマンド体系に変換するためのエミュレー
ション識別子ＥＭが指定されている。第２ワード目は異
種システムバス＃２に適合したバスコマンドであり、ソ
ースフィールドに異種システムバス＃２空間における異
種バス拡張ユニット５４０のユニットｉｄ＃１が指定さ
れ、宛先フィールドには異種システムバス＃２のユニッ
トＩＤｕｉｄ＃Ｂが指定されている。
【０３１０】このシステムバス＃１のユニット＃１から
送出された２ワードのバスコマンドは、異種バス拡張ユ
ニット５４において、第１ワード目の宛先フィールドか
ら自己のユニットＩＤ＃８を認識することで受信され
る。異種バス拡張ユニット５４０自身が接続拡張してい
る異種システムバス＃２に対するエミュレーションコマ
ンドであることを認識すると、コマンド依存フィールド
となる第２ワードのみを異種システムバス＃２にのよ
うに送出する。
【０３１１】異種システムバス＃２のユニット＃Ｂは、
その宛先フィールドのｕｉｄ＃Ｂから自己の宛先を認識
して受信し、コマンドフィールドで指定された処理を実
行し、処理が済むと、に示すリプライコマンドを送出
する。ユニット＃Ｂからのリプライコマンドは第１ワー
ドのソースフィールドにユニットｉｄ＃Ｂを指定し、宛
先フィールドに異種バス拡張ユニット５４０のユニット
ｉｄ＃１を指定し、更に２ワード目にステータスやその
他必要なデータを転送する。
【０３１２】異種バス拡張ユニット５４０は、ユニット
＃Ｂからのリプライバスコマンドの第１ワード目から自
分自身が接続しているシステムバス＃１に対するリプラ
イコマンドであることを認識すると、このリプライコマ
ンドを受理して、のようにシステムバス＃１側に同様
なリプライバスコマンドを送出する。このリプライバス
コマンドの第１ワードはソースフィールドによりシステ
ムバスＩＤ＃１と異種バス拡張ユニット５４０のユニッ
トＩＤ＃８を指定し、宛先フィールドに要求元のシステ
ムバスＩＤ＃１のユニットＩＤ＃１を指定している。第
２ワード目及び第３ワード目は、異種システムバス＃２
のユニット＃Ｂから送出されたバスコマンドがそのまま
付加される。
【０３１３】このような異種バス拡張ユニット５４０に
よる簡単なバスコマンドの変換により、異なるバスシス
テムのユニット間でのデータ転送が可能となる。またエ
ミュレーションバスコマンドで使用するそれぞれのバス
上におけるユニットＩＤは、各々のバス上で一意であれ
ばよく、拡張された異種システムバス上のＩＤも異種バ
ス拡張ユニット５４０を含めて一意となる。 （５）バスコマンド 図５５は、本発明のキャッシュコヒーレンス装置のシス
テムバス１２のバス転送に使用するバスコマンドの基本
的なコマンドフォーマットである。
【０３１４】図５５において、１バイトを８ビットとす
ると、基本バスコマンドは１６バイト長で構成される。
図５５にあっては、コマンドフィールドを４バイト（３
２ビット）幅に分けて示している。基本バスコマンド
は、先頭の基本バイト部分にソースフィールド５５２、
第１宛先フィールド５６０及び第２宛先フィールド５６
４を設けている。ソースフィールド５５２にはアクセス
要求元の情報を指定する。第１宛先フィールド５６０に
は、ソースフィールドの要求元からアクセス要求を行う
相手先の情報が指定される。第２宛先フィールド５６４
には、ソースフィールド５５２と第１宛先フィールド５
６０以外に、アクセスを行う別の相手先の情報が指定さ
れる。
【０３１５】具体的には、例えば図１７に示した本発明
のキャッシュコヒーレンス装置における読出モード２に
おける処理動作を例にとると、次のようになる。図１７
は、アクセス要求元であるローカルのプロセッサモジュ
ール１０−１からアクセス対象となる主記憶を保持して
いるホームとなるプロセッサモジュール１０−２に対し
リード要求を行ったが、主記憶２８に最新のデータが存
在しておらず、リモートとなるプロセッサモジュール１
０−３のキャッシュユニットに最新データが存在してい
る場合の処理である。
【０３１６】このようなリード処理にあって、まずロー
カルのプロセッサモジュール１０−１からホームのプロ
セッサモジュール１０−２にリード要求を行う場合に
は、図５５のソースフィールド５５２にローカルのユニ
ットＩＤを指定し、第１宛先フィールド５６０はホーム
のユニットＩＤを指定する。このとき第２宛先フィール
ド５６４は使用しない。
【０３１７】次にホームのプロセッサモジュール１０−
２からリモートのプロセッサモジュール１０−３にリー
ド要求を行う場合には、ソースフィールド５５２はホー
ムＩＤとし、第１宛先フィールド５６０はリモートＩＤ
とし、更に第２宛先フィールド５６４に最初のアクセス
要求元であるローカルＩＤを指定する。更に、リモート
のプロセッサモジュール１０−３からリプライデータ２
６０を送出する際には、図５５のソースフィールド５５
２にリモートＩＤを指定し、第１宛先フィールド５６０
は要求元であるホームＩＤを指定し、更に第２宛先フィ
ールド５６４には最初の要求元であるローカルＩＤを指
定する。具体的には、リモートのプロセッサモジュール
１０−３で受信したバスコマンドと同じ情報をそのまま
セットしてリプライコマンドとしてのリプライデータを
２６０を送出すればよい。
【０３１８】このように本発明のキャッシュコヒーレン
ス装置でローカル、ホーム、リモートとなる３つのプロ
セッサモジュール間でのデータ転送を必要とするリード
アクセスにおいて、図５５におけるソースフィールド５
５２、第１宛先フィールド５６０及び第２宛先フィール
ド５６４のコマンドフォーマットが意味をもつことにな
る。
【０３１９】図５５の基本バスコマンドにおいて、ソー
スフィールド５５２は実際にはソースバスＩＤフィール
ドとソースユニットＩＤフィールドに分けられている。
ソースバスＩＤフィールドをもつことで、異なるシステ
ムバス間でのデータ転送が可能となる。同様に、第１宛
先フィールド５６０及び第２宛先フィールド５６４につ
いても、宛先バスＩＤフィールドと宛先ユニットＩＤフ
ィールドがそれぞれ設けられている。更に、第１宛先フ
ィールド５６０と第２宛先フィールド５６４にはアクセ
スＩＤフィールドが設けられている。
【０３２０】第１宛先フィールド５６０のアクセスＩＤ
フィールドは、スプリット転送でのバスアクセスの多重
動作を行うための動作識別ＩＤ番号を指定するフィール
ドであり、コマンドあるいはコマンド群に対して有効で
ある。このアクセスＩＤフィールドによる動作識別ＩＤ
番号の用途は、複数のバスアクセスポートの同時動作や
単一のＤＭＡポートのパイプライン動作等であり、１ユ
ニット当たり１６種類までの多重動作が指定できる。
【０３２１】第２宛先フィールド５６４の指定がない通
常のバスコマンドにおいては、第１宛先フィールド５６
０のＩＤフィールドにはソースユニットの任意の動作識
別ＩＤ番号を指定すればよい。この場合、ソースユニッ
トにおいてはアクセスユニットＩＤと同じ動作識別ＩＤ
番号を記憶しており、リプライコマンドを受信した際に
第１宛先フィールド５６０のアクセスＩＤフィールドと
ソースユニットに記憶している動作識別ＩＤ番号を比較
し、一致したならば、自分自身が発行したバスコマンド
に対するリプライコマンドであると判断する。
【０３２２】一方、図１７の読出モード２におけるリー
ド処理で、ホームのプロセッサモジュール１０−２から
の第２バスコマンド及びリモートのプロセッサモジュー
ル１０−３からのリプライコマンドのように、第２宛先
フィールド５６４が指定されているときには、ソースユ
ニット自身がバスコマンド送出の際に記憶している動作
識別ＩＤ番号とリプライコマンドにおける第２宛先フィ
ールド５６４のアクセスＩＤフィールドを比較し、一致
したならば、自分自身が発行したバスコマンドに対する
リプライが第１宛先フィールド５６０で指定されたリプ
ライコマンドと判断する。
【０３２３】具体的には、図１７においてローカルのプ
ロセッサモジュール１０−１はホームのプロセッサモジ
ュール１０−２に送出したバスコマンドに対するリプラ
イコマンドを待っているが、実際にはホームのプロセッ
サモジュール１０−２からリモートのプロセッサモジュ
ール１０−３に送出した第２バスコマンドに対するリプ
ライコマンドがホームのプロセッサモジュール１０−２
ではなくリモートのプロセッサモジュール１０−３から
返送されてくる。
【０３２４】このときに第２宛先フィールド５６４のア
クセスＩＤフィールドをローカルのプロセッサモジュー
ル１０−１でバスコマンド送出時に記憶した動作識別Ｉ
Ｄ番号と比較して、一致すれば、これはホームのプロセ
ッサモジュール１０−２に対する自分自身の送出したバ
スコマンドに対するリプライコマンドと見做してリプラ
イコマンドを受信することになる。
【０３２５】この結果、本来の要求元であるローカルの
プロセッサモジュール１０−１は、リモートのプロセッ
サモジュール１０−３を意識することなく、ホームとな
るプロセッサモジュール１０−２の主記憶２８には存在
せずリモートのプロセッサモジュール１０−３のキャッ
シュユニットに存在する最新データを受領することがで
きる。
【０３２６】このときローカルのプロセッサモジュール
１０−１にあっては、リプライデータの受信時間を監視
するバスタイマとしてホームのプロセッサモジュール１
０−２からのリプライを考慮した時間Ｔ１（第１時間）
を設定しているが、ホームのプロセッサモジュール１０
−２からリモートのプロセッサモジュール１０−３に対
する第２のバスコマンドの送出によるリプライであるこ
とから、ローカルのプロセッサモジュール１０−１にお
けるバスタイムアウトの監視タイマの時間を、リモート
のプロセッサモジュール１０−３を考慮した、より長い
時間Ｔ２（第２時間）に変更して、バス転送のタイムア
ウトを監視する。
【０３２７】このバスタイムアウトカウンタの時間変更
は、ローカルのプロセッサモジュール１０−１でホーム
からリモートに送出されるリモートコマンド２５０の送
出を監視して行えばよい。もちろん、図４０に示したタ
グ情報線５０９を利用した時間変更を行うことも可能で
ある。更に図１７のリモートとなるプロセッサモジュー
ル１０−３からのリプライデータ２６０であるリプライ
コマンドの返送については、リプライコマンドの契機と
なったホームとなるプロセッサモジュール１０−２から
のリモートコマンド２５０であるバスコマンドの第１宛
先フィールド５６０におけるアクセスＩＤフィールドの
動作識別ＩＤ番号をそのまま指定することになる。
【０３２８】図５５の基本バスコマンドは、先頭にサブ
システム拡張指定フラグ５５０を設けている。このサブ
システム拡張指定フラグ５５０は、図５２のように、異
なったサブシステムのユニット間でデータ転送を行う場
合に１にセットされ、これにより図５５の基本バスコマ
ンドに加えて、図６２に示すサブシステム拡張用のバス
コマンドの第２ワード目が作成される。このサブシステ
ム拡張用の第２ワード目については後の説明で明らかに
する。
【０３２９】図５５の基本バスコマンドにおいて、ソー
スフィールド５５２と第１宛先フィールド５６０の境界
部分にはブロードキャスト指定フラグ５５８が設けら
れ、ブロードキャストバスコマンドとして使用する際に
１にセットされる。また第２宛先フィールド５６４の先
頭部分には第２宛先指定フラグ５６２が設けられ、第２
宛先フィールド５６４を使用する際に１にセットされ
る。
【０３３０】基本バスコマンドの２行目となる５〜８バ
イト部分には、コマンドフィールド５６６、サイズフィ
ールド５６８及びフラグフィールド５７０が設けられ
る。コマンドフィールド５６６には、リードコマンド、
ライトコマンド、リプライコマンド、ブロードキャスト
コマンド等のコマンド識別コードが設定される。次のサ
イドフィールド５６８にはデータ転送サイズが設定され
る。
【０３３１】リード系のバスコマンドではリプライコマ
ンドで返送するデータサイズを指定し、ライト系のバス
コマンドではバスコマンドに後続する書込データのデー
タサイズを指定する。次のフラグフィールド５７０に
は、コマンドの修飾フラグや属性フラグが必要に応じて
設けられる。最後のコマンドパラメータフィールド５７
２は、コマンドフィールド５６６のコマンド種別に依存
した例えばアクセスアドレス等が指定される。
【０３３２】図５６は、本発明で使用するブロードキャ
ストバスコマンドのコマンドフォーマットである。ブロ
ードキャストバスコマンドは、ソースフィールド５５２
に続いて設けた第１宛先フィールド５６０について、図
５５の基本バスコマンドにおける宛先ユニットＩＤの代
わりに１６ビット幅のブロードキャスト宛先マップフィ
ールド５７４を設けている。
【０３３３】本発明のシステムバス１２は最大で１６ユ
ニットを接続することができるので、ブロードキャスト
宛先マップフィールド５７４はビット対応によりブロー
ドキャストコマンドの相手先となるユニットをビット対
応で指定することができる。プロードコースバスコマン
ドもブロードキャストバスコマンドと同じフォーマット
をもつ。
【０３３４】図５７は、本発明のシステムバスで使用さ
れる基本リプライ用及びエラーリプライ用のバスコマン
ドのコマンドフォーマットである。この基本リプライ及
びエラーリプライ用のバスコマンドは、第２行目の部分
にリプライタイプ５７４、エラーレベル５７６、エラー
タイプ５７８、エラーコード５８０の各フィールドを設
けたことを特徴とする。それ以外の構造は図５５の基本
バスコマンドと同じである。なお最後のコマンドパラメ
ータ５７２のフィールドは使用していない。
【０３３５】リプライタイプフィールド５７４には、リ
プライを要求したソースユニットが発行したバスコマン
ドのコマンドコードが指定される。またリプライコマン
ドの付加情報のフォーマットやデータの有無は、このリ
プライタイプフィールド５７４のコマンドコードによっ
て決められる。次のエラーレベルフィールド５７６は、
エラーリプライバスコマンドとして使用する際にエラー
レベルが格納される。また次のエラータイプフィールド
５７８には、エラー返信時のエラーの分類を示すエラー
タイプが通知される。更にエラーコードフィールド５８
０には、エラー返信時にエラーの詳細な要因が通知され
る。
【０３３６】図５９は図５７のエラータイプフィールド
５７８の例であり、ソフトウェアエラー、システム構成
エラー、ハードウェアエラー、バスエラーの分類情報が
エラー検出に基づいてセットされる。図６０は図５７の
エラーレベルフィールド５７６によるエラーの詳細分類
をエラータイプと組み合わせて示している。ここで図６
０の「ｎｎｎ」は、エラーの種別によって異なる。また
「ｘｘ」は、００でソース（ローカル）、０１で第１宛
先（ホーム）、１０で第２宛先（リモート）、１１で第
１宛先（ホーム）のミラーユニットを表わす。また
「ｒ」は、０でライト、１でリードとなる。
【０３３７】尚、図５６に示したブロードキャストバス
コマンドは、図２３の書込モード１、図２４の書込モー
ド２、図２５の書込モード３、図２６の書込モード４等
におけるキャッシュインバリデードのためのバスコマン
ドとして使用される。図５８は、本発明のシステムバス
で使用されるキャッシュステータスリプライバスコマン
ドのコマンドフォーマットである。このキャッシュステ
ータスリプライコマンドにあっては、ソースフィールド
５５２，第１宛先フィールド５６０に続いて、キャッシ
ュサブラインステータスフィールド５８２−１を設け、
更に２行目の最後の４ビットに同じくキャッシュサブラ
インステータスフィールド５８２−２を設けている。
【０３３８】本発明のキャッシュコヒーレンス装置にあ
っては、６４バイトのキャッシュラインを１６バイト単
位のキャッシュサブラインに分けている。そこで、キャ
ッシュサブラインを＃０〜＃３で表わし、キャッシュサ
ブラインステータス５８２−１，５８２−２の組合せで
各サブラインを３ビットずつ割り当て、キャッシュバス
コマンドに対するリプライバスコマンドにより、アクセ
ス対象となったキャッシュサブラインの現在の状態を表
示する。
【０３３９】即ち、キャッシュサブラインステータスフ
ィールド５８２−１にはサブラインＩＤ＃０〜＃３のビ
ット０、ビット１の２ビットがそれぞれ割り当てられ、
２行目の最後のキャッシュサブラインステータスフィー
ルド５８２−２にビット２の第３ビット目が割り当てら
れている。このキャッシュサブラインステータスフィー
ルド５８２−１，５８２−２によるキャッシュサブライ
ン状態は、図６１に示すようになる。
【０３４０】図６２は、図５５のサブシステムバス拡張
識別フラグ５５０を１にセットした際にバスコマンドの
第２ワードとして作成されるサブシステム拡張バスコマ
ンドのコマンドフォーマットである。このサブシステム
拡張バスコマンドは１行目にソースシステムフィールド
５８６を設け、ソースユニットを設けているソースシス
テムＩＤ、ソースバスＩＤ及びソースユニットＩＤの各
フィールドを指定する。
【０３４１】２行目については、サブシステム第１宛先
フィールド５５８が設けられ、宛先システムＩＤ、宛先
バスＩＤ、宛先ユニットＩＤの各フィールドを設けてい
る。続いてサブシステム第２宛先フィールド５９０が設
けられ、同様に宛先システムＩＤ、宛先バスＩＤ、宛先
ユニットＩＤの各フィールドを設けている。また第２宛
先指定フラグ５９２もセットされる。このような図６２
のサブシステム拡張バスコマンドを図５５の基本バスコ
マンドの第１ワードに対し第２ワードとして組み合わせ
ることで、図５２に示した複数のサブシステムのユニッ
ト間でのデータ転送を行うことができる。
【０３４２】このように本発明のキャッシュコヒーレン
ス装置で使用する第２共通バスとしてのシステムバス１
２は、ディレクトリ方式に従った分散共有メモリ型のマ
ルチプロセッサシステムにおいて、キャッシュコヒーレ
ンスを効率良く実現するための共通バスを提供すること
ができ、ディレクトリ方式の拡張性を損うことのない共
通バスが提供できる。
【０３４３】またシステムバス単位に構築されるサブシ
ステムを複数結合した大規模なマルチプロセッサシステ
ムへの拡張を考慮した信頼性の高い共通バスが提供でき
る。更に、異なったバスとの接続を考慮していることか
ら、既存のバス資産の有効活用を可能とする共通バスが
提供できる。 ７．第２ディレクトリメモリ 図６３は、本発明の他の実施形態であり、プロセッサモ
ジュールのシステムバスに対するバス接続ユニットに第
２ディレクトリメモリを設けたことを特徴とする。
【０３４４】図６３は、プロセッモジュール１０−１が
ローカルとしてホームのプロセッサモジュール１０−２
の主記憶２８に対しホームコマンド６００を発行して書
込アクセスを行い、ホームからリモートとしてのプロセ
ッサモジュール１０−３，１０−４にキャッシュインバ
リデートのリモートコマンド６０２を発行した場合を示
している。
【０３４５】プロセッサモジュール１０−１〜１０−４
の各々は、メモモリ管理ユニット２６に対し分散主記憶
としてのローカルストレージ２８とディレクトリメモリ
３０を設けており、これは図３の実施形態と同じであ
る。これに加え図６３の実施形態では、バス接続ユニッ
ト３２に第２ディレクトリメモリ３１を設けている。こ
の第２ディレクトリメモリ３１に対しディレクトリメモ
リ３０を第１ディレクトリメモリと呼ぶ。
【０３４６】第２ディレクトリメモリ３１は、自己のロ
ーカルストレージ２８に存在するキャッシュライン単位
のデータにつき、そのデータがシスムテバス上で他のバ
スコマンドによりアクセス状態を登録している。この登
録内容としては、例えば、リモートコマンドによるキャ
ッシュインバリデート待ちがある。図６３のプロセッサ
モジュール１０−２は、ホームとしてプロセッサモジュ
ール１０−３，１０−４にキャッシュインパリデータの
リモートコマンド６０２を発行しており、コマンド応答
を待っている。このときプロセッサモジュール１０−２
の第２ディレクトリメモリ３１の該当するキャッシュラ
インについては、リモートからのキャッシュインバリデ
ートの応答待ちが登録されている。
【０３４７】この状態で、例えばプロセッサモジュール
１０−３の２番目キャッシュユニット側から、同じキャ
ッシュラインを対象にライトアクスセのホームコマンド
６０８が発行されたとする。このホームコマンド６０２
に対しバス接続ユニット３２は第２ディレクトリメモリ
３１を参照してキャッシュインバリデートの完了待ちに
あることをメモリ管理ユニット２６に送ることなく直ち
に認識し、ビジー応答をリプライコマンドで返す。
【０３４８】この場合、システムバス１２上でのリトラ
イとすることは無駄になるので、アクセス元のキャッシ
ュユニットまでビジーを通知し、リトライを行わせる。
このように第２ディレクトリメモリ３１の参照でリモー
トコマンドによるアクセス不能な状態が判るので、メモ
リ管理ユニット２６側でアクセス不能を判断してビシー
を応答する場合に比べ、処理を高速化できる。
【０３４９】リモートのプロセッサモジュール１０−
３，１０−４でキャッシュインバリデートが完了てリプ
ライコマンドが帰されると、第２ディレクトリメモリ３
１の登録は削除され、プロセッモジュール１０−３から
のリトライによるリモートコマンド６０２が受け入れら
れる。図６４は、図６３のホームのキャッシュインバリ
デートの完了待ちの状態にあるホームとしてのプロセッ
サモジュール１０−２に対し、他のプロセッサモジュー
ルからホームコマンド６０６が複数発行され、バス接続
ユニット３２のバッファがフルとなった場合である。こ
のバッファフルの状態で、プロセッサモジュール１０−
３からリモートコマンド６０２が発行されたとすると、
第２ディレクトリメモリ３１を参照することなく、直ち
にバッファフルのビジー応答を返す。
【０３５０】この場合、アクセス要求元のキャッシュユ
ニットまでバッファフルのビジー応答を返すと、スヌー
プバス２２やキャッシュユニットがリトライ動作に忙殺
されることから、システムバス１２上でのリモートコマ
ンドのリトライとする。 ８．その他 図４のプロセッサエレメント１４−１に設けた２次キャ
ッシュ制御モジュール３５は、２次キャッシュ３８のキ
ャッシュデータをＬＲＵで管理しており、新たなキャッ
シュデータの書込みで２次キャッシュ３８がオーバフロ
ーすると、キャッシュデータのＬＲＵ追出し処理が行わ
れる。このＬＲＵ追出し処理は、追出し対象となったキ
ャッシュラインが書込権を所有した排他的ダーティ状
態、即ちオーナーであった場合には、メモリモジュール
２５に対しスヌープバス２２を介してコピーバックコマ
ンドを発行し、ホームとなるプロセッサモジュールのロ
ーカルストレージ２８に、追い出されたキャッシュデー
タを格納する。
【０３５１】一方、書込所有権が存在した排他的ダーテ
ィ状態ＥＸ＆ＤのキャッシュラインのＬＲＵ追出しの際
に、他のスヌープバスを介して接続た他のキャッシュ上
にシェアードモディファイ状態でキャッシュデータが存
在する場合には、追い出されたキャッシュデータを消し
た後、他のキャッシュユニットにリプライコマンドＲＰ
を送って、シェアードモディファイ状態ＳＨ＆Ｍから排
他的ダーティ状態ＥＸ＆Ｄに切り替えて書込所有権を移
す。この場合には、ＬＲＵで追い出されたキャッシュデ
ータのローカルストレージ２８への書込みは不要であ
る。尚、上記の実施例は、１つのプロセッサモジュール
に４つのプロセッサエレメントを設けた場合を例にとっ
ているが、プロセッサモジュールには少なくとも１台の
プロセッサエレメントが設けられればよい。また、プロ
セッサエレメントの数は必要に応じて適宜に設けること
ができる。更に、システムバスで接続されるプロセッサ
モジュールの実施例に限定されず、２以上であれば任意
の数のプロセッサモジュールを接続できる。
【０３５２】
【発明の効果】以上説明してきたように本発明のキャッ
シュコヒーレンス装置によれば、複数のプロセッサモジ
ュールの各々でキャッシュユニット付きのプロセッサエ
レメントの複数を内部の共通バスで相互に接続すると共
に主記憶を備えたメモリモジュールを接続し、更にメモ
リモジュール側を外部の共通バスにより他のプロセッサ
モジュールと相互に接続する２階層の共通バス構成とし
たことで、プロセッサモジュール内でのキャッシュコヒ
ーレンスのバス動作とプロセッサモジュール間でのキャ
ッシュコヒーレンスのバス動作を分離することができ、
処理性能を大幅に向上できる。
【０３５３】また内部の共通バスはモジュール内のプロ
セッサ数に外部からのアクセスを受け付けるメモリモジ
ュールを加えたアクセス源に対応したバス負荷で済み、
バス負荷を軽くしてプロセッサ間での処理性能を向上で
きる。また外部のシステムバスのバス負荷は相互に接続
したプロセッサモジュールの台数で決まり、プロセッサ
モジュール内に設けているプロセッサエレメントの数に
依存しないことから、同様に、外部の共通バスのバス負
荷を低減して処理性能を向上できる。
【０３５４】また、内部の共通バスはプロセッサモジュ
ールの外部への接続を必要としないため、線路長を短く
して電気的な特性を良好に保つことができ、これによっ
てバスのクロック周波数を高くして、内部接続したプロ
セッサ間でのキャッシュコヒーレンスの処理性能を、よ
り高速化できる。更に、外部の共通バスを使用したプロ
セッサモジュール間で行われるキャッシュコヒーレンス
にあっては、書込アクセスの際には、アクセス元のキャ
ッシュに対しては最新データを転送するが、書込アドレ
スをもつ主記憶に対しては最新データの書込みは行わず
に、最新データがキャッシュ側に存在するダーティ状態
をセットして処理を終了することで、主記憶に対する最
新データの書込みを行わない分、書込アクセスを高速に
終了できる。
【０３５５】更に、書込アクセスでダーティ状態となっ
た主記憶は、同じアドレスの読出アクセスの際に外部の
共通バスからのリプライデータを受領して主記憶に書き
込むことで、アクセス元のキャッシュに対する格納と同
時に、主記憶が最新データに更新でき、主記憶書込みと
読出アクセス元への転送が同時にできることで、読出ア
クセスのキャッシュコヒーレンスを、より高速に実現で
きる。
【図面の簡単な説明】
【図１】本発明の原理説明図
【図２】本発明のマルチプロセッサモジュール構成のブ
ロック図
【図３】図２のプロセッサモジュールの内部構成のブロ
ック図
【図４】図３のプロセッサモジュールの内部構成の詳細
ブロック図
【図５】本発明のキャッシュラインの説明図
【図６】図３の空間識別ユニットの機能説明図
【図７】図４のメモリ管理ユニットのブロック図
【図８】ディレクトリエントリレジスタの説明図
【図９】シェアードマップビット対応レジスタの説明図
【図１０】プロセッサモジュール構成レジスタの説明図
【図１１】ディレクトリエントリレジスタ、シェアード
マップビット対応レジスタ及びプロセッサモジュール構
成レジスタの具体例の説明図
【図１２】ディレクトリエントリレジスタの具体例の説
明図
【図１３】図４のスヌープバスに対するコマンド説明図
【図１４】図４のキャッシュユニットのキャッシュ状態
の説明図
【図１５】図４のキャッシュユニットのキャッシュ遷移
状態の説明図
【図１６】本発明の読出モード１における処理動作の説
明図
【図１７】本発明の読出モード２における処理動作の説
明図
【図１８】本発明の読出モード３における処理動作の説
明図
【図１９】本発明のローカルプロセッサモジュールのリ
ード処理のフローチャート
【図２０】本発明のホームプロセッサモジュールのリー
ド処理のフローチャート
【図２１】本発明のリモートプロセッサモジュールのリ
ード処理のフローチャート
【図２２】本発明のプロセッサエレメントのリード処理
のフローチャート
【図２３】本発明の書込モード１における処理動作の説
明図
【図２４】本発明の書込モード２における処理動作の説
明図
【図２５】本発明の書込モード３における処理動作の説
明図
【図２６】本発明の書込モード４における処理動作の説
明図
【図２７】本発明の書込モード５における処理動作の説
明図
【図２８】本発明の書込モード６における処理動作の説
明図
【図２９】本発明の書込モード７における処理動作の説
明図
【図３０】本発明のローカルプロセッサモジュールのラ
イト処理のフローチャート
【図３１】本発明のホームプロセッサモジュールのライ
ト処理のフローチャート
【図３２】本発明のリモートプロセッサモジュールのラ
イト処理のフローチャート
【図３３】本発明のプロセッサのライト処理のフローチ
ャート
【図３４】キャッシュユニットに対する内部コマンドと
外部のリモートコマンドが競合してリトライの繰り返し
となる動作の説明図
【図３５】図２のリトライ繰り返しの具体例のタイムチ
ャート
【図３６】リモートコマンドに対するリトライ指示を１
回として優先的に受け付ける本発明の処理のタイムチャ
ート
【図３７】プロセッサモジュールのキャッシュユニット
間で行う書込所有権（オーナ）の委譲の説明図
【図３８】書込所有権を委譲する順番の説明図
【図３９】図３のキャッシャコヒーレンス装置を基幹に
拡張したシステム構成の説明図
【図４０】図３９のシステムバスの線路構成の説明図
【図４１】図４０のタグバス線によるタグバスコードの
説明図
【図４２】図４０のリクエトスト線と緊急リクエスト線
の組合わせによる制御内容の説明図
【図４３】図４０のホルト線とマスタ権切替線の組合せ
による制御内容の説明図
【図４４】図４０のシステムバスのファーストモードで
のバスアビトレーションのタイムチャート
【図４５】図４０のシステムバスのセイフティモードで
のバスアビトレーションのタイムチャート
【図４６】図４０のシステムバスのバススレーブでエラ
ーを検出した際の優先バスアビトレーションのタイムチ
ャート
【図４７】図４０のシステムバスのバスアービタでエラ
ーを検出した際の優先バスアビトレーションのタイムチ
ャート
【図４８】図３９のシステムバスのメモリリードの転送
シーケンスのタイムチャート
【図４９】図３９のシステムバスのメモリライトの転送
シーケンスのタイムチャート
【図５０】図３９のシステムバスのブロードキャスト／
ブロードコールの転送シーケンスのタイムチャート
【図５１】図３９のシステムバス間の転送シーケンスの
タイムチャート
【図５２】図３９のサブシステムバス間の転送シーケン
スのタイムチャート
【図５３】図３９のシステムバスを８バイトバスとした
場合の転送シーケンスのタイムチャート
【図５４】図３９のシステムバスと異種システムバス間
の転送シーケンスのタイムチャート
【図５５】図３９のシステムバスの基本的なバスコマン
ドのフォーマット説明図
【図５６】図３９のシステムバスのブロードキャストバ
スコマンドのフォーマット説明図
【図５７】図３９のシステムバスの基本的なリプライ／
エラーバスコマンドのフォーマット説明図
【図５８】図３９のシステムバスのキャッシュステータ
スバスコマンドのフォーマット説明図
【図５９】図５７のエラーバスコマンドで指定するエラ
ータイプの説明図
【図６０】図５７のエラーバスコマンドで指定するエラ
ーレベルをエラータイプと共に示した説明図
【図６１】図５８のキャッシュステータスバスコマンド
で指定するキャッシュステータスの説明図
【図６２】図３９のサブシステムバス間のバス転送時に
基本バスコマンドに付加して使用される拡張バスコマン
ドのフォーマット説明図
【図６３】バス接続ユニットに第２ディレクトリメモリ
を設けた実施形態のライトアクセス説明図
【図６４】図６３のキャッシュインバリデートの完了待
ちでホームへのアクセス要求がバッファフルとなった場
合のアクセス説明図
【図６５】従来のマルチプロセッサシステムのブロック
図
【符号の説明】
１０，１０−１〜１０−５：プロセッサモジュール（Ｐ
Ｍ） １２，１２−１，１２−２：システムバス（第１共通バ
ス） １４，１４−１〜１４−４：プロセッサエレメント（Ｐ
Ｅ） １６，１６−１〜１６−４：ＣＰＵ回路 １８，１８−１〜１８−４：キャッシュユニット（キャ
ッシュ） ２０，２０−１〜２０−４：スヌープユニット ２２：スヌープバス（第１共通バス） ２４：プロトコル管理ユニット ２５：メモリモジュール ２６：メモリ管理ユニット ２８：ローカルストレージ（分割配置された主記憶） ３０：ディレクトリメモリ ３１：第２ディレクトリメモリ ３２：モジュール接続ユニット ３４：ＣＰＵ ３５：２次キャッシュ制御モジュール ３６：１次キャッシュ ３８：２次キャッシュ ４０：タグメモリ ４２，５２：スヌープ送受信ユニット ４４：スヌープバッファ ４６：コピーバックバッファ ４８：プロセッサアクセス制御ユニット ５０：空間制御ユニット ５４：ローカルアクセスバッファキュー ５６：ホームアクセスバッファキュー ５８：リモートアクセスバッファキュー ６２：バス受信ユニット ６４：バス送信ユニット ６６：メモリバス ６８−１〜６８−４：メモリアクセスコントローラ ７０−１〜７０−４：ＳＲＡＭ ７４：バスアービタ ７６：メモリバス制御ユニット ７８：ディレクトリ制御ユニット ８０：キャッシュ変換部 ８１：ローカルステートマシン ８２：ホームステートマシン ８３：リモートステートマシン ８６：ＣＰＵ物理アドレス空間 ８８：制御レジスタ空間 ９０：ＲＯＭ空間 ９４：３６ビット物理アドレス ９５：制御テーブル ９６：ホーム情報 ９８：ユニットＩＤ １００：キャッシュライン １０２−１〜１０２−４：キャッシュサブライン（サブ
ライン） １０４：ディレクトリエントリレジスタ １０６：シェアードマップビット対応レジスタ １０８：プロセッサモジュール構成レジスタ １２０，１２２，１２４，１２８：キャッシュステータ
ス格納エリア ５００−１，５００−２：サブシスタム ５０１：基本システム ５０２，５０３：バスアービタ ５０４：バス拡張ユニット ５０５：異種システム ５０６：拡張システム ５０７：データバス線 ５０９：タグ制御線 ５１０−１〜５１０−３：プロセッサモジュール ５１２：サブシステム間接続ユニット ５１４：共通データバス線（ＤＢ） ５１６：データバリティ線（ＤＰ） ５１８：共通タグバス線（ＴＢ） ５２０：バスリクエスト線（ＢＲＱ） ５２２：緊急バスリクエスト線（ＢＲＥ） ５２４：バスグラント線（ＢＧＲ） ５２６：バスＩＤ線（ＢＩＤ） ５２８：ユニットＩＤ線（ＵＩＤ） ５３０：ホルト線（ＨＬＴ） ５３２：マスタ権切替線（ＭＦＣ：Master Force Chang
e)） ５３４：インストール線（ＩＮＳＴ） ５３６：ディスコネクト線（ＤＣＯＮ） ５３８：クロック線（ＣＬＫ） ５５０：システムバス拡張指定フラグ ５５２：ソースフィールド ５５８：ブロードキャスト指定フラグ ５６０：第１宛先フィールド ５６２：第２宛先指定フラグ ５６４：第２宛先フィールド ５６６：コマンドフィールド ５６８：サイズフィールド ５７０：フラグフィールド ５７２：コマンドパラメータフィールド ５７４：ブロードキャスト宛先マップフィールド ５７５：リプライタイプフィールド ５７６：エラーレベルフィールド ５７８：エラータイプフィールド ５８０：エラーコードフィールド ５８２−１，５８２−２：キャッシュサブライステータ
スフィールド ５８６：ソースシステムフィールド ５８８：サブシステム第１宛先フィールド ５９０：サブシステム第２宛先フィールド ５９２：第２宛先指定フラグ
フロントページの続き (72)発明者 柴田 直宏 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 牟田 俊之 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 島村 貴之 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 菅原 博英 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 西岡 潤治 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 佐々木 崇諭 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 篠原 聡 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 中山 陽象 石川県河北郡宇ノ気町字宇野気ヌ98番地の ２ 株式会社ピーエフユー内 (72)発明者 桜井 潤 宮城県仙台市青葉区一番町１丁目２番25号 富士通東北ディジタル・テクノロジ株式 会社内 (72)発明者 石畑 宏明 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 堀江 健志 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 清水 俊幸 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内

Claims (59)

    【特許請求の範囲】
  1. 【請求項１】複数のプロセッサ群と、 前記プロセッサ群に共有される主記憶と、 前記複数のプロセッサ毎に設けられ、前記主記憶のアク
    セスを高速化するキャッシュユニットと、 前記主記憶のデータの前記キャッシュユニットへの登録
    状態をキャッシュライン単位に記憶するディレクトリ記
    憶部と、 前記主記憶とキャッシュユニット間を接続する第１共通
    バスと、 前記複数のプロセッサ群の間を接続する第２共通バス
    と、 前記主記憶とキャッシュユニット間のキャッシュコヒー
    レンスを実現する内部コヒーレンス処理部と、 前記複数のプロセッサ群の間のキャッシュコヒーレンス
    を実現する外部コヒーレンス処理部と、を設けたことを
    特徴とするキャッシュコヒーレンス装置。
  2. 【請求項２】請求項１記載のキャッシュコヒーレンス装
    置に於いて、 前記キャッシュユニットは、前記キャッシュラインを複
    数のサブラインに分割して管理し、 前記ディレクトリ記憶部は、前記キャッシュユニット上
    のデータが最新値で前記主記憶上のデータが旧値となる
    ダーティ状態である場合のキャッシュ状態を前記サブラ
    イン単位に記憶し、前記キャッシュユニット上と主記憶
    上のデータが同じ値になるシェア状態を前記キャッシュ
    ライン単位に記憶したことを特徴とするキャッシュコヒ
    ーレンス装置。
  3. 【請求項３】請求項１記載のキャッシュコヒーレンス装
    置に於いて、前記複数のプロセッサ群は、少なくとも１
    つ以上のプロセッサで構成されるプロセッサモジュール
    に分割され、前記ディレクトリ記憶部へのキャッシュ状
    態の記憶を前記プロセッサモジュール単位に行ったこと
    を特徴とするキャッシュコヒーレンス装置。
  4. 【請求項４】請求項３記載のキャッシュコヒーレンス装
    置に於いて、前記プロセッサモジュールは、前記ディレ
    クトリ記憶部に前記複数のプロセッサモジュールとの対
    応状態を記憶するディレクトリ制御部を有し、該ディレ
    クトリ制御部によって前記ディレクトリ記憶部への登録
    を前記複数のプロセッサモジュール単位に指定すること
    を特徴とするキャッシュコヒーレンス装置。
  5. 【請求項５】請求項３記載のキャッシュコヒーレンス装
    置に於いて、前記主記憶は複数のローカル記憶部に分割
    され、各ローカル記憶部は前記プロセッサモジュール上
    に配置されることを特徴とするキャッシュコヒーレンス
    装置。
  6. 【請求項６】請求項３記載のキャッシュコヒーレンス装
    置に於いて、前記複数のプロセッサモジュールの各々
    は、 複数のプロセッサと、 前記各プロセッサ毎に設けられたキャッシュユニット
    と、 前記主記憶として使用されるローカル記憶と、 前記主記憶及びディレクトリ記憶部を管理するメモリ管
    理ユニットと、 複数のキャッシュユニットとメモリ管理ユニットを接続
    する第１共通バスと、 複数のプロセッサモジュール間を接続する第２共通バス
    と、 前記第１共通バスと第１共通バスのプロトコル変換を管
    理するプロトコル管理ユニットと、 前記プロセッサモジュール間を前記第２共通バスで結合
    するバス接続ユニットと、 前記第１の共通バスで特定マシンサイクルに同期させて
    前記キャッシュユニットをスヌープすることによりキャ
    ッシュコヒーレンスを実現するスヌープユニットと、 前記メモリ管理ユニットに設けられ、前記第２共通バス
    による前記ディレクトリ記憶部の参照に基づきプロセッ
    サモジュール間でのコヒーレンスを実現するキャッシュ
    変換部と、を設けたことを特徴とするキャッシュコヒー
    レンス装置。
  7. 【請求項７】請求項３記載のキャッシュコヒーレンス装
    置に於いて、前記ディレクトリ記憶部のキャッシュライ
    ン単位に記憶されたディレクトリエントリデータは、前
    記ダーティ状態の有無を示す複数のサブラインビット
    と、前記シェア状態を複数のプロセッサモジュール毎に
    示すシェアードマップビットを有し、 更に前記シェアードマップビットのビット位置とプロセ
    ッサモジュールの対応関係を登録する構成レジスタを設
    け、該構成レジスタによって同一マップビットに複数の
    プロセッサモジュールのシェア状態の登録を可能とした
    ことを特徴とするキャッシュコヒーレンス装置。
  8. 【請求項８】請求項７記載のキャッシュコヒーレンス装
    置に於いて、前記サブラインビットのセットに対応し
    て、最新値を持つキャッシュユニットが存在するプロセ
    ッサモジュールの情報を、前記主記憶の特定領域に格納
    したことを特徴とするキャッシュコヒーレンス装置。
  9. 【請求項９】請求項７記載のキャッシュコヒーレンス装
    置に於いて、前記サブラインビットのリセットに対応し
    て、最新値を持つ主記憶が存在するプロセッサモジュー
    ルの情報を、前記主記憶の特定領域に格納したことを特
    徴とするキャッシュコヒーレンス装置。
  10. 【請求項１０】請求項３記載のキャッシュコヒーレンス
    装置に於いて、前記プロセッサは、前記キャッシュライ
    ンのサブライン単位に読出アクセス又は書込アクセスを
    行うことを特徴とするキャッシュコヒーレンス装置。
  11. 【請求項１１】請求項３記載のキャッシュコヒーレンス
    装置に於いて、前記第１共通バス及び第２共通バスは、
    指令転送と応答転送を分離したスプリット形式により情
    報を転送することを特徴とするキャッシュコヒーレンス
    装置。
  12. 【請求項１２】請求項３記載のキャッシュコヒーレンス
    装置に於いて、 第１のプロセッサモジュール内の任意のプロセッサの読
    出アクセスに対し自己のキャッシュユニット及び前記第
    １共通バスで接続した他の全てのキャッシュユニットで
    ミスヒットし、且つ読出アドレスが前記第１のプロセッ
    サモジュール内の主記憶にあり、更に読出アドレスのデ
    ータが第２のプロセッサモジュール内のキャッシュユニ
    ットに最新値をもつダーティ状態で存在する場合、 前記第１のプロセッサモジュールは、前記第２共通バス
    に指令を発行して前記第２のプロセッサモジュールにア
    クセスし、自己の第１共通バスを介してダーティ状態に
    ある前記キャッシュユニットから最新値を取得した後
    に、前記第２共通バスで最新値を前記第１のプロセッサ
    モジュールに応答し、 前記第１のモジュールユニットは、前記応答で得られた
    最新値をアクセス元の前記キャッシュユニットに格納し
    て読出アクセスに応答させ、同時に前記主記憶に最新値
    を書き込むことを特徴とするキャッシュコヒーレンス装
    置。
  13. 【請求項１３】請求項１２記載のキャッシュコヒーレン
    ス装置に於いて、前記第１のプロセッサモジュールは、
    前記主記憶に最新値を書き込んだ際に前記ディレクトリ
    メモリのダーティ状態をシェア状態に更新し、前記アク
    セス元のキャッシュユニットは無効化状態をシェア状態
    に更新することを特徴とするキャッシュコヒーレンス装
    置。
  14. 【請求項１４】請求項３記載のキャッシュコヒーレンス
    装置に於いて、 第１のプロセッサモジュール内の任意のプロセッサの読
    出アクセスに対し自己のキャッシュユニット及び前記第
    １共通バスで接続した他の全てのキャッシュユニットで
    ミスヒットし、且つ読出アドレスが第２のプロセッサモ
    ジュール内の主記憶にあり、更に読出アドレスの値が第
    ３のプロセッサモジュール内のキャッシュユニットに最
    新値をもつダーティ状態で存在する場合、 前記第１のプロセッサモジュールは前記第２共通バスに
    指令を発行して前記第２のプロセッサモジュールにアク
    セスし、 前記第２のプロセッサモジュールは前記第２共通バスか
    ら受領した指令に基づき、第２共通バスに指令を発行し
    て第３のプロセッサモジュールにアクセスし、 前記第３のプロセッサモジュールは自己の第１共通バス
    によってダーティ状態にある前記キャッシュユニットか
    ら最新値を取得した後に、前記第２共通バスで最新値を
    前記第１及び第２のプロセッサモジュールに応答し、 前記第２のプロセッサモジュールは、前記応答の受領で
    得られた最新値を前記主記憶に書き込み、 前記第１のプロセッサモジュールは、前記応答の受領で
    得られた最新値をアクセス元の前記キャッシュユニット
    に格納して読出アクセスに応答させることを特徴とする
    キャッシュコヒーレンス装置。
  15. 【請求項１５】請求項１４記載のキャッシュコヒーレン
    ス装置に於いて、 前記第２のプロセッサモジュールは、前記主記憶に最新
    値を書き込んだ際に前記ディレクトリ記憶部のダーティ
    状態をシェア状態に更新し、 前記第１のプロセッサモジュールのアクセス元のキャッ
    シュユニットは無効化状態をシェア状態に更新すること
    を特徴とするキャッシュコヒーレンス装置。
  16. 【請求項１６】請求項３記載のキャッシュコヒーレンス
    装置に於いて、 任意のプロセッサモジュール内の任意のプロセッサの読
    出アクセスに対し自己のキャッシュユニットはミスヒッ
    トしたが、前記第１共通バスで接続した他のプロセッサ
    のキャッシュユニットに最新値が存在する場合、前記第
    １共通バスを介して両キャッシュユニット間で最新値の
    転送を実行してアクセス元のキャッシュユニットに格納
    して前記読出アクセスに応答させることを特徴とするキ
    ャッシュコヒーレンス装置。
  17. 【請求項１７】請求項１６記載のキャッシュコヒーレン
    ス装置に於いて、前記第１共通バスを使用した最新値の
    転送をキャッシュサブライン単位で実行することを特徴
    とするキャッシュコヒーレンス装置。
  18. 【請求項１８】請求項３記載のキャッシュコヒーレンス
    装置に於いて、 第１のプロセッサモジュール内の任意のプロセッサの書
    込アクセスに対し自己のキャッシュユニット及び第１共
    通バスで接続した他のキャッシュユニットに書込権を所
    有した状態でコピー値が格納されておらずにミスヒット
    となり、且つ前記書込アドレスが第１のプロセッサモジ
    ュール内の主記憶にあり、更に、前記主記憶の書込アド
    レスのコピー値が第１のプロセッサモジュール以外の他
    の複数のプロセッサモジュールのキャッシュユニットに
    シェア状態で存在する場合、 前記第１プロセッサモジュールは、シェア状態にある全
    てのプロセッサモジュールに対して第２共通バスを使用
    して無効化指令を発行し、 シェア状態にある全てのプロセッサモジュールは、前記
    無効化指令を同時に受理して、無効化に成功した際に前
    記第２共通バスを使用して第１のプロセッサモジュール
    に独立に応答し、 前記第１のプロセッサモジュールは、前記第２共通バス
    からの全ての応答を受理したことで無効化の成功を認識
    して、前記主記憶の書込アドレスのコピー値を前記キャ
    ッシャユニットに格納して前記書込アクセスにより上書
    きさせることを特徴とするキャッシュコヒーレンス装
    置。
  19. 【請求項１９】請求項３記載のキャッシュコヒーレンス
    装置に於いて、 第１のプロセッサモジュール内の任意のプロセッサの書
    込アクセスに対し自己のキャッシュユニット及び第１共
    通バスで接続した他のキャッシュユニットにコピー値が
    書込権を所有した状態で登録されておらずにミスヒット
    となり、且つ前記書込アドレスが第１のプロセッサモジ
    ュール内の主記憶であり、更に前記主記憶の書込アドレ
    スのコピー値が第１のプロセッサモジュールを含む複数
    のプロセッサモジュールのキャッシュユニットにシェア
    状態で存在する場合、 前記第１のプロセッサモジュールは、シェア状態にある
    全てのプロセッサモジュールに対して前記第２共通バス
    を使用して無効化指令を発行するのと並行して、第１の
    プロセッサモジュール内のキャッシュユニットに第１共
    通バスを使用して無効化指令を発行し、 シェア状態にある全てのプロセッサモジュールは前記無
    効化指令を同時に受理して、無効化の成功を前記第２共
    通バスを使用して第１のプロセッサモジュールに独立に
    応答するのと並行して、前記第１のプロセッサモジュー
    ルのキャッシュユニットは第１共通バスを使用して無効
    化の成功を応答し、 第１のプロセッサモジュールは、第２共通バスからの全
    ての応答と、自己の第１共通バスからの応答を受理した
    ことで無効化の成功を認識して、前記主記憶の書込アド
    レスのコピー値を前記キャッシャユニットに格納して前
    記プロセッサの書込アクセスにより上書きさせることを
    特徴とするキャッシュコヒーレンス装置。
  20. 【請求項２０】請求項１８及び１９記載のキャッシュコ
    ヒーレンス装置に於いて、 前記第１のプロセッサモジュールは、無効化の成功を認
    識して前記主記憶からアクセス元のキャッシュユニット
    にコピーした際に、前記ディレクトリ記憶部のシェア状
    態をダーティ状態に更新することを特徴とするキャッシ
    ュコヒーレンス装置。
  21. 【請求項２１】請求項３記載のキャッシュコヒーレンス
    装置に於いて、 第１のプロセッサモジュール内のプロセッサの書込アク
    セスに対し自己のキャッシュユニット及び第１共通バス
    を介して接続した他のキャッシュユニットにコピー値が
    書込権を所有した状態で登録されておらずにミスヒット
    となり、前記書込アドレスが第２のプロセッサモジュー
    ル内の主記憶にあり、更に前記主記憶の書込アドレスの
    コピー値が第２のプロセッサモジュール以外の他の複数
    のプロセッサモジュールのキャッシュユニットにシェア
    状態で存在する場合、 前記第１のプロセッサモジュールは、第２共通バスを使
    用して前記第２のプロセッサモジュールに書込所有権の
    要求指令を発行し、 前記書込所有権の要求指令を受領した第２のプロセッサ
    モジュールは、シェア状態にある他の全てのプロセッサ
    モジュールに対して第２共通バスを使用して無効化指令
    を発行し、 シェア状態にある全てのプロセッサモジュールは、前記
    無効化指令を同時に受理して、無効化に成功した際に前
    記第２共通バスを使用して前記第２のプロセッサモジュ
    ールに独立に応答し、 前記第２のプロセッサモジュールは全ての無効化の応答
    を受理したことで無効化の成功を認識すると、前記第１
    のプロセッサモジュールに対して第２共通バスを使用し
    て、前記主記憶のアクセスアドレスのコピー値を含む書
    込所有権の移動を応答し、 前記第１のプロセッサモジュールは、前記書込所有権の
    応答の受領により得られた前記コピー値をアクセス元の
    前記キュッシュユニットに格納して、前記プロセッサの
    書込アクセスで上書きさせることを特徴とするキャッシ
    ュコヒーレンス装置。
  22. 【請求項２２】請求項２１記載のキャッシュコヒーレン
    ス装置に於いて、 前記第２のプロセッサモジュールは、無効化の成功を認
    識して書込所有権を移動した際に、前記ディレクトリ記
    憶部のシェア状態をダーティ状態に更新することを特徴
    とするキャッシュコヒーレンス装置。
  23. 【請求項２３】請求項３記載のキャッシュコヒーレンス
    装置に於いて、 第１のプロセッサモジュール内の任意のプロセッサの書
    込アクセスに対し自己のキャッシュユニット及び前記第
    １共通バスを介して接続した他のキャッシュユニットに
    コピー値が書込権を所有した状態で登録されておらずに
    ミスヒットとなり、前記書込アドレスが第２のプロセッ
    サモジュール内の主記憶にあり、更に前記主記憶の書込
    アドレスのコピー値が第２のプロセッサモジュールを含
    む複数のプロセッサモジュールのキャッシュユニットに
    シェア状態で存在する場合、 前記第１のプロセッサモジュールは、前記第２のプロセ
    ッサモジュールに書込所有権の要求指令を発行し、 前記書込所有権の要求指令を受領した前記第２のプロセ
    ッサモジュールは、シェア状態にある全てのプロセッサ
    モジュールに対して第２共通バスを使用して無効化指令
    を発行するのと並行して、自己のシェア状態にあるキャ
    ッシュユニットに対し第１共通バスを使用して無効化指
    令を発行し、 シェア状態にある全てのプロセッサモジュールは前記無
    効化指令を同時に受理して、無効化の成功を第２共通バ
    スを使用して前記第２のプロセッサモジュールに独立に
    応答するのと並行して、前記第２のプロセッサモジュー
    ルのキャッシュユニットは無効化の成功を前記第１共通
    バスを使用して応答し、 前記第２のプロセッサモジュールは、前記第２共通バス
    からの全ての無効化成功の応答と前記第１共通バスから
    の無効化成功の応答を受領したことで無効化の成功を認
    識して、前記第１のプロセッサモジュールに対して前記
    第２共通バスを使用して、前記主記憶の書込アドレスの
    コピー値を含む書込所有権の移動を応答し、 前記第１のプロセッサモジュールは、前記書込所有権の
    応答の受領で得られた前記コピー値をアクセス元の前記
    キュッシュユニットに格納して、前記プロセッサの書込
    アクセスで上書きさせることを特徴とするキャッシュコ
    ヒーレンス装置。
  24. 【請求項２４】請求項２３記載のキャッシュコヒーレン
    ス装置に於いて、 前記第２のプロセッサモジュールは、無効化の成功を認
    識して書込所有権の移動を応答した際に、前記ディレク
    トリ記憶部のシェア状態をダーティ状態に更新すること
    を特徴とするキャッシュコヒーレンス装置。
  25. 【請求項２５】請求項１９，２１及び２３のキャッシュ
    コヒーレンス装置に於いて、前記無効化指令はキャッシ
    ュサブライン単位で発行することを特徴とするキャッシ
    ュコヒーレンス装置。
  26. 【請求項２６】請求項１９，２１及び２３のキャッシュ
    コヒーレンス装置に於いて、前記無効化指令の応答時
    に、無効化を指令したサブラインが含まれるキャッシュ
    ラインの他のサブラインの状態を返送することを特徴と
    するキャッシュコヒーレンス装置。
  27. 【請求項２７】請求項３記載のキャッシュコヒーレンス
    装置に於いて、 第１のプロセッサモジュール内の任意のプロセッサの書
    込アクセスに対し自己のキャッシュユニット及び第１共
    通バスで接続した他のキャッシュユニットにコピー値が
    書込権を所有した状態で登録されておらずにミスヒット
    となり、且つ前記書込アドレスが第１のプロセッサモジ
    ュール内の主記憶にあり、更に前記主記憶の書込アドレ
    スの最新値が第２のプロセッサモジュールのキャッシュ
    ユニットに書込権を所有したダーティ状態で存在する場
    合、 前記第１のプロセッサモジュールは、ダーティ状態にあ
    る前記第２のプロセッサモジュールに対して第２共通バ
    スを使用して書込所有権の要求指令を発行し、 前記第２のメモリモジュールは、前記書込所有権の要求
    指令を受理して、前記キャッシュユニットの最新値を含
    む書込所有権の移動を前記第２共通バスを使用して前記
    第１のプロセッサモジュールに応答し、 前記第１のプロセッサモジュールは、前記書込所有権の
    応答により得られた最新値をアクセス元の前記キャッシ
    ュユニットに格納して前記プロセッサによる書込アクセ
    スで上書きさせることを特徴とするキャッシュコヒーレ
    ンス装置。
  28. 【請求項２８】請求項２７記載のキャッシュコヒーレン
    ス装置に於いて、 前記第２のプロセッサモジュールのキャッシュユニット
    は、書込所有権を移動した際にダーティ状態を無効化状
    態に更新し、前記第１のプロセッサモジュールは書込所
    有権を受領した際に、自己のディレクトリ記憶部のダー
    ティ状態を最新値が存在するメモリモジュールの情報を
    変更したダーティ状態に更新することを特徴とするキャ
    ッシュコヒーレンス装置。
  29. 【請求項２９】請求項３記載のキャッシュコヒーレンス
    装置に於いて、 第１のプロセッサモジュール内のプロセッサの書込アク
    セスに対し自己のキャッシュユニット及び第１共通バス
    を介して接続した他のキャッシュユニットにコピー値が
    書込権を所有した状態で登録されておらずにミスヒット
    となり、前記書込アドレスが第２のプロセッサモジュー
    ル内の主記憶にあり、更に前記主記憶の書込アドレスの
    最新値が第３のプロセッサモジュールのキャッシュユニ
    ットに書込権を所有したダーティ状態で存在する場合、 前記第１のプロセッサモジュールは、前記第２のプロセ
    ッサモジュールに前記第２共通バスを使用して書込み所
    有権の要求指令を発行し、 前記書込所有権の要求指令を受領した第２のプロセッサ
    モジュールは、前記第３のプロセッサモジュールに対し
    て第２共通バスを使用して書込所有権の要求指令を発行
    し、 前記書込所有権の要求指令を受領した前記第３のプロセ
    ッサモジュールは、前記キャッシュユニットの最新値を
    含む書込所有権を前記第２共通バスを使用して前記第１
    及び第２のプロセッサモジュールに応答し、 前記第２のプロセッサモジュールは、前記書込所有権の
    応答を受領して書込所有権の移動を認識し、 前記第１のプロセッサモジュールは、前記書込所有権の
    受領で得られた最新値をアクセス元の前記キュッシュユ
    ニットに格納して、前記プロセッサの書込アクセスで上
    書きさせることを特徴とするキャッシュコヒーレンス装
    置。
  30. 【請求項３０】請求項２９記載のキャッシュコヒーレン
    ス装置に於いて、 前記第３のプロセッサモジュールのキャッシュユニット
    は、書込所有権を移動した際にダーティ状態を無効化状
    態に更新し、 前記第２のプロセッサモジュールは、書込所有権の移動
    を認識した際に、前記ディレクトリ記憶部のダーティ状
    態を最新値の存在するプロセッサモジュールの情報を変
    更したダーティ状態に更新し、 更に前記第１のプロセッサモジュールのアクセス元のキ
    ャッシュユニットは、最新値を格納した際に、無効化状
    態を書込権が存在するダーティ状態に更新することを特
    徴とするキャッシュコヒーレンス装置。
  31. 【請求項３１】請求項３記載のキャッシュコヒーレンス
    装置に於いて、 第１のプロセッサモジュール内の任意のプロセッサの書
    込アクセスに対し自己のキャッシュユニットはミスヒッ
    トしたが、第２共有バスを介して接続した他のキャッシ
    ュユニットに前記書込アドレスの最新値が書込権を所有
    したダーティ状態で存在する場合、 前記第１共通バスを介して前記キャッシュユニット間で
    データ転送及び書込所有権の移動を行ってアクセス元の
    キャッシュユニットに格納した後に前記プロセッサの書
    込アクセスにより上書きさせることを特徴とするキャッ
    シュコヒーレンス装置。
  32. 【請求項３２】請求項３１記載のキャッシュコヒーレン
    ス装置に於いて、 前記アクセス先のキャッシュユニットは書込所有権を移
    動した後にダーティ状態を無効化状態に更新し、前記ア
    クセス元のキャッシュユニットは書込権を獲得した後に
    無効化状態から書込所有権が存在するダーティ状態に更
    新することを特徴とするキャッシュコヒーレンス装置。
  33. 【請求項３３】請求項３記載のキャッシュコヒーレンス
    装置に於いて、 あるプロセッサモジュールのキャッシュユニットに対
    し、モジュール内部からのアクセスとモジュール外部か
    らのアクセスが競合した場合、先発したモジュールに前
    記キャッシュユニットを獲得させて後発のモジュールに
    リトライの指示を行わせ、更に、競合した相手先モジュ
    ールとアクセスアドレスを記憶し、自己のアクセス終了
    後に競合した相手先モジュール以外からのアクセスコマ
    ンドを受けた場合はリトライを指示し、競合した相手先
    のリトライによるアクセスコマンドを優先的に受け付け
    ることを特徴とするキャッシュコヒーレンス装置。
  34. 【請求項３４】請求項３３記載のキャッシュコヒーレン
    ス装置に於いて、 前記プロセッサモジュールのキャッシュユニットに対
    し、モジュール内部のプロセッサエレメントからのアク
    セスと外部の第２プロセッサモジュールからのアクセス
    が競合し、プロセッサエレメントが先発して前記キャッ
    シュユニットを獲得した場合、前記プロセッサエレメン
    トは、前記第２プロセッサモジュールにリトライの指示
    を行わせ、更に、競合した第２プロセッサモジュールと
    アクセスアドレスを記憶し、自己のアクセス終了後に競
    合した前記プロセッサモジュール以外からのアクセスコ
    マンドを受けた場合はリトライを指示し、競合した前記
    第２プロセッサモジュールのリトライによるアクセスコ
    マンドを優先的に受け付けることを特徴とするキャッシ
    ュコヒーレンス装置。
  35. 【請求項３５】請求項３３記載のキャッシュコヒーレン
    ス装置に於いて、前記キャッシュユニットを獲得したモ
    ジュールは、自己のアクセス終了後、前記競合相手先の
    モジュールからのアクセスが所定時間発生しない場合、
    前記競合相手先とアクセスアドレスの記憶内容を初期化
    して競合相手先の優先受付けを解除することを特徴とす
    るキャッシュコヒーレンス装置。
  36. 【請求項３６】請求項３記載のキャッシュコヒーレンス
    装置に於いて、前記プロセッサモジュールは、 前記主記憶に最新データがなく複数のキャッシュユニッ
    トに存在し、該複数のキャッシュユニットの１つが該最
    新データの前記主記憶へコピーバックのための書込所有
    権を保有している場合、 前記書込所有権を有するキャッシュユニットで前記最新
    データのリプレースが発生した際に、該書込所有権を前
    記最新データを保有しているキャッシュユニットに委譲
    し、最新データを保有するキャッシュユニットが１つに
    なるまで前記主記憶への最新データのコピーバックを抑
    止することを特徴とするキャッシュコヒーレンス装置。
  37. 【請求項３７】請求項３６記載のキャッシュコヒーレン
    ス装置に於いて、前記複数のキャッシュユニットは固有
    の識別番号をもち、前記最新データをリプレースしたキ
    ャッシュユニットの識別番号を基に、予め定めた順番に
    従って前記書込所有権を委譲することを特徴とするキャ
    ッシュコヒーレンス装置。
  38. 【請求項３８】請求項３６記載のキャッシュコヒーレン
    ス装置に於いて、前記主記憶を管理するメモリ管理ユニ
    ットは、最新データが前記キャッシュユニットに存在し
    主記憶のデータがダーティ状態にあることを示す書込所
    有権を有し、前記キャッシュユニット間で書込所有権の
    委譲が行われても、前記メモリ管理ユニットの書込所有
    権を他のプロセッサモジュールに移動せずにそのまま維
    持することを特徴とするキャッシュコヒーレンス装置。
  39. 【請求項３９】請求項３記載のキャッシュコヒーレンス
    装置に於いて、前記第２共有バスは、前記複数のプロセ
    ッサモジュールのバス接続ユニットとバスアービタとを
    結合して、前記複数のプロセッサモジュールの間でスプ
    リット型パケット転送によりバスコマンドの転送を行
    い、該バスコマンドに、アクセス要求元を示すソースフ
    ィールド、第１のアクセス要求先を示す第１宛先フィー
    ルド、及び第２のアクセス要求先を示す第２宛先フィー
    ルドの３つを備えたことを特徴とするキャッシュコヒー
    レンス装置。
  40. 【請求項４０】請求項３９記載のキャッシュコヒーレン
    ス装置に於いて、 第１プロセッサモジュールは、自己のリード要求の対象
    データが第２プロセッサモジュールの主記憶に存在する
    場合、前記ソースフィールドに自己を指定し、第１宛先
    フィールドに前記第２プロセッサモジュールを指定した
    第１バスコマンドを送出し、 前記第１バスコマンドを受信した第２プロセッサモジュ
    ールは、リード要求の最新データが主記憶に存在せずに
    第３プロセッサモジュールのキャッシュユニットに存在
    する場合、前記ソースフィールドに自己を指定し、第１
    宛先フィールドに最新データをもつ前記第３プロセッサ
    モジュールを指定し、更に第２宛先フィールドに前記ア
    クセス要求元の第１プロセッサモジュールを指定した第
    ２バスコマンドを送出し、 前記第２バスコマンドを受信した第３プロセッサモジュ
    ールは、前記ソースフィールドに自己を指定し、第１宛
    先フィールドに前記主記憶の前記第２プロセッサモジュ
    ールを指定し、更に第２宛先フィールドに前記リード要
    求元の第１プロセッサモジュールを指定したリプライコ
    マンドを送出して、前記第１及び第２プロセッサモジュ
    ールに同時にリードデータ応答することを特徴とするキ
    ャッシュコヒーレンス装置。
  41. 【請求項４１】請求項４０記載のキャッシュコヒーレン
    ス装置に於いて、前記第１プロセッサモジュールは、前
    記第２プロセッサモジュールから第３プロセッサモジュ
    ールに対し第２バスコマンドが送出された際に、前記第
    １バスコマンドの送出で起動してバスタイムアウトを監
    視するタイマの設定時間を、第１時間からより長い第２
    時間に変更することを特徴とするキャッシュコヒーレン
    ス装置。
  42. 【請求項４２】請求項３９記載のキャッシュコヒーレン
    ス装置に於いて、前記ソースフィールド、第１宛先フィ
    ールドおよび第２宛先フィールドの各々を、前記第２共
    有バスを示すバス識別子とプロセッサモジュール等のユ
    ニットを示すユニット識別子の２つで表現し、複数の前
    記第２共有バスをバス間接続ユニットを介して相互に接
    続した場合、他の第２共有バス内のユニットを指定可能
    としたことを特徴とするキャッシュコヒーレンス装置。
  43. 【請求項４３】請求項３９記載のキャッシュコヒーレン
    ス装置に於いて、前記複数のプロセッサモジュールを前
    記第２共有バスで接続したサブシステムを、サブシステ
    ム接続ユニットを介して複数結合した場合、前記バスコ
    マンドに前記サブシステム間での転送を示すサブシステ
    ム拡張識別子を設け、該サブシステム拡張識別子が有効
    なときに各サブシステム毎のコマンドフィールドで前記
    ソースフィールド、第１宛先フィールドおよび第２宛先
    フィールドの各々を指定して、異なるサブシステムのユ
    ニットを指定可能としたことを特徴とするキャッシュコ
    ヒーレンス装置。
  44. 【請求項４４】請求項３９記載のキャッシュコヒーレン
    ス装置に於いて、前記複数のプロセッサモジュールを接
    続した第２共有バスに対し、異種のシステムバスをもつ
    サブシステムが異種バス接続ユニットを介して結合され
    た場合、前記バスコマンドは、異種のシステムバスをエ
    ミュレートするコマンドをコマンドフィールドの一部に
    備え、異種のシステムバス上のユニットを指定可能とし
    たことを特徴とするキャッシュコヒーレンス装置。
  45. 【請求項４５】請求項３９記載のキャッシュコヒーレン
    ス装置に於いて、第１プロセッサモジュールから第２プ
    ロセッサモジュールへのバスコマンドの転送中に、第２
    プロセッサモジュールで異常を検出した場合、前記第２
    プロセッサモジュールは、エラーリプライバスコマンド
    を送出して前記第１プロセッサモジュールにエラー通知
    することを特徴とするキャッシュコヒーレンス装置。
  46. 【請求項４６】請求項３９記載のキャッシュコヒーレン
    ス装置に於いて、第１プロセッサモジュールから第２プ
    ロセッサモジュールへのバスコマンドのバス転送中に、
    前記バスアービタで異常を検出した場合、前記バスアー
    ビタはエラーリプライバスコマンドを送出して前記第１
    プロセッサモジュールにエラー通知することを特徴とす
    るキャッシュコヒーレンス装置。
  47. 【請求項４７】請求項４５又は４６記載のキャッシュコ
    ヒーレンス装置に於いて、前記エラーリプライバスコマ
    ンドは、検出した異常の原因を分類フィールド、アクセ
    ス経路が複数存在する場合にどのアクセス経路で異常が
    発生したかを示すフィールド、及び検出した異常の種類
    を示すフィールドを有することを特徴とするキャッシュ
    コヒーレンス装置。
  48. 【請求項４８】請求項３９記載のキャッシュコヒーレン
    ス装置に於いて、前記バスコマンドは、前記第１宛先フ
    ィールドおよび第２宛先フィールドの各々に、ソースユ
    ニットの動作識別子を格納するアクセス識別子フィール
    ドを設け、該アクセス識別子フィールドの動作識別子に
    よりバスコマンドを修飾し、該バスコマンドの動作モー
    ドを変更することを特徴とするキャッシュコヒーレンス
    装置。
  49. 【請求項４９】請求項４８記載のキャッシュコヒーレン
    ス装置に於いて、アクセス要求元となる第１プロセッサ
    モジュールからアクセス先の主記憶をもつ第２プロセッ
    サモジュールに第１バスコマンドを送出し、該第２プロ
    セッサモジュールから最新データをキャッシュユニット
    に保有する第３プロセッサモジュールに第２バスコマン
    ドを送出し、最終的に第３プロセッサモジュールからリ
    プライバスコマンドを送出する場合、 前記第１プロセッサモジュールは、前記第２バスコマン
    ドにおける第１宛先フイールドのアクセス識別子フィー
    ルドに自己の動作識別子を指定し、 前記第２プロセッサモジュールは、第２バスコマンドに
    おける第１及び第２宛先フィールドのアクセス識別子フ
    ィールドの各々に、前記第２バスコマンドと同じ動作識
    別子を指定し、 前記第３モジュールは、前記リプライバスコマンドにお
    ける第１及び第２宛先フィールドのアクセス識別子フィ
    ールドの各々に、前記第２バスコマンドと同じ動作識別
    子を指定し、 更に、前記第１及び第２プロセッサモジュールの各々
    は、前記リプライバスコマンドの自己の宛先フィールド
    の動作識別子とバスコマンド送出時に記憶保持した動作
    識別子との一致を判断して自己のバスコマンドに対する
    リプライであると判断することを特徴とするキャッシュ
    コヒーレンス装置。
  50. 【請求項５０】請求項３９記載のキャッシュコヒーレン
    ス装置に於いて、前記第２共有バスは、前記データ及び
    パリティを並列転送するデータバス線と、該データバス
    線とは独立にバスシーケンスの動作を規定するタグ情報
    線を有し、該タグ情報線によるタグ情報の指定により、
    １回のバス獲得で複数のバスサイクルを継続することを
    特徴とするキャッシュコヒーレンス装置。
  51. 【請求項５１】請求項５０記載のキャッシュコヒーレン
    ス装置に於いて、前記タグ情報線によるリトライの指定
    により、前記バスサイクルの任意のタイミングで実行中
    のバスシーケンスの無効化を指示することを特徴とする
    キャッシュコヒーレンス装置。
  52. 【請求項５２】請求項５０記載のキャッシュコヒーレン
    ス装置に於いて、前記タグ制御線で相互に接続された複
    数のプロセッサモジュールのバス接続ユニットとバスア
    ービタは、 前記複数のバス接続ユニットのいずれもバスサイクルを
    開始していない場合には、バスアービタから各バス接続
    ユニットに対し個別に出力されるバス使用許可信号と、
    前記バスアービタから全てのバス接続ユニットに共通に
    出力されるバス使用開始指示信号を、同時に受信した特
    定のバス接続ユニットがバスサイクルを開始し、 既に他のバス接続ユニットがバスシーケンスを開始して
    いた場合には、前記バス使用許可信号を受け取ったバス
    接続ユニットが、他のバス接続ユニットが出力するバス
    サイクルの終了信号を検出してバスサイクルを開始する
    ことを特徴とするキャッシュコヒーレンス装置。
  53. 【請求項５３】請求項５２記載のキャッシュコヒーレン
    ス装置に於いて、前記バスアービタは、特定タイミング
    で受理した前記バス接続ユニットからのバス使用要求が
    全て処理されるまで、後続のバス使用要求処理を保留す
    ることを特徴とするキャッシュコヒーレンス装置。
  54. 【請求項５４】請求項５２記載のキャッシュコヒーレン
    ス装置に於いて、前記タグ情報線は、通常のバス使用要
    求信号に使用する第１バス使用要求線と、異常報告等の
    緊急バス使用要求信号に使用する第２バス使用要求線を
    有し、前記バスアービタは、特定タイミングで受理した
    バス使用要求信号の中で緊急要求信号を出力したバス接
    続ユニッに優先してバス使用許可を与えることを特徴と
    するキャッシュコヒーレンス装置。
  55. 【請求項５５】請求項５４記載のキャッシュコヒーレン
    ス装置に於いて、前記第１及び第２バス使用要求線の信
    号の組み合わせで、通常のバス使用要求、緊急バス使用
    要求、バス使用要求無し、及びバス接続ユニット自身の
    非動作状態の通知を行うことを特徴とするキャッシュコ
    ヒーレンス装置。
  56. 【請求項５６】請求項６記載のキャッシュコヒーレンス
    装置に於いて、前記バス接続ユニットに第２ディレクト
    リ記憶部を設け、該第２ディレクトリ記憶部に、他のプ
    ロセッサモジュールに対するアクセス要求で応答待ちに
    ある状態をキャッシュライン単位に登録し、他のプロセ
    ッサモジュールからのアクセスに対し前記第２ディレク
    トリの記憶部の参照で同一キャッシュラインのアクセス
    を認識した場合、ビジーを応答することを特徴とするキ
    ャッシュコヒーレンス装置。
  57. 【請求項５７】請求項５６記載のキャッシュコヒーレン
    ス装置に於いて、リモートとしての第１プロセッサモジ
    ュールからライトアクセスを受けたホームとしての第２
    プロセッサモジュールがリモートの第３プロセッサモジ
    ュールに対し同じキャッシュラインの無効化を要求した
    場合、該リモートに対する無効化要求の完了待ちの状態
    を前記第２ディレクトリ記憶部に登録し、他のプロセッ
    サモジュールからの同一キャッシュラインのアクセス要
    求に対し、ビジーを応答することを特徴とするキャッシ
    ュコヒーレンス装置。
  58. 【請求項５８】請求項５７記載のキャッシュコヒーレン
    ス装置に於いて、前記ビジー応答を要求元のプロセッサ
    モジュール内のキャッシュユニットまで伝えてリトライ
    を行わせることを特徴とするキャッシュコヒーレンス装
    置。
  59. 【請求項５９】請求項５７記載のキャッシュコヒーレン
    ス装置に於いて、前記ホームの第２プロセッサモジュー
    ルに対する他のプロセッサモジュールのアクゼス要求
    で、前記パス接続ユニットのバッファフルとなった場
    合、アクセス要求元のプロセッサモジュールのバス接続
    ユニットにビジーを応答し、前記第２共有バスに対しリ
    トライを行わせることを特徴とするキャッシュコヒーレ
    ンス装置。
JP25052795A 1995-03-20 1995-09-28 キャッシュコヒーレンス装置 Expired - Fee Related JP3872118B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP25052795A JP3872118B2 (ja) 1995-03-20 1995-09-28 キャッシュコヒーレンス装置
US08/598,243 US5890217A (en) 1995-03-20 1996-02-07 Coherence apparatus for cache of multiprocessor
GB9605790A GB2299187B (en) 1995-03-20 1996-03-19 Multiprocessor cache

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP7-60500 1995-03-20
JP6050095 1995-03-20
JP25052795A JP3872118B2 (ja) 1995-03-20 1995-09-28 キャッシュコヒーレンス装置

Related Child Applications (4)

Application Number Title Priority Date Filing Date
JP2006077441A Division JP4424619B2 (ja) 1995-03-20 2006-03-20 情報処理装置
JP2006077114A Division JP3914250B2 (ja) 1995-03-20 2006-03-20 キャッシュコヒーレンス装置
JP2006077475A Division JP4361910B2 (ja) 1995-03-20 2006-03-20 キャッシュコヒーレンス装置
JP2006077052A Division JP4361909B2 (ja) 1995-03-20 2006-03-20 キャッシュコヒーレンス装置

Publications (2)

Publication Number Publication Date
JPH08320827A true JPH08320827A (ja) 1996-12-03
JP3872118B2 JP3872118B2 (ja) 2007-01-24

Family

ID=26401575

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25052795A Expired - Fee Related JP3872118B2 (ja) 1995-03-20 1995-09-28 キャッシュコヒーレンス装置

Country Status (3)

Country Link
US (1) US5890217A (ja)
JP (1) JP3872118B2 (ja)
GB (1) GB2299187B (ja)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6043637A (en) * 1997-12-01 2000-03-28 Nec Corporation Voltage generator circuit
JP2005141606A (ja) * 2003-11-10 2005-06-02 Hitachi Ltd マルチプロセッサシステム
JP2006072509A (ja) * 2004-08-31 2006-03-16 Fujitsu Ltd 情報処理装置及びローカルスヌープ制御方法
JP2006155110A (ja) * 2004-11-29 2006-06-15 Fujitsu Ltd 情報処理装置、システム制御装置、システム制御方法
JP2007199999A (ja) * 2006-01-26 2007-08-09 Nec Computertechno Ltd マルチプロセッサシステム及びその動作方法
WO2007099583A1 (ja) * 2006-02-28 2007-09-07 Fujitsu Limited システムコントローラおよびキャッシュ制御方法
JP2007241601A (ja) * 2006-03-08 2007-09-20 Fujitsu Ltd マルチプロセッサシステム
JP2007272922A (ja) * 2001-06-04 2007-10-18 Fujitsu Ltd 複数ノード間での通信方法、相互接続ポートおよび相互接続システム
JP2008046958A (ja) * 2006-08-18 2008-02-28 Fujitsu Ltd システムコントローラ，同一アドレスリクエストキューイング防止方法および情報処理装置
JP2011076159A (ja) * 2009-09-29 2011-04-14 Nec Computertechno Ltd キャッシュメモリ制御システム及びキャッシュメモリの制御方法
WO2012008008A1 (ja) * 2010-07-12 2012-01-19 富士通株式会社 情報処理システム
WO2012035605A1 (ja) * 2010-09-13 2012-03-22 富士通株式会社 情報処理装置および情報処理装置の制御方法
JP2013140445A (ja) * 2011-12-28 2013-07-18 Fujitsu Ltd 情報処理装置、制御方法および制御プログラム
JP2014197402A (ja) * 2014-05-26 2014-10-16 富士通株式会社 情報処理装置、制御方法および制御プログラム
US8892260B2 (en) 2007-03-20 2014-11-18 Irobot Corporation Mobile robot for telecommunication
US8930019B2 (en) 2010-12-30 2015-01-06 Irobot Corporation Mobile human interface robot
US9014848B2 (en) 2010-05-20 2015-04-21 Irobot Corporation Mobile robot system
JPWO2013114540A1 (ja) * 2012-01-30 2015-05-11 富士通株式会社 制御装置、解析装置、解析方法、および解析プログラム
JP2016119066A (ja) * 2014-12-23 2016-06-30 インテル コーポレイション クロスダイ・インタフェース・スヌープ又はグローバル観測メッセージの順序付け
JP2016157462A (ja) * 2011-10-26 2016-09-01 クゥアルコム・テクノロジーズ・インコーポレイテッド キャッシュコヒーレンシを有する集積回路
JP2017123051A (ja) * 2016-01-07 2017-07-13 富士通株式会社 情報処理装置、情報処理装置の制御方法及び演算処理装置
US10565121B2 (en) 2016-12-16 2020-02-18 Alibaba Group Holding Limited Method and apparatus for reducing read/write contention to a cache
US10846164B2 (en) 2017-09-15 2020-11-24 Kabushiki Kaisha Toshiba System LSI and fault detection method for system LSI

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3875749B2 (ja) * 1996-08-08 2007-01-31 富士通株式会社 マルチプロセッサ装置及びそのメモリアクセス方法
US6044438A (en) * 1997-07-10 2000-03-28 International Business Machiness Corporation Memory controller for controlling memory accesses across networks in distributed shared memory processing systems
US9092595B2 (en) 1997-10-08 2015-07-28 Pact Xpp Technologies Ag Multiprocessor having associated RAM units
US6101581A (en) * 1997-10-24 2000-08-08 Doren; Stephen Van Separate victim buffer read and release control
US6480927B1 (en) * 1997-12-31 2002-11-12 Unisys Corporation High-performance modular memory system with crossbar connections
US6209064B1 (en) * 1998-01-07 2001-03-27 Fujitsu Limited Cache coherence unit with integrated message passing and memory protection for a distributed, shared memory multiprocessor system
US6247098B1 (en) * 1998-02-17 2001-06-12 International Business Machines Corporation Cache coherency protocol with selectively implemented tagged state
US6112258A (en) * 1998-03-19 2000-08-29 3Com Corporation Multi-cycle I/O ASIC communication system having an arbiter circuit capable of updating address table associated with each I/O ASIC on bus
US6560681B1 (en) * 1998-05-08 2003-05-06 Fujitsu Limited Split sparse directory for a distributed shared memory multiprocessor system
US6108721A (en) * 1998-06-29 2000-08-22 Hewlett-Packard Company Method and apparatus for ensuring data consistency between an i/o channel and a processor
US6526066B1 (en) * 1998-07-16 2003-02-25 Nortel Networks Limited Apparatus for classifying a packet within a data stream in a computer network
US6519677B1 (en) * 1999-04-20 2003-02-11 International Business Machines Corporation Managing access to shared data in data processing networks
US6349350B1 (en) * 1999-05-04 2002-02-19 International Business Machines Corporation System, method, and program for handling failed connections in an input/output (I/O) system
US6339812B1 (en) * 1999-09-30 2002-01-15 Silicon Graphics, Inc. Method and apparatus for handling invalidation requests to processors not present in a computer system
US6651157B1 (en) * 1999-10-15 2003-11-18 Silicon Graphics, Inc. Multi-processor system and method of accessing data therein
JP3391315B2 (ja) * 1999-10-20 2003-03-31 日本電気株式会社 バス制御装置
US6701417B2 (en) 2001-04-11 2004-03-02 Sun Microsystems, Inc. Method and apparatus for supporting multiple cache line invalidations per cycle
US6684297B2 (en) * 2001-04-11 2004-01-27 Sun Microsystems, Inc. Reverse directory for facilitating accesses involving a lower-level cache
US20040158687A1 (en) * 2002-05-01 2004-08-12 The Board Of Governors For Higher Education, State Of Rhode Island And Providence Plantations Distributed raid and location independence caching system
WO2002088961A1 (en) * 2001-05-01 2002-11-07 The Board Of Governors For Higher Education, State Of Rhode Island And Providence Plantations Distributed raid and location independence caching system
KR100413686B1 (ko) * 2001-07-14 2003-12-31 삼성전자주식회사 모니터의 절전 장치 및 그 제어 방법
US7336700B2 (en) * 2001-09-20 2008-02-26 Lockheed Martin Corporation System bus transceiver interface
US7191271B2 (en) * 2001-09-20 2007-03-13 Lockheed Martin Corporation Two level multi-tier system bus
US6922783B2 (en) * 2002-01-16 2005-07-26 Hewlett-Packard Development Company, L.P. Method and apparatus for conserving power on a multiprocessor integrated circuit
US8185602B2 (en) 2002-11-05 2012-05-22 Newisys, Inc. Transaction processing using multiple protocol engines in systems having multiple multi-processor clusters
US7395380B2 (en) * 2003-03-20 2008-07-01 International Business Machines Corporation Selective snooping by snoop masters to locate updated data
US7089376B2 (en) * 2003-03-20 2006-08-08 International Business Machines Corporation Reducing snoop response time for snoopers without copies of requested data via snoop filtering
US7035986B2 (en) * 2003-05-12 2006-04-25 International Business Machines Corporation System and method for simultaneous access of the same line in cache storage
US7099971B1 (en) * 2003-06-26 2006-08-29 Emc Corporation Arbitration system
US7594081B2 (en) 2004-09-10 2009-09-22 Cavium Networks, Inc. Direct access to low-latency memory
US7941585B2 (en) * 2004-09-10 2011-05-10 Cavium Networks, Inc. Local scratchpad and data caching system
WO2006031551A2 (en) 2004-09-10 2006-03-23 Cavium Networks Selective replication of data structure
US20060080511A1 (en) * 2004-10-08 2006-04-13 International Business Machines Corporation Enhanced bus transactions for efficient support of a remote cache directory copy
US8332592B2 (en) * 2004-10-08 2012-12-11 International Business Machines Corporation Graphics processor with snoop filter
US7475190B2 (en) * 2004-10-08 2009-01-06 International Business Machines Corporation Direct access of cache lock set data without backing memory
US7305524B2 (en) * 2004-10-08 2007-12-04 International Business Machines Corporation Snoop filter directory mechanism in coherency shared memory system
US20060080514A1 (en) * 2004-10-08 2006-04-13 International Business Machines Corporation Managing shared memory
US7577794B2 (en) * 2004-10-08 2009-08-18 International Business Machines Corporation Low latency coherency protocol for a multi-chip multiprocessor system
US8010682B2 (en) * 2004-12-28 2011-08-30 International Business Machines Corporation Early coherency indication for return data in shared memory architecture
US7418541B2 (en) * 2005-02-10 2008-08-26 International Business Machines Corporation Method for indirect access to a support interface for memory-mapped resources to reduce system connectivity from out-of-band support processor
US7467204B2 (en) * 2005-02-10 2008-12-16 International Business Machines Corporation Method for providing low-level hardware access to in-band and out-of-band firmware
US7437617B2 (en) * 2005-02-11 2008-10-14 International Business Machines Corporation Method, apparatus, and computer program product in a processor for concurrently sharing a memory controller among a tracing process and non-tracing processes using a programmable variable number of shared memory write buffers
US7421619B2 (en) * 2005-02-11 2008-09-02 International Business Machines Corporation Method in a processor for performing in-memory tracing using existing communication paths
US7437618B2 (en) * 2005-02-11 2008-10-14 International Business Machines Corporation Method in a processor for dynamically during runtime allocating memory for in-memory hardware tracing
US7418629B2 (en) * 2005-02-11 2008-08-26 International Business Machines Corporation Synchronizing triggering of multiple hardware trace facilities using an existing system bus
US7380070B2 (en) * 2005-02-17 2008-05-27 Texas Instruments Incorporated Organization of dirty bits for a write-back cache
JP4362454B2 (ja) * 2005-04-07 2009-11-11 富士通株式会社 キャッシュコヒーレンス管理装置およびキャッシュコヒーレンス管理方法
JP2007047892A (ja) 2005-08-08 2007-02-22 Hitachi Ltd 計算機システム及び計算機システムの状態管理方法
US7529866B2 (en) * 2005-11-17 2009-05-05 P.A. Semi, Inc. Retry mechanism in cache coherent communication among agents
US20070214333A1 (en) * 2006-03-10 2007-09-13 Dell Products L.P. Modifying node descriptors to reflect memory migration in an information handling system with non-uniform memory access
JP4835249B2 (ja) * 2006-04-26 2011-12-14 株式会社日立製作所 ストレージシステム、リモートコピー、その管理方法
JP4388557B2 (ja) * 2007-01-11 2009-12-24 株式会社日立製作所 画像処理システム
JP5084372B2 (ja) * 2007-07-03 2012-11-28 キヤノン株式会社 データ処理装置およびデータ処理装置の制御方法
JP4913685B2 (ja) * 2007-07-04 2012-04-11 株式会社リコー Ｓｉｍｄ型マイクロプロセッサおよびｓｉｍｄ型マイクロプロセッサの制御方法
CN101546282B (zh) * 2008-03-28 2011-05-18 国际商业机器公司 用于在处理器中执行写拷贝的方法和设备
US8868847B2 (en) * 2009-03-11 2014-10-21 Apple Inc. Multi-core processor snoop filtering
JP5321203B2 (ja) * 2009-03-31 2013-10-23 富士通株式会社 システム制御装置、情報処理システムおよびアクセス処理方法
US8806134B2 (en) * 2010-04-16 2014-08-12 Pmc-Sierra Us, Inc. Mirrored cache protection
JP5906881B2 (ja) * 2012-03-27 2016-04-20 富士通株式会社 情報処理装置及び情報処理装置の制御方法
KR101944329B1 (ko) 2012-04-17 2019-04-18 삼성전자주식회사 멀티프로세서 시스템 및 그것의 캐쉬 관리 방법
US9129071B2 (en) * 2012-10-24 2015-09-08 Texas Instruments Incorporated Coherence controller slot architecture allowing zero latency write commit
JP5456208B1 (ja) * 2013-01-30 2014-03-26 三菱電機株式会社 数値制御装置
US20140333779A1 (en) * 2013-05-13 2014-11-13 Electronics And Telecommunications Research Institute Apparatus for distributing bus traffic of multiple camera inputs of automotive system on chip and automotive system on chip using the same
JP5936152B2 (ja) 2014-05-17 2016-06-15 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ メモリアクセストレース方法
US9830162B2 (en) * 2014-12-15 2017-11-28 Intel Corporation Technologies for indirect branch target security
JP6674085B2 (ja) * 2015-08-12 2020-04-01 富士通株式会社 演算処理装置及び演算処理装置の制御方法
US10540292B2 (en) 2016-06-08 2020-01-21 Google Llc TLB shootdowns for low overhead
US10846230B2 (en) * 2016-12-12 2020-11-24 Intel Corporation Methods and systems for invalidating memory ranges in fabric-based architectures
US10437729B2 (en) 2017-04-19 2019-10-08 International Business Machines Corporation Non-disruptive clearing of varying address ranges from cache
US11042483B2 (en) 2019-04-26 2021-06-22 International Business Machines Corporation Efficient eviction of whole set associated cache or selected range of addresses
US11119770B2 (en) * 2019-07-26 2021-09-14 Microsoft Technology Licensing, Llc Performing atomic store-and-invalidate operations in processor-based devices
CN116708571B (zh) * 2023-07-22 2024-05-14 武汉船舶职业技术学院 一种基于5g通信的智能终端服务方法、系统及存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4136386A (en) * 1977-10-06 1979-01-23 International Business Machines Corporation Backing store access coordination in a multi-processor system
US4399506A (en) * 1980-10-06 1983-08-16 International Business Machines Corporation Store-in-cache processor means for clearing main storage
US4410944A (en) * 1981-03-24 1983-10-18 Burroughs Corporation Apparatus and method for maintaining cache memory integrity in a shared memory environment
US4503497A (en) * 1982-05-27 1985-03-05 International Business Machines Corporation System for independent cache-to-cache transfer
US4622631B1 (en) * 1983-12-30 1996-04-09 Recognition Int Inc Data processing system having a data coherence solution
JPS60215272A (ja) * 1984-04-10 1985-10-28 Mitsubishi Electric Corp マルチプロセツサシステム
JPH07113914B2 (ja) * 1986-05-31 1995-12-06 日本電気株式会社 メモリ制御装置
US4959777A (en) * 1987-07-27 1990-09-25 Motorola Computer X Write-shared cache circuit for multiprocessor system
EP0424432B1 (en) * 1988-07-04 1997-11-19 Sun Microsystems, Inc. Multiprocessor system including a hierarchical cache memory system
US5130922A (en) * 1989-05-17 1992-07-14 International Business Machines Corporation Multiprocessor cache memory system using temporary access states and method for operating such a memory
US5291442A (en) * 1990-10-31 1994-03-01 International Business Machines Corporation Method and apparatus for dynamic cache line sectoring in multiprocessor systems
CA2051209C (en) * 1990-11-30 1996-05-07 Pradeep S. Sindhu Consistency protocols for shared memory multiprocessors
JP3187446B2 (ja) * 1991-04-02 2001-07-11 沖電気工業株式会社 キャッシュメモリ制御装置
US5522058A (en) * 1992-08-11 1996-05-28 Kabushiki Kaisha Toshiba Distributed shared-memory multiprocessor system with reduced traffic on shared bus
JPH06110844A (ja) * 1992-08-11 1994-04-22 Toshiba Corp 分散共有メモリ型マルチプロセッサシステム
US5434993A (en) * 1992-11-09 1995-07-18 Sun Microsystems, Inc. Methods and apparatus for creating a pending write-back controller for a cache controller on a packet switched memory bus employing dual directories
JP2809961B2 (ja) * 1993-03-02 1998-10-15 株式会社東芝 マルチプロセッサ
FR2707774B1 (fr) * 1993-07-15 1995-08-18 Bull Sa Procédé de gestion cohérente des échanges entre des niveaux d'une hiérarchie de mémoires à au moins trois niveaux.
JP3200757B2 (ja) * 1993-10-22 2001-08-20 株式会社日立製作所 並列計算機の記憶制御方法および並列計算機
US5530933A (en) * 1994-02-24 1996-06-25 Hewlett-Packard Company Multiprocessor system for maintaining cache coherency by checking the coherency in the order of the transactions being issued on the bus
BR9506997A (pt) * 1994-03-01 1997-11-18 Intel Corp Arquitetura de barramento altamente canalizada

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6043637A (en) * 1997-12-01 2000-03-28 Nec Corporation Voltage generator circuit
JP2007272922A (ja) * 2001-06-04 2007-10-18 Fujitsu Ltd 複数ノード間での通信方法、相互接続ポートおよび相互接続システム
JP2005141606A (ja) * 2003-11-10 2005-06-02 Hitachi Ltd マルチプロセッサシステム
JP2006072509A (ja) * 2004-08-31 2006-03-16 Fujitsu Ltd 情報処理装置及びローカルスヌープ制御方法
JP2006155110A (ja) * 2004-11-29 2006-06-15 Fujitsu Ltd 情報処理装置、システム制御装置、システム制御方法
JP2007199999A (ja) * 2006-01-26 2007-08-09 Nec Computertechno Ltd マルチプロセッサシステム及びその動作方法
US8327081B2 (en) 2006-02-28 2012-12-04 Fujitsu Limited Information processing device and method for controlling the same
WO2007099583A1 (ja) * 2006-02-28 2007-09-07 Fujitsu Limited システムコントローラおよびキャッシュ制御方法
JP2007241601A (ja) * 2006-03-08 2007-09-20 Fujitsu Ltd マルチプロセッサシステム
JP2008046958A (ja) * 2006-08-18 2008-02-28 Fujitsu Ltd システムコントローラ，同一アドレスリクエストキューイング防止方法および情報処理装置
US8892260B2 (en) 2007-03-20 2014-11-18 Irobot Corporation Mobile robot for telecommunication
JP2011076159A (ja) * 2009-09-29 2011-04-14 Nec Computertechno Ltd キャッシュメモリ制御システム及びキャッシュメモリの制御方法
US9014848B2 (en) 2010-05-20 2015-04-21 Irobot Corporation Mobile robot system
WO2012008008A1 (ja) * 2010-07-12 2012-01-19 富士通株式会社 情報処理システム
WO2012035605A1 (ja) * 2010-09-13 2012-03-22 富士通株式会社 情報処理装置および情報処理装置の制御方法
US8930019B2 (en) 2010-12-30 2015-01-06 Irobot Corporation Mobile human interface robot
JP2016157462A (ja) * 2011-10-26 2016-09-01 クゥアルコム・テクノロジーズ・インコーポレイテッド キャッシュコヒーレンシを有する集積回路
US9065706B2 (en) 2011-12-28 2015-06-23 Fujitsu Limited Information processing apparatus, computer-readable recording medium, and control method
JP2013140445A (ja) * 2011-12-28 2013-07-18 Fujitsu Ltd 情報処理装置、制御方法および制御プログラム
JPWO2013114540A1 (ja) * 2012-01-30 2015-05-11 富士通株式会社 制御装置、解析装置、解析方法、および解析プログラム
JP2014197402A (ja) * 2014-05-26 2014-10-16 富士通株式会社 情報処理装置、制御方法および制御プログラム
JP2016119066A (ja) * 2014-12-23 2016-06-30 インテル コーポレイション クロスダイ・インタフェース・スヌープ又はグローバル観測メッセージの順序付け
JP2017123051A (ja) * 2016-01-07 2017-07-13 富士通株式会社 情報処理装置、情報処理装置の制御方法及び演算処理装置
US10565121B2 (en) 2016-12-16 2020-02-18 Alibaba Group Holding Limited Method and apparatus for reducing read/write contention to a cache
US10846164B2 (en) 2017-09-15 2020-11-24 Kabushiki Kaisha Toshiba System LSI and fault detection method for system LSI

Also Published As

Publication number Publication date
JP3872118B2 (ja) 2007-01-24
GB2299187B (en) 1998-04-29
GB2299187A (en) 1996-09-25
US5890217A (en) 1999-03-30
GB9605790D0 (en) 1996-05-22

Similar Documents

Publication Publication Date Title
JPH08320827A (ja) キャッシュコヒーレンス装置
US5440698A (en) Arbitration of packet switched busses, including busses for shared memory multiprocessors
US5265235A (en) Consistency protocols for shared memory multiprocessors
US5924119A (en) Consistent packet switched memory bus for shared memory multiprocessors
JP3737834B2 (ja) ２重化キャッシュ・スヌープ機構
US5276852A (en) Method and apparatus for controlling a processor bus used by multiple processor components during writeback cache transactions
EP0817073B1 (en) A multiprocessing system configured to perform efficient write operations
US5881303A (en) Multiprocessing system configured to perform prefetch coherency activity with separate reissue queue for each processing subnode
US5983326A (en) Multiprocessing system including an enhanced blocking mechanism for read-to-share-transactions in a NUMA mode
US5860159A (en) Multiprocessing system including an apparatus for optimizing spin--lock operations
CA2271536C (en) Non-uniform memory access (numa) data processing system that buffers potential third node transactions to decrease communication latency
JPH11506852A (ja) 多数のバスマスタと共用レベル２キャッシュとを備える多レベルキャッシュシステムでのキャッシュスヌーピングオーバーヘッドの低減
JPH09101943A (ja) パケット交換型キャッシュコヒーレントマルチプロセッサシステム
KR100387541B1 (ko) 멀티프로세서 시스템에서 캐쉬 코히어런시 유지 방법, 멀티프로세서 시스템 및 노드 제어기
KR20000022712A (ko) 노드 상호 접속망 상에서 요구를 예측 방식으로 발행하는 비균일 메모리 액세스 데이터 처리 시스템
CA2300005A1 (en) Multiprocessing system employing pending tags to maintain cache coherence
EP0489556B1 (en) Consistency protocols for shared memory multiprocessors
JPH08249231A (ja) マルチプロセッサ・システムにおける古いデータの処理システム及び方法
US7797495B1 (en) Distributed directory cache
US6226718B1 (en) Method and system for avoiding livelocks due to stale exclusive/modified directory entries within a non-uniform access system
KR100322223B1 (ko) 대기행렬및스누프테이블을갖는메모리제어기
JP4361909B2 (ja) キャッシュコヒーレンス装置
JP4424619B2 (ja) 情報処理装置
JPH10232832A (ja) 重複タグ・システム維持方法
JP4361910B2 (ja) キャッシュコヒーレンス装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060320

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061019

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091027

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101027

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101027

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111027

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111027

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121027

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121027

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131027

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees