JP4447580B2 - 分散共有メモリマルチプロセッサシステムのための分割疎ディレクトリ - Google Patents

分散共有メモリマルチプロセッサシステムのための分割疎ディレクトリ Download PDF

Info

Publication number
JP4447580B2
JP4447580B2 JP2006159012A JP2006159012A JP4447580B2 JP 4447580 B2 JP4447580 B2 JP 4447580B2 JP 2006159012 A JP2006159012 A JP 2006159012A JP 2006159012 A JP2006159012 A JP 2006159012A JP 4447580 B2 JP4447580 B2 JP 4447580B2
Authority
JP
Japan
Prior art keywords
cache
directory
memory
state information
cache line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2006159012A
Other languages
English (en)
Other versions
JP2006277762A (ja
Inventor
クリストファー ウィルソン ジェイムズ
ウェーバー ウォルフ−ディートリッチ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2006277762A publication Critical patent/JP2006277762A/ja
Application granted granted Critical
Publication of JP4447580B2 publication Critical patent/JP4447580B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0815Cache consistency protocols
    • G06F12/0817Cache consistency protocols using directory methods
    • G06F12/082Associative directories
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163Interprocessor communication
    • G06F15/167Interprocessor communication using a common memory, e.g. mailbox
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/177Initialisation or configuration control

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Description

本発明はマルチプロセッサ・データ処理システムに関し、特にマルチバス共有メモリ・システムを伴う複数のマルチプロセッサのキャッシュ・コヒーレンスに関する。
コンピュータ・システムの中には、1つのプログラムに対して並行して動作し、プログラムの実行速度を上げることのできる多数のプロセッサによって構築されているものがある。こうしたマルチプロセッサ・システムのアーキテクチャは、多数のプロセッサ間の通信に使用される機構によって分類される。共有メモリ・アーキテクチャでは、すべてのプロセッサは1つの大きなメモリにアクセスし、この共有メモリの読み出し及び書き込みを行うことによって互いに通信する。
なお、本出願は、1998年5月8日出願の米国仮出願第60/084,795号の利益を請求する。
本出願は、1998年3月12日出願の「パイプライン化されたスヌーピープロトコルを有する相互接続用マルチプロセッサノードのためのキャッシュコヒーレンスユニット」と題された同時係属中の米国特許出願第09/041,568号、1998年1月7日出願の「統合されたメッセージパッシングサポートを備える分散共有メモリマルチプロセッサのためのメモリ保護メカニズム」と題された同時係属中の米国特許出願第09/003,771号及び、1998年1月7日出願の「分散共有メモリマルチプロセッサシステムのための統合化されたメッセージパッシングとメモリ保護を備えるキャッシュコヒーレンスユニット」と題された同時係属中の米国特許出願第09/003,721号に関連するが、これらは引用によって本出願の記載に援用する。
コンピュータ・システム・ノードは、プロセッサ・サブシステムとメモリ・サブシステムに分割される。メモリ・サブシステムには主ダイナミック・ランダムアクセス・メモリ(DRAM)が含まれ、いくつかの接続されたプロセッサからの要求に応答してメモリからデータを提供する。普通、メモリ・サブシステムでデータにアクセスするために費やされる時間の量はプロセッサの速度と比較してかなり長いので、プロセッサには動作を改善するためキャッシュを備えることが多い。キャッシュはプロセッサと主メモリの間に接続された小さなメモリで、主メモリのロケーションの最近使用されたデータを保存する。転送によってキャッシュを出入りできるデータの最小単位を「ライン」と呼ぶ。
プロセッサ・サブシステムにはプロセッサと1つかそれ以上のキャッシュが含まれる。キャッシュは主メモリ・サブシステムよりかなり速いアクセス時間を有するが普通かなり小さい。小さなキャッシュは主メモリにあるすべてのデータを保持することができないので、現在保持しているデータのアドレス(タグと呼ばれる)と値の両方を保存しなければならない。特定のラインを要求する場合、プロセッサはまずそのアドレスを現在キャッシュにある各タグと突き合わせ、そのラインがキャッシュにあるかを調べる。一致がない場合、メモリ・サブシステムは要求を主メモリに伝える。
すべてのキャッシュ・スキームは主メモリを物理的に連続したセグメントに分割する。キャッシュは普通、合計がセグメントと同じサイズになる一連のラインとして編成される。タグは、どのセグメントが現在キャッシュを占めているかを識別するために使用される。要求されたアドレスを有するラインがキャッシュに含まれている場合、そのラインのデータがプロセッサに転送される。そのラインがキャッシュにない場合、そのラインを含む主メモリのセグメントがキャッシュにフェッチされ、そのラインがプロセッサに転送される。
直接マップ・キャッシュ・メモリでは、セグメントはキャッシュ・ラインという形を取り、そのライン番号は主メモリ・アドレスから容易に計算できる。
連想キャッシュは、任意のセグメントのラインが任意のキャッシュ・ラインにロードされる点で直接マップ・キャッシュと異なっている。キャッシュ・ラインはデータ自身とさらにセグメント番号を記憶する必要がある。キャッシュの探索を可能にするため、連想キャッシュには、キャッシュのライン毎のセグメント番号に対するセグメント番号アドレスを同時に検査する回路が含まれている。この追加回路のため、連想キャッシュはより高価になる。
セット連想マッピングは、直接マッピングと連想キャッシュ両方のアーキテクチャを結合する。セット連想キャッシュは、各々が多数のラインを含む多数のセットとして編成される。セット連想マッピングでは、キャッシュ・セットはアドレス・セグメント番号によって決定されるが、セット内のラインはアドレス・セグメント番号によって決定されない。通常、セット連想キャッシュは双方向であり、すなわちキャッシュに2つのセットが存在するので、要求されたメモリ・ラインを提供する際直接マップ・キャッシュに対してキャッシュ・ヒット率が大きく改善される。
図1は、メモリ中のデータを新しく要求するステップ102で開始される、通常の先行技術キャッシュ・メモリ・アクセス・アルゴリズム100のフローチャートを示す。ステップ104では、要求されたデータ・アドレスがキャッシュ・タグと比較される。ステップ106は要求されたデータがキャッシュにあるか否かを判定する。ステップ106で、データの有効なコピーがキャッシュにない場合、ステップ108でメモリ・サブシステムは要求されたデータを主メモリからキャッシュ・メモリにフェッチする。要求されたデータがキャッシュにある場合、ステップ110でメモリ・サブシステムは要求を出したプロセッサにデータを転送する。データがプロセッサに転送された後、メモリ・アクセス・アルゴリズムはステップ102に戻り、次のメモリ要求を待つ。
共有メモリマルチプロセッサ・システムでは、各プロセッサは通常固有のキャッシュを有するので、システムは多数のキャッシュを有することになる。各キャッシュは所定のデータ項目のコピーを保持できるので、すべてのキャッシュの状態がプロセッサの1つによって書かれた最新のコピーと一貫性のある最新のものであるように維持することが重要である。キャッシュまたは主メモリから、メモリ・サブシステムの動作を管理する一組の規則であるプロセッサのメモリ・モデルの規定通りに、正しい値を返すことはメモリ・サブシステムの責任である。これはキャッシュ・コヒーレンス・プロトコルの使用を通じて達成される。
従って、主メモリに加えて、メモリ・サブシステムには、システムのキャッシュ・コヒーレンスを維持するためにキャッシュ・コヒーレンス・プロトコルが使用する制御情報を含むキャッシュ・コヒーレンス・ディレクトリが含まれる。従来のディレクトリは、メモリ・ロケーション・データがシステムのどこかのキャッシュに存在するか否かを示す状態情報を伴う各メモリ・ロケーションのエントリを有する。主メモリ・ラインが存在するノードはそのラインのホーム・ノードと呼ばれる。ディレクトリが存在するノードはローカル・ノードと呼ばれ、他のノードはリモート・ノードと呼ばれる。コヒーレンス・プロトコルは各キャッシュ・ラインの状態を把握し、データの最新のコピーがプロセッサに与えられることを保証する。また、このプロトコルは、要求に応答してなされるすべての遷移とトランザクションを指定する。キャッシュ・ライン上で行われるすべての処理はディレクトリに保存された状態に反映される。一般的なスキームは3つの永続状態を使用してこれを達成する。「無効」状態は、ラインがどこにもキャッシュされず主メモリが唯一のコピーである場合に存在する。「共有」状態は、リモート・ノード(プロセッサのグループ)がラインの有効なコピーを有する場合に存在する。これは「グローバル共有状態」、すなわちローカル・ノードの何れかのキャッシュまたは少なくとも1つのリモート・キャッシュがラインの有効なコピーを有するグローバル・キャッシュ・コヒーレンス状態と混同してはならない。こうした有効なラインは読み取り専用であり、主メモリのコピーと同一である。「ダーティ」状態は、ラインがリモート・ノードの1つのキャッシュだけで有効な場合に存在する。そのコピーがそのプロセッサによって修正され、主メモリが古いデータを含んでいることがある。
図2は、キャッシュ・コヒーレンス・ディレクトリを使用するメモリ・アクセス・アルゴリズム200のフローチャートを示す。ステップ202で、メモリ中のデータの新しい要求によってアルゴリズムが開始される。ステップ204では、アルゴリズムは要求されたデータ・アドレスをキャッシュ・コヒーレンス・ディレクトリ中のディレクトリ・タグと比較する。
ステップ206では、アルゴリズムはキャッシュ・コヒーレンス・ディレクトリから要求されたデータの状態を判定する。ステップ206で状態が「無効」である(すなわち、キャッシュにデータの有効なコピーがない)場合、ステップ208でアルゴリズムは要求されたデータを主メモリまたはローカル・キャッシュからキャッシュ・メモリにフェッチする。ステップ206で状態が「共有」である(すなわち、要求されたデータがリモート・ノードのキャッシュにある)場合、ステップ212でアルゴリズムはデータをメモリからフェッチし、要求が「保存」である場合、キャッシュされたコピーを無効にする。ステップ206で状態が「ダーティ」である(すなわち、データの最新バージョンが1つのキャッシュでだけ有効である)場合、ステップ210でアルゴリズムは要求されたデータをキャッシュからフェッチする。
データの有効なコピーがフェッチされると、ステップ214でアルゴリズムはデータを要求を出したプロセッサに転送する。データがプロセッサに転送された後、メモリ・アクセス・アルゴリズムはステップ202に戻り、次のメモリ要求を待つ。
コヒーレンス・プロトコルは、ラインが遷移中であることを示すため他の遷移状態を使用することがある。十分な時間を与えれば、こうした遷移状態は3つの永続状態の1つに復帰する。
キャッシュ・コヒーレンス・プロトコルは通常有限状態マシンによって実現されるが、そこではデータの最新の値がどこに存在するかを状態が決定する。状態値はメモリ中のすべてのラインに明示的または暗示的に関連しなければならない。通常、ある状態情報を各キャッシュのキャッシュ・タグに追加することによって明示的関連付けがなされる。キャッシュされていないラインについては、状態値がシステム中のどこにもタグの一致がないということを暗示しており、最新の値は主メモリにあることが分かる。
プロセッサの要求がある毎に、メモリ・サブシステムはシステムのすべてのキャッシュのすべてのキャッシュ・タグを調べなければならない。これを行う2つの方法が存在する。「スヌーピー・プロトコル」と呼ばれることもある第1の方法では、各キャッシュはすべての要求を「のぞき回り(snoop) 」、データの最新のコピーを有している場合メモリ・サブシステムに信号を送る。「ディレクトリ・ベース・キャッシュ・コヒーレンス・プロトコル」と呼ばれることもある第2の方法では、メモリ・サブシステムは各キャッシュのタグのコピーを保持し、最新のコピーのロケーションを発見することができる。
キャッシュ・コヒーレンス不均一メモリ・アーキテクチャ(cc−NUMA)マシンでは、いくつかのメモリ・サブシステムが互いにリンクされ、キャッシュ・コヒーレンス・プロトコルを使用してメモリ・サブシステム間の正しいメモリ・モデルを強化し、単一共有メモリ・システムを形成する。すなわち、マシンはメモリ・サブシステムの追加によって拡張され、メモリへの通信経路の帯域幅が拡大する。同様に、キャッシュ・コヒーレンス・プロトコルもディレクトリ・ベースにすることでスケーラブルなものにすることができる。メモリ・サブシステムを追加すればするほど、ディレクトリの数も多くなる。ディレクトリはシステムのノード間で分散される。各ディレクトリはすべてのキャッシュ・ラインの状態を追跡する。従って、ディレクトリ・サイズはキャッシュの合計サイズに比例し、ディレクトリはディレクトリ・エントリのセット連想キャッシュとして編成される。
直接マッピングは常にセグメントを同じ位置に置くので、キャッシュが一杯の時どのラインを置換するかという問題は回避される。しかし、完全連想及びセット連想キャッシュ・マッピング・スキームは、キャッシュのどのセグメントを新たに要求されたセグメントで置換するかを決定する置換プロトコルが必要である。最も一般的なプロトコルは「最低使用頻度」(LRU)プロトコルであるが、これは最も長い時間使用されなかったセグメントを置換する。
図3は、バス318によって主DRAMメモリ322のメモリ制御装置320に接続されたそれぞれのローカル・キャッシュ310、312、314及び316を有する多数のCPU302、304、306及び308を含む従来技術システム300を示す。この例の疎でないディレクトリでは、主メモリ322は、各メモリ・ラインのロケーションについて、ディレクトリ324のエントリのために確保された空間を有する。有効なディレクトリ・エントリの数を決定するキャッシュされたラインの合計数は普通主メモリのラインの合計数よりかなり少ないため、これはメモリ空間の浪費である。ディレクトリ324がすべてのコヒーレンス状態を保持するために同じメモリ322が使用され、短期間の遷移状態にあるライン専用のディレクトリが利用できるより高速で小さなメモリがないため、これはメモリ帯域幅の浪費でもある。
従来技術のキャッシュ・コヒーレンス・プロトコルは、ディレクトリ構造が遷移ライン状態と非遷移ライン状態を区別しないという欠点がある。普通、遷移状態と非遷移状態の間の遷移は1つだけだが、遷移状態間に多数の遷移があり得る。すなわち、ラインが遷移する時多数の状態変化が発生するため追加のディレクトリ帯域幅が必要になる。
従って、必要なものは、キャッシュ中のラインの様々なコヒーレンス状態の様々なディレクトリ要求を利用してメモリ・サブシステムの性能を改善することのできる最適なディレクトリ・アーキテクチャを提供するキャッシュ・コヒーレンス・プロトコルである。本発明はそれを提供することを目的とする。
本発明には、多数のキャッシュ・ライン・エントリを保存するキャッシュに接続された少なくとも1つのプロセッサを各々有する多数のマルチプロセッサ・ノード、コヒーレンス制御装置及び、キャッシュ中のキャッシュ・ライン状態を把握するディレクトリが含まれる。このディレクトリには、キャッシュのラインの第1サブセットに関する一時的状態情報を保持する第1部分と、キャッシュのラインの第2サブセットに関する非一時的状態情報を保持する第2部分とが含まれる。
本発明は、キャッシュ・コヒーレンス状態を保持するために必要な外部記憶装置の量を減少させる。ラインが遷移状態にある時間の量は非常に短く、ある時間に遷移状態にあるラインはごく少数なので、本発明は一時的状態バッファのサイズも減少させる。さらに、本発明は、多数の遷移状態を通じて、遷移のための外部ディレクトリへのアクセスを除去し、コヒーレンス・プロトコルの総合的な処理能力を増大する。
本発明によれば、キャッシュ・コヒーレンス状態を保持するために必要な外部記憶装置の量を減少させる。ラインが遷移状態にある時間の量は非常に短く、ある時間に遷移状態にあるラインはごく少数なので、本発明は一時的状態バッファのサイズも減少させる。さらに、本発明は、多数の遷移状態を通じて、遷移のための外部ディレクトリへのアクセスを除去し、コヒーレンス・プロトコルの総合的な処理能力を増大する。
ここで説明した実施形態の例は例示を目的とし、制限することを企図するものではない。従って、当業技術分野に熟練した者は、他の実施形態が請求項の範囲と精神から離れることなく実行されることが認識されるだろう。
本発明のこれらと他の利点は、当業技術分野に熟練した者には以下の詳細な説明と添付の図面から明らかになるだろう。
本発明は、ディレクトリ・ベース・キャッシュ・コヒーレンス・プロトコルにおいてキャッシュ・コヒーレンス状態情報を使用する。すなわち本発明には、永続状態を保持する外部ランダムアクセス・メモリ(RAM)と、遷移状態を保持する内部バッファとが含まれる。従って、バッファが、キャッシュ・コヒーレンス状態情報に加えて状態とデータ値の両方を保存する従来技術のシステムに対して本発明は有利である。このバッファは普通、遷移によってメモリを出入りするラインのための内部完全連想キャッシュ拡張である。また本発明によって、多くの状態遷移が内部バッファの中で完全になされるようになるため、外部ディレクトリの必要な帯域幅が減少し、総合的な処理能力が増大する。従来技術の分割遷移システムは、何らかの状態更新がある度に外部ディレクトリRAMに対して読み出しサイクルと書き込みサイクルを行わなければならない。
図4は、多数の接続されたノード402、...、408及び410を備えるccNUMAシステム400の概要を示す。各ノードには、ノード410について図示するように、1つのメモリ・サブシステム440に接続されたそれぞれのキャッシュ422、424、...、及び430を有するいくつかの数のプロセッサ412、414、...、及び420が含まれる。メモリ・サブシステム440には、外部ディレクトリ460、主メモリ490及び、コヒーレンス制御装置450と一時的状態バッファ470を含むコヒーレンス制御チップ480が含まれる。コヒーレンス制御装置450は、外部ディレクトリ460と一時的状態バッファ470に含まれる状態情報を読み出し及び書き込みを行う。
外部ディレクトリ460は、普通既製のRAMを使用して実現される。一度に実行される「読み出し」または「書き込み」は1つだけだが、読み出しと書き込みをパイプラインすることができ、読み出しまたは書き込みを完了するには普通多数のシステム・サイクルを要する。これは普通セット連想または直接マップ・キャッシュとして実現される。セット連想の場合、各セットは、コヒーレンス制御装置450によって使用されるタグ、状態及び他の情報を各々含む多数のエントリを備えている。通常、「最低使用頻度」(LRU)フィールド等の、コヒーレンス制御装置450によるエントリの割り当て及び割り当て解除を可能にする少量の他の情報も存在する。コヒーレンス制御装置450は、RAMに対する基本的な読み出し及び書き込み操作を行うことによって外部ディレクトリ460を管理する。これは既製のRAMであるので、その動作は周知でありここで詳細には説明しない。
一時的状態バッファ470は、コヒーレンス制御装置450によって使用されるタグ、状態及びその他の情報を各々含む多数のエントリを含んでいる。一時的状態バッファ470で行われる操作は、エントリの割り当て、エントリの割り当て解除及びエントリの更新である。さらに、一時的状態バッファ470は、すべてのエントリが割り当てられたことをコヒーレンス制御装置450に示す出力を有する。これらの操作も一時的状態バッファ470で同時に行われる。
割り当てには未使用エントリを発見することが含まれる。未使用エントリは、各エントリの明示的ビットを有するか、またはエントリの状態を「無効」に設定するかの何れかによって示される。未使用エントリは任意に選択されるが、1つの簡単な方法は優先順位デコーダ(図示せず)の使用によるものである。割り当ては、状態を「有効」値として書き込み、エントリのすべてのフィールドを書き込むことによって行われる。その後一時的状態バッファ470はコヒーレンス制御装置450に割り当てされたエントリの数を戻す。
割り当て解除は、エントリか、または連想ルックアップかの何れかによってなされる。エントリによってなされる場合、コヒーレンス制御装置450は割り当て解除すべきエントリの数を提供する。連想ルックアップによってなされる場合、一時的状態バッファ470はアドレスを一時的状態バッファ470中のすべてのタグと比較し、どのエントリを割り当て解除すべきかを決定する。割り当て解除は、明示的ビットを「無効」として設定するか、または状態を「無効」状態として設定するかの何れかによってなされる。コヒーレンス制御装置450は、一時的状態バッファ470中の有効なエントリを更新することができる。それはまず、明示的エントリ番号を使用するか、または連想ルックアップを使用するかの何れかによってどのエントリを更新すべきかを決定する。次に一時的状態バッファ470は、コヒーレンス制御装置450によって指定された、タグ・フィールドでなく状態フィールドを含む、何らかのフィールドの書き込みを行う。
図5は、一時的状態バッファ470を使用するローカル読み出し操作500のフローチャートである。このアルゴリズムは、ステップ502でプロセッサ412が、ローカル・ノード410中のロケーションを参照するアドレスによるロード命令を実行することで開始される。ステップ504では、プロセッサ412がまずこの要求をキャッシュ422に伝え、ステップ506で、ラインの有効なコピーを有するか否かが検査される。有効なコピーを有する場合、ステップ508でキャッシュ422はラインを提供し、ロード命令を終了する。有効なコピーを有さない場合、ステップ510でキャッシュ422は要求をメモリ・サブシステム440に伝える。ステップ512では、メモリ・サブシステム440のコヒーレンス制御装置450はまずアドレスを、外部ディレクトリ460と一時的状態バッファ470の両方のエントリと比較し、何らかの状態情報がこれらのディレクトリ中のアドレスと一致するかを調べる。一致しない場合、データ・ラインの最新の値は主メモリにあるはずなので、ステップ514でメモリ・サブシステム440はデータ・ラインを主メモリ490からフェッチし、ロード命令は終了する。ステップ512でアルゴリズムが一致するアドレスが一時的状態バッファ470に保存されていることを発見した場合、ステップ516でコヒーレンス制御装置450はこのラインについて要求がすでに出されていると判断する。これをどう処理するかはコヒーレンス・プロトコルに依存するが、この状況を処理する1つの方法がステップ518に示されており、そこではアルゴリズムは単にプロセッサ412に要求を再試行するよう命令する。
ステップ512で一致するアドレスが外部ディレクトリ460にあるとアルゴリズムが判断し、最新の値がどこか他のノードに存在することを示す場合、ステップ520でコヒーレンス制御装置450はメッセージをそのノードに送信し、一時的状態バッファ470中のこのラインのエントリを割り当て、バッファ470中に以前存在したラインを遷移状態にする。ステップ522で、コヒーレンス制御装置450は、コヒーレンス制御装置450がデータを待っていることを要求を出したプロセッサ412に知らせることによって、現在のトランザクションを完了する。その後コヒーレンス制御装置450は自由に新しい要求を処理することができる。
後に、ステップ524で、要求されたデータがリモート・ノードから到着し、ステップ526でコヒーレンス制御装置450は一時的状態バッファ470のラインを参照し、遷移状態を検索する。この遷移状態は、コヒーレンス制御装置450に、データをどこに転送すべきか、また最終的な永続状態は何であるべきかを告げる。ステップ528で、コヒーレンス制御装置450は、新しいトランザクションを開始して、データを要求を出したプロセッサ412に送信し、一時的状態バッファ・エントリを割り当て解除し、外部ディレクトリ460を最終永続状態に更新し、ロード命令を終了する。
以上述べたように、本発明によれば、キャッシュ・コヒーレンス状態を保持するために必要な外部記憶装置の量を減少させる。ラインが遷移状態にある時間の量は非常に短く、ある時間に遷移状態にあるラインはごく少数なので、本発明は一時的状態バッファのサイズも減少させる。さらに、本発明は、多数の遷移状態を通じて、遷移のための外部ディレクトリへのアクセスを除去し、コヒーレンス・プロトコルの総合的な処理能力を増大する。
ここで説明した実施形態の例は例示を目的とし、制限することを企図するものではない。従って、当業技術分野に熟練した者は、他の実施形態が請求項の範囲と精神から離れることなく実行されることが認識されるだろう。
先行技術のキャッシュ・メモリ・アクセス・アルゴリズムのフローチャートである。 キャッシュ・コヒーレンス・ディレクトリを使用する従来技術のキャッシュ・メモリ・アクセス・アルゴリズムのフローチャートである。 バスによって主メモリに接続された固有のローカル・キャッシュを各々有する多数のCPUを含む従来技術のシステムの構成図である。 各々多数のプロセッサとキャッシュを含む多数の相互接続されたノード、コヒーレンス制御装置、外部ディレクトリ及び一時的状態バッファを有するccNUMAシステムの構成図である。 図4のccNUMAシステムの一時的状態バッファを使用するローカル読み出し操作のフローチャートである。
符号の説明
302、304、306、308 CPU
310、312、314、316 キャッシュ
320 メモリ制御装置
322 メモリ
324 ディレクトリ
402、408、410 ノード
412、414、420 プロセッサ
422、424、430 キャッシュ
440 メモリ・サブシステム
450 コヒーレンス制御装置
460 外部ディレクトリ
470 一時的状態バッファ
480 コヒーレンス制御チップ
490 主メモリ

Claims (4)

  1. 複数のプロセッサと、
    前記複数のプロセッサのそれぞれに対応して設けられ、各々複数のキャッシュ・ライン・エントリを保存するように構築された複数のキャッシュと、
    前記複数のキャッシュ中のキャッシュ・ライン・エントリ状態を把握するための状態情報を保持する、ディレクトリ・ベース・キャッシュ・コヒーレンス・プロトコルのためのディレクトリと、
    前記ディレクトリに含まれる前記状態情報の読み出し及び書き込みを行う制御装置と、を備え、
    前記ディレクトリの第1の部分は、完全連想形のメモリとして実現され、前記複数のキャッシュ・ライン・エントリの第1サブセットに関する一時的状態情報を保持し、
    前記ディレクトリの第2部分が、セット連想形又は直接マップ形のメモリとして実現され、前記複数のキャッシュ・ライン・エントリの第2サブセットに関する非一的状態情報を保持することを特徴とする、データ処理システム。
  2. データ処理システムであって、
    メモリ・バスに結合された複数のプロセッサを有し、各プロセッサが複数のキャッシュ・ライン・エントリを保存するキャッシュを有するノードと、
    前記メモリ・バスに結合するバス・インタフェース素子と、
    完全連想形のメモリとして実現され、前記キャッシュ中のキャッシュ・ライン・エントリの一時的状態情報を保持する第1の部分と、セット連想形又は直接マップ形のメモリとして実現され、非一的状態情報を保持する第2の部分とを有する、ディレクトリ・ベース・キャッシュ・コヒーレンス・プロトコルのためのディレクトリと、
    前記ディレクトリから状態情報を読み出して前記状態情報を更新する、前記バス・インタフェース素子と前記ディレクトリに結合されたコヒーレンス制御装置とを備えるデータ処理システム。
  3. メモリ・バスに結合され、各々がキャッシュ・メモリを有する複数のプロセッサを備えたノードを含むデータ処理システムにおけるキャッシュ・コヒーレンス維持方法において、
    キャッシュされたメモリ・ロケーションに関する状態情報を、ディレクトリ・ベース・キャッシュ・コヒーレンス・プロトコルのためのディレクトリに保存する際に、前記ディレクトリの、完全連想形のメモリとして実現される第1部分に第1のキャッシュ・ライン・エントリに関する遷移状態情報を保持し、前記ディレクトリの、セット連想形又は直接マップ形のメモリとして実現される第2部分に第2のキャッシュ・ライン・エントリに関する非遷移状態情報を保持することを特徴とする、キャッシュ・コヒーレンス維持方法。
  4. プロセッサと、
    前記プロセッサに対応して設けられ、複数のキャッシュ・ライン・エントリを保存するように構築されたキャッシュと、
    前記キャッシュに保存されたキャッシュ・ライン・エントリの状態を示す状態情報を保持する、ディレクトリ・ベース・キャッシュ・コヒーレンス・プロトコルのためのディレクトリと、
    前記ディレクトリに含まれる前記状態情報の読み出し及び書き込みを行う制御装置と、を備え、
    前記ディレクトリの第1部分は、完全連想形のメモリとして実現され、前記複数のキャッシュ・ライン・エントリの第1サブセットに関する一時的状態情報を保持し、
    前記ディレクトリの第2部分が、セット連想形又は直接マップ形のメモリとして実現され、前記複数のキャッシュ・ライン・エントリの第2サブセットに関する非一的状態情報を保持することを特徴とする、データ処理システム。
JP2006159012A 1998-05-08 2006-06-07 分散共有メモリマルチプロセッサシステムのための分割疎ディレクトリ Expired - Lifetime JP4447580B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US8479598P 1998-05-08 1998-05-08
US09/281,714 US6560681B1 (en) 1998-05-08 1999-03-30 Split sparse directory for a distributed shared memory multiprocessor system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP11127277A Division JP2000067024A (ja) 1998-05-08 1999-05-07 分散共有メモリマルチプロセッサシステムのための分割疎ディレクトリ

Publications (2)

Publication Number Publication Date
JP2006277762A JP2006277762A (ja) 2006-10-12
JP4447580B2 true JP4447580B2 (ja) 2010-04-07

Family

ID=26771438

Family Applications (2)

Application Number Title Priority Date Filing Date
JP11127277A Pending JP2000067024A (ja) 1998-05-08 1999-05-07 分散共有メモリマルチプロセッサシステムのための分割疎ディレクトリ
JP2006159012A Expired - Lifetime JP4447580B2 (ja) 1998-05-08 2006-06-07 分散共有メモリマルチプロセッサシステムのための分割疎ディレクトリ

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP11127277A Pending JP2000067024A (ja) 1998-05-08 1999-05-07 分散共有メモリマルチプロセッサシステムのための分割疎ディレクトリ

Country Status (2)

Country Link
US (1) US6560681B1 (ja)
JP (2) JP2000067024A (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6725334B2 (en) * 2000-06-09 2004-04-20 Hewlett-Packard Development Company, L.P. Method and system for exclusive two-level caching in a chip-multiprocessor
US6775742B2 (en) * 2000-07-20 2004-08-10 Silicon Graphics, Inc. Memory device storing data and directory information thereon, and method for providing the directory information and the data in the memory device
FR2820850B1 (fr) * 2001-02-15 2003-05-09 Bull Sa Controleur de coherence pour ensemble multiprocesseur, module et ensemble multiprocesseur a architecture multimodule integrant un tel controleur
US6832297B2 (en) * 2001-08-09 2004-12-14 International Business Machines Corporation Method and apparatus for managing data in a distributed buffer system
US20030041215A1 (en) * 2001-08-27 2003-02-27 George Robert T. Method and apparatus for the utilization of distributed caches
US7546422B2 (en) * 2002-08-28 2009-06-09 Intel Corporation Method and apparatus for the synchronization of distributed caches
US6965972B2 (en) * 2002-09-25 2005-11-15 International Business Machines Corporation Real time emulation of coherence directories using global sparse directories
US8185602B2 (en) 2002-11-05 2012-05-22 Newisys, Inc. Transaction processing using multiple protocol engines in systems having multiple multi-processor clusters
US7337273B2 (en) 2004-03-31 2008-02-26 Microsoft Corporation Strategies for reading information from a mass storage medium using a cache memory
WO2006029508A1 (en) * 2004-09-13 2006-03-23 Solace Systems Inc. Highly scalable subscription matching for a content routing network
US7475193B2 (en) * 2006-01-18 2009-01-06 International Business Machines Corporation Separate data and coherency cache directories in a shared cache in a multiprocessor system
US20070168620A1 (en) * 2006-01-19 2007-07-19 Sicortex, Inc. System and method of multi-core cache coherency
JP4572169B2 (ja) 2006-01-26 2010-10-27 エヌイーシーコンピュータテクノ株式会社 マルチプロセッサシステム及びその動作方法
JP5136652B2 (ja) * 2008-11-10 2013-02-06 富士通株式会社 情報処理装置及びメモリ制御装置
US8566533B1 (en) * 2009-09-30 2013-10-22 Netlogic Microsystems, Inc. System, method, and computer program product for conditionally sending a request for data to a node based on a determination
WO2012035605A1 (ja) * 2010-09-13 2012-03-22 富士通株式会社 情報処理装置および情報処理装置の制御方法
WO2012039008A1 (ja) * 2010-09-23 2012-03-29 富士通株式会社 情報処理装置、メモリ制御方法及びメモリ制御装置
US8856453B2 (en) 2012-03-01 2014-10-07 International Business Machines Corporation Persistent prefetch data stream settings
US20140293393A1 (en) 2013-03-28 2014-10-02 Barthelemy Fondeur Flat-top tunable filter
WO2017077502A1 (en) 2015-11-04 2017-05-11 Green Cache AB Systems and methods for implementing coherent memory in a multiprocessor system
JP6578992B2 (ja) * 2016-03-02 2019-09-25 富士通株式会社 制御回路、情報処理装置、および情報処理装置の制御方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3872118B2 (ja) * 1995-03-20 2007-01-24 富士通株式会社 キャッシュコヒーレンス装置
US5680576A (en) * 1995-05-05 1997-10-21 Silicon Graphics, Inc. Directory-based coherence protocol allowing efficient dropping of clean-exclusive data
US5822763A (en) * 1996-04-19 1998-10-13 Ibm Corporation Cache coherence protocol for reducing the effects of false sharing in non-bus-based shared-memory multiprocessors
US5749095A (en) * 1996-07-01 1998-05-05 Sun Microsystems, Inc. Multiprocessing system configured to perform efficient write operations
US5875468A (en) * 1996-09-04 1999-02-23 Silicon Graphics, Inc. Method to pipeline write misses in shared cache multiprocessor systems
US6253292B1 (en) * 1997-08-22 2001-06-26 Seong Tae Jhang Distributed shared memory multiprocessor system based on a unidirectional ring bus using a snooping scheme
US6631448B2 (en) * 1998-03-12 2003-10-07 Fujitsu Limited Cache coherence unit for interconnecting multiprocessor nodes having pipelined snoopy protocol

Also Published As

Publication number Publication date
JP2000067024A (ja) 2000-03-03
JP2006277762A (ja) 2006-10-12
US6560681B1 (en) 2003-05-06

Similar Documents

Publication Publication Date Title
JP4447580B2 (ja) 分散共有メモリマルチプロセッサシステムのための分割疎ディレクトリ
US6629205B2 (en) System and method for increasing the snoop bandwidth to cache tags in a cache memory subsystem
US7266647B2 (en) List based method and apparatus for selective and rapid cache flushes
US6826651B2 (en) State-based allocation and replacement for improved hit ratio in directory caches
US6647466B2 (en) Method and apparatus for adaptively bypassing one or more levels of a cache hierarchy
US7032074B2 (en) Method and mechanism to use a cache to translate from a virtual bus to a physical bus
US5787478A (en) Method and system for implementing a cache coherency mechanism for utilization within a non-inclusive cache memory hierarchy
US6272602B1 (en) Multiprocessing system employing pending tags to maintain cache coherence
EP0780769A1 (en) Hybrid numa coma caching system and methods for selecting between the caching modes
EP0780770A1 (en) Hybrid numa coma caching system and methods for selecting between the caching modes
JPH09259036A (ja) ライトバックキャッシュおよびライトバックキャッシュ内で整合性を維持する方法
US20070168617A1 (en) Patrol snooping for higher level cache eviction candidate identification
JP3866447B2 (ja) マルチプロセッサ・ノードデータ処理システムに使用するディレクトリエントリ割当てシステム及び方法
US6345341B1 (en) Method of cache management for dynamically disabling O state memory-consistent data
JP2000010860A (ja) キャッシュメモリ制御回路及びプロセッサ及びプロセッサシステム及び並列プロセッサシステム
US7117312B1 (en) Mechanism and method employing a plurality of hash functions for cache snoop filtering
US7325102B1 (en) Mechanism and method for cache snoop filtering
US7093080B2 (en) Method and apparatus for coherent memory structure of heterogeneous processor systems
US6715040B2 (en) Performance improvement of a write instruction of a non-inclusive hierarchical cache memory unit
JP2004199677A (ja) キャッシュを動作させるためのシステム及び方法
US6397303B1 (en) Data processing system, cache, and method of cache management including an O state for memory-consistent cache lines
US6356982B1 (en) Dynamic mechanism to upgrade o state memory-consistent cache lines
US20020002659A1 (en) System and method for improving directory lookup speed
JPH06250926A (ja) 複数階層のキャッシュメモリを備えたデータ処理システム
JPH01276348A (ja) 2次キャッシュメモリ方式

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091020

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100112

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100120

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130129

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130129

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140129

Year of fee payment: 4

EXPY Cancellation because of completion of term