JPH04324546A

JPH04324546A - コンピュータ・システム

Info

Publication number: JPH04324546A
Application number: JP4050181A
Authority: JP
Inventors: Jamshed H Mirza; ジャムシェッド・ホーメジヤー・ミルザ
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1991-04-15
Filing date: 1992-03-09
Publication date: 1992-11-13
Also published as: EP0509676B1; DE69208132D1; EP0509676A1; US5625793A

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は一般に、ハードウェア管
理によるキャッシュを使用し、その性能を拡張する高性
能プロセッサに関し、更に詳しくは、特にキャッシュを
通じてベクトルを供給するエンジニアリング及び科学計
算ベクトル・プロセッサに関する。

【０００２】

【従来の技術】高性能コンピュータにおいて、キャッシ
ュはメモリに対する待ち時間を減少する役割をする。キ
ャッシュは比較的小容量でありながら、非常に高性能な
メモリをプロセッサの近傍に提供する。より大容量では
あるが遅い主メモリからのデータは、自動的に要求ベー
スによる特殊なハードウェアにより、キャッシュ内にス
テージされる。これは典型的には、“ライン”（例えば
、３２バイトから２５６バイトの範囲に渡る）と称され
る転送単位で実施される。もしコンピュータ上で実行さ
れるプログラムが参照に関する良好な局所性を示す場合
は、プロセッサによる大抵のアクセスはキャッシュから
満足され、プロセッサによる平均メモリ・アクセス時間
はキャッシュのそれに非常に近いものとなる。すなわち
、１サイクルから２サイクルのオーダである。プロセッ
サが要求データをキャッシュ内で見い出せない場合のみ
、“キャッシュ・ミス・ペナルティ”を招き、主メモリ
に対する長い待ち時間を生ずる。すなわち、これは短サ
イクル時間を有するコンピュータにおいて、２０サイク
ルから４０サイクルのオーダとなる。任意のキャッシュ
構造にとって、プログラムはその“キャッシュ・ヒット
率”（ＣＨＲ）により特徴化され、これはキャッシュか
ら満足されるアクセスの割合を示し、従って、ヒットの
場合には主メモリに対する長い待ち時間を必要としない
。

【０００３】キャッシュのサイズが決定されると、キャ
ッシュ構造はライン・サイズ（バイト）、ライン数、及
びセット連想性に関して決定しなければならない。これ
らの決定には数多くの設計上のトレード・オフが伴う。例えば、大部分の参照は順次的であり、プリフェッチ・
データを効率的に使用するので、ライン・サイズは十分
に大きく選択される。ライン・サイズが小さいとライン
・ミスの発生が増加し、従って、現在におけるプログラ
ムの局所性を定義する同量のデータに対するミス・ペナ
ルティが増える。更に、ライン・サイズが小さいとキャ
ッシュ内のライン数を増やす結果となり、またキャッシ
ュ・ディレクトリ設計におけるコスト、複雑性、及び性
能との係わりを有する。

【０００４】また、ライン・サイズは大き過ぎないよう
に選択される。なぜなら、大き過ぎると、ライン数が減
り、参照の局所性が分散される関連のない領域の数を制
限する。更に、ライン・サイズが大きいと、各ライン・
ミスは非常に多数のデータ要素を生じ、これらの全ては
キャッシュにそのラインが存在する間は、使用されるこ
とはない。その結果、時間及び使用可能な主メモリのバ
ンド幅が、参照されないデータのために不要に費やされ
るのである。

【０００５】キャッシュのセット連想性は、キャッシュ
・ラインのスラッシング状態の確率を低減するように選
択されている。ライン・スラッシングは、参照の現局所
性が、提供される連想性レベルよりも、合同クラスから
のより多くのラインを含む際に発生する。この場合、ラ
インは互いにキャッシュから置き換わり、ＣＨＲを低下
させる。一方、セット連想性は、キャッシュ・ルック・
アップ機構のコスト及び複雑性に関する負担を伴うため
に、任意に大きく設定することはできない。

【０００６】命令による参照はいくつかの理由で、低キ
ャッシュ・ヒット率を示す。例えば、命令はループ内に
あり、データ構造の要素を非単位のストライドで参照す
る。従来例では多次元マトリクスの様々な方向に沿って
要素を参照し、データ・テーブルの１つの列を参照する
。ライン・サイズがＬ要素からなり、ストライドｓがＬ
よりも大きいと、各ラインはＬ要素をフェッチし、これ
らの内の１つだけが直後に使用される。データ構造のサ
イズが大きく、また／或いはループ内の他の命令により
アクセスされるいくつかの他のデータ構造が存在する場
合は、これらの参照はキャッシュをフラッシュ（ｆｌｕ
ｓｈ）　し、同じライン内の別の要素が参照される際に
は、これはすでに置換されている。これによりキャッシ
ュ・ヒット率はゼロに近づいて低下する状態となり、待
ち時間は主記憶装置のアクセス時間に近づき、その結果
性能の劣化を招く。また、キャッシュ機構は使用される
各要素に対し、キャッシュ内に存在する間に１度も参照
されることのないＬ−１個の要素を更にフェッチするた
めに、性能は一層低下する。これはシステム内の他のプ
ロセッサから使用可能な主メモリのバンド幅を奪うと同
様に、追加のフェッチによる遅延を生ずる。更に、キャ
ッシュにおける過密な転送は、システムにおける全ての
プロセッサに関する性能の低下を生む。

【０００７】低キャッシュ・ヒット率を引き起こす別の
状態としては、ループ内の命令が、全て同じ合同クラス
に含まれるいくつかのデータ・オブジェクト、或いは同
一データ・オブジェクトのいくつかの領域を参照する時
がある。これはデータ・オブジェクトの次元が２次元の
場合に予想以上に頻繁となる。並列処理システムにおい
ては、使用可能なプロセッサは典型的には２次元である
。一般的な傾向としては、２次元のデータ・オブジェク
トを有することにより、これらをプロセッサ間で区分す
ることを容易にする。

【０００８】更に、大きなデータ・オブジェクトを通じ
て非単位ストライド方向にストライドすることにより、
特定の命令が低ヒット率を経験するだけでなく、これら
の命令を取り囲むコードもまた低ヒット率を経験する。これは、低率の局所性を有する命令は、有用なデータを
キャッシュからフラッシュすることによる。

【０００９】

【発明が解決しようとする課題】従って、本発明の目的
は、低キャッシュ・ヒット率を示す命令を自動的にバイ
パスし、それにより、こうしたデータのキャッシュを回
避し、結果的に性能の改善を図るものである。

【００１０】

【課題を解決するための手段】本発明によれば、理由の
如何により、その命令のデータ参照が低キャッシュ・ヒ
ット率を示す命令のための、データのキャッシュを回避
する発見的機構が提供されている。これはプログラマ或
いはコンパイラの介入無しに、自動的に実施される。こ
の機構は各命令のデータ参照局所性を追跡し、キャッシ
ュ許可か或いはキャッシュ不可かを決定する。キャッシ
ュから局所性が低い命令による参照を除外することによ
り、プロセッサは全てのラインにおける不要なデータを
フェッチする性能的ペナルティを招くことはい。これは
不要なデータをフェッチし、キャッシュ内の有用なデー
タをフラッシュすることによる、メモリバンド幅の非効
率的な使用を回避する。並列プログラミング環境におい
て、複数のプロセッサ間でのライン・スラッシング状態
は、低頻度に実行される命令のためのデータをキャッシ
ュしないことにより減少することができる。

【００１１】本発明による機構は、自らを自動的に時間
と共に調整され、命令参照のいくつかがキャッシュされ
、一方、他の参照はキャッシュされない。これは有用な
データをフラッシュすることなく、キャッシュ内にでき
るだけ多くのデータ・オブジェクトを保持する結果とな
る。このようにして、例えば、命令がキャッシュよりも
かなり大きなマトリクス・データの非単位方向に沿って
、パスを形成する場合は、キャッシュ内に使用可能な空
間が存在する限り、できるだけ多くのマトリクスを堅持
しようとする。一方、残りについては、それに対する参
照をキャッシュすることなくキャッシュから除外する。このように、使用可能なキャッシュ空間を最大限有効に
使用するように調整される。

【００１２】

【実施例】図を参照すると、図１はキャッシュ・メモリ
を含むコンピュータ・メモリ階層を示す。中央処理装置
（ＣＰＵ）１０は命令に従い、主メモリ１２内に記憶さ
れるデータを処理する。この命令も主メモリ１２に記憶
される。キャッシュ・メモリ１４はＣＰＵ１０及び主メ
モリ１２との間に配置され、主メモリ１２よりも高速（
且つ典型的には高価）であり、主メモリ１２に記憶され
るデータ及び命令のサブセットを記憶する。キャッシュ
・メモリを使用する概念は、キャッシュ・メモリ１４に
記憶されるデータは再使用される可能性があるという予
測に基づく。なぜなら、ＣＰＵ１０がキャッシュ・メモ
リをアクセスするために要する時間は、ＣＰＵが主メモ
リ１２をアクセスするのに要する時間よりも短いからで
ある。すなわち、コンピュータ・システムにおける性能
の向上が得られることになる。キャッシュ・メモリ１４
、或いは単に“キャッシュ”は、一般的に高速メモリ・
デバイス１５及びタグ・ディレクトリ１６により構成さ
れる。

【００１３】ＣＰＵ１０が新たなワードを要求すると、
それがデータ或いは命令であるにしろ、最初にアドレス
・タグ・ディレクトリに対するチェックが行われ、その
ワードがキャッシュ・メモリ配列１５に含まれているか
を決定する。もし含まれていると（すなわちこの場合は
“キャッシュ・ヒット”となる）、そのワードが直接キ
ャッシュ１４からＣＰＵ１０に読み出される。含まれて
いない（“キャッシュ・ミス”）場合は、そのワードは
主メモリ１２からアクセスされなければならない。通常
、主メモリ１２から読み出されるワードは、それが近い
将来再び参照されるであろうという予測に基づき、キャ
ッシュ１４に書き込まれる。実際に、単にワード単体よ
りもむしろ実際に参照されるそのワードを含むデータ・
ブロックを読み出す方が通例である。データ・ブロック
は次にキャッシュ１４に書き込まれる。書き込まれると
、キャッシュ１４に既に存在するデータはオーバライト
或いは“フラッシュ”（ｆｌｕｓｈ）　される。従って
、オーバライトするための最も不要なデータ・ブロック
を識別するために、使用の履歴に基づくある種のアルゴ
リズムが必要となる。１つのアルゴリズムとして、ＬＲ
Ｕ（Ｌｅａｓｔ　Ｒｅｃｅｎｔｌｙ　Ｕｓｅｄ）アルゴ
リズムがある。

【００１４】本発明によれば、命令はその過去の動作に
基づき、“キャッシュ許可”、“キャッシュ不可”とさ
れる。概して、命令がキャッシュ・ヒットを生じる場合
は、これは現行ではキャッシュ許可と分類され、それが
経験するどのミスにおいても全てのラインがキャッシュ
内にフェッチされる。これはこの命令が良好に動作を継
続し、再びそのラインを参照するであろうという期待に
基づく。一方、命令が概してキャッシュ・ミスを生じる
場合は、これは現行キャッシュ不可と分類され、それが
経験するミスにおいて、単に要求されるデータ要素だけ
が直接、主メモリ１２からフェッチされる。すなわち、
この命令は不当に動作を継続し、近い将来再び前記ライ
ンを参照することはないであろうという予測に基づき、
そのラインはキャッシュ１４にフェッチされない。

【００１５】変化する状態に対する適応性を促進するた
めに、“良好動作に対するボーナス”（ｂｏｎｕｓ　ｆ
ｏｒ　ｇｏｏｄ　ｂｅｈａｖｉｏｒ）　の概念が取り入
れられている。この機能はキャッシュ許可からキャッシ
ュ不可への移行時期を決定するためのしきい値を提供す
る。こうして、キャッシュ・ヒットを経験する命令には
、ある固定値或いは適応変化における変数値Ｂが与えら
れる。命令がキャッシュ許可であり、現在ボーナス“ｂ
”を有するものとすると、連続するｂ回のライン・ミス
までは、その過去の“良好動作”により許容される。す
なわち、この命令は次の連続するｂ回のミスの間、キャ
ッシュ許可状態を維持する。ｂ回以上の連続するミスが
生じると、この命令は（ｂ＋１）回目のミス時にキャッ
シュ不可状態に移行する。

【００１６】固定ボーナス・パラメータＢはシステムに
より選択される値であったり、或いは各ジョブに特定さ
れるか、ジョブ内において変更される調整パラメータで
あったりする。ボーナス・パラメータＢの効果について
は後で説明される。

【００１７】図２の参照履歴テーブル２０（ＲＨＴ：ｒ
ｅｆｅｒｅｎｃｅ　ｈｉｓｔｏｒｙ　ｔａｂｌｅ）　は
、本発明によりＣＰＵ１０内に提供される。ＲＨＴ２０
はＣＰＵ内のレジスタ２２における命令アドレスにより
アドレスされる。図２で示される構造は、ＩＢＭ　Ｓｙ
ｓｔｅｍ／３７０−ＸＡ（拡張アーキテクチャ）プロセ
ッサに特有のものであり、３２ビットの命令アドレスが
ＲＨＴ２０をアドレスするために使用される。当業者に
は理解されるように、この構造は容易に異なるプロセッ
サ・アーキテクチャに対しても適応することが可能であ
る。ＩＢＭ　Ｓｙｓｔｅｍ／３７０（Ｓ／３７０）に関
する更に詳細な情報については、ＩＢＭ　Ｓｙｓｔｅｍ
／３７０、Ｐｒｉｎｃｉｐｌｅｓ　ｏｆ　Ｏｐｅｒａｔ
ｉｏｎ、ＩＢＭ　Ｐｕｂｌｉｃａｔｉｏｎ　Ｎｏ．　Ｇ
Ａ２２−７０００−１０（１９８７）を参照されたい。

【００１８】大きな命令ループを堅持するために、ＲＨ
Ｔ２０は１Ｋから２Ｋ程度の要素長である必要がある。ＲＨＴ２０はレジスタ２２内の命令アドレスを使用して
、直接マップ化される。ここでＳ／３７０の命令は、２
Ｋ入力ＲＨＴのハーフワード境界上にのみ配置され、命
令アドレスのビット２０−３０はＲＨＴ２０を指標化す
るために使用される。もし２バイト命令と４バイト命令
がほぼ同等に混在するものとすると、２Ｋ入力ＲＨＴは
約１３００命令のループを堅持する。

【００１９】ＲＨＴ２０の各入力は３つのフィールドか
らなる。すなわち、最終参照ライン・アドレス（ＬＲＬ
Ａ）・フィールド２４、状態フィールド２６、及びボー
ナス・フィールド２８である。

【００２０】最終参照ライン・アドレス（ＬＲＬＡ）・
フィールド２４は、命令により参照された最後のライン
のアドレスを含む。Ｓ／３７０−ＸＡ及び１２８バイト
のキャッシュ・ライン・サイズに対し、ＬＲＬＡフィー
ルドは最大２４ビット長である。しかしながら、ライン
・アドレスの下位の６ないし１０ビットだけが保管され
る場合にも、同様に作用する。これはゼロに近い同一の
下位６ないし１０アドレス・ビットを有する２つのライ
ンが、連続して参照される可能性を低減させるのに十分
である。更に、数ビットだけの比較に起因する誤った一
致は、単に通常バイパスされる数ラインを追加的にキャ
ッシュするだけである。

【００２１】状態フィールド２６は現命令状態を含む。この状態は、参照データの取り扱い方法、キャッシュ方
法、或いは非キャッシュ方法に関する情報を提供する。すなわち、全てのラインをキャッシュに取り込むか、或
いはキャッシュをバイパスして、主メモリから直接参照
データ要素をアクセスするかに関する。命令の過去の動
作は２つの基本的状態の一方にマップされる。状態フィ
ールド２６は１ビット長である。

【００２２】ボーナス・フィールド２８は命令の過去の
“良好動作”（ライン・ヒット）に関するボーナスの現
値を含む。ＲＨＴの図において、ボーナス・フィールド
はｎビットで示され、ｎは０からｌｏｇ２（Ｓ）ビット
であり、ここでＳはキャッシュにおけるラインのトータ
ル数である。図３で示される状態図はボーナス値が操作
される様子を示す。

【００２３】命令の過去の動作は２つの主要状態、すな
わちキャッシュ許可或いはキャッシュ不可の内の一方に
マップされる。状態“０”は良好な参照局所性を示した
命令に対して割り当てられる。状態“０”の命令は０か
らＢまでの現ボーナス値を有することができる。状態“
１”は低い参照局所性を示した命令に対して割り当てら
れる。状態“１”の命令に対するデータはキャッシュさ
れない。参照されるデータ要素だけが直接主メモリから
フェッチされ、キャッシュを完全にバイパスする。状態
“１”の命令は常にボーナス値ゼロを有する。後述され
るバイパス機構の変化では、状態“１”の命令に関する
固定“ペナルティ”の概念を導入する。

【００２４】２つの状態は図２及び図３を参照して、後
に更に詳細に説明される。キャッシュ許可状態３０（Ｓ
＝０）においては、命令は良好に動作してくる。すなわ
ち、以前の参照においてキャッシュ１４内のラインにヒ
ットしている。毎回、キャッシュ許可状態３０における
命令はライン・ヒットを得て、そのボーナス値はＢにリ
セットされる。キャッシュ許可状態３０における命令が
ライン・ミスを得て、現ボーナス値ｂがゼロよりも大き
いと、その命令はキャッシュ許可状態に維持されるが、
ボーナス値は１だけ減じられてｂ−１となる。キャッシ
ュ許可状態３０の命令がライン・ミスを得て、現ボーナ
ス値ｂがゼロに等しいと、この命令はＢ回連続してライ
ン・ミスを経験したことを意味し、キャッシュ不可状態
３２（Ｓ＝１）に移行され、ボーナス値はゼロとなる。これらの規則は図４のテーブルの最初の２行により示さ
れ、ここで“Ｃ”はキャッシュ許可で、“ＮＣ”はキャ
ッシュ不可を表す。

【００２５】キャッシュ不可状態３２の命令は、近い過
去において低いデータ参照局所性を示している。最後の
Ｂ回或いはそれ以上の参照により異なるラインが指示さ
れ、これらはキャッシュ内には存在しなかったことにな
る。連続して２回同じラインを参照するか、或いはキャ
ッシュ内に既に存在するラインを参照するかしない限り
、命令はボーナス値ゼロで状態３２に留まる。次回の参
照が以前に参照されたラインであれば、すなわちそのア
ドレスがＬＲＬＡフィールド２４内に存在するが、最後
の参照の際にキャッシュ１４内にそのラインがフェッチ
されなかったために真のヒットにならない場合は、それ
はキャッシュ許可状態（Ｓ＝０）にボーナス値ゼロで復
帰する。この状況は“疑似ヒット”として参照される。次の参照が既にキャッシュ内に存在する別のラインであ
れば、ボーナス値Ｂでキャッシュ許可状態３０（Ｓ＝０
）に移行する。こうした規則は図４のテーブル最終行で
示されている。

【００２６】図５は本発明による自動キャッシュ・バイ
パス機構の実施例を示す。図５において、現ＲＨＴ入力
５１のＬＲＬＡフィールド２４は、比較器５２への１入
力として供給され、一方、他入力は現ライン・アドレス
である。これらが一致すると、論理“１”が比較器５２
の出力に生成される。現ＲＨＴ入力５１のボーナス・フ
ィールド２８は、比較器５３への１入力として供給され
、比較器はこのフィールドが現在ゼロよりも大きいかを
決定する。もしそうであれば、比較器５３の出力は論理
“１”となる。２つの比較器５２及び５３の出力はＮＯ
Ｒゲート５４の入力として供給され、ＮＯＲゲートは状
態フィールド２６、及びキャッシュ機構（図示せず）か
らの“ヒット”出力も入力として受け取る。通常のキャ
ッシュ・ディレクトリ・ルック・アップはＲＨＴルック
・アップと並列に発生し、キャッシュ・ヒット或いはミ
スを伝える制御信号を送る。

【００２７】既知のように、ＮＯＲゲートの出力は、全
ての入力が論理“０”の場合のみ、論理“１”となる。従って、比較器５２、５３或いは状態フィールド２６、
或いはキャッシュ・ヒットの何れかからの論理“１”に
より、ＮＯＲゲート５４の出力は論理“０”となる。Ｎ
ＯＲゲート５４の出力は、キャッシュ機構に戻される。ＮＯＲゲート５４からの論理“０”はキャッシュ機構に
次のラインをキャッシュさせるが、論理“１”はキャッ
シュ機構にキャッシュをバイパスさせる。このように、
本発明による自動キャッシュ・バイパス機構は信号をキ
ャッシュ機構に送り返し、現ラインがキャッシュ許可か
或いはキャッシュ不可かを管理する。

【００２８】ＮＯＲゲート５４の出力はまた、新ＲＨＴ
入力５５の状態フィールド２６´にも供給される。新Ｒ
ＨＴ入力５５のＬＲＬＡフィールド２４´は現ライン・
アドレスである。新ＲＨＴ入力５５のボーナス・フィー
ルド２８´を生成するために、現ＲＨＴ入力５１のボー
ナス・フィールド２８は選択回路５６に供給され、これ
は値ゼロ、或いは値（ｂ−１）の大きい方の値を選択す
る。この選択の結果は、マルチプレクサ５７への１入力
として供給され、他方、値Ｂが入力として提供される。選択入力或いはマルチプレクサ制御はキャッシュ・ヒッ
ト・ラインである。もしキャッシュ・ヒット（論理“１
”）が発生すると、値Ｂが選択されるが、キャッシュ・
ミス（論理“０”）の場合には、選択回路５６の出力が
選択される。

【００２９】ＲＨＴ配列設計はオペランド・アドレス生
成のレートにより決定される。典型的には、このレート
はサイクル当たり１アドレスである。各命令はＲＨＴ読
出し及び書込みサイクルを必要とするため、ＲＨＴは同
時読出し／書込みを許可する配列で実施されるか、或い
は２つまたはそれ以上のインタリーブにより実施されね
ばならない。

【００３０】命令が同じラインを２回或いはそれ以上連
続して参照すると、そのラインは常にキャッシュ内にフ
ェッチされ、バイパスの有無によるキャッシュ性能は同
一となる。配列内の参照の現局所性がキャッシュ（或い
はいくつかの競合する命令の発生の際に、配列にとって
使用可能な現キャッシュ空間）よりも大であると、通常
のキャッシュ機構はその配列に対してはキャッシュ・ヒ
ットがゼロとなり、全ての付随する性能が低下する。具
体的には、残りのラインをフェッチするために費やす時
間、他のプロセッサから奪われるメモリのバンド幅、キ
ャッシュからの有用なデータのフラッシュ、及びライン
・スラッシング状態などである。

【００３１】一方、ＲＨＴ機構は、他の命令の局所性に
依存して、キャッシュ内にできるだけ多くの配列を移送
し、残りを除外することによりキャッシュに対する継続
するフラッシュを回避する。これにより、キャッシュ内
に堅持される配列部分におけるヒット率を向上すること
ができる。キャッシュ内に存在しない配列部分に関して
は、この機構は、ライン内における不要なワードをフェ
ッチするといった別のペナルティを回避し、キャッシュ
をフラッシュしないことにより残りのデータ上における
ヒット率を増加し、要求ワードだけをフェッチすること
によりメモリ上におけるバンド幅要求を減少し、また並
列処理環境におけるライン・スラッシング状態を回避す
る。これにより、通常のキャッシュ機構に比較して、命
令による全体的なキャッシュ・ヒット率が向上し、総合
的なシステム性能が改善される。

【００３２】ボーナス・フィールドは“良好動作”に報
いる手段として導入された。キャッシュ・ヒットの形で
最近の良好動作を示す命令は、将来、“不当動作”（す
なわちキャッシュ・ミス）を寛容される。Ｂの値は、参
照する特性が不当の場合に、いかに早くデータ・オブジ
ェクト部分がキャッシュ内に堅持されるかを決定する。どれくらいのデータ・オブジェクトがキャッシュ内に堅
持されるかについても、他の命令の参照する特性に依存
する。

【００３３】最初にＢ＝１の場合について考察する。命
令が低い局所性を示す限り、ＲＨＴ機構はその配列をキ
ャッシュから除外し続ける。しかしながら、Ｂ＝１では
、その配列の一部のキャッシュへの移送レートは、行ア
クセスにつき１ラインと非常に遅くなる。従って、使用
可能なキャッシュ空間の最適使用は実現されない。

【００３４】低い局所性により参照されるマトリクス部
分が、キャッシュにステージされる際のレートをスピー
ド・アップするために、Ｂ＞１の値が使用される。Ｂの
最適値の選択は、低い参照特性にも係わらず、配列選択
がキャッシュに堅持されるスピードと、キャッシュから
メモリへのトラフィックの増加とのトレード・オフであ
る。もしＢが非常に大きいと、すなわちＢ＝ＳでＳがラ
イン数で示されるキャッシュ・サイズとすると、ＲＨＴ
機構は迅速にキャッシュに配列部分をステージし、これ
を堅持する。しかし、そのコードがいくつかの配列に対
して低い参照パターンで作用すると、大きなＢ値は使用
可能なキャッシュ空間をオーバ・コミットする。これは
すなわち、キャッシュ許可性及びキャッシュ不可性に関
し、最適でない決定がされたことになり、より小さなＢ
値の場合よりも、僅かにキャッシュからメモリへのトラ
フィックが増加することになる。一方、Ｂの値が小さす
ぎると、配列部分の移送及び安定が遅くなり、Ｂの値が
大きい時よりもキャッシュ・ヒット率が僅かに低減する
。しかし、どちらの場合も、バイパス機構を有する効果
的キャッシュ性能は、キャッシュ・ヒット率、及びメモ
リ・バンド幅、メモリ・アクセス時間に関しては、バイ
パス機構を持たない場合よりも向上する。

【００３５】シュミレーション実行では、一般に、低局
所性で参照されるいくつかの配列と作用するとき、Ｓ／
４程度のＢ値が最高の平均的全体性能を引き出すことを
示す。ここでＳはライン数で示されるキャッシュ・サイ
ズである。

【００３６】図５で示される特定の実施例は、ＲＨＴ機
構を更に最適化するように変更可能である。例えば、固
定ボーナス値Ｂを有するよりも、むしろＢが総合的なキ
ャッシュ・ミス活動に基づき、ダイナミックに選択され
る。キャッシュ・ミス活動がモニタできると、Ｂ値は現
在低率の参照特性を経験している命令の数に基づき選択
可能である。Ｂの値はこうした命令がほとんど存在しな
い場合は増加され、数多く存在する場合は減少される。これにより、現在低率の参照特性を示しているデータ・
オブジェクト部分がキャッシュ内に堅持されるスピード
と、全体的なキャッシュ・メモリ間のトラフィックとの
間の更にダイナミックなトレード・オフが提供される。

【００３７】更に、基本的なＲＨＴ機構においては、１
度命令がキャッシュ不可状態に入ると、その命令はキャ
ッシュ・ミスを繰り返し経験し続ける限り、この状態を
維持する。ＲＨＴ機構の変更において、限定されたペナ
ルティ時間の概念を使用する。命令は１度キャッシュ不
可とマークされると、多くともその後の“Ｍ”回の実行
の間はこの状態を維持する。それ以降は、自動的に状態
Ｃ、ｍに移行する。Ｍ及びｍは付加的調整パラメータで
あり、これによりキャッシュ性能を微調整することが可
能となる。

【００３８】

【発明の効果】以上説明したように、本発明によれば、
低キャッシュ・ヒット率を示す命令を自動的にバイパス
し、それによりこうしたデータのキャッシュを回避する
ことにより、コンピュータ・システムの性能の改善を達
成できる。

【図面の簡単な説明】

【図１】キャッシュ・メモリを含むメモリ階層機構を示
すブロック図である。

【図２】本発明による参照履歴テーブル構造を示すブロ
ック図である。

【図３】本発明のオペレーションを表す状態遷移図であ
る。

【図４】図３の状態遷移図により表される状態を示す状
態テーブルである。

【図５】本発明による自動キャッシュ・バイパス機構の
基本的実施例を示すブロック及び論理図である。

Claims

【特許請求の範囲】

【請求項１】主メモリ、該主メモリからデータを要求す
るプロセッサ、及び該プロセッサと前記主メモリ間に配
置され、前記主メモリ内のデータのサブセットを記憶す
るキャッシュ、及び低キャッシュ・ヒット率を示す命令
に対する自動的キャッシュ・バイパス機構を含むコンピ
ュータ・システムにおいて、要求データがキャッシュ内
に存在し、キャッシュ・ヒットを示すかどうかを決定す
るキャッシュ制御手段を備え、存在する場合は、キャッ
シュから要求データを検索し、存在しない場合は、前記
主メモリから要求データを検索し、前記プロセッサから
の命令アドレスによりアドレスされ、最後に参照された
ライン・アドレス、及びキャッシュ許可或いはキャッシ
ュ不可ステータスの記録をキャッシュ・ヒット或いはミ
ス履歴に基づき保持し、キャッシュ・ヒットに対するボ
ーナス値を記憶するテーブル手段と、前記キャッシュ制
御手段及び前記テーブル手段に応じて、前記テーブル手
段に記憶されるデータの現ステータスがキャッシュ許可
の際、主メモリから検索されるデータを前記キャッシュ
に記憶し、前記現ステータスがキャッシュ不可の際、前
記キャッシュをバイパスする手段と、前記テーブル手段
に記憶されるデータのステータスをキャッシュ・ヒット
及び前記ボーナス値の関数として変更する手段とを具備
することを特徴とするコンピュータ・システム。
【請求項２】前記自動的キャッシュ・バイパス機構にお
いて、最初にデータをキャッシュに記憶する時、データ
にキャッシュ許可のステータスと共に初期ボーナス値を
割り当てる手段と、前記データに対するキャッシュ・ヒ
ット或いはキャッシュ・ミスの関数として、前記ボーナ
ス値を変更する手段とを具備することを特徴とする請求
項１記載のコンピュータ・システム。
【請求項３】前記自動的キャッシュ・バイパス機構にお
いて、前記ボーナス値を変更する前記手段は、各キャッ
シュ・ミスに対し記憶されるボーナス値を減じ、データ
のステータスを変更する前記手段は、前記テーブル手段
に記憶されるキャッシュ許可のステータスを、前記ボー
ナス値がゼロの時のキャッシュ・ミスに際し、キャッシ
ュ不可に変更することを特徴とする請求項２記載のコン
ピュータ・システム。
【請求項４】前記自動的キャッシュ・バイパス機構にお
いて、データのステータスを変更する前記手段は、前記
テーブル手段に記憶されるキャッシュ不可のステータス
をキャッシュ・ヒットに際し、キャッシュ許可に変更し
、前記ボーナス値はゼロを維持することを特徴とする請
求項３記載のコンピュータ・システム。
【請求項５】前記自動的キャッシュ・バイパス機構にお
いて、前記キャッシュ制御手段及び前記テーブル手段に
応じ、前記キャッシュにデータを記憶する手段は、前記
テーブル手段から前記プロセッサからの命令アドレスに
よりアドレスされるラインに対する前記ステータス及び
ボーナスを読み出す手段と、前記ボーナス値がゼロより
も大きいかどうかを決定するための比較器手段と、前記
ステータス、前記比較器手段、及び前記キャッシュ制御
手段に応じ、バイパス信号を前記キャッシュ制御手段に
対し生成するゲート手段とを具備することを特徴とする
請求項１記載のコンピュータ・システム。
【請求項６】前記自動的キャッシュ・バイパス機構にお
いて、前記テーブル手段から読み出される前記ボーナス
値に応じ、ゼロと前記ボーナス値よりも１小さな値の大
きい方の値を選択する選択手段と、前記選択手段の出力
及び予め定義されたボーナス値を入力として有するマル
チプレクサ手段とを備え、該マルチプレクサ手段は前記
キャッシュ制御手段がキャッシュ・ヒットを指摘する際
、前記予め定義したボーナス値を出力として提供し、前
記キャッシュ制御手段がキャッシュ・ミスを指摘する際
、前記選択手段の前記出力を提供し、前記テーブル手段
に記録されるボーナス値を、前記マルチプレクサ手段の
出力によって更新する手段とを具備することを特徴とす
る請求項５記載のコンピュータ・システム。