JP2554449B2

JP2554449B2 - キャッシュ・メモリを有するデータ処理システム

Info

Publication number: JP2554449B2
Application number: JP5312984A
Authority: JP
Inventors: ステファン・ジェームズ・ウォルシュ
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1992-12-22
Filing date: 1993-12-14
Publication date: 1996-11-13
Anticipated expiration: 2011-11-13
Also published as: JPH06231044A; US5465342A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はキャッシュ・メモリに関
し、より詳しくは、そのようなキャッシュの動的利用に
応じたそのようなキャッシュ・メモリの適応セット連想
性（associativity）に関する。

【０００２】

【従来の技術】キャッシュ・メモリは、現代のディジタ
ル・コンピュータの中央演算処理装置（ＣＰＵ）と主記
憶装置の間に、できるだけＣＰＵの近くに配置された
（主記憶装置に比べ）小型の高速バッファ・メモリであ
る。キャッシュ・メモリは、主記憶装置の内容のうち、
ＣＰＵが現在使用中である、または使用すると予想され
る部分を複製し、一時的に保持する。キャッシュ・メモ
リの利点は、そのアクセス時間にある。キャッシュ・メ
モリのアクセス時間は一般に、主記憶装置のアクセス時
間よりもはるかに短く、たとえば５分の１ないし１０分
の１である。キャッシュ・メモリを使用すると、関連す
るＣＰＵが、命令やオペランドが取り出され、または記
憶されるのを待つ時間を大幅に短縮することができ、実
効メモリ・アクセス時間がかなり短くなるので、処理効
率が向上する。

【０００３】たとえば、コンピュータ主記憶装置から命
令またはデータにアクセスするとき、これらの命令やデ
ータは近い将来に再び必要となる可能性が高いことが分
かっている。このように再使用の確率が高いことを利用
するために、アクセスされた命令やデータを、主記憶装
置からよりもはるかに高速にアクセスできるローカルの
高速キャッシュに記憶する。キャッシュ・メモリを使用
することにより、全体的なアクセス時間が、主記憶装置
の速度よりもキャッシュ・メモリの速度に近くなる。

【０００４】ＣＰＵによって命令またはデータのアクセ
スが要求されるたびに、要求された項目がキャッシュ・
メモリにあるかどうかキャッシュ・メモリが検査され
る。キャッシュ・メモリにある場合はキャッシュ「ヒッ
ト（hit）」と呼ばれ、その項目がキャッシュ・メモリ
から取り出される。その項目がキャッシュ・メモリにな
い場合は、キャッシュ「ミス（miss）」と呼ばれ、その
項目を主記憶装置から取り出す必要がある。アクセスさ
れる命令またはデータを「ターゲット（target）」と呼
ぶ。キャッシュの有効性は、主としてヒット率、すなわ
ちヒットを生成するターゲットの割合によって測定する
が、キャッシュ・メモリのもう一つの重要なパラメータ
は、ヒットが発生したときにターゲットにアクセスする
のに必要な平均時間である。

【０００５】キャッシュ・ヒットの数を増すために、キ
ャッシュ・サイズを増し、キャッシュ中の利用可能な項
目の数を増やして、ヒットの可能性を上げる方法が知ら
れている。しかし、残念なことに、キャッシュを大きく
すればするほど、キャッシュ自体のアドレス指定が複雑
になり、そのため平均キャッシュ・メモリ・アクセス時
間が長くなる。また、キャッシュを大きくするとコスト
がかさみ、より多くのチップ面積、電力、および冷却が
必要になる。

【０００６】キャッシュ・メモリのヒット率を上げるた
めの最も簡単な技法は、多数の主記憶装置位置を１つの
キャッシュ位置だけにマップする、直接マップ式（dire
ct mapped）キャッシュである。ヒット率を上げるため
のもう一つのキャッシュ技法は、セット連想式（set as
sociative）キャッシュである。この場合は、主記憶装
置中の多数の位置が、キャッシュ中の少数の位置にマッ
プされる。１連想セット当たりの情報要素の数（すなわ
ちウェイ数）を増やすと、一般にヒット率が上がる。し
かし、そのように連想性（associativity）を増すと、
アクセス遅延が発生し、さらに、必要なチップ面積の量
および設計の複雑さのためにコストがかさむ。現代の単
一チップ中央演算処理装置では、そのようなキャッシュ
・メモリおよびキャッシュ制御回路用の空間の量が限ら
れている。一般に、ヒット率の高い大形キャッシュの効
果を高めるには、低い連想性に伴う短いアクセス時間が
必要であるが、ヒット率の低い小形キャッシュの場合は
連想性のレベルが高い方が有利である。

【０００７】キャッシュ・メモリの価値は、コンピュー
タ・メモリ・アクセスの「局在性」特性に依存する。そ
のような局在性は空間的であると共に時間的でもある。
すなわち、コンピュータ・プログラムは一般に、短時間
の間に、メモリ・アドレス空間上に参照されるメモリを
不均一に分散し、そのような参照されるメモリをアドレ
ス空間中の比較的小さな場所に集中させる。また、参照
されるメモリは長時間大体同じままとなる傾向がある。
空間的局在性は、データが連続した配列になり、命令が
連続した位置にくる傾向から生じる。時間的局在性は、
データおよび命令を、たとえばループとして再使用する
傾向から生じる。

【０００８】

【発明が解決しようとする課題】したがって、大きな問
題は、コンピュータ中央演算処理装置に使用するうキャ
ッシュ・メモリ、あるいはそのようなキャッシュ・メモ
リの制御に必要な論理回路を収納するための余分な空間
を必要とせずに、キャッシュ・メモリのヒット率を上げ
ることである。具体的には、キャッシュが複雑になった
り、大きなキャッシュ・チップ面積が必要になるとい
う、通常付随するどんな欠点も被らずに、キャッシュ・
バッファ中の連想性の度合の向上という利点を達成する
ことが望ましい。

【０００９】

【課題を解決するための手段】本発明の実施例によれ
ば、キャッシュのウェイ数の度合が最適になる。すなわ
ち、キャッシュ性能に基づきキャッシュの設定サイズを
動的に修正することによって、キャッシュのウェイ数
が、一時的に増大する。具体的には、特定のキャッシュ
位置が頻繁にアクセスされ、数回にわたってミスが発生
する場合、そのキャッシュ位置のウェイ数の動的増加を
使用して、キャッシュのヒット率を上げる。ウェイ数が
増大すると、キャッシュのヒット率は向上するが、単一
または少数の補助キャッシュが再割当て可能なので、連
想キャッシュのサイズおよび複雑さは最小限に抑えられ
る。

【００１０】さらに詳細に言うと、主キャッシュ・メモ
リ中の位置に一時的および動的に割り当てることができ
る１つまたは複数の小型の補助マイクロキャッシュ（mi
crocache）を設け、それによって、そのキャッシュ位置
のウェイ数を増大させる。そのキャッシュ位置のウェイ
数が増すと、キャッシュのサイズやキャッシュを管理す
るのに必要な制御回路を過度に増やさずに、キャッシュ
全体のヒット率が上がる。

【００１１】本発明の一態様によれば、主キャッシュ位
置において、事前に選択されたミスしきい値を上回る十
分な数のミスが発生して始めて、マイクロキャッシュが
その位置に割り当てられる。ミスしきい値を使用するこ
とにより、マイクロキャッシュが、最もよく働く、すな
わち大部分のミスがなくなるキャッシュ位置に割り当て
られる。

【００１２】本発明のもう一つの態様によれば、マイク
ロキャッシュは、「ウィンドウ・サイズ」と呼ばれる、
事前に選択されたキャッシュ・アクセスの数に対応する
限られた期間の間だけ、特定の主キャッシュ位置に接続
される。ウィンドウ・サイズを制限すると、キャッシュ
動作全体にとって不都合な、１つのキャッシュ位置によ
るマイクロキャッシュの独占がなくなる。ウィンドウ・
サイズに達すると、マイクロキャッシュは解放され、ミ
スしきい値を超えた他の主キャッシュ位置に自由に割り
当てることができるようになる。

【００１３】本発明のもう一つの態様によれば、キャッ
シュ・ミスが発生したときに置き換えられるキャッシュ
位置は、最も長い間アクセスされていないキャッシュ位
置が選択されるようにするＬＲＵ（Least Recently Use
d）アルゴリズムによって決定される。そのようなＬＲ
Ｕアルゴリズムにより、重ね書きされる情報が、将来ア
クセスされる可能性が非常に低い情報となることが保証
される。

【００１４】

【実施例】図１に、キャッシュ・メモリを使用してコン
ピュータの主記憶装置への平均アクセス時間を短縮する
従来技術のコンピュータ・アーキテクチャの全体的ブロ
ック図を示す。図１のキャッシュ・メモリは、（中央演
算処理装置（ＣＰＵ）に対して）ローカルな主キャッシ
ュ・メモリ１１、タグ／状況記憶回路１０、およびキャ
ッシュ制御装置１２を備えている。これらの要素１０〜
１２は、アドレス・バス１５、データ・バス１６、およ
び制御バス１７という３種類のバスによって相互接続さ
れている。これら３種類のバス１５〜１７は汎用アクセ
ス・バスであり、要素１０〜１２をＣＰＵ（図示せず）
およびコンピュータ・システムの入出力回路１３に接続
するのにも使用される。入出力回路１３は、バス１５〜
１７をコンピュータの主記憶装置１４に接続している。

【００１５】主キャッシュ・メモリ１１は、中央演算処
理装置（ＣＰＵ）の近くに配置された（主記憶装置１４
に比べて）小型の高速メモリである。キャッシュ・メモ
リの利点は、局在性の原理に基づいている。すなわち、
最近主記憶装置１４からアクセスされたデータまたは命
令は、他の位置にあるデータまたは命令よりも近い将来
に再びアクセスされる可能性が高い。局在性の原理は、
データおよび命令がしばしば再使用されることに基づく
ものである。小型で高速の主キャッシュ・メモリ１１
に、最近アクセスされた情報を格納することにより、こ
れよりも低速の主記憶装置１４をキャッシュ・メモリ１
１とほぼ同じ速度をもつように見せることができる。

【００１６】キャッシュ制御装置１２は、タグ／状況記
憶回路１０および主キャッシュ・メモリ１１を管理し、
キャッシュ内容置換アルゴリズムを実施する責任を負っ
ている。タグ／状況記憶回路１０は、タグと状況ビット
を含む。タグは、主記憶装置１４に記憶された、主キャ
ッシュ・メモリ１１中のデータまたは命令の実アドレス
の最上位部分の数字である。このタグは、ＣＰＵが要求
している情報が主キャッシュ・メモリ１１中にすでにあ
るかどうかを制御装置１２が判定するために使用され
る。タグ／状況記憶回路１０の状況ビットは、使用する
置換アルゴリズムと、ライトスルー方式とライトバック
方式のどちらを使用するかに応じて、複数の目的を有す
る。主キャッシュ・メモリ１１は記憶域のブロックで編
成され、通常ブロックはワードで編成される。ブロック
中のワードの数は通常、２進アドレス指定を容易にする
ために２の累乗になっている。

【００１７】「直接マップ式」キャッシュ・アーキテク
チャおよび「連想式」キャッシュ・アーキテクチャとい
う２種類の一般的なキャッシュ動作がある。直接マップ
式キャッシュでは、主記憶装置１４用のアドレスが、主
キャッシュ・メモリ１１に、１対１の関係で直接マップ
される。例を示すとこれがよく理解されよう。直接マッ
プ式キャッシュについて、主記憶装置１４が３２ビット
（ビット１〜３２）のアドレス幅を有し、４ギガバイト
のバイト・アドレス可能主記憶装置が使用可能であると
仮定する。また、主記憶装置１４中のデータまたは命令
ワードが３２ビットの幅を有し、主記憶装置１４が、ブ
ロック・サイズが４ワードのブロックに分割されるもの
と仮定する。この場合、主記憶装置１４用のアドレスを
次のようにキャッシュ・メモリ１１にマップすることが
できる。４つの最下位アドレス・ビット（ビット１〜
４）を使用して、主記憶装置１４中の各４ワード・ブロ
ックの１６バイトからの選択と、主キャッシュ・メモリ
１１中の各４ワード・ブロックの対応する１６バイトか
らの選択を行うことができる。次の４つの最下位アドレ
ス・ビット（ビット５〜８）を使用して、主記憶装置１
４および主キャッシュ・メモリ１１中の１６個の４ワー
ド・ブロックのうちの１つを選択することができる。こ
の場合、主キャッシュ・メモリ１１は１６個の１６バイ
ト・ブロックの配列を含む（３２ビット×３２＝１０２
４ビット＝１キロビット（１ＫＢ））。主記憶アドレス
の残りの２４ビットは、タグを構成し、タグ／状況記憶
回路１０のタグ部分に記憶される。主キャッシュ・メモ
リ１１中の４ワード記憶域の１６個のブロックは、それ
ぞれ関連する２４ビットのタグを有する。このタグに
は、主キャッシュ・メモリ１１から実データまたは命令
にアクセスするために使用されるのと同じ４ビットのブ
ロック・アドレスによってタグ／状況記憶回路１０から
アクセスすることができる。このタグをブロック・アド
レスと共に使用して、要求された主記憶装置１４の内容
が主キャッシュ・メモリ１１にすでに存在しているかど
うかを判定する。タグ／状況記憶回路１０の状況ビット
を使用して、たとえば、主キャッシュ・メモリ１１の対
応するアドレスに記憶されたデータが有効であることを
示すことができる。このような状況ビットには、たとえ
ば、単純なパリティ・ビットやエラー検査コードがあ
る。以下に説明するように、他の種類の状況情報も可能
である。

【００１８】図１のキャッシュ・メモリ構成は、次のよ
うに動作する。中央演算処理装置（ＣＰＵ）がアドレス
・バス１５上に所望の情報のアドレスを入力すると、キ
ャッシュ制御装置１２はアドレスからブロック・アドレ
ス・ビット（ビット５〜８）を抽出し、このブロック・
アドレスを使用してタグ／状況記憶回路１０中の関連す
るタグにアクセスする。このタグがアドレス・バス１５
上のアドレスの最上位２４ビットと一致する場合、キャ
ッシュ「ヒット」が発生して、アドレス・バス１５上の
アドレスの最下位４ビット（ビット１〜４）から成るバ
イト・アドレスから始まる主キャッシュ・メモリ１１中
のワードが主キャッシュ・メモリ１１から読み取られ、
データ・バス１６を介してＣＰＵに転送される。記憶さ
れているタグがアドレス・バス１５上のアドレスの最上
位２４ビットに一致しない場合、キャッシュ「ミス」が
発生しており、キャッシュ制御装置１２は、主記憶装置
１４に、アドレスされた情報を要求する。すると、この
情報は、アドレス・バス１５上のアドレスのブロック・
アドレス部分によって識別される高速キャッシュ・メモ
リ１１のブロックに入力され、前にそこにあった情報と
置き換わる。このメモリ・アドレスのブロック・アドレ
ス部分をセット（set）ＩＤと呼ぶ。したがって、セッ
トＩＤは、主記憶装置１４中および主キャッシュ・メモ
リ１１中の情報のブロック位置を識別する。キャッシュ
・メモリ・アドレスが主記憶アドレスに１対１でマッピ
ングされるこの構成を、直接マップ式と呼ぶ。

【００１９】主キャッシュ・メモリ１１のもう一つの構
成方法は、各セットＩＤごとに複数の記憶位置ブロック
を提供することである。この後者の種類の構成をセット
連想式と呼ぶ。すなわち、各セットＩＤに２つのタグ
（ブロック）が関連している場合、この構成を２重セッ
ト連想式キャッシュと呼び、各セットＩＤに４つのタグ
（ブロック）が関連している場合、この構成を４重セッ
ト連想式キャッシュと呼び、以下同様である。主キャッ
シュ・メモリ１１のすべてのタグが１つのセットＩＤと
関連している場合、この構成は完全連想式キャッシュと
呼ぶことになる。直接マップ式と２重セット連想式は、
今日使用されている最も一般的な構成であるが、これら
よりも高次の連想性も使用されている。

【００２０】直接マップ式キャッシュ・アーキテクチャ
の利点は、制御機構が単純であること、および主キャッ
シュ・メモリ１１のサイズが小さいことである。直接マ
ップ式キャッシュの主な欠点は、このようにキャッシュ
・サイズが小さいためにミス率が高くなることである。
一方、セット連想式アーキテクチャはヒット率が高い
が、キャッシュの複雑さが増し、キャッシュ・メモリの
物理サイズが大きくなる。さらに、ウェイ数が大きくな
ればなるほど、必要な制御論理機構が増大する。制御論
理機構が増大すると、メモリへのアクセスに要する時間
が増し、そのため全体的な性能に悪影響が及ぶ。したが
って効率の得失は、ウェイ数の高さと関連がある。本発
明は、直接マップ式キャッシュの単純さと、セット連想
式キャッシュの改善された性能を併せもつキャッシュ・
アーキテクチャを提供しようと試みるものである。この
新しいキャッシュ・アーキテクチャを適応セット連想式
キャッシュ・アーキテクチャと呼び、図２に関して説明
する。

【００２１】図２に、本発明による適応セット連想性を
備えたキャッシュ・メモリ構成の全体的ブロック図を示
す。図２では、図１と同様に、キャッシュ・メモリはタ
グ／状況記憶回路１０、主キャッシュ・メモリ１１、お
よびキャッシュ制御装置１２を備えている。やはり、図
１と同様に、これらの要素１０〜１２がアドレス・バス
１５、データ・バス１６、および制御バス１７によって
相互接続されている。バス１５〜１７はまた、キャッシ
ュ・メモリ１０〜１２を、システム入出力回路１３を介
して主記憶装置１４に接続し、かつ中央演算処理装置
（図示せず）に接続している。図２の適応セット連想式
キャッシュ・システムに含まれるが、図１の従来の技術
のアーキテクチャにはないのが、動的に割当て可能なマ
イクロキャッシュ１８である。

【００２２】図２の適応セット連想式アーキテクチャ
は、キャッシュの性能に基づいてセット・サイズを動的
に修正することができる。すなわち、特定のキャッシュ
・タグが頻繁にアクセスされ、それにミスが数回発生し
た場合、ウェイ数が動的に増加する。このウェイ数の増
加は、キャッシュ・タグにミスが発生する場合に限って
起こり、この増加によってそのキャッシュ・タグのヒッ
ト率が向上する。このようなウェイ数の増加は、マイク
ロキャッシュ１８を、タグ／状況記憶回路１０および主
キャッシュ・メモリ１１中の１つのセットＩＤ位置に動
的かつ一時的に接続することによって実現される。マイ
クロキャッシュ１８は非常に小型のキャッシュであり、
高速キャッシュ・メモリ１１の任意のセットＩＤ位置に
論理的に接続することができ、それによって、そのセッ
トＩＤのセット・サイズを大きくすることができる。

【００２３】本発明の適応セット連想式アーキテクチャ
についてさらに詳細に説明する前に、そのような適応セ
ット連想式アーキテクチャの実施態様で有用ないくつか
の概念を定義しておく。図２のキャッシュ制御装置１２
は、動作時に、すべてのセットＩＤに対するミスの数を
監視して、そのようなセットＩＤのうちで、事前に選択
された「ミスしきい値」に達したものがあるかどうか調
べる。ミスしきい値を超えた場合にかぎって、該しきい
値に達したセットＩＤのうちで最近にアクセスされたも
のにマイクロキャッシュ１８が割り当てられる。それば
かりでなく、複数のマイクロキャッシュ１８を提供し、
以降にミスしきい値に達する他のセットＩＤにもそのよ
うなマイクロキャッシュを割り当てることも可能であ
る。そのような複数マイクロキャッシュ構成の実施態様
は、当業者には以下の説明から明らかなので、以下では
単一マイクロキャッシュの実施例だけについて説明す
る。

【００２４】図２のマイクロキャッシュ１８は、限定ら
れた時間の間だけ特定のセットＩＤに接続されており、
したがって他のセットＩＤもウェイ数の増加の効果を得
ることができる。この目的のために、マイクロキャッシ
ュ１８は、事前に選択された回数のキャッシュ・アクセ
スの間だけ特定のセットＩＤに接続されている。この数
を「ウィンドウ・サイズ」と呼び、適応セット連想性の
効果が最適になるように選択される。ウィンドウ・サイ
ズ値に達すると、マイクロキャッシュ１８が解放され、
ミスしきい値に達した他のセットＩＤに対する割当てに
使用できるようになる。

【００２５】適応セット連想システムでキャッシュ・ミ
スが発生した場合、キャッシュ・ミスが発生したセット
ＩＤと関連する多数のタグのうちのどれを、図２の主記
憶装置１４から取り出された新しい情報で重ね書きする
か決定する必要がある。置換セットＩＤを決定するため
の１つのアルゴリズムは、「ＬＲＵ」アルゴリズムであ
る。このアルゴリズムでは、１つまたは複数の状況ビッ
トをタグ／状況記憶回路１０に保持し、共通のセットＩ
Ｄをもつタグのアクセスされた順序を追跡する。そのセ
ットＩＤに関して最も以前にアクセスされたタグ（ＬＲ
Ｕタグ）が置換すべく選択される。この戦略により、置
き換えられるタグは、将来にアクセスされる可能性が低
いタグとなる。

【００２６】図３に、本発明による適応セット連想式ア
ーキテクチャのさらに詳細なブロック図を示す。図３
で、タグ／状況記憶回路１０は図２のタグ／状況記憶回
路１０に対応し、主キャッシュ・メモリ１１は図２の主
キャッシュ・メモリ１１に対応する。セットＩＤ内容ア
ドレス可能メモリ６８（ＣＡＭ６８）およびタグ内容
アドレス可能メモリ６９（ＣＡＭ６９）が、図２のマ
イクロキャッシュ１８の一部を構成している。キャッシ
ュ制御装置１２は図２のキャッシュ制御装置１２に対応
し、復号／制御論理回路６６は記憶回路１０および１１
にアクセスするのに必要な制御回路を提供する。

【００２７】図３のタグ／状況記憶回路１０は、記憶域
を備え、その中でビット６２がミス・カウント用に予約
される。これらのビットは、マイクロキャッシュ１８
（図２）が前回割り当てられて以降のキャッシュ・ミス
の数が各タグごとにタグ／状況記憶回路１０中で累積さ
れていることを示す。このミス・カウントが、事前に選
択されたミス・カウントしきい値を上回らないと、マイ
クロキャッシュの割当てに関してセットＩＤが考慮され
ない。一例として、９つのミス・カウント・ビットを使
用すると５１２までの最大ミス・カウントが可能にな
る。ただし、ミス・カウントしきい値は最大値より小さ
などんな値にすることもできる。特定のセットＩＤのミ
ス・カウント・ビット６２は、そのセットＩＤにマイク
ロキャッシュが割り当てられるたびに、ゼロにリセット
される。これによって、他のセットＩＤは、前回に割り
当てられたセットＩＤとの競合なしに、マイクロキャッ
シュを取り合うことができ、１つのセットＩＤがマイク
ロキャッシュを独占することはなくなる。セットＩＤが
アクセスされるたびに、ミス・カウントの値が読み取ら
れ、ＭＡＸビット６１およびＭＩＳＳ信号の値に応じて
１ずつ増分される。ＭＡＸビット６１は、関連するセッ
トＩＤが、ミス・カウントしきい値を超えたために、マ
イクロキャッシュ割当ての候補になっていることを示
す。ミス・カウント・ビットと同様に、ＭＡＸビット６
１も、マイクロキャッシュが割り当てられるたびにゼロ
にリセットされる。ＭＩＳＳ信号は、そのセットＩＤに
ついての現キャッシュ・ミスを示す。

【００２８】タグ／状況記憶回路１０もタグ・ビット６
３を含む。タグ・ビット６３は、主記憶装置アドレス
の、ブロックセットＩＤおよびバイト・アドレスを表す
最下位ビットを除く部分を表す。タグ／状況記憶回路１
０の状況部分は、このセットＩＤに対応する主記憶装置
アドレスから回復されたデータが有効であることを示
す、データ有効ビット６４を含む。これらのデータ有効
ビットは、単にパリティ・ビットではなく、またそれよ
りも複雑なエラー検出コードでもよい。ＬＲＵビット６
５は、マイクロキャッシュ１８および主キャッシュ・メ
モリ１１中の対応するエントリが前回にアクセスされた
かどうかを示す。このビットは、置換アルゴリズムで、
キャッシュ・ミスが必要とする新しい情報をキャッシュ
のどこに重ね書きすべきかを決定する際に使用される。

【００２９】復号／制御論理回路６６は、端子７４に接
続された制御バスからの読取りコマンドおよび書込みコ
マンドと、端子７３に接続されたアドレス・バスからの
アドレスを、タグ／状況記憶回路１０および主キャッシ
ュ・メモリ１１にアクセスするのに必要な制御信号に変
換する。アドレスのセットＩＤ部分が、これらのメモリ
１０および１１の各々へのインデックスとして使用され
ることに留意されたい。復号／制御論理回路６６は、端
子７３のアドレスからセットＩＤビットを選択し、これ
らのセットＩＤビットを使用してメモリ１０および１１
の対応するエントリを検索する（または書き込む）。タ
グ／状況記憶回路１０のエントリはそのセットＩＤに対
応するタグ／状況情報である。一方、高速キャッシュ・
メモリ１１のエントリは、主記憶装置１４から前に検索
された実データまたは命令、あるいは主記憶装置１４か
ら取り出されたばかりのデータまたは命令および主キャ
ッシュ・メモリ１１に記憶すべきデータまたは命令であ
る。

【００３０】セットＩＤＣＡＭ６８は、マイクロキャ
ッシュが現在割り当てられている主キャッシュ・メモリ
１１のエントリのセットＩＤを記憶する。タグ内容ＣＡ
Ｍ６９は、セットＩＤＣＡＭ６８に記憶されているセ
ットＩＤに対応するデータまたは命令のブロックの各ワ
ードの現タグ値を含む。キャッシュ制御装置１２は、図
３の構成要素のバランスを制御する制御回路を含む。

【００３１】図４および５に、それぞれ図３のタグ／状
況記憶回路１０および主キャッシュ・メモリ１１に対応
するタグ／状況記憶回路１０および主キャッシュ・メモ
リ１１を備えた、本発明による適応セット連想式キャッ
シュ・メモリ・アーキテクチャの詳細な回路図を示す。
同様に、図４のセットＩＤＣＡＭ６８およびタグ内容
ＣＡＭ６９はそれぞれ、セットＩＤＣＡＭ６８および
タグ内容ＣＡＭ６９に対応する。ＣＰＵが制御バス１７
上にＣＰＵｒｅａｄ信号を出力すると、この信号は図４
の端子３０に現われて、メモリ・アクセス・サイクルを
開始する。同時に、ＣＰＵはアドレス・バス７３上に主
記憶装置１４（図２）のアドレスを置く。このアドレス
は、図４の端子５５に現れる。セットＩＤＣＡＭ６８
は、このアドレスと、端子５５におけるこのアドレスの
セットＩＤ部分を使用して、セットＩＤＣＡＭ６８に
照会し、このセットＩＤがセットＩＤＣＡＭ６８に記
憶されているかどうかを調べる。同時に、端子５２にお
けるＣｒｅａｄ信号が、復号／制御論理回路６６中で、
タグ／状況記憶回路１０にアクセスするために使用され
る。端子５５におけるアドレスのタグが、比較回路５７
中で、タグ／状況記憶回路１０にアクセスするためにア
ドレスのセットＩＤ部分を使用して、タグ／状況記憶回
路１０中のアドレスされたタグと比較される。セットＩ
ＤＣＡＭ６８で一致が発生すると、ヒット出力によっ
てタグ内容ＣＡＭ６９が使用可能になり、端子５５にお
けるアドレスのタグ部分がタグ内容ＣＡＭ６９中のタグ
と比較される。別のヒットが発生すると、ＡＮＤゲート
２９が部分的に使用可能になる。一方、比較回路５７で
タグの一致が発生すると、Ｃｈｉｔ信号が印加され、Ａ
ＮＤゲート２４が部分的に使用可能になる。ＡＮＤゲー
ト２４および２９は、それぞれＯＲゲート４４または４
３からのデータ有効信号によって完全に使用可能にな
る。

【００３２】前述のように、セットＩＤおよびタグを使
用してキャッシュ・ヒットを確立する間に、タグ／状況
記憶回路１０に記憶されたデータ有効ビットがセレクタ
４１に印加される。同時に、端子５５におけるアドレス
のバイト・アドレス部分が１−Ｎデコーダ４５に印加さ
れる。すると、１−Ｎデコーダ４５の出力が、タグ／状
況記憶回路１０から適切なデータ有効ビットを選択し、
それらをＯＲゲート４４に印加するために、セレクタ４
１中で使用される。ＯＲゲート４４の出力は、ＡＮＤゲ
ート２４へのもう一つの入力を形成する。同様に、マイ
クロキャッシュ・データ有効バッファ４６は、マイクロ
キャッシュ１８中のデータ用の同様なデータ有効ビット
を含む。デコーダ４５の同じ出力がセレクタ４２にも印
加される。セレクタ４２には、マイクロキャッシュ・デ
ータ有効バッファ４６中のデータ有効ビットが印加され
る。セレクタ４２で選択されたデータ有効ビットはＯＲ
ゲート４３に印加される。データ有効ビットが"１"であ
る場合、Ｍｖａｌ信号がＡＮＤゲート２９に印加され
る。ＡＮＤゲート２９が完全に使用可能になると、ＬＲ
Ｕフリップフロップ回路２５がセットされ、ＬＲＵフリ
ップフロップ回路２５のＱ出力でＬＲＵ信号が生成され
る。このＬＲＵ信号は出力端子２６に印加される。一
方、ＡＮＤゲート２４が完全に使用可能になると、ＬＲ
Ｕフリップフロップ回路２５がリセットされ、Ｑ出力が
除去されて出力端子２６のＬＲＵ信号が終了する。この
ＬＲＵ信号は、タグ／状況記憶回路１０（図３）中の"
ＬＲＵ"ビット６５の"ＬＲＵ"キャッシュ位置としての
このタグのマーキングを変更するために使用される。す
なわち、このキャッシュ位置が以前にＬＲＵキャッシュ
位置としてマークされていた場合、このＬＲＵビット
は、この位置への最近のアクセスを反映するように変更
される。

【００３３】マイクロキャッシュ・データ有効バッファ
４６中のデータ有効ビットは、端子４９（ロード）、端
子５１（リセット）、および端子４８（クリア）上の制
御信号に応答して端子４７から導入される。これらのデ
ータ有効ビットは、タグ／状況記憶回路１０に記憶され
たデータ有効ビットが作成されるのと同時に、同じ方法
で作成される。すなわち、主記憶装置１４から回復され
たデータを分析してパリティが適切であるかどうかを判
定する。この判断はデータ有効（または無効）ビットに
変換され、そのビットがマイクロキャッシュ・データ有
効バッファ４６またはタグ／状況記憶回路１０に記憶さ
れる。

【００３４】セットＩＤＣＡＭ６８およびタグ内容Ｃ
ＡＭ６９中で有効データ・ビットが発生したことが、Ａ
ＮＤゲート２９の出力によって示されると、ＡＮＤゲー
ト４０が部分的に使用可能になる。ＡＮＤゲート４０は
マイクロキャッシュ１８からの"data ready"（Ｍｒｅａ
ｄｙ）信号によって完全に使用可能になり、"outputlat
ch enable"(ＯＬＥ)信号がマイクロキャッシュ１８に導
入され、それによって（端子５５からの）このアドレス
に対応するデータがマイクロキャッシュ１８からデータ
端子３１上に読み込まれる。データ端子３１では、この
データを、データ・バス１６（図２）を介してＣＰＵに
転送することができる。同様に、タグ／状況記憶回路１
０中で有効データ・ヒットが発生したことが、ＡＮＤゲ
ート２４の出力によって示されると、ＡＮＤゲート５６
は部分的に使用可能になる。ＡＮＤゲート５６が高速キ
ャッシュ・メモリ１１からのdata ready（Ｄｒｅａｄ
ｙ）信号によって完全に使用可能になり、output latch
enable信号が主キャッシュ・メモリ１１に導入され、
それによって（端子５２および復号／制御論理回路６６
におけるＣｒｅａｄ信号を使用して、端子５５からの）
このアドレスに対応するデータが、キャッシュ・メモリ
１１からデータ端子３１上に読み込まれ、そこから図２
のデータ・バス１６を介してＣＰＵに読み込まれる。し
たがって、主キャッシュ・メモリ１１またはマイクロキ
ャッシュ１８中で有効ヒットが発生すると、要求された
データ項目が、主キャッシュ・メモリ１１とマイクロキ
ャッシュ１８のいずれか適切な方からＣＰＵに転送され
る。

【００３５】比較回路５７中でもＣＡＭ６８および６９
中でもヒットが発生しない場合、ＡＮＤゲート２４およ
び２９はどちらも使用可能にならない。この条件は、イ
ンバータ５８および２２によって検出され、"１"入力と
してＡＮＤゲート１９に印加される。端子２０に印加さ
れるＡＮＤゲート１９の出力は、ＭＩＳＳ信号であり、
要求されたターゲット情報がキャッシュ・メモリのどこ
にもなく、主記憶装置からアクセスする必要があること
を示す。したがって、主記憶アクセス・サイクルが開始
される。主記憶装置１４は、アドレス・バス１５（図
２）上のアドレスに応答して、アドレスされた情報ブロ
ックをデータ・バス１６を介して転送する。図４では、
このデータは端子３１に現われる。ＭＩＳＳ信号が存在
し、主キャッシュ・メモリ１１中でミスが発生したこと
を示すときに端子５０にＣｗｒｉｔｅ信号が存在する場
合、復号制御論理回路６６によって、端子５５における
アドレスの同じセットＩＤ部分の制御下でそのデータ自
体を主キャッシュ・メモリ１１に書き込むことができ
る。

【００３６】マイクロキャッシュ１８に関してキャッシ
ュ・ミスが発生し、マイクロキャッシュ１８がＬＲＵデ
ータを含む場合、端子３９におけるＭｗｒｉｔｅ信号に
よって、端子５５におけるアドレスのタグ部分をタグ内
容ＣＡＭ６９に書き込むことができる。同時に、Ｍｗｒ
ｉｔｅ信号に応答して、端子３１におけるデータまたは
命令がマイクロキャッシュ１８に書き込まれる。

【００３７】セットＩＤＣＡＭ６８が、端子３０にお
けるＣＰＵｒｅａｄ信号または端子３８におけるＭｒｅ
ａｄ信号に応答してＯＲゲート２８によって使用可能に
されることに留意されたい。すなわち、セットＩＤＣ
ＡＭ６８は、ターゲットについて新しいＣＰＵ開始プロ
ーブをテストするための読取り（ＣＰＵ読取り）、また
はマイクロキャッシュ１８からのデータの読取り（Ｍｒ
ｅａｄ）に対して使用可能になる。セットＩＤＣＡＭ
６８への書込みは端子３８におけるＭｒｅａｄ信号、端
子３６におけるＴｉｍｅｕｐ信号、および端子３７にお
けるＭＡＸ信号の組合せによって使用可能になるＡＮＤ
ゲート３５の制御下で行われる。Ｔｉｍｅｕｐ信号は、
ウィンドウ・カウントがウィンドウしきい値を上回った
ことを示す。ＭＡＸ信号は、タグ／状況記憶回路１０
（図３）中の、前回のプローブでミス・カウントを超え
たことを示すエントリの状況部分から取られる。

【００３８】図５に、本発明の適応セット連想式キャッ
シュのウィンドウ処理およびミス・カウント部分の詳細
な回路図を示す。図５では、ミス・カウンタ８３が、キ
ャッシュ・ミスの数、すなわちＣＰＵがデータまたは命
令を要求し、そのデータまたは命令がキャッシュになか
った回数をカウントするために使用される。したがっ
て、このカウントは３入力ＡＮＤゲート８２の出力によ
って増分される。ＡＮＤゲート８２の１つの出力は端子
８４におけるＭＡＸ信号であり、タグ／状況記憶回路１
０（図３）中のアドレスされた位置にＭＡＸビット６１
が存在していることを表す。ＭＡＸは、ＡＮＤゲート８
２に印加される前に反転されるので、ミスしきい値をす
でに超えている記憶位置についてミス・カウントを増加
することはできない。ＡＮＤゲート８２へのもう一つの
入力は、端子８５から取られ、図４の端子２０から誘導
された主キャッシュ・メモリ１１にもマイクロキャッシ
ュ１８にもデータまたは命令が存在しないというＣＰＵ
メモリ・プローブを示すＭＩＳＳ信号を表す。ＡＮＤゲ
ート８２への最後の入力は、Ｄ形フリップフロップ回路
８１の"Ｑ"出力から取られる。Ｄ形フリップフロップ回
路８１は、端子９１におけるクロック信号と、図２のキ
ャッシュ・メモリ１１からのＤｒｅａｄｙ信号の組合せ
によってセット、リセットされる。ＡＮＤゲート８２へ
のこの入力はタイミング信号であり、ミス・カウンタ８
３の増分がキャッシュ読取りサイクルの途中で行われる
ようにタイミングを取る。

【００３９】キャッシュ・メモリ１１中の各エントリが
それ自体のミス・カウントを維持する必要があるので、
タグ／状況記憶回路１０から現ミス・カウントを取り出
し、それをミス・カウンタ８３にロードし、ミス・カウ
ントの値を増分し、増分されたミス・カウントをタグ／
状況記憶回路１０に返す必要がある。この目的のため
に、タグ／状況記憶回路１０からのミス・カウントは端
子８６上に現れ、ミス・カウンタ８３の"ＤＩＮ"端子に
ロードされる。ＡＮＤゲート８２の出力によってカウン
トが増分された後、端子８７におけるＣｒｅａｄ信号
が、増分されたカウントをミス・カウンタ８３から読み
取って端子８６上に提供する。ミス・カウントは、端子
８６から、タグ／状況記憶回路１０の適切な位置に返す
ことができる。ミス・カウンタ８３中のカウントは、比
較機構１０１からのＳｅｔＭＡＸ信号によってゼロにセ
ットされ、ミス・カウントがミスしきい値を超えたこと
を示すことができる。

【００４０】ミス・カウントしきい値レジスタ１００は
ミス・カウントしきい値の値を記憶し、ウィンドウ・レ
ジスタ９６は、マイクロキャッシュ１８が特定のセット
ＩＤに接続されている期間であるウィンドウ・サイズの
値を記憶する。大きな柔軟性を得るために、レジスタ９
６および１００をそれぞれ、（ウィンドウ・レジスタ９
６をロードするために）端子１０４のＬｏａｄＷＲ信号
または（しきい値レジスタをロードするために）端子１
０６のＬｏａｄＴＲ信号の制御下で、端子１０５におけ
るＲｅｇＤａｔａ信号によって任意の所望の値でロード
することができる。ウィンドウ・レジスタ９６の値とし
きい値レジスタ１００の値は、コンピュータ上で走行す
るアプリケーションの実メモリ参照パターンに大きく依
存するが、ウィンドウ・サイズとしては２５、ミス・カ
ウントしきい値としては１０が多数のアプリケーション
に適切であることが分かっている。

【００４１】比較機構１０１は、ミス・カウントしきい
値レジスタ１００中のミス・カウントしきい値を、現在
参照されているセットＩＤについてのミス・カウントに
対応する端子１０２におけるミス・カウントと比較す
る。ミス・カウントがミス・カウントしきい値を超えて
いる場合、比較機構１０１は、端子１０３でＳｅｔＭＡ
Ｘ信号を生成する。この信号を使用して、図３のＭＡＸ
ビット６１を設定することができる。前述のように、こ
のＳｅｔＭＡＸ信号はまた、ミス・カウンタ８３のミス
・カウントの値をゼロにリセットするために使用され
る。その後に、ミス・カウントのゼロの値が、タグ／状
況記憶回路１０に記憶するために返される。

【００４２】マイクロキャッシュ１８を前回再割り当て
した以降に発生したキャッシュ参照の数を追跡するため
にウィンドウ・カウンタ９５が設けられている。この目
的のために、ＯＲゲート９７は端子９９におけるＣＰＵ
読取り（ＣＰＵｒｅａｄ）信号と端子９８におけるＣＰ
Ｕ書込み（ＣＰＵｗｒｉｔｅ）信号を組み合わせ、組み
合わされた信号をウィンドウ・カウンタ９５の増分入力
に印加する。すなわち、ＣＰＵによってＣＰＵｒｅａｄ
信号またはＣＰＵｗｒｉｔｅ信号が出力されると、ウィ
ンドウ・カウンタ９５が増分され、ウィンドウ・カウン
トが１だけ増加する。ウィンドウ・カウンタ９５のウィ
ンドウ・カウントは、比較機構９２中で、ウィンドウ・
レジスタ９６のウィンドウ・サイズ値と比較される。ウ
ィンドウ・カウンタ９５中のウィンドウ・カウントがウ
ィンドウ・レジスタ９６中のウィンドウ・サイズを超え
ると、Ｔｉｍｅｕｐ信号が生成され、ＲＳフリップフロ
ップ回路８８のセット入力に印加される。ＲＳフリップ
フロップ回路８８は、このようにセットされると、ウィ
ンドウ・カウンタ９５をリセットし、マイクロキャッシ
ュの再割当てに対応する新しいウィンドウ・カウント・
サイクルを開始する信号を、"ＱＮ"（"Ｑ"ではない）出
力に発生する。

【００４３】ＡＮＤゲート８９は、端子９０のＭＡＸ信
号とＲＳフリップフロップ回路８８の"Ｑ"出力を組み合
わせて、端子９３でＲｅｓｅｔＭＡＸ信号を発生する。
ＲｅｓｅｔＭＡＸ信号は、新たにマイクロキャッシュ１
８を割り当てられたセットＩＤに関する、タグ／状況記
憶回路１０中のＭＡＸビット６１（図３）をリセットす
るために使用される。このように、最も最新にマイクロ
キャッシュ１８を割り当てられたセットＩＤが、次の再
割当てサイクルでマイクロキャッシュ１８を再割り当て
されないようになる。このＲｅｓｅｔＭＡＸ信号は、Ｒ
Ｓフリップフロップ回路８８をリセットすることによっ
て新しいウィンドウ処理サイクルを開始するのにも使用
される。端子９１におけるクロック（clock）信号は、
ＲＳフリップフロップ回路８８のセットおよびリセット
を適切にクロックするために使用される。

【００４４】図６、７、および８に、図４および５の適
応セット連想式（ＡＳＡ）キャッシュ回路の動作を要約
する状態図を示す。最初に、ＡＳＡキャッシュが動作可
能状態（ＲＥＡＤＹ）１５０にあり、ＣＰＵがＣＰＵｒ
ｅａｄ信号もＣＰＵｗｒｉｔｅ信号も出力しておらず、
進行中のキャッシュの更新がないものと仮定する。キャ
ッシュ制御装置１２は、新しいＣＰＵ要求（ＣＰＵｒｅ
ａｄまたはＣＰＵｗｒｉｔｅ）が進行中の主記憶装置ア
クセスを妨害するのを防止するＷＡＩＴ信号を発生す
る。ＷＡＩＴ信号が制御バス上で出力されないものと仮
定すると、コンピュータの中央演算処理装置（ＣＰＵ）
はＣＰＵｗｒｉｔｅ信号（図５の端子９８）またはＣＰ
Ｕｒｅａｄ（図４の端子３０および図５の端子９９）を
出力する。ＣＰＵは、同時に、アドレス・バス１５上に
主記憶アドレスを出力し、ＣＰＵｗｒｉｔｅの場合はデ
ータ・バス１６上にデータ・ワードを出力する。

【００４５】ＣＰＵｒｅａｄ信号が出力されると、読取
りサイクル開始状態１５２に入る。同時に、図８に示す
ように後述の、ウィンドウ・カウンタ増分状態１７１に
入る。ＣＰＵｒｅａｄ信号の出力に応答して、キャッシ
ュ制御装置１２（図２）は、Ｃｒｅａｄ信号を出力して
図６のキャッシュ・アクセス状態１５４に入ることによ
り、キャッシュ読取りを開始する。キャッシュ・アクセ
ス状態１５４では、図４に関して詳細に説明したよう
に、主キャッシュ・メモリ１１およびマイクロキャッシ
ュ１８が検査され、要求されたデータまたは命令が主キ
ャッシュ・メモリ１１またはマイクロキャッシュ１８中
にあるかどうかが判定される。主キャッシュ・メモリ１
１中の一致するエントリのデータが有効である場合、Ｃ
ｈｉｔ信号が出力される。Ｃｈｉｔ信号は、キャッシュ
・ヒット状態１５７に入るためにＣｒｅａｄ信号と共に
使用される。一方、マイクロキャッシュ１８中の一致す
るエントリのデータが有効である場合、Ｍｈｉｔ信号が
出力される。Ｍｈｉｔ信号は、マイクロキャッシュ・ヒ
ット状態１５９に入るためにＭｒｅａｄ信号と共に使用
される。要求されたデータが主キャッシュ・メモリ１１
（Ｄｒｅａｄｙ）またはマイクロキャッシュ１８（Ｍｒ
ｅａｄｙ）から取り出されると、ＣＰＵ通知／状況ビッ
ト更新状態１５８に入る。

【００４６】図４および５に関して説明したように、Ｃ
ＰＵ通知／状況ビット更新状態１５８では、主キャッシ
ュ・メモリ１１またはマイクロキャッシュ１８の一方か
らデータ・バス１６にデータが転送され、ＣＰＵは、デ
ータ・バス１６から要求されたデータを取り出すことが
できる。同時に、図４の端子２６におけるＬＲＵ信号を
使用して、タグ／状況記憶回路１０中のＬＲＵビット６
５が更新される。すると、キャッシュ制御装置１２はＤ
ａｔａＲｅａｄｙ信号を発生する。この信号によって、
システムは作動可能状態１５０に戻り、次のＣＰＵ活動
を待つ。

【００４７】キャッシュ・アクセス状態１５４のとき、
要求された情報が主キャッシュ・メモリ１１にもマイク
ロキャッシュ１８にもないと判定されると、端子２０
（図４）でＭＩＳＳ信号が出力される。このＭＩＳＳ信
号の出力により、ミス・サイクル開始状態１５５に入
る。ミス・サイクル開始状態１５５に入ったことに応答
して、キャッシュ制御装置１２はＣＰＵが進行中のブロ
ック更新に割り込むのを防止するＷＡＩＴ信号を出力す
る。このＷＡＩＴ信号に応答して、ミス・カウント更新
／メモリ・アクセス開始状態１５６に入る。図５に関し
て述べたように、ミス・カウント更新／メモリ・アクセ
ス開始状態１５６ではタグ／状況記憶回路１０中でミス
・カウントが更新され、その後に、キャッシュ制御装置
１２がＳＹＳｒｅａｄ信号を出力して、主記憶装置１４
のアクセスを開始する。したがって、ＳＹＳｒｅａｄ信
号に応答して、主記憶装置アクセス状態１６０に入る。
主記憶装置アクセス状態１６０では、従来技術の技法を
使用して、主記憶装置１４から、要求されたデータまた
は命令を取り出す。主記憶装置１４からのデータは一時
に１ブロックずつ取り出されることに留意されたい。こ
のデータの第１ワードがデータ・バス１６上で利用可能
になると、主記憶装置１４によってＳＹＳＤｒｅａｄｙ
信号が出力され、システム・データ・ラッチ／ＣＰＵ通
知状態１６１に入る。このデータは、言うまでもなく、
処理するためにＣＰＵに送られる。しかし、このデータ
は、将来の要求に備えてローカル・キャッシュにも入力
しておく必要がある。

【００４８】システム・データ・ラッチ／ＣＰＵ通知状
態１６１では、ミスが主キャッシュ・メモリ１１で発生
したか、それともマイクロキャッシュ１８で発生したか
が判定される。ミスがマイクロキャッシュ１８中で発生
したことがＭｈｉｔ信号で示された場合、キャッシュ及
びマイクロキャッシュ更新状態１６２に入る。一方、ミ
スが主キャッシュ・メモリ１１中で発生したことが、Ｃ
ｈｉｔ信号で示された場合は、キャッシュのみ更新状態
１６３に入る。キャッシュ及びマイクロキャッシュ更新
状態１６２およびキャッシュのみ更新状態１６３で行わ
れる動作については、図７に関してさらに詳細に説明す
る。一般に、キャッシュ及びマイクロキャッシュ更新状
態１６２およびキャッシュのみ更新状態１６３では、主
記憶装置１４から主キャッシュ・メモリ１１またはマイ
クロキャッシュ１８に、一時に１つずつデータ・ワード
が転送される。図６に示すように、ＣＰＵｒｅａｄ（読
取りサイクル開始状態１５２への出口）またはＣＰＵｗ
ｒｉｔｅ（読取りサイクル開始状態１５１への出口）が
出力されると、システム・データ・ラッチ／ＣＰＵ通知
状態１６１またはキャッシュ及びマイクロキャッシュ更
新状態１６２が終了する。ブロック全体が首尾よく主キ
ャッシュ・メモリ１１またはマイクロキャッシュ１８に
入力されると、再び作動可能状態１５０に入り、新しい
メモリ・アクセス・サイクルが開始する。

【００４９】動作可能状態１５０の間にＣＰＵｗｒｉｔ
ｅ信号が発生すると、ＷＡＩＴ信号が出力されていない
ものとすると、書き込みサイクル開始状態１５１に入
る。書込みサイクル開始状態１５１で、図８のウィンド
ウ処理状態図に入る。主記憶装置１４に書き込むべき情
報がまず先入れ先出し（ＦＩＦＯ）バッファに入力され
るものと仮定する。このメモリ・アクセス方式は、「ポ
ステッド・ライト（Posted Write）」と呼ばれる。従来
技術の技法を使用してキャッシュの内容が更新される。
ＦＩＦＯバッファ中でデータが利用可能になると、キャ
ッシュ制御装置１２はＣＰＵにＷｒｉｔｅＡＣＫ信号を
出力し、主記憶装置アクセス開始／ラッチ更新状態１５
３に移行する。主記憶アクセス開始／ラッチ更新状態１
５３では、主記憶装置１４がＦＩＦＯバッファからデー
タを取り出して主記憶装置１４に記憶する。このメモリ
書込み状態の間に、ＣＰＵがＣＰＵｒｅａｄ信号または
ＣＰＵｗｒｉｔｅ信号を出力すると、読取りサイクル開
始状態１５２または書込みサイクル開始状態１５１に入
り、ＣＰＵ要求が実行される。主記憶装置書込みサイク
ルが完了すると、再び作動可能状態１５０に入り、サイ
クル全体が新たに開始する。

【００５０】図７に、図６のキャッシュ及びマイクロキ
ャッシュ更新状態１６２およびキャッシュのみ更新状態
１６３で要約したキャッシュ更新プロセスの状態図を示
す。情報が、主記憶装置１４から主キャッシュ・メモリ
１１またはマイクロキャッシュ１８にマルチワード・ブ
ロック単位で転送されることに留意されたい。各ブロッ
クのワード数は、多数の要因によって決まり、値Ｎで表
されている。すなわち、主キャッシュ・メモリ１１およ
びマイクロキャッシュ１８中の各セットＩＤ記憶位置
は、少なくともＮワードの記憶域を含む。メモリ・アド
レスの最下位ビットは、ブロック中のどのワードが望ま
れるかを識別するが、メモリ・アクセスをより効率的に
するために、ブロック全体が、一時に１ワードずつ取り
出される。このマルチワード・メモリ検索については、
図７の状態図で説明する。

【００５１】図７では、キャッシュのみ更新状態１６３
に入っている場合、リード線１９３上のＳｅｔＨＴ信号
の不在が、新しいデータが書き込まれる主キャッシュ・
メモリ１１中の記憶位置にマイクロキャッシュ１８が接
続されていないことを示し、ＤａｔａＲｅａｄｙ信号の
存在がキャッシュ・ヒット処理が完了したことを示し、
ＷＡＩＴ信号の存在が進行中のブロック転送がないこと
を示すと、システムは次更新サイクル開始状態１８０に
入る。すると、キャッシュ制御装置１２は、Ｃｗｒｉｔ
ｅ信号を出力して、キャッシュ書込みサイクルが開始し
たことを示し、ＷＡＩＴ信号を出力して、メモリ転送が
割り込まれるのを防止する。Ｃｗｒｉｔｅ信号およびＷ
ＡＩＴ信号に応答して、次ワード及びＤＶビット転送状
態１８１に入り、次の主記憶装置ワードが主記憶装置１
４からキャッシュ・メモリ１１に転送され、このワード
に関連するデータ有効ビット（ＤＶ）がタグ／状況記憶
回路１０に入力される。このプロセスが完了すると、Ｃ
ｗｒｉｔｅ信号およびＷＡＩＴ信号が除去され、ワード
・カウント増分状態１８２に移行する。ワード・カウン
ト増分状態１８２では、主記憶装置１４から転送される
ワードのカウントが維持され増分される。その結果生じ
るカウントがＮ以下である場合、再び次更新サイクル開
始状態１８０に入り、そのブロックの次のワードの検索
が開始される。ブロックのすべてのワードが検索される
と、ワード・カウント増分状態１８２のワード・カウン
トがＮより大きくなり、キャッシュ更新サイクル終了状
態１８３に入って、キャッシュの更新が完了する。次
に、図７に円１８９で表した動作可能状態１５０に戻
る。

【００５２】主キャッシュ・メモリ１１とマイクロキャ
ッシュ１８の両方を更新する必要があることが、リード
線１９３上にＳｅｔＨＴ信号が存在することによって示
される場合、２重更新サイクル開始状態１８４に入る。
すると、キャッシュ制御装置１２はＣｗｒｉｔｅ信号を
出力して、書込みサイクルが開始したことを示し、ＷＡ
ＩＴ信号を出力して、メモリ転送の割込みを防止する。
Ｃｗｒｉｔｅ信号およびＷＡＩＴ信号に応答して、ＬＲ
Ｕビット照会状態１８５に入る。ＬＲＵビット照会状態
１８５では、キャッシュ制御装置１２が、このメモリ・
ワードに関連するセットＩＤの、タグ／状況記憶回路１
０中のＬＲＵビット６５（図３）の値を確認する。ＬＲ
Ｕビット６５の値がゼロである場合、次更新サイクル開
始状態１９２に入り、Ｃｗｒｉｔｅ信号ではなくＭｗｒ
ｉｔｅ信号に応答して、状態１８０ないし１８３とまっ
たく同じように主記憶装置１４からブロックのワードが
転送され、主キャッシュ・メモリ１１ではなくマイクロ
キャッシュ１８に情報が記憶される。すなわち、次ワー
ド及びＤＶビット転送状態１８６は次ワード及びＤＶビ
ット転送状態１８１に対応し、ワード・カウント増分状
態１８７はワード・カウント増分状態１８２に対応し、
キャッシュ更新サイクル終了状態１８８はキャッシュ更
新サイクル終了状態１８３に対応する。マイクロキャッ
シュ１８への転送が完了すると、再び動作可能状態１５
０に入り（円１８９）、次のＣＰＵ要求を待つ。

【００５３】ＬＲＵビット照会状態１８５で、この位置
のＬＲＵビットが１であると判定されると、次更新サイ
クル開始状態１８０に入り、マイクロキャッシュ１８で
はなくキャッシュ・メモリ１１中に情報のブロックが転
送される。すなわち、マイクロキャッシュ１８は、タグ
／状況記憶回路１０のセットＩＤ位置のＬＲＵビット
が"１"を含まず、主キャッシュ・メモリ１１のキャッシ
ュ・メモリ・エントリ自体がＬＲＵエントリでないこと
を示す場合だけ更新される。この場合、その代わりにマ
イクロキャッシュ１８が更新される。キャッシュ・メモ
リ１１のエントリが実際にＬＲＵである場合、状態１８
０ないし１８３の更新手順を使ってこのエントリが置き
換えられる。いずれの場合も、適切なエントリが重ね書
きされる。

【００５４】更新サイクル開始状態１８０または２重更
新サイクル開始状態１８４の間に、ＣＰＵｗｒｉｔｅ信
号の出力によって、システムは書込みサイクル開始状態
１５１に戻る。これは円１９０で示されている。同様
に、更新サイクル開始状態１８０または２重更新サイク
ル開始状態１８４の間に、ＣＰＵｒｅａｄ信号の出力に
よって、システムは読取りサイクル開始状態１５２に戻
る。これは円１９１で示されている。すなわち、ＣＰＵ
ｒｅａｄ信号またはＣＰＵｗｒｉｔｅ信号を出力する
と、各ワードが転送される前には更新サイクルが打ち切
られるがワード転送中は、打ち切られない。

【００５５】図８に、図４および５の適応セット連想式
キャッシュ・アーキテクチャに使用されるウィンドウ処
理手順の状態図を示す。動作可能状態１５０から開始
し、ＣＰＵｒｅａｄ信号またはＣＰＵｗｒｉｔｅ信号の
出力によって、システムはウィンドウ・カウンタ増分状
態１７１に入る。図５に関して述べたように、適切なセ
ットＩＤについてウィンドウ・カウンタ８３が増分され
る。増分されたウィンドウ・カウントがウィンドウ・サ
イズを超えない場合（比較機構９２、図５）、システム
は、ＣＰＵｒｅａｄ信号またはＣＰＵｗｒｉｔｅ信号が
除去されたときに動作可能状態１５０に戻る。ウィンド
ウ・カウンタ８３の増分された値がウィンドウ・レジス
タ９６中のウィンドウ・サイズに一致するかまたはそれ
を上回る場合、Ｔｉｍｅｕｐ信号が発生され、システム
はリセット・サイクル開始状態１７２に入る。リセット
・サイクル開始状態１７２では、ＲＳフリップフロップ
回路８８がセットされる。そして、ＭＡＸ信号が受信さ
れると、ウィンドウ・カウンタ・リセット状態１７３に
入る。ウィンドウ・カウンタ・リセット状態１７３で
は、ウィンドウ・カウンタ９５がリセットされ、Ｒｅｓ
ｅｔＭＡＸ信号が発生されて、図３のＭＡＸビット６１
がリセットされる。Ｔｉｍｅｕｐ信号が終了すると、シ
ステムはウィンドウ・カウンタ増分状態１７１に戻り、
ＣＰＵｒｅａｄ信号またはＣＰＵｗｒｉｔｅ信号が終了
するとき、ウィンドウ・カウンタ増分状態１７１から動
作可能状態１５０に戻る。

【００５６】

【発明の効果】本発明による適応セット連想式キャッシ
ュは、ウェイ数を増大させることが好ましい場合にそう
することによって、キャッシュのヒット率を上げる。同
時に、１つまたは少数のキャッシュ記憶位置だけについ
て、限られた期間の間だけウェイ数を増大させることに
より、連続した高いウェイ数をサポートするのに必要な
制御回路の大幅な増加が、回避される。

【図面の簡単な説明】

【図１】データ処理システムにおいてキャッシュ・メモ
リの性能を向上させる従来の技術のキャッシュ・メモリ
・アーキテクチャの全体的ブロック図である。

【図２】動的に割当て可能なマイクロキャッシュの使用
法を示す、本発明による適応セット連想式キャッシュ・
メモリの全体的ブロック図である。

【図３】内容アドレス可能メモリを使用して、動的に割
当て可能なマイクロキャッシュ中のキャッシュ・ヒット
の判定を容易にする方法を示す、本発明による適応セッ
ト連想式キャッシュ・メモリ・アーキテクチャのさらに
詳細なブロック図である。

【図４】図３の適応セット連想式キャッシュ・メモリの
一部分の詳細回路図である。

【図５】図３の適応セット連想式キャッシュ・メモリの
別の部分の詳細回路図である。

【図６】図４および５の適応連想式キャッシュ・メモリ
のメモリ・アクセス・プロセスの状態図である。

【図７】図４および５の適応連想式キャッシュ・メモリ
のキャッシュ更新プロセスの状態図である。

【図８】図４および５の適応連想式キャッシュ・メモリ
のキャッシュ接続ウィンドウ処理プロセスの状態図であ
る。

【符号の説明】

１０タグ／状況記憶回路１１主キャッシュ・メモリ１２キャッシュ制御装置１３コンピュータ・システム入出力回路１４コンピュータ主記憶装置１５アドレス・バス１６データ・バス１７制御バス１８マイクロキャッシュ２５ＬＲＵフリップフロップ回路４１セレクタ４５デコーダ４６マイクロキャッシュ・データ有効バッファ５７比較回路６６復号／制御論理回路６８セットＩＤ内容アドレス可能メモリ６９内容アドレス可能メモリ

Claims

(57)【特許請求の範囲】

【請求項１】データ処理システムを操作するためのデー
タ及び命令を記憶する主記憶装置と、前記データ及び命令のうちの選択されたものを一時的に
記憶するための複数の記憶域を持つ連想式キャッシュ・
メモリと、前記キャッシュ・メモリの少なくとも１つの前記記憶域
のウェイの数を一時的且つ動的に増加する手段と、前記ウェイ数の増加後に発生したキャッシュのアクセス
回数をカウントする手段と、前記アクセス回数カウント手段に応答して、前記増加し
たウェイを削減する手段とを備える、データ処理システ
ム。
【請求項２】前記キャッシュ・メモリが直接マップ式キ
ャッシュを備えることを特徴とする、請求項１に記載の
データ処理システム。
【請求項３】前記少なくとも１つの記憶位置のウェイ数
を増加するために該記憶位置に一時的に割り当てること
のできる補助キャッシュ・メモリを備えることを特徴と
する、請求項１に記載のデータ処理システム。
【請求項４】前記キャッシュ・メモリ中の各記憶位置に
対するキャッシュ・ミスをカウントする手段と、前記キャッシュ・メモリ中のある記憶位置に対するキャ
ッシュ・ミスの数が、所定のしきい値を上回る場合に限
り、該記憶位置のウェイ数を増加する手段と、を備えることを特徴とする、請求項１に記載のデータ処
理システム。
【請求項５】キャッシュ・ミスが発生したときに前記キ
ャッシュ・メモリ中のＬＲＵ記憶位置を重ね書きする手
段を備えることを特徴とする、請求項１に記載のデータ
処理システム。
【請求項６】データ処理システムを操作するためのデー
タおよび命令を主記憶装置に記憶するステップと、前記データおよび命令のうちの選択されたものをキャッ
シュ・メモリに一時的に記憶するステップと、前記キャッシュ・メモリの１つ以上の記憶位置のウェイ
数を一時的に増加するステップと前記ウェイ数の増加後
に発生したキャッシュのアクセス回数をカウントするス
テップと、前記アクセス回数カウントステップの結果に応答して、
前回増加したウェイ数を削減するステップとを含む、デ
ータ処理システムを操作する方法。
【請求項７】前記一時的に記憶ステップが、前記主記憶
装置中の記憶位置を前記キャッシュ・メモリに直接マッ
プするステップを含むことを特徴とする、請求項６に記
載の、データ処理システムを操作する方法。
【請求項８】前記一時的記憶ステップが、前記主記憶装
置中の複数の位置を前記キャッシュ・メモリ中の各位置
と関連付けるステップを含むことを特徴とする、請求項
６に記載の、データ処理システムを操作する方法。
【請求項９】前記１つ以上の記憶位置に１つ以上の補助
キャッシュ・メモリを一時的に割り当て、その１つの記
憶位置のウェイ数を増加するステップを含むことを特徴
とする、請求項６に記載の、データ処理システムを操作
する方法。
【請求項１０】前記キャッシュ・メモリ中の各記憶位置
に対するキャッシュ・ミスをカウントするステップと、前記キャッシュ・メモリ中のある記憶位置に対するキャ
ッシュ・ミスの数が、所定のしきい値を上回る場合に限
り、該位置のウェイ数を増加するステップと、を含むことを特徴とする、請求項６に記載の、データ処
理システムを操作する方法。
【請求項１１】キャッシュ・ミスが発生したときに前記
キャッシュ・メモリのＬＲＵ記憶位置を重ね書きするス
テップを含むことを特徴とする、請求項６に記載の、デ
ータ処理システムを操作する方法。