JPS638851A - キャッシュ・メモリ制御方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の技術分野〕 本発明はコンピュータ・システムに関し、更に詳細には
、保証されたとき標準の置換え機構から一層効率的なデ
ータ置換え方法に切換えることができるキャッシュ・メ
モリ制御方式に関する。

〔従来技術およびその問題点〕

最近のコンピュータ・システムの多くは中央処理装置（
ＣＰ　Ｕ）と主メモリを備えている。ＣＰＵが命令をデ
コードし実行してデータを処理する速さは命令とオペラ
ンドを主メモリからＣＰＵに移すことができる速さより
大きい。この不整合から生ずる問題を軽減しようとして
、コンピュータ・システムの多くはＣＰＵと主メモリと
の間にキャッシュ・メモリすなわちバッファを備えてい
る。

キャッシュ・メモリは小形の高速バッファ・メモリであ
って、ＣＰＵが近い将来使用するであろうと信ぜられる
主メモリの内容の一部を一時的に保持するのに使用され
る。キャッシュ・メモリの主な目的はデータまたは命令
をフェッチするためメモリ・アクセスを行うのに必要な
時間を短くすることである。キャッシュ・メモリに入っ
ている情報は主メモリに入っている情報よりはるかに短
い時間でアクセスできる。したがって、キャッシュ・メ
モリを備えたＣＰＵにおいては、命令やオペランドのフ
ェッチや格納を待つのに必要とする時間ははるかに少く
てすむ。たとえば、典型的な大形高速コンピュータにお
いて、主メモリは３００から６００ナノ秒でアクセスす
ることができるが他方キャッシュ・メモリからは情報を
５０から１００ナノ秒で得ることができる。このような
機械では、キャッシュ・メモリは実質上実行速度を非常
に増すが、処理装置の性能は、キャッシュ・メモリのア
クセス時間のため命令実行速度の点で未だに制限されて
いる。更に一層命令実行の速さを増すにはキャッシュ・
メモリのアクセス時間を更に減らせばよい。

キャッシュ・メモリは一つ以上のデータ・ワードの多く
のブロックから構成されている。各ブロックには、それ
が主メモリのどのブロックのコピーであるかを一意に識
別するアドレス・タグが関連付けられている。処理装置
がメモリ参照を行うごとに、キャッシュはアドレス・タ
グの比較を行って要求されたデータのコピーがその内に
あるかを調べる。コピーがあれば、そのデータを供給す
る。コピーがなければ、主メモリから対応するブロック
を検索してキャッシュに格納されているブロックの一つ
を置き換えてから、データを処理装置に供給する。

キャッシュ・メモリの設計を最適化するには一般に４つ
の局面がある。

（１）メモリ参照の情報がキャッシュ内に見出される確
率（いわゆるヒツト率）を最大にすること。

（２）　　実際にキャッシュ内にある情報にアクセスす
るの′に必要な時間（アクセス時間）を最小にすること
。

（３）キャッシュ・ミスによる遅れを最小にすること。

（４）主メモリを更新し、また多重キャッシュの整合性
を維持するためのオーバーヘッドを最小にすること。

これらの目的はすべて価格の制約のもとて且つパラメー
タ間の相互関係、たとえば、ヒント率とアクセス時間と
の間のトレード・オフを考慮して行わなければならない
。

キャッシュ・メモリが大きくなれば、必要な情報がその
中に見出される確率が大きくなることは明らかである。

ただし、キャッシュの大きさはいくつかの理由から無制
限に拡張することはできない。その理由には、多くの機
械、特に小形機械では最も重要な理由である価格の問題
、キャッシュは基板や筐体に入りきらなければならない
という物理的な大きさの問題、またキャッシュが大きく
なればアクセス時間が遅くなるという問題がある。

情報は一般にキャッシュから連想的に検索されてヒツト
したか確認される。ただし、大きな連想メモリは非常に
高価で且つ幾分のろい。初期のキＣＰＵに遅れずに従っ
て行くのに必要なアクセス時間にするために、キャッシ
ュの大きさが制限され、ヒツト率はむしろ小さくなった
。

もっと最近になって、キャッシュ・メモリはセントと呼
ばれるもっと小さな連想メモリのグループに組織化され
た。各セットには、セント・サイズと呼ばれる多数のロ
ケーションがある。Ｌセットに分割された、サイズｍの
キャッシュの場合、各セットにはＳ　＝　ｍ　／　Ｌの
ロケーションがある。

主メモリのアドレスがキャッシュにマツプされると、そ
のアドレスはＬセットのどれかに現われる。

キャッシュのサイズを固定して考えた場合、各セットを
並列に捜索すればアクセス時間をＬ倍改善することがで
きる。しかしながら、必要な連想捜索を完了する時間は
やはり不必要に長すぎる。

今までのキャッシュ・メモリの動作は、特定のメモリ・
ロケーションが参照されたのだから、そのロケーション
およびこれに非常に近いロケーションは近い将来アクセ
スされる可能性が非常に大きい、という仮定に基いてき
た。これを局所性と呼ぶことが多い。局所性には二つの
局面、すなわち時間的性質と空間的性質がある。短い期
間では、プログラムのメモリ参照はそのアドレス空間に
非一様的にばらつくが、アドレス空間中でよくアクセス
される部分は長期間はとんど同じままになっている。こ
の最初の性質は、一時的局所性（ｔｅｍ−ｐｏｒａｌ　
１ｏｃａｌｉｔｙ）　、または時間による局所性と呼ぶ
が、近い将来使用することになる情報は既に使用されて
いる可能性があるということを意味する。

この種の挙動は、データと命令を共に再使用する、プロ
グラム・ループのような、ある種のデータ構造から予想
することができる。第二の性質は、空間的な局所性であ
る。この性質が意味しているのは、アドレス空間中の使
用される部分は、−ｉにそのアドレス空間、内の、かな
りわずかな数の個々には連続しているセグメントから構
成されているということである。したがって、空間的局
所性は近い将来のプログラムの参照の軌跡はこの参照の
現在の軌跡に近いものになりそうだということを意味す
る。この種の挙動は一般的なプログラム構造の知識から
予想することができる。お互いに関連するデータ項目（
変数、アレイ）は普通、いつ用された部分を保持してい
るので、局所性は、必要な情報もキャッシュ内に見出さ
れることになりそうであるということを意味している。

Ｓｍ１ｔｈ、Ａ。

Ｊｏ、Ｃａｃｈｅ　Ｍｅｍｏｒｉｅｓｓ　ＡＣＭ　Ｃｏ
ＩＩｌｐｕｔｉｎｇ　５ｕｒｖｅｙｓ　。

１４　：　３　（１９８２年９月）　、ＰＰ、４７３〜
５３０を参照。

キャッシュが、上述のように、複数個のセットを備えて
いる場合には、キャッシュ・ミスが起ったとき、キャッ
シュはいくつかの情報ブロックの中のどれを置換えて主
メモリから検索される新しいブロック用の空き間を作る
かを決めなければならない。ブロックを置換える時期を
決めるとき、キャッシュが違えば使用する置換４方式も
異なる。

最も普通に使用される置換為方式はＬ　ＲＵ　（ｌｅａ
ｓｔｒｅｃｅｎｔｌｙ　ｕｓｅｄ）である。ＬＲＵ置換
置換式方式れば、特定のインデクスを持つブロックのグ
ループごとに、キャッシュはこれらのブロックが最後に
アクセスされた順序を常に記録しているいくつかの状態
ビットを維持している。ブロックの一つがアクセスされ
るごとに、最も最近に使用されたことがそのブロックに
ついてマークされ、これにしりのための空き間を作るた
めに置換えられるブロックは、最後のアクセスの時点が
最も古いブロックである。

使用されるその他の置換寛方式は先入れ先出しくＦＩＦ
Ｏ）とランダム置換えである。これらの動作はその命名
法から自明である。

しかしながら、上述の仮定とは逆に、すべてのコンピュ
ータ・データ構造が同種類のデータ局所性を備えている
わけではない。データ・スタックあるいはシーケンシャ
ル・データのような、成る単純な構造では、ＬＲＵ置換
置換式方式適ではない。このように、最も参照されると
思われるデータは最も最近参照されたものまたはそのデ
ータに物理的アドレスで近隣しているものであるという
基本的仮定にしたがって構成されている、過去に使用さ
れたキャッシュ・メモリ構造では、標準データ置換（方
式から逸脱した方式でのキャッシュ・メモリ動作に関す
る準備が施されていない。

〔発明の目的〕

キャッシュ・メモリへのアクセス時間を最小にするのが
本発明の目的である。キャッシュ・メモリの動作に柔軟
性を与え、そうすべきだと保証されたときには、キャッ
シュが標準置換波力式から−ｉ効率的なデータ置ｌ′Ｉ
Ａ前方式に切替えることができるようにすることも本発
明の目的である。

〔発明の概要〕

本発明の一実施例によれば、本発明のこれらのおよび他
の目的は、キャッシュ・メモリに提示される各命令にキ
ャッシュ制御指示子（ｃａｃｈｅ　ｃｏｎｔｒｏｌｓｐ
ｅｃｉｆ　１ｅｒ）を入れることにより達成される。格
納命令またはロード命令中のキャッシュ制御指示子が与
えられたとき、キャッシュは命令内のキャッシュ制御指
示子を識別し、いくつかの置換ψ方式の一つをこのキャ
ッシュ制御指示されたように実行する。

命令にキャッシュ制御指示子を埋込むことにより、キャ
ッシュはスタックやシーケンシャル・データ構造を適切
に処理することができ、これによりキャッシュ性能が増
す。キャッシュはまた主メモリからデータを何時プリフ
ェッチしておくのが有利であるかに関して「ヒント」を
受取ることができる。

〔実施例〕

第１図はキャッシュ・メモリを組込んだコンピュータ・
システムを示す。ＣＰＵＩＩは主メモリ１３および入出
力チャンネル（Ｉｌｏ）１５とバス１７を経由して通信
する。ＣＰ　Ｕｌｌはデータを処理する命令をフェッチ
し、デコードし、実行する処理装置１９を備えている。

上述のとうり、コンピュータ・システムが使用する命令
およびデータを全てＣＰＵ１ｌに格納するのは実際的で
はないから、データと命令は、主メモリ１３に格納され
、プログラムまたはルーチンの実行中要求されると処理
装置１９に移され、プログラムまたはルーチンが終了し
てから主メモ１月３に戻される。

主メモリ１３へのアクセスは処理装置１９の動作と比較
すると比較的のろい。処理装置１９が命令またはデータ
が必要であるたびに主メモリのアクセスが完了するのを
待たなければならない場合には、その実行速度はかなり
遅くなる。したがって、アクセス時間を処理装置１９の
必要とするものに一層よく適合させるために、バッファ
・メモリすなわちキャッシュ・メモリ２１は限定された
数の命令とデータを格納している。

キャッシュ・メモリ２１は主メモリ１３よりはるかに小
さいから、アクセス速度を速くするように経済的に作り
上げることができる。それにもかかわらず、キャッシュ
・メモリへのアクセス時間とキャッシュの大きさとの間
にはやはりトレード・オフが存在する。上述のように、
キャッシュ・メモリが大きくなるにしたがって一層高価
になり、またキャッシュ・メモリへのアクセス時間が増
大する。したかって、キャッシュ・メモリ２１を非常に
大きくしてヒント率を高くした場合には、主メモリへの
参照は非常に少くなるが、処理装置は、たとえキャッシ
ュへヒツトした場合でも、アクセス時間の増大により遅
くなることがある。したがって所与の大きさと構造のキ
ャッシュ・メモリに関してヒツト率を最大にするのが望
ましい。

本発明の方法をもっと完全に説明するには、キャッシュ
・メモリ２１の構造を理解することが必要である。第２
図は複数のセットＡ−Ｎを備えたキャッシュ・メモリを
示す。各セットはロケーションまたはブロックのプレイ
から成り、これをインデクス３１と記しである。各ブロ
ックにはデータ３３と主メモ１月３の中の同じデータの
コピーのアドレスに対応するアドレス・タグ３５が入っ
ている。好ましい実施例では、データ３３の各ブロック
には４ワード入っている。この４ワードのブロックはデ
ータがキャッシュ・メモリ２工と主メモリ１３との間で
交換される単位であり、またデータがキャッシュ２１で
インデクスされ、取出され、置換えられる単位でもある
。ブロックに入れるワード数はもっと少く、あるいはも
っと多くすることができる。

これらパラメータはメモリ装置の設計選択の問題であり
、本発明の原理は可能な広範囲の構成に適用することが
できる。データ３３とアドレス・タグ３５に加えて、キ
ャッシュ・メモリ内の各ブロックは関連する二つの１ビ
ツト状態フラグ「有効（ｖａｌｉｄ）Ｊと「書込み（ｄ
ｉｒｔｙ）Ｊとを備えている。

キャッシュ・メモリにはまたキャッシュ・メモリ内の同
じインデクスに対応するブロックの全てに対する一層の
ＬＲＵ状態ビットを備えている。

有効ビット３７はブロックが「有効」データ、すなわち
、最新のデータを含んでいる場合にかぎりセットされる
。

書込ビット３８がセットされるのは、対応するブロック
がキャッシュ・メモリ内に移された以降、処理装置１９
がキャッシュ・メモリ内のそのアドレスに書込みを行な
った場合である。処理装置１９がキャッシュ・メモリ２
１に書込みを行なうごとにこのキャッシュ・メモリ２１
が主メモリ１３を更新しなければ、キャッシュは主メモ
リが同じブロック・アドレスに対して持っているよりも
もっと最近版　　′のデータを持っている。書込みビッ
ト３８がセットされている場合には、キャッシュ・メモ
リ２１の中の対応するブロックがキャッシュ・メモリが
らスワップ・アウトされるとき、このブロックに現在入
っているデータを主メモリに書き込み戻すことにより主
メモリを更新しなければならないことを示している。

ＬＲＵ状態ビット３９は対応するブロックが最近最も長
い間使用されていなかった、すなわち置換えの対象とし
て最も適切であるかどうがを識別する。上に述べたとう
り、ＬＲＵ置換置換式方式れば、キャッシュ内のブロッ
クの一つにアクセスするごとに、最も最近使用されたこ
とがマークされ、他のもののＬＲＵ状態ビットがこれに
したがって調節される。

処理装置１９がメモリ参照を行うたびに、キャッシュ・
メモリ２１を捜索して要求データのコピーが入っている
か調べる。入っていなければ、データを主メモｉ月３か
らブロックとして取出し、処理装置１９に供給し、キャ
ッシュ２１に既に入っているブロックの一つと置換えて
格納しなければならない。

もし置換えられるブロックの書込みビットがセントされ
ている、すなわち、処理装置１９がキャッシュ・メモリ
中のそのブロックに書込みを行なっていれば、そのブロ
ックを主メモリ１３の適切なアドレスに書き戻して主メ
モリを更新し、データの完全性を維持しなければならな
い。

本発明によれば、第３図に示すとうり、処理装置１９が
実行する命令で、キャッシュ・メモリ２１が処理しなけ
ればならないデータ要求を発生する命令は、キャッシュ
制御指示子を含むいくつかのビットを備えている。キャ
ッシュ制御指示子は命令が参照するデータの種類につい
てキャッシュ・メモリに知らせ、したがって複数の置換
濾方式のどれをキャッシュ・メモリ２１のデータの置換
えに使用すべきかを、キャッシュ・メモリに知らせるよ
うにコード化される。

処理装置１９が発生する命令４１は、それを用いてアド
レス・タグ３５°　（これは対応するタグ３５に関して
キャッシュ２１を捜索するのに使用される）とインデク
ス３１′　（これはキャッシュ２１内の所要のインデク
ス３１を識別するのに使用される）を計算することがで
きる情報と、命令コード・フィールド４３（これはキャ
ッシュ・メモリ２１における動作を制御するのに使用さ
れる）と、キャッシュ・メモリからデータを交換するの
に使用する方法を規定するキャッシュ制御指示子４５を
含んでいる。

本発明の好ましい実施例においては、命令はこのような
キャッシュ制御指示子４つをコード化することができる
。これらは通常データ、スタック・データ、シーケンシ
ャル・データ、およびブリフェッチである。キャッシュ
はこれらキャッシュ制御指示子に応答し、識別されたデ
ータの種類に最も適する置換及方式を選択する。

通常データの場合には、通常キャッシュ制御指示子が使
用され、キャッシュ・メモリは標準置換方式、この場合
はＬＲＵ、にしたがって動作する。

使用することができる他の標準置換方式はたとえば先入
れ先出しくＦＩＦ○）置換えやランダム置換えである。

スタック・キャッシュ制御指示子はメモリ内の低位アド
レスから上へ成長するスタック・データ構造に対して使
用される。その−例は第４図に示す後入れ先出しくＬ　
Ｉ　ＦＯ）スタック構造４７である。第４図に示すよう
に、スタック・ポインタ４９がスタックの最上部のアド
レスを常に措している。

スタック・ポインタ４９より下の、領域５１内にあるア
ドレスのデータは正当データである。スタック・ポイン
タ４９より上の、領域５３内にあるアドレスのデータは
無効である。処理装置１９は現在有効であると考えられ
るデータ、すなわちスタック・ポインタ４９より下の、
データにアクセスすることができる。スタック４７内の
アドレスはキャッシュ・メモリ２１内のインデクス付き
ロケーション３１にマツプされ、第４図に示す二重線５
５による分割で示したように、キャッシュ・メモリ２１
内のブロックにドに対する格納であり、しかもキャッシ
ュ・ミスが起った場合には、新しいブロックをスタック
上およびキャッシュ・メモリ内に割当てなければならな
い。新しいデータは古いデータが読取られる前に所定ブ
ロックに書き込まれると見なされる。

したがって、この場合、主メモリからデータを検索する
必要はない。キャッシュ・メモリはアドレス・タグを初
期設定し、このブロックを最も最近使用されたブロック
であるとマークし、格納を行う。加えて、起り得る防護
侵犯（ｓｅｃｕｒｉｔｙ　ｖｉｏ−１ａｔｉｏｎ）を防
ぐため、ブロックは格納を行う前に定数またはでたらめ
なデータで初期化されるようにする。

！ スタック４７への参照があるブロック内の最初のワード
へのロードである場合には、スタック上の空き間の割当
てが取消され、このブロック内のデータはもはや必要が
ないと見なされる。したがって、キャッシュ２１は通常
のロードを行い、置換えのためブロックがきれいであり
　（書込みが行なわれていない）、置換えに最も適格で
あること、すなわち最適量も長い間使用されていないこ
とをマークする。

標準置換方式をスタック用のものに変更すれば、無効な
スタック・データをキャッシュに移すことが回避され、
したがって、先ず第１にはデータをキャッシュに移すの
に必要な時間が節約され、そればかりでなく、後にこれ
をキャッシュから取除きアドレスを初期設定するのに必
要な時間も節約される。

シーケンシャル・キャッシュ制御指示子はブロック移動
またはテキストの走査に用いられるもののようなシーケ
ンシャル・データ・アクセス・パターンに使用される。

ロードまたは格納動作がブロックの最後のアドレスを参
照するときは、それは今後しばらくの間ではそのブロッ
クへの最後の参照となると見なされる。したがって、キ
ャッシュ・メモリは通常のロードまたは格納を行い、ま
たこのブロックは置換えに最も適格であるとマークされ
る。格納命令がブロック内の最初のワードにアクセスし
、且つキャッシュ・ミスが起った場合には、このブロッ
ク全体には今後重ね書きが行なわれ、それ故このブロッ
クを主メモリ１３から読取る必要は無いと見なされる。

代りに、あるブロックがキャッシュ内で開放され（ｆｒ
ｅｅｄ　ｕｐ）　、安全防護のために初期設定され、最
も最近使用されたこと、有効および書込みがマークされ
る（スタック格納と同じ）。オペレーティング・システ
ムは、他のデータがシーケンシャル・データ構造の最後
のブロックを共有しないようにしなければならない。さ
もなければ、この手順によりデータが失なわれてしまう
ことがある。

ブリフェッチ・キャッシュ制御指示子は、ブロックへの
ロードまたは格納において、次のブロックが近い将来ア
クセスされる可能性がかなり高いことを示すのに使用さ
れる。したがってキャッジプリフェッチは指示子を有す
るブロックの始まり近くで、中間で、あるいは終りで生
ずる。

〔発明の効果〕

以上説明したように、本発明によれば、使用されるデー
タ構造やプログラムの性質に基いてＲ通なキャッシュ・
メモリ置換方式を動的に選択できるので、ヒツト率が向
上するという効果がある。

【図面の簡単な説明】

第１図は本発明を適用することができるコンピュータ・
システムの一例を示す図、第２図は第１図中のキャッシ
ュ・メモリの構成例を示す図、第３図は本発明を適用し
たキャッシュ・メモリの動作を説明する図、第４図は本
発明の動作をスタックに関して説明するための図である
。 １１：ＣＰＵ、１３：生メモリ。 １９：処理装置、２１：キャッシュ・メモリ。 ４１：命令、４５：キャッシュ制御指示子。 もットＢ　　　　　　　　　　　　　　　之ノ／−Ｎ〆
θ　２

Claims (1)

【特許請求の範囲】
1. 実行される命令語中の所定のフィールドの値に応答して
   キャッシュ・メモリのブロック置換アルゴリズムを選択
   するキャッシュ・メモリ制御方式。