JPS638848A - データ取り出し方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の技術分野〕 本発明はキャッシュメモリを含むタイプのコンピュータ
システムに関し、特に、キャッシュメモリ呼び出し時間
を改善する方法に関する。

〔発明の技術的背景及びその問題点〕

最新コンピュータシステムは中央処理装置（ＣＰＵ）お
よび主メモリを含む。ＣＰＵがデータ処理するために命
令を解読し、実行するスピードは時として命令、および
オペランドを主メモリからＣＰＵに移動するスピードよ
り早いことがある。

この不整合によって生ずる問題を減らすため多くのコン
ピュータはＣＰＵと主メモリとの間にキャッシュメモリ
あるいはバッファを備えている。

キャッシュメモリはＣＰＵが近い将来に用いるであろう
主メモリの内容を一時的に保持するための小さい高速バ
ッファメモリである。キャッシュメモリの主目的はメモ
リ呼び出しに必要な時間を短かくすることである。キャ
ッシュメモリの情報は主メモリの情報よりずっと少ない
時間で呼び出せる。したがって、キャッシュメモリを持
つＣＰＵがフェッチかつ／またはストアされた命令およ
びオペランドを待つために必要な時間ははるかに少ない
。たとえば、典型的な大型の高速コンピュータにおいて
主メモリは３００〜６００ナノ秒で呼び出されるが、こ
れに反してキャッシュメモリからの情報は５０〜１００
ナノ秒で得ることができる。そのような機械ではキャッ
シュメモリにより実行スピードは実質的に非常に増加す
る。しかしながら、コンピュータシステムのパフォーマ
ンスはなおキャッシュメモリ呼び出し時間によって命令
実行速度が制限されている。キャッシュメモリ呼び出し
時間をより残少することにより命令実行速度をさらに上
げることができる。

キャッシュメモリの成功は特定のメモリ位置が参照され
ると該位置、およびそれに非常に近い位置が近い将来呼
び出される可能性が強いという仮定を基にしている。こ
れはしばしば参照の局所性と呼ばれる。参照の局所性は
時間的および空間的な２つの相を持つ。短い期間にわた
ってプログラムが参照するメモリはアドレス空間に不均
等に分布する一方、好んで参照されるアドレス空間部分
は長い期間はとんど同じ所に留まっている。この最初の
参照の局所性は時間的局所性、すなわち、時間による局
所性と呼ばれるが近い将来に用いられる情報はすでに用
いられたものであることが多いことを意味する。このタ
イプの性質はプログラムループから予想される。該プロ
グラムループにおいては、データおよび命令の両方が再
使用される。第２の参照の局所性、すなわち空間による
局所性は、使用中のアドレス空間部分が一般に該アドレ
ス空間の個別に隣接したかなり小数のセグメントから成
ることを意味する。空間局所性は近い将来におけるプロ
グラムの参照位置が現在の参照位置に近いことが多いと
いうことを意味する。このタイプの性質はプログラムの
普通の知識から予期することができる。すなわち関連し
たデータ環（変数、アレイ）は通常、−緒にストアされ
、命令の大部分は連続して実行されるからである。キャ
ッシュメモリは最近用いられた情報のセグメントをバッ
ファするので局所性により、必要な情報はキャッシュ内
に存在することが多いということが暗示される。Ｓｍ１
ｔｈ、　Ａ、　Ｊ、によるＡＣＭ　Ｃｏｍｐｕｔｉｎｇ
Ｓｕｒｖｅｙｓ、　１４：３（１９８２年９月）４７３
ページ〜５３０ページのＣａｃｈｅ　Ｍｅｍｏｒｉｅｓ
を参照。

キャッシュは一語、あるいはそれ以上のデータの多くの
ブロックから成っており、各データはアドレスタグを組
み込んでいる。３亥アドレスタグはそれが主メモリのど
のブロックのコピーかを識別する。プロセッサがメモリ
を参照するたびにキヤ・７シユはアドレスタグを比較し
、それが要求されたデータのコピーを持っているかどう
か調べる。

もし、コピーを持っていれば、データを供給し、もし、
コピーを持っていなければ主メモリからブロックを読み
込み、キャッシュ内にストアされたブロックの１つと入
れ替え、次に読み込んだデータをプロセッサに供給する
。

キャッシュメモリの設計を最適化するには、通常、次の
４つの局面がある。

［１）　　キャッシュ内にメモリ参照情報を見つける可
能性（いわゆるＣヒツト−率）を最大にする。

（２）実際にキャッシュ内にある情報を呼び出すのに必
要な時間（呼び出し時間）を最小にする。

（３）　　キャッシュｒミス」による遅延を最小にする
。

（４）主メモリを更新するためのオーバーヘッドを最小
にし、マルチキャッシュ−貫性 （ｍｕｌｔｉｃａｃｈｅ　ｃｏｎｓｉｓｔｅｎｃｙ）を
維持する。

これらの目標の全ては妥当な費用の制約のもとでしかも
パラメータ間の相互関係、たとえばヒツト率と呼び出し
時間との間のトレードオフなどを考慮して実現しなけれ
ばならない。明らかにキャッシュが大きければ大きいほ
どその中に必要な情報を発見する可能性が高くなる。し
かしながらいくつかの理由でキャッシュの大きさを制限
なく広げることはできない。１つはコストで多くの機械
、特に小さい機械では最も重要な理由である。もう１つ
は物理的な大きさで、キャッシュをボード上および、キ
ャビネット内にうまく収め込まなければならない。もう
１つは呼び出し時間で、キャッシュが大きくなればなる
ほど遅くなる。

情報は通常、キャッシュから取り出し、連想的に「ヒツ
トＪがあるかどうか決定する。しかしながら、大きくて
完全な連想メモリは非常に高価でかつ幾分か遅い。初期
のキャッシュメモリにおいては全ての素子をＣＰＵによ
る各リクエスト毎に連想的に探索していた。呼び出し時
間がＣＰＵに遅れないようにするためにキャッシュの大
きさは制限され、したがって、ヒツト率はむしろ低かっ
た。

第４図は従来のダイレクト・マツプ・シングルセフトキ
ャソシュの概略図である。前述のように、図示したキャ
ッシュは多数のブロックから成り、それぞれが独自のデ
ータおよびアドレスタグを持っている。どのようなキャ
ッシュ呼び出しに対してもインデックスと呼ばれるアド
レスの一部が１個のブロックを選択するのに用いられ（
ＲＡＭ呼び出しのような動作において）、該ブロックは
それが要求されているものであるかどうか調べるために
チェックされる。もし、それが要求されたブロックでな
ければキャッシュは主メモリから正しいブロックを引き
出し、該ブロックをそのチェックされたものと取り替え
る。したがって、主メモリ内のどのブロックに対しても
、それを含むキャッシュ内に１個のブロックがちょうど
存在する。

第４図に示したキャッシュは各ブロック内に４語のデー
タを持つ。キャッシュ内の位置によりアドレスのインデ
ックス部が一つだけ定まるので、タグの比較はより高い
アドレス部でのみ行えばよい。

キャッシュメモリもセントと呼ばれる、より小さい連想
メモリのグループに組み入れられ、それぞれのグループ
はセットサイズと呼ぶ位置の数を含む。Ｌセットに分け
られた大きさｍのキャッシュに対して各セット内にｓ＝
ｍ／Ｌの位置がある。

主メモリのアドレスがキャッシュにマツプされるとアド
レスはどのＬセットにも現れる。与えられた大きさのキ
ャッシュに対してセットのそれぞれを並行して探索する
とファクタしたけ呼び出し時−セットキャッシュの２セ
ツトキヤツシユの概略図である。ｎセットキャッシュに
おいて各メモリブロックは「ｎ個」の可能なスロットを
持ち、そこで前述の各ブロックのメモリがキャッシュ内
にストアされる。そしてプロセスは「スラッシング（ｔ
ｈｒａｓｈｉｎｇ）　Ｊなしで同じインデックスを持っ
「ｎ個、のブロックをキャッシュ内に同時に持つことが
できる。キャッシュは特定のインデックスで同時に「ｎ
個Ｊのブロックのそれぞれを呼び出し、どれが要求され
たブロックであるかをチェックする。もし、要求された
ブロックが１個あればキャッシュはそれを返し、もし、
要求されたブロックがなければ主メモリから要求された
ブロックを引き出し、ブロックの１つを新しいものと取
り替える。２セント以上のセットを持つキャッシュにお
いては、セットを並列にして全部のＯＲをとりマルチプ
レックスする。

第４図に示した単一セットのグイレフト−マツプキャッ
シュと第５図に示したタイプの連想多重−セントキャッ
シュとのどちらを選択して設計するかは呼び出し時間と
ヒツト率とのトレード−オフが基になっている。キャッ
シュの大きさが同じ場合、多重−セットキャッシュの呼
び出し時間は単一セットキャッシュの呼び出し時間より
長い。というのは連想アドレス比較および必要な多重化
に長い時間かかるからである。多重−セットキャッシュ
はまた、より高価である。他方、多重−セットキャッシ
ュはヒント率が優れている。明らかに多重−セットキャ
ッシュの呼び出し時間を改善することが有利である。

〔発明の目的〕

多重−セントキャッシュメモリの呼び出し時間を減少さ
せることが本発明の目的である。

〔発明の概要〕

本発明の目的、および他の目的はキャツシュヒツトをチ
ェックする標準アドレスタグ比較に、セット選択のため
だけに用いる第２の、より小さい「ルックアサイドタグ
ｊセット比較を加えることで成し遂げられる。「ルック
アサイドタグ」は、より小さいので比較、したがって、
セント選択は従来の多重−セットキャッシュ動作より速
く実行できる。

〔発明の実施例〕

キャッシュメモリを含むコンピュータシステムを第３図
に示す。ＣＰ　Ｕｌｌはバス１７を通って主メモリ１３
、および入力／出力チャンネル１５と通信する。ＣＰＵ
はデータを処理する命令を引き出し、解読し、実行する
プロセッサ１９を含む。コンピュータシステムが用いる
命令およびデータを全てＣＰｕ１ｌ内にストアすること
は実用的ではないので・、データおよび命令は主メモリ
１３にストアされ、プログラム、あるいはルーチンを実
行する間必要となったときに、プロセッサ１９に転送さ
れ、プログラムあるいはルーチンが完了した後、主メモ
リに戻される。

主メモリ１３の呼び出しはプロセッサ１９の動作に比較
すると遅い。もし、命令、あるいはデータが必要とされ
るたびにプロセッサ１９が主メモリの呼び出し完了を待
たねばならないならば、その実行速度は著しく減少する
。呼び出し時間をプロセッサ１９の要求に、よりぴった
りと整合させるためにバッファメモリ、すなわち、キャ
ッシュメモリ２１が限られた数の命令、およびデータを
ストアする。

キャッシュ２１は主メモリ１３よりずっと小さいので、
呼び出し速度を高くしても経済的に作ることが可能であ
る。

それにもかかわらず、キャッシュメモリ２１の呼び出し
時間とキャッシュの大きさとの間にはトレードオフがな
お存在する。前述のようにキャッシュがより大きく、か
つ、より？Ｊ［９＃になるとより高価になり、呼び出し
時間が増加する。したがって、もし、ヒツト率を増加さ
せるためにキャッシュ２１を非常に大きく作れば、たと
え主メモリ１３への参照がほとんどなくても「ヒツト」
しているデータに対してですら呼び出し時間が増加し、
プロセッサ１９はスローダウンする。したがって、でき
るだけキャッシュメモリ呼び出し時間を減少させるこ　
　−とが望ましい。

本発明をもっと完全に説明するために、キャッシュ２１
の構造を理解する必要がある。第２図はＡおよびＢの２
セツトから成るキャッシュメモリを示す。各セットはイ
ンデックス２３でラベル付けされた位置配列、すなわち
、ブロックから成る。各ブロックはデータ２５およびア
ドレスタグ２７を含む・標準アドレスタグ２７に加えて
、標準アドレスタグから得られた、より小さい「ルック
アサイドタグｊ２９も示しである。「ルックアサイドタ
グ」は任意のビット長であるがヒツトをチェ７りするの
に必要な長さより小さい。

好ましい実施例において、各データブロックは４語から
成る。４語の単位はデータがキャッシュメモリ２１と主
メモ１月３との間で交換される単位であり、また、キャ
ッシュ２１内でデータがインデックスされ、引き出され
、置き換えられる単位でもある。ブロックに含まれる語
は４語以下であったり４語以上であってもよい。（しか
し、常時２のべき乗である。）メモリシステムを設計す
る際にこれらのパラメータをどう選ぶかが問題である。

プロセッサ１９がメモリを参照するたびにキャッシュ２
１を探索し、要求されたデータのコピーがあるかどうか
調べる。もし、データが存在すればそのデータはプロセ
ッサ１９に供給される。もし、データが存在しなければ
、データを主メモリ１３からブロック内に引き出し、プ
ロセッサ１９に供給し、すでにキャッシュにあるブロッ
クの１つを置き換え手順に従って置き換えてキャッシュ
メモリ２１内にストアしなければならない。

最も、一般に用いられる好適な置き換え手順は最も前に
参照した項目を置き換える方法（’ＬＲＵ（Ｌｅａｓｔ
　Ｒｅｃｅｎｔｌｙ　ＩＪｓｅｄ）　Ｊ法）である、、
ＬＲＵ置き換え法に従えば、特別なインデックスの各ブ
ロックグループに対してキャッシュは数個のステータス
ビットを持ち、これらのブロックが最後に呼び出された
順番を記録しておく。ブロックの１つが呼び出されるた
びに該ブロックが最も最近用いられたという印をつけ、
他のものはそれに応じて調節される。ミスがある場合は
最も古いブロックを掃き出し、主メモリから引き出され
るブロックが入る余白を作る。

第１図は「ルックアサイドタグｊを用いる本発明のキャ
ッシュ探索動作を示す。プロセッサ１９が引き出される
べきアドレスを呈示するとキャッシュの探索が始まる。

アドレスは要求されたデータの主メモリ内での位置、お
よびインデックスを識別するアドレスタグを含む。イン
デックスはキャッシュに供給され、キャッシュはそれに
応じて、インデックスに対応する各キャッシュセットＡ
およびＢのブロックを戻す。セットＡおよびＢの１つか
ら戻されたブロックに対する「ルックアサイドタグ」が
アドレスの対応する部分と比較される。

もし、整合していれば、該セットが選択され、プロセッ
サに直ちに戻される。整合していなければ残っているセ
ットがプロセッサに供給される。

ｒヒツトＪを確実にするために通常の全タグ比較も並行
して用いられる。

もし、全タグを比較して実際にミスしていることがわか
れば、プロセッサが持っているのは「ルックアサイドタ
グ」比較によって引き出され、まだ実行されない誤った
データなので、要求されたデータは主メモリから引き出
され、ちょうどよい方法でプロセッサに供給できる。

「ルックアサイドタグ」過程を２セツトのキャッシュに
ついて述べたが、どんな大きさのセットの多重−セット
キャッシュにも応用できることがわかる。

「ルックアサイドタグ」が同じで、アドレスの残り部分
が異っている２つのブロックがキヤ、７シユ内に存在す
れば、１つだけを選択できないので問題が持ち上がる。

この矛盾を防ぐため、もし、キャッシェ内にすでに存在
するのと同じ「ルックアサイドタグｊを持ったブロック
がキャッシュにロードされかけていれば、第１図に示し
たように、置き換えロジックがこの決定をし、この場合
、標準置き換え手順を修正し、置き換えられるブロック
がロードされようとしたブロックと同じルックアサイド
タグを持つブロックであるようにする。

なおここで述べたキャッシュメモリに対して様々な代替
案を本発明の実施例に用いることができる。

〔発明の効果〕

以上説明したように本発明を用いることより、多重−セ
ントキャッシュメモリの呼び出し時間を減少させること
ができる。

【図面の簡単な説明】

第１図は、本発明の一実施例のキャッシュメモリの概略
ブロック図、第２図は、本発明の一実施例のキャッシュ
メモリの概略構造を示す図、第３図は、キャッシュメモ
リを有するコンピュータシステムの概略ブロック図、第
４図は、従来のシングル−セットキャッシュの概略図、
第５図は、従来の多重−セ・居キャッシュの概略図であ
る。 １１：ＣＰＵ　　　　　　　　１３：主メモリ１７：バ
ス　　　　　　　１９：プロセッサ２１　ニー１−ヤソ
シュメモリ　２３：インデソクス２５：データ　　　　
　　２７：標準アドレスタグ２９Ｘルツクアサイドタグ

Claims (1)

1. 【特許請求の範囲】 プロセッサと主メモリとキャッシュメモリとを備えたコ
   ンピュータシステムにおいて、前記プロセッサから前記
   キャッシュメモリへアドレスを送り、必要とするデータ
   を前記キャッシュメモリから引き出す手順において、 前記キャッシュメモリ内の、前記データとアドレスタグ
   とを有するブロックの前記アドレスタグの一部分と、前
   記アドレスの対応する一部分とを比較する手順を含むこ
   とを特徴とするキャッシュ・タグ・ルックアサイド。