JPH08292913A - 未参照先取りキャッシュを利用した命令語先取り方法およびその回路 - Google Patents

Abstract

(57)【要約】 【目的】 キャッシュミスを減らし、下位メモリに対す
る読出遅延を減少させるとともに、メモリ交通量を減ら
した未参照先取りキャッシュを利用した命令語先取り方
法およびその回路を提供する。 【構成】 回路はＣＰＵ１０により参照されるべき命令
語ブロックを貯蔵する下位メモリ２０と、下位メモリ２
０から先取りされたブロックを一時貯蔵する先取りバッ
ファ３０と、先取りバッファ３０から出力されたブロッ
クがＣＰＵ１０により参照されたか否かに従いデマルチ
プレクシングを行なうデマルチプレクサ４０と、デマル
チプレクサ４０から出力されるブロック中、ＣＰＵ１０
により参照されないブロックを貯蔵する未参照先取りキ
ャッシュ５０と、ＣＰＵ１０により参照された命令語ブ
ロックが貯蔵される命令語キャッシュ６０と、ＣＰＵ１
０の制御により先取り動作を制御する先取り制御部７０
とにより構成される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、未参照先取りキャッシ
ュを利用した命令語先取り方法およびその回路に関し、
特に、下位メモリから先取りされＣＰＵ（Central Proc
essing Unit）により参照されないブロックを、オン−
チップキャッシュメモリ（on-chip cache memory）の未
参照先取りキャッシュ（Non-Referenced Prefetch Cach
e:ＮＲＰキャッシュ）に貯蔵し、キャッシュ接近失敗
（cache miss）を減らし、下位メモリに対する近接遅延
（access latency）およびメモリ交通量（memory traff
ic）を減らし得る未参照先取りキャッシュを利用した命
令語先取り方法および回路に関するものである。

【０００２】

【従来の技術】ＣＰＵの性能（Performance ）は速い速
度で発展するのに比べ、メモリ性能の発展速度はそれに
及ばない。このようなＣＰＵとメモリの性能格差（Perf
ormance Gap ）は段々深化され、したがって、メモリ階
層（Memory Hierarchy）を効率的に構成するのがコンピ
ュータシステムの全体性能に重要な影響を及ぼす要素と
なった。

【０００３】現在、大部分のコンピュータシステムで
は、メモリの効率的な構成のため、キャッシュメモリが
使用されている。キャッシュメモリは基本的にコンピュ
ータのプログラムの行なわれるときに現れる参照集約性
（Locality of Reference ）を利用するものである。一
般に、コンピュータのプログラムの行なわれるときにＣ
ＰＵが参照する下位メモリのアドレスは、ある限定され
た時間では下位メモリの領域における１つまたは２つの
領域のみを集中的に参照し、これを空間的集約性（spat
ial locality）と言われる。普通のプログラムではいく
つかのループ（loop）を実行するに所要される時間が、
全プログラムの行なわれる時間の大部分を占め、１つの
ループ内では同様な命令が反復継続して行なわれる。か
つ、現在参照される命令が間もなく参照される場合が多
いし、これを時間的集約性（temporal locality ）と言
われる。

【０００４】このような集約性を利用して、下位メモリ
とＣＰＵ間に速度の速い所定記憶装置をおき、ここにプ
ログラムの行なわれる時頻度に使用される下位メモリの
一部領域を貯蔵することがキャッシュメモリの原理であ
る。

【０００５】なお、大部分の応用プログラムはこのよう
な２つの特性をすべて有しているので、数キロバイト程
度の小さいメモリを使う場合にも、ＣＰＵが下位メモリ
を参照する、すなわち、全体参照の９０％以上をキャッ
シュメモリで処理することが可能である。

【０００６】キャッシュメモリを使用することにおい
て、ＣＰＵが参照しようとする命令語ブロックがキャッ
シュメモリに存在し参照することをキャッシュ接近成功
（cache hit ）と言い、その反対の場合はキャッシュ接
近失敗（cache miss）と言う。キャッシュメモリの性能
を表わす尺度としてはキャッシュ接近成功率が使用さ
れ、式で示すと次のようである。

【０００７】キャッシュ接近成功率（Hit ratio ）＝キ
ャッシュ接近成功（cache hit ）の回数／メモリ参照の
全体回数 一方キャッシュ接近失敗の有形を３つで分けると、初期
接近失敗（compulsorymiss ）、衝突接近失敗（conflic
t miss ）、および容量接近失敗（capacity miss ）に
分類される。初期接近失敗はあるブロックが最初に参照
されるとき発生するキャッシュ接近失敗である。衝突接
近失敗はキャッシュメモリの領域に写像（mapping ）さ
れているブロックが他のブロックに交換（replacement
）された後、再び参照されるとき発生する接近失敗で
ある。容量接近失敗はある応用プログラムを行なうと
き、ＣＰＵが頻繁に参照するページ（page）の集合であ
る作業集合（working set ）がキャッシュメモリの容量
よりも大きい場合に発生する接近失敗である。

【０００８】

【発明が解決しようとする課題】このような種類の接近
失敗はキャッシュメモリの容量が大きくなるに従って全
体接近失敗に対する各々の比率が違うこととなる。初期
接近失敗は、特性上、キャッシュメモリの容量にかかわ
らず一定で、衝突接近失敗と容量接近失敗はキャッシュ
メモリの容量が大きくなると大抵減少するこ傾向を見せ
る。しかし、ＶＬＳＩ（Very Large Scale Integratio
n）の発達に従ってオン−チップキャッシュ（on-chip c
ache ）メモリの容量が段々大きくなっているので、初
期接近失敗の全体キャッシュ接近失敗に対して占める比
率も大きくなっている。このような状況のもと、現在大
部分のコンピュータシステムが大容量のキャッシュメモ
リを主に使用することにより、前述のような初期接近失
敗を効果的に減らし得る方法の重要性が増えつつある。

【０００９】初期接近失敗を減らす方法中で一番簡単な
ものはキャッシュブロックの大きさを大きくすることで
あり、すると、一度のキャッシュ接近失敗時に多い量の
内容がキャッシュメモリに貯蔵されて、順次的な参照の
場合キャッシュ接近失敗を減らし得る。しかし、この方
法は、１つのブロックを下位メモリからキャッシュメモ
リに取出しするのに所要されるＣＰＵサイクルが増加
し、メモリ交通量が増加し、またキャッシュ接近失敗の
費用が増加するという問題点があった。かつ、キャッシ
ュブロックが大きい場合には、参照される部分はブロッ
クの一部であるが、全体ブロックが交換されて、キャッ
シュ汚染が（cache pollution ）発生し性能が低下す
る。また、ブロックの大きさはメモリ遅延（latency ）
と伝送率（transfer rate ）が反映されて決定されるの
で、先取り機能の強化のためキャッシュブロックの大き
さを単純に増加させることができないという問題点があ
った。

【００１０】このような問題点を解決するため種々の先
取り技法が提案されている。先取りというのは、ＣＰＵ
がメモリのあるブロックに対して参照する前に参照が予
想されるメモリブロックを下位メモリから上位メモリに
取出しすることである。先取り技法中で一番簡単な技法
の順次先取り技法は、現在ＣＰＵにより参照されるブロ
ックの次のブロックを順次的に先取る方法であり、応用
プログラムにおいてメモリ参照が順次性を多く持つ場合
に性能の大きい向上を得ることができるし、一般に、命
令語参照がデータ参照に比べより大きい地域性を有する
ので、この場合順次先取りが比較的優秀な性能を表わ
す。かつ、これを行なうためのハードウェアが複雑でな
いという長所がある。しかし、順次先取りは命令語の参
照が順次的な経路を従わない場合には、性能の向上を期
待することができない。すなわち、条件分岐命令および
無条件分岐命令のようなメモリ参照が非順次経路に行な
われる場合には、順次先取りにより得られる利得が大き
くないという短所がある。

【００１１】目標先取り（target prefetching）という
のは、以前にあるブロックに対して参照が行なわれた経
路を予測テーブルに貯蔵しておき、以後に該ブロックに
対する参照が行なわれるとき、前記予測テーブルに貯蔵
された情報を利用して先取りするブロックを決定する方
法である。目標先取り技法は無条件分岐および条件分岐
が以前遂行経路を従う傾向が多いのに基づき、以前の行
なわれたメモリ参照が順次ブロック（sequential bloc
k）を参照した場合には、順次ブロックを、非順次ブロ
ック（non-sequential block）を参照した場合には、非
順次ブロックを先取りする。すなわち、メモリ参照時に
よるブロックＡの後にブロックＢが参照された場合、次
のメモリ参照においてＡブロックが参照されるとき、ブ
ロックＢを先取りする方法である。このように目標先取
りは分岐命令の性質を利用するので、順次先取りに比べ
高い正確度を有する。しかし、分岐命令遂行時にメモリ
参照がいつも以前の経路を従うことはないし、分岐命令
におけるメモリ参照が順次と非順次の経路を交互に行な
う場合には、目標先取り方法により性能の向上を図り得
ないという問題点があった。

【００１２】複合先取り方法（Hybrid prefetching）と
いうのは、スーパコンピュータなどのようなメモリ帯域
幅（bandwidth ）の制限が比較的少ないシステムにおい
て順次ブロックと目標ブロックのすべてを先取りする方
法である。しかし、マイクロプロセッサ（microprocess
or）を基板とするシステムにおいてはメモリ帯域幅の制
限のため、以前に行なわれた情報を利用して先取りする
ブロックの優先順位を決めて先取りを行なう。これは既
存の複合先取り技法の変形された形態で、次のように行
なわれる。

【００１３】たとえば、以前にメモリ参照が順次的な経
路に行なわれた場合、現在ブロックの順次ブロック（現
在ブロックの住所＋１）が先取りされるべき１番目の候
補ブロックに決定されるとともに、現在ブロックに対す
る目標ブロックが先取りされるべき２番目の候補ブロッ
クに決定される。反面に、以前にメモリ参照が非順次的
経路に行なわれた場合には、現在ブロックに対する目標
ブロックが先取りされるべき１番目の候補ブロックに決
定されるとともに、現在ブロックの順次ブロック（現在
ブロックの住所＋１）が先取りされるべき２番目の候補
に決定される。前述のように１番目と２番目の候補が決
定されると、該候補ブロックに対する先取りの動作が行
なわれる。１番目の候補ブロックがオン−チップメモリ
に存在していないと、下位メモリからオン−チップメモ
リに先取りされた後、動作は終了する。しかし、前記１
番目の候補ブロックがオン−チップメモリに存在する場
合は、２番目の候補ブロックが下位メモリからオン−チ
ップメモリに先取りされ、前記１番目、２番目の候補ブ
ロックがすべてオン−チップメモリに存在する場合先取
りは行なわれない。このように変形された複合先取り技
法は大部分の場合に順次ブロックと目標ブロックとを先
取りする。しかし、変形された複合先取り技法は、従来
の複合先取り技法程度の性能向上しか得ることができな
いし、かつ、従来の複合先取り技法は性能の向上が得ら
れたが、データ伝送率（data transfer rate）を意味す
るメモリ帯域幅に対する制限が比較的少ないスーパコン
ピュータなどのみに行なうことが可能という問題点があ
った。

【００１４】したがって、本発明は先取りされＣＰＵに
より参照されないブロックをオン−チップキャッシュメ
モリの未参照先取りキャッシュに貯蔵し、制限されたメ
モリ帯域幅を有しているマイクロプロセッサを利用した
システムにおいても、順次ブロックと目標ブロックのす
べてを先取りしてキャッシュ接近失敗を減らし、下位メ
モリに対する接近遅延を減少させるとともに、メモリ交
通量を減らし得る未参照先取りキャッシュを利用した命
令語先取り方法およびその回路を提供することを目的と
する。

【００１５】かつ、本発明の他の目的は、命令語先取り
技法において先取りバッファのブロックが交換されると
き、先取りされＣＰＵにより参照されないブロックを所
定のオン−チップメモリに貯蔵し以後のメモリ参照に対
応するように、未参照先取りキャッシュを利用した命令
語先取り方法を提供することである。

【００１６】

【課題を解決するための手段】そして、このような本発
明の目的は、未参照先取りキャッシュを利用した命令語
先取り回路において、メモリ参照のようなプログラムを
行なうため各種制御信号を出力するＣＰＵ１０と、ＣＰ
Ｕ１０のプログラムを行なうのに必要な命令語ブロック
を貯蔵する下位メモリ２０と、ＣＰＵ１０により参照さ
れる命令語ブロックの先取りを制御する先取り制御部７
０と、下位メモリから先取りされた命令語ブロックを一
時貯蔵し、かつ該貯蔵された命令語ブロックがＣＰＵ１
０により参照されたか否かに従い制御信号を出力する先
取りバッファ３０と、先取りバッファ３０から出力する
命令語ブロックを先取りバッファの制御信号に従って、
ＣＰＵにより参照の行なわれた命令語ブロックとそうで
ないブロックとにデマルチプレクシングするデマルチプ
レクサ４０と、デマルチプレクサ４０から出力された命
令語ブロック中、ＣＰＵにより参照されない命令語ブロ
ックを貯蔵する未参照先取りブロック貯蔵部５０と、下
位メモリ、デマルチプレクサおよび未参照先取りブロッ
ク貯蔵部から出力された命令語ブロックを貯蔵する命令
語キャッシュと、を備えることにより構成される。

【００１７】

【作用】既存の種々の先取り技法により先取りされＣＰ
Ｕにより参照されない命令語ブロックを先取りバッファ
で交換するとき、該ブロックを捨てる代わりに未参照先
取りキャッシュのオン−チップメモリに貯蔵しておき、
次の番に該ブロックに対するメモリ参照があると下位メ
モリからそのブロックを再び取出さないで、すぐメモリ
参照の行なわれるようにした。

【００１８】

【実施例】本発明に関わる未参照先取りキャッシュを利
用した命令語先取り回路においては、図１に示すよう
に、命令語を参照してコンピュータの各種制御動作を行
なうＣＰＵ１０と、ＣＰＵ１０により参照されるべき命
令語ブロックを貯蔵する下位メモリ２０と、下位メモリ
２０から先取りされたブロックを一時貯蔵するオン−チ
ップメモリの先取りバッファ３０と、先取りバッファ３
０から出力されたブロックがＣＰＵ１０により参照され
たか否かに従いデマルチプレクシングするデマルチプレ
クサ４０と、デマルチプレクサ４０から出力されるブロ
ック中、ＣＰＵ１０により参照されないブロックを貯蔵
するオン−チップメモリの未参照先取りキャッシュ５０
と、ＣＰＵ１０により参照された命令語ブロックの貯蔵
されるオン−チップメモリの命令語キャッシュ６０と、
ＣＰＵ１０の制御により先取り動作を制御する先取り制
御部７０とにより構成される。

【００１９】ここで、前記下位メモリ２０は、メモリ階
層（hierarchy ）が単段階キャッシュメモリシステムの
場合には、メインメモリとなり、メモリ階層が多段階キ
ャッシュメモリシステムの場合には下位段階のキャッシ
ュメモリまたはメインメモリとなる。図１はＣＰＵ１
０、先取りバッファ３０、未参照先取りキャッシュ５
０、命令語キャッシュ６０、および先取り制御部７０な
どが分離された回路を仮定しているが、このような構成
要素は１つのプロセッサチップにともに存在させること
もできる。

【００２０】前記先取りバッファ３０においては、下位
メモリ２０から先取りされたブロックを貯蔵するキャッ
シュブロックフィールド３３と、キャッシュブロックフ
ィールド３３に貯蔵されたブロックの住所を示すタグフ
ィールド３１と、キャッシュブロックフィールド３３に
貯蔵されたブロックがＣＰＵにより参照されたか否かを
示すＴ−ビットフィールド３２と、キャッシュブロック
フィールド３３に貯蔵されたブロックの内容が有効する
かを示すＶ−ビットフィールド３４とにより構成され
る。

【００２１】先取り制御部７０においては、先取りされ
るべき候補ブロックを決定し、該決定された候補ブロッ
クがオン−チップメモリに存在するかを検索し、検索の
結果、前記決定されたブロックがオン−チップメモリに
存在しない場合には、下位メモリ２０からの先取り要求
命令を出力する。かつ、先取りされるべき候補ブロック
を決定する回路においては、図２に示すように、ＣＰＵ
１０により参照されるべき現在ブロックの住所を貯蔵す
る現在ブロックアドレス部（current block address un
it）７２と、以前のメモリ参照遂行時に現在ブロックの
次に参照された非順次ブロックの住所を貯蔵する目標ブ
ロックアドレス部（target block address unit ）７３
と、以前の行なわれたメモリ参照が順次的であるかを示
す以前遂行情報フィールド（history information fiel
d ）７４とを備えて構成される予測テーブル（predicti
on table）７１と、予測テーブル７１の現在ブロックア
ドレス部７２から出力された住所に１を加えた住所と目
標ブロックアドレス部７３から出力された住所とを、以
前遂行情報フィールド７４に貯蔵された情報により選択
するマルチプレクサ７５と、予測テーブル７１をアクセ
スしてアップデータする予測テーブル制御部７６とによ
り構成される。

【００２２】このように構成された未参照先取りブロッ
クを利用した命令語先取り方法およびその回路は色々の
先取り技法に適用し得るが、まず、順次ブロックと目標
ブロックのすべてを先取りする複合先取り技法に適用し
た場合を説明する。本発明では命令語キャッシュとデー
タキャッシュとが各々分離されたシステムを仮定した。
かつ、本発明は直接写像キャッシュを仮定したが集合関
連写像、完全関連写像などが使用される場合にも同様に
適用される。

【００２３】あるプログラムの行なわれるときに必要な
命令語ブロックはＣＰＵにより参照される。このときブ
ロックＡに対する参照が完了されると、新しいブロック
ＣＰＵ１０により参照され、該新しく参照されるブロッ
クはプログラムに従い順次ブロックまたは非順次ブロッ
クになることができる。

【００２４】まず、ブロックＡの後に続いて順次ブロッ
クＢが参照されると、予測テーブル７１の更新が行なわ
れ、予測テーブル制御部７６は前記ブロックＡに対する
情報が予測テーブル７１に存在するかを検索する。も
し、予測テーブル７１に前記ブロックＡに対する情報が
存在しないと、予測テーブル７１は更新されない。なぜ
ならば、ブロックＡに対する該当情報が予測テーブル７
１に存在しないと、該ブロックＡの後に続いて順次的ブ
ロックＢが省略時（default ）の先取りされるべき対象
になるためである。しかし、予測テーブル７１の検索結
果、ブロックＡに対する情報が予測テーブルに存在する
と、以前遂行情報フィールド７４にブロックＡに該当す
るフィールドが順次経路にセッティングされる。

【００２５】予測テーブル７１の更新後に予測テーブル
制御部７６は先取りする候補ブロックを決定し、これは
現在ＣＰＵにより参照されたブロックＢに対する予測テ
ーブル７１が有している情報を利用して行なわれる。以
前ＣＰＵ１０によりブロックＢの次に参照された経路が
順次的である場合、マルチプレクサ７５の選択によりブ
ロックＢの順次ブロック（現在ブロックＢのアドレス＋
１）が１番目の先取りされるべき候補ブロックに決定さ
れ、現在ブロックＢに対する目標ブロック、すなわち、
ブロックＢに該当する目標ブロックアドレス部７３に貯
蔵されたブロックが２番目の先取りされるべき候補ブロ
ックに決定される。反面に、以前のＣＰＵ１０によりブ
ロックＢの次に参照された経路が非順次的である場合
は、マルチプレクサ７５の選択により、目標ブロックア
ドレス部７３に貯蔵された現在ブロックＢに対する目標
ブロックが先取りされるべき１番目の候補ブロックに決
定され、現在ブロックの順次ブロックが先取りされるべ
き２番目の候補ブロックに決定される。

【００２６】かつ、ＣＰＵ１０によりブロックＡの次に
非順次的なブロックＣが参照される場合は、予測テーブ
ルの更新のため予測テーブル制御部７６は、前記ブロッ
クＡに対する情報が予測テーブルに存在するかを検索す
る。ブロックＡに対する情報が予測テーブル７１に存在
しないときには、予測テーブル制御部７６はブロックＡ
のため予測テーブル７１の１つのエントリ（entry ）を
割当した後、ブロックＡのアドレスを予測テーブル７１
の現在ブロックアドレス部７２に貯蔵し、ブロックＣの
アドレスを目標ブロックアドレス部７３に貯蔵して、以
前に行なわれた情報フィールド７４の該当フィールドを
非順次経路にセッティングする。しかし、前記ブロック
Ａに対する情報が予測テーブルに存在する場合には、ブ
ロックＣのアドレスを目標ブロックアドレス部７３に貯
蔵し、以前に行なわれた情報フィールド７４の該当フィ
ールドを非順次経路にセッティングする。

【００２７】次いで、予測テーブルの更新後に、予測テ
ーブル制御部７０は先取りする候補ブロックを決定する
のに、これは現在ＣＰＵ１０により参照されたブロック
がＣブロックであるので、ブロックＣに対する予測テー
ブル７１の情報を利用して行なわれる。ブロックＣに対
する先取り候補ブロックの決定は、ブロックＣに対する
予測テーブル７１の以前遂行情報フィールド７４の情
報、すなわち、以前のＣＰＵによりブロックＣの次に参
照された経路が順次経路であるか、または非順次経路で
あるかに従い、前記ブロックＢの場合と同様な方法によ
り決定される。

【００２８】前述したように、予測テーブル７１の更新
および先取りされるべき候補ブロックが決定された後、
先取りの動作は行なわれる。候補ブロックに対する先取
りは、まず１番目の先取り候補ブロックに対して行なわ
れる。このため先取り制御部７０は１番目の候補ブロッ
クがオン−チップメモリ、すなわち命令語キャッシュ６
０、未参照キャッシュ５０、および先取りバッファ３０
に存在するかを検索する。１番目の先取り候補ブロック
がオン−チップメモリに存在しない場合には、先取り制
御部７０は１番目の先取り候補ブロックを下位メモリ１
０から先取りして先取りバッファに貯蔵し、先取りの動
作を終了する。しかし、前記１番目の先取り候補ブロッ
クがオン−チップメモリに存在する場合には、先取り制
御部７０は前述した方法により、２番目の先取り候補ブ
ロックに対する先取りを行なう。もし、前述先取り候補
ブロックと２番目の先取り候補ブロックのすべてが存在
するときは先取りは行なわれない。

【００２９】以上のように、先取りバッファにより先取
りされたブロックが先取りバッファ３０の容量を超過す
ると、先取りバッファ３０は自体的なブロック交換メカ
ニズム（block replacement mechanism ）により、既存
の貯蔵されていたブロックは下位メモリ２０から新しく
先取りされたブロックに交換される。かつ、先取りバッ
ファ３０のＴ−ビットフィールド３２においては、ＣＰ
Ｕにより該当ブロックが参照されるときはリセット、参
照されないときはセットと表示され、よって、先取りバ
ッファ３０でのブロックの交換が行なわれるとき、ＣＰ
Ｕ１０により参照されたブロックは捨てられ、参照され
ないブロックはＴ−ビット３２の値がデマルチプレクサ
４０の制御信号として印加されて未参照先取りキャッシ
ュ５０へ移動する。なお、先取りバッファ３０のブロッ
ク交換時、従来のＣＰＵ１０により参照されない未参照
先取りブロックは捨てられたが、本発明の未参照先取り
ブロックは捨てられないで未参照キャッシュ５０に貯蔵
され、以後該貯蔵されたブロックがＣＰＵ１０の参照対
象になる場合、下位メモリ２０から再び取出しされない
ですぐ参照が可能になる。

【００３０】本発明に関わる未参照先取りキャッシュを
利用した命令語先取り方法を、変形された複合先取り技
法と、前進先取り技法を混合した技法に適用すると、よ
り優秀な性能の向上を図り得る。前進先取り技法は現在
ＣＰＵ１０により参照されているブロックのｄ番目の後
に参照されると予想されるブロックを先取りする技法で
あり、ここでｄは前進先取りの底部（degree of lookah
ead prefetching ）を示す。たとえ、前進先取りの程度
が２である前進先取り技法においてＣＰＵ１０がブロッ
クＤ，Ｅ，Ｆを順次に参照した場合、ブロックＤに対し
ての予測テーブル７１の目標ブロックアドレス部７３に
はブロックＥの代わりにブロックＦの住所が貯蔵され
る。かつ、前進先取り技法に以前のＣＰＵ１０より順次
ブロックが参照された場合、現在ブロックＧに対して先
取りされるべきブロックはＩのブロック（現在ブロック
の住所＋２）である。しかし、順次参照時にブロックＨ
（現在ブロックの住所＋１）がオン−チップメモリに存
在しない場合、キャッシュ接近失敗が発生するので、た
とえ先取りしようとするブロックはＩブロック（現在ブ
ロックの住所＋１）であるが、キャッシュ接近失敗を防
止するために、ブロックＨ（現在ブロックの住所＋１）
が先取りされるべき１番目の候補ブロックとして決定さ
れる。先取りされるべき２番目の候補ブロックは元来先
取りしようとするブロック、すなわち、ブロックＩであ
り、３番目の候補ブロックは前記ブロックＧに対する目
標ブロック、４番目の候補ブロックは前記目標ブロック
の直前ブロック（目標ブロックの住所−１）が決定され
る。

【００３１】また、前進先取り技法において以前のメモ
リ参照時にＣＰＵ１０により非順次ブロックが参照され
た場合、先取りされるべき１番目の候補ブロックは現在
ブロックに対する目標ブロックであり、２番目の候補ブ
ロックは該目標ブロックの直前のブロック（目標ブロッ
クの住所−１）で、これは目標ブロックの参照される前
に目標ブロックの直前のブロックの参照される可能性が
順次参照の場合より小さいためである。先取りされるべ
き３番目の候補ブロックは現在ブロックの次の番目のブ
ロック（現在ブロックの住所＋１）で、４番目の候補ブ
ロックは現在ブロックの住所＋２のブロックが決定され
る。

【００３２】このように先取りされるべき候補ブロック
が決定されると、１番目の候補ブロックから先取りが行
なわれるが、１番目の候補ブロックがオン−チップメモ
リに存在しない場合は、該ブロックに対する先取りが行
なわれてから完了される。しかし、前記ブロックが既に
オン−チップメモリに存在する場合には２番目の候補ブ
ロックに対する先取りが行なわれ、２番目の候補ブロッ
クもオン−チップメモリに存在する場合は３番目の候補
ブロックに対する先取りが行なわれる。また、３番目の
候補ブロックがオン−チップメモリに存在する場合は４
番目の候補ブロックに先取りが行なわれるが、４番目の
候補ブロックもオン−チップメモリに存在する場合に先
取りの動作は行なわれない。

【００３３】本発明の適用された前進先取り技法におい
て、先取りバッファ３０により先取りされるブロックが
該先取りバッファ３０の容量を超過すると、先取りバッ
ファ３０は自体的にブロック交換メカニズム（block re
placement mechanism ）により既存の貯蔵されたブロッ
クを下位メモリ２０から新しく先取りされたブロックに
交換される。かつ、先取りバッファ３０のＴビットフィ
ールド３２は該当ブロックがＣＰＵ１０により参照され
たブロックであるとリセット、参照されないブロックで
あるとセットとして表示される。また、先取りバッファ
３０からブロックの交換の行なわれるとき、ＣＰＵによ
り参照されたブロックは捨てられ、参照されないブロッ
クはＴ−ビット３２の値がデマルチプレクサ４０の制御
信号として印加され未参照キャッシュ５０に移動する。
したがって、先取りバッファ３０のブロックの交換時に
従来捨てられた未参照先取りブロックは、本発明では捨
てられないで未参照先取りキャッシュ５０に貯蔵され、
以前該ブロックがＣＰＵ１０の参照対象になるとき、下
位メモリ２０から再び取出されないですぐＣＰＵ１０に
より参照される。

【００３４】

【発明の効果】以上説明したように、本発明に関わる未
参照先取りキャッシュを利用した命令語先取り方法は、
既存種々の先取り技法により先取りされＣＰＵにより参
照されない命令語ブロックを先取りバッファで交換する
とき、該ブロックを捨てる代わりに未参照先取りキャッ
シュのオン−チップメモリに貯蔵しておき、次の番に該
ブロックに対するメモリ参照があると下位メモリからそ
のブロックを再び取出さないで、すぐメモリ参照の行な
われるようにした。したがって、本発明は下位メモリか
らの取出回数を減らし、命令語参照時の下位メモリから
の取出に従うメモリ遅延を減少させて動作の速度を向上
させるとともに、メモリ交通量を減少し得る効果があ
る。

【図面の簡単な説明】

【図１】本発明に関わる未参照先取りキャッシュを利用
した命令語先取り回路を示した図面である。

【図２】図１の先取り制御部における先取りする候補ブ
ロックを決定する回路を示した図面である。

【符号の説明】

１０ ＣＰＵ ２０ 下位メモリ ３０ 先取りバッファ ４０ デマルチプレクサ ５０ 未参照先取りキャッシュ ６０ 命令語キャッシュ ７０ 先取り制御部 ７１ 予測テーブル ７２ 現在ブロックアドレス部 ７３ 目標ブロックアドレス部 ７４ 以前遂行情報フィールド ７５ マルチプレクサ ７６ 予測テーブル制御部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 金 新徳 大韓民国京畿道高陽市注葉洞38京南アパー ト210−1302

Claims (8)

【特許請求の範囲】
1. 【請求項１】 命令語先取りの技法において先取りバッ
   ファのブロックの交換時、先取りされＣＰＵにより参照
   されないブロックを所定のオン−チップメモリに貯蔵
   し、以後のメモリ参照時に対比する未参照先取りキャッ
   シュを利用した命令語先取り方法。
2. 【請求項２】 前記命令語先取り技法は、複合先取り技
   法であることを特徴とする、請求項１に記載の未参照先
   取りキャッシュを利用した命令語先取り方法。
3. 【請求項３】 前記命令語先取り技法は、前進先取り技
   法であることを特徴とする、請求項１に記載の未参照先
   取りキャッシュを利用した命令語先取り方法。
4. 【請求項４】 前記命令語先取り技法は、複数個の先取
   り技法が適用されることを特徴とする、請求項１に記載
   の未参照先取りキャッシュを利用した命令語先取り方
   法。
5. 【請求項５】 前記所定のオン−チップメモリは、キャ
   ッシュメモリであることを特徴とする、請求項１に記載
   の未参照先取りキャッシュを利用した命令語先取り方
   法。
6. 【請求項６】 メモリ参照のようなプログラムを行なう
   ため各種の制御信号を出力するＣＰＵ（１０）と、 該ＣＰＵのプログラムを行なうときに必要な命令語のブ
   ロックを貯蔵する下位メモリ（２０）と、 前記ＣＰＵにおいて参照される命令語ブロックの先取り
   を制御する先取り制御部（７０）と、 前記下位メモリ（２０）から先取りされた命令語ブロッ
   クを一時貯蔵し、該貯蔵した命令語ブロックがＣＰＵに
   より参照されるか否かに従って制御信号を出力する先取
   りバッファ（３０）と、 該先取りバッファ（３０）から出力される命令語ブロッ
   クを、前記先取りバッファ（３０）の制御信号に従いＣ
   ＰＵにより参照された命令語ブロックと、参照されない
   命令語ブロックとにデマルチプレクシングするデマルチ
   プレクサ（４０）と、 該デマルチプレクサ（４０）から出力された命令語ブロ
   ック中、前記ＣＰＵにより参照されない命令語ブロック
   を貯蔵する未参照先取りブロック貯蔵部（５０）と、 前記下位メモリ（２０）、デマルチプレクサ（４０）お
   よび未参照先取りブロック貯蔵部（５０）から出力され
   た命令語ブロックを貯蔵する命令語キャッシュ（６０）
   と、 を備えた未参照先取りキャッシュを利用した命令語先取
   り回路。
7. 【請求項７】 前記未参照先取り貯蔵部（５０）は、キ
   ャッシュメモリであることを特徴とする、請求項６に記
   載の未参照先取りキャッシュを利用した命令語先取り回
   路。
8. 【請求項８】 前記先取りバッファ（３０）は、先取り
   された命令語ブロックを貯蔵するキャッシュブロックフ
   ィールド（３３）と、該キャッシュブロックフィールド
   （３３）に貯蔵された命令語ブロックが有効するか否か
   を表わすＶ−ビットフィールド（３４）と、前記キャッ
   シュブロックフィールド（３３）に貯蔵された命令語ブ
   ロックの住所を表わすタグフィールド（３１）と、前記
   キャッシュブロックフィールド（３３）に貯蔵された命
   令語ブロックが前記ＣＰＵにより参照されたかを表わす
   Ｔ−ビットフィールド（３２）とを備えて構成される、
   請求項６に記載の未参照先取りキャッシュを利用した命
   令語先取り回路。