JPH09160827A - コールド・キャッシュ命令のプリフェッチ - Google Patents

Abstract

(57)【要約】 【課題】コールド命令キャッシュの待ち時間を減らすた
めに、実行されるべきプログラムが存在し、更にそれが
キャッシュ・システムに存在していないことを検出する
方法及びその装置を提供する。 【解決手段】要求されたキャッシュ・ラインが、プロセ
ッサに結合された１次キャッシュにも２次キャッシュに
も存在せず、更にキャッシュ・ラインに要求された命令
と関連した未解決のブランチがない場合に、主記憶装置
からプロセッサ中の１次命令キャッシュに選択的にキャ
ッシュ・ラインをプリフェッチする方法により、コール
ド・キャッシュ命令が、追加のキャッシュ・ラインをプ
リフェッチすることを可能にする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は概してデータ処理シ
ステムに関係し、特に、命令キャッシュの中に命令をプ
リフェッチするためのシステムと方法に関係する。

【０００２】

【従来の技術】現代のマイクロプロセッサ・システムに
おいては、プロセッサ・サイクル・タイムが技術の進歩
と共に減少し続けている。同様に、推測的（Ｓｐｅｃｕ
ｌａｔｉｖｅ）な実行、より深いパイプライン、より多
くの実行要素、などの設計技術が処理システムの性能を
改善し続けている。プロセッサは性能向上に伴って、主
記憶装置からのデータと命令をより速く要求するので、
主記憶装置とのインターフェースに、より重い負担をか
けている。したがって、処理システムの性能向上のため
に、キャッシュ・メモリ・システムがしばしば実施され
る。

【０００３】キャッシュ・メモリを使用する処理システ
ムは、当分野では熟知されている。キャッシュ・メモリ
は、プロセッサ（ＣＰＵ）に最少の待ち時間で、現行の
プログラムとデータを利用可能にすることによって、デ
ータ処理システムのスピードを増す、非常に高速な記憶
装置である。チップ上の大型のキャッシュ（Ｌ１キャッ
シュ）が主記憶装置の待ち時間の減少を助けるために使
用され、更にそれらはしばしばより大きな、チップ外の
キャッシュ（Ｌ２キャッシュ）によって増強される。

【０００４】キャッシュ・メモリ・システムを支持する
主要な利点は、最も頻繁にアクセスされる命令とデータ
を、高速のキャッシュ・メモリに保持することによっ
て、処理システム全体の平均メモリ・アクセス・タイム
がキャッシュのアクセス・タイムに近づくことである。
キャッシュ・メモリのサイズは、主記憶装置のサイズに
較べて極めて小さいが、プログラムの「参照の局部性」
と言う特性によって、要求された主記憶装置の大部分
を、首尾よく高速キャッシュ・メモリの中に見いだすこ
とができる。この特性は、どのような特定の時間間隔に
おいても、メモリ照会が主記憶装置の少量の局部的な範
囲に限定される傾向を持つ。例えば、連続したプログラ
ム命令は、通常連続したメモリ位置に格納されている。

【０００５】キャッシュ・メモリの基本的な動作は、よ
く知られている。ＣＰＵが主記憶装置にアクセスする必
要がある場合、先ずキャッシュが調べられる。ＣＰＵが
要求したワードがキャッシュ内で発見されたときは、そ
れは高速キャッシュ・メモリから読み込まれる。ＣＰＵ
が要求したワードがキャッシュ内で発見されなければ、
そのワードを読み込むために主記憶装置がアクセスされ
る。その時にアクセスされたワードを含むワードのブロ
ックが、主記憶装置からキャッシュ・メモリへ転送され
る。この方法で一部のデータがキャッシュに転送され、
将来主記憶装置を参照した際に、必要なワードが高速キ
ャッシュ・メモリ内に見出されるようにする。

【０００６】コンピュータ・システムの平均のメモリ・
アクセス・タイムは、キャッシュの使用によって著しく
改善することができる。キャッシュ・メモリの性能は、
しばしば「ヒット率」と呼ばれる量で評価される。ＣＰ
Ｕがメモリにアクセスし、キャッシュの中にそのワード
を見いだした場合、キャッシュ「ヒット」となる。その
ワードがキャッシュ・メモリでなく主記憶装置で見いだ
されたならば、キャッシュ「ミス」となる。ＣＰＵがほ
とんどの場合に主記憶装置内ではなくてキャッシュ内で
そのワードを見いだせれば、高ヒット率となり、その結
果、平均アクセス・タイムは高速キャッシュ・メモリの
アクセス・タイムに近づく。

【０００７】待ち時間を減少させるために、事前に主記
憶装置からのデータをチップ上のＬ１キャッシュに供給
するプリフェッチ技術が、しばしば実行される。理想
は、データと命令が十分事前にプリフェッチされ、プロ
セッサが必要とするとき、命令とデータのコピーが常に
Ｌ１（１次）キャッシュ内にあることである。

【０００８】既存のプリフェッチ技術は、しばしば命令
及び（又は）データを時期尚早にプリフェッチする。プ
リフェッチを行いながら、プリフェッチをした命令及び
（又は）データを使用しなければ、メモリ・アクセス・
タイムが長くなるだけで、そのようなプレフェッチは無
益でＣＰＵの効率を低下させるだけである。

【０００９】一般に見られるこのような例は、キャッシ
ュに未解決のブランチ命令が残留した場合に、処理シス
テムが、推測的に命令のプリフェッチをする度に発生す
る。システムはその時、プログラム実行が後に続かない
ブランチに属する命令をプリフェッチする可能性があ
る。これらの命令を主記憶装置から取り出すために消費
された時間は無駄になり、更に不必要な主記憶装置・バ
ス通信の原因となる。

【００１０】新しいプログラム又は仕事の実行を開始す
るか、あるいは呼び出す場合、それらの命令は、通常プ
ロセッサ・キャッシュには存在しない。なぜならば、キ
ャッシュは、最近実行された命令（プログラムの大きな
セグメントがキャッシュ・システムの中に呼び出されて
いる状態は「コールド・キャッシュ（ｃｏｌｄ ｃａｃ
ｈｅ）」と呼ばれる）のみを保持しているからである。
したがって、コールド・キャッシュが初期設定される場
合には、命令のプリフェッチに関する上記の基準を考慮
に入れて、「コールド・キャッシュ」を初期設定するこ
とによる不利益を減少し、性能を向上させるためのなん
らかのシステム及び方法が必要になる。

【００１１】

【発明が解決しようとする課題】前述の必要性は、コー
ルド命令キャッシュの待ち時間を減少させるために、実
行されるべきプログラム命令でありながら、キャッシュ
・システム内に存在していないものの有無を検出する装
置を提供する、本発明によって満たされる。これは主記
憶装置への命令のプリフェッチを初期化する際に、１次
及び２次のキャッシュ・エントリの双方に連続したミス
を発見することにより達成される。この発明の実施例で
は、そのようなプリフェッチは、「推測的な（ｓｐｅｃ
ｕｌａｔｉｖｅ）」ブランチ判断によって実行されてい
る命令に基づくのではなく、「確定された（ｃｏｍｍｉ
ｔｔｅｄ）」命令に基づいて行われる。

【００１２】

【課題を解決するための手段】１次キャッシュ及び２次
キャッシュ上に要求されたキャッシュ・ラインに関して
ミスがあり、更にキャッシュ・ミスを発生している命令
が非推測的（即ち、確定された）命令ならば、命令の流
れが開始される。これらの必要条件が満たされると、直
ちにストリーム・フィルタがチェックされ、ミスしたキ
ャッシュ・ラインのアドレスがフィルタ・エントリ中で
（前回のキャッシュ・ラインが、１次キャッシュで発生
させた前回のミスによる）、予期されたものかどうかが
調べられる。ストリーム・フィルタ・エントリに一致が
あるならば、１つのストリームが割り当てられ、更に現
在のラインのアドレスの１つ増分したもの、及び２つ増
分したものがプリフェッチ・アドレス・レジスタ内に保
管される。次に、これらの２つのアドレスに対するライ
ンは、主記憶装置からプリフェッチ・ライン・バッファ
に取り出される。もし、プリフェッチされるべきライン
がプロセッサの２次キャッシュ内にあるならば、そのス
トリームは割り当てを解除される。

【００１３】前述の説明は、後に続く本発明の詳細な記
述がより良く理解されるように、本発明の特徴及び技術
的な利点を多少概括的に述べた。本発明の請求項の主題
を形成する更なる特徴と発明の利点を以下に記述する。

【００１４】

【発明の実施の形態】次の記述においては、本発明につ
いて十分な理解が得られるように、特定ワード又はバイ
トの長さなど数多くの特定の事柄について詳細に述べ
る。しかし、そのような特定の細部無しで本発明を実施
しうることは、当分野に知識のある当業者には明らかで
あろう。別の例では、不必要な詳細説明によってかえっ
て本発明自体を分かりにくくしないように、よく知られ
ている回路がブロック・ダイアグラム形式で示されてい
る。発明の大部分ついては、タイミングの考慮などに関
する細部は、本発明を完全に理解するために必要ではな
く、更にそれらは関連する分野において通常の知識を有
する人々の理解の範囲であるために除かれた。

【００１５】ここで添付の図面を参照されたい。これら
の図面では、描かれた要素が必ずしも一定の縮尺では示
されておらず、更に同種の又は類似の要素がいくつかの
図を通して同じ参照番号で示されている。

【００１６】図１には、データ処理システム１００が示
されており、これはシステム・メモリ、又は主記憶装置
１０３に結合されたプロセッサ・チップ１０１を含み、
更にそれに結合した２次の（Ｌ２）キャッシュ１０２を
持っている。プロセッサ・チップ１０１に含まれるもの
は、データ・プロセッサ１０４、プロセッサ・キャッシ
ュ・コントローラ（ＰＣＣ）１０５、図４で記述される
回路１０８、ならびにデータ・キャッシュ１０６及び命
令キャッシュ１０７を含む１次（Ｌ１）キャッシュ１１
０である。データ及び命令を各々別個のキャッシュにす
ることは、当分野では熟知されている。プロセッサ１０
４は命令及びデータを主記憶装置１０３から受け取り、
データ・キャッシュ１０６、及び命令キャッシュ１０７
の両方にキャッシングすることができる。以下において
命令キャッシュ１０７は、Ｉキャッシュ１０７とも表示
される。

【００１７】Ｌ１Ｉキャッシュ１０７は、米国特許出願
番号（ＡＡ９−９５−０８３）で開示されたような、当
分野で周知のなんらかの置き換え手段を使用して、主記
憶装置１０３から複写された頻繁に使用されるプログラ
ム命令を保持している。Ｌ２キャッシュ１０２はＬ１Ｉ
キャッシュ１０７より大きく、より多くのデータを保持
し、更に通常は、システム１００のために主記憶装置統
一プロトコルを制御する。本発明の実施例では、Ｌ１Ｉ
キャッシュ１０７内の命令がＬ２キャッシュ１０２に含
まれることは要求されない。

【００１８】チップ１０１の周りに描かれた線はチップ
境界及び機能上の境界を示すが、本発明の範囲に関する
制限として意図されたものではない。ＰＣＣ １０５は
メモリ・サブシステム（Ｌ１キャッシュ１１０、Ｌ２キ
ャッシュ１０２）からの取り出し、及びそこへの格納を
制御する。ＰＣＣ １０５は、取り出し及び格納の制御
に加えて別の機能も実行する。

【００１９】次に図３において、本発明の中で利用され
るようなストリーム・フィルタ、及びストリーム・バッ
ファ（図４参照）が図示されている。ストリーム・フィ
ルタは、使用されないデータのプリフェッチの発生を減
少させることを意図している。これらのフィルタは、ア
ドレス及び命令の情報を含む活動記録バッファである。
フィルタは、Ｌ１キャッシュでミスしたものに続いて次
に高いキャッシュ・ラインのアドレスを含んでいる。も
しその次に高いキャッシュ・ラインにアクセスが行われ
たならば、ストリーム条件が検出され、更にストリーム
・バッファが割り当てられる。アドレス「Ｘ」にアクセ
スが行われたときは、フィルタにはライン・アドレス
「Ｘ＋１」が書かれる。「Ｘ＋１」がストリーム・フィ
ルタにまだ存在している間に、アドレス「Ｘ＋１」に引
き続いたアクセスが行われたときは、「Ｘ＋１」がスト
リームとして割り当てられる。

【００２０】ストリーム・バッファは、アクセスされる
可能性があるキャッシュ・データを保持する、プリフェ
ッチ・バッファである。その意図は、もしプロセッサ１
０４で実行中のプログラムが、データ・命令の連続的な
ストリームを実行しているならば、ストリーム・バッフ
ァ中に追加のラインをプリフェッチしておくことは有益
であるかもしれない、ということである。したがって、
次のキャッシュ・ミスの時点で、必要なデータをストリ
ーム・バッファに見いだす可能性がある。ストリーム・
フィルタ、及びストリーム・バッファは、もしストリー
ム・バッファでも同様にミスを起こすＬ１キャッシュ・
ミスがあるならば、ミスしたアドレスがストリーム・フ
ィルタに格納されているアドレスと比較されるように、
連動する。ストリーム・フィルタがヒットされた（デー
タの連続的なラインに連続的なアクセスがあったことを
意味している）ときは、将来次のラインが同様に必要と
される可能性が十分にある。

【００２１】次に図４及び図５に、本発明の１実施例を
示す。図１で示したように、図４は更に回路１０８、及
びＩキャッシュ１０７を図示している。図２及び図５で
示された流れ図は、ＰＣＣ １０５、またはチップ１０
１中の別の場所に存在するステート・マシン（ｓｔａｔ
ｅ ｍａｃｈｉｎｅ）として実現される。

【００２２】プロセスは、プロセッサ１０４から呼び出
され、更に比較器４０２によってキャッシュ・ディレク
トリ４０１内のキャッシュ・エントリと比較される、要
求された命令のアドレスで始まる。Ｉキャッシュ１０７
内に要求する命令が存在することを意味するキャッシュ
・ヒットがあるならば、キャッシュ・ヒット信号が比較
器４０２から逆にＰＣＣ １０５に伝達され、更に要求
された命令のキャッシュ・ラインは、Ｉキャッシュ１０
７からプロセッサ１０４に送られる。

【００２３】しかし、要求された命令に関連する要求さ
れたキャッシュ・ラインが、Ｉキャッシュ１０７中に存
在してないときは、キャッシュ・ミス信号（ステップ２
０１）が比較器４０２からＰＣＣ １０５に送られる。
プロセッサ１０４がＩキャッシュ１０７に対してキャッ
シュ・ラインを要求したが、キャッシュ・ラインがＩキ
ャッシュ１０７内に存在しない場合（即ち、Ｌ１ミスが
起きた場合）、ステート・マシンは、ミスを起こしたキ
ャッシュ・ラインをＬ２キャッシュ１０２内で捜す（ス
テップ２０５）。そのキャッシュ・ラインがＬ２キャッ
シュ１０２に存在していれば、ステート・マシンは、Ｌ
１Ｉキャッシュ１０７中にＬ２キャッシュ１０２からキ
ャッシュ・ラインをフェッチする（ステップ２１０）。
キャッシュ・ラインがＬ２キャッシュ１０２内に存在し
ないときは、プロセスはステップ５０１に移り、そこで
要求されたキャッシュ・ラインが有効なストリーム・ア
ドレスに関連付けられているか否かを判定される。スト
リーム・アドレスが有効ならば、ストリームが既にこの
キャッシュ・ラインに割り当てられていることを表す。
この比較は、比較器４０６の中に受け取られたアドレス
と、フィルタ・アドレス・バッファ４０４に格納されて
いるキャッシュ・ライン・アドレスとの間で行われる。
これらのアドレスが一致し更にストリームが有効な場合
は、その結果としてストリーム・ヒット信号がＰＣＣ１
０５に送られる。

【００２４】キャッシュ・ラインが有効なストリーム・
アドレスと関係づけられてなければ、本発明においては
主記憶装置１０３からキャッシュ・ラインをフェッチす
る前に、キャッシュ・ラインのフェッチに影響を与える
すべてのブランチの解決を待つ（ステップ２３０及び２
３５）。この方法は、使用されずに取り消される可能性
ある命令を、主記憶装置から不必要にプリフェッチする
ことを防止する。ここで言う「取り消される」とは、プ
ロセッサ１０４が、期待されたラインＭではなくて何か
別のライン、例えばラインＸを求めることを意味する。
キャッシュ・ラインが正しいブランチ経路にあると判断
されたならば、キャッシュ・ラインは、主記憶装置１０
３からＬ１Ｉキャッシュ１０７及び（又は）Ｌ２キャッ
シュ１０２中にフェッチされる（ステップ２４０）。

【００２５】キャッシュ・ラインがＬ２キャッシュ１０
２内に存在するかどうかにかかわらず、ステート・マシ
ンは、次に高いライン（例えば、もしキャッシュ・ライ
ンがラインＭであるならば、ラインＭ＋１）が存在する
か否か、Ｌ１Ｉキャッシュ１０７のテストを行う（ステ
ップ２１５）。ラインＭ＋１がＬ１Ｉキャッシュ１０７
中にあれば、それ以上の処理は不要である（ステップ２
４１）。ラインＭ＋１がＬ１Ｉキャッシュ１０７中にな
いときは、ステート・マシンはラインＭ＋１があるか否
かＬ２キャッシュ１０２をテストし、その結果見いださ
れたならば、Ｌ１Ｉキャッシュ１０７中に、Ｌ２キャッ
シュ１０２から推測的にラインＭ＋１をプリフェッチす
る（ステップ２２０及びステップ２２５）。

【００２６】ステート・マシンは更に、ラインＭ＋１が
主記憶装置１０３内で論理的な境界（ページあるいは区
画）を越えるか否かを確かめる（ステップ２２２）。ラ
インＭは通常、実際の物理的なアドレスに変換される
が、ラインＭ＋１は変換されない。それ故に、物理的な
メモリ内でのラインＭ＋１の場所は不確定である。ライ
ンＭ＋１が別の論理的な境界内にあれば、ステート・マ
シンはＬ２キャッシュ１０２からラインＭ＋１のプリフ
ェッチを行わず、それによってＬ１とＬ２との間のバン
ド幅が維持される（ステップ２４１）。その代わり、プ
ロセッサ１０４がラインＭ＋１を要求する場合は、ステ
ップ２０５で再びそのプロセスに入る。

【００２７】ラインＭ＋１がＬ２キャッシュ１０２内に
存在しなければ、ラインＭ内のすべてのブランチ解決が
され、更にラインＭ＋１が確定されるまで、本発明は主
記憶装置１０３からＬ１Ｉキャッシュ１０７、又はＬ２
キャッシュ１０２へのラインＭ＋１のプリフェッチは行
わない（ステップ２４１）。

【００２８】本発明は、Ｌ１Ｉキャッシュ１０７ミスの
ときのみならず、Ｌ１Ｉキャッシュ１０７のヒットに際
しても、Ｌ２キャッシュ１０２からの推測的プリフェッ
チのために使用しうることは、当分野に知識のある当業
者には明白であろう。

【００２９】図２に図示したプロセスについてのこれ以
上の論議については、米国特許申請番号（ＡＡ９−９５
−０６９）を参照いただきたい。

【００３０】ステップ２４０において、要求されたキャ
ッシュ・ラインは、主記憶装置１０３からＩキャッシュ
１０７及び（又は）Ｌ２キャッシュ１０２に転送され
る。この転送は、図４において選択回路４１４へのライ
ン・データ入力として示されており、その選択回路は、
このキャッシュ・ラインを選択してＩキャッシュ１０７
中に格納する。更にこのキャッシュ・ラインに対応する
アドレスが、ディレクトリ４０１に入力される。ステッ
プ５０３において、このキャッシュ・ラインと、ストリ
ーム・フィルタ・アドレス・バッファ４０４中のアドレ
スとの間に一致があるか否かについて、判定がなされ
る。一致があれば、一致したフィルタ・アドレスが、有
効なストリームがこのアドレスに対して割り当てられて
いることを表しているか否かを、ステップ５０６で判定
する。これが正しければ、プロセスはステップ５０４に
戻る。

【００３１】ステップ５０４において、キャッシュ・ラ
イン・アドレスは増分回路４０３を使用して１つ増分さ
れ、そしてフィルタ・アドレス・バッファ４０４中に格
納される。プロセスはステップ５０５で終了し、更にプ
ロセッサ１０４からの次の要求を待つ。

【００３２】ステップ５０６において、フィルタ・アド
レス・バッファ４０４との一致が、そのストリームが有
効なストリームではないことを示すならば、プロセスは
ストリームを割り当てるためにステップ５０７に進む。
この割り当ては、回路４０７によってキャッシュ・ライ
ン・アドレスを１つ増分させ、更にこのアドレスをプリ
フェッチ・アドレス・バッファ１（ＰＡＤＲ１）４０９
中に入れ、そして回路４０８において、キャッシュ・ラ
イン・アドレスを２つ増分させ、更にこの増分されたア
ドレスを、プリフェッチ・アドレス・バッファ２（ＰＡ
ＤＲ２）４１０に入れることによってなされる。

【００３３】その後にステップ５０８において、１つ増
分されたキャッシュ・ライン、及び２つ増分されたキャ
ッシュ・ラインが、Ｌ２キャッシュ１０２中に配置され
ているか否か判定される。配置されていれば、ストリー
ムはステップ５０９で割り当てを解除され、プロセスは
ステップ５０５で終了する。しかし、これらの２つのキ
ャッシュ・ラインがＬ２キャッシュ・ライン１０２中に
配置されていなければ、ステップ５１０においてこれら
のラインは、主記憶装置１０３からプリフェッチ・バッ
ファ１（ＰＢＦＲ１）４１１、及びプリフェッチ・バッ
ファ２（ＰＢＦＲ２）４１２それぞれに転送される。Ｐ
ＢＦＲ１ ４１１及びＰＢＦＲ２ ４１２はシステム１
００中の任意の場所に配置することが可能であり、更に
どこに位置していてもストリーム・バッファとして利用
できる。実質的にこれらの２つのアドレスはその後、要
求されたキャッシュ・ラインのアドレスと共に多重化装
置４１３によって多重化され、更に主記憶装置１０３に
送られる。主記憶装置１０３は、ステップ５０２で示し
たように要求されたキャッシュ・ラインを返し、更に１
つ増分されたキャッシュ・ラインも返し、それをプリフ
ェッチ・バッファ１（ＰＢＦＲ１）４１１中に格納し、
そして２つ増分されたキャッシュ・ラインをプリフェッ
チ・バッファ２（ＰＢＦＲ２）４１２中に格納する。

【００３４】ステップ５０１において、キャッシュ・ラ
インが有効なストリーム中で表示されているならば、プ
ロセスはステップ５１１に進み、そこでこのキャッシュ
・ラインは、ＰＢＦＲ１４１１からＩキャッシュ１０７
及び（又は）Ｌ２キャッシュ１０２に転送される。次に
ステップ５１２において、ＰＢＦＲ２ ４１２内のエン
トリはＰＢＦＲ１ ４１１に転送される。これに対応し
て、ＰＡＤＲ１ ４０９中に保存されていたアドレスは
１つ増分され、更にＰＡＤＲ２ ４１０の中のアドレス
も同様に１つ増分される。

【００３５】次にステップ５１３において、２つ増分さ
れたキャッシュ・ラインがＬ２キャッシュ１０２の中に
存在するか否かについて判定がなされる。存在すれば、
ステップ５１４において、割り当てられたストリームを
無効とする決定がなされる。しかし、このキャッシュ・
ラインがＬ２キャッシュ１０２中に存在していなけれ
ば、プロセスはステップ５１５に進み、２つ増分された
キャッシュ・ラインを主記憶装置１０３からＰＢＦＲ
４１２中にロードする。更に、フィルタ・アドレス・バ
ッファ４０４の中のキャッシュ・ライン・アドレスは１
つ増分される。このプロセスは、その後ステップ２４１
で終了する。以下において、図１〜図５に関して上に記
述されたプロセスのオペレーションの例を紹介する。

【００３６】プロセッサ１０４は、キャッシュ・ライン
α中に存在する命令で開始し、新しいコード列の実行を
始める。この例では、この新しいコード列を含んだコー
ド・ラインはいずれも、Ｌ１Ｉキャッシュ１０７にも、
又Ｌ２キャッシュ１０２にも存在しない。プロセッサ１
０４がラインαを要求した場合、本発明ではフィルタ・
ヒットを検出せず（即ち、キャッシュ・ミスとなる）、
したがってストリーム・フィルタ・アドレス・バッファ
４０４中にα＋１をロードする。キャッシュ・ラインα
は、このラインがＩキャッシュ１０７にもＬ２キャッシ
ュ１０２中にも存在しないので、主記憶装置１０３から
Ｉキャッシュ１０７にリトリーブされ、更にこの命令は
確定される。

【００３７】プロセッサ１０４がその後でα＋１を要求
すると、このラインも又Ｉキャッシュ１０７にもＬ２キ
ャッシュ１０２内にも存在していないために、もう１つ
のキャッシュ・ミスが発生する。その結果として、α＋
２がストリーム・フィルタ・アドレス・バッファ４０４
中に置かれる。更に、キャッシュ・ラインα＋２がＰＢ
ＦＲ１ ４１１の中にリトリーブされ、更にα＋３がＰ
ＢＦＲ２ ４１２中にリトリーブされる。

【００３８】その後で、要求されたキャッシュ・ライン
α＋２に対するＩキャッシュ１０７、及びＬ２キャッシ
ュ１０２にミスがある場合、α＋２がＰＢＦＲ１ ４１
１からＩキャッシュ１０７中にリトリーブされ、α＋３
が、ＰＢＦＲ２ ４１２からＰＢＦＲ１ ４１１中に移
動され、更にα＋４が主記憶装置１０３からＰＢＦＲ２
４１２の中にリトリーブされる。同様に、α＋３がフ
ィルタ・アドレス・バッファ４０４中に入力される。

【００３９】続いてキャッシュ・ラインβがプロセッサ
１０４によって要求され、しかもキャッシュ・ラインβ
が、前にプリフェッチされた命令と無関係の新しい命令
セットを指示しているならば、プロセスはステップ５０
１から繰り返して再び始る。

【００４０】本発明は、新しいコード列の命令をプリフ
ェッチするためのユニークな技術（コールド・キャッシ
ュ・プリフェッチ）を提供する。１つ増分された、その
増分されたアドレスだけのプリフェッチが、単一つのラ
イン・バッファＰＢＦＲ１４１１に対して実行されるこ
とに注意されたい。更に、代替実施例では、一度に１つ
以上の命令のストリームを実行することができる。別の
選択として、命令ストリーム・データのプリフェッチ
は、命令キャッシュ１０７に加えてＬ２キャッシュ１０
２に対しても行うことができる。又は、命令ストリーム
・データのプリフェッチは、Ｌ２キャッシュ１０２に対
してのみ行うこともできる。

【００４１】更に代替実施例では、プリフェッチした命
令ストリーム・データを、Ｉキャッシュ１０７に推測的
にロードすることもできる。更に別の代替実施例では、
命令ストリーム論理回路をデータ・ストリーム論理回路
と共有することもできる。

【００４２】まとめとして、本発明の構成に関して以下
の事項を開示する。

【００４３】（１） データ処理システムにおいて、記
憶装置からプロセッサに結合された命令キャッシュに命
令をプリフェッチする方法であって、（ａ） 前記プロ
セッサからの命令の要求を前記命令キャッシュに受け渡
すステップと、（ｂ） 前記命令が確定されていて、前
記命令が前記命令キャッシュ中にないときは、前記命令
と関係づけられたデータ部分を、前記記憶装置から前記
命令キャッシュに取り込むステップと、（ｃ） 増分さ
れたアドレスを有するデータ部を参照するために、前記
データ部のアドレスを増分させるステップと、（ｄ）
前記増分されたアドレスを有するデータ部分が、前記命
令キャッシュ中にあるか否かを判定するステップと、
（ｅ） 前記増分されたアドレスを有するデータ部分が
前記命令キャッシュにないとき、前記データ部分の増分
されたアドレスが、前記プロセッサに結合されたストリ
ーム・フィルタ中にあるか否かを判定するステップと、
（ｆ） 前記増分されたアドレスを有するデータ部分の
前記アドレスが前記ストリーム・フィルタ中にあるとき
は、前記記憶装置からプリフェッチされるべきデータ部
分の１ストリームを割り当てるステップと、を含む方
法。 （２） 前記割り当てステップが、前記増分したアドレ
スを有するデータ部分を、前記記憶装置から前記命令キ
ャッシュに結合された第１のバッファ中に取り込むこと
を更に含む、（１）に記載の方法。 （３） 前記データ部分、及び前記増分されたアドレス
を有するデータ部分がキャッシュ・ラインであり、前記
増分されたアドレスを有するデータ部分の前記アドレス
が、前記データ部分の前記アドレスから１キャッシュ・
ライン増分されたものであり、更に前記割り当てステッ
プが、（ａ） 前記データ部分の前記アドレスを２キャ
ッシュ・ライン増分させるステップと、（ｂ） 前記記
憶装置から前記命令キャッシュに結合された第２のバッ
ファ中に、前記２キャッシュ・ライン増分されたアドレ
スを有するデータ部分を取り込むステップと、を更に含
む、（２）に記載の方法。 （４） 前記増分されたアドレスを有するデータ部分が
前記命令キャッシュ内にあるか否かを判定する前記ステ
ップが、前記増分されたアドレスを有するデータ部分
が、前記プロセッサに結合する２次のキャッシュ内にあ
るか否かを判定するステップを更に含む、（１）に記載
の方法。 （５） 前記増分されたアドレスを有するデータ部分
が、前記プロセッサに結合された前記２次のキャッシュ
内にあるときは、前記ストリームの割り当てを解除する
ステップを更に含む、（４）に記載の方法。 （６） （ａ） 前記ストリーム・フィルタ内で前記ア
ドレスを増分させるステップと、（ｂ） 前記ストリー
ム・フィルタ内で増分された前記アドレスに対応するア
ドレスを有する第２の命令に対する第２の要求を、前記
プロセッサから受け取るステップと、（ｃ） 前記第１
のバッファから前記命令キャッシュに前記増分されたア
ドレスを有するデータ部分を取り込むステップと、
（ｄ） 前記第２のバッファから前記第１のバッファ
に、２キャッシュ・ライン増分された前記アドレスを有
する前記データ部分を取り込むステップと、を更に含
む、（３）に記載の方法。 （７） データ処理システムであって、（ａ） プロセ
ッサと、（ｂ） 前記プロセッサに結合された命令キャ
ッシュと、（ｃ） 前記命令キャッシュに結合されたプ
リフェッチ・バッファと、を含み、前記データ処理シス
テムは記憶装置との結合に適応しており、更に、（ｄ）
前記記憶装置から命令キャッシュに命令のプリフェッ
チ動作が可能な制御論理回路を含み、前記制御論理回路
は更に、 （１） 前記プロセッサから前記命令キャッシュにキャ
ッシュ・ラインの要求を受け渡す回路と、 （２） 前記キャッシュ・ラインが前記命令キャッシュ
内にあるか否かを判定する比較回路と、 （３） 前記キャッシュ・ラインと関係づけられた命令
が確定されているときは、前記記憶装置から前記命令キ
ャッシュに前記キャッシュ・ラインを取り込む回路と。 （４） 増分されたキャッシュ・ラインを参照するため
に、前記キャッシュ・ラインのアドレスを１つ増分させ
る回路と、 （５） 前記増分されたキャッシュ・ラインが、前記命
令キャッシュ内にあるか否かを判定する比較回路と、 （６） 前記増分されたキャッシュ・ラインが前記命令
キャッシュ内にないときは、前記増分されたキャッシュ
・ラインのアドレスが、前記プロセッサに結合している
ストリーム・フィルタに表示されているか否かを判定す
る比較回路と、 （７） 前記増分されたキャッシュ・ラインの前記アド
レスが、前記ストリーム・フィルタ内に存在したとき、
前記記憶装置からプリフェチされるべきキャッシュ・ラ
インのストリームを割り当てる回路と、を含む、データ
処理システム。 （８） 前記割り当て回路が、前記記憶装置から前記命
令キャッシュに結合された第１のバッファに前記増分さ
れたキャッシュ・ラインを取り込む回路を更に含む、
（７）に記載のシステム。 （９） 前記割り当て回路がさらに、（ａ） 前記キャ
ッシュ・ラインの前記アドレスを、２つ増分させる回路
と、（ｂ） 前記２つ増分されたアドレスを有するキャ
ッシュ・ラインを、前記記憶装置から前記命令キャッシ
ュに結合された第２のバッファに取り込む回路と、を含
む、（８）に記載のシステム。 （１０） 前記増分されたキャッシュ・ラインが前記命
令キャッシュ内に存在するか否かを判定する前記比較回
路が、前記増分されたキャッシュ・ラインが前記プロセ
ッサに結合された２次のキャッシュ内にあるか否かを判
定する回路を更に含む、（７）に記載のシステム。 （１１） 前記増分されたキャッシュ・ラインが前記プ
ロセッサに結合された前記２次のキャッシュ内にあると
きは、前記ストリームの割り当てを解除する回路を更に
含む、（１０）に記載のシステム。 （１２） 前記プロセッサが前記キャッシュ・ラインに
関連づけられた前記命令と無関係な命令を要求した場
合、前記ストリームを無効にする回路を更に含む、
（７）に記載のシステム。 （１３） （ａ） プロセッサと、（ｂ） 前記プロセ
ッサに結合された命令キャッシュと、（ｃ） 前記命令
キャッシュに結合されたプリフェッチ・バッファと、
（ｄ） 前記プロセッサに結合した記憶装置と、（ｅ）
前記プロセッサに結合されたストリーム・フィルタ
と、を含むデータ処理システムにおいて、前記記憶装置
から前記命令キャッシュに命令をプリフェッチする方法
であって、（１） 前記プロセッサから前記命令キャッ
シュへのキャッシュ・ラインの要求を受け渡すステップ
と、（２） 前記キャッシュ・ラインが前記命令キャッ
シュ内に存在するか否かを判定するステップと、（３）
前記キャッシュ・ラインに関連づけられた命令が確定
されているときは、前記記憶装置から前記命令キャッシ
ュに前記キャッシュ・ラインを取り込むステップと、
（４） 増分されたキャッシュ・ラインを参照するため
に、前記キャッシュ・ラインのアドレスを１つ増分させ
るステップと、（５） 前記増分されたキャッシュ・ラ
インが、前記命令キャッシュ内にあるか否か判定するス
テップと、（６） 前記増分されたキャッシュ・ライン
が、前記プロセッサに結合された２次のキャッシュ内に
あるか否か判定するステップと、（７） 前記増分され
たキャッシュ・ラインが前記命令キャッシュ内になく、
更に前記２次のキャッシュ内にもないときは、前記増分
されたキャッシュ・ラインのアドレスが、前記プロセッ
サに結合された前記ストリーム・フィルタに表示されて
いるか否かを判定するステップと、（８） 前記命令キ
ャッシュに結合された第１のバッファ中に、前記記憶装
置から前記増分されたキャッシュ・ラインを取り込むス
テップと、（９） 前記キャッシュ・ラインの前記アド
レスを２つ増分させるステップと、（１０） 前記記憶
装置から前記命令キャッシュに結合された第２のバッフ
ァ中に、前記２つ増分されたアドレスを有するキャッシ
ュ・ラインを取り込むステップと、を更に含む方法。 （１４） 前記記憶装置から前記命令キャッシュに前記
キャッシュ・ラインを取り込む前記ステップが、前記記
憶装置から前記２次のキャッシュに前記キャッシュ・ラ
インを取り込むステップを更に含む、（１３）に記載の
方法。

【図面の簡単な説明】

【図１】本発明に従って構成された、データ処理システ
ムを示す図である。

【図２】本発明に従ったプリフェッチ動作を示す流れ図
である。

【図３】図１に示したデータ処理システムの中で使用さ
れているストリーム・フィルタ、及びストリーム・バッ
ファを示す図である。

【図４】図１に示したプロセッサ・チップの内部論理回
路を示す図である。

【図５】本発明に従って命令をプリフェッチする体系を
示す流れ図である。

Claims (14)

【特許請求の範囲】
1. 【請求項１】データ処理システムにおいて、記憶装置か
   らプロセッサに結合された命令キャッシュに命令をプリ
   フェッチする方法であって、（ａ） 前記プロセッサか
   らの命令の要求を前記命令キャッシュに受け渡すステッ
   プと、（ｂ） 前記命令が確定されていて、前記命令が
   前記命令キャッシュ中にないときは、前記命令と関係づ
   けられたデータ部分を、前記記憶装置から前記命令キャ
   ッシュに取り込むステップと、（ｃ） 増分されたアド
   レスを有するデータ部を参照するために、前記データ部
   のアドレスを増分させるステップと、（ｄ） 前記増分
   されたアドレスを有するデータ部分が、前記命令キャッ
   シュ中にあるか否かを判定するステップと、（ｅ） 前
   記増分されたアドレスを有するデータ部分が前記命令キ
   ャッシュにないとき、前記データ部分の増分されたアド
   レスが、前記プロセッサに結合されたストリーム・フィ
   ルタ中にあるか否かを判定するステップと、（ｆ） 前
   記増分されたアドレスを有するデータ部分の前記アドレ
   スが前記ストリーム・フィルタ中にあるときは、前記記
   憶装置からプリフェッチされるべきデータ部分の１スト
   リームを割り当てるステップと、を含む方法。
2. 【請求項２】前記割り当てステップが、前記増分したア
   ドレスを有するデータ部分を、前記記憶装置から前記命
   令キャッシュに結合された第１のバッファ中に取り込む
   ことを更に含む、請求項１に記載の方法。
3. 【請求項３】前記データ部分、及び前記増分されたアド
   レスを有するデータ部分がキャッシュ・ラインであり、
   前記増分されたアドレスを有するデータ部分の前記アド
   レスが、前記データ部分の前記アドレスから１キャッシ
   ュ・ライン増分されたものであり、更に前記割り当てス
   テップが、（ａ） 前記データ部分の前記アドレスを２
   キャッシュ・ライン増分させるステップと、（ｂ） 前
   記記憶装置から前記命令キャッシュに結合された第２の
   バッファ中に、前記２キャッシュ・ライン増分されたア
   ドレスを有するデータ部分を取り込むステップと、を更
   に含む、請求項２に記載の方法。
4. 【請求項４】前記増分されたアドレスを有するデータ部
   分が前記命令キャッシュ内にあるか否かを判定する前記
   ステップが、前記増分されたアドレスを有するデータ部
   分が、前記プロセッサに結合する２次のキャッシュ内に
   あるか否かを判定するステップを更に含む、請求項１に
   記載の方法。
5. 【請求項５】前記増分されたアドレスを有するデータ部
   分が、前記プロセッサに結合された前記２次のキャッシ
   ュ内にあるときは、前記ストリームの割り当てを解除す
   るステップを更に含む、請求項４に記載の方法。
6. 【請求項６】（ａ） 前記ストリーム・フィルタ内で前
   記アドレスを増分させるステップと、（ｂ） 前記スト
   リーム・フィルタ内で増分された前記アドレスに対応す
   るアドレスを有する第２の命令に対する第２の要求を、
   前記プロセッサから受け取るステップと、（ｃ） 前記
   第１のバッファから前記命令キャッシュに前記増分され
   たアドレスを有するデータ部分を取り込むステップと、
   （ｄ） 前記第２のバッファから前記第１のバッファ
   に、２キャッシュ・ライン増分された前記アドレスを有
   する前記データ部分を取り込むステップと、を更に含
   む、請求項３に記載の方法。
7. 【請求項７】データ処理システムであって、（ａ） プ
   ロセッサと、（ｂ） 前記プロセッサに結合された命令
   キャッシュと、（ｃ） 前記命令キャッシュに結合され
   たプリフェッチ・バッファと、を含み、前記データ処理
   システムは記憶装置との結合に適応しており、更に、
   （ｄ） 前記記憶装置から命令キャッシュに命令のプリ
   フェッチ動作が可能な制御論理回路を含み、前記制御論
   理回路は更に、（１） 前記プロセッサから前記命令キ
   ャッシュにキャッシュ・ラインの要求を受け渡す回路
   と、（２） 前記キャッシュ・ラインが前記命令キャッ
   シュ内にあるか否かを判定する比較回路と、（３） 前
   記キャッシュ・ラインと関係づけられた命令が確定され
   ているときは、前記記憶装置から前記命令キャッシュに
   前記キャッシュ・ラインを取り込む回路と。（４） 増
   分されたキャッシュ・ラインを参照するために、前記キ
   ャッシュ・ラインのアドレスを１つ増分させる回路と、
   （５） 前記増分されたキャッシュ・ラインが、前記命
   令キャッシュ内にあるか否かを判定する比較回路と、
   （６） 前記増分されたキャッシュ・ラインが前記命令
   キャッシュ内にないときは、前記増分されたキャッシュ
   ・ラインのアドレスが、前記プロセッサに結合している
   ストリーム・フィルタに表示されているか否かを判定す
   る比較回路と、（７） 前記増分されたキャッシュ・ラ
   インの前記アドレスが、前記ストリーム・フィルタ内に
   存在したとき、前記記憶装置からプリフェチされるべき
   キャッシュ・ラインのストリームを割り当てる回路と、
   を含む、データ処理システム。
8. 【請求項８】前記割り当て回路が、前記記憶装置から前
   記命令キャッシュに結合された第１のバッファに前記増
   分されたキャッシュ・ラインを取り込む回路を更に含
   む、請求項７に記載のシステム。
9. 【請求項９】前記割り当て回路がさらに、（ａ） 前記
   キャッシュ・ラインの前記アドレスを、２つ増分させる
   回路と、（ｂ） 前記２つ増分されたアドレスを有する
   キャッシュ・ラインを、前記記憶装置から前記命令キャ
   ッシュに結合された第２のバッファに取り込む回路と、
   を含む、請求項８に記載のシステム。
10. 【請求項１０】前記増分されたキャッシュ・ラインが前
    記命令キャッシュ内に存在するか否かを判定する前記比
    較回路が、前記増分されたキャッシュ・ラインが前記プ
    ロセッサに結合された２次のキャッシュ内にあるか否か
    を判定する回路を更に含む、請求項７に記載のシステ
    ム。
11. 【請求項１１】前記増分されたキャッシュ・ラインが前
    記プロセッサに結合された前記２次のキャッシュ内にあ
    るときは、前記ストリームの割り当てを解除する回路を
    更に含む、請求項１０に記載のシステム。
12. 【請求項１２】前記プロセッサが前記キャッシュ・ライ
    ンに関連づけられた前記命令と無関係な命令を要求した
    場合、前記ストリームを無効にする回路を更に含む、請
    求項７に記載のシステム。
13. 【請求項１３】（ａ） プロセッサと、（ｂ） 前記プ
    ロセッサに結合された命令キャッシュと、（ｃ） 前記
    命令キャッシュに結合されたプリフェッチ・バッファ
    と、（ｄ） 前記プロセッサに結合した記憶装置と、
    （ｅ） 前記プロセッサに結合されたストリーム・フィ
    ルタと、を含むデータ処理システムにおいて、前記記憶
    装置から前記命令キャッシュに命令をプリフェッチする
    方法であって、 （１） 前記プロセッサから前記命令キャッシュへのキ
    ャッシュ・ラインの要求を受け渡すステップと、 （２） 前記キャッシュ・ラインが前記命令キャッシュ
    内に存在するか否かを判定するステップと、 （３） 前記キャッシュ・ラインに関連づけられた命令
    が確定されているときは、前記記憶装置から前記命令キ
    ャッシュに前記キャッシュ・ラインを取り込むステップ
    と、 （４） 増分されたキャッシュ・ラインを参照するため
    に、前記キャッシュ・ラインのアドレスを１つ増分させ
    るステップと、 （５） 前記増分されたキャッシュ・ラインが、前記命
    令キャッシュ内にあるか否か判定するステップと、 （６） 前記増分されたキャッシュ・ラインが、前記プ
    ロセッサに結合された２次のキャッシュ内にあるか否か
    判定するステップと、 （７） 前記増分されたキャッシュ・ラインが前記命令
    キャッシュ内になく、更に前記２次のキャッシュ内にも
    ないときは、前記増分されたキャッシュ・ラインのアド
    レスが、前記プロセッサに結合された前記ストリーム・
    フィルタに表示されているか否かを判定するステップ
    と、 （８） 前記命令キャッシュに結合された第１のバッフ
    ァ中に、前記記憶装置から前記増分されたキャッシュ・
    ラインを取り込むステップと、 （９） 前記キャッシュ・ラインの前記アドレスを２つ
    増分させるステップと、 （１０） 前記記憶装置から前記命令キャッシュに結合
    された第２のバッファ中に、前記２つ増分されたアドレ
    スを有するキャッシュ・ラインを取り込むステップと、
    を更に含む方法。
14. 【請求項１４】前記記憶装置から前記命令キャッシュに
    前記キャッシュ・ラインを取り込む前記ステップが、前
    記記憶装置から前記２次のキャッシュに前記キャッシュ
    ・ラインを取り込むステップを更に含む、請求項１３に
    記載の方法。