JPH0477344B2 - - Google Patents

Description

【発明の詳細な説明】

Ａ 産業上の利用分野 本発明は一般的に云つて、コンピユータのメモ
リ管理技術に関し、さらに具体的にはキヤツシ
ユ・メモリ中で簡単な順次プリフエツチング・ア
ルゴリズムを与えるための技術に関する。 Ｂ 従来の技術 現在の高パホーマンス・プログラム内蔵デジタ
ルコンピユータは通常主メモリから命令をフエツ
チ（取出し）て、フエツチした命令をキヤツシ
ユ・メモリ中に記憶している。キヤツシユ・メモ
リはコンピユータの中央処理ユニツト（CPU）
とインターフエイスする比較的小さな高速ハード
ウエア・バツフアである。キヤツシユ中の命令は
直ちにCPUによつてアクセスされるので、キヤ
ツシユはコンピユータの処理能力をスピード・ア
ツプするのに使用されている。基本的な着想は予
測アルゴリズムに基ずいて主メモリから命令をプ
リフエツチ（先取り）し、プリフエツチした命令
をキヤツシユ・メモリに記憶するというものであ
る。命令のシーケンス中の次の命令がCPUによ
つて要求される時は、先ず命令がキヤツシユ・メ
モリ中にすでに存在するか（キヤツシユ・ヒツ
ト）もしくは存在しない（キヤツシユ・ミス）か
についての判断がなされる。もしこれが存在する
時は命令をキヤツシユからCPUに読出し、そう
でない時は主メモリから読出している。このプロ
セスは数CPUサイクルを要し、コンピユータの
処理能力を著しく低化する。プリフエツチ・アル
ゴリズムをでるだけ正確にし、これによつて過度
のプリフエツチ・トラフイツクを必要としないで
キヤツシユ・ミスを最小にすることが望まれる。 キヤツシユは通常第２図に示したように２次元
の表として組織化されている。CPUの命令もし
くは実行（Ｉ／Ｅ）ユニツトからの各メモリ・ア
クセスはキヤツシユ６の合同（コングルエンス）
クラスと呼ばれる特定の列にインデツクスされ
る。このようなインデツクスはメモリ・アクセ
ス・アドレス８中のある一定ビツトによつて行わ
れる。各合同クラス内には、一定数の行が存在す
る。各合同クラス中の行数はキヤツシユの集合連
想性（セツト・アソシアテイビテイ）と呼ばれ
る。もし行が合同クラス内に見出されない時はこ
のようなキヤツシユ・アクセスによつてキヤツシ
ユ・ミスを生じる。キヤツシユ・デイレクトリ制
御装置は各合同クラスのためのある優先順位を管
理し、これによつて合同クラス中の各行が相対的
にどの程度最近アクセスされたかヾ示される。合
同クラス内で、最後にアクセスされた行はMRU
（最も最近使用された）と呼ばれ、最も過去にア
クセスされた行はLRU（最も過去に使用された）
と呼ばれる。通常、置換が合同クラス中に必要な
時、たとえば新らしい行を挿入する時は、LRU
項目が選択されて置換される。キヤツシユ中で行
がアクセスされるたびに、このことはその合同ク
ラス内でMRUとして適切に反映される。 高速プロセツサの処理能力はキヤツシユに対す
る高いヒツト率に強く依存する。キヤツシユ・ヒ
ツト率を高める１つの方法はある行のアクセスを
前もつて予測して、これ等がＩ／Ｅユニツトによ
つて要求される前にでもキヤツシユ中にフエツチ
することである。このようにして、キヤツシユ・
ミスによる主メモリ・フエツチに関連する遅延サ
イクルは減少する。しかしながら、予測アクセス
は、特に予測機構に高い精度が望まれる時は、容
易ではない。 プリフエツチ・アルゴリズムは一般にコンピユ
ータ・プログラムの観測された振舞いに基ずいて
いる。たとえば、局所性はほとんどすべてのプロ
グラムでみられる強い性質である。局所性とはメ
モリ・アクセスが短かい時間内では比較的少ない
データ・ブロツクに集中する傾向があることを云
う。 本発明は局所性の振舞いの特定のタイプに基ず
く予測機構を使用する、キヤツシユの行の順次プ
リフエツチに関連する。この動作を本明細書では
順次性と呼ぶ。順次性とは、行がプロセツサによ
つてアクセスされた時に、次の順番の行が常にで
はないが、その後まもなくアクセスされる傾向が
あることを意味する。たとえば、アドレスに従つ
て集合｛Li｝として順序付けられたメモリ中の行
の集合を考える。Liをアクセスする時に、Li＋１
がキヤツシユ中に存在しない時は、Li＋１をキヤ
ツシユにプリフエツチするかどうかについての判
断がなされる。しかしながら、トラフイツク及び
キヤツシユの置換に対する負担あるいはペナルテ
イを減少するためには、プリフエツチされた行が
参照される可能性があるかどうかを認識すること
も重要であることが知られている。したがつて、
もし物理的に次順の行が現在のアクセスによつて
キヤツシユ中にプリフエツチされるとしても、主
メモリ・アクセスに関連するキヤツシユ・ミスに
よるペナルテイは、プリフエツチされた行が実際
にその後まもなくＩ／Ｅユニツトによつてアクセ
スされるならば減少すると云える。本発明は予測
の正確さを改良し、実現することを意図するもの
である。 Ｃ 発明が解決しようとする問題点 本発明の目的はプログラム内蔵デイジタル・コ
ンピユータ中の命令を順次にプリフエツチし、キ
ヤツシユ・ミスをかなり減少し、プリフエツチの
精度を高め、コンピユータのパホーマンスを改良
する技術を与えることにある。 本発明に従えば、簡単な活動記録にもとづいて
アクセスの順次性を正確に予測する安価で容易に
具体化可能な命令プリフエツチ技術が与えられ
る。 Ｄ 問題点を解決するための手段 本発明は、メモリ行の順次性に基いてプリフエ
ツチを制御する。例えば、命令行（Ｉ行）の順次
プリフエツチについて説明すると、各メモリ行Li
にはＳビツト（Si）が割当てられ、このＳビツト
は、行Liがアクセスされた時に、字順の行Li＋１
をプリフエツチすべきかどうかを示す。最初Ｓビ
ツトはオンにされ、順次性があるものとして設定
される。Ｉ／Ｅユニツトから行Liに対してアクセ
スが行われた時に、Si＝オンで、行Li＋１がキヤ
ツシユ存在しなければ、行Li＋１をキヤツシユに
プリフエツチするように判断が行なわれる（第１
図、第５図）。このように本発明は、各行Liに対
して、順次性を示すＳビツトを割当てて、プリフ
エツチを制御することが基本の思想である。 Ｓビツト、即ち、順次性の判断は種々の態様で
制御できるが、簡単にいえば、Ｓビツトは1Sビ
ツトがオンにされていてプリフエツチしたにもか
かわらずキヤツシユ・ミスが生じ、プリフエツチ
した行Li＋１を置換する場合にオフにされ（第６
図）、２プリフエツチした行でキヤツシユ・ヒツ
トが生じ、順次性が確認された場合（第９図、第
１１図）、又はプリフエツチを行なえばキヤツシ
ユ・ミスがなくなる可能性がある場合（第７図、
第８図）にオンにされる。順次性の判断の制御を
補助するために、キヤツシユの各行項目に対して
Ｒビツト（参照ビツト）を設け、Ｒビツトをオン
（初期設定状態）からオフにすることによつて行
項目へのプリフエツチを表わし、オフからオンに
することによつてその行項目へのアクセス（参
照）を表わすことができる。（第１図、第５図、
第６図、第９図）。しかし、Ｒビツトなしで制御
することもできる（第１１図）。 Ｅ 実施例 本発明に従うキヤツシユ管理機構では、第３図
に示したメモリは連続的なブロツクもしくは行Li
−１、Li、Li＋１…として示されている。その目
的は順番に次の行をキヤツシユにプリフエツチす
ることである。本発明の方法は順次性のフラグと
して、Ｓビツトと呼ばれるビツトを各行に１ビツ
トずつ与え、順次性の適否を判断することによつ
て順次性フラグを管理する。 第４図を参照すると、本発明に従うキヤツシ
ユ・メモリ１０のアーキテクチユアを示す上位レ
ベルのブロツク図が示されている。キヤツシユ・
メモリ１０はＩ／Ｅユニツト１２と第２のレベル
メモリもしくはキヤツシユ１４との間に配置され
ている。第２のレベルのメモリは簡単な場合は、
主メモリであるが、より複雑なシステムでは、他
のレベルのキヤツシユ・メモリでもよい。いずれ
にしても、メモリ１４はキヤツシユ・メモリ１０
よりも速いメモリである。キヤツシユ・メモリ１
０は第２図に示されたキヤツシユ６に対応するキ
ヤツシユ・アレイ及び第２図に示したアクセス・
アドレス・ビツト８を含むキヤツシユ・デイレク
トリ１８を含む。本発明は順次性を制御するアル
ゴリズムに使用するＳベクトル２０を加える。 次の表はキヤツシユ・アレイ中の特定の行を識
別するアドレス、妥当性タグ（Ｖタグ）及び参照
タグ（Ｒタグ）ならびに本発明とは関係のない他
のビツトより成るキヤツシユ・デイレクトリ項目
を示す。

【表】 本発明に従つて、ＲビツトはＳビツトの活動記
録を処理するのを助けるのに用いられるが、以下
明らかになるように、本発明によるプリフエツチ
機構はキヤツシユ・デイレクトリ中にＲビツトを
使用することなく具体化できる。Ｓベクトルは数
が主メモリ中の行数と等しい複数のビツトより成
り、主メモリの物理行Liに対して１ビツトSiが存
在する。次の説明から明らかなように、Ｓベクト
ルはキヤツシユ・メモリ中の行の順次性の活動記
録を与える。 基本的なキヤツシユ・アクセスの流れ図を第１
図に示す。最初、キヤツシユは空であり、すべて
のＶビツトがオフであり、すべてのＳビツトがオ
ンである。この流れ図はブロツク１００でＩ／Ｅ
ユニツトからのキヤツシユ・アクセスが存在する
時にスタートする。判断ブロツク１１０でテスト
がなされキヤツシユ・ヒツトが存在するかどうか
が判断される。キヤツシユが空であるという初期
条件を仮定しているのでキヤツシユ・ミスが存在
し、従つて制御はブロツク１３０に分岐し、ここ
で、要求された行がミス・ハンドラを介してフエ
ツチされる。この行は機能ブロツク１６０でミ
ス・ハンドラによりMRU行にされる。次に判断
ブロツク２００において、プリフエツチのための
テストがなされる。このテストについては第５図
で詳細に説明する。 一方判断ブロツク１１０のテストの結果が
YES、即ちキヤツシユ・ヒツトが存在すると仮
定する。この場合は、キヤツシユ中の行が機能ブ
ロツク１２０中でアクセスされ、データは直接、
要求したＩ／Ｅユニツトに送られる。テストが判
断ブロツク１４０中でなされ、アクセスした行が
キヤツシユのMRU位置に存在するかどうかゞ決
定される。もし存在するならば、キヤツシユ・ア
クセス手順が完了し、そうでない時は機能ブロツ
ク１５０でＲビツトがオンにされ、この行は機能
ブロツク１６０中でMRU行にされる。 第５図はプリフエツチのためのテストの流れ図
を示す。この流れ図は判断ブロツク２０５でスタ
ートし、この行に関連するＳビツトがオンである
かどうかのテストがなされる。もしNOならば、
プリフエツチしない。Ｓビツトがオンならば、判
断ブロツク２１０でテストがなされ、次の順番の
行がキヤツシユに現在存在するかどうかゞ判断さ
れる。もし存在する時はプリフエツチは不要であ
る。しかしながら次順の行がキヤツシユ中に現在
存在しないと、これは機能ブロツク２２０中でキ
ヤツシユにプリフエツチされ、これに関連する合
同クラスのLRU項目が置換される。同時に新ら
しい項目のＲビツトがオフに転じられ、新らしい
行がキヤツシユ中のLRU位置に保存される。 本発明の動作の重要な点はＳベクトルを構成す
るＳビツトの管理である。Ｓビツトをリセツトす
るための基本動作を示す流れ図を第６図に示す。
この流れ図はキヤツシユから行Li＋１が置換され
る時に機能ブロツク３００でスタートする。テス
トが判断ブロツク３１０でなされ、この行のため
のＲビツトがオンであるかどうかの判断がなされ
る。もしオンならば、設計時の選択に依存して、
Siビツトには変更がなされないか、又はSiビツト
がオンにされる。他方Ｒビツトがオンなら、Siビ
ツトがオフにされる。 Ｓビツトをリセツトする代替方法を第７図に示
す。この流れ図には、Ｉ／Ｅユニツトから行Li＋
１をアクセスした時にミスが生じた時に機能ブロ
ツク４００で導入する。判断ブロツク４１０でテ
ストがなされ、行Liがキヤツシユ中にあるかどう
かのテストがなされる。もしこれが存在する時は
機能ブロツク４２０中でSiビツトがオンに転じら
れ、存在しない時は機能ブロツク４３０中に示し
たようにSiビツトには変更はない。 Ｓビツトのリセツトに対する第20の代替方法第
８図に示す。この方法では、テストが判断ブロツ
ク４５０でなされ、この方法では、テストが判断
ブロツク４５０でなされ、行Liが最近アクセスさ
れたかどうかが判断される。もしこれがアクセス
されている時には、Siビツトが機能ブロツク４６
０でオンにされ、そうでない時には機能ブロツク
４７０でSiビツトに変更はなされない。 第１図に示した基本的キヤツシウ・アクセス手
順は機能ブロツク１５０を第９図に示した流れ図
で置換することによつて修正される。判断ブロツ
ク１４０からのNO出力は判断ブロツク１５２で
テストされ、Ｒビツトがオンであるかどうかの判
断がなされる。オンならば流れは従前のように機
能ブロツク１６０に進行し、そうでない時は、Ｒ
ビツト及びSiビツトはともに機能ブロツク１５４
でオンにされ、順次性が一時的に確認される。即
ち、プリフエツチされた行の順次性が再び判断ブ
ロツク１５２中のテストで検出される時は、Ｓビ
ツトが再びオンにされる。 第１０図は第９図に示した基本的キヤツシユ・
アクセス論理の修正とともに使用するための第５
図に示したプリフエツチングの判断に対する修正
を示す。この修正は機能ブロツク２２０を２２０
ａに変更したものである。ブロツク２２０ａでは
次順の行が従前のようにキヤツシユにプリフエツ
チされるが、新しい項目のＲビツトをオフにし、
新らしい行をLRU位置に保存する以外に、Ｓビ
ツトもオフに転ずる。 本発明はＲビツトなしで動作させることも可能
であり、この場合に必要な修正が第１１図及び第
１２図に示されている。第１１図は第１図に示し
た基本的キヤツシユ・アクセス流れ図の修正を示
し、第９図と同様に機能ブロツク１５０を置換す
るものである。この場合は、判断ブロツク１５６
中でテストがなされ、行がキヤツシユ中のLRU
位置にあるかどうかの判断がなされる。もし存在
しない時は、制御は従前のように機能ブロツク１
６０に渡され、そうでない時はSiビツトが機能ブ
ロツク１５８でオンにされ、次に制御が機能ブロ
ツク１６０に渡される。 第１２図はＲビツトを使用しないプリフエツチ
の判断方法の修正を示し、第５図の示した流れ図
の修正を示す。この場合は、機能ブロツク２２０
は機能ブロツク２２０ｂに置換され、新らしい項
目のＲビツトをオフにする代りに、Ｓビツトがオ
フにされている。 実験により、命令の行はキヤツシユ合同クラス
のMRU位置でなくLRU位置にプリフエツチする
ことが望ましいことがわかつた。この場合は非
LRU行がアクセスされ時はＲビツトをオンに転
ずることは実際上必要とされない。 順次性が再び検出された時にＳビツトをオンに
戻すことも可能である。強い順次性テストと呼ば
れる１つの方法は、Liが依然キヤツシユ中に見出
される時にLi＋１のキヤツシユ・ミスが生じた時
にSiをオンにすることである。この方法は第７図
に示されている。他の代替方法は第８図に示すよ
うに前のアクセスがLiであることが見出されて、
Li＋１のキヤツシユ・ミスが生じた時にSiをオン
にする方法である。 Ｓビツトはメモリ中の丁度１行に対応する必要
はない。デイレクトリ・スペースとパホーマンス
間でトレード・オフがなされる。Ｓビツトは別個
のデイレクトリもしくは表により具体化できる。
そのための必要条件は、所与の行アドレスにおい
て、ビツトの固定座標が識別されて順次性を記録
し、テストできることである。 Ｒビツトはキヤツシユ・デイレクトリ自体に物
理的に存在する必要はない。プリフエツチが
LRU位置になされる時は、キヤツシユの１行の
項目当りに１つのＲビツトを関連付ける必要はな
い。この場合はLRUに位置する行のための参照
状態に対応して、１つの合同クラス当り１つのＲ
ビツトだけが必要である。合同クラスのＲビツト
は行が合同クラスのLRU位置にプリフエツチさ
れた時にだけオフにされる。合同クラスのＲビツ
トはその中のLRU行が実際にアクセスされた時
にだけオンに転ぜられる。行がキヤツシユから異
動される時は、対応する合同クラスのＲビツトが
依然としてオフであれば先行行に関連するＳビツ
トがオフにされ、Ｒビツトはその検出後にオンさ
れる。この動作を第６図の基本アルゴリズムの流
れ図に示す。Ｒビツト・ベクトルは物理的にキヤ
ツシユ・デイレクトリに存在する必要はなく、プ
リフエツチ論理装置に関連してもよい。キヤツシ
ユ・デイレクトリ制御装置とプリフエツチ制御装
置の間の通信は比較的簡単な信号で具体化でき
る。 制御及び通信を簡単にするために、Liのアクセ
ス時に、Li＋１がプリフエツチされるべきであ
る。と判断された時にSiをオフにすることが有利
である。このようなSiはプリフエツチされたLi＋
１が、最初に、関連するＲビツトがオフの状態で
実際にアクセスされる時にオンされる。このＲビ
ツトはその後オンにすべきである。このようにし
て、置換された行のアドレスをプリフエツチ制御
装置に送つて適切なＳビツトを見出し、オンもし
くはオフにする必要がなくなる。 順次的プリフエツチ・テスト及び他の関連動作
は次順の行のためのＲビツトがオンの時だけキヤ
ツシユ行のアクセスについてなされる。これによ
つてプリフエツチ条件についての冗長な再テスト
が減少する。プリフエツチ制御が競合を生ずる時
には、キヤツシユ・ミスの時にだけプリフエツチ
を遂行することも可能である。 他のプリフエツチ条件についての冗長な再テス
トが減少する。プリフエツチ制御機構を本発明と
組合すことも可能である。たとえば現在アクセス
されているワードが最後の3/4の部分内にある時
にだけ次の行を（Ｓビツトがオンの時に）プリフ
エツチすることがプリフエツチの正確さを改良す
るのに有用であることがわかつている。 以上で考察されたことは、LRU行が参照もし
くは置換される迄LRUに留まる純粋なLRU置換
である。PLRU（分割LRU）置換の場合は、Ｒベ
クトルのための１つの合同クラス当り余分のビツ
トを使用しして、プリフエツサされる余分の座標
を記録することも可能である。 本発明の中心の思想は簡単な活動記録に基ずい
てアクセスの順次性を予測することである。端的
に云つて、活動記録はLiが前回アクセスされた時
に次順の行Li＋１が参照されたかによつて行Liの
ための順次性を示すことができる。Ｓベクトルは
このような活動記録を記録するためのものであ
る。各メモリ行は行のＳビツトと呼ばれるＳベク
トルのビツトに関連する。Ｓビツトがオンの時
は、順次性が予測され次順の行がまだキヤツシユ
中にないならば、これがプリフエツサのための良
好な候補であるとみなされる。本発明の動作の重
要な点はＳビツトの処理（オン、オフ）である。
第６図に示した基本的なアルゴリズムはこの処理
がどのように達成されるかを示している。第７図
及び第８図はこの基本的アルゴリズムに対する代
替方法を示す。 処理能力の研究によつて、本発明は79％乃至94
％以上の正確さでＩキヤツシユ・ミスの39−52％
が減少することがわかつた。 本発明のＩ行の順次的プリフエツチについて説
明したが、本発明の原理は種々のキヤツシユ組織
及び異なる型の行の順次プリフエツチングにも応
用できる。 Ｆ 発明の効果 本発明に従い。プログラム内蔵デジタル・コン
ピユータ中の命令を順次にプリフエツチし、キヤ
ツシユ・ミスをかなり減少し、プリフエツチの精
度を高め、コンピユータのパホーマンスを改良す
る方法が与えられる。

【図面の簡単な説明】

第１図は本発明に従う基本的キヤツシユ・アク
セス論理を示した流れ図である。第２図は合同ク
ラスの選択を示す、キヤツシユ・メモリの通常の
２次元組織を示すブロツク図である。第３図は連
続するブロツクもしくは行より成るメモリとキヤ
ツシユ及びＩ／Ｅユニツトの関連を示した図であ
る。第４図はＳベクトルを含むように改良したキ
ヤツシユ・メモリ制御装置のブロツク図である。
第５図は第１図のキヤツシユ・アクセス論理装置
に使用するプリフエツチの判断論理を示す流れ図
である。第６図は本発明従うＳビツトをリセツト
するための論理を示す流れ図である。第７図は本
発明に従うＳベクトルのＳビツトをリセツトする
ための代替論理の流れ図を示す。第８図は本発明
に従うＳベクトルのＳビツトをリセツトするため
の代替論理を示す流れ図である。第９図は第１図
に示した基本的キヤツシユ・アクセス論理の改良
を示す流れ図である。第１０図は第９図に示した
改良基本的キヤツシユ・アクセス論理に使用され
る流れ図である。第１１図はＲビツトを使用しな
い、第１図の基本的キヤツシユ・アクセス論理へ
の他の改良を示す流れ図である。第１２図は、Ｒ
ビツトを使用しない、第１１図に示した改良基本
的キヤツシユ・アクセス論理とともに使用され
る、プリフエツチの判断論理の流れ図である。 ６……キヤツシユ、８……アクセス・アドレ
ス・ビツト、１０……キヤツシユ・メモリ、１２
……Ｉ／Ｅユニツト、１４……第２レベルのメモ
リ／キヤツシユ、１６……キヤツシユ・アレイ、
１８……キヤツシユ・デイレクトリ、２０……Ｓ
ベクトル。

Claims (1)

1. 【特許請求の範囲】 １ コンピユータのキヤツシユ・メモリへ主メモ
   リから順次に行をプリフエツチする方法におい
   て、 (a) 各キヤツシユの行に、このキヤツシユの行が
   アクセスされた時に次順のキヤツシユの行をプ
   リフエツチすべきかどうかを示す、最初オンに
   セツトされるＳビツトを割当て、 (b) キヤツシユ・メモリへのアクセスをテストし
   て、アクセスされる行がキヤツシユ・メモリ中
   にあるかどうかを判断し、存在する時は、この
   行をアクセスし、 (c) 存在しない時は、アクセスされる行を主メモ
   リからフエツチし、 (d) キヤツシユ・メモリ中でアクセスされる行を
   テストして、それが最も最近使用した位置にあ
   るかどうかを判断し、ない時には、その行を最
   も最近使用した行にし、 (e) アクセスされる行のための上記Ｓビツトをテ
   ストして、オンであるかどうかを判断し、もし
   オンならば次順の行がキヤツシユ・メモリ中に
   あるかどうかを判断するためのテストを行い、 (f) 上記次順の行がキヤツシユ・メモリ中にない
   時は、この次順の行をキヤツシユ・メモリへ新
   らしい行としてプリフエツチし、この新らしい
   行をキヤツシユ・メモリ中の最も過去に使用し
   た位置に保存する段階を有する、 コンピユータのキヤツシユ・メモリへ主メモ
   リから順次に行をプリフエツチする方法。