JPH08328960A

JPH08328960A - キャッシュメモリ装置

Info

Publication number: JPH08328960A
Application number: JP7131530A
Authority: JP
Inventors: Shisei Fujiwara; 至誠藤原; Masabumi Shibata; 正文柴田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1995-05-30
Filing date: 1995-05-30
Publication date: 1996-12-13

Abstract

(57)【要約】【目的】キャッシュミス時の入れ替え動作によるオー
バヘッドを大幅に削減する。【構成】キャッシュメモリはウェイ０〜４の４つのメ
モリマット５で構成される。バイパスバッファ１０は前
回のキャッシュミスでコピーインすべき内容を保持して
いる。キャッシュミスが判明すると、コピーイン動作と
コピーアウト動作が相異なるウェイのメモリマット５で
並行して実行される。コピーイン動作では、前回のキャ
ッシュミス時に吐き出してすきまの空いたウェイ０のラ
インにバイパスバッファ１０の内容を書き込む。コピー
アウト動作では、今回のキャッシュミスで吐き出すべき
ウェイ候補として上記ウェイ０以外の例えばウェイ１を
選択してコピーアウトを実行する。今回のキャッシュミ
スでコピーインすべき内容は、主記憶装置１４からバイ
パスバッファ１０へ書き込む。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数のウェイから構成
されるストアイン方式のキャッシュメモリ装置に係り、
特にキャッシュミス時の入れ替え動作の高速化に関す
る。

【０００２】

【従来の技術】現代の高速電子データ処理システムは、
演算処理装置と階層記憶システムから構成されることが
多い。後者を２階層で構成する際は、サイクルタイムが
演算処理装置のサイクルタイムよりも長い、低速大容量
のメモリ、すなわち主記憶装置と、サイクルタイムが演
算処理装置のサイクルタイムと同程度である高速小容量
メモリ、すなわちキャッシュメモリとを含んでいる。こ
のようなキャッシュメモリシステムは、当技術分野でよ
く知られている。

【０００３】このようなキャッシュメモリシステムにお
いては、キャッシュメモリ上に存在しないデータにアク
セスを行いたい場合、すなわち、キャッシュミス時に
は、階層間で情報の転送を行うことが必須である。一般
にこれは、まずキャッシュメモリ上の内容を主記憶装置
に書き出し（コピーアウト）、その後、主記憶装置から
所望データをキャッシュメモリに書き込む（コピーイ
ン）ことで実現しており、オーバヘッドの増大は免れな
かった。

【０００４】従来、このキャッシュミス時の入れ替え動
作のオーバヘッドを減少させる手法としては、（１）主
記憶装置とキャッシュメモリの入力側の間にバイパスバ
ッファを設け、コピーアウト動作後のコピーイン動作
時、主記憶装置からの所望データがバイパスバッファに
到着した時点で演算処理装置に供給する方法、（２）キ
ャッシュメモリの出力側と主記憶装置の間にコピーアウ
トバッファを設け、コピーアウト動作でキャッシュメモ
リの内容がコピーアウトバッファに吐き出された時点で
コピーイン動作を開始する方法、及び、この（１）と
（２）の方法を組み合わせた方法が知られている。

【０００５】なお、これに関連する公知文献としては、
例えば、ＩＢＭＪournal ofＲesearch and Ｄevelopme
nt、Ｖol．３３Ｎo.１、pp.１５〜３１が挙げられる。

【０００６】

【発明が解決しようとする課題】上記従来技術は、キャ
ッシュミス時の入れ替え動作において、コピーイン動作
とコピーアウト動作を並行に行うことは配慮されておら
ず、キャッシュミス時のオーバヘッド削減には限界があ
った。

【０００７】本発明の目的は、上記従来技術の問題点を
解決し、キャッシュミス時のオーバヘッドの大幅な削減
を可能にするキャッシュメモリ装置を提供することにあ
る。

【０００８】

【課題を解決するための手段】本発明は、複数ウェイの
複数メモリマットで構成されるキャッシュメモリ装置に
おいて、キャッシュミス時の入れ替え動作で、メモリマ
ットからのコピーアウト動作とメモリマットへのコピー
イン動作を相異なるウェイで並行して実行せしめる制御
手段を設けたことを特徴とする。

【０００９】また、本発明は、複数ウェイの複数メモリ
マットで構成されるキャッシュメモリ装置であって、前
回のキャッシュミスでコピーインすべき内容を保持する
バイパスバッファと、コピーアウトした内容を保持する
コピーアウトバッファと、キャッシュミス時の入れ替え
動作で、メモリマットからの前記コピーアウトバッファ
へのコピーアウト動作と前記バイパスバッファからのメ
モリマットへのコピーイン動作を相異なるウェイで並行
して実行せしめる制御手段を設けたことを特徴とする。

【００１０】

【作用】キャッシュメモリを構成する各ウェイのメモリ
マットは、それぞれ独立にアクセス可能である。したが
って、キャッシュミス時の入れ替え動作で、コピーアウ
トするウェイとコピーインするウェイを異ならしめるこ
とにより、コピーアウト動作とコピーイン動作を並列に
行うことが可能になり、キャッシュミス時のオーバーヘ
ッドを大幅に削減できる。

【００１１】

【実施例】以下、本発明の実施例について図面により詳
述する。なお、実施例では、１ワードは４バイト、１ダ
ブルワードは２ワードすなわち８バイトとする。また、
キャッシュ構成は４キロバイト×４ウェイ、３２バイト
／ライン、すなわち、１２８ライン（カラム）×４ウェ
イを仮定し、キャッシュアクセスの単位は、通常時は４
バイト単位（１ワード単位）、キャッシュラインの入れ
替え時は８バイト単位（１ダブルワード単位）とする。
システム構成は主記憶装置とキャッシュメモリの２階層
の記憶階層構成をとるとする。

【００１２】〔実施例１〕これは、主記憶装置とキャッ
シュメモリの間にバイパスバッファが存在する場合の実
施例である。図１は、本実施例のシステム構成を示した
ものであり、演算処理装置１、アドレスレジスタ２、ア
ドレス指定回路３、アドレスデコーダ４、メモリマット
５、アドレスアレイ７、ヒット判定回路８、メモリマッ
ト出力セレクタ９、バイパスバッファ１０、コピーアウ
トバッファ１１、入力セレクタ１２、出力セレクタ１
３、主記憶装置１４、バイパスバッファアドレスラッチ
１５、バイパスバッファウェイラッチ１６、ウェイ参照
履歴メモリ１７、コピーアウトウェイ判定回路１８、セ
レクタ１９からなっている。なおアドレス指定回路３、
アドレスデコーダ４及びメモリマット５は、それぞれキ
ャッシュメモリのウェイ数だけ存在する。本実施例にお
いては、ウェイ数は４（０〜３ウェイ）であり、それぞ
れ４ずつ存在する。

【００１３】アドレスアレイ７は、４つあるメモリマッ
ト５の各ウェイの各ラインに格納されているデータの主
記憶装置１４上のアドレス（主記憶アドレス）を記憶し
ている。ウェイ参照履歴メモリ１７は、ライン（カラ
ム）単位に４ウェイ間の参照履歴情報を記憶している。
なお、これらは従来と同様である。

【００１４】バイパスバッファ１０は、１ラインすなわ
ち３２バイト構成のレジスタで、ここには、前回のキャ
ッシュミス時に主記憶装置１４からライン転送されて、
本来、４つあるメモリマット５中の所定ウェイの所定ラ
インに格納されるべき１ライン相当の内容が入ってい
る。このバイパスバッファ１０の内容がどのライン（カ
ラム）に対応する内容であるかは、７ビット構成のバイ
パスバッファアドレスラッチ１５が記憶しており、ま
た、どのウェイ（メモリマット）に対する内容であるか
は、４ビット構成（ビットとウェイが１対１に対応）の
バイパスバッファウェイラッチ１６が記憶している。

【００１５】図２は、アドレスレジスタ２のビット構成
の詳細を示している。本実施例では、主記憶装置および
キャッシュメモリの１ワードは３０ビットのアドレスで
指定されるとする。第０ビットから第１９ビットまでの
上位２０ビット（ページアドレス）２１は、ヒット判定
回路８において、キャッシュメモリのヒット判定に使用
される。アドレスアレイ７が記憶している主記憶アドレ
スも、この第０ビットから第１９ビットまでの２０ビッ
トである。第２０ビットから第２６ビットまでの７ビッ
ト（ラインアドレス）２２は、アドレスアレイ７をアク
セスするタグとして使用されるとともに、ウェイ参照履
歴メモリ１７をアクセスするために使用され、また、バ
イパスバッファアドレスラッチ１５、および、ヒット判
定回路８に供給される。第２０ビットから第２８ビット
までの９ビット（ページ内アドレス）２３は、各アドレ
ス指定回路３において、メモリマット５のライン／セル
指定のために使用される。最下位の第２９ビット２４
は、メモリマット５におけるセル内のワード位置を指定
するために用いられる。なお、セルの定義は図４のメモ
リマット５の説明を行う部分で与えている。

【００１６】図３は、アドレス指定回路３の詳細構成を
示している。アドレス指定回路３はアドレスラッチ３
１、セレクタ３２、加算器３３、３４、３５、セレクタ
３６よりなる。アドレスラッチ３１は９ビット幅のレジ
スタで、その上位７ビットは、アドレスレジスタ２から
の出力２３のうちの上位の７ビット（ラインアドレス）
を記憶することができ、下位２ビット（ライン内セルア
ドレス）は、常に一定値０をとる。セレクタ３２は、ア
ドレスレジスタ２の出力２３とアドレスラッチ３１の出
力の一方を選択するものである。加算器３３は、入力に
１を加算して出力するものである。加算器３４は、入力
に２を加算して出力するものである。加算器３５は、入
力に３を加算して出力するものである。セレクタ３６
は、セレクタ３２、加算器３３、加算器３４、加算器３
５の４つの出力のうちから１つを選択し、アドレスデコ
ーダ４へ送付するものである。通常はアドレスレジスタ
２の出力２３がセレクタ３２、３６を介してアドレスデ
コーダ４へ送付され、キャッシュミス時の入れ替え動作
において、アドレスラッチ３１，加算器３３、３４，３
５の出力が順次選択される。

【００１７】図４は、メモリマット５の詳細構成を示し
ている。図４に示すように、１つのメモリマット５は、
３２バイトの大きさのラインを１２８ライン（１２８カ
ラム）持つ。各ラインはさらに８バイト単位（ダブルワ
ード単位）に分割される。この単位のことをここではセ
ルと呼ぶ。このセルが、メモリマット５をアクセスする
際のアドレス指定の最小単位となる。１ラインは、４セ
ル（４ダブルワード）で構成される。メモリマット５の
アクセスは、アドレスデコーダ４の出力（セル指定）、
アドレスレジスタ２の第２９ビットのセル内ワード位置
指定ビット２４、および、アクセス種別指定（読みだ
し、もしくは書き込み）、アクセス幅指定（４バイトも
しくは８バイト）をもとに行われる。

【００１８】図５は、ヒット判定回路８の詳細を示して
いる。比較器５１では、アドレスレジスタ２から得られ
る出力２１の２０ビットと、アドレスアレイ７から得ら
れるウェイ０のアドレスに関する情報である２０ビット
が比較され、ヒット判定のためのビットが生成される。
比較器５２、比較器５３、比較器５４においても、同様
に、アドレスレジスタ２の上位２０ビットと、アドレス
アレイ７のウェイ１、２、３に相当する２０ビットが比
較され、ヒット判定のためのビットが生成される。これ
らのヒット判定のためのビットは、ヒット判定論理５５
の入力ａ〜ｄとなるとともに、それぞれＡＮＤゲート５
７の入力となる。各ＡＮＤゲート５７の別の入力は、そ
れぞれバイパスバッファウェイラッチ１６の出力中の該
当ウェイ信号であり、あるＡＮＤゲート５７が１を出力
しているという状態は、当該ヒットしたウェイの内容が
バイパスバッファ１０上に存在する可能性を示してい
る。４つのウェイに対応するこれらの４つの出力は、Ｏ
Ｒゲート５８に入力される。ＯＲゲート５８の出力は、
比較器５６の出力とともに、ＡＮＤゲート５９の入力と
なる。比較器５６の２つの入力はバイパスバッファアド
レスラッチ１５の７ビットとアドレスレジスタ２中の出
力２２の７ビット（ラインアドレス）であり、比較器５
６が１を出力しているという状態は、現在アクセスを行
おうとしているメモリアドレスのデータがバイパスバッ
ファ１０内に存在する可能性があることを示している。
それゆえ、ＡＮＤゲート５９の出力は、現在アクセスを
行おうとしているメモリアドレスのデータが、バイパス
バッファ１０上に存在するかどうかを示している。ヒッ
ト判定論理５５は、図５に示すように、比較器５１、比
較器５２、比較器５３、比較器５４の出力ａ〜ｄをもと
にして、ウェイ０ヒット、ウェイ１ヒット、ウェイ２ヒ
ット、ウェイ３ヒット、キャッシュミスの５つの判定結
果を出力するとともに、ＡＮＤゲート５９の出力ｅをも
とにして、バイパスバッファ１０上に存在するか存在し
ないかの判定結果を出力する。

【００１９】以下、本実施例１の動作を説明する。動作
としては、リードアクセスでキャッシュヒットしたとき
の動作、ライトアクセスでキャッシュヒットしたときの
動作、および、リードアクセスもしくはライトアクセス
がキャッシュミスしたときの動作がある。

【００２０】最初に、リードアクセスでキャッシュヒッ
トしたときの動作について説明する。まず、演算処理装
置１は、アドレスレジスタ２に、リードアクセスを行い
たいメモリのアドレスを設定する。このアドレスレジス
タ２の第２０ビットから第２８ビットの出力２３は、各
アドレス指定回路３に入力される。このとき、アドレス
指定回路３のセレクタ３２、セレクタ３６（図３）は、
入力値２３をそのまま出力するように制御されている。
この出力をもとにして、アドレスデコーダ４がメモリマ
ット５をアクセスするための信号を作成し、メモリマッ
ト５は、それに対応するセルの内容を出力する（図
４）。この一連の動作は、４つのウェイすべてについて
同様に行われる。

【００２１】一方、アドレスレジスタ２の第２０ビット
から第２６ビットの出力２２は、アドレスアレイ７、ウ
ェイ参照履歴メモリ１７及びヒット判定回路８に送付さ
れ、さらにヒット判定回路８にはアドレスレジスタ２の
第０ビットから第１９ビットの出力２１も送付される。
アドレスアレイ７からは、入力値２２に対応するライン
に登録されている２０ビットのアドレスが４ウェイ分、
合計８０ビットの出力が行なわれる。ヒット判定回路８
は、このアドレスアレイ７からの出力と、アドレスレジ
スタ２の出力２１をもとにして、メモリマット５のヒッ
トウェイ、バイパスバッファ１０のヒット判定を行う
（図５）。キャッシュヒットの場合、セレクタ１９はヒ
ット判定回路８の出力側を選択するように制御され、そ
の結果、セレクタ９は、ヒット判定回路８の判定結果を
もとにして、メモリマット５の４つのウェイのなかか
ら、ヒットしたウェイのデータを選び出して出力する。
このデータは、出力セレクタ１３を経由して、演算処理
装置１に供給される。また、ヒット判定回路８の判定結
果をもとに、ウェイ参照履歴メモリ１７の該当ラインの
ウェイ参照履歴情報が更新される。なお、ヒット判定回
路８で、所望のデータがバイパスバッファ１０上に存在
すると判定された場合は、バイパスバッファ１０がその
データを出力し、出力セレクタ１３をバイパスバッファ
側に制御することで、所望のデータが演算処理装置１に
供給される。

【００２２】次に、ライトアクセスでキャッシュヒット
したときの動作について説明する。まず、演算処理装置
１は、アドレスレジスタ２に、ライトアクセスを行いた
いメモリアドレスを設定する。それとともに、演算処理
装置１は、キャッシュメモリにストアすべきデータを出
力し、入力セレクタ１２を、演算処理装置１からのデー
タを選択するように設定する。アドレスレジスタ２の出
力２３は各アドレス指定回路３に入力される。このと
き、リードアクセスと同様に、アドレス指定回路３のセ
レクタ３２、セレクタ３６は入力値２３をそのまま出力
するように制御され、この出力をもとにして、アドレス
デコーダ４が、メモリマット５をアクセスするための信
号を作成する。この一連の動作は、４つのウェイすべて
について同様に行われる。

【００２３】一方、アドレスレジスタ２の出力２２は、
アドレスアレイ７、ウェイ参照履歴メモリ１７及びヒッ
ト判定回路８に送付され、さらにヒット判定回路８には
アドレスレジスタ２の出力２１も送付される。アドレス
アレイ７からは、入力値２２に対応するラインに登録さ
れている２０ビットのアドレスが４ウェイ分、合計８０
ビットの出力が行なわれる。ヒット判定回路８は、この
アドレスアレイ７からの出力と、アドレスレジスタ２の
出力２１をもとにして、メモリマット５のヒットウェ
イ、バイパスバッファ１０のビット判定を行う。この判
定結果をもとにして、キャッシュヒットの場合、ヒット
ウェイのメモリマット５に対して入力セレクタ１２の出
力データの書き込みがおこなわれる。また、ヒット判定
回路８の判定結果をもとに、ウェイ参照履歴メモリ１７
が更新される。なお、ヒット判定回路８で、書き込みを
行いたいアドレスのデータがバイパスバッファ１０上に
存在すると判定された場合は、演算処理装置１の出力を
バイパスバッファ１０の所定のワードに対して書き込み
を行う。

【００２４】次に、リードアクセスもしくはライトアク
セスがキャッシュミスしたときの動作について説明す
る。本実施例の場合、キャッシュミス時の入れ替え動作
において、今回のキャッシュミスに伴うメモリマット５
からの１ライン分のコピーアウト動作と前回のキャッシ
ュミスで主記憶装置１４からバイパスバッファ１０に転
送されている１ライン分のメモリマット５へのコピーイ
ン動作が、相異なるウェイで並行して行われる。

【００２５】図６に、本実施例のキャッシュ入れ替え動
作の概念図を示す。この例では、前回のキャッシュミス
時に吐き出してすきまの空いていたウェイ０のラインに
バイパスバッファ１０の内容が書き込まれ、これと並行
して今回のキャッシュミスにより、ウェイ１のラインの
内容が吐き出される。バイパスバッファ１０の内容が書
込まれるべきライン（図６ではラインｉ）はバイパスバ
ッファアドレスラッチ１５で示され、そのウェイ（図６
ではウェイ０）はバイパスバッファウェイラッチ１６で
示される。今回のキャッシュで吐き出し（コピーアウ
ト）の対象とすべきウェイ（図６ではウェイ１）は、こ
のバイパスバッファウェイラッチ１６で示されるウェイ
以外から決定すればよい。これを行うのがコピーアウト
ウェイ判定回路１８である。

【００２６】以下の説明では、バイパスバッファ１０か
らメモリマット５へのコピーイン動作とメモリマット５
からのコピーアウト動作は、１ライン分をセル単位すな
わちダブルワード単位で４回に分けて行われるとする。
このコピーイン／コピーアウト動作後、今回のキャッシ
ュミスでキュッシュメモリに書き込むべき内容が、主記
憶装置１４からバイパスバッファ１０にライン転送され
て、次のキャッシュミス発生までバイパスバッファ１０
上に記憶される。また、バイパスバッファアドレスラッ
チ１５とバイパスバッファウェイラッチ１６の値は、今
回のコピーアウト動作ですきまの空いたライン、ウェイ
（図６の例ではラインｊ、ウェイ１）に更新される。こ
の結果、次のキャッシュミス発生時、バイパスバッファ
１０の内容が、本来書き込まれるべきウェイ１のライン
ｊに書き込まれることになる。

【００２７】図７は、本実施例のキャッシュ入れ替え動
作をタイムチャート的に説明したものである。なお、図
７においては、Ａというアドレスに対するリードアクセ
スを行おうとしたが、それがキャッシュ上に存在せず、
そのために入れ替え動作を行わなければならない場合を
仮定している。また、入れ替え動作は、図６と同様にウ
ェイ１のラインがコピーアウトされ、ウェイ０のライン
にバイパスバッファ１０の内容がコピーインされる場合
を例にとっている。さらに、バイパスバッファ１０の内
容がコピーインされるべきアドレス（ラインアドレス）
はＢとしている。他のアドレスでキャッシュミスが発生
した場合、他のウェイがコピーイン、コピーアウトされ
る場合も全く同様な動作を行えばよい。また、ライトア
クセスでミスが発生した場合も、入れ替え動作に関して
は全く同一の処理を行えばよい。

【００２８】図７では、サイクルｔ０において、キャッ
シュアクセスが試みられて、キャッシュミスが判明し、
サイクルｔ１からｔ４で、ダブルワード単位に入れ替え
動作が４回繰り返され、その後、サイクルｔ５で通常の
キャッシュアクセスが行われる。以下、各サイクルでの
動作を説明する。

【００２９】〈サイクルｔ０〉まず、アドレスレジスタ
２に、アクセスを行いたいキャッシュメモリのアドレス
値Ａが設定される。この結果、アドレス指定回路３の出
力に、メモリマット５をアクセスするためのアドレス値
Ａ′が現れる。このアドレス値Ａ′は、アドレス値Ａの
第２０ビットから第２８ビットまでを、その第０ビット
から第８ビットの内容とするものであり、アドレス指定
回路３では、アドレスレジスタ２の出力２３をそのまま
出力するように、セレクタ３２とセレクタ３６の制御が
行われる（図３）。このアドレス指定回路３からの出力
Ａ′をもとにして、アドレスデコーダ４がメモリマット
５をアクセスするための信号を作成し、メモリマット５
は、それに対応するセルの内容を出力する（図４）。こ
の一連の動作は、４つのウェイすべてについて同じよう
に行われる。一方、アドレスレジスタ２の出力２２は、
アドレスアレイ７、ウェイ参照履歴メモリ１７及びヒッ
ト判定回路８にも送付され、さらにヒット判定回路８に
はアドレスレジスタ２の出力２１も送付される。アドレ
スアレイ７からは、入力値２２に対応するラインに登録
されている２０ビットのアドレスが４ウェイ分、合計８
０ビットの出力が行なわれる。ヒット判定回路８は、こ
のアドレスアレイ７からの出力と、アドレスレジスタ２
の出力２１をもとにして、ヒット判定を行い（図５）、
その結果、キャッシュミスが判定される。

【００３０】キャッシュミスであることが判明すると、
コピーアウトするウェイの決定を行う必要がある。本実
施例においては、コピーアウトウェイ判定回路１８が、
ウェイ参照履歴メモリ１７とバイパスバッファウェイラ
ッチ１６の出力をもとにして、今回バイパスバッファ１
０からコピーインしなければならないウェイ（前回のキ
ャッシュミスでコピーアウトしたウェイ、この例ではウ
ェイ０）以外からコピーアウトウェイを選択するという
制限を満たしつつ決定し、そのようにして決定されたウ
ェイ（この例ではウェイ１）を、コピーアウトウェイ判
定回路１８の出力とする。この選択方法としては、任意
の方法をとることができるが、例えば、よく知られてい
るリーストリーセントリユーズド法に対して、コピーア
ウトしたいウェイが今回コピーインするウェイと一致し
たならば２番目に最近参照されていないウェイをコピー
アウト対象とするという変更を行った方法が考えられ
る。その後、サイクルｔ１〜ｔ４の一連の入れ替え動作
が開始する。

【００３１】〈サイクルｔ１〉まず、入力セレクタ１
２、セレクタ１９、メモリマット出力セレクタ９を制御
する。入力セレクタ１２はバイパスバッファ１０側を選
択し、セレクタ１９はコピーアウトウェイ判定回路１８
側を選択する。メモリマット出力セレクタ９は、本例で
は、コピーアウトウェイ判定回路１８がウェイ１を出力
しているため、今回コピーアウトすべきウェイ１のメモ
リマット５を選択することになる。なお、セレクタ９お
よびセレクタ１２の設定は、一連の入れ替え動作が完了
するサイクルｔ４まで継続する。また、バイパスバッフ
ァウェイラッチ１６には、今回コピーアウトされるウェ
イ１が記憶される。

【００３２】次に、コピーアウト対象となったウェイ１
のアドレス指定回路３におけるアドレスラッチ３１（図
３）に、アドレスＡ″を記憶する。Ａ″は、その第０ビ
ットから第６ビットまでの値がＡ′の第０ビットから第
６ビットまでの値と一致しており、その第７ビットと第
８ビットの値を０とした値である。

【００３３】次に、アドレスレジスタ２に、バイパスバ
ッファ１０の内容がコピーインされるべきアドレスＢが
バイパスバッファアドレスラッチ１５の値をもとに設定
され、バイパスバッファアドレスラッチ１５には、アド
レスレジスタ２をもとにして、新しい値が書き込まれ
る。ここで、アドレスレジスタ２に設定されるアドレス
値Ｂは、その第０ビットから第１９ビットまでは値０で
あり、その第２０ビットから第２６ビットまでにバイパ
スバッファアドレスラッチ１５のそれまでの内容が入
り、その第２７ビットから第２９ビットまでは値０をと
る。即ち、アドレスレジスタ２は、実質的に有効なビッ
ト数は第２０ビットから第２６ビットの７ビットである
が、このアドレスはアドレスアレイ７およびアドレス指
定回路３でのみ使用されるので構わない。一方、バイパ
スバッファアドレスラッチ１５に新しく書き込まれるの
は、アドレスレジスタ２にそれまで設定されていたアド
レスＡの第２０ビットから第２６ビットまでの７ビット
である。

【００３４】次に、コピーイン／コピーアウト対象の各
ウェイのアドレス指定回路３の出力値を設定するため
に、それぞれセレクタ３２、セレクタ３６を制御する
（図３）。即ち、コピーインすべきウェイ０のアドレス
指定回路３においては、セレクタ３２はアドレスレジス
タ２の出力を選択し、セレクタ３６はセレクタ３２の出
力を選択する。一方、コピーアウトすべきウェイ１のア
ドレス指定回路３においては、セレクタ３２はアドレス
ラッチ３１の出力を選択し、セレクタ３６はセレクタ３
２の出力を選択する。これによって、コピーイン／コピ
ーアウト対象の二つのアドレス指定回路３の出力値は、
ウェイ０側はアドレス値Ｂに、ウェイ１側はアドレス値
Ａ″にそれぞれ設定される。

【００３５】この二つのアドレス指定回路３の出力値を
もとにして、ウェイ０、ウェイ１のアドレスデコーダ４
がそれぞれ動作する。このデコーダ出力をもとにして、
ウェイ０のメモリマット５には、バイパスバッファ１０
の第０ダブルワードの内容（ｂ０）が入力セレクタ１２
を介して書き込まれ、ウェイ１のメモリマット５から
は、コピーアウトバッファ１１に書き込まれるべき第０
ダブルワードの内容（ｃ０）が読み出され、メモリマッ
ト出力セレクタ９の出力となる。

【００３６】〈サイクルｔ２〉まず、コピーインすべき
ウェイ０のアドレス指定回路３のアドレスラッチ３１
に、アドレス値Ｂが記憶される。また、コピーアウトバ
ッファ１１の第０ダブルワードに、サイクルｔ１で出力
されたセレクタ９の出力データ（ｃ０）を記憶する。

【００３７】次に、コピーイン／コピーアウト対象の各
ウェイのアドレス指定回路３の出力値を設定するため
に、それぞれセレクタ３２、セレクタ３６を制御する。
即ち、コピーインすべきウェイ０のアドレス指定回路３
においては、セレクタ３２はアドレスラッチ３１の出力
を選択し、セレクタ３６は加算器３３の出力を選択す
る。コピーアウトすべきウェイ１のアドレス指定回路３
においても、セレクタ３２はアドレスラッチ３１の出力
を選択し、セレクタ３６は加算器３３の出力を選択す
る。これによって、二つのアドレス指定回路３の出力値
は、ウェイ０側はアドレス値Ｂ＋１に、ウェイ１側はア
ドレス値Ａ″＋１に設定される。

【００３８】この二つのアドレス指定回路３の出力値を
もとにして、対応するアドレスデコーダ４が動作する。
このデコーダ出力をもとに、ウェイ０のメモリマット５
にはバイパスバッファ１０の第１ダブルワードの内容
（ｂ１）が書き込まれ、ウェイ１のメモリマット５から
はコピーアウトバッファ１１に書き込まれるべき第１ダ
ブルワードの内容（ｃ１）が読みだされ、セレクタ９の
出力となる。

【００３９】〈サイクルｔ３〉まず、コピーアウトバッ
ファ１１の第１ダブルワードに、サイクルｔ２で出力さ
れたセレクタ９の出力データを記憶する。

【００４０】次に、コピーイン／コピーアウト対象の各
ウェイのアドレス指定回路３の出力値を設定するため
に、それぞれセレクタ３２、セレクタ３６を制御する。
即ち、コピーインすべきウェイ０のアドレス指定回路３
においては、セレクタ３２はアドレスラッチ３１の出力
を選択し、セレクタ３６は加算器３４の出力を選択す
る。コピーアウトすべきウェイ１のアドレス指定回路３
においても、セレクタ３２はアドレスラッチ３１の出力
を選択し、セレクタ３６は加算器３４の出力を選択す
る。これによって、二つのアドレス指定回路３の出力値
は、ウェイ０側はアドレス値Ｂ＋２に、ウェイ１側はア
ドレス値Ａ″＋２に設定される。

【００４１】この二つのアドレス指定回路３の出力値を
もとにして、アドレスデコーダ４が動作する。このデコ
ーダ出力をもとに、ウェイ０のメモリマット５にはバイ
パスバッファ１０の第２ダブルワードの内容（ｂ２）が
書き込まれ、ウェイ１のメモリマット５からはコピーア
ウトバッファ１１に書き込まれるべき第２ダブルワード
の内容（ｃ２）が読みだされ、セレクタ９の出力とな
る。

【００４２】〈サイクルｔ４〉まず、コピーアウトバッ
ファ１１の第２ダブルワードに、サイクルｔ３で出力さ
れたセレクタ９の出力データ（ｃ２）を記憶する。

【００４３】次に、コピーイン／コピーアウト対象の各
ウェイのアドレス指定回路３の出力値を設定するため
に、それぞれセレクタ３２、セレクタ３６を制御する。
即ち、コピーインすべきウェイ０のアドレス指定回路３
においては、セレクタ３２はアドレスラッチ３１の出力
を選択し、セレクタ３６は加算器３５の出力を選択す
る。コピーアウトすべきウェイ１のアドレス指定回路３
においても、セレクタ３２はアドレスラッチ３１の出力
を選択し、セレクタ３６は加算器３５の出力を選択す
る。これによって、二つのアドレス指定回路３の出力値
は、ウェイ０側はアドレス値Ｂ＋３に、ウェイ１側はア
ドレス値Ａ″＋３に設定される。

【００４４】この二つのアドレス指定回路３の出力値を
もとにして、対応するアドレスデコーダ４が動作する。
このデコーダ出力をもとに、ウェイ０のメモリマット５
にはバイパスバッファ１０の第３ダブルワードの内容
（ｂ３）が書き込まれ、ウェイ１のメモリマット５から
はコピーアウトバッファ１１に書き込まれるべき第３ダ
ブルワードの内容（ｃ３）が読みだされ、セレクタ９の
出力となる。

【００４５】〈サイクルｔ５〉コピーアウトバッファ１
１の第３ダブルワードに、サイクルｔ４で出力されたセ
レクタ９の出力データ（ｃ３）を記憶する。また、セレ
クタ１２を演算処理装置１の出力の側に切り替える。こ
れで、別のアドレスによる通常のキャッシュアクセスを
行うことができるようになる。

【００４６】また、このｔ５以降で、主記憶装置１４、
バイパスバッファ１０、コピーアウトバッファ１１の間
でデータの交換を行えばよい。即ち、主記憶装置１４か
らバイパスバッファ１０に、アドレスＡの内容を含む１
ライン分のデータをライン転送（ムーブイン）し、その
後、コピーアウトバッファ１１から主記憶装置１４に同
じく１ライン分のデータをコピーアウトする。当初のキ
ャッシュアクセス時に、アドレスＡで指定された所望の
データは、主記憶装置１４から読みだし、それがバイパ
スバッファ１０に到着した時点で、出力セレクタ１３を
制御することで、演算処理装置１に供給することができ
る。なお、バイパスバッファ１０にライン転送されたデ
ータに対応するアドレスＡは、アドレスアレイ７のウェ
イ１のラインに登録すればよい。

【００４７】以上、実施例の説明では、第０ダブルワー
ド、第１ダブルワード、第２ダブルワード、第３ダブル
ワードの順序でキャッシュメモリの入れ替え動作をおこ
なうとしたが、勿論、これは本発明の実施に必須の事項
ではない。

【００４８】〔実施例２〕これは、主記憶装置とキャッ
シュメモリの間にバイパスバッファ、コピーアウトバッ
ファを有することは実施例１と同様であるが、キャッシ
ュメモリのウェイをグループ化し、各クループ（群）ご
とにアドレス指定回路を設けたものである。

【００４９】図８は、本実施例のシステム構成を示した
もので、キャッシュメモリのウェイ０とウェイ１がウェ
イ群０を構成しており、また、ウェイ２とウェイ３がウ
ェイ群１を構成している。アドレス指定回路３は、ウェ
イ群の数だけ存在する（図８では二つ）。これ以外の構
成は図１と基本的に同じである。

【００５０】リードアクセス時とライトアクセス時の動
作は実施例１とまったく同様である。キャッシュミス時
の動作も、コピーアウトウェイ決定に際しての制限以外
は、実施例１と同様である。コピーアウトウェイ決定に
際しての制限は、アドレス指定回路３がウェイ群対応で
あるため、今回コピーインするウェイ（前回のキャッシ
ュミスでコピーアウトしたウェイ）を含むウェイ群以外
からコピーアウトウェイを選択するという制限に変更を
受ける。本実施例のような構成をとることで、アドレス
指定回路３の物量を削減することができる。

【００５１】〔実施例３〕これは、主記憶装置とキャッ
シュメモリの間にバイパスバッファ、コピーアウトバッ
ファが存在しない場合の実施例である。

【００５２】図９は、本実施例のシステム構成を示した
もので、図１からの主な変更点は、バイパスバッファ１
０とコピーアウトバッファ１１が削除され、それに伴っ
てバイパスバッファアドレスラッチ１５、バイパスバッ
ファウェイラッチ１６、出力セレクタ１３なども削除さ
れ、かわってキャッシュ有効位置記録メモリ２０が追加
されていることである。また、アドレス指定回路３は１
個に削減されて、０〜３ウェイの４つのメモリマット５
に共通に用いられている。

【００５３】図１０は、キャッシュメモリを構成するメ
モリマット５の状態とキャッシュ有効位置記録メモリ２
０の内容の関係を示したものである。本実施例では、キ
ャッシュミス時の入れ替え動作において、バイパスバッ
ファを使用しないでキャッシュメモリの同時読み書きを
実現するために、キャッシュメモリのライン（カラム）
ごとに空きウェイが存在するが、どのウェイが空きかは
ラインによって異なる。このキャッシュメモリのライン
ごとに、どのウェイがデータ有りで、どのウェイがデー
タ無し（空）かを記録しているのがキャッシュ有効位置
記録メモリ２０である。図１０（ａ）は、キャッシュメ
モリを構成しているウェイ０〜３の各メモリマット５の
状態の一例であり、この時、キャッシュ有効位置記録メ
モリ２０の内容は図１０（ｂ）のようになる。ここで、
“１”は有効（データ有り）、“０”は無効（データ
無）を示す。

【００５４】図９の実施例のリードアクセス動作、ライ
トアクセス動作は、図１のバイパスバッファ１０とコピ
ーアウトバッファ１１が存在する場合と基本的に同じで
あるが、キャッシュ有効位置記録メモリ２０の追加によ
って、ヒット判定回路８のヒット判定論理が若干変更さ
れる。

【００５５】図１１は、本実施例の場合のヒット判定回
路８の詳細である。比較回路５１〜５４において、アド
レスレジスタ２からの出力２１の２０ビットとアドレス
アレイ７からのウェイ０〜３の登録アドレスの各２０ビ
ットが比較され、該当ラインにおけるウェイ０〜３のヒ
ット判定のためのビットが生成されることは、図５の場
合と同様である。ただし、図１１では、この比較回路５
１〜５４の出力とキャッシュ有効位置記録メモリ２０か
ら出力される該当ラインの各ウェイの状態信号とが、そ
れぞれウェイ対応にＡＮＤゲート１１０１〜１１０４の
入力となる。ヒット判定論理５５では、このＡＮＤゲー
ト１１０１〜１１０４の出力ａ〜ｄをもとにしてウェイ
０〜３のヒット、キャッシュミスシステムを判定する。

【００５６】次に、本実施例におけるキャッシュミス時
の入れ替え動作の概要について説明する。図１２は、本
実施例のキャッシュ入れ替え動作の概念図である。図６
との第１の相違点は、本実施例ではキャッシュメモリの
各ラインごとにすきま（空きウェイ）があるため、コピ
ーイン動作とコピーアウト動作のカラムアドレス（ライ
ンアドレス）は同一になることである。即ち、コピーイ
ン／コピーアウト動作は、ともに今回キャッシュミスし
たラインが対象である。第２の相違点は、この同一ライ
ンで、コピーアウトすべきウェイは、すきまのウェイ以
外から選択され、コピーイン動作は、すきまのウェイに
対して行われることである。図１２の例は、ラインｊで
キャッシュミスが判明し、該ラインｊでそのとき空き状
態にあるウェイ２のメモリマット５に対して主記憶装置
１４からのデータを書き込み（コピーイン）、これと並
行して、ウェイ１のメモリマット５の内容を読み出し
（コピーアウト）、主記憶装置１４に吐き出すことを示
している。このコピーアウトにより、ウェイ１があらた
に空きウェイとなり、次に該ラインでキャッシュミスが
発生した場合には、このウェイ１がコピーインの対象と
なる。

【００５７】図９の構成において、アドレスレジスタ２
の出力２２（ラインアドレス）は、アドレスアレイ７、
ヒット判定回路８、ウェイ参照履歴メモリ１７とともに
キャッシュ有効位置記録メモリ２０にも送付される。し
たがって、キャッシュミス時の入れ替え動作でコピーイ
ンすべきウェイは、アドレスレジスタ２の出力２２でア
クセスされるキャッシュ有効位置記録メモリ２０の内
容、すなわちキャッシュミスしたラインの内容が“０”
であるウェイを選ぶことで、一義的に決定される。ま
た、コピーアウトするウェイは、該アドレスレジスタ２
の出力２２でアクセスされるウェイ参照履歴メモリ１７
の内容とキャッシュ有効位置記録メモリ２０の内容とを
コピーアウトウェイ決定回路１８が読み込み、ウェイ参
照履歴メモリ１７の内容をもとにして、キャッシュ有効
位置記録メモリ２０の内容が“１”であるウェイの中か
ら選べばよい。この選択方法は、実施例１の場合と基本
的に同様である。なお、コピーアウトウェイ決定回路１
８は、このコピーアウトするウェイの選択後、キャッシ
ュ有効位置記録メモリ２０の該当ラインの内容を更新す
る必要がある。

【００５８】コピーイン／コピーアウト動作は、図７で
説明した実施例１の場合と基本的に同様であるが、コピ
ーイン動作とコピーアウト動作のカラムアドレス（ライ
ンアドレス）は同一であるため、アドレス指定回路３は
１個でよい。また、コピーイン／コピーアウトのデータ
転送は、いずれもキャッシュメモリと主記憶装置との間
で直接に実施される。なお、キャッシュメモリと主記憶
装置との間にコピーアウトバッファを設け、コピーアウ
ト動作は、実施例１の場合と同様にコピーアウトバッフ
ァに対して行い、その後、コピーアウトバッファから主
記憶装置に書き出すようにしてもよい。

【００５９】

【発明の効果】請求項１及び２の発明によれば、キャッ
シュミス時の入れ替え動作において、コピーアウト動作
とコピーイン動作が相異なるウェイで並行して行われる
ことにより、従来に比べてキャッシュミス時のオーバヘ
ッドを大幅に削減することが可能になる。

【００６０】また、請求項３及び４の発明によれば、キ
ャッシュメモリと主記憶などの上位階層メモリとの間に
バイパスバッファ、コピーアウトバッファを設け、キャ
ッシュミス時の入れ替え動作において、コピーアウトバ
ッファへのコピーアウト動作とバイ３パスバッファから
のコピーイン動作が相異なるウェイで並行して行われる
ことにより、キャッシュミス時のオーバヘッドを大幅に
削減できる効果に加えて、上位階層メモリではキャッシ
ュメモリと直接読み書きする必要がないため、上位階層
メモリの負担が軽減でき、また、上位階層メモリとコピ
ーアウトバッファあるいはバイパスバッファとの間のデ
ータ転送は同時である必要がないため、上位階層メモリ
の構成は同時読み書きにする必要はない。

【図面の簡単な説明】

【図１】本発明の実施例１のシステム構成例を示した図
である。

【図２】アドレスレジスタの詳細構成例を示した図であ
る。

【図３】アドレス指定回路の詳細構成例を示した図であ
る。

【図４】メモリマットの詳細構成例を示した図である。

【図５】ヒット判定回路の詳細構成例を示した図であ
る。

【図６】実施例１のキャッシュ入れ替え動作の概念図で
ある。

【図７】実施例１のキャッシュ入れ替え動作例のタイム
チャート図である。

【図８】本発明の実施例２のシステム構成例を示した図
である。

【図９】本発明の実施例３のシステム構成例を示した図
である。

【図１０】キャッシュメモリの状態とキャッシュ有効位
置記録メモリの内容の関係を示した図である。

【図１１】実施例１３のヒット判定回路の詳細構成例を
示した図である。

【図１２】実施例３のキャッシュ入れ替え動作の概念図
である。

【符号の説明】

１演算処理装置２アドレスレジスタ３アドレス指定回路４アドレスデコーダ５メモリマット７アドレスアレイ８ヒット判定回路１０バイパスバッファ１１コピーアウトバッファ１４主記憶装置１５バイパスバッファアドレスラッチ１６バイパスバッファウェイラッチ１７ウェイ参照履歴メモリ１８コピーアウトウェイ判定回路２０キャッシュ有効位置記録メモリ

Claims

【特許請求の範囲】

【請求項１】複数ウェイの複数メモリマットで構成さ
れるキャッシュメモリ装置であって、キャッシュミス時の入れ替え動作で、メモリマットから
のコピーアウト動作とメモリマットへのコピーイン動作
を相異なるウェイで並行して実行せしめる制御手段を有
することを特徴とするキャッシュメモリ装置。
【請求項２】請求項１記載のキャッシャメモリ装置に
おいて、制御手段は、キャッシュミスに際してあるライ
ンをコピーアウトするときに、当該ラインのウェイアク
セスの履歴を用い、すきまのあるウェイ以外のウェイか
らコピーアウトすべきウェイを決定することを特徴とす
るキャッシュメモリ装置。
【請求項３】複数ウェイの複数メモリマットで構成さ
れるキャッシュメモリ装置であって、前回のキャッシュミスでコピーインすべき内容を保持す
るバイパスバッファと、コピーアウトした内容を保持するコピーアウトバッファ
と、キャッシュミス時の入れ替え動作で、メモリマットから
の前記コピーアウトバッファへのコピーアウト動作と前
記バイパスバッファからのメモリマットへのコピーイン
動作を相異なるウェイで並行して実行せしめる制御手段
と、を有することを特徴とするキャッシュメモリ装置。
【請求項４】請求項３記載のキャッシュメモリ装置に
おいて、制御手段は、キャッシュミスに際してあるライ
ンをコピーアウトするときに、当該ラインのウェイアク
セスの履歴を用いてコピーアウトすべきウェイの候補を
選び、それと前回のキャッシュミスでコピーアウトした
ウェイを比較し、両者が同一であれば、改めて前記ウェ
イアクセスの履歴を用いて、前回のキャッシュミスでコ
ピーアウトしたウェイとは別のウェイをコピーアウトす
べきウェイであると決定し、同一でなければ、候補ウェ
イをそのままコピーアウトすべきウェイであると決定す
ることを特徴とするキャッシュメモリ装置。