JP2024066576A - キャッシュメモリ - Google Patents

Abstract

【課題】メモリアクセスアドレスの偏りによるキャッシュヒット率の低下を抑制する。【解決手段】キャッシュメモリは、メモリアクセスアドレス中のセットアドレスにより識別される複数のエントリを含むキャッシュブロックと、メモリアクセス要求のキャッシュヒットまたはキャッシュミスを判定するキャッシュ制御部と、キャッシュミスの発生回数をエントリ毎に保持するミス回数保持部と、エントリ毎のキャッシュミスの発生回数のいずれかが閾値を超えた場合、セットアドレスのメモリアクセスアドレス内でのビット位置の割り当てを変更するセットビット位置変更部と、を有する。これにより、特定のエントリへの参照が集中する場合に、参照するエントリを分散して、キャッシュヒット率の低下を抑制することができる。この結果、キャッシュメモリを搭載するプロセッサまたはシステムの処理性能を向上することができる。【選択図】図１

Description

本発明は、キャッシュメモリに関する。

ＣＰＵ（Central Processing Unit）等のプロセッサに搭載されるキャッシュメモリ、または、プロセッサとメインメモリとの間に配置されるキャッシュメモリは、メインメモリに記憶されたデータの一部を保持する。そして、キャッシュメモリは、プロセッサから発行されたメモリアクセス要求の対象データを保持している場合（キャッシュヒット）、メインメモリにアクセス要求を発行することなく、キャッシュメモリに保持しているデータをプロセッサに出力する。これにより、データのアクセス効率が向上し、プロセッサの処理性能が向上する。

例えば、キャッシュメモリは、データを保持するデータ領域と、アクセス対象のデータがデータ領域に保持されているか否かを判定する情報を保持するタグ領域とを有する複数のエントリを有する。複数のエントリは、メモリアクセス要求に含まれるメモリアクセスアドレスの一部のビットであるセットアドレスを使用して識別される。メモリアクセスアドレスの残りのビットは、タグアドレスとしてタグ領域に格納される。そして、メモリアクセスアドレスに含まれるセットアドレスに対応するエントリに保持されたタグアドレスが、メモリアクセスアドレスのタグアドレスと一致する場合、キャッシュヒットが判定される（セットアソシアティブ方式）。

この種のキャッシュメモリは、例えば、メモリアクセス要求に含まれるメモリアクセスアドレスから複数通りのセットアドレスとタグアドレスとをそれぞれ生成する複数のマッピングコントローラを有する。キャッシュメモリは、マッピングコントローラのいずれかから出力されるセットアドレスおよびタグアドレスを使用してキャッシュヒットを判定し、ヒット率が低い場合、使用するマッピングコントローラを切り替える（例えば、特許文献１参照）。

特開平８－２６３３７６号公報

セットアソシアティブ方式のキャッシュメモリにおいて、メモリアクセスアドレスの値が２のべき乗となるストライドアクセスが実施されると、特定のエントリの参照頻度が他のエントリの参照頻度に比べて高くなる場合がある。参照頻度の高いエントリにおいて、データがキャッシュヒットによって再利用される前に追い出されると、キャッシュミスの頻度が高くなる。

例えば、ストライドアクセスによるキャッシュミスは、局所的なメモリアクセスアドレスにより発生する。このため、キャッシュメモリ全体のキャッシュヒット率をモニタすることでは、ストライドアクセスによるキャッシュミスの頻度の増加を判定することが困難であり、キャッシュミスの頻度を下げることは困難である。

１つの側面では、本発明は、メモリアクセスアドレスの偏りによるキャッシュヒット率の低下を抑制することを目的とする。

一つの観点によれば、キャッシュメモリは、メモリアクセス要求に含まれるメモリアクセスアドレス中のセットアドレスにより識別される複数のエントリを含み、前記複数のエントリの各々にメモリアクセスアドレス中のタグアドレスが保持されるキャッシュブロックと、メモリアクセスアドレスに含まれるセットアドレスとタグアドレスとに基づいて、メモリアクセス要求のキャッシュヒットまたはキャッシュミスを判定するキャッシュ制御部と、キャッシュミスの発生回数を前記複数のエントリ毎に保持するミス回数保持部と、前記ミス回数保持部に保持された前記複数のエントリ毎のキャッシュミスの発生回数のいずれかが閾値を超えた場合、セットアドレスのメモリアクセスアドレス内でのビット位置の割り当てを変更するセットビット位置変更部と、を有する。

メモリアクセスアドレスの偏りによるキャッシュヒット率の低下を抑制することができる。

一実施形態におけるキャッシュメモリの一例を示すブロック図である。 図１のキャッシュブロックの一例を示す説明図である。 別の実施形態におけるキャッシュメモリの一例を示すブロック図である。 図３のキャッシュメモリの動作の一例を示す説明図である。 図３のキャッシュ制御部の動作の一例を示すフロー図である。 図３のミス回数更新部の動作の一例を示すフロー図である。 図３のセットビット位置決定部の動作の一例を示すフロー図である。 図３のキャッシュ情報変更部の動作の一例を示すフロー図である。 別の実施形態におけるキャッシュメモリの動作の一例を示す説明図である。

以下、図面を参照して実施形態が説明される。以下では、信号が伝達される信号線には、信号名と同じ符号が使用される。

図１は、一実施形態におけるキャッシュメモリの一例を示す。図１に示すキャッシュメモリ１０は、ＣＰＵ等のプロセッサに搭載され、あるいは、プロセッサとメインメモリとの間に配置される。

キャッシュメモリ１０がプロセッサに搭載される１次キャッシュの場合、キャッシュメモリ１０は、プロセッサ内の演算コアからメモリアクセス要求を受信する。キャッシュメモリ１０がプロセッサに搭載される２次キャッシュの場合、キャッシュメモリ１０は、１次キャッシュからメモリアクセス要求を受信する。キャッシュメモリ１０がプロセッサに接続される３次キャッシュの場合、キャッシュメモリ１０は、２次キャッシュからメモリアクセス要求を受信する。

キャッシュメモリ１０は、キャッシュブロック２０およびキャッシュメモリ制御回路３０を有する。キャッシュメモリ制御回路３０は、キャッシュ制御部３１、ミス回数保持部３２およびセットビット位置変更部３３を有する。

キャッシュブロック２０は、セットアドレスＳＥＴにより識別される複数のエントリＥＮＴを有する。各エントリＥＮＴは、データを保持するデータ領域ＤＴと、データ領域ＤＴに保持されるデータの読み書きの制御に使用される情報を保持するタグ領域ＴＡＧとを有する。以下では、タグ領域ＴＡＧに保持されるタグアドレスは、タグアドレスＴＡＧとも称され、データ領域ＤＴに保持されるデータは、データＤＴとも称される。

図１では、説明の簡単化のため、キャッシュブロック２０が２ビットのセットアドレスＳＥＴで識別される４つのエントリＥＮＴを有する例が示される。しかしながら、キャッシュブロック２０のエントリＥＮＴの数は、６４個（６ビットのセットアドレスＳＥＴ）または２０４８個（１１ビットのセットアドレスＳＥＴ）等でもよい。なお、キャッシュメモリ１０は、複数のウェイを有するセットアソシアティブ方式を採用している。キャッシュブロック２０の例は、図２に示される。

キャッシュ制御部３１は、上位のキャッシュメモリまたは演算コアからメモリアクセス要求を受信した場合、タグ領域ＴＡＧを参照し、メモリアクセス要求の対象データがデータ領域ＤＴに保持されているか否かを判定する。この際、キャッシュ制御部３１は、セットビット位置ＳＥＴＢに基づいてメモリアクセス要求に含まれるメモリアクセスアドレスからセットアドレスＳＥＴとタグアドレスＴＡＧとを抽出する。セットアドレスＳＥＴは、メモリアクセスアドレスにおいて、キャッシュ制御部３１が保持するセットビット位置ＳＥＴＢで示されるビット位置のアドレスである。

そして、キャッシュ制御部３１は、セットアドレスＳＥＴに対応するエントリＥＮＴに保持されたタグアドレスＴＡＧを参照する。キャッシュ制御部３１は、対象データがデータ領域ＤＴに保持されている場合、キャッシュヒットを判定し、対象データをデータ領域から読み出してメモリアクセス要求の発行元に出力する。

キャッシュ制御部３１は、対象データがデータ領域ＤＴに保持されていない場合、キャッシュミスを判定し、下位のキャッシュメモリまたはメインメモリにメモリアクセス要求を出力する。キャッシュ制御部３１は、下位のキャッシュメモリまたはメインメモリから対象データを受信した場合、対象データをメモリアクセス要求の発行元に出力する。

また、キャッシュ制御部３１は、受信した対象データをデータ領域ＤＴに格納し、タグ領域ＴＡＧを更新する。キャッシュ制御部３１は、受信した対象データを格納するデータ領域ＤＴに空きがない場合、データ領域ＤＴに保持されているデータを追い出し、対象データを格納するデータ領域ＤＴを確保する。

キャッシュ制御部３１は、キャッシュミスを判定した場合、キャッシュミスしたメモリアクセスアドレスに含まれるセットアドレスＳＥＴを含む増加指示ＩＮＣをミス回数保持部３２に出力する。また、キャッシュ制御部３１は、セットビット位置変更部３３から新たなセットビット位置ＮＳＥＴＢを受信した場合、受信したセットビット位置ＮＳＥＴＢをセットビット位置ＳＥＴＢとして保持する。キャッシュ制御部３１においてセットビット位置ＳＥＴＢを保持する領域は、セットビット位置保持部の一例である。なお、セットビット位置ＳＥＴＢは、キャッシュメモリ制御回路３０内であってキャッシュ制御部３１の外部に設けられてもよい。

ミス回数保持部３２は、セットアドレスＳＥＴ毎にキャッシュミスの発生回数であるキャッシュミス回数ＣＭＮを保持する保持領域を有する。すなわち、ミス回数保持部３２は、キャッシュブロック２０の複数のエントリＥＮＴの各々に対応してキャッシュミス回数ＣＭＮの保持領域を有する。ミス回数保持部３２は、複数の保持領域に保持しているキャッシュミス回数ＣＭＮ（ＣＭＮ００、ＣＭＮ０１、ＣＭＮ１０、ＣＭＮ１１）をセットビット位置変更部３３に出力する。キャッシュミス回数ＣＭＮの末尾の２桁の数値は、保持領域（すなわち、セットアドレスＳＥＴ）を示す。

ミス回数保持部３２は、キャッシュ制御部３１から増加指示ＩＮＣを受信した場合、増加指示ＩＮＣに含まれるセットアドレスＳＥＴに対応する保持領域に保持されたキャッシュミス回数ＣＭＮをインクリメントする。ミス回数保持部３２は、セットビット位置変更部３３から初期化指示ＣＬＲを受信した場合、全ての保持領域に保持しているキャッシュミス回数ＣＭＮを"０"に初期化する。なお、ミス回数保持部３２には、キャッシュミス回数ＣＭＮの代わりに、キャッシュミス率が保持されてもよい。

セットビット位置変更部３３は、ミス回数保持部３２から出力されるセットアドレスＳＥＴ毎のキャッシュミス回数ＣＭＮを監視する。セットビット位置変更部３３は、キャッシュミス回数ＣＭＮのいずれかが閾値を超えた場合、ミス回数保持部３２に初期化指示ＣＬＲを出力し、キャッシュブロック２０に無効化指示ＩＮＶＬＤを出力する。キャッシュブロック２０の全てのエントリＥＮＴは、無効化指示ＩＮＶＬＤに基づいて無効化される。

また、セットビット位置変更部３３は、キャッシュミス回数ＣＭＮのいずれかが閾値を超えた場合、メモリアクセスアドレスにおいて新たにセットアドレスＳＥＴに割り当てるビット位置を決定する。例えば、セットビット位置変更部３３は、現在のセットビット位置ＳＥＴＢに対してビット位置が少なくとも１ビット異なる新たなセットビット位置ＮＳＥＴＢを決定する。セットビット位置変更部３３は、決定した新たなセットビット位置ＮＳＥＴＢをキャッシュ制御部３１に出力する。特に限定されないが、閾値は、ウェイＷの数またはウェイＷの数の２倍程度が好ましい。

図２は、図１のキャッシュブロック２０の一例を示す。キャッシュブロック２０は、エントリＥＮＴ毎に複数のウェイＷ（Ｗ１－Ｗ４）を有する。なお、ウェイＷの数は、４個に限定されず、８個または１６個等でもよい。各ウェイＷは、バリッドフラグＶＬＤ、タグアドレスＴＡＧおよびデータＤＴを保持する領域を有する。

バリッドフラグＶＬＤは、エントリＥＮＴが有効である場合にセットされ、エントリＥＮＴが無効である場合にリセットされる。また、各エントリＥＮＴは、最近使用されたウェイＷを示す使用情報ＵＳＤを保持する領域を有する。使用情報ＵＳＤ、バリッドフラグＶＬＤおよびタグアドレスＴＡＧは、図１のタグ領域ＴＡＧに保持され、データＤＴは、図１のデータ領域ＤＴに保持される。

メモリアクセス要求に含まれるメモリアクセスアドレスは、タグアドレスＴＡＧ、セットアドレスＳＥＴおよびワードアドレスＷＤを含む。ワードアドレスＷＤは、メインメモリまたは下位のキャッシュメモリに対するデータＤＴの入出力単位であるキャッシュライン中のバイトデータを識別するアドレスである。ワードアドレスＷＤは、キャッシュラインサイズが６４バイトの場合、６ビットであり、キャッシュラインサイズが１２８バイトの場合、７ビットである。ワードアドレスＷＤは、メモリアクセスアドレスの最下位ビット側に割り当てられる。

タグアドレスＴＡＧは、メモリアクセスアドレスのうち、ワードアドレスＷＤとセットアドレスＳＥＴとを除いたビットで識別される。例えば、初期状態において、メモリアクセスアドレスの最上位ビット側にタグアドレスＴＡＧが割り当てられ、メモリアクセスアドレスの中位ビットにセットアドレスＳＥＴが割り当てられるとする。

この状態で、キャッシュブロック２０のエントリＥＮＴのいずれかのキャッシュミス回数が閾値を超えた場合、図１のセットビット位置変更部３３により、セットアドレスＳＥＴの割り当てを変更する処理が実施される。セットアドレスＳＥＴの割り当ての変更例１では、セットアドレスＳＥＴが、元のセットアドレスＳＥＴに対して１ビットまたは数ビット上位側にシフトされ、シフトにより空いたビットにタグアドレスＴＡＧが割り当てられる。変更例１では、変更後のセットアドレスＳＥＴの一部のビットは、変更前のセットアドレスＳＥＴのビットと重複している。

セットアドレスＳＥＴの割り当ての変更例２では、セットアドレスＳＥＴが最上位ビット側に割り当てられ、タグアドレスＴＡＧがセットアドレスＳＥＴとワードアドレスＷＤとの間に割り当てられる。変更後のセットアドレスＳＥＴのビットは、変更前のセットアドレスＳＥＴのビットと重複しない。セットアドレスＳＥＴの割り当ての変更例３では、セットアドレスＳＥＴがタグアドレスＴＡＧの間に複数に分割して割り当てられる。変更例３では、変更後のセットアドレスＳＥＴのビットの一部は、変更前のセットアドレスＳＥＴのビットと重複してもよい。なお、セットアドレスＳＥＴの割り当ては、変更例１から変更例３に限定されない。

この実施形態では、キャッシュミス回数が閾値を超えた場合にセットアドレスＳＥＴの割り当てを変更することで、ストライドアクセス等により特定のエントリＥＮＴへの参照が集中する場合に、参照するエントリＥＮＴを分散させることができる。これにより、キャッシュヒット率の低下を抑制することができ、メモリアクセス効率を向上することができる。

この結果、キャッシュメモリ１０を搭載するプロセッサまたはサーバ等のシステムの処理性能を向上することができ、科学技術計算、ディープラーニングまたは各種シミュレーション等に掛かる時間を短縮することができる。

キャッシュミス回数が閾値を超えた場合にキャッシュブロック２０の全てのエントリＥＮＴを無効化することで、セットアドレスＳＥＴの変更に伴うデータＤＴの移動処理とタグアドレスＴＡＧの変更処理とを省略することができる。この結果、セットビット位置変更部３３によるキャッシュブロック２０の制御を簡易にすることができ、キャッシュメモリ制御回路３０の回路規模の増大を抑制することができる。

キャッシュ制御部３１が参照可能な位置にセットビット位置ＳＥＴＢとして保持する領域を設けることで、セットアドレスＳＥＴのビット位置が変更された場合にも、キャッシュ制御部３１は、正しいエントリＥＮＴを参照することができる。この結果、キャッシュ制御部３１は、メモリアクセスアドレスに基づいて、誤動作することなくキャッシュヒットまたはキャッシュミスを判定することができる。

なお、キャッシュブロック２０の各エントリＥＮＴに複数のウェイＷを設けることで、ストライドアクセス等により特定のエントリＥＮＴへの参照が集中することを閾値に基づいて検出し、参照するエントリＥＮＴを分散させることができる。すなわち、この実施形態は、複数のウェイＷを有するセットアソシアティブ方式のキャッシュメモリに適用することで上記の効果を得ることができる。

図３は、別の実施形態におけるキャッシュメモリの一例を示す。図１および図２に示した実施形態と同様の要素については、詳細な説明は省略する。図３に示すキャッシュメモリ１００は、ＣＰＵ等のプロセッサに搭載され、あるいは、プロセッサとメインメモリとの間に配置される。キャッシュメモリ１００は、図１のキャッシュメモリ１０と同様に、上位のキャッシュメモリまたは演算コアからメモリアクセス要求を受信、キャッシュミスした場合、下位のキャッシュメモリまたはメインメモリにメモリアクセス要求を出力する。

キャッシュメモリ１００は、キャッシュブロック１１０およびキャッシュメモリ制御回路１２０を有する。キャッシュメモリ制御回路１２０は、キャッシュ制御部１２１、セットビット位置保持部１２２、キャッシュ情報変更部１２３、ミス回数更新部１２４、ミス回数保持部１２５およびセットビット位置決定部１２６を有する。キャッシュ情報変更部１２３およびセットビット位置決定部１２６は、セットビット位置変更部の一例である。

キャッシュブロック１１０は、図２のキャッシュブロック２０と同様に、セットアドレスＳＥＴにより識別される複数のエントリＥＮＴを有し、各エントリＥＮＴは、複数のウェイＷ（例えば、ウェイＷ１－Ｗ４）を有する。キャッシュメモリ１００は、複数のウェイＷを有するセットアソシアティブ方式を採用している。

キャッシュ制御部１２１によるキャッシュヒットまたはキャッシュミスの判定動作は、図１のキャッシュ制御部３１によるキャッシュヒットまたはキャッシュミスの判定動作と同様である。但し、キャッシュ制御部１２１は、外部に保持されたセットビット位置ＳＥＴＢを参照する点、および、キャッシュミスを判定した場合、セットアドレスＳＥＴのみをミス回数更新部１２４に出力する点が図１のキャッシュ制御部３１と相違する。

セットビット位置保持部１２２は、キャッシュ情報変更部１２３から受信する新たなセットビット位置ＮＳＥＴＢをセットビット位置ＳＥＴＢとして保持する。セットビット位置保持部１２２は、保持しているセットビット位置ＳＥＴＢをキャッシュ制御部１２１およびセットビット位置決定部１２６に出力する。

キャッシュ情報変更部１２３は、セットビット位置決定部１２６から受信する新たなセットビット位置ＮＳＥＴＢをセットビット位置保持部１２２に転送する。また、キャッシュ情報変更部１２３は、新たなセットビット位置ＮＳＥＴＢを受信した場合、ミス回数保持部１２５を参照し、キャッシュミス回数ＣＭＮが最も多いセットアドレスＳＥＴ１を取得する。そして、キャッシュ情報変更部１２３は、受信した新たなセットビット位置ＮＳＥＴＢに基づいて、キャッシュブロック１１０のエントリＥＮＴに割り当てるセットアドレスＳＥＴを変更する変更処理を実施する。変更処理については、図８で説明される。また、キャッシュ情報変更部１２３は、ミス回数更新部１２４にリセット指示ＲＳＴを出力する。

ミス回数更新部１２４は、キャッシュ制御部１２１からセットアドレスＳＥＴを受信した場合、受信したセットアドレスＳＥＴを含む増加指示ＩＮＣをミス回数保持部１２５に出力する。ミス回数更新部１２４は、ミス回数保持部１２５に保持されたセットアドレスＳＥＴにそれぞれ対応するキャッシュミス回数ＣＭＮのいずれかが閾値を超えた場合、セットビット位置決定部１２６に超過情報ＯＶＲを出力する。ミス回数更新部１２４は、キャッシュ情報変更部１２３からリセット指示ＲＳＴを受信した場合、ミス回数保持部１２５に保持された全てのキャッシュミス回数ＣＭＮを"０"に初期化する初期化指示ＣＬＲをミス回数保持部１２５に出力する。

ミス回数保持部１２５は、セットアドレスＳＥＴ１をキャッシュ情報変更部１２３に出力する機能を有することを除き、図１のミス回数保持部３２と同様の機能を有する。すなわち、ミス回数保持部１２５は、増加指示ＩＮＣに基づいて、対応するキャッシュミス回数ＣＭＮをインクリメントし、初期化指示ＣＬＲに基づいて、全てのキャッシュミス回数ＣＭＮを"０"に初期化する。なお、ミス回数保持部１２５には、キャッシュミス回数ＣＭＮの代わりに、キャッシュミス率が保持されてもよい。

セットビット位置決定部１２６は、ミス回数更新部１２４から超過情報ＯＶＲを受信した場合、メモリアクセスアドレスにおいて新たなセットアドレスＳＥＴに割り当てるビット位置を決定する。例えば、セットビット位置決定部１２６は、セットビット位置保持部１２２に保持されている現在のセットビット位置ＳＥＴＢに対してビット位置が少なくとも１ビット異なる新たなセットビット位置ＮＳＥＴＢを決定する。セットビット位置決定部１２６は、決定した新たなセットビット位置ＮＳＥＴＢをキャッシュ情報変更部１２３に出力する。

図４は、図３のキャッシュメモリ１００の動作の一例を示す。図４では、説明の簡単化のため、メモリアクセスアドレスは、４ビットのタグアドレスＴＡＧと２ビットのセットアドレスＳＥＴとを含む６ビットであり、ワードアドレスＷＤを含まないとする。また、ストライドアクセスによりアクセスの頻度が高いセットアドレスＳＥＴ＝"０１"のエントリＥＮＴ以外のエントリＥＮＴのタグアドレスＴＡＧおよびデータＤＴの記載は省略されている。

図４の初期状態では、タグアドレスＴＡＧは、メモリアクセスアドレスの上位４ビットに割り当てられ、セットアドレスＳＥＴは、メモリアクセスアドレスの下位２ビットに割り当てられる。この場合、図３のセットビット位置ＳＥＴＢは、例えば、２進数で"００００１１"で示される。

初期状態において、ミス回数更新部１２４は、セットアドレスＳＥＴ＝"０１"のエントリＥＮＴでキャッシュミス回数ＣＭＮが閾値を超えたことを判定し、セットビット位置決定部１２６は、新たなセットビット位置ＮＳＥＴＢを決定する。例えば、セットビット位置決定部１２６は、図２の変更例２に示すように、タグアドレスＴＡＧとセットアドレスＳＥＴとの割り当てを入れ替える。割り当ての変更後の新たなセットビット位置ＮＳＥＴＢは、２進数で"１１００００"で示される。

キャッシュ情報変更部１２３は、ミス回数保持部１２５を参照してキャッシュミス回数ＣＭＮが最も多いセットアドレスＳＥＴ１を取得し、キャッシュブロック１１０のセットアドレスＳＥＴ１以外のエントリＥＮＴに保持されたキャッシュ情報を無効化する。そして、キャッシュ情報変更部１２３は、セットアドレスＳＥＴ１のエントリＥＮＴに保持されたデータを、新たなセットビット位置ＮＳＥＴＢに対応するエントリＥＮＴのウェイＷのいずれかに格納する。また、キャッシュ情報変更部１２３は、データを格納したウェイＷに新たなタグアドレスＴＡＧを格納する。

これにより、ストライドアクセスにより局所的なエントリＥＮＴの参照頻度が増加し、キャッシュミス回数ＣＭＮが閾値を超えた場合に、その後のストライドアクセスにより参照されるエントリＥＮＴを分散させることができる。この結果、特定のエントリＥＮＴでキャッシュミスが発生することを抑制することができ、キャッシュヒット率が低下することを抑制することができる。

図５は、図３のキャッシュ制御部１２１の動作の一例を示す。図５に示すフローは、キャッシュ制御部１２１が上位のキャッシュメモリまたは演算コアからメモリアクセス要求を受信したことに基づいて開始される。なお、図５から図８は、キャッシュメモリ１００の制御方法の一例を示す。

まず、ステップＳ１１において、キャッシュ制御部１２１は、メモリアクセスアドレスに含まれるセットアドレスＳＥＴに対応するキャッシュブロック１１０のエントリＥＮＴに保持されたタグアドレスＴＡＧを参照する。キャッシュ制御部１２１は、参照したタグアドレスＴＡＧがメモリアクセスアドレスに含まれるタグアドレスＴＡＧと一致する場合、キャッシュヒットを判定し、ステップＳ１５を実施する。キャッシュ制御部１２１は、参照したタグアドレスＴＡＧがメモリアクセスアドレスに含まれるタグアドレスＴＡＧと一致しない場合、キャッシュミスを判定し、ステップＳ１２を実施する。

ステップＳ１２において、キャッシュ制御部１２１は、キャッシュミスしたメモリアクセスアドレスに含まれるセットアドレスＳＥＴをミス回数更新部１２４に出力する。次に、ステップＳ１３において、キャッシュ制御部１２１は、下位のキャッシュメモリまたはメインメモリにメモリアクセス要求を出力する。

次に、ステップＳ１４において、キャッシュ制御部１２１は、下位のキャッシュメモリまたはメインメモリから対象データを受信した場合、対象データをメモリアクセス要求の発行元に出力する。また、キャッシュ制御部１２１は、受信した対象データをキャッシュブロック１１０に格納し、キャッシュブロック１１０を更新する。ステップＳ１４の後、キャッシュ制御部１２１は、ステップＳ１５を実施する。なお、ステップＳ１２の動作は、ステップＳ１３、Ｓ１４の動作の後に実施されてもよい。

ステップＳ１５において、キャッシュ制御部１２１は、キャッシュブロック１１０から対象データを読み出し、読み出した対象データをメモリアクセス要求の発行元に出力し、図５に示す動作を終了する。

図６は、図３のミス回数更新部１２４の動作の一例を示す。図６に示す動作は、ミス回数更新部１２４がキャッシュ制御部１２１からセットアドレスＳＥＴを受信した場合、または、キャッシュ情報変更部１２３からリセット指示ＲＳＴを受信した場合に開始される。

まず、ステップＳ２１において、ミス回数更新部１２４は、セットアドレスＳＥＴを受信した場合、ステップＳ２２を実施し、セットアドレスＳＥＴを受信していない場合、ステップＳ２５を実施する。

ステップＳ２２において、ミス回数更新部１２４は、受信したセットアドレスＳＥＴに対応するミス回数保持部１２５の保持領域のキャッシュミス回数ＣＭＮをインクリメントさせる増加指示ＩＮＣをミス回数保持部１２５に出力する。

次に、ステップＳ２３において、ミス回数更新部１２４は、ミス回数保持部１２５の保持領域のいずれかでキャッシュミス回数が閾値を超えたか否かを判定する。ミス回数更新部１２４は、キャッシュミス回数が閾値を超えた保持領域がある場合、ステップＳ２４を実施する。ミス回数更新部１２４は、キャッシュミス回数が閾値を超えた保持領域がない場合、図６に示す動作を終了する。

ステップＳ２４において、ミス回数更新部１２４は、キャッシュミス回数ＣＭＮのいずれかが閾値を超えたことを示す超過情報ＯＶＲをセットビット位置決定部１２６に出力し、図６に示す動作を終了する。

ステップＳ２５において、ミス回数更新部１２４は、ミス回数保持部１２５に保持された全てのキャッシュミス回数ＣＭＮを"０"に初期化する初期化指示ＣＬＲをミス回数保持部１２５に出力し、図６に示す動作を終了する。

図７は、図３のセットビット位置決定部１２６の動作の一例を示す。図７に示す動作は、ミス回数更新部１２４から超過情報ＯＶＲを受信した場合に開始される。

まず、ステップＳ３１において、セットビット位置決定部１２６は、セットアドレスＳＥＴの現在のセットビット位置ＳＥＴＢをセットビット位置保持部１２２から取得する。次に、ステップＳ３２において、セットビット位置決定部１２６は、図２に例示されているように、現在のセットビット位置ＳＥＴＢに対してビット位置が少なくとも１ビット異なる新たなセットビット位置ＮＳＥＴＢを決定する。

次に、ステップＳ３３において、セットビット位置決定部１２６は、ステップＳ３２で決定した新たなセットビット位置ＮＳＥＴＢをキャッシュ情報変更部１２３に出力し、図７に示す動作を終了する。

図８は、図３のキャッシュ情報変更部１２３の動作の一例を示す。図８に示す動作は、セットビット位置決定部１２６から新たなセットビット位置ＮＳＥＴＢを受信した場合に開始される。

まず、ステップＳ４１において、キャッシュ情報変更部１２３は、ミス回数保持部１２５を参照し、キャッシュミス回数ＣＭＮが最も多いセットアドレスＳＥＴ１を取得する。次に、ステップＳ４２において、キャッシュ情報変更部１２３は、取得したセットアドレスＳＥＴ１以外のセットアドレスＳＥＴで示されるキャッシュブロック１１０のエントリＥＮＴに保持されたキャッシュ情報を削除する。例えば、キャッシュ情報変更部１２３は、キャッシュ情報を削除するウェイＷのバリッドフラグＶＬＤをリセットすることで、キャッシュ情報を削除する。

次に、キャッシュ情報変更部１２３は、ステップＳ４３からステップＳ４６において、セットアドレスＳＥＴ１に対応するキャッシュ情報を削除していないエントリＥＮＴのウェイＷ（Ｗ１－Ｗ４）を順に選択し、キャッシュ情報を更新する処理を実施する。

まず、ステップＳ４３において、キャッシュ情報変更部１２３は、選択したウェイＷに保持されているタグアドレスＴＡＧとデータＤＴとを取得して保持する。なお、ステップＳ４３において、キャッシュ情報変更部１２３は、セットアドレスＳＥＴ１に対応するエントリＥＮＴの全てのウェイＷ１－Ｗ４に保持されているタグアドレスＴＡＧとデータＤＴとを取得して保持してもよい。この場合、ステップＳ４４からステップＳ４６を繰り返し実施することで、キャッシュ情報が更新される。

次に、ステップＳ４４において、キャッシュ情報変更部１２３は、セットアドレスＳＥＴ１と選択したウェイＷに保持されたタグアドレスＴＡＧとから新たなセットアドレスＮＳＥＴと新たなタグアドレスＮＴＡＧとを算出する。次に、ステップＳ４５において、キャッシュ情報変更部１２３は、新たなセットアドレスＮＳＥＴに対応するエントリＥＮＴに、新たなタグアドレスＮＴＡＧと、ステップＳ４３で取得したデータＤＴとを格納する。次に、ステップＳ４６において、キャッシュ情報変更部１２３は、選択したウェイＷに保持されているキャッシュ情報を削除する。

次に、ステップＳ４７において、キャッシュ情報変更部１２３は、ミス回数更新部１２４にリセット指示ＲＳＴを出力し、図８に示す動作を終了する。

なお、キャッシュ情報変更部１２３は、キャッシュブロック１１０に保持されている全てキャッシュ情報を削除してもよい。この場合、キャッシュ情報変更部１２３は、図８のステップＳ４７のみを実施する。

以上、この実施形態においても、図１および図２に示す実施形態と同様の効果を得ることができる。例えば、キャッシュミス回数ＣＭＮが閾値を超えた場合にセットアドレスＳＥＴの割り当てを変更することで、ストライドアクセス等により特定のエントリＥＮＴへの参照が集中する場合に、参照するエントリＥＮＴを分散させることができる。これにより、キャッシュヒット率の低下を抑制することができ、メモリアクセス効率を向上することができる。この結果、キャッシュメモリ１００を搭載するプロセッサまたはシステムの処理性能を向上することができる。

さらに、この実施形態では、キャッシュミス回数ＣＭＮが閾値を超えたエントリＥＮＴに保持されているデータＤＴを、新たなセットアドレスＮＳＥＴに基づいてエントリＥＮＴのいずれかに格納する。これにより、キャッシュミス回数が閾値を超える前にエントリＥＮＴに保持されていたデータを再利用することができる。この結果、キャッシュヒット率の低下をさらに抑制することができ、メモリアクセス効率をさらに向上することができる。

ミス回数保持部１２５に保持されたキャッシュミス回数ＣＭＮのインクリメントの制御をキャッシュ制御部１２１でなくミス回数更新部１２４に実施させる。また、セットビット位置ＳＥＴＢを保持するセットビット位置保持部１２２をキャッシュ制御部１２１の外部に配置する。これにより、既存のキャッシュ制御部に大幅な変更を加えることなく、キャッシュ制御部１２１を設計することができ、キャッシュメモリ１００の設計期間を短縮することができる。

図９は、別の実施形態におけるキャッシュメモリの動作の一例を示す。図４と同様の動作については、詳細な説明は省略する。図９の動作を実施するキャッシュメモリは、キャッシュ情報変更部１２３による変更処理が図４と相違し、ミス回数保持部１２５がセットアドレスＳＥＴ１を出力しないことを除き、図３のキャッシュメモリ１００と同様の構成および機能を有する。

図４と同様に、メモリアクセスアドレスは、４ビットのタグアドレスＴＡＧと２ビットのセットアドレスＳＥＴとを含む６ビットであり、ワードアドレスＷＤを含まないものとする。タグアドレスＴＡＧおよびセットアドレスＳＥＴの初期状態および変更後の状態の割り当ては、それぞれ図４と同じである。初期状態において、ウェイＷ２－Ｗ４に保持されるタグアドレスＴＡＧおよびデータＤＴの記載は省略されている。

初期状態において、ミス回数更新部１２４は、エントリＥＮＴのいずれかでキャッシュミス回数ＣＭＮが閾値を超えたことを判定し、セットビット位置決定部１２６は、新たなセットビット位置ＮＳＥＴＢを決定する。

キャッシュ情報変更部１２３は、新たなセットビット位置ＮＳＥＴＢの受信に基づいて、セットビット位置ＳＥＴＢの割り当ての変更の前後で保持するエントリＥＮＴが変わらないデータＤＴを除くデータＤＴを無効化する。図９に示す例では、データＤ１は、エントリＥＮＴがＳＥＴ＝"００"からＳＥＴ＝"０１"に変わるため、無効化される。データＤ２は、エントリＥＮＴがＳＥＴ＝"０１"からＳＥＴ＝"００"に変わるため、無効化される。

一方、データＤ３、Ｄ４は、セットビット位置ＳＥＴＢの割り当ての変更の前後で保持されるエントリＥＮＴが変わらない。このため、キャッシュ情報変更部１２３は、データＤ３を保持するウェイＷ１のタグアドレスＴＡＧを新たなタグアドレスＴＡＧに変更し、データＤ４を保持するウェイＷ１のタグアドレスＴＡＧを新たなタグアドレスＴＡＧに変更する。そして、キャッシュ情報変更部１２３は、セットビット位置ＳＥＴＢの割り当ての変更に伴うキャッシュブロック１１０の変更処理を終了する。

以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。例えば、キャッシュミス回数ＣＭＮが閾値を超えた場合にセットアドレスＳＥＴの割り当てを変更することで、キャッシュヒット率の低下を抑制することができ、メモリアクセス効率を向上することができる。

さらに、この実施形態では、セットビット位置ＳＥＴＢの割り当ての変更の前後で保持するエントリＥＮＴが変わらないデータＤＴを削除せずにタグアドレスＴＡＧを更新する。これにより、データＤＴを移動することなくキャッシュブロック１１０の変更処理を実施することができる。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。

１０ キャッシュメモリ
２０ キャッシュブロック
３０ キャッシュメモリ制御回路
３１ キャッシュ制御部
３２ ミス回数保持部
３３ セットビット位置変更部
１００ キャッシュメモリ
１１０ キャッシュブロック
１２０ キャッシュメモリ制御回路
１２１ キャッシュ制御部
１２２ セットビット位置保持部
１２３ キャッシュ情報変更部
１２４ ミス回数更新部
１２５ ミス回数保持部
１２６ セットビット位置決定部
ＣＬＲ 初期化指示
ＣＭＮ キャッシュミス回数
ＤＴ データ、データ領域
ＥＮＴ エントリ
ＩＮＣ 増加指示
ＩＮＶＬＤ 無効化指示
ＮＳＥＴＢ セットビット位置
ＯＶＲ 超過情報
ＲＳＴ リセット指示
ＳＥＴ、ＳＥＴ１ セットアドレス
ＳＥＴＢ ビット情報
ＴＡＧ タグアドレス、タグ領域
ＵＳＤ 使用情報
ＶＬＤ バリッドフラグ
Ｗ（Ｗ１－Ｗ４） ウェイ

Claims (6)

1. メモリアクセス要求に含まれるメモリアクセスアドレス中のセットアドレスにより識別される複数のエントリを含み、前記複数のエントリの各々がメモリアクセスアドレス中のタグアドレスを保持する複数のウェイを含むキャッシュブロックと、
   メモリアクセスアドレスに含まれるセットアドレスとタグアドレスとに基づいて、メモリアクセス要求のキャッシュヒットまたはキャッシュミスを判定するキャッシュ制御部と、
   キャッシュミスの発生回数を前記複数のエントリ毎に保持するミス回数保持部と、
   前記ミス回数保持部に保持された前記複数のエントリ毎のキャッシュミスの発生回数のいずれかが閾値を超えた場合、セットアドレスのメモリアクセスアドレス内でのビット位置の割り当てを変更するセットビット位置変更部と、
   を有するキャッシュメモリ。
2. 前記セットビット位置変更部は、セットアドレスのビット位置の割り当てを変更した場合、前記キャッシュブロックの全てのエントリを無効化する
   請求項１に記載のキャッシュメモリ。
3. 前記セットビット位置変更部は、セットアドレスのビット位置の割り当てを変更した場合、キャッシュミスの発生回数が閾値を超えたエントリを除くエントリを無効化し、キャッシュミスの発生回数が閾値を超えたエントリに保持されたデータを、ビット位置の割り当てを変更したセットアドレスに対応するエントリに、新たなタグアドレスとともに格納する
   請求項１に記載のキャッシュメモリ。
4. 前記セットビット位置変更部は、前記セットアドレスのビット位置の割り当てを変更した場合、ビット位置の割り当ての変更の前後で保持するエントリが変わらないデータを除くデータを無効化し、無効化しないデータを保持するエントリのタグアドレスをビット位置の割り当ての変更後のタグアドレスに変更する
   請求項１に記載のキャッシュメモリ。
5. 前記メモリアクセスアドレス中の前記セットアドレスのビット位置を保持するセットビット位置保持部を有し、
   前記キャッシュ制御部は、前記セットビット位置保持部に保持された前記ビット位置に基づいて前記メモリアクセスアドレスからセットアドレスとタグアドレスとを抽出し、
   前記セットビット位置変更部は、変更したビット位置を前記セットビット位置保持部に格納する
   請求項１ないし請求項４のいずれか１項に記載のキャッシュメモリ。
6. 前記キャッシュ制御部がキャッシュミスを判定する毎に、キャッシュミスしたセットに対応して前記ミス回数保持部に保持されたキャッシュミスの発生回数を更新するミス回数更新部を有する
   請求項１ないし請求項４のいずれか１項に記載のキャッシュメモリ。

Images