JP3512678B2

JP3512678B2 - キャッシュメモリ制御装置および計算機システム

Info

Publication number: JP3512678B2
Application number: JP14750099A
Authority: JP
Inventors: 正幸池田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1999-05-27
Filing date: 1999-05-27
Publication date: 2004-03-31
Anticipated expiration: 2019-05-27
Also published as: US6473836B1; JP2000339157A

Description

【発明の詳細な説明】

（目次）発明の属する技術分野従来の技術（図５）発明が解決しようとする課題課題を解決するための手段発明の実施の形態（図１〜図４）発明の効果

【０００１】

【発明の属する技術分野】本発明は、主記憶装置とこの
主記憶装置に格納されたデータを用いて各種処理を行な
う処理装置との間にそなえられた複数階層のキャッシュ
メモリを制御するキャッシュメモリ制御装置、および、
そのキャッシュメモリ制御装置をそなえた計算機システ
ムに関し、特に、処理装置で必要になると予測されるデ
ータを前もって主記憶装置から複数階層のキャッシュメ
モリに読み込ませるプリフェッチ機能を有する計算機シ
ステムに適用されるキャッシュメモリ制御装置、およ
び、その計算機システムに関する。

【０００２】

【従来の技術】一般的な計算機システム（データ処理装
置）においては、図５に示すように、少なくとも、プロ
グラムおよびこのプログラムによって処理されるべき各
種データを格納する主記憶装置〔以下、ＭＳＵ（Main S
torage Unit)という〕１２と、このＭＳＵ１２に格納さ
れたデータを用いて各種処理を行なう処理装置〔以下、
ＣＰＵ（Central Processing Unit)という〕１１とがそ
なえられている。

【０００３】そして、近年、ＣＰＵ１１の処理性能の向
上やＭＳＵ１２の大容量化に伴い、ＣＰＵ１１における
データ処理速度がＭＳＵ１２に対するアクセス処理速度
よりもずっと速くなっている。このようなＣＰＵ１１と
ＭＳＵ１２とを組み合わせ、ＣＰＵ１１をデータの消費
側とみなしＭＳＵ１２をデータの供給側と見なすと、デ
ータの供給不足状態が生じ、ＣＰＵ１１はほとんどの時
間をＭＳＵ１２からのデータ待ちに費やすことになり、
いくらＣＰＵ１１の処理速度が速くてもこのＣＰＵ１１
の処理性能が低下してしまう。

【０００４】そこで、ＣＰＵ１１の内部またはその近傍
に、ＭＳＵ１２よりも小容量であるがＭＳＵ１２よりも
高速のキャッシュメモリをそなえ、このキャッシュメモ
リによりＭＳＵ１２のアクセスタイムとＣＰＵ１１のサ
イクルタイムとの整合をとり、ＣＰＵ１１からみたＭＳ
Ｕ１２の見かけ上のアクセスタイムを改善することが行
なわれている。

【０００５】このキャッシュメモリは、１ブロックを複
数のワードで構成するもので、ＭＳＵ１２とＣＰＵ１１
内のレジスタ１１ｂとの間に、通常、１階層だけそなえ
られるが、ＭＳＵ１２のアクセスタイムとＣＰＵ１１の
サイクルタイムとの差がかなり大きい場合には、ＭＳＵ
１２とＣＰＵ１１内のレジスタ１１ｂとの間に複数階層
そなえられることがある。例えば図５に示す例では、Ｍ
ＳＵ１２とＣＰＵ１１内の演算器１１ａ用のレジスタ１
１ｂとの間に、１次キャッシュメモリ１３および２次キ
ャッシュメモリ１４（つまり２階層のキャッシュメモリ
１３，１４）がそなえられている。なお、これらの１次
キャッシュメモリ１３および２次キャッシュメモリ１４
は、ＣＰＵ１１に内蔵されている。

【０００６】ここで、１次キャッシュメモリ１３は演算
器１１ａ側に、２次キャッシュメモリ１４はＭＳＵ１２
側にそなえられる。また、一般に、２次キャッシュメモ
リ１４の記憶容量は１次キャッシュメモリ１３の記憶容
量よりも大きく設定される。つまり、複数階層のキャッ
シュメモリをそなえる場合、演算器１１ａに近いキャッ
シュメモリ程、その記憶容量は小さく設定される。

【０００７】上述のごとく２階層のキャッシュメモリ１
３，１４をそなえた計算機システムにおいて、ＣＰＵ１
１が、あるデータＤを必要とする場合、ＣＰＵ１１は、
まず１次キャッシュメモリ１３にデータＤが格納されて
いるか否かを判断する。そのデータＤが１次キャッシュ
メモリ１３に格納されている場合（１次キャッシュメモ
リ１３でヒットした場合）、ＣＰＵ１１は、２次キャッ
シュメモリ１４やＭＳＵ１２にアクセスすることなく、
そのデータＤを１次キャッシュメモリ１３から読み出
す。

【０００８】一方、データＤが１次キャッシュメモリ１
３に格納されていない場合（１次キャッシュメモリ１３
でミスヒットした場合）、ＣＰＵ１１は、２次キャッシ
ュメモリ１４にデータＤが格納されているか否かを判断
し、格納されていれば（２次キャッシュメモリ１４でヒ
ットした場合）、そのデータＤを含むデータブロックを
読み出して１次キャッシュメモリ１３に書き込んでか
ら、１次キャッシュメモリ１３からデータＤを読み出
す。

【０００９】また、データＤが２次キャッシュメモリ１
４にも格納されていない場合（２次キャッシュメモリ１
４でミスヒットした場合）、ＣＰＵ１１は、ＭＳＵ１２
からデータＤを含むデータブロックを読み出して２次キ
ャッシュメモリ１４および１次キャッシュメモリ１３に
書き込んでから、１次キャッシュメモリ１３からデータ
Ｄを読み出す。

【００１０】上述のように、１次キャッシュメモリ１３
や２次キャッシュメモリ１４でミスヒットした場合に
は、２次キャッシュメモリ１４やＭＳＵ１２からデータ
Ｄを読み出す必要があり、その読出アクセスに時間を要
する。近年の計算機システムにおいてＣＰＵ１１のクロ
ック周波数は飛躍的に高速化しているが、ＤＲＡＭ等で
構成されるＭＳＵ１２の性能は、あまり向上しておら
ず、ＣＰＵ１１の性能に追い付いていない。このために
ＣＰＵ１１からはＭＳＵ１２が相対的に遠く見え、前述
のようなミスヒットに伴うペナルティが、ＣＰＵ１１の
処理性能に及ぼす影響が大きくなりつつある。

【００１１】そこで、前述のようなミスヒットに伴うペ
ナルティを隠蔽するために、ＭＳＵ１２上のデータを、
そのデータを必要とする演算処理に先立って読み出して
キャッシュメモリ１３，１４に読み込むことが行なわれ
ている。このような先読み処理を実現するために、ＣＰ
Ｕ１１は、ＭＳＵ１２上のデータをレジスタ１１ｂに読
み込むロード命令とは別に、ＭＳＵ１２上のデータを１
次キャッシュメモリ１３および２次キャッシュメモリ１
４には読み込むがレジスタ１１ｂには読み込まない、キ
ャッシュメモリ１３，１４へのロード専用命令を発行
し、そのロード専用命令を突き放して実行させている
（つまり、演算器１１ａの演算処理と並行してそのロー
ド専用命令を実行させている）。このロード専用命令
は、演算処理に先立って読み込み（フェッチ）動作を行
なうということから、プリフェッチ命令（先読み命令）
とも呼ばれる。

【００１２】例えば、演算器１１ａが配列の１番目〜Ｎ
番目のデータを１番目のデータから順に所定の演算式に
代入して演算処理を実行する場合、ＣＰＵ１１は、ｉ番
目のデータに対する演算処理の実行前に、ｉ＋ｋ番目の
データを１次キャッシュメモリ１３にプリフェッチする
ための命令を発行し、そのプリフェッチ命令を突き放し
て実行させる。

【００１３】これにより、演算器１１ａによるｉ番目の
データに対する演算処理と並行して、ｋステップだけ先
の演算処理で必要となるｉ＋ｋ番目のデータが、キャッ
シュメモリ１３，１４上に読み込まれることになる。従
って、ＣＰＵ１１が、ｋステップ後にｉ＋ｋ番目のデー
タをキャッシュメモリ１３からレジスタ１１ｂ上に読み
出す際には、キャッシュメモリ１３上にそのデータが既
に存在しているので、ミスヒットの発生が抑止され、ミ
スヒットに伴うペナルティを隠蔽することができる。

【００１４】

【発明が解決しようとする課題】しかしながら、１次キ
ャッシュメモリ１３へのプリフェッチを行なってミスヒ
ットに伴うペナルティを確実に隠蔽すべく、プリフェッ
チ命令が頻繁に発行されると、以下のような課題があっ
た。〔１〕プリフェッチ命令のスループット（発行頻度）を
高くすると、あるデータについてのプリフェッチ命令
が、そのデータを必要とする処理を行なうタイミングよ
りも極端に前に発行され、そのデータが１次キャッシュ
メモリ１３上に読み込まれることになる。１次キャッシ
ュメモリ１３の記憶容量は一般に小さいために、そのデ
ータは、後から発行された別のプリフェッチ命令の実行
に伴ってＭＳＵ１２から１次キャッシュメモリ１３に格
納されるデータにより、１次キャッシュメモリ１３から
掃き出されることがある。このような場合、プリフェッ
チされたデータが演算器１１ａの処理で実際に必要にな
る時には１次キャッシュメモリ１３上に存在せず、１次
キャッシュメモリ１３でミスヒットとなり、そのデータ
を、再度、２次キャッシュメモリ１４もしくはＭＳＵ１
２から１次キャッシュメモリ１３に読み込まなければな
らず、結局、ＣＰＵ１１の処理性能が低下してしまう。

【００１５】〔２〕１次キャッシュメモリ１３は、演算
器１１ａから高速でアクセスを行なうことができるもの
である必要がある。このため、１次キャッシュメモリ１
３の記憶容量や、１次キャッシュメモリ１３において同
時にアクセスすることのできるポート数には、制限があ
る。このため、プリフェッチ命令のスループット（発行
頻度）を高くすると、本来早急に実行されるべき、１次
キャッシュメモリ１３からレジスタ１１ｂへのデータ読
込や、２次キャッシュメモリ１４から１次キャッシュメ
モリ１３へのデータ読込が、そのプリフェッチ命令の実
行に邪魔される。つまり、ＣＰＵ１１のメインパイプラ
インにおいて、通常の処理に伴って必要になる１次キャ
ッシュメモリ１３に対するアクセスと、プリフェッチ命
令の実行に伴う１次キャッシュメモリ１３に対するアク
セスとが衝突し、ＣＰＵ１１の処理性能の低下を招いて
しまう。

【００１６】本発明は、このような課題に鑑み創案され
たもので、プリフェッチ命令を高い頻度で発行しても、
必要なデータのキャッシュメモリからの掃出（追い出
し）が発生したり処理装置のメインパイプラインでコン
フリクトが発生したりするのを抑止できるようにして、
計算機システムによる高速処理を実現した、キャッシュ
メモリ制御装置および計算機システムを提供することを
目的とする。

【００１７】

【課題を解決するための手段】上記目的を達成するため
に、本発明のキャッシュメモリ制御装置（請求項１）
は、主記憶装置のデータを用いて各種処理を実行する処
理装置によるアクセス頻度の高いデータを該主記憶装置
から移される複数階層のキャッシュメモリを制御するも
のであって、処理装置で必要になると予測されるデータ
を前もって主記憶装置から複数階層のキャッシュメモリ
に読み込ませるようにプリフェッチ命令を発行する命令
制御部と、この命令制御部から発行された前記プリフェ
ッチ命令を実行する際に、プリフェッチ先キャッシュメ
モリを複数階層のキャッシュメモリの中から選択して切
り替えるように制御するプリフェッチ制御部と、前記複
数階層のキャッシュメモリのうち処理装置に近い側のキ
ャッシュメモリの状態情報を検出して該プリフェッチ制
御部へ出力する状態情報検出機構とをそなえ、プリフェ
ッチ制御部が、状態情報検出機構により検出された前記
状態情報に応じて、プリフェッチ先キャッシュメモリを
切り替えるように制御することを特徴としている。

【００１８】また、本発明の計算機システム（請求項
３）は、主記憶装置と、この主記憶装置に格納されたデ
ータを用いて各種処理を実行する処理装置と、この処理
装置によるアクセス頻度の高いデータを該主記憶装置か
ら移される複数階層のキャッシュメモリと、この複数階
層のキャッシュメモリを制御するキャッシュメモリ制御
装置とをそなえてなり、前記キャッシュメモリ制御装置
が、処理装置で必要になると予測されるデータを前もっ
て主記憶装置から複数階層のキャッシュメモリに読み込
ませるようにプリフェッチ命令を発行する命令制御部
と、この命令制御部から発行された前記プリフェッチ命
令を実行する際に、プリフェッチ先キャッシュメモリを
複数階層のキャッシュメモリの中から選択して切り替え
るように制御するプリフェッチ制御部と、複数階層のキ
ャッシュメモリのうち処理装置に近い側のキャッシュメ
モリの状態情報を検出してプリフェッチ制御部へ出力す
る状態情報検出機構とをそなえて構成され、プリフェッ
チ制御部が、状態情報検出機構により検出された前記状
態情報に応じて、該プリフェッチ先キャッシュメモリを
切り替えるように制御することを特徴としている。

【００１９】

【００２０】また、前記メモリキャッシュ制御装置にお
いて、前記プリフェッチ先キャッシュメモリの切替制御
条件としてのプリフェッチ種別情報を命令制御部から発
行される前記プリフェッチ命令に設定するプリフェッチ
種別設定部と、前記プリフェッチ命令に設定されたプリ
フェッチ種別を識別してプリフェッチ制御部へ出力する
プリフェッチ種別識別部とをそなえ、プリフェッチ制御
部が、プリフェッチ種別識別部からの前記プリフェッチ
種別を加味して、前記プリフェッチ先キャッシュメモリ
の切替制御を行なうように構成してもよい（請求項２，
４）。

【００２１】上述した本発明のキャッシュメモリ制御装
置（請求項１，２）および計算機システム（請求項３，
４）では、プリフェッチ命令を実行する際に、プリフェ
ッチ制御部により、プリフェッチ先キャッシュメモリ
が、処理装置に近い側のキャッシュメモリの状態情報
（記憶領域の使用状況情報やポートの競合状況情報）に
応じて、複数階層のキャッシュメモリの中から選択して
切り替えられる。

【００２２】つまり、プリフェッチ命令の実行時に、主
記憶装置からプリフェッチされたデータを常に全てのキ
ャッシュメモリに書き込むのではなく、処理装置に近い
側のキャッシュメモリの状態に応じて適当なキャッシュ
メモリに書き込まれることになる。従って、処理装置に
近い側のキャッシュメモリ（１次キャッシュメモリ）へ
のアクセス（プリフェッチ）を、そのキャッシュメモリ
の状態に応じて制限することができ、プリフェッチ命令
を高い頻度で発行しても、必要なデータのキャッシュメ
モリからの掃出（追い出し）が発生したり処理装置のメ
インパイプラインでコンフリクトが発生したりするのを
抑止することができる。

【００２３】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１は本発明の一実施形態として
のキャッシュメモリ制御装置を有する計算機システムの
構成を示すブロック図であり、この図１に示すように、
本実施形態の計算機システム１０も、図５に示したシス
テムとほぼ同様に、主記憶装置（以下ＭＳＵという）１
２およびＣＰＵ２０をそなえて構成されている。

【００２４】ＭＳＵ１２は、プログラムおよびこのプロ
グラムによって処理されるべき各種データを格納するも
のであり、ＣＰＵ２０は、ＭＳＵ１２に格納されたデー
タを用いて各種処理を行なうものであり、本実施形態に
おけるＣＰＵ２０は、２階層のキャッシュメモリ（１次
キャッシュメモリ１３および２次キャッシュメモリ１
４），レジスタ２１，演算器（処理装置）２２，命令制
御部２３，主記憶リクエスト発行部２４およびプリフェ
ッチ制御部２５を含んで構成されるとともに、１次キャ
ッシュメモリ１３に、状態情報検出機構３０が付設され
ている。

【００２５】そして、本実施形態では、命令制御部２３
と、プリフェッチ制御部２５と、１次キャッシュメモリ
１３に付設された状態情報検出機構３０とにより、２階
層のキャッシュメモリ１３，１４を制御するためのキャ
ッシュメモリ制御装置が構成されている。１次キャッシ
ュメモリ１３および２次キャッシュメモリ１４は、ＣＰ
Ｕ２０内において、ＭＳＵ１２とレジスタ２１との間に
そなえられ、ＣＰＵ２０（演算器２２）によるアクセス
頻度の高いデータをＭＳＵ１２から移されるものであ
る。ここで、１次キャッシュメモリ１３は演算器２２側
に、２次キャッシュメモリ１４はＭＳＵ１２側にそなえ
られる。また、一般に、２次キャッシュメモリ１４の記
憶容量は１次キャッシュメモリ１３の記憶容量よりも大
きく設定される。

【００２６】レジスタ２１は、演算器２２での演算処理
に必要となるデータ（オペランド）や、キャッシュメモ
リ１３，１４やＭＳＵ１２へ書き戻すべき演算器２２に
よる処理結果を一時的に格納するものであり、演算器
（処理装置）２２は、レジスタ２１に格納されたデータ
に基づいて演算処理を実行し、その処理結果をレジスタ
２１に書き込むものである。

【００２７】命令制御部２３は、ＣＰＵ２０の処理（演
算器２２の演算処理）に伴って各種命令の発行制御を行
なうものであり、例えば、演算器２２での処理に必要な
データが２階層のキャッシュメモリ１３，１４に存在し
なかった場合（ミスヒットの場合）に、ＭＳＵ１２に対
して、そのデータをキャッシュメモリ１３，１４および
レジスタ２１に読み出すためのロード命令を発行する機
能を有するほか、演算器２２で必要になると予測される
データを前もってＭＳＵ１２からキャッシュメモリ１
３，１４に読み込ませるようにプリフェッチ命令を発行
する機能を有している。

【００２８】この命令制御部２３は、プリフェッチ種別
設定部２６およびプリフェッチ種別識別部２７を含んで
構成されており、プリフェッチ種別設定部２６は、プリ
フェッチ制御部２５においてプリフェッチ先キャッシュ
メモリの切替制御条件として用いられるプリフェッチ種
別情報を、プリフェッチ命令に設定するものであり、プ
リフェッチ種別識別部２７は、プリフェッチ命令に設定
されたプリフェッチ種別を識別してプリフェッチ制御部
２５へ出力するものである。

【００２９】主記憶リクエスト発行部２４は、命令制御
部２３から発行される命令（プリフェッチ命令を含む）
を受け、命令発行順に、ＭＳＵ１２に対するリクエスト
を発行するものであり、命令制御部２３から発行される
命令（実際には、その命令によるアクセス対象データの
主記憶空間アドレス）を命令発行順に保持する発行履歴
キュー２４ａを有して構成されている。

【００３０】状態情報検出機構３０は、１次キャッシュ
メモリ１３の状態情報として、その記憶領域の使用状況
情報（使用情報）と、そのアクセスポートの競合状況情
報（コンフリクト情報）とを自動的に検出し、プリフェ
ッチ制御部２５へ出力するものである。なお、１次キャ
ッシュメモリ１３の使用情報としては、具体的には、１
次キャッシュメモリ１３に既に格納されているデータを
追い出すことなく、ＭＳＵ１２からのプリフェッチデー
タを１次キャッシュメモリ１３に格納可能かどうかにつ
いての情報が検出される。

【００３１】プリフェッチ制御部２５は、命令制御部２
３から発行されたプリフェッチ命令を実行する際に、プ
リフェッチ先キャッシュメモリを、状態情報検出機構３
０からの１次キャッシュメモリ１３の状態情報と、プリ
フェッチ種別識別部２７からのプリフェッチ種別とに応
じて、２階層のキャッシュメモリ１３，１４の中から選
択して切り替えるように制御するものである。

【００３２】ここで、本実施形態におけるプリフェッチ
命令のフォーマットについて、図２を参照しながら説明
する。通常、命令制御部２３から発行される命令は、オ
ペコード（命令コード）を格納するためのフィールドＦ
１と、拡張オペコードもしくはオペランド指定情報を格
納するためのフィールドＦ２と、オペコードによりアク
セスしたいデータの主記憶空間アドレスを格納するため
のフィールドＦ３とを有している。

【００３３】本実施形態においてプリフェッチ命令を命
令制御部２３から発行する際には、図２に示すように、
フィールドＦ１に、この命令がプリフェッチ命令である
ことを指定するコード“pref”が設定され、フィールド
Ｆ３に、このプリフェッチ命令によりアクセス（プリフ
ェッチ）したいデータブロックの主記憶空間アドレス
（ＭＳＵ１２のアドレス）が設定される。さらに、本実
施形態では、前述したプリフェッチ種別設定部２６の機
能により、プリフェッチ種別を指定するためのコード
“pref種別”がフィールドＦ２に設定される。

【００３４】プリフェッチ種別を指定するコード（pref
種別）は、例えば図３に示すように３ビットのデータと
して与えられる。このコードにより指定されるプリフェ
ッチ種別は、そのプリフェッチ種別を設定されたプリフ
ェッチ命令を実行するに際して、プリフェッチ制御部２
５でのプリフェッチ先キャッシュメモリの切替制御条件
として用いられる。本実施形態のごとく２階層のキャッ
シュメモリ１３，１４をそなえた場合、プリフェッチ種
別としては、例えば図３に示すような５種類のものがあ
る。

【００３５】コード（pref種別）“０００”を設定さ
れたプリフェッチ命令を実行する際には、プリフェッチ
制御部２５は、状態情報検出機構３０からの１次キャッ
シュメモリ１３の状態情報に関係なく、ＭＳＵ１２から
のデータを必ず１次キャッシュメモリ１３および２次キ
ャッシュメモリ１４の両方にプリフェッチさせる。コード（pref種別）“００１”を設定されたプリフェ
ッチ命令を実行する際には、プリフェッチ制御部２５
は、ＭＳＵ１２からのデータを必ず２次キャッシュメモ
リ１４にプリフェッチさせる一方、状態情報検出機構３
０からのコンフリクト情報を参照し１次キャッシュメモ
リ１３のアクセスポートに空きがあれば、そのアクセス
ポートを通じて１次キャッシュメモリ１３へのプリフェ
ッチを実行させる。

【００３６】コード（pref種別）“０１０”を設定さ
れたプリフェッチ命令を実行する際には、プリフェッチ
制御部２５は、ＭＳＵ１２からのデータを必ず２次キャ
ッシュメモリ１４にプリフェッチさせる一方、状態情報
検出機構３０からの使用情報を参照し、プリフェッチを
行なっても１次キャッシュメモリ１３でデータの追い出
しが発生しないのであれば、１次キャッシュメモリ１３
へのプリフェッチを実行させる。

【００３７】コード（pref種別）“０１１”を設定さ
れたプリフェッチ命令を実行する際には、プリフェッチ
制御部２５は、ＭＳＵ１２からのデータを必ず２次キャ
ッシュメモリ１４にプリフェッチさせる一方、状態情報
検出機構３０からの使用情報を参照し、プリフェッチを
行なっても１次キャッシュメモリ１３でデータの追い出
しが発生せず、且つ、状態情報検出機構３０からのコン
フリクト情報を参照し１次キャッシュメモリ１３のアク
セスポートに空きがあれば、そのアクセスポートを通じ
て１次キャッシュメモリ１３へのプリフェッチを実行さ
せる。

【００３８】コード（pref種別）“１００”を設定さ
れたプリフェッチ命令を実行する際には、プリフェッチ
制御部２５は、状態情報検出機構３０からの１次キャッ
シュメモリ１３の状態情報に関係なく、ＭＳＵ１２から
のデータを、１次キャッシュメモリ１３にはプリフェッ
チさせるが、２次キャッシュメモリ１４にはプリフェッ
チさせない。

【００３９】一方、本実施形態の計算機システム１０で
は、ＣＰＵ２０内の主記憶リクエスト発行部２４に、多
数の主記憶リクエスト（プリフェッチ命令に伴う主記憶
リクエストやミスヒットに伴う主記憶リクエスト）を連
続して発行することができるように、前述した発行履歴
キュー２４ａが装備されている。この発行履歴キュー２
４ａは、例えば４０段のもので、４０個分の命令（アド
レス）を格納できるように構成されている。

【００４０】従って、本実施形態のＣＰＵ２０は、図４
に示すごとく、プリフェッチ命令を含む４０個のロード
命令を突き放して（演算器２２による演算処理と並行し
て）同時に実行することができるようになっている。さ
らに、本実施形態の計算機システム１０におけるキャッ
シュメモリ１３，１４には、ＭＳＵ１２からキャッシュ
メモリ１３，１４へのロード／プリフェッチとキャッシ
ュメモリ１３からレジスタ２１へのロード／プリフェッ
チとを同時に実行してもコンフリクトが生じないよう、
十分な数のリード／ライトポート（入出力ポート，アク
セスポート）がそなえられている。キャッシュメモリ１
３，１４は、それぞれ、例えばマルチポートＲＡＭによ
り構成される。

【００４１】次に、上述のごとく構成された本実施形態
のキャッシュメモリ制御装置を有する計算機システム１
０の動作について説明する。ＣＰＵ２０は、ＭＳＵ１２
に記憶されたプログラムを読み出し、そのプログラムを
実行することにより、ＭＳＵ１２から読み出したデータ
を用いて演算処理を行ない、その処理結果をＭＳＵ１２
に書き込んでいる。

【００４２】通常、演算器２２での演算処理対象となる
データは、命令制御部２３から発行されたロード命令や
プリフェッチ命令を、主記憶リクエスト発行部２４を介
してＭＳＵ１２へ発行することにより、ＭＳＵ１２から
読み出されて、２階層のキャッシュメモリ１３，１４に
格納されるとともに、レジスタ２１に格納される。引き
続いて、演算命令の実行によりレジスタ２１から読み出
されたデータは、演算器２２に供給され、演算処理を施
される。そして、演算器２２による処理結果は、レジス
タ２１に格納された後、適当なタイミングで発行される
ストア命令の実行により、レジスタ２１からキャッシュ
１３，１４やＭＳＵ１２に格納される。

【００４３】さて、本実施形態の計算機システム１０で
は、命令制御部２３から発行されたプリフェッチ命令を
実行する際、プリフェッチ制御部２５により、プリフェ
ッチ先キャッシュメモリが、状態情報検出機構３０から
の１次キャッシュメモリ１３の使用情報／コンフリクト
情報とプリフェッチ種別識別部２７からのプリフェッチ
種別とに応じて、以下のように２階層のキャッシュメモ
リ１３，１４の中から選択されて切り替えられる。

【００４４】プリフェッチ命令にコード（pref種別）
“００１”が設定されている場合、ＭＳＵ１２からのデ
ータは、２次キャッシュメモリ１４にプリフェッチされ
るとともに、１次キャッシュメモリ１３のアクセスポー
トに空きがあれば、そのアクセスポートを通じ１次キャ
ッシュメモリ１３にもプリフェッチされる。従って、１
次キャッシュメモリ１３のアクセスポートに空きがない
時には、ＭＳＵ１２からのデータは２次キャッシュメモ
リ１４のみにプリフェッチされることになる。

【００４５】プリフェッチ命令にコード（pref種別）
“０１０”が設定されている場合、ＭＳＵ１２からのデ
ータは、２次キャッシュメモリ１４にプリフェッチされ
るとともに、プリフェッチを行なっても１次キャッシュ
メモリ１３でデータの追い出しが発生しないのであれ
ば、１次キャッシュメモリ１３にもプリフェッチされ
る。従って、プリフェッチを行なうと１次キャッシュメ
モリ１３でデータの追い出しが発生する時には、ＭＳＵ
１２からのデータは２次キャッシュメモリ１４のみにプ
リフェッチされることになる。

【００４６】プリフェッチ命令にコード（pref種別）
“０１１”が設定されている場合、ＭＳＵ１２からのデ
ータは、２次キャッシュメモリ１４にプリフェッチされ
るとともに、プリフェッチを行なっても１次キャッシュ
メモリ１３でデータの追い出しが発生せず且つ１次キャ
ッシュメモリ１３のアクセスポートに空きがあれば、そ
のアクセスポートを通じ１次キャッシュメモリ１３にも
プリフェッチされる。従って、１次キャッシュメモリ１
３のアクセスポートに空きがない時、または、プリフェ
ッチを行なうと１次キャッシュメモリ１３でデータの追
い出しが発生する時、または、アクセスポートに空きが
なく且つデータの追い出しが発生する時には、ＭＳＵ１
２からのデータは２次キャッシュメモリ１４のみにプリ
フェッチされることになる。

【００４７】なお、プリフェッチ命令にコード（pref種
別）“０００”が設定されている場合、ＭＳＵ１２から
のデータは、１次キャッシュメモリ１３の状態に関係な
く、常に、１次キャッシュメモリ１３および２次キャッ
シュメモリ１４の両方にプリフェッチされる。また、プ
リフェッチ命令にコード（pref種別）“１００”が設定
されている場合、ＭＳＵ１２からのデータは、１次キャ
ッシュメモリ１３の状態に関係なく、常に、１次キャッ
シュメモリ１３のみにプリフェッチされる。

【００４８】このように、本実施形態によれば、プリフ
ェッチ命令の実行時に、ＭＳＵ１２からプリフェッチさ
れたデータを常に全てのキャッシュメモリ１３，１４に
書き込むのではなく、１次キャッシュメモリ１３の使用
状態／コンフリクト状態に応じて、１次キャッシュメモ
リ１３と２次キャッシュメモリ１４との両方、もしく
は、１次キャッシュメモリ１３と２次キャッシュメモリ
１４とのいずれか一方に書き込まれる。

【００４９】従って、ＭＳＵ１２から１次キャッシュメ
モリ１３へのプリフェッチを１次キャッシュメモリ１３
の状態に応じて制限することができ、プリフェッチ命令
を高い頻度で発行しても、必要なデータを１次キャッシ
ュメモリ１３から追い出してしまったりＣＰＵ２０のメ
インパイプラインでコンフリクトが発生したりするのを
抑止できるので、計算機システム１０による高速処理を
実現することが可能になる。

【００５０】また、１次キャッシュメモリ１３の容量が
特に小さい場合、プリフェッチによる１次キャッシュメ
モリ１３のデータの追い出しを制御することができるた
め、１次キャッシュメモリ１３からの過剰な追い出しに
よる性能低下を確実に防ぐことができる。さらに、プリ
フェッチのアクセス種別（プリフェッチ種別）をプログ
ラムおよび／またはハードウェア（本実施形態ではプリ
フェッチ種別設定部２６）で制御することにより、１次
キャッシュメモリ１３への負荷が軽減され、ＣＰＵ２０
（計算機システム１０）の実効性能を大幅に向上させる
ことができる。

【００５１】ところで、本実施形態の計算機システム１
０では、ＣＰＵ２０で連続してミスヒットが検出された
場合、そのミスヒットに伴う主記憶リクエストを、連続
して発行できるとともに、多数のプリフェッチ命令に伴
う主記憶リクエストも、連続して発行できるようになっ
ている。本計算機システム１０のミスヒットペナルティ
（ＣＰＵ２０がミスヒットを検出した後にＭＳＵ１２か
らレジスタへ所望のデータを読み出すのに要する時間）
が例えば４０サイクル（４０τ）である場合、本実施形
態では、４０段の発行履歴キュー２４ａを主記憶リクエ
スト発行部２４にそなえることにより、プリフェッチ命
令を含む４０個のロード命令が突き放して実行される。

【００５２】つまり、万一、連続してミスヒットが生じ
ても、図４に示すように、４１個目のミスヒットの発生
時には、最初のミスヒットに伴う主記憶リクエストは完
了しており、計算機システム１０のハードウェア資源を
再利用することが可能になる。従って、ＣＰＵ２０は、
ミスヒットペナルティのために停止することなく処理動
作を継続することができる。

【００５３】また、キャッシュメモリ１３，１４は、前
述した通り十分な数の入出力ポートを有しているため、
ＣＰＵ２０のメインパイプラインは、ＭＳＵ１２からキ
ャッシュメモリ１３，１４への書込動作（プリフェッチ
動作）によってコンフリクトを受けることなく動作する
ことができる。なお、ここでは、ミスヒットペナルティ
４０τに対し４０段の発行履歴キュー２４ａをそなえる
例を挙げているが、実際のプログラムでは、毎サイク
ル、ミスヒットが生じることは極めて稀である。このた
め、実際の多くのプログラムの振る舞いとハードウェア
コストとのトレードオフに応じて、発行履歴キュー２４
ａの段数を４０よりも小さくすることが可能である。

【００５４】このように、本実施形態の計算機システム
１０では、ＣＰＵ２０の処理動作がミスヒットペナルテ
ィのために停止することを確実に防止できるほか、多数
のプリフェッチ命令を発行しても、ＭＳＵ１２からキャ
ッシュメモリ１３，１４への書込（ロード）を行なうた
めのハードウェア資源が枯渇してしまうこともないの
で、ＣＰＵ２０のメインパイプラインへの影響を最小限
に抑えつつ、ミスヒットペナルティを確実に隠蔽するこ
とができ、計算機システム１０の性能が大幅に向上す
る。

【００５５】なお、本発明は上述した実施形態に限定さ
れるものではなく、本発明の趣旨を逸脱しない範囲で種
々変形して実施することができる。例えば、上述した実
施形態では、キャッシュメモリを２階層そなえた場合に
ついて説明したが、本発明は、これに限定されるもので
はなく、３階層以上のキャッシュメモリをそなえた場合
にも同様に適用され、上述した実施形態と同様の作用効
果を得ることができる。

【００５６】また、上述した実施形態では、２次キャッ
シュメモリ１４をＣＰＵ２０に内蔵した場合について説
明しているが、２次以降のキャッシュメモリについては
ＣＰＵ２０の外部にそなえてもよい。

【００５７】

【発明の効果】以上詳述したように、本発明のキャッシ
ュメモリ制御装置（請求項１，２）および計算機システ
ム（請求項３，４）によれば、プリフェッチ命令の実行
時に、処理装置に近い側のキャッシュメモリの状態に応
じて適当なキャッシュメモリに書き込まれるので、処理
装置に近い側のキャッシュメモリ（１次キャッシュメモ
リ）へのアクセス（プリフェッチ）を、そのキャッシュ
メモリの状態に応じて制限することができ、プリフェッ
チ命令を高い頻度で発行しても、必要なデータのキャッ
シュメモリからの掃出（追い出し）が発生したり処理装
置のメインパイプラインでコンフリクトが発生したりす
るのを抑止することができ、計算機システムによる高速
処理を実現できるという効果がある。

【図面の簡単な説明】

【図１】本発明の一実施形態としてのキャッシュメモリ
制御装置を有する計算機システムの構成を示すブロック
図である。

【図２】本実施形態におけるプリフェッチ命令のフォー
マットを示す図である。

【図３】本実施形態におけるプリフェッチ種別を説明す
るための図である。

【図４】本実施形態における主記憶リクエストの発行動
作について説明するための図である。

【図５】２階層のキャッシュメモリを有する一般的な計
算機システムの構成を示すブロック図である。

【符号の説明】

１０計算機システム１２ＭＳＵ（主記憶装置）１３１次キャッシュメモリ１４２次キャッシュメモリ２０ＣＰＵ２１レジスタ２２演算器（処理装置）２３命令制御部２４主記憶リクエスト発行部２４ａ発行履歴キュー２５プリフェッチ制御部２６プリフェッチ種別設定部２７プリフェッチ種別識別部３０状態情報検出機構

Claims

(57)【特許請求の範囲】

【請求項１】主記憶装置のデータを用いて各種処理を
実行する処理装置によるアクセス頻度の高いデータを該
主記憶装置から移される複数階層のキャッシュメモリを
制御するキャッシュメモリ制御装置であって、該処理装置で必要になると予測されるデータを前もって
該主記憶装置から該複数階層のキャッシュメモリに読み
込ませるようにプリフェッチ命令を発行する命令制御部
と、該命令制御部から発行された前記プリフェッチ命令を実
行する際に、プリフェッチ先キャッシュメモリを、該複
数階層のキャッシュメモリの中から選択して切り替える
ように制御するプリフェッチ制御部と、前記複数階層のキャッシュメモリのうち該処理装置に近
い側のキャッシュメモリの状態情報を検出して該プリフ
ェッチ制御部へ出力する状態情報検出機構とをそなえ、該プリフェッチ制御部が、該状態情報検出機構により検
出された前記状態情報に応じて、該プリフェッチ先キャ
ッシュメモリを切り替えるように制御することを特徴と
する、キャッシュメモリ制御装置。
【請求項２】前記プリフェッチ先キャッシュメモリの
切替制御条件としてのプリフェッチ種別情報を、該命令
制御部から発行される前記プリフェッチ命令に設定する
プリフェッチ種別設定部と、前記プリフェッチ命令に設定されたプリフェッチ種別を
識別して該プリフェッチ制御部へ出力するプリフェッチ
種別識別部とをそなえ、該プリフェッチ制御部が、該プリフェッチ種別識別部か
らの前記プリフェッチ種別を加味して、前記プリフェッ
チ先キャッシュメモリの切替制御を行なうことを特徴と
する、請求項１記載のキャッシュメモリ制御装置。
【請求項３】主記憶装置と、該主記憶装置に格納され
たデータを用いて各種処理を実行する処理装置と、該処
理装置によるアクセス頻度の高いデータを該主記憶装置
から移される複数階層のキャッシュメモリと、該複数階
層のキャッシュメモリを制御するキャッシュメモリ制御
装置とをそなえてなる計算機システムであって、該キャッシュメモリ制御装置が、該処理装置で必要になると予測されるデータを前もって
該主記憶装置から該複数階層のキャッシュメモリに読み
込ませるようにプリフェッチ命令を発行する命令制御部
と、該命令制御部から発行された前記プリフェッチ命令を実
行する際に、プリフェッチ先キャッシュメモリを、該複
数階層のキャッシュメモリの中から選択して切り替える
ように制御するプリフェッチ制御部と、該複数階層のキャッシュメモリのうち該処理装置に近い
側のキャッシュメモリの状態情報を検出して該プリフェ
ッチ制御部へ出力する状態情報検出機構とをそなえて構
成され、該プリフェッチ制御部が、該状態情報検出機構により検
出された前記状態情報に応じて、該プリフェッチ先キャ
ッシュメモリを切り替えるように制御することを特徴と
する、計算機システム。
【請求項４】該キャッシュメモリ制御装置が、前記プリフェッチ先キャッシュメモリの切替制御条件と
してのプリフェッチ種別情報を、該命令制御部から発行
される前記プリフェッチ命令に設定するプリフェッチ種
別設定部と、前記プリフェッチ命令に設定されたプリフェッチ種別を
識別して該プリフェッチ制御部へ出力するプリフェッチ
種別識別部とをそなえ、該プリフェッチ制御部が、該プリフェッチ種別識別部か
らの前記プリフェッチ種別を加味して、前記プリフェッ
チ先キャッシュメモリの切替制御を行なうことを特徴と
する、請求項３記載の計算機システム。