JP3241679B2 - プロセッサからの大容量データ転送処理リクエストにおけるキャッシュ読み出し方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、プロセッサからの
大容量データ転送処理リクエストにおけるキャッシュ読
み出し方法に関する。

【０００２】

【従来の技術】プロセッサと主記憶メモリとの間にキャ
ッシュと呼ばれる小容量の高速なブッファメモリを設置
する事により、実効的な主メモリのアクセス時間を高速
化できる事は、一般によく知られている。近年のプロセ
ッサ処理能力向上に伴い、プロセッサ内部で処理が完結
する演算処理時間よりプロセッサ外部の処理である主メ
モリへのアクセス時間が増大する傾向にある。この為、
実行命令トータルで見るとメモリアクセス処理時間を短
縮する方法として、主メモリの一部であるキャッシュに
目的データが存在しない場合 (キャッシュミス) でも、
後続主メモリアクセス処理を続けるノンブロッキング
（Non-Blocking）機構を有するプロセッサが増加してき
た。

【０００３】従来、ノンブロッキング機構を有している
キャッシュシステムでの大容量データ転送は、キャッシ
ュデータサイズ（キャッシュブロック）より大きなデー
タを処理する必要からノンブロッキングバッファが多数
のミスリクエストでオーバーフローする等の理由により
キャッシュシステム内でシーケンスコントロール処理を
行っていた。この為、大容量データ転送処理リクエスト
と前後リクエストとは処理を分ける事になり、大容量デ
ータ転送処理リクエスト前後で処理が中断していた。

【０００４】

【発明が解決しようとする課題】上記従来技術を用いて
大容量のデータ転送を行う場合、従来のプロセッサは、
メモリリクエスト命令（ロード命令）を連続実行してい
る途中でミスとなるリクエストが発生すると、この時点
で取り込み動作が停止してしまう。ミスとなるリクエス
トが数個であれば、待避バッファに取り込むことによ
り、後続のリクエストを出すというノンブロッキング方
法もある。しかし、連続データのミスの場合、１キャッ
シュブロック全体のデータがミスとなる為、かなり多く
のリクエストがミスとして、ノンブロッキングバッファ
に保持されることとなり、最終的にはオーバーフローで
ミスリクエストのデータが戻ってくるまで処理が中断し
てしまう。このため、処理の高速化に支障をきたす問題
を伴う。

【０００５】本発明は、処理の高速化を可能としたキャ
ッシュ読み出し方法を提供することを目的とする。

【０００６】

【課題を解決するための手段】かかる目的を達成するた
め、本発明のプロセッサからの大容量データ転送処理リ
クエストにおけるキャッシュ読み出し方法は、キャッシ
ュブロックと呼ぶキャッシュデータ管理サイズより多く
のデータをキャッシュを介して読み出すキャッシュ読み
出し方法において、読み出すデータ量からキャッシュの
アクセス範囲を算出して最終アドレスを生成する最終ア
ドレス生成工程と、アクセス範囲内データがこのキャッ
シュに存在するかの有無を確認する為にアクセス範囲内
に存在するキャッシュブロック毎の代表アドレスを算出
する代表アドレス算出工程と、算出した代表アドレスに
対応するこのキャッシュアドレスにアクセス要求をかけ
て目的データの有無を判定するヒット／ミス判定工程
と、キャッシュブロック毎の代表アドレスとこのキャッ
シュブロック内へのアクセス数を判定したヒット／ミス
に関係なく待避バッファ部に保持する保持工程と、アク
セス範囲内でキャッシュ＿ミスと判断されたブロックは
メモリでデータ要求しメモリからデータを受け取るリク
エストフェーズで管理されるデータ受取工程とを有して
構成され、プロセッサ側へのデータ転送を高速度で処理
可能としたことを特徴としている。

【０００７】また、上記の待避バッファ部は、バッファ
バリッド（Buffer＿valid ）フラグ、最終キャッシュブ
ロックフラグ、キャッシュデータ有無フラグ、処理種別
を示すリクエスト、メモリアドレス、キャッシュブロッ
クでアクセスするアクセス回数の少なくとも何れか１つ
を有する管理情報で構成される情報を保持可能とされ、
保持は、ヒット／ミスに関係なく行われ、保持の期間
は、キャッシュからデータが読み出されるまで継続され
るとよい。

【０００８】さらに、上記のキャッシュブロック以上の
大量データの読み出しは、開始アドレスから、キャッシ
ュブロック毎の代表アドレスでキャッシュ＿ヒット／ミ
スを順次チェックし最終アドレスまで続けるサーチフェ
ーズで管理され、キャッシュ＿ミスと判断されたリクエ
ストは、待避バッファでリクエスト管理され、メモリか
ら対応する全データがキャッシュに戻ることでキャッシ
ュデータを使用できることを示すキャッシュデータ有無
フラグをセットするとよい。

【０００９】なお、データ受取工程におけるデータの読
み出しは、サーチフェーズ終了後にメモリからの戻り全
データの終了を待たずに、読み出すべきデータがキャッ
シュに存在するかの有無を、待避バッファバリッド信号
およびキャッシュ内データ有無フラグのチェックにより
行なうとよい。

【００１０】また、データの読み出しは、前記待避バッ
ファ部で管理され、最終キャッシュ＿ブロックでなけれ
ば全キャッシュブロックデータを読み出し、最終キャッ
シュブロックデータなら最終アドレスまでの要素をキャ
ッシュ読出しするように動作させ、サーチフェーズでカ
ウントしたサーチ処理個数と待避バッファ制御で読み出
されたロード処理個数が一致するまで動作させるとよ
い。

【００１１】

【発明の実施の形態】次に、添付図面を参照して本発明
によるキャッシュ読み出し方法の実施の形態を詳細に説
明する。図１および図２を参照すると、本発明のキャッ
シュ読み出し方法の一実施形態が示されている。図１
は、本実施形態のキャッシュ読み出し装置の構成例を示
すブロック図である。また、図２は、動作手順例を示す
フローチャートである。

【００１２】図１において、本実施形態のキャッシュ読
み出し装置は、サーチフェーズを実行するためのサーチ
アドレスを生成するアドレス制御部１、アドレスアレー
（ＡＡ）１１６とデータアレー（ＤＡ）１２０と比較器
１２２とで構成されるキャッシュの本体部２、ミスリク
エストの保持管理並びに大容量データ処理を行う場合は
ヒット／ミスに関係なくキャッシュブロック（ＣＡＣＨ
ＥＢｌｏｃｋ；ＣＡＣＨＥＢＬＫ）の代表アドレスとキ
ャッシュブロック内アドレス数を保持するノンブロッキ
ングバッファ部３、ミスリクエストの送出制御を行うリ
クエスト送出制御部４、により構成される。

【００１３】（動作の説明） 図１により動作を説明する。尚、本実施形態での動作
は、１ブロック＝１２８ｂｙｔｅ、１回のロード単位＝
８ｂｙｔｅとした条件に基づくものとする。

【００１４】上位の制御ブロック（例えば、プロセッ
サ）より大容量のデータを転送する要求が、リクエスト
コード１００、スタートアドレス１０１、転送数１０２
の各ラインより入ると、まず本システムではサーチフェ
ーズに入る。

【００１５】入力されるリクエストコードは、入力レジ
スタ１０３へ入力される。取り込んだスタートアドレス
１０１は、入力レジスタ１０４に入る。また、スタート
入ってきた８ｂｙｔｅ単位で換算される転送要素数１０
２も、入力レジスタ１０５に入る。ここで転送の最終ア
ドレスを求めるために、下記式１の計算をシフター１０
６及びアダー１０９により実行する。 最終アドレス＝スタートアドレス＋（転送数−１）×８…（１）

【００１６】生成された最終アドレスは、エンドアドレ
スレジスタ１１２に格納される。リクエストも同様に入
力レジスタ１０３に入り、持ち回りレジスタ１１０にお
いて制御回路１２３に対してリクエストが入ってきたこ
とを通知する。制御回路１２３では、リクエスト通知に
よりサーチフェーズフラグをセットする。

【００１７】通常の処理では、入力レジスタ１０４に入
ったスタートアドレスは、アドレスカウンタ１０８を通
ってアドレスアレー入力レジスタ１１１に入る。アドレ
スアレー入力レジスタ１１１に入ったアドレスは、ＡＡ
（アドレスアレー）１１６及び比較器１１９によりアド
レスの比較を行い、ヒットまたはミスの判定を行う。こ
のヒット／ミスの判定の結果は、ノンブロッキングバッ
ファ部３、リクエスト送出制御部４、及びアドレス制御
部１の制御回路１２３へ通知される。これによりミスで
あればノンブロッキングバッファ部３にミスリクエスト
が保持され、リクエスト送出制御部４よりミスリクエス
ト送出され、アドレス制御部１ではそのブロックがミス
であったことを記録する。

【００１８】大容量の転送処理においては、ヒット／ミ
ス処理に関係なく上記処理の一部が実行され、アドレス
情報とアクセス数がノンブロッキングバッファ部３にセ
ットされ、サーチフェーズが続行される。ここまでが最
初のブロックに対するサーチ動作である。

【００１９】最初のブロックの処理が終了すると、次の
キャッシュブロックのサーチを行うために、アドレスカ
ウンタ１０８をキャッシュブロック分、つまり、＋１２
８インクリメントする。この時、キャッシュブロック内
アドレスは、“０”をセットする。このアドレスを、ア
ドレスアレー入力レジスタ１１１に入れて、次のアドレ
スのヒット／ミスを判定する。このようにして最終アド
レスまでサーチフェーズが続行される。ミスデータはメ
モリからデータがロードされるので、ミスリクエスト処
理が終了すれば、全てのデータはキャッシュに保持され
る（リクエストフェーズ）。

【００２０】最終アドレスブロックかのチェックは、制
御回路１２３で行われる。制御回路１２３で、エンドア
ドレスレジスタ１１２に入っている終了アドレスと、ア
ドレスアレー入力レジスタ１１１のアドレスとを比較器
１２２で比較し、アドレスが一致したことを確認する
と、サーチフェーズが終了する。同時に、ノンブロッキ
ングバッファ部３には、アドレスと同時に最終ブロック
アドレスであることを示す最終ブロックフラグも同時に
セットされる。

【００２１】リクエストフェーズは、最初のミスしたブ
ロックのミスリクエストを送出した時点から開始され、
最後にミスしたブロックのデータがメモリより全て戻っ
てきた時点で終了する。従ってリクエストフェーズは、
サーチフェーズが実行中の時に開始され、次のロードフ
ェーズが実行されている間に終了となる。

【００２２】ノンブロッキングバッファ部３には、全て
のキャッシュブロック毎のデータが保持され、サーチし
たブロックにおいて、どこでミスとなったかを全て記録
している。さらに、ミスしたブロックデータに対応する
全データが戻ってきたかどうかも、ノンブロッキングバ
ッファ部３で管理を行なっている。これらの機能に基づ
き、リプライ情報がノンブロッキングバッファ部３に伝
えられ、キャッシュ内データ有無フラグがセットされ
る。

【００２３】この為、キャッシュに読み出すべきデータ
が存在するか否かをキャッシュ内データ有無フラグによ
りチェックし、読み出すデータが存在すれば、ロードフ
ェーズに移行しキャッシュからデータが読み出される。

【００２４】制御回路１２３では、サーチフェーズが終
了すると、サーチフェーズフラグがリセットされる。そ
の後に、ノンブロッキングバッファ部３内のキャッシュ
内データ有無フラグのどれかにおいてデータ有りを示せ
ば、ロードフェーズフラグがセットされる。

【００２５】サーチフェーズが終了し、ノンブロッキン
グバッファ部３内のキャッシュ内データ有無フラグが全
て無しを示している場合は、後続リクエストを処理する
ように動作させる。

【００２６】ロードフェーズフラグがセットされれば、
ノンブロッキングバッファ部内のキャッシュ内データ有
無フラグの有りが点灯しているデータを、アドレスカウ
ンタ１０８にロードする。そして、アドレスカウンタ１
０８では、受け取ったアドレスをそのままアドレスアレ
ー入力レジスタ１１１に送出する。アドレスアレー入力
レジスタ１１１では、受け取ったアドレスはキャッシュ
に存在するので、＋８インクリメントしながらデータア
レー１２０よりデータを取り出してプロセッサ側に送出
する。１６ワード分転送すると、１ブロックのデータの
転送が終了となる。

【００２７】引き続き、ノンブロッキングバッファ部３
内のキャッシュ内データ有無フラグの有りが点灯してい
れば、同様の処理を行う。

【００２８】さらに、ノンブロッキングバッファ部３内
データの最終ブロックフラグが点灯していれば、最終キ
ャッシュブロックデータであり、読み出しデータが途中
で終了している場合もある。そこで、最終キャッシュブ
ロックデータの場合は、＋８インクリメントしたアドレ
スがエンドアドレスレジスタ１１２に入っている終了ア
ドレスと一致すると、その時点で最終キャッシュブロッ
クの読み出し処理は完了となる。

【００２９】ノンブロッキングバッファ部３内のキャッ
シュ内データ有無フラグがすべてオフとなれば、読み出
しブロックがすべてなくなったことを意味し、本動作は
すべて終了する。尚、図２において本動作全体の概略動
作フローを示す。

【００３０】本実施形態では、ノンブロッキングバッフ
ァ機構を有するキャッシュ装置において、キャッシュを
介して大容量のデータを読み出す方法において、読み出
すデータ量からキャッシュへアクセスする範囲を算出し
て最終アドレスを生成する（Ｓ１）。

【００３１】その範囲内でキャッシュにデータが既に登
録されているかどうかを確認するために、アクセス範囲
内に存在するキャッシュブロック毎の代表アドレスを算
出する（Ｓ２）。算出した代表アドレスに対してアクセ
ス要求をかけることにより、キャッシュのヒット／ミス
を判定する（Ｓ５）。それと同時に、キャッシュブロッ
ク毎の代表アドレスと、キャッシュブロック内アクセス
数をヒット／ミスに関係なくノンブロッキングバッファ
部に保持する。この処理は、キャッシュブロック毎の代
表アドレスが最終アドレスと一致するまで実行される
（Ｓ７）（以上サーチフェーズ）。

【００３２】アクセス範囲内でキャッシュミスと判断さ
れたブロックは（Ｓ５／ミス）、メモリへデータを要求
しメモリからデータを受け取る（Ｓ１１）（以上リクエ
ストフェーズ）。

【００３３】ノンブロッキングバッファ部では、キャッ
シュブロック毎に大容量転送であることを示すリクエス
ト＆アドレス＆アクセス数管理を行い（Ｓ６、Ｓ７）、
更にキャッシュミスした場合のメモリリプライ管理も行
う。キャッシュミスにより、メモリから全リプライデー
タが戻ればキャッシュ内データ有無フラグがセットさせ
る。キャッシュヒットの場合は、最初からキャッシュ内
データ有無フラグがセットされる（Ｓ１〜Ｓ１０）。

【００３４】データの読み出しは、サーチフェーズ終了
後リクエストフェーズの終了を待たず（つまりメモリか
らの全ての戻りデータを待たず）に読み出すべきデータ
がキャッシュに存在するかの有無をキャッシュ内データ
有無フラグのチェックにより行ない、キャッシュ内に読
み出すべきデータが存在すればノンブロッキングバッフ
ァ部からアクセスする代表アドレスとアクセス数を取り
出し（Ｓ１５〜Ｓ２１）、連続するアドレスを生成しな
がら連続するアドレスを読み出すように処理する（ロー
ドフェーズ）。

【００３５】ノンブロッキングバッファで管理されるリ
クエスト全てのキャッシュ読み出しが行われ、プロセッ
サ側にデータが転送されれば大容量転送処理は終了する
（Ｓ２２）。

【００３６】このように、読み出しする大量データのリ
クエストをキャッシュブロック毎にノンブロッキングバ
ッファ部３を使用して、ヒット／ミスに関係なくノンブ
ロッキングバッファ部３にアドレスとアクセス数を格納
し管理することで（Ｓ１５〜Ｓ２２）、サーチフェーズ
終了時、サーチフェーズでのアドレス生成を入力レジス
タに保持する必要が無くなり、後続のリクエストの追い
越しが可能となり命令を高速に処理することが可能とな
る。

【００３７】上記の実施形態では、予めどのブロックに
アクセスするか計算し、そのブロックに対してヒット／
ミスをサーチし、ミスであればミスリクエストを出す。
全てのキャッシュブロックデータは、キャッシュブロッ
ク毎にデータ管理が行なわれ、キャッシュ内データ有無
フラグのデータ有りブロックからデータを読み出すこと
により、処理の効率化が図られている。

【００３８】尚、上述の実施形態は本発明の好適な実施
の一例である。但し、これに限定されるものではなく、
本発明の要旨を逸脱しない範囲内において種々変形実施
が可能である。

【００３９】

【発明の効果】以上の説明より明らかなように、本発明
のキャッシュ読み出し方法は、最終アドレスを生成し、
アクセス範囲内に存在するキャッシュブロック毎の代表
アドレスを算出し、算出した代表アドレスに対してアク
セス要求をかけることによりキャッシュのヒット／ミス
を判定し、キャッシュミスと判断されたブロックはメモ
リへデータを要求しメモリからデータを受け取り、プロ
セッサ側へデータを転送する。この手順において、キャ
ッシュを介して大容量データ転送処理をプロセッサ側に
取り込む場合、キャッシュブロック単位でデータ管理さ
れることにより、大容量データ転送期間中、メモリアド
レスレジスタにアドレスが保持されることがなくなる。
このため、後続リクエスト処理も行うことができ、処理
の高速化が可能となる。

【図面の簡単な説明】

【図１】本発明のキャッシュ読み出し装置の実施形態の
構成例を示すブロック図である。

【図２】キャッシュ読み出し方法の手順例を表したフロ
ーチャートである。

【符号の説明】

１ アドレス制御部 ２ キャッシュの本体部 ３ ノンブロッキングバッファ部 ４ リクエスト送出制御部 １００ リクエストコード １０１ ＳＴＡＲＴアドレス（スタートアドレス） １０２ 転送要素数 １０３、１０４、１０５ 入力レジスタ １０６ シフター １０８ アドレスカウンタ １０９ アダー １１０ 持ち回りレジスタ １１１ アドレスアレー入力レジスタ １１２ エンドアドレスレジスタ １１６ アドレスアレー（ＡＡ） １１９、１２２、１２４ 比較器 １２０ データアレー（ＤＡ） １２３ 制御回路

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 キャッシュブロックと呼ぶキャッシュデ
   ータ管理サイズより多くのデータをキャッシュを介して
   読み出すキャッシュ読み出し方法において、 読み出すデータ量から前記キャッシュのアクセス範囲を
   算出して最終アドレスを生成する最終アドレス生成工程
   と、 前記アクセス範囲内データが該キャッシュに存在するか
   の有無を確認する為にアクセス範囲内に存在する前記キ
   ャッシュブロック毎の代表アドレスを算出する代表アド
   レス算出工程と、 前記算出した代表アドレスに対応する該キャッシュアド
   レスにアクセス要求をかけて目的データの有無を判定す
   るヒット／ミス判定工程と、 前記キャッシュブロック毎の代表アドレスと該キャッシ
   ュブロック内へのアクセス数を前記判定したヒット／ミ
   スに関係なく待避バッファ部に保持する保持工程と、 アクセス範囲内でキャッシュ＿ミスと判断されたブロッ
   クはメモリでデータ要求しメモリからデータを受け取る
   リクエストフェーズで管理されるデータ受取工程とを有
   して構成され、 プロセッサ側へのデータ転送を高速度で処理可能とした
   ことを特徴とするプロセッサからの大容量データ転送処
   理リクエストにおけるキャッシュ読み出し方法。
2. 【請求項２】 前記待避バッファ部は、バッファバリッ
   ドフラグ、最終キャッシュブロックフラグ、キャッシュ
   データ有無フラグ、処理種別を示すリクエスト、メモリ
   アドレス、キャッシュブロックでアクセスするアクセス
   回数の少なくとも何れか１つを有する管理情報で構成さ
   れる情報を保持可能とされ、 前記保持は、ヒット／ミスに関係なく行われ、 前記保持の期間は、キャッシュからデータが読み出され
   るまで継続される、 ことを特徴とする請求項１に記載のプロセッサからの大
   容量データ転送処理リ クエストにおけるキャッシュ読み
   出し方法。
3. 【請求項３】 前記キャッシュブロック以上の大量デー
   タの読み出しは、開始アドレスから、キャッシュブロッ
   ク毎の代表アドレスでキャッシュ＿ヒット／ミスを順次
   チェックし最終アドレスまで続けるサーチフェーズで管
   理され、キャッシュ ＿ミスと判断されたリクエストは、前記待避
   バッファでリクエスト管理され、 前記メモリから対応する全データが前記キャッシュに戻
   ることでキャッシュデータを使用できることを示す前記
   キャッシュデータ有無フラグをセットする、 ことを特徴とする請求項１または２に記載のキャッシュ
   読み出し方法。
4. 【請求項４】 前記データ受取工程におけるデータの読
   み出しは、前記サーチフェーズ終了後に前記メモリから
   の戻り全データの終了を待たずに、読み出すべきデータ
   が前記キャッシュに存在するかの有無を、待避バッファ
   バリッド信号およびキャッシュ内データ有無フラグのチ
   ェックにより行なう、ことを特徴とする請求項１から３
   の何れかに記載のプロセッサからの大容量データ転送処
   理リクエストにおけるキャッシュ読み出し方法。
5. 【請求項５】 前記データの読み出しは、前記待避バッ
   ファ部で管理され、最終キャッシュブロックでなければ
   全キャッシュブロックデータを読み出し、最終キャッシ
   ュブロックデータなら最終アドレスまでの要素をキャッ
   シュ読出しすることを特徴とする請求項４に記載のプロ
   セッサからの大容量データ転送処理リクエストにおける
   キャッシュ読み出し方法。
6. 【請求項６】 前記データ読み出しは、サーチフェーズ
   でカウントしたサーチ処理個数と待避バッファ制御で読
   み出されたロード処理個数が一致するまで行われること
   を特徴とする請求項４または５に記載のプロセッサから
   の大容量データ転送処理リクエストにおけるキャッシュ
   読み出し方法。