JP2023543804A - ダーティデータのメモリ側キャッシュを効率的にリンスする機構 - Google Patents

Abstract

本方法は、メモリ装置に結合されたメモリ側キャッシュ装置において受信された複数の書き込み要求の各々に応じて、書き込み要求によって指定されたペイロードデータをメモリ側キャッシュ装置に書き込むことと、第１の帯域幅利用可能性条件が満たされた場合に、ペイロードデータをメモリ装置に書き込むことによってキャッシュライトスルーを実行することと、メモリ側キャッシュ装置に書き込まれたペイロードデータがメモリ装置に書き込まれたペイロードデータと一致するという指標を記録することと、を含む。【選択図】図３

Description

現代のコンピューティングシステムは、通常、メモリ性能を改善するためにキャッシュ階層内の複数のキャッシュに依存する。メインメモリと比較して、キャッシュは、データが低いレイテンシでアクセスされ得るように、頻繁にアクセスされるか又は近い将来に使用されることが予想されるデータを記憶する、より小さくより高速のメモリ装置である。そのようなキャッシュ装置は、通常、メモリ要求を発行する処理ユニットとメインメモリ装置との間に配置され、スタティックランダムアクセスメモリ（ＳＲＡＭ）に実装されることが多い。メモリ側キャッシュは、特定のメモリ装置又はメモリパーティションに取り付けられた専用キャッシュであり、他の装置によってメモリ装置に書き込まれ、メモリ装置から読み出されるデータをキャッシュする。

本開示は、添付の図面の図において、限定としてではなく例として示される。

一実施形態による、コンピューティングシステムを示す図である。 一実施形態による、データファブリック相互接続を介して接続された複数のコンピューティングノードを示す図である。 一実施形態による、メモリパーティション内の構成要素を示す図である。 一実施形態による、メモリ側キャッシュ装置とメインメモリ装置との間のインターフェースを示す図である。 一実施形態による、メモリ側キャッシュをリンスする処理を示す図である。

以下の説明では、実施形態の理解を深めるために、特定のシステム、構成要素、方法等の例のような多数の具体的な詳細を記載する。しかしながら、少なくともいくつかの実施形態が、これらの具体的な詳細なしに実施され得ることは、当業者には明らかである。他の例では、実施形態を不必要に曖昧にすることを回避するために、周知の構成要素又は方法が詳細に記載されないか又は簡易ブロック図の形式で提示される。したがって、記載された具体的な詳細は、単なる例示にすぎない。特定の実装形態は、これらの例示的な詳細と異なっていてもよく、依然として実施形態の範囲内にあると考えられる。

メインメモリ装置（例えば、ＤＲＡＭ）に取り付けられたメモリ側キャッシュは、メインメモリ装置から頻繁に読み出されるか又はメインメモリ装置に頻繁に書き込まれるデータをキャッシュすることによって性能を向上させる。メインメモリに向けられたメモリアクセス要求は、要求されたデータがキャッシュ内で利用可能である場合、メモリ側キャッシュからより低いレイテンシで処理される。しかしながら、メモリ側キャッシュの存在は、ＤＲＡＭトランザクションの効率的な順序付けに干渉し得る。ＤＲＡＭタイミング制約に起因して、メモリトランザクション（例えば、読み出し要求及び書き込み要求）のセットの順序付けは、トランザクションがＤＲＡＭ内で実行され得る速度に影響を及ぼす。セット内のトランザクションの一部がキャッシュヒットをもたらし、したがってメモリ側キャッシュから処理される場合、キャッシュミスをもたらす残りのトランザクションは、それらが到着した元の順序とは異なるシーケンスでＤＲＡＭから処理される。更に、キャッシュミスは、ビクティム（victim）がダーティ（dirty）である場合、ビクティムエントリがキャッシュから除去され、ＤＲＡＭにおいて更新されるようにし、これもアクセス順序を変更し得る。これは、最も高い可能な帯域幅を達成するためにＤＲＡＭトランザクションを再順序付けすることを目的とする機構を無効にする傾向がある。

メモリ側キャッシュ及びそのメインメモリの動作は、１）メモリ側キャッシュが低ヒット率を経験し、（例えば、キャッシュが新しい作業負荷のためのデータの作業セットでポピュレートされている間に）より多くのアクセスがメインメモリに到達する、及び、２）メモリ側キャッシュが高ヒット率を経験し、スペアメインメモリ帯域幅が十分に利用されていないフェーズによって、特徴付けられる。したがって、メモリ側キャッシュ装置の一実施形態は、高ヒット率フェーズ中に観察されたスペアＤＲＡＭ帯域幅を利用して、キャッシュされたデータの読み出し及び書き込みリンス（rinsing）を実行する。リンスは、利用可能なＤＲＡＭ帯域幅が検出された場合に実行され、データがアクセスされる場合にメモリ側キャッシュ内でダーティとしてマークされたデータについて実行される。

リンスが実行されると、トランザクションがキャッシュヒットであろうとキャッシュミスであろうとＤＲＡＭに送信されるので、より効率的になる傾向があるメモリトランザクションの元の順序が保存される。トランザクションの元のシーケンスは、ＤＲＡＭ効率の観点からより効率的であることが一般に予想される。更に、ＤＲＡＭ帯域幅が利用可能である場合にメモリリンスを実行することは、キャッシュからのダーティデータの追い出し（エビクト）に起因して実行されることになるメモリトランザクションの数を低減し、そうでなければ、メモリアクセス順序に干渉する可能性があり、又は、キャッシュミス率が高いプログラムのフェーズ中にＤＲＡＭ使用量が既に高い場合にメモリ帯域幅を消費する可能性がある。

図１は、メモリリンス機構が実装されるコンピューティングシステム１００の一実施形態を示している。概して、コンピューティングシステム１００は、ラップトップコンピュータ又はデスクトップコンピュータ、モバイル装置、サーバ等を含むがこれらに限定されない、多数の異なるタイプの装置のうち何れかとして具現化される。コンピューティングシステム１００は、バス１０１を介して互いに通信する多数の構成要素１０２～１０８を含む。コンピューティングシステム１００において、構成要素１０２～１０８の各々は、バス１０１を介して直接、又は、他の構成要素１０２～１０８のうち１つ以上を介して、他の構成要素１０２～１０８の何れかと通信することができる。コンピューティングシステム１００内の構成要素１０１～１０８は、ラップトップコンピュータ若しくはデスクトップコンピュータのシャーシ、又は、携帯電話のケーシング等の単一の物理的エンクロージャ内に収容される。代替の実施形態では、コンピューティングシステム１００の構成要素のうちいくつかは、コンピューティングシステム１００全体が単一の物理的エンクロージャ内に存在しないように、周辺装置として具現化される。

また、コンピューティングシステム１００は、ユーザから情報を受信する、又は、ユーザに情報を提供するためのユーザインターフェース装置を含む。具体的には、コンピューティングシステム１００は、キーボード、マウス、タッチスクリーン、又は、ユーザから情報を受け取るための他の装置等の入力装置１０２を含む。コンピューティングシステム１００は、モニタ、発光ダイオード（ＬＥＤ）ディスプレイ、液晶ディスプレイ、又は、他の出力装置等のディスプレイ１０５を介してユーザに情報を表示する。

コンピューティングシステム１００は、有線ネットワーク又は無線ネットワークを介してデータを送受信するためのネットワークアダプタ１０７を更に含む。また、コンピューティングシステム１００は、１つ以上の周辺装置１０８を含む。周辺装置１０８は、大容量記憶装置、位置検出装置、センサ、入力装置、又は、コンピューティングシステム１００によって使用される他のタイプの装置を含んでもよい。

コンピューティングシステム１００は、１つ以上の処理ユニット１０４を含み、複数の処理ユニット１０４の場合には、並列に動作することができる。処理ユニット１０４は、メモリサブシステム１０６に記憶された命令１０９を受信して実行する。一実施形態では、処理ユニット１０４の各々は、共通の集積回路基板上に存在する複数のコンピューティングノードを含む。メモリサブシステム１０６は、ランダムアクセスメモリ（ＲＡＭ）モジュール、読み出し専用メモリ（ＲＯＭ）モジュール、ハードディスク、及び、他の非一時的なコンピュータ可読記憶媒体等のような、コンピューティングシステム１００によって使用されるメモリ装置を含む。

コンピューティングシステム１００のいくつかの実施形態は、図１に示すような実施形態よりも少ない又は多い構成要素を含んでもよい。例えば、特定の実施形態は、ディスプレイ１０５又は入力装置１０２なしで実装される。他の実施形態は、２つ以上の特定の構成要素を有し、例えば、コンピューティングシステム１００の一実施形態は、複数のバス１０１、ネットワークアダプタ１０７、メモリ装置１０６等を有することができる。

一実施形態では、コンピューティングシステム１００内の処理ユニット１０４及びメモリ１０６は、図２に示すように、データ相互接続ファブリック２５０によって接続された複数の処理ユニット及びメモリパーティションとしてそれぞれ実装される。データ相互接続ファブリック２５０は、処理ユニット２０１～２０３及びメモリパーティション２０７～２０９を含む複数のコンピューティングノードを互いに接続する。処理ユニット２０１～２０３は、１つ以上のコヒーレントマスタ装置２１０を介してデータファブリック相互接続２５０に接続され、メモリパーティション２０７～２０９は、コヒーレントスレーブ装置２０４～２０６を介してデータファブリック相互接続２５０にそれぞれ接続される。一実施形態では、これらのノード２０１～２１９は、同じ装置パッケージ内及び同じ集積回路ダイ上に存在する。例えば、ノード２０１～２０９の全ては、複数の処理コアを有するモノリシック中央処理ユニット（ＣＰＵ）又はグラフィックス処理ユニット（ＧＰＵ）ダイ上に実装され得る。代替の実施形態では、ノード２０１～２０９のうちいくつかは、異なる集積回路ダイ上に存在する。例えば、ノード２０１～２０６は、共通のインターポーザに取り付けられた複数のチップレット上に存在することができ、各チップレットは、複数（例えば、４つ）の処理コアを有する。

相互接続２５０は、ノード２０１～２０９が互いに通信するための伝送経路を提供する複数の相互接続リンクを含む。一実施形態では、相互接続ファブリック２５０は、起点ノードと宛先ノードの任意の対の間に複数の異なる伝送経路を提供し、任意の所定の起点ノードが可能な各宛先ノードと通信するための異なる伝送経路を提供する。

メモリパーティション２０７～２０９のうち何れかに向けられた、処理ユニット２０１～２０３によって発行されたメモリ要求は、１つ以上のコヒーレントマスタ装置２１０を通して相互接続２５０を介して送信され、メモリパーティションのコヒーレントスレーブ装置によって受信される。例えば、メモリパーティション２０７に記憶されたデータにアクセスするためのメモリ要求は、コヒーレントスレーブ装置２０４によって受信される。一実施形態では、コヒーレントスレーブ装置２０４は、メモリパーティション２０７のスループットを最大化するために、ＤＲＡＭタイミング制約に基づいてメモリトランザクションを再順序付けする。コヒーレントスレーブ装置２０４は、次いで、再順序付けされたメモリ要求を処理のためにメモリパーティションに送信する。

図３は、一実施形態による、コンピューティングシステム１００内のメモリパーティション２０７内の構成要素を示している。メモリパーティション２０７は、データを記憶するためのＤＲＡＭ装置３１０と、ＤＲＡＭ３１０に記憶されたデータをキャッシュするためのメモリ側キャッシュ装置３２０と、を含む。メモリ側キャッシュ装置３２０内のキャッシュコントローラは、論理回路モジュール３２１～３２４を含む。また、メモリ側キャッシュ装置３２０は、キャッシュされたデータを記憶するためのデータアレイ３２６と、キャッシュされたデータのメタデータを記憶するためのタグアレイ３２５と、を含む。処理ユニット２０１～２０３によって生成された読み出し要求又は書き込み要求等のメモリトランザクションは、コヒーレントスレーブ装置２０４によってデータファブリック相互接続２５０から受信され、ＤＲＡＭスループットを最大化するためにコヒーレントスレーブ装置２０４によって再順序付けされ、再順序付けされたシーケンスでメモリパーティション２０７内のメモリ側キャッシュ装置３２０の入力／出力（Ｉ／Ｏ）ポート３２１に転送される。

メモリ側キャッシュ３２０は、メモリインターフェース３２４からの情報に基づいて、取り付けられたＤＲＡＭ装置３１０の帯域幅利用可能性を示す１つ以上のメトリックを決定する監視回路３２３を含む。十分なＤＲＡＭ帯域幅が利用可能であることを１つ以上の帯域幅利用可能性メトリックが示す場合、メモリ側キャッシュ３２０内のキャッシュされたデータの読み出し及び書き込みリンスが有効化される。一実施形態では、読み出しリンス及び書き込みリンスは、異なる帯域幅利用可能性メトリックに基づいて独立して有効化される。書き込みリンスは、データの書き込み要求に応じて、メモリ側キャッシュ３２０内のキャッシュされたデータに一致するように、ＤＲＡＭ装置３１０内のバッキングデータを更新することを指す。読み出しリンスは、データがキャッシュ３２０から読み出される場合に、キャッシュされたデータに一致するように、ＤＲＡＭ装置３１０内のバッキングデータを更新することを指す。

書き込みリンスが有効化されると、データは、Ｉ／Ｏポート３２１で受信された書き込み要求についてキャッシュを介して書き込まれる。すなわち、メモリ側キャッシュ３２０によって受信された書き込み要求の各々のペイロードデータは、（キャッシュ読み出し／書き込み論理３２２によって）キャッシュデータアレイ３２６内のエントリに書き込まれ、また、要求がキャッシュヒット又はキャッシュミスをもたらしたか否かにかかわらず、（メモリインターフェース３２４を介して）ＤＲＡＭ３１０内のメモリ位置に書き込まれる。キャッシュ読み出し／書き込み論理３２２は、（例えば、書き込まれたキャッシュエントリに関連付けられたタグ内の「ダーティ」ビットをデアサートすることによって）タグアレイ３２５内でデータを「クリーン」としてマークし、これは、データのキャッシュされたコピーがＤＲＡＭ３１０内のデータのバッキングコピーと一致することを示す。

ＤＲＡＭ３１０に向けられた書き込み要求のセットについて、１つ以上の上流装置は、ＤＲＡＭ３１０にデータを書き込むためのスループットを最大化するために書き込み要求を再順序付けする。コヒーレントスレーブ２０４は、決定した書き込みシーケンスに従って、メモリ側キャッシュ装置３２０に書き込み要求を送信する。書き込みリンスが有効化される場合、書き込み要求のためのペイロードデータは、決定された書き込みシーケンスに対応する順序でＤＲＡＭ３１０に書き込まれる。各書き込み要求に対するデータは、書き込み要求がキャッシュヒット又はキャッシュミスを引き起こすか否かにかかわらずＤＲＡＭ３１０に書き込まれるので、データは、キャッシュ装置３２０によって受信されるのと同じ順序（すなわち、最適化された書き込みシーケンス）でＤＲＡＭ３１０に書き込まれる。

キャッシュ３２０を介した書き込みは、キャッシュ３２０内のダーティデータの量を低減する。その結果、キャッシュミスが発生した場合に追い出されるダーティラインが少なくなり、キャッシュ３２０に追加されるミスデータのために容量が再割り当てされる。追い出されているダーティデータは、ＤＲＡＭ３１０内のそのバッキングデータが更新され得るように、キャッシュ３２０から読み出される。しかしながら、バッキングデータは更新を必要としないので、追い出されているデータがクリーンである場合、読み出しが必要とされない。したがって、キャッシュ３２０からの読み出し回数が低減すること起因し、キャッシュ３２０の消費電力が減少する。更に、そうでなければＤＲＡＭトランザクションの最適な順序付けに干渉する可能性があるＤＲＡＭ３１０に送信される書き込みトランザクションが少なくなる。

読み出しリンスが有効化され、メモリ側キャッシュ３２０においてキャッシュヒットをもたらす読み出し要求がメモリ側キャッシュ３２０において受信されると、キャッシュ読み出し／書き込み論理３２２は、各読み出し要求によって要求されたデータをデータアレイ３２６から読み出して返す。スペアＤＲＡＭ帯域幅が利用可能である場合、読み出しリンスが有効化される。したがって、スペア帯域幅は、ダーティなキャッシュされたデータが読み出される場合にダーティキャッシュデータをリンスするために使用される。読み出し／書き込み論理３２２は、タグアレイ３２５をチェックして、要求されたデータがキャッシュ内で「ダーティ」とマークされているか否かを判定し、「ダーティ」とマークされている場合、データはメモリインターフェース３２４を介してフラッシュされ、メモリインターフェースは、ＤＲＡＭ３１０内の対応するバッキングデータをデータのキャッシュされたバージョンで更新する。次いで、キャッシュ読み出し／書き込み論理は、キャッシュされたデータを「クリーン」としてマークする。

図４は、一実施形態による、メモリ側キャッシュ装置３２０及びＤＲＡＭ装置３１０内の構成要素を示している。メモリ側キャッシュ装置３２０内の監視回路３２３及びメモリインターフェース３２４は、ＤＲＡＭ装置３１０内のメモリコントローラ３１１に接続される。メモリインターフェース３２４は、メモリトランザクション（例えば、読み出し要求及び書き込み要求）をメモリコントローラ３１１に送信し、メモリコントローラは、ＤＲＡＭ回路において要求された読み出し及び書き込みを実行する。

監視回路３２３は、メモリインターフェース３２４から取得された情報に基づいて、読み出し及び／又は書き込みリンスが有効化されるか否かを制御する１つ以上の帯域幅利用可能性メトリックを決定する。また、監視回路は、所定の時間ウィンドウ（例えば、サイクル数、ミリ秒等によって定義される）内に発生した読み出しトランザクション及び書き込みリンストランザクションを含む書き込みトランザクションの総数を追跡するカウンタ４０１を含む。カウンタ４０１トランザクションが実行されている現在の期間にカウンタ値をインクリメントすることによって、読み出しリンス及びキャッシュライトスルートランザクションに関与する。読み出しリンス及びライトスルートランザクションが有効化され、カウンタ値がその期間のトランザクションの所定の最大数を超えない間に実行される。したがって、カウンタ４０１は、経時的なメモリリンストランザクションの数を制限するために使用される。一実施形態では、カウンタ４０１は、読み出しリンストランザクション及び書き込みリンストランザクションの数を別々に追跡し、各値をそれ自体の最大値と比較する。

一実施形態では、カウンタ４０１は、一連の各々の期間内で最大数のメモリリンストランザクションを強制するために使用される。この場合、カウンタ４０１は、各期間の開始時にリセットされる。あるいは、カウンタ４０１は、直近の時間ウィンドウ内のリンストランザクションの数を追跡し、その結果、所定の経過時間よりも長いトランザクションは、カウント値に寄与しない。

メモリ側キャッシュ装置３２０内のキャッシュコントローラは、ＤＲＡＭ装置３１０のメモリコントローラ３１１とインターフェースするメモリインターフェース３２４を含む。メモリインターフェース３２４は、メモリトランザクションをメモリコントローラ３１１に送信し、メモリコントローラは、ＤＲＡＭセルにおいて要求されたトランザクションを実行する。メモリコントローラ３１１は、着信するメモリトランザクションを記憶するための２つのキュー４０４及び４０５を含む。データコマンドキュー４０４は、実行される動作を示すコマンドを記憶し、書き込みデータバッファ４０５は、書き込まれるデータを記憶する。

メモリ側キャッシュ装置３２０のキャッシュコントローラは、トークン調停機構を使用してメモリコントローラ３１１との通信のためのフロー制御を実行する。図４に示すように、各トークンは、データコマンドキュー４０４又は書き込みデータバッファ４０５内のエントリを表す。例えば、６つのデータコマンドキュートークンの各々は、データコマンドキュー４０４内の６つの利用可能なエントリのうち何れかを表し、４つの書き込みデータバッファトークンの各々は、書き込みデータバッファ４０５内の４つの利用可能なエントリのうち何れかを表す。キャッシュコントローラ内のメモリインターフェース３２４は、十分な数のトークンが利用可能であり、要求を受信するためにバッファ４０４及び４０５内に十分な空間が空いていることを示す場合、メモリコントローラ３１１にメモリアクセス要求を発行する。要求が送信されると、トークンが消費される。メモリコントローラ３１１がバッファ４０４及び４０５内の空間を解放した場合（例えば、要求が完了した場合）、メモリコントローラ３１１は、トークンをキャッシュコントローラのメモリインターフェース３２４に返す。一実施形態では、読み出しリンストランザクション及びライトスルートランザクションの各々は、データコマンドキュー４０４内のエントリ及び書き込みデータバッファ４０５内のエントリを使用する。

監視回路３２３は、メモリ装置３１０から受信された利用可能帯域幅の指標に基づいて、１つ以上の帯域幅利用可能性メトリックを決定する。トークン調停機構が使用される一実施形態では、利用可能なメモリ帯域幅は、データコマンドキュー４０４及び書き込みデータバッファ４０５内で利用可能な空間の量に対応し、したがって、バッファ４０４及び４０５の各々に利用可能なトークンの数によって示される。したがって、監視回路３２３は、コマンドキュー４０４及び書き込みデータバッファ４０５の各々について利用可能なトークンの数に基づいて、１つ以上の帯域幅利用可能性メトリックを決定する。バッファ４０４及び４０５の何れかに対する利用可能なトークンの数が多いほど、利用可能なメモリ帯域幅の量が多いことに対応する。

監視回路３２３は、読み出しリンス機構及びライトスルー機構の各々について異なる帯域幅利用可能性メトリックを決定する。閾値比較論理４０２は、各メトリックを異なる閾値と比較する。したがって、読み出しリンス及びライトスルー機構は、異なる条件下で有効化及び無効化することができる。閾値比較論理４０２が、読み出しリンス機構の帯域幅利用可能性メトリックによって示される利用可能な帯域幅が、その対応する閾値よりも大きい（例えば、利用可能なトークンの数が、各バッファ４０４及び４０５のトークンの閾値数を超える）と判定した場合、読み出しリンス機構が有効化される。すなわち、帯域幅利用可能性が条件を満たす（例えば、閾値を上回る）場合、読み出しリンス機構及びライトスルー機構を有効化することができる。同様に、閾値比較論理４０２が、ライトスルー機構の帯域幅利用可能性メトリックによって示される利用可能な帯域幅がその対応する閾値よりも大きいと判定した場合、ライトスルー機構が有効化される。

図５は、一実施形態による、メモリ帯域幅が利用可能である場合にキャッシュされたデータをリンスするための処理５００を示している。リンス処理５００は、メモリ側キャッシュ装置３２０及びＤＲＡＭ装置３１０を含むコンピューティングシステム１００内の構成要素によって実行される。

ブロック５０１において、監視回路３２３は、ＤＲＡＭ装置３１０のための１つ以上の帯域幅利用可能性メトリックを決定する。監視回路３２３は、データコマンドキュー４０４及び書き込みデータバッファ４０５内の利用可能なエントリを表すトークン４０３の数を監視し、したがって、これらのメトリックを１つ以上の異なる閾値と比較して、プロアクティブ読み出しリンス又はライトスルートランザクションを実行するために十分なメモリ帯域幅が利用可能であるか否かを判定することができる。

ブロック５０３において、メモリ側キャッシュ３２０において書き込み要求が受信されない場合、処理５００はブロック５０５に進む。ブロック５０５において、メモリ側キャッシュ３２０において読み出し要求が受信されない場合、処理５００はブロック５０１に戻る。したがって、監視回路３２３は、メモリ要求が受信されていない場合、ＤＲＡＭ装置３１０のメモリ帯域幅の利用可能性の監視を継続する。

ブロック５０３で、書き込み要求がキャッシュ装置３２０のＩ／Ｏポート３２１で受信されると、キャッシュ読み出し／書き込み論理３２２は、書き込み要求によって指定されたペイロードデータをデータアレイ３２６内のエントリに書き込む。ブロック５０９において、閾値比較論理４０２は、（カウンタ４０１によって示されるような）現在の期間に実行されたライトスルートランザクションの数を最大数と比較する。ライトスルートランザクションの最大数を超えた場合、ライトスルーが実行されず、キャッシュ読み出し／書き込み論理３２２は、タグアレイ３２５内のその対応するタグにおいて、キャッシュされたデータを「ダーティ」としてマークする。処理５００はブロック５０１に戻り、メモリ帯域幅利用可能性メトリックの監視を継続する。

ブロック５０９において、カウンタ４０１によって示されるように、ライトスルートランザクションの最大数を超えていない場合、処理５００はブロック５１３に進む。ブロック５１３において、監視回路３２３は、利用可能なメモリ帯域幅がライトスルートランザクションを有効化するための閾値よりも大きいか否かを判定する。特に、閾値比較論理４０２は、利用可能なトークン４０３の数を閾値と比較する。トークンの数が閾値を超える場合、ライトスルートランザクションが有効化される。一実施形態では、バッファ４０４及び４０５の各々について利用可能なトークンの数が、それら自体のそれぞれの閾値と比較され、両方の閾値を超えた場合にライトスルートランザクションが有効化される。利用可能なメモリ帯域幅が閾値よりも大きくない場合、ライトスルートランザクションが有効化されず、処理５００はブロック５１１に進む。ブロック５１１において、キャッシュ読み出し／書き込み論理３２２は、キャッシュされたデータを「ダーティ」としてマークし、処理５００は、ブロック５０１に戻って、メモリ帯域幅利用可能性メトリックの監視を継続する。

ブロック５１３において、利用可能なメモリ帯域幅が閾値よりも大きい場合、ライトスルートランザクションが有効化される。ブロック５１５において提供されるように、メモリインターフェース３２４は、ペイロードデータをＤＲＡＭ装置３１０に書き込むことによってペイロードデータのライトスルーを実行する。カウンタ４０１は、現在の期間におけるライトスルートランザクションをカウントするためにインクリメントされる。ブロック５１７において、キャッシュ読み出し／書き込み論理３２２は、メモリ側キャッシュ装置３２０に書き込まれたペイロードデータがＤＲＡＭ装置３１０に書き込まれたペイロードデータと一致するという指標を記録するために、（例えば、キャッシュされたデータを含むエントリに関連付けられたタグ内の「ダーティ」ビットをデアサートすることによって）キャッシュされたデータを「クリーン」としてマークする。ブロック５１７から、処理５００はブロック５１０に戻り、メモリ帯域幅の監視を継続する。

したがって、ブロック５０３～５１７は、十分なメモリ帯域幅が利用可能であり、ライトスルートランザクションの数が最大数を超えていない場合、キャッシュライトスルーを実行するために、キャッシュ装置３２０のＩ／Ｏポート３２１において受信された各書き込み要求について繰り返される。その結果、ライトスルー機構が有効化されると、ペイロードデータは、書き込み要求が最初に受信されたシーケンスに対応する順序でメモリ装置３１０に書き込まれる。

ブロック５０５において、読み出し要求がメモリ側キャッシュ装置３２０のＩ／Ｏポート３２１で受信されると、キャッシュ読み出し／書き込み論理３２２は、ブロック５１９において、タグアレイ３２５をチェックして、要求されたデータがデータアレイ３２６内にあるか否かを判定する。読み出し要求がキャッシュミスをもたらす場合、要求されたデータがＤＲＡＭ装置３１０から読み出される。ブロック５２１で提供されるように、キャッシュ読み出し／書き込み論理３２２は、データを含むようにデータアレイ３２６及びタグアレイ３２５を更新し、要求を完了するためにデータが返される。ブロック５２１から、処理５００はブロック５０１に戻り、メモリ帯域幅利用可能性の監視を継続する。

ブロック５１９において、読み出し要求がキャッシュヒットをもたらす場合、ブロック５２３において提供されるように、キャッシュ読み出し／書き込み論理３２２は、要求されたデータをデータアレイ３２６から読み出して返す。ブロック５２５で、キャッシュ読み出し／書き込み論理３２２は、タグアレイ３２５内のデータのタグをチェックして、データがダーティである（例えば、データのエントリの「ダーティ」ビットがアサートされている）か否かを判定する。データがダーティでない場合、キャッシュされたデータは、ＤＲＡＭ装置３１０内のそのバッキングデータと既に一致しており、処理５００は、ブロック５０１に戻って、読み出しリンスを実行することなくメモリ帯域幅利用可能性の監視を継続する。

ブロック５２５において、キャッシュされたデータがダーティである場合、キャッシュされたデータは、ＤＲＡＭ装置３１０内のそのバッキングデータと一致せず、処理５００はブロック５２７に進む。ブロック５２７では、監視回路３２３は、読み出しリンストランザクションの最大数を超えたか否かを判定する。閾値比較論理４０２は、現在の期間についてカウンタ４０１によってカウントされた読み出しリンストランザクションの数を、現在の期間について許容される読み出しリンストランザクションの最大数と比較する。読み出しリンストランザクションの最大数を超えている場合、読み出しリンスが実行されず、処理５００はブロック５０１に戻る。

ブロック５２７において、現在の時間期間読み出しリンストランザクションの最大数を超えていない場合、処理５００はブロック５２９に進む。ブロック５２９において、監視論理は、利用可能なメモリ帯域幅が読み出しリンスを有効化するための閾値を超えているか否かを判定する。一実施形態では、閾値比較論理４０２は、利用可能なデータコマンドキュー４０４及び書き込みデータバッファ４０５トークンの数をそれぞれの閾値と比較し、両方の閾値を超えた場合、読み出しリンスが有効化される。一実施形態では、読み出しリンスを有効化するための閾値は、ライトスルーを有効化するための閾値とは異なる。読み出しリンスが有効化されていない場合、処理５００はブロック５０１に戻る。

ブロック５２９では、監視回路３２３が、十分なメモリ帯域幅が利用可能であると判定した場合、メモリインターフェース３２４は、バッキングデータがキャッシュ３２０内のその対応するデータと一致するように、読み出し要求に対応するバッキングデータを更新することによって、読み出しリンスを実行する。メモリインターフェース３２４は、データを有する書き込み要求をメモリコントローラ３１１に送信し、カウンタ４０１は、現在の期間における読み出しリンストランザクションをカウントするためにインクリメントされる。ブロック５３３において、キャッシュ読み出し／書き込み論理３２２は、メモリ側キャッシュ装置３２０内のキャッシュされたデータがＤＲＡＭ装置３１０内のそのバッキングデータと一致することを示すために、キャッシュされたエントリの「ダーティ」ビットをデアサートする。ブロック５３３から、処理５００はブロック５０１に戻る。

したがって、ブロック５０５～５３３は、十分なメモリ帯域幅が利用可能である場合、及び、読み出しリンストランザクションの数が最大数を超えていない場合、キャッシュ読み出しリンスを実行するために、キャッシュ装置３２０のＩ／Ｏポート３２１において受信された各読み出し要求について繰り返す。上記のライトスルー及び読み出しリンス機構の結果として、キャッシュ３２０が高ヒット率を経験するフェーズ中に利用可能なスペアメモリ帯域幅が、キャッシュ３２０内のクリーンデータを維持するために利用され、したがって、最適なメモリ書き込みシーケンスが保存されることを可能にし、ＤＲＡＭ３１０にライトバックされるビクティムの数を低減する。

本方法は、メモリ装置に結合されたメモリ側キャッシュ装置において受信された複数の書き込み要求の各書き込み要求に応じて、書き込み要求によって指定されたペイロードデータをメモリ側キャッシュ装置に書き込むことと、第１の帯域幅利用可能性条件が満たされた場合に、キャッシュライトスルーを実行することと、を含む。キャッシュライトスルーは、ペイロードデータをメモリ装置に書き込み、メモリ側キャッシュ装置に書き込まれたペイロードデータがメモリ装置に書き込まれたペイロードデータと一致するという指標を記録することによって実行される。

本方法では、複数の書き込み要求の各書き込み要求について、書き込み要求によって指定されたペイロードデータを書き込むことは、メモリ側キャッシュ装置のエントリにデータを記憶することを含む。指標を記録することは、エントリに関連付けられたタグ内のダーティビットをデアサートすることを含む。

本方法は、書き込みシーケンスに従ってメモリ側キャッシュにおいて複数の書き込み要求を受信することを更に含む。メモリ装置へのペイロードデータの書き込みは、書き込みシーケンスに対応する順序で実行される。

本方法は、メモリ側キャッシュ装置で受信された複数の読み出し要求の各読み出し要求に応じて、読み出し要求がメモリ側キャッシュ内でキャッシュヒットを引き起こす場合、読み出し要求によって要求されたキャッシュされたデータがメモリ装置内のバッキングデータと異なるという指標に応じて、キャッシュされたデータに一致するようにバッキングデータを更新することと、メモリ側キャッシュ内のキャッシュされたデータがメモリ装置内のバッキングデータに一致するという指標を記録することと、を更に含む。

また、本方法は、メモリ装置の第１の帯域幅利用可能性メトリックを決定することを含む。第１の帯域幅利用可能性条件は、第１の帯域幅利用可能性メトリックが第１の帯域幅閾値よりも大きい場合に満たされる。

本方法は、メモリ装置のコマンドキュー及びメモリ装置の書き込みデータバッファの各々における利用可能な空間の量に基づいて、メモリ装置のための第２の帯域幅利用可能性メトリックを決定することを更に含む。バッキングデータの更新は、第２の帯域幅利用可能性メトリックが第２の帯域幅閾値よりも大きいと決定したことに応じて更に実行される。

本方法は、メモリ装置のコマンドキュー及びメモリ装置の書き込みデータバッファの各々の利用可能な空間の量に基づいて、第１の帯域幅利用可能性メトリックを決定することを更に含む。

本方法は、メモリ装置から受信された利用可能帯域幅の指標に基づいて、第１の帯域幅条件がいつ満たされるかを判定することを更に含む。

本方法では、複数の書き込み要求の各書き込み要求について、キャッシュライトスルーを実行することは、現在の時間期間に対するカウンタ値をインクリメントすることを更に含み、キャッシュライトスルーは、カウンタ値が現在の時間期間に対するキャッシュライトスルートランザクションの最大数未満であると決定することに応じて実行される。

メモリ側キャッシュ装置は、メモリ装置に結合されたメモリ側キャッシュ装置において受信された複数の書き込み要求の各書き込み要求に応じて、書き込み要求によって指定されたペイロードデータをメモリ側キャッシュ装置に書き込むためのキャッシュ読み出し／書き込み論理と、複数の書き込み要求の各書き込み要求に応じて、ペイロードデータをメモリ装置に書き込むことによって第１の帯域幅利用可能性条件が満たされた場合にキャッシュライトスルーを実行するためのメモリインターフェースと、を含む。キャッシュ読み出し／書き込み論理は、メモリ側キャッシュ装置に書き込まれたペイロードデータがメモリ装置に書き込まれたペイロードデータと一致するという指標を記録することによって、キャッシュライトスルーを実行する。

メモリ側キャッシュ装置では、キャッシュ読み出し／書き込み論理は、複数の書き込み要求の各書き込み要求について、メモリ側キャッシュ装置のエントリにデータを記憶することによって書き込み要求によって指定されたペイロードデータを書き込み、エントリに関連付けられたタグ内のダーティビットをデアサートすることによって指標を記録する。

メモリ側キャッシュ装置は、書き込みシーケンスに従って複数の書き込み要求を受信するための入力／出力ポートを更に含む。メモリインターフェースは、書き込みシーケンスに対応する順序でペイロードデータをメモリ装置に書き込む。

メモリ側キャッシュ装置において、メモリインターフェースは、メモリ側キャッシュ装置において受信された複数の読み出し要求の各読み出し要求に応じて、読み出し要求がメモリ側キャッシュにおいてキャッシュヒットを引き起こし、読み出し要求によって要求されたキャッシュされたデータがメモリ装置内のバッキングデータと異なるという指標に応じて、バッキングデータをキャッシュされたデータに一致するように更新することによって、読み出しリンスを実行する。キャッシュ読み出し／書き込み論理は、メモリ側キャッシュ内のキャッシュされたデータがメモリ装置内のバッキングデータと一致するという指標を記録することによって読み出しリンスを実行する。

また、メモリ側キャッシュ装置は、メモリ装置のコマンドキュー及びメモリ装置の書き込みデータバッファの各々における利用可能な空間の量に基づいて、第１の帯域幅利用可能性メトリックを決定するための監視回路を含む。第１の帯域幅利用可能性条件は、第１の帯域幅利用可能性メトリックが第１の帯域幅閾値よりも大きい場合に満たされる。

メモリ側キャッシュ装置では、監視回路は、メモリ装置のコマンドキュー及びメモリ装置の書き込みデータバッファの各々における利用可能な空間の量に基づいて、メモリ装置のための第２の帯域幅利用可能性メトリックを決定する。メモリインターフェースは、第２の帯域幅利用可能性メトリックが第２の帯域幅閾値よりも大きいと決定したことに応じて、バッキングデータを更新する。

メモリ側キャッシュ装置は、メモリ装置から受信された利用可能帯域幅の指標に基づいて、第１の帯域幅利用可能性条件がいつ満たされるかを判定するための監視回路を含む。

また、メモリ側キャッシュ装置は、複数の書き込み要求の各書き込み要求について、現在の時間期間のカウンタ値をインクリメントすることによってキャッシュライトスルーを実行するためのカウンタを含む。キャッシュライトスルーは、カウンタ値が現在の期間のキャッシュライトスルートランザクションの最大数未満であると判定したことに応じて実行される。

コンピューティングシステムは、バッキングデータを記憶するためのメモリ装置と、メモリ装置に結合されたメモリ側キャッシュ装置であって、メモリ側キャッシュ装置において受信された複数の書き込み要求の各書き込み要求に応じて、書き込み要求によって指定されたペイロードデータをメモリ側キャッシュ装置に書き込み、第１の帯域幅利用可能性条件が満たされた場合にキャッシュライトスルーを実行する、メモリ側キャッシュ装置と、を含む。キャッシュライトスルーは、ペイロードデータをメモリ装置に書き込み、メモリ側キャッシュ装置に書き込まれたペイロードデータがメモリ装置に書き込まれたペイロードデータと一致するという指標を記録することによって実行される。

コンピューティングシステムにおいて、メモリ側キャッシュ装置は、メモリ装置の第１の帯域幅利用可能性メトリックを決定する。第１の帯域幅利用可能性条件は、第１の帯域幅利用可能性メトリックが第１の帯域幅閾値よりも大きい場合に満たされる。

コンピューティングシステムにおいて、メモリ側キャッシュ装置は、メモリ側キャッシュ装置において受信された複数の読み出し要求の各読み出し要求に応じて、読み出し要求がメモリ側キャッシュにおいてキャッシュヒットを引き起こし、読み出し要求によって要求されたキャッシュされたデータがメモリ装置内のバッキングデータと異なるという指標に応じて、バッキングデータをキャッシュされたデータに一致するように更新し、メモリ側キャッシュ内のキャッシュされたデータがメモリ装置内のバッキングデータに一致するという指標を記録し、メモリ装置のコマンドキュー及びメモリ装置の書き込みデータバッファの各々における利用可能な空間の量に基づいてメモリ装置のための第２の帯域幅利用可能性メトリックを決定する。バッキングデータの更新は、第２の帯域幅利用可能性メトリックが第２の帯域幅閾値よりも大きいと決定したことに応じて更に実行される。

コンピューティングシステムは、データファブリック相互接続を介して複数の書き込み要求を受信し、複数の書き込み要求に対する書き込みシーケンスを決定し、書き込みシーケンスに従って複数の書き込み要求をメモリ側キャッシュ装置に送信するコヒーレントスレーブ装置を更に含み、メモリ装置へのペイロードデータの書き込みは、書き込みシーケンスに対応する順序で実行される。

コンピューティングシステムは、複数の書き込み要求を含むメモリトランザクションを１つ以上の処理ユニットからメモリ側キャッシュ装置に送信するための、メモリ側キャッシュ装置に結合されたデータファブリック相互接続を更に含む。

本明細書で使用される場合、「に結合される」という用語は、１つ以上の介在する構成要素を介して直接的又は間接的に結合されることを意味し得る。本明細書で説明する様々なバスを介して提供される信号の何れも、他の信号と時分割され、１つ以上の共通バスを介して提供され得る。更に、回路構成要素とブロック間との相互接続は、バス又は単一の信号線として示され得る。バスの各々は、代替として、１つ以上の単一の信号線であってもよく、単一の信号線の各々は、代替として、バスであってもよい。

特定の実施形態は、非一時的なコンピュータ可読記憶媒体に記憶された命令を含み得るコンピュータプログラム製品として実装され得る。これらの命令は、説明した動作を実行するように汎用プロセッサ又は専用プロセッサをプログラムするために使用され得る。コンピュータ可読記憶媒体は、機械（例えば、コンピュータ）によって可読な形態（例えば、ソフトウェア、処理アプリケーション）で情報を記憶又は送信するための任意の機構を含む。非一時的なコンピュータ可読記憶媒体は、磁気記憶媒体（例えば、フロッピー（登録商標）ディスケット）と、光記憶媒体（例えば、ＣＤ－ＲＯＭ）と、光磁気記憶媒体と、読み出し専用メモリ（ＲＯＭ）と、ランダムアクセスメモリ（ＲＡＭ）と、消去可能なプログラマブルメモリ（例えば、ＥＰＲＯＭ及びＥＥＰＲＯＭ）と、フラッシュメモリ、又は電子命令を記憶するのに適した別のタイプの媒体と、を含んでもよいが、それらに限定されない。

加えて、いくつかの実施形態は、コンピュータ可読記憶媒体が２つ以上のコンピュータシステム上に記憶され及び／又は２つ以上のコンピュータシステムによって実行される分散コンピューティング環境において実装されてもよい。更に、コンピュータシステム間で転送される情報は、コンピュータシステムを接続する伝送媒体を介してプル又はプッシュされてもよい。

概して、コンピュータ可読記憶媒体に搭載されるコンピューティングシステム１００及び／又はその一部を表すデータ構造は、プログラムによって読み取られることができ、コンピューティングシステム１００を含むハードウェアを製造するために、直接又は間接的に使用され得るデータベース又は他のデータ構造であり得る。例えば、データ構造は、Ｖｅｒｉｌｏｇ又はＶＨＤＬ等の高レベル設計言語（high-level design language、ＨＤＬ）におけるハードウェア機能の行動レベルの記述又はレジスタ転送レベル（register-transfer level、ＲＴＬ）の記述であり得る。記述は、合成ライブラリからゲートのリストを含むネットリストを生成するために記述を合成することができる合成ツールによって読み取られることができる。ネットリストは、コンピューティングシステム１００を含むハードウェアの機能も表すゲートのセットを含む。ネットリストは、次いで、マスクに適用される幾何学的形状を記述するデータセットを生成するために配置され、ルーティングされ得る。次いで、マスクは、コンピューティングシステム１００に対応する半導体回路（複数可）を製造するために、様々な半導体製造工程において使用され得る。代替的に、コンピュータ可読記憶媒体上のデータベースは、所望に応じて、ネットリスト（合成ライブラリの有無にかかわらず）若しくはデータセット、又は、グラフィックデータシステム（Graphic Data System、ＧＤＳ）ＩＩデータであり得る。

本明細書における方法（複数可）の動作が特定の順序で示され説明されているが、各方法の動作の順序は、特定の動作が逆の順序で実行され得るように、又は、特定の動作が少なくとも部分的に他の動作と同時に実行され得るように変更され得る。別の実施形態では、個別の動作の命令又はサブ動作は、断続的及び／又は交互に行われてもよい。

上記の明細書において、実施形態は、その特定の例示的な実施形態を参照して説明された。しかしながら、添付の特許請求の範囲に記載された実施形態のより広い範囲から逸脱することなく、様々な修正及び変更がそれらになされ得ることが明らかであろう。したがって、本明細書及び図面は、限定的な意味ではなく例示的な意味で捉えられるべきである。

Claims (22)

1. 方法であって、
   メモリ装置に結合されたメモリ側キャッシュ装置において受信された複数の書き込み要求の各々に応じて、
   前記書き込み要求によって指定されたペイロードデータを前記メモリ側キャッシュ装置に書き込むことと、
   第１の帯域幅利用可能性条件が満たされた場合に、前記ペイロードデータを前記メモリ装置に書き込むことと、前記メモリ側キャッシュ装置に書き込まれた前記ペイロードデータが前記メモリ装置に書き込まれた前記ペイロードデータと一致するという指標を記録することと、によって、キャッシュライトスルーを実行することと、を含む、
   方法。
2. 前記複数の書き込み要求の各々について、
   前記書き込み要求によって指定された前記ペイロードデータを書き込むことは、前記メモリ側キャッシュ装置のエントリに前記ペイロードデータを記憶することを含み、
   前記指標を記録することは、前記エントリに関連付けられたタグ内のダーティビットをデアサートすることを含む、
   請求項１の方法。
3. 書き込みシーケンスに従って前記メモリ側キャッシュにおいて前記複数の書き込み要求を受信することを更に含み、
   前記ペイロードデータを前記メモリ装置に書き込むことは、前記書き込みシーケンスに対応する順序で実行される、
   請求項１の方法。
4. 前記メモリ側キャッシュ装置において受信された複数の読み出し要求の各々に応じて、前記読み出し要求が前記メモリ側キャッシュ内でキャッシュヒットを引き起こす場合に、前記読み出し要求によって要求されたキャッシュされたデータが前記メモリ装置内のバッキングデータと異なるという指標に応じて、
   前記キャッシュされたデータに一致するように前記バッキングデータを更新することと、
   前記メモリ側キャッシュ内の前記キャッシュされたデータが、前記メモリ装置内の前記バッキングデータと一致するという指標を記録することと、を更に含む、
   請求項１の方法。
5. 前記メモリ装置の第１の帯域幅利用可能性メトリックを決定することを更に含み、
   前記第１の帯域幅利用可能性メトリックが第１の帯域幅閾値よりも大きい場合に、前記第１の帯域幅利用可能性条件が満たされる、
   請求項１の方法。
6. 前記メモリ装置のコマンドキュー及び前記メモリ装置の書き込みデータバッファの各々における利用可能な空間の量に基づいて、前記メモリ装置の第２の帯域幅利用可能性メトリックを決定することを更に含み、
   前記バッキングデータを更新することは、前記第２の帯域幅利用可能性メトリックが第２の帯域幅閾値よりも大きいと決定したことに応じて実行される、
   請求項５の方法。
7. 前記メモリ装置のコマンドキュー及び前記メモリ装置の書き込みデータバッファの各々における利用可能な空間の量に基づいて、前記第１の帯域幅利用可能性メトリックを決定することを更に含む、
   請求項５の方法。
8. 前記メモリ装置から受信された利用可能な帯域幅の指標に基づいて、前記第１の帯域幅利用可能性条件がいつ満たされるかを判定することを更に含む、
   請求項１の方法。
9. 前記複数の書き込み要求の各々について、
   前記キャッシュライトスルーを実行することは、現在の時間期間のカウンタ値をインクリメントすることを含み、
   前記キャッシュライトスルーは、前記カウンタ値が前記現在の時間期間についてのキャッシュライトスルートランザクションの最大数未満であると決定したことに応じて実行される、
   請求項１の方法。
10. メモリ側キャッシュ装置であって、
    メモリ装置に結合されたメモリ側キャッシュ装置において受信された複数の書き込み要求の各々に応じて、前記書き込み要求によって指定されたペイロードデータを前記メモリ側キャッシュ装置に書き込むように構成されたキャッシュ読み出し／書き込み論理と、
    前記複数の書き込み要求の各々に応じて、前記ペイロードデータを前記メモリ装置に書き込むことによって第１の帯域幅利用可能性条件が満たされる場合に、キャッシュライトスルーを実行するように構成されたメモリインターフェースと、を備え、
    前記キャッシュ読み出し／書き込み論理は、前記メモリ側キャッシュ装置に書き込まれた前記ペイロードデータが前記メモリ装置に書き込まれた前記ペイロードデータと一致するという指標を記録することによって、前記キャッシュライトスルーを実行するように構成されている、
    メモリ側キャッシュ装置。
11. 前記キャッシュ読み出し／書き込み論理は、前記複数の書き込み要求の各々について、
    前記書き込み要求によって指定された前記ペイロードデータを、前記メモリ側キャッシュ装置のエントリに記憶することによって書き込み、
    前記エントリに関連付けられたタグ内のダーティビットをデアサートすることによって前記指標を記録するように構成されている、
    請求項１０のメモリ側キャッシュ装置。
12. 書き込みシーケンスに従って前記複数の書き込み要求を受信するように構成された入力／出力ポートであって、前記メモリインターフェースは、前記書き込みシーケンスに対応する順序で前記ペイロードデータを前記メモリ装置に書き込むように構成されている、入力／出力ポートを更に備える、
    請求項１０のメモリ側キャッシュ装置。
13. 前記メモリインターフェースは、前記メモリ側キャッシュ装置において受信された複数の読み出し要求の各々に応じて、前記読み出し要求が前記メモリ側キャッシュにおいてキャッシュヒットを引き起こす場合に、前記読み出し要求によって要求されたキャッシュされたデータが前記メモリ装置内のバッキングデータと異なるという指標に応じて、前記バッキングデータを前記キャッシュされたデータに一致するように更新することによって、読み出しリンスを実行するように構成されており、
    前記キャッシュ読み出し／書き込み論理は、前記メモリ側キャッシュ内の前記キャッシュされたデータが前記メモリ装置内の前記バッキングデータと一致するという指標を記録することによって、前記読み出しリンスを実行するように構成されている、
    請求項１０のメモリ側キャッシュ装置。
14. 前記メモリ装置のコマンドキューと前記メモリ装置の書き込みデータバッファとの各々における利用可能な空間の量に基づいて第１の帯域幅利用可能性メトリックを決定し、前記第１の帯域幅利用可能性メトリックが第１の帯域幅閾値よりも大きい場合に、前記第１の帯域幅利用可能性条件が満たされるように構成された監視回路を更に備える、
    請求項１０のメモリ側キャッシュ装置。
15. 前記監視回路は、前記メモリ装置のコマンドキュー及び前記メモリ装置の書き込みデータバッファの各々における利用可能な空間の量に基づいて、前記メモリ装置の第２の帯域幅利用可能性メトリックを決定するように構成されており、
    前記メモリインターフェースは、前記第２の帯域幅利用可能性メトリックが第２の帯域幅閾値よりも大きいと決定したことに応じて、前記バッキングデータを更新するように構成されている、
    請求項１４のメモリ側キャッシュ装置。
16. 前記メモリ装置から受信された利用可能な帯域幅の指標に基づいて、前記第１の帯域幅利用可能性条件がいつ満たされるかを判定するように構成された監視回路を更に備える、
    請求項１０のメモリ側キャッシュ装置。
17. 前記複数の書き込み要求の各々について、
    現在の時間期間についてのカウンタ値をインクリメントすることによって前記キャッシュライトスルーを実行し、前記キャッシュライトスルーが、前記カウンタ値が前記現在の時間期間についてのキャッシュライトスルートランザクションの最大数未満であると決定したことに応じて実行されように構成されたカウンタを更に備える、
    請求項１０のメモリ側キャッシュ装置。
18. コンピューティングシステムであって、
    バッキングデータを記憶するように構成されたメモリ装置と、
    前記メモリ装置に結合されたメモリ側キャッシュ装置と、を備え、
    前記メモリ側キャッシュ装置は、
    前記メモリ側キャッシュ装置において受信された複数の書き込み要求の各々に応じて、
    前記書き込み要求によって指定されたペイロードデータを前記メモリ側キャッシュ装置に書き込むことと、
    第１の帯域幅利用可能性条件が満たされた場合に、前記ペイロードデータを前記メモリ装置に書き込むことと、前記メモリ側キャッシュ装置に書き込まれた前記ペイロードデータが前記メモリ装置に書き込まれた前記ペイロードデータと一致するという指標を記録することと、によって、キャッシュライトスルーを実行することと、
    を行うように構成されている、
    コンピューティングシステム。
19. 前記メモリ側キャッシュ装置は、
    前記メモリ装置の第１の帯域幅利用可能性メトリックを決定し、前記第１の帯域幅利用可能性メトリックが第１の帯域幅閾値よりも大きい場合に、前記第１の帯域幅利用可能性条件が満たされるように構成されている、
    請求項１８のコンピューティングシステム。
20. 前記メモリ側キャッシュ装置は、
    前記メモリ側キャッシュ装置において受信された複数の読み出し要求の各々に応じて、前記読み出し要求が前記メモリ側キャッシュ内でキャッシュヒットを引き起こす場合に、前記読み出し要求によって要求されたキャッシュされたデータが前記メモリ装置内のバッキングデータと異なるという指標に応じて、
    前記キャッシュされたデータに一致するように前記バッキングデータを更新することと、
    前記メモリ側キャッシュ内の前記キャッシュされたデータが、前記メモリ装置内の前記バッキングデータと一致するという指標を記録することと、
    前記メモリ装置のコマンドキュー及び前記メモリ装置の書き込みデータバッファの各々における利用可能な空間の量に基づいて、前記メモリ装置の第２の帯域幅利用可能性メトリックを決定することであって、前記バッキングデータを更新することは、前記第２の帯域幅利用可能性メトリックが第２の帯域幅閾値よりも大きいと決定したことに応じて実行される、ことと、
    を行うように構成されている、
    請求項１９のコンピューティングシステム。
21. コヒーレントスレーブ装置を更に備え、
    前記コヒーレントスレーブ装置は、
    データファブリック相互接続を介して前記複数の書き込み要求を受信することと、
    前記複数の書き込み要求の書き込みシーケンスを決定することと、
    前記書き込みシーケンスに従って前記複数の書き込み要求を前記メモリ側キャッシュ装置に送信することであって、前記ペイロードデータを前記メモリ装置に書き込むことは、前記書き込みシーケンスに対応する順序で実行される、ことと、
    を行うように構成されている、
    請求項１８のコンピューティングシステム。
22. 前記メモリ側キャッシュ装置に結合され、前記複数の書き込み要求を含むメモリトランザクションを１つ以上の処理ユニットから前記メモリ側キャッシュ装置に送信するように構成されたデータファブリック相互接続を更に備える、
    請求項１８のコンピューティングシステム。

Images