JP2023507292A - ゼロ値メモリ圧縮 - Google Patents

ゼロ値メモリ圧縮 Download PDF

Info

Publication number
JP2023507292A
JP2023507292A JP2022535063A JP2022535063A JP2023507292A JP 2023507292 A JP2023507292 A JP 2023507292A JP 2022535063 A JP2022535063 A JP 2022535063A JP 2022535063 A JP2022535063 A JP 2022535063A JP 2023507292 A JP2023507292 A JP 2023507292A
Authority
JP
Japan
Prior art keywords
cache directory
directory entry
management device
data
coherency management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022535063A
Other languages
English (en)
Inventor
カリヤナスンダラム ヴィドヒャナサン
ピー． アプテ アミット
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Micro Devices Inc
Original Assignee
Advanced Micro Devices Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Micro Devices Inc filed Critical Advanced Micro Devices Inc
Publication of JP2023507292A publication Critical patent/JP2023507292A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0815—Cache consistency protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0815—Cache consistency protocols
    • G06F12/0817—Cache consistency protocols using directory methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0888—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches using selective caching, e.g. bypass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0891—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches using clearing, invalidating or resetting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1041—Resource optimization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/60—Details of cache memory
    • G06F2212/608—Details relating to cache mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

Figure 2023507292000001
コヒーレンシ管理デバイスは、メインメモリのアドレスからデータを読み取る又はそれにデータを書き込む要求を受信する。書き込み時に、データにゼロデータが含まれている場合に、メモリアドレスに対応するエントリが存在しない場合にはキャッシュディレクトリに生成され、無効な状態に設定され、データにゼロデータが含まれていることを示す。ゼロデータは、メインメモリ又はキャッシュに書き込まれない。読み取り時に、キャッシュディレクトリは、メモリアドレスに対応するエントリについてチェックされる。エントリがキャッシュディレクトリに存在し、無効であり、メモリアドレスに対応するデータにゼロデータが含まれているという指標を含む場合、コヒーレンシ管理デバイスは、メインメモリ又はキャッシュからデータをフェッチせずに、要求に応じてゼロデータを返す。
【選択図】図６

Description

（関連出願の相互参照）
本願は、２０１９年１２月２０日に出願された米国特許出願第１６／７２３，７８０号の利益を主張するものであり、その内容は参照により本明細書に組み込まれる。
コンピュータシステムのメインメモリは、通常、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）デバイス等の比較的安価で高密度のメモリデバイスを含む。しかし、このようなデバイスのアクセス時間は、通常、比較的長い。したがって、コンピュータシステムは、通常、性能を改善するために少なくとも１つのキャッシュメモリを含む。キャッシュメモリは、通常、プロセッサの比較的近くに配置されている比較的高速なメモリデバイスである。マルチプロセッサコンピュータシステムでは、各プロセッサ（又はプロセッサコア）は、通常、それ自体の専用のレベル１（Ｌ１）のキャッシュを有し、場合によっては、他のキャッシュ（例えば、レベル２（Ｌ２）、レベル３（Ｌ３））を他のプロセッサ又はプロセッサコアと共有する。
各ノード（例えば、プロセッサ、コア、又は、コア複合体）が専用のキャッシュを有するマルチノードコンピュータシステムでは、異なるノードによって使用されているデータのコヒーレンシを維持するための技術が実装されている。例えば、プロセッサが特定のメモリアドレスでメインメモリに格納されているデータにアクセスしようとする場合、最初に、そのメモリアドレスに対応するデータが別のキャッシュに格納されて変更されているかどうかを判定しなければならない。一部のそのようなアプローチは、システムによって現在使用されているキャッシュラインを追跡するために使用されるキャッシュディレクトリを含む。場合によっては、キャッシュディレクトリは、コンピュータシステムによって要求されるメモリ要求及びプローブ要求の数を減らすことによって、メモリ帯域幅を改善する。キャッシュディレクトリは、通常、（「ガードバンド（guard band）」によって）、例えば、アプリケーションの実行時に特定のデータセットのローカルな「ホットスポット（hot-spotting）」を処理するには、サイズ過大になる。したがって、アプリケーションは、通常、予備の未使用エントリをキャッシュディレクトリに残す。
いくつかのアプリケーションでは、プロセッサは、ゼロデータ（すなわち、ゼロのみを含むデータ）をメインメモリに書き込む。このようなアプリケーションには、メモリの消去（例えば、別の目的で使用するためにメモリをクリアする）や、高度なデータの希薄性（sparsity）を特徴とするデータセット（例えば、機械学習データ）の保存が含まれる場合がある。
添付の図面と併せて例として与えられる以下の説明から、より詳細な理解を得ることができる。
本開示の１つ以上の特徴を実装することができる例示的なデバイスのブロック図である。 追加の詳細を説明する図１のデバイスのブロック図である。 例示的なコンピューティングシステムの部分を示すブロック図である。 例示的なマルチプロセッサコンピューティングシステムの部分を示すブロック図である。 キャッシュディレクトリの例示的な実装形態を示すブロック図である。 書き込み動作中のコヒーレンス管理デバイスによるゼロデータ圧縮のための例示的な方法を示すフローチャートである。 読み取り動作中のコヒーレンス管理デバイスによるゼロデータ圧縮のための例示的な方法を示すフローチャートである。
いくつかの実装形態において、コヒーレンシ管理デバイスを提供する。コヒーレンシ管理デバイスは、メインメモリのアドレスに格納されているデータを読み取る要求を受信する回路を含む。コヒーレンシ管理デバイスは、キャッシュディレクトリがアドレスに対応するキャッシュディレクトリエントリを含むかどうかを判定する回路も含む。コヒーレンシ管理デバイスは、キャッシュディレクトリがアドレスに対応するキャッシュディレクトリエントリを含む場合に、キャッシュディレクトリエントリが無効であるかどうかを判定する回路も含む。また、コヒーレンシ管理デバイスは、キャッシュディレクトリエントリが無効である場合に、メモリアドレスに対応するデータがゼロデータを含むという指標をキャッシュディレクトリエントリが含むかどうかを判定する回路を含む。コヒーレンシ管理デバイスは、キャッシュディレクトリエントリが指標を含む場合に、要求に応じてゼロデータを返す回路も含む。
コヒーレンシ管理デバイスのいくつかの実装形態では、指標は、キャッシュディレクトリエントリのビットを含む。一部の実装形態では、指標は、キャッシュディレクトリエントリの状態フィールドの予備状態を含む。一部の実装形態では、指標は、キャッシュディレクトリエントリの状態フィールドに少なくとも１つのビットを含む。一部の実装形態では、指標は、キャッシュディレクトリエントリの共有ベクトルフィールドのビットを含む。一部の実装形態では、コヒーレンシ管理デバイスは、キャッシュディレクトリエントリが無効であり、指標を含む場合に、メインメモリを読み取らずに、要求に応じてゼロデータを返す。いくつかの実装形態では、コヒーレンシ管理デバイスは、コヒーレントスレーブデバイス、プローブフィルタデバイス、及び／又は、スヌープフィルタデバイスを含む。一部の実装形態では、コヒーレンシ管理デバイスは、コヒーレントマスターデバイスから要求を受信する。一部の実装形態では、要求は、非一時的な読み取り動作を含む。
いくつかの実装形態は、コンピュータシステムにおけるキャッシュコヒーレンスを管理するために、コヒーレンシ管理デバイスに実施される方法を提供する。方法は、メインメモリのアドレスに格納されたデータを読み取る要求を受信し、キャッシュディレクトリがアドレスに対応するキャッシュディレクトリエントリを含むかどうかを判定することを含む。また、方法は、キャッシュディレクトリがアドレスに対応するキャッシュディレクトリエントリを含む場合、キャッシュディレクトリエントリが無効であるかどうかを判定することを含む。また、方法は、キャッシュエントリが無効である場合に、メモリアドレスに対応するデータがゼロデータを含むという指標をキャッシュディレクトリエントリが含むかどうかを判定することを含む。キャッシュディレクトリエントリが指標を含む場合、この方法は、要求に応じてゼロデータを返すことも含む。
方法のいくつかの実装形態では、指標は、キャッシュディレクトリエントリのビットを含む。一部の実装形態では、指標には、キャッシュディレクトリエントリの状態フィールドに予備状態を含む。一部の実装形態では、指標は、キャッシュディレクトリエントリの状態フィールドの少なくとも１つのビットを含む。一部の実装形態では、指標は、キャッシュディレクトリエントリの共有ベクトルフィールドのビットを含む。一部の実装形態では、キャッシュディレクトリエントリが無効であり、指標を含む場合に、コヒーレンシ管理デバイスは、要求に対応するシステムにキャッシュエントリを割り当てない。一部の実装形態では、キャッシュディレクトリエントリが無効であり、指標を含む場合に、コヒーレンシ管理デバイスは、メインメモリを読み取ることなく、要求に応じてゼロデータを返す。いくつかの実装形態では、コヒーレンシ管理デバイスは、コヒーレントスレーブデバイス、プローブフィルタデバイス、及び／又は、スヌープフィルタデバイスを含む。一部の実装形態では、コヒーレンシ管理デバイスは、コヒーレントマスターデバイスから要求を受信する。一部の実装形態では、要求は、非一時的な読み取り動作を含む。
いくつかの実装形態は、コヒーレンシ管理デバイスを提供する。コヒーレンシ管理デバイスは、メインメモリのアドレスに格納されているデータを書き込む要求を受信する回路を含む。コヒーレンシ管理デバイスは、データにゼロデータが含まれるかどうかを判定する回路も含む。コヒーレンシ管理デバイスは、キャッシュディレクトリがアドレスに対応するキャッシュディレクトリエントリを含むかどうかを判定する回路も含む。また、コヒーレンシ管理デバイスは、データにゼロデータが含まれており、キャッシュディレクトリがキャッシュディレクトリエントリを含む場合に、キャッシュディレクトリエントリの状態を無効として設定し、キャッシュディレクトリエントリにおいて、メモリアドレスに対応するデータがゼロデータを含むという指標を設定する回路を含む。コヒーレンシ管理デバイスは、キャッシュディレクトリがキャッシュディレクトリエントリを含まない場合に、キャッシュディレクトリエントリを生成し、キャッシュディレクトリエントリの状態を無効に設定し、キャッシュディレクトリエントリにおいて、メモリアドレスに対応するデータがゼロデータを含むという指標を設定する回路も含む。
いくつかの実装形態では、コヒーレンシ管理デバイスによる、データがゼロデータを含むかどうかの判定は、コヒーレンシ管理デバイスによる、データがゼロのみを含むかどうかの判定を含む。いくつかの実装形態では、コヒーレンシ管理デバイスによるデータがゼロデータを含むかどうかの判定は、コヒーレンシ管理デバイスによる、要求が、アドレスへのゼロの書き込みを命令するオペコードを含む命令を含むかどうかを判定することを含む。一部の実装形態では、指標は、キャッシュディレクトリエントリの状態フィールドの少なくとも１つのビットを含む。一部の実装形態では、指標は、キャッシュディレクトリエントリの共有ベクトルフィールドのビットを含む。一部の実装形態では、コヒーレンシ管理デバイスは、データにゼロデータが含まれている場合に、メインメモリに書き込むことなく、要求に応じて指標を設定する。いくつかの実装形態では、コヒーレンシ管理デバイスは、コヒーレントスレーブデバイス、プローブフィルタデバイス、及び／又は、スヌープフィルタデバイスを含む。一部の実装形態では、コヒーレンシ管理デバイスは、コヒーレントマスターデバイスから要求を受信する。一部の実装形態では、要求は、非一時的な書き込み動作を含む。
いくつかの実装形態は、コンピュータシステムにおけるキャッシュコヒーレンスを管理するために、コヒーレンシ管理デバイスによって実施される方法を提供する。方法は、メインメモリのアドレスへデータを書き込む要求を受信し、データにゼロデータが含まれているかどうかを判定し、キャッシュディレクトリがアドレスに対応するキャッシュディレクトリエントリを含むかどうかを判定することを含む。また、方法は、データにゼロデータが含まれており、キャッシュディレクトリがキャッシュディレクトリエントリを含む場合に、キャッシュディレクトリエントリの状態を無効として設定することと、キャッシュディレクトリエントリにおいて、メモリアドレスに対応するデータがゼロデータを含むという指標を設定することと、を含む。方法は、キャッシュディレクトリがキャッシュディレクトリエントリを含まない場合に、キャッシュディレクトリエントリを生成することと、キャッシュディレクトリエントリの状態を無効に設定し、キャッシュディレクトリエントリにおいて、メモリアドレスに対応するデータがゼロデータを含むという指標を設定することと、も含む。
方法のいくつかの実装形態では、コヒーレンシ管理デバイスによる、データがゼロデータを含むかどうかの判定は、コヒーレンシ管理デバイスによる、データがゼロのみを含むかどうかの判定を含む。いくつかの実装形態では、コヒーレンシ管理デバイスによるデータがゼロデータを含むかどうかの判定は、コヒーレンシ管理デバイスによる、要求が、アドレスへのゼロの書き込みを命令するオペコードを含む命令を含むかどうかを判定することを含む。一部の実装形態では、指標は、キャッシュディレクトリエントリの状態フィールドの少なくとも１つのビットを含む。一部の実装形態では、指標は、キャッシュディレクトリエントリの共有ベクトルフィールドのビットを含む。一部の実装形態では、コヒーレンシ管理デバイスは、データがゼロデータを含む場合に、メインメモリに書き込むことなく、要求に応じて指標を設定する。いくつかの実装形態では、コヒーレンシ管理デバイスは、コヒーレントスレーブデバイス、プローブフィルタデバイス、及び／又は、スヌープフィルタデバイスを含む。一部の実装形態では、コヒーレンシ管理デバイスは、コヒーレントマスターデバイスから要求を受信する。一部の実装形態では、要求は、非一時的な書き込み動作を含む。
図１は、本開示の１つ以上の特徴を実装することができる例示的なデバイス１００のブロック図である。デバイス１００は、例えば、コンピュータ、ゲーミングデバイス、ハンドヘルドデバイス、セットトップボックス、テレビ、携帯電話、又は、タブレットコンピュータを含んでもよい。デバイス１００は、プロセッサ１０２と、メモリ１０４と、記憶装置１０６と、１つ以上の入力デバイス１０８と、１つ以上の出力デバイス１１０と、を含む。また、デバイス１００は、オプションで、入力ドライバ１１２及び出力ドライバ１１４を含み得る。デバイス１００は、図１に示されていない追加の構成要素を含むことができることを理解されたい。
様々な代替例では、プロセッサ１０２は、中央処理装置（ＣＰＵ）、グラフィックスプロセシングユニット（ＧＰＵ）、同一のダイ上に位置するＣＰＵ及びＧＰＵ、又は、１つ以上のプロセッサコアを含み、各プロセッサコアはＣＰＵ又はＧＰＵであってもよい。様々な代替例では、メモリ１０４は、プロセッサ１０２と同一のダイに位置し、又は、プロセッサ１０２とは別に位置する。メモリ１０４は、揮発性又は不揮発性のメモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ、キャッシュ）を含む。
記憶装置１０６は、固定記憶装置又は着脱可能記憶装置（例えば、ハードディスクドライブ、ソリッドステートドライブ、光ディスク、フラッシュドライブ）を含む。入力デバイス１０８は、キーボード、キーパッド、タッチスクリーン、タッチパッド、検出器、マイクロフォン、加速度計、ジャイロスコープ、バイオメトリックススキャナ、又は、ネットワーク接続部（例えば、無線ＩＥＥＥ８０２信号の送信及び／若しくは受信のための無線ローカルエリアネットワークカード）を含むが、これらに限定されない。出力デバイス１１０は、ディスプレイ、スピーカ、プリンタ、触覚フィードバックデバイス、１つ以上のライト、アンテナ、又は、ネットワーク接続部（例えば、無線ＩＥＥＥ８０２信号の送信及び／若しくは受信のための無線ローカルエリアネットワークカード）を含むが、これらに限定されない。
入力ドライバ１１２は、プロセッサ１０２及び入力デバイス１０８と通信し、プロセッサ１０２が入力デバイス１０８から入力を受信することを可能にする。出力ドライバ１１４は、プロセッサ１０２及び出力デバイス１１０と通信し、プロセッサ１０２が出力デバイス１１０に出力を送信することを可能にする。入力ドライバ１１２及び出力ドライバ１１４がオプションの構成要素であることと、入力ドライバ１１２及び出力ドライバ１１４が存在しない場合には、デバイス１００が同様に動作することと、に留意されたい。出力ドライバ１１６は、表示デバイス１１８に結合されたアクセラレーテッド処理デバイス（ＡＰＤ）１１６を含む。ＡＰＤは、プロセッサ１０２から計算コマンド及びグラフィックスレンダリングコマンドを受け入れ、それらの計算コマンド及びグラフィックスレンダリングコマンドを処理し、表示のために表示デバイス１１８にピクセル出力を供給する。以下にさらに詳細に説明するように、ＡＰＤ１１６は、単一命令複数データ（ＳＩＭＤ）パラダイムに従って計算を実行する１つ以上の並列処理ユニットを含む。次のように、本明細書では、様々な機能がＡＰＤ１１６によって又はＡＰＤ１１６と協働して実行されるものとして説明しているが、様々な代替形態では、このＡＰＤ１１６によって実行されると説明している機能が、ホストプロセッサ（例えば、プロセッサ１０２）によって駆動されない、表示デバイス１１８にグラフィックス出力を供給する同様の性能を有する他のコンピューティングデバイスによって、追加的又は代替的に実行される。例えば、ＳＩＭＤパラダイムに従って処理タスクを実行する任意の処理システムが、本明細書で説明する機能を実行し得ることが企図されている。代替例として、ＳＩＭＤパラダイムに従って処理タスクを行わないコンピューティングシステが本明細書で説明する機能を行うことが想到される。
図２は、ＡＰＤ１１６上の処理タスクの実行に関連するさらなる詳細を説明するデバイス１００のブロック図である。プロセッサ１０２は、システムメモリ１０４において、プロセッサ１０２による実行のための１つ以上の制御論理モジュールを維持する。制御論理モジュールは、オペレーティングシステム１２０と、カーネルモードドライバ１２２と、アプリケーション１２６と、を含む。これらの制御論理モジュールは、プロセッサ１０２及びＡＰＤ１１６の動作の様々な機能を制御する。例えば、オペレーティングシステム１２０は、ハードウェアと直接的に通信し、プロセッサ１０２で実行中の他のソフトウェアにハードウェアへのインターフェイスを提供する。カーネルモードドライバ１２２は、例えば、プロセッサ１０２上で実行されるソフトウェア（例えば、アプリケーション１２６）にアプリケーションプログラミングインターフェイス（ＡＰＩ）を提供することによってＡＰＤ１１６の動作を制御し、ＡＰＤ１１６の様々な機能にアクセスする。また、カーネルモードドライバ１２２は、ＡＰＤ１１６の処理コンポーネント（以下により詳細に説明するＳＩＭＤユニット１３８等）による実行のためにプログラムをコンパイルするジャストインタイムコンパイラを含む。
ＡＰＤ１１６は、例えばグラフィックス処理及び非グラフィックス処理等の選択された機能のためのコマンド及びプログラムを実行し、これが並列処理に適する場合がある。ＡＰＤ１１６は、例えばピクセル動作、幾何学計算等のグラフィックスパイプライン動作を実行するために、及び、プロセッサ１０２から受け取ったコマンドに基づいて表示デバイス１１８に画像をレンダリングするために使用できる。また、ＡＰＤ１１６は、プロセッサ１０２から受信したコマンドに基づいて、ビデオに関連する動作、物理シミュレーション、計算流体力学又は他のタスク等のように、グラフィックス動作に直接関連しない計算処理動作も実行する。
ＡＰＤ１１６は、ＳＩＭＤパラダイムに従って並列に、プロセッサ１０２の要求に応じて動作を実行する１つ以上のＳＩＭＤユニット１３８を含む計算ユニット１３２を含む。ＳＩＭＤパラダイムは、複数の処理要素が単一のプログラム制御フローユニット及びプログラムカウンタを共有し、ひいては、同じプログラムを実行するが、異なるデータでそのプログラムを実行することが可能なパラダイムである。一例では、各ＳＩＭＤユニット１３８は１６個のレーンを含み、各レーンはＳＩＭＤユニット１３８内の他のレーンと同時に同じ命令を実行するが、異なるデータでその命令を実行することができる。全てのレーンが所定の命令を実行する必要があるとは限らない場合には、予測を使用してレーンをオフにすることができる。予測は、分岐する制御フローを有するプログラムを実行するために使用することもできる。より具体的には、制御フローが個々のレーンによって実行される計算に基づく条件付き分岐又は他の命令を有するプログラムの場合、現在実行されていない制御フローパスに対応するレーンの予測、及び、異なる制御フローパスの直列実行は任意の制御フローを可能にする。
計算ユニット１３２での実行の基本単位はワークアイテム（work-item）である。各ワークアイテムは、特定のレーンにおいて並列に実行されるプログラムの単一のインスタンス化を表す。ワークアイテムは、単一のＳＩＭＤ処理ユニット１３８上で「ウェーブフロント（wavefront）」として同時に実行され得る。１つ以上のウェーブフロントが「ワークグループ」に含まれ、ワークグループは、同一のプログラムを実行するよう指定されたワークアイテムの集合を含む。ワークグループは、ワークグループを構成するウェーブフロントの各々を実行することによって実行できる。代替例では、ウェーブフロントは、単一のＳＩＭＤユニット１３８で直列に、又は、異なるＳＩＭＤユニット１３８上で部分的若しくは完全に並列に実行される。ウェーブフロントは、単一のＳＩＭＤユニット１３８で同時に実行できるワークアイテムの最大の集合体と考えることができる。したがって、プロセッサ１０２から受信したコマンドが、プログラムが単一のＳＩＭＤユニット１３８上で同時に実行できない程度に特定のプログラムが並列処理されることを示す場合、そのプログラムは、２つ以上のＳＩＭＤユニット１３８上で並列処理されるウェーブフロント、又は、同一のＳＩＭＤユニット１３８上で直列処理される（又は、必要に応じて、並列処理及び直列処理の両方が行われる）ウェーブフロントに分割される。スケジューラ１３６は、異なる計算ユニット１３２及びＳＩＭＤユニット１３８上で様々なウェーブフロントをスケジュールすることに関連する動作を実行する。
計算ユニット１３２によって許容される並列性は、画素値計算、頂点変換及び他のグラフィックス動作等のグラフィックス関連動作に適切である。したがっていくつかの例において、プロセッサ１０２からグラフィックスプロセッシングコマンドを受け取るグラフィックスパイプライン１３４は、並列に実行するために計算タスクを計算ユニット１３２に提供する。
また、計算ユニット１３２は、グラフィックスに関係しない、又は、グラフィックスパイプライン１３４の「通常の」動作の一部として実行されない計算タスク（例えば、グラフィックスパイプライン１３４の動作に対して実行される処理を補足するために実行されるカスタム動作）を実行するために使用される。プロセッサ１０２上で実行しているアプリケーション１２６又は他のソフトウェアは、実行のためにＡＰＤ１１６に、そのような計算タスクを定義したプログラムを送信する。
図３は、例示的なコンピューティングシステム３００の部分を示すブロック図である。いくつかの例では、コンピューティングシステム３００は、図１及び図２に関して示される及び説明されるように、デバイス１００の一部又は全部を使用して実装される。コンピューティングシステム３００は、１つ以上のコア複合体３１０Ａ～３１０Ｎと、入力／出力（Ｉ／Ｏ）インターフェイス３２０と、相互接続３３０と、メモリコントローラ３４０と、ネットワークインターフェイス３５０と、を含む。他の例では、コンピューティングシステム３００は、さらなる構成要素や異なる構成要素を含み、及び／又は、異なる方法で構成される。
いくつかの実装形態では、コア複合体３１０Ａ～３１０Ｎの各々は、少なくとも１つの処理デバイスを含む。この例では、コア複合体３１０Ａ～３１０Ｎの少なくとも１つは、ＣＰＵ等の１つ以上の汎用処理デバイスを含む。「コア複合体」は、いくつかの場合に「処理ノード」とも呼ばれることに留意されたい。いくつかの実装形態では、そのようなプロセッサは、図１に関して示され、説明されるように、プロセッサ１０２を使用して実装される。この例では、コア複合体３１０Ａ～３１０Ｎの少なくとも１つは、１つ以上のデータ並列プロセッサを含む。データ並列プロセッサの例として、ＧＰＵ、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）等が挙げられる。一部の実装形態では、このようなプロセッサは、図１に関して示され、説明されているように、ＡＰＤ１１６を使用して実装される。
いくつかの実装形態では、コア複合体３１０Ａ～３１０Ｎ内のプロセッサコアは、１つ以上のレベルのキャッシュを備えたキャッシュサブシステムを含む。いくつかの実装形態では、各コア複合体３１０Ａ～３１０Ｎは、複数のプロセッサコア間で共有されるキャッシュ（例えば、レベル３（Ｌ３）のキャッシュ）を含む。
メモリコントローラ３４０は、例えば、相互接続３３０を介して、コア複合体３１０Ａ～３１０Ｎによってアクセス可能な少なくとも１つのメモリコントローラを含む。メモリコントローラ３４０は、任意の適切なタイプのメモリコントローラのうち１つ以上を含む。各メモリコントローラは、任意の数及びタイプのメモリデバイス（図示省略）に結合され（又は他の方法で通信して）、アクセスを制御する。いくつかの実装形態では、そのようなメモリデバイスは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ＮＡＮＤフラッシュメモリ、ＮＯＲフラッシュメモリ、強誘電体ランダムアクセスメモリ（ＦｅＲＡＭ）、及び／又は、他の任意の適切なメモリデバイスを含む。相互接続３３０は、バス、データファブリック等のように、図３に示すデバイス間の通信に適した任意のコンピュータ通信媒体を含む。
Ｉ／Ｏインターフェイス３２０は、１つ以上のＩ／Ｏインターフェイス（例えば、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）バス、ＰＣＩエクステンデッド（ＰＣＩ－Ｘ）、ＰＣＩＥ（ＰＣＩ Ｅｘｐｒｅｓｓ）バス、ギガビットイーサネット（登録商標）（ＧＢＥ）バス、ユニバーサルシリアルバス（ＵＳＢ））を含む。いくつかの実装形態では、Ｉ／Ｏインターフェイス３２０は、図１に関して示され、説明されるように、入力ドライバ１１２及び／又は出力ドライバ１１４を使用して実装される。様々なタイプの周辺機器をＩ／Ｏインターフェイス３２０に結合することができる。そのような周辺機器には、ディスプレイ、キーボード、マウス、プリンタ、スキャナ、ジョイスティック又は他のタイプのゲームコントローラ、メディア記録デバイス、外部ストレージデバイス、ネットワークインターフェイスカード等が含まれる（ただし、これらに限定されない）。いくつかの実装形態では、そのような周辺デバイスは、図１に関して示され、説明されるように、入力デバイス１０８及び／又は出力デバイス１１８を使用して実装される。
図４は、例示的なマルチプロセッサコンピューティングシステム４００の部分を示すブロック図である。システム４００は、１つ以上のコア複合体４１０Ａ～４１０Ｎと、コア複合体４１０Ａ～４１０Ｎと相互接続４３０を介して（例えば、他の構成要素を介して）通信する１つ以上のメモリコントローラ４４０Ａ～４４０Ｎと、を含む。いくつかの例では、コア複合体４１０Ａ～４１０Ｎは、コヒーレントマスター４１５Ａ～４１５Ｎを介して相互接続４３０に結合され、メモリコントローラ４４０Ａ～４４０Ｎは、コヒーレントスレーブ４４５Ａ～４４５Ｎを介して相互接続４３０に結合される。相互接続４３０は、バス、データファブリック等のように、図４に示すデバイス間の通信に適した任意のコンピュータ通信媒体を含む。プロセッサシステム４００は、例としてコア複合体に関連して説明されているが、他の実装形態では、処理ノードは、単一のプロセッサ、コア複合体に実装されていないプロセッサコア又は他の適切な処理ノードを含むことに留意されたい。
コア複合体４１０Ａ～４１０Ｎは、それぞれ１つ以上のプロセッサコア４１２Ａ～４１２Ｎを含む。一部の実装形態では、処理デバイスがコア複合体に編成されていないことに留意されたい。場合によっては、そのようなプロセッサは、コア複合体ではなく、そのようなもの（例えば、処理デバイス）と呼ばれる。各コア複合体４１０Ａ～４１０Ｎには、対応するキャッシュサブシステム４１４Ａ～４１４Ｎも含まれている。各キャッシュサブシステム４１４Ａ～４１４Ｎは、任意の適切な数のキャッシュレベルと、コア複合体４１０Ａ～４１０Ｎのキャッシングをサポートするために使用可能な任意の適切なキャッシュ階層構造を含む。
各コア複合体４１０Ａ～４１０Ｎは、対応するコヒーレントマスター４１５Ａ～４１５Ｎと通信する。いくつかの実装形態では、コヒーレントマスターは、相互接続（例えば、相互接続４３０）を流れるトラフィックを処理し、接続されたＣＰＵ又はコア複合体のコヒーレンシを管理するエージェントである。一部の実装形態では、コヒーレンシを管理するために、コヒーレントマスターは、コヒーレンシ関連のメッセージとプローブを受信及び処理し、コヒーレンシ関連の要求とプローブを生成及び送信する。
各コア複合体４１０Ａ～４１０Ｎは、対応するコヒーレントマスター４１５Ａ～４１５Ｎを経て、相互接続４３０を介して、１つ以上のコヒーレントスレーブ４４５Ａ～４４５Ｎと通信する。コヒーレントスレーブは、メモリコントローラ（例えば、コヒーレントスレーブに接続されたメモリコントローラ）のコヒーレンシを管理するエージェントデバイスである。一部の実装形態では、コヒーレンシを管理するために、コヒーレントスレーブは、対応するメモリコントローラを対象とする要求とプローブを受信して処理する。
コア複合体４１０Ａは、図４の例では、コヒーレントマスター４１５Ａ及び相互接続４３０を介してコヒーレントスレーブ４４５Ａと通信する。コヒーレントスレーブ（ＣＳ）４４５Ａは、メモリコントローラ（ＭＣ）４４０Ａと通信し、メモリデバイス（例えば、メインメモリＤＲＡＭデバイス）を制御する。
コヒーレントスレーブ４４５Ａ～４４５Ｎの各々は、各々のキャッシュディレクトリ（ＣＤ）４５０Ａ～４５０Ｎと通信する（又はそれを含む）。場合によっては、キャッシュディレクトリは「プローブフィルタ」とも呼ばれる。キャッシュディレクトリ４５０Ａは、例えば、システム４００のキャッシュライン（例えば、キャッシュサブシステム４１４Ａ～４１４Ｎ）にキャッシュされる、メモリコントローラ４４０Ａを介してアクセス可能なメモリアドレス又はメモリの領域のエントリを含む。いくつかの実装形態では、各コア複合体４１０Ａ～４１０Ｎは、対応するコヒーレントマスター４１５Ａ～４１５Ｎ及び対応するコヒーレントスレーブ４４５Ａ～４４５Ｎを介して、任意の適切な数のメモリコントローラ４４０Ａ～４４０Ｎと通信する。
プローブは、コヒーレンシポイント（例えば、コヒーレントスレーブ）からコンピュータシステム内の１つ以上のキャッシュに渡されるメッセージを含み、キャッシュがデータのブロックのコピーを有するかどうかを示す応答を要求し、いくつかの実装形態では、キャッシュがデータのブロックを配置するキャッシュの状態を示す。いくつかの実装形態では、コヒーレントスレーブが対応するメモリコントローラを対象とするメモリ要求を受信した場合（例えば、コヒーレントスレーブがコヒーレンシを管理するメモリコントローラによって制御されるメモリのアドレス又はアドレスの領域に格納されたデータに対するメモリ要求）、コヒーレントスレーブは、対応するキャッシュディレクトリへのルックアップ（タグベースのルックアップ等）を実行して、要求がキャッシュサブシステムの少なくとも１つのキャッシュラインにキャッシュされたメモリアドレス又は領域を対象にしているかどうかを判定する。
いくつかの実装形態では、キャッシュディレクトリは、領域が複数のキャッシュラインを含むキャッシュ領域を追跡する。追跡される領域のサイズは、実施形態ごとに異なり得る。本明細書では、「領域」を「ページ」と呼ぶこともできることに留意されたい。いくつかのそのような実装形態では、コヒーレントスレーブがキャッシュ要求を受信すると、コヒーレントスレーブは、要求の対象となる領域を判定し、キャッシュディレクトリでこの領域のルックアップを実行する。ルックアップの結果がヒットの場合、コヒーレントスレーブは、ヒットエントリで識別されたＣＰＵ（複数可）にプローブを送信する。コヒーレントスレーブによって生成されるプローブのタイプは、ヒットエントリによって指定されたコヒーレンシ状態による。ラインベースのトラッキングを使用して本明細書で説明する例は、領域ベースのトラッキングを使用して実装することもできることに留意されたい。
いくつかの実装形態では、相互接続４３０は、説明を容易にするために図４に示されていない他の構成要素に接続され、及び／又は、他の構成要素と通信する。例えば、いくつかの実装形態では、相互接続４３０は、１つ以上のＩ／Ｏインターフェイス及び／又は１つ以上のＩ／Ｏデバイス（例えば、図３に関して示され、説明されるように、Ｉ／Ｏインターフェイス３２０及びネットワークインターフェイス３５０に対応する）への接続を含む。
図５は、図４に関して示され、説明されたキャッシュディレクトリ４５０Ａの例示的な実装形態を示すブロック図である。キャッシュディレクトリ４５０Ａは、制御ユニット５００及びアレイ５１０を含む。アレイ５１０は、メモリアドレス又は領域の状態を保存するために、任意の適切な数のディレクトリエントリ５２０を含む。ディレクトリエントリ５２０の数は、適切なレベルのスラッシュを達成するようにサイズ設定され、したがって、通常、他の目的、例えば本明細書で説明するようなゼロトラッキングのために、日和見的に（すなわち、利用可能である場合）使用可能な（例えば、無効な状態で）、利用可能ないくつかの予備のディレクトリエントリ５２０が存在する。
いくつかの実装形態では、ディレクトリエントリ５２０の各々は、状態フィールド５５０と、共有ベクトルフィールド５４０と、タグフィールド５３０と、を含む。いくつかの実装形態では、ディレクトリエントリ５２０は、他のフィールド、異なるフィールドを含み、及び／又は、別のフィールドに適切な様式で配置される。タグフィールド５３０は、メモリアドレスのビットのサブセットを指定する複数のアドレスビットを含む。いくつかの実装形態では、タグフィールド５３０は、メモリアドレスの全てのビットを含む。このような場合、フィールドは、アドレスフィールドと呼ばれ得る。タグフィールド５３０のビットは、ディレクトリエントリにマップするメモリ位置又はメモリ内のメモリ位置のグループを識別する。この例では、タグフィールド５３０は、図４に関して示されて説明されている、メモリコントローラ４４０Ａによって制御されるメモリ（例えば、ＤＲＡＭ）のメモリ位置のアドレスビットのサブセットを示す。
共有ベクトル５４０は、存在する場合には、システム内の何れのキャッシュが、ディレクトリエントリ５２０にマッピングされるキャッシュラインのコピーを有するかを示す複数のビットを含む。この例では、共有ベクトル５４０は、存在する場合には、何れのキャッシュサブシステム４１４Ａ～４１４Ｎが、ディレクトリエントリ５２０に対応するキャッシュラインのキャッシュされたコピーを有するかを示す。状態フィールド５５０は、ディレクトリエントリ５２０の状態を指定する１つ以上の状態ビットを含む。いくつかの実装形態では、状態フィールド５５０は、特定の状態におけるものとしてのその特定のディレクトリエントリ５２０を表示し得る。様々な状態を示すための適切なビット数が設けられている。例えば、３つの状態が状態フィールド５５０によって表される場合、いくつかの実装形態では２ビットが使用される。この構成は、状態フィールド５５０に追加の未使用ビット値を与えることに留意されたい。同様に、６つの状態が状態フィールド５５０によって表される場合、いくつかの実装形態では３ビットが使用される。この構成は、状態フィールド５５０に追加の２つの未使用ビット値を与えることに留意されたい。
図６は、書き込み動作中の、本明細書で説明するコヒーレントスレーブ又は他の適切なコヒーレンス管理デバイス等のコヒーレンス管理デバイスによるゼロデータ圧縮のための例示的な方法６００を示すフローチャートである。
ステップ６１０において、コヒーレンス管理デバイスは、メインメモリのアドレスにデータを書き込むための要求を受信し、その要求がゼロデータを書き込むことであるかどうかを判定する。一部の実装形態では、要求は、非一時的な書き込み動作を含む。非一時的な書き込み動作は、キャッシュ構造をバイパスするが、コヒーレンス管理デバイスで監視できる。一部の実装形態では、コヒーレンス管理デバイスは、要求のペイロードに基づいて、要求がゼロデータを書き込むことであるかどうか（例えば、ペイロードに含まれるデータが全てゼロであるかどうか）を判定する。他の実装形態では、例えば、全てのペイロード、又は、所定のパターンを有するペイロード等のように、他の種類のデータを、この方法で圧縮のために検出することができることに留意されたい。一部の実装形態では、コヒーレンス管理デバイスは、要求のオペコードに基づいて、要求がゼロデータを書き込むことかどうか（例えば、オペコードがゼロデータを書き込む特定のタイプの書き込み命令を示しているか）を判定する。
要求がゼロデータ以外のデータを書き込むことであるという条件６２０において、コヒーレンス管理デバイスは、ステップ６３０の典型的な動作（例えば、キャッシュディレクトリルックアップ、キャッシュ無効化、及び、メモリへの書き込みを適宜実行する）に基づいて、データの書き込みを処理する。そうではなく、要求がゼロデータを書き込むことである場合、コヒーレンス管理デバイスは、関連するキャッシュディレクトリのエントリがメモリアドレスに対応するエントリを含むかどうかを判定する。一部の実装形態では、コヒーレンス管理デバイスは、メモリアドレス又はメモリアドレスの一部を含むキャッシュディレクトリエントリのタグフィールドとメモリアドレスを比較する（又は、比較を行うキャッシュディレクトリに要求を伝える）ことによって、この判定を行う。
キャッシュディレクトリがアドレスに対応するエントリを含むという条件６４０において、キャッシュディレクトリエントリの状態は、データのキャッシュされたコピー（例えば、キャッシュサブシステム４１４Ａ～４１４Ｎにおいて）が有効でないことを示すために無効として設定され、ステップ６６０において、ゼロ指標がキャッシュディレクトリエントリに設定される。いくつかの実装形態では、無効及びゼロデータの両方を示すために、予備状態がキャッシュディレクトリエントリに設定される。キャッシュディレクトリがアドレスに対応するエントリを含まないという条件６４０において、また、予備、未使用又は無効なエントリがキャッシュディレクトリに利用可能である場合、ステップ６５０で、キャッシュディレクトリは、ステップ６６０でキャッシュディレクトリエントリの状態が無効として設定されたキャッシュディレクトリエントリにゼロの指標（表示）を設定する（又は、両方を示すために予備状態を設定する）前に、アドレスに対応するエントリを生成（作成）する。予備、未使用又は無効なエントリがキャッシュディレクトリで使用できない場合、コヒーレンス管理デバイスは、ステップ６３０において、典型的な動作に基づいてデータの書き込みを処理する（例えば、キャッシュディレクトリルックアップ、キャッシュ無効化、及び、必要に応じてメモリへの書き込みを実行する）。
ステップ６６０の動作は、任意の適切な順序で実行されるか、又は、同時若しくは並列に実行される。いくつかの実装形態では、ゼロデータの指標は、キャッシュディレクトリエントリ内のビットである。このようにゼロデータの指標に使用されるビットは、「ゼロ検出」又は「ＺＤ」ビットと呼ばれ得る。一部の実装形態では、ＺＤビットは、キャッシュディレクトリエントリの共有ベクトルの再利用ビットである。例えば、無効なエントリは、キャッシュされたメインメモリのアドレスに対応するデータの有効なコピーを、キャッシュサブシステム４１４Ａ～４１４Ｎの何れも有していないということを暗示する。したがって、共有ベクトルは、何れのキャッシュに有効なコピーが含まれているかを示す必要がなく、ゼロデータを示す等の他の指標のために再利用できる。
一部の実装形態では、ゼロの指標は、キャッシュディレクトリエントリの状態フィールドに設定された予備状態である。例えば、状態フィールドが３つの状態（例えば、キャッシュ、無効、排他的）を表すための２ビットを含む場合、２ビットを、バイナリエンコーディングを使用して４つの状態を表すために使用することができるので、予備状態が存在する。したがって、予備状態を、ゼロ検出又はＺＤ状態として割り当てることができる。このような実装形態では、ＺＤ状態が無効な状態として機能し、メインメモリ内のアドレスに対応するデータがゼロデータであることをも示す。
いくつかの実装形態では、ゼロデータは、メインメモリに書き込まれないか、又は、この時点でメインメモリに書き込まれない。これは、場合によっては、メモリ帯域幅を節約するという利点を有し得る。一部の実装形態では、対応する読み取り動作がキャッシュディレクトリエントリの指標（例えば、ＺＤビット又はＺＤ状態）に基づいてゼロデータを返すため、対応するキャッシュディレクトリにゼロデータ指標が設定された場合に、データをメインメモリに書き込む必要がない。対応するキャッシュディレクトリエントリにゼロデータの指標が設定された場合にメインメモリにゼロデータを書き込まない一部の実装形態は、キャッシュディレクトリエントリがエビクトされた場合にゼロデータをメインメモリに書き込むロジックを含む。
同様に、いくつかの実装形態では、ゼロデータはキャッシュされない（例えば、キャッシュサブシステム４１４Ａ～４１４Ｎの何れにも割り当てられない）。このような実装形態では、キャッシュエントリが無効に設定されている及び／又はＺＤ状態に設定されているため、ゼロデータは、何れかのキャッシュ又はメインメモリからデータをフェッチする必要無く返されるため、ゼロデータがキャッシュされない。これは、読み取り要求に応じてデータを返す前に、読み取り要求でデータをフェッチするためにキャッシュへのプローブ要求を必要としないことによって、バス帯域幅を節約するという利点を有し得る。
図７は、読み取り動作中のコヒーレントスレーブ又は他の適切なコヒーレンス管理デバイス等のコヒーレンス管理デバイスによるゼロデータ圧縮のための例示的な方法７００を示すフローチャートである。
ステップ７１０において、コヒーレンス管理デバイスは、メインメモリ内のアドレスからデータを読み取る要求を受信し、コヒーレンス管理デバイスは、関連付けられているキャッシュディレクトリのエントリがメモリアドレスに対応するエントリを含むかどうかを判定する。一部の実装形態では、コヒーレンス管理デバイスは、メモリアドレス又はメモリアドレスの一部を含むキャッシュディレクトリエントリのタグフィールドとメモリアドレスを比較する（又は、比較を行うキャッシュディレクトリに要求を伝える）ことで、この判定を行う。一部の実装形態では、要求は、非一時的な読み取り動作を含む。非一時的な読み取り動作は、キャッシュ構造をバイパスするが、コヒーレンス管理デバイスで監視できる。
キャッシュディレクトリがアドレスに対応するエントリを含まないという条件７２０において、コヒーレンス管理デバイスは、ステップ７３０において、典型的な動作に基づいてデータの読み取りを処理する（例えば、キャッシュディレクトリルックアップを実行し、キャッシュ又はメインメモリから必要に応じて読み取る）。そうではなく、キャッシュディレクトリがアドレスに対応するエントリを含むという条件７２０において、コヒーレンス管理デバイスは、エントリが無効であるかどうかを判定する（例えば、無効な状態又はＺＤ状態を示す状態フィールドを有する）。
キャッシュエントリが無効ではないという条件７４０において、コヒーレンス管理デバイスは、ステップ７３０において、典型的な動作に基づいてデータの読み取りを処理する。そうではなく、キャッシュエントリが無効であるという条件７４０において、コヒーレンス管理デバイスは、ディレクトリエントリが、メインメモリ内のアドレスから読み取られたデータがゼロデータを含む（例えば、ＺＤビット又はＺＤ状態を含む）という指標を含むかどうかを判定する。
キャッシュエントリが、読み取られるデータがゼロデータを含むという指標を含まないという条件７５０において、コヒーレンス管理デバイスは、ステップ７３０において、典型的な動作に基づいてデータの読み取りを処理する。そうではなく、キャッシュエントリが、メインメモリ内のアドレスから読み取られたデータがゼロデータを含むという指標を含むという条件７５０において、コヒーレンス管理デバイスは、データを読み取る要求に応じてゼロデータを返す（ステップ７６０）。
いくつかの実装形態では、ゼロデータは、メインメモリ又はキャッシュから読み取られず、むしろ、コヒーレンス管理デバイス（例えば、コヒーレントスレーブ）は、キャッシュディレクトリエントリ（例えば、ＺＤビット又はＺＤ状態）の指標に基づいて、読み取り要求に応じてゼロデータを返す。これは、場合によっては、メモリ帯域幅を節約するという利点を有し得る。
同様に、いくつかの実装形態では、ゼロデータがキャッシュされない（例えば、キャッシュサブシステム４１４Ａ～４１４Ｎの何れにも割り当てられない）。このような実装形態では、キャッシュエントリが無効に設定されている及び／又はＺＤ状態に設定されているため、ゼロデータは、何れかのキャッシュ又はメインメモリからデータをフェッチする必要無しに、コヒーレンシ管理デバイス（コヒーレントスレーブ等）により返されるため、ゼロデータがキャッシュされない。これは、読み取り要求に応じてデータを返す前に、データをフェッチするためにキャッシュへのプローブ要求を必要としないことによって、バス帯域幅を節約するという利点を有し得る。
本明細書の開示に基づいて、多くの変形形態が可能であることを理解されたい。特徴及び要素が特定の組み合わせで上述されたが、各特徴又は要素は、他の特徴及び要素無しに単独で、又は、他の特徴及び要素を有する若しく有しない様々な組み合わせで使用することができる。
図に示す及び／又は本明細書で説明する様々な機能ユニット（限定するものではないが、プロセッサ１０２、入力ドライバ１１２、入力デバイス１０８、出力ドライバ１１４、出力デバイス１１０、アクセラレーテッド処理デバイス１１６、スケジューラ１３６、グラフィックス処理パイプライン１３４、計算ユニット１３２、及び、ＳＩＭＤユニット１３８を含む）は、汎用コンピュータ、プロセッサ若しくはプロセッサコアとして、又は、プログラム、ソフトウェア若しくはファームウェアとして実装され、非一時的なコンピュータ可読記憶媒体又は別の媒体に記憶され、汎用コンピュータ、プロセッサ又はプロセッサコアによって実行可能であり得る。提供される方法は、汎用コンピュータ、プロセッサ又はプロセッサコアにおいて実施することができる。適切なプロセッサは、例として、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアに関連する１つ以上のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、他のタイプの集積回路（ＩＣ）、及び／又は、状態機械を含む。このようなプロセッサは、ハードウェア記述言語（ＨＤＬ）命令の結果や、（コンピュータ可読媒体に格納することができる命令のような）ネットリストを含む他の中間のデータを処理した結果を用いて製造プロセスを構成することによって製造することができる。このような処理の結果は、本開示の特徴を実装するプロセッサを製造する半導体製造プロセスにおいて使用されるマスクワークであってもよい。
本明細書に提供される方法又はフローチャートは、汎用コンピュータ又はプロセッサによる実行のために非一時的なコンピュータ可読記憶媒体に組み込まれたコンピュータプログラム、ソフトウェア又はファームウェアで実施することができる。非一時的なコンピュータ可読記憶媒体の例は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスク及びリムーバルディスク等の磁気媒体、光磁気媒体、並びに、ＣＤ－ＲＯＭディスク及びデジタル多用途ディスク（ＤＶＤ）等の光学媒体を含む。

Claims (25)

  1. コヒーレンシ管理デバイスであって、
    メインメモリのアドレスに格納されたデータを読み取る要求を受信するように構成された回路と、
    キャッシュディレクトリが前記アドレスに対応するキャッシュディレクトリエントリを含むかどうかを判定するよう構成された回路と、
    前記キャッシュディレクトリが前記アドレスに対応する前記キャッシュディレクトリエントリを含む場合に、前記キャッシュディレクトリエントリが無効であるかどうかを判定するように構成された回路と、
    前記キャッシュディレクトリエントリが無効である場合に、前記キャッシュディレクトリエントリが、前記メモリアドレスに対応するデータがゼロデータを含むという指標を含むかどうかを判定するように構成された回路と、
    前記キャッシュディレクトリエントリが前記指標を含む場合に、前記要求に応じてゼロデータを返すように構成された回路と、を備える、
    コヒーレンシ管理デバイス。
  2. 前記指標は、前記キャッシュディレクトリエントリのビット、前記キャッシュディレクトリエントリの状態フィールドの予備状態、前記キャッシュディレクトリエントリの状態フィールドのビット、及び／又は、前記キャッシュディレクトリエントリの共有ベクトルフィールドのビットを含む、
    請求項１のコヒーレンシ管理デバイス。
  3. 前記コヒーレンシ管理デバイスは、前記キャッシュディレクトリエントリが無効であり、前記指標を含む場合に、前記メインメモリを読み取ることなく、前記要求に応じて前記ゼロデータを返すように構成されている、
    請求項１のコヒーレンシ管理デバイス。
  4. 前記コヒーレンシ管理デバイスは、コヒーレントスレーブデバイス、プローブフィルタデバイス、及び／又は、スヌープフィルタデバイスを備える、
    請求項１のコヒーレンシ管理デバイス。
  5. 前記コヒーレンシ管理デバイスは、コヒーレントマスターデバイスから前記要求を受信する、
    請求項１のコヒーレンシ管理デバイス。
  6. 前記要求は、非一時的な読み取り動作を含む、
    請求項１のコヒーレンシ管理デバイス。
  7. コンピュータシステムにおいてキャッシュコヒーレンスを管理するための方法であって、
    コヒーレンシ管理デバイスが、メインメモリのアドレスに格納されたデータを読み取る要求を受信することと、
    前記コヒーレンシ管理デバイスが、キャッシュディレクトリが前記アドレスに対応するキャッシュディレクトリエントリを含むかどうかを判定することと、
    前記キャッシュディレクトリが前記アドレスに対応する前記キャッシュディレクトリエントリを含む場合に、前記キャッシュディレクトリエントリが無効であるかどうかを判定することと、
    前記キャッシュエントリが無効である場合に、前記キャッシュディレクトリエントリが、前記メモリアドレスに対応するデータがゼロデータを含むという指標を含むかどうかを判定することと、
    前記キャッシュディレクトリエントリが前記指標を含む場合に、前記要求に応じてゼロデータを返すことと、を含む、
    方法。
  8. 前記指標は、前記キャッシュディレクトリエントリのビット、前記キャッシュディレクトリエントリの状態フィールドの予備状態、前記キャッシュディレクトリエントリの状態フィールドのビット、及び／又は、前記キャッシュディレクトリエントリの共有ベクトルフィールドのビットを含む、
    請求項７の方法。
  9. 前記コヒーレンシ管理デバイスは、前記キャッシュディレクトリエントリが無効であり、前記指標を含む場合に、前記メインメモリを読み取ることなく、前記要求に応じて前記ゼロデータを返す、
    請求項７の方法。
  10. 前記コヒーレンシ管理デバイスは、コヒーレントマスターデバイスから前記要求を受信する、
    請求項７の方法。
  11. 前記要求は、非一時的な読み取り動作を含む、
    請求項７の方法。
  12. コヒーレンシ管理デバイスであって、
    メインメモリのアドレスにデータを書き込む要求を受信するように構成された回路と、
    前記データがゼロデータを含むかどうかを判定するように構成された回路と、
    キャッシュディレクトリが前記アドレスに対応するキャッシュディレクトリエントリを含むかどうかを判定するように構成された回路と、
    前記データがゼロデータを含み、前記キャッシュディレクトリが前記キャッシュディレクトリエントリを含む場合に、前記キャッシュディレクトリエントリの状態を無効に設定し、前記メモリアドレスに対応するデータがゼロデータを含むという指標を前記キャッシュディレクトリエントリに設定するように構成された回路と、
    前記キャッシュディレクトリが前記キャッシュディレクトリエントリを含まない場合に、前記キャッシュディレクトリエントリを生成し、前記キャッシュディレクトリエントリの状態を無効に設定し、前記メモリアドレスに対応するデータがゼロデータを含むという指標を前記キャッシュディレクトリエントリに設定するように構成された回路と、を備える、
    コヒーレンシ管理デバイス。
  13. 前記コヒーレンシ管理デバイスが、前記データがゼロデータを含むかどうかを判定することは、前記コヒーレンシ管理デバイスが、前記データがゼロのみを含むかどうかを判定すること、及び／又は、前記コヒーレンシ管理デバイスが、前記アドレスへのゼロの書き込みを命令するオペコードを含む命令を前記要求が含むかどうかを判定することを含む、
    請求項１２のコヒーレンシ管理デバイス。
  14. 前記指標は、前記キャッシュディレクトリエントリの状態フィールドの少なくとも１つのビット、前記キャッシュディレクトリエントリの状態フィールドの予備状態、前記キャッシュディレクトリエントリの状態フィールドのビット、及び／又は、前記キャッシュディレクトリエントリの共有ベクトルフィールドのビットを含む、
    請求項１２のコヒーレンシ管理デバイス。
  15. 前記コヒーレンシ管理デバイスは、前記データがゼロデータを含む場合に、前記メインメモリに書き込むことなく、前記要求に応じて前記指標を設定するように構成されている、
    請求項１２のコヒーレンシ管理デバイス。
  16. 前記コヒーレンシ管理デバイスは、コヒーレントスレーブデバイス、プローブフィルタデバイス、及び／又は、スヌープフィルタデバイスを含む、
    請求項１２のコヒーレンシ管理デバイス。
  17. 前記コヒーレンシ管理デバイスは、コヒーレントマスターデバイスから前記要求を受信する、
    請求項１２のコヒーレンシ管理デバイス。
  18. 前記要求は、非一時的な書き込み動作を含む、
    請求項１２のコヒーレンシ管理デバイス。
  19. コンピュータシステムにおいてキャッシュコヒーレンスを管理するための方法であって、
    コヒーレンシ管理デバイスが、メインメモリのアドレスにデータを書き込む要求を受信することと、
    前記コヒーレンシ管理デバイスが、前記データがゼロデータを含むかどうかを判定することと、
    前記コヒーレンシ管理デバイスが、キャッシュディレクトリが前記アドレスに対応するキャッシュディレクトリエントリを含むかどうかを判定することと、
    前記データがゼロデータを含み、前記キャッシュディレクトリが前記キャッシュディレクトリエントリを含む場合に、前記キャッシュディレクトリエントリの状態を無効に設定し、前記メモリアドレスに対応するデータがゼロデータを含むという指標を前記キャッシュディレクトリエントリに設定することと、
    前記キャッシュディレクトリが前記キャッシュディレクトリエントリを含まない場合に、前記キャッシュディレクトリエントリを生成し、前記キャッシュディレクトリエントリの状態を無効に設定し、前記メモリアドレスに対応するデータがゼロデータを含むという指標を前記キャッシュディレクトリエントリに設定することと、を含む、
    方法。
  20. 前記コヒーレンシ管理デバイスが、前記データがゼロデータを含むかどうかを判定することは、前記コヒーレンシ管理デバイスが、前記データがゼロのみを含むかどうかを判定すること、及び／又は、前記コヒーレンシ管理デバイスが、前記アドレスへのゼロの書き込みを命令するオペコードを含む命令を前記要求が含むかどうかを判定することを含む、
    請求項１９の方法。
  21. 前記指標は、前記キャッシュディレクトリエントリの状態フィールドの少なくとも１つのビット、前記キャッシュディレクトリエントリの状態フィールドの予備状態、前記キャッシュディレクトリエントリの状態フィールドのビット、及び／又は、前記キャッシュディレクトリエントリの共有ベクトルフィールドのビットを含む、
    請求項１９の方法。
  22. 前記コヒーレンシ管理デバイスは、前記データがゼロデータを含む場合に、前記メインメモリに書き込むことなく、前記要求に応じて前記指標を設定する、
    請求項１９の方法。
  23. 前記コヒーレンシ管理デバイスは、コヒーレントスレーブデバイス、プローブフィルタデバイス、及び／又は、スヌープフィルタデバイスを含む、
    請求項１９の方法。
  24. 前記コヒーレンシ管理デバイスは、コヒーレントマスターデバイスから前記要求を受信する、
    請求項１９の方法。
  25. 前記要求は、非一時的な書き込み動作を含む、
    請求項１９の方法。
JP2022535063A 2019-12-20 2020-11-19 ゼロ値メモリ圧縮 Pending JP2023507292A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/723,780 US20210191865A1 (en) 2019-12-20 2019-12-20 Zero value memory compression
US16/723,780 2019-12-20
PCT/US2020/061360 WO2021126461A1 (en) 2019-12-20 2020-11-19 Zero value memory compression

Publications (1)

Publication Number Publication Date
JP2023507292A true JP2023507292A (ja) 2023-02-22

Family

ID=76438464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022535063A Pending JP2023507292A (ja) 2019-12-20 2020-11-19 ゼロ値メモリ圧縮

Country Status (6)

Country Link
US (1) US20210191865A1 (ja)
EP (1) EP4078383A4 (ja)
JP (1) JP2023507292A (ja)
KR (1) KR20220113505A (ja)
CN (1) CN114846452A (ja)
WO (1) WO2021126461A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230099256A1 (en) * 2021-09-29 2023-03-30 Advanced Micro Devices, Inc. Storing an indication of a specific data pattern in spare directory entries
US20230195632A1 (en) * 2021-12-20 2023-06-22 Advanced Micro Devices, Inc. Probe filter directory management
US11934310B2 (en) * 2022-01-21 2024-03-19 Centaur Technology, Inc. Zero bits in L3 tags

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6973543B1 (en) * 2001-07-12 2005-12-06 Advanced Micro Devices, Inc. Partial directory cache for reducing probe traffic in multiprocessor systems
US7366847B2 (en) * 2006-02-06 2008-04-29 Azul Systems, Inc. Distributed cache coherence at scalable requestor filter pipes that accumulate invalidation acknowledgements from other requestor filter pipes using ordering messages from central snoop tag
WO2010052799A1 (ja) * 2008-11-10 2010-05-14 富士通株式会社 情報処理装置及びメモリ制御装置
US8874855B2 (en) * 2009-12-28 2014-10-28 Empire Technology Development Llc Directory-based coherence caching
US9418016B2 (en) * 2010-12-21 2016-08-16 Intel Corporation Method and apparatus for optimizing the usage of cache memories
WO2014018038A1 (en) * 2012-07-26 2014-01-30 Empire Technology Development Llc Energy conservation in a multicore chip
KR101638064B1 (ko) * 2013-02-11 2016-07-08 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 캐시 제거 통지를 디렉토리로 수집
US9563251B2 (en) * 2013-12-28 2017-02-07 Intel Corporation Representing a cache line bit pattern via meta signaling
JP2016048502A (ja) * 2014-08-28 2016-04-07 富士通株式会社 情報処理装置及びメモリアクセス処理方法
US9934146B2 (en) * 2014-09-26 2018-04-03 Intel Corporation Hardware apparatuses and methods to control cache line coherency
US9684603B2 (en) * 2015-01-22 2017-06-20 Empire Technology Development Llc Memory initialization using cache state
US20180004659A1 (en) * 2016-07-01 2018-01-04 Intel Corporation Cribbing cache implementing highly compressible data indication
US10282296B2 (en) * 2016-12-12 2019-05-07 Intel Corporation Zeroing a cache line
KR102157354B1 (ko) * 2017-11-20 2020-09-17 삼성전자 주식회사 효율적으로 압축된 캐시 라인의 저장 및 처리를 위한 시스템 및 방법
US10956070B2 (en) * 2018-12-11 2021-03-23 International Business Machines Corporation Zeroing a memory block without processor caching

Also Published As

Publication number Publication date
EP4078383A4 (en) 2024-01-17
CN114846452A (zh) 2022-08-02
WO2021126461A1 (en) 2021-06-24
EP4078383A1 (en) 2022-10-26
US20210191865A1 (en) 2021-06-24
KR20220113505A (ko) 2022-08-12

Similar Documents

Publication Publication Date Title
JP6707605B2 (ja) 異なるキャッシュ・コヒーレンス・ドメインの間の情報共有技法
US11030126B2 (en) Techniques for managing access to hardware accelerator memory
US9971700B2 (en) Cache with address space mapping to slice subsets
JP2023507292A (ja) ゼロ値メモリ圧縮
US10467138B2 (en) Caching policies for processing units on multiple sockets
US20070038814A1 (en) Systems and methods for selectively inclusive cache
US11526449B2 (en) Limited propagation of unnecessary memory updates
US11226819B2 (en) Selective prefetching in multithreaded processing units
US20220197506A1 (en) Data placement with packet metadata
US10387314B2 (en) Reducing cache coherence directory bandwidth by aggregating victimization requests
JP2018163571A (ja) プロセッサ
US11561906B2 (en) Rinsing cache lines from a common memory page to memory
US20140281234A1 (en) Serving memory requests in cache coherent heterogeneous systems
US20230101038A1 (en) Deterministic mixed latency cache
US11210248B2 (en) System direct memory access engine offload
US20230205609A1 (en) Scatter-gather atomic optimization

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231113