JP2024526014A - アドレス変換タイプパケットの伝送 - Google Patents

Abstract

共有リソースをターゲットとする要求及び応答をルーティングするための装置、システム及び方法が開示される。通信ファブリック内のキューは、リクエスタと共有リソースとの間の経路に位置する。いくつかの実施形態では、共有リソースは、エンドポイントに記憶された共有アドレス変換キャッシュである。キューと共有リソースとの間の物理チャネルは、複数の仮想チャネルをサポートする。キューは、仮想チャネルのグループの各仮想チャネルに少なくとも１つのエントリを割り当て、グループは、複数のリクエスタのうち単一のリクエスタからの各アドレス変換要求タイプに対する仮想チャネルを含む。所定のリクエスタに対する少なくとも１つのエントリが割り当て解除される場合に、キューは、空のエントリがキューの唯一の利用可能なエントリである場合でも、割り当てられた仮想チャネルからの要求のみを用いてこのエントリを割り当てる。
【選択図】図４

Description

(関連技術の説明)
コンピューティングシステムでは、いくつかのタイプのアプリケーションは、他のアプリケーションよりも並列処理及び共有メモリを利用可能な機能を実行する。このようなアプリケーションの例としては、機械学習アプリケーション、娯楽及びリアルタイムアプリケーション、並びに、いくつかのビジネス、科学、医療及び他のアプリケーションが挙げられる。いくつかのプロセッサアーキテクチャは、２つ以上の処理ユニット（例えば、ＣＰＵ、ＧＰＵ、マルチメディアエンジン等）又は処理コアを含むが、場合によっては、メモリに結合された１つ又は２つの追加の処理ユニット又はコアは、所望のレベルの性能を提供するのに十分なレベルの並列性を必ずしも提供しない。

読み出し及び書き込みアクセスコマンド並びに対応するデータに加えて、コヒーレンシプローブ、割り込み及び他の通信メッセージも、通信ファブリック（又はファブリック）を介してシステム内で転送される。ファブリック内の相互接続の例は、バスアーキテクチャ、クロスバーベースのアーキテクチャ、ネットワークオンチップ（network-on-chip、ＮｏＣ）通信サブシステム、ダイ間の通信チャネル、チップを並べてスタックするために使用されるシリコンインターポーザ、プロセッサダイの上に専用ダイを垂直にスタックするために使用されるスルーシリコンビア（through silicon via、ＴＳＶ）等である。

多くの場合では、ファブリックは複数の物理チャネルを有し、各々が比較的広いパケットをサポートする。単一ファブリック内でデータを転送する間、ファブリックは、比較的多数の物理ワイヤが利用可能であるため、レイテンシを低減する。しかしながら、ファブリックを介して別々のダイを一緒に接続する場合に、及び、別々の処理ノードを一緒に接続する場合に、各々がそれぞれのファブリックを用いて、データが著しく少ない数の物理ワイヤを介して転送され、これは、利用可能な帯域幅を制限する。場合によっては、リンク物理ワイヤは、ダイ上の物理ワイヤデータレートの倍数であるデータレートでデータを転送する。しかしながら、ダイ間及びノード間で通信する場合に、依然として帯域幅が大幅に低減される。

データを転送するための上記の非効率性に加えて、通信ファブリック内の中間キューが満杯になるか、又は、エイジ（age）に基づいて発行のためにエントリに優先順位を付けることが可能である。エントリは、要求又は対応する応答を含むパケットを記憶する。優先度の低いパケットがキューによって発行される間に、優先度の高いパケットが待機する可能性がある。１つ以上のキューが、リクエスタから共有リソースへの第１のパス上で優先度の高い要求を遅延させ、追加的に、１つ以上のキューが、共有リソースからリクエスタへの第２のパス上の要求に対応する優先度の高い応答を遅延させる場合に、性能が低下する。

上記に鑑みて、共有リソースをターゲットとする要求及び応答を効率的にルーティングするための効率的な方法及びシステムが望まれる。

少なくともアドレス変換要求を記憶するキューの一般化した図である。 少なくともアドレス変換要求を処理するパケット送信機の一実施形態の一般化した図である。 少なくともアドレス変換要求を転送するコンピューティングシステムの一般化した図である。 少なくともアドレス変換要求を記憶するキューのエントリを効率的に割り当てるための方法の一実施形態の一般化した図である。 少なくともアドレス変換要求を記憶するキューのエントリから効率的に発行するための方法の一実施形態の一般化した図である。

本発明は、様々な修正及び代替形態の余地があるが、具体的な実施形態が例として図面に示されており、本明細書で詳細に説明される。しかしながら、図面及びその詳細な説明は、開示された特定の形態に本発明を限定することを意図するものではなく、逆に、本発明は、添付の特許請求の範囲によって定義される本発明の範囲に含まれる全ての修正、均等物及び代替物を包含するものであることを理解されたい。

以下の説明では、本発明の十分な理解を提供するために、多数の具体的な詳細が記載されている。しかしながら、当業者は、これらの具体的な詳細なしに、本発明が実施され得ることを認識すべきである。いくつかの例では、本発明を不明瞭にすることを避けるために、周知の回路、構造及び技術が詳細に示されていない。更に、説明の簡略性及び明確性のために、図に示される要素は、必ずしも縮尺どおりに描画されていないことが理解されよう。例えば、いくつかの要素の寸法は、他の要素に対して誇張されている。

共有リソースをターゲットとする要求及び応答を効率的にルーティングするための装置、システム及び方法が企図される。様々な実施形態では、コンピューティングシステムは、通信ファブリックを介して複数のリクエスタによってアクセスされる共有リソースを含む。様々な実施形態では、共有リソースは、ページテーブルの仮想アドレスから物理アドレスへの変換の少なくとも一部のコピーである。場合によっては、宛先は、共有ページテーブルを記憶するメモリコントローラである。他の場合では、宛先は、共有ページテーブルの一部分のコピーを記憶するＩ／Ｏ周辺デバイス（又は周辺デバイス）である。通信ファブリック内のキューは、共有ページテーブルへのアクセスを要求するソースと、共有ページテーブルを含む宛先と、の間のパスに位置する。キューは、宛先からのサービスを要求する要求をそのエントリに記憶する。

キューは、キューから宛先にデータを転送する単方向チャネルを含む。転送されたデータは、キューによって発行のために選択された１つ以上の要求を含む。単方向チャネルは「物理チャネル」と呼ばれ、これは、キューと宛先との間の所定数の物理ワイヤを含む。したがって、物理チャネルは、送信機及び受信機回路構成並びに記憶素子等の物理チャネルをサポートするための物理リソースの限界を有する。物理チャネルの数を増加させることによって宛先のアクセスを要求する複数のソースに対するスループットを増加させるのではなく、キューは、既存の物理チャネル上での時分割多重化をサポートする。キューによってサポートされる時分割多重化は、キューと宛先との間に複数の「仮想チャネル」を生成する。したがって、単一物理チャネル上のデータ転送は、物理リソースを増加させることなく、複数の仮想チャネルに対して行われる。場合によっては、仮想チャネルは、特定のソースに割り当てられる。他の場合では、仮想チャネルが特定の要求タイプに割り当てられる。更に他の場合では、仮想チャネルは、特定のソースからの特定の要求タイプに割り当てられる。

ソースと宛先との間のキューの回路構成は、アービトレーションユニット及び制御ユニットを含む。キューの制御ユニットは、複数のソースからの要求を記憶するキューの割り当てられたエントリ及び割り当てられていないエントリを維持する。一実施形態では、制御ユニットは、仮想チャネルのグループの各仮想チャネルに少なくとも１つのエントリを割り当て、グループは、複数のソースのうち単一のソースからの各アドレス変換要求タイプに対する仮想チャネルを含む。アドレス変換要求の一例は、１つ以上の仮想アドレスから物理アドレスへの変換のコピーを宛先から取り出すことを要求する読み出し要求である。アドレス変換要求の別の例は、宛先に記憶された１つ以上の記憶された仮想アドレスから物理アドレスへの変換を無効にすることを要求する無効化要求である。

アービトレーションユニットは、１つ以上の属性等の選択基準に基づいて、発行するために割り当てられたエントリから１つ以上の要求を選択する。所定の仮想チャネルに対する少なくとも１つ以上の割り当てられたエントリが空である場合に、回路構成は、これらのエントリに、割り当てられていないエントリに記憶された所定の仮想チャネルの要求を割り当てる。しかしながら、制御ユニットが、所定の仮想チャネルに割り当てられた未割り当てのエントリがないと判定した場合、制御ユニットは、割り当てられた１つ以上のエントリを空として維持する。例えば、制御ユニットは、割り当てられた１つ以上のエントリがキューの唯一の利用可能なエントリである場合であっても、割り当てられた１つ以上のエントリを他の仮想チャネルに割り当てない。

図１を参照すると、少なくともアドレス変換要求を記憶するキュー１００の一実施形態の一般化したブロック図が示されている。図示した実施形態では、キュー１００は、キューエントリ１１０（又はエントリ１１０）、アービトレーションユニット１３０、及び、制御ユニット１４０を含む。加えて、右下隅には２つのキーが示されている。キーは、ソースに関連付けられたデバイスタイプを説明するマッピング、並びに、ソース及び要求タイプへの仮想チャネルのマッピングを提供する。エントリ１１０は、１つ以上の宛先に送信される１つ以上のソースからの様々な要求タイプを記憶する。エントリ１１０は、割り当てられたエントリ１１２、１１４、１１６と、割り当てられていないエントリ（未割り当てのエントリ）１１８と、の両方を含む。アービトレーションユニット１３０は、１つ以上の属性等の選択基準に基づいて、宛先に発行するために、割り当てられたエントリ１１２、１１４、１１６から１つ以上の要求を選択する回路構成を含む。１つ以上の発行された要求は、物理チャネル１３２を介して宛先に送信される。発行された要求のエントリは、仮想チャネルに基づいて割り当てられていないエントリ１１８に記憶された要求によって後に割り当てられる。制御ユニット１４０は、エントリ１１０の割り当てを維持し、割り当てられたエントリ１１２、１１４、１１６及び割り当てられていないエントリ１１８にいくつのエントリを提供するかを判定する回路構成を含む。

図１の右下隅は、２つのキーを含む。第１のキーは、デバイスタイプへのソースのマッピングを含む。例えば、「Ｓｒｃ１」又はソース１は、コンピューティングシステムの第１の中央処理装置（central processing unit、ＣＰＵ）である。同様に、「Ｓｒｃ２」又はソース２は、コンピューティングシステムの第２の中央処理装置（ＣＰＵ）であり、以下同様である。特定の数のデバイス及びタイプのデバイスが第１のキーに示されているが、他の実施形態では、キュー１００を使用するコンピューティングシステムは、別の数及びタイプのデバイスを含む。第２のキーは、ソース及び要求タイプへの仮想チャネル（virtual channel、ＶＣ）のマッピングを含む。例えば、「ＶＣ１」又は仮想チャネル１は、ＣＰＵ１及びＣＰＵ２であるソース１及び２からのメモリ書き込み要求タイプに割り当てられる。仮想チャネルは、複数のソースからのメモリ書き込み要求及びメモリ読み出し要求に割り当てられるが、単一のチャネルは、単一のソースとアドレス変換要求タイプとの組み合わせに割り当てられることに留意する。したがって、ソースがアドレス変換要求タイプを生成する場合に、何れのソースも仮想チャネルを共有しない。示されるように、各仮想チャネルは、割り当てられたエントリ１１２、１１４、１１６の単一の割り当てられたエントリを有する。他の実施形態では、仮想チャネルは、割り当てられたエントリ１１２、１１４、１１６の１つ以上のエントリを有する。

エントリ１１０は、様々なランダムアクセスメモリ（random access memory、ＲＡＭ）、連想メモリ（content addressable memory、ＣＡＭ）、複数のレジスタ又はフリップフロップ回路等のうち何れかを用いて実装される。いくつかの実施形態では、エントリ１１０は、同じ宛先をターゲットとする複数のソースからの様々なトランザクションを記憶する。キュー１００は、通信ファブリックを介して複数のソースからトランザクションを受信する。通信ファブリックは、ソースと宛先との間の要求、応答、及び、他のタイプのメッセージの転送をサポートする。ソースの例としては、中央処理ユニット（ＣＰＵ）、オーディオ及びビジュアルデータのうち１つ以上を処理するマルチメディアエンジン、特定用途向け集積回路（application specific integrated circuit、ＡＳＩＣ）、グラフィック処理ユニット（graphics processing unit、ＧＰＵ）、様々な入力／出力（input/output、Ｉ／Ｏ）周辺デバイスのうち何れか等である。ソースは、リクエスタ及び「クライアント」とも呼ばれ、宛先によってサービスされる要求及びメッセージを生成することができる。宛先の例としては、メモリコントローラ及びソースが受信した要求によってサービスを実行するように要求される場合のソースの例が挙げられる。宛先は、「エンドポイント」とも呼ばれ、これは、デバイスをターゲットとするクライアントから受信された要求をサービスするデバイスである。

エントリ１１０に記憶されるトランザクションの例は、メモリ読み出し要求、メモリ書き込み要求、メモリスヌープ（プローブ）要求、トークン又はクレジットメッセージ、及び、アドレス変換要求である。他の実施形態では、要求タイプの他の例も含まれる。アドレス変換要求の一例は、１つ以上の仮想アドレスから物理アドレスへの変換のコピーを宛先から取り出すことを要求する読み出し要求である。アドレス変換要求の別の例は、宛先に記憶された１つ以上の記憶された仮想アドレスから物理アドレスへの変換を無効にすることを要求する無効化要求である。右下隅の２つのキーは、メモリ書き込み要求、メモリ読み出し要求、及び、アドレス変換要求についての情報を提供するが、他の実施形態では、他のタイプの要求が仮想チャネルの割り当てに含まれる。

オペレーティングシステムは、仮想アドレス空間をソフトウェアプロセスに割り当て、アドレス空間は特定のサイズのブロックに分割される。各ブロックは、アドレス空間の「ページ」である。仮想ページは、物理メモリのフレームにマッピングされ、物理アドレスへの仮想アドレスのマッピングは、物理メモリ内の仮想ページの記憶された位置を追跡する。これらのマッピングはページテーブルに記憶され、外部システムメモリはこのページテーブルを記憶する。ページテーブルの少なくとも一部のコピーは、宛先のアドレス変換キャッシュに記憶される。アドレス変換キャッシュは、トランスレーションルックアサイドバッファ（translation look-aside buffer、ＴＬＢ）と呼ばれることもある。ページテーブルの少なくとも一部のこのコピーを記憶する宛先の例は、システムメモリのためのメモリコントローラ、及び、Ｉ／Ｏ周辺デバイス（又は周辺デバイス）等のエンドポイントのうち１つ以上を含む。

キュー１００は、エントリ１１０からの発行のために選択された１つ以上の要求を宛先に転送する物理チャネル１３２を含む。転送されたデータは、キューによって発行のために選択された１つ以上の要求を含む。物理チャネル１３２は、キュー１００と宛先との間の所定数の物理ワイヤを含む。したがって、物理チャネル１３２は、送信機及び受信機回路構成並びに記憶素子等の物理チャネルをサポートするための物理リソースの限界を有する。スループットを改善するために物理チャネル１３２の数を増加させるのではなく、制御ユニット１４０は、既存の物理チャネル１３２上で時分割多重化をサポートする。制御ユニット１４０によってサポートされる時分割多重化は、キュー１００と宛先との間に複数の「仮想チャネル」を作成する。

場合によっては、制御ユニット１４０は、仮想チャネルを特定のソースに割り当てる。他の場合では、制御ユニット１４０は、仮想チャネルを特定の要求タイプに割り当てる。例えば、制御ユニットは、メモリ書き込み要求のために、割り当てられたエントリ１１２を維持する。追加的に、制御ユニットは、メモリ読み出し要求のために、割り当てられたエントリ１１４を維持する。更に、制御ユニットは、アドレス変換要求のために、割り当てられたエントリ１１６を維持する。割り当てられたエントリの３つのセットが示され、それぞれが特定の数のエントリを有するが、割り当てられたエントリの別の数のセットが可能であり、企図される。割り当てられたエントリの各セットが、示された数とは別の数のエントリを有することも可能である。

割り当てられたエントリ１１６はアドレス変換タイプに割り当てられているが、図示した実施形態では、単一のエントリが特定の仮想チャネルに割り当てられることに留意されたい。ここで、仮想チャネルは、特定のソースからのアドレス変換要求に割り当てられる。一例では、仮想チャネル（ＶＣ）８は、ディスプレイエンジンからのアドレス変換要求に割り当てられ、ＶＣ９は、第１のタイプの周辺デバイスからのアドレス変換要求に割り当てられ、ＶＣ１０は、第２のタイプの周辺デバイスからのアドレス変換要求に割り当てられる等である。ここで、仮想チャネル識別子７～１０が使用されるが、他の実施形態では、他の識別子が使用される。制御ユニット１４０は、仮想チャネルのグループの各仮想チャネルに少なくとも１つのエントリを割り当て、グループは、複数のソースのうち単一のソースからの各アドレス変換要求タイプに対する仮想チャネルを含む。これに対して、ＶＣ１は、ＣＰＵ１及びＣＰＵ２等の２つ以上のソースからのメモリ書き込み要求に割り当てられる。

示されるように、エントリ１１０は、受信した要求に対応する情報を記憶するための複数のフィールド１２０～１２８を含む。特定の数及びタイプのフィールドがエントリ１１０に示されているが、他の実施形態では、別の数のフィールド及び他のタイプのフィールドがエントリ１１０に記憶される。示されるように、エントリ１１０は、対応するエントリに要求が割り当てられているかどうかを示す少なくとも１つの有効（valid、Ｖ）ビットを記憶するステータスフィールド１２０等のメタデータを記憶する。フィールド１２２は、仮想チャネル（ＶＣ）識別子（identifier、ＩＤ）を記憶する。仮想チャネルＩＤは、アプリケーションのランタイム中に動的に割り当てられる。割り当て段階中に、個々の仮想チャネルＩＤが、複数のソースのうち単一のソースからのアドレス変換要求タイプに割り当てられる。フィールド１２４は、「Ｓｒｃ」として示されるソース又はクライアント識別子（identifier、ＩＤ）を記憶する。ソースＩＤは、要求を生成し送信したソースを識別する。

また、エントリ１１０は、「Ａｒｂ」によって示されるアービトレーション値を記憶するフィールド１２６を含む。アービトレーション値は、１つ以上の属性等の選択基準に基づく。これらの属性の例は、要求の受信した優先度レベル、サービス品質（quality-of-service、ＱｏＳ）パラメータ、ソース識別子（ＩＤ）、リアルタイムアプリケーション等のアプリケーションＩＤ又はタイプ、仮想チャネルＩＤ、帯域幅要件又はレイテンシ耐性要件、エイジの指標等である。いくつかの実施形態では、これらの値は、エントリ１１０の個々のフィールドに記憶され、アービトレーションユニット１３０は、これらの値のうち１つ以上を受信し、割り当てられたエントリ１１２、１１４、１１６の中からエントリの最終属性値を判定する。他の実施形態では、制御ユニット１４０は、これらの値のうち１つ以上を受信し、エントリ１１０に記憶するための最終属性値を判定する。制御ユニット１４０は、少なくともエイジに基づいてこれらのアービトレーション値を更新する。

エントリ１１０のフィールド１２８は、メモリ書き込み要求、メモリ読み出し要求、アドレス変換要求等の要求タイプを含む。キューエントリ１１０の他のフィールド（図示せず）に記憶される他のタイプの情報の例は、要求に対応するターゲットアドレス、読み出し又は書き込むデータサイズの指標、対応する要求のエイジの指標、宛先ＩＤ、キュー１００が対応する要求を受信する前の通信ファブリック内の前のホップのＩＤ、ソフトウェアプロセスＩＤ、アプリケーションＩＤ、リアルタイムデータ又は非リアルタイムデータ等のデータタイプの指標等である。

選択基準から判定された最終値に少なくとも基づいて、アービトレーションユニット１３０は、物理チャネル１３２を介して宛先に発行するために、割り当てられたエントリ１１２、１１４、１１６から１つ以上の要求を選択する。いくつかの実施形態では、アービトレーションユニット１３０が、発行する割り当てられたエントリ１１２、１１４、１１６から２つ以上の要求を発行するように選択する場合に、アービトレーションユニット１３０は、各アービトレーション段階中に、割り当てられたエントリ１１６から少なくとも１つの要求を選択する。各アービトレーション段階は、実装に応じて、１つ以上のクロックサイクル又はパイプライン段階であり得る。言い換えれば、アービトレーションユニット１３０は、キューエントリ１１０から要求が発行されるごとに、割り当てられたエントリ１１６から少なくとも１つの要求を選択する。したがって、アービトレーションユニット１３０は、各アービトレーション段階中に、割り当てられたエントリ１１６の仮想チャネルのグループから少なくとも１つのアドレス変換要求を発行のために選択するが、選択されたアドレス変換要求は、割り当てられたエントリ１１２、１１４内の１つ以上の要求よりも低いアービトレーション値を有する。一例では、アービトレーションユニット１３０は、各アービトレーション段階中に発行のために２つの要求を選択する。アービトレーションユニット１３０は、アービトレーション値１０及び９を有する仮想チャネル５及び６のエントリ１１４の２つのメモリ読み出し要求を選択するのではなく、エントリ１１４のＶＣ５及びアービトレーション値１０を有するメモリ読み出し要求と、エントリ１１６のＶＣ９及びアービトレーション値６を有するアドレス変換要求と、を選択する。このようにして、アービトレーションユニット１３０は、アドレス変換要求ができるだけ早く宛先に送信されることを保証する。

割り当てられたエントリ１１６の１つ以上のエントリが空（Ｖ＝０）であるか、又は、割り当て解除されている場合に、制御ユニット１４０は、これらのエントリに、割り当てられていないエントリ１１８に記憶された対応する仮想チャネルからのアドレス変換要求を割り当てる。割り当てられたエントリ１１２、１１４のエントリは、エントリに割り当てられたタイプの要求と同様に割り当てられる。しかしながら、制御ユニット１４０が、対応する仮想チャネルに割り当てられた未割り当て（割り当てられていない）エントリ１１８がないと判定した場合、制御ユニット１４０は、割り当てられたエントリ１１６の１つ以上のエントリを空として維持する。例えば、制御ユニット１４０は、割り当てられた１つ以上のエントリがエントリ１１０の唯一の利用可能なエントリである場合であっても、エントリ１１６の割り当てられた１つ以上のエントリを他の仮想チャネルに割り当てない。例えば、ＶＣ＝１及びＡｒｂ＝８に対するアドレス変換タイプが割り当てられたエントリ１１６のエントリが、発行のために選択されたことに起因して割り当て解除され、エントリ１１８のうち何れのエントリもＶＣ＝１に対する要求を有しない場合、ＶＣ＝１に割り当てられたエントリ１１６のエントリは、割り当てられていないエントリ１１８に記憶された要求が、割り当てられたエントリ１１２、１１４、１１６内のエントリを必要としているにもかかわらず、割り当て解除されたままである。別の例は、割り当てられていないエントリ１１８がＶＣ＝７に対する要求を有しない場合に、割り当てられていないエントリ１１８に記憶された要求が、割り当てられたエントリ１１２、１１４、１１６内のエントリを必要とするにもかかわらず割り当て解除されたままである、エントリ１１６のＶＣ＝７に対するエントリである。

いくつかの実施形態では、制御ユニット１４０は、仮想チャネルに基づいて、エントリ１１２、１１４、１１６のうち割り当てられたエントリから開始して、受信された要求を順番に連続して割り当てる。このような実施形態では、制御ユニット１４０は、割り当てられたエントリ１１２、１１４、１１６のうち対応するエントリにおける特定の仮想チャネルに対応する最も古い要求を維持する。特定の仮想チャネルの観点から、キュー１００は、先入れ先出し（first-in-first-out、ＦＩＦＯ）データ記憶を提供するように見える。キュー１００は、共有アドレス変換キャッシュへのアクセスを要求するソースと、共有アドレス変換キャッシュを含む宛先と、の間のパスに位置することに留意する。いくつかの実施形態では、少なくともキュー１００及び宛先は、相互接続通信プロトコルをサポートし、このプロトコルは、アドレス変換要求をルーティングするための仕様を含む。いくつかの実施形態では、サポートされる仕様は、ＰＣＩｅ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ）相互接続通信プロトコルのＡＴＳ（Address Translation Services）仕様である。ＡＴＳ仕様は、エンドポイント上のアドレス変換の遠隔キャッシング（記憶）をサポートする。他の実施形態では、別の仕様及び別の相互接続通信プロトコルがサポートされる。

キュー１００と同様の別のキューが、少なくともアドレス変換要求に対応する応答を記憶するために使用されることにも留意する。応答のタイプとしては、アドレス変換読み出し要求がグラントされるかどうかを示す完了確認、無効化要求がグラントされるかどうかを示す確認、及び、要求された仮想アドレスから物理アドレスへの変換の１つ以上のコピー等の応答データを含む。様々な実施形態では、この他のキューは、キュー１００と同様に編成され、キューエントリに記憶された応答は、同様に処理される。

図２を参照すると、ファブリックパケット送信機２００の一実施形態の一般化したブロック図が示されている。図示した実施形態では、ファブリックパケット送信機２００は、各々がそれぞれのタイプのパケットを記憶するためのキュー２１０、２３０を含む。いくつかの実施形態では、パケットは、フロー制御ユニット（フリット（flit））である。フリットは、より大きなパケットのサブセットである。フリットは、概して、データ及びより大きなパケットのためのヘッダ及びテール情報等の制御情報を運ぶ。伝送のためのデータが、ネットワーク内でルーティングされるパケットとして説明されるが、他の実施形態では、伝送のためのデータは、ポイントツーポイント相互接続におけるビットストリーム又はバイトストリームである。様々な実施形態では、キュー２１０、２３０は、ファブリックリンクを介して送信される制御パケットを記憶する。フリットに対応するより大きなパケット等の対応するデータパケットは、他のキューに記憶される。他の実施形態では、キュー２１０、２３０はデータパケットを記憶し、対応する制御パケットは他のキューに記憶される。

ファブリックパケット送信機２００が、要求を生成するソースから要求をサービスする宛先へのデータフローに配置される場合に、キュー２１０、２３０に記憶される制御パケットタイプの例は、メモリ読み出し要求タイプ、メモリ書き込み要求タイプ、プローブ（スヌープ）メッセージタイプ、トークン又はクレジットタイプ、アドレス変換読み出しアクセスタイプ、及び、アドレス変換無効化タイプである。ファブリックパケット送信機２００が、要求をサービスする宛先から、要求がサービスされるのを待機するソースへのデータフローに配置される場合に、キュー２１０、２３０に記憶される制御パケットタイプの例は、読み出し応答タイプ、書き込み応答タイプ、プローブ（スヌープ）応答タイプ、アドレス変換読み出しアクセス応答タイプ、及び、アドレス変換無効化応答タイプである。パケットタイプの他の例も、別の実施形態に示される。

いくつかの実施形態では、キュー２１０は、制御要求タイプである「タイプ１」のパケットを記憶する。キュー２３０は、一実施形態におけるアドレス変換要求タイプである「タイプＮ」のパケットを記憶する。他の実施形態では、「タイプ１」及び「タイプＮ」は、要求タイプではなく、個別の仮想チャネルに対応する。先に説明したように、アドレス変換要求の一例は、１つ以上の仮想アドレスから物理アドレスへの変換のコピーを宛先から取り出すことを要求する読み出し要求である。アドレス変換要求の別の例は、宛先に記憶された１つ以上の記憶された仮想アドレスから物理アドレスへの変換を無効にすることを要求する無効化要求である。キュー２１０と２３０との間のキューは、「タイプ２」～「タイプＮ－１」のパケットを記憶し、これらは、実装に応じて、他の制御応答タイプ又は他の個別の仮想チャネルを含む。したがって、図２には２つのキューしか示されていないが、ファブリックパケット送信機２００は、任意の数のキューを含む。キュー２１０、２３０が別々のキューとして示されているが、他の実施形態では、キュー２１０、２３０のエントリが単一のキュー内に維持される。

キュー２１０、２３０は、様々なランダムアクセスメモリ（ＲＡＭ）、連想メモリ（ＣＡＭ）、複数のレジスタ又はフリップフロップ回路等のうち何れかを用いて実装される。制御ユニット２２０は、ファブリックパケット送信機２００が新しいパケットを受信した場合に、キュー２１０の何れのエントリを割り当てるかを判定するために、回路構成等のハードウェアを使用する。また、制御ユニット２２０は、パケットがキュー２１０に割り当てられ、キュー２１０から発行される場合に、パケットのソースに割り当てられたクレジット又はトークンを更新する。例えば、制御ユニット２２０は、エントリが満杯になる場合、又は、満杯になるエントリの閾値数内にある場合に、キュー２１０のエントリにおけるデータ衝突を回避するために、新しいパケットを受信する間のクロックサイクル（又はサイクル）の最小数を判定する。制御ユニット２４０は同様の機能を有するが、キュー２３０内のデータにアクセスする方式は、キュー２３０内に記憶されたパケットのタイプに起因して、キュー２１０内のデータにアクセスする方法とは異なってもよい。

様々な実施形態では、キュー２３０、制御ユニット２４０及びキューアービタ２４２は、（図１の）キュー１１０、制御ユニット１３０及びアービトレーションユニット１２０について先に説明したのと同様の機能を有する。しかしながら、（図１の）キュー１１０は、アドレス変換タイプに割り当てられた仮想チャネル以外の仮想チャネルの要求を記憶している。ここで、キュー２３０は、アドレス変換タイプのみに割り当てられた仮想チャネルの要求を記憶する。制御ユニット２４０は、仮想チャネルのグループの各仮想チャネルに少なくとも１つのエントリを割り当て、グループは、複数のソースのうち単一のソースからの各アドレス変換要求タイプに対する仮想チャネルを含む。いくつかの実施形態では、ファブリックパケット送信機２００は、通信ファブリック内の中間位置で使用されるが、（図１の）キュー１００は、宛先の前の最後のキューとして使用される。

キューアービタ２２２は、ファブリックリンク上で送信するためにキュー２１０のエントリに記憶されたパケットを選択する回路構成を使用する。いくつかの実施形態では、キューアービタ２２２は、１つ以上の属性に基づいて、割り当てられたエントリからのパケットの優先度レベルを判定する。先に説明したように、これらの属性は、要求の受信した優先度レベル、サービス品質（ＱｏＳ）パラメータ、ソース識別子（ＩＤ）、リアルタイムアプリケーション等のアプリケーションＩＤ又はタイプ、仮想チャネルＩＤ、帯域幅要件又はレイテンシ耐性要件、エイジの指標等のうち１つ以上である。ファブリックリンクが利用可能である場合に、１つ以上の候補パケット２２４がファブリックリンク上で送信される。同様に、キューアービタ２４２は、ファブリックリンク上で送信するためにキュー２３０から１つ以上の候補パケット２４４を選択する。いくつかの実施形態では、キューアービタ２２２～２４２は、クロックサイクルごとにキュー２１０～２３０から候補パケット２２４～２４４を選択する。他の実施形態では、パケットは、以前に選択された候補パケット２３０～２３４がリンクパケットに挿入され、ファブリックリンク上で送信された後に選択される。

先に説明したように、キュー２３０は、（通信ファブリックにおけるデータフローのアップストリーム又はダウンストリームの方向に応じて、）アドレス変換要求に対応するパケットタイプ又はアドレス変換応答に対応するパケットタイプである「タイプＮ」のパケットを記憶する。例えば、特定のページテーブルにアクセスする許可を有するリクエスタが、ＴＬＢミスを生成し、リクエスタは、特定のページテーブルの少なくとも一部のコピーへのアクセスを制御するメモリコントローラ又は他のエンドポイントにアドレス変換要求を送信している。様々な実施形態では、アドレス変換要求は、ページテーブルウォークを開始する。他の実施形態では、アドレス変換要求は、特定のページテーブルからの要求されたアドレス変換のコピーを記憶する特定のＴＬＢにアクセスする。キュー２３０は、リクエスタからメモリコントローラ又は他のエンドポイントへのパス上の中間キューである。代替的には、メモリコントローラ又は他のエンドポイントは、対応するアドレス変換応答をリクエスタに送信しており、キュー２３０は、メモリコントローラ又は他のエンドポイントからリクエスタへのパス上の中間キューである。「タイプＮ」の受信したパケットは、キュー２３０のエントリ２５２～２６６のうち何れかに記憶される。

いくつかの実施形態では、アドレス変換は、共有ページテーブルを記憶するメモリコントローラ又は他のエンドポイント等の共有リソースに記憶される。いくつかの実施形態では、アドレス変換要求は、ＰＣＩｅ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ）相互接続通信プロトコルのＡＴＳ（Address Translation Services）仕様に基づく要求である。ＡＴＳ仕様は、エンドポイント上のアドレス変換の遠隔キャッシング（記憶）をサポートする。キュー２３０並びに制御ユニット２４０及びキューアービタ２４２等のサポート回路構成は、共有ページテーブルにアクセスするリクエスタに対してアドレス変換要求をサービスするレイテンシを短縮する。例えば、制御ユニット２４０は、割り当てられたエントリ２５０としてエントリ２５２～２５４を維持し、一方、制御ユニット２４０は、割り当てられていないエントリ（未割り当てのエントリ）２６０としてエントリ２６２～２６６を維持する。様々な実施形態では、特定のページテーブルへのアクセスを有する各リクエスタは、割り当てられたエントリ２５０内に少なくとも１つの割り当てられたエントリを有する。複数のリクエスタのうち特定のリクエスタからの各アドレス変換要求には、特定の仮想チャネルが割り当てられる。特定の仮想チャネルについて、エントリ２５０の少なくとも１つの割り当てられたエントリの各々が割り当てられ、受信したパケットが特定のリクエスタに対応する場合に、制御ユニット２４０は、割り当てられていないエントリ２６０のうち利用可能なエントリを割り当てのために選択する。

キューアービタ２４２は、割り当てられたエントリ２５０に記憶されたパケットから発行する１つ以上のパケットを選択する。一実施形態では、割り当てられたエントリ２５０のパケットがエイジ閾値を超える場合、キューアービタ２４２はパケットを選択する。そうでない場合、キューアービタ２４２は、先に説明したように１つ以上の属性に基づいて、発行するために割り当てられたエントリ２５０からパケットを選択する。追加的に、キューアービタ２４２は、最も最近に選択されたアルゴリズム、ラウンドロビンアルゴリズム等に基づいて、割り当てられたエントリ２５０からパケットを選択することができる。特定のリクエスタに対するエントリ２５０のうち割り当てられたエントリが空である（割り当て解除されている）場合に、制御ユニット２４０は、エントリ２５０のうちこれらのエントリに、特定のリクエスタに対応する割り当てられていないエントリ２６０からのパケットを割り当てる。したがって、いくつかの実施形態では、制御ユニット２４０は、割り当てられたエントリ２５０のうち何れかにおいて、所定の仮想チャネルからの最も古いパケットを維持する。例えば、制御ユニット２４０は、特定の仮想チャネルからのパケットを順番にサービスする。

しかしながら、制御ユニット２４０が、特定の仮想チャネルに割り当てられるエントリ２６０のうち割り当てられていないエントリがないと判定する場合、制御ユニット２４０は、エントリ２５０のうち割り当てられた１つ以上のエントリを、特定の仮想チャネルに対して空として維持する。例えば、制御ユニット２４０は、これらの割り当てられた１つ以上のエントリがキュー２３０の唯一の利用可能なエントリである場合であっても、エントリ２５０のこれらの空のエントリに他の仮想チャネルからのパケットを割り当てない。したがって、エントリ２５０のうち少なくとも１つのエントリは、現在、特定の仮想チャネルがキュー２３０内に割り当てられたエントリを有していないにもかかわらず、特定の仮想チャネルに対して利用可能なままである。その結果、エントリ２５２～２６６のうちに利用可能なエントリがないためにキュー２３０でブロックされるアドレス変換パケット（要求又は応答）を有する、共有ページテーブルへのアクセスを有する仮想チャネルはない。むしろ、各仮想チャネルは、割り当てられたエントリ２５０のうち少なくとも１つの利用可能なエントリを有することが保証される。

ここで、図３を参照すると、少なくともアドレス変換要求を転送するコンピューティングシステム３００の一実施形態の一般化されたブロック図が示されている。示されるように、コンピューティングシステム３００は、メモリコントローラ３４０、周辺デバイス３８０及び３９０、並びに、複数のクライアントの各々の間の通信ファブリック３１０を含む。メモリコントローラ３４０は、メモリ３５０とインターフェースするために使用される。複数のクライアントの例は、中央処理ユニット（ＣＰＵ）３６０、グラフィック処理ユニット（ＧＰＵ）３６２、ハブ３６４、並びに、周辺デバイス３８０及び３９０である。ハブ３６４は、マルチメディアエンジン３６８と通信するために使用される。いくつかの実施形態では、１つ以上のハブが、マルチメディアプレーヤ（すなわち、マルチメディアエンジン３６８のためのハブ３６４）、ディスプレイユニット等にインターフェースするために使用される。このような場合では、ハブがコンピューティングシステム３００内のクライアントである。いくつかの実施形態では、周辺デバイス３８０及び３９０のうち１つ以上がハブを使用する。各ハブは、追加的に、様々な通信プロトコルに従ってデータ転送を処理するための制御回路構成及び記憶素子を含む。５つのクライアント３６０、３６２、３６４、３８０、３９０が示されているが、他の実施形態では、コンピューティングシステム３００は、ディスプレイユニット、１つ以上の他の入力／出力（Ｉ／Ｏ）周辺デバイス等のように、任意の数のクライアント及び他のタイプのクライアントを含む。

いくつかの実施形態では、コンピューティングシステム３００は、示された構成要素の各々が単一の半導体ダイ上に集積されたシステムオンチップ（system on a chip、ＳｏＣ）である。他の実施形態では、構成要素は、システムインパッケージ（system-in-package、ＳｉＰ）又はマルチチップモジュール（multi-chip module、ＭＣＭ）における個々のダイである。様々な実施形態では、ＣＰＵ３６０、ＧＰＵ３６２、マルチメディアエンジン３６６、並びに、周辺デバイス３８０及び３９０は、スマートフォン、タブレットコンピュータ、ゲームコンソール、スマートウォッチ、デスクトップコンピュータ、バーチャルリアリティヘッドセット等において使用される。ＣＰＵ３６０、ＧＰＵ３６２、マルチメディアエンジン３６６、並びに、周辺デバイス３８０及び３９０は、転送するオンチップネットワークデータを生成することが可能なクライアントの例である。ネットワークデータの例としては、メモリアクセス要求、メモリアクセス応答データ、メモリアクセス確認、プローブ及びプローブ応答、アドレス変換要求、アドレス変換応答、アドレス変換無効化要求、並びに、クライアント間の他のネットワークメッセージが挙げられる。このネットワークデータは、ネットワークパケット（又はパケット）内に配置される。各パケットは、特定のタイプのネットワークデータを含む。例えば、１つのパケットは１つ以上の要求を含み、別のパケットは１つ以上の応答を含む等である。パケットは、少なくともソース、宛先、仮想チャネル、パケットタイプ、応答データのデータサイズ、優先度レベル、メッセージを生成したアプリケーション等を識別するために使用される複数の識別子を含むメタデータを有するヘッダを含む。

パケットを効率的にルーティングするために、様々な実施形態では、通信ファブリック３１０は、ネットワークスイッチを含むルーティングネットワーク３２０を使用する。様々な実施形態では、ファブリック３１０及びルーティングネットワーク３２０のうち１つ以上は、制御パラメータを記憶するためのステータスレジスタ及び制御レジスタを含む。いくつかの実施形態では、ファブリック３１０は、通信、データ伝送及び１つ以上のバスを介してパケットをルーティングするためのネットワークプロトコルをサポートするための回路構成等のハードウェアを含む。ファブリック３１０は、アドレスフォーマット、インターフェース信号、及び、同期／非同期クロックドメイン使用をサポートするための回路構成を含む。いくつかの実施形態では、ファブリック３１０のネットワークスイッチは、ネットワークオンチップ（ＮｏＣ）スイッチである。一実施形態では、ルーティングネットワーク３２０は、ポイントツーポイント（point-to-point、Ｐ２Ｐ）リングトポロジにおいて複数のネットワークスイッチを使用する。他の実施形態では、ルーティングネットワーク３２０は、メッシュトポロジ内のプログラマブルルーティングテーブルを有するネットワークスイッチを使用する。更に他の実施形態では、ルーティングネットワーク３２０は、トポロジの組み合わせでネットワークスイッチを使用する。いくつかの実施形態では、ルーティングネットワーク３２０は、コンピューティングシステム３００内のワイヤの数を低減するために１つ以上のバスを含む。例えば、インターフェース３３０～３３２のうち１つ以上は、ルーティングネットワーク３２０内の単一のバス上で読み出し応答及び書き込み応答を送信する。

ＣＰＵ３６０、ＧＰＵ３６２、マルチメディアエンジン３６６、並びに、周辺デバイス３８０及び３９０の各々は、ソース及び宛先となることができる。ソースは、サービスする宛先に対する要求を生成する。宛先は、要求をサービスし、対応するソースに任意の応答を送信する。先に説明したように、ＣＰＵ３６０、ＧＰＵ３６２、マルチメディアエンジン３６６、並びに、周辺デバイス３８０及び３９０はクライアントと呼ばれるが、これらの構成要素はエンドポイントでもある。先に説明したように、エンドポイントは、デバイスをターゲットとする要求をサービスする宛先として機能するデバイスである。

様々な実施形態では、ファブリック３１０、ルーティングネットワーク３２０、インターフェース３１２、３１４、３１６、３３０、３３２、３３４、及び、メモリコントローラ３４０のうち１つ以上は、ソースと宛先との間で転送されるパケットを記憶するために、キュー３７０～３７３等の中間キューを使用する。ルーティングネットワーク３２０のみがキュー３７０～３７３を使用するように示されているが、他の構成要素も同様のキューを含むことが可能であり、企図される。キュー３７０～３７３は、複数の機能を実行する制御回路構成及び記憶素子等のハードウェアを伴う付随する制御ユニット（control unit、ＣＵ）３７４～３７７を有する。これらの機能の例は、キューエントリのアクセス、キューエントリからのパケットの発行、及び、キューエントリ内のパケットの記憶の任意の再順序付けを制御することである。様々な実施形態では、キュー３７０～３７３及び付随する制御ユニット３７４～３７７は、（図１の）キュー１００の機能を提供する。他の実施形態では、キュー３７０～３７３及び付随する制御ユニット３７４～３７７のうち１つ以上が、（図２の）ファブリックパケット送信機２００の機能を提供する。

様々な実施形態では、通信ファブリック３１０（又はファブリック３１０）は、ＣＰＵ３６０、ＧＰＵ３６２、マルチメディアエンジン３６６、並びに、周辺デバイス３８０及び３９０の間でパケットを転送する。また、ファブリック３１０は、メモリ３５０と、ＣＰＵ３６０、ＧＰＵ３６２、マルチメディアエンジン３６６、周辺デバイス３８０及び３９０等のクライアント、並びに、他の周辺デバイス（図示せず）と、の間でデータを転送する。様々な実施形態では、インターフェース３１２～３１６及び３３０～３３４並びにメモリコントローラ３４０は、機能を提供するアルゴリズムを実装するためのハードウェア回路構成を含む。インターフェース３１２～３１６及び３３２～３３４は、ルーティングネットワーク３２０と、ＣＰＵ３６０、ＧＰＵ３６２、マルチメディアエンジン３６６、並びに、周辺デバイス３８０及び３９０と、の間で、データ、要求及び確認を転送するために使用される。インターフェース３１２～３１６及び３３２～３３４並びに制御ユニット３７４～３７７のうち１つ以上は、パケットを生成し、パケットを復号し、ルーティングネットワーク３２０との通信をサポートするための回路構成を含む。いくつかの実施形態では、インターフェース３１２～３１６及び３３０～３３４は、ＰＣＩｅ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ）相互接続通信プロトコル等の通信プロトコルを使用する。他の実施形態では、別の通信プロトコルが使用される。いくつかの実施形態では、インターフェース３１２～３１６及び３３２～３３４の各々は、示されるように単一のクライアントと通信する。他の実施形態では、インターフェース３１２～３１６及び３３２～３３４のうち１つ以上は、複数のクライアントと通信し、クライアントを識別する識別子を使用してクライアントとのデータを追跡する。

メモリ３５０に対して単一のメモリコントローラ３４０が示されているが、他の実施形態では、コンピューティングシステム３００は、各々が１つ以上のメモリチャネルをサポートする複数のメモリコントローラを含む。メモリコントローラ３４０は、メモリ３５０に送信される要求をグループ化し、バーストモードに対するサポートを有するメモリ３５０のタイミング仕様に基づいて、要求をメモリ３５０に送信する回路構成を含む。様々な実施形態では、メモリ３５０～３９０は、様々なランダムアクセスメモリ（ＲＡＭ）のうち何れかを含む。いくつかの実施形態では、メモリ３５０は、データ及び対応するメタデータを同期ＲＡＭ（synchronous RAM、ＳＲＡＭ）に記憶する。他の実施形態では、メモリ３５０は、様々なダイナミックＲＡＭ（dynamic RAM、ＤＲＡＭ）のうち何れかにデータ及び対応するメタデータを記憶する。例えば、実装に応じて、メモリ３５０は、従来のＤＲＡＭ又は互いに積み重ねられた複数の三次元（three-dimensional、３Ｄ）メモリダイにデータを記憶する。示されていないが、メモリコントローラ３４０又は別のメモリコントローラは、メモリ３５０よりもメモリ階層の低いレベルでデータを記憶するために使用される不揮発性メモリへのアクセスを提供する。不揮発性メモリの例としては、ハードディスクドライブ（hard disk drive、ＨＤＤ）、ソリッドステートドライブ（solid-state drive、ＳＳＤ）等である。

アプリケーションを処理する場合に、クライアント３６０～３６６及び他の周辺デバイス（図示せず）は、頻繁にアクセスされるデータをキャッシュメモリサブシステムの１つ以上のキャッシュに記憶する。クライアント３６０～３６６及び他の周辺デバイスのプロセッサは、線形（又は「仮想」）アドレスを利用して、要求されたデータを識別する。要求されたデータの例は、ユーザデータ、最終結果データ、中間結果データ及び命令である。プロセッサによって実行されるソフトウェアプロセスの各々は、仮想アドレス空間を有する。仮想アドレス空間は、特定のサイズのページに分割される。例えば、４キロバイト（４ＫＢ）又は６４キロバイト（６４ＫＢ）のページサイズが可能であるが、他のサイズも企図される。仮想ページは物理メモリのフレームにマッピングされる。仮想アドレスの物理アドレスへのマッピングは、仮想ページがメモリ３５０内のページテーブル３５２等の物理メモリ内に記憶される場所を追跡する。単一のページテーブル３５２が示されているが、他の実施形態では、別の数のページテーブルがメモリ３５０に記憶される。

メモリ３５０へのアクセスを低減するために、ページテーブル３５２の１つ以上のサブセットのコピーを記憶するためにキャッシュが使用される。例えば、メモリコントローラ３４０は、コピーを記憶するトランスレーションルックアサイドバッファ（translation look-aside buffer、ＴＬＢ）３４２を使用する。実行中の１つ以上のアプリケーションに応じて、１つ以上のエンドポイントは、ページテーブル３５２のサブセットのこれらのコピーにアクセスする許可を有する。示されるように、少なくともハブ３６４及び周辺デバイス３８０及び３９０は、この許可を有し、ページテーブル３５２のサブセットのコピーをアドレス変換キャッシュ（address translation cache、ＡＴＣ）３６６、ＡＴＣ３８２及びＡＴＣ３９２に記憶する。プロセッサ又は他の回路構成は、所定のメモリアクセス要求の仮想アドレスを用いて、ＡＴＣ３６６、ＡＴＣ３８２及びＡＴＣ３９２のうち対応する何れかにアクセスして、対応するアドレス変換キャッシュが、ターゲットデータを保持するメモリ位置の関連付けられた物理アドレスを記憶しているかどうかを判定する。

仮想から物理へのマッピングが見つからない場合、プロセッサ又は他の回路構成は、アドレス変換要求を生成してアドレス変換のオーナーに送信する。いくつかの例では、メモリコントローラ３４０がオーナーである。他の例では、周辺デバイス３８０等の周辺デバイスは、オペレーティングシステム又はアプリケーションによってオーナーとして指定される。例えば、アプリケーションが開始し、後に終了する場合に、オペレーティングシステム及びアプリケーションのうち１つ以上が、仮想チャネル割り当ての動的再設定を実行し、特定のクライアントが特定のページテーブルにアクセスするための許可をセットアップする。周辺デバイス３９０が、ＡＴＣ３９２のアクセス中にミスが発生したと判定した場合、周辺デバイス３９０は、ＡＴＣ３８２にアクセスするために周辺デバイス３８０に送信するアドレス変換要求を生成する。このアドレス変換アクセス要求及びその対応する応答は、キュー３７０～３７３のうち１つ以上を介してパケット内で伝送される。同様に、実行中のアプリケーションが完了し、アドレス変換がもはや必要とされない場合に、周辺デバイス３９０は、ハブ３６４及び周辺デバイス３９０の各々に送信するアドレス変換無効化要求を生成する。このアドレス変換無効化要求及びその対応する応答は、キュー３７０～３７３のうち１つ以上を介してパケット内で伝送される。キュー３７０～３７３及び付随する制御ユニット３７４～３７７の実施形態に基づいて、アドレス変換要求をサービスするレイテンシが短縮される。

以下に説明する方法４００及び５００は、キューの回路構成に使用される。キューは、共有リソースをターゲットとする要求をそのエントリに記憶する。複数のリクエスタが、共有リソースにアクセスする要求を生成する。いくつかの実施形態では、リクエスタは、コンピューティングシステムのクライアントであり、キューは、リクエスタと共有リソースとの間のパスに位置する。例えば、キューは、コンピューティングシステムの通信ファブリック内に位置する。様々な実施形態では、複数のリクエスタによる共有リソースへのアクセスは、相互接続通信プロトコルの仕様に基づく。いくつかの実施形態では、共有リソースは、メモリコントローラ又は別のエンドポイントのアドレス変換キャッシュに記憶された共有ページテーブルの一部のコピーであり、仕様は、ＰＣＩｅ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ）相互接続通信プロトコルのＡＴＳ（Address Translation Services）仕様である。ＡＴＳ仕様は、エンドポイント上のアドレス変換の遠隔キャッシング（記憶）をサポートする。他の実施形態では、別の通信プロトコルがサポートされる。要求がリクエスタから共有リソースへ横断する場合、要求はキューに記憶される。キューの回路構成は、キューから要求をいつ発行すべきかを判定することに加えて、キューのエントリ内のデータ記憶を制御する。キューの回路構成は、仮想チャネルのグループの各仮想チャネルに少なくとも１つのエントリを割り当て、グループは、複数のソースのうち単一のソースからの各アドレス変換要求タイプに対する仮想チャネルを含む。先に説明した装置、パケット送信機、キュー及びシステムの何れかを使用して、方法４００～５００のステップを実施してもよい。これらのステップの更なる説明が以下の説明において提供される。

ここで図４を参照すると、少なくともアドレス変換要求を記憶するキューのエントリを効率的に割り当てるための方法４００の一実施形態が示されている。説明のために、この実施形態（並びに図５）におけるステップを順番に示す。しかしながら、他の実施形態では、いくつかのステップは、図示したものとは異なる順序で行われ、いくつかのステップは、同時に実行され、いくつかのステップは、他のステップと組み合わされ、いくつかのステップは、存在しない。

特定のアプリケーションが開始すると、オペレーティングシステム及びアプリケーションのうち１つ以上が、仮想チャネル割り当ての動的再設定を実行し、特定のソースが特定のページテーブルにアクセスする許可をセットアップする。許可を有するソースのうち１つ以上は、周辺デバイス等のエンドポイントである。許可がグラントされたソースは、特定のページテーブル内のアドレス変換のコピーに対するアクセス要求を生成することができる。キューの回路構成は、キューの少なくとも１つのエントリを、複数のソースのうち単一のソースからの各アドレス変換要求タイプに対する仮想チャネルを含む仮想チャネルのグループの各仮想チャネルに割り当てる（４０２）。ここで、仮想チャネルは、特定のソースからのアドレス変換要求に割り当てられる。一例では、仮想チャネル（ＶＣ）１は、第１のタイプの周辺デバイスからのアドレス変換要求に割り当てられ、ＶＣ２は、第２のタイプの周辺デバイスからのアドレス変換要求に割り当てられ、ＶＣ３は、メモリコントローラからのアドレス変換要求に割り当てられる等である。ここで、仮想チャネル識別子１～３が使用されるが、他の実施形態では、他の識別子が使用される。したがって、キューの制御回路構成は、仮想チャネルのグループの各仮想チャネルに少なくとも１つのエントリを割り当て、グループは、複数のソースのうち単一のソースからの各アドレス変換要求タイプに対する仮想チャネルを含む。

回路構成は、エントリが未だ割り当てられていない場合に、バッファの１つ以上の割り当てられていないエントリを、複数のソースのうち何れかに利用可能なものとして維持する（ブロック４０４）。回路構成は、所定の仮想チャネルからアドレス変換要求を受信する（ブロック４０６）。アドレス変換要求の一例は、宛先から１つ以上の仮想アドレスから物理アドレスへの変換のコピーを取り出すことを要求する読み出し要求である。アドレス変換要求の別の例は、宛先に記憶された１つ以上の記憶された仮想アドレスから物理アドレスへの変換を無効にすることを要求する無効化要求である。回路構成が、割り当てられたエントリが所定の仮想チャネルに利用可能であると判定した場合（条件ブロック４０８：「はい」）、回路構成は、キューの利用可能な割り当てられたエントリを選択する（ブロック４１０）。続いて、回路構成は、選択されたエントリに受信した要求に割り当てる（ブロック４１４）。キューの制御回路構成は、複数のソースのうち単一のソースからの各アドレス変換要求タイプのための仮想チャネルを含む仮想チャネルのグループの各仮想チャネルに少なくとも１つのエントリを割り当てたため、割り当てられたエントリは、割り当てられたエントリが既に割り当てられている場合にのみ利用不可能である。キューのアービトレーション回路構成は、キューの割り当てられたエントリを検査する。その結果、共有アドレス変換へのアクセスを有する仮想チャネルは、利用可能な割り当てられたエントリがないことに起因して、アービトレーションからブロックされる要求を有さない。

回路構成が、割り当てられたエントリが所定の仮想チャネルに利用不可能であると判定した場合（条件ブロック４０８：「いいえ」）、回路構成は、キューの利用可能な割り当てられていないエントリを選択する（ブロック４１２）。続いて、回路構成は、選択されたエントリに受信した要求を割り当てる（ブロック４１４）。様々な実施形態では、キューは、割り当てられていないエントリが利用不可能である場合に、他のソース又はキューに指標を送信するため、キューは、利用可能な割り当てられていないエントリを有する。いくつかの実施形態では、キュー並びに他のソース及びキューは、回路構成がいくつの要求を受信することができるか、並びに他のソース及びキューの各々に対するいくつの要求が特定のクロックサイクルにおいて送信されることができるかを示す、いくつかのクレジットを維持する。

ここで図５を参照すると、少なくともアドレス変換要求を記憶するキュー要求のエントリから効率的に発行するための方法５００の一実施形態が示されている。キューの回路構成は、アドレス変換キャッシュをターゲットとするリクエスタからの要求を記憶するキューの割り当てられたエントリ及び割り当てられていないエントリを維持する（ブロック５０２）。回路構成は、キューの割り当てられたエントリを検査する（ブロック５０４）。回路構成が、割り当てられたエントリがエイジ閾値を超えていないと判定した場合（条件ブロック５０６：「いいえ」）、回路構成は、発行のために、アービトレーション属性に基づいて割り当てられたエントリを選択する（ブロック５１０）。これらの属性の例は、要求の受信した優先度レベル、サービス品質（ＱｏＳ）パラメータ、ソース識別子（ＩＤ）、リアルタイムアプリケーション等のアプリケーションＩＤ又はタイプ、仮想チャネルＩＤ、帯域幅要件又はレイテンシ耐性要件、エイジの指標等である。

様々な実施形態では、キューの制御回路構成は、仮想チャネルのグループの各仮想チャネルに少なくとも１つのエントリを割り当て、グループは、複数のソースのうち単一のソースからの各アドレス変換要求タイプに対する仮想チャネルを含む。いくつかの実施形態では、各アービトレーション段階中に、キューのアービトレーション回路構成がキューの割り当てられたエントリから発行する２つ以上の要求を選択する場合に、アービトレーション回路構成は、仮想チャネルの上記のグループの割り当てられたエントリから少なくとも１つの要求を選択する。アービトレーションは、実装に応じて１つ以上のクロックサイクルを要する。したがって、アービトレーション回路構成は、各アービトレーション段階中に仮想チャネルの上記のグループから少なくとも１つのアドレス変換要求を発行のために選択するが、選択されたアドレス変換要求は、他の仮想チャネルのうち１つ以上の要求よりも低いアービトレーション値を有する。

回路構成が、割り当てられたエントリがエイジ閾値を超えると判定した場合（条件ブロック５０６：「はい」）、回路構成は、発行のために、エイジ閾値を超える割り当てられたエントリを選択する（ブロック５０８）。割り当てられたエントリに記憶された２つ以上の要求がエイジ閾値を超えるエイジを有し、アービトレーション回路構成がそれらの全てを発行しない可能性がある場合、回路構成は、先に説明したように属性に基づいて要求のうちの１つ以上を選択する。回路構成は、選択され割り当てられたエントリの要求を発行する（ブロック５１２）。例えば、回路構成は、選択された要求を、共有アドレス変換キャッシュを含むエンドポイントに発行し、１つ以上の中間キューがエンドポイントに向かうパス上にあってもよい。

回路構成が、発行されたエントリの仮想チャネルに割り当てられた、割り当てられていないエントリがないと判定した場合（条件ブロック５１４：「いいえ」）、回路構成は、選択され割り当てられたエントリを空として維持する（ブロック５１６）。例えば、回路構成は、選択され割り当てられたエントリがキューの唯一の利用可能なエントリである場合でも、選択され割り当てられたエントリを他の仮想チャネルに対して割り当てない。回路構成が、発行されたエントリの仮想チャネルに割り当てられた、割り当てられていないエントリがあると判定した場合（条件ブロック５１４：「はい」）、回路構成は、選択され割り当てられたエントリに、仮想チャネルに対して割り当てられていないエントリからの要求を割り当てる（ブロック５１８）。続いて、方法５００の制御フローはブロック５０２に戻り、回路構成は、キューの割り当てられたエントリ及び割り当てられていないエントリを維持する。

上述した実施形態のうち１つ以上が、ソフトウェアを含むことに留意されたい。そのような実施形態では、方法及び／又は機構を実施するプログラム命令は、コンピュータ可読媒体に伝達又は記憶される。プログラム命令を記憶するように構成されている多数のタイプの媒体が利用可能であり、ハードディスク、フロッピー（登録商標）ディスク、ＣＤ－ＲＯＭ、ＤＶＤ、フラッシュメモリ、プログラマブルＲＯＭ（Programmable ROM、ＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、及び、様々な他の形態の揮発性又は不揮発性記憶装置が挙げられる。一般的に言えば、コンピュータアクセス可能記憶媒体は、命令及び／又はデータをコンピュータに提供するために、使用中にコンピュータによってアクセス可能な任意の記憶媒体を含む。例えば、コンピュータアクセス可能記憶媒体としては、磁気又は光学媒体（例えば、ディスク（固定又は取り外し可能）、テープ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－Ｒ、ＤＶＤ－ＲＷ、Ｂｌｕ－Ｒａｙ（登録商標））等の記憶媒体が挙げられる。記憶媒体としては、ＲＡＭ（例えば、同期ダイナミックＲＡＭ（synchronous dynamic RAM、ＳＤＲＡＭ）、ダブルデータレート（ＤＤＲ、ＤＤＲ２、ＤＤＲ３等）ＳＤＲＡＭ、低電力ＤＤＲ（ＬＰＤＤＲ２等）ＳＤＲＡＭ、ラムバスＤＲＡＭ（Ｒａｍｂｕｓ ＤＲＡＭ、ＲＤＲＡＭ）、スタティックＲＡＭ（static RAM、ＳＲＡＭ）等）、ＲＯＭ、フラッシュメモリ等の揮発性又は不揮発性メモリ媒体、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）インターフェース等の周辺インターフェースを介してアクセス可能な不揮発性メモリ（例えば、フラッシュメモリ）等が更に挙げられる。記憶媒体としては、微小電気機械システム（microelectromechanical system、ＭＥＭＳ）、並びに、ネットワーク及び／又はワイヤレスリンク等の通信媒体を介してアクセス可能な記憶媒体が挙げられる。

追加的に、様々な実施形態では、プログラム命令は、Ｃ等の高レベルプログラミング言語、若しくは、Ｖｅｒｉｌｏｇ、ＶＨＤＬ等の設計言語（design language、ＨＤＬ）、又は、ＧＤＳ ＩＩストリームフォーマット（ＧＤＳＩＩ）等のデータベースフォーマットでのハードウェア機能の動作レベル記述又はレジスタ転送レベル（register-transfer level、ＲＴＬ）記述を含む。場合によっては、記述は、合成ライブラリからゲートのリストを含むネットリストを生成するために記述を合成する合成ツールによって読み出される。ネットリストは、システムを含むハードウェアの機能も表すゲートのセットを含む。ネットリストは、次いで、マスクに適用される幾何学的形状を記述するデータセットを生成するために、配置及びルーティングされ得る。次に、マスクは、システムに対応する半導体回路又は回路を生成するために、様々な半導体製造ステップで使用され得る。代替的に、コンピュータアクセス可能記憶媒体上の命令は、必要に応じて、ネットリスト（合成ライブラリを有する若しくは有しない）又はデータセットである。追加的に、命令は、Ｃａｄｅｎｃｅ（登録商標）、ＥＶＥ（登録商標）及びＭｅｎｔｏｒ Ｇｒａｐｈｉｃｓ（登録商標）等のベンダからのハードウェアベースのタイプのエミュレータによるエミュレーションのために利用される。

上記の実施形態は、かなり詳細に説明されているが、上記の開示が十分に理解されると、多数の変形及び修正が当業者には明らかになるであろう。以下の特許請求の範囲は、全てのそのような変形及び修正を包含すると解釈されることが意図されている。

Claims (20)

1. 装置であって、
   複数のエントリであって、各エントリは、仮想チャネルの第１のグループ及び前記仮想チャネルの第１のグループとは異なる前記仮想チャネルの第２のグループのうち何れかに対応する要求を記憶するように構成されており、前記仮想チャネルの第２のグループの各仮想チャネルは、複数のリクエスタのうち異なるリクエスタからのアドレス変換要求を伝達するために割り当てられている、複数のエントリと、
   回路構成と、を備え、
   前記回路構成は、
   前記複数のエントリのうち所定のエントリを、前記仮想チャネルの第２のグループの各仮想チャネルに割り当てることと、
   割り当てられた前記所定のエントリの各々の少なくとも選択基準を利用して、前記複数のエントリから発行する１つ以上の要求を選択することと、
   を行うように構成されている、
   装置。
2. 前記回路構成は、前記複数のエントリから要求が発行される毎に前記割り当てられた所定のエントリから少なくとも１つの要求を選択するように構成されている、
   請求項１の装置。
3. アドレス変換タイプの要求は、アドレス変換を記憶する共有ページテーブルの少なくとも一部のコピーをターゲットとするアクセス要求である、
   請求項１の装置。
4. 前記アドレス変換タイプの要求は、アドレス変換を記憶する共有ページテーブルの少なくとも一部のコピーをターゲットとする無効化要求である、
   請求項３の装置。
5. 前記仮想チャネルの第２のグループの何れかの仮想チャネルが割り当てられたリクエスタは、前記共有ページテーブルにアクセスする許可を有する複数のクライアント及び周辺デバイスのうち何れかである、
   請求項３の装置。
6. 前記回路構成は、前記アドレス変換のアドレスを含むアドレス空間が再定義されたという判定に少なくとも部分的に基づいて、
   前記仮想チャネルの第２のグループを再定義することと、
   前記複数のエントリのうち少なくとも１つを、再定義された前記第２のグループの各仮想チャネルに再割り当てすることと、
   を行うように構成されている、
   請求項３の装置。
7. 前記回路構成は、
   前記割り当てられた所定のエントリのうち何れかのエントリが割り当て解除されたことと、
   前記割り当てられた所定のエントリのうち前記何れかのエントリに割り当てられた前記第２のグループの仮想チャネルの保留中の要求がないことと、
   を判定したことに応じて、前記割り当てられた所定のエントリのうち前記何れかのエントリを割り当て解除されたものとして維持するように構成されている、
   請求項１の装置。
8. 前記回路構成は、
   前記アドレス変換タイプとは異なる第１のタイプの第１の要求が前記複数のエントリに割り当てられる準備ができていることを示す割り当て要求を受信することと、
   前記第１のタイプの要求に割り当てられた前記複数のエントリの中に、割り当てに利用可能なエントリが存在しないことと、前記複数のエントリの中に、割り当てに利用可能な未割り当てのエントリが存在しないことと、を判定したことに部分的に基づいて、前記第１の要求を割り当てるのを待機することを示す応答を送信することと、
   を行うように構成されている、
   請求項１の装置。
9. 方法であって、
   キューの複数のエントリの各エントリに、仮想チャネルの第１のグループ及び前記仮想チャネルの第１のグループとは異なる前記仮想チャネルの第２のグループのうち何れかからの要求を記憶することであって、前記仮想チャネルの第２のグループの各仮想チャネルは、複数のリクエスタのうち異なるリクエスタからのアドレス変換要求を伝達するために割り当てられている、ことと、
   前記キューの回路構成が、前記複数のエントリのうち所定のエントリを前記仮想チャネルの第２のグループの各仮想チャネルに割り当てることと、
   前記キューの回路構成が、割り当てられた前記所定のエントリの各々の少なくとも選択基準を利用して、前記複数のエントリから発行する１つ以上の要求を選択することと、を含む、
   方法。
10. 前記複数のエントリから要求が発行される毎に前記割り当てられた所定のエントリから少なくとも１つの要求を選択することを含む、
    請求項９の方法。
11. アドレス変換タイプの要求は、アドレス変換を記憶する共有ページテーブルの少なくとも一部のコピーをターゲットとするアクセス要求である、
    請求項９の方法。
12. 前記仮想チャネルの第２のグループの何れかの仮想チャネルが割り当てられたリクエスタは、前記共有ページテーブルにアクセスする許可を有する複数のクライアント及び周辺デバイスのうち何れかである、
    請求項１１の方法。
13. 前記方法は、前記アドレス変換のアドレスを含むアドレス空間が再定義されたという判定に少なくとも部分的に基づいて、
    前記仮想チャネルの第２のグループを再定義することと、
    前記複数のエントリのうち少なくとも１つを、再定義された前記第２のグループの各仮想チャネルに再割り当てすることと、を含む、
    請求項１１の方法。
14. 前記割り当てられた所定のエントリのうち何れかエントリが割り当て解除されたことと、
    前記割り当てられた所定のエントリのうち前記何れかのエントリに割り当てられた前記第２のグループのある仮想チャネルの保留中の要求がないことと、
    を判定したことに応じて、前記割り当てられた所定のエントリのうち前記何れかのエントリを割り当て解除されたものとして維持することを含む、
    請求項９の方法。
15. コンピューティングシステムであって、
    要求を生成するように構成された複数のリクエスタと、
    第１のキューと、
    第１の回路構成と、を備え、
    前記第１のキューは、
    第１の複数のエントリであって、各エントリは、仮想チャネルの第１のグループ及び前記仮想チャネルの第１のグループとは異なる前記仮想チャネルの第２のグループのうち何れかからの要求を記憶するように構成されており、前記仮想チャネルの第２のグループの各仮想チャネルは、複数のリクエスタのうちの異なるリクエスタからのアドレス変換要求を伝達するために割り当てられている、第１の複数のエントリを含み、
    前記第１の回路構成は、
    前記複数のエントリのうち所定のエントリを、前記仮想チャネルの第２のグループの各仮想チャネルに割り当てることと、
    割り当てられた前記所定のエントリの各々の少なくとも選択基準を利用して、前記複数のエントリから発行する１つ以上の要求を選択することと、
    を行うように構成されている、
    コンピューティングシステム。
16. 前記第１の回路構成は、前記複数のエントリから要求が発行される毎に前記割り当てられた所定のエントリから少なくとも１つの要求を選択するように構成されている、
    請求項１５のコンピューティングシステム。
17. アドレス変換タイプの要求は、アドレス変換を記憶する共有ページテーブルの少なくとも一部のコピーをターゲットとするアクセス要求である、
    請求項１５のコンピューティングシステム。
18. 前記第１の回路構成は、前記アドレス変換のアドレスを含むアドレス空間が再定義されたという判定に少なくとも部分的に基づいて、
    前記仮想チャネルの第２のグループを再定義することと、
    前記複数のエントリのうち少なくとも１つを、再定義された前記第２のグループの各仮想チャネルに再割り当てすることと、
    を行うように構成されている、
    請求項１７のコンピューティングシステム。
19. 前記第１の回路構成は、
    前記割り当てられた所定のエントリのうち何れかのエントリが割り当て解除されたことと、
    前記割り当てられた所定のエントリのうち前記何れかのエントリに割り当てられた前記第２のグループの仮想チャネルの保留中の要求がないことと、
    を判定したことに応じて、前記割り当てられた所定のエントリのうち前記何れかのエントリを割り当て解除されたものとして維持するように構成されている、
    請求項１５のコンピューティングシステム。
20. 前記コンピューティングシステムは、
    第２のキューと、
    第２の回路構成と、を備え、
    前記第２のキューは、
    第２の複数のエントリであって、各エントリは、仮想チャネルの第３のグループ及び仮想チャネルの第４のグループのうち何れかへの応答を記憶するように構成されており、前記第４のグループの各仮想チャネルは、複数のリクエスタのうち単一のリクエスタに対するアドレス変換タイプの応答に割り当てられている、第２の複数のエントリを含み、
    前記第２の回路構成は、
    前記第２の複数のエントリのセットを前記第４のグループの各仮想チャネルに割り当てることと、
    各アービトレーション段階において、割り当てられた前記第２の複数のエントリのセットからの選択基準を利用することと、
    を行うように構成されている、
    請求項１５のコンピューティングシステム。

Images