JP2024509884A - ネットワークインターフェースデバイス - Google Patents

Abstract

ネットワークインターフェースデバイスは、第１のデータ処理エンジン及びハブを備えるストリーミングデータ処理経路を備える。第１のハブに関連付けられた第１のスケジューラが、第１のハブによる第１のデータ処理エンジンへのデータの出力を制御し、第２のハブに関連付けられた第２のスケジューラが、第２のハブによるデータの出力を制御する。第１のハブは、データ処理経路上に、第１のデータ処理エンジンの上流に配置されており、第１の上流データ経路エンティティから、及び第１のハブのデータイングレスインターフェースを介してプログラマブル可能回路に実装された第１のデータ処理エンティティからデータを受信するように構成されている。第１のデータ処理エンジンは、第１のハブからデータを受信し、受信されたデータを処理し、処理されたデータを第１のデータ処理エンジンの下流に配置された第２のハブに出力するように構成されている。
【選択図】図１

Description

本出願は、ネットワークインターフェースデバイスに関する。

ネットワークインターフェースデバイスは、知られており、典型的には、コンピューティングデバイスとネットワークとの間のインターフェースを提供するために使用される。いくつかのネットワークインターフェースデバイスは、ネットワークから受信されるデータを処理するように、かつ／又はネットワーク上に置くデータを処理するように構成することができる。

いくつかのネットワークインターフェースデバイスについては、具体的なアプリケーション及び／又は増加するデータレートのサポートに向けて、設計の高度な特殊化を提供しようとする動きがあり得る。

開示されるネットワークインターフェースデバイスは、第１のデータ処理エンジン及びハブを備えるデータ処理経路と、ハブのうちの第１のハブに関連付けられ、第１のハブによる第１のデータ処理エンジンへのデータの出力を制御する第１のスケジューラと、ハブのうちの第２のハブに関連付けられ、第２のハブによるデータの出力を制御する第２のスケジューラと、を備え、第１のハブは、データ処理経路上に、第１のデータ処理エンジンの上流に配置されており、第１の上流データ経路エンティティから、かつ第１のハブのデータイングレスインターフェースを介してプログラマブル回路内に実装された第１のデータ処理エンティティからデータを受信するように構成されており、前述の第１のデータ処理エンジンは、第１のハブから出力データを受信し、出力データを処理し、処理されたデータを第１のデータ処理エンジンの下流に配置された第２のハブに出力するように構成されている。

開示されるネットワークインターフェースデバイスは、１つ以上のデータ処理エンジン及びデータハブを備えるストリーミングデータ処理経路であって、データハブのうちの１つ以上が、プログラマブル回路によって提供されるデータ処理エンティティからデータを受信するように構成可能なデータイングレスインターフェース、及びプログラマブル回路によって提供されるデータ処理エンティティにデータを提供するように構成可能なデータエグレスインターフェースのうちの１つ以上を備える、ストリーミングデータ処理経路と、それぞれのハブに関連付けられ、それぞれのデータハブによるそれぞれのデータ処理エンジンへのデータの出力を制御するスケジューラと、を備え、少なくとも１つのデータハブは、データ処理経路上のそれぞれのデータ処理エンジンの上流に配置されており、１つ以上の上流データ処理経路エンティティから、かつそれぞれのデータ処理エンティティからデータを受信するように構成されており、前述のスケジューラは、それぞれのハブによるそれぞれのデータ処理エンジンへのデータの出力をスケジュールするように構成されており、前述のそれぞれのデータ処理エンジンは、それぞれの上流データハブからデータを受信し、受信したデータを処理し、処理したデータを、それぞれのデータ処理エンジンの下流に配置されたそれぞれのハブに出力するように構成されている。

データ処理エンジンのうちの１つ以上及び／又は１つ以上のデータハブは、強化されたロジックによって提供され得る。

上流データ処理経路エンティティは、上流データ処理エンジンのうちの１つ以上と、上流データハブと、ホストコンピューティングデバイスからデータを受信するように構成されたインターフェースと、ネットワークからデータを受信するように構成されたインターフェースと、を備え得る。

ホストコンピューティングデバイスからデータを受信するように構成されたインターフェースは、ダイレクトメモリアクセスアダプタインターフェースを備え得る。

前述の１つ以上のデータハブのうちの１つ以上のデータハブは、前述のデータ処理エンジンのうちの１つのための上流データハブ、及びデータ処理エンジンのうちの異なるデータ処理エンジンのための下流データハブであるように構成され得る。

少なくとも１つのデータハブは、そのハブのデータエグレスインターフェースを介してそれぞれのデータ処理エンティティにデータを出力し、同じデータ処理エンティティからその同じハブデータのデータイングレスインターフェースにおいてデータを受信するように構成され得る。

少なくとも１つのデータハブは、そのハブのデータエグレスインターフェースを介してそれぞれのデータ処理エンティティにデータを出力するように構成され得、データハブのうちの異なるデータハブは、同じデータ処理エンティティからのデータをその異なるハブのデータイングレスインターフェースにおいて受信するように構成され得る。

データ処理エンジンのうちの１つ以上は、データ処理エンティティを使用してバイパスされるように構成され得る。

少なくとも１つのデータハブは、そのハブのデータエグレスインターフェースを介してそれぞれのデータ処理エンティティにデータを出力するように構成され得、前述のデータは、前述のデータ処理エンティティによって終結される。

少なくとも１つのデータハブは、上流データ処理経路エンティティからではなく、データイングレスインターフェースを介してのみデータを受信するように構成され得る。

前述のデータハブのうちの少なくとも１つは、第１のデータ処理経路エンティティからのデータ、及び第２のデータ処理経路エンティティからのデータを受信するように構成され得、そのデータハブの下流のデータ処理エンジンは、データ処理経路の１つ以上の他のデータ処理エンジンと比較して、より高いデータレートで動作するように構成され得る。

前述のデータハブのうちの少なくとも１つは、データ処理経路の残りの部分をバイパスするために、データエグレスインターフェースを介してネットワークデータを出力するように構成され得る。

前述のデータハブのうちの少なくとも２つは、並列に配置され得、並列に配置された前述のデータハブのうちの１つは、第１のデータ処理経路エンティティからデータを受信するように構成されており、並列に配置された前述のデータハブのうちの別のデータハブは、第２のデータ処理経路エンティティからデータを受信するように構成されており、並列に配置された前述のハブの各々は、並列に配置されたそれぞれのデータ処理エンジンに出力を提供するように構成されている。

並列に配置された前述のそれぞれのデータ処理エンジンの各々は、それぞれの出力を共通の下流データハブに提供するように構成され得る。

使用時に、ネットワークインターフェースデバイスは、ホストコンピューティングデバイスとネットワークとの間に提供され得、前述のネットワークインターフェースデバイスは、ホストコンピューティングデバイスからデータを受信するように構成されたインターフェースと、ネットワークからデータを受信するように構成されたインターフェースとを備え得る。

１つ以上のデータ処理エンジンは、ネットワークから受信されたデータを処理するための受信ストリーミングエンジンと、ホストコンピューティングデバイスからのデータを処理するための送信処理エンジンと、マッチアクションエンジンと、バスフォーマット変換のためのネットワーク受信ポートエンジンと、バスフォーマット変換のためのネットワーク送信ポートエンジンと、のうちの１つ以上を備え得る。

前述のデータ処理エンジンのうちの１つ以上は、それぞれの上流データハブとそれぞれの下流データハブとの間に直列に配置された複数のデータ処理エンジンによって提供され得る。

前述のデータ処理エンジンのうちの１つ以上は、プログラム可能であり得る。

前述のデータ処理エンティティのうちの１つ以上は、データアクセラレータを備え得る。

データハブは、１つ以上のデータストレージリソースを備え得、それぞれのハブに関連付けられたそれぞれのスケジューラは、前述のデータストレージリソースを管理するように構成され得る。

データストレージリソースは、１つ以上のバッファを備え得る。

データストレージリソースは、１つ以上の上流ストリーミングデータ処理経路エンティティからのデータを記憶し、利用可能な場合には、それぞれのデータ処理エンティティからのデータを記憶するように構成され得る。

それぞれのデータハブに関連付けられたスケジューラは、出力されるデータの量を示す、それぞれのデータハブからの第１の情報であって、前述のデータが、１つ以上の異なるデータフローに関連付けられている、第１の情報と、データを受信するために利用可能な空間の量を示す、下流データハブからの第２の情報とを受信するように構成され得、前述のスケジューラは、第１及び第２の情報に基づいて、どの１つ以上のデータフローが前述のそれぞれのデータハブによって出力されるかを判定するように構成されている。

それぞれのデータハブに関連付けられたスケジューラは、サービス品質情報を使用して、データの出力をスケジュールするように構成され得る。

この概要セクションは、ある概念を単に紹介するために提供され、特許請求される主題の任意の重要な又は本質的な特徴を識別するために提供されるわけではない。本発明の装置の他の特徴は、添付図面から、かつ以下の詳細な説明から明らかになるであろう。

いくつかの実施形態は、添付の図面においてほんの一例として例解される。しかしながら、図面は、示された特定の実装形態のみに配置を限定するものと解釈されるべきではない。以下の詳細な説明を検討し、図面を参照すれば、様々な態様及び利点が明らかになるであろう。
ネットワークインターフェースデバイスを介してネットワークに結合されたデータ処理システムの概略図を示す。 いくつかの実施形態のネットワークインターフェースデバイスを示す。 いくつかの実施形態のネットワークインターフェースデバイスのサブシステムを概略的に示す。 いくつかの実施形態のホスト及びネットワークインターフェースデバイスの概略図を示す。 いくつかの実施形態のネットワークインターフェースデバイスのストリーミングサブシステムの一実施例を示す。 いくつかの実施形態のネットワークインターフェースデバイスのストリーミングサブシステムの別の実施例を示す。 いくつかの実施形態のアップストリームハブ及びダウンストリームハブを有するストリーミングプロセッサを概略的に示す。 ストリーミングサブシステムにおいて追加の処理を提供するために使用されるプラグインの一実施例を示す。 ストリーミングサブシステム内の構成要素を置換するためにプラグインが使用される別の実施例を示す。 いくつかの実施形態で使用されるカプセルを示す。 いくつかの実施形態で使用されるハブアーキテクチャの概略図を示す。 イングレスプラグインインターフェース統合の一実施例を示す。 エグレスプラグインインターフェース統合の例を示す。 ストリーミングサブシステムのキャッシュサブシステムの目的変更を示す。 いくつかの実施形態のネットワークインターフェースデバイスの異なる信頼ドメインを示す。 ２つの信頼エリアが、一方が他方から切り離されていることを示す。 異なる特権レベルを有する２つの信頼エリアの実施例を示す。 同じ特権レベルを有する２つの信頼エリアの実施例を示す。 いくつかの実施形態のネットワークインターフェースデバイス上のデータストレージ仮想化の実施例を示す。 図１３の例示的なネットワークインターフェースデバイスの一部をより詳細に示す。 いくつかの実施形態の方法を示す。 いくつかの実施形態の別の方法を示す。 いくつかの実施形態の別の方法を示す。

本開示は、新規特徴を定義する特許請求の範囲で締めくくられているが、本開示内に説明される様々な特徴は、図面と併せて説明を考慮することにより、より良く理解されると考えられる。本明細書に説明されるプロセス、機械、製造、及びそれらの任意の変形は、例解の目的で提供される。本開示内に説明される具体的な構造的詳細及び機能的詳細は、限定として解釈されるものではなく、単に特許請求の範囲の基礎として、かつ実質的に任意の適切に詳細な構造において説明される特徴を様々に採用するように、当業者に対して教示するための代表的な基礎として解釈されるものである。更に、本開示内で使用される用語及び語句は、限定することを意図するものではなく、説明される特徴の理解可能な説明を提供することを意図するものである。

データがデータチャネルを介して２つのデータ処理システム間で転送されるときに、データ処理システムの各々は、チャネルにわたって通信することを許可する適切なネットワークインターフェースを有する。データチャネルは、ネットワークによって提供され得る。例えば、ネットワークは、イーサネット技術又は任意の他の好適な技術に基づき得る。データ処理システムには、ネットワークプロトコルの物理的及び論理的要件をサポートすることができるネットワークインターフェースが提供され得る。ネットワークインターフェースの物理的ハードウェア構成要素は、ネットワークインターフェースデバイス又はネットワークインターフェースカード（network interface card、ＮＩＣ）と呼ばれる。本明細書では、ネットワークインターフェースデバイスをＮＩＣと呼ぶ。ＮＩＣは、集積回路又はハードウェアモジュールなどの任意の好適なハードウェアの形態で提供され得ることを理解されたい。ＮＩＣは、必ずしもカードの形態で実装されるとは限らない。

コンピュータシステムは、ユーザレベルアプリケーションがネットワークと通信するためのオペレーティングシステム（operating system、ＯＳ）を有し得る。カーネルとして知られているオペレーティングシステムの部分は、アプリケーションとＮＩＣに固有のデバイスドライバとの間でコマンド及びデータを変換するためのプロトコルスタックと、ＮＩＣを直接制御するためのデバイスドライバとを含む。これらの機能をオペレーティングシステムカーネル内に提供することによって、ＮＩＣの複雑さ及びＮＩＣ間の違いをユーザレベルアプリケーションから隠すことができる。加えて、ネットワークハードウェア及び他のシステムリソース（メモリなど）を多くのアプリケーションで安全に共有することができ、欠陥のあるアプリケーション又は悪意のあるアプリケーションからシステムを守ることができる。

ネットワークにわたって送信を実行するための典型的なデータ処理システム１００を、図１に示す。データ処理システム１００は、ホストをネットワーク１０３にインターフェース接続するように配置されているＮＩＣ１０９に結合されたホストコンピューティングデバイス１０１を備える。ホストコンピューティングデバイス１０１は、１つ以上のユーザレベルアプリケーション１０５をサポートするオペレーティングシステム１０４を含む。ホストコンピューティングデバイス１０１はまた、ネットワークプロトコルスタック（図示せず）を含み得る。ネットワークプロトコルスタックは、送信制御プロトコル（Transmission Control Protocol、ＴＣＰ）スタック又は任意の他の好適なプロトコルスタックであり得る。プロトコルスタックは、トランスポートプロトコルスタックであり得る。

アプリケーション１０５は、ソケットを開き、ソケットに対してデータを読み書きすることによって、ＴＣＰ／ＩＰ（インターネットプロトコル）メッセージを送り、かつ受信し得、オペレーティングシステム１０４は、ネットワークにわたってメッセージを伝送させる。

いくつかのシステムは、プロトコルスタックをＮＩＣ１０９に少なくとも部分的にオフロードし得る。例えば、スタックがＴＣＰスタックである場合、ＮＩＣ１０９は、ＴＣＰプロトコル処理を実行するためのＴＣＰオフロードエンジン（TCP Offload Engine、ＴＯＥ）を備え得る。ホストコンピューティングデバイス１０１ではなく、ＮＩＣ１０９においてプロトコル処理を実行することによって、ホストシステム１０１のプロセッサ（複数可）に対する要求が減少し得る。ネットワークを介して送信されるデータは、カーネルＴＣＰ／ＩＰスタックを完全にバイパスして、ＴＯＥ対応仮想インターフェースドライバを介してアプリケーション１０５によって送られ得る。したがって、この高速経路に沿って送られたデータは、ＴＯＥドライバの要件を満たすようにフォーマットされる必要があるだけである。

ホストコンピューティングデバイス１０１は、１つ以上のプロセッサ及び１つ以上のメモリを備え得る。いくつかの実施形態では、ホストコンピューティングデバイス１０１及びＮＩＣ１０９は、バス、例えば、周辺構成要素相互接続エクスプレス（peripheral component interconnect express、ＰＣＩｅバス）を介して通信し得る。

データ処理システムの動作中、ネットワーク上に送信されるデータは、送信のためにホストコンピューティングデバイス１０１からＮＩＣ１０９に転送され得る。一実施例において、データパケットは、ホストプロセッサによってホストからＮＩＣに直接転送され得る。ホストは、ＮＩＣ１０９上に位置する１つ以上のバッファ１０６にデータを提供し得る。次いで、ＮＩＣ１０９は、データパケットを準備し、それらをネットワーク１０３を介して送信し得る。

代替的に、データは、ホストシステム１０１内のバッファ１０７に書込まれ得る。いくつかのシステムは、これらのデータ転送機構の両方をサポートし得る。次いで、データは、ＮＩＣによってバッファ１０７から取り出され、ネットワーク１０３を介して送信され得る。

これらの場合の両方において、データは、ネットワークを介して送信される前に、１つ以上のバッファ内に一時的に記憶され得る。

データ処理システムはまた、ＮＩＣ１０９を介してネットワークからデータを受信し得る。

データ処理システムは、サーバ、パーソナルコンピュータ、又はハンドヘルドデバイスなど、任意のタイプのコンピューティングデバイスであり得る。いくつかの実施形態は、イーサネットを介してＴＣＰ／ＩＰを動作させるネットワークにおける使用に好適であり得る。他の実施形態では、１つ以上の異なるプロトコルが使用され得る。実施形態は、有線又は無線の任意の好適なネットワークとともに使用され得る。

いくつかの実施形態のＮＩＣ１０９を示す図２ａを参照する。ネットワークインターフェースは、１つ以上の集積回路によって少なくとも部分的に提供され得る。代替的に、ＮＩＣは、より大きな集積回路の一部であり得る。ＮＩＣ１０９は、単一のハードウェアモジュールによって、又は２つ以上のハードウェアモジュールによって提供され得る。ＮＩＣは、メインＣＰＵの前にネットワーク接続ＣＰＵを提供し得る。ＮＩＣは、ホストＣＰＵとネットワークとの間のデータ経路上に位置する。

ＮＩＣは、データの移動及び処理を最適化するために、特定用途向けパイプラインを提供するように構成可能であり得る。ＮＩＣは、ネットワークのための高レベルプログラミング抽象化を統合し、加速を計算し得る。

いくつかの実施形態のＮＩＣは、テラビットクラスエンドポイントデバイスをサポートし得る。いくつかの実施形態は、テラビットデータレート処理をサポートすることが可能であり得る。例えば、ＮＩＣは、テラビットデータレートでネットワークからデータを受信し、かつ／又はテラビットデータレートでネットワークにデータを置き得る。しかしながら、他の実施形態では、より低いデータレート、若しくは更に高いデータレートで動作及び／又はサポートし得ることを諒解されたい。

図２ａの装置は、システムオンチップ（System-on-Chip、ＳｏＣ）を提供するものとみなし得る。図２に示すＳｏＣは、プログラマブル集積回路ＩＣ及び統合プログラマブルデバイスプラットフォームの一実施例である。図２の例では、ＮＩＣ１０９の様々な異なるサブシステム又は領域は、単一の集積パッケージ内に提供された単一のダイ上に実装され得る。他の例では、様々なサブシステムは、単一の集積パッケージとして提供される複数の相互接続ダイ上に実装され得る。いくつかの実施形態では、図２のＮＩＣ１０９は、２つ以上のパッケージ、集積回路によって、又はチップレットによって提供され得る。

実施例では、ＮＩＣ１０９は、異なる機能性を有する回路機構を有する複数の領域を含む。実施例では、ＮＩＣ１０９は、１つ以上のＣＰＵ １１１によって提供される処理システムを有する。ＮＩＣ１０９は、ネットワークからデータを受信するため、かつ／又はデータをネットワーク上に置くための１つ以上の第１のトランシーバ１１６を有する。ＮＩＣ１０９は、１つ以上の仮想スイッチ（ｖＳｗｉｔｃｈ）又はプロトコルエンジン１０２を有し、これについては後でより詳細に説明する。プロトコルエンジンは、トランスポートプロトコルエンジンであり得る。この機能を、以下では仮想スイッチ機能と呼ぶ。ＮＩＣ１０９は、１つ以上のＭＡＣ（medium access control、媒体アクセス制御）層機能１１４を有する。ＮＩＣ１０９は、ホストからデータを受信するため、かつ／又はホストにデータを提供するための１つ以上の第２のトランシーバ１１０を有する。ＮＩＣ１０９は、１つ以上のＰＣＩｅ（周辺構成要素相互接続エクスプレス）インターフェース１１２を有する。

ＮＩＣは、１つ以上のＤＭＡ（direct memory access、ダイレクトメモリアクセス）アダプタ１１７を有する。ＤＭＡアダプタは、メモリドメインとパケットストリーミングドメインとの間のブリッジを提供する。これは、メモリ間転送をサポートし得る。これについては、以下でより詳細に説明する。

ＮＩＣ１０９は、１つ以上の処理コア１０８を備えるか、又はそれへのアクセスを有し得る。ほんの一例として、コアは、ＡＲＭ処理コア及び／又は任意の他の好適な処理コアであり得る。

ＮＩＣ１０９は、図２ａにおいて網掛けされているネットワークオンチップ（network on chip、ＮｏＣ）１１５を有する。これは、ＮＩＣ１０９の異なる部分間の通信経路を提供し得る。ＮＩＣ１０９上の構成要素のうちの２つ以上が、代替的又は追加的に、直接接続経路及び／又は専用の強化バスインターフェースを介して通信し得ることを諒解されたい。

ＮｏＣ間のエリアは、１つ以上の構成要素を含み得る。例えば、エリアは、１つ以上のプログラマブルロジック（programmable logic、ＰＬ）ブロック１１３又はプログラマブル回路を収容し得る。このエリアは、ファブリックと呼ばれることもある。ほんの一例として、プログラマブルロジックブロックは、１つ以上のＦＰＧＡ（Field programmable gate array、フィールドプログラマブルゲートアレイ）によって少なくとも部分的に提供され得る。エリアは、１つ以上のルックアップテーブルＬＵＴを収容し得る。１つ以上の機能が、プログラマブルロジックブロックによって提供され得る。これらの機能のいくつかの実施例については後述する。このエリアにおける異なる機能に適応する能力は、同じＮＩＣが種々の異なるエンドユーザ要件を満たすために使用されることを可能にし得る。

他の実施形態では、任意の他の好適な通信装置が、ＮｏＣの代わりに、又はＮｏＣに加えて、ＮＩＣ上で使用され得ることを諒解されたい。

ＮＩＣは、ホストデバイスとネットワークとの間のインターフェースを提供する。ＮＩＣは、データがネットワークから受信されることを可能にする。そのデータは、ホストデバイスに提供され得る。いくつかの実施形態では、ＮＩＣは、データがホストデバイスに提供される前にデータを処理し得る。いくつかの実施形態では、ＮＩＣは、データがネットワークによって送信されることを可能にする。そのデータは、ホストデバイス及び／又はＮＩＣから提供され得る。いくつかの実施形態では、ＮＩＣは、データがネットワークによって送信される前にデータを処理し得る。

仮想スイッチ１０２は、少なくとも部分的に強化されたデバイス又はＮＩＣの一部であり得る。

単一の仮想スイッチ又は２つ以上の別個の仮想スイッチが存在し得る。

仮想スイッチ１０２は、ＮｏＣを使用して、かつ／又は直接接続経路及び／若しくは専用の強化バスインターフェースを介して、チップ上の他のブロックと通信することができる。いくつかの実施形態では、これは、伝送されるデータの量に対するＮｏＣの容量に依存し得る。ＮｏＣは、例えば、ＮＩＣ１０９によるメモリアクセスのために使用され得る。ＮｏＣ１１５は、例えば、ＣＰＵ１１１、プロセッサ１０８、ＤＭＡアダプタ１１７及び／又はＰＣＩｅブロック１１２にデータを配信するために使用され得る。

いくつかの実施形態では、ＮｏＣ及び／又は直接接続経路及び／又は専用の強化バスインターフェースは、後でより詳細に説明されるように、１つ以上のアクセラレータカーネル及び／又は他のプラグインにデータを配信するために使用され得る。いくつかの実施形態では、ルーティングはプログラマブルロジックを介する場合がある。これらのプラグインは、いくつかの実施形態では、プログラマブルロジック１１３によって提供され得る。

仮想スイッチ１０２は、ＮＩＣ１０９のエッジ領域上に物理的に位置し、ＮＩＣ１０９の様々な他の構成要素と通信し得る。いくつかの実施形態では、仮想スイッチ１０２は、ＭＡＣ層機能１１４及び１つ以上の第１のトランシーバ１１６に物理的に近接して配置され得る。これらの構成要素は、ＮＩＣ１０９のエッジ領域に物理的に近接して配置され得る。ネットワークからのデータは、１つ以上の第１のトランシーバ１１６によって受信される。

他の実施形態では、仮想スイッチ１０２、ＭＡＣ層機能１１４及び１つ以上の第１のトランシーバ１１６は、ＮＩＣのエッジ領域から物理的に離れて配置され得る。

いくつかの実施形態は、カスタマイズされたＮＩＣ機能が提供されることを可能にし得る。これは、具体的なＮＩＣ機能が必要とされる場合に有用であり得る。これは、特定のアプリケーション又は複数のアプリケーションのため、若しくはＮＩＣの特定の使用のためであり得る。これは、そのＮＩＣ機能をサポートするために必要とされるデバイスの量が比較的少ない場合に有用であり得る。代替的又は追加的に、これは、ＮＩＣのカスタマイズが望まれる場合に有用であり得る。いくつかの実施形態は、フレキシブルＮＩＣを提供し得る。

カスタマイズは、ＰＬ１１３を使用して１つ以上の機能を提供することによってサポートされ得る。

いくつかの実施形態は、比較的高い日付レートをサポートするために使用され得る。

図２ａのＮＩＣのサブシステム間の通信経路を概略的に示す図２ｂを参照する。ホストＰＣＩｅインターフェース１１２及びＤＭＡコントローラ１１７は、メモリバスを介して通信する。ＤＭＡコントローラ１１７は、メモリバスを使用してメモリファブリック１４０を介して通信する。管理コントローラ１３０は、制御バスを使用してメモリファブリック１４０を介して制御プレーンメッセージを提供する。アプリケーションプロセッサ１１１は、メモリバスを使用してメモリファブリック１４０を介して通信する。データは、メモリバスを使用してメモリファブリックを介してＤＤＲメモリ１４２で受信される。

ＤＭＡコントローラ１１７は、パケットバスを介して１つ以上の仮想スイッチ１０２と通信する。１つ以上の仮想スイッチは、パケット処理を提供し得る。１つ以上の仮想スイッチは、後でより詳細に説明するように、オフロード処理及び仮想スイッチングを実行し得る。１つ以上の仮想スイッチによって提供される処理は、１つ以上のプラグイン１４４を使用して修正され得、これは、一実施形態では、図２ａのＰＬブロック１１３を使用して実装される。プラグインは、メモリバスを介してメモリファブリックと通信し、パケットバスを介して１つ以上の仮想スイッチと通信し得る。１つ以上の仮想スイッチは、パケットバスを介してＭＡＣ １１４と通信し得る。

いくつかの実施形態では、データのカプセルを使用して、ＮＩＣ内でデータを伝送し得る。これについては、以下でより詳細に説明する。

ホストデバイス１０１及びＮＩＣ１０９によってサポートされる機能ブロックの概略図を示す図３を参照する。ＮＩＣ１０９は、仮想スイッチ機能１０２を備える。この仮想スイッチ機能１０２は、後でより詳細に説明するように、１つ以上のプラグインによって拡張可能である。

プラグインを有する仮想スイッチ機能１０２は、カスタムプロトコル及びスイッチアクションをサポートすることができる。

ホストデバイス１０１は、いくつかの仮想マシンＶＭ１２２を備える。

いくつかのＰＣＩｅ ＰＦ（物理機能）及び／又はＶＦ（仮想機能）がサポートされ得る。ＰＣＩｅ機能１１８は、複数の仮想ＮＩＣ（ＶＮＩＣ）を有し得る。各ＶＮＩＣ １２６は、仮想スイッチ上の別個のポートに接続され得る。図３では、明確にするために、１つのＰＣＩｅ機能及びＰＣＩｅ機能の１つのＶＮＩＣを示している。

各ｖＮＩＣ１２６は、１つ以上のＶＩ（仮想インターフェース）１２７を有し得る。各ＶＩは、パケットを送り、かつ受信するためのチャネルを提供し得る。各ＶＩは、送信キューＴｘＱ、受信キューＲｘＱ及びイベントキューＥｖＱを有し得る。仮想マシンと仮想機能との間には１対１の関係が存在し得る。いくつかの実施形態では、ＶＦ（又はＰＦ）にマッピングされた複数のＶＩがあり得る。

いくつかの実施形態では、所与のＰＦ又はＶＦ内のＶＩのうちの１つは、機能管理インターフェースをサポートし得る。

仮想スイッチ１０２は、複数の仮想ポートを備える。ポートは、ＶＮＩＣのＴｘＱからデータを受信し、ＶＮＩＣのＲｘＱにデータを送信するように構成され得る。

仮想スイッチ１０２は、例えばＣＰＵ １１１によって提供される１つ以上のアプリケーションＣＰＵ、仮想スイッチを制御するように構成されている管理コントローラ１３０、及び１つ以上のＭＡＣ層機能１１４とインターフェース接続するように構成されている。

いくつかの実施形態において、仮想スイッチは、先に考察したようなプラグインによって拡張可能である。プラグインの一実施例は、ハードウェアアクセラレータ１２８を備える。

ＮＩＣによって提供されるいくつかの実施形態のストリーミングサブシステム２００の実施例を示す図４ａを参照する。

ストリーミングサブシステムの送信及び受信経路上にパイプラインが存在する。より詳細に説明されるように、エンドユーザアプリケーションにいくらかの柔軟性を提供するために、ストリーミングサブシステムは、１つ以上のプラグインが追加されることを可能にする。プラグインは、パイプラインのデータ経路に追加され得る。１つ以上のプラグインは、プログラマブルロジック１１３によって提供され得る。データパイプラインの他の構成要素は、強化されたロジックや回路によって提供され得る。強化されたロジック又は回路によって提供されるデータパイプラインの構成要素は、仮想スイッチ機能によって提供され得る。

プラグインを使用することにより、デバイスのカスタマイズが容易になる場合がある。これは、同じデバイスが異なるエンドユーザ又はアプリケーションのためにカスタマイズされることを可能にし得る。代替的又は追加的に、プラグインを使用することにより、同じデバイスアーキテクチャがいくつかの異なるアプリケーションに使用されることが可能となる。

データは、データ経路内のあるポイントにおいて出て、プラグインに進み、データ経路に再注入され得る。この再注入は、同じ又は別のプラグインを介する場合がある。データは、データ経路内に再注入される場合も、されない場合もある。これについては、以下でより詳細に説明する。

スケジューラは、データ経路に沿ったデータの移動を制御するために提供される。データ経路の各ステージは、スケジューラによって制御される。プラグインも、それぞれのスケジューラによってスケジューリングされる。スケジューラは、所与のプラグインの下流で競合し得るリソース（バッファなど）を管理する。これについては、以下でより詳細に説明する。スケジューラは、強化されたロジック又は回路によって提供され得る。

ストリーミングサブシステムは、複数のデータインターフェースをサポートし得る。いくつかの実施形態では、１つ以上のデータインターフェースは、全二重であり得る。これは、データインターフェースがイングレスとエグレスを半分ずつ有し得ることを意味する。いくつかの実施形態では、１つ以上のデータインターフェースは半二重であり得る。これは、データインターフェースがイングレス又はエグレスデータをサポートすることを意味する。イングレスは、ストリーミングサブシステム内へのデータの入力を指し、エグレスは、ストリーミングサブシステムからのデータの出力を指す。

データインターフェースは、構成要素間ストリーミングバス（inter-component streaming bus、ＩＣＳＢ）フォーマット又は任意の他の好適なバスフォーマットを使用し得る。

ＤＭＡ（ダイレクトメモリアクセス）アダプタインターフェース２０２は、ストリーミングサブシステムとＤＭＡエンジンとの間でデータを渡すために使用される。ＤＭＡアダプタインターフェースは、データインターフェースを提供する。いくつかの実施形態では、１つのＤＭＡアダプタが存在し得る。他の実施形態では、複数のＤＭＡアダプタが存在し得る。これについては、後で詳細に説明する。

図４ａに示す実施例では、「ホストからカードへ」のＨ２Ｃデータフロー、すなわちホストコンピュータからＮＩＣへのデータフロー用の１つのＤＭＡアダプタインターフェース２０２が示されている。いくつかの実施形態では、１つよりも多いＨ２Ｃ ＤＭＡアダプタが提供され得る。これは、例えば、要求されるデータ速度及び／又はＮＩＣ上の利用可能なエリアに依存し得る。いくつかの実施形態において、２つのＨ２Ｃ ＤＭＡアダプタが提供され得る。他の実施形態では、１つのＨ２Ｃ ＤＭＡアダプタが提供され得る。いくつかの実施形態では、２つよりも多いＨ２Ｃ ＤＭＡアダプタが提供される。

Ｃ２Ｈインターフェース用の１つのＤＭＡアダプタインターフェース２０４が提供され得る。Ｃ２Ｈは、「カードからホストへ」のデータフロー、すなわちＮＩＣからホストコンピュータである。ＤＭＡアダプタインターフェースは、データをＮｏＣ（又はファブリック）上に置く場合がある。

いくつかの実施形態において、Ｃ２Ｈアダプタの数は、Ｈ２Ｃ ＤＭＡアダプタの数と同じになる。いくつかの実施形態では、Ｃ２Ｈアダプタインターフェースの数は、Ｈ２Ｃ ＤＭＡアダプタインターフェースの数と異なることになる。

いくつかの実施形態では、単一のＤＭＡアダプタが、Ｃ２Ｈデータフロー並びにＨ２Ｃデータフローをサポートし得る。これは、それぞれのＤＭＡアダプタインターフェース又は共有アダプタインターフェースによってサポートされ得る。他の実施形態では、Ｃ２ＨデータフローのためのＤＭＡアダプタは、Ｈ２ＣデータフローのためのＤＭＡアダプタとは異なり得る。これは、それぞれのＤＭＡアダプタインターフェースによってサポートし得る。

ＤＭＡは、図２ｂに概略的に示すように、メモリドメインとパケットストリーミングドメインとの間のブリッジを提供する。いくつかの実施形態では、ＤＭＡはメモリ間転送をサポートし得る。このいくつかの実施例については、後でより詳細に説明する。

ＤＭＡは、ホストからＮＩＣへのコマンドのための記述子リングと、ＮＩＣからホストへの通知のための完了リングとを使用し得る。ＤＭＡは、メモリの読取り及びメモリへの書込みをサポートし得る。メモリは、少なくとも部分的にホスト内に設けられ得る。

いくつかの実施形態では、１つよりも多いタイプのＤＭＡアクセスがサポートされ、それをサポートするために専用キャプチャインターフェースを必要とする場合がある。例えば、Ｖｉｒｔｉｏ（ＶｉｒｔＩＯと呼ばれることもある）のような標準化されたアプローチ、及び／又はベンダ固有のアプローチ及び／又はカスタマイズされたアプローチをサポートするアダプタが存在し得る。

Ｈ２Ｃ ＤＭＡアダプタインターフェース２０２の出力は、第１のハブ２５２に提供される。第１のハブ２５２は、Ｈ２Ｃ ＤＭＡアダプタインターフェース２０２とＶＮＩＣ－ＴＸ（仮想ＮＩＣ送信）エンジン２４０との間に設けられる。いくつかの実施形態では、ハブは、少なくとも１つのストリーミングインバウンドプラグイン及び／又は少なくとも１つのストリーミングアウトバウンドプラグインをサポートすることができる。これにより、ユーザは、各エンジンの前及び／又は後にデータストリームにアクセスすることが可能になり得る。ハブは、強化されたロジック又は回路によって提供され得る。

２つ以上のＨ２Ｃ ＤＭＡアダプタインターフェース２０２が設けられている場合、１つのハブを使用して、それらをサポートし得ることを諒解されたい。

Ｈ２Ｃ ＤＭＡは、メモリから１つ以上のパケットを収集し、それらをアダプタ２０２を介して第１のハブ２５２にストリーミングするように構成されている。これは、第１のスケジューラ２０３ａの制御下に置かれる。

第１のスケジューラ２０３ａは、出力されるデータをＨ２Ｃ ＤＭＡアダプタによって通知され、Ｈ２Ｃ ＤＭＡアダプタにジョブ要求を発行し得る。

第１のハブ２５２は、１つ以上の第１のエグレスプラグイン２１４ａを有する。１つのＨ２Ｃ ＤＭＡアダプタが存在する場合、１つのエグレスプラグインが存在し得る。２つのＨ２Ｃ ＤＭＡアダプタが存在する場合、２つのエグレスプラグインが存在し得る。これは、ホストからプラグイン（Ｈ２Ｐ）への接続性を提供する。他の実施形態では、ＤＭＡアダプタと比較して異なる数のエグレスプラグインが存在し得る。

第１のハブ２５２は、１つ以上の第２のイングレスプラグイン２１４ｂを有する。これは、プラグインから仮想ＮＩＣ（ＴＸ）エンジン（Ｐ２ＶＮＴ）への接続性を提供する。１つのＨ２Ｃ ＤＭＡアダプタがある場合、１つのイングレスプラグインが存在し得る。２つのＨ２Ｃ ＤＭＡアダプタが存在する場合、２つのイングレスプラグインが存在し得る。他の実施形態では、ＤＭＡアダプタと比較して異なる数のイングレスプラグインが存在し得る。

２つの半バス幅データインターフェースがある場合、第１のハブは、全バス幅データ出力を提供するために、受信されたデータを処理するように構成され得る。プラグインインターフェースは、プラグインが作られるポイントにおけるパイプラインの総帯域幅をサポートし得る。実装形態に応じて、これは、単一のバスインターフェース又はより狭いバスの集合体であり得る。ＤＭＡアダプタは、ＮｏＣによって、又はファブリックを介してアクセスされ得る。

第２のスケジューラ２０３ｂは、第１のハブ２５２によるデータの出力を制御するように構成されている。

第１のハブ２５２は、ＶＮＩＣ－ＴＸ（仮想ＮＩＣ送信）エンジン２４０に出力を提供する。ＶＮＩＣ－ＴＸエンジン２４０は、ホストインターフェースを通じて、ＤＭＡアダプタを介してドライバによって送られたパケット、及び／又はイングレスインターフェースを介して受信されたパケットを処理し、ドライバに代わって以下の機能のうちの１つ以上を実行することができる。
－チェックサムオフロード
－ＶＬＡＮ（仮想ローカルエリアネットワーク）挿入オフロード
－パケット検証（例えば、ソースアドレス、ファイアウォール及び／又は同様のものを実施する）。

他の実施形態では、１つ以上の代替機能又は追加機能を実行し得る。

ＶＮＩＣ－ＴＸエンジンは、第２のハブ２５４にデータを出力するように構成されている。

第２のハブ２５４は、１つ又は２つのエグレスプラグイン２１４ｃを有する。これは、仮想ＮＩＣ（ＴＸ）エンジンからプラグインＶＮＴ２Ｐへの接続性を提供する。１つのＨ２Ｃ ＤＭＡアダプタ２０４が存在する場合、１つのエグレスプラグインが存在し得る。２つのＨ２Ｃ ＤＭＡアダプタが存在する場合、２つのエグレスプラグインが存在し得る。他の実施形態では、ＤＭＡアダプタと比較して異なる数のエグレスプラグインが存在し得る。

第２のハブ２５４は、１つ又は２つのイングレスプラグイン２１４ｄを有する。これは、プラグインからホスト側からのＭＡＥ（match action engine、マッチアクションエンジン）２４４（Ｐ２ＨＭＡＥ）への接続性を提供する。

１つのＨ２Ｃ ＤＭＡアダプタ２０４が存在する場合、１つのイングレスプラグインが存在し得る。２つのＨ２Ｃ ＤＭＡアダプタが存在する場合、２つのイングレスプラグインが存在し得る。他の実施形態では、ＤＭＡアダプタと比較して異なる数のイングレスプラグインが存在し得る。

第３のスケジューラ２０３ｃは、第２のハブ２５４によるデータの出力を制御するように構成されている。

第２のハブは、ＭＡＥ ２４４に出力を提供する。ＭＡＥ ２４４は、いくつかの実施形態では、ストリーミングサブシステムのために提供されるキャッシングサブシステム２１５を利用する。ＭＡＥは、解析一致アクション機能、カプセル化機能、及び／又はカプセル化解除機能など、任意の好適な機能を実行し得る。

ＭＡＥエンジンは、ルール駆動型解析一致アクションエンジンを用いて、仮想スイッチング機能を実装し得る。例えば、ルールはドライバによって提供される。各ルールは、一致基準のセットと、それらの基準を満たすパケットに適用するアクションのセットとを提供し得る。

ＭＡＥエンジンは、仮想スイッチング機能及び他のオフロードを実行し得る。これは、
パケットをイングレス仮想ポートからエグレス仮想ポートにマッピングすることと、
パケットを２つ以上のエグレスポートに複製することと、
カプセル化及びカプセル化解除と、
接続追跡及びＮＡＴ（ネットワークアドレス変換）と、
パケットフィルタリングと、
パケットラベリングと、
ＥＣＮ（明示的輻輳通知マーキング）と、
パケット及びバイトの計数と、のうちの１つ以上を含み得る。

ＭＡＥは、
パケットを解析し、キャッシュサブシステム内のルールテーブルのルックアップを実行するストリーミングプロセッサであるマッチエンジン（match engine、ＭＥ）と、
必要なときにパケット複製を行い、パケットドロップを行う再生ハブと、
一致したルールによって示されるアクションを呼び出す、ストリーミングプロセスであるアクションエンジン（ＡＥ）と、を備え得る。

マッチエンジンは、最初に着信パケットを解析する。これは、以下の３ステップのプロセスであり得る。
１．カプセル化の一部であり得る外部ヘッダを解析する。解析されたヘッダは、イーサネット、ＶＬＡＮ（virtual local area network、仮想ローカルエリアネットワーク）、ＩＰ（internet protocol、インターネットプロトコル）及びＵＤＰ（user datagram protocol、ユーザデータグラムプロトコル）ヘッダを含む。
２．ＳＴＣＡＭ（smart ternary content addressable memory、スマート三値連想メモリ）又はＢＣＡＭ（binary content addressable memory、二値連想メモリ）又はキャッシュサブシステムの任意の他の好適なメモリ内にある、外部ルールテーブル内のヘッダフィールド及びソースポートをルックアップする。キーは、ヘッダフィールドのサブセットにいくつかのメタデータを加えたものから形成され、ルールは、キービットの恣意的なサブセットに一致する。ルックアップ結果は、（もしあれば）存在するカプセル化、（後で使用される）接続追跡に関するフィールド、及び外部ルールＩＤのうちの１つ以上を識別し得る。
３．残りのカプセル化ヘッダ（もしあれば）を解析し、内部ヘッダ（又は内部ヘッダのみ）を解析する。解析は、フレームの先頭において再び開始する。カプセル化が存在する場合、ステップ（１）ですでに解析され、カプセル化の一部として識別されたヘッダはスキップされる。典型的には、次いで、更なるカプセル化ヘッダが解析され、その後に内部ヘッダが続く。カプセル化が存在しない場合、内部フレーム解析は、フレームの先頭において再び開始する。

ＭＡＥ ２４４は、第３のハブ２５６に出力を提供する。第３のハブ２５６は、ＭＡＥ ２４４とＶＮＩＣ－ＲＸエンジン２４２との間に提供される。

第３のハブ２５６は、１つ又は２つのイングレスプラグイン２１４ｆを有する。これは、ＭＡＥエンジンからプラグイン（ＨＭＡＥ２Ｐ）への接続性を提供する。１つのＨ２Ｃ ＤＭＡアダプタ２０４が存在する場合、１つのイングレスプラグインが存在し得る。２つのＨ２Ｃ ＤＭＡアダプタが存在する場合、２つのイングレスプラグインが存在し得る。他の実施形態では、ＤＭＡアダプタと比較して異なる数のイングレスプラグインが存在し得る。

第３のハブ２５６は、１つ又は２つのエグレスプラグイン２１４ｅを有する。これは、プラグインから仮想ＮＩＣ（ＲＸ）エンジン（Ｐ２ＶＮＲ）への接続性を提供する。１つのＨ２Ｃ ＤＭＡアダプタ２０４が存在する場合、１つのエグレスプラグインが存在し得る。２つのＨ２Ｃ ＤＭＡアダプタが存在する場合、２つのエグレスプラグインが存在し得る。他の実施形態では、ＤＭＡアダプタと比較して異なる数のエグレスプラグインが存在し得る。

第３のハブは、任意選択で、１つ以上の更なるエグレスプラグイン２１４ｉを有し得る。これは、ネットワーク側宛先からのＭＡＥ（match action engine、マッチアクションエンジン）２４４からプラグイン（ＮＭＡＥ２Ｐ）への接続性を提供する。第３のハブ２５６のネットワーク形成の半分に対するイングレスプラグインは存在しない場合があるが、それは、この場所においてデータを注入することは、いくつかの実施形態でサポートされるＴＸ ＭＡＣに直接データを送ることと同じだからである。他の実施形態では、１つ以上のイングレスプラグインが、第３のハブ２５６のネットワーク形成の半分によってサポートされ得ることを諒解されたい。

１つのＨ２Ｃ ＤＭＡアダプタ２０４が存在する場合、１つの更なるエグレスプラグインが存在し得る。２つのＨ２Ｃ ＤＭＡアダプタが存在する場合、２つの更なるエグレスプラグインが存在し得る。他の実施形態では、ＤＭＡアダプタと比較して異なる数の更なるエグレスプラグインが存在し得る。

代替的又は追加的に、それぞれのハブプラグインインターフェースとストリーミングサブシステムといくつかのＤＭＡアダプタとの間のトラフィックをルーティングする相互接続が存在し得る。相互接続は、イングレスプラグイン及び／又はエグレスプラグインとみなし得る。例えば、これは、ＮｏＣ、又はプログラマブルロジックで創出されたバス構造であり得る。

ＶＮＩＣ－ＲＸエンジン又はプロセッサは、ホスト又は組み込みプロセッサに宛てられたパケットを扱い得る。これは、パケットを受信するドライバに代わって、以下の機能のうちの１つ以上を実行し得る。
－パケット分類
－チェックサム機能、例えば計算及び検証
－フローステアリング及び／又はＲＳＳ（受信側スケーリング）
－パケットフィルタリング

第４のスケジューラ２０３ｄは、第３のハブ２５６によるデータの出力を制御するように構成されている。

ＶＮＩＣ－ＲＸエンジン２４２は、第４のハブ２５８にデータを出力するように構成されている。

第４のハブ２５８は、ＶＮＩＣ－ＲＸエンジン２４２とＣ２Ｈ ＤＭＡアダプタ２０４との間に提供される。

第４のハブ２５８は、１つ又は２つのエグレスプラグイン２１４ｇを有する。これは、仮想ＮＩＣ（ＲＸ）エンジンからプラグイン（ＶＮＲ２Ｐ）への接続性を提供する。１つのＨ２Ｃ ＤＭＡアダプタ２０４が存在する場合、１つのエグレスプラグインが存在し得る。２つのＨ２Ｃ ＤＭＡアダプタが存在する場合、２つのエグレスプラグインが存在し得る。他の実施形態では、ＤＭＡアダプタと比較して異なる数のエグレスプラグインが存在し得る。

第４のハブ２５８は、１つ又は２つのイングレスプラグイン２１４ｈを有する。これは、プラグインからＣ２Ｈ ＤＭＡアダプタ（Ｐ２Ｈ）への接続性を提供する。１つのＨ２Ｃ ＤＭＡアダプタ２０４が存在する場合、１つのイングレスプラグインが存在し得る。２つのＨ２Ｃ ＤＭＡアダプタが存在する場合、２つのイングレスプラグインが存在し得る。他の実施形態では、ＤＭＡアダプタと比較して異なる数のイングレスプラグインが存在し得る。

第５のスケジューラ２０３ｅは、第４のハブ２５８によるデータの出力を制御するように構成されている。

１つ以上のネットワークポート受信ストリーミングエンジンＮＥＴ＿ＲＸ ２０６は、１つ以上のＭＡＣ（medium access controller、媒体アクセスコントローラ）２１０からストリーミングサブシステムにデータを渡すために提供される。ＮＥＴ＿ＲＸエンジンは、ＭＡＣバスインターフェースを、ストリーミングサブシステムが使用するバスフォーマットに変換し得る。ほんの一例として、これはＩＣＳＢバスであり得る。いくつかの実施形態では、ＲＸ ＭＡＣからデータを受信するように構成された１つのＮＥＴ＿ＲＸエンジンインスタンスが存在し得る。いくつかの実施形態では、２つのＮＥＴ＿ＲＸエンジンインスタンスが存在し得、各ＮＥＴ＿ＲＸエンジンは、ｎ個のＲＸ ＭＡＣからデータを受信するように構成されている。ｎは任意の好適な数であり得、いくつかの実施形態では８である。ＮＥＴ＿ＲＸは、データが受信ＭＡＣからストリーミングサブシステムに渡されることを可能にするために使用される。

ＮＥＴ＿ＲＸ２０６は、第５のハブ２６０に出力を提供するように構成されている。これにより、第５のハブによって提供されるデータバッファを利用しつつ、ネットワークＲＸデータがユーザロジックに送られることが可能になる。第５のハブは、いくつかの実施形態では、任意選択であり得る。

第５のハブは、任意選択で、１つ以上のエグレスプラグイン２１４ｋを有し得る。１つのＨ２Ｃ ＤＭＡアダプタ２０４が存在する場合、１つのエグレスプラグインが存在し得る。２つのＨ２Ｃ ＤＭＡアダプタが存在する場合、２つのエグレスプラグインが存在し得る。他の実施形態では、ＤＭＡアダプタと比較して異なる数のエグレスプラグインが存在し得る。

第５のハブ２６０は、第２のハブ２５４に出力を提供し得る。

第５のハブ２６０は、データのためのエグレスプラグインと併せて使用され得る。これにより、例えば、パイプラインの残りをバイパスすることを可能になり得る。これにより、例えば、受信されたデータがエグレスバッファを介してＮＩＣのファブリックに向けられることが可能になる。スケジューリングは、このハブのスケジューラ（図示せず）によって管理される。

第３のハブ２５６は、データのイングレスを扱うためにプラグインと併せて使用することができる。これにより、例えば、パイプラインの残りをバイパスすることが可能になり得る。これにより、例えば、ファブリックからのデータがイングレスバッファを介してＴＸ部分に向けられることが可能になる。スケジューリングは、スケジューラのうちの１つによって管理される。

第２のハブ２５４は、任意選択で、１つ以上の更なるイングレスプラグイン２１４ｊを有し得ることに留意されたい。これは、プラグインからネットワーク側からのＭＡＥ（マッチアクションエンジン）２４４（Ｐ２ＮＭＡＥ）への接続性を提供する。１つのＨ２Ｃ ＤＭＡアダプタ２０４が存在する場合、１つの更なるイングレスプラグインが存在し得る。２つのＨ２Ｃ ＤＭＡアダプタが存在する場合、２つの更なるイングレスプラグインが存在し得る。他の実施形態では、ＤＭＡアダプタと比較して異なる数のエグレスプラグインが存在し得る。

１つ以上のネットワークポート送信ストリーミングエンジンＮＥＴ＿ＴＸ２０８は、ストリーミングサブシステムから１つ以上の送信ＭＡＣ（媒体アクセスコントローラ）２１２にデータを渡すために提供される。（これらのＭＡＣは、図２ａ、図２ｂ、及び図３に示されるＭＡＣ １１４であり得る。）いくつかの実施形態では、データをＴＸ ＭＡＣに送信するように構成された１つのＮＥＴ＿ＴＸエンジンインスタンスが存在し得る。いくつかの実施形態では、２つのＮＥＴ＿ＴＸエンジンインスタンスが存在し得、各ＮＥＴ＿ＴＸエンジンは、ｎ個のＴＸ ＭＡＣにデータを送信するように構成されている。ｎは任意の好適な数であり得、いくつかの実施形態では８である。ＮＥＴ＿ＴＸエンジンは、ストリーミングサブシステムのバスフォーマットをＭＡＣのバスフォーマットにカバーするように構成され得る。

ＮＥＴ＿ＴＸ ２０８は、第３のハブ２５６からの出力を受信するように構成されている。第６のスケジューラ２０３ｆは、第３のハブによるＮＥＴ＿ＴＸ ２０８へのデータの出力を制御するように構成されている。

代替的又は追加的に、それぞれのハブプラグインインターフェースとストリーミングサブシステムといくつかのＭＡアダプタとの間のトラフィックをルーティングする相互接続が存在し得る。相互接続は、イングレスプラグイン及び／又はエグレスプラグインとみなし得る。例えば、これは、ＮｏＣ、又はプログラマブルロジックで創出されたバス構造であり得る。

考察したように、１つ以上のプラグインインターフェースは、１つ以上のハブによって提供される。いくつかの実施形態では、プラグインインターフェースは、ストリーミングサブシステムデータ経路にデータを注入するイングレスプラグインインターフェースであり得る。いくつかの実施形態では、プラグインインターフェースは、ストリーミングサブシステムデータ経路からデータを抽出するために使用されるエグレスプラグインインターフェースであり得る。データは、ユーザカーネル及び／又は他の機能によって、かつ／又はユーザカーネル及び／又は他の機能に提供され得る。ユーザカーネル及び／又は他の機能は、ＮＩＣの他の部分によって提供され得る。いくつかの実施形態では、ユーザカーネル又は他の機能は、プログラマブルロジックによって提供され得る。いくつかの実施形態では、ユーザカーネル及び／又は他の関数は、ハードウェアによって提供され得る。いくつかの実施形態では、ＮＩＣをＮＩＣの最終用途要件に合わせてカスタマイズすることを可能にするために、ユーザカーネル及び／又は他の関数を使用することができる。

いくつかの実施形態では、イングレス及びエグレスプラグインインターフェースの数は、同じであり得る。例えば、１０個のイングレスプラグイン及び１０個のエグレスプラグインが存在し得る。他の実施形態では、１０個より多い又は少ないイングレス／エグレスプラグインが存在し得る。いくつかの実施形態では、イングレスプラグイン及びエグレスプラグインの数は異なり得る。

いくつかの実施形態において、プラグインインターフェースは、データのイングレス及びエグレスを双方向にサポートしている場合がある。

いくつかの実施形態では、プラグインよりも少ないプラグインインターフェースが存在し得る。これらの実施形態では、プラグインインターフェースは、いくつかのプラグインポイントへの／からのトラフィックを多重化し得る。数は２つ以上であり得る。

プラグインは、全幅バスインターフェース又は半バス幅インターフェースを有し得る。プラグインが半幅バスインターフェースを有する場合、プラグインは対で提供され得る。これにより、プラグインが各ポイントにおいてストリーミングサブシステムデータ経路のフルスピードに一致することが可能になり得る。ストリーミングサブシステムデータ経路は、全幅バスで動作し得る。

プラグインインターフェースが全幅インターフェースを有する場合、所与の注入又は抽出ポイントに関連付けられた１つのプラグインインターフェースのみが存在し得る。

ＶＮＩＣＴＸエンジン２４０、ＭＡＥ ２４４、ＶＮＩＣＲＸエンジン２４２、ＮＥＴ＿ＲＸエンジン２０６、及びＮＥＴＴＸエンジン２０８は、データ処理エンジンの非限定的な実施例である。

ストリーミングプロセッサ又はエンジンを概略的に示す、図４ｃを参照する。ストリーミングプロセッサは、上流ハブ及び下流ハブを有する。これにより、ユーザは、各エンジンの前及び後にデータストリームにアクセスすることが可能になり得る。図４ｃに示される装置は、図４ａ及び図４ｂの装置において使用される。

ハブは、いくつかの実施形態では、受信フロー及び送信フローに共通である。これにより、受信経路と送信経路との間のデータの柔軟なフローが可能になり得る。

ハブは、１つ以上のイングレスプラグイン及び１つ以上のエグレスプラグインを有し得る。

ストリーミングプロセッサは、概してブロックしない。ストリーミングプロセッサは、概して、一時的な場合を除いて背圧の発生を回避することを目的としている。システムは、フローに優先順位をつけ、ブロッキング挙動に適応することを可能にするいくつかの仮想チャネルをサポートし得る。例えば、フローのルックアップはローカルキャッシュで行われ、フローエントリはローカルキャッシュに常駐しない。リモートメモリ（例えば、ＤＤＲ）からのフェッチを実行する必要があり、これにはいくつかのクロックサイクルを要する場合がある。キャッシュサブシステムは、ルックアップ及び多数の未処理のリモートメモリ読取り要求のパイプライン化をサポートし得るが、キャッシュの局所性が低いトラフィックパターンの場合、いくつかのフローの処理が行頭ブロッキングを引き起こし得る。仮想チャネルは、このブロッキングが他の仮想チャネルからの他のフローに影響を及ぼすことを防止し得る。

ストリーミングプロセッサは、特定の帯域幅をサポートし得る。

ハブは、データをストリーミングサブシステムに注入することを所望し得る上流のプロセッサ及びプラグインのために、下流のバッファリングを提供し得る。各ハブは、必要に応じて全てのプラグインから同時にデータを抽出／注入することができるように、スケジューラを包含するか、又はスケジューラによって制御される。ハブは、パイプラインに対するカスタマイゼーション（ループを含む）を創出するために使用され得る。図４ｃに示すスケジューラは、上流ハブをスケジューリングするためのものである。下流ハブの宛先クレジットは、スケジューラによって使用される。

図４ａの装置に戻ると、送信経路は以下の通りであり得る。データの送信は、１つ以上のＤＭＡ送信キューに１つ以上のエントリを提供するホスト又はアプリケーションＣＰＵによって開始され得る。Ｈ２Ｃ ＤＭＡアダプタインターフェース２０２は、第１のハブ２５２を介してＶＮＩＣ ＴＸエンジン２４０に出力を提供する。ＶＮＩＣ ＴＸエンジン２４０は、第２のハブ２５４を介してＭＡＥ ２４４に出力を提供する。ＭＡＥ ２４４は、送信経路と受信経路との間に仮想スイッチ機能を提供し得る。ＭＡＥ ２４０は、第３のハブ２５６を介してＮＥＴ＿ＴＸエンジン２０８に出力を提供する。ＮＥＴ＿ＴＸエンジン２０８は、送信ＭＡＣ ２１２に出力を提供する。

受信経路は、以下の通りであり得る。ネットワークからのデータは、ＮＥＴ＿ＲＸエンジン２０６に出力を提供する受信ＭＡＣ ２１０によって受信され得る。ＮＥＴ＿ＲＸエンジンは、第５のハブ２６０及び第２のハブ２５４を介してＭＡＥ ２４４に出力を提供する。ＭＡＥ ２４４は、第３のハブ２５６を介してＶＮＩＣ＿ＲＸエンジン２４２に出力を提供する。ＶＮＩＣ＿ＲＸエンジン２４２は、第４のハブ２５８を介してＣ２Ｈ ＤＭＡアダプタインターフェースに出力を提供する。

ホストループ経路は、次の通りであり得る。データの送信は、１つ以上のＤＭＡ送信キューに１つ以上のエントリを提供するホスト又はアプリケーションＣＰＵによって開始され得る。Ｈ２Ｃ ＤＭＡアダプタインターフェース２０２は、第１のハブ２５２を介してＶＮＩＣ＿ＴＸエンジン２４０に出力を提供する。ＶＮＩＣ＿ＴＸエンジン２４０は、第２のハブ２５４を介してＭＡＥ ２４４に出力を提供する。ＭＡＥ ２４４は、第３のハブ２５６を介してＶＮＩＣ＿ＲＸエンジン２４２に出力を提供する。ＶＮＩＣ＿ＲＸエンジンは、第４のハブ２５８を介してＣ２Ｈ ＤＭＡアダプタインターフェースに出力を提供する。

ネットワーク間フロー経路、以下の通りであり得る。ネットワークからのデータは、ＮＥＴ＿ＲＸエンジン２０６に出力を提供する受信ＭＡＣ ２１０によって受信され得る。ＮＥＴ＿ＲＸエンジン２０６は、第５のハブ２６０及び第２のハブ２５４を介してＭＡＥ２４４に出力を提供する。ＭＡＥ ２４０は、第３のハブ２５６を介してＮＥＴ＿ＴＸエンジン２０８に出力を提供する。ＮＥＴ＿ＴＸエンジン２０８は、送信ＭＡＣ ２１２に出力を提供する。

いくつかの実施形態では、図４ａのエンティティの各々の間にバス接続が提供される。いくつかの実施形態では、エンティティの各々の間に提供されるバス接続は、同じ幅であり得る。いくつかの実施形態では、データは、全バス幅を使用してストリーミングサブシステムに注入される。他の実施形態において、データは、バス幅の半分を使用してストリーミングサブシステムに注入され得る。後者の場合、一対のデータ注入エンティティが存在し得る。

データ注入エンティティは、１つ以上のプラグイン、ＤＭＡアダプタ、及び／又は受信ＭＡＣ ２１０を含み得る。

いくつかの実施形態では、データは、全バス幅を使用してストリーミングサブシステムから除去される。他の実施形態では、データは、バス幅の半分を使用して、ストリーミングサブシステムから除去され得る。後者の場合、一対のデータ除去エンティティが存在し得る。

データ除去エンティティは、１つ以上のプラグイン、ＤＭＡアダプタ、及び／又は送信ＭＡＣ ２１２を含み得る。

いくつかの実施形態では、ＭＡＥは、ＶＮＩＣ ＴＸエンジン２４０から、かつネットワークポート受信ストリーミングエンジンＮＥＴ＿ＲＸ２０６からのトラフィックを処理するように要求される。ＶＮＩＣ ＴＸエンジン及びネットワークポート受信ストリーミングエンジンＮＥＴ＿ＲＸ２０６の各々は、最大でＸまでのデータレートをサポートし得る。次いで、潜在的に、ＭＡＥは、最大で２Ｘまでのデータレートをサポートする必要があり得る。

いくつかの実施形態では、使用シナリオに応じて、実際には、ＭＡＥによってサポートされる必要がある平均データレートは、Ｘだけである。その場合、ＭＡＥは、ＶＮＩＣ ＴＸエンジン及びネットワークポート受信ストリーミングエンジンＮＥＴ＿ＲＸ２０６と同じレートで機能することができる。したがって、ＭＡＥとそのハブとの間のバスは、ストリーミングサブシステムの他のバスと同じ幅のものであり得る。

他の実施形態では、ＭＡＥによってサポートされる必要があるデータレートは、Ｘを超え得る。いくつかの実施形態では、ＭＡＥは、最大で２Ｘのデータレートをサポートする必要があり得る。これは、ＭＡＥへのバス及びＭＡＥからのバスを修正することによってサポートされ得る。バス幅を増加させ得（例えば、倍にする）、かつ／又はバスのクロックレートを上昇させ得る。

いくつかの実施形態は、セグメント化されたバスを使用し得る。セグメント化されたバスは、全体のデータ経路幅が物理的に別個の部分に分割されるストリーミングバスである。各セグメントは、それ自体の主制御信号（例えば、ＳＯＰ（start of packet、パケットの開始）及びＥＯＰ（end of packet、パケットの終了））を有する。セグメント化されたバスは、恣意的なサイズのカプセルを運ぶ固定幅の任意のバスの潜在的な非効率性を克服するために使用され得る。セグメント化なしでは、カプセルがバス幅よりも（例えば）１バイト長い場合、カプセルを運ぶために２バスビート（クロックサイクル）が必要になり、１バイトを除くバス全体は、第２のビートでは何も運ばない。セグメント化されたバスは、次のカプセルが上記の実施例における第２のバスビートにおいて送信を開始することを可能にし、無駄な帯域幅の多くを回復する。セグメントの数が増加するにつれて、恣意的なカプセルサイズに対するバス帯域幅は、その理論的最大値の１００％に向かう傾向がある。しかしながら、これは、セグメント化の増加に伴って必要となる多重化及び逆多重化動作の複雑さとリソースとのバランスをとる必要がある。セグメント化されたバスの利点は、セグメント化されていないバスの幅又はクロック速度を増加させるなどの選択肢に対してバランスを取り得る。これは、必要とされる実装形態に依存し得る。セグメントの数及びセグメント幅は、制約に伴って変化し得る。

多くの場合、バスは４つのセグメントに分割され得るが、これは、制約がどの程度強いかに応じて変化し得る。

フレームサイズ、及び／又はバス幅によってサポートされるセグメントの数を修正することができる。

ＭＡＥは、他のエンジンよりも高いデータレートで動作し得る。

１つの変形例を図４ｂに示す。この変形例では、２つのＭＡＥエンジン２４４ａ及び２４４ｂが提供される。第１のＭＡＥ ２２４ａは、ホストからのデータを処理するホストＭＡＥとみなされ得る。第２のＭＡＥ ２４４ｂは、ネットワークからのデータを処理するためのネットワークＭＡＥとみなされ得る。ＭＡＥの各々は、第３のハブ２５６に出力を提供する。他の実施形態では、並列に配置された２つより多くのＭＡＥエンジンが存在し得ることを諒解されたい。

図４ａの第２のハブ機能は、２つのハブ２５４ａ及び２５４ｂによって提供される。ハブ２５４ａは、そのハブに関連付けられた任意のプラグインとともに、ＶＮＩＣ ＴＸエンジンからの出力を受信するように構成されている。ハブ２５４ａは、第１のＭＡＥ ２４４ａに出力を提供するように構成されている。ハブ２５４ｂは、そのハブに関連付けられた任意のプラグインとともに、ＮＥＴ＿ＲＸエンジン２０６からの出力を受信するように配置されている。ハブ２５４ｂは、第２のＭＡＥ ２４４ｂに出力を提供するように構成されている。

スケジューラ２０３ｃは、両方のＭＡＥエンジン及び両方のハブ２５４ａ及びｂから入力を受信し得る。

したがって、この実施形態では、ＭＡＥの各々とそれらのそれぞれのハブとの間のバスは、ストリーミングサブシステムの他のバスと同じ幅のものであり得、各ＭＡＥがデータレートＸをサポートすることを可能にする。

Ｘが任意の好適な値であり得ることを諒解されたい。例えば、Ｘは２００又は４００Ｇｂ／ｓであり得る。これらの値は純粋に例としてのものであり、異なる実施形態では異なり得ることを諒解されたい。

いくつかの実施形態では、他のハブと比較して、ハブ２５６によってサポートされるエグレスプラグインの数は２倍であり得る。図４ａ及び図４ｂに関連して考察した両方の実施形態では、第３のハブの総帯域幅は、第１のハブ２５２及び第５のハブ２６０のいずれかにおける帯域幅の２倍であり得る。

いくつかの実施形態において、データ経路は、プラグインを効果的に含む。これは、場合によっては、タイミングの問題を考慮する必要性を回避し得る。スケジューラは、プラグインが提供されるタイミングに対処する。スケジューラについては、以下でより詳細に説明する。上述したように、ハブは、データをストリーミングに注入することを所望し得る上流のプロセッサ及びプラグインのために、下流のバッファリングを提供し得る。これは、スケジューラによって制御され得る。

代替的又は追加的に、データ経路の１つ以上の構成要素をバイパスするか、又はプラグインによって置き換えることができる。

プラグインは、動的にロードされ得る。すなわち、ＮＩＣがインストールされた後にプラグインがインストールされ得る。

プラグインは、任意の好適な構成要素であり得る。例として、プラグインはハードウェア構成要素であり得る。プラグインは、加速化されたアプリケーションのハードウェア構成要素であり得る。プラグインは、カスタムプロトコル及び／又は加速化サポートを可能にし得る。

図４ａ又は図４ｂのデータ経路に特徴を追加するためにプラグインが使用される実施例を示す、図５を参照する。ストリーミングサブシステムは、図４ａ又は図４ｂに関連して説明した通りである。図５に示される実施例では、ＶＮＩＣ ＴＸエンジンからＭＡＥ２４４へのデータ経路は、第２のハブ２５４を介して暗号化プラグイン２５０を含むように修正される。送信されるデータは、ハブ２５４を介して暗号化プラグイン２５０に渡される。データは、データ経路から除去され、暗号化プラグインによって暗号化され、次いで、第２のハブを介してデータパスに再注入される。

ＶＮＩＣ ＲＸエンジン２０８からＭＡＥ２４４へのデータ経路は、第３のハブ２５６を介して復号化プラグイン２５１を含むように修正される。受信されるデータは、ハブ２５４を介して復号化プラグインに渡される。データは、データ経路から除去され、復号化プラグインによって復号化され、次いで、第３のハブを介してデータ経路に再注入される。

この例では、処理されたデータは、除去されるハブに再注入される。しかしながら、他の実施形態では、データは、異なるハブを介してデータ経路に再注入され得る。

ハブ２５４及び２５６のこれらのプラグインポイントは、ネットワーク層暗号化／復号化のために使用され得る。トランスポート層暗号化（例えば、ＴＬＳ）プロトコルプラグインは、ハブ２５２及び／又は２５８を使用し得る。いくつかの実施形態は、これらのハブへのプラグインを使用する、ネットワーク及びトランスポート層暗号化の両方を使用し得る。この後者の実施形態は、フレームごとに二重暗号化又は復号化が必要とされる場合に使用され得る。

プラグインによって提供される暗号化及び復号化は、それぞれＩＰＳｅｃ暗号化及び復号化、又は任意の他の好適な暗号化／復号化であり得る。

図４ａ又は図４ｂのデータ経路の構成要素を置換するためにプラグインが使用される実施例を示す、図６を参照する。ストリーミングサブシステムは、図４ａ又は図４ｂに関連して説明した通りである。図６に示される実施例では、データストリーミング経路のＭＡＥ２４４は、カスタムエンジン２５３によって置換される。

送信経路は、以下のように修正される。データの送信は、１つ以上のＤＭＡ送信キューに１つ以上のエントリを提供するホスト又はアプリケーションＣＰＵによって開始され得る。Ｈ２Ｃ ＤＭＡアダプタインターフェース２０２は、第１のハブ２５２を介してＶＮＩＣ ＴＸエンジン２４０に出力を提供する。ＶＮＩＣ ＴＸエンジン２４０は、第２のハブ２５４を介してカスタムエンジンに出力を提供する。カスタムエンジンは、第３のハブ２５６を介してＮＥＴ＿ＴＸエンジン２０８に出力を提供する。ＮＥＴ＿ＴＸエンジン２０８は、送信ＭＡＣ２１２に出力を提供する。したがって、データは、第２のハブの１つ以上のエグレスプラグインを介して除去され、処理され、第３のハブの１つ以上のイングレスプラグインを介してデータ経路に再注入される。

受信経路は、以下の通りであり得る。ネットワークからのデータは、ＮＥＴ＿ＲＸエンジン２０６に出力を提供する受信ＭＡＣ２１０によって受信され得る。ＮＥＴ＿ＲＸエンジンは、第２のハブ２５４を介してカスタムエンジン２５３に出力を提供する。カスタムエンジン２５３は、第３のハブ２５６を介してＶＮＩＣ＿ＲＸエンジン２４２に出力を提供する。ＶＮＩＣ＿ＲＸエンジン２４２は、第４のハブ２５８を介してＣ２Ｈ ＤＭＡアダプタインターフェースに出力を提供する。したがって、データは、第２のハブの１つ以上のエグレスプラグインを介して除去され、処理され、第３のハブの１つ以上のイングレスプラグインを介してデータ経路に再注入される。

上述したように、いくつかの実施形態は、カプセルを使用し得る。いくつかの実施形態で使用されるカプセルを示す、図７を参照する。いくつかの実施形態では、ストリーミングサブシステムはカプセルを運ぶ。後で考察するように、カプセルは、代替的に又は追加的に、ＮＩＣの他の部分で使用され得る。カプセルは、制御カプセル又はネットワークパケットカプセルであり得る。ペイロードは、ペイロードへのポインタによって提供され得る。代替的に、ペイロードはカプセル内に提供され得る。

図７に概略的に示されるように、カプセルはメタデータ７０２を含む。これは、カプセルの先頭において提供され得る。この後に、カプセルペイロード７１０が続き得る。

メタデータは、カプセルが制御カプセルであるかネットワークカプセルであるかに依存し得る。

ネットワークパケットカプセルは、カプセルメタデータを有し、その後に例えばペイロード内のイーサネットフレームが続く。

メタデータは、制御カプセル及びネットワークカプセルに共通であり得るカプセルヘッダを含み得る。カプセルヘッダは、カプセルが制御カプセルであるかネットワークパケットカプセルであるかを示す情報を含み得る。カプセルヘッダは、ストリーミングサブシステムを通してのパケットのルーティングを制御するルート情報を含み得る。カプセルヘッダは、カプセルによって使用される仮想チャネルを示す仮想チャネル情報を含み得る。カプセルヘッダは、カプセルの長さを示す長さ情報を含み得る。

ネットワークパケットカプセルは、メタデータ７０２の一部としてカプセルヘッダに続くネットワークカプセルヘッダを有する。これは、カプセルメタデータのレイアウト、及びカプセルペイロードがイーサネットＦＣＳ（frame check sequence、フレームチェックシーケンス）を含むか否かを示し得る。

制御カプセルのメタデータは、制御カプセルのタイプを示し得る。カプセルは、オフセットを示すメタデータを有し得る。これは、処理するデータの先頭を示し得る。

スケジューラは、データ経路に沿ったデータの移動のタイミングを制御し得る。スケジューラは、データが１つ以上のプラグインによって処理される場合であっても、タイミングを制御するために使用され得る。いくつかの実施形態では、データ経路の各ステージは、スケジューラによって制御され得る。いくつかの実施形態では、プラグインは、スケジューラによってスケジュールされる。

いくつかの実施形態において、スケジューラは、クレジットベースのシステムを使用し得る。

スケジューラは、ストリーミングサブシステム内のデータフローを管理する。いくつかの実施形態では、このデータフローはカプセルを含む。

フローは、１つのソースを有し、１つ以上の宛先を有し得る。スケジューラの観点から、フローソース及び宛先は、送られるデータを保持するメモリリソース、又は受信されるデータのための空間である。宛先は、下流ハブ内の１つ以上のバッファであり得、ソースは、ハブ及び／又はそのハブのプラグイン内の１つ以上のバッファであり得る。

フローソースは、それが包含し、出力を望むデータの量をスケジューラに通信する。このフローソース状態は、ソースクレジット数と呼ばれる。ソースのタイプに応じて、ソースクレジットは、以下のうちの１つを参照し得る。
１）３状態値として表現される記述子の数。
ａ）利用可能な記述子がない、
ｂ）利用可能な記述子の数が、ゼロより多く、グローバルに構成された閾値より少ない、及び
ｃ）利用可能な記述子の数が、グローバルに構成された閾値数よりも多い。

これは、Ｈ２Ｃ ＤＭＡキューであるソースによって使用され得る。
２）３状態値として表現されるカプセルの数。
ａ）利用可能なカプセルがない、
ｂ）利用可能なカプセルの数が、ゼロより多く、グローバルに構成された閾値より少ない、及び
ｃ）利用可能なカプセルの数が、グローバルに構成された閾値数よりも多い。

この方法は、ソースによって、すなわちハブのＦＩＦＯによって使用され得る。

いくつかの実施形態において、クレジットの量は、代替的に又は追加的に、バストランザクションにおいて測定されたデータの量（例えば、５１２ビットワード）を指し得る。

フロー宛先は、データを受信するために利用可能な自由空間の量をスケジューラに通信し得る。このフロー宛先状態は、宛先クレジット数と呼ばれ得る。宛先のタイプに応じて、宛先クレジットは、以下のうちの１つを参照し得る。
１）バストランザクションにおいて測定されるデータの量（例えば、５１２ビットワード）。これは、宛先がデータバッファ（例えば、ハブ内のＦＩＦＯ）であるときに使用され得る。
２）宛先がデータを受け入れることができるか否かを示す２状態値。これは、ＮＥＴ ＴＸポート又はＮＥＴ ＴＸポート優先度チャネルによって使用され得る。

フローソース及びフロー宛先の状態に基づいて、スケジューラは、どのフローがデータを転送するのに適格かを判定する。スケジューラは、そのプログラミングに従って全ての適格なフローを評価し、どのフローを進めることができるかを判定する。例えば、スケジューラは、現在最も優先順位の高いフローを選択し、具体的な長さのデータブロックを送信するようにフローソースに命令し得る（スケジューラジョブ）。スケジューラは、ジョブが完了したときにシステムがとる状態をより良く表すように、その内部状態を更新する。そうすることにより、スケジューラは、すでに発行されたジョブが完了するのを待つことなく、別のジョブ要求を発行することが可能になり得る。

スケジューラがその状態を更新すると、スケジューラは、宛先の新しい状態及びフロー間の新しい優先順位関係を予測する。スケジューラは変化を正確に予測しない場合があるので、スケジューラは悲観的な観点をとる場合があり、すなわち、スケジューラは、スケジューラジョブ要求の結果として生成され、宛先にプッシュされ得る最大量のデータを想定する。いくつかの状況では、宛先に書込まれるデータの量は、ジョブ要求で指定されたデータブロックのサイズを（時には著しく）超え得る。また、データの量が要求された量よりも少ないシナリオや、データが全く転送されないシナリオも存在し得る。

ソースは、ジョブ要求を実行し、完了した各ジョブについてスケジューラにメッセージを送る。このジョブ応答メッセージは、コスト、ソース状態、及び消費された宛先クレジットを含み得る。コストは、ジョブがどれだけのスループットリソースを消費したかをスケジューラに知らせる。コストは、ジョブの本質及び性質に依存する。しかしながら、しかし、フロー間の優先度関係を更新するためにコストを使用するスケジューラが、異なる種類のジョブのコストを比較及び評価できるように、コスト関数を正規化し得る。ソース状態は、ソースの新しい状態である。最後に、消費される宛先クレジットは、ジョブ中に産出されたデータによって消費される宛先空間の量を指す。

図４ａ又は図４ｂの装置には、ハブ又はＤＭＡアダプタという２つのソース装置がある。

ソースがハブである場合、ソースはハブのＦＩＦＯであり、ジョブ要求を実行してジョブ応答を生成するエンティティは、ハブの読取りステージである。この装置では、ハブの後にエンジン及び別のハブが続く。次のハブのＦＩＦＯは、宛先である。エンジンは、パケットを修正することができ、それによって各パケットの長さを減少又は増加させる。エンジンは、代替的又は追加的にパケットを創出し得る。パケット長を増加されることができる最大量は、グローバルに構成されたパラメータであり得る。消費された宛先クレジットを報告するときのソースハブ読取りステージは、ジョブ内の各パケットが、ストリーミングエンジンによって最大許可量だけ長くされたと仮定し得る。

エンジンは、代替的又は追加的にパケットを創出し得る。エンジンは、代替的又は追加的にパケットを削除し得る。

ソース装置がＤＭＡアダプタであるとき、ソースは、ＤＭＡキューであり、ジョブ要求を実行するエンティティは、記述子パイプと呼ばれる。記述子パイプは、ＤＭＡ記述子を処理し、ホストから／ホストへのデータの読取り又は書込みをＤＭＡに要求する。記述子パイプは、データを処理する。データを処理している間、記述子パイプは、ＴＳＯ（TCP segmentation offload、ＴＣＰセグメンテーションオフロード）動作、擬似ヘッダの除去／追加などに起因してパケットをサイズ変更し得る。ハブの場合のように、消費された宛先クレジットを報告するときの記述子パイプは、ジョブ内の各パケットが記述子パイプによって最大可能量だけ長くされたと仮定し得る。

説明した両方のソース装置について、ジョブのデータをサイズ変更するエンティティ（ストリーミングエンジン又はＤＭＡアダプタデータパイプ）は、ジョブ応答内で指定された消費された宛先クレジットと、消費された実際の宛先クレジットとの間の不一致を報告し得る。これは、処理されたパケットごとに宛先クレジット調整メッセージを送ることによって達成され得る。各宛先クレジット調整メッセージは、ジョブ応答で使用されるパケットの最大拡張シナリオと、パケットの実際のサイズとの間の差を伝える。宛先クレジット調整メッセージは、パケットごとに発行され得る。

ソースが空の状態から２つの空でない状態のいずれか１つに遷移すると、ソースは、スケジューラにソースクレジットメッセージを送る。

ソース固有のＴＸ閾値設定に起因して、ソースは、他の条件が満たされるまで、もはや空ではないことをスケジューラに通知することが防止される場合がある。したがって、ソースクレジットメッセージ通知メッセージは、スケジューラに、ソースが、空の状態から、閾値状態を下回る空でない状態に、又は閾値状態を超える空でない状態に遷移したことを伝え得る。

宛先は、宛先内の空間の量が増加したことを示す宛先クレジットメッセージをスケジューラに送る。いくつかの実施形態では、スケジューラに宛先クレジットメッセージが殺到されないことを確実にするために、宛先は、宛先クレジットメッセージのレートを事前に構成された最大レートに制限する宛先クレジットメッセージモデレータを実装し得る。

スケジューラは、ジョブ要求メッセージをソースに発行する。

ジョブ要求が完了すると、ソースはジョブ応答を発行し、ジョブ応答は以下を指定する。
ソースの状態：ソースの新しい状態、空、閾値を下回る空でない、閾値を超える空でない、
消費された宛先クレジット：ジョブ実行中に消費された宛先クレジットの量の悲観的見積り、及び
ジョブのコスト。

エンジン又はＤＭＡアダプタ記述子パイプは、処理されたパケットごとに宛先クレジット調整メッセージを提供する。いくつかの実施形態では、スケジューラに宛先調整クレジットメッセージが殺到されないことを確実にするために、ストリームエンジンは、宛先クレジット調整メッセージのレートを事前に構成された最大レートに制限する宛先クレジット調整メッセージモデレータを実装し得る。

いくつかの実施形態では、ソースのうちの１つ以上は、いくつかのジョブを並列に（少なくともいくらかの重複を伴って）処理し得る。

図４ａ又は図４ｂのスケジューラの各々は、概して、ソース、宛先、及びそれらを一緒にリンクするフローのある関連するセットを管理することに特化されている。スケジューラの内部構成及びプログラミングは、フローがソース及び宛先にどのように関連するかを指定する。一実施形態では、２つのフローがソースを共有する場合はないが、複数のフローが同じ宛先をターゲットにすることができ、いくつかのフローは複数の宛先をターゲットにし得る。ＱｏＳ（ポリシー）は、インターフェースにおけるパイプライン帯域幅の共有を制御するために、スケジューラによって使用され得る。

いくつかの実施形態のハブを示す、図８ａを参照する。図８ａに示されるこのハブの実施例は、２つのエグレスプラグイン９０２と、１つのイングレスプラグイン９０４とを有する。

データは、ストリーミングサブシステム内のハブの位置に応じて、上流アダプタ及び／又はエンジンから受信され得る。データは、代替的又は追加的に、イングレスプラグインから受信され得る。

ハブは、書込みコントローラ（ハブ書込みステージ（hub write stage、ＨＷＳ）及びプラグインハブ書込みステージ（plugin hub write stage、ＰＷＳ））を有する。これらは、図８ａにおいてＨＷＳ０、ＨＷＳ１及びＰＷＳと表記されている。上流アダプタ及び／又はエンジンからのデータは、ハブ書込みステージに提供され、イングレスプラグインからのデータは、プラグインハブ書込みステージに提供される。ＨＷＳは、デマルチプレクサ機能を提供し得るか、又はデマルチプレクサであり得る。

ハブは、図８ａのＨＲＳを参照した読取りコントローラ（ハブ読取りステージＨＲＳ）と、バッファメモリブロックとを有する。これらのバッファメモリブロックは、図８ａでＭｅｍ Ｂｌｏｃｋ０、１及び３として参照される。バッファメモリブロックは、循環バッファを包含し得、それによって、ハブ設計の残りから循環バッファ実装を抽象化する。バッファメモリブロックは、１つ以上の循環バッファ又は任意の他の好適なバッファ実装を包含し得る。バッファメモリブロックのバッファは、カプセルデータ及び／又はメタデータを包含し得る。

データバッファメモリブロック（Ｍｅｍ Ｂｌｏｃｋ ０及び１）は、ハブのイングレスポートとエグレスポートとをリンクするＦＩＦＯを実装し得る。（Ｍｅｍブロック３によって提供される）シャドウＦＩＦＯは、イングレスプラグイン動作をサポートするために使用され得る。シャドウＦＩＦＯは、エグレスプラグイン動作をサポートするために使用されるＦＩＦＯとレート一致し得る。

メタデータバッファメモリブロックは、メタデータ（カプセル長さ及び他のフィールド）を運ぶＦＩＦＯによって実装され得、メタデータ（典型的には長さ）が、カプセルの終わりにおいて書込みステージによって書込まれるが、カプセルの先頭において読取りステージによって読み出されるように、読取りステージによって前もってプリフェッチされることを可能にする。メタデータＦＩＦＯは、メモリブロックＭｅｍ Ｂｌｏｃｋ ０、１及び／又は３内に提供され得る。

ＨＷＳステージの出力は、エグレスプラグイン及び／又はデータバッファメモリブロックＭｅｍ Ｂｌｏｃｋ ０及び１に提供される。

読取りコントローラＨＲＳは、スケジューラ宛先クレジットメッセージモデレータを組み込んでおり、（ハブバッファに自由空間の存在についてそれぞれのスケジューラに通知する）スケジューラ宛先クレジットメッセージを所定のレートで生成することを担当している。

読取りコントローラはまた、前述したように、（ハブバッファ内のデータの存在についてスケジューラに通知する）ソースクレジットメッセージを生成する。

書込みステージ及び読取りステージは、読取り／書込み通知メッセージを互いに交換し得る。読取り／書込み通知メッセージのポイントツーポイントリンクは、同じハブ内の読取り／書込みステージ間に提供される。通知メッセージは、受信側コントローラに、メッセージを産出するコントローラによって実行される各トランザクション、すなわち、どのＦＩＦＯへの／からの書込み／読取り、書込み／読取りトランザクションのタイプ、ＳＯＰ（start of packet、パケットの開始）、ＥＯＰ（end of packet、パケットの終了）、ＭＩＤＤＬＥについて通知する。

通知メッセージを使用して、各コントローラは、コントローラがアクセスする全てのＦＩＦＯの状態、すなわち、ワードの数、完全なパケットのみの数、完全な及び部分的に読出し／書込みされたパケットの数を追跡することができる。

ＨＲＳステージは、イングレスプラグインからパケット通知メッセージを受信するように構成されている。ＨＲＳステージはまた、ローカルクレジットをイングレスプラグインに提供するように構成されている。

各バッファメモリブロックは、１つ又はいくつかのデータバッファ及びそれらに付随するメタデータバッファを保持し得る。各ハブ読取り又は書込みポートは、少なくとも１つの読取り又は書込みバッファメモリブロックポートの完全な所有権を有し得る。いくつかの実施形態では、２つのハブポートが同じバッファメモリブロックポートを共有しない場合がある。データを通過させることを望む任意のハブ書込み－読出しポート対は、少なくとも１つのバッファメモリブロックを共通に有し得る。

スケジューラを示す。スケジューラは、ＨＲＳのアクティビティを制御するために使用される。１つ以上のスケジューラは、他のハブ及び／又は他のブロックの読取りステージを制御し得る。スケジューラは、このハブからソースクレジットメッセージを受信し、１つ以上の下流ハブ及び／又は１つ以上の他のブロックから宛先クレジットメッセージを受信する。ハブは、その宛先クレジット情報を１つ以上の上流スケジューラに送る。ＨＲＳステージ及びスケジューラは、前述したようなジョブ要求メッセージ及びジョブ応答メッセージを交換する。

イングレスプラグインインターフェース統合を概略的に示す、図８ｂを参照する。図８ｂに示す実施例では、２つのハブ９００ａ及び９００ｂが示されている。ハブ９００ａは、ハブ９００ｂの上流にある。ハブの各々は、図８ａに関連して説明したようなものであり得る。示されるこの実施例では、第２のハブ９００ｂは、ＰＷＳ及び関連付けられたメモリブロックを有していない。ハブがイングレスプラグインをサポートする場合、ＰＷＳ及び関連付けられたメモリブロックが提供され得る。そうでない場合、ＰＷＳ及び関連付けられたメモリブロックは、図８ｂに示される第２のハブ９００ｂの場合のように、省略され得る。

ハブ間にはエンジン９１６が存在する。これは、先に考察したエンジンのいずれか１つであり得る。

スケジューラ９１８は、図８ａに示されるようなものであり得、第１のハブからソースクレジットを受信し得る。これらのソースクレジットは、第１のハブのＨＲＳから受信され、図８ｂに概略的に示されるように、第１のハブのＦＩＦＯに関する。第１のハブのＨＲＳはまた、ジョブ要求及び／又はジョブ応答をスケジューラに提供する。

第１のハブのＨＲＳはまた、イングレスプラグイン９２０のためのソースクレジットを提供する。イングレスプラグインは、ＮＩＣのプログラマブルロジック部分９１２（例えば、図２ａのプログラマブルロジック１１３）によって提供され得る。

いくつかの実施形態では、イングレスプラグイン自体にハブ９２２が提供され得る。このプラグインハブは、ＮＩＣのプログラマブルロジック部分９１２内に提供され、ＮＩＣの強化された部分９１４の一部でない場合があるという点で、ソフトハブと呼ばれ得る。強化された部９１４は、強化されたエリアとＮＩＣのプログラマブルロジックとの間に点線で概略的に示されている。

ハブ９００ａ及び９００ｂは、ＮＩＣの強化された部分内に提供され得る。プラグインハブ９２２は、ＨＷＳ部分、メモリバッファ及びＨＲＳ部分を有する第２のハブ９００ｂと同一又は類似の構造を有し得る。ソースクレジットは、プラグインハブによって提供され得、プラグインハブ９２２のＦＩＦＯに関する。

プラグイン９２０によって提供されるデータは、プラグインハブ及び一対のコンバータ９２４ａ及び９２４ｂを介して第１のハブ９００ａに提供される。一対のコンバータのうちの第１のコンバータ９２４ａは、プログラマブルロジックによって提供され、一対のコンバータのうちの第２のコンバータ９２４ｂは、ＮＩＣの強化された部分内に提供される。データは、プラグインハブから、データを第１のハブのために必要な形式に変換する第１のコンバータ９２４ａに出力される。これにより、必要なバス形式でデータを提供し得る。データは、第１のコンバータ９２４ａから第２のコンバータ９２４ｂを介して第１のハブに渡される。いくつかの実施形態では、第１のコンバータは、データの第１の変換を提供し、第２のコンバータは、第１のハブのために必要とされる形式へのデータの第２の変換を提供する。

ほんの一例として、第１のコンバータは、例えば４００ＭＨｚでクロックされるＳＴバス形式になるようにデータを変換し、第２のコンバータは、例えば８００ＭＨｚでクロックされるＩＣＳＢバス形式にデータを変換する。

第２のコンバータは、第１のコンバータ９２４ａを介してプラグインハブに提供されるＦＩＦＯクレジットを第１のハブのＰＷＳから受信する。

いくつかの実施形態では、コンバータは省略され得る。いくつかの実施形態では、１つのコンバータのみが必要とされる。いくつかの実施形態では、１つ以上のコンバータは、第１のハブとプラグインハブ又はプラグイン自体との間のインターフェースとして機能する。

コンバータ９２４ｂを、ハブの一部であると考える場合があることを諒解されたい。プラグイン９２０、プラグインハブ９２２及び第１のコンバータ９２４ａは、イングレスプラグインを提供すると考えられ得る。

スケジューラは、下流ハブから宛先クレジットを受信するように構成されている。スケジューラは、好適なハードウェア上で実行されるコンピュータコードによって提供され得る。ハードウェアは、例えば、少なくとも１つのプロセッサ及び少なくとも１つのメモリであり得る。

エグレスプラグインインターフェース統合を概略的に示す、図８ｃを参照する。図８ｃに示す実施例では、先に考察したような２つのハブ９００ａ及び９００ｂが示されている。それぞれのハブがイングレスプラグインをサポートする場合、ＰＷＳ及び関連付けられたメモリブロックが提供され得る。そうでない場合、ＰＷＳ及び関連付けられたメモリブロックは省略され得る。

ハブ間にはエンジン９１６が存在する。これは、前述したエンジンのいずれか１つであり得る。

第１のハブ９００ａのＨＲＳは、ジョブ要求及び／又はジョブ応答をスケジューラ９１８に提供する。スケジューラは、下流ハブ９００ｂから宛先クレジットを受信するように構成されている。スケジューラは、エグレスプラグイン９２０’から宛先クレジットを受信するように構成されている。

エグレスプラグイン９２０’は、参照符号９１２によって示されるファブリック内のユーザロジックによって提供され得る。

いくつかの実施形態では、エグレスプラグイン自体にハブ９２２’が提供され得る。このプラグインハブは、イングレスプラグインに関連して考察したように、ＮＩＣのプログラマブルロジック部分９１２内に提供される。

エグレスプラグインハブ９２２’は、ＨＷＳ部分、メモリバッフ、及びＨＲＳ部分を有する第２のハブ９００ｂと同じ又は同様の構造を有し得る。宛先クレジットは、プラグインハブによって提供され得、エグレスプラグインハブ９２２’のＦＩＦＯ’に関する。

プラグイン９２０’に提供されるデータは、一対のコンバータ９２４ａ’及び９２４ｂを介して第２のハブ９００ｂによって提供される。これは、エグレスプラグイン宛先クレジットの使用によって、スケジューラによって制御される。１つ以上のレートマッチＦＩＦＯを使用し得る。レートマッチＦＩＦＯは、バス幅、したがってデータレートをマッチさせ得る。いくつかの実施形態では、１つのレートマッチＦＩＦＯが、エグレスプラグインインターフェースごとに提供され得る。これにより、エンジンと第２のハブとの間の全幅バス及び半幅バスインターフェースからエグレスプラグインへの遷移が可能になり得る。

一対のコンバータのうちの第１のコンバータ９２４ａ’は、ＮＩＣのプログラマブルロジック部分内に提供され、一対のコンバータのうちの第２のコンバータ９２４ｂ’は、ＮＩＣの強化された部分９１４内に提供される。データは、第２のハブ９００ｂから出力され、データを必要な形式に変換する第２のコンバータ９２４ａに提供される。この変換されたデータは、第１のコンバータ９２４ａ’に渡され得る。この第１のコンバータ９２４ａ’は、エグレスプラグイン９２２’に必要な形式でデータを提供し得る。データは、第２のハブから第２のコンバータ９２４ｂ’を介して第１のコンバータ９２４ａ’に渡される。いくつかの実施形態では、第２のコンバータは、データの第１の変換を提供し、第１のコンバータは、エグレスプラグインのために必要とされる形式へのデータの第２の変換を提供する。ほんの一例として、第２のコンバータは、８００ＭＨｚでクロックされるＩＣＳＢバス形式から４００ＭＨｚでクロックされるＳＴバス形式にデータを変換し、第２のコンバータは、４００ＭＨｚでクロックされるＳＴバス形式を、エグレスプラグインへの入力のためのデータストリームに変換する。

いくつかの実施形態では、コンバータは省略され得る。いくつかの実施形態では、１つのコンバータのみが必要とされる。いくつかの実施形態では、１つ以上のコンバータは、第２のハブとプラグインハブ又はプラグイン自体との間のインターフェースとして機能する。

コンバータ９２４ｂ’を、第２のハブの一部であると考える場合があることを諒解されたい。エグレスプラグイン９２０’、エグレスプラグインハブ及び第１のコンバータ９２４ａ’は、エグレスプラグインを提供すると考えられ得る。

スケジューラは、下流ハブから宛先クレジットを受信するように構成されている。

スケジューラは、好適なハードウェア上で実行されるコンピュータコードによって提供され得る。ハードウェアは、例えば、少なくとも１つのプロセッサ及び少なくとも１つのメモリであり得る。

図４ａ又は図４ｂに示されるキャッシュサブシステムは、いくつかの実施形態においてＭＡＥによって使用され得る。キャッシュサブシステムは、キャッシュカウンタ、ルックアップサービス、及び複数のキャッシュされたＣＡＭを備え得る。図６に示す、実施例では、ＭＡＥはカスタムエンジンによってバイパスされる。これは、キャッシュサブシステムがストリーミングサブシステムによって使用されない一実施例である。いくつかの実施形態では、キャッシュのメモリは目的変更され得る。例えば、いくつかの実施形態では、メモリは、ＦＩＦＯ（first in first out、先入れ先出し）、ＢＣＡＭ又はＳＴＣＡＭのうちの１つ以上として使用することができる。

いくつかの実施形態では、メモリへのアクセスは、ファブリックを介して、又はＮｏＣを介して行われる。ＣＡＭは、ミスがＮｏＣを介してファブリックに実装されたミスハンドラに転送されるよう、キャッシュするように設計され得る。ミスハンドラは、オンチップメモリ又は外部ＤＤＲ（double data rate、ダブルデータレート）メモリなどの任意の好適なメモリを使用してＣＡＭを「拡張」することができる。

メモリが目的変更される場合、ストリーミングサブシステムはもはやキャッシュサブシステムにアクセスすることができない。

したがって、いくつかの実施形態は、ＭＡＥエンジンをサポートするための強化キャッシュとして使用されないときに、キャッシュがＣＡＭとして再使用されることを可能にし得る。

この点に関して、目的変更されたキャッシュサブシステム２１５を示す図９を参照する。いくつかの実施形態では、ｘ個のメモリ８００が提供され得る。ほんの一例として、３２個のメモリ８００が存在し得る。この実施例では、メモリは６４ｂ幅であり得る。しかしながら、これはほんの一例である。各メモリ８００は、デュアルポート８０２に関連付けられ得る。各ポート８０４及び８０６は、読取り及び書込みをサポートすることができる。

この実施例では、１６３８Ｇｂｉｔ／ｓの総帯域幅を与え得るメモリ当たり８００Ｍのアクセスが存在し得る。いくつかの実施形態では、これは、読取りと書込みの任意の必要な組み合わせをサポートし得る。

いくつかの実施形態では、キャッシュメモリは、用途に応じて目的変更することができる。例えば、メモリは、以下のうちの１つを提供するために使用され得る。
４ｘ ２００Ｇｂｉｔ／ｓ ＦＩＦＯ
６４ｂキー＋値及び８００Ｍルックアップ／ｓを有する８ｘ ＢＣＡＭ
１ｘ ＳＴＣＡＭ、４マスク、２５６ｂキー＋値及び４００Ｍルックアップ

いくつかの実施形態では、キャッシュ内のバッファがアドレスによって割り当てられ、解放され、参照されることができるオントップアドレス方式が提供される。バッファアドレスは、ＤＭＡ及び又はアクセラレータコマンドのためのソース／ターゲットとして使用され得る。メモリの多重化は、ＣＡＭをメモリチャネルのセット内に実装するために使用され、各チャネルは読取り／書込みコントローラを有する。このモードがアクティブであるとき、メモリは同時にＣＡＭとして使用されない場合がある。

前述のストリーミングサブシステムは、前述のエンジンのうちの１つ以上を省略し得、かつ／又は１つ以上の他のエンジンを含み得る。前述のエンジンのうちの１つ以上によって提供される１つ以上の機能は、省略され得る。１つ以上の他の機能は、前述のエンジンのうちの１つ以上によって実行され得る。

いくつかの実施形態では、ストリーミングサブシステムを提供するＡＳＩＣ（強化された部分）と、プラグインを提供するＰＬとの間で、バリアを越えてデータが１回、２回、又はそれ以上交差する場合がある。いくつかの実施形態では、データは、ネットワークから受信され、ストリーミングサブシステムパイプラインを出た後に完全に終了し得る。いくつかの実施形態では、データは、ＰＬによって供給され得る。

プラグインには、ＡＳＩＣ、ＣＰＵ及び／又はプログラマブル回路のうちの１つ以上が提供され得る。プラグインは、データ処理エンティティであり得る。プラグインは、いくつかの実施形態において、プログラマブルロジック又はプログラマブル回路によって提供され得ることが強調されるべきである。他の実施形態では、１つ以上のプラグインは、ＡＳＩＣ、ＣＰＵ又は任意の他の回路などの任意の他の好適な回路によって提供され得る。

いくつかの実施形態において、処理エンジンは、必要な機能を提供するようにプログラムされ得る。処理エンジンのプログラミングは、ＲＴＬ、Ｃ、Ｐ４、及びｅＢＰＦなどの任意の好適なプログラミング言語を使用し得る。

いくつかの実施形態は、ストリーミングデータ処理経路を備えるネットワークインターフェースデバイスを提供し得る。ストリーミングデータ処理経路は、１つ以上のデータ処理エンジン及びデータハブを備え得る。データハブのうちの１つ以上は、プログラマブル回路によって提供されるデータ処理エンティティからデータを受信するように構成可能なデータイングレスインターフェース、及びプログラマブル回路によって提供されるデータ処理エンティティにデータを提供するように構成可能なデータエグレスインターフェースのうちの１つ以上を備える。ネットワークインターフェースデバイスは、それぞれのデータ処理エンジンへのそれぞれのデータハブによるデータの出力を制御するために、それぞれのハブに関連付けられたスケジューラを備え得る。少なくとも１つのデータハブは、データ処理経路上のそれぞれのデータ処理エンジンの上流に配置され得、１つ以上の上流データ経路エンティティから、かつそれぞれのデータ処理エンティティからデータを受信するように構成されている。スケジューラは、それぞれのハブによるそれぞれのデータ処理エンジンへのデータの出力をスケジュールするように構成されている。それぞれのデータ処理エンジンは、それぞれの上流データハブからデータを受信し、受信されたデータを処理し、処理されたデータをそれぞれのデータ処理エンジンの下流に配置されたそれぞれのハブに出力するように構成されている。

データ処理エンティティは、プログラム可能回路以外の回路によって代替的に提供され得る。データ処理エンティティは、ＡＳＩＣによって、ＣＰＵによって、又は任意の他の好適な回路によって証明され得る。

いくつかの実施形態の方法を示す、図１６を参照する。これは、ネットワークインターフェースデバイス内で実行され得る。

この方法は、ステップ１６０１において、第１のハブにおいて、第１の上流データ経路エンティティから、かつプログラマブル回路に実装された第１のデータ処理エンティティからデータを受信することを含む。

この方法は、ステップ１６０２において、第１のハブに関連付けられた第１のスケジューラによって、第１のハブから第１のデータ処理エンジンへのデータの出力を制御することを含む。

この方法は、ステップ１６０３において、第１のデータ処理エンジンによって、第１のハブから受信されたデータを処理することを含む。及び
この方法は、ステップ１６０４において、第１のデータ処理エンジンによって、処理されたデータを第２のハブに出力することを含む。

２つのＣＰＵ ７５０及び７５２を有するＮＩＣ １０９を示す、図１０を参照する。実際には、ＣＰＵはＣＰＵ複合体であり得る。ＣＰＵ複合体は、それらのＣＰＵキャッシュ及び相互接続を有する所与の数のＣＰＵコアを備える。これらのＣＰＵ ７５２のうちの第１のＣＰＵは、ホストＣＰＵであり得る。これらのＣＰＵ ７５０のうちの第２のＣＰＵは、埋め込みオペレーティングシステム及び／又はアプリケーション７２８を実行するアプリケーションＣＰＵであり得る。ファームウェア７２４は、ＮＩＣのための制御プレーン機能を提供し得る。ファームウェアは、再構成可能処理ユニットＲＰＵなどの低電力ＣＰＵ上に存在し得る。これは制御プレーンＣＰＵ ７２４と呼ばれる。

いくつかの実施形態では、ＣＰＵ ７５０及び７５２は、別個のＣＰＵによって提供される。他の実施形態では、これらのＣＰＵは、共通のＣＰＵによって提供され得る。いくつかの実施形態では、これらのＣＰＵのうちの一方又は両方は、ＮＩＣの一部として提供され得る。他の実施形態では、これらのＣＰＵのうちの一方又は両方は、ホストデバイスによって提供され得る。図１０に示される実施例では、２つのＣＰＵは別個のＣＰＵである。第１のＣＰＵは、ホストＣＰＵ ７５２であり、第２のＣＰＵは、ＮＩＣの一部として提供されるＣＰＵ ７５０である。

制御プレーンＣＰＵ ７２４は、ＣＰＵから分離され得る。いくつかの実施形態では、制御プレーンＣＰＵは、第２のＣＰＵ ７５０の一部として提供され得る。制御プレーンＣＰＵ ７２４は、ＮＩＣの一部であり得る。しかしながら、いくつかの実施形態では、制御プレーンＣＰＵは、ホスト内に少なくとも部分的に実装され得る。

先に考察したように、データのストリームは、ＮＩＣによって受信／送信される。データのストリームは、ネットワークから受信され得るか、又はネットワーク上に送信され得る。データのストリームのうちの異なるストリームは、異なるフローに関連付けられる。異なるフローは、例えば、ＩＰアドレス、ソケット、及びポート番号によって識別することができる。

ＮＩＣは、それぞれのモジュールによって提供されるいくつかの異なるストリーミングカーネルを有し得る。ストリーミングカーネルは、受信されたデータを処理し得る。ストリーミングカーネルは、処理されたデータを次のストリーミングカーネルに渡し得る。これについては、後で詳細に考察する。

ネットワークから受信されたデータは、ＭＡＣモジュール１１４によって受信され得る。ＭＡＣモジュールは、受信したデータに対してＭＡＣ層処理を実行する。ＭＡＣモジュールは、前述したような仮想スイッチに出力を提供する。出力は、ＭＡＣ処理されたデータを含み得る。

ＭＡＣ処理されたデータは、ＮＩＣの仮想スイッチ部分（ｖＳｗｉｔｃｈ）１０２によって処理される。仮想スイッチは、前述のストリーミングサブシステムの少なくとも一部によって提供され得る。実行される処理は、使用されるプラグインに依存し得る。処理は、前述した通りであり得る。ｖＳｗｉｔｃｈは、ｖＳｗｉｔｃｈがデータを処理したとき、ＡＥＳ（advanced encryption standard、高度暗号化標準）モジュール７３０に出力を提供し得る。出力は、処理されたデータを含み得る。

ＡＥＳ（高度暗号化標準）モジュール７３０がｖＳｗｉｔｃｈから出力を受信すると、ＡＥＳは、処理されたデータを復号化するように構成され得る。復号化の実行に応答して、ＡＥＳモジュールは、ＴＣＰモジュール７６６又はカーネルに出力を提供し得る。出力は、復号化されたデータを含み得る。

いくつかの実施形態において、ＡＥＳ関数の少なくとも一部が、ｖＳｗｉｔｃｈへのプラグインによって提供され得ることを諒解されたい。

この実施例は、ＡＥＳセキュリティ機能を参照した。このセキュリティは、ＣｈａＣｈａ２０－Ｐｏｌｙ１３０５又はＳａｌｓａ２０及び／又は同様のものなど、任意の他の好適なセキュリティ機能とすることができることを諒解されたい。セキュリティ機能は、暗号化されたデータを判定するため、又はキーを導出するために、暗号アルゴリズムを実装し、かつ／又はカスタムネットワークプロトコルヘッダの処理を可能にし得る。いくつかのシナリオでは、セキュリティ機能は省略され得る。

いくつかの実施形態では、データを解析して、ＡＥＳ演算に使用すべきブロック及びキーを判定する中間モジュールが提供され得る。その中間モジュールは、ｖＳｗｉｔｃｈへのプラグインとして提供され得る。

ＴＣＰモジュール７６６は、ＡＥＳモジュールからのその出力に応答して、例えばＴＣＰヘッダの処理など、復号化されたデータに対して必要なＴＣＰ関連処理を実行するように構成されている。他の実施形態では、ＴＣＰとは異なるプロトコルをサポートする異なるプロトコルモジュールが、代替的に又は追加的に提供され得る。

いくつかの実施形態では、ＴＣＰモジュール７６６は、全ての必要なＴＣＰプロトコル処理を実行し得る。他の実施形態では、ＴＣＰモジュールは省略され得、ＴＣＰ処理は他の場所で実行され得る。いくつかの実施形態では、ＴＣＰモジュールは、ＴＣＰ処理の一部のみを実行し得る。例えば、ＴＣＰモジュールは、リアセンブリを実行し、ヘッダをソフトウェアＴＣＰ実装に転送するだけの場合がある。これは、例えば、本出願人がアプリケーション処理ユニット上で提供されるＯｎｌｏａｄなどの加速ネットワークスタックによって提供され得る。これについては後で考察する。

ＴＣＰモジュールは、プラグインによって、かつ／又はストリーミングサブシステムのエンジンのうちの１つ以上によって提供され得る。これは、ＮＩＣにおいて実行されるＴＣＰ関連処理に依存し得る。前述したように、ＴＣＰ処理の全部又は一部がＮＩＣ内で実行される場合があるか、又はＴＣＰ処理がＮＩＣ内で実行されない場合がある。

データに関連付けられたコンテキスト又はアドレスに応じて、ＴＣＰモジュールによって、キー値ＫＶモジュール７３６又はＮＶＭｅＯＦ（non-volatile memory express over fabrics、不揮発性メモリエクスプレスオーバーファブリック）モジュール７３４のいずれかに出力が提供される。ＴＣＰモジュールによって提供されるこの出力は、プロトコル処理されたデータを含み得る。ＫＶモジュール７３６及びＮＶＭｅＯＦモジュール７３４が、提供され得る異なるモジュールの２つの実施例であることを諒解されたい。しかしながら、これらの例示的なモジュールのうちの１つ以上の代わりに、１つ以上の他のモジュールが使用され得ることを諒解されたい。いくつかの実施形態では、２つより多くのモジュール又は１つのみのモジュールが存在し得る。これは、サポートされるアプリケーションの数及び／又はタイプに依存し得る。

この実施例では、ＫＶモジュール及びＮＶＭｅＯＦモジュールは、受信方向においてＴＣＰモジュールの下流にある。他の実施形態では、１つ以上のモジュールが、ＴＣＰモジュールと並列に、かつ／又は受信方向においてＴＣＰモジュールの上流に提供され得る。

いくつかの実施形態では、ＫＶモジュール及びＮＶＭｅＯＦモジュールのうちの一方又は両方は、ストリーミングサブシステムへのプラグインモジュールとして提供され得る。

いくつかの実施形態では、デフォルトは、データが１つ以上の特定のデータフローに関連付けられない限り、モジュールのうちの１つに出力を提供することである。この実施例では、デフォルトモジュールはＮＶＭｅＯＦモジュール７３４であり得、１つ又は特定のデータフローに関連付けられたデータのみがＫＶモジュール７３６に提供される。特定のデータフローは、例えば、そのアドレス情報によって識別され得る。

他の実施形態では、モジュールの両方は、それぞれのデータフローに関連付けられ得、データがそれぞれのデータフローに関連付けられている場合にのみ、データがそれぞれのモジュールに出力される。所与のデータフローは、いくつかの実施形態では、１つのモジュールのみに向けられ得る。しかしながら、他の実施形態では、所与のデータフローが、２つの異なるモジュールに向けられ得る。

ＴＣＰモジュールとＫＶモジュールとの間のインターフェースは、ＴＣＰモジュールからＫＶモジュールへの１つ以上の特定のデータフローに関連付けられたデータに対してのみ出力が提供されるようになっている。このインターフェースについては、後で詳細に考察する。同様に、ＴＣＰモジュールとＮＶＭｅＯＦモジュールとの間のインターフェースは、ＴＣＰモジュールからＮＶＭｅＯＦモジュールへの１つ以上の特定のデータフローに関連付けられたデータに対してのみ出力が提供されるようになっている。

ＮＶＭｅＯＦモジュール７３２は、ＴＣＰスタックからの出力に応答してプロトコル処理されたデータに対してその機能を実行し、ＮＩＣ内のＯＳスタック７３４をサポートするＮＶＭＥキュー対を介して第１のＣＰＵ ７５２内のＮＭＶｅスタック７４２に出力を提供する。ＯＳスタック７３４をサポートするこのＮＶＭＥキュー対は、前述したようなＰＣＩｅ機能における１つ以上のｖＮＩＣによって提供され得るか、又はＮＶＭｅＯＦモジュール７３２の一部として提供され得る。

ＮＶＭｅスタック７４２へのこの出力は、ＮＶＭｅＯＦモジュール７３２によって処理されたデータを含み得る。ＮＶＭｅスタック７４２は、ホストＣＰＵである第１のＣＰＵ内の関連付けられたアプリケーション７２０に出力を提供する。

ＫＶモジュール７３６は、ＳＨＭ共有メモリインターフェース７３８に出力を提供する。ＳＨＭインターフェース７３８は、前述したようなＰＣＩｅ機能における１つ以上のｖＮＩＣによって提供され得るか、又はＮＶＭｅＯＦモジュール７３２の一部として提供され得る。

出力は、ＳＨＭインターフェース及びＡＰＩ ７４０を介してＫＶアプリケーション７２２に提供される。ＡＰＩ ７４０は、ランタイムライブラリによって提供され得る。ＡＰＩ ７４０及びＫＶアプリケーション７２２は、第１のＣＰＵ上に設けられ得る。

いくつかの実施形態において、アプリケーション７２０及び７２２は、異なるＣＰＵによってサポートされ得る。

いくつかの実施形態では、モジュールによって提供される処理は、データのタイプを変更し得る。例えば、ｖＳｗｉｔｃｈからの出力は、レイヤ２，３（イーサネットフレーム＋ＩＰ処理）処理に対応するデータ単位である。ＴＣＰスタックモジュールからの出力は、信頼できる順序通りのバイトストリームである。ＮＶＭｅＯＦモジュールからの出力は、ＮＶＭｅブロックストレージレベルトランザクションであり得る。ポストＴＣＰバイトストリームは、ＫＶアプリケーションによってゲット要求又はセット要求として解釈され得る。

所与のプロセス又はコンテキスト（ＣＰＵ上のアドレス空間）がアクセスし得るメモリの場所は、そのプロセス又はコンテキストに関連付けられた特権レベルに依存することを諒解されたい。ＣＰＵによってサポートされる異なるアプリケーションは、異なるアドレス空間に関連付けられ得る。アプリケーションのアドレス空間は、そのアプリケーションの特権に依存し得る。

先の考察は、ＮＩＣによって受信されたデータの処理に関するものであった。アプリケーションは、代替的又は追加的に、データをネットワーク上に置くように構成され得る。データは、それぞれのメモリの場所から読み出され得る。メモリの場所は、それぞれのアプリケーションに関連付けられたアドレス空間内に存在し得る。データは、代替的又は追加的にメッセージであり得ることを諒解されたい。例として、メッセージは、要求メッセージ、応答メッセージ、クエリメッセージ、又は任意の他の好適なメッセージであり得る。

ＮＶＭｅアプリケーション７２０からのデータは、ＮＶＭｅスタック７４２及びＮＶＭｅ ＱＰサポート援ＯＳスタック７３２を介してＮＶＭｅＯＦモジュール７３２に渡される。これらのエンティティは、必要に応じてデータを処理する。処理されたデータは、ＴＣＰモジュール７６６に出力され得る。

ＫＶアプリケーション７２２からのデータは、ＡＰＩ ７４０及びＳＨＭインターフェース７３８から、必要に応じてデータを処理するＫＶモジュール７３６に渡される。処理されたデータは、ＴＣＰモジュール７６６に出力され得る。

ＴＣＰモジュール７６６は、ＮＶＭｅＯＦモジュール７３２及び／又はＫＶモジュール７３６からデータを受信する。いくつかの実施形態では、ＴＣＰモジュール７６６は、それらのモジュールのうちの所与の１つからのデータを、そのデータが１つ以上の特定のデータフローに関連付けられている場合にのみ受け入れるように構成され得る。これについては、後に詳細に説明する。

ＴＣＰモジュール７６６は、ＫＶモジュール７３６又はＮＶＭｅＯＦモジュール７３２のいずれかから受信したデータに対して必要なＴＣＰ関連処理を実行するように構成されている。プロトコル処理されたデータは、ＡＥＳモジュール７３０に出力される。

ＡＥＳモジュール７３０は、受信されたデータを暗号化するように構成され得る。ＡＥＳモジュールは、暗号化されたデータをｖＳｗｉｔｃｈ１０２に出力し得る。ＡＥＳモジュール自体は、ネットワークヘッダ情報からデータブロック及び主要材料を判定するために必要とされるプロトコル解析を実施するためのモジュールによってラップされ得、逆もまた同様である。

ｖＳｗｉｔｃｈは、暗号化されたデータを処理し得る。ｖＳｗｉｔｃｈによって提供される処理は、ＮＩＣのプラグインに依存し得る。図１０に示されるＮＩＣのモジュールのうちの１つ以上は、前述のように、ストリーミングサブシステムへのプラグインとして提供され得る。

ｖＳｗｉｔｃｈは、処理されたデータをＭＡＣ処理のためにＭＡＣモジュールに出力するように構成されている。データは、ネットワーク上に置かれ得る。

ｖＳｗｉｔｃｈは、例えば、図４ａ及び４ｂに示されるように、前述され得る。しかしながら、他の実施形態では、任意の他の好適なＮＩＣ装置が提供され得る。そのＮＩＣ装置は、前述したような１つ以上のプラグインをサポートする機能性を有さない場合がある。

ネットワーク管理コントローラＮＭＣ７２６は、制御ＣＰＵ ７２４によって提供され得る。ＮＭＣ７６２は、どのデータフローがどのモジュールによって処理されるかを制御するように構成されている。ＮＭＣは、それぞれのアドレス空間のデータフローのみが所与のモジュールによって処理されることを確実にするようにモジュールをプログラムする。

いくつかの実施形態において、ＮＭＣ７６２は、ＮＩＣ内の異なるフローのステアリングを制御する。

いくつかの実施形態では、異なるエンドユーザは、ＮＩＣによってサポートされるアプリケーションが異なることを要求する場合がある。前述したように、ＮＶＭｅアプリケーション及びＫＶアプリケーションは、サポートされる必要があり得るアプリケーションの実施例である。他の実施形態は、代替的又は追加的に、１つ以上の他のアプリケーションがサポートされ得る。異なるアプリケーションは、１つ以上のそれぞれのモジュールがサポートされること、及び／又はＮＩＣの１つ以上のハードウェア部分が特定のアプリケーションをサポートするために割り当てられることを必要とし得る。アプリケーションをサポートするために必要なリソースの割り当ては、ＮＭＣ７２６によって制御される。特定のアプリケーションに割り当てられたリソースは、別のアプリケーションに割り当てられたリソース及び／又はプロトコル機能及び暗号化／復号化機能などの異なる機能をサポートするために必要とされる他のリソースから分離されたままであり得る。

いくつかの実施形態では、ハードウェアリソースは、プログラマブルロジック又はプログラマブル回路によって少なくとも部分的に提供され得る。

１つ以上のハードウェアリソースは、例えば、前述したような特定のアプリケーション専用であり得る。代替的又は追加的に、１つ以上のハードウェアリソースが２つ以上のアプリケーションによって共有され得る。共有リソースの実施例は、物理的に全てのアクセスがメモリコントローラを介して行われるメモリである。共有リソースの場合、割り当ては、ハードウェアの領域若しくはスライス（アドレスの範囲）、及び／又は帯域幅若しくは優先度などの必要とされ得る１つ以上の他の性質に基づく。全ての共有リソース及び専用リソースを合わせて、アドレス空間と考えられ得る。

先に考察したモジュールの１つ以上は、ＮＭＣによって動的にロードされ得る。

モジュールは、ハードウェア加速アプリケーション機能を実装するＮＩＣ上のハードウェアであり得る。前述したように、カーネルは、それぞれのモジュールによって提供され得、アプリケーションの機能を実装するのでアプリケーション固有であり得、アプリケーションは潜在的に異なる。モジュールは、いくつかの実施形態において、複数のカーネルに関連付けられ得る。

機能は、ユーザ空間アプリケーションのものであり得る。ほんの一例として、そのような機能は、キー値データベースであり得る。

機能は、オペレーティングシステムアプリケーションのものであり得る。ほんの一例として、そのような機能はファイアウォールであり得る。

機能は、ハイパーバイザ常駐アプリケーションのものであり得る。ほんの一例として、そのような機能は仮想スイッチであり得る。

それぞれのモジュールによって提供されるハードウェアカーネルは、上で考察したようなそれぞれの１つ以上の機能の同じ分離／特権の性質をミラーリングする必要がある。

アプリケーションとカーネルとの間のインターフェースは、シェル様インターフェース又は任意の他の好適なインターフェースによって提供され得る。いくつかの実施形態において、このインターフェースは、カーネルへのソフトウェアＡＰＩ及びカーネルのためのハードウェアＡＰＩを提供するファームウェア及びハードウェアの組み合わせによって実装され得る。このインターフェースは、絶縁回路によって提供され得る。この分離回路は、ファームウェアとハードウェアの組み合わせによって提供され得る。提供されるインターフェースは、ＮＩＣによって使用されるオペレーティングシステム技術に依存し得る。インターフェースは、ハードウェアアドレス空間に関連付けられると考えられ得る。このハードウェアアドレス空間は、プログラマブルロジック、ＤＤＲ、及びＣＰＵのうちの１つ以上を備え得る。カーネルは、アプリケーションを（インターフェースを介して）ＮＩＣ上のハードウェアに接続する。

カーネルは、メモリのエリアにロードされ得る。前述のように、モジュールは、１つ以上のカーネル及びそれぞれのインターフェースを備え得る。メモリのこのエリアは、少なくともアプリケーションプログラムによるアクセスから保護され得る。カーネルは、プロセスの実行、アプリケーションをサポートするのに必要なハードウェアの管理、及び割込みの処理などのタスクを実行する。必要とされるハードウェアは、ＣＰＵ、メモリ、周辺デバイス及び／又はＮＩＣのプログラマブルロジックであり得る。ハードウェアは、シェルのハードウェアアドレス空間内にある。

アプリケーションは、ホスト（第１の）ＣＰＵ上で実行される。

いくつかの実施形態では、ロード可能なカーネルは、実行時に挿入及び除去され得る。カーネルは、任意の好適なタイプのカーネルであり得る。いくつかの実施形態において、カーネルは、ハードウェアで実行するようにコンパイルされたアプリケーションの関数（構成要素）であり得る。

異なるカーネルは、異なる特権又は信頼エリアに関連付けられ得る。異なる信頼エリアが、異なるデータフロー／アプリケーションに対して設定され得る。これにより、異なるアドレス空間を互いに分離することが可能になる。異なるアドレス空間又はフローは、ＮＩＣ上の異なるハードウェアリソースに関連付けられ得、それらの異なるハードウェアリソースは、互いに分離される。異なるアプリケーションをサポートするカーネルは、異なるインターフェースに関連付けられ得る。

図１０の装置では、３つの異なる信頼又は特権エリアが点線によって示され、７５１ａ、７５１ｂ及び７５１ｃが参照される。

ｖＳｗｉｔｃｈ、ＡＥＳ、ＴＣＰ及びＮＶＭｅＯＦモジュールは、第１の信頼エリア７５１ａに関連付けられ得る。これは、このエリアが特権の第１のドメインに関連付けられることを意味する。

ＫＶモジュール、ＫＶアプリケーション、ＳＨＭ及びＡＰＩは、第２の信頼エリア７５１ｂに関連付けられる。これは、このエリアが第２の特権ドメインに関連付けられることを意味する。

ＮＶＭｅスタック及び関連付けられたアプリケーションは、第３の信頼エリア７５１ｃに関連付けられ得る。これは、このエリアが第３の特権ドメインに関連付けられることを意味する。

概して、第２のエリア及び第３のエリアは、第２の信頼ドメイン及び第３の信頼ドメインのうちの一方から第２のドメイン及び第３のドメインのうちの他方にデータをプッシュすることができないように、互いに分離された状態に保たれる。

したがって、いくつかの実施形態では、異なる特権又は信頼のエリア若しくはドメインが、異なるデータフロー及び／又はアプリケーションに提供される。異なる特権又は信頼エリア領域は、１つ以上のモジュールに関連付けられると考えることができる。前述の実施例では、インターフェースは、モジュールによって提供され得る。いくつかの実施形態では、共通インターフェースは、１つ以上のモジュールによって共有され得る。

図１１を参照する。図１１は、第１の信頼エリア（ＡＯＴ）、ＡＯＴ Ａ、及び第２のＡＯＴ、ＡＯＴ Ｂを示す。信頼エリアは、互いに分離されていることを諒解されたい。この実施例では、各信頼エリアは、それ自体のアドレス空間に関連付けられる。これらの信頼エリアの各々は、ＮＩＣ内に提供される。

この実施例では、各信頼エリアに関連付けられたアドレス空間に重複はない。各信頼エリアは、所与の特権レベルに関連付けられ得る。特権レベルは、同じであり得るか、又は異なり得る。メモリなどのハードウェアリソースが信頼エリア間で共有される場合、リソースは、それぞれの信頼シェル又はエリアによってアクセス可能な部分のみがその信頼シェル又はエリアに可視（及びアクセス可能）であるように分割され得る。１つの信頼シェル又はエリア内のハードウェアは、異なる信頼シェル又はエリア内のハードウェア（ワイヤ、ロジックなど）に対する知識又はアクセスを有していない。これは、デバッグ及び／又は診断ツール、及びこのハードウェア並びに信頼エリアの１つ以上のカーネルを生成及びリンクするために使用されるソフトウェアコンパイラに広がり得る。

リソースの使用は、システムポリシーに従って共有される。ＣＰＵでは、例えば、ＭＭＵ（memory management unit、メモリ管理ユニット）が、このメモリ仮想化機能を実行し得る。ＮＩＣでは、アプリケーション及び関連付けられたハードウェアカーネルを動的に創出し得、したがって、単一のハードウェア要素は、全ての可能な信頼エリアの組み合わせを仮想化することができない。

いくつかの実施形態では、アドレス空間が共有されることが可能である。これは、特権を強制するためのリソース固有の保護（共有物理メモリのためのＭＭＵなど）が存在することを必要とする場合がある。

ＮＩＣ内のアドレス空間は、いくつかの実施形態では、ＮＭＣ７２６によって制御され得る。

信頼エリアのアドレス空間は、１つ以上のアクセラレータエンジン、ＮＩＣのプログラマブルロジック、及び／又はローカルメモリを包含し得る。

実行時に、２つの信頼エリア間の通信チャネルが創出される。この通信チャネルは、バス又は同様の通信チャネルであり得る。ほんの一例として、通信チャネルはＡＸＩ－Ｂバスであり得る。バスは、ａとして参照される。

通信チャネルが創出されると、分離回路がセットアップされる。信頼エリアの各々には、前述したようなインターフェースが提供される。ＡＯＴ Ａは、インターフェース、インターフェースＡを有し、ＡＯＴ Ｂは、インターフェース、インターフェースＢを有する。これらのインターフェースの各々には、それぞれの分離回路が提供される。この分離回路は、システムコールハンドラ機能によって提供される機能に類似した機能を提供し得る。例えば、この機能は、データ有効性をチェックし、かつ／又はモジュールがリセット又は除去された場合の予期せぬバストランザクション終了などの下位レベルの問題を扱い得る。分離回路によって提供される機能は、それぞれの信頼エリアに関連付けられた相対的特権に依存する。システムコールハンドラ型機能は、アプリケーションとカーネルとの間の相互作用を効果的に可能にする。１つの信頼ドメイン内の１つのカーネルは、そのカーネルが異なる信頼ドメイン内にある別のカーネルのアドレス空間に対して直接読出し及び書込みを行うことができない。

分離回路がセットアップされると、それぞれのアドレス空間に対応するカーネルロジックがロードされる。これは、ｃとして参照される。このカーネルロジックは、１つ以上のカーネルに関連付けられ得る。分離回路は、信頼エリアのモジュール又はカーネルのうちの具体的な１つに関連付けられ得る。これは、信頼エリアの入口点モジュール及び／又は信頼エリアの出口点モジュールであり得る。

提供される分離回路は、各信頼エリアに関連付けられた相対的特権に依存し得る。これに関して、図１２ａ及び図１２ｂを参照する。

図１２ａでは、ＡＯＴ Ａは、ＡＯＴ Ｂよりも低い特権に関連付けられる。これは、ＡＯＴ ＡがＫＶカーネルを備え、ＡＯＴ ＢがｖＳｗｉｔｃｈ、ＡＥＳカーネル、ＴＣＰカーネル及びＮＶＭｅＯＦカーネルを備える、図１０の実施例に対応する。この場合、制御又はマスタ分離回路は、ＡＯＴ Ｂ内に提供され得る。特に、ＡＯＴ Ａとのインターフェースは、創出された通信チャネルを介してＴＣＰカーネルとなり得る。分離回路は、ＫＶカーネルに向けられるべき特定のフローに関連付けられたデータのみが実際にＫＶカーネルに向けられることを確実にするために提供され得る。分離回路は、ＴＣＰカーネルの出力とバスとの間に設けられ得る。いくつかの実施形態では、分離回路はカーネルに統合され得る。

代替的又は追加的に、分離回路は、ＡＯＴ Ａからの任意の不要なデータフローを破棄させ得る。

いくつかの実施形態では、モジュールが除去／リセットされるときのハードウェアレベルの問題に対処するために、分離回路が各ＡＯＴ内に提供され得る。これは、特権に関係なくいずれかの側で起こる可能性がある。このカーネルの除去又は挿入は、必要に応じていつでも行い得る。言い換えれば、カーネルは、システムの実行中に挿入又は除去され得る。

図１２ｂでは、ＡＯＴ Ａは、ＡＯＴ Ｂと同じ特権に関連付けられる。この場合、ＡＯＴ Ｂ内及びＡＯＴ Ａ内に提供される分離回路は、等しい重みである。ＡＯＴ Ｂ内の分離回路は、カーネルＡに向けられるべき特定のフローに関連付けられたデータのみが実際にカーネルＡに向けられることを確実にするために提供され得る。ＡＯＴ Ａ内の分離回路は、カーネルＢに向けられるべき特定のフローに関連付けられたデータのみが実際にカーネルＢに向けられることを確実にするように提供され得る。

代替的又は追加的に、ＡＯＴ Ｂ内の分離回路は、ＡＯＴ Ａからの任意の不要なデータフローを破棄させ得る。代替的又は追加的に、ＡＯＴ Ａ内の分離回路は、ＡＯＴ Ｂからの任意の不要なデータフローを破棄させ得る。

絶縁回路は、ヘッダビット（例えば、ＩＰソースアドレスビット）などのデータ値を強制して、それらが正しいことを確実にし得る。このデータ値を強制する分離回路は、データ値を出力する信頼エリア内及び／又はデータ値を受信する信頼エリア内にあり得る。

特定の信頼エリアに関連付けられた分離回路は、それぞれの信頼エリアによって受信されたデータを、それぞれの信頼エリアによって使用される形式になるように修正し得る。特定の信頼エリアに関連付けられた分離回路は、それぞれの信頼エリア内でのみ必要とされるデータの部分を除去するように、それぞれの信頼エリアによって出力されるデータを修正し得る。

それぞれの信頼エリアによって使用される分離回路は、それぞれの信頼エリアである、特権ドメイン内でのみ使用されるカプセル化など、データを追加及び／又は除去するように構成され得る。

絶縁回路は、バスプロトコルが適切に順守されることを強制し得る。これは、例えば信頼エリア間のリンク上であり得る。例えば、分離回路は、ＡＸＩトランザクションが、例えば片側がリセット又は除去され、かつ／又は制限（長さ）内である場合に、適切に終了することを確実にし得る。

代替的又は追加的に、分離回路は、クレジットベースのフロー制御及びスケジューラインターフェースが正しく動作することを確実にし得る。具体的な信頼エリアの動作環境によっては、隔離回路による強制は、任意選択的であり得る。

したがって、カーネルがＮＩＣにロードされると、カーネルを他のカーネルに接続する１つ以上のハードウェアリンカ又は通信リンクが提供される。これらのハードウェアリンカは、許可されたネットワークフローに関連付けられたデータのみが受信及び／又は出力され得るようになっている。カーネルのローディングは、１つ以上のハードウェアリソースが、所与のアドレス空間に対してアドレス指定可能であることを可能にする

所与のアプリケーションに関連付けられたアドレス空間は、ＮＩＣによって提供されるアドレス空間を含み得る。異なるアドレス空間は、異なるアプリケーションに関連付けられる。異なる信頼エリアに起因して、１つのアプリケーションが、異なるアプリケーションに関連付けられたリソースにアクセスすることが防止され得る。アドレス空間は、所与のアプリケーションアドレス空間／信頼エリアに対して動的に構築され得る。アドレス空間は、ＣＰＵリソースを含み得る。したがって、信頼エリアは、ＣＰＵ上で実行されるソフトウェアアプリケーションの分離を提供するために使用されるＣＰＵアドレス空間構造の拡張であると考えられ得る。したがって、信頼エリアは、ＣＰＵを含む異なるハードウェアの組み合わせ上で実行されるハードウェアとソフトウェアとのハイブリッドアプリケーションのための分離を提供し得る。

ＡＥＳモジュール及びｖＳｗｉｔｃｈなどのデータプレーンアクセラレータ機能は、ストリーミングカーネルとして論理的に表され得ることを諒解されたい。これらのカーネルは、ＴＣＰカーネルと同じ信頼エリアの一部であると考えられ、同じ信頼エリアにおいて提供される。

ＮＭＣ７２６は、カーネルトポロジを介したカプセルルーティングを定義するＮＩＣ上のソフトウェア定義ネットワークを提供し得る。カプセルは、それぞれのネットワークフローに関連付けられ、カプセルは、関連付けられたネットワークフローに従ってルーティングされる。カプセルは、前述した通りであり得る。

ＮＭＣ７２６は、ＮＩＣハードウェアが異なる信頼エリアによって使用されることを可能にするように構成されている。それぞれの信頼エリアによって使用されるハードウェアは、ファブリック（再構成可能ロジック）、アクセラレータ、ネットワークインターフェース及びＣＰＵ（埋め込み及び／又は外部）のうちの１つ以上を備える。ＮＭＣは、異なる保護ドメイン又は信頼エリアを提供するように構成されている。制御プレーンは、ランタイム機能を含む。このランタイム機能は、図１０に関連して説明したようなカーネルの動的ローディングを制御する。

この実施例では、２つのアプリケーションに共通のＴＣＰモジュールが提供される。他の実施形態では、ＴＣＰモジュールが、各アプリケーションに提供される。

ＡＥＳモジュールは、いくつかの実施形態において省略され得る。他の実施形態では、１つ以上の異なる暗号化モジュールが代わりに使用され得る。

図１０に示されているモジュールは、ほんの一例である。他の実施形態では、１つ以上のモジュールが省略され得る。１つ以上の代替モジュールが提供され得る。異なる信頼ドメインの２つ以上のアプリケーションによって共有される少なくとも１つの共有モジュール、及び／又は同じ信頼ドメインの１つ以上のアプリケーション専用の少なくとも１つの専用モジュールが提供され得る。１つ以上の専用モジュールは、データ経路内の１つ以上の共有モジュールよりもアプリケーションに近い場合がある。

モジュールは、モジュール機能を提供するように構成されているＮＩＣのハードウェアリソースのセットとみなし得る。これは、カーネルを提供するためであり得る。これらのリソースは、ファブリック（再構成可能ロジック）、アクセラレータ、ネットワークインターフェース、及びＣＰＵ（埋め込み及び／又は外部）のうちの１つ以上であり得る。ほんの一例として、モジュールは、プログラマブルロジックによって、又は任意の他の好適なハードウェアによって提供され得る。いくつかの実施形態では、モジュールは、構成可能なハードウェアによって提供され得る。モジュールは、モジュールの必要な機能を提供するためにコンピュータコードを実行するように構成され得る。モジュールは、メモリを備えるか、又はメモリへのアクセスを有し得る。そのメモリは、例えば、コンピュータコードを記憶し得る。

いくつかの実施形態では、専用モジュールは、２つのアプリケーションによって共有され得、その場合、それら２つのアプリケーションは、同じ信頼ドメインを共有する。

共有モジュールは、各信頼ドメインが１つ以上のアプリケーションに関連付けられている、２つ以上の異なる信頼ドメインにサービスを提供し得る。

前述の実施例では、カーネル又はモジュールのうちの１つの１つ以上が、プラグインによってストリーミングサブシステムに提供されるものとして説明されている。他の実施形態では、前述のようなストリーミングサブシステムアーキテクチャが使用されない場合があることを諒解されたい。この後者の実施例では、モジュールは、受信データのためのストリーミング受信経路及び／又は送信データのためのストリーミング送信経路において提供され得る。そのようなストリーミング経路は、前述のエンジンのうちの１つ以上を含み得る。しかしながら、ストリーミング経路がデータを順番に処理するように構築され得るような実施例では、ハブ及びそれらの関連付けられたスケジューラは省略され得る。

他の実施形態では、ＦＰＧＡ（又は他のプログラマブルロジック）は、サービスシナリオをサポートし得る。例えば、１つの信頼エリアは、インフラストラクチャプロバイダのための監視及び課金並びにプライベートネットワーキングを含み得、別の信頼エリアは、全ての他のハードウェアリソースを含み得る。

いくつかの実施形態の方法を示す、図１７を参照する。これは、ネットワークインターフェースデバイス内で実行され得る。

方法は、ステップ１７０１において、第１の信頼エリアと第２の信頼エリアとをリンクすることを含み、第１の信頼エリアは、ネットワークインターフェースデバイスの第１の部分を含み、第１の部分は、第１のカーネルを含み、第２の信頼エリアは、第１の部分とは異なるネットワークインターフェースデバイスの第２の部分を含み、第２の部分は、第２のカーネルを含む。

この方法は、ステップ１７０２において、第１の信頼エリアに関連付けられた分離回路を使用して、第１の信頼エリアと第２の信頼エリアとの間で渡されるデータを制御することを含む。

以下の実施例では、Ｃｅｐｈを参照する。Ｃｅｐｈは、データストレージプラットフォームの実施例である。Ｃｅｐｈはデータストレージプラットフォームの一実施例であり、実施形態は、任意の他の好適なデータストレージ及び／又は管理プラットフォーム又はアプリケーションとともに使用され得ることを諒解されたい。他の実施形態は、代替的に又は追加的に、ＮＶＭｅ又は分散オブジェクトストアアプリケーションを使用し得る。

ストレージ仮想化では、ゲストＯＳが要求を行い得る。この要求は、ｖｉｒｔｉｏ－ｂｌｋ（ブロック）要求であり得る。この要求は、読出し又は書込み要求であり得る。これは、Ｃｅｐｈに対するＳＰＤＫ（storage performance development kit、ストレージ性能開発キット）ＢＤＥＶ（block device、ブロックデバイス）プラグイン、又は他の好適な機能によって扱われ得る。

Ｖｉｒｔｉｏデバイスは、仮想環境において提供されるが、仮想マシンを有するゲストには物理デバイスであるように見える。これは、ゲストＯＳが標準ドライバを使用することを可能にするためである。Ｖｉｒｔｉｏ－ｂｌｋは仮想化されたストレージバックエンドの一実施例であり、他の実施形態ではＶｉｒｔｉｏ－ＳＣＳＩを使用し得る。他の実施形態では、非Ｖｉｒｔｉｏデバイス及び非Ｖｉｒｔｉｏ仮想化ストレージバックエンドが提供され得る。

ＳＰＤＫは、スケーラブルなユーザモードストレージアプリケーションを書くためのツール及びライブラリのセットを提供する。ＳＰＤＫは、必要なドライバの全てをユーザ空間内に移動させ得、これにより、システムコールが回避され、アプリケーションからのゼロコピーアクセスが可能になる。ＳＰＤＫブロックデバイス層であるＢＤＥＶは、従来のカーネルストレージスタック内のデバイスドライバのすぐ上に位置することが多いオペレーティングシステムブロックストレージ層と同等であるように意図されたＣライブラリである。このライブラリは、ブロックストレージデバイスとインターフェースするブロックデバイスを実装するためのプラガブルモジュールＡＰＩを提供し得る。他の実施形態では、ＳＰＤＫの代わりに他のツール及びライブラリを使用し得る。

Ｃｅｐｈ機能は、１つ以上の他のＣｅｐｈノードを使用してネットワークを介して要求をサービスする。これは、ＴＣＰソケットを介してＭＳＧＲプロトコル（これは、メッセージがＣｅｐｈで配信される低レベルプロトコルである）を使用し得る。ホストＴＣＰスタックは、ネットワーク要求を送り、１つ以上のリモートＣｅｐｈノードから応答を受信し得る。Ｃｅｐｈ機能は、応答を処理し、ＳＰＤＫ ＢＤＥＶ要求を完了する。Ｖｉｒｔｉｏ－Ｂｌｋドライバは、例えば、要求が読取り要求であった場合、読取りデータをゲストＯＳに配信し得る。

ＮＩＣによるストレージ仮想化のサポートを示す、図１３及び図１４を参照する。ＮＩＣは、前述した通りであり得る。

いくつかの実施形態は、ＣＰＵ処理能力を超え得るデータレートの扱いを容易にし得る。

いくつかの実施形態は、制御とデータの扱いを分離し得る。データペイロード及びヘッダは、別々に扱われ得る。

いくつかの実施形態では、ペイロードデータは、ＤＤＲなどのメモリに書込まれる。これは、ＮＩＣのメモリであり得るか、又はＮＩＣとは別個であり得る。

制御データの処理（例えばプロトコル処理）はソフトウェアで、データの扱いはハードウェアで行い得る。

いくつかの実施形態では、前述したようなカプセルを使用し得る。

図１３は、ストレージ仮想化をサポートするように構成されているＮＩＣ １０９を示す。ＮＩＣは、少なくとも部分的に前述した通りであり得る。ＮＩＣ １０９は、１つ以上のＭＡＣ層機能１１４を有する。仮想スイッチ機能１０２は、前述したように、ＭＡＣからデータを受信し、かつ／又はＭＡＣにデータを提供するように構成されている。図１０に関連して説明したようなＴＣＰモジュール７６６が、提供され得る。ＴＣＰモジュール７６６は、仮想スイッチ機能１０２からデータを受信し、かつ／又は仮想スイッチ機能にデータを提供し得る。ＴＣＰモジュールは、前述したようにデータを処理し得る。

Ｃｅｐｈモジュール７６８が提供される。

Ｖｉｒｔｉｏ－Ｂｌｋ（ブロック）モジュール７７２が提供される。Ｖｉｒｔｉｏ－Ｂｌｋ ７７２は、ＤＭＡアダプタである。これは、標準ＰＣＩハードウェアパーソナリティを提示し、ＣＰＵ ７５２上のソフトウェアがＮＩＣにＶｉｒｔｉｏコマンドを発行できるように、Ｖｉｒｔｉｏ標準に準拠するＤＭＡリングをサポートする。

Ｃｅｐｈモジュール７６８及びＶｉｒｔｉｏ－Ｂｌｋ７７２について、より詳細に説明する。これらのモジュールは、ハードウェアで実装され得る。これらのモジュールは、いくつかの実施形態において、データプレーンを扱う。これらのモジュールのうちの一方又は他方又は両方は、プラグインとして実装され得る。

ＮＩＣ１０９には、ＤＤＲメモリ７７０又は任意の他の好適なメモリが提供される。

前述したようなホストＣＰＵ ７５２が提供され得る。ホストＣＰＵは、ＤＤＲ ７６２（又は他の好適なメモリ）及び仮想マシン７６４を備え得る。

ＮＩＣ装置又はホストによって提供される第２のＣＰＵ ７５０は、ＤＤＲ ７６０（又は他の好適なメモリ）を備え得る。これは、ＤＤＲ ７７０と同じか、又は異なり得る。これは、図１０に関連して考察した第２のＣＰＵと同じであり得る。

第２のＣＰＵは、Ｃｅｐｈクライアント７５４、ネットワークスタックライブラリ７５６、及びＳＰＤＫライブラリ７５１を備える。ネットワークスタックライブラリ７５６及びＳＰＤＫライブラリ７５１は、ユーザ空間においてＣｅｐｈクライアントとリンクされる。ネットワークスタックライブラリには、Ｃｅｐｈとのソケットインターフェースが提供されている。ＳＰＤＫライブラリには、ＣｅｐｈクライアントとのＢＤＥＶインターフェースが提供されている。

ＳＰＤＫライブラリは、Ｖｉｒｔｉｏ－Ｂｌｋハードウェア７７２を認識し、かつ非ＣＰＵコヒーレントデータ（後で考察するＤＤＲ ７７０に記憶されたペイロード）に対してＤＭＡポインタを使用することができるＶｉｒｔｉｏ－Ｂｌｋソフトウェア機能７５８を含む。

ＴＣＰ及びＶｉｒｔｉｏ－Ｂｌｋ機能のためにホストのオペレーティングシステムカーネルを使用しないほうが、性能上の利点があり得る。

ネットワークスタックライブラリ７５６は、出願人によって提供されるＯｎｌｏａｄネットワークスタックライブラリ、又はユーザ若しくはアプリケーションレベルで動作する任意の他の好適なネットワークスタッククライアントであり得る。Ｏｎｌｏａｄライブラリは、オペレーティングシステムの関与なしに、プロトコル態様をユーザレベルで扱うことを可能にするように、アプリケーションレベルで提供されている。言い換えれば、オペレーティングシステムカーネルバイパスがサポートされる。ネットワークスタックライブラリは、任意の好適なプロトコルをサポートし得る。いくつかの実施形態では、ネットワークスタックは、ＩＰ及び／又は任意の他の好適なプロトコル上でＴＣＰ及び／又はＵＤＰをサポートし得る。図１３及び図１４に示す実施例では、Ｏｎｌｏａｄライブラリは、ＴＣＰ機能７５７をサポートする。

実施例としてＣｅｐｈ読取り応答の扱いを使用する図１３の側面をより詳細に示す、図１４を参照する。図１４では、図４ａのＮＩＣの一部が、第１のエグレスプラグイン７９０及び第２のイングレスプラグイン７９２とともに概略的に示されている。他の実施形態では、図４ｂのＮＩＣを使用し得る。

第１のプラグイン７９０は、ユーザレベルで提供されるネットワークスタックへのインターフェースを提供する。この第１のプラグインは、Ｏｎｌｏａｄ ＴＣＰ ＲＸプラグインであり得る。これは、ＴＣＰモジュール７６６に対応し得る。このプラグインは、エグレスプラグインであり、ハブ２５６からのものである。これは、パケットプロセッサとみなされ得る。

第２のプラグインは、データストレージプラグインであり得る。例えば、第２のプラグインは、Ｃｅｐｈプラグインである。第２のプラグインは、イングレスプラグインであり、ハブ２５８に入力を提供する。このプラグインは、Ｃｅｐｈモジュール７６８に対応し得る。これは、パケットプロセッサとみなされ得る。

データフロー又は接続は、データストレージアプリケーション（この例ではＣｅｐｈ）のためのデータのパケットのストリームを受信し得る。パケットは、ヘッダと、記憶されるデータとを含み得る。この実施例では、データは読取り要求に応答して提供される。ヘッダは、Ｃｅｐｈヘッダ及びＴＣＰヘッダ（又は他のトランスポートプロトコルヘッダ）を含み得る。

データは、ネットワーク受信ポートストリーミングエンジンから第５のハブ２６０によって受信され、第２のハブ２５４を介してＭＡＥ ２４４に向けられる。ＭＡＥ ２４４は、第３のハブ２５６を介してデータを第１のプラグインに向ける。

第１のプラグインは、パケットを処理してＴＣＰヘッダ部分を取得し得る。第１のプラグインはまた、提供されるデータが順序通りであることを確実にする。第１のプラグインは、データストレージプラグイン７９２に順序通りのバイトストリームを提示する。データストレージヘッダは、バイトストリーム内の（ＩＰセグメントの先頭だけでなく）任意の場所に現れ得る。データが順番通りに到着しない場合、データストレージプラグインへの出力には、ネットワークフレーム全体と、データに処理すべきアプリケーションデータが包含されていないという指示と、を含み得る。

第１のプラグイン７９０は、パケットをデータストレージプラグイン７９２に渡す。データ記憶プラグインは、データストレージアプリケーションヘッダとプロトコルヘッダとを分離する。例えば、プロトコルヘッダはＴＣＰヘッダであり得る。データストレージプラグインは、分割されたヘッダをハブ２５８に出力する。第４のハブは、ＴＣＰヘッダをネットワークスタックのＴＣＰヘッダリングに、かつデータストレージアプリケーションヘッダをネットワークスタックのパケットペイロードリングに向ける。データストレージプラグインは、パケットのデータを直接メモリに向ける。データストレージプラグインはまた、ネットワークスタックのパケットペイロードリングへのデータストレージアプリケーションヘッダを有するポインタを提供する。ポインタは、メモリ７７０内のデータの場所を指す。

第２のＣＰＵ上のＯｎｌｏａｄクライアント７５６は、ＴＣＰ状態制御に関連付けられているＴＣＰヘッダリングを有する。これは、ハブ２５８からＴＣＰヘッダを受信する。Ｏｎｌｏａｄクライアントは、Ｃｅｐｈヘッダと、メモリ内のデータの場所へのデータポインタとを管理するために使用されるパケットペイロードリングを有する。また、ＴＣＰ再注入制御を有する再注入リングも存在する。これは、パケットの順番通りでなく、パケットを正しい順序にするために１つ以上のパケットを再注入する必要がある場合に使用される。

ユーザレベルでは、ＣＰＵ ７５０において、ＳＰＤＫはＶｉｒｔｉｏ－Ｂｌｋソフトウェア機能７５８と、Ｃｅｐｈクライアント７５４とインターフェースするＢＤＥＶインターフェースとを提供する。ＢＤＥＶは、Ｃｅｐｈのブロックストレージ構成要素用のライブラリである。Ｃｅｐｈクライアント７５４は、Ｃｅｐｈストレージと通信し得る。Ｃｅｐｈクライアント７５４は、Ｏｎｌｏａｄクライアントによって提供されるソケットインターフェースを介してリモートストレージ又は他のＣｅｐｈノードと通信し得る。いくつかの実施形態では、Ｃｅｐｈアプリケーションは、ブロックストレージ要求を行っているアプリケーションとは異なるオペレーティングシステム内で実行される。Ｃｅｐｈアプリケーションは、ユーザ空間ネットワークスタック、例えば、Ｏｐｅｎ Ｏｎｌｏａｄを介してネットワークにアクセスする。Ｃｅｐｈアプリケーションは、例えばＳＰＤＫによって提供されるユーザ空間ストレージスタックを介して、そのローカルストレージにアクセスする。Ｃｅｐｈアプリケーションのアクセスにより、データはＳＰＤＫを介してＤＭＡによって転送される。

Ｃｅｐｈ読取り応答パケットの処理について説明する。ＢＤＥＶ．ｒｅａｄ ＡＰＩ呼び出しを発行するｖｉｒｔｉｏ－ｂｌｋ７５８ソフトウェアによって受信されるｖｉｒｔｉｏ－ｂｌｋ７７２ハードウェアインターフェースを使用して、ＶＭ ７６４によって生成されるｖｉｒｔｉｏ－ｂｌｋ読取り要求によって、読取り動作が開始されることを諒解されたい。Ｃｅｐｈクライアント７５４は、データを要求するために他のＣｅｐｈノードにネットワークＴＣＰソケット書込みを発行していた。戻りデータ（読取り応答）は、図１４の実施例がピックアップするポイントである。

Ｃｅｐｈ読取り応答パケットは、ネットワーク受信ポートストリーミングエンジンから第５のハブ２６０で受信され、第２のハブ２５４を介してＭＡＥ ２４４に向けられる。データは、前述したようなカプセルによって伝送されることに留意されたい。Ｃｅｐｈ受信応答は、Ｃｅｐｈ読取りデータ、Ｃｅｐｈヘッ、及びＴＣＰヘッダを含む。ＭＡＥ ２４４は、第３のハブ２５６を介して第１のＯｎｌｏａｄプラグイン７９０にデータを向ける。

図１４から分かるように、第１のプラグインは、Ｃｅｐｈ読取り応答を受信する。第１のプラグインは、Ｃｅｐｈ応答のＴＣＰヘッダを処理し得る。

第１のプラグインは、Ｃｅｐｈプラグインに出力を提供する。Ｃｅｐｈプラグインは、Ｃｅｐｈ読取りデータをＤＤＲに直接書込む。出力はまた、Ｃｅｐｈプラグインによってハブ２５８に提供される。この出力は、ＴＣＰヘッダと、Ｃｅｐｈ読取りデータが記憶されているメモリ場所へのポインタを有するＣｅｐｈヘッダ部分とを含む。

ＴＣＰヘッダは、ハブ２５８によって、Ｏｎｌｏａｄネットワークスタック内のＴＣＰパケットペイロードリングに渡される。

ＤＤＲ内のＣｅｐｈデータへのポインタを有するＣｅｐｈヘッダは、Ｏｎｌｏａｄネットワークスタック内のパケットペイロードリングに渡される。いくつかの実施形態では、Ｃｅｐｈヘッダの内容は、Ｏｎｌｏａｄネットワークスタックに対して不透明である。Ｏｎｌｏａｄネットワークは、このＣｅｐｈデータを「アプリケーション」データとして取り扱う。代替的又は追加的に、他のアプリケーションがサポートされ得ることを諒解されたい。

ＣｅｐｈクライアントはＴＣＰソケットを読取り、パケットペイロードリングからポインタを有するＣｅｐｈヘッダであるパケットペイロードリングに記憶されたデータを受信し、ＢＤＥＶインターフェースに応答を提供してＢＤＥＶ読取り呼び出しを完了する。これは、Ｖｉｒｔｉｏ－ｂｌｋ７５８（ブロックプロキシ）への出力をもたらし、これは、データポインタを使用して、読取り応答データがホスト内の仮想マシンに渡されるようにする。Ｖｉｒｔｉｏ－ｂｌｋは、Ｃｅｐｈ読取り応答データのホストメモリへのＤＭＡを引き起こす。ＤＤＲへのポインタが使用され、読取りデータをホストメモリに提供するためにＤＭＡ動作が実行される。Ｃｅｐｈクライアントは、ポインタの性質を認識していない。Ｃｅｐｈクライアントは、ＢＤＥＶインターフェースを介して渡されるポインタを見る。ポインタ上でハードウェアＤＭＡ動作を呼び出すことができるのは、Ｖｉｒｔｉｏ－ｂｌｋ７５８ＳＰＤＫプラグインである。

ネットワークスタックのＴＣＰ状態制御は、ＴＣＰヘッダを使用して、ＳＡＣＫ（selective acknowledgement、選択的肯定応答）又はＡＣＫがＣｅｐｈ読取り応答のソースに返送されるべきかどうかを判定する。ＴＣＰヘッダはシーケンス番号を包含し、これを使用して、どのパケットが受信されたか、及び欠落パケットがあるかどうかを判定することができる。ＳＡＣＫ／ＡＣＫは、ＣｅｐｈピアのＴＣＰスタックに、ＴＣＰデータが再送信される必要があるかどうかを示す。Ｃｅｐｈ（ソフトウェア部分７５４及びプラグイン又はハードウェア部分７６８の両方）は、再送信などを伴う信頼できるバイトストリームがＴＣＰ層において扱われることを確認する。

ＴＣＰ ＳＡＣＫ／ＡＣＫは、第１のハブ２５２に注入される。ＴＣＰ ＳＡＣＫ／ＡＣＫは、ＶＮＩＣ ＴＸエンジン２４０に渡される。ＶＮＩＣ ＴＸエンジンから、ＴＣＰ ＳＡＣＫ／ＡＣＫは、第２のハブ２５４を介してＭＡＥ２４４に渡される。ＴＣＰ ＳＡＣＫ／ＡＣＫは、第３のハブ２５６に渡され、ネットワーク上に出力するためにネットワーク送信ポートストリーミングエンジン２０８に出力される。

ＴＣＰ ＳＡＣＫ／ＡＣＫは、ネットワーク上に送信するのに好適な形式になるように、ストリーミングサブシステムを通過する際に処理され得ることを諒解されたい。

ＴＣＰ再注入リングは、ＴＣＰパケットの再注入を制御するために提供され得る。これは、ＴＣＰパケットフローの順序を再確立するためであり得る。ＴＣＰパケットシーケンス番号は、１つ以上のパケットの並び替えが必要かどうかを判定するために使用される。ＴＣＰ再注入リングは、Ｃｅｐｈプラグイン及びハブ２５８を介して第１のプラグインから再注入されるべき１つ以上のパケットの指示を受信し得る。ＴＣＰ再注入リングは、Ｃｅｐｈプラグインが、ネットワーク再送信又は順不同データ受信に続いて、アプリケーションデータのハードウェア処理を再開することを可能にし得る。

再注入されるべきＴＣＰパケットは、そのＴＣＰヘッダがＴＣＰパケットヘッダリングから除去され、そのＣｅｐｈヘッダがパケットペイロードリングから除去される。

再注入されたＴＣＰパケットは、第１のハブ２５２に提供され、ＶＮＩＣ ＴＸエンジン２４０に渡され、第２のハブ２５４を介してＭＡＥ ２４４に向けられる。再注入されたパケットは、次いで、ハブ２５６を介して第１のプラグインに渡される。

例外経路データの全てがソフトウェアに送られるので、再注入されたパケットは、ネットワークから受信されたかのようにＣｅｐｈプラグインが処理する全てのペイロードデータを包含する。データがローカルＤＤＲに記憶されるのはこのポイントのみである。第１のプラグ及び第２のプラグは、ＴＣＰヘッダがパケットヘッダリングに渡され、再注入されたパケットのデータポインタを有するＣｅｐｈヘッダがパケットペイロードリングに追加されるように、再注入されたパケットを処理する。

代替的に、Ｃｅｐｈプラグインは、順不同データに対しても例外経路データの全てをＤＤＲに記憶させる。この実施形態では、再注入されたパケットは、ＴＣＰヘッダと、ＤＤＲへのポインタを有するＣｅｐｈヘッダとを含み得る。再注入されたパケットは、ＤＤＲに記憶されたデータを含まない場合がある。再注入されるパケットは、パケットが再注入されたパケットであるという指示を含み得る。

別の実施形態では、ＴＣＰスタック（又は他のトランスポートプロトコル処理スタック）は、ハードウェアで完全に実装され得る。このスタックは、再送信を含む全てのプロトコル動作を実行し得る。この実施例では、Ｏｎｌｏａｄソフトウェアは省略され得る。Ｃｅｐｈプラグイン７９２は、ＤＤＲ ７７０内のデータの場所へのデータポインタをソフトウェア内のＣｅｐｈクライアント７５４に直接配信し得る。

したがって、いくつかの実施形態では、データプレーンハードウェアが、リアセンブリ動作を実行し、データからのヘッダを解析する。いくつかの実施形態では、このデータプレーンハードウェアは、ストリーミングサブシステムへの１つ以上のプラグインによって提供され得る。いくつかの実施形態では、データは、ハードウェアプラグインのローカルのバッファに保持され得る。

いくつかの実施形態は、キュー対を介してヘッダをソフトウェアに配信させ得る。これらのヘッダは、カプセル内のデータの制御プレーン部分を含む。ソフトウェアは、制御プレーン機能を実行するために使用され得る。ソフトウェアは、プロトコル処理を扱い得る。例えば、ソフトウェアは、ＴＣＰプロトコル処理を提供し得る。これは、再送信プロセスを扱うことを含み得る。

いくつかの実施形態は、ストレージ仮想化を提供し得る。

いくつかの実施形態は、ヘッダ情報のみが埋め込みＣＰＵによって処理されるように、ホストにおいてブロックストレージ読取り／書込みコマンドを仮想化し得る。

図示の実施例では、プラグインが使用されている。異なるストリーミングサブシステム構造が、Ｏｎｌｏａｄハードウェア及びＣｅｐｈハードウェアのためのプラグインを使用することなく、データフロー内にＯｎｌｏａｄハードウェア及びＣｅｐｈハードウェアを含めて使用され得ることを諒解されたい。

この実施例では、Ｃｅｐｈ、Ｏｎｌｏａｄ及びＳＰＤＫが使用される。これらはほんの一例であり、他の実施形態は任意の他の好適なコンピュータプログラムを使用し得る。

ネットワークインターフェースデバイスによって実行される方法を示す、図１５を参照する。

１５０１では、本方法は、各々がヘッダ部及び記憶されるデータを含む複数のデータパケットを含むストレージ応答を受信することを含み、前述のヘッダ部は、トランスポートプロトコルヘッダと、データストレージアプリケーションヘッダとを含む。

１５０２では、本方法は、受信した複数のトランスポートプロトコル処理済みパケットをトランスポートプロトコル処理することを含む。

１５０３では、本方法は、トランスポートプロトコル処理されたパケットを処理して、記憶されるべきデータをネットワークインターフェースデバイス内のメモリに書込むことと、データストレージアプリケーションヘッダ及び記憶されるべきデータが書込まれたメモリ内の場所に対するポインタを含む出力を提供することと、を含む。

態様及び特徴は、場合によっては個々の図に記載されていることもあるが、組み合わせが明示的に示されていなくても、又は組み合わせとして明示的に記載されていなくても、１つの図からの特徴を別の図の特徴と組み合わせることができることが諒解されよう。

本明細書で提供される本発明の装置の説明は、例解を目的とするものであり、網羅的であること、又は開示される形態及び実施例に限定されることを意図するものではない。本明細書で使用される用語は、本発明の装置の原理、実際の適用又は市場で見出される技術に対する技術的改善を説明するため、及び／又は本明細書で開示される本発明の装置を当業者が理解することを可能にするために選択された。変形例及びバリエーションは、記載された発明の装置の範囲及び趣旨から逸脱することなく、当業者には明らかであり得る。したがって、そのような特徴及び実装形態の範囲を示すものとして、前述の開示ではなく、以下の特許請求の範囲が参照されるべきである。

Claims (15)

1. ネットワークインターフェースデバイスであって、
   第１のデータ処理エンジン及びハブを備えるデータ処理経路と、
   前記ハブのうちの第１のハブに関連付けられ、前記第１のハブによる前記第１のデータ処理エンジンへのデータの出力を制御する第１のスケジューラと、
   前記ハブのうちの第２のハブに関連付けられ、前記第２のハブによるデータの出力を制御する第２のスケジューラと、を備え、
   前記第１のハブが、前記データ処理経路上に、前記第１のデータ処理エンジンの上流に配置されており、第１の上流データ経路エンティティから、かつ前記第１のハブのデータイングレスインターフェースを介してプログラマブル回路内に実装された第１のデータ処理エンティティからデータを受信するように構成されており、前記第１のデータ処理エンジンが、前記第１のハブから前記出力データを受信し、前記出力データを処理し、処理された前記データを前記第１のデータ処理エンジンの下流に配置された前記第２のハブに出力するように構成されている、ネットワークインターフェースデバイス。
2. 前記第１のデータ処理エンジン又は前記ハブのうちの少なくとも１つが、強化されたロジックによって実装される、請求項１に記載のネットワークインターフェースデバイス。
3. 前記第１の上流データ経路エンティティが、上流データ処理エンジン、上流データハブ、ホストコンピューティングデバイスからデータを受信するように構成されたインターフェース、又はネットワークからデータを受信するように構成されたインターフェースのうちの少なくとも１つ以上を含む、請求項１に記載のネットワークインターフェースデバイス。
4. 前記第１のハブが、プログラマブル回路に実装された第２のデータ処理エンティティにデータを出力するように構成可能なデータエグレスインターフェースを有し、前記第２のハブが、プログラマブル回路に実装された第３のデータ処理エンティティからデータを受信するように構成可能なデータイングレスインターフェース、及びプログラマブル回路に実装された第４のデータ処理エンティティにデータを出力するように構成可能なデータエグレスインターフェースを有する、請求項１に記載のネットワークインターフェースデバイス。
5. 前記第２及び第３のデータ処理エンティティが、同じデータ処理エンティティであり、前記第１のデータ処理エンジンが、その同じデータ処理エンティティを使用してバイパスされるように構成されている、請求項４に記載のネットワークインターフェースデバイス。
6. 前記第２のハブが、前記第２のハブの前記データエグレスインターフェースを介して前記第４のデータ処理エンティティにデータを出力するように構成されており、前記データが、前記第４のデータ処理エンティティによって終結される、請求項４に記載のネットワークインターフェースデバイス。
7. 前記第２のハブが、前記データ処理経路の残りの部分をバイパスするために、前記第２のハブのデータエグレスインターフェースを介してデータを出力するように構成されている、請求項４に記載のネットワークインターフェースデバイス。
8. 前記ハブのうちの第３のハブを備え、前記第３のハブが、上流データ経路エンティティからではなく、前記第３のハブのデータイングレスインターフェースを介して、プログラマブル回路に実装された第５のデータ処理エンティティからデータを受信するように構成されている、請求項１に記載のネットワークインターフェースデバイス。
9. 前記第１のハブが、前記第１の上流データ経路エンティティからのデータ、及び第２の上流データ経路エンティティからのデータを受信するように構成されており、前記第１のデータ処理エンジンが、前記データ処理経路の第２のデータ処理エンジンと比較してより高いデータレートで動作するように構成されている、請求項１に記載のネットワークインターフェースデバイス。
10. 前記第１のハブが、前記ハブのうちの第３のハブと並列に配置されており、前記第１のデータ処理エンジンが、第２のデータ処理エンジンと並列に配置されており、前記第３のハブが、出力を前記第２のデータ処理エンジンに提供するように配置されている、請求項１に記載のネットワークインターフェースデバイス。
11. 並列に配置された前記第１及び第２のデータ処理エンジンが、それぞれの出力を前記第２のハブに提供するように構成されている、請求項１１に記載のネットワークインターフェースデバイス。
12. 前記第１のデータ処理エンジンが、
    ネットワークから受信されたデータを処理するための受信ストリーミングエンジン、ホストコンピューティングデバイスからのデータを処理するための送信処理エンジン、マッチアクションエンジン、バスフォーマット変換のためのネットワーク受信ポートエンジン、又はバスフォーマット変換のためのネットワーク送信ポートエンジンのうちの１つを含む、請求項１に記載のネットワークインターフェースデバイス。
13. 前記第１のハブが、データストレージリソースを備え、前記第１のスケジューラが、前記データストレージリソースを管理するように構成されており、
    前記データストレージリソースが、前記第１の上流データ経路エンティティからのデータ、及び前記第１のデータ処理エンティティからのデータを記憶するように構成されている、請求項１に記載のネットワークインターフェースデバイス。
14. 前記第１のスケジューラが、出力されるデータの量を示す、前記第１のハブからの第１の情報であって、前記データが、１つ以上の異なるデータフローに関連付けられている、第１の情報と、データを受信するために利用可能な空間の量を示す、前記第２のハブからの第２の情報と、を受信するように構成されており、前記第１のスケジューラが、前記第１及び第２の情報に基づいて、どの１つ以上のデータフローが前記第１のハブによって出力されるかを判定するように構成されている、請求項１に記載のネットワークインターフェースデバイス。
15. 前記第１のスケジューラが、サービス品質情報を使用して、データの前記出力をスケジュールするように構成されている、請求項１に記載のネットワークインターフェースデバイス。

Images