JP2023545380A - ＰＣＩｅデバイスのための仮想ホットプラグシステム及び方法 - Google Patents

Abstract

ＰＣＩｅ統合エンドポイントにおける物理機能のプールを管理するための方法は、ＰＣＩｅ接続の統合エンドポイント（ＩＥ）のためのトポロジを示す構成命令を受信することと、ＩＥ上にトポロジを実装することと、を含む。この方法は、ホットプラグ命令を受信することと、ホットプラグ命令に少なくとも部分的に基づいて、仮想エンドポイント（ｖＥＰ）を、ＩＥ上の仮想ダウンストリームポート（ｖＤＳＰ）に追加するか又は該ｖＤＳＰから除去することと、を更に含む。【選択図】図３

Description

本発明の実施形態は、概して、ＰＣＩｅデバイスの追加及び除去に関し、特に、ＰＣＩｅデバイスをホットアド又はホットリムーブするための仮想プラグシステム及び方法に関する。

Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ（ＰＣＩｅ）アーキテクチャは、ケーブル、アドインカード、及びモジュールのホットアド及びホットリムーブ（「ホットプラグ」）の両方をネイティブにサポートするように設計されている。ＰＣＩｅホットプラグサポートは、自己無撞着インフラストラクチャを使用して異なるユーザ／オペレータモデルがサポートされることを可能にする機構の「ツールボックス」を提供する。

現代のデータセンタアプリケーションにおいて、適応性は、特に入力／出力（ＩＯ）側において重要である。例えば、リンクを介してデータセンタに接続されるＳｍａｒｔＮｌＣ又はＳｍａｒｔＳＳＤを使用するとき、ＰＣＩｅリンクを介して接続する従来の方法は、ホットプラグ機構を使用するＰＣＩｅスイッチを介するものである。この方法では、ホットプラグ機構がＰＣＩｅスイッチのダウンストリームポートに組み込まれて、１つ以上の物理機能を有するデバイスのホットアド又はホットリムーブのいずれかを行う。上述したＳｍａｒｔＮＩＣの例は、システムＣＰＵが通常処理する処理タスクをオフロードするネットワークインターフェースカードであることに留意されたい。ｓｍａｒｔＮＩＣは、それ自体のオンボードプロセッサを使用して、暗号化／復号、ファイアウォール、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、及びハイパーテキスト転送プロトコル（ＨＴＴＰ）処理の任意の組合せを実行することが可能であり得る。

従来、ＰＣＩｅトポロジに従い、実際のＰＣＩｅスイッチは、データセンタホストとＰＣＩｅデバイスとの間に物理的に配置され、そのため、シリコン設計並びにボード設計の両方にコストが追加される。更に、従来のアプローチはまた、ホストに接続されるデバイスを物理的に追加又は除去するために、例えば、アテンションボタンなどのオンサイトアクションを必要とする。現代の接続環境では、所与のデータセンタ（ホストがある）が、企業のオペレーションセンタがあるマネージャサイトから遠く離れている場合があるので、これは単純に実現可能ではない。したがって、ＰＣＩｅリンクされたデバイスのリモート構成のための機構が必要とされる。

加えて、より多くのアクセラレータに対してより多くの物理機能をホストすることができるＦＰＧＡの能力増加により、ＰＣＩｅスイッチダウンストリームポートに接続するＰＣＩｅデバイスなどのホットプラグ機構との固定された関係を事前に割り当てることなく、単一の物理機能又は物理機能のグループを追加又は除去するための動的割り当ても望まれる。

必要とされるのは、従来のＰＣＩｅホットプラグ機構の制約を克服するためのシステム及び関連する方法である。

ＰＣＩｅ物理機能（physical function、「ＰＦ」）を仮想的にホットアド又はホットリムーブするための方法が本明細書で説明される。ＰＣＩｅ統合エンドポイントシステムも本明細書で説明される。一実施例では、ＰＣＩｅ統合エンドポイントにおける物理機能のプールを管理するための方法は、ＰＣＩｅ接続の統合エンドポイント（integrated endpoint、ＩＥ）上のトポロジを示す構成命令を受信することと、ＩＥ上にトポロジを実装することと、ホットプラグ命令を受信することと、を含む。本方法は、ホットプラグ命令に少なくとも部分的に基づいて、少なくとも１つの仮想エンドポイント（virtual endpoint、ｖＥＰ）を、ＩＥ上の仮想ダウンストリームポート（virtual downstream port、ｖＤＳＰ）に追加すること、又は該ｖＤＳＰから除去することを更に含む。

別の例では、ＰＣＩｅ統合エンドポイントシステムは、物理機能のプールを有するＰＣＩｅ接続のＩＥと、仮想ホットプラグコントローラ（virtual hot plug controller、「ＶＨＰＣ」）とを含む。ＶＨＰＣは、ＩＥ上のトポロジを示す構成命令を受信し、ＩＥ上にトポロジを実装するように構成される。ＶＨＰＣは、ホットプラグ命令を受信し、ホットプラグ命令に応答して、仮想エンドポイント（ｖＥＰ）をＩＥ上の仮想ダウンストリームポート（ｖＤＳＰ）に追加するか又は該ｖＤＳＰから除去し、トポロジに関してホストに通知するために少なくとも１つのＰＣＩｅ割込みを開始するように、更に構成される。

開示される技術はまた、以下の非限定的な実施例のうちの１つ以上で説明され得る。開示された技術の他の実施例及び更なる実施例が、本開示の教示から逸脱することなく考案され得る。

実施例１．ＰＣＩｅ統合エンドポイントにおける物理機能（「ＰＦ」）のプールを管理するための方法であって、ＰＣＩｅ接続の統合エンドポイント（ＩＥ）のためのトポロジを示す構成命令を受信することと、ＩＥ上にトポロジを実装することと、ホットプラグ命令を受信することと、ホットプラグ命令に少なくとも部分的に基づいて、仮想エンドポイント（ｖＥＰ）をＩＥ上の仮想ダウンストリームポート（ｖＤＳＰ）に追加するか又は該ｖＤＳＰから除去することと、を含む、方法。

実施例２．ホットプラグ命令に基づいて、１つ以上のＰＦをｖＥＰに追加すること、１つ以上のＰＦをｖＥＰから除去すること、又はＰＦをｖＥＰに追加することと、ｖＥＰから除去することとの任意の組合せのうちの少なくとも１つを更に含む、実施例１に記載の方法。

実施例３．構成命令及びホットプラグ命令は、リモート管理エージェントから受信される、実施例１に記載の方法。

実施例４．ステータス変更に関して接続されたホストに通知するために、少なくとも１つのＰＣＩｅ割込みを開始することと、ＰＣＩｅ割込みに応答して、ホストから構成要求を受信することと、を更に含む、実施例１に記載の方法。

実施例５．少なくとも１つのＰＣＩｅ割込みを開始することは、ＭＳＩ又はＭＳＩ－Ｘ割込みのうちの少なくとも１つをホストに送信して、デバイスドライバをバインドし、エンドポイント及びその割り当てられたＰＦをホットアドするためにリソースを割り当てること、又は、デバイスドライバをバインド解除し、エンドポイント及びその割り当てられたＰＦをホットリムーブするためにリソースを解放することの少なくとも１つを行うことを更に含む、実施例４に記載の方法。

実施例６．ＰＣＩｅ ＩＥは、ＰＣＩｅ統合エンドポイントシステムに提供され、ホストは、ＰＣＩｅリンクを介してＰＣＩｅ統合エンドポイントシステムに結合される、実施例１に記載の方法。

実施例７．ホスト及びＰＣＩｅ統合エンドポイントシステムは、いずれもデータセンタ内に位置する、実施例６に記載の方法。

実施例８．ＰＣＩｅ統合エンドポイントシステムは、フィールドプログラマブルゲートアレイ（field programmable gate array、「ＦＰＧＡ」）に実装される、実施例６に記載の方法。

実施例９．トポロジは、ＩＥに割り当てる仮想ダウンストリームポート（ｖＤＳＰ）の数Ｋを指定し、それぞれのｖＤＳＰは、関連付けられたｖＥＰを有する、実施例１に記載の方法。

実施例１０．それぞれのｖＥＰは、仮想ダウンストリームポートに結合される、実施例９に記載の方法。

実施例１１．トポロジを実装することは、ＰＦをｖＥＰのそれぞれにグループ化することを更に含む、実施例９に記載の方法。

実施例１２．ＩＥをＫ個のｖＤＳＰに分割するトポロジを実装することを更に含む、実施例９に記載の方法。

実施例１３．
ＰＦのプールを有するＰＣＩｅ接続の統合エンドポイント（「ＩＥ」）と、
仮想ホットプラグコントローラ（「ＶＨＰＣ」）と、を備えるＰＣＩｅ統合エンドポイントシステムであって、
ＶＨＰＣは、ＩＥのためのトポロジを示す構成命令をリモートマネージャから受信し、
ＩＥ上にトポロジを実装し、
リモートマネージャからホットプラグ命令を受信し、
ホットプラグ命令に基づいて、少なくとも１つのｖＥＰをＩＥのｖＤＳＰに追加するか又は該ｖＤＳＰから除去するように構成されている、ＰＣＩｅ統合エンドポイントシステム。

実施例１４．ＶＨＰＣ及びホストに結合され、少なくとも１つのＰＣＩｅ割込みをホストに通信するように構成されたＰＣＩｅアップストリームポートを更に備える、実施例１３に記載のシステム。

実施例１５．ＶＨＰＣは、リモート管理エージェントから構成命令を受信する、実施例１３に記載のシステム。

実施例１６．ＶＨＰＣは、構成命令及びホットプラグ命令を受信するように構成された入力インターフェースと、構成命令に少なくとも部分的に基づいてＩＥのためのトポロジを生成するように構成されたＰＣＩｅトポロジマッパと、を含む、実施例１３に記載のシステム。

実施例１７．トポロジは、ｖＤＳＰ及び対応するｖＥＰのセットを含み、それぞれのｖＥＰは１つ以上のＰＦを有する、実施例１３に記載のシステム。

実施例１８．トポロジは、ｖＥＰのセットにそれぞれ対応し、ｖＥＰのセットに結合された仮想ダウンストリームポートのセットを更に含む、実施例１７に記載のシステム。

実施例１９．ＶＨＰＣは、構成命令をトポロジにマッピングするように構成されたＰＣＩｅトポロジマッパと、実装されたトポロジに関して、又はホットプラグ命令の結果としてトポロジ内の任意のｖＥＰ接続性変化に関して、ＰＣＩｅ接続のホストに通知するために、少なくとも１つのＰＣＩｅ割込みを生成するように構成されたＰＣＩｅ割込みジェネレータと、を更に含む、実施例１３に記載のシステム。

実施例２０．ＶＨＰＣは、ｖＥＰからｖＤＳＰへの接続の改訂されたセットに関して接続されたホストに通知するために、少なくとも１つのＰＣＩｅ割込みを開始し、ＰＣＩｅ割込みに応答してホストから構成要求を受信するように更に構成されている、実施例１９に記載のシステム。

様々な特徴が、図面を参照して以下に説明される。図面は縮尺通りに描かれている場合も描かれていない場合もあり、同様の構造又は機能の要素は図面全体を通して同様の参照番号によって表されていることに留意されたい。図面は、特徴の説明を容易にすることのみを意図していることに留意されたい。それらは、「特許請求の範囲」に記載された発明の網羅的な説明として又は「特許請求の範囲」に記載された発明の範囲を限定するものとして意図されていない。加えて、図示された実施例は、示されたすべての態様又は利点を有する必要はない。特定の実施例に関連して説明される態様又は利点は、必ずしもその実施例に限定されず、そのように図示されていなくても、又はそのように明示的に説明されていなくても、任意の他の実施例において実施され得る。
一実施例による、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）において提供される例示的なシステムを示す。 一実施例による、「ファームウェア介入」方法を示す代替の例示的なＦＰＧＡ実装形態を示す。 一実施例による、ＰＣＩｅ物理機能を仮想的にホットアド又はホットリムーブするための方法のフロー図である。 本明細書で説明される例示的なシステムが採用され得る、ＦＰＧＡの例示的なアーキテクチャを示す。

理解を容易にするために、可能な場合には、図面に共通する同一の要素を示すために同一の参照番号が使用されている。一実施形態の要素は、他の実施形態に有益に組み込まれ得ることが企図される。

１つ以上の実施例では、ＰＣＩｅホットプラグ制限は、仮想ホットプラグコントローラを使用して、ＰＣＩｅ統合エンドポイントにおける物理機能のプールを管理することによって解決される。１つ以上の実施例では、仮想ホットプラグコントローラは、実際のスイッチを必要とせずに、リモート構成、動的割り当て、及びＰＣＩｅ準拠を提供する。結果として、ホスト側に必要な変更はなく、したがって追加コストはない。

１つ以上の実施例では、仮想ＰＣＩｅホットプラグコントローラは、物理スイッチを伴わないネイティブＰＣＩｅホットプラグ機構を介するデバイスとして、単一のＰＣＩｅ物理機能又はＰＣＩｅ物理機能のグループのいずれかを仮想的にホットアド又はホットリムーブし得る。１つ以上の実施例では、ＦＰＧＡソフトロジック及び／又はソフトウェア介入を使用して、リモート構成、動的割り当て、及びＰＣＩｅ準拠が提供され得る。

したがって、拡張されたハードウェア能力により、複数の仮想デバイスが単一の物理カード上に提供され、したがって、それぞれがそれ自体のＰＣＩｅスイッチを有しない１つ以上の実施例では、仮想ホットプラグコントローラは、物理カード上のそれらの仮想デバイスのいずれかに対するホットプラグ機能をエミュレートする。いくつかの実施例では、デバイスは、ＩＥ外の単一のＦＰＧＡカード上のソフトロジックによって作製された仮想カードであってもよい。１つ以上の実施例では、それぞれの仮想デバイスは、それ自体のデータムーバー、処理エンジンなどを有するかのように動作する。それぞれの仮想デバイスは、ホスト上のデバイスドライバに結合され、該デバイスドライバによって管理され得るように、ＩＥによって提供される物理機能に関連付けられる。

１つ以上の実施例は、ユーザにとって所望され得る複数のデバイスを構築するのに十分なソフトロジックを有する任意のＦＰＧＡカード上に実装され得る。したがって、１つ以上の実施例では、同じカードを使用してトポロジを変更する能力が提供される。更に、これらの変更はリモートで行われてもよい。変更を指定する人が物理的にデータセンタに行ってＰＣＩｅスイッチ又はカードを追加又は除去する必要がないため、明らかな理由から、この手法はより高速である。

図１は、一実施例による、ＦＰＧＡ内に提供された例示的なＰＣＩｅ統合エンドポイントシステム（integrated endpoint system、「ＩＥＳ」）１１０を示す。１つ以上の実施例では、ＰＣＩｅ統合エンドポイントシステムは、物理機能のプール１５２を動的に管理し、物理機能（ＰＦ）のプールが割り当てられる仮想デバイスのセットにわたる、ＰＦのいずれかのホットリムーブ又はホットアドを容易にする。図１を参照すると、例示的なＰＣＩｅ ＩＥＳ １１０は、３つのメインブロックを有する。これらは、ＰＣＩｅアップストリームポート１２０と、１つ以上のＰＣＩｅダウンストリームポートとして実装される仮想ホットプラグコントローラ（「ＶＨＰＣ」）１３０と、統合エンドポイント（「ＩＥ」）１５０と、を含む。

１つ以上の例において、ＰＣＩｅアップストリームポート１２０は、例えばＰＣＩｅリンク１０１などのＰＣＩｅリンクを介してホスト１０５と接続するために使用される。ホスト１０５は、例えば、データセンタ内の任意のＣＰＵであってもよい。一般に、ＰＣＩｅ ＩＥＳ １１０は、物理機能（「ＰＦ」）のプールを物理的に実装する単一の物理ボックス又はカードとして理解され得る。しかしながら、必要に応じて、複数の仮想ＰＣＩｅデバイスにわたってそれらのＰＦのすべてを割り振てることができる。１つ以上の実施例では、ＶＨＰＣ １３０は、ホスト１０５がＰＣＩｅ ＩＥＳ １１０上の仮想デバイスのいずれかを、その仮想デバイスがフルホットプラグ機能を有する本格的な独立型ＰＣＩｅデバイスであるかのように扱うように、ホスト１０５に情報を提供するロジックを含む。これは、従来のように物理的なスイッチがない場合でも同様である。

１つ以上の実施例では、ＶＨＰＣ １３０内のロジックによってホスト１０５に提供される情報は、カードをスロットに挿入することによって、又は例えば、カードを物理スロットから除去することによって、デバイスがＰＣＩｅリンクにホットアドされるか又はＰＣＩｅリンクからホットリムーブされるかのいずれかのときに、従来通りにホストに送信されるタイプのものである。以下で説明するように、１つ以上の実施例では、ＰＦが仮想ダウンストリームポートに仮想的に追加されるか、又は仮想ダウンストリームポートから仮想的に除去され、実際の物理カードが物理スロットに挿入されないか、又は物理スロットから除去されない場合、物理的なホットアド又はホットリムーブのイベントをエミュレートするために、ＶＨＰＣは、ホストが見る必要がある必須情報を供給する。１つ以上の実施例では、この情報は、仕様に定義されたＰＣＩ／ＰＣＩｅ能力を含む。本説明に関連する重要な能力は、ホットアドデバイスが必要とするＰＦの数及びアドレス空間の数である。このフローは、「デバイス検出」又は「バス列挙」として知られている。

１つ以上の実施例では、仮想ホットプラグコントローラ１３０は、示されるように、それ自体が３つのサブブロックを有してもよい。これらは、例えば、仮想ホットプラグハンドラ１３９、ＰＣＩｅトポロジマッパ１３２、及びＰＣＩｅ割込みジェネレータ１３４を含む。仮想ホットプラグハンドラ１３９は、例えばリモート管理エージェント１０３からリモートでホットプラグ構成を受信する。リモート管理エージェント１０３は、ホスト１０５及びＩＥＳ １１０の両方が物理的に位置するデータセンタから離れた場所にある。リモート管理エージェント１０３は、例えば、イーサネット接続を介してＰＣＩｅ統合エンドポイントシステム１１０に結合されてもよい。

引き続き図１を参照すると、１つ以上の実施例では、リモート管理エージェント１０３によって送信されるホットプラグ構成命令は、例えば、「ａｄｄ Ｐｈｙｓｉｃａｌ Ｆｕｎｃｔｉｏｎ ＃３－６」、又は例えば、「ｒｅｍｏｖｅ Ｐｈｙｓｉｃａｌ Ｆｕｎｃｔｉｏｎ ＃２１－２３」などであり得る。１つ以上の実施例では、リモート管理エージェント１０３は、ｖＤＳＰ及びｖＥＰを「見る」ことができ、又は「見る」ことができず、後者の場合、単に１つの統合ＩＥＳカードを見て、ＰＣＩｅトポロジマッパ１３２にｖＥＰを生成させ、それらの間でＰＦを配分させる。どちらの手法がとられるかは、所与の実装形態を処理するトポロジをカード上でどの程度処理する必要があるかによって異なる。一般に、トポロジマッパがより近くかつより高速であることを前提として、トポロジマッパに様々な仮想エンティティを生成及び配分させ、リモート管理エージェントにより高レベルの命令を提供させることが、多くの場合好まれる。しかしながら、完全性を期すために、１つ以上の実施例では、両方の手法が可能である。

構成命令を受信すると、ＶＨＰＣ １３０は、ＰＣＩｅトポロジマッパ１３２を構成し、ＰＣＩｅ割込みジェネレータ１３４を介してＰＣＩｅ割込みをトリガして、ホットプラグアクションについてホスト１０５に通知する。ここで、トポロジ（例えば、ＩＥ上にいくつのｖＤＳＰを提供するか）は、リセット中に定義され、次のリセットまで固定されたままであると予想されることに留意されたい。トポロジマッパ１３２は、予め定義されたトポロジに基づいて、リモート管理エージェント１０３から受信したホットプラグ命令に基づいて、１つ以上のｖＥＰ及びそれらのそれぞれのＰＦを１つ以上のｖＤＳＰに追加／除去する。

１つ以上の実施例では、ＰＣＩｅトポロジマッパ１３２は、ＰＣＩｅホスト１０５からの構成要求に応答することによって、現在のトポロジに関してホスト１０５に通知する。ＰＣＩｅホスト１０５は、例えばアドレス空間などのリソースを配置し得るように、トポロジを知る必要があることに留意されたい。また、本明細書で説明される実施例では、すべての構成要求がホストによって送信され、すべてがＰＣＩｅ定義の構成要求であることにも留意されたい。

１つ以上の実施例では、ＩＥＳ １１０は、最初にホストから「ＰＣＩ Ｅｘｐｒｅｓｓ Ｃａｐａｂｉｌｉｔｉｅｓ Ｒｅｇｉｓｔｅｒ」のデバイス／ポートタイプフィールドへの構成読み出し要求に応答することによって、ホスト１０５によってスイッチ（ＵＳＰ）として見られる。その結果、ホスト１０５は、より多くの構成読み出し要求を送信することによって、ダウンストリームポート及びデバイスを列挙し続ける。

引き続き図１を更に参照すると、ＰＣＩｅトポロジマッパ１３２は、受信された構成命令に応答して、物理機能のプール１５２内の様々なＰＦを、トポロジ内の様々な仮想エンドポイント（「ｖＥＰ」）の間で分配し、それぞれのｖＥＰは、トポロジの対応するｖＤＳＰに関連付けられる。したがって、特定のトポロジにおけるｖＥＰのそれぞれのセットの間にＰＦのマッピング１８９が存在する。２つのそのような例示的なトポロジが図１に示されており、これらの例示的なトポロジは、物理機能のプール１５２内に合計Ｎ個のＰＦがあると仮定する。第１のトポロジであるトポロジ１ １８０は、Ｎ個の物理機能すべてを所有する単一のｖＥＰを有する、全体的な「中心性」の１つの極端な事例を示す。単一のｖＥＰ １８０Ｂは、単一の仮想ダウンストリームポート（「ｖＤＳＰ」）１８０Ａに接続される。他方の極端では、トポロジＮ １８５は、ｖＥＰごとに１つのＰＦ、したがってＮ個のｖＥＰ １８５Ｂの事例を示し、それぞれのｖＥＰは、Ｎ個のｖＤＳＰの対応するそれぞれのｖＤＳＰ １８５Ａに接続されている。示されるように、トポロジＮ １８５は、最大限の「機能の分散」手法を実装している。１つ以上の実施例では、トポロジは、これらの両極端の間の任意のものであり得る。

ＰＣＩｅトポロジマッパ１３２がそのマッピングを実行し、受信された構成命令に応答してトポロジを生成した後、ＶＨＰＣ １３０は、例えばリモート管理エージェント１０３からホットプラグ命令を受信し得、ホットプラグ命令は、少なくとも１つのｖＥＰをｖＤＳＰに追加するか又はｖＤＳＰから除去することを示し、ＶＨＰＣ １３０は、それに応答して、少なくとも１つのｖＥＰをｖＤＳＰに追加するか又はｖＤＳＰから除去し得る。ここで、初期構成命令が、どのトポロジが実装されるべきかを決定することが想起される。例えば、図１を参照すると、それは集中トポロジ１８０であるか、分散トポロジ１８５であるか、又はこれら２つのオプションの間の２つの任意の組合せか否かとなる。このように、構成命令は、トポロジ内にいくつのｖＤＳＰが存在すべきかを決定する。

引き続き図１を参照すると、ホットプラグ命令を受信したとき、１つ以上のｖＥＰが除去されるか又はｖＤＳＰに追加されるが、それによって、ホットプラグ命令の結果として１つ以上のｖＤＳＰが現在ｖＥＰなしで残されている場合であっても、トポロジ内のｖＤＳＰの総数が変わることはない。これは、ｖＤＳＰへの接続がダングリングされ、ｖＤＳＰがしばらくの間使用されたままになる可能性があるためである。ｖＤＳＰの数は、新しい構成命令が受信されるまで一定のままである。

ホットプラグ命令の実装に続いて、仮想ホットプラグハンドラ１３９は、特定のイベントをトリガさせる。例えば、ＰＣＩｅトポロジマッパ１３２に、どのｖＥＰがどのｖＤＳＰに接続されているかに関してトポロジ内のステータスを更新させ得る。また、例えば、ＰＣＩｅ割込みジェネレータ１３４に、例えばＭＳＩ又はＭＳＩ－ＸなどのＰＣＩｅ割込みをホストに送信させて、デバイスドライバをバインドし、ｖＥＰ及びその割り当てられたＰＦをホットアドするためのリソースを割り当てるか、又はデバイスドライバをバインド解除し、ｖＥＰ及びその割り当てられたＰＦをホットリムーブするためのリソースを解放して、リソースが動的に割り当てられ得るようにし得る。１つ以上の実施例では、ＩＥシステムとホストとの間の任意の通信は、ＰＣＩｅの仕様に忠実に従うことにも留意されたい。したがって、ＩＥシステムは、任意の従来のホストがＩＥシステムと自然かつ容易に相互運用し得るように、ＰＣＩｅスイッチの挙動を「模倣」する。

最後に、図１を参照すると、第３のサブブロックは統合エンドポイント（「ＩＥ」）１５０であり、これは物理機能のプール１５２を有する。このサブブロックは、ＰＣＩｅトポロジマッパ１３２から構成を受信し、それに応じて物理機能のプール１５２からのＰＦをそれぞれのｖＥＰにグループ化する。

１つ以上の実施例では、適応性を達成するために、ＰＣＩｅトポロジマッパ１３２サブブロックは、２つの方法を介して実装され得る。第１の方法は、異なるトポロジをロードするために、例えば、ＦＰＧＡソフトロジックなどのプログラム可能ユニットにおいてＰＣＩｅトポロジマッパ１３２を実装する。これらのソフトロジックとしては、例えば、図４に示され、以下で説明されるユーザプログラム可能なロジック（ＣＬＢ、ＢＲＡＭなど）が挙げられる。

したがって、この第１の方法は、異なるビットストリームをロードする従来のＦＰＧＡ方法を利用する。第２の方法は、ファームウェアカーネルがホスト構成要求に直接応答して様々なトポロジを作成するために、バイパスインターフェースを介してＰＣＩｅトポロジマッパ１３２を実装することである。次に、図２を参照してこの第２の方法を説明する。

図２は、上述の第２の方法、すなわち「ファームウェア介入」方法を示すために、ＰＣＩｅ統合エンドポイントシステム２１０である例示的なシステムの代替の例示的ＦＰＧＡ実装形態を示す。図２は、図１に示された上述のＰＣＩｅ統合エンドポイントシステム１１０の３つのサブブロックを、薄い陰影及びその描かれたボックスの周りの異なる線を介して、代替の例示的なＦＰＧＡの要素にマッピングする。かかる例示的なＦＰＧＡは、図４に示され、以下で説明される。

図２を参照すると、図の右下のキーは、図１の例の３つのサブブロック、すなわち、ＰＣＩｅアップストリームポート１２０、ＶＨＰＣ １３０、及びＩＥ １１０のうちのどれが、図２の例示的なＦＰＧＡの様々な要素にマッピングされるかを示す。したがって、図２の左側に点線の境界で示されるＰＣＩｅアップストリームポート１２０は、図２のＰＣＩｅハードブロック１２１にマッピングされる。ホスト１０５と通信するのはこの要素である。同様に、実線の境界で薄い陰影のＶＨＰＣ １３０は、同じく薄い陰影及び実線の境界で示されている図２の８つの要素にマッピングされ、例示的なシステム２１０の外側及び右側に示されているファームウェアトポロジカーネル１４１にもマッピングされる。これらの９つのＶＨＰＣ要素は、全部で１３１～１４１のインデックス番号を有する。最後に、破線の境界で示されている統合エンドポイント１５０は、破線の境界で示されている図２の７つの要素にマッピングされる。図２で使用される陰影を考慮すると、ＶＨＰＣ １３０及び統合エンドポイント１５０をそれぞれ実装する要素のグループのそれぞれを含む、様々な要素に容易に気付くことができる。

引き続き図２を参照すると、図１のＰＣＩｅアップストリームポート１２０サブブロックにマッピングされるシステム２１０の要素から始まって、図２にはそのような要素が１つだけ、すなわちＰＣＩｅハードブロック１２１が存在する。ＰＣＩｅハードブロック１２１は、ホスト１０５と通信し、次に説明するシステム２１０のいくつかの他の要素とも通信する。

次に、ＶＨＰＣ １３０は、図示のように、９つの別々の要素にマッピングされる。図２のこれら９つの要素のそれぞれは、薄い陰影を有するブロックとして示され、それぞれのかかるブロックの周りには実線の境界がある。図の上部から始まって、これらは、ＰＣＩｅ割込みジェネレータ１３４、リクエスタ要求（ＲＱ）ＭＵＸ １３１、コンプリータ完了（ＣＣ）ＭＵＸ １３３、コンプリータ要求（ＣＱ）ＭＵＸ １３５、構成バイパス１３６、ｖＤＳＰレジスタ１３７、ｖＤＳＰ処理１３８、及び仮想ホットプラグハンドラ１３９を含む。

最後に、図１の統合エンドポイント１５０サブブロックは、図２の７つの別個の要素にマッピングされる。これらの要素のそれぞれは、図２において、破線の境界はあるが、陰影のないブロックとして描かれている。これらの７つの要素は、図２の上部から始まって、リクエスタ完了（ＲＣ）処理１５１、エラーメッセージ生成１５３、ＣＣ処理１５５、ＲＣデータパス処理１５７、ＣＣデータパスレジスタ１５６、ｖＥＰデータパスレジスタ１５８、及びｖＥＰ処理１５９を含む。

図２を前の図１と比較することによって理解され得るように、図１のＰＣＩｅトポロジマッパは、図２の例において、２つの部分、すなわち、構成バイパス１３６及びＦＷトポロジカーネル１４１に分割されている。したがって、この例示的な実装形態では、構成要求（ホスト１０５から送られたＰＣＩｅコンプリータ要求（ＣＦＧ）１７６）のすべてが、ＰＣＩｅハードブロック１２１を介してＣＱ ｍｕｘ １３５に転送され、そこからＰＣＩｅコンプリータ要求（構成）用であるリンク１７６を介して構成バイパス１３６に転送され、構成バイパス１３６からファームウェア（「ＦＷ」）トポロジカーネル１４１に転送される。それらは、ＦＷトポロジカーネル１４１から本質的に同様の経路を通って、すなわちＦＷトポロジカーネル１４１から構成バイパス１３６に戻され、構成バイパス１３６で受信されると、リンク１７４を介してＣＣ ｍｕｘ １３３に送信され、次いでＣＣ ｍｕｘ １３３は、完了信号をＰＣＩｅハードブロック１２１に送信し、ＰＣＩｅハードブロック１２１は完了信号をホスト１０５に転送する。

読み出し要求の場合、ＦＷトポロジカーネル１４１は、構成バイパス１３６のステータスレジスタからステータスを収集し、ステータスを現在のトポロジにマッピングし、構成バイパス１３６を介して、ＣＣ ｍｕｘ １３３へのリンク１７４に沿って、ＰＣＩｅハードブロック１２１を通して、ホスト１０５に完了を戻す。

書き込み要求の場合、ＦＷトポロジカーネル１４１は、それを現在のトポロジにマッピングし、対応するレジスタに書き込み、ホスト１０５に完了を戻す。仮想リンク関連レジスタをターゲットとする非データパス関連アクセスの場合、ＦＷトポロジカーネル１４１は、例えば、それらのレジスタ自体をホストし得、これは、構成バイパス１３６からステータスを読み出す必要も、構成バイパス１３６に構成を書き込む必要もないことを意味する。

図２に示されるように、構成バイパス１３６は、ｖＤＳＰレジスタ１４１及びｖＥＰデータパスレジスタ１５８へのレジスタアクセスを有し、仮想ホットプラグハンドラ１３９と構成情報を交換する。同様に、ｖＤＳＰレジスタ１３７及びｖＥＰデータパスレジスタ１５８は、制御及びステータス情報をｖＤＳＰ処理１３８及びｖＥＰ処理１５９と交換する。上述したように、ホスト１０５からのＰＣＩｅコンプリータ要求は、ＣＱ ｍｕｘ １３５を介して送信される。これらは、リンク１７６を介して送信される構成ＰＣＩｅコンプリータ要求であってもよく、又は例えば、リンク１７７を介して送信される非構成ＰＣＩｅコンプリータ要求であってもよい。

図２の例示的なシステム２１０に示されているが、上で明示的に説明されていない任意のリンク又は信号経路は、標準的なＰＣＩｅリンク及びプロトコルであり、本開示の焦点であるＶＨＰＣの態様に密接に関係しないことに留意されたい。当業者は、ホットプラグ命令に応答する際に使用される標準ＰＣＩｅ構造及びプロトコルを容易に理解する。

図３は、一実施例による、ＰＣＩｅ ＩＥにおいてＰＦのプールを管理するための方法３００のフロー図である。方法３００は、ブロック３１０～３５０を含む。代替の実施例では、方法３００は、より多くのブロック又はより少ないブロックを含んでもよい。方法３００は、ブロック３１０で始まり、リモートマネージャからの構成命令が受信され、構成命令は、ＰＣＩｅ接続の統合エンドポイントのトポロジを示す。例えば、命令は、図１のＰＣＩｅ統合エンドポイントシステム１１０が実装されるＦＰＧＡで受信され得る。例えば、構成命令は、図１に更に示されるように、リモート管理エージェント１０３から受信され得る。最後に、例えば、構成命令は、ＩＥをＫ個のｖＤＳＰに分割するようにＰＣＩｅ接続の統合エンドポイントに指示し得、Ｋは、トポロジ１ １８０に関して示される１から、トポロジＮ １８５に関して示されるある上限Ｎまでの整数であり、両方とも図１に示されている。

ブロック３１０から、方法３００はブロック３２０に進み、トポロジがＩＥ内に実装される。例えば、構成命令に従って実装されるトポロジは、利用可能なＰＦのすべてが関連付けられる単一のｖＤＳＰが存在する図１のトポロジ１ １８０の事例のように、より集中化されてもよく、又は例えば、トポロジは、それぞれが１つのＰＦのみを有するＮ個のｖＥＰが存在する図１の例示的なトポロジＮ １８５のように、完全に分散化されてもよい。

ブロック３２０から、方法３００はブロック３３０に進み、ホットプラグ命令がリモートマネージャから受信され、ホットプラグ命令は、ＶＨＰＣに、１つ以上のｖＥＰをｖＤＳＰに追加すること、１つ以上のｖＥＰをｖＤＳＰから除去すること、又はこれら２つの任意の組合せを実行することを指示する。

ブロック３４０から、方法３００はブロック３５０に進み、改訂されたトポロジに関してＰＣＩｅ接続のホストに通知するために、少なくとも１つのＰＣＩｅ割込みが開始される。例えば、ＰＣＩｅ割込みは、図１のＰＣＩｅ割込みジェネレータ１３４から、又は例えば、図２に示される代替のＰＣＩｅ統合エンドポイントシステム２１０のＰＣＩｅ割込みジェネレータ１３４から送信され得る。

ブロック３５０から、方法３００はブロック３６０に進み、ブロック３５０で開始されたＰＣＩｅ割込みに応答して、構成要求がホストから受信される。１つ以上の実施例では、ホスト１０５によって送信される構成要求は、標準ＰＣＩｅ構成要求であり、ホストは、ＤＳＰにＰＣＩｅホットプラグステータス情報をポーリングする。方法３００は、ブロック３６０で終了する。

上述のように、１つ以上の実施例では、ＦＰＧＡソフトロジック及び／又はソフトウェア介入を使用して、リモート構成、動的割り当て、及びＰＣＩｅ準拠が提供され得る。図４は、そのように使用され得る例示的なＦＰＧＡアーキテクチャを示す。図４を参照すると、ＦＰＧＡ ４００は、マルチギガビットトランシーバ（multi-gigabit transceiver、「ＭＧＴ」）１、構成可能ロジックブロック（configurable logic block、「ＣＬＢ」）２、ランダムアクセスメモリブロック（blocks of random access memory、「ＢＲＡＭ」）３、入力／出力ブロック（input/output block、「ＩＯＢ」）４、構成及びクロッキングロジック（configuration and clocking logic、「ＣＯＮＦＩＧ／ＣＬＯＣＫＳ」）５、デジタル信号処理ブロック（digital signal processing block、「ＤＳＰ」）６、専用入力／出力ブロック（「Ｉ／Ｏ」）７（例えば、構成ポート及びクロックポート）、及びデジタルクロックマネージャ、アナログ－デジタル変換器、システム監視ロジックなどの他のプログラム可能なロジック８を含む多数の異なるプログラム可能なタイルを含む。いくつかのＦＰＧＡはまた、専用のプロセッサブロック（processor block、「ＰＲＯＣ」）１０を含む。ＦＰＧＡ ４００は、やはり上述したように、ＰＣＩｅ統合エンドポイントシステム１００又はＰＣＩｅ統合エンドポイントシステム２１０の１つ以上のインスタンスを含み得る。

いくつかのＦＰＧＡにおいて、それぞれのプログラム可能なタイルは、図５の上部に含まれる例によって示されるように、同じタイル内のプログラム可能なロジック要素の入力及び出力端子２０への接続を有する少なくとも１つのプログラム可能な相互接続要素（interconnect element、「ＩＮＴ」）１１を含み得る。それぞれのプログラム可能な相互接続要素１１はまた、同じタイル又は他のタイル（複数可）内の隣接するプログラム可能な相互接続要素の相互接続セグメント２２への接続を含み得る。それぞれのプログラム可能な相互接続要素１１はまた、ロジックブロック（図示せず）間の汎用ルーティングリソースの相互接続セグメント２４への接続を含み得る。汎用ルーティングリソースは、相互接続セグメント（例えば、相互接続セグメント２４）のトラックを含むロジックブロック（図示せず）と、相互接続セグメントを接続するためのスイッチブロック（図示せず）との間のルーティングチャネルを含み得る。汎用ルーティングリソースの相互接続セグメント（例えば、相互接続セグメント２４）は、１つ以上のロジックブロックにまたがり得る。プログラム可能な相互接続要素１１は、汎用ルーティングリソースと共に、図示されるＦＰＧＡのためのプログラム可能な相互接続構造（「プログラム可能な相互接続」）を実装する。

例示的な実装形態では、ＣＬＢ２は、ユーザロジックを実装するようにプログラムされ得る構成可能ロジック要素（configurable logic element、「ＣＬＥ」）１２に加え、単一のプログラム可能な相互接続要素（「ＩＮＴ」）１１を含み得る。ＢＲＡＭ３は、１つ以上のプログラム可能な相互接続要素に加えて、ＢＲＡＭロジック要素（BRAM logic element、「ＢＲＬ」）１３を含み得る。典型的に、タイルに含まれる相互接続要素の個数は、タイルの高さによって異なる。描写の実施例では、ＢＲＡＭタイルの高さは、５個のＣＬＢと同じであるが、他の個数（例えば、４個）も使用可能である。ＤＳＰタイル６は、適切な数のプログラム可能な相互接続要素に加えて、ＤＳＰロジック要素（ＤＳＰ ｌｏｇｉｃ ｅｌｅｍｅｎｔ、「ＤＳＰＬ」）１４を含み得る。ＩＯＢ４は、例えば、プログラム可能な相互接続要素１１の１つのインスタンスに加えて、入力／出力ロジック要素（ｉｎｐｕｔ／ｏｕｔｐｕｔ ｌｏｇｉｃ、「ＩＯＬ」）１５の２つのインスタンスを含み得る。当業者には明らかなように、例えば、Ｉ／Ｏロジック要素１５に接続された実際のＩ／Ｏパッドは、典型的に、入力／出力ロジック要素１５の領域に限定されない。

描写の実施例では、ダイの中心近くの水平領域（図５に示されている）は、構成、クロック、及び他の制御ロジックに使用される。この水平領域又は列から延びる垂直列９は、ＦＰＧＡの幅にわたってクロック及び構成信号を分配するために使用される。

図４に示したアーキテクチャを活用したいくつかのＦＰＧＡは、ＦＰＧＡの大部分を作り上げる規則的な柱状構造を中断させる更なるロジックブロックを含む。更なるロジックブロックは、プログラム可能なブロック及び／又は専用ロジックであり得る。例えば、プロセッサブロック１０は、ＣＬＢ及びＢＲＡＭのいくつかの列にまたがる。プロセッサブロック１０は、単一のマイクロプロセッサから、マイクロプロセッサ（複数可）、メモリコントローラ、周辺機器などの完全なプログラム可能な処理システムに及ぶ様々な構成要素であり得る。

図４は、例示的なＦＰＧＡアーキテクチャのみを示すことを意図することに留意されたい。例えば、図４の上部に含まれる、行におけるロジックブロックの個数、行の相対幅、行の個数と順番、行に含まれるロジックブロックのタイプ、そのロジックブロックの相対サイズ、また相互接続／ロジック実装形態は、単に例示的なものである。例えば、実際のＦＰＧＡでは、ユーザロジックの効率的な実装を容易にするために、ＣＬＢが現れる場所はどこでも、ＣＬＢの２つ以上の隣接する行が典型的に含まれるが、隣接するＣＬＢ行の数は、ＦＰＧＡの全体的なサイズに応じて変化する。

したがって、拡張されたハードウェア能力により、複数の仮想デバイスが単一の物理カード上に提供され、したがって、それぞれがそれ自体のＰＣＩｅスイッチを有しない１つ以上の実施例では、仮想ホットプラグコントローラは、物理カード上のそれらの仮想デバイスのいずれかに対するホットプラグ機能をエミュレートする。そのような実施例では、仮想ＰＣＩｅホットプラグコントローラは、物理スイッチを伴わないネイティブＰＣＩｅホットプラグ機構を介するデバイスとして、単一のＰＣＩｅ物理機能又はＰＣＩｅ物理機能グループのいずれかを仮想的にホットアド又はホットリムーブし得る。１つ以上の実施例では、ＦＰＧＡソフトロジック及び／又はソフトウェア介入を使用して、リモート構成、動的割り当て、及びＰＣＩｅ準拠が提供され得る。

上記は本発明の実施形態を対象としているが、本発明の基本的な範囲から逸脱することなく本発明の他の実施形態及び更なる実施形態を考案することができ、本発明の範囲は以下の「特許請求の範囲」によって決定される。

Claims (15)

1. ＰＣＩｅ統合エンドポイントにおける物理機能（「ＰＦ」）のプールを管理するための方法であって、
   ＰＣＩｅ接続の統合エンドポイント（ＩＥ）のためのトポロジを示す構成命令を受信することと、
   前記ＩＥ上に前記トポロジを実装することと、
   ホットプラグ命令を受信することと、
   前記ホットプラグ命令に少なくとも部分的に基づいて、仮想エンドポイント（ｖＥＰ）を、前記ＩＥ上の仮想ダウンストリームポート（ｖＤＳＰ）に追加するか又は前記ｖＤＳＰから除去することと、を含む、方法。
2. 前記ホットプラグ命令に基づいて、
   １つ以上のＰＦをｖＥＰに追加すること、
   １つ以上のＰＦをｖＥＰから除去すること、又は
   ＰＦをｖＥＰに追加することと該ｖＥＰから除去することとの任意の組み合わせと、のうちの少なくとも１つを更に含む、請求項１に記載の方法。
3. 前記構成命令及び前記ホットプラグ命令は、リモート管理エージェントから受信される、請求項１に記載の方法。
4. ステータス変更に関して接続されたホストに通知するために、少なくとも１つのＰＣＩｅ割込みを開始することと、
   前記ＰＣＩｅ割込みに応答して、前記ホストから構成要求を受信することと、を更に含む、請求項１に記載の方法。
5. 前記ＰＣＩｅ ＩＥは、ＰＣＩｅ統合エンドポイントシステムに提供され、前記ホストは、ＰＣＩｅリンクを介して前記ＰＣＩｅ統合エンドポイントシステムに結合される、請求項１に記載の方法。
6. 前記ホスト及び前記ＰＣＩｅ統合エンドポイントシステムは、両方ともデータセンタ内に位置する、請求項５に記載の方法。
7. 前記トポロジは、前記ＩＥに割り当てる仮想ダウンストリームポート（ｖＤＳＰ）の数Ｋを指定し、それぞれのｖＤＳＰは、関連付けられたｖＥＰを有する、請求項１に記載の方法。
8. それぞれのｖＥＰは、仮想ダウンストリームポートに結合される、請求項７に記載の方法。
9. 前記トポロジを実装することは、ＰＦを前記ｖＥＰのそれぞれにグループ化することを更に含む、請求項７に記載の方法。
10. ＰＦのプールを有するＰＣＩｅ接続の統合エンドポイント（「ＩＥ」）と、
    仮想ホットプラグコントローラ（「ＶＨＰＣ」）であって、
    前記ＩＥのトポロジを示す構成命令をリモートマネージャから受信し、
    前記ＩＥ上に前記トポロジを実装し、
    前記リモートマネージャからホットプラグ命令を受信し、
    前記ホットプラグ命令に基づいて、少なくとも１つのｖＥＰを、前記ＩＥのｖＤＳＰに追加するか又は前記ｖＤＳＰから除去するように構成された、ＶＨＰＣと、を備える、ＰＣＩｅ統合エンドポイントシステム。
11. 前記ＶＨＰＣ及び前記ホストに結合され、少なくとも１つのＰＣＩｅ割込みを前記ホストに通信するように構成されたＰＣＩｅアップストリームポートを更に備える、請求項１０に記載のシステム。
12. 前記ＶＨＰＣは、リモート管理エージェントから前記構成命令を受信する、請求項１０に記載のシステム。
13. 前記ＶＨＰＣは、前記構成命令及び前記ホットプラグ命令を受信するように構成された入力インターフェースと、前記構成命令に少なくとも部分的に基づいて前記ＩＥのためのトポロジを生成するように構成されたＰＣＩｅトポロジマッパと、を含む、請求項１０に記載のシステム。
14. 前記トポロジは、ｖＤＳＰ及び対応するｖＥＰのセットを含み、それぞれのｖＥＰは１つ以上のＰＦを有する、請求項１０に記載のシステム。
15. 前記ＶＨＰＣは、
    前記構成命令を前記トポロジにマッピングするように構成されたＰＣＩｅトポロジマッパと、
    実装された前記トポロジに関して、又は、ホットプラグ命令の結果としての前記トポロジにおける任意のｖＥＰ接続性変化に関してＰＣＩｅ接続のホストに通知するために、少なくとも１つのＰＣＩｅ割込みを生成するように構成されたＰＣＩｅ割込みジェネレータと、を更に含む、請求項１０に記載のシステム。

Images