JP2023529831A - 直接取り付けられたディスパッチを使用した、分離されたスイッチ制御経路 - Google Patents

Abstract

本明細書における実施形態は、組み込まれた構成要素におけるＩ／Ｏ機能とホストとの間で伝送されるデータを個別のデータ経路に分離するための技法を記述している。一実施形態では、データパケットは、組み込まれた構成要素のスイッチをバイパスする直接データ経路を使用して伝送される。それとは対照的に、構成パケット（例えばホット－スワップ、ホット－追加、ホット－除去データ、いくつかのタイプの記述子、等々）はスイッチに伝送され、次に、スイッチがそれらの構成パケットをそれらの行先に転送する。データパケットのための直接経路は、帯域幅に敏感なトラフィックをホストとＩ／Ｏ機能との間で輸送するのにスイッチ接続性（およびそれに付随する待ち時間）を当てにせず、その代わりに、帯域幅、リソース、記憶／転送、およびスイッチの待ち時間特性を回避している（例えばバイパスしている）。一方、ホットプラグ属性（これらの属性は、待ち時間または帯域幅に敏感ではない）などのソフトウェア互換性属性は、構成データ経路を提供するために、スイッチを使用することによって継続してサポートされる。【選択図】図４

Description

本開示の例は、一般に、ホストと、組み込まれた構成要素上のＩ／Ｏ機能との間で伝送されるデータパケットおよび構成パケットのための個別のデータ経路の確立に関する。

Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ（ＰＣＩｅ）によってイネーブルされるシステムなどのＳｅｒｖｅｒ Ｈｏｓｔ－Ａｃｃｅｌｅｒａｔｏｒシステム、またはＣｏｍｐｕｔｅ Ｅｘｐｒｅｓｓ Ｌｉｎｋ（ＣＸＬ）およびＣａｃｈｅ Ｃｏｈｅｒｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ ｆｏｒ Ａｃｃｅｌｅｒａｔｏｒｓ（ＣＣＩＸ）などのキャッシュコヒーレンシプロトコルは、プロトコル認識スイッチ構成要素を介して、複数のデバイスに対する増加したファンアウトを達成している。したがって単一の物理ホストポートは、ホストおよびＩ／Ｏデバイスの両方がＣＸＬ、ＣＣＩＸおよびＰＣＩｅによって確立された二地点間接続を介して通信中であっても、ネットワーク機能、記憶機能、アクセラレータ機能、Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ（ＤＭＡ）機能、等々などの異なるＩ／Ｏ機能を実施するデバイスを含む、書替え可能ゲートアレイ（ＦＰＧＡ）、グラフィック処理装置（ＧＰＵ）、ネットワークインタフェースカード（ＮＩＣ）などの複数のＩ／Ｏデバイスに通信することができる。

また、Ｓｅｒｖｅｒ Ｈｏｓｔ－Ａｃｃｅｌｅｒａｔｏｒシステムは、システムにおける多重デバイスカードスロットのために、同じプロトコル認識スイッチ構成要素を介してホット－プラグ機構を提供している。ホット－追加およびホット－除去能力を含むこれらのホット－プラグ機構は、特定のサーバが、これらのスロットにおける静的プラグインプロトコルカードに基づいて、一定の組合せの機能に制限されないシステムをもたらしている。その代わりに、ランタイム時に、任意の組合せのＩ／Ｏ機能を動的にホット－追加し、ホット－除去し、またはホット－スワップして、所望の構成のシステムをもたらすことができる。

しかしながらＰＣＩｅおよびＣＸＬトポロジーはツリートポロジーである。ツリートポロジーの欠点は、ホストからのトラフィックがスイッチの上流側のポートを介してソースルートノードからツリーの分岐まで横断しなければならないことである。逆方向のトラフィックも同じツリー横断経路の対象になる。さらに、キャッシュコヒーレンシプロトコルは、総合システム性能に対する待ち時間の均衡がとれない影響のため、待ち時間に対してより敏感な感度を有している。キャッシングエージェントの場合、先行技法では、スイッチボトルネックを介して接続された複数のキャッシュエージェントエンドポイントにコヒーレンシアクションをサービスする際の待ち時間が長くなる。コヒーレンシプロトコルに加えて、先行技法では、ホストとＩ／Ｏデバイスとの間でデータを伝送する場合、スイッチのリソースを調停し、また、スイッチを介して輸送しなければならないため、ホストと個々のデバイスとの間の待ち時間が長くなる。さらに、ホストとすべてのデバイスとの間の同時プロトコルメッセージのために、スイッチを介して帯域幅を共有するため、ホストと個々のＩ／Ｏデバイスとの間の帯域幅が狭くなる。最後に、スイッチは要求および応答を記憶し、次に、ホストへの単一の上流側接続のために、その要求および応答をすべてのＩ／Ｏデバイスの間で転送しなければならないため、スイッチのリソースの効率が低下する。

本明細書において説明される一実施形態は、第１のポートを備えるホストと、第２のポートを含む組み込まれた構成要素であって、第１のポートおよび第２のポートがホストと組み込まれた構成要素との間の物理接続を形成する、組み込まれた構成要素とを備える、コンピューティングシステムであり、組み込まれた構成要素は、複数のＩ／Ｏ機能と、第２のポートを介してホストからパケットを受け取り、パケットのタイプを識別し、かつ、パケットのタイプに基づいて、複数のＩ／Ｏ機能のうちの行先Ｉ／Ｏ機能へ直接パケットを経路指定するかまたは埋設されたスイッチを使用して行先Ｉ／Ｏ機能へ間接的にパケットを経路指定するように構成されたパススルーインタフェースとを含む。

本明細書において説明される一実施形態は、ホスト上の第２のポートとの物理接続を形成するように構成された第１のポートと、複数のＩ／Ｏ機能と、埋設されたスイッチと、第１のポートを介してホストからパケットを受け取り、パケットのタイプを識別し、かつ、パケットのタイプに基づいて、複数のＩ／Ｏ機能のうちの行先Ｉ／Ｏ機能へ直接パケットを経路指定するかまたは埋設されたスイッチを使用して行先Ｉ／Ｏ機能へ間接的にパケットを経路指定するように構成されたパススルーインタフェースとを含む装置である。

本明細書において説明される一実施形態は、組み込まれた構成要素のパススルーインタフェースでホストから第１のパケットを受け取ることであって、組み込まれた構成要素が複数のＩ／Ｏ機能と、パススルーインタフェースに通信結合された埋設されたスイッチとを備える、第１のパケットを受け取ることと、第１のパケットがデータパケットであることを決定することであって、複数のＩ／Ｏ機能のうちの第１のＩ／Ｏ機能がそのデータパケットの行先である、決定することと、埋設されたスイッチをバイパスする直接データ経路を使用して、データパケットをパススルーインタフェースから第１のＩ／Ｏ機能へ直接経路指定することと、パススルーインタフェースでホストから第２のパケットを受け取ることと、第２のパケットが構成パケットであることを決定することであって、第１のＩ／Ｏ機能がその構成パケットの行先である、決定することと、データパケットを埋設されたスイッチを介してパススルーインタフェースから第１のＩ／Ｏ機能へ経路指定することとを含む方法である。

したがって上で示した特徴を詳細に理解することができる方法においては、上で簡単に要約したより特定の説明には例示的実施形態が参照されており、それらの例示的実施形態のうちのいくつかは添付の図面に示されている。しかしながら添付の図面は典型的な例示的実施形態を示したものにすぎず、したがって本開示の範囲を限定するものと見なしてはならないことに留意されたい。

例による、Ｉ／Ｏ機能のための異なるデータ経路を有するコンピューティングシステムを示す図である。 例による、異なるデータ経路を有するパススルーインタフェースを示す図である。 例による、データパケットおよび構成パケットを異なるデータ経路を使用してホストからＩ／Ｏ機能に伝送するためのフローチャートである。 例による、データパケットおよび構成パケットを異なるデータ経路を使用してＩ／Ｏ機能からホストに伝送するためのフローチャートである。 例による、新しいＩ／Ｏ機能にホットスワップするためのフローチャートである。 例による、新しいＩ／Ｏ機能が追加されているコンピューティングシステムを示す図である。 例による、ホストがコンバージドネットワークインタフェースカードと通信しているコンピューティングシステムを示す図である。

理解を容易にするために、可能である場合、図面で共通の全く同じ要素を示すために同じ参照符号が使用されている。１つの例の要素は、他の例に有利に組み込むことができることが企図されている。

以下、様々な特徴について、図を参照して説明する。図は、スケール通りに描かれていることもあれば、スケール通りに描かれていないこともあること、また、すべての図を通して、同様の構造または機能の要素は同様の参照符号で表されていることに留意されたい。図に意図されていることは、単に特徴の説明を容易にすることにすぎないことに留意されたい。図には、特許請求の範囲の説明についての網羅的な説明であることも、あるいは特許請求の範囲に対する限定であることも意図されていない。さらに、例証されている例は、必ずしも示されている態様または利点のすべてを有している必要はない。特定の例に関連して説明されている態様または利点は必ずしもその例に限定されず、たとえそのように例証されていなくても、あるいはそのように明確に説明されていなくても、任意の他の例で実践することができる。

本明細書における実施形態は、組み込まれた構成要素におけるＩ／Ｏ機能とホストとの間で伝送されるデータを個別のデータ経路に分離するための技法を記述している。一実施形態では、データパケット（例えばＤＭＡペイロードおよび記述子、ＣＸＬスヌープまたはＣＣＩＸメッセージ）は、組み込まれた構成要素のスイッチをバイパスする直接データ経路を使用して伝送される。それとは対照的に、構成パケット（例えばホット－スワップ、ホット－追加、ホット－除去データ、構成制御書込み、または構成状態読出し、等々）はスイッチに伝送され、次に、スイッチがそれらの構成パケットをそれらの行先に転送する。この方法によれば、スイッチ制御経路が２つの経路、すなわちデータパケットのための経路、および構成パケットのための別の経路に分離される。データパケットのための直接経路は、帯域幅または待ち時間に敏感なトラフィックをホストとＩ／Ｏ機能との間で輸送するのにスイッチ接続性を当てにせず、その代わりに、帯域幅、リソース、記憶／転送、およびスイッチの待ち時間特性を回避している（例えばバイパスしている）。一方、ホットプラグ属性または構成レジスタのプログラミング（これらは、待ち時間または帯域幅に敏感ではない）などのソフトウェア互換性属性は、構成データ経路を提供するために、スイッチを使用することによって継続してサポートされる。

一実施形態では、組み込まれた構成要素は、ホストから受け取ったデータをＩ／Ｏ機能およびスイッチへ経路指定し、さらにはデータをホストに伝送する際に、Ｉ／Ｏ機能とスイッチの間で調停するためのパススルーインタフェースを含む。しかしながらデータを待ち行列にバッファする（したがって待ち時間が追加されて、帯域幅に影響を及ぼす）スイッチとは異なり、パススルーインタフェースの経路指定機能および調停機能はパケットを記憶せず、受け取ったパケットを直ちにそれらの行先へ転送する。上で説明したように、パススルーインタフェースは、時間に敏感なデータに対して、スイッチをバイパスする、ホストとＩ／Ｏ機能との間の直接経路を確立することができ、一方、構成データ（待ち時間および時間に敏感ではない）は、スイッチを使用して、ホストとＩ／Ｏ機能との間で経路指定される。この方法によれば、待ち時間または帯域幅に敏感ではないパケットが、待ち時間および帯域幅に敏感なデータによって使用される同じデータ経路を妨げる原因になることはない。

図１は、例による、Ｉ／Ｏ機能１４０のための異なるデータ経路を有するコンピューティングシステム１００を示したものである。詳細には、コンピューティングシステム１００は、ホスト１０５とＩ／Ｏ機能１４０との間でデータパケットを伝送するための直接データ経路１７０、およびホスト１０５とＩ／Ｏ機能１４０との間で構成パケットを伝送するための間接構成データ経路１８０を提供している。したがって時間に敏感なデータおよび時間に敏感ではないデータが同じ物理接続を共有する従来の解決法とは異なり、コンピューティングシステム１００では、組み込まれた構成要素１６０の中で、時間に敏感なデータを時間に敏感ではないデータとは別の経路上で伝送することができる。

示されているように、コンピューティングシステム１００は、ホスト１０５と、Ｉ／Ｏ機能１４０を含む組み込まれた構成要素１６０とを含む。この例ではホスト１０５は、１つまたは複数のプロセッサ１１０およびメモリ１１５を含む。プロセッサ１１０は任意の数の処理要素を代表しており、任意の数の処理要素の各々は任意の数の処理コアを含むことができる。メモリ１１５は、揮発性メモリ要素、不揮発性メモリ要素、またはそれらの両方の組合せを含むことができる。この例ではメモリ１１５は、１つまたは複数の仮想計算機（ＶＭ）１２０またはテナントをホストしている。これらのＶＭ１２０は、組み込まれた構成要素１６０にタスクの実行を依頼する機能を実施することができる。組み込まれた構成要素１６０のＩ／Ｏ機能１４０は、次に、これらのタスクを実施することができる。

ホスト１０５は、組み込まれた構成要素１６０のポート１３０に結合されているポート１２５を含む。すなわち、ホスト１０５および組み込まれた構成要素１６０のＩ／Ｏ機能１４０は、同じ対のポート１２５、１３０を使用してデータを交換している。一実施形態では、ホスト１０５および組み込まれた構成要素１６０は、ＰＣＩｅプロトコルを使用してポート１２５、１３０上でデータを交換する。さらに、ポート１２５と１３０の間の同じ物理接続が組み込まれた構成要素１６０のＩ／Ｏ機能１４０によって共有されている。一実施形態では、ポート１２５と１３０の間の物理接続を任意の所与の時間に使用することができるのは、複数のＩ／Ｏ機能１４０のうちの１つのＩ／Ｏ機能１４０だけである。複数のＩ／Ｏ機能１４０の各々が物理接続を使用してホスト１０５とデータを交換する機会を持つよう、時間多重化を使用することができる。この方法によれば、ポート１２５と１３０の間の物理接続（この接続は、典型的には最も広い帯域幅接続である）の帯域幅がＩ／Ｏ機能１４０同士の間で共有される。

組み込まれた構成要素１６０は、複数のＩ／Ｏ機能１４０および埋設されたスイッチ１５０を統合することができる任意の物理デバイスであってもよい。一実施形態では、組み込まれた構成要素１６０は印刷回路基板（ＰＣＢ）（例えば基板）を含むことができ、Ｉ／Ｏ機能１４０および埋設されたスイッチ１５０は、ＰＣＢの上に取り付けられる個別の集積回路（例えば半導体チップ）である。ＰＣＢは、これらの集積回路がＰＣＢに差し込まれるソケットを含むことができる。この方法によれば、集積回路をホット－スワップすることができる（例えば第１のＩ／Ｏ機能を実施する１つの集積回路がソケットから除去され、第２のＩ／Ｏ機能を実施する第２の集積回路に置き換えられる）。別の実施形態では、組み込まれた構成要素１６０は、Ｉ／Ｏ機能１４０のための集積回路および埋設されたスイッチ１５０が１つまたは複数のチップキャリアパッケージ中に密閉されるシステムインパッケージ（ＳｉＰ）であってもよい。ＳｉＰの場合、Ｉ／Ｏ機能をホット－スワップすることができないかもしれないが、依然としてＩ／Ｏ機能１４０を選択的に起動し、かつ、起動を解除することができる（例えばホット－追加およびホット－除去することができる）。

さらに別の実施形態では、組み込まれた構成要素１６０は、構成要素１６０のすべての構成要素が同じ集積回路またはチップの中に含まれるシステムオンチップ（ＳｏＣ）である。ＳｏＣは、機能１４０を起動し、または起動を解除することができる（例えばホット追加（ｈｏｔ ａｄｄｅｄ）またはホット除去（ｈｏｔ ｒｅｍｏｖｅｄ）する）、Ｉ／Ｏ機能１４０を実現するための硬化論理を含むことができる。別法としては、ＳｏＣは、Ｉ／Ｏ機能１４０をホットスワップすることができるよう、Ｉ／Ｏ機能１４０を実現するためのプログラマブル論理を含むことも可能であり、プログラマブル論理が第２のＩ／Ｏ機能を実施するよう、１つのＩ／Ｏ機能のためのプログラマブル論理が再構成される。他の実施形態では、組み込まれた構成要素１６０は、組み込まれた構成要素１６０の例証されている回路機構がプログラマブル論理で実現されるＦＰＧＡ、または回路機構が硬化論理を使用して実現されるＡＳＩＣであってもよい。

組み込まれた構成要素１６０の特定の実施態様に無関係に、コンピューティングシステム１００が動作している間、集積回路を物理的に除去し、硬化論理を起動解除／起動し、またはプログラマブル論理を再プログラミングすることにより、Ｉ／Ｏ機能１４０を起動し、または起動を解除することができる（例えばホット－追加またはホット－除去することができる）。いくつかの実施形態では、Ｉ／Ｏ機能１４０は、基板（例えばＰＣＢ）上で第１の集積回路を別の集積回路に置き換えることによって、またはそれまで第１のＩ／Ｏ機能を実施していたプログラマブル論理を第２のＩ／Ｏ機能を実施するように再構成することによってホットスワップすることができる。組み込まれた構成要素１６０の、ホットスワップ／追加／除去によって影響されない他のＩ／Ｏ機能１４０は、並行して動作を継続することができる。

組み込まれた構成要素１６０は、ポート１３０、Ｉ／Ｏ機能１４０および埋設されたスイッチ１５０に結合されているパススルーインタフェース１３５を含む。パススルーインタフェース１３５は、ポート１３０を使用してＩ／Ｏ機能１４０、スイッチ１５０およびホスト１０５の間でパケットを伝送するための経路指定機能および調停機能を実施している。例えばホスト１０５からパケットを受け取る場合、パススルーインタフェース１３５は、パケットをＩ／Ｏ機能１４０へ複数の直接データ経路１７０のうちの１つを横切らせるべきか、またはその代わりに埋設されたスイッチ１５０へ経路指定すべきかどうかを示すパケットのタイプを決定する。パケットを組み込まれた構成要素１６０からホスト１０５に伝送する場合、パススルーインタフェース１３５は、調停論理を使用して、パケットをホスト１０５に伝送するためにポート１３０を使用することができるソース（例えばＩ／Ｏ機能１４０または埋設されたスイッチ１５０のうちの１つ）を決定することができる。

一実施形態では、パススルーインタフェース１３５は、ホスト１０５、Ｉ／Ｏ機能１４０またはスイッチ１５０から受け取るパケットをバッファせず、または待ち行列に加えない。その代わりにインタフェース１３５は、待ち時間を加えることなくパケットを「通過」させる。例えばパススルーインタフェース１３５がパケットを受け取ると、パススルーインタフェース１３５はそのパケットを直ちに行先へ転送し、したがって受け取られたパケットは、その前に受け取られたパケットがパススルーインタフェース１３５によって転送されるのを待機する必要はない。パススルーインタフェース１３５については、図２でより詳細に考察される。

Ｉ／Ｏ機能１４０は、組み込まれた構成要素１６０によって実施される、ホスト１０５によってオフロードされてもよい任意の機能であってもよい。例えばＩ／Ｏ機能１４０はアクセラレータであってもよい（例えば図形アクセラレータ、機械学習アクセラレータの人工知能、暗号方式アクセラレータ、圧縮アクセラレータ、等々）。他の例では、Ｉ／Ｏ機能１４０は、ネットワーク通信機能（例えばＮＩＣ機能）、ＤＭＡエンジン、ネットワーク記憶機能、等々であってもよい。

Ｉ／Ｏ機能１４０は、互いに独立して動作することができる個別のＩ／Ｏデバイスまたは機能と見なすことができる。例えばＩ／Ｏ機能１４０Ａはネットワーク記憶を実施するＤＭＡエンジンであってもよく、一方、Ｉ／Ｏ機能１４０Ｂは人工知能アクセラレータであってもよい。Ｉ／Ｏ機能１４０Ａおよび１４０Ｂは個別の集積回路であってもよく、または同じ集積回路中の異なる回路機構（例えば異なる硬化論理または異なるプログラマブル論理）であってもよい。いずれの場合においても、以下で考察されるように、Ｉ／Ｏ機能１４０は、コンピューティングシステム１００が動作している間、ホット－除去する（起動を解除する）ことができ、またはホット－追加する（起動する）ことができる。例えばホスト１０５は、組み込まれた構成要素１６０が新しいＩ／Ｏ機能１４０を追加し（例えばそれまで起動が解除されていたＩ／Ｏ機能１４０Ｂを起動し、または第５のＩ／Ｏ機能（図示せず）を追加する）、またはＩ／Ｏ機能を除去する（例えばそれまで起動されていたＩ／Ｏ機能１４０Ｃの起動を解除する）のと同時に、その時点でＩ／Ｏ機能１４０Ａと通信中であってもよい。

埋設されたスイッチ１５０は、パケットをＩ／Ｏ機能１４０とホスト１０５との間で経路指定するＰＣＩｅスイッチであってもよい。また、スイッチ１５０は、ホスト１０５から、Ｉ／Ｏ機能１４０には転送されないパケットを受け取ることも可能である。上で言及したように、スイッチ１５０を使用して、Ｉ／Ｏ機能１４０をホット－スワップし、ホット－追加し、またはホット－除去するために使用される構成パケットなどの、待ち時間および帯域幅に敏感ではないデータを経路指定することができる。構成パケットは、送りアクションおよび受取りアクションを開始するためにキャッシュコヒーレンシプロトコルに使用される記述子などの他の情報を同じく含むことができる。

図１では、ホスト１０５によって伝送される、複数のＩ／Ｏ機能１４０のうちの１つのために意図されている構成パケットは、複数の間接構成データ経路１８０のうちの１つに沿ったスイッチ１５０を介して経路指定される。したがって構成パケットはスイッチ１５０中の待ち行列１５５に記憶される。この待ち行列１５５はホスト－スイッチバッファと呼ぶことも可能である。スイッチ１５０は、調停機能を実施して、待ち行列１５５に記憶された構成パケットが伝送され、または処理される時期を決定することができる。

注目すべきことには、図１では、直接データ経路１７０は埋設されたスイッチ１５０、より詳細には待ち行列１５５をバイパスしている。したがって直接データ経路１７０は、待ち行列１５５によって導入された待ち時間を回避するバイパス経路と呼ぶことも可能である。したがってコンピューティングシステム１００は、複数のキャッシュ－エージェントエンドポイント（すなわちＩ／Ｏ機能１４０）に対するコヒーレンシアクションをサービスする際にすべてのデータがスイッチ１５０を通過する従来技術と比較すると、待ち時間を短くする。さらに、本明細書における実施形態は、待ち時間および帯域幅に敏感なデータをホスト１０５とＩ／Ｏ機能１４０との間で伝送する際の、スイッチのリソースの調停の必要を回避する。すなわち敏感なデータは、直接データ経路１７０を使用して、スイッチ１５０によって実施される調停機能を回避することができる（調停は、以下で説明されるように依然としてパススルーインタフェース１３５で実施されるが、パススルーインタフェース１３５は待ち行列を使用しない）。

また、ホスト１０５とすべてのＩ／Ｏ機能１４０との間の同時プロトコルメッセージは直接データ経路１７０を使用することができるため、ホスト１０５および個々のＩ／Ｏ機能１４０は、これらのメッセージのためにスイッチを介して帯域幅を共有する必要はない。さらに、コンピューティングシステム１００は、ポート１２５および１３０によって形成されたホスト１０５への単一の上流側接続のために、スイッチ１５０を当てにして要求および応答を記憶し、次に、すべてのＩ／Ｏ機能１４０の間で転送することを回避する。したがってコンピューティングシステム１００は、すべてのトラフィックがスイッチ１５０を介して経路指定される従来技術と比較すると、改善された性能を利用することができ、複数のエンドポイント（例えばＩ／Ｏ機能１４０）が単一の接続（例えばポート１２５と１３０の間の物理接続）を使用して、扇形に広がった形でホスト１０５に接続される。

図２は、例による、異なるデータ経路を有するパススルーインタフェース１３５を示したものである。すなわち図２は、コンピューティングシステム２００が図１に示されている直接データ経路および間接構成データ経路を有することができる、パススルーインタフェース１３５における回路機構の一例を示している。

簡潔にするために、図２の組み込まれた構成要素２６０は２つのＩ／Ｏ機能１４０Ａおよび１４０Ｂしか含んでいないが、任意の数のＩ／Ｏ機能またはＩ／Ｏデバイスを含むことができる。データをホスト１０５からＩ／Ｏ機能１４０または埋設されたスイッチ１５０へ経路指定するために、パススルーインタフェース１３５は、経路指定論理２０５およびデマルチプレクサ（ｄｅ－ｍｕｘ）２１５を含む。通常、経路指定論理２０５は、ホスト１０５のポート１２５から受け取ったパケット（下流側トラフィックと呼ばれる）の行先を決定する。経路指定論理２０５は、行先に基づいて、パケットが正しい行先へ経路指定されるよう、ｄｅ－ｍｕｘ２１５の選択線、すなわちＩ／Ｏ機能１４０または埋設されたスイッチ１５０のうちの１つを制御する。

この例では経路指定論理２０５は、ホスト１０５から受け取ったパケットに含まれているデータを復号し、そのパケットの行先を決定する復号器２１０を含む。一実施形態では、復号器２１０はパケットのタイプならびにそのパケットの行先ＩＤを識別する。パケットのタイプは、パケットを複数のＩ／Ｏ機能１４０のうちの１つへ直接データ経路を横切らせるべきか、あるいは埋設されたスイッチ１５０へ間接構成データ経路を横切らせるべきかどうかを決定する。すなわち、データパケットはＩ／Ｏ機能１４０へ直接送ることができ、一方、構成パケットは埋設されたスイッチ１５０へ伝送される。パケットがデータパケットであることを復号器２１０が決定すると、復号器２１０は、複数のＩ／Ｏ機能１４０のうちのそのパケットの行先であるＩ／Ｏ機能１４０を同じく決定することができる。組み込まれた構成要素２６０にＩ／Ｏ機能１４０を追加する場合、ホスト１０５は、ホスト１０５が復号器２１０に提供するＩＤをそのＩ／Ｏ機能１４０に割り当てることができる。ホスト１０５によって伝送されるデータパケットにこのＩＤを埋め込むことにより、復号器２１０はデータパケットの正しい行先を識別することができ、したがって経路指定論理２０５は、そのデータパケットを選択されたＩ／Ｏ機能１４０に対応する直接データ経路上に経路指定する。

上流側トラフィックを組み込まれた構成要素２６０からホスト１０５へ転送するために、パススルーインタフェース１３５は、ポート１３０を使用することができる組み込まれた構成要素２６０の回路構成要素を決定する調停論理２２０を含む。示されているように、ｍｕｘ２２５は複数のＩ／Ｏ機能１４０の各々および埋設されたスイッチ１５０をポート１３０に接続している。ｍｕｘ２２５のための選択信号が調停論理２２０によって提供される。一実施形態では、調停論理２２０は、これらの回路構成要素のうちのパケットをポート１３０に伝送することができる回路構成要素を決定する（例えば調停論理２２０時間はｍｕｘ２２５の選択線を制御する）。この例では調停論理２２０は、Ｉ／Ｏ機能１４０または埋設されたスイッチ１５０のうちの１つにのみ、ポート１３０へのアクセスを許容し、したがってデータ衝突は存在しない。調停論理２２０の詳細は以下でより詳細に考察される。

図２が示しているように、組み込まれた構成要素２６０がホスト１０５から下流側データを受け取り、またはホスト１０５に上流側データを伝送するかどうかに無関係に、データは、待ち行列に加えられることなくインタフェース１３５を通過することができる。したがってＩ／Ｏ機能１４０とホスト１０５との間の直接データ経路に沿って伝送されるトラフィックは、Ｉ／Ｏ機能１４０がそれらとホスト１０５との間の仲介者として埋設されたスイッチ１５０を当てにしているシステムと比較すると、待ち時間が短い。

パススルーインタフェース１３５と同様、埋設されたスイッチ１５０も調停論理２３０を同じく含む。すなわち、待ち行列１５５は複数のソースからの複数のパケット（例えばＩ／Ｏ機能１４０から受け取ったパケット、またはスイッチ１５０中の内部回路機構によって生成されたパケット）を記憶することができるため、調停論理２３０は、これらのパケットのうちの、待ち行列１５５における優先権を持つべきパケットを決定することができる（単純な先入れ先出しモデルではなく）。例えば調停論理２２０および調停論理２３０は、いずれも、Ｉ／Ｏ機能によって生成されたトラフィックにスイッチ中の内部回路機構によって生成されたトラフィックよりも上位の優先順位を付けることができ、あるいはＩ／Ｏ機能１４０Ａから受け取ったトラフィックにＩ／Ｏ機能１４０Ｂから受け取ったトラフィックよりも上位の優先順位を付けることができる。これについては以下でより詳細に考察される。

図３は、例による、データパケットおよび構成パケットを異なるデータ経路を使用してホストからＩ／Ｏ機能に伝送するための方法３００のフローチャートである。ブロック３０５で、組み込まれた構成要素がパススルーインタフェースでホストからパケットを受け取る。一実施形態では、組み込まれた構成要素は、組み込まれた構成要素とホストとの間の共有物理接続を当てにする複数のＩ／Ｏ機能（またはＩ／Ｏデバイス）を備えている。

ブロック３１０で、パススルーインタフェースの復号器が、受け取ったパケットがデータパケットであるか、または構成パケットであるかどうかを決定する。例えばパケットヘッダは、パケットのタイプを示すデータを含むことができる。この情報はホストによってパケットの中に入れることができ、あるいはこの情報は、パケットを伝送するために使用される物理輸送プロトコル（例えばＰＣＩｅ）の一部であってもよい。いずれの場合においても復号器は、パケット中の情報を復号して、それがデータパケットであるかどうかを決定することができ、あるいはより一般的には、時間に敏感なデータを有するパケットであるか、または構成パケット、例えば時間に敏感ではないデータを有するパケットであるかどうかを決定することができる。

データパケットと構成パケットの間の区別は、コンピューティングシステムの特定の実施態様に応じて変化し得る。例えばデータパケットは、ＤＭＡペイロード、ＣＸＬスヌープ、ＣＣＩＸメッセージ、等々であってもよく、一方、構成パケットは、ホット－スワップ、ホット－追加またはホット－除去を実施するための記述子またはコマンドを含む（例えばホスト－ツー－Ｉ／Ｏデバイス制御メッセージ）。本明細書における実施形態は、データをパケットタイプに従って分岐することができる任意のシステムと共に使用することができる。

パケットがデータパケットである場合、方法３００はブロック３１５へ進行し、パススルーインタフェースがデータパケットを対応するＩ／Ｏ機能へ直接経路指定する。言い換えると、パススルーインタフェースの経路指定論理は、組み込まれた構成要素の埋設されたスイッチをバイパスする直接データ経路上でデータパケットを転送する。一実施形態では、経路指定論理の復号器は、受け取ったデータパケットを復号して、そのパケットの行先を識別する（例えばデータパケット中の行先ＩＤを識別する）。例えばコンピューティングシステムを構成する場合（例えばＩ／Ｏ機能を追加し、あるいはＩ／Ｏ機能とホストとの間の通信を確立する場合）、ホストは、経路指定論理に知られている行先ＩＤをＩ／Ｏ機能に割り当てることができる。パケットを組み込まれた構成要素に伝送する場合、ホストは行先ＩＤをパケットの中に埋め込むことができる。復号器は、次に、これらのＩＤを識別することができ、また、経路指定論理は、例えばｄｅ－ｍｕｘを使用して、受け取ったパケットが適切なＩ／Ｏ機能へ転送されることを保証することができる。

しかしながらパケットが構成パケットである場合、方法３００は、ブロック３１５の代わりにブロック３２０へ進行し、パススルーインタフェースがその構成パケットを埋設されたスイッチへ転送する。ブロック３２５で、埋設されたスイッチが、その構成パケットの行先がスイッチ自体であるか、あるいは複数のＩ／Ｏ機能のうちの１つであるかどうかを決定する。すなわち方法３００では、ホストは、スイッチに宛てられる、特定のタスクを実施するようにスイッチを構成することができる構成パケットを伝送することができる。ホストは構成パケットをＩ／Ｏ機能に送ることも可能である。

構成パケットがスイッチに宛てられている場合、方法３００はブロック３３０へ進行し、埋設されたスイッチがスイッチの構成（ｃｏｎｆｉｇ）空間で（図２には示されていない）パケットを処理する。構成パケットは、ｃｏｎｆｉｇ空間を変えることによってスイッチの構成の操作を変更することができる。

構成パケットが複数のＩ／Ｏ機能のうちの１つに宛てられている場合、方法３００は、ブロック３３０の代わりにブロック３３５へ進行し、埋設されたスイッチがパケットを対応するＩ／Ｏ機能へ転送する。すなわちスイッチは、構成パケットが宛てられているＩ／Ｏ機能を識別し、間接構成データ経路を使用してパケットをそのＩ／Ｏ機能へ転送する。

図４は、例による、データパケットおよび構成パケットを異なるデータ経路を使用してＩ／Ｏ機能からホストに伝送するための方法４００のフローチャートである。すなわち方法３００は、２つのデータ経路を使用してデータをホストから組み込まれた構成要素の様々な回路構成要素に伝送するための技法を説明しているが、方法４００は、２つのデータ経路を使用した、組み込まれた構成要素からホストへのデータの伝送を説明している。

ブロック４０５で、埋設されたスイッチが複数のＩ／Ｏ機能のうちの１つから第１の構成パケット（例えば構成応答メッセージ）を受け取る。例えば第１の構成パケットは、ホストによってＩ／Ｏ機能に既に伝送された構成パケットに対する返答であってもよい。

並行して、または実質的に同時に、ブロック４１０で、埋設されたスイッチがスイッチ中のｃｏｎｆｉｇ空間から第２の構成パケットを受け取る。あるいは別の実施形態では、埋設されたスイッチは、複数のＩ／Ｏ機能のうちの２つのＩ／Ｏ機能から実質的に同時に２つ（または３つ以上）の構成パケットを受け取ることも可能である。

ブロック４１５で、埋設されたスイッチの調停論理が、埋設されたスイッチの第１の構成パケットと第２の構成パケットの間を調停する。すなわち、第１のパケットおよび第２のパケットを待ち行列に記憶し、パケットをパススルーインタフェースに伝送することができ、次にホストに伝送することができるまで、調停が完了するのを待機することができる。この調停論理は、スイッチ中のｃｏｎｆｉｇ空間よりもＩ／Ｏ機能を好み得る、または他の複数のＩ／Ｏ機能のうちの１つまたは複数よりも、複数のＩ／Ｏ機能のうちの１つを好み得るサービス品質（ＱｏＳ）政策に基づくことができる。

スイッチの調停論理が第１のパケットおよび第２のパケットのうちの最初に送る方のパケットを決定しても、スイッチは、パケットをパススルーインタフェースに伝送するまで依然として待機することができる。図２に示されているように、パススルーインタフェース１３５は、例えばｍｕｘ２２５を使用してホストにデータを伝送することが許容される回路（例えばスイッチまたは複数のＩ／Ｏ機能のうちの１つ）を決定する独自の調停論理２２０を有している。

ブロック４２０で、パススルーインタフェースの調停論理（例えば調停論理２２０）が、スイッチがホストにいつでも伝送することができる構成パケット（例えば第１の構成パケットおよび第２の構成パケット）を有していること、および少なくとも１つのＩ／Ｏ機能がホストのためのデータパケットを有していることの指示を受け取る。すなわち方法４００は、組み込まれた構成要素の少なくとも２つのデバイス（例えばスイッチおよび複数のＩ／Ｏ機能のうちの１つ、または複数のＩ／Ｏ機能の複数のＩ／Ｏ機能）がいつでもホストに送ることができるデータを有していることを仮定している。現時点でホストへのデータの伝送を希望している構成要素が１つだけである場合、調停論理は、何ら調停を実施することなく、単純にその構成要素に物理接続（例えばホストと集積回路の間の物理接続）の使用を許可することができる。

しかしながら複数の構成要素がホストへのデータの伝送を希望していると仮定すると、ブロック４２５で、パススルーインタフェースの調停論理が構成パケットとデータパケットの間で調停する。一実施形態では、調停論理は、データパケットに構成パケットよりも上位の優先順位を付けるＱｏＳ政策を使用することができる。言い換えると、ＱｏＳ政策は、スイッチによって伝送されるパケットよりも、Ｉ／Ｏ機能から直接伝送されるパケットを好むことができる。別の例では、ＱｏＳ政策はＩ／Ｏ機能を互いに対して優先順位を付けることができる。例えばホストのＶＭ（またはテナント）は異なる優先順位を有することができる。ホストの優先順位がより高いＶＭによって使用される組み込まれた構成要素の１つまたは複数のＩ／Ｏ機能には、ホストのより優先順位が低いＶＭによって使用されるＩ／Ｏ機能よりも、パススルーインタフェースの調停論理によって使用されるＱｏＳ政策におけるより高い優先順位を与えることができる。

ブロック４３０で、パススルーインタフェースの調停論理が、ホストへの選択されたパケット（調停によって決定された）の伝送を許可する。一実施形態では、調停論理は重付き調停を有しており、特定の時間の間、共有バスに調停論理がアクセスすることができること（あるいは特定の量または特定の数のデータを送ること）を、複数のＩ／Ｏ機能のうちの１つまたはスイッチに知らせる。この方法によれば、調停論理は、組み込まれた構成要素とホストとの間の共有物理接続を使用することができる組み込まれた構成要素の構成要素を制御することができる。

図５は、例による、新しいＩ／Ｏ機能にホットスワップするための方法５００のフローチャートである。説明を容易にするために、方法５００は、例による、新しいＩ／Ｏ機能が追加されているコンピューティングシステムを示す図６と連携して考察される。

ブロック５０５で、組み込まれた構成要素が新しいＩ／Ｏ機能を追加する要求をホストから受け取る。一実施形態では、組み込まれた構成要素のためのソフトウェアドライバ（ホストの中で実行される）が、新しいＩ／Ｏ機能を組み込まれた構成要素にホット－追加することを決定する。例えばホスト上で実行するＶＭまたはテナントが新しいＩ／Ｏ機能のための要求を送っていてもよく、あるいはＶＭまたはテナントが新しいＩ／Ｏ機能を要求していることをハイパーバイザが決定する。

図６では、コンピューティングシステム６００は、Ｉ／Ｏ機能の追加を処理中の組み込まれた構成要素６６０を含む。すなわち、ダッシュ線で示されているようにＡｃｃｅｌｅｒａｔｏｒ Ｆｕｎｃｔｉｏｎ ０（ＡＦ０）およびＣＸＬ．Ｃａｃｈｅ Ｘが組み込まれた構成要素６６０の中に追加されており、一方、ＡＦ１およびＣＸＬ．Ｃａｃｈｅ Ｙは組み込まれた構成要素６６０の中で既に動作中である。図６では、Ｉ／Ｏ機能すなわちＡＦ０、ＡＦ１、ＣＸＬ．Ｃａｃｈｅ ＸおよびＣＸＬ．Ｃａｃｈｅ Ｙはプログラマブル論理で実現されており、一方、ＡＦ０ Ｃｏｎｆｉｇ Ｓｐａｃｅ、ＩＤ－Ｘ Ｃｏｎｆｉｇ Ｓｐａｃｅ、ＩＤ－Ｙ Ｃｏｎｆｉｇ Ｓｐａｃｅ、ＡＦ１ Ｃｏｎｆｉｇ Ｓｐａｃｅおよび埋設されたＣＸＬ分離スイッチ６１５は硬化回路機構で実現されていることが仮定されている。すなわちプログラマブル論理を再構成することにより、組み込まれた構成要素６６０は、Ｉ／Ｏ機能すなわちＡＦ０、ＡＦ１、ＣＸＬ．Ｃａｃｈｅ ＸおよびＣＸＬ．Ｃａｃｈｅ Ｙをホット－スワップする（すなわちホット－追加またはホット－除去する）ことができる。しかしながら別の実施形態では、Ｉ／Ｏ機能は硬化論理で実現することも可能である。その例では、Ｉ／Ｏ機能を追加または除去するのではなく、ホスト１０５は、Ｉ／Ｏ機能を選択的に起動し、または起動を解除することによってＩ／Ｏ機能をホット－追加またはホット－除去することができる。

別の実施形態では、Ｉ／Ｏ機能すなわちＡＦ０、ＡＦ１、ＣＸＬ．Ｃａｃｈｅ ＸおよびＣＸＬ．Ｃａｃｈｅ Ｙ、ならびにＡＦ０ Ｃｏｎｆｉｇ Ｓｐａｃｅ、ＩＤ－Ｘ Ｃｏｎｆｉｇ Ｓｐａｃｅ、ＩＤ－Ｙ Ｃｏｎｆｉｇ Ｓｐａｃｅ、ＡＦ１ Ｃｏｎｆｉｇ Ｓｐａｃｅは、ＡＦ０およびＣＸＬ．Ｃａｃｈｅ Ｘが組み込まれた構成要素６６０に追加される場合、ホット追加事象の開始に先立って、部分的に再構成されたプログラマブル論理ビットストリームがＡＦ０およびＣＸＬ．Ｃａｃｈｅ Ｘに対して追加されるよう、プログラマブル論理で実現されている。この実施形態では、ＡＦ０およびＣＸＬ．Ｃａｃｈｅ Ｘは、いずれも、プログラマブル論理ビットストリームとして先にロードされる機能性を有するホット差込みデバイスであってもよい。

ブロック５１０で、組み込まれた構成要素がホストから新しいＩ／Ｏ機能のための構成情報およびバインディングを受け取る。一実施形態では、構成情報は、組み込まれた構成要素にＩ／Ｏ機能を追加し、または組み込まれた構成要素のＩ／Ｏ機能を起動するためのデータを含むことができる。さらに、ホストは、ホストによって新しいＩ／Ｏ機能に割り当てられた、Ｉ／Ｏ機能のためのバインディングとして使用される、パススルーインタフェース（より詳細にはパススルーインタフェースの経路指定論理）に識別データを知らせる識別データを伝送する。パススルーインタフェースの経路指定論理は、次に、受け取ったデータパケットを復号して、上記方法３００で説明したようにそのパケットを新しいＩ／Ｏ機能に経路指定すべきかどうかを決定する際に、この識別データを使用することができる。

ブロック５１０は、新しいＩ／Ｏ機能、データ経路バインディングおよび構成データバインディングのための構造を含むビットストリームを集積回路が受け取るサブブロック５１５を含む。一実施形態では、サブブロック５１５は、Ｉ／Ｏ機能がプログラマブル論理で実現される場合に実施される。例えば組み込まれた構成要素６６０は、ビットストリームを使用して、ＡＦ０およびＣＸＬ．Ｃａｃｈｅ Ｘを含むようにプログラマブル論理を構成することができる。また、ビットストリームは、ＡＦ０およびＩＤ－Ｘ Ｃｏｎｆｉｇ Ｓｐａｃｅｓのレジスタのための構造を同じく含むことができる。

データ経路バインディングは、パススルーインタフェースがデータパケットを新しいＩ／Ｏ機能へ直接経路指定するために使用する経路指定情報を提供することができる。一方、構成データバインディングは、埋設されたスイッチおよびパススルーインタフェース１３５が間接構成データ経路を使用して構成データパケットを新しいＩ／Ｏ機能へ経路指定するために使用する経路指定情報を含む。すなわちデータ経路バインディングにより、データはＣＸＬ．Ｃａｃｈｅ Ｘにパススルーインタフェース１３５から直接到達することができ、一方、構成データバインディングにより、データは埋設されたＣＸＬスイッチ６１５を介してＡＦ０およびＩＤ－Ｘ Ｃｏｎｆｉｇ Ｓｐａｃｅｓに到達することができる。

ブロック５２０で、組み込まれた構成要素が新しいＩ／Ｏ機能およびそのバインディングを起動する。すなわち組み込まれた構成要素が、新しいＩ／Ｏ機能を含むようにプログラマブル論理を構成するか、またはブロック５１０で得た情報を使用してそれまで駆動が解除されていた硬化回路機構中のＩ／Ｏ機能を起動する。

ブロック５２５で、組み込まれた構成要素が仮想Ｈｏｔ－Ｐｌｕｇ Ｅｖｅｎｔをホストに伝送する。図６では、スイッチ６１５は仮想Ｈｏｔ Ｐｌｕｇ Ｅｖｅｎｔを生成し、その事象をホスト上で実行するＨｏｓｔ Ｈｏｔ－Ｐｌｕｇソフトウェアドライバへ転送している。新しいＩ／Ｏ機能は上流側ポートに直接取り付けられてはいるが、仮想Ｈｏｔ Ｐｌｕｇ Ｅｖｅｎｔは、ＡＦ０ Ｃｏｎｆｉｇ Ｓｐａｃｅとスイッチ６１５の間の仮想エンドポイント接続に接続されている仮想下流側ポートに新しいＩ／Ｏ機能（例えば新しいＩ／Ｏデバイス）が差し込まれている（または通信結合されている）ことをホストに示す。

ブロック５３０で、ホストが、構成データ経路上で送られた構成パケットを使用して新しいＩ／Ｏ機能を発見する。例えばＨｏｓｔ Ｈｏｔ－Ｐｌｕｇ Ｓｏｆｔｗａｒｅ Ｄｒｉｖｅｒは仮想Ｈｏｔ－Ｐｌｕｇ Ｅｖｅｎｔに応答することができ、また、ＣＳＬルートポート（ＲＰ）６０５からＣＸＬ上流側ポート（ＵＳＰ）６１０へ、また、パススルーインタフェース１３５を介してスイッチ６１５へ経路指定された構成読出しメッセージを使用して、新しいエンドポイントＩ／Ｏ機能ＡＦ０およびＣＸＬ．Ｃａｃｈｅ Ｘの発見へ進行することができる。スイッチ６１５は、次に、構成読出しメッセージをＡＦ０およびＩＤ－Ｘ Ｃｏｎｆｉｇ Ｓｐａｃｅｓ中の仮想エンドポイントレジスタへ転送することができる。

ブロック５３５で、ホストが、対応するレジスタをプログラミングすることによって新しいＩ／Ｏ機能を列挙する。一実施形態では、ホスト１０５は、ＣＸＬ．Ｃａｃｈｅ ＸのデバイスＩＤおよびＡＦ０のデバイスＩＤを使用して、ＡＦ０およびＩＤ－Ｘ Ｃｏｎｆｉｇ ＳｐａｃｅｓレジスタをプログラミングすることによってＡＦ０およびＣＸＬ．Ｃａｃｈｅ Ｘを列挙する。ホスト１０５は、次に、直接データ経路および間接構成データ経路を使用して、データトラフィックを新しいＩ／Ｏ機能にいつでも通信することができる。

一実施形態では、以上のブロックが完了すると、ブロック５４０で、ホストおよび組み込まれた構成要素が直接データ経路を使用してデータパケットを新しいＩ／Ｏ機能へ経路指定する。ブロック５４５で、ホストおよび組み込まれた構成要素が間接構成データ経路を使用して構成パケットを新しいＩ／Ｏ機能へ経路指定する。この方法によれば、ホストおよび組み込まれた構成要素は新しいＩ／Ｏデバイスをホット－追加することができる。

図７は、例による、ホストが組み込まれた構成要素７６０を使用して実現されたコンバージドＮＩＣと通信しているコンピューティングシステム７００を示したものである。上記コンピューティングシステムと同様、コンピューティングシステム７００は、ＰＣＩｅ ＲＰ７０５とＰＣＩｅ ＵＳＰ７１０の間の単一の物理接続を使用して組み込まれた構成要素７６０に通信結合されているホスト１０５を含む。さらに、組み込まれた構成要素７６０は、ホスト１０５とＩ／Ｏ機能（すなわちＤＭＡ Ｅｎｇｉｎｅｓ０～３）との間の直接データ経路、および埋設されたＰＣＩｅ分離スイッチ７１５を含む間接構成データ経路を確立するためのパススルーインタフェース１３５を含む。

図７は、ＰＣＩｅ接続Ｓｅｒｖｅｒ（例えばホスト１０５）に接続されたＰＣＩｅ構成要素（例えば組み込まれた構成要素７６０）を示している。組み込まれた構成要素７６０は、ホスト１０５に対する、待ち時間が短く、かつ、帯域幅が広いインタフェースを有するＰＣＩ ＤＭＡ Ｅｎｇｉｎｅｓ０～３、および対応するサービスを含み、対応するサービスは、それらの制御および状態構造または構成空間とは別である。この例では個々のＤＭＡ Ｅｎｇｉｎｅｓ０～３は、コンバージドＮＩＣ（ＳｍａｒｔＮＩＣとも呼ばれる）の異なるネットワーク機能に対応している。例えばＤＭＡ Ｅｎｇｉｎｅ０はネットワークサービスに対応し、ＤＭＡ Ｅｎｇｉｎｅ１はＲｅｍｏｔｅ Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ（ＲＤＭＡ）サービスに対応し、ＤＭＡ Ｅｎｇｉｎｅ２はＮｏｎ－Ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ Ｅｘｐｒｅｓｓ Ｏｖｅｒ Ｆｉｂｅｒ（ＮＶＭＥｏＦ）サービスに対応し、また、ＤＭＡ Ｅｎｇｉｎｅ３は記憶サービスに対応している。Ｎｅｔｗｏｒｋ、ＲＤＭＡ、ＮＶＭＥｏＦおよびＳｔｏｒａｇｅ ＳｅｒｖｉｃｅｓのためのＨｉｇｈ Ｂａｎｄｗｉｄｔｈ Ｄｅｖｉｃｅ－ｔｏ－Ｈｏｓｔ ＤＭＡトラフィックは直接データ経路を追従している。さらに、これらのＮｅｔｗｏｒｋ、ＲＤＭＡ、ＮＶＭＥｏＦおよびＳｔｏｒａｇｅ Ｓｅｒｖｉｃｅｓのために宛てられる待ち時間が短いＨｏｓｔ－ｔｏ－Ｉ／Ｏ Ｆｕｎｃｔｉｏｎ Ｊｏｂ Ｄｅｓｃｒｉｐｔｏｒｓも同じく直接データ経路を追従することができる。それとは対照的に、ＰＣＩｅスイッチ７１５は、ＤＭＡ Ｅｎｇｉｎｅｓ０～３ならびに対応するＮｅｔｗｏｒｋ、ＲＤＭＡ、ＮＶＭＥｏＦおよびＳｔｏｒａｇｅ Ｃｏｎｆｉｇｕｒａｔｉｏｎ ＳｐａｃｅｓのためのＨｏｓｔ－ｔｏ－Ｉ／Ｏ Ｆｕｎｃｔｉｏｎ低性能制御経路トラフィックを間接構成データ経路に沿って経路指定することができる。

ＤＭＡ Ｅｎｇｉｎｅｓ０～３は、プログラマブル論理または硬化回路機構を使用して実現することができる。さらに、上で考察したホット－追加および除去技法を使用して、ＤＭＡ Ｅｎｇｉｎｅｓ０～３および対応するサービスを追加し、除去することができる（例えば起動し、起動を解除することができる）。

埋設されたスイッチを含む間接経路とは別の直接データ経路を作り出すことにより、本明細書における実施形態は、エンドポイント（例えばＩ／Ｏ機能）をホット－差込み、追加／除去する能力を含む、ホストに対する、待ち時間が短く、帯域幅が広いデータ経路インタフェースをもたらす。スイッチを介して調停する代わりに直接データ経路を使用することにより、ＣＸＬ．Ｃａｃｈｅ実施形態およびＣＣＩＸ Ｃａｃｈｅ実施形態のための待ち時間が短いスヌープ応答、ＣＸＬ．ｍｅｍ実施形態およびＣＣＩＸ Ｈｏｍｅ Ａｇｅｎｔ ａｎｄ Ｓｌａｖｅ Ａｇｅｎｔ実施形態のための待ち時間が短く、かつ、帯域幅が広いメモリトラフィック、およびＰＣＩｅ Ｅｎｄｐｏｉｎｔ実施形態のための待ち時間が短い記述子通信および帯域幅が広いＤＭＡ Ｒｅａｄｓ／Ｗｒｉｔｅｓなどの、多くの実施形態のための優れた性能が得られる。

以上の説明には、本開示において提示されている実施形態が参照されている。しかしながら本開示の範囲は、説明されている特定の実施形態に限定されない。そうではなく、異なる実施形態に関連しているにせよ、あるいは関連していないにせよ、説明されている特徴および要素の任意の組合せが実現されるべく企図されており、また、企図された実施形態を実践することが企図されている。さらに、本明細書において開示されている実施形態は、他の可能な解決法に優る、あるいは従来技術に優る利点を達成することができるが、特定の利点が所与の実施形態によって達成されるにせよ、あるいは達成されないにせよ、本開示の範囲を限定しない。したがって以上の態様、特徴、実施形態および利点は単に例証的なものにすぎず、特許請求項で明確に記載されている場合を除き、添付の特許請求の範囲の要素または限定とは見なされない。

当業者には認識されるように、本明細書において開示されている実施形態は、システム、方法またはコンピュータプログラム製品として具体化することができる。したがって態様は、全面的にハードウェア実施形態の形態、全面的にソフトウェア実施形態の形態（ファームウェア、常駐ソフトウェア、マイクロ－コード、等々を含む）、またはソフトウェア態様およびハードウェア態様を組み合わせた実施形態の形態を取ることができ、これらは、すべて、本明細書においては、一括して「回路」、「モジュール」または「システム」と呼ぶことができる。さらに、態様は、コンピュータ可読プログラムコードがその上に具体化された、１つまたは複数のコンピュータ可読媒体の中に具体化されたコンピュータプログラム製品の形態を取ることも可能である。

任意の組合せの１つまたは複数のコンピュータ可読媒体を利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えばそれらに限定されないが、電子、磁気、光、電磁、赤外線または半導体のシステム、装置またはデバイス、あるいはそれらの任意の適切な組合せであってもよい。コンピュータ可読記憶媒体のより具体的な例としては（非排他的列挙）、１つまたは複数の配線を有する電気接続、携帯型コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、携帯型コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイスまたはそれらの任意の適切な組合せを挙げることができる。この文書の文脈においては、コンピュータ可読記憶媒体は、命令実行システム、装置またはデバイスが使用するための、あるいはこれらの命令実行システム、装置またはデバイスと関連して使用するためのプログラムを含み、または記憶することができる任意の有形媒体である。

コンピュータ可読信号媒体は、中に、例えばベースバンドの中に、または搬送波の一部として、コンピュータ可読プログラムコードが具体化された伝搬データ信号を含むことができる。このような伝搬信号は、それらに限定されないが、電磁、光またはそれらの任意の適切な組合せを含む任意の様々な形態を取ることができる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置またはデバイスが使用するための、あるいはこれらの命令実行システム、装置またはデバイスと関連して使用するためのプログラムを通信し、伝搬し、または輸送することができる任意のコンピュータ可読媒体であってもよい。

コンピュータ可読媒体の上に具体化されたプログラムコードは、それらに限定されないが、無線、配線、光ファイバケーブル、ＲＦ、等々、またはそれらの任意の適切な組合せを含む任意の適切な媒体を使用して伝送することができる。

本開示の態様のための操作を実施するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋、等々などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語などの従来の手続きプログラミング言語、または同様のプログラミング言語を含む１つまたは複数のプログラミング言語の任意の組合せで作成することができる。プログラムコードは、ユーザのコンピュータ上ですべてを実行し、ユーザのコンピュータ上で、独立ソフトウェアパッケージとして一部を実行し、ユーザのコンピュータ上で一部を実行し、かつ、遠隔コンピュータ上で一部を実行し、あるいは遠隔コンピュータまたはサーバ上ですべてを実行することができる。後者のシナリオの場合、遠隔コンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続することができ、あるいはこの接続は、外部コンピュータに対して実施することも可能である（例えばインターネットサービスプロバイダを使用してインターネットを介して）。

本開示の態様は、以下で、フローチャート図解、および／または本開示で提示されている実施形態による方法、装置（システム）およびコンピュータプログラム製品のブロック図を参照して説明される。フローチャート図解および／またはブロック図の個々のブロック、およびフローチャート図解および／またはブロック図におけるブロックの組合せは、コンピュータプログラム命令によって実現することができることは理解されよう。これらのコンピュータプログラム命令は、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行する命令が、フローチャートおよび／またはブロック図の１つまたは複数のブロックに明記されている機能／作用を実現するための手段を作り出すよう、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサに提供して機械を製造することができる。

これらのコンピュータプログラム命令は、コンピュータ可読媒体に記憶された命令が、フローチャートおよび／またはブロック図の１つまたは複数のブロックに明記されている機能／作用を実現する命令を含む製造の物品をもたらすよう、特定の方法で機能するようにコンピュータ、他のプログラマブルデータ処理装置または他のデバイスを導くことができるコンピュータ可読媒体に同じく記憶することができる。

コンピュータプログラム命令は、コンピュータまたは他のプログラマブル装置上で実行する命令が、フローチャートおよび／またはブロック図の１つまたは複数のブロックに明記されている機能／作用を実現するためのプロセスを提供するよう、コンピュータ、他のプログラマブルデータ処理装置または他のデバイスに同じくロードして、それらのコンピュータ、他のプログラマブル装置または他のデバイス上で一連の操作ステップを実施させ、それによりコンピュータ実現プロセスを生成することができる。

図のフローチャートおよびブロック図は、本発明の様々な例によるシステム、方法およびコンピュータプログラム製品の可能な実施態様のアーキテクチャ、機能性および操作を示している。この点に関し、フローチャートまたはブロック図における個々のブロックは、明記されている論理機能を実現するための１つまたは複数の実行可能命令を含む、命令のモジュール、セグメントまたは部分を表すことができる。いくつかの代替実施態様では、ブロックの中で言及されている機能は、図の中で言及されている順序から外れて生じ得る。例えば連続して示されている２つのブロックは、実際、実質的に同時に実行することができ、あるいはこれらのブロックは、時によっては、含まれている機能性に応じて逆の順序で実行することも可能である。ブロック図および／またはフローチャート図解の個々のブロック、およびブロック図および／またはフローチャート図解におけるブロックの組合せは、明記された機能または作用を実施し、あるいは専用ハードウェアとコンピュータ命令の組合せを実施する専用ハードウェアベースシステムによって実現することができることに同じく留意されよう。

本開示は、以下の非限定の例のうちの１つまたは複数によって説明することも可能である。

例１．第１のポートを含むホストと、組み込まれた構成要素とを含むコンピューティングシステム。組み込まれた構成要素は、第２のポートであって、第１のポートおよび第２のポートがホストと組み込まれた構成要素との間の物理接続を形成する、第２のポートと、複数のＩ／Ｏ機能と、埋設されたスイッチと、第２のポートを介してホストからパケットを受け取り、パケットのタイプを識別し、かつ、パケットのタイプに基づいて、複数のＩ／Ｏ機能のうちの行先Ｉ／Ｏ機能へ直接パケットを経路指定するかまたは埋設されたスイッチを使用して行先Ｉ／Ｏ機能へ間接的にパケットを経路指定するように構成されたパススルーインタフェースとを含む。

例２．複数のＩ／Ｏ機能が互いに独立して動作し、異なるＩ／Ｏ機能を実施する、例１のコンピューティングシステム。

例３．パケットのタイプが、そのパケットが時間に敏感なデータパケットであるかどうかを示し、そのパケットを行先Ｉ／Ｏ機能へ直接経路指定することが、埋設されたスイッチをバイパスする、例１のコンピューティングシステム。

例４．パススルーインタフェースが、複数のＩ／Ｏ機能のうちの第１のＩ／Ｏ機能および埋設されたスイッチの両方が、いつでもホストに伝送することができるデータを有していることの指示を受け取り、また、データをホストの第１のポートに伝送するために、第１のＩ／Ｏ機能および埋設されたスイッチのうちのどちらに第２のポートの使用を許可するかを決定するために調停するように構成された調停論理を含む、例１のコンピューティングシステム。

例５．パススルーインタフェースが、パケットのタイプを識別し、また、行先Ｉ／Ｏ機能に対応するパケット中の行先ＩＤを識別するための経路指定論理を含む、例１のコンピューティングシステム。

例６．ホストが、複数のＩ／Ｏ機能が並行して動作している間、新しいＩ／Ｏ機能を組み込まれた構成要素の中にホット追加するように構成される、例１のコンピューティングシステム。

例７．新しいＩ／Ｏ機能をホット追加することが、その新しいＩ／Ｏ機能を含むように組み込まれた構成要素のプログラマブル論理を構成することを含む、例６のコンピューティングシステム。

例８．新しいＩ／Ｏ機能をホット追加することが、それまで起動が解除されていた新しいＩ／Ｏ機能を起動することを含み、その新しいＩ／Ｏ機能が硬化論理で実現される、例６のコンピューティングシステム。

例９．ホスト上の第２のポートとの物理接続を形成するように構成された第１のポートと、複数のＩ／Ｏ機能と、埋設されたスイッチと、第１のポートを介してホストからパケットを受け取り、パケットのタイプを識別し、かつ、パケットのタイプに基づいて、複数のＩ／Ｏ機能のうちの行先Ｉ／Ｏ機能へ直接パケットを経路指定するかまたは埋設されたスイッチを使用して行先Ｉ／Ｏ機能へ間接的にパケットを経路指定するように構成されたパススルーインタフェースとを含む装置。

例１０．複数のＩ／Ｏ機能が独立したＩ／Ｏデバイスであり、独立したＩ／Ｏデバイスの各々が少なくとも部分的にプログラマブル論理で実現される、例９の装置。

例１１．独立したＩ／Ｏデバイスが同じ集積回路の中に形成される、例１０の装置。

例１２．複数のＩ／Ｏ機能が独立したＩ／Ｏデバイスであり、独立したＩ／Ｏデバイスの各々が硬化論理を使用して実現される、例９の装置。

例１３．独立したＩ／Ｏデバイスが同じ集積回路の中に形成される、例１２の装置。

例１４．基板をさらに含み、複数のＩ／Ｏ機能の各々が異なる集積回路で実現され、異なる集積回路および埋設されたスイッチが基板の上に取り付けられる、例９の装置。

例１５．装置が、複数のＩ／Ｏ機能が並行して動作している間、新しいＩ／Ｏ機能をホット追加するように構成される、例９の装置。

例１６．新しいＩ／Ｏ機能をホット追加することが、その新しいＩ／Ｏ機能を含むように装置のプログラマブル論理を構成することを含む、例１５の装置。

例１７．新しいＩ／Ｏ機能をホット追加することが、それまで起動が解除されていた新しいＩ／Ｏ機能を起動することを含み、その新しいＩ／Ｏ機能が装置の硬化論理で実現される、例１５の装置。

例１８．組み込まれた構成要素のパススルーインタフェースでホストから第１のパケットを受け取ることであって、組み込まれた構成要素が複数のＩ／Ｏ機能と、パススルーインタフェースに通信結合された埋設されたスイッチとを含む、第１のパケットを受け取ることと、第１のパケットがデータパケットであることを決定することであって、複数のＩ／Ｏ機能のうちの第１のＩ／Ｏ機能がそのデータパケットの行先である、決定することと、埋設されたスイッチをバイパスする直接データ経路を使用して、データパケットをパススルーインタフェースから第１のＩ／Ｏ機能へ直接経路指定することと、パススルーインタフェースでホストから第２のパケットを受け取ることと、第２のパケットが構成パケットであることを決定することであって、第１のＩ／Ｏ機能がその構成パケットの行先である、決定することと、データパケットを埋設されたスイッチを介してパススルーインタフェースから第１のＩ／Ｏ機能へ経路指定することとを含む方法。

例１９．データパケットを埋設されたスイッチを介してパススルーインタフェースから第１のＩ／Ｏ機能へ経路指定することが、構成パケットをパススルーインタフェースから埋設されたスイッチへ経路指定することと、埋設されたスイッチで、第１のＩ／Ｏ機能がその構成パケットの行先であることを決定することと、構成パケットを埋設されたスイッチから第１のＩ／Ｏ機能へ転送することとをさらに含み、方法が、第３のパケットをホストからパススルーインタフェースで受け取ることと、第３のパケットが異なる構成パケットであることを決定することと、その異なる構成パケットを埋設されたスイッチへ経路指定することと、埋設されたスイッチで、埋設されたスイッチがその異なる構成パケットの行先であることを決定することとをさらに含む、例１８の方法。

例２０．パススルーインタフェースで、埋設されたスイッチおよび複数のＩ／Ｏ機能のうちの少なくとも２つがホストにいつでも伝送することができるパケットを有していることを決定することをさらに含み、データをホストに伝送するために、どちらに組み込まれた構成要素の共有ポートの使用を許可するかを決定するべく、サービス品質（ＱｏＳ）政策に基づいて、埋設されたスイッチと複数のＩ／Ｏ機能のうちの少なくとも２つとの間で調整する、例１９の方法。

以上では特定の例が対象にされているが、それらの基本的な範囲を逸脱することなく、他の例およびさらなる例を工夫することも可能であり、それらの範囲は、添付の特許請求の範囲によって決定される。

Claims (15)

1. コンピューティングシステムであって、
   第１のポートを備えるホストと、
   組み込まれた構成要素であって、
   第２のポートであって、前記第１のポートおよび第２のポートが前記ホストと前記組み込まれた構成要素との間の物理接続を形成する、第２のポートと、
   複数のＩ／Ｏ機能と、
   埋設されたスイッチと、
   前記第２のポートを介して前記ホストからパケットを受け取り、前記パケットのタイプを識別し、かつ、前記パケットの前記タイプに基づいて、前記複数のＩ／Ｏ機能のうちの行先Ｉ／Ｏ機能へ直接前記パケットを経路指定するかまたは前記埋設されたスイッチを使用して前記行先Ｉ／Ｏ機能へ間接的に前記パケットを経路指定するように構成されたパススルーインタフェースと
   を備える、組み込まれた構成要素と
   を備えるコンピューティングシステム。
2. 前記複数のＩ／Ｏ機能が互いに独立して動作し、異なるＩ／Ｏ機能を実施する、請求項１に記載のコンピューティングシステム。
3. 前記パケットの前記タイプが、前記パケットが時間に敏感なデータパケットであるかどうかを示し、前記パケットを前記行先Ｉ／Ｏ機能へ直接経路指定することが、前記埋設されたスイッチをバイパスする、請求項１に記載のコンピューティングシステム。
4. 前記パススルーインタフェースが、前記複数のＩ／Ｏ機能のうちの第１のＩ／Ｏ機能および前記埋設されたスイッチの両方が、いつでも前記ホストに伝送することができるデータを有していることの指示を受け取り、また、データを前記ホストの前記第１のポートに伝送するために、前記第１のＩ／Ｏ機能および前記埋設されたスイッチのうちのどちらに前記第２のポートの使用を許可するかを決定するために調停するように構成された調停論理を備える、請求項１に記載のコンピューティングシステム。
5. 前記パススルーインタフェースが、前記パケットの前記タイプを識別し、また、前記行先Ｉ／Ｏ機能に対応する前記パケット中の行先ＩＤを識別するための経路指定論理を備える、請求項１に記載のコンピューティングシステム。
6. 前記ホストが、前記複数のＩ／Ｏ機能が並行して動作している間、新しいＩ／Ｏ機能を前記組み込まれた構成要素の中にホット追加するように構成される、請求項１に記載のコンピューティングシステム。
7. 前記新しいＩ／Ｏ機能をホット追加することが、
   前記新しいＩ／Ｏ機能を含むように前記組み込まれた構成要素のプログラマブル論理を構成すること、または
   それまで起動が解除されていた前記新しいＩ／Ｏ機能を起動することであって、前記新しいＩ／Ｏ機能が硬化論理で実現される、前記新しいＩ／Ｏ機能を起動すること
   を含む、請求項６に記載のコンピューティングシステム。
8. 装置であって、
   ホスト上の第２のポートとの物理接続を形成するように構成された第１のポートと、
   複数のＩ／Ｏ機能と、
   埋設されたスイッチと、
   前記第１のポートを介して前記ホストからパケットを受け取り、前記パケットのタイプを識別し、かつ、前記パケットの前記タイプに基づいて、前記複数のＩ／Ｏ機能のうちの行先Ｉ／Ｏ機能へ直接前記パケットを経路指定するかまたは前記埋設されたスイッチを使用して前記行先Ｉ／Ｏ機能へ間接的に前記パケットを経路指定するように構成されたパススルーインタフェースと
   を備える装置。
9. 前記複数のＩ／Ｏ機能が独立したＩ／Ｏデバイスであり、前記独立したＩ／Ｏデバイスの各々が少なくとも部分的にプログラマブル論理で実現される、請求項８に記載の装置。
10. 前記複数のＩ／Ｏ機能が独立したＩ／Ｏデバイスであり、前記独立したＩ／Ｏデバイスの各々が硬化論理を使用して実現される、請求項８に記載の装置。
11. 前記独立したＩ／Ｏデバイスが同じ集積回路の中に形成される、請求項９または１０に記載の装置。
12. 基板
    をさらに含み、前記複数のＩ／Ｏ機能の各々が異なる集積回路で実現され、前記異なる集積回路および前記埋設されたスイッチが前記基板の上に取り付けられる、請求項８に記載の装置。
13. 前記装置が、前記複数のＩ／Ｏ機能が並行して動作している間、新しいＩ／Ｏ機能をホット追加するように構成される、請求項８に記載の装置。
14. 前記新しいＩ／Ｏ機能をホット追加することが、
    前記新しいＩ／Ｏ機能を含むように前記装置のプログラマブル論理を構成すること、または
    それまで起動が解除されていた前記新しいＩ／Ｏ機能を起動することであって、前記新しいＩ／Ｏ機能が前記装置の硬化論理で実現される、前記新しいＩ／Ｏ機能を起動すること
    を含む、請求項１３に記載の装置。
15. 方法であって、
    組み込まれた構成要素のパススルーインタフェースでホストから第１のパケットを受け取ることであって、前記組み込まれた構成要素が複数のＩ／Ｏ機能と、前記パススルーインタフェースに通信結合された埋設されたスイッチとを備える、第１のパケットを受け取ることと、
    前記第１のパケットがデータパケットであることを決定することであって、前記複数のＩ／Ｏ機能のうちの第１のＩ／Ｏ機能が前記データパケットの行先である、前記第１のパケットがデータパケットであることを決定することと、
    前記埋設されたスイッチをバイパスする直接データ経路を使用して、前記データパケットを前記パススルーインタフェースから前記第１のＩ／Ｏ機能へ直接経路指定することと、
    前記パススルーインタフェースで前記ホストから第２のパケットを受け取ることと、
    前記第２のパケットが構成パケットであることを決定することであって、前記第１のＩ／Ｏ機能が前記構成パケットの行先である、前記第２のパケットが構成パケットであることを決定することと、
    前記データパケットを前記埋設されたスイッチを介して前記パススルーインタフェースから前記第１のＩ／Ｏ機能へ経路指定することと
    を含む方法。

Images