JP6790015B2 - 拡張周辺コンポーネント相互接続エクスプレスファブリックのためのシステムおよび方法 - Google Patents

拡張周辺コンポーネント相互接続エクスプレスファブリックのためのシステムおよび方法 Download PDF

Info

Publication number
JP6790015B2
JP6790015B2 JP2018075275A JP2018075275A JP6790015B2 JP 6790015 B2 JP6790015 B2 JP 6790015B2 JP 2018075275 A JP2018075275 A JP 2018075275A JP 2018075275 A JP2018075275 A JP 2018075275A JP 6790015 B2 JP6790015 B2 JP 6790015B2
Authority
JP
Japan
Prior art keywords
pcie
pcie fabric
fabric
host
extended
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018075275A
Other languages
English (en)
Other versions
JP2018125028A (ja
Inventor
ウェズリー・シャオ
Original Assignee
ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホアウェイ・テクノロジーズ・カンパニー・リミテッド filed Critical ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Publication of JP2018125028A publication Critical patent/JP2018125028A/ja
Application granted granted Critical
Publication of JP6790015B2 publication Critical patent/JP6790015B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4004—Coupling between buses
    • G06F13/4027—Coupling between buses using bus bridges
    • G06F13/4045—Coupling between buses using bus bridges where the bus bridge performs an extender function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668—Details of memory controller
    • G06F13/1684—Details of memory controller using multiple buses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4004—Coupling between buses
    • G06F13/4022—Coupling between buses using switching circuits, e.g. switching matrix, connection or expansion network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4004—Coupling between buses
    • G06F13/4027—Coupling between buses using bus bridges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4204—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus
    • G06F13/4221—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus being an input/output bus, e.g. ISA bus, EISA bus, PCI bus, SCSI bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0026—PCI express

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Information Transfer Systems (AREA)
  • Bus Control (AREA)

Description

関連出願の相互参照
本出願は、2013年6月28日に出願した、発明の名称「System and Method for Extended Peripheral Component Interconnect Express Fabrics」という名称の米国非仮出願第13/931,640号の利益を主張するものであり、この出願は、参照により本明細書に組み込まれる。
本発明は、広くコンピューティング業界に関し、かつより具体的には、周辺コンポーネント相互接続エクスプレス(PCIe)ファブリックを拡張するシステム、方法、コンピュータプログラム製品、および装置に関する。
周辺コンポーネント相互接続エクスプレス(PCIe)は、様々なハードウェアデバイス(例えば、ストレージデバイス、ネットワークカード、およびサウンドカード等)をホスト中央処理装置(CPU)に取り付けるために広く使用される高速シリアルコンピュータ拡張バス規格である。ホストCPUメモリ構成はベンダ特有であってよいため、PCIeは、様々なデバイスをCPUに接続するための入力/出力(I/O)規格を提供する。PCIeは、古いバス規格(例えば、PCIおよびPCI-eXtended)を越えて様々な改良を可能にする。例えば、PCIeは、一般には、高い最大のシステムバススループット、低いI/Oピンカウント、小さいバスフットプリント、ネイティブホットプラグ機能、およびその他の利点を可能にする。
PCIeバス規格が有する問題は、各PCIeファブリックがリソースの有限量によって制限されることである。例えば、各PCIeファブリックの32ビットのアドレスのメモリ空間のサイズが4GBを超えないようにし、かつ各ファブリックは、最大値の256バス番号を有することができる。PCIeは、ポイントツーポイントのシリアル接続で動作するので、これらの制限は、PCIeファブリックに取り付けることができるノード(すなわち、デバイス)の最大数の上限を定める。つまり、様々なデバイス用のバス番号は、重複しなくてもよく、それぞれ取り付けられたデバイスは、機能するために固有のバス番号のセットを必要とする。PCIeファブリック内の様々なバス番号は、特定の使用(例えば、PCIeスイッチの内部のバス番号またはホットプラグ機能等)のために予約されてもよく、さらに利用可能なバス番号の数を制限する。
さらに、PCIeファブリックに取り付けられている任意のコンポーネントで発生する障害は、障害のあるコンポーネントに取り付けられている任意の他の下流または上流のコンポーネントに影響を与える可能性がある。PCIeファブリックに取り付けられるコンポーネントおよびソフトウェアドライバの数が増加すると、障害処理はより困難になり、かつ任意の障害の伝播は、システム全体のクラッシュにつながる可能性がある。
拡張周辺コンポーネント相互接続エクスプレスファブリックを提供する本発明の好適な実施形態によって、これらおよび他の問題は、一般に解決または回避され、かつ技術的利点が一般に達成される。
一実施例によれば、周辺コンポーネント相互接続エクスプレストポロジーは、ホストルートコンプレックスを備えるホストPCIeファブリックを含む。ホストPCIeファブリックは、ホスト中央処理装置(CPU)上にバス番号の第1のセットおよび第1のメモリマップト入力/出力(MMIO)空間を含む。さらに、ホストPCIeファブリックのエンドポイントの一部としてルートコンプレックスエンドポイント(RCEP)を含む拡張PCIeファブリックが提供される。拡張PCIeファブリックはまた、バス番号の第1のセットおよび第1のMMIO空間から別けられたバス番号の第2のセットおよび第2のMMIO空間をそれぞれ含む。
別の実施例によれば、周辺コンポーネント相互接続エクスプレス(PCIe)トポロジーは、拡張PCIeファブリックを含む。拡張PCIeファブリックは、ルートコンプレックスエンドポイント(RCEP)を含む。RCEPは、第1レベルPCIeファブリックのエンドポイントの一部であるように構成される。さらに、拡張PCIeファブリックは、メモリマップト入力/出力(MMIO)空間およびバス番号のセットを備える。
さらに別の実施例によれば、周辺機器を接続するための方法は、ホストPCIeファブリックのエンドポイントの一部として、拡張周辺コンポーネント相互接続エクスプレス(PCIe)ファブリックをホストするルートコンプレックスエンドポイント(RCEP)を提供するステップを含む。拡張PCIeファブリックは、ホストPCIeファブリックの第2のMMIO空間から別けられた第1のMMIO空間を有する。方法は、第1のMMIO空間を第2のMMIO空間にマッピングするステップをさらに含む。
本発明と、その利点をより十分に理解するために、添付図面と併せて以下の説明が参照される。
様々な実施例に基づく周辺コンポーネント相互接続エクスプレス(PCIe)ファブリックのブロック図である。 様々な実施例に基づく拡張ファブリックをマッピングし、かつアドレッシングするPCIeコンフィギュレーション空間のブロック図である。 様々な実施例に基づく拡張ファブリックをマッピングし、かつアドレッシングするPCIeコンフィギュレーション空間のブロック図である。 様々な実施例に基づく拡張ファブリックをマッピングし、かつアドレッシングする32ビットメモリ空間のブロック図である。 様々な実施例に基づく拡張ファブリックをマッピングし、かつアドレッシングする32ビットメモリ空間のブロック図である。 様々な実施例に基づく拡張ファブリックをマッピングし、かつアドレッシングする64ビットメモリ空間のブロック図である。 様々な実施例に基づく拡張ファブリックをマッピングし、かつアドレッシングする64ビットメモリ空間のブロック図である。 様々な実施例に基づくPCIeファブリックを有するコンピューティングシステムのシステム図である。
包含されるイノベーションの様々な態様をカバーする実施例が、以下に、より詳細に説明される。しかしながら、本発明は、多種多様な特定のコンテンツに具現することができる多くの適用可能な固有かつ新規なコンセプトを提供するということは理解されるべきである。従って、本明細書に記載される特定の実施形態は、本発明の様々な態様を作成、使用、および実装するための特定の方法を単に例示しているに過ぎず、特に断らない限り、必ずしもその範囲を限定しない。
以下の様々な実施例は、特定のコンテキスト、すなわち、周辺コンポーネント相互接続エクスプレス(PCIe)バス規格ファブリックで説明される。しかしながら、理解されるように、そのような実施例は、他のファブリック(例えば、リソース制限を有する上下逆ツリー(upside down tree)トポロジー)をさらに拡張してもよい。
本明細書で説明するように、ルートコンプレックスは、PCIeファブリックと、ホスト中央処理装置(CPU)との間のブリッジとしての機能を果たすハードウェア構成である。ルートコンプレックスは、CPUの一部として統合されてもよい。例えば、図5は、CPU500の一部としてルートコンプレックス502を示している。ルートコンプレックスは、CPUと、同一のPCIeファブリック(例えば、PCIeファブリック504)に接続されたデバイス(例えば、デバイス506および508)との間の様々な要求を管理し、かつ転送する。ルートコンプレックスは、PCIeメモリ空間上に、様々な接続されたデバイス(レジスタおよびメモリロケーションのようなデバイス記憶場所を含む)をさらにマッピングする。マッピングおよびメモリ空間のこれらのタイプは、メモリマップト入力/出力(MMIO)空間として知られる。
さらに、本明細書で使用されるように、MMIO空間は、32ビットアドレスを使用してアドレス可能なメモリの一部分を含んでもよく、一般にMMIO空間の第1の4GBに制限される。MMIO空間は、64ビットアドレスを使用してアドレス可能なメモリの一部分をさらに含んでもよく、第1の4GBの上のMMIO空間にマッピングされてもよい。本明細書で説明される様々な実施例は、ホストPCIeファブリックのエンドポイントの一部として、1以上の追加のルートコンプレックスハードウェア構造を含む。ルートコンプレックス機能をエンドポイント(ルートコンプレックスエンドポイント(RCEP)と呼ばれる)に追加することによって、追加のPCIeファブリックは、ホストPCIeの有限リソースに限定されない拡張PCIeファブリックを形成するように接続されてもよい。
例えば、図5は、追加のエンドポイント(例えば、デバイス512および514)をホストCPU500に接続するRCEP508および拡張PCIeファブリック510を示している。様々な実施例によれば、これらのRCEPは、障害を、ファブリックまたはデバイスに隣接する汚染から単離するために使用されてもよい。さらに、他の実施例は、既存の周辺デバイスドライバと互換性があるRCEPsおよび拡張PCIeファブリックを提供し、従って、既存のデバイスドライバへのソフトウェア更新のいかなる必要性も排除する。
図1は、様々な実施例に基づく拡張PCIeファブリック118に接続された第1レベルPCIeファブリック100のブロック図を示している。PCIeファブリック100は、ホストCPUと、PCIeファブリック100に接続された様々なデバイスとの間の様々な要求を管理し、かつ転送するホストルートコンプレックス102を備えてもよい。一般に、ルートコンプレックス102は、256の固有のバス番号のセットと、MMIO空間とを所有しており、かつそれは、様々な接続されたデバイス(それらに関連するレジスタおよび/またはメモリーハードウェアを含む)を、そのMMIO空間にマッピングする。さらに、ルートコンプレックス102は、ホストCPUと、PCIeファブリック100(例えば、エンドポイント106および108)に接続されたデバイスとの間で、PCI対PCI接続を可能にするハードウェアブリッジ構造であるルートポート103を含んでもよい。図1は、1つのみのルートポート103を有するとするルートコンプレックス102を示しているが、典型的ルートコンプレックス102は、複数のルートポート103(例えば、4つから6つのルートポート)を有してもよい。
図1に示されるように、ルートコンプレックス102は、ルートポート103およびスイッチ104を介して、電気的にエンドポイント106および108に接続されている。典型的には、エンドポイント106および108は、PCIeファブリック100の末端部を成す構造である。そのようなエンドポイント106および108は、ストレージデバイスと、ネットワークデバイスと、サウンドカードと、ビデオカード等とを含んでもよい。図1には、スイッチ104が示されており、様々なエンドポイント(例えば、106および108)をルートコンプレックス102に相互接続している少なくとも1つのアップストリームポート(ポート104A)および多数のダウンストリームポート(例えば、ポート104B)を含んでもよい。本明細書において一般に使用されるように、アップストリームポートは、ホストルートコンプレックス(例えば、ルートコンプレックス102)に向かってポイントするポートを示し、一方で、ダウンストリームポートは、それから離れてポイントするポートを示している。
スイッチ104は、複数のデバイスが単一のルートポート103に接続することを可能にする内部バスを含んでもよく、一方でさらに、PCIe規格によって使用されるポイントツーポイントのシリアル接続を維持する。図1は、2つのエンドポイント106および108をルートポート103に接続する1つのスイッチ104を示しているに過ぎないが、様々な実施例は、任意の数のスイッチに接続される複数のルートポートを意図しており、各スイッチは、任意の様々な数のエンドポイントに接続されてもよい。あるいは、または組み合わせて、ルートポート103は、エンドポイントに直接接続されてもよい。従って、本明細書における図1または他の図面に示される構成は、例示目的のみであり、他の方法で明示的に主張されない限り、本発明の範囲を制限またはそうでなければ狭めることを意図していない。
図1に示されるように、実施例によれば、エンドポイント106は、ルートコンプレックスエンドポイント(RCEP)であってもよく、拡張PCIeファブリック118と、第1レベルPCIeファブリック100との間のハードウェアブリッジを提供する。すなわち、RCEP106は、拡張PCIeファブリック118をホストしてもよい。このような実施形態によれば、RCEP106は、ホストルートコンプレックス(例えば、ルートコンプレックス102)にビルド(build)およびロジックにおいて類似してもよい。このように、RCEP106は、ルートコンプレックス102のものから別けられたそれ独自のバス番号のセット、PCIeコンフィギュレーション空間、およびMMIO空間を含んでもよい。従って、ルートコンプレックス102が、利用可能なリソース(例えば、バス番号)の十分な量を有していないときであっても、追加のデバイスは、RCEP106に接続されてよい。
例えば、エンドポイント114および116は、スイッチ112およびルートポート110を介してRCEP106に電気的に接続されてもよい。上述のように、エンドポイント114および116は、ストレージデバイス、ネットワークデバイス、サウンドカード、およびビデオカード等を含む、ほとんど任意のタイプの周辺デバイスであってもよい。前述のPCIeファブリックと同様に、エンドポイント114および116は、単に拡張PCIeファブリック118の末端部を成してもよい。あるいは、さらに実施例によれば、エンドポイント114および/または116は、それ独自のバス番号のセットおよびMMIO空間を有している別のRCEPを含んでもよく、従って、別の拡張PCIeファブリックを形成する。従って、RCEPは、基本的にPCIeエンドポイントにゲートウェイ機能を追加し、従って、理論的には、ホストルートコンプレックスに取り付けられるノードの事実上無限の数を可能にする。
図1は、1つのルートポイント110、1つのスイッチ112、並びに2つのエンドポイント114および116のみを有するような拡張PCIeファブリック118を示しているが、様々な実施形態は、複数のルートポート、拡張ファブリックごとの複数のスイッチ、およびスイッチごとの複数のエンドポイントを有する拡張PCIeファブリックを含んでもよい。
実施例によれば、RCEP106のMMIOは、32ビットアドレス(32ビットメモリ空間と呼ばれる)を使用するアドレス可能な一部分と、64ビットアドレス(64ビットメモリ空間と呼ばれる)を使用する一部分とを有してもよい。このような実施形態によれば、RCEP106のPCIeコンフィギュレーション空間、32ビットメモリ空間、および64ビットメモリ空間は、ホストPCIeファブリック100の64ビットMMIO空間(すなわち、64ビットアドレスを使用してアドレス可能なPCIeファブリック100のMMIO空間の一部分)にマッピングされてもよい。従って、このような実施形態によれば、RCEP106は、ホストPCIeファブリック100のMMIO空間からアクセスされてもよい。RCEP106の拡張ファブリックのマッピングと列挙は、RCEP106と関連付けられたエンドポイントドライバを使用して行われてもよく、以下により詳細に説明される。
他の実施例によれば、RCEP106は、その下流デバイス(例えば、エンドポイント114および116)で発生する任意の障害を解決する障害処理メカニズムをさらに含んでもよい。従って、このような実施形態において、障害が、RCEP106によって含まれ、かつ上流のPCIeファブリック100に伝播しないように、かつRCEP106が、障害境界として作用してもよい。さらに、RCEP106は、ホストルートコンプレックス102に任意の障害を通知するために、エラー割込みを生成してもよい。このような実施形態において、これらのエラー割込みは、報告メカニズムとして使用されてもよく、かつRCEP106の下流デバイスで発生する任意のPCIe障害は、RCEP106によって処理されてもよく、かつ上流のホストルートコンプレックス102に渡されなくてもよい。エラー割込み報告と障害処理についての具体的な詳細は、特定の実装である場合があり、かつコンピューティングプラットフォーム/ルートコンプレックス間で異なる場合がある。例えば、現在のPCIe規格は、コンピューティングプラットフォーム/ルートコンプレックスの異なる様々なベンダ固有の実装にオープンな障害をルートコンプレックスがどのように処理するのかについての実装詳細を無視している。従って、RCEP106の障害処理およびエラー報告メカニズムの実装詳細は、適用可能なコンピューティングプラットフォーム/ルートコンプレックス構成に応じて、異なる実装に同様にオープンであってもよい。
拡張ファブリック118のためのPCIeコンフィギュレーション空間にマッピングし、かつアクセスすることは、任意の適切な構成を使用して行われてもよい。例えば、図2Aおよび2Bは、PCIコンフィギュレーション空間にアクセスするためにMMIOを使用してサポートする実施例に基づくPCIeコンフィギュレーション空間マッピングおよびアクセスの実施例を示している。一般に、物理アドレス空間200は、ホストCPUの物理アドレス空間であり、例えば、サイズが2n-1バイト(“n”は、ホストCPUによって実行される物理アドレスビットの数である)であってもよい。図示されるように、物理アドレス空間200は、64ビット物理アドレスを介してアドレス可能な残りの一部分204とともに、32ビット物理アドレスを介してアドレス可能な空間の一部分202を含んでもよい。このような実施形態において、一部分202は、アドレス空間200の第1の4GBを占めてもよい一方で、一部分204は、アドレス空間200の残りを占めてもよい。さらに、一部分204は、ホストである第1レベルPCIeファブリック(例えば、PCIeファブリック100)の64ビットMMIO空間に割り当てられた一部分206をさらに含んでもよい。当然ながら、他のメモリ割り当て、構成、およびPCIeファブリックへのMIMO空間のマッピングは、本明細書で意図され、従って、本明細書に記載された任意の特定の実装が、特に明示的に主張されない限り、例示目的のみに使用される。
実施例によれば、PCIeファブリック100に接続されるデバイスの全ての機能(または任意の一部分)、すなわち拡張ファブリック118は、それらそれぞれのファブリック専用の256MBのコンフィギュレーション空間にマッピングされてもよい。そのような空間は、例えば、特定のデバイス機能のための8ビットPCIバス、5ビットデバイス、および3ビット機能番号を知ることによって、アドレス可能であってもよい。機能アドレッシングのこのタイプは、バス/デバイス/機能(BDF)アドレッシングとして本明細書に言及されてもよく、各PCIeファブリックについて、合計256バス番号、32デバイス、および8機能を可能にする。一般に、このような実施形態において、デバイス番号は、PCIeのシリアルポイントツーポイント接続構造によるPCIeバス規格ファブリックに基づいて、0に設定されてもよい。さらに、このような実施形態に基づいて、各デバイス機能は、構成レジスタの4KBの権利を有してもよい。
図示されるように、第1レベルPCIeファブリック(例えば、ファブリック100)のためのPCIeコンフィギュレーション空間は、空間の一部分202のアドレス空間208の256MBを占めてもよい。このような実施形態において、拡張PCIe(例えば、拡張ファブリック118)のためのPCIeコンフィギュレーション空間は、64ビットMMIO空間206内のアドレス空間210の256MBにマッピングされてもよい。さらに、アドレス空間208または210内の任意のMMIOトランザクションは、それぞれそれらの対応するルートコンプレックスによって、PCIeホストファブリック100または拡張ファブリック118のいずれかのためのPCIeコンフィギュレーションアクセストランザクションとして扱われてもよい。
このような実施形態において、拡張PCIeコンフィギュレーション空間210のアドレスは、ベース値212で開始してもよい。従って、バス番号B、デバイス番号D、および機能番号Fに位置するPCIeデバイス機能のコンフィギュレーション空間レジスタは、例えば、ベース+(B+D+F)*4Kで開始してもよい。あるいは、デバイス空間レジスタをアドレッシングするための他の適切な構成も意図されるが、本明細書におけるBDFアドレッシングの説明は、例示目的のみに使用される。
図2Bは、実施例に基づく、例示のPCIeデバイス物理アドレスフォーマット220を示している。フォーマット220は、ベースフィールド222(例えば、ビットn-1と28の間に位置する)、バスフィールド224(例えば、ビット27と20の間に位置する)、デバイスフィールド226(例えば、ビット19と15の間に位置する)、および機能フィールド228(例えば、ビット14と12の間に位置する)を含んでいてもよい。さらに、このような実施形態において、ビット11から0は、アクセスされるコンフィギュレーション空間レジスタ(例えば、デバイス内に)のオフセットを含んでもよく、例えば、メモリアライメントの目的で含まれてもよい。
拡張PCIeファブリック118のために32ビットメモリ空間にマッピングし、かつアクセスすることは、適切な構成を使用して行われてもよい。例えば、図3Aおよび図3Bは、実施例に基づくPCIe32ビットメモリ空間マッピングおよびアクセスの実施例を示している。一般に、32ビットメモリ空間アクセスは、32ビットアドレスでアクセスされるデバイスレジスタバンクに使用されてもよい。このような実施形態において、対応するトランザクションが、例えば、PCIeパケットヘッダ内に、32ビットPCIeメモリ空間アクセスとしてマークされてもよい。当然ながら、PCIeファブリックへのMIMO空間の他のメモリ割り当て、構成、およびマッピングが、本明細書で意図され、従って、本明細書に記載された任意の特定の実施形態は、唯一に特に明示的に主張されない限り、例示目的のみに使用される。
現在のPCIe規格の下では、32ビットアドレス空間の最大化サイズは4GBである。さらに、現在のPCIe規格によれば、特定のコンピューティングプラットフォーム(例えば、x86プラットフォーム)上で、第1レベルPCIeファブリック100のための32ビットメモリは、そのPCIeコンフィギュレーション空間と共有されてもよく、従って、サイズが256MBのみであってもよい。
実施例によれば、拡張PCIeファブリック118は、ホストCPUの物理アドレス空間200から別けられたそれ独自の32ビットメモリ空間を有してもよい。さらに、図3Aに示されるように、RCEP106は、メモリ空間302によって示されるように、拡張ファブリック118の32ビットアドレス空間を、ホストの64ビットMMIO空間206上の高い64ビットアドレスウィンドウにマッピングしてもよい。このような実施形態において、メモリ空間302は、第1レベルファブリック(例えば、PCIeファブリック100)のための32ビットメモリ空間300から別けられてもよい。さらに、メモリ空間300は、ホストCPUの32ビットのアドレス可能な空間202に位置付けられてもよく、PCIeコンフィギュレーション空間208と同じ下位4G空間内であってもよい。図示されるように、メモリ空間302は、ベースアドレス304で開始し、かつサイズは4GBまでであってよい。従って、このような実施形態によれば、デバイスレジスタバンク(例えば、レジスタバンク308)は、レジスタバンクの適切なオフセット(例えば、オフセット306)を知ることによってアドレッシングされてもよい。すなわち、レジスタバンク308のアドレスは、ベース304+オフセット306であってよい。あるいは、レジスタバンク308をアドレッシングするための他の適切なスキームも意図される。
図3Bは、実施例に基づくホストアドレス空間および拡張ファブリックアドレス空間のためのレジスタバンク物理アドレスフォーマット310および312をそれぞれ示している。フォーマット310は、ベースフィールド314(例えば、ビットn-1から32を占有する)およびオフセットフィールド316(例えば、ビット31から0を占有する)を含んでもよい。このような実施形態において、フォーマット310が、MMIO空間206にマッピングされたデバイスレジスタバンクをアドレッシングするために使用されてもよい。フォーマット312は、拡張ファブリック(例えば、ファブリック118)上でデバイスレジスタバンクをアドレッシングするために、オフセットフィールド318(例えば、32ビットを占有する)を含むのみであってもよい。さらに、拡張ファブリック118にPCieパケットを配置する前に、RCEP106は、上位32ビットフォーマット310(64ビット長であってもよい)を取り除い(strip)てもよく、かつ取り除かれたPCIeパケットを32ビットアドレスパケットとしてマークしてもよい。
拡張PCIeファブリック118のために、64ビットメモリ空間をマッピングし、かつアクセスすることは、任意の適切な構成を使用して行われてもよい。例えば、図4Aおよび図4Bは、実施例に基づく64ビットメモリ空間マッピングおよびアクセスの実施例を示している。一般に、64ビットメモリ空間アクセスは、64ビットアドレスまたは32ビットアドレスでアクセスされうるデバイスレジスタバンクのために使用されてもよい。なお、32ビットアドレス範囲が64ビットアドレスに割り当てられている場合、PCIeハードウェアは、アクセスするために、32ビットPCIメモリ空間構成スキームを使用してもよい(例えば、図3Aおよび図3Bに記載されている構成)。このような実施形態において、対応するトランザクションが、PCIeパケットヘッダ内に64ビットPCIeメモリ空間アクセスとしてマークされてもよい。また、ヒストリカルな理由のために、64ビットメモリ空間は一般に、物理アドレス空間の下位4GBの上に位置付けられてもよい。当然ながら、PCIeファブリックへのMIMO空間の他のメモリ割り当て、構成、およびマッピングは、本明細書で意図され、従って、本明細書において記載される任意の特定の実施形態は、唯一に特に明示的に主張されない限り、例示目的のみに使用される。
このような実施形態において、拡張PCIeファブリック118は、ホストCPUの物理アドレス空間200から別けられたそれ独自の64ビットメモリ空間を有してもよい。図4Aに示されるように、RCEP106は、メモリ空間402によって示されるように、拡張ファブリック118の64ビットアドレス空間をホストCPUの64ビットMMIO空間206にマッピングしてもよい。さらに、メモリ空間402は、第1レベルファブリック100の64ビットPCIeメモリ空間400から別けられていてもよく、64ビットMMIO空間206に位置付けられてもよい。このような実施形態において、メモリ空間402は、ベースアドレス404で開始してもよく、かつ例えば、サイズは4GBのm倍であってもよい(mは定数であり、空間402は4GBの1倍以上のサイズを有してもよいことを示す)。さらに、デバイスレジスタバンク(例えば、レジスタバンク408)は、レジスタバンクの適切なオフセット(例えば、オフセット406)を知ることによってアドレッシングされてもよい。従って、このような実施形態によれば、レジスタバンク408のアドレスは、ベース404+オフセット406であってもよい。あるいは、レジスタバンク408をアドレッシングするための他の適切なスキームも意図される。
図4Bは、実施例に基づくホストCPUアドレス空間および拡張ファブリックアドレス空間のためのレジスタバンク物理アドレスフォーマット410および416/418をそれぞれ示している。フォーマット410は、ベースフィールド412(例えば、ビットn-1からpを占有する)と、オフセットフィールド414(例えば、ビットp-1から0を占有する)とを含んでもよい。定数pの値は、32+ln(m)であってもよく、次の最大整数値に丸められてもよい。フォーマット410は、64ビットMMIO空間206にマッピングされたデバイスレジスタバンクをアドレッシングするために使用されてもよい。
特定の実施例では、拡張ファブリック118上のデバイスレジスタバンクをアドレッシングすることが、フォーマット416を使用して行われてもよい。例えば、もしベース物理アドレスが拡張ファブリック118のメモリ空間構成にアラインされたサイズである場合に、フォーマット416が使用されてもよい。フォーマット416を使用して、RCEP106は、拡張ファブリック118のための64ビットアドレスを形成するために、フォーマット410の上位ビット(例えば、63ビットからpビット)を取り除いてもよい。他の実施例では、もしベース物理アドレスが拡張ファブリック118のメモリ空間にアラインされたサイズでない場合、フォーマット418が使用されてもよい。このような実施形態では、物理アドレスの不整合(non-alignment)を補償するために、オフセット420が、64ビットシステムベースアドレス422に追加されてもよい。さらに、もしベースアドレスが、アラインされた少なくとも4GB(例えば、下位32ビットが0)である場合、サイズの調整は、ベースアドレスの上位32ビットのために実行されるのみであってもよい。
実施例において、拡張ファブリック118のPCIeコンフィギュレーション空間210、32ビットメモリ空間302、および64ビットメモリ空間402は、ホストCPUにおいて重複してもよい。このような実施形態では、RCEP106は、ホストCPUから、すべての必要なアドレス範囲(例えば、空間210、302、および402)を収容するのに十分に大きい共通マッピングウィンドウを要求してもよく、次いで、RCEP106は、必要に応じて、共通マッピングウィンドウを、様々な必要なアドレス範囲に分割してもよい。
実施例によれば、拡張ファブリック118は、デバイス割込みをサポートしてもよく、任意の適切な方法を使用して処理されてもよい。例えば、拡張ファブリック118は、メッセージ形式の割込み(MSI)構成を使用してもよい。このような実施形態において、拡張ファブリック118に接続されたデバイス(例えば、エンドポイント114および116)から発生するMSIは、PCIeバス規格によれば、適用可能なルートポート(例えば、ルートポート110)に配信されてもよい。さらに、RCEP106のルートポート110は、MSIのために事前に割り当てられたアドレスウィンドウを有してもよい。このような実施形態において、メモリ書き込みアドレスが、事前に割り当てられたMSIアドレスウィンドウに一致するとき、トランザクションは、割り込みとして認識されてもよい。また、ルートポート110は、その下流のファブリックから発生するMSIを全て収集し、かつそれらをキューに配置してもよい(キューは、物理アドレス空間200内のホストCPUのメモリに位置付けられてもよい)。次いで、ルートポート110は、その上流ルートポート(例えば、ホストルートポート103)に、MSIであってもよい別個の割込みをシグナリングしてもよい。次いで、ホストルートポート102は、受信された割込みに基づいて、適切なソフトウェアハンドラをトリガしてもよい。次いで、RCEP106のルートポート110の割込みハンドラは、メインメモリ内のMSIキューを調べ、発信デバイス(例えば、エンドポイント114または116)を決定し、かつデバイスドライバの適切な割込みハンドラをディスパッチしてもよい。当然ながら、デバイス割込みを処理する他のスキームは、本明細書で意図され、従って、本明細書に記載の任意の特定の実施形態は、唯一に特に明示的に主張されない限り、例示目的のみに使用される。
他の実施例によれば、拡張ファブリック118は、ダイレクトメモリアクセス(DMA)をサポートしてもよく、任意の適切な方法を使用して処理されてもよい。このような実施形態では、DMAトランザクションは、読み取り要求、読み取り補完、および書き込み要求を含んでもよい。PCIeパケットは、システム物理アドレス、またはIOMMU(入力/出力メモリ管理ユニット)によって変換されるIO(入力/出力)仮想アドレスを搬送してもよい。また、PCIeリクエスタIDは、ファブリックごとであってもよい。従って、リクエスタIDは、要求がPCIeファブリック境界を渡り、かつ上流のホストPCIeファブリック100に行くとき、RCEP106のIDと置き換えられてもよい。すなわち、拡張ファブリック118上で、リクエスタIDは、エンドポイントデバイス(例えば、エンドポイント114または116)のIDであってもよい。要求が上流のルートコンプレックス102に転送されるとき、リクエスタIDは、RCEP106のIDと置き換えられてもよい。
このような実施形態において、DMA書き込みは、デバイス(例えば、エンドポイント114または116)からホストCPUのメモリへの移動データを示す。RCEP106は、要求が上流へRCEP106によってルートコンプレックス102およびホストCPUに渡されるとき、デバイスIDを、RCEP106のIDで置き換えられてもよい。さらに、DMA読み取りは、ホストCPUのメモリからデバイスへの移動データを示す。このような実施形態において、RCEP106は、トランザクションのためのトランザクションタグを(例えば、要求パケットの一部として)ファブリック100に割り当てることによって、全ての読み取り要求を追跡するために、ハードウェアスコアボードを利用してもよい。これらのトランザクションタグは、RCEP106のスコアボードエントリにリンクされてもよく、かつ拡張ファブリック118上で発生する読み取り要求パケットのリクエスタIDを記録するために使用されてもよい。ルートコンプレックス102からRCEP106によって受信される完了データは、このような実施形態に基づいて対応する読み取り要求と同一のトランザクションタグを搬送してもよい。従って、このような実施形態において、トランザクションタグは、拡張ファブリック118上で使用される適切なデバイスIDを決定するために、スコアボードエントリと照合するために使用されてもよい。当然ながら、DMA要求を処理するための他のスキームが、本明細書で意図され、従って、本明細書に記載される任意の特定の実施形態は、唯一に特に明示的に主張されない限り、例示目的のみに使用される。
従って、上述した段落の実施例に記載された様々なPCIeコンフィギュレーションアクセス、メモリアクセス、DMA、割込みメカニズムを使用して、RCEPデバイスは、拡張PCIeファブリックをホストし、かつ追加のデバイス(例えば、追加のRCEPデバイスおよび/または周辺デバイス)をホストルートコンプレックスに接続するために使用されてもよい。RCEPデバイスは、典型的なPCIeルートコンプレックスロジックと同様であってもよい。各拡張PCIeファブリックは、それ独自のMMIO空間およびバス番号のセットを有してもよい。従って、ホストCPUに接続される全ての取り付けられ得るデバイスの総数は、ホストPCIeファブリックの利用可能なバス番号の数に限定されなくてもよい。このような実施形態において、アクセスを容易にするために、各拡張ファブリックのMMIO空間は、その親ファブリック(例えば、拡張ファブリック118のための親ファブリックは第1レベルファブリック100である)の64ビットMMIO空間にマッピングされてもよい。さらに、拡張ファブリックのファブリックの列挙は、RCEPエンドポイントデバイスドライバを介して達成されてもよい。このような実施形態において、各RCEPは、適用可能な拡張ルートコンプレックスファブリック上で発生する障害を処理してもよい。従って、下流のファブリック障害が拡張PCIeファブリックのファブリック境界でインターセプトされ、かつ上流に伝播されないようにするために、障害単離が達成されてもよい。
実施例によれば、ほぼすべての周辺デバイス(例えば、サウンドカード、ビデオカード、ネットワークドライバ、およびメモリカード等)が、拡張ファブリックに接続されてもよく、かつそれらのドライバソフトウェアを変更する必要がない。このような実施形態において、拡張PCIeファブリックが、第1レベルPCIeファブリックと同一の方法で周辺デバイスと相互作用する。さらに、ホストCPUのソフトウェア(例えば、オペレーティングシステム)およびRCEPドライバが、レジスタマッピング、DMAアドレスマッピングを設定するために修正および/または作成されてもよく、RCEPを介して割込みハンドラおよび他の同様な機能を実行してもよい。従って、周辺デバイスに、それらが第1レベルPCIeファブリックの代わりに拡張PCIeファブリックに接続されていることを通知する必要はない。従って、拡張PCIeファブリックおよびRCEPは、既存の周辺デバイスドライバと互換性を有してもよい。
本発明は、説明に役立つ実施例を参照して説明されたが、この説明は、限定的な意味に解釈されることを意図していない。説明に役立つ実施例の様々な修正および組み合わせ並びに発明の他の実施形態は、説明を参照すれば、当業者には明らかであろう。従って、添付の特許請求の範囲は、任意のそのような修正または実施形態を包含することが意図される。
１００ PCIeファブリック
１０２ ルートコンプレックス
１０３ ルートポート
１０４ スイッチ
１０４Ａ アップストリームポート
１０４Ｂ ダウンストリームポート
１０６ エンドポイント
１０８ エンドポイント
１１０ ルートポート
１１２ スイッチ
１１４ エンドポイント
１１６ エンドポイント
１１８ 拡張ファブリック

Claims (14)

  1. 拡張周辺コンポーネント相互接続エクスプレス(PCIe)システムにおいて、
    ホストルートコンプレックスを含むホストPCIeファブリックであって、前記ホストPCIeファブリックは、ホスト中央処理装置(CPU)上に、バス番号の第1のセットおよび第1のメモリマップト入力/出力(MMIO)空間を有する、ホストPCIeファブリックと、
    前記ホストPCIeファブリックのエンドポイントであるルートコンプレックスエンドポイント(RCEP)を含む拡張PCIeファブリックであって、前記拡張PCIeファブリックは、前記バス番号の第1のセットおよび前記第1のMMIO空間からそれぞれ別けられたバス番号の第2のセットおよび第2のMMIO空間を有する、拡張PCIeファブリックと
    を含み、
    前記RCEPによって、前記第2のMMIO空間は、前記第1のMMIO空間にマッピングされる、PCIeシステム。
  2. 周辺コンポーネント相互接続エクスプレス(PCIe)システムであって、
    バス番号の第1のセットと、第1のメモリマップト入力/出力(MMIO)空間とを含むホストPCIeファブリックのためのホストルートコンプレックスと、
    バス番号の前記第1のセットおよび前記第1のMMIO空間からそれぞれ別けられたバス番号の第2のセットおよび第2のMMIO空間とを含む拡張PCIeファブリックのためのルートコンプレックスエンドポイント(RCEP)と
    を含み、前記RCEPは、前記ホストPCIeファブリックのエンドポイントであるように、かつ前記第2のMMIO空間を前記第1のMMIO空間にマッピングするように構成された、PCIeシステム。
  3. 前記第2のMMIO空間は、前記第1のMMIO空間の64ビットMMIO空間にマッピングされる、請求項2に記載のPCIeシステム。
  4. 前記RCEPは、1以上のルートポートを備える、請求項2または3に記載のPCIeシステム。
  5. 前記拡張PCIeファブリックは、1以上のエンドポイントを前記RCEPに電気的に相互接続している1以上のスイッチを備える請求項2から4のいずれか一項に記載のPCIeシステム。
  6. 拡張周辺コンポーネント相互接続エクスプレス(PCIe)ファブリックであって、
    ホストPCIeファブリックのエンドポイントとして、かつ前記拡張PCIeファブリックと前記ホストPCIeファブリックの間のブリッジとして構成されたルートコンプレックスエンドポイント(RCEP)を有し、
    前記拡張PCIeファブリックは、第2のメモリマップト入力/出力(MMIO)空間と、バス番号の第2のセットとを有し、前記第2のMMIO空間は、前記ホストPCIeファブリックの第1のMMIO空間から別けられており、前記第2のMMIO空間は、前記RCEPによって、前記ホストPCIeファブリックの前記第1のMMIO空間にマッピングされる拡張PCIeファブリック。
  7. 前記拡張PCIeファブリックのPCIeコンフィギュレーション空間は、前記ホストPCIeファブリックの前記第1のMMIO空間にマッピングされる、請求項6に記載の拡張PCIeファブリック。
  8. 前記拡張PCIeファブリックのエンドポイントは、追加の拡張PCIeファブリックの追加のRCEPであり、前記追加の拡張PCIeファブリックは、前記ホストPCIeファブリックのホストルートコンプレックスのリソースによって提供される前記ホストPCIeファブリックの容量と、前記拡張PCIeファブリックの前記RCEPのリソースによって提供される前記拡張PCIeファブリックの容量とを超えて、追加のデバイスをホストCPUに接続することを可能にする追加のバス番号セットを含む、請求項6に記載の拡張PCIeファブリック。
  9. 周辺コンポーネント相互接続エクスプレス(PCIe)ファブリックを拡張するためのシステムであって、
    ホストルートコンプレックスを含むホストPCIeファブリックであって、前記ホストPCIeファブリックは、バス番号の第1のセットと、第1のメモリマップト入力/出力(MMIO)空間を有する、ホストPCIeファブリックと、
    ルートコンプレックスエンドポイント(RCEP)を含む拡張PCIeファブリックであって、前記RCEPは、前記拡張PCIeファブリックと前記ホストPCIeファブリックとの間のブリッジであり、前記拡張PCIeファブリックは、バス番号の前記第1のセットおよび前記第1のMMIO空間からそれぞれ別けられたバス番号の第2のセットおよび第2のMMIO空間を有し、前記第2のMMIO空間は、前記RCEPによって、前記ホストPCIeファブリックの前記第1のMMIO空間にマッピングされる、拡張PCIeファブリックと、
    前記ホストルートコンプレックスを介して前記ホストPCIeファブリックに接続された複数のエンドポイントであって、前記RCEPは、前記複数のエンドポイントのうちの1つのエンドポイントである、複数のエンドポイントと
    を含む、システム。
  10. 前記システムは、前記RCEPを介して前記拡張PCIeファブリックに接続される複数のエンドポイントをさらに含む、請求項9に記載のシステム。
  11. 前記RCEPは、前記拡張PCIeファブリックに由来する障害を隔離するように構成される、請求項9または10に記載のシステム。
  12. 周辺デバイスのための方法であって、
    ルートコンプレックスエンドポイント(RCEP)によって、第2のメモリマップト入力/出力(MMIO)空間と、バス番号の第2のセットとを有する拡張周辺コンポーネント相互接続エクスプレス(PCIe)ファブリックをホストするステップであって、前記RCEPは、ホストPCIeファブリックのエンドポイントとして構成される、ステップと
    前記拡張PCIeファブリックの前記第2のMMIO空間を、前記RCEPによって、前記ホストPCIeファブリックの第1のMMIO空間にマッピングするステップであって、前記第2のMMIO空間は、前記第1のMMIO空間から別けられており、前記ホストPCIeファブリックは、バス番号の前記第2のセットとは別けられたバス番号の第1のセットを含む、ステップと
    を含む方法。
  13. 前記RCEPは、前記拡張PCIeファブリックと前記ホストPCIeファブリックとの間のブリッジである、請求項12に記載の方法。
  14. 前記RCEPによって、前記拡張PCIeファブリック上で発生する下流障害をインターセプトするステップをさらに含む、請求項12に記載の方法。
JP2018075275A 2013-06-28 2018-04-10 拡張周辺コンポーネント相互接続エクスプレスファブリックのためのシステムおよび方法 Active JP6790015B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/931,640 US9135200B2 (en) 2013-06-28 2013-06-28 System and method for extended peripheral component interconnect express fabrics
US13/931,640 2013-06-28

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016522236A Division JP6325665B2 (ja) 2013-06-28 2014-06-28 拡張周辺コンポーネント相互接続エクスプレスファブリックのためのシステムおよび方法

Publications (2)

Publication Number Publication Date
JP2018125028A JP2018125028A (ja) 2018-08-09
JP6790015B2 true JP6790015B2 (ja) 2020-11-25

Family

ID=52116806

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016522236A Active JP6325665B2 (ja) 2013-06-28 2014-06-28 拡張周辺コンポーネント相互接続エクスプレスファブリックのためのシステムおよび方法
JP2018075275A Active JP6790015B2 (ja) 2013-06-28 2018-04-10 拡張周辺コンポーネント相互接続エクスプレスファブリックのためのシステムおよび方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016522236A Active JP6325665B2 (ja) 2013-06-28 2014-06-28 拡張周辺コンポーネント相互接続エクスプレスファブリックのためのシステムおよび方法

Country Status (12)

Country Link
US (7) US9135200B2 (ja)
EP (5) EP3273358B1 (ja)
JP (2) JP6325665B2 (ja)
KR (2) KR101835851B1 (ja)
CN (4) CN114817103A (ja)
AU (1) AU2014301745B2 (ja)
DE (1) DE202014011596U1 (ja)
DK (1) DK3273358T3 (ja)
ES (3) ES2642829T3 (ja)
HU (2) HUE037146T2 (ja)
NO (1) NO3027015T3 (ja)
WO (1) WO2014206356A2 (ja)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9135200B2 (en) 2013-06-28 2015-09-15 Futurewei Technologies, Inc. System and method for extended peripheral component interconnect express fabrics
ES2656464T3 (es) * 2013-09-11 2018-02-27 Huawei Technologies Co., Ltd. Procedimiento, sistema informático y aparato de procesamiento de fallo
EP4089544B1 (en) 2013-12-31 2024-01-31 Huawei Technologies Co., Ltd. Method and apparatus for extending pcie domain
US9507740B2 (en) * 2014-06-10 2016-11-29 Oracle International Corporation Aggregation of interrupts using event queues
US20180107728A1 (en) * 2014-12-31 2018-04-19 International Business Machines Corporation Using tombstone objects to synchronize deletes
US20180107535A1 (en) * 2014-12-31 2018-04-19 International Business Machines Corporation Vault redundancy reduction within a dispersed storage network
US20180101434A1 (en) * 2014-12-31 2018-04-12 International Business Machines Corporation Listing types in a distributed storage system
US10656866B2 (en) * 2014-12-31 2020-05-19 Pure Storage, Inc. Unidirectional vault synchronization to support tiering
US10114688B2 (en) * 2015-02-16 2018-10-30 Dell Products L.P. System and method for peripheral bus device failure management
US10698849B2 (en) * 2015-03-11 2020-06-30 Apple Inc. Methods and apparatus for augmented bus numbering
CN104898775A (zh) * 2015-05-20 2015-09-09 浪潮电子信息产业股份有限公司 计算装置、存储装置、网络交换设备及计算机体系架构
US9978247B2 (en) 2015-09-24 2018-05-22 Microsoft Technology Licensing, Llc Smart fabric that detects events and generates notifications
US20170091013A1 (en) * 2015-09-28 2017-03-30 Netapp, Inc. Pcie error reporting and throttling
CN106713183B (zh) * 2015-10-30 2020-03-17 新华三技术有限公司 网络设备的接口板以及该网络设备和报文转发方法
CN105700967A (zh) * 2016-01-08 2016-06-22 华为技术有限公司 一种外设部件内部互联PCIe设备及其检测方法
CN105701051B (zh) * 2016-01-15 2019-10-15 华为技术有限公司 一种热插拔方法、主机控制器、主机及PCIe桥设备
WO2018058625A1 (zh) 2016-09-30 2018-04-05 华为技术有限公司 一种检测报文反压的方法及装置
CN106502941A (zh) * 2016-11-25 2017-03-15 北京兆芯电子科技有限公司 输入输出扩展器、计算机系统以及其配置方法
CN111897751A (zh) 2017-01-26 2020-11-06 华为技术有限公司 一种数据传输的方法、装置、设备和系统
US10394468B2 (en) * 2017-02-23 2019-08-27 International Business Machines Corporation Handling data slice revisions in a dispersed storage network
US10635602B2 (en) 2017-11-14 2020-04-28 International Business Machines Corporation Address translation prior to receiving a storage reference using the address to be translated
US10558366B2 (en) 2017-11-14 2020-02-11 International Business Machines Corporation Automatic pinning of units of memory
US10664181B2 (en) 2017-11-14 2020-05-26 International Business Machines Corporation Protecting in-memory configuration state registers
US10496437B2 (en) 2017-11-14 2019-12-03 International Business Machines Corporation Context switch by changing memory pointers
US10761983B2 (en) * 2017-11-14 2020-09-01 International Business Machines Corporation Memory based configuration state registers
US10761751B2 (en) 2017-11-14 2020-09-01 International Business Machines Corporation Configuration state registers grouped based on functional affinity
US10698686B2 (en) 2017-11-14 2020-06-30 International Business Machines Corporation Configurable architectural placement control
US10642757B2 (en) 2017-11-14 2020-05-05 International Business Machines Corporation Single call to perform pin and unpin operations
US10592164B2 (en) 2017-11-14 2020-03-17 International Business Machines Corporation Portions of configuration state registers in-memory
US10901738B2 (en) 2017-11-14 2021-01-26 International Business Machines Corporation Bulk store and load operations of configuration state registers
CN107992438A (zh) * 2017-11-24 2018-05-04 郑州云海信息技术有限公司 一种服务器及在服务器内灵活配置PCIe拓扑的方法
JP6635209B2 (ja) * 2018-04-18 2020-01-22 富士通クライアントコンピューティング株式会社 情報処理システム
CN109002591B (zh) * 2018-06-26 2021-11-09 郑州云海信息技术有限公司 一种从服务器主板端调整PCIe拓扑的方法和系统
JP7115128B2 (ja) * 2018-08-07 2022-08-09 富士通株式会社 情報処理装置、ブート方法及びブートプログラム
CN109408454B (zh) * 2018-11-01 2021-10-22 郑州云海信息技术有限公司 一种芯片管理的方法以及相关装置
WO2020132962A1 (zh) * 2018-12-26 2020-07-02 华为技术有限公司 安全元件、数据处理装置及数据处理方法
JP6700564B1 (ja) * 2018-12-28 2020-05-27 富士通クライアントコンピューティング株式会社 情報処理システム
US11016795B2 (en) * 2019-01-31 2021-05-25 EMC IP Holding Company, LLC System and method for virtualizing hot-swappable PCIe devices for virtual machines
CN109902038B (zh) * 2019-02-21 2020-12-29 杭州迪普科技股份有限公司 一种PCIe总线地址空间分配方法及装置
JP6574917B1 (ja) * 2019-05-20 2019-09-11 富士通クライアントコンピューティング株式会社 情報処理システム、及び中継装置
US11558296B2 (en) * 2020-09-18 2023-01-17 Serialtek, Llc Transaction analyzer for peripheral bus traffic
US11593026B2 (en) 2020-03-06 2023-02-28 International Business Machines Corporation Zone storage optimization using predictive protocol patterns
CN111651397B (zh) * 2020-05-09 2022-11-15 山东浪潮科学研究院有限公司 一种访问PXIe外设模块的方法和设备
CN111858407B (zh) * 2020-07-14 2021-12-07 中航航空电子有限公司 高速外围设备互连系统内的通信方法及高速外围设备互连系统
CN111930660B (zh) * 2020-07-30 2022-04-15 长沙景嘉微电子股份有限公司 Pcie通路配置方法、装置、终端和介质
US11836059B1 (en) 2020-12-14 2023-12-05 Sanblaze Technology, Inc. System and method for testing non-volatile memory express storage devices
US11971839B2 (en) * 2022-07-20 2024-04-30 Vmware, Inc. Exposing PCIE configuration spaces as ECAM compatible
CN116414759B (zh) * 2023-06-09 2023-09-29 深圳中安辰鸿技术有限公司 计算机交换系统及地址分配、枚举、数据分发方法

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6983339B1 (en) * 2000-09-29 2006-01-03 Intel Corporation Method and apparatus for processing interrupts of a bus
US7334071B2 (en) 2005-05-25 2008-02-19 Integrated Device Technology, Inc. Expansion of cross-domain addressing for PCI-express packets passing through non-transparent bridge
US8463969B2 (en) * 2005-06-30 2013-06-11 Intel Corporation Extended message signal interrupt
JP4828899B2 (ja) * 2005-09-21 2011-11-30 株式会社リコー 情報処理装置および記憶デバイス共有方法
US7793010B2 (en) 2005-11-22 2010-09-07 Lsi Corporation Bus system with multiple modes of operation
US8189573B2 (en) 2005-12-22 2012-05-29 Intel Corporation Method and apparatus for configuring at least one port in a switch to be an upstream port or a downstream port
US7660922B2 (en) * 2006-05-12 2010-02-09 Intel Corporation Mechanism to flexibly support multiple device numbers on point-to-point interconnect upstream ports
US7506084B2 (en) 2006-10-17 2009-03-17 International Business Machines Corporation Method for communicating with an I/O adapter using cached address translations
US7617377B2 (en) 2006-10-17 2009-11-10 International Business Machines Corporation Splitting endpoint address translation cache management responsibilities between a device driver and device driver services
US8271604B2 (en) * 2006-12-19 2012-09-18 International Business Machines Corporation Initializing shared memories for sharing endpoints across a plurality of root complexes
US7836238B2 (en) 2006-12-19 2010-11-16 International Business Machines Corporation Hot-plug/remove of a new component in a running PCIe fabric
US7836129B2 (en) 2006-12-19 2010-11-16 International Business Machines Corporation Communication between host systems using a queuing system and shared memories
US7813366B2 (en) * 2006-12-19 2010-10-12 International Business Machines Corporation Migration of a virtual endpoint from one virtual plane to another
JP5058615B2 (ja) * 2007-01-25 2012-10-24 エヌイーシーコンピュータテクノ株式会社 ノード制御装置および情報処理装置
US7562176B2 (en) * 2007-02-28 2009-07-14 Lsi Corporation Apparatus and methods for clustering multiple independent PCI express hierarchies
CN101052013B (zh) * 2007-05-22 2011-09-28 杭州华三通信技术有限公司 一种网络设备内部管理通道实现的方法及系统
US20090063894A1 (en) * 2007-08-29 2009-03-05 Billau Ronald L Autonomic PCI Express Hardware Detection and Failover Mechanism
US7752346B2 (en) * 2007-12-21 2010-07-06 Aprius, Inc. Universal routing in PCI-Express fabrics
US8386654B2 (en) * 2008-03-25 2013-02-26 Hewlett-Packard Development Company, L.P. System and method for transforming PCIe SR-IOV functions to appear as legacy functions
US7934033B2 (en) * 2008-03-25 2011-04-26 Aprius, Inc. PCI-express function proxy
US8838867B2 (en) 2008-12-24 2014-09-16 Nuon, Inc. Software-based virtual PCI system
US8103810B2 (en) 2008-05-05 2012-01-24 International Business Machines Corporation Native and non-native I/O virtualization in a single adapter
US8625615B2 (en) 2008-05-16 2014-01-07 Nec Corporation PCI express switch, PCI express system, and network control method
US9015446B2 (en) * 2008-12-10 2015-04-21 Nvidia Corporation Chipset support for non-uniform memory access among heterogeneous processing units
US8144582B2 (en) 2008-12-30 2012-03-27 International Business Machines Corporation Differentiating blade destination and traffic types in a multi-root PCIe environment
US7873068B2 (en) * 2009-03-31 2011-01-18 Intel Corporation Flexibly integrating endpoint logic into varied platforms
US8521915B2 (en) * 2009-08-18 2013-08-27 Fusion-Io, Inc. Communicating between host computers and peripheral resources in an input/output (I/O) virtualization system
EP2480977B1 (en) 2009-09-25 2014-11-05 Hewlett-Packard Development Company, L.P. Mapping non-prefetchable storage locations into memory mapped input/output space
US8539134B2 (en) 2010-02-15 2013-09-17 International Business Machines Corporation PCI express multiplier device
EP2365445B1 (en) * 2010-03-11 2013-10-23 Ricoh Company, Ltd. Adapter and communication method
JP5764919B2 (ja) * 2010-12-16 2015-08-19 株式会社リコー 通信機器および通信システム
GB2478727B (en) * 2010-03-15 2013-07-17 Advanced Risc Mach Ltd Translation table control
JP2011199419A (ja) * 2010-03-17 2011-10-06 Ricoh Co Ltd 画像形成装置、画像形成方法、およびプログラム
JP2011227539A (ja) * 2010-04-15 2011-11-10 Ricoh Co Ltd 画像処理装置
US8443126B2 (en) * 2010-09-22 2013-05-14 Wilocity, Ltd. Hot plug process in a distributed interconnect bus
US8677176B2 (en) 2010-12-03 2014-03-18 International Business Machines Corporation Cable redundancy and failover for multi-lane PCI express IO interconnections
US8521941B2 (en) * 2010-12-28 2013-08-27 Plx Technology, Inc. Multi-root sharing of single-root input/output virtualization
JP5903801B2 (ja) * 2011-08-23 2016-04-13 富士通株式会社 通信装置およびｉｄ設定方法
JP5682829B2 (ja) 2011-09-01 2015-03-11 日本電気株式会社 情報処理装置
JP2013088879A (ja) * 2011-10-13 2013-05-13 Kyocera Document Solutions Inc 情報処理装置
US9128920B2 (en) * 2011-11-30 2015-09-08 Marvell World Trade Ltd. Interrupt handling systems and methods for PCIE bridges with multiple buses
US20140223061A1 (en) * 2011-12-19 2014-08-07 Keng Lai Yap System and deterministic method for servicing msi interrupts using direct cache access
JP2013196593A (ja) * 2012-03-22 2013-09-30 Ricoh Co Ltd データ処理装置、データ処理方法及びプログラム
WO2014000271A1 (zh) * 2012-06-29 2014-01-03 华为技术有限公司 一种pcie交换系统、装置及交换方法
TW201411358A (zh) * 2012-09-10 2014-03-16 Accusys Inc 透過ＰＣＩｅ介面連接於一主機系統的儲存裝置和方法
US9189441B2 (en) * 2012-10-19 2015-11-17 Intel Corporation Dual casting PCIE inbound writes to memory and peer devices
US8995302B1 (en) * 2013-01-16 2015-03-31 Pmc-Sierra Us, Inc. Method and apparatus for translated routing in an interconnect switch
CN103095463B (zh) * 2013-02-01 2016-08-03 福建星网锐捷网络有限公司 Pcie交换网系统和通信方法
US9298658B2 (en) 2013-02-26 2016-03-29 Avago Technologies General Ip (Singapore) Pte. Ltd. Using PCI-E extended configuration space to send IOCTLS to a PCI-E adapter
US9405688B2 (en) 2013-03-05 2016-08-02 Intel Corporation Method, apparatus, system for handling address conflicts in a distributed memory fabric architecture
US8806098B1 (en) 2013-03-15 2014-08-12 Avalanche Technology, Inc. Multi root shared peripheral component interconnect express (PCIe) end point
US9286258B2 (en) * 2013-06-14 2016-03-15 National Instruments Corporation Opaque bridge for peripheral component interconnect express bus systems
US10071975B2 (en) 2013-06-18 2018-09-11 Cygnet Biosciences B.V. Macrocyclic amidinourea derivatives, methods of preparation and uses thereof as chitinase inhibitors
US9135200B2 (en) 2013-06-28 2015-09-15 Futurewei Technologies, Inc. System and method for extended peripheral component interconnect express fabrics

Also Published As

Publication number Publication date
US20200110722A1 (en) 2020-04-09
EP3540604A1 (en) 2019-09-18
US20150347339A1 (en) 2015-12-03
US10417160B2 (en) 2019-09-17
WO2014206356A2 (en) 2014-12-31
JP6325665B2 (ja) 2018-05-16
EP3933604B1 (en) 2023-09-20
CN105359124B (zh) 2018-03-13
CN108268412B (zh) 2022-04-05
US11429550B2 (en) 2022-08-30
NO3027015T3 (ja) 2018-04-07
HUE044846T2 (hu) 2019-11-28
US10922259B2 (en) 2021-02-16
AU2014301745A1 (en) 2016-01-07
ES2741100T3 (es) 2020-02-10
CN108268412A (zh) 2018-07-10
US9135200B2 (en) 2015-09-15
US10210124B2 (en) 2019-02-19
CN115129638A (zh) 2022-09-30
WO2014206356A3 (en) 2015-04-23
ES2884848T3 (es) 2021-12-13
DK3273358T3 (da) 2019-08-05
US20220276976A1 (en) 2022-09-01
EP3273358B1 (en) 2019-05-15
EP2997483A4 (en) 2016-07-06
ES2642829T3 (es) 2017-11-20
JP2016526727A (ja) 2016-09-05
EP4137953A1 (en) 2023-02-22
AU2014301745B2 (en) 2017-04-20
HUE037146T2 (hu) 2018-08-28
KR101906525B1 (ko) 2018-10-10
US10216676B2 (en) 2019-02-26
CN105359124A (zh) 2016-02-24
KR20160014062A (ko) 2016-02-05
US11954058B2 (en) 2024-04-09
EP2997483A2 (en) 2016-03-23
DE202014011596U1 (de) 2023-01-12
CN114817103A (zh) 2022-07-29
US20180300277A1 (en) 2018-10-18
JP2018125028A (ja) 2018-08-09
EP3540604B1 (en) 2021-05-19
US20150006780A1 (en) 2015-01-01
US20180300276A1 (en) 2018-10-18
KR101835851B1 (ko) 2018-04-19
KR20180026570A (ko) 2018-03-12
EP3933604A1 (en) 2022-01-05
EP2997483B1 (en) 2017-08-23
EP3273358A1 (en) 2018-01-24
US20210216485A1 (en) 2021-07-15

Similar Documents

Publication Publication Date Title
JP6790015B2 (ja) 拡張周辺コンポーネント相互接続エクスプレスファブリックのためのシステムおよび方法
US9256560B2 (en) Controller integration
US7783822B2 (en) Systems and methods for improving performance of a routable fabric
US8706942B2 (en) Direct memory access (DMA) address translation between peer-to-peer input/output (I/O) devices
US20150220445A1 (en) Transactional memory that performs a programmable address translation if a dat bit in a transactional memory write command is set
US10228968B2 (en) Network interface device that alerts a monitoring processor if configuration of a virtual NID is changed
US20150222513A1 (en) Network interface device that alerts a monitoring processor if configuration of a virtual nid is changed

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180411

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180411

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190401

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201104

R150 Certificate of patent or registration of utility model

Ref document number: 6790015

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250