JP6155500B2 - 中継装置 - Google Patents

中継装置 Download PDF

Info

Publication number
JP6155500B2
JP6155500B2 JP2014024037A JP2014024037A JP6155500B2 JP 6155500 B2 JP6155500 B2 JP 6155500B2 JP 2014024037 A JP2014024037 A JP 2014024037A JP 2014024037 A JP2014024037 A JP 2014024037A JP 6155500 B2 JP6155500 B2 JP 6155500B2
Authority
JP
Japan
Prior art keywords
card
management card
pcie
relay device
port
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014024037A
Other languages
English (en)
Other versions
JP2015154127A (ja
Inventor
幸治 廣納
幸治 廣納
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apresia Systems Ltd
Original Assignee
Apresia Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apresia Systems Ltd filed Critical Apresia Systems Ltd
Priority to JP2014024037A priority Critical patent/JP6155500B2/ja
Publication of JP2015154127A publication Critical patent/JP2015154127A/ja
Application granted granted Critical
Publication of JP6155500B2 publication Critical patent/JP6155500B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Bus Control (AREA)
  • Small-Scale Networks (AREA)

Description

本発明は、シャーシ型の中継装置に関し、例えば、中継装置の内部管理機能に関する。
例えば、特許文献1には、PCIエクスプレス(以降、PCIeと略す)スイッチにノン・トランスペアレント・ブリッジを設定することで構築したマルチホストシステムにおいて、PCIeの通信経路とは異なる通信経路で各ホスト間の同期を行う同期手段を備えた構成が示されている。同期手段は、デバイスドライバ情報の通知作業等を行う。
特許文献2には、複数のゲストOSを搭載した物理サーバと、複数のIOデバイスと、物理サーバと複数のIOデバイスとの間を接続するスイッチとを備えた計算システムにおいて、複数のIOデバイスに接続されるスイッチ内のIOブリッジにPCIバス番号を固定的に割り当てる方式が示されている。これにより、ホットプラグに伴い生じ得る、ゲストOSが使用する各IOデバイスの論理的なIOリソースIDと、物理的なIOリソースIDとの間の不一致を防止できる。
特許文献3には、PCIeネットワークシステムにおいて、ノン・トランスペアレント・ブリッジの一方側から他方側にコンフィグレーション・リクエストを発行することができないという問題を解決するための方式が示されている。
特開2011−248662号公報 特開2010−39760号公報 特開2012−83979号公報
例えば、一つの筐体内に、複数のラインカードと、ファブリックカードと、管理カードとを搭載した所謂シャーシ型と呼ばれる中継装置が知られている。各ラインカードは、装置外部との間でフレームの送信または受信を行い、ファブリックカードは、複数のラインカード間でのフレームの中継を担う。管理カードは、各ラインカードやファブリックカードの設定や状態等の管理を含めて中継装置全体を管理する。
管理カードは、信頼性の向上のため、多重化される場合が多い。例えば、中継装置は、マスタ用管理カードとバックアップ用管理カードを搭載し、マスタ用管理カードに障害が生じた際にはバックアップ用管理カードに切り替える。また、ファブリックカードも、信頼性の向上や負荷分散のため、多重化される場合が多い。この場合、あるラインカードが装置外部から受信した各フレームは、複数のファブリックカードに適宜分散して送信されたのち、他のラインカードに中継される。また、複数のファブリックカードのいずれかに障害が生じた際、フレームの中継処理は、残りのファブリックカードに縮退して行われる。
このような構成において、例えば、各ファブリックカードにプロセッサ(CPU:Central Processing Unit)が搭載される場合、管理カードは、自身のプロセッサと各ファブリックカードに搭載されるプロセッサとの間の通信を介して各ファブリックカードを管理することができる。ただし、各ファブリックカードにプロセッサを搭載した場合、中継装置の小型化や低コスト化等が図れない場合がある。そこで、例えば、各管理カードと各ファブリックカードとの間で、PCIe規格に基づくPCIeネットワークを構築することが考えれる。
当該PCIeネットワークを用いた場合、管理カード内にはPCIe規格に基づくルートコンプレックスが搭載される。管理カード内のプロセッサは、ルートコンプレックスを介して各ファブリックカードに搭載された所定の機能を持つエンドポイントとの間で通信を行い、これによって各ファブリックカードを管理する。ただし、当該エンドポイントは、実際には、前述した管理カードの多重化に伴い、2個のルートコンプレックスに接続する必要がある。しかしながら、PCIe規格では、1つのルートコンプレックスを頂点としたツリー状のネットワーク構造を用いることが原則とされ、1つのPCIeネットワーク内には1個のルートコンプレックスしか存在することができない。
このような2個のルートコンプレックスが存在する場合に対応するため、ポートに対して、通常のトランスペアレント・ブリッジ(以下、TBと略す)と呼ばれる機能ではなく、ノン・トランスペアレント・ブリッジ(以下、NTBと略す)と呼ばれる機能を設定可能なPCIeスイッチが知られている。例えば、各ファブリックカードに当該PCIeスイッチを搭載した場合、当該PCIeスイッチの各ポートは、それぞれ、マスタ用管理カードと、スレーブ用管理カードと、同一ファブリックカード上のエンドポイントとに接続される。そして、スレーブ用管理カードが接続されるポートにはNTBが設定され、それ以外のポートにはTBが設定される。
ここで、例えば、ファブリックカードは、適宜、着脱が行われる場合がある。しかしながら、NTBの設定機能を持つPCIeスイッチの中には、NTBが、所謂ホットプラグに対応できない仕様となっているものがある。この場合、バックアップ用管理カードは、アクティブ状態となった場合に、ファブリックカードを適切に管理できなくなる。
本発明は、このようなことに鑑みてなされたものであり、その目的の一つは、PCIeネットワークを用いた可用性が高い管理機能を持つシャーシ型の中継装置を提供することにある。
本発明の前記並びにその他の目的と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。
本願において開示される発明のうち、代表的な実施の形態の概要を簡単に説明すれば、次のとおりである。
本実施の形態による中継装置は、複数の処理カードと、マスタ用管理カードと、バックアップ用管理カードと、配線基板と、を備える。複数の処理カードは、それぞれ、イーサネット(登録商標)フレームに対する所定の処理を行うエンドポイントと、PCIe規格に基づくパケットを中継するPCIeスイッチと、バス番号設定部と、を備える。マスタ用管理カードは、第1プロセッサと、第1ルートコンプレックスと、を備え、複数の処理カードを管理する。バックアップ用管理カードは、第2プロセッサと、第2ルートコンプレックスと、を備え、マスタ用管理カードに障害が生じた場合に、マスタ用管理カードに代わって複数の処理カードを管理する。配線基板は、複数の処理カード、マスタ用管理カードおよびバックアップ用管理カードがそれぞれ着脱される複数のカードスロットを備える。PCIeスイッチは、第1〜第3ポートを備える。第1ポートは、トランスペアレント・ブリッジが設定され、配線基板を介して第1ルートコンプレックスに接続される。第2ポートは、ノン・トランスペアレント・ブリッジが設定され、配線基板を介して第2ルートコンプレックスに接続される。第3ポートは、トランスペアレント・ブリッジが設定され、同一の処理カード上のエンドポイントに接続される。バス番号設定部は、第1ポート〜第3ポートが持つコンフィグレーションレジスタに含まれるバス番号を固定的に設定する。
本願において開示される発明のうち、代表的な実施の形態によって得られる効果を簡単に説明すると、シャーシ型の中継装置において、PCIeネットワークを用いた可用性が高い管理機能を実現可能になる。
本発明の実施の形態1による中継装置において、その構成の一例を示す概略図である。 図1の中継装置において、その外形の一例を示す概略図である。 図1および図2の中継装置において、その主要部の構成例を示す概略図である。 図3におけるNTBの主要な機能の一例を示す概念図である。 図3のPCIeスイッチの各PCIeポートが持つコンフィグレーションレジスタの一例を示す概略図である。 (a)および(b)は、図3におけるスロット番号設定機構のそれぞれ異なる構成例を示す概略図である。 図1および図3等の中継装置において、通常時の概略的な管理動作の一例を示す説明図である。 図1および図3等の中継装置において、マスタ用管理カードに障害が生じた場合の概略的な管理動作の一例を示す説明図である。 図1および図3等の中継装置において、ホットプラグが生じた場合の概略的な管理動作の一例を示す説明図である。 本発明の実施の形態2による中継装置において、その構成の一例を示す概略図である。
以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらは互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。また、以下の実施の形態において、要素の数等(個数、数値、量、範囲等を含む)に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でも良い。
さらに、以下の実施の形態において、その構成要素(要素ステップ等も含む)は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
(実施の形態1)
《中継装置の全体構成》
図1は、本発明の実施の形態1による中継装置において、その構成の一例を示す概略図である。図1に示す中継装置10は、1個の筐体内に複数のカードを搭載したシャーシ型のスイッチ装置となっている。中継装置10は、例えば、OSI(Open Systems Interconnection)に基づくレイヤ2の中継処理を行うL2SWや、レイヤ3の中継処理を行うL3SW等に該当する。ここでは、便宜上、中継装置10がL2SWである場合を例として説明を行う。
中継装置10は、複数(ここではm枚)のラインカードLC[1]〜LC[m]と、複数(ここでは3枚)のファブリックカードFC[1]〜FC[3]と、複数(ここでは2枚)の管理カードMC[1],MC[2]と、を備える。以降、複数のラインカードLC[1]〜LC[m]のそれぞれを代表してラインカードLCと称し、複数のファブリックカードFC[1]〜FC[3]のそれぞれを代表してファブリックカードFCと称する。また、複数の管理カードMC[1],MC[2]のそれぞれを代表して管理カードMCと称する。
各ラインカードLCは、複数(ここではn個)の外部ポートP[1]〜P[n]と、複数のファブリックカード用ポートF[1]〜F[3]と、を備え、イーサネット(登録商標)フレーム(以降、フレームと略す)に対する所定の処理を行う。具体的には、各ラインカードLCは、装置外部との間で、外部ポートP[1]〜P[n]およびイーサネット回線18を介してフレームの送信または受信を行う。以降、外部ポートP[1]〜P[n]のそれぞれを代表して外部ポートPと称し、ファブリックカード用ポートF[1]〜F[3]のそれぞれを代表してファブリックカード用ポートFと称する。
ファブリックカードFC[1],FC[2],FC[3]は、それぞれ、PCIeスイッチ13a,13b,13cと、スイッチデバイス14a,14b,14cと、を備える。以降、PCIeスイッチ13a,13b,13cのそれぞれを代表してPCIeスイッチ13と称し、スイッチデバイス14a,14b,14cのそれぞれを代表してスイッチデバイス14と称する。
各スイッチデバイス14は、PCIe規格に基づくエンドポイントであり、フレームに対する所定の処理を行う。具体的には、各スイッチデバイス14は、複数のラインカードLC[1]〜LC[m]にそれぞれ通信回線17を介して接続され、複数のラインカード間でのフレームの中継を行う。通信回線17は、特に限定はされないが、例えば、イーサネット回線等である。ここでは、スイッチデバイス14aは、各ラインカードLCのファブリックカード用ポートF[1]にそれぞれ接続される。同様に、スイッチデバイス14bは、各ファブリックカード用ポートF[2]にそれぞれ接続され、スイッチデバイス14cは、各ファブリックカード用ポートF[3]にそれぞれ接続される。
管理カード(マスタ用管理カード)MC[1]は、プロセッサ(第1プロセッサ)11aと、PCIe規格に基づくルートコンプレックス12aと、を備え、複数のファブリックカードFC[1]〜FC[3]を管理する。管理カード(バックアップ用管理カード)MC[2]は、プロセッサ(第2プロセッサ)11bと、ルートコンプレックス12bと、を備え、管理カードMC[1]に障害が生じた場合に、これに代わって複数のファブリックカードFC[1]〜FC[3]を管理する。
各ファブリックカードFCのPCIeスイッチ13は、3個のPCIeポート(第1〜第3ポート)PT1〜PT3を備え、各PCIeポート間でPCIe規格に基づくパケットを中継する。各PCIeポート(第1ポート)PT1は、PCIeバス15を介して管理カードMC[1]上のルートコンプレックス(第1ルートコンプレックス)12aに接続される。各PCIeポート(第2ポート)PT2は、PCIeバス15を介して管理カードMC[2]上のルートコンプレックス(第2ルートコンプレックス)12bに接続される。各PCIeポート(第3ポート)PT3は、PCIeバス16を介して同一ファブリックカードFC上のスイッチデバイス(すなわちエンドポイント)14に接続される。
ここで、アクティブ状態の管理カードMCに搭載されたプロセッサ(11a又は11b)は、PCIe規格に基づく通信を介して、複数のファブリックカードFC[1]〜FC[3]の内部設定や内部状態等の管理を行う。通常時には、管理カード(マスタ用管理カード)MC[1]がアクティブ状態、管理カード(バックアップ用管理カード)MC[2]がスタンバイ状態となる。一方、管理カードMC[1]に障害が生じた場合には、管理カードMC[2]がアクティブ状態、管理カードMC[1]がスタンバイ状態となる。
また、管理カードMC[1]と管理カードMC[2]との間は、PCIeバスと異なる通信回線(第1通信回線)19を介して接続される。管理カードMC[1]と管理カードMC[2]は、通信回線19を介して前述した複数のファブリックカードFC[1]〜FC[3]の管理情報を同期する。また、管理カードMC[2]は、通信回線19を介して管理カードMC[1]の障害有無を監視する。通信回線19は、特に限定はされないが、イーサネット回線等である。
《中継装置のフレーム中継処理》
次に、図1の中継装置が行うフレームの中継処理について簡単に説明する。まず、各ラインカードLCは、図示は省略するが、ポートと当該ポートの先に存在するMACアドレスとの関係を保持するアドレステーブルを備える。各ラインカードLCは、外部ポートP[1]〜P[n]のいずれかでフレームを受信した際に、アドレステーブルに基づいて宛先のポートを判別し、当該宛先のポートに当該フレームを中継する。
具体的には、各ラインカードLCは、宛先のポートが自身のラインカードの外部ポートPである場合には、当該外部ポートPにフレームを中継する。一方、各ラインカードLCは、宛先のポートが他のラインカードの外部ポートPである場合には、所定の分散規則に基づいてファブリックカード用ポートF[1]〜F[3]のいずれかを選択し、当該選択したファブリックカード用ポートにフレームを中継する。
このファブリックカード用ポートへのフレームの中継に際し、各ラインカードLCは、宛先のラインカードLCおよび外部ポートPを示す識別子を当該フレームに付加する。ラインカードLCからのフレームを受信したスイッチデバイス14は、当該フレームに付加された識別子に基づき、所定のラインカードLCに当該フレームを中継する。また、スイッチデバイス14からのフレームを受信したラインカードLCも、当該フレームに付加された識別子に基づき、所定の外部ポートPに当該フレームを中継する。
このように、複数のラインカードLC[1]〜LC[m]の間でのフレームの中継は、所定の分散規則に基づき、複数のファブリックカードFC[1]〜FC[3]のいずれかを介して行われる。これにより、処理負荷の分散や、通信帯域の向上が図れる。また、複数のファブリックカードFC[1]〜FC[3]のいずれかに障害が生じた場合、フレームの中継は、残りのファブリックカードFCに縮退して行われる。これにより、耐障害性(可用性)の向上が実現可能になる。
《中継装置の外形》
図2は、図1の中継装置において、その外形の一例を示す概略図である。図2に示す中継装置10は、前述したラインカードLC、ファブリックカードFCおよび管理カードMCに加えて、配線基板25を有する。ラインカードLCには、装置外部に向けて複数の外部ポートPが設けられる。配線基板25は、ラインカードLC、ファブリックカードFCおよび管理カードMCがそれぞれ着脱される複数のカードスロット26を持つ。図1に示したPCIeバス15および通信回線17は、配線基板25に形成される。図1に示した通信回線19は、例えば、配線基板25に形成される場合や、装置外部のイーサネット回線で構成される場合がある。後者の場合、管理カードMCは、例えば、装置外部に向けた管理用の外部ポートを持つ。
《中継装置の問題点》
例えば、図1の各ファブリックカードFCがプロセッサを備える場合、各管理カードMCのプロセッサ(11a,11b)は、各ファブリックカードFCのプロセッサとの間で通信を行うことで各ファブリックカードFCのスイッチデバイス14を管理することができる。ただし、中継装置10の小型化のためには、各ファブリックカードFCは、プロセッサを搭載しないことが望ましい。
そこで、図1では、管理カードMC[1],MC[2]にルートコンプレックス12a,12bを搭載し、各ファブリックカードFCにPCIeスイッチ13を搭載することで、PCIeネットワークが構築されている。PCIeスイッチ13において、ルートコンプレックス12aに接続されるPCIeポート(第1ポート)PT1には、トランスペアレント・ブリッジ(TB)が設定され、ルートコンプレックス12bに接続されるPCIeポート(第2ポート)PT2には、ノン・トランスペアレント・ブリッジ(NTB)が設定される。また、スイッチデバイス(エンドポイント)14に接続されるPCIeポート(第3ポート)PT3には、TBが設定される。
このようにNTBを設定することで、プロセッサ11a(ルートコンプレックス12a)とプロセッサ11b(ルートコンプレックス12b)は、互いに相手の存在が見えなくなり、互いに独立したアドレス空間でスイッチデバイス(エンドポイント)14にアクセスすることが可能になる。例えば、NTBは、プロセッサ11bからスイッチデバイス14にアクセスがあった場合、そのアドレス空間を、プロセッサ11a側から見たスイッチデバイス14のアドレス空間に変換したのち、スイッチデバイス14にアクセスする。
しかしながら、NTBは、例えば、図2に示したような各ファブリックカードFCの着脱時にホットプラグを行えない場合がある。ホットプラグとは、例えば、各ファブリックカードFCの着脱時に、それに応じた適切な各種設定変更を、PCIeネットワークのリセットを経ることなく動的に行う機能を意味する。
具体的には、例えば、図1におけるファブリックカードFC[1]に障害が生じた場合を想定する。この場合、当該ファブリックカードFC[1]は、通常、カードスロット26から取り外されて修理等が行われたのち、再度、カードスロット26に取り付けられる。TB側のプロセッサ11a(ルートコンプレックス12a)は、ファブリックカードFC[1]が取り付けられたことを認識し、当該ファブリックカードFC[1]のPCIeスイッチ13a等に対してバス番号を動的に割り当て、スイッチデバイス(エンドポイント)14aにアクセスするためのアドレス空間を動的にマッピングする。すなわち、プロセッサ11aは、ホットプラグを行う。
ただし、当該プロセッサ11a(ルートコンプレックス12a)によって割り当てられるバス番号は、ファブリックカードFC[1]の取り外し前と取り付け後とで異なる場合がある。アドレス空間のマッピングは、バス番号に応じて順次行われる場合が多く、バス番号が変更されると、スイッチデバイス(エンドポイント)14aにアクセスするためのアドレス空間も変更され得る。このように、動的にバス番号やアドレス空間が変更されると、これに応じてNTBにおけるアドレス空間の変換規則も動的に変更する必要がある。
しかしながら、NTBは、このアドレス空間の変換規則を動的に変更できない場合がある。その結果、バックアップ用管理カードMC[2]がアクティブ状態となった際に、NTB側のプロセッサ11b(ルートコンプレックス12b)は、スイッチデバイス(エンドポイント)14aにアクセスすることができず、ファブリックカードFC[1]を管理することができなくなる。
このような問題を解決するため、例えば、バックアップ用管理カードMC[2]がアクティブ状態となった際に、PCIeネットワークをリセットし、PCIeポートPT1をNTBに、PCIeポートPT2をTBに再設定するような方法が考えられる。この場合、プロセッサ11b(ルートコンプレックス12b)は、リセット後のコンフィグレーション・アクセスを介してPCIeネットワークを適切に設定できるようになり、その後のホットプラグにも対応可能になる。ただし、PCIeネットワークのリセットを行うと、スイッチデバイス(エンドポイント)14にもリセットが生じるため、リセット後の所定の期間で、中継装置10によるフレームの中継動作が停止することになる。
なお、図1では省略されているが、各管理カードMCは、実際には、各ラインカードLCの管理も行う。各ラインカードLCには、通常、フィルタリングやマルチキャスト等の複雑なフレーム処理に対応するためのプロセッサが搭載される。したがって、各管理カードMCのプロセッサ(11a,11b)は、各ラインカードLCのプロセッサとの間で通信を行うことで各ラインカードを管理することができる。ただし、各ラインカードLCがプロセッサを搭載しない場合には、前述したファブリックカードFCの場合と同様の問題が生じることになる。
《中継装置の主要部の構成》
図3は、図1および図2の中継装置において、その主要部の構成例を示す概略図である。図3では、図1における3枚のファブリックカードFC[1]〜FC[3]の中の1枚のファブリックカード(処理カード)FCが代表的に示されている。残りの2枚のファブリックカードに関しても、図3と同様の構成になる。また、ここでは、エンドポイントが搭載される処理カードをファブリックカードFCとするが、前述したように、各ラインカードLCがプロセッサを搭載しない場合には、処理カードをラインカードLCとすることも可能である。この場合、エンドポイントは、ラインカードLC上に搭載される各種デバイスとなる。さらに、各処理カード上のエンドポイントの数は、1個に限らず、複数個であってもよい。この場合、PCIeスイッチ13が持つPCIeポート(第3ポート)PT3の数が、当該エンドポイントの数に応じて増加することになる。
図3に示す配線基板25は、図2に示したカードスロット26に加えて、スロット番号設定機構33を備える。スロット番号設定機構33は、詳細は図6で述べるが、複数のカードスロット26に対してそれぞれ異なるスロット番号を固定的に設定する。図3に示すファブリックカードFCは、図1に示したPCIeスイッチ13およびスイッチデバイス14に加えて、スロットコネクタ31と、バス番号設定部32と、を備える。スロットコネクタ31は、カードスロット26に対して電気的および物理的に着脱するためのコネクタである。
図3のPCIeスイッチ13は、図1で述べたように、トランスペアレント・ブリッジ(TB)が設定されるPCIeポートPT1と、ノン・トランスペアレント・ブリッジ(NTB)が設定されるPCIeポートPT2と、TBが設定されるPCIeポートPT3と、を備える。NTBは、仮想的に、TBと、内部側エンドポイントEPiと、外部側エンドポイントEPeとで構成される。PCIeポートPT1のTBは、ブリッジの両側の一方が仮想PCIeバス30に接続され、他方が配線基板25を介してルートコンプレックス12aに接続される。PCIeポートPT3のTBは、ブリッジの両側の一方が仮想PCIeバス30に接続され、他方がスイッチデバイス(エンドポイント)14に接続される。
PCIeポートPT2のTBは、ブリッジの両側の一方が仮想PCIeバス30に接続され、他方が内部側エンドポイントEPiに接続される。外部側エンドポイントEPeは、配線基板25を介してルートコンプレックス12bに接続される。このように、NTBは、ルートコンプレックス12aからは内部側エンドポイントEPiとして見え、ルートコンプレックス12bからは外部側エンドポイントEPeとして見える。これにより、アドレス空間の分離が可能となり、PCIeネットワーク内に複数のルートコンプレックス12a,12bが共存可能になる。
図4は、図3におけるNTBの主要な機能の一例を示す概念図である。NTBは、主に、アドレス空間を分離すると共に、この分離したアドレス空間の間でアドレス空間の変換を行う。具体的には、図4に示すように、まず、TB側のプロセッサ11a(ルートコンプレックス12a)は、コンフィグレーション・アクセスを介して自身のアドレスマップ37の中にスイッチデバイス(エンドポイント)14のアドレス空間38をマッピングする。
一方、外部側エンドポイントEPeは、ベースレジスタ35と、変換レジスタ36とを備えている。ベースレジスタ35には、予め、アドレス空間38で必要とされるサイズ等が設定されている。NTB側のプロセッサ11b(ルートコンプレックス12b)は、ベースレジスタ35等に対するコンフィグレーション・アクセスを介してアドレス空間38のサイズを認識すると共に、これに基づくアドレス空間を自身のアドレスマップにマッピングする。そして、プロセッサ11b(ルートコンプレックス12b)は、このマッピングしたアドレス空間のアドレス値をベースレジスタ35に設定する。
変換レジスタ36には、プロセッサ11a(ルートコンプレックス12a)とプロセッサ11b(ルートコンプレックス12b)との間の情報交換によってアドレスマップ37上のアドレス空間38のアドレス値が設定される。これにより、NTB側のプロセッサ11b(ルートコンプレックス12b)は、ベースレジスタ35に設定されたアドレス空間にアクセスすることで、変換レジスタ36を介してアドレス空間38にアクセスすることが可能になる。なお、図示は省略するが、内部側エンドポイントEPiに関しても、同様の仕組みにより、外部側エンドポイントEPeとは逆方向の変換を行う。また、NTBの仕組みは、このような方式に限らず、実際には様々な方式が存在する。
ここで、前述したように、TB側のプロセッサ11a(ルートコンプレックス12a)がホットプラグに伴いバス番号やアドレス空間の動的な変更を行った際には、変換レジスタ36の内容も動的に変更されなければならない。しかしながら、このような変換レジスタ36の設定処理は、PCIeで標準的に行われる各種設定処理とは異なるため、場合によっては、ホットプラグ時の処理内容には含まれず、変換レジスタ36の動的な設定変更を行えない事態が生じ得る。
そこで、バス番号設定部32は、各PCIeポート(第1〜第3ポート)PT1〜PT3が持つコンフィグレーションレジスタに含まれるバス番号を固定的に設定する。この際に、より望ましくは、バス番号設定部32は、自身が取り付けられるカードスロット26からスロット番号設定機構33によって設定されるスロット番号を取得し、当該スロット番号に基づいてバス番号を設定する。
図5は、図3のPCIeスイッチの各PCIeポートが持つコンフィグレーションレジスタの一例を示す概略図である。各PCIeポートPT1〜PT3のそれぞれは、前述したように、トランスペアレント・ブリッジ(TB)を備える。各TBは、通過を許可するバス番号やアドレス空間等の設定を行うための、所謂タイプ1のヘッダを持つコンフィグレーションレジスタを備える。
図5に示すように、当該タイプ1のヘッダを持つコンフィグレーションレジスタ40の中には、プライマリバス番号41、セカンダリバス番号42およびサブオーディネットバス番号43が含まれる。図3のバス番号設定部32は、より具体的には、この各番号(41,42,43)を固定的に設定する。この際の実際の設定方法は、BIOSやPCIeスイッチ13の仕様に応じて異なり、バス番号設定部32は、各番号(41,42,43)を直接的に設定する場合や、BIOSを介して間接的に設定する場合等がある。
なお、図示は省略するが、内部側エンドポイントEPiおよび外部側エンドポイントEPeのそれぞれは、自身に割り当てられるアドレス空間(例えばベースアドレスレジスタ35)等の設定を行うための、所謂タイプ0のヘッダを持つコンフィグレーションレジスタを備える。
このようにバス番号が動的ではなく、固定的に設定される仕組みを設けることで、前述したようなホットプラグが生じた場合でも、PCIeスイッチ13上でバス番号が変更されることは無い。これに伴い、TB側のプロセッサ11a(ルートコンプレックス12a)によってスイッチデバイス(エンドポイント)14に割り当てられるアドレス空間38も変更されることはない。これにより、例えば、変換レジスタ36の内容を変更せずとも、NTB側のプロセッサ11b(ルートコンプレックス12b)は、自身の管理カードMCがアクティブ状態の際に、スイッチデバイス(エンドポイント)14に対して正常にアクセスすることが可能になる。その結果、PCIeネットワークを用いた可用性が高い管理機能を構築することが可能になる。
また、ここでは、スロット番号設定機構33に基づいてバス番号の設定が行われている。言い換えれば、ファブリックカードFCではなく、カードスロット26に対応付ける方式でバス番号が定められる。例えば、ファブリックカードFCに対応付けてバス番号を定めた場合、所定のバス番号を持つファブリックカードFCに障害が生じた場合に、当該ファブリックカードFCを複数のカードスロット26の中から見つけ出す必要がある。このような手間を防止するため、例えば、各ファブリックカードFCと各カードスロット26との対応関係を人為的な規則により定めることも可能である。ただし、この場合、「ファブリックカードFCが規則とは異なるカードスロット26に取り付けられる」といったような人為的なミスが懸念される。
一方、カードスロット26に対応付けてバス番号を定めた場合、所定のバス番号を持つファブリックカードFCに障害が生じた場合に、カードスロット26が一義的に定まり、ファブリックカードFCを即座に特定することが可能になる。さらに、このような効果は、カードスロット26に複数のファブリックカードFCの中のいずれを取り付けた場合でも得られる。すなわち、前述したような人為的な規則は不要となり、人為的なミスも無くなる。これらの結果、管理効率を向上させることが可能になる。
なお、前述した特許文献2には、ゲストOSによる論理的なリソースと、物理サーバによる物理的なリソースとの間の不一致を鑑みて、PCIバス番号を固定的に割り当てる方式が示されている。これは、例えば、図3において、プロセッサ11aとルートコンプレックス12aとで同一のデバイスを異なって認識するような場合に相当するが、本実施の形態では、当該文献のような仮想化環境とは前提が異なるため、当該文献のような問題は特に生じない。すなわち、本実施の形態の方式は、NTBを用いて2個のプロセッサを切り替える構成を前提としたものである。
《スロット番号設定機構の詳細》
図6(a)および図6(b)は、図3におけるスロット番号設定機構のそれぞれ異なる構成例を示す概略図である。図6(a)において、ファブリックカードFCのスロットコネクタ31には、複数の端子45が設けられ、カードスロット26にも、複数の端子45にそれぞれ接続するための複数の端子46が設けられる。ここで、複数の端子46の一部は、スロット番号設定機構33を構成する。具体的には、スロット番号設定機構33を構成する各端子46には、2種類の状態46a,46bが固定的に設定される。
特に限定はされないが、例えば、状態46a,46bの一方は、配線基板25を介して電源電圧が印加され、他方は配線基板25を介してグラウンド電圧が印加される。あるいは、状態46a,46bの一方は、端子が存在し(すなわち電流が流れる状態であり)、他方は、端子が存在しない(すなわち電流が流れない状態である)。ファブリックカードFCのバス番号設定部32は、スロット番号設定機構33を構成する各端子46の状態を複数の端子45を介して判別し、この判別した状態の組合せによってスロット番号を認識する。
一方、図6(b)では、配線基板25上で、各カードスロット26毎にディップスイッチ47が設けられ、このディップスイッチ47によってスロット番号設定機構33が構成される。ディップスイッチ47の設定状態は、配線基板25を介して複数の端子46の一部に反映される。ファブリックカードFCのバス番号設定部32は、当該複数の端子46の一部の設定状態を複数の端子45を介して判別し、この判別した状態の組合せによってスロット番号を認識する。なお、ここでは、ディップスイッチ47を用いたが、ジャンパーピン等を用いてもよい。
《中継装置の管理動作》
図7は、図1および図3等の中継装置において、通常時の概略的な管理動作の一例を示す説明図である。図7に示すように、通常時には、マスタ用管理カードMC[1]がアクティブ状態となり、各ファブリックカード(ここでは便宜上、2枚のみ図示)FC[1],FC[2]を管理する。前述したバス番号設定部32により、PCIeスイッチ13a,13bの各PCIeポートPT1〜PT3が持つコンフィグレーションレジスタ40には、バス番号が固定的に設定される。以降、説明の便宜上、ファブリックカードFC[1]側に着目して説明を行う。
PCIeスイッチ13aのPCIeポートPT1(具体的にはその中のTB)が持つコンフィグレーションレジスタ40には、プライマリバス番号41=#1、セカンダリバス番号42=#2、サブオーディネットバス番号43=#4がそれぞれ設定される。PCIeスイッチ13aのPCIeポートPT2(具体的にはその中のTB)が持つコンフィグレーションレジスタ40には、プライマリバス番号41=#2、セカンダリバス番号42=#4、サブオーディネットバス番号43=#4がそれぞれ設定される。PCIeスイッチ13aのPCIeポートPT3(具体的にはその中のTB)が持つコンフィグレーションレジスタ40には、プライマリバス番号41=#2、セカンダリバス番号42=#3、サブオーディネットバス番号43=#3がそれぞれ設定される。なお、これらのバス番号は、固定であればよく、必ずしも図7の値に限定されるものではない。
マスタ用管理カードMC[1]のプロセッサ11a(ルートコンプレックス12a)は、ブート時に、当該コンフィグレーションレジスタ40の情報を読み出し、当該情報に従ってバス番号を確定する。そして、プロセッサ11a(ルートコンプレックス12a)は、スイッチデバイス(エンドポイント)14aにアクセスするためのアドレス空間(図4のアドレス空間38)や内部側エンドポイントEPiにアクセスするためのアドレス空間をマッピングする。
一方、バックアップ用管理カードMC[2]のプロセッサ11b(ルートコンプレックス12b)は、ブート時に、PCIeスイッチ13aのPCIeポートPT2(すなわち外部側エンドポイントEPe)に対して所定のバス番号を割り当てる。そして、プロセッサ11b(ルートコンプレックス12b)は、外部側エンドポイントEPeが持つコンフィグレーションレジスタに基づき、外部側エンドポイントEPeを介してスイッチデバイス14aにアクセスするためのアドレス空間をマッピングする。すなわち、プロセッサ11b(ルートコンプレックス12b)は、図4に示したベースアドレス35の設定等を行う。その後、プロセッサ11a(ルートコンプレックス12a)とプロセッサ11b(ルートコンプレックス12b)は、図4に示した変換レジスタ36の設定を代表とするNTBでのアドレス変換に必要な各種設定を行う。
以上のようなブート時の動作を終えたのち、マスタ用管理カードMC[1]のプロセッサ11a(ルートコンプレックス12a)は、マッピングされたアドレス空間を用いてスイッチデバイス14aにアクセスする。これにより、マスタ用管理カードMC[1]のプロセッサ11a(ルートコンプレックス12a)は、スイッチデバイス14aに対する各種設定の書き込みや、スイッチデバイス14aが持つ内部状態の読み出し等によって、スイッチデバイス14aを管理する。また、マスタ用管理カードMC[1]のプロセッサ11aは、バックアップ用管理カードMC[2]のプロセッサ11bとの間で、通信回線(第1通信回線)19を介してスイッチデバイス14aに対する各種管理情報を同期する。
図8は、図1および図3等の中継装置において、マスタ用管理カードに障害が生じた場合の概略的な管理動作の一例を示す説明図である。図8において、バックアップ用管理カードMC[2]は、通信回線(第1通信回線)19を介してマスタ用管理カードMC[1]の障害有無を監視する。特に限定はされないが、例えば、各管理カードMC間で、生存確認用のフレームを通信回線(第1通信回線)19を介して定期的に送信および受信することで障害有無を監視する。
バックアップ用管理カードMC[2]は、マスタ用管理カードMC[1]の障害を検出した際には、スタンバイ状態からアクティブ状態に切り替わり、これに応じて、マスタ用管理カードMC[1]は、アクティブ状態からスタンバイ状態に切り替わる。これにより、バックアップ用管理カードMC[2]のプロセッサ11b(ルートコンプレックス12b)は、マッピングされたアドレス空間を用い、PCIeスイッチ13aのNTB(すなわち図4の外部側エンドポイントEPe)を介してスイッチデバイス14aを管理する。
図9は、図1および図3等の中継装置において、ホットプラグが生じた場合の概略的な管理動作の一例を示す説明図である。図9では、図7に示した通常時の状態から、ファブリックカードFC[1]がカードスロット(図3のカードスロット26)から一旦取り外され、その後、再度、取り付けられている。ファブリックカードFC[1]が取り付けられた際、マスタ用管理カードMC[1]のプロセッサ11a(ルートコンプレックス12a)は、ファブリックカードFC[1]に対してホットプラグを行う。また、バックアップ用管理カードMC[2]のプロセッサ11b(ルートコンプレックス12b)も、ファブリックカードFC[1](具体的にはその中の外部側エンドポイントEPe)に対してホットプラグを行う。
マスタ用管理カードMC[1]のプロセッサ11a(ルートコンプレックス12a)は、このホットプラグに伴い、PCIeスイッチ13aに対するバス番号の動的な割り付けや、スイッチデバイス(エンドポイント)14aに対するアドレス空間の動的なマッピングを行う。この際に、プロセッサ11a(ルートコンプレックス12a)は、バス番号設定部32が無い場合には、PCIeスイッチ13aに対するバス番号を図7の場合とは異なる値に設定することがある。
しかしながら、ここでは、バス番号設定部32が有るため、プロセッサ11a(ルートコンプレックス12a)は、図7の場合と同じバス番号を設定する。これに伴い、プロセッサ11a(ルートコンプレックス12a)は、スイッチデバイス14aに対して図7の場合と同じアドレス空間をマッピングする。その結果、仮に、その後に、バックアップ用管理カードMC[2]がスタンバイ状態からアクティブ状態に切り替わった場合でも、プロセッサ11b(ルートコンプレックス12b)は、スイッチデバイス14aに対して正常にアクセスすることが可能である。
以上、本実施の形態1の中継装置を用いることで、代表的には、シャーシ型の中継装置において、PCIeネットワークを用いた可用性が高い管理機能を実現可能になる。
(実施の形態2)
ノン・トランスペアレント・ブリッジ(NTB)は、実施の形態1で述べたような問題点に加えて、エンドポイント側からルートコンプレックス側に向けたリクエストを受け付けない場合がある。すなわち、例えば、図3において、プロセッサ11bは、スイッチデバイス(エンドポイント)14に対してライトリクエストおよびリードリクエストを発行可能であるが、スイッチデバイス14は、プロセッサ11bに対してライトリクエストおよびリードリクエストを発行できない場合がある。この場合、各ファブリックカードFCは、自身で検出した障害をバックアップ用管理カードMC[2]に通知できない事態が生じ得る。そこで、図10に示すような構成例を用いることが有益となる。
《中継装置の全体構成(応用例)》
図10は、本発明の実施の形態2による中継装置において、その構成の一例を示す概略図である。図10に示す中継装置50は、図1の中継装置10の中からファブリックカードFC[3]の記載を便宜上省略した構成となっている。また、当該中継装置50の各ファブリックカードFC[1],FC[2]は、図示は省略しているが、実際には、図3に示したような構成(バス番号設定部32等)を備える。以降、図10の中継装置50と、図1および図3に示した中継装置10との実質的な相違点に着目して説明を行う。
複数のファブリックカードFC[1],FC[2]は、それぞれ、障害検出部51a,51bと、障害通知部52a,52bと、を備える。マスタ用管理カードMC[1]およびバックアップ用管理カードMC[2]は、それぞれ、受信部53aおよび受信部53bを備える。さらに、中継装置50は、複数のファブリックカードFC[1],FC[2]のそれぞれと、バックアップ用管理カードMC[2]との間を接続する複数のシリアルバス(第2通信回線)54a,54bを備える。図10の例では、シリアルバス54a,54bのそれぞれには、バックアップ用管理カードMC[2]に加えてマスタ用管理カードMC[1]も接続されている。シリアルバス54a,54bは、PCIeバスとは異なり、特に限定はされないが、例えばI2C(アイ・スクエア・シー)等である。
障害検出部51a,51bは、例えば、スイッチデバイス(エンドポイント)14a,14b内にそれぞれ搭載され、スイッチデバイス14a,14bの障害をそれぞれ検出する。特に限定はされないが、一例として、障害検出部51aは、スイッチデバイス14aに接続される通信回線17のリンクダウン等を検出する。障害通知部52a,52bは、それぞれ、障害検出部51a,51bによって障害が検出された際に、シリアルバス(第2通信回線)54a,54bを介してバックアップ用管理カードMC[2]およびマスタ用管理カードMC[1]に通知を行う。
具体的には、障害通知部52aは、シリアルバス54aおよびバックアップ用管理カードMC[2]の受信部53bを介してプロセッサ11bに通知を行い、シリアルバス54aおよびマスタ用管理カードMC[1]の受信部53aを介してプロセッサ11aに通知を行う。同様に、障害通知部52bは、シリアルバス54bおよびバックアップ用管理カードMC[2]の受信部53bを介してプロセッサ11bに通知を行い、シリアルバス54bおよびマスタ用管理カードMC[1]の受信部53aを介してプロセッサ11aに通知を行う。
これにより、各ファブリックカードFCは、バックアップ用管理カードMC[2]に対して、自身で検出した障害を通知することが可能になる。なお、ここでは、障害通知部52a,52bは、バックアップ用管理カードMC[2]に加えてマスタ用管理カードMC[1]に対しても障害の通知を行っている。このように、障害通知方式をマスタ用管理カードMC[1]とバックアップ用管理カードMC[2]とで同じにすることで、各管理カードMCは、同じ内容の処理を行えばよく、処理の簡素化等が図れる。
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。例えば、前述した実施の形態は、本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
10,50 中継装置
11a,11b プロセッサ
12a,12b ルートコンプレックス
13,13a〜13c PCIeスイッチ
14,14a〜14c スイッチデバイス(エンドポイント)
15,16 PCIeバス
17 通信回線
18 イーサネット回線
19 通信回線
25 配線基板
26 カードスロット
30 仮想PCIeバス
31 スロットコネクタ
32 バス番号設定部
33 スロット番号設定機構
35 ベースレジスタ
36 変換レジスタ
37 アドレスマップ
38 アドレス空間
40 コンフィグレーションレジスタ
41 プライマリバス番号
42 セカンダリバス番号
43 サブオーディネットバス番号
45,46 端子
46a,46b 状態
47 ディップスイッチ
51a,51b 障害検出部
52a,52b 障害通知部
53a,53b 受信部
54a,54b シリアルバス
EPe 外部側エンドポイント
EPi 内部側エンドポイント
F[1]〜F[3] ファブリックカード用端子
FC,FC[1]〜FC[3] ファブリックカード
LC,LC[1]〜LC[m] ラインカード
MC,MC[1],MC[2] 管理カード
NTB ノン・トランスペアレント・ブリッジ
P,P[1]〜P[n] 外部ポート
PT1〜PT3 PCIeポート
TB トランスペアレント・ブリッジ

Claims (4)

  1. それぞれ、イーサネットフレームに対する所定の処理を行うエンドポイントと、PCIe規格に基づくパケットを中継するPCIeスイッチと、バス番号設定部と、を備える複数の処理カードと、
    第1プロセッサと、第1ルートコンプレックスと、を備え、前記複数の処理カードを管理するマスタ用管理カードと、
    第2プロセッサと、第2ルートコンプレックスと、を備え、前記マスタ用管理カードに障害が生じた場合に、前記マスタ用管理カードに代わって前記複数の処理カードを管理するバックアップ用管理カードと、
    前記複数の処理カード、前記マスタ用管理カードおよび前記バックアップ用管理カードがそれぞれ着脱される複数のカードスロットを備える配線基板と、
    を有する中継装置であって、
    前記PCIeスイッチは、
    トランスペアレント・ブリッジが設定され、前記配線基板を介して前記第1ルートコンプレックスに接続される第1ポートと、
    ノン・トランスペアレント・ブリッジが設定され、前記配線基板を介して前記第2ルートコンプレックスに接続される第2ポートと、
    トランスペアレント・ブリッジが設定され、同一の処理カード上の前記エンドポイントに接続される第3ポートと、
    を備え、
    前記バス番号設定部は、前記第1ポート、前記第2ポートおよび前記第3ポートが持つコンフィグレーションレジスタに含まれるバス番号を固定的に設定し、
    前記中継装置は、さらに、前記複数の処理カードのそれぞれと、前記バックアップ用管理カードとの間を接続する、PCIeバスとは異なる複数の第2通信回線を備え、
    前記複数の処理カードのそれぞれは、さらに、
    前記エンドポイントの障害を検出する障害検出部と、
    前記障害検出部によって障害が検出された際に、前記第2通信回線を介して前記バックアップ用管理カードに通知を行う障害通知部と、
    を有する、
    中継装置。
  2. 請求項1記載の中継装置において、
    前記配線基板は、前記複数のカードスロットに対してそれぞれ異なるスロット番号を固定的に設定するスロット番号設定機構を備え、
    前記バス番号設定部は、自身が取り付けられるカードスロットから前記スロット番号設定機構によって設定される前記スロット番号を取得し、当該スロット番号に基づいて前記バス番号を設定する、
    中継装置。
  3. 請求項2記載の中継装置において、さらに、
    前記マスタ用管理カードと前記バックアップ用管理カードとの間を接続する、PCIeバスとは異なる第1通信回線を備え、
    前記マスタ用管理カードと前記バックアップ用管理カードは、前記第1通信回線を介して前記複数の処理カードの管理情報を同期し、
    前記バックアップ用管理カードは、前記第1通信回線を介して前記マスタ用管理カードの障害有無を監視する、
    中継装置。
  4. 請求項2記載の中継装置において、
    前記複数のカードスロットには、さらに、装置外部との間でイーサネットフレームの送信または受信を行う複数のラインカードが取り付けられ、
    前記複数の処理カードが備える前記エンドポイントのそれぞれは、前記配線基板を介して前記複数のラインカード間でのイーサネットフレームの中継を行う、
    中継装置。
JP2014024037A 2014-02-12 2014-02-12 中継装置 Active JP6155500B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014024037A JP6155500B2 (ja) 2014-02-12 2014-02-12 中継装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014024037A JP6155500B2 (ja) 2014-02-12 2014-02-12 中継装置

Publications (2)

Publication Number Publication Date
JP2015154127A JP2015154127A (ja) 2015-08-24
JP6155500B2 true JP6155500B2 (ja) 2017-07-05

Family

ID=53896009

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014024037A Active JP6155500B2 (ja) 2014-02-12 2014-02-12 中継装置

Country Status (1)

Country Link
JP (1) JP6155500B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106487721B (zh) 2015-08-25 2019-10-08 新华三技术有限公司 网络设备和用于网络设备中的报文转发方法
US10013382B2 (en) * 2016-04-27 2018-07-03 Quanta Computer Inc. Smart plug node management
KR101716273B1 (ko) * 2016-08-25 2017-03-14 국방과학연구소 동기식 데이터 링크 제어 통신 장치
CN106951378B (zh) * 2017-03-20 2021-03-09 苏州浪潮智能科技有限公司 一种基于直写窗口模式的非透明桥读写方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5761448A (en) * 1996-08-30 1998-06-02 Ncr Corporation Physical-to-logical bus mapping scheme for computer systems having multiple PCI bus configuration
JPH11259325A (ja) * 1998-03-11 1999-09-24 Matsushita Electric Ind Co Ltd 二重化システム及び二重化システムにおける情報処理方法
US20060004837A1 (en) * 2004-06-30 2006-01-05 Genovker Victoria V Advanced switching peer-to-peer protocol
JP5180729B2 (ja) * 2008-08-05 2013-04-10 株式会社日立製作所 計算機システム及びバス割当方法
JP5477168B2 (ja) * 2010-05-27 2014-04-23 日本電気株式会社 マルチホストシステム

Also Published As

Publication number Publication date
JP2015154127A (ja) 2015-08-24

Similar Documents

Publication Publication Date Title
JP7118922B2 (ja) スイッチングデバイス、ペリフェラル・コンポーネント・インターコネクト・エクスプレスシステムおよびその初期化方法
JP4670676B2 (ja) スイッチ及びネットワークブリッジ装置
KR101445436B1 (ko) 공유 i/o 시스템에서의 리셋 변환 방법, 컴퓨터 판독 가능한 매체 및 컴퓨터 시스템
US7925817B2 (en) Computer system and method for monitoring an access path
US20100153592A1 (en) Use of Peripheral Component Interconnect Input/Output Virtualization Devices to Create Redundant Configurations
US8489795B2 (en) PCI-Express communication system and PCI-Express communication method
JP2014099847A (ja) PCIe構造でのホスト間メッセージをセキュア化し分離する方法及び装置
JP6155500B2 (ja) 中継装置
CN104536940A (zh) 发送具有扩展头部的分组
US10673693B2 (en) Ring based network interconnect
CN102622279A (zh) 冗余控制系统、方法及管理控制器
CN115550291B (zh) 交换机的复位系统及方法、存储介质、电子设备
JP2014002545A (ja) データ転送装置、及びデータ転送方法
CN103036701A (zh) 一种跨网段的n+1备用方法及装置
US20120324078A1 (en) Apparatus and method for sharing i/o device
Tu et al. Seamless fail-over for PCIe switched networks
EP2141867B1 (en) Communication system, network apparatus, communication recovery method for use therein, and program thereof
CN114615106B (zh) 环形数据处理系统、方法以及网络设备
CN104933001A (zh) 一种基于RapidIO技术的双控制器数据通信方法
JP2014532236A (ja) 接続方法
CN113746655B (zh) 一种备份状态确定方法、装置及系统
JP2011048452A (ja) エンドポイント代理アクセス装置、共有システム、代理アクセス方法および代理アクセスプログラム
JP5110156B2 (ja) スイッチ及びネットワークブリッジ装置
JP2011107858A (ja) 通信インタフェースの種類が異なる複数の入出力装置に複数の計算機が通信可能に接続される計算機システム
JP2015053555A (ja) データ転送装置、およびデータ転送方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170418

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20170512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170516

R150 Certificate of patent or registration of utility model

Ref document number: 6155500

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111