JPWO2010084529A1 - 情報処理システム - Google Patents

情報処理システム Download PDF

Info

Publication number
JPWO2010084529A1
JPWO2010084529A1 JP2010547311A JP2010547311A JPWO2010084529A1 JP WO2010084529 A1 JPWO2010084529 A1 JP WO2010084529A1 JP 2010547311 A JP2010547311 A JP 2010547311A JP 2010547311 A JP2010547311 A JP 2010547311A JP WO2010084529 A1 JPWO2010084529 A1 JP WO2010084529A1
Authority
JP
Japan
Prior art keywords
switch
pcie
chassis
virtual
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010547311A
Other languages
English (en)
Inventor
八木 伸夫
伸夫 八木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JPWO2010084529A1 publication Critical patent/JPWO2010084529A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/40Bus structure
    • G06F13/4063Device-to-bus coupling
    • G06F13/409Mechanical coupling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0026PCI express

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Systems (AREA)
  • Bus Control (AREA)

Abstract

単一の情報処理装置において、多くの入出力装置を接続可能なシステム、複数のサーバから入出力装置を共有する安価なシステムを柔軟に実現する。サーバシャーシは、プロセッサ、メモリ、及びルートコンプレックスを持つ複数のサーバブレードと、各サーバブレードと接続される第1のマルチルート対応PCIeスイッチを有し、IOシャーシは、入出力装置が装着される複数のPCIeスロットと、各PCIe スロットと接続される第2のマルチルート対応PCIeスイッチを有する、情報処理システムにおいて、第1のマルチルート対応PCIeスイッチと第2のマルチルート対応PCIeスイッチをPCIeケーブルで接続する。

Description

本発明は、情報処理システムに係り、特に、PCIe(Peripheral Component Interconnect Express)規格を用いて、コンピュータと複数の入出力装置(IO)を接続して、IO集約や共有、拡張を実現する情報処理システム、及び情報処理システムにおけるPCIeケーブルの接続確認方法に関するものである。
大規模な情報処理システムにおいて、1つコンピュータに多くのIOを接続する場合、一般的に、拡張IOシャーシを用いて多数のIOを搭載している。例えば、図24に示すような、コンピュータシステムにおいて、メモリ2401及びCPU2402、ルートコンプレックス2403、PCIeスロット2404を有するサーバシャーシ240と、PCIeスイッチ2421及びPCIeスロット2422を有する拡張IOシャーシ242を接続する場合、サーバシャーシ240のPCIeスロット2404に、パススルーカードを接続し、そのパススルーカードと拡張IOシャーシ242の間をPCIeケーブル244で接続することによって、IOの拡張を実現している。
また、コンピュータシステムの原価を低減するために、1つのIOを複数のコンピュータで共有したいという要求がある。そのために、マルチルートPCIe技術を用いて、サーバシャーシ内にて複数のサーバブレードから1つのIOを共有する。例えば、従来、1つのコンピュータで専有することしか出来なかったIOを、複数のコンピュータから発行されたトランザクションに、そのトランザクションの発行元のコンピュータを示すタグをつけることにより、複数のコンピュータからの共有を実現する。
PCIe技術を使用した情報処理システムに関して、例えば、特許文献1には、1つのホストCPUセット310がPCルートコンプレックス350及びPCIeスイッチ360を介してPCIeエンドポイント370−390に接続して、PCIルートコンプレックスの入出力を仮想化する手法(図3)や、複数のホストシステム1010,1020がMRAスイッチを介して、そのエンドポイントである仮想プレーン1040,1050に接続したコンピュータシステム(図10)が開示されている。
特開2008−152783公報
マルチルートPCIe技術は、コスト削減のため、IOリソースを共有することで、効率的に使用することを目的とした技術であり、従来、マルチルートPCIeに対応した拡張IOを持つ筐体とケーブル接続をしてIOを拡張することが出来なかった。また、マルチルートPCIeに対応した拡張IOの筐体を複数のサーバシャーシとケーブル接続して共有する構成も実現されていない。また、拡張IOの筐体によってIOを拡張することは可能であるが、IOを共有する具体的な技術的手段は実現していない。
また、上記特許文献1に記載された、PCIe技術を利用したデータ処理システムはいずれも、同じマルチルート・ブレード・クラスタ・システム内の個別のブレードに関するものであり、当該ブレードを有するコンピュータが、IOシャーシとどのように接続される、及び複数のコンピュータと1つIOシャーシとの接続、更には1のコンピュータと複数のIOシャーシとの接続等については、何ら記載されていない。
本発明の目的は、多数のIOの接続を可能とし、かつ複数のサーバから多数のIOを共有することが可能な、PCIe技術を利用した情報処理システム及びPCIeケーブルの接続確認を実現することにある。
本発明は、好ましくは、プロセッサ、メモリ、及びルートコンプレックスを持つ複数のサーバブレードと、該サーバブレードと接続される第1のマルチルート対応PCIeスイッチを有するサーバシャーシと、
入出力装置が装着される複数のPCIeスロットと、該PCIe スロットと接続される第2のマルチルート対応PCIeスイッチを有するIOシャーシとを備え、該第1のマルチルート対応PCIeスイッチと該第2のマルチルート対応PCIeスイッチをPCIeケーブルで接続してなる情報処理システムである。
好ましい例では、1台の前記サーバシャーシの前記第1のマルチルート対応PCIeスイッチは、複数の前記IOシャーシの第2のマルチルート対応PCIeスイッチに接続される。
また、好ましい他の例によれば、複数の前記サーバシャーシの前記第1のマルチルート対応PCIeスイッチは、1台の前記IOシャーシの第2のマルチルート対応PCIeスイッチに接続される。
また、好ましい他の例によれば、複数の前記サーバシャーシの前記第1のマルチルート対応PCIeスイッチは、複数の前記IOシャーシの第2のマルチルート対応PCIeスイッチに接続される。
また、好ましくは、前記第1のマルチルート対応PCIeスイッチは、前記サーバブレードが接続される複数の上流ポートと、複数の下流ポートと、複数の仮想スイッチと、該複数の上流スイッチと該複数の仮想スイッチの接続を切り替える上流スイッチと、該複数の仮想スイッチと該複数の下流ポートの接続を切り替える下流スイッチと、該複数の上流スイッチと該複数の仮想スイッチの接続の割当てを管理する上流ポート−仮想スイッチ割当表と、該複数の仮想スイッチと該複数の下流ポートの接続の割当てを管理する仮想スイッチ−下流ポート割当表と、該上流ポート−仮想スイッチ割当表及び該仮想スイッチ−下流ポート割当表の設定を管理する第1の管理マイコンを有し、該上流ポート−仮想スイッチ割当表によって該上流スイッチの切り替えを制御し、該仮想スイッチ−下流ポート割当表によって該下流スイッチの切り替えを制御して、該サーバシャーシのサーバブレードと前記IOシャーシの前記第2のマルチルート対応PCIeスイッチとを接続する。
また、好ましくは、前記第2のマルチルート対応PCIeスイッチは、前記第1のマルチルート対応PCIeスイッチと接続される複数の上流ポートと、該IOシャーシのPCIeスロットと接続される複数の下流ポートと、複数の仮想スイッチと、該複数の上流スイッチと該複数の仮想スイッチの接続を切り替える上流スイッチと、該複数の仮想スイッチと該複数の下流ポートの接続を切り替える下流スイッチと、該複数の上流スイッチと該複数の仮想スイッチの接続の割当てを管理する上流ポート−仮想スイッチ割当表と、該複数の仮想スイッチと該複数の下流ポートの接続の割当てを管理する仮想スイッチ−下流ポート割当表と、該上流ポート−仮想スイッチ割当表及び該仮想スイッチ−下流ポート割当表の設定を管理する第2の管理マイコンを有し、該上流ポート−仮想スイッチ割当表によって該上流スイッチの切り替えを制御し、該仮想スイッチ−下流ポート割当表によって該下流スイッチの切り替えを制御して、該サーバシャーシのサーバブレードの前記第1のマルチルート対応PCIeスイッチと該IOシャーシのPCIeスロットとを接続する。
また、好ましくは、前記第1及び第2の管理マイコンは、LANケーブルを介して管理コンソールに接続され、該管理コンソールから入力される設定情報に基づき、該第1及び第2の管理マイコンは、前記上流ポート−仮想スイッチ割当表及び前記仮想スイッチ−下流ポート割当表を作成する。
本発明に係るPCIeケーブルの接続確認方法は、好ましくは、サーバシャーシに備えられた、サーバブレードと接続される第1のマルチルート対応PCIeスイッチと、IOシャーシに備えられた、入出力装置が装着される複数のPCIeスロットと接続される第2のマルチルート対応PCIeスイッチの間を、PCIeケーブルで接続してなる情報処理システムにおけるPCIeケーブルの接続確認方法であって、前記第1及び第2のマルチルート対応PCIeスイッチが有する管理マイコンの実行の下、予め設定された、上流ポート−仮想スイッチの割当てを規定する第1割当表と、仮想スイッチ−下流ポートの割当てを規定する第2割当表に基づいて、各ポートが対象となるポートに正しく接続されているかを順次確認し、
該確認の結果を、対象となるポートに実装された表示子に表示することを特徴とするPCIeケーブルの接続確認方法として構成される。
また、好ましい例では、前記第1管理表及び前記第2管理表は、該サーバブレード及びIOシャーシに接続された管理コンソールで作成され、該管理コンソールから各該サーバブレード及びIOシャーシへ配信される。
本発明によれば、システムの要求に応じて、多数のIOの接続することが可能でかつ1又は複数のサーバから多数のIOを共有することが可能な、PCIe技術を利用した情報処理システムを実現することができる。すなわち、サーバシャーシ内の複数のサーバブレードを集約する第1のMR−PCIeスイッチと、複数のI/Oを接続可能な第2のMR−PCIeスイッチとをPCIeケーブル配線を接続することで、1又は複数のサーバブレードが1又は複数のIOシャーシを共有することが可能となる。
以下、図面を用いて本発明の実施例を詳細に説明する。
[実施例1]
図1はIO拡張した情報処理システムの構成例を示す。
1台のサーバシャーシ10は、PCIeケーブル15を介して3台のIOシャーシ121〜123(総称して12と示す)と接続される。サーバシャーシ10の具体的な構成は後述するが、サーバシャーシ10は、主に4つのサーバブレード201〜204と、マルチルート(MR)−PCIeスイッチ25を有し、このMR−PCIeスイッチ25によって、複数のIOシャーシ12と接続される。
IOシャーシ12は、それぞれMR−PCIeスイッチ13と、IOを搭載する8個のPCIeスロット141〜148(総称して14と示す)を有する。IOシャーシ12の各MR−PCIeスイッチ13は、PCIeケーブル15によりサーバシャーシ10のMR−PCIeスイッチ25と接続される。
この接続構成によって、サーバシャーシ1内のサーバブレード201〜204は、最大24個のPCIeスロット(8個のPCIeスロット×3台のIOシャーシ)に対しアクセスすることが可能となる。
また、サーバシャーシ10及びIOシャーシ12の各MR−PCIeスイッチ25,13は、LANスイッチ31を介して管理コンソール32に接続される。管理コンソール32は、例えばパーソナルコンピュータで構成され、入出力機能及びハードディスク等の記憶手段を有する。
ユーザ(システム管理者)は、管理コンソール32を操作して、サーバシャーシ10とIOシャーシ12との接続構成を構築し、またIOスロット14へのIOの装着を監視することができる。
図2は、サーバシャーシ10の詳細な構成例を示す。
サーバシャーシ10は、4台のサーバブレード201〜204(総称して20と示す)と、バックプレーン24と、MR−PCIeスイッチ25を有して構成される。サーバブレード20は、メモリ21、プロセッサ(CPU)22、CUPを接続するための複数のPCIeポートを持つルートコンプレックス23を有する。バックプレーン24は、サーバブレード20内のルートコンプレックス23とMR−PCIeスイッチ25を接続する。
サーバシャーシ10には最大4台のサーバブレード20が実装可能であるが、必ずしも最大4台のサーバブレードが装着されている必要はない。
[実施例2]
図3は、複数のサーバシャーシが1台のIOを共有する情報処理システムの構成例である。
3台のサーバシャーシ101〜103(総称して10と示す)が、PCIeケーブル15を介して1台のIOシャーシ121に接続して、情報処理システムが構成される。サーバシャーシ10及びIOシャーシ13の構成、LANスイッチ31、管理コンソール32等は、図1及び図2に示したものと同じである。
各サーバシャーシ10は、それぞれ4台のサーバブレード20を有するので、最大12台のサーバブレード20から、IOシャーシ121内の8個のPCIeスロット14(即ち8台のIO)を共有することが可能である。
[実施例3]
図4は、複数のサーバシャーシ101〜103が複数のIO121−123を共有する情報処理システムの構成例である。なお、サーバシャーシ10及びIOシャーシ13の構成は、図1及び図2に示したものと同じである。LANスイッチ31や管理コンソール32の図示は省略してある。
この構成によれば、1台のサーバブレード201が、それぞれのPCIeスロット14を使用して、最大24個のIOと接続することが可能である。また、1個のPCIeスロット14を最大12台のサーバブレード20で共有することが可能となる。
サーバシャーシ10のMR−PCIeスイッチ(第1のMR−PCIeスイッチ)と、IOシャーシ12の(第2のMR−PCIeスイッチ)とをPCIeケーブルで接続することにより、システム(ユーザ)の要求により、接続するサーバシャーシ数、拡張IOシャーシ数を柔軟に変更することが出来る。また、第1及び第2からなる2段のMR−PCIeスイッチにより、サーバブレードとPCIeスロットの接続を柔軟に行えるようになる。
図5は、MR−PCIeスイッチの詳細な構成を示す。
サーバシャーシ10及びIOシャーシ12内のマルチルートPCIeスイッチ25、13は、それぞれが持つポートの接続先が異なるが、内部の構成は同じである。
MR−PCIeスイッチは、スイッチの設定を管理する管理マイコン(マイクロCPU)51と、スイッチLSI52を有する。
スイッチLSI52は、4つの上流ポートと、8つの下流ポートを持ち、MR−PCIeスイッチの機能を実現する。その内部構成として、16個の仮想スイッチ57と、上流ポートと仮想スイッチ57を接続する上流接続スイッチ15と、仮想スイッチ57と下流ポートとを接続する下流スイッチ16と、上流ポートと仮想スイッチ57の割当てを管理する上流ポート−仮想スイッチ割当表53と、仮想スイッチ57と下流ポートの割当てを管理する仮想スイッチ−下流スイッチ割当表54を有する。
管理マイコン51は、またLANスイッチ31に接続され、システム(ユーザ)の要求により管理コンソール32からの指示によって、管理マイコン51の制御の下、管理表53,54の内容が設定、変更される。
[実施例1におけるスイッチの割当管理]
次に、図6〜図9を参照して、実施例1の情報処理システム(図1)におけるスイッチ割当管理表53,54を用いたスイッチの割当てについて説明する。
ここで、サーバシャーシ101のMR−PCIeスイッチ25は4つの上流ポートを使用して4つのサーバブレードに接続可能であり、また4つの下流ポートを使用して4つのIOシャーシに接続可能であるが、以下の説明では、MR−PCIeスイッチ25の上流ポートには1つのサーバブレード201が接続され、また3つの下流ポートを使用して3つのIOシャーシ12のMR−PCIeスイッチ13が接続されるものとする。
図6は、サーバシャーシ101のMR−PCIeスイッチ25内の上流ポート−仮想スイッチ割当表53である。1つの上流ポート1に接続されるサーバブレード201が、1つの仮想スイッチ1を使用することを示している。
図7は、同じく、サーバシャーシ101のMR−PCIeスイッチ25内の仮想スイッチ−下流ポート割当表54である。仮想スイッチ1の各仮想下流ポート1〜4が物理的な下流ポート1〜4に接続されている。
図6及び図7のポートの割当てにより、例えばサーバブレード201がサーバシャーシ10上のMR−PCIeスイッチ25の下流ポート1〜4を占有することが可能となる。
図8は、IOシャーシ121〜123にあるMR−PCIeスイッチ13内の上流ポート−仮想スイッチ割当表53である。IOシャーシ121の上流ポート1がサーバシャーシ10の下流ポート1と接続されているため、IOシャーシ121の仮想スイッチ1はサーバブレード201が使用する。同様に、IOシャーシ122、123内の仮想スイッチ1もサーバブレード201が使用する。
図9は、IOシャーシ121〜123にあるMR−PCIeスイッチ13内の仮想スイッチ−下流ポート割当表54である。IOシャーシ上のPCIeスイッチ13の下流ポート1〜8は、PCIeスロット141〜148に接続される。IOシャーシ121の仮想スイッチの各仮想下流ポート1〜8は、物理的な下流ポート1〜8に接続されている。
図6〜図8に示される各割当表は、管理コンソール32内の処理手段(CPU及びそこで実行されるソフトウェア)によって作成され、MR−PCIeスイッチ内の管理マイコン51に転送される。
上記の割当てにより、1台のサーバブレード201は、3台のIOシャーシ121〜123の全てのPCIeスロット(即ち合計24個のIO)を使用することが可能となる。
[実施例2におけるスイッチの割当管理]
次に、図10〜図13を参照して、実施例2の情報処理システム(図3)におけるスイッチ割当管理表53,54を用いたスイッチの割当てについて説明する。
図10は、サーバシャーシ101〜103上のMR−PCIeスイッチ25内の上流ポート−仮想スイッチ割当表53である。上流ポート1に接続されるサーバブレード201が仮想スイッチ1を使用する。同様に、上流ポート2,3,4に接続されるサーバブレード202,203,204が仮想スイッチ2、3、4を使用することを示している。
図11は、サーバシャーシ101〜102上のMR−PCIeスイッチ25内の仮想スイッチ−下流ポート割当表54である。仮想スイッチ1〜4の各仮想下流ポート1が物理的な下流ポート1の仮想ポート1〜4に接続されている。
図10、図11のポートの割当てにより、サーバブレード201〜204がサーバシャーシ101−103上のMR−PCIeスイッチ53の下流ポート1を共有し、サーバブレード201〜204が仮想ポート1〜4を使用することが可能となる。
図12は、IOシャーシ121上のMR−PCIeスイッチ13内の上流ポート−仮想スイッチ割当表53である。IOシャーシ121の上流ポート1がサーバシャーシ101の下流ポート1と接続されているため、また、サーバシャーシ101の下流ポート1は、サーバブレード201〜204で共有されているため、IOシャーシ121の仮想スイッチ1〜4はサーバシャーシ101上のサーバブレード201〜204が使用する。同様に、仮想スイッチ5〜8は、サーバシャーシ102上のサーバブレード201〜204が使用し、仮想スイッチ9〜12は、サーバシャーシ103上のサーバブレード201〜204が使用する。
図13は、IOシャーシ121上のMR−PCIeスイッチ54内の仮想スイッチ−下流ポート割当表である。IOシャーシ121のPCIeスイッチの下流ポート1〜8は、PCIeスロット141〜148に接続される。IOシャーシ121の各仮想スイッチ1〜12の仮想下流ポート1〜8は、物理的な下流ポート1〜8に接続されている。
図9〜図13に示される各割当表は、管理コンソール32内の処理手段(CPU及びそこで実行されるソフトウェア)によって作成され、MR−PCIeスイッチ内の管理マイコン51に転送される。
以上の設定により、サーバシャーシ101〜103のサーバブレード201〜204はIOシャーシ121の各PCIeスロット141〜148を共有することができる。
[実施例3におけるスイッチの割当管理]
次に図14〜17を参照して、実施例3の情報処理システム(図4)におけるスイッチ割当管理表53,54を用いたスイッチの割当てについて説明する。
この例では、サーバシャーシ101の下流ポート1,2,3が、IOシャーシ121,122,123の上流ポート1にそれぞれ接続している。同様に、サーバシャーシ102の下流ポート1,2,3が、IOシャーシ121,122,123の上流ポート2にそれぞれ接続し、サーバシャーシ103の下流ポート1,2,3が、IOシャーシ121,122,123の上流ポート3にそれぞれ接続している。
図14は、サーバシャーシ101〜103上のMR−PCIeスイッチ253内の上流ポート−仮想スイッチ割当表53である。上流ポート1に接続されるサーバブレード201が仮想スイッチ1を使用する。同様に、上流ポート2,3,4に接続されるサーバブレード202,203,204が、仮想スイッチ2,3,4をそれぞれ使用する。
図15は、サーバシャーシ101〜103上のMR−PCIeスイッチ25内の仮想スイッチ−下流ポート割当表54である。仮想スイッチ1〜4の各仮想下流ポート1が、物理的な下流ポート1の仮想ポート1〜4に接続されている。同様に、仮想スイッチ1〜4の各仮想下流ポート2,3,4が、物理的な下流ポート2,3,4の仮想ポート1〜4にそれぞれ接続されている。
図14、図15の設定により、サーバブレード201〜204がサーバシャーシ101〜103上のMR−PCIeスイッチ25の下流ポート1〜3を共有し、サーバブレード201〜204が仮想ポート1〜4を使用することができる。
図16は、IOシャーシ121〜123上のMR−PCIeスイッチ13内の上流ポート−仮想スイッチ割当表53である。IOシャーシ121〜123の上流ポート1がサーバシャーシ101の下流ポート1に接続され、かつ、サーバシャーシ101の下流ポート1が、サーバブレード201〜204で共有されているため、IOシャーシ121の仮想スイッチ1〜4をサーバシャーシ101上のサーバブレード201〜204が使用することができる。同様に、仮想スイッチ5〜8をサーバシャーシ102上のサーバブレード201〜204が使用し、仮想スイッチ9〜12をサーバシャーシ103上のサーバブレード201〜204が使用することができる。
図17は、IOシャーシ121上のMR−PCIeスイッチ13内の仮想スイッチ−下流ポート割当表54である。IOシャーシ上のPCIeスイッチの下流ポート1〜8は、PCIeスロット141〜148に接続される。IOシャーシ121の各仮想スイッチ1〜12の仮想下流ポート1〜8は、物理的な下流ポート1〜8に接続される。
図14〜図17に示される各割当表は、管理コンソール32内の処理手段(CPU及びそこで実行されるソフトウェア)によって作成され、MR−PCIeスイッチ内の管理マイコン51に転送される。
以上により、サーバシャーシ101〜1−3のサーバブレード201〜204がIOシャーシ121〜8−3の各PCIeスロットを共有する設定となる。
[PCIeケーブル及びPCIe配線の共有化]
次に、PCIeケーブル及びPCIe配線の共有化について説明する。この説明では、実施例2を引用する。
MR−PCIeスイッチは、図18に示す、PCIeパケット1801にタグとして仮想port番号1802を付加する。この仮想port番号は前記の仮想スイッチ−下流ポート割当表54に基づいて付加される。
例えば、図19に示すように、サーバシャーシ101上のサーバブレード201から発行されたPCIeパケットAは、MR−PCIeスイッチ25の上流ポート1に入る。上流ポート−仮想スイッチ割当表53に従って仮想スイッチ1に入り、さらに仮想スイッチ−下流ポート割当表54に従って下流ポート1の仮想ポート1に送られる。この時、PCIeパケットAはそのタグに仮想ポート「1」を付けて発行され、サーバシャーシ101とIOシャーシ121間のPCIeケーブルへ送出される。
更に、このPCIeパケットはIOシャーシ121上のMR−PCIeスイッチ13に入り、上流ポート−仮想スイッチ割当表53に従って仮想スイッチ1に入る。仮想スイッチ1内では、PCIeの仕様に従い、アドレスもしくはRIDによりルーティングされ、例えば、仮想ポート1に送られる。そして、仮想スイッチ−下流ポート割当表54に従って下流ポート1の仮想ポート1に送られる。
同様に、サーバシャーシ101上のサーバブレード201から発行されたPCIeパケットBは、そのタグに仮想ポート「2」を付けて発行され、サーバシャーシ101とIOシャーシ121間のPCIeケーブル15に送出される。そして、仮想ポート「2」のタグを付けて発行され、MR−PCIeスイッチ13からPCIeスロット141に送られる。
サーバシャーシ102上のサーバブレード201から発行されたPCIeパケットCは、そのタグに仮想ポート「1」を付けて発行され、サーバシャーシ102とIOシャーシ121間のPCIeケーブル15に送出される。そして、仮想ポート「5」のタグを付けて発行され、MR−PCIeスイッチ13からPCIeスロット141に送られる。
サーバシャーシ102上のサーバブレード202から発行されたPCIeパケットDは、そのタグに仮想ポート「1」を付けて発行され、サーバシャーシ102とIOシャーシ121間のPCIeケーブル15に送出され、IOシャーシ121のMR−PCIeスイッチ13から、仮想ポート「6」を付けてPCIeスロット141に送られる。
次に、図22〜図24を参照して、情報処理システムの構築する方法について説明する。例えば実施例2に(図3)において、ユーザは、管理コンソール32を操作して、構築したいシステム構成をスイッチ管理マイコンに入力する。そのために、ユーザは、管理コンソール32から各サーバシャーシのID及びIPアドレスの割当て、及び各IOシャーシのID及びIPアドレスの割当てを入力する。これらの割当ては、図20に示すようになり、管理コンソール32内の記憶手段に登録される。
管理コンソール32は、記憶手段に予め登録されたIPアドレスを基に、各サーバシャーシ、IOシャーシの管理マイコン51と通信できるかLANの接続チェックを行う(図23)。
次に、ユーザは、管理コンソール32からシステム(サーバグループ) に属するサーバシャーシ、拡張IOシャーシに関する情報を入力し、それらの情報を記憶手段に登録する(図21)。ここで、サーバグループとは、MR−PCIeケーブルで接続されているサーバシャーシ、拡張IOシャーシの纏まり(図1或いは図3、図4のようなそれぞれの纏まり)をいう。
さらに、ユーザは管理コンソール32からIOシャーシ上の各PCIeスロットがどのサーバシャーシ上のどのサーバブレードから共有するかを、記憶手段に登録する(図22)。
管理コンソール32は、上記登録情報を基に上流ポート-仮想スイッチ割当表53および仮想スイッチ−上流ポート割当表54を作成して、それらの割当表をサーバシャーシ10上のMR−PCIeスイッチ25、及びIOシャーシ上のMR−PCIeスイッチ13にある各管理マイコン51に配信する。各スイッチ管理マイコン51は、この割当表を基に、接続先のスイッチの属するサーバシャーシID、IOシャーシIDおよび、ポート番号を判断する。
その後、サーバシャーシ上の管理マイコン51は、IOシャーシ上の管理マイコン51と通信しながら、ユーザに対して、PCIeケーブルの接続状態を、ポートに実装された表示子(例えばLED)を表示することで指示する。
すなわち、サーバシャーシ上の管理マイコン51は、管理コンソールから配信されたサーバグループのポートの接続割当表(図22)を参照しながら、サーバシャーシ101の下流ポート“1”とIOシャーシ121の上流ポート“1”の接続を指示する。管理マイコン51は、この2つのポートのリンクの接続状態をチェックして、正しく接続されているか確認する。このチェックは、各ポートに予め設定された固有のIDが、管理マイコン51で認識できるか否かにより行われる。
上記接続チェックの結果、正しく接続されている時には、ポートに実装されている緑色LEDの点灯を消去して、次のケーブルのチェックに進む。即ち、サーバシャーシ101の下流ポート“1”とIOシャーシ121の上流ポート“2”の接続を指示する。
一方、上記接続チェックの結果、上記2つのポートがリンクしていない時は、上記2つのポートに実装されている緑色LEDを点灯させる。また、誤って接続している時には、誤って接続されている2つのポートに実装されているLEDを赤色点灯させる。ケーブル抜去により、リンクダウンが確認されたら、本来の接続すべき2つのポートの緑色LEDを点灯させる。その後、正しい接続が確認されたら、緑色LEDを消灯し、次のケーブルのチェック、即ち、サーバシャーシ101の下流ポート“1”とIOシャーシ121の上流ポート“2”の接続を指示する。
このようにして、サーバシャーシ101の下流ポートの番号1〜iと、IOシャーシ121の上流ポートの番号1〜jを順次更新しながら、図22の割当表に登録された全ての上流ポートと下流のポートについて接続チェックを行う。
次に、上記と同様にして、サーバシャーシ101の管理マイコン51はサーバシャーシ101の下流ポート2とIOシャーシ122の上流ポート1の接続を指示する。同様にLEDによりユーザに接続指示をすることで全ポート間の接続を行う。
実施例1による情報処理システムの構成図。 実施例1の情報処理システムにおけるサーバシャーシ10の構成図。 実施例2による情報処理システムの構成図。 実施例3による情報処理システムの構成図。 MR−PCIeスイッチの構成図。 実施例1におけるサーバシャーシ10のMR−PCIeスイッチ25内の上流ポート−仮想スイッチ割当表53を示す図。 実施例1におけるサーバシャーシ10のMR−PCIeスイッチ25内の仮想スイッチ−下流ポート割当表54を示す図。 実施例1におけるIOシャーシ12のMR−PCIeスイッチ13内の上流ポート−仮想スイッチ割当表53を示す図。 実施例1におけるIOシャーシ12のMR−PCIeスイッチ13内の仮想スイッチ−下流ポート割当表54を示す図。 実施例2におけるサーバシャーシ10のMR−PCIeスイッチ25内の上流ポート−仮想スイッチ割当表53を示す図。 実施例2におけるサーバシャーシ10のMR−PCIeスイッチ25内の仮想スイッチ−下流ポート割当表54を示す図。 実施例2におけるIOシャーシ12のMR−PCIeスイッチ13内の上流ポート−仮想スイッチ割当表53を示す図。 実施例2におけるIOシャーシ12のMR−PCIeスイッチ13内の仮想スイッチ−下流ポート割当表54を示す図。 実施例3におけるサーバシャーシ10のMR−PCIeスイッチ25内の上流ポート−仮想スイッチ割当表53を示す図。 実施例3におけるサーバシャーシ10のMR−PCIeスイッチ25内の仮想スイッチ−下流ポート割当表54を示す図。 実施例3におけるIOシャーシ12のMR−PCIeスイッチ13内の上流ポート−仮想スイッチ割当表53を示す図。 実施例3におけるIOシャーシ12のMR−PCIeスイッチ13内の仮想スイッチ−下流ポート割当表54を示す図。 マルチルートトランザクションパケットの構成を示す図。 マルチルートトランザクションパケットのルーティングの例を示す図。 サーバシャーシID―IPアドレス、IOシャーシ−IPアドレスの割当表を示す図。 サーバグループへのサーバシャーシID、IOシャーシID割当表を示す図。 PCIeスロットの共有マップを示す図。 サーバシャーシとIOシャーシの接続チェックの動作例を示す図。 従来のコンピュータシステムにおけるIO拡張の例を示す図。
符号の説明
10、101〜103:サーバシャーシ
12,121〜123:IOシャーシ
201〜204:サーバブレード 21:メモリ 22:CPU 23:ルートコンプレックス 24:バックプレーン
25,13:MR−PCIeスイッチ
14,141〜148:PCIeスロット 15:PCIeケーブル
51:管理マイコン 52:MR−PCIeスイッチLSI
53:上流ポート−仮想スイッチ割当表
54:仮想スイッチ−下流ポート割当表
55:上流ポート−仮想スイッチ接続スイッチ
56:仮想スイッチ−下流ポート接続スイッチ
57:仮想スイッチ。

Claims (9)

  1. プロセッサ、メモリ、及びルートコンプレックスを持つ複数のサーバブレードと、該サーバブレードと接続される第1のマルチルート対応PCIeスイッチを有するサーバシャーシと、
    入出力装置が装着される複数のPCIeスロットと、該PCIe スロットと接続される第2のマルチルート対応PCIeスイッチを有するIOシャーシとを備え、
    該第1のマルチルート対応PCIeスイッチと該第2のマルチルート対応PCIeスイッチをPCIeケーブルで接続してなる情報処理システム。
  2. 1台の前記サーバシャーシの前記第1のマルチルート対応PCIeスイッチは、複数の前記IOシャーシの第2のマルチルート対応PCIeスイッチに接続されることを特徴とする請求項1の情報処理システム。
  3. 複数の前記サーバシャーシの前記第1のマルチルート対応PCIeスイッチは、1台の前記IOシャーシの第2のマルチルート対応PCIeスイッチに接続されることを特徴とする請求項1の情報処理システム。
  4. 複数の前記サーバシャーシの前記第1のマルチルート対応PCIeスイッチは、複数の前記IOシャーシの第2のマルチルート対応PCIeスイッチに接続されることを特徴とする請求項1の情報処理システム。
  5. 前記第1のマルチルート対応PCIeスイッチは、前記サーバブレードが接続される複数の上流ポートと、複数の下流ポートと、複数の仮想スイッチと、該複数の上流スイッチと該複数の仮想スイッチの接続を切り替える上流スイッチと、該複数の仮想スイッチと該複数の下流ポートの接続を切り替える下流スイッチと、該複数の上流スイッチと該複数の仮想スイッチの接続の割当てを管理する上流ポート−仮想スイッチ割当表と、該複数の仮想スイッチと該複数の下流ポートの接続の割当てを管理する仮想スイッチ−下流ポート割当表と、該上流ポート−仮想スイッチ割当表及び該仮想スイッチ−下流ポート割当表の設定を管理する第1の管理マイコンを有し、
    該上流ポート−仮想スイッチ割当表によって該上流スイッチの切り替えを制御し、該仮想スイッチ−下流ポート割当表によって該下流スイッチの切り替えを制御して、該サーバシャーシのサーバブレードと前記IOシャーシの前記第2のマルチルート対応PCIeスイッチとを接続することを特徴とする請求項1乃至4のいずれかの項記載の情報処理システム。
  6. 前記第2のマルチルート対応PCIeスイッチは、前記第1のマルチルート対応PCIeスイッチと接続される複数の上流ポートと、該IOシャーシのPCIeスロットと接続される複数の下流ポートと、複数の仮想スイッチと、該複数の上流スイッチと該複数の仮想スイッチの接続を切り替える上流スイッチと、該複数の仮想スイッチと該複数の下流ポートの接続を切り替える下流スイッチと、該複数の上流スイッチと該複数の仮想スイッチの接続の割当てを管理する上流ポート−仮想スイッチ割当表と、該複数の仮想スイッチと該複数の下流ポートの接続の割当てを管理する仮想スイッチ−下流ポート割当表と、該上流ポート−仮想スイッチ割当表及び該仮想スイッチ−下流ポート割当表の設定を管理する第2の管理マイコンを有し、
    該上流ポート−仮想スイッチ割当表によって該上流スイッチの切り替えを制御し、該仮想スイッチ−下流ポート割当表によって該下流スイッチの切り替えを制御して、該サーバシャーシのサーバブレードの前記第1のマルチルート対応PCIeスイッチと該IOシャーシのPCIeスロットとを接続することを特徴とする請求項1乃至5のいずれかの項記載の情報処理システム。
  7. 前記第1及び第2の管理マイコンは、LANケーブルを介して管理コンソールに接続され、該管理コンソールから入力される設定情報に基づき、該第1及び第2の管理マイコンは、前記上流ポート−仮想スイッチ割当表及び前記仮想スイッチ−下流ポート割当表を作成することを特徴とする請求項5又は6の情報処理システム。
  8. サーバシャーシに備えられた、サーバブレードと接続される第1のマルチルート対応PCIeスイッチと、IOシャーシに備えられた、入出力装置が装着される複数のPCIeスロットと接続される第2のマルチルート対応PCIeスイッチの間を、PCIeケーブルで接続してなる情報処理システムにおけるPCIeケーブルの接続確認方法であって、
    前記第1及び第2のマルチルート対応PCIeスイッチが有する管理マイコンの実行の下、予め設定された、上流ポート−仮想スイッチの割当てを規定する第1割当表と、仮想スイッチ−下流ポートの割当てを規定する第2割当表に基づいて、各ポートが対象となるポートに正しく接続されているかを順次確認し、
    該確認の結果を、対象となるポートに実装された表示子に表示することを特徴とするPCIeケーブルの接続確認方法。
  9. 前記第1管理表及び前記第2管理表は、該サーバブレード及びIOシャーシに接続された管理コンソールで作成され、該管理コンソールから各該サーバブレード及びIOシャーシへ配信されることを特徴とする請求項8のPCIeケーブルの接続確認方法。
JP2010547311A 2009-01-23 2009-01-23 情報処理システム Pending JPWO2010084529A1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/000260 WO2010084529A1 (ja) 2009-01-23 2009-01-23 情報処理システム

Publications (1)

Publication Number Publication Date
JPWO2010084529A1 true JPWO2010084529A1 (ja) 2012-07-12

Family

ID=42355609

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010547311A Pending JPWO2010084529A1 (ja) 2009-01-23 2009-01-23 情報処理システム

Country Status (3)

Country Link
US (1) US20120005392A1 (ja)
JP (1) JPWO2010084529A1 (ja)
WO (1) WO2010084529A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011097497A (ja) * 2009-11-02 2011-05-12 Sony Corp データ転送装置
JP2012146235A (ja) * 2011-01-14 2012-08-02 Nec Corp 設置位置情報管理システム、ラック、管理対象機器および設置位置情報管理方法
JP5637873B2 (ja) * 2011-01-19 2014-12-10 株式会社日立製作所 計算機システムおよびpciカードのhba識別子引き継ぎ方式
US11308000B1 (en) * 2011-09-28 2022-04-19 Keysight Technologies, Inc. Configurable PCI-E interface module
DE102012102198A1 (de) * 2012-03-15 2013-09-19 Fujitsu Technology Solutions Intellectual Property Gmbh Modulares Serversystem, I/O-Modul und Switching-Verfahren
US9288141B2 (en) * 2012-05-18 2016-03-15 Benu Networks, Inc. Highly scalable modular system with high reliability and low latency
GB2502316A (en) * 2012-05-24 2013-11-27 Ibm Blade enclosure with interfaces for computer blades and conventional computers
JP5958164B2 (ja) * 2012-08-07 2016-07-27 富士通株式会社 制御装置、方法及びプログラム、並びにシステム及び情報処理方法
US10380041B2 (en) 2012-08-23 2019-08-13 Dell Products, Lp Fabric independent PCIe cluster manager
US9086919B2 (en) 2012-08-23 2015-07-21 Dell Products, Lp Fabric independent PCIe cluster manager
US9519606B2 (en) * 2013-07-22 2016-12-13 GigaIO Networks, Inc. Network switch
WO2015033384A1 (ja) * 2013-09-03 2015-03-12 株式会社アキブシステムズ I/oデバイスの仮想化のためのコンピュータシステム及びその運用方法並びにhub装置
CN105103493B (zh) 2014-02-23 2019-04-26 华为技术有限公司 实现网络虚拟化的方法及相关装置和通信系统
JP6515524B2 (ja) * 2014-12-22 2019-05-22 富士通株式会社 通信システム,管理装置,制御装置及びプログラム
CN104765707A (zh) * 2015-04-15 2015-07-08 浪潮电子信息产业股份有限公司 一种基于Openpower平台的PCIe Gen3 IO扩展箱设计方法
US10615549B2 (en) * 2016-09-01 2020-04-07 Seagate Technology Llc Configured port-width indication for ganged-style connectors
TWI615720B (zh) * 2016-12-26 2018-02-21 創義達科技股份有限公司 資源分配系統、設備分配控制器以及設備識別方法
CN109190420B (zh) * 2018-09-11 2020-08-25 网御安全技术(深圳)有限公司 一种服务器加解密刀片、系统、及加解密方法
US11051422B2 (en) 2018-09-14 2021-06-29 Hewlett Packard Enterprise Development Lp Modular server design
US11537548B2 (en) * 2019-04-24 2022-12-27 Google Llc Bandwidth allocation in asymmetrical switch topologies
NL2029396B1 (en) * 2020-11-16 2022-11-09 Intel Corp Disaggregation of computing devices using enhanced retimers with circuit switching
US11714775B2 (en) * 2021-05-10 2023-08-01 Zenlayer Innovation LLC Peripheral component interconnect (PCI) hosting device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004342109A (ja) * 2003-05-15 2004-12-02 Internatl Business Mach Corp <Ibm> 入出力ファブリックにおけるハードウェア・エラーからの自動回復
JP2005033769A (ja) * 2003-05-07 2005-02-03 Agilent Technol Inc フロー制御ユニットとアービタとの間におけるパケット送信方法およびシステム
JP2007086963A (ja) * 2005-09-21 2007-04-05 Hitachi Ltd 計算機システム及びi/oブリッジ
JP2007179529A (ja) * 2005-12-27 2007-07-12 Internatl Business Mach Corp <Ibm> データ処理システム、アドレス割り当て方法およびコンピュータ・プログラム(ファイバ・チャネル・スイッチによるネットワーク・ファブリックからの多数のポート・アドレスの取得)
JP2007195166A (ja) * 2006-01-18 2007-08-02 Internatl Business Mach Corp <Ibm> 組み込みdidによるpciバス・アドレス・ベースのルーティング用ルーティング・テーブルを作成し、管理する方法、コンピュータ・プログラムおよび装置
JP2008135056A (ja) * 2004-04-30 2008-06-12 Hitachi Ltd 計算機システム、管理サーバ、ブレード割り当て方法、ブレード割り当てプログラム、サーバシステム及びサーバの配置方法
JP2008152783A (ja) * 2006-12-19 2008-07-03 Internatl Business Mach Corp <Ibm> データ処理システム内で第1のホスト・システムと第2のホスト・システムとの間で通信するための方法、プログラム、およびシステム(トランザクション・プロトコルおよび共用メモリを使用するホスト・システム間の通信のためのシステムおよび方法)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4733399B2 (ja) * 2005-01-28 2011-07-27 株式会社日立製作所 計算機システム、計算機、ストレージ装置及び管理端末
US7694047B1 (en) * 2005-02-17 2010-04-06 Qlogic, Corporation Method and system for sharing input/output devices
JP4713902B2 (ja) * 2005-03-01 2011-06-29 株式会社日立製作所 ストレージシステム
US7293129B2 (en) * 2005-04-22 2007-11-06 Sun Microsystems, Inc. Flexible routing and addressing
US8543948B2 (en) * 2006-09-07 2013-09-24 Toshiba Global Commerce Solutions Holdings Corporation Structure for PCI-E based POS terminal
US7562176B2 (en) * 2007-02-28 2009-07-14 Lsi Corporation Apparatus and methods for clustering multiple independent PCI express hierarchies
US7783818B1 (en) * 2007-12-28 2010-08-24 Emc Corporation Modularized interconnect between root complexes and I/O modules
US7707346B2 (en) * 2008-03-12 2010-04-27 Lsi Corporation PCI express multi-root IOV endpoint retry buffer controller
US8359415B2 (en) * 2008-05-05 2013-01-22 International Business Machines Corporation Multi-root I/O virtualization using separate management facilities of multiple logical partitions
US8346997B2 (en) * 2008-12-11 2013-01-01 International Business Machines Corporation Use of peripheral component interconnect input/output virtualization devices to create redundant configurations

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005033769A (ja) * 2003-05-07 2005-02-03 Agilent Technol Inc フロー制御ユニットとアービタとの間におけるパケット送信方法およびシステム
JP2004342109A (ja) * 2003-05-15 2004-12-02 Internatl Business Mach Corp <Ibm> 入出力ファブリックにおけるハードウェア・エラーからの自動回復
JP2008135056A (ja) * 2004-04-30 2008-06-12 Hitachi Ltd 計算機システム、管理サーバ、ブレード割り当て方法、ブレード割り当てプログラム、サーバシステム及びサーバの配置方法
JP2007086963A (ja) * 2005-09-21 2007-04-05 Hitachi Ltd 計算機システム及びi/oブリッジ
JP2007179529A (ja) * 2005-12-27 2007-07-12 Internatl Business Mach Corp <Ibm> データ処理システム、アドレス割り当て方法およびコンピュータ・プログラム(ファイバ・チャネル・スイッチによるネットワーク・ファブリックからの多数のポート・アドレスの取得)
JP2007195166A (ja) * 2006-01-18 2007-08-02 Internatl Business Mach Corp <Ibm> 組み込みdidによるpciバス・アドレス・ベースのルーティング用ルーティング・テーブルを作成し、管理する方法、コンピュータ・プログラムおよび装置
JP2008152783A (ja) * 2006-12-19 2008-07-03 Internatl Business Mach Corp <Ibm> データ処理システム内で第1のホスト・システムと第2のホスト・システムとの間で通信するための方法、プログラム、およびシステム(トランザクション・プロトコルおよび共用メモリを使用するホスト・システム間の通信のためのシステムおよび方法)

Also Published As

Publication number Publication date
US20120005392A1 (en) 2012-01-05
WO2010084529A1 (ja) 2010-07-29

Similar Documents

Publication Publication Date Title
WO2010084529A1 (ja) 情報処理システム
JP6928189B2 (ja) 多重モードで動作するストレージ装置及びそれを含むシステム
US9645956B2 (en) Delivering interrupts through non-transparent bridges in a PCI-express network
US10148746B2 (en) Multi-host network interface controller with host management
US10263891B2 (en) Switching device, computer system, method, and program
US8346912B2 (en) System and method of emulating a network controller within an information handling system
US8140719B2 (en) Dis-aggregated and distributed data-center architecture using a direct interconnect fabric
US11775464B2 (en) Computer system and a computer device
US8379541B2 (en) Information platform and configuration method of multiple information processing systems thereof
US9367510B2 (en) Backplane controller for handling two SES sidebands using one SMBUS controller and handler controls blinking of LEDs of drives installed on backplane
US8972611B2 (en) Multi-server consolidated input/output (IO) device
EP1706967A1 (en) Method and apparatus for shared i/o in a load/store fabric
US20130198450A1 (en) Shareable virtual non-volatile storage device for a server
US20220283974A1 (en) Low latency computing architecture
US20170024353A1 (en) Dedicated lan interface per ipmi instance on a multiple baseboard management controller (bmc) system with single physical network interface
US9780960B2 (en) Event notifications in a shared infrastructure environment
JP4624746B2 (ja) 複合型計算機装置およびその管理方法
JP5763519B2 (ja) Usbハブコントローラ、usbホストコントローラ、およびシステム
JP2009276828A (ja) Usb接続装置、及びusb接続方法
US20180181440A1 (en) Resource allocation system, apparatus allocation controller and apparatus recognizing method

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130723

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131203