JP5272265B2 - Ｐｃｉデバイス共有方法 - Google Patents

Ｐｃｉデバイス共有方法 Download PDF

Info

Publication number
JP5272265B2
JP5272265B2 JP2008250208A JP2008250208A JP5272265B2 JP 5272265 B2 JP5272265 B2 JP 5272265B2 JP 2008250208 A JP2008250208 A JP 2008250208A JP 2008250208 A JP2008250208 A JP 2008250208A JP 5272265 B2 JP5272265 B2 JP 5272265B2
Authority
JP
Japan
Prior art keywords
identifier
server
virtual
pci
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008250208A
Other languages
English (en)
Other versions
JP2010079816A5 (ja
JP2010079816A (ja
Inventor
貴成 馬場
俊臣 森木
敬太郎 上原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2008250208A priority Critical patent/JP5272265B2/ja
Priority to US12/546,264 priority patent/US8341327B2/en
Publication of JP2010079816A publication Critical patent/JP2010079816A/ja
Publication of JP2010079816A5 publication Critical patent/JP2010079816A5/ja
Priority to US13/681,005 priority patent/US8725926B2/en
Application granted granted Critical
Publication of JP5272265B2 publication Critical patent/JP5272265B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/382—Information transfer, e.g. on bus using universal interface adapter
    • G06F13/387—Information transfer, e.g. on bus using universal interface adapter for adaptation of different data processing systems to different peripheral devices, e.g. protocol converters for incompatible systems, open system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0227—Cooperation and interconnection of the input arrangement with other functional units of a computer

Description

本発明は、複数の計算機を備えたブレードサーバに関し、特に、ひとつのＩ／Ｏデバイスを複数の計算機で共有する技術に関する。
情報セキュリティやコンプライアンスへの意識の高まりから、サーバサイドでのウィルスチェックやメールフィルタなど、企業の情報システムに求められる処理要求が増大している。これらの処理要求の増大に対し、従来は処理内容ごとに個別にサーバを導入して対応してきた。しかし、サーバ台数の増大は運用コストの増大を招き、企業のIT予算を圧迫して問題化している。
この問題に対し、複数のサーバで実行されていた処理を１台の高性能サーバに集約して、情報システムを構成するサーバ台数を削減するサーバ統合が注目されている。サーバ統合ではサーバの台数に比例して継続して発生する消費電力やスペース(占有床面積)、ハードウェア障害時のメンテナンスコスト等を削減できる。
サーバ統合を実現する手段として、ＣＰＵを高密度に集積したブレードサーバが台頭している（例えば、特許文献１）。典型的なブレードサーバは、ＣＰＵ（プロセッサ）、メモリ及びＮＩＣ（Network Interface Card）を搭載した複数のブレードと、ネットワークスイッチ、および拡張用Ｉ／Ｏスロットを搭載したＩ／Ｏドロワーが１つの筐体に格納された構成をとる。ブレードサーバを用いると、ネットワーク経由で処理を行うサーバに対して効果的にサーバ統合を実現できる。
一方、ブレードサーバはＩ／Ｏドロワーの拡張用Ｉ／Ｏスロットは、ブレードとＩ／Ｏスロットとの対応が固定的であった。このため、ＮＩＣ以外のＩ／Ｏカードを稀にしか使用しない、もしくは全く使用しないブレードに対してもＩ／Ｏスロットが予約されており、スペースに無駄が生じるという問題があった。また、ブレードの用途によっては多数のＩ／Ｏカードを必要とする場合（例；複数ブレード間でのＨｏｔ−Ｓｔａｎｄｂｙ構成等）に、Ｉ／Ｏドロワー内のＩ／Ｏスロットの数を超えてＩ／Ｏスロットを割り当てることができない、という問題があった。
ブレードサーバのように多数のブレードで限られた数のＩ／Ｏスロット（またはＩ／Ｏデバイス）を利用する技術として、ひとつのＩ／Ｏデバイスを複数のホストで利用する技術が提案されている。
このような技術としては、ＰＣＩ−Ｓｉｇで標準化が行われているシングルルートＩ／Ｏ仮想化技術（ＳＲ−ＩＯＶ：Single Root IO Virtualization）やマルチルートＩ／Ｏ仮想化技術（ＭＲ−ＩＯＶ：Multi Root IO Virtualization）が知られている（例えば、特許文献２、非特許文献１等）。
この他、任意のサーバ間でストレージ装置を共有する技術としては、ｉＳＣＳＩが広く知られている。ｉＳＣＳＩは、サーバとストレージ装置のアクセスに使用されるＳＣＳＩコマンドを、ネットワーク通信のプロトコルであるＴＣＰ／ＩＰパケットにカプセル化する技術である。これにより任意のサーバ間でｉＳＣＳＩ対応ターゲットデバイスを共有できる。
特開特開２００２−３２１５３号 米国特許第７０５８７３８号 「Single-Root I/O Virtualization and Sharing Specification, Revision 1.0, Section 1 - Architectural」、2008年発行、著者PCI-SIG、第15〜34頁
上記従来例のシングルルートＩ／Ｏ仮想化技術（以下、ＳＲ−ＩＯＶ）では、１つのＩ／Ｏデバイスの物理機能（ＰＦ；Ｐｈｙｓｉｃａｌ Ｆｕｎｃｔｉｏｎ）が複数の仮想機能（ＶＦ；Ｖｉｒｔｕａｌ Ｆｕｎｃｔｉｏｎ）を提供することができる。同一ブレード内の複数のＯＳインスタンス間で、複数の仮想機能をそれぞれ占有することでひとつのＳＲ−ＩＯＶ対応のＩ／Ｏデバイスを共有することができる。
一方、上記従来例のマルチルートＩ／Ｏ仮想化技術（以下、ＭＲ−ＩＯＶ）では、１つのＩ／Ｏデバイスに複数の物理機能（ＰＦ；Ｐｈｙｓｉｃａｌ Ｆｕｎｃｔｉｏｎ）を搭載し、各物理機能上で複数の仮想機能（ＶＦ；Ｖｉｒｔｕａｌ Ｆｕｎｃｔｉｏｎ）を提供することができる。ＭＲ−ＩＯＶ対応のＩ／Ｏデバイスを利用し、仮想化ソフトウェアを導入することで、異なる物理サーバ上で動作する仮想計算機（ＶＭ；Ｖｉｔｕａｌ Ｍａｃｈｉｎｅ）間で１つのＩ／Ｏデバイスを共有することができる。すなわち、ＭＲ−ＩＯＶでは、特定のブレード（物理計算機）に対して１つのＰＦを占有させ、各ＶＭはＰＦが提供する複数のＶＦを占有する。
ここで、ＳＲ−ＩＯＶに対応するＩ／Ｏデバイスでは、一つの物理機能を備えればよいので、ＭＲ−ＩＯＶに対応するＩ／Ｏデバイスに低コストで調達することができる。
上記従来例のブレードサーバにおいて複数のブレードでＩ／Ｏデバイスを共有する場合、上記ＳＲ−ＩＯＶに対応するＩ／Ｏデバイスを用いれば、Ｉ／Ｏデバイスの調達コストを抑制できるものの、ひとつのブレードに対してひとつのＩ／Ｏデバイスを割り当てることになり、複数のブレード間でひとつのＩ／Ｏデバイスを共有できない、という問題があった。
一方、従来例のブレードサーバにおいて複数のブレードでＩ／Ｏデバイスを共有する場合、上記ＭＲ−ＩＯＶに対応するＩ／Ｏデバイスを用いれば、複数のブレード間でひとつのＩ／Ｏデバイスを共有することができる。しかしながら、ＭＲ−ＩＯＶに対応するＩ／ＯデバイスはＳＲ−ＩＯＶに対応するＩ／Ｏデバイスに対して調達コストが高いため導入コストが増大する、という問題がある。
なお、上記ｉＳＣＳＩをブレードサーバで利用した場合、ストレージ装置の共有は可能であるが、Ｉ／ＯデバイスがＮＩＣ等の場合は利用することができない。
そこで本発明は、上記問題点に鑑みてなされたもので、複数のブレードを備えたブレードサーバにおいて、複数のブレード間で、Ｉ／Ｏドロワーに装着されるＩ／Ｏデバイスを安価に共有することを目的とする。
本発明は、仮想化部を備えて１以上の仮想サーバを提供する複数の物理サーバと、前記複数の物理サーバで共有されるＩ／Ｏデバイスと、前記複数の物理サーバと前記Ｉ／Ｏデバイスを接続するスイッチと、前記スイッチを初期化する管理部とを有するサーバシステムであって、前記Ｉ／Ｏデバイスが、仮想的な機能であるＶｉｒｔｕａｌ Ｆｕｎｃｔｉｏｎ（ＶＦ）を有し、前記スイッチが、前記仮想サーバが認識する識別子である第１の識別子と、前記管理部が管理する識別子である第２の識別子と、の間の対応関係を示す識別子対応情報を保持し、前記仮想サーバからパケットを受信した場合に、送信元の物理サーバを識別するサーバ識別子を含む前記パケットを前記スイッチ内で変換し、前記パケットを前記Ｉ／Ｏデバイスに送信する際には、前記識別子対応情報に基づいて、前記パケットに含まれる前記第１の識別子を、当該第１の識別子に前記対応付けられた前記第２の識別子に変換し、かつ、前記サーバ識別子を削除した前記パケットを、前記Ｉ／Ｏデバイスに送信する、ことを特徴とするサーバシステム。
したがって、本発明は、ひとつのＩ／Ｏデバイス、特にSR-IOV対応のＩ／Ｏデバイスを複数のサーバで共有することが可能となる。
以下、本発明の一実施形態を添付図面に基づいて説明する。
図１は、第１の実施形態を示し、本発明を適用したブレードサーバ（複合型計算機システム）のブロック図を示す。図１において、ブレードサーバ１は、物理計算機として機能するｎ台のブレード１０−１〜１０−ｎと、シングルルートＩ／Ｏ仮想化技術（以下、ＳＲ−ＩＯＶ）に対応したＩ／Ｏデバイス５０と、マルチルートＩ／Ｏ仮想化技術（以下、ＭＲ−ＩＯＶ）でトランザクション（パケット）を処理するブレード１０−１〜１０−ｎとＩ／Ｏデバイス５０を接続するＰＣＩ−ｅスイッチ４０と、Ｉ／Ｏデバイス５０のブレード１０−１〜１０−ｎへの割当てを管理するＰＣＩ管理サーバ（ＰＣＩ管理計算機）２０と、ユーザや管理者がブレードサーバ１を制御するための管理用端末３０と、ブレードサーバ１の各部に電力を供給する電源供給装置６０から構成されている。なお、ＰＣＩ−ｅスイッチ４０、Ｉ／Ｏデバイス５０は、上記ＰＣＩ−ＳＩＧ（http://www.pcisig.com/）が策定したＰＣＩ−ｅｘｐｒｅｓｓの規格に準拠したインターフェースで接続される。なお、図１においては、ＰＣＩ−ｅスイッチ４０が１つ、Ｉ／Ｏデバイス５０が１つの例を示したが、複数のＰＣＩ−ｅスイッチ４０と複数のＩ／Ｏデバイス５０を備えることができる。
ブレード１０−１は１以上のＣＰＵ（プロセッサ）１１−１，１１−２と、１以上のメモリ１２−１と、１以上のチップセット１３−１と、を含むハードウェアで構成される。なお、ブレード１０−ｎとＰＣＩ管理サーバ２０もブレード１０−１と同一のハードウェアで構成される。
また、ブレード１０−１〜１０−ｎとＰＣＩ管理サーバ２０の間はネットワーク７０を介して接続される。ネットワークとしては、ＬＡＮ（Local Area Network）やＩ2Ｃ（Inter-Integrated Circuit）を用いることができる。各ブレード１０−１〜１０−ｎにはＢＭＣ（Baseboard Management Controller）を搭載してもよく、ＢＭＣによって各ブレード１０−１〜１０−ｎの構成情報（コンフィギュレーション）や電源状態を収集し、ＰＣＩ管理サーバ２０に通知することができる。
なお、各ブレード１０−１〜１０−ｎ及びＰＣＩ管理サーバ２０のチップセット１３−１〜１３−ｎは、それぞれＰＣＩ−ｅｘｐｒｅｓｓに準拠したＩ／Ｏポート１３１−１〜１３１−ｎと、イーサネット（登録商標）等のＬＡＮの規格に準拠したネットワークインターフェース１３２−１〜１３２−ｎを備え、チップセット１３−１〜１３−ｎのネットワークインターフェース１３２−１〜１３２−ｎがネットワーク７０に接続され、チップセット１３−１〜１３−ｎのＩ／Ｏポート１３１−１〜１３１−ｎがＰＣＩ−ｅスイッチ４０に接続される。
ＰＣＩ−ｅスイッチ４０は、ブレード１０−１〜１０−ｎ及びＰＣＩ管理サーバ２０のチップセット１３と接続されるアップストリームポート４１−０〜４１−ｎと、Ｉ／Ｏデバイス５０が接続されるダウンストリームポート４２−１〜４２−ｎを備える。
図１の例では、ブレード１０−１のチップセット１３−１のＩ／Ｏポート１３１−１がＰＣＩ−ｅスイッチ４０のアップストリームポート４１−１に接続され、ブレード１０−ｎのチップセット１３−ｎのＩ／Ｏポート１３１−ｎがＰＣＩ−ｅスイッチ４０のアップストリームポート４１−ｎに接続され、ＰＣＩ管理サーバ２０のチップセット１３−ＭのＩ／Ｏポート１３１−ＭがＰＣＩ−ｅスイッチ４０のアップストリームポート４１−０に接続され、ダウンストリームポート４２−１にＩ／Ｏデバイス５０が接続された例を示す。
なお、ブレード１０−１〜１０−ｎとＰＣＩ−ｅスイッチ４０の接続及びＩ／Ｏデバイス５０とＰＣＩ−ｅスイッチ４０の接続は、ブレードサーバ１のバックプレーなどを利用することができる。
ＰＣＩ−ｅスイッチ４０は、アップストリームポート４１−１〜４１−ｎがＭＲ−ＩＯＶに対応しており、ダウンストリームポート４２−１〜４２−ｎがＳＲ−ＩＯＶに対応し、アップストリームポート４１−１〜４１−ｎはブレード１０−１〜１０−ｎとの間でマルチルートＩ／Ｏ仮想化技術のトランザクション（パケット）を送受信し、ダウンストリームポート４２−１〜４２−ｎとＩ／Ｏデバイス５０の間ではシングルルートＩ／Ｏ仮想化技術のパケットを送受信する。このため、ＰＣＩ−ｅスイッチ４０は、マルチルートＩ／Ｏ仮想化技術のパケットとシングルルートＩ／Ｏ仮想化技術のパケットを相互に変換する処理を行う。
ＰＣＩ管理サーバ２０には、入出力装置（図示省略）を備えた管理端末３０が接続され、管理者などの操作により後述するＰＣＩマネージャ２０２に指令を行うことができる。
図２は、ブレードサーバ１の機能要素を示すブロック図である。ブレード１０−１〜１０−ｎ上ではソフトウェア構成要素である仮想マシンモニタ（ＶＭＭ；Virtual Machine Monitor）１００−１〜１００−ｎが稼動し、各仮想マシンモニタ１００−１〜１００−ｎ上では複数の仮想計算機１０１−０〜１０１−ｋ−１が提供される。ブレード１０−１では、仮想マシンモニタ１００−１上に２つの仮想計算機１０１−０、１０１−１が生成され、各各仮想計算機１０１−０、１０１−１ではＯＳ１０２−０とＯＳ−１０２−１がそれぞれ実行される。仮想計算機１０１−０、１０１−１のＯＳ１０２−０とＯＳ−１０２−１にはＩ／Ｏデバイス５０の仮想機能（ＶＦ；Ｖｉｒｔｕａｌ Ｆｕｎｃｔｉｏｎ）を利用するためのＶＦドライバ１０３がそれぞれロードされている。他のブレード１０−ｎもブレード１０−１と同様に構成され、それぞれ複数の仮想計算機１０１−ｋ−１でＯＳ１０２を実行し、ＶＦドライバ１０３によってＩ／Ｏデバイス５０の仮想機能を利用することができる。また、各仮想計算機１０１−１〜１０１−ｋ−１のＯＳ１０２−０〜１０２−Ｋ−１では、任意のアプリケーションまたはサービスが実行される。
一方、ＰＣＩ管理サーバ２０では、ＯＳ２０１上で各ブレード１０−１〜１０−ｎとＰＣＩ−ｅスイッチ４０及びＩ／Ｏデバイス５０を管理するＰＣＩマネージャ２０２が動作する。ＰＣＩ管理サーバ２０のＯＳ２０１にはＩ／Ｏデバイス５０の物理機能（ＰＦ；Ｐｈｙｓｉｃａｌ Ｆｕｎｃｔｉｏｎ）を利用するためのＰＦドライバ２０３がロードされている。
ブレード１０−１〜１０−ｎの各仮想計算機１０１−１〜１０１−ｋ−１と、ＰＣＩ管理サーバ２０からアクセスされるＩ／Ｏデバイス５０は、ひとつの物理機能（ＰＦ）５０１と複数の仮想機能（ＶＦ）５０２を提供するＳＲ−ＩＯＶに準拠したＰＣＩ−ｅｘｐｒｅｓｓのＩ／Ｏデバイスである。物理機能５０１と仮想機能５０２は、Ｉ／Ｏデバイス５０の制御部５１０が提供する機能であり、仮想機能５０２の数等はＰＣＩ管理サーバ２０からの要求によって決定される。なお、図２では、Ｉ／Ｏデバイス５０が仮想機能５０２としてＶＦ１〜ＶＦｋまでのｋ個の仮想機能５０２を提供する例を示す。
ここで、ブレード１０−１〜１０−ｎチップセット１３−１〜１３−ｎと各仮想計算機１０１−１〜１０１−ｋ−１のＶＦドライバ１０３は、ＭＲ−ＩＯＶに対応したＰＣＩ−ｅｘｐｒｅｓｓのパケットを送受信する。一方、Ｉ／Ｏデバイス５０はＳＲ−ＩＯＶに対応したＰＣＩ−ｅｘｐｒｅｓｓのパケットを送受信する。
本発明の特徴部であるＰＣＩ−ｅスイッチ４０は、後述するように、ＭＲ−ＩＯＶのアップストリームポート４１−１〜４１−ｎとＳＲ−ＩＯＶのダウンストリームポート４２−１〜４２−ｎとの間で、パケットの変換を行って、複数のブレード１０−１〜１０−ｎでＳＲ−ＩＯＶのＩ／Ｏデバイス５０を共有する。
各ブレード１０−１〜１０−ｎ及びＰＣＩ管理サーバ２０を構成するチップセット１３−１〜ｎ、１３−Ｍは、ＰＣＩ−Ｅｘｐｒｅｓｓのプロトコル階層としてルートコンプレックス（ＲＣ；Root Complex）を含み、ルートコンプレックスはエンドポイントとしてのＩ／Ｏデバイス５０までのローカルＰＣＩツリーを管理する。
ＰＣＩ管理サーバ２０のＰＣＩマネージャ２０２は、後述するように、ブレード１０−１〜１０−ｎに割当てるＰＣＩツリーの初期化と、ＰＣＩ−ｅスイッチ４０からＩ／Ｏデバイス５０のトポロジーと、ブレード１０−１〜１０−ｎへ割当てるＰＣＩツリーの対応関係を管理し、各ブレード１０−１〜１０−ｎとＰＣＩ−ｅスイッチ４０間のＭＲ−ＩＯＶの設定を行う。
また、ＰＣＩマネージャ２０２は、ブレード１０−１〜１０−ｎの管理部としても機能し、各ブレード１０−１〜１０−ｎの仮想マシンモニタ１００−１〜１００−ｎが生成する仮想計算機１０１−１〜１０１−ｋ−１や起動するＯＳ１０２−０〜１０２−ｋ−１を管理する。
図３は、ＰＣＩ−ｅスイッチ４０の構成を示すブロック図である。ＰＣＩ−ｅスイッチ４０は、各ブレード１０−１〜１０−ｎに接続されてＭＲ−ＩＯＶのパケットを送受信するアップストリームポート４１−１〜４１−ｎがマルチルートスイッチ（以下、ＭＲＳ）論理４１０に接続され、Ｉ／Ｏデバイス５０に接続されるダウンストリームポート４２−１〜４２−ｎは、ＳＲ−ＩＯＶのパケットとＭＲ−ＩＯＶのパケットを相互に変換するマルチルート−シングルルート（以下、ＭＲ−ＳＲ）変換論理４３０に接続される。なお、ＭＲ−ＳＲ変換論理４３０は、ダウンストリームポート４２−１に対応するものだけを図示したが、実際には、各ダウンストリームポート４２−１〜４２−ｎ毎にＭＲ−ＳＲ変換論理４３０が設けられる。
ＭＲＳ（マルチルートスイッチ）論理４１０は、アップストリームポート４１−１〜４１−ｎに接続されるポート４１１−０〜４１１−ｎと、ポート４１１−０〜４１１−ｎにそれぞれ接続されたアップストリームポートブリッジ４１２と、アップストリームポートブリッジ４１２に接続されたダウンストリームポートブリッジ４１３と、ダウンストリームポートブリッジ４１２に接続されたマルチルートポート４１４と、ポート４１１−０〜４１１−ｎとマルチルートポート４１４と、ポート４１１−０〜４１１−ｎとマルチルートポート４１４の接続関係等のＭＲＳ（マルチルートスイッチ）構成情報（コンフィギュレーション）４１５とを備える。ＭＲＳ構成情報４１５は、ポート４１１−０〜４１１−ｎとマルチルートポート４１４のルーティングを管理する。このＭＲＳ構成情報４１５は、コンフィギュレーション空間アクセスパス４２１によりアップストリームポートブリッジ４１２に接続されてアップストリームポート４１−１〜４１−ｎからアクセス可能となっており、例えば、アップストリームポート４１−０に接続されたＰＣＩ管理サーバ２０からアクセスすることができる。さらに、コンフィギュレーション空間アクセスパス４２１は、ＭＲ−ＳＲ変換論理４３０にも接続され、ＰＣＩ管理サーバ２０はＭＲＳ論理４１０からコンフィギュレーション空間アクセスパス４２１を介してＭＲ−ＳＲ変換論理４３０にもアクセス可能となっている。
ＭＲＳ論理４１０のマルチルートポート４１４は、内部マルチルートリンク４２０を介してＭＲ−ＳＲ変換論理４３０に接続される。
ＭＲ−ＳＲ変換論理４３０は、内部マルチルートリンク４２０から受信したＭＲ−ＩＯＶのパケットをＳＲ−ＩＯＶのパケットに変換し、ダウンストリームポート４２−１からＩ／Ｏデバイス５０へ送信するユニット４３１〜４３４と、ダウンストリームポート４２−１から受信したＩ／Ｏデバイス５０からのＳＲ−ＩＯＶのパケットをＭＲ−ＩＯＶのパケットに変換して、内部マルチルートリンク４２０に送信するユニット４３５〜４３８と、ＭＲ−ＩＯＶのパケットとＳＲ−ＩＯＶのパケットの変換を行うための情報を格納するＴＬＰ（Transaction Layer Packet）変換情報４４０を主体に構成される。
ここで、本発明のパケットの構成について説明する。図１４は、マルチルートＴＬＰ及びＰＣＩｅ（ＰＣＩ−ｅｘｐｒｅｓｓ）ベースＴＬＰのフォーマットを示す説明図である。
マルチルートＴＬＰ（図中ＭＲ ＴＬＰ）１３００は、ＰＣＩ−ｅｘｐｒｅｓｓのパケットであるＰＣＩｅベースＴＬＰ１２００のヘッダーの前に、マルチルートＴＬＰプリフィックスヘッダー１３１０を付加したものである。
ＰＣＩｅベースＴＬＰ１２００は、スタートフレーム（図中ＳＴＰ）と、シーケンス番号と、ＴＬＰヘッダーと、ＥＣＲＣ(End to End Cyclic Redundancy Check)と、ＬＣＲＣ（Link Cyclic Redundancy Check）と、エンドフレームから構成される。
マルチルートＴＬＰ１３００は、ＰＣＩｅベースＴＬＰ１２０のシーケンス番号とＴＬＰヘッダーの間に、マルチルートＴＬＰプリフィックスヘッダ１３１０を挿入したものである。
マルチルートＴＬＰプリフィックスヘッダ１３１０は、ＭＲ−ＩＯＶにおいてＰＣＩｅパケットの発行元のブレード１０−１〜１０−ｎを特定するための仮想階層ナンバー（ＶＨｎ；Virtual Hierarchy Number）１３１１を含む。なお、本実施例における仮想階層ナンバー１３１１はＰＣＩｅスイッチ４０の内部で付与される識別番号であり、ＭＲＳ構成情報４１５に格納されている。
本発明のブレードサーバ１では、仮想計算機１０１−１〜１０１−ｋ−１、仮想マシンモニタ１００−１〜１００−ｎ、チップセット１３−１〜１３−ｎ及びアップストリームポート４１−１〜４１−ｎ間では、ＭＲ−ＩＯＶのパケットであるマルチルートＴＬＰ１３００で送受信を行い、ダウンストリームポート４２−１とＩ／Ｏデバイス５０の間では、マルチルートＴＬＰ１３００からマルチルートＴＬＰプリフィックスヘッダ１３１０を削除して、ＰＣＩｅベースＴＬＰ１２００で送受信を行う。
ここで、本発明のブレードサーバ１では、ブレード１０−１〜１０−ｎからＩ／Ｏデバイス５０への下り方向（Outbound）のパケットではマルチルートＴＬＰ１３００は、ＰＣＩ−ｅスイッチ４０のＭＲ−ＳＲ変換論理４３０が、マルチルートＴＬＰプリフィックスヘッダ１３１０を削除して、送信元をＰＣＩ管理サーバ２０としたＰＣＩｅベースＴＬＰ１２００に変換してＩ／Ｏデバイス５０に送信する。
逆に、Ｉ／Ｏデバイス５０からブレード１０−１〜１０−ｎへの上り方向（Inbound）のパケットでは、ＰＣＩ−ｅスイッチ４０のＭＲ−ＳＲ変換論理４３０が、Ｉ／Ｏデバイス５０から受信したＰＣＩｅベースＴＬＰ１２００に、下り方向のパケットに付与されていた仮想階層ナンバー１３１１を含むマルチルートＴＬＰプリフィックスヘッダ１３１０を付加してブレード１０−１〜１０−ｎに送信する。
以上のような構成により、ＰＣＩ−ｅスイッチ４０のブレード１０−１〜１０−ｎ側ではＭＲ−ＩＯＶのパケットで通信を行い、ＰＣＩ−ｅスイッチ４０のＩ／Ｏデバイス５０側ではＳＲ−ＩＯＶのパケットで通信を行うことで、複数のブレード１０−１〜１０−ｎでひとつのＳＲ−ＩＯＶに準拠したＩ／Ｏデバイス５０を共有できる。
また、ＰＣＩ−ｅスイッチ４０は、発行元のブレード１０−１〜１０−ｎをＩ／Ｏデバイス５０に対して隠蔽するのに加え、各ブレード１０−１〜１０−ｎ間で異なるＭＭＩＯ（Memory-mapped I/O））空間を吸収する。
このため、ＰＣＩ管理サーバ２０は、仮想マシンモニタ１００−１〜１００−ｎの起動時に、各仮想計算機１０１−１〜１０１−ｋ−１のＭＭＩＯ空間のアドレスと、Ｉ／Ｏデバイス５０へのＰＣＩｅベースＴＬＰ１２００の発行元となるＰＣＩ管理サーバ２０のＭＭＩＯ空間の差分（オフセット）を、ＰＣＩ−ｅスイッチ４０のＴＬＰ変換情報４４０に格納しておき、上り方向のマルチルートＴＬＰ１３００の宛先アドレスを、実際の宛先となる仮想マシンモニタ１００−１〜１００−ｎのＭＭＩＯ空間に変換する。
以下に、ＰＣＩ−ｅスイッチ４０が行う仮想階層ナンバー１３１１の削除及び付加と宛先アドレスの変換について詳述する。
図４は、ブレード１０−１（Ｂｌａｄｅ＃１）〜１０−ｎ（Ｂｌａｄｅ＃ｎ）及びＰＣＩ管理サーバ２０（ＰＣＩ−Ｍ）が管理するメモリ１２−１〜ｎ、１２−Ｍ上に設定したＭＭＩＯ空間を示す。例えば、図示の例では、ブレード１０−１に２つの仮想機能５０２＝ＶＦ１、ＶＦ２を割り当て、ブレード１０−ｎにも２つの仮想機能５０２＝ＶＦｋ−１、ＶＦ２ｋ割り当てた例を示す。
ブレード１０−１〜１０−ｎの仮想マシンモニタ１００−１〜ｎはローカルＰＣＩツリーの後にＩ／Ｏデバイス５０の仮想機能５０２（ＶＦ）へアクセスするためのＭＭＩＯ空間を設定する。各ブレードのＭＭＩＯ空間は、搭載しているメモリ１２−１〜ｎの容量等の違いにより、アドレスは相違する。各ブレードのＭＭＩＯ空間は、各ブレード１０−１〜１０−ｎが使用する仮想機能５０２（ＶＦ）毎にＰＣＩ管理サーバ２０が設定するメモリ１２−Ｍ上のＭＭＩＯ空間に割り当てられる。
各ブレード１０−１〜１０−ｎが使用するＭＭＩＯ空間のアドレスの違いは、ＰＣＩマネージャ２０２が設定する宛先アドレス修飾情報４４０１の「Ｏｆｆｓｅｔ」にその差分が設定されることで、ＰＣＩ−ｅスイッチ４０は、Ｉ／Ｏデバイス５０とブレード１０−１〜１０−ｎ間のパケットの宛先アドレスを変更することができる。
つまり、ブレード１０−１〜１０−ｎからＩ／Ｏデバイス５０に対する読み込み要求等では、各ブレードが送信するパケットの発行元アドレスは、ＰＣＩ−ｅスイッチ４０が、宛先アドレス修飾情報４４０１の「Ｏｆｆｓｅｔ」によって、ＰＣＩ管理サーバ２０のＭＭＩＯ空間が発行元アドレスのパケットに書き換えてＩ／Ｏデバイス５０に送信する。
逆に、Ｉ／Ｏデバイス５０からブレード１０−１〜１０−ｎに対する読み込み要求等への応答では、Ｉ／Ｏデバイス５０が送信するパケットの宛先アドレスは、ＰＣＩ管理サーバ２０のＭＭＩＯ空間となっているので、ＰＣＩ−ｅスイッチ４０は宛先アドレス修飾情報４４０１の「Ｏｆｆｓｅｔ」によって、ＰＣＩ管理サーバ２０のＭＭＩＯ空間をブレード１０−１〜１０−ｎ毎のＭＭＩＯ空間に書き換えて返信することができる。
以上の処理により、ＰＣＩ−ｅスイッチ４０は、ＭＭＩＯ空間のアドレスを差し替えることで、複数のブレード１０−１〜１０−ｎでＳＲ−ＩＯＶに対応するＩ／Ｏデバイス５０の共有を実現する。
図５は、ブレード１０−１（Ｂｌａｄｅ＃１）〜１０−ｎ（Ｂｌａｄｅ＃ｎ）及びＰＣＩ管理サーバ２０（ＰＣＩ−Ｍ）のチップセット１３−１〜ｎ、Ｍが管理するルーティングＩＤの関係を示す。各チップセット１３−１〜ｎ、Ｍは、それぞれ、各計算機内のデバイスについて認識したローカルＰＣＩツリー用のルーティングＩＤと、ＰＣＩ−ｅスイッチ４０のＭＲＳ論理４１０から取得したＭＲＳ論理用ルーティングＩＤと、各チップセット１３−１〜ｎ、ＭからのＩ／Ｏデバイス５０のアクセス用ルーティングＩＤとを備える。
ブレード１０−１〜１０−ｎのチップセット１３−１〜ｎでは、接続しているＰＣＩ−ｅスイッチ４０のアップストリームポート４１−１〜ｎが異なるため、チップセット１３−１〜ｎが認識するＩ／Ｏデバイス５０のバス番号は異なる。例えば、図示の例では、ブレード１０−１に２つの仮想機能５０２＝ＶＦ１、ＶＦ２を割り当て、ブレード１０−ｎにも２つの仮想機能５０２＝ＶＦｋ−１、ＶＦ２ｋ割り当てた例を示す。
チップセット１３−１からＩ／Ｏデバイス５０の仮想機能５０２＝ＶＦ１へのルーティングＩＤは、１１：０：１であり、バス番号は１１であるのに対し、チップセット１３−ｎからＩ／Ｏデバイス５０の仮想機能５０２＝ＶＦｋ−１へのルーティングＩＤは、１３：ｘ：ｙ−１でありバス番号は１３である。ＭＲＳ論理用ルーティングＩＤも同様であり、ブレード１０−１〜１０−ｎ毎に異なる。なお、ルーティングＩＤは、バス番号（Ｂｕｓ＃）：デバイス番号（Ｄｅｖ＃）：ファンクション番号（Ｆｕｎ＃）の順に設定される。
一方、Ｉ／Ｏデバイス５０の物理機能５０１にアクセス可能なＰＣＩマネージャ２０２は、起動時に物理機能５０１と仮想機能５０２のルーティングＩＤを初期化してチップセット１３−Ｍで管理しており、図示の例ではルーティングＩＤ＝１０：０：０〜１０：ｘ：ｙ−１をＩ／Ｏデバイス５０のアクセス用ルーティングＩＤに設定する。
そして、ＰＣＩマネージャ２０２は、各ブレード１０−１〜１０−ｎが起動する度に、図７に示すＴＬＰ変換情報４４０の仮想機能ＩＤ修飾情報４４０２に、各ブレード１０−１〜１０−ｎのチップセット１３−１〜ｎからＩ／Ｏデバイス５０の仮想機能５０２までのルーティングＩＤと、ＰＣＩ管理サーバ２０のチップセット１３−Ｍが管理するＩ／Ｏデバイス５０のルーティングＩＤを、各ブレード１０−１〜１０−ｎ毎の仮想階層ナンバー１３１１と共に設定する。
ルーティングＩＤで各ブレード１０−１〜１０−ｎとＩ／Ｏデバイス５０がアクセスを行う場合には、ＰＣＩ−ｅスイッチ４０が仮想機能ＩＤ修飾情報４４０２を参照し、パケット中のルーティングＩＤを付け替えて通信を行う。
すなわち、ＰＣＩ−ｅスイッチ４０は、ブレード１０−１〜１０−ｎからＩ／Ｏデバイス５０へのパケットがルーティングＩＤでアクセスする場合、各ブレード１０−１〜１０−ｎのルーティングＩＤをＰＣＩ管理サーバ２０のルーティングＩＤに差し替えてＩ／Ｏデバイス５０に送信する。
逆に、Ｉ／Ｏデバイス５０からブレード１０−１〜１０−ｎへのパケットがルーティングＩＤでアクセスする場合、ＰＣＩ−ｅスイッチ４０は、ＰＣＩ管理サーバ２０のルーティングＩＤを各ブレード１０−１〜１０−ｎのルーティングＩＤ差し替えてＩ／Ｏデバイス５０に送信する。
以上の処理により、ＰＣＩ−ｅスイッチ４０は、ルーティングＩＤを差し替えることで、複数のブレード１０−１〜１０−ｎでＳＲ−ＩＯＶに対応するＩ／Ｏデバイス５０の共有を実現する。
ここで、ブレードサーバ１で使用されるＰＣＩ−ｅｘｐｒｅｓｓのパケットのフォーマットを図１５に示す。図１５はＰＣＩ−ｅスイッチ４０で転送されるＰＣＩｅベースＴＬＰ１２００のうちＴＬＰヘッダをアクセス形態毎に示す説明図である。
図１５は、ＰＣＩｅベースＴＬＰ１２００のＴＬＰヘッダの詳細を示し、ＴＬＰヘッダ１２００Ａは、ＭＭＩＯ空間のアドレスでブレード１０−１〜１０−ｎとＩ／Ｏデバイス５０のアクセスを行うパケットを示し、ＴＬＰヘッダ１２００Ｂ、１２００ＣはルーティングＩＤでアクセスを行うパケットを示しており、ＴＬＰヘッダ１２００Ｂは要求（書き込み要求など）に対する完了通知を通知するパケットの例を示し、ＴＬＰヘッダ１２００Ｃは対象のデバイスの構成情報（コンフィギュレーション）の設定するパケットを示す。
各ＴＬＰヘッダ１２００Ａ〜Ｃは、バイト０〜１５の１６バイトで構成される。
ＭＭＩＯ空間のアドレスでアクセスするＴＬＰヘッダ１２００Ａは、メモリリード要求やメモリライト要求の際に使用される。
ＴＬＰヘッダ１２００Ａは、バイト４、５にパケットの発行元（リクエスタ）ＩＤに要求元のルーティングＩＤを格納し、バイト８〜１５に読み込む対象のＭＭＩＯ空間のアドレスを格納し、バイト０の０〜４ビットに要求の種別を格納する。
ＰＣＩ−ｅスイッチ４０は、ブレード１０−１〜１０−ｎからＩ／Ｏデバイス５０へ向かう下りパケットの時には、リクエスタＩＤに格納されたブレードのルーティングＩＤをＰＣＩ管理サーバ２０のルーティングＩＤに書き換えて、要求元がＰＣＩ管理サーバ２０であることを設定する。つまり、ＳＲ−ＩＯＶのＩ／Ｏデバイス５０は、ひとつの計算機のみと接続されるため、Ｉ／Ｏデバイス５０へのパケットはＰＣＩ管理サーバ２０発に差し替える。
そして、ＰＣＩ−ｅスイッチ４０は、ブレードのＭＭＩＯ空間のアドレスを宛先アドレス修飾情報４４０１の「ｏｆｆｓｅｔ」でＰＣＩ管理サーバ２０（ＰＣＩマネージャ２０２）のＭＭＩＯ空間のアドレスに変更し、Ｉ／Ｏデバイス５０が認識可能なアドレス空間に変更する。
ルーティングＩＤでアクセスする場合の、ＴＬＰヘッダ１２００Ｂは、要求（書き込み要求等）に対する完了通知の際に使用される。ＴＬＰヘッダ１２００Ｂは、バイト４，５のコンプリータＩＤに完了通知（コンプリーション）を発行するデバイスのルーティングＩＤを格納し、バイト８、９のリクエスタＩＤに要求元（リクエスタ）のルーティングＩＤを格納し、バイト０の０〜４ビットにコンプリーションを示す値を格納する。
ＰＣＩ−ｅスイッチ４０は、仮想機能ＩＤ修飾情報４４０２を参照して、Ｉ／Ｏデバイス５０へ向かう上りパケットの時には、リクエスタＩＤに格納されたＰＣＩ管理サーバ２０のルーティングＩＤをＰＣＩ管理サーバ２０のルーティングＩＤから送信先のブレードのルーティングＩＤに差し替えて送信する。
ルーティングＩＤでアクセスするＴＬＰヘッダ１２００Ｃは、デバイスに対する構成情報の設定を要求するパケットで使用される。ＴＬＰヘッダ１２００Ｃは、バイト４，５のリクエスタＩＤに構成情報の設定を要求するデバイスのルーティングＩＤを格納し、バイト８、９には構成情報の設定対象のバス番号とデバイス番号とファンクション番号からなるルーティングＩＤを格納し、バイト０の０〜４ビットに構成情報の設定要求（コンフィギュレーション）を示す値を格納する。
ＰＣＩ−ｅスイッチ４０は、ブレード１０−１〜１０−ｎからＩ／Ｏデバイス５０へ向かう下りパケットの時には、リクエスタＩＤに格納されたブレードのルーティングＩＤをＰＣＩ管理サーバ２０のルーティングＩＤに書き換えて、要求元がＰＣＩ管理サーバ２０であることを設定する。また、ＰＣＩ−ｅスイッチ４０は、仮想機能ＩＤ修飾情報４４０２を参照して、ブレードが設定したＩ／Ｏデバイス５０のルーティングＩＤ（バス番号、デバイス番号、ファンクション番号を、）ＰＣＩ管理サーバ２０が認識するルーティングＩＤに差し替えて、Ｉ／Ｏデバイス５０にはＰＣＩ管理サーバ２０からの要求であることに変更する。
図１６は、ブレードサーバ１の起動手順を示すフローチャートである。この処理は、ブレードサーバ１の管理者またはユーザのスイッチ操作に基づいて開始される。
ステップＳ１では、管理者（またはユーザ）がＰＣＩ−ｅスイッチ４０の電源を投入する。ＰＣＩ−ｅスイッチ４０は、起動するとＰＣＩ−ｅリンクの初期化処理と各種レジスタの初期化処理を実行する（Ｓ２）。すなわち、図３のＭＲＳ構成情報４１５及びＴＬＰ変換情報４４０の初期化が行われる。また、管理者などによりＩ／Ｏデバイス５０の電源が投入される。なお、Ｉ／Ｏデバイス５０の電源は、ＰＣＩ−ｅスイッチ４０と連動していても良い。
ステップＳ３では、管理者（またはユーザ）が、ＰＣＩ管理サーバ２０の電源を投入する。ＰＣＩ管理サーバ２０では、後述する図１７のように各種初期化が行われる。ＰＣＩ管理サーバ２０の起動が完了すると、ステップＳ４ではＰＣＩマネージャ２０２が管理端末３０からのブレードに対する起動の指示を待ち受ける。
ＰＣＩマネージャ２０２は管理端末３０から起動するブレード１０−１〜１０−ｎに対する指令を受け付けると、ステップＳ５に進んで指令を受け付けたブレード１０−１〜１０−ｎの電源を投入し、その後、ステップＳ６では、ＰＣＩマネージャ２０２が、起動が完了したブレードに対して仮想マシンモニタ１００−１〜１００−ｎを起動する。仮想マシンモニタ１００−１〜１００−ｎの起動については後述の図１８にて詳述する。ステップＳ７では、仮想マシンモニタの起動が完了した後に、受け付けた指令に基づいて仮想計算機１０１−１〜１０１−ｋ−１を生成し、各仮想計算機１０１−１〜１０１−ｋ−１でＯＳ１０２−０〜１０２−Ｋ−１を起動させる。仮想計算機の起動が完了すると再びステップＳ４に戻って次のブレード１０−１〜１０−ｎの起動の指令を待つ。
上記処理により、ＰＣＩ−ｅスイッチ４０、ＰＣＩ管理サーバ２０、Ｉ／Ｏデバイス５０の順で電源が投入されて初期化が行われた後、管理端末３０から指令されたブレード１０−１〜１０−ｎが起動される。
図１７は、図１６に示したステップＳ３のＰＣＩ管理サーバ２０の起動の際に行われる処理の一例を示すフローチャートである。
ＰＣＩ管理サーバ２０は、電源を投入されるとステップＳ１１でＢＩＯＳ（Basic I/o System）またはＥＦＩ(Extensible Firmware Interface)が起動する。ＢＩＯＳ（またはＥＦＩ）の起動時には、ステップＳ１２でチップセット１３−ＭがＰＣＩ管理サーバ２０内のデバイスについて、ルートコンプレックスの下にローカルＰＣＩツリーを構成し、ＰＣＩローカルツリーの初期化を行う。すなわち、チップセット１３−Ｍは、図５で示したような、ローカルＰＣＩツリーのルーティングＩＤをチップセット１３−Ｍのレジスタ等の所定の領域に設定する。この例では、ＰＣＩ管理サーバ２０内のローカルルーティングＩＤとして、０：０：０〜７：１Ｆ：７が各エントリに設定される。
ステップＳ１３では、ＢＩＯＳ（またはＥＦＩ）の起動が完了するとＯＳ２０１が起動し、その後に、ＰＣＩマネージャ２０２（ＰＣＩ−Ｍ）が起動する。このとき、ＯＳ２０１はＰＦドライバ２０３を読み込んで、ＰＣＩマネージャ２０２がＩ／Ｏデバイス５０の物理機能ＰＦ５０１を利用する準備を行う。なお、Ｉ／Ｏデバイス５０の物理機能を使用するのはＰＣＩ−ｅスイッチ４０及びＩ／Ｏデバイス５０を管理するＰＣＩマネージャ２０２のみであり、他のブレード１０−１〜１０−ｎは仮想機能を利用する。
ステップＳ１４では、ＯＳ２０１がネットワークインターフェース１３２−Ｍの初期化を実施する。ネットワークインターフェース１３２−Ｍの初期化は、ネットワーク７０への接続とＩＰアドレスの付与及びブレード１０−１〜１０−ｎの仮想計算機からの接続要求に対する待ち受けの開始が含まれる。
次に、ステップＳ１５では、ＰＣＩマネージャ２０２がＩ／Ｏポート１３１−ＭからＰＣＩ−ｅスイッチ４０にアクセスして、マルチルートスイッチ論理４１０のアップストリームポートブリッジ４１２からアップストリームポート４１−０に接続されたポート４１１−０に設定された構成情報（例えば、マルチルート化可能ポインタ：Capability pointer）を取得し、当該ポート４１１−０のバス番号（例えば、９）を取得する。ここで、構成情報としてのマルチルート化可能ポインタは、図１９で示すように、４バイト目の０〜１５ビットのＶＳＥＣ＿ＩＤがマルチルート化可能ポインタを示す。ＰＣＩマネージャ２０２は、ＰＣＩ−ｅスイッチ４０から仮想階層ナンバー１３１１を取得する。図４の例では、ＰＣＩ管理サーバ２０の仮想階層ナンバー１３１１（ＶＨ）は「０」となる。
ステップＳ１６では、ＰＣＩマネージャ２０２が、Ｉ／Ｏポート１３１−ＭからＰＣＩ−ｅスイッチ４０にアクセスして、ＭＲＳ論理４１０のダウンストリームポートブリッジ４１３の構成情報（例えば、コンフィギュレーションヘッダ）を取得する。
次に、ステップＳ１７では、ＰＣＩマネージャ２０２は、Ｉ／Ｏポート１３１−Ｍ及びアップストリームポート４１−０からＩ／Ｏデバイス５０にアクセスし、Ｉ／Ｏデバイス５０のＳＲ−ＩＯＶに関する構成情報（例えば、コンフィギュレーションヘッダ）を取得する。ＰＣＩマネージャ２０２は、Ｉ／Ｏデバイス５０の構成情報から仮想機能（ＶＦ）の個数やＭＭＩＯ空間などを取得する。また、ＰＣＩマネージャ２０２はＩ／Ｏデバイス５０からバス番号及びデバイス番号を取得する。例えば、ＰＣＩ管理サーバ２０のチップセット１３−Ｍのルートコンプレックスから見たＩ／Ｏデバイス５０のアクセス用ルーティングＩＤは０：２：０となる。
ステップＳ１８では、上記ステップＳ１５〜Ｓ１７で取得したマルチルートスイッチ論理４１０のアップストリームポートブリッジ４１２とダウンストリームポートブリッジ４１３の構成情報と、Ｉ／Ｏデバイス５０の構成情報から、図５で示すように、ＭＲＳ論理用ルーティングＩＤと、Ｉ／Ｏデバイス５０をアクセスするためのルーティングＩＤ（ＤＥＶアクセス用Routing ID）をチップセット１３−Ｍのレジスタ等の所定の領域に設定する。また、ＰＣＩマネージャ２０２は、めもり１２−Ｍの所定の領域に物理機能５０１にアクセするためのＭＭＩＯと、仮想機能５０１にアクセスするためのＭＭＩＯをｋ個設定する。
図５の例では、ＰＣＩマネージャ２０２がＰＣＩ管理サーバ２０のＩ／Ｏポート１３１−ＭからＰＣＩ−ｅスイッチ４０のアップストリームポート４１−０からダウンストリームポートブリッジ４１３までのＭＲ−ＩＯＶのルーティングＩＤとして、ポート４１１−０がバス番号＝９、ＭＲＳ構成情報４１５がバス番号＝８、Ｉ／Ｏデバイス５０のバス番号＝１０となり、ＭＲＳ論理４１０用のルーティングＩＤは、８：０：０、９：０：０となる。また、Ｉ／Ｏデバイス５０のデバイスアクセス用ルーティングＩＤは、１０：０：０がＩ／Ｏデバイス５０の物理機能にアクセスするためのルーティングＩＤに設定され、１０：０：１〜１０：０：ＶＦｋまでのｋ個のルーティングＩＤがＩ／Ｏデバイス５０のアクセス用に設定される。そして、ＰＣＩマネージャ２０２がＰＦドライバ２０３でＩ／Ｏデバイス５０の物理機能ＰＦ５０１と仮想機能５０２を初期化する。
上記処理によって、Ｉ／Ｏデバイス５０の物理機能ＰＦ５０１と仮想機能５０２を初期化がＰＣＩマネージャ２０２によって行われる。
図１８は、図１６のステップＳ６、Ｓ７で行われるブレード１０−１〜１０−ｎの起動と仮想計算機（ゲストＶＭ）の起動処理の一例を示すフローチャートである。この例では、管理端末３０から図１のブレード１０−１（ＢＬＡＤＥ＃１）を起動し、ブレード１０−１の仮想マシンモニタ１００−１上で仮想計算機１０１−１（ＶＭ＃０）、１０１−２（ＶＭ＃１）を生成する指令があった例を示す。
ＰＣＩマネージャ２０２は、既に起動してステップＳ３１にて仮想マシンモニタ１００−１〜１００−ｎからの通信を待ち受ける状態となっている（図１７のＳ１４）。
ＰＣＩ管理サーバ２０は管理端末３０から指令を受けたブレード１０−１（ＢＲＡＤＥ＃１）に起動の指令を出力し、ブレード１０−１を起動する。この処理は、例えば、ブレード１０−１〜１０−ｎがＢＭＣを備えている場合には、該当するブレードのＢＭＣに対して起動を指令し、ネットワークインターフェース１３２−１〜ｎへ起動を指令する場合にはマジックパケットを送信することで行われる。
ＰＣＩ管理サーバ２０からの指令で起動したブレード１０−１は、電源を投入されるとステップＳ２１でＢＩＯＳまたはＥＦＩが起動する。ＢＩＯＳ（またはＥＦＩ）の起動時には、ステップＳ２２でチップセット１３−１がブレード１０−１内のデバイスについてルートコンプレックスの下にローカルＰＣＩツリーを構成し、ＰＣＩローカルツリーの初期化を行う。すなわち、チップセット１３−１は、図５で示したＢｌａｄｅ＃１のように、ローカルＰＣＩツリーのルーティングＩＤをチップセット１３−１のレジスタ等の所定の領域に設定する。この例では、ブレード１０−１内のローカルルーティングＩＤとして、０：０：０〜８：１Ｆ：７が各エントリに設定される。
ステップＳ２３では、ＢＩＯＳ（またはＥＦＩ）の起動が完了すると仮想マシンモニタ１００−１が起動する。仮想マシンモニタ１００−１がネットワークインターフェース１３２−１の初期化を実施する。ネットワークインターフェース１３２−１の初期化は、ネットワーク７０への接続とＩＰアドレスの付与が含まれる。
次に、ステップＳ２４では、仮想マシンモニタ１００−１がＩ／Ｏポート１３１−１からＰＣＩ−ｅスイッチ４０にアクセスして、マルチルートスイッチ論理４１０のアップストリームポートブリッジ４１２からアップストリームポート４１−０に接続されたポート４１１−１に設定された構成情報（例えば、マルチルート化可能ポインタ：Capability pointer）を取得し、当該ポート４１１−１のバス番号（例えば、９）を取得する。構成情報としてのマルチルート化可能ポインタは、図１９で示したように、４バイト目の０〜１５ビットのＶＳＥＣ＿ＩＤがマルチルート化可能ポインタを示す。仮想マシンモニタ１００−１は、ＰＣＩ−ｅスイッチ４０から仮想階層ナンバー１３１１を取得する。図５の例では、ブレード１０−１の仮想階層ナンバー１３１１（ＶＨ）は「１」となる。
ステップＳ２５では、仮想マシンモニタ１００−１が、Ｉ／Ｏポート１３１−１からＰＣＩ−ｅスイッチ４０にアクセスして、ＭＲＳ論理４１０のダウンストリームポートブリッジ４１３の構成情報（例えば、コンフィギュレーションヘッダ）を取得する。仮想マシンモニタ１００−１は、ルートコンプレックスから見たＩ／Ｏデバイス５０のルーティングＩＤのデバイス番号として、ＭＲＳ論理４１０のダウンストリームポートブリッジ４１３のデバイスを割り当てる。この例では、ルートコンプレックスから見たＩ／Ｏデバイス５０のルーティングＩＤは、０：６：０となる。
次に、ステップＳ２６では、仮想マシンモニタ１００−１が必要とする仮想機能５０２の数を含む確保要求をＰＣＩマネージャ２０２にＶＦ確保要求データとしてネットワーク７０から送信する。この確保要求は、図２０で示すように、仮想マシンモニタ１００−１が必要とする仮想機能（ＶＦ）５０２の数（＝２）と、仮想マシンモニタ１００−１がひとつの仮想機能５０２に対してメモリ１２−１に設定可能なＭＭＩＯのサイズの最大値と、仮想機能５０２を設定するＭＭＩＯのベースアドレス及び仮想階層ナンバー１３１１（ＶＨ＝１）と、Ｉ／Ｏデバイス５０からアクセスするためのルーティングＩＤ（１１：０：１及び１１：０：２）とを含む。なお、ブレード１０−１から見たＩ／Ｏデバイス５０のバス番号は１１となり、ＰＣＩ管理サーバ２０から見たバス番号とは異なる。また、ブレード１０−１は、確保要求にルートコンプレックスが取得したＩ／Ｏデバイス５０のアクセス用ルーティングＩＤ（０：６：０）も通知する。なお、Ｉ／Ｏデバイス５０からアクセスするためのルーティングＩＤは、各ブレード１０−１〜１０−ｎの起動時にＢＩＯＳが決定した値を用いることができる。
仮想機能５０２を確保する要求を受け付けたＰＣＩマネージャ２０２は、ブレード１０−１から見たＰＣＩ−ｅスイッチ４０のＭＲＳ論理４１０及びＩ／Ｏデバイス５０のルーティングＩＤと、ブレード１０−１のＭＭＩＯ空間を認識する。
ＰＣＩマネージャ２０２は、ブレード１０−１から要求された仮想機能５０２に対するＩ／Ｏデバイス５０のアクセス用ルーティングＩＤから図５に示したＶＦ１及びＶＦ２をブレード１０−１に割り当て、図４に示したＭＭＩＯ空間に確保したＶＦ１，ＶＦ２のＭＭＩＯをブレード１０−１に割り当てる。
そして、ＰＣＩマネージャ２０２は、ブレード１０−１から受信した確保要求に含まれるブレード１０−１のＩ／Ｏデバイス５０のアクセス用ルーティングＩＤと、仮想階層ナンバー１３１１と、ＭＭＩＯのベースアドレスと、仮想階層ナンバー１３１１を、ＭＲ−ＳＲ変換論理５３０のＴＬＰ変換情報４４０に書き込む。このとき、ＰＣＩマネージャ２０２は、確保要求で要求された仮想機能５０２の数に応じてＰＣＩマネージャ２０２が管理する仮想機能５０２のＭＭＩＯとブレード１０−１が管理するＭＭＩＯのオフセットを求める。
ＰＣＩマネージャ２０２は、ＭＲ−ＳＲ変換論理５３０のＴＬＰ変換情報４４０（図７）を構成する宛先アドレス変換論理４４０１へ、仮想機能５０２毎に仮想階層ナンバー１３１１、ブレード１０−１のＭＭＩＯのベースアドレスと、ＭＭＩＯのサイズと、ＰＣＩマネージャ２０２が管理する仮想機能５０２のＭＭＩＯとブレード１０−１が管理するＭＭＩＯのオフセットを書き込む。ＰＣＩマネージャ２０２は、書き込みを行ったエントリのＶａｌｉｄに有効であることを示す「１」をセットする。
次に、ＰＣＩマネージャ２０２は、図５のルーティングＩＤからブレード１０−１に割り当てた仮想機能５０２（ＶＦ１とＶＦ２）のルーティングＩＤ（１０：０：１と１０：０：２）と、ブレード１０−１から通知を受けたルーティングＩＤ（１１：０：１と１１：０：２）を対応づける。
そして、ＰＣＩマネージャ２０２は、ＭＲ−ＳＲ変換論理５３０のＴＬＰ変換情報を構成する仮想機能ＩＤ修飾情報４４０２（図７）へ、各ブレードからＩ／Ｏデバイス５０のアクセス用ルーティングＩＤ毎に、ブレード１０−１〜１０−ｎの仮想階層ナンバー１３１１（ＶＨ）をＶＨに書き込み、／Ｏデバイス５０のアクセス用ルーティングＩＤをＶＨｘ＿ＲｏｕｔｉｎｇＩＤに書き込み、ブレードのルーティングＩＤに対応するＰＣＩマネージャ２０２が対応付けたルーティングＩＤをＶＨ０ ＲｏｕｔｉｎｇＩＤに書き込む。ＰＣＩマネージャ２０２は、書き込みを行ったエントリのＶａｌｉｄに有効であることを示す「１」をセットする。
次に、ＰＣＩマネージャ２０２は、図７のルートポートＩＤ情報４４０３に、ブレード１０−１のルートコンプレックスが認識したＩ／Ｏデバイス５０のルーティングＩＤ（０：６：０）を仮想階層ナンバー１３１１毎に書き込む。ＰＣＩマネージャ２０２は、書き込みを行ったエントリのＶａｌｉｄに有効であることを示す「１」をセットする。
以上により、ＭＲ−ＳＲ変換論理４３０のＴＬＰ変換情報４４０にブレード１０−１から受信したＶＦ確保要求データの値を設定し、ブレード１０−１がＩ／Ｏデバイス５０を共有することを設定する。
ＰＣＩマネージャ２０２は、ＭＲ−ＳＲ変換論理４３０のＴＬＰ変換情報４４０にブレード１０−１から受信したＶＦ確保要求データの設定が完了すると、ＴＬＰ変換情報４４０に設定した情報をＶＦ確保完了データとしてネットワーク７０からブレード１０−１に送信する。ＶＦ確保完了データの一例としては図２１のようになる。図２１において、ＶＦ確保完了データは、ＰＣＩマネージャ２０２がＴＬＰ変換情報４４０に確保した仮想機能５０２の数（＝２）と、仮想機能５０２当たりのＭＭＩＯのサイズと、Ｉ／Ｏデバイス５０の物理機能ＰＦ５０１の構成情報の空間サイズと、Ｉ／Ｏデバイス５０の物理機能５０１の構成空間データと、Ｉ／Ｏデバイス５０の仮想機能５０２の構成空間サイズと、Ｉ／Ｏデバイス５０の仮想機能５０２の構成空間データが含まれる。
ＶＦ確保完了データを受信した仮想マシンモニタ１００−１は、ステップＳ２７で管理端末３０から指令された仮想計算機１０１−１、１０１−２（ゲストＶＭ）を起動し、ＰＣＩマネージャ２０２から受信したＩ／Ｏデバイス５０の仮想機能５０２（ＶＦ１，ＶＦ２）をそれぞれ割り当てる。
上記の処理により、仮想マシンモニタ１００−１が必要とするＩ／Ｏデバイス５０の仮想機能５０２をＰＣＩマネージャ２０２が確保し、仮想マシンモニタ１００−１はＰＣＩマネージャ２０２が確保した仮想機能５０２を起動する仮想計算機１０１−１、１０１−２に割り当てることができる。
なお、上記の処理は他のブレード１０−２〜１０−ｎを起動するときにも同様に実行され、ＴＬＰ変換情報４４０にはＩ／Ｏデバイス５０を共有するブレード１０−１〜１０−ｎの情報が加えられることになる。
図２１は、上記図１８のステップＳ２７で行われる仮想計算機１０１−０（１０１−１）の起動処理の一例を示すフローチャートである。
仮想マシンモニタ１００−１は、ステップＳ４１で仮想計算機１０１−０を起動し、ステップＳ４２で仮想計算機１０１−０に割り当てた仮想ＢＩＯＳを起動する。ステップＳ４２では、仮想ＢＩＯＳによって仮想ＰＣＩツリーの初期化を実施する。
ステップＳ４４では、仮想ＢＩＯＳが仮想マシンモニタ１００−１によって提供される仮想コンフィギュレーションにアクセスを開始する。ステップＳ４５では、仮想マシンモニタ１００−１は仮想ＢＩＯＳのアクセス対象が、Ｉ／Ｏデバイス５０の仮想機能５０２に対するものであるか否かを判定する。仮想機能５０２以外に対して仮想ＢＩＯＳがアクセスした場合には、ステップＳ４６で仮想マシンモニタ（ＶＭＭ）１００−１がアクセス対象のエミュレーションを実施する。一方、仮想機能５０２に対して仮想ＢＩＯＳがアクセスした場合には、ステップＳ４７で仮想マシンモニタ１００−１が、ＰＣＩマネージャ２０２から仮想機能確保応答情報により取得したＩ／Ｏデバイス５０の物理機能ＰＦ５０１の構成情報の空間サイズと、Ｉ／Ｏデバイス５０の物理機能５０１の構成空間データと、Ｉ／Ｏデバイス５０の仮想機能５０２の構成空間サイズと、Ｉ／Ｏデバイス５０の仮想機能５０２の構成情報の空間データを応答する。
ステップＳ４８では、仮想マシンモニタ１００−１が仮想ＢＩＯＳによる仮想ＰＣＩツリーの初期化が完了したか否かを判定する。仮想ＰＣＩツリーの初期化が完了していなければステップＳ４４に戻り上記初期化を繰り返す。一方、仮想ＰＣＩツリーの初期化が完了すると、ステップＳ４９で仮想マシンモニタ１００−１がＯＳ１００−０（ゲストＯＳ）の起動を開始する。ステップＳ５０でＯＳ１００−０の起動が完了し、仮想計算機１０１−０でアプリケーションやサービスの提供が可能となる。
上記により、仮想ＢＩＯＳやＯＳ１００−０（ゲストＯＳ）がＩ／Ｏデバイス５０の仮想機能５０２の構成情報を取得する場合には、仮想マシンモニタ１００−１がＰＣＩマネージャ２０２から取得した物理機能５０１及び仮想機能５０２の情報を提供することで、ＯＳ１００−０等がＶＦドライバ１０３を組み込んで仮想機能５０２を利用することが可能となる。
図２３は、上記実施形態の変形例を示し、図３に示したＭＲＳ論理４１０のうち、アップストリームポートブリッジ４１２に接続されるポート４１１−１〜４１１−ｎをＭＲＳ論理４１０から分離して、アップストリームポート４１−０〜４１−ｎの増設を可能にしたものである。
ＰＣＩ−ｅスイッチ４０のアップストリームポート４１−０〜４１−ｎは、所定数（例えば、２つ）毎にＭＲＳ論理４１１０−１〜４１１０−ｎに接続される。各ＭＲＳ論理４１１０−１〜ｎには、２つのポート４１１−０、４１１−１等がそれぞれ設けられて、アップストリームポート４１−０〜４１−ｎに接続される。各ＭＲＳ論理４１１０−１〜４１１０−ｎのＭＲＳ論理４１０側にはひとつのポート４１１１−１〜４１１１−ｎが設けられており、それぞれのポート４１１１−１〜４１１１−ｎはＭＲＳ論理４１０に設けたポート４１１２−１〜４１１２−ｎに接続される。
この変形例では、ＭＲＳ論理４１０のアップストリームポート４１−０〜４１−ｎ側を多段化することによって、ブレードサーバ１のアップストリームポート４１−０〜４１−ｎの構成を柔軟に行うことが可能となる。
なお、上記実施形態では、チップセット１３−１〜ｎとプロセッサ１１−１，２が独立した構成を示したが、プロセッサ１１−１、２にチップセット１３−１〜ｎが組み込まれていても良い。
また、上記実施形態では、ＰＣＩ管理サーバ２０でＰＣＩマネージャ２０２を稼動させる例を示したが、ブレード１０−１〜１０−ｎの何れかでＰＣＩマネージャ２０２を稼動させてもよい。
以上のように、本発明は、複数の物理計算機をＰＣＩ−ｅｘｐｒｅｓｓのスイッチでＩ／Ｏデバイスに接続する計算機システムに適用することができ、特に、物理計算機がＭＲ−ＩＯＶでアクセスを行い、Ｉ／ＯデバイスがＳＲ−ＩＯＶでアクセスする計算機システム及びＰＣＩスイッチに好適である。
本発明を適用したブレードサーバのハードウェア構成を示すブロック図。 同じくブレードサーバの機能要素を示すブロック図。 ＰＣＩ−ｅスイッチの内部を示すブロック図。 各ブレードとＰＣＩ管理サーバのＭＭＩＯ空間の関係を示す説明図。 各ブレードとＰＣＩ管理サーバのルーティングＩＤの関係を示す説明図。 ＭＲ−ＳＲ変換論理の宛先情報変換回路の構成を示すブロック図。 ＴＬＰ情報の構成を示す説明図。 宛先情報変換回路を構成する宛先アドレス修飾部の構成を示すブロック図。 宛先情報変換回路を構成する宛先ＩＤ修飾部の構成を示すブロック図。 発行元ＩＤ変換回路１の構成を示すブロック図。 仮想階層ナンバー付加回路の構成を示すブロック図。 発行元ＩＤ変換回路２の構成を示すブロック図。 宛先ＩＤ変換回路２の構成を示すブロック図。 マルチルートＴＬＰ及びＰＣＩｅベースＴＬＰのフォーマットを示す説明図。 マルチルートＴＬＰ及びＰＣＩｅベースＴＬＰのＴＬＰヘッダのフォーマットを示す説明図。 ブレードサーバの電源投入の手順を示すフローチャート。 ＰＣＩ管理サーバ２０で行われる起動処理を示すフローチャート。 ブレードで行われる仮想マシンモニタの起動処理を示すフローチャート。 マルチルート化可能フォーマットを示す説明図。 仮想機能確保要求情報のフォーマットを示す説明図。 仮想機能確保完了情報のフォーマットを示す説明図。 仮想計算機の起動処理を示すフローチャート。 ＰＣＩ−ｅスイッチのＭＲＳ論理の変形例を示すブロック図。
符号の説明
１０−１〜１０−ｎ ブレード
１３−１〜１３−ｎ、１３−Ｍ チップセット
２０ ＰＣＩ管理サーバ２０
４０ ＰＣＩ−ｅスイッチ
５０ Ｉ／Ｏデバイス５０
４１−０〜４１−ｎ アップストリームポート
４２−１ ダウンストリームポート
４１０ ＭＲＳ論理
４３０ ＭＲ−ＳＲ変換論理
４３１ 宛先情報変換回路
４３２ 発行元ＩＤ変換回路（１）
４３３ Ｖｈｎ消去部
４３４ ＬＣＲＣ再生成部
４３５ Ｖｈｎ付加部
４３６ 発行元ＩＤ変換回路（１）
４３７ 宛先ＩＤ変換回路（２）
４３８ ＬＣＲＣ再生成部

Claims (13)

  1. 仮想化部を備えて１以上の仮想サーバを提供する複数の物理サーバと、前記複数の物理サーバで共有されるＩ／Ｏデバイスと、前記複数の物理サーバと前記Ｉ／Ｏデバイスを接続するスイッチと、前記スイッチを初期化する管理部とを有するサーバシステムであって、
    前記Ｉ／Ｏデバイスが、
    仮想的な機能であるＶｉｒｔｕａｌ Ｆｕｎｃｔｉｏｎ（ＶＦ）を有し、
    前記スイッチが、
    前記物理サーバが認識する識別子である第１の識別子と、前記管理部が管理する識別子である第２の識別子と、の間の対応関係を示す識別子対応情報を保持し、
    前記物理サーバからパケットを受信した場合に、
    送信元の物理サーバを識別するサーバ識別子を含む前記パケットを前記スイッチ内で変換し、
    前記パケットを前記Ｉ／Ｏデバイスに送信する際には、前記識別子対応情報に基づいて、前記パケットに含まれる前記第１の識別子を、当該第１の識別子に前記対応付けられた前記第２の識別子に変換し、かつ、前記サーバ識別子を削除した前記パケットを、前記Ｉ／Ｏデバイスに送信する、ことを特徴とするサーバシステム。
  2. 請求項１記載のサーバシステムであって、
    前記物理サーバは、前記第１の識別子に基づいて、前記仮想サーバから前記ＶＦへのアクセスを管理し、
    前記Ｉ／Ｏデバイスは、前記第２の識別子に基づいて、前記仮想サーバから前記ＶＦへのアクセスを管理する、ことを特徴とするサーバシステム。
  3. 請求項１記載のサーバシステムであって、
    前記スイッチは、
    更に前記物理サーバが認識する前記ＶＦのＭＭＩＯアドレス領域情報と、前記管理部が管理する前記ＶＦのＭＭＩＯアドレス領域情報との間の対応関係を示すＭＭＩＯアドレス対応情報を保持し、
    前記物理サーバからパケットを受信した場合に、更に、前記ＭＭＩＯアドレス対応情報に従って前記パケットの宛先アドレスを変換する処理を行う、ことを特徴とするサーバシステム。
  4. 請求項１記載のサーバシステムであって、
    前記Ｉ／Ｏデバイスは、ＰＣＩ ｓｉｇ規定のＳｉｎｇｌｅ Ｒｏｏｔ Ｉ／Ｏ Ｖｉｒｔｕａｌｉｚａｔｉｏｎ ａｎｄ Ｓｈａｒｉｎｇ Ｓｐｅｃｉｆｉｃａｔｉｏｎ（ＳＲ−ＩＯＶ）に準拠、もしくはＳＲ−ＩＯＶの上位互換のＩ／Ｏデバイスであることを特徴とするサーバシステム。
  5. 仮想化部を備えて１以上の仮想サーバを提供する複数の物理サーバと、仮想的な機能であるＶｉｒｔｕａｌ Ｆｕｎｃｔｉｏｎ（ＶＦ）を有して前記複数の物理サーバで共有されるＩ／Ｏデバイスと、を接続するスイッチング装置であって、
    前記物理サーバと接続する第１のポートと、
    前記Ｉ／Ｏデバイスと接続する第２のポートと、
    前記物理サーバが認識する識別子である第１の識別子と、前記スイッチを初期化する管理部が管理する識別子である第２の識別子と、の間の対応関係を管理する識別子管理部と、
    前記物理サーバにより送信された前記Ｉ／Ｏデバイス宛のパケットの前記Ｉ／Ｏデバイスへの転送を制御する転送制御部と、を備え、
    前記第１のポートが前記物理サーバから前記Ｉ／Ｏデバイス宛のパケットを受信した場合に、
    前記転送制御部は、送信元の物理サーバを識別するサーバ識別子を含む前記パケットを前記スイッチ内で変換し、
    前記パケットを前記第２のポートから前記Ｉ／Ｏデバイスに送信する際には、前記識別子管理部が管理する前記対応関係に基づいて、前記パケットに含まれる前記第１の識別子を、当該第１の識別子に前記対応付けられた前記第２の識別子に変換し、かつ、前記サーバ識別子を削除した前記パケットを、前記Ｉ／Ｏデバイスに送信する、ことを特徴とするスイッチング装置。
  6. 請求項５記載のスイッチング装置であって、
    前記第１の識別子は、前記仮想サーバから前記ＶＦへのアクセスの管理のために前記物理サーバが用いる識別子であり、
    前記第２の識別子は、前記仮想サーバから前記ＶＦへのアクセスの管理のために前記Ｉ／Ｏデバイスが用いる識別子である、ことを特徴とするスイッチング装置。
  7. 請求項５記載のスイッチング装置であって、
    前記物理サーバが認識する前記ＶＦのＭＭＩＯアドレス領域情報と、前記管理部が管理する前記ＶＦのＭＭＩＯアドレス領域情報と、の間の対応関係を管理するＭＭＩＯアドレス対応関係管理部を、更に有し、
    前記第１のポートが前記物理サーバから前記Ｉ／Ｏデバイス宛のパケットを受信した場合に、
    前記転送制御部は、更に、前記ＭＭＩＯアドレス対応管理部に従って前記パケットの宛先アドレスを変換する処理を行う、ことを特徴とするスイッチング装置。
  8. 仮想化部を備えて１以上の仮想サーバを提供する複数の物理サーバと、Ｉ／Ｏデバイスと、前記複数の物理サーバと前記Ｉ／Ｏデバイスとを接続するスイッチと、前記スイッチを初期化する管理部と、を有するサーバシステムにおいて、前記Ｉ／Ｏデバイスを前記複数の物理サーバ間で共有するＩ／Ｏデバイス管理方法であって、
    前記Ｉ／Ｏデバイスによって、仮想的な機能であるＶｉｒｔｕａｌ Ｆｕｎｃｔｉｏｎ（ＶＦ）を複数生成し、
    前記スイッチによって、
    前記物理サーバが認識する前記ＶＦの識別子である第１の識別子と、前記管理部が管理する前記ＶＦの識別子である第２の識別子と、の間の対応関係を示す識別子対応情報を管理し、
    前記スイッチが前記物理サーバからパケットを受信した場合に、送信元の物理サーバを識別するサーバ識別子（＝ＶＨＮ）を含む前記パケットを前記スイッチ内で変換し、
    前記パケットを前記Ｉ／Ｏデバイスに送信する際には、前記識別ｘ子対応情報に基づいて、前記パケットに含まれる前記第１の識別子を、当該第１の識別子に前記対応付けられた前記第２の識別子に変換し、かつ、前記サーバ識別子を削除した前記パケットを、前記Ｉ／Ｏデバイスに送信する、ことを特徴とするＩ／Ｏデバイス管理方法。
  9. 請求項８記載のＩ／Ｏデバイス管理方法であって、
    前記第１の識別子に基づいて、前記仮想サーバから前記ＶＦへのアクセスに関して前記物理サーバによる管理を行い、
    前記第２の識別子に基づいて、前記仮想サーバから前記ＶＦへのアクセスに関して前記Ｉ／Ｏデバイスによる管理を行う、ことを特徴とするＩ／Ｏデバイス管理方法。
  10. 請求項８記載のＩ／Ｏデバイス管理方法であって、
    前記スイッチによって、
    更に前記物理サーバが認識する前記ＶＦのＭＭＩＯアドレス領域情報と、前記管理部が管理する前記ＶＦのＭＭＩＯアドレス領域情報と、の間の対応関係を示すＭＭＩＯアドレス対応情報を管理し、
    前記物理サーバからパケットを受信した場合に、更に、前記ＭＭＩＯアドレス対応情報に従って前記パケットの宛先アドレスを変換する処理を行う、ことを特徴とした、Ｉ／Ｏデバイス管理方法。
  11. 請求項３記載のサーバシステムであって、
    前記物理サーバが認識する前記ＶＦのＭＭＩＯアドレス領域情報は、前記仮想サーバがアクセスする前記ＶＦのＭＭＩＯ空間のアドレスのオフセットであって、
    前記管理部が管理する前記ＶＦのＭＭＩＯアドレス領域情報は、前記管理部がアクセスする前記ＶＦのＭＭＩＯ空間のアドレスのオフセットであって、
    前記サーバ識別子は、送信元の物理サーバを識別する仮想階層ナンバーであることを特徴とするサーバシステム。
  12. 請求項７記載のスイッチング装置であって、
    前記物理サーバが認識する前記ＶＦのＭＭＩＯアドレス領域情報は、前記仮想サーバがアクセスする前記ＶＦのＭＭＩＯ空間のアドレスのオフセットであって、
    前記管理部が管理する前記ＶＦのＭＭＩＯアドレス領域情報は、前記管理部がアクセスする前記ＶＦのＭＭＩＯ空間のアドレスのオフセットであって、
    前記サーバ識別子は、送信元の物理サーバを識別する仮想階層ナンバーであることを特徴とするスイッチング装置。
  13. 請求項１０記載のＩ／Ｏデバイス管理方法であって、
    前記物理サーバが認識する前記ＶＦのＭＭＩＯアドレス領域情報は、前記仮想サーバがアクセスする前記ＶＦのＭＭＩＯ空間のアドレスのオフセットであって、
    前記管理部が管理する前記ＶＦのＭＭＩＯアドレス領域情報は、前記管理部がアクセスする前記ＶＦのＭＭＩＯ空間のアドレスのオフセットであって、
    前記サーバ識別子は、送信元の物理サーバを識別する仮想階層ナンバーであることを特徴とするＩ／Ｏデバイス管理方法。
JP2008250208A 2008-09-29 2008-09-29 Ｐｃｉデバイス共有方法 Expired - Fee Related JP5272265B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008250208A JP5272265B2 (ja) 2008-09-29 2008-09-29 Ｐｃｉデバイス共有方法
US12/546,264 US8341327B2 (en) 2008-09-29 2009-08-24 Computer system and method for sharing PCI devices thereof
US13/681,005 US8725926B2 (en) 2008-09-29 2012-11-19 Computer system and method for sharing PCI devices thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008250208A JP5272265B2 (ja) 2008-09-29 2008-09-29 Ｐｃｉデバイス共有方法

Publications (3)

Publication Number Publication Date
JP2010079816A JP2010079816A (ja) 2010-04-08
JP2010079816A5 JP2010079816A5 (ja) 2012-02-16
JP5272265B2 true JP5272265B2 (ja) 2013-08-28

Family

ID=42058803

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008250208A Expired - Fee Related JP5272265B2 (ja) 2008-09-29 2008-09-29 Ｐｃｉデバイス共有方法

Country Status (2)

Country Link
US (2) US8341327B2 (ja)
JP (1) JP5272265B2 (ja)

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6643777B1 (en) 1999-05-14 2003-11-04 Acquis Technology, Inc. Data security method and device for computer modules
US6718415B1 (en) 1999-05-14 2004-04-06 Acqis Technology, Inc. Computer system and method including console housing multiple computer modules having independent processing units, mass storage devices, and graphics controllers
JP5180729B2 (ja) * 2008-08-05 2013-04-10 株式会社日立製作所 計算機システム及びバス割当方法
JP5401679B2 (ja) * 2009-02-19 2014-01-29 株式会社日立製作所 計算機システム、管理方法及び管理サーバ
JP5074457B2 (ja) * 2009-06-04 2012-11-14 株式会社日立製作所 計算機システム、スイッチ切り替え方法及びｐｃｉスイッチ
US9852087B2 (en) 2010-04-20 2017-12-26 Avago Technologies General Ip (Singapore) Pte. Ltd. Inline PCI-IOV adapter
WO2011132234A1 (en) * 2010-04-23 2011-10-27 Hitachi, Ltd. Storage device and method for managing size of storage device
JP2011248551A (ja) * 2010-05-26 2011-12-08 Nec Corp アクセス制御装置
US8671153B1 (en) * 2010-08-20 2014-03-11 Acqis Llc Low cost, high performance and high data throughput server blade
JP2012048546A (ja) 2010-08-27 2012-03-08 Hitachi Ltd 計算機システム、ｉ／ｏデバイス制御方法、及びｉ／ｏドロワ
JP5541021B2 (ja) * 2010-09-09 2014-07-09 富士通株式会社 スイッチ装置
US9135044B2 (en) * 2010-10-26 2015-09-15 Avago Technologies General Ip (Singapore) Pte. Ltd. Virtual function boot in multi-root I/O virtualization environments to enable multiple servers to share virtual functions of a storage adapter through a MR-IOV switch
US8561065B2 (en) 2010-11-15 2013-10-15 International Business Machines Corporation Virtualization of vendor specific network interfaces of self-virtualizing input/output device virtual functions
US8301806B2 (en) 2010-11-24 2012-10-30 International Business Machines Corporation Configuring an input/output adapter
US9218219B2 (en) 2010-11-24 2015-12-22 International Business Machines Corporation Managing virtual functions of an input/output adapter
US8839240B2 (en) 2010-11-29 2014-09-16 International Business Machines Corporation Accessing vendor-specific drivers for configuring and accessing a self-virtualizing input/output device
US8495274B2 (en) 2010-12-08 2013-07-23 International Business Machines Corporation Address translation table to enable access to virtual functions
US8561066B2 (en) 2010-12-08 2013-10-15 International Business Machines Corporation Simplified DMA mappings for self-virtualizing input/output device virtual functions
US9146863B2 (en) 2010-12-08 2015-09-29 International Business Machines Corporation Address translation table to enable access to virtualized functions
US8645755B2 (en) 2010-12-15 2014-02-04 International Business Machines Corporation Enhanced error handling for self-virtualizing input/output device in logically-partitioned data processing system
US8683478B2 (en) 2010-12-21 2014-03-25 International Business Machines Corporation Best fit mapping of self-virtualizing input/output device virtual functions for mobile logical partitions
US9141571B2 (en) 2010-12-28 2015-09-22 Avago Technologies General Ip (Singapore) Pte. Ltd. PCI express switch with logical device capability
US8521941B2 (en) * 2010-12-28 2013-08-27 Plx Technology, Inc. Multi-root sharing of single-root input/output virtualization
US8418166B2 (en) 2011-01-11 2013-04-09 International Business Machines Corporation Transparent update of adapter firmware for self-virtualizing input/output device
US8537706B2 (en) 2011-01-11 2013-09-17 International Business Machines Corporation Preserving traffic class priority QoS with self-virtualizing input/output device
US8677356B2 (en) 2011-01-11 2014-03-18 International Business Machines Corporation Adjunct partition work scheduling with quality of service attributes
US8862739B2 (en) 2011-01-11 2014-10-14 International Business Machines Corporation Allocating resources to virtual functions
US8447891B2 (en) * 2011-01-11 2013-05-21 International Business Machines Corporation Dynamically assigning virtual functions to client applications
US8495252B2 (en) * 2011-01-17 2013-07-23 International Business Machines Corporation Implementing PCI-express memory domains for single root virtualized devices
US8364871B2 (en) 2011-01-25 2013-01-29 International Business Machines Corporation Providing virtual functions after an input/output adapter is moved from a first location to a second location
US8825981B2 (en) 2011-01-25 2014-09-02 International Business Machines Corporation Allocating addressable memory regions to an adapter
US8726276B2 (en) 2011-01-26 2014-05-13 International Business Machines Corporation Resetting a virtual function that is hosted by an input/output adapter
US8832401B2 (en) 2011-01-26 2014-09-09 International Business Machines Corporation Iteratively de-allocating active objects associated with virtual functions of an adapter
US8527666B2 (en) 2011-02-21 2013-09-03 International Business Machines Corporation Accessing a configuration space of a virtual function
US9218195B2 (en) 2011-05-17 2015-12-22 International Business Machines Corporation Vendor-independent resource configuration interface for self-virtualizing input/output device
JP5687959B2 (ja) 2011-06-20 2015-03-25 株式会社日立製作所 Ｉ／ｏデバイス共有方法、および装置
WO2012106876A1 (zh) * 2011-07-08 2012-08-16 华为技术有限公司 计算机系统中子网管理方法、总线适配器及计算机系统
JP5903801B2 (ja) * 2011-08-23 2016-04-13 富士通株式会社 通信装置およびｉｄ設定方法
US8959223B2 (en) 2011-09-29 2015-02-17 International Business Machines Corporation Automated high resiliency system pool
US8996700B2 (en) 2011-09-29 2015-03-31 International Business Machines Corporation Automated workload performance and availability optimization based on hardware affinity
JP2013088879A (ja) * 2011-10-13 2013-05-13 Kyocera Document Solutions Inc 情報処理装置
US9092274B2 (en) 2011-12-07 2015-07-28 International Business Machines Corporation Acceleration for virtual bridged hosts
US9411654B2 (en) 2011-12-16 2016-08-09 International Business Machines Corporation Managing configuration and operation of an adapter as a virtual peripheral component interconnect root to expansion read-only memory emulation
US9311127B2 (en) * 2011-12-16 2016-04-12 International Business Machines Corporation Managing configuration and system operations of a shared virtualized input/output adapter as virtual peripheral component interconnect root to single function hierarchies
US9626207B2 (en) * 2011-12-16 2017-04-18 International Business Machines Corporation Managing configuration and system operations of a non-shared virtualized input/output adapter as virtual peripheral component interconnect root to single function hierarchies
JP5748349B2 (ja) * 2012-03-16 2015-07-15 株式会社日立製作所 仮想計算機の制御方法及び仮想計算機システム
WO2013136522A1 (ja) 2012-03-16 2013-09-19 株式会社日立製作所 計算機システム及び計算機間のデータ通信方法
JP2013196593A (ja) * 2012-03-22 2013-09-30 Ricoh Co Ltd データ処理装置、データ処理方法及びプログラム
US9397954B2 (en) * 2012-03-26 2016-07-19 Oracle International Corporation System and method for supporting live migration of virtual machines in an infiniband network
JP5928087B2 (ja) 2012-03-29 2016-06-01 富士通株式会社 スイッチ、情報処理装置および通信制御方法
WO2013150792A1 (ja) * 2012-04-06 2013-10-10 日本電気株式会社 Ｉ／ｏデバイス共有システムおよびｉ／ｏデバイス共有方法
US9542350B1 (en) * 2012-04-13 2017-01-10 Google Inc. Authenticating shared interconnect fabrics
US20140165196A1 (en) * 2012-05-22 2014-06-12 Xockets IP, LLC Efficient packet handling, redirection, and inspection using offload processors
US20140006676A1 (en) * 2012-06-28 2014-01-02 Dell Products L.P. Systems and methods for dynamic allocation of information handling resources
GB2506572A (en) * 2012-07-05 2014-04-09 Ibm Blade enclosure with control and expansion canisters
US9008085B2 (en) 2012-08-15 2015-04-14 International Business Machines Corporation Network interface card having overlay gateway functionality
EP2835953B1 (en) 2012-08-29 2017-10-11 Huawei Technologies Co., Ltd. System for live migration of virtual machine
US8843688B2 (en) * 2012-09-11 2014-09-23 International Business Machines Corporation Concurrent repair of PCIE switch units in a tightly-coupled, multi-switch, multi-adapter, multi-host distributed system
JP6025547B2 (ja) * 2012-12-21 2016-11-16 キヤノンイメージングシステムズ株式会社 情報処理装置、デバイス制御装置、およびその制御方法、並びにデバイス制御システム
US9170976B2 (en) 2013-01-03 2015-10-27 International Business Machines Corporation Network efficiency and power savings
US10230794B2 (en) 2013-03-15 2019-03-12 Oracle International Corporation System and method for efficient virtualization in lossless interconnection networks
US9990221B2 (en) 2013-03-15 2018-06-05 Oracle International Corporation System and method for providing an infiniband SR-IOV vSwitch architecture for a high performance cloud computing environment
US10261813B2 (en) * 2013-09-25 2019-04-16 Arm Limited Data processing system for dispatching tasks from a plurality of applications to a shared resource provided by an accelerator
US10324883B2 (en) 2014-03-28 2019-06-18 Nec Corporation Computer system, data-processing apparatus, bus-data transferring method, and computer-readable recording medium for transferring data flowing through system bus
US10089129B2 (en) * 2014-06-30 2018-10-02 International Business Machines Corporation Supporting flexible deployment and migration of virtual servers via unique function identifiers
CN104202359A (zh) * 2014-08-12 2014-12-10 浪潮电子信息产业股份有限公司 一种基于刀片服务器的NVMe SSD虚拟化设计方法
US9723008B2 (en) 2014-09-09 2017-08-01 Oracle International Corporation System and method for providing an integrated firewall for secure network communication in a multi-tenant environment
CN111258930B (zh) 2014-10-05 2024-04-12 亚马逊技术股份有限公司 仿真端点配置
US9639492B2 (en) 2015-01-15 2017-05-02 Red Hat Israel, Ltd. Virtual PCI expander device
US10140218B2 (en) 2015-01-15 2018-11-27 Red Hat Israel, Ltd. Non-uniform memory access support in a virtual environment
JP5943110B1 (ja) * 2015-03-12 2016-06-29 日本電気株式会社 情報処理システム、情報処理方法、及び、プログラム
US10089275B2 (en) * 2015-06-22 2018-10-02 Qualcomm Incorporated Communicating transaction-specific attributes in a peripheral component interconnect express (PCIe) system
US10157074B2 (en) * 2015-10-16 2018-12-18 Dell Products L.P. Systems and methods for multi-root input/output virtualization-based management by single service processor
CN108292264B (zh) * 2015-12-02 2023-01-03 瑞典爱立信有限公司 用于管理存储器页的可用性的方法和存储器可用性管理模块
CN110489365B (zh) * 2016-01-13 2023-09-12 华为技术有限公司 交换设备、外围部件互连高速系统及其初始化方法
US10698634B2 (en) 2016-05-26 2020-06-30 Hitachi, Ltd. Computer system and data control method utilizing NVMe and storing commands including an offset address corresponding to a server in a queue
JP6745405B2 (ja) * 2017-05-22 2020-08-26 株式会社日立製作所 ストレージシステム及びマッピング方法
US10582636B2 (en) * 2017-08-07 2020-03-03 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Server having a dual-mode serial bus port enabling selective access to a baseboard management controller
US11386020B1 (en) * 2020-03-03 2022-07-12 Xilinx, Inc. Programmable device having a data processing engine (DPE) array
US11714775B2 (en) * 2021-05-10 2023-08-01 Zenlayer Innovation LLC Peripheral component interconnect (PCI) hosting device

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3565767B2 (ja) 2000-07-19 2004-09-15 トラストガード株式会社 カートリッジ型サーバユニットおよび該サーバユニット搭載用筐体ならびにサーバ装置
EP1248179A1 (en) 2001-04-03 2002-10-09 Hewlett-Packard Company Selective activation and deactivation of peripheral devices connected to a USB system
US6985490B2 (en) * 2001-07-11 2006-01-10 Sancastle Technologies, Ltd. Extension of fibre channel addressing
JP2004173136A (ja) * 2002-11-22 2004-06-17 Fujitsu Ltd ネットワーク管理装置
US7827258B1 (en) 2004-03-01 2010-11-02 American Megatrends, Inc. Method, system, and apparatus for communicating with a computer management device
US7058738B2 (en) * 2004-04-28 2006-06-06 Microsoft Corporation Configurable PCI express switch which allows multiple CPUs to be connected to multiple I/O devices
US7835380B1 (en) 2004-10-19 2010-11-16 Broadcom Corporation Multi-port network interface device with shared processing resources
US20060130137A1 (en) 2004-12-10 2006-06-15 Storage Technology Corporation Method for preventing data corruption due to improper storage controller connections
US8223745B2 (en) 2005-04-22 2012-07-17 Oracle America, Inc. Adding packet routing information without ECRC recalculation
US7225287B2 (en) 2005-06-01 2007-05-29 Microsoft Corporation Scalable DMA remapping on a computer bus
JP2008021252A (ja) * 2006-07-14 2008-01-31 Hitachi Ltd 計算機システム及びアドレス割当方法
US20070165596A1 (en) * 2006-01-18 2007-07-19 Boyd William T Creation and management of routing table for PCI bus address based routing with integrated DID
JP4670676B2 (ja) * 2006-02-17 2011-04-13 日本電気株式会社 スイッチ及びネットワークブリッジ装置
US8615623B2 (en) * 2006-08-09 2013-12-24 Nec Corporation Internet connection switch and internet connection system
JP4810349B2 (ja) 2006-08-11 2011-11-09 日本電気株式会社 Ｉ／ｏ装置及び方法
JP4501916B2 (ja) * 2006-09-20 2010-07-14 日本電気株式会社 Ｉ／ｏ機器の共有システムと情報処理装置共有システム及びそれらに用いる方法
US8085673B2 (en) * 2006-11-22 2011-12-27 Ixia Method and apparatus for generating bi-directional network traffic and collecting statistics on same
US7571273B2 (en) * 2006-12-06 2009-08-04 International Business Machines Corporation Bus/device/function translation within and routing of communications packets in a PCI switched-fabric in a multi-host environment utilizing multiple root switches
US7529860B2 (en) * 2006-12-19 2009-05-05 International Business Machines Corporation System and method for configuring an endpoint based on specified valid combinations of functions
US7991839B2 (en) * 2006-12-19 2011-08-02 International Business Machines Corporation Communication between host systems using a socket connection and shared memories
US20080183968A1 (en) 2007-01-30 2008-07-31 Chi-Ting Huang Computer system having cache system directly connected to nonvolatile storage device and method thereof
US7979592B1 (en) * 2007-02-09 2011-07-12 Emulex Design And Manufacturing Corporation Virtualization bridge device
JP4839484B2 (ja) 2007-04-06 2011-12-21 日本電気株式会社 バス接続デバイス、バス接続方法およびバス接続用プログラム
JP5080140B2 (ja) * 2007-06-13 2012-11-21 株式会社日立製作所 Ｉ／ｏデバイス切り替え方法
CN101488106A (zh) 2008-01-18 2009-07-22 鸿富锦精密工业（深圳）有限公司 具有至少两个bios存储器的系统
JP5154238B2 (ja) * 2008-01-18 2013-02-27 株式会社日立製作所 複合型計算機システムの管理方法及び複合型計算機システム
KR101397377B1 (ko) * 2008-02-26 2014-05-19 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 호스트 열거 프로세스 수행 방법 및 장치
WO2009120187A2 (en) * 2008-03-25 2009-10-01 Hewlett-Packard Development Company, L.P. System and method for transforming pcie sr-iov functions to appear as legacy functions
US7958298B2 (en) * 2008-03-26 2011-06-07 Lsi Corporation System and method for providing address decode and virtual function (VF) migration support in a peripheral component interconnect express (PCIE) multi-root input/output virtualization (IOV) environment
US8103810B2 (en) * 2008-05-05 2012-01-24 International Business Machines Corporation Native and non-native I/O virtualization in a single adapter
JP4934642B2 (ja) * 2008-06-11 2012-05-16 株式会社日立製作所 計算機システム
US7904633B2 (en) 2008-10-28 2011-03-08 Hewlett-Packard Development Company, L.P. Switch providing external access to computer-system components and computer-system peripherals
JP5332000B2 (ja) 2008-12-17 2013-10-30 株式会社日立製作所 複合型計算機装置、複合型計算機の管理方法及び管理サーバ

Also Published As

Publication number Publication date
US8341327B2 (en) 2012-12-25
US20100082874A1 (en) 2010-04-01
US8725926B2 (en) 2014-05-13
JP2010079816A (ja) 2010-04-08
US20130111082A1 (en) 2013-05-02

Similar Documents

Publication Publication Date Title
JP5272265B2 (ja) Ｐｃｉデバイス共有方法
US20210004343A1 (en) Switching Device, Peripheral Component Interconnect Express System, and Method for Initializing Peripheral Component Interconnect Express System
US8223745B2 (en) Adding packet routing information without ECRC recalculation
US10263891B2 (en) Switching device, computer system, method, and program
US7620741B2 (en) Proxy-based device sharing
US7574536B2 (en) Routing direct memory access requests using doorbell addresses
US7613864B2 (en) Device sharing
US7293129B2 (en) Flexible routing and addressing
US8346912B2 (en) System and method of emulating a network controller within an information handling system
US7934033B2 (en) PCI-express function proxy
US7565463B2 (en) Scalable routing and addressing
US7478178B2 (en) Virtualization for device sharing
US8412860B2 (en) Input/output (I/O) virtualization system
US20180213669A1 (en) Micro data center (mdc) in a box system and method thereof
US10684880B2 (en) Allocating and initializing I/O devices at virtual
CN104767838B (zh) 微服务器、分配mac地址的方法、以及计算机可读记录介质
US11086813B1 (en) Modular non-volatile memory express storage appliance and method therefor
US8972611B2 (en) Multi-server consolidated input/output (IO) device
WO2011022375A1 (en) Communicating between host computers and peripheral resources in an input/output (i/o) virtualization system
US10261699B2 (en) Systems and methods for hardware-based RAID acceleration
CN115203101A (zh) PCIe装置及其操作方法
US20120324078A1 (en) Apparatus and method for sharing i/o device
JP6760579B2 (ja) ネットワークラインカード（ｌｃ）のホストオペレーティングシステム（ｏｓ）への統合
CN104933001A (zh) 一种基于RapidIO技术的双控制器数据通信方法
CN115203110A (zh) PCIe功能及其操作方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130426

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees