WO2010055544A1 - Mraスイッチを備えるサーバ装置 - Google Patents

Mraスイッチを備えるサーバ装置 Download PDF

Info

Publication number
WO2010055544A1
WO2010055544A1 PCT/JP2008/003289 JP2008003289W WO2010055544A1 WO 2010055544 A1 WO2010055544 A1 WO 2010055544A1 JP 2008003289 W JP2008003289 W JP 2008003289W WO 2010055544 A1 WO2010055544 A1 WO 2010055544A1
Authority
WO
WIPO (PCT)
Prior art keywords
upstream
bridge
switch
mra
authorization
Prior art date
Application number
PCT/JP2008/003289
Other languages
English (en)
French (fr)
Inventor
荻本貴宏
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to JP2010537614A priority Critical patent/JP5469085B2/ja
Priority to PCT/JP2008/003289 priority patent/WO2010055544A1/ja
Publication of WO2010055544A1 publication Critical patent/WO2010055544A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/40Bus structure
    • G06F13/4004Coupling between buses
    • G06F13/4022Coupling between buses using switching circuits, e.g. switching matrix, connection or expansion network

Definitions

  • the present invention is a multi-root. I / O Virtualization compatible PCIe switch (MRA switch), especially MRA (Multi-Root)
  • MRA switch I / O Virtualization compatible PCIe switch
  • the present invention relates to a server device including an (Aware) switch and an MRA switch.
  • FIG. 7 is a diagram illustrating a configuration example of a server apparatus provided with a conventional MRA switch 100.
  • MRA switch 100 is Upstream P2P (PCI-to-PCI) Bridge 110, 111, 112, Downstream P2P Bridge 120, 121, 122, and MRA switch controller 130 are included.
  • Upstream The P2P Bridges 110, 111, and 112 are connected to the host computers 140, 141, and 142, respectively.
  • the host computer is hereinafter abbreviated as a host. Blank boxes associated with the host and Bridge indicate connection ports.
  • the host 140 includes software, Multi-Root. PCI Manager (MR-PCIM) is installed.
  • MR-PCIM Multi-Root. PCI Manager
  • the connection configuration between the P2P Bridge 110, 111, 112 and the Downstream P2P Bridge 120, 121, 122 is called a Multi-Root Topology configuration, and is realized by a switch in the MRA switch 100. Switch).
  • the MRA switch control unit 130 uses the Switch MR-IOV (IO (Virtualization) Register entities of Extended Capability and Switch Mapping Tables. There is only one register entity and the memory area in the MRA switch 100, and a plurality of Upstreams. It is possible to access these entities from P2P Bridge.
  • Switch Mapping Tables stores information for mapping a VS to a physical switch.
  • Switch MR-IOV Extended Capability includes a Switch VS Authorization bitmap. This bitmap has a bit corresponding to the VS existing in the MRA switch 100 on a one-to-one basis, and the Upstream belonging to the VS in which 1 is set in the corresponding bit. Only P2P Bridge is permitted to access the register entity.
  • Hosts 140, 141, and 142 can be connected to each upstream stream.
  • the MR-PCIM accesses a register entity and a memory area held by the MRA switch control unit 130.
  • Upstream Each of the P2P Bridges 110, 111, and 112 includes a base address register (BAR), and each uses the BAR to access the register entity and the memory area.
  • BAR base address register
  • FIG. 8 is an example of memory space allocation of the hosts 140 and 141, 200 and 210 are all memory spaces of the hosts 140 and 141, 201 and 211 are space areas that can be allocated to IO devices, and 202 and 212 are memory spaces. Upstream The space area allocated to P2P Bridge 110 and 111 is shown.
  • the MR-PCIM on the host 140 is Upstream.
  • the Switch Mapping Tables are accessed through the memory space area 202 assigned to the P2P Bridge 110. Since there can be only one MR-PCIM in the Multi-Root Topology, the host 141 that does not run the MR-PCIM The memory space area 212 allocated to the P2P Bridge 111 is not accessed from the MR-PCIM.
  • the above Switch VS Authorization By setting the bit corresponding to Upstream P2P Bridge 111 of the bitmap to 0, access from the host 141 not operating MR-PCIM to the register entity in the control unit 130 can be prohibited.
  • the memory space area 212 allocated to the P2P Bridge 111 exists.
  • the above-mentioned Switch is provided via Downstream P2P Bridge 120, 121, 122. Mapping Tables are never accessed, and each base address register (BAR) has a Read Only attribute.
  • Switch Mapping Tables are allowed to have an area of about 100 MB at the maximum according to the specifications, but the actual area is determined by the number of ports, the number of VS, etc. mounted on the MRA switch, and a memory of about several KB to several hundred KB. It is thought to use space. However, since the memory space on the host is allocated in units of 1 MB at the minimum, even when only a few KB is used, 1 MB of memory space is allocated. Since the memory space of the Upstream P2P Bridge is allocated for each MRA switch, when the MRA switch is used in a multi-stage configuration, the memory space of each MRA switch that can be accessed at least x 1 MB is allocated to the memory space of each host. It becomes.
  • the memory space that can be allocated to the IO device including the Upstream P2P Bridge is limited, and in the current general system, the upper 1 GB or less of the memory address 4 GB or less is allocated. For this reason, in a system in which a large number of IO devices can be mounted via a plurality of MRA switches, in addition to an increase in memory space used due to the multi-functionalization of individual IO devices, allocation of memory space areas to the MRA switches. Therefore, there is a possibility that a memory space area that can be allocated to the IO device is exhausted.
  • Non-Patent Document 1 Details of the VS Authorization bitmap and PCIM Capable Switch Ports are described in Non-Patent Document 1. Details of the base address register are described in Non-Patent Document 2.
  • the problem to be solved is an Upstream in which MR-PCIM does not exist upstream in a system in which a large number of IO devices can be mounted via a plurality of MRA switches.
  • the present invention is Upstream Whether or not MR-PCIM exists upstream of P2P Bridge is determined by the Switch VS Authorization bitmap, and when the bit setting corresponding to Upstream P2P Bridge is 0, Upstream
  • the base address register on the P2P Bridge is set to the Read Only attribute, and the allocation of the memory space area from the host not operating the MR-PCIM is suppressed.
  • the MRA switch of the present invention is PCIM Even in the case of Capable Switch Ports, it is possible to suppress memory space allocation from the connected host to the Upstream P2P Bridge in which no MR-PCIM exists upstream. For this reason, in the host where MR-PCIM is not operating, the memory space that can be allocated to the IO device is allocated to the Upstream. It can be allocated to the original IO device without dividing for P2P Bridge.
  • the determination of whether or not the allocation of the memory area is necessary is performed using an existing register (VS) in the MRA switch.
  • VS existing register
  • Authentication Bitmap By using the (Authentication Bitmap), a special register and MR-PCIM processing are not required.
  • FIG. 1 is a configuration diagram of a system including a server device using the MRA switch of the embodiment in a two-stage configuration.
  • Devices 360 to 362 and 370 to 372 are not included in the server apparatus.
  • Hosts 340, 341, and 342 are connected upstream of the MRA switch 300, and hosts 350, 351, and 352 are connected upstream of the MRA switch 302.
  • the devices 360, 361, and 362 are connected downstream of the MRA switch 301, and the devices 370, 371, and 372 are connected downstream of the MRA switch 303.
  • Both of the MRA switches 300 and 302 are connected upstream of the MRA switches 301 and 303.
  • Hosts 340, 341, 342 can access devices 360, 361, 362 via MRA switches 300, 301 and devices 370, 371, 372 via MRA switches 300, 303.
  • the hosts 350, 351, and 352 can access the devices 360, 361, and 362 via the MRA switches 302 and 301, and the devices 370, 371, and 372 via the MRA switches 302 and 303. Therefore, any host can access all devices by setting a virtual switch (VS) configuration in the MRA switch.
  • VS virtual switch
  • FIG. 2 is an internal configuration example of the MRA switch 300 according to the embodiment.
  • Hosts 340, 341, and 342 are upstream of MRA switch 300
  • the P2P Bridges 310, 311, and 312 are connected to each other.
  • the MRA switch 300 includes Downstream P2P Bridges 320, 321, and 322, and Switch.
  • MRA switch control unit 330 in which register entities of MR-IOV Extended Capability and Switch Mapping Tables exist.
  • the P2P Bridge determines the attribute of the base address register in the Upstream P2P Bridge as Read-Write or Read Only according to the notified bit information.
  • Upstream when MR-PCIM is running on any of the three hosts 340, 341, 342 Since the mapped MRA switch ports for P2P Bridges 310, 311, 312 must all be PCIM Capable Ports, the VS Authorization bitmap Upstream Bits corresponding to P2P Bridges 310, 311, and 312 are set to 1.
  • the MRA switch control unit 330 is connected to the UpstreamP2P via the signal lines 3300, 3301, and 3302. Bit information “1” of the corresponding VS Authorization bitmap is notified to Bridges 310, 311, and 312.
  • the Bridges 310, 311, and 312 set the base address register to the Read-Write attribute.
  • the Upstream is activated when the host 340 starts up. Since an area in the memory space is allocated to the P2P Bridge 310, the MR-PCIM uses the allocated memory area to transmit the Multi-Root in the MRA switch control unit 330. Topology setting and rewriting of VS Authorization bitmap can be performed.
  • FIG. 3 shows a configuration example using the MRA switch 300 of the embodiment as in FIG.
  • the state where the Authorization bitmap is rewritten by MR-PCIM on the host 340 is shown.
  • the MRA switch control unit 330 uses the Upstream P2P via the signal lines 3301 and 3302.
  • Bit information “0” of the corresponding VS Authorization bitmap is notified to the Bridges 311 and 312.
  • the Upstream P2P Bridges 311 and 312 each read “0” because the signals sent from the MRA switch control unit 330 are “0”. Change to “Only” attribute.
  • the Upstream P2P Bridge 311 When the host 341 is activated in this state, the Upstream P2P Bridge 311 does not request a memory area, so the host 341 An area in the memory space is not allocated to the P2P Bridge 311. Similarly, the host 342 does not allocate memory space for the Upstream P2P Bridge 312.
  • FIG. 4 is an example of memory space allocation of the hosts 340 and 341 in this embodiment.
  • 400 and 410 are all memory spaces of the hosts 340 and 341, 401 and 411 are areas that can be allocated to IO devices in the memory space, and 402 is an upstream.
  • An area allocated to the P2P Bridge 310 is shown.
  • the memory area 402 to the Upstream P2P Bridge 310 is allocated to the MR-PCIM operating host 340 as in the prior art, but the Upstream is not allocated to the host 341 that does not operate the MR-PCIM. No memory area is allocated to the P2P Bridge 311. Therefore, the host 341 can allocate all of the memory area 411 that can be allocated to the IO device only to the device.
  • FIG. 5 is a flowchart showing an outline of the operation of the host, MR-PCIM processing, and MRA switch 300.
  • the MR-PCIM operating host (host 340 in the present embodiment) is activated as the MRA switch is turned on (step 510).
  • the MR-PCIM operation host hosts 341 and 342
  • MR by MR-PCIM It is not activated until the power is individually turned on by the user after the topology information setting is completed.
  • the Upstream The P2P Bridge 310 requests the MR-PCIM operating host 340 to allocate a memory space area, and the host 340 allocates a memory space area for the Upstream P2P Bridge 310.
  • the MR-PCIM on the host 340 performs Upstream.
  • Multi-Root Topology information setting in the MRA switch control unit 330 is performed via the P2P Bridge 310 (Step 520).
  • Setting is Upstream This is performed using the configuration register of the P2P Bridge 310 and the memory area to which the memory space area is allocated.
  • the MR-PCIM on the host 340 receives the VS in the MRA switch control unit 330.
  • the Authorization bitmap is set, and the corresponding bits other than Upstream P2P Bridge 310 are set to “0” (step 530).
  • the switch control unit 330 performs Upstream. This bit setting is notified to the P2P Bridge 311 and 312, and the Upstream P2P Bridge 311 and 312 change the base address register to the Read Only attribute (Step 540).
  • the hosts 341 and 342 are activated by individual power-on by the user (step 550).
  • the base address register of Upstream P2P Bridge 311 and 312 is read by the processing of step 540. Since the attribute is “Only”, areas in the memory space are not allocated to the Upstream P2P Bridges 311 and 312 when the hosts 341 and 342 are activated.
  • the operation relating to the MRA switch 301 is the same.
  • the MR-PCIM of the host 340 is the Upstream to which the MRA switch 301 is connected. Steps 520 and 530 are executed for the P2P Bridge, and the MRA switch 301 executes Step 540 for the Upstream P2P Bridge.
  • the Upstream of the MRA switch 301 connected to the host 340 The P2P Bridge requires an area on the memory space, but the other Upstream P2P Bridges of the MRA switch 301 do not need an area on each memory space of the hosts 341 and 342.
  • FIG. 6 is a configuration example of the host 340 of this embodiment.
  • the host 340 includes a CPU 3401, a chip set 3402, a memory 3403, and a built-in HDD 3404, and is connected to the MRA switch 300 via a PCIe I / F (interface) 3405.
  • the memory space 400 of the host 340 shown in FIG. 4 indicates the entire memory space recognized by the CPU 3401.
  • the IO it is possible to efficiently allocate an area on a memory space that can be allocated to a device.
  • 300 MRA switch
  • 310 Upstream P2P Bridge
  • 311 Upstream P2P Bridge
  • 312 Upstream P2P Bridge
  • 340 Host (MR-PCIM operation)
  • 341 Host
  • 342 Host
  • 330 MRA switch controller.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Multi Processors (AREA)
  • Storage Device Security (AREA)

Abstract

 MRAスイッチを介してIOデバイスを搭載するシステムにおいて、MR-PCIMが稼働していないホストからアクセスされるUpstream P2P Bridgeへのメモリ空間領域の割当を抑止する。  複数のPCIM Capable Switch Portsを持つMRAスイッチにおいて、Switch VS Authorizationビットマップ270の対応するビット設定に従い、Upstream P2P Bridge内のベースアドレスレジスタの属性を決定する。対応するSwitch VS Authorizationビットが0であればベースアドレスレジスタをRead Only属性とすることによって、MR-PCIMが稼働していないホストからのメモリ空間領域の割当を抑止する。

Description

MRAスイッチを備えるサーバ装置
 本発明は、Multi-Root
I/O Virtualization対応のPCIeスイッチ(MRAスイッチ)に関し、特にMRA(Multi-Root
Aware)スイッチおよびMRAスイッチを備えるサーバ装置に関するものである。
 図7は、従来のMRAスイッチ100を備えたサーバ装置の構成例を示す図である。MRAスイッチ100は、Upstream
P2P(PCI-to-PCI) Bridge110、111、112、Downstream P2P Bridge120、121、122、およびMRAスイッチ制御部130を含む。Upstream
P2P Bridge110、111、112は、ホストコンピュータ140、141、142にそれぞれ接続されている。ホストコンピュータを以下ホストと略称する。ホストおよびBridgeに付随するブランクのボックスは、接続ポートを示す。ホスト140には、ソフトウェアであるMulti-Root
PCI Manager(MR-PCIM)が搭載される。
 Upstream
P2P Bridge110、111、112とDownstream P2P Bridge120、121、122との接続構成は、Multi-Root Topology構成と呼ばれ、MRAスイッチ100内のスイッチによって実現されるが、ホストからスイッチはVS(Virtual
Switch)として認識される。MRAスイッチ制御部130は、Multi-Root Topology構成情報を設定するためのメモリ領域の他に、Switch MR-IOV(IO
Virtualization) Extended CapabilityおよびSwitch Mapping Tablesのレジスタ実体を有する。このレジスタ実体および上記メモリ領域は、MRAスイッチ100内に1つだけ存在し、複数のUpstream
P2P Bridgeからこれらの実体にアクセスすることが可能である。Switch Mapping Tablesは、VSを物理的なスイッチにマッピングするための情報を格納する。Switch
MR-IOV Extended Capabilityは、Switch VS Authorization ビットマップを含む。このビットマップは、MRAスイッチ100内に存在するVSと1対1に対応するビットを備えており、対応するビットに1が設定されているVSに属するUpstream
P2P Bridgeのみ上記レジスタ実体へのアクセスが許可される。
 ホスト140、141、142は、各々接続可能なUpstream
P2P Bridge110、111、112のためにメモリ空間上の領域を割り当てることにより、MR-PCIMは、MRAスイッチ制御部130が保有するレジスタ実体およびメモリ領域にアクセスする。Upstream
P2P Bridge110、111、112は、各々ベースアドレスレジスタ(BAR)を備えており、各々BARを用いて上記レジスタ実体およびメモリ領域にアクセスする。ホスト140、141、142のいずれかでMR-PCIMが稼働する場合であっても、Upstream
P2P Bridge110、111、112のマップされるMRAスイッチポートは全てPCIM Capable Switch Portsであるため、Upstream
P2P Bridge110、111、112の各BARはRead-Write属性となっており、それぞれホスト140、141、142に対してメモリ空間上の領域を要求する。
 図8は、ホスト140、141のメモリ空間割り当て例であり、200、210はホスト140、141の全メモリ空間、201、211はメモリ空間のうちIOデバイスに割り当て可能な空間領域、202、212はUpstream
P2P Bridge110、111に割り当てられた空間領域を示す。
 MR-PCIMの稼働ホストが例えばホスト140の場合、ホスト140上のMR-PCIMはUpstream
P2P Bridge110に割り当てられたメモリ空間領域202を介して上記Switch Mapping Tablesへのアクセスを行う。Multi-Root Topology内にMR-PCIMは1つしか存在できないため、MR-PCIMの稼動しないホスト141からUpstream
P2P Bridge111に割り当てられたメモリ空間領域212はMR-PCIMからアクセスされることはない。上記Switch VS Authorization
ビットマップのUpstream P2P Bridge111に対応するビットを0に設定することによって、MR-PCIMが稼働していないホスト141から制御部130内の上記レジスタ実体へのアクセスを禁止できるが、ホスト141からUpstream
P2P Bridge111へ割り当てられたメモリ空間領域212は存在する。なお、Downstream P2P Bridge120、121、122を介して上記Switch
Mapping Tablesへアクセスされることはなく、それぞれのベースアドレスレジスタ(BAR)はRead Only属性となる。
 Switch Mapping
Tablesは、スペック上最大で約100MBの領域を持つことが許されているが、実際の領域はMRAスイッチに実装されるポート数、VS数などにより決定され、数KB~数百KB程度のメモリ空間を使用すると考えられる。ただし、ホスト上のメモリ空間は最小1MB単位で割り当てられるため、数KB程度しか使用しない場合でも1MBのメモリ空間が割り当てられることになる。Upstream P2P Bridgeのメモリ空間はMRAスイッチ毎に割り振られるため、MRAスイッチを多段構成で使用する場合など、各ホストのメモリ空間には最低でもアクセスできる全MRAスイッチ個数
x 1MBのメモリ領域が割り当てられることとなる。上記Upstream P2P Bridgeを含めIOデバイスに割り当て可能なメモリ空間には限りがあり、現状の一般的なシステムではメモリアドレス4GB以下の上位1GB弱程度が割り当てられている。このため、複数のMRAスイッチを介して多数のIOデバイスを搭載可能とするシステムにおいては、個々のIOデバイスの多機能化による使用メモリ空間の増加に加えて、上記MRAスイッチへのメモリ空間領域割り当てにより、IOデバイスに割り当て可能なメモリ空間領域が枯渇する事態が発生するおそれがある。
 なお、Switch
VS Authorization ビットマップおよびPCIM Capable Switch Portsの詳細は、非特許文献1に記載されている。またベースアドレスレジスタの詳細は、非特許文献2に記載されている。
PCI-SIG,Multi-RootI/O Virtualization and Sharing Specification Revision1.0,2008 (3.1.1.1節) (4.3.2節) PCI-SIG,PCI-to-PCIBridge Architecture Specification Revision1.2,2003 (3.2.5.1節)
 解決しようとする課題は、複数のMRAスイッチを介して多数のIOデバイスを搭載可能なシステムにおいて、上流にMR-PCIMが存在しないUpstream
P2P Bridgeへのメモリ空間割り当てを抑止することで、MR-PCIMが稼働していないホストにおけるIOデバイスに割り当て可能なメモリ空間領域が減少、枯渇するのを防ぐことである。
 本発明は、Upstream
P2P Bridgeの上流にMR-PCIMが存在するか否かをSwitch VS Authorizationビットマップで判定し、Upstream P2P Bridgeに対応するビット設定が0の場合にはUpstream
P2P Bridge上のベースアドレスレジスタをRead Only属性に設定し、MR-PCIMの稼働していないホストからのメモリ空間領域の割当を抑止することを特徴とする。
 本発明のMRAスイッチは、PCIM
Capable Switch Portsであっても、上流にMR-PCIMが存在しないUpstream P2P Bridgeへの接続ホストからのメモリ空間割り当てを抑止できる。このためMR-PCIMの稼働していないホストにおいて、IOデバイスに割り当て可能なメモリ空間を上記Upstream
P2P Bridgeのために割くことなく、本来のIOデバイスに対して割り当てることが出来る。
 以下の実施形態は、メモリ領域の割り当てが必要か否かの判定をMRAスイッチ内の既存のレジスタ(VS
Authorizationビットマップ)を用いて行うことによって、特別なレジスタ、およびMR-PCIMの処理を必要とせずに実現している。
 図1は、実施例のMRAスイッチを2段構成で用いたサーバ装置を含むシステムの構成図である。デバイス360~362、370~372は、サーバ装置に含まれない。ホスト340、341、342は、MRAスイッチ300の上流に接続され、ホスト350、351、352は、MRAスイッチ302の上流に接続される。デバイス360、361、362は、MRAスイッチ301の下流に接続され、デバイス370、371、372は、MRAスイッチ303の下流に接続される。MRAスイッチ300、302は、どちらもMRAスイッチ301、303の上流に接続される。ホスト340、341、342は、MRAスイッチ300、301を介してデバイス360、361、362に、MRAスイッチ300、303を介してデバイス370、371、372にアクセスできる。またホスト350、351、352は、MRAスイッチ302、301を介してデバイス360、361、362に、MRAスイッチ302、303を介してデバイス370、371、372にアクセスできる。このため、いずれのホストもMRAスイッチ内のバーチャルスイッチ(VS)構成を設定することにより、全てのデバイスにアクセスすることが可能である。
 図2は、実施例のMRAスイッチ300単体の内部構成例である。ホスト340、341、342はMRAスイッチ300のUpstream
P2P Bridge310、311、312にそれぞれ接続されている。その他にMRAスイッチ300内にはDownstream P2P Bridge320、321、322と、Switch
MR-IOV Extended CapabilityおよびSwitch Mapping Tablesのレジスタ実体が存在するMRAスイッチ制御部330とが含まれる。MRAスイッチ制御部330とUpstream
P2P Bridge310、311、312の間にはUpstream P2P Bridge310、311、312にそれぞれ対応するVS Authorizationビットマップのビット情報を通知するための信号線3300、3301、3302が張られている。Upstream
P2P Bridgeは、通知されたビット情報に従いUpstream P2P Bridge内のベースアドレスレジスタの属性をRead-WriteかRead Onlyに決定する。3つのホスト340、341、342のいずれかでMR-PCIMが稼働する場合、Upstream
P2P Bridge310、311、312のマップされているMRAスイッチポートは全てPCIM Capable Portsである必要があるため、VS AuthorizationビットマップのUpstream
P2P Bridge310、311、312に対応するビットは1に設定されている。MRAスイッチ制御部330は、信号線3300、3301、3302を介してUpstreamP2P
Bridge310、311、312に対して、それぞれに対応するVS Authorizationビットマップのビット情報“1”を通知する。Upstream P2P
Bridge310、311、312は、MRAスイッチ制御部330からの信号線3300、3301、3302上の信号が“1”であるため、ベースアドレスレジスタをRead-Write属性とする。MR-PCIM稼働ホストが例えばホスト340に決定された場合、ホスト340が起動する際にUpstream
P2P Bridge310にはメモリ空間上の領域を割り当てるため、MR-PCIMは、割り当てられたメモリ領域を介してMRAスイッチ制御部330内のMulti-Root
Topology設定、およびVS Authorizationビットマップの書き換えを行うことが出来る。
 図3は、図2と同じく実施例のMRAスイッチ300を用いた構成例であり、VS
Authorizationビットマップがホスト340上のMR-PCIMにより書き換えられた状態を示す。Upstream P2P Bridge311、312の対応するビットが0に設定されると、MRAスイッチ制御部330は、信号線3301、3302を介してUpstreamP2P
Bridge311、312に対して、それぞれに対応するVS Authorizationビットマップのビット情報“0”を通知する。Upstream P2P Bridge311、312は、MRAスイッチ制御部330から送られる信号が各々“0”であるため、ベースアドレスレジスタをRead
Only属性に変更する。この状態でホスト341が起動すると、Upstream P2P Bridge311はメモリ領域を要求しないため、ホスト341は、Upstream
P2P Bridge311に対してメモリ空間上の領域を割り当てない。ホスト342も同様にUpstream P2P Bridge312に対してメモリ空間を割り当てない。
 図4は、本実施例におけるホスト340、341のメモリ空間割り当て例である。400、410はホスト340、341の全メモリ空間、401、411はメモリ空間のうちIOデバイスに割り当て可能な領域、402はUpstream
P2P Bridge310に割り当てられた領域を示す。MR-PCIM稼動ホスト340には従来技術と同じくUpstream P2P Bridge310へのメモリ領域402が割り当てられるが、MR-PCIMの稼動しないホスト341にはUpstream
P2P Bridge311へのメモリ領域割り当ては行われない。このためホスト341はIOデバイスに割り当て可能なメモリ領域411の全てをデバイスのみに対して割り当てできる。
 図5は、上記ホスト、MR-PCIM処理およびMRAスイッチ300の動作概略を示す流れ図である。ユーザがサーバ装置の電源を投入するとMRAスイッチの電源オンとともに、MR-PCIM稼働ホスト(本実施例ではホスト340)が起動する(ステップ510)。MR-PCIM稼働ホスト以外(ホスト341、342)は、MR-PCIMによるMR
Topology情報設定が完了後にユーザから個別に電源投入されるまで起動されない。このとき、Upstream P2P Bridge310内のベースアドレスレジスタがRead-Write属性に設定されているため、Upstream
P2P Bridge310は、MR-PCIM稼動ホスト340にメモリ空間領域の割当を要求し、ホスト340は、Upstream P2P Bridge310のためにメモリ空間領域を割り当てる。次に、ホスト340上のMR-PCIMは、Upstream
P2P Bridge310を介してMRAスイッチ制御部330内のMulti-Root Topology情報設定を行う(ステップ520)。設定は、Upstream
P2P Bridge310のコンフィグレーションレジスタ、およびメモリ空間領域が割り当てられたメモリ領域を用いて行われる。
 
次に、ホスト340上のMR-PCIMは、MRAスイッチ制御部330内のVS
Authorizationビットマップの設定を行い、Upstream P2P Bridge310以外の対応するビットを“0”に設定する(ステップ530)。次に、スイッチ制御部330は、Upstream
P2P Bridge311、312にこのビット設定を通知し、Upstream P2P Bridge311、312はベースアドレスレジスタをRead Only属性に変更する(ステップ540)。最後にユーザによる個別の電源投入によりホスト341、342が起動する(ステップ550)。ステップ540の処理によってUpstream P2P Bridge311、312のベースアドレスレジスタはRead
Only属性となっているため、ホスト341、342起動時にUpstream P2P Bridge311、312に各々メモリ空間上の領域が割り当てられることはない。
 MRAスイッチ301に関する動作も同様である。ホスト340のMR-PCIMは、MRAスイッチ301の接続されるUpstream
P2P Bridgeに対してステップ520、530を実行し、MRAスイッチ301は、そのUpstream P2P Bridgeについてステップ540を実行する。この結果、ホスト340に接続されるMRAスイッチ301のUpstream
P2P Bridgeはそのメモリ空間上の領域を必要とするが、MRAスイッチ301の他のUpstream P2P Bridgeは、ホスト341、342の各メモリ空間上の領域を必要としない。
 図6は、本実施例のホスト340の構成例である。ホスト340は、CPU3401、チップセット3402、メモリ3403、内蔵HDD3404で構成され、PCIeI/F(インタフェース)3405を介してMRAスイッチ300に接続される。図4に示すホスト340のメモリ空間400とは、CPU3401が認識する全メモリ空間を示している。
 本発明の活用例として、広大なメモリ領域を必要とする複数のIOデバイスをホスト間で共有して使用するようなシステムにおいても、MRAスイッチを介してホストとIOデバイスを接続することによって、IOデバイスに割り当て可能なメモリ空間上の領域を効率よく割り当てることが可能である。
実施例のMRAスイッチを用いたサーバ装置の構成例である。 実施例で初期状態のMRAスイッチの説明図である。 実施例でMR-PCIM稼働後のMRAスイッチの説明図である。 実施例のホスト340、341のメモリ空間割り当てを説明する図である。 実施例のホスト、MR-PCIMおよびMRAスイッチの処理動作を示す流れ図である。 実施例のホスト340の構成例である。 従来技術のMRAスイッチを備えたサーバ装置の構成例である。 従来技術のホスト140、141のメモリ空間割り当てを示す。
符号の説明
 300:MRAスイッチ、310:Upstream
P2P Bridge、311:Upstream P2P Bridge、312:Upstream P2P Bridge、340:ホスト(MR-PCIM稼働)、341:ホスト、342:ホスト、330:MRAスイッチ制御部。

Claims (8)

  1.  複数のUpstream
    P2P Bridgeが収容されるMRAスイッチにおいて、
     外部からの設定指示に応じて、前記MRAスイッチ内のメモリ上に設定され前記Upstream
    P2P Bridgeの各々に対応するVS(Virtual Switch) Authorization ビットのうち設定値が1である1ビットを除いて他ビットを各々設定値0に設定する手段と、
     前記設定値が1であるVS
    Authorization ビットに対応するUpstream P2P Bridge内のベースアドレスレジスタをRead-Write属性に設定し、前記設定値が0であるVS
    Authorization ビットに対応するUpstream P2P Bridge内のベースアドレスレジスタをRead Only属性に設定する手段と、
     外部に対して、前記Read
    Only属性のベースアドレスレジスタをもつUpstream P2P Bridgeに対応するメモリ空間領域の要求を抑止する手段とを有することを特徴とするMRAスイッチ。
  2.  前記設定指示は、前記設定値が1であるVS
    Authorization ビットに対応するUpstream P2P Bridgeに対して発行されることを特徴とする請求項1に記載のMRAスイッチ。
  3.  複数のホストコンピュータと、
     前記複数のホストコンピュータの各々に対応するUpstream
    P2P Bridgeが収容されるMRAスイッチとを有するサーバ装置において、
     前記ホストコンピュータの1つは、接続されるUpstream
    P2P Bridgeを介して、前記MRAスイッチ内のメモリ上に設定され前記Upstream P2P Bridgeの各々に対応するVS(Virtual Switch)
    Authorization ビットのうち当該接続されるUpstream P2P Bridgeに対応するVS Authorization ビットの設定値が1の状態で他ビットを各々設定値0に設定するMR-PCIMを有し、
     前記MRAスイッチは、前記設定値が1であるVS
    Authorization ビットに対応するUpstream P2P Bridge内のベースアドレスレジスタをRead-Write属性に設定し、前記設定値が0であるVS
    Authorization ビットに対応するUpstream P2P Bridge内のベースアドレスレジスタをRead Only属性に設定する手段を有し、
     前記複数のホストコンピュータの各々が有するメモリ空間のうち、前記MR-PCIMが稼働するホストコンピュータのメモリ空間を除き、他ホストコンピュータの各々に対応するUpstream
    P2P Bridgeに対するメモリ空間領域の割当を抑止することを特徴とするサーバ装置。
  4.  前記MR-PCIMは、前記VS
    Authorization ビットを設定する前に、前記MRAスイッチのMR Topology情報を設定することを特徴とする請求項3に記載のサーバ装置。
  5.  前記他ホストコンピュータの各々は、対応するUpstream
    P2P Bridge内のベースアドレスレジスタがRead Only属性に設定された後、起動して前記MRAスイッチに接続されるI/Oデバイスに対する前記メモリ空間の割当を行うことを特徴とする請求項3に記載のサーバ装置。
  6.  複数のホストコンピュータと、
     前記複数のホストコンピュータの各々に対応するUpstream
    P2P Bridgeが収容されるMRAスイッチとを有するサーバ装置において、
     前記MRAスイッチは、前記MRAスイッチ内のメモリ上に設定され前記Upstream
    P2P Bridgeの各々に対応するVS(Virtual Switch) Authorization ビットのうち、設定値が1であるVS Authorization
    ビットに対応するUpstream P2P Bridge内のベースアドレスレジスタをRead-Write属性に設定し、前記設定値が0であるVS Authorization
    ビットに対応するUpstream P2P Bridge内のベースアドレスレジスタをRead Only属性に設定する手段を有し、
     第1のホストコンピュータは、接続されるUpstream
    P2P BridgeであってベースアドレスレジスタがRead-Write属性に設定されたUpstream P2P Bridgeからの要求に応じて、当該Upstream
    P2P Bridgeに対してメモリ空間領域を割り当てる手段と、当該Upstream P2P Bridgeを介して、当該Upstream P2P Bridgeに対応するVS
    Authorization ビットを除き他のUpstream P2P Bridgeに対応するVS Authorization ビットを各々設定値0に設定する手段とを有し、
     前記第1のホストコンピュータを除く他ホストコンピュータの各々は、対応するUpstream
    P2P Bridgeに対するメモリ空間領域の割当を抑止することを特徴とするサーバ装置。
  7.  前記第1のホストコンピュータは、前記VS
    Authorization ビットを設定する前に、前記MRAスイッチのMR Topology情報を設定することを特徴とする請求項6に記載のサーバ装置。
  8.  前記他ホストコンピュータの各々は、対応するUpstream
    P2P Bridge内のベースアドレスレジスタがRead Only属性に設定された後、起動して前記MRAスイッチに接続されるI/Oデバイスに対する前記メモリ空間の割当を行うことを特徴とする請求項6に記載のサーバ装置。
PCT/JP2008/003289 2008-11-12 2008-11-12 Mraスイッチを備えるサーバ装置 WO2010055544A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010537614A JP5469085B2 (ja) 2008-11-12 2008-11-12 Mraスイッチを備えるサーバ装置
PCT/JP2008/003289 WO2010055544A1 (ja) 2008-11-12 2008-11-12 Mraスイッチを備えるサーバ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2008/003289 WO2010055544A1 (ja) 2008-11-12 2008-11-12 Mraスイッチを備えるサーバ装置

Publications (1)

Publication Number Publication Date
WO2010055544A1 true WO2010055544A1 (ja) 2010-05-20

Family

ID=42169694

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/003289 WO2010055544A1 (ja) 2008-11-12 2008-11-12 Mraスイッチを備えるサーバ装置

Country Status (2)

Country Link
JP (1) JP5469085B2 (ja)
WO (1) WO2010055544A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008021252A (ja) * 2006-07-14 2008-01-31 Hitachi Ltd 計算機システム及びアドレス割当方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7984454B2 (en) * 2006-12-19 2011-07-19 International Business Machines Corporation Migration of single root stateless virtual functions

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008021252A (ja) * 2006-07-14 2008-01-31 Hitachi Ltd 計算機システム及びアドレス割当方法

Also Published As

Publication number Publication date
JPWO2010055544A1 (ja) 2012-04-05
JP5469085B2 (ja) 2014-04-09

Similar Documents

Publication Publication Date Title
JP6329318B2 (ja) 情報処理装置
US9824050B2 (en) Shared PCIe end point system including a PCIe switch and method for initializing the switch
US9223734B2 (en) Switch with synthetic device capability
TWI454926B (zh) USB攜帶型(On-The-Go)控制器
US20110167189A1 (en) Storage apparatus and its data transfer method
US8645594B2 (en) Driver-assisted base address register mapping
US9875208B2 (en) Method to use PCIe device resources by using unmodified PCIe device drivers on CPUs in a PCIe fabric with commodity PCI switches
US11995019B2 (en) PCIe device with changeable function types and operating method thereof
US11983136B2 (en) PCIe device and operating method thereof
US11928070B2 (en) PCIe device
US11119704B2 (en) System, apparatus and method for sharing a flash device among multiple masters of a computing platform
US20170075816A1 (en) Storage system
JPWO2010097925A1 (ja) 情報処理装置
US20150326684A1 (en) System and method of accessing and controlling a co-processor and/or input/output device via remote direct memory access
JP7028902B2 (ja) ストレージシステム及び入出力制御方法
JP5469085B2 (ja) Mraスイッチを備えるサーバ装置
JP2018113075A (ja) 情報処理装置
JP2020173603A (ja) デバイス通信制御モジュールおよびデバイス通信制御方法
JP7242928B2 (ja) ストレージシステム及び入出力制御方法
JP6763307B2 (ja) 計算機、デバイス制御システムおよびデバイス制御方法
KR20230152394A (ko) PCIe 장치 및 이의 동작 방법
TWI427624B (zh) Hard disk data protection devices, hard disk, computer and hard disk data protection methods
CN116893988A (zh) 接口设备及其操作方法
JP2019114197A (ja) コンピュータシステム
JP2005182536A (ja) バスブリッジ回路

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08878091

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2010537614

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08878091

Country of ref document: EP

Kind code of ref document: A1