JPWO2010055544A1 - Mraスイッチを備えるサーバ装置 - Google Patents
Mraスイッチを備えるサーバ装置 Download PDFInfo
- Publication number
- JPWO2010055544A1 JPWO2010055544A1 JP2010537614A JP2010537614A JPWO2010055544A1 JP WO2010055544 A1 JPWO2010055544 A1 JP WO2010055544A1 JP 2010537614 A JP2010537614 A JP 2010537614A JP 2010537614 A JP2010537614 A JP 2010537614A JP WO2010055544 A1 JPWO2010055544 A1 JP WO2010055544A1
- Authority
- JP
- Japan
- Prior art keywords
- upstream
- bridge
- switch
- mra
- authorization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/40—Bus structure
- G06F13/4004—Coupling between buses
- G06F13/4022—Coupling between buses using switching circuits, e.g. switching matrix, connection or expansion network
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Storage Device Security (AREA)
- Multi Processors (AREA)
Abstract
Description
I/O Virtualization対応のPCIeスイッチ(MRAスイッチ)に関し、特にMRA(Multi−Root
Aware)スイッチおよびMRAスイッチを備えるサーバ装置に関するものである。
P2P(PCI−to−PCI) Bridge110、111、112、Downstream P2P Bridge120、121、122、およびMRAスイッチ制御部130を含む。Upstream
P2P Bridge110、111、112は、ホストコンピュータ140、141、142にそれぞれ接続されている。ホストコンピュータを以下ホストと略称する。ホストおよびBridgeに付随するブランクのボックスは、接続ポートを示す。ホスト140には、ソフトウェアであるMulti−Root
PCI Manager(MR−PCIM)が搭載される。
P2P Bridge110、111、112とDownstream P2P Bridge120、121、122との接続構成は、Multi−Root Topology構成と呼ばれ、MRAスイッチ100内のスイッチによって実現されるが、ホストからスイッチはVS(Virtual
Switch)として認識される。MRAスイッチ制御部130は、Multi−Root Topology構成情報を設定するためのメモリ領域の他に、Switch MR−IOV(IO
Virtualization) Extended CapabilityおよびSwitch Mapping Tablesのレジスタ実体を有する。このレジスタ実体および上記メモリ領域は、MRAスイッチ100内に1つだけ存在し、複数のUpstream
P2P Bridgeからこれらの実体にアクセスすることが可能である。Switch Mapping Tablesは、VSを物理的なスイッチにマッピングするための情報を格納する。Switch
MR−IOV Extended Capabilityは、Switch VS Authorization ビットマップを含む。このビットマップは、MRAスイッチ100内に存在するVSと1対1に対応するビットを備えており、対応するビットに1が設定されているVSに属するUpstream
P2P Bridgeのみ上記レジスタ実体へのアクセスが許可される。
P2P Bridge110、111、112のためにメモリ空間上の領域を割り当てることにより、MR−PCIMは、MRAスイッチ制御部130が保有するレジスタ実体およびメモリ領域にアクセスする。Upstream
P2P Bridge110、111、112は、各々ベースアドレスレジスタ(BAR)を備えており、各々BARを用いて上記レジスタ実体およびメモリ領域にアクセスする。ホスト140、141、142のいずれかでMR−PCIMが稼働する場合であっても、Upstream
P2P Bridge110、111、112のマップされるMRAスイッチポートは全てPCIM Capable Switch Portsであるため、Upstream
P2P Bridge110、111、112の各BARはRead−Write属性となっており、それぞれホスト140、141、142に対してメモリ空間上の領域を要求する。
P2P Bridge110、111に割り当てられた空間領域を示す。
P2P Bridge110に割り当てられたメモリ空間領域202を介して上記Switch Mapping Tablesへのアクセスを行う。Multi−Root Topology内にMR−PCIMは1つしか存在できないため、MR−PCIMの稼動しないホスト141からUpstream
P2P Bridge111に割り当てられたメモリ空間領域212はMR−PCIMからアクセスされることはない。上記Switch VS Authorization
ビットマップのUpstream P2P Bridge111に対応するビットを0に設定することによって、MR−PCIMが稼働していないホスト141から制御部130内の上記レジスタ実体へのアクセスを禁止できるが、ホスト141からUpstream
P2P Bridge111へ割り当てられたメモリ空間領域212は存在する。なお、Downstream P2P Bridge120、121、122を介して上記Switch
Mapping Tablesへアクセスされることはなく、それぞれのベースアドレスレジスタ(BAR)はRead Only属性となる。
Tablesは、スペック上最大で約100MBの領域を持つことが許されているが、実際の領域はMRAスイッチに実装されるポート数、VS数などにより決定され、数KB〜数百KB程度のメモリ空間を使用すると考えられる。ただし、ホスト上のメモリ空間は最小1MB単位で割り当てられるため、数KB程度しか使用しない場合でも1MBのメモリ空間が割り当てられることになる。Upstream P2P Bridgeのメモリ空間はMRAスイッチ毎に割り振られるため、MRAスイッチを多段構成で使用する場合など、各ホストのメモリ空間には最低でもアクセスできる全MRAスイッチ個数
x 1MBのメモリ領域が割り当てられることとなる。上記Upstream P2P Bridgeを含めIOデバイスに割り当て可能なメモリ空間には限りがあり、現状の一般的なシステムではメモリアドレス4GB以下の上位1GB弱程度が割り当てられている。このため、複数のMRAスイッチを介して多数のIOデバイスを搭載可能とするシステムにおいては、個々のIOデバイスの多機能化による使用メモリ空間の増加に加えて、上記MRAスイッチへのメモリ空間領域割り当てにより、IOデバイスに割り当て可能なメモリ空間領域が枯渇する事態が発生するおそれがある。
VS Authorization ビットマップおよびPCIM Capable Switch Portsの詳細は、非特許文献1に記載されている。またベースアドレスレジスタの詳細は、非特許文献2に記載されている。
P2P Bridgeへのメモリ空間割り当てを抑止することで、MR−PCIMが稼働していないホストにおけるIOデバイスに割り当て可能なメモリ空間領域が減少、枯渇するのを防ぐことである。
P2P Bridgeの上流にMR−PCIMが存在するか否かをSwitch VS Authorizationビットマップで判定し、Upstream P2P Bridgeに対応するビット設定が0の場合にはUpstream
P2P Bridge上のベースアドレスレジスタをRead Only属性に設定し、MR−PCIMの稼働していないホストからのメモリ空間領域の割当を抑止することを特徴とする。
Capable Switch Portsであっても、上流にMR−PCIMが存在しないUpstream P2P Bridgeへの接続ホストからのメモリ空間割り当てを抑止できる。このためMR−PCIMの稼働していないホストにおいて、IOデバイスに割り当て可能なメモリ空間を上記Upstream
P2P Bridgeのために割くことなく、本来のIOデバイスに対して割り当てることが出来る。
Authorizationビットマップ)を用いて行うことによって、特別なレジスタ、およびMR−PCIMの処理を必要とせずに実現している。
P2P Bridge310、311、312にそれぞれ接続されている。その他にMRAスイッチ300内にはDownstream P2P Bridge320、321、322と、Switch
MR−IOV Extended CapabilityおよびSwitch Mapping Tablesのレジスタ実体が存在するMRAスイッチ制御部330とが含まれる。MRAスイッチ制御部330とUpstream
P2P Bridge310、311、312の間にはUpstream P2P Bridge310、311、312にそれぞれ対応するVS Authorizationビットマップのビット情報を通知するための信号線3300、3301、3302が張られている。Upstream
P2P Bridgeは、通知されたビット情報に従いUpstream P2P Bridge内のベースアドレスレジスタの属性をRead−WriteかRead Onlyに決定する。3つのホスト340、341、342のいずれかでMR−PCIMが稼働する場合、Upstream
P2P Bridge310、311、312のマップされているMRAスイッチポートは全てPCIM Capable Portsである必要があるため、VS AuthorizationビットマップのUpstream
P2P Bridge310、311、312に対応するビットは1に設定されている。MRAスイッチ制御部330は、信号線3300、3301、3302を介してUpstreamP2P
Bridge310、311、312に対して、それぞれに対応するVS Authorizationビットマップのビット情報“1”を通知する。Upstream P2P
Bridge310、311、312は、MRAスイッチ制御部330からの信号線3300、3301、3302上の信号が“1”であるため、ベースアドレスレジスタをRead−Write属性とする。MR−PCIM稼働ホストが例えばホスト340に決定された場合、ホスト340が起動する際にUpstream
P2P Bridge310にはメモリ空間上の領域を割り当てるため、MR−PCIMは、割り当てられたメモリ領域を介してMRAスイッチ制御部330内のMulti−Root
Topology設定、およびVS Authorizationビットマップの書き換えを行うことが出来る。
Authorizationビットマップがホスト340上のMR−PCIMにより書き換えられた状態を示す。Upstream P2P Bridge311、312の対応するビットが0に設定されると、MRAスイッチ制御部330は、信号線3301、3302を介してUpstreamP2P
Bridge311、312に対して、それぞれに対応するVS Authorizationビットマップのビット情報“0”を通知する。Upstream P2P Bridge311、312は、MRAスイッチ制御部330から送られる信号が各々“0”であるため、ベースアドレスレジスタをRead
Only属性に変更する。この状態でホスト341が起動すると、Upstream P2P Bridge311はメモリ領域を要求しないため、ホスト341は、Upstream
P2P Bridge311に対してメモリ空間上の領域を割り当てない。ホスト342も同様にUpstream P2P Bridge312に対してメモリ空間を割り当てない。
P2P Bridge310に割り当てられた領域を示す。MR−PCIM稼動ホスト340には従来技術と同じくUpstream P2P Bridge310へのメモリ領域402が割り当てられるが、MR−PCIMの稼動しないホスト341にはUpstream
P2P Bridge311へのメモリ領域割り当ては行われない。このためホスト341はIOデバイスに割り当て可能なメモリ領域411の全てをデバイスのみに対して割り当てできる。
Topology情報設定が完了後にユーザから個別に電源投入されるまで起動されない。このとき、Upstream P2P Bridge310内のベースアドレスレジスタがRead−Write属性に設定されているため、Upstream
P2P Bridge310は、MR−PCIM稼動ホスト340にメモリ空間領域の割当を要求し、ホスト340は、Upstream P2P Bridge310のためにメモリ空間領域を割り当てる。次に、ホスト340上のMR−PCIMは、Upstream
P2P Bridge310を介してMRAスイッチ制御部330内のMulti−Root Topology情報設定を行う(ステップ520)。設定は、Upstream
P2P Bridge310のコンフィグレーションレジスタ、およびメモリ空間領域が割り当てられたメモリ領域を用いて行われる。
次に、ホスト340上のMR−PCIMは、MRAスイッチ制御部330内のVS
Authorizationビットマップの設定を行い、Upstream P2P Bridge310以外の対応するビットを“0”に設定する(ステップ530)。次に、スイッチ制御部330は、Upstream
P2P Bridge311、312にこのビット設定を通知し、Upstream P2P Bridge311、312はベースアドレスレジスタをRead Only属性に変更する(ステップ540)。最後にユーザによる個別の電源投入によりホスト341、342が起動する(ステップ550)。ステップ540の処理によってUpstream P2P Bridge311、312のベースアドレスレジスタはRead
Only属性となっているため、ホスト341、342起動時にUpstream P2P Bridge311、312に各々メモリ空間上の領域が割り当てられることはない。
P2P Bridgeに対してステップ520、530を実行し、MRAスイッチ301は、そのUpstream P2P Bridgeについてステップ540を実行する。この結果、ホスト340に接続されるMRAスイッチ301のUpstream
P2P Bridgeはそのメモリ空間上の領域を必要とするが、MRAスイッチ301の他のUpstream P2P Bridgeは、ホスト341、342の各メモリ空間上の領域を必要としない。
P2P Bridge、311:Upstream P2P Bridge、312:Upstream P2P Bridge、340:ホスト(MR−PCIM稼働)、341:ホスト、342:ホスト、330:MRAスイッチ制御部。
Claims (8)
- 複数のUpstream
P2P Bridgeが収容されるMRAスイッチにおいて、
外部からの設定指示に応じて、前記MRAスイッチ内のメモリ上に設定され前記Upstream
P2P Bridgeの各々に対応するVS(Virtual Switch) Authorization ビットのうち設定値が1である1ビットを除いて他ビットを各々設定値0に設定する手段と、
前記設定値が1であるVS
Authorization ビットに対応するUpstream P2P Bridge内のベースアドレスレジスタをRead−Write属性に設定し、前記設定値が0であるVS
Authorization ビットに対応するUpstream P2P Bridge内のベースアドレスレジスタをRead Only属性に設定する手段と、
外部に対して、前記Read
Only属性のベースアドレスレジスタをもつUpstream P2P Bridgeに対応するメモリ空間領域の要求を抑止する手段とを有することを特徴とするMRAスイッチ。 - 前記設定指示は、前記設定値が1であるVS
Authorization ビットに対応するUpstream P2P Bridgeに対して発行されることを特徴とする請求項1に記載のMRAスイッチ。 - 複数のホストコンピュータと、
前記複数のホストコンピュータの各々に対応するUpstream
P2P Bridgeが収容されるMRAスイッチとを有するサーバ装置において、
前記ホストコンピュータの1つは、接続されるUpstream
P2P Bridgeを介して、前記MRAスイッチ内のメモリ上に設定され前記Upstream P2P Bridgeの各々に対応するVS(Virtual Switch)
Authorization ビットのうち当該接続されるUpstream P2P Bridgeに対応するVS Authorization ビットの設定値が1の状態で他ビットを各々設定値0に設定するMR−PCIMを有し、
前記MRAスイッチは、前記設定値が1であるVS
Authorization ビットに対応するUpstream P2P Bridge内のベースアドレスレジスタをRead−Write属性に設定し、前記設定値が0であるVS
Authorization ビットに対応するUpstream P2P Bridge内のベースアドレスレジスタをRead Only属性に設定する手段を有し、
前記複数のホストコンピュータの各々が有するメモリ空間のうち、前記MR−PCIMが稼働するホストコンピュータのメモリ空間を除き、他ホストコンピュータの各々に対応するUpstream
P2P Bridgeに対するメモリ空間領域の割当を抑止することを特徴とするサーバ装置。 - 前記MR−PCIMは、前記VS
Authorization ビットを設定する前に、前記MRAスイッチのMR Topology情報を設定することを特徴とする請求項3に記載のサーバ装置。 - 前記他ホストコンピュータの各々は、対応するUpstream
P2P Bridge内のベースアドレスレジスタがRead Only属性に設定された後、起動して前記MRAスイッチに接続されるI/Oデバイスに対する前記メモリ空間の割当を行うことを特徴とする請求項3に記載のサーバ装置。 - 複数のホストコンピュータと、
前記複数のホストコンピュータの各々に対応するUpstream
P2P Bridgeが収容されるMRAスイッチとを有するサーバ装置において、
前記MRAスイッチは、前記MRAスイッチ内のメモリ上に設定され前記Upstream
P2P Bridgeの各々に対応するVS(Virtual Switch) Authorization ビットのうち、設定値が1であるVS Authorization
ビットに対応するUpstream P2P Bridge内のベースアドレスレジスタをRead−Write属性に設定し、前記設定値が0であるVS Authorization
ビットに対応するUpstream P2P Bridge内のベースアドレスレジスタをRead Only属性に設定する手段を有し、
第1のホストコンピュータは、接続されるUpstream
P2P BridgeであってベースアドレスレジスタがRead−Write属性に設定されたUpstream P2P Bridgeからの要求に応じて、当該Upstream
P2P Bridgeに対してメモリ空間領域を割り当てる手段と、当該Upstream P2P Bridgeを介して、当該Upstream P2P Bridgeに対応するVS
Authorization ビットを除き他のUpstream P2P Bridgeに対応するVS Authorization ビットを各々設定値0に設定する手段とを有し、
前記第1のホストコンピュータを除く他ホストコンピュータの各々は、対応するUpstream
P2P Bridgeに対するメモリ空間領域の割当を抑止することを特徴とするサーバ装置。 - 前記第1のホストコンピュータは、前記VS
Authorization ビットを設定する前に、前記MRAスイッチのMR Topology情報を設定することを特徴とする請求項6に記載のサーバ装置。 - 前記他ホストコンピュータの各々は、対応するUpstream
P2P Bridge内のベースアドレスレジスタがRead Only属性に設定された後、起動して前記MRAスイッチに接続されるI/Oデバイスに対する前記メモリ空間の割当を行うことを特徴とする請求項6に記載のサーバ装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2008/003289 WO2010055544A1 (ja) | 2008-11-12 | 2008-11-12 | Mraスイッチを備えるサーバ装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2010055544A1 true JPWO2010055544A1 (ja) | 2012-04-05 |
JP5469085B2 JP5469085B2 (ja) | 2014-04-09 |
Family
ID=42169694
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010537614A Expired - Fee Related JP5469085B2 (ja) | 2008-11-12 | 2008-11-12 | Mraスイッチを備えるサーバ装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5469085B2 (ja) |
WO (1) | WO2010055544A1 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008021252A (ja) * | 2006-07-14 | 2008-01-31 | Hitachi Ltd | 計算機システム及びアドレス割当方法 |
US7984454B2 (en) * | 2006-12-19 | 2011-07-19 | International Business Machines Corporation | Migration of single root stateless virtual functions |
-
2008
- 2008-11-12 JP JP2010537614A patent/JP5469085B2/ja not_active Expired - Fee Related
- 2008-11-12 WO PCT/JP2008/003289 patent/WO2010055544A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP5469085B2 (ja) | 2014-04-09 |
WO2010055544A1 (ja) | 2010-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6329318B2 (ja) | 情報処理装置 | |
US9824050B2 (en) | Shared PCIe end point system including a PCIe switch and method for initializing the switch | |
US10002085B2 (en) | Peripheral component interconnect (PCI) device and system including the PCI | |
TWI454926B (zh) | USB攜帶型(On-The-Go)控制器 | |
US9223734B2 (en) | Switch with synthetic device capability | |
US20110167189A1 (en) | Storage apparatus and its data transfer method | |
TWI718969B (zh) | 記憶體裝置、記憶體定址方法與包括非暫時性儲存媒體的物品 | |
KR102209525B1 (ko) | 마이크로 서버, mac 주소 할당 방법 및 컴퓨터 판독가능 기록매체 | |
US20140006659A1 (en) | Driver-assisted base address register mapping | |
US10474606B2 (en) | Management controller including virtual USB host controller | |
US11995019B2 (en) | PCIe device with changeable function types and operating method thereof | |
US11928070B2 (en) | PCIe device | |
US20170075816A1 (en) | Storage system | |
EP3716084A1 (en) | Apparatus and method for sharing a flash device among multiple masters of a computing platform | |
TW202240415A (zh) | PCIe裝置及其操作方法 | |
KR20100067066A (ko) | 이종 프로세싱 유닛들 사이에서 하드웨어 디바이스들을 바인딩 및 마이그레이팅하기 위한 칩셋 지원 | |
TW202240414A (zh) | PCIe功能及其操作方法 | |
US9146693B2 (en) | Storage control device, storage system, and storage control method | |
US20150326684A1 (en) | System and method of accessing and controlling a co-processor and/or input/output device via remote direct memory access | |
JP5469085B2 (ja) | Mraスイッチを備えるサーバ装置 | |
JP7028902B2 (ja) | ストレージシステム及び入出力制御方法 | |
JP2018113075A (ja) | 情報処理装置 | |
JP2020173603A (ja) | デバイス通信制御モジュールおよびデバイス通信制御方法 | |
JP7242928B2 (ja) | ストレージシステム及び入出力制御方法 | |
JP6948039B2 (ja) | コンピュータシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130723 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131015 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140130 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5469085 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |