JP2024503337A - 拡張可能なマルチテナントｒｄｍａトラフィックのためのクラスベースのキューイング - Google Patents
拡張可能なマルチテナントｒｄｍａトラフィックのためのクラスベースのキューイング Download PDFInfo
- Publication number
- JP2024503337A JP2024503337A JP2023540190A JP2023540190A JP2024503337A JP 2024503337 A JP2024503337 A JP 2024503337A JP 2023540190 A JP2023540190 A JP 2023540190A JP 2023540190 A JP2023540190 A JP 2023540190A JP 2024503337 A JP2024503337 A JP 2024503337A
- Authority
- JP
- Japan
- Prior art keywords
- packet
- rdma
- vcn
- network
- packets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006855 networking Effects 0.000 claims abstract description 106
- 238000000034 method Methods 0.000 claims abstract description 99
- 230000015654 memory Effects 0.000 claims abstract description 73
- 238000012545 processing Methods 0.000 claims description 68
- 238000005538 encapsulation Methods 0.000 claims description 56
- 241001522296 Erithacus rubecula Species 0.000 claims description 3
- 239000004744 fabric Substances 0.000 description 107
- 238000004891 communication Methods 0.000 description 83
- 230000006854 communication Effects 0.000 description 83
- 230000006870 function Effects 0.000 description 69
- 238000003860 storage Methods 0.000 description 49
- 238000012546 transfer Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 24
- 239000002184 metal Substances 0.000 description 23
- 229910052751 metal Inorganic materials 0.000 description 23
- 238000007726 management method Methods 0.000 description 20
- 238000013507 mapping Methods 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 15
- 230000004044 response Effects 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 11
- 239000000872 buffer Substances 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 239000000758 substrate Substances 0.000 description 7
- 238000013519 translation Methods 0.000 description 7
- 230000000903 blocking effect Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 5
- 238000002955 isolation Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 239000002516 radical scavenger Substances 0.000 description 5
- 238000013403 standard screening design Methods 0.000 description 5
- 235000008694 Humulus lupulus Nutrition 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000005641 tunneling Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003116 impacting effect Effects 0.000 description 3
- 230000010076 replication Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013475 authorization Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000238558 Eucarida Species 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000002507 cathodic stripping potentiometry Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000000786 liquid-assisted grinding Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000006722 reduction reaction Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
- G06F15/163—Interprocessor communication
- G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
- G06F15/17306—Intercommunication techniques
- G06F15/17331—Distributed shared memory [DSM], e.g. remote direct memory access [RDMA]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/02—Topology update or discovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/70—Virtual switches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/12—Protocol engines
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
- H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
- H04L69/321—Interlayer communication protocols or service data unit [SDU] definitions; Interfaces between layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
- H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
- H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
- H04L69/324—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the data link layer [OSI layer 2], e.g. HDLC
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Multi Processors (AREA)
Abstract
データネットワーキングのための技術および装置が記載されている。一例において、リモートダイレクトメモリアクセス（ＲＤＭＡ）パケットをキューイングする方法は、第１のクオリティオブサービス（ＱｏＳ）データフィールドを有する第１のＲＤＭＡパケットを受信するステップと、第１のＱｏＳデータフィールドの値に基づいて、第１のＲＤＭＡパケットを複数のキューのうちの第１のキューにキューイングするステップと、第２のＱｏＳデータフィールドを有する第２のＲＤＭＡパケットを受信するステップと、第２のＱｏＳデータフィールドの値に基づいて、第２のＲＤＭＡパケットを複数のキューのうちの第２のキューにキューイングするステップとを含む。
Description
関連出願の相互参照
本願は、「ＲｏＣＥ（RDMA over Converged Ethernet）のためのクラウドスケールのマルチテナンシ（CLOUD SCALE MULTI-TENANCY FOR RDMA OVER CONVERGED ETHERNET (RoCE)）」と題される２０２０年１２月３０日に出願された米国仮出願番号第６３／１３２，４１７号、「ＲｏＣＥ（RDMA over Converged Ethernet）のためのクラウドスケールのマルチテナンシ（CLOUD SCALE MULTI-TENANCY FOR RDMA OVER CONVERGED ETHERNET (RoCE)）」と題される２０２１年２月２日に出願された米国非仮出願番号第１７／１６５，８７７号、「拡張可能なマルチテナントＲＤＭＡトラフィックのためのクラスベースのキューイング（CLASS-BASED QUEUEING FOR SCALABLE MULTI-TENANT RDMA TRAFFIC）」と題される２０２１年２月３日に出願された米国非仮出願番号第１７／１６６，９２２号に対する優先権を主張し、これらは全ての目的で引用によって全文が本明細書に援用される。
本願は、「ＲｏＣＥ（RDMA over Converged Ethernet）のためのクラウドスケールのマルチテナンシ（CLOUD SCALE MULTI-TENANCY FOR RDMA OVER CONVERGED ETHERNET (RoCE)）」と題される２０２０年１２月３０日に出願された米国仮出願番号第６３／１３２，４１７号、「ＲｏＣＥ（RDMA over Converged Ethernet）のためのクラウドスケールのマルチテナンシ（CLOUD SCALE MULTI-TENANCY FOR RDMA OVER CONVERGED ETHERNET (RoCE)）」と題される２０２１年２月２日に出願された米国非仮出願番号第１７／１６５，８７７号、「拡張可能なマルチテナントＲＤＭＡトラフィックのためのクラスベースのキューイング（CLASS-BASED QUEUEING FOR SCALABLE MULTI-TENANT RDMA TRAFFIC）」と題される２０２１年２月３日に出願された米国非仮出願番号第１７／１６６，９２２号に対する優先権を主張し、これらは全ての目的で引用によって全文が本明細書に援用される。
背景
ＲｏＣＥ（RDMA over Converged Ethernet）は、ロスレスなイーサネット（登録商標）ネットワークを介したリモートダイレクトメモリアクセス（ＲＤＭＡ：Remote Direct Memory Access）を可能にするネットワークプロトコルである。ＲｏＣＥは、イーサネットを介してインフィニバンド（ＩＢ：InfiniBand）トランスポートパケットをカプセル化することによってこれを可能にする。一般的に言って、ＲｏＣＥは、専用のＲＤＭＡキューおよび専用のＶＬＡＮを有するレイヤ２ネットワークを含む。しかしながら、レイヤ２ネットワークは、拡張できず、あまり高性能ではない。なぜなら、レイヤ２ネットワークは、より拡張可能であって高性能のレイヤ３ネットワークに存在する重要な特性および特徴が無いからである。したがって、既存のパブリッククラウド実装は、ＲｏＣＥプロトコルを使用したデータ転送を提供することができない。
ＲｏＣＥ（RDMA over Converged Ethernet）は、ロスレスなイーサネット（登録商標）ネットワークを介したリモートダイレクトメモリアクセス（ＲＤＭＡ：Remote Direct Memory Access）を可能にするネットワークプロトコルである。ＲｏＣＥは、イーサネットを介してインフィニバンド（ＩＢ：InfiniBand）トランスポートパケットをカプセル化することによってこれを可能にする。一般的に言って、ＲｏＣＥは、専用のＲＤＭＡキューおよび専用のＶＬＡＮを有するレイヤ２ネットワークを含む。しかしながら、レイヤ２ネットワークは、拡張できず、あまり高性能ではない。なぜなら、レイヤ２ネットワークは、より拡張可能であって高性能のレイヤ３ネットワークに存在する重要な特性および特徴が無いからである。したがって、既存のパブリッククラウド実装は、ＲｏＣＥプロトコルを使用したデータ転送を提供することができない。
簡単な概要
本開示は、概してデータネットワーキングに関する。より特定的には、レイヤ３プロトコルを使用してレイヤ３ネットワークを介してレイヤ２トラフィックを通信することを可能にする技術が記載されている。特定の実施形態において、本開示に記載されている技術は、レイヤ３ルーティングプロトコルを使用して、共有のレイヤ３物理ネットワークまたはスイッチファブリックを介して、マルチテナントホストマシン（すなわち、様々なテナントまたは顧客に属する計算インスタンスをホストするホストマシン）上の計算インスタンスから別のマルチテナントホストマシン上の計算インスタンスにリモートダイレクトメモリアクセス（ＲＤＭＡ）トラフィック（例えば、ＲｏＣＥ（RDMA over Converged Ethernet）トラフィック）を通信することを可能にする。そのような通信は、任意に、他のトラフィック（例えば、ＴＣＰおよび／またはＵＤＰトラフィック）も含んでもよい。顧客またはテナントは、通信が専用のレイヤ２ネットワーク上で行われるものとして経験するが、実際には、通信は、レイヤ３ルーティングプロトコルを使用して共有の（すなわち、複数の顧客またはテナント間で共有される）レイヤ３ネットワーク上で行われる。方法、システム、１つまたは複数のプロセッサによって実行可能なプログラム、コードまたは命令を格納する非一時的なコンピュータ可読記憶媒体などを含む様々な実施形態が本開示に記載されている。
本開示は、概してデータネットワーキングに関する。より特定的には、レイヤ３プロトコルを使用してレイヤ３ネットワークを介してレイヤ２トラフィックを通信することを可能にする技術が記載されている。特定の実施形態において、本開示に記載されている技術は、レイヤ３ルーティングプロトコルを使用して、共有のレイヤ３物理ネットワークまたはスイッチファブリックを介して、マルチテナントホストマシン（すなわち、様々なテナントまたは顧客に属する計算インスタンスをホストするホストマシン）上の計算インスタンスから別のマルチテナントホストマシン上の計算インスタンスにリモートダイレクトメモリアクセス（ＲＤＭＡ）トラフィック（例えば、ＲｏＣＥ（RDMA over Converged Ethernet）トラフィック）を通信することを可能にする。そのような通信は、任意に、他のトラフィック（例えば、ＴＣＰおよび／またはＵＤＰトラフィック）も含んでもよい。顧客またはテナントは、通信が専用のレイヤ２ネットワーク上で行われるものとして経験するが、実際には、通信は、レイヤ３ルーティングプロトコルを使用して共有の（すなわち、複数の顧客またはテナント間で共有される）レイヤ３ネットワーク上で行われる。方法、システム、１つまたは複数のプロセッサによって実行可能なプログラム、コードまたは命令を格納する非一時的なコンピュータ可読記憶媒体などを含む様々な実施形態が本開示に記載されている。
特定の実施形態において、データネットワーキングの方法は、ネットワーキング装置が、第１のクオリティオブサービス（ＱｏＳ：Quality-of-Service）データフィールドを有する第１のＲＤＭＡパケットを受信するステップと、上記第１のＱｏＳデータフィールドの値に基づいて、上記第１のＲＤＭＡパケットを複数のキューのうちの第１のキューにキューイングするステップと、上記ネットワーキング装置が、第２のＱｏＳデータフィールドを有する第２のＲＤＭＡパケットを受信するステップと、上記第２のＱｏＳデータフィールドの値に基づいて、上記第２のＲＤＭＡパケットを上記複数のキューのうちの第２のキューにキューイングするステップとを含み、上記第２のキューは、上記第１のキューとは異なる。上記方法はさらに、上記複数のキューの間の第１の重み付けに従って、上記第１のキューから上記第１のＲＤＭＡパケットを取り出し、上記第２のキューから上記第２のＲＤＭＡパケットを取り出すステップを含み得る。上記第１の重み付けは、重み付けラウンドロビンスキームであり得る。追加的にまたは代替的には、上記複数のキューは、制御キューを含み得て、上記方法はさらに、上記ネットワーキング装置が、上記制御キューから複数の制御パケットを取り出すステップを含み得て、上記複数の制御パケットを取り出すステップは、上記第１のＲＤＭＡパケットを取り出すステップおよび上記第２のＲＤＭＡパケットを取り出すステップよりも厳密な優先度を有する。そのような場合、上記複数のキューは、上記第１のキューと上記第２のキューとを含む複数のＲＤＭＡキューを含み得て、上記制御キューは、上記複数のＲＤＭＡキューのいずれのＲＤＭＡキューよりも低い帯域幅を有するように構成され得る。上記複数の制御パケットは、ネットワーク制御プロトコルパケットまたは輻輳通知パケットのうちの少なくとも１つを含み得る。
上記の方法において、上記第１のＱｏＳデータフィールドは、上記第１のＲＤＭＡパケットのインターネットプロトコル（ＩＰ：Internet Protocol）ヘッダの差別化されたサービスコードポイント（ＤＳＣＰ：Differentiated Services Code Point）データフィールドであり得る。上記第１および第２のＲＤＭＡパケットの各々は、ＲｏＣＥｖ２パケットであり得る。代替的には、上記第１および第２のＲＤＭＡパケットの各々は、オーバーレイカプセル化プロトコル（例えば、ＶｘＬＡＮ、ＮＶＧＲＥ、ＧＥＮＥＶＥ、ＳＴＴおよびＭＰＬＳのうちの１つ）に従ってフォーマットされるレイヤ３カプセル化パケットであり得る。上記方法はさらに、上記第１のＲＤＭＡパケットをデカプセル化して、第１のデカプセル化ＲＤＭＡパケットを取得するステップと、上記第１のＲＤＭＡパケットの少なくとも１つの外側ヘッダから上記第１のデカプセル化ＲＤＭＡパケットに輻輳表示情報をコピーするステップとを含み得る。上記の方法のうちのいずれかは、複数のＲＤＭＡパケットを受信するステップを含み得て、上記複数のＲＤＭＡパケットの各々は、対応するＱｏＳデータフィールドを有し、上記方法はさらに、上記複数のＲＤＭＡパケットの各々について、上記ＲＤＭＡパケットの上記ＱｏＳデータフィールドの値に基づいて、上記ＲＤＭＡパケットを上記複数のキューのうちのあるキューにキューイングするステップと、上記複数のキューから上記複数のＲＤＭＡパケットを取り出すステップとを含み得て、上記複数のＲＤＭＡパケットは、複数のパケットフローを含み、上記方法はさらに、フロー毎等コストマルチパススキームに従って上記複数のパケットフローをルーティングするステップを含み得る。
さらに他の実施形態において、（例えば、レイヤ３ネットワークにおける）ＲＤＭＡトラフィックのクラスベースのキューイングのための技術が記載されており、この技術を使用して、特定のキューにおけるＲＤＭＡトラフィックが他のキューにおけるＲＤＭＡトラフィックに影響を及ぼさないようにネットワークファブリック全体にわたるクラスベースの分離をクラウドスケールで維持することができる。特定の実施形態に従って、システムは、様々なクラスのＲＤＭＡトラフィックの移送および様々なテナントからのＲＤＭＡトラフィックの移送のための共有のファブリックを含むように実装され得て、あるＲＤＭＡネットワークインターフェイスコントローラ（ＮＩＣ：Network Interface Controller）から別のＮＩＣまでの共有のファブリック全体にわたる経路内の各装置は、ＲＤＭＡトラフィックの様々なクラスに専用の複数のキューを含む。
特定の実施形態に従って、ＲＤＭＡパケットをキューイングする方法は、ネットワーキング装置が、複数のＲＤＭＡパケットを受信するステップを含む。上記複数のＲＤＭＡパケットにおける各ＲＤＭＡパケットは、クオリティオブサービス（ＱｏＳ）データフィールドを含み、上記複数のＲＤＭＡパケットにおける各ＲＤＭＡパケットについて、上記ＱｏＳデータフィールドは、上記ＲＤＭＡパケットのためのサービスのクラスを示し、且つ、複数のＱｏＳ値の中にあるＱｏＳ値を有する。この方法は、上記ネットワーキング装置が、複数のＲＤＭＡキューの間で上記複数のＲＤＭＡパケットを分配するステップも含む。上記分配するステップは、上記複数のＲＤＭＡキューへの上記複数のＱｏＳ値の第１のマッピングに従って実行される。この方法は、上記ネットワーキング装置が、上記複数のＲＤＭＡキュー間の第１の重み付けに従って上記複数のＲＤＭＡキューから上記複数のＲＤＭＡパケットを取り出すステップをさらに含む。上記取り出された複数のＲＤＭＡパケットは、複数のパケットフローを含んでいてもよく、その場合、例は、フロー毎等コストマルチパススキームに従って、上記取り出された複数のＲＤＭＡパケットの上記複数のパケットフローをルーティングするステップをさらに含んでいてもよい。上記複数のＲＤＭＡパケットにおける各ＲＤＭＡパケットは、ＲｏＣＥｖ２パケットであってもよく、または、上記複数のＲＤＭＡパケットにおける各ＲＤＭＡパケットは、オーバーレイカプセル化プロトコル（例えば、ＶｘＬＡＮ、ＮＶＧＲＥ、ＧＥＮＥＶＥ、ＳＴＴまたはＭＰＬＳ）に従ってフォーマットされたレイヤ３カプセル化パケットであってもよい。
さらなる例において、上記分配するステップは、上記複数のＲＤＭＡパケットにおける第１のＲＤＭＡパケットの上記ＱｏＳデータフィールドが第１のＱｏＳ値を有するとの判断に応答して、上記第１のＲＤＭＡパケットを上記複数のＲＤＭＡキューにおける第１のＲＤＭＡキューに格納するステップと、上記複数のＲＤＭＡパケットにおける第２のＲＤＭＡパケットの上記ＱｏＳデータフィールドが第２のＱｏＳ値を有するとの判断に応答して、上記第２のＲＤＭＡパケットを上記複数のＲＤＭＡキューにおける第２のＲＤＭＡキューに格納するステップとを含み、上記第２のＱｏＳ値は、上記第１のＱｏＳ値とは異なる。
特定の実施形態に従って、ＲＤＭＡパケットをキューイングするさらなる方法は、上記ネットワーキング装置が、制御キューから複数の制御パケットを取り出すステップも含み、上記複数の制御パケットを取り出すステップは、上記複数のＲＤＭＡパケットを取り出すステップよりも厳密な優先度を有する。この場合、上記制御キューは、上記複数のＲＤＭＡキューのいずれのキューよりも低い帯域幅を有するように構成され得る。代替的にまたは追加的には、上記複数の制御パケットは、少なくとも１つのネットワーク制御プロトコルパケット（例えば、ＢＧＰパケット）および／または少なくとも１つの輻輳通知パケット（ＣＮＰパケット）を含んでいてもよい。
特定の実施形態に従って、ネットワーキング装置（例えば、リーフスイッチまたはスパインスイッチ）は、複数のＲＤＭＡキューと、上記複数のＲＤＭＡキューに結合され、複数のＲＤＭＡパケットを受信するように構成された処理回路とを含むように構成され得て、上記複数のＲＤＭＡパケットにおける各ＲＤＭＡパケットは、クオリティオブサービス（ＱｏＳ）データフィールドを含み、上記ネットワーキング装置はさらに、上記複数のＲＤＭＡキューへの複数のＱｏＳ値の第１のマッピングに従って上記複数のＲＤＭＡキューの間で上記複数のＲＤＭＡパケットを分配し、上記複数のＲＤＭＡキュー間の第１の重み付けに従って上記複数のＲＤＭＡキューから上記複数のＲＤＭＡパケットを取り出すように構成され得る。上記複数のＲＤＭＡパケットにおける各ＲＤＭＡパケットについて、上記ＱｏＳデータフィールドは、上記ＲＤＭＡパケットのためのサービスのクラスを示し、且つ、上記複数のＱｏＳ値の中にある値を有する。
さらに他の実施形態において、カプセル化されたリモートダイレクトメモリアクセス（ＲＤＭＡ）トラフィックのクラスベースのマーキングのための技術が記載されており、この技術を使用して、特定のキューにおけるＲＤＭＡトラフィックが他のキューにおけるＲＤＭＡトラフィックに影響を及ぼさないようにネットワークファブリック全体にわたる一貫したクラスベースの分離をクラウドスケールで（例えば、レイヤ３トランスポート中に）維持することができる。特定の実施形態に従って、システムは、様々なクラスのＲＤＭＡトラフィックの移送および様々なテナントからのＲＤＭＡトラフィックの移送のための共有のファブリックを含むように実装され得て、あるＲＤＭＡネットワークインターフェイスコントローラ（ＮＩＣ）から別のＮＩＣまでの共有のファブリック全体にわたる経路内の各装置は、ＲＤＭＡトラフィックの様々なクラスに専用の複数のキューを含む。方法、システム、１つまたは複数のプロセッサによって実行可能なプログラム、コード、命令を格納する非一時的なコンピュータ可読記憶媒体などを含む様々な本発明の実施形態が本開示に記載されている。
特定の実施形態に従って、データネットワーキングの方法は、ネットワーキング装置が、複数のＲＤＭＡパケットを受信するステップを含む。上記複数のＲＤＭＡパケットにおける各ＲＤＭＡパケットは、上記ＲＤＭＡパケットのためのサービスのクラスを示すＱｏＳ値を有するクオリティオブサービス（ＱｏＳ）データフィールドを含む。上記複数のＲＤＭＡパケットは、上記ＱｏＳデータフィールドが第１のＱｏＳ値を有するＲＤＭＡパケットと、上記ＱｏＳデータフィールドが上記第１のＱｏＳ値とは異なる第２のＱｏＳ値を有するＲＤＭＡパケットとを含む。上記方法は、上記複数のＲＤＭＡパケットの各々について、上記ＲＤＭＡパケットをカプセル化して、複数のレイヤ３カプセル化パケットのうちの対応する１つを生成するステップも含み、上記対応するレイヤ３カプセル化パケットは、少なくとも１つの外側ヘッダを有する。上記複数のＲＤＭＡパケットの各々について、上記ＲＤＭＡパケットをカプセル化するステップは、上記ＲＤＭＡパケットへの上記対応するレイヤ３カプセル化パケットの少なくとも１つの外側ヘッダの追加を含む。上記複数のレイヤ３カプセル化パケットの各々について、上記レイヤ３カプセル化パケットの上記少なくとも１つの外側ヘッダのＱｏＳデータフィールドは、上記対応するＲＤＭＡパケットの上記ＱｏＳデータフィールドの上記ＱｏＳ値に基づくＱｏＳ値をとる。上記複数のレイヤ３カプセル化パケットにおける各レイヤ３カプセル化パケットについて、上記少なくとも１つの外側ヘッダは、上記対応するＲＤＭＡパケットのＶＬＡＮ ＩＤに基づく仮想ネットワーク識別フィールドを含み得る。そのような場合、上記複数のＲＤＭＡパケットは、各々が第１のＶＬＡＮ ＩＤを有するＲＤＭＡパケット（いくつかのパケットは、場合によっては、他のパケットとは異なるＱｏＳ値を有する）と、各々が上記第１のＶＬＡＮ ＩＤとは異なる第２のＶＬＡＮ ＩＤを有するＲＤＭＡパケットとを含み得る。代替的にまたは追加的には、上記複数のレイヤ３カプセル化パケットにおける少なくとも１つのレイヤ３カプセル化パケットは、第１のＶＬＡＮタグと、上記第１のＶＬＡＮタグとは異なる第２のＶＬＡＮタグとを含んでいてもよい。
上記複数のレイヤ３カプセル化パケットの各々について、上記カプセル化パケットの上記少なくとも１つの外側ヘッダは、４７９１という宛先ポート番号を有するユーザデータグラムプロトコル（ＵＤＰ：User Datagram Protocol）ヘッダ（例えば、ＲｏＣＥｖ２予約ＵＤＰポート）を含み得る。代替的にまたは追加的には、上記レイヤ３カプセル化パケットの上記少なくとも１つの外側ヘッダは、上記対応するＲＤＭＡパケットの宛先メディアアクセス制御（ＭＡＣ：Media Access Control）アドレスに関連付けられた宛先ＩＰアドレスを有するインターネットプロトコル（ＩＰ：Internet Protocol）ヘッダを含んでいてもよい。
上記複数のＲＤＭＡパケットにおける各ＲＤＭＡパケットについて、上記ＲＤＭＡパケットの上記ＱｏＳデータフィールドは、上記ＲＤＭＡパケットのＩＰヘッダのＤＳＣＰデータフィールドであり得る。この場合、上記複数のレイヤ３カプセル化パケットの各々について、上記レイヤ３カプセル化パケットの上記少なくとも１つの外側ヘッダの上記ＱｏＳデータフィールドにおける上記ＱｏＳ値は、上記対応するＲＤＭＡパケットの上記ＱｏＳデータフィールドにおける上記ＱｏＳ値に等しくなり得る。代替的には、上記複数のＲＤＭＡパケットにおける各ＲＤＭＡパケットについて、上記ＲＤＭＡパケットの上記ＱｏＳデータフィールドは、ＶＬＡＮタグのＩＥＥＥ８０２．１ｐデータフィールドであってもよい。この場合、上記ＲＤＭＡパケットをカプセル化するステップは、上記ＲＤＭＡパケットの上記ＱｏＳデータフィールドの上記ＱｏＳ値およびＱｏＳ値のマッピングから、上記対応するレイヤ３カプセル化パケットの上記少なくとも１つの外側ヘッダの上記ＱｏＳデータフィールドのＱｏＳ値を取得するステップと、上記得られたＱｏＳ値を上記レイヤ３カプセル化パケットの上記少なくとも１つの外側ヘッダの上記ＱｏＳデータフィールドに格納するステップとを含み得る。
特定の実施形態に従って、データネットワーキングのさらなる方法は、上記複数のレイヤ３カプセル化パケットにおける少なくとも１つのレイヤ３カプセル化パケットの各々について、上記対応するＲＤＭＡパケットから上記レイヤ３カプセル化パケットの上記少なくとも１つの外側ヘッダに輻輳表示情報をコピーするステップも含む。代替的にまたは追加的には、上記データネットワーキングの方法は、第２の複数のレイヤ３カプセル化パケットの各々をデカプセル化して、複数のデカプセル化ＲＤＭＡパケットのうちの対応する１つを取得するステップをさらに含んでいてもよい。上記複数のデカプセル化ＲＤＭＡパケットのうちの少なくとも１つについて、上記デカプセル化するステップは、上記対応するレイヤ３カプセル化パケットの上記少なくとも１つの外側ヘッダから上記デカプセル化ＲＤＭＡパケットに輻輳表示情報をコピーするステップを含み得る。
特定の実施形態に従って、非一時的なコンピュータ可読メモリは、１つまたは複数のプロセッサによって実行可能な複数の命令を格納し得て、上記複数の命令は、上記１つまたは複数のプロセッサによって実行されると上記１つまたは複数のプロセッサに上記方法のうちのいずれか１つを実行させる命令を含む。
特定の実施形態に従って、システムは、１つまたは複数のプロセッサと、上記１つまたは複数のプロセッサに結合されたメモリとを含み得る。上記メモリは、上記１つまたは複数のプロセッサによって実行可能な複数の命令を格納し得て、上記複数の命令は、上記１つまたは複数のプロセッサによって実行されると上記１つまたは複数のプロセッサに上記方法のうちのいずれか１つを実行させる命令を含む。
上記の事項は、他の特徴および実施形態とともに、以下の明細書、特許請求の範囲および添付の図面を参照すると、より明らかになるであろう。
詳細な説明
以下の説明において、説明の目的で、特定の詳細が特定の実施形態の完全な理解を提供するために記載される。しかしながら、様々な実施形態がこれらの具体的な詳細なしに実施され得ることは明らかであろう。図面および説明は、限定的であることを意図しない。「例示的」という用語は、本開示において、「例示、事例または図示として機能する」ことを意味するために使用される。本開示において「例示的」として記載されたいかなる実施形態または設計は、必ずしも他の実施形態または設計よりも好ましいまたは有利であると解釈されるべきではない。
以下の説明において、説明の目的で、特定の詳細が特定の実施形態の完全な理解を提供するために記載される。しかしながら、様々な実施形態がこれらの具体的な詳細なしに実施され得ることは明らかであろう。図面および説明は、限定的であることを意図しない。「例示的」という用語は、本開示において、「例示、事例または図示として機能する」ことを意味するために使用される。本開示において「例示的」として記載されたいかなる実施形態または設計は、必ずしも他の実施形態または設計よりも好ましいまたは有利であると解釈されるべきではない。
本開示は、概してネットワーキングに関し、より特定的には、レイヤ３プロトコルを使用してレイヤ３ネットワークを介してレイヤ２トラフィックを通信することを可能にする技術に関する。特定の実施形態において、本開示に記載されている技術は、レイヤ３ルーティングプロトコルを使用して、共有のレイヤ３物理ネットワークまたはスイッチファブリックを介して、マルチテナントホストマシン（すなわち、様々なテナントまたは顧客に属する計算インスタンスをホストするホストマシン）上の計算インスタンスから別のマルチテナントホストマシン上の計算インスタンスにＲｏＣＥ（RDMA over Converged Ethernet）トラフィックを通信することを可能にする。顧客またはテナントは、通信が専用のレイヤ２ネットワーク上で行われるものとして経験するが、実際には、通信は、レイヤ３ルーティングプロトコルを使用して共有の（すなわち、複数の顧客またはテナント間で共有される）レイヤ３ネットワーク上で行われる。
また、テナントを識別し得るＶＬＡＮ識別情報（例えば、ＶＬＡＮ ＩＤ）をＲｏＣＥパケットのレイヤ２ヘッダにおいて指定する（例えば、ＶＬＡＮ ＩＤは、ＲｏＣＥパケットに追加される８０２．１Ｑタグに含まれる）ことを可能にし、パケットがスイッチファブリックを通過するときに、当該ＶＬＡＮ識別情報を、８０２．１Ｑタグ付きＲｏＣＥレイヤ２パケットに追加されるレイヤ３オーバーレイカプセル化プロトコルラッパーに含まれる情報にマッピングすることも可能にする技術が開示されている。ＶＬＡＮ識別情報（または、テナンシ情報）をレイヤ３カプセル化ラッパーのフィールドにマッピングすることにより、様々なテナントからのトラフィック間の区別がレイヤ３スイッチファブリック内のネットワーキング装置に見えるようになる。ネットワーキング装置は、この情報を使用して、様々な顧客またはテナントに属するトラフィックを分離することができる。
レイヤ２ＲＤＭＡパケット（例えば、ＲｏＣＥパケット）に関連付けられたＱｏＳ情報を、データの転送元であるソースホストマシンから、ずっとスイッチファブリックを通って、データの転送先である宛先ホストマシンまで、エンドツーエンドで保持することを可能にする技術が開示されている。レイヤ２ＲｏＣＥパケットに符号化されたＱｏＳ情報は、パケットがスイッチファブリックに入るときに、当該情報を、ホスト（例えば、イングレス（ingress）トップオブラップ（ＴＯＲ：Top-of-Rack）スイッチ）によって送信されるトラフィックを処理する初期スイッチによって８０２．１Ｑタグ付きＲｏＣＥパケットに追加されるレイヤ３オーバーレイカプセル化プロトコルラッパーに符号化することによって、スイッチファブリック内のネットワーキング装置に見えるようになる。ＱｏＳ情報をカプセル化ラッパーにマッピングする（例えば、コピーする）ことにより、スイッチファブリック内のネットワーキング装置は、各パケットに関連付けられたＱｏＳ情報に従って、レイヤ３ルーティングプロトコルを使用して、スイッチファブリックを通るＲｏＣＥトラフィックをルーティングすることができる。
また、スイッチファブリック内のネットワーキング装置のうちのいずれかがパケット毎に輻輳を知らせることを可能にする技術が開示されている。この輻輳情報は、パケットがソースホストマシンに接続されたＴＯＲスイッチ（「イングレスＴＯＲスイッチ」）から宛先ホストマシンに接続されたＴＯＲスイッチ（「エグレス（egress）ＴＯＲスイッチ」）へスイッチファブリックを通過するときに、パケットに保存される。宛先ホストマシンに接続されたＴＯＲスイッチにおいて、レイヤ３カプセル化ラッパーからの輻輳情報は、ＲｏＣＥパケットヘッダに（例えば、ＲｏＣＥパケットのＩＰヘッダ内のＥＣＮビットに）変換（例えば、コピー）され、そのため、保存されて宛先ホストマシンが利用できるようにされる。次いで、宛先ホストマシンは、（例えば、ソースホストマシンが例えばその送信速度をそれに応じて減少させることができるように輻輳をソースホストマシンに表示するために）輻輳通知パケットを送信することによって輻輳情報に応答することができる。
典型的なコンピューティング環境では、２つのコンピュータの間でデータがやりとりされているとき、転送中のデータは、それらのコンピュータによって実行されるネットワークプロトコルスタックソフトウェアによって複数回コピーされる。これは、マルチコピー問題と称される。さらに、コンピュータのＯＳカーネルおよびＣＰＵがこれらの通信に関与する。なぜなら、ネットワークスタック（例えば、ＴＣＰスタック）は、カーネルに固有であるからである。これは、データ転送における大幅なレイテンシ、すなわちいくつかのアプリケーションが許容できないレイテンシを生じさせることになる。
リモートダイレクトメモリアクセス（ＲＤＭＡ）は、コンピュータのＣＰＵ（ＣＰＵバイパス）またはオペレーティングシステム（ＯＳカーネルバイパス）に関与することなくコンピュータまたはサーバのアプリケーションメモリ間のデータの移動を可能にするダイレクトメモリアクセス機構である。この機構は、高いスループット、高速のデータ転送速度、および低レイテンシのネットワーキングを可能にする。ＲＤＭＡは、コンピュータ上のネットワークアダプタまたはネットワークインターフェイスカード（ＮＩＣ）がワイヤからコンピュータのアプリケーションメモリに直接データを転送すること、またはコンピュータのアプリケーションメモリからワイヤに直接データを転送することを可能にすることによって、ゼロコピーネットワーキングをサポートして、アプリケーションメモリとコンピュータのオペレーティングシステム内のデータバッファとの間でデータをコピーすることを不要にする。そのような転送は、ＣＰＵまたはキャッシュが行う作業をほとんど必要とせず、コンピュータのコンテキストスイッチを回避し、他のシステムオペレーションと並行して転送を継続することができる。ＲＤＭＡは、低レイテンシを必要とする高性能コンピューティング（ＨＰＣ：High-Performance Computing）およびアプリケーションにとって非常に有用である。
ＲｏＣＥ（RDMA over Converged Ethernet）は、ロスレスなイーサネットネットワークを介したリモートダイレクトメモリアクセス（ＲＤＭＡ）を可能にするネットワークプロトコルである。ＲｏＣＥは、イーサネットを介してインフィニバンド（ＩＢ）トランスポートパケットをカプセル化することによってこれを可能にする。一般的に言って、ＲｏＣＥは、専用のＲＤＭＡキューおよび専用のＶＬＡＮ、ならびにレイヤ２ネットワークの使用を含む。しかしながら、レイヤ２ネットワークは、拡張できず、あまり高性能ではない。なぜなら、レイヤ２ネットワークは、より拡張可能であって高性能のレイヤ３ネットワークに存在する重要な特性および特徴が無いからである。例えば、レイヤ２ネットワークは、ネットワークファブリック内のデータプロデューサ（例えば、ソース）とデータコンシューマ（例えば、宛先）との間の複数の経路をサポートせず、レイヤ２ループに関する問題を有しており、レイヤ２フレームのフラッディングに関する問題を有しており、アドレススキームの中に階層に対するサポートを有しておらず（例えば、レイヤ２は、ＣＩＤＲ、接頭辞およびサブネットの概念を有しておらず）、大量のブロードキャストトラフィックに関する問題を有しており、ネットワーク接続の広告を可能にする制御プロトコルを有しておらず（例えば、レイヤ２は、ＢＧＰ、ＲＩＰまたはＩＳ－ＩＳと同様のプロトコルを有しておらず）、トラブルシューティングプロトコルおよびツールを有していない（例えば、レイヤ２は、ＩＣＭＰまたはTracerouteなどのツールを有していない）、などである。
現在、２つのバージョンのＲｏＣＥプロトコル、すなわちＲｏＣＥｖ１およびＲｏＣＥｖ２がある。「ルーティング可能なＲｏＣＥ」とも呼ばれるＲｏＣＥｖ２は、「インフィニバンド（登録商標）アーキテクチャ仕様リリース１．２．１ 付属書類Ａ１７：ＲｏＣＥｖ２」（インフィニバンド・トレード・アソシエーション、オレゴン州ビーバートン、２０１４年９月２日）という文書に定義されている。ＲｏＣＥｖ２は、ユーザデータグラムプロトコル（ＵＤＰ）をトランスポートプロトコルとして使用する。残念ながら、ＵＤＰは、ＴＣＰが提供する高度な輻輳制御および輻輳制御機構が無い。その結果、ＲｏＣＥｖ２には以下のような問題がある。すなわち、ネットワークライブロック（例えば、プロセスが状態を変化させており、フレームが移動するが、フレームが前に進まないこと）、ネットワークデッドロック（例えば、周期的なリソース依存により、プロセスが待機状態にとどまったままであること）、ヘッドオブライン（ＨＯＬ：Head-of-Line）ブロッキング（例えば、キューの先頭のパケットを転送できないことにより、その後ろのパケットが停滞すること）、犠牲フロー（例えば、輻輳スイッチを介した非輻輳ノード間のフロー）、不公平（例えば、高帯域幅フローが他のフローのレイテンシを増加させること）、およびロスレストラフィック（ＲＤＭＡなど）によるバッファ消費に起因するロッシートラフィック（ＴＣＰなど）に対する悪影響のような問題である。
また、一般的に言って、成功裏のＲｏＣＥｖ２実装は、ＲＤＭＡトラフィックに専用のネットワーク経路およびＶＬＡＮを必要とする。さらに、プロトコルとしてのＲｏＣＥｖ２は、輻輳管理の何らかの様相を実現するために、レイヤ２優先度フロー制御（ＰＦＣ：Priority Flow Control）、明示的輻輳通知（ＥＣＮ：Explicit Congestion Notification）、またはＰＦＣとＥＣＮとの組み合わせに依拠するが、これらのスキームは、実際には不十分であることが多い。ＰＦＣは、トラフィックの独立クラスを８個までサポートし、受信機が、ＰＡＵＳＥフレームを送信機に送信することによってトラフィックの所定のクラスのフローを一時停止させるように送信機に要求することを可能にする。残念ながら、ＰＦＣは、ＰＡＵＳＥフレームストーム（例えば、過剰な量のＰＡＵＳＥフレームが、トラフィックソースへの経路全体に沿った所定のクラスの全トラフィックに影響を及ぼすこと）を受けやすく、ネットワークの完全なデッドロックにつながる可能性がある。さらに、ＰＦＣ ＰＡＵＳＥフレームは、マルチテナント動作を許可しない。なぜなら、ＰＡＵＳＥフレームは、送信機に、所定のクラスの全トラフィックの送信を一時停止させ、ＰＦＣは最大８個のトラフィッククラスを提供するが、テナントの数は８個よりも何倍も大きくなる場合があるからである。
本開示に開示されている実施形態は、マルチテナンシＲｏＣＥ（RDMA over Converged Ethernet）をパブリッククラウドのスケールで実装するためのシステム、方法および装置を含む。本開示に開示されているそのような実施形態は、ヘッドオブラインブロッキングを回避するとともに、ＲＤＭＡアプリケーションのための高性能で、低レイテンシの、ロスレスの動作を維持しながら、パブリッククラウドにおいてマルチテナントＲｏＣＥトラフィックをサポートするための技術を含む。また、同時に、開示されている技術は、トランスポートプロトコルとしてＴＣＰ／ＩＰまたはＵＤＰを使用する通常の非ＲＤＭＡアプリケーションをサポートするように実装することができる。これらの技術は、例えば２５Ｇ、４０Ｇ、１００Ｇ、４００Ｇおよび８００Ｇを含む全ての標準速度でＲｏＣＥ対応のイーサネットネットワークインターフェイスに適用することができる。
本開示に開示されているような、クラウド内でＲｏＣＥを拡張するための技術は、以下の局面のうちの１つ以上を含み得る。すなわち、トラフィックのためのＶＬＡＮまたはＶＬＡＮのセットを各顧客に提供すること、ホストが８０２．１ｑ－ｉｎ－８０２．１ｑを使用して顧客間のトラフィックおよび所与の顧客の様々なアプリケーションにまたがるトラフィックを分離することを可能にすること（例えば、パケットは２つの８０２．１Ｑタグと、パブリックＶＬＡＮタグと、プライベートＶＬＡＮタグとを有し得る）、各ＶＬＡＮをＴｏＲ上のＶｘＬＡＮ ＶＮＩにマッピングして、各顧客およびそれらのＶＬＡＮの各々に固有のＶｘＬＡＮ ＶＮＩを割り当てること、ＶｘＬＡＮオーバーレイを使用してレイヤ３ネットワークの上の顧客のレイヤ２トラフィックを運ぶこと、ＥＶＰＮ（イーサネットＶＰＮ）を使用して、下にあるレイヤ３ネットワーク（基板）全体にわたるＭＡＣアドレス情報を運ぶこと、である。
本開示に記載されている実施形態は、各々が複数のトラフィッククラスを有する複数のＲＤＭＡアプリケーション（例えば、クラウドサービス、高性能コンピューティング（ＨＰＣ）および／またはデータベースアプリケーション）をサポートするように実装され得る。そのようなサポートは、ミッションクリティカルなトラフィックを有する個別のトラフィッククラスが専用のＲＤＭＡキューセットに割り当てられるネットワークＱｏＳトラフィッククラスの概念を使用してトラフィックを隔離することによって提供され得る。このＲＤＭＡキューを使用した隔離は、特定のキュー（例えば、特定のキューの輻輳）が別のキューに影響を及ぼさないことを保証することができる。そのような技術を使用して、Ｃｌｏｓファブリックにおけるキュー構成がエンド顧客ホスト（クラウド顧客）にとって透過的であるように複数のＲＤＭＡテナント（「パブリッククラウド顧客」としても知られている）をサポートすることができる。ネットワークは、顧客ホストから受信されたＤＳＣＰマーキングをネットワークキューの正しい設定にマッピングするように構成され得て、これにより、ホストＱｏＳポリシー（構成）がファブリックＱｏＳポリシー（構成）から切り離される。顧客は、ＤＳＣＰトラフィッククラス（ＤＳＣＰコードポイントとも呼ばれる）および／または８０２．１ｑトラフィッククラスを使用して性能期待値を知らせることができる。これらのＤＳＣＰおよび８０２．１ｑクラスは、ＣｌｏｓファブリックＱｏＳ構成からのホストＱｏＳ構成の切り離しを提供するようにＣｌｏｓネットワーク内のＱｏＳキューにマッピングされる。
Ｃｌｏｓファブリックを介してＱｏＳキュー情報およびＥＣＮマーキングを伝えるために、複数のネットワークドメインにまたがって、例えばレイヤ２ポートからホストに、レイヤ３ポートから別のスイッチに、またはＶｘＬＡＮ仮想レイヤ２ポートから別のスイッチ上の別のＶｘＬＡＮインターフェイスに、ＱｏＳキュー情報を運ぶことを保証することが望ましい場合がある。そのようなＱｏＳキュー情報のクロスドメイン移送は、本開示に記載されているようなこれらの様々なネットワークドメインにまたがってＱｏＳマーキングおよびＥＣＮビットマーキングを運んで実行することを含み得る。
仮想ネットワークアーキテクチャの例
クラウドサービスという用語は、一般的に、クラウドサービスプロバイダ（ＣＳＰ：Cloud Services Provider）が、システムおよびインフラストラクチャ（クラウドインフラストラクチャ）を用いて、ユーザまたは顧客がオンデマンドで（例えば、サブスクリプションモデルを介して）利用できるサービスを指す。通常、ＣＳＰのインフラストラクチャを構成するサーバおよびシステムは、顧客自身のオンプレミスサーバおよびシステムから離れている。したがって、顧客は、サービス用のハードウェアおよびソフトウェア資源を別途購入することなく、ＣＳＰによって提供されるクラウドサービスを利用することができる。クラウドサービスは、サービスを提供するために使用されるインフラストラクチャの調達に顧客が投資する必要がなく、アプリケーションおよび計算リソースへの容易且つ拡張可能なアクセスを加入している顧客に提供するように設計されている。
クラウドサービスという用語は、一般的に、クラウドサービスプロバイダ（ＣＳＰ：Cloud Services Provider）が、システムおよびインフラストラクチャ（クラウドインフラストラクチャ）を用いて、ユーザまたは顧客がオンデマンドで（例えば、サブスクリプションモデルを介して）利用できるサービスを指す。通常、ＣＳＰのインフラストラクチャを構成するサーバおよびシステムは、顧客自身のオンプレミスサーバおよびシステムから離れている。したがって、顧客は、サービス用のハードウェアおよびソフトウェア資源を別途購入することなく、ＣＳＰによって提供されるクラウドサービスを利用することができる。クラウドサービスは、サービスを提供するために使用されるインフラストラクチャの調達に顧客が投資する必要がなく、アプリケーションおよび計算リソースへの容易且つ拡張可能なアクセスを加入している顧客に提供するように設計されている。
いくつかのクラウドサービスプロバイダは、様々な種類のクラウドサービスを提供する。クラウドサービスは、ＳａａＳ（Software－as－a－Service）、ＰａａＳ（Platform－as－a－Service）、ＩａａＳ（Infrastructure－as－a－Service）などの様々な異なる種類またはモデルを含む。
顧客は、ＣＳＰによって提供される１つまたは複数のクラウドサービスに加入することができる。顧客は、個人、組織、企業などの任意のエンティティであってもよい。顧客がＣＳＰによって提供されるサービスに加入または登録すると、その顧客のテナントまたはアカウントが作成される。その後、顧客は、このアカウントを介して、アカウントに関連する１つまたは複数の加入済みクラウドリソースにアクセスすることができる。
上述したように、ＩａａＳ（Infrastructure as a Service）は、１つの特定種類のクラウドコンピューティングサービスである。ＩａａＳモデルにおいて、ＣＳＰは、顧客が自身のカスタマイズ可能なネットワークを構築し、顧客リソースを展開するために使用できるインフラストラクチャ（クラウドサービスプロバイダインフラストラクチャまたはＣＳＰＩと呼ばれる）を提供する。したがって、顧客のリソースおよびネットワークは、ＣＳＰによって提供されたインフラストラクチャによって分散環境にホストされる。これは、顧客によって提供されるインフラストラクチャが顧客のリソースおよびネットワークをホストする従来のコンピューティングとは異なる。
ＣＳＰＩは、基板ネットワークまたはアンダーレイネットワークとも呼ばれる物理ネットワークを形成する、様々なホストマシン、メモリリソース、およびネットワークリソースを含む相互接続された高性能の計算リソースを含んでもよい。ＣＳＰＩのリソースは、１つまたは複数の地理的な地域にわたって地理的に分散されている１つまたは複数のデータセンタに分散されてもよい。仮想化ソフトウェアは、これらの物理リソースによって実行され、仮想化分散環境を提供することができる。仮想化は、物理ネットワーク上に（ソフトウェアベースネットワーク、ソフトウェア定義ネットワーク、または仮想ネットワークとも呼ばれる）オーバーレイネットワークを作成する。ＣＳＰＩ物理ネットワークは、物理ネットワークの上に１つまたは複数のオーバーレイまたは仮想ネットワークを作成するための基礎を提供する。仮想ネットワークまたはオーバーレイネットワークは、１つまたは複数の仮想クラウドネットワーク（ＶＣＮ：Virtual Cloud Network）を含み得る。仮想ネットワークは、ソフトウェア仮想化技術（例えば、ハイパーバイザ、ネットワーク仮想化装置（ＮＶＤ）（例えば、スマートＮＩＣ）によって実行される機能、トップオブラック（ＴＯＲ）スイッチ、ＮＶＤによって実行される１つまたは複数の機能を実装するスマートＴＯＲ、および他のメカニズム）を用いて実装され、物理ネットワークの上で実行できるネットワーク抽象化層を作成する。仮想ネットワークは、ピアツーピアネットワーク、ＩＰネットワークなどの様々な形態をとることができる。仮想ネットワークは、典型的には、レイヤ３ＩＰネットワークまたはレイヤ２ＶＬＡＮのいずれかである。このような仮想ネットワークまたはオーバーレイネットワークは、しばしば仮想レイヤ３ネットワークまたはオーバーレイレイヤ３ネットワークと呼ばれる。仮想ネットワークのために開発されたプロトコルの例は、ＩＰ－ｉｎ－ＩＰ（またはＧＲＥ（Generic Routing Encapsulation））、仮想拡張可能ＬＡＮ（ＶＸＬＡＮ－ＩＥＴＦ ＲＦＣ７３４８）、仮想プライベートネットワーク（ＶＰＮ：Virtual Private Network）（例えば、ＭＰＬＳレイヤ３仮想プライベートネットワーク（ＲＦＣ４３６４））、ＶＭｗａｒｅ ＮＳＸ、ＧＥＮＥＶＥ（Generic Network Virtualization Encapsulation）などを含む。
ＩａａＳの場合、ＣＳＰによって提供されたインフラストラクチャ（ＣＳＰＩ）は、パブリックネットワーク（例えば、インターネット）を介して仮想化計算リソースを提供するように構成されてもよい。ＩａａＳモデルにおいて、クラウドコンピューティングサービスプロバイダは、インフラストラクチャ要素（例えば、サーバ、記憶装置、ネットワークノード（例えば、ハードウェア）、展開ソフトウェア、プラットフォーム仮想化（例えば、ハイパーバイザ層）など）をホストすることができる。場合によっては、ＩａａＳプロバイダは、それらのインフラストラクチャ要素に付随する様々なサービス（例えば、課金、監視、ロギング、セキュリティ、負荷分散およびクラスタリングなど）を提供することができる。これらのサービスがポリシー駆動型であるため、ＩａａＳユーザは、負荷分散を駆動するためのポリシーを実装することによって、アプリケーションの可用性および性能を維持することができる。ＣＳＰＩは、インフラストラクチャおよび一連の補完的なクラウドサービスを提供する。これによって、顧客は、可用性の高いホスト型分散環境で幅広いアプリケーションおよびサービスを構築し、実行することができる。ＣＳＰＩは、顧客オンプレミスネットワークなどの様々なネットワーク拠点から安全にアクセスできる柔軟な仮想ネットワーク上で高性能の計算リソースおよび能力ならびに記憶容量を提供する。顧客がＣＳＰによって提供されたＩａａＳサービスに加入または登録すると、その顧客のために作成されたテナンシは、ＣＳＰＩから安全に分離されたパーティションとなり、顧客は、クラウドリソースを作成、整理、管理することができる。
顧客は、ＣＳＰＩによって提供された計算リソース、メモリリソース、およびネットワーキングリソースを使用して、独自の仮想ネットワークを構築することができる。これらの仮想ネットワーク上に、計算インスタンスなどの１つまたは複数の顧客リソースまたはワークロードを展開することができる。例えば、顧客は、ＣＳＰＩによって提供されたリソースを使用して、仮想クラウドネットワーク（ＶＣＮ）と呼ばれる１つまたは複数のカスタマイズ可能なプライベート仮想ネットワークを構築することができる。顧客は、顧客ＶＣＮ上で１つまたは複数の顧客リソース、例えば計算インスタンスを展開することができる。計算インスタンスは、仮想マシン、ベアメタルインスタンスなどであってもよい。したがって、ＣＳＰＩは、顧客が可用性の高い仮想ホスト環境において様々なアプリケーションおよびサービスを構築および実行することを可能にするインフラストラクチャおよび一連の相補的なクラウドサービスを提供する。顧客は、ＣＳＰＩによって提供された基礎的な物理リソースを管理または制御しないが、オペレーティングシステム、記憶、および展開されたアプリケーションを制御し、場合によっては一部のネットワーキングコンポーネント（例えば、ファイアウォール）を限定的に制御する。
ＣＳＰは、顧客およびネットワーク管理者がＣＳＰＩリソースを使用してクラウドに展開されたリソースを構成、アクセス、および管理することを可能にするコンソールを提供することができる。特定の実施形態において、コンソールは、ＣＳＰＩを利用および管理するために使用することができるウェブベースのユーザインターフェイスを提供する。いくつかの実施形態において、コンソールは、ＣＳＰによって提供されたウェブベースのアプリケーションである。
ＣＳＰＩは、シングルテナンシアーキテクチャまたはマルチテナンシアーキテクチャをサポートすることができる。シングルテナンシアーキテクチャにおいて、ソフトウェア（例えば、アプリケーション、データベース）またはハードウェア要素（例えば、ホストマシンまたはサーバ）は、単一の顧客またはテナントにサービスを提供する。マルチテナンシアーキテクチャにおいて、ソフトウェアまたはハードウェア要素は、複数の顧客またはテナントにサービスを提供する。したがって、マルチテナンシアーキテクチャにおいて、ＣＳＰＩリソースは、複数の顧客またはテナントの間で共有される。マルチテナンシ環境において、各テナントのデータが分離され、他のテナントから見えないようにするために、ＣＳＰＩには予防措置および保護措置が講じられる。
物理ネットワークにおいて、ネットワークエンドポイント（エンドポイント）は、物理ネットワークに接続され、接続されているネットワークと双方向に通信するコンピューティング装置またはシステムを指す。物理ネットワークのネットワークエンドポイントは、ローカルエリアネットワーク（ＬＡＮ：Local Area Network）、ワイドエリアネットワーク（ＷＡＮ：Wide Area Network）、または他の種類の物理ネットワークに接続されてもよい。物理ネットワークの従来のエンドポイントの例は、モデム、ハブ、ブリッジ、スイッチ、ルータ、および他のネットワーキング装置、物理コンピュータ（またはホストマシン）などを含む。物理ネットワークの各物理装置は、当該装置と通信するために使用できる固定ネットワークアドレスを有する。この固定ネットワークアドレスは、レイヤ２アドレス（例えば、ＭＡＣアドレス）、固定レイヤ３アドレス（例えば、ＩＰアドレス）などであってもよい。仮想化環境または仮想ネットワークにおいて、エンドポイントは、物理ネットワークの要素によってホストされている（例えば、物理ホストマシンによってホストされている）仮想マシンなどの様々な仮想エンドポイントを含むことができる。仮想ネットワークのこれらのエンドポイントは、オーバーレイレイヤ２アドレス（例えば、オーバーレイＭＡＣアドレス）およびオーバーレイレイヤ３アドレス（例えば、オーバーレイＩＰアドレス）などのオーバーレイアドレスによってアドレス指定される。ネットワークオーバーレイは、ネットワーク管理者がソフトウェア管理を用いて（例えば、仮想ネットワークの制御プレーンを実装するソフトウェアを介して）ネットワークエンドポイントに関連付けられたオーバーレイアドレスを移動できるようにすることによって柔軟性を実現する。したがって、物理ネットワークとは異なり、仮想ネットワークにおいて、ネットワーク管理ソフトウェアを使用して、オーバーレイアドレス（例えば、オーバーレイＩＰアドレス）を１つのエンドポイントから別のエンドポイントに移動することができる。仮想ネットワークが物理ネットワーク上に構築されているため、仮想ネットワークおよび基礎物理ネットワークの両方は、仮想ネットワークの要素間の通信に関与する。このような通信を容易にするために、ＣＳＰＩの各要素は、仮想ネットワークのオーバーレイアドレスを基板ネットワークの実際の物理アドレスにまたは基板ネットワークの実際の物理アドレスを仮想ネットワークのオーバーレイアドレスにマッピングするマッピングを学習および記憶するように構成されている。これらのマッピングは、通信を容易にするために使用される。仮想ネットワークのルーティングを容易にするために、顧客トラフィックは、カプセル化される。
したがって、物理アドレス（例えば、物理ＩＰアドレス）は、物理ネットワークの要素に関連付けられ、オーバーレイアドレス（例えば、オーバーレイＩＰアドレス）は、仮想ネットワークのエンティティに関連付けられる。物理ＩＰアドレスとオーバーレイＩＰアドレスは、いずれも実ＩＰアドレスである。これらは、仮想ＩＰアドレスとは別物であり、仮想ＩＰアドレスは、複数の実ＩＰアドレスにマッピングされる。仮想ＩＰアドレスは、仮想ＩＰアドレスと複数の実ＩＰアドレスとの間の１対多マッピングを提供する。
クラウドインフラストラクチャまたはＣＳＰＩは、世界中の１つまたは複数の地域の１つまたは複数のデータセンタにおいて物理的にホストされている。ＣＳＰＩは、物理ネットワークまたは基板ネットワークの要素と、物理ネットワーク要素上に構築された仮想ネットワークの仮想化要素（例えば、仮想ネットワーク、計算インスタンス、仮想マシン）とを含んでもよい。特定の実施形態において、ＣＳＰＩは、レルム（realm）、地域（region）、および利用可能なドメイン（domain）において編成およびホストされている。地域は、典型的には、１つまたは複数のデータセンタを含む局所的な地理領域である。地域は、一般的に互いに独立しており、例えば、国または大陸を跨ぐ広大な距離によって分離されてもよい。例えば、第１の地域は、オーストラリアにあってもよく、別の地域は、日本にあってもよく、さらに別の地域は、インドにあってもよい。ＣＳＰＩリソースは、各地域が独立したＣＳＰＩリソースのサブセットを有するようにこれらの地域間で分割される。各地域は、一連のコアインフラストラクチャサービスおよびリソース、例えば、計算リソース（例えば、ベアメタルサーバ、仮想マシン、コンテナおよび関連インフラストラクチャ）、記憶リソース（例えば、ブロックボリューム記憶、ファイル記憶、オブジェクト記憶、アーカイブ記憶）、ネットワーキングリソース（例えば、仮想クラウドネットワーク（ＶＣＮ）、負荷分散リソース、オンプレミスネットワークへの接続）、データベースリソース、エッジネットワーキングリソース（例えば、ＤＮＳ）、アクセス管理、および監視リソースなどを提供することができる。各地域は、一般的に、当該地域をレルム内の他の地域に接続するための複数の経路を持つ。
一般的に、アプリケーションは、近くのリソースを使用する場合に遠くのリソースを使用することよりも速いため、最も多く使用される地域に展開される（すなわち、その地域に関連するインフラストラクチャ上に展開される）。また、アプリケーションは、大規模な気象システムまたは地震などの地域全体のイベントのリスクを軽減するための冗長性、法的管轄、税金ドメイン、および他のビジネスまたは社会的基準に対する様々な要件を満たすための冗長性など、様々な理由で異なる地域に展開されてもよい。
地域内のデータセンタは、さらに編成され、利用可能なドメイン（availability domain：ＡＤ）に細分化されてもよい。利用可能なドメインは、ある地域に配置された１つまたは複数のデータセンタに対応してもよい。地域は、１つまたは複数の利用可能なドメインによって構成されてもよい。このような分散環境において、ＣＳＰＩリソースは、仮想クラウドネットワーク（ＶＣＮ）などの地域に固有なものまたは計算インスタンスなどの利用可能なドメインに固有なものである。
１つの地域内のＡＤは、フォールトトレラント（fault tolerant）になるように互いに分離され、同時に故障する可能性が非常に低くなるように構成されている。これは、１つの地域内の１つのＡＤの障害が同じ地域内の他のＡＤの可用性に影響を与えることが殆どないように、ネットワーキング、物理ケーブル、ケーブル経路、ケーブル入口などの重要なインフラストラクチャリソースを共有しないように、ＡＤを構成することによって達成される。同じ地域内のＡＤを低遅延広帯域のネットワークで互いに接続することによって、他のネットワーク（例えば、インターネット、顧客オンプレミスネットワーク）への高可用性接続を提供し、複数のＡＤにおいて高可用性および災害復旧の両方のための複製システムを構築することができる。クラウドサービスは、複数のＡＤを利用して、高可用性を確保すると共に、リソースの障害から保護する。ＩａａＳプロバイダによって提供されたインフラストラクチャが成長するにつれて、追加の容量と共により多くの地域およびＡＤを追加してもよい。利用可能なドメイン間のトラフィックは、通常、暗号化される。
特定の実施形態において、地域は、レルムにグループ化される。レルムは、地域の論理集合である。レルムは、互いに隔離されており、いかなるデータを共有しない。同じレルム内の地域は、互いに通信することができるが、異なるレルム内の地域は、通信することができない。ＣＳＰの顧客のテナンシまたはアカウントは、単一のレルムに存在し、その単一のレルムに属する１つまたは複数の地域を跨ることができる。典型的には、顧客がＩａａＳサービスに加入すると、レルム内の顧客指定地域（「ホーム」地域と呼ばれる）に、その顧客のテナンシまたはアカウントが作成される。顧客は、顧客のテナンシをレルム内の１つまたは複数の他の地域に拡張することができる。顧客は、顧客のテナンシが存在するレルム内に存在していない地域にアクセスすることができない。
ＩａａＳプロバイダは、複数のレルムを提供することができ、各レルムは、特定の組の顧客またはユーザに対応する。例えば、商用レルムは、商用顧客のために提供されてもよい。別の例として、レルムは、特定の国のためにまたはその国の顧客のために提供されてもよい。さらに別の例として、政府用レルムは、例えば政府のために提供されてもよい。例えば、政府用レルムは、特定の政府のために作成されてもよく、商用レルムよりも高いセキュリティレベルを有してもよい。例えば、オラクル（登録商標）クラウドインフラストラクチャ（ＯＣＩ）は、現在、商用領域向けのレルムと、政府クラウド領域向けの２つのレルム（例えば、ＦｅｄＲＡＭＰ認可およびＩＬ５認可）とを提供する。
特定の実施形態において、ＡＤは、１つまたは複数の障害ドメイン（fault domain）に細分化することができる。障害ドメインは、反親和性（anti－affinity）を提供するために、ＡＤ内のインフラストラクチャリソースをグループ化したものである。障害ドメインは、計算インスタンスを分散することができる。これによって、計算インスタンスは、１つのＡＤ内の同じ物理ハードウェア上に配置されない。これは、反親和性として知られている。障害ドメインは、１つの障害点を共有するハードウェア要素（コンピュータ、スイッチなど）の集合を指す。計算プールは、障害ドメインに論理的に分割される。このため、１つの障害ドメインに影響を与えるハードウェア障害または計算ハードウェア保守イベントは、他の障害ドメインのインスタンスに影響を与えない。実施形態によっては、各ＡＤの障害ドメインの数は、異なってもよい。例えば、特定の実施形態において、各ＡＤは、３つの障害ドメインを含む。障害ドメインは、ＡＤ内の論理データセンタとして機能する。
顧客がＩａａＳサービスに加入すると、ＣＳＰＩからのリソースは、顧客にプロビジョニングされ、顧客のテナンシに関連付けられる。顧客は、これらのプロビジョニングされたリソースを使用して、プライベートネットワークを構築し、これらのネットワーク上にリソースを展開することができる。ＣＳＰＩによってクラウド上でホストされている顧客ネットワークは、仮想クラウドネットワーク（ＶＣＮ）と呼ばれる。顧客は、顧客用に割り当てられたＣＳＰＩリソースを使用して、１つまたは複数の仮想クラウドネットワーク（ＶＣＮ）を構成することができる。ＶＣＮとは、仮想またはソフトウェア定義のプライベートネットワークである。顧客のＶＣＮに配備された顧客リソースは、計算インスタンス（例えば、仮想マシン、ベアメタルインスタンス）および他のリソースを含むことができる。これらの計算インスタンスは、アプリケーション、ロードバランサ、データベースなどの様々な顧客作業負荷を表してもよい。ＶＣＮ上に配備された計算インスタンスは、インターネットなどのパブリックネットワークを介して公的にアクセス可能なエンドポイント（パブリックエンドポイント）と通信することができ、同じＶＣＮまたは他のＶＣＮ（例えば、顧客の他のＶＣＮ、または顧客に属さないＶＣＮ）内の他のインスタンスと通信することができ、顧客オンプレミスデータセンタまたはネットワークと通信することができ、サービスエンドポイントと通信することができ、および他の種類のエンドポイントと通信することができる。
ＣＳＰは、ＣＳＰＩを用いて様々なサービスを提供することができる。場合によっては、ＣＳＰＩの顧客自身は、サービスプロバイダのように振る舞い、ＣＳＰＩリソースを使用してサービスを提供することができる。サービスプロバイダは、識別情報（例えば、ＩＰアドレス、ＤＮＳ名およびポート）によって特徴付けられるサービスエンドポイントを公開することができる。顧客のリソース（例えば、計算インスタンス）は、サービスによって公開されたその特定のサービスのサービスエンドポイントにアクセスすることによって、特定のサービスを消費することができる。これらのサービスエンドポイントは、一般的に、ユーザがエンドポイントに関連付けられたパブリックＩＰアドレスを使用して、インターネットなどのパブリック通信ネットワークを介して公的にアクセス可能なエンドポイントである。公的にアクセス可能なネットワークエンドポイントは、パブリックエンドポイントと呼ばれることもある。
特定の実施形態において、サービスプロバイダは、（サービスエンドポイントと呼ばれることもある）サービスのエンドポイントを介してサービスを公開することができる。サービスの顧客は、このサービスエンドポイントを使用してサービスにアクセスすることができる。特定の実施形態において、サービスのために提供されたサービスエンドポイントは、そのサービスを消費しようとする複数の顧客によってアクセスすることができる。他の実装形態において、専用のサービスエンドポイントを顧客に提供してもよい。したがって、その顧客のみは、その専用サービスエンドポイントを使用してサービスにアクセスすることができる。
特定の実施形態において、ＶＣＮは、作成されると、そのＶＣＮに割り当てられたプライベートオーバーレイＩＰアドレス範囲（例えば、１０．０／１６）であるプライベートオーバーレイクラスレスドメイン間ルーティング（Classless Inter－Domain Routing：ＣＩＤＲ）アドレス空間に関連付けられる。ＶＣＮは、関連するサブネット、ルートテーブル、およびゲートウェイを含む。ＶＣＮは、単一の地域内に存在するが、地域の１つ以上または全ての利用可能なドメインに拡張することができる。ゲートウェイは、ＶＣＮ用に構成され、ＶＣＮとＶＣＮ外部の１つまたは複数のエンドポイントとの間のトラフィック通信を可能にする仮想インターフェイスである。ＶＣＮの１つまたは複数の異なる種類のゲートウェイを構成することによって、異なる種類のエンドポイント間の通信を可能にすることができる。
ＶＣＮは、１つまたは複数のサブネットなどの１つまたは複数のサブネットワークに細分化されてもよい。したがって、サブネットは、ＶＣＮ内で作成され得る構成単位または区画である。ＶＣＮは、１つまたは複数のサブネットを持つことができる。ＶＣＮ内の各サブネットは、当該ＶＣＮ内の他のサブネットと重複せず、当該ＶＣＮのアドレス空間のアドレス空間サブセットを表すオーバーレイＩＰアドレス（例えば、１０．０．０．０／２４および１０．０．１．０／２４）の連続範囲に関連付けられる。
各計算インスタンスは、仮想ネットワークインターフェイスカード（ＶＮＩＣ：Virtual Network Interface Card）に関連付けられる。これによって、各計算インスタンスは、ＶＣＮのサブネットに参加することができる。ＶＮＩＣは、物理ネットワークインターフェイスカード（ＮＩＣ）の論理表現である。一般的に、ＶＮＩＣは、エンティティ（例えば、計算インスタンス、サービス）と仮想ネットワークとの間のインターフェイスである。ＶＮＩＣは、サブネットに存在し、１つまたは複数の関連するＩＰアドレスと、関連するセキュリティルールまたはポリシーとを有する。ＶＮＩＣは、スイッチ上のレイヤ２ポートに相当する。ＶＮＩＣは、計算インスタンスと、ＶＣＮ内のサブネットとに接続されている。計算インスタンスに関連付けられたＶＮＩＣは、計算インスタンスがＶＣＮのサブネットの一部であることを可能にし、計算インスタンスが、計算インスタンスと同じサブネット上にあるエンドポイントと、ＶＣＮ内の異なるサブネット内のエンドポイントと、またはＶＣＮ外部のエンドポイントと通信する（例えば、パケットを送信および受信する）ことを可能にする。したがって、計算インスタンスに関連するＶＮＩＣは、計算インスタンスがＶＣＮの内部および外部のエンドポイントとどのように接続しているかを判断する。計算インスタンスのＶＮＩＣは、計算インスタンスが作成され、ＶＣＮ内のサブネットに追加されるときに作成され、その計算インスタンスに関連付けられる。サブネットは、計算インスタンスのセットからなる場合、計算インスタンスのセットに対応するＶＮＩＣを含み、各ＶＮＩＣは、コンピュータインスタンスのセット内の計算インスタンスに接続されている。
計算インスタンスに関連するＶＮＩＣを介して、各計算インスタンスにはプライベートオーバーレイＩＰアドレスが割り当てられる。このプライベートオーバーレイＩＰアドレスは、計算インスタンスの作成時に計算インスタンスに関連するＶＮＩＣに割り当てられ、計算インスタンスのトラフィックをルーティングするために使用される。特定のサブネット内の全てのＶＮＩＣは、同じルートテーブル、セキュリティリスト、およびＤＨＣＰオプションを使用する。上述したように、ＶＣＮ内の各サブネットは、当該ＶＣＮ内の他のサブネットと重複せず、当該ＶＣＮのアドレス空間のアドレス空間サブセットを表すオーバーレイＩＰアドレス（例えば、１０．０．０．０／２４および１０．０．１．０／２４）の連続範囲に関連付けられる。ＶＣＮの特定のサブネット上のＶＮＩＣの場合、ＶＮＩＣに割り当てられたオーバーレイＩＰアドレスは、サブネットに割り当てられたオーバーレイＩＰアドレスの連続範囲からのアドレスである。
特定の実施形態において、必要に応じて、計算インスタンスには、プライベートオーバーレイＩＰアドレスに加えて、追加のオーバーレイＩＰアドレス、例えば、パブリックサブネットの場合に１つまたは複数のパブリックＩＰアドレスを割り当てることができる。これらの複数のアドレスは、同じＶＮＩＣ、または計算インスタンスに関連付けられた複数のＶＮＩＣに割り当てられる。しかしながら、各インスタンスは、インスタンス起動時に作成され、インスタンスに割り当てられたオーバーレイプライベートＩＰアドレスに関連付けられたプライマリＶＮＩＣを有する。このプライマリＶＮＩＣは、削除することができない。セカンダリＶＮＩＣと呼ばれる追加のＶＮＩＣは、プライマリＶＮＩＣと同じ利用可能なドメイン内の既存のインスタンスに追加することができる。全てのＶＮＩＣは、インスタンスと同じ利用可能なドメインにある。セカンダリＶＮＩＣは、プライマリＶＮＩＣと同じＶＣＮのサブネットにあってもよく、または同じＶＣＮまたは異なるＶＣＮの異なるサブネットにあってもよい。
計算インスタンスは、パブリックサブネットにある場合、オプションでパブリックＩＰアドレスを割り当てられることができる。サブネットを作成するときに、当該サブネットをパブリックサブネットまたはプライベートサブネットのいずれかとして指定することができる。プライベートサブネットとは、当該サブネット内のリソース（例えば、計算インスタンス）および関連するＶＮＩＣがパブリックオーバーレイＩＰアドレスを持つことができないことを意味する。パブリックサブネットとは、サブネット内のリソースおよび関連するＶＮＩＣがパブリックＩＰアドレスを持つことができることを意味する。顧客は、地域またはレルム内の単一の利用可能なドメインまたは複数の利用可能なドメインにわたって存在するサブネットを指定することができる。
上述したように、ＶＣＮは、１つまたは複数のサブネットに細分化されてもよい。特定の実施形態において、ＶＣＮのために構成された仮想ルータ（ＶＣＮ ＶＲまたは単にＶＲと呼ばれる）は、ＶＣＮのサブネット間の通信を可能にする。ＶＣＮ内のサブネットの場合、ＶＲは、サブネット（すなわち、当該サブネット上の計算インスタンス）と、ＶＣＮ内部の他のサブネット上のエンドポイントおよびＶＣＮ外部の別のエンドポイントとの通信を可能にする当該サブネットの論理ゲートウェイを表す。ＶＣＮ ＶＲは、ＶＣＮ内のＶＮＩＣと、ＶＣＮに関連する仮想ゲートウェイ（ゲートウェイ）との間のトラフィックをルーティングするように構成された論理エンティティである。ゲートウェイは、図１に関して以下でさらに説明される。ＶＣＮ ＶＲは、レイヤ３／ＩＰレイヤの概念である。一実施形態において、１つのＶＣＮに対して１つのＶＣＮ ＶＲが存在する。このＶＣＮ ＶＲは、ＩＰアドレスによってアドレス指定された無制限の数のポートを潜在的に有し、ＶＣＮの各サブネットに対して１つのポートを有する。このようにして、ＶＣＮ ＶＲは、ＶＣＮ ＶＲが接続されているＶＣＮの各サブネットに対して異なるＩＰアドレスを有する。また、ＶＲは、ＶＣＮのために構成された様々なゲートウェイに接続されている。特定の実施形態において、サブネットのオーバーレイＩＰアドレス範囲からの特定のオーバーレイＩＰアドレスは、そのサブネットのＶＣＮ ＶＲのポートに保留される。例えば、関連するアドレス範囲１０．０／１６および１０．１／１６を各々有する２つのサブネットを有するＶＣＮを考える。アドレス範囲１０．０／１６を有するＶＣＮの第１のサブネットの場合、この範囲からのアドレスは、そのサブネットのＶＣＮ ＶＲのポートに保留される。場合によっては、この範囲からの第１のＩＰアドレスは、ＶＣＮ ＶＲに保留されてもよい。例えば、オーバーレイＩＰアドレス範囲１０．０／１６を有するサブネットの場合、ＩＰアドレス１０．０．０．１は、そのサブネットのＶＣＮ ＶＲのポートに保留されてもよい。同じＶＣＮ内のアドレス範囲１０．１／１６を有する第２のサブネットの場合、ＶＣＮ ＶＲは、ＩＰアドレス１０．１．０．１を有する第２のサブネットのポートを有してもよい。ＶＣＮ ＶＲは、ＶＣＮ内の各サブネットに対して異なるＩＰアドレスを有する。
いくつかの他の実施形態において、ＶＣＮ内の各サブネットは、ＶＲに関連付けられた保留またはデフォルトＩＰアドレスを使用してサブネットによってアドレス指定可能な、それ自身に関連するＶＲを有してもよい。保留またはデフォルトＩＰアドレスは、例えば、そのサブネットに関連付けられたＩＰアドレスの範囲からの第１のＩＰアドレスであってもよい。サブネット内のＶＮＩＣは、このデフォルトまたは保留ＩＰアドレスを使用して、サブネットに関連付けられたＶＲと通信（例えば、パケットを送信および受信）することができる。このような実施形態において、ＶＲは、そのサブネットのイングレス／エグレスポイントである。ＶＣＮ内のサブネットに関連付けられたＶＲは、ＶＣＮ内の他のサブネットに関連付けられた他のＶＲと通信することができる。また、ＶＲは、ＶＣＮに関連付けられたゲートウェイと通信することができる。サブネットのＶＲ機能は、サブネット内のＶＮＩＣのＶＮＩＣ機能を実行する１つまたは複数のＮＶＤ上で実行され、またはそれによって実行される。
ルートテーブル、セキュリティルール、およびＤＨＣＰオプションは、ＶＣＮのために構成されてもよい。ルートテーブルは、ＶＣＮの仮想ルートテーブルであり、ゲートウェイまたは特別に構成されたインスタンスを経由して、トラフィックをＶＣＮ内部のサブネットからＶＣＮ外部の宛先にルーティングするためのルールを含む。ＶＣＮとの間でパケットの転送/ルーティングを制御するために、ＶＣＮのルートテーブルをカスタマイズすることができる。ＤＨＣＰオプションは、インスタンスの起動時にインスタンスに自動的に提供される構成情報を指す。
ＶＣＮのために構成されたセキュリティルールは、ＶＣＮのオーバーレイファイアウォールルールを表す。セキュリティルールは、イングレスルールおよびエグレスルールを含むことができ、（例えば、プロトコルおよびポートに基づいて）ＶＣＮ内のインスタンスに出入りすることを許可されるトラフィックの種類を指定することができる。顧客は、特定の規則をステートフルまたはステートレスにするかを選択することができる。例えば、顧客は、ソースＣＩＤＲ０．０．０．０／０および宛先ＴＣＰポート２２を含むステートフルイングレスルールを設定することによって、任意の場所から１組のインスタンスへの着信ＳＳＨトラフィックを許可することができる。セキュリティルールは、ネットワークセキュリティグループまたはセキュリティリストを使用して実装されてもよい。ネットワークセキュリティグループは、そのグループ内のリソースのみに適用されるセキュリティルールのセットからなる。一方、セキュリティリストは、そのセキュリティリストを使用するサブネット内の全てのリソースに適用されるルールを含む。ＶＣＮは、デフォルトセキュリティルールとデフォルトセキュリティリストを含んでもよい。ＶＣＮのために構成されたＤＨＣＰオプションは、ＶＣＮ内のインスタンスが起動するときに自動的に提供される構成情報を提供する。
特定の実施形態において、ＶＣＮの構成情報は、ＶＣＮ制御プレーンによって決定され、記憶される。ＶＣＮの構成情報は、例えば、ＶＣＮに関連するアドレス範囲、ＶＣＮ内のサブネットおよび関連情報、ＶＣＮに関連する１つまたは複数のＶＲ、ＶＣＮ内の計算インスタンスおよび関連ＶＮＩＣ、ＶＣＮに関連する種々の仮想化ネットワーク機能（例えば、ＶＮＩＣ、ＶＲ、ゲートウェイ）を実行するＮＶＤ、ＶＣＮの状態情報、および他のＶＣＮ関連情報を含んでもよい。特定の実施形態において、ＶＣＮ配信サービスは、ＶＣＮ制御プレーンによって記憶された構成情報またはその一部をＮＶＤに公開する。配信された情報を用いて、ＮＶＤによって記憶および使用される情報（例えば、転送テーブル、ルーティングテーブルなど）を更新することによって、ＶＣＮ内の計算インスタンスとの間でパケットを転送することができる。
特定の実施形態において、ＶＣＮおよびサブネットの作成は、ＶＣＮ制御プレーン（ＣＰ：Control Plane）によって処理され、計算インスタンスの起動は、計算制御プレーンによって処理される。計算制御プレーンは、計算インスタンスの物理リソースを割り当て、次にＶＣＮ制御プレーンを呼び出して、ＶＮＩＣを作成し、計算インスタンスに接続するように構成される。また、ＶＣＮ ＣＰは、パケットの転送およびルーティング機能を実行するように構成されたＶＣＮデータプレーンに、ＶＣＮデータマッピングを送信する。特定の実施形態において、ＶＣＮ ＣＰは、更新をＶＣＮデータプレーンに提供するように構成された配信サービスを提供する。ＶＣＮ制御プレーンの例は、図１１、１２、１３、および１４（参照番号１１１６、１２１６、１３１６、および１４１６を参照）に示され、以下に説明される。
顧客は、ＣＳＰＩによってホストされているリソースを用いて、１つまたは複数のＶＣＮを作成することができる。顧客ＶＣＮ上に展開された計算インスタンスは、異なるエンドポイントと通信することができる。これらのエンドポイントは、ＣＳＰＩによってホストされているエンドポイントおよびＣＳＰＬ外部のエンドポイントを含むことができる。
ＣＳＰＩを用いてクラウドベースのサービスを実装するための様々な異なるアーキテクチャは、図１、２、３、４、５、１１、１２、１３、および１４に示され、以下に説明される。図１は、特定の実施形態に従って、ＣＳＰＩによってホストされているオーバーレイＶＣＮまたは顧客ＶＣＮを示す分散環境１００のハイレベル図である。図１に示された分散環境は、オーバーレイネットワーク内の複数の要素を含む。図１に示された分散環境１００は、単なる例であり、特許請求された実施形態の範囲を不当に限定することを意図していない。多くの変形例、代替例、および修正例が可能である。例えば、いくつかの実装形態において、図１に示された分散環境は、図１に示されたものより多いまたは少ないシステムまたは要素を有してもよく、２つ以上のシステムを組み合わせてもよく、または異なるシステムの構成または配置を有してもよい。
図１の例に示されるように、分散環境１００は、顧客が加入して仮想クラウドネットワーク（ＶＣＮ）を構築するために使用することができるサービスおよびリソースを提供するＣＳＰＩ１０１を含む。特定の実施形態において、ＣＳＰＩ１０１は、加入顧客にＩａａＳサービスを提供する。ＣＳＰＩ１０１内のデータセンタは、１つまたは複数の地域に編成されてもよい。図１は、地域の一例である「ＵＳ地域」１０２を示す。顧客は、地域１０２に対して顧客ＶＣＮ１０４を構成している。顧客は、ＶＣＮ１０４上に様々な計算インスタンスを展開することができ、計算インスタンスは、仮想マシンまたはベアメタルインスタンスを含むことができる。インスタンスの例は、アプリケーション、データベース、ロードバランサなどを含む。
図１に示された実施形態において、顧客ＶＣＮ１０４は、２つのサブネット、すなわち、「サブネット－１」および「サブネット－２」を含み、各サブネットは、各自のＣＩＤＲ ＩＰアドレス範囲を有する。図１において、サブネット－１のオーバーレイＩＰアドレス範囲は、１０．０／１６であり、サブネット－２のアドレス範囲は、１０．１／１６である。ＶＣＮ仮想ルータ１０５は、ＶＣＮ１０４のサブネット間の通信およびＶＣＮ外部の別のエンドポイントとの通信を可能にするＶＣＮの論理ゲートウェイを表す。ＶＣＮ ＶＲ１０５は、ＶＣＮ１０４内のＶＮＩＣとＶＣＮ１０４に関連するゲートウェイとの間でトラフィックをルーティングするように構成される。ＶＣＮ ＶＲ１０５は、ＶＣＮ１０４の各サブネットにポートを提供する。例えば、ＶＲ１０５は、ＩＰアドレス１０．０．０．１を有するポートをサブネット－１に提供することができ、ＩＰアドレス１０．１．０．１を有するポートをサブネット－２に提供することができる。
各サブネット上に複数の計算インスタンスを展開することができる。この場合、計算インスタンスは、仮想マシンインスタンスおよび／またはベアメタルインスタンスであってもよい。サブネット内の計算インスタンスは、ＣＳＰＩ１０１内の１つまたは複数のホストマシンによってホストされてもよい。計算インスタンスは、当該計算インスタンスに関連するＶＮＩＣを介してサブネットに参加する。例えば、図１に示すように、計算インスタンスＣ１は、当該計算インスタンスに関連するＶＮＩＣを介したサブネット－１の一部である。同様に、計算インスタンスＣ２は、Ｃ２に関連するＶＮＩＣを介したサブネット－１の一部である。同様に、仮想マシンインスタンスまたはベアメタルインスタンスであり得る複数の計算インスタンスは、サブネット－１の一部であってもよい。各計算インスタンスには、関連するＶＮＩＣを介して、プライベートオーバーレイＩＰアドレスおよびＭＡＣアドレスが割り当てられる。例えば、図１において、計算インスタンスＣ１は、オーバーレイＩＰアドレス１０．０．０．２およびＭＡＣアドレスＭ１を有し、計算インスタンスＣ２は、プライベートオーバーレイＩＰアドレス１０．０．０．３およびＭＡＣアドレスＭ２を有する。計算インスタンスＣ１およびＣ２を含むサブネット－１内の各計算インスタンスは、サブネット－１のＶＣＮ ＶＲ１０５のポートのＩＰアドレスであるＩＰアドレス１０．０．０．１を使用して、ＶＣＮ ＶＲ１０５へのデフォルトルートを有する。
サブネット－２には、仮想マシンインスタンスおよび／またはベアメタルインスタンスを含む複数の計算インスタンスを展開することができる。例えば、図１に示すように、計算インスタンスＤｌおよびＤ２は、それぞれの計算インスタンスに関連するＶＮＩＣを介したサブネット－２の一部である。図１に示す実施形態において、計算インスタンスＤ１は、オーバーレイＩＰアドレス１０．１．０．２およびＭＡＣアドレスＭＭ１を有し、計算インスタンスＤ２は、プライベートオーバーレイＩＰアドレス１０．１．０．３およびＭＡＣアドレスＭＭ２を有する。計算インスタンスＤ１およびＤ２を含むサブネット－２内の各計算インスタンスは、サブネット－２のＶＣＮ ＶＲ１０５のポートのＩＰアドレスであるＩＰアドレス１０．１．０．１を使用して、ＶＣＮ ＶＲ１０５へのデフォルトルートを有する。
また、ＶＣＮ Ａ１０４は、１つまたは複数のロードバランサを含んでもよい。例えば、ロードバランサは、サブネットに対して提供されてもよく、サブネット上の複数の計算インスタンス間でトラフィックをロードバランスするように構成されてもよい。また、ロードバランサは、ＶＣＮ内のサブネット間でトラフィックをロードバランスするように提供されてもよい。
ＶＣＮ１０４上に展開された特定の計算インスタンスは、様々な異なるエンドポイントと通信することができる。これらのエンドポイントは、ＣＳＰＩ２００によってホストされているエンドポイントと、ＣＳＰＩ２００外部のエンドポイントとを含んでもよい。ＣＳＰＩ１０１によってホストされているエンドポイントは、特定の計算インスタンスと同じサブネット上のエンドポイント（例えば、サブネット－１の２つの計算インスタンス間の通信）、異なるサブネットにあるが同じＶＣＮ内のエンドポイント（例えば、サブネット－１の計算インスタンスとサブネット－２の計算インスタンスとの間の通信）、同じ地域の異なるＶＣＮ内のエンドポイント（例えば、サブネット－１の計算インスタンスと、同じ地域１０６または１１０のＶＣＮ内のエンドポイントとの間の通信、サブネット－１内の計算インスタンスと、同じ地域のサービスネットワーク１１０内のエンドポイントとの間の通信）、または異なる地域のＶＣＮ内のエンドポイント（例えば、サブネット－１の計算インスタンスと、異なる地域１０８のＶＣＮ内のエンドポイントとの間の通信）を含んでもよい。また、ＣＳＰＩ１０１によってホストされているサブネット内の計算インスタンスは、ＣＳＰＩ１０１によってホストされていない（すなわち、ＣＳＰＩ１０１の外部にある）エンドポイントと通信することができる。これらの外部のエンドポイントは、顧客オンプレミスネットワーク１１６内のエンドポイント、他のリモートクラウドホストネットワーク１１８内のエンドポイント、インターネットなどのパブリックネットワークを介してアクセス可能なパブリックエンドポイント１１４、および別のエンドポイントを含む。
同じサブネット上の計算インスタンス間の通信は、ソース計算インスタンスおよび宛先計算インスタンスに関連するＶＮＩＣを使用して促進される。例えば、サブネット－１内の計算インスタンスＣ１は、サブネット－１内の計算インスタンスＣ２にパケットを送信したいことがある。ソース計算インスタンスから送信され、その宛先が同じサブネット内の別の計算インスタンスであるパケットの場合、このパケットは、まず、ソース計算インスタンスに関連するＶＮＩＣによって処理される。ソース計算インスタンスに関連するＶＮＩＣによって実行される処理は、パケットヘッダからパケットの宛先情報を決定することと、ソース計算インスタンスに関連するＶＮＩＣに対して構成された任意のポリシー（例えば、セキュリティリスト）を特定することと、パケットのネクストホップ（next hop）を決定することと、必要に応じて任意のパケットのカプセル化／デカプセル化機能を実行することと、パケットの意図した宛先への通信を容易にするためにパケットをネクストホップに転送／ルーティングすることとを含んでもよい。宛先計算インスタンスがソース計算インスタンスと同じサブネットにある場合、ソース計算インスタンスに関連するＶＮＩＣは、宛先計算インスタンスに関連するＶＮＩＣを特定し、処理するためのパケットをそのＶＮＩＣに転送するように構成されている。次いで、宛先計算インスタンスに関連するＶＮＩＣは、実行され、パケットを宛先計算インスタンスに転送する。
サブネット内の計算インスタンスから同じＶＣＮの異なるサブネット内のエンドポイントにパケットを通信する場合、通信は、ソース計算インスタンスおよび宛先計算インスタンスに関連するＶＮＩＣと、ＶＣＮ ＶＲとによって促進される。例えば、図１のサブネット－１の計算インスタンスＣ１がサブネット－２の計算インスタンスＤ１にパケットを送信したい場合、パケットは、まず、計算インスタンスＣ１に関連するＶＮＩＣによって処理される。計算インスタンスＣ１に関連するＶＮＩＣは、ＶＣＮ ＶＲのデフォルトルートまたはポート１０．０．０．１を使用して、パケットをＶＣＮ ＶＲ１０５にルーティングするように構成されている。ＶＣＮ ＶＲ１０５は、ポート１０．１．０．１を使用してパケットをサブネット－２にルーティングするように構成されている。その後、パケットは、Ｄ１に関連するＶＮＩＣによって受信および処理され、ＶＮＩＣは、パケットを計算インスタンスＤ１に転送する。
ＶＣＮ１０４内の計算インスタンスからＶＣＮ１０４の外部のエンドポイントにパケットを通信するために、通信は、ソース計算インスタンスに関連するＶＮＩＣ、ＶＣＮ ＶＲ１０５、およびＶＣＮ１０４に関連するゲートウェイによって促進される。１つまたは複数の種類のゲートウェイをＶＣＮ１０４に関連付けることができる。ゲートウェイは、ＶＣＮと別のエンドポイントとの間のインターフェイスであり、別のエンドポイントは、ＶＣＮの外部にある。ゲートウェイは、レイヤ３／ＩＰレイヤ概念であり、ＶＣＮとＶＣＮの外部のエンドポイントとの通信を可能にする。したがって、ゲートウェイは、ＶＣＮと他のＶＣＮまたはネットワークとの間のトラフィックフローを容易にする。異なる種類のエンドポイントとの異なる種類の通信を容易にするために、様々な異なる種類のゲートウェイをＶＣＮに設定することができる。ゲートウェイによって、通信は、パブリックネットワーク（例えば、インターネット）またはプライベートネットワークを介して行われてもよい。これらの通信には、様々な通信プロトコルを使用してもよい。
例えば、計算インスタンスＣ１は、ＶＣＮ１０４の外部のエンドポイントと通信したい場合がある。パケットは、まず、ソース計算インスタンスＣ１に関連するＶＮＩＣによって処理されてもよい。ＶＮＩＣ処理は、パケットの宛先がＣｌのサブネット－１の外部にあると判断する。Ｃ１に関連するＶＮＩＣは、パケットをＶＣＮ１０４のＶＣＮ ＶＲ１０５に転送することができる。次いで、ＶＣＮ ＶＲ１０５は、パケットを処理し、処理の一部として、パケットの宛先に基づいて、ＶＣＮ１０４に関連する特定のゲートウェイをパケットのネクストホップとして決定する。その後、ＶＣＮ ＶＲ１０５は、パケットを特定のゲートウェイに転送することができる。例えば、宛先が顧客のオペプレミスネットワーク内のエンドポイントである場合、パケットは、ＶＣＮ ＶＲ１０５によって、ＶＣＮ１０４のために構成された動的ルーティングゲートウェイ（ＤＲＧ：Dynamic Routing Gateway）１２２に転送されてもよい。その後、パケットは、ゲートウェイからネクストホップに転送され、意図した最終の宛先へのパケットの通信を容易にすることができる。
ＶＣＮのために様々な異なる種類のゲートウェイを構成してもよい。ＶＣＮのために構成され得るゲートウェイの例は、図１に示され、以下に説明される。ＶＣＮに関連するゲートウェイの例は、図１１、１２、１３、および１４（例えば、参照番号１１３４、１１３６、１１３８、１２３４、１２３６、１２３８、１３３４、１３３６、１３３８、１４３４、１４３６、および１４３８によって示されたゲートウェイ）にも示され、以下に説明される。図１に示された実施形態に示されるように、動的ルーティングゲートウェイ（ＤＲＧ）１２２は、顧客ＶＣＮ１０４に追加されてもよく、またはそれに関連付けられてもよい。ＤＲＧ１２２は、顧客ＶＣＮ１０４と別のエンドポイントとの間のプライベートネットワークトラフィック通信を行うための経路を提供する。別のエンドポイントは、顧客オンプレミスネットワーク１１６、ＣＳＰＩ１０１の異なる地域内のＶＣＮ１０８、またはＣＳＰＩ１０１によってホストされていない他のリモートクラウドネットワーク１１８であってもよい。顧客オンプレミスネットワーク１１６は、顧客のリソースを用いて構築された顧客ネットワークまたは顧客データセンタであってもよい。顧客オンプレミスネットワーク１１６へのアクセスは、一般的に厳しく制限される。顧客オンプレミスネットワーク１１６と、ＣＳＰＩ１０１によってクラウドに展開またはホストされる１つまたは複数のＶＣＮ１０４との両方を有する顧客の場合、顧客は、オンプレミスネットワーク１１６およびクラウドベースのＶＣＮ１０４が互いに通信できることを望む場合がある。これによって、顧客は、ＣＳＰＩ１０１によってホストされている顧客のＶＣＮ１０４とオンプレミスネットワーク１１６とを含む拡張ハイブリッド環境を構築することができる。ＤＲＧ１２２は、このような通信を可能にする。このような通信を可能にするために、通信チャネル１２４が設定される。この場合、通信チャネルの一方のエンドポイントは、顧客オンプレミスネットワーク１１６に配置され、他方のエンドポイントは、ＣＳＰＩ１０１に配置され、顧客ＶＣＮ１０４に接続されている。通信チャネル１２４は、インターネットなどのパブリック通信ネットワーク、またはプライベート通信ネットワークを経由することができる。インターネットなどのパブリック通信ネットワーク上のＩＰｓｅｃ ＶＰＮ技術、パブリックネットワークの代わりにプライベートネットワークを使用するオラクル（登録商標）のFastConnect技術などの様々な異なる通信プロトコルを使用することができる。通信チャネル１２４の１つのエンドポイントを形成する顧客オンプレミスネットワーク１１６内の装置または機器は、図１に示されたＣＰＥ１２６などの顧客構内機器（ＣＰＥ：Customer Premise Equipment）と呼ばれる。ＣＳＰＩ１０１側のエンドポイントは、ＤＲＧ１２２を実行するホストマシンであってもよい。
特定の実施形態において、リモートピアリング接続（ＲＰＣ：Remote Peering Connection）をＤＲＧに追加することができる。これによって、顧客は、１つのＶＣＮを別の地域内の別のＶＣＮとピアリングすることができる。このようなＲＰＣを使用して、顧客ＶＣＮ１０４は、ＤＲＧ１２２を使用して、別の地域内のＶＣＮ１０８に接続することができる。また、ＤＲＧ１２２は、ＣＳＰＩ１０１によってホストされていない他のリモートクラウドネットワーク１１８、例えば、マイクロソフト（登録商標）Azureクラウド、アマゾン（登録商標）ＡＷＳクラウドと通信するために使用されてもよい。
図１に示すように、顧客ＶＣＮ１０４上の計算インスタンスがインターネットなどのパブリックネットワークを介してアクセス可能なパブリックエンドポイント１１４と通信することを可能にするように、顧客ＶＣＮ１０４にインターネットゲートウェイ（ＩＧＷ：Internet Gateway）１２０を構成することができる。ＩＧＷ１１２０は、ＶＣＮをインターネットなどのパブリックネットワークに接続するためのゲートウェイである。ＩＧＷ１２０は、ＶＣＮ１０４などのＶＣＮ内のパブリックサブネット（パブリックサブネット内のリソースは、パブリックオーバーレイＩＰアドレスを有する）がインターネットなどのパブリックネットワーク１１４上のパブリックエンドポイント１１２に直接アクセスすることを可能にする。ＩＧＷ１２０を使用して、ＶＣＮ１０４内のサブネットからまたはインターネットからの接続を開始することができる。
顧客ＶＣＮ１０４にネットワークアドレス変換（ＮＡＴ：Network Address Translation）ゲートウェイ１２８を構成することができる。ＮＡＴゲートウェイ１２８は、顧客ＶＣＮ内の専用のパブリックオーバーレイＩＰアドレスを有しないクラウドリソースを、直接着信インターネット接続（例えば、Ｌ４－Ｌ７接続）に曝すことなくインターネットにアクセスすることを可能にする。これによって、ＶＣＮ１０４のプライベートサブネット－１などのＶＣＮ内のプライベートサブネットがインターネット上のパブリックエンドポイントにプライベートアクセスすることを可能にする。ＮＡＴゲートウェイにおいて、プライベートサブネットからパブリックインターネットに接続を開始することができるが、インターネットからプライベートサブネットに接続を開始することができない。
特定の実施形態において、顧客ＶＣＮ１０４にサービスゲートウェイ（ＳＧＷ：Service Gateway）１２６を構成することができる。ＳＧＷ１２６は、ＶＣＮ１０４とサービスネットワーク１１０にサポートされているサービスエンドポイントとの間のプライベートネットワークトラフィックの経路を提供する。特定の実施形態において、サービスネットワーク１１０は、ＣＳＰによって提供されてもよく、様々なサービスを提供することができる。このようなサービスネットワークの例は、顧客が使用できる様々なサービスを提供するオラクル（登録商標）サービスネットワークである。例えば、顧客ＶＣＮ１０４のプライベートサブネット内の計算インスタンス（例えば、データベースシステム）は、パブリックＩＰアドレスまたはインターネットへのアクセスを必要とすることなく、サービスエンドポイント（例えば、オブジェクト記憶装置）にデータをバックアップすることができる。いくつかの実施形態において、ＶＣＮは、１つのみのＳＧＷを有することができ、ＶＣＮ内のサブネットのみから接続を開始することができ、サービスネットワーク１１０から接続を開始することができない。ＶＣＮを他のＶＣＮにピアリングする場合、他のＶＣＮ内のリソースは、通常ＳＧＷにアクセスすることができない。FastConnectまたはVPN ConnectでＶＣＮに接続されているオンプレミスネットワーク内のリソースも、そのＶＣＮに構成されたサービスゲートウェイを使用することができる。
いくつかの実装形態において、ＳＧＷ１２６は、サービスクラスレスドメイン間ルーティング（ＣＩＤＲ：Classless Inter-Domain Routing）ラベルを使用する。ＣＩＤＲラベルは、関心のあるサービスまたはサービスのグループに対する全ての地域公開ＩＰアドレス範囲を表す文字列である。顧客は、ＳＧＷおよび関連するルーティングルールを設定する際に、サービスＣＩＤＲラベルを使用してサービスへのトラフィックを制御する。顧客は、サービスのパブリックＩＰアドレスが将来に変化する場合、セキュリティルールを調整する必要なく、セキュリティルールを設定するときにオプションとしてサービスＣＩＤＲラベルを使用することができる。
ローカルピアリングゲートウェイ（ＬＰＧ：Local Peering Gateway）１３２は、顧客ＶＣＮ１０４に追加可能なゲートウェイであり、ＶＣＮ１０４が同じ地域内の別のＶＣＮとピアリングすることを可能にするものである。ピアリングとは、トラフィックがインターネットなどのパブリックネットワークを経由することなく、または顧客オンプレミスネットワーク１１６を通してトラフィックをルーティングすることなく、ＶＣＮがプライベートＩＰアドレスを使用して通信することを意味する。好ましい実施形態において、ＶＣＮは、確立した各ピアリングに対して個別のＬＰＧを有する。ローカルピアリングまたはＶＣＮピアリングは、異なるアプリケーション間またはインフラストラクチャ管理機能間のネットワーク接続を確立するために使用される一般的な慣行である。
サービスネットワーク１１０のサービスのプロバイダなどのサービスプロバイダは、異なるアクセスモデルを使用してサービスへのアクセスを提供することができる。パブリックアクセスモデルによれば、サービスは、インターネットなどのパブリックネットワークを介して顧客ＶＣＮ内の計算インスタンスによって公的にアクセス可能なパブリックエンドポイントとして公開されてもよく、またはＳＧＷ１２６を介してプライベートにアクセスされてもよい。特定のプライベートアクセスモデルによれば、サービスは、顧客ＶＣＮ内のプライベートサブネット内のプライベートＩＰエンドポイントとしてアクセスされてもよい。これは、プライベートエンドポイント（ＰＥ：Private Endpoint）アクセスと呼ばれ、サービスプロバイダがそのサービスを顧客のプライベートネットワーク内のインスタンスとして公開することを可能にする。プライベートエンドポイントリソースは、顧客ＶＣＮ内のサービスを表す。各ＰＥは、顧客が顧客ＶＣＮ内のサブネットから選択したＶＮＩＣ（ＰＥ－ＶＮＩＣと呼ばれ、１つまたは複数のプライベートＩＰを持つ）として現れる。従って、ＰＥは、ＶＮＩＣを使用して顧客のプライベートＶＣＮサブネット内でサービスを提供する方法を提供する。エンドポイントがＶＮＩＣとして公開されるため、ＰＥ ＶＮＩＣは、ＶＮＩＣに関連する全ての機能、例えば、ルーティングルールおよびセキュリティリストなどを利用することができる。
サービスプロバイダは、サービスを登録することによって、ＰＥを介したアクセスを可能にする。プロバイダは、顧客テナントへのサービスの表示を規制するポリシーをサービスに関連付けることができる。プロバイダは、特にマルチテナントサービスの場合、単一の仮想ＩＰアドレス（ＶＩＰ）の下に複数のサービスを登録することができる。（複数のＶＣＮにおいて）同じサービスを表すプライベートエンドポイントが複数存在する場合もある。
その後、プライベートサブネット内の計算インスタンスは、ＰＥ ＶＮＩＣのプライベートＩＰアドレスまたはサービスＤＮＳ名を用いて、サービスにアクセスすることができる。顧客ＶＣＮ内の計算インスタンスは、顧客ＶＣＮ内のＰＥのプライベートＩＰアドレスにトラフィックを送信することによって、サービスにアクセスすることができる。プライベートアクセスゲートウェイ（ＰＡＧＷ：Private Access Gateway）１３０は、顧客サブネットプライベートエンドポイントから／への全てのトラフィックのイングレスポイント／エグレスポイントとして機能するサービスプロバイダＶＣＮ（例えば、サービスネットワーク１１０内のＶＣＮ）に接続できるゲートウェイリソースである。ＰＡＧＷ１３０によって、プロバイダは、内部ＩＰアドレスリソースを利用することなく、ＰＥ接続の数を拡張することができる。プロバイダは、単一のＶＣＮに登録された任意の数のサービスに対して１つのＰＡＧＷを設定するだけでよい。プロバイダは、１人以上の顧客の複数のＶＣＮにおいて、サービスをプライバシーエンドポイントとして示すことができる。顧客の観点から、ＰＥ ＶＮＩＣは、顧客のインスタンスに接続されているのではなく、顧客が対話したいサービスに接続されているように見える。プライベートエンドポイントに向けられたトラフィックは、ＰＡＧＷ１３０を介してサービスにルーティングされる。これらは、顧客対サービスプライベート接続（Ｃ２Ｓ接続）と呼ばれる。
また、ＰＥ概念を用いて、トラフィックがFastConnect/IPsecリンクおよび顧客ＶＣＮ内のプライベートエンドポイントを通って流れることを可能にすることで、サービスのプライベートアクセスを顧客オンプレミスネットワークおよびデータセンタに拡張することもできる。また、トラフィックがＬＰＧ１３２および顧客ＶＣＮ内のＰＥ間を通って流れることを可能にすることで、サービスのプライベートアクセスを顧客ピアリングＶＣＮに拡張することもできる。
顧客は、サブネットレベルでＶＣＮのルーティングを制御することができるため、ＶＣＮ１０４などの顧客ＶＣＮにおいて各ゲートウェイを使用するサブネットを指定することができる。ＶＣＮのルートテーブルを用いて、特定のゲートウェイを介してトラフィックをＶＣＮの外部にルーティングできるか否かを判断することができる。例えば、特定の事例において、顧客ＶＣＮ１０４内のパブリックサブネットのルートテーブルは、ＩＧＷ１２０を介して非ローカルトラフィックを送信することができる。同じ顧客ＶＣＮ１０４内のプライベートサブネットのルートテーブルは、ＳＧＷ１２６を介してＣＳＰサービスへのトラフィックを送信することができる。残りの全てのトラフィックは、ＮＡＴゲートウェイ１２８を介して送信されてもよい。ルートテーブルは、ＶＣＮから出るトラフィックのみを制御する。
ＶＣＮに関連するセキュリティリストは、インバウンド接続およびゲートウェイを介してＶＣＮに入来するトラフィックを制御するために使用される。サブネット内の全てのリソースは、同じミュートテーブルおよびセキュリティリストを使用する。セキュリティリストは、ＶＣＮのサブネット内のインスタンスに出入りする特定の種類のトラフィックを制御するために使用されてもよい。セキュリティリストルールは、イングレス（インバウンド）ルールと、エグレス（アウトバウンド）ルールとを含んでもよい。例えば、イングレスルールは、許可されたソースアドレス範囲を指定することができ、エグレスルールは、許可された宛先アドレス範囲を指定することができる。セキュリティルールは、特定のプロトコル（例えば、ＴＣＰ、ＩＣＭＰ）、特定のポート（例えば、ＳＳＨの場合ポート２２、ウィンドウズ（登録商標）ＲＤＰの場合ポート３３８９）などを指定することができる。特定の実装形態において、インスタンスのオペレーティングシステムは、セキュリティリストルールと一致する独自のファイアウォールルールを実施することができる。ルールは、ステートフル（例えば、接続が追跡され、応答トラフィックに対する明示的なセキュリティのリストルールなしで応答が自動的に許可される）またはステートレスであってもよい。
顧客ＶＣＮ（すなわち、ＶＣＮ１０４上に展開されたリソースまたは計算インスタンス）からのアクセスは、パブリックアクセス、プライベートアクセス、または専用アクセスとして分類されてもよい。パブリックアクセスは、パブリックＩＰアドレスまたはＮＡＴを用いてパブリックエンドポイントにアクセスするためのアクセスモデルを指す。プライベートアクセスは、プライベートＩＰアドレス（例えば、プライベートサブネット内のリソース）を持つＶＣＮ１０４内の顧客ワークロードが、インターネットなどのパブリックネットワークを経由することなく、サービスにアクセスすることを可能にする。特定の実施形態において、ＣＳＰＩ１０１は、プライベートＩＰアドレスを持つ顧客ＶＣＮワークロードが、サービスゲートウェイを使用して、サービスのパブリックサービスエンドポイントにアクセスすることを可能にする。したがって、サービスゲートウェイは、顧客ＶＣＮと顧客プライベートネットワークの外部に存在するサービスのパブリックエンドポイントとの間に仮想リンクを確立することによって、プライベートアクセスモデルを提供する。
さらに、ＣＳＰＩは、FastConnectパブリックピアリングなどの技術を使用する専用パブリックアクセスを提供することができる。この場合、顧客オンプレミスインスタンスは、インターネットなどのパブリックネットワークを経由することなく、FastConnect接続を用いて顧客ＶＣＮ内の１つまたは複数のサービスにアクセスすることができる。また、ＣＳＰＩは、FastConnectプライベートピアリングを使用する専用プライベートアクセスを提供することもできる。この場合、プライベートＩＰアドレスを持つ顧客オンプレミスインスタンスは、FastConnect接続を用いて顧客ＶＣＮワークロードにアクセスすることができる。FastConnectは、パブリックインターネットを用いて顧客オンプレミスネットワークをＣＳＰＩおよびそのサービスに接続する代わりに使用されるネットワーク接続である。FastConnectは、インターネットベースの接続と比較して、より高い帯域幅オプションと信頼性の高い一貫したネットワーキング体験を持つ専用のプライベート接続を、簡単、柔軟且つ経済的に作成する方法を提供する。
図１および上記の添付の説明は、例示的な仮想ネットワークにおける様々な仮想化要素を説明する。上述したように、仮想ネットワークは、基礎物理ネットワークまたは基板ネットワーク上に構築される。図２は、特定の実施形態に従って、仮想ネットワークの基盤を提供するＣＳＰＩ２００内の物理ネットワーク内の物理要素を示す簡略化アーキテクチャ図である。図示のように、ＣＳＰＩ２００は、クラウドサービスプロバイダ（ＣＳＰ）によって提供された要素およびリソース（例えば、計算リソース、メモリリソース、およびネットワーキングリソース）を含む分散環境を提供する。これらの要素およびリソースは、加入している顧客、すなわち、ＣＳＰによって提供された１つまたは複数のサービスに加入している顧客にクラウドサービス（例えば、ＩａａＳサービス）を提供するために使用される。顧客が加入しているサービスに基づいて、ＣＳＰＩ２００は、一部のリソース（例えば、計算リソース、メモリリソース、およびネットワーキングリソース）を顧客に提供する。その後、顧客は、ＣＳＰＩ２００によって提供された物理的な計算リソース、メモリリソース、およびネットワーキングリソースを使用して、独自のクラウドベースの（すなわち、ＣＳＰＩホスト型）カスタマイズ可能なプライベート仮想ネットワークを構築することができる。前述したように、これらの顧客ネットワークは、仮想クラウドネットワーク（ＶＣＮ）と呼ばれる。顧客は、これらの顧客ＶＣＮに、計算インスタンスなどの１つまたは複数の顧客リソースを展開することができる。計算インスタンスは、仮想マシン、ベアメタルインスタンスなどであってもよい。ＣＳＰＩ２００は、顧客が高可用性のホスト環境において広範なアプリケーションおよびサービスを構築および実行することを可能にする、インフラストラクチャおよび一連の補完的なクラウドサービスを提供する。
図２に示す例示的な実施形態において、ＣＳＰＩ２００の物理要素は、１つまたは複数の物理ホストマシンまたは物理サーバ（例えば、２０２、２０６、２０８）、ネットワーク仮想化装置（ＮＶＤ）（例えば、２１０、２１２）、トップオブラック（ＴＯＲ）スイッチ（例えば、２１４、２１６）、物理ネットワーク（例えば、２１８）、および物理ネットワーク２１８内のスイッチを含む。物理ホストマシンまたはサーバは、ＶＣＮの１つまたは複数のサブネットに参加している様々な計算インスタンスをホストし、実行することができる。計算インスタンスは、仮想マシンインスタンスおよびベアメタルインスタンスを含んでもよい。例えば、図１に示された様々な計算インスタンスは、図２に示された物理的ホストマシンによってホストされてもよい。ＶＣＮ内の仮想マシン計算インスタンスは、１つのホストマシンによって実行されてもよく、または複数の異なるホストマシンによって実行されてもよい。また、物理ホストマシンは、仮想ホストマシン、コンテナベースのホストまたは機能などをホストすることができる。図１に示されたＶＩＣおよびＶＣＮ ＶＲは、図２に示されたＦＴＶＤによって実行されてもよい。図１に示されたゲートウェイは、図２に示されたホストマシンおよび／またはＮＶＤによって実行されてもよい。
ホストマシンまたはサーバは、ホストマシン上で仮想化環境を作成するおよび可能にするハイパーバイザ（仮想マシンモニタまたはＶＭＭとも呼ばれる）を実行することができる。仮想化または仮想化環境は、クラウドベースコンピューティングを容易にする。１つまたは複数の計算インスタンスは、ホストマシン上のハイパーバイザによって、ホストマシン上で作成され、実行され、管理されてもよい。ホストマシン上のハイパーバイザは、ホストマシンの物理的な計算リソース（例えば、計算リソース、メモリリソース、およびネットワーキングリソース）をホストマシン上で実行される様々な計算インスタンス間で共有させることができる。
例えば、図２に示すように、ホストマシン２０２および２０８は、ハイパーバイザ２６０および２６６をそれぞれ実行する。これらのハイパーバイザは、ソフトウェア、ファームウエア、ハードウェア、またはそれらの組み合わせを使用して実装されてもよい。典型的には、ハイパーバイザは、ホストマシンのオペレーティングシステム（ＯＳ：Operating System）に常駐するプロセスまたはソフトウェア層であり、ＯＳは、ホストマシンのハードウェアプロセッサ上で実行される。ハイパーバイザは、ホストマシンの物理的な計算リソース（例えば、プロセッサ／コア、メモリリソース、ネットワーキングリソースなどの処理リソース）を、ホストマシンによって実行される様々な仮想マシン計算インスタンスの間で共有させる仮想化環境を提供する。例えば、図２において、ハイパーバイザ２６０は、ホストマシン２０２のＯＳに常駐し、ホストマシン２０２の計算リソース（例えば、処理リソース、メモリリソース、およびネットワーキングリソース）を、ホストマシン２０２によって実行されるコンピューティングインスタンス（例えば、仮想マシン）間で共有させることができる。仮想マシンは、独自のＯＳ（ゲストＯＳと呼ばれる）を持つことができる。このゲストＯＳは、ホストマシンのＯＳと同じであってもよく、異なってもよい。ホストマシンによって実行される仮想マシンのＯＳは、同じホストマシンによって実行される他の仮想マシンのＯＳと同じであってもよく、異なってもよい。したがって、ハイパーバイザは、ホストマシンの同じ計算リソースを共有させながら、複数のＯＳを並行して実行することができる。図２に示されたホストマシンは、同じ種類のハイパーバイザを有してもよく、異なる種類のハイパーバイザを有してもよい。
計算インスタンスは、仮想マシンインスタンスまたはベアメタルインスタンスであってもよい。図２において、ホストマシン２０２上の計算インスタンス２６８およびホストマシン２０８上の計算インスタンス２７４は、仮想マシンインスタンスの一例である。ホストマシン２０６は、顧客に提供されるベアメタルインスタンスの一例である。
特定の例において、ホストマシンの全体は、単一の顧客に提供されてもよく、そのホストマシンによってホストされている１つまたは複数の計算インスタンス（仮想マシンまたはベアメタルインスタンスのいずれか）は、全て同じ顧客に属してもよい。他の例において、ホストマシンは、複数の顧客（すなわち、複数のテナント）間で共有されてもよい。このようなマルチテナントシナリオにおいて、ホストマシンは、異なる顧客に属する仮想マシン計算インスタンスをホストすることができる。これらの計算インスタンスは、異なる顧客の異なるＶＣＮのメンバであってもよい。特定の実施形態において、ベアメタル計算インスタンスは、ハイパーバイザを設けていないベアメタルサーバによってホストされている。ベアメタル計算インスタンスが提供される場合、単一の顧客またはテナントは、ベアメタルインスタンスをホストするホストマシンの物理ＣＰＵ、メモリ、およびネットワークインターフェイスの制御を維持し、ホストマシンは、他の顧客またはテナントに共有されない。
前述したように、ＶＣＮの一部である各計算インスタンスは、計算インスタンスがＶＣＮのサブネットのメンバになることを可能にするＶＮＩＣに関連付けられる。計算インスタンスに関連付けられたＶＮＩＣは、計算インスタンスとの間のパケットまたはフレームの通信を容易にする。ＶＮＩＣは、計算インスタンスが作成されるときに当該計算インスタンスに関連付けられる。特定の実施形態において、ホストマシンによって実行される計算インスタンスについて、その計算インスタンスに関連付けられたＶＮＩＣは、ホストマシンに接続されたＮＶＤによって実行される。例えば、図２において、ホストマシン２０２は、ＶＮＩＣ２７６に関連付けられた仮想マシン計算インスタンス２６８を実行し、ＶＮＩＣ２７６は、ホストマシン２０２に接続されたＮＶＤ２１０によって実行される。別の例として、ホストマシン２０６によってホストされているベアメタルインスタンス２７２は、ホストマシン２０６に接続されたＮＶＤ２１２によって実行されるＶＮＩＣ２８０に関連付けられる。さらに別の例として、ＶＮＩＣ２８４は、ホストマシン２０８によって実行される計算インスタンス２７４に関連付けられ、ＶＮＩＣ２８４は、ホストマシン２０８に接続されているＮＶＤ２１２によって実行される。
ホストマシンによってホストされている計算インスタンスについて、そのホストマシンに接続されたＮＶＤは、計算インスタンスがメンバであるＶＣＮに対応するＶＣＮ ＶＲを実行する。例えば、図２に示された実施形態において、ＮＶＤ２１０は、計算インスタンス２６８がメンバであるＶＣＮに対応するＶＣＮ ＶＲ２７７を実行する。また、ＮＶＤ２１２は、ホストマシン２０６および２０８によってホストされている計算インスタンスに対応するＶＣＮに対応する１つまたは複数のＶＣＮ ＶＲ２８３を実行することができる。
ホストマシンは、当該ホストマシンを他の装置に接続するための１つまたは複数のネットワークインターフェイスカード（ＮＩＣ）を含むことができる。ホストマシン上のＮＩＣは、ホストマシンを別の装置に通信可能に接続するための１つまたは複数のポート（またはインターフェイス）を提供することができる。例えば、ホストマシンおよびＮＶＤに設けられた１つまたは複数のポート（またはインターフェイス）を用いて、当該ホストマシンを当該ＮＶＤに接続することができる。また、ホストマシンを他のホストマシンなどの他の装置に接続することもできる。
例えば、図２において、ホストマシン２０２は、ホストマシン２０２のＮＩＣ２３２によって提供されるポート２３４とＮＶＤ２１０のポート２３６との間に延在するリンク２２０を使用してＮＶＤ２１０に接続されている。ホストマシン２０６は、ホストマシン２０６のＮＩＣ２４４によって提供されるポート２４６とＮＶＤ２１２のポート２４８との間に延在するリンク２２４を使用してＮＶＤ２１２に接続されている。ホストマシン２０８は、ホストマシン２０８のＮＩＣ２５０によって提供されるポート２５２とＮＶＤ２１２のポート２５４との間に延在するリンク２２６を使用してＮＶＤ２１２に接続されている。
同様に、ＮＶＤは、通信リンクを介して、（スイッチファブリックとも呼ばれる）物理ネットワーク２１８に接続されているトップオブラック（ＴＯＲ）スイッチに接続されている。特定の実施形態において、ホストマシンとＮＶＤとの間のリンクおよびＮＶＤとＴＯＲスイッチとの間のリンクは、イーサネット（登録商標）リンクである。例えば、図２において、ＮＶＤ２１０および２１２は、リンク２２８および２３０を介して、ＴＯＲスイッチ２１４および２１６にそれぞれ接続される。特定の実施形態において、リンク２２０、２２４、２２６、２２８、および２３０は、イーサネットリンクである。ＴＯＲに接続されているホストマシンおよびＮＶＤの集合は、ラックと呼ばれることがある。
物理ネットワーク２１８は、ＴＯＲスイッチの相互通信を可能にする通信ファブリックを提供する。物理ネットワーク２１８は、多層ネットワークであってもよい。特定の実装形態において、物理ネットワーク２１８は、スイッチの多層Ｃｌｏｓネットワークであり、ＴＯＲスイッチ２１４および２１６は、多層およびマルチノード物理スイッチングネットワーク２１８のリーフレベルノードを表す。２層ネットワーク、３層ネットワーク、４層ネットワーク、５層ネットワーク、および一般的に「ｎ」層ネットワークを含むがこれらに限定されない異なるＣｌｏｓネットワーク構成は、可能である。ＣＩｏｓネットワークの一例は、図５に示され、以下に説明される。
ホストマシンとＮ個のＶＤとの間には、１対１構成、多対１構成、および１対多構成などの様々な異なる接続構成が可能である。１対１構成の実装例において、各ホストマシンは、それ自体の別個のＮＶＤに接続されている。例えば、図２において、ホストマシン２０２は、ホストマシン２０２のＮＩＣ２３２を介してＮＶＤ２１０に接続されている。多対１の構成において、複数のホストマシンは、１つのＮＶＤに接続されている。例えば、図２において、ホストマシン２０６および２０８は、それぞれＮＩＣ２４４および２５０を介して同じＮＶＤ２１２に接続されている。
１対多の構成において、１つのホストマシンは、複数のＮＶＤに接続されている。図３は、ホストマシンが複数のＮＶＤに接続されているＣＳＰＩ３００内の一例を示す。図３に示すように、ホストマシン３０２は、複数のポート３０６および３０Ｓを含むネットワークインターフェイスカード（ＮＩＣ）３０４を備える。ホストマシン３００は、ポート３０６およびリンク３２０を介して第１のＮＶＤ３１０に接続され、ポート３０８およびリンク３２２を介して第２のＮＶＤ３１２に接続されている。ポート３０６および３０８は、イーサネット（登録商標）ポートであってもよく、ホストマシン３０２とＮＶＤ３１０および３１２との間のリンク３２０および３２２は、イーサネット（登録商標）リンクであってもよい。ＮＶＤ３１０は、第１のＴＯＲスイッチ３１４に接続され、ＮＶＤ３１２は、第２のＴＯＲスイッチ３１６に接続されている。ＮＶＤ３１０および３１２とＴＯＲスイッチ３１４および３１６との間のリンクは、イーサネット（登録商標）リンクであってもよい。ＴＯＲスイッチ３１４および３１６は、多層物理ネットワーク３１８内の層（Tier）－０スイッチング装置を表す。
図３に示す構成は、物理スイッチネットワーク３１８からホストマシン３０２への２つの別々の物理ネットワーク経路、すなわち、ＴＯＲスイッチ３１４からＮＶＤ３１０を経由してホストマシン３０２への第１の経路と、ＴＯＲスイッチ３１６からＮＶＤ３１２を経由してホストマシン３０２への第２の経路とを提供する。別々の経路は、ホストマシン３０２の強化された可用性（高可用性と呼ばれる）を提供する。経路の一方に問題がある（例えば、経路の一方のリンクが故障する）場合または装置に問題がある（例えば、特定のＮＶＤが機能していない）場合、ホストマシン３０２との間の通信に他方の経路を使用することができる。
図３に示された構成において、ホストマシンは、ホストマシンのＮＩＣによって提供された２つの異なるポートを用いて２つの異なるＮＶＤに接続されている。他の実施形態において、ホストマシンは、ホストマシンと複数のＮＶＤとの接続を可能にする複数のＮＩＣを含んでもよい。
再び図２を参照して、ＮＶＤは、１つまたは複数のネットワーク仮想化機能および／または記憶仮想化機能を実行する物理装置または要素である。ＮＶＤは、１つまたは複数の処理ユニット（例えば、ＣＰＵ、ネットワーク処理ユニット（ＮＰＵ：Network Processing Unit）、ＦＰＧＡ、パケット処理パイプライン）、キャッシュを含むメモリ、およびポートを有する任意の装置であってもよい。様々な仮想化機能は、ＮＶＤの１つまたは複数の処理ユニットによって実行されるソフトウェア／ファームウエアによって実行されてもよい。
ＮＶＤは、様々な異なる形で実装されてもよい。例えば、特定の実施形態において、ＮＶＤは、内蔵プロセッサを搭載したスマートＮＩＣまたはインテリジェントＮＩＣと呼ばれるインターフェイスカードとして実装される。スマートＮＩＣは、ホストマシン上のＮＩＣとは別個の装置である。図２において、ＮＶＤ２１０は、ホストマシン２０２に接続されているスマートＮＩＣとして実装されてもよく、ＮＶＤ２１２は、ホストマシン２０６および２０８に接続されているスマートＮＩＣとして実装されてもよい。
しかしながら、スマートＮＩＣは、ＮＶＤ実装の一例にすぎない。様々な他の実装が可能である。例えば、いくつかの他の実装例において、ＮＶＤまたはＮＶＤによって実行される１つまたは複数の機能は、ＣＳＰＩ２００の１つまたは複数のホストマシン、１つまたは複数のＴＯＲスイッチ、および他の要素に組み込まれてもよく、またはそれらによって実行されてもよい。例えば、ＮＶＤは、ホストマシンに統合されてもよい。この場合、ＮＶＤによって実行される機能は、ホストマシンによって実行される。別の例として、ＮＶＤは、ＴＯＲスイッチの一部であってもよく、またはＴＯＲスイッチは、ＴＯＲスイッチがパブリッククラウドに使用される様々な複雑なパケット変換を実行することを可能にするＮＶＤによって実行される機能を実行するように構成されてもよい。ＮＶＤの機能を実行するＴＯＲは、スマートＴＯＲと呼ばれることがある。ベアメタル（ＢＭ：Bare Metal）インスタンスではなく仮想マシン（ＶＭ：Virtual Machine）インスタンスを顧客に提供するさらに他の実装形態において、ＮＶＤによって提供される機能は、ホストマシンのハイパーバイザの内部に実装されてもよい。いくつかの他の実装形態において、ＮＶＤの機能の一部は、一組のホストマシン上で動作する集中型サービスにオフロードされてもよい。
図２に示すように、スマートＮＩＣとして実装される場合などの特定の実施形態において、ＮＶＤは、当該ＮＶＤを１つまたは複数のホストマシンおよび１つまたは複数のＴＯＲスイッチに接続することを可能にする複数の物理ポートを備えてもよい。ＮＶＤ上のポートは、ホスト向きポート（「サウスポート」（south port）とも呼ばれる）またはネットワーク向きもしくはＴＯＲ向きポート（「ノースポート」（north port）とも呼ばれる）に分類することができる。ＮＶＤのホスト向きポートは、ＮＶＤをホストマシンに接続するために使用されるポートである。図２においてホスト向きポートの例は、ＮＶＤ２１０のポート２３６、およびＮＶＤ２１２のポート２４８および２５４を含む。ＮＶＤのネットワーク向きポートは、ＮＶＤをＴＯＲスイッチに接続するために使用されるポートである。図２のネットワーク向きポートの例は、ＮＶＤ２１０のポート２５６、およびＮＶＤ２１２のポート２５８を含む。図２に示すように、ＮＶＤ２１０は、ＮＶＤ２１０のポート２５６からＴＯＲスイッチ２１４まで延びるリンク２２８を介してＴＯＲスイッチ２１４に接続されている。同様に、ＮＶＤ２１２は、ＮＶＤ２１２のポート２５８からＴＯＲスイッチ２１６まで延びるリンク２３０を介してＴＯＲスイッチ２１６に接続されている。
ＮＶＤは、ホスト向きポートを介して、ホストマシンからパケットおよびフレーム（例えば、ホストマシンによってホストされている計算インスタンスによって生成されたパケットおよびフレーム）を受信し、必要なパケット処理を実行した後、ＮＶＤのネットワーク向きポートを介してパケットおよびフレームをＴＯＲスイッチに転送することができる。ＮＶＤは、ＮＶＤのネットワーク向きポートを介してＴＯＲスイッチからパケットおよびフレームを受信し、必要なパケット処理を実行した後、ＮＶＤのホスト向きポートを介してパケットおよびフレームをホストマシンに転送することができる。
特定の実施形態において、ＮＶＤとＴＯＲスイッチとの間に複数のポートおよび関連するリンクを設けてもよい。これらのポートおよびリンクを集約することによって、複数のポートまたはリンクのリンクアグリゲータグループ（ＬＡＧと称される）を形成することができる。リンクの集約は、２つのエンドポイント間（例えば、ＮＶＤとＴＯＲスイッチとの間）の複数の物理リンクを単一の論理リンクとして扱うことを可能にする。所定のＬＡＧ内の全ての物理リンクは、同じ速度で全二重モードで動作することができる。ＬＡＧは、２つのエンドポイント間の接続の帯域幅および信頼性を高めるのに役立つ。ＬＡＧ内の物理リンクのうちの１つが故障した場合、トラフィックは、ＬＡＧ内の別の物理リンクに動的かつ透過的に再割り当てされる。集約された物理リンクは、個々のリンクよりも高い帯域幅を提供する。ＬＡＧに関連付けられた複数のポートは、単一の論理ポートとして扱われる。トラフィックをＬＡＧの複数の物理リンクに負荷分散することができる。２つのエンドポイント間に１つまたは複数のＬＡＧを構成することができる。２つのエンドポイントは、例えば、ＮＶＤとＴＯＲスイッチとの間にあってもよく、ホストマシンとＮＶＤとの間にであってもよい。
ＮＶＤは、ネットワーク仮想化機能を実装または実行する。これらの機能は、ＮＶＤによって実行されるソフトウェア／ファームウエアによって実行される。ネットワーク仮想化機能の例は、限定されないが、パケットのカプセル化およびデカプセル化機能、ＶＣＮネットワークを作成するための機能、ＶＣＮセキュリティリスト（ファイアウォール）機能などのネットワークポリシーを実装するための機能、ＶＣＮ内の計算インスタンスとの間のパケットのルーティングおよび転送を容易にするための機能などを含む。特定の実施形態において、パケットを受信すると、ＮＶＤは、パケットを処理し、パケットをどのように転送またはルーティングするかを判断するパケット処理パイプラインを実行するように構成されている。このパケット処理パイプラインの一部として、ＮＶＤは、オーバーレイネットワークに関連する１つまたは複数の仮想機能の実行、例えば、ＶＣＮ内の計算インスタンスに関連するＶＮＩＣの実行、ＶＣＮに関連する仮想ルータ（ＶＲ：Virtual Router）の実行、仮想ネットワーク内の転送またはルーティングを容易にするためのパケットのカプセル化およびデカプセル化、特定のゲートウェイ（例えば、ローカルピアリングゲートウェイ）の実行、セキュリティリストの実装、ネットワークセキュリティグループ、ネットワークアドレス変換（ＮＡＴ）機能（例えば、ホスト毎にパブリックＩＰからプライベートＩＰへの変換）、スロットリング機能、および他の機能を提供する。
いくつかの実施形態において、ＮＶＤ内のパケット処理データ経路は、複数のパケットパイプラインを含んでもよい。各々のパケットパイプラインは、一連のパケット変換ステージから構成される。いくつかの実装形態において、パケットを受信すると、当該パケットは、解析され、単一のパイプラインに分類される。次いで、パケットは、破棄されるまたはＮＶＤのインターフェイスを介して送出されるまで、線形方式でステージ毎に処理される。これらのステージは、基本機能のパケット処理ビルディングブロック（例えば、ヘッダの検証、スロットルの実行、新しいレイヤ２ヘッダの挿入、Ｌ４ファイアウォールの実行、ＶＣＮカプセル化／デカプセル化）を提供し、その結果、既存のステージを組み立てることによって新しいパイプラインを構築することができ、新しいステージを作成して既存のパイプラインに挿入することによって新しい機能を追加することができる。
ＮＶＤは、ＶＣＮの制御プレーンおよびデータプレーンに対応する制御プレーン機能およびデータプレーン機能の両方を実行することができる。ＶＣＮ制御プレーンの例は、図１１、１２、１３、および１４（参照番号１１１６、１２１６、１３１６、および１４１６参照）に示され、以下に説明される。ＶＣＮデータプレーンの例は、図１１、１２、１３、および１４（参照番号１１１８、１２１８、１３１８、および１４１８参照）に示され、以下に説明される。制御プレーン機能は、データをどのように転送するかを制御するためのネットワークの構成（例えば、ルートおよびルートテーブルの設定、ＶＮＩＣの構成）に使用される機能を含む。特定の実施形態において、全てのオーバーレイと基板とのマッピングを集中的に計算し、ＮＶＤおよび仮想ネットワークエッジ装置（例えば、ＤＲＧ、ＳＧＷ、ＩＧＷなどの様々なゲートウェイ）に公開するＶＣＮ制御プレーンが提供される。また、同じメカニズムを使用してファイアウォールルールを公開することができる。特定の実施形態において、ＮＶＤは、当該ＮＶＤに関連するマッピングのみを取得する。データプレーン機能は、制御プレーンを使用して設定された構成に基づいて、パケットの実際のルーティング／転送を行う機能を含む。ＶＣＮデータプレーンは、顧客のネットワークパケットが基幹ネットワークを通過する前に、当該ネットワークパケットをカプセル化することによって実装される。カプセル化／デカプセル化機能は、ＮＶＤに実装される。特定の実施形態において、ＮＶＤは、ホストマシンに出入りする全てのネットワークパケットを傍受し、ネットワーク仮想化機能を実行するように構成されている。
上述したように、ＮＶＤは、ＶＮＩＣおよびＶＣＮ ＶＲを含む様々な仮想化機能を実行する。ＮＶＤは、ＶＮＩＣに接続された１つまたは複数のホストマシンによってホストされている計算インスタンスに関連するＶＮＩＣを実行することができる。例えば、図２に示すように、ＮＶＤ２１０は、ＮＶＤ２１０に接続されたホストマシン２０２によってホストされている計算インスタンス２６８に関連するＶＮＩＣ２７６の機能を実行する。別の例として、ＮＶＤ２１２は、ホストマシン２０６によってホストされているベアメタル計算インスタンス２７２に関連するＶＮＩＣ２８０を実行し、ホストマシン２０８によってホストされている計算インスタンス２７４に関連するＶＮＩＣ２８４を実行する。ホストマシンは、異なる顧客に属する異なるＶＣＮに属する計算インスタンスをホストすることができる。ホストマシンに接続されたＮＶＤは、計算インスタンスに対応するＶＮＩＣを実行する（すなわち、ＶＮＩＣに関連する機能を実行する）ことができる。
また、ＮＶＤは、計算インスタンスのＶＣＮに対応するＶＣＮ仮想ルータを実行する。例えば、図２に示された実施形態において、ＮＶＤ２１０は、計算インスタンス２６８が属するＶＣＮに対応するＶＣＮ ＶＲ２７７を実行する。ＮＶＤ２１２は、ホストマシン２０６および２０８にホストされている計算インスタンスが属する１つまたは複数のＶＣＮに対応する１つまたは複数のＶＣＮ ＶＲ２８３を実行する。特定の実施形態において、ＶＣＮに対応するＶＣＮ ＶＲは、そのＶＣＮに属する少なくとも１つの計算インスタンスをホストするホストマシンに接続された全てのＮＶＤによって実行される。ホストマシンが異なるＶＣＮに属する計算インスタンスをホストする場合、そのホストマシンに接続されたＮＶＤは、異なるＶＣＮに対応するＶＣＮ ＶＲを実行することができる。
ＶＮＩＣおよびＶＣＮ ＶＲに加えて、ＮＶＤは、様々なソフトウェア（例えば、デーモン）を実行し、ＮＶＤによって実行される様々なネットワーク仮想化機能を容易にする１つまたは複数のハードウェア要素を含むことができる。簡略化のために、これらの様々な要素は、図２に示す「パケット処理要素」としてグループ化される。例えば、ＮＶＤ２１０は、パケット処理要素２８６を含み、ＮＶＤ２１２は、パケット処理要素２８８を含む。例えば、ＮＶＤのパケット処理要素は、ＮＶＤのポートおよびハードワーキングインターフェイスと相互作用することによって、ＮＶＤを使用して受信され、通信される全てのパケットを監視し、ネットワーク情報を記憶するように構成されたパケットプロセッサを含んでもよい。ネットワーク情報は、例えば、ＮＶＤによって処理される異なるネットワークフローを特定するためのネットワークフロー情報および各フローの情報（例えば、各フローの統計情報）を含んでもよい。特定の実施形態において、ネットワークフロー情報は、ＶＮＩＣ単位で記憶されてもよい。別の例として、パケット処理要素は、ＮＶＤによって記憶された情報を１つまたは複数の異なる複製ターゲットストアに複製するように構成された複製エージェント（replication agent）を含むことができる。さらに別の例として、パケット処理要素は、ＮＶＤのロギング機能を実行するように構成されたロギングエージェント（logging agent）を含んでもよい。また、パケット処理要素は、ＮＶＤの性能および健全性を監視し、場合によっては、ＮＶＤに接続されている他の要素の状態および健全性を監視するためのソフトウェアを含んでもよい。
図１は、ＶＣＮと、ＶＣＮ内のサブネットと、サブネット上に展開された計算インスタンスと、計算インスタンスに関連付けられたＶＮＩＣと、ＶＣＮのＶＲと、ＶＣＮのために構成された一組のゲートウェイとを含む例示的な仮想またはオーバーレイネットワークの要素を示す。図１に示されたオーバーレイ要素は、図２に示された物理的要素のうちの１つ以上によって実行またはホストされてもよい。例えば、ＶＣＮ内の計算インスタンスは、図２に示された１つまたは複数のホストマシンによって実行またはホストされてもよい。ホストマシンによってホストされている計算インスタンスの場合、その計算インスタンスに関連するＶＮＩＣは、典型的には、そのホストマシンに接続されたＮＶＤによって実行される（すなわち、ＶＮＩＣ機能は、そのホストマシンに接続されたＮＶＤによって提供される）。ＶＣＮのＶＣＮ ＶＲ機能は、そのＶＣＮの一部である計算インスタンスをホストまたは実行するホストマシンに接続されている全てのＮＶＤによって実行される。ＶＣＮに関連するゲートウェイは、１つまたは複数の異なる種類のＮＶＤによって実行されてもよい。例えば、いくつかのゲートウェイは、スマートＮＩＣによって実行されてもよく、他のゲートウェイは、１つまたは複数のホストマシンまたはＮＶＤの他の実装形態によって実行されてもよい。
上述したように、顧客ＶＣＮ内の計算インスタンスは、様々な異なるエンドポイントと通信することができる。これらのエンドポイントは、ソース計算インスタンスと同じサブネットにあってもよく、異なるサブネット内であるがソース計算インスタンスと同じＶＣＮにあってもよく、またはソース計算インスタンスのＶＣＮ外部のエンドポイントを含んでもよい。これらの通信は、計算インスタンスに関連付けられたＶＮＩＣ、ＶＣＮ ＶＲ、およびＶＣＮに関連付けられたゲートウェイを用いて促進される。
ＶＣＮ内の同じサブネット上の２つの計算インスタンス間の通信は、ソース計算インスタンスおよび宛先計算インスタンスに関連付けられたＶＮＩＣを用いて促進される。ソース計算インスタンスおよび宛先計算インスタンスは、同じホストマシンによってホストされてもよく、異なるホストマシンによってホストされてもよい。ソース計算インスタンスから発信されたパケットは、ソース計算インスタンスをホストするホストマシンから、そのホストマシンに接続されたＮＶＤに転送されてもよい。ＮＶＤにおいて、パケットは、パケット処理パイプラインを用いて処理され、このパイプラインは、ソース計算インスタンスに関連するＶＮＩＣの実行を含むことができる。パケットの宛先エンドポイントが同じサブネットにあるため、ソース計算インスタンスに関連付けられたＶＮＩＣの実行により、パケットは、宛先計算インスタンスに関連付けられたＶＮＩＣを実行するＮＶＤに転送され、ＮＶＤは、パケットを処理し、宛先計算インスタンスに転送する。ソース計算インスタンスおよび宛先計算インスタンスに関連するＶＮＩＣは、（例えば、ソース計算インスタンスと宛先計算インスタンスの両方が同じホストマシンによってホストされている場合）同じＮＶＤ上で実行されてもよく、または（例えば、ソース計算インスタンスおよび宛先計算インスタンスが異なるＮＶＤに接続された異なるホストマシンによってホストされている場合）異なるＮＶＤ上で実行されてもよい。ＶＮＩＣは、ＮＶＤによって記憶されたルーティング／転送テーブルを使用して、パケットのネクストホップを決定することができる。
サブネット内の計算インスタンスから同じＶＣＮ内の異なるサブネット内のエンドポイントにパケットを通信する場合、ソース計算インスタンスから発信されたパケットは、ソース計算インスタンスをホストするホストマシンから、そのホストマシンに接続されたＮＶＤに通信される。ＮＶＤにおいて、パケットは、１つまたは複数のＶＮＩＣの実行を含むことができるパケット処理パイプラインおよびＶＣＮに関連するＶＲを用いて処理される。例えば、ＮＶＤは、パケット処理パイプラインの一部として、ソース計算インスタンスに関連するＶＮＩＣに対応する機能を実行または呼び出す（ＶＮＩＣを実行するとも呼ばれる）。ＶＮＩＣによって実行される機能は、パケット上のＶＬＡＮタグを検索することを含んでもよい。パケットの宛先がサブネットの外部にあるため、ＶＣＮ ＶＲ機能は、呼び出され、ＮＶＤによって実行される。その後、ＶＣＮ ＶＲは、パケットを、宛先計算インスタンスに関連付けられたＶＮＩＣを実行するＮＶＤにルーティングする。そして、宛先計算インスタンスに関連付けられたＶＮＩＣは、パケットを処理し、パケットを宛先計算インスタンスに転送する。ソース計算インスタンスおよび宛先計算インスタンスに関連するＶＮＩＣは、（例えば、ソース計算インスタンスと宛先計算インスタンスの両方が同じホストマシンによってホストされている場合）同じＮＶＤ上で実行されてもよく、（例えば、ソース計算インスタンスおよび宛先計算インスタンスが異なるＮＶＤに接続された異なるホストマシンによってホストされている場合）異なるＮＶＤ上で実行されてもよい。
パケットの宛先がソース計算インスタンスのＶＣＮの外部にある場合、ソース計算インスタンスから発信されたパケットは、ソース計算インスタンスをホストするホストマシンから、そのホストマシンに接続されたＮＶＤに通信される。ＮＶＤは、ソース計算インスタンスに関連するＶＮＩＣを実行する。パケットの宛先エンドポイントがＶＣＮの外部にあるため、パケットは、そのＶＣＮのＶＣＮ ＶＲによって処理される。ＮＶＤは、ＶＣＮ ＶＲ機能を呼び出し、その結果、パケットは、ＶＣＮに関連付けられた適切なゲートウェイを実行するＮＶＤに転送される場合がある。例えば、宛先が顧客オンプレミスネットワーク内のエンドポイントである場合、パケットは、ＶＣＮ ＶＲによって、ＶＣＮのために構成されたＤＲＧゲートウェイを実行するＮＶＤに転送されてもよい。ＶＣＮ ＶＲは、ソース計算インスタンスに関連するＶＮＩＣを実行するＮＶＤと同じＮＶＤ上で実行されてもよく、異なるＮＶＤによって実行されてもよい。ゲートウェイは、スマートＮＩＣ、ホストマシン、または他のＮＶＤ実装であるＮＶＤによって実行されてもよい。次いで、パケットは、ゲートウェイによって処理され、意図した宛先エンドポイントへのパケットの通信を容易にするためのネクストホップに転送される。例えば、図２に示された実施形態において、計算インスタンス２６８から発信されたパケットは、（ＮＩＣ２３２を用いて）リンク２２０を介してホストマシン２０２からＮＶＤ２１０に通信されてもよい。ＮＶＤ２１０上のＶＮＩＣ２７６は、ソース計算インスタンス２６８に関連するＶＮＩＣであるため、呼び出される。ＶＮＩＣ２７６は、パケット内のカプセル化情報を検査し、意図した宛先エンドポイントへのパケットの通信を容易にする目的でパケットを転送するためのネクストホップを決定し、決定したネクストホップにパケットを転送するように構成されている。
ＶＣＮ上に展開された計算インスタンスは、様々な異なるエンドポイントと通信することができる。これらのエンドポイントは、ＣＳＰＩ２００によってホストされているエンドポイントと、ＣＳＰＩ２００外部のエンドポイントとを含んでもよい。ＣＳＰＩ２００によってホストされているエンドポイントは、（顧客ＶＣＮ、または顧客に属さないＶＣＮであり得る）同じＶＣＮまたは他のＶＣＮ内のインスタンスを含んでもよい。ＣＳＰＩ２００によってホストされているエンドポイント間の通信は、物理ネットワーク２１８を介して実行されてもよい。また、計算インスタンスは、ＣＳＰＩ２００によってホストされていないまたはＣＳＰＩ２００の外部にあるエンドポイントと通信することもできる。これらのエンドポイントの例は、顧客オンプレミスネットワークまたはデータセンタ内のエンドポイント、またはインターネットなどのパブリックネットワークを介してアクセス可能なパブリックエンドポイントを含む。ＣＳＰＩ２００外部のエンドポイントとの通信は、様々な通信プロトコルを用いて、パブリックネットワーク（例えば、インターネット）（図２に図示せず）またはプライベートネットワーク（図２に図示せず）を介して実行されてもよい。
図２に示されたＣＳＰＩ２００のアーキテクチャは、単なる一例であり、限定することを意図していない。代替的な実施形態において、変形、代替、および修正が可能である。例えば、いくつかの実装形態において、ＣＳＰＩ２００は、図２に示されたものよりも多いまたは少ないシステムまたは要素を有してもよく、２つ以上のシステムを組み合わせてもよく、または異なるシステム構成または配置を有してもよい。図２に示されたシステム、サブシステム、および他の要素は、それぞれのシステムの１つまたは複数の処理ユニット（例えば、プロセッサ、コア）によって実行されるソフトウェア（例えば、コード、命令、プログラム）、ハードウェア、またはそれらの組み合わせで実装されてもよい。ソフトウェアは、非一時的な記憶媒体（例えば、メモリ装置）に記憶されてもよい。
図４は、特定の実施形態に従って、マルチテナント機能をサポートするためのＩ／Ｏ仮想化を提供するためのホストマシンとＮＶＤとの間の接続を示す図である。図４に示すように、ホストマシン４０２は、仮想化環境を提供するハイパーバイザ４０４を実行する。ホストマシン４０２は、２つの仮想マシンインスタンス、すなわち、顧客／テナント＃１に属するＶＭ１ ４０６と、顧客／テナント＃２に属するＶＭ２ ４０８とを実行する。ホストマシン４０２は、リンク４１４を介してＮＶＤ４１２に接続されている物理ＮＩＣ４１０を含む。計算インスタンスの各々は、ＮＶＤ４１２によって実行されるＶＮＩＣに接続されている。図４の実施形態において、ＶＭ１ ４０６は、ＶＮＩＣ－ＶＭ１ ４２０に接続され、ＶＭ２ ４０８は、ＶＮＩＣ－ＶＭ２ ４２２に接続されている。
図４に示すように、ＮＩＣ４１０は、２つの論理ＮＩＣ、すなわち、論理ＮＩＣ Ａ ４１６および論理ＮＩＣ Ｂ ４１８を含む。各仮想マシンは、それ自身の論理ＮＩＣに接続され、それ自身の論理ＮＩＣと共に動作するように構成される。例えば、ＶＭ１ ４０６は、論理ＮＩＣ Ａ ４１６に接続され、ＶＭ２ ４０８は、論理ＮＩＣ Ｂ ４１８に接続されている。ホストマシン４０２が複数のテナントによって共有されている１つの物理ＮＩＣ４１０のみからなるにもかかわらず、論理ＮＩＣにより、各テナントの仮想マシンは、自分自身のホストマシンおよびＮＩＣを所有していると信じている。
特定の実施形態において、各論理ＮＩＣには、それ自身のＶＬＡＮ ＩＤが割り当てられる。したがって、テナント＃１の論理ＮＩＣ Ａ ４１６には特定のＶＬＡＮ ＩＤが割り当てられ、テナント＃２の論理ＮＩＣ Ｂ ４１８には別のＶＬＡＮ ＩＤが割り当てられる。ＶＭ１ ４０６からパケットが通信されると、ハイパーバイザは、テナント＃１に割り当てられたタグをパケットに取り付けた後、リンク４１４を介してパケットをホストマシン４０２からＮＶＤ４１２に通信する。同様に、ＶＭ２ ４０８からパケットが通信されると、ハイパーバイザは、テナント＃２に割り当てられたタグをパケットに取り付けた後、リンク４１４を介してパケットをホストマシン４０２からＮＶＤ４１２に通信する。したがって、ホストマシン４０２からＮＶＤ４１２に通信されたパケット４２４は、特定のテナントおよび関連するＶＭを特定する関連タグ４２６を有する。ＮＶＤ上でホストマシン４０２からパケット４２４を受信した場合、当該パケットに関連するタグ４２６を用いて、当該パケットがＶＮＩＣ－ＶＭ１ ４２０によって処理されるべきか、ＶＮＩＣ－ＶＭ２ ４２２によって処理されるべきかを判断する。そして、パケットは、対応するＶＮＩＣによって処理される。図４に示された構成は、各テナントの計算インスタンスが、自分自身のホストマシンおよびＮＩＣを所有していると信じることを可能にする。図４に示された構成は、マルチテナント機能をサポートするためのＩ／Ｏ仮想化を提供する。
図５は、特定の実施形態に従って、物理ネットワーク５００を示す概略ブロック図である。図５に示された実施形態は、Ｃｌｏｓネットワークとして構築される。Ｃｌｏｓネットワークは、高い二分割帯域幅および最大リソース利用率を維持しながら、接続冗長性を提供するように設計された特定の種類のネットワークトポロジである。Ｃｌｏｓネットワークは、一種の非ブロッキング、多段または多層スイッチングネットワークであり、段または層の数は、２、３、４、５などであってもよい。図５に示された実施形態は、層１、２および３を含む３層ネットワークである。ＴＯＲスイッチ５０４は、Ｃｌｏｓネットワークの層－０スイッチを表す。１つまたは複数のＮＶＤは、ＴＯＲスイッチに接続されている。層－０スイッチは、物理ネットワークのエッジ装置とも呼ばれる。層－０スイッチは、リーフスイッチとも呼ばれる層－１スイッチに接続されている。図５に示された実施形態において、「ｍ」個の層－０ ＴＯＲスイッチは、「ｒ」個の層－１スイッチに接続され（整数ｍおよびｒは、同じ値を有していてもよく、異なる値を有していてもよい）、ポッドを形成する。ポッド内の各層－０スイッチは、ポッド内の全ての層－１スイッチに相互接続されるが、ポッド間のスイッチは、接続されない。特定の実装例において、２つのポッドは、ブロックと呼ばれる。各ブロックは、「ｑ」個の層－２スイッチ（スパインスイッチとも呼ばれる）によってサービスを提供されるまたはそれに接続されている。物理ネットワークトポロジは、複数のブロックを含んでもよい。同様に、層－２スイッチは、「ｐ」個の層－３スイッチ（スーパースパインスイッチとも呼ばれる）に接続されている（整数ｐおよびｑは、同じ値を有していてもよく、異なる値を有していてもよい）。物理ネットワーク５００を介したパケットの通信は、典型的には、１つまたは複数のレイヤ３通信プロトコルを使用して実行される。典型的には、ＴＯＲ層を除く物理ネットワークの全ての層は、冗長であり（例えば、ｐウェイ冗長、ｑウェイ冗長またはｒウェイ冗長であり）、したがって高い可用性を実現することができる。ポッドおよびブロックにポリシーを指定して、物理ネットワークのスイッチの相互可視性を制御することによって、物理ネットワークを拡張することができる。
Ｃｌｏｓネットワークの特徴は、ある層－０スイッチから別の層－０スイッチに到達する（または、層－０スイッチに接続されたＮＶＤから層－０スイッチに接続された別のＮＶＤに到達する）最大ホップカウントが一定であることである。例えば、３層のＣｌｏｓネットワークにおいて、パケットが１つのＮＶＤから別のＮＶＤに到達するために最大７つのホップが必要とされる。この場合、ソースＮＶＤおよびターゲットＮＶＤは、Ｃｌｏｓネットワークのリーフ層に接続されている。同様に、４層のＣｌｏｓネットワークにおいて、パケットが１つのＮＶＤから別のＮＶＤに到達するために最大９つのホップが必要とされる。この場合、ソースＮＶＤおよびターゲットＮＶＤは、Ｃｌｏｓネットワークのリーフ層に接続されている。したがって、Ｃｌｏｓネットワークアーキテクチャは、データセンタ内およびデータセンタ間の通信に重要なネットワーク全体の遅延を一定に保つ。Ｃｌｏｓトポロジは、水平方向に拡張可能であり、コスト効率に優れている。各階層により多くのスイッチ（例えば、より多くのリーフスイッチおよびスパインスイッチ）を増設すること、および隣接する階層のスイッチ間にリンク数を増やすことによって、ネットワークの帯域幅／スループット容量を容易に増加させることができる。
特定の実施形態において、ＣＳＰＩ内の各リソースには、クラウド識別子（ＣＩＤ）と呼ばれる固有の識別子が割り当てられる。この識別子は、リソースの情報の一部として含まれる。この識別子を用いて、例えば、コンソールまたはＡＰＩを介してリソースを管理することができる。ＣＩＤの例示的なシンタックスは、以下の通りである。
ocid1.<RESOURCE TYPE>.<REALM>.[REGION].[FUTURE USE].<UNIQUE ID>である。
式中、
「ocid1」は、ＣＩＤのバージョンを示す文字列である。
式中、
「ocid1」は、ＣＩＤのバージョンを示す文字列である。
「RESOURCE TYPE」は、リソースの種類（例えば、インスタンス、ボリューム、ＶＣＮ、サブネット、ユーザ、グループ）を表す。
「REALM」は、リソースが存在する領域を表す。例示的な値として、「ｃ１」は、商業領域を表し、「ｃ２」は、政府クラウド領域を表し、または「ｃ３」は、連邦政府クラウド領域を表す。各領域は、独自のドメイン名を持つことができる。
「REGION」は、リソースが属する地域を表す。地域がリソースに適用されない場合、この部分は空白であってもよい。
「FUTURE USE」は、将来使用のために保留されていることを示す。
「UNIQUE ID」は、固有ＩＤの部分である。このフォーマットは、リソースまたはサービスの種類によって異なる場合がある。
「UNIQUE ID」は、固有ＩＤの部分である。このフォーマットは、リソースまたはサービスの種類によって異なる場合がある。
ＲＤＭＡ／ＲｏＣＥ技術
図６は、クラウドサービスプロバイドインフラストラクチャ（ＣＳＰＩ）によってホストされ得る分散マルチテナントクラウド環境６００の一例を示す図である。図６に示すように、複数のホストマシン（例えば、６０２および６２２）は、複数のスイッチまたはより広義にネットワーキング装置を含む物理ネットワークまたはスイッチファブリック６４０を介して通信可能に接続されている。特定の実装例において、スイッチファブリック６４０は、図５に示して上記で説明したｎ層構造のＣｌｏｓネットワークであってもよく、設計は、Ｃｌｏｓファブリックおよび物理スイッチ６４２，６４４および６４６の配置によって性能を最適化することができる。実装例に応じて、「ｎ」の値は、１、２、３などであってもよい。しかし、各々の追加の層は、ファブリック全体にわたるパケット転送のレイテンシを増加させることが予想され、これは特定のアプリケーションでは望ましくない場合がある、ということに留意されたい。トップオブラック（ＴＯＲ）スイッチ６４２および６４４は、スイッチファブリック６４０内のリーフ装置または層－０装置を表す。「ｎ」の値に応じて、スイッチファブリック６４０は、１つまたは複数のスパインスイッチ、スーパースパインスイッチなどを含み得る。図６において、ＴＯＲスイッチ６４２とＴＯＲスイッチ６４４との間のスイッチ（例えば、図５における層－１スイッチ、層－２スイッチおよび層－３スイッチ）は、中間スイッチ６４６で表現される。中間スイッチ６４６は、一般に、１つまたは複数のスイッチまたはネットワーキング装置を含み得る。また、スイッチファブリック６４０は、顧客の計算インスタンスが到達できないスイッチ基板ＩＰアドレスを（例えば、管理の目的で）含むように実装されてもよい。（例えば、バグなどに起因して発生し得るループを回避するために）スイッチファブリック６４０のＴＯＲスイッチ上にスパニングツリープロトコル（ＳＴＰ：Spanning Tree Protocol）を実装することが望ましい場合がある。いくつかの構成では、スイッチファブリック６４０上の各ＴＯＲスイッチは、サービス（例えば、データベースクラウドサービス、ＨＰＣクラウドサービス、ＧＰＵクラウドサービスなど）ごとに専用であり、様々なサービスのトラフィックは、より高い層（例えば、中間スイッチ６４６）でのみ混合される。
図６は、クラウドサービスプロバイドインフラストラクチャ（ＣＳＰＩ）によってホストされ得る分散マルチテナントクラウド環境６００の一例を示す図である。図６に示すように、複数のホストマシン（例えば、６０２および６２２）は、複数のスイッチまたはより広義にネットワーキング装置を含む物理ネットワークまたはスイッチファブリック６４０を介して通信可能に接続されている。特定の実装例において、スイッチファブリック６４０は、図５に示して上記で説明したｎ層構造のＣｌｏｓネットワークであってもよく、設計は、Ｃｌｏｓファブリックおよび物理スイッチ６４２，６４４および６４６の配置によって性能を最適化することができる。実装例に応じて、「ｎ」の値は、１、２、３などであってもよい。しかし、各々の追加の層は、ファブリック全体にわたるパケット転送のレイテンシを増加させることが予想され、これは特定のアプリケーションでは望ましくない場合がある、ということに留意されたい。トップオブラック（ＴＯＲ）スイッチ６４２および６４４は、スイッチファブリック６４０内のリーフ装置または層－０装置を表す。「ｎ」の値に応じて、スイッチファブリック６４０は、１つまたは複数のスパインスイッチ、スーパースパインスイッチなどを含み得る。図６において、ＴＯＲスイッチ６４２とＴＯＲスイッチ６４４との間のスイッチ（例えば、図５における層－１スイッチ、層－２スイッチおよび層－３スイッチ）は、中間スイッチ６４６で表現される。中間スイッチ６４６は、一般に、１つまたは複数のスイッチまたはネットワーキング装置を含み得る。また、スイッチファブリック６４０は、顧客の計算インスタンスが到達できないスイッチ基板ＩＰアドレスを（例えば、管理の目的で）含むように実装されてもよい。（例えば、バグなどに起因して発生し得るループを回避するために）スイッチファブリック６４０のＴＯＲスイッチ上にスパニングツリープロトコル（ＳＴＰ：Spanning Tree Protocol）を実装することが望ましい場合がある。いくつかの構成では、スイッチファブリック６４０上の各ＴＯＲスイッチは、サービス（例えば、データベースクラウドサービス、ＨＰＣクラウドサービス、ＧＰＵクラウドサービスなど）ごとに専用であり、様々なサービスのトラフィックは、より高い層（例えば、中間スイッチ６４６）でのみ混合される。
ホストマシン６０２および６２２は、複数の顧客またはテナントの計算インスタンスをホストすることができるため、マルチテナントホストマシンと称することができる。例えば、図６に示すように、ホストマシン６０２は、顧客Ａの計算インスタンスＡ－１ ６０４と、顧客Ｂの計算インスタンスＢ－１とをホストする。ホストマシン６０４は、顧客Ａの計算インスタンスＡ－２ ６２４と、顧客Ｂの計算インスタンスＢ－２ ６２６とをホストする。特定の実施形態において、計算インスタンス６０４，６０６，６２４および６２６は、仮想マシンである。このように、異なる顧客に属する仮想マシンを同一のホストマシン上にホストすることができる。しかし、これらの計算インスタンスの各々は、ホストマシン全体を所有しているという経験をする。特定の実施形態において、顧客の計算インスタンスは、ベアメタルホストも含み得る。本開示の教示は、仮想マシンまたはベアメタルホストの形態の計算インスタンスに適用することができる。説明しやすくするために、図１の例はマルチテナントホストマシン６０２および６２２を２つだけ示しているが、これは限定的であるよう意図されるものではない。本開示によって開示されている原理は、任意の特定の数のマルチテナントホストに限定されるものではなく、より多くの数のマルチテナントホストを含む特定の例、および／または、ベアメタルホスト（例えば、シングルテナントホスト）である１つまたは複数の計算インスタンスも含む特定の例も実現可能である。
図６に示すマルチテナント環境では、様々な顧客の計算インスタンスから発信されるトラフィックおよび様々な顧客の計算インスタンスに向けられるトラフィックを互いに適切に分離することが望ましい。特定の実施形態において、このトラフィック分離は、別々の顧客のために別々のネットワークドメインを構成することによってなされる。例えば、顧客Ａの計算インスタンスは、顧客Ｂの計算インスタンスが割り当てられるネットワークドメインとは別物であって、且つ、それとは異なっている特定のネットワークドメインに割り当てられてもよい。特定の実装例において、これらのネットワークドメインは、仮想ＬＡＮ（ＶＬＡＮ）の形態で構成され得て、各ＶＬＡＮは、固有のＶＬＡＮ識別子によって識別される。例えば、図６では、顧客Ａの計算インスタンスＡ－１ ６０４およびＡ－２ ６２４はＶＬＡＮ１００１に割り当てられ、「１００１」は固有のＶＬＡＮ識別子を表す。顧客Ｂの計算インスタンスＢ－１ ６０６およびＢ－２ ６２６はＶＬＡＮ１００２に割り当てられ、「１００２」は固有のＶＬＡＮ識別子を表す。説明しやすくするために、図1の例は各ＶＬＡＮ１００１および１００２のメンバを２つだけ示しているが、これは限定的であるよう意図されるものではない。本開示によって開示されている原理は、任意の特定の数のＶＬＡＮメンバに限定されるものではない。また、図６に示すように２つだけではなく複数のＶＬＡＮが存在してもよい。ＩＥＥＥ８０２．１Ｑ規格は、例えば４０９６個までの異なるＶＬＡＮの識別をサポートする。
特定の実装例において、同一の顧客に属する計算インスタンスが異なるクオリティオブサービス期待値を有している場合がある。例えば、顧客は、サービスＡ（例えば、シミュレーションサービス）に対応する１つまたは複数の計算インスタンスの第１のセットおよびサービスＢ（例えば、バックアップサービス）に対応する計算インスタンスの第２のセットなどの、２つ以上の異なるサービス（またはアプリケーションまたは部門）に属する計算インスタンスを有している場合があり、これら２つのサービスは、（例えば、レイテンシ、パケットロス、帯域幅要件などの点で）非常に異なったクオリティオブサービス期待値を有している。例えば、サービスＡは、サービスＢよりもレイテンシの影響を受けやすい可能性があり、その結果、顧客は、サービスＡに関連するトラフィックがサービスＢに関連するトラフィックとは異なるトラフィッククラス（例えば、より高い優先度）を与えられることを望む場合がある。そのような状況では、同一の顧客に属する異なる計算インスタンスは、異なるクオリティオブサービス要件を有することになる。
同一のＶＬＡＮ上の計算インスタンスまたはピアＶＬＡＮ（例えば、同一のテナントに属しているが異なるＶＬＡＮ ＩＤを有し得る異なるレイヤ２ドメイン上のＶＬＡＮ）上の計算インスタンスは、互いに通信することを望む場合がある。特定の実装例において、ＶＬＡＮ（または、ピアＶＬＡＮ）上の計算インスタンスは、ＲＤＭＡおよびＲｏＣＥプロトコルを使用してデータをやりとりすることができる。そのような実装例では、これらの計算インスタンスをホストするホストマシンは、ＲＤＭＡおよびＲｏＣＥベースの通信を可能にする特別なハードウェアおよびソフトウェアを備えている。例えば、図６に示すように、ホストマシン６０２および６２２は、ホストマシン６０２によってホストされた計算インスタンスが、ホストマシン６２２によってホストされた計算インスタンスと、ＲＤＭＡおよびＲｏＣＥプロトコルを使用して、同一のＶＬＡＮ（または、ピアＶＬＡＮ）上でデータをやりとりすることを可能にするＲＤＭＡネットワークインターフェイスカード（ＮＩＣ）（例えば、ＲｏＣＥ ＮＩＣ）６０８および６２８をそれぞれ含む。ＲｏＣＥ ＮＩＣは、例えば、ホストマシン内にインストールされたハードウェアアセンブリ（例えば、インターフェイスカード）として実装されてもよい（例えば、マルチテナントホストマシン６０２にインストールされたＲｏＣＥ ＮＩＣ６０８およびホストマシン６２２にインストールされたＲｏＣＥ ＮＩＣ６２８）。同一のＶＬＡＮ１００１に属する計算インスタンスＡ－１ ６０４およびＡ－２ ６２４は、ホストマシン６０２および６２２におけるＲｏＣＥ ＮＩＣ６０８および６２８をそれぞれ使用して、ＲＤＭＡおよびＲｏＣＥプロトコルを使用してデータをやりとりすることができる。特定の実装例において、これらのＲｏＣＥ ＮＩＣは、図２および図３に示して上記で説明したＮＩＣとは別物である。他の実装例において、図２および図３に示したＮＩＣは、ＲｏＣＥ ＮＩＣとしても動作するように構成されてもよい。
図６に示す例に示されるように、ＲｏＣＥ ＮＩＣは、ＲｏＣＥエンジンを含み、仮想関数（例えば、ＳＲ－ＩＯＶ関数）を実装しており、仮想関数の各々は、ホストマシンによってサポートされる仮想マシンのうちの異なる対応する１つのために構成され得る。この例では、ＲｏＣＥ ＮＩＣは、ＳＲ－ＩＯＶ（シングルルート入力／出力仮想化）と呼ばれる技術を通じてマルチテナンシをサポートするように実装され、これにより、物理装置が周辺機器相互接続エクスプレス（ＰＣＩエクスプレスまたはＰＣＩｅ）バス上に複数の異なる仮想インスタンス（「仮想関数」またはＶＦとも呼ばれる）として現れることを可能にし、各ＶＦは、それぞれのＶＭに割り当てられ、他のＶＦのリソースとは別物のリソースを有する。例えば、図６では、ホストマシン６０２上のＲｏＣＥ ＮＩＣ６０８は、ＲｏＣＥエンジン６１０と、仮想マシン計算インスタンスＡ－１ ６０４のための仮想関数ＶＦ－Ａ－１ ６１２と、仮想マシン計算インスタンスＢ－１ ６０６のための仮想関数ＶＦ－Ｂ－１ ６１４とを含む。ホストマシン６２２上のＲｏＣＥ ＮＩＣ６２８は、ＲｏＣＥエンジン６３０と、仮想マシン計算インスタンスＡ－２ ６２４のための仮想関数ＶＦ－Ａ－２ ６３２と、仮想マシン計算インスタンスＢ－２ ６２６のための仮想関数ＶＦ－Ｂ－２ ６３４とを含む。説明しやすくするために、図６における例は、ホストマシン当たり仮想関数を２つだけ示しているが、これは、限定的であるよう意図されるものでは決してなく、本開示に記載されている原理は、任意の特定の数の仮想関数に限定されるものではない。一例において、ＳＲ－ＩＯＶは、１つの物理ＮＩＣポートについて１６個までのＶＦをサポートしてもよく、ホストマシンも複数のＲＤＭＡ ＮＩＣ（例えば、複数のＲｏＣＥ ＮＩＣ）を有していてもよい。
特定の実施形態において、ＲｏＣＥ ＮＩＣの仮想関数は、特定の仮想マシン計算インスタンスのためのホストマシン上のハイパーバイザによってプログラムされ、スイッチファブリック６４０などのネットワークを介して通信される仮想マシンからのパケットが、仮想マシンが属するＶＬＡＮに対応するＶＬＡＮタグ（例えば、８０２．１Ｑ ＶＬＡＮタグ）でタグ付けされることを強制するように構成されている。図６に示す例では、仮想関数ＶＦ－Ａ－１ ６１２は、ＶＬＡＮ１００１を示すＶＬＡＮタグ（例えば、値１００１を有するＶＬＡＮ ＩＤを有するＶＬＡＮタグ）を、仮想マシン計算インスタンスＡ－１ ６０４からのデータを運ぶパケットに追加するように構成され得て、仮想関数ＶＦ－Ｂ－１ ６１４は、ＶＬＡＮ１００２を示すＶＬＡＮタグ（例えば、値１００２を有するＶＬＡＮ ＩＤを有するＶＬＡＮタグ）を、仮想マシン計算インスタンスＢ－１ ６０６からのデータを運ぶパケットに追加するように構成され得る。同様に、仮想関数ＶＦ－Ａ－２ ６３２は、ＶＬＡＮ１００１を示すＶＬＡＮタグ（例えば、値１００１を有するＶＬＡＮ ＩＤを有するＶＬＡＮタグ）を、仮想マシン計算インスタンスＡ－２ ６２４からのデータを運ぶパケットに追加するように構成され得て、仮想関数ＶＦ－Ｂ－２ ６３４は、ＶＬＡＮ１００２を示すＶＬＡＮタグ（例えば、値１００２を有するＶＬＡＮ ＩＤを有するＶＬＡＮタグ）を、仮想マシン計算インスタンスＢ－２ ６２６からのデータを運ぶパケットに追加するように構成され得る。これらのＶＬＡＮタグは、異なるＶＬＡＮに属するトラフィック（例えば、図６では、顧客Ｂの計算インスタンスに属するトラフィックから顧客Ａの計算インスタンスに属するトラフィック）を隔離または分離するために下流のネットワーク要素によって使用され得る。
特定の実装例において、それぞれの計算インスタンスに割り当てられた仮想関数は、ＲＤＭＡデータ転送のために、対応する計算インスタンスのメモリ空間からのダイレクトメモリアクセス（ＤＭＡ）読取動作を実行するとともに、メモリ空間へのＤＭＡ書込動作を実行するように（例えば、ＲｏＣＥ ＮＩＣ上のＲｏＣＥエンジンと協働で）構成されている。図６の例では、仮想関数ＶＦ－Ａ－１ ６１２は、ＲｏＣＥエンジン６０８と連携して、ＲＤＭＡ処理の一部として計算インスタンスＡ－１ ６０４に対してダイレクトメモリアクセス読取および書込動作を実行するように構成されている。同様に、仮想関数ＶＦ－Ｂ－１ ６１４は、ＲｏＣＥエンジン６０８と連携して、ＲＤＭＡ処理の一部として計算インスタンスＢ－１ ６０６に対してダイレクトメモリアクセス読取および書込動作を実行するように構成されている。
ＲｏＣＥ ＮＩＣ内のＲｏＣＥエンジンは、ホストマシンからのＲＤＭＡ／ＲｏＣＥトラフィックの送信を容易にするとともに、別のホストマシンによって送信されたＲＤＭＡ／ＲｏＣＥトラフィックの受信を容易にするように構成されている。特定の実施形態において、ＲｏＣＥエンジンは、計算インスタンスのアプリケーションメモリにおいてアドレス範囲を識別する命令（例えば、メタデータ）を受信し、このアドレス範囲は、ＲＤＭＡおよびＲｏＣＥを使用してターゲット計算インスタンスのアプリケーションメモリに転送されるデータのブロックを表す。例えば、ＲｏＣＥエンジン６１０は、データ転送のためにセットアップされたＲＤＭＡチャネルを識別する情報と、ＲＤＭＡを使用して計算インスタンスＡ－１ ６０４のアプリケーションメモリから（すなわち、ホストマシン６０２によって提供されるＡ－１のアプリケーションメモリから）ホストマシン６２２上の計算インスタンスＡ－２ ６２４のアプリケーションメモリに（すなわち、ホストマシン６２２によって提供されるＡ－２のアプリケーションメモリに）転送されるデータのブロックを表すアドレス範囲とを受信し得る。ＲｏＣＥエンジンは、ソース計算インスタンスのアプリケーションメモリからのデータにアクセスし、ターゲットまたは宛先計算インスタンスへのデータの通信を可能にする適切なパケットフォーマットでデータをパケット化し（すなわち、データのためのレイヤ２フレームを生成して組み立てて）、次いで、パケットをＴＯＲスイッチ（例えば、データを宛先計算インスタンスに転送するために使用されるスイッチファブリック内のリーフスイッチ）に通信するように構成されている。したがって、ＲｏＣＥエンジンはオフロードエンジンであり、ホストマシンのＣＰＵまたはＯＳはデータ転送に関与しなくてもよい。そのようなオフローディングは、データ転送に関係するレイテンシを減少させる。
例えば、ＲｏＣＥエンジン６１０は、ヘッダ（例えば、ＵＤＰヘッダおよびＩＰヘッダ）およびＶＬＡＮタグ（例えば、仮想関数６１２および６１４によって強制される）をデータペイロードに付与して、ＶＬＡＮタグ付きＲｏＣＥｖ２フォーマットパケットを作成し、ワイヤ（例えば、イーサネットケーブル）を介してスイッチファブリック６４０のリーフスイッチ（例えば、ＴＯＲスイッチ６４２）にＲｏＣＥｖ２パケットを送信するように構成され得る。スイッチファブリックからＲｏＣＥエンジンに入来するトラフィックに関して、ＲｏＣＥエンジン６１０は、ＴＯＲスイッチ６４２からＲｏＣＥｖ２パケットを受信し、ＵＤＰヘッダおよびＩＰヘッダを除去し、ＶＬＡＮタグを取り去り、（例えば、ソースホストによって送信されたＩＢペイロードとしての）結果として得られる各フレームを、パケットが受信されたＶＬＡＮ ＩＤにマッピングされるＳＲ－ＩＯＶ仮想関数に転送するように構成され得る。仮想関数は、パケットのデータペイロードを対応するＶＬＡＮ上の宛先計算インスタンスのメモリ空間に格納するように構成され得る。
次いで、ＲｏＣＥ ＮＩＣによって組み立てられたレイヤ２フレームは、レイヤ３ルーティングプロトコルを使用して、レイヤ３スイッチファブリック内の複数のネットワーキング装置を経由して、宛先またはターゲット計算インスタンスをホストするホストマシンのＲｏＣＥ ＮＩＣに通信される。例えば、データがＲＤＭＡおよびＲｏＣＥを使用して図６における計算インスタンスＡ－１ ６０４からホストマシン６２２上の宛先計算インスタンスＡ－２ ６２４に転送される場合、データペイロードを有するパケットがとる経路は以下の通りである。すなわち、ホストマシン６０２上のソース計算インスタンスＡ－１ ６０４→ホストマシン６０２上のＲｏＣＥ ＮＩＣ６０８→ＴＯＲスイッチ６４２→１つまたは複数の中間スイッチ６４６→ＴＯＲスイッチ６４４→ホストマシン６２２上のＲｏＣＥ ＮＩＣ６２８→ホストマシン６２２上の計算インスタンスＡ－２ ６２４である。この通信の一部として、スイッチファブリック６４０のイングレスエッジ装置を表すＴＯＲスイッチ６４２は、スイッチファブリック６４０を介してパケットを通信するために使用されるレイヤ３トンネリングプロトコルに対応するラッパー（例えば、１つまたは複数のヘッダを含む）内のパケットをカプセル化することによって、ＲｏＣＥ ＮＩＣから受信されたレイヤ２フレームをレイヤ３パケットに変換するように構成されている。ＶｘＬＡＮ、ＮＶＧＲＥ、ＳＴＴ、ＧＥＮＥＶＥ、ＭＰＬＳなどの様々な異なるトンネリングプロトコルが使用されてもよい。次いで、レイヤ３パケットは、ＴＯＲスイッチ６４２から１つまたは複数の中間スイッチ６４６を経由して、スイッチファブリック６４０のエグレスエッジ装置を表すＴＯＲスイッチ６４４に移動する。ＴＯＲスイッチ６４４は、パケットをデカプセル化してそれらをレイヤ２フレームに変換するように構成されており、パケットは、次いで、宛先またはターゲット計算インスタンスＡ－２ ６２４をホストするホストマシン６２２上のＲｏＣＥ ＮＩＣ６２８に通信される。次いで、ホストマシン６２２上のＲｏＣＥ ＮＩＣ６２８は、データを宛先計算インスタンスＡ－２ ６２４に転送する。パケットは、パケットデータを計算インスタンスＡ－２ ６２４のアプリケーションメモリに書き込むことによって計算インスタンスＡ－２に転送され得る。ＲＤＭＡおよびＲｏＣＥを使用したマルチテナントホストマシンから別のマルチテナントホストマシンへのデータの転送を容易にするために様々なネットワーク要素によって実行される処理に関連する詳細については、以下で説明する。
別の例として、計算インスタンスＢ－１ ６０６がデータを計算インスタンスＢ－２ ６２６に転送したい場合、パケットがとる経路は以下の通りである。すなわち、ホストマシン６０２上のソース計算インスタンスＢ－１ ６０６→ホストマシン６０２上のＲｏＣＥ ＮＩＣ６０８→ＴＯＲスイッチ６４２→１つまたは複数の中間スイッチ６４６→ＴＯＲスイッチ６４４→ホストマシン６２２上のＲｏＣＥ ＮＩＣ６２８→ホストマシン６２２上の計算インスタンスＢ－２ ６２６である。このように、スイッチファブリック６４０は、レイヤ２ＲｏＣＥトラフィックの通信のために顧客またはテナントによって共有される。同一のスイッチファブリックを使用して、異なるテナントのＲｏＣＥパケットを通信する。異なるテナントからのＲｏＣＥパケット（および任意に、通常の非ＲｏＣＥ ＩＰトラフィック）が同一の共通のネットワークファブリックを流れている。この共通のネットワークファブリック内のトラフィックの隔離は、パケットに関連付けられたタグを使用してなされる。各顧客（例えば、ＶＬＡＮまたはピアＶＬＡＮ上の顧客の計算インスタンス）は、ＲｏＣＥトラフィックを転送するための専用のレイヤ２ネットワークを有していることを経験するが、実際には、トラフィックは、共有のクラウドベースのレイヤ３スイッチファブリックネットワークを介して運ばれる。顧客のアプリケーションに従ってＲｏＣＥトラフィックを生成するホストマシンは、レイヤ３パケットではなくレイヤ２イーサネットフレーム（レイヤ２パケットとも呼ばれる）を生成する。
図７Ａ、図７Ｂおよび図７Ｃは、特定の実施形態に従って、レイヤ３ルーティングプロトコルを使用して、共有のレイヤ３スイッチファブリックを介したマルチテナントソースホストマシン上のソース計算インスタンスからマルチテナント宛先ホストマシン上の宛先計算インスタンスへのＲＤＭＡデータ転送を実行するための処理を示す概略フローチャート７００を示す図である。図７Ａ～図７Ｃに示す処理は、それぞれのシステムの１つまたは複数の処理ユニット（例えば、プロセッサ、コア）によって実行されるソフトウェア（例えば、コード、命令、プログラム）、ハードウェア、またはそれらの組み合わせで実装されてもよい。ソフトウェアは、非一時的な記憶媒体（例えば、メモリ装置）に格納されてもよい。図７Ａ～図７Ｃに示して以下で説明する方法は、例示的且つ非限定的であるよう意図されている。図７Ａ～図７Ｃは、様々な処理ステップが特定のシーケンスまたは順序で行われることを示しているが、この描写は限定的であるよう意図されるものではない。特定の代替的な実施形態では、処理は何らかの異なる順序で実行されてもよく、および／または、いくつかのステップは並行して実行されてもよい。図６に示す実施形態などの特定の実施形態において、図７Ａ～図７Ｃに示す処理は、ＲｏＣＥ ＮＩＣ６０８および６２８、スイッチファブリック６４０のＴＯＲスイッチ６４２および６４４、ならびにスイッチファブリック６４０の１つまたは複数の中間スイッチ６４６によって協働して実行され得る。図７Ａ～図７Ｃに示して以下で説明する方法は、ＲｏＣＥｖ２および他の将来のバージョンなどのＲｏＣＥの様々なバージョン、ならびにＶＬＡＮタギングをサポートする他のＲＤＭＡプロトコルに従ったレイヤ２ＲＤＭＡパケットで使用され得る。
方法を説明する目的で、図６に示す実施形態を使用した一例として、データは、ＲＤＭＡおよびＲｏＣＥを使用して、ホストマシン６０２によってホストされる計算インスタンスＡ－１ ６０４からホストマシン６２２によってホストされる計算インスタンスＡ－２ ６２４に転送され、Ａ－１およびＡ－２は、同一の顧客Ａに属しており、同一のＶＬＡＮ１００１上にあるものとする。転送対象のデータを発信する計算インスタンス（例えば、Ａ－１ ６０４）は、ソース計算インスタンスと称され得て、ソース計算インスタンスをホストするホストマシン（例えば、ホストマシン６０２）は、ソースホストマシンと称され得る。データの転送先の計算インスタンス（例えば、Ａ－２ ６２４）は、宛先またはターゲット計算インスタンスと称され得て、宛先計算インスタンスをホストするホストマシン（例えば、ホストマシン６２２）は、宛先またはターゲットホストマシンと称される。ソース計算インスタンスおよび宛先計算インスタンスは、仮想マシンまたはベアメタルインスタンスであってもよい。ソースホストマシンおよび宛先ホストマシンは、同一のイーサネットドメイン内にあってもよく、異なるイーサネットドメイン内にあってもよい。
７０２において、ソース計算インスタンスをホストするソースホストマシン上のＲｏＣＥ ＮＩＣは、ＲＤＭＡおよびＲｏＣＥを使用してソース計算インスタンスから宛先計算インスタンスに転送されるデータを識別する情報を（例えば、仮想関数から）受信する。例えば、ＲｏＣＥ ＮＩＣは、ソース計算インスタンスを識別する情報と、ソース計算インスタンスから宛先計算インスタンスに転送されるデータのブロックを識別するメモリアドレス範囲とを受信し得る。図６に示す実施形態では、ＲｏＣＥ ＮＩＣ６０８は、ホストマシン６０２によってホストされる計算インスタンスＡ－１ ６０４からホストマシン６２２によってホストされる計算インスタンスＡ－２ ６２４にデータのブロックが転送されるという情報を受信し得る。
７０４において、ＲｏＣＥ ＮＩＣは、ソースホストマシン上のソース計算インスタンスのアプリケーションメモリから転送されるデータにアクセスして、転送されるデータのためのレイヤ２ ８０２．１Ｑタグ付きＲｏＣＥパケットを生成し、ＶＬＡＮ情報は、各パケットに付与された８０２．１Ｑタグに符号化され、ＱｏＳ情報は、パケットの１つまたは複数のヘッダに符号化される。各レイヤ２ ８０２．１Ｑタグ付きＲｏＣＥパケットは、１つの８０２．１Ｑタグを有していてもよく、または２つ以上の８０２．１Ｑタグ（例えば、本開示に記載されている８０２．１ａｄまたは「Ｑ－ｉｎ－Ｑタギング」）を有していてもよい。データは、ＲｏＣＥ ＮＩＣ上のダイレクトメモリアクセス（ＤＭＡ）コントローラを使用してメモリからアクセスされてもよく、アクセスされたデータは、次いで、パケットのためのＲＤＭＡペイロードチャンクに分解することによってパケット化される。例えば、ソース計算インスタンスから宛先計算インスタンスへの転送のために、１メガバイト（ＭＢ）のデータがマーキングされ得る。ＲｏＣＥ ＮＩＣは、ソース計算インスタンスのアプリケーションメモリからこのデータにアクセスして、データを２キロバイト（ＫＢ）のチャンクに分割し得て、各チャンクは、宛先計算インスタンスに転送されるＲＤＭＡペイロードを表す。次いで、各ペイロードは、ＲｏＣＥ ＮＩＣによってパケット化されて、ＲｏＣＥレイヤ２パケット（または、「フレーム」）が生成される。パケットは、ＲｏＣＥｖ２（または他のＲｏＣＥプロトコル、またはＶＬＡＮタギングをサポートする別のＲＤＭＡプロトコル）などのＲｏＣＥプロトコルの適切なバージョンに従ってフォーマットされる。
ＲｏＣＥ ＮＩＣは、８０２．１Ｑタグを各ＲｏＣＥパケットに追加し、８０２．１Ｑタグは、ソース計算インスタンスが属するＶＬＡＮ（例えば、ＶＬＡＮ識別子）を識別する情報を符号化する。８０２．１Ｑプロトコルは、ＶＬＡＮの使用およびイーサネットネットワーク上でのＶＬＡＮのサポートをカバーする。８０２．１Ｑプロトコルは、タグ（８０２．１Ｑタグと称される）を使用して、トランクを横断するとともに様々なＶＬＡＮに属するトラフィックの境界を定める。
特定の実施形態において、７０４における処理は、ＲｏＣＥ ＮＩＣ上のＲｏＣＥエンジン、およびソース計算インスタンスに対応するＲｏＣＥ ＮＩＣ上の仮想関数によって協働して実行される。ＲｏＣＥエンジンは、ＲｏＣＥパケットを生成することを担当する。ＲｏＣＥエンジンは、パケットに追加される８０２．１Ｑタグに符号化される、ＶＬＡＮ識別子を識別する情報またはパケットのＱｏＳ情報を有していなくてもよい。特定の実施形態において、ソース計算インスタンスに対応する仮想関数は、ソース計算インスタンスのＶＬＡＮを示す特定のＶＬＡＮ識別子を提供する。このＶＬＡＮ識別子は、次いで、各パケットに追加される８０２．１Ｑタグに符号化される。特定の実装例において、ホストマシン上の仮想関数は、ホストマシンのＲｏＣＥ ＮＩＣからスイッチファブリックネットワークの方に出てくるパケットが８０２．１Ｑ ＶＬＡＮタグを有することを強制するようにハイパーバイザによってプログラムされる。例えば、図６に示す実施形態では、ＶＦ ＶＦ－Ａ－１ ６１２は、ＶＬＡＮ１００１を示すＶＬＡＮ ＩＤを有するソース計算インスタンスＡ－１ ６０４からのＲｏＣＥパケットのマーキングを強制するように実装され得て、ＶＦ ＶＦ－Ｂ－１ ６１４は、ＶＬＡＮ１００２を示すＶＬＡＮ ＩＤを有するソース計算インスタンスＢ－１ ６０６からのＲｏＣＥパケットのマーキングを強制するように実装され得る。
ＱｏＳ情報は、８０２．１Ｑタグ付きＲｏＣＥパケットの１つまたは複数の異なる部分に符号化され得る。特定の実装例では、ＱｏＳ情報は、各パケットのＩＰヘッダのＤＳＣＰビットに符号化される。特定の他の実施形態では、ＱｏＳ情報は、各パケットのイーサネットヘッダ内の８０２．１ｐビットに符号化されてもよい。一般に、ＱｏＳ情報は、様々なトラフィックフローの優先度（または、クラス）を示す情報を含む。パケットのＱｏＳ情報は、パケットをその宛先に転送／ルーティングするのに使用される当該パケットの特定の優先度クラスを指定することができる。例えば、ＱｏＳ情報は、ＲｏＣＥパケットに割り当てられた優先度（例えば、高い、低い、など）を識別する情報を含み得る。また、ＱｏＳ情報は、フロー制御、バッファ割り当て、キューイング、スケジューリングなどに関連する各優先度クラスの様々なパラメータを指定する情報などの他の情報を含み得る。一例において、ＱｏＳ情報は、ＲＤＭＡ転送を開始する計算インスタンスによって提供される。
図８Ａは、ＲｏＣＥプロトコルのバージョン２（ＲｏＣＥｖ２）に従ったＲｏＣＥパケットフォーマットを示す図である。図８Ａに示すように、ＲｏＣＥｖ２パケット８００は、２２バイトのイーサネットヘッダ８０１と、２０バイトのＩＰヘッダ８０３と、８バイトのＵＤＰヘッダ８０４とを含む。イーサネットヘッダ８０１は、８バイトのプリアンブルフィールド８１６と、６バイトの宛先ＭＡＣアドレスフィールド８０９と、６バイトのソースＭＡＣアドレスフィールド８１０と、２バイトのイーサタイプフィールド８１１（その値は、ヘッダがＩＰパケットに付与されることを示す）とを含む。ＵＤＰヘッダ８０４は、ＲｏＣＥｖ２を指定する４７９１という宛先ポート番号を示す値を含む。また、ＲｏＣＥｖ２パケット８００は、１２バイトのインフィニバンド（ＩＢ）ベーストランスポートヘッダ８０５と、ＲＤＭＡデータペイロード８０６（約１４００バイトまでの長さを有し得る）と、３２ビットのＲｏＣＥエンドツーエンド不変巡回冗長検査（ＩＣＲＣ：Invariant Cyclic Redundancy Check）フィールド８０７と、４バイトのホップ・バイ・イーサネット・ホップフレームチェックシーケンス（ＦＣＳ：Frame Check Sequence）フィールド８０８とを含む。ＲｏＣＥｖ２は、単に一例として示されており、本開示に記載されているシステム、方法および装置は、例えばＲＤＭＡトラフィックのＶＬＡＮタギングをサポートする１つまたは複数の他のプロトコルを使用して同様に実現されてもよいと考えられる。
図８Ａに示すＲｏＣＥｖ２レイヤ２パケットを生成するための７０４における処理の一部として、ホストマシン上のＲｏＣＥ ＮＩＣは、転送対象のデータにアクセスしてＲＤＭＡペイロード８０６を準備するように構成されている。次いで、ＲｏＣＥ ＮＩＣは、ヘッダ８０５，８０４，８０３および８０１（および、チェックフィールド８０７および８０８）を追加してＲｏＣＥｖ２レイヤ２パケットを生成するように構成されている。
上述したように、仮想関数は、ファブリックに出て行くＲＤＭＡパケットが、パケットのソース計算インスタンスが見つけられるＶＬＡＮを識別するＩＥＥＥ８０２．１Ｑヘッダ（「ＶＬＡＮタグ」とも称されることもある）でタグ付けされることを強制するように（例えば、ホストのハイパーバイザによって）プログラムされる。特定の実施形態において、ＶＬＡＮは、別々の顧客またはテナントに関連付けられるので、関連付けられたＶＬＡＮ識別子をファブリック内で使用して、レイヤ２における異なるテナント間のトラフィック隔離を強制する。図８Ｂは、８０２．１Ｑ ＶＬＡＮタグ付きＲｏＣＥｖ２パケット８２０のフォーマットを示す図であり、８０２．１Ｑ ＶＬＡＮタグ付きＲｏＣＥｖ２パケット８２０は、ソースＭＡＣアドレスフィールド８１０とイーサタイプフィールド８１１との間に挿入された４バイトのＶＬＡＮタグ８０２を含む。ＶＬＡＮタグ８０２は、値０ｘ８１００を有する１６ビットのタグプロトコルＩＤデータフィールド８１２と、３ビットのユーザ優先度コードポイント（ＰＣＰ：Priority Code Point）データフィールド８１３と、１ビットの優先廃棄インジケータデータフィールド８１４と、ＶＬＡＮを識別する１２ビットのＶＬＡＮ識別子データフィールド８１５とを含む。特定の実装例において、パケットのＶＬＡＮ識別子は、このＶＬＡＮ識別子フィールド８１５に符号化される。特定の実施形態において、ＶＬＡＮタグ８０２内のＰＣＰデータフィールド８１３（「ＩＥＥＥ８０２．１ｐ」または「８０２．１ｐ」データフィールドとも呼ばれる）は、パケットのＱｏＳ情報（例えば、トラフィッククラス優先度情報）を符号化するのに使用することができる。
いくつかの他の実施形態において、ＱｏＳ情報は、各パケットのＩＰヘッダ８０３のＤＳＣＰビットに符号化されてもよい。図９Ａは、ＩＰヘッダ８０３のフォーマットを示す図であり、ＩＰヘッダ８０３は、８ビットのバージョンおよびヘッダ長データフィールド９０１と、６ビットの差別化されたサービスコードポイント（ＤＳＣＰ：Differentiated Services Code Point）データフィールド９０２と、２ビットの明示的輻輳通知（ＥＣＮ）データフィールド９０３と、１６ビットの長さデータフィールド９０４と、１６ビットの識別データフィールド９０５と、１６ビットのフラグメントフラグおよびオフセットデータフィールド９０６と、８ビットの有効期間（ＴＴＬ：Time-To-Live）データフィールド９０７と、８ビットのプロトコルデータフィールド９０８と、１６ビットのヘッダチェックサムデータフィールド９０９と、４バイトのソースＩＰアドレスデータフィールド９１０と、４バイトの宛先ＩＰアドレスデータフィールド９１１とを含む。ＲｏＣＥｖ２パケットでは、プロトコルデータフィールド９０８は、ヘッダがＵＤＰパケットに付与されることを示す値を有する。ＤＳＣＰデータフィールド９０２は、パケットのＱｏＳ情報を運ぶのに使用することができる。以下でさらに詳細に説明するように、ＥＣＮデータフィールド９０３は、パケットがソース計算インスタンスから宛先計算インスタンスまでの経路内で輻輳に遭遇したことを示す輻輳情報を示すのに使用することができる。
上述したように、ＱｏＳ情報は、パケットのトラフィッククラスを示すのに使用することができる。例えば、ＱｏＳ情報は、パケットについて様々なレベルのトラフィッククラス優先度を指定するのに使用することができ、パケットに関連付けられた優先度は、ソースホストマシンから宛先ホストマシンへのネットワーク経路においてパケットを転送する優先度を決定するのに使用される。１つのアプリケーションから発信されるパケットについて指定される優先度は、異なるアプリケーションから発信されるパケットの優先度とは異なっていてもよい。一般に、ネットワークレイテンシの影響を受けやすいアプリケーションに関連付けられたパケットは、ネットワークレイテンシの影響を受けにくいアプリケーションに関連付けられたパケットよりも高い優先度を有する。パケットのＱｏＳ情報は、（例えば、計算インスタンス上で実行されるアプリケーションによって）ＲＤＭＡ転送を開始する計算インスタンスによって指定され得る。１つのそのような例では、計算インスタンスを開始することは、所定のクオリティオブサービス（ＱｏＳ）（例えば、所定のトラフィッククラス）に従ってＲＤＭＡ転送を実行するように、対応する仮想関数に指示し得て、次いで、仮想関数は、ＲｏＣＥ ＮＩＣ上のＲＤＭＡエンジンに、ソース計算インスタンスのＶＬＡＮを識別するＶＬＡＮタグを含むパケットを生成させ、指定されたＱｏＳ情報を８０２．１Ｑタグ付きＲｏＣＥパケットのデータフィールド（例えば、８０２．１ｐフィールドまたはＤＳＣＰフィールド）に符号化させる。
顧客は、ＱｏＳ値を使用して性能期待値を示すことができる。例えば、顧客は、レイテンシ耐性を有するアプリケーションのために大量のデータ転送を行うＲｏＣＥパケットについては低いＱｏＳ優先度を指定し得て、および／または、レイテンシの影響を非常に受けやすいアプリケーションのために少量のデータ転送を行うＲｏＣＥパケットについてはより高いＱｏＳ優先度値を指定し得る。
別の例では、ＱｏＳデータフィールドの値は、（例えば、ＲＤＭＡ転送タイプへのＱｏＳ優先度値の予め定められたマッピングに従って）実行されているＲｏＣＥ転送のタイプによって示される。例えば、大量のデータ転送を行うＲｏＣＥパケットは、レイテンシの影響を非常に受けやすい少量のデータ転送を行うＲｏＣＥパケットとは異なるＱｏＳでタグ付けされ得る。大量の転送の例としては、バックアップ、報告またはバッチメッセージを挙げることができ、低レイテンシクリティカルな転送の例としては、輻輳情報通知、クラスタハートビート、トランザクションコミット、キャッシュフュージョン動作などを挙げることができる。
例えば、図６において、パケットが、ＲＤＭＡによってＶＬＡＮ１００１上の計算インスタンスＡ－１ ６０４から計算インスタンスＡ－２ ６２４に転送されるデータを表す場合、ＲｏＣＥ ＮＩＣ６０８は、転送されるデータのためにレイヤ２ ８０２．１Ｑタグ付きＲｏＣＥパケットを生成し、各パケットは、各パケットのＶＬＡＮ ＩＤフィールド８１５がＶＬＡＮ１００１を識別する情報を符号化する８０２．１Ｑタグを有する。さらに、各パケットのＱｏＳ情報は、パケットのＤＳＣＰフィールドおよび／またはＰＣＰフィールドに符号化されてもよい。
ＩＥＥＥ８０２．１Ｑ規格に定義された１２ビットのＶＬＡＮタグフィールドは、最大４０９６個のＶＬＡＮを識別することができる。８０２．１ａｄ Ｑ－ｉｎ－Ｑ規格（「８０２．１ｑ－ｉｎ－８０２．１ｑ」または「Ｑ－ｉｎ－Ｑタギング」または「Ｑ－ｉｎ－Ｑ規格」とも呼ばれる）は、ＶＬＡＮの数を４０９６個を超えて拡張するために開発された。Ｑ－ｉｎ－Ｑ規格によれば、２つ（または、それ以上）の８０２．１Ｑ ＶＬＡＮタグをパケットに付加することができる。内側タグおよび外側タグと称されるこれら２つのタグは、様々な異なる目的で使用することができる（例えば、内側タグは、追加のセキュリティルールを表すことができる）。例えば、いくつかの実施形態において、内側タグおよび外側タグを使用して、アプリケーションに特有のネットワークエンフォースメントをサポートすることができる。テナントおよびアプリケーションに基づいてパケットを区別することが望ましい場合があり、一方のタグはテナントに対応し、他方のタグはテナントのアプリケーションのうちのある特定のアプリケーションに対応する。１つのそのような例では、同一のサービスＶＬＡＮ上で同一の顧客について複数の計算インスタンスを実行するように構成されたホストマシンは、顧客ＶＬＡＮタグを使用してサービスＶＬＡＮ上の複数の計算インスタンスにまたがるトラフィックを分離することができる。代替的にまたは追加的には、同一のサービスＶＬＡＮ上で同一の顧客の複数のアプリケーションを実行するように構成されたホストマシンは、顧客ＶＬＡＮタグを使用してサービスＶＬＡＮ上の複数のアプリケーションにまたがるトラフィックを分離してもよい。したがって、特定の状況では、７０４において実行される処理の一部として、ＲｏＣＥ ＮＩＣは、Ｑ－ｉｎ－Ｑ規格に従って２つのタグを各ＲｏＣＥパケットに付加し得る。例えば、テナントＡがシミュレーションアプリケーションとバックアップアプリケーションとを有するなど、テナントが異なるアプリケーションを有する状況では、２つの別々の８０２．１ＱタグがＲｏＣＥパケットに付加されてもよく、一方のタグは、テナンシ（例えば、テナントＡ）を識別するＶＬＡＮ ＩＤを有し、第２のタグは、アプリケーション（例えば、シミュレーション、バックアップ）を識別するＶＬＡＮ ＩＤを有する。
Ｑ－ｉｎ－Ｑタグ付きＲｏＣＥｖ２パケット８３０の例が図８Ｃに示されている。そのような場合、各パケットは、第１のＶＬＡＮタグ８０２（「外側」ＶＬＡＮタグ、「パブリック」ＶＬＡＮタグ、またはサービス－ＶＬＡＮ（Ｓ－ＶＬＡＮ）タグとも称される）に加えて、第２のＶＬＡＮタグ８２２（「内側」ＶＬＡＮタグ、「プライベート」ＶＬＡＮタグ、または顧客－ＶＬＡＮ（Ｃ－ＶＬＡＮ）タグとも称される）を含む。１つまたは複数の追加のＶＬＡＮタグが同様にＱ－ｉｎ－Ｑタグ付きＲｏＣＥｖ２パケットに追加されてもよい。
図７Ａに戻って、７０６において、８０２．１Ｑタグ付きＲｏＣＥパケットは、ソースホストマシン上のＲｏＣＥ ＮＩＣからソースホストマシンに接続されたＴＯＲスイッチに転送される。８０２．１Ｑタグ付きＲｏＣＥパケットを受信するＴＯＲスイッチは、スイッチファブリックのイングレスエッジ装置を表すので、イングレスＴＯＲスイッチとも称され得る。ＴＯＲスイッチは、ソースホストマシン上のソース計算インスタンスから宛先ホストマシン上の宛先計算インスタンスへのパケットの転送に使用されるスイッチネットワークまたはスイッチファブリックの最下層（または、リーフレベル）のネットワーキング装置を表す。例えば、図６において、ＲｏＣＥ ＮＩＣ６０８によって生成された８０２．１Ｑタグ付きＲｏＣＥパケットは、ＴＯＲスイッチ６４２に通信され、ＴＯＲスイッチ６４２は、スイッチファブリック６４０内の層－０スイッチである。
図６における実施形態および図７Ａ～図７Ｃにおけるフローチャートは、ＴＯＲスイッチによって実行される処理を説明しているが、この例は限定的であるよう意図されるものではない。一般に、ＲｏＣＥパケットは、ソースホストマシンから、レイヤ２機能（例えば、スイッチ）を提供する、レイヤ３機能（例えば、ルータ）を提供する、またはレイヤ２機能もレイヤ３機能も提供するネットワーキング装置に通信され得る。例えば、図６に示すＴＯＲスイッチ６４２および６４４は、レイヤ２機能もレイヤ３機能も提供することができる。一般的に言って、ソースホストマシンからＲｏＣＥパケットを受信するネットワーキング装置は、ソースホストマシンから宛先ホストマシンへのデータの転送に使用されるスイッチファブリックのエッジ装置である。
ソースホストマシン６０２は、イーサネットケーブル（例えば、銅、光ファイバなど）を介してＴＯＲスイッチ６４２に接続することができる。特定の実施形態において、パケットは、ＴＯＲスイッチ６４２のトランクポートに到着する。トランクポートは、パケットに符号化されたＶＬＡＮ情報を用いてトラフィック分離が行われる間に、複数のＶＬＡＮに属するパケットが入ってくることを可能にし得る。例えば、計算インスタンスＡ－１ ６０４から転送されるデータを表すＲｏＣＥパケットは、ＶＬＡＮ１００１を識別するタグでタグ付けされ、計算インスタンスＢ－１ ６０６から転送されるデータを表すＲｏＣＥパケットは、ＶＬＡＮ１００２を識別するタグでタグ付けされる。
７０８において、パケットを受信したイングレスＴＯＲスイッチ（例えば、ＴＯＲスイッチ６４２）は、中間スイッチ６４６を経由して転送される各レイヤ２ ８０２．１Ｑタグ付きＲｏＣＥパケットをレイヤ３パケットに変換し、レイヤ３パケットのフォーマットは、スイッチファブリックを介してパケットを通信するために使用される特定のオーバーレイカプセル化プロトコル（ＯＥＰ：Overlay Encapsulation Protocol）に基づく。例えば、仮想拡張可能ＬＡＮ（ＶｘＬＡＮ）、汎用ルーティングカプセル化を使用したネットワーク仮想化（ＮＶＧＲＥ：Network Virtualization using Generic Routing Encapsulation）、汎用ネットワーキング仮想化カプセル化（ＧＥＮＥＶＥ）、ＭＰＬＳ、ステートレストランスポートトンネリング（ＳＴＴ：Stateless Transport Tunneling）などの様々な異なるオーバーレイカプセル化プロトコルが、スイッチファブリックを介したＲｏＣＥパケットの通信に使用されてもよい。例えば、図６における実施形態では、イングレスＴＯＲスイッチ６４２は、ＲｏＣＥ ＮＩＣ６０８から８０２．１Ｑタグ付きＲｏＣＥパケットを受信して、パケットをカプセル化することによって、７０８において説明したように各パケットを変換する。カプセル化は、レイヤ３ルーティングプロトコルを使用してレイヤ３スイッチファブリックを介してパケットを通信するために使用されるオーバーレイカプセル化プロトコルに対応するラッパーをパケットに追加することによって実行され、ラッパーは、１つまたは複数のヘッダを含む。（完璧を期するために、方法７００を実現するいくつかの環境では、イングレスＴＯＲスイッチは、ソース計算インスタンスと同一のラック内の宛先計算インスタンスに向けられる８０２．１Ｑタグ付きＲｏＣＥパケットをソース計算インスタンスから受信し得る、ということに留意されたい。そのような場合、イングレスＴＯＲスイッチは、７０８以下でパケットを処理することなく、レイヤ２トランスポートによってパケットを（例えば、それぞれのＲｏＣＥ ＮＩＣを経由して）宛先計算インスタンスに転送し得る。）
７０８における処理の一部として、イングレスＴＯＲスイッチ６４２は、使用中のオーバーレイカプセル化プロトコルに対応する適切な１つまたは複数のヘッダを生成し、当該ヘッダを含むラッパーを、受信された各レイヤ２ ８０２．１Ｑタグ付きＲｏＣＥパケットに追加して、パケットをレイヤ３パケットに変換し、パケットに追加されたオーバーレイカプセル化プロトコルは、スイッチファブリック６４０内のネットワーキング装置に見える。レイヤ２フレームは、レイヤ３パケットに変換されて、これらのパケットをソースホストマシンに接続されたＴＯＲスイッチ６４２から宛先ホストマシン６２２に接続されたＴＯＲスイッチ６４４にルーティングすることが可能になり、このルーティングは、レイヤ２転送プロトコルよりもロバストであって拡張可能であるレイヤ３ルーティングプロトコルを使用して、レイヤ３スイッチファブリック６４０を介して行われる。
７０８における処理の一部として、イングレスＴＯＲスイッチ６４２は、使用中のオーバーレイカプセル化プロトコルに対応する適切な１つまたは複数のヘッダを生成し、当該ヘッダを含むラッパーを、受信された各レイヤ２ ８０２．１Ｑタグ付きＲｏＣＥパケットに追加して、パケットをレイヤ３パケットに変換し、パケットに追加されたオーバーレイカプセル化プロトコルは、スイッチファブリック６４０内のネットワーキング装置に見える。レイヤ２フレームは、レイヤ３パケットに変換されて、これらのパケットをソースホストマシンに接続されたＴＯＲスイッチ６４２から宛先ホストマシン６２２に接続されたＴＯＲスイッチ６４４にルーティングすることが可能になり、このルーティングは、レイヤ２転送プロトコルよりもロバストであって拡張可能であるレイヤ３ルーティングプロトコルを使用して、レイヤ３スイッチファブリック６４０を介して行われる。
７０８において実行される処理の一部として、７０８－１において、受信された各８０２．１Ｑタグ付きＲｏＣＥパケットについて、ＴＯＲスイッチ６４２は、受信されたパケットからＶＬＡＮ情報を決定して、７０８においてパケットに追加されるラッパー内のフィールド（または、複数のフィールド）に当該情報をマッピングまたは変換する。このように、ＶＬＡＮ識別子情報は、７０８においてパケットに追加され、且つ、スイッチファブリック６４０内の様々なネットワーキング装置に見えるレイヤ３ヘッダにマッピングされる。レイヤ３パケットは、７０８においてレイヤ２パケットに追加される少なくとも１つの外側ヘッダを含む。
例えば、スイッチファブリック６４０を介してパケットを通信するためのレイヤ３カプセル化プロトコルとしてＶｘＬＡＮプロトコルが使用される場合、７０８において、レイヤ２ ８０２．１Ｑパケットは、７０８において（ＶｘＬＡＮラッパーの他のフィールドの中の）ＶｘＬＡＮヘッダを受信されたパケットに追加することによって、ＶｘＬＡＮパケットに変換される。この動作の一部として、７０８－１において、ＴＯＲスイッチ６４２は、パケットの８０２．１Ｑタグに符号化されたＶＬＡＮ識別子情報を決定して、７０８においてパケットに追加されるＶｘＬＡＮヘッダ内のフィールドに当該情報をマッピング（または、符号化）する。特定の実装例において、ＲｏＣＥパケットの８０２．１Ｑタグ内のＶＬＡＮ情報は、パケットに追加されたＶｘＬＡＮヘッダ内のＶＮＩフィールドにコピーされた対応する固有のＶＮＩに（例えば、ＶＮＩ－ＶＬＡＮマップに従って）マッピングされる。このように、特定のテナントも識別することができる８０２．１Ｑタグ内のＶＬＡＮ識別子情報は、パケットのオーバーレイカプセル化プロトコルヘッダ内の対応する識別子に含まれるか、または順方向に運ばれる。
ＲｏＣＥパケットが２つ以上のＶＬＡＮタグを有する場合（例えば、Ｑ－ｉｎ－Ｑタグ付きＲｏＣＥパケット８３０）、ＴＯＲスイッチ６４２は、ＶＮＩ－ＶＬＡＮマップに従ってＲｏＣＥパケットの外側タグ内のＶＬＡＮ ＩＤを対応するＶＮＩにマッピングする。（例えば、テーブルとして）ＴＯＲスイッチ６４２のメモリに格納され得るＶＮＩ－ＶＬＡＮマップは、ＴＯＲスイッチ６４２に割り当てられたＶＮＩとＶＮＩが割り当てられるＶＬＡＮとの間の一対一対応である。ＶＬＡＮは、スイッチに対して局所的にしか重要性を持たないので、同一のＶＬＡＮ ＩＤをファブリック内の他の場所の異なるＶＮＩにマッピングすることができ（便宜上、ファブリック内の複数のスイッチにおいて同一のＶＮＩ－ＶＬＡＮマッピングを使用することが望ましい場合がある）、および／または、同一のＶＮＩをファブリック内の他の場所の異なるＶＬＡＮ ＩＤ（例えば、同一のテナントに割り当てられた別のＶＬＡＮ ＩＤ）にマッピングすることができる。ＶＮＩは、対応するレイヤ３カプセル化パケットの少なくとも１つの外側ヘッダ（例えば、カプセル化プロトコルヘッダ）の対応するデータフィールドにコピーされ、それによって、Ｌ３ネットワーク境界を越えてマルチテナンシを拡張する。オーバーレイカプセル化プロトコルがＶｘＬＡＮ（または、ＧＥＮＥＶＥ）である場合、ＶＮＩは、レイヤ３カプセル化パケットのＶｘＬＡＮ（または、ＧＥＮＥＶＥ）ヘッダの２４ビットのＶＮＩフィールドに保持される。オーバーレイカプセル化プロトコルがＮＶＧＲＥである場合、ＶＮＩは、レイヤ３カプセル化パケットのＮＶＧＲＥヘッダの２４ビットの仮想サブネットＩＤ（ＶＳＩＤ：Virtual Subnet ID）フィールドに保持される。オーバーレイカプセル化プロトコルがＳＴＴである場合、ＶＮＩは、レイヤ３カプセル化パケットのＳＴＴヘッダの６４ビットのコンテキストＩＤフィールドに保持される。
さらに、７０８における処理の一部として、７０８－２において、受信された各８０２．１Ｑタグ付きＲｏＣＥパケットについて、ＴＯＲスイッチ６４２は、受信されたパケットからＱｏＳ情報を決定して、７０８においてパケットに追加されるヘッダ内のフィールド（または、複数のフィールド）に当該情報をマッピングまたは変換する。このように、ＱｏＳ情報は、７０８においてパケットに追加される、スイッチファブリック６４０内の様々なネットワーキング装置に見えるラッパー（例えば、外側ヘッダ）の一部にマッピングされる。
例えば、スイッチファブリック６４０を介してパケットを通信するためのレイヤ３カプセル化プロトコルとしてＶｘＬＡＮプロトコルが使用される場合、７０８において、レイヤ２ ８０２．１Ｑパケットは、７０８において（ＶｘＬＡＮヘッダといくつかの外側ヘッダとを含む）ＶｘＬＡＮエンベロープまたはラッパーを受信されたパケットに追加することによって、ＶｘＬＡＮパケットに変換される。この動作の一部として、７０８－２において、ＴＯＲスイッチ６４２は、受信されたパケットに符号化されたＱｏＳ情報を決定して、７０８においてパケットに追加されるＶｘＬＡＮラッパー内のフィールドに当該情報をマッピング（または、符号化）する。上述したように、実装例に応じて、ＱｏＳ情報は、受信されたレイヤ２パケットの１つまたは複数の異なる部分に符号化されてもよい。例えば、ＱｏＳ情報は、８０２．１ＱタグのＰＣＰまたは８０２．１ｐビットに符号化されてもよく、および／または、受信されたレイヤ２パケットのイーサネットヘッダのＤＳＣＰフィールドに符号化されてもよい。７０８－２の一部として、ＴＯＲスイッチ６４２は、このＱｏＳ情報を決定して、７０８においてパケットに追加されるＶｘＬＡＮラッパー内のフィールド（または、複数のフィールド）に当該ＱｏＳ情報をマッピングまたは変換する。特定の実装例において、ＲｏＣＥパケットからのＱｏＳ情報は、ＶｘＬＡＮラッパーの外側ＩＰヘッダ内のＤＳＣＰフィールドにマッピングされる。このように、レイヤ２ ８０２．１Ｑタグ付きＲｏＣＥパケット内のＱｏＳ情報は、スイッチファブリック６４０内の様々なネットワーキング装置に見えるようになる態様でＶｘＬＡＮパケットのレイヤ３ラッパーに含まれるか、または順方向に運ばれる。
図１０は、ＯＥＰとしてＶｘＬＡＮを適用するイングレスＴＯＲスイッチによって生成されるレイヤ３カプセル化パケット１０００（ＶｘＬＡＮパケットとも呼ばれる）のフォーマットを示す図である。図１０に示すように、ＶｘＬＡＮパケット１０００は、外側イーサネットヘッダ１０１０と、外側ＩＰヘッダ１０２０と、外側ＵＤＰヘッダ１０４０と、ＶｘＬＡＮヘッダ１０５０と、元のパケット（例えば、ＲｏＣＥｖ２パケット）１０６０と、フレームチェックシーケンス（ＦＣＳ：Frame Check Sequence）１０７０とを含む。７０８において実行される処理では、ＶｘＬＡＮがオーバーレイカプセル化プロトコルである場合、８０２．１Ｑタグ付きＲｏＣＥパケットをカプセル化することの一部として、ＴＯＲスイッチは、「元の」８０２．１Ｑタグ付きＲｏＣＥパケットの外側にＶｘＬＡＮヘッダ１０５０を置き、次いでＶｘＬＡＮヘッダの外側に外側ＵＤＰヘッダ１０４０を置き、次いで外側ＵＤＰヘッダの外側に外側ＩＰヘッダ１０２０を置き、次いで外側ＩＰヘッダの上に外側イーサネットヘッダ１０１０を追加する。
外側イーサネットヘッダ１０１０は、宛先ＭＡＣアドレスフィールド１０１１と、ソースＭＡＣアドレスフィールド１０１２と、（任意に）ＶＬＡＮタイプフィールド１０１３と、（任意に）ＶＬＡＮ ＩＤタグ１０１４と、値０ｘ０８００を保持するイーサタイプフィールド１０１５とを含む。外側ＩＰヘッダ１０２０は、８ビットのバージョンおよびヘッダ長データフィールド１０２１と、６ビットのＤＳＣＰデータフィールド１０２２と、２ビットのＥＣＮデータフィールド１０２４と、１６ビットの長さデータフィールド１０２４と、１６ビットの識別データフィールド１０２５と、１６ビットのフラグメントフラグおよびオフセットデータフィールド１０２６と、８ビットの有効期間（ＴＴＬ）データフィールド１０２７と、（ＵＤＰを示す）値１７を保持する８ビットのプロトコルデータフィールド１０２８と、１６ビットのヘッダチェックサムデータフィールド１０２９と、イングレスＴＯＲスイッチのＩＰアドレスを示す４バイトのソースＩＰアドレスデータフィールド１０３０と、エグレスＴＯＲスイッチのＩＰアドレスを示す４バイトの宛先ＩＰアドレスデータフィールド１０３１とを含む。外側ＵＤＰヘッダ１０４０は、元のＲＤＭＡパケットからの情報のハッシュである値を保持し得るソースポートフィールド１０４１と、値４７８９を保持する宛先（ＶｘＬＡＮ）ポートフィールド１０４２と、ＵＤＰ長フィールド１０４３と、チェックサムフィールド１０４４とを含む。ＶｘＬＡＮヘッダ１０５０は、８ビットのフラグフィールド１０５１と、ＶＮＩを運ぶ２４ビットのＶＮＩフィールド１０５３と、２つの予約フィールド１０５２および１０５４とを含む。
７０８において「元の」８０２．１Ｑタグ付きＲｏＣＥパケットをカプセル化することによってレイヤ３ＶｘＬＡＮパケットを作成することの一部として、ＴＯＲスイッチは、ＶＬＡＮ ＩＤ情報（例えば、テナンシ情報）、ＱｏＳ情報（例えば、トラフィッククラス）、および元のパケットからの輻輳情報を、元の８０２．１Ｑタグ付きＲｏＣＥパケットに追加されたヘッダのうちの１つまたは複数のヘッダの様々なフィールドに符号化する。例えば、特定の実装例において、ＶＬＡＮ ＩＤフィールドは、ＶＮＩにマッピングされてＶＮＩフィールド１０５３に保持され、ＲｏＣＥパケットからのＱｏＳ情報は、ＩＰヘッダ１０２０内のＤＳＣＰフィールド１０２２にコピーされ（または、値にマッピングされて保持され）、輻輳は、ＥＣＮフィールド１０２３にビット（ＥＣＮビットと称される）を設定することによって知らせることができる。このように、（例えば、図９におけるＤＳＣＰフィールド９０２からの）ＲｏＣＥパケットのＩＰヘッダのＤＳＣＰデータフィールド内のＱｏＳ情報は、カプセル化ＶｘＬＡＮパケットの外側ＩＰヘッダ１０２０のＤＳＣＰデータフィールド１０２２にコピーまたは別様にマッピングされることができる。ＲｏＣＥパケット内のＱｏＳ情報がＲｏＣＥパケットの８０２．１ＱタグのＰＣＰデータフィールド８１３に符号化される実施形態では、当該情報は、ＶｘＬＡＮパケットの外側ＩＰヘッダ１０２０のＤＳＣＰデータフィールド１０２２にもマッピングされてもよい。
したがって、７０８において、オーバーレイカプセル化プロトコルラッパーがＲｏＣＥパケットに追加され、ＲｏＣＥパケットからのＶＬＡＮ ＩＤおよびＱｏＳ情報が、スイッチファブリック内の装置に見える態様でオーバーレイカプセル化プロトコルラッパーにマッピングされて符号化される。図７Ｂを参照して、７１０において、７０８において生成されたカプセル化レイヤ３パケットは、ソースホストマシンからパケットを受信するＴＯＲスイッチから、宛先ホストマシンに接続されたＴＯＲスイッチに、スイッチファブリックを介してルーティングされる。特定の実施形態において、パケットは、転送されて、トンネル（例えば、ＶｘＬＡＮオーバーレイカプセル化プロトコルが使用される場合、ＶｘＬＡＮトンネル）を通じて送信され、このトンネルは、ソースホストマシンに接続されたＴＯＲスイッチから宛先ホストマシンに接続されたＴＯＲスイッチにスイッチファブリックを介してパケットを運ぶ。スイッチファブリック内でパケットがとる経路は、複数のネットワーキング装置を横断し得て、各装置は、宛先ホストマシンに接続されたＴＯＲスイッチへのパケットの通信を容易にするために、ネットワーキング装置のイングレスポート経由でパケットを受信し、ネットワーキング装置のエグレスポート経由でネクストホップネットワーキング装置にパケットを転送するように構成されている。例えば、図６に示す実施形態では、カプセル化レイヤ３パケットは、スイッチファブリック６４０の１つまたは複数の中間スイッチ６４６を経由してＴＯＲスイッチ６４２からＴＯＲスイッチ６４４に転送される。
７０８において、レイヤ２ ８０２．１Ｑ ＲｏＣＥパケットからのＶＬＡＮ ＩＤおよびＱｏＳ情報を、レイヤ３カプセル化パケットのラッパーで運ばれる情報に変換することによって、ＶＬＡＮ情報（例えば、テナンシ情報）およびＱｏＳ情報は、レイヤ３ルーティングプロトコルを使用してパケットをルーティングすることを目的として、スイッチファブリック６４０内のスイッチおよびネットワーキング装置に見えるようになる。７１０における処理の一部として、ＴＯＲスイッチ６４２および６４４を含む、レイヤ３カプセル化ＲｏＣＥパケットを受信して転送するスイッチファブリック６４０内の各ネットワーキング装置は、７１０－１において、パケットのカプセル化ラッパーに指定されたＱｏＳ情報に従って、レイヤ３転送に基づいてパケットを転送するように構成されている。特定の実装例において、パケットを受信する各ネットワーキング装置は、異なるＱｏＳ優先度レベルに対応する複数のＲＤＭＡデータキューを有し得る。パケットを受信すると、ネットワーキング装置は、カプセル化ラッパーの１つまたは複数のフィールドから（または、パケットを受信する第１のＴＯＲスイッチでは、レイヤ２ヘッダから）パケットのＱｏＳ情報を決定して、ＱｏＳ情報によって指定された優先度レベルに対応するＲＤＭＡデータキューにパケットをキューイングするように構成されている。次いで、パケットは、キューの特定の優先度に従って、デキューされてネットワーキング装置から転送される。複数のＲＤＭＡデータキューは、例えば１つまたは複数のバッファを使用して実装され得て、ネットワーキング装置は、所定の優先度レベル（例えば、トラフィッククラス）に従って複数のキューの間で入来パケットを分配するように構成されたエンキュー論理、および、所望のスケジューリングスキーム（例えば、重み付けラウンドロビンスケジューリングおよび／または厳密な優先度スケジューリング）に従って複数のキューを供給するように構成されたデキュー論理も含み得る。マーチャントシリコンを使用してネットワーキング装置を実装する場合、比較的少量のバッファを最大限に活用することが望ましい場合がある。例えば、複数のキューの少なくとも一部として使用するために、（例えば、使用中でないキューから）未使用のバッファを転用することが望ましい場合がある。例えば、マルチキャストトラフィックのサポートを除外するように環境６００（例えば、ＴＯＲスイッチ６４２および６４４、スイッチファブリック６４０）の少なくとも一部を実装することが望ましい場合があり、そのような場合、マルチキャストトラフィックを格納するために以前に割り当てられたバッファは、その代わりに複数のキューのためのストレージとしてプログラムし直すことができる。
７１０の一部として、７１０－２において、レイヤ３カプセル化ＲｏＣＥパケットを受信して転送するスイッチファブリック内の各ネットワーキング装置は、輻輳を経験すると、パケットのレイヤ３カプセル化ラッパーの外側ヘッダのフィールドをマーキングすることによって輻輳を知らせることができる。特定の実施形態において、輻輳情報を指定するために、ＩＰプロトコルの概念である明示的輻輳通知（ＥＣＮ）と呼ばれる機構がＲｏＣＥプロトコルによって使用される。この機構に従って、輻輳情報を指定または符号化するためにパケットのＩＰヘッダにおけるＥＣＮビットが使用される。したがって、７１０－２における処理の一部として、パケットを受信して転送するネットワーキング装置が輻輳を検出する（例えば、バッファ占有率が閾値を超えることを検出する）と、当該ネットワーキング装置は、パケットのオーバーレイカプセル化プロトコルラッパーの外側ＩＰヘッダにＥＣＮビットを設定することによって輻輳を知らせることができる。例えば、ＶｘＬＡＮがオーバーレイカプセル化プロトコルである場合、外側ＩＰヘッダ１０２０のＥＣＮフィールド１０２３におけるビットは、（例えば、ビットがまだ設定されていなければ）輻輳を知らせるように当該ネットワーキング装置によって設定され得る。
このように、パケットがスイッチファブリックを通って移動するときに、輻輳情報は、パケットに含まれて更新され、パケットによってパケットの宛先に運ばれる。例えば、図６に示す実施形態では、パケットがソースホストマシン６０２から宛先ホストマシン６２２に移動する際にスイッチファブリック６４０内の一連のネットワーキング装置を通って移動するときに、パケットが横断するネットワーキング装置のいずれかは、パケットのレイヤ３カプセル化ラッパーに輻輳ビットを設定する（例えば、外側ＩＰヘッダのＥＣＮフィールドにビットを設定する）ことによって輻輳を知らせることができる。一連のネットワーキング装置は、パケットが横断する経路内に、ＴＯＲスイッチ６４２と、ＴＯＲスイッチ６４４と、任意の中間スイッチ６４６とを含む。
パケットにおける輻輳の表示またはマーキングは、パケットをソースホストマシンから宛先ホストマシンにルーティングするスイッチファブリック内のネットワーキング装置のいずれかによって行うことができる。エグレスＴＯＲは、ＥＣＮビットをレイヤ３ラッパーから内側パケットのＩＰヘッダにコピーし、内側パケットは、レイヤ２として宛先ホストマシンに送信される。このように、輻輳情報は、宛先ホストマシンまでずっとパケットで運ばれる。輻輳情報は、ソースおよび宛先計算インスタンスおよびホストマシンを含むレイヤ２ネットワークの境界、ならびに、スイッチファブリック内のＴＯＲスイッチおよび中間スイッチを含むレイヤ３ネットワークの境界を越えて運ばれる。
従来から、ＲｏＣＥは、輻輳制御のために、レイヤ２優先度フロー制御（ＰＦＣ：Priority Flow Control）、またはＥＣＮ、またはＰＦＣとＥＣＮとの組み合わせに依拠している。優先度フロー制御（ＰＦＣ）を実行するようにＴＯＲスイッチ（例えば、ＴＯＲスイッチ６４２および６４４）を実装することが望ましい場合がある。ＰＦＣ対応スイッチの受信バッファが満たされて閾値レベルになると、スイッチは、対応する優先度クラスのＰＡＵＳＥフレームを送信者に戻す。ＰＦＣは、最大８個の優先度クラスを提供し、受信バッファの先頭のパケットのＰＣＰ値を、ＰＡＵＳＥフレームによって示される優先度クラスとして使用するように（代替的には、ＰＡＵＳＥフレームによって示される優先度クラスへのパケットのＤＳＣＰ値のマッピングを使用するように）スイッチを実装することが望ましい場合がある。
ある顧客のＲＤＭＡトラフィックを一時停止させるための輻輳制御が別の顧客のＲＤＭＡトラフィックを一時停止させないようにアプリケーション毎に輻輳制御を実装することが望ましい場合がある。ＰＡＵＳＥフレームは、送信者に、示された優先度クラスの全てのトラフィックを一時停止させるため、複数の顧客に影響を及ぼす可能性があるので、いずれのＰＡＵＳＥフレームもＴＯＲスイッチのファブリック側を超えて移動することを防止するように各ＴＯＲスイッチを構成することが望ましい場合がある。例えば、（例えば、ＰＡＵＳＥフレームのみをホストまたはＴＯＲスイッチの別の入力ポートに伝えるようにＴＯＲスイッチの各入力ポートを構成することによって）ＰＦＣを各ＴＯＲスイッチ６４２および６４４のホスト向きインターフェイスに制限することが望ましい場合がある。このように局所的にＰＡＵＳＥフレームを含むことは、大きなファブリック内での輻輳拡散の回避を手助けすることができ、および／または、ライブロックアップの回避を手助けすることができる。
７１２において、宛先ホストマシンに接続されたＴＯＲスイッチ（スイッチファブリックのエグレスエッジ装置を表すので、エグレスＴＯＲスイッチとも称される）は、レイヤ３カプセル化ＲｏＣＥパケットを受信する。例えば、図６に示す実施形態では、エグレスＴＯＲスイッチ６４４がパケットを受信する。
７１４において、受信された各レイヤ３カプセル化パケットについて、ＴＯＲスイッチは、パケットのレイヤ３オーバーレイカプセル化プロトコルラッパーから輻輳情報を決定して、レイヤ３ラッパーによってカプセル化されたレイヤ２ ８０２．１Ｑタグ付きＲｏＣＥフレームに輻輳情報をマッピングまたは変換する。このように、エグレスＴＯＲスイッチによって受信された各レイヤ３カプセル化ＲｏＣＥパケットについて、スイッチファブリック内でパケットが横断する経路に沿って１つまたは複数のネットワーキング装置（例えば、ＴＯＲスイッチ６４２、１つまたは複数の中間スイッチ６４６）によって知らせられたであろう輻輳情報であって、且つ、レイヤ３オーバーレイカプセル化プロトコルラッパーのヘッダのフィールド（例えば、ＥＣＮフィールド）に符号化された輻輳情報が、８０２．１Ｑタグ付きＲｏＣＥレイヤ２フレームのヘッダにマッピングされて保持される。特定の実装例において、レイヤ３ラッパーから（例えば、ＶｘＬＡＮパケットのＩＰヘッダ１０２０内のＥＣＮフィールド１０２３から）決定された輻輳情報は、レイヤ２ ８０２．１Ｑタグ付きＲｏＣＥフレームのＩＰヘッダのＥＣＮフィールド（例えば、図９に示すＥＣＮフィールド９０３）にコピーされる。
７１６において、受信された各レイヤ３カプセル化ＲｏＣＥパケットについて、エグレスＴＯＲスイッチは、７０８においてパケットに追加されたカプセル化ラッパー（例えば、外側イーサネットヘッダ１０１０、外側ＩＰヘッダ１０２０、外側ＵＤＰヘッダ１０４０、ＶｘＬＡＮヘッダ１０５０およびＦＣＳ１０７０）を除去して、内側レイヤ２ ８０２．１Ｑタグ付きＲｏＣＥパケットを回復することによって、パケットをデカプセル化する。例えば、ＶｘＬＡＮラッパーがパケットに追加された場合、当該ラッパーは、８０２．１Ｑタグ付きＲｏＣＥパケットを残すように７１４において除去される。７１４において輻輳情報が８０２．１Ｑタグ付きＲｏＣＥパケットのヘッダにマッピングされるので、レイヤ３オーバーレイカプセル化プロトコルラッパー内の輻輳情報は、レイヤ３カプセル化パケットのデカプセル化の結果として失われることはない。７１４における輻輳情報のマッピング（例えば、コピー）は、７１６におけるデカプセル化の前、最中または後に実行されてもよい。
７１６における処理の一部として、レイヤ３オーバーレイカプセル化プロトコルラッパーからレイヤ２ ８０２．１Ｑタグ付きＲｏＣＥパケット内のヘッダに輻輳情報を変換することに加えて、エグレスＴＯＲスイッチ６４４は、それ自体が、輻輳を経験すると輻輳を知らせるようにＥＣＮ輻輳ビットを設定し得る。
図７Ｃを参照して、７１８において、デカプセル化レイヤ２ ８０２．１Ｑタグ付きＲｏＣＥパケットは、エグレスＴＯＲスイッチによって宛先ホストマシンに転送される。例えば、図６における実施形態では、ＴＯＲスイッチ６４４によってデカプセル化されたＲｏＣＥパケットは、宛先ホストマシン６２２に転送される。宛先ホストマシン上で、これらのパケットは受信されて、宛先ホストマシン上のＲｏＣＥ ＮＩＣによって処理される。
７２０において、受信された各８０２．１Ｑタグ付きＲｏＣＥパケットについて、宛先ホストマシン上のＲｏＣＥ ＮＩＣは、受信されたパケットのヘッダにおいて輻輳が知らせられるかどうかを確認する。例えば、パケットのＩＰヘッダのＥＣＮビットが設定されると、輻輳を知らせることができる。７２０においてパケットが輻輳を示すと判断されると、７２２において、ＲｏＣＥ ＮＩＣは、輻輳を示し、且つ、データ転送速度を減速させるように送信者に要求する応答をパケットの送信者（例えば、ソースホストマシン上のＲｏＣＥ ＮＩＣ）に送信する。ＥＣＮプロトコルを使用した特定の実装例では、応答は、宛先ホストマシン上のＲｏＣＥ ＮＩＣからソースホストマシン上のＲｏＣＥ ＮＩＣに送信される輻輳通知パケット（ＣＮＰパケット）の形態である。例えば、ＲｏＣＥ ＮＩＣ（例えば、ＲＤＭＡ ＮＩＣカードおよび対応するソフトウェアドライバ）にデータセンタ量子化輻輳通知（ＤＣＱＣＮ：Data Center Quantized Congestion Notification）が実装されて、ＥＣＮ情報を使用して、ＣＮＰパケットを送信することによってフロー制御を実行して、送信者に輻輳について知らせることができる。これらのＣＮＰパケットは、ネットワーク内に輻輳があることをソースホストマシンに知らせて、ＲｏＣＥパケットを送信している速度を減速させるようにソースホストマシンに要求する。ＣＮＰパケットは、受信されたレイヤ２ＲｏＣＥパケットにおける情報（例えば、ソースＭＡＣアドレスおよび／またはソースＩＰアドレス）から識別される適切な送信者に送信される。そのような通知を受信すると、応答して、送信者（例えば、ソースホストマシン上のＲｏＣＥ ＮＩＣ）は、それに従ってＲｏＣＥパケットの送信を減速させることができる。ＣＮＰパケットおよびＣＮＰパケットが宛先ホストマシンからソースホストマシンにどのように通信されるかに関連するさらなる詳細は、以下のとおりである。
特定の実装例において、送信者は、データ送信速度の減少率を計算するアルゴリズムを使用し得る。例えば、第１のＣＮＰパケットを受信すると、送信者（例えば、ソースホストマシン上のＲｏＣＥ ＮＩＣ）は、ある特定の割合だけその送信速度を減少させ得る。別のＣＮＰパケットを受信すると、送信者は、さらなる割合量だけその送信速度をさらに減少させ得る、などである。このように、送信者は、ＣＮＰパケットの受信に応答して適応速度制御を実行することができる。
７２４において、受信された各８０２．１Ｑタグ付きＲｏＣＥパケットについて、宛先ホストマシン上のＲｏＣＥ ＮＩＣは、対応する仮想関数（ＶＦ）によって、パケットからＲＤＭＡデータペイロードを取り出して宛先計算インスタンスの宛先ホストマシン上のアプリケーションメモリにデータを転送する。特定の実施形態において、宛先計算インスタンスに対応するＲｏＣＥ ＮＩＣ上の仮想関数は、宛先ホストマシンのアプリケーションメモリへのＤＭＡ転送によってＲＤＭＡデータペイロードを宛先計算インスタンスのメモリ空間に転送するようにＲｏＣＥ ＮＩＣのＲｏＣＥエンジンを制御するように構成されている。この動作は、ソース計算インスタンスから宛先計算インスタンスへのＲＤＭＡデータ転送を完了させる。
上述したように、テナントを識別することができるＶＬＡＮ識別子は、ＲｏＣＥパケットに追加される８０２．１Ｑタグ、例えば８０２．１ＱタグのＶＬＡＮ ＩＤフィールドに含まれる。また、ＶＬＡＮ ＩＤまたはテナンシ情報は、ソースホストマシンに接続されたＴＯＲスイッチによって８０２．１Ｑタグ付きＲｏＣＥパケットに追加されるレイヤ３オーバーレイカプセル化プロトコルラッパーに含まれるＶＮＩにマッピングされる。ＶＬＡＮ識別子（または、テナンシ情報）をレイヤ３カプセル化ラッパーのフィールド内の識別子にマッピングすることにより、テナンシ情報がレイヤ３スイッチファブリック内のネットワーキング装置に見えるようになる。これらのネットワーキング装置は、この情報を使用して、異なる顧客またはテナンシに属するトラフィックを分離する。
パケットに関連付けられたＱｏＳ情報も、ソースホストマシン上のＲｏＣＥ ＮＩＣから、宛先ホストマシン上のＲｏＣＥ ＮＩＣまでずっと保持される。レイヤ２ＲｏＣＥパケットに符号化されたＱｏＳ情報は、当該情報を、イングレスＴＯＲスイッチによって８０２．１Ｑタグ付きＲｏＣＥパケットに追加されるレイヤ３オーバーレイカプセル化プロトコルラッパーに符号化することによって、スイッチファブリック内のネットワーキング装置に見えるようになる。これにより、スイッチファブリック内のネットワーキング装置は、各パケットに関連付けられたＱｏＳ情報に従って、レイヤ３ルーティングプロトコルを使用して、スイッチファブリックを通るＲｏＣＥトラフィックをルーティングすることができる。
スイッチファブリック内のネットワーキング装置はいずれも、パケット毎に輻輳を知らせることができる。この輻輳情報は、パケットがソースホストマシンに接続されたＴＯＲから宛先ホストマシンに接続されたＴＯＲへスイッチファブリックを通過するとき、パケット内に保持される。宛先ホストマシンに接続されたＴＯＲスイッチにおいて、レイヤ３カプセル化ラッパーからの輻輳情報は、ＲｏＣＥパケットヘッダ（例えば、ＲｏＣＥパケットのＩＰヘッダ内のＥＣＮビット）に変換されるため、保存されて、宛先ホストマシンが利用できるようにされる。次いで、宛先ホストマシンは、ＣＮＰパケットを送信することによって輻輳情報に応答することができる。
輻輳通知情報のルーティング
一般に、ＲＤＭＡデータ転送は、スイッチファブリックネットワーク内の輻輳によって引き起こされ得るネットワークレイテンシの影響を非常に受けやすい。ＲＤＭＡ輻輳通知パケット（ＣＮＰパケット）は、ＲＤＭＡ輻輳管理（フロー制御）を知らせることを手助けするという点において非常に重要である。そのため、ＣＮＰパケットは、大きなネットワーク帯域幅を必要としないが、パケットロスおよびネットワークレイテンシの影響を非常に受けやすい。したがって、受信されたパケットによる輻輳の通知に応答して宛先ホストマシンによって送信されるＣＮＰパケットは、最小限のレイテンシでソースホストマシンに到達するように高い優先度を与えられて、輻輳に起因するデータパケットのロスを最小化または回避するためにデータの送信を減速させるように送信者に通知することができる。さらに、ＣＮＰパケットのための優先度付きキューイングは、輻輳に起因してＣＮＰパケット自体が破棄される可能性を最小化するようなものである。
一般に、ＲＤＭＡデータ転送は、スイッチファブリックネットワーク内の輻輳によって引き起こされ得るネットワークレイテンシの影響を非常に受けやすい。ＲＤＭＡ輻輳通知パケット（ＣＮＰパケット）は、ＲＤＭＡ輻輳管理（フロー制御）を知らせることを手助けするという点において非常に重要である。そのため、ＣＮＰパケットは、大きなネットワーク帯域幅を必要としないが、パケットロスおよびネットワークレイテンシの影響を非常に受けやすい。したがって、受信されたパケットによる輻輳の通知に応答して宛先ホストマシンによって送信されるＣＮＰパケットは、最小限のレイテンシでソースホストマシンに到達するように高い優先度を与えられて、輻輳に起因するデータパケットのロスを最小化または回避するためにデータの送信を減速させるように送信者に通知することができる。さらに、ＣＮＰパケットのための優先度付きキューイングは、輻輳に起因してＣＮＰパケット自体が破棄される可能性を最小化するようなものである。
これを実現するために、スイッチファブリック内の各ネットワーキング装置において、ＣＮＰパケットが宛先ホストマシンからソースホストマシンに移動するときに、ＣＮＰパケットが非常に高い優先度を有するキューに割り当てられるように、輻輳通知パケットトラフィック（ＣＮＰトラフィック）には高い優先度が割り当てられる。特定の実装例において、ＣＮＰトラフィックは、スイッチファブリック内の各ネットワーキング装置上の２番目に高いキューに割り当てられる（例えば、ネットワーク制御キューには２番目のみが割り当てられる）。
さらに、ＣＮＰパケットでは厳密な優先度付きキューイング技術が使用される。厳密な優先度付きキューイングによれば、厳密な優先度付きキューに割り当てられるトラフィックは、他のトラフィックを窮乏させることになる。例えば、スイッチファブリック内のネットワーキング装置がテナント♯１からのパケット、テナント♯２からのパケットおよびＣＮＰパケットを有しており、ネットワーキング装置が１つのパケットのみを送り出すことができる場合、テナント♯１パケットおよびテナント♯２パケットがキューイングされ、その代わりにＣＮＰパケットが送信される。特定の実装例において、ＣＮＰパケットは、ＣＮＰパケットの特別なクラスを示し、且つ、送信のためにパケットをキューイングするのに厳密な優先度付きキューが使用されることを示すＱｏＳ情報で構成される。
しかし、厳密なキューイングの実装例では、厳密な優先度付きキューイングが他のトラフィックをいつまでも窮乏させることのないように気を付けるべきである。したがって、どれぐらいのＣＮＰトラフィックがスイッチファブリックを通過することを許可されるかということに対して制限を適用することができる。特定の実装例において、この制限は、リンクの合計帯域幅のごく一部である。例えば、専用の厳密な優先度付きキューは、実際のＲＤＭＡトラフィッククラスを窮乏させることのないように低い帯域幅保証でＣＮＰトラフィックに割り当てられ得る。その結果、不正アプリケーションまたは構成ミスアプリケーションが多数のＣＮＰパケットを生成し始めて、その結果、ＣＮＰトラフィックが他のトラフィック（例えば、ＲＤＭＡデータトラフィック）を窮乏させ得るという状況が生じる場合に、制限閾値は、他のトラフィックに対するこの問題の影響を最小化する。
ＥＣＮ対応装置がパケットをマーキングする時刻と、結果として得られるＣＮＰパケットを送信者が受信する時刻との間には、フィードバック遅延が発生する。最悪の場合、そのような遅延は、高性能ネットワークにおける長年の問題であった輻輳崩壊につながる可能性がある。スイッチによるＥＣＮマーキングと受信ホストによるＣＮＰ反映と送信ホストによるＲＤＭＡ輻輳管理アクションとの間の冗長なフィードバックループを回避するために、低く且つ決定論的なＥＣＮマーキング閾値を有するスイッチファブリック６４０のネットワーキング装置を構成することが望ましい場合がある。例えば、輻輳が検出されるとどのパケットもマーキングするようにＴＯＲスイッチおよび中間スイッチの各々を構成することが望ましい場合がある。積極的なＥＣＮマーキングポリシーは、スイッチが少しでもネットワーク輻輳の気配を感じたらＥＣＮマーキングを開始することを保証することにより、輻輳管理のためのタイトなループを提供して、輻輳崩壊からネットワークを保護することを手助けする。
ヘッドオブラインブロッキングを回避するためのキューベースのルーティング
上述したように、レイヤ３ルーティングプロトコルを使用してパケットをルーティングするために、パケットに関連付けられたＱｏＳ情報がスイッチファブリック内のネットワーキング装置によって使用される。ＱｏＳ情報は、特定の優先度またはクラスを識別することができる。スイッチファブリック（例えば、ＴＯＲスイッチ６４２、ＴＯＲスイッチ６４４および中間スイッチ６４６のうちのいずれか１つまたはそれ以上（または全て））内のネットワーキング装置は、この優先度情報を使用して、ネットワーキング装置によって使用される複数のキューの中から、パケットの転送に使用される特定の優先度付きキューを識別することができる。例えば、ネットワーキング装置は、個々の異なる優先度クラスのための個々のキューを有するキューのセットを維持し得る。異なる顧客またはテナントに対応するパケットは、異なる割り当てられた優先度またはクラスを有し得て、その結果、異なったように分類されたパケットは、スイッチファブリック内のネットワーキング装置上で異なるキューに割り当てられ得る。異なるクラス（例えば、異なるテナント、異なるアプリケーション）のパケットがスイッチファブリック内のネットワーキング装置上で異なるキューに割り当てられるために、あるクラス（例えば、あるテナント）のトラフィックから生じ得る輻輳は、他のクラス（例えば、他のテナント）のトラフィックに影響を及ぼさない。特定の実施形態において、異なるテナントからのＲＤＭＡパケットフローが（例えば、同一の割り当てられた優先度クラスに従って）ネットワーキング装置の同一のキューに割り当てられることも可能であり、および／または、同一のテナントからのＲＤＭＡパケットフロー（例えば、テナントの異なるアプリケーションからのパケットフロー）が（例えば、異なるそれぞれの割り当てられた優先度クラスに従って）ネットワーキング装置の異なるキューに割り当てられることも可能である。
上述したように、レイヤ３ルーティングプロトコルを使用してパケットをルーティングするために、パケットに関連付けられたＱｏＳ情報がスイッチファブリック内のネットワーキング装置によって使用される。ＱｏＳ情報は、特定の優先度またはクラスを識別することができる。スイッチファブリック（例えば、ＴＯＲスイッチ６４２、ＴＯＲスイッチ６４４および中間スイッチ６４６のうちのいずれか１つまたはそれ以上（または全て））内のネットワーキング装置は、この優先度情報を使用して、ネットワーキング装置によって使用される複数のキューの中から、パケットの転送に使用される特定の優先度付きキューを識別することができる。例えば、ネットワーキング装置は、個々の異なる優先度クラスのための個々のキューを有するキューのセットを維持し得る。異なる顧客またはテナントに対応するパケットは、異なる割り当てられた優先度またはクラスを有し得て、その結果、異なったように分類されたパケットは、スイッチファブリック内のネットワーキング装置上で異なるキューに割り当てられ得る。異なるクラス（例えば、異なるテナント、異なるアプリケーション）のパケットがスイッチファブリック内のネットワーキング装置上で異なるキューに割り当てられるために、あるクラス（例えば、あるテナント）のトラフィックから生じ得る輻輳は、他のクラス（例えば、他のテナント）のトラフィックに影響を及ぼさない。特定の実施形態において、異なるテナントからのＲＤＭＡパケットフローが（例えば、同一の割り当てられた優先度クラスに従って）ネットワーキング装置の同一のキューに割り当てられることも可能であり、および／または、同一のテナントからのＲＤＭＡパケットフロー（例えば、テナントの異なるアプリケーションからのパケットフロー）が（例えば、異なるそれぞれの割り当てられた優先度クラスに従って）ネットワーキング装置の異なるキューに割り当てられることも可能である。
特定の実施形態において、ヘッドオブラインブロッキング問題を回避するために、ＲＤＭＡ／ＲｏＣＥトラフィックの処理に複数のキューがネットワーキング装置上で使用される。ＲＤＭＡデータトラフィックに複数のキューを提供することは、全てのＲＤＭＡ／ＲｏＣＥトラフィックを単一のキューにキューイングすることにより輻輳が生じ得ることを回避する。また、複数の（例えば、４つの）ＲＤＭＡキューは、異なるレベルの性能を必要とする複数の異なるアプリケーションを可能にし、これらのクラスは全てロスレスなネットワーキングを必要とする。そのようにして、環境は、クラウドスケールで、ファブリック全体にわたって、レイテンシの影響を受けやすいＲＤＭＡアプリケーションに対して専用のネットワーク経路を提供することができ、ＨＯＬブロッキング問題を回避しながらそうすることができる。コアネットワークキューの各々は、構成可能な重み付けされた帯域幅分配をサポートすることができる。
場合によっては、顧客またはテナントは、パケットに設定されたＱｏＳ情報によって、どの優先度付きキューがトラフィックのルーティングに使用されるかを制御することができる。特定の実装例において、パケットの送信のために多数のキュー（例えば、複数のキュー）を有するスイッチファブリック内のネットワーキング装置上では、ある割合のキューがＲＤＭＡトラフィックのために取っておかれる。例えば、一実装例では、スイッチファブリック内のスイッチが８個のキューを有する場合、キューのうちの６個がＲＤＭＡトラフィックのために取っておかれてもよい。これらのＲＤＭＡキューは、重み付けラウンドロビンキューであってもよく、重み付けラウンドロビンキューの各々は、ネットワーク帯域幅の取り分を得るが、（例えば、ＲＤＭＡアプリケーション全体にわたって公平性を提供するために）互いに窮乏するはずはない。１つのそのようなスキームでは、ＲＤＭＡキューの各々は、等しく重み付けされるため、ＲＤＭＡキューの各々は、デキューサイクル毎に１回供給される。例えば、（異なるキューに割り当てられたトラフィックによって共有される）リンクの容量の９５％が６個のＲＤＭＡキューに割り当てられてもよく、各キューは、（例えば、均等重み付けを有する重み付けラウンドロビンスキームによって）９５％の６分の１を得る。さらに、スイッチファブリックを介して通信されているトラフィックを処理するのに十分な帯域幅があるようにスイッチファブリックがオーバーサブスクライブされないことを保証することが望ましい場合がある。異なる顧客またはテナントからのトラフィックは、同一のＲＤＭＡキューに割り当てられることができるが、パケットに符号化されたＶＬＡＮ ＩＤおよび／またはＶＮＩに基づいて区別される。
スイッチファブリック６４０は、（例えば、ＴＯＲスイッチ間の）基本的なＩＰルーティングプロトコル機能でネットワーク制御トラフィッククラスを使用することができる。一例において、ネットワーキング装置の複数のキューは、イーサネットＶＰＮ（ＥＶＰＮ）トラフィックを運ぶためのネットワーク制御キューを含み、このネットワーク制御キューは、下にある基板ネットワーク全体にわたるＭＡＣアドレス情報の配布および／または仮想トンネルエンドポイント（ＶＴＥＰ：Virtual Tunnel End Point）フラッドリストの通知に使用することができる。これらのネットワーク制御プロトコル（例えば、ボーダーゲートウェイプロトコル（ＢＧＰ：Border Gateway Protocol））には、最も高いトラフィッククラスが割り当てられてもよい。例えば、ネットワーク制御キューは、ＲＤＭＡキューのいずれかが供給される前に空になるように、ネットワーク制御トラフィッククラスに専用であって、且つ、厳密な優先度付きキューとして実装されてもよい。ネットワーク制御トラフィックは、それほど多くのネットワーク帯域幅を消費しないので、ネットワーク制御トラフィッククラスには、複数のキューの合計帯域幅のうちの少量が割り当てられ得る。
図９Ｂは、４個のＲＤＭＡキュー９６０－１～９６０－４とネットワーク制御（ＮＣ）キュー９６４とを含むネットワーキング装置（例えば、ＴＯＲスイッチ６４２または６４４、中間スイッチ６４６など）の複数のキューの一例９５０を示す図である。図９Ｂに示すように、複数のキュー９５０は、ＣＮＰパケットを運ぶための専用の輻輳通知（ＣＮ）キュー９６２も含み得る。送信側ホストへのＣＮＰパケットの迅速な送達は、ＲＤＭＡ輻輳管理の成功にとって非常に重要である。なぜなら、ＣＮＰパケットが知らせるフロー制御は、ＣＮＰパケットが失われると行われないからである。したがって、ＣＮＰトラフィックは、パケットロスおよびネットワークレイテンシの影響を特に受けやすいが、大量のネットワーク帯域幅を必要としない。これらの要件は、ＲＤＭＡキュー（例えば、キュー９６０－１～９６０－４）のうちのいずれかが供給される前に空になるように厳密な優先度付きキューであるようにＣＮキュー９６２を構成するが、実際のＲＤＭＡトラフィッククラスを窮乏させないように低帯域幅保証のみを有することによって、バランスをとることができる。（例えば、過剰な量のＣＮＰトラフィックを生じさせる構成ミスまたは他の問題の場合に）輻輳通知キュー９６２がネットワーク制御キュー９６４を窮乏させることを防止するために、ネットワーク制御キュー９６４よりも低い優先度を有するように輻輳通知キュー９６２を構成することが望ましい場合がある。
追加的にまたは代替的には、ネットワーク装置の複数のキューは、非ＲＤＭＡトラフィック（例えば、ＴＣＰなどの他のプロトコル）のためのスカベンジャキューも含み得る。「スカベンジャ」トラフィッククラスは、ＲＤＭＡトラフィッククラスに悪影響を及ぼすことなく未使用のネットワーク帯域幅を使用する。ネットワーキング装置のデキュー論理は、例えば重み付けラウンドロビンスキーム内の低い重み（例えば、重みは保証された帯域幅である）をスカベンジャキューに割り当てることによって、ＲＤＭＡキューよりも低い優先度でスカベンジャキューを供給するように構成され得る。図９Ｃは、スカベンジャキュー９６６も含む上記のネットワーキング装置（例えば、ＴＯＲスイッチ６４２または６４４、中間スイッチ６４６など）の複数のキュー９５０の一例９５２を示す図である。
本開示に記載されているように、ＲＤＭＡパケット（レイヤ２ＲＤＭＡパケットまたはレイヤ２ＲＤＭＡパケットを運ぶレイヤ３カプセル化パケット）は、パケットの優先度（例えば、トラフィッククラス）を示す（例えば、ＰＣＰデータフィールド内および／またはＤＳＣＰデータフィールド内の）ＱｏＳ値を運び、ネットワーキング装置のエンキュー論理は、ＱｏＳ値に従ってネットワーキング装置の複数のＲＤＭＡキューの間で入来パケットを分配するように構成され得る。図９Ｂに示されるようにＰＣＰデータフィールドがＱｏＳ値を運ぶのに使用されてＲＤＭＡパケットがＲＤＭＡキュー９６０－１～９６０－４の間で分配される例では、以下のようなマッピングが使用されてもよい。すなわち、６または７というＰＣＰ値を有するＲＤＭＡパケットがＲＤＭＡキュー９６０－１に格納され、４または５というＰＣＰ値を有するＲＤＭＡパケットがＲＤＭＡキュー９６０－２に格納され、２または３というＰＣＰ値を有するＲＤＭＡパケットがＲＤＭＡキュー９６０－３に格納され、０または１というＰＣＰ値を有するＲＤＭＡパケットがＲＤＭＡキュー９６０－４に格納される。図９Ｂに示されるようにＤＳＣＰデータがＱｏＳ値を運ぶのに使用されてＲＤＭＡパケットがＲＤＭＡキュー９６０－１～９６０－４の間で分配される例では、以下のようなマッピングが使用されてもよい。すなわち、４８～６４の範囲内のＤＳＣＰ値を有するＲＤＭＡパケットがＲＤＭＡキュー９６０－１に格納され、３２～４７の範囲内のＤＳＣＰ値を有するＲＤＭＡパケットがＲＤＭＡキュー９６０－２に格納され、１６～３２の範囲内のＤＳＣＰ値を有するＲＤＭＡパケットがＲＤＭＡキュー９６０－３に格納され、０～１５の範囲内のＤＳＣＰ値を有するＲＤＭＡパケットがＲＤＭＡキュー９６０－４に格納される。上記の２つのマッピングは非限定的な例に過ぎず、そのようなマッピングに従って、またはＲＤＭＡキューへのＱｏＳ値のその他のマッピングに従って、ネットワーキング装置の複数のキューの間でのＲＤＭＡパケットの分配を（例えば、エンキュー論理によって）実行することができる、ということを当業者は認識するであろう。
決定論的輻輳（例えば、ＥＣＮビット）マーキング
特定の実施形態において、輻輳マーキングがパケット毎に実行される決定論的輻輳マーキングスキームが使用される。したがって、各パケットについて、スイッチファブリック内のネットワーキング装置が輻輳を経験または検出すると、ネットワーキング装置は、例えばＲｏＣＥパケットのレイヤ３カプセル化ラッパーのＩＰヘッダ内のＥＣＮビットをマーキングするなど、パケットのフィールドをマーキングすることによって、当該輻輳を知らせる。その結果、輻輳があると、宛先ホストマシンに到達する複数のパケットは、輻輳ビットセットを有することになる。そのような各パケットに応答して、宛先ホストマシンは、ＣＮＰパケットを送信し得る。送信者は、ＣＮＰパケットに応答して、伝送速度を減少させることができる。目標は、早期に輻輳を検出することにより送信者が早期に送信を減速させることができるようにし、それによってパケットドロップまたはパケットロスの確率を減少させることである。
特定の実施形態において、輻輳マーキングがパケット毎に実行される決定論的輻輳マーキングスキームが使用される。したがって、各パケットについて、スイッチファブリック内のネットワーキング装置が輻輳を経験または検出すると、ネットワーキング装置は、例えばＲｏＣＥパケットのレイヤ３カプセル化ラッパーのＩＰヘッダ内のＥＣＮビットをマーキングするなど、パケットのフィールドをマーキングすることによって、当該輻輳を知らせる。その結果、輻輳があると、宛先ホストマシンに到達する複数のパケットは、輻輳ビットセットを有することになる。そのような各パケットに応答して、宛先ホストマシンは、ＣＮＰパケットを送信し得る。送信者は、ＣＮＰパケットに応答して、伝送速度を減少させることができる。目標は、早期に輻輳を検出することにより送信者が早期に送信を減速させることができるようにし、それによってパケットドロップまたはパケットロスの確率を減少させることである。
スイッチファブリックのアーキテクチャも、ＲｏＣＥパケットのレイテンシを減少させてパケットのロスを減少させる役割を果たす。上述したように、スイッチファブリックは、図５に示して上記で説明したＣｌｏｓネットワークなどのＣｌｏｓネットワークとして構築され得る。例えば、層－０スイッチ（ＴＯＲスイッチ）および層－１スイッチ（スパインスイッチ）のみを有する二層トポロジを有するＣｌｏｓネットワークでは、ＲｏＣＥパケットは、３つのホップで任意のソースホストマシンから任意の宛先ホストマシンに行くことができる。ホップの数を最小化することは、レイテンシが非常に低くなることを意味し、これはＲｏＣＥトラフィックに適している。
特定の実施形態において、同一のフローに属するＲＤＭＡトラフィックは、ソースホストマシンから宛先ホストマシンまで同一の経路を辿る。なぜなら、ＲＤＭＡトラフィックは、パケット並べ替えの影響を受けやすいからである。このフローベースのルーティングは、順序が狂った状態でパケットが宛先ホストマシンに到達する状況を回避する。例えば、イングレスＴＯＲスイッチは、各フロー内のパケット順序を維持するようにフロー毎等コストマルチパス（ＥＣＭＰ）スキーム（例えば、ｎウェイＥＣＭＰスキームであって、「ｎ」はＣｌｏｓネットワークにおける層の数「ｎ」と混同しないようにすべきである）によって複数のフローのレイヤ３カプセル化パケットをスパインスイッチに分配するように構成され得る。一般に、パケットが属するフローは、パケットのソースＩＰアドレス、宛先ＩＰアドレス、ソースポート、宛先ポート、およびプロトコル識別子（５－タプルとも呼ばれる）の組み合わせによって定義される。
例示的なＩａａＳ（Infrastructure-as-a-Service）アーキテクチャ
上述したように、ＩａａＳ（Infrastructure as a Service）は、１つの特定の種類のクラウドコンピューティングである。ＩａａＳは、パブリックネットワーク（例えば、インターネット）を介して仮想化計算リソースを提供するように構成されてもよい。ＩａａＳモデルにおいて、クラウドコンピューティングプロバイダは、インフラストラクチャ要素（例えば、サーバ、記憶装置、ネットワークノード（例えば、ハードウェア）、展開ソフトウェア、プラットフォーム仮想化（例えば、ハイパーバイザ層）など）をホストすることができる。場合によっては、ＩａａＳプロバイダは、インフラストラクチャ要素に付随する様々なサービス（例えば、課金、監視、ロギング、セキュリティ、負荷分散およびクラスタリングなど）を提供することができる。したがって、これらのサービスがポリシー駆動型であり得るため、ＩａａＳユーザは、アプリケーションの可用性および性能を維持するために、負荷分散を駆動するためのポリシーを実装することができる。
上述したように、ＩａａＳ（Infrastructure as a Service）は、１つの特定の種類のクラウドコンピューティングである。ＩａａＳは、パブリックネットワーク（例えば、インターネット）を介して仮想化計算リソースを提供するように構成されてもよい。ＩａａＳモデルにおいて、クラウドコンピューティングプロバイダは、インフラストラクチャ要素（例えば、サーバ、記憶装置、ネットワークノード（例えば、ハードウェア）、展開ソフトウェア、プラットフォーム仮想化（例えば、ハイパーバイザ層）など）をホストすることができる。場合によっては、ＩａａＳプロバイダは、インフラストラクチャ要素に付随する様々なサービス（例えば、課金、監視、ロギング、セキュリティ、負荷分散およびクラスタリングなど）を提供することができる。したがって、これらのサービスがポリシー駆動型であり得るため、ＩａａＳユーザは、アプリケーションの可用性および性能を維持するために、負荷分散を駆動するためのポリシーを実装することができる。
いくつかの例において、ＩａａＳ顧客は、インターネットなどの広域ネットワーク（ＷＡＮ）を介してリソースおよびサービスにアクセスすることができ、クラウドプロバイダのサービスを使用してアプリケーションスタックの残りの要素をインストールすることができる。例えば、ユーザは、ＩａａＳプラットフォームにログインして、仮想マシン（ＶＭ）を作成し、各ＶＭにオペレーティングシステム（ＯＳ）をインストールし、データベースなどのミドルウエアを展開し、ワークロードおよびバックアップの記憶バケットを作成し、ＶＭに企業ソフトウェアをインストールすることができる。顧客は、プロバイダのサービスを使用して、ネットワークトラフィックのバランシング、アプリケーションのトラブルシューティング、パフォーマンスの監視、災害復旧の管理などを含む様々な機能を実行することができる。
殆どの場合、クラウドコンピューティングモデルは、クラウドプロバイダの参加を必要とする。クラウドプロバイダは、ＩａａＳの提供（例えば、オファー、レンタル、販売）に特化した第３者サービスであってもよいが、その必要はない。また、企業は、プライベートクラウドを配置し、インフラストラクチャサービスを提供するプロバイダになることもできる。
いくつかの例において、ＩａａＳの配置は、用意したアプリケーションサーバなどに新しいアプリケーションまたは新しいバージョンのアプリケーションを配置するプロセスである。ＩａａＳの配置は、サーバを用意する（例えば、ライブラリ、デーモンなどをインストールする）プロセスを含んでもよい。ＩａａＳの配置は、多くの場合、クラウドプロバイダによって、ハイパーバイザ層（例えば、サーバ、記憶装置、ネットワークハードウェア、および仮想化）の下で管理される。したがって、顧客は、ＯＳ、ミドルウエア、および／またはアプリケーションの展開（例えば、セルフサービス仮想マシン（例えば、オンデマンドでスピンアップできるもの）などを行うことができる。
いくつかの例において、ＩａａＳのプロビジョニングは、使用されるコンピュータまたは仮想ホストを取得すること、およびコンピュータまたは仮想ホスト上に必要なライブラリまたはサービスをインストールすることを含んでもよい。殆どの場合、配置は、プロビジョニングを含まず、まずプロビジョニングを実行する必要がある。
場合によっては、ＩａａＳのプロビジョニングには２つの異なる課題がある。第１に、何かを実行する前に、インフラストラクチャの初期セットをプロビジョニングするという課題がある。第２に、全てのものをプロビジョニングした後に、既存のインフラストラクチャを進化させる（例えば、新しいサービスの追加、サービスの変更、サービスの削除）という課題がある。場合によっては、インフラストラクチャの構成を宣言的に定義することを可能にすることによって、これらの２つの課題に対処することができる。言い換えれば、インフラストラクチャ（例えば、どの要素が必要とされるか、およびこれらの要素がどのように相互作用するか）は、１つまたは複数の構成ファイルによって定義されてもよい。したがって、インフラストラクチャの全体的なトポロジ（例えば、どのリソースがどれに依存し、どのように連携するか）は、宣言的に記述することができる。いくつかの例において、トポロジが定義されると、構成ファイルに記述された異なる要素を作成および／または管理するためのワークフローを生成することができる。
いくつかの例において、インフラストラクチャは、多くの相互接続された要素を含むことができる。例えば、コアネットワークとしても知られている１つまたは複数の仮想プライベートクラウド（ＶＰＣ）（例えば、構成可能な計算リソースおよび／または共有されている計算リソースの潜在的なオンデマンドプール）が存在してもよい。いくつかの例において、ネットワークのセキュリティをどのように設定するかを定義するためにプロビジョニングされる１つまたは複数のセキュリティグループルールと、１つまたは複数の仮想マシン（ＶＭ）とが存在する可能性がある。ロードバランサ、データベースなどの他のインフラストラクチャ要素もプロビジョニングされてもよい。ますます多くのインフラストラクチャ要素が望まれるおよび／または追加されるにつれて、インフラストラクチャは、漸進的に進化することができる。
いくつかの例において、様々な仮想コンピューティング環境にわたってインフラストラクチャコードの展開を可能にするために、連続展開技法を採用してもよい。また、記載された技法は、これらの環境内のインフラストラクチャ管理を可能にすることができる。いくつかの例において、サービスチームは、１つまたは複数の、通常多くの異なる生産環境（例えば、時には全世界に及ぶ種々の異なる地理的場所にわたって）に展開されることが望まれるコードを書き込むことができる。しかしながら、いくつかの例において、コードを展開するためのインフラストラクチャを最初に設定しなければならない。いくつかの例において、プロビジョニングは、手動で行うことができ、プロビジョニングツールを用いてリソースをプロビジョニングすることができ、および／またはインフラストラクチャをプロビジョニングした後に、展開ツールを用いてコードを展開することができる。
図１１は、少なくとも１つの実施形態に従って、ＩａａＳアーキテクチャの例示的なパターンを示すブロック図１１００である。サービスオペレータ１１０２は、仮想クラウドネットワーク（ＶＣＮ）１１０６およびセキュアホストサブネット１１０８を含み得るセキュアホストテナンシ１１０４に通信可能に接続されてもよい。いくつかの例において、サービスオペレータ１１０２は、１つまたは複数のクライアントコンピューティング装置を使用することができる。１つまたは複数のクライアントコンピューティング装置は、例えば、Microsoft Windows Mobile（登録商標）のようなソフトウェア、および／またはｉＯＳ、Windowsフォン、アンドロイド（登録商標）、ブラックベリー８およびパームＯＳなどの様々なモバイルオペレーティングシステムを実行することができ、インターネット、電子メール、ショートメッセージサービス（ＳＭＳ）、ブラックベリー（登録商標）または他の通信プロトコルが有効化された手持ち式携帯装置（例えば、iPhone（登録商標）、携帯電話、iPad（登録商標）、タブレット、携帯情報端末（ＰＤＡ）またはウエアラブル装置（Google（登録商標）Glass（登録商標）ヘッドマウントディスプレイ）であってもよい。クライアントコンピューティング装置は、例示として、Microsoft Windows（登録商標）オペレーティングシステム、Apple Macintosh（登録商標）オペレーティングシステムおよび／またはLinux（登録商標）オペレーティングシステムの様々なバージョンを実行するパーソナルコンピュータおよび／またはラップトップコンピュータを含む汎用のパーソナルコンピュータであってもよい。代替的には、クライアントコンピューティング装置は、例えば、様々なGNU/Linuxオペレーティングシステム、例えば、Google Chrome（登録商標）ＯＳを含むがこれに限定されない市販のUNIX（登録商標）またはUNIXに類似する様々なオペレーティングシステムを実行するワークステーションコンピュータであってもよい。代替的にまたは追加的には、クライアントコンピューティング装置は、ＶＣＮ１１０６および／またはインターネットにアクセスできるネットワークを介して通信可能な他の電子機器、例えば、シンクライアントコンピュータ、インターネット対応のゲームシステム（例えば、Kinect（登録商標）ジェスチャ入力装置を備えるまたは備えないMicrosoft Xbox（登録商標）ゲームコンソール）、および／またはパーソナルメッセージング装置であってもよい。
ＶＣＮ１１０６は、ＳＳＨ ＶＣＮ１１１２に含まれるＬＰＧ１１１０を介して、セキュアシェル（ＳＳＨ）ＶＣＮ１１１２に通信可能に接続できるローカルピアリングゲートウェイ（ＬＰＧ）１１１０を含むことができる。ＳＳＨ ＶＣＮ１１１２は、ＳＳＨサブネット１１１４を含むことができ、ＳＳＨ ＶＣＮ１１１２は、制御プレーンＶＣＮ１１１６に含まれるＬＰＧ１１１０を介して、制御プレーンＶＣＮ１１１６に通信可能に接続されてもよい。また、ＳＳＨ ＶＣＮ１１１２は、ＬＰＧ１１１０を介して、データプレーンＶＣＮ１１１８に通信可能に接続されてもよい。制御プレーンＶＣＮ１１１６およびデータプレーンＶＣＮ１１１８は、ＩａａＳプロバイダによって所有および／または運営され得るサービステナンシ１１１９に含まれてもよい。
制御プレーンＶＣＮ１１１６は、境界ネットワーク（例えば、企業イントラネットと外部ネットワークとの間の企業ネットワークの部分）として機能する制御プレーンＤＭＺ（demilitarized zone）層１１２０を含むことができる。ＤＭＺベースのサーバは、特定の信頼性を有し、セキュリティ侵害を封じ込めることができる。さらに、ＤＭＺ層１１２０は、１つまたは複数のロードバランサ（ＬＢ）サブネット１１２２と、アプリサブネット１１２６を含むことができる制御プレーンアプリ層１１２４と、データベース（ＤＢ）サブネット１１３０（例えば、フロントエンドＤＢサブネットおよび／またはバックエンドＤＢサブネット）を含むことができる制御プレーンデータ層１１２８とを含むことができる。制御プレーンＤＭＺ層１１２０に含まれたＬＢサブネット１１２２は、制御プレーンアプリ層１１２４に含まれるアプリサブネット１１２６と制御プレーンＶＣＮ１１１６に含まれ得るインターネットゲートウェイ１１３４とに通信可能に接続されてもよく、アプリサブリ１１２６は、制御プレーンデータ層１１２８に含まれるＤＢサブネット１１３０と、サービスゲートウェイ１１３６と、ネットワークアドレス変換（ＮＡＴ）ゲートウェイ１１３８とに通信可能に接続されてもよい。制御プレーンＶＣＮ１１１６は、サービスゲートウェイ１１３６およびＮＡＴゲートウェイ１１３８を含むことができる。
制御プレーンＶＣＮ１１１６は、データプレーンミラーアプリ層１１４０を含むことができ、データプレーンミラーアプリ層１１４０は、アプリサブネット１１２６を含むことができる。データプレーンミラーアプリ層１１４０に含まれたアプリサブネット１１２６は、計算インスタンス１１４４を実行することができる仮想ネットワークインターフェイスコントローラ（ＶＮＩＣ）１１４２を含むことができる。計算インスタンス１１４４は、データプレーンミラーアプリ層１１４０のアプリサブネット１１２６を、データプレーンアプリ層１１４６に含まれ得るアプリサブネット１１２６に通信可能に接続することができる。
データプレーンＶＣＮ１１１８は、データプレーンアプリ層１１４６と、データプレーンＤＭＺ層１１４８と、データプレーンデータ層１１５０とを含むことができる。データプレーンＤＭＺ層１１４８は、データプレーンアプリ層１１４６のアプリサブネット１１２６およびデータプレーンＶＣＮ１１１８のインターネットゲートウェイ１１３４に通信可能に接続され得るＬＢサブネット１１２２を含むことができる。アプリサブネット１１２６は、データプレーンＶＣＮ１１１８のサービスゲートウェイ１１３６およびデータプレーンＶＣＮ１１１８のＮＡＴゲートウェイ１１３８に通信可能に接続されてもよい。また、データプレーンデータ層１１５０は、データプレーンアプリ層１１４６のアプリサブネット１１２６に通信可能に接続され得るＤＢサブネット１１３０を含むことができる。
制御プレーンＶＣＮ１１１６のインターネットゲートウェイ１１３４およびデータプレーンＶＣＮ１１１８のインターネットゲートウェイ１１３４は、パブリックインターネット１１５４に通信可能に接続され得るメタデータ管理サービス１１５２に通信可能に接続されてもよい。パブリックインターネット１１５４は、制御プレーンＶＣＮ１１１６のＮＡＴゲートウェイ１１３８およびデータプレーンＶＣＮ１１１８のＮＡＴゲートウェイ１１３８に通信可能に接続されてもよい。制御プレーンＶＣＮ１１１６のサービスゲートウェイ１１３６およびデータプレーンＶＣＮ１１１８のサービスゲートウェイ１１３６は、クラウドサービス１１５６に通信可能に接続されてもよい。
いくつかの例において、制御プレーンＶＣＮ１１１６またはデータプレーンＶＣＮ１１１８のサービスゲートウェイ１１３６は、パブリックインターネット１１５４を経由することなく、クラウドサービス１１５６へのアプリケーションプログラミングインターフェイス（ＡＰＩ）呼び出しを行うことができる。サービスゲートウェイ１１３６からのクラウドサービス１１５６へのＡＰＩ呼び出しは、一方向であり得る。サービスゲートウェイ１１３６は、クラウドサービス１１５６へのＡＰＩ呼び出しを行うことができ、クラウドサービス１１５６は、要求データをサービスゲートウェイ１１３６に送信することができる。しかしながら、クラウドサービス１１５６は、サービスゲートウェイ１１３６へのＡＰＩ呼び出しを開始しないことがある。
いくつかの例において、セキュアホストテナンシ１１０４は、孤立であり得るサービステナンシ１１１９に直接に接続されてもよい。セキュアホストサブネット１１０８は、孤立のシステムとの双方向通信を可能にするＬＰＧ１１１０を介して、ＳＳＨサブネット１１１４と通信することができる。セキュアホストサブネット１１０８をＳＳＨサブネット１１１４に接続することによって、セキュアホストサブネット１１０８は、サービステナンシ１１１９内の他のエンティティにアクセスすることができる。
制御プレーンＶＣＮ１１１６は、サービステナンシ１１１９のユーザが所望のリソースを設定またはプロビジョニングすることを可能にする。制御プレーンＶＣＮ１１１６においてプロビジョニングされた所望のリソースは、データプレーンＶＣＮ１１１８において展開または使用されてもよい。いくつかの例において、制御プレーンＶＣＮ１１１６は、データプレーンＶＣＮ１１１８から隔離されてもよく、制御プレーンＶＣＮ１１１６のデータプレーンミラーアプリ層１１４０は、データプレーンミラーアプリ層１１４０およびデータプレーンアプリ層１１４６に含まれ得るＶＮＩＣ１１４２を介して、データプレーンＶＣＮ１１１８のデータプレーンアプリ層１１４６と通信することができる。
いくつかの例において、システムのユーザまたは顧客は、要求をメタデータ管理サービス１１５２に通信することができるパブリックインターネット１１５４を介して、例えば、作成、読み取り、更新、または削除（ＣＲＵＤ）操作などの要求を行うことができる。メタデータ管理サービス１１５２は、インターネットゲートウェイ１１３４を介して、要求を制御プレーンＶＣＮ１１１６に通信することができる。要求は、制御プレーンＤＭＺ層１１２０に含まれるＬＢサブネット１１２２によって受信されてもよい。ＬＢサブネット１１２２は、要求が有効であると判断することができ、この判断に応答して、ＬＢサブネット１１２２は、要求を制御プレーンアプリ層１１２４に含まれるアプリサブネット１１２６に送信することができる。要求が検証され、パブリックインターネット１１５４への呼び出しを必要とする場合、パブリックインターネット１１５４への呼び出しを、パブリックインターネット１１５４への呼び出しを行うことができるＮＡＴゲートウェイ１１３８に送信することができる。要求を記憶するためのメモリは、ＤＢサブネット１１３０に格納されてもよい。
いくつかの例において、データプレーンミラーアプリ層１１４０は、制御プレーンＶＣＮ１１１６とデータプレーンＶＣＮ１１１８との間の直接通信を容易にすることができる。例えば、構成に対する変更、更新、または他の適切な修正は、データプレーンＶＣＮ１１１８に含まれるリソースに適用されることが望ましい場合がある。制御プレーンＶＣＮ１１１６は、ＶＮＩＣ１１４２を介してデータプレーンＶＣＮ１１１８に含まれるリソースと直接に通信することができるため、構成に対する変更、更新、または他の適切な修正を実行することができる。
いくつかの実施形態において、制御プレーンＶＣＮ１１１６およびデータプレーンＶＣＮ１１１８は、サービステナンシ１１１９に含まれてもよい。この場合、システムのユーザまたは顧客は、制御プレーンＶＣＮ１１１６またはデータプレーンＶＣＮ１１１８のいずれかを所有または操作しなくてもよい。代わりに、ＩａａＳプロバイダは、制御プレーンＶＣＮ１１１６およびデータプレーンＶＣＮ１１１８を所有または操作してもよく、これらの両方は、サービステナンシ１１１９に含まれてもよい。この実施形態は、ネットワークの隔離を可能にすることによって、ユーザまたは顧客が他のユーザのリソースまたは他の顧客のリソースと対話することを防止できる。また、この実施形態は、システムのユーザまたは顧客が、記憶するための所望のレベルのセキュリティを有しない可能性のあるパブリックインターネット１１５４に依存する必要なく、データベースをプライベートに記憶することを可能にすることができる。
他の実施形態において、制御プレーンＶＣＮ１１１６に含まれるＬＢサブネット１１２２は、サービスゲートウェイ１１３６から信号を受信するように構成されてもよい。この実施形態において、制御プレーンＶＣＮ１１１６およびデータプレーンＶＣＮ１１１８は、パブリックインターネット１１５４を呼び出すことなく、ＩａａＳプロバイダの顧客によって呼び出されるように構成されてもよい。顧客が使用するデータベースは、ＩａａＳプロバイダによって制御され、パブリックインターネット１１５４から隔離され得るサービステナンシ１１１９に格納され得るため、ＩａａＳプロバイダの顧客は、この実施形態を望む場合がある。
図１２は、少なくとも１つの実施形態に従って、ＩａａＳアーキテクチャの別の例示的なパターンを示すブロック図１２００である。サービスオペレータ１２０２（例えば、図１１のサービスオペレータ１１０２）は、仮想クラウドネットワーク（ＶＣＮ）１２０６（例えば、図１１のＶＣＮ１１０６）およびセキュアホストサブネット１２０８（例えば、図１１のセキュアホストサブネット１１０８）を含み得るセキュアホストテナンシ１２０４（例えば、図１１のセキュアホストテナンシ１１０４）に通信可能に接続されてもよい。ＶＣＮ１２０６は、ＳＳＨ ＶＣＮ１２１２に含まれるＬＰＧ１１１０を介してセキュアシェル（ＳＳＨ）ＶＣＮ１２１２（例えば、図１１のＳＳＨ ＶＣＮ１１１２）に通信可能に接続され得るローカルピアリングゲートウェイ（ＬＰＧ）１２１０（例えば、図１１のＬＰＧ１１１０）を含むことができる。ＳＳＨ ＶＣＮ２５１２は、ＳＳＨサブネット２５１４（例えば、図２４のＳＳＨサブネット２４１４）を含むことができ、ＳＳＨ ＶＣＮ１２１２は、制御プレーンＶＣＮ１２１６に含まれるＬＰＧ１２１０を介して制御プレーンＶＣＮ１２１６（例えば、図１１の制御プレーンＶＣＮ１１１６）に通信可能に接続することができる。制御プレーンＶＣＮ１２１６は、サービステナンシ１２１９（例えば、図１１のサービステナンシ１１１９）に含まれてもよく、データプレーンＶＣＮ１２１８（例えば、図１１のデータプレーンＶＣＮ１１１８）は、システムのユーザまたは顧客によって所有または運営され得る顧客テナンシ１２２１に含まれてもよい。
制御プレーンＶＣＮ１２１６は、ＬＢサブネット１２２２（例えば、図１１のＬＢサブネット１１２２）を含むことができる制御プレーンＤＭＺ層１２２０（例えば、図１１の制御プレーンＤＭＺ層１１２０）と、アプリサブネット１２２６（例えば、図１１のアプリサブネット１１２６）を含むことができる制御プレーンアプリ層１２２４（例えば、図１１の制御プレーンアプリ層１１２４）と、データベース（ＤＢ）サブネット１２３０（例えば、図１１のＤＢサブネット１１３０と同様）を含むことができる制御プレーンデータ層１２２８（例えば、図１１の制御プレーンデータ層１１２８）とを含むことができる。制御プレーンＤＭＺ層１２２０に含まれるＬＢサブネット１２２２は、制御プレーンアプリ層１２２４に含まれるアプリサブネット１２２６と、制御プレーンＶＣＮ１２１６に含まれ得るインターネットゲートウェイ１２３４（例えば、図１１のインターネットゲートウェイ１１３４）とに通信可能に接続されてもよい。アプリサブネット１２２６は、制御プレーンデータ層１２２８に含まれるＤＢサブネット１２３０、サービスゲートウェイ１２３６（例えば、図１１のサービスゲートウェイ）およびネットワークアドレス変換（ＮＡＴ）ゲートウェイ１２３８（例えば、図１１のＮＡＴゲートウェイ１１３８）に通信可能に接続されてもよい。制御プレーンＶＣＮ１２１６は、サービスゲートウェイ１２３６およびＮＡＴゲートウェイ１２３８を含むことができる。
制御プレーンＶＣＮ１２１６は、アプリサブネット１２２６を含むことができるデータプレーンミラーアプリ層１２４０（例えば、図１１のデータプレーンミラーアプリ層１１４０）を含むことができる。データプレーンミラーアプリ層１２４０に含まれるアプリサブネット１２２６は、（例えば、図１１の計算インスタンス１１４４と同様の）計算インスタンス１２４４を実行することができる仮想ネットワークインターフェイスコントローラ（ＶＮＩＣ）１２４２（例えば、ＶＮＩＣ１１４２）を含むことができる。計算インスタンス１２４４は、データプレーンミラーアプリ層１２４０に含まれるＶＮＩＣ１２４２およびデータプレーンアプリ層１２４６に含まれるＶＮＩＣ１２４２を介して、データプレーンミラーアプリ層１２４０のアプリサブネット１２２６と、データプレーンアプリ層１２４６（例えば、図１１のデータプレーンアプリ層１１４６）に含まれ得るアプリサブネット１２２６との間の通信を促進することができる。
制御プレーンＶＣＮ１２１６に含まれるインターネットゲートウェイ１２３４は、パブリックインターネット１２５４（例えば、図１１のパブリックインターネット１１５４）に通信可能に接続され得るメタデータ管理サービス１２５２（例えば、図１１のメタデータ管理サービス１１５２）に通信可能に接続されてもよい。パブリックインターネット１２５４は、制御プレーンＶＣＮ１２１６に含まれるＮＡＴゲートウェイ１２３８に通信可能に接続されてもよい。制御プレーンＶＣＮ１２１６に含まれるサービスゲートウェイ１２３６は、クラウドサービス１２５６（例えば、図１１のクラウドサービス１１５６）に通信可能に接続されてもよい。
いくつかの例において、データプレーンＶＣＮ１２１８は、顧客テナンシ１２２１に含まれてもよい。この場合、ＩａａＳプロバイダは、顧客ごとに制御プレーンＶＣＮ１２１６を提供することができ、ＩａａＳプロバイダは、顧客ごとに、サービステナンシ１２１９に含まれる固有の計算インスタンス１２４４を構成することができる。各計算インスタンス１２４４は、サービステナンシ１２１９に含まれる制御プレーンＶＣＮ１２１６と、顧客テナンシ１２２１に含まれるデータプレーンＶＣＮ１２１８との間の通信を許可することができる。計算インスタンス１２４４は、サービステナンシ１２１９に含まれる制御プレーンＶＣＮ１２１６においてプロビジョニングされるリソースを、顧客テナンシ１２２１に含まれるデータプレーンＶＣＮ１２１８に展開することまたは使用することを許可することができる。
他の例において、ＩａａＳプロバイダの顧客は、顧客テナンシ１２２１に存在するデータベースを有することができる。この例において、制御プレーンＶＣＮ１２１６は、アプリサブネット１２２６を含むことができるデータプレーンミラーアプリ層１２４０を含むことができる。データプレーンミラーアプリ層１２４０は、データプレーンＶＣＮ１２１８に存在してもよいが、データプレーンミラーアプリ層１２４０は、データプレーンＶＣＮ１２１８に存在しなくてもよい。すなわち、データプレーンミラーアプリ層１２４０は、顧客テナンシ１２２１にアクセスすることができるが、データプレーンミラーアプリ層１２４０は、データプレーンＶＣＮ１２１８に存在しなくてもよく、ＩａａＳプロバイダの顧客によって所有または運営されなくてもよい。データプレーンミラーアプリ層１２４０は、データプレーンＶＣＮ１２１８への呼び出しを行うように構成されてもよいが、制御プレーンＶＣＮ１２１６に含まれる任意のエンティティへの呼び出しを行うように構成されなくてもよい。顧客は、制御プレーンＶＣＮ１２１６にプロビジョニングされたデータプレーンＶＣＮ１２１８内のリソースを展開することまたは使用することを望むことができ、データプレーンミラーアプリ層１２４０は、顧客のリソースの所望の展開または他の使用を促進することができる。
いくつかの実施形態において、ＩａａＳプロバイダの顧客は、フィルタをデータプレーンＶＣＮ１２１８に適用することができる。この実施形態において、顧客は、データプレーンＶＣＮ１２１８がアクセスできるものを決定することができ、顧客は、データプレーンＶＣＮ１２１８からのパブリックインターネット１２５４へのアクセスを制限することができる。ＩａａＳプロバイダは、データプレーンＶＣＮ１２１８から任意の外部ネットワークまたはデータベースへのアクセスにフィルタを適用するまたは制御することができない場合がある。顧客が顧客テナンシ１２２１に含まれるデータプレーンＶＣＮ１２１８にフィルタおよび制御を適用することは、データプレーンＶＣＮ１２１８を他の顧客およびパブリックインターネット１２５４から隔離することを支援することができる。
いくつかの実施形態において、クラウドサービス１２５６は、サービスゲートウェイ１２３６によって呼び出されて、パブリックインターネット１２５４上に、制御プレーンＶＣＮ１２１６上に、またはデータプレーンＶＣＮ１２１８上に存在していない可能性があるサービスにアクセスすることができる。クラウドサービス１２５６と制御プレーンＶＣＮ１２１６またはデータプレーンＶＣＮ１２１８との間の接続は、ライブまたは連続的でなくてもよい。クラウドサービス１２５６は、ＩａａＳプロバイダによって所有または運営されている別のネットワーク上に存在してもよい。クラウドサービス１２５６は、サービスゲートウェイ１２３６から呼び出しを受信するように構成されてもよく、パブリックインターネット１２５４から呼び出しを受信しないように構成されてもよい。いくつかのクラウドサービス１２５６は、他のクラウドサービス１２５６から隔離されてもよく、制御プレーンＶＣＮ１２１６は、制御プレーンＶＣＮ１２１６と同じ地域に配置していない可能性があるクラウドサービス１２５６から隔離されてもよい。例えば、制御プレーンＶＣＮ１２１６は、「地域１」に配置されてもよく、クラウドサービス「展開１１」は、「地域１」および「地域２」に配置されてもよい。展開１１への呼び出しが地域１に配置された制御プレーンＶＣＮ１２１６に含まれるサービスゲートウェイ１２３６によって行われる場合、この呼び出しは、地域１内の展開１１に送信されてもよい。この例において、制御プレーンＶＣＮ１２１６または地域１の展開１１は、地域２の展開１１と通信可能に接続されなくてもよく、または地域２の展開１１と通信しなくてもよい。
図１３は、少なくとも１つの実施形態に従って、ＩａａＳアーキテクチャの別の例示的なパターンを示すブロック図１３００である。サービスオペレータ１３０２（例えば、図１１のサービスオペレータ１１０２）は、仮想クラウドネットワーク（ＶＣＮ）１３０６（例えば、図１１のＶＣＮ１１０６）およびセキュアホストサブネット１３０８（例えば、図１１のセキュアホストサブネット１１０８）を含み得るセキュアホストテナンシ１３０４（例えば、図１１のセキュアホストテナンシ１１０４）に通信可能に接続されてもよい。ＶＣＮ１３０６は、ＳＳＨ ＶＣＮ１３１２に含まれるＬＰＧ１３１０を介してＳＳＨ ＶＣＮ１３１２（例えば、図１１のＳＳＨ ＶＣＮ１１１２）に通信可能に接続され得るＬＰＧ１３１０（例えば、図１１のＬＰＧ１１１０）を含むことができる。ＳＳＨ ＶＣＮ１３１２は、ＳＳＨサブネット１３１４（例えば、図１１のＳＳＨサブネット１１１４）を含むことができ、ＳＳＨ ＶＣＮ１３１２は、制御プレーンＶＣＮ１３１６に含まれるＬＰＧ１３１０を介して制御プレーンＶＣＮ１３１６（例えば、図１１の制御プレーンＶＣＮ１１１６）に通信可能に接続されてもよく、データプレーンＶＣＮ１３１８に含まれるＬＰＧ１３１０を介してデータプレーンＶＣＮ１３１８（例えば、図１１のデータプレーン１１１８）に通信可能に接続されてもよい。制御プレーンＶＣＮ１３１６およびデータプレーンＶＣＮ１３１８は、サービステナンシ１３１９（例えば、図１１のサービステナント１１１９）に含まれてもよい。
制御プレーンＶＣＮ１３１６は、ロードバランサ（ＬＢ）サブネット１３２２（例えば、図１１のＬＢサブネット１１２２）を含むことができる制御プレーンＤＭＺ層１３２０（例えば、図１１の制御プレーンＤＭＺ層１１２０）と、アプリサブネット１３２６（例えば、図１１のアプリサブネット１１２６と同様）を含むことができる制御プレーンアプリ層１３２４（例えば、図１１の制御プレーンアプリ層１１２４）と、ＤＢサブネット１３３０を含むことができる制御プレーンデータ層１３２８（例えば、図１１の制御プレーンデータ層１１２８）とを含むことができる。制御プレーンＤＭＺ層１３２０に含まれるＬＢサブネット１３２２は、制御プレーンアプリ層１３２４に含まれるアプリサブネット１３２６と、制御プレーンＶＣＮ１３１６に含まれ得るインターネットゲートウェイ１３３４（例えば、図１１のインターネットゲートウェイ１１３４）とに通信可能に接続されてもよい。アプリサブネット１３２６は、制御プレーンデータ層１３２８に含まれるＤＢサブネット１３３０と、サービスゲートウェイ１３３６（例えば、図１１のサービスゲートウェイ）およびネットワークアドレス変換（ＮＡＴ）ゲートウェイ１３３８（例えば、図１１のＮＡＴゲートウェイ１１３８）とに通信可能に接続されてもよい。制御プレーンＶＣＮ１３１６は、サービスゲートウェイ１３３６およびＮＡＴゲートウェイ１３３８を含むことができる。
データプレーンＶＣＮ１３１８は、データプレーンアプリ層１３４６（例えば、図１１のデータプレーンアプリ層１１４６）と、データプレーンＤＭＺ層１３４８（例えば、図１１のデータプレーンＤＭＺ層１１４８）と、データプレーンデータ層１３５０（例えば、図１１のデータプレーンデータ層１１５０）とを含むことができる。データプレーンＤＭＺ層１３４８は、データプレーンＶＣＮ１３１８に含まれるデータプレーンアプリ層１３４６およびインターネットゲートウェイ１３３４の信頼できるアプリサブネット１３６０および信頼できないアプリサブネット１３６２に通信可能に接続され得るＬＢサブネット１３２２を含むことができる。信頼できるアプリサブネット１３６０は、データプレーンＶＣＮ１３１８に含まれるサービスゲートウェイ１３３６、データプレーンＶＣＮ１３１８に含まれるＮＡＴゲートウェイ１３３８、およびデータプレーンデータ層１３５０に含まれるＤＢサブネット１３３０に通信可能に接続されてもよい。信頼できないアプリサブネット１３６２は、データプレーンＶＣＮ１３１８に含まれるサービスゲートウェイ１３３６、およびデータプレーンデータ層１３５０に含まれるＤＢサブネット１３３０に通信可能に接続されてもよい。データプレーンデータ層１３５０は、データプレーンＶＣＮ１３１８に含まれるサービスゲートウェイ１３３６に通信可能に接続され得るＤＢサブネット１３３０を含むことができる。
信頼できないアプリサブネット１３６２は、テナント仮想マシン（ＶＭ）１３６６（１）～（Ｎ）に通信可能に接続され得る１つまたは複数のプライマリＶＮＩＣ１３６４（１）～（Ｎ）を含むことができる。各テナントＶＭ１３６６（１）～（Ｎ）は、それぞれの顧客テナンシ１３７０（１）～（Ｎ）に含まれ得るそれぞれのコンテナエグレスＶＣＮ１３６８（１）～（Ｎ）に含まれ得るそれぞれのアプリサブネット１３６７（１）～（Ｎ）に通信可能に接続されてもよい。それぞれのセカンダリＶＮＩＣ１３７２（１）～（Ｎ）は、データプレーンＶＣＮ１３１８に含まれる信頼できないアプリサブネット１３６２と、コンテナエグレスＶＣＮ１３６８（１）～（Ｎ）に含まれるアプリサブネットとの間の通信を促進することができる。各コンテナエグレスＶＣＮ１３６８（１）～（Ｎ）は、パブリックインターネット１３５４（例えば、図１１のパブリックインターネット１１５４）に通信可能に接続され得るＮＡＴゲートウェイ１３３８を含むことができる。
制御プレーンＶＣＮ１３１６に含まれるインターネットゲートウェイ１３３４およびデータプレーンＶＣＮ１３１８に含まれるインターネットゲートウェイ１３３４は、パブリックインターネット１３５４に通信可能に接続され得るメタデータ管理サービス１３５２（例えば、図１１のメタデータ管理システム１１５２）に通信可能に接続されてもよい。パブリックインターネット１３５４は、制御プレーンＶＣＮ１３１６に含まれるＮＡＴゲートウェイ１３３８およびデータプレーンＶＣＮ１３１８に含まれるＮＡＴゲートウェイ１３３８に通信可能に接続されてもよい。制御プレーンＶＣＮ１３１６に含まれるサービスゲートウェイ１３３６およびデータプレーンＶＣＮ１３１８に含まれるサービスゲートウェイ１３３６は、クラウドサービス１３５６に通信可能に接続されてもよい。
いくつかの実施形態において、データプレーンＶＣＮ１３１８は、顧客テナンシ１３７０に統合されてもよい。この統合は、コードを実行するときにサポートを望む場合がある場合などのいくつかの場合において、ＩａａＳプロバイダの顧客にとって有用または望ましい場合がある。顧客は、実行すると、破壊的であり得る、他の顧客リソースと通信し得る、または望ましくない影響を引き起こし得るコードを提供することがある。従って、ＩａａＳプロバイダは、顧客がＩａａＳプロバイダに提供したコードを実行するか否かを判断することができる。
いくつかの例において、ＩａａＳプロバイダの顧客は、一時的なネットワークアクセスをＩａａＳプロバイダに許可することができ、データプレーンアプリ層１３４６に追加する機能を要求することができる。機能を実行するためのコードは、ＶＭ１３６６（１）～（Ｎ）で実行されてもよいが、データプレーンＶＣＮ１３１８上の他の場所で実行されるように構成されることができない。各ＶＭ１３６６（１）～（Ｎ）は、１つの顧客テナンシ１３７０に接続されてもよい。ＶＭ１３６６（１）～（Ｎ）に含まれるそれぞれのコンテナ１３７１（１）～（Ｎ）は、コードを実行するように構成されてもよい。この場合、二重の隔離（例えば、コンテナ１３７１（１）～（Ｎ）は、コードを実行し、コンテナ１３７１（１）～（Ｎ）は、少なくとも、信頼できないアプリサブネット１３６２に含まれるＶＭ１３６６（１）～（Ｎ）に含まれ得る）が存在してもよく、これは、誤ったコードまたは望ましくないコードがＩａａＳプロバイダのネットワークに損傷を与えること、または異なる顧客のネットワークに損傷を与えることを防止することを支援することができる。コンテナ１３７１（１）～（Ｎ）は、顧客テナンシ１３７０に通信可能に接続されてもよく、顧客テナンシ１３７０からデータを送信または受信するように構成されてもよい。コンテナ１３７１（１）～（Ｎ）は、データプレーンＶＣＮ１３１８内の任意の他のエンティティからデータを送信または受信するように構成されなくてもよい。コードの実行が完了すると、ＩａａＳプロバイダは、コンテナ１３７１（Ｉ）～（Ｎ）をキルするまたは廃棄することができる。
いくつかの実施形態において、信頼できるアプリサブネット１３６０は、ＩａａＳプロバイダによって所有または運営され得るコードを実行することができる。この実施形態において、信頼できるアプリサブネット１３６０は、ＤＢサブネット１３３０に通信可能に接続され、ＤＢサブネット１３３０においてＣＲＵＤ操作を実行するように構成されてもよい。信頼できないアプリサブネット１３６２は、ＤＢサブネット１３３０に通信可能に接続され得るが、この実施形態において、信頼できないアプリサブネットは、ＤＢサブネット１３３０内で読み取り操作を実行するように構成されてもよい。各顧客のＶＭ１３６６（１）～（Ｎ）に含まれ、顧客からのコードを実行することができるコンテナ１３７１（１）～（Ｎ）は、ＤＢサブネット１３３０と通信可能に接続されなくてもよい。
他の実施形態において、制御プレーンＶＣＮ１３１６およびデータプレーンＶＣＮ１３１８は、通信可能に直接に結合されなくてもよい。この実施形態において、制御プレーンＶＣＮ１３１６とデータプレーンＶＣＮ１３１８との間に直接的な通信は、存在しないことがある。しかしながら、少なくとも１つの方法による間接的な通信は、存在してもよい。制御プレーンＶＣＮ１３１６とデータプレーンＶＣＮ１３１８との間の通信を容易にすることができるＬＰＧ１３１０が、ＩａａＳプロバイダによって確立されてもよい。別の例において、制御プレーンＶＣＮ１３１６またはデータプレーンＶＣＮ１３１８は、サービスゲートウェイ１３３６を介してクラウドサービス１３５６への呼び出しを行うことができる。例えば、制御プレーンＶＣＮ１３１６からクラウドサービス１３５６への呼び出しは、データプレーンＶＣＮ１３１８と通信することができるサービスの要求を含むことができる。
図１４は、少なくとも１つの実施形態に従って、ＩａａＳアーキテクチャの別の例示的なパターンを示すブロック図１４００である。サービスオペレータ１４０２（例えば、図１１のサービスオペレータ１１０２）は、仮想クラウドネットワーク（ＶＣＮ）１４０６（例えば、図１１のＶＣＮ１１０６）およびセキュアホストサブネット１４０８（例えば、図１１のセキュアホストサブネット１１０８）を含み得るセキュアホストテナンシ１４０４（例えば、図１１のセキュアホストテナンシ１１０４）に通信可能に接続されてもよい。ＶＣＮ１４０６は、ＳＳＨ ＶＣＮ１４１２に含まれるＬＰＧ１４１０を介してＳＳＨ ＶＣＮ１４１２（例えば、図１１のＳＳＨ ＶＣＮ１１１２）に通信可能に接続され得るＬＰＧ１４１０（例えば、図１１のＬＰＧ１１１０）を含むことができる。ＳＳＨ ＶＣＮ１４１２は、ＳＳＨサブネット１４１４（例えば、図１１のＳＳＨサブネット１１１４）を含むことができ、ＳＳＨ ＶＣＮ１４１２は、制御プレーンＶＣＮ１４１６に含まれるＬＰＧ１４１０を介して制御プレーンＶＣＮ１４１６（例えば、図１１の制御プレーンＶＣＮ１１１６）に通信可能に接続されてもよく、データプレーンＶＣＮ１４１８に含まれるＬＰＧ１４１０を介してデータプレーンＶＣＮ１４１８（例えば、図１１のデータプレーン１１１８）に通信可能に接続されてもよい。制御プレーンＶＣＮ１４１６およびデータプレーンＶＣＮ１４１８は、サービステナンシ１４１９（例えば、図１１のサービステナンシ１１１９）に含まれてもよい。
制御プレーンＶＣＮ１４１６は、ＬＢサブネット１４２２（例えば、図１１のＬＢサブネット１１２２）を含み得る制御プレーンＤＭＺ層１４２０（例えば、図１１の制御プレーンＤＭＺ層１１２０）、アプリサブネット１４２６（例えば、図１１のアプリサブネット１１２６）を含み得る制御プレーンアプリ層１４２４（例えば、図１１の制御プレーンアプリ層１１２４）、ＤＢサブネット１４３０（例えば、図１３のＤＢサブネット１３３０）を含み得る制御プレーンデータ層１４２８（例えば、図１１の制御プレーンデータ層１１２８）を含むことができる。制御プレーンＤＭＺ層１４２０に含まれるＬＢサブネット１４２２は、制御プレーンアプリ層１４２４に含まれるアプリサブネット１４２６と、制御プレーンＶＣＮ１４１６に含まれ得るインターネットゲートウェイ１４３４（例えば、図１１のインターネットゲートウェイ１１３４）とに通信可能に接続されてもよい。アプリサブネット１４２６は、制御プレーンデータ層１４２８に含まれるＤＢサブネット１４３０と、サービスゲートウェイ１４３６（例えば、図１１のサービスゲートウェイ）およびネットワークアドレス変換（ＮＡＴ）ゲートウェイ１４３８（例えば、図１１のＮＡＴゲートウェイ１１３８）とに通信可能に接続されてもよい。制御プレーンＶＣＮ１４１６は、サービスゲートウェイ１４３６およびＮＡＴゲートウェイ１４３８を含むことができる。
データプレーンＶＣＮ１４１８は、データプレーンアプリ層１４４６（例えば、図１１のデータプレーンアプリ層１１４６）、データプレーンＤＭＺ層１４４８（例えば、図１１のデータプレーンＤＭＺ層１１４８）、およびデータプレーンデータ層１４５０（例えば、図１１のデータプレーンデータ層１１５０）を含むことができる。データプレーンＤＭＺ層１４４８は、データプレーンアプリ層１４４６の信頼できるアプリサブネット１４６０（例えば、図１３の信頼できるアプリサブネット１３６０）および信頼できないアプリサブネット１４６２（例えば、図１３の信頼できないアプリサブネット１３６２）およびデータプレーンＶＣＮ１４１８に含まれるインターネットゲートウェイ１４３４に通信可能に接続され得るＬＢサブネット１４２２を含むことができる。信頼できるアプリサブネット１４６０は、データプレーンＶＣＮ１４１８に含まれるサービスゲートウェイ１４３６、データプレーンＶＣＮ１４１８に含まれるＮＡＴゲートウェイ１４３８、およびデータプレーンデータ層１４５０に含まれるＤＢサブネット１４３０に通信可能に接続されてもよい。信頼できないアプリサブネット１４６２は、データプレーンＶＣＮ１４１８に含まれるサービスゲートウェイ１４３６、およびデータプレーンデータ層１４５０に含まれるＤＢサブネット１４３０に通信可能に接続されてもよい。データプレーンデータ層１４５０は、データプレーンＶＣＮ１４１８に含まれるサービスゲートウェイ１４３６に通信可能に接続され得るＤＢサブケット１４３０を含むことができる。
信頼できないアプリサブネット１４６２は、信頼できないアプリサブネット１４６２に常駐するテナント仮想マシン（ＶＭ）１４６６（１）～（Ｎ）に通信可能に接続され得るプライマリＶＮＩＣ１４６４（１）～（Ｎ）を含むことができる。各テナントＶＭ１４６６（１）～（Ｎ）は、それぞれのコンテナ１４６７（１）～（Ｎ）においてコードを実行することができ、コンテナエグレスＶＣＮ１４６８に含まれ得るデータプレーンアプリ層１４４６に含まれ得るアプリサブネット１４２６に通信可能に接続されてもよい。各セカンダリＶＮＩＣ１４７２（１）～（Ｎ）は、データプレーンＶＣＮ１４１８に含まれる信頼できないアプリサブネット１４６２とコンテナエグレスＶＣＮ１４６８に含まれるアプリサブネットとの間の通信を促進することができる。コンテナエグレスＶＣＮは、パブリックインターネット１４５４（例えば、図１１のパブリックインターネット１１５４）に通信可能に接続することができるＮＡＴゲートウェイ１４３８を含むことができる。
制御プレーンＶＣＮ１４１６に含まれるインターネットゲートウェイ１４３４およびデータプレーンＶＣＮ１４１８に含まれるインターネットゲートウェイ１４３４は、パブリックインターネット１４５４に通信可能に接続され得るメタデータ管理サービス１４５２（例えば、図１１のメタデータ管理システム１１５２）に通信可能に接続されてもよい。パブリックインターネット１４５４は、制御プレーンＶＣＮ１４１６に含まれるＮＡＴゲートウェイ１４３８およびデータプレーンＶＣＮ１４１８に含まれるＮＡＴゲートウェイ１４３８に通信可能に接続されてもよい。制御プレーンＶＣＮ１４１６に含まれるサービスゲートウェイ１４３６およびデータプレーンＶＣＮ１４１８に含まれるサービスゲートウェイ１４３６は、クラウドサービス１４５６に通信可能に接続されてもよい。
いくつかの例において、図１４のブロック図１４００のアーキテクチャによって示されたパターンは、図１３のブロック図１３００のアーキテクチャによって示されたパターンの例外と考えられ、ＩａａＳプロバイダが顧客と直接に通信できない（例えば、非接続地域）場合、ＩａａＳプロバイダの顧客にとって望ましいことがある。顧客は、各顧客のＶＭ１４６６（１）～（Ｎ）に含まれるそれぞれのコンテナ１４６７（１）～（Ｎ）にリアルタイムでアクセスすることができる。コンテナ１４６７（１）～（Ｎ）は、コンテナエグレスＶＣＮ１４６８に含まれ得るデータプレーンアプリ層１４４６のアプリサブネット１４２６に含まれるそれぞれのセカンダリＶＮＩＣ１４７２（１）～（Ｎ）を呼び出すように構成されてもよい。セカンダリＶＮＩＣ１４７２（１）～（Ｎ）は、パブリックインターネット１４５４に呼び出しを送信することができるＮＡＴゲートウェイ１４３８に呼び出しを送信することができる。この例において、顧客がリアルタイムでアクセスできるコンテナ１４６７（１）～（Ｎ）は、制御プレーンＶＣＮ１４１６から隔離されてもよく、データプレーンＶＣＮ１４１８に含まれる他のエンティティから隔離されてもよい。また、コンテナ１４６７（１）～（Ｎ）は、他の顧客のリソースから隔離されてもよい。
他の例において、顧客は、コンテナ１４６７（１）～（Ｎ）を使用して、クラウドサービス１４５６を呼び出すことができる。この例では、顧客は、コンテナ１４６７（１）～（Ｎ）において、クラウドサービス１４５６からサービスを要求するコードを実行することができる。コンテナ１４６７（１）～（Ｎ）は、要求をパブリックインターネット１４５４に送信することができるＮＡＴゲートウェイに要求を送信することができるセカンダリＶＮＩＣ１４７２（１）～（Ｎ）にこの要求を送信することができる。パブリックインターネット１４５４は、インターネットゲートウェイ１４３４を介して、制御プレーンＶＣＮ１４１６に含まれるＬＢサブネット１４２２にこの要求を送信することができる。要求が有効であるとの判断に応答して、ＬＢサブネットは、この要求をアプリサブネット１４２６に送信することができ、アプリサブネット１４２６は、サービスゲートウェイ１４３６を介して、この要求をクラウドサービス１４５６に要求を送信することができる。
なお、図示されたＩａａＳアーキテクチャ１１００、１２００、１３００および１４００は、図示されたもの以外の要素を含んでもよい。また、図示された実施形態は、本開示の実施形態を組み込むことができるクラウドインフラストラクチャシステムの一部の例に過ぎない。他のいくつかの実施形態において、ＩａａＳシステムは、図示されたものよりも多いまたは少ない要素を有してよく、２つ以上の要素を組み合わせてよく、または要素の異なる構成または配置を有してよい。
特定の実施形態において、本開示に記載されたＩａａＳシステムは、セルフサービス、サブスクリプションベース、柔軟な拡張可能性、信頼性、高可用性、および安全な方法で顧客に提供されるアプリケーション、ミドルウエア、およびデータベースサービスのスイートを含むことができる。このようなＩａａＳシステムの一例は、本譲受人によって提供されたオラクル（登録商標）クラウドインフラストラクチャ（ＯＣＩ）である。
図１５は、様々な実施形態が実装され得る例示的なコンピュータシステム１５００を示す。システム１５００は、上述したコンピュータシステムのいずれかを実装するために使用されてもよい。図示のように、コンピュータシステム１５００は、バスサブシステム１５０２を介して多数の周辺サブシステムと通信する処理ユニット１５０４を含む。これらの周辺サブシステムは、処理加速ユニット１５０６、Ｉ／Ｏサブシステム１５０８、記憶サブシステム１５１８、および通信サブシステム１５２４を含んでもよい。記憶サブシステム１５１８は、有形のコンピュータ可読記憶媒体１５２２およびシステムメモリ１５１０を含む。
バスサブシステム１５０２は、コンピュータシステム１５００の様々な構成要素およびサブシステムを意図したように相互に通信させるための機構を提供する。バスサブシステム１５０２は、単一のバスとして概略的に示されているが、バスサブシステムの代替的な実施形態は、複数のバスを利用してもよい。バスサブシステム１５０２は、メモリバスまたはメモリコントローラ、周辺バス、および様々なバスアーキテクチャのいずれかを使用するローカルバスを含む、いくつかの種類のバス構造のいずれかであってもよい。例えば、このようなアーキテクチャは、業界標準アーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、ビデオ電子標準協会（ＶＥＳＡ）ローカルバス、およびＩＥＥＥ Ｐ１３８６．１規格に準拠して製造されたメザニンバスとして実装できる周辺機器相互接続（ＰＣＩ）バスなどを含むことができる。
１つまたは複数の集積回路（例えば、従来のマイクロプロセッサまたはマイクロコントローラ）として実装され得る処理ユニット１５０４は、コンピュータシステム１５００の動作を制御する。処理ユニット１５０４は、１つまたは複数のプロセッサを含んでもよい。これらのプロセッサは、シングルコアまたはマルチコアプロセッサを含んでもよい。特定の実施形態において、処理ユニット１５０４は、各処理ユニットに含まれるシングルコアまたはマルチコアプロセッサを有する１つまたは複数の独立した処理ユニット１５３２および／または１５３４として実装されてもよい。他の実施形態において、処理ユニット１５０４は、２つのデュアルコアプロセッサを単一のチップに統合することによって形成されたクワッドコア（quad-core）処理ユニットとして実装されてもよい。
様々な実施形態において、処理ユニット１５０４は、プログラムコードに応答して様々なプログラムを実行することができ、同時に実行する複数のプログラムまたはプロセスを維持することができる。任意の時点で、実行されるプログラムコードの一部または全部は、プロセッサ１５０４および／または記憶サブシステム１５１８に常駐することができる。プロセッサ１５０４は、適切なプログラミングを通して、上述した様々な機能性を提供することができる。コンピュータシステム１５００は、デジタル信号プロセッサ（ＤＳＰ）、専用プロセッサおよび／または同種のものを含むことができる処理加速ユニット１５０６をさらに含んでもよい。
Ｉ／Ｏサブシステム１５０８は、ユーザインターフェイス入力装置と、ユーザインターフェイス出力装置とを含むことができる。ユーザインターフェイス入力装置は、キーボード、マウスまたはトラックボールなどのポインティング装置、ディスプレイに組み込まれたタッチパッドまたはタッチスクリーン、スクロールホイール、クリックホイール、ダイヤル、ボタン、スイッチ、キーパッド、音声命令認識システムを備える音声入力装置、マイクロフォン、および他の種類の入力装置を含んでもよい。また、ユーザインターフェイス入力装置は、例えば、Microsoft Kinect（登録商標）モーションセンサのようなモーション検知および／またはジェスチャ認識装置を含んでもよい。Microsoft Kinect（登録商標）モーションセンサは、ジェスチャおよび音声命令を利用する自然ユーザインターフェイスを介して、Microsoft Xbox（登録商標）３６０ゲームコントローラなどの入力装置を制御することができ、それと対話することができる。また、ユーザインターフェイス入力装置は、Google Glass（登録商標）瞬き検出器のような眼球ジェスチャ認識装置を含むことができる。Google Glass（登録商標）瞬き検出器は、ユーザの眼球活動（例えば、写真を撮るときおよび／またはメニューを選択するときの「瞬き」）を検出し、眼球活動を入力装置（例えば、Google Glass（登録商標））に入力する入力に変換する。さらに、ユーザインターフェイス入力装置は、音声命令を介してユーザと音声認識システム（例えば、Siri（登録商標）ナビゲータ）との対話を可能にする音声認識検出装置を含んでもよい。
また、ユーザインターフェイス入力装置は、三次元（３Ｄ）マウス、ジョイスティックまたはポインティングスティック、ゲームパッド、グラフィックタブレット、スピーカなどのオーディオ／ビジュアル装置、デジタルカメラ、デジタルビデオカメラ、ポータブルメディアプレーヤ、ウェブカメラ、イメージスキャナ、指紋スキャナ、バーコードリーダ、３Ｄスキャナ、３Ｄプリンタ、レーザ距離計、および視線追跡装置を含むがこれらに限定されない。さらに、ユーザインターフェイス入力装置は、例えば、コンピュータ断層撮影装置、磁気共鳴画像装置、超音波放射断層撮影装置、および医療用超音波装置などのような医用画像入力装置を含んでもよい。また、ユーザインターフェイス入力装置は、例えば、ＭＩＤＩキーボードおよび電子楽器などの音声入力装置を含んでもよい。
ユーザインターフェイス出力装置は、ディスプレイサブシステム、インジケータライト、またはオーディオ出力装置などの非視覚ディスプレイを含んでもよい。ディスプレイサブシステムは、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）またはプラズマディスプレイを使用するフラットパネル装置、投射装置、タッチスクリーンなどであってもよい。一般的に、「出力装置」という用語を使用する場合、コンピュータシステム１５００から情報をユーザまたは他のコンピュータに出力するための全ての可能な種類の装置および機構を含むことを意図している。例えば、ユーザインターフェイス出力装置は、文字、画像およびオーディオ／ビデオ情報を視覚的に伝達する様々な表示装置、例えば、モニタ、プリンタ、スピーカ、ヘッドフォン、カーナビゲーションシステム、プロッタ、音声出力装置、およびモデムを含むがこれらに限定されない。
コンピュータシステム１５００は、記憶サブシステム１５１８を含むことができる。記憶サブシステム１５１８は、ソフトウェア要素を備え、図示では、これらのソフトウェア要素は、システムメモリ１５１０内に配置されている。システムメモリ１５１０は、処理ユニット１５０４にロード可能かつ実行可能なプログラム命令、およびこれらのプログラムの実行により生成されたデータを記憶することができる。
コンピュータシステム１５００の構成およびタイプに応じて、システムメモリ１５１０は、揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ：Random Access Memory））であってもよく、および／または、不揮発性メモリ（例えば、読取り専用メモリ（ＲＯＭ：Read-Only Memory）、フラッシュメモリ）であってもよい。一般的に、ＲＡＭは、処理ユニット１５０４がすぐにアクセス可能なデータおよび／またはプログラムモジュール、および／または、処理ユニット１５０４によって現在操作および実行されているデータおよび／またはプログラムモジュールを収容する。いくつかの実現例では、システムメモリ１５１０は、スタティックランダムアクセスメモリ（ＳＲＡＭ：Static Random Access Memory）またはダイナミックランダムアクセスメモリ（ＤＲＡＭ：Dynamic Random Access Memory）などの複数の異なるタイプのメモリを含み得る。いくつかの実現例では、始動中などにコンピュータシステム１５００内の要素間で情報を転送することを助ける基本ルーチンを含む基本入力／出力システム（ＢＩＯＳ：Basic Input/Output System）が、一般的にＲＯＭに格納され得る。一例としておよび非限定的に、システムメモリ１５１０は、クライアントアプリケーション、ウェブブラウザ、中間層アプリケーション、リレーショナルデータベース管理システム（ＲＤＢＭＳ：Relational Database Management System）などを含み得るアプリケーションプログラム１５１２、プログラムデータ１５１４およびオペレーティングシステム１５１６も示す。一例として、オペレーティングシステム１５１６は、マイクロソフトウィンドウズ（登録商標）、Apple Macintosh（登録商標）および／もしくはＬｉｎｕｘ（登録商標）オペレーティングシステムの様々なバージョン、様々な市販のＵＮＩＸ（登録商標）もしくはＵＮＩＸライクオペレーティングシステム（様々なＧＮＵ／Ｌｉｎｕｘオペレーティングシステム、Google Chrome（登録商標）ＯＳなどを含むが、これらに限定されるものではない）、および／または、ｉＯＳ、Windows（登録商標）フォン、アンドロイド（登録商標）ＯＳ、ブラックベリー（登録商標）１５ ＯＳおよびパーム（登録商標）ＯＳオペレーティングシステムなどのモバイルオペレーティングシステムを含み得る。
また、記憶サブシステム１５１８は、いくつかの実施形態の機能を提供する基本的なプログラミングおよびデータ構造を格納するための有形のコンピュータ可読記憶媒体を提供することができる。プロセッサによって実行されたときに上記の機能を提供するソフトウェア（プログラム、コードモジュール、命令）は、記憶サブシステム１５１８に記憶されてもよい。これらのソフトウェアモジュールまたは命令は、処理ユニット１５０４によって実行されてもよい。また、記憶サブシステム１５１８は、本開示に従って使用されるデータを記憶するためのリポジトリを提供することができる。
また、記憶サブシステム１５００は、コンピュータ可読記憶媒体１５２２にさらに接続可能なコンピュータ可読記憶媒体リーダ１５２０を含むことができる。コンピュータ可読記憶媒体１５２２は、システムメモリ１５１０と共に、または必要に応じてシステムメモリ１５１０と組み合わせて、コンピュータ可読情報を一時的におよび／または永久に収容、格納、送信および検索するための記憶媒体に加えて、リモート記憶装置、ローカル記憶装置、固定的な記憶装置および／または取外し可能な記憶装置を包括的に表すことができる。
また、コードまたはコードの一部を含むコンピュータ可読記憶媒体１５２２は、当該技術分野において公知のまたは使用される任意の適切な媒体を含んでもよい。当該媒体は、情報の格納および／または送信のための任意の方法または技術において実現される揮発性および不揮発性の、取外し可能および取外し不可能な媒体などであるが、これらに限定されるものではない記憶媒体および通信媒体を含む。これは、ＲＡＭ、ＲＯＭ、電子的消去・プログラム可能ＲＯＭ（ＥＥＰＲＯＭ：Electronically Erasable Programmable ROM）、フラッシュメモリもしくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ：Digital Versatile Disk）、または他の光学式記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、または他の有形のコンピュータ可読媒体などの有形のコンピュータ可読記憶媒体を含むことができる。また、これは、データ信号、データ送信などの無形のコンピュータ可読媒体、または、所望の情報を送信するために使用可能であり且つコンピュータシステム１５００によってアクセス可能なその他の媒体を含むことができる。
一例として、コンピュータ可読記憶媒体１５２２は、取外し不可能な不揮発性磁気媒体から読取るまたは当該媒体に書込むハードディスクドライブ、取外し可能な不揮発性磁気ディスクから読取るまたは当該ディスクに書込む磁気ディスクドライブ、ならびに、ＣＤ ＲＯＭ、ＤＶＤおよびブルーレイ（登録商標）ディスクまたは他の光学式媒体などの取外し可能な不揮発性光学ディスクから読取るまたは当該ディスクに書込む光学式ディスクドライブを含んでもよい。コンピュータ可読記憶媒体１５２２は、ジップ（登録商標）ドライブ、フラッシュメモリカード、ユニバーサルシリアルバス（ＵＳＢ：Universal Serial Bus）フラッシュドライブ、セキュアデジタル（ＳＤ：Secure Digital）カード、ＤＶＤディスク、デジタルビデオテープなどを含み得るが、これらに限定されるものではない。また、コンピュータ可読記憶媒体１５２２は、フラッシュメモリベースのＳＳＤ、企業向けフラッシュドライブ、ソリッドステートＲＯＭなどの不揮発性メモリに基づくソリッドステートドライブ（ＳＳＤ：Solid-State Drive）、ソリッドステートＲＡＭ、ダイナミックＲＡＭ、スタティックＲＡＭなどの揮発性メモリに基づくＳＳＤ、ＤＲＡＭベースのＳＳＤ、磁気抵抗ＲＡＭ（ＭＲＡＭ：Magnetoresistive RAM）ＳＳＤ、およびＤＲＡＭとフラッシュメモリベースのＳＳＤとの組み合わせを使用するハイブリッドＳＳＤを含んでもよい。ディスクドライブおよびそれらの関連のコンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュールおよび他のデータの不揮発性記憶装置をコンピュータシステム１５００に提供することができる。
通信サブシステム１５２４は、他のコンピュータシステムおよびネットワークとのインターフェイスを提供する。通信サブシステム１５２４は、他のシステムからデータを受信し、コンピュータシステム１５００から他のシステムにデータを送信するためのインターフェイスの役割を果たす。例えば、通信サブシステム１５２４は、コンピュータシステム１５００がインターネットを介して１つまたは複数の装置に接続することを可能にし得る。いくつかの実施形態では、通信サブシステム１５２４は、（例えば、３Ｇ、４ＧまたはＥＤＧＥ（enhanced data rates for global evolution）などの携帯電話技術、高度データネットワーク技術を用いて）無線音声および／またはデータネットワークにアクセスするための無線周波数（ＲＦ：Radio Frequency）トランシーバ構成要素、ＷｉＦｉ（ＩＥＥＥ８０２．１１ファミリ規格または他のモバイル通信技術またはそれらの任意の組み合わせ）、全地球測位システム（ＧＰＳ：Global Positioning System）レシーバ構成要素、および／または、他の構成要素を含んでもよい。いくつかの実施形態では、通信サブシステム１５２４は、無線インターフェイスに加えて、または無線インターフェイスの代わりに、有線ネットワーク接続（例えば、イーサネット）を提供することができる。
また、いくつかの実施形態において、通信サブシステム１５２４は、コンピュータシステム１５００を使用し得る１人以上のユーザを代表して、構造化されたおよび／または構造化されていないデータフィード１５２６、イベントストリーム１５２８、イベント更新１５３０などの形態で入力通信を受信することができる。
一例として、通信サブシステム１５２４は、ツイッター（登録商標）フィード、フェースブック（登録商標）更新、リッチ・サイト・サマリ（ＲＳＳ：Rich Site Summary）フィードなどのウェブフィードなどのデータフィード１５２６をリアルタイムでソーシャルネットワークおよび／または他の通信サービスのユーザから受信し、および／または、１つまたは複数の第三者情報源からリアルタイム更新を受信するように構成されてもよい。
また、通信サブシステム１５２４は、連続的なデータストリームの形態でデータを受信するように構成され得て、当該データは、連続的である場合もあれば本質的に明確な端部を持たない状態で境界がない場合もあるリアルタイムイベントのイベントストリーム１５２８および／またはイベント更新１５３０を含んでもよい。連続的なデータを生成するアプリケーションの例としては、例えばセンサデータアプリケーション、金融ティッカ、ネットワーク性能測定ツール（例えば、ネットワークモニタリングおよびトラフィック管理アプリケーション）、クリックストリーム分析ツール、自動車交通モニタリングなどを含んでもよい。
また、通信サブシステム１５２４は、構造化されたおよび／または構造化されていないデータフィード１５２６、イベントストリーム１５２８、イベント更新１５３０などを、コンピュータシステム１５００に結合された１つまたは複数のストリーミングデータソースコンピュータと通信し得る１つまたは複数のデータベースに出力するように構成されてもよい。
コンピュータシステム１５００は、手持ち式携帯機器（例えば、iPhone（登録商標）携帯電話、iPad（登録商標）計算タブレット、ＰＤＡ）、ウエアラブル装置（例えば、Google Glass（登録商標）ヘッドマウントディスプレイ）、ＰＣ、ワークステーション、メインフレーム、キオスク、サーバラックまたはその他のデータ処理システムを含む様々な種類のうちの１つであってもよい。
コンピュータおよびネットワークが絶え間なく進化し続けるため、図示されたコンピュータシステム１５００の説明は、特定の例として意図されているにすぎない。図示されたシステムよりも多くのまたは少ない数の構成要素を有する多くの他の構成も可能である。例えば、ハードウェア、ファームウエア、（アプレットを含む）ソフトウェア、または組み合わせにおいて、カスタマイズされたハードウェアも使用されてもよく、および／または、特定の要素が実装されてもよい。さらに、ネットワーク入力／出力装置などの他の計算装置への接続が利用されてもよい。本開示において提供される開示および教示に基づいて、当業者は、様々な実施形態を実現するための他の手段および／または方法を理解するであろう。
特定の実施形態を説明してきたが、様々な変更、改変、代替構成、および同等物も本開示の範囲内に包含される。実施形態は、特定のデータ処理環境内で動作するのに限定されず、複数のデータ処理環境内で自由に動作することができる。さらに、一連の特定の処置およびステップを用いて実施形態を説明してきたが、本開示の範囲が説明された一連の処置およびステップに限定されないことは、当業者にとって明らかであろう。上述した実施形態の様々な特徴および態様は、個別にまたは共同で使用することができる。
さらに、ハードウェアおよびソフトウェアの特定の組み合わせを用いて実施形態を説明してきたが、ハードウェアおよびソフトウェアの他の組み合わせも本開示の範囲内に含まれることを認識すべきである。ハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせを用いて、実施形態を実現することができる。本開示に記載された様々なプロセスは、同一のプロセッサまたは任意の組み合わせの異なるプロセッサ上で実行することができる。したがって、特定の処理を実行するように構成要素またはモジュールを構成すると説明する場合、その構成は、例えば、その処理を実行するように電子回路を設計することによって、その処理を実行するようにプログラム可能な電子回路（マイクロプロセッサなど）をプログラムすることによって、またはそれらの組み合わせによって実現することができる。プロセスは、プロセス間の通信を行う従来技術を含むがこれに限定されない様々な技術を用いて通信を行うことができる。異なる対のプロセスは、異なる技術を使用することができ、または同一対のプロセスは、異なる時間で異なる技術を使用することができる。
したがって、明細書および図面は、限定的な意味ではなく例示的な意味であるとみなすべきである。しかしながら、特許請求の範囲により定められた幅広い主旨および範囲から逸脱することなく、追加、削減、削除および他の修飾および変更を行ってもよいことは、明らかであろう。したがって、本開示の特定の実施形態を説明したが、これらの実施形態は、限定することを意図していない。様々な変更およびその等価物は、添付の特許請求の範囲に含まれる。
本開示を説明する文脈に（特に特許請求の範囲の文脈に）使用された不定冠詞「a」／「an」、定冠詞「the」および同様の参照は、本開示に特に明記しない限りまたは内容上明らかに他の意味を示す場合を除き、単数および複数の両方を含むように解釈すべきである。用語「含む（comprising）」、「有する（having）」、「含む（including）」、および「含有する（containing）」は、特に明記しない限り、非限定的な用語（すなわち、「含むがこれに限定されない」という意味）として解釈されるべきである。「接続されている」という用語は、たとえ何かが介在していても、その一部または全部が内部に含まれている、取り付けられている、または一緒に結合されていると解釈されるべきである。本開示において、値の範囲の列挙は、単にその範囲内に含まれる各個別の値を各々言及する速記方法として意図され、本開示に特に明記しない限り、各個別の値は、本開示に個別に記載されるように、本開示に組み込まれる。本開示に特に明記しない限りまたは内容上明らかに他の意味を示す場合を除き、本開示に記載の全ての方法は、任意の適切な順序で行うことができる。本開示において、任意の例および全ての例または例示的な言語（例えば、「～のような」）の使用は、実施形態をより明瞭にするよう意図されており、特に明記しない限り、本開示の範囲を限定するものではない。明細書内の用語は、本開示の実施に不可欠な任意の非請求要素を示すものと解釈すべきではない。
「Ｘ、Ｙ、またはＺの少なくとも１つ」というフレーズのような選言的言語は、特に断らない限り、項目、用語などがＸ、ＹもしくはＺ、またはそれらの任意の組み合わせ（例えば、Ｘ、Ｙ、および／またはＺ）のいずれかであってもよいことを示すために一般的に用いられるものとして文脈内で理解されることを意図している。したがって、このような選言的言語は、特定の実施形態が、Ｘの少なくとも１つ、Ｙの少なくとも１つ、またはＺの少なくとも１つが存在することを必要とすることを一般的に意図しておらず、また、それを暗示していない。
本開示を実施するために知られている最良の形態を含む本開示の好ましい実施形態が本明細書に記載されている。これらの好ましい実施形態の変形形態は、前述の説明を読めば当業者には明らかになるであろう。当業者は、適宜、このような変形例を採用することができ、本開示は、本明細書に具体的に記載されている以外の方法で実施されてもよい。したがって、本開示は、適用される法律によって許可され、本明細書に添付された請求項に記載された主題の全ての変形および等価物を含む。さらに、その全ての可能な変形における上記の要素の任意の組み合わせは、本明細書において別段の指示がない限り、本開示に包含される。
本明細書に引用された刊行物、特許出願、および特許を含む全ての参考文献は、各文献が参照により組み込まれることが個別にかつ明確に示され、その全体が本明細書に記載された場合と同じ程度に、参照により組み込まれるものとする。
前述の明細書において、本開示の態様は、その特定の実施形態を参照して説明されているが、当業者は、本開示がそれに限定されないことを認識するであろう。上述の開示の様々な特徴および態様は、個々にまたは共同で使用されてもよい。さらに、実施形態は、本明細書のより広い精神および範囲から逸脱することなく、本明細書に説明されるものを超える任意の数の環境および用途において利用されることができる。したがって、明細書および図面は、限定的ではなく例示的であると見なされるべきである。
Claims (21)
- リモートダイレクトメモリアクセス（ＲＤＭＡ：Remote Direct Memory Access）パケットをキューイングする方法であって、
ネットワーキング装置が、第１のクオリティオブサービス（ＱｏＳ：Quality-of-Service）データフィールドを有する第１のＲＤＭＡパケットを受信するステップと、
前記第１のＱｏＳデータフィールドの値に基づいて、前記第１のＲＤＭＡパケットを複数のキューのうちの第１のキューにキューイングするステップと、
前記ネットワーキング装置が、第２のＱｏＳデータフィールドを有する第２のＲＤＭＡパケットを受信するステップと、
前記第２のＱｏＳデータフィールドの値に基づいて、前記第２のＲＤＭＡパケットを前記複数のキューのうちの第２のキューにキューイングするステップとを含み、前記第２のキューは、前記第１のキューとは異なる、方法。 - 前記方法はさらに、前記複数のキューの間の第１の重み付けに従って、前記第１のキューから前記第１のＲＤＭＡパケットを取り出し、前記第２のキューから前記第２のＲＤＭＡパケットを取り出すステップを含む、請求項１に記載の方法。
- 前記方法はさらに、重み付けラウンドロビンスキームに従って、前記第１のキューから前記第１のＲＤＭＡパケットを取り出し、前記第２のキューから前記第２のＲＤＭＡパケットを取り出すステップを含む、請求項１に記載の方法。
- 前記複数のキューは、制御キューを含み、前記方法はさらに、前記ネットワーキング装置が、前記制御キューから複数の制御パケットを取り出すステップを含み、
前記複数の制御パケットを取り出すステップは、前記第１のＲＤＭＡパケットを取り出すステップおよび前記第２のＲＤＭＡパケットを取り出すステップよりも厳密な優先度を有する、請求項１に記載の方法。 - 前記複数のキューは、前記第１のキューと前記第２のキューとを含む複数のＲＤＭＡキューを含み、
前記制御キューは、前記複数のＲＤＭＡキューのいずれのＲＤＭＡキューよりも低い帯域幅を有するように構成されている、請求項４に記載の方法。 - 前記複数の制御パケットは、ネットワーク制御プロトコルパケットまたは輻輳通知パケットのうちの少なくとも１つを含む、請求項４に記載の方法。
- 前記第１のＱｏＳデータフィールドは、前記第１のＲＤＭＡパケットのインターネットプロトコル（ＩＰ：Internet Protocol）ヘッダの差別化されたサービスコードポイント（ＤＳＣＰ：Differentiated Services Code Point）データフィールドである、請求項１～６のいずれか１項に記載の方法。
- 前記第１および第２のＲＤＭＡパケットの各々は、ＲｏＣＥｖ２パケットである、請求項１～６のいずれか１項に記載の方法。
- 前記第１および第２のＲＤＭＡパケットの各々は、オーバーレイカプセル化プロトコルに従ってフォーマットされるレイヤ３カプセル化パケットである、請求項１～６のいずれか１項に記載の方法。
- 前記オーバーレイカプセル化プロトコルは、ＶｘＬＡＮ、ＮＶＧＲＥ、ＧＥＮＥＶＥ、ＳＴＴおよびＭＰＬＳのうちの１つである、請求項９に記載の方法。
- 前記方法はさらに、
前記第１のＲＤＭＡパケットをデカプセル化して、第１のデカプセル化ＲＤＭＡパケットを取得するステップと、
前記第１のＲＤＭＡパケットの少なくとも１つの外側ヘッダから前記第１のデカプセル化ＲＤＭＡパケットに輻輳表示情報をコピーするステップとを含む、請求項９に記載の方法。 - 前記方法はさらに、
複数のＲＤＭＡパケットを受信するステップを含み、前記複数のＲＤＭＡパケットの各々は、対応するＱｏＳデータフィールドを有し、前記方法はさらに、
前記複数のＲＤＭＡパケットの各々について、前記ＲＤＭＡパケットの前記ＱｏＳデータフィールドの値に基づいて、前記ＲＤＭＡパケットを前記複数のキューのうちのあるキューにキューイングするステップと、
前記複数のキューから前記複数のＲＤＭＡパケットを取り出すステップとを含み、
前記複数のＲＤＭＡパケットは、複数のパケットフローを含み、
前記方法はさらに、フロー毎等コストマルチパススキームに従って前記複数のパケットフローをルーティングするステップを含む、請求項１に記載の方法。 - ネットワーキング装置であって、
メモリを備え、前記メモリは、複数のキューを格納し、前記ネットワーキング装置はさらに、
前記メモリに結合された処理回路を備え、前記処理回路は、
第１のクオリティオブサービス（ＱｏＳ）データフィールドを有する第１のリモートダイレクトメモリアクセス（ＲＤＭＡ）パケットを受信し、
前記第１のＱｏＳデータフィールドの値に基づいて、前記第１のＲＤＭＡパケットを前記複数のキューのうちの第１のキューにキューイングし、
第２のＱｏＳデータフィールドを有する第２のＲＤＭＡパケットを受信し、
前記第２のＱｏＳデータフィールドの値に基づいて、前記第２のＲＤＭＡパケットを前記複数のキューのうちの第２のキューにキューイングし、前記第２のキューは、前記第１のキューとは異なる、ネットワーキング装置。 - 前記複数のキューは、制御キューを含み、
前記処理回路は、前記第１のＲＤＭＡパケットを取り出すことおよび前記第２のＲＤＭＡパケットを取り出すことよりも厳密な優先度に従って前記制御キューから複数の制御パケットを取り出す、請求項１３に記載のネットワーキング装置。 - 前記第１および第２のＲＤＭＡパケットの各々は、オーバーレイカプセル化プロトコルに従ってフォーマットされるレイヤ３カプセル化パケットである、請求項１４に記載のネットワーキング装置。
- 前記処理回路はさらに、
前記第１のＲＤＭＡパケットをデカプセル化して、第１のデカプセル化ＲＤＭＡパケットを取得し、
前記第１のＲＤＭＡパケットの少なくとも１つの外側ヘッダから前記第１のデカプセル化ＲＤＭＡパケットに輻輳表示情報をコピーする、請求項１３～１５のいずれか１項に記載のネットワーキング装置。 - 前記ネットワーキング装置は、Ｃｌｏｓネットワークのスイッチである、請求項１６に記載のネットワーキング装置。
- １つまたは複数のプロセッサによって実行可能な複数の命令を格納する非一時的なコンピュータ可読媒体であって、前記複数の命令は、前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、
第１のクオリティオブサービス（ＱｏＳ）データフィールドを有する第１のＲＤＭＡパケットを受信することと、
前記第１のＱｏＳデータフィールドの値に基づいて、前記第１のＲＤＭＡパケットを複数のキューのうちの第１のキューにキューイングすることと、
第２のＱｏＳデータフィールドを有する第２のＲＤＭＡパケットを受信することと、
前記第２のＱｏＳデータフィールドの値に基づいて、前記第２のＲＤＭＡパケットを前記複数のキューのうちの第２のキューにキューイングすることとを行わせ、前記第２のキューは、前記第１のキューとは異なる、非一時的なコンピュータ可読媒体。 - 前記複数のキューは、制御キューを含み、
前記複数の命令はさらに、前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、前記第１のＲＤＭＡパケットを取り出すことおよび前記第２のＲＤＭＡパケットを取り出すことよりも厳密な優先度に従って前記制御キューから複数の制御パケットを取り出すことを行わせる、請求項１８に記載の非一時的なコンピュータ可読媒体。 - 前記第１および第２のＲＤＭＡパケットの各々は、オーバーレイカプセル化プロトコルに従ってフォーマットされるレイヤ３カプセル化パケットである、請求項１８に記載の非一時的なコンピュータ可読媒体。
- 前記第１のＲＤＭＡパケットは、複数のテナントの中の第１のテナントのためのものであり、前記第２のＲＤＭＡパケットは、前記複数のテナントの中の第２のテナントのためのものであり、
前記第１のＲＤＭＡパケットは、ホストマシン上で実行される複数の計算インスタンスの中の第１の計算インスタンスのＶＬＡＮを示す仮想ローカルエリアネットワーク（ＶＬＡＮ：Virtual Local-Area Network）識別子を含み、前記第２のＲＤＭＡパケットは、前記複数の計算インスタンスの中の第２の計算インスタンスのＶＬＡＮを示すＶＬＡＮ識別子を含む、請求項１８～２０のいずれか１項に記載の非一時的なコンピュータ可読媒体。
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063132417P | 2020-12-30 | 2020-12-30 | |
| US63/132,417 | 2020-12-30 | ||
| US17/165,877 US11991246B2 (en) | 2020-12-30 | 2021-02-02 | Cloud scale multi-tenancy for RDMA over converged ethernet (RoCE) |
| US17/165,877 | 2021-02-02 | ||
| US17/166,922 US12010173B2 (en) | 2021-02-03 | Class-based queueing for scalable multi-tenant RDMA traffic | |
| US17/166,922 | 2021-02-03 | ||
| PCT/US2021/025459 WO2022146466A1 (en) | 2020-12-30 | 2021-04-01 | Class-based queueing for scalable multi-tenant rdma traffic |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024503337A true JP2024503337A (ja) | 2024-01-25 |
Family
ID=75770018
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023540190A Pending JP2024503337A (ja) | 2020-12-30 | 2021-04-01 | 拡張可能なマルチテナントｒｄｍａトラフィックのためのクラスベースのキューイング |
| JP2023540185A Pending JP2024503335A (ja) | 2020-12-30 | 2021-04-13 | ＲｏＣＥ（ＲＤＭＡ ｏｖｅｒ Ｃｏｎｖｅｒｇｅｄ Ｅｔｈｅｒｎｅｔ）のためのクラウドスケールのマルチテナンシ |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023540185A Pending JP2024503335A (ja) | 2020-12-30 | 2021-04-13 | ＲｏＣＥ（ＲＤＭＡ ｏｖｅｒ Ｃｏｎｖｅｒｇｅｄ Ｅｔｈｅｒｎｅｔ）のためのクラウドスケールのマルチテナンシ |
Country Status (3)
| Country | Link |
|---|---|
| EP (2) | EP4272083A1 (ja) |
| JP (2) | JP2024503337A (ja) |
| WO (1) | WO2022146470A1 (ja) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7415035B1 (en) * | 2005-04-04 | 2008-08-19 | Sun Microsystems, Inc. | Device driver access method into a virtualized network interface |
| US9544219B2 (en) * | 2014-07-31 | 2017-01-10 | Brocade Communications Systems, Inc. | Global VLAN services |
| US20190207868A1 (en) * | 2019-02-15 | 2019-07-04 | Intel Corporation | Processor related communications |
| US10999084B2 (en) * | 2019-05-31 | 2021-05-04 | Microsoft Technology Licensing, Llc | Leveraging remote direct memory access (RDMA) for packet capture |
-
2021
- 2021-04-01 JP JP2023540190A patent/JP2024503337A/ja active Pending
- 2021-04-01 EP EP21721693.6A patent/EP4272083A1/en active Pending
- 2021-04-13 WO PCT/US2021/027069 patent/WO2022146470A1/en active Application Filing
- 2021-04-13 JP JP2023540185A patent/JP2024503335A/ja active Pending
- 2021-04-13 EP EP21723077.0A patent/EP4272408A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4272083A1 (en) | 2023-11-08 |
| JP2024503335A (ja) | 2024-01-25 |
| EP4272408A1 (en) | 2023-11-08 |
| WO2022146470A1 (en) | 2022-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2023527999A (ja) | 仮想ｌ２ネットワークのループ防止 | |
| JP2023535149A (ja) | Ｖｌａｎスイッチングおよびルーティングサービスのためのシステムおよび方法 | |
| US11516126B2 (en) | Techniques for high performant virtual routing capabilities | |
| US11496599B1 (en) | Efficient flow management utilizing control packets | |
| US11991246B2 (en) | Cloud scale multi-tenancy for RDMA over converged ethernet (RoCE) | |
| US20220353197A1 (en) | Port addressing via packet header modification | |
| US20240106760A1 (en) | Network device level optimizations for latency sensitive rdma traffic | |
| US20230344777A1 (en) | Customized processing for different classes of rdma traffic | |
| WO2022146466A1 (en) | Class-based queueing for scalable multi-tenant rdma traffic | |
| US20230032441A1 (en) | Efficient flow management utilizing unified logging | |
| CN116724546A (zh) | 用于融合以太网上的RDMA（RoCE）云规模多租赁 | |
| US12010173B2 (en) | Class-based queueing for scalable multi-tenant RDMA traffic | |
| JP2024503337A (ja) | 拡張可能なマルチテナントｒｄｍａトラフィックのためのクラスベースのキューイング | |
| US12010195B2 (en) | Efficient flow management utilizing control packets | |
| US20230344778A1 (en) | Network device level optimizations for bandwidth sensitive rdma traffic | |
| US20220417139A1 (en) | Routing policies for graphical processing units | |
| US20230013110A1 (en) | Techniques for processing network flows | |
| US20230222007A1 (en) | Publishing physical topology network locality information for graphical processing unit workloads | |
| US20230224223A1 (en) | Publishing physical topology network locality for general workloads | |
| CN116686277A (zh) | 用于可扩展多租户rdma流量的基于类的排队 | |
| WO2023205004A1 (en) | Customized processing for different classes of rdma traffic | |
| WO2023205005A1 (en) | Network device level optimizations for bandwidth sensitive rdma traffic | |
| EP4360280A1 (en) | Routing policies for graphical processing units | |
| WO2022271990A1 (en) | Routing policies for graphical processing units | |
| WO2023136964A1 (en) | Publishing physical topology network locality information for graphical processing unit workloads |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231108 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231108 |