JP2024507143A - オーバーレイネットワークにおけるｉｐアドレスのスケーリング - Google Patents

Abstract

ロードバランサを用いることなくオーバーレイネットワークにおいてＩＰアドレスをスケーリングするための技術を開示する。特定の実装形態では、オーバーレイＩＰアドレスは、複数の計算インスタンスに関連付けられた仮想ネットワークインターフェイスカード（virtual network interface card：ＶＮＩＣ）を介して複数の計算インスタンスにアタッチすることができる。マルチアタッチＩＰアドレスに向けられたトラフィックは、複数の計算インスタンスにわたって分散される。他のいくつかの実装形態では、オーバーレイネットワークにおけるＥＣＭＰ技術を用いてオーバーレイＩＰアドレスをスケーリングする。パケットをルーティングするために用いられる転送テーブルでは、スケーリングされるＩＰアドレスは、複数の計算インスタンスに関連付けられた複数のネットワーク仮想化デバイス（network virtualization device：ＮＶＤ）への複数のネクストホップパスに関連付けられる。オーバーレイＩＰアドレスに向けられた特定のパケットをルーティングすべき場合、当該パケットをルーティングするために複数のネクストホップパスのうちの１つが選択される。これにより、ＩＰアドレスに向けられたパケットを複数の計算インスタンス間で分散することが可能となる。

Description

関連出願の参照
本国際特許出願は、２０２１年２月１２日に出願され「オーバーレイネットワークにおけるＩＰアドレスのスケーリング（Scaling IP Addresses in Overlay Networks）」と題された米国特許出願第１７／１７５，２８５号に対する優先権を主張するものであって、その開示全体が、あらゆる目的のために引用により本明細書に援用されている。

背景
物理ネットワーキング環境では、インターネットプロトコル（Internet Protocol：ＩＰ）アドレス等のネットワークアドレスの水平スケーリングは、典型的には、ロードバランサ（例えば、レイヤ４からレイヤ７のロードバランサ）を用いて行なわれる。ロードバランサは、クライアントが通信し得るアドレス（仮想ＩＰアドレスまたはＶＩＰ（virtual IP address）と称されることもある）をアドバタイズする。例えば、クライアントは、このＶＩＰ（すなわち、パケットの宛先ＩＰアドレスがロードバランサのＶＩＰアドレスである）にパケットを送信し得る。次いで、ロードバランサは、各々がそれ自体のＩＰアドレスを有する複数の利用可能なバックエンドノードの中からトラフィックを受信するためにバックエンドサーバまたはノードを選択する。このようにして、ロードバランサは、複数のバックエンドノードにわたってトラフィックを分散または拡散させる。バックエンドノードによって生成された応答は最初にロードバランサによって受信されてから、クライアントに通信される。ロードバランサの使用にはいくつかの問題がある。ロードバランサは、構成するのに非常に費用がかかり複雑であり、結果として、スケーリングするのが困難になる。さらに、ロードバランサは、クライアントとバックエンドノードとの間の通信に積極的に関与しなければならないので、それらロードバランサを用いる場合、通信にかなりの待ち時間が追加されることとなる。

概要
本開示は、概して、仮想化されたクラウドネットワーキング環境に関し、より特定的には、オーバーレイネットワークにおけるＩＰアドレスをスケーリングするための技術に関する。ＩＰスケーリングはロードバランサを用いることなく達成される。本明細書では、方法、システム、１つ以上のプロセッサによって実行可能なプログラム、コードまたは命令を記憶する非一時的コンピュータ可読記憶媒体等を含む様々な実施形態について説明する。

特定の実施形態では、（クラウドサービスプロバイダインフラストラクチャまたはＣＳＰＩ（cloud service provider infrastructure）と称される）クラウドインフラストラクチャにおいて実装される技術は、クラウド内の複数の計算インスタンスを同じ単一のオーバーレイＩＰアドレスに関連付けることを可能にすることによってオーバーレイネットワークにおけるＩＰアドレススケーリングを提供する。これにより、ロードバランサを用いることなく、オーバーレイＩＰアドレスを複数の計算インスタンスにわたって水平にスケーリングすることが可能となる。

特定の実装形態では、オーバーレイＩＰアドレスは、複数の計算インスタンスにアタッチすることができる。これは、オーバーレイＩＰアドレスを複数の仮想ネットワークインターフェイスカード（virtual network interface card：ＶＮＩＣ）にアタッチし、ＶＮＩＣを複数の計算インスタンスに関連付けることによって行なわれる。複数の計算インスタンスにアタッチされる重複したＩＰアドレスはマルチアタッチＩＰアドレスと称される。次いで、マルチアタッチＩＰアドレスに向けられたトラフィックは、ロードバランサを用いることなく、複数の計算インスタンスにわたって分散される。処理はステートフルモードまたはステートレスモードで実行され得る。

他のいくつかの実装形態では、オーバーレイネットワークにおける等コストマルチパス（Equal-Cost Multi-Path：ＥＣＭＰ）技術がオーバーレイＩＰアドレスをスケーリングするために用いられる。このような実装形態では、パケットを転送するためにネットワーク仮想化デバイス（network virtualization device：ＮＶＤ）によって用いられる転送テーブルにおいて、スケーリングされるオーバーレイＩＰアドレスは、複数の計算インスタンスに関連付けられた複数のＮＶＤへの複数のネクストホップパスに関連付けられる。オーバーレイＩＰアドレスに向けられた特定のパケットがＮＶＤによって受信され、ルーティングされるべきである場合、ＮＶＤは転送テーブルを用いて、パケットをルーティングするための複数のネクストホップパスのうちの１つを選択する。ここで、選択されたパスは、オーバーレイＩＰアドレスに関連付けられた複数の計算インスタンスからの特定の計算インスタンスに関連付けられた特定のＮＶＤに通じている。これにより、オーバーレイＩＰアドレスに向けられたパケットを複数の計算インスタンスにわたって分散させることが可能となる。

いくつかの実施形態に従うと、ネットワーク仮想化デバイス（ＮＶＤ）は、宛先アドレスが第１のインターネットプロトコル（ＩＰ）アドレスである第１のパケットを受信し得る。ＮＶＤは、複数のＩＰアドレスが第１のＩＰアドレスに関連付けられていると判断し得る。第１のＩＰアドレスは複数の計算インスタンスに関連付けられており、複数のＩＰアドレスは複数の計算インスタンスに関連付けられた複数のＮＶＤのＩＰアドレスを含む。第１のＮＶＤは、複数のＩＰアドレスから特定のＩＰアドレスを選択し得る。特定のＩＰアドレスは複数のＮＶＤからの特定のＮＶＤのものであり、特定のＮＶＤは、複数の計算インスタンスからの第１の計算インスタンスに関連付けられている。次いで、第１のＮＶＤは、第１のパケットを特定のＩＰアドレスに通信し得る。次いで、第１のパケットは、特定のＮＶＤから第１の計算インスタンスに通信され得る。第１のＩＰアドレスはオーバーレイＩＰアドレスであってもよく、複数のＩＰアドレス内のアドレスは物理ＩＰアドレスであってもよい。

特定の実施形態では、第１のＮＶＤは、第１のＮＶＤによって記憶されたＩＰマッピング情報に基づいて、複数のＩＰアドレスが第１のＩＰアドレスに関連付けられていると判断し得る。ＩＰマッピング情報は、第１のＩＰアドレスが複数のＩＰアドレスにマップしていることを示す。他のいくつかの実施形態では、第１のＮＶＤは、転送テーブル内の情報に基づいて、複数のＩＰアドレスが第１のＩＰアドレスに関連付けられていると判断し得る。転送テーブルは、複数のネクストホップルートが第１のＩＰアドレスに関連付けられていることを示す情報を含み、複数のネクストホップルートは複数のＩＰアドレスを識別する。

第１のＮＶＤは、様々な技術を用いて複数のＩＰアドレスから特定のＩＰアドレスを選択し得る。特定の実装形態では、第１のＮＶＤは、第１のパケットのうちの１つ以上のフィールドのコンテンツに基づいてハッシュ値を生成し得る。次いで、生成されたハッシュ値を用いて、複数のＩＰアドレスから特定のＩＰアドレスを選択し得る。特定の実施形態では、コンシステントハッシュ技術を用いてハッシュ値を生成してもよい。

特定の実装形態では、第１のＮＶＤは、最初に、第１のパケットが第１のネットワークフローに属していると判断し得る。第１のＮＶＤは、次いで、第１のＮＶＤによって記憶されたフロー情報から、第１のネットワークフローに対応する第１のエントリを識別し得る。第１のＮＶＤは、次いで、特定のＩＰアドレスが第１のエントリにおいて第１のネットワークフローに関連付けられているものとして指定されていると判断し得る。他のいくつかの事例では、第１のＮＶＤは、第１のＮＶＤによって記憶されたフロー情報が第１のネットワークフローに対応するエントリを含まないと判断し得る。そのような場合、第１のＮＶＤは、第１の選択技術を用いて複数のＩＰアドレスから特定のＩＰアドレスを選択し得る。第１のＮＶＤは、第１のネットワークフローを識別するとともに特定のＩＰアドレスを第１のネットワークフローに関連付けるフロー情報にエントリを追加し得る。

第１のＮＶＤは、複数のクライアントから同じ第１のＩＰアドレスに向けられたパケットを受信し得る。例えば、第１のＮＶＤは、別のクライアントから第２のパケットを受信してもよく、第２のパケットも第１のＩＰアドレスに向けられる。第２のパケットの場合、第１のパケットの場合とは異なり、第１のＮＶＤは複数のＩＰアドレスから第２の特定のＩＰアドレスを選択し得る。第２の特定のＩＰアドレスは、複数のＮＶＤからの第２の特定のＮＶＤのものであり、第２の特定のＮＶＤは、複数の計算インスタンスからの第２の計算インスタンスに関連付けられている。第１のＮＶＤは、次いで、第２のパケットを第２の特定のＩＰアドレスに通信し得る。第１のパケットは第１のクライアントから受信され得るとともに、第２のパケットは第２のクライアントから受信され得る。第１のクライアントは第２のクライアントとは異なるものである。

特定の実施形態では、パケットはまた、同じ第１のＩＰアドレスに関連付けられた複数の計算インスタンス内の計算インスタンスから発信され得る。例えば、複数のＮＶＤからの特定のＮＶＤは、第１の計算インスタンスから新しいパケットを受信してもよく、新しいパケットは、宛先クライアントについての宛先ＩＰアドレスを識別する。次いで、特定のＮＶＤは、当該新しいパケットが当該第１の計算インスタンスと当該宛先クライアントとの間に確立されるべき新しい接続もしくは通信のためのものであるかどうか、または、当該新しいパケットが、当該宛先クライアントから当該第１の計算インスタンスによって以前に受信されたパケットに応答して当該第１の計算インスタンスによって送信された応答パケットであるかどうか、を判断し得る。新しいパケットが、第１の計算インスタンスと宛先クライアントとの間で確立されるべき新しい接続または通信のためのものであると判断される場合、エフェメラルポート値が新しいパケットのために用いられるように識別され得る。新しいパケットのソースポートフィールドは識別されたエフェメラルポート値に設定され得る。次いで、新しいパケットが、特定のＮＶＤから宛先クライアントに関連付けられたＮＶＤに通信され得る。

エフェメラルポート値を選択するために様々な技術が使用され得る。一実施形態では、新しいパケットのために用いられるべきエフェメラルポート値は、第１の計算インスタンスに割当てられたエフェメラルポート値の範囲から選択される。第１の計算インスタンスに割当てられたエフェメラルポート値の範囲内のエフェメラルポート値は、複数の計算インスタンス内の他の計算インスタンスに割当てられたエフェメラルポート値とは異なる。別の実施形態では、特定のＮＶＤは、エフェメラルポート値を識別するためのサービスを用いてもよい。例えば、特定のＮＶＤは、１つ以上のエフェメラルポート値を要求する要求をサービスに送信してもよい。特定のＮＶＤは、これに応答して、サービスから１つ以上のエフェメラルポート値のセットを受信し得る。新しいパケットのソースポートフィールドは、次いで、当該１つ以上のエフェメラルポート値のセットからの値に設定され得る。いくつかの事例では、第１の計算インスタンスから受信されたパケットは応答パケットであると判断され得る。応答パケットは、特定のＮＶＤから宛先クライアントに関連付けられたＮＶＤに通信され得る。

新しいパケットが新しい接続のためのものであるかまたは応答パケットであるかを判断するために様々な異なる技術が使用され得る。例えば、新しいパケットが肯定応答を含む場合、この新しいパケットは応答パケットとして識別され得る。別の例として、新しいパケットのソースポートフィールド内の値がエフェメラルポート値ではない場合、新しいパケットは応答パケットとして識別され得る。さらに別の例として、新しいパケットが既存のネットワークフローの一部であると特定のＮＶＤが判断する場合、この新しいパケットは応答パケットとして識別され得る。

この概要は、特許請求される主題の重要なまたは本質的な特徴を特定することを意図するものではなく、特許請求される主題の範囲を決定するために単独で使用されることも意図していない。主題は、本開示の明細書全体の適切な部分、任意またはすべての図面および各請求項を参照することにより理解されるはずである。

上述の記載は、他の特徴および実施形態とともに、以下の明細書、添付の特許請求の範囲および添付の図面を参照すればより明らかになるであろう。

図面の簡単な説明
添付の図を参照して具体例を以下で詳細に説明する。

特定の実施形態に従った、クラウドサービスプロバイダインフラストラクチャによってホストされている仮想またはオーバーレイクラウドネットワークを示す分散環境のハイレベル図である。 特定の実施形態に従った、ＣＳＰＩ内の物理ネットワークの物理的コンポーネントを示すアーキテクチャ概略図である。 特定の実施形態に従った、ホストマシンが複数のネットワーク仮想化デバイス（ＮＶＤ）に接続されているＣＳＰＩの例示的な配置を示す図である。 特定の実施形態に従った、ホストマシンとマルチテナンシをサポートするためのＩ／Ｏ仮想化を提供するＮＶＤとの間の接続を示す図である。 特定の実施形態に従った、ＣＳＰＩによって提供される物理ネットワークを示す概略ブロック図である。 特定の実施形態に従った、クラウドサービスプロバイダ（cloud service provider：ＣＳＰ）によって提供されるインフラストラクチャ（クラウドサービスプロバイダインフラストラクチャ（ＣＳＰＩ））によってホストされ得るとともに、ロードバランサを用いることなくステートフルモード処理においてマルチアタッチＩＰアドレスを用いてオーバーレイＩＰアドレスのスケーリングを可能にする、分散型仮想化マルチテナントクラウド環境の一例を示す図である。 特定の実施形態に従った、クラウドサービスプロバイダ（ＣＳＰ）によって提供されるＣＳＰＩによってホストされ得るとともに、ロードバランサを用いることなくステートレスモード処理においてマルチアタッチＩＰアドレスを用いてオーバーレイＩＰアドレスのスケーリングを可能にする、分散型仮想化マルチテナントクラウド環境の一例を示す図である。 特定の実施形態に従った、ステートフルモード処理を用いてマルチアタッチＩＰアドレスを用いたオーバーレイＩＰアドレスをスケーリングするために実行される処理を示す簡略化されたフローチャートである。 特定の実施形態に従った、ステートフルモード処理を用いてマルチアタッチＩＰアドレスを用いたオーバーレイＩＰアドレスをスケーリングするために実行される処理を示す簡略化されたフローチャートである。 特定の実施形態に従った、ステートレスモード処理を用いて、マルチアタッチＩＰアドレスを用いたオーバーレイＩＰアドレスをスケーリングするための処理を示す簡略化されたフローチャートである。 特定の実施形態に従った、マルチアタッチＩＰアドレスにアタッチされたサーバ計算インスタンスから１つ以上のクライアントへの通信を可能にするための処理を示す簡略化されたフローチャートである。 特定の実施形態に従った、マルチアタッチＩＰアドレスにアタッチされたサーバ計算インスタンスから１つ以上のクライアントへの通信を可能にするための処理を示す簡略化されたフローチャートである。 特定の実施形態に従った、クラウドサービスプロバイダ（ＣＳＰ）によって提供されるインフラストラクチャ（クラウドサービスプロバイダインフラストラクチャ（ＣＳＰＩ））によってホストされ得るとともに、ＥＣＭＰ技術を用いるがロードバランサを用いることなくＩＰアドレスのスケーリングを可能にする、分散型仮想化マルチテナントクラウド環境の一例を示す図である。 特定の実施形態に従った、ＥＣＭＰ技術を用いてオーバーレイネットワーク内のＩＰアドレスをスケーリングするための処理を示す簡略化されたフローチャートである。 少なくとも１つの実施形態に従った、サービスシステムとしてクラウドインフラストラクチャを実装するための１つのパターンを示すブロック図である。 少なくとも１つの実施形態に従った、サービスシステムとしてクラウドインフラストラクチャを実装するための別のパターンを示すブロック図である。 少なくとも１つの実施形態に従った、サービスシステムとしてクラウドインフラストラクチャを実装するための別のパターンを示すブロック図である。 少なくとも１つの実施形態に従った、サービスシステムとしてクラウドインフラストラクチャを実装するための別のパターンを示すブロック図である。 少なくとも１つの実施形態に従った例示的なコンピュータシステムを示すブロック図である。

詳細な説明
以下の記載では、説明の目的で、特定の実施形態を完全に理解できるようにするために具体的な詳細が記載される。しかしながら、様々な実施形態がこれらの具体的な詳細なしに実施され得ることは明らかであるだろう。図および説明は限定的であるよう意図されたものではない。「例示的」という語は、本明細書では「例、事例、または例示としての役割を果たす」ことを意味するために用いられる。本明細書中で「例示的」として説明される実施形態または設計はいずれも、必ずしも他の実施形態または設計よりも好ましいまたは有利であると解釈されるべきではない。

本開示は、仮想化されたクラウドネットワーキング環境においてＩＰアドレスをスケーリングするための技術を説明する。特定の実施形態では、オーバーレイＩＰアドレスは、ロードバランサを用いることなく仮想化ネットワーキング環境においてスケーリングされ、結果として、ロードバランサの使用に関連する様々な問題が回避される。

背景技術の項目に示すように、物理ネットワーキング環境において、インターネットプロトコル（ＩＰ）アドレスの水平スケーリングは、典型的には、ロードバランサ（例えば、レイヤ４からレイヤ７へのロードバランサ）を用いて行なわれる。ロードバランサは、クライアントが通信し得るＶＩＰアドレスをアドバタイズする。例えば、クライアントは、ＶＩＰに向けられたパケットを送信することができ、すなわち、パケットの宛先ＩＰアドレスはロードバランサのＶＩＰアドレスである。次いで、ロードバランサは、各々がそれ自体のＩＰアドレスを有する複数の利用可能なバックエンドノードの中からトラフィックを受信するために特定のバックエンドサーバまたはノードを選択する。このようにして、ロードバランサは、複数のバックエンドノードにわたって、ＶＩＰに向けられたトラフィックを分散または拡散させる。バックエンドノードによって生成された応答も、最初にロードバランサによって受信されてから、クライアントに通信される。このため、ロードバランサは、クライアントとバックエンドノードとの間の通信に積極的に関与しなければならない。例えば、ロードバランサが受信したパケットは、ロードバランサの宛先ＩＰアドレス、すなわちＶＩＰ、を有する。ロードバランサは、これを、パケットがそのバックエンドノードに送信される前に、当該パケットが送信されるべき選択されたバックエンドノードのＩＰアドレスに変更しなければならない。同様に、バックエンドノードからロードバランサに応答パケットが入ると、そのパケットはそのバックエンドノードのソースＩＰアドレスを有することとなる。応答パケットを受信すると、ロードバランサは、ソースＩＰアドレスをロードバランサのＶＩＰのそれに変更し、その後、パケットをクライアントに通信しなければならない。ロードバランサはまた、ロードバランサが処理するネットワークフローを追跡することを伴うフロー追跡を行なう必要がある。ロードバランサがこのように積極的に通信に関与すると、望ましくない待ち時間が通信に追加されてしまう。ロードバランサは、構成するのに非常に費用がかかり複雑であり、結果として、スケーリングするのが困難になり、複雑な方法では機能しなくなる可能性がある。

特定の実施形態では、（クラウドサービスプロバイダインフラストラクチャまたはＣＳＰＩと称される）クラウドインフラストラクチャにおいて実装される技術は、クラウド内の複数の計算インスタンスを同じ単一のオーバーレイＩＰアドレスに関連付けられることを可能にすることによって、オーバーレイネットワークにおけるＩＰアドレススケーリングを提供する。これにより、ロードバランサを用いることなく、オーバーレイＩＰアドレスを複数の計算インスタンスにわたって水平にスケーリングすることが可能となる。単一のオーバーレイＩＰアドレスを複数の計算インスタンスに関連付けること、および、パケットをこれらの複数の計算インスタンス間で適切に通信することを可能にする様々な異なる技術が開示される。

特定の実装形態では、オーバーレイＩＰアドレスは複数の計算インスタンスにアタッチすることができる。これは、オーバーレイＩＰアドレスを複数の仮想ネットワークインターフェイスカード（ＶＮＩＣ）にアタッチしてＶＮＩＣを複数の計算インスタンスに関連付けることによって行なわれる。複数の計算インスタンスにアタッチされる重複したＩＰアドレスはマルチアタッチＩＰアドレスと称される。次いで、マルチアタッチＩＰアドレスに向けられたトラフィックは、ロードバランサを用いることなく複数の計算インスタンスにわたって分散される。

使用事例として、ＣＳＰＩの顧客は、ＣＳＰＩによって提供されるリソースを用いてクラウドサービスを提供し得る。クラウドサービスは、特定のオーバーレイＩＰアドレスを用いてサービスのクライアントまたは消費者によってアクセス可能であり得る。本開示の教示を用いて、特定のオーバーレイＩＰアドレスに対して、クラウドサービスを提供するために顧客によって割当てられた複数の計算インスタンス（サービスを提供するのでサーバ計算インスタンスとも称される）がアタッチされ得る。サービスのクライアントがサービスにアクセスするための要求を特定のオーバーレイＩＰアドレスに送信する場合、ＣＳＰＩ内のネットワーク仮想化デバイス（ＮＶＤ）は、マルチアタッチＩＰアドレスにアタッチされた複数のサーバ計算インスタンスの中から当該要求に従事するための特定のサーバ計算インスタンスを選択するための処理を実行するように構成され、クライアント要求は、次いで、選択されたサーバ計算インスタンスに通信される。異なるクライアント要求から受信されてすべてが同じマルチアタッチＩＰアドレスに向けられたパケットに対して、異なるサーバ計算インスタンスが選択され得る。このようにして、その特定のオーバーレイＩＰアドレスに向けられたクライアントからのトラフィックは、複数のサーバ計算インスタンスにわたって拡散され、これはすべて、ロードバランサを用いることなく達成される。

マルチアタッチＩＰアドレスを実装する実施形態では、マルチアタッチオーバーレイＩＰアドレスにアドレス指定されたパケットをマルチアタッチＩＰアドレスにアタッチされた計算インスタンスに転送するための処理は、ステートフルモードまたはステートレスモードで実行され得る。ステートフルモード処理では、マルチアタッチＩＰアドレスに向けられたパケットの通信を容易にするＮＶＤは、ネットワークフロー情報を記憶し、それを用いて、パケットをどこに転送すべきかを識別することにより、マルチアタッチＩＰアドレスにアタッチされた特定のサーバ計算インスタンスへのパケットの送信を容易にする。ステートレスモード処理では、ＮＶＤは、ネットワークフロー情報を記憶または使用しない。代わりに、ステートレスモード処理では、マルチアタッチＩＰアドレスに向けられたパケットの１つ以上のヘッダがハッシュされ、結果として得られるハッシュ値を用いて、パケットを送信すべき複数の計算インスタンスの中から特定の計算インスタンスを選択する。次いで、パケットは、その選択された計算インスタンスに転送される。ステートレス処理およびステートフル処理の両方において、同じネットワークフロー（例えば、伝送制御プロトコル（Transmission Control Protocol：ＴＣＰ）ネットワークフロー、ユーザデータグラムプロトコル（User Datagram Protocol：ＵＤＰ）ネットワークフロー）に属するパケットは、処理の整合性のためにマルチアタッチＩＰアドレスを有する複数の計算インスタンスの中から同じ計算インスタンスに転送される。

他のいくつかの実装形態では、オーバーレイＩＰアドレスをスケーリングするために、オーバーレイネットワークにおける等コストマルチパス（ＥＣＭＰ）技術が用いられる。このような実装形態では、パケットを転送するためにＮＶＤによって用いられる転送テーブルにおいて、スケーリングされているオーバーレイＩＰアドレスは、複数の計算インスタンスに関連付けられた複数のＮＶＤへの複数のネクストホップパスに関連付けられている。オーバーレイＩＰアドレスに向けられた特定のパケットがＮＶＤによって受信され、ルーティングされるべきである場合、ＮＶＤは転送テーブルを用いて、パケットをルーティングするための複数のネクストホップパスのうちの１つを選択する。選択されたパスは、オーバーレイＩＰアドレスに関連付けられた複数の計算インスタンスからの特定の計算インスタンスに関連付けられた特定のＮＶＤに向かうものである。これにより、オーバーレイＩＰアドレスに向けられたパケットを複数の計算インスタンスにわたって分散させることが可能となる。

特定の実施形態では、マルチアタッチＩＰアドレス実装形態およびオーバーレイネットワーク実装形態におけるＥＣＭＰの両方のために、インフラストラクチャは、マルチアタッチＩＰアドレスとして、またはＥＣＭＰ技術により、（クライアント計算インスタンスと称される）計算インスタンスが複数の計算インスタンスに関連付けられたオーバーレイＩＰアドレスにパケットを送信することを可能にし、パケットは、複数の計算インスタンスの中から特定の計算インスタンスに適切に転送される。したがって、クライアント計算インスタンスは、単一のオーバーレイＩＰアドレスを用いて通信を開始して、単一のオーバーレイＩＰアドレスに関連付けられたインスタンスを計算することができる。パケットを受信する計算インスタンスは、次いで、パケットに応答し、例えば、応答パケットをクライアント計算インスタンスに送信することができる。加えて、単一のオーバーレイＩＰアドレスに関連付けられた計算インスタンスは、クライアントへの新しい通信または接続を開始する（すなわち、応答ではない）こともできる。これは、ロードバランサの背後に位置するインスタンスを計算するための接続が外部から開始されなければならず、かつロードバランサの背後に位置するインスタンスによって開始することができない従来のロードバランサでは不可能である。このような新しい接続または通信のターゲットであるクライアント計算インスタンスは、その通信に応答することができ、クライアント応答は、初期通信を送信した適切な計算インスタンスに転送される。

仮想ネットワーキングアーキテクチャの例
クラウドサービスという用語は、一般的に、クラウドサービスプロバイダ（ＣＳＰ）が、当該ＣＳＰによって提供されるシステムおよびインフラストラクチャ（クラウドインフラストラクチャ）を用いて、ユーザまたは顧客がオンデマンドで（例えば、サブスクリプションモデルを介して）利用できるサービスを指す。通常、ＣＳＰのインフラストラクチャを構成するサーバおよびシステムは、顧客自身のオンプレミスサーバおよびシステムから離れている。したがって、顧客は、サービス用のハードウェアおよびソフトウェアリソースを別途購入することなく、ＣＳＰによって提供されるクラウドサービスを利用することができる。クラウドサービスは、サービスを提供するために使用されるインフラストラクチャの調達に顧客が投資する必要なしに、アプリケーションおよび計算リソースへの容易且つ拡張可能なアクセスを加入している顧客に提供するように設計されている。

様々な種類のクラウドサービスを提供するクラウドサービスプロバイダがいくつかある。クラウドサービスは、ＳａａＳ（サービスとしてのソフトウェア：Software-as-a-Service）、ＰａａＳ（サービスとしてのプラットフォームPlatform-as-a-Service）、ＩａａＳ（サービスとしてのインフラストラクチャ：Infrastructure-as-a-Service）などの様々な異なる種類またはモデルを含む。

顧客は、ＣＳＰによって提供される１つ以上のクラウドサービスに加入することができる。顧客は、個人、組織、企業などの任意のエンティティであってもよい。顧客がＣＳＰによって提供されるサービスに加入または登録すると、その顧客に対してテナントまたはアカウントが作成される。その後、顧客は、このアカウントを介して、アカウントに関連付けられた１つ以上の加入済みクラウドリソースにアクセスすることができる。

上述したように、ＩａａＳ（Infrastructure as a Service）は、１つの特定種類のクラウドコンピューティングサービスである。ＩａａＳモデルにおいて、ＣＳＰは、顧客が自身のカスタマイズ可能なネットワークを構築し、顧客リソースを展開するために使用できるインフラストラクチャ（クラウドサービスプロバイダインフラストラクチャまたはＣＳＰＩと呼ばれる）を提供する。したがって、顧客のリソースおよびネットワークは、ＣＳＰによって提供されたインフラストラクチャによって分散環境にホストされる。これは、顧客によって提供されるインフラストラクチャが顧客のリソースおよびネットワークをホストする従来のコンピューティングとは異なる。

ＣＳＰＩは、基板ネットワークまたはアンダーレイネットワークとも呼ばれる物理ネットワークを形成する、様々なホストマシン、メモリリソース、およびネットワークリソースを含む相互接続された高性能の計算リソースを含んでもよい。ＣＳＰＩのリソースは、１つ以上の地理的な地域にわたって地理的に分散され得る１つ以上のデータセンタに分散されてもよい。仮想化ソフトウェアは、これらの物理リソースによって実行され、仮想化分散環境を提供し得る。仮想化は、物理ネットワーク上に（ソフトウェアベースネットワーク、ソフトウェア定義ネットワーク、または仮想ネットワークとしても公知である）オーバーレイネットワークを作成する。ＣＳＰＩ物理ネットワークは、物理ネットワークの上に１つ以上のオーバーレイまたは仮想ネットワークを作成するための基礎を提供する。物理ネットワーク（または基板ネットワークまたはアンダーレイネットワーク）は、物理スイッチ、ルータ、コンピュータおよびホストマシン等の物理ネットワークデバイスを含む。オーバーレイネットワークは、物理基板ネットワーク上で動作する論理（または仮想）ネットワークである。所与の物理ネットワークは、１つまたは複数のオーバーレイネットワークをサポートすることができる。オーバーレイネットワークは、典型的には、カプセル化技術を用いて、様々なオーバーレイネットワークに属するトラフィック同士を区別する。仮想ネットワークまたはオーバーレイネットワークは仮想クラウドネットワーク（virtual cloud network：ＶＣＮ）とも称される。仮想ネットワークは、ソフトウェア仮想化技術（例えば、ハイパーバイザ、ネットワーク仮想化デバイス（ＮＶＤ）（例えば、スマートＮＩＣ）によって実装される仮想化機能、トップオブラック（top-of-rack：ＴＯＲ）スイッチ、ＮＶＤによって実行される１つ以上の機能を実装するスマートＴＯＲ、および他のメカニズム）を用いて実装されて、物理ネットワークの上で実行できるネットワーク抽象化層を作成する。仮想ネットワークは、ピアツーピアネットワーク、ＩＰネットワークなどを含む多くの形態をとることができる。仮想ネットワークは、典型的には、レイヤ３ＩＰネットワークまたはレイヤ２ＶＬＡＮのいずれかである。このような仮想ネットワークまたはオーバーレイネットワークの方法は、しばしば仮想レイヤ３ネットワークまたはオーバーレイレイヤ３ネットワークと呼ばれる。仮想ネットワークのために開発されたプロトコルの例は、ＩＰ－ｉｎ－ＩＰ（またはＧＲＥ（Generic Routing Encapsulation））、仮想拡張可能ＬＡＮ（ＶＸＬＡＮ－ＩＥＴＦ ＲＦＣ７３４８）、仮想プライベートネットワーク（ＶＰＮ）（例えば、ＭＰＬＳレイヤ３仮想プライベートネットワーク（ＲＦＣ４３６４））、ＶＭｗａｒｅ’ｓ ＮＳＸ、ＧＥＮＥＶＥ（Generic Network Virtualization Encapsulation）などを含む。

ＩａａＳの場合、ＣＳＰによって提供されたインフラストラクチャ（ＣＳＰＩ）は、パブリックネットワーク（例えば、インターネット）を介して仮想化計算リソースを提供するように構成され得る。ＩａａＳモデルにおいて、クラウドコンピューティングサービスプロバイダは、インフラストラクチャコンポーネント（例えば、サーバ、記憶装置、ネットワークノード（例えば、ハードウェア）、展開ソフトウェア、プラットフォーム仮想化（例えば、ハイパーバイザ層）など）をホストすることができる。場合によっては、ＩａａＳプロバイダは、それらのインフラストラクチャコンポーネントに付随する様々なサービス（例えば、課金、監視、ロギング、セキュリティ、負荷分散およびクラスタリングなど）を提供し得る。これらのサービスがポリシー駆動型であるため、ＩａａＳユーザは、負荷分散を促進するためのポリシーを実装することによって、アプリケーションの可用性および性能を維持することができる。ＣＳＰＩは、インフラストラクチャおよび一連の補完的なクラウドサービスを提供する。これによって、顧客は、可用性の高いホスト型分散環境において幅広いアプリケーションおよびサービスを構築して実行することができる。ＣＳＰＩは、顧客オンプレミスネットワークなどの様々なネットワーク拠点から安全にアクセスできる柔軟な仮想ネットワーク上で高性能の計算リソースおよび能力ならびに記憶容量を提供する。顧客がＣＳＰによって提供されたＩａａＳサービスに加入または登録すると、その顧客のために作成されたテナンシは、ＣＳＰＩ内において安全に分離されたパーティションとなり、顧客らは、自身のクラウドリソースを作成、整理、管理することができる。

顧客は、ＣＳＰＩによって提供された計算リソース、メモリリソース、およびネットワーキングリソースを使用して、独自の仮想ネットワークを構築することができる。これらの仮想ネットワーク上に、計算インスタンスなどの1つ以上の顧客リソースまたはワークロードを展開することができる。例えば、顧客は、ＣＳＰＩによって提供されたリソースを使用して、仮想クラウドネットワーク（ＶＣＮ）と呼ばれる１つ以上のカスタマイズ可能なプライベート仮想ネットワークを構築することができる。顧客は、顧客ＶＣＮ上で１つ以上の顧客リソース、例えば計算インスタンスを展開することができる。計算インスタンスは、仮想マシン、ベアメタルインスタンスなどの形を取り得る。したがって、ＣＳＰＩは、顧客が可用性の高い仮想ホスト環境において広範囲のアプリケーションおよびサービスを構築および実行することを可能にするインフラストラクチャおよび一連の相補的なクラウドサービスを提供する。顧客は、ＣＳＰＩによって提供された基礎的な物理リソースを管理または制御しないが、オペレーティングシステム、ストレージおよび展開されたアプリケーションを制御し、場合によっては精選したネットワーキングコンポーネント（例えば、ファイアウォール）を限定的に制御する。

ＣＳＰは、顧客およびネットワーク管理者がＣＳＰＩリソースを使用してクラウドに展開されたリソースを構成、アクセス、および管理することを可能にするコンソールを提供し得る。特定の実施形態において、コンソールは、ＣＳＰＩにアクセスしてこれを管理するために使用することができるウェブベースのユーザインターフェイスを提供する。いくつかの実施形態において、コンソールは、ＣＳＰによって提供されたウェブベースのアプリケーションである。

ＣＳＰＩは、シングルテナンシアーキテクチャまたはマルチテナンシアーキテクチャをサポートし得る。シングルテナンシアーキテクチャにおいて、ソフトウェア（例えば、アプリケーション、データベース）またはハードウェアコンポーネント（例えば、ホストマシンまたはサーバ）は、単一の顧客またはテナントにサービスを提供する。マルチテナンシアーキテクチャにおいて、ソフトウェアまたはハードウェアコンポーネントは、複数の顧客またはテナントにサービスを提供する。したがって、マルチテナンシアーキテクチャにおいて、ＣＳＰＩリソースは、複数の顧客またはテナントの間で共有される。マルチテナンシ状況において、各テナントのデータが分離され、他のテナントから確実に見えないようにするために、ＣＳＰＩには予防措置が講じられてセーフガードが導入される。

物理ネットワークにおいて、ネットワークエンドポイント（エンドポイント）は、物理ネットワークに接続され、接続されているネットワークと双方向に通信するコンピューティングデバイスまたはシステムを指す。物理ネットワークのネットワークエンドポイントは、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、または他の種類の物理ネットワークに接続されてもよい。物理ネットワークの従来のエンドポイントの例は、モデム、ハブ、ブリッジ、スイッチ、ルータ、および他のネットワーキングデバイス、物理コンピュータ（またはホストマシン）などを含む。物理ネットワークの各物理デバイスは、当該デバイスと通信するために使用できる固定ネットワークアドレスを有する。この固定ネットワークアドレスは、レイヤ２アドレス（例えば、ＭＡＣアドレス）、固定レイヤ３アドレス（例えば、ＩＰアドレス）などであってもよい。仮想化環境または仮想ネットワークにおいて、エンドポイントは、物理ネットワークのコンポーネントによってホストされている（例えば、物理ホストマシンによってホストされている）仮想マシンなどの様々な仮想エンドポイントを含み得る。仮想ネットワークのこれらのエンドポイントは、オーバーレイレイヤ２アドレス（例えば、オーバーレイＭＡＣアドレス）およびオーバーレイレイヤ３アドレス（例えば、オーバーレイＩＰアドレス）などのオーバーレイアドレスによってアドレス指定される。ネットワークオーバーレイは、ネットワーク管理者がソフトウェア管理を用いて（例えば、仮想ネットワークの制御プレーンを実装するソフトウェアを介して）ネットワークエンドポイントに関連付けられたオーバーレイアドレス間を移動できるようにすることによって柔軟性を実現する。したがって、物理ネットワークとは異なり、仮想ネットワークにおいて、ネットワーク管理ソフトウェアを使用して、オーバーレイアドレス（例えば、オーバーレイＩＰアドレス）を１つのエンドポイントから別のエンドポイントに移動させることができる。仮想ネットワークが物理ネットワーク上に構築されているため、仮想ネットワークおよび基礎となる物理ネットワークの両方は、仮想ネットワークのコンポーネント間の通信に関与する。このような通信を容易にするために、ＣＳＰＩの各コンポーネントは、仮想ネットワークのオーバーレイアドレスを基板ネットワークの実際の物理アドレスにまたは基板ネットワークの実際の物理アドレスを仮想ネットワークのオーバーレイアドレスにマッピングするマッピングを学習および記憶するように構成されている。これらのマッピングを用いると通信が容易になる。仮想ネットワークのルーティングを容易にするために、顧客トラフィックはカプセル化される。

したがって、物理アドレス（例えば、物理ＩＰアドレス）は、物理ネットワークのコンポーネントに関連付けられ、オーバーレイアドレス（例えば、オーバーレイＩＰアドレス）は、仮想ネットワークまたはオーバーレイネットワークのエンティティに関連付けられている。物理ＩＰアドレスは、基板ネットワークまたは物理ネットワーク内の物理デバイス（例えば、ネットワークデバイス）に関連付けられたＩＰアドレスである。例えば、各ＮＶＤには物理ＩＰアドレスが関連付けられている。オーバーレイＩＰアドレスは、顧客の仮想クラウドネットワーク（ＶＣＮ）内の計算インスタンス等の、オーバーレイネットワーク内のエンティティに関連付けられたオーバーレイアドレスである。各々が独自のプライベートＶＣＮを有する２つの異なる顧客またはテナントは、場合によっては、互いのことを何も知らなくても、それらのＶＣＮ内の同じオーバーレイＩＰアドレスを用いることができる。物理ＩＰアドレスおよびオーバーレイＩＰアドレスはいずれも実ＩＰアドレスである。これらは、仮想ＩＰアドレスとは別物であり、仮想ＩＰアドレスは、典型的には、複数の真のＩＰアドレスを表わすかまたは当該複数の真のＩＰアドレスにマップしている単一のＩＰアドレスである。仮想ＩＰアドレスは、仮想IPアドレスと複数の実ＩＰアドレスとの間の１対多のマッピングを提供する。例えば、ロードバランサは、ＶＩＰを用いて、各々がそれ自体の真のＩＰアドレスを有する複数のサーバにマッピングし得るかまたはそれを表わし得る。

クラウドインフラストラクチャまたはＣＳＰＩは、世界中の１つ以上の地域の１つ以上のデータセンタに物理的にホストされる。ＣＳＰＩは、物理ネットワークまたは基板ネットワークのコンポーネントと、物理ネットワークコンポーネント上に構築された仮想ネットワークの仮想化コンポーネント（例えば、仮想ネットワーク、計算インスタンス、仮想マシン）とを含んでもよい。特定の実施形態において、ＣＳＰＩは、レルム（realm）、地域（region）、および利用可能なドメイン（domain）において編成およびホストされる。地域は、典型的には、１つ以上のデータセンタを含む局所的な地理的領域である。地域は、一般的に互いに独立しており、例えば、国または大陸を跨ぐ広大な距離によって分離されてもよい。例えば、第１の地域は、オーストラリアにあってもよく、別の地域は、日本にあってもよく、さらに別の地域は、インドにあってもよい。ＣＳＰＩリソースは、各地域が独立したＣＳＰＩリソースのサブセットを有するようにこれらの地域間で分割される。各地域は、一連のコアインフラストラクチャサービスおよびリソース、例えば、計算リソース（例えば、ベアメタルサーバ、仮想マシン、コンテナおよび関連インフラストラクチャ）、ストレージリソース（例えば、ブロックボリュームストレージ、ファイルストレージ、オブジェクトストレージ、アーカイブストレージ）、ネットワーキングリソース（例えば、仮想クラウドネットワーク（ＶＣＮ）、負荷分散リソース、オンプレミスネットワークへの接続）、データベースリソース、エッジネットワーキングリソース（例えば、ＤＮＳ）、アクセス管理および監視リソースなどを提供し得る。各地域は、一般的に、当該地域をレルム内の他の地域に接続するための複数の経路を有する。

一般的に、アプリケーションは、近くのリソースを使用することが遠くのリソースを使用することよりも速いため、最も多く使用される地域に展開される（すなわち、その地域に関連するインフラストラクチャ上に展開される）。また、アプリケーションは、大規模な気象システムまたは地震などの地域全体のイベントのリスクを軽減するための冗長性、法的管轄、税金ドメイン、および他のビジネスまたは社会的基準に対する様々な要件を満たすための冗長性など、様々な理由で異なる地域に展開されてもよい。

地域内のデータセンタは、さらに編成され、利用可能なドメイン（availability domain：ＡＤ）に細分化されてもよい。利用可能なドメインは、ある地域に配置された１つ以上のデータセンタに対応し得る。地域は、１つ以上の利用可能なドメインから構成されてもよい。このような分散環境において、ＣＳＰＩリソースは、仮想クラウドネットワーク（ＶＣＮ）などの地域に固有なものまたは計算インスタンスなどの利用可能なドメインに固有なものである。

１つの地域内のＡＤは、フォールトトレラント（fault tolerant）になるように互いに分離され、同時に故障する可能性が非常に低くなるように構成されている。これは、１つの地域内の１つのＡＤの障害が同じ地域内の他のＡＤの可用性に影響を与えることが殆どないように、ネットワーキング、物理ケーブル、ケーブル経路、ケーブル入口などの重要なインフラストラクチャリソースを共有しないＡＤによって達成される。同じ地域内のＡＤを低遅延広帯域のネットワークで互いに接続することによって、他のネットワーク（例えば、インターネット、顧客オンプレミスネットワーク）への高可用性接続を提供し、複数のＡＤにおいて高可用性および災害復旧の両方のための複製システムを構築することができる。クラウドサービスは、複数のＡＤを利用して、高可用性を確保すると共に、リソースの障害から保護する。ＩａａＳプロバイダによって提供されたインフラストラクチャが成長するにつれて、容量を追加のしながらより多くの地域およびＡＤを追加してもよい。利用可能なドメイン間のトラフィックは、通常、暗号化される。

特定の実施形態において、地域は、レルムにグループ化される。レルムは、地域の論理的な集合である。レルムは、互いに隔離されており、いかなるデータを共有しない。同じレルム内の地域は互いに通信し得るが、異なるレルム内の地域は通信することができない。ＣＳＰの顧客のテナンシまたはアカウントは、単一のレルムに存在し、その単一のレルムに属する１つ以上の地域を跨ることができる。典型的には、顧客がＩａａＳサービスに加入すると、レルム内の顧客指定地域（「ホーム」地域と呼ばれる）に、その顧客のテナンシまたはアカウントが作成される。顧客は、顧客のテナンシをレルム内の１つ以上の他の地域に拡張することができる。顧客は、顧客のテナンシが存在するレルム内に存在していない地域にアクセスすることができない。

ＩａａＳプロバイダは、複数のレルムを提供することができ、各レルムは、特定の組の顧客またはユーザに対応する。例えば、商用レルムは商用顧客のために提供されてもよい。別の例として、レルムは、特定の国のためにまたはその国の顧客のために提供されてもよい。さらに別の例として、政府用レルムは、例えば政府のために提供されてもよい。例えば、政府用レルムは、特定の政府のために作成されてもよく、商用レルムよりも高いセキュリティレベルを有してもよい。例えば、オラクル（登録商標）クラウドインフラストラクチャ（ＯＣＩ）は、現在、商用領域向けのレルムと、政府クラウド領域向けの２つのレルム（例えば、ＦｅｄＲＡＭＰ認可およびＩＬ５認可）とを提供している。

特定の実施形態において、ＡＤは、１つ以上の障害ドメイン（fault domain）に細分化することができる。障害ドメインは、反親和性（anti-affinity）を提供するために、ＡＤ内のインフラストラクチャリソースをグループ化したものである。障害ドメインは、計算インスタンスが１つのＡＤ内の同じ物理ハードウェア上に配置されないように当該計算インスタンスを分散させることができる。これは反親和性として公知である。障害ドメインは、１つの障害点を共有するハードウェアコンポーネント（コンピュータ、スイッチなど）の集合を指す。計算プールは、障害ドメインに論理的に分割される。このため、１つの障害ドメインに影響を与えるハードウェア障害または計算ハードウェア保守イベントは、他の障害ドメインのインスタンスに影響を与えない。実施形態によっては、各ＡＤの障害ドメインの数は、異なってもよい。例えば、特定の実施形態において、各ＡＤは、３つの障害ドメインを含む。障害ドメインは、ＡＤ内の論理データセンタとして機能する。

顧客がＩａａＳサービスに加入すると、ＣＳＰＩからのリソースは、顧客にプロビジョニングされ、顧客のテナンシに関連付けられる。顧客は、これらのプロビジョニングされたリソースを使用して、プライベートネットワークを構築し、これらのネットワーク上にリソースを展開することができる。ＣＳＰＩによってクラウドにおいてホストされている顧客ネットワークは、仮想クラウドネットワーク（ＶＣＮ）と呼ばれる。顧客は、顧客用に割当てられたＣＳＰＩリソースを使用して、１つ以上の仮想クラウドネットワーク（ＶＣＮ）を構成することができる。ＶＣＮとは、仮想またはソフトウェア定義のプライベートネットワークである。顧客のＶＣＮに展開された顧客リソースは、計算インスタンス（例えば、仮想マシン、ベアメタルインスタンス）および他のリソースを含み得る。これらの計算インスタンスは、アプリケーション、ロードバランサ、データベースなどの様々な顧客作業負荷を表わし得る。ＶＣＮ上に展開された計算インスタンスは、インターネットなどのパブリックネットワークを介して公的にアクセス可能なエンドポイント（パブリックエンドポイント）と通信することができ、同じＶＣＮまたは他のＶＣＮ（例えば、顧客の他のＶＣＮ、または顧客に属さないＶＣＮ）内の他のインスタンスと通信することができ、顧客のオンプレミスデータセンタまたはネットワークと通信することができ、サービスエンドポイントと通信することができ、および他の種類のエンドポイントと通信することができる。

ＣＳＰは、ＣＳＰＩを用いて多様なサービスを提供し得る。場合によっては、ＣＳＰＩの顧客自身は、サービスプロバイダのように機能し、ＣＳＰＩリソースを使用してサービスを提供し得る。サービスプロバイダは、識別情報（例えば、ＩＰアドレス、ＤＮＳ名およびポート）によって特徴付けられるサービスエンドポイントを公開し得る。顧客のリソース（例えば、計算インスタンス）は、サービスによって公開されたその特定のサービスについてのサービスエンドポイントにアクセスすることによって、特定のサービスを消費することができる。これらのサービスエンドポイントは、一般に、ユーザがエンドポイントに関連付けられたパブリックＩＰアドレスを使用してインターネットなどのパブリック通信ネットワークを介して公的にアクセスすることができるエンドポイントである。公的にアクセス可能なネットワークエンドポイントは、パブリックエンドポイントと呼ばれることもある。

特定の実施形態において、サービスプロバイダは、（サービスエンドポイントと呼ばれることもある）サービスのエンドポイントを介してサービスを公開し得る。サービスの顧客は、このサービスエンドポイントを使用してサービスにアクセスすることができる。特定の実施形態において、サービスのために提供されたサービスエンドポイントは、そのサービスを消費しようとする複数の顧客によってアクセスすることができる。他の実装形態においては、ある顧客のみが専用サービスエンドポイントを使用してサービスにアクセスすることができるように、当該専用のサービスエンドポイントを当該顧客に提供してもよい。

特定の実施形態において、ＶＣＮは、作成されると、そのＶＣＮに割当てられたプライベートオーバーレイＩＰアドレス範囲（例えば、１０．０／１６）であるプライベートオーバーレイクラスレスドメイン間ルーティング（Classless Inter-Domain Routing：ＣＩＤＲ）アドレス空間に関連付けられる。ＶＣＮは、関連するサブネット、ルートテーブル、およびゲートウェイを含む。ＶＣＮは、単一の地域内に存在するが、地域の１つ以上または全ての利用可能なドメインに拡張することができる。ゲートウェイは、ＶＣＮ用に構成され、ＶＣＮとＶＣＮ外部の１つ以上のエンドポイントとの間のトラフィック通信を可能にする仮想インターフェイスである。ＶＣＮのための１つ以上の異なる種類のゲートウェイを構成することによって、異なる種類のエンドポイント間の通信を可能にすることができる。

ＶＣＮは、１つ以上のサブネットなどの１つ以上のサブネットワークに細分化されてもよい。したがって、サブネットは、ＶＣＮ内で作成され得る構成単位または区画である。ＶＣＮは、１つ以上のサブネットを有し得る。ＶＣＮ内の各サブネットは、当該ＶＣＮ内の他のサブネットと重複せず、当該ＶＣＮのアドレス空間のアドレス空間サブセットを表わすオーバーレイＩＰアドレス（例えば、１０．０．０．０／２４および１０．０．１．０／２４）の連続範囲に関連付けられる。

各計算インスタンスは、仮想ネットワークインターフェイスカード（ＶＮＩＣ）に関連付けられる。これによって、各計算インスタンスは、ＶＣＮのサブネットに参加することができる。ＶＮＩＣは、物理ネットワークインターフェイスカード（ＮＩＣ）の論理表現である。一般的に、ＶＮＩＣは、エンティティ（例えば、計算インスタンス、サービス）と仮想ネットワークとの間のインターフェイスである。ＶＮＩＣは、サブネットに存在し、１つ以上の関連するＩＰアドレスと、関連するセキュリティルールまたはポリシーとを有する。ＶＮＩＣは、スイッチ上のレイヤ２ポートに相当する。ＶＮＩＣは、計算インスタンスと、ＶＣＮ内のサブネットとに接続されている。計算インスタンスに関連付けられたＶＮＩＣは、計算インスタンスがＶＣＮのサブネットの一部であることを可能にし、計算インスタンスが、計算インスタンスと同じサブネット上にあるエンドポイントと、ＶＣＮ内の異なるサブネット内のエンドポイントと、またはＶＣＮ外部のエンドポイントと通信する（例えば、パケットを送信および受信する）ことを可能にする。したがって、計算インスタンスに関連するＶＮＩＣは、計算インスタンスがＶＣＮの内部および外部のエンドポイントとどのように接続しているかを判断する。計算インスタンスのＶＮＩＣは、計算インスタンスが作成され、ＶＣＮ内のサブネットに追加されるときに作成され、その計算インスタンスに関連付けられる。サブネットは、計算インスタンスのセットからなる場合、計算インスタンスのセットに対応するＶＮＩＣを含み、各ＶＮＩＣは、コンピュータインスタンスのセット内の計算インスタンスに接続されている。

計算インスタンスに関連するＶＮＩＣを介して、各計算インスタンスにはプライベートオーバーレイＩＰアドレスが割当てられる。このプライベートオーバーレイＩＰアドレスは、計算インスタンスの作成時に計算インスタンスに関連するＶＮＩＣに割当てられ、計算インスタンスのトラフィックをルーティングするために使用される。所与のサブネット内の全てのＶＮＩＣは、同じルートテーブル、セキュリティリスト、およびＤＨＣＰオプションを使用する。上述したように、ＶＣＮ内の各サブネットは、当該ＶＣＮ内の他のサブネットと重複せず、当該ＶＣＮのアドレス空間のアドレス空間サブセットを表わすオーバーレイＩＰアドレス（例えば、１０．０．０．０／２４および１０．０．１．０／２４）の連続範囲に関連付けられる。ＶＣＮの特定のサブネット上のＶＮＩＣの場合、ＶＮＩＣに割当てられたプライベートオーバーレイＩＰアドレスは、サブネットに割当てられたオーバーレイＩＰアドレスの連続範囲からのアドレスである。

特定の実施形態において、任意には、計算インスタンスには、プライベートオーバーレイＩＰアドレスに加えて、追加のオーバーレイＩＰアドレス、例えば、パブリックサブネットの場合に１つ以上のパブリックＩＰアドレスを割当てることができる。これらの複数のアドレスは、同じＶＮＩＣ、または計算インスタンスに関連付けられた複数のＶＮＩＣに割当てられる。しかしながら、各インスタンスは、インスタンス起動時に作成され、インスタンスに割当てられたオーバーレイプライベートＩＰアドレスに関連付けられたプライマリＶＮＩＣを有する。このプライマリＶＮＩＣは、削除することができない。セカンダリＶＮＩＣと呼ばれる追加のＶＮＩＣは、プライマリＶＮＩＣと同じ利用可能なドメイン内の既存のインスタンスに追加することができる。全てのＶＮＩＣは、インスタンスと同じ利用可能なドメインにある。セカンダリＶＮＩＣは、プライマリＶＮＩＣと同じＶＣＮのサブネットにあってもよく、または同じＶＣＮまたは異なるＶＣＮの異なるサブネットにあってもよい。

計算インスタンスは、パブリックサブネットにある場合、任意には、パブリックＩＰアドレスが割当てられてもよい。サブネットを作成するときに、当該サブネットをパブリックサブネットまたはプライベートサブネットのいずれかとして指定することができる。プライベートサブネットとは、当該サブネット内のリソース（例えば、計算インスタンス）および関連するＶＮＩＣがパブリックオーバーレイＩＰアドレスを持つことができないことを意味する。パブリックサブネットとは、サブネット内のリソースおよび関連するＶＮＩＣがパブリックＩＰアドレスを持つことができることを意味する。顧客は、地域またはレルム内の単一の利用可能なドメインまたは複数の利用可能なドメインにわたって存在するサブネットを指定することができる。

上述したように、ＶＣＮは、１つ以上のサブネットに細分化されてもよい。特定の実施形態において、ＶＣＮのために構成された仮想ルータ（ＶＣＮ ＶＲまたは単にＶＲと呼ばれる）は、ＶＣＮのサブネット間の通信を可能にする。ＶＣＮ内のサブネットの場合、ＶＲは、サブネット（すなわち、当該サブネット上の計算インスタンス）と、ＶＣＮ内部の他のサブネット上のエンドポイントおよびＶＣＮ外部の他のエンドポイントとの通信を可能にする当該サブネットの論理ゲートウェイを表わす。ＶＣＮ ＶＲは、ＶＣＮ内のＶＮＩＣと、ＶＣＮに関連する仮想ゲートウェイ（ゲートウェイ）との間のトラフィックをルーティングするように構成された論理エンティティである。ゲートウェイは、図１に関して以下でさらに説明される。ＶＣＮ ＶＲは、レイヤ３／ＩＰレイヤの概念である。一実施形態において、１つのＶＣＮに対して１つのＶＣＮ ＶＲが存在する。このＶＣＮ ＶＲは、ＩＰアドレスによってアドレス指定された無制限の数のポートを潜在的に有し、ＶＣＮの各サブネットに対して１つのポートを有する。このようにして、ＶＣＮ ＶＲは、ＶＣＮ ＶＲが接続されているＶＣＮの各サブネットに対して異なるＩＰアドレスを有する。また、ＶＲは、ＶＣＮのために構成された様々なゲートウェイに接続されている。特定の実施形態において、サブネットのオーバーレイＩＰアドレス範囲からの特定のオーバーレイＩＰアドレスは、そのサブネットのＶＣＮ ＶＲのポートに保留される。例えば、関連するアドレス範囲１０．０／１６および１０．１／１６を各々有する２つのサブネットを有するＶＣＮを考える。アドレス範囲１０．０／１６を有するＶＣＮ内の第１のサブネットの場合、この範囲からのアドレスは、そのサブネットのＶＣＮ ＶＲのポートに保留される。場合によっては、この範囲からの第１のＩＰアドレスは、ＶＣＮ ＶＲに保留されてもよい。例えば、オーバーレイＩＰアドレス範囲１０．０／１６を有するサブネットの場合、ＩＰアドレス１０．０．０．１は、そのサブネットのＶＣＮ ＶＲのポートに保留されてもよい。同じＶＣＮ内のアドレス範囲１０．１／１６を有する第２のサブネットの場合、ＶＣＮ ＶＲは、ＩＰアドレス１０．１．０．１を有する第２のサブネットのポートを有してもよい。ＶＣＮ ＶＲは、ＶＣＮ内の各サブネットに対して異なるＩＰアドレスを有する。

いくつかの他の実施形態において、ＶＣＮ内の各サブネットは、ＶＲに関連付けられた保留またはデフォルトＩＰアドレスを使用してサブネットによってアドレス指定可能な、それ自体に関連するＶＲを有してもよい。保留またはデフォルトＩＰアドレスは、例えば、そのサブネットに関連付けられたＩＰアドレスの範囲からの第１のＩＰアドレスであってもよい。サブネット内のＶＮＩＣは、このデフォルトまたは保留ＩＰアドレスを使用して、サブネットに関連付けられたＶＲと通信（例えば、パケットを送信および受信）することができる。このような実施形態において、ＶＲは、そのサブネットの入口／出口ポイントである。ＶＣＮ内のサブネットに関連付けられたＶＲは、ＶＣＮ内の他のサブネットに関連付けられた他のＶＲと通信することができる。また、ＶＲは、ＶＣＮに関連付けられたゲートウェイと通信することができる。サブネットのＶＲ機能は、サブネット内のＶＮＩＣのＶＮＩＣ機能を実行する１つ以上のＮＶＤ上で実行され、またはそれによって実行される。

ルートテーブル、セキュリティルール、およびＤＨＣＰオプションは、ＶＣＮのために構成されてもよい。ルートテーブルは、ＶＣＮの仮想ルートテーブルであり、ゲートウェイまたは特別に構成されたインスタンスを経由して、トラフィックをＶＣＮ内部のサブネットからＶＣＮ外部の宛先にルーティングするためのルールを含む。ＶＣＮとの間でパケットの転送/ルーティングを如何に制御するかについて、ＶＣＮのルートテーブルをカスタマイズすることができる。ＤＨＣＰオプションは、インスタンスの起動時にインスタンスに自動的に提供される構成情報を指す。

ＶＣＮのために構成されたセキュリティルールは、ＶＣＮのオーバーレイファイアウォールルールを表わす。セキュリティルールは、入口ルールおよび出口ルールを含み得るとともに、（例えば、プロトコルおよびポートに基づいて）ＶＣＮ内のインスタンスに出入りすることを許可されるトラフィックの種類を指定し得る。顧客は、特定の規則をステートフルまたはステートレスにするかを選択することができる。例えば、顧客は、ソースＣＩＤＲ０．０．０．０／０および宛先ＴＣＰポート２２を含むステートフル入口ルールを設定することによって、任意の場所から１組のインスタンスへの着信ＳＳＨトラフィックを許可することができる。セキュリティルールは、ネットワークセキュリティグループまたはセキュリティリストを使用して実装されてもよい。ネットワークセキュリティグループは、そのグループ内のリソースのみに適用されるセキュリティルールのセットからなる。一方、セキュリティリストは、そのセキュリティリストを使用するサブネット内の全てのリソースに適用されるルールを含む。ＶＣＮは、デフォルトセキュリティルールとともにデフォルトセキュリティリストを含んでもよい。ＶＣＮのために構成されたＤＨＣＰオプションは、ＶＣＮ内のインスタンスが起動するときに自動的に提供される構成情報を提供する。

特定の実施形態において、ＶＣＮの構成情報は、ＶＣＮ制御プレーンによって決定され、記憶される。ＶＣＮの構成情報は、例えば、ＶＣＮに関連するアドレス範囲、ＶＣＮ内のサブネットおよび関連情報、ＶＣＮに関連する１つ以上のＶＲ、ＶＣＮ内の計算インスタンスおよび関連ＶＮＩＣ、ＶＣＮに関連する種々の仮想化ネットワーク機能（例えば、ＶＮＩＣ、ＶＲ、ゲートウェイ）を実行するＮＶＤ、ＶＣＮの状態情報、および他のＶＣＮ関連情報を含んでもよい。特定の実施形態において、ＶＣＮ配信サービスは、ＶＣＮ制御プレーンによって記憶された構成情報またはその一部をＮＶＤに公開する。配信された情報を用いて、ＮＶＤによって記憶および使用される情報（例えば、転送テーブル、ルーティングテーブルなど）を更新することによって、ＶＣＮ内の計算インスタンスとの間でパケットを転送することができる。

特定の実施形態において、ＶＣＮおよびサブネットの作成は、ＶＣＮ制御プレーン（ＣＰ）によって処理され、計算インスタンスの起動は、計算制御プレーンによって処理される。計算制御プレーンは、計算インスタンスの物理リソースを割当て、次にＶＣＮ制御プレーンを呼び出して、ＶＮＩＣを作成し、計算インスタンスにアタッチするように構成される。また、ＶＣＮ ＣＰは、パケットの転送およびルーティング機能を実行するように構成されたＶＣＮデータプレーンに、ＶＣＮデータマッピングを送信する。特定の実施形態において、ＶＣＮ ＣＰは、更新をＶＣＮデータプレーンに提供する役割を果たす配信サービスを提供する。ＶＣＮ制御プレーンの例は、図１２、１３、１４、および１５（参照番号１２１６、１３１６、１４１６、および１５１６を参照）に示され、以下に説明される。

顧客は、ＣＳＰＩによってホストされているリソースを用いて１つ以上のＶＣＮを作成し得る。顧客ＶＣＮ上に展開された計算インスタンスは、様々なエンドポイントと通信し得る。これらのエンドポイントは、ＣＳＰＩによってホストされているエンドポイントおよびＣＳＰＬ外部のエンドポイントを含み得る。

ＣＳＰＩを用いてクラウドベースのサービスを実装するための様々な異なるアーキテクチャは、図１、２、３、４、５、１２、１３、１４、および１６に示され、以下に説明される。図１は、特定の実施形態に従った、ＣＳＰＩによってホストされているオーバーレイＶＣＮまたは顧客ＶＣＮを示す分散環境１００のハイレベル図である。図１に示された分散環境は、オーバーレイネットワーク内の複数のコンポーネントを含む。図１に示された分散環境１００は、単なる例であり、特許請求された実施形態の範囲を不当に限定することを意図していない。多くの変形例、代替例、および修正例が可能である。例えば、いくつかの実装形態において、図１に示された分散環境は、図１に示されたものより多いまたは少ないシステムまたはコンポーネントを有してもよく、２つ以上のシステムを組合わせてもよく、または異なるシステムの構成または配置を有してもよい。

図１の例に示すように、分散環境１００は、顧客が加入して仮想クラウドネットワーク（ＶＣＮ）を構築するために使用することができるサービスおよびリソースを提供するＣＳＰＩ１０１を含む。特定の実施形態において、ＣＳＰＩ１０１は、加入顧客にＩａａＳサービスを提供する。ＣＳＰＩ１０１内のデータセンタは、１つ以上の地域に編成されてもよい。図１は、地域の一例である「地域ＵＳ」１０２を示す。顧客は、地域１０２に対して顧客ＶＣＮ１０４を構成している。顧客は、ＶＣＮ１０４上に様々な計算インスタンスを展開してもよく、計算インスタンスは、仮想マシンまたはベアメタルインスタンスを含み得る。インスタンスの例は、アプリケーション、データベース、ロードバランサなどを含む。

図１に示された実施形態において、顧客ＶＣＮ１０４は、２つのサブネット、すなわち、「サブネット－１」および「サブネット－２」を含み、各サブネットは、各自のＣＩＤＲ ＩＰアドレス範囲を有する。図１において、サブネット－１のオーバーレイＩＰアドレス範囲は１０．０／１６であり、サブネット－２のアドレス範囲は１０．１／１６である。ＶＣＮ仮想ルータ１０５は、ＶＣＮ１０４のサブネット間の通信およびＶＣＮ外部の他のエンドポイントとの通信を可能にするＶＣＮの論理ゲートウェイを表わす。ＶＣＮ ＶＲ１０５は、ＶＣＮ１０４内のＶＮＩＣとＶＣＮ１０４に関連するゲートウェイとの間でトラフィックをルーティングするように構成される。ＶＣＮ ＶＲ１０５は、ＶＣＮ１０４の各サブネットにポートを提供する。例えば、ＶＲ１０５は、ＩＰアドレス１０．０．０．１を有するポートをサブネット－１に提供してもよく、ＩＰアドレス１０．１．０．１を有するポートをサブネット－２に提供してもよい。

各サブネット上に複数の計算インスタンスを展開してもよい。この場合、計算インスタンスは、仮想マシンインスタンスおよび／またはベアメタルインスタンスであってもよい。サブネット内の計算インスタンスは、ＣＳＰＩ１０１内の１つ以上のホストマシンによってホストされてもよい。計算インスタンスは、当該計算インスタンスに関連するＶＮＩＣを介してサブネットに参加する。例えば、図１に示すように、計算インスタンスＣ１は、当該計算インスタンスに関連するＶＮＩＣを介したサブネット－１の一部である。同様に、計算インスタンスＣ２は、Ｃ２に関連するＶＮＩＣを介したサブネット－１の一部である。同様に、仮想マシンインスタンスまたはベアメタルインスタンスであり得る複数の計算インスタンスは、サブネット－１の一部であってもよい。各計算インスタンスには、関連するＶＮＩＣを介して、プライベートオーバーレイＩＰアドレスおよびＭＡＣアドレスが割当てられる。例えば、図１において、計算インスタンスＣ１は、オーバーレイＩＰアドレス１０．０．０．２およびＭＡＣアドレスＭ１を有し、計算インスタンスＣ２は、プライベートオーバーレイＩＰアドレス１０．０．０．３およびＭＡＣアドレスＭ２を有する。計算インスタンスＣ１およびＣ２を含むサブネット－１内の各計算インスタンスは、サブネット－１のＶＣＮ ＶＲ１０５のポートのＩＰアドレスであるＩＰアドレス１０．０．０．１を用いるＶＣＮ ＶＲ１０５へのデフォルトルートを有する。

サブネット－２には、仮想マシンインスタンスおよび／またはベアメタルインスタンスを含む複数の計算インスタンスを展開することができる。例えば、図１に示すように、計算インスタンスＤｌおよびＤ２は、それぞれの計算インスタンスに関連するＶＮＩＣを介したサブネット－２の一部である。図１に示す実施形態において、計算インスタンスＤ１は、オーバーレイＩＰアドレス１０．１．０．２およびＭＡＣアドレスＭＭ１を有し、計算インスタンスＤ２は、プライベートオーバーレイＩＰアドレス１０．１．０．３およびＭＡＣアドレスＭＭ２を有する。計算インスタンスＤ１およびＤ２を含むサブネット－２内の各計算インスタンスは、サブネット－２のＶＣＮ ＶＲ１０５のポートのＩＰアドレスであるＩＰアドレス１０．１．０．１を用いるＶＣＮ ＶＲ１０５へのデフォルトルートを有する。

また、ＶＣＮ Ａ１０４は、１つ以上のロードバランサを含んでもよい。例えば、ロードバランサは、サブネットに対して提供されてもよく、サブネット上の複数の計算インスタンス間でトラフィックをロードバランスするように構成されてもよい。また、ロードバランサは、ＶＣＮ内のサブネット間でトラフィックをロードバランスするように提供されてもよい。

ＶＣＮ１０４上に展開された特定の計算インスタンスは、様々な異なるエンドポイントと通信することができる。これらのエンドポイントは、ＣＳＰＩ２００によってホストされているエンドポイントと、ＣＳＰＩ２００外部のエンドポイントとを含んでもよい。ＣＳＰＩ１０１によってホストされているエンドポイントは、特定の計算インスタンスと同じサブネット上のエンドポイント（例えば、サブネット－１の２つの計算インスタンス間の通信）、異なるサブネットにあるが同じＶＣＮ内のエンドポイント（例えば、サブネット－１の計算インスタンスとサブネット－２の計算インスタンスとの間の通信）、同じ地域の異なるＶＣＮ内のエンドポイント（例えば、サブネット－１の計算インスタンスと、同じ地域１０６または１１０のＶＣＮ内のエンドポイントとの間の通信、サブネット－１内の計算インスタンスと、同じ地域のサービスネットワーク１１０内のエンドポイントとの間の通信）、または異なる地域のＶＣＮ内のエンドポイント（例えば、サブネット－１の計算インスタンスと、異なる地域１０８のＶＣＮ内のエンドポイントとの間の通信）を含んでもよい。また、ＣＳＰＩ１０１によってホストされているサブネット内の計算インスタンスは、ＣＳＰＩ１０１によってホストされていない（すなわち、ＣＳＰＩ１０１の外部にある）エンドポイントと通信してもよい。これらの外部のエンドポイントは、顧客のオンプレミスネットワーク１１６内のエンドポイント、他のリモートクラウドホスト型ネットワーク１１８内のエンドポイント、インターネットなどのパブリックネットワークを介してアクセス可能なパブリックエンドポイント１１４、および他のエンドポイントを含む。

同じサブネット上の計算インスタンス間の通信は、ソース計算インスタンスおよび宛先計算インスタンスに関連するＶＮＩＣを使用して促進される。例えば、サブネット－１内の計算インスタンスＣ１は、サブネット－１内の計算インスタンスＣ２にパケットを送信することを所望する場合もある。ソース計算インスタンスから発信され、その宛先が同じサブネット内の別の計算インスタンスであるパケットの場合、このパケットは、まず、ソース計算インスタンスに関連するＶＮＩＣによって処理される。ソース計算インスタンスに関連するＶＮＩＣによって実行される処理は、パケットヘッダからパケットの宛先情報を決定することと、ソース計算インスタンスに関連するＶＮＩＣに対して構成された任意のポリシー（例えば、セキュリティリスト）を識別することと、パケットのネクストホップ（next hop）を決定することと、必要に応じて任意のパケットのカプセル化／カプセル除去機能を実行することと、パケットの意図した宛先への通信を容易にするためにパケットをネクストホップに転送／ルーティングすることとを含んでもよい。宛先計算インスタンスがソース計算インスタンスと同じサブネットにある場合、ソース計算インスタンスに関連するＶＮＩＣは、宛先計算インスタンスに関連するＶＮＩＣを識別し、処理するべきパケットをそのＶＮＩＣに転送するように構成されている。次いで、宛先計算インスタンスに関連するＶＮＩＣが実行されて、パケットを宛先計算インスタンスに転送する。

サブネット内の計算インスタンスから同じＶＣＮの異なるサブネット内のエンドポイントにパケットを通信する場合、通信は、ソース計算インスタンスおよび宛先計算インスタンスに関連するＶＮＩＣと、ＶＣＮ ＶＲとによって促進される。例えば、図１のサブネット－１の計算インスタンスＣ１がサブネット－２の計算インスタンスＤ１にパケットを送信したい場合、パケットは、まず、計算インスタンスＣ１に関連するＶＮＩＣによって処理される。計算インスタンスＣ１に関連するＶＮＩＣは、ＶＣＮ ＶＲのデフォルトルートまたはポート１０．０．０．１を使用して、パケットをＶＣＮ ＶＲ１０５にルーティングするように構成されている。ＶＣＮ ＶＲ１０５は、ポート１０．１．０．１を使用してパケットをサブネット－２にルーティングするように構成されている。その後、パケットは、Ｄ１に関連するＶＮＩＣによって受信および処理され、ＶＮＩＣは、パケットを計算インスタンスＤ１に転送する。

ＶＣＮ１０４内の計算インスタンスからＶＣＮ１０４外部のエンドポイントにパケットを通信するために、通信は、ソース計算インスタンスに関連するＶＮＩＣ、ＶＣＮ ＶＲ１０５、およびＶＣＮ１０４に関連するゲートウェイによって促進される。１つ以上の種類のゲートウェイをＶＣＮ１０４に関連付けてもよい。ゲートウェイは、ＶＣＮと別のエンドポイントとの間のインターフェイスであり、別のエンドポイントは、ＶＣＮの外部にある。ゲートウェイは、レイヤ３／ＩＰレイヤ概念であり、ＶＣＮとＶＣＮの外部のエンドポイントとの通信を可能にする。したがって、ゲートウェイは、ＶＣＮと他のＶＣＮまたはネットワークとの間のトラフィックフローを容易にする。異なる種類のエンドポイントとの異なる種類の通信を容易にするために、様々な異なる種類のゲートウェイがＶＣＮのために構成され得る。通信は、ゲートウェイに応じてパブリックネットワーク（例えば、インターネット）またはプライベートネットワークを介して行われてもよい。これらの通信には、様々な通信プロトコルを使用してもよい。

例えば、計算インスタンスＣ１は、ＶＣＮ１０４の外部のエンドポイントと通信することを所望する場合がある。パケットは、まず、ソース計算インスタンスＣ１に関連するＶＮＩＣによって処理されてもよい。ＶＮＩＣ処理は、パケットの宛先がＣｌのサブネット－１の外部にあると判断する。Ｃ１に関連するＶＮＩＣは、パケットをＶＣＮ１０４のＶＣＮ ＶＲ１０５に転送し得る。次いで、ＶＣＮ ＶＲ１０５は、パケットを処理し、処理の一部として、パケットの宛先に基づいて、ＶＣＮ１０４に関連する特定のゲートウェイをパケットのネクストホップとして決定する。その後、ＶＣＮ ＶＲ１０５は、パケットを特定の識別されたゲートウェイに転送し得る。例えば、宛先が顧客のオペプレミスネットワーク内のエンドポイントである場合、パケットは、ＶＣＮ ＶＲ１０５によって、ＶＣＮ１０４のために構成された動的ルーティングゲートウェイ（Dynamic Routing Gateway：ＤＲＧ）１２２に転送されてもよい。その後、パケットがゲートウェイからネクストホップに転送され得ることで、意図した最終の宛先へのパケットの通信が容易になり得る。

ＶＣＮのために様々な異なる種類のゲートウェイが構成され得る。ＶＣＮのために構成され得るゲートウェイの例は、図１に示され、以下に説明される。ＶＣＮに関連するゲートウェイの例は、図１２、１３、１４、および１５（例えば、参照番号１２３４、１２３６、１２３８、１３３４、１３３６、１３３８、１４３４、１４３６、１４３８、１５３４、１５３６、および１５３８によって示されたゲートウェイ）にも示され、以下に説明される。図１に示された実施形態に示されるように、動的ルーティングゲートウェイ（ＤＲＧ）１２２は、顧客ＶＣＮ１０４に追加されてもよく、またはそれに関連付けられてもよい。ＤＲＧ１２２は、顧客ＶＣＮ１０４と別のエンドポイントとの間のプライベートネットワークトラフィック通信を行うための経路を提供する。別のエンドポイントは、顧客のオンプレミスネットワーク１１６、ＣＳＰＩ１０１の異なる地域内のＶＣＮ１０８、またはＣＳＰＩ１０１によってホストされていない他のリモートクラウドネットワーク１１８であってもよい。顧客オンプレミスネットワーク１１６は、顧客のリソースを用いて構築された顧客ネットワークまたは顧客データセンタであってもよい。顧客オンプレミスネットワーク１１６へのアクセスは、一般的に厳しく制限される。顧客オンプレミスネットワーク１１６と、ＣＳＰＩ１０１によってクラウドに展開またはホストされる１つ以上のＶＣＮ１０４との両方を有する顧客の場合、顧客は、オンプレミスネットワーク１１６およびクラウドベースのＶＣＮ１０４が互いに通信できることを望む場合がある。これによって、顧客は、ＣＳＰＩ１０１によってホストされている顧客のＶＣＮ１０４とオンプレミスネットワーク１１６とを含む拡張ハイブリッド環境を構築することができる。ＤＲＧ１２２は、このような通信を可能にする。このような通信を可能にするために、通信チャネル１２４が設定される。この場合、通信チャネルの一方のエンドポイントは、顧客オンプレミスネットワーク１１６にあり、他方のエンドポイントは、ＣＳＰＩ１０１にあり、顧客ＶＣＮ１０４に接続されている。通信チャネル１２４は、インターネットなどのパブリック通信ネットワーク、またはプライベート通信ネットワークを経由し得る。インターネットなどのパブリック通信ネットワーク上のＩＰｓｅｃ ＶＰＮ技術、パブリックネットワークの代わりにプライベートネットワークを使用するオラクル（登録商標）のFastConnect技術などの様々な異なる通信プロトコルが使用され得る。通信チャネル１２４の１つのエンドポイントを形成する顧客オンプレミスネットワーク１１６内の装置または機器は、図１に示されたＣＰＥ１２６などの顧客構内機器（customer premise equipment：ＣＰＥ）と呼ばれる。ＣＳＰＩ１０１側のエンドポイントは、ＤＲＧ１２２を実行するホストマシンであってもよい。

特定の実施形態において、リモートピアリング接続（Remote Peering Connection：ＲＰＣ）をＤＲＧに追加することができる。これによって、顧客は、１つのＶＣＮを別の地域内の別のＶＣＮとピアリングすることができる。このようなＲＰＣを使用して、顧客ＶＣＮ１０４は、ＤＲＧ１２２を使用して、別の地域内のＶＣＮ１０８に接続することができる。また、ＤＲＧ１２２は、ＣＳＰＩ１０１によってホストされていない他のリモートクラウドネットワーク１１８、例えば、マイクロソフト（登録商標）Azureクラウド、アマゾン（登録商標）ＡＷＳクラウド等と通信するために使用されてもよい。

図１に示すように、顧客ＶＣＮ１０４上の計算インスタンスがインターネットなどのパブリックネットワークを介してアクセス可能なパブリックエンドポイント１１４と通信することを可能にするように、顧客ＶＣＮ１０４のためにインターネットゲートウェイ（Internet Gateway：ＩＧＷ）１２０を構成してもよい。ＩＧＷ１２０は、ＶＣＮをインターネットなどのパブリックネットワークに接続するゲートウェイである。ＩＧＷ１２０は、ＶＣＮ１０４などのＶＣＮ内のパブリックサブネット（パブリックサブネット内のリソースは、パブリックオーバーレイＩＰアドレスを有する）がインターネットなどのパブリックネットワーク１１４上のパブリックエンドポイント１１２に直接アクセスすることを可能にする。ＩＧＷ１２０を使用して、ＶＣＮ１０４内のサブネットからまたはインターネットからの接続を開始することができる。

顧客のＶＣＮ１０４のためにネットワークアドレス変換（Network Address Translation：ＮＡＴ）ゲートウェイ１２８を構成することができる。ＮＡＴゲートウェイ１２８は、顧客のＶＣＮ内における専用のパブリックオーバーレイＩＰアドレスを有しないクラウドリソースを、直接着信インターネット接続（例えば、Ｌ４－Ｌ７接続）に曝すことなくインターネットにアクセスすることを可能にする。これによって、ＶＣＮ１０４のプライベートサブネット－１などのＶＣＮ内のプライベートサブネットがインターネット上のパブリックエンドポイントにプライベートアクセスすることを可能にする。ＮＡＴゲートウェイにおいて、プライベートサブネットからパブリックインターネットへの接続を開始することができるが、インターネットからプライベートサブネットへの接続を開始することはできない。

特定の実施形態において、顧客ＶＣＮ１０４のためにサービスゲートウェイ（Service Gateway：ＳＧＷ）１２６を構成することができる。ＳＧＷ１２６は、ＶＣＮ１０４とサービスネットワーク１１０においてサポートされているサービスエンドポイントとの間のプライベートネットワークトラフィックの経路を提供する。特定の実施形態において、サービスネットワーク１１０は、ＣＳＰによって提供され得るとともに、様々なサービスを提供し得る。このようなサービスネットワークの例は、顧客が使用できる様々なサービスを提供するオラクル（登録商標）サービスネットワークである。例えば、顧客ＶＣＮ１０４のプライベートサブネット内の計算インスタンス（例えば、データベースシステム）は、パブリックＩＰアドレスまたはインターネットへのアクセスを必要とすることなく、サービスエンドポイント（例えば、オブジェクトストレージ）にデータをバックアップすることができる。いくつかの実施形態において、ＶＣＮは、ＳＧＷを１つしか有することができず、ＶＣＮ内のサブネットからだけ接続を開始することができるが、サービスネットワーク１１０からは接続を開始することができない。ＶＣＮを他のＶＣＮにピアリングする場合、他のＶＣＮ内のリソースは、通常ＳＧＷにアクセスすることができない。FastConnectまたはVPN ConnectでＶＣＮに接続されているオンプレミスネットワーク内のリソースも、そのＶＣＮのために構成されたサービスゲートウェイを使用することができる。

いくつかの実装形態において、ＳＧＷ１２６は、サービスクラスレスドメイン間ルーティング（ＣＩＤＲ）ラベルを使用する。ＣＩＤＲラベルは、関心のあるサービスまたはサービスのグループに対する全ての地域パブリックＩＰアドレス範囲を表わす文字列である。顧客は、ＳＧＷおよび関連するルーティングルールを設定する際に、サービスＣＩＤＲラベルを使用してサービスへのトラフィックを制御する。顧客は、サービスのパブリックＩＰアドレスが将来に変化する場合、セキュリティルールを調整する必要なく、当該セキュリティルールの構成時にオプションとしてサービスＣＩＤＲラベルを使用することができる。

ローカルピアリングゲートウェイ（Local Peering Gateway：ＬＰＧ）１３２は、顧客ＶＣＮ１０４に追加可能なゲートウェイであり、ＶＣＮ１０４が同じ地域内の別のＶＣＮとピアリングすることを可能にする。ピアリングとは、トラフィックがインターネットなどのパブリックネットワークを経由することなく、または顧客のオンプレミスネットワーク１１６を通してトラフィックをルーティングすることなく、ＶＣＮがプライベートＩＰアドレスを使用して通信することを意味する。好ましい実施形態において、ＶＣＮは、確立した各ピアリングに対して個別のＬＰＧを有する。ローカルピアリングまたはＶＣＮピアリングは、異なるアプリケーション間またはインフラストラクチャ管理機能間のネットワーク接続を確立するために使用される一般的な慣行である。

サービスネットワーク１１０のサービスのプロバイダなどのサービスプロバイダは、異なるアクセスモデルを使用してサービスへのアクセスを提供し得る。パブリックアクセスモデルによれば、サービスは、インターネットなどのパブリックネットワークを介して顧客ＶＣＮ内の計算インスタンスによって公的にアクセス可能なパブリックエンドポイントとして公開されてもよく、またはＳＧＷ１２６を介してプライベートにアクセス可能にされてもよい。特定のプライベートアクセスモデルによれば、サービスは、顧客ＶＣＮ内のプライベートサブネット内のプライベートＩＰエンドポイントとしてアクセス可能にされてもよい。これは、プライベートエンドポイント（Private Endpoint：ＰＥ）アクセスと呼ばれ、サービスプロバイダがそのサービスを顧客のプライベートネットワーク内のインスタンスとして公開することを可能にする。プライベートエンドポイントリソースは、顧客ＶＣＮ内のサービスを表わす。各ＰＥは、顧客が顧客ＶＣＮ内のサブネットから選択したＶＮＩＣ（ＰＥ－ＶＮＩＣと呼ばれ、１つ以上のプライベートＩＰを有する）として現れる。ＰＥは、このように、ＶＮＩＣを使用して顧客のプライベートＶＣＮサブネット内でサービスを提供する方法を提供する。エンドポイントがＶＮＩＣとして公開されるため、ＰＥ ＶＮＩＣは、ＶＮＩＣに関連する全ての特徴、例えば、ルーティングルールおよびセキュリティリストなどを利用することができる。

サービスプロバイダは、サービスを登録することによって、ＰＥを介したアクセスを可能にする。プロバイダは、顧客テナントへのサービスの可視性を規制するポリシーをサービスに関連付けることができる。プロバイダは、特にマルチテナントサービスの場合、単一の仮想ＩＰアドレス（ＶＩＰ）の下に複数のサービスを登録することができる。（複数のＶＣＮにおいて）同じサービスを表わすプライベートエンドポイントが複数存在する場合もある。

その後、プライベートサブネット内の計算インスタンスは、ＰＥ ＶＮＩＣのプライベートＩＰアドレスまたはサービスＤＮＳ名を用いて、サービスにアクセスすることができる。顧客ＶＣＮ内の計算インスタンスは、顧客ＶＣＮ内のＰＥのプライベートＩＰアドレスにトラフィックを送信することによって、サービスにアクセスすることができる。プライベートアクセスゲートウェイ（ＰＡＧＷ）１３０は、顧客サブネットプライベートエンドポイントから／への全てのトラフィックの入口ポイント／出口ポイントとして機能するサービスプロバイダＶＣＮ（例えば、サービスネットワーク１１０内のＶＣＮ）に接続できるゲートウェイリソースである。ＰＡＧＷ１３０によって、プロバイダは、内部ＩＰアドレスリソースを利用することなく、ＰＥ接続の数を拡張することができる。プロバイダは、単一のＶＣＮに登録された任意の数のサービスに対して１つのＰＡＧＷを設定するだけでよい。プロバイダは、１人以上の顧客の複数のＶＣＮにおいて、サービスをプライバシーエンドポイントとして示すことができる。顧客の観点から、ＰＥ ＶＮＩＣは、顧客のインスタンスに接続されているのではなく、顧客が対話したいサービスに接続されているように見える。プライベートエンドポイントに向けられたトラフィックは、ＰＡＧＷ１３０を介してサービスにルーティングされる。これらは、顧客対サービスプライベート接続（Ｃ２Ｓ接続）と呼ばれる。

また、ＰＥ概念を用いて、トラフィックがFastConnect/IPsecリンクおよび顧客ＶＣＮ内のプライベートエンドポイントを通って流れることを可能にすることで、サービスのためのプライベートアクセスを顧客オンプレミスネットワークおよびデータセンタに拡張することもできる。また、トラフィックがＬＰＧ１３２と顧客ＶＣＮ内のＰＥとの間を通って流れることを可能にすることで、サービスのためのプライベートアクセスを顧客のピアリングされたＶＣＮに拡張することもできる。

顧客は、サブネットレベルでＶＣＮのルーティングを制御することができるため、ＶＣＮ１０４などの顧客ＶＣＮにおいて各ゲートウェイを使用するサブネットを指定することができる。ＶＣＮのルートテーブルを用いて、特定のゲートウェイを介してトラフィックをＶＣＮの外部にルーティングできるか否かを判断することができる。例えば、特定の事例において、顧客ＶＣＮ１０４内のパブリックサブネットのためのルートテーブルは、ＩＧＷ１２０を介して非ローカルトラフィックを送信してもよい。同じ顧客ＶＣＮ１０４内のプライベートサブネットのルートテーブルは、ＳＧＷ１２６を介してＣＳＰサービスへのトラフィックを送信してもよい。残りの全てのトラフィックは、ＮＡＴゲートウェイ１２８を介して送信されてもよい。ルートテーブルは、ＶＣＮから出るトラフィックのみを制御する。

ＶＣＮに関連するセキュリティリストは、インバウンド接続介しゲートウェイを通ってＶＣＮに入来するトラフィックを制御するために使用される。サブネット内の全てのリソースは、同じルートテーブルおよびセキュリティリストを使用する。セキュリティリストは、ＶＣＮのサブネット内のインスタンスに出入りする特定の種類のトラフィックを制御するために使用されてもよい。セキュリティリストルールは、入口（インバウンド）ルールと、出口（アウトバウンド）ルールとを含んでもよい。例えば、入口ルールは、許可されたソースアドレス範囲を指定してもよく、出口ルールは、許可された宛先アドレス範囲を指定してもよい。セキュリティルールは、特定のプロトコル（例えば、ＴＣＰ、ＩＣＭＰ）、特定のポート（例えば、ＳＳＨの場合には２２、ウィンドウズ（登録商標）ＲＤＰの場合には３３８９）などを指定し得る。特定の実装形態において、インスタンスのオペレーティングシステムは、セキュリティリストルールと一致する独自のファイアウォールルールを実施し得る。ルールは、ステートフル（例えば、接続が追跡され、応答トラフィックに対する明示的なセキュリティのリストルールなしで応答が自動的に許可される）またはステートレスであってもよい。

顧客ＶＣＮ（すなわち、ＶＣＮ１０４上に展開されたリソースまたは計算インスタンス）からのアクセスは、パブリックアクセス、プライベートアクセス、または専用アクセスとして分類され得る。パブリックアクセスは、パブリックＩＰアドレスまたはＮＡＴを用いてパブリックエンドポイントにアクセスするためのアクセスモデルを指す。プライベートアクセスは、プライベートＩＰアドレス（例えば、プライベートサブネット内のリソース）を持つＶＣＮ１０４内の顧客ワークロードが、インターネットなどのパブリックネットワークを経由することなく、サービスにアクセスすることを可能にする。特定の実施形態において、ＣＳＰＩ１０１は、プライベートＩＰアドレスを持つ顧客ＶＣＮワークロードが、サービスゲートウェイを使用して、サービス（のパブリックサービスエンドポイント）にアクセスすることを可能にする。したがって、サービスゲートウェイは、顧客ＶＣＮと顧客のプライベートネットワークの外部に存在するサービスのパブリックエンドポイントとの間に仮想リンクを確立することによって、プライベートアクセスモデルを提供する。

さらに、ＣＳＰＩは、FastConnectパブリックピアリングなどの技術を使用する専用パブリックアクセスを提供し得る。この場合、顧客オンプレミスインスタンスは、インターネットなどのパブリックネットワークを経由することなく、FastConnect接続を用いて顧客ＶＣＮ内の１つ以上のサービスにアクセスすることができる。また、ＣＳＰＩは、FastConnectプライベートピアリングを使用する専用プライベートアクセスを提供してもよい。この場合、プライベートＩＰアドレスを持つ顧客オンプレミスインスタンスは、FastConnect接続を用いて顧客のＶＣＮワークロードにアクセスすることができる。FastConnectは、パブリックインターネットを用いて顧客オンプレミスネットワークをＣＳＰＩおよびそのサービスに接続する代わりとなるネットワーク接続である。FastConnectは、インターネットベースの接続と比較して、より高い帯域幅オプションと信頼性の高い一貫したネットワーキング体験を伴う専用のプライベート接続を、簡単、柔軟且つ経済的に作成する方法を提供する。

図１および上記の説明は、例示的な仮想ネットワークにおける様々な仮想化コンポーネントを説明する。上述したように、仮想ネットワークは、基礎となる物理ネットワークまたは基板ネットワーク上に構築される。図２は、特定の実施形態に従った、仮想ネットワークの基盤を提供するＣＳＰＩ２００内の物理ネットワーク内の物理的コンポーネントを示す簡略化アーキテクチャ図である。図示のように、ＣＳＰＩ２００は、クラウドサービスプロバイダ（ＣＳＰ）によって提供されたコンポーネントおよびリソース（例えば、計算リソース、メモリリソース、およびネットワーキングリソース）を含む分散環境を提供する。これらのコンポーネントおよびリソースは、加入している顧客、すなわち、ＣＳＰによって提供される１つ以上のサービスに加入している顧客にクラウドサービス（例えば、ＩａａＳサービス）を提供するために使用される。顧客が加入しているサービスに基づいて、ＣＳＰＩ２００は、一部のリソース（例えば、計算リソース、メモリリソース、およびネットワーキングリソース）を顧客に提供する。その後、顧客は、ＣＳＰＩ２００によって提供された物理的な計算リソース、メモリリソース、およびネットワーキングリソースを使用して、独自のクラウドベースの（すなわち、ＣＳＰＩホスト型）カスタマイズ可能なプライベート仮想ネットワークを構築することができる。前述したように、これらの顧客ネットワークは、仮想クラウドネットワーク（ＶＣＮ）と呼ばれる。顧客は、これらの顧客ＶＣＮに、計算インスタンスなどの１つ以上の顧客リソースを展開することができる。計算インスタンスは、仮想マシン、ベアメタルインスタンスなどであってもよい。ＣＳＰＩ２００は、顧客が高可用性のホスト環境において広範なアプリケーションおよびサービスを構築および実行することを可能にする、インフラストラクチャおよび一連の補完的なクラウドサービスを提供する。

図２に示す例示的な実施形態において、ＣＳＰＩ２００の物理的コンポーネントは、１つ以上の物理ホストマシンまたは物理サーバ（例えば、２０２、２０６、２０８）、ネットワーク仮想化デバイス（ＮＶＤ）（例えば、２１０、２１２）、トップオブラック（ＴＯＲ）スイッチ（例えば、２１４、２１６）、物理ネットワーク（例えば、２１８）、および物理ネットワーク２１８内のスイッチを含む。物理ホストマシンまたはサーバは、ＶＣＮの１つ以上のサブネットに参加している様々な計算インスタンスをホストするとともに実行し得る。計算インスタンスは、仮想マシンインスタンスおよびベアメタルインスタンスを含んでもよい。例えば、図１に示された様々な計算インスタンスは、図２に示された物理的ホストマシンによってホストされてもよい。ＶＣＮ内の仮想マシン計算インスタンスは、１つのホストマシンによって実行されてもよく、または複数の異なるホストマシンによって実行されてもよい。また、物理ホストマシンは、仮想ホストマシン、コンテナベースのホストまたは機能などをホストしてもよい。図１に示されたＶＮＩＣおよびＶＣＮ ＶＲは、図２に示されたＮＶＤによって実行されてもよい。図１に示されたゲートウェイは、図２に示されたホストマシンおよび／またはＮＶＤによって実行されてもよい。

ホストマシンまたはサーバは、ホストマシン上で仮想化環境を作成するするとともに可能にするハイパーバイザ（仮想マシンモニタまたはＶＭＭとも呼ばれる）を実行し得る。仮想化または仮想化環境は、クラウドベースコンピューティングを容易にする。１つ以上の計算インスタンスは、ホストマシン上のハイパーバイザによって、ホストマシン上で作成され、実行され、管理されてもよい。ホストマシン上のハイパーバイザは、ホストマシンの物理的な計算リソース（例えば、計算リソース、メモリリソース、およびネットワーキングリソース）をホストマシンによって実行される様々な計算インスタンス間で共有させることができる。

例えば、図２に示すように、ホストマシン２０２および２０８は、ハイパーバイザ２６０および２６６をそれぞれ実行する。これらのハイパーバイザは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの組合わせを使用して実装されてもよい。典型的には、ハイパーバイザは、ホストマシンのオペレーティングシステム（ＯＳ）に常駐するプロセスまたはソフトウェア層であり、ＯＳは、ホストマシンのハードウェアプロセッサ上で実行される。ハイパーバイザは、ホストマシンの物理的な計算リソース（例えば、プロセッサ／コア、メモリリソース、ネットワーキングリソースなどの処理リソース）を、ホストマシンによって実行される様々な仮想マシン計算インスタンスの間で共有することを可能にする仮想化環境を提供する。例えば、図２において、ハイパーバイザ２６０は、ホストマシン２０２のＯＳに常駐してもよく、ホストマシン２０２の計算リソース（例えば、処理リソース、メモリリソース、およびネットワーキングリソース）を、ホストマシン２０２によって実行される計算インスタンス（例えば、仮想マシン）間で共有させることができる。仮想マシンは、独自のオペレーティングシステム（ゲストオペレーティングシステムと呼ばれる）を有することができる。このゲストオペレーティングシステムは、ホストマシンのＯＳと同じであってもよく、異なってもよい。ホストマシンによって実行される仮想マシンのオペレーティングシステムは、同じホストマシンによって実行される他の仮想マシンのオペレーティングシステムと同じであってもよく、異なってもよい。したがって、ハイパーバイザは、ホストマシンの同じ計算リソースを共有させながら、複数のオペレーティングシステムを並行して実行することができる。図２に示されたホストマシンは、同じ種類のハイパーバイザを有してもよく、異なる種類のハイパーバイザを有してもよい。

計算インスタンスは、仮想マシンインスタンスまたはベアメタルインスタンスであってもよい。図２において、ホストマシン２０２上の計算インスタンス２６８およびホストマシン２０８上の計算インスタンス２７４は、仮想マシンインスタンスの一例である。ホストマシン２０６は、顧客に提供されるベアメタルインスタンスの一例である。

特定の例において、ホストマシンの全体は、単一の顧客に提供されてもよく、そのホストマシンによってホストされている１つ以上の計算インスタンス（仮想マシンまたはベアメタルインスタンスのいずれか）は、全て同じ顧客に属してもよい。他の例において、ホストマシンは、複数の顧客（すなわち、複数のテナント）間で共有されてもよい。このようなマルチテナントシナリオにおいて、ホストマシンは、異なる顧客に属する仮想マシン計算インスタンスをホストし得る。これらの計算インスタンスは、異なる顧客の異なるＶＣＮのメンバであってもよい。特定の実施形態において、ベアメタル計算インスタンスは、ハイパーバイザを設けていないベアメタルサーバによってホストされている。ベアメタル計算インスタンスが提供される場合、単一の顧客またはテナントは、ベアメタルインスタンスをホストするホストマシンの物理ＣＰＵ、メモリ、およびネットワークインターフェイスの制御を維持し、ホストマシンは、他の顧客またはテナントに共有されない。

前述したように、ＶＣＮの一部である各計算インスタンスは、計算インスタンスがＶＣＮのサブネットのメンバになることを可能にするＶＮＩＣに関連付けられる。計算インスタンスに関連付けられたＶＮＩＣは、計算インスタンスとの間のパケットまたはフレームの通信を容易にする。ＶＮＩＣは、計算インスタンスが作成されるときに当該計算インスタンスに関連付けられる。特定の実施形態において、ホストマシンによって実行される計算インスタンスについて、その計算インスタンスに関連付けられたＶＮＩＣは、ホストマシンに接続されたＮＶＤによって実行される。例えば、図２において、ホストマシン２０２は、ＶＮＩＣ２７６に関連付けられた仮想マシン計算インスタンス２６８を実行し、ＶＮＩＣ２７６は、ホストマシン２０２に接続されたＮＶＤ２１０によって実行される。別の例として、ホストマシン２０６によってホストされているベアメタルインスタンス２７２は、ホストマシン２０６に接続されたＮＶＤ２１２によって実行されるＶＮＩＣ２８０に関連付けられる。さらに別の例として、ＶＮＩＣ２８４は、ホストマシン２０８によって実行される計算インスタンス２７４に関連付けられ、ＶＮＩＣ２８４は、ホストマシン２０８に接続されているＮＶＤ２１２によって実行される。

ホストマシンによってホストされている計算インスタンスについて、そのホストマシンに接続されたＮＶＤは、計算インスタンスがメンバであるＶＣＮに対応するＶＣＮ ＶＲを実行する。例えば、図２に示された実施形態において、ＮＶＤ２１０は、計算インスタンス２６８がメンバであるＶＣＮに対応するＶＣＮ ＶＲ２７７を実行する。また、ＮＶＤ２１２は、ホストマシン２０６および２０８によってホストされている計算インスタンスに対応するＶＣＮに対応する１つ以上のＶＣＮ ＶＲ２８３を実行し得る。

ホストマシンは、当該ホストマシンを他のデバイスに接続することを可能にする１つ以上のネットワークインターフェイスカード（ＮＩＣ）を含み得る。ホストマシン上のＮＩＣは、ホストマシンを別の装置に通信可能に接続することを可能にする１つ以上のポート（またはインターフェイス）を提供し得る。例えば、ホストマシンおよびＮＶＤに設けられた１つ以上のポート（またはインターフェイス）を用いて、当該ホストマシンを当該ＮＶＤに接続してもよい。また、ホストマシンを他のホストマシンなどの他のデバイスに接続してもよい。

例えば、図２において、ホストマシン２０２は、ホストマシン２０２のＮＩＣ２３２によって提供されるポート２３４とＮＶＤ２１０のポート２３６との間に延在するリンク２２０を使用してＮＶＤ２１０に接続されている。ホストマシン２０６は、ホストマシン２０６のＮＩＣ２４４によって提供されるポート２４６とＮＶＤ２１２のポート２４８との間に延在するリンク２２４を使用してＮＶＤ２１２に接続されている。ホストマシン２０８は、ホストマシン２０８のＮＩＣ２５０によって提供されるポート２５２とＮＶＤ２１２のポート２５４との間に延在するリンク２２６を使用してＮＶＤ２１２に接続されている。

同様に、ＮＶＤは、通信リンクを介して、（スイッチファブリックとも呼ばれる）物理ネットワーク２１８に接続されているトップオブラック（ＴＯＲ）スイッチに接続されている。特定の実施形態において、ホストマシンとＮＶＤとの間のリンクおよびＮＶＤとＴＯＲスイッチとの間のリンクは、イーサネット（登録商標）リンクである。例えば、図２において、ＮＶＤ２１０および２１２は、リンク２２８および２３０を介して、ＴＯＲスイッチ２１４および２１６にそれぞれ接続される。特定の実施形態において、リンク２２０、２２４、２２６、２２８、および２３０は、イーサネット（登録商標）リンクである。ＴＯＲに接続されているホストマシンおよびＮＶＤの集合体は、ラックと呼ばれることがある。

物理ネットワーク２１８は、ＴＯＲスイッチの相互通信を可能にする通信ファブリックを提供する。物理ネットワーク２１８は、多層ネットワークであってもよい。特定の実装形態において、物理ネットワーク２１８は、スイッチの多層Ｃｌｏｓネットワークであり、ＴＯＲスイッチ２１４および２１６は、多層およびマルチノード物理スイッチングネットワーク２１８のリーフレベルノードを表わす。２層ネットワーク、３層ネットワーク、４層ネットワーク、５層ネットワーク、および一般に「ｎ」層ネットワークを含むがこれらに限定されない異なるＣｌｏｓネットワーク構成が実現可能である。Ｃｌｏｓネットワークの一例は、図５に示され、以下に説明される。

ホストマシンとＶＤとの間には、１対１構成、多対１構成、および１対多構成などの様々な異なる接続構成が可能である。１対１構成の実装例において、各ホストマシンは、それ自体の別個のＮＶＤに接続されている。例えば、図２において、ホストマシン２０２は、ホストマシン２０２のＮＩＣ２３２を介してＮＶＤ２１０に接続されている。多対１の構成において、複数のホストマシンは、１つのＮＶＤに接続されている。例えば、図２において、ホストマシン２０６および２０８は、それぞれＮＩＣ２４４および２５０を介して同じＮＶＤ２１２に接続されている。

１対多の構成において、１つのホストマシンは、複数のＮＶＤに接続されている。図３は、ホストマシンが複数のＮＶＤに接続されているＣＳＰＩ３００内の一例を示す。図３に示すように、ホストマシン３０２は、複数のポート３０６および３０Ｓを含むネットワークインターフェイスカード（ＮＩＣ）３０４を備える。ホストマシン３００は、ポート３０６およびリンク３２０を介して第１のＮＶＤ３１０に接続され、ポート３０８およびリンク３２２を介して第２のＮＶＤ３１２に接続されている。ポート３０６および３０８は、イーサネット（登録商標）ポートであってもよく、ホストマシン３０２とＮＶＤ３１０および３１２との間のリンク３２０および３２２は、イーサネット（登録商標）リンクであってもよい。ＮＶＤ３１０は、第１のＴＯＲスイッチ３１４に接続され、ＮＶＤ３１２は、第２のＴＯＲスイッチ３１６に接続されている。ＮＶＤ３１０および３１２とＴＯＲスイッチ３１４および３１６との間のリンクは、イーサネット（登録商標）リンクであってもよい。ＴＯＲスイッチ３１４および３１６は、多層物理ネットワーク３１８内の層－０スイッチング装置を表わす。

図３に示す構成は、物理スイッチネットワーク３１８からホストマシン３０２への２つの別々の物理ネットワーク経路、すなわち、ＴＯＲスイッチ３１４からＮＶＤ３１０を経由してホストマシン３０２に至る第１の経路と、ＴＯＲスイッチ３１６からＮＶＤ３１２を経由してホストマシン３０２に至る第２の経路とを提供する。別々の経路は、ホストマシン３０２の強化された可用性（高可用性と呼ばれる）を提供する。経路の一方に問題がある（例えば、経路の一方のリンクが故障する）場合またはデバイスに問題がある（例えば、特定のＮＶＤが機能していない）場合、ホストマシン３０２との間の通信に他方の経路を使用してもよい。

図３に示された構成において、ホストマシンは、ホストマシンのＮＩＣによって提供された２つの異なるポートを用いて２つの異なるＮＶＤに接続されている。他の実施形態において、ホストマシンは、ホストマシンと複数のＮＶＤとの接続を可能にする複数のＮＩＣを含んでもよい。

再び図２を参照して、ＮＶＤは、１つ以上のネットワーク仮想化機能および／またはストレージ仮想化機能を実行する物理デバイスまたはコンポーネントである。ＮＶＤは、１つ以上の処理ユニット（例えば、ＣＰＵ、ネットワーク処理ユニット（ＮＰＵ）、ＦＰＧＡ、パケット処理パイプライン）、キャッシュを含むメモリ、およびポートを有する任意のデバイスであり得る。様々な仮想化機能は、ＮＶＤの１つ以上の処理ユニットによって実行されるソフトウェア／ファームウェアによって実行されてもよい。

ＮＶＤは、様々な異なる形で実装されてもよい。例えば、特定の実施形態において、ＮＶＤは、内蔵プロセッサを搭載したスマートＮＩＣまたはインテリジェントＮＩＣと呼ばれるインターフェイスカードとして実装される。スマートＮＩＣは、ホストマシン上のＮＩＣとは別個のデバイスである。図２において、ＮＶＤ２１０は、ホストマシン２０２に接続されているスマートＮＩＣとして実装されてもよく、ＮＶＤ２１２は、ホストマシン２０６および２０８に接続されているスマートＮＩＣとして実装されてもよい。

しかしながら、スマートＮＩＣは、ＮＶＤ実装の一例にすぎない。様々な他の実装が可能である。例えば、いくつかの他の実装例において、ＮＶＤまたはＮＶＤによって実行される１つ以上の機能は、ＣＳＰＩ２００の１つ以上のホストマシン、１つ以上のＴＯＲスイッチ、および他のコンポーネントに組み込まれてもよく、またはそれらによって実行されてもよい。例えば、ＮＶＤは、ホストマシンに統合されてもよい。この場合、ＮＶＤによって実行される機能は、ホストマシンによって実行される。別の例として、ＮＶＤは、ＴＯＲスイッチの一部であってもよく、またはＴＯＲスイッチは、ＴＯＲスイッチがパブリッククラウドに使用される様々な複雑なパケット変換を実行することを可能にするＮＶＤによって実行される機能を実行するように構成されてもよい。ＮＶＤの機能を実行するＴＯＲは、スマートＴＯＲと呼ばれることがある。ベアメタル（ＢＭ）インスタンスではなく仮想マシン（ＶＭ）インスタンスを顧客に提供するさらに他の実装形態において、ＮＶＤによって提供される機能は、ホストマシンのハイパーバイザの内部に実装されてもよい。いくつかの他の実装形態において、ＮＶＤの機能の一部は、一組のホストマシン上で動作する集中型サービスにオフロードされてもよい。

図２に示すように、スマートＮＩＣとして実装される場合などの特定の実施形態において、ＮＶＤは、当該ＮＶＤを１つ以上のホストマシンおよび１つ以上のＴＯＲスイッチに接続することを可能にする複数の物理ポートを備えてもよい。ＮＶＤ上のポートは、ホスト向きポート（「サウスポート」（south port）とも呼ばれる）またはネットワーク向きもしくはＴＯＲ向きポート（「ノースポート」（north port）とも呼ばれる）に分類することができる。ＮＶＤのホスト向きポートは、ＮＶＤをホストマシンに接続するために使用されるポートである。図２においてホスト向きポートの例は、ＮＶＤ２１０のポート２３６、およびＮＶＤ２１２のポート２４８および２５４を含む。ＮＶＤのネットワーク向きポートは、ＮＶＤをＴＯＲスイッチに接続するために使用されるポートである。図２のネットワーク向きポートの例は、ＮＶＤ２１０のポート２５６、およびＮＶＤ２１２のポート２５８を含む。図２に示すように、ＮＶＤ２１０は、ＮＶＤ２１０のポート２５６からＴＯＲスイッチ２１４まで延びるリンク２２８を用いてＴＯＲスイッチ２１４に接続されている。同様に、ＮＶＤ２１２は、ＮＶＤ２１２のポート２５８からＴＯＲスイッチ２１６まで延びるリンク２３０を用いてＴＯＲスイッチ２１６に接続されている。

ＮＶＤは、ホスト向きポートを介して、ホストマシンからパケットおよびフレーム（例えば、ホストマシンによってホストされている計算インスタンスによって生成されたパケットおよびフレーム）を受信し、必要なパケット処理を実行した後、ＮＶＤのネットワーク向きポートを介してパケットおよびフレームをＴＯＲスイッチに転送し得る。ＮＶＤは、ＮＶＤのネットワーク向きポートを介してＴＯＲスイッチからパケットおよびフレームを受信し、必要なパケット処理を実行した後、ＮＶＤのホスト向きポートを介してパケットおよびフレームをホストマシンに転送し得る。

特定の実施形態において、ＮＶＤとＴＯＲスイッチとの間に複数のポートおよび関連するリンクを設けてもよい。これらのポートおよびリンクを集約することによって、複数のポートまたはリンクのリンクアグリゲータグループ（ＬＡＧ（link aggregator group）と称される）が形成され得る。リンクの集約は、２つのエンドポイント間（例えば、ＮＶＤとＴＯＲスイッチとの間）の複数の物理リンクを単一の論理リンクとして扱うことを可能にする。所定のＬＡＧ内の全ての物理リンクは、同じ速度で全二重モードで動作し得る。ＬＡＧは、２つのエンドポイント間の接続の帯域幅および信頼性を高めるのに役立つ。ＬＡＧ内の物理リンクのうちの１つが故障した場合、トラフィックは、ＬＡＧ内の別の物理リンクに動的かつ透過的に再割当てされる。集約された物理リンクは、個々のリンクよりも高い帯域幅を提供する。ＬＡＧに関連付けられた複数のポートは、単一の論理ポートとして扱われる。トラフィックをＬＡＧの複数の物理リンクに負荷分散することができる。２つのエンドポイント間に１つ以上のＬＡＧが構成されてもよい。２つのエンドポイントは、例えば、ＮＶＤとＴＯＲスイッチとの間にあってもよく、ホストマシンとＮＶＤとの間にあってもよい。

ＮＶＤは、ネットワーク仮想化機能を実装または実行する。これらの機能は、ＮＶＤによって実行されるソフトウェア／ファームウェアによって実行される。ネットワーク仮想化機能の例は、限定されないが、パケットのカプセル化およびカプセル化解除機能、ＶＣＮネットワークを作成するための機能、ＶＣＮセキュリティリスト（ファイアウォール）機能などのネットワークポリシーを実装するための機能、ＶＣＮ内の計算インスタンスとの間のパケットのルーティングおよび転送を容易にするための機能などを含む。特定の実施形態において、パケットを受信すると、ＮＶＤは、パケットを処理し、パケットをどのように転送またはルーティングするかを判断するためのパケット処理パイプラインを実行するように構成されている。このパケット処理パイプラインの一部として、ＮＶＤは、ＶＣＮ内の計算インスタンスに関連するＶＮＩＣの実行、ＶＣＮに関連する仮想ルータ（ＶＲ）の実行、仮想ネットワーク内の転送またはルーティングを容易にするためのパケットのカプセル化およびカプセル解除、特定のゲートウェイ（例えば、ローカルピアリングゲートウェイ）の実行、セキュリティリストの実装、ネットワークセキュリティグループ、ネットワークアドレス変換（ＮＡＴ）機能（例えば、ホスト毎にパブリックＩＰからプライベートＩＰへの変換）、スロットリング機能、および他の機能を提供する。

いくつかの実施形態において、ＮＶＤにおけるパケット処理データ経路は、複数のパケットパイプラインを含んでもよい。各々のパケットパイプラインは、一連のパケット変換ステージから構成される。いくつかの実装形態において、パケットを受信すると、当該パケットは、解析され、単一のパイプラインに分類される。次いで、パケットは、破棄されるまたはＮＶＤのインターフェイスを介して送出されるまで、線形方式でステージ毎に処理される。これらのステージは、基本機能のパケット処理構築ブロック（例えば、ヘッダの検証、スロットルの実行、新しいレイヤ２ヘッダの挿入、Ｌ４ファイアウォールの実行、ＶＣＮカプセル化／カプセル解除）を提供し、その結果、既存のステージを組み立てることによって新しいパイプラインを構築することができ、新しいステージを作成して既存のパイプラインに挿入することによって新しい機能を追加することができる。

ＮＶＤは、ＶＣＮの制御プレーンおよびデータプレーンに対応する制御プレーン機能およびデータプレーン機能の両方を実行し得る。ＶＣＮ制御プレーンの例は、図１２、１３、１４、および１５（参照番号１２１６、１３１６、１４１６、および１５１６参照）に示され、以下に説明される。ＶＣＮデータプレーンの例は、図１２、１３、１４、および１５（参照番号１２１８、１３１８、１４１８、および１５１８参照）に示され、以下に説明される。制御プレーン機能は、データをどのように転送するかを制御するネットワークを構成する（例えば、ルートおよびルートテーブルを設定する、ＶＮＩＣを構成する）ために使用される機能を含む。特定の実施形態において、全てのオーバーレイと基板とのマッピングを集中的に計算し、ＮＶＤおよび仮想ネットワークエッジデバイス（例えば、ＤＲＧ、ＳＧＷ、ＩＧＷなどの様々なゲートウェイ）に公開するＶＣＮ制御プレーンが提供される。また、同じメカニズムを使用してファイアウォールルールを公開してもよい。特定の実施形態において、ＮＶＤは、当該ＮＶＤに関連するマッピングのみを取得する。データプレーン機能は、制御プレーンを使用して設定された構成に基づいて、パケットの実際のルーティング／転送を行う機能を含む。ＶＣＮデータプレーンは、顧客のネットワークパケットが基板ネットワークを通過する前に、当該ネットワークパケットをカプセル化することによって実装される。カプセル化／カプセル解除機能は、ＮＶＤ上で実装される。特定の実施形態において、ＮＶＤは、ホストマシンに出入りする全てのネットワークパケットを傍受し、ネットワーク仮想化機能を実行するように構成されている。

上述したように、ＮＶＤは、ＶＮＩＣおよびＶＣＮ ＶＲを含む様々な仮想化機能を実行する。ＮＶＤは、ＶＮＩＣに接続された１つ以上のホストマシンによってホストされている計算インスタンスに関連するＶＮＩＣを実行し得る。例えば、図２に示すように、ＮＶＤ２１０は、ＮＶＤ２１０に接続されたホストマシン２０２によってホストされている計算インスタンス２６８に関連するＶＮＩＣ２７６の機能を実行する。別の例として、ＮＶＤ２１２は、ホストマシン２０６によってホストされているベアメタル計算インスタンス２７２に関連するＶＮＩＣ２８０を実行し、ホストマシン２０８によってホストされている計算インスタンス２７４に関連するＶＮＩＣ２８４を実行する。ホストマシンは、異なる顧客に属する異なるＶＣＮに属する計算インスタンスをホストし得る。ホストマシンに接続されたＮＶＤは、計算インスタンスに対応するＶＮＩＣを実行（すなわち、ＶＮＩＣ関連の機能を実行）し得る。

また、ＮＶＤは、計算インスタンスのＶＣＮに対応するＶＣＮ仮想ルータを実行する。例えば、図２に示された実施形態において、ＮＶＤ２１０は、計算インスタンス２６８が属するＶＣＮに対応するＶＣＮ ＶＲ２７７を実行する。ＮＶＤ２１２は、ホストマシン２０６および２０８にホストされている計算インスタンスが属する１つ以上のＶＣＮに対応する１つ以上のＶＣＮ ＶＲ２８３を実行する。特定の実施形態において、ＶＣＮに対応するＶＣＮ ＶＲは、そのＶＣＮに属する少なくとも１つの計算インスタンスをホストするホストマシンに接続された全てのＮＶＤによって実行される。ホストマシンが異なるＶＣＮに属する計算インスタンスをホストする場合、そのホストマシンに接続されたＮＶＤは、異なるＶＣＮに対応するＶＣＮ ＶＲを実行し得る。

ＶＮＩＣおよびＶＣＮ ＶＲに加えて、ＮＶＤは、様々なソフトウェア（例えば、デーモン）を実行し、ＮＶＤによって実行される様々なネットワーク仮想化機能を容易にする１つ以上のハードウェアコンポーネントを含み得る。簡略化のために、これらの様々なコンポーネントは、図２に示す「パケット処理コンポーネント」としてグループ化される。例えば、ＮＶＤ２１０は、パケット処理コンポーネント２８６を含み、ＮＶＤ２１２は、パケット処理コンポーネント２８８を含む。例えば、ＮＶＤのパケット処理コンポーネントは、ＮＶＤのポートおよびハードウェアインターフェイスと相互作用することによって、ＮＶＤを使用して受信され、通信される全てのパケットを監視し、ネットワーク情報を記憶するように構成されたパケットプロセッサを含んでもよい。ネットワーク情報は、例えば、ＮＶＤによって処理される異なるネットワークフローを特定するためのネットワークフロー情報および各フローの情報（例えば、各フローの統計情報）を含んでもよい。特定の実施形態において、ネットワークフロー情報はＶＮＩＣ単位で記憶されてもよい。パケットプロセッサは、パケットごとの操作を実行し得るとともに、ステートフルＮＡＴおよびＬ４ファイアウォール（ＦＷ）を実装し得る。別の例として、パケット処理コンポーネントは、ＮＶＤによって記憶された情報を１つ以上の異なる複製ターゲットストアに複製するように構成された複製エージェント（replication agent）を含み得る。さらに別の例として、パケット処理コンポーネントは、ＮＶＤのロギング機能を実行するように構成されたロギングエージェント（logging agent）を含んでもよい。また、パケット処理コンポーネントは、ＮＶＤの性能および健全性を監視し、場合によっては、ＮＶＤに接続されている他のコンポーネントの状態および健全性を監視するためのソフトウェアを含んでもよい。

図１は、ＶＣＮと、ＶＣＮ内のサブネットと、サブネット上に展開された計算インスタンスと、計算インスタンスに関連付けられたＶＮＩＣと、ＶＣＮのＶＲと、ＶＣＮのために構成された一組のゲートウェイとを含む例示的な仮想ネットワークまたはオーバーレイネットワークのコンポーネントを示す。図１に示されたオーバーレイコンポーネントは、図２に示された物理的コンポーネントのうちの１つ以上によって実行またはホストされてもよい。例えば、ＶＣＮ内の計算インスタンスは、図２に示された１つ以上のホストマシンによって実行またはホストされてもよい。ホストマシンによってホストされている計算インスタンスの場合、その計算インスタンスに関連するＶＮＩＣは、典型的には、そのホストマシンに接続されたＮＶＤによって実行される（すなわち、ＶＮＩＣ機能は、そのホストマシンに接続されたＮＶＤによって提供される）。ＶＣＮのＶＣＮ ＶＲ機能は、そのＶＣＮの一部である計算インスタンスをホストまたは実行するホストマシンに接続されている全てのＮＶＤによって実行される。ＶＣＮに関連するゲートウェイは、１つ以上の異なる種類のＮＶＤによって実行されてもよい。例えば、いくつかのゲートウェイは、スマートＮＩＣによって実行されてもよく、他のゲートウェイは、１つ以上のホストマシンまたはＮＶＤの他の実装形態によって実行されてもよい。

上述したように、顧客ＶＣＮ内の計算インスタンスは、様々な異なるエンドポイントと通信し得る。これらのエンドポイントは、ソース計算インスタンスと同じサブネット内にあってもよく、異なるサブネット内であるがソース計算インスタンスと同じＶＣＮにあってもよく、またはソース計算インスタンスのＶＣＮ外部のエンドポイントを含んでもよい。これらの通信は、計算インスタンスに関連付けられたＶＮＩＣ、ＶＣＮ ＶＲ、およびＶＣＮに関連付けられたゲートウェイを用いて促進される。

ＶＣＮ内の同じサブネット上の２つの計算インスタンス間の通信は、ソース計算インスタンスおよび宛先計算インスタンスに関連付けられたＶＮＩＣを用いて促進される。ソース計算インスタンスおよび宛先計算インスタンスは、同じホストマシンによってホストされてもよく、異なるホストマシンによってホストされてもよい。ソース計算インスタンスから発信されたパケットは、ソース計算インスタンスをホストするホストマシンから、そのホストマシンに接続されたＮＶＤに転送されてもよい。ＮＶＤにおいて、パケットは、パケット処理パイプラインを用いて処理され、このパイプラインは、ソース計算インスタンスに関連するＶＮＩＣの実行を含み得る。パケットの宛先エンドポイントが同じサブネットにあるため、ソース計算インスタンスに関連付けられたＶＮＩＣの実行により、パケットは、宛先計算インスタンスに関連付けられたＶＮＩＣを実行するＮＶＤに転送され、ＮＶＤは、パケットを処理し、宛先計算インスタンスに転送する。ソース計算インスタンスおよび宛先計算インスタンスに関連するＶＮＩＣは、（例えば、ソース計算インスタンスおよび宛先計算インスタンスがともに同じホストマシンによってホストされている場合）同じＮＶＤ上で実行されてもよく、または（例えば、ソース計算インスタンスおよび宛先計算インスタンスが異なるＮＶＤに接続された異なるホストマシンによってホストされている場合）異なるＮＶＤ上で実行されてもよい。ＶＮＩＣは、ＮＶＤによって記憶されたルーティング／転送テーブルを使用して、パケットについてのネクストホップを決定してもよい。

サブネット内の計算インスタンスから同じＶＣＮ内の異なるサブネット内のエンドポイントにパケットを通信する場合、ソース計算インスタンスから発信されたパケットは、ソース計算インスタンスをホストするホストマシンから、そのホストマシンに接続されたＮＶＤに通信される。ＮＶＤにおいて、パケットは、１つ以上のＶＮＩＣの実行を含み得るパケット処理パイプラインおよびＶＣＮに関連するＶＲを用いて処理される。例えば、ＮＶＤは、パケット処理パイプラインの一部として、ソース計算インスタンスに関連するＶＮＩＣに対応する機能を実行または呼び出す（ＶＮＩＣを実行するとも称される）。ＶＮＩＣによって実行される機能は、パケット上のＶＬＡＮタグを調べることを含み得る。パケットの宛先がサブネットの外部にあるため、ＶＣＮ ＶＲ機能は、呼び出され、ＮＶＤによって実行される。その後、ＶＣＮ ＶＲは、パケットを、宛先計算インスタンスに関連付けられたＶＮＩＣを実行するＮＶＤにルーティングする。そして、宛先計算インスタンスに関連付けられたＶＮＩＣは、パケットを処理し、パケットを宛先計算インスタンスに転送する。ソース計算インスタンスおよび宛先計算インスタンスに関連するＶＮＩＣは、（例えば、ソース計算インスタンスおよび宛先計算インスタンスがともに同じホストマシンによってホストされている場合）同じＮＶＤ上で実行されてもよく、（例えば、ソース計算インスタンスおよび宛先計算インスタンスが異なるＮＶＤに接続された異なるホストマシンによってホストされている場合）異なるＮＶＤ上で実行されてもよい。

パケットの宛先がソース計算インスタンスのＶＣＮの外部にある場合、ソース計算インスタンスから発信されたパケットは、ソース計算インスタンスをホストするホストマシンから、そのホストマシンに接続されたＮＶＤに通信される。ＮＶＤは、ソース計算インスタンスに関連するＶＮＩＣを実行する。パケットの宛先エンドポイントがＶＣＮの外部にあるため、パケットは、そのＶＣＮのためのＶＣＮ ＶＲによって処理される。ＮＶＤは、ＶＣＮ ＶＲ機能を呼び出し、その結果、パケットは、ＶＣＮに関連付けられた適切なゲートウェイを実行するＮＶＤに転送される場合がある。例えば、宛先が顧客のオンプレミスネットワーク内のエンドポイントである場合、パケットは、ＶＣＮ ＶＲによって、ＶＣＮのために構成されたＤＲＧゲートウェイを実行するＮＶＤに転送されてもよい。ＶＣＮ ＶＲは、ソース計算インスタンスに関連するＶＮＩＣを実行するＮＶＤと同じＮＶＤ上で実行されてもよく、異なるＮＶＤによって実行されてもよい。ゲートウェイは、スマートＮＩＣ、ホストマシン、または他のＮＶＤ実装例であるＮＶＤによって実行されてもよい。次いで、パケットは、ゲートウェイによって処理され、意図した宛先エンドポイントへのパケットの通信を容易にするためのネクストホップに転送される。例えば、図２に示された実施形態において、計算インスタンス２６８から発信されたパケットは、（ＮＩＣ２３２を用いて）リンク２２０を介してホストマシン２０２からＮＶＤ２１０に通信されてもよい。ＮＶＤ２１０上のＶＮＩＣ２７６は、ソース計算インスタンス２６８に関連するＶＮＩＣであるため、呼び出される。ＶＮＩＣ２７６は、パケット内のカプセル化された情報を検査し、意図した宛先エンドポイントへのパケットの通信を容易にする目的でパケットを転送するためのネクストホップを決定し、決定したネクストホップにパケットを転送するように構成されている。

ＶＣＮ上に展開された計算インスタンスは、様々な異なるエンドポイントと通信することができる。これらのエンドポイントは、ＣＳＰＩ２００によってホストされているエンドポイントと、ＣＳＰＩ２００外部のエンドポイントとを含んでもよい。ＣＳＰＩ２００によってホストされているエンドポイントは、（顧客のＶＣＮ、または顧客に属さないＶＣＮであり得る）同じＶＣＮまたは他のＶＣＮ内のインスタンスを含んでもよい。ＣＳＰＩ２００によってホストされているエンドポイント間の通信は、物理ネットワーク２１８を介して実行されてもよい。また、計算インスタンスは、ＣＳＰＩ２００によってホストされていないかまたはＣＳＰＩ２００の外部にあるエンドポイントと通信してもよい。これらのエンドポイントの例は、顧客のオンプレミスネットワークまたはデータセンタ内のエンドポイント、またはインターネットなどのパブリックネットワークを介してアクセス可能なパブリックエンドポイントを含む。ＣＳＰＩ２００外部のエンドポイントとの通信は、様々な通信プロトコルを用いて、パブリックネットワーク（例えば、インターネット）（図２に図示せず）またはプライベートネットワーク（図２に図示せず）を介して実行されてもよい。

図２に示されたＣＳＰＩ２００のアーキテクチャは、単なる一例であり、限定することを意図していない。代替的な実施形態において、変形、代替、および修正が可能である。例えば、いくつかの実装形態において、ＣＳＰＩ２００は、図２に示されたものよりも多いまたは少ないシステムまたはコンポーネントを有してもよく、２つ以上のシステムを組合わせてもよく、または異なるシステム構成または配置を有してもよい。図２に示されたシステム、サブシステム、および他のコンポーネントは、それぞれのシステムの１つ以上の処理ユニット（例えば、プロセッサ、コア）によって実行されるソフトウェア（例えば、コード、命令、プログラム）、ハードウェア、またはそれらの組合わせを用いて実装されてもよい。ソフトウェアは、非一時的な記憶媒体（例えば、メモリ装置）に記憶されてもよい。

図４は、特定の実施形態に従った、マルチテナンシをサポートするためのＩ／Ｏ仮想化を提供するためのホストマシンとＮＶＤとの間の接続を示す。図４に示すように、ホストマシン４０２は、仮想化環境を提供するハイパーバイザ４０４を実行する。ホストマシン４０２は、２つの仮想マシンインスタンス、すなわち、顧客／テナント＃１に属するＶＭ１ ４０６と、顧客／テナント＃２に属するＶＭ２ ４０８とを実行する。ホストマシン４０２は、リンク４１４を介してＮＶＤ４１２に接続されている物理ＮＩＣ４１０を含む。計算インスタンスの各々は、ＮＶＤ４１２によって実行されるＶＮＩＣに接続されている。図４の実施形態において、ＶＭ１ ４０６は、ＶＮＩＣ－ＶＭ１ ４２０に接続され、ＶＭ２ ４０８は、ＶＮＩＣ－ＶＭ２ ４２２に接続されている。

図４に示すように、ＮＩＣ４１０は、２つの論理ＮＩＣ、すなわち、論理ＮＩＣ Ａ ４１６および論理ＮＩＣ Ｂ ４１８を含む。各仮想マシンは、それ自体の論理ＮＩＣに接続され、それ自体の論理ＮＩＣと共に動作するように構成される。例えば、ＶＭ１ ４０６は、論理ＮＩＣ Ａ ４１６に接続され、ＶＭ２ ４０８は、論理ＮＩＣ Ｂ ４１８に接続されている。ホストマシン４０２が複数のテナントによって共有されている１つの物理ＮＩＣ４１０のみからなるにもかかわらず、論理ＮＩＣにより、各テナントの仮想マシンは、それ自体のホストマシンおよびＮＩＣを所有していると信じている。

特定の実施形態において、各論理ＮＩＣには、それ自体のＶＬＡＮ ＩＤが割当てられる。したがって、テナント＃１の論理ＮＩＣ Ａ ４１６には特定のＶＬＡＮ ＩＤが割当てられ、テナント＃２の論理ＮＩＣ Ｂ ４１８には別のＶＬＡＮ ＩＤが割当てられる。ＶＭ１ ４０６からパケットが通信されると、ハイパーバイザは、テナント＃１に割当てられたタグをパケットに取り付けた後、リンク４１４を介してパケットをホストマシン４０２からＮＶＤ４１２に通信する。同様に、ＶＭ２ ４０８からパケットが通信されると、ハイパーバイザは、テナント＃２に割当てられたタグをパケットに取り付けた後、リンク４１４を介してパケットをホストマシン４０２からＮＶＤ４１２に通信する。したがって、ホストマシン４０２からＮＶＤ４１２に通信されたパケット４２４は、特定のテナントおよび関連するＶＭを識別する関連タグ４２６を有する。ＮＶＤ上でホストマシン４０２からパケット４２４を受信した場合、当該パケットに関連するタグ４２６を用いて、当該パケットがＶＮＩＣ－ＶＭ１ ４２０によって処理されるべきか、ＶＮＩＣ－ＶＭ２ ４２２によって処理されるべきかを判断する。そして、パケットは、対応するＶＮＩＣによって処理される。図４に示された構成は、各テナントの計算インスタンスが、それ自体のホストマシンおよびＮＩＣを所有していると信じることを可能にする。図４に示された設定は、マルチテナンシをサポートするためのＩ／Ｏ仮想化を提供する。

図５は、特定の実施形態に従った、物理ネットワーク５００を示す概略ブロック図である。図５に示された実施形態は、Ｃｌｏｓネットワークとして構築される。Ｃｌｏｓネットワークは、高い二分割帯域幅および最大リソース利用率を維持しながら、接続冗長性を提供するように設計された特定の種類のネットワークトポロジである。Ｃｌｏｓネットワークは、一種の非ブロッキング、多段または多層スイッチングネットワークであり、段または層の数は、２、３、４、５などであってもよい。図５に示された実施形態は、層１、層２および層３を含む３層ネットワークである。ＴＯＲスイッチ５０４は、Ｃｌｏｓネットワークの層－０スイッチを表わす。１つ以上のＮＶＤは、ＴＯＲスイッチに接続されている。層－０スイッチは、物理ネットワークのエッジデバイスとも呼ばれる。層－０スイッチは、リーフスイッチとも呼ばれる層－１スイッチに接続されている。図５に示された実施形態において、「ｎ」個の層－０ ＴＯＲスイッチは、「ｎ」個の層－１スイッチに接続され、ポッドを形成する。ポッド内の各層－０スイッチは、ポッド内の全ての層－１スイッチに相互接続されるが、ポッド間のスイッチは、接続されない。特定の実装例において、２つのポッドは、ブロックと呼ばれる。各ブロックは、「ｎ」個の層－２スイッチ（スパインスイッチとも呼ばれる）によってサービスを提供されるまたはそれに接続されている。物理ネットワークトポロジにはいくつかのブロックが存在し得る。同様に、層－２スイッチは、「ｎ」個の層－３スイッチ（スーパースパインスイッチとも呼ばれる）に接続されている。物理ネットワーク５００を介したパケットの通信は、典型的には、１つ以上のレイヤ３通信プロトコルを使用して実行される。典型的には、ＴＯＲ層を除く物理ネットワークの全ての層は、ｎウェイ冗長であり、したがって高い可用性を実現することができる。ポッドおよびブロックにポリシーを指定して、物理ネットワークのスイッチの相互可視性を制御することによって、物理ネットワークを拡張することができる。

Ｃｌｏｓネットワークの特徴は、ある層－０スイッチから別の層－０スイッチに到達する（または、層－０スイッチに接続されたＮＶＤから層－０スイッチに接続された別のＮＶＤに到達する）最大ホップカウントが一定であることである。例えば、３層のＣｌｏｓネットワークにおいて、パケットが１つのＮＶＤから別のＮＶＤに到達するために最大７つのホップが必要とされる。この場合、ソースＮＶＤおよびターゲットＮＶＤは、Ｃｌｏｓネットワークのリーフ層に接続されている。同様に、４層のＣｌｏｓネットワークにおいて、パケットが１つのＮＶＤから別のＮＶＤに到達するために最大９つのホップが必要とされる。この場合、ソースＮＶＤおよびターゲットＮＶＤは、Ｃｌｏｓネットワークのリーフ層に接続されている。したがって、Ｃｌｏｓネットワークアーキテクチャは、データセンタ内およびデータセンタ間の通信に重要なネットワーク全体の遅延を一定に保つ。Ｃｌｏｓトポロジは、水平方向に拡張可能であり、コスト効率に優れている。各階層により多くのスイッチ（例えば、より多くのリーフスイッチおよびスパインスイッチ）を増設すること、および隣接する階層のスイッチ間にリンク数を増やすことによって、ネットワークの帯域幅／スループット容量を容易に増加させることができる。

特定の実施形態において、ＣＳＰＩ内の各リソースには、クラウド識別子（Cloud Identifier：ＣＩＤ）と呼ばれる固有識別子が割当てられる。この識別子は、リソースの情報の一部として含まれる。この識別子を用いて、例えば、コンソールまたはＡＰＩを介してリソースを管理することができる。ＣＩＤの例示的なシンタックスは、以下の通りである。

ocid1.<RESOURCE TYPE>.<REALM>.[REGION].[FUTURE USE].<UNIQUE ID>である。
式中、
「ocid1」は、ＣＩＤのバージョンを示す文字列である。

「resource type」は、リソースの種類（例えば、インスタンス、ボリューム、ＶＣＮ、サブネット、ユーザ、グループ）を表わす。

「realm」は、リソースが存在する領域を表わす。例示的な値として、「ｃ１」は、商業領域を表し、「ｃ２」は、政府クラウド領域を表し、または「ｃ３」は、連邦政府クラウド領域を表わす。各領域は、独自のドメイン名を持ち得る。

「region」は、リソースが属する地域を表わす。地域がリソースに適用されない場合、この部分は空白であってもよい。

「future use」は、将来使用のために保留されていることを示す。
「unique id」は、固有ＩＤの部分である。このフォーマットは、リソースまたはサービスの種類によって異なる場合がある。

オーバーレイネットワークにおけるＩＰアドレスのスケーリング
本開示は、仮想化されたクラウドネットワーキング環境においてＩＰアドレスをスケーリングするための技術を提供する。特定の実施形態では、ＩＰアドレスは、ロードバランサを用いることなく、仮想化されたネットワーキング環境においてスケーリングされ、結果として、ロードバランサを用いることに関する様々な問題が回避される。

上述したように、ＩａａＳクラウドサービスプロバイダ（ＣＳＰ）によって提供されるクラウドサービスプロバイダインフラストラクチャ（ＣＳＰＩ）は、ＣＳＰの複数の顧客のための複数のオーバーレイネットワーク（仮想クラウドネットワークまたはＶＣＮとも称される）をホストするために使用され得る。ＣＳＰＩは、ホストマシン、ＮＶＤ、ルータ、スイッチ等の複数の物理ネットワークデバイスを備えた物理ネットワークを含む。物理ネットワーク内のネットワークデバイスに関連付けられたＩＰアドレスは物理ＩＰアドレスと称される。オーバーレイネットワーク（またはＶＣＮ）は、物理ネットワーク上で動作する論理ネットワークまたは仮想ネットワークである。物理ネットワークは、１つ以上のオーバーレイネットワークまたはＶＣＮをサポートすることができる。典型的には、オーバーレイネットワークは顧客固有のものであり、顧客ＶＣＮと呼ばれる。顧客は、顧客のＶＣＮ内に１つ以上の計算インスタンスおよび他のリソースを展開することができ、これらの計算インスタンスは仮想マシン、ベアメタルインスタンス等であり得る。オーバーレイＩＰアドレスは、顧客のＶＣＮに展開された計算インスタンス等の、オーバーレイネットワーク内の計算インスタンスおよび他のリソース（例えば、ロードバランサ）に関連付けられたＩＰアドレスである。２人の異なる顧客は、場合によっては、それぞれのＶＣＮにおいて同じオーバーレイＩＰアドレスを用いてもよい。

上述したように、特定の実装形態では、単一のオーバーレイＩＰアドレスは、単一のオーバーレイＩＰアドレスを複数の仮想ネットワークインターフェイスカード（ＶＮＩＣ）にアタッチするとともにＶＮＩＣを複数の計算インスタンスに関連付けることによって、複数の計算インスタンスに関連付けられてもよい。複数の計算インスタンスにアタッチされる重複したＩＰアドレスはマルチアタッチＩＰアドレスと呼ばれる。他のいくつかの実装形態では、オーバーレイＩＰアドレスをスケーリングするために、オーバーレイネットワークにおける等コストマルチパス（ＥＣＭＰ）技術が用いられる。マルチアタッチＩＰアドレス技術およびＥＣＭＰベース技術の両方について、以下においてより詳細に説明する。

マルチアタッチＩＰアドレス
単一のオーバーレイＩＰアドレスを複数の計算インスタンスにアタッチすることを可能にすることによってＩＰスケーリングを可能にする仮想化クラウドネットワークインフラストラクチャが提供される。これにより、ＩＰアドレスが、ロードバランサを用いることなく、複数の計算インスタンスにわたって水平にスケーリングされることが可能となる。新規なインフラストラクチャは、単一のマルチアタッチオーバーレイＩＰアドレスに向けられたトラフィックが、ロードバランサを用いることなく、単一のオーバーレイＩＰアドレスがアタッチされた複数のサーバ計算インスタンスにわたって分散されることを可能にする。

複数の計算インスタンスにアタッチされる重複したＩＰアドレスはマルチアタッチＩＰアドレスと呼ばれる。計算インスタンスに関連付けられたマルチアタッチＩＰアドレスを用いて、その計算インスタンスと通信することで、例えば、その計算インスタンスにパケットを送信したり、その計算インスタンスからパケットを受信したりすることができる。特定の実装形態では、オーバーレイＩＰアドレスは、オーバーレイＩＰアドレスを複数の仮想ネットワークインターフェイスカード（ＶＮＩＣ）にアタッチするとともにＶＮＩＣを複数の計算インスタンスに関連付けることによって、複数の計算インスタンスにアタッチすることができる。次いで、マルチアタッチＩＰアドレスに向けられたトラフィックは、ロードバランサを用いることなく、複数の計算インスタンスにわたって分散される。

マルチアタッチＩＰアドレスを要する処理は、ステートフルモードまたはステートレスモードで実行することができる。図６Ａは、ステートフルモード処理を用いてマルチアタッチＩＰアドレスを用いるオーバーレイＩＰアドレスのスケーリングを実装する分散型クラウド環境を示す。図７Ａおよび図７Ｂは、ステートフル処理を用いてマルチアタッチＩＰアドレスをスケーリングするために実行される処理を示すフローチャートを示す。図６Ｂは、ステートレスモードでマルチアタッチＩＰアドレスを用いてオーバーレイＩＰアドレスのスケーリングを実装する分散型クラウド環境を示す。図８は、いくつかの実施形態に従った、ステートレスモード処理を用いてマルチアタッチＩＰアドレスを用いるオーバーレイＩＰアドレスをスケーリングするための処理を示すフローチャートである。

図６Ａは、特定の実施形態に従った、クラウドサービスプロバイダ（ＣＳＰ）によって提供されるＣＳＰＩによってホストされ得るとともに、ロードバランサを用いることなくステートフルモード処理においてマルチアタッチＩＰアドレスを用いてオーバーレイＩＰアドレスのスケーリングを可能にする、分散型仮想化マルチテナントクラウド環境６００の一例を示す。分散環境６００は、物理ネットワーク（基板ネットワーク）またはスイッチファブリック６１０を介して通信可能に結合される複数のシステムを含む。物理ネットワーク６１０は、レイヤ３通信プロトコル等のプロトコルを用いる通信を可能にする複数のスイッチ、ルータ等の複数のネットワーキングデバイスを備え得る。いくつかの実装形態では、物理ネットワーク６１０は、図５に示し上述したようなｎ層のＣｌｏｓネットワークであり得る。「ｎ」の値は、実装形態に応じて１、２、３などであり得る。

図６Ａに示される分散環境６００は単なる一例であり、特許請求される実施形態の範囲を過度に限定することを意図するものではない。多くの変形例、代替例および変更例が実現可能である。例えば、いくつかの実装形態では、分散環境６００は、図６Ａに示すよりも多いかまたは少ないシステムまたはコンポーネントを有し得るか、２つ以上のシステムを組合わせ得るか、または異なる構成もしくは配置のシステムを有し得る。図６Ａに示すシステム、サブシステム、および他のコンポーネントは、ハードウェアまたはそれらの組合せを用いて、それぞれのシステムの１つ以上の処理ユニット（例えば、プロセッサ、コア）によって実行されるソフトウェア（例えば、コード、命令、プログラム）で実装され得る。ソフトウェアは、非一時的な記憶媒体上に（例えば、メモリデバイス上に）記憶され得る。

図６Ａに示す様々なコンポーネントにはＩＰアドレスが関連付けられており、これらのＩＰアドレスは、コンポーネントに応じて物理ＩＰアドレスまたはオーバーレイＩＰアドレスであり得る。図中、「Ｐ＿ＩＰ」は物理ＩＰアドレスを示すのに用いられ、「０＿ＩＰ」はオーバーレイＩＰアドレスを示すのに用いられる。これらのＩＰアドレスは、ＩＰｖ４アドレス（３２ビットアドレス）、ＩＰｖ６アドレス（１２８ビットアドレス）、または他のタイプのＩＰアドレスであり得る。いくつかの実施形態では、ＩＰアドレスは、ＣＩＤＲ（Classless Inter-Domain Routing）ＩＰアドレスフォーマットで表わされることもある。ＣＩＤＲアドレスは、フォーマット「Ｘ／Ｙ」で書かれた２つの番号で構成されており、この場合、プレフィックス「Ｘ」はＩＰｖ４アドレス（例えば、１０．１０．１０．１）であり、サフィックス「Ｙ」（例えば、／１２）は、アドレスのどの部分（何ビット）がネットワークに割当てられ、ネットワークルーティングのために重要であると考えられるかを示す。例えば、１９２．１８．０．０／２３は、２３ビットがネットワーク部分のために用いられることを示す。

使用事例として、ＣＳＰＩの顧客は、特定のＩＰアドレスエンドポイントを用いてクライアントによってアクセス可能なサービス（例えば、クラウドサービス）を提供し得る。図６Ａに示す例では、サービスはオーバーレイＩＰアドレス「Ｂ」を用いてアクセス可能になると仮定する。オーバーレイＩＰアドレス「Ｂ」は、ＩＰｖ４アドレス、ＩＰｖ６アドレス、または他のタイプのＩＰアドレスであり得る。例えば、ＩＰアドレスＢは「１０．１０．１０．１」であってもよい。

図６Ａに示すように、顧客は、クラウドサービスをスケーリングおよび実装するための複数の計算インスタンス６０２－１～６０２－Ｎを提供してきた。計算インスタンス６０２－１～６０２－Ｎにおける計算インスタンスは、仮想マシン計算インスタンスまたはベアメタル計算インスタンスであり得る。同じ単一のオーバーレイＩＰアドレス「Ｂ」が、複数のサーバ計算インスタンス６０２－１～６０２－Ｎの各々に関連付けられるかまたはアタッチされる。同じ単一のオーバーレイＩＰアドレス「Ｂ」がサービスを提供する複数の計算インスタンスにアタッチされることを可能にすることにより、単一のＩＰアドレスが複数のサービス計算インスタンスにわたってスケーリングされる。

図６Ａおよび以下の説明では、計算インスタンス６０２－１～６０２－Ｎをサーバ計算インスタンスと称するが、これは限定することを意図するものではない。計算インスタンスは、クライアントからの要求に応答するときにサーバとして機能し得る。同じ計算インスタンスはまた、別の計算インスタンスに要求を送信する際にクライアントとして機能し得る。計算インスタンス６０２－１～６０２－Ｎは、本開示で説明する教示の説明を簡略化するためにサーバ計算インスタンスと称される。

単一のオーバーレイＩＰアドレスを複数のサーバ計算インスタンスにアタッチすることを可能にする様々な方法がある。上述したように、計算インスタンスは、計算インスタンスのために構成されるとともに計算インスタンスに関連付けられたＶＮＩＣを介してオーバーレイネットワーク（例えば、顧客ＶＣＮ）に関与する。ＶＮＩＣはＶＣＮのサブネットの一部であり得る。特定の実施形態では、複数のＶＮＩＣは、同じ計算インスタンスに関連付けられ得るとともに、これらのＶＮＩＣは別々のＶＣＮ内にあってもよい。いくつかの実装形態では、単一のオーバーレイＩＰアドレスは、単一のオーバーレイＩＰアドレスをＶＮＩＣに関連付けるかまたはアタッチし、そのＶＮＩＣを計算インスタンスに関連付けることによって計算インスタンスにアタッチされる。例えば、顧客は、コマンドラインインターフェイス、ＡＰＩ等を介して、例えば、ＣＳＰＩによって提供されるコンソールを用いて、複数のサーバ計算インスタンスをＣＳＰＩに登録してもよい。登録時に、複数のサーバ計算インスタンス内の計算インスタンスごとに、ＶＮＩＣが構成されてもよく、単一のオーバーレイＩＰアドレスがＶＮＩＣに関連付けられてもよく、次いで、ＶＮＩＣが計算インスタンスに関連付けられてもよい。いくつかの実装形態では、顧客は、ＶＮＩＣおよび複数の計算インスタンスにアタッチされるべき単一のオーバーレイＩＰアドレス（例えば、アドレス「Ｂ」）を指定することが可能になり得る。他のいくつかの事例では、ＣＳＰＩは、ＶＮＩＣおよび計算インスタンスに関連付けられるべきマルチアタッチＩＰアドレスとして用いられるべきオーバーレイＩＰアドレスを自動的に識別し得る。

例えば、図６Ａに示す例では、サーバ計算インスタンス＃１ ６０２－１にＶＮＩＣ＃１が関連付けられ得るとともにオーバーレイＩＰアドレス「Ｂ」がＶＮＩＣ＃１にアタッチされており、サーバ計算インスタンス＃２ ６０２－２にＶＮＩＣ＃２が関連付けられ有得るとともにＩＰアドレス「Ｂ」がＶＮＩＣ＃２にアタッチされており、サーバ計算インスタンス＃Ｎ ６０２－ＮにＶＮＩＣ＃Ｎが関連付けられ得るとともにＩＰアドレス「Ｂ」がＶＮＩＣ＃Ｎにアタッチされている、等々である。このようにして、同じオーバーレイＩＰアドレスが、複数のＶＮＩＣとＶＮＩＣに関連付けられた複数の計算インスタンスとにアタッチされる。顧客は、全てのサーバ計算インスタンスを同時に登録する必要はない。顧客は、サーバ計算インスタンスを追加または除去してもよく、それらを、要望に応じて、時間の経過に応じて、マルチアタッチＩＰアドレスにアタッチされたＶＮＩＣに関連付けてもよい。

計算インスタンスに関連付けられたＶＮＩＣの場合、ＶＮＩＣを実装する機能は、計算インスタンスをホストするホストマシンに接続されたネットワーク仮想化デバイス（ＮＶＤ）によって実行される。ＮＶＤは、ＶＮＩＣ機能を提供するソフトウェア（例えば、ネットワーク仮想化機能を実装するソフトウェア）を実行し得る。例えば、計算インスタンスがホストマシンによってホストされる仮想マシンインスタンスである場合、計算インスタンスに関連付けられたＶＮＩＣのためのＶＮＩＣ機能は、仮想マシン計算インスタンスをホストするホストマシンに接続されたＮＶＤによって実行され得る。例えば、図２に示し上述したように、ホストマシン２０２によってホストされる仮想マシン計算インスタンス２６８の場合、計算インスタンスに関連付けられるＶＮＩＣ２７６のためのＶＮＩＣ機能は、ホストマシン２０２に接続されたＮＶＤ２１０によって実行される。別の例として、図２では、ホストマシン２０６によってホストされるベアメタルインスタンス２７２は、ホストマシン２０６に接続されたＮＶＤ２１２によって実行されるＶＮＩＣ２８０に関連付けられている。そのＶＮＩＣ機能がＮＶＤによって実行される計算インスタンスの場合、ＮＶＤは、計算インスタンスに関連付けられるものとして、または計算インスタンスに対応するＮＶＤであるものとして言及される。例えば、図６Ａでは、ＮＶＤ６０４－１は、サーバ計算インスタンス６０２－１に関連付けられ、当該計算インスタンス６０２－１に関連付けられたＶＮＩＣ（ＶＮＩＣ＃１）のための機能を実行し、ＮＶＤ６０４－２は、サーバ計算インスタンス＃２ ６０２－２に関連付けられ、当該計算インスタンス＃２ ６０２－２に関連付けられたＶＮＩＣ（ＶＮＩＣ＃２）のための機能を実行する、等々である。

図６Ａに示す実施形態では、ＮＶＤ６０４－１～ＮＶＤ６０４－Ｎは、サーバ計算インスタンス６０２－１～６０２－Ｎのために構成されるＶＮＩＣのためのＶＮＩＣ関連機能を実行するＮＶＤを表わす。計算インスタンスに関連付けられた各ＮＶＤは、ＮＶＤと通信するために使用可能なそれ自体の関連付けられた固有の物理ＩＰアドレスを有する。例えば、図６Ａでは、ＮＶＤ－Ｓ＃１ ６０４－１は、物理ＩＰアドレス「Ａ．１」を有し、サーバ計算インスタンス＃１ ６０２－１に関連付けられたＶＮＩＣであるＶＮＩＣ＃１のためのＶＮＩＣ関連機能を実行し、ＮＶＤ－Ｓ＃２ ６０４－２は、物理ＩＰアドレス「Ａ．２」を有し、サーバ計算インスタンス＃２ ６０２－２に関連付けられたＶＮＩＣであるＶＮＩＣ＃２のためのＶＮＩＣ関連機能を実行し、ＮＶＤ－Ｓ＃Ｎ ６０４－Ｎは、物理ＩＰアドレス「Ａ．Ｎ」を有し、サーバ計算インスタンス＃Ｎ ６０２－Ｎに関連付けられたＶＮＩＣであるＶＮＩＣ＃ＮのためのＶＮＩＣ関連機能を実行する、等々である。

上述したように、ＮＶＤは、例えば、ＶＮＩＣ関連機能を実行するなどして、様々なネットワーキング関連および仮想化関連の機能を実行する役割を果たすネットワーク仮想化スタックを実装するソフトウェアを実行する。ＮＶＤは、スマートＮＩＣ（smartNIC）として、トップオブラック（Top-of-Rack）（ＴＯＲスイッチ）として、スマートＴＯＲ（smartTOR）（拡張能力を有するＴＯＲ）として、ルータ、スイッチ、またはネットワーク仮想化スタックを実行する汎用コンピュータホストを含む、様々な形態で実装され得る。

特定の実施形態では、ＶＣＮ制御プレーン６１６は、ＣＳＰＩによってホストされるオーバーレイネットワーク（例えば、ＶＣＮ）を構成および管理する役割を果たす。ＶＣＮ制御プレーン６１６は、様々な顧客のためのＶＣＮに関する構成情報を記憶し得る。例えば、ＶＣＮ制御プレーン６１６は、ＩＰアドレスとＶＮＩＣとの間、ＶＮＩＣと計算インスタンスとの間、ＶＮＩＣとＶＣＮとの間等のマッピングおよび関連付けを記憶し得る。ＶＣＮ制御プレーン６１６は、この情報を用いて、ＣＳＰＩによってホストされるオーバーレイネットワーク（例えば、ＶＣＮ）に関与するエンティティ間の通信を可能にするためにＣＳＰＩのコンポーネントによって使用され得る転送テーブル（例えば、図１０に示す転送テーブル１００２）、マッピングテーブル（例えば、図６Ａに示すＩＰマッピングテーブル６１２）等を生成し得る。特定の実施形態では、ＶＣＮ制御プレーン６１６はまた、マルチアタッチＩＰアドレスとそのＶＮＩＣと複数の計算インスタンスとの間のマッピング、マルチアタッチＩＰアドレスと複数の計算インスタンスに関連付けられたＮＶＤの物理ＩＰアドレスとの間のマッピング、ならびに、マルチアタッチＩＰアドレスへのトラフィックおよびマルチアタッチＩＰアドレスからのトラフィックを処理するために用いられる他のマッピング、を記憶する役割を果たす。

図６Ａに示す例では、クライアント６０６は、ＩＰアドレス「Ｂ」への通信を送信することによって、顧客によって提供されるサービスにアクセスするための要求を開始してもよい。通信は、クライアント６０６にて発信されるとともに宛先ＩＰアドレス「Ｂ」を有する１つ以上のパケットの形態であり得る。クライアント６０６は、仮想マシン計算インスタンスもしくはベアメタル計算インスタンス等の別の計算インスタンス、または何らかのコンピューティングデバイスであり得る。計算インスタンスについて単語「クライアント」を用いる場合、それは限定的であることを意図するものではない。同じ計算インスタンスはサーバ計算インスタンスとしても作用し得る。いくつかの実装形態では、クライアント６０６自体が、マルチアタッチＩＰアドレスを有する計算インスタンスであってもよい。

クライアントに関連付けられたＮＶＤは、クライアントによって発信された要求パケットを受信する。例えば、図６Ａでは、ＮＶＤ６０８（「ＮＶＤ－クライアント」６０８）は、クライアント６０６に関連付けられており、クライアント６０６が送信したパケットを受信し得る。例えば、ＮＶＤ－クライアント６０８は、クライアントインスタンス６０６をホストするホストマシンに接続されてもよく、クライアント６０６に関連付けられたＶＮＩＣのためのＶＮＩＣ関連機能を実装するネットワーク仮想化スタックを実行してもよい。図６Ａに示す例では、クライアント６０６にはオーバーレイＩＰアドレス（Ｏ＿ＩＰ）「Ｃ」が関連付けられており、クライアント６０６に対応するＮＶＤ－クライアント６０８は物理ＩＰアドレス「Ｄ」を有する。

ステートフルモードでマルチアタッチＩＰアドレスを用いてＩＰスケーリングを提供するために図６Ａの様々なコンポーネントによって実行される処理について、図７Ａおよび図７Ｂに示すフローチャートを参照しながら以下で説明する。図７Ａおよび図７Ｂは、いくつかの実施形態に従った、ステートフルモード処理を用いてマルチアタッチＩＰアドレスを用いるオーバーレイＩＰアドレスをスケーリングするために実行される処理を示す簡略化されたフローチャート７００を示す。図７Ａおよび図７Ｂに示す処理は、ハードウェアまたはそれらの組合せを用いて、それぞれのシステムの１つ以上の処理ユニット（例えば、プロセッサ、コア）によって実行されるソフトウェア（例えば、コード、命令、プログラム）で実装され得る。ソフトウェアは、非一時的な記憶媒体上に（例えば、メモリデバイス上に）記憶され得る。図７Ａおよび図７Ｂに示すとともに以下に記載する方法は、例示的なものであり非限定的であるよう意図されている。図７Ａおよび図７Ｂは、特定のシーケンスまたは順序で行なわれる様々な処理ステップを示しているが、これは、限定することを意図するものではない。特定の代替的な実施形態では、処理はいくつかの異なる順序で実行されてもよく、またはいくつかのステップが並行して実行されてもよい。

フローチャート７００の処理は、ステートフルモード処理を用いて実行され、ＮＶＤによって処理されているネットワークフロー（例えば、ＴＣＰネットワークフロー、ＵＤＰネットワークフロー）に関する情報が、ＮＶＤによって関連するフローテーブル（図６Ａのフローテーブル６１４等）に記憶される。次いで、フロー情報は、マルチアタッチＩＰアドレスに関連付けられた複数の計算インスタンスのうちのいずれがパケットを受信するために選択されるかを選択する際に、ＮＶＤによって用いられる。ステートフル処理では、マルチアタッチＩＰアドレスにアタッチされた特定の計算インスタンスが、特定のネットワークフローに属するパケットを処理するために選択されると、その特定のネットワークフローに属する後続のすべてのパケットが、処理の整合性のためにその同じ特定の計算インスタンスに転送される。図８に示すフローチャートはステートレスモードで実行される処理を示す。ステートレスモードでは、フロー情報は、ＮＶＤによって記憶されず、このため、パケットの転送のために使用されない。ステートフル処理は、典型的には、ステートレス処理よりも多くの処理およびメモリリソースを必要とするが、ステートレス処理よりも豊富な機能セットを提供し得る。

図７Ａを参照すると、７０２において、クライアントが特定の宛先オーバーレイＩＰアドレスに送信されるべきＩＰパケットを発信するときに、処理が開始される。例えば、図６Ａに示す実施形態では、７０２におけるパケットは、クライアント６０６がオーバーレイＩＰアドレス「Ｂ」を介してアクセス可能なサービスへのアクセスを要求するときに生成され得る。この結果、クライアント６０６にて発信されるとともに宛先オーバーレイＩＰアドレス「Ｂ」を有するＩＰパケットが得られる。

７０４では、７０２において生成されたＩＰパケットが、クライアントに関連付けられるＮＶＤによって受信される。当該ＮＶＤは、パケットを発信するクライアントに関連付けられたＶＮＩＣのための機能を実装するものである。例えば、図６Ａでは、パケットは、クライアント６０６をホストするホストマシンに接続されたＮＶＤ－クライアント６０８によって受信される。図６Ａに示す実施形態では、ＮＶＤ－クライアント６０８は物理ＩＰアドレス「Ｄ」を有する。

７０６では、７０４においてＩＰパケットを受信するＮＶＤは、そのＩＰマッピングテーブルを参照して、受信したパケットをどのように転送すべきかを決定する。パケットの宛先ＩＰアドレスがマルチアタッチＩＰアドレスである場合、ＮＶＤは、７０６において、パケットの宛先ＩＰアドレスが複数のＮＶＤの複数の物理ＩＰアドレスにマップしていると判断する。例えば、図６Ａでは、ＮＶＤ－クライアント６０８は、クライアント６０６から受信したパケットの宛先ＩＰアドレスが「Ｂ」であること、および、そのローカルＩＰマッピングテーブル６１２内の情報に基づいて、オーバーレイＩＰアドレス「Ｂ」が複数の物理ＩＰアドレスＡ．１、Ａ．２、Ａ．３、Ａ．４、…Ａ．Ｎにマップしていると判断し得る。

いくつかの実施形態では、オーバーレイＩＰアドレスをＮＶＤの物理ＩＰアドレスにマッピングする情報は、図６Ａに示すＶＣＮ制御プレーン６１６等のＶＣＮ制御プレーンによって維持される。ＶＣＮ制御プレーンは、ＩＰマッピングテーブル情報を生成し、それをオーバーレイネットワーク内の様々なＮＶＤに公開する役割を果たす。例えば、図６Ａに示すＩＰマッピングテーブル６１２は、ＶＣＮ制御プレーン６１６によって生成され得るとともに、オーバーレイネットワーク内のＮＶＤ－クライアント６０８および他のＮＶＤに発行され得る。

７０８では、パケットを受信するＮＶＤは、受信パケットに対応する特定のネットワークフロー（例えば、ＴＣＰネットワークフロー、ＵＤＰネットワークフロー）を決定する。特定の実装形態では、組合わせて得られた受信されたパケットからの特定のフィールドのコンテンツは、パケットのためのネットワークフローを定義する。例えば、パケットの５つのフィールド（５タプルと呼ばれることもある）のコンテンツが判断され得るとともに、組合わされてパケットのためのネットワークフローを定義する。特定の実装形態では、５つのフィールドは、ソースＩＰアドレスフィールド、（例えば、伝送制御プロトコル（ＴＣＰ）ポートまたはユーザデータグラムプロトコル（ＵＤＰ）ポートを指定する）ソースポートフィールド、宛先ＩＰアドレス、（例えば、ＴＣＰポートまたはＵＤＰポートを指定する）宛先ポートフィールド、およびプロトコルフィールド（例えば、ＴＣＰはプロトコル番号６（０ｘ０６）によって示され、ＵＤＰはプロトコル番号１７（０ｘ１１）である）である。他の実装形態では、パケットのフィールドの異なるセット（５よりも多いフィールド、５未満のフィールド、別々の５つのフィールド等）からのコンテンツをまとめて取込んで、パケットのためのネットワークフローを決定してもよい。

７１０では、ＮＶＤは、７０８において決定された特定のネットワークフローが新しいネットワークフローであるかまたは既存のネットワークフローであるかを判断するための処理を実行する。特定の実装形態では、ＮＶＤは、７０８において決定された特定のネットワークフローを、ＮＶＤのフローテーブルにおいて識別されたネットワークフローと比較することによってこれを実行する。この場合、ＮＶＤのフローテーブルは、ＮＶＤによってそれ以前に対処または処理されたネットワークフローを識別する。７０８において決定された特定のネットワークフローがフローテーブルに見つかった場合、既存のネットワークフローを示し、そうでなければ、新しいネットワークフローを示す。７１２では、７１０において実行された処理に基づいて、７０８において決定された特定のネットワークフローが新しいネットワークフローであるかまたは既存のネットワークフローであるかを調べるためのチェックが行なわれ、チェックの結果に基づいて、さらに処理が続けられる。特定のネットワークフローが新しいネットワークフローであると判断された（すなわち、特定のネットワークフローがフローテーブルに見出されない）場合、処理は図７Ｂの７２０に進み、そうではなく、特定のネットワークフローがフローテーブルに既に存在すると判断された場合、処理は図７Ｂの７２４に進む。

例えば、図６Ａに示す実施形態では、７０８において、ＮＶＤ－クライアント６０８は、受信されたパケットのための特定のフィールド（例えば、上述の５タプル）のコンテンツの組合せを調べて、受信されたパケットのための特定のネットワークフローを決定してもよい。次いで、ＮＶＤ６０８は、７１０において、フローテーブル６１４をサーチして、７０８において決定された特定のネットワークフローが新しいネットワークフローであるかまたは既存のネットワークフローであるかを判断し得る。図６Ａの例では、フローテーブル６１４は、ＴＣＰネットワークフローＴＣＰ－Ｆｌｏｗ＃１（５タプルで表される）、ＴＣＰ－Ｆｌｏｗ＃２（５タプルで表される）、およびＴＣＰ－Ｆｌｏｗ＃３（５タプルで表される）が既存のネットワークフローであることを示す。したがって、７０８において決定された特定のネットワークフローがこれら３つのネットワークフローのうちの１つに一致する（例えば、受信されたパケットの５タプルがフローテーブル内の５タプルに一致する）場合、受信されたパケットは既存のネットワークフローに属しているので、処理は図７Ｂの７２４に進み、そうでない場合、受信されたパケットは新しいネットワークフローに属しているので、処理は図７Ｂの７２０に進む。

ここで図７Ｂを参照すると、７０４でＮＶＤによって受信されたパケットが新しいネットワークフローに属していると７１２において判断されると、７２０において、クライアントＮＶＤは、選択技術を用いて、パケットの宛先オーバーレイＩＰアドレスにマッピングされる複数の物理ＩＰアドレスのうちの１つを選択する。例えば、図６Ａでは、オーバーレイＩＰアドレス「Ｂ」の場合、ＮＶＤ６０８は、オーバーレイＩＰアドレス「Ｂ」にマッピングされる複数の物理ＩＰアドレスＡ．１、Ａ．２、…、Ａ．Ｎのうちの１つを選択する。ラウンドロビン技術、最低使用頻度技術、ランダム化技術、または他の技術等の様々な異なる選択技術が使用され得る。いくつかの実装形態では、選択技術は、最初に、受信されたパケットの特定のフィールドのコンテンツをハッシュすることによってハッシュ値を生成し、次いで、生成されたハッシュ値に基づいて、オーバーレイＩＰアドレスにマッピングされた複数の物理ＩＰアドレスの中から特定の物理ＩＰアドレスを決定し得る。例えば、ハッシングは、フィールドのコンテンツに基づいて値を生成すること、および、値「Ｎ」を用いてモジュロ関数を適用することを含み得る。ここで、「Ｎ」は、オーバーレイＩＰアドレスにマッピングする物理ＩＰアドレスの数である。結果として生じるハッシュ値は、複数の物理ＩＰアドレスから特定の物理ＩＰアドレスを指し示すかまたはインデックス付けし得るとともに、７２０において、その特定の物理ＩＰアドレスが選択される。特定の実施形態では、選択技術の目標は、マルチアタッチオーバーレイＩＰアドレスにアタッチされる複数のサーバ計算インスタンスにわたって、マルチアタッチオーバーレイＩＰアドレスに向けられたトラフィックを均等に分散することである。

７２２において、ＮＶＤは、７０８において決定された特定のネットワークフローを参照するエントリをそのフローテーブルに追加し得る。この追加されたエントリはまた、７０８において決定された特定のネットワークフローの場合に、７２０において選択された物理ＩＰアドレスが、このネットワークフローに属するパケットを処理するために選択されたことを示し得る。フローテーブル内のこのエントリは、次いで、その特定のネットワークフローに属する後続のパケットのために使用され得てもよく、ネットワークフローに属する後続のパケットが同じ物理ＩＰアドレスに、したがって、処理のために同じサーバ計算インスタンスに送信されることを可能にする。このようにして、インフラストラクチャは、ネットワークフローに属するパケットが同じサーバ計算インスタンスに到達し、同じサーバ計算インスタンスによって処理されることを確実にする。次に、処理は以下に説明するように７２６へ進む。

例えば、図６Ａに示す実施形態では、受信されたパケットに関して決定された特定のネットワークフローがＴＣＰ－Ｆｌｏｗ＃４であると仮定する。ＮＶＤ－クライアント６０８は、７１０および７１２における処理に基づいて、このネットワークフローがフローテーブル６１４内に見出されず、したがって、受信されたパケットが新しいネットワークフローに属していると判断する。次いで、ＮＶＤ－クライアント６０８は、アドレスＡ．１、Ａ．２、Ａ．３、…Ａ．Ｎの中から１つの物理ＩＰアドレスを選択する。一例として、物理ＩＰアドレスＡ．２が選択されると仮定する。次いで、ＮＶＤ－クライアント６０８は、ＴＣＰ－Ｆｌｏｗ＃４を参照するエントリであってこのネットワークフローに属するパケットを処理するために物理ＩＰアドレスＡ．２が選択されたことをさらに示すエントリをフローテーブル６１４に追加し得る。例えば、エントリ「ＴＣＰ－Ｆｌｏｗ＃４－Ａ．２」が７２２においてフローテーブル６１４に追加され得る。

７０４においてＮＶＤによって受信されたパケットが既存のネットワークフローに属していると７１２において判断された場合、７２４において、ＮＶＤは、７０８において決定された特定のネットワークフローのためのフローテーブル内のエントリを識別し、そのエントリによって識別される特定の物理ＩＰアドレスが、パケットが送信されるべきアドレスとして選択される。この特定の物理ＩＰアドレスは、同じオーバーレイＩＰアドレスにアタッチされた複数のサーバ計算インスタンスからの特定のサーバ計算インスタンスに関連づけられたＮＶＤのアドレスである。実質的には、７２４において、ＮＶＤのための特定の物理ＩＰアドレスを選択することにより、パケットが送信されるべき特定のサーバ計算インスタンスが選択され、このサーバ計算インスタンスは、受信されたパケットが属する特定のネットワークフローを既に処理しているインスタンスである。例えば、図６においては、ＮＶＤ－クライアント６０８は、受信されたパケットがフローテーブル６１４において識別されるネットワークフロー「ＴＣＰ－Ｆｌｏｗ＃２」に属していると判断してもよく、次いで、受信されたパケットが送信されるべきアドレスとして物理ＩＰアドレス「Ａ．２」が選択される。

７２６において、トンネリングプロトコルが、７０４においてパケットを受信するＮＶＤから、７２０または７２４において選択された物理ＩＰアドレスに関連付けられたＮＶＤに、パケットを通信するために用いられる。ＩＰ－ｉｎ－ＩＰ（または汎用ルーティングカプセル化（Generic Routing Encapsulation：ＧＲＥ））、仮想拡張可能ＬＡＮ（ＶｘＬＡＮ－ＩＥＴＦ ＲＦＣ７３４８）、仮想プライベートネットワーク（Virtual Private Network：ＶＰＮ）（例えば、ＭＰＬＳレイヤ３仮想プライベートネットワーク（ＲＦＣ４３６４））、ＶＭｗａｒｅ′ｓ ＮＳＸ、ＧＥＮＥＶＥ（Generic Network Virtualization Encapsulation：汎用ネットワーク仮想化カプセル化）等の様々な異なるトンネリングプロトコルが用いられてもよい。トンネリングは、典型的には、受信されたパケットを１つ以上のヘッダ内にカプセル化することを含み、ヘッダ内の情報は、物理ネットワーク６１０を介して送信側ＮＶＤから受信側ＮＶＤにパケットを通信するために用いられる。仮想化ネットワークにおけるトンネリングは、送信側ＮＶＤによって受信されるとともにブロードキャストドメインまたは物理ネットワークによって無制限にされた元のパケットに如何なる変更も加えることなく、トラフィックが、あるエンドポイント（例えば、パケットを送信するＮＶＤ）から別のエンドポイント（例えば、パケットを受信するＮＶＤ）に通信されることを可能にする。パケットのカプセル化に関する処理は送信側ＮＶＤによって実行される。例えば、図６Ａでは、パケットカプセル化はＮＶＤ－クライアント６０８によって実行される。例えば、受信されたパケットがネットワークフロー「ＴＣＰ－Ｆｌｏｗ＃２」に属しており、物理ＩＰアドレスＡ．２に送信されるべきであると判断された場合、トンネリングプロトコルを用いて、パケットをＮＶＤ－クライアント６０８から物理ＩＰアドレスＡ．２に関連付けられたＮＶＤ－Ｓ＃２ ６０４－２に通信する。

７２８では、７２６においてパケットが送信された先の物理ＩＰアドレスに関連付けられたＮＶＤが当該パケットを受信する。例えば、パケットが物理ＩＰアドレスＡ．２に送信された場合、ＮＶＤ－Ｓ＃２ ６０４－２がパケットを受信する。７３０では、７２８においてパケットを受信するＮＶＤが、次いで、受信ＮＶＤに関連付けられているとともにマルチアタッチオーバーレイＩＰアドレスをそのＩＰアドレスとして有するサーバ計算インスタンスに当該パケットを転送する。例えば、図６Ａでは、ＮＶＤ６０４－２は、オーバーレイＩＰアドレス「Ｂ」に関連付けられたサーバ計算インスタンス＃２ ６０２－２にパケットを転送する。

図７Ａおよび図７Ｂに示すとともに上述した処理は、マルチアタッチドオーバーレイＩＰアドレス（例えば、オーバーレイＩＰアドレス「Ｂ」）宛ての複数のパケットに対して実行することができ、ここで、当該複数のパケットは１つ以上のクライアントから発信される。パケットを発信するクライアントをホストするホストマシンに接続されるＮＶＤは、マルチアタッチＩＰアドレスにアタッチされた複数の計算インスタンスに関連付けられた複数のＮＶＤのうちのいずれが処理すべきパケットを受信するかを判断するための処理を実行するように構成される。ＮＶＤは、実質的に、マルチアタッチＩＰアドレスにアタッチされた複数の計算インスタンスの中からパケットを受信するための特定の計算インスタンスを選択する。複数の計算インスタンスのうちの異なるものは、マルチアタッチＩＰアドレスにアドレス指定されたパケットに対して別々の時間に選択され得る。例えば、第１のネットワークフローに属するパケットが計算インスタンス＃１に送信され得、第２のネットワークフローに属するパケットが計算インスタンス＃２に送信され得、第３のネットワークフローに属するパケットが計算インスタンス＃３に送信され得る、等々である。このようにして、マルチアタッチＩＰアドレスに送信されるパケットは複数のサーバ計算インスタンスにわたって分散され、これはすべて、如何なるロードバランサまたは如何なる複雑なルーティングテーブルも用いずに達成される。

特定の実施形態では、ＮＶＤ（例えば、ＮＶＤ－クライアント６０８およびＮＶＤ６０４）によって実行される図７Ａおよび図７Ｂに示す機能は、ＮＶＤの１つ以上のプロセッサによって実行されるソフトウェアを用いて実装される。例えば、ＮＶＤは、本開示に記載の様々な機能を実装するネットワークスタックソフトウェアを実行し得る。

上述したように、図７Ａおよび図７Ｂはステートフルモードで実行される処理を示し、この場合、フローテーブルは、既存のフローを示すＮＶＤによって維持され、フローテーブル内の情報は、パケットがどのように転送されるべきかを決定するために用いられる。特定のネットワークフローに属するパケットは、同じサーバ計算インスタンスに送信され、同じサーバ計算インスタンスによって処理される。しかしながら、ステートフル処理は、ステートレス処理よりも余分な処理およびリソース（例えば、フローテーブルを記憶するためのメモリ、フローテーブル情報をチェックするために必要な余分な処理等）を必要とする。

図６Ｂは、いくつかの実施形態に従った、クラウドサービスプロバイダ（ＣＳＰ）によって提供されるＣＳＰＩによってホストされ得るとともに、ロードバランサを用いることなくステートレスモード処理においてマルチアタッチＩＰアドレスを用いてオーバーレイＩＰアドレスのスケーリングを可能にする、分散型仮想化マルチテナントクラウド環境６５０の一例を示す。分散環境６５０は、図６Ａに示す分散環境６００と非常に類似しており、図６Ｂの同様のコンポーネントは、図６Ａと同じ参照番号を用いて分類されている。しかしながら、図６Ｂでは、フローテーブルは存在しない。ＮＶＤはいずれのフローテーブルも記憶しないので、処理はステートレスと称される。

図８は、いくつかの実施形態に従った、ステートレスモード処理を用いてマルチアタッチＩＰアドレスを用いるオーバーレイＩＰアドレスをスケーリングするための処理を示す簡略化されたフローチャート８００を示す。図８に示す処理は、ハードウェア、またはそれらの組合せを用いて、それぞれのシステムの１つ以上の処理ユニット（例えば、プロセッサ、コア）によって実行されるソフトウェア（例えば、コード、命令、プログラム）で実装され得る。ソフトウェアは、非一時的な記憶媒体上（例えば、メモリデバイス上）に記憶され得る。図８に示すとともに以下に記載する方法は、例示的なものであり非限定的であるよう意図されている。図８は、特定のシーケンスまたは順序で行なわれる様々な処理ステップを示すが、これは限定することを意図するものではない。特定の代替的な実施形態では、処理はいくつかの異なる順序で実行されてもよく、またはいくつかのステップが並行して実行されてもよい。

８０２、８０４、および８０６における処理は、それぞれ、図７Ａに示すとともに上述した７０２、７０４、および７０６において実行される処理と同様である。８０８では、受信されたパケットについてハッシュ値が生成される。８０８では、様々な異なるハッシュ技術が使用され得る。いくつかの実装形態では、ハッシュ値は、受信されたパケットの１つ以上のフィールドのコンテンツを用いて生成される。例えば、受信されたパケットのソースＩＰアドレスフィールド、ソースポートフィールド、宛先ＩＰアドレスフィールド、宛先ポートフィールドおよびプロトコルフィールドのコンテンツを用いて初期値を生成し、次いで、当該初期値にモジュロ「Ｎ」関数を適用して最終ハッシュ値を生成してもよい。ここで、「Ｎ」は、マルチアタッチオーバーレイＩＰアドレスにマッピングされる物理ＩＰアドレスの数である。他の実装形態では、パケットのフィールドの異なるセット（５よりも多いフィールド、５未満のフィールド、別々の５つのフィールド等）からのコンテンツを用いてハッシュ値を生成してもよい。特定の実装形態では、コンシステントハッシュ技術が用いられる。コンシステントハッシュ技術は、サーバ計算インスタンスが、マルチアタッチＩＰアドレスにアタッチされたサーバ計算インスタンスのプールに追加されるかまたはそこから除去される状況において、ハッシュ中断の影響を最小限にする。

８２０では、クライアントＮＶＤは、８０８において生成されたハッシュ値を用いて、パケットの同じ宛先オーバーレイＩＰアドレスにマッピングされた複数の物理ＩＰアドレスから特定の物理ＩＰアドレスを選択する。特定の実装形態では、８０８において生成されたハッシュ値は、マルチアタッチＩＰアドレスにマッピングされた複数の物理ＩＰアドレスからの特定の単一の物理ＩＰアドレスに対するインデックスとしての役割を果たす。

８２６では、トンネリングプロトコルを用いて、８０４においてパケットを受信するＮＶＤから８２０において選択された物理ＩＰアドレスに関連付けられたＮＶＤにパケットを通信する。８２０の処理は、上述した図７Ｂの７２０における処理と同様である。８２８および８３０における処理は、上述したように図７Ｂの７２８および７３０における処理と同様であり、パケットは、８２６においてパケットが送信される先のＮＶＤに関連付けられたサーバ計算インスタンスに転送される。

ステートレス処理は、典型的には、フローテーブルがＮＶＤによって記憶または使用されないので、必要となるメモリリソースがステートフル処理の場合よりも少なくなる。ステートレス処理もまた、典型的には、フローテーブル関連処理が実行されないので、必要となる処理ステップがステートフル処理の場合よりも少なくなる。その結果、特定の実装形態では、ステートレス処理はステートフル処理よりも速くなる傾向がある。

ステートフル処理と同様に、ステートレス処理では、特定のネットワークフローに属するパケットは、同じＮＶＤ（すなわち、同じ物理ＩＰアドレスが選択される）と、したがって処理のために同じサーバ計算インスタンスとに送信される。これは、ハッシングの一部として、受信したパケットの１つ以上のフィールドのコンテンツに基づいて生成される初期値が、パケットが属するネットワークフローを一意に識別し、モジュロ関数がこの初期値に適用された場合、結果として得られるハッシュ値が同じ物理ＩＰアドレスにマッピングまたはハッシュされるからである。

上述したように、いくつかの計算インスタンスがロードバランサの背後にある状況では、外部クライアントはパケットを１つ以上の計算インスタンスに送信することができるが、ロードバランサの背後にある計算インスタンスは、クライアントとの新しい接続または通信を開始することができない。したがって、従来のロードバランサでは、ロードバランサの背後にある計算インスタンスへの接続を外部から開始しなければならないが、ロードバランサの背後にあるインスタンスは外部クライアントへの接続を開始することができない。本明細書に記載される新規なアーキテクチャはこの制限を克服する。上述したように、クライアントは、マルチアタッチＩＰアドレスにアタッチされたサーバ計算インスタンスとの新しい通信または接続を開始することができる。クライアントが開始した通信を受信するサーバ計算インスタンスは、１つ以上の応答パケットをクライアントに送信することによって、クライアントが開始した通信に応答することができる。加えて、マルチアタッチＩＰアドレスにアタッチされたサーバ計算インスタンスは、１つ以上のクライアントとの新しい通信または接続を開始することもでき、この場合、新しい通信または接続要求は、クライアントからのそれ以前の通信には応答しない。ＮＶＤは、マルチアタッチＩＰアドレスにアタッチされたサーバ計算インスタンスによって開始される通信のために、パケットが意図されたクライアント受信側に適切に通信されることを確実にするように構成される。マルチアタッチＩＰアドレスにアタッチされたサーバ計算インスタンスから新しい接続または通信を受信するクライアントが、そのサーバ計算インスタンスが開始した通信に応答できるようにする処理も実行され、クライアントの応答（例えば、クライアント発信応答パケット）は、クライアント通信を開始した正しい特定のサーバ計算インスタンスに適切に転送される。したがって、クライアントは、マルチアタッチＩＰアドレスを用いてサーバ計算インスタンスとの通信を開始することができ、マルチアタッチＩＰアドレスにアタッチされたサーバ計算インスタンスもまた、クライアントとの接続または通信を（パケットを送信することによって）開始することができる。

例えば、図６Ａまたは図６Ｂでは、マルチアタッチＩＰアドレス「Ｂ」を用いてアクセスされるサービスは、データを１つ以上のクライアントにプッシュアウトすることを所望するかもしれない。マルチアタッチオーバーレイＩＰアドレス「Ｂ」に関連付けられた複数のサーバ計算インスタンス６０２－１～６０２－Ｎのうちのいずれかは、本開示に開示される教示を用いて、新しい接続を開始し、データをクライアントにプッシュアウトすることができる。サーバ計算インスタンスが開始したこれらの通信を受信するクライアントは、通信に応答することができ、この応答は、通信を開始した特定のサーバ計算インスタンスに適切に転送される。

図９Ａおよび図９Ｂは、いくつかの実施形態に従った、マルチアタッチＩＰアドレスにアタッチされたサーバ計算インスタンスから１つ以上のクライアントへの通信を可能にするための処理を示す簡略化されたフローチャート９００を示す。図９Ａおよび図９Ｂに示す処理は、ハードウェア、またはそれらの組合せを用いて、それぞれのシステムの１つ以上の処理ユニット（例えば、プロセッサ、コア）によって実行されるソフトウェア（例えば、コード、命令、プログラム）で実装され得る。ソフトウェアは、非一時的な記憶媒体上（例えば、メモリデバイス上）に記憶され得る。図９Ａおよび図９Ｂに示すとともに以下に記載する方法は、例示的なものであり非限定的であるよう意図されている。図９Ａおよび図９Ｂは、特定のシーケンスまたは順序で行なわれる様々な処理ステップを示すが、これは限定することを意図するものではない。いくつかの代替的な実施形態では、処理はいくつかの異なる順序で実行されてもよく、またはいくつかのステップが並行して実行されてもよい。

図９Ａに示すように、９０２では、サーバ計算インスタンスに関連付けられたＮＶＤがサーバ計算インスタンスによって発信されたＩＰパケットを受信し、パケットがクライアントに対応する宛先オーバーレイＩＰアドレスを示すと、処理が開始される。例えば、図６Ａまたは図６Ｂの実施形態では、ＮＶＤ－Ｓ＃２ ６０４－２は、サーバ計算インスタンス＃２ ６０２－２からパケットを受信してもよく、パケットは、クライアント６０６に向けられてもよい（すなわち、パケットの宛先ＩＰアドレスはクライアント６０６のオーバーレイＩＰアドレス「Ｃ」である）。

パケットは、ソースＩＰアドレス、（例えば、伝送制御プロトコル（ＴＣＰ）またはユーザデータグラムプロトコル（ＵＤＰ）ポートを指定する）ソースポート、宛先ＩＰアドレス、（例えば、ＴＣＰまたはＵＤＰポートを指定する）宛先ポート、およびプロトコル（例えば、ＴＣＰはプロトコル番号６（０ｘ０６）で示され、ＵＤＰはプロトコル番号１７（０ｘ１１）である）、ならびに他のフィールドを指定する様々なフィールドを含む。宛先ＩＰアドレスフィールドは、パケットの意図された受信側または宛先のオーバーレイＩＰアドレスを含み得る。宛先ポートフィールドは、宛先クライアントのポートに対応するポート番号を含み得る。ソースＩＰアドレスフィールドは、パケットを送信するサーバ計算インスタンスのオーバーレイＩＰアドレス（すなわち、マルチアタッチオーバーレイＩＰアドレス）を含み得る。ソースポートフィールドは、サーバ計算インスタンスに関連付けられたポートを識別する。プロトコルフィールドは、使用されているプロトコル（例えば、ＴＣＰ、ＵＤＰ）を識別する番号を指定し得る。複数のサーバ計算インスタンスが同じオーバーレイＩＰアドレスを有するので、このフィールド値は、マルチアタッチＩＰアドレスにアタッチされた複数の計算インスタンスの各々から生じるパケットの場合には同じになるだろう。ソースポートフィールドは、ブランクであってもよく、または、パケットを送信するサーバ計算インスタンスに関連付けられたポート番号を含んでもよい。

９０４では、パケットを受信するＮＶＤは、９０２において受信されたパケットが応答パケットであるか、またはパケットを送信するサーバ計算インスタンスと宛先クライアントとの間の新しい接続もしくは通信を開始するためのパケットであるかを判断するための処理を実行する。応答パケットは、宛先クライアントとサーバ計算インスタンスとの間の既存の通信または接続の一部として、サーバ計算インスタンスによって宛先クライアントに送信されるパケットである。応答パケットは、宛先クライアントからサーバ計算インスタンスにそれ以前に通信されたパケットに応答して送信されるパケットである。

ＮＶＤは、９０２において受信されたパケットが応答パケットであるか、または新しいサーバ計算インスタンス開始通信に対応するパケットであるかを判断するために、様々な技術を使用し得る。１つの技術に従うと、この判断は、パケットを通信するために用いられる通信プロトコルに基づいて行なうことができる。多くの通信プロトコルの場合、新しい接続を開始するためのパケットのコンテンツは、既存の接続またはフローの一部であるパケットとは異なる。このような通信プロトコルの場合、ＮＶＤは、パケットのコンテンツを調べることによって、受信したパケットが応答パケットであるか、または新しい接続もしくは通信を開始するパケットであるかを判断することができる。例えば、ＴＣＰの場合、プロトコル自体が応答パケットと新しい接続パケットとを区別する。パケットがベアＳＹＮパケットである場合、当該パケットは新しい接続を確立するためのパケットである。パケットが内部にＡＣＫを有するＳＹＮパケットであれば、当該パケットは、既に開始されていた通信セッションで生成されたパケットであり、そのため、応答パケットである。肯定応答（acknowledgement：ＡＣＫ）の存在は、パケットが応答パケットであることを示す。

別の技術に従うと、特定の実装形態では、サーバ計算インスタンスに関連付けられたＮＶＤは、サーバ計算インスタンスにインバウンドされるパケットのためのフローテーブルを維持し得る。例えば、図６Ａでは、ＮＶＤ６０４－１によって受信されてＮＶＤによってサーバ計算インスタンス６０２－１に転送されるパケットの場合、ＮＶＤ６０４－１は、それらのパケットのフロー情報を記憶し得る。９０２においてサーバ計算インスタンスから受信されたパケットがフローテーブル内に既にあるフローの「逆」である場合、パケットは応答パケットとして識別され、そうでなければ、パケットは新しい接続パケットとして識別される。

さらに別の技術に従うと、特定の実装形態では、９０２において受信されたパケットが、周知のサービスポート（例えば、ポート８０）でありエフェメラルソースポートではないソースポート値を有する場合、パケットは応答パケットとして識別される。代替的には、９０２において受信されたパケットがエフェメラルソースポートであるソースポートを有する場合、パケットは、新しい接続パケットとして識別され、そうでなければ応答パケットとして識別される。

９０４において実行される処理に基づいて、９０６において、受信したパケットが新しい接続パケットであるかまたは応答パケットであるかをチェックする。新しい接続／通信パケットである場合、処理は９０８に進み、そうでなければ、処理は図９Ｂの９２０に進む。パケットが新しい接続パケットであると判断された場合、パケットのソースポートフィールドについての値を設定するための特別な処理が実行される。

概して、パケットの場合、パケットのソースＩＰアドレスとパケットのソースポートとを組合せると、パケットの送信元が一意に識別される。同じオーバーレイＩＰアドレスが複数のサーバ計算インスタンスにアタッチされる本事例では、これらのサーバ計算インスタンスの各々から生じるパケットのソースＩＰアドレスは、同じソースＩＰアドレス、すなわち、マルチアタッチオーバーレイＩＰアドレスを有するだろう。例えば、図６Ａでは、サーバ計算インスタンス６０２－１～６０２－Ｎの各々を発信するパケットは、同じソースＩＰアドレス、すなわちオーバーレイＩＰアドレス「Ｂ」を有することになる。さらに、様々なサーバ計算インスタンスから発信されるパケットのためのソースポートも互いに競合する可能性があり、すなわち、同じである可能性があり、したがって、２つの異なるサーバ計算インスタンスによって送信される２つのパケットがともに同じソースＩＰおよびソースポート値を有するという状況がもたらされる。このような状況では、パケットの送信元を一意に識別することは非常に困難である。したがって、特別な処理を行わなければ、マルチアタッチオーバーレイＩＰアドレスにアタッチされた２つ以上の異なるサーバ計算インスタンスから生じるパケットの場合、ソースＩＰアドレスとソースポートとを組合わせても、パケットの送信側が一意に識別されない可能性がある。これは、特に、パケットの受信側（例えば、パケットが向けられるクライアント）が送信サーバ計算インスタンスに応答することを所望する場合、マルチアタッチＩＰアドレスを有する複数のサーバ計算インスタンスのうちのどのサーバ計算インスタンスがパケットを送信したかを識別する方法がなく、そのため、クライアントから応答を受信しなければならないという問題を引き起こす。同じＩＰアドレスが仮想ネットワーク内の複数の計算インスタンス上に存在する場合に起こるソースポート空間衝突のこの技術的問題を克服するために、９０８および９１０において、パケットのためのソースポートが、同じオーバーレイＩＰアドレスにアタッチされた他のサーバ計算インスタンスから発信されるパケットのためのソースポートと衝突するのを確実に防ぐための特別な処理が実行される。９０８および９１０において実行される処理は、ソースＩＰとソースポートとの組合わせが、マルチアタッチＩＰアドレスにアタッチされた複数のサーバ計算インスタンスにわたって一意であり、これにより、パケットの送信側である特定のサーバ計算インスタンスを一意に識別することを確実にする。

９０８では、マルチアタッチオーバーレイＩＰアドレスを有する他のサーバ計算インスタンスによって用いられるエフェメラルポート値と競合せず固有であるパケットについて、エフェメラルポート値が決定される。９０８における処理を実行するために、いくつかの異なる技術が用いられてもよい。

特定の実装形態では、静的ポートシャーディング技術が用いられ得る。この技術に従うと、利用可能なエフェメラルソースポート空間は、マルチアタッチＩＰアドレスを有する様々な計算インスタンス間で分割され、各サーバ計算インスタンスには、マルチアタッチＩＰアドレスを有する他のサーバ計算インスタンスに割当てられた範囲と重複しないエフェメラルソースポート値の範囲を割当てられている。特定のサーバ計算インスタンスに割当てられたエフェメラルソースポート値は、同じオーバーレイＩＰアドレスがアタッチされている他の計算インスタンスに割当てられたエフェメラルソースポート値とは異なっており競合しない。

例えば、１６ビットがソースポートを指定するために用いられる場合、その「Ｘ」ポートはエフェメラルポートである。Ｘのエフェメラルポート値は、マルチアタッチＩＰアドレスにアタッチされた様々な計算インスタンスの間で分割され得る。例えば、４８Ｋのエフェメラルポート値がある場合、ポート値０Ｋ～１０Ｋが第１の計算インスタンスに割当てられてもよく、ポート値１０，００１Ｋ～２０Ｋが第２の計算インスタンスに割当てられてもよく、ポート値２０，００１Ｋ～４０Ｋが第３の計算インスタンスに割当てられてもよい、等である。そのような互いに素な割当ておよび重複しない割当てを実行することにより、同じＩＰアドレスがアタッチされている２つの異なる計算インスタンスから送信されるパケットについてのエフェメラルポート値の衝突が回避される。別々の計算インスタンスに割当てられたエフェメラルポート範囲は重複しないので、衝突は回避される。

９０８の一部として、特定のサーバ計算インスタンスから受信されたパケットについて、そのパケットを受信するＮＶＤは、その特定のサーバ計算インスタンスに割当てられたエフェメラルポート値の範囲が識別され、そのパケットについて、識別された範囲からの特定のエフェメラルポート値が選択される。例えば、図６Ａまたは図６Ｂでは、ＮＶＤ－Ｓ＃２ ６０４－２は、サーバ計算インスタンス＃２ ６０２－２から新しい接続パケットを受信し得る。次いで、ＮＶＤ－Ｓ＃２ ６０４－２は、サーバ計算インスタンス＃２ ６０２－２に割当てられたエフェメラルポート値の範囲を決定し得るとともに、次いで、９０８において、識別された範囲から特定のエフェメラルポート値を選択し得る。

特定の実装形態では、異なる範囲の割当ての実施は顧客に委ねられてもよい。他のいくつかの実装形態では、ＣＳＰＩのコンポーネント（例えば、ＶＣＮ制御プレーン）は、割当てを制御して当該割当てをＮＶＤに分散させてもよく、これにより、範囲に実効性をもたせてもよい。例えば、パケットを受信すると、ＮＶＤは、発信する計算インスタンスに割当てられたエフェメラルポート値の範囲を決定し得るとともに、９０８において、パケットのためのソースポート値として用いられるべきポート値をこの範囲から選択し得る。

他のいくつかの実装形態では、選択されたエフェメラルポートが競合しないことを確実にする役割を果たすサービス（「エフェメラルポートサービス」）がＣＳＰＩによって提供され得る。当該サービスは、マルチアタッチＩＰアドレスを有する複数の計算インスタンスのために割当てることができるエフェメラルポート値のセットを記憶するデータベースへのアクセスを有し得る。データベースは、ＶＣＮ制御プレーンによって維持されてもよく、マルチアタッチＩＰアドレスにアタッチされた複数の計算インスタンス間で共有されてもよい。ＮＶＤが、マルチアタッチＩＰアドレスを有する特定のサーバ計算インスタンスからパケットを受信すると、ＮＶＤは、特定の期間にわたってエフェメラルポートのセット上でリースを要求する要求をこのサービスに送信し得る。サービスは、データベースに記憶された情報を用いて、割当てられたポートがマルチアタッチＩＰアドレスを有する他のどの計算インスタンスによっても確実に使用されないようにしながら、１つ以上のポートを要求元に割当てることによって応答し得る。加えて、サービスは、サーバ計算インスタンスに既に割当てられているポートが、同じＩＰアドレスがアタッチされている他の計算インスタンスからのパケットを処理するために他の要求側ＮＶＤに割当てられないことを確実にし得る。この技術により、ポートのシャーディングを動的に実行することが可能となる。共有されたデータベースは、この動的なシャーディング技術を実装する１つの方法である。他の実施形態では、メモリ内分散データストア等の他の技術が用いられてもよい。

他のいくつかの実装形態では、顧客は、同じオーバーレイＩＰアドレスがアタッチされている計算インスタンスから生じるパケットについてのソースポートの一意性を確実にすることが課されている可能性もある。

９１０では、パケットのソースポートフィールドは、９０８において識別されたエフェメラルポート値に設定される。特定の実装形態では、９０２において受信されたパケットは、そのソースポートフィールド内に既に値を有していてもよい。９０８で判断されたポート値が既存の値と異なる場合、ポートアドレス変換（port address translation：ＰＡＴ）が実行され、既存の値が９０８において判断されたポート値と置換えられる。９０８および９１０において実行される処理は、同じＩＰアドレスにアタッチされた計算インスタンスからアウトバウンドで送信されるすべてのトラフィックについて、ソースＩＰアドレスとソースポートとを組合せることで複数の計算インスタンスから特定の計算インスタンスを一意に識別することを確実にする。次いで、処理は図９Ｂの９２０へ進む。

９２０では、９０２においてサーバ計算インスタンスからパケットを受信するＮＶＤが、パケットの宛先ＩＰアドレス（ここで、宛先ＩＰアドレスはパケットの意図されたクライアント受信側を識別する）に基づいて、パケットが送信される先の特定の物理ＩＰアドレスを決定する。特定の物理ＩＰアドレスは、クライアントの宛先オーバーレイＩＰアドレスを物理ＩＰアドレスにマッピングするＮＶＤによって記憶されたルーティングテーブルから決定され得る。特定の物理ＩＰアドレスは、意図されたクライアント受信側に関連付けられたＮＶＤのアドレスであり得る。例えば、図６Ａまたは図６Ｂにおいては、パケットの意図された宛先がクライアント６０６である場合、パケットの宛先ＩＰフィールドによりオーバーレイＩＰアドレス「Ｃ」を識別し、９２０において、クライアント６０６に関連付けられたＮＶＤ６０８の物理ＩＰアドレス（「Ｄ」）を決定する。

特定の実装形態では、パケットが特定のネットワークフローに対応する応答パケットである場合、ＮＶＤは、サーバ計算インスタンスにインバウンドされるそのＮＶＤによって対処されるトラフィックフローに対応するフローテーブルを維持し得る。そのようなフローごとに、フローテーブル情報は、受信されたトラフィックフローの物理ＩＰアドレスを識別し得る。サーバ計算インスタンスからのアウトバウンド方向では、ＮＶＤは、パケットが属するネットワークフローを決定し、フローテーブル内のこのフローを識別し、次いで、このネットワークフローについてのフロー情報を用いて、計算インスタンスにインバウンドされたパケットのソースであった特定の物理ＩＰアドレスを決定し得る。次いで、この特定の物理ＩＰアドレスは、サーバ計算インスタンスからアウトバウンドされたパケットが送信されるべきＩＰアドレスとして識別される。他のいくつかの実装形態では、ＮＶＤは、オーバーレイＩＰアドレスを物理ＩＰアドレスにマッピングするＩＰマッピングテーブルを有し得るとともに、このマッピングテーブルから特定の物理ＩＰアドレスを決定し得る。さらに他の実装形態では、ＮＶＤは、アウトバウンドパケットの宛先についてのネクストホップパス情報を提供する転送テーブルまたはルーティングテーブルを用いて、ネクストホップ物理ＩＰアドレスを決定し得る。例えば、ＮＶＤは、ネクストホップの物理ＩＰアドレスを識別するために、ルーティングテーブル内を検索してもよい。

９２２では、トンネリングプロトコルを用いて、９０２でパケットを受信したＮＶＤから、９２０で決定された物理ＩＰアドレスに関連付けられたＮＶＤにパケットを通信する。ＩＰ－ｉｎ－ＩＰ（または汎用ルーティングカプセル化（ＧＲＥ））、仮想拡張可能ＬＡＮ（ＶｘＬＡＮ－ＩＥＴＦ ＲＦＣ７３４８）、仮想プライベートネットワーク（ＶＰＮ）（例えば、ＭＰＬＳレイヤ３仮想プライベートネットワーク（ＲＦＣ４３６４））、ＶＭｗａｒｅ′ｓ ＮＳＸ、ＧＥＮＥＶＥ（汎用ネットワーク仮想化カプセル化）等の様々な異なるトンネリングプロトコルが使用され得る。トンネリングは、典型的には、受信されたパケットを１つ以上のヘッダ内にカプセル化することを含み、ヘッダ内の情報は、物理ネットワーク６１０を介して送信側ＮＶＤから受信側ＮＶＤにパケットを通信するために用いられる。仮想化ネットワークにおけるトンネリングは、ブロードキャストドメインまたは物理ネットワークによって無制限にされているとともに送信側ＮＶＤによって受信された元のパケットに変更を加えることなく、あるエンドポイント（例えば、パケットを送信するＮＶＤ）から別のエンドポイント（例えば、パケットを受信するＮＶＤ）にトラフィックを通信することを可能にする。パケットのカプセル化に関する処理は、送信側ＮＶＤによって実行される。例えば、図６Ａまたは図６Ｂでは、計算インスタンス＃２ ６０２－２からＮＶＤ－Ｓ＃２ ６０４－２によって受信されたパケットの場合、パケットカプセル化はＮＶＤ－Ｓ＃２ ６０４－２によって実行される。パケットがＮＶＤ６０８の物理ＩＰアドレス「Ｄ」に送信されるべきであると判断された場合、トンネリングプロトコルを用いて、パケットをＮＶＤ６０４－２から物理ＩＰアドレス「Ｄ」に関連付けられたＮＶＤ－クライアント６０６に通信する。

９２４では、９２２においてパケットが送信された先の物理ＩＰアドレスに関連付けられたＮＶＤがパケットを受信する。例えば、パケットが物理ＩＰアドレス「Ｄ」に送信された場合、ＮＶＤ－クライアント６０８がパケットを受信する。９２６では、９２４においてパケットを受信するＮＶＤは、次いで、意図されたクライアント受信側にパケットを転送する。例えば、図６Ａでは、ＮＶＤ６０８は、パケットをクライアント６０６に転送する。クライアントによって受信されたパケットは、固有のソースＩＰアドレスおよびソースポートの組合わせを有するので、クライアントは、サーバ計算インスタンスから受信したパケットに応答することができ、特定のサーバ計算インスタンスがマルチアタッチＩＰアドレスにアタッチされている場合であっても、クライアントの応答パケットは、パケットを送信する正しい特定のサーバ計算インスタンスに適切に転送される。

上述のように、オーバーレイＩＰアドレスは複数の計算インスタンスにアタッチすることができる。特定の実装形態では、これは、同じオーバーレイＩＰを複数のＶＮＩＣにアタッチすることによって行われ、オーバーレイＩＰアドレスが、結果として、ＶＮＩＣに関連付けられた計算インスタンスにアタッチされる。オーバーレイネットワーク内のコンポーネントは、マルチアタッチＩＰアドレスを用いて当該マルチアタッチＩＰアドレスにアタッチされた複数の計算インスタンスにわたってトラフィックを分散させることができるように構成されており、これはすべて、如何なるロードバランサ、ロードバランシングサービス、または如何なる複雑なルーティングテーブルも用いることなく達成される。その結果、ロードバランサを用いることによってもたらされる複雑さおよび待ち時間が回避される。マルチアタッチＩＰアドレスに向けられたパケットの分散は、ＩＰアドレスがアタッチされる複数のサーバ計算インスタンスを提供する顧客にとって透過的である。アーキテクチャはまた、コンシステントハッシュ技術等を含む様々な異なるハッシュ技術を用いて、ステートフルまたはステートレスな方法を用いて処理を実行することができるという点で、多くの柔軟性を提供する。

クライアントは、マルチアタッチＩＰアドレスにパケットを送信することによって、マルチアタッチＩＰアドレスにアタッチされたサーバ計算インスタンスとの新しい通信または接続を開始することができる。クライアントが開始した通信を受信するサーバ計算インスタンスは、１つ以上の応答パケットをクライアントに送信することによって、クライアントが開始した通信に応答することができる。加えて、マルチアタッチＩＰアドレスにアタッチされたサーバ計算インスタンスはまた、１つ以上のクライアントとの新しい通信または接続を開始することができ、この場合、新しい通信または接続要求は、クライアントからのそれ以前の通信に応答しない。サーバ計算インスタンスが開始した通信を受信するクライアントは通信に応答することができ、当該応答は、通信を開始した特定のサーバ計算インスタンスに適切に転送される。

顧客の観点から、単一のオーバーレイＩＰアドレスは、複数のＶＮＩＣと、ＶＮＩＣに関連付けられた計算インスタンスとに自動的にアタッチされ、マルチアタッチＩＰアドレス宛てのトラフィックは、複数の計算インスタンスにわたって透過的に分散される。さらに、複数のインターフェイスおよび計算インスタンスにアタッチされるＩＰアドレスは、如何なるロードバランサも用いることなく、またはロードバランシング機能を提供する如何なる明示的なサービスも活用することなく、かつ顧客が自身らの計算インスタンスまたはアプリケーションに如何なる変更も加える必要なく、スケーリングされる。ロードバランサに関連するコストおよび技術的複雑さが回避される。顧客は、マルチアタッチＩＰアドレスの背後にあるサービスをホストすることができ、さらに、ＩＰアドレスは、各サーバ計算インスタンスがどのくらいのトラフィックおよびどれだけの接続を処理すべきかまたは処理することが予想されるかに応じて、顧客が所望するとおりに、ＩＰアドレスを高度に利用可能かつ無限にスケーラブルにするやり方で、複数の計算インスタンスにわたってスケーリングさせることができる。このスケーラビリティは、顧客が多数のクライアントにサービスを提供することを可能にし、１つ以上の計算インスタンスを追加または除去し、同じマルチアタッチＩＰアドレスを計算インスタンスにアタッチするだけで非常に容易にスケールアップまたはスケールダウンすることを可能にし、これはすべて、ロードバランサまたは複雑なトラフィック分散方式に依存することなく達成される。

オーバーレイネットワークにおける等コストマルチパス（ＥＣＭＰ）
上述したように、オーバーレイＩＰアドレスは、任意のロードバランサまたは複雑なルーティング技術を用いることなく、複数の計算インスタンスに関連付けられた複数のＶＮＩＣにオーバーレイＩＰアドレスをアタッチすることによって仮想ネットワークにおいてスケーリングされ得る。特定の実装形態では、ＩＰはまた、オーバーレイネットワークにおいてＥＣＭＰ技術を用いて仮想ネットワーキング環境においてスケーリングされ得る。

従来の物理ネットワーキング環境では、ＥＣＭＰは、コストが等しい複数の経路にわたって（例えば、同じ接続またはセッションの場合に）同じ送信側と受信側との間でトラフィックをルーティングするルーティング戦略である。これにより、トラフィックを複数の経路にわたって負荷分散することが可能となり、したがって、利用可能な帯域幅のより適切な利用が提供されることとなる。特定の実施形態では、本明細書に記載のとおり、ＥＣＭＰ技術は、ＩＰアドレスをスケーリングするために仮想化ネットワーキング環境において（例えば、オーバーレイネットワークにおいて）用いられる。

図１０は、特定の実施形態に従った、クラウドサービスプロバイダによって提供されるＣＳＰＩによってホストされ得るとともに、ＥＣＭＰ技術を用いるがロードバランサを用いることなくＩＰアドレスのスケーリングを可能にする、分散型仮想化マルチテナントクラウド環境１０００の一例を示す。図１０に示す分散環境１０００は、図６Ａに示すコンポーネントと同様のいくつかのコンポーネントを有し、これらのコンポーネントは、図６Ａと同じ参照番号を用いて参照される。

図１０に示す分散環境１０００は単なる一例に過ぎず、特許請求される実施形態の範囲を過度に限定することを意図するものではない。多くの変形例、代替例および変更例が実現可能である。例えば、いくつかの実装形態では、分散環境１０００は、図１０に示すよりも多いかまたは少ないシステムまたはコンポーネントを有し得るか、２つ以上のシステムを組合わせ得るか、または異なる構成もしくは配置のシステムを有し得る。図１０に示すシステム、サブシステム、および他のコンポーネントは、ハードウェアまたはそれらの組合せを用いて、それぞれのシステムの１つ以上の処理ユニット（例えば、プロセッサ、コア）によって実行されるソフトウェア（例えば、コード、命令、プログラム）で実装され得る。ソフトウェアは、非一時的な記憶媒体上に（例えば、メモリデバイス上に）記憶され得る。

図６Ａとは異なり、ＩＰマッピングテーブルおよびフローテーブルの代わりに、図１０の実施形態は転送テーブル１００２を用いる。転送テーブルは、マルチアタッチＩＰアドレスにアタッチされるサーバ計算インスタンスに関連付けられたＮＶＤへの複数のアクティブなネクストホップルートを識別する。例えば、図１０に示すように、転送テーブル１００２は、マルチアタッチＩＰアドレス（例えば、マルチアタッチＩＰアドレス「Ｂ」）にアタッチされた複数のサーバ計算インスタンス６０２－１～６０２－Ｎに関連付けられたＮＶＤ６０４－１～６０４－Ｎへの複数のネクストホップパスを含む。マルチアタッチＩＰアドレス「Ｂ」に「Ｎ」個の計算インスタンスがアタッチされているので、転送テーブル１００２には「Ｎ」個のエントリがあり、各エントリは、ネットワークフローに対応するフローハッシュ値と、サーバ計算インスタンスに対応するネクストホップＮＶＤの物理ＩＰアドレスとを識別する。各エントリは、ネクストホップＮＶＤへのＶＣＮトンネルを識別する。同じマルチアタッチＩＰアドレス「Ｂ」を有する「Ｎ」個の計算インスタンスがあるので、「Ｎ」個のネットワークフローを表わす「Ｎ」個のハッシュ値があり、ここで、各ハッシュ値は特定のネクストホップＮＶＤへの特定の経路に関連付けられている。このようにして、転送テーブルは、サーバ計算インスタンスに関連付けられたＮＶＤの各々とＮＶＤへのＶＣＮトンネルとの間の１対１の関係を識別する。このように、転送テーブルでは、１つのオーバーレイＩＰアドレス（例えばＩＰアドレス「Ｂ」）が複数のネクストホップにマッピングされる。

例えば、エントリ「B-flow hash #1 - VCN-Tunnel-To-A.1」は、「Ｂ」の宛先オーバーレイＩＰアドレスについて、転送されるべきパケット内の特定のフィールドのハッシュ値が（ネットワークフロー＃１を表わす）「フローハッシュ＃１」である場合、パケットのネクストホップが物理ＩＰアドレスＡ．１を有するＮＶＤであり、Ａ．１へのＶＣＮトンネルがパケットを転送するために用いられるべきであることを示している。別の例として、エントリ「B-flow hash #2 VCN-Tunnel-To-A.2」は、「Ｂ」の宛先ＩＰアドレスについて、転送されるべきパケット内の特定のフィールドのハッシュ値が（ネットワークフロー＃２を表わす）「フローハッシュ＃２」である場合、パケットのネクストホップが物理ＩＰアドレスＡ．２を有するＮＶＤであり、Ａ．２へのＶＣＮトンネルがパケットを転送するために用いられるべきであることを示している。

上述のように、パケットの特定のフィールドをハッシュすることに基づくハッシュ値は、様々なネットワークフローを表わす。これらのハッシュ値は、特定のネクストホップに対するインデックスとしての役割を果たす。特定のネットワークフローに属するパケットの場合、すなわちハッシュ値が同じであるパケットの場合、パケットは、処理のために同じＮＶＤに、したがって同じサーバ計算インスタンスに通信される。例えば、図１０において、ハッシュ値「フローハッシュ＃２」にハッシュするＮＶＤ６０８によって受信された全てのパケットの場合、ネクストホップは「VCN-tunnel-to-A.2」である。したがって、これらのパケットはすべて、Ａ．２の物理ＩＰアドレスを有するＮＶＤ６０４－２に送信され、ＮＶＤ６０４－２は、次いで、パケットをサーバ計算インスタンス６０２－２に転送する。

特定の実装形態では、マルチアタッチＩＰアドレスに関連付けられた複数のネクストホップに関する情報は、複数のサーバ計算インスタンスを提供する顧客によって提供される。当該情報は、例えば、ＣＳＰＩによって提供されるコンソールを介して、コマンドラインインターフェイス、ＡＰＩ等を介して提供され得る。この情報は、ＶＣＮ制御プレーン６１６によって受信され、ＶＣＮ制御プレーンは、次いで、転送テーブル１００２等の転送テーブルを生成し、これらの転送テーブルをオーバーレイネットワーク内のＮＶＤに分散させる。

特定の実装形態では、複数のルートに関する情報は、ボーダーゲートウェイプロトコル（Border Gateway Protocol：ＢＧＰ）等の標準的なルーティングプロトコルを用いて取得され得る。この情報はＢＧＰを用いてＮＶＤに送信され得る。

図１１は、特定の実施形態に従った、ＥＣＭＰ技術を用いてオーバーレイネットワーク内のＩＰアドレスをスケーリングするための処理を示す簡略化されたフローチャート１１００を示す。図１１に示す処理は、ハードウェア、またはそれらの組合せを用いて、それぞれのシステムの１つ以上の処理ユニット（例えば、プロセッサ、コア）によって実行されるソフトウェア（例えば、コード、命令、プログラム）で実装され得る。ソフトウェアは、非一時的な記憶媒体上に（例えば、メモリデバイス上に）記憶され得る。図１１に示すとともに以下に記載する方法は、例示的なものであり非限定的であるよう意図されている。図１１は、特定のシーケンスまたは順序で行なわれる様々な処理ステップを示すが、これは限定することを意図するものではない。特定の代替的な実施形態では、処理はいくつかの異なる順序で実行されてもよく、またはいくつかのステップが並行して実行されてもよい。

図１１の処理ステップのいくつかは、図７Ａ、図７Ｂおよび図８に示す処理ステップと同様である。例えば、１１０２および１１０４で実行される処理は、それぞれ図７Ａの７０２および７０４で実行される上述の処理と同様である。１１０６では、クライアントＮＶＤは、その転送テーブル内のエントリに基づいて、受信されたパケットの宛先オーバーレイＩＰアドレスのための複数のネクストホップパスがあると判断する。１１０８における処理は図８の８０８における処理と同様であって、クライアントＮＶＤが、受信されたパケットの１つ以上のフィールドのコンテンツをハッシュすることによってハッシュ値を生成し、生成されたハッシュ値により特定のネットワークフローを識別する。

１１１０では、受信されたパケットのオーバーレイ宛先ＩＰアドレスに基づいて、かつ、１１０８において生成されたハッシュ値に基づいて、クライアントＮＶＤは、転送テーブル内の宛先ＩＰアドレスに関連付けられた複数のネクストホップパスの中から特定のネクストホップパスを決定する。１１１０にて識別された特定のネクストホップパスは、特定の物理ＩＰアドレスへのＶＣＮトンネルを識別し、特定の物理ＩＰアドレスは、同じオーバーレイＩＰアドレスに関連付けられた複数のサーバ計算インスタンスの中から特定のサーバ計算インスタンスに関連付けられた特定のＮＶＤのアドレスである。例えば、図１０において、受信したパケットの宛先ＩＰアドレスを「Ｂ」とし、１１０８で生成したハッシュ値を「Flow Hash#2」とすると、転送テーブル１００２内の情報に基づけば、ＮＶＤによって選択されるネクストホップパスは、パケットが送信される先のＮＶＤの物理ＩＰアドレスとしてＡ．２を識別する「VCN-Tunnel-to-A.2」である。

次いで、トンネリングプロトコルを用いて、１１０４でパケットを受信するＮＶＤから、１１１０で決定されてパケットのネクストホップとして識別された特定の物理ＩＰアドレスに関連付けられたＮＶＤに、パケットを送信する。１１２６、１１２８、および１１３０における処理は、図７Ｂに示すとともに上述した７２６、７２８、および７３０における処理と同様である。

上述したように、ＥＣＭＰ技術を用いて、オーバーレイネットワーク内のＩＰアドレスをスケーリングしてもよい。マルチアタッチＩＰアドレス実装形態について上述した特徴および機能の多くも適用され、ＥＣＭＰ実装形態において利用可能である。例えば、単一のオーバーレイＩＰアドレスに関連付けられた計算インスタンスは、クライアントとの新しい接続または通信を開始することができ、クライアントはそれらの通信に応答することができる。例えば、図９Ａおよび図９Ｂに示すとともに上述した処理はＥＣＭＰベースの実装形態にも適用される。

ｎ－ｗａｙｓ ＥＣＭＰ、フローベースのトラフィック分散を伴うＥＣＭＰ、フローベースのトラフィック分散を伴う「重み付けされた」ＥＣＭＰを含む、様々な異なる種類のＥＣＭＰ技術が使用され得る。特定の実装形態では、ネクストホップの健全性を判断するために健全性チェックが追加されてもよい。健全性チェックは、ＮＶＤ間のピアツーピアであり得るか、または集中型サービスから開始され得る。ルートヘルスインジェクション（Route-Health-Injection：ＲＨＩ）のための動的ルーティングを伴うＥＣＭＰが提供されてもよい。

クラウドアーキテクチャの例
上述したように、ＩａａＳ（Infrastructure as a Service）は、１つの特定の種類のクラウドコンピューティングである。ＩａａＳは、パブリックネットワーク（例えば、インターネット）を介して仮想化計算リソースを提供するように構成され得る。ＩａａＳモデルでは、クラウドコンピューティングプロバイダは、インフラストラクチャコンポーネント（例えば、サーバ、記憶装置、ネットワークノード（例えば、ハードウェア）、展開ソフトウェア、プラットフォーム仮想化（例えば、ハイパーバイザ層）など）をホストすることができる。場合によっては、ＩａａＳプロバイダは、インフラストラクチャコンポーネントに付随する様々なサービス（例えば、課金、監視、ロギング、負荷分散およびクラスタリングなど）を提供し得る。したがって、これらのサービスがポリシー駆動型であり得るため、ＩａａＳユーザは、アプリケーションの可用性および性能を維持するために、負荷分散を駆動するためのポリシーを実装可能であり得る。

いくつかの例において、ＩａａＳ顧客は、インターネットなどのワイドエリアネットワーク（ＷＡＮ）を介してリソースおよびサービスにアクセスし得るとともに、クラウドプロバイダのサービスを使用してアプリケーションスタックの残りの要素をインストールすることができる。例えば、ユーザは、ＩａａＳプラットフォームにログインして、仮想マシン（ＶＭ）を作成し、各ＶＭにオペレーティングシステム（ＯＳ）をインストールし、データベースなどのミドルウェアを展開し、ワークロードおよびバックアップの記憶バケットを作成し、ＶＭに企業ソフトウェアをインストールすることができる。顧客は、プロバイダのサービスを使用して、ネットワークトラフィックのバランシング、アプリケーション問題のトラブルシューティング、パフォーマンスの監視、災害復旧の管理などを含む様々な機能を実行することができる。

殆どの場合、クラウドコンピューティングモデルは、クラウドプロバイダの関与を必要とする。クラウドプロバイダは、ＩａａＳの提供（例えば、オファー、レンタル、販売）に特化した第３者サービスであってもよいが、その必要はない。また、企業は、プライベートクラウドを展開し、インフラストラクチャサービスを提供するプロバイダになることもできる。

いくつかの例において、ＩａａＳの展開は、用意したアプリケーションサーバなどに新しいアプリケーションまたは新しいバージョンのアプリケーションを展開するプロセスである。ＩａａＳの展開は、サーバを用意する（例えば、ライブラリ、デーモンなどをインストールする）プロセスを含んでもよい。ＩａａＳの展開は、多くの場合、クラウドプロバイダによって、ハイパーバイザ層（例えば、サーバ、記憶装置、ネットワークハードウェア、および仮想化）の下で管理される。したがって、顧客は、（ＯＳ）、ミドルウェア、および／またはアプリケーションの展開（例えば、（例えば、オンデマンドでスピンアップできる）セルフサービス仮想マシン）などに対処する役割を果たし得る。

いくつかの例において、ＩａａＳのプロビジョニングは、使用されるコンピュータまたは仮想ホストを取得すること、およびコンピュータまたは仮想ホスト上に必要なライブラリまたはサービスをインストールすることを指し得る。殆どの場合、展開は、プロビジョニングを含まず、まずプロビジョニングを実行する必要があるかもしれない。

場合によっては、ＩａａＳのプロビジョニングには２つの異なる課題がある。第１に、何かを実行する前に、インフラストラクチャの初期セットをプロビジョニングするという課題がある。第２に、全てのものをプロビジョニングした後に、既存のインフラストラクチャを進化させる（例えば、新しいサービスの追加、サービスの変更、サービスの削除）という課題がある。場合によっては、インフラストラクチャの構成を宣言的に定義することを可能にすることによって、これらの２つの課題に対処してもよい。言い換えれば、インフラストラクチャ（例えば、どのコンポーネントが必要とされるか、およびこれらのコンポーネントがどのように相互作用するか）は、１つ以上の構成ファイルによって定義され得る。したがって、インフラストラクチャの全体的なトポロジ（例えば、どのリソースがどれに依存し、どのように連携するか）は、宣言的に記述することができる。いくつかの例において、トポロジが定義されると、構成ファイルに記述された異なるコンポーネントを作成および／または管理するワークフローを生成することができる。

いくつかの例において、インフラストラクチャは、多くの相互接続された要素を含み得る。例えば、コアネットワークとしても知られている１つ以上の仮想プライベートクラウド（ＶＰＣ）（例えば、構成可能な計算リソースおよび／または共有されている計算リソースの潜在的なオンデマンドプール）が存在してもよい。いくつかの例において、ネットワークのインバウンドトラフィックおよび／またはアウトバウンドトラフィックがどのように設定されるかを定義するためにプロビジョニングされる１つ以上のインバウンド／アウトバウンドトラフィックグループルールと、１つ以上の仮想マシン（ＶＭ）とが存在する可能性がある。ロードバランサ、データベースなどの他のインフラストラクチャ要素もプロビジョニングされてもよい。ますます多くのインフラストラクチャ要素が望まれるおよび／または追加されるにつれて、インフラストラクチャは漸進的に進化し得る。

いくつかの例において、様々な仮想コンピューティング環境にわたってインフラストラクチャコードの展開を可能にするために、連続展開技術を採用してもよい。また、記載された技術は、これらの環境内のインフラストラクチャ管理を可能にすることができる。いくつかの例において、サービスチームは、１つ以上の、通常多くの様々な生産環境（例えば、時には全世界に及ぶ種々の異なる地理的場所にわたって）に展開されることが望まれるコードを書き込むことができる。しかしながら、いくつかの例において、コードを展開するためのインフラストラクチャを最初に設定しなければならない。いくつかの例において、プロビジョニングは、手動で行うことができ、プロビジョニングツールを用いてリソースをプロビジョニングしてもよく、および／またはインフラストラクチャをプロビジョニングした後に、展開ツールを用いてコードを展開してもよい。

図１２は、少なくとも１つの実施形態に従った、ＩａａＳアーキテクチャの例示的なパターンを示すブロック図１２００である。サービスオペレータ１２０２は、仮想クラウドネットワーク（ＶＣＮ）１２０６およびセキュアホストサブネット１２０８を含み得るセキュアホストテナンシ１２０４に通信可能に接続され得る。いくつかの例において、サービスオペレータ１２０２は、１つ以上のクライアントコンピューティングデバイスを使用し得る。１つ以上のクライアントコンピューティングデバイスは、例えば、Microsoft Windows Mobile（登録商標）のようなソフトウェア、および／またはｉＯＳ、Windowsフォン、アンドロイド（登録商標）、ブラックベリー８およびパームＯＳなどのさまざまなモバイルオペレーティングシステムを実行するとともに、インターネット、電子メール、ショートメッセージサービス（ＳＭＳ）、ブラックベリー（登録商標）または他の通信プロトコルが有効化された手持ち式携帯装置（例えば、iPhone（登録商標）、携帯電話、Ipad（登録商標）、タブレット、携帯情報端末（ＰＤＡ）またはウェアラブル装置（Google（登録商標）Glass（登録商標）ヘッドマウントディスプレイ）であってもよい。代替的には、クライアントコンピューティングデバイスは、Microsoft Windows（登録商標）オペレーティングシステム、Apple Macintosh（登録商標）オペレーティングシステムおよび／またはLinux（登録商標）オペレーティングシステムのさまざまなバージョンを実行するパーソナルコンピュータおよび／またはラップトップコンピュータを含む汎用のパーソナルコンピュータであってもよい。クライアントコンピューティングデバイスは、例えば、さまざまなGNU/Linuxオペレーティングシステム、例えば、Google Chrome（登録商標）ＯＳを含むがこれに限定されない市販のUNIX（登録商標）またはUNIXに類似するさまざまなオペレーティングシステムを実行するワークステーションコンピュータであってもよい。代替的にまたは付加的には、クライアントコンピューティングデバイスは、ＶＣＮ１２０６および／またはインターネットにアクセスできるネットワークを介して通信可能な他の電子機器、例えば、シンクライアントコンピュータ、インターネット対応のゲームシステム（例えば、Kinect（登録商標）ジェスチャ入力装置を備えるかまたは備えないMicrosoft Xbox（登録商標）ゲームコンソール）、および／またはパーソナルメッセージング装置であってもよい。

ＶＣＮ１２０６は、ＳＳＨ ＶＣＮ１２１２に含まれるＬＰＧ１２１０を介して、セキュアシェル（ＳＳＨ）ＶＣＮ１２１２に通信可能に接続できるローカルピアリングゲートウェイ（ＬＰＧ）１２１０を含み得る。ＳＳＨ ＶＣＮ１２１２は、ＳＳＨサブネット１２１４を含み得るとともに、ＳＳＨ ＶＣＮ１２１２は、制御プレーンＶＣＮ１２１６に含まれるＬＰＧ１２１０を介して、制御プレーンＶＣＮ１２１６に通信可能に接続され得る。また、ＳＳＨ ＶＣＮ１２１２は、ＬＰＧ１２１０を介して、データプレーンＶＣＮ１２１８に通信可能に接続され得る。制御プレーンＶＣＮ１２１６およびデータプレーンＶＣＮ１２１８は、ＩａａＳプロバイダによって所有および／または運営され得るサービステナンシ１２１９に含まれ得る。

制御プレーンＶＣＮ１２１６は、境界ネットワーク（例えば、企業イントラネットと外部ネットワークとの間の企業ネットワークの部分）として機能する制御プレーンＤＭＺ（demilitarized zone）層１２２０を含み得る。ＤＭＺベースのサーバは、特定の信頼性を有し、セキュリティ侵害を封じ込め得る。さらに、ＤＭＺ層１２２０は、１つ以上のロードバランサ（ＬＢ）サブネット１２２２と、アプリサブネット１２２６を含み得る制御プレーンアプリ層１２２４と、データベース（ＤＢ）サブネット１２３０（例えば、フロントエンドＤＢサブネットおよび／またはバックエンドＤＢサブネット）を含み得る制御プレーンデータ層１２２８とを含み得る。制御プレーンＤＭＺ層１２２０に含まれたＬＢサブネット１２２２は、制御プレーンアプリ層１２２４に含まれるアプリサブネット１２２６と制御プレーンＶＣＮ１２１６に含まれ得るインターネットゲートウェイ１２３４とに通信可能に接続されてもよく、アプリサブリ１２２６は、制御プレーンデータ層１２２８に含まれるＤＢサブネット１２３０と、サービスゲートウェイ１２３６と、ネットワークアドレス変換（ＮＡＴ）ゲートウェイ１２３８とに通信可能に接続されてもよい。制御プレーンＶＣＮ１２１６は、サービスゲートウェイ１２３６およびＮＡＴゲートウェイ１２３８を含み得る。

制御プレーンＶＣＮ１２１６は、アプリサブネット１２２６を含み得るデータプレーンミラーアプリ層１２４０を含み得る。データプレーンミラーアプリ層１２４０に含まれたアプリサブネット１２２６は、計算インスタンス１２４４を実行することができる仮想ネットワークインターフェイスコントローラ（ＶＮＩＣ）１２４２を含み得る。計算インスタンス１２４４は、データプレーンミラーアプリ層１２４０のアプリサブネット１２２６を、データプレーンアプリ層１２４６に含まれ得るアプリサブネット１２２６に通信可能に接続することができる。

データプレーンＶＣＮ１２１８は、データプレーンアプリ層１２４６と、データプレーンＤＭＺ層１２４８と、データプレーンデータ層１２５０とを含み得る。データプレーンＤＭＺ層１２４８は、データプレーンアプリ層１２４６のアプリサブネット１２２６およびデータプレーンＶＣＮ１２１８のインターネットゲートウェイ１２３４に通信可能に接続され得るＬＢサブネット１２２２を含み得る。アプリサブネット１２２６は、データプレーンＶＣＮ１２１８のサービスゲートウェイ１２３６およびデータプレーンＶＣＮ１２１８のＮＡＴゲートウェイ１２３８に通信可能に接続され得る。また、データプレーンデータ層１２５０は、データプレーンアプリ層１２４６のアプリサブネット１２２６に通信可能に接続され得るＤＢサブネット１２３０を含み得る。

制御プレーンＶＣＮ１２１６のインターネットゲートウェイ１２３４およびデータプレーンＶＣＮ１２１８のインターネットゲートウェイ１２３４は、パブリックインターネット１２５４に通信可能に接続され得るメタデータ管理サービス１２５２に通信可能に接続され得る。パブリックインターネット１２５４は、制御プレーンＶＣＮ１２１６のＮＡＴゲートウェイ１２３８およびデータプレーンＶＣＮ１２１８のＮＡＴゲートウェイ１２３８に通信可能に接続され得る。制御プレーンＶＣＮ１２１６のサービスゲートウェイ１２３６およびデータプレーンＶＣＮ１２１８のサービスゲートウェイ１２３６は、クラウドサービス１２５６に通信可能に接続され得る。

いくつかの例において、制御プレーンＶＣＮ１２１６またはデータプレーンＶＣＮ１２１８のサービスゲートウェイ１２３６は、パブリックインターネット１２５４を経由することなく、クラウドサービス１２５６へのアプリケーションプログラミングインターフェイス（ＡＰＩ）呼び出しを行うことができる。サービスゲートウェイ１２３６からのクラウドサービス１２５６へのＡＰＩ呼び出しは、一方向であり得る。サービスゲートウェイ１２３６は、クラウドサービス１２５６へのＡＰＩ呼び出しを行うことができ、クラウドサービス１２５６は、要求データをサービスゲートウェイ１２３６に送信することができる。しかしながら、クラウドサービス１２５６は、サービスゲートウェイ１２３６へのＡＰＩ呼び出しを開始しないことがある。

いくつかの例において、セキュアホストテナンシ１２０４は、独立している可能性もあるサービステナンシ１２１９に直接に接続され得る。セキュアホストサブネット１２０８は、独立したシステムとの双方向通信を可能にするＬＰＧ１２１０を介して、ＳＳＨサブネット１２１４と通信することができる。セキュアホストサブネット１２０８をＳＳＨサブネット１２１４に接続することによって、セキュアホストサブネット１２０８は、サービステナンシ１２１９内の他のエンティティにアクセスし得る。

制御プレーンＶＣＮ１２１６は、サービステナンシ１２１９のユーザが所望のリソースを設定またはプロビジョニングすることを可能にし得る。制御プレーンＶＣＮ１２１６においてプロビジョニングされた所望のリソースは、データプレーンＶＣＮ１２１８において展開または使用されてもよい。いくつかの例において、制御プレーンＶＣＮ１２１６は、データプレーンＶＣＮ１２１８から隔離することができ、制御プレーンＶＣＮ１２１６のデータプレーンミラーアプリ層１２４０は、データプレーンミラーアプリ層１２４０およびデータプレーンアプリ層１２４６に含まれ得るＶＮＩＣ１２４２を介して、データプレーンＶＣＮ１２１８のデータプレーンアプリ層１２４６と通信することができる。

いくつかの例において、システムのユーザまたは顧客は、要求をメタデータ管理サービス１２５２に通信することができるパブリックインターネット１２５４を介して、例えば、作成、読み取り、更新、または削除（ＣＲＵＤ）操作などの要求を行うことができる。メタデータ管理サービス１２５２は、インターネットゲートウェイ１２３４を介して、要求を制御プレーンＶＣＮ１２１６に通信することができる。要求は、制御プレーンＤＭＺ層１２２０に含まれるＬＢサブネット１２２２によって受信され得る。ＬＢサブネット１２２２は、要求が有効であると判断し得るとともに、この判断に応答して、ＬＢサブネット１２２２は、要求を制御プレーンアプリ層１２２４に含まれるアプリサブネット１２２６に送信することができる。要求が検証され、パブリックインターネット１２５４への呼び出しを必要とする場合、パブリックインターネット１２５４への呼び出しを、パブリックインターネット１２５４への呼び出しを行うことができるＮＡＴゲートウェイ１２３８に送信してもよい。要求によって記憶することが所望され得るメモリは、ＤＢサブネット１２３０に格納され得る。

いくつかの例において、データプレーンミラーアプリ層１２４０は、制御プレーンＶＣＮ１２１６とデータプレーンＶＣＮ１２１８との間の直接通信を容易にすることができる。例えば、構成に対する変更、更新、または他の適切な修正は、データプレーンＶＣＮ１２１８に含まれるリソースに適用されることが望ましい場合がある。制御プレーンＶＣＮ１２１６は、ＶＮＩＣ１２４２を介してデータプレーンＶＣＮ１２１８に含まれるリソースと直接に通信することができるため、構成に対する変更、更新、または他の適切な修正を実行することができる。

いくつかの実施形態において、制御プレーンＶＣＮ１２１６およびデータプレーンＶＣＮ１２１８は、サービステナンシ１２１９に含まれ得る。この場合、システムのユーザまたは顧客は、制御プレーンＶＣＮ１２１６またはデータプレーンＶＣＮ１２１８のいずれかを所有または操作しなくてもよい。代わりに、ＩａａＳプロバイダは、制御プレーンＶＣＮ１２１６およびデータプレーンＶＣＮ１２１８を所有または操作してもよく、これらの両方は、サービステナンシ１２１９に含まれてもよい。この実施形態は、ネットワークの隔離を可能にすることによって、ユーザまたは顧客が他のユーザのリソースまたは他の顧客のリソースと対話することを防止し得る。また、この実施形態は、システムのユーザまたは顧客が、記憶するための所望のレベルの脅威防御を有さない可能性のあるパブリックインターネット１２５４に依存する必要なしに、データベースをプライベートに記憶することを可能にし得る。

他の実施形態において、制御プレーンＶＣＮ１２１６に含まれるＬＢサブネット１２２２は、サービスゲートウェイ１２３６から信号を受信するように構成され得る。この実施形態において、制御プレーンＶＣＮ１２１６およびデータプレーンＶＣＮ１２１８は、パブリックインターネット１２５４を呼び出すことなく、ＩａａＳプロバイダの顧客によって呼び出されるように構成されてもよい。顧客が使用するデータベースは、ＩａａＳプロバイダによって制御され、パブリックインターネット１２５４から隔離され得るサービステナンシ１２１９に格納され得るため、ＩａａＳプロバイダの顧客は、この実施形態を望む場合がある。

図１３は、少なくとも１つの実施形態に従った、ＩａａＳアーキテクチャの別の例示的なパターンを示すブロック図１３００である。サービスオペレータ１３０２（例えば、図１２のサービスオペレータ１２０２）は、仮想クラウドネットワーク（ＶＣＮ）１３０６（例えば、図１２のＶＣＮ１２０６）およびセキュアホストサブネット１３０８（例えば、図１２のセキュアホストサブネット１２０８）を含み得るセキュアホストテナンシ１３０４（例えば、図１２のセキュアホストテナンシ１２０４）に通信可能に結合され得る。ＶＣＮ１３０６は、ＳＳＨ ＶＣＮ１３１２に含まれるＬＰＧ１２１０を介してセキュアシェル（ＳＳＨ）ＶＣＮ１３１２（例えば、図１２のＳＳＨ ＶＣＮ１２１２）に通信可能に結合され得るローカルピアリングゲートウェイ（ＬＰＧ）１３１０（例えば、図１２のＬＰＧ１２１０）を含み得る。ＳＳＨ ＶＣＮ１３１２は、ＳＳＨサブネット１３１４（例えば、図１２のＳＳＨサブネット１２１４）を含み得るとともに、ＳＳＨ ＶＣＮ１３１２は、制御プレーンＶＣＮ１３１６に含まれるＬＰＧ１３１０を介して制御プレーンＶＣＮ１３１６（例えば、図１２の制御プレーンＶＣＮ１２１６）に通信可能に結合することができる。制御プレーンＶＣＮ１３１６は、サービステナンシ１３１９（例えば、図１２のサービステナンシ１２１９）内に含まれ得るとともに、データプレーンＶＣＮ１３１８（例えば、図１２のデータプレーンＶＣＮ１２１８）は、システムのユーザまたは顧客によって所有または運用され得る顧客テナンシ１３２１内に含まれ得る。

制御プレーンＶＣＮ１３１６は、ＬＢサブネット１３２２（例えば、図１２のＬＢサブネット１２２２）を含み得る制御プレーンＤＭＺ層１３２０（例えば、図１２の制御プレーンＤＭＺ層１２２０）と、アプリサブネット１３２６（例えば、図１２のアプリサブネット１２２６）を含み得る制御プレーンアプリ層１３２４（例えば、図１２の制御プレーンアプリ層１２２４）と、データベース（ＤＢ）サブネット１３３０（例えば、図１２のＤＢサブネット１２３０と同様）を含み得る制御プレーンデータ層１３２８（例えば、図１２の制御プレーンデータ層１２２８）とを含み得る。制御プレーンＤＭＺ層１３２０に含まれるＬＢサブネット１３２２は、制御プレーンアプリ層１３２４に含まれるアプリサブネット１３２６と、制御プレーンＶＣＮ１３１６に含まれ得るインターネットゲートウェイ１３３４（例えば、図１２のインターネットゲートウェイ１２３４）とに通信可能に接続され得るとともに、アプリサブネット１３２６は、制御プレーンデータ層１３２８に含まれるＤＢサブネット１３３０、サービスゲートウェイ１３３６（例えば、図１２のサービスゲートウェイ）およびネットワークアドレス変換（ＮＡＴ）ゲートウェイ１３３８（例えば、図１２のＮＡＴゲートウェイ１２３８）に通信可能に接続され得る。制御プレーンＶＣＮ１３１６は、サービスゲートウェイ１３３６およびＮＡＴゲートウェイ１３３８を含み得る。

制御プレーンＶＣＮ１３１６は、アプリサブネット１３２６を含み得るデータプレーンミラーアプリ層１３４０（例えば、図１２のデータプレーンミラーアプリ層１２４０）を含み得る。データプレーンミラーアプリ層１３４０に含まれるアプリサブネット１３２６は、（例えば、図１２の計算インスタンス１２４４と同様の）計算インスタンス１３４４を実行することができる仮想ネットワークインターフェイスコントローラ（ＶＮＩＣ）１３４２（例えば、ＶＮＩＣ１２４２）を含み得る。計算インスタンス１３４４は、データプレーンミラーアプリ層１３４０に含まれるＶＮＩＣ１３４２およびデータプレーンアプリ層１３４６に含まれるＶＮＩＣ１３４２を介して、データプレーンミラーアプリ層１３４０のアプリサブネット１３２６と、データプレーンアプリ層１３４６（例えば、図１２のデータプレーンアプリ層１２４６）に含まれ得るアプリサブネット１３２６との間の通信を促進することができる。

制御プレーンＶＣＮ１３１６に含まれるインターネットゲートウェイ１３３４は、パブリックインターネット１３５４（例えば、図１２のパブリックインターネット１２５４）に通信可能に接続され得るメタデータ管理サービス１３５２（例えば、図１２のメタデータ管理サービス１２５２）に通信可能に接続され得る。パブリックインターネット１３５４は、制御プレーンＶＣＮ１３１６に含まれるＮＡＴゲートウェイ１３３８に通信可能に接続され得る。制御プレーンＶＣＮ１３１６に含まれるサービスゲートウェイ１３３６は、クラウドサービス１３５６（例えば、図１２のクラウドサービス１２５６）に通信可能に接続され得る。

いくつかの例において、データプレーンＶＣＮ１３１８は、顧客テナンシ１３２１に含まれ得る。この場合、ＩａａＳプロバイダは、顧客ごとに制御プレーンＶＣＮ１３１６を提供し得るとともに、ＩａａＳプロバイダは、顧客ごとに、サービステナンシ１３１９に含まれる固有の計算インスタンス１３４４を構成し得る。各計算インスタンス１３４４は、サービステナンシ１３１９に含まれる制御プレーンＶＣＮ１３１６と、顧客テナンシ１３２１に含まれるデータプレーンＶＣＮ１３１８との間の通信を可能にし得る。計算インスタンス１３４４は、サービステナンシ１３１９に含まれる制御プレーンＶＣＮ１３１６においてプロビジョニングされるリソースを、顧客テナンシ１３２１に含まれるデータプレーンＶＣＮ１３１８において展開することまたは使用することを可能にし得る。

他の例において、ＩａａＳプロバイダの顧客は、顧客テナンシ１３２１に存在するデータベースを有し得る。この例において、制御プレーンＶＣＮ１３１６は、アプリサブネット１３２６を含み得るデータプレーンマイナーアプリ層１３４０を含み得る。データプレーンミラーアプリ層１３４０は、データプレーンＶＣＮ１３１８に存在し得るが、データプレーンミラーアプリ層１３４０は、データプレーンＶＣＮ１３１８に存在しなくてもよい。すなわち、データプレーンミラーアプリ層１３４０は、顧客テナンシ１３２１にアクセスすることができるが、データプレーンミラーアプリ層１３４０は、データプレーンＶＣＮ１３１８に存在しなくてもよく、ＩａａＳプロバイダの顧客によって所有または運営されなくてもよい。データプレーンミラーアプリ層１３４０は、データプレーンＶＣＮ１３１８への呼び出しを行うように構成されてもよいが、制御プレーンＶＣＮ１３１６に含まれる任意のエンティティへの呼び出しを行うように構成されなくてもよい。顧客は、制御プレーンＶＣＮ１３１６にプロビジョニングされたデータプレーンＶＣＮ１３１８内のリソースを展開することまたは使用することを所望する可能性があり、データプレーンミラーアプリ層１３４０は、顧客のリソースの所望の展開または他の使用を促進することができる。

いくつかの実施形態において、ＩａａＳプロバイダの顧客は、フィルタをデータプレーンＶＣＮ１３１８に適用することができる。この実施形態において、顧客は、データプレーンＶＣＮ１３１８がアクセスできるものを決定することができ、顧客は、データプレーンＶＣＮ１３１８からのパブリックインターネット１３５４へのアクセスを制限してもよい。ＩａａＳプロバイダは、データプレーンＶＣＮ１３１８から任意の外部ネットワークまたはデータベースへのアクセスにフィルタを適用するかまたは当該アクセスを制御することができない場合がある。顧客が顧客テナンシ１３２１に含まれるデータプレーンＶＣＮ１３１８に対してフィルタおよび制御を適用することは、データプレーンＶＣＮ１３１８を他の顧客およびパブリックインターネット１３５４から隔離することを支援することができる。

いくつかの実施形態において、クラウドサービス１３５６は、サービスゲートウェイ１３３６によって呼び出されて、パブリックインターネット１３５４上に、制御プレーンＶＣＮ１３１６上に、またはデータプレーンＶＣＮ１３１８上に存在していない可能性があるサービスにアクセスすることができる。クラウドサービス１３５６と制御プレーンＶＣＮ１３１６またはデータプレーンＶＣＮ１３１８との間の接続は、ライブまたは連続的でなくてもよい。クラウドサービス１３５６は、ＩａａＳプロバイダによって所有または運営されている別のネットワーク上に存在してもよい。クラウドサービス１３５６は、サービスゲートウェイ１３３６から呼び出しを受信するように構成されてもよく、パブリックインターネット１３５４から呼び出しを受信しないように構成されてもよい。いくつかのクラウドサービス１３５６は、他のクラウドサービス１３５６から隔離されてもよく、制御プレーンＶＣＮ１３１６は、制御プレーンＶＣＮ１３１６と同じ地域に配置していない可能性があるクラウドサービス１３５６から隔離されてもよい。例えば、制御プレーンＶＣＮ１３１６は、「地域１」に配置されてもよく、クラウドサービス「展開１２」は、「地域１」および「地域２」に配置されてもよい。展開１２への呼び出しが地域１に配置された制御プレーンＶＣＮ１３１６に含まれるサービスゲートウェイ１３３６によって行われる場合、この呼び出しは、地域１内の展開１２に送信されてもよい。この例において、制御プレーンＶＣＮ１３１６もしくは地域１の展開１２は、地域２の展開１２と通信可能に接続されなくてもよく、または、通信するものでなくてもよい。

図１４は、少なくとも１つの実施形態に従った、ＩａａＳアーキテクチャの別の例示的なパターンを示すブロック図１４００である。サービスオペレータ１４０２（例えば、図１２のサービスオペレータ１２０２）は、仮想クラウドネットワーク（ＶＣＮ）１４０６（例えば、図１２のＶＣＮ１２０６）およびセキュアホストサブネット１４０８（例えば、図１２のセキュアホストサブネット１２０８）を含み得るセキュアホストテナンシ１４０４（例えば、図１２のセキュアホストテナンシ１２０４）に通信可能に接続され得る。ＶＣＮ１４０６は、ＳＳＨ ＶＣＮ１４１２に含まれるＬＰＧ１４１０を介してＳＳＨ ＶＣＮ１４１２（例えば、図１２のＳＳＨ ＶＣＮ１２１２）に通信可能に接続され得るＬＰＧ１４１０（例えば、図１２のＬＰＧ１２１０）を含み得る。ＳＳＨ ＶＣＮ１４１２は、ＳＳＨサブネット１４１４（例えば、図１２のＳＳＨサブネット１２１４）を含み得るとともに、ＳＳＨ ＶＣＮ１４１２は、制御プレーンＶＣＮ１４１６に含まれるＬＰＧ１４１０を介して制御プレーンＶＣＮ１４１６（例えば、図１２の制御プレーンＶＣＮ１２１６）に通信可能に接続され得るとともに、データプレーンＶＣＮ１４１８に含まれるＬＰＧ１４１０を介してデータプレーンＶＣＮ１４１８（例えば、図１２のデータプレーン１２１８）に通信可能に接続され得る。制御プレーンＶＣＮ１４１６およびデータプレーンＶＣＮ１４１８は、サービステナンシ１４１９（例えば、図１２のサービステナント１２１９）に含まれ得る。

制御プレーンＶＣＮ１４１６は、ロードバランサ（ＬＢ）サブネット１４２２（例えば、図１２のＬＢサブネット１２２２）を含み得る制御プレーンＤＭＺ層１４２０（例えば、図１２の制御プレーンＤＭＺ層１２２０）と、アプリサブネット１４２６（例えば、図１２のアプリサブネット１２２６と同様）を含み得る制御プレーンアプリ層１４２４（例えば、図１２の制御プレーンアプリ層１２２４）と、ＤＢサブネット１４３０を含み得る制御プレーンデータ層１４２８（例えば、図１２の制御プレーンデータ層１２２８）とを含み得る。制御プレーンＤＭＺ層１４２０に含まれるＬＢサブネット１４２２は、制御プレーンアプリ層１４２４に含まれるアプリサブネット１４２６と、制御プレーンＶＣＮ１４１６に含まれ得るインターネットゲートウェイ１４３４（例えば、図１２のインターネットゲートウェイ１２３４）とに通信可能に接続され得る。アプリサブネット１４２６は、制御プレーンデータ層１４２８に含まれるＤＢサブネット１４３０と、サービスゲートウェイ１４３６（例えば、図１２のサービスゲートウェイ）およびネットワークアドレス変換（ＮＡＴ）ゲートウェイ１４３８（例えば、図１２のＮＡＴゲートウェイ１２３８）とに通信可能に接続され得る。制御プレーンＶＣＮ１４１６は、サービスゲートウェイ１４３６およびＮＡＴゲートウェイ１４３８を含み得る。

データプレーンＶＣＮ１４１８は、データプレーンアプリ層１４４６（例えば、図１２のデータプレーンアプリ層１２４６）と、データプレーンＤＭＺ層１４４８（例えば、図１２のデータプレーンＤＭＺ層１２４８）と、データプレーンデータ層１４５０（例えば、図１２のデータプレーンデータ階層１２５０）とを含み得る。データプレーンＤＭＺ層１４４８は、データプレーンＶＣＮ１４１８に含まれるデータプレーンアプリ層１４４６およびインターネットゲートウェイ１４３４の信頼できるアプリサブネット１４６０および信頼できないアプリサブネット１４６２に通信可能に接続され得るＬＢサブネット１４２２を含み得る。信頼できるアプリサブネット１４６０は、データプレーンＶＣＮ１４１８に含まれるサービスゲートウェイ１４３６、データプレーンＶＣＮ１４１８に含まれるＮＡＴゲートウェイ１４３８、およびデータプレーンデータ層１４５０に含まれるＤＢサブネット１４３０に通信可能に接続され得る。信頼できないアプリサブネット１４６２は、データプレーンＶＣＮ１４１８に含まれるサービスゲートウェイ１４３６、およびデータプレーンデータ層１４５０に含まれるＤＢサブネット１４３０に通信可能に接続され得る。データプレーンデータ層１４５０は、データプレーンＶＣＮ１４１８に含まれるサービスゲートウェイ１４３６に通信可能に接続され得るＤＢサブネット１４３０を含み得る。

信頼できないアプリサブネット１４６２は、テナント仮想マシン（ＶＭ）１４６６（１）～（Ｎ）に通信可能に接続され得る１つ以上のプライマリＶＮＩＣ１４６４（１）～（Ｎ）を含み得る。各テナントＶＭ１４６６（１）～（Ｎ）は、それぞれの顧客テナンシ１４７０（１）～（Ｎ）に含まれ得るそれぞれのコンテナエグレスＶＣＮ１４６８（１）～（Ｎ）に含まれ得るそれぞれのアプリサブネット１４６７（１）～（Ｎ）に通信可能に接続され得る。それぞれのセカンダリＶＮＩＣ１４７２（１）～（Ｎ）は、データプレーンＶＣＮ１４１８に含まれる信頼できないアプリサブネット１４６２と、コンテナエグレスＶＣＮ１４６８（１）～（Ｎ）に含まれるアプリサブネットとの間の通信を促進することができる。各コンテナエグレスＶＣＮ１４６８（１）～（Ｎ）は、パブリックインターネット１４５４（例えば、図１２のパブリックインターネット１２５４）に通信可能に接続され得るＮＡＴゲートウェイ１４３８を含み得る。

制御プレーンＶＣＮ１４１６に含まれるインターネットゲートウェイ１４３４およびデータプレーンＶＣＮ１４１８に含まれるインターネットゲートウェイ１４３４は、パブリックインターネット１４５４に通信可能に接続され得るメタデータ管理サービス１４５２（例えば、図１２のメタデータ管理システム１２５２）に通信可能に接続され得る。パブリックインターネット１４５４は、制御プレーンＶＣＮ１４１６に含まれるＮＡＴゲートウェイ１４３８およびデータプレーンＶＣＮ１４１８に含まれるＮＡＴゲートウェイ１４３８に通信可能に接続され得る。制御プレーンＶＣＮ１４１６に含まれるサービスゲートウェイ１４３６およびデータプレーンＶＣＮ１４１８に含まれるサービスゲートウェイ１４３６は、クラウドサービス１４５６に通信可能に接続され得る。

いくつかの実施形態において、データプレーンＶＣＮ１４１８は、顧客テナンシ１４７０に統合され得る。この統合は、コードを実行するときにサポートを望む場合がある場合などのいくつかの場合において、ＩａａＳプロバイダの顧客にとって有用または望ましい場合がある。顧客は、実行すると、破壊的であり得るか、他の顧客リソースと通信し得るか、または望ましくない影響を引き起こし得るコードを提供することがある。従って、ＩａａＳプロバイダは、顧客がＩａａＳプロバイダに提供したコードを実行するか否かを判断してもよい。

いくつかの例において、ＩａａＳプロバイダの顧客は、一時的なネットワークアクセスをＩａａＳプロバイダに許可し得るとともに、データプレーンアプリ層１４４６にアタッチすべき機能を要求し得る。機能を実行するためのコードは、ＶＭ１４６６（１）～（Ｎ）で実行されてもよいが、データプレーンＶＣＮ１４１８上の他の場所で実行されるように構成されない可能性もある。各ＶＭ１４６６（１）～（Ｎ）は１つの顧客テナンシ１４７０に接続されてもよい。ＶＭ１４６６（１）～（Ｎ）に含まれるそれぞれのコンテナ１４７１（１）～（Ｎ）は、コードを実行するように構成されてもよい。この場合、二重の隔離（例えば、コンテナ１４７１（１）～（Ｎ）はコードを実行し、コンテナ１４７１（１）～（Ｎ）は、少なくとも、信頼できないアプリサブネット１４６２に含まれるＶＭ１４６６（１）～（Ｎ）に含まれ得る）が存在し得るが、これは、誤ったコードまたは望ましくないコードがＩａａＳプロバイダのネットワークに損傷を与えること、または異なる顧客のネットワークに損傷を与えることを防止することを支援し得る。コンテナ１４７１（１）～（Ｎ）は、顧客テナンシ１４７０に通信可能に接続されてもよく、顧客テナンシ１４７０からデータを送信または受信するように構成されてもよい。コンテナ１４７１（１）～（Ｎ）は、データプレーンＶＣＮ１４１８内の任意の他のエンティティからデータを送信または受信するように構成されなくてもよい。コードの実行が完了すると、ＩａａＳ提供者は、コンテナ１４７１（Ｉ）～（Ｎ）をキルするまたは廃棄してもよい。

いくつかの実施形態において、信頼できるアプリサブネット１４６０は、ＩａａＳプロバイダによって所有または運営され得るコードを実行し得る。この実施形態において、信頼できるアプリサブネット１４６０は、ＤＢサブネット１４３０に通信可能に接続され、ＤＢサブネット１４３０においてＣＲＵＤ操作を実行するように構成されてもよい。信頼できないアプリサブネット１４６２は、ＤＢサブネット１４３０に通信可能に接続され得るが、この実施形態において、信頼できないアプリサブネットは、ＤＢサブネット１４３０内で読み取り操作を実行するように構成されてもよい。各顧客のＶＭ１４６６（１）～（Ｎ）に含まれ得るとともに、顧客からのコードを実行し得るコンテナ１４７１（１）～（Ｎ）は、ＤＢサブネット１４３０と通信可能に接続されなくてもよい。

他の実施形態において、制御プレーンＶＣＮ１４１６およびデータプレーンＶＣＮ１４１８は、通信可能に直接に結合されなくてもよい。この実施形態において、制御プレーンＶＣＮ１４１６とデータプレーンＶＣＮ１４１８との間に直接的な通信は存在しない可能性がある。しかしながら、少なくとも１つの方法による間接的な通信は存在し得る。制御プレーンＶＣＮ１４１６とデータプレーンＶＣＮ１４１８との間の通信を容易にすることができるＬＰＧ１４１０がＩａａＳプロバイダによって確立されてもよい。別の例において、制御プレーンＶＣＮ１４１６またはデータプレーンＶＣＮ１４１８は、サービスゲートウェイ１４３６を介してクラウドサービス１４５６への呼び出しを行うことができる。例えば、制御プレーンＶＣＮ１４１６からクラウドサービス１４５６への呼び出しは、データプレーンＶＣＮ１４１８と通信することができるサービスの要求を含み得る。

図１５は、少なくとも１つの実施形態に従った、ＩａａＳアーキテクチャの別の例示的なパターンを示すブロック図１５００である。サービスオペレータ１５０２（例えば、図１２のサービスオペレータ１２０２）は、仮想クラウドネットワーク（ＶＣＮ）１５０６（例えば、図１２のＶＣＮ１２０６）およびセキュアホストサブネット１５０８（例えば、図１２のセキュアホストサブネット１２０８）を含み得るセキュアホストテナンシ１５０４（例えば、図１２のセキュアホストテナンシ１２０４）に通信可能に接続され得る。ＶＣＮ１５０６は、ＳＳＨ ＶＣＮ１５１２に含まれるＬＰＧ１５１０を介してＳＳＨ ＶＣＮ１５１２（例えば、図１２のＳＳＨ ＶＣＮ１２１２）に通信可能に接続され得るＬＰＧ１５１０（例えば、図１２のＬＰＧ１２１０）を含み得る。ＳＳＨ ＶＣＮ１５１２はＳＳＨサブネット１５１４（例えば、図１２のＳＳＨサブネット１２１４）を含み得るとともに、ＳＳＨ ＶＣＮ１５１２は、制御プレーンＶＣＮ１５１６に含まれるＬＰＧ１５１０を介して制御プレーンＶＣＮ１５１６（例えば、図１２の制御プレーンＶＣＮ１２１６）に通信可能に接続され得るとともに、データプレーンＶＣＮ１５１８に含まれるＬＰＧ１５１０を介してデータプレーンＶＣＮ１５１８（例えば、図１２のデータプレーン１２１８）に通信可能に接続され得る。制御プレーンＶＣＮ１５１６およびデータプレーンＶＣＮ１５１８は、サービステナンシ１５１９（例えば、図１２のサービステナンシ１２１９）に含まれ得る。

制御プレーンＶＣＮ１５１６は、ＬＢサブネット１５２２（例えば、図１２のＬＢサブネット１２２２）を含み得る制御プレーンＤＭＺ層１５２０（例えば、図１２の制御プレーンＤＭＺ層１２２０）、アプリサブネット１５２６（例えば、図１２のアプリサブネット１２２６）を含み得る制御プレーンアプリ層１５２４（例えば、図１２の制御プレーンアプリ層１２２４）、ＤＢサブネット１５３０（例えば、図１４のＤＢサブネット１４３０）を含み得る制御プレーンデータ層１５２８（例えば、図１２の制御プレーンデータ層１２２８）を含み得る。制御プレーンＤＭＺ層１５２０に含まれるＬＢサブネット１５２２は、制御プレーンアプリ層１５２４に含まれるアプリサブネット１５２６と、制御プレーンＶＣＮ１５１６に含まれ得るインターネットゲートウェイ１５３４（例えば、図１２のインターネットゲートウェイ１２３４）とに通信可能に接続され得る。アプリサブネット１５２６は、制御プレーンデータ層１５２８に含まれるＤＢサブネット１５３０と、サービスゲートウェイ１５３６（例えば、図１２のサービスゲートウェイ）およびネットワークアドレス変換（ＮＡＴ）ゲートウェイ１５３８（例えば、図１２のＮＡＴゲートウェイ１２３８）とに通信可能に接続されて得る。制御プレーンＶＣＮ１５１６は、サービスゲートウェイ１５３６およびＮＡＴゲートウェイ１５３８を含み得る。

データプレーンＶＣＮ１５１８は、データプレーンアプリ層１５４６（例えば、図１２のデータプレーンアプリ層１２４６）、データプレーンＤＭＺ層１５４８（例えば、図１２のデータプレーンＤＭＺ層１２４８）、およびデータプレーンデータ層１５５０（例えば、図１２のデータプレーンデータ層１２５０）を含み得る。データプレーンＤＭＺ層１５４８は、データプレーンアプリ層１５４６の信頼できるアプリサブネット１５６０（例えば、図１４の信頼できるアプリサブネット１４６０）および信頼できないアプリサブネット１５６２（例えば、図１４の信頼できないアプリサブネット１４６２）とデータプレーンＶＣＮ１５１８に含まれるインターネットゲートウェイ１５３４とに通信可能に接続され得るＬＢサブネット１５２２を含み得る。信頼できるアプリサブネット１５６０は、データプレーンＶＣＮ１５１８に含まれるサービスゲートウェイ１５３６、データプレーンＶＣＮ１５１８に含まれるＮＡＴゲートウェイ１５３８、およびデータプレーンデータ層１５５０に含まれるＤＢサブネット１５３０に通信可能に接続され得る。信頼できないアプリサブネット１５６２は、データプレーンＶＣＮ１５１８に含まれるサービスゲートウェイ１５３６、およびデータプレーンデータ層１５５０に含まれるＤＢサブネット１５３０に通信可能に接続され得る。データプレーンデータ層１５５０は、データプレーンＶＣＮ１５１８に含まれるサービスゲートウェイ１５３６に通信可能に接続され得るＤＢサブケット１５３０を含み得る。

信頼できないアプリサブネット１５６２は、信頼できないアプリサブネット１５６２に常駐するテナント仮想マシン（ＶＭ）１５６６（１）～（Ｎ）に通信可能に接続され得るプライマリＹＮＩＣ１５６４（１）～（Ｎ）を含み得る。各テナントＶＭ１５６６（１）～（Ｎ）は、それぞれのコンテナ１５６７（１）～（Ｎ）においてコードを実行することができ、コンテナエグレスＶＣＮ１５６８に含まれ得るデータプレーンアプリ層１５４６に含まれ得るアプリサブネット１５２６に通信可能に接続され得る。各セカンダリＶＮＩＣ１５７２（１）～（Ｎ）は、データプレーンＶＣＮ１５１８に含まれる信頼できないアプリサブネット１５６２とコンテナエグレスＶＣＮ１５６８に含まれるアプリサブネットとの間の通信を促進することができる。コンテナエグレスＶＣＮは、パブリックインターネット１５５４（例えば、図１２のパブリックインターネット１２５４）に通信可能に接続することができるＮＡＴゲートウェイ１５３８を含み得る。

制御プレーンＶＣＮ１５１６に含まれるインターネットゲートウェイ１５３４およびデータプレーンＶＣＮ１５１８に含まれるインターネットゲートウェイ１５３４は、パブリックインターネット１５５４に通信可能に接続され得るメタデータ管理サービス１５５２（例えば、図１２のメタデータ管理システム１２５２）に通信可能に接続され得る。パブリックインターネット１５５４は、制御プレーンＶＣＮ１５１６に含まれるとともにデータプレーンＶＣＮ１５１８に含まれるＮＡＴゲートウェイ１５３８に通信可能に接続され得る。制御プレーンＶＣＮ１５１６に含まれるとともにデータプレーンＶＣＮ１５１８に含まれるサービスゲートウェイ１５３６は、クラウドサービス１５５６に通信可能に接続され得る。

いくつかの例において、図１５のブロック図１５００のアーキテクチャによって示されたパターンは、図１４のブロック図１４００のアーキテクチャによって示されたパターンの例外と考えられ得るとともに、ＩａａＳプロバイダが顧客と直接に通信できない（例えば、非接続地域）場合、ＩａａＳプロバイダの顧客にとって望ましい場合がある。顧客は、各顧客のＶＭ１５６６（１）～（Ｎ）に含まれるそれぞれのコンテナ１５６７（１）～（Ｎ）にリアルタイムでアクセスすることができる。コンテナ１５６７（１）～（Ｎ）は、コンテナエグレスＶＣＮ１５６８に含まれ得るデータプレーンアプリ層１５４６のアプリサブネット１５２６に含まれるそれぞれのセカンダリＶＮＩＣ１５７２（１）～（Ｎ）を呼び出すように構成されてもよい。セカンダリＶＮＩＣ１５７２（１）～（Ｎ）は、パブリックインターネット１５５４に呼び出しを送信し得るＮＡＴゲートウェイ１５３８に呼び出しを送信することができる。この例において、顧客がリアルタイムでアクセスできるコンテナ１５６７（１）～（Ｎ）は、制御プレーンＶＣＮ１５１６から隔離され得るとともに、データプレーンＶＣＮ１５１８に含まれる他のエンティティから隔離され得る。また、コンテナ１５６７（１）～（Ｎ）は、他の顧客のリソースから隔離されてもよい。

他の例において、顧客は、コンテナ１５６７（１）～（Ｎ）を使用して、クラウドサービス１５５６を呼び出すことができる。この例では、顧客は、コンテナ１５６７（１）～（Ｎ）において、クラウドサービス１５５６からサービスを要求するコードを実行し得る。コンテナ１５６７（１）～（Ｎ）は、要求をパブリックインターネット１５５４に送信することができるＮＡＴゲートウェイに要求を送信することができるセカンダリＶＮＩＣ１５７２（１）～（Ｎ）にこの要求を送信することができる。パブリックインターネット１５５４は、インターネットゲートウェイ１５３４を介して、制御プレーンＶＣＮ１５１６に含まれるＬＢサブネット１５２２にこの要求を送信することができる。要求が有効であるとの判断に応答して、ＬＢサブネットは、この要求をアプリサブネット１５２６に送信することができ、アプリサブネット１５２６は、サービスゲートウェイ１５３６を介してこの要求をクラウドサービス１５５６に送信することができる。

なお、図示されたＩａａＳアーキテクチャ１２００、１３００、１４００および１５００は、図示されたもの以外のコンポーネントを含んでもよい。また、図示された実施形態は、本開示の実施形態を組み込み得るクラウドインフラストラクチャシステムの一部の例に過ぎない。他のいくつかの実施形態において、ＩａａＳシステムは、図示されたものよりも多いまたは少ないコンポーネントを有してよく、２つ以上のコンポーネントを組合わせてよく、またはコンポーネントの異なる構成または配置を有してよい。

特定の実施形態において、本明細書に記載されたＩａａＳシステムは、セルフサービス、サブスクリプションベース、柔軟な拡張可能性、信頼性、高可用性、および安全な方法で顧客に提供されるアプリケーション、ミドルウェア、およびデータベースサービスの一式を含み得る。このようなＩａａＳシステムの一例は、本出願人によって提供されるオラクル（登録商標）クラウドインフラストラクチャ（ＯＣＩ）である。

図１６は、様々な実施形態が実装され得る例示的なコンピュータシステム１６００を示す。システム１６００は、上述したコンピュータシステムのいずれかを実装するために使用され得る。図示のように、コンピュータシステム１６００は、バスサブシステム１６０２を介して多数の周辺サブシステムと通信する処理ユニット１６０４を含む。これらの周辺サブシステムは、処理加速ユニット１６０６、Ｉ／Ｏサブシステム１６０８、ストレージサブシステム１６１８、および通信サブシステム１６２４を含み得る。ストレージサブシステム１６１８は、有形のコンピュータ可読記憶媒体１６２２およびシステムメモリ１６１０を含む。

バスサブシステム１６０２は、コンピュータシステム１６００の様々なコンポーネントおよびサブシステムを意図したように相互に通信させるための機構を提供する。バスサブシステム１６０２は、単一のバスとして概略的に示されているが、バスサブシステムの代替的な実施形態は、複数のバスを利用してもよい。バスサブシステム１６０２は、メモリバスまたはメモリコントローラ、周辺バス、および様々なバスアーキテクチャのいずれかを使用するローカルバスを含む、いくつかの種類のバス構造のいずれかであってもよい。例えば、このようなアーキテクチャは、業界標準アーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、ビデオ電子標準協会（ＶＥＳＡ）ローカルバス、およびＩＥＥＥ Ｐ１３８６．１標準に準拠して製造されたメザニンバスとして実装できる周辺機器相互接続（ＰＣＩ）バスなどを含み得る。

１つ以上の集積回路（例えば、従来のマイクロプロセッサまたはマイクロコントローラ）として実装され得る処理ユニット１６０４は、コンピュータシステム１６００の動作を制御する。処理ユニット１６０４は、１つ以上のプロセッサを含んでもよい。これらのプロセッサは、シングルコアまたはマルチコアプロセッサを含んでもよい。いくつかの実施形態において、処理ユニット１６０４は、各処理ユニットに含まれるシングルコアまたはマルチコアプロセッサを有する１つ以上の独立した処理ユニット１６３２および／または１６３４として実装されてもよい。他の実施形態において、処理ユニット１６０４は、２つのデュアルコアプロセッサを単一のチップに統合することによって形成されたクワッドコア（quad-core）処理ユニットとして実装されてもよい。

様々な実施形態において、処理ユニット１６０４は、プログラムコードに応答して様々なプログラムを実行することができ、同時に実行する複数のプログラムまたはプロセスを維持することができる。任意の時点で、実行されるプログラムコードの一部または全部は、プロセッサ１６０４および／またはストレージサブシステム１６１８に常駐することができる。プロセッサ１６０４は、適切なプログラミングを通して、上述した様々な機能を提供することができる。コンピュータシステム１６００は、デジタル信号プロセッサ（ＤＳＰ）、専用プロセッサおよび／または同種のものを含み得る処理加速ユニット１６０６をさらに含んでもよい。

Ｉ／Ｏサブシステム１６０８は、ユーザインターフェイス入力装置と、ユーザインターフェイス出力装置とを含み得る。ユーザインターフェイス入力装置は、キーボード、マウスまたはトラックボールなどのポインティング装置、ディスプレイに組み込まれたタッチパッドまたはタッチスクリーン、スクロールホイール、クリックホイール、ダイヤル、ボタン、スイッチ、キーパッド、音声命令認識システムを備える音声入力装置、マイクロフォン、および他の種類の入力装置を含んでもよい。また、ユーザインターフェイス入力装置は、例えば、Microsoft Kinect（登録商標）モーションセンサのようなモーション検知および／またはジェスチャ認識装置を含んでもよい。Microsoft Kinect（登録商標）モーションセンサは、ジェスチャおよび音声命令を利用する自然ユーザインターフェイスを介して、Microsoft Xbox（登録商標）３６０ゲームコントローラなどの入力装置を制御することができ、それと対話することができる。また、ユーザインターフェイス入力装置は、Google Glass（登録商標）瞬き検出器のような眼球ジェスチャ認識装置を含み得る。Google Glass（登録商標）瞬き検出器は、ユーザの眼球活動（例えば、写真を撮るときおよび／またはメニューを選択するときの「瞬き」）を検出し、眼球活動を入力装置（例えば、Google Glass（登録商標））に入力する入力に変換する。さらに、ユーザインターフェイス入力装置は、音声命令を介してユーザと音声認識システム（例えば、Siri（登録商標）ナビゲータ）との対話を可能にする音声認識検出装置を含んでもよい。

また、ユーザインターフェイス入力装置は、三次元（３Ｄ）マウス、ジョイスティックまたはポインティングスティック、ゲームパッド、グラフィックタブレット、スピーカなどのオーディオ／ビジュアル装置、デジタルカメラ、デジタルビデオカメラ、ポータブルメディアプレーヤ、ウェブカメラ、イメージスキャナ、指紋スキャナ、バーコードリーダ、３Ｄスキャナ、３Ｄプリンタ、レーザ距離計、および視線追跡装置を含むがこれらに限定されない。さらに、ユーザインターフェイス入力装置は、例えば、コンピュータ断層撮影装置、磁気共鳴像装置、超音波放射断層撮影装置、および医療用超音波装置などのような医用画像入力装置を含んでもよい。また、ユーザインターフェイス入力装置は、例えば、ＭＩＤＩキーボードおよび電子楽器などの音声入力装置を含んでもよい。

ユーザインターフェイス出力装置は、ディスプレイサブシステム、インジケータライト、またはオーディオ出力装置などの非視覚ディスプレイを含んでもよい。ディスプレイサブシステムは、例えば、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）またはプラズマディスプレイを使用するフラットパネル装置、投影装置またはタッチスクリーンなどであってもよい。一般に、「出力装置」という用語を使用する場合、コンピュータシステム１６００から情報をユーザまたは他のコンピュータに出力するためのすべての可能な種類の装置および機構を含むことを意図している。例えば、ユーザインターフェイス出力装置は、文字、画像およびオーディオ／ビデオ情報を視覚的に伝達するさまざまな表示装置、例えば、モニタ、プリンタ、スピーカ、ヘッドフォン、カーナビゲーションシステム、プロッタ、音声出力装置、およびモデムを含むがこれらに限定されない。

コンピュータシステム１６００は、ストレージサブシステム１６１８を含み得る。ストレージサブシステム１６１８は、ソフトウェア要素を備え、図示では、これらのソフトウェア要素は、システムメモリ１６１０内に配置されている。システムメモリ１６１０は、処理ユニット１６０４にロード可能かつ実行可能なプログラム命令、およびこれらのプログラムの実行中に生成されたデータを記憶し得る。

コンピュータシステム１６００の構成およびタイプに応じて、システムメモリ１６１０は、揮発性メモリ（例えば、ランダムアクセスメモリ（random access memory：ＲＡＭ））であってもよく、および／または、不揮発性メモリ（例えば、読取り専用メモリ（read-only memory：ＲＯＭ）、フラッシュメモリ）であってもよい。一般に、ＲＡＭは、処理ユニット１６０４が直接アクセス可能なデータおよび／またはプログラムモジュール、および／または、処理ユニット１６０４によって現在操作および実行されているデータおよび／またはプログラムモジュールを収容する。いくつかの実装形態では、システムメモリ１６１０は、スタティックランダムアクセスメモリ（static random access memory：ＳＲＡＭ）またはダイナミックランダムアクセスメモリ（dynamic random access memory：ＤＲＡＭ）などの複数の様々なタイプのメモリを含み得る。いくつかの実装形態では、始動中などにコンピュータシステム１６００内の要素間で情報を転送することを助ける基本ルーチンを含む基本入力／出力システム（basic input/output system：ＢＩＯＳ）が、一般にＲＯＭに格納され得る。一例としておよび非限定的に、システムメモリ１６１０は、クライアントアプリケーション、ウェブブラウザ、中間層アプリケーション、リレーショナルデータベース管理システム（relational database management system：ＲＤＢＭＳ）などを含み得るアプリケーションプログラム１６１２、プログラムデータ１６１４、およびオペレーティングシステム１６１６も示す。一例として、オペレーティングシステム１６１６は、マイクロソフトウィンドウズ（登録商標）、Apple Macintosh（登録商標）および／もしくはＬｉｎｕｘ（登録商標）オペレーティングシステムのさまざまなバージョン、さまざまな市販のＵＮＩＸ（登録商標）もしくはＵＮＩＸに類似するオペレーティングシステム（さまざまなＧＮＵ／Ｌｉｎｕｘオペレーティングシステム、Google Chrome（登録商標）ＯＳなどを含むが、これらに限定されるものではない）、および／または、ｉＯＳ、Windows（登録商標）フォン、アンドロイド（登録商標）ＯＳ、ブラックベリー（登録商標）１６ＯＳおよびパーム（登録商標）ＯＳオペレーティングシステムなどのモバイルオペレーティングシステムを含み得る。

また、ストレージサブシステム１６１８は、いくつかの実施例の機能を提供する基本的なプログラミングおよびデータ構造を格納するための有形のコンピュータ可読記憶媒体を提供し得る。プロセッサによって実行されたときに上記の機能を提供するソフトウェア（プログラム、コードモジュール、命令）は、ストレージサブシステム１６１８に記憶されてもよい。これらのソフトウェアモジュールまたは命令は、処理ユニット１６０４によって実行されてもよい。また、ストレージサブシステム１６１８は、本開示に従って使用されるデータを記憶するためのリポジトリを提供し得る。

また、ストレージサブシステム１６００は、コンピュータ可読記憶媒体１６２２にさらに接続可能なコンピュータ可読記憶媒体リーダ１６２０を含み得る。コンピュータ可読記憶媒体１６２２は、システムメモリ１６１０とともに、または必要に応じてシステムメモリ１６１０と組合わせて、コンピュータ可読情報を一時的におよび／またはより永久に収容、格納、送信および検索するための記憶媒体に加えて、リモート記憶装置、ローカル記憶装置、固定的な記憶装置および／または取外し可能な記憶装置を包括的に表わし得る。

また、コードまたはコードの一部を含むコンピュータ可読記憶媒体１６２２は、当該技術分野において公知のまたは使用される任意の適切な媒体を含み得る。当該媒体は、情報の格納および／または送信のための任意の方法または技術で実装される揮発性および不揮発性の、取外し可能および取外し不可能な媒体などであるが、これらに限定されるものではない記憶媒体および通信媒体を含む。これは、ＲＡＭ、ＲＯＭ、電子的消去・プログラム可能ＲＯＭ（electronically erasable programmable ROM：ＥＥＰＲＯＭ）、フラッシュメモリもしくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（digital versatile disk：ＤＶＤ）、または他の光学式記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、または他の有形のコンピュータ可読媒体などの有形のコンピュータ可読記憶媒体を含み得る。また、これは、データ信号、データ送信などの無形のコンピュータ可読媒体、または、所望の情報を送信するために使用可能であり且つコンピュータシステム１６００によってアクセス可能なその他の媒体を含み得る。

一例として、コンピュータ可読記憶媒体１６２２は、取外し不可能な不揮発性磁気媒体から読取るかまたは当該媒体に書込むハードディスクドライブ、取外し可能な不揮発性磁気ディスクから読取るかまたは当該ディスクに書込む磁気ディスクドライブ、ならびに、ＣＤ ＲＯＭ、ＤＶＤおよびブルーレイ（登録商標）ディスクまたは他の光学式媒体などの取外し可能な不揮発性光学ディスクから読取るかまたは当該ディスクに書込む光学式ディスクドライブを含んでもよい。コンピュータ可読記憶媒体１６２２は、ジップ（登録商標）ドライブ、フラッシュメモリカード、ユニバーサルシリアルバス（universal serial bus：ＵＳＢ）フラッシュドライブ、セキュアデジタル（secure digital：ＳＤ）カード、ＤＶＤディスク、デジタルビデオテープなどを含み得るが、これらに限定されるものではない。また、コンピュータ可読記憶媒体１６２２は、フラッシュメモリベースのＳＳＤ、企業向けフラッシュドライブ、ソリッドステートＲＯＭなどの不揮発性メモリに基づくソリッドステートドライブ（solid-state drive：ＳＳＤ）、ソリッドステートＲＡＭ、ダイナミックＲＡＭ、スタティックＲＡＭなどの揮発性メモリに基づくＳＳＤ、ＤＲＡＭベースのＳＳＤ、磁気抵抗ＲＡＭ（magnetoresistive RAM：ＭＲＡＭ）ＳＳＤ、およびＤＲＡＭとフラッシュメモリベースのＳＳＤとの組合わせを使用するハイブリッドＳＳＤを含んでもよい。ディスクドライブおよびそれらの関連のコンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュールおよび他のデータの不揮発性記憶装置をコンピュータシステム１６００に提供し得る。

通信サブシステム１６２４は、他のコンピュータシステムおよびネットワークとのインターフェイスを提供する。通信サブシステム１６２４は、他のシステムからデータを受信したり、コンピュータシステム１６００から他のシステムにデータを送信したりするためのインターフェイスの役割を果たす。例えば、通信サブシステム１６２４は、コンピュータシステム１６００がインターネットを介して１つ以上の装置に接続することを可能にし得る。いくつかの実施形態では、通信サブシステム１６２４は、（例えば３Ｇ、４ＧまたはＥＤＧＥ（enhanced data rates for global evolution）などの携帯電話技術、高度データネットワーク技術を用いて）無線音声および／またはデータネットワークにアクセスするための無線周波数（radio frequency：ＲＦ）トランシーバコンポーネント、ＷｉＦｉ（ＩＥＥＥ８０２．１１ファミリ規格または他のモバイル通信技術またはそれらの任意の組合わせ）、全地球測位システム（global positioning system：ＧＰＳ）レシーバコンポーネント、および／または、他のコンポーネントを含み得る。いくつかの実施形態では、通信サブシステム１６２４は、無線インターフェイスに加えて、または無線インターフェイスの代わりに、有線ネットワーク接続（例えばイーサネット）を提供することができる。

また、いくつかの実施形態において、通信サブシステム１６２４は、コンピュータシステム１６００を使用し得る１人以上のユーザを代表して、構造化されたおよび／または構造化されていないデータフィード１６２６、イベントストリーム１６２８、イベント更新１６３０などの形態で入力通信を受信し得る。

一例として、通信サブシステム１６２４は、ツイッター（登録商標）フィード、フェースブック（登録商標）更新、リッチ・サイト・サマリ（Rich Site Summary：ＲＳＳ）フィードなどのウェブフィードなどのデータフィード１６２６をリアルタイムでソーシャルネットワークおよび／または他の通信サービスのユーザから受信し、および／または、１つ以上の第三者情報源からリアルタイム更新を受信するように構成されてもよい。

また、通信サブシステム１６２４は、連続的なデータストリームの形態でデータを受信するように構成されてもよく、当該データは、連続的である場合もあれば本質的に明確な端部を持たない状態で境界がない場合もあるリアルタイムイベントのイベントストリーム１６２８および／またはイベント更新１６３０を含んでもよい。連続的なデータを生成するアプリケーションの例としては、例えばセンサデータアプリケーション、金融ティッカ、ネットワーク性能測定ツール（例えばネットワークモニタリングおよびトラフィック管理アプリケーション）、クリックストリーム分析ツール、自動車交通モニタリングなどを含んでもよい。

また、通信サブシステム１６２４は、構造化されたおよび／または構造化されていないデータフィード１６２６、イベントストリーム１６２８、イベント更新１６３０などを、コンピュータシステム１６００に結合された１つ以上のストリーミングデータソースコンピュータと通信し得る１つ以上のデータベースに出力するように構成されてもよい。

コンピュータシステム１６００は、手持ち式携帯機器（例えば、iPhone（登録商標）携帯電話、Ipad（登録商標）計算タブレット、ＰＤＡ）、ウェアラブル装置（例えば、Google Glass（登録商標）ヘッドマウントディスプレイ）、ＰＣ、ワークステーション、メインフレーム、キオスク、サーバラックまたはその他のデータ処理システムを含む様々な種類のうちの１つであり得る。

コンピュータおよびネットワークの性質が常に変化しているため、図に示すコンピュータシステム１６００の記載は、具体的な例として意図されているに過ぎない。図に示されるシステムよりも多くのコンポーネントまたは少ないコンポーネントを有するその他多くの構成が実現可能である。例えば、カスタマイズされたハードウェアが用いられてもよく、および／または、特定の要素がハードウェア、ファームウェア、（アプレットを含む）ソフトウェア、もしくは組合せて実装されてもよい。さらに、ネットワーク入出力デバイス等の他のコンピューティングデバイスへの接続が採用されてもよい。当業者であれば、本明細書に提供される開示および教示に基づいて、様々な実施形態を実装するための他の手段および／または方法を理解するであろう。

特定の実施形態を説明してきたが、さまざまな変更、改変、代替構成、および同等物も本開示の範囲内に包含される。実施形態は、特定のデータ処理環境内での動作に限定されず、複数のデータ処理環境内で自由に動作可能である。さらに、一連の特定の処理およびステップを用いて実施形態を説明してきたが、本開示の範囲が説明した一連の処理およびステップに限定されないことは、当業者にとって明らかとなるはずである。上述した実施形態のさまざまな特徴および態様は、個別にまたは共同で使用され得る。

さらに、ハードウェアおよびソフトウェアの特定の組合わせを用いて実施形態を説明してきたが、ハードウェアおよびソフトウェアの他の組合わせも本開示の範囲内に含まれることを認識すべきである。ハードウェアのみ、ソフトウェアのみ、またはそれらの組合わせを用いて、実施形態を実現してもよい。本開示に記載されたさまざまなプロセスは、同一のプロセッサまたは任意の組合わせの異なるプロセッサ上で実行することができる。したがって、特定の動作を実行するようにコンポーネントまたはモジュールを構成すると説明する場合、その構成は、例えば、その動作を実行するように電子回路を設計することによって、その動作を実行するようにプログラム可能な電子回路（マイクロプロセッサなど）をプログラムすることによって、またはそれらの組合わせによって実現することができる。プロセスは、プロセス間の通信を行う従来技術を含むがこれに限定されないさまざまな技術を用いて通信を行うことができる。異なる対のプロセスは、異なる技術を使用する可能性があり、または同一対のプロセスは、異なる時間で異なる技術を使用する可能性がある。

したがって、明細書および図面は、限定的ではなく例示的なものとみなされるべきである。しかしながら、特許請求の範囲により定められた幅広い主旨および範囲から逸脱することなく、追加、削減、削除および他の変形および変更を行ってもよいことは、明らかであろう。したがって、本開示の特定の実施形態を説明したが、これらの実施形態は限定することを意図していない。さまざまな変更例およびその同等例は添付の特許請求の範囲に含まれる。

本開示の実施形態を説明する文脈に（特に特許請求の範囲の文脈に）使用された不定冠詞「a」／「an」、定冠詞「the」および同様の参照は、本明細書に特に明記しない限りまたは内容上明らかに他の意味を示す場合を除き、単数および複数の両方を含むように解釈すべきである。用語「含む（comprising）」、「有する（having）」、「含む（including）」、および「含有する（containing）」は、特に明記しない限り、非限定的な用語（すなわち、「含むがこれに限定されない」という意味）として解釈されるべきである。「接続されている」という用語は、たとえ何かが介在していても、その一部または全部が内部に含まれている、取り付けられている、または一緒に結合されていると解釈されるべきである。本明細書において、値の範囲の列挙は、単にその範囲内に含まれる各個別の値を各々言及する略記方法として意図されたものであり、本明細書に特に明記しない限り、各個別の値は、本明細書に個別に記載されるように、本明細書に組み込まれる。本明細書に特に明記しない限りまたは内容上明らかに他の意味を示す場合を除き、本明細書に記載の全ての方法は、任意の適切な順序で行うことができる。本明細書において、任意の例および全ての例または例示的な言語（例えば、「などの」）の使用は、実施形態をより明瞭にするよう意図されており、特に明記しない限り、本開示の範囲を限定するものではない。明細書中の用語は、本開示の実施に不可欠な任意の非請求要素を示すものと解釈すべきではない。

句「Ｘ、Ｙ、またはＺの少なくとも１つ」というフレーズなどの選言的言語は、特に規定のない限り、項目、用語などがＸ、ＹもしくはＺ、またはそれらの任意の組合わせ（例えば、Ｘ、Ｙ、および／またはＺ）のいずれかであってもよいことを示すために一般的に用いられるものとして文脈内で理解されることを意図している。したがって、このような選言的言語は、特定の実施形態が、Ｘの少なくとも１つ、Ｙの少なくとも１つ、またはＺの少なくとも１つが存在する必要があることを暗示することを一般に意図しておらず、かつ、それを暗示するべきものではない。

本開示を実施するために公知である最良の形態を含む本開示の好ましい実施形態が本明細書に記載されている。これらの好ましい実施形態の変形例は、前述の説明を読むことで当業者に明らかになるであろう。当業者は、適宜、このような変形例を採用することができ、本開示は、本明細書に具体的に記載されている以外の方法で実施されてもよい。したがって、本開示は、適用される法律によって許可される通り、本明細書に添付された請求項に記載された主題の全ての変形例および同等例を含む。さらに、その全ての実現可能な変形例における上記の要素の任意の組合わせは、本明細書において別段の指示がない限り、本開示に包含される。

本明細書に引用された刊行物、特許出願、および特許を含む全ての参考文献は、各文献が参照により組み込まれることが個別にかつ明確に示され、その全体が本明細書に記載された場合と同じ程度に、参照により組み込まれるものとする。

前述の明細書において、本開示の局面は、その特定の実施形態を参照して説明されているが、当業者は、本開示がそれに限定されないことを認識するであろう。上述の開示の様々な特徴および局面は、個々にまたは共同で使用されてもよい。さらに、実施形態は、本明細書のより広い精神および範囲から逸脱することなく、本明細書に説明されるものを超える任意の数の環境および用途において利用可能である。したがって、明細書および図面は、限定的ではなく例示的であると見なされるべきである。

Claims (22)

1. 方法であって、
   宛先アドレスが第１のインターネットプロトコル（Internet Protocol：ＩＰ）アドレスである第１のパケットについて、前記第１のパケットを受信する第１のネットワーク仮想化デバイス（network virtualization device：ＮＶＤ）により、複数のＩＰアドレスが前記第１のＩＰアドレスに関連付けられていると判断するステップを含み、前記第１のＩＰアドレスは複数の計算インスタンスに関連付けられており、前記複数のＩＰアドレスは、前記複数の計算インスタンスに関連付けられた複数のＮＶＤのＩＰアドレスを含み、前記方法はさらに、
   前記第１のＮＶＤにより、前記複数のＩＰアドレスから特定のＩＰアドレスを選択するステップを含み、前記特定のＩＰアドレスは、前記複数のＮＶＤからの特定のＮＶＤのものであり、前記特定のＮＶＤは、前記複数の計算インスタンスからの第１の計算インスタンスに関連付けられており、前記方法はさらに、
   前記第１のＮＶＤにより、前記第１のパケットを前記特定のＩＰアドレスに通信するステップを含む、方法。
2. 前記複数のＩＰアドレスが前記第１のＩＰアドレスに関連付けられていると判断するステップは、
   前記第１のＮＶＤにより、ＩＰマッピング情報に基づいて、前記第１のＩＰアドレスが前記複数のＩＰアドレスにマップしていると判断するステップを含む、請求項１に記載の方法。
3. 前記複数のＩＰアドレスが前記第１のＩＰアドレスに関連付けられていると判断するステップは、
   前記第１のＮＶＤにより、転送テーブル内の情報に基づいて、複数のネクストホップルートが前記第１のＩＰアドレスに関連付けられていると判断するステップを含み、前記複数のネクストホップルートは前記複数のＩＰアドレスを識別する、請求項１に記載の方法。
4. 前記第１のパケットを前記特定のＮＶＤから前記第１の計算インスタンスに通信するステップをさらに含む、請求項１から３のいずれか１項に記載の方法。
5. 前記特定のＩＰアドレスを選択するステップは、
   前記第１のＮＶＤにより、前記第１のパケットのうちの１つ以上のフィールドのコンテンツに基づいてハッシュ値を生成するステップと、
   前記ハッシュ値を用いて前記複数のＩＰアドレスから前記特定のＩＰアドレスを選択するステップとを含む、請求項１から４のいずれか１項に記載の方法。
6. 前記ハッシュ値を生成するステップは、コンシステントハッシュ技術を用いるステップを含む、請求項５に記載の方法。
7. 前記特定のＩＰアドレスを選択するステップは、
   前記第１のＮＶＤにより、前記第１のパケットが第１のネットワークフローに属していると判断するステップと、
   前記第１のＮＶＤにより、前記第１のＮＶＤによって記憶されたフロー情報から、前記第１のネットワークフローに対応する第１のエントリを識別するステップと、
   前記第１のＮＶＤにより、前記特定のＩＰアドレスが前記第１のエントリにおいて前記第１のネットワークフローに関連付けられているものとして指定されていると判断するステップとを含む、請求項１から４のいずれか１項に記載の方法。
8. 前記第１のＮＶＤにより、前記第１のパケットが第１のネットワークフローに属していると判断するステップと、
   前記第１のＮＶＤにより、前記第１のＮＶＤによって記憶されたフロー情報が前記第１のネットワークフローに対応するいずれのエントリも含まないと判断するステップと、
   前記第１のＮＶＤにより、第１の選択技術を用いて前記複数のＩＰアドレスから前記特定のＩＰアドレスを選択するステップとをさらに含む、請求項１から４のいずれか１項に記載の方法。
9. 前記第１のＮＶＤにより、前記第１のネットワークフローを識別するとともに前記特定のＩＰアドレスを前記第１のネットワークフローに関連付ける前記フロー情報にエントリを追加するステップをさらに含む、請求項８に記載の方法。
10. 前記第１のＩＰアドレスはオーバーレイＩＰアドレスであり、
    前記複数のＩＰアドレス内の前記アドレスは物理ＩＰアドレスである、請求項１から９のいずれか１項に記載の方法。
11. 前記方法はさらに、
    前記第１のＮＶＤによって受信された第２のパケットについて、前記第１のＮＶＤにより、前記第２のパケットがその宛先アドレスとして前記第１のＩＰアドレスを有すると判断するステップと、
    前記第１のＮＶＤにより、前記複数のＩＰアドレスから第２の特定のＩＰアドレスを選択するステップとを含み、前記第２の特定のＩＰアドレスは、前記複数のＮＶＤからの第２の特定のＮＶＤのものであり、前記第２の特定のＮＶＤは、前記複数の計算インスタンスからの第２の計算インスタンスに関連付けられており、前記方法はさらに、
    前記第１のＮＶＤにより、前記第２のパケットを前記第２の特定のＩＰアドレスに通信するステップを含む、請求項１から１０のいずれか１項に記載の方法。
12. 前記第１のパケットは第１のクライアントによって送信され、前記第２のパケットは第２のクライアントによって送信され、前記第１のクライアントは前記第２のクライアントとは異なる、請求項１１に記載の方法。
13. 前記方法はさらに、
    前記複数のＮＶＤからの前記特定のＮＶＤにより、前記第１の計算インスタンスから新しいパケットを受信するステップを含み、前記新しいパケットは、宛先クライアントについての宛先ＩＰアドレスを識別し、前記方法はさらに、
    前記特定のＮＶＤにより、前記新しいパケットが前記第１の計算インスタンスと前記宛先クライアントとの間に確立されるべき新しい接続もしくは通信のためのものであるかどうか、または、前記新しいパケットが、前記宛先クライアントから前記第１の計算インスタンスによって以前に受信されたパケットに応答して前記第１の計算インスタンスによって送信された応答パケットであるかどうか、を判断するステップを含む、請求項１から１２のいずれか１項に記載の方法。
14. 前記新しいパケットが新しい接続のためのものであるかまたは応答パケットであるかを判断するステップは、前記新しいパケットが前記第１の計算インスタンスと前記宛先クライアントとの間で確立されるべき新しい接続または通信のためのものであると判断するステップを含み、前記方法はさらに、
    前記新しいパケットのために用いられるべきエフェメラルポート値を識別するステップと、
    前記新しいパケットのソースポートフィールドを前記識別されたエフェメラルポート値に設定するステップと、
    前記特定のＮＶＤから前記宛先クライアントに関連付けられたＮＶＤに前記新しいパケットを通信するステップとを含む、請求項１３に記載の方法。
15. 前記エフェメラルポートを識別するステップは、
    前記第１の計算インスタンスに割当てられたエフェメラルポート値の範囲から前記新しいパケットのために用いられるべき前記エフェメラルポート値を選択するステップを含み、前記第１の計算インスタンスに割当てられた前記エフェメラルポート値の範囲内の前記エフェメラルポート値は、前記複数の計算インスタンス内の他の計算インスタンスに割当てられたエフェメラルポート値とは異なる、請求項１４に記載の方法。
16. 前記エフェメラルポート値を識別するステップは、
    前記特定のＮＶＤにより、１つ以上のエフェメラルポート値を要求する要求をサービスに送信するステップと、
    前記特定のＮＶＤにより、前記サービスから、１つ以上のエフェメラルポート値のセットを受信するステップとを含み、
    前記新しいパケットの前記ソースポートフィールドを設定するステップは、前記ソースポートフィールドを、前記１つ以上のエフェメラルポート値のセットからの値に設定するステップを含む、請求項１４に記載の方法。
17. 前記新しいパケットが新しい接続のためのものであるかまたは応答パケットであるかを判断するステップは、前記新しいパケットが応答パケットであると判断するステップを含み、
    前記方法はさらに、前記特定のＮＶＤから前記宛先クライアントに関連付けられたＮＶＤに前記新しいパケットを通信するステップを含む、請求項１３に記載の方法。
18. 前記新しいパケットが新しい接続のためのものであるかまたは応答パケットであるかを判断するステップは、
    前記新しいパケットが肯定応答を含む場合、前記新しいパケットを応答パケットとして識別するステップ、
    前記新しいパケットの前記ソースポートフィールドにおける値がエフェメラルポート値でない場合、前記新しいパケットを応答パケットとして識別するステップ、または、
    前記新しいパケットが既存のネットワークフローの一部であると前記特定のＮＶＤが判断する場合、前記新しいパケットを応答パケットとして識別するステップ、
    のステップうち少なくとも１つを実行するステップを含む、請求項１３に記載の方法。
19. １つ以上のプロセッサによって実行可能な複数の命令を記憶する非一時的なコンピュータ可読メモリであって、前記複数の命令は、前記１つ以上のプロセッサによって実行されると、以下の処理を含む処理を実行する命令を含み、前記以下の処理は、
    宛先アドレスが第１のインターネットプロトコル（ＩＰ）アドレスである第１のパケットについて、複数のＩＰアドレスが前記第１のＩＰアドレスに関連付けられていると判断する処理を含み、前記第１のＩＰアドレスは複数の計算インスタンスに関連付けられており、前記複数のＩＰアドレスは、前記複数の計算インスタンスに関連付けられた複数のネットワーク仮想化デバイス（ＮＶＤ）のＩＰアドレスを含み、前記以下の処理はさらに、
    前記複数のＩＰアドレスから特定のＩＰアドレスを選択する処理を含み、前記特定のＩＰアドレスは、前記複数のＮＶＤからの特定のＮＶＤのものであり、前記特定のＮＶＤは、前記複数の計算インスタンスからの第１の計算インスタンスに関連付けられており、前記以下の処理はさらに、
    前記第１のパケットを前記特定のＩＰアドレスに通信する処理を含む、非一時的なコンピュータ可読メモリ。
20. システムであって、
    １つ以上のプロセッサと、
    複数の命令を記憶するメモリとを含み、前記複数の命令は、前記１つ以上のプロセッサによって実行されると前記システムに、
    宛先アドレスが第１のインターネットプロトコル（ＩＰ）アドレスである第１のパケットについて、複数のＩＰアドレスが前記第１のＩＰアドレスに関連付けられていると判断することを行なわせ、前記第１のＩＰアドレスは複数の計算インスタンスに関連付けられており、前記複数のＩＰアドレスは、前記複数の計算インスタンスに関連付けられた複数のネットワーク仮想化デバイス（ＮＶＤ）のＩＰアドレスを含み、前記複数の命令は前記システムにさらに、
    前記複数のＩＰアドレスから特定のＩＰアドレスを選択することを行なわせ、前記特定のＩＰアドレスは、前記複数のＮＶＤからの特定のＮＶＤのものであり、前記特定のＮＶＤは、前記複数の計算インスタンスからの第１の計算インスタンスに関連付けられており、前記複数の命令は前記システムにさらに、
    前記第１のパケットを前記特定のＩＰアドレスに通信することを行なわせる、システム。
21. １つ以上のプロセッサによって実行可能な複数の命令を記憶する非一時的なコンピュータ可読メモリであって、前記複数の命令は、前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに請求項１から１８のいずれか１項に記載の方法を実行させる命令を含む、非一時的なコンピュータ可読メモリ。
22. システムであって、
    １つ以上のプロセッサと、
    複数の命令を記憶するメモリとを備え、前記複数の命令は、前記１つ以上のプロセッサによって実行されると前記システムに請求項１から１８のいずれか１項に記載の方法を実行させる、システム。

Images