JP7417826B2 - 複数のルーティング構成要素を用いる論理ルータ - Google Patents

複数のルーティング構成要素を用いる論理ルータ Download PDF

Info

Publication number
JP7417826B2
JP7417826B2 JP2022159673A JP2022159673A JP7417826B2 JP 7417826 B2 JP7417826 B2 JP 7417826B2 JP 2022159673 A JP2022159673 A JP 2022159673A JP 2022159673 A JP2022159673 A JP 2022159673A JP 7417826 B2 JP7417826 B2 JP 7417826B2
Authority
JP
Japan
Prior art keywords
logical
centralized
gateway
interface
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022159673A
Other languages
English (en)
Other versions
JP2022191323A (ja
Inventor
ロンフア チャン,
ガネサン チャンドラシェカー,
スリーラム ラヴィンヌーザラ,
カイ-ウェイ ファン,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nicira Inc
Original Assignee
Nicira Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nicira Inc filed Critical Nicira Inc
Publication of JP2022191323A publication Critical patent/JP2022191323A/ja
Application granted granted Critical
Publication of JP7417826B2 publication Critical patent/JP7417826B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/25Routing or path finding in a switch fabric
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46Interconnection of networks
    • H04L12/4633Interconnection of networks using encapsulation techniques, e.g. tunneling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/58Association of routers
    • H04L45/586Association of routers of virtual routers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46Interconnection of networks
    • H04L12/4641Virtual LANs, VLANs, e.g. virtual private networks [VPN]
    • H04L12/4645Details on frame tagging
    • H04L12/465Details on frame tagging wherein a single frame includes a plurality of VLAN tags
    • H04L12/4654Details on frame tagging wherein a single frame includes a plurality of VLAN tags wherein a VLAN tag represents a customer VLAN, e.g. C-Tag
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/66Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0654Management of faults, events, alarms or notifications using network fault recovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12Discovery or management of network topologies
    • H04L41/122Discovery or management of network topologies of virtualised topologies, e.g. software-defined networks [SDN] or network function virtualisation [NFV]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/40Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5041Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/10Active monitoring, e.g. heartbeat, ping or trace-route
    • H04L43/106Active monitoring, e.g. heartbeat, ping or trace-route using time related information in packets, e.g. by adding timestamps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/02Topology update or discovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/02Topology update or discovery
    • H04L45/033Topology update or discovery by updating distance vector protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/12Shortest path evaluation
    • H04L45/122Shortest path evaluation by minimising distances, e.g. by selecting a route with minimum of number of hops
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/22Alternate routing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/28Routing or path finding of packets in data switching networks using route fault recovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/302Route determination based on requested QoS
    • H04L45/306Route determination based on the nature of the carried application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/42Centralised routing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/44Distributed routing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/64Routing or path finding of packets in data switching networks using an overlay routing layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/72Routing based on the source address
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/74Address processing for routing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/74Address processing for routing
    • H04L45/742Route cache; Operation thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/74Address processing for routing
    • H04L45/745Address table lookup; Address filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/19Flow control; Congestion control at layers above the network layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/30Peripheral units, e.g. input or output ports
    • H04L49/3009Header conversion, routing tables or routing tags
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/30Peripheral units, e.g. input or output ports
    • H04L49/3063Pipelined operation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/35Switches specially adapted for specific applications
    • H04L49/354Switches specially adapted for specific applications for supporting virtual local area networks [VLAN]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/90Buffering arrangements
    • H04L49/9063Intermediate storage in different physical parts of a node or terminal
    • H04L49/9068Intermediate storage in different physical parts of a node or terminal in the network interface card
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/09Mapping addresses
    • H04L61/25Mapping addresses of the same type
    • H04L61/2503Translation of Internet protocol [IP] addresses
    • H04L61/256NAT traversal
    • H04L61/2585NAT traversal through application level gateway [ALG]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1038Load balancing arrangements to avoid a single path through a load balancer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63Routing a service request depending on the request content or context
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/321Interlayer communication protocols or service data unit [SDU] definitions; Interfaces between layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/326Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the transport layer [OSI layer 4]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/329Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the application layer [OSI layer 7]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46Interconnection of networks
    • H04L12/4604LAN interconnection over a backbone network, e.g. Internet, Frame Relay
    • H04L2012/4629LAN interconnection over a backbone network, e.g. Internet, Frame Relay using multilayer switching, e.g. layer 3 switching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2101/00Indexing scheme associated with group H04L61/00
    • H04L2101/60Types of network addresses
    • H04L2101/618Details of network addresses
    • H04L2101/663Transport layer addresses, e.g. aspects of transmission control protocol [TCP] or user datagram protocol [UDP] ports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5077Network service management, e.g. ensuring proper service fulfilment according to agreements wherein the managed service relates to simple transport services, i.e. providing only network infrastructure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/38Flow based routing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/09Mapping addresses
    • H04L61/10Mapping addresses of different types
    • H04L61/103Mapping addresses of different types across network layers, e.g. resolution of network layer into physical layer addresses or address resolution protocol [ARP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/09Mapping addresses
    • H04L61/25Mapping addresses of the same type
    • H04L61/2503Translation of Internet protocol [IP] addresses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Environmental & Geological Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

[0001] 典型的な物理ネットワークは、L3フォワーディング(forwarding)(すなわちルーティング)を実行するための複数の物理ルータを含む。第1のマシンが、異なるIPサブネットに置かれた第2のマシンへパケットを送信しようとする場合、パケットはルータに送信され、当該ルータは、パケットの送信先IPアドレスを用いてどのマシンの物理インタフェースを通じてパケットを送信すべきかを決定する。より大きなネットワークは、ルータの1つが停止した場合に、パケットが第1のマシンと第2のマシンとの間の異なるパスに沿ってルーティングされ得るように、複数のルータを含む。
[0002] 論理ネットワークにおいても、異なるサブネットにおけるユーザ定義データ計算ノード(例えば仮想マシン)が、互いに通信することが同様に必要であり得る。この場合、テナント(tenant)は、論理スイッチと論理ルータとの両方を含む、仮想化のためのネットワークを定義し得る。データセンタにおいてこのような仮想化された論理ネットワークを適切に提供する論理ルータを実施する方法が必要とされている。
[0003] いくつかの実施形態は、ネットワークにおいて(例えばデータセンタにおいて)論理ルータを実施する方法を提供する。ある実施形態では、この方法は、ネットワークを集中的に管理する(例えばネットワークコントローラにおいて実施される)管理プレーンによって実行される。いくつかの実施形態では、この方法は、(例えばアプリケーションプログラミングインタフェース(API)を通じて)論理ルータの定義を受信し、そして論理ルータのためのいくつかのルーティング構成要素を定義する。これらのルーティング構成要素のそれぞれは、別個に経路の組と論理インタフェースの組とを割り当てられる。
[0004] いくつかの実施形態では、論理ルータのために定義されたいくつかのルーティング構成要素は、1つの分散化ルーティング構成要素といくつかの集中化ルーティング構成要素とを含む。加えて、いくつかの実施形態の管理プレーンは、論理ルータの内部の構成要素の間の通信を処理するための論理スイッチ(通過論理スイッチとして参照される)を定義する。分散化ルーティング構成要素と通過論理スイッチとは、データセンタ内の多数のマシンによって分散化された態様で実施される一方、集中化ルーティング構成要素はそれぞれが単一のマシン上で実施される。いくつかの実施形態は、様々なマシン上の管理対象フォワーディング構成要素のデータパスにおいて分散化構成要素を実施する一方、集中化ルーティング構成要素はその単一のマシン上の複数のVM(又は他のデータ計算ノード)において実施される。他の実施形態もまた、割り当てられたマシンのデータパスにおいて集中化構成要素を実施する。
[0005] ある実施形態では、集中化構成要素はアクティブ-アクティブモード、又はアクティブ-スタンバイモードであるように構成され得る。アクティブ-アクティブモードでは、全ての集中化構成要素が同時に完全に動作し、トラフィックは、(様々な集中化構成要素にわたるトラフィックをバランスする)等価コストマルチパス(equal-cost multi-path)(ECMP)フォワーディング原理を用いる集中化構成要素を通して、論理ネットワークに侵入又は退出することができる。このモードでは、別々の集中化構成要素のそれぞれは、外部ネットワークと通信するための、自身のネットワークレイヤ(例えばIP)アドレスとデータリンクレイヤ(例えばMAC)アドレスとを有する。加えて、別々の集中化構成要素のそれぞれは、分散化ルーティング構成要素へパケットを送信するとともに分散化ルーティング構成要素からパケットを受信するために、通過論理スイッチと接続するための自身のネットワークレイヤアドレスとデータリンクレイヤアドレスとを有する。
[0006] いくつかの実施形態では、論理ルータは2層論理ネットワーク(two-tier logical network)構成の一部である。2層構成のいくつかの実施形態は、論理ネットワークをデータセンタの外部のネットワークに接続するための単一の論理ルータ(プロバイダ論理ルータ(provider logical router)(PLR)として参照され、例えばデータセンタの所有者によって管理される)と、単一の論理ルータと接続し、外部ネットワークと個別に通信しない複数の論理ルータ(テナント論理ルータ(tenant logical router)(TLR)として参照され、例えばデータセンタの異なるテナントによって管理される)とを含む。いくつかの実施形態は、可能なときはいつでもアクティブ-アクティブモードにおいてPLRを実施し、ステートフルサービス(stateful service)(例えば、NATファイアウォール、ロードバランサ等)が論理ルータのために構成される場合にのみアクティブ-スタンバイモードを用いる。
[0007] PLRに対して、いくつかの実施形態は外部ネットワークと経路交換を可能にする。PLRの集中化構成要素のそれぞれは、論理ネットワークのプレフィックスをアドバタイズし、外部ネットワークへの経路を受信するために動的ルーティングプロトコル処理を実行する。データセンタ内に集中的、及び論理ネットワークを実施するマシン上の両方に置かれたネットワークコントローラのネットワーク制御システムを通して、これらの経路が他の集中化構成要素と分散化ルーティング構成要素とに伝達される。いくつかの実施形態は、外部ネットワークから直接学習した経路と、外部ネットワークから経路を学習した、異なるピアの集中化構成要素から学習した経路とについての、集中化構成要素のルーティング情報ベース(routing information base, RIB)において異なる管理上のメトリックを用いる。従って、集中化構成要素は、論理ルータのピア集中化構成要素を通じたリダイレクションを含む経路よりも、直接学習した経路を選択する。しかしながら、異なる集中化構成要素が、外部ネットワークへの異なるL3の接続性をもって構成されるインタフェースを有する場合、いくつかの実施形態では、第1の集中化構成要素によって処理されるパケットを第2の集中化構成要素を介して外部ネットワークへリダイレクトするために用いられる集中化構成要素上に、ダミーインタフェースを生成する。
[0008] 一方、アクティブ-スタンバイモードでは、集中化構成要素のうちの1つのみがその時点で完全に機能(アクティブな構成要素)し、この構成要素のみがトラフィックを引き込むためのメッセージを送信する。いくつかの実施形態では、2つの構成要素は、分散化構成要素と通信するための同一のネットワークレイヤアドレス(しかし異なるデータリンクレイヤアドレス)を使用し、アクティブな構成要素のみが、分散化構成要素からのアドレス解決プロトコル(address resolution protocol, ARP)のリクエストに返信する。更に、アクティブな集中化構成要素のみが、トラフィックを引き込むために外部ネットワークへ経路をアドバタイズする。
[0009] 論理ルータがTLRである場合、いくつかの実施形態は、論理ルータに対するステートフルサービス(stateful service)が構成されるときには、アクティブ-スタンバイモードでは、集中化構成要素を用いない或いは2つの集中化構成要素を用いる。TLRは、同一のネットワークレイヤアドレスを有する2つの集中化構成要素のそれぞれと、ARPリクエストに応答するアクティブな構成要素のみを有し、アクティブ-スタンバイモードにおいて内部的にPLRと同様の形態で動作する。PLRと接続するために、いくつかの実施形態はまた、2つの構成要素のそれぞれに同一のネットワークレイヤアドレス(しかし自身の分散化構成要素と接続するために用いられるアドレスとは異なる)を割り当てる。加えて、管理プレーンは、PLRの分散化構成要素とTLRの集中化構成要素との間の通過論理スイッチを定義する。
[0010] いくつかの場合、アクティブ-アクティブモードであろうとアクティブ-スタンバイモードであろうと、集中化ルータ構成要素の1つ(又はそれ以上)は停止する。この障害は、構成要素が動作するマシンが完全にクラッシュし、マシンを実施するデータ計算ノード又はデータパスソフトウェアが破損し、外部ネットワークと接続する、或いは論理ネットワークの他の構成要素へのトンネルを通じて接続する構成要素の能力が停止する等によって発生し得る。停止した構成要素が、アクティブ-スタンバイモードにおいてスタンバイである場合、いくつかの実施形態では、取るべきアクションはない。そうでない場合、集中化構成要素の1つが停止したときには、そのピア構成要素の1つが通信を引き継ぐ責務を負う。
[0011] アクティブ-スタンバイモードでは、スタンバイの集中化ルータ構成要素が、停止したアクティブな集中化ルータ構成要素に対する引き継ぎの責務を負う。このようにするため、論理ルータがPLRである場合、新しいアクティブな構成要素は、外部ネットワークからのトラフィックを引き込むために、外部ネットワークに対して経路のアドバタイジングを開始する(外部ネットワークへの接続性が維持されている場合、停止した構成要素は、このトラフィックを引き込むことを避けるために、自身の経路のアドバタイズメントを停止する責務を負う)。加えて、新しいアクティブな構成要素は、ネットワークレイヤアドレスの2つの構成要素の間の共有について現時点で責務を負うPLRの分散化構成要素に、メッセージ(例えばグラチュータスARP(gratuitous ARP)(GARP)の返信)を送信する。論理ルータがTLRである場合、この同一のGARPの返信の組が送信される。更に、構成要素が接続するPLRからのトラフィックを引き込むため、新しいアクティブな構成要素は、GARPの返信を、当該構成要素をPLRに接続する通過論理スイッチへ送信する。
[0012] いくつかの実施形態のアクティブ-アクティブモードでは、管理プレーンは、論理ルータに対する全ての集中化構成要素を、これらが生成された時点におけるランキングを用いて指定する。このランキングは、停止した構成要素をどのピア構成要素が引き継ぐかを決定するために用いられる。具体的に、ある実施形態では、停止した構成要素のランキングの次に高いランキングを有する集中化構成要素が、停止した構成要素を引き継ぐ。引き継ぐためには、引き継ぐ構成要素が、論理ルータに対する分散化構成要素と通信する、停止した構成要素のネットワークレイヤアドレスを識別し、自身のデータリンクレイヤアドレスを、停止した構成要素のネットワークレイヤアドレスと関連付けるGARPの返信を送信する。
[0013] 先行する要約は、本発明のいくつかの実施形態に対する簡単な導入として提供されることを意図するものである。本書面において開示される発明の主題の全ての紹介又は概要を意味するものではない。以下の詳細な説明及び詳細な説明において参照される図面は、他の実施形態と、要約において説明された実施形態を更に説明するであろう。従って、本書面によって説明される全ての実施形態を理解するため、要約、詳細な説明及び図面の十分な確認が必要である。更に、クレームされる主題は、主題の思想から離れることなく他の具体的な形態で具現化することができるため、クレームされる主題は、要約、詳細な説明及び図面における詳細な例によって限定されず、むしろ添付された特許請求の範囲によって定義されるべきである。
[0014] 本発明の新規な特徴は添付の特許請求の範囲によって明らかになる。しかしながら、説明の目的のため、本発明のいくつかの実施形態は以下の図において明らかになる。
[0015] 図1は、ユーザによって指示されるような論理ネットワークを表す、論理ルータの構成図を示す。 [0016] 図2は、論理ルータが集中化される態様で実施される場合の、図1の論理ネットワークの管理プレーンビューを示す。 [0017] 図3は、図1の論理ルータの物理的に集中化された実施を示す。 [0018] 図4は、論理ルータが分散化される態様で実施される場合の、図1の論理ネットワークの管理プレーンビューを示す。 [0019] 図5は、図1の論理ルータの物理的に分散化された実施を示す。 [0020] 図6は、論理ルータの2つの層を用いる論理ネットワークを概念的に示す。 [0021] 図7は、論理ネットワーク内のTLRが完全に分散化される場合の、図6の論理トポロジの管理プレーンビューを示す。 [0022] 図8は、論理ネットワーク内のTLRが集中化構成要素を有する場合の、図6の論理トポロジの管理プレーンビューを示す。 [0023] 図9は、管理者によって割り当てられたネットワークアドレスおよびインタフェースを含む、論理ネットワークトポロジのより詳細な構成を概念的に示す。 [0024] 図10は、管理プレーンごとの図9の論理トポロジの構成を示す。 [0025] 図11は、ユーザ仕様に基づいてPLRを構成するいくつかの実施形態の処理を概念的に示す。 [0026] 図12は、ユーザ仕様に基づいてTLRを構成するいくつかの実施形態の処理を概念的に示す。 [0027] 図13は、TLRとPLRの両方がDRに加えてSRを含む、図8に示す2層論理ネットワークを構築する管理プレーンの物理的な実施を概念的に示す。 [0028] 図14A及び14Bは、論理ルータの単一層を用いる論理トポロジに対する、論理ネットワークから出るトラフィック(ノースバウンドトラフィック(northbound traffic))と論理ネットワークへ入るトラフィック(サウスバウンドトラフィック(southbound traffic))とのそれぞれの例を示す。 [0029] 図15A及び15Bは、下の(TLR)層で提供される集中化サービスを有しない、2層論理トポロジに対するノースバウンド及びサウスバウンドのトラフィックの例を示す。 [0030] SRによって下の(TLR)層で提供される集中化サービスを有しない、2層の論理トポロジに対するノースバウンド及びサウスバウンドのトラフィックの例を示す。 [0031] 図17は、いくつかの実施形態のSR処理の様々なステージを概念的に示す。 [0032] 図18及び図19は、単一の層のロジカルネットワークトポロジと、ECMPの使用要件を満たすトポロジの管理プレーンビューを示す。 [0033] 図20は、論理ルータがアクティブ-アクティブ(ECMP)モードよりもむしろアクティブ-スタンバイモードで構成される場合の、図18の論理ネットワークトポロジの管理プレーンビューを示す。 [0034] 図21は、特定のPLRに対する3つのreSRをホストする3つのゲートウェイマシンの物理的な実装例を示す。 [0035] 図22は、クラッシュする図21のSRの1つを実施するVMの1つの結果を概念的に示す。 [0036] 図23は、図21のSRの1つをホストするゲートウェイマシン上のMFEにおける、完全なトンネルの障害の結果を概念的に示す。 [0037] 図24は、ピアSRのファイオーバーの場合にSRによって実行される処理を概念的に示す。 [0038] 図25は、本発明のいくつかの実施形態が実装される電子システムを概念的に示す。
[0039] いくつかの実施形態は、例えばデータセンタにおける実施のための2層論理ルータ技術を提供する。これらの層は、いくつかの実施形態では、プロバイダ論理ルータ(PLR)の上層(top tier)とテナント論理ルータ(TLR)の下層(lower tier)とを含む。この2層構造は、プロバイダ(例えばデータセンタのオーナー)とテナント(例えばデータセンタのカスタマ、しばしば多数のこのようなカスタマのうちの1つ)との両方が、これら自身のサービスとポリシーの制御を可能にする。いくつかの実施形態では、PLRレイヤは、外部物理ネットワークとインタフェースで接続する論理レイヤであり、従って、動的ルーティングプロトコル(例えばBGP)は、データセンタの外部の物理ルータとルーティング情報を交換することができるように、PLR上に構成され得る。いくつかの実施形態はまた、物理的なネットワークルータが起動しているかを監視するための双方向フォワーディング検出(BFD)又は同様のプロトコルの構成を可能にする。いくつかのデータセンタは複数のテナントを有し得ず、この場合、別個のPLRとTLRに対する必要性は無くなる。このような場合、いくつかの実施形態は、PLRの機能を有する単一の層を用いる、単一層論理ルータトポロジを用い得る。いくつかの実施形態の2層論理トポロジは、2014年3月21日に出願された米国特許出願14/222,557号に、より詳細に説明されており、参照により以下に組み込まれる。
[0040] いくつかの実施形態では、PLRとTLRの両方が、ステートフルサービス(例えばファイアウォール)に加えて、ステートレスサービス(例えばアクセス制御リスト(ACL))をサポートする能力を有する。加えて、(VMなどのデータ計算ノードが接続し得る)論理スイッチはPLR又はTLRのいずれかと接続し得る。更に、PLRとTLRの両方は、(例えば、データ計算ノードと直接物理的に接続する第1ホップのMFEで実行される論理ルータ処理を用いて)分散化された態様、又は(ノース-サウストラフィックとイースト-ウェストトラフィックの両方のためのゲートウェイで実行される論理ルータ処理を用いて)集中化された態様のいずれかで実施されることができる。集中化された実施では、分散化された態様で実施される場合であってもPLRが物理ネットワークと相互作用する集中化ゲートウェイに加え、論理ルータの両層は、(例えば等価コストマルチパス(equal-cost multi-path, ECMP)技術を用いて)追加的なスループットを提供するために、障害保護(failure protection)のときと同じように複数の物理的なボックスを用いることによってスケールアウトされ得る。
[0041] いくつかの実施形態では、論理ルータが少なくとも部分的に集中化(例えばクラスタ-化)された態様で実施される場合、論理ルータは(論理ルータの実施の間のステート共有に対する必要性を排除するために)ステートフルサービスのみを用い得る。異なる実施形態では、(分散化PLRのための外部ネットワークへの接続を形成するとともに、論理ルータの集中化された側面を提供する)ゲートウェイは、(あるときにはエッジVM(Edge VM)として参照される)仮想マシン、データ計算ノードの他の種別(例えばネームスペース)、又はLinux(登録商標)ベースのデータパス開発キット(DPDK)のパケット処理ソフトウェア(例えば、DPDKベースのデータパスにおけるVRF)として実施され得る。
[0042] 以下、明細書において使用される用語及び略語のいくつかを説明する。
・VNI (Virtual/Logical Network Identifier)-論理ドメイン(例えば論理スイッチ)に対する固有の識別子(例えば24ビットの識別子)。
・PLR (Provider Logical Router-上述のように、サービスプロバイダ(例えばデータセンタのオペレータ)が完全な制御権を有し、外部の物理ネットワークと直接的にインタフェースで接続する論理ルータ。
・TLR (Tenant Logical Router)-テナント(例えばデータセンタのカスタマ、企業体内のグループ等)が完全な制御権を有し、外部の物理ネットワークにアクセスするためにPLRと接続する論理ルータ。
・分散化論理ルータ(Distributed Logical Router)-第1ホップルーティングをサポートする論理ルータ、すなわち、データ計算ノードが直接接続する管理対象フォワーディング構成要素内で、論理ルータが実施される。
・集中化論理ルータ(Centralized Logical Router)-第1ホップルーティングをサポートしない論理ルータ。
・サービスルータ(SR)-集中化サービスを提供するために用いられる論理ルータの具体化の一部であり、いくつかの実施形態では、SRは、トラブルシューティングの目的を除いて、ネットワークマネージャーAPIに露出されない。
・分散化ルータ(DR)-第1ホップルーティングを提供するために用いられる論理ルータの具体化の一部。いくつかの実施形態では、DRもまた、トラブルシューティングの目的を除いて、ネットワークマネージャーAPIに露出されない。
・アップリンク-(i)論理ルータ(外部物理ネットワークに向けられている)のノースバウンドインタフェースと、(ii)ゲートウェイのpNlCsの組との両方への参照。
・論理スイッチ-論理L2ブロードキャストドメイン。
・通過論理スイッチ(Transit logical switch)-TLRのSR/DRとDRのDRとを接続するためにネットワークマネージャーによって自動的に生成される論理スイッチであり、いくつかの実施形態では、通過論理スイッチは、接続されるデータ計算ノード(例えばカスタマワークロードVM)を有しない。
更に、いくつかの実施形態では、通過論理スイッチはトラブルシューティングの目的を除いて、ネットワークマネージャーAPIに露出されない。
・コンテキスト-論理ルータのデータパス表現であり、いくつかの実施形態では、コンテキストはVRF、ネームスペース又はVMであり得る。
・トランスポートノード、又はゲートウェイ-ネットワークマネージャーによって定義されたトンネルを終端させるノードであり、様々な実施形態において、当該ノードはハイパーバイザで実施される仮想スイッチ、又はDPDKベースのエッジノードであり得る。いくつかの実施形態では、トランスポートノードはデータパスを用いる相互接続に用いられ得る。
・デプロイコンテナ(Deployment Container、DC)、又はエッジクラスタ(Edge Cluster)-同種のノードの集合、同一のL2接続性を共有するアップリンクであり、いくつかの実施形態では、DC内の全ノードは同一の種別であり且つ同一の障害ドメインに属す。
・エッジノード(Edge Node)-DC内のノードであり、DPDKベースのエッジ又はハイパーバイザで実施される仮想スイッチであり得る。
[0043] 上記は2層論理ルータの概念と、いくつかの実施形態の論理ルータの構成及び実施の所定の側面とを説明する。以下、セクションIはいくつかの実施形態の論理ルータの全体的な高レベルの設計に焦点をあて、一方で、セクションIIは様々な論理ルータ構成要素の構成を説明する。そして、セクションIIIは、いくつかの実施形態の様々なパイプラインを通したパケット処理を説明する。次に、セクションIVはアクティブ-アクティブ構成におけるECMP処理を説明し、一方で、セクションVはアクティブ-スタンバイ構成について説明する。そして、セクションVIはSRに対するフェイルオーバー(failover)シナリオについて説明する。最後に、セクションVIIは、本発明のいくつかの実施形態が実装される電子システムを説明する。
[0044] I.論理ルータ及び物理的な実施
[0045] 以下の説明は、いくつかの実施形態に対する論理ルータの設計について、いくつかの実施形態のネットワークコントローラによる論理ルータの実施とともに説明する。上述したように、いくつかの実施形態の論理ルータは、分散化した又は集中化した態様のいずれかで実施することができ、論理ルータがステートフル(又はステートレス)サービスを用いて又は用いることなくスケールアウトすることができるように、そして、そのようなサービスがデータパス内のVRFコンテキスト又は仮想マシンコンテキストのいずれかによって提供され得るように、設計される。
[0046] いくつかの実施形態では、論理ルータは3つの異なる形態で存在する。3つの形態の1つ目は、APIの図、或いは構成図であり、これは、論理ルータが、データセンタプロバイダ又はテナントのようなユーザによってどのように定義されるか(すなわち受信した論理ルータの定義)についてのものである。2つ目の図は、ネットワークコントローラがどのように内部的に論理ルータを定義するかについての、コントロールプレーン又は管理プレーンのビューである。最後に、3つ目の図は、論理ルータがどのようにデータセンタ内で実際に実施されるかについての論理ルータの物理的な具体化又は実施である。
[0047] コントロールプレーンの図では、いくつかの実施形態の論理ルータは、単一のDRと1つ以上のSRとの1つ又は両方を含む。いくつかの実施形態において、DRは、論理ルータに直接若しくは間接に論理的に接続される他のデータ計算ノード又はVMと直接接続する、管理対象フォワーディング構成要素(MFE)に及ぶ。いくつかの実施形態のDRはまた、論理ルータが結合するゲートウェイに及ぶ。上述したように、DRは、論理スイッチ及び、論理ルータと論理的に接続された他の論理ルータの少なくともいずれかの間における、第1ホップの分散ルーティングに対して責務を負う。いくつかの実施形態のSRは、分散化された形態(例えばいくつかのステートフルサービス)で実施されないサービスを配送する責務を負う。
[0048] A.集中化論理ルータ
[0049] 図1-3は、集中化論理ルータの実施についての3つの異なる図を示している。図1は、特に、ユーザによって指示されるような論理ネットワーク100を表す、論理ルータの構成図を示す。図示されるように、論理ルータ115は、論理ルータ115と、2つの論理スイッチ105及び110とを含む論理ネットワーク100の一部である。2つの論理スイッチ105と110のそれぞれは、論理ポートに接続するVMを有する。3つの図においてVMとして示すが、いくつかの実施形態において、他の種別のデータ計算ノード(例えばネームスペース等)が論理スイッチと接続することが理解されるべきである。論理ルータ115はまた、外部物理ネットワーク120に接続する2つのポートを含む。
[0050] 図2は、論理ネットワーク100の管理プレーンビュー200を示している。論理スイッチ105と110は、この図では構成図と同一であるが、ネットワークコントローラは、論理ルータ115に対して2つのサービスルータ205と210とを生成している。いくつかの実施形態では、これらのSRは、1つのSRがアクティブに動作し、他はスタンバイとして(アクティブなSRが障害である場合に)動作する、アクティブ-スタンバイモードで動作する。論理スイッチ105と110のそれぞれは、SR205と210のそれぞれとの接続を有する。論理ネットワーク100が3つの論理スイッチを含む場合、これらの3つの論理スイッチは、SR205と210との両方にそれぞれ接続される。
[0051] 最後に、図3は、論理ルータ100の物理的な集中化実施を示している。図示されるように、論理ネットワーク100における論理スイッチ105と110の1つに接続されるVMのそれぞれは、ホストマシン305上で動作する。これらのホストマシン上で動作するMFE310は、ホストマシン上のハイパーバイザ又は他の仮想化ソフトウェア内で動作する仮想スイッチ(例えばOVS、ESX)である。これらのMFEは、論理ネットワーク100のVMによって送信されるパケットに対し、論理スイッチ105及び110の第1ホップのスイッチングを実行する。MFE310(又はこれらのサブセット)はまた、他の論理ネットワークが、ホストマシン305上に同様に存在するVMを有する場合、他の論理ネットワークのための論理スイッチ(及び分散化論理ルータ)を実施し得る。
[0052] 2つのサービスルータ205と210のそれぞれは、異なるゲートウェイマシン315及び320上で動作する。ゲートウェイマシン315と320は、いくつかの実施形態においてホストマシン305と類似するホストマシンであるが、ユーザVMよりむしろホストサービスルータである。いくつかの実施形態では、ゲートウェイマシン315及び320のそれぞれは、MFEが必要な任意の論理スイッチングを処理するように、サービスルータとMFEとを含む。例えば、外部ネットワーク120から送信されたパケットは、ゲートウェイ上のサービスルータの実施によってルーティングされ得、そして同じゲートウェイ上のMFEにより、その後スイッチされる。
[0053] SRは、異なる実施形態では、ネームスペース内、仮想マシン内、又はVRFとして実施され得る。SRは、いくつかの実施形態では、任意のステートフルサービス(例えばファイアウォール)が論理ルータ上に構成されるかどうかに応じて、アクティブ-アクティブ又はアクティブ-スタンバイモードで動作し得る。ステートフルサービスが構成される場合、いくつかの実施形態は単一のアクティブSRのみを必要とする。いくつかの実施形態では、アクティブ及びスタンバイのサービスルータは同一の構成で提供されるが、MFE310は、アクティブSR(又はアクティブSRを有するゲートウェイマシン上のMFEへ)へトンネルを介してパケットを送信するように構成される。トンネルがダウンした場合にのみ、MFEがスタンバイのゲートウェイにパケットを送信する。
[0054] B. 分散化論理ルータ
[0055] 上述したセクションが論理ルータの集中化された実施について説明するのに対し、いくつかの実施形態は、ゲートウェイに全てのルーティングの機能を集中させるよりむしろ、第1ホップルーティングを可能にする分散化論理ルータの実施を用いる。いくつかの実施形態では、分散化論理ルータの物理的な具体化は、常にDR(すなわち第1ホップルーティング)を有する。分散化論理ルータは、(i)論理ルータがPLRであり、従って外部物理ネットワークに接続する、或いは(ii)分散化された実施を持たないように構成されたサービス(例えば、いくつかの実施形態では、MAT、ロードバランシング、DHCP)を、論理ルータが有する、のいずれかの場合にSRを有する。いくつかの実施形態は、PLR上に構成されるステートフルサービスが無い場合であっても、ECMPの場合の障害の対処に役立てるための実施において、SRを用いる。
[0056]
[0057] 図4及び5は、それぞれ、管理プレーンビュー及び分散化論理ルータのための物理的な実施を示している。ユーザによって入力される構成ビューは、集中化ルータのための図1で示したものと同一であり、相違はユーザ(管理者)が論理ルータが分散化するように示すことである。分散化実施のためのコントロールプレーンビュー400は、2つのサービスルータ405と410に加えて、コントロールプレーンが分散化ルータ415と通過論理スイッチ420とを生成することを示している。様々なルータ構成物405-415のノースバウンド及びサウスバウンドの構成と、これらの通過論理スイッチ420との接続は以下で更に詳細に説明される。いくつかの実施形態では、管理プレーンは、ルータ構成物405-415のそれぞれに対して別々のルーティング情報ベース(routing information bases)(RIB)を生成する。これは、管理/コントロールプレーンにおいて生成された別々のオブジェクトを有することに加えて、各ルータ構成物405は別々の経路を有する別々のルータとして扱われる。そして、通過論理スイッチ420は、これらの各ルータに対する論理ポートを有し、各ルータ構成物は通過論理スイッチ420へのインタフェースを有する。
[0058] 図5は、論理ルータ100の物理的な分散化実施を示している。集中化実施のように、論理ネットワーク100における論理スイッチ105と110の1つに接続するVMのそれぞれは、ホストマシン505上で動作する。MFE510は、第1ホップスイッチングと論理スイッチ105及び110のためのルーティングと論理ルータ115のためのルーティングとを(スイッチングを実行すること及び/又は他の論理ネットワークへルーティングすることに加えて)実行する。図5に示すように、分散化ルータ415は、ゲートウェイ515及び520に加えてMFE510にわたって実施される。すなわち、データパス(例えば、MFE510において、ゲートウェイ515及び520におけるMFEと同様に、又は、ゲートウェイ上の異なる形態要素で)は、DR415(及び通過論理スイッチ420)に必要な処理パイプラインの全てを含む。いくつかの実施形態のパケット処理は、以下でより詳細に説明される。
[0059] C.多層トポロジ(Multi-Tier Topology)
[0060] 前の例は論理ルータの単一層のみを示すものである。論理ルータの多層の論理ネットワークでは、いくつかの実施形態は、各レベルにおいてDRとSRの両方を、又は、上層レベルのDR及びSR(PLR層)と下層レベル(TLR層)のDRのみを、含み得る。図6は、いくつかの実施形態の多層論理ネットワーク600を、論理ネットワークの異なる2つの管理プレーンビューを示す図7及び図8とともに、概念的に示している。
[0061] 図6は、論理ルータの2つの層を用いる論理ネットワーク600を概念的に示している。図示されるように、論理ルータ600は、レイヤ3のレベルにおいて、プロバイダの論理ルータ605、いくつかのテナント論理ルータ610-620を含む。第1のテナント論理ルータ610は、論理スイッチのそれぞれに接続する1つ以上のデータ計算ノードとともに、取り付けられた2つの論理スイッチ625及び630を有する。典型的には他のTLR615-620は(データ計算ノードと接続する)取り付けられた論理スイッチを有するが、簡単のために、第1のTLR610に取り付けられた論理スイッチのみを示している。
[0062] いくつかの実施形態では、任意の数のTLRが、PLR605のようなPLRに取り付けられ得る。いくつかのデータセンタは、データセンタ内で実施される全てのTLRが取り付けられる単一のPLRのみを有し得るが、他のデータセンタは多数のPLRを有し得る。例えば、大きなデータセンタは異なるテナントに対して異なるPLRポリシーを用いることを望み得るか、全てのTLRを単一のPLRに取り付ける非常に多くの異なるテナントを有し得る。PLRのルーティングテーブルの部分は、そのTLRの論理スイッチドメインの全てに対する経路を含み、従って、PLRに多数のTLRを取り付けることにより、TLRに取り付けたサブネットに基づく各TLRに対するいくつかの経路を生成する。図示されるように、PLR605は外部物理ネットワーク635への接続を提供し、いくつかの実施形態は、データセンタのプロバイダがこの接続を管理することができるように、PLRがそのような接続を提供することを可能にする。別々のTLR610-620のそれぞれは、論理ネットワーク600の部分を通して、独立に構成される(そのように選択すれば単一のテナントが複数のTLRを有することができるが)。
[0063] 図7及び8は、TLR605が集中化構成要素を含むか否かに応じて異なる、取り得る論理ネットワーク600の管理プレーンビューを示す。これらの例では、TLR605のルーティングについてはDRを用いて常に分散化される。しかしながら、TLR605の構成がステートフルサービスの提供を含む場合、TLRの管理プレーンビュー(従って物理的実施)は、これらのステートフルサービスのためのアクティブ及びスタンバイのSRを含む。
[0064] 従って、図7は、TLR605が完全に分散化される場合の、論理トポロジに対する管理プレーンビュー700を示す。簡単のため、第1のTLR610の詳細のみが示されているが、他のTLRは、いくつかの場合にはSRに加えてそれぞれが自身のDRを有する。図4に示すように、PLR605はDR705と、通過論理スイッチ725によって互いに接続される3つのSRとを含む。PLR605の実施内の通過論理スイッチ725に加えて、管理プレーンはまた、TLRのそれぞれとPLRのDR705との間の別々の通過論理スイッチ730-740を定義する。TLR610が完全に分散化される事例(図7)では、通過論理スイッチ730は、TLR610の構成を実施するDR745と接続する。従って、以下でより詳細に説明されるように、論理スイッチ625に取り付けられるデータ計算ノードによって外部ネットワーク内の宛先に送信されるパケットは、論理スイッチ625、TLR610のDR745、通過論理スイッチ730、PLR605のDR705、通過論理スイッチ725、及びSR710-720の1つ、のパイプラインを通して処理される。いくつかの実施形態では、通過論理スイッチ725及び730-740の存在及び定義は、トラブルシューティングを目的とする例外はあるものの、APIを通してネットワークを設定するユーザ(例えば管理者)には隠される。
[0065] 図8は、TLR605が集中化構成要素を有する場合(例えば、分散化することができないステートフルサービスがTLRのために定義されているため)の、論理トポロジ600に対する管理プレーンビュー800を示している。いくつかの実施形態では、ファイアウォール、NAT、ロードバランシング等などのステートフルサービスは、集中化した形態でのみ提供される。しかしながら、他の実施形態は、分散化するサービスのいくつか又は全てを可能にする。前の図のように、第1のTLR610の詳細のみが簡単のために示されており、他のTLRは、同様に定義された構成要素(DR、通過LS、及び2つのSR)、又は図7の例のようにDRのみを有し得る。PLR605は、前の図と同一の態様で、通過論理スイッチ725によって互いに接続されたDR705と3つのSR710を用いて実施される。加えて、前の例のように、管理プレーンは、PLRとTLRのそれぞれとの間に通過論理スイッチ730-740を置く。
[0066] TLR610の部分的な集中化実装は、論理スイッチ625及び630が取り付けられるDR805と、2つのSR810及び815とを含む。PLRの実施のように、DRと2つのSRのそれぞれは通過論理スイッチ820へのインタフェースを有する。いくつかの実施形態において、この通過論理スイッチは、スイッチ725と同一の目的を果たす。TLRに対し、いくつかの実施形態は、1つのSRがアクティブ、他がスタンバイに指定されたアクティブ-スタンバイのSRを実施する。従って、アクティブなSRが動作可能な限り、論理スイッチ625及び630の1つに取り付けられるデータ計算ノードによって送信されるパケットは、スタンバイのSRよりむしろアクティブなSRに送信される。
[0067] 上図はいくつかの実施形態の論理ルータの管理プレーンビューを示した。いくつかの実施形態では、管理者又は他のユーザは、APIを通して(他の構成情報に加えて)論理トポロジを提供する。このデータは管理プレーンに提供され、それは(例えばDR、SR、通過論理スイッチ等を定義することによって)論理ネットワークトポロジの実施を定義する。加えて、いくつかの実施形態では、ユーザは、各論理ルータ(例えば各PLR又はTLR)をデプロイのために物理マシンの組(例えばデータセンタ内の予め定められたマシンの組)と関連付ける。純粋な分散化ルータについては、図7で実施されるTLR605のように、DRが、論理ネットワークに接続されたデータ計算ノードと共にホスト上に存在する管理フォワーディング構成要素にわたって実施されるため、物理マシンの組は重要ではない。しかしながら、論理ルータの実施がSRを含む場合、これらのSRのそれぞれは特定の物理マシン上にデプロイされる。いくつかの実施形態では、物理マシンのグループは、(ユーザVM又は、論理スイッチに取り付けられるデータ計算ノードとは対照的に)SRをホストする目的のために指定されたマシンの組である。他の実施形態では、SRは、ユーザデータ計算ノードと一緒にマシン上にデプロイされる。
[0068] ある実施形態では、論理ルータのユーザ定義は特定の数のアップリンクを含む。以下で説明されるように、アップリンクは、論理トポロジにおける論理ルータのノースバウンドインタフェースである。TLRについては、そのアップリンクはPLRと接続する(一般に、アップリンクの全ては同一のPLRと接続する)。PLRについては、そのアップリンクは外部ルータと接続する。いくつかの実施形態はPLRのアップリンクの全てが同一の外部ルータとの接続性を有することを必要とする一方で、他の実施形態はアップリンクが外部ルータの異なる組と接続することを可能にする。ひとたびユーザが論理ルータのためのマシンのグループを選択すると、SRが論理ルータのために必要である場合には、管理プレーンは、選択されたマシンのグループにある物理マシンに論理ルータのアップリンクのそれぞれを割り当てる。管理プレーンはその後、アップリンクが割り当てられる各マシン上でSRを生成する。いくつかの実施形態では、同一マシンに複数のアップリンクを割り当てることが可能であり、この場合、マシン上のSRは複数のノースバウンドインタフェースを有する。
[0069] 上述したように、いくつかの実施形態では、SRは、仮想マシン又は他のコンテナとして、又は、(例えばDPDKベースのSRの実施である場合には)VRFコンテキストとして、実施され得る。いくつかの実施形態では、SRの実施のための選択は、論理ルータのために選択されたサービスと、どのSRの種別がこれらのサービスを最良に提供するかとに基づき得る。
[0070] 加えて、いくつかの実施形態の管理プレーンは通過論理スイッチを生成する。通過論理スイッチのそれぞれについて、管理プレーンは、論理スイッチに固有のVNIを割り当て、各SR及びDR上に、通過論理スイッチと接続するポートを生成し、そして、論理スイッチと接続する任意のSR及びDRに対するIPアドレスを割り当てる。いくつかの実施形態は、各通過論理スイッチに割り当てられたサブネットが多数のTLR(例えばネットワークトポロジ600)を有する論理L3ネットワークトポロジ内で固有になることを必要とし、TLRのそれぞれは自身の通過論理スイッチを有し得る。すなわち、図8では、PLRの実施内の通過論理スイッチ725、PLRとTLRの間の通過論理スイッチ730-740、及び通過論理スイッチ820(及び任意の他のTLRの実施内の通過論理スイッチ)のそれぞれは、固有のサブセットを必要とする。更に、いくつかの実施形態では、SRは、論理空間内の例えばHAプロキシのようなVMへの接続を初期化する必要があり得る。戻りのトラフィックが機能することを保証するために、いくつかの実施形態はリンクローカルIPアドレスを使用しないようにする。
[0071] いくつかの実施形態は、多層構成において、論理ルータの接続に様々な制限を設ける。例えば、いくつかの実施形態は、任意の数の論理ルータの層(例えば、TLRの多数の層に加えて、外部ネットワークに接続するPLR層)を可能にし、他の実施形態は2層トポロジのみ(PLRに接続する1つのTLRの層)を可能にする。更に、いくつかの実施形態は、各TLRが唯一のPLRに接続することを可能にし、そして、ユーザによって生成された各論理スイッチ(すなわち通過論理スイッチではない)が1つのPLR又は1つのTLRに接続することを可能にする。いくつかの実施形態はまた、論理ルータのサウスバウンドのポートのそれぞれが異なるサブネットになければならないという制約を追加する。従って、2つの論理スイッチは、同一の論理ルータと接続する場合に、同一のサブネットを有しないであろう。最後に、いくつかの実施形態は、PLRの異なるアップリンクが異なるゲートウェイマシン上に存在しなければならないことを必要とする。いくつかの実施形態はこれらの要件のいずれも含まないこと、又は要件の様々な異なる組み合わせを含むことが理解されるべきである。
[0072] II.SR及びDRの構成
[0073] ユーザが論理ルータを構成する場合、この構成は、論理ルータのためのSR及びDRを管理プレーンによって構成するために用いられる。例えば、図1の論理ルータ115は4つのインタフェース(2つは論理スイッチへのもの、2つはアップリンク)を有する。しかしながら、図4におけるその分散化された管理プレーンの実施は、それぞれが3つのインタフェースを有するDRと2つのインタフェースを有するSRと(全部で7つのインタフェース)を含む。IP及びMACアドレスと、論理ルータ構成の一部として4つのインタフェースに割り当てられる他の構成の詳細とは、論理ルータの様々な構成要素に対する構成を生成するために用いられる。
[0074] 更に、構成の一部として、いくつかの実施形態は、論理ルータ構成要素のそれぞれに対してルーティング情報ベース(routing information base)(RIB)を生成する。すなわち、管理者が単一の論理ルータのみを定義した場合であっても、いくつかの実施形態の管理プレーン及びコントロールプレーンの少なくともいずれかが、DR及びSRのそれぞれのための別々のRIBを生成する。PLRのSRのために、いくつかの実施形態では、管理プレーンが初めにRIBを生成するが、SRの物理的実施もまた、動的なルーティングプロトコル処理(例えばBGP、OSPF等)を実行して局所的にRIBを補う。
[0075] いくつかの実施形態は、論理ルータのRIB内、つまりその構成要素ルータのRIB内に複数の種別の経路を含む。いくつかの実施形態では、全ての経路は、大きい値ほど低優先度の経路の種別を示す、優先度を決定するために用いられる管理上の距離値(すなわち、同一のプレフィックスに対する2つの経路が存在する場合、より低い距離値を有する経路が用いられる)を含む。同一のプレフィックスに対する複数の経路が同一の距離値でRIBにある場合、これらのプレフィックスへのトラフィックは当該異なる経路にわたって(例えば、トラフィックを同等にバランスするためのECMP原理を用いて)分散する。
connected (0): 論理ルータのポートに構成されるプレフィックス
static (1): 管理者/ユーザによる構成
management plane internal (10): デフォルト経路-TLRがPLRに接続され
る場合、PLRへ向かうデフォルト経路がTLRのRIBに追加され、論理
スイッチがTLRに接続される場合、ユーザはサブネットを再分散化できる
ようにし、サブネットがNAT化されていなければ、サブネットのTLRへ
向かうデフォルト経路はPLRのRIBに追加される
EBGP (20): 次の4つの種別は動的なルーティングプロトコルを介して学習される
経路である
OSPF internal (30)
OSPF external (110)
IBGP (200)
[0076] いくつかの実施形態では、全ての論理ルータがBGPとOSPF経路の両方を含むとは限らず、いくつかの論理ルータが含み得ないことを理解すべきである。例えば、外部ネットワークへの接続を含まない論理ルータは、何らのルーティングプロトコルを使用し得ず、そして、いくつかの論理ルータは、BGP及びOSPFの両方よりむしろ、1つの種別の経路共有プロトコル(route-sharing protocol)のみを実行し得る。
[0077] 更に、いくつかの実施形態では、(動的なルーティングプロトコルを用いる)PLRのSRは、集中化コントローラから受信した(静的、接続済み、及び管理プレーンの内部経路を含む)RIBを、(動的ルーティングプロトコルを介して)物理ルータから学習した経路に統合する。SRは、学習済み経路を再計算のために集中化コントローラに送り返すよりむしろ、経路の収束を促進するために、これらの動的経路の統合に基づいて、そのFIBを内部で計算する。DRに対し、いくつかの実施形態の集中化コントローラは、RIB全体を、FIBを計算する内部のコントロールプレーンにプッシュダウン(pushe down)する。
[0078] A.DRの構成
[0079] ある実施形態では、DRは、常に論理ルータの実施のサウスバウンド側(すなわち、外部物理ネットワークに接するよりもむしろ、論理ネットワークのデータ計算ノードに接する)に配置される。論理ルータが集中化構成要素を有しないのでなければ、論理ルータのアップリンクはDRに対して構成されず、DRのノースバウンドインタフェースは、代わりに論理ルータの一部である通過論理スイッチに接続する。
[0080] 図9は、管理者によって割り当てられたネットワークアドレスおよびインタフェースを含む、論理ネットワークトポロジ900のより詳細な構成を概念的に示す。図示されるように、論理スイッチ905及び910は、それぞれ自身のサブネット、1.1.1.0/24及び1.1.2.0/24に割り当てられ、論理スイッチ905に取り付けられたデータ計算ノードの全ては、対応するサブネット内のIPアドレスを有する。論理ルータ915は、第1の論理スイッチ915へのインタフェースL1を有し、このインタフェースは、サブネット1.1.1.0/24におけるデータ計算ノードに対するデフォルトゲートウェイである、1.1.1.253のIPアドレスを有する。論理ルータ915はまた、第2の論理スイッチ910へのインタフェースL2を有し、このインタフェースは、サブネット1.1.2.0/24におけるデータ計算ノードに対するデフォルトゲートウェイである、1.1.2.253のIPアドレスを有する。
[0081] 論理ルータ915のノースバウンド側は2つのアップリンク、U1及びU2を有する。第1のアップリンクU1は、192.168.1.252のIPアドレスを有し、192.168.1.252のIPアドレスを有する第1の物理ルータ920と接続する。第2のアップリンクU2は、192.168.2.253のIPアドレスを有し、192.168.2.252のIPアドレスを有する第2の物理ルータ925と接続する。物理ルータ920及び925は、実際には論理ネットワークの一部ではないが、論理ネットワークを外部ネットワークに接続する。図示した例では、アップリンクのそれぞれは単一の異なる物理ルータに接続するが、いくつかの事例では、アップリンクのそれぞれが複数の物理ルータの同一の組に接続する。すなわち、U1及びU2の両方は、物理ルータ920及び925の両方と両方が接続する。図示された例はそのような事例ではないが、いくつかの実施形態は、アップリンク接続が同一の接続性を提供する各外部ルータを必要とする。代わりに、第1の論理ルータ920はサブネット10.0.0.0/8に接続する一方で、第2のルータ925は両方のサブネット10.0.0.0/8及び11.0.0.0/8に接続する。
[0082] 分散化構成要素を有する論理ルータに対し、いくつかの実施形態は以下のようにDRを構成する。サウスバウンドインタフェースは論理ルータのサウスバウンドインタフェースと同様に構成される。これらのインタフェースは、論理トポロジにおける論理スイッチ又は低レベル論理ルータと接続するものである(例えばPLRのサウスバウンドインタフェースはTLRと接続する)。いくつかの実施形態のDRは、単一のノースバウンドインタフェースが割り当てられ、これにはIPアドレスとMACアドレスが割り当てられる。論理ルータが1つ以上のSRを有することを想定した場合、DRのノースバウンドインタフェースは通過論理スイッチと接続する。
[0083] DRのRIBは、様々なサウスバウンド及びノースバウンドインタフェース上に構成されたサブネットに基づいて、接続される経路を割り当てられる。(i)論理ルータのDR及びSR構成要素の間に構成される通過論理スイッチ、及び(ii)そのサウスバウンドインタフェース上の任意の論理スイッチ、に対して構成されるサブネットが存在する。サウスバウンドインタフェース上の論理スイッチは、データ計算ノードが接続するユーザ定義の論理ドメイン、又は、PLRのDRとPLRに接続する任意のTLRとの間に配置される通過論理スイッチである。
[0084] 更に、論理ルータのアップリンクから出る任意の静的経路は、DRのRIBに含まれるが、これらの経路は、次ホップのIPアドレスがアップリンクのSRのそれに設定されるように修正される。例えば、静的経路「192.168.1.252を介してa.b.c.0/24」(192.168.1.252は外部物理ネットワークルータのアドレス)は、「[SRサウスバウンドインタフェースのIP]を介してa.b.c.0/24」に修正される。反対に、論理ルータのサウスバウンドインタフェースから出る静的経路は、修正されないDRのRIBに含まれる。いくつかの実施形態では、論理ルータの各SRに対して、種別管理プレーン内部のデフォルト経路がDRのRIBに追加される。他の実施形態では、代わりに、特定のSRによって学習される動的経路が、特定のSRのサウスバウンドインタフェースのIPとして修正される次ホップのIPアドレスとともにRIBに追加される。これはデフォルト経路に対する代替であり、これは管理プレーン内部種別がさもなければSRによって学習された動的経路よりも高い優先度を有するためである。しかしながら、いくつかの実施形態では、TLRについて、SRは動的ルーティングプロトコルを実行しないため、アクティブなSRのインタフェースを指す次ホップIPアドレスを有するデフォルト経路が代わりに用いられる。
[0085] 図10は、管理プレーンによる論理トポロジ900の構成1000を示している。図示されるように、論理スイッチ905と910とは、ユーザ設定によって指定されたように構成される。前の例のように、論理ルータ915は、DR1005と、2つのSR1010及び1015と、通過論理スイッチ1020とを含む。DRは、論理ルータ905の2つのサウスバウンドインタフェースが割り当てられ、これらは論理スイッチ905及び910に接続する。通過論理スイッチは、サブネット192.168.100.0/24が割り当てられ、これは、論理ルータ905に(直接的に又は間接的に)論理的に接続する論理スイッチのなかで固有であるという要件を満たす必要がある。1005-1015を構築する3つの管理プレーンルータのそれぞれはまた、通過論理スイッチに接続されるインタフェースを含み、当該通過論理スイッチのサブネット内のIPアドレスを有する。ノースバウンドインタフェースU1及びU2は、2つのSR1010及び1015に割り当てられ、その構成は以下で説明する。
[0086] RIBの生成のために上述したいくつかの実施形態のルールを使用することにより、DR1005のRIBは以下の経路を含む:
1.1.1.0/24 output to L1
1.1.2.0/24 output to L2
192.168.100.0/24 output to DRP1
192.168.1.0/24 via IP1
192.168.2.0/24 via IP2
10.0.0.0/8 via IP1
10.0.0.0/8 via IP2
11.0.0.0/8 via IP2
0.0.0.0/0 via IP1
0.0.0.0/0 via IP2
[0087] 上記経路は、DRに接続された論理スイッチドメイン(1.1.1.0/24、1.1.2.0/24及び192.168.100.0/24)に対する3つの接続された経路を含む。更に、第1のアップリンクが配置されるサブネット(192.168.1.0/24)は、第1のSR1010(IP1)のサウスバウンドインタフェースを介して到達される一方、第2のアップリンクが配置されるサブネット(192.168.2.0/24)は、第2のSR1015(IP2)のサウスバウンドインタフェースを介して到達される。更に、3つの静的経路がユーザによって論理ルータ915に対して追加され、これは管理プレーンが自動的にDR1005のために修正する。具体的に、経路は、両方のSRのサウスバウンドインタフェースを介するネットワーク10.0.0/8と、SR2のサウスバウンドインタフェースを介するネットワーク11.0.0/8とを含む。最後に、これらの同一のサウスバウンドインタフェースを指すデフォルト経路が含まれる。論理ルータのポートに対して管理プレーンによって生成されたIPアドレスIP1、IP2及びIP3は、全てがサブネット192.168.100.0/24にある通過論理スイッチを有するインタフェースを構築する。
[0088] DRのRIBを構成することに加えて、管理プレーンはまた、いくつかの実施形態においてDRインタフェースにMACアドレスを割り当てる。いくつかの実施形態では、DR機能を実施する物理ネットワーク内の物理ルーティング構成要素(例えばソフトウェアモジュール)のいくつか又は全ては、単一のMACアドレスをサポートするだけである。この場合、DRポートのMACはユーザに見える論理ルータのポートのMACからのものであるため、これは、管理プレーンが論理ルータのポートに対してどのようにMACアドレスを割り当てるかについての要件を課する。従って、いくつかの実施形態では、ユーザ計算ノード又は接続されたSRを有する任意の論理スイッチに接続する全てのDR/SRポートは、共通のMACアドレスを共有しなければならない。更に、DR/SRポートが他のDR/SR又は物理ネットワークに接続する場合、いくつかの実施形態において、このポートは固有のMACアドレスが割り当てられる(この割り当てルールは、DR/SRポートが他のDR/SRポートに接続しているかを判定する際に通過論理スイッチを無視する)。
[0089] B.SRの構成
[0090] 論理ルータのDRと同様、管理プレーンは、別々のRIBとインタフェースを用いて論理ルータの各SRも構成する。上述したように、いくつかの実施形態では、PLRとTLRの両方のSRはサービス(すなわち、NAT、ファイアウォール、ロードバランシング等のような単なるルーティングを超えた機能)を実現し、PLRのためのSRは、論理ネットワークと外部物理ネットワークの間の接続も提供する。ある実施形態では、SRの実施はいくつかの目的を達成するように設計される。第1に、実施は、サービスがスケールアウトすることを保証する。すなわち、論理ルータに割り当てられたサービスは、論理ルータのいくつかのSRのいずれかによって実現され得る。第2に、いくつかの実施形態は、サービスポリシーがルーティング決定に依存し得るように、SRを構成する(例えば、インタフェースベースのNAT)。第3に、(いくつかの実施形態では低下したキャパシティ下で又は最適以下の態様でSRは動作することができるが)論理ルータのSRは、集中化コントロールプレーン又は管理プレーンの関与を要求することなく、自身の障害(例えば、SRが動作する物理マシンの障害、物理マシンへのトンネルの障害等)を扱う機能を有する。最後に、SRは、理想的には、自身の中での不必要なリダイレクトを排除する。すなわち、SRは、内部でパケットを転送する機能を有する場合、パケットを外部物理ネットワークへ転送しなければならず、必要なら異なるSRへのパケットの転送のみを行う。もちろん、SR間での転送はパケットループを回避しなければならない。
[0091] 図10に示したように、各SRは、SRとDRの間にある通過論理スイッチ1020へ接続する、1つのサウスバウンドインタフェースを有する。更に、いくつかの実施形態では、各SRは、論理ルータのように同数のノースバウンドインタフェースを有する。すなわち、1つのアップリンクのみがSRの動作する物理マシンに割り当てられ得るが、論理ルータインタフェースの全てがSR上で定義される。しかしながら、これらのインタフェースのいくつかはローカルインタフェースである一方、これらのインタフェースのいくつかはダミーインタフェースと称される。
[0092] いくつかの実施形態では、ローカルノースバウンドインタフェースは、パケットがSRから(直接物理ネットワークへ)直接出ることが可能なインタフェースである。SRに割り当てられたアップリンク(又は複数のアップリンクの1つ)に基づいて構成されるインタフェースは、ローカルインタフェースである。一方、異なるSRに割り当てられた論理ルータの他のアップリンクの1つに基づいて構成されるインタフェースは、ダミーインタフェースとして称される。ダミーインタフェースのための構成を有するSRを提供することは、第1ホップのMFEが、アップリンクのいずれかに対するパケットをいずれかのSRに送信できるようにし、このとき、パケットがそのローカルインタフェースを宛先としていない場合であっても、SRはパケットを処理することができる。いくつかの実施形態は、SRの1つにおいてダミーインタフェースに対するパケットを処理した後に、インタフェースがローカルである、適切なSRへパケットを転送して、他のSRが外部物理ネットワークへパケットを送信できるようにする。ダミーインタフェースの使用は、ネットワークを管理する集中化コントローラ(又はコントローラの組)が、ルーティング決定に依存するサービスポリシーを全てのSRにプッシュできるようにし、これによりサービスは任意のSRによって実現できるようになる。
[0093] 以下のセクションIVで説明するように、いくつかの実施形態では、SRは(例えば、BFG又はOSPFのような経路アドバタイズメントプロトコルを用いて)物理ネットワークとルーティング情報を交換する。経路交換の1つの目的は、どのSRが物理ネットワークへのパケットをルーティングするかにかかわらず、ルーティング決定が常に、SRのローカルインタフェースか、異なるSR上の論理ルータのアップリンクに対応するダミーインタフェースのいずれかに向けられることである。従って、論理ルータのアップリンクに関連付けられたポリシーは、アップリンクがSRに割り当てられていない場合であっても、当該SRによって適用され得、これはステートフルサービスのスケールアウトを可能にする。いくつかの実施形態では、ピアSRから受信した経路が、物理的な次ホップのルータから直接学習した経路より大きな距離値を有することにより、SRが物理ネットワークルータへ直接パケットを送信できないときにのみ、SRがそのピアSRへパケットを送信することを保証する。
[0094] 1つ以上の集中化構成要素を有する論理ルータに対し、いくつかの実施形態は以下のようにSRを構成する。ノースバウンドインタフェースに対して、SRは論理ルータと同数のそのようなインタフェースを有し、これらの各インタフェースは、対応する論理ルータインタフェースのIP及びMACアドレスを継承する。これらのインタフェースのサブセットは(SRに割り当てられるアップリンクのための)ローカルインタフェースとしてマークされる一方、残りのインタフェースはダミーインタフェースとしてマークされる。いくつかの実施形態では、論理ルータのために定義されたサービスポリシーは全てのSRに対して均等にプッシュされる。これはサービスポリシーがネットワーク及びインタフェースの観点から同様に構成されるためである。特定の論理ルータのポート/アップリンクのための動的ルーティング構成は、その特定のアップリンクが割り当てられたSRのローカルインタフェースに転送される。
[0095] 述べたように、各SRは、通過論理スイッチに接続する単一のサウスバウンドインタフェース(ローカルインタフェースでもある)を割り当てられ、ここで各SRのサウスバウンドインタフェースは同一の通過論理スイッチに接続されている。これらのサウスバウンドインタフェースのそれぞれのIPアドレスは、DRに割り当てられたノースバウンドインタフェース(通過論理スイッチのそれ)と同一のサブネット内にある。いくつかの実施形態は、SRがアクティブ-アクティブ又はアクティブ-スタンバイモードであるかに応じて、SRの間のIPアドレスの割り当てを異ならせる。アクティブ-アクティブモード(すなわちSRの全てがルーティング目的において平等に扱われる場合)に対しては、異なるIP及びMACアドレスが全てのSRのサウスバウンドインタフェースに割り当てられる。一方、アクティブ-スタンバイモードに対しては、2つのSRのサウスバウンドインタフェースの両方に同一のIPが用いられる一方、インタフェースのそれぞれは異なるMACアドレスが割り当てられる。
[0096] DRについての上記サブセクションで示したように、ユーザは論理ルータに対して静的経路を構成し得る。アップリンクから出る論理ルータの静的経路(又は接続された経路)は、SRのRIBにコピーされる。それを出ていくアップリンクの経路がSRに割り当てられる場合、このような経路に対する距離メトリック(metric)は修正されない。しかしながら、SRのアップリンクがダミーインタフェースである場合、いくつかの実施形態は、ダミーインタフェースを通して、異なるSRへパケットをリダイレクトすること無くネットワークに到達できるときに、SRがそのローカルインタフェースから出る経路を優先するように、このメトリックに値を追加する。更に、(トップレベルの論理ルータの)SRは動的経路を学習して、動的経路をRIBに置く(いくつかの実施形態はこれを内部で集中化コントローラを用いることなく実行するが)。いくつかの実施形態では、ピアSRから学習された動的経路は、距離メトリックの調整なしにインストールされる。これは、デフォルトではIBGP(SRからSRピアへ)又はOSPFから学習された経路に対するメトリックが、EBGPから学習された経路に対するメトリックより大きいためである。
[0097] 論理ルータのサウスバウンドインタフェースのそれぞれに対し、ある実施形態は、各SRのRIBに対応するネットワークのための経路を追加する。この経路は、その次ホップのIPアドレスとしてノースバウンドのDRインタフェースを指す。更に、サウスバウンドインタフェースから出る、論理ルータのために構成された任意の他の経路は、次ホップのIPアドレスとして同一のノースバウンドのDRインタフェースとともにSRにコピーされる。
[0098] 図10の例に戻り、論理ルータ915が2つのアップリンクを有するように、管理プレーンは2つのサービスルータ1010と1015とを定義する。第1のサービスルータ1010は、U1に対するローカルインタフェースと、U2’として称されるU2に対するダミーインタフェースとを有する。同様に、第2のサービスルータ1015は、U2に対するローカルインタフェースと、第1のアップリンクU1に対するダミーインタフェースU1’とを有する。これらのSRのそれぞれには、(SRがアクティブ-アクティブ構成であるように)異なるIPアドレスおよびMACアドレスを有するサウスバウンドインタフェースが割り当てられる。(第1のSR1010に対する)IPアドレスIP1及び(第2のSR1015に対する)IP2は、IP3(DR1005のノースバウンドインタフェース)のように、サブネット192.1.100.0/24にある。
[0099] いくつかの実施形態のルールを用いて、かつ、ルーティングプロトコル(例えばBGP)がSRに対して有効化されているとすると、第1のSR1010のRIBは以下の経路を含む。
10.0.0.0/8 output to U1 via 192.168.1.252, metric 20 (via EBGP)
10.0.0.0/8 output to U2' via 192.168.2.252, metric 200 (via IBGP)
11.0.0.0/8 output to U2' via 192.168.2.252, metric 200 (via IBGP)
192.168.1.0/24 output to U1, metric 0 (接続済)
192.168.100.0/24 output to SRP1, metric 0 (接続済)
1.1.1.0/24 via IP3, metric 10 (管理プレーン内)
1.1.2.0/24 via IP3, metric 10 (管理プレーン内)
[00100] 同様に、第2のSR1015のRIBは以下の経路を含む。
10.0.0.0/8 output to U2 via 192.168.2.252, metric 20 (via EBGP)
10.0.0.0/8 output to U1' via 192.168.1.252, metric 200 (via IBGP)
11.0.0.0/8 output to U2 via 192.168.2.252, metric 20 (via EBGP)
192.168.2.0/24 output to U2, metric 0 (接続済)
192.168.100.0/24 output to SRP2, metric 0 (接続済)
1.1.1.0/24 via IP3, metric 10 (管理プレーン内)
1.1.2.0/24 via IP3, metric 10 (管理プレーン内)
[00101] C.管理プレーン処理
[00102] 図11は、ユーザ仕様に基づいてPLRを構成するいくつかの実施形態の処理1100を概念的に示す。いくつかの実施形態では、処理1100は管理プレーン(例えば、データセンタのネットワークを管理する集中化コントローラにおけるモジュールの組)によって実行される。管理プレーンは、構成処理を実行し、その後、コントローラの集中化コントロールプレーン(又は異なるネットワークコントローラ)を用いて、構成された論理ルータを実施する様々なホストマシン上の様々なローカルコントロールプレーンにデータを分散させる。
[00103] 図示するように、処理1100はPLRの仕様を(1105において)受信することによって開始する。PLRの仕様(又はPLRの定義)は、PLRを定義する管理者入力(データセンタの所有者によって雇用された管理者)に基づく。いくつかの実施形態では、この仕様は、PLRが提供すべき任意のサービスの定義、PLRがアクティブ-アクティブ又はアクティブ-スタンバイモードで構成されるかどうか(もっとも、いくつかの実施形態はステートフルサービスが構成されない限り自動的にアクティブ-アクティブモードを用いる)、PLRにいくつのアップリンクが構成されるか、アップリンクのIP及びMACアドレス、アップリンクのL2及びL3接続性、PLRの任意のサウスバウンドインタフェースのサブネット(PLRを2層トポロジにする場合は1つのインタフェースであり、ユーザの論理スイッチが1層トポロジで直接接続する場合は任意の数のインタフェース)、PLRのRIBに対する任意の静的経路、及び他のデータを含む。異なる実施形態が、PLRの構成データに列挙されたデータの異なる組み合わせ又は他のデータを含み得ることは理解されるべきである。
[00104] そして処理1100は、(1110において)この構成データを用いてDRを定義する。これは、PLRが完全に集中化しない場合には管理プレーンによってDRは生成されないことを想定している。DRのサウスバウンドインタフェースについて、管理プレーンは、PLRのサウスバウンドインタフェース構成を用いる。すなわち、DRのIPアドレスとMACアドレスとは、論理ルータのために特定されたものになる。
[00105] 更に(1115において)処理は、PLRのために特定されたアップリンクのそれぞれをゲートウェイマシンに割り当てる。上述したように、いくつかの実施形態は、論理ルータのSRの位置に対する特定の組の物理ゲートウェイマシンを、ユーザが特定できるようにする(或いは特定することを求める)。いくつかの実施形態では、ゲートウェイマシンの組はサーバの特定のラック又はサーバのラックのグループ内、若しくはそうでなければ、組の中で全てのマシンを接続するトンネルと関連付けられて存在する。その後、管理プレーンは、選択された組のゲートウェイマシンの1つに各アップリンクを割り当てる。いくつかの実施形態は、複数のアップリンクが同一のゲートウェイマシンに割り当てられるようにし(論理ルータがアクティブ-スタンバイモードで構成される2つのアップリンクのみを有しない限り)、一方で他の実施形態は、アクティブ-アクティブ又はアクティブ-スタンバイモードであるかに関わらずPLRのためのゲートウェイに対して単一のアップリンクのみが割り当てられるようにする。
[00106] ゲートウェイマシンにアップリンクを割り当てた後に、(1120において)処理1100は、各選択されたゲートウェイマシン上にSRを定義する。各SRについて、処理はゲートウェイマシンに対して割り当てられたアップリンクに対する構成を、SRのノースバウンドインタフェースに対する構成として使用する。この構成情報は、任意のアップリンク特有のポリシーに加えて、アップリンクのIP及びMACアドレスを有する。異なるポリシー及びL3の接続性の少なくともいずれかが許容され、異なるアップリンクの間で使用される状況では、いくつかの実施形態はまた、必要に応じてパケットをリダイレクトするためにSR上にダミーインタフェースを構成する、ことが理解されるべきである。
[00107] 処理は更に、(1125において)定義されたSR及びDRと接続する通過論理スイッチを定義する。いくつかの実施形態において、管理プレーンは、固有のVNI(論理スイッチ識別子)を通過論理スイッチに割り当てる。更に、いくつかの実施形態は、通過論理スイッチに割り当てられたサブネットが論理ネットワークトポロジ内で固有であることを必要とする。すなわち、通過論理スイッチは、PLRと直接インタフェースを有する任意のユーザ定義の論理スイッチ、PLRに接続される任意のTLRとPLRとの間の通過論理スイッチ、これらのTLR内の全ての通過論理スイッチ、及び、これらのTLRに接続される任意のユーザ定義の論理スイッチと異なるサブネットを用いなくてはならない。
[00108] 次に、処理1100は、(1130において)DRにノースバウンドインタフェースを割り当てる。いくつかの実施形態では、ノースバウンドインタフェースは(PLRの構成要素の間で内部的に送信されるパケットに用いられる)MACアドレス及びIPアドレスの両方を割り当てられる。いくつかの実施形態では、IPアドレスは、1125において定義された通過論理スイッチに割り当てられたサブネット内のものである。通過論理スイッチの構成は、このMACアドレスとその論理ポートの1つとの関連を含む。
[00109] その後処理は(1135において)、PLRがアクティブ-アクティブモード(或いはアクティブ-スタンバイモード)で構成されるかを判定する。いくつかの実施形態では、上で言及したように、この判定は、PLRに対する構成設定の一部として管理者によってなされる。他の実施形態では、管理プレーンは、ステートフルサービスが設定されていない場合には、PLRに対してSRを自動的にアクティブ-アクティブ構成で定義する。そして、ステートフルサービスが設定されている場合には、SRはアクティブ-スタンバイモードで定義される。
[00110] PLRがアクティブ-スタンバイモードで構成される場合、処理は(1140において)、2つのSR(又は、複数のスタンバイがある場合には2つ以上のSR)のそれぞれのサウスバウンドインタフェースを割り当てる。アクティブ-スタンバイの場合、これらの全てのサウスバウンドインタフェースは同一のIPアドレスを有し、これは動作1125において定義される通過論理スイッチのサブネット内にある。2つのインタフェースは同一のIPアドレスを受信するが、いくつかの実施形態は、DRによってルーティングされるノースバウンドのパケットに対する宛先として当該2つを異ならせるように、異なるMACアドレスを割り当てる。他の実施形態では、同一のMACアドレスも、後述のように用いられるフェイルオーバーの場合に異なるマシンで用いられる。
[00111] その後処理は(1145において)、SRの1つをアクティブに、SRの1つをスタンバイに割り当てる。いくつかの実施形態は、この決定をランダムに行わせる一方で、他の実施形態はゲートウェイマシンにまたがるSRのアクティブ及びスタンバイの割り当てがバランスするように試みる。より詳細は2014年1月28日に出願された米国特許公報2015/0063364号に記載されており、参照によりここに取り込まれる。アクティブとして割り当てられたSRは、サウスバウンドインタフェースに対するARPリクエストに応答し、ノースバウンドインタフェースから外部物理ネットワークへプレフィックスをアドバタイズする。一方、スタンバイSRは(ノースバウンドのトラフィックを受信することを避けるため)ARPリクエストに対して応答せず、プレフィックスをアドバタイズしない(しかし、アクティブなSRの障害の場合に外部ネットワークから経路を受信するためにBGPセッションを維持する)。
[00112] 最後に、処理1100は(1150において)DR及び各SRのための別々のRIBを生成する。別々のRIBは、前のサブセクションとセクションVに示す形式の構成データに基づいて生成される。その後処理は終了する。いくつかの実施形態では、管理プレーンはまたFIBを集中的に算出する一方、他の実施形態では、(ホスト及びゲートウェイマシン上で動作する)ローカルコントロールプレーンは、論理ルータ構成要素による実際のパケットのフォワーディングにおいて用いるためのFIBを生成するためにRIBトラバーサル(RIB traversal)を実行する。いずれの場合も、RIBは外部ネットワークから学習された動的な経路に基づいてSR上で更新され、このデータは中央コントローラを介してDRへ伝達される。いくつかの実施形態の、ネットワークコントローラによるFIBの計算は、2014年3月14日に出願された米国特許出願14/214,545号に、より詳細に説明されており、参照により以下に組み込まれる。
[00113] 一方、PLRがアクティブ-アクティブ(EMCP)モードで構成される場合、処理は(1155において)、SRのそれぞれにサウスバウンドインタフェースを割り当てる。アクティブ-アクティブの場合、これらのサウスバウンドインタフェースは、異なるMACアドレスに加えて、動作1125において定義される通過論理スイッチのサブネット内にある異なるIPアドレスが割り当てられる。異なるIPアドレスにより、SRのそれぞれは、ホストマシン内のDRパイプラインによって所定のパケットに対して選択されたIPアドレスに基づいて、ノースバウンドのパケットを処理することができる。
[00114] 次に、処理は(1160において)、SRにランクを割り当てる。詳細を以下に示すように、SRは、障害の際に、どのSRが停止したSRの責務を引き継ぐかを決定するためのランクを用いる。いくつかの実施形態では、次に最も高くランクされたSRは、そのサウスバウンドインタフェースを引き継ぐことによって停止したSRを引き継いで、さもなければ停止したSRのIPアドレスへ送信されるノースバウンドのトラフィックを引き込む。
[00115] 最後に、処理は(1165において)DR及び各SRのための別々のRIBを生成する。別々のRIBは、前のサブセクションとセクションIVに示す形式の構成データに基づいて生成される。その後処理は終了する。いくつかの実施形態では、管理プレーンはまたFIBを集中的に算出する一方、他の実施形態では、(ホスト及びゲートウェイマシン上で動作する)ローカルコントロールプレーンは、論理ルータ構成要素による実際のパケットのフォワーディングにおいて用いるためのFIBを生成するためにRIBトラバーサルを実行する。いずれの場合も、RIBは外部ネットワークから学習された動的な経路に基づいてSR上で更新され、このデータは中央コントローラを介してDRへ伝達される。
[00116] 上記図11の記載は、PLR(上層論理ルータ)のための様々な構成要素を生成するための管理プレーンの動作を示している。図12は、ユーザ仕様に基づいてTLRを構成するいくつかの実施形態の処理1200を概念的に示している。いくつかの実施形態では、処理1200は管理プレーン(例えば、データセンタのネットワークを管理する集中化コントローラにおけるモジュールの組)によって実行される。管理プレーンは、構成処理を実行し、その後、コントローラの集中化コントロールプレーン(又は異なるネットワークコントローラ)を用いて、構成された論理ルータを実施する様々なホストマシン上の様々なローカルコントロールプレーンにデータを分散させる。
[00117] 図示するように、処理はTLRの仕様を(1205において)受信することによって開始する。TLRの仕様(又はTLRの定義)は、TLRを定義する管理者入力(データセンタのテナントによって雇用された管理者)に基づく。いくつかの実施形態では、この仕様は、TLRが提供すべき任意のサービスの定義、どのPLRにTLRがそのアップリンクを通じて接続すべきか、TLRに接続する任意の論理スイッチ、TLRのインタフェースのIP及びMACアドレス、TLRのRIBに対する任意の静的経路、及び他のデータを含む。異なる実施形態が、TLRの構成データに列挙されたデータの異なる組み合わせ又は他のデータを含み得ることは理解されるべきである。
[00118] そして処理1200は、(1210において)TLRが集中化構成要素を有するかを判定する。いくつかの実施形態では、TLRがステートフルサービスを提供しない場合、そのときはTLRに対するSRが定義されず、これは分散化される形態でのみ実施される。一方、いくつかの実施形態は、この図に示すように、ステートフルサービスが提供される場合、アクティブ-スタンバイモードにおけるSRを必要とする。
[00119] TLRがステートフルサービスを提供しない又はそうでなければ集中化構成要素を必要とする場合、処理は(1215において)、サウスバウンド及びノースバウンドインタフェースの両方に対する論理ルータの仕様を用いてDRを定義する。DRは、TLRに接続する論理スイッチがいくつ定義されるかに応じて、多数のサウスバウンドインタフェースを有し得る。一方、いくつかの実施形態は、TLRを、PLRにパケットを送信し及びPLRからパケットを受信する単一のノースバウンドインタフェースに制限する。次に、処理は、(1220において)DRのためのRIBを生成する。DRのためのRIBは、上述のように生成された論理ルータのための経路の全てを含む。
[00120] 一方、TLRがステートフルサービスを提供する、又は他の理由で集中化構成要素を要求する場合、処理は(1125において)、受信した構成データを用いてDRを定義する。DRのサウスバウンドインタフェースについて、管理プレーンは、TLRのサウスバウンドインタフェース構成を用いる。すなわち、各サウスバウンドインタフェースに対するIPアドレスとMACアドレスとは、様々な論理スイッチが接続する論理ルータのポートために特定されたものになる。
[00121] 更に(1230において)処理は、TLRのために特定されたアップリンクのそれぞれを2つのゲートウェイマシンに割り当てる。いくつかの実施形態はTLRが複数のアップリンクとアクティブ-アクティブモードで動作できるようにするが、処理1200は、アクティブ-スタンバイモードにおいて単一のアップリンクにTLRを制限する実施形態に対するものである。上述したように、いくつかの実施形態は、論理ルータのSRの位置に対する特定の組の物理ゲートウェイマシンを、ユーザが特定できるようにする(或いは特定することを求める)。いくつかの実施形態では、ゲートウェイマシンの組はサーバの特定のラック又はサーバのラックのグループ内、若しくはそうでなければ、組の中で全てのマシンを接続するトンネルと関連付けられて存在する。その後、管理プレーンは、選択された組のゲートウェイマシンの2つにアップリンクを割り当てる。
[00122] ゲートウェイマシンにアップリンクを割り当てた後に、(1235において)処理1200は、2つのゲートウェイマシンのそれぞれの上にSRを定義する。各SRについて、管理プレーンは、単一のアップリンクに対する構成を、SRのノースバウンドインタフェースに対する構成として使用する。唯一のノースバウンドインタフェースを有するため、処理はSRの両方に対して同一の構成を適用する。すなわち、同一のIPアドレスが両方のノースバウンドインタフェースに用いられるだけでなく、インタフェース上のサービスも同様の方法で構成される。しかしながら、アクティブSRとスタンバイSRとを異ならせるように、異なるMACアドレスがノースバウンドインタフェースに用いられる。
[00123] 処理は更に、(1240において)定義されたSR及びDRと接続する通過論理スイッチを定義する。いくつかの実施形態において、管理プレーンは、固有のVNI(論理スイッチ識別子)を通過論理スイッチに割り当てる。更に、いくつかの実施形態は、通過論理スイッチに割り当てられたサブネットが論理ネットワークトポロジ内で固有であることを求める。すなわち、管理プレーンは、通過論理スイッチに、TLRとインタフェースを有する任意のユーザ定義の論理スイッチと、TLR(又は他のTLR)とPLRとの間の任意の通過論理スイッチと、同一のPLRに接続する他のTLR内の全ての通過論理スイッチと、PLR内の通過論理スイッチと、他のTLRに接続するユーザ定義の論理スイッチと、異なるサブネットを通過論理スイッチに割り当てなければならない。
[00124] 次に、処理は、(1245において)DRへのノースバウンドインタフェースを割り当てる。いくつかの実施形態では、このインタフェースは(TLRの構成要素の間で内部的に送信されるパケットに用いられる)MACアドレス及びIPアドレスの両方を割り当てられる。いくつかの実施形態では、IPアドレスは、1140において通過論理スイッチに割り当てられた同一のサブネット内のものである。処理はまた、(1250において)2つのSRのそれぞれのサウスバウンドインタフェースを割り当てる。これはアクティブ-スタンバイ構成であるので、これらのサウスバウンドインタフェースは同一のIPアドレスを有し、これは動作1140において定義される通過論理スイッチのサブネット内にある。2つのインタフェースは同一のIPアドレスを受けつけるが、いくつかの実施形態は、DRによってルーティングされるノースバウンドのパケットに対する宛先として当該2つを異ならせるように、異なるMACアドレスを割り当てる。他の実施形態では、同一のMACアドレスも、後述のように用いられるフェイルオーバーの場合に異なるマシンで用いられる。
[00125] その後処理1200は(1255において)、SRの1つをアクティブに、SRの1つをスタンバイに割り当てる。いくつかの実施形態は、この決定をランダムに行わせる一方で、他の実施形態はゲートウェイマシンにまたがるSRのアクティブ及びスタンバイの割り当てがバランスするように試みる。アクティブとして割り当てられたSRは、サウスバウンドインタフェース(このTLRのDRから)及びノースバウンドインタフェース(PLRのDRから)に対するARPリクエストに応答する。一方、スタンバイSRは(ノースバウンド又はサウスバウンドのトラフィックを受信することを避けるため)ARPリクエストに応答しない。
[00126] 次に、処理は(1260において)DR及び各SRのための別々のRIBを生成する。別々のRIBは、前のサブセクションとセクションIVに示す形式の構成データに基づいて生成される。いくつかの実施形態では、管理プレーンはまたFIBを集中的に算出する一方、他の実施形態では、(ホスト及びゲートウェイマシン上で動作する)ローカルコントロールプレーンは、論理ルータ構成要素による実際のパケットのフォワーディングにおいて用いるためのFIBを生成するためにRIBトラバーサルを実行する。いずれの場合も、RIBは外部ネットワークから学習された動的な経路に基づいてSR上で更新され、このデータは中央コントローラを介してDRへ伝達される。
[00127] TRLがSRを有して生成されたかSRを有しないで生成されたかに関わらず、処理1200は(1265において)、TLRとTLRが接続するPLRとの間に他の通過論理を定義する。この通過論理スイッチは、固有のVNIと、TLRのアップリンクIPアドレスが属すサブネットとを有する。更に、PLRのDR上のインタフェースは、通過論理スイッチに接続するために同一のサブネット内に生成される。その後処理は終了する。
[00128] 処理1100及び1200はこれらの様々な動作を実行する特定の順序を示しているが、これらの処理は単なる概念的なものであることが理解されるべきである。様々な異なる実施形態において、管理プレーンは、実際の動作を、様々な異なる順番で又はいくつかの動作を並行して実行し得る。例えば、管理プレーンは、全くSRやDRを定義するより前に、初めに通過論理スイッチを定義し、別々の物理マシンに割り当てる前に完全に論理ルータ構成要素の全てを定義することができる。
[00129] III.パケット処理
[00130] 上述のセクションは、管理プレーンによる様々な論理ルータ構成要素を示している。これらの論理ルータ構成要素(論理スイッチに加えて、ユーザに定義されたものと、論理ルータ構成要素を接続するために管理プレーンによって定義されたものとの両方)は、様々な管理フォワーディング要素(MFE)によってデータセンタ内で実施される。図5に示したように、例えば、ユーザ定義論理スイッチに取り付けられたデータ計算ノードは、MFEが第1ホップパケット処理要素として動作する物理ホストマシン上にある。これらのMFEは、いくつかの実施形態において、DRに加え、論理ネットワークの論理スイッチを実施する。
[00131] 図13は、TLR610とPLR605の両方がDRに加えてSRを含む、図8に示す2層論理ネットワークを構築する管理プレーンの物理的な実施を概念的に示している。この図はTLR610の実施を示すのみであって、多数の他のホストマシン上で実施され得る多数の他のTLR、及び他のゲートウェイマシン上で実施され得るSRを示していないことが理解されるべきである。
[00132] この図は、2つのVMが2つの論理スイッチ625及び630のそれぞれに取り付けられていることが想定されており、これらの論理スイッチは4つの物理ホストマシン1305-1320上にある。これらのホストマシンのそれぞれはMFE1325を含む。これらのMFEは、異なる様々な実施形態において、フローベースのフォワーディングエレメント(例えばOpen vSwitch)又はコードベースのフォワーディングエレメント(例えばESX)若しくはこれら2つの組み合わせであり得る。これらの異なる種別のフォワーディングエレメントは、異なる様々な論理フォワーディングエレメントを実施するが、各場合において、これらはパケットの処理が求められ得る各論理フォワーディングエレメントのパイプラインを実行する。
[00133] 従って、図13に示すように、物理ホストマシン上のMFE1325は、論理スイッチ625及び630(LSA及びLSB)の両方と、TLR610のためのDR805及び通過論理スイッチ815と、PLR605のためのDR705及び通過論理スイッチ725とを実施する構成を含む。しかしながら、いくつかの実施形態は、ホストマシンMFE1325上にあるデータ計算ノードに対するTLRが集中化構成要素(すなわちSR)を有しない場合、(データ計算ノードに接続する)ホストマシン上でPLRの分散化構成要素のみを実施する。以降に説明するように、VMから外部ネットワークに送信されるノースバウンドパケットは、通過論理スイッチパイプラインがSRへパケットを送信するように特定されるまで、これらのローカル(第1ホップ)MFEによって処理される。第1のSRがTLRの一部である場合、第1ホップのMFEは何らPLR処理を実行しないため、PLRパイプライン構成が、集中化コントローラによってこれらのMFEにプッシュされる必要はない。しかしながら、TLR615-620の1つが集中化構成要素を有しない可能性のため、いくつかの実施形態は、PLRの分散化的側面(DR及び通過LS)を常にMFEの全てにプッシュする。他の実施形態は、PLRパイプラインのための構成のみを、完全に分散化される(一切のSR無しの)TLRのための構成をも受信するMFEにプッシュする。
[00134] 更に、図13に示す物理的実施は、PLR605及びTLR610のSRが割り当てられる4つの物理ゲートウェイマシン1330-1345を含む(いくつかの実施形態ではエッジノードともいわれる)。この場合、PLR605及びTLR610を構成する管理者は、SRのための物理ゲートウェイマシンの同一のグループと、これらの論理ルータの両方に対するSRの1つが第3のゲートウェイマシン1340に割り当てられた管理プレーンとを選択した。図示されるように、PLR605に対する3つのSR710-720はそれぞれ異なるゲートウェイマシン1330-1340に割り当てられ、一方、TLR610に対する2つのSR810及び815もまた、それぞれ異なるゲートウェイマシン1340-1345に割り当てられている。
[00135] この図は、ゲートウェイマシン上で動作するMFEとは分離したものとしてSRを示している。上述したように、異なる実施形態はSRを異ならせて実施し得る。いくつかの実施形態は、SRをVMとして実施する(例えば、MFEがゲートウェイマシンの仮想化ソフトウェア内に統合された仮想化スイッチである場合、この場合、SR処理はMFEの外部で実行される。一方、いくつかの実施形態は、SRを、MFEデータパス内のVRFとして実施する(MFEがデータパス処理のためのDPDKを用いる場合)。いずれの場合も、MFEは、SRをデータパスの一部として扱うが、SRがVM(又は他のデータ計算ノード)である場合には、(様々なサービスの実行を含み得る)SRパイプラインによる処理のために別々のSRへパケットを送信する。ホストマシン上のMFE1325と同様に、いくつかの実施形態のMFE1350は、論理ネットワークの分散化処理構成要素の全てを実行するように構成される。
[00136] A.単一層トポロジ(Single-Tier Topology)
[00137] 様々な例のパケット処理パイプラインが以降記載される。図14A及び14Bは、論理ルータの単一層を用いる論理トポロジについて、論理ネットワークから出るトラフィック(ノースバウンドトラフィック)と論理ネットワークへ入るトラフィック(サウスバウンドトラフィック)とのそれぞれの例を示す。これらの図は、論理ルータ1405(外部ネットワークへの接続を有する)と、2つの論理スイッチ1410及び1415とを用いる単一層トポロジ1400を示している。上述したように、論理ルータ1405は、DR1420と、2つのSR1425及び1430と、通過論理スイッチ1435とを含む。
[00138] いくつかの実施形態では、イースト-ウェストのトラフィック(すなわちLS1上のデータ計算ノードからLS2上のデータ計算ノードへのトラフィックは、はじめに第1ホップのMFE(例えば、送信元データ計算ノードのためのホストマシン上の仮想化ソフトウェアのMFE)において処理され、その後、送信先のMFEへトンネルされる。それ自体、パケットはSRを通過しないため、SRによって提供される任意のサービスを受信しない。しかしながら、他の実施形態は、所定のイースト-ウェストのトラフィックを処理のためにSRへ送信するルーティングポリシーを許容する。
[00139] 図14Aに示すように、VM又はマシン上の他のデータ計算ノードがノースバウンドのパケットを送信する場合、MFE上のデータパスは最初に送信元論理スイッチパイプラインを(例えば、パケットを受信する入力ポート、送信元MACアドレス等に基づいて)実行する。送信元MFEにおいて実行されるこのパイプラインは、DR1420へパケットをフォワードするようにパイプラインを特定する。このパイプラインは、次ホップとしてのSR1425及び1430の1つを識別する。アクティブ-スタンバイの場合では、パイプラインはアクティブなSRを識別し、アクティブ-アクティブの場合では、いくつかの実施形態は後述のように、SRの1つを選択するためにECMPを用いる。次に、送信元MFEは、選択されたSRをホストする適切なゲートウェイマシン(エッジノード)へパケットをトンネルすることを特定する、通過論理スイッチ1435のためのパイプラインを実行する。ゲートウェイマシン(例えばゲートウェイマシン上のMFE)は、パケットを受信し、(トンネリングデータを削除するために)パケットにカプセル除去を行い、そして、SRのサウスバウンドインタフェースに対応する送信先MACアドレス及びパケットの論理コンテクスト情報(例えば、通過論理スイッチ1435のVNI)に基づいてSRを識別する。その後(いくつかの実施形態ではMFEによって、他の実施形態ではSRを実施するVMによって)SRパイプラインが実行される。SRパイプラインは物理ネットワークにパケットを送信する。SRパイプラインがローカルインタフェースを特定する場合、パケットは直接的に物理ネットワークに配送され、一方、SRパイプラインがダミーインタフェースを特定する場合、パケットは、特定されたインタフェースがローカルである異なるゲートウェイマシンへトンネルを介してリダイレクトされ得る。
[00140] 図14Bは、進入する(サウスバウンド)パケットに対するパケット処理を示している。パケットは、SRが動作するゲートウェイマシンの1つにおいて受信される。ゲートウェイマシンにおけるMFEは、入ってきたパケットのVLAN及び送信先MACアドレスに基づいて送信先SRを識別し、SRパイプラインを実行する(例えば、SRがどのように実施されるかに応じて、SRが動作するVMへパケットを送信、或いはデータパス内で直接パイプラインを実行する)。SRパイプラインはその次ホップとしてDR1420を識別する。その後MFEは、DRへパケットをフォワードする通過論理スイッチ1435パイプラインと、その送信先へパケットをルーティングするDRパイプラインとを実行する。送信先のVMが属すホストマシンのMFEへパケットをトンネルすることを特定する、送信先論理スイッチパイプライン(すなわち、論理スイッチ1410及び1415の1つ)もまた実行される。パケットのカプセル除去の後に、送信先MFEはVMへパケットを配送する。
[00141] B.TLRにおける集中化サービスを有しない2層トポロジ
[00142] 図15A及び15Bは、下の(lower)(TLR)層で提供される集中化サービスを有しない、2層論理トポロジに対する、ノースバウンド及びサウスバウンドのトラフィックの例を示す。これらの図は、PLR1505(外部ネットワークへの2つのアップリンクを有する)と、TLR1510と、2つの論理スイッチ1515及び1520とを用いる2層トポロジ1500を示している。PLR1505は、DR1525と、2つのSR1530及び1535と、3つの構成要素を接続する通過論理スイッチ1540とを含む。TLR1510は構成される集中化サービスを有しないため、単一のDR構成要素1545のみを含む。管理プレーンは、TLRのDR1545とPLRのDR1525との間に第2の通過論理スイッチ1550を挿入する。
[00143] TLRレベルにおいてステートフルサービスを有しない2層トポロジの処理パイプラインは、第1ホップのMFEにおいて実行される追加パイプラインを除いて単一層トポロジのパイプラインと類似する。図15Aに示すように、VM又はマシン上の他のデータ計算ノードがノースバウンドのパケットを送信する場合、送信元マシンのMFE上のデータパスは最初に送信元論理スイッチパイプラインを(例えば、パケットを受信する入力ポート、送信元MACアドレス等に基づいて)実行する。送信元(第1ホップ)MFEにおいても実行されるこのパイプラインは、TLR1510のDR1545へパケットをフォワードするようにパイプラインを特定する。パイプラインは、その次ホップとしてDR1525のサウスバウンドインタフェースを識別し、その後、送信元MFEは、2つのDRの間に挿入される通過論理スイッチ1550のためのパイプラインを実行する。この論理スイッチパイプラインはパケットをDRポート(上レイヤDR)へ論理的にフォワードし、その後送信元MFEはDR1525のためのパイプラインを実行する。このパイプラインは、パケットの次ホップとしてのSR1530及び1535の1つを識別する。アクティブ-スタンバイの場合では、パイプラインはアクティブなSRを識別し、アクティブ-アクティブの場合では、いくつかの実施形態は後述のように、SRの1つを選択するためにECMPを用いる。
[00144] 次に、送信元MFEは、(いくつかの実施形態では、MACアドレスに基づき通過論理スイッチパイプラインによって識別される)選択されたSRをホストする適切なゲートウェイマシン(エッジノード)へパケットをトンネルすることを特定する、PLR1505の内部にある通過論理スイッチ1540のためのパイプラインを実行する。ゲートウェイマシン(例えばゲートウェイマシン上のMFE)は、パケットを受信し、(トンネリング用カプセル化を削除するために)パケットにカプセル除去を行い、そして、SRのサウスバウンドインタフェースに対応する送信先MACアドレス及びパケットの論理コンテクスト情報(例えば、通過論理スイッチ1540のVNI)に基づいてSRを識別する。その後(いくつかの実施形態ではMFEによって、他の実施形態ではSRを実施するVMによって)SRパイプラインが実行される。SRパイプラインは物理ネットワークにパケットを送信する。SRパイプラインがローカルインタフェースを特定する場合、パケットは直接的に物理ネットワークに配送され、一方、SRパイプラインがダミーインタフェースを特定する場合、パケットは、特定されたインタフェースがローカルである異なるゲートウェイマシンへトンネルを介してリダイレクトされ得る。
[00145] サウスバウンドトラフィックも単一層の場合と同様に扱われる。図15Bに示すように、サウスバウンドパケットは、PLR1505のSRが動作するゲートウェイマシンの1つにおいて受信される。ゲートウェイマシンにおけるMFEは、入ってきたパケットのVLAN及び送信先MACアドレスに基づいて送信先SR(いくつかの実施形態では、ゲートウェイマシンが様々な異なる論理ルータに対して複数のSRをホストすることができる)を識別し、SRパイプラインを実行する(例えば、SRがどのように実施されるかに応じて、SRが動作するVMへパケットを送信、或いはデータパス内で直接パイプラインを実行する)。SRパイプラインは、その次ホップとしてDR1525を識別して、その後MFEは通過論理スイッチ1540パイプラインを実行し、パケットをDR1525へフォワードする。DR1525パイプラインは、その次ホップとしてTLR DR1545を識別し、これによりエッジノード上のMFEは通過論理スイッチ1550のパイプラインを、その後DR1545のパイプラインを実行する。低レベルDRパイプラインが送信先へパケットをルーティングするため、送信先のVMが属すホストマシンのMFEへパケットをトンネルすることを特定する、送信先論理スイッチパイプライン(すなわち、論理スイッチ1515及び1520の1つ)も実行される。パケットのカプセル除去の後に、送信先MFEはVMへパケットを配送する。
[00146] いくつかの実施形態では、イースト-ウェストトラフィックに対して、単一層の場合のように、送信元のMFEが処理の全てを扱う。TLR内で(例えば第1の論理スイッチ1513上のVMから論理スイッチ1520上のVM、単一のDRパイプラインのみ(及び2つの論理スイッチパイプライン)が実行される必要がある。いくつかの実施形態では、TLRにわたって送信されるパケットに対し、送信元のMFEは(送信先TLR-DRと論理スイッチパイプラインが送信元のMFE上で実施される限り)DRパイプラインの3つ全てを実行する。単一層の場合のように、いくつかの実施形態は、イースト-ウェストトラフィックをゲートウェイマシン上のSRへ送信できるようにする一方、他の実施形態は、イースト-ウェストトラフィックのための集中化サービスを有効にしない。
[00147] C.TLRにおける集中化サービスを有する2層トポロジ
[00148] 最後に、図16A及び図16Bは、SRによって下の(TLR)層で提供される集中化サービスを有する、2層の論理トポロジに対するノースバウンド及びサウスバウンドのトラフィックの例を示す。これらの図は、PLR1605(外部ネットワークへの2つのアップリンクを有する)と、TLR1610(集中化サービスを有する)と、2つの論理スイッチ1615及び1620とを用いる2層トポロジ1600を示している。PLR1605は、DR1525と、2つのSR1630及び1635と、3つの構成要素を接続する通過論理スイッチ1640とを含む。TLRも、DR1645と、2つのSR1650及び1655と、3つの構成要素を接続する通過論理スイッチ1660とを含む。管理プレーンも、TLR1610のSR1650及び1655と、PLR1610のDR1625との間の、挿入された第3の通過論理スイッチ1665を有する。
[00149] 第1ホップにおいてほぼ全てのパケット処理パイプラインが実行される前の例と異なり、論理トポロジ1600のためのパケット処理は、ノースバウンドとサウスバウンドのトラフィックの両方に対して、3つのマシンを跨って広がる。図16Aに示すように、VM又はマシン上の他のデータ計算ノードがノースバウンドのパケットを送信する場合、前の例のように、送信元マシンのMFE上のデータパスは、最初に送信元論理スイッチパイプラインを実行する。送信元(第1ホップ)MFEにおいても実行されるこのパイプラインは、TLR1610のDR1645へパケットをフォワードするようにパイプラインを特定する。このDRパイプラインは、次ホップIPアドレスとしてのSR1650及び1655の1つのサウスバウンドインタフェースを識別する。いくつかの実施形態では、TLR SRは常にアクティブ-スタンバイモードで構成され、このため、SRの両方にとって次ホップは同一であるが、パケットはアクティブSRのMACアドレスへルーティングされる。
[00150] 次に、送信元MFEはその後、(通過論理スイッチパイプラインが、DR1645パイプラインによるルーティングの後に、送信先MACアドレスに基づいて識別する)TLR1610の選択されたSRをホストする適切なゲートウェイマシン(エッジノード)へパケットをトンネルすることを特定する、TLR1610の内部にある通過論理スイッチ1660のためのパイプラインを実行する。ゲートウェイマシン(例えばゲートウェイマシン上のMFE)は、パケットを受信し、パケットにカプセル除去を行い、そして、SRのサウスバウンドインタフェースに対応する送信先MACアドレス及びパケットの論理コンテクスト情報(例えば、通過論理スイッチ1660のVNI)に基づいてSRを識別する。SRパイプライン(任意のステートフルサービスを含む)がその後(例えば、MFEによって、又はSRを実施するVMによって)実行され、その次ホップアドレスとしてのDR1625のサウスバウンドインタフェースを特定する。PLR1605のDRパイプラインと同様、通過論理スイッチ1665パイプラインが現在のエッジノード上(図のエッジノード2)で実行される。このDRパイプラインは、前の例で示したものと同一の方法で、パケットの次ホップとしてのSR1630及び1635の1つを識別する。
[00151] エッジノードMFEは、(いくつかの実施形態では、MACアドレスに基づき通過論理スイッチパイプラインによって識別される)選択されたSR1630又は1635をホストする適切なゲートウェイマシンへパケットをトンネルすることを特定する、PLR1605の内部にある通過論理スイッチ1640のためのパイプラインを実行する。ゲートウェイマシン(例えばゲートウェイマシン上のMFE)は、パケットを受信し、(トンネリング用カプセル化を削除するために)パケットにカプセル除去を行い、そして、SRのサウスバウンドインタフェースに対応する送信先MACアドレス及びパケットの論理コンテクスト情報(例えば、通過論理スイッチ1640のVNI)に基づいてSRを識別する。その後(いくつかの実施形態ではMFEによって、他の実施形態ではSRを実施するVMによって)SRパイプラインが実行される。SRパイプラインは物理ネットワークにパケットを送信する。SRパイプラインがローカルインタフェースを特定する場合、パケットは直接的に物理ネットワークに配送され、一方、SRパイプラインがダミーインタフェースを特定する場合、パケットは、特定されたインタフェースがローカルである異なるゲートウェイマシンへトンネルを介してリダイレクトされ得る。
[00152] サウスバウンドトラフィック処理はまた、(PLR1605のためのSRとTLR1610のためのSRとが同一のゲートウェイマシンに配置されない限り)3つのマシンに跨って分散される。図16Bに示すように、サウスバウンドパケットは、PLR1605のSRが動作するゲートウェイマシンの1つにおいて受信される。ゲートウェイマシンにおけるMFEは、入ってきたパケットのVLAN及び送信先MACアドレスに基づいて送信先SRを識別し、SRパイプラインを実行する(例えば、SRがどのように実施されるかに応じて、SRが動作するVMへパケットを送信、或いはデータパス内で直接パイプラインを実行する)。SRパイプラインは、その次ホップとしてDR1625を識別して、その後MFEは通過論理スイッチ1640パイプラインを実行し、パケットをDR1625へフォワードする。DR1625パイプラインは、その次ホップとしてTLR1610のSR1650及び1655の1つのノースバウンドインタフェースを識別する。アクティブ-スタンバイの場合、アクティブSRが選択される。
[00153] 第1のゲートウェイマシン上のMFEはその後、TLR1610のためのステートフルサービスを実行する第2のSRが配置される、第2のゲートウェイマシン(エッジノード2)へパケットをトンネルすることを特定する通過論理スイッチ1665パイプラインを実行する。第2のゲートウェイマシン(例えば第2のゲートウェイマシン上のMFE)はパケットのカプセル除去を行い、パケットのVNIとMACアドレスとに基づいて送信先SRを識別する。MFEは、次ホップとしてDR1645を識別する、(そのデータパス内において、又はゲートウェイマシン上のVMへパケットを送信することによって)SRパイプラインを実行する。その後MFEは、DR1645へパケットをフォワードする通過論理スイッチ1660パイプラインを実行し、その後、同様にこのDRパイプラインを実行する。DRパイプラインが送信先へパケットをルーティングするため、送信先論理スイッチパイプライン(論理スイッチ1615及び1620の1つ)が実行され、パケットは、送信先のVMが属すホストマシンのMFEへパケットをトンネルする。パケットのカプセル除去の後に、送信先MFEはVMへパケットを配送する。
[00154] TLR内のイースト-ウェストトラフィックに対し、送信元論理スイッチ、DR、及び送信先論理スイッチパイプラインは、第1ホップのMFEにおいて全て実行され、その後、パケットは送信先MFEへトンネルされる。パケットが集中化サービスによる処理を必要とする場合、送信元論理スイッチDRと通過論理スイッチパイプラインとのみが、SRパイプライン、通過論理スイッチ(再)、DR(再)及び、ゲートウェイマシンで実行される送信先論理スイッチパイプラインを有する、第1ホップのMFEにおいて実行される。クロス-TLRトラフィックは、送信元論理スイッチ、DR、と、SRを選択するための通過論理スイッチパイプラインとを実行する第1ホップMFEを用いて、同一の方法で開始される。選択されたSRが動作するゲートウェイマシンはその後SRパイプラインを実行して、PLRのDR、TLRとPLRとの間の通過論理スイッチパイプライン、(異なるTLRの構成要素として次ホップを識別する)PLRパイプラインのDR、及び、少なくとも、PLRと送信先TLRとの間の通過論理スイッチを識別する。送信先TLRがDRのみを有する場合、その送信先MFEへのパケットをトンネルする前に、送信先論理スイッチとともに、そのパイプラインも第1のゲートウェイマシンにおいて実行される。送信先TLRがSRを有する場合、通過論理スイッチは、送信先TLRの選択されたSRに対し、ゲートウェイマシンへパケットをトンネルするように特定する。その第2のゲートウェイマシンは、送信先MFEへパケットをトンネルする前に、SRパイプライン、送信先TLRの内部の通過論理スイッチパイプライン、そのTLRに対するDRパイプライン、及び、送信先論理スイッチパイプラインを実行する。
[00155] 上記例の全てにおいて、可能な限り早期に処理パイプラインを実行するための、同一原理が適用される。従って、所定のパケットに対するパイプラインの全ては、第1ホップのMFE(例えば、ハイパーバイザ上のVMからパケットを受信するハイパーバイザベースの仮想スイッチ)において実行され、パケットがSRパイプラインへ送信される必要があるまで、特定のゲートウェイマシン上にのみ現れる。そのゲートウェイマシンはその後、パケットが物理ネットワーク又は異なるゲートウェイマシン(又はそのイースト-ウェストトラフィックのための送信先)に送出されるまで、可能な処理の全てを実行する。
[00156] D. 追加的な論理ルータの振る舞い
[00157] 物理ルータのように、論理ルータは、ルーティングするパケットの生存時間(time to live, TTL)をディクリメント(decrement)し、ARPを実行するような、典型的なルーティング機能を実行するように実施される。いくつかの実施形態では、DR及びSRの両方を有する論理ルータは、パケットに対して動作する第1の構成要素によって、一度だけパケットにディクリメントを行う。従って、ノースバウンド及びイースト-ウェストのトラフィックに対して、DRがTTLをディクリメントし、一方、サウスバウンドトラフィックに対して、SRがTTLをディクリメントする。いくつかの実施形態では、DRの実装は、そのサウスバウンドインタフェースで受信したパケットに対してTTLをディクリメントするのみの命令を有し、SRは、ノースバウンドインタフェースで受信したパケットに対してTTLをディクリメントするのみの類似の命令を有する。パケットに対するTTLのディクリメントを扱う構成要素はまた、TTLがゼロに落ち込んだ場合に、ICMPエラーメッセージの生成を扱う。
[00158] いくつかの実施形態の論理ルータは、ブロードキャストパケットをフォワードせず、従って、ディレクテッドブロードキャスト(directed broadcast)(典型的には物理ルータでも無効化される機能)をサポートしない。しかしながら、宛先とされた論理ネットワーク上でIPブロードキャストパケットを受信した場合、いくつかの実施形態の論理ルータは、それ自体をパケットの送信先として取り扱う。
[00159] いくつかの実施形態では、ARPに対し、論理ルータは、内部パケット(すなわち、トンネルカプセル化がパケットに付加される前のパケット)のMACアドレスを書き替えて、どのトランスポートノードがARPパケットを送信しているかを示し、ARPレスポンスが正しいトランスポートノードへフォワードされるようにする。トンネルカプセル化については、いくつかの実施形態は、VXLANセマンティクスとともにステートレストランスポートトンネリング(stateless transport tunneling, STT)を用いる。
[00160] E.SRによるパケット処理
[00161] 上記説明は、単純な、パケットに対するデータパスの1つの追加論理フォワーディング要素としてのSRによるパケット処理であって、第1ホップにおいて(少なくとも、ノースバウンド又はイースト-ウェストのパケットに対して)実施されないパケット処理について説明した。しかしながら、他の論理フォワーディング要素(論理スイッチ、DR、通過論理スイッチ)が基本的に、入ってくる処理と論理フォワーディングと出てゆく処理(入ってくる及び出てゆく処理はACLを含み得る)とを含む場合、SR処理は、フォワーディング関連の処理に加えてステートフルサービスのような他の機能を含み得る。
[00162] 図17は、いくつかの実施形態のSR処理1700の様々な段階を概念的に示している。これらの段階のいくつかは、SRが非フォワーディングサービス(例えばNAT、ステートフルファイアウォール、ロードバランシング等)を含む場合にのみに含まれる。従って、図は、いくつかの段階を示しており、実線よりむしろ一点鎖線の段階では、サービスが構成された場合に、SRだけがこれらの段階を実行することを示す。更に、プレサービス(pre-service)のリダイレクト段階1705は、点線を用いて記載されており、これは、SRがサービスを含み、かつその論理ルータがアクティブ-アクティブモードで構成される場合、SRのみがこの段階を実行することを示す。
[00163] 図示するように、SRがパケットを受信した場合(SRがVMとして実施されようと、DPDKベースのデータパス内のVRFとして実施されようと)、第1の段階1705は、プレサービスのリダイレクト動作となる。上述したように、ステートフルサービスが構成される場合にはSRのみがこの段階を実行し、SRは、アクティブ-アクティブモードで動作している。プレサービスのリダイレクト段階1705は、パケットの属す接続(例えばトランスポート接続)のためのオーナーSRへパケットをリダイレクトすることを含む。しかしながら、論理ルータにおいてサービスが構成されていない、又は、SRがアクティブ-スタンバイモードで動作している(この場合、全てのパケットがアクティブSRへ送信される)場合、この段階は必要ではない。いくつかの実施形態では、プレサービスのリダイレクト段階はTTLをデクリメントしない(後の段階でルーティングされた際にパケットが適切にデクリメントされるため)。
[00164] プレルーティングサービス段階1710-1715は、ルーティングより前の実行のための、SR上に構成された任意の数のステートフルサービスを含み得る。SRは、何らのリダイレクトも必要ないと判定した場合、又は、異なるSRからリダイレクトを介してパケットを受信した場合に、これらの段階を実行する。勿論、SR上にステートフルサービスが構成されない場合、これらの動作も実行されない。SRの構成、及び、所定のサービスが論理ルータの出る側の論理ポートの決定を必要とするか、に応じて、いくつかのサービスはルーティングの前又は後のいずれかに実行され得る。
[00165] 全てのプレルーティングサービスがSRによって実行された後に、SRはルーティング段階1720を実行する。上述したように、SRインスタンスの全てに対するルーティングテーブルは類似する。例えば、複数のSRが同一のネットワークに到達することができる場合、全てのSRは、そのネットワークに対する複数の経路を有し、当該経路は、ダミーインタフェースを指す経路より短い距離メトリックを持った、ローカルインタフェースを指す経路を有する。このため、可能なときはローカルインタフェースが選択される。ルーティング段階1720は、ルーティングの決定をもたらし、この決定は、次ホップのIPアドレスと論理ルータの出る側の論理ポートとを含む(いくつかの実施形態では、出る側の論理ポートは、ノースバウンドパケットに対してDRによって実行されたルーティングに基づいて、既知であり得る)。
[00166] ルーティングの後に、パケットは、ポストルーティングサービス段階1725-1730へ進む。これらの段階は、プレルーティングのサービス段階1710-1715のように、ステートフルサービスが論理ルータ上で構成されている場合、SRによってのみ実行される。いくつかの実施形態では、ポストルーティングサービス段階のいくつか又は全ては、ルーティングの決定に依存し得る。例えば、論理ルータのために構成されるインタフェースベースのNATは、論理的な出る側のポートに依存し得る。更に、いくつかの実施形態は、ポストルーティングサービスがルーティングの決定を変更しないことを必要とする(いくつかの場合には、SRによるパケットのドロップを引き起こし得るが)。
[00167] 次に、SRは、出る側ACL段階1735を通してパケットを処理する。この段階では、SRは、論理ルータの論理的な出る側ポートに対して構成された任意のセキュリティポリシーを実施する。その後SRは、(段階1740において)ARPを次ホップへ送信して、パケットのための新たな送信先MACアドレスを決定する。SRの出る側のインタフェースがダミーインタフェースである場合、いくつかの実施形態では、論理空間においてDRがARPを実行するのと同一の方法で、ARPが、プロキシを介してL2の送信先に挿入される。ARPが終了した後は、SRは、パケットの送信元及び送信先のMACアドレスを修正する。
[00168] 最後に、パケットは出る側の出力段階1745に進む。出る側のインタフェースがローカルである場合、パケットは適切なVLANへ送信される。一方、出る側のインタフェースが遠隔(remote)である場合、SRはパケットをダミーインタフェースのSRへフォワードし、ダミーインタフェースはその後適切なVLANを介してパケットを送出する。いくつかの実施形態では、パケットは正しいピアSRへ送信され、ピアSRはその後ARPを実行してパケットを出力する。しかしながら、この技術は、パケットを次ホップの情報に格納するか、ピアSRがルーティング段階を再実行するかのいずれかを必要とする。いくつかの実施形態では、出る側の出力段階はTTLをディクリメントしない。代わりにTTLは、このSRにおけるルーティング段階か、異なるSRの出力段階におけるリダイレクトを通して受信された場合には、その異なるSRにおけるルーティング段階か、のいずれかによってデクリメントされる。
[00169] IV.多層ローカルネットワークにおけるECMPルーティング
[00170] 上述したように、いくつかの実施形態は、PLRのSRに関し、ノースバウンド及びサウスバウンドのパケットの両方に、等コストマルチパスルーティング(equal-cost multi-path routing)技術を用いる。いくつかの実施形態では、ECMPの使用は、物理ネットワーク(例えば、2層トポロジにおけるPLR)とインタフェースを有する論理ルータ上にステートフルサービスが構成されていない場合にのみ許容される。ECMP技術を用いてパケットをフォワードするためには、PLRは複数のアップリンクと有効化されたBGP(又は他の動的なルーティングプロトコル)を必要とする。いくつかの実施形態では、複数のアップリンクは同一のL2ドメイン内に配置され得る。
[00171] 以前に説明したように、ユーザ(管理者)は、論理ルータを物理ゲートウェイマシンの特定の組に関連付ける。その後、管理プレーンは、PLRの様々なアップリンクを、物理ゲートウェイマシンのこの組における異なるゲートウェイマシンに割り当てる。いくつかの実施形態は、特定可能な組における様々なゲートウェイマシンが、外部ネットワークへの統一された物理的接続性を有する(例えば、マシンの全てが同じVLANの組へのアクセスを有する)というルールを実施する。ここで、このルールは管理プレーンにおけるロジックを単純化する。管理プレーンがアップリンクを割り当てる各ゲートウェイマシンにおいて、SRが生成される。
[00172] いくつかの実施形態は、統一された物理的接続性に対する追加的な要件を設ける。具体的には、いくつかの実施形態では、PLRによって繋がるゲートウェイマシンの全ては同一のL3接続性を有する(すなわち、これらのマシンの全ては物理ルータの同一の組と接続する)更に、BGPが有効化される(ECMPに対する要求)場合、これらの物理的な次ホップ(物理ルータ)は、同一の物理的接続性を有することが必要となる。これは、特定のPLRのための全てのSRが、これらの物理的な次ホップから、非常に高速に消滅するSRの間の通過経路の差の見込みを有する、経路の同一の組を受信することを意味する。この要求の組によって、パケットがアップリンク間でリダイレクトされる必要がないため(全てのアップリンクが同一のポリシーと同一の接続性を有するため)、ダミーアップリンクは必要でなくなる。
[00173] 図18及び図19は、単一の層の論理ネットワークトポロジ1800と、上述したECMPの使用要件を満たすトポロジの管理プレーンビューを示す。ネットワークトポロジ1800は、図9のものと類似するが、2つのアップリンクのそれぞれは同一のL3接続性を有する。論理ネットワークトポロジ1800は、論理ルータ1815と接続する、2つの論理スイッチ1805と1810とを含む。これらの構成要素の構成は、アップリンクが接続する物理ルータの構成を除き、ネットワークトポロジ900と同一である。すなわち、論理ルータ1815と論理スイッチ1805及び1810との間のインタフェースは全て同一であり、論理ルータ1815の2つのアップリンクU1及びU2は、同一の次ホップIPアドレスを用いて物理ルータ1820及び1825と接続する。しかしながら、前の例では物理ルータが異なるネットワークへの接続性を提供したが、ここでは、両方の物理ルータがインターネットへの同一のL3接続性を有している。
[00174] 従って、図19では、論理ネットワークの管理プレーンビュー1900もほぼ同様である。管理プレーンは再度、論理ルータ1815と、DR構成要素1905と、2つのアップリンクに対する2つのSR1910及び1915と、通過論理スイッチ1920とを定義する。この構成に対する唯一の修正は、SR上にダミーインタフェースが構成されないことであり、これは、2つのアップリンクが同一の構成とRIBを有するために、SRの1つが、2つ目のSRの外にフォワードされる必要のあるパケットを受信すべきでないためである。そうであるなら、前のセクションにおいて示された、リダイレクトのためのRIB内の経路は、これらのSRのRIBには含まれない。
[00175] いくつかの実施形態では、ECMPはBGP(又は他の動的なルーティングプロトコル)とともに用いられる。論理ルータの各SRは、接続する1つ以上の物理ルータとBGPセッションを確立する。例えば、図18及び図19の例では、SR1910は物理ルータ1820とのセッションを初期化し、一方SR1915は物理ルータ1825とのセッションを初期化する。いくつかの実施形態では、各アップリンクは両方の物理ルータと接続し得、このため、各アップリンクは2つのルーティングセッションを有し得る。いくつかの実施形態では、SRの実施から分離されたゲートウェイマシン上のモジュールは、ルータとともにBGPセッションを初期化し得る。例えば、VMとしてSRが実施される場合、BGPモジュールは、別々のVM内又は他のデータ計算ノード等における、VMの一部、又はハイパーバイザの一部として動作する別々のモジュールであり得る。これらのセッションの間、SRは、各プレフィックスについての同一のメトリックを用いて、論理スペース内のプレフィックス(例えば、論理スイッチのサブネット1.1.1.0/24又は1.1.2.0/24)を物理ルータにアドバタイズする。いくつかの実施形態のBGP結合技術は、2014年3月14日に出願された米国特許出願14/214,561号で説明されており、参照により以下に組み込まれる。
[00176] 物理ルータへ同一の経路をアドバタイズするSRの全てを用いることにより、物理ルータは、SRを、同一コストのルーティングオプションとして扱うことができ、様々なSRを通じてトラフィックを広めることができる。図18及び19に示した例では、各物理ルータは、SRの1つにのみパケットを送信することができる。しかしながら、各物理ルータは同一の接続性を有するため、物理ルータの背後のネットワークから論理ネットワークへ送信されるパケットは、均等に2つのルータ1820及び1825の間に拡散され、従って、均等に2つのSRの間に拡散される。各SRが物理ルータの全てと接続する場合、そのときは当該物理ルータのそれぞれは、トラフィックをそれら自身にあるSRの間に均等に拡散することができる。
[00177] ノースバウンドのパケットに対し、いくつかの実施形態のDRは、ノースバウンドのパケットに平等な接続性を提供するECMP技術を用いて、様々なSRの間でパケットを分配する。SRは、BGP(又は異なる動的なルーティングプロトコル)を実行することにより、論理ネットワークのプレフィックスをアドバタイズすることに加えて、物理ルータから経路を学習することができる。上述したように、SRは内部的にこれらの経路を自身のRIBに組み込み、新たに学習した経路に基づいて、自身のFIBを再計算することができる。しかしながら、ECMPを用いるDRについて、これらの経路は、多数のマシンで実施されるDRのRIBにも与えられなければならない。
[00178] いくつかの実施形態では、SRは、学習した経路を、(分散化論理フォワーディング構成要素を実施するMFEと)SRを構成し管理する集中化ネットワークコントローラにレポートする。そして集中化コントローラは、それに応じてDRのRIBを更新し、DRを実施するMFEに更新を分配する。異なる実施形態は、最新のRIBの維持と集中化コントローラの処理負荷との間の場望ましいバランスに応じて、異なる割合でDRを更新し得る。いくつかの実施形態は、RIBを分配するよりむしろ、集中化コントローラにおいてFIBを計算し、その後更新したFIBを、DRを実施するMFEに分配する。
[00179] 他の実施形態では、経路を継続的に更新するよりもむしろ、集中化コントローラは代わりに、SRの全てを指すデフォルト経路をDRのRIBに追加する。これらの経路は管理プレーンの内部のものとして分類されるため、これらの経路が管理者が入力した静的経路によって破棄されていない場合には、これらの経路はDRによってのみ用いられる。異なるSRに対する経路は同一の管理上の距離メトリックを有するため、DRは、これらを、ECMP技術を用いてSRの間のトラフィックを分割する、等コストのオプションとして扱う。
[0180] V. ステートフルサービスのためのアクティブ-スタンバイ
[00181] 上記セクションは、ECMPを用いたアクティブ-アクティブ構成のためのSR(2つ以上のSRの全てが等しいオプションとして扱われる場合)のセットアップについて説明したが、いくつかの実施形態は、2つのSRを用いてアクティブ-スタンバイ構成を用いる。いくつかの実施形態は、ステートフルサービスがSR上に構成された場合に、アクティブ-スタンバイ構成を用いる。この場合、SR間において継続的な状態の共有を避ける利益は、(障害の場合にバックアップのためのスタンバイを用いる間に)複数のSRの間のノースバウンド及びサウスバウンドトラフィックの全てを送信する不利益を上回る。アクティブ-スタンバイの場合には、状態が2つのSR間で定期的に同期されるが、パケット速度ごとになされる必要はない。
[00182] いくつかの実施形態では、アクティブ-スタンバイ構成に対し、管理者は、論理ルータを定義する際に2つのアップリンクを構成する必要があるが、このアップリンクは同一のL2ドメインである必要はない。しかしながら、アクティブ及びスタンバイのSRは、DRに対する同等のオプションでなければならない(2つのオプションの望ましい方であるアクティブSRを有する)ため、いくつかの実施形態は、2つのSRが同一のL3接続性を有することを必要とする。これは、両方のSRが1つの次ホップ、TLRが接続するPLRのDR、を有するため、もちろん、アクティブ-スタンバイのSRがステートフルサービスを有するTLRのために構成される場合、問題にはならない。いくつかの実施形態では、アクティブ-スタンバイ構成におけるPLRに対し、2つのアップリンクは同一の接続性で構成されなければならない。更に、PLRに対し、いくつかの実施形態は、SR上での動的ルーティングプロトコル(例えばBGP)の構成を可能にする(或いは必要とする)。
[00183] 図20は、論理ルータがアクティブ-アクティブ(ECMP)モードよりもむしろアクティブ-スタンバイモードで構成される場合の、論理ネットワークトポロジ1800の管理プレーンビューを示す。ここで、図19に示したアクティブ-アクティブモードとの構成の唯一の差異は、SR2010及び2015のサウスバウンドインタフェースが、異なるMACアドレスであるが同一のIPアドレスを割り当てられていることである。
[00184] 管理プレーンは、DRのサウスバウンド及びノースバウンドのインタフェースへのMAC及びIPアドレスの割り当てに関し、図9及び図10の一般的な場合と同じ方法でDR2005を構成する。RIBを構築する際には、同じ接続されたルータが用いられ、セクションIIで上述したように同一の静的経路のルールが適用される(例えば、ノースバウンドの経路がDRにコピーされるが、その次ホップとしてのSRのIPアドレスを設定するために修正される)。この場合、SRに対するIPアドレスは1つのみであるため、全てのノースバウンドの経路は、次ホップのアドレスとしてこの1つのIPを用いる。同様に、様々な異なるSRのIPアドレスに複数のデフォルト経路を生成するのではなく、次ホップとしてのこの1つのIPアドレスを有する単一のデフォルト経路がDRのRIBに追加される。従って、図20のDR2005に対するRIBは、以下の経路を含む。
1.1.1.0/24 output to L1
1.1.2.0/24 output to L2
192.168.100.0/24 output to DRP1
192.168.1.0/24 via IP1
192.168.2.0/24 via IP1
0.0.0.0/0 via IP1
[00185] SR2005のそれぞれは、ほぼ同じ方法で構成される。論理ルータがPLRである場合(又は、例にあるような1層トポロジにおいて)、ノースバウンドインタフェースのIP及びMACアドレスは、PLRに対して構成された2つのアップリンクに割り当てられるものと同一である。一方、論理ルータがTLRである場合、論理ルータは、PLRと接続するように構成される1つのアップリンクのみを有し得る。この場合、2つのノースバウンドインタフェースのIPアドレスは同一であるが、各SRには異なるMACアドレスが割り当てられる。同様に、これらの2つの場合(PLR又はTLR)のいずれかは、2つのSRに対する2つの異なるMACアドレスを有する、2つのサウスバウンドインタフェース(図20に示すように、これらのインタフェースの両方がIP1のIPアドレスを有する)に対して単一のIPアドレスが割り当てられる。
[00186] いくつかの実施形態では、コントローラは任意のアップリンク非依存のサービスポリシーを両方のSRに等しくプッシュする。アップリンクに依存する任意のサービスポリシーが許容され、構成される場合、これらは、関連付けられているアップリンクが存在するSRへプッシュされる。更に、論理ルータのポートの任意の動的ルーティング構成がSRのノースバウンドインタフェースへ伝送される。
[00187] SRのためのRIBは、一般的な事例に対して上記セクションIIにおいて示したものと類似する。論理ルータのアップリンクから出る静的かつ接続された経路は、修正されること無くSRのRIBに追加される。論理ルータの各サウスバウンドインタフェース(例えば論理スイッチのサブネットのための経路)について、ネットワークのための経路が、次ホップのIPアドレスの組と共にDRのノースバウンドインタフェースに追加される。サウスバウンドインタフェースから出る、論理ルータのRIB内の任意の経路もまた、SRのRIBに、同一の次ホップのIPアドレスと共に追加される。図20の例におけるSR1 2010のRIBは、動的ルーティングプロトコルを介して任意の追加経路を学習する前に、以下の経路を含む。
0.0.0.0/0 output to U1 via 192.168.1.252
192.168.1.0/24 output to U1
192.168.100.0/24 output to SRP1
1.1.1.0/24 via IP3
1.1.2.0/24 via IP3
[00188] 更に、いくつかの実施形態では、SRが(アクティブSRよりむしろ)スタンバイSRとして設定される場合、SRはそのサウスバウンドインタフェース上でARPに返答しない。SRのサウスバウンドIPのためのARPパケットは、SR及びDRと接続する通過論理スイッチ上でブロードキャストされ、アクティブSR及びスタンバイSRの両方がそのIPアドレスに応答する。しかしながら、DRが、スタンバイSRよりもアクティブSRのMACアドレスへパケットをルーティングするように、アクティブSRのみがARPリクエストに応答する。にもかかわらず、いくつかの実施形態においてスタンバイSRは、アクティブSRになった場合にその動的ルーティングプロトコルを実行し、最新の経路の組を維持するために、ノースバウンドインタフェースによって受信されるパケットを受け入れる。しかしながら、スタンバイSRは、アクティブにならない限り、外部ネットワークへプレフィックスをアドバタイズしない。
[00189] IV.SRのフェイルオーバー
[00190] 上述したように、SRは、VM又は他のデータ計算ノードとして、若しくは、DPDKベースのデータパス内のVRFとして、異なる実施形態で実施され得る。いずれの場合も、異なる種別の障害(部分的なトンネルの障害、完全なトンネルの障害、物理マシンのクラッシュ等)の可能性は、SRのダウンを引き起こし得る。しかしながら、異なるSRの実施は、異なる種別の障害に対し異なる方法で対応する。
[00191] A.DPDKベースのSRを用いる障害ハンドリング
[00192] いくつかの実施形態では、述べたように、論理ルータのSRは、DPDKベースのデータパス内のVRFとして、ゲートウェイマシン又はエッジノード上で動作する。これらのゲートウェイマシンは、(例えばデータセンタ内の物理的な位置に応じて)複数の組にグループ化され、特定の論理ルータのための全てのSRをまとめてホストするゲートウェイマシンの組は、トンネルの組(いくつかの実施形態ではトンネルのフルメッシュ(full mesh))によって接続される。従って、トンネルは、SRが動作する全てのゲートウェイマシンの間に存在する。
[00193] いくつかの実施形態は、ピアのゲートウェイマシンの生存を監視するために、双方向フォワーディング検出(Bidirectional Forwarding Detection, BFD)セッションを用いて、これらのトンネルを維持する。しかしながら、トンネルエンドポイント間の単一のDFDセッションのみを用いることは、ピアの生存を検出するための単一の情報チャンネルに依存することになるため、いくつかの実施形態はまた、ゲートウェイマシンの各ペアの間で2つ目のチャンネルを用いる。特に、いくつかの実施形態では、別々の管理ネットワークが、(ネットワークコントローラとの通信のための)コントロールデータを送信するゲートウェイの間に存在する。従って、各ゲートウェイは管理ネットワーク内で別々のIPアドレスを有し、これらの接続は、管理ネットワークにわたってハートビート(heartbeat)メッセージを送信するために用いられ得る。これは、両方のゲートウェイマシンが、ピアが実際にはダウンしていない場合に、他方がクラッシュし、混乱を生じさせるアクションを起こさせていると判定した結果として生じる、2つのピア間におけるトンネルの障害の可能性を防止する。代わりに、トンネルの障害の間に、各ノードは、これらのピアマシンが今だ動作しているかを検出することができるため、トンネルが停止したものであり、ピアマシン(及びそのSR)自身が停止したものではないことを結論付けることができる。
[00194] いくつかの実施形態では、障害の状態は、PLRのSRのものとTLRのSRのものとで異なる。ユーザのVMが動作するMFE(例えば、ユーザのVMが直接接続する図13のMFE1325)への接続性を提供する、ゲートウェイマシンのトンネルが停止した場合、外部の物理ルータによってPLRへ送信されるトラフィックがブラックホールされる(blackholed)ため、ゲートウェイマシン上の全てのSR(PLRのSRでさえ)は、もはや動作可能でない。一方、ゲートウェイマシンが物理ルータとの接続性を失った場合、ゲートウェイマシン上のTLRのSRは、TLRへのノースバウンドトラフィックが、次ホップとしてのPLRのDRを有するため、すなわち常に利用可能でなければならない(ゲートウェイ上のデータパス内で実施されるため)ため、依然として動作可能として扱われる。しかしながら、論理ネットワークのVMからの任意のノースバウンドトラフィックがブラックホールされるため、PLRのSRはもはや動作可能であると考えられない。PLRのSRをホストするゲートウェイマシンが物理的な接続性(又はそのBGPセッション)を失う場合、いくつかの実施形態では、ゲートウェイマシンは、同一のPLRのSRをホストする他のゲートウェイマシンにメッセージ(例えば、「concatenated path down」のような特定の診断コード)を送信する。
[00195] ピアとのトンネル上のBFDセッションと、ピアとの第2(管理)のチャネルにわたるハートビートメッセージの状態と、ピアの物理的接続性がダウンしていることを示すメッセージをピアから受信したか、とに基づいて、第1のゲートウェイマシンは、ピアの第2のゲートウェイマシンについて結論を下し、結論に基づいて所定のアクションをとることができる。例えば、トンネルがアクティブであり、接続性ダウンのメッセージを受信していない場合、第1のゲートウェイマシンは、ピアの第2のゲートウェイマシンが健全であり、継続するパケットの処理が通常であると結論する。しかしながら、ピアへのトンネルが動作しているが接続性ダウンのメッセージを受信した場合、第1のゲートウェイマシンは、ピアは今だアクティブであるが物理的接続性を失ったと結論する。そういうものとして、第1のゲートウェイマシンは、SRがPLRに属す場合には第2のゲートウェイマシン上のSRを(後述するように)引き継ぎ、TLRのSRについてはアクションをとらない。
[00196] 第1のゲートウェイマシンとピアの第2のゲートウェイマシンとの間でトンネルがダウン(もはやアクティブでないBFDセッションに基づく)し、しかし第2のチャネルのハートビートメッセージが今だ受信される場合、第1のゲートウェイマシンは、ピアの第2のゲートウェイマシンが健全であり、(必要ならリダイレクションは問題になり得るが)ノースバウンド及びサウスバウンドパケットを処理している、と結論する。しかしながら、トンネルと第2のチャネルとの両方がダウンした場合、第1のゲートウェイは、ピアがダウン(例えばクラッシュ)したと結論する。この場合、第1のゲートウェイマシン上のSRは、SRがPLR又はTLRに属するかに関わらず、第2のゲートウェイマシン上のSRを(後述するように)引き継ぐ。
[00197] いくつかの実施形態では、各ゲートウェイマシンは、マシン上で動作する(ある場合にはシャーシコントローラ(chassis controller)として参照される)ローカルネットワークコントローラを有する。いくつかの実施形態のシャーシコントローラは、中央ネットワークコントローラからデータタプル(data tuple)を受信し、マシン上のMFEを構成するためにデータタプルを用いる。いくつかの実施形態では、このシャーシコントローラはまた、そのゲートウェイマシンのヘルス状態(health status)がいつ変化したか、及び、ピアのゲートウェイマシンのヘルス状態がいつ変化したかを判定する責務を有する。ゲートウェイマシン間の通信の3つ指標(トンネルBFDセッション、第2のチャネル、及び物理的接続性ダウンのメッセージ)の1つが(接続性の消失、ゲートウェイマシンのクラッシュ等に基づき)影響を受けた場合、いくつかの実施形態のシャーシコントローラは、これがどのように、そのゲートウェイマシン上でホストされる各SRに影響するかを判定する。
[00198] 特定の1つのSRに関してシャーシコントローラがなすアクションは、(i)SRがPLR又はTLRに属すか、(ii)SRがアクティブ-アクティブ又はアクティブ-スタンバイモードで動作するか、(iii)それ自身のローカルヘルス状態、(iv)同一の論理ルータの他のSRをホストするピアのゲートウェイマシンのヘルス状態、に依存する。例えば、シャーシコントローラは、ローカルSRが機能的であると扱われるべきでないことを判定し得、この結果に対する信号を(i)他のゲートウェイマシン、(ii)ユーザVMが属すホストマシン、(iii)物理外部ルータ、の組み合わせに送信し得る。シャーシコントローラはまた、ローカルSRがアクティブになければならないとの判定をなすことができ、SRをアクティブにするためのフェイルオーバー処理を開始し得る。更に、シャーシコントローラは、遠隔のSRがもはや機能的でないことを判定し得、この遠隔のSRの処理をローカルに引き継ぐためにフェイルオーバー手順を開始する。
[00199] 障害の条件が検出された場合、様々な実施形態は、状況を部分的に或いは完全に救済するための様々な異なるアクションを取り得る。障害の事例の異なる種別は、完全な或いは部分的なトンネルの障害、ゲートウェイマシン又はMFEのクラッシュ、リンクアグリゲイトグループ(LAG)状態のダウン、BGPセッションの停止、SR間の非統一経路を含む。SRの復活は実際には障害のシナリオではないが、SRを管理するためにゲートウェイマシンのシャーシコントローラによってなされるアクションの結果として生じる。
[00200] 1.完全なトンネルの障害
[00201] 完全なトンネルの障害は、ゲートウェイマシンのクラッシュによって、若しくはpNIC又は物理ネットワークの問題によって発生し得る。完全なトンネルの障害が特定のゲートウェイマシン上で発生する場合、(i)ユーザVM又は他のデータ計算ノードを有するホストマシンにおける全てのMFEは、特定のゲートウェイマシンへのトンネルを失い、(ii)他のゲートウェイマシンは、特定のゲートウェイマシンへのトンネルを失い、そして(iii) 特定のゲートウェイマシンは、他のゲートウェイマシンへのトンネルを失う。
[00202] ホストマシンにおけるMFEの観点から、特定のゲートウェイマシンへのそのトンネルが停止した場合、PLRのDRは、(PLRによって繋がるゲートウェイマシンの全てが一度に停止していない前提で)いくつかのSRに到達することができるが、特定のゲートウェイマシン上にあるSRに到達することができない。そういうものとして、いくつかの実施形態では、ホストマシン上のデータパス又はシャーシコントローラは、影響を受けた(次ホップのIPアドレスとしての特定のゲートウェイマシン上のSRを用いる)経路を、DRのFIBから自動的に削除する。いくつかの実施形態は、それぞれのゲートウェイマシン上の仮想トンネルエンドポイント(VTEP)に、各次ホップを関連付ける。特定のVTEPへのトンネルがダウンしている場合、特定のVTEPと関連付けられている全ての次ホップは、ダウンしているとしてマークされ、そのため、ローカルのシャシーコントローラによって、DRのためのFIBを計算する際に削除される。
[00203] 他のゲートウェイマシンは、BFDセッションの状態を通して、特定のゲートウェイマシンのトンネルの障害と、第2のチャネルが今だ動作していることを検出する。これらの他のゲートウェイマシン(例えば、他のゲートウェイマシン上のローカルシャーシコントローラ)は、その後、停止したゲートウェイマシン上でホストされたSRを引き継ぐためにフェイルオーバー処理を開始することができる。
[00204] アクティブ-アクティブモードで構成された停止したゲートウェイマシン上のSRに対し、いくつかの実施形態は、停止したSRを他のマシンの1つによってどのように引き継ぐかを決定するために、ランキングメカニズムを用いる。いくつかの実施形態では、管理プレーンは、アクティブ-アクティブ構成のNのSRのそれぞれに、1からNのランキングを割り当てる。これらのランキングは、ランダムに割り当てられ、或いは、異なる技術を用いて割り当てられ、そして、アクティブ-アクティブ構成の特定の論理ルータのためのSRをホストする、全てのゲートウェイマシンのローカルシャーシコントローラへ分配され得る。停止したSRのランキングに基づいて、次に高いランクのSRが、停止したSRのサウスバウンドインタフェースを自動的に引き継ぐ。ノースバウンドインタフェースに対しては、物理ルータが、BGPセッションを終了した際にSRがダウンしていることを認識するため、他のSRによってなされるべきアクションはない。インタフェースを引き継ぐために、引き継ぐ側のSRは、サウスバウンドインタフェース上の通過論理スイッチへ引き継ぐ全てのIPアドレスに対して、いくつかのグラチュータスARP(gratuitous ARP)(GARP)メッセージを送信する。これらのメッセージは、IPアドレスが現在はサウスバウンドインタフェースのMACアドレスと関連付けられていることを知らせる。(論理ルータに対する他のSRの以前の障害によって)停止したSRが既に他のIPアドレスを引き継いでいた場合、複数のIPアドレスが新たな引き継ぐ側のSRによって引き継がれる。
[00205] アクティブ-スタンバイモードで構成された停止したゲートウェイマシン上のSRに対し、いくつかの実施形態は、アクティブなSRの障害とスタンバイのSRの障害とを異ならせて扱う。特に、停止したSRがスタンバイである場合、いくつかの実施形態は、スタンバイのマシンには適切な時間にバックアップがもたらされる前提で、アクションをとらない(すなわち、新たなスタンバイマシンをインスタンス化しない)。停止したSRがTLRのSRである場合、サウスバウンド及びノースバウンドインタフェースの両方のIPアドレスがスタンバイのSRに移動する。TLRは単一のアップリンクのみを有するため、両方のSRはノースバウンド及びサウスバウンドインタフェースのIPアドレスを共有するが、異なるMACアドレスを有する。両方の場合、いくつかの実施形態は、IPアドレスの移動を実現するために、関連する通過論理スイッチへGARPメッセージを送信する。PLRのSRについては、アクティブ-スタンバイモードであっても2つのアップリンクが別々のIPアドレスを有するため、サウスバウンドインタフェースのみが移動する。更に、新たなアクティブなSRは物理ルータにプレフィックスのアドバタイズを開始して、停止したSRによりも自身にサウスバウンドのパケットを引き入れる。同一のIP及びMACアドレスが、アクティブ-スタンバイのSRのサウスバウンドインタフェースに用いられる場合には、いくつかの実施形態は、Reverse ARP(RARP)を用いて、MAC:VTEPマッピングをリフレッシュする(すなわち、パケットが現在のトンネルを介して新たなアクティブSRへ送信される)。
[00206] 全てのトンネルを失ったゲートウェイマシン上では、シャーシコントローラは、最も可能性の高い原因が何等かのローカルの障害であることを判定し、従って、そのローカルのSRはもはやアクティブであるはずがないことを判定する。従って、BGPセッションを介して外部の物理ルータへプレフィックスを通知する任意のSRは、ブラックホールされるサウスバウンドのトラフィックの引き込みを回避するように、通知したプレフィックスを撤回する。
[00207] 2.部分的なトンネルの障害
[00208] 部分的なトンネルの障害は、ゲートウェイマシンとデータセンタ内の他のマシンとの間のいくつかのトンネルのみがダウンした場合に生じる。これは、特定のゲートウェイマシンへのトンネルを有するマシンの1つにおける(1つのトンネルの消失の結果として生じる)完全な障害、そのトンネルのいくつかのダウンの結果として生じる特定のゲートウェイマシンにおける条件、等によるものであり得る。ここで説明されるのは、特定のゲートウェイマシンにおける条件がそのトンネルのサブセットが停止した結果として生じる場合である。結果として、(i)ユーザVM又は他のデータ計算ノードを有するホストマシンにおけるいくつかのMFEは、特定のゲートウェイマシンへのトンネルを失い、(ii)いくつかの他のゲートウェイマシンは、特定のゲートウェイマシンへのトンネルを失い、そして(iii) 特定のゲートウェイマシンは、他のゲートウェイマシンへのトンネルを失う。
[00209] 特定のゲートウェイマシンへのトンネルを失ったホストマシンにおけるMFEは、ホストマシンの観点からこれは単に到達できないゲートウェイであるため、完全なトンネルの障害の場合と同一の方法でこれを扱う。そういうものとして、上記サブセクション1に示したように、ホストマシン上のデータパス又はシャーシコントローラは、次ホップのIPアドレスとしての特定のゲートウェイマシン上のSRを用いる、影響を受けた経路を、DRのFIBから自動的に削除する。
[00210] 言及したように、部分的なトンネルの障害は、様々な異なるシナリオの結果として生じ得る。例えば、いくつかの場合、ゲートウェイマシンは、いくつかのホストマシンのMFEによって到達可能であり得るが、そのピアによっては到達可能ではない。例として、(VMとしてのSRであるが、にもかかわらず適用可能である)図13を参照すると、ゲートウェイマシン1330に、ホストマシン1305-1320によって到達可能であるが、ゲートウェイ1335及び1340によっては到達可能でない。この場合、ゲートウェイマシン1330上のローカルのシャーシコントローラは、両方のゲートウェイマシン1335及び1340上で動作しているPLRのSRを引き継ぐ。更に、ゲートウェイマシン1335(又は、ランキングに応じて、マシン1340)が、ゲートウェイマシン1330上で動作するSRを引き継ぐ。これは、ゲートウェイマシン上で動作するDRが、第1のゲートウェイマシン1330上でホストされるSRのサウスバウンドのIPアドレスに対するARPリクエストを送信した場合、(ゲートウェイマシンの全てに到達することができる)MFEのいくつかが複数のゲートウェイマシンから返信を受信する結果としてなされる。SRがアクティブ-アクティブ構成(ステートフルサービスを有しない)である限り、これは正当性問題を生じさせない。しかしながら、アクティブ-スタンバイ構成の場合には、SRの両方が今やアクティブであることを意味し得、これはトラフィックの途絶問題を引き起こし得る。
[00211] 特定のゲートウェイマシンにおいて、ホストマシンのいくつかへのトンネルがダウンするが、ピアのゲートウェイマシンは到達可能のままである場合、部分的なトンネルの障害は、アクティブ-スタンバイモードにおいても問題を生じ得る。この場合、SR間のトンネルが機能しているため、フェイルオーバーは発生しない。アクティブ-アクティブモードでは、ホストマシン(又はローカルシャーシコントローラ)におけるデータパスは、問題なく依然として動作しているトンネルを介してトラフィックをフォワードするための決定を行うことができる。しかしながら、アクティブ-スタンバイモードでは、アクティブなSRへのトンネルがダウンしている場合、MFEは、パケットを処理しないスタンバイのSRへパケットを送信する。同様に、アクティブ-アクティブ及びアクティブ-スタンバイ構成の両方において、ゲートウェイマシンは、物理ルータからのサウスバウンドトラフィックを通過させることができず、従っていくつかの実施形態ではブラックホールされる。
[00212] 3.マシンクラッシュ
[00213] いくつかの場合には、ゲートウェイマシン全体がクラッシュし得、又はDPDKファストパス(fastpath)がクラッシュし得る。いくつかの実施形態では、ファストパスはBFDパケットを送信する責務を負うため、これらの状況のいずれも完全なトンネルの障害と同一である。(ゲートウェイマシン上のSRに対するBGPセッションを処理する)MSRプロセスは、ファストパスがクラッシュした場合にのみ動作し続け得るため、物理ルータは、ゲートウェイマシンへパケットを送信する可能性を今だ有する。いくつかの実施形態では、ファストパスが再スタートするまでトラフィックはブラックホールされる。
[00214] 4.LAG状態のダウン
[00215] いくつかの実施形態では、ゲートウェイマシンは、外部物理ネットワークに到達するために、リンクアグリケートグループ(LAG)を用いる。PLRのSRをホストするゲートウェイマシンが全てのLAGを失った場合、いくつかの実施形態では、マシンは、(上述の)物理的接続性ダウンのメッセージを、そのPLRのSRをホストするそのピアのゲートウェイマシンへ、トンネルを介して送信する。この場合、完全なトンネルの障害に関して上述した、引き継ぎ手順がなされる(次にランクの高いSRが、SRのIPアドレスを引き継ぐ)。
[00216] いくつかの実施形態はむしろ、フェイルオーバーを誘発する技術として記載されるように全てのトンネルをマークする。しかしながら、これは、他のゲートウェイマシンへ同様にフェイルオーバーしたマシン上のTLRのSRにおいて結果的に生じるものであり、物理的接続性がダウンした場合にのみ不要になるものである。これは、ホストマシンにおいてMFEへ多数のGARPメッセージを送信することに繋がり、従って、いくつかの実施形態は、PLRのSRのみをフェイルオーバーする初めの技術を用いる。
[00217] いくつかの場合、LAGにおける物理アップリンクのいくつかのみがダウンする。LAGにおける物理アップリンクの少なくとも1つが機能的なままである限り、ゲートウェイマシンは何らのアクションもとらず、正常なものとして動作を継続する。更に、いくつかの実施形態では、(データセンタ内の)トンネルトラフィックは別々のLAGを用いる。LAG全体がダウンする場合、サブセクション1で上述した、完全なトンネルの障害を生じさせる。
[00218] 5.BGP セッションダウン
[00219] いくつかの場合、(例えばゲートウェイマシン上のMSRプロセスがクラッシュするために)SRのためのBGPセッションがダウンする。BGPプロセスのために適切な再スタートが可能である場合、適切な再スタートのために設定されたタイムアウト期間以内にセッションが再確立される限り、フェイルオーバーのアクションをとる必要はない。MSRプロセス(又は他のBGPモジュール)がいつダウンしたかを検出できるようにするため、いくつかの実施形態は、たとえ状態が変化しなかったとしても、定期的にBGPセッションの全ての状態をリフレッシュするためのプロセスを必要とする。
[00220] 一方、適切な再スタートが可能でない、又は再スタートのためのタイムアウト期間が経過した場合、いくつかの実施形態のゲートウェイマシンは、SRがもはや機能的でないことを示すために、物理的接続性ダウンのメッセージを、同一のPLRに対するSRをホストするそのピアのゲートウェイマシンに送信する。ピアのゲートウェイマシンの観点から、機能的でないBGPセッションを有するゲートウェイ上のSRインタフェースが、次に高ランクなSRによって引き継がれるという点で、あたかもLAG状態がダウンしたのと同じである。更に、1つのBGPセッションが機能的である限り、及び全ての物理的な次ホップが同一のL3接続性を有する場合、フェイルオーバーのアクションをとる必要がない。
[00221] 6.SRの間の非統一経路
[00222] PLRのSRが接続する外部物理ネットワーク内の障害は、SRにも影響を及ぼし得る。例えば、いくつかの外部物理ルータは、サブネットのための経路を撤回し得、他方、他の物理ルータは撤回しない。いくつかの実施形態は、この問題を、中央ネットワークコントローラを含むこと無く、ゲートウェイマシン上でローカルに解決する。
[00223] 上述したように、いくつかの実施形態では、SRは互いをピアにするiBGPを有し、eBGP経路(外部物理ルータから学習される)は、次ホップを変更すること無く、iBGPセッションを介して送信される。図10への参照によれば、(アップリンクU2である同一のサブネット内の)192.168.2.252の次ホップを有する、SR1015によって学習された任意のeBGP経路は、iBGPを介してSR1010によって学習される。これらの経路はその後、SRが、他のSR1015上の実際のアップリンクに対するダミーインタフェース(U2’)を有するため、192.168.2.252の次ホップとともにSR1010にインストールされる。同一の技術はまた、経路回避シナリオに対して用いられる。
[00224] 7.SRの復活
[00225] SRは上述のサブセクションにおいて示した様々な理由でダウンし得るが、SRは一般に期間の後にバックアップがもたらされる。これは、これからバックアップされる停止したSRを有する、特定のゲートウェイマシンへのBFDセッションによって、又は、物理的接続性ダウンフラグをクリアするメッセージの受信によって、他のマシンにおいて示され得る。その後、いくつかの実施形態では、全ての他のゲートウェイマシン上のローカルシャーシコントローラは、上述した方法と同一の方法を用いて、ローカルのSRが遠隔のSRを引き継ぐべきかを評価する。
[00226] 例えば、遠隔のSRからローカルのSRによって現在引き継がれているIPアドレスが、遠隔のSRに戻されるべき(すなわち、ローカルのSRはもはやIPアドレスを引き継ぐべきでない)である場合、ローカルのSRはIPアドレスに対するARPの返答を停止する。いくつかの実施形態について、ローカルシャーシコントローラは、ローカルSRのサウスバウンドインタフェースからそのIPアドレスを削除する。IPアドレスがローカルSRによって引き継がれるべきである場合(例えばそれがバックアップがなされたため)、サブセクション1で示したフェイルオーバー手続きに従う。加えて、ローカルSRがスタンバイとして指定され、そして、アクティブSRが機能性を回復する場合、ローカルSRは、外部物理ルータへのプレフィックスのアドバタイズを停止する。同様に、アクティブとして指定されるローカルSRが機能性を回復する場合、ローカルSRはプレフィックスのアドバタイズも再開する。
[00227] B.VMベースのSRを用いる障害ハンドリング
[00228] 上で言及したように、いくつかの実施形態は、ゲートウェイマシンのDPDKベースのデータパス内にSRをホストするよりもむしろ、ゲートウェイマシン上のVM(又は他のデータ計算ノード)を用いて、データセンタ内でSRをホストする。図21は、特定のPLRに対する3つのSR2120-2130をホストする3つのゲートウェイマシン2105‐2115の物理的な実装例2100を示す。各ゲートウェイマシンはMFE、BGPプロセス(例えば、上記サブセクション Aで示したMSRプロセス)及びローカル管理プレーン、又はシャーシコントローラを含む。
[00229] ゲートウェイマシン2105-2115上のMFE2135-2145は、OVS、ESX、異なるハイパーバイザベースの仮想スイッチ、又は、分散化L2及びL3フォワーディングを処理することができる、他のソフトウェアフォワーディング構成要素、のような仮想スイッチであり得る。示したように、3つのMFE2135‐2145は、これらの間でフルメッシュのトンネルの有し、これらの3つのMFEはまた、ユーザVMをホストする、ホストマシン2150-2155の組に置かれるMFEへのトンネルを有する。ホストマシン2150-2155はまた、ローカル管理プレーンを有する。
[00230] VMとして動作する3つのアクティブSRを有する、ネットワークトポロジの物理的実施2100は、様々な異なる障害のシナリオを示すために本サブセクションにおいて用いられる。一般に、SRをホストするVMの1つが停止する、又はこれらの間のトンネルが停止する場合、他のピアのSRが停止したSRの責務を引き継ぐことを試みる。いくつかの実施形態では、同一の論理ルータに属すSRは、互いに通過論理スイッチを介して定期的にハートビートメッセージを送信する(例えば、通過論理スイッチでハートビートメッセージをブロードキャストすることにより、通過論理スイッチ上の他のSRの全てに配送される)。
[00231] 1.SRをホスティングするVMのクラッシュ
[00232] いくつかの場合には、SRの1つをホストする実VMは、多くの理由によってクラッシュし得る。上述したように、SRがアクティブ-アクティブモードで動作する場合(図21のように)、管理プレーンは、各VMに、フェイルオーバーシナリオにおける使用のためのランクを割り当てる。図21の場合では、ゲートウェイマシン2105上のSR1は最も高いランクが付与され、ゲートウェイマシン2110上のSR2は2番目に高いランクが付与され、ゲートウェイマシン2115上のSR3には、SRの中で3番目に高いランクが付与されている。
[00233] 図22は、クラッシュするVMの1つの結果を概念的に示している。特に、この図は、SR2125がゲートウェイマシン2110上で動作するVMがクラッシュしたことを概念的に示している。結果として、このVMは、ゲートウェイ間のトンネルが今だ動作可能であるものの、他のSR2120及び2130(例えば、ゲートウェイマシン上の他のVMで動作する他のSRに対して)へのハートビートメッセージを送信することができない。このように、様々な障害のメカニズムが、(これらがデータパス内のVRFとして全てが実施されるので)マシン上のDPDKベースのSRの全てに影響を与える一方、VMベースのSRに対するVMのクラッシュは、そのVM上で動作している単一のSRにのみ影響を与え、ゲートウェイマシン上の他のSRには影響を与えない。
[00234] 他のSR2120及び2130は、見つからないハートビートを失ったためにSR2125の停止を検出したため、停止したSRの責務を引き継ぐ。通常、全てのSRは、自身のサウスバウントインタフェースと、他のSRのサウスバウンドインタフェースとのIPアドレスの情報を格納する。すなわち、SR2120は、SRと接続する通過論理スイッチへの自身のインタフェースと、SR2125及びSR2130の対応するインタフェースについての情報を格納する。しかしながら、SR2120は通常、自身のインタフェースに対するARPリクエストに返答するのみである。
[00235] SRのVMがクラッシュする場合、図22に示すように、次に高いランクを付与され、まだ生きているSRが、停止したSRのサウスバウンドインタフェースのIPアドレスと、停止したSRが以前に引き継いだIPアドレスとを引き継ぐ責務を有する。例えば、SR3 2130が以前にクラッシュしていた場合、そのサウスバウンドインタフェースはSR2 2125によって引き継がれる。従って、図22は、現在SR2120がSR1及びSR2として振る舞っていることを示している。論理ネットワークがノースバウンドパケットをECMP原理を用いてフォワードすると想定した場合、ホストマシン2150-2155は、SR2120-2130がゲートウェイ2105上のVMに属す(例えばそのVMのMACアドレスに属す)論理ルータに対する、全てのノースバウンドトラフィックの3分の2をルーティングしなけらばならない。これは、SR1及びSR2の両方のIPアドレスへフォワードされるパケットは、そのMACへルーティングされるからである。
[00236] ゲートウェイ2105上のVMがSR2 2125のIPアドレスを引き継ぐために、VMは、このIPアドレスに対するGARPメッセージ(及び、他の場合には引き継ぐ全てのIPアドレス)を、DR及びSR2120-2130が接続する通過論理スイッチへ送信する。いくつかの実施形態では、メッセージが受信されたことをより確実にするために、VMは複数のGARPメッセージを送信する。MFE2135は、これらのGARPメッセージを受信し、MFE2145(SR3 2130への配送のため)と、様々なホスト2150-2155におけるMFE(DRが、古いSR2のIPとMACアドレスのマッピングがARPキャッシュから削除されたことを知るため)とへ、GARPメッセージを送信する。
[00237] アクティブ-スタンバイモードにおける2つのSRの場合(SRがTLR、又はステートフルサービスが構成されたPLRに属す場合)には、上述したようにいくつかの実施形態では、サウスバウンドインタフェースはIPアドレスを共有するが、異なるMACアドレスを有する。アクティブなSRのVMまでも停止しなくてもVMがバックアップを行う前提では、いくつかの実施形態では、スタンバイVMがクラッシュした場合には、管理プレーンは新たなスタンバイを開始させない。アクティブなSRのVMが停止した場合、スタンバイのVMは(ハートビートメッセージが受信されないので)その障害を識別し、そして、クラッシュしたSRのMACアドレスへのサウスバウンドのIPアドレスのマッピングを、ホストマシンのMFEにおけるDR用のARPテーブルから削除するために(これらのMFEが古いアクティブSRよりむしろ新たなアクティブSRへパケットをルーティングするために)、GARPメッセージを生成する。いくつかの実施形態では、ホストマシン上のトンネリングプロトコルレイヤ(例えばVXLANレイヤ)も、新たなMACアドレスに対するMAC:VTEPマッピングを学習し、同一のIP及びMACアドレスが、アクティブ-スタンバイのSRのサウスバウンドインタフェースに用いられ、いくつかの実施形態は、逆ARP(Reverse ARP)(RARP)を用いて、ホストマシンMFEにおいてMAC:VTEPマッピングをリフレッシュする(すなわち、パケットが現在のトンネルを介して新たなアクティブSRへ送信される)。
[00238] 最後に、スタンバイ(現在はアクティブ)VMがPLRのためのSRとして動作する場合、物理外部ルータへ経路のアドバタイズメントを開始する。停止したSRを有するゲートウェイマシン上のBGPプロセスが、SRとともにVMの外で動作する場合、いくつかの実施形態では、そのゲートウェイマシンのローカルコントロールプレーンは、ゲートウェイマシンが停止したSRに対して入るトラフィックを引き寄せないように、BGPプロセスが経路のアドバタイズを継続することも停止させる。
[00239] 2.完全なトンネルの障害
[00240] 完全なトンネルの障害は、ゲートウェイマシンのクラッシュによって、問題を有するゲートウェイマシン上のMFE、若しくはpNIC又は物理ネットワークの問題によって発生し得る。完全なトンネルの障害が特定のゲートウェイマシン上で発生する場合、(i)ユーザVMを有するホストマシンにおける全てのMFE又はゲートウェイマシンは、特定のゲートウェイマシンへのトンネルを失い、(ii)他のゲートウェイマシン上のSRは、特定のゲートウェイマシン上のSRが停止したことを判定し、そして(iii) 特定のゲートウェイマシン上のSRは、他のゲートウェイマシン上のSRが停止したことを判定する。いくつかの実施形態では、特定のゲートウェイマシンがもはやハートビートメッセージをあらゆるトンネルで受信しない場合、特定のゲートウェイマシン上のロジックは、そのトンネルの接続性が失われ、他のVMはそうではないと判定する。
[00241] 図23は、SR3 2130をホストするゲートウェイマシン上のMFE2145における、完全なトンネルの障害の結果を概念的に示す。示すように、MFE2145は、このMFEから他のゲートウェイマシンへのトンネルとホストマシンとがダウンする(点線によって示される)ように停止する。結果として、同一のPLRに属す(アクティブ-アクティブモードで構成された)他のSRは、フェイルオーバー処理を開始して、停止したSR2130のサウスバウンドインタフェースのIPアドレスを引き継ぐ。
[00242] いくつかの実施形態では、次に高いランクを付与された、まだ生きているSRが、停止したSRのサウスバウンドインタフェースのIPアドレスと、停止したSRが以前に引き継いだIPアドレスとを引き継ぐ責務を有する。従って、図23は、SR2125のためのVMがSR2及びSR3として現在振る舞っていることを示している。論理ネットワークがノースバウンドパケットをECMP原理を用いてフォワードすると想定した場合、ホストマシン2150-2155は、SR2120-2130がゲートウェイ2110上のVMに属す(例えばそのVMのMACアドレスに属す)論理ルータに対する、全てのノースバウンドトラフィックの3分の2をルーティングしなければならない。これは、SR2及びSR3の両方のIPアドレスへフォワードされるパケットは、そのMACへルーティングされるからである。
[00243] ゲートウェイ2110上のVMがSR3 2130のIPアドレスを引き継ぐために、VMは、このIPアドレスに対するGARPメッセージ(及び、他の場合には引き継ぐ全てのIPアドレス)を、DR及びSR2120-2130が接続する通過論理スイッチへ送信する。いくつかの実施形態では、メッセージが受信されたことをより確実にするために、VMは複数のGARPメッセージを送信する。MFE2140は、これらのGARPメッセージを受信し、MFE2135(SR1 2120への配送のため)と、様々なホスト2150-2155におけるMFE(DRが、古いSR2のIPとMACアドレスのマッピングがARPキャッシュから削除されたことを知るため)とへ、GARPメッセージを送信する。
[00244] アクティブ-スタンバイモードにおける2つのSRの場合(SRがTLR、又はステートフルサービスが構成されたPLRに属す場合)には、いくつかの実施形態では、サウスバウンドインタフェースはIPアドレスを共有するが、異なるMACアドレスを有する。スタンバイSRを有するゲートウェイマシンからのトンネルが停止した場合、いくつかの実施形態では、管理プレーンは新たなスタンバイSRを開始させない。しかしながら、アクティブSRを有するゲートウェイマシンからのトンネルが停止した場合、スタンバイのVMは(アクティブなSRからハートビートメッセージが受信されないので)その障害を識別し、そして、停止したSRのMACアドレスへのサウスバウンドのIPアドレスのマッピングを、ホストマシンのMFEにおけるDR用のARPテーブルから削除するために(これらのMFEが古いアクティブSRよりむしろ新たなアクティブSRへパケットをルーティングするために)、GARPメッセージを生成する。いくつかの実施形態では、ホストマシン上のトンネリングプロトコルレイヤ(例えばVXLANレイヤ)もまた新たなMACアドレスのためのMAC:VTEPマッピングを学習する。最後に、スタンバイ(現在はアクティブ)VMがPLRのためのSRとして動作する場合、物理外部ルータへ経路のアドバタイズメントを開始する。更に、いくつかの実施形態では、停止したトンネルを有するゲートウェイマシンは、自身のBGPプロセスが経路のアドバタイズを継続することを停止させる。
[00245] 3.部分的なトンネルの障害
[00246] 部分的なトンネルの障害は、ゲートウェイマシンとデータセンタ内の他のマシンとの間のいくつかのトンネルのみがダウンした場合に生じる。これは、特定のゲートウェイマシンへのトンネルを有するマシンの1つにおける(1つのトンネルの消失の結果として生じる)完全な障害、そのトンネルのいくつかのダウンの結果として生じる特定のゲートウェイマシンにおける条件、等によるものであり得る。ここで説明されるのは、特定のゲートウェイマシンにおける条件がそのトンネルのサブセットが停止した結果として生じる場合である。結果として、(i)ユーザVMを有するホストマシンにおけるいくつかのMFEは、特定のゲートウェイマシンへのトンネルを失い、(ii)いくつかの他のゲートウェイマシンは、特定のゲートウェイマシンへのトンネルを失い、そして(iii) 特定のゲートウェイマシンは、他のゲートウェイマシンへのトンネルを失う。
[00247] 特定のゲートウェイマシンへのトンネルを失ったホストマシンにおけるMFEは、ホストマシンの観点からこれは単に到達できないゲートウェイであるため、完全なトンネルの障害の場合と同一の方法でこれを扱う。そういうものとして、ホストマシン上のデータパス又はシャーシコントローラは、次ホップのIPアドレスとしての特定のゲートウェイマシン上のSRを用いる影響を受けた経路を、DRのFIBから自動的に削除する。
[00248] 言及したように、部分的なトンネルの障害は、様々な異なるシナリオの結果として生じ得る。例えば、いくつかの場合、ゲートウェイマシンは、いくつかのホストマシンのMFEによって到達可能であり得るが、それ自身のピアによっては到達可能ではない。例として、図13を参照すると、ゲートウェイマシン1330に、ホストマシン1305‐1320によって到達可能であるが、ゲートウェイ1335及び1340によっては到達可能でない。この場合、ゲートウェイマシン1330上のローカルのシャーシコントローラは、両方のゲートウェイマシン1335及び1340上で動作しているPLRのSRを引き継ぐ。更に、ゲートウェイマシン1335(又は、ランキングに応じて、マシン1340)が、ゲートウェイマシン1330上で動作するSRを引き継ぐ。これは、ゲートウェイマシン上で動作するDRが、第1のゲートウェイマシン1330上でホストされるSRのサウスバウンドのIPアドレスに対するARPリクエストを送信した場合、(ゲートウェイマシンの全てに到達することができる)MFEのいくつかが複数のゲートウェイマシンから返信を受信する結果をもたらす。SRがアクティブ-アクティブ構成(ステートフルサービスを有しない)である限り、これは正当性問題を生じさせない。しかしながら、アクティブ-スタンバイ構成の場合には、SRの両方が今やアクティブであることを意味し得、これはトラフィックの途絶問題を引き起こし得る。
[00249] 特定のゲートウェイマシンにおいて、ホストマシンのいくつかへのトンネルがダウンするが、ピアのゲートウェイマシンは到達可能のままである場合、部分的なトンネルの障害は、アクティブ-スタンバイモードにおいても問題を生じ得る。この場合、SR間のトンネルが機能しているため、フェイルオーバーは発生しない。アクティブ-アクティブモードでは、ホストマシン(又はローカルシャーシコントローラ)におけるデータパスは、問題なく依然として動作しているトンネルを介してトラフィックをフォワードするための決定を行うことができる。しかしながら、アクティブ-スタンバイモードでは、アクティブなSRへのトンネルがダウンしている場合、MFEは、パケットを処理しないスタンバイのSRへパケットを送信する。同様に、アクティブ-アクティブ及びアクティブ-スタンバイ構成の両方において、ゲートウェイマシンは、物理ルータからのサウスバウンドトラフィックを通過させることができず、従っていくつかの実施形態ではブラックホールされる。
[00250] 4. vNICへの物理ルータのダウン
[00251] いくつかの実施形態では、SRが動作する各VMは、物理ルータにパケットを送信しそこから受信するMFEと接続(SRがPLRに属す場合)するための第1のvNIC、そのピアへハートビートメッセージを送信する第2のvNIC、及び、論理ネットワークにパケットを送信しそこから受信する第3のvNICとを用いる。いくつかの実施形態では、いくつか又は全てのこれらのvNICは同一であり得る。例えば、SRは、ハートビートメッセージを送信し、物理ルータと通信し、又はハートビートメッセージを送信し且つ論理ネットワークと通信するために、同一のvNICを用いる。
[00252] 何等かの理由により、VMが(物理ルータとの)第1のvNICを失った場合、いくつかの実施形態では、SRはハートビートメッセージの送信を停止する。そういうものとして、一度、PLRのための他のSRをホストするそのピアのVMが、SRからのハートビートメッセージが停止したことを検出すると、これらは、VMがクラッシュしたように、サブセクション1において上述したように、フェイルオーバーのアクションを行う。VMが(ハートビートメッセージのための)第2のvNICを失った場合、ピアのVMは、ハートビートメッセージが来ないことを検出し、停止したSRのIPアドレスの制御をとるための同一のフェイルオーバーのアクションを行う。最後に、VMが(論理ネットワークのトラフィックのための)第3のvNICを失った場合、ハートビートメッセージにおいて状況が示され、ピアが同一のフェイルオーバーの手続きをとることができる。
[00253] 5.BGP セッションダウン
[00254] いくつかの場合、(例えばゲートウェイマシン上のMSRプロセスがクラッシュするために)SRのためのBGPセッションがダウンする。BGPプロセスのために適切な再スタートが可能である場合、適切な再スタートのために設定されたタイムアウト期間以内にセッションが再確立される限り、フェイルオーバーのアクションをとる必要はない。MSRプロセス(又は他のBGPモジュール)がいつダウンしたかを検出できるようにするため、いくつかの実施形態は、たとえ状態が変化しなかったとしても、定期的にBGPセッションの全ての状態をリフレッシュするためのプロセスを必要とする。
[00255] 一方、適切な再スタートが可能でない、又は再スタートのためのタイムアウト期間が経過した場合、ゲートウェイマシンは、SRがもはや機能性を有していないことを示すためにハートビートメッセージを用いる(例えば、ハートビートメッセージを停止することにより)。ピアのSRの観点から、BGP機能を有しないSRはダウンしたものとして扱われ、上記フェイルオーバーの手順が適用される。
[00256] C.フェイルオーバー処理
[00257] 図24は、ピアSRのファイオーバーの場合にSRによって実行される処理2400を概念的に示す。様々な実施形態では、この処理は、(VM又はDPDKベースのデータパス内のVRFのいずれかのための)SRのゲートウェイマシン上で動作するローカルコントロールプレーン、SR自身(エッジVMとして実施される場合)、又はデータパス(DPDKベースのデータパス内のVRFとして実施される場合)のいずれかによって実行され得る。すなわち、処理の実施は異なる種別で異なり得るが、処理2400の動作はSRの説明された両方の種別に適合する。
[00258] 図示するように、処理2400はピアのSRが停止したことを判定する(2405において)ことによって開始する。前のサブセクションにおいて示すように、SRは様々な理由、異なる許容能力で停止し得る。例えば、論理ネットワークの通信を可能にするデータセンタ内のトンネル接続性がダウンし、外部の物理ネットワークと通信するSRの能力が利用不可能になり、SRを実施するVMがクラッシュし(SRがそのようなものとして実施される場合)、データパスがクラッシュし、SRをホストするゲートウェイマシンの全体がクラッシュしたり、等する。いくつかの場合(例えばゲートウェイマシンからのトンネル接続性の全てがダウンし、データパスがクラッシュする、等)には、ゲートウェイマシン上のSRの全てが停止したものと考慮され、これらの様々なピアが処理2400又は類似の処理を実行することが理解されるべきである。
[00259] ピアSRが停止したと判定された場合、処理2400は(2410において)停止したピアを引き継ぐかを判定する。例えば、停止したピアがアクティブ-スタンバイ構成においてスタンバイSRである場合、アクティブSRは何らアクションをとる必要はない。更に、アクティブ-アクティブ構成については、1つのピアSRのみが停止したSRを引き継ぐ必要がある。上述したように、停止した特定のSRをどのSRが引き継ぐかは、SRの生成時に管理プレーンによって割り当てられるランクに基づいて予め定められる。
[00260] SRが停止したSRを引き継ぐ責務が無い場合、処理は終了する。そうでない場合、処理は(2415において)、現在は責務を有する停止したピアによって所有される、サウスバウンドIPアドレスを識別する。アクティブ-アクティブでは、アクティブ-スタンバイモードと比較して異なる状況であり得る。特に、アクティブ-スタンバイモードでは、2つのSRがサウスバウンドインタフェース上のIPアドレスを共有するため、SRは単純に自身のIPアドレスでの動作を引き継ぐ。アクティブ-アクティブモードでは、全てのSRが異なるサウスバウンドのIPアドレスを有する。この場合、引き継ぐ側のSRは現在、停止したSRの元々割り当てられていたIPアドレスと、停止したSRが以前に引き継いだ責務(他のピアSRの障害による)についての、任意の追加的なサウスバウンドインタフェースのIPアドレスとに対する責務を有する。
[00261] サウスバウンドインタフェースの各IPアドレスについて、処理2400は(2420において)、SRと、これらの論理ルータのDRと接続する通過論理スイッチへ1つ以上のGARP返信メッセージを送信する。GARPメッセージは、SRの自身のサウスバウンドのMACアドレスを、現在サウスバウンドのIPアドレスと関連付けられている、又は動作2415において識別された複数のIPアドレスとして識別する。これは、識別されたIPアドレスへルーティングされるパケットを停止した送信先へ送信することを避けるため、通過論理スイッチ上の他の構成要素がこれらのARPキャッシュをクリアできるようにする。データセンタの至るところにある多数のゲートウェイマシンとホストマシン上で実施されたDRについては、様々なMFE上のARPキャッシュがクリアできるように、GARP返信がこれらの多数のマシンにブロードキャストされる。
[00262] この処理は、処理を実行するSR(又は、そのローカルコントローラシャーシが処理を実行するマシン上のSR)が以前にTLRのスタンバイSRであったかを(2425において)判定する。処理2400は単に概念的なものであり、いくつかの実施形態において動作2425が、全てのTLRのスタンバイSR上でデフォルトで実施されるものであり、そして、特別な判定を行う必要がないことが理解されるべきである。停止したSRが、アクティブ-スタンバイ構成においてアクティブなSRであった場合、スタンバイSRは、以前には停止したSRへ送信されていたサウスバウンドのトラフィックを引き込む責務を有する。
[00263] 従って、SRが正式にTLRのスタンバイSRであった場合、処理2400は(2430において)、(いくつかの実施形態では、TLRのみが1つのアップリンクを許可されるので)共有する、停止したピアのノースバウンドのIPアドレスを識別する。処理は、次に(2430において)、SRをPLRのDRと接続する通過論理スイッチへ1つ以上のGARP返信メッセージを送信する。GARPメッセージは、SRの自身のノースバウンドのMACアドレスを、TLRに対して構成されたアップリンクのIPアドレスと現在関連付けられているものとして識別する。これは、PLRのDRがARPキャッシュをクリアできるようにする(より具体的には、データセンタにわたってこのDRを実施する様々なMFEがそれらのARPキャッシュをクリアできるようにする)。その後処理は終了する。
[00264] 処理を実行するSRがTLRのスタンバイSRでない場合、処理は(2440において)、SRが以前にPLRのスタンバイSRであったかを判定する。再び、いくつかの実施形態では、SR又は処理2400を実行するローカルコントローラシャーシによる特別な判定は現になされない、ことが理解されるべきである。このSRがPLRのためのスタンバイSRであった場合、SRは、その外部物理ルータへのプレフィックスのアドバタイズを(2445において)開始する。アクティブ-アクティブの場合には、SRは、ECMPトラフィックを引き込むために、既にこれらのプレフィックスをアドバタイズしている。しかしながら、アクティブ-スタンバイ構成の場合、スタンバイはプレフィックスをアドバタイズせず、代わりに外部ルータからの経路を受信するだけである。しかしながら、サウスバウンドトラフィックを引き込むために、新たなアクティブ(以前はスタンバイ)SRはプレフィックスのアドバタイズを開始する。その後処理は終了する。
[00265] VII.電子システム
[00266] 上述の多くの特徴及び適用例は、コンピュータで読み出し可能な記録媒体(コンピュータで読み出し可能な媒体としても参照される)上に記録された命令の組として特定されるソフトウェア処理として実施され得る。これらのプログラムの命令が1つ以上の処理ユニットによって実行される場合(例えば、1つ以上のプロセッサ、プロセッサのコア、又は他の処理ユニット)、これらのプログラムの命令は、命令に示されているアクションを(複数の)処理ユニットに実行させる。コンピュータで読み出し可能なメディアの例は、これに限定されないが、CD-ROM、フラッシュドライブ、RAMチップ、ハードドライブ、EPROM等を含む。コンピュータで読み出し可能なメディアは、キャリア波及び、無線又は有線接続を通過する電子信号を含まない。
[00267] 本明細書では、「ソフトウェア」の語は、読出専用メモリにあるファームウェア、又は磁気記録に格納されたアプリケーションを含み、プロセッサによる処理のためにメモリに読み込むことができる。また、いくつかの実施形態では、複数のソフトウェア発明は、個別のソフトウェア発明を維持する一方で、より大きなプログラムのサブ部分として実施されてもよい。いくつかの実施形態では、複数のソフトウェア発明はまた、個別のプログラムとして実施されてもよい。最後に、ここで説明されるソフトウェア発明をともに実施する個別のプログラムの任意の組み合わせは、発明の範囲内である。いくつかの実施形態では、ソフトウェアプログラムが、1以上の電子システムを動作させるためにインストールされる場合、1以上の特定の機械的実施を定義し、ソフトウェアプログラムの動作を実行する。
[00268] 図25は、本発明のいくつかの実施形態が実施される電子システム2500を概念的に示す。電子システム2500は、上述した任意のコントロール、仮想化、又はオペレーティングシステムアプリケーションを実行するために用いることができる。電子システム2500は、コンピュータ(例えば、デスクトップコンピュータ、パーソナルコンピュータ、タブレットコンピュータ、サーバコンピュータ、メインフレーム、ブレードコンピュータ等)、電話、PDA、又は任意の他の種類の電子デバイスであり得る。そのような電子システムは、様々な種別のコンピュータで読み出し可能なメディア、及び様々な他の種別のコンピュータで読み出し可能なメディアに対するインタフェースを含む。電子システム2500は、バス2505、処理ユニット2510、システムメモリ2525、読出専用メモリ2530、永続的ストレージデバイス2535、入力デバイス2540、及び出力デバイス2545を含む。
[00269] バス2505は、電子システム2500の多くの内部デバイスを通信可能に接続する、全てのシステムバス、周辺バス、及びチップセットバスを集約的に表す。例えば、バス2505は、処理ユニット2510を、読出専用メモリ2530、システムメモリ2525、及び永続的ストレージデバイス2535に通信可能に接続する。
[00270] 処理ユニット2510は、本発明の処理を実行するために、これらの様々なメモリユニットから実行する命令及び処理するデータを検索する。処理ユニットは、異なる実施形態において単一のプロセッサ又はマルチコアプロセッサであり得る。
[00271] 読出専用メモリ(ROM)2530は、処理ユニット2510及び電子システムの他のモジュールによって必要とされる静的データ及び命令を記録する。永続的ストレージデバイス2535は、一方で、読出・書込メモリデバイスである。このデバイスは、電子システム2500がオフの場合であっても命令及びデータを記録する不揮発性メモリユニットである。本発明のいくつかの実施形態は、(磁気又は光学ディスク、及び対応するディスクドライブなどの)マスストレージデバイスを永続的ストレージデバイス2535として用いる。
[00272] 他の実施形態は、(フロッピーディスク、フラッシュドライブ等のような)取り外し可能なストレージデバイスを永続的ストレージデバイスとして用いる。永続的ストレージデバイス2535のように、システムメモリ2525は、読出・書込メモリデバイスである。しかしながら、ストレージデバイス2535とは異なり、システムメモリは、ランダムアクセスメモリのような揮発性の読出・書込メモリである。システムメモリは、プロセッサがランタイムにおいて必要とする、いくつかの又は全ての命令及びデータを格納し得る。いくつかの実施形態では、本発明の処理は、システムメモリ2525、永続的ストレージデバイス2535、及び/又は読出専用メモリ2530に記録される。処理ユニット2510は、いくつかの実施形態の処理を実行するために、これらの様々なメモリユニットから実行する命令及び処理するデータを検索する。
[00273] バス2505はまた、入力デバイス2540と出力デバイス2545に接続する。入力デバイスは、ユーザが情報を通信し、電子システムへのコマンドを選択できるようにする。入力デバイス2540は、アルファベット表記のキーボードとポインティングデバイス(「カーソル制御デバイス」ともいわれる)とを含む。出力デバイス2545は、電子システムによって生成された画像を表示する。出力デバイスはプリンタ、真空管(CRT)又は液晶ディスプレイ(LCD)などの表示デバイスを含む。いくつかの実施形態は、入力及び出力デバイスの両方として機能するタッチスクリーンのようなデバイスを含む。
[00274] 最後に、図25に示すように、バス2505はまた、電子システム2500をネットワークアダプタ(不図示)を介してネットワーク2565に接続する。このようにして、コンピュータは、(ローカルエリアネットワーク(「LAN」)、ワイドエリアネットワーク(「WAN」)、イントラネット、インターネットなどのネットワークのネットワーク、などのコンピュータのネットワークの一部になることができる。電子システム2500の任意又は全ての構成要素は、本発明に関連して用いられ得る。
[00275] いくつかの実施形態は、マイクロプロセッサ、コンピュータプログラムの命令を機械で読み出し可能な又はコンピュータで読み出し可能な媒体(或いはコンピュータで読み出し可能なストレージメディア、機械で読み出し可能な媒体、又は機械で読み出し可能なストレージメディアとして参照される)に格納した、ストレージ及びメモリのような電子構成要素を含む。コンピュータで読み出し可能な媒体のいくつかの例は、RAM、ROM、読出専用コンパクトディスク(CD-ROM)、記録可能コンパクトディスク(CD-R)、再書込可能コンパクトディスク(CD-RW)、読出専用デジタル多用途ディスク(例えばDVD-ROM、デュアルレイヤDVD-ROM)、様々な記録可能/再書込可能DVD(DVD-RAM、DVD-RW、DVD+RW等)、フラッシュメモリ(例えばSDカード、ミニSDカード、マイクロSDカード等)、磁気及び/又はソリッドステートハードドライブ、読出専用及び記録可能Blu-Ray(登録商標)ディスク、超高密度光ディスク、任意の他の光又は磁気メディア、及びフロッピーディスクを含む。コンピュータで読み出し可能な媒体は、少なくとも1つの処理ユニットによって実行可能であり、様々な動作を実行するための命令の組を含む、コンピュータプログラムを記録する。コンピュータプログラム又はコンピュータコードの例は、コンパイラによって生成されたような機械コードと、コンピュータ、電子構成要素、又はインタプリタを用いるマイクロプロセッサによって実行される、より高レベルなコードを含んだファイルとを含む。
[00267] 上述の説明は、ソフトウェアを実行するマイクロプロセッサ又はマルチコアプロセッサを主に参照したが、いくつかの実施形態は、特定用途向け集積回路(ASIC)又はフィールドプログラマブルゲートアレイ(FPGA)のような、1つ以上の集積回路によって実行される。ある実施形態では、そのような集積回路は回路自体に格納された命令を実行する。
[00277] 本明細書において使用されるように、「コンピュータ」、「サーバ」、「プロセッサ」及び「メモリ」の語は、全て電子的又は他の技術的デバイスを参照する。これらの語は、人及び人のグループを含まない。本明細書の目的のため、表示及び表示するのは電子デバイス上に表示することを意味する。本明細書において使用されるように、「コンピュータで読み出し可能な媒体」、「コンピュータで読み出し可能なメディア」及び「機械で読み出し可能な媒体」の語は、全体として、コンピュータによって読み出し可能な形式の情報を記録する、有体物、物理的なオブジェクトに制限される。これらの語は、任意の無線信号、有線でダウンロードされた信号、及び任意の他のその場限りの信号を含まない。
[00278] 本明細書は、終始、仮想マシン(VM)を含む、計算環境及びネットワーク環境を参照している。しかしながら、仮想マシンは単なるデータ計算ノード(DCN)又はデータ計算エンドノードの一例であり、アドレス可能なノードとしても参照される。DCNは、非仮想化物理ホスト、仮想マシン、ハイパーバイザや別のオペレーティングシステムを必要とすること無くホストオペレーティングシステム上で動作するコンテナ、及びハイパーバイザカーネルネットワークインタフェースモジュールを含み得る。
[00279] いくつかの実施形態では、VMは、仮想化ソフトウェア(例えばハイパーバイザ、仮想マシンモニタ等)によって仮想化されたホストのリソースを用いて、ホスト上の自身のゲストオペレーティングシステムとともに動作する。テナント(すなわちVMのオーナー)は、どのアプリケーションをゲストオペレーティングシステム上で動作させるか選択することができる。一方、いくつかのコンテナは、ハイパーバイザ又は別のゲストオペレーティングシステムを必要とせずに、ホストオペレーティングシステム上で動作する構成物である。いくつかの実施形態では、ホストオペレーティングシステムはネームスペースを使用して、コンテナを互いに個別化し、従って、異なるコンテナ内で動作するアプリケーションの異なるグループの、オペレーティングシステムレベルのセグメンテーションを提供する。このセグメンテーションは、システムハードウェアを仮想化するハイパーバイザ仮想化環境で提供されるVMセグメンテーションと類似し、従って、異なるコンテナ内で動作するアプリケーションの異なるグループを個別化する、仮想化の形式としてみることができる。このようなコンテナはVMより軽量である。
[00280] いくつかの実施形態では、ハイパーバイザ・カーネル・ネットワーク・インタフェース・モジュールは、ハイパーバイザ・カーネル・ネットワーク・インタフェースを有するネットワークスタックと受信/送信スレッドを含む、非VM・DCNである。ハイパーバイザ・カーネル・ネットワーク・インタフェース・モジュールの一例は、VMware社のESXi(商標登録)ハイパーバイザの一部であるvmknicモジュールである。
[00281] 本明細書はVMを参照したが、所与の例は、物理ホスト、VM、非VMコンテナ、及びハイパーバイザ・カーネル・ネットワーク・インタフェース・モジュールを含む、任意の種別のDCNであってよい。事実、ネットワークの例は、いくつかの実施形態では異なる種別のDCNの組み合わせを含んでよい。
[00282] 本発明は多数の特定の詳細を参照して説明されたが、当業者は、本発明が発明の思想から離れることのない他の特定の形式で実施可能であることを認識する。加えて、多数の図(図11、12及び14を含む)は処理を概念的に示すものである。これらの処理の特定の動作は、図示及び説明された正確な順序で実行されないかもしれない。特定の動作は、1つの連続する動作の流れで実行されないかもしれず、異なる特定の動作が異なる実施形態において実行され得る。更に、処理はいくつかの副処理(sub-process)を用いて、又は大きなマクロ処理の部分として実施され得る。従って、当業者は、発明が上述の詳細に限定されず、むしろ添付の請求項の範囲によって定義されることを理解する。

Claims (25)

  1. 論理ネットワークにおける論理ルータのゲートウェイ構成要素を定義する方法であって、前記方法は、
    前記論理ルータの少なくとも2つの集中化ゲートウェイ構成要素を定義して、前記集中化ゲートウェイ構成要素のそれぞれを異なるゲートウェイコンピューティングデバイスに割り当てることであって、前記集中化ゲートウェイ構成要素は、前記論理ネットワークと、前記論理ネットワークの外部のネットワークとの間のトラフィックを処理する、ことと、
    第1のゲートウェイコンピューティングデバイスに割り当てられた、前記集中化ゲートウェイ構成要素のうちの第1の集中化ゲートウェイ構成要素に対して、(i)前記論理ネットワークから受信したトラフィックの第1の組を前記外部のネットワークにフォワードする、前記第1の集中化ゲートウェイ構成要素のための第1のインタフェースと、(ii)前記論理ネットワークから受信したトラフィックの第2の組を、第2のゲートウェイコンピューティングデバイスに割り当てられた、前記集中化ゲートウェイ構成要素のうちの第2の集中化ゲートウェイ構成要素にフォワードする、前記第1の集中化ゲートウェイ構成要素のための第2のインタフェースと、を定義することとを含む、方法。
  2. 請求項1に記載の方法であって、前記第1の集中化ゲートウェイ構成要素は、トラフィックの前記第1の組に対するサービスの第1の組と、トラフィックの前記第2の組に対する異なるサービスの第2の組を実行する、方法。
  3. 請求項1に記載の方法であって、前記第1の集中化ゲートウェイ構成要素と前記第2の集中化ゲートウェイ構成要素とは前記外部のネットワークへの異なる接続性を有する、方法。
  4. 請求項1に記載の方法であって、前記第2の集中化ゲートウェイ構成要素は、トラフィックの前記第2の組を前記外部のネットワークにフォワードする、方法。
  5. 請求項1に記載の方法であって、前記第1のゲートウェイコンピューティングデバイスは、トラフィックの前記第2の組を前記第2のゲートウェイコンピューティングデバイスにトンネルする、方法。
  6. 請求項1に記載の方法であって、更に、前記第1のゲートウェイコンピューティングデバイスが前記第1の集中化ゲートウェイ構成要素を実行するように構成し、前記第2のゲートウェイコンピューティングデバイスが前記第2の集中化ゲートウェイ構成要素を実行するように構成することを含む、方法。
  7. 請求項1に記載の方法であって、更に、論理ルータのための構成を受信することを含み、前記構成は、少なくとも2つのアップリンクインタフェースを特定し、前記集中化ゲートウェイ構成要素のために定義された前記第1のインタフェースは、前記第1の集中化ゲートウェイ構成要素に割り当てられた、前記アップリンクインタフェースのうちの第1のアップリンクインタフェースに対応し、前記集中化ゲートウェイ構成要素のために定義された前記第2のインタフェースは、前記第2の集中化ゲートウェイ構成要素に割り当てられた、前記アップリンクインタフェースのうちの第2のアップリンクインタフェースに対応する、方法。
  8. 請求項1に記載の方法であって、更に、前記第2の集中化ゲートウェイ構成要素に対して、(i)前記論理ネットワークから受信したトラフィックの第3の組を前記外部のネットワークにフォワードする、前記第2の集中化ゲートウェイ構成要素のための第3のインタフェースと、(ii)前記論理ネットワークから受信したトラフィックの第4の組を、前記第1の集中化ゲートウェイ構成要素にフォワードする、前記第2の集中化ゲートウェイ構成要素のための第4のインタフェースと、を定義することを含み、
    前記第1の集中化ゲートウェイ構成要素は、トラフィックの前記第1の組に対するサービスの第1の組と、トラフィックの前記第2の組に対する異なるサービスの第2の組を実行し、
    前記第2の集中化ゲートウェイ構成要素は、トラフィックの前記第4の組に対するサービスの前記第1の組と、トラフィックの前記第3の組に対するサービスの前記第2の組を実行する、方法。
  9. 請求項1に記載の方法であって、更に、
    (i)前記第1のゲートウェイコンピューティングデバイス及び前記第2のゲートウェイコンピューティングデバイスと、(ii)前記論理ネットワークに接続されたデータ計算ノードも動作する複数のコンピューティングデバイスとを含むコンピューティングデバイスの組上で動作する複数の管理対象フォワーディング要素による実施のために、前記論理ルータの分散化ルーティング構成要素を定義することと、
    前記論理ルータの前記分散化ルーティング構成要素と論理的にトラフィックを交換するための、前記第1の集中化ゲートウェイ構成要素のための第3のインタフェースを定義することと、を含む方法。
  10. 請求項1に記載の方法であって、更に、前記第1のゲートウェイコンピューティングデバイス上の前記第1の集中化ゲートウェイ構成要素を前記外部のネットワークと動的ルーティング情報を交換するように構成することであって、動的ルーティング情報の前記交換を介して前記第1の集中化ゲートウェイ構成要素によって学習された経路は、前記第1の集中化ゲートウェイ構成要素のルーティングテーブルに組み込まれ、宛先アドレスの第1の組を有するデータトラフィックが前記第1のインタフェースを介して出力されるように特定する、方法。
  11. 請求項10に記載の方法であって、前記第2のゲートウェイコンピューティングデバイス上の前記第2の集中化ゲートウェイ構成要素も、前記外部のネットワークと動的ルーティング情報を交換し、動的ルーティング情報の前記交換を介して前記第2の集中化ゲートウェイ構成要素によって学習された経路は、前記第2の集中化ゲートウェイ構成要素の前記ルーティングテーブルに組み込まれ、宛先アドレスの第2の組を有するデータメッセージが前記第2のインタフェースを介して出力されるように特定する、方法。
  12. 請求項10に記載の方法であって、
    前記第1の集中化ゲートウェイ構成要素は、集中化ネットワークコントローラへ前記学習された経路を渡し、
    前記集中化ネットワークコントローラは、前記論理ルータの分散化ルーティング構成要素のルーティングテーブルに前記学習された経路を組み込む、方法。
  13. 論理ルータのゲートウェイ構成要素を定義する方法であって、前記方法は、
    前記論理ルータのために構成される複数のアップリンクのそれぞれについて、前記アップリンクを異なるゲートウェイマシンに割り当てることと、
    前記アップリンクのうちの第1のアップリンクに対して、前記第1のアップリンクが割り当てられた第1のゲートウェイコンピューティングデバイス上での実施のために、前記論理ルータの第1の集中化ゲートウェイ構成要素を定義することと、
    前記第1のアップリンクに従って構成される前記第1の集中化ゲートウェイ構成要素のための第1のローカルインタフェースを定義することであって、前記第1の集中化ゲートウェイ構成要素のための前記第1のローカルインタフェースは、前記論理ルータの前記実施より外部のネットワークへトラフィックをフォワードする、ことと、
    第2のアップリンクに従って構成される前記第1の集中化ゲートウェイ構成要素のための第2のインタフェースを定義することであって、前記第2のインタフェースは、第2の集中化ゲートウェイ構成要素が前記外部のネットワークへ前記トラフィックをフォワードするように、前記第2のアップリンク構成に従って処理されるトラフィックを、第2のゲートウェイコンピューティングデバイス上で実施される前記第2の集中化ゲートウェイ構成要素へリダイレクトする、こととを含む方法。
  14. 請求項13に記載の方法であって、更に、前記第1の集中化ゲートウェイ構成要素を、前記外部のネットワークと動的ルーティング情報を交換するように構成することを含み、前記動的ルーティング情報の前記交換を介して前記第1の集中化ゲートウェイ構成要素によって学習された経路は、前記第1の集中化ゲートウェイ構成要素のルーティングテーブルに組み込まれる、方法。
  15. 請求項14に記載の方法であって、前記第2の集中化ゲートウェイ構成要素も、前記外部のネットワークと動的ルーティング情報を交換し、前記第2の集中化ゲートウェイ構成要素によって学習された経路は、前記第1の集中化ゲートウェイ構成要素の前記ルーティングテーブルに組み込まれる、方法。
  16. 請求項15に記載の方法であって、前記第1の集中化ゲートウェイ構成要素によって学習された経路は、前記第1の集中化ゲートウェイ構成要素の前記ルーティングテーブルにおいて、前記第2の集中化ゲートウェイ構成要素によって学習された経路より短い管理上の距離を有する、方法。
  17. 請求項15に記載の方法であって、前記第1の集中化ゲートウェイ構成要素によって学習された経路は、前記第1の集中化ゲートウェイ構成要素によって、前記第2の集中化ゲートウェイ構成要素によって学習された経路よりも選択される、方法。
  18. 請求項13に記載の方法であって、更に、複数のコンピューティングデバイスにおける複数の管理フォワーディング要素による実施のために、前記論理ルータの分散化ルーティング構成要素を定義することを含み、前記複数のコンピューティングデバイスは、前記アップリンクが割り当てられる、少なくとも前記ゲートウェイコンピューティングデバイスを含む、方法。
  19. 請求項18に記載の方法であって、前記第1の集中化ゲートウェイ構成要素は、動的ルーティングプロトコルを用いて前記外部のネットワークからルーティング情報を学習し、前記分散化ルーティング構成要素のルーティングテーブルへの組み込みのために前記ルーティング情報を提供する、方法。
  20. 請求項19に記載の方法であって、
    前記第1の集中化ゲートウェイ構成要素は、前記分散化ルーティング構成要素の前記ルーティングテーブルへの組み込みのために、集中化ネットワークコントローラへ前記学習された経路を渡し、
    前記集中化ネットワークコントローラは、前記ルーティングテーブルを、前記分散化ルーティング構成要素を実施する前記複数のコンピューティングデバイスに分配する、方法。
  21. 請求項18に記載の方法であって、更に、前記第1の集中化ゲートウェイ構成要素のための第3のインタフェースを定義することを含み、前記第1の集中化ゲートウェイ構成要素のための前記第3のインタフェースは、前記分散化ルーティング構成要素とトラフィックを交換する、方法。
  22. 請求項13に記載の方法であって、更に、
    前記アップリンクのうちの第2のアップリンクに対して、前記第2のアップリンクが割り当てられる前記第2のゲートウェイコンピューティングデバイス上での実施のために、前記論理ルータの前記第2の集中化ゲートウェイ構成要素を定義することと、
    前記第2のアップリンクに従って構成される前記第2の集中化ゲートウェイ構成要素のための第1のローカルインタフェースを定義することであって、前記第2の集中化ゲートウェイ構成要素のための前記第1のローカルインタフェースは、前記外部のネットワークへトラフィックをフォワードする、ことと、
    前記第1のアップリンクに従って構成される前記第2の集中化ゲートウェイ構成要素のための第2のインタフェースを定義することであって、前記第2のインタフェースは、第1の集中化ゲートウェイ構成要素が前記外部のネットワークへ前記トラフィックをフォワードするように、前記第1のアップリンク構成に従って処理されるトラフィックを、前記第1の集中化ゲートウェイ構成要素へリダイレクトする、こととを含む方法。
  23. 請求項13に記載の方法であって、前記第1のアップリンクと前記第2のアップリンクは、(i)構成された異なるサービスポリシ及び(ii)前記外部のネットワークへの異なるL3接続性、の少なくとも1つを有する、方法。
  24. 少なくとも1つの処理ユニットで実行されると、請求項1から23のいずれか1項に記載の方法を実施するコンピュータプログラム。
  25. コンピューティングデバイスであって、
    処理ユニットの組と、
    前記処理ユニットの少なくとも1つによって実施されると、請求項1から23のいずれか1項に記載の方法を実施するプログラムを格納する機械可読媒体と、を含むコンピューティングデバイス。
JP2022159673A 2015-01-30 2022-10-03 複数のルーティング構成要素を用いる論理ルータ Active JP7417826B2 (ja)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US201562110061P 2015-01-30 2015-01-30
US62/110,061 2015-01-30
US14/814,477 2015-07-30
US14/814,469 US10079779B2 (en) 2015-01-30 2015-07-30 Implementing logical router uplinks
US14/814,473 US9787605B2 (en) 2015-01-30 2015-07-30 Logical router with multiple routing components
US14/814,473 2015-07-30
US14/814,477 US10129180B2 (en) 2015-01-30 2015-07-30 Transit logical switch within logical router
US14/814,469 2015-07-30
JP2017540615A JP6908525B2 (ja) 2015-01-30 2016-01-29 複数のルーティング構成要素を用いる論理ルータ
JP2021110161A JP7153774B2 (ja) 2015-01-30 2021-07-01 複数のルーティング構成要素を用いる論理ルータ

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021110161A Division JP7153774B2 (ja) 2015-01-30 2021-07-01 複数のルーティング構成要素を用いる論理ルータ

Publications (2)

Publication Number Publication Date
JP2022191323A JP2022191323A (ja) 2022-12-27
JP7417826B2 true JP7417826B2 (ja) 2024-01-19

Family

ID=56553456

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017540615A Active JP6908525B2 (ja) 2015-01-30 2016-01-29 複数のルーティング構成要素を用いる論理ルータ
JP2021110161A Active JP7153774B2 (ja) 2015-01-30 2021-07-01 複数のルーティング構成要素を用いる論理ルータ
JP2022159673A Active JP7417826B2 (ja) 2015-01-30 2022-10-03 複数のルーティング構成要素を用いる論理ルータ

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2017540615A Active JP6908525B2 (ja) 2015-01-30 2016-01-29 複数のルーティング構成要素を用いる論理ルータ
JP2021110161A Active JP7153774B2 (ja) 2015-01-30 2021-07-01 複数のルーティング構成要素を用いる論理ルータ

Country Status (7)

Country Link
US (24) US10129180B2 (ja)
EP (4) EP3654592B1 (ja)
JP (3) JP6908525B2 (ja)
CN (6) CN107210959B (ja)
AU (5) AU2016211222B2 (ja)
CA (2) CA2974535C (ja)
WO (4) WO2016123550A1 (ja)

Families Citing this family (211)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8560634B2 (en) * 2007-10-17 2013-10-15 Dispersive Networks, Inc. Apparatus, systems and methods utilizing dispersive networking
US9882713B1 (en) 2013-01-30 2018-01-30 vIPtela Inc. Method and system for key generation, distribution and management
US10348767B1 (en) * 2013-02-26 2019-07-09 Zentera Systems, Inc. Cloud over IP session layer network
US9225638B2 (en) 2013-05-09 2015-12-29 Vmware, Inc. Method and system for service switching using service tags
US10142254B1 (en) 2013-09-16 2018-11-27 Cisco Technology, Inc. Service chaining based on labels in control and forwarding
US10033693B2 (en) 2013-10-01 2018-07-24 Nicira, Inc. Distributed identity-based firewalls
US9785455B2 (en) 2013-10-13 2017-10-10 Nicira, Inc. Logical router
JP6510167B2 (ja) * 2013-10-30 2019-05-08 京セラ株式会社 通信装置、通信システム、通信制御方法、及び通信制御プログラム
US9467478B1 (en) 2013-12-18 2016-10-11 vIPtela Inc. Overlay management protocol for secure routing based on an overlay network
US9419855B2 (en) 2014-03-14 2016-08-16 Nicira, Inc. Static routes for logical routers
US9647883B2 (en) 2014-03-21 2017-05-09 Nicria, Inc. Multiple levels of logical routers
US9893988B2 (en) 2014-03-27 2018-02-13 Nicira, Inc. Address resolution using multiple designated instances of a logical router
US10270699B2 (en) * 2014-07-28 2019-04-23 Telefonaktiebolaget Lm Ericsson (Publ) Automated flow devolvement in an aggregate flow environment
US9935827B2 (en) 2014-09-30 2018-04-03 Nicira, Inc. Method and apparatus for distributing load among a plurality of service nodes
US11296930B2 (en) 2014-09-30 2022-04-05 Nicira, Inc. Tunnel-enabled elastic service model
US10250443B2 (en) 2014-09-30 2019-04-02 Nicira, Inc. Using physical location to modify behavior of a distributed virtual network element
US10135737B2 (en) 2014-09-30 2018-11-20 Nicira, Inc. Distributed load balancing systems
US10511458B2 (en) 2014-09-30 2019-12-17 Nicira, Inc. Virtual distributed bridging
US9971397B2 (en) 2014-10-08 2018-05-15 Apple Inc. Methods and apparatus for managing power with an inter-processor communication link between independently operable processors
US11533255B2 (en) 2014-11-14 2022-12-20 Nicira, Inc. Stateful services on stateless clustered edge
US10129180B2 (en) 2015-01-30 2018-11-13 Nicira, Inc. Transit logical switch within logical router
US10609091B2 (en) 2015-04-03 2020-03-31 Nicira, Inc. Method, apparatus, and system for implementing a content switch
IL238690B (en) 2015-05-07 2019-07-31 Mellanox Technologies Ltd Network-based computational accelerator
US9971624B2 (en) 2015-05-17 2018-05-15 Nicira, Inc. Logical processing for containers
US10243848B2 (en) 2015-06-27 2019-03-26 Nicira, Inc. Provisioning logical entities in a multi-datacenter environment
US10225184B2 (en) 2015-06-30 2019-03-05 Nicira, Inc. Redirecting traffic in a virtual distributed router environment
US10129142B2 (en) 2015-08-11 2018-11-13 Nicira, Inc. Route configuration for logical router
US10075363B2 (en) 2015-08-31 2018-09-11 Nicira, Inc. Authorization for advertised routes among logical routers
US9923818B2 (en) * 2015-09-14 2018-03-20 Citrix Systems, Inc. Systems and methods of achieving equal distribution of packets in a multicore system which acts as a tunnel end point
US10498624B2 (en) * 2015-10-05 2019-12-03 Unisys Corporation Systems and methods for adaptive router failover in Linux-based computing systems
US10095535B2 (en) 2015-10-31 2018-10-09 Nicira, Inc. Static route types for logical routers
US10078527B2 (en) 2015-11-01 2018-09-18 Nicira, Inc. Securing a managed forwarding element that operates within a data compute node
US10324746B2 (en) 2015-11-03 2019-06-18 Nicira, Inc. Extended context delivery for context-based authorization
US10063469B2 (en) 2015-12-16 2018-08-28 Nicira, Inc. Forwarding element implementation for containers
US9980303B2 (en) 2015-12-18 2018-05-22 Cisco Technology, Inc. Establishing a private network using multi-uplink capable network devices
KR101835315B1 (ko) * 2016-03-07 2018-03-08 주식회사 윈스 Ips 스위치 장치 및 처리 방법
US10063457B2 (en) * 2016-03-29 2018-08-28 Juniper Networks, Inc. Method, system, and apparatus for improving forwarding capabilities during route convergence
EP3437259B1 (en) * 2016-03-31 2024-06-19 Alibaba Group Holding Limited Interworking between physical network and virtual network
US10243916B2 (en) * 2016-04-07 2019-03-26 Cisco Technology, Inc. Control plane based technique for handling multi-destination traffic in overlay networks
US10469343B2 (en) 2016-05-04 2019-11-05 Telefonaktiebolaget Lm Ericsson (Publ) Path continuity determination in an aggregate flow environment
US10153973B2 (en) 2016-06-29 2018-12-11 Nicira, Inc. Installation of routing tables for logical router in route server mode
US10554549B1 (en) * 2016-08-05 2020-02-04 Cisco Technology, Inc. DCI stitching for data center overlays
WO2018044341A1 (en) 2016-08-27 2018-03-08 Nicira, Inc. Extension of network control system into public cloud
US10193749B2 (en) 2016-08-27 2019-01-29 Nicira, Inc. Managed forwarding element executing in public cloud data compute node without overlay network
CN106341402B (zh) * 2016-08-30 2019-11-12 中国民生银行股份有限公司 基于多架构分布式缓存的处理方法和装置
US10454758B2 (en) 2016-08-31 2019-10-22 Nicira, Inc. Edge node cluster network redundancy and fast convergence using an underlay anycast VTEP IP
US10341236B2 (en) 2016-09-30 2019-07-02 Nicira, Inc. Anycast edge service gateways
US10104177B2 (en) * 2016-09-30 2018-10-16 Hughes Network Systems, Llc Distributed gateways with centralized data center for high throughput satellite (HTS) spot beam network
US11303701B2 (en) 2016-12-11 2022-04-12 Nicira Inc. Handling failure at logical routers
US10742746B2 (en) 2016-12-21 2020-08-11 Nicira, Inc. Bypassing a load balancer in a return path of network traffic
US10802857B2 (en) 2016-12-22 2020-10-13 Nicira, Inc. Collecting and processing contextual attributes on a host
CN108259325B (zh) * 2016-12-29 2021-07-30 中国电信股份有限公司 路由维护方法和路由设备
US9912739B1 (en) * 2017-01-12 2018-03-06 Red Hat Israel, Ltd. Open virtualized multitenant network scheme servicing virtual machine and container based connectivity
US10756966B2 (en) 2017-02-22 2020-08-25 Cisco Technology, Inc. Containerized software architecture for configuration management on network devices
US10447581B2 (en) 2017-02-28 2019-10-15 Nicira, Inc. Failure handling at logical routers according to a non-preemptive mode
CN106685835B (zh) * 2017-03-06 2019-06-28 无锡华云数据技术服务有限公司 一种在数据中心的计算节点间实现高速分布式路由的方法
CN108667637B (zh) * 2017-03-28 2020-11-06 比亚迪股份有限公司 基于轨道交通的远程测试方法、网关和系统
US10757005B2 (en) 2017-04-09 2020-08-25 Barefoot Networks, Inc. Execution of packet-specified actions at forwarding element
US11093284B2 (en) * 2017-05-12 2021-08-17 Xilinx, Inc. Data processing system
US11146508B2 (en) * 2017-05-12 2021-10-12 Xilinx, Inc. Data processing system
US10659352B2 (en) 2017-05-31 2020-05-19 Juniper Networks, Inc. Signaling private context forwarding tables for a private forwarding layer
US10389635B2 (en) 2017-05-31 2019-08-20 Juniper Networks, Inc. Advertising selected fabric paths for service routes in virtual nodes
US10382333B2 (en) * 2017-05-31 2019-08-13 Juniper Networks, Inc. Fabric path context-based forwarding for virtual nodes
US10476817B2 (en) 2017-05-31 2019-11-12 Juniper Networks, Inc. Transport LSP setup using selected fabric path between virtual nodes
US10432523B2 (en) 2017-05-31 2019-10-01 Juniper Networks, Inc. Routing protocol signaling of multiple next hops and their relationship
WO2018229745A1 (en) * 2017-06-16 2018-12-20 Drivenets Ltd. Parallel information processing on multi-core computing platforms
CN107241459B (zh) * 2017-06-26 2020-08-04 睿哲科技股份有限公司 一种基于IPv6实现云平台IP地址复用的装置及操作方法
US10587434B2 (en) 2017-07-14 2020-03-10 Nicira, Inc. In-band management interface with user space datapath
US10432513B2 (en) * 2017-07-14 2019-10-01 Nicira, Inc. Asymmetric network elements sharing an anycast address
EP3656099B1 (en) 2017-07-17 2022-12-28 Nicira Inc. Distributed multicast logical router
US20190036770A1 (en) * 2017-07-31 2019-01-31 Cisco Technology, Inc. Network route provisioning
US10951584B2 (en) 2017-07-31 2021-03-16 Nicira, Inc. Methods for active-active stateful network service cluster
US11570092B2 (en) 2017-07-31 2023-01-31 Nicira, Inc. Methods for active-active stateful network service cluster
US11296984B2 (en) 2017-07-31 2022-04-05 Nicira, Inc. Use of hypervisor for active-active stateful network service cluster
CN109391650B (zh) * 2017-08-04 2020-09-29 华为技术有限公司 一种建立会话的方法及装置
US10810033B2 (en) * 2017-08-11 2020-10-20 International Business Machines Corporation Propagating external route changes into a cloud network
US10567482B2 (en) 2017-08-24 2020-02-18 Nicira, Inc. Accessing endpoints in logical networks and public cloud service providers native networks using a single network interface and a single routing table
EP3673627B1 (en) * 2017-08-27 2023-09-13 Nicira, Inc. Performing in-line service in public cloud
US10277420B2 (en) * 2017-08-28 2019-04-30 Michael Emory Mazarick System and method for providing private instances of shared resources using VxLAN
US10511546B2 (en) 2017-09-29 2019-12-17 Juniper Networks, Inc. Connecting virtual nodes in a network device using abstract fabric interfaces
US11502948B2 (en) 2017-10-16 2022-11-15 Mellanox Technologies, Ltd. Computational accelerator for storage operations
US11005771B2 (en) 2017-10-16 2021-05-11 Mellanox Technologies, Ltd. Computational accelerator for packet payload operations
US10581798B2 (en) * 2017-10-27 2020-03-03 At&T Intellectual Property I, L.P. Network based distribution for compute resource and application accessibility
US10805181B2 (en) 2017-10-29 2020-10-13 Nicira, Inc. Service operation chaining
US10841243B2 (en) * 2017-11-08 2020-11-17 Mellanox Technologies, Ltd. NIC with programmable pipeline
US10374827B2 (en) * 2017-11-14 2019-08-06 Nicira, Inc. Identifier that maps to different networks at different datacenters
US10511459B2 (en) 2017-11-14 2019-12-17 Nicira, Inc. Selection of managed forwarding element for bridge spanning multiple datacenters
US11012420B2 (en) 2017-11-15 2021-05-18 Nicira, Inc. Third-party service chaining using packet encapsulation in a flow-based forwarding element
US10778506B1 (en) 2017-11-30 2020-09-15 Open Invention Network Llc Coordinated switch of activity in virtual network function components
CN111095880B (zh) * 2017-12-04 2022-02-22 Nicira股份有限公司 用于公共云逻辑网络的方法、设备、系统和可读介质
US10708240B2 (en) 2017-12-14 2020-07-07 Mellanox Technologies, Ltd. Offloading communication security operations to a network interface controller
CN108156034B (zh) * 2017-12-22 2021-10-01 武汉噢易云计算股份有限公司 一种基于深度神经网络辅助的报文转发方法和报文转发系统
US11201940B2 (en) * 2018-01-04 2021-12-14 Intel Corporation Technologies for flow rule aware exact match cache compression
CN108345502A (zh) * 2018-01-15 2018-07-31 中兴飞流信息科技有限公司 基于dpdk的资源调度方法、装置、终端设备及可读存储介质
US10659252B2 (en) 2018-01-26 2020-05-19 Nicira, Inc Specifying and utilizing paths through a network
US10848461B2 (en) * 2018-01-26 2020-11-24 Nicira, Inc. Unified security policies across virtual private clouds with overlapping IP address blocks
US10797910B2 (en) 2018-01-26 2020-10-06 Nicira, Inc. Specifying and utilizing paths through a network
CN108418798B (zh) * 2018-02-01 2020-10-30 烽火通信科技股份有限公司 一种bfd慢协商实现系统及实现方法
US10791092B2 (en) * 2018-02-14 2020-09-29 Nicira, Inc. Firewall rules with expression matching
US11153122B2 (en) * 2018-02-19 2021-10-19 Nicira, Inc. Providing stateful services deployed in redundant gateways connected to asymmetric network
US10728174B2 (en) 2018-03-27 2020-07-28 Nicira, Inc. Incorporating layer 2 service between two interfaces of gateway device
US10805192B2 (en) 2018-03-27 2020-10-13 Nicira, Inc. Detecting failure of layer 2 service using broadcast messages
US11792307B2 (en) 2018-03-28 2023-10-17 Apple Inc. Methods and apparatus for single entity buffer pool management
CN108650295A (zh) * 2018-03-30 2018-10-12 深圳市风云实业有限公司 协议报文跨层通信方法装置及电子设备
US10332235B1 (en) 2018-05-01 2019-06-25 At&T Intellectual Property I, L.P. Direct memory access for graphics processing unit packet processing
US11388222B2 (en) * 2018-05-04 2022-07-12 Verizon Patent And Licensing Inc. Mobile edge computing
CN110535813B (zh) * 2018-05-25 2022-04-22 网宿科技股份有限公司 内核态协议栈与用户态协议栈并存处理方法和装置
US11343229B2 (en) 2018-06-28 2022-05-24 Vmware, Inc. Managed forwarding element detecting invalid packet addresses
US11418382B2 (en) * 2018-07-17 2022-08-16 Vmware, Inc. Method of cooperative active-standby failover between logical routers based on health of attached services
ES2962210T3 (es) * 2018-07-26 2024-03-18 Drivenets Ltd Una plataforma que comprende una pluralidad de entidades de enrutamiento
US10530634B1 (en) * 2018-07-27 2020-01-07 Vmware, Inc. Two-channel-based high-availability
TWI819072B (zh) * 2018-08-23 2023-10-21 美商阿爾克斯股份有限公司 在網路運算環境中用於避免環路衝突的系統、非暫態電腦可讀取儲存媒體及電腦實現方法
US10846224B2 (en) 2018-08-24 2020-11-24 Apple Inc. Methods and apparatus for control of a jointly shared memory-mapped region
EP4243367A3 (en) 2018-08-24 2023-11-15 VMware, Inc. Intelligent use of peering in public cloud
US11196591B2 (en) 2018-08-24 2021-12-07 Vmware, Inc. Centralized overlay gateway in public cloud
US11374794B2 (en) 2018-08-24 2022-06-28 Vmware, Inc. Transitive routing in public cloud
CN112673596B (zh) * 2018-09-02 2023-05-02 Vm维尔股份有限公司 逻辑网关处的服务插入方法、设备和系统
US10944673B2 (en) 2018-09-02 2021-03-09 Vmware, Inc. Redirection of data messages at logical network gateway
US11595250B2 (en) 2018-09-02 2023-02-28 Vmware, Inc. Service insertion at logical network gateway
US11044337B2 (en) * 2018-09-12 2021-06-22 International Business Machines Corporation Runtime localized messages for cloud services
CN113542128B (zh) * 2018-10-12 2023-03-31 华为技术有限公司 一种发送路由信息的方法和装置
CN111131044B (zh) * 2018-10-30 2021-10-22 华为技术有限公司 路由管理方法和装置
US10795840B2 (en) 2018-11-12 2020-10-06 At&T Intellectual Property I, L.P. Persistent kernel for graphics processing unit direct memory access network packet processing
US10931560B2 (en) 2018-11-23 2021-02-23 Vmware, Inc. Using route type to determine routing protocol behavior
KR20210095890A (ko) * 2018-11-26 2021-08-03 아르쿠스 인크. 세분화된 네트워크 엘리먼트를 포함하는 로직 라우터
US10824469B2 (en) 2018-11-28 2020-11-03 Mellanox Technologies, Ltd. Reordering avoidance for flows during transition between slow-path handling and fast-path handling
US10797998B2 (en) 2018-12-05 2020-10-06 Vmware, Inc. Route server for distributed routers using hierarchical routing protocol
US10938788B2 (en) 2018-12-12 2021-03-02 Vmware, Inc. Static routes for policy-based VPN
US11240160B2 (en) 2018-12-28 2022-02-01 Alibaba Group Holding Limited Method, apparatus, and computer-readable storage medium for network control
KR102097999B1 (ko) * 2018-12-28 2020-04-07 주식회사 아라드네트웍스 가상 라우터를 이용한 IP in IP 통신 시스템
US11042397B2 (en) 2019-02-22 2021-06-22 Vmware, Inc. Providing services with guest VM mobility
JP7207006B2 (ja) * 2019-02-25 2023-01-18 日本電信電話株式会社 ネットワーク管理装置、方法及びプログラム
US11258729B2 (en) * 2019-02-27 2022-02-22 Vmware, Inc. Deploying a software defined networking (SDN) solution on a host using a single active uplink
EP3703341A1 (en) * 2019-02-28 2020-09-02 Rohde & Schwarz GmbH & Co. KG System for analyzing and interpreting at least one data stream as well as method of automatic configuration of a system
US11456967B2 (en) * 2019-03-04 2022-09-27 Arris Enterprises Llc System and method for increasing flexibility and high availability in remote network devices
US11184439B2 (en) 2019-04-01 2021-11-23 Mellanox Technologies, Ltd. Communication with accelerator via RDMA-based network adapter
CN110290174B (zh) * 2019-05-24 2021-02-05 华为技术有限公司 一种主主集群的控制方法以及控制节点
US11218559B2 (en) 2019-05-28 2022-01-04 Red Hat, Inc. Asymmetric networking proxy
US10992515B1 (en) * 2019-06-10 2021-04-27 Cisco Technology, Inc. Link state tracking for virtual interfaces
US10979352B2 (en) 2019-06-14 2021-04-13 Vmware, Inc. Using a control plane to set a preferred egress point in multi-site logical routers
US11533259B2 (en) * 2019-07-24 2022-12-20 Vmware, Inc. Building a platform to scale control and data plane for virtual network functions
US11177978B2 (en) 2019-07-29 2021-11-16 Vmware, Inc. Connecting virtual computer networks with overlapping IP addresses using transit virtual computer network
CN111181871B (zh) * 2019-08-02 2022-03-25 腾讯科技(深圳)有限公司 一种报文传输的方法及相关装置
US11411843B2 (en) * 2019-08-14 2022-08-09 Verizon Patent And Licensing Inc. Method and system for packet inspection in virtual network service chains
US11159343B2 (en) * 2019-08-30 2021-10-26 Vmware, Inc. Configuring traffic optimization using distributed edge services
CN112506674B (zh) * 2019-09-16 2024-02-02 北京华耀科技有限公司 Linux系统下用户态TCP/IP协议栈与本地应用通信的系统及方法
US11829303B2 (en) 2019-09-26 2023-11-28 Apple Inc. Methods and apparatus for device driver operation in non-kernel space
US11558348B2 (en) 2019-09-26 2023-01-17 Apple Inc. Methods and apparatus for emerging use case support in user space networking
US11140218B2 (en) 2019-10-30 2021-10-05 Vmware, Inc. Distributed service chain across multiple clouds
US11283717B2 (en) 2019-10-30 2022-03-22 Vmware, Inc. Distributed fault tolerant service chain
CN110784364B (zh) * 2019-11-07 2022-08-05 北京博睿宏远数据科技股份有限公司 一种数据监测方法、装置、存储介质及终端
CN110995581B (zh) * 2019-12-19 2022-07-19 锐捷网络股份有限公司 一种防止路由黑洞的方法、装置、电子设备及存储介质
US11539718B2 (en) 2020-01-10 2022-12-27 Vmware, Inc. Efficiently performing intrusion detection
US11223494B2 (en) 2020-01-13 2022-01-11 Vmware, Inc. Service insertion for multicast traffic at boundary
US11411777B2 (en) 2020-01-14 2022-08-09 Vmware, Inc. Port mapping for bonded interfaces of ECMP group
CN117221214A (zh) 2020-01-14 2023-12-12 Vm维尔股份有限公司 在物理和逻辑网络之间提供有状态服务的透明隔离区
US11240154B2 (en) * 2020-01-14 2022-02-01 Cisco Technology, Inc. Dynamic hardware forwarding pipeline compression
US11659061B2 (en) 2020-01-20 2023-05-23 Vmware, Inc. Method of adjusting service function chains to improve network performance
US11153406B2 (en) 2020-01-20 2021-10-19 Vmware, Inc. Method of network performance visualization of service function chains
CN115380514B (zh) 2020-04-01 2024-03-01 威睿有限责任公司 为异构计算元件自动部署网络元件
US11088902B1 (en) 2020-04-06 2021-08-10 Vmware, Inc. Synchronization of logical network state between global and local managers
US11777793B2 (en) 2020-04-06 2023-10-03 Vmware, Inc. Location criteria for security groups
US11258713B2 (en) 2020-04-06 2022-02-22 Vmware, Inc. Policy-based proximity routing
US11799726B2 (en) 2020-04-06 2023-10-24 Vmware, Inc. Multi-site security groups
US11212356B2 (en) 2020-04-06 2021-12-28 Vmware, Inc. Providing services at the edge of a network using selected virtual tunnel interfaces
US11088919B1 (en) 2020-04-06 2021-08-10 Vmware, Inc. Data structure for defining multi-site logical network
US11303557B2 (en) 2020-04-06 2022-04-12 Vmware, Inc. Tunnel endpoint group records for inter-datacenter traffic
CN111585979B (zh) * 2020-04-22 2020-12-18 广州锦行网络科技有限公司 一种基于网络映射的复杂多构网络隔离技术实现方法
CN111563281B (zh) * 2020-04-30 2023-10-27 北京中科晶上科技股份有限公司 一种支持多种加解密算法的处理器及其实现方法
CN113630310B (zh) * 2020-05-06 2024-02-02 北京农信数智科技有限公司 一种分布式高可用网关系统
CN113691410B (zh) * 2020-05-19 2023-05-12 花瓣云科技有限公司 网络性能数据的获取方法、装置和服务器
US11121956B1 (en) * 2020-05-22 2021-09-14 Arista Networks, Inc. Methods and systems for optimizing bidirectional forwarding detection in hardware
US11606302B2 (en) 2020-06-12 2023-03-14 Apple Inc. Methods and apparatus for flow-based batching and processing
EP4173237A1 (en) 2020-06-24 2023-05-03 Juniper Networks, Inc. Layer-2 network extension over layer-3 network using layer-2 metadata
US11848980B2 (en) * 2020-07-09 2023-12-19 Boray Data Technology Co. Ltd. Distributed pipeline configuration in a distributed computing system
US11606294B2 (en) 2020-07-16 2023-03-14 Vmware, Inc. Host computer configured to facilitate distributed SNAT service
US11616755B2 (en) 2020-07-16 2023-03-28 Vmware, Inc. Facilitating distributed SNAT service
US11362863B2 (en) 2020-07-21 2022-06-14 Vmware, Inc. Handling packets travelling from logical service routers (SRs) for active-active stateful service insertion
US11108728B1 (en) * 2020-07-24 2021-08-31 Vmware, Inc. Fast distribution of port identifiers for rule processing
US11611613B2 (en) 2020-07-24 2023-03-21 Vmware, Inc. Policy-based forwarding to a load balancer of a load balancing cluster
US11451413B2 (en) 2020-07-28 2022-09-20 Vmware, Inc. Method for advertising availability of distributed gateway service and machines at host computer
US11902050B2 (en) 2020-07-28 2024-02-13 VMware LLC Method for providing distributed gateway service at host computer
US11803408B2 (en) 2020-07-29 2023-10-31 Vmware, Inc. Distributed network plugin agents for container networking
IL276538B2 (en) 2020-08-05 2023-08-01 Mellanox Technologies Ltd A cryptographic device for data communication
CN114095153A (zh) 2020-08-05 2022-02-25 迈络思科技有限公司 密码数据通信装置
US11671359B2 (en) * 2020-08-07 2023-06-06 Telia Company Ab Methods and apparatuses in a network comprising a plurality of switch devices
US11775359B2 (en) 2020-09-11 2023-10-03 Apple Inc. Methods and apparatuses for cross-layer processing
US11954540B2 (en) 2020-09-14 2024-04-09 Apple Inc. Methods and apparatus for thread-level execution in non-kernel space
US11799986B2 (en) 2020-09-22 2023-10-24 Apple Inc. Methods and apparatus for thread level execution in non-kernel space
US11601474B2 (en) 2020-09-28 2023-03-07 Vmware, Inc. Network virtualization infrastructure with divided user responsibilities
CN112202640B (zh) * 2020-09-30 2022-02-22 中国工商银行股份有限公司 应用于容器云平台的监控方法和装置
US11734043B2 (en) 2020-12-15 2023-08-22 Vmware, Inc. Providing stateful services in a scalable manner for machines executing on host computers
US11611625B2 (en) 2020-12-15 2023-03-21 Vmware, Inc. Providing stateful services in a scalable manner for machines executing on host computers
US11736413B2 (en) * 2021-01-15 2023-08-22 Vmware, Inc. Programmable virtual network interface controller (VNIC)
US11934658B2 (en) 2021-03-25 2024-03-19 Mellanox Technologies, Ltd. Enhanced storage protocol emulation in a peripheral device
CN113132382B (zh) * 2021-04-19 2022-09-02 中文出版集团有限公司 一种智能计算机网络信息安全控制器
US11477270B1 (en) * 2021-07-06 2022-10-18 Vmware, Inc. Seamless hand-off of data traffic in public cloud environments
US11909637B2 (en) * 2021-07-14 2024-02-20 VMware LLC Orchestration of tenant overlay network constructs
US11824780B2 (en) 2021-07-22 2023-11-21 Vmware, Inc. Managing tunnel interface selection between gateways in a computing environment
US11876719B2 (en) 2021-07-26 2024-01-16 Apple Inc. Systems and methods for managing transmission control protocol (TCP) acknowledgements
US11882051B2 (en) 2021-07-26 2024-01-23 Apple Inc. Systems and methods for managing transmission control protocol (TCP) acknowledgements
US11949604B2 (en) 2021-10-06 2024-04-02 Inernational Business Machines Corporation Integrated network switch operation
US11916879B2 (en) * 2022-01-03 2024-02-27 VMware LLC Performing firewall operations by sharing metadata between firewall processes
US11799761B2 (en) 2022-01-07 2023-10-24 Vmware, Inc. Scaling edge services with minimal disruption
US11962564B2 (en) 2022-02-15 2024-04-16 VMware LLC Anycast address for network address translation at edge
CN114827017B (zh) * 2022-03-31 2024-01-30 北京声智科技有限公司 Kafka集群的通信方法、装置、电子设备和存储介质
US11956164B2 (en) * 2022-04-29 2024-04-09 Hewlett Packard Enterprise Development Lp Remote management of a switch stack
US12107722B2 (en) 2022-07-20 2024-10-01 VMware LLC Sharing network manager between multiple tenants
WO2024076337A1 (en) * 2022-10-03 2024-04-11 Zeku, Inc. Apparatus and method for adaptive activation/deactivation of an uplink layer 2 datapath and hardware threads
US12117948B2 (en) 2022-10-31 2024-10-15 Mellanox Technologies, Ltd. Data processing unit with transparent root complex
US12007921B2 (en) 2022-11-02 2024-06-11 Mellanox Technologies, Ltd. Programmable user-defined peripheral-bus device implementation using data-plane accelerator (DPA)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050025179A1 (en) 2003-07-31 2005-02-03 Cisco Technology, Inc. Distributing and balancing traffic flow in a virtual gateway
CN1625153A (zh) 2003-12-01 2005-06-08 株式会社日立制作所 维持vr机密性的vrrp技术
JP2013131907A (ja) 2011-12-21 2013-07-04 Toyota Motor Corp 車両ネットワーク監視装置
US20130250951A1 (en) 2012-03-22 2013-09-26 Brocade Communications Systems, Inc. Overlay tunnel in a fabric switch

Family Cites Families (435)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE1068461B (ja) 1957-04-18 1959-11-05
DE1776914U (de) 1958-02-17 1958-11-06 Licentia Gmbh Befestigung des magnetankers am beweglichen schaltteil von elektromagneten, insbesondere bei schuetzen.
US3027260A (en) 1960-01-05 1962-03-27 Procter & Gamble Mayonnaise
JPH06501118A (ja) 1990-09-17 1994-01-27 ケーブルトロン・システムス・インコーポレーテッド モデル準拠のインテリジェンスを使用するネットワーク管理システム
US5742760A (en) 1992-05-12 1998-04-21 Compaq Computer Corporation Network packet switch using shared memory for repeating and bridging packets at media rate
US5485455A (en) * 1994-01-28 1996-01-16 Cabletron Systems, Inc. Network having secure fast packet switching and guaranteed quality of service
SE9402059D0 (sv) 1994-06-13 1994-06-13 Ellemtel Utvecklings Ab Sätt och anordning vid telekommunikation
US5751967A (en) 1994-07-25 1998-05-12 Bay Networks Group, Inc. Method and apparatus for automatically configuring a network device to support a virtual network
US5550816A (en) 1994-12-29 1996-08-27 Storage Technology Corporation Method and apparatus for virtual switching
US6418324B1 (en) 1995-06-01 2002-07-09 Padcom, Incorporated Apparatus and method for transparent wireless communication between a remote device and host system
US5584295A (en) 1995-09-01 1996-12-17 Analogic Corporation System for measuring the period of a quasi-periodic signal
US6035105A (en) 1996-01-02 2000-03-07 Cisco Technology, Inc. Multiple VLAN architecture system
US6108304A (en) 1996-03-08 2000-08-22 Abe; Hajime Packet switching network, packet switching equipment, and network management equipment
US6085238A (en) * 1996-04-23 2000-07-04 Matsushita Electric Works, Ltd. Virtual LAN system
JPH09307587A (ja) 1996-05-09 1997-11-28 Fujitsu Ltd 交換機
US6456624B1 (en) 1997-10-29 2002-09-24 Enterasys Networks, Inc. Network address resolve blocker
US6446149B1 (en) 1998-03-03 2002-09-03 Compaq Information Technologies Group, L.P. Self-modifying synchronization memory address space and protocol for communication between multiple busmasters of a computer system
JP3609256B2 (ja) 1998-05-19 2005-01-12 株式会社日立製作所 ネットワーク管理装置,ノード装置及びネットワーク管理システム
US6424659B2 (en) 1998-07-17 2002-07-23 Network Equipment Technologies, Inc. Multi-layer switching apparatus and method
US6584102B1 (en) 1998-12-21 2003-06-24 At&T Corp. Communication network apparatus and method
US6950428B1 (en) 1998-12-30 2005-09-27 Hewlett-Packard Development Company, L.P. System and method for configuring adaptive sets of links between routers in a system area network (SAN)
US6636498B1 (en) 1999-01-08 2003-10-21 Cisco Technology, Inc. Mobile IP mobile router
JP2000244567A (ja) * 1999-02-23 2000-09-08 Hitachi Ltd ルータネットワーク管理方法
CN1310478C (zh) * 1999-02-23 2007-04-11 阿尔卡塔尔互联网运行公司 具有独立协议堆栈体系结构的多业务网络交换机
US6678274B1 (en) 1999-07-30 2004-01-13 Riverstone Networks, Inc. Method and system for managing forwarding tables
US6914907B1 (en) 1999-08-05 2005-07-05 Alcatel Canada Inc. Method and apparatus for providing multi-cast transmissions using a distributed router
US7020697B1 (en) 1999-10-01 2006-03-28 Accenture Llp Architectures for netcentric computing systems
US6963585B1 (en) 1999-10-21 2005-11-08 International Business Machines Corporation Method and system for establishing a virtual path capability in a frame relay network
US6687247B1 (en) * 1999-10-27 2004-02-03 Cisco Technology, Inc. Architecture for high speed class of service enabled linecard
US6680934B1 (en) 1999-12-02 2004-01-20 Nortel Networks Limited System, device and method for expediting control flow in a communication system
US6977924B1 (en) 1999-12-22 2005-12-20 Alcatel Control and distribution protocol for a portable router framework
US6904593B1 (en) * 2000-03-24 2005-06-07 Hewlett-Packard Development Company, L.P. Method of administering software components using asynchronous messaging in a multi-platform, multi-programming language environment
US8204082B2 (en) 2000-06-23 2012-06-19 Cloudshield Technologies, Inc. Transparent provisioning of services over a network
US20020093952A1 (en) 2000-06-30 2002-07-18 Gonda Rumi Sheryar Method for managing circuits in a multistage cross connect
US7389358B1 (en) 2000-09-13 2008-06-17 Fortinet, Inc. Distributed virtual system to support managed, network-based services
US6618397B1 (en) 2000-10-05 2003-09-09 Provisionpoint Communications, Llc. Group packet encapsulation and compression system and method
US7225270B2 (en) 2000-10-17 2007-05-29 Cisco Technology, Inc. Selective diversion and injection of communication traffic
US9639553B2 (en) 2000-11-02 2017-05-02 Oracle International Corporation TCP/UDP acceleration
JP4225681B2 (ja) 2000-12-06 2009-02-18 富士通株式会社 仮想閉域網構築方法及び装置並びに中継装置
US7260648B2 (en) 2001-01-25 2007-08-21 Ericsson, Inc. Extension of address resolution protocol (ARP) for internet protocol (IP) virtual networks
US6999454B1 (en) 2001-02-09 2006-02-14 Nortel Networks Limited Information routing system and apparatus
US6785843B1 (en) 2001-02-23 2004-08-31 Mcrae Andrew Data plane restart without state change in a control plane of an intermediate network node
US7107356B2 (en) 2001-03-07 2006-09-12 Lucent Technologies Inc. Translator for enabling logical partitioning of a network switch
US7069337B2 (en) 2001-03-20 2006-06-27 Mci, Inc. Policy-based synchronization of per-class resources between routers in a data network
US7209439B2 (en) 2001-03-20 2007-04-24 Mci, Llc Pool-based resource management in a data network
US7269157B2 (en) 2001-04-10 2007-09-11 Internap Network Services Corporation System and method to assure network service levels with intelligent routing
US7620363B2 (en) * 2001-05-16 2009-11-17 Aol Llc Proximity synchronization of audio content among multiple playback and storage devices
US7065482B2 (en) * 2001-05-17 2006-06-20 International Business Machines Corporation Internet traffic analysis tool
US7102996B1 (en) 2001-05-24 2006-09-05 F5 Networks, Inc. Method and system for scaling network traffic managers
US7483411B2 (en) 2001-06-04 2009-01-27 Nec Corporation Apparatus for public access mobility LAN and method of operation thereof
US7881208B1 (en) 2001-06-18 2011-02-01 Cisco Technology, Inc. Gateway load balancing protocol
US7126944B2 (en) 2001-07-05 2006-10-24 Intel Corporation Routing packets across multiple forwarding elements
US7630358B1 (en) 2001-07-09 2009-12-08 Sable Networks, Inc. Mechanism for implementing multiple logical routers within a single physical router
US7774440B1 (en) * 2001-07-25 2010-08-10 Scalable Network Technologies, Inc. Method and system for enhancing performance of a physical network under real-time control using simulation of a reference model
JP2003069609A (ja) 2001-08-23 2003-03-07 Fujitsu Ltd 仮想私設網サービスを提供するシステム
US7277383B2 (en) 2001-10-05 2007-10-02 Samsung Electronics Co., Ltd. Redundancy mechanization protocol for a massively parallel router
KR100450951B1 (ko) 2001-10-05 2004-10-06 삼성전자주식회사 대용량 평행 라우터용 리던던시 기계화 프로토콜
JP3879471B2 (ja) 2001-10-10 2007-02-14 株式会社日立製作所 計算機資源割当方法
US7194553B2 (en) 2001-10-16 2007-03-20 Microsoft Corporation Resolving virtual network names
US7200144B2 (en) 2001-10-18 2007-04-03 Qlogic, Corp. Router and methods using network addresses for virtualization
US7447197B2 (en) 2001-10-18 2008-11-04 Qlogic, Corporation System and method of providing network node services
US7133365B2 (en) 2001-11-02 2006-11-07 Internap Network Services Corporation System and method to provide routing control of information over networks
EP1331793A1 (en) 2002-01-24 2003-07-30 Alcatel Canada Inc. Method for distributing aggregate route information
US7801155B2 (en) 2002-03-01 2010-09-21 Verizon Business Global Llc Resource allocation in virtual routers
US6941487B1 (en) 2002-03-07 2005-09-06 Riverstone Networks, Inc. Method, system, and computer program product for providing failure protection in a network node
JP3904968B2 (ja) 2002-04-19 2007-04-11 日本電信電話株式会社 Vpnシステムおよびルータ
US7197572B2 (en) 2002-05-06 2007-03-27 Qlogic, Corporation System and method for implementing logical switches in a network system
US20030231632A1 (en) 2002-06-13 2003-12-18 International Business Machines Corporation Method and system for packet-level routing
US6907039B2 (en) 2002-07-20 2005-06-14 Redback Networks Inc. Method and apparatus for routing and forwarding between virtual routers within a single network element
JP3801129B2 (ja) * 2002-10-09 2006-07-26 日本電気株式会社 ルータパラメータ設定システム及びその方法
KR100463417B1 (ko) 2002-10-10 2004-12-23 한국전자통신연구원 상관함수의 최대값과 그의 후보값의 비를 이용한 피치검출 방법 및 그 장치
US20040073659A1 (en) 2002-10-15 2004-04-15 Carl Rajsic Method and apparatus for managing nodes in a network
US7181742B2 (en) * 2002-11-19 2007-02-20 Intel Corporation Allocation of packets and threads
US20040098505A1 (en) 2002-11-20 2004-05-20 Clemmensen Daniel G. Forwarding system with multiple logical sub-system functionality
US7224668B1 (en) 2002-11-27 2007-05-29 Cisco Technology, Inc. Control plane security and traffic flow management
JP3689083B2 (ja) * 2002-12-10 2005-08-31 株式会社東芝 ネットワークシステム及びノード装置
KR100542341B1 (ko) * 2003-02-19 2006-01-10 삼성전자주식회사 비쥐피 프로토콜을 분산 처리하는 장치 및 그 방법
US20040230659A1 (en) * 2003-03-12 2004-11-18 Chase Michael John Systems and methods of media messaging
US7783739B1 (en) 2003-03-21 2010-08-24 The United States Of America As Represented By The United States Department Of Energy High-speed and high-fidelity system and method for collecting network traffic
JP4157409B2 (ja) 2003-03-31 2008-10-01 富士通株式会社 仮想パス構築装置および仮想パス構築方法
US7283473B2 (en) 2003-04-10 2007-10-16 International Business Machines Corporation Apparatus, system and method for providing multiple logical channel adapters within a single physical channel adapter in a system area network
KR20060025135A (ko) 2003-04-21 2006-03-20 네트셀 코포레이션 재구성 가능한 데이터 경로를 갖는 디스크 어레이 제어기
US7792987B1 (en) 2003-04-21 2010-09-07 Juniper Networks, Inc. Supporting virtual private networks using a first network topology for forwarding and a subset of the first network topology or a smaller topology for signaling
US7710874B2 (en) 2003-06-04 2010-05-04 International Business Machines Corporation System and method for automatic management of many computer data processing system pipes
JP4278445B2 (ja) 2003-06-18 2009-06-17 株式会社日立製作所 ネットワークシステム及びスイッチ
US7356818B2 (en) 2003-06-24 2008-04-08 International Business Machines Corporation Virtual machine communicating to external device without going through other virtual machines by using a list of IP addresses managed only by a single virtual machine monitor
US7463579B2 (en) 2003-07-11 2008-12-09 Nortel Networks Limited Routed split multilink trunking
US20050018669A1 (en) 2003-07-25 2005-01-27 International Business Machines Corporation Infiniband subnet management queue pair emulation for multiple logical ports on a single physical port
US7697527B2 (en) 2003-07-30 2010-04-13 Nortel Networks Limited Method and apparatus for direct frame switching using frame contained destination information
US8776050B2 (en) 2003-08-20 2014-07-08 Oracle International Corporation Distributed virtual machine monitor for managing multiple virtual resources across multiple physical nodes
US7366181B2 (en) 2003-09-06 2008-04-29 Fujitsu Limited Virtual private network (VPN) with channelized ethernet over sonet (EoS) interface and method
US7342916B2 (en) 2003-09-10 2008-03-11 Intel Corporation Method, apparatus and system for optimizing routing of mobile IP packets
US20050074003A1 (en) * 2003-10-02 2005-04-07 Ball David Alexander Distributed software architecture for implementing BGP
JP2007507990A (ja) 2003-10-14 2007-03-29 ラプター・ネツトワークス・テクノロジー・インコーポレイテツド 分散スイッチング構造を備えるスイッチングシステム
US8009556B2 (en) 2003-10-17 2011-08-30 Ip Infusion, Inc. System and method for providing redundant routing capabilities for a network node
CN1282348C (zh) * 2003-10-29 2006-10-25 深圳市研祥智能科技股份有限公司 多功能宽带网关及其通信方法
US7555002B2 (en) 2003-11-06 2009-06-30 International Business Machines Corporation Infiniband general services queue pair virtualization for multiple logical ports on a single physical port
US8146148B2 (en) 2003-11-19 2012-03-27 Cisco Technology, Inc. Tunneled security groups
US8095640B2 (en) 2003-12-12 2012-01-10 Alcatel Lucent Distributed architecture for real-time flow measurement at the network domain level
US7450598B2 (en) 2003-12-15 2008-11-11 At&T Intellectual Property I, L.P. System and method to provision MPLS/VPN network
US7478173B1 (en) 2003-12-18 2009-01-13 Wmware, Inc. Method and system for sharing a network connection in a virtual computer system
US9032095B1 (en) * 2004-01-06 2015-05-12 Juniper Networks, Inc. Routing device having multiple logical routers
US7391771B2 (en) 2004-01-23 2008-06-24 Metro Packet Systems Inc. Method of sending information through a tree and ring topology of a network system
US7996631B1 (en) 2004-02-17 2011-08-09 Oracle America, Inc. System and method for accessing storage devices attached to a stateless client
CN101411156B (zh) 2004-05-12 2011-04-20 阿尔卡特朗讯 对网络入侵者的自动阻止
US8422500B2 (en) 2004-07-02 2013-04-16 Rockstar Consortium Us Lp VLAN support of differentiated services
US7787360B2 (en) 2004-07-23 2010-08-31 Cisco Technology, Inc. System and method for preserving multicast data forwarding during control failures in a router
ATE387050T1 (de) 2004-08-02 2008-03-15 Alcatel Lucent Gemeinsam genutzte ressourcen in einer multimanager-umgebung
US7706302B2 (en) 2004-09-14 2010-04-27 Alcatel Lucent Optimization of routing forwarding database in a network processor
US7512738B2 (en) 2004-09-30 2009-03-31 Intel Corporation Allocating call stack frame entries at different memory levels to functions in a program
GB2419703A (en) 2004-10-29 2006-05-03 Hewlett Packard Development Co Isolated virtual overlay infrastructures each having an interface to control interaction with others
US9014181B2 (en) 2004-11-01 2015-04-21 Alcatel Lucent Softrouter separate control network
US8068408B2 (en) 2004-11-01 2011-11-29 Alcatel Lucent Softrouter protocol disaggregation
US8458467B2 (en) 2005-06-21 2013-06-04 Cisco Technology, Inc. Method and apparatus for adaptive application message payload content transformation in a network infrastructure element
DE602004023338D1 (de) 2004-12-21 2009-11-05 Ericsson Telefon Ab L M Anordnung und verfahren in bezug auf den fluss von paketen in kommunikationssystemen
KR20070095374A (ko) 2004-12-31 2007-09-28 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 비연결형 통신 트래픽을 위한 연결형 통신 방법
JP4733399B2 (ja) 2005-01-28 2011-07-27 株式会社日立製作所 計算機システム、計算機、ストレージ装置及び管理端末
US7606231B2 (en) * 2005-02-18 2009-10-20 Broadcom Corporation Pipeline architecture for a network device
US8254285B2 (en) 2005-02-25 2012-08-28 Ip Infusion, Inc. Hardware abstraction layer
US7936770B1 (en) 2005-03-08 2011-05-03 Enterasys Networks, Inc. Method and apparatus of virtual class of service and logical queue representation through network traffic distribution over multiple port interfaces
US20060203774A1 (en) 2005-03-10 2006-09-14 Nokia Corporation System, method and apparatus for selecting a remote tunnel endpoint for accessing packet data services
US20070064673A1 (en) 2005-03-10 2007-03-22 Nehru Bhandaru Flexible, scalable, wireless data forwarding and mobility for secure wireless networks
FR2883437B1 (fr) 2005-03-16 2007-08-03 Wavestorm Sarl Dispositif et procede de communication dans un reseau
US7414975B2 (en) 2005-03-24 2008-08-19 Ixia Protocol stack
JP4016998B2 (ja) * 2005-06-22 2007-12-05 ヤマハ株式会社 通信装置およびプログラム
US7802000B1 (en) 2005-08-01 2010-09-21 Vmware Virtual network in server farm
US8149737B2 (en) 2005-08-09 2012-04-03 Motorola Solutions, Inc. Method and system for data transmission in a wireless network
US8799431B2 (en) 2005-08-15 2014-08-05 Toutvirtual Inc. Virtual systems management
US8204064B2 (en) 2005-09-16 2012-06-19 Acme Packet, Inc. Method and system of session media negotiation
US9009265B2 (en) * 2005-09-28 2015-04-14 Photobucket Corporation System and method for automatic transfer of data from one device to another
JP2007135109A (ja) 2005-11-11 2007-05-31 Hitachi Ltd 仮想ネットワーク管理方法、仮想ネットワーク管理プログラム、仮想ネットワーク管理システムおよび仮想ネットワーク管理手段
CA2631756A1 (en) * 2005-12-01 2007-06-07 Firestar Software, Inc. System and method for exchanging information among exchange applications
US8441919B2 (en) 2006-01-18 2013-05-14 Cisco Technology, Inc. Dynamic protection against failure of a head-end node of one or more TE-LSPs
US8620994B2 (en) * 2006-02-23 2013-12-31 Qualcomm Incorporated System and method for scheduling content updates in a content-based application
US7616585B1 (en) 2006-02-28 2009-11-10 Symantec Operating Corporation Preventing network micro-congestion using send pacing based on end-to-end bandwidth
US8838756B2 (en) 2009-07-27 2014-09-16 Vmware, Inc. Management and implementation of enclosed local networks in a virtual lab
US8619771B2 (en) 2009-09-30 2013-12-31 Vmware, Inc. Private allocated networks over shared communications infrastructure
US7839847B2 (en) 2006-05-08 2010-11-23 Cisco Technology, Inc. Methods and apparatus providing VPN traffic matrix construction
US7953089B1 (en) 2006-05-16 2011-05-31 Cisco Technology, Inc. Systems and methods for multicast switching in a private VLAN
US8060875B1 (en) 2006-05-26 2011-11-15 Vmware, Inc. System and method for multiple virtual teams
US7729347B2 (en) * 2006-05-31 2010-06-01 Zvi Rosberg Method and apparatus for fair flow control and congestion avoidance supporting multiple QoS class requirements
JP4714081B2 (ja) 2006-06-01 2011-06-29 アラクサラネットワークス株式会社 ネットワーク接続装置
US7706303B2 (en) 2006-06-26 2010-04-27 Cisco Technology, Inc. Port pooling
US7643482B2 (en) 2006-06-30 2010-01-05 Sun Microsystems, Inc. System and method for virtual switching in a host
US7916682B2 (en) 2006-07-14 2011-03-29 Symbol Technologies, Inc. Wireless switch network architecture implementing layer 3 mobility domains
EP1885088B1 (en) 2006-08-04 2008-12-17 Alcatel Lucent Routing device, routing module and routing method for an access network
US20080059556A1 (en) 2006-08-31 2008-03-06 Egenera, Inc. Providing virtual machine technology as an embedded layer within a processing platform
US7643488B2 (en) 2006-09-29 2010-01-05 Nortel Networks Limited Method and apparatus for supporting multiple customer provisioned IPSec VPNs
US7996835B2 (en) 2006-10-10 2011-08-09 International Business Machines Corporation System, method and program for managing communication with multiple configurations for virtual machine
US7792097B1 (en) 2006-10-25 2010-09-07 Cisco Technology, Inc. Static, dynamic and intelligent VRF routing for services traffic
JP5244332B2 (ja) 2006-10-30 2013-07-24 株式会社日立製作所 情報システム、データ転送方法及びデータ保護方法
US7987506B1 (en) 2006-11-03 2011-07-26 Cisco Technology, Inc. Methods and systems for dynamically updating a routing table in a virtual private network
US7826482B1 (en) 2006-11-17 2010-11-02 Juniper Networks, Inc. Service-specific forwarding in an LDP-RSVP hybrid network
US8223668B2 (en) 2006-12-14 2012-07-17 Rockstar Bidco Lp Method and apparatus for exchanging routing information and the establishment of connectivity across multiple network areas
US7738457B2 (en) 2006-12-20 2010-06-15 Oracle America, Inc. Method and system for virtual routing using containers
CN100579072C (zh) 2006-12-22 2010-01-06 华为技术有限公司 一种在ip设备之间进行通信的方法和系统
US20080159301A1 (en) 2006-12-29 2008-07-03 De Heer Arjan Arie Enabling virtual private local area network services
US20080189769A1 (en) 2007-02-01 2008-08-07 Martin Casado Secure network switching infrastructure
WO2008093174A1 (en) 2007-02-02 2008-08-07 Groupe Des Ecoles Des Telecommuinications (Get) Institut National Des Telecommunications (Int) Autonomic network node system
US8259720B2 (en) 2007-02-02 2012-09-04 Cisco Technology, Inc. Triple-tier anycast addressing
IL189514A (en) 2007-02-14 2011-12-29 Marvell Israel Misl Ltd Logical mediation system and method
US20080209422A1 (en) 2007-02-28 2008-08-28 Coha Joseph A Deadlock avoidance mechanism in multi-threaded applications
US8055789B2 (en) 2007-03-27 2011-11-08 Amazon Technologies, Inc. Configuring intercommunications between computing nodes
US8111707B2 (en) 2007-12-20 2012-02-07 Packeteer, Inc. Compression mechanisms for control plane—data plane processing architectures
US8296394B1 (en) 2007-04-10 2012-10-23 AT & T Intellectual Property II, LP Method and system for caching real-time data
US8594085B2 (en) 2007-04-11 2013-11-26 Palo Alto Networks, Inc. L2/L3 multi-mode switch including policy processing
WO2008128194A2 (en) 2007-04-12 2008-10-23 Rutgers, The State University Of New Jersey System and method for controlling a file system
US7903655B2 (en) 2007-04-19 2011-03-08 Hewlett-Packard Development Company, L.P. Marked packet forwarding
US9223600B1 (en) * 2007-05-07 2015-12-29 Hewlett Packard Enterprise Development Lp In-processor dynamic address redirection table for substituting instruction strings
US7948874B2 (en) 2007-05-24 2011-05-24 World Wide Packets, Inc. Transitioning a virtual interface from one tunnel to another tunnel
US8031633B2 (en) 2007-08-13 2011-10-04 Honeywell International Inc. Virtual network architecture for space data processing
US8528070B2 (en) 2007-09-05 2013-09-03 Hewlett-Packard Development Company, L.P. System and method for secure service delivery
US8908700B2 (en) 2007-09-07 2014-12-09 Citrix Systems, Inc. Systems and methods for bridging a WAN accelerator with a security gateway
US8798056B2 (en) 2007-09-24 2014-08-05 Intel Corporation Method and system for virtual port communications
US7751329B2 (en) 2007-10-03 2010-07-06 Avaya Inc. Providing an abstraction layer in a cluster switch that includes plural switches
EP2201474B1 (en) 2007-10-03 2020-05-06 NTT Global Networks Incorporated Virtualized application acceleration infrastructure
US8059650B2 (en) 2007-10-31 2011-11-15 Aruba Networks, Inc. Hardware based parallel processing cores with multiple threads and multiple pipeline stages
US8848544B2 (en) 2007-11-08 2014-09-30 Cisco Technology, Inc. Event correlation using network data flow simulation over unmanaged network segments
US7984123B2 (en) 2007-12-10 2011-07-19 Oracle America, Inc. Method and system for reconfiguring a virtual network path
US8199750B1 (en) 2007-12-18 2012-06-12 World Wide Packets, Inc. Communicating with a control plane using a forwarding information format and control plane processing of packets devoid of a virtual switch identifier
US8194674B1 (en) 2007-12-20 2012-06-05 Quest Software, Inc. System and method for aggregating communications and for translating between overlapping internal network addresses and unique external network addresses
US9432213B2 (en) 2007-12-31 2016-08-30 Rpx Clearinghouse Llc IP forwarding across a link state protocol controlled ethernet network
US7738949B2 (en) 2008-02-26 2010-06-15 Welch Allyn, Inc. Method and apparatus for spectrum estimation
GB2459433B (en) 2008-03-07 2012-06-06 Hewlett Packard Development Co Distributed network connection policy management
GB2458157B (en) 2008-03-07 2012-04-25 Hewlett Packard Development Co Virtual machine liveness check
GB2458154B (en) 2008-03-07 2012-06-27 Hewlett Packard Development Co Routing across a virtual network
US8155028B2 (en) 2008-03-17 2012-04-10 Alcatel Lucent Method and apparatus for providing full logical connectivity in MPLS networks
EP2253124B1 (en) 2008-03-20 2016-03-16 Telefonaktiebolaget LM Ericsson (publ) Method and apparatus for communication of data packets between local networks
US20090249471A1 (en) 2008-03-27 2009-10-01 Moshe Litvin Reversible firewall policies
US8429739B2 (en) 2008-03-31 2013-04-23 Amazon Technologies, Inc. Authorizing communications between computing nodes
US20090252173A1 (en) 2008-04-03 2009-10-08 Rangaprasad Sampath Method For Improving Efficiency Of Redundancy Protocols
EP2272216A1 (en) 2008-04-10 2011-01-12 Telefonaktiebolaget L M Ericsson (PUBL) Setting up a virtual private network using virtual lan identifiers
US8339959B1 (en) 2008-05-20 2012-12-25 Juniper Networks, Inc. Streamlined packet forwarding using dynamic filters for routing and security in a shared forwarding plane
US8195774B2 (en) 2008-05-23 2012-06-05 Vmware, Inc. Distributed virtual switch for virtualized computer systems
US8849971B2 (en) 2008-05-28 2014-09-30 Red Hat, Inc. Load balancing in cloud-based networks
WO2009147674A1 (en) 2008-06-03 2009-12-10 Ethos Networks Ltd. Automatic signaling method and device for telecommunication services
US8160063B2 (en) 2008-06-09 2012-04-17 Microsoft Corporation Data center interconnect and traffic engineering
US8797846B2 (en) 2008-06-19 2014-08-05 Telefonaktiebolaget Lm Ericsson (Publ) Transfer of connections triggered by a MME in case of failure of a serving gateway
US8027260B2 (en) 2008-07-23 2011-09-27 Verizon Patent And Licensing Inc. Mixed integer programming model for minimizing leased access network costs
JP5113684B2 (ja) * 2008-09-05 2013-01-09 株式会社日立製作所 アクセスゲートウェイ装置の制御方法及び通信システム
EP2351362A1 (en) * 2008-09-22 2011-08-03 International Business Machines Corporation Method and system for playing video on a mobile device
US8166146B2 (en) * 2008-09-29 2012-04-24 International Business Machines Corporation Providing improved message handling performance in computer systems utilizing shared network devices
US7885276B1 (en) 2008-09-30 2011-02-08 Emc Corporation Isolating network traffic in multi-tenant virtualization environments
US7962647B2 (en) 2008-11-24 2011-06-14 Vmware, Inc. Application delivery control module for virtual network switch
US8055770B2 (en) 2008-12-15 2011-11-08 At&T Intellectual Property I, L.P. Method and apparatus for providing network virtualization
US8271775B2 (en) 2008-12-17 2012-09-18 Cisco Technology, Inc. Layer two encryption for data center interconnectivity
WO2010071888A2 (en) 2008-12-19 2010-06-24 Watchguard Technologies, Inc. Cluster architecture and configuration for network security devices
US8054832B1 (en) 2008-12-30 2011-11-08 Juniper Networks, Inc. Methods and apparatus for routing between virtual resources based on a routing location policy
US8331362B2 (en) 2008-12-30 2012-12-11 Juniper Networks, Inc. Methods and apparatus for distributed dynamic network provisioning
US8255496B2 (en) 2008-12-30 2012-08-28 Juniper Networks, Inc. Method and apparatus for determining a network topology during network provisioning
US7995483B1 (en) 2009-01-20 2011-08-09 Juniper Networks, Inc. Simultaneously testing connectivity to multiple remote maintenance endpoints of the same maintenance association
US20100192225A1 (en) 2009-01-28 2010-07-29 Juniper Networks, Inc. Efficient application identification with network devices
US7948986B1 (en) 2009-02-02 2011-05-24 Juniper Networks, Inc. Applying services within MPLS networks
WO2010096552A1 (en) 2009-02-19 2010-08-26 Futurewei Technologies, Inc. System and method for point to multipoint inter-domain multiprotocol label switching traffic engineering path calculation
US8213336B2 (en) 2009-02-23 2012-07-03 Cisco Technology, Inc. Distributed data center access switch
WO2010103909A1 (ja) 2009-03-09 2010-09-16 日本電気株式会社 OpenFlow通信システムおよびOpenFlow通信方法
US8265075B2 (en) 2009-03-16 2012-09-11 International Business Machines Corporation Method and apparatus for managing, configuring, and controlling an I/O virtualization device through a network switch
CA2756289C (en) 2009-04-01 2016-02-02 Nicira Networks, Inc. Method and apparatus for implementing and managing virtual switches
WO2010121216A1 (en) 2009-04-17 2010-10-21 Viasat, Inc. System, method and apparatus for providing end-to-end layer 2 connectivity
US8589919B2 (en) 2009-04-28 2013-11-19 Cisco Technology, Inc. Traffic forwarding for virtual machines
US8027354B1 (en) 2009-04-29 2011-09-27 Cisco Technology, Inc. Network consolidation for virtualized servers
US8867349B2 (en) 2009-05-18 2014-10-21 Cisco Technology, Inc. Regulation of network traffic in virtual private networks
US8229484B2 (en) 2009-06-11 2012-07-24 Genesys Telecommunications Laboratories, Inc. System and methods for integrating short message service messaging with contact center applications
US20100318609A1 (en) 2009-06-15 2010-12-16 Microsoft Corporation Bridging enterprise networks into cloud
US9210065B2 (en) 2009-06-22 2015-12-08 Alcatel Lucent Providing cloud-based services using dynamic network virtualization
US8644188B1 (en) 2009-06-25 2014-02-04 Amazon Technologies, Inc. Providing virtual networking functionality for managed computer networks
US20110032830A1 (en) 2009-08-06 2011-02-10 Jacobus Van Der Merwe Live Router Migration
US8339994B2 (en) 2009-08-27 2012-12-25 Brocade Communications Systems, Inc. Defining an optimal topology for a group of logical switches
US8619779B2 (en) 2009-09-30 2013-12-31 Alcatel Lucent Scalable architecture for enterprise extension in a cloud topology
US8571031B2 (en) * 2009-10-07 2013-10-29 Intel Corporation Configurable frame processing pipeline in a packet switch
US20110085557A1 (en) 2009-10-08 2011-04-14 Brocade Communications Systems, Inc. Partitioning of Switches and Fabrics into Logical Switches and Fabrics
US8599864B2 (en) 2009-10-08 2013-12-03 Brocade Communications Systems, Inc. Transit switches in a network of logical switches
EP2497234B1 (en) 2009-11-02 2018-09-19 Marvell World Trade Ltd. Network device and method based on virtual interfaces
US8442048B2 (en) 2009-11-04 2013-05-14 Juniper Networks, Inc. Methods and apparatus for configuring a virtual network switch
CN101764696B (zh) * 2009-11-27 2012-06-27 福建星网锐捷网络有限公司 分布式路由交换设备及其实现方法
US7937438B1 (en) 2009-12-07 2011-05-03 Amazon Technologies, Inc. Using virtual networking devices to manage external connections
US9036504B1 (en) 2009-12-07 2015-05-19 Amazon Technologies, Inc. Using virtual networking devices and routing information to associate network addresses with computing nodes
US20110134931A1 (en) 2009-12-08 2011-06-09 Jacobus Van Der Merwe Virtual router migration
US8705513B2 (en) 2009-12-15 2014-04-22 At&T Intellectual Property I, L.P. Methods and apparatus to communicatively couple virtual private networks to virtual machines within distributive computing networks
US8331371B2 (en) 2009-12-17 2012-12-11 Amazon Technologies, Inc. Distributed routing architecture
US8325730B2 (en) 2009-12-17 2012-12-04 Amazon Technologies, Inc. Distributed routing architecture
US7953865B1 (en) 2009-12-28 2011-05-31 Amazon Technologies, Inc. Using virtual networking devices to manage routing communications between connected computer networks
JP5323674B2 (ja) * 2009-12-28 2013-10-23 日本電信電話株式会社 DNS(DomainNameSystem)登録装置、VPN(VirtualPrivateNetwork)間接続管理システム、広域DNS装置、DNS登録プログラム、広域DNSプログラム、DNS登録方法、及びVPN間接続管理方法
US8224971B1 (en) 2009-12-28 2012-07-17 Amazon Technologies, Inc. Using virtual networking devices and routing information to initiate external actions
US7991859B1 (en) 2009-12-28 2011-08-02 Amazon Technologies, Inc. Using virtual networking devices to connect managed computer networks
US8345688B2 (en) 2010-02-23 2013-01-01 Google Inc. System and method for managing flow of packets
KR101121853B1 (ko) 2010-03-02 2012-03-22 연세대학교 산학협력단 패킷 전달 시스템 및 방법
US8612627B1 (en) 2010-03-03 2013-12-17 Amazon Technologies, Inc. Managing encoded multi-part communications for provided computer networks
US8259571B1 (en) 2010-03-26 2012-09-04 Zscaler, Inc. Handling overlapping IP addresses in multi-tenant architecture
US8224931B1 (en) 2010-03-31 2012-07-17 Amazon Technologies, Inc. Managing use of intermediate destination computing nodes for provided computer networks
US8533719B2 (en) * 2010-04-05 2013-09-10 Oracle International Corporation Cache-aware thread scheduling in multi-threaded systems
JP5450227B2 (ja) * 2010-04-16 2014-03-26 日本電信電話株式会社 トラヒック制御指示装置、トラヒック制御指示プログラム、トラヒック制御指示システム、及びトラヒック制御指示方法
US8504718B2 (en) 2010-04-28 2013-08-06 Futurewei Technologies, Inc. System and method for a context layer switch
US8625616B2 (en) 2010-05-11 2014-01-07 Brocade Communications Systems, Inc. Converged network extension
EP2567512B1 (en) * 2010-05-03 2016-04-13 Brocade Communications Systems, Inc. Virtual cluster switching
US8989186B2 (en) 2010-06-08 2015-03-24 Brocade Communication Systems, Inc. Virtual port grouping for virtual cluster switching
US8407366B2 (en) 2010-05-14 2013-03-26 Microsoft Corporation Interconnecting members of a virtual network
US8724456B1 (en) 2010-05-19 2014-05-13 Juniper Networks, Inc. Network path selection for multi-homed edges to ensure end-to-end resiliency
BR112012018762B1 (pt) 2010-05-28 2022-06-21 Huawei Technologies Co., Ltd Sistema, componente de rede e método para promover uma comunicação entre uma pluralidade de domínios de acesso
US8374183B2 (en) 2010-06-22 2013-02-12 Microsoft Corporation Distributed virtual network gateways
WO2012006190A1 (en) 2010-06-29 2012-01-12 Huawei Technologies Co., Ltd. Delegate gateways and proxy for target hosts in large layer 2 and address resolution with duplicated internet protocol addresses
US8559324B1 (en) 2010-06-29 2013-10-15 Amazon Technologies, Inc. Network routing metering
CN104396192B (zh) 2010-06-29 2018-03-06 华为技术有限公司 不对称网络地址封装
US8239572B1 (en) 2010-06-30 2012-08-07 Amazon Technologies, Inc. Custom routing decisions
US9680750B2 (en) 2010-07-06 2017-06-13 Nicira, Inc. Use of tunnels to hide network addresses
US8964528B2 (en) 2010-07-06 2015-02-24 Nicira, Inc. Method and apparatus for robust packet distribution among hierarchical managed switching elements
US8958292B2 (en) 2010-07-06 2015-02-17 Nicira, Inc. Network control apparatus and method with port security controls
TWI421791B (zh) 2010-07-16 2014-01-01 Univ Nat Taiwan Science Tech 物流網路之運輸商選擇方法
US8456984B2 (en) 2010-07-19 2013-06-04 Ciena Corporation Virtualized shared protection capacity
US8565108B1 (en) 2010-09-28 2013-10-22 Amazon Technologies, Inc. Network data transmission analysis
US8416709B1 (en) 2010-09-28 2013-04-09 Amazon Technologies, Inc. Network data transmission analysis management
US9717412B2 (en) * 2010-11-05 2017-08-01 Gary And Mary West Health Institute Wireless fetal monitoring system
US8737417B2 (en) 2010-11-12 2014-05-27 Alcatel Lucent Lock-less and zero copy messaging scheme for telecommunication network applications
US8631122B2 (en) 2010-11-29 2014-01-14 Viralheat, Inc. Determining demographics based on user interaction
US8705533B1 (en) 2010-12-10 2014-04-22 Juniper Networks, Inc. Fast packet encapsulation using templates
US8527693B2 (en) * 2010-12-13 2013-09-03 Fusion IO, Inc. Apparatus, system, and method for auto-commit memory
US9208071B2 (en) 2010-12-13 2015-12-08 SanDisk Technologies, Inc. Apparatus, system, and method for accessing memory
US8769494B2 (en) 2010-12-14 2014-07-01 Microsoft Corporation Globally sound and consistent configuration management for distributed datacenter components
US8824370B2 (en) * 2010-12-16 2014-09-02 Openet Telecom Ltd. Methods, systems and devices for dynamic context-based routing
US8880726B2 (en) * 2010-12-16 2014-11-04 Openet Telecom Ltd. Methods, systems and devices for dynamic context-based routing using a topology tree
US8943221B2 (en) * 2010-12-16 2015-01-27 Openet Telecom Ltd. Methods, systems and devices for pipeline processing
US9001827B2 (en) 2010-12-17 2015-04-07 Big Switch Networks, Inc. Methods for configuring network switches
US10142218B2 (en) 2011-01-14 2018-11-27 International Business Machines Corporation Hypervisor routing between networks in a virtual networking environment
US9578081B2 (en) * 2011-02-02 2017-02-21 Imvu, Inc. System and method for providing an actively invalidated client-side network resource cache
US8819833B2 (en) 2011-03-01 2014-08-26 Honeywell International Inc. Assured pipeline threat detection
FR2972884A1 (fr) * 2011-03-15 2012-09-21 France Telecom Procede de communication dans un reseau de communication avec acheminement par nom
US8665739B2 (en) 2011-03-16 2014-03-04 Juniper Networks, Inc. Packet loss measurement at service endpoints of a virtual private LAN service
US9043452B2 (en) 2011-05-04 2015-05-26 Nicira, Inc. Network control apparatus and method for port isolation
CN102780605B (zh) 2011-05-13 2015-05-06 中国科学院声学研究所 一种域间出口路径动态选择方法及系统
US8751872B2 (en) 2011-05-27 2014-06-10 Microsoft Corporation Separation of error information from error propagation information
JP5824911B2 (ja) 2011-06-29 2015-12-02 富士通株式会社 情報処理装置、情報処理プログラムおよび管理方法
JP6080313B2 (ja) 2011-08-04 2017-02-15 ミドクラ エスエーアールエル 仮想ネットワークを実装及び管理するシステム及び方法
EP3605969B1 (en) * 2011-08-17 2021-05-26 Nicira Inc. Distributed logical l3 routing
US10091028B2 (en) * 2011-08-17 2018-10-02 Nicira, Inc. Hierarchical controller clusters for interconnecting two or more logical datapath sets
US9167501B2 (en) 2011-08-29 2015-10-20 Telefonaktiebolaget L M Ericsson (Publ) Implementing a 3G packet core in a cloud computer with openflow data and control planes
US8856518B2 (en) * 2011-09-07 2014-10-07 Microsoft Corporation Secure and efficient offloading of network policies to network interface cards
US8606105B2 (en) * 2011-09-15 2013-12-10 Ciena Corporation Virtual core router and switch systems and methods with a hybrid control architecture
US9185056B2 (en) 2011-09-20 2015-11-10 Big Switch Networks, Inc. System and methods for controlling network traffic through virtual switches
US8751614B2 (en) 2011-10-11 2014-06-10 Telefonaktiebolaget L M Ericsson (Publ) Providing virtualized visibility through routers
US8830820B2 (en) 2011-10-14 2014-09-09 Google Inc. Semi-centralized routing
US9178833B2 (en) 2011-10-25 2015-11-03 Nicira, Inc. Chassis controller
US8745177B1 (en) 2011-11-01 2014-06-03 Edgecast Networks, Inc. End-to-end monitoring and optimization of a content delivery network using anycast routing
EP2748714B1 (en) 2011-11-15 2021-01-13 Nicira, Inc. Connection identifier assignment and source network address translation
CA2857132C (en) * 2011-11-29 2018-07-03 Amazon Technologies, Inc. Interfaces to manage direct network peerings
FR2986012B1 (fr) 2012-01-20 2017-12-01 Saint Gobain Ct Recherches Cuve d'electrolyse.
JP2013157855A (ja) 2012-01-31 2013-08-15 Nec Corp 仮想ネットワークの接続方法、仮想ネットワーク接続装置およびプログラム
US8660129B1 (en) * 2012-02-02 2014-02-25 Cisco Technology, Inc. Fully distributed routing over a user-configured on-demand virtual network for infrastructure-as-a-service (IaaS) on hybrid cloud networks
US9130869B2 (en) 2012-02-09 2015-09-08 Telefonaktiebolaget L M Ericsson (Publ) Methods of redirecting network forwarding elements and related forwarding elements and controllers
US9083644B2 (en) 2012-02-14 2015-07-14 International Business Machines Corporation Packet routing for embedded applications sharing a single network interface over multiple virtual networks
US8923296B2 (en) 2012-02-23 2014-12-30 Big Switch Networks, Inc. System and methods for managing network packet forwarding with a controller
US8705536B2 (en) 2012-03-05 2014-04-22 Telefonaktiebolaget L M Ericsson (Publ) Methods of operating forwarding elements including shadow tables and related forwarding elements
TWI458314B (zh) * 2012-03-22 2014-10-21 Wistron Corp 傳送遠端封包至主機的伺服器系統及其管理方法
WO2013143611A1 (en) 2012-03-30 2013-10-03 Nokia Siemens Networks Oy Centralized ip address management for distributed gateways
US8856339B2 (en) 2012-04-04 2014-10-07 Cisco Technology, Inc. Automatically scaled network overlay with heuristic monitoring in a hybrid cloud environment
US8923149B2 (en) 2012-04-09 2014-12-30 Futurewei Technologies, Inc. L3 gateway for VXLAN
US9225635B2 (en) 2012-04-10 2015-12-29 International Business Machines Corporation Switch routing table utilizing software defined network (SDN) controller programmed route segregation and prioritization
US9331938B2 (en) 2012-04-13 2016-05-03 Nicira, Inc. Extension of logical networks across layer 3 virtual private networks
US9021066B1 (en) 2012-04-13 2015-04-28 Juniper Networks, Inc. Providing A-priori information about implication of operator interaction with network device
EP2748706B1 (en) 2012-04-18 2020-01-22 Nicira Inc. Exchange of network state information between forwarding elements
US8959185B2 (en) 2012-06-06 2015-02-17 Juniper Networks, Inc. Multitenant server for virtual networks within datacenter
US9710762B2 (en) 2012-06-06 2017-07-18 Juniper Networks, Inc. Dynamic logging
CN104350725B (zh) 2012-06-06 2019-01-11 华为技术有限公司 通过软件定义网络进行信息中心网络的无缝集成和独立演进方法
EP2672668B1 (en) 2012-06-06 2018-09-26 Juniper Networks, Inc. Facilitating the operation of a virtual network by predicting a failure
US8972602B2 (en) 2012-06-15 2015-03-03 Citrix Systems, Inc. Systems and methods for using ECMP routes for traffic distribution
US9451056B2 (en) 2012-06-29 2016-09-20 Avaya Inc. Method for mapping packets to network virtualization instances
CN103546381B (zh) 2012-07-12 2017-06-09 华为技术有限公司 基于内部网关协议创建双向组播分发树的方法、装置及系统
US9094459B2 (en) 2012-07-16 2015-07-28 International Business Machines Corporation Flow based overlay network
US9172557B2 (en) * 2012-08-17 2015-10-27 International Business Machines Corporation Load balancing overlay network traffic using a teamed set of network interface cards
US9563480B2 (en) 2012-08-21 2017-02-07 Rackspace Us, Inc. Multi-level cloud computing system
US11074025B2 (en) 2012-09-03 2021-07-27 Semiconductor Energy Laboratory Co., Ltd. Display device and method for manufacturing the same
US9055004B2 (en) * 2012-09-18 2015-06-09 Cisco Technology, Inc. Scalable low latency multi-protocol networking device
US9071529B2 (en) 2012-10-08 2015-06-30 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for accelerating forwarding in software-defined networks
WO2014078820A1 (en) 2012-11-19 2014-05-22 Unisys Corporation Translating function calls in virtualized environments
US9535871B2 (en) 2012-11-27 2017-01-03 Red Hat Israel, Ltd. Dynamic routing through virtual appliances
US9363172B2 (en) 2012-11-27 2016-06-07 Red Hat Israel, Ltd. Managing a configurable routing scheme for virtual appliances
US9454392B2 (en) 2012-11-27 2016-09-27 Red Hat Israel, Ltd. Routing data packets between virtual machines using shared memory without copying the data packet
US9036639B2 (en) 2012-11-29 2015-05-19 Futurewei Technologies, Inc. System and method for VXLAN inter-domain communications
US9197596B2 (en) 2012-12-18 2015-11-24 Dell Products, Lp System and method to use common addresses on a management controller without conflict
EP2957080B1 (en) 2013-02-12 2020-06-10 Hewlett-Packard Enterprise Development LP Network control using software defined flow mapping and virtualized network functions
CN104009929B (zh) * 2013-02-21 2019-01-18 中兴通讯股份有限公司 一种管理虚拟路由器的方法及物理路由器
US8982707B2 (en) 2013-03-14 2015-03-17 Cisco Technology, Inc. Interoperability of data plane based overlays and control plane based overlays in a network environment
US20140269299A1 (en) 2013-03-14 2014-09-18 Hewlett-Packard Development Company, L.P. Network controller normalization of network traffic
US9197520B2 (en) 2013-03-15 2015-11-24 Microsoft Technology Licensing, Llc Methods and computer program products for transaction analysis of network traffic in a network device
US10135914B2 (en) 2013-04-16 2018-11-20 Amazon Technologies, Inc. Connection publishing in a distributed load balancer
US9210074B2 (en) 2013-05-03 2015-12-08 Alcatel Lucent Low-cost flow matching in software defined networks without TCAMs
US9203738B2 (en) 2013-05-21 2015-12-01 Cisco Technology, Inc. Optimal forwarding for trill fine-grained labeling and VXLAN interworking
US9471356B2 (en) 2013-06-12 2016-10-18 Dell Products L.P. Systems and methods for providing VLAN-independent gateways in a network virtualization overlay implementation
US9160650B2 (en) * 2013-06-17 2015-10-13 Futurewei Technologies, Inc. Enhanced flow entry table cache replacement in a software-defined networking switch
US9509614B2 (en) 2013-06-20 2016-11-29 Cisco Technology, Inc. Hierarchical load balancing in a network environment
US20140376550A1 (en) 2013-06-24 2014-12-25 Vmware, Inc. Method and system for uniform gateway access in a virtualized layer-2 network domain
US9515924B2 (en) 2013-07-03 2016-12-06 Avaya Inc. Method and apparatus providing single-tier routing in a shortest path bridging (SPB) network
US9325630B2 (en) 2013-07-05 2016-04-26 Red Hat, Inc. Wild card flows for switches and virtual switches based on hints from hypervisors
CN105379197B (zh) 2013-07-05 2019-01-11 华为技术有限公司 建立隧道的方法、分配标签的方法、设备及网络系统
US9350657B2 (en) 2013-07-08 2016-05-24 Nicira, Inc. Encapsulating data packets using an adaptive tunnelling protocol
US9130775B2 (en) 2013-07-10 2015-09-08 Cisco Technology, Inc. Support for virtual extensible local area network segments across multiple data center sites
US9344349B2 (en) 2013-07-12 2016-05-17 Nicira, Inc. Tracing network packets by a cluster of network controllers
JPWO2015015787A1 (ja) 2013-07-30 2017-03-02 日本電気株式会社 制御装置、管理装置、制御方法、管理方法、および、プログラム
CN105393492A (zh) 2013-08-01 2016-03-09 惠普发展公司,有限责任合伙企业 地址解析重写
US9887960B2 (en) 2013-08-14 2018-02-06 Nicira, Inc. Providing services for logical networks
US9819505B2 (en) 2013-08-20 2017-11-14 Cisco Technology, Inc. Group bundling priority dissemination through link-state routing protocol in a network environment
WO2015027357A1 (en) 2013-08-30 2015-03-05 Telefonaktiebolaget L M Ericsson (Publ) Ipv4 and ipv6 support in an mbms network
US9654390B2 (en) * 2013-09-03 2017-05-16 Cisco Technology, Inc. Method and apparatus for improving cloud routing service performance
US9577845B2 (en) 2013-09-04 2017-02-21 Nicira, Inc. Multiple active L3 gateways for logical networks
US9503371B2 (en) 2013-09-04 2016-11-22 Nicira, Inc. High availability L3 gateways for logical networks
US9674087B2 (en) 2013-09-15 2017-06-06 Nicira, Inc. Performing a multi-stage lookup to classify packets
US9491094B2 (en) 2013-09-25 2016-11-08 Cisco Techonology, Inc. Path optimization in distributed service chains in a network environment
US9444721B2 (en) 2013-09-30 2016-09-13 Juniper Networks, Inc. Two-part metric for link state routing protocols
US20150098475A1 (en) 2013-10-09 2015-04-09 International Business Machines Corporation Host table management in software defined network (sdn) switch clusters having layer-3 distributed router functionality
US9785455B2 (en) 2013-10-13 2017-10-10 Nicira, Inc. Logical router
US10063458B2 (en) 2013-10-13 2018-08-28 Nicira, Inc. Asymmetric connection with external networks
US9374294B1 (en) 2013-11-05 2016-06-21 Cisco Technology, Inc. On-demand learning in overlay networks
US9774667B2 (en) 2013-11-08 2017-09-26 Vmware, Inc. System and method for dynamically configuring a load balancer in a virtual network environment
US9385925B1 (en) 2013-12-16 2016-07-05 Amazon Technologies, Inc. Anycast route detection
US20150172156A1 (en) 2013-12-18 2015-06-18 Cisco Technology, Inc. Detecting end hosts in a distributed network environment
GR20130100707A (el) 2013-12-23 2015-07-31 Arm Limited, Μεταφραση διευθυνσης σε μια συσκευη επεξεργασιας δεδομενων
US10009287B2 (en) 2013-12-26 2018-06-26 Huawei Technologies Co., Ltd. Hierarchical software-defined network traffic engineering controller
US9548896B2 (en) 2013-12-27 2017-01-17 Big Switch Networks, Inc. Systems and methods for performing network service insertion
WO2015100656A1 (zh) 2013-12-31 2015-07-09 华为技术有限公司 一种实现虚拟机通信的方法和装置
US9473414B2 (en) 2014-02-06 2016-10-18 Telefonaktiebolaget Lm Ericsson (Publ) Method and system for supporting packet prioritization at a data network
US9749214B2 (en) 2014-02-26 2017-08-29 Futurewei Technologies, Inc. Software defined networking (SDN) specific topology information discovery
US9419855B2 (en) 2014-03-14 2016-08-16 Nicira, Inc. Static routes for logical routers
US9590901B2 (en) * 2014-03-14 2017-03-07 Nicira, Inc. Route advertisement by managed gateways
US9313129B2 (en) 2014-03-14 2016-04-12 Nicira, Inc. Logical router processing by network controller
WO2015142404A1 (en) 2014-03-21 2015-09-24 Nicira, Inc. Dynamic routing for logical routers
US9647883B2 (en) 2014-03-21 2017-05-09 Nicria, Inc. Multiple levels of logical routers
US9503321B2 (en) 2014-03-21 2016-11-22 Nicira, Inc. Dynamic routing for logical routers
CN103888555A (zh) * 2014-03-26 2014-06-25 清华大学 一种IPv4/IPv6无状态翻译算法
US9641435B1 (en) 2014-03-28 2017-05-02 Juniper Neworks, Inc. Packet segmentation offload for virtual networks
US9344373B2 (en) 2014-06-13 2016-05-17 International Business Machines Corporation Packet I/O support for a logical switch router architecture
US9716687B2 (en) 2014-06-19 2017-07-25 Cisco Technology, Inc. Distributed gateways for overlay networks
CN105471740B (zh) 2014-07-09 2018-10-12 新华三技术有限公司 基于软件定义网络的网关迁徙处理方法及装置
US10129181B2 (en) 2014-08-16 2018-11-13 New York University Controlling the reactive caching of wildcard rules for packet processing, such as flow processing in software-defined networks
US9531720B2 (en) 2014-09-02 2016-12-27 Akamai Technologies, Inc. System and methods for leveraging an object cache to monitor network traffic
US11178051B2 (en) * 2014-09-30 2021-11-16 Vmware, Inc. Packet key parser for flow-based forwarding elements
JP6721166B2 (ja) 2014-10-14 2020-07-08 ミド ホールディングス リミテッド 仮想ネットワークにおける分散型フロー状態p2p設定のためのシステムおよび方法
US9948472B2 (en) 2014-10-22 2018-04-17 Juniper Networks, Inc. Protocol independent multicast sparse mode (PIM-SM) support for data center interconnect
US10079740B2 (en) 2014-11-04 2018-09-18 Fermi Research Alliance, Llc Packet capture engine for commodity network interface cards in high-speed networks
US9819574B2 (en) 2014-11-07 2017-11-14 Cisco Technology, Inc. Concerted multi-destination forwarding in a joint TRILL fabric and VXLAN/IP fabric data center
US10171559B2 (en) 2014-11-21 2019-01-01 Cisco Technology, Inc. VxLAN security implemented using VxLAN membership information at VTEPs
US9882815B2 (en) * 2014-12-22 2018-01-30 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive load balancing in packet processing
US9787573B2 (en) 2014-12-31 2017-10-10 Juniper Networks, Inc. Fast convergence on link failure in multi-homed Ethernet virtual private networks
US10129180B2 (en) 2015-01-30 2018-11-13 Nicira, Inc. Transit logical switch within logical router
CN105991430B (zh) 2015-03-05 2022-01-14 李明 跨多个自治网络系统的数据路由
EP3268873B1 (en) * 2015-03-09 2020-06-24 Intel Corporation Memcached systems having local caches
US10038628B2 (en) 2015-04-04 2018-07-31 Nicira, Inc. Route server mode for dynamic routing between logical and physical networks
US9634934B2 (en) 2015-05-08 2017-04-25 Cisco Technology, Inc. Dynamic host configuration protocol relay in a multipod fabric
US9800497B2 (en) 2015-05-27 2017-10-24 Cisco Technology, Inc. Operations, administration and management (OAM) in overlay data center environments
US11204791B2 (en) 2015-06-30 2021-12-21 Nicira, Inc. Dynamic virtual machine network policy for ingress optimization
US9819581B2 (en) 2015-07-31 2017-11-14 Nicira, Inc. Configuring a hardware switch as an edge node for a logical router
US9847938B2 (en) 2015-07-31 2017-12-19 Nicira, Inc. Configuring logical routers on hardware switches
US10129142B2 (en) 2015-08-11 2018-11-13 Nicira, Inc. Route configuration for logical router
WO2017027073A1 (en) 2015-08-11 2017-02-16 Nicira, Inc. Route configuration for logical router
US10075363B2 (en) 2015-08-31 2018-09-11 Nicira, Inc. Authorization for advertised routes among logical routers
US10165093B2 (en) 2015-08-31 2018-12-25 Cisco Technology, Inc. Generating segment routing conduit in service provider network for routing packets
US10270687B2 (en) 2015-09-07 2019-04-23 Citrix Systems, Inc. Systems and methods for dynamic routing on a shared IP address
US10361972B2 (en) 2015-09-23 2019-07-23 Citrix Systems, Inc. Systems and methods to support VXLAN in partition environment where a single system acts as multiple logical systems to support multitenancy
US10095535B2 (en) 2015-10-31 2018-10-09 Nicira, Inc. Static route types for logical routers
US9800433B2 (en) 2015-12-16 2017-10-24 At&T Intellectual Property I, L.P. Method and apparatus for providing a point-to-point connection over a network
CN105791412A (zh) 2016-04-04 2016-07-20 合肥博雷电子信息技术有限公司 一种大数据处理平台网络架构
US10237142B2 (en) 2016-04-04 2019-03-19 Nicira, Inc. Troubleshooting virtual network reachability
US10320681B2 (en) 2016-04-12 2019-06-11 Nicira, Inc. Virtual tunnel endpoints for congestion-aware load balancing
US10454877B2 (en) 2016-04-29 2019-10-22 Cisco Technology, Inc. Interoperability between data plane learning endpoints and control plane learning endpoints in overlay networks
US10153973B2 (en) 2016-06-29 2018-12-11 Nicira, Inc. Installation of routing tables for logical router in route server mode
US10819678B2 (en) 2016-08-24 2020-10-27 British Telecommunications Public Limited Company Data network address sharing between multiple elements associated with a shared network interface unit
US10454758B2 (en) 2016-08-31 2019-10-22 Nicira, Inc. Edge node cluster network redundancy and fast convergence using an underlay anycast VTEP IP
US10341236B2 (en) 2016-09-30 2019-07-02 Nicira, Inc. Anycast edge service gateways
US10382321B1 (en) 2017-03-28 2019-08-13 Juniper Networks, Inc. Aggregate link bundles in label switched paths
US10432513B2 (en) 2017-07-14 2019-10-01 Nicira, Inc. Asymmetric network elements sharing an anycast address
US10623322B1 (en) 2017-09-15 2020-04-14 Juniper Networks, Inc. Dynamic prefix list for route filtering
US11032183B2 (en) 2017-10-06 2021-06-08 Nicira, Inc. Routing information validation in SDN environments
US10771590B2 (en) 2018-03-07 2020-09-08 Ciena Corporation Systems and methods for intelligent routing and content placement in information centric networks
US10673757B2 (en) 2018-06-05 2020-06-02 Arista Networks, Inc. System and method of a data processing pipeline with policy based routing
US10931560B2 (en) 2018-11-23 2021-02-23 Vmware, Inc. Using route type to determine routing protocol behavior
US10797998B2 (en) 2018-12-05 2020-10-06 Vmware, Inc. Route server for distributed routers using hierarchical routing protocol
US10938788B2 (en) 2018-12-12 2021-03-02 Vmware, Inc. Static routes for policy-based VPN

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050025179A1 (en) 2003-07-31 2005-02-03 Cisco Technology, Inc. Distributing and balancing traffic flow in a virtual gateway
CN1625153A (zh) 2003-12-01 2005-06-08 株式会社日立制作所 维持vr机密性的vrrp技术
JP2013131907A (ja) 2011-12-21 2013-07-04 Toyota Motor Corp 車両ネットワーク監視装置
US20130250951A1 (en) 2012-03-22 2013-09-26 Brocade Communications Systems, Inc. Overlay tunnel in a fabric switch

Also Published As

Publication number Publication date
US20160226822A1 (en) 2016-08-04
EP3654592A1 (en) 2020-05-20
AU2019203294A1 (en) 2019-05-30
CN107210959A (zh) 2017-09-26
US20200287843A1 (en) 2020-09-10
US20160226961A1 (en) 2016-08-04
US20160226958A1 (en) 2016-08-04
US10110514B2 (en) 2018-10-23
CN115442302A (zh) 2022-12-06
US10193828B2 (en) 2019-01-29
EP3654592B1 (en) 2023-03-08
CN108293021B (zh) 2021-01-22
US20160226763A1 (en) 2016-08-04
US10050905B2 (en) 2018-08-14
US11283731B2 (en) 2022-03-22
US20160226957A1 (en) 2016-08-04
WO2017099900A1 (en) 2017-06-15
US10798023B2 (en) 2020-10-06
US20160226967A1 (en) 2016-08-04
WO2017079068A1 (en) 2017-05-11
US10341257B2 (en) 2019-07-02
EP3700144A1 (en) 2020-08-26
US11799800B2 (en) 2023-10-24
JP2022191323A (ja) 2022-12-27
US20160226795A1 (en) 2016-08-04
CN108293021A (zh) 2018-07-17
CN112769695A (zh) 2021-05-07
EP3366012B1 (en) 2020-04-22
US10057191B2 (en) 2018-08-21
CA2974535A1 (en) 2016-08-04
AU2016211222B2 (en) 2019-02-14
CN111865775A (zh) 2020-10-30
US9787605B2 (en) 2017-10-10
US11095574B2 (en) 2021-08-17
US20190020600A1 (en) 2019-01-17
AU2021245096A1 (en) 2021-10-28
US10084726B2 (en) 2018-09-25
US20200267095A1 (en) 2020-08-20
CN115442302B (zh) 2024-06-21
AU2016211222A1 (en) 2017-09-07
US11706159B2 (en) 2023-07-18
AU2023219914A1 (en) 2023-09-14
EP3251306A1 (en) 2017-12-06
US20160226960A1 (en) 2016-08-04
US20220141155A1 (en) 2022-05-05
CN111865775B (zh) 2022-09-16
US10243883B2 (en) 2019-03-26
US20190306085A1 (en) 2019-10-03
WO2016123550A1 (en) 2016-08-04
CN107210959B (zh) 2020-08-25
CA3148877A1 (en) 2016-08-04
EP3366012A1 (en) 2018-08-29
US20230362105A1 (en) 2023-11-09
US20160226754A1 (en) 2016-08-04
CA2974535C (en) 2022-05-03
EP3251306B1 (en) 2020-01-15
US20210377186A1 (en) 2021-12-02
US9979677B2 (en) 2018-05-22
AU2021200083A1 (en) 2021-03-18
US10129180B2 (en) 2018-11-13
CN115442303B (zh) 2024-06-25
US20240007419A1 (en) 2024-01-04
US10700997B2 (en) 2020-06-30
US11343204B2 (en) 2022-05-24
US10700996B2 (en) 2020-06-30
US20160226759A1 (en) 2016-08-04
AU2021245096B2 (en) 2023-05-25
JP2018507635A (ja) 2018-03-15
AU2019203294B2 (en) 2020-10-08
US20220255882A1 (en) 2022-08-11
US10153987B2 (en) 2018-12-11
US20190207870A1 (en) 2019-07-04
US20160226821A1 (en) 2016-08-04
US9973445B2 (en) 2018-05-15
JP7153774B2 (ja) 2022-10-14
US10079779B2 (en) 2018-09-18
JP2021184604A (ja) 2021-12-02
US20160226762A1 (en) 2016-08-04
CN115442303A (zh) 2022-12-06
US11929943B2 (en) 2024-03-12
US20160226700A1 (en) 2016-08-04
EP3700144B1 (en) 2024-07-03
JP6908525B2 (ja) 2021-07-28
US20160226959A1 (en) 2016-08-04
WO2017099901A1 (en) 2017-06-15
AU2021200083B2 (en) 2021-07-29

Similar Documents

Publication Publication Date Title
JP7417826B2 (ja) 複数のルーティング構成要素を用いる論理ルータ
JP6720292B2 (ja) 論理ルータのためのルート設定

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221028

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221028

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231127

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20231128

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231201

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20231205

R150 Certificate of patent or registration of utility model

Ref document number: 7417826

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350