WO2017017971A1 - データセンタ連携システム、および、その方法 - Google Patents

データセンタ連携システム、および、その方法 Download PDF

Info

Publication number
WO2017017971A1
WO2017017971A1 PCT/JP2016/050751 JP2016050751W WO2017017971A1 WO 2017017971 A1 WO2017017971 A1 WO 2017017971A1 JP 2016050751 W JP2016050751 W JP 2016050751W WO 2017017971 A1 WO2017017971 A1 WO 2017017971A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual network
layer
network identifier
data center
packet
Prior art date
Application number
PCT/JP2016/050751
Other languages
English (en)
French (fr)
Inventor
さゆり 石川
順史 木下
恭宏 相樂
和洋 前多
高田　治
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to US15/741,531 priority Critical patent/US20180198708A1/en
Priority to JP2017531028A priority patent/JP6317042B2/ja
Publication of WO2017017971A1 publication Critical patent/WO2017017971A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/74—Address processing for routing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46—Interconnection of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46—Interconnection of networks
    • H04L12/4641—Virtual LANs, VLANs, e.g. virtual private networks [VPN]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/323—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the physical layer [OSI layer 1]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/324—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the data link layer [OSI layer 2], e.g. HDLC
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/58—Association of routers
    • H04L45/586—Association of routers of virtual routers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/35—Switches specially adapted for specific applications
    • H04L49/354—Switches specially adapted for specific applications for supporting virtual local area networks [VLAN]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/70—Virtual switches

Definitions

  • the disclosed subject matter relates to a technique for ensuring the conditions of each of a plurality of communications performed between bases such as a data center (DC).
  • DC data center
  • BCP Business Continuity Planning
  • edge computing a form of providing services from a data center geographically close to the user
  • the form which comprises one system (henceforth a DC cooperation system) which cooperated the some distributed DC is increasing.
  • the public cloud is characterized by being a multi-tenant type that accommodates a plurality of tenant systems on one cloud system.
  • the tenant here refers to a logically separated set and corresponds to, for example, a company or a department. In other words, a multi-tenant system is accommodated in the DC.
  • the DC business operator operates a plurality of tenant systems on one DC linkage system in which a plurality of DCs are linked.
  • the DC operator uses, for example, a virtual network for separating communication of the multi-tenant system in the DC.
  • a virtual network for separating communication of the multi-tenant system in the DC.
  • a virtual network a part of logical network resources that a user can use.
  • Examples of techniques for realizing a virtual network include VLAN (Virtual LAN) and the technique described in Non-Patent Document 2.
  • a DC operator converts a specific tenant system accommodated in a certain DC and the system of the specific tenant accommodated in a geographically distant DC into the two DCs.
  • a network owned by a communication carrier a provider that provides a lending service for communication facilities owned by itself in the form of a circuit contract; hereinafter referred to as a carrier
  • the DC operator borrows a part of network resources owned by the carrier.
  • a part of network resources lent to a customer in this example, a DC operator
  • a carrier line or a line
  • an MVNO Virtual Mobile Network Operator, Mobile Virtual Network Operator
  • the communication condition request for the inter-DC network may be different for each tenant.
  • tenant A connects two DCs to form a DR (Disaster Recovery) system of the core system, and differential data is synchronized in real time and does not allow delay.
  • tenant B performs daily backup of mail data with two DCs, and it is sufficient that data can be synchronized within 24 hours.
  • the communication conditions include, for example, line quality (for example, low latency, best effort, line redundancy, physical line occupation or sharing), or security (encryption, quarantine is enhanced).
  • line quality for example, low latency, best effort, line redundancy, physical line occupation or sharing
  • security encryption, quarantine is enhanced
  • Non-Patent Document 1 discloses duplication of a virtual network (VLAN).
  • the number of VLAN identifiers is the upper limit of the number of communications that can be divided. That is, for example, a problem arises in that the DC operator cannot accommodate 4094 or more tenants.
  • Non-Patent Document 2 discloses a method (VXLAN) in which the number of virtual networks exceeds 4094 of VLAN and about 16 million can be used.
  • the conventional VLAN and the new VXLAN are mixedly used in the DC and the carrier line.
  • maintaining the separability of communication within the DC and between the DCs including the carrier line while using the two in combination is not realized.
  • the number of virtual network identifiers used in the computer system is smaller than the number of virtual network identifiers, while maintaining end-to-end communication separation among multiple computer systems.
  • One specific aspect of using this technology is a computer system linkage system that connects a plurality of computer systems via a network.
  • DC is assumed as a computer system, and a DC linkage system in which a plurality of DCs are connected via a carrier line is described, and its features will be described with reference to FIG.
  • the DC linkage system has the following functions.
  • virtual network identifiers (i) and / or (ii) as communication type identifiers for separating communication for each tenant of a plurality of DCs and a plurality of communications provided by carriers with different communication conditions
  • the function of identifying and associating and managing the virtual network identifier (iii) as a line identifier to be separated (use of virtual network identifiers (i) and (ii) will be described later).
  • each DC in order to realize communication using the virtual network identifier (i) and / or (ii) and (iii), a setting is made to each communication device in the DC or a setting instruction is given.
  • the receiving side DC identifies, based on the carrier line identifier, each tenant's communication to which the carrier line identifier is assigned or a plurality of types of communication within each tenant, and the virtual network in the receiving side DC
  • the communication separated by the virtual network identifier (ii) Further, it may be separated by the virtual network identifier (ii). In this case, the association between the combination of the virtual network identifiers (i) and (ii) and the virtual network identifier (iii) is managed.
  • FIG. 2 is a diagram illustrating a functional configuration of a physical machine 1, a virtual machine 2, a virtual switch 3, a virtual center edge 4, a VXLAN GW 5, a customer edge 6, a provider edge 7, and a management server 8. It is the figure which showed the outline of the process of VXLAN. It is the figure which showed the processing flow of the carrier line connection system. It is the figure which showed the identifier management table 3141.
  • FIG. 10 is a diagram showing a connection management table 3142. It is the figure which showed the logical connection in DC-X concerning an Example, and the flow of a process.
  • the DC operator operates a DC cooperation system that connects a plurality of DCs, and the connection between the DCs is performed using a plurality of carrier lines provided by carriers with different communication conditions. For example, three types of (A) best effort, (B) low delay (non-redundant), and (C) low delay (redundant) that do not guarantee delay are borrowed from the carrier.
  • A best effort
  • B low delay
  • C low delay
  • the carrier line is a wide area line connection service provided by the carrier, and MPLS, IP VPN, wide area Ethernet, or the like is used for connection.
  • FIG. 2 is a configuration diagram showing a DC linkage system for connecting the data centers DC-X and DC-Y through a carrier network in this embodiment. Explain while defining terms.
  • a physical computer or physical machine (hereinafter referred to as “M”) 1 includes a virtual computer or virtual machine (hereinafter referred to as VM) 2, a virtual switch (hereinafter referred to as “vSW”) 3, and a virtual customer edge (hereinafter referred to as “VM”).
  • VM virtual computer or virtual machine
  • vSW virtual switch
  • VM virtual customer edge
  • a virtual router called 4) (hereinafter referred to as vCE) is realized.
  • the virtual machine 2, the virtual switch 3, and the virtual router 4 are virtual devices that are realized by executing programs stored in the memory of the physical machine 1 while using hardware resources of the physical machine 1. .
  • FIG. 2 represents a multi-tenant environment in which VMs of different tenants are realized on each physical machine.
  • vCE4 refers to a communication device located at the end of a certain management range. Since a tenant corresponds to a “customer” as seen from the DC operator, a device located at the end of the management range called a tenant is referred to as a vCE.
  • the vCE is provided for each tenant, and in the present embodiment, when using a carrier line, it is necessary to go through the vCE. For this purpose, for example, there is a method of setting the default gateway of the tenant VM in vCE4. In this embodiment, vCE4 is under the control of the DC operator, but as described above, the tenant's VM default gateway is set to vCE4. Call.
  • vCE4 is arranged in M1 physically different from VM2, but may be arranged in the same M1. Further, the port Pn described in the vCE 4 will be described later.
  • VXLAN gateway (hereinafter referred to as GW) 5.
  • the GW generally refers to a device that is arranged at a network boundary and relays data between networks. In this specification, by using VXLAN technology, communication other than VXLAN and VXLAN communication are mutually converted and relayed.
  • the VXLAN GW 5 is generally connected to a plurality of switches, routers, and the like in the DC.
  • the network configuration is not limited, and this is represented as a DC internal network.
  • the VXLAN is used for the network in the DC.
  • the VXLAN GW 5 may be configured virtually within the physical machine 1.
  • the VXLAN GW 5 is connected to a physical router called a customer edge (hereinafter referred to as CE) 6 located at the gateway of the DC via a network in the DC.
  • CE customer edge
  • the “customer” in CE6 is a DC operator for the carrier, unlike vCE4. It is called CE in the sense that it is located at the end of the network under the jurisdiction of the DC operator.
  • CE 6 is connected to a physical router called provider edge (hereinafter referred to as PE) 7 in the carrier network.
  • PE provider edge
  • the CE 6 is connected to a carrier line that provides three different communication conditions.
  • the “provider” here is a carrier. It is called PE in the sense that it is located at the end of the network that the carrier has jurisdiction over.
  • the management server 8 is connected to VM2, vSW3, vCE4, VXLAN GW5, CE6, and DC network devices.
  • the management server 8 is arranged for each DC, but may be installed in any one DC. In this case, it is assumed that information on devices of other DCs can be collected, and instructions such as setting can be given to vCE4, VXLAN GW5, etc. arranged in each DC.
  • the user interface (hereinafter referred to as UI) generation server 9 provides a UI to users or administrators such as DC operators and tenants.
  • the UI generation server 9 is connected to the management server 8 via a network such as a carrier network.
  • the virtual switch may be a physical switch, a virtual router, or a physical router.
  • the DC cooperation system may be configured to include three or more DCs.
  • CE6 arranged in a plurality of DCs may be connected to the same PE7, or may be connected to a new PEn (n is a natural number other than 1 or 2) not shown.
  • n is a natural number other than 1 or 2
  • a device that operates at Layer 2 that is, a device that performs communication conforming to the Ethernet (registered trademark) standard defined by IEEE 802.3 is referred to as a switch.
  • a device that performs communication conforming to the IP standard defined by IETF RFC 791 is called a router.
  • the functional difference is that the switch refers to the MAC address of the packet to determine the output port, whereas the router refers to the IP address to determine the output port. (Note that a packet refers to an individual group after division when data is divided and sent via a network.)
  • an output port is determined by referring to a destination table 310 described later. .
  • the destination table 310 used in the present embodiment is a generic name for layers 2 and 3.
  • FIG. 3 is a diagram showing the hardware and software configurations of the devices (M1, VM2, vSW3, vCE4, VXLAN GW5, CE6, PE7, management server 8) described in FIG.
  • These devices include a CPU 30, a memory 31, an input device 32, an output device 33, a communication device 34, and one or more ports Pn (n is a natural number), which are connected by an internal bus.
  • a program and data being executed are recorded.
  • the program and data in each device may be stored in the memory 31 in advance, or may be stored in a storage device connected by an internal bus (not shown), for example, Alternatively, it may be input from an external medium such as an SD memory card or a CD-ROM. Further, the function realized by the program may be realized by dedicated hardware.
  • the input device 32 is, for example, a device for inputting a user instruction from a mouse or a keyboard.
  • the output device 33 displays the input state and the result of processing executed on the memory 31 on a management screen or the like. It is a device for outputting.
  • the communication device 34 is a device for transmitting and receiving packets to and from other devices via the port Pn.
  • the CPU 30 executes a program stored in the memory 31.
  • the destination table 310 is common to all apparatuses.
  • the device refers to the destination table 310 and outputs a packet from the port Pn registered for each destination address.
  • the identifier management unit 311 stores information such as virtual network identifiers and carrier line identifiers, for example, VM2, vSW3, vCE4 (actually M1), VXLAN GW5, CE6, management server 8, or a management system that manages them. Or registered in the identifier management table 3141 by manual input or the like.
  • the business operator UI generation unit 318 uses the carrier line connection setting interface screen that is used when the DC business operator performs settings for connecting the communication of the tenant in the DC to the carrier line.
  • the tenant-specific UI generation unit 319 is an interface for DC connection application that is used when the tenant specifies an application for network connection between VMs between bases and a communication condition desired by the tenant.
  • a screen (eg, FIG. 12) is provided.
  • the tenant's communication is differentiated using a virtual network identifier.
  • the virtual network identifier include an IP address and a MAC address. That is, it is only necessary to distinguish tenant communication, and information other than the virtual network identifier can be used.
  • the line connection unit 312 creates a connection management table 3142 and connects the tenant's communication to the carrier line of the communication condition desired by the tenant while issuing the setting and command of the vCE control unit 3121 and the VXLAN GW control unit 3122. To execute the process. Further, the information linkage unit 313 exchanges information in the connection management table 3142 with the management server 8 of another DC.
  • the line management unit 318 measures, for each tenant contract, a band that uses the carrier line and a band that actually flows through the carrier line, and records these values in the line management table 3143.
  • the identification unit 315 acquires an identifier included in the packet, and executes different processing for each identifier.
  • the destination table 310 to be referred to is different for each identifier, or the communication quality for transmitting a packet is changed for each identifier.
  • the vCE 4 has an identifier assigning unit 316 and assigns an identifier in the packet.
  • VXLAN GW 5 has a VTEP (VXLAN Tunnel End ⁇ ⁇ Point) 317 and performs encapsulation by VXLAN.
  • VTEP VXLAN Tunnel End ⁇ ⁇ Point
  • VM2-A1 shown in FIG. 2 transmits a packet to VM2-A2. Since a multi-tenant environment is realized in M1 in this embodiment, it is assumed that a VLAN is used for separation of communication between tenants in M1-X1 in which VM2-A1 is accommodated.
  • the packet transmitted by VM2-A1 reaches VXLAN5-X1 via vSW3-X1, where encapsulation processing by VXLAN is performed.
  • the original packet (1) is encapsulated by the VTEP 317 of the VXLAN GW5-X1, and VNI (VXLAN Network Identifier), DA2 (Destination Address) and SA2 (Source Address) of the VTEP 317, VLAN2 ( Virtual Local Area Network) is added (2), and again, the encapsulated part is removed (1) by VXLAN GW5-X2, and the original VLAN1 is assigned.
  • VXLAN GW5 VXLAN GW5.
  • the packet after VXLAN encapsulation flows through the DC network.
  • the VTEP 317 can distinguish the tenant by the VNI added by itself, but the CE 6 and the PE 7 may not identify the tenant's communication because the CE 6 and the PE 7 do not support VXLAN. Therefore, when a carrier line is used for connection between DCs, a carrier line with different communication conditions cannot be selected for each tenant.
  • a carrier line with any communication condition is selected for each tenant or for each type of communication within the tenant from among a plurality of carrier lines with a communication condition. Make it possible.
  • the DC-X contains the VM2-A1 of the tenant A and the VM2-B1 of the tenant B, and each tenant wants to connect with the VM of the own tenant in the DC-Y as described above. There is a request. At this time, it is assumed that the communication condition of the carrier line requested by the tenant A is (B) low delay (non-redundant), and the communication condition of the carrier line requested by the tenant B is (A) best effort.
  • VLAN ID is used as a method of connecting to a different carrier line from within DC. That is, in the CE 6 connected to the carrier line, the carrier line to be connected is changed for each VID. For example, as shown in FIG. 7, if the CE 6 is a packet with a VID “3501”, (B) a packet with a VID “101” is transmitted to a low delay (non-redundant) carrier line. If so, (A) transmit to the best-effort carrier line.
  • Fig. 5 shows the flow when connecting to a different carrier line from within DC.
  • a setting process (501) by the management server 8 is executed, and then a connection process (502) by the vCE4 and VXLAN GW5 is executed.
  • the setting process may be executed once.
  • the connection process is executed every time a packet flows after the setting process is performed.
  • the setting process (501) will be described.
  • the identifier management unit 311 collects identifiers used in the DC and creates an identifier management table 3141 (5011). Specifically, as shown in FIG. 6, information for specifying a DC, a segment ID, a VID used as a default after VXLAN encapsulation and a virtual network identifier, which are used in the network within the DC, as described above. Are associated with the VID and VNI assigned to the tenant. At the same time, information on the VID assigned to each carrier line having different communication qualities is recorded as the carrier line identifier, and it is checked whether there is any overlap with the virtual network identifier. However, in the above, it is assumed that VLAN is used for communication separation within M1, and VXLAN is used for communication separation between M1.
  • the segment ID allows duplication of other IDs (VID, VNI, etc.) for each segment. For example, if the segment ID is different, the same VID is identified as different communications. For example, in the case of VLAN, since the upper limit of the number of IDs is not as high as 4094, there arises a problem that the number of tenants exceeding it cannot be accommodated. On the other hand, more tenants can be accommodated by providing segment IDs and distinguishing VID duplication by the difference in segment IDs.
  • VID and VNI correspond to 1: 1 as shown in FIG.
  • a virtual network such as a VLAN is used for each range.
  • the identifier used for separation within the tenant for example, VID of VLAN
  • the identifier used for separation between tenants for example, VNI of VXLAN
  • one or more VIDs correspond to the VNI assigned to each tenant.
  • the line connection unit 312 creates the connection management table 3142 (5012). Specifically, in the creation of the connection management table 3142, as shown in FIG. 7, in each DC, a line identifier (attachment) specified for each separated tenant, for each communication type, or for each use. A replacement VID or a grant VID).
  • the process of assigning the replacement VID may be performed in vCE4 or may be performed in VXLAN GW5.
  • the replacement is performed by a combination of VNI and VID. VID is determined.
  • one or more VNIs correspond to one replacement VID regardless of the range to be separated using the virtual network.
  • one or more VIDs correspond to the one VNI. That is, in the case of the present embodiment, communications separated by L VIDs and M VNIs are aggregated into N VIDs.
  • the information cooperation unit 313 transmits the information in the connection management table 3142 to the DC-Y management server 8-Y indicated in the connection destination base in order to exchange information with another DC (5013). Also, an information transmission request is issued to the connection destination base, and the information cooperation unit 313 stores the information of the connection management table 3142 received from the connection destination base in the connection management table 3142 managed by itself.
  • the information cooperation unit 313 When the information on the same tenant at the connection destination base is updated in the connection management table 3142 (5014), the information cooperation unit 313 performs the processing shown in 5015 and 5016. If the information of the connection destination base is not updated even after a certain time (5014), the processing returns to 5013.
  • connection management table 3142 when the information of the connection management table 3142 is received from the connection destination DC, it is assumed that the preparation for execution of the connection processing is completed in the connection destination DC, and the processing after 5015 is performed.
  • the vCE control unit 3121 deploys vCE4 and transmits a command to vCE4 (5015). Specifically, the vCE control unit 3121 refers to the vCE processing column of the connection management table 3142, and if the tenant A is registered with VID replacement processing in vCE4, the packet VID is changed from 11 to 3501. A vCE 4 for tenant A that implements the replacement process is deployed. If the registration is performed without the VID replacement process in vCE4 as in the case of Tenant B, the process of changing the VID of the packet is not performed in vCE4.
  • the VXLAN GW control unit 3122 transmits a command to the VXLAN GW 5 (5016). Specifically, the VXLAN GW control unit 3122 refers to the VXLAN GW processing column of the connection management table 3142, and if the tenant B is registered with the VXLAN GW having VID assignment processing, assigns VID 101 to the packet. Set to VXLAN GW5 to execute the process. If the VXLAN GW5 is registered without the VID assigning process like the tenant A, the process of assigning the packet VID in the VXLAN GW5 is not performed.
  • the identifier setting unit 3123 sets the VID of a communication device such as vSW3 or VXLAN GW5 (5017). This process will be described with reference to FIG.
  • FIG. 8 is a diagram showing the logical connection and processing flow of the carrier line connection system.
  • connection method to a low-delay (non-redundant) carrier line is set in vCE4, and (A) a connection method to a best-effort carrier line is set in VXLAN GW5. .
  • the identifier setting unit 3122 refers to the connection management table 3142 and the topology information 3144, and sets the VLAN of a communication device such as vSW3 or VXLAN GW.
  • the trunk VLAN of VID3501 is set in port PX4
  • the trunk VLANs of VID11 and 3051 are set in port PX5
  • DC- A trunk VLAN with VID 3501 is set to the port Pn of the communication device on the route from X vSW3-X3 to CE6-X.
  • a trunk VLAN of VID12 is set to port PX6. Then, the trunk VLAN of VID 101 is set to the port Pn of the communication device on the route from VXLAN GW5-X1 to CE6-X.
  • the setting process of the identifier setting unit 3123 related to the communication from the DC-X VM 2 to the DC-Y VM 2 has been described above, but the same setting process is performed for the communication from the DC-Y to the DC-X.
  • connection process (502) Next, the flow of the connection process (502) will be described with reference to FIGS.
  • the packet transmission processing at this time is a flow in which the communication device 34 refers to the destination table 310 and transmits the packet to the destination port Pn.
  • the vSW3-X1 receives the packet at the port PX1, and the communication device 34 assigns VID11 set to the access VLAN of PX1 (801) and transmits the packet.
  • the packet is changed (attached) or assigned to a specific VID in vCE4-AX or VXLAN) GW5-X3. “Specific” is determined for each communication condition of the carrier line selected by the tenant.
  • the VID is changed (attached) or assigned by the vCE 4 or VXLAN GW 5 for load distribution. Specifically, since the communication with the low-latency communication condition selected is changed (attached) in vCE4, the VID is “specific VID”, and the communication with the best-effort communication condition selected is Since the grant process is performed in VXLAN GW5, the VID becomes “specific VID”.
  • the vCE4-AX receives the packet, and the identification unit 315 confirms the VID assigned to the packet. If the VID is a specific VID 11 (802), the identification unit 315 changes the packet to the VID 3501 (803). Send.
  • the VXLAN GW5-X3 receives the packet, and the identification unit 315 confirms the VID assigned to the packet. Since the VID is not a specific VID (804), the processing of 805 and 806 is not executed, and the packet Send.
  • the CE 6-X receives the packet, and the identification unit 315 refers to the VID assigned to the packet (807) and transmits the packet to the low-delay carrier line SLA (a) assigned to the VID 3501. (808).
  • the specific VID identified by the vCE 4 and the VXLAN GW 5 is set in advance for the vCE by the vCE control unit 3121 of the management server 8.
  • the management server 8 refers to the connection management table 3142 and instructs the vCE 4 and VXLAN GW 5 to determine whether or not to perform the VID replacement based on the VID assigned to the packet. If the replacement is necessary, it is instructed to replace the replacement VID described in the table.
  • Tenant A's packet goes out of DC without being encapsulated by VXLAN GW5.
  • encapsulation may be performed as in Step 803 described below.
  • CE6-Y receives the packet from the carrier network and transmits the packet to the network in DC-Y.
  • the VXLAN GW5-Y3 receives the packet, and the identification unit 315 confirms the VID assigned to the packet. Since the VID is not a specific VID (811), the processing of 812 and 813 is not executed, and the packet Send.
  • the vCE4-AX receives the packet, and the identification unit 315 confirms the VID assigned to the packet. If the VID is a specific VID 3501 (814), it is changed to VID11 (815), and the packet is transmitted. .
  • the vSW3-Y1 receives the packet, and the identification unit 315 refers to the VID assigned to the packet (816) and transmits the packet to the port PY1 to which VID11 is assigned (817).
  • DC-X The processing in DC-X will be described with reference to FIGS. 8 (a) and 9 (a). However, VM2-A1 and vCE4-AX are read as VM2-B1 and vCE4-BX.
  • VM2-B1 transmits a packet.
  • the vSW3-X1 receives the packet at the port PX3, and the communication device 34 adds the VID 12 set to the access VLAN of the PX3 (801) and transmits the packet.
  • the vCE4-BX receives the packet, and the identification unit 315 confirms the VID assigned to the packet. Since the VID is not a specific VID (802), the processing of 803 is not performed and the packet is transmitted. To do.
  • the VXLAN GW5-X3 receives the packet, and the identification unit 315 confirms the VID assigned to the packet. If the VID is a specific VID12 (804), it passes to the VTEP317, and the VTEP317 encapsulates the VXLAN. Thereafter, VNI 10002 for identifying tenant B is assigned (805), and VID 101 is assigned to the encapsulated packet (806), and the packet is transmitted.
  • the specific VID identification in the VXLAN GW 5 is set in advance for the VXLAN GW 5 by the VXLAN GW control unit 3122 of the management server 8.
  • CE6-X receives the packet, and identification unit 315 refers to the VID assigned to the packet (807) and transmits the packet to low-delay carrier line BE (b) assigned to VID101. (808).
  • vCE4-AY and VM2-A3 are read as vCE4-BX and VM2-B3.
  • CE6-Y receives the packet from the carrier network and transmits the packet to the network in DC-Y.
  • the VXLAN GW5-Y3 receives the packet, and the identification unit 315 confirms the VID assigned to the packet. If the VID is a specific VID12 (811), it passes to the VTEP317, and the VTEP317 encapsulates the VXLAN. Thereafter, VNI 10002 for identifying tenant B is assigned (812), and VID 12 is assigned to the encapsulated packet (813), and the packet is transmitted.
  • the vCE4-BX receives the packet, and the identification unit 315 confirms the VID assigned to the packet. Since the VID is not a specific VID (814), the process of 815 is not performed and the packet is transmitted. .
  • the vSW3-Y1 receives the packet, and the identification unit 315 refers to the VID assigned to the packet (816) and transmits the packet to the port PY2 to which the VID12 is assigned (817).
  • each packet passes through vCE4 and VXLAN GW5, and each device determines whether or not it is a processing target in its own device.
  • vSW3-X1 may determine the VID after VID is granted (801), and send a packet to vCE4 or VXLAN GW5 for each ID, thereby omitting the determination process of vCE4 or VXLAN GW5. good.
  • vCE4-AX sends the packet to CE6-X.
  • the CE 6-Y may determine the VID and transmit a packet to the vCE 4 or the VXLAN GW 5 for each ID.
  • the processing performed by the carrier line connection system described above makes it possible to select a carrier line having a communication condition desired by the tenant from among a plurality of carrier lines having a communication condition for each tenant. That is, tenant A can be connected to (B) a low-delay (non-redundant) carrier line, and tenant B can be connected to (A) a best-effort carrier line.
  • FIG. 10 is a table showing monitoring of carrier line usage status, which is performed by the line management unit 318 of the management server 8.
  • the line management unit 318 includes (1) the band of the carrier line contracted by the carrier, the identifier VID for identifying the carrier line, and (2) the allocated band (tenant And (3) the measured actual bandwidth to be used are managed.
  • the measurement is based on the premise that a known technique such as SNMP or sFlow is used, and the value measured at regular intervals may be rewritten, and the history of the measured value is recorded as time-dependent data. It may be in shape.
  • the carrier contract bandwidth is 10 Gbps
  • the allocated bandwidth is 6.20 Gbps
  • the used bandwidth is 4.68 Gbps.
  • the carrier contract bandwidth is 10 Gbps
  • the allocated bandwidth is 6.20 Gbps
  • the used bandwidth is 4.68 Gbps.
  • carrier line (A) best effort 2 is (1) 10 Gbps, (2) 12.80 Gbps, and (2) exceeds (1), but it is actually used Since the band is (3) 8.00 Gbps, it can be said that the carrier line BE (c) can communicate without congestion.
  • the carrier line connection system makes effective use of the line management table 3143, sets a threshold value (for example, 9 Gbps) to a value lower than (1) in (3), and (3) exceeds the threshold value. It is also possible to incorporate a process such as raising an alert so that a tenant is not assigned to the carrier line in the future.
  • FIG. 11 is a diagram illustrating an example of an interface screen for setting a carrier line connection. This is provided by the business operator UI generation unit 318 of the UI generation server 9. This interface screen is an interface prepared by the DC operator for itself. The operator of the DC operator uses the carrier line connection system to connect the tenant's communication to the carrier line. , Use.
  • the interface screen includes a system configuration area, an identifier management area, a line management area, a current setting status confirmation area, and an inter-DC connection setting area for each DC.
  • connection relationships of machines managed by the DC operator such as VM2, vSW3, and VXLAN GW5 are shown.
  • the identifier shown in FIG. 6 is displayed in the identifier management area. For example, when an arbitrary identifier is clicked in the identifier management area, the device set in the configuration area and the value of the identifier are displayed. Also good.
  • carrier contract band In the line management area, as shown in FIG. 10, (1) carrier contract band, (2) allocated band, and (3) use band for each carrier line are displayed.
  • This display may be displayed in a graph format as illustrated, may be displayed in a numerical format, or both, and as illustrated, it is possible to display data over time. It may be in a format that can refer to past data other than that displayed.
  • the tenant currently connected to the carrier line and the communication condition of the carrier line are indicated in the DC.
  • the inter-DC connection setting area is a setting area for connecting the tenant's communication with the carrier line having the requested communication condition when a tenant makes an application for inter-DC connection.
  • the carrier line connection system performs connection setting. For example, the above-mentioned “specific VID” is different between the communication condition of “best effort” for the carrier line and the communication condition of “low delay”, and the result of different conditional branches in step 802 and step 804 respectively. Become.
  • the selection to the carrier line for example, (3) it is possible to select a carrier line having a free space by looking at the use band shown in FIG. Then, the newly set information is reflected in the current setting status confirmation area. Further, the cancellation may be set from the interface screen.
  • FIG. 12 is a diagram illustrating an interface screen for DC connection application. This is provided by the tenant-specific UI generation unit 319 of the UI generation server 9. This is an interface that a DC operator prepares for a tenant who has a system in DC. Used by tenant operators to connect tenant communications to a carrier line under the communication conditions selected by the tenant.
  • the interface screen has a current usage status confirmation area and a DC connection usage application area.
  • a tenant user can access a tenant-specific interface screen by accessing a URL provided by the DC operator and inputting the tenant ID and password assigned by the DC operator.
  • the current usage status confirmation area includes the DC in which the tenant's system is accommodated, the base where the tenant has applied for usage and is in an interconnectable state, and the communication conditions of the carrier line connecting those bases. Is displayed.
  • the inter-DC connection use application area when a tenant wants to mutually communicate between systems accommodated in two or more DCs, an application for connecting the DCs with a carrier line is performed.
  • the application information is transmitted to the DC operator.
  • the transmission format may be displayed in a pop-up or the like on the DC connection application interface screen shown in FIG.
  • the setting may be automatically performed.
  • the application may be canceled from the interface screen.
  • interface screens illustrated in FIG. 11 and FIG. 12 are merely examples, and it is not necessary that all elements are provided as long as necessary processing can be performed, and other elements may be included.
  • the management server 8 changes the VID of the packet in cooperation with the vCE 4 and the VXLAN GW 5.
  • this processing may be performed by another dedicated device, or may all be performed by the VXLAN GW5.
  • the instruction from the management server to the communication device shown in the present embodiment can be realized by using a technique such as Openflow (registered trademark).
  • a tenant always selects a carrier line having a single communication condition.
  • a different carrier line may be selected for each time slot.
  • a time zone column is added to the connection management table 3142 shown in FIG. 7, and a single tenant is connected to a carrier line having different communication conditions for each time zone, every period, every day of the week, etc. It may be in the form of
  • the minimum range of communication to be separated may be the application unit.
  • the tenant is set to transmit a packet having a different VID for each application
  • the setting for changing the VID in the access VLAN is deleted in the vSW 3
  • the setting for changing the VID is changed for each tenant. It may be performed for each application instead of the above.
  • the VID for identifying the tenant set by the vSW 3 is not entered in the VID column of the virtual network identifier shown in FIG.
  • the communication conditions exemplified in the present embodiment are line quality (no delay or best effort), line redundancy, line occupation or sharing, but other conditions may be used.
  • the DC business may contract with a plurality of carriers and change the carriers themselves for each tenant.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Small-Scale Networks (AREA)

Abstract

テナント毎に指定の通信条件の回線を提供するＤＣ間連携システムであって、各ＤＣにおいて、複数のＤＣそれぞれの、テナント毎の通信を分離させる通信種類識別子としての仮想ネットワーク識別子（ｉ）および/または（ii）と、キャリアが提供する、通信条件の異なる複数の通信を分離させる回線識別子としての仮想ネットワーク識別子（iii）とを、識別し、対応付けて管理し、通信種類識別子をもとに、各テナントの通信を識別し、送信側ＤＣにおいて、通信内容に基づき識別した各通信に、テナントが希望する通信条件を有する回線を割り当てるいずれかの回線識別子を付与し、受信側ＤＣにおいて、回線識別子をもとに、回線識別子が付与された、各テナントの通信を識別し、受信側ＤＣにおける通信種類識別子を付与する。

Description

データセンタ連携システム、および、その方法
　開示される主題は、データセンタ（ＤＣ）などの拠点の間で行う複数の通信それぞれの条件を確保する技術に関する。
　近年、クラウドコンピューティングやクラウドサービスが社会に浸透し、企業システムをはじめとした多種多様なシステムを、ＤＣと呼ばれる大規模な計算機システムへの集約の動きが加速している。ＤＣは、システムを安定して運用させるための設備とそのための人員配置、セキュリティ機能、自然災害に耐えうる強靭な施設、を備えている。
　ＤＣに収容されるシステムに着目すると、ＢＣＰ（事業継続計画、Business continuity planning）の要求や、エッジコンピューティング（地理的にユーザに近いデータセンタからサービスを提供する形態）を目的とし、地理的に分散した複数のＤＣを連携させたひとつのシステム（以下、ＤＣ連携システムという）を構成する形態が増えつつある。
　一方、ＤＣの提供形態のひとつにパブリッククラウドがある。パブリッククラウドは、１つのクラウドシステム上に、複数のテナントのシステムを収容するマルチテナント型であることが特徴である。ここでいうテナントとは、論理的に区別された集合のことを指し、例えば、企業や、部署などに相当する。すなわち、ＤＣには、複数テナントのシステムが収容されている。
　したがって、ＤＣ事業者は、複数のＤＣを連携させたひとつのＤＣ連携システム上で、複数のテナントのシステムを運営している。
　ＤＣ事業者は、ＤＣ内のマルチテナントシステムの通信の分離に、例えば、仮想ネットワークを用いる。本明細書では、あるユーザが利用することができる論理的なネットワーク資源の一部を、仮想ネットワークと呼ぶ。そして、仮想ネットワークを実現する技術に、VLAN（Virtual LAN）や非特許文献２に記載の技術などがある。
　一方、ＤＣ連携システムの実現のため、ＤＣ事業者は、あるＤＣに収容される特定のテナントシステムと、地理的に離れたＤＣに収容される前記特定のテナントのシステムとを、それら２つのＤＣ間に敷設されている通信キャリア（自身が所有する通信設備の貸し出しサービスを、回線契約という形で提供する事業者。以下、キャリアという）が所有するネットワークを利用して、相互通信可能な状態にさせる必要がある。つまり、ＤＣ事業者は、キャリアが所有するネットワーク資源の一部を借用する形になる。本明細書では、キャリアからある顧客（この例ではＤＣ事業者）に貸し出されるネットワーク資源の一部を、キャリア回線（もしくは、回線）と表現する。
　特許文献１に記載の技術では、ＭＶＮＯ（仮想移動体通信事業者、Mobile Virtual Network Operator）が、エンドポイントとなる電話端末に付与された電話番号と、ＩＰアドレス、ＭＡＣアドレスを用いて電話端末を認識し、エンドポイントの通信を、キャリア回線に割り当て、前記電話端末の接続先との通信を可能としている（段落０００２、００１６）。
特開２００６－３４０２６７号公報
ＩＥＥＥ　、"８０２．１ａｈ　－　Ｐｒｏｖｉｄｅｒ　Ｂａｃｋｂｏｎｅ　Ｂｒｉｄｇｅｓ"、［平成２７年６月３日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｉｅｅｅ８０２．ｏｒｇ／１／ｐａｇｅｓ／８０２．１ａｈ．ｈｔｍｌ＞ Tｈｅ　Ｉｎｔｅｒｎｅｔ　Ｅｎｇｉｎｅｅｒｉｎｇ　Ｔａｓｋ　Ｆｏｒｃｅ　、"Ｖｉｒｔｕａｌ　ｅＸｔｅｎｓｉｂｌｅ　Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ　（ＶＸＬＡＮ）：　Ａ　Ｆｒａｍｅｗｏｒｋ　ｆｏｒ　Ｏｖｅｒｌａｙｉｎｇ　Ｖｉｒｔｕａｌｉｚｅｄ　Ｌａｙｅｒ　２　Ｎｅｔｗｏｒｋｓ　ｏｖｅｒ　Ｌａｙｅｒ　３　Ｎｅｔｗｏｒｋｓ"、ＩＥＴＦ、［平成２６年８月発行］、［平成２７年１月９日検索］、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ｄａｔａｔｒａｃｋｅｒ．ｉｅｔｆ．ｏｒｇ／ｄｏｃ／ｒｆｃ７３４８／＞
　ＤＣに収容されるマルチテナントシステムでは、テナント毎に、ＤＣ間ネットワークに対する通信条件要求が異なる場合がある。
　例えば、テナントＡは、２つのＤＣを繋いで、基幹系システムのＤＲ（ディザスタリカバリ、Disaster Recovery）システムを構成しており、リアルタイムで、差分データの同期がおこなわれ、遅延を許容しない。一方、テナントＢは、２つのＤＣで、メールデータの日次バックアップをおこなっており、２４時間以内にデータが同期できれば良い、など。
　つまり、テナントＡについては、テナントＡが要求する通信条件で、テナントＢについては、テナントＢが要求する通信条件で、複数のＤＣ内の各々のシステム同士を接続する必要がある。ここでいう、通信条件とは、例えば、回線の品質（例えば、低遅延、ベストエフォート、回線の冗長化、物理的な回線の占有または共有など）、または、セキュリティ（暗号化、検疫が強化されたネットワークか、など）などを指す。
　つまり、ＤＣ間ネットワークにおいては、ＤＣ内とは異なる条件に基づく通信の分離が必要になる。
　以上のことから、ＤＣ連携システムにおいては、通信の分離を二重に行う必要がある。
　これに対して、非特許文献１には、仮想ネットワーク（ＶＬＡＮ）の２重化が開示されている。
　しかし、非特許文献１に記載の技術では、ＶＬＡＮの識別子数が、分割できる通信数の上限となる。つまり、例えば、ＤＣ事業者は、４０９４以上の数のテナントを収容できないという問題が生じる。
　これに対して、非特許文献２には、仮想ネットワーク数が、ＶＬＡＮの４０９４を上回る、約１６００万を利用可能となる法（ＶＸＬＡＮ）が開示されている。
　近年、ＶＸＬＡＮに対応するネットワーク装置が開発され、ＶＸＬＡＮの利用にも対応した構成を備えるＤＣも増えつつある。しかし、その場合でもＤＣ内の全ての装置がＶＸＬＡＮに対応していない。また、キャリア回線においては、同様である。
　つまり、ＤＣ内と、キャリア回線とにおいて、従来のＶＬＡＮと新しいＶＸＬＡＮとが混在して利用されている。しかし、二つを併用しながら、ＤＣ内、および、キャリア回線を含むＤＣ間において、通信の分離性を維持することは実現されていない。
　開示されるのは、計算機システム間を繋ぐ回線において、計算機システム内で使われる仮想ネットワーク識別子数より少ない仮想ネットワーク識別子を用いつつ、複数の計算機システム間でのエンドＴＯエンドでの通信の分離を維持する技術である。
　当該技術を用いる具体的な態様の一つは、複数の計算機システムをネットワークで接続する計算機システム連携システムである。
　開示されるより具体的な態様の一つとして、計算機システムとしてＤＣを想定し、複数のＤＣをキャリア回線で接続するＤＣ連携システムを挙げ、その特徴を、図１を用いて説明する。
　ＤＣ連携システムは、以下の機能を備える。
　各ＤＣにおいて、複数のＤＣそれぞれの、テナント毎の通信を分離させる、通信種類識別子としての仮想ネットワーク識別子（ｉ）および/または（ii）と、キャリアが提供する、通信条件の異なる複数の通信を分離させる、回線識別子としての仮想ネットワーク識別子（iii）とを、識別し、対応付けて管理する機能（仮想ネットワーク識別子（i）（ii）の使い分けについては後述する）。
　各ＤＣにおいて、上記仮想ネットワーク識別子（ｉ）および/または（ii）と（iii）を用いた通信を実現するために、ＤＣ内の各通信装置に設定を行う、または設定を指示する機能。
　各ＤＣにおいて、前記仮想ネットワーク識別子（ｉ）および/または（ii）をもとに、各テナントの通信、または、各テナント内の複数種類の通信、を識別する機能。
　送信側ＤＣにおいて、通信内容に基づき識別した各通信に、テナントが希望する通信条件を有するキャリア回線を割り当てるいずれかのキャリア回線識別子（仮想ネットワーク識別子（iii））を付与する機能。　受信側ＤＣにおいて、前記キャリア回線識別子をもとに、前記キャリア回線識別子が付与された、各テナントの通信、または、各テナント内の複数種類の通信、を識別し、受信側ＤＣにおける前記仮想ネットワーク識別子（ｉ）および/または（ii）を付与する機能。
　仮想ネットワークを用いて分離する範囲が、テナントより細かい場合（例えば、テナント内の部署、または、通信の、種類、若しくは、用途、若しくは、アプリケーション）は、仮想ネットワーク識別子（ii）により分離する通信をさらに、仮想ネットワーク識別子（ii）により分離してもよい。この場合、仮想ネットワーク識別子（ｉ）と（ii）との組み合わせと、仮想ネットワーク識別子（iii）と、の対応付けを管理する。
　本明細書において開示される主題の、少なくとも一つの実施の詳細は、添付されている図面と以下の記述の中で述べられる。開示される主題のその他の特徴、態様、効果は、以下の開示、図面、請求項により明らかにされる。
　開示によれば、計算機システム間接続において、通信の分離性を維持しつつ、複数の通信条件の回線のいずれかを、割り当てることが可能となる。
開示される処理の概略を示した図である。 開示されるネットワークシステム構成の概略を示した図である。 物理マシン１、仮想マシン２、仮想スイッチ３、仮想センターエッジ４、ＶＸＬＡＮ　ＧＷ５、カスタマーエッジ６、プロバイダーエッジ７、管理サーバ８の機能的な構成を示した図である。 ＶＸＬＡＮの処理の概略を示した図である。 キャリア回線接続システムの処理フローを示した図である。 識別子管理テーブル３１４１を示した図である。 接続管理テーブル３１４２を示した図である。 実施例に係るＤＣ－Ｘ内の論理的な接続と処理の流れを示した図である。 実施例に係るＤＣ－Ｙ内の論理的な接続と処理の流れを示した図である。 実施例に係る接続処理の、ＤＣ－Ｘ内における処理の流れを示した図である。 実施例に係る接続処理の、ＤＣ－Ｙ内における処理の流れを示した図である。 回線管理テーブル３１４３を示した図である。 キャリア回線続設定用インターフェース画面を示した図である。 ＤＣ間接続申し込み用インターフェース画面を示した図である。
　以下、課題を解決するための一実施例を、説明する。
　本実施例では、以下の状況を仮定して説明する。
　ＤＣ事業者は、複数のＤＣを繋いだＤＣ連携システムを運営しており、それらＤＣ間の接続においては、キャリアが提供する複数の通信条件の異なるキャリア回線を利用して接続している。例えば、遅延を保証しない（Ａ）ベストエフォート、（Ｂ）低遅延（非冗長）、（Ｃ）低遅延（冗長）の３種類をキャリアから借りている。
　キャリア回線とは、キャリアが提供する広域回線接続サービスで、接続には、ＭＰＬＳ、ＩＰ　ＶＰＮや、広域イーサネットなどが用いられる。
　図２は、本実施例における、データセンタＤＣ－Ｘ、ＤＣ－Ｙをキャリア網で接続するＤＣ連携システムを示す構成図である。用語を定義しながら、説明する。
　各ＤＣにおいて、物理計算機または物理マシン（以下、Ｍと記す）１は、仮想計算機または仮想マシン（以下、ＶＭと記す）２と、仮想スイッチ（以下、ｖＳＷと記す）３と、仮想カスタマーエッジ（以下、ｖＣＥと記す）４と呼ぶ仮想ルータとを、実現している。仮想マシン２、仮想スイッチ３、仮想ルータ４は、物理マシン１のメモリに格納されるプログラムが、物理マシン１のハードウェア資源を利用しつつ実行されることにより実現する、仮想的な装置である。
　図２中の－Ａ１、－Ｂ１、、、－ＡＹ、－ＢＹについて、Ａ、Ｂは、テナントを区別し、１～Ｙは、一つのテナント内の仮想マシンを区別する。つまり、図２は、各物理マシン上に異なるテナントのＶＭが実現されているマルチテナント環境を表現している。
　なお、ｖＣＥ４の「エッジ」とは、ある管理範囲の端に位置する通信装置を指す。テナントは、ＤＣ事業者から見た場合の「カスタマー」に相当するため、テナントという管理範囲の端に位置する装置を、ｖＣＥという。ｖＣＥは、テナント毎に配備され、本実施例においては、キャリア回線を利用する場合は、ｖＣＥを経由する必要がある。そのためには、例えば、テナントのＶＭのデフォルトゲートウェイをｖＣＥ４に設定しておくなどの方法がある。本実施例の場合、ｖＣＥ４はＤＣ事業者の管理下にあるが、上記のとおり、テナントのＶＭのデフォルトゲートウェイをｖＣＥ４に設定しておくなど、各テナントが意識する通信装置であるため、ｖＣＥと呼ぶ。
　図２では、ｖＣＥ４は、ＶＭ２とは、物理的に異なるＭ１に配置しているが、同じＭ１に配置していても良い。また、ｖＣＥ４に記載されているポートＰｎの説明は後述する。
　ＶＭ２と、ｖＣＥ４は、ｖＳＷ３と接続しており、ｖＳＷ３が、ＶＸＬＡＮ　ゲートウェイ（以下、ＧＷと記す）５と呼ぶ物理ルータと接続している。ＧＷとは、一般的に、ネットワークの境界に配置され、ネットワーク間のデータを中継する装置を指す。本明細書では、ＶＸＬＡＮ技術を用いることにより、ＶＸＬＡＮ以外の通信と、ＶＸＬＡＮ通信とを、相互に変換して中継するため、ＶＸＬＡＮ　ＧＷと呼ぶ。
　ＶＸＬＡＮ　ＧＷ５は、一般的には、さらに、ＤＣ内で、複数のスイッチや、ルータなどと接続しているが、本実施例では、そのネットワーク構成は問わないため、それをＤＣ内ネットワークと表す。上述の通り、ＶＬＡＮでは識別子数が不足する場合があり、本実施例の各ＤＣでは、ＤＣ内ネットワークにＶＸＬＡＮを用いている。また、ＶＸＬＡＮ　ＧＷ５は、物理マシン１内部で仮想的に構成されていても良い。
　ＶＸＬＡＮ　ＧＷ５は、ＤＣ内ネットワークを介して、ＤＣの出入口に位置する、カスタマーエッジ（以下、ＣＥと記す）６と呼ぶ物理ルータに接続している。ＣＥ６における「カスタマー」は、ｖＣＥ４のとは異なり、キャリアにとってのＤＣ事業者である。ＤＣ事業者が管轄するネットワークの端に位置するという意味で、ＣＥという。
　ＣＥ６は、キャリア網内のプロバイダーエッジ（以下、ＰＥと記す）７と呼ぶ物理ルータに接続する。
　本実施例では、ＣＥ６は、３種類の異なる通信条件を提供するキャリア回線に接続している。ここでいう「プロバイダー」は、キャリアのことである。キャリアが管轄するネットワークの端に位置するという意味で、ＰＥという。
　また、管理サーバ８は、ＶＭ２と、ｖＳＷ３と、ｖＣＥ４と、ＶＸＬＡＮ　ＧＷ５と、ＣＥ６およびＤＣ内ネットワークの装置と接続している。図２に示す構成では、管理サーバ８は、ＤＣ毎に配置されているが、いずれか１つのＤＣに設置しても良い。その場合は、他のＤＣの装置の情報を収集でき、それぞれのＤＣに配置されるｖＣＥ４やＶＸＬＡＮ ＧＷ５などへ設定等の指示ができるものとする。
　ユーザインターフェース（以下、ＵＩと記す）生成サーバ９は、ＤＣ事業者、テナントなどの利用者または管理者に、ＵＩを提供する。ＵＩ生成サーバ９は、管理サーバ８とキャリア網などのネットワークで接続されている。
　上記に示した構成はあくまでも一例であり、この限りではない。例えば、仮想スイッチが物理スイッチであってもよいし、仮想ルータや物理ルータであってもよい。また、ＤＣ連携システムは、３以上のＤＣを備える構成であっても良い。その場合、複数のＤＣに配置されるＣＥ６が、同一のＰＥ７に接続する形でも良いし、図示されていない新たなＰＥｎ（ｎは１、２以外の自然数）に接続する形でも良い。ただし、後者の場合、３以上のＰＥ７の間で、どの組み合わせにおいても通信可能な状態にあり、また、複数の異なる通信条件を提供するキャリア回線が提供されている状態にあるものとする。
　また、本実施例では、レイヤ２で動作するもの、つまり、ＩＥＥＥ８０２．３にて規定されたイーサネット（登録商標）規格に準拠した通信を行うものをスイッチと呼び、レイヤ３で動作するもの、つまり、ＩＥＴＦ　ＲＦＣ７９１にて既定されたＩＰ規格に準拠した通信を行うものをルータと呼ぶ。機能的な違いは、スイッチがパケットのＭＡＣアドレスを参照して出力ポートを決定するのに対し、ルータがＩＰアドレスを参照して出力ポートを決定する。（なお、パケットとは、網を介して、データを分割して送る際の、分割後の個々のかたまりを指す）このとき、出力ポートの決定には、後述する宛先表３１０を参照して決める。なお、本実施例で用いる宛先表３１０は、レイヤ２とレイヤ３で用いるものを総称する。
　図３は、図２にて説明した装置（Ｍ１、ＶＭ２、ｖＳＷ３、ｖＣＥ４、ＶＸＬＡＮ　ＧＷ５、ＣＥ６、ＰＥ７、管理サーバ８）のハードウェア及びソフトウェアの構成を示した図である。
　これらの装置には、ＣＰＵ３０、メモリ３１、入力装置３２、出力装置３３、通信装置３４、および、１つ以上のポートＰｎ（ｎは自然数）を備え、それらが内部バスで接続される。
　メモリ３１には、実行中のプログラムやデータが記録される。各装置内のプログラムやデータは、あらかじめメモリ３１に格納しておいてもよいし、図示していないが、同様に内部バスで接続されている記憶装置に格納しておいてもよいし、例えば、ＳＤメモリーカードやＣＤ－ＲＯＭ等の外部媒体から入力してもよい。また、プログラムにより実現される機能を、専用のハードウェアにより実現してもよい。
　入力装置３２は、例えば、ユーザの指示をマウスやキーボードから入力するための装置であり、出力装置３３は、その入力の状態や、メモリ３１上で実行された処理の結果を、管理画面等に出力するための装置である。
　通信装置３４は、ポートＰｎを介して、他装置とパケットを送受信するための装置である。ＣＰＵ３０はメモリ３１に格納されたプログラムを実行する。
　次に、メモリ３１で実行される機能について説明する。
　まず、全ての装置に共通して存在するのは、宛先表３１０である。装置は、宛先表３１０を参照して、宛先アドレス毎に登録されている、ポートＰｎからパケットを出力する。
　次に、管理サーバ８の機能を説明する。識別子管理部３１１は、仮想ネットワーク識別子や、キャリア回線識別子などの情報を、例えば、ＶＭ２、ｖＳＷ３、ｖＣＥ４（実態としてはＭ１）やＶＸＬＡＮ ＧＷ５、ＣＥ６、管理サーバ８、もしくは、それらを管理する管理システムから取得して、もしくは、人手による入力などにより、識別子管理テーブル３１４１に登録する。
　次に、ＵＩ生成サーバ９の機能を説明する。事業者向けＵＩ生成部３１８は、本実施例においては、ＤＣ事業者が、ＤＣ内のテナントの通信を、キャリア回線と接続するための設定を行う際に活用する、キャリア回線接続設定用インターフェース画面（例えば図１１）を提供する。テナント向けＵＩ生成部３１９は、本実施例においては、テナントが、拠点間のＶＭ同士のネットワーク接続の申請、及び、自身が希望する通信条件を指定する際に活用する、ＤＣ間接続申し込み用インターフェース画面（例えば図１２）を提供する。
　本実施例では、テナントの通信の区別を、仮想ネットワーク識別子を用いて実施するものとしているが、仮想ネットワーク識別子に相当するものとして、他には、ＩＰアドレスやＭＡＣアドレスなどがあげられる。つまり、テナントの通信を区別できれば良く、仮想ネットワーク識別子以外の情報を利用することも可能である。
　回線接続部３１２は、接続管理テーブル３１４２を作成し、ｖＣＥ制御部３１２１や、ＶＸＬＡＮ ＧＷ制御部３１２２の設定や命令を発行しながら、テナントの通信を、テナントが希望する通信条件のキャリア回線へ接続するための処理を実行する。また、情報連携部３１３は、他ＤＣの管理サーバ８との間で、接続管理テーブル３１４２の情報を交換する。
　回線管理部３１８は、テナントの契約毎に、契約上、キャリア回線を利用している帯域や、実際にキャリア回線を流れている帯域を計測し、それらの値を回線管理テーブル３１４３へ記録する。
　次に、ＣＥ６及びＰＥ７の機能を説明する。識別部３１５は、パケットに含まれる識別子を取得し、識別子毎に異なる処理を実行する。例えば、識別子毎に、参照する宛先表３１０を異ならせたり、識別子毎に、パケットを送信するための通信品質を変えたり、などが可能となる。
　ｖＣＥ４は、これに加え、識別子付与部３１６を有し、パケット内に、識別子を付与する。
　ＶＸＬＡＮ ＧＷ５は、これに加え、ＶＴＥＰ（VXLAN Tunnel End Point）３１７を有し、ＶＸＬＡＮによるカプセル化を行う。
　図２及び図４を用いて、ＶＸＬＡＮによるカプセル化の処理の概要を説明する。
　図２に示すＶＭ２－Ａ１が、ＶＭ２－Ａ２へパケットを送信する場合を考える。本実施例におけるＭ１ではマルチテナント環境が実現されているため、ＶＭ２－Ａ１が収容されているＭ１－Ｘ１内では、テナント間通信の分離のために、ＶＬＡＮが用いられているとする。
　ＶＭ２－Ａ１が送信したパケットは、ｖＳＷ３－Ｘ１を経由して、ＶＸＬＡＮ５－Ｘ１へ到達し、ここで、ＶＸＬＡＮによるカプセル化処理が行われる。図４に示すように、元々のパケット（１）は、ＶＸＬＡＮ　ＧＷ５－Ｘ１のＶＴＥＰ３１７にてカプセル化され、ＶＮＩ（VXLAN Network Identifier）、ＶＴＥＰ３１７のＤＡ２（Destination Address）及びＳＡ２（Source Address）、ＶＬＡＮ２（Virtual Local Area Network）などが付け加えられ（２）、再び、ＶＸＬＡＮ　ＧＷ５－Ｘ２にて、カプセル化された部分がはずされ（１）、元のＶＬＡＮ１が付与される。
　本実施例では、ＶＸＬＡＮ　ＧＷ５にてカプセル化された後のＶＬＡＮ２には、デフォルトＶＬＡＮ ＩＤ１が付与されるものとする。
　ＤＣ内ネットワークには、ＶＸＬＡＮカプセル化された後のパケットが流れる。ＶＴＥＰ３１７は、自分が付け加えたＶＮＩでテナントを区別することができるが、ＣＥ６やＰＥ７は、ＶＸＬＡＮに対応していないため、テナントの通信を識別できない可能性がある。従って、ＤＣ間の接続にキャリア回線を用いる場合、テナント毎に、異なる通信条件のキャリア回線を選択することができない。
　本実施例は、ＤＣ間接続において、複数の通信条件のキャリア回線の中から、いずれかの通信条件のキャリア回線を、テナント毎に、あるいは、テナント内の通信の種類ごとに、選択することを可能とする。
　以下、図５～図９を用いて、詳細を示す。
　ＤＣ－Ｘには、テナントＡのＶＭ２－Ａ１が、テナントＢのＶＭ２－Ｂ１が収容されており、それぞれのテナントは、前述したように、ＤＣ－Ｙ内の自テナントのＶＭと接続させたいという要望がある。このとき、テナントＡが要求するキャリア回線の通信条件は、（Ｂ）低遅延（非冗長）だとし、テナントＢが要求するキャリア回線の通信条件は、（Ａ）ベストエフォートだとする。
　ＤＣ内から、異なるキャリア回線への接続する方法は、例えば、ＶＬＡＮ　ＩＤ（ＶＩＤ）を利用する。つまり、キャリア回線に接続するＣＥ６にて、ＶＩＤ毎に、接続するキャリア回線を変更する。例えば、図７に示すように、ＣＥ６は、ＶＩＤ「３５０１」が付与されたパケットであれば、（Ｂ）低遅延（非冗長）のキャリア回線へ送信し、ＶＩＤ「１０１」が付与されたパケットであれば、（Ａ）ベストエフォートのキャリア回線へ送信する。
　図５に、ＤＣ内から、異なるキャリア回線への接続する際の流れを示す。
　大まかには、管理サーバ８による設定処理（５０１）が実行され、次に、ｖＣＥ４及びＶＸＬＡＮ　ＧＷ５による接続処理（５０２）が実行される。設定処理は、１回実行すれば良い。接続処理は、設定処理が実施された後に、パケットが流れる都度、実行する。
　設定処理（５０１）から説明する。
　まず、識別子管理部３１１は、ＤＣ内で使用されている識別子を収集し、識別子管理テーブル３１４１を作成する（５０１１）。具体的には、図６に示すように、ＤＣを特定する情報と、セグメントＩＤと、前述した、ＤＣ内ネットワークで利用されている、ＶＸＬＡＮカプセル化後にデフォルトで付与されるＶＩＤと、仮想ネットワーク識別子として、テナントに割り当てられているＶＩＤ及びＶＮＩと、を対応付ける。併せて、キャリア回線識別子として、異なる通信品質を有するキャリア回線毎に割りあてているＶＩＤの情報を記録し、仮想ネットワーク識別子との重複がないかをチェックする。ただし、上記では、Ｍ１内の通信の分離にＶＬＡＮを用い、Ｍ１間の通信の分離にＶＸＬＡＮを使うことを想定する。
　セグメントＩＤとは、他ＩＤ（ＶＩＤ、ＶＮＩなど）の重複を、セグメント毎に許容するもので、例えば、セグメントＩＤが異なれば、同一のＶＩＤでも、異なる通信として識別する。例えばＶＬＡＮの場合、ＩＤ数の上限が４０９４と多くないので、それを超えるテナント数を収容できないという問題が発生する。これに対し、セグメントＩＤを設け、セグメントＩＤの違いでＶＩＤの重複を区別すれば、より多くのテナントを収容できる。
　仮想ネットワークを用いて分離する最小範囲がテナントである場合は、図６に示すようにＶＩＤとＶＮＩとは１：１に対応する。仮想ネットワークを用いて分離する範囲がテナントより細かい場合（例えば、テナント内の部署、または、通信の、種類、若しくは、用途、若しくは、アプリケーション）は、その範囲毎に、ＶＬＡＮなどの仮想ネットワークを用いて分離する。その場合、テナント内の分離に用いる識別子（例えばＶＬＡＮのＶＩＤ）とテナント間の分離に用いる識別子（例えばＶＸＬＡＮのＶＮＩ）とは１：１に対応するのではなく、例えば、図６に示すテナントＣのように、テナント毎に付されたＶＮＩに、一つ以上のＶＩＤが対応する。
　次に、回線接続部３１２は、接続管理テーブル３１４２を作成する（５０１２）。具体的には、接続管理テーブル３１４２の作成において、図７に示すように、各ＤＣにおいて、分離されているテナント毎、または、通信の種類、若しくは、用途ごとに、指定される回線識別子（付替ＶＩＤ、または、付与ＶＩＤという）を付与する。
　付替ＶＩＤの付与処理は、ｖＣＥ４において行っても良いし、ＶＸＬＡＮ　ＧＷ５で行っても良い。
　上述のように、仮想ネットワークを用いて分離する最小範囲がテナントより小さい場合、すなわち、テナント毎に付されたＶＮＩに一つ以上のＶＩＤが対応する場合は、ＶＮＩとＶＩＤとの組み合わせで付替ＶＩＤが決まる。
　本実施例の場合、付替ＶＩＤの数は、回線の種類数以下になるので、仮想ネットワークを用いて分離する範囲に係らず、一つの付替ＶＩＤに一つ以上のＶＮＩが対応する。通信の分離最小範囲がテナントよりさらに細かい場合は、上記一つのＶＮＩに更に一つ以上のＶＩＤが対応する。すなわち、本実施例の場合、Ｌ個のＶＩＤとＭ個のＶＮＩとで分離される通信が、Ｎ個のＶＩＤに集約されることになる。
　情報連携部３１３は、接続管理テーブル３１４２の情報を、他ＤＣと交換するため、接続先拠点に示されるＤＣ－Ｙの管理サーバ８－Ｙに送信する（５０１３）。また、接続先拠点に情報送信要求を発行し、情報連携部３１３は、接続先拠点から受信した接続管理テーブル３１４２の情報を、自身が管理する接続管理テーブル３１４２に保存する。
　情報連携部３１３は、接続管理テーブル３１４２に、接続先拠点における、同一テナントの情報が更新された場合（５０１４）、５０１５、５０１６に示す処理を実施する。一定時間たっても、接続先拠点の情報が更新されない場合（５０１４）、５０１３の処理に戻る。
　本システムでは、接続先ＤＣから、接続管理テーブル３１４２の情報を受け取った契機で、接続先ＤＣにおいて、接続処理の実施準備が完了したものと見なし、５０１５以降の処理を実施する。
　ｖＣＥ制御部３１２１は、ｖＣＥ４を配備し、ｖＣＥ４に命令を送信する（５０１５）。具体的には、ｖＣＥ制御部３１２１は、接続管理テーブル３１４２のｖＣＥ処理欄を参照し、テナントＡが、ｖＣＥ４でのＶＩＤ付け替え処理有で登録されていれば、パケットのＶＩＤを、１１から３５０１へ付け替える処理を実施する、テナントＡ用のｖＣＥ４を配備する。テナントＢのように、ｖＣＥ４でのＶＩＤ付け替え処理無で登録されていれば、ｖＣＥ４で、パケットのＶＩＤを付け替える処理は実施しない。
　ＶＸＬＡＮ　ＧＷ制御部３１２２は、ＶＸＬＡＮ　ＧＷ５に命令を送信する（５０１６）。具体的には、ＶＸＬＡＮ　ＧＷ制御部３１２２は、接続管理テーブル３１４２のＶＸＬＡＮ　ＧＷ処理欄を参照し、テナントＢが、ＶＸＬＡＮ　ＧＷでのＶＩＤ付与処理有で登録されていれば、パケットに、ＶＩＤ１０１を付与する処理を実施するよう、ＶＸＬＡＮ　ＧＷ５に設定する。テナントＡのように、ＶＸＬＡＮ　ＧＷ５でのＶＩＤ付与処理無で登録されていれば、ＶＸＬＡＮ　ＧＷ５でパケットのＶＩＤを付与する処理は実施しない。
　なお、５０１５、５０１６の順番は問わない。
　次に、識別子設定部３１２３が、ｖＳＷ３、ＶＸＬＡＮ　ＧＷ５などの通信装置のＶＩＤを設定する（５０１７）。この処理については、図８を用いて説明する。
　図８は、キャリア回線接続システムの論理的な接続と、処理の流れを示した図である。
　本実施例では、（Ｂ）低遅延（非冗長）のキャリア回線への接続にはｖＣＥ４において、（Ａ）ベストエフォートのキャリア回線への接続にはＶＸＬＡＮ　ＧＷ５において、設定を実施する方法を例示する。
　本システムにて、テナントの通信が、キャリア回線へ接続するように、テナントのＶＭを発信したパケットが、ＣＥ６に到達するまでの経路に配置される通信装置のＶＩＤを揃えておく必要がある。つまり、識別子設定部３１２２は、接続管理テーブル３１４２と、トポロジ情報３１４４を参照し、ｖＳＷ３やＶＸＬＡＮ　ＧＷなどの通信装置のＶＬＡＮを設定する。
　例えば、テナントＡ向けの、ＶＭ２－Ａ１からＶＭ２－Ａ３への通信を可能とする設定としては、ポートＰＸ４にＶＩＤ３５０１のトランクＶＬＡＮを、ポートＰＸ５にＶＩＤ１１、３０５１のトランクＶＬＡＮを、同様に、ＤＣ－ＸのｖＳＷ３－Ｘ３からＣＥ６－Ｘに到達するまでの経路にある通信装置のポートＰｎに、ＶＩＤ３５０１のトランクＶＬＡＮを設定する。
　さらに、ＤＣ－Ｙの、ＣＥ６－ＹからｖＳＷ３－Ｙ３のポートＰＹ４に到達するまでの経路にある通信装置のポートＰｎに、ＶＩＤ３５０１のトランクＶＬＡＮを設定する必要があるが、この設定は、ＤＣ－Ｙにて実施される。
　一方、テナントＢ向けの、ＶＭ２－Ｂ１からＶＭ２－Ｂ３への通信を可能とする設定としては、ポートＰＸ６にＶＩＤ１２のトランクＶＬＡＮを設定する。そして、ＶＸＬＡＮ　ＧＷ５－Ｘ１からＣＥ６－Ｘに到達するまでの経路にある通信装置のポートＰｎに、ＶＩＤ１０１のトランクＶＬＡＮを設定する。
　さらに、ＤＣ－Ｙの、ＣＥ６－ＹからＶＸＬＡＮ　ＧＷ５－Ｙ１に到達するまでの経路にある通信装置のポートＰｎに、ＶＩＤ１０１のトランクＶＬＡＮを設定する必要があるが、この設定は、ＤＣ－Ｙにて実施される。
　以上に、ＤＣ－ＸのＶＭ２からＤＣ－ＹのＶＭ２への通信に関する、識別子設定部３１２３の設定処理を例示したが、ＤＣ－ＹからＤＣ－Ｘへの通信に関しては同様の設定処理が実施される。
　以上が、管理サーバ８が実施する設定処理の流れとなる。
　次に、図８、図９を用いて、接続処理（５０２）の処理の流れを示す。
　図８（ａ）、図９（ａ）を用いてＤＣ－Ｘ内の処理を説明する。
　まず、ＤＣ－ＸのテナントＡのＶＭ２－Ａ１が、ＤＣ－ＹのＶＭ２－Ａ３（図２参照）へパケットを送信する場合を考える。
　ＶＭ２－Ａ１は、パケットを送信する。このときの、パケットの送信処理は、前述したように、通信装置３４が、宛先表３１０を参照して、宛先ポートＰｎに送信するという流れになるが、以下省略する。ｖＳＷ３－Ｘ１は、ポートＰＸ１でパケットを受信し、通信装置３４が、ＰＸ１のアクセスＶＬＡＮに設定されているＶＩＤ１１を付与し（８０１）、パケットを送信する。
　パケットは、ｖＣＥ４－ＡＸまたはＶＸＬＡＮ ＧＷ５－Ｘ３において、特定のＶＩＤに対して、ＶＩＤの変更（付替）または付与が行われる。「特定」とは、テナントが選択した、キャリア回線の通信条件毎に決まる。本実施例では、負荷分散のため、ｖＣＥ４またはＶＸＬＡＮ　ＧＷ５にてＶＩＤの変更（付替）または付与を行う。具体的には、低遅延の通信条件を選択した通信は、ｖＣＥ４にて変更（付替）処理を行うので、そのＶＩＤは「特定のＶＩＤ」となり、ベストエフォートの通信条件を選択した通信は、ＶＸＬＡＮ　ＧＷ５にて付与処理を行うので、そのＶＩＤが「特定のＶＩＤ」となる。
　ｖＣＥ４－ＡＸは、パケットを受信し、識別部３１５は、パケットに付与されているＶＩＤを確認し、そのＶＩＤが、特定のＶＩＤ１１であれば（８０２）、ＶＩＤ３５０１へ変更し（８０３）、パケットを送信する。
　ＶＸＬＡＮ　ＧＷ５－Ｘ３はパケットを受信し、識別部３１５は、パケットに付与されているＶＩＤを確認し、そのＶＩＤが、特定のＶＩＤでないため（８０４）、８０５、８０６の処理は実行せず、パケットを送信する。ＣＥ６－Ｘは、パケットを受信し、識別部３１５は、パケットに付与されているＶＩＤを参照し（８０７）、ＶＩＤ３５０１に割り当てられている低遅延のキャリア回線ＳＬＡ（ａ）へ、パケットを送信する（８０８）。
　ｖＣＥ４及びＶＸＬＡＮ　ＧＷ５で識別する特定のＶＩＤは、管理サーバ８のｖＣＥ制御部３１２１が、ｖＣＥに対して、事前に設定していたものである。管理サーバ８は、接続管理テーブル３１４２に参照し、ｖＣＥ４及びＶＸＬＡＮ　ＧＷ５に対して、ＶＩＤの付け替えを実施するか否かを、パケットに付与されているＶＩＤを元に判別するように指示し、ＶＩＤの付け替え要の場合、同テーブルに記載されている付替ＶＩＤに付け替えるように指示する。
　上記の例では、テナントＡのパケットが、ＶＸＬＡＮ　ＧＷ５にてカプセル化されることなく、ＤＣ外へ出て行く。カプセル化するか否かはあくまで実施形態の違いであって、後述のステップ８０３のように、カプセル化を実施しても良い。
　図８（ｂ）、図９（ｂ）を用いてＤＣ－Ｙ内の処理を説明する。
　ＣＥ６－Ｙは、キャリア網からパケットを受信し、ＤＣ－Ｙ内ネットワークにパケットを送信する。ＶＸＬＡＮ　ＧＷ５－Ｙ３はパケットを受信し、識別部３１５は、パケットに付与されているＶＩＤを確認し、そのＶＩＤが、特定のＶＩＤでないため（８１１）、８１２、８１３の処理は実行せず、パケットを送信する。ｖＣＥ４－ＡＸはパケットを受信し、識別部３１５は、パケットに付与されているＶＩＤを確認し、そのＶＩＤが特定のＶＩＤ３５０１であれば（８１４）、ＶＩＤ１１へ変更し（８１５）、パケットを送信する。ｖＳＷ３－Ｙ１はパケットを受信し、識別部３１５は、パケットに付与されているＶＩＤを参照し（８１６）、ＶＩＤ１１が割り当てられているポートＰＹ１へ、パケットを送信する（８１７）。
　次に、ＤＣ－ＸのテナントＢのＶＭ２－Ｂ１が、ＤＣ－ＹのＶＭ２－Ｂ３（図２参照）へパケットを送信する場合を考える。
　図８（ａ）、図９（ａ）を用いてＤＣ－Ｘ内の処理を説明する。ただし、ＶＭ２－Ａ１、ｖＣＥ４－ＡＸは、ＶＭ２－Ｂ１、ｖＣＥ４－ＢＸと読み替える。
　ＶＭ２－Ｂ１は、パケットを送信する。ｖＳＷ３－Ｘ１は、ポートＰＸ３でパケットを受信し、通信装置３４が、ＰＸ３のアクセスＶＬＡＮに設定されているＶＩＤ１２を付与し（８０１）、パケットを送信する。ｖＣＥ４－ＢＸは、パケットを受信し、識別部３１５は、パケットに付与されているＶＩＤを確認し、そのＶＩＤが、特定のＶＩＤでないため（８０２）、８０３の処理は実施せず、パケットを送信する。
　ＶＸＬＡＮ　ＧＷ５－Ｘ３はパケットを受信し、識別部３１５は、パケットに付与されているＶＩＤを確認し、そのＶＩＤが、特定のＶＩＤ１２であれば（８０４）、ＶＴＥＰ３１７へ渡し、ＶＴＥＰ３１７は、ＶＸＬＡＮカプセル化後、テナントＢを識別するＶＮＩ１０００２を付与し（８０５）、さらに、カプセル化後のパケットに、ＶＩＤ１０１を付与し（８０６）、パケットを送信する。
　ＶＸＬＡＮ　ＧＷ５での特定のＶＩＤ識別とは、管理サーバ８のＶＸＬＡＮ　ＧＷ制御部３１２２が、ＶＸＬＡＮ　ＧＷ５に対して、事前に設定していたものである。
　ＣＥ６－Ｘは、パケットを受信し、識別部３１５は、パケットに付与されているＶＩＤを参照し（８０７）、ＶＩＤ１０１に割り当てられている低遅延のキャリア回線ＢＥ（ｂ）へ、パケットを送信する（８０８）。
　図８（ｂ）、図９（ｂ）を用いてＤＣ－Ｙ内の処理を説明する。ただし、ｖＣＥ４－ＡＹ、ＶＭ２－Ａ３は、ｖＣＥ４－ＢＸ、ＶＭ２－Ｂ３と読み替える。
　ＣＥ６－Ｙは、キャリア網からパケットを受信し、ＤＣ－Ｙ内ネットワークにパケットを送信する。ＶＸＬＡＮ　ＧＷ５－Ｙ３はパケットを受信し、識別部３１５は、パケットに付与されているＶＩＤを確認し、そのＶＩＤが、特定のＶＩＤ１２であれば（８１１）、ＶＴＥＰ３１７へ渡し、ＶＴＥＰ３１７は、ＶＸＬＡＮカプセル化後、テナントＢを識別するＶＮＩ１０００２を付与し（８１２）、さらに、カプセル化後のパケットに、ＶＩＤ１２を付与し（８１３）、パケットを送信する。ｖＣＥ４－ＢＸはパケットを受信し、識別部３１５は、パケットに付与されているＶＩＤを確認し、そのＶＩＤが、特定のＶＩＤでないため（８１４）、８１５の処理は実施せず、パケットを送信する。ｖＳＷ３－Ｙ１はパケットを受信し、識別部３１５は、パケットに付与されているＶＩＤを参照し（８１６）、ＶＩＤ１２が割り当てられているポートＰＹ２へ、パケットを送信する（８１７）。
　本実施例では、各パケットがｖＣＥ４とＶＸＬＡＮ　ＧＷ５を経由し、各装置において自装置での処理対象か否かを判断している。他の方法として、ｖＳＷ３－Ｘ１が、ＶＩＤ付与（８０１）後、ＶＩＤを判別し、ＩＤ毎に、ｖＣＥ４またはＶＸＬＡＮ　ＧＷ５にパケットを送信することで、ｖＣＥ４またはＶＸＬＡＮ　ＧＷ５の判断処理を省略させても良い。その場合、ｖＣＥ４－ＡＸはパケットをＣＥ６－Ｘへ送信する。また、受信側ＤＣにおいても同様で、ＣＥ６－Ｙが、ＶＩＤを判別し、ＩＤ毎に、ｖＣＥ４またはＶＸＬＡＮ　ＧＷ５にパケットを送信してもよい。
　上記に示したキャリア回線接続システムが実施する処理により、テナント毎に、複数の通信条件のキャリア回線の中から、テナントが希望する通信条件のキャリア回線を、選択することが可能となる。つまり、テナントＡは、（Ｂ）低遅延（非冗長）のキャリア回線へ、テナントＢは、（Ａ）ベストエフォートのキャリア回線へ接続することが可能となる。
　図１０は、管理サーバ８の回線管理部３１８が実施する、キャリア回線の利用状況の監視について示したテーブルとなる。
　回線管理部３１８は、回線管理テーブル３１４３に示すように、（１）キャリアから契約しているキャリア回線の帯域と、キャリア回線を識別するための識別子ＶＩＤと、（２）割り当て済の帯域（テナントとの契約に基づき割り当て済のキャリア回線の帯域）の状況と、（３）計測した実際の利用帯域とを管理している。
　なお、計測は、ＳＮＭＰやｓＦｌｏｗ等の公知の技術を利用することを前提とし、一定時間毎に計測した値を書き換える形でも良いし、経時データとして、計測した値の履歴も含め記録しておく形でも良い。
　例えば、キャリア回線ＢＥ（ｂ）の状況を見ると、（１）キャリア契約帯域は１０Ｇｂｐｓに対し、（２）割り当て済帯域は６．２０Ｇｂｐｓであり、（３）利用帯域は４．６８Ｇｂｐｓである。この場合、回線に余裕があるため、例えば、（Ａ）ベストエフォートを希望するテナントが新規に現れた場合、前記回線に追加しても良い。本テーブルの（２）割り当て済帯域や、（３）利用帯域を参照することによって、キャリア回線の中に収容するテナント数を決める目安にすることができる。
　また、１つのキャリア回線の中に、いくつのテナントを収容するかは、自由に決めることができる。１つのキャリア回線の中に、より多くのテナント数を収容することは、通信品質に影響する。例えば、例えば、キャリア回線（Ａ）ベストエフォート２は、（１）１０Ｇｂｐｓに対し、（２）１２．８０Ｇｂｐｓとなり、（２）が（１）を超えてしまっているが、実際に利用されている帯域である（３）８．００Ｇｂｐｓであるため、キャリア回線ＢＥ（ｃ）では、輻輳が発生しない状態で通信可能ということができる。例えば、キャリア回線接続システムは、回線管理テーブル３１４３を有効活用し、（３）に（１）より低い値でしきい値（例えば９Ｇｂｐｓ）を設定し、（３）がしきい値を超過した際、そのキャリア回線に、今後、テナントを割り当てないようにするように、アラートをあげるなどの処理を組み込むことも可能となる。
　図１１は、キャリア回線接続設定用のインターフェース画面を例示した図である。これは、ＵＩ生成サーバ９の事業者向けＵＩ生成部３１８によって、提供される。このインターフェース画面は、ＤＣ事業者が、自身のために、用意するインターフェースものであ、キャリア回線接続システムを用いて、テナントの通信を、キャリア回線に接続するために、ＤＣ事業者の運用者が、利用する。
　インターフェース画面には、ＤＣ毎に、システムの構成領域と、識別子管理領域と、回線管理領域と、現在の設定状況確認領域と、ＤＣ間接続設定領域がある。
　システム構成領域には、ＶＭ２やｖＳＷ３、ＶＸＬＡＮ　ＧＷ５等の、ＤＣ事業者が管理するマシン等の接続関係が示される。
　識別子管理領域は、図６に示した識別子が表示され、例えば、識別子管理領域で任意の識別子をクリックすると、構成領域にて設定されている装置と識別子の値が表示されるようになっていても良い。
　回線管理領域には、図１０に示したように、キャリア回線毎の（１）キャリア契約帯域と、（２）割り当て済帯域と、（３）利用帯域が表示される。この表示は、例示したようにグラフ形式で表示されていても良いし、数値形式で表示されていても良いし、その両方でも良い、また、例示しているように、経時データを表示できるようになっていても良いし、表示している以外の過去のデータを参照できるような形式になっていても良い。
　現在の設定状況確認領域には、そのＤＣにおいて、現在、キャリア回線に接続しているテナントと、キャリア回線の通信条件が示される。
　ＤＣ間接続設定領域は、テナントから、ＤＣ間接続に関して申請があった場合に、そのテナントの通信を、要望のあった通信条件を有するキャリア回線にて接続するための設定領域になる。運用者は、例えばプルダウンにて、ＤＣに収容されているテナントの中から申請のあったテナントを選択し、テナントが要望しているキャリア回線を選択し、設定ボタンを押下すると、本インターフェースと連携している、キャリア回線接続システムが、接続の設定を実施する。例えば、キャリア回線が「ベストエフォート」の通信条件と、「低遅延」の通信条件とで、前述した「特定のＶＩＤ」が異なり、それぞれ、ステップ８０２と、ステップ８０４で、異なる条件分岐の結果となる。
　なお、キャリア回線への選択では、例えば、図１０に示した、（３）利用帯域を見て、空きのあるキャリア回線を選択する構成も可能である。そして、現在の設定状況確認領域に、新規に設定された情報が反映される。また、本インターフェース画面から、解除の設定を行うように構成してもよい。
　図１２は、ＤＣ間接続申し込み用のインターフェース画面を例示した図である。これは、ＵＩ生成サーバ９のテナント向けＵＩ生成部３１９によって提供される。これは、ＤＣ事業者が、ＤＣにシステムを収容しているテナントのために、用意するインターフェースになる。テナントの通信を、テナントが選択した通信条件にて、あるキャリア回線に接続するために、テナントの運用者が、利用する。
　インターフェース画面には、現在の利用状況確認領域と、ＤＣ間接続利用申し込み領域がある。例えば、テナントのユーザは、ＤＣ事業者から提供されるＵＲＬにアクセスし、ＤＣ事業者から付与されたテナント用のＩＤとパスワードを入力することにより、テナント専用のインターフェース画面にアクセスすることができる。
　現在の利用状況確認領域には、テナントのシステムが収容されているＤＣと、テナントが利用申し込みを実施し相互接続可能な状態にある拠点と、それら拠点を接続しているキャリア回線の通信条件とが表示される。ＤＣ間接続利用申し込み領域は、テナントが、２以上のＤＣに収容されるシステム間で、相互通信させたい場合に、そのＤＣ間をキャリア回線で接続する申請を実施する。
　ユーザは、例えばプルダウンにて、接続させたい２つの拠点と、その間を接続するキャリア回線の通信条件を選択し、申込ボタンを押下すると、ＤＣ事業者に、申し込み情報が送信される。送信の形式は、図１１に示したＤＣ間接続申し込み用インターフェース画面にポップアップなどで表示させても良いし、メールなどでも良い。また、キャリア回線接続システムと連携し、本申し込みがなされた後、自動的に設定が行われても良い。また、同様に、本インターフェース画面から、申し込みの解除を行うように構成してもよい。
　なお、図１１、図１２に例示したインターフェース画面は、あくまで一例であり、必要とする処理が行えれば全ての要素が揃っている必要はないし、他の要素が入っていても良い。
　本実施例では、管理サーバ８が、ｖＣＥ４と、ＶＸＬＡＮ　ＧＷ５と連携し、パケットのＶＩＤを変更する例を示した。この実施例は、処理の負荷分散に効果があるが、この処理を他の専用装置が実施しても良いし、全てＶＸＬＡＮ　ＧＷ５が実施しても良い。
　本実施例に示した、管理サーバから通信装置への指示は、例えば、Ｏｐｅｎｆｌｏｗ（登録商標）などの技術を用いて実現することが可能である。
　本実施例では、テナントが、常時、単一の通信条件を有するキャリア回線を選択する例を示したが、例えば、時間帯毎に、異なるキャリア回線を選択しても良い。その場合、例えば、図７に示した接続管理テーブル３１４２に、時間帯列を追加し、単一のテナントが、時間帯や、期間毎、曜日毎などに、異なる通信条件を有するキャリア回線に接続する形でも良い。
　上記説明とは異なり、分離する通信の最小範囲を、アプリケーション単位としても良い。その場合、例えば、テナントにアプリケーション毎に異なるＶＩＤを有したパケットを送信するように設定してもらい、ｖＳＷ３にてアクセスＶＬＡＮにてＶＩＤを変更する設定を削除し、ＶＩＤ付け替えの設定を、テナント毎に実施するのではなく、アプリケーション毎に実施するとしても良い。その場合、図７に示す仮想ネットワーク識別子のＶＩＤ列に、ｖＳＷ３で設定するテナントを識別するためのＶＩＤが入るのではなく、アプリケーションが有するＶＩＤが入ることになる。
　また、本実施例で例示した通信条件は、回線の品質（遅延なしまたはベストエフォート）や、回線の冗長化、回線の占有または共有などであったが、他の条件でも良い。例えば、ＤＣ事業者が、複数のキャリアと契約しておき、テナント毎に、キャリア自体を変更するという形でも良い。
　上記開示は、代表的実施形態に関して記述されているが、当業者は、開示される主題の趣旨や範囲を逸脱することなく、形式及び細部において、様々な変更や修正が可能であることを理解するであろう。
１：物理計算機、２：仮想計算機、３：仮想スイッチ、４：仮想センターエッジ、５：ＶＸＬＡＮ：ＧＷ、６：センターエッジ、７：プロバイダーエッジ、８：管理サーバ、９：ＵＩ生成サーバ、３０：ＣＰＵ、３１：メモリ、３１０：宛先表、３１１：識別子管理部、３１２：回線接続部、３１２１：ｖＣＥ制御部、３１２２：ＶＸＬＡＮ：ＧＷ制御部、３１３：情報連携部、３１４１：識別子管理テーブル、３１４２：接続管理テーブル、３１４３：回線管理テーブル、３１４４：トポロジ情報、３１５：識別部、３１６：識別子付与部、３１７：ＶＴＥＰ、３１８：事業者向けＵＩ生成部、３１８：テナント向けＵＩ生成部、３１９：回線管理部３１８、３２：入力装置、３３：出力装置、３４：通信装置、Ｐｎ：ポート

Claims (13)

  1. 　複数のデータセンタを通信網で接続するデータセンタ連携システムであって、
    　前記通信網には、通信条件の異なる複数の回線が設定されており、
    　管理サーバを備え、
    　各々のデータセンタは物理計算機を備え、
    　前記物理計算機は、複数のテナントがそれぞれ利用する複数の仮想計算機を備え、
    　前記管理サーバは、
    　前記回線でパケットを送受信する場合の、指定される通信条件と、前記パケットに付与する第一層の仮想ネットワーク識別子と、を対応付けて管理し、
    　各々の前記データセンタについて、
    　一つの仮想計算機を利用する前記テナントについて、各々の前記テナントのパケットを他のテナントのパケットと分離するための第二層の仮想ネットワーク識別子を管理し、
    　前記テナントの前記パケットについて指定される前記通信条件に基づき定まる第一層の仮想ネットワーク識別子と、前記テナントの前記パケットについて定まる前記第二層の仮想ネットワーク識別子と、を対応付けて管理し、
    　複数のデータセンタ間でパケットの送受信を行う場合、
    　送信側の前記データセンタにおいて、
    　ゲートウェイ装置は、
    　前記第二層の仮想ネットワーク識別子に基づいて分離されたパケットを、前記送信側データセンタの前記対応付けに基づいて定まる前記第一層の仮想ネットワーク識別子を用いて分離して、
    　エッジ装置は、
    　前記通信網へ、前記第一層の仮想ネットワーク識別子が付与されたパケットを送信する
    ことを特徴とするデータセンタ連携システム。
  2. 　請求項１に記載のデータセンタ連携システムにおいて、
    　受信側の前記データセンタにおいて、
    　エッジ装置は、
    　前記通信網から、前記第一層の仮想ネットワーク識別子が付与されたパケットを受信し、
    　ゲートウェイ装置は、
    　前記第一層の仮想ネットワーク識別子を用いて分離された前記パケットを、前記受信側データセンタにおいて前記第一層の仮想ネットワーク識別子に基づいて定まる前記第二層の仮想ネットワーク識別子を用いて分離し、
    　分離した前記パケットを前記第二層の仮想ネットワーク識別子に基づいて定まるテナントが利用する仮想計算機へ送信する
    ことを特徴とするデータセンタ連携システム。
  3. 　請求項１に記載のデータセンタ連携システムにおいて、
    　前記送信側のデータセンタにおいて、第二層の仮想ネットワーク識別子による分離の対象パケットが、前記第三層の仮想ネットワーク識別子で分離されていた場合は、
    　前記管理サーバは、
    　各々の前記データセンタについて、
    　前記第二層の仮想ネットワーク識別子と前記第三層の仮想ネットワーク識別子との組み合わせで定まる前記第一層の仮想ネットワーク識別子を、前記組み合わせと対応付けて管理し、
    　前記送信側データセンタの前記ゲートウェイ装置は、
    　前記第三層の仮想ネットワーク識別子と前記第二層の仮想ネットワーク識別子とに基づいて分離されたパケットを、前記送信側データセンタにおける前記対応付けに基づいて定まる前記第一層の仮想ネットワーク識別子を用いて分離する
    ことを特徴とするデータセンタ連携システム。
  4. 　請求項３に記載のデータセンタ連携システムにおいて、
    　受信側の前記データセンタにおいて、
    　エッジ装置は、
    　前記通信網から、前記第一層の仮想ネットワーク識別子が付与されたパケットを受信し、
    　ゲートウェイ装置は、
    　前記第一層の仮想ネットワーク識別子を用いて分離された前記パケットを、受信側データセンタにおける前記対応付けに基づいて定まる前記第三層の仮想ネットワーク識別子と前記第二層の仮想ネットワーク識別子とを用いて分離し、
    　前記分離されたパケットを、前記第二層の仮想ネットワーク識別子に基づいて定まるテナントが利用する仮想計算機へ送信する
    ことを特徴とするデータセンタ連携システム。
  5. 　請求項１のいずれか一に記載のデータセンタ連携システムにおいて、
    　各々の前記データセンタは、前記管理サーバを備える
    ことを特徴とするデータセンタ連携システム。
  6. 　請求項３に記載のデータセンタ連携システムにおいて、
    　前記第三層の仮想ネットワーク識別子を、一つの前記テナントにおける、通信の種類毎、または、通信の用途毎、または、アプリケーション毎に付与する
    ことを特徴とするデータセンタ連携システム。
  7. 　請求項１に記載のデータセンタ連携システムにおいて、
    　前記第一層の仮想ネットワーク識別子と前記第三層の仮想ネットワーク識別子とはＶＬＡＮのＶＩＤであり、前記第二層の仮想ネットワーク識別子は、ＶＸＬＡＮのＶＮＩである
    ことを特徴とするデータセンタ連携システム。
  8. 　通信条件の異なる複数の回線が設定された通信網による複数のデータセンタの接続方法であって、
    　前記回線でパケットを送受信する場合の、指定される通信条件と、前記パケットに付与する第一層の仮想ネットワーク識別子と、を対応付けて管理し、
    　一つの仮想計算機を利用する前記テナントについて、各々の前記テナントのパケットを他のテナントのパケットと分離するための第二層の仮想ネットワーク識別子を管理し、
    　前記テナントの前記パケットについて指定される前記通信条件に基づき定まる第一層の仮想ネットワーク識別子と、前記テナントの前記パケットについて定まる前記第二層の仮想ネットワーク識別子と、を対応付けて管理し、
    　送信側の前記データセンタにおいて、
    　前記第二層の仮想ネットワーク識別子に基づいて分離されたパケットを、前記送信側データセンタの前記対応付けに基づいて定まる前記第一層の仮想ネットワーク識別子を用いて分離して、
    　前記通信網へ、前記第一層の仮想ネットワーク識別子が付与されたパケットを送信する
    ことを特徴とするデータセンタ接続方法。
  9. 　請求項８に記載のデータセンタ接続方法において、
    　受信側の前記データセンタにおいて、
    　前記通信網から、前記第一層の仮想ネットワーク識別子が付与されたパケットを受信し、
    　前記第一層の仮想ネットワーク識別子を用いて分離された前記パケットを、前記受信側データセンタにおいて前記第一層の仮想ネットワーク識別子に基づいて定まる前記第二層の仮想ネットワーク識別子を用いて分離し、
    　分離した前記パケットを前記第二層の仮想ネットワーク識別子に基づいて定まるテナントが利用する仮想計算機へ送信する
    ことを特徴とするデータセンタ接続方法。
  10. 　請求項８に記載のデータセンタ接続方法において、
    　第二層の仮想ネットワーク識別子による分離の対象パケットが、前記第三層の仮想ネットワーク識別子で分離されている場合は、前記第二層の仮想ネットワーク識別子と前記第三層の仮想ネットワーク識別子との組み合わせで定まる前記第一層の仮想ネットワーク識別子を、前記組み合わせと対応付けて管理し、
    　前記送信側データセンタにおいて、
    　前記第三層の仮想ネットワーク識別子と前記第二層の仮想ネットワーク識別子とに基づいて分離されたパケットを、前記送信側データセンタにおける前記対応付けに基づいて定まる前記第一層の仮想ネットワーク識別子を用いて分離する
    ことを特徴とするデータセンタ接続方法。
  11. 　請求項１０に記載のデータセンタ接続方法において、
    　受信側の前記データセンタにおいて、
    　前記通信網から、前記第一層の仮想ネットワーク識別子が付与されたパケットを受信し、
    　前記第一層の仮想ネットワーク識別子を用いて分離された前記パケットを、受信側データセンタにおける前記対応付けに基づいて定まる前記第三層の仮想ネットワーク識別子と前記第二層の仮想ネットワーク識別子とを用いて分離し、
    　前記分離されたパケットを、前記第二層の仮想ネットワーク識別子に基づいて定まるテナントが利用する仮想計算機へ送信する
    ことを特徴とするデータセンタ接続方法。
  12. 　請求項１０に記載のデータセンタ接続方法において、
    　前記第三層の仮想ネットワーク識別子を、一つの前記テナントにおける、通信の種類毎、または、通信の用途毎、または、アプリケーション毎に付与する
    ことを特徴とするデータセンタ接続方法。
  13. 　請求項８に記載のデータセンタ接続方法において、
    　前記第一層の仮想ネットワーク識別子と前記第三層の仮想ネットワーク識別子とはＶＬＡＮのＶＩＤであり、前記第二層の仮想ネットワーク識別子は、ＶＸＬＡＮのＶＮＩである
    ことを特徴とするデータセンタ接続方法。
PCT/JP2016/050751 2015-07-24 2016-01-13 データセンタ連携システム、および、その方法 WO2017017971A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/741,531 US20180198708A1 (en) 2015-07-24 2016-01-13 Data center linking system and method therefor
JP2017531028A JP6317042B2 (ja) 2015-07-24 2016-01-13 データセンタ連携システム、および、その方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015071054 2015-07-24
JPPCT/JP2015/071054 2015-07-24

Publications (1)

Publication Number Publication Date
WO2017017971A1 true WO2017017971A1 (ja) 2017-02-02

Family

ID=57884184

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/050751 WO2017017971A1 (ja) 2015-07-24 2016-01-13 データセンタ連携システム、および、その方法

Country Status (3)

Country Link
US (1) US20180198708A1 (ja)
JP (1) JP6317042B2 (ja)
WO (1) WO2017017971A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200015741A (ko) * 2017-06-09 2020-02-12 엘지전자 주식회사 무선 통신 시스템에서 참조 신호를 송수신하기 위한 방법 및 이를 위한 장치
JP6765572B1 (ja) * 2019-09-18 2020-10-07 三菱電機株式会社 ネットワーク制御装置、通信リソース割り当て方法および通信システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101922044B1 (ko) * 2016-11-29 2019-02-14 주식회사 실크로드소프트 데이터베이스 이중화 무중단 정합성 복구 기법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012114850A (ja) * 2010-11-26 2012-06-14 Nippon Telegr & Teleph Corp <Ntt> 対応情報生成装置、対応情報生成方法、対応情報生成プログラム、及び名前解決システム
JP2013162418A (ja) * 2012-02-07 2013-08-19 Nippon Telegr & Teleph Corp <Ntt> クラウドシステム、ゲートウェイ装置、通信制御方法、及び通信制御プログラム
JP2014230057A (ja) * 2013-05-22 2014-12-08 富士通株式会社 管理プログラム、管理装置、およびネットワークシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012114850A (ja) * 2010-11-26 2012-06-14 Nippon Telegr & Teleph Corp <Ntt> 対応情報生成装置、対応情報生成方法、対応情報生成プログラム、及び名前解決システム
JP2013162418A (ja) * 2012-02-07 2013-08-19 Nippon Telegr & Teleph Corp <Ntt> クラウドシステム、ゲートウェイ装置、通信制御方法、及び通信制御プログラム
JP2014230057A (ja) * 2013-05-22 2014-12-08 富士通株式会社 管理プログラム、管理装置、およびネットワークシステム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200015741A (ko) * 2017-06-09 2020-02-12 엘지전자 주식회사 무선 통신 시스템에서 참조 신호를 송수신하기 위한 방법 및 이를 위한 장치
KR102151068B1 (ko) 2017-06-09 2020-09-02 엘지전자 주식회사 무선 통신 시스템에서 참조 신호를 송수신하기 위한 방법 및 이를 위한 장치
US11101956B2 (en) 2017-06-09 2021-08-24 Lg Electronics Inc. Method for transmitting/receiving reference signal in wireless communication system, and device therefor
JP6765572B1 (ja) * 2019-09-18 2020-10-07 三菱電機株式会社 ネットワーク制御装置、通信リソース割り当て方法および通信システム
WO2021053759A1 (ja) * 2019-09-18 2021-03-25 三菱電機株式会社 ネットワーク制御装置、通信リソース割り当て方法および通信システム

Also Published As

Publication number Publication date
JP6317042B2 (ja) 2018-04-25
US20180198708A1 (en) 2018-07-12
JPWO2017017971A1 (ja) 2017-10-05

Similar Documents

Publication Publication Date Title
EP2989749B1 (en) Network resource monitoring
EP2995067B1 (en) A direct connect virtual private interface for a one to many connection with multiple virtual private clouds
JP6583509B2 (ja) 制御装置、管理装置、制御方法、管理方法、および、プログラム
KR101703088B1 (ko) Sdn 기반의 통합 라우팅 방법 및 그 시스템
CN107147509B (zh) 虚拟专用网业务实现方法、装置及通信系统
JP6434821B2 (ja) 通信装置及び通信方法
CN105591863B (zh) 一种实现虚拟私有云网络与外部网络互通的方法和装置
RU2576492C2 (ru) Устройство управления, система связи, способ связи и носитель записи с записанной на нем программой связи
CN109218053A (zh) 虚拟数据中心的实现方法、系统和存储介质
CN103917967A (zh) 用于配置中间盒的网络控制系统
CN107733795B (zh) 以太网虚拟私有网络evpn与公网互通方法及其装置
JP5679343B2 (ja) クラウドシステム、ゲートウェイ装置、通信制御方法、及び通信制御プログラム
EP2916491A1 (en) Tunnelling time-critical messages between substations over WAN
TWI663854B (zh) 控制裝置、控制方法及程式
US20170310581A1 (en) Communication Network, Communication Network Management Method, and Management System
JP6317042B2 (ja) データセンタ連携システム、および、その方法
CN104092684A (zh) 一种OpenFlow协议支持VPN的方法及设备
CN112671650A (zh) Sd-wan场景下的端到端sr控制方法、系统和可读存储介质
CN107005479B (zh) 软件定义网络sdn中数据转发的方法、设备和系统
JP6211975B2 (ja) ネットワーク延伸システム、制御装置、およびネットワーク延伸方法
CN101304337A (zh) 生成业务虚拟私有网络的接入拓扑的方法和装置
US10574481B2 (en) Heterogeneous capabilities in an overlay fabric
JPWO2015015786A1 (ja) 通信システム、通信装置、制御装置、ネットワークデバイス、通信方法、制御方法、および、プログラム
US20230058336A1 (en) Kubernetes-based dynamic network service chaining configuration method and device
CN106656717A (zh) 一种划分网络域的方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16830076

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017531028

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16830076

Country of ref document: EP

Kind code of ref document: A1