WO2020032169A1 - 障害復旧制御方法、通信装置、通信システム、及びプログラム - Google Patents

障害復旧制御方法、通信装置、通信システム、及びプログラム Download PDF

Info

Publication number
WO2020032169A1
WO2020032169A1 PCT/JP2019/031353 JP2019031353W WO2020032169A1 WO 2020032169 A1 WO2020032169 A1 WO 2020032169A1 JP 2019031353 W JP2019031353 W JP 2019031353W WO 2020032169 A1 WO2020032169 A1 WO 2020032169A1
Authority
WO
WIPO (PCT)
Prior art keywords
communication device
service chaining
failure
ucpe
virtual network
Prior art date
Application number
PCT/JP2019/031353
Other languages
English (en)
French (fr)
Inventor
祐介 多田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2020535875A priority Critical patent/JP7020556B2/ja
Priority to US17/266,750 priority patent/US20220116267A1/en
Publication of WO2020032169A1 publication Critical patent/WO2020032169A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0654Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0659Management of faults, events, alarms or notifications using network fault recovery by isolating or reconfiguring faulty entities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0813Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/0816Configuration setting characterised by the conditions triggering a change of settings the condition being an adaptation, e.g. in response to network events
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0895Configuration of virtualised networks or elements, e.g. virtualised network function or OpenFlow elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/28Routing or path finding of packets in data switching networks using route fault recovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/302Route determination based on requested QoS
    • H04L45/306Route determination based on the nature of the carried application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0806Configuration setting for initial configuration or provisioning, e.g. plug-and-play
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003Managing SLA; Interaction between SLA and QoS
    • H04L41/5019Ensuring fulfilment of SLA
    • H04L41/5025Ensuring fulfilment of SLA by proactively reacting to service quality change, e.g. by reconfiguration after service quality degradation or upgrade
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5041Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/20Arrangements for monitoring or testing data switching networks the monitoring system or the monitored elements being virtualised, abstracted or software-defined entities, e.g. SDN or NFV

Definitions

  • the present invention is based on the priority claim of Japanese Patent Application No. 2018-151993 (filed on Aug. 10, 2018), the entire contents of which are incorporated herein by reference. Shall be.
  • the present invention relates to a failure recovery control method, a communication device, a communication system, and a program.
  • SDN Software Defined Networking
  • a method is used in which network functions are separated from hardware and executed as software images on general-purpose hardware using virtualization technology. Have been.
  • these softwareized network functions can be integratedly managed by the SDN controller. As a result, the overall operation cost is reduced, and a quick response to a change in service demand, for example, is enabled.
  • VNF virtualized network functions
  • NFV Network Function Virtualization
  • ETSI European Telecommunications Standards Institute
  • VIM Virtualized Infrastructure Manager
  • VNFM Virtual Network Function Manager
  • orchestration NFV Orchestrator
  • FIG. 9 is a diagram schematically illustrating an example of a typical system configuration of a uCPE system.
  • hardware also referred to as “uCPE device” or “uCPE terminal”
  • CPE Customer Premises Equipment
  • a plurality of virtualized network functions are provided, which are virtualized network functions of home communication equipment or customer premises communication equipment.
  • VNF Virtual Network Function
  • Each of the bases 10A and 10B connects to a data center 20 (cloud) to be connected via a wide area network (WAN) 30.
  • the WAN 30 may be, for example, the Internet or MPLS (Multi-Protocol Label Switching).
  • the WAN 30 may be configured as an SD (Software-Defined) -WAN.
  • the orchestrator 202 is configured as, for example, an orchestrator (NFV / Orchestrator) of NFV / MANO (Network / Functions / Virtualization / Management / and / Network / Orchestration).
  • An orchestrator (NFV @ Orchestrator) 202 performs life cycle management (generation, monitoring, operation, deletion, etc.) of a network service composed of a plurality of VNFs, and performs integrated operation management of the entire system.
  • VNFM VNF Manager
  • VNFM is responsible for VNF configuration, life cycle management, and element management.
  • VNF descriptor VNF @ Descriptor: VNFD
  • VNFD VNF descriptor
  • the uCPE device 100 includes an NFV infrastructure (Network VI Functions Virtualization Infrastructure: NFVI) that provides an execution base for a VNF virtual machine.
  • NFVI provides a virtualization layer, such as a hypervisor, and the computing, storage, and networking hardware components that host the VNF.
  • Control of NFVI's computing, storage, and network resources (physical resources, virtual resources) and life cycle management are performed via the NFV MANO's Virtualized Infrastructure Manager (VIM).
  • the VIM may be provided, for example, on the uCPE devices 100A and 100B.
  • Service chaining refers to a mechanism in which various network functions such as routers, firewalls, and load balancers are linked to exchange packets in an appropriate order.
  • various network services can be provided to customers (users) at each base by operating a plurality of VNFs on the NFVI and connecting the VNFs by service chaining.
  • a controller (uCPE-PF (Platform) controller) 201 for setting / controlling a path inside the hardware platform, and setting / controlling a VNF at each base are set.
  • a controller group (VNF controller) 203 includes an orchestrator 202 for linking the controllers to provide a final network service.
  • the host device group such as the uCPE-PF controller 201, the VNF 203, and the orchestrator 202 is generally arranged in the data center 20.
  • the network functions virtualized by the VNF mounted on the uCPE device 100 include a virtual firewall, an IPS (Intrusion Prevention System), a virtual router, a VPN (Virtual Private Network) / NAT (Network Address). Translation, a virtual switch, a load balancer, an SD-WAN (Software-Defined Wide Area Network), a WAN acceleration device, or the like.
  • IPS Intrusion Prevention System
  • VPN Virtual Private Network
  • NAT Network Address
  • Translation a virtual switch
  • load balancer an SD-WAN (Software-Defined Wide Area Network)
  • SD-WAN Software-Defined Wide Area Network
  • WAN acceleration device or the like.
  • VL Virtual Link
  • An external virtual link (External @ Virtual @ Link) of the virtual link (VL) is a logical link that provides a connection between a CP (Connection @ Point) of an external interface of the VNF and a connection between a CP of the VNF and a CP serving as a network service endpoint. is there.
  • An internal virtual link is a logical link within the VNF, and provides a connection between a CP of a VNFC (Virtual Network Function Component) and a CP that is an external interface of the VNF.
  • the virtual link (VL) is defined by VNF (Virtual @ Link @ Descriptor) which is a template describing resource requirements of a logical link connecting between VNFs constituting a network service and PNF (Physical @ Network @ Function).
  • a uCPE device 100 having a plurality of VNFs is arranged at each base 10, and a plurality of VNFs on the uCPE device 100 and a higher-level device group such as a controller or an orchestrator for controlling a service chain of the VNFs are arranged in a data center. 20.
  • the distance between each base 10 and the data center 20 may be as far as tens of thousands of kilometers.
  • the problem of transmission delay between the base 10 and the data center 20 becomes apparent.
  • the delay time in the network or the like affects SLA (Service Level Agreement) or the like.
  • the orchestrator 202 of the data center 20 grasps the entire system, and instructs the uCPE-PF controller 201 and the VNF controller 203 in response to a customer (user) request for a network service (“first Control signal).
  • a control signal (referred to as a “second control signal”) is transmitted from the uCPE-PF controller 201 or the VNF controller 203 that has received the instruction to the uCPE device 100 at the user's site, and the uCPE device 100 is controlled. As described above, control over a plurality of control planes (Control @ Plane) is performed until the service chaining is set in the uCPE device 100.
  • the second control signal from the uCPE-PF controller 201 or VNF controller 203 reaches the uCPE device 100. There is a delay.
  • the first control signal from the orchestrator 202 to the uCPE-PF controller 201 and the VNF controller 203 and the second control signal from the uCPE-PF controller 201 and the VNF controller 203 to the uCPE device 100 are respectively delayed. , It takes time from the occurrence of a failure in the uCPE device 100 to its recovery.
  • the dashed arrow from the uCPE device 100 indicates the occurrence of a failure in the uCPE device 100 until a control signal is transmitted to the uCPE device 100 via the orchestrator 202, uCPE-PF controller 201, and VNF controller 203.
  • the route is shown schematically.
  • Patent Literature 1 has a problem in that when a virtualized network service function is centrally controlled by a control device, the influence of the failure of the control device is large, and there is a problem of availability of the virtualized network service function. Has been described.
  • each device autonomously performs alive monitoring between devices, link failure detection and recovery, and link failure detection and recovery of each device. And dispersed. Further, in the service chaining system, mutual exchange of service function state advertisement information for enabling service chaining between the devices is performed autonomously among SCF (Service @ Chaining @ Forwarder) devices and distributed in a distributed manner. Do.
  • SCF Service @ Chaining @ Forwarder
  • each SCF device appropriately selects a transfer destination SF (Service @ Function) based on the "resource information” and the "cost total value” based on the topology information table managed by the SCF device.
  • SF Service @ Function
  • the higher-level equipment (orchestrator, controller, etc.) on the data center side grasps the fault and A control signal is transmitted from a higher-level device on the data center side to a uCPE device located at the base, In the uCPE device, a restoration process is executed based on the control signal.
  • the present invention has been made in view of the above problems, and has as its object to provide a failure recovery control method, a communication apparatus, a communication system, a program, and a recording medium that enable a reduction in the failure recovery time of service chaining. Is to provide.
  • a communication device arranged at each site and having a plurality of virtual network functions used for service chaining, and the communication device connected to the communication device at the site via a network
  • a communication device provided at each site, including a plurality of virtual network functions, and having service chaining connecting the virtual network functions, At least one higher-level device connected to the communication device via a network and managing the virtual network function and the service chaining of the communication device;
  • the communication device includes a control unit that changes the service chaining of the communication device, and when a failure occurs in the communication device, the control unit of the communication device rearranges the service chaining.
  • a communication device provided at each base, having a plurality of virtual network functions, and having service chaining connecting the virtual network functions, wherein the virtual device Connected via a network to a network function and at least one higher-level device that manages the service chaining,
  • a storage unit for storing setting information of service chaining connecting the virtual network functions, and when a failure occurs, changing the service chaining based on the setting information held in the storage unit and recovering from the failure And a control unit.
  • a communication device provided at each base, having a plurality of virtual network functions, and having service chaining connecting the virtual network functions, wherein the virtual device A computer constituting the communication device connected via a network to at least one higher-level device that manages a network function and the service chaining; A process of storing and holding service chaining setting information for connecting the virtual network functions in a storage unit; When a failure occurs, a program is provided for executing processing for changing the service chaining and recovering from the failure based on the setting information held in the storage unit.
  • a communication device provided at each base, having a plurality of virtual network functions, and having a service chain connecting the virtual network functions, wherein the virtual device of the communication device A computer that configures the communication device connected via a network to at least one higher-level device that manages a network function and the service chaining; a service chain setting information that connects the virtual network functions to a storage unit; A computer-readable record storing a program for executing a process of storing and holding, and a process of changing the service chaining and recovering from the failure based on the setting information stored in the storage unit when a failure occurs.
  • a medium is provided.
  • the recording medium is, for example, a semiconductor storage such as a RAM (Random Access Memory), a ROM (Read Only Memory), or an EEPROM (Electrically Erasable and Programmable ROM), an HDD (Hard Disk Drive), a CD (Compact Disc), and a DVD (Compact Disc). It consists of a non-transitory computer readable recording medium such as Digital Versatile Disc.
  • FIG. 3 is a diagram illustrating an exemplary embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an exemplary embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a configuration of an exemplary embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a configuration (base management unit) according to an exemplary embodiment of the present invention.
  • 5 is a flowchart illustrating the operation of an exemplary embodiment of the present invention.
  • 5 is a flowchart illustrating the operation of an exemplary embodiment of the present invention.
  • 5 is a flowchart illustrating the operation of an exemplary embodiment of the present invention.
  • 5 is a flowchart illustrating the operation of an exemplary embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a configuration of an exemplary embodiment of the present invention. It is a figure explaining a related art.
  • a service chaining change function at the time of a failure that is normally performed by an upper-level device such as an orchestrator (NFV @ Orchestrator) is deployed in the uCPE device at each site.
  • an upper-level device such as an orchestrator (NFV @ Orchestrator)
  • the uCPE device autonomously changes the service chaining for recovery from the failure in the uCPE device without waiting for an instruction from a higher-level device such as the orchestrator, and recovers the failure. carry out. For this reason, it is possible to shorten the time of service chaining change, which took time from the occurrence of a failure to the recovery, thereby realizing a reduction in failure recovery time.
  • FIG. 1 is a diagram illustrating an exemplary embodiment of the present invention.
  • FIG. 1 is a diagram schematically illustrating differences between the exemplary uCPE system illustrated in FIG. 9 and an exemplary embodiment.
  • FIG. 1 is a diagram for explaining an embodiment of the present invention when FIG. 9 is a comparative example, and it should be understood that the present invention should not be construed as being limited to the configuration of FIG. Of course.
  • the number of sites is not limited to two, and the number of VNFs on the uCPE device is not limited to two.
  • the uCPE device 100, the WAN 30, the data center 20, and the like the same description as in FIG. 9 will be appropriately omitted to avoid duplication, and differences will be described.
  • the uCPE device 100 stores configuration information of a VNF operating on the NFVI of the uCPE device 100 and setting information such as an internal path for service chaining in a storage unit (not shown).
  • the uCPE device 100 recovers a failure by rearranging the service chaining, for example, in response to the failure information.
  • the uCPE device 100 includes various setting information (VNF configuration information) transmitted from higher-level devices such as the orchestrator 202, the uCPE-PF controller 201, and the VNF controller 203 of the data center 20 to the VNF or the like operating on the uCPE device 100. And a control signal relating to an internal route between VNFs used in service chaining.
  • the uCPE device stores various setting information transmitted from the higher-level device to the VNF or the like in a storage unit (not shown), analyzes the various setting information, and uses the information in the VNF configuration information or service chaining. The information about the internal route between VNFs is obtained.
  • the failure notification (management signal) sent from the uCPE device 100 to the higher-level device is analyzed to understand the content of the failure.
  • a failure of a logical port of a VNF implemented as a virtual machine (Virtual Machine: VM) on an NFVI (NFV Infrastructure) of the uCPE device 100, a failure of the hardware and software platform of the uCPE device 100, and the like. May be detected.
  • the uCPE device 100 After grasping the failure, the uCPE device 100 performs service chaining to bypass the location where the failure has occurred (for example, VNF) based on the VNF configuration information and service chaining information held in the uCPE device 100. Is derived (calculated) and service chaining is rearranged to recover from the failure.
  • the uCPE device 100 After recovery from the failure, the uCPE device 100 transmits a setting change notification such as an internal route between VNFs used for service chaining to a higher-level device (the VNF controller 203, the orchestrator 202, etc.), and manages the upper-level device. To update the setting information. As a result, a difference is not caused between the host device (the VNF controller 203 and the orchestrator 202, etc.), the uCPE device 100, and the setting information related to the VNF.
  • a setting change notification such as an internal route between VNFs used for service chaining to a higher-level device (the VNF controller 203, the orchestrator 202, etc.)
  • the uCPE device 100 After recovery from the failure, the uCPE device 100 transmits a setting change notification such as an internal route between VNFs used for service chaining to a higher-level device (the VNF controller 203, the orchestrator 202, etc.), and manages the upper-level device
  • FIG. 2 is a diagram illustrating an example of a change in service chaining.
  • FIG. 2 is a diagram based on Figure 6.5 of ETSI GS NFV-MAN 001 V1.1.1 (2014-12) Network Functions Virtualization (NFV); Management and Orchestration.
  • the service chain connecting the VNFs includes virtual links (Virtual @ Link) VL1, VNF1, virtual links VL2, VNF2, VNF3, and virtual link VL4.
  • the broken line in FIG. 2 is an NFP (Network Forwarding Path) 1.
  • the NFP is managed by VNFFGR (VNF Forwarding Graph Record) (instance record) or the like.
  • VNFFGR VNF Forwarding Graph Record
  • NFP1 includes a virtual link VL1 between a network service end point (connection point) CP01 to a connection point CP11 of VNF1, a virtual link VL2 between a connection point CP13 of VNF1 and a connection point CP21 of VNF2, and a connection point CP21 of VNF2. And a virtual link VL2 between a connection point CP31 of VNF3 and a virtual link VL4 between a connection point CP33 of VNF3 and a network service end point (connection point CP02).
  • the VNF2 when detecting a failure of the connection point CP21 of the VNF2, the VNF2 bypasses the VNF2 instead of the NFP1 by referring to information elements of VNFFFGD (VNF Forwarding Graph Descriptor), VNFFFGR, NFP, a customer service contract, and the like.
  • VNFFFGD VNF Forwarding Graph Descriptor
  • VNFFFGR VNF Forwarding Graph Descriptor
  • NFP a customer service contract
  • the switching to the route NFP2 may be performed.
  • the route may be switched to the route NFP3 that bypasses the VNF2.
  • the VNF 2 may be normally terminated (gracefully @ terminate) or forcibly terminated (forcefully @ terminate).
  • system switching may be performed as an auto-healing from a failed VNF in the active (active) system to a VNF in the standby (standby) system.
  • FIG. 3 is a diagram illustrating the configuration of the uCPE apparatus 100.
  • the uCPE device 100 includes a communication unit 110, a site management unit 120, a uCPE-PF management unit 130, and a VNF management unit 140.
  • the communication unit 110 includes an interface (network interface) (not shown) that communicates with the uCPE device 100 and the uCPE-PF controller 201 and the VNF controller 203 of the data center 20 via the WAN 30.
  • interface network interface
  • the base management unit 120 mediates control system signals between the uCPE-PF management unit 130 and the VNF management unit 140 and higher-level devices such as the uCPE-PF controller 201 and the VNF controller 203 of the data center 20, and sets from the control system signals.
  • the information is extracted and stored in a storage unit (not shown).
  • a management signal for example, an SNMP (Simple Network Management Protocol) trap (a change generated in the SNMP agent system by the SNMP agent is transmitted to the SNMP manager as an SNMP trap) or a log
  • SNMP Simple Network Management Protocol
  • a failure signal is included in the management signal, if it is determined that the failure can be recovered based on the held setting information, the uCPE- This is performed for the PF management unit 130 and the VNF management unit 140.
  • the uCPE-PF management unit 130 manages a virtual machine (Virtual Machine: VM) for mounting the VNF of the uCPE device 100, and manages an internal path between the VNFs for service chaining. -Accept control from the PF controller 201.
  • VM Virtual Machine
  • the VNF management unit 140 manages the VNF deployed on the virtual machine (VM) created by the uCPE-PF management unit 130, and receives control from the VNF controller 203, which is a higher-level device.
  • VM virtual machine
  • FIG. 4 is a diagram illustrating the configuration of the base management unit 120 in FIG.
  • the site management unit 120 includes a signal analysis unit 121, a failure recovery control unit 122, a route management unit 123, and a configuration management unit 124.
  • the signal analysis unit 121 instructs the path management unit 123 or the configuration management unit 124 to save each setting information if it is a control system signal, and If it is a signal, it notifies the failure recovery control unit 122.
  • the failure recovery control unit 122 determines whether a failure has occurred. When it is determined that a failure has occurred, the failure recovery control unit 122 acquires the setting information held in the route management unit 123 and the configuration management unit 124, and calculates service chaining for failure recovery.
  • the failure recovery control unit 122 determines that the failure can be recovered, the failure recovery control unit 122 instructs the uCPE-PF management unit 130 and the VNF management unit 140 to change the settings. Further, after the setting change in the uCPE-PF management unit 130 and the VNF management unit 140 is completed, the failure recovery control unit 122 sends a notification of the setting change to the higher-level device such as the uCPE-PF controller 201 and the VNF controller 203. .
  • the route management unit 123 stores internal route information related to service chaining in a storage unit (not shown) according to an instruction from the signal analysis unit 121.
  • the path management unit 123 passes the internal path information held in the previous storage unit (not shown) to the failure recovery control unit 122.
  • the configuration management unit 124 like the route management unit 123, stores and transfers information such as the type of VNF mounted on the uCPE device 100 and the virtual port used for service chaining.
  • FIG. 5 is a flowchart illustrating the operation of the exemplary embodiment of the present invention.
  • Step S11> After receiving a control system signal from a higher-level device (uCPE-PF controller 201 or VNF controller 203) by the communication unit 110 of the uCPE device 100, the control system signal is transmitted to the uCPE-PF management unit 130 or Before being sent to the VNF management unit 140, it is passed to the site management unit 120.
  • a control system signal from a higher-level device (uCPE-PF controller 201 or VNF controller 203)
  • Step S12> The base management unit 120 that has received the control system signal analyzes the control system signal in the signal analysis unit 121.
  • Step S13> As a result of the analysis in step S12, if the control system signal is a control system signal related to service chaining to the uCPE-PF management unit 130, the control system signal is route-managed in order to cause the route management unit 123 to save setting information. Then, the process proceeds to step S14. In the case of a control system signal for the VNF, the control system signal is passed to the configuration management unit 124 so that the configuration information is stored in the configuration management unit 124, and the process proceeds to step S16.
  • the path management unit 123 that has received the control system signal (the control system signal relating to the service chaining to the uCPE-PF management unit 130) receives the internal path information (physical port, logical port, virtual switch) in the uCPE device 100 related to the service chaining. Etc.) is stored internally in the storage unit.
  • Step S15> After storing the internal route information in the route management unit 123, the control system signal is passed to the uCPE-PF management unit 130, which is the original destination, and the uCPE-PF (uCPE platform) setting information is updated.
  • the configuration management unit 124 that has received the control system signal (control system signal for the VNF) stores information such as the type of the VNF and the virtual port used for the service check in a storage unit (not shown).
  • Step S17> After the configuration management unit 124 stores information such as the type of the VNF and the virtual port, the control system signal is passed to the VNF management unit 140 that is the original destination. The VNF management unit 140 updates the VNF setting information stored in the previous storage unit.
  • FIG. 6 is a diagram illustrating a failure recovery operation according to an exemplary embodiment of the present invention.
  • Step S21> In the uCPE device 100, when the communication unit 110 receives a management signal transmitted from the uCPE-PF management unit 130 or the VNF management unit 140 to the higher-level device (uCPE-PF controller 201, VNF controller 203), the management signal is Before being sent from the communication unit 110 to the higher-level device, it is passed to the site management unit 120.
  • the failure recovery control unit 122 sends the setting information related to service chaining for analyzing whether or not the failure recovery is possible to the route management unit 123 and the configuration management unit 124. To get from.
  • the failure recovery control unit 122 analyzes whether a failure has occurred based on the management signal. When the failure recovery control unit 122 determines that a failure has occurred, the failure recovery control unit 122 can re-arrange the service chaining to bypass the failure location and recover the failure based on the various setting information acquired in step S22. It is determined whether or not there is.
  • Step S24> As a result of the analysis in step S23, when the failure recovery control unit 122 determines that the failure can be recovered by changing the service chaining, the process proceeds to the failure recovery process in step S26. On the other hand, when the recovery due to the service chaining change is not possible, the failure recovery control unit 122 proceeds to step S25 to send a failure notification to the higher-level device.
  • the communication unit 110 of the uCPE device 100 notifies the higher-level device (the uCPE-PF controller 201, the VNF controller 203, etc.) of the failure.
  • the uCPE-PF controller 201 the uCPE-PF controller 201
  • the upper device for example, the uCPE-PF controller 201
  • Necessary maintenance and recovery measures may be taken in the uCPE device 100 together with the failure notification. Alternatively, a recovery completion notification may be transmitted to the host device.
  • FIG. 7 is a diagram illustrating details of the operation (step S26 in FIG. 6) of the failure recovery control unit 122 according to the exemplary embodiment of the present invention.
  • the failure recovery control unit 122 calculates a service chaining that bypasses a failure occurrence location and a setting for changing to the service chaining.
  • Step S32> The failure recovery control unit 122 sends a setting change instruction to the uCPE-PF management unit 130 and the VNF management unit 140 for the settings calculated in step S31, and performs the service chain reshuffling.
  • Step S33> Upon receiving the setting change completion notification from the uCPE-PF management unit 130 and the VNF management unit 140, the failure recovery control unit 122 determines that the setting change has been completed, and sends the setting change completion to the higher-level device (uCPE-PF controller 201, VNF controller 203). The process proceeds to step S34 to send a setting change.
  • Step S34> By the setting change by the failure recovery control unit 122, the setting information held by the uCPE-PF management unit 130 and the VNF management unit 140, respectively, and the corresponding higher-level device (uCPE-PF controller 201, VNF controller 203) side. There is a difference between the held setting contents.
  • the failure recovery control unit 122 sends a setting change notification to each higher-level device (uCPE-PF controller 201, VNF controller 203), and holds the notification in the corresponding higher-level device (uCPE-PF controller 201, VNF controller 203). Control is performed so that there is no difference between the setting contents and the actual setting contents.
  • FIG. 8 is a diagram illustrating another embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example in which the uCPE device 100 is implemented by a computer.
  • a computer 300 includes a processor 301, a dynamic random access memory (DRAM), a static random access memory (SRAM), a memory 302 such as an electrically erasable programmable read-only memory (EEPROM), and an input / output (I / O) memory.
  • Output) interfaces 303 and 304 and a network interface 305 are provided.
  • the input / output device 306 is connected to the I / O interface 303, and the storage 307 is connected to the I / O interface # 304.
  • the network interface 305 is connected to a network such as the WAN 30 in FIG. 1 and communicates with the uCPE-PF controller 201, the VNF controller 203, and the like of the data center 20.
  • the processor 301 executes, for example, a program (instruction group) stored in the memory 302, the computer 300 implements the processing and functions of the uCPE device 100 of the above-described embodiment.
  • the base management unit 120 in FIG. 3 which is a mechanism having some of the functions of the orchestrator and the controller (VNF management, service chaining change function) is provided by the uCPE device ( By mounting it on 100) in FIG. 3, the service interruption time can be reduced.
  • the control of the uCPE device at each site is not performed only by a higher-level device such as a controller on the data center side, but a part of recovery control in the uCPE device is performed autonomously and locally.
  • a higher-level device such as a controller on the data center side
  • a part of recovery control in the uCPE device is performed autonomously and locally.
  • the internal configuration and control method of the uCPE device are not limited to those described in the above embodiment.
  • the following configuration and control method of the uCPE device may be appropriately changed or added.
  • the service chaining template may be, for example, a data file in which the selection of the VNFs to be mounted on the uCPE device and the mounting order of the VNFs are described in a pattern.
  • the base management unit 120 mediates the control system signal so that the control system signal is transferred to both the route management unit 123 and the configuration management unit 124 instead of storing the setting information. Good.
  • a VNF reset function or the like may be added. For example, instead of bypassing the faulty VNF, the VNF is initialized and restarted. Depending on the failure, the failure may be recovered by the restart of the virtual machine (VM) running as an application by the failed VNF, and the virtual machine may operate normally. Since the reset operation of the faulty VNF can be regarded as a change in the setting of the VNF state, it is needless to say that the reset operation may be included in the service chaining change operation.
  • VM virtual machine
  • a management unit that manages setting information such as a service chaining path and a VNF configuration may be shared.
  • the present invention is applicable to hardware devices such as servers and network devices in a virtual environment and provision of services using the hardware devices.
  • Patent Document 1 is incorporated herein by reference, and can be used as a basis or a part of the present invention as necessary. Modifications and adjustments of the embodiments or examples are possible within the framework of the entire disclosure (including the claims) of the present invention and based on the basic technical concept thereof. Further, various combinations or selections of various disclosed elements (including each element of each claim, each element of each embodiment, each element of each drawing, and the like) are possible within the scope of the claims of the present invention. . That is, the present invention of course includes various variations and modifications that could be made by those skilled in the art according to the entire disclosure including the claims and the technical idea.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本発明は、サービスチェイニングの障害復旧時間を短縮可能とする。各拠点に配置されサービスチェイニングに用いられる複数の仮想ネットワーク機能を有する通信装置と、前記拠点の前記通信装置とネットワークを介して接続するデータセンタに配置され、前記各拠点の通信装置の前記仮想ネットワーク機能及びサービスチェイニングの管理を行う少なくとも1つの上位装置とを有する通信システムにおける前記通信装置の障害復旧制御方法であって、前記上位装置で行われる前記拠点の通信装置のサービスチェイニングの変更機能の少なくとも一部を、前記拠点の通信装置に配備し、前記拠点の通信装置での障害発生時、前記通信装置で自律的に前記サービスチェイニングの組み替えを行うことで、障害から復旧する。

Description

障害復旧制御方法、通信装置、通信システム、及びプログラム
 (関連出願についての記載)
 本発明は、日本国特許出願:特願2018-151993号(2018年08月10日出願)の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
 本発明は、障害復旧制御方法、通信装置、通信システム、及びプログラムに関する。
 仮想化技術ソフトウェア定義型ネットワーキング(Software Defined Networking:SDN)の進歩の中、ネットワークの構築とサービスの提供方法は大きく変わりつつある。その一例として、これまでのハードウェアベースのネットワーク機器によるネットワーク構築とサービス提供と異なり、ネットワーク機能をハードウェアから切り離し、仮想化技術を利用して汎用ハードウェア上でソフトウェアイメージとして実行する手法が用いられている。また、これらソフトウェア化されたネットワーク機能はSDNコントローラで統合管理可能とされる。この結果、全体的な運用コストが削減され、例えばサービス需要の変化等にも迅速な対応が可能とされる。
 ソフトウェア化されたネットワーク機能はSDNコントローラ等の上位装置からの制御が可能となる一方で、例えば、以下で説明されるuCPE(Universal Customer Premises Equipment)のように、複数の仮想化ネットワーク機能(Virtual Network Function:VNF)を利用してサービスを提供する場合、特殊なオーケストレーション機能が必要とされる。なお、よく知られているように、ネットワーク機能の仮想化(Network Function Virtualization:NFV)に関してNFV標準化組織ETSI(European Telecommunications Standards Institute:欧州電気通信標準化機構)では、仮想化インフラストラクチャ管理(Virtualized Infrastructure Manager:VIM)、VNF管理(Virtual Network Function Manager:VNFM)、オーケストレーション(NFV Orchestrater)の3つの機能レイヤに分割したアーキテクチャが検討されている。
 仮想化技術の一つのユースケースであるuCPEについて説明する。図9は、uCPEシステムの典型的なシステム構成の一例を模式的に例示した図である。図9に示すように、各拠点(Enterprise Branch Site)10A、10Bに配置されたハードウェア(「uCPE装置」、あるいは、「uCPE端末」ともいう)100A、100Bに、CPE(Customer Premises Equipment:ユーザ宅内通信設備あるいは顧客構内通信設備)のネットワーク機能を仮想化した、複数の仮想化ネットワーク機能(Virtual Network Function:VNF)を搭載する。uCPE装置100A、100BはLAN(Local Area Network)で拠点内のサーバ群101A、101Bに接続される。
 各拠点10A、10Bは、広域ネットワーク(Wide Area Network:WAN)30を介して接続するデータセンタ20(クラウド)に接続する。WAN30は、例えばインターネットやMPLS(Multi-Protocol Label Switching)等であってもよい。WAN30は、SD(Software-Defined)-WANとして構成されてもよい。
 データセンタ20には、オーケストレータ202やVNFコントローラ203等の上位装置が配置される。オーケストレータ202は、例えば、NFV MANO(Network Functions Virtualization Management and Network Orchestration)のオーケストレータ(NFV Orchestrator)として構成される。オーケストレータ(NFV Orchestrator)202は、複数のVNFから構成されるネットワークサービスのライフサイクル管理(生成、監視、運用、削除など)等を行い、システム全体の統合的な運用管理を担う。
 VNFコントローラ203は、VNF管理(VNF Manager:VNFM)を行う。VNFMは、VNFの構成、ライフサイクル管理、要素管理を担う。VNFのライフサイクル管理において、ディプロイメントとオペレーション上の要件等に関してVNFを記述したテンプレートであるVNFディスクリプタ(VNF Descriptor:VNFD)が用いられる。
 なお、uCPE装置100A、100Bは、拠点A、Bを区別しない場合、参照符号からA、Bを除き、参照符号100で参照される。uCPE装置100は、VNF用の仮想マシンの実行基盤を提供するNFVインフラストラクチャ(Network Functions Virtualization Infrastructure:NFVI)を備える。NFVIは、例えばハイパーバイザ等の仮想化レイヤと、VNFをホストするコンピューティング、ストレージ、ネットワーキングハードウェアのコンポーネントを提供する。NFVIのコンピューティング、ストレージ、ネットワークのリソース(物理リソース、仮想リソース)の制御とライフサイクル管理は、NFV MANOの仮想インフラストラクチャマネージャ(Virtualized Infrastructure Manager:VIM)を介して行われる。VIMは、例えばuCPE装置100A、100B側に備えてもよい。
 サービスチェイニングは、ルータやファイアウォール、ロードバランサ等の各種ネットワーク機能を連携させ、適切な順番でパケットをやり取りさせる仕組みをいう。uCPE装置100において、NFVI上に複数のVNFを稼動させ、VNF間をサービスチェイニングによって繋げることで、各拠点の顧客(ユーザ)に、様々なネットワークサービスを提供することができる。
 uCPE装置100上のVNF間のサービスチェイニングを実現するために、ハードウェアプラットフォーム内部の経路を設定/制御するコントローラ(uCPE-PF(Platform)コントローラ)201や、各拠点のVNFを設定/制御するコントローラ群(VNFコントローラ)203、各コントローラを連携させ最終的なネットワークサービスを提供するオーケストレータ202を含む。これらのuCPE-PFコントローラ201、VNF203やオーケストレータ202といった上位装置群は一般にデータセンタ20に配置される。
 特に制限されないが、図9において、uCPE装置100に搭載されるVNFで仮想化されるネットワーク機能は、仮想ファイアウォール、IPS(Intrusion Prevention System)、仮想ルータ、VPN(Virtual Private Network)/NAT(Network Address Translation)、仮想スイッチ、ロードバランサ、SD-WAN(Software-Defined Wide Area Network)、WAN高速化装置等のいずれかであってもよい。
 図9では、簡単のため、uCPE装置100A、100Bにおいて、2つのVNFによるサービスチェイニングが例示されているが、VNFの数は2に制限されるものでないことは勿論である。なお、複数のVNF間は仮想リンク(Virtual Link:VL)によって接続される。仮想リンク(VL)のうち外部仮想リンク(External Virtual Link)は、VNFの外部インタフェースのCP(Connection Point)間、VNFのCPとネットワークサービスエンドポイントとなるCP間等の接続を提供する論理リンクである。内部仮想リンク(Internal Virtual Link)はVNF内の論理リンクであり、VNFC(Virtual Network Function Component)のCPと、VNFの外部インタフェースであるCP間の接続を提供する。仮想リンク(VL)はネットワークサービスを構成するVNF、PNF(Physical Network Function)間を接続する論理リンクのリソース要件を記述したテンプレートであるVLD(Virtual Link Descriptor)等によって定義される。
 uCPEシステムでは、複数のVNFを有するuCPE装置100は、各拠点10に配置され、uCPE装置100上の複数のVNF及びVNFのサービスチェインを制御するコントローラやオーケストレータ等の上位装置群は、データセンタ20に配置される。
 そのため、例えば、グローバル企業等、世界に事業展開している顧客(ユーザ)の場合、各拠点10とデータセンタ20間が、例えば数万キロと遠く離れている場合もあり得る。この場合、拠点10とデータセンタ20間における伝送遅延の問題が顕在化する。例えば網内遅延時間等に関してSLA(Service Level Agreement)等に影響することになる。
 また、サービスチェイニングにおいて、データセンタ20のオーケストレータ202が、システム全体を把握し、顧客(ユーザ)のネットワークサービスの要求に応じてuCPE-PFコントローラ201やVNFコントローラ203へ指示(「第1の制御信号」という)を送る。
 該指示を受信したuCPE-PFコントローラ201やVNFコントローラ203から、ユーザの拠点のuCPE装置100に制御信号(「第2の制御信号」という)が送信され、uCPE装置100に対する制御が行われる。このように、uCPE装置100においてサービスチェイニングの設定が行われるまでに、複数の制御プレーン(Control Plane)に跨った制御が行われる。
 上位装置(オーケストレータ202やuCPE-PFコントローラ201、VNFコントローラ203)の処理能力や負荷状況によっては、uCPE-PFコントローラ201やVNFコントローラ203から第2の制御信号がuCPE装置100に到達するまでに遅延が生じる。オーケストレータ202からuCPE-PFコントローラ201、VNFコントローラ203への第1の制御信号、及び、uCPE-PFコントローラ201、VNFコントローラ203からuCPE装置100への第2の制御信号が、それぞれ遅延することによって、uCPE装置100における障害の発生から復旧までに時間を要する。
 図9において、uCPE装置100からの破線矢印は、uCPE装置100における障害の発生から、オーケストレータ202、uCPE-PFコントローラ201、VNFコントローラ203を介して制御信号がuCPE装置100に送信されるまでの経路を模式的に示している。uCPE装置100での障害発生から復旧までの時間の遅延の結果、サービスレベルの低下や、例えば許容できないサービス断時間等が発生する可能性がある。
 特許文献1には、仮想化されたネットワークサービス機能が制御装置により集中制御される場合、制御装置が故障した場合に影響が大きく、仮想化されたネットワークサービス機能の可用性の問題があるという課題が記載されている。特許文献1では、この課題に対して、サービスチェイニングシステムにおいて、各装置間の死活監視と、リンクの障害検知及び障害復旧並びに各装置のリンクの障害検知及び障害復旧とを各装置が自律的に行い、かつ分散して行う。また、サービスチェイニングシステムにおいて、各装置間のサービスチェイニングを可能にするためのサービスファンクションステートアドバタイズメント情報の相互交換を、SCF(Service Chaining Forwarder)装置間で自律的に行い、かつ分散して行う。また、各SCF装置が、自装置が管理するトポロジ情報テーブルに基づき、転送先のSF(Service Function)を「リソース情報」及び「コスト合計値」に基づき適切に選択する。このように、特許文献1では、各装置間のサービスチェイニングを可能にするためのサービスファンクションステートアドバタイズメント情報の相互交換をSCF装置間で行うことが必要とされる。
特開2016-46736号公報
 上記したように、uCPEシステムでは、拠点に配置されるuCPE装置上のVNF等に障害発生時、
・データセンタ側の上位装置(オーケストレータ、コントローラ等)で該障害を把握し、
・データセンタ側の上位装置から拠点に配置されるuCPE装置に制御信号が送信され、
・uCPE装置では、該制御信号に基づき復旧処理が実行される。
 このため、uCPE装置での障害発生から復旧までの時間の遅延の結果、サービスレベルの低下や、例えば許容できないサービス断時間等が発生する可能性がある。
 本発明は、上記課題に鑑みて創案されたものであって、その目的は、サービスチェイニングの障害復旧時間の短縮を可能とする障害復旧制御方法、通信装置、通信システム、及びプログラムと記録媒体を提供することにある。
 本発明の一つの形態によれば、各拠点に配置され、サービスチェイニングに用いられる複数の仮想ネットワーク機能を有する通信装置と、前記拠点の前記通信装置とネットワークを介して接続され、前記通信装置の前記仮想ネットワーク機能とサービスチェイニングを管理する少なくとも1つの上位装置と、を有する通信システムにおける前記通信装置の障害復旧制御方法であって、前記上位装置で行われる前記拠点の通信装置のサービスチェイニングの変更機能の少なくとも一部を、前記拠点の通信装置に配備し、前記拠点の前記通信装置での障害発生時、前記通信装置で自律的に前記サービスチェイニングの組み替えを行うことで、障害から復旧する障害復旧制御方法が提供される。
 本発明の一つの形態によれば、各拠点に配設され、複数の仮想ネットワーク機能を備え、前記仮想ネットワーク機能間を接続したサービスチェイニングを有する通信装置と、
 前記通信装置とネットワークを介して接続され、前記通信装置の前記仮想ネットワーク機能と前記サービスチェイニングを管理する少なくとも1つの上位装置と、
 を備え、前記通信装置が、前記通信装置の前記サービスチェイニングを変更する制御部を備え、前記通信装置での障害発生時、前記通信装置の前記制御部が前記サービスチェイニングの組み替えを行うことで、障害から復旧する通信システムが提供される。
 本発明の一つの形態によれば、各拠点に配設され、複数の仮想ネットワーク機能を備え、前記仮想ネットワーク機能間を接続したサービスチェイニングを有する通信装置であって、前記通信装置の前記仮想ネットワーク機能と前記サービスチェイニングを管理する少なくとも1つの上位装置にネットワークを介して接続され、
 前記仮想ネットワーク機能間を接続するサービスチェイニングの設定情報を保持する記憶部と、障害発生時、前記記憶部に保持された前記設定情報に基づき、前記サービスチェイニングを変更し、障害から復旧する制御部と、を備えた通信装置が提供される。
 本発明の一つの形態によれば、各拠点に配設され、複数の仮想ネットワーク機能を備え、前記仮想ネットワーク機能間を接続したサービスチェイニングを有する通信装置であって、前記通信装置の前記仮想ネットワーク機能と前記サービスチェイニングを管理する少なくとも1つの上位装置にネットワークを介して接続される前記通信装置を構成するコンピュータに、
 前記仮想ネットワーク機能間を接続するサービスチェイニングの設定情報を記憶部に記憶保持する処理と、
 障害発生時、前記記憶部に保持された前記設定情報に基づき、前記サービスチェイニングを変更し、障害から復旧する処理と、を実行させるプログラムが提供される。
 本発明の一つの形態によれば、各拠点に配設され、複数の仮想ネットワーク機能を備え、前記仮想ネットワーク機能間を接続したサービスチェイニングを有する通信装置であって、前記通信装置の前記仮想ネットワーク機能と前記サービスチェイニングを管理する少なくとも1つの上位装置にネットワークを介して接続される前記通信装置を構成するコンピュータに、前記仮想ネットワーク機能間を接続するサービスチェイニングの設定情報を記憶部に記憶保持する処理と、障害発生時、前記記憶部に保持された前記設定情報に基づき、前記サービスチェイニングを変更し、障害から復旧する処理と、を実行させるプログラムを記憶したコンピュータ読み出し可能な記録媒体が提供される。該記録媒体は、例えばRAM(Random Access Memory)、ROM(Read Only Memory)、又はEEPROM(Electrically Erasable and Programmable ROM)等の半導体ストレージや、HDD(Hard Disk Drive)、CD(Compact Disc)、DVD(Digital Versatile Disc)等の非一時的なコンピュータ可読記録媒体(non-transitory computer readable recording medium)からなる。
 本発明によれば、サービスチェイニングの障害復旧時間を短縮することができる。
本発明の例示的な実施形態を説明する図である。 本発明の例示的な実施形態を説明する図である。 本発明の例示的な実施形態の構成を説明する図である。 本発明の例示的な実施形態の構成(拠点管理部)を説明する図である。 本発明の例示的な実施形態の動作を説明する流れ図である。 本発明の例示的な実施形態の動作を説明する流れ図である。 本発明の例示的な実施形態の動作を説明する流れ図である。 本発明の例示的な実施形態の構成を説明する図である。 関連技術を説明する図である。
 本発明の一形態によれば、本来ならばオーケストレータ(NFV Orchestrator)等の上位装置が実施する障害時のサービスチェイニング変更機能を、各拠点のuCPE装置に配備する。uCPE装置では、障害発生時、該オーケストレータ等の上位装置からの指示を待たずに、uCPE装置内で、自律的に、障害からの復旧のためのサービスチェイニングの変更を行い、障害復旧を実施する。このため、障害発生から復旧までに時間を要していた、サービスチェイニング変更の時間を短縮可能とし、障害復旧時間の短縮を実現する。
 図1は、本発明の例示的な実施形態を説明する図である。図1は、図9に示した典型的なuCPEシステムに対する、例示的な実施形態の相違点を模式的に示した図である。なお、図1は、図9を比較例とした場合において、本発明の実施形態を説明するための図であり、本発明が図1の構成に限定されるものと解釈されるべきでないことは勿論である。例えば、拠点の個数は2に制限されるものでなく、uCPE装置上のVNFの数は2に制限されるものでないことは勿論である。なお、以下では、uCPE装置100、WAN30、データセンタ20等に関して、図9と同一の説明は重複を回避するため、適宜省略し、相違点を説明する。
 図1において、uCPE装置100は、uCPE装置100のNFVI上で稼動するVNFの構成情報やサービスチェイニングの内部経路等の設定情報を記憶部(不図示)に保持する。uCPE装置100では、障害情報を契機に、例えばサービスチェイニングを組み替えることで、障害復旧を行う。uCPE装置100は、データセンタ20のオーケストレータ202やuCPE-PFコントローラ201、VNFコントローラ203等の上位装置から、uCPE装置100で稼動するVNF等に向けて送信される各種設定情報(VNFの構成情報やサービスチェイニングで使用するVNF間の内部経路)に関する制御信号を仲介する。uCPE装置は、該上位装置からVNF等に向けて送信される各種設定情報を記憶部(不図示)に保持し、各種設定情報を解析することで、VNFの構成情報やサービスチェイニングで使用するVNF間の内部経路に関する情報を取得する。
 uCPE装置100内で障害が発生した際には、uCPE装置100から上位装置へ送られる障害通知(管理系信号)を解析して障害の内容を把握する。uCPE装置100では、uCPE装置100のNFVI(NFV Infrastructure)上の仮想マシン(Virtual Machine:VM)として実装されるVNFの論理ポート等の障害や、uCPE装置100のハードウェア、ソフトウェア・プラットフォームの障害等を検知するようにしてもよい。
 uCPE装置100は、障害を把握した後、uCPE装置100内で保持しているVNFの構成情報やサービスチェイニング情報に基づき、該障害が発生した箇所(例えばVNF)を迂回するようなサービスチェイニングを導出(計算)し、サービスチェイニングの組み替えを行うことで、障害から復旧する。 
 uCPE装置100は、障害の復旧後、上位装置(VNFコントローラ203、オーケストレータ202等)に対して、サービスチェイニングで使用するVNF間の内部経路等の設定変更通知を送信し、上位装置で管理する設定情報を更新させる。この結果、上位装置(VNFコントローラ203やオーケストレータ202等)とuCPE装置100とVNFに関する設定情報に差分が生じないようにする。
 図2は、サービスチェイニングの変更の一例を説明する図である。図2は、ETSI GS NFV-MAN 001 V1.1.1 (2014-12) Network Functions Virtualisation (NFV); Management and OrchestrationのFigure 6.5に基づく図である。ここで、uCPE装置100において、VNF間を接続するサービスチェインニングが、仮想リンク(Virtual Link)VL1、VNF1、仮想リンクVL2、VNF2、VNF3、仮想リンクVL4から構成されているものとする。図2の破線は、NFP(Network Forwarding Path:ネットワーク転送経路)1である。NFPは、VNFFGR(VNF Forwarding Graph Record)(インスタンスレコード)等で管理される。図2において、NFP1は、ネットワークサービスエンドポイント(コネクションポイント)CP01からVNF1のコネクションポイントCP11間の仮想リンクVL1、VNF1のコネクションポイントCP13とVNF2のコネクションポイントCP21間の仮想リンクVL2、VNF2のコネクションポイントCP21とVNF3のコネクションポイントCP31間の仮想リンクVL2、VNF3のコネクションポイントCP33とネットワークサービスエンドポイント(コネクションポイントCP02)間の仮想リンクVL4からなる。uCPE装置100において、VNF2のコネクションポイントCP21の障害検出時、VNFFGD(VNF Forwarding Graph Descriptor)、VNFFGR、NFPの情報要素や、顧客のサービス契約等を参照して、NFP1のかわりに、VNF2を迂回する経路NFP2に切り替えるようにしてもよい。あるいは、VNF2を迂回する経路NFP3に切り替えるようにしてもよい。この場合、uCPE装置100では、VNF2を正常終了(gracefully terminate)又は強制終了(forcefully terminate)してもよい。あるいは、uCPE装置100では、VNF2が冗長構成の場合、オートヒーリングとして、運用(アクティブ)系の障害VNFから、待機(スタンバイ)系のVNFに系切り替えを行うようにしてもよい。
 図3は、uCPE装置100の構成を例示する図である。図3を参照すると、uCPE装置100は、通信部110、拠点管理部120、uCPE-PF管理部130、VNF管理部140を有する。
 通信部110は、uCPE装置100と、WAN30を介して、データセンタ20のuCPE-PFコントローラ201、VNFコントローラ203等との通信を行う不図示のインタフェース(ネットワークインタフェース)を含む。
 拠点管理部120は、uCPE-PF管理部130やVNF管理部140と、データセンタ20のuCPE-PFコントローラ201やVNFコントローラ203等の上位装置との制御系信号を仲介し、制御系信号から設定情報を抽出して、不図示の記憶部に保持する。
 また、制御系信号の他に、管理系信号(例としてSNMP(Simple Network Management Protocol)トラップ(SNMPエージェントがSNMPエージェントシステム内で発生した変化をSNMPトラップとしてSNMPマネージャーに送信する)やログなど)も仲介する。管理系信号に障害情報が含まれている場合は、保持している設定情報を基に、障害復旧可能であると判断した場合、上位装置に代わって、サービスチェイニングの切り替え指示を、uCPE-PF管理部130やVNF管理部140に対して行う。
 uCPE-PF管理部130は、uCPE装置100のVNFを搭載するための仮想マシン(Virtual Machine:VM)の管理と、サービスチェイング用のVNF間の内部経路の管理を行い、上位装置であるuCPE-PFコントローラ201からの制御を受け付ける。
 VNF管理部140は、uCPE-PF管理部130によって作成された仮想マシン(VM)にデプロイされたVNFの管理を行い、上位装置であるVNFコントローラ203からの制御を受け付ける。
 図4は、図3の拠点管理部120の構成を例示する図である。図4を参照すると、拠点管理部120は信号解析部121、障害復旧制御部122、経路管理部123、構成管理部124を有する。
 信号解析部121は、制御系信号や管理系信号を仲介する際に、制御系信号であれば、経路管理部123や構成管理部124に対して、各設定情報の保存指示を行い、管理系信号であれば、障害復旧制御部122へ通知する。
 障害復旧制御部122は、信号解析部121からの通知を受け、障害が発生したか否かの判定を行う。障害が発生したと判断した場合、障害復旧制御部122は、経路管理部123や構成管理部124に保持されている設定情報を取得し、障害復旧のためのサービスチェイニングを計算する。
 障害復旧制御部122において、障害復旧が可能であると判断した場合、uCPE-PF管理部130やVNF管理部140に対して設定変更の指示を行う。また、障害復旧制御部122は、uCPE-PF管理部130やVNF管理部140での設定変更が完了した後は、uCPE-PFコントローラ201やVNFコントローラ203等の上位装置へ設定変更の通知を送る。
 経路管理部123は、信号解析部121からの指示により、サービスチェイニングに関する内部経路情報を記憶部(不図示)に保存する。経路管理部123は、障害復旧制御部122からの設定情報の取得要求が発生した場合、前記憶部(不図示)に保持す内部経路情報を、障害復旧制御部122に渡す。
 構成管理部124は、経路管理部123と同様に、uCPE装置100に搭載されているVNFの種類やサービスチェイニングに使用されている仮想ポートなどの情報の保存と受け渡しを行う。
 図5は、本発明の例示的な実施形態の動作を説明する流れ図である。
<ステップS11>
 uCPE装置100の通信部110で上位装置(uCPE-PFコントローラ201やVNFコントローラ203)からの制御系信号を受信後、制御系信号は、それぞれの制御内容に合わせて、uCPE-PF管理部130やVNF管理部140へ送られる前に、拠点管理部120に受け渡される。
<ステップS12>
 制御系信号を受け取った拠点管理部120は、信号解析部121にて制御系信号を解析する。
 <ステップS13> 
 ステップS12の解析の結果、制御系信号が、uCPE-PF管理部130に対するサービスチェイニング関係の制御系信号の場合、経路管理部123に設定情報を保存させるために、該制御系信号を経路管理部123に渡し、ステップS14へ移行する。VNFに対する制御系信号の場合、構成管理部124に設定情報を保存させるために、該制御系信号を構成管理部124に渡し、ステップS16へ移行する。
<ステップS14>
 制御系信号(uCPE-PF管理部130に対するサービスチェイニング関係の制御系信号)を受け取った経路管理部123は、サービスチェイニングに関するuCPE装置100内の内部経路情報(物理ポート、論理ポート、仮想スイッチ等の経路情報)を記憶部に内部に保存する。
<ステップS15> 
 経路管理部123で内部経路情報を保存した後、制御系信号は、本来の宛先であるuCPE-PF管理部130に渡され、uCPE-PF(uCPEプラットフォーム)設定情報の更新が行われる。
<ステップS16>
 制御系信号(VNFに対する制御系信号)を受け取った構成管理部124は、VNFの種類やサービスチェイグに使用されている仮想ポートなどの情報を記憶部(不図示)に保存する。
<ステップS17>
 構成管理部124でVNFの種類や仮想ポートなどの情報を保存した後、制御系信号は、本来の宛先であるVNF管理部140に渡される。VNF管理部140は、前記憶部に保存されているVNFの設定情報を更新する。
 図6は、本発明の例示的な実施形態の障害復旧動作を説明する図である。
<ステップS21>
 uCPE装置100において、uCPE-PF管理部130やVNF管理部140から上位装置(uCPE-PFコントローラ201、VNFコントローラ203)へ送られる管理系信号を通信部110で受信すると、該管理系信号は、通信部110から該上位装置に送られる前に、拠点管理部120に受け渡される。
<ステップS22>
 管理系信号を受け取った拠点管理部120では、障害復旧制御部122が、障害復旧が可能であるか否かを解析するためのサービスチェイニングに関する設定情報を、経路管理部123と構成管理部124から取得する。
<ステップS23>
 障害復旧制御部122は、管理系信号に基づき、障害の発生の有無の解析を行う。そして、障害復旧制御部122は、障害が発生したと判断した場合、ステップS22で取得した各種設定情報を基に、障害発生箇所を迂回し障害復旧を可能とするサービスチェイニングの組み替えが可能であるか否かを判断する。
<ステップS24>
 障害復旧制御部122は、ステップS23の解析の結果、サービスチェイニングの組み替えにより、障害復旧が可能であると判断した場合、ステップS26の障害復旧処理に移行する。一方、サービスチェイニングの変更による復旧が不可能な場合、障害復旧制御部122は、上位装置へ障害通知を送るために、ステップS25へ移行する。
<ステップS25>
 障害復旧ができずに障害が確定したことを意味するため、uCPE装置100の通信部110から上位装置(uCPE-PFコントローラ201、VNFコントローラ203等)へ障害通知が行われる。なお、uCPE装置100において、サービスチェイニングの変更では障害からの復旧が不可能な場合として、例えばハードウェア装置の故障やネットワーク障害等の場合、上位装置(例えばuCPE-PFコントローラ201)への該障害通知とともに、uCPE装置100において必要な保守、復旧対策を行うようにしてもよい。また上位装置に復旧完了通知を送信するようにしてもよい。
 図7は、本発明の例示的な実施形態の障害復旧制御部122の動作(図6のステップS26)の詳細を説明する図である。
<ステップS31>
 障害復旧制御部122は、障害発生箇所を迂回するようなサービスチェイニングと、そのサービスチェイニングへ変更するための設定を計算する。
<ステップS32>
 障害復旧制御部122は、ステップS31で計算された設定をuCPE-PF管理部130とVNF管理部140へそれぞれ設定変更指示を送り、サービスチェイングの組み替えを実施する。
<ステップS33> 
 障害復旧制御部122は、uCPE-PF管理部130とVNF管理部140からの設定変更完了通知を受信すると、設定変更の完了と判断し、上位装置(uCPE-PFコントローラ201、VNFコントローラ203)へ設定変更を送るために、ステップS34へ移行する。
<ステップS34>
 障害復旧制御部122による設定変更により、uCPE-PF管理部130とVNF管理部140がそれぞれ保持している設定情報と、それぞれに対応する上位装置(uCPE-PFコントローラ201、VNFコントローラ203)側で保持する設定内容との間に差が生じる。障害復旧制御部122は、それぞれの上位装置(uCPE-PFコントローラ201、VNFコントローラ203)に対して設定変更通知を送りそれぞれに対応する上位装置(uCPE-PFコントローラ201、VNFコントローラ203)で保持する設定内容と実際の設定内容との間に差分が生じないように制御する。
 図8は、本発明の別の実施形態を説明する図である。uCPE装置100をコンピュータで実現した例を説明する図である。図8を参照すると、コンピュータ300は、プロセッサ301、DRAM(Dynamic Random Access Memory)、SRAM(Static Random Access Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)等のメモリ302、I/O(Input/Output)インタフェース303、304、ネットワークインタフェース305を備えている。I/Oインタフェース303には、入出力装置306が接続され、I/Oインタフェース 304には、ストレージ307が接続される。ネットワークインタフェース305は、図1のWAN30等のネットワークに接続され、データセンタ20のuCPE-PFコントローラ201、VNFコントローラ203等と通信する。プロセッサ301が例えばメモリ302に記憶されたプログラム(命令群)を実行することで、コンピュータ300は、上記した実施形態のuCPE装置100の処理・機能を実現する。
 前述したように、複数のVNFを所定の条件、順序で連結したサービスチェイニングの計算及び設定は、本来であれば、そのライフサイクルを管理するオーケストレータからの指示により行われる。しかしながら、各拠点のuCPE装置とオーケストレータまでの地理的な距離や制御系の負荷状況により、uCPE装置におけるサービスチェイニングの設定の変更が反映されるまでに、時間を要し、サービス断等が長期化するという事態も起こり得る。このような状況において、上記実施形態では、オーケストレータとコントローラの機能の一部(VNF管理、サービスチェイニング変更機能)を具備した機構である拠点管理部(図3の120)を、uCPE装置(図3の100)に搭載することで、サービス断時間の短縮を可能としている。
 なお、上記実施形態において、各拠点のuCPE装置の制御を、データセンタ側のコントローラ等の上位装置だけから行うのではなく、uCPE装置内で一部の復旧制御を、自律的に、局所的に行うものであり、uCPE装置の内部の構成や制御方法は、上記実施形態で説明したものに制限されるものでないことは勿論である。例えば、上記実施形態で説明した構成、制御方法のほか、以下のようなuCPE装置の構成や制御方法に、適宜、変更又は追加してもよい。
・サービスチェイニングをテンプレート化し、オーケストレータとテンプレートを共有することで設定情報の詳細を把握することなく、サービスチェイニングの変更を簡略化する。サービスチェイニングのテンプレートは、例えばuCPE装置に搭載するVNFの選択やVNFの搭載順序をパターン化して記述したデータファイルであってもよい。
・uCPE装置100において、拠点管理部120が制御系信号を仲介させることで、設定情報を保存する代わりに、制御系信号は経路管理部123、構成管理部124の両方に転送される構成としてもよい。
・障害復旧手段の一つとして、VNFのリセット機能等を追加してもよい。例えば障害VNFを迂回するのではなく、VNFの初期化、再起動等を行う。障害によっては、障害VNFがアプリケーションとして稼動する仮想マシン(VM)を再起動することで、該障害が復旧し、正常動作する場合がある。障害VNFのリセット操作は、VNFの状態の設定変更とみなすことができることから、サービスチェイニングの変更操作に含めてもよいことは勿論である。
・uCPE装置において、サービスチェイニングの経路、VNFの構成等の設定情報を管理する管理部を共通化するようにしてもよい。
 本発明によれば、仮想化環境のサーバやネットワーク機器などのハードウェア機器とそれを使用したサービスの提供等に適用可能である。
 なお、上記の特許文献1の開示は、本書に引用をもって繰り込み記載されているものとし、必要に応じて本発明の基礎ないし一部として用いることが出来るものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素(各請求項の各要素、各実施例の各要素、各図面の各要素等を含む)の多様な組み合わせ乃至選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
10A、10B 拠点
20 データセンタ
30 WAN
100、100A、100B uCPE装置
101、101A、101B サーバ群
110 通信部
120 拠点管理部
121 信号解析部
122 障害復旧制御部
123 経路管理部
124 構成管理部
130 uCPE-PF管理部
140 VNF管理部
201 uCPE-PFコントローラ
202 オーケストレータ
203 VNFコントローラ
300 コンピュータ
301 プロセッサ
302 メモリ
303、304 I/Oインタフェース 
305 ネットワークインタフェース
306 入力/出力装置
307 ストレージ
308 ネットワーク

Claims (10)

  1.  各拠点に配置され、サービスチェイニングに用いられる複数の仮想ネットワーク機能を有する通信装置と、
     前記拠点の前記通信装置とネットワークを介して接続され、前記通信装置の前記仮想ネットワーク機能とサービスチェイニングを管理する少なくとも1つの上位装置と、
     を有する通信システムにおける前記通信装置の障害復旧制御方法であって、
     前記上位装置で行われる前記拠点の通信装置のサービスチェイニングの変更機能の少なくとも一部を、前記拠点の通信装置に配備し、
     前記拠点の前記通信装置での障害発生時、前記通信装置で自律的に前記サービスチェイニングの組み替えを行うことで、障害から復旧する、ことを特徴とする障害復旧制御方法。
  2.  前記通信装置は、前記障害の復旧後、前記上位装置へ前記サービスチェイニングの設定の変更通知を送信する、ことを特徴とする請求項1に記載の障害復旧制御方法。
  3.  前記通信装置での障害発生時、前記通信装置では、前記通信装置に記憶保持されている、前記サービスチェイニングに用いられる前記仮想ネットワーク機能の構成及び経路の設定情報に基づき、前記サービスチェイニングの組み替えを行うことで自律的な障害復旧が可能と判断した場合、前記上位装置からの指示を受けずに、前記サービスチェイニングの組み替えを行う、ことを特徴とする請求項1又は2に記載の障害復旧制御方法。
  4.  前記通信装置は、前記上位装置から前記通信装置へ送信される制御信号から、前記サービスチェイニングの経路の設定情報及び前記仮想ネットワーク機能の構成の設定情報を取得する、ことを特徴とする請求項3に記載の障害復旧制御方法。
  5.  各拠点に配設され、複数の仮想ネットワーク機能を備え、前記仮想ネットワーク機能間を接続したサービスチェイニングを有する通信装置と、
     前記通信装置とネットワークを介して接続され、前記通信装置の前記仮想ネットワーク機能と前記サービスチェイニングを管理する少なくとも1つの上位装置と、
     を備え、
     前記通信装置が、
     前記通信装置の前記サービスチェイニングを変更する制御部を備え、
     前記通信装置での障害発生時、前記通信装置の前記制御部が、前記サービスチェイニングの組み替えを行うことで、障害から復旧する、ことを特徴とする通信システム。
  6.  前記通信装置の前記制御部は、前記障害の復旧後、前記上位装置へ前記サービスチェイニングの設定の変更通知を送信する、ことを特徴とする請求項5に記載の通信システム。
  7.  前記通信装置は、前記サービスチェイニングに用いられる前記仮想ネットワーク機能の構成及び経路の設定情報を保持する記憶部を備え、
     前記通信装置での障害発生時、前記制御部は、前記記憶部に保持された前記設定情報に基づき、前記サービスチェイニングの組み替えを行うことで自律的な障害復旧が可能か否かを判断し、
     障害復旧が可能な場合、前記上位装置からの指示を受けずに、前記サービスチェイニングの組み替えを行う、ことを特徴とする請求項5又は6に記載の通信システム。
  8.  各拠点に配設され、複数の仮想ネットワーク機能を備え、前記仮想ネットワーク機能間を接続したサービスチェイニングを有有する通信装置であって、
     前記通信装置の前記仮想ネットワーク機能と前記サービスチェイニングを管理する少なくとも1つの上位装置にネットワークを介して接続され、
     前記仮想ネットワーク機能間を接続するサービスチェイニングの設定情報を保持する記憶部と、
     障害発生時、前記記憶部に保持された前記設定情報に基づき、前記サービスチェイニングを変更し、障害から復旧する制御部と、
     を備えた、ことを特徴とする通信装置。
  9.  前記障害の復旧後、前記制御部は、前記上位装置へ前記サービスチェイニングの設定の変更通知を送信する、ことを特徴とする請求項8に記載の通信装置。
  10.  各拠点に配設され、複数の仮想ネットワーク機能を備え、前記仮想ネットワーク機能間を接続したサービスチェイニングを有する通信装置であって、前記通信装置の前記仮想ネットワーク機能と前記サービスチェイニングを管理する少なくとも1つの上位装置にネットワークを介して接続される前記通信装置を構成するコンピュータに、
     前記仮想ネットワーク機能間を接続するサービスチェイニングの設定情報を記憶部に記憶保持する処理と、
     障害発生時、前記記憶部に保持された前記設定情報に基づき、前記サービスチェイニングを変更し、障害から復旧する処理と、
     を実行させるプログラム。
PCT/JP2019/031353 2018-08-10 2019-08-08 障害復旧制御方法、通信装置、通信システム、及びプログラム WO2020032169A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020535875A JP7020556B2 (ja) 2018-08-10 2019-08-08 障害復旧制御方法、通信装置、通信システム、及びプログラム
US17/266,750 US20220116267A1 (en) 2018-08-10 2019-08-08 Fault recovery control method, communication apparatus, communication system, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018151993 2018-08-10
JP2018-151993 2018-08-10

Publications (1)

Publication Number Publication Date
WO2020032169A1 true WO2020032169A1 (ja) 2020-02-13

Family

ID=69414771

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/031353 WO2020032169A1 (ja) 2018-08-10 2019-08-08 障害復旧制御方法、通信装置、通信システム、及びプログラム

Country Status (3)

Country Link
US (1) US20220116267A1 (ja)
JP (1) JP7020556B2 (ja)
WO (1) WO2020032169A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11520615B1 (en) * 2020-03-31 2022-12-06 Equinix, Inc. Virtual network function virtual domain isolation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016046736A (ja) * 2014-08-25 2016-04-04 日本電信電話株式会社 サービスチェイニングシステム、サービスチェイニングフォワーダ装置、及びサービスチェイニング方法
JP2016152429A (ja) * 2015-02-16 2016-08-22 日本電気株式会社 制御装置、通信システム、仮想ネットワーク機能の管理方法及びプログラム
JP2016192660A (ja) * 2015-03-31 2016-11-10 日本電気株式会社 ネットワークシステム、ネットワーク制御方法、制御装置および運用管理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10439886B2 (en) * 2015-07-13 2019-10-08 Telefonaktiebolaget Lm Ericsson (Publ) Analytics-driven dynamic network design and configuration
WO2017215756A1 (en) * 2016-06-16 2017-12-21 Telefonaktiebolaget Lm Ericsson (Publ) Technique for resolving a link failure
US10389575B2 (en) * 2017-07-20 2019-08-20 Juniper Networks, Inc. Traffic migration based on traffic flow and traffic path characteristics

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016046736A (ja) * 2014-08-25 2016-04-04 日本電信電話株式会社 サービスチェイニングシステム、サービスチェイニングフォワーダ装置、及びサービスチェイニング方法
JP2016152429A (ja) * 2015-02-16 2016-08-22 日本電気株式会社 制御装置、通信システム、仮想ネットワーク機能の管理方法及びプログラム
JP2016192660A (ja) * 2015-03-31 2016-11-10 日本電気株式会社 ネットワークシステム、ネットワーク制御方法、制御装置および運用管理装置

Also Published As

Publication number Publication date
JPWO2020032169A1 (ja) 2021-08-10
US20220116267A1 (en) 2022-04-14
JP7020556B2 (ja) 2022-02-16

Similar Documents

Publication Publication Date Title
CN111355604B (zh) 在软件定义网络上的用户定制和自动化操作的系统和方法
US11665053B2 (en) Initializing network device and server configurations in a data center
US10949233B2 (en) Optimized virtual network function service chaining with hardware acceleration
US10411947B2 (en) Hot swapping and hot scaling containers
US10083026B1 (en) In-service software upgrade of software-defined networking controller
EP3216194B1 (en) Network function virtualization service chaining
US9692729B1 (en) Graceful migration of isolated virtual network traffic
US10938660B1 (en) Automation of maintenance mode operations for network devices
US11201782B1 (en) Automation of maintenance mode operations for network devices
JP6466003B2 (ja) Vnfフェイルオーバの方法及び装置
US20170111230A1 (en) Hybrid control/data plane for packet brokering orchestration
US11258661B2 (en) Initializing server configurations in a data center
US11444871B1 (en) End-to-end path selection using dynamic software-defined cloud interconnect (SDCI) tunnels
JP2022515994A (ja) ネットワーククラウド内で動作するエンティティの活動のオーケストレーション
US20150156118A1 (en) Method and Apparatus for Dynamic and Distributed Tunnel Routinge
WO2017127225A1 (en) Virtual network, hot swapping, hot scaling, and disaster recovery for containers
WO2020032169A1 (ja) 障害復旧制御方法、通信装置、通信システム、及びプログラム
JP6604336B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
Rajan Common platform architecture for network function virtualization deployments
US20230344744A1 (en) Mitigating oversubscription of traffic to edge nodes in a data center
US20230344707A1 (en) Using an application programming interface (api) gateway to manage communications in a distributed system
US20140351428A1 (en) Method and Apparatus for Elastic Tunnel Resize

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19847931

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020535875

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19847931

Country of ref document: EP

Kind code of ref document: A1