WO2020011214A1 - 管理虚拟化资源的方法和装置 - Google Patents

管理虚拟化资源的方法和装置 Download PDF

Info

Publication number
WO2020011214A1
WO2020011214A1 PCT/CN2019/095501 CN2019095501W WO2020011214A1 WO 2020011214 A1 WO2020011214 A1 WO 2020011214A1 CN 2019095501 W CN2019095501 W CN 2019095501W WO 2020011214 A1 WO2020011214 A1 WO 2020011214A1
Authority
WO
WIPO (PCT)
Prior art keywords
resource
request
node
container
resources
Prior art date
Application number
PCT/CN2019/095501
Other languages
English (en)
French (fr)
Inventor
冯爱娟
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2020011214A1 publication Critical patent/WO2020011214A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45562—Creating, deleting, cloning virtual machine instances

Definitions

  • the present application relates to the field of virtualized network functions, and more particularly, to a method and apparatus for managing virtualized resources.
  • Network function virtualization provides a new way to design, deploy, and manage network services (NS). It implements some telecommunication network functions in common servers, switches, and storage. Decoupling of software and hardware enables fast and efficient deployment of NS. Because NFV requires a lot of virtualization resources, it requires a high degree of software management, which the industry calls choreography.
  • Network function virtualization management and orchestration (network function management and orchestrator (NFV MANO) is an architectural framework for managing and coordinating virtual network functions (VNF) and other software components.
  • the management functions of the NFV MANO system and the container service have their own resource pools of virtual resources. If the management function of the container service is integrated into the framework of the NFV MANO system, then how can the two parties use the virtual resources in the resource pool in order to not cause conflicts in resource use or reduce resource utilization? A question that must be considered.
  • This application provides a method for managing resources, which aims to provide a solution for managing virtualized resources for the container architecture and the converged architecture after the container service management functions are integrated into the NFV MANO system.
  • the present application provides a method for managing virtualized resources.
  • the method includes: a container resource management entity receiving a first management operation request from a virtualized network function management entity; the first management operation request is used to request a specified virtual resource;
  • the resource management performs a first management operation, wherein the specified virtualization resource is a container resource or a node resource, the node resource includes a virtual machine resource and / or a bare metal resource, and the container resource is created on one or more of the nodes Resource;
  • the container resource management entity in response to the first management operation request, the container resource management entity sends a second management operation request to the virtualized infrastructure manager VIM, and the second management operation request is used to request the VIM to perform a second management operation on the specified node resource ;
  • the container resource management entity performs update management on the node resource pool.
  • the virtual network function management entity may be specifically NFVO or VNFM, which is not limited in this application.
  • the first management operation request is used to request to perform a first management operation on a specified virtualized resource
  • the specified virtualized resource may be a container resource or a node resource.
  • the second management operation request is used to request that a second management operation be performed on the specified node resource.
  • the second management operation request is used to request the VIM to perform a second management operation on the node resource used to create the container resource.
  • the specified virtualized resource is a node resource
  • the object requested by the first management operation request and the second management operation request are the same, and both are the specified node resources.
  • the specified virtualized resource is a container resource
  • the "specified virtualized resource" mentioned in the first management operation request is created on the "specified node resource” mentioned in the second management operation request.
  • the container resource management entity receiving the first management operation request from the virtualized network function management entity includes: the container resource management entity receives a node resource increase request, and the node resource increase request It is used to request to add one or more designated node resources in the node resource pool; and the container resource management entity sends a second management operation request to the VIM, which includes: the container resource management entity sends a first node resource application request to the VIM, the first A node resource application request is used to request VIM to allocate one or more specified node resources; and according to the response message returned by VIM for the second management operation request, the container resource management entity performs update management on the node resource pool, including: When receiving a permission response from the VIM for the first node resource application request, the container resource management entity adds the one or more specified node resources allocated by the VIM to the node resource pool.
  • receiving the first management request by the container resource management entity includes: receiving, by the container resource management entity, a first node resource release request, and the first node resource release request is used to request release One or more designated node resources in the node resource pool; and the container resource management entity sends a second management operation request to the VIM, including: the container resource management entity sends a second node resource release request to the VIM, and the second node resource release The request is used to request the release of one or more specified node resources in the node resource pool; and, according to the response message for the second management operation request returned by the VIM, the container resource management entity performs update management on the node resource pool, including: When receiving a permission response from the VIM for the resource release request of the second node, the container resource management entity deletes the one or more specified node resources from the node resource pool.
  • the container resource management entity receiving the first management operation request from the virtualized network function management entity includes: the container resource management entity receives the container resource from the virtualized network function management entity An increase request, the container resource increase request is used to request to add one or more specified container resources; and the container resource management entity sends a second management operation request to the VIM, including: the container resource management entity sends a second node resource request request to the VIM , The second node resource application request is used to request VIM to allocate a node resource for creating the one or more specified container resources; and according to the response message returned by the VIM for the second management operation request, the container resource management entity requests the node
  • the resource pool performing update management includes: upon receiving a permission response from the VIM for the second node resource application request, the container resource management entity adds a VIM allocation in the node resource pool for creating the one or more Node resources for a specified container resource; and Further comprising: a resource management entity to create a container or a
  • the container resource management entity receiving the first management operation request from the virtualized network function management entity includes: the container resource management entity receives the container resource from the virtualized network function management entity Release request, the container resource release request is used to request the release of one or more specified container resources; and, the method further includes: the container resource management entity deletes one or more specified container resources in response to the container resource release request; and, The container resource management entity sends a second management operation request to the VIM, including: the container resource management entity sends a third node resource release request to the VIM, and the third node resource release request is used to request the VIM to release the target node resource.
  • a specified container resource is created on the target node resource; and according to the response message for the second management operation request returned by the VIM, the container resource management entity updates and manages the node resource pool, including: the third node returned in the VIM In case of release of the requested license response message The container resource management entity to release resources from the target node node resource pool; in the case of a negative response message returned for the third node VIM release request, the container resource management entity node resource pool not updated.
  • the method further includes: the container resource management entity receives a first subscription request, and the first subscription request is used to subscribe to a status change event of a specified container service life cycle; In response to the first subscription request, the container resource management entity sends a second subscription request to the VIM, and the second subscription request is used to subscribe to the fault information and / or performance information of the node resource associated with the specified container service; the container resource management entity from The VIM receives the fault information and / or performance information of the subscribed node resource; the container resource management entity, according to a preset management policy, the subscribed node resource fault information and / or performance information, provides the specified container service life cycle For management.
  • the present application provides a method for managing virtualized resources.
  • the method includes: the container resource management entity receives a third management operation request from the virtualized network function management entity, and the third management operation request is used to request the container resource management entity. Update the node resource pool or perform a third management operation on the specified virtualized resource.
  • the third management operation request is sent by the virtualized network function management entity to the container resource management with the permission of the virtualized infrastructure manager VIM.
  • the specified virtualization resource is a container resource or a node resource
  • the node resource includes a virtual machine resource and / or a bare metal resource
  • the container resource is created on one or more of the node resources
  • the container resource management entity responds to The third management operation request is to update the node resource pool or perform a third management operation request on the specified virtualized resource.
  • the container resource management entity receives a third management operation request from the virtualized network function management entity, including: the container resource management entity receives a node resource increase request, and the node resource increase request For requesting to add one or more designated node resources in the node resource pool; and the container resource management entity updates the node resource pool in response to the third management operation request, including: the container resource management entity responds to the node resource increase request, Adds one or more specified node resources to the node resource pool.
  • the container resource management entity receiving the third management operation request from the virtualized network function management entity includes: the container resource management entity receives a node resource release request, and the node resource release request For requesting the release of one or more specified node resources in the node resource pool; and the container resource management entity updates the node resource pool in response to the third management operation request, including: the container resource management responds to the node resource release request from Remove the one or more specified node resources from the node resource pool.
  • the container resource management entity receiving the third management operation request includes: the container resource management entity receives a container resource allocation request, and the container resource allocation request is used to request allocation of one or more A specified container resource; and in response to the third management operation request, the container resource management entity executes a third management operation request on the specified virtualized resource, including: the container resource management entity responds to the container resource allocation request from the node resource Select a node resource from the pool and use the selected node resource to create the one or more specified container resources.
  • the container resource management entity receiving the third management operation request includes: the container resource management entity receives a container resource release request, and the container resource release request is used to request the release of one or more A specified container resource; and in response to the third management operation request, the container resource management entity executes the third management operation request on the specified virtualized resource, including: the container resource management entity deletes, in response to the container resource release request, deleting The one or more specified container resources.
  • the method further includes: the container resource management entity determines whether the target node resource needs to be released, and the deletion One or more container resources are created on the target node resource; when it is determined that the target node resource needs to be released, the container resource management entity deletes the target node resource from the node resource pool.
  • the container resource management entity receives the third management operation request, including: the container resource management entity receives a node resource query request, and the node resource query request is used to request to query one or more A specified node resource; and in response to the third management operation request, the container resource management entity performs a third management operation request on the specified virtualized resource, including: the container resource management entity responds to the node resource query request, The pool queries the one or more specified node resources; and the method further includes: the container resource management entity returns a response message for the node resource query request to the virtualized network function management entity.
  • the present application provides a method for managing virtualized resources.
  • the virtualized network function management entity sends a fourth management operation request to the virtualized infrastructure manager VIM.
  • the fourth management operation request is used to request the VIM to a specified virtual server.
  • the fourth management operation is performed on the virtualization resource, where the specified virtualization resource is a container resource or a node resource, the node resource includes a virtual machine resource and / or a bare metal resource, and the container resource is created on one or more node resources; the virtualized network
  • the function management entity sends a third management operation request to the container resource management entity when receiving the permission response from the VIM for the fourth management operation request.
  • the third management operation request is used to request the container resource management entity to update the node resource pool or Perform a third management operation request on the specified virtualization resource.
  • the virtual network function management entity sends a fourth management operation request to the VIM, including: the virtual network function management entity sends a node resource application request to the VIM, and the node resource application The request is used to request the VIM to allocate one or more designated node resources; and the virtual network function management entity sends a third management operation to the container resource management entity in the case where the virtual network function management entity receives a permission response for the fourth management operation request.
  • the request includes: when the virtual network function management entity receives the VIM response response to the node resource application request, it sends a node resource increase request to the container resource management entity, and the node resource increase request is used to request the node resource pool Add one or more specified node resources.
  • the virtual network function management entity sends a fourth management operation request to the VIM, including: the virtual network function management entity sends a node resource release request to the VIM, and the node resource release The request is used to request the release of one or more specified node resources in the node resource pool; and, the virtual network function management entity, upon receiving a permission response from the VIM for the fourth management operation request, sends a request to the container resource management entity.
  • Sending a third management operation request includes: when the virtual network function management entity receives a VIM permission response to the node resource release request, it sends a node resource release request to the container resource management entity, and the node resource release request is used for the request Release the one or more specified node resources in the node resource pool.
  • the method before the virtualized network function management entity sends a fourth management operation request to the VIM, the method further includes: the virtualized network function management entity according to a trigger event or a preset The determined policy determines to trigger the fourth management operation request.
  • the present application provides a device for managing virtualized resources, for performing the method in the first aspect and any possible implementation manners thereof.
  • the apparatus includes a unit that executes the first aspect and the method of any possible implementation manner of the first aspect.
  • the present application provides a device for managing virtualized resources, for performing the method in the second aspect and any possible implementation manners thereof.
  • the apparatus includes a unit that executes the second aspect and the method of any possible implementation manner of the second aspect.
  • the present application provides a device for managing a virtualized resource, for performing the method in the third aspect and any possible implementation manners thereof.
  • the apparatus includes a unit that executes the third aspect and the method of any possible implementation manner of the third aspect.
  • the present application provides a network device, including a transceiver, a processor, and a memory.
  • the processor is used to control the transceiver to send and receive signals
  • the memory is used to store the computer program
  • the processor is used to call and run the computer program stored in the memory, so that the network device executes the first aspect and the method in any possible implementation manner of the first aspect.
  • the present application provides a network device, including a transceiver, a processor, and a memory.
  • the processor is used to control the transceiver to send and receive signals
  • the memory is used to store the computer program
  • the processor is used to call and run the computer program stored in the memory, so that the network device executes the method in the second aspect and any possible implementation manner of the second aspect.
  • the present application provides a network device, including a transceiver, a processor, and a memory.
  • the processor is used to control the transceiver to send and receive signals
  • the memory is used to store the computer program
  • the processor is used to call and run the computer program stored in the memory, so that the network device executes the third aspect and the method in any possible implementation manner of the third aspect.
  • the present application provides a computer-readable storage medium, where the computer-readable storage medium stores computer instructions, and when the computer instructions are run on a computer, the computer is caused to execute the first aspect or any of the first aspect.
  • the present application provides a computer-readable storage medium.
  • the computer-readable storage medium stores computer instructions, and when the computer instructions are run on a computer, the computer is caused to execute the second aspect or the second aspect. Methods in any possible implementation.
  • the present application provides a computer-readable storage medium, where the computer-readable storage medium stores computer instructions, and when the computer instructions are run on a computer, the computer is caused to execute the third aspect or the third aspect.
  • the present application provides a chip including a memory and a processor.
  • the memory is used to store a computer program
  • the processor is used to call and run the computer program from the memory to execute the first aspect and the first aspect.
  • the present application provides a chip including a memory and a processor.
  • the memory is used to store a computer program
  • the processor is used to call and run the computer program from the memory, so that the second aspect and the second aspect described above are executed.
  • the present application provides a chip including a memory and a processor.
  • the memory is used to store a computer program
  • the processor is used to call and run the computer program from the memory, so that the second aspect and the second aspect described above are executed.
  • the present application provides a chip including a memory and a processor.
  • the memory is used to store a computer program
  • the processor is used to call and run the computer program from the memory to execute the third aspect and the third aspect.
  • the present application provides a communication system including the container resource management entity in the first aspect and any possible implementation manner of the first aspect or the second aspect and any possible implementation manner of the second aspect thereof.
  • the present application also provides a computer program product that includes computer program code, and when the computer program code runs on a computer, the computer causes the computer to execute the foregoing first aspect and any possible first aspect thereof.
  • the present application also provides a computer program product, the computer program product including computer program code, which, when the computer program code runs on a computer, causes the computer to execute the foregoing second aspect and any possible second aspect thereof Method in implementation.
  • the present application also provides a computer program product.
  • the computer program product includes computer program code.
  • the computer program code runs on a computer, the computer causes the computer to execute the third aspect and any possible third aspect. Method in implementation.
  • the function of the VIM that manages infrastructure resources in the NFV MANO system remains unchanged, and the virtual Machine resources and bare metal resources (virtual machine resources and / or bare metal resources are also referred to as node resources), and container resources created on top of virtual machine resources and bare metal resources are managed by a newly added container resource management entity in the converged architecture.
  • the container resource management entity can manage container resources created on the node resources, and the node resources (virtual machine resources or bare metal resources) in the node resource pool managed by VIM are also visible to the container resource management entity. This provides a feasible solution for the management of virtualized resources for container services and the converged architecture of container service management functions after they are integrated into the NFV MANO system.
  • Figure 1 is an architecture diagram of the NFV MANO system.
  • FIG. 2 shows the architecture of the Kubernetes system.
  • FIG. 3 is a fusion architecture in which the management function of the container service proposed in this application is integrated into the NFV MANO system.
  • FIG. 4 is a schematic diagram of a two-layer resource management model proposed in the present application.
  • FIG. 5 is a way of managing virtualized resources proposed in the present application.
  • FIG. 6 is an example of increasing a node resource proposed in the present application.
  • FIG. 7 is an example of releasing a node resource proposed in this application.
  • FIG. 8 is another way of managing virtualized resources proposed in this application.
  • FIG. 9 is another example of increasing a node resource proposed in the present application.
  • FIG. 10 is another example of releasing a node resource proposed in the present application.
  • FIG. 11 is an example of increasing a container resource proposed by the present application.
  • FIG. 12 is an example of a query resource proposed in the present application.
  • FIG. 13 is an example of a PM / FM event of a subscription node proposed in the present application.
  • FIG. 14 is a schematic block diagram of an apparatus 1000 for managing a virtualized resource according to the present application.
  • FIG. 15 is a schematic block diagram of an apparatus 2000 for managing a virtualized resource according to the present application.
  • FIG. 16 is a schematic block diagram of an apparatus 3000 for managing virtualized resources according to the present application.
  • FIG. 17 is a schematic block diagram of a network device 4000 for managing virtualization resources according to the present application.
  • FIG. 18 is a schematic block diagram of a network device 5000 for managing virtualization resources according to the present application.
  • FIG. 19 is a schematic block diagram of a network device 6000 for managing virtualization resources according to the present application.
  • FIG. 1 is an architecture diagram of the NFV MANO system.
  • NFV MANO has three main functional blocks, namely NFV orchestrator, VNF manager, and virtual infrastructure manager (VIM).
  • the NFV orchestrator can orchestrate services and resources. It can control new network services and integrate VNFs into the virtual architecture.
  • the NFV orchestrator can also verify and authorize resource requests for NFV infrastructure.
  • the VNF manager can manage the life cycle of the VNF.
  • VIM can control and manage NFV infrastructure, including computing resources, storage resources, and network resources.
  • NFV MANO In order for NFV MANO to be effective, it must be integrated with the application program interface (API) in the existing system in order to use technologies from multiple vendors across multiple network domains. Similarly, the operator's operation support system ( Operation support system (OSS) and business support system (BSS) also need to achieve interoperability with the NFV MANO system
  • API application program interface
  • OSS Operation support system
  • BSS business support system
  • OSS / BSS In addition to traditional management functions, it interacts with the NFV MANO system for virtualized applications to complete the operation and maintenance of the network.
  • Data warehouse service, VNF and infrastructure description, containing relevant templates and VNF software images.
  • NFVO The main function is to realize the management of network service (NS) life cycle in the operator's domain (for example, expansion, reduction, offline, etc.), and NFVI resource orchestration, policy management and other functions. NFVO decomposes the requirements for VNF according to NSD and cooperates with VNFM to implement VNF deployment.
  • NS network service
  • VNFM The main function is to realize the life cycle management of VNF, for example, VNF deployment, capacity expansion, capacity reduction, and offline automation capabilities. According to VNFD and business requirements, the needs for virtual resources are decomposed, and VNF is instantiated in cooperation with NFVO and VIM.
  • VIM The main function is to realize the management and monitoring of the entire infrastructure layer resources (including computing resources, storage resources, and network resources).
  • NFVI Network function virtualization infrastructure
  • the main function is to soften network elements so that network elements can run on a variety of general-purpose hardware.
  • the network element deployment process can be automated. Operators can quickly and dynamically expand or reduce capacity based on business needs.
  • PaaS Platform as a service
  • SaaS Software as a service
  • Cloud computing platform or development environment as a service provider becomes PaaS.
  • Container as a service is a specific type of PaaS.
  • a container is an operating system-level virtualization technology. Through operating system isolation technology, for example, control groups (Cgroups) and namespaces under Linux, separate processes are isolated.
  • Container technology is different from hardware virtualization (hypervisor) technology, it does not have virtual hardware, there is no operating system inside the container, but only processes.
  • containers are lighter and easier to manage than virtual machines.
  • a set of common management operations are defined, such as start, stop, pause, and delete, so that the life cycle of the container can be uniformly managed.
  • the concept of CaaS comes from the field of information technology (IT).
  • IT information technology
  • Kubernetes container cluster management technology led by Google.
  • the Kubernetes system is built on docker technology and provides a set of functions such as resource scheduling, deployment and operation, service discovery, expansion or reduction for containerized applications.
  • container services can be viewed as mini PaaS based on container technology.
  • the interfaces between the components and / or management entities shown in FIG. 1 may Reference is made to the interface description in the NFV MANO system in the prior art, which is not described in this article.
  • FIG. 2 is an architecture diagram of a Kubernetes system.
  • Kubernetes is a distributed system platform with comprehensive cluster management capabilities and management tools.
  • Kubernetes is divided into a control node (Master) and a group of working nodes (Node).
  • the Master runs a group of processes related to cluster management, which is responsible for the management and control of the entire cluster and realizes the container management plane.
  • a worker node is a workload node on which a real application runs, and the smallest unit that runs is a container group (Pod).
  • Pods are the smallest units that can be created, scheduled, managed, and deployed.
  • Node can be either a physical host or a virtual machine.
  • VNF virtual machine
  • PaaS-integrated clouds The architecture has become a new trend in the development of telecom cloud.
  • an unavoidable problem is how to integrate container service management functions into NFV MANO.
  • System architecture In the process of traditional telecom network functions being migrated to the cloud through containerization and service, and new forms of network functions being developed and delivered directly on the cloud, an unavoidable problem is how to integrate container service management functions into NFV MANO. System architecture.
  • Container service and container service management functions are integrated into the NFV MANO system, which can realize the deployment and management of containerized VNF.
  • the container service management function (for example, the Kubernetes system shown in FIG. 2) orchestrates and schedules containers based on node resources (including virtual machines or bare metal). Therefore, after integrating the management function of the container service into the NFV MANO system, the two parties will jointly use the infrastructure resources, and how the two parties implement the management of the infrastructure resources is an issue that must be considered.
  • this application proposes a method for managing virtualized resources, which aims to provide a feasible technical solution for how both parties can manage infrastructure resources after integrating the management function of container services into the NFV MANO system.
  • the container service management functions are integrated into the NFV MANO system, if the infrastructure resources of the NFV MANO system are divided into different resource pools, the management functions of the container service and the NFV MANO system each use a separate resource pool, and the resource utilization rate It is bound to be relatively low. And if both parties share the same infrastructure resource pool, and both parties manage independently, it may cause conflicts in resource use and management.
  • this application proposes a two-tier resource management model. Keep the VIM management node resources (that is, virtual machines and / or bare metal) in the existing NFV MANO system unchanged, and establish the container service management function on top of the node resources (VM and bare metal) managed by VIM for container service management Orchestration. At the same time, the NFV MANO system can dynamically provide node resources for management functions of container services, thereby improving the overall utilization of infrastructure resources.
  • FIG. 3 is a fusion architecture of a container service management function and an NFV MANO system proposed in the present application.
  • a container resource management entity is added to the NFV MANO system.
  • the container resource management entity is a container service manager (CaaS manager) shown in FIG. 3.
  • the container service management entity is responsible for the functions of the CaaS management plane, the management of the life cycle of the container service, and the orchestration and scheduling of container cluster resources at the NFV infrastructure layer (also called layer I).
  • the CaaS manager is deployed on the NFVI of the NFV MANO system, and provides basic container services to implement the creation and management of container groups (Pods) on node resources. It is also understood as the CaaS user plane.
  • VIM provides management capabilities for VMs and bare metal, enabling fast delivery of virtual resources and hardware infrastructure resources.
  • the NFV MANO system can apply for node resources (VM or bare metal) from the VIM for the CaaS manager based on the original functions.
  • the CaaS manager integrates these node resources into its own resource pool, and provides the orchestration and scheduling of container services within the resource pool. That is, the node resources (for example, VM or bare metal) that the container needs to use are still managed by VIM. Based on this, the CaaS manager's ability to manage and orchestrate container resources is achieved.
  • this application proposes a use mode of superimposing container resources on layer I, so that the management function of container services puts forward requirements for interoperability of network and storage of layer I in terms of network and storage.
  • FIG. 4 is a schematic diagram of a two-layer resource management model proposed by the present application.
  • cloud computing includes three landing methods: infrastructure as a service (IaaS), platform as a service (PaaS), and software as a service (software as a service) , SaaS).
  • IaaS infrastructure as a service
  • PaaS platform as a service
  • SaaS software as a service
  • Users can apply for hardware or virtual hardware from IaaS, including virtual machines (VMs) and bare metal, and then install operating systems or other applications on it.
  • VMs virtual machines
  • users can apply for a physical or virtual machine that has installed the operating system and software required to support the running of applications. Then install other applications on it, but cannot modify the pre-installed operating system and operation. surroundings.
  • Users can use some software on the SaaS in a leased manner through the network, but there is no need to purchase it.
  • a more common model is to provide a set of account passwords.
  • the bare metal nodes and VM nodes managed by the Openstack management node can be considered as Openstack maintaining the original functions unchanged.
  • the container group resource (Pod) established on the bare metal node or VM node is managed by the K8S management node of the K8S system, thereby establishing a two-tier resource management model.
  • the CaaS manager can be deployed together with VIM.
  • the interface between the CaaS manager and the VIM is an internal interface.
  • virtualized resources include node resources and container resources, and node resources include virtual machine resources or bare metal resources.
  • the container resource is created on the node resource.
  • containers can be created on virtual machines and / or bare metal. It is the two-tier resource management model mentioned above.
  • the bottom layer is the node resource, and the container resource is created on top of the node resource.
  • the virtual network function management entity mentioned in this application may be NFVO or VNFM.
  • the initiator of the processes in the following embodiments may be NFVO or VNFM. These two paths are similar to the indirect or direct mode of ETSI NFV's application for virtualized resources. Operators can choose one of these modes, and this application does not focus on which mode to adopt.
  • the name of the container resource management entity is not limited in this application.
  • the container resource management entity may be referred to as a CaaS manager (CaaS management, CaaS Mgt), or other names may be adopted.
  • the function of the container resource management entity will be described by taking the container resource management entity as a CaaS manager as an example.
  • the nodes involved in the embodiments of the present application include virtual machine nodes and bare metal nodes. It should be understood that node resources refer to these nodes. For example, increasing node resources may be adding virtual machine nodes to the node resource pool, or it may be adding bare metal nodes, or adding both virtual machine nodes and bare metal nodes.
  • the container resource refers to a container created on a virtual machine node or a bare metal node. Similar to virtual machine nodes or bare metal nodes, containers can also be considered as container nodes.
  • the embodiments for managing virtualized resources provided in this application can be divided into two cases.
  • the container resource management entity directly requests operations such as querying, adding, or releasing virtualized resources (for example, container resources or node resources) from the VIM, and directly updates the node resource pool.
  • FIG. 5 is a manner of managing virtualized resources proposed in the present application.
  • a virtualized network function entity sends a first management operation request to a container resource management entity.
  • the container resource management entity receives a first management operation request from the virtualized network function.
  • the first management operation request is used to request that the first management operation be performed on the specified virtualization resource.
  • the first management operation may specifically be operations such as adding a virtualization resource (for example, increasing a container resource or increasing a node resource), releasing a virtualization resource (releasing a container resource or releasing a node resource) and the like. Details are described below.
  • the specified virtualization resource mentioned herein may be a container resource or a node resource, and the node resource includes a virtual machine resource and / or a bare metal resource.
  • Container resources are created on top of node resources.
  • the container resource management entity In response to the first management operation request, the container resource management entity sends a second management operation request to the VIM.
  • the VIM receives a second management operation request from the container resource management entity.
  • the second management operation request is used to request the VIM to perform a second management operation on the specified virtualized resource.
  • the first management operation request and the second management operation request are generally corresponding. For example, if the first management operation request adds a specified node resource, the second management operation request sent by the container resource management entity to the VIM is used to request the VIM to allocate the specified node resource. For another example, if the first management operation request releases the specified node resource, the second management operation request sent by the container resource management entity to the VIM is used to request the VIM to release the specified node resource.
  • the VIM performs a second management operation on the specified node resource according to the second management operation request.
  • the VIM performs a corresponding second management operation on the specified node resource according to the second management operation request.
  • the second management operation request may be a request to increase a specified node resource, and the VIM allocates the node resource specified by the second management operation request.
  • the second management operation request may be a request to release a specified node resource, and the VIM deletes the node resource specified by the second management operation request from the node resource pool.
  • the second management operation request sent by the container resource management entity to the VIM is used to request the VIM to allocate a node resource that creates the specified container resource. Therefore, VIN allocates the specified node resources according to the second management operation request.
  • the container resource management entity may send a second management operation request to the VIM after deleting the container resource. At this time, the second management operation request is used to request The VIM determines whether to release the node resource used to create the deleted container resource. When determining to release these node resources, VIM can delete these specified node resources.
  • the container resource management entity receives a response message for the second management operation request returned by the VIM.
  • the container resource management entity performs update management on the node resource pool according to the response message.
  • update management may include updating or not updating the node resource pool.
  • the container resource management entity After receiving the response message for the second management operation request returned by the VIM, the container resource management entity performs update management on the node resource pool according to the response message.
  • the VIM allocates these specified node resources after receiving the second management operation request, and carries the allocation in the response message returned
  • the node resource information (for example, node location, node identification, VIM information, etc.). Therefore, the container resource management entity adds these specified node resources to the node resource pool according to the node resource information carried in the response message.
  • the VIM information refers to information capable of identifying the VIM.
  • the VIM information may be an identifier (Identity, ID) or an Internet Protocol (IP) address of the VIM.
  • updating the node resource pool includes recording the association relationship between these newly added node resources and the VIM.
  • the container resource management entity may be connected to one or more VIMs. After VIM newly allocates a node, the container resource management entity associates the newly added node resource with the VIM identified by the VIM information according to the VIM information carried in the response message returned by the VIM. In other words, the association relationship between the newly added node information and the VIM identified by the VIM information is recorded. That is, the container resource management entity records which VIM or bare metal or VM is newly added according to the node resource information carried in the response message.
  • the VIM releases these specified node resources and returns a response message.
  • the response message may carry information of the deleted node resources (for example, node identification, VIM information, etc.). Therefore, the container resource management entity deletes these node resources from the node resource pool according to the node identification carried in the response message, and deletes the records associated with the node resources and VIM that were previously established. If the VIM determines not to release the specified node resources, it may indicate in the response message returned that it does not agree to release the specified node resources. Therefore, the container resource management entity does not update the node resource pool.
  • step 106 may be further included.
  • the container resource management entity returns a response message to the virtualized network function management entity.
  • step 106 the response message in step 106 is requested for the first management operation.
  • a virtual network function management entity is represented by NFVO / VNFM
  • a container resource management entity is represented by a CaaS manager.
  • FIG. 6 is an example of increasing a node resource proposed by the present application.
  • NFVO / VNFM receives a trigger event for increasing a node resource.
  • the application does not limit the specific form of the trigger event for increasing the node resources. For example, it can be triggered based on a predetermined policy, or it can be triggered by a VNF LCM management request, or it can be triggered by a resource query failure. An example of performing resource query will be given below.
  • NFVO or VNFM sends a node resource increase request to the CaaS manager.
  • the node resource increase request is used to request to add one or more specified node resources.
  • the node resource increase request may carry information of the node requesting the increase. For example, number of nodes, node type, and node performance requirements. Node types include virtual machine nodes and bare metal nodes.
  • NFVO / VNFM sends a request for updating the node resources to the CaaS manager.
  • the update node resource request carries an operation type, and the operation type is used to indicate the specific operation of the NFVO / VNFM request.
  • the operation type carried in the update node resource request is specifically "increase node resources”.
  • the operation type carried in the update node resource request is specifically "release node resources”.
  • the update node resource request may also carry information of the node that requested the addition. For example, the number of nodes. Node types and performance requirements for nodes.
  • the CaaS manager determines, according to needs or an instruction of the NFVO, related information of a node that requests to be added.
  • the related information of the nodes that are requested to be added here includes information such as the number of nodes that are requested to be added, the node type, and the performance requirements of the nodes.
  • step 203 is indicated by a dashed box in FIG. 5.
  • the node resource increase request or the update node resource request may carry information of the node requesting the increase.
  • the CaaS manager can obtain the information from the NFVO or VNFM in step 202, and can use it directly, and then go from step 202 to step 204.
  • the node resource increase request or the update node resource request in step 202 does not carry information about the node that requested the increase.
  • the CaaS manager needs to make judgments based on information such as business needs, and determine related information of the node requesting addition.
  • the CaaS manager sends a first node resource application request to the VIM.
  • the resource request request of the first node carries related information of the node added by the request. This information may be obtained in step 202, or may also be determined through judgment in step 203.
  • the VIM allocates the one or more specified node resources, and returns a response message to the CaaS manager for the node resource application request.
  • the CaaS manager updates the node resource pool.
  • updating the node resource pool mainly means that the CaaS manager adds one or more specified node resources allocated by VIM to the node resource pool, and records the newly-associated relationship between these specified node resources and VIM.
  • the CaaS manager returns a response message to the NFVO or VNFM for the request for adding a node resource.
  • the response message of the node resource increase request carries the information of the node allocated by the VIM.
  • NFVO / VNFM updates the information of each CaaS node recorded according to the response message of the node resource increase request returned by the CaaS manager.
  • FIG. 7 is another example of releasing a node resource proposed by the present application.
  • NFVO / VNFM triggers a node resource release decision.
  • NFVO / VNFM may be the decision to release the VM node when receiving a VNF termination request, or it may be decided to delete some node resources according to a predetermined policy.
  • the NFVO / VNFM sends a first node resource release request to the CaaS manager.
  • the first node resource release request is used to request to release one or more specified node resources.
  • NFVO / VNFM sends a request for updating the node resources to the CaaS manager.
  • the update node resource request carries the operation type.
  • the operation type is specifically "delete node resources”.
  • the resource release request or the resource update request of the first node carries related information of one or more specified nodes that the NFVO / VNFM requests to delete.
  • the related information of the one or more specified node resources may include the number of nodes that are requested to be deleted, the type of nodes that are requested to be deleted, or the performance requirements of the nodes.
  • the CaaS manager sends a second node resource release request to the VIM.
  • the CaaS manager After receiving the first node resource release request from the NFVO / VNFM, the CaaS manager sends a second node resource release request to the VIM.
  • the second node resource release request is used to request the VIM to release the one or more specified node resources.
  • first node resource release request in step 302 and the second node resource release request in step 303 are only for the node resource release request sent by NFVO / VNFM to the CaaS manager and the node resource sent by CaaS management to VIM Distinguish requests.
  • the VIM releases one or more specified node resources that the CaaS manager requests to release according to the second node resource release request.
  • the VIM returns a first response message to the NFVO / VNFM.
  • the first response message is for the resource release request of the second node.
  • the CaaS manager updates the node resource pool.
  • the CaaS manager deletes these specified node resources from the node resource pool, and deletes the related records of these specified node resources.
  • the CaaS manager returns a second response message to the NFVO / VNFM.
  • the second response message is for the resource release request of the first node.
  • NFVO or VNFM applies to VIM for adding node resources or requests release of node resources, and then requests CaaS manager to update the node resource pool. .
  • the CaaS manager receives a container resource increase request from NFVO / VNFM, and the container resource increase request is used to request to increase one or more specified container resources.
  • the CaaS manager sends a node resource increase request to the VIM.
  • the node resource increase request is used to request the VIM to allocate a node resource for creating the specified one or more container resources.
  • the VIM allocates a node resource for creating a specified container resource based on the node resource increase request, and returns a permission response to the CaaS manager.
  • the CaaS manager adds the node resources allocated by VIM to the node resource pool according to the permission response, and creates the specified one or more container resources based on the node resources.
  • the CaaS manager receives a container resource release request from the NFVO / VNFM, and the container resource release request is used to request the release of one or more specified container resources.
  • the CaaS manager deletes the one or more specified container resources in response to the container resource release request.
  • the CaaS manager sends a third node resource release request to the VIM, and the third node resource release request is used to request the VIM to create the node resources of the deleted container resources.
  • these nodes used to create the deleted container resources are referred to as target node resources.
  • these specified container resources are created on the target node resources before they are deleted.
  • the CaaS manager In the case where the CaaS manager receives the permission response message for the third node release request returned by the VIM, the CaaS manager releases the target node resource from the node resource pool. When the CaaS manager receives a negative response message for the third node release request returned by the VIM, the CaaS manager does not update the node resource pool, that is, it does not release the target node resources.
  • the CaaS manager directly applies to the VIM for the addition or release of node resources or container resources, and updates the node resource pool.
  • the virtualized network function is that the container resource management entity requests the VIM for the addition and release of virtualized resources, and then requests the container resource management entity to update the node resource pool.
  • the virtualized network function can be NFVO or VNFM
  • the container resource management entity can be called a CaaS manager. Therefore, it can also be said that NFVO or VNFM requests the CaaS manager to the VIM for the increase and release of node resources and the increase and release of container resources, and then notifies the CaaS manager to update the node resource pool.
  • the CaaS manager directly requests operations such as adding and releasing node resources, and directly updates the node resource pool.
  • FIG. 8 is another manner of managing virtualized resources proposed by the present application.
  • the virtualized network function management entity sends a fourth management operation request to the VIM, and the VIM receives a fourth management operation request from the virtualized network function management entity.
  • the fourth management operation request is used to request that the fourth management operation be performed on the specified one or more specified node resources.
  • the virtualized network function management entity may determine to trigger the fourth management operation request according to a predetermined policy or a received trigger event.
  • the VIM performs a fourth management operation on the specified node resource according to the fourth management operation request.
  • the VIM returns a first response message for the fourth management operation request to the virtualized network function management entity.
  • the first response message may carry related information of the specified node resource. For example, if the fourth management operation request is for requesting to increase node resources, the first response message may carry information such as the number, type, and performance parameters of nodes newly added by VIM. If the fourth management operation request is used to request the release of node resources, the first response message may carry information such as the number and type of nodes deleted by the VIM.
  • the virtualized network function management entity sends a third management operation request to the container resource management entity, and the container resource management entity receives the third management operation request from the virtualized network function.
  • the third management operation request is used to request the container resource management entity to update the node resource pool or perform a third management operation on the specified virtualized resource.
  • the third management operation may be operations such as adding, releasing, querying, and subscribing to virtualized resources.
  • the container resource management entity updates the node resource pool or performs a third management operation on the specified virtualized resource.
  • the container resource management entity responds to a request for adding a node resource, adds a newly allocated node resource of the VIM to the node resource pool, and records a related record of an association relationship between the newly allocated node resource and the VIM.
  • the container resource management entity responds to a request for releasing a node resource, deletes the specified node resource from the node resource pool, and deletes the related record of the association relationship between the specified node resource and the corresponding VIM.
  • the container resource management entity returns a second response message for the third management operation request to the virtualized network function.
  • the virtualized network function management entity requests the container resource management entity for VIM to allocate, add, and release virtualized resources, and upon receiving the first license of VIM After the response message, the container resource management entity is notified to perform a corresponding management operation (ie, a third management operation) on the specified virtualized resource (for example, a container resource or a node resource), or update the node resource pool.
  • a corresponding management operation ie, a third management operation
  • FIG. 9 is another example of increasing a node resource proposed by the present application.
  • NFVO or VNFM receives a trigger event that increases a node resource.
  • the specific form of the trigger event is not limited. For example, it can be triggered based on a predetermined policy, it can be triggered by a VNF LCM management request, or it can be triggered by a failure to query resources.
  • NFVO or VNFM initiates a node resource application request to VIM.
  • the node resource application request may carry information of one or more specified nodes that are requested to be added. For example, the number of nodes requested and the type of nodes.
  • the node resource application request interface can be converted into a virtual machine related application interface or a bare metal server application interface.
  • the VIM allocates one or more specified node resources according to the node resource application request, and returns a response message for the node resource application request to the NFVO or VNFM.
  • the response message carries related information (for example, the number of nodes, the type of the node, the performance parameter information of the node, etc.) of the node newly allocated by the VIM.
  • the NFVO or VNFM sends a node resource increase request to the CaaS manager.
  • NFVO or VNFM sends a request to update the node resource to the CaaS manager.
  • the update node resource request carries an operation type. In the embodiment of increasing the node resources, the operation type is "increase node resources".
  • the update node resource request message may also carry information about the newly added node (for example, VIM information, node location and node identification, etc.) and system information (for example, OS version, kernel version, etc.) of the added node.
  • the CaaS manager updates the resource pool.
  • the CaaS manager updates the node resource pool according to the operation type carried in the node resource increase request or the update node resource request, the related information of the newly added node, and the system information of the newly added node. Specifically, the node resource pool adds the node resources newly added by the VIM, and records the association relationship between these newly added node resources and the VIM.
  • the CaaS manager returns a response message for the node resource increase request.
  • the CaaS manager After the CaaS manager updates the resource pool, it records the association between VIM and the newly added node resources, and returns a response to NFVO or VNFM. Correspondingly, the NFVO / VNFM updates the information of the container node (ie, the CaaS node) recorded in each node according to the update node resource response returned by the CaaS manager.
  • the container node ie, the CaaS node
  • FIG. 10 is an example of releasing a node resource proposed by the present application.
  • a trigger event of a NFVO or VNFM receiving node resource release decision is a trigger event of a NFVO or VNFM receiving node resource release decision.
  • the trigger source is not limited. For example, it may be decided to release the VM node when receiving the VNF termination request, or it may be decided to delete some node resources according to the established policy.
  • the NFVO or VNFM sends a first node resource release request to the CaaS manager.
  • NFVO or VNFM sends a request to update the node resource to the CaaS manager, and the update node resource request carries the operation type.
  • the operation type is specifically "release node resources”.
  • the CaaS manager sends a second node resource release request to the VIM.
  • the second node resource release request is used to request the VIM to release one or more specified node resources in the node resource pool.
  • the VIM releases the one or more specified node resources according to the second node resource release request.
  • the VIM returns a response message for the resource release request of the second node to the CaaS manager.
  • the CaaS manager receives the response message.
  • the CaaS manager updates the node resource pool.
  • the CaaS manager deletes the related records of these node resources released by VIM.
  • the CaaS manager returns a response message to the NFVO / VNFM for the resource release request of the first node.
  • FIG. 11 is an example of increasing a container resource proposed by the present application.
  • NFVO / VNFM receives a VNF LCM operation request.
  • LCM life cycle management
  • NFVO / VNFM obtains an operation authorization for a resource.
  • the NFVO / VNFM sends a container / container group allocation request to the CaaS manager.
  • the NFVO / VNFM may initiate a container allocation request to the CaaS manager according to the container requirements described in the VNFD (or it may also be an independent description file).
  • the container allocation request here can also be a container group allocation request.
  • the container or container group allocation request may carry the required container requirements, the required container / container group description information, and the like.
  • the CaaS manager selects a node (virtual machine and / or bare metal) that meets the requirements in the node resource pool, and completes operations such as creating, orchestrating, and starting a container.
  • the CaaS manager returns a response message for the container allocation request to the NFVO / VNFM.
  • NFVO / VNFM may request the CaaS manager to release the container / container group. See steps 706-708.
  • the NFVO / VNFM may send a container release request to the CaaS manager.
  • the container release request is used to request the release of one or more specified containers among the containers that have been created.
  • the container release request may carry identification information of the specified container.
  • the CaaS manager returns a response message for the container release request to the NFVO / VNFM.
  • the CaaS manager decides whether to release the target node resources used to create these specified container resources.
  • the container resources that need to be released are created on some node resources (the target node resources referred to here).
  • the CaaS manager may choose to release these target node resources, or may not release these target node resources.
  • FIG. 12 is an example of a query resource proposed by the present application.
  • NFVO receives a resource application request from a resource application initiator.
  • the specific interface of the resource application request is not limited.
  • it may be a resource authorization request received by NFVO from VNFM.
  • the resource application request carries information about the resource to be applied for.
  • the related information of the resources may include the resource types and resource requirements.
  • the resource type mentioned here can be a container resource or a node resource.
  • container resources can be subdivided into virtual machine containers or bare metal containers. If it is a node resource, it can be specific to a virtual machine or a bare metal.
  • the resource requirements may include system information of the container node. If you are applying for a container resource, the resource requirements may include container specifications, number of containers, and container affinity and / or anti-affinity requirements.
  • NFVO determines a CaaS manager.
  • step 802 is taken as an optional step. Specifically, NFVO can preliminarily determine the scope of container deployment based on NS deployment requirements and established policies. If there are multiple CaaS managers, NFVO needs to determine (ie select) the appropriate CaaS manager. Therefore, in the case where there is no need to select from multiple CaaS managers, step 802 need not be performed.
  • the NFVO sends a resource query request to the CaaS manager.
  • the NFVO After the NFVO selects the CaaS manager in step 802, the NFVO sends a resource query request to the selected CaaS manager.
  • the resource query request may specifically be a container resource query request or a node resource query request.
  • the resource layer that NFVO can learn is mainly the node resource layer, and how many containers can be deployed on the node is managed by the CaaS manager.
  • the CaaS manager checks whether the managed resource can meet the resource requirements, and returns a response message to the NFVO to the resource query request.
  • the NFVO returns a response message of the resource application request to the resource application initiator.
  • the response message for the resource application may carry information capable of indicating the CaaS manager.
  • NFVO may be connected to multiple CaaS managers. Therefore, in step 802, NFVO selects appropriate ones from multiple CaaS managers and sends a resource query request.
  • the response message may carry the information of the CaaS manager selected by the NFVO.
  • the information of the CaaS manager is similar to the information of the VIM above, and may be the ID or IP address of the CaaS manager.
  • NFVO can determine whether to add container resources and / or node resources to the CaaS manager according to policies, or choose to redirect to The CaaS manager sends a resource query request. How to increase the node resources or container resources has been described in detail above and will not be repeated here.
  • FIG. 13 is an example of a PM / FM event of a subscription node proposed in the present application.
  • NFVO / VNFM subscribes to a container service state change event from the CaaS manager.
  • the CaaS manager subscribes the PM / FM event of the specified node to the VIM.
  • the designated node may be considered as a node that the CaaS manager pays attention to.
  • PM refers to performance management (PM)
  • FM refers to fault management (FM).
  • the VIM detects performance / failure events of these subscribed nodes, it reports to the CaaS manager.
  • the CaaS manager determines to perform a corresponding management operation on the specified node according to a predetermined policy and key performance indicator (KPI) information reported by the VIM.
  • KPI key performance indicator
  • the CaaS manager returns an operation completion notification to the NFVO / VNFM.
  • the operation completion notification carries the operation type.
  • the operation types here may be scaling, migration, and the like.
  • the operation completion notification can also carry trigger factors (for example, the performance and failure of the node) and information about the affected containers.
  • steps 901-905 after detecting the PM / FM event of the subscribed node, the VIM reports to the CaaS manager. In another possible implementation manner, the VIM may also report to NFVO / VNFM, see steps 906-910.
  • VIM detects the performance PM / FM event of the subscribed nodes, it reports to the NFVO / VNFM.
  • NFVO / VNFM determines to perform corresponding management operations on the specified node according to the established policy and the KPI information reported by the VIM.
  • the NFVO / VNFM sends an operation request to the CaaS manager.
  • the operation request carries the specified operation requested by the NFVO / VNFM to the CaaS manager.
  • the CaaS manager is requested to perform operations such as scaling and migration.
  • the CaaS manager executes a specified operation according to the operation request.
  • the CaaS manager returns a response message of the operation request to the NFVO / VNFM.
  • the response message of the operation request may carry the result of performing the specified operation.
  • the method for managing virtualized resources provided by the present application has been described above with reference to FIGS. 1 to 13. It should be noted that in the above embodiments, the CaaS manager and the VIM can be deployed together. At this time, the communication interface before the CaaS manager and the VIM is an internal interface.
  • FIG. 14 is a schematic block diagram of an apparatus 1000 for managing a virtualized resource according to the present application.
  • the device 1000 includes a receiving unit 1001, a sending unit 1002, and an updating unit 1003.
  • the receiving unit 1001 is configured to receive a first management operation request from a virtualized network function management entity.
  • the first management operation request is used to request a first management operation to be performed on a specified virtualized resource, where the specified virtualized resource is a container.
  • Resources or node resources, node resources include virtualization resources and bare metal resources, and container resources are created on one or more node resources;
  • the sending unit 1002 is configured to respond to the first management operation request and send a second management operation request to the virtualized infrastructure manager VIM, where the second management operation request is used to request the VIM to perform a first management operation on the specified node resource.
  • the management unit 1003 is configured to perform update management on the node resource pool according to a response message to the second management operation request returned by the VIM.
  • the above device 1000 may correspond to the container resource management entity involved in case 1 of the foregoing method embodiment.
  • the device 1000 may correspond to the CaaS manager shown in FIGS. 5 to 7.
  • the receiving unit 1001 is specifically configured to receive a first management operation request from a virtualized network function management entity, and the first management operation request is used to request to perform a first management operation on a specified virtualized resource, where the specified Virtualization resources are container resources or node resources, node resources include virtualization resources and bare metal resources, and container resources are created on one or more node resources; and,
  • the sending unit 1002 is specifically configured to send a first node resource application request to the VIM, and the first node resource application request is used to request the VIM to allocate one or more designated node resources; and,
  • the management unit 1003 is specifically configured to add the one or more designated node resources allocated by the VIM to the node resource pool when the receiving unit 1001 receives a license response for the first node resource application request from the VIM.
  • the receiving unit 1001 is specifically configured to receive a first node resource release request from a virtualized network function management entity, and the first node resource release request is used to request the release of one or more specified node resources in the node resource pool; as well as,
  • the sending unit 1002 is specifically configured to send a second node resource release request to the VIM, and the second node resource release request is used to request the release of one or more specified node resources in the node resource pool;
  • the management unit 1003 is specifically configured to delete the one or more specified node resources from the node resource pool when the receiving unit 1001 receives a permission response from the VIM for the resource release request of the second node.
  • the receiving unit 1001 is specifically configured to receive a container resource increase request from a virtualized network function management entity, and the container resource increase request is used to request to add one or more specified container resources; and,
  • the sending unit 1002 is specifically configured to send a second node resource application request to the VIM, and the second node resource application request is used to request the VIM to allocate a node resource for creating the one or more specified container resources;
  • the management unit 1003 is specifically configured to add a VIM allocation to a node resource pool for creating the one or more specified resources when the receiving unit 1001 receives a license response for the second node resource application request from the VIM.
  • the node resource of the container resource is specifically configured to add a VIM allocation to a node resource pool for creating the one or more specified resources when the receiving unit 1001 receives a license response for the second node resource application request from the VIM.
  • the receiving unit 1001 is specifically used as an embodiment.
  • the receiving unit 1001 is specifically used to receive a container resource increase request from a virtualized network function management entity, and the container resource increase request is used to request to add one or more specified containers. Resources; and
  • the management unit 1003 is further configured to delete one or more specified container resources in response to a container resource release request;
  • the sending unit 1002 is specifically configured to send a second management operation request to the VIM, including: the container resource management entity sends a third node resource release request to the VIM, and the third node resource release request is used to request the VIM to release the target node resource.
  • the deleted one or more specified container resources are created on the target node resource; and,
  • the management unit 1003 is specifically configured to release the target node resource from the node resource pool when the receiving unit 1001 receives a license response message for the third node release request from the VIM; or, the receiving unit 1001 receives the target response returned by the VIM. In the case where the third node releases the negative response message of the request, the node resource pool is not updated.
  • the receiving unit 1001 is further configured to receive a first subscription request, and the first subscription request is used to subscribe to a status change event of a specified container service life cycle;
  • the sending unit 1002 is configured to send a second subscription request to the VIM in response to the first subscription request, and the second subscription request is used to subscribe to fault information and / or performance information of a node resource associated with the specified container service;
  • the receiving unit 1001 is configured to receive fault information and / or performance information of the subscribed node resource from the VIM; and,
  • the management unit 1003 is configured to manage the life cycle of the specified container service according to a preset management policy, fault information and / or performance information of the subscribed node resources.
  • FIG. 15 is a schematic block diagram of an apparatus 2000 for managing a virtualized resource according to the present application.
  • the device 2000 includes a receiving unit 2001 and a management unit 2002.
  • the receiving unit 2001 is configured to receive a third management operation request from a virtualized network function management entity, and the third management operation request is used to request the container resource management entity to update the node resource pool or perform a third management operation on the specified virtualized resource, where The third management operation request is sent by the virtualized network function to the container resource management entity with the permission of the virtual infrastructure manager VIM.
  • the specified virtualized resource is a container resource or a node resource, and a node resource. Including virtual machine resources and / or bare metal resources, and container resources are created on one or more of the node resources;
  • the management unit 2002 is configured to update the node resource pool or perform a third management operation on the specified virtualized resource in response to the third management operation request.
  • the receiving unit 2001 is specifically configured to receive a node resource increase request from a virtualized network function management entity, and the node resource increase request is used to request to add one or more specified node resources in the node resource pool;
  • the management unit 2002 is specifically configured to add one or more specified node resources to the node resource pool in response to the node resource increase request.
  • the receiving unit 2001 is specifically configured to receive a node resource release request from a virtualized network function management entity, and the node resource release request is used to request the release of one or more specified node resources in the node resource pool;
  • the management unit 2002 is specifically configured to delete the one or more specified node resources from the node resource pool in response to the node resource release request.
  • the receiving unit 2001 is specifically configured to receive a container resource release request from a virtualized network function management entity, and the container resource release request is used to request release of one or more specified container resources;
  • the management unit 2002 is configured to delete the one or more specified container resources in response to the container resource release request received by the receiving unit 2001.
  • the apparatus 2000 further includes:
  • a determining unit 2004, configured to determine whether the target node resource needs to be released after the management unit deletes the one or more specified container resources, and the deleted one or more container resources are created on the target node resource;
  • the management unit 2002 is configured to delete the target node resource from the node resource pool if the determination unit 2004 determines that the target node resource needs to be released in response to the determination unit 2004.
  • the receiving unit 2001 is specifically configured to receive a node resource query request from a virtualized network function management entity, and the node resource query request is used to request to query one or more specified node resources;
  • the management unit 2002 is specifically configured to query the one or more specified node resources in a node resource pool in response to a node resource query request; and the device 2000 further includes:
  • the sending unit 2005 is configured to return a response message for a node resource query request to the virtualized network function management entity.
  • the above device 2000 may correspond to the container resource management entity involved in case 2 of the foregoing method embodiment.
  • the device 1000 may correspond to the CaaS manager shown in FIGS. 8 to 13.
  • FIG. 16 is a schematic block diagram of an apparatus 3000 for managing virtualized resources according to the present application.
  • the device 3000 includes a sending unit 3001 and a processing unit 3002.
  • the sending unit 3001 is configured to send a fourth management operation request to the virtualization infrastructure manager VIM, and the fourth management operation request is used to request the VIM to perform a fourth management operation on a specified virtualized resource, where the specified virtualized resource Container resources or node resources, node resources include virtual machine resources and / or bare metal resources, and container resources are created on one or more node resources;
  • a processing unit 3002 is configured to send a third management operation request to the container resource management entity when receiving a permission response from the VIM for the fourth management operation request, and the third management operation request is used to request the container resource management entity to update the node A resource pool or performing the third management operation on a specified virtualized resource.
  • the sending unit 3001 is specifically configured to send a node resource application request to the VIM, and the node resource application request is used to request the VIM to allocate one or more designated node resources;
  • the processing unit 3002 is configured to determine whether the response to the node resource application request returned by the VIM is a permission response or a negative response; and the device 3000 further includes:
  • a sending unit 3003 is configured to send a node resource increase request to the container resource management entity when the processing unit 3002 receives a permission response to the node resource application request in the VIM, and the node resource increase request is used to request the node resource pool Add one or more specified node resources.
  • the sending unit 3001 is specifically configured to send a node resource release request to the VIM, and the node resource release request is used to request the release of one or more specified node resources in the node resource pool;
  • the processing unit 3002 is configured to determine whether the response to the node resource application request returned by the VIM is a permission response or a negative response; and the device 3000 further includes:
  • a sending unit 3003 is configured to send a node resource release request to a container resource management entity when a permission response for a node resource release request is received in the VIM, and the node resource release request is used to request the release of the node resources The one or more specified node resources in the pool.
  • the apparatus 3000 further includes:
  • the determining unit 3004 is further configured to determine that the fourth management operation request is triggered according to a trigger event or a preset policy before the sending unit 3001 sends the fourth management operation request.
  • the above device 3000 may correspond to the virtualized network function management entity involved in case 2 of the foregoing method embodiment.
  • the device 3000 may correspond to the NFVO / VNFM shown in FIGS. 8 to 13.
  • FIG. 17 is a schematic structural diagram of a network device 4000 for managing virtualized resources according to the present application.
  • the network device 4000 includes: one or more processors 4001, one or more memories 4002, and one or more transceivers 4003.
  • the processor 4001 is used to control the transceiver 4003 to send and receive signals
  • the memory 4002 is used to store a computer program
  • the processor 4001 is used to call and run the computer program from the memory 4002, so that the network device 4000 executes the method for managing virtualized resources of the present application.
  • Corresponding processes and / or operations performed by the CaaS manager for example, it can be the CaaS manager shown in Figures 5-7.
  • FIG. 18 is a schematic structural diagram of a network device 5000 for managing virtualized resources according to the present application.
  • the network device 5000 includes: one or more processors 5001, one or more memories 5002, and one or more transceivers 5003.
  • the processor 5001 is used to control the transceiver 5003 to send and receive signals
  • the memory 5002 is used to store a computer program
  • the processor 5001 is used to call and run the computer program from the memory 5002, so that the network device 5000 executes the method for managing virtualized resources of the present application.
  • Corresponding processes and / or operations performed by the CaaS manager for example, it may be the CaaS manager shown in FIG. 8 to FIG. 13.
  • FIG. 19 is a schematic structural diagram of a network device 6000 for managing virtualized resources according to the present application.
  • the network device 6000 includes: one or more processors 6001, one or more memories 6003, and one or more transceivers 6003.
  • the processor 6001 is used to control the transceiver 6003 to send and receive signals
  • the memory 6003 is used to store a computer program
  • the processor 6001 is used to call and run the computer program from the memory 6003, so that the network device 6000 executes the method for managing a container service of the present application.
  • the present application also provides a computer-readable storage medium.
  • the computer-readable storage medium stores computer instructions.
  • the computer instructions When the computer instructions are run on a computer, the computer is caused to execute the foregoing method for managing a virtualized resource.
  • the present application also provides a computer-readable storage medium.
  • the computer-readable storage medium stores computer instructions.
  • the computer instructions When the computer instructions are run on a computer, the computer is caused to execute the method for managing virtualization described in the embodiment of the method for managing virtualization. Corresponding processes and / or operations.
  • the present application also provides a computer-readable storage medium.
  • the computer-readable storage medium stores computer instructions.
  • the computer instructions When the computer instructions are run on a computer, the computer is caused to execute the foregoing method for managing virtualized resources.
  • NFVO is executed.
  • the present application also provides a chip, including a memory and a processor.
  • the memory is used to store a computer program
  • the processor is used to call and run the computer program from the memory, so that the network device installed with the chip executes the foregoing management virtualization resource.
  • the present application also provides a chip, which includes a memory and a processor.
  • the memory is used to store a computer program
  • the processor is used to call and run the computer program from the memory, so that the network device installed with the chip executes the foregoing method for managing virtualized resources.
  • the present application also provides a chip, which includes a memory and a processor.
  • the memory is used to store a computer program
  • the processor is used to call and run the computer program from the memory, so that the network device installed with the chip executes the foregoing method for managing virtualized resources.
  • the present application also provides a computer program product.
  • the computer program product includes computer program code.
  • the computer program code runs on a computer, the computer is caused to execute the CaaS manager in the embodiment of the method for managing a virtualized resource. Corresponding processes and / or operations.
  • the present application also provides a computer program product.
  • the computer program product includes computer program code.
  • the computer program code runs on the computer, the computer causes the computer to execute a corresponding process performed by the VNFM in the embodiment of the method for managing virtualized resources and / Or operation.
  • the present application also provides a computer program product.
  • the computer program product includes computer program code.
  • the computer program code runs on the computer, the computer causes the computer to execute a corresponding process performed by the NFVO in the foregoing embodiment of the method for managing virtualized resources and / Or operation.
  • the present application also provides a system for managing virtualized resources, which includes the CaaS manager involved in the embodiment of the method for managing a container service (for example, FIGS. 5 to 7 and FIGS. 10 to 12), VNFM and / or NFVO.
  • the CaaS manager involved in the embodiment of the method for managing a container service (for example, FIGS. 5 to 7 and FIGS. 10 to 12), VNFM and / or NFVO.
  • the processor may be a CPU, a microprocessor, an application-specific integrated circuit (ASIC), or one or more integrated circuits for controlling the execution of the program of the solution of the present application.
  • the processor may include a digital signal processor device, a microprocessor device, an analog-to-digital converter, a digital-to-analog converter, and the like.
  • the processor may allocate control and signal processing functions of the mobile device among these devices according to their respective functions.
  • the processor may include a function of operating one or more software programs, and the software programs may be stored in a memory.
  • the functions of the processor may be implemented by hardware, or may be implemented by hardware executing corresponding software.
  • the hardware or software includes one or more modules corresponding to the functions described above.
  • the memory may be a read-only memory (ROM) or other type of static storage device that can store static information and instructions, a random access memory (RAM), or other type of information and instructions that can store Dynamic storage device. It can also be electrically erasable programmable read-only memory (electrically erasable, programmable, read-only memory (EEPROM)), compact disc (read-only memory, CD-ROM) or other optical disc storage, optical disc storage (including compact discs, Laser discs, optical discs, digital versatile discs, Blu-ray discs, etc.), magnetic disk storage media or other magnetic storage devices, or any other device that can be used to carry or store desired program code in the form of instructions or data structures and can be accessed by a computer Media, etc.
  • ROM read-only memory
  • RAM random access memory
  • EEPROM electrically erasable programmable read-only memory
  • compact disc read-only memory
  • CD-ROM compact disc storage
  • optical disc storage including compact discs, Laser discs, optical discs, digital versatile discs
  • the disclosed systems, devices, and methods may be implemented in other ways.
  • the device embodiments described above are only schematic.
  • the division of the unit is only a logical function division.
  • multiple units or components may be combined or Can be integrated into another system, or some features can be ignored or not implemented.
  • the displayed or discussed mutual coupling or direct coupling or communication connection may be indirect coupling or communication connection through some interfaces, devices or units, which may be electrical, mechanical or other forms.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, may be located in one place, or may be distributed on multiple network units. Some or all of the units may be selected according to actual needs to achieve the objective of the solution of this embodiment.
  • each functional unit in each embodiment of the present application may be integrated into one processing unit, or each of the units may exist separately physically, or two or more units may be integrated into one unit.
  • the functions When the functions are implemented in the form of software functional units and sold or used as independent products, they can be stored in a computer-readable storage medium.
  • the technical solution of the present application is essentially a part that contributes to the existing technology or a part of the technical solution can be embodied in the form of a software product.
  • the computer software product is stored in a storage medium, including Several instructions are used to cause a computer device (which may be a personal computer, a server, or a network device, etc.) to perform all or part of the steps of the method described in the embodiments of the present application.
  • the foregoing storage medium includes various media that can store program codes, such as a U disk, a mobile hard disk, a ROM, a RAM, a magnetic disk, or an optical disk.

Abstract

本申请提供了一种管理虚拟化资源的方法，该方法包括：容器资源管理实体从虚拟化网络功能管理实体接收第一管理操作请求，第一管理操作请求用于请求对指定的虚拟化资源执行第一管理操作，其中，指定的虚拟化资源为容器资源或节点资源，节点资源包括虚拟机资源和/或裸机资源，容器资源构建在一个或多个节点资源上；响应于第一管理操作请求，容器资源管理实体向虚拟化基础设施管理器VIM发送第二管理操作请求，第二管理操作请求用于请求VIM对指定的虚拟化资源执行第二管理操作；根据VIM返回的针对第二管理操作请求的响应消息，容器资源管理实体对节点资源池进行更新管理。

Description

管理虚拟化资源的方法和装置
本申请要求于2018年7月13日提交中国国家知识产权局、申请号为201810772386.6、发明名称为“管理虚拟化资源的方法和装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及虚拟化网络功能领域，更具体地，涉及一种管理虚拟化资源的方法和装置。
背景技术
网络功能虚拟化(network function virtualization,NFV)提供了一种设计、部署和管理网络服务(network service，NS)的全新方式，它在通用的服务器、交换机和存储器中将部分电信网络功能的实现进行软件和硬件解耦，因而能够实现NS快速、高效的部署。由于NFV需要大量的虚拟化资源，因此需要高度的软件管理，业界称之为编排。网络功能虚拟化管理与编排(network function virtualization management and orchestrator,NFV MANO)是用于管理和协调虚拟化网络功能(virtual network function，VNF)和其它软件组件的架构框架。
近年来，随着NFV技术的不断发展，原有的构建在网络功能虚拟化基础设施层(network function virtualization infrastructure,NFVI)层的虚拟机(virtual machine,VM)基础上的VNF的呈现形态融入了新的特性，支持云原生(cloud native)的VNF和融合平台即服务(platform as a service,PaaS)的云化架构将成为电信云发展的新趋势。在传统的电信网络功能通过容器化、服务化向云上搬迁，以及新形态的网络功能直接在云上开发交付的进程中，一个无法回避的问题是如何将容器服务的管理功能融合到NFV MANO系统的管理框架内。
而NFV MANO系统和容器服务的管理功能(例如，Google公司提出的Kubernetes系统)都具有自己的虚拟资源的资源池。如果将容器服务的管理功能融合到NFV MANO系统的框架之内，那么双方采用何种方式使用资源池中的虚拟资源，才能既不会造成资源使用上的冲突，也不会降低资源使用率是一个必须要考虑的问题。
发明内容
本申请提供一种管理资源的方法，旨在为容器服务以及容器服务的管理功能融合到NFV MANO系统之后的融合架构提供一种管理虚拟化资源的方案。
第一方面，本申请提供一种管理虚拟化资源的方法，该方法包括：容器资源管理实体从虚拟化网络功能管理实体接收第一管理操作请求，第一管理操作请求用于请求对指定的虚拟化资源执行第一管理操作，其中，该指定的虚拟化资源为容器资源或节点资源，所述节点资源包括虚拟机资源和/或裸机资源，所述容器资源创建在一个或多个所述节点资源上；响应于第一管理操作请求，容器资源管理实体向虚拟化基础设施管理器VIM发送第二管理操作请求，第二管理操作请求用于请求VIM对该指定的节点资源执行第二管理操作；根据VIM返回的针对第二管理操作请求的响应消息，容器资源管理实体对节点资源池进行更新管理。
本申请中，虚拟化网络功能管理实体可以具体为NFVO或VNFM，本申请对此不作限定。
需要说明的是，第一管理操作请求用于请求对指定的虚拟化资源执行第一管理操作，而该指定的虚拟化资源可以是容器资源或节点资源。如果指定的虚拟化资源为节点资源，第二管理操作请求用于请求对该指定的节点资源执行第二管理操作。如果指定的虚拟化资源为容器资源，则第二管理操作请求用于请求VIM对用于创建该容器资源的节点资源执行第二管理操作。换句话说，指定的虚拟化资源为节点资源时，第一管理操作请求与第二管理操作请求所请求的对象是相同的，都是指定的节点资源。如果指定的虚拟化资源为容器资源，则第一管理操作请求中所说的“指定的虚拟化资源”创建在第二管理操作请求中所说的“指定的节点资源”上。
结合第一方面，在第一方面的某些实现方式中，容器资源管理实体从虚拟化网络功能管理实体接收第一管理操作请求，包括：容器资源管理实体接收节点资源增加请求，节点资源增加请求用于请求在节点资源池中增加一个或多个指定的节点资源；以及，容器资源管理实体向VIM发送第二管理操作请求，包括：容器资源管理实体向VIM发送第一节点资源申请请求，第一节点资源申请请求用于请求VIM分配一个或多个指定的节点资源；以及，根据VIM返回的针对第二管理操作请求的响应消息，容器资源管理实体对节点资源池进行更新管理，包括：在接收到来自VIM的针对第一节点资源申请请求的许可应答的情况下，容器资源管理实体在节点资源池中增加VIM分配的该一个或多个指定的节点资源。
结合第一方面，在第一方面的某些实现方式中，容器资源管理实体接收第一管理请求，包括：容器资源管理实体接收第一节点资源释放请求，第一节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；以及，容器资源管理实体向VIM发送第二管理操作请求，包括:容器资源管理实体向VIM发送第二节点资源释放请求，第二节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；以及，根据VIM返回的针对第二管理操作请求的响应消息，容器资源管理实体对节点资源池进行更新管理，包括：在接收到来自VIM的针对第二节点资源释放请求的许可应答的情况下，容器资源管理实体在节点资源池中删除该一个或多个指定的节点资源。
结合第一方面，在第一方面的某些实现方式中，容器资源管理实体从虚拟化网络功能管理实体接收第一管理操作请求，包括：容器资源管理实体从虚拟化网络功能管理实体接收容器资源增加请求，容器资源增加请求用于请求增加一个或多个指定的容器资源；以及，容器资源管理实体向VIM发送第二管理操作请求，包括：容器资源管理实体向VIM发送第二节点资源申请请求，第二节点资源申请请求用于请求VIM分配用于创建该一个或多个指定的容器资源的节点资源；以及，根据VIM返回的针对第二管理操作请求的响应消息，容器资源管理实体对节点资源池进行更新管理，包括：在接收到来自VIM的针对所述第二节点资源申请请求的许可应答的情况下，容器资源管理实体在节点资源池中增加VIM分配的用于创建该一个或多个指定的容器资源的节点资源；以及，该方法还包括:容器资源管理实体在VIM分配的节点资源上创建该一个或多个指定的容器资源。
结合第一方面，在第一方面的某些实现方式中，容器资源管理实体从虚拟化网络功能管理实体接收第一管理操作请求，包括：容器资源管理实体从虚拟化网络功能管理实体接收容器资源释放请求，容器资源释放请求用于请求释放一个或多个指定的容器资源；以及，该方法还包括：容器资源管理实体响应于容器资源释放请求，删除一个或多个指定的容器资源；以及，容器资源管理实体向VIM发送第二管理操作请求，包括:容器资源管理实体向VIM发送 第三节点资源释放请求，第三节点资源释放请求用于请求VIM释放目标节点资源，该删除的一个或多个指定的容器资源创建在目标节点资源上；以及，根据VIM返回的针对第二管理操作请求的响应消息，容器资源管理实体对节点资源池进行更新管理，包括：在VIM返回的针对第三节点释放请求的许可应答消息的情况下，容器资源管理实体从节点资源池中释放目标节点资源；在VIM返回的针对第三节点释放请求的否定应答消息的情况下，容器资源管理实体不对节点资源池作更新。
结合第一方面，在第一方面的某些实现方式中，该方法还包括：容器资源管理实体接收第一订阅请求，第一订阅请求用于订阅指定的容器服务的生命周期的状态改变事件；响应于第一订阅请求，容器资源管理实体向VIM发送第二订阅请求，第二订阅请求用于订阅与指定的容器服务相关联的节点资源的故障信息和/或性能信息；容器资源管理实体从VIM接收该订阅的节点资源的故障信息和/或性能信息；容器资源管理实体根据预设的管理策略、该订阅的节点资源的故障信息和/或性能信息，对该指定的容器服务的生命周期进行管理。
第二方面，本申请提供一种管理虚拟化资源的方法，该方法包括：容器资源管理实体从虚拟化网络功能管理实体接收第三管理操作请求，第三管理操作请求用于请求容器资源管理实体对节点资源池进行更新或对指定的虚拟化资源执行第三管理操作，第三管理操作请求是虚拟化网络功能管理实体在获得虚拟化基础设施管理器VIM的许可的情况下发送给容器资源管理实体的，其中，该指定的虚拟化资源为容器资源或节点资源，节点资源包括虚拟机资源和/或裸机资源，容器资源创建在一个或多个所述节点资源上；容器资源管理实体响应于第三管理操作请求，对节点资源池进行更新或对该指定的虚拟化资源执行第三管理操作请求。
结合第二方面，在第二方面的某些实现方式中，容器资源管理实体从虚拟化网络功能管理实体接收第三管理操作请求，包括：容器资源管理实体接收节点资源增加请求，节点资源增加请求用于请求在节点资源池中增加一个或多个指定的节点资源；以及，容器资源管理实体响应于第三管理操作请求，更新节点资源池，包括：容器资源管理实体响应于节点资源增加请求，在节点资源池中增加一个或多个指定的节点资源。
结合第二方面，在第二方面的某些实现方式中，容器资源管理实体从虚拟化网络功能管理实体接收第三管理操作请求，包括：容器资源管理实体接收节点资源释放请求，节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；以及，容器资源管理实体响应于第三管理操作请求，更新节点资源池，包括：容器资源管理响应于节点资源释放请求，从节点资源池中删除该一个或多个指定的节点资源。
结合第二方面，在第二方面的某些实现方式中，容器资源管理实体接收第三管理操作请求，包括：容器资源管理实体接收容器资源分配请求，容器资源分配请求用于请求分配一个或多个指定的容器资源；以及，容器资源管理实体响应于第三管理操作请求，对该指定的虚拟化资源执行第三管理操作请求，包括：容器资源管理实体响应于容器资源分配请求，从节点资源池中选择节点资源，并利用选择的节点资源创建该一个或多个指定的容器资源。
结合第二方面，在第二方面的某些实现方式中，容器资源管理实体接收第三管理操作请求，包括：容器资源管理实体接收容器资源释放请求，容器资源释放请求用于请求释放一个或多个指定的容器资源；以及，容器资源管理实体响应于第三管理操作请求，对该指定的虚拟化资源执行第三管理操作请求，包括：容器资源管理实体响应于所述容器资源释放请求，删除该一个或多个指定的容器资源。
结合第二方面，在第二方面的某些实现方式中，容器资源管理实体删除一个或多个指定 的容器资源之后，该方法还包括：容器资源管理实体确定是否需要释放目标节点资源，该删除的一个或多个容器资源创建在目标节点资源上；在确定需要释放所述目标节点资源的情况，容器资源管理实体在节点资源池中删除该目标节点资源。
结合第二方面，在第二方面的某些实现方式中，容器资源管理实体接收第三管理操作请求，包括：容器资源管理实体接收节点资源查询请求，节点资源查询请求用于请求查询一个或多个指定的节点资源；以及，容器资源管理实体响应于第三管理操作请求，对该指定的虚拟化资源执行第三管理操作请求，包括：容器资源管理实体响应于节点资源查询请求，在节点资源池中查询该一个或多个指定的节点资源；以及，该方法还包括：容器资源管理实体向虚拟化网络功能管理实体返回针对节点资源查询请求的响应消息。
第三方面，本申请提供一种管理虚拟化资源的方法，虚拟化网络功能管理实体向虚拟化基础设施管理器VIM发送第四管理操作请求，第四管理操作请求用于请求VIM对指定的虚拟化资源执行第四管理操作，其中，该指定的虚拟化资源为容器资源或节点资源，节点资源包括虚拟机资源和/或裸机资源，容器资源创建在一个或多个节点资源上；虚拟化网络功能管理实体在接收到VIM的针对第四管理操作请求的许可应答的情况下，向容器资源管理实体发送第三管理操作请求，第三管理操作请求用于请求容器资源管理实体更新节点资源池或对指定的虚拟化资源执行第三管理操作请求。
结合第三方面，在第三方面的某些实现方式中，虚拟化网络功能管理实体向VIM发送第四管理操作请求，包括：虚拟化网络功能管理实体向VIM发送节点资源申请请求，节点资源申请请求用于请求VIM分配一个或多个指定的节点资源；以及，虚拟化网络功能管理实体在接收到VIM针对第四管理操作请求的许可应答的情况下，向容器资源管理实体发送第三管理操作请求，包括：虚拟化网络功能管理实体在接收到VIM的针对节点资源申请请求的许可应答的情况下，向容器资源管理实体发送节点资源增加请求，节点资源增加请求用于请求在节点资源池中增加一个或多个指定的节点资源。
结合第三方面，在第三方面的某些实现方式中，虚拟化网络功能管理实体向VIM发送第四管理操作请求，包括：虚拟化网络功能管理实体向VIM发送节点资源释放请求，节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；以及，虚拟化网络功能管理实体在接收到VIM的针对第四管理操作请求的许可应答的情况下，向容器资源管理实体发送第三管理操作请求，包括：虚拟化网络功能管理实体在接收到VIM的针对节点资源释放请求的许可应答的情况下，向容器资源管理实体发送节点资源释放请求，节点资源释放请求用于请求释放节点资源池中的该一个或多个指定的节点资源。
结合第三方面，在第三方面的某些实现方式中，虚拟化网络功能管理实体在向VIM发送第四管理操作请求之前，该方法还包括：虚拟化网络功能管理实体根据触发事件或预先设定的策略，确定触发第四管理操作请求。
第四方面，本申请提供一种管理虚拟化资源的装置，用于执行第一方面及其任意可能的实现方式中的方法。具体地，该装置包括执行第一方面及其第一方面任意可能的实现方式的方法的单元。
第五方面，本申请提供一种管理虚拟化资源的装置，用于执行第二方面及其任意可能的实现方式中的方法。具体地，该装置包括执行第二方面及其第二方面任意可能的实现方式的方法的单元。
第六方面，本申请提供一种管理虚拟化资源的装置，用于执行第三方面及其任意可能的 实现方式中的方法。具体地，该装置包括执行第三方面及其第三方面任意可能的实现方式的方法的单元。
第七方面，本申请提供一种网络设备，包括收发器、处理器和存储器。处理器用于控制收发器收发信号，存储器用于存储计算机程序，处理器用于调用并运行存储器中存储的计算机程序，使得网络设备执行第一方面及其第一方面任意可能的实现方式中的方法。
第八方面，本申请提供一种网络设备，包括收发器、处理器和存储器。处理器用于控制收发器收发信号，存储器用于存储计算机程序，处理器用于调用并运行存储器中存储的计算机程序，使得网络设备执行第二方面及其第二方面任意可能的实现方式中的方法。
第九方面，本申请提供一种网络设备，包括收发器、处理器和存储器。处理器用于控制收发器收发信号，存储器用于存储计算机程序，处理器用于调用并运行存储器中存储的计算机程序，使得网络设备执行第三方面及其第三方面任意可能的实现方式中的方法。
第十方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行上述第一方面或第一方面的任意可能的实现方式中的方法。
第十一方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行上述第二方面或第二方面的任意可能的实现方式中的方法。
第十二方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行上述第三方面或第三方面的任意可能的实现方式中的方法。
第十三方面，本申请提供一种芯片，包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行该计算机程序，以执行上述第一方面及其第一方面的任意可能的实现方式中的方法。
第十四方面，本申请提供一种芯片，包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行该计算机程序，使以执行上述第二方面及其第二方面的任意可能的实现方式中的方法。
第十五方面，本申请提供一种芯片，包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行该计算机程序，以执行上述第三方面及其第三方面的任意可能的实现方式中的方法。
第十六方面，本申请提供一种通信系统，该系统包括第一方面及其第一方面任意可能的实现方式中的容器资源管理实体或第二方面及其第二方面任意可能的实现方式中的容器资源管理实体，和/或第三方面及第三方面任意可能的实现方式中的虚拟化网络功能管理实体。
第十七方面，本申请还提供一种计算机程序产品，该计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行上述第一方面及其第一方面的任意可能的实现方式中的方法。
第十八方面，本申请还提供一种计算机程序产品，该计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行上述第二方面及其第二方面的任意可能的实现方式中的方法。
第十九方面，本申请还提供一种计算机程序产品，该计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行上述第三方面及其第三方面的任 意可能的实现方式中的方法。
本申请的技术方案，在将容器服务以及容器服务的管理功能(例如，CaaS管理系统)融入到NFV MANO系统中后，保持NFV MANO系统中管理基础设施资源的VIM的功能不变，继续管理虚拟机资源和裸机资源(虚拟机资源和/或裸机资源也称为节点资源)，同时将创建在虚拟机资源和裸机资源之上的容器资源由融合架构中新增的容器资源管理实体进行管理。容器资源管理实体既可以管理创建在节点资源上的容器资源，而VIM管理的节点资源池中的节点资源(虚拟机资源或裸机资源)对于容器资源管理实体而言也是可视的。从而为容器服务以及容器服务的管理功能融合到NFV MANO系统之后的融合架构提供了一种管理虚拟化资源的可行方案。
附图说明
图1是NFV MANO系统的架构图。
图2示出的是Kubernetes系统的架构图。
图3是本申请提出的容器服务的管理功能融合到NFV MANO系统后的融合架构。
图4是本申请提出的双层资源管理模型的示意图。
图5是本申请提出的管理虚拟化资源的一种方式。
图6是本申请提出的增加节点资源是一个示例。
图7是本申请提出的释放节点资源的一个示例。
图8是本申请提出的管理虚拟化资源的另一种方式。
图9是本申请提出的增加节点资源是另一个示例。
图10是本申请提出的释放节点资源的另一个示例。
图11是本申请提出的增加容器资源的一个示例。
图12是本申请提出的查询资源的示例。
图13是本申请提出的订阅节点的PM/FM事件的示例。
图14是本申请提出的管理虚拟化资源的装置1000的示意性框图。
图15是本申请提出的管理虚拟化资源的装置2000的示意性框图。
图16是本申请提出的管理虚拟化资源的装置3000的示意性框图。
图17是本申请提出的管理虚拟化资源的网络设备4000的示意性框图。
图18是本申请提出的管理虚拟化资源的网络设备5000的示意性框图。
图19是本申请提出的管理虚拟化资源的网络设备6000的示意性框图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
参见图1，图1是NFV MANO系统的架构图。如图1所示，NFV MANO有三个主要功能块，分别是NFV编排器、VNF管理器和虚拟基础设施管理器(virtualised infrastructure manager,VIM)。简单来说，NFV编排器可以对服务和资源进行编排，可以控制新的网络服务并将VNF集成到虚拟架构中，NFV编排器还能够验证并授权NFV基础设施的资源请求。VNF管理器能够管理VNF的生命周期。VIM能够控制并管理NFV基础设施，包括计算资源、存储资源以及网络资源等。为了使NFV MANO行之有效，它必须与现有系统中的应用程序接口(application interface,API)集成，以便跨多个网络域使用多个厂商的技术，同样地，运营商的运营支 撑系统(operation support system,OSS)和商务支撑系统(business support system,BSS)也需要与NFV MANO系统实现互操作
为了便于理解，下面对图1中所示的架构中涉及到的各组件的功能进行介绍。
OSS/BSS：除了传统的管理功能外，针对虚拟化应用与NFV MANO系统交互完成对网络的操作和维护。
数据仓库：service,VNF and infrastructure description，含有相关的模板以及VNF软件镜像等。
NFVO：主要功能是实现运营商域内的网络服务(network service,NS)生命周期的管理(例如，扩容、缩容、下线等)，以及NFVI资源编排、策略管理等功能。NFVO根据NSD分解对VNF的需求，配合VNFM实现VNF的部署。
VNFM：主要功能是实现VNF的生命周期管理，例如，VNF的部署、扩容、缩容、下线等自动化能力。根据VNFD以及业务需求，分解出对虚拟资源的需求，与NFVO、VIM配合完成VNF的实例化。
VIM：主要功能是实现对整个基础设施层资源(包含计算资源、存储资源以及网络资源等)的管理和监控。
网络功能虚拟化基础设施(network function virtualization infrastructure,NFVI)：主要功能是将网元软件化，使网元可以运行在各种通用的硬件上。通过NFV MANO系统，网元部署过程可以实现自动化。运营商可以根据业务需求快速动态地进行扩容或缩容。
平台即服务(platform as a service,PaaS)是将服务器平台功能作为一种服务的商业模式，通过网络提供软件程序的服务称为软件即服务(software as a service,SaaS)，而云计算时代相应的云计算平台或者开发环境作为服务提供就成为PaaS。容器即服务(container as a service,CaaS)是一种特定类型的PaaS。一般来说，容器是一种操作系统级别的虚拟化技术，通过操作系统隔离技术，例如，Linux下的控制组(control group,Cgroup)和命名空间(Namespace)，将不同的进程隔离开来。容器技术不同于硬件虚拟化(hypervisor)技术，它并没有虚拟硬件，容器的内部也没有操作系统，而只有进程。正是由于容器技术的这个特点，使得容器相比于虚拟机更轻量、管理也更方便。在容器的运行态，定义了一组公共的管理操作，例如，启动、停止、暂停和删除等，从而可以对容器的生命周期进行统一管理。CaaS的概念来自信息技术(information technology,IT)领域，目前已有较多开源的容器服务管理平台，最流行的是Google公司主导的Kubernetes容器集群管理技术。Kubernetes系统构建在docker技术之上，为容器化的应用提供资源调度、部署运行、服务发现、扩容或缩容等一套功能。本质上，可以将容器服务看作是基于容器技术的mini PaaS。
其中，图1中示出的各组件和/或管理实体之间的接口(例如，Os-Ma-nfvo,Ve-vnfm,Nf-Vi,Or-Vnfm，Vi-Vnfm，Or-Vi等)可以参考现有技术中NFV MANO系统中的接口说明，本文不作赘述。
参见图2，图2示出的是Kubernetes系统的架构图。Kubernetes是一个分布式的系统平台，具有完善集群管理能力和管理工具。Kubernetes分为控制节点(Master)和一组工作节点(Node)。其中，Master上运行着集群管理相关的一组进程，负责整个集群的管理和控制，实现容器的管理面。工作节点(Node)是工作负载节点，其上运行着真正的应用程序，运行的最小单元为容器组(Pod)。Pod是能够创建、调度、管理和部署的最小单元。Node既可以是物理主机，也可以是虚拟机。
随着NFV技术的不断发展，原有的构建在NFVI层的虚拟机(virtual machine,VM)基础上的VNF呈现形态融入了新的特性，支持云原生(cloud native)的VNF和融合PaaS的云化架构成为电信云发展的新趋势。在传统的电信网络功能通过容器化、服务化向云上搬迁，以及新形态的网络功能直接在云上开发交付的进程中，一个无法回避的问题是如何将容器服务的管理功能融合到NFV MANO系统的架构中。
将容器服务以及容器服务的管理功能融合到NFV MANO系统中，可以实现对容器化VNF的部署管理。而容器服务的管理功能(例如，图2所示的Kubernetes系统)对容器的编排调度建立在节点资源(包括虚拟机或裸机)之上。因此，将容器服务的管理功能融合到NFV MANO系统之后，双方将共同使用基础设施资源，而双方如何实现对基础设施资源的管理是一个必须要考虑的问题。
为此，本申请提出一种管理虚拟化资源的方法，旨在将容器服务的管理功能融合到NFV MANO系统之后，为双方如何管理基础设施资源的提供一种可行的技术方案。
下面对本申请提出的管理容器资源的方法进行说明。
考虑到将容器服务的管理功能融合到NFV MANO系统后，如果将NFV MANO系统的基础设施资源划分成不同的资源池，容器服务的管理功能和NFV MANO系统各自使用单独的资源池，资源使用率势必会比较低。而如果双方共用同一个基础设施资源池，而且双方各自进行独立的管理，又可能会带来资源使用和管理上的冲突。
因此，本申请提出一种两层的资源管理模型。保持现有的NFV MANO系统中VIM管理节点资源(即，虚拟机和/或裸机)不变，将容器服务的管理功能建立在VIM管理的节点资源(VM和裸机)之上进行容器服务的管理编排调度。同时，NFV MANO系统可以动态地容器服务的管理功能提供节点资源，从而提高基础设施资源的整体利用率。
参见图3，图3是本申请提出的容器服务的管理功能与NFV MANO系统的融合架构。参见图3所示，在NFV MANO系统中增加一个容器资源管理实体。容器资源管理实体如图3中所示的容器服务管理器(CaaS manager)。容器服务管理实体承担着CaaS管理面的功能、容器服务的生命周期的管理以及NFV基础设施层(也称作I层)的容器集群资源的编排调度。CaaS管理器部署在NFV MANO系统的NFVI之上，提供基础的容器服务，实现在节点资源上创建和管理容器组(Pod)，也理解为CaaS用户面。另外，VIM提供VM和裸机的管理能力，实现虚拟资源和硬件基础设施资源的快速交付。换句话说，融合架构中，NFV MANO系统在原有功能的基础上，可以为CaaS管理器向VIM申请节点资源(VM或裸机)。而CaaS管理器将这些节点资源纳入自己的资源池，并在资源池范围内提供容器服务的编排调度的功能。也即，容器需要使用到的节点资源(例如，VM或裸机)，仍然由VIM进行管理，在此基础上实现CaaS管理器对容器资源的管理和编排调度能力。
需要说明的是，本申请提出将容器资源叠加在I层之上的使用方式，使得容器服务的管理功能在网络、存储等方面对I层的网络、存储等方面提出了互通性的需求。
参见图4，图4是本申请提出的双层资源管理模型的示意图。为了便于理解，首先对云计算的类型作简单介绍。根据所提供服务的类型，云计算包括三种落地方式，分别是基础架构即服务(infrastructure as a service,IaaS)、平台即服务(platform as a service,PaaS)和软件即服务(software as a service,SaaS)。用户能够从IaaS申请到硬件或虚拟硬件，包括虚拟机(virtual machine,VM)和裸机，然后可以在上面安装操作系统或其它应用程序。用户能从PaaS申请到一个安装了操作系统以及支撑应用程序运行所需的运行库等软件的物 理机或虚拟机，然后在上面安装其它应用程序，但是不能修改已经预装好的操作系统和运行环境。用户可以通过网络以租赁的方式在SaaS上使用一些软件，但不需要购买，比较常见的模式是提供一组账号密码。而图4中涉及到的Openstack就是一种IaaS。
如图4所示，Openstack管理节点所管理的裸机节点和VM节点可以认为是Openstack保持原有功能不变。在此基础之上，建立在裸机节点或VM节点之上的容器组资源(Pod)由K8S系统的K8S管理节点进行管理，从而建立一个两层的资源管理模型。
NFV MANO系统中各实体的功能变化可以参见表1所示。
表1
Figure PCTCN2019095501-appb-000001
另外，参考点的变化可以参见表2所示。
表2
Figure PCTCN2019095501-appb-000002
在实际部署的过程中，CaaS管理器可以和VIM合一部署。此时，CaaS管理器和VIM之间的接口为内部接口。
另外，需要说明的是，本申请提出的技术方案的讨论基于一个假设，即CaaS管理器所管 理的资源池是一个大的资源池，没有建立细分的资源池。例如，没有按照租户划分为更细粒度的资源池。
基于本申请提出的图3中所示的融合架构以及图4所示的双层资源管理模型，下文对本申请提出的管理资源的方法进行说明。
为了便于理解，首先对本申请实施例中涉及的一些概念进行说明。
在本申请中，虚拟化资源包括节点资源和容器资源，而节点资源又包括虚拟机资源或裸机资源。其中，容器资源是创建在节点资源上的。例如，容器可以创建在虚拟机和/或裸机上。即是上文所说的双层资源管理模型。底层是节点资源，容器资源创建在节点资源之上。
本申请中所说的虚拟网络功能管理实体可以是NFVO或VNFM。以下各实施例的流程的发起者可以是NFVO或VNFM。这两条路径类似于ETSI NFV在虚拟化资源申请的间接模式或直接模式。运营商可以选择其中的一种模式，本申请并不关注具体采用哪种模式。
另外，本申请对容器资源管理实体的名称不作限定，例如，容器资源管理实体可以称之为CaaS管理器(CaaS management,CaaS Mgt)，或者是采用其它的名称。以下实施例中，仅以将容器资源管理实体称作CaaS管理器作为示例，对容器资源管理实体的功能进行说明。
本申请实施例中涉及的节点包括虚拟机节点和裸机节点。需要理解的是，节点资源指的就是这些节点。例如，增加节点资源可能是在节点资源池中增加虚拟机节点，或者可能是增加裸机节点，或者是同时增加虚拟机节点和裸机节点。而容器资源即是指创建在虚拟机节点或裸机节点上的容器。与虚拟机节点或裸机节点类似，容器也可以看作是容器节点。
本申请提供的管理虚拟化资源的实施例，可以分为两种情况。
情况1
容器资源管理实体直接向VIM请求虚拟化资源(例如，容器资源或节点资源)的查询、增加或释放等操作，并直接更新节点资源池。
参见图5，图5是本申请提出的管理虚拟化资源的一种方式。
101、虚拟化网络功能实体向容器资源管理实体发送第一管理操作请求。容器资源管理实体从虚拟化网络功能接收第一管理操作请求。
其中，第一管理操作请求用于请求对指定的虚拟化资源执行第一管理操作。第一管理操作具体可以是增加虚拟化资源(例如，增加容器资源或增加节点资源)、释放虚拟化资源(释放容器资源或释放节点资源)等操作。下文会作详细介绍。
另外，这里所说的指定的虚拟化资源可以是容器资源，也可以是节点资源，节点资源包括虚拟机资源和/或裸机资源。容器资源是创建在节点资源之上的。
102、响应于第一管理操作请求，容器资源管理实体向VIM发送第二管理操作请求。VIM从容器资源管理实体接收第二管理操作请求。
其中，第二管理操作请求用于请求VIM对该指定的虚拟化资源执行第二管理操作。
应当理解，第一管理操作请求与第二管理操作请求通常是相应的。例如，第一管理操作 请求对增加指定的节点资源，则容器资源管理实体向VIM发送的第二管理操作请求则用于请求VIM分配该指定的节点资源。又例如，第一管理操作请求对释放指定的节点资源，则容器资源管理实体向VIM发送的第二管理操作请求则用于请求VIM释放该指定的节点资源。
103、VIM根据第二管理操作请求，对指定的节点资源执行第二管理操作。
在步骤103中，VIM根据第二管理操作请求，对指定的节点资源执行相应的第二管理操作。例如，第二管理操作请求可以是请求增加指定的节点资源，则VIM分配该第二管理操作请求指定的节点资源。又例如，第二管理操作请求可以是请求释放指定的节点资源，则VIM从节点资源池中删除该第二管理操作请求指定的节点资源。
再例如，如果第一管理操作请求用于请求增加指定的容器资源，则容器资源管理实体发送给VIM的第二管理操作请求用于请求VIM分配创建该指定的容器资源的节点资源。因此，VIN根据第二管理操作请求，分配指定的节点资源。再例如，如果第一管理操作请求用于请求删除指定的容器资源，则容器资源管理实体在删除容器资源之后，可以向VIM发送第二管理操作请求，此时，第二管理操作请求用于请求VIM确定是否释放该用于创建已经删除的容器资源的节点资源。在确定释放这些节点资源时，VIM可以删除这些指定的节点资源。
104、容器资源管理实体接收VIM返回的针对第二管理操作请求的响应消息。
105、容器资源管理实体根据响应消息，对节点资源池进行更新管理。
应理解，更新管理可以包括对节点资源池进行更新或者不作更新。
容器资源管理实体在接收到VIM返回的针对第二管理操作请求的响应消息后，根据响应消息对节点资源池进行更新管理。
例如，如果第二管理操作请求用于请求在节点资源池中增加指定的节点资源，则VIM在接收到第二管理操作请求之后，分配这些指定的节点资源，并在返回的响应消息中携带分配的节点资源的信息(例如，节点位置、节点标识，VIM信息等)。从而，容器资源管理实体根据响应消息中携带的节点资源的信息，在节点资源池中增加这些指定的节点资源。其中，VIM信息是指能够标识VIM的信息，例如可以是VIM的标识(Identity,ID)或互联网协议(internet protocol，IP)地址等。
另外，更新节点资源池包括记录这些新增加的节点资源与VIM的关联关系。容器资源管理实体可以和一个或一个以上的VIM连接。VIM新分配节点之后，容器资源管理实体根据VIM返回的响应消息中携带的VIM信息，将新增的节点资源与VIM信息所标识的VIM关联起来。换句话说，记录新增的节点信息与VIM信息所标识的VIM的关联关系。也即，容器资源管理实体根据响应消息中携带的节点资源的信息，记录是哪个或哪些VIM新增了裸机或VM。
又例如，如果第二管理操作请求用于请求释放一些指定的节点资源，则VIM在接收到第二管理操作请求之后，释放这些指定的节点资源，并返回响应消息。响应消息中可以携带删除的节点资源的信息(例如，节点标识、VIM信息等)。从而，容器资源管理实体根据响应消息中携带的节点标识，在节点资源池中删除这些节点资源，并删除之前建立的这些节点资源与VIM相关联的记录。而如果VIM确定不释放这些指定节点资源，则可以在返回的响应消息中指示不同意释放这些指定的节点资源。从而，容器资源管理实体不对节点资源池作更新。
可选地，在步骤105之后，还可以包括步骤106。
106、容器资源管理实体向虚拟化网络功能管理实体返回响应消息。
应理解，步骤106中的响应消息是针对第一管理操作请求的。
应理解，图5中所示的管理虚拟化资源的方式即对应情况1。下面针对情况1，给出一些管理虚拟化资源的具体示例。
在以下实施例的附图中，虚拟化网络功能管理实体用NFVO/VNFM表示，容器资源管理实体用CaaS管理器表示。
参见图6，图6是本申请提出的增加节点资源是一个示例。
201、NFVO/VNFM接收到增加节点资源的触发事件。
本申请对于增加节点资源的触发事件的具体形式不作限定。例如，可以是基于既定的策略而触发，也可以是由VNF LCM管理请求而触发，或者也可以是由于资源查询失败而触发的。其中，进行资源查询的实施例会在下文给出。
202、NFVO或VNFM向CaaS管理器发送节点资源增加请求。
其中，节点资源增加请求用于请求增加一个或多个指定的节点资源。节点资源增加请求中可以携带请求增加的节点的信息。例如，节点数量、节点类型和节点性能要求等。节点类型包括虚拟机节点和裸机节点。
或者，NFVO/VNFM向CaaS管理器发送更新节点资源请求。在更新节点资源请求中携带操作类型，操作类型用于指示NFVO/VNFM请求的操作具体是什么。例如，在请求增加节点资源的实施例中，更新节点资源请求中携带的操作类型具体为“增加节点资源”。又例如，在请求释放节点资源的实施例中，更新节点资源请求中携带的操作类型具体为“释放节点资源”。具体地，如果操作类型具体为“增加节点资源”，更新节点资源请求中还可以携带请求增加的节点的信息。例如，节点数量。节点类型和对节点的性能要求等。
203、CaaS管理器根据需要或NFVO的指示，确定请求增加的节点的相关信息。
这里所说的请求增加的节点的相关信息即包括上文所说的请求增加的节点的数量、节点类型和对节点的性能要求等信息。
需要说明的是，步骤203作为一个可选的步骤，在图5中用虚线框表示。在一种实现方式中，节点资源增加请求或更新节点资源请求中可以携带请求增加的节点的信息。这样的话，CaaS管理器在步骤202就可以从NFVO或VNFM获取到这些信息，可以直接使用，由步骤202转至步骤204。
在一种可能的实现方式中，步骤202中的节点资源增加请求或更新节点资源请求中不携带请求增加的节点的信息。此时，需要CaaS管理器根据业务需要等信息进行判断，并确定请求增加的节点的相关信息。
204、CaaS管理器向VIM发送第一节点资源申请请求。
第一节点资源申请请求中携带上述请求增加的节点的相关信息。这些信息可以是在步骤 202中获取的，或者也可以是在步骤203通过判断确定的。
205、VIM分配该一个或多个指定的节点资源，并向CaaS管理器返回节点资源申请请求的响应消息。
206、CaaS管理器更新节点资源池。
这里，更新节点资源池主要是指CaaS管理器在节点资源池中增加VIM分配的一个或多个指定的节点资源，并记录新增的这些指定的节点资源与VIM的关联关系。
207、CaaS管理器向NFVO或VNFM返回节点资源增加请求的响应消息。
节点资源增加请求的响应消息中携带VIM分配的节点的信息。
NFVO/VNFM根据CaaS管理器返回的节点资源增加请求的响应消息，更新各自记录的CaaS节点的信息。
参见图7，图7是本申请提出的释放节点资源的另一个示例。
301、NFVO/VNFM触发节点资源释放决策。
与图6中所示的实施例类似，步骤301中，对于触发源不作限定。例如，NFVO/VNFM可以是收到VNF终结请求时决定释放VM节点，也可以是根据既定策略决定要删除一些节点资源。
302、NFVO/VNFM向CaaS管理器发送第一节点资源释放请求。
其中，第一节点资源释放请求用于请求释放一个或多个指定的节点资源。
或者，NFVO/VNFM向CaaS管理器发送更新节点资源请求。更新节点资源请求中携带操作类型。在释放节点资源的实施例中，操作类型具体为“删除节点资源”。
应理解，第一节点资源释放请求或更新节点资源请求中携带NFVO/VNFM请求删除的一个或多个指定的节点的相关信息。与增加节点资源的实施例类似，这一个或多个指定的节点资源的相关信息可以包括请求删除的节点数量、请求删除的节点类型或节点的性能要求等。
303、CaaS管理器向VIM发送第二节点资源释放请求。
CaaS管理器接收到来自NFVO/VNFM的第一节点资源释放请求后，向VIM发送第二节点资源释放请求。第二节点资源释放请求用于请求VIM释放该一个或多个指定的节点资源。
应理解，步骤302中的第一节点资源释放请求与步骤303中的第二节点资源释放请求仅仅是为了将NFVO/VNFM向CaaS管理器发送的节点资源释放请求与CaaS管理向VIM发送的节点资源释放请求进行区分。
304、VIM根据第二节点资源释放请求，释放CaaS管理器请求释放的一个或多个指定的节点资源。
305、VIM向NFVO/VNFM返回第一响应消息。
第一响应消息是针对第二节点资源释放请求的。
306、CaaS管理器更新节点资源池。
具体地，CaaS管理器从节点资源池中删除这些指定的节点资源，并删除这些指定的节点 资源的相关记录。
307、CaaS管理器向NFVO/VNFM返回第二响应消息。
第二响应消息是针对第一节点资源释放请求的。
在以上图5-图7所示的增加节点资源和释放节点资源的实施例中，都是由NFVO或VNFM向VIM申请增加节点资源或请求释放节点资源，再请求CaaS管理器来更新节点资源池。
以上仅列举了CaaS管理器管理(例如，增加、释放)节点资源的示例。在情况1中，CaaS管理器管理(例如，增加、释放等)容器资源的过程也是类似的。
例如，CaaS管理器从NFVO/VNFM接收容器资源增加请求，容器资源增加请求用于请求增加一个或多个指定的容器资源。CaaS管理器响应于容器资源增加请求，向VIM发送节点资源增加请求，该节点资源增加请求用于请求VIM分配用于创建该指定的一个或多个容器资源的节点资源。VIM基于该节点资源增加请求分配用于创建指定的容器资源的节点资源，并向CaaS管理器返回许可应答。CaaS管理器根据该许可应答，在节点资源池中增加VIM分配的这些节点资源，并基于这些节点资源创建该指定的一个或多个容器资源。
又例如，CaaS管理器从NFVO/VNFM接收容器资源释放请求，容器资源释放请求用于请求释放一个或多个指定的容器资源。CaaS管理器响应于容器资源释放请求，删除该一个或多个指定的容器资源。另外，CaaS管理器向VIM发送第三节点资源释放请求，第三节点资源释放请求用于请求VIM用于创建被删除的这些容器资源的节点资源。在本申请中，将这些用于创建被删除的这些容器资源的节点称作目标节点资源。换句话说，这些指定的容器资源在被删除之前，是创建在目标节点资源上的。CaaS管理器在接收到VIM返回的针对第三节点释放请求的许可应答消息的情况下，CaaS管理器从节点资源池中释放目标节点资源。而CaaS管理器在接收到VIM返回的针对第三节点释放请求的否定应答消息的情况下，CaaS管理器不对节点资源池作更新，也即不释放目标节点资源。
下面结合图8至图13介绍另外一些可行的实现方式。在这些实施例中，CaaS管理器直接向VIM申请节点资源或容器资源的增加或释放，并更新节点资源池。
情况2
虚拟化网络功能为容器资源管理实体向VIM请求虚拟化资源的增加、释放等，再请求容器资源管理实体更新节点资源池。
如上文所述，虚拟化网络功能可以是NFVO或VNFM，容器资源管理实体可以称之为CaaS管理器。因此，也可以说，NFVO或VNFM为CaaS管理器向VIM请求节点资源的增加、释放以及容器资源的增加、释放等，再通知CaaS管理器更新节点资源池。
CaaS管理器直接向VIM请求节点资源的增加、释放等操作，并直接更新节点资源池。
参见图8，图8是本申请提出的管理虚拟化资源的另一种方式。
401、虚拟化网络功能管理实体向VIM发送第四管理操作请求，VIM接收来自虚拟化网络功能管理实体的第四管理操作请求。
其中，第四管理操作请求用于请求对指定的一个或多个指定的节点资源执行第四管理操 作。
应理解，虚拟化网络功能管理实体在向VIM发送第四管理操作请求之前，可以根据预先预定的策略或接收到的触发事件，确定触发第四管理操作请求。
402、VIM根据第四管理操作请求，对指定的节点资源执行第四管理操作。
403、VIM向虚拟化网络功能管理实体返回针对第四管理操作请求的第一响应消息。
第一响应消息中可以携带指定的节点资源的相关信息。例如，如果第四管理操作请求是用于请求增加节点资源，则第一响应消息中可以携带VIM新增的节点的数量、类型和性能参数等信息。如果第四管理操作请求是用于请求释放节点资源，则第一响应消息中可以携带VIM删除的节点的数量、类型等信息。
404、虚拟化网络功能管理实体向容器资源管理实体发送第三管理操作请求，容器资源管理实体接收来自虚拟化网络功能的第三管理操作请求。
其中，第三管理操作请求用于请求容器资源管理实体更新节点资源池或对指定的虚拟化资源执行第三管理操作。其中，第三管理操作可以是增加、释放、查询、订阅虚拟化资源等操作。
405、容器资源管理实体响应于第三管理操作请求，更新节点资源池或对指定的虚拟化资源执行第三管理操作。
例如，容器资源管理实体响应于增加节点资源的请求，在节点资源池中增加VIM新分配的节点资源，并记录这些新分配的节点资源与VIM的关联关系的相关记录。又例如，容器资源管理实体响应于释放节点资源的请求，从节点资源池中删除指定的节点资源，并删除这些指定的节点资源与对应的VIM的关联关系的相关记录。
406、容器资源管理实体向虚拟化网络功能返回针对第三管理操作请求的第二响应消息。
可以看到，在情况2所示的管理虚拟化资源的实现方式中，虚拟化网络功能管理实体会为容器资源管理实体请求VIM分配、增加、释放虚拟化资源，在接收到VIM的第一许可响应消息之后，再通知容器资源管理实体对指定的虚拟化资源(例如，容器资源或节点资源)执行相应的管理操作(即，第三管理操作)，或者更新节点资源池。下面给出一些具体的示例。
参见图9，图9是本申请提出的增加节点资源是另一个示例。
501、NFVO或VNFM接收增加节点资源的触发事件。
触发事件的具体形式不作限定。例如，可以是基于既定的策略而触发，也可以是VNF LCM管理请求触发，或者也可以是查询资源失败而触发的。
502、NFVO或VNFM向VIM发起节点资源申请请求。
节点资源申请请求中可以携带请求增加的一个或多个指定的节点的信息。例如，请求增加的节点数量和节点类型等。其中，节点资源申请请求的接口可以转换为虚拟机相关的申请接口或者裸金属服务器申请接口。
503、VIM根据节点资源申请请求，分配指定的一个或多个节点资源，并向NFVO或VNFM 返回针对节点资源申请请求的响应消息。
其中，响应消息中携带VIM新分配的节点的相关信息(例如，节点数量、节点类型、节点的性能参数信息等)。
504、NFVO或VNFM向CaaS管理器发送节点资源增加请求。
或者，NFVO或VNFM向CaaS管理器发送更新节点资源请求。其中，更新节点资源请求中携带操作类型。在增加节点资源的实施例中，操作类型为“增加节点资源”。另外，更新节点资源请求消息中还可以携带新增节点的相关信息(例如，VIM信息、节点位置和节点标识等)和新增节点的系统信息(例如，OS版本、内核版本等)。
505、CaaS管理器更新资源池。
CaaS管理器根据节点资源增加请求或更新节点资源请求中携带的操作类型、新增节点的相关信息以及新增节点的系统信息，更新节点资源池。具体地，在节点资源池中增加VIM新增的节点资源，并记录这些新增的节点资源与VIM的关联关系。
506、CaaS管理器返回节点资源增加请求的响应消息。
CaaS管理器更新资源池后，记录VIM和新增的节点资源的关联关系，向NFVO或VNFM返回响应。相应地，NFVO/VNFM根据CaaS管理器返回的更新节点资源响应更新各自记录的容器节点(也即，CaaS节点)的信息。
参见图10，图10是本申请提出的释放节点资源的示例。
601、NFVO或VNFM接收节点资源释放决策的触发事件。
步骤601中，对于触发源不作限定。例如，可以是收到VNF终结请求时决定释放VM节点，也可以是根据既定策略决定要删除一些节点资源。
602、NFVO或VNFM向CaaS管理器发送第一节点资源释放请求。
或者，NFVO或VNFM向CaaS管理器发送更新节点资源请求，更新节点资源请求中携带操作类型。在释放节点资源的实施例中，操作类型具体为“释放节点资源”。
603、CaaS管理器向VIM发送第二节点资源释放请求。
第二节点资源释放请求用于请求VIM释放节点资源池中的一个或多个指定的节点资源。
604、VIM根据第二节点资源释放请求，释放该一个或多个指定的节点资源。
605、VIM向CaaS管理器返回针对第二节点资源释放请求的响应消息。CaaS管理器接收该响应消息。
606、CaaS管理器更新节点资源池。
CaaS管理器删除VIM释放掉的这些节点资源的相关记录。
607、CaaS管理器向NFVO/VNFM返回针对第一节点资源释放请求的响应消息。
参见图11，图11是本申请提出的增加容器资源的一个示例。
701、NFVO/VNFM接收VNF LCM操作请求。
其中，LCM是指生命周期管理(life cycle management，LCM)。
702、NFVO/VNFM在VNF LCM实例化请求的过程中，获取对资源的操作授权。
703、NFVO/VNFM向CaaS管理器发送容器/容器组分配请求。
具体地，NFVO/VNFM可以根据VNFD(或者也可以是独立的描述文件)中描述的容器需求，向CaaS管理器发起容器的分配请求。当然，这里的容器分配请求也可以是容器组分配请求。
容器或容器组的分配请求中可以携带所需的容器的要求、所需的容器/容器组的描述信息等。
704、CaaS管理器在节点资源池内选择满足要求的节点(虚拟机和/或裸机)，完成对容器的创建、编排、启动等操作。
705、CaaS管理器向NFVO/VNFM返回针对容器分配请求的响应消息。
可选地，如果在创建并启动容器/容器组之后，如果VNF LCM涉及节点资源减少，NFVO/VNFM可以向CaaS管理器请求释放容器/容器组。参见步骤706-708。
706、NFVO/VNFM可以向CaaS管理器发送容器释放请求。
容器释放请求用于请求释放已经创建的容器中的一个或多个指定的容器。其中，容器释放请求中可以携带该指定的容器的标识信息。
707、CaaS管理器释放指定的容器。
708、CaaS管理器向NFVO/VNFM返回针对容器释放请求的响应消息。
需要说明的是，在创建容器的同时，需要创建容器网络/存储；容器网络/存储建议在创建在I层网络/节点的基础之上。容器网络/存储与I层网络/存储的互通，需要CaaS管理器与VIM配合。而具体的配合过程可以因采用不同的技术而有不同的处理，本申请对此不作限定。
另外，需要说明的是，在请求释放容器资源的实施例中，在释放容器资源之后，CaaS管理器再决定是否释放用于创建这些指定的容器资源的目标节点资源。换句话说，需要释放的容器资源是创建在一些节点资源(即这里所说的目标节点资源)上。在释放掉容器资源之后，CaaS管理器可以选择释放这些目标节点资源，或者也可以不释放这些目标节点资源。
参见图12，图12是本申请提出的查询资源的示例。
801、NFVO从资源申请发起者接收资源申请请求。
步骤801中，不限定资源申请请求的具体接口。例如，可以是NFVO从VNFM接收到的资源授权请求。
资源申请请求中携带需要申请的资源的相关信息。其中，资源的相关信息可以包括资源类型以及资源需求。这里所说的资源类型从大的方面来说，可以是容器资源或节点资源。具体地，容器资源又可以细分为虚拟机容器或裸机容器。如果是节点资源，又可以具体到是虚拟机或是裸机。如果申请的资源为虚拟机容器或裸机容器，资源需求可以包括容器节点的系统信息。如果申请的是容器资源，资源需求可以包括容器规格、容器数量以及容器的亲和性 和/或反亲和性要求等。
802、NFVO确定CaaS管理器。
这里，步骤802作为一个可选的步骤。具体来说，NFVO可以根据NS部署需求和既定的策略等，初步确定容器的部署范围。如果有多个CaaS管理器，NFVO则需要确定(也即选择)合适的CaaS管理器。因此，在不需要从多个CaaS管理器中进行选择的情况下，步骤802不需要执行。
803、NFVO向CaaS管理器发送资源查询请求。
在步骤802，NFVO选择了CaaS管理器之后，NFVO向选择的CaaS管理器发送资源查询请求。这里，资源查询请求具体可以是容器资源查询请求或节点资源查询请求。
需要说明的是，NFVO能够获知的资源层主要是节点资源层，而节点上能够部署多少容器是由CaaS管理器来管理的。
804、CaaS管理器检查所管理的资源是否可以满足资源需求，并向NFVO返回资源查询请求的响应消息。
805、NFVO向资源申请发起者返回资源申请请求的响应消息。
针对资源申请的响应的消息中可以携带能够指示CaaS管理器的信息。如上文所述，NFVO可能与多个CaaS管理器连接，因此，在步骤802中NFVO会从多个CaaS管理器选择合适的并发送资源查询请求。在步骤805中，NFVO向资源申请发起者返回针对资源申请请求的响应消息时，可以在响应消息中携带NFVO选择的这个CaaS管理器的信息。CaaS管理器的信息与上文中VIM的信息类似，可以是CaaS管理器的ID或IP地址等。
在资源不足(例如，容器资源不足和/或节点资源不足)的情况下，NFVO可根据策略确定是否要为CaaS管理器增加容器资源和/或节点资源，或者选择基于周期或事件触发之后重新向CaaS管理器发送资源查询请求。关于如何增加节点资源或容器资源，上文已经作了详细介绍，不再赘述。
参见图13，图13是本申请提出的订阅节点的PM/FM事件的示例。
901、NFVO/VNFM向CaaS管理器订阅容器服务状态改变事件。
902、CaaS管理器向VIM订阅指定节点的PM/FM事件。
在步骤902中，指定节点可以认为是CaaS管理器关注的节点。
其中，PM指的是性能管理(performance management,PM)，FM指的是故障管理(Fault management,FM)。
903、VIM检测到这些被订阅的节点的性能/故障事件时，上报到CaaS管理器。
904、CaaS管理器根据既定的策略和VIM上报的关键性能指标(key performance indicator，KPI)信息，确定对该指定的节点执行相应的管理操作。
例如，如果订阅的指定节点的负载过大，则可以根据既定策略和KPI信息决定将该指定节点上的负载进行迁移，或者增加新的节点等。
905、CaaS管理器向NFVO/VNFM返回操作完成通知。
其中，操作完成通知中携带操作类型。这里的操作类型可以是扩/缩容(scaling)、迁移等。操作完成通知中还可以携带触发因素(例如，可以是节点的性能、故障)以及受影响的容器的信息等。
在步骤901-905中，VIM在检测到被订阅的节点的PM/FM事件后，向CaaS管理器进行上报。在另一种可能的实现方式中，VIM也可以向NFVO/VNFM上报，参见步骤906-910。
906、VIM检测到这些被订阅的节点的性能PM/FM事件时，上报到NFVO/VNFM。
907、NFVO/VNFM根据既定的策略和VIM上报的KPI信息，确定对该指定的节点执行相应的管理操作。
908、NFVO/VNFM向CaaS管理器发送操作请求。
操作请求中携带NFVO/VNFM请求CaaS管理器执行的指定操作。例如，请求CaaS管理器执行scaling、迁移等操作。
909、CaaS管理器根据操作请求，执行指定操作。
910、CaaS管理器向NFVO/VNFM返回操作请求的响应消息。
操作请求的响应消息中可以携带执行指定操作的结果。
以上结合图1至图13，对本申请提供的管理虚拟化资源的方法进行了说明。需要说明的是，在以上各实施例中，CaaS管理器和VIM可以合一部署，此时，CaaS管理器和VIM之前的通信接口则为内部接口。
以上，结合图1至图13对本申请提出的管理虚拟化资源的方法进行了详细说明。下文介绍本申请提供的管理虚拟化资源的装置。
图14是本申请提出的管理虚拟化资源的装置1000的示意性框图。如图14所示，装置1000包括接收单元1001、发送单元1002和更新单元1003。
接收单元1001，用于从虚拟化网络功能管理实体接收第一管理操作请求，第一管理操作请求用于请求对指定的虚拟化资源执行第一管理操作，其中，该指定的虚拟化资源为容器资源或节点资源，节点资源包括虚拟化资源和裸机资源，容器资源创建在一个或多个节点资源上；
发送单元1002，用于响应第一管理操作请求，向虚拟化基础设施管理器VIM发送第二管理操作请求，所述第二管理操作请求用于请求所述VIM对所述指定的节点资源执行第二管理操作；
管理单元1003，用于根据VIM返回的针对所述第二管理操作请求的响应消息，对节点资源池进行更新管理。
以上装置1000可以对应上述方法实施例的情况1中涉及的容器资源管理实体。例如，装置1000可以对应图5-图7中所示的CaaS管理器。
作为一个实施例，接收单元1001具体用于从虚拟化网络功能管理实体接收第一管理操作 请求，第一管理操作请求用于请求对指定的虚拟化资源执行第一管理操作，其中，该指定的虚拟化资源为容器资源或节点资源，节点资源包括虚拟化资源和裸机资源，容器资源创建在一个或多个节点资源上；以及，
发送单元1002具体用于向VIM发送第一节点资源申请请求，第一节点资源申请请求用于请求VIM分配一个或多个指定的节点资源；以及，
管理单元1003具体用于在接收单元1001接收到来自VIM的针对第一节点资源申请请求的许可应答的情况下，在节点资源池中增加VIM分配的该一个或多个指定的节点资源。
作为一个实施例，接收单元1001具体用于从虚拟化网络功能管理实体接收第一节点资源释放请求，第一节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；以及，
发送单元1002具体用于向VIM发送第二节点资源释放请求，第二节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；以及，
管理单元1003具体用于在接收单元1001接收到来自VIM的针对第二节点资源释放请求的许可应答的情况下，在节点资源池中删除该一个或多个指定的节点资源。
作为一个实施例，接收单元1001具体用于从虚拟化网络功能管理实体接收容器资源增加请求，容器资源增加请求用于请求增加一个或多个指定的容器资源；以及，
发送单元1002具体用于向VIM发送第二节点资源申请请求，第二节点资源申请请求用于请求VIM分配用于创建该一个或多个指定的容器资源的节点资源；以及，
管理单元1003具体用于在接收单元1001接收到来自VIM的针对所述第二节点资源申请请求的许可应答的情况下，在节点资源池中增加VIM分配的用于创建该一个或多个指定的容器资源的节点资源。
作为一个实施例，接收单元1001具体用于作为一个实施例，接收单元1001具体用于从虚拟化网络功能管理实体接收容器资源增加请求，容器资源增加请求用于请求增加一个或多个指定的容器资源；以及，
管理单元1003还用于响应于容器资源释放请求，删除一个或多个指定的容器资源；
发送单元1002具体用于向VIM发送向VIM发送第二管理操作请求，包括：容器资源管理实体向VIM发送第三节点资源释放请求，第三节点资源释放请求用于请求VIM释放目标节点资源，该删除的一个或多个指定的容器资源创建在目标节点资源上；以及，
管理单元1003具体用于在接收单元1001接收到来自VIM的针对第三节点释放请求的许可应答消息的情况下，从节点资源池中释放目标节点资源；或者，接收单元1001接收到VIM返回的针对第三节点释放请求的否定应答消息的情况下，不对节点资源池作更新。
作为一个实施例，接收单元1001还用于接收第一订阅请求，第一订阅请求用于订阅指定的容器服务的生命周期的状态改变事件；
发送单元1002用于响应于第一订阅请求，向VIM发送第二订阅请求，第二订阅请求用于订阅与指定的容器服务相关联的节点资源的故障信息和/或性能信息；
接收单元1001用于从VIM接收该订阅的节点资源的故障信息和/或性能信息；以及，
管理单元1003用于根据预设的管理策略、该订阅的节点资源的故障信息和/或性能信息，对该指定的容器服务的生命周期进行管理。
图15是本申请提出的管理虚拟化资源的装置2000的示意性框图。如图15所示，装置2000包括接收单元2001和管理单元2002。
接收单元2001，用于从虚拟化网络功能管理实体接收第三管理操作请求，第三管理操作请求用于请求容器资源管理实体更新节点资源池或对指定的虚拟化资源执行第三管理操作，其中，第三管理操作请求是虚拟化网络功能在获得虚拟化基础设施管理器VIM的许可的情况下发送给容器资源管理实体的，其中，该指定的虚拟化资源为容器资源或节点资源，节点资源包括虚拟机资源和/或裸机资源，容器资源创建在一个或多个所述节点资源上；
管理单元2002，用于响应于第三管理操作请求，更新节点资源池或对该指定的虚拟化资源执行第三管理操作。
作为一个实施例，接收单元2001具体用于从虚拟化网络功能管理实体接收节点资源增加请求，节点资源增加请求用于请求在节点资源池中增加一个或多个指定的节点资源；
管理单元2002具体用于响应于节点资源增加请求，在节点资源池中增加一个或多个指定的节点资源。
作为一个实施例，接收单元2001具体用于从虚拟化网络功能管理实体接收节点资源释放请求，节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；
管理单元2002具体用于响应于节点资源释放请求，从节点资源池中删除该一个或多个指定的节点资源。
作为一个实施例，接收单元2001具体用于从虚拟化网络功能管理实体接收容器资源释放请求，容器资源释放请求用于请求释放一个或多个指定的容器资源；
管理单元2002用于响应于接收单元2001接收到的容器资源释放请求，删除该一个或多个指定的容器资源。
作为一个实施例，装置2000还包括：
确定单元2004，用于在管理单元删除该一个或多个指定的容器资源之后，确定是否需要释放目标节点资源，该删除的一个或多个容器资源创建在目标节点资源上；以及
管理单元2002，用于在确定单元2004响应于确定单元2004确定需要释放所述目标节点资源的情况下，在节点资源池中删除该目标节点资源。
作为一个实施例，接收单元2001具体用于从虚拟化网络功能管理实体接收节点资源查询请求，节点资源查询请求用于请求查询一个或多个指定的节点资源；
管理单元2002具体用于响应于节点资源查询请求，在节点资源池中查询该一个或多个指定的节点资源；以及，装置2000还包括：
发送单元2005，用于向虚拟化网络功能管理实体返回针对节点资源查询请求的响应消息。
以上装置2000可以对应上述方法实施例的情况2中涉及的容器资源管理实体。例如，装置1000可以对应图8-图13中所示的CaaS管理器。
图16是本申请提出的管理虚拟化资源的装置3000的示意性框图。如图16所示，装置3000包括发送单元3001和处理单元3002。
发送单元3001，用于向虚拟化基础设施管理器VIM发送第四管理操作请求，第四管理操作请求用于请求VIM对指定的虚拟化资源执行第四管理操作，其中，该指定的虚拟化资源为容器资源或节点资源，节点资源包括虚拟机资源和/或裸机资源，容器资源创建在一个或多个节点资源上；
处理单元3002，用于在接收到VIM的针对第四管理操作请求的许可应答的情况下，向容器资源管理实体发送第三管理操作请求，第三管理操作请求用于请求容器资源管理实体更新节点资源池或对指定的虚拟化资源执行所述第三管理操作。
作为一个实施例，发送单元3001具体用于向VIM发送节点资源申请请求，节点资源申请请求用于请求VIM分配一个或多个指定的节点资源；
处理单元3002，用于确定VIM返回的针对节点资源申请请求的应答为许可应答或否定应答；以及装置3000还包括：
发送单元3003，用于在处理单元3002接收到在VIM的针对节点资源申请请求的许可应答的情况下，向容器资源管理实体发送节点资源增加请求，节点资源增加请求用于请求在节点资源池中增加一个或多个指定的节点资源。
作为一个实施例，发送单元3001具体用于向VIM发送节点资源释放请求，节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；
处理单元3002，用于确定VIM返回的针对节点资源申请请求的应答为许可应答或否定应答；以及装置3000还包括：
发送单元3003，用于在接收到在VIM的在接收到VIM的针对节点资源释放请求的许可应答的情况下，向容器资源管理实体发送节点资源释放请求，节点资源释放请求用于请求释放节点资源池中的该一个或多个指定的节点资源。
作为一个实施例，装置3000还包括：
确定单元3004，还用于在发送单元3001发送第四管理操作请求之前，根据触发事件或预先设定的策略，确定触发第四管理操作请求。
以上装置3000可以对应上述方法实施例的情况2中涉及的虚拟化网络功能管理实体。例如，装置3000可以对应图8-图13中所示的NFVO/VNFM。
图17是本申请提出的管理虚拟化资源的网络设备4000的示意性结构图。如图17所示，网络设备4000包括：一个或多个处理器4001，一个或多个存储器4002，一个或多个收发器4003。处理器4001用于控制收发器4003收发信号，存储器4002用于存储计算机程序，处理器4001用于从存储器4002中调用并运行该计算机程序，使得网络设备4000执行本申请的管理虚拟化资源的方法中由CaaS管理器执行的相应流程和/或操作。例如，可以是图5-图7中 所示的CaaS管理器。
图18是本申请提出的管理虚拟化资源的网络设备5000的示意性结构图。如图18所示，网络设备5000包括：一个或多个处理器5001，一个或多个存储器5002，一个或多个收发器5003。处理器5001用于控制收发器5003收发信号，存储器5002用于存储计算机程序，处理器5001用于从存储器5002中调用并运行该计算机程序，使得网络设备5000执行本申请的管理虚拟化资源的方法中由CaaS管理器执行的相应流程和/或操作。例如，可以是图8-图13中所示的CaaS管理器。
图19是本申请提出的管理虚拟化资源的网络设备6000的示意性结构图。如图19所示，网络设备6000包括：一个或多个处理器6001，一个或多个存储器6003，一个或多个收发器6003。处理器6001用于控制收发器6003收发信号，存储器6003用于存储计算机程序，处理器6001用于从存储器6003中调用并运行该计算机程序，使得网络设备6000执行本申请的管理容器服务的方法中由VNFM执行的相应流程和/或操作。例如，可以是图8-图13中所示的NFVO/VNFM。
此外，本申请还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行上述管理虚拟化资源的方法实施例中由CaaS管理器执行的相应流程和/或操作。
本申请还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行上述管理虚拟化的方法实施例中由VNFM执行的相应流程和/或操作。
本申请还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行上述管理虚拟化资源的方法实施例中由NFVO执行的相应流程和/或操作。
此外，本申请还提供一种芯片，包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行该计算机程序，使得安装有该芯片的网络设备执行上述管理虚拟化资源的方法实施例中由CaaS管理器执行的相应流程和/或操作。
本申请还提供一种芯片，包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行该计算机程序，使得安装有该芯片的网络设备执行上述管理虚拟化资源的方法实施例中由VNFM执行的相应流程和/或操作。
本申请还提供一种芯片，包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行该计算机程序，使得安装有该芯片的网络设备执行上述管理虚拟化资源的方法实施例中由NFVO执行的相应流程和/或操作。
此外，本申请还提供一种计算机程序产品，该计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行上述管理虚拟化资源的方法实施例中由CaaS管理器执行的相应流程和/或操作。
本申请还提供一种计算机程序产品，该计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行上述管理虚拟化资源的方法实施例中由VNFM执 行的相应流程和/或操作。
本申请还提供一种计算机程序产品，该计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行上述管理虚拟化资源的方法实施例中由NFVO执行的相应流程和/或操作。
此外，本申请还提供一种管理虚拟化资源的系统，该系统包括上述管理容器服务的方法实施例中(例如，图5-图7，以及图10-图12)涉及到的CaaS管理器，VNFM和/或NFVO。
上述实施例中，“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况。其中A，B可以是单数或者复数。
以上实施例中，处理器可以为CPU、微处理器、特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路等。例如，处理器可以包括数字信号处理器设备、微处理器设备、模数转换器、数模转换器等。处理器可以根据这些设备各自的功能而在这些设备之间分配移动设备的控制和信号处理的功能。此外，处理器可以包括操作一个或多个软件程序的功能，软件程序可以存储在存储器中。
处理器的所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
存储器可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备。也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是计算机软件和电子硬件的结合来执行，取决于技术方案的特定应用和设计约束条件。本领域的技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部 件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式。本领域技术人员基于本申请揭露的技术方案，可想到其他实现方式。

Claims (28)

  1. 一种管理虚拟化资源的方法，其特征在于，所述方法包括：
    容器资源管理实体从虚拟化网络功能管理实体接收第一管理操作请求，所述第一管理操作请求用于请求对指定的虚拟化资源执行第一管理操作，其中，所述指定的虚拟化资源为容器资源或节点资源，所述节点资源包括虚拟机资源和/或裸机资源，所述容器资源创建在一个或多个所述节点资源上；
    响应于所述第一管理操作请求，所述容器资源管理实体向虚拟化基础设施管理器VIM发送第二管理操作请求，所述第二管理操作请求用于请求所述VIM对指定的节点资源执行第二管理操作，其中，所述指定的虚拟化资源为所述指定的节点资源，或所述指定的虚拟化资源创建在所述指定的节点资源上；
    根据所述VIM返回的针对所述第二管理操作请求的响应消息，所述容器资源管理实体对节点资源池进行更新管理。
  2. 根据权利要求1所述的方法，其特征在于，所述容器资源管理实体从虚拟化网络功能管理实体接收第一管理操作请求，包括：
    所述容器资源管理实体接收节点资源增加请求，所述节点资源增加请求用于请求在所述节点资源池中增加一个或多个指定的节点资源；
    以及，所述容器资源管理实体向VIM发送第二管理操作请求，包括：
    所述容器资源管理实体向所述VIM发送第一节点资源申请请求，所述第一节点资源申请请求用于请求所述VIM分配一个或多个所述指定的节点资源；
    以及，所述根据所述VIM返回的针对所述第二管理操作请求的响应消息，所述容器资源管理实体对节点资源池进行更新管理，包括：
    在接收到来自所述VIM的针对所述第一节点资源申请请求的许可应答的情况下，所述容器资源管理实体在节点资源池中增加所述VIM分配的所述一个或多个指定的节点资源。
  3. 根据权利要求1所述的方法，其特征在于，所述容器资源管理实体接收第一管理请求，包括：
    所述容器资源管理实体接收第一节点资源释放请求，所述第一节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；
    以及，所述容器资源管理实体向VIM发送第二管理操作请求，包括:
    所述容器资源管理实体向所述VIM发送第二节点资源释放请求，所述第二节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；
    以及，所述根据所述VIM返回的针对所述第二管理操作请求的响应消息，所述容器资源管理实体对节点资源池进行更新管理，包括：
    在接收到来自所述VIM的针对所述第二节点资源释放请求的许可应答的情况下，所述容器资源管理实体在节点资源池中删除所述一个或多个指定的节点资源。
  4. 根据权利要求1所述的方法，其特征在于，所述容器资源管理实体从虚拟化网络功能管理实体接收第一管理操作请求，包括：
    所述容器资源管理实体从虚拟化网络功能管理实体接收容器资源增加请求，所述容器资源增加请求用于请求增加一个或多个指定的容器资源；
    以及，所述容器资源管理实体向VIM发送第二管理操作请求，包括：
    所述容器资源管理实体向所述VIM发送第二节点资源申请请求，所述第二节点资源申请请求用于请求所述VIM分配用于创建所述一个或多个指定的容器资源的节点资源；
    以及，所述根据所述VIM返回的针对所述第二管理操作请求的响应消息，所述容器资源管理实体对节点资源池进行更新管理，包括：
    在接收到来自所述VIM的针对所述第二节点资源申请请求的许可应答的情况下，所述容器资源管理实体在节点资源池中增加所述VIM分配的用于创建所述一个或多个指定的容器资源的节点资源；
    以及，所述方法还包括:
    所述容器资源管理实体在所述VIM分配的所述节点资源上创建所述一个或多个指定的容器资源。
  5. 根据权利要求1所述的方法，其特征在于，所述容器资源管理实体从虚拟化网络功能管理实体接收第一管理操作请求，包括：
    所述容器资源管理实体从虚拟化网络功能管理实体接收容器资源释放请求，所述容器资源释放请求用于请求释放一个或多个指定的容器资源；
    以及，所述方法还包括：
    所述容器资源管理实体响应于所述容器资源释放请求，删除所述一个或多个指定的容器资源；
    以及，所述容器资源管理实体向VIM发送第二管理操作请求，包括:
    所述容器资源管理实体向所述VIM发送第三节点资源释放请求，所述第三节点资源释放请求用于请求所述VIM释放目标节点资源，所述删除的一个或多个指定的容器资源创建在所述目标节点资源上；
    以及，所述根据所述VIM返回的针对所述第二管理操作请求的响应消息，所述容器资源管理实体对节点资源池进行更新管理，包括：
    在所述VIM返回的针对所述第三节点释放请求的许可应答消息的情况下，所述容器资源管理实体从所述节点资源池中释放所述目标节点资源；
    在所述VIM返回的针对所述第三节点释放请求的否定应答消息的情况下，所述容器资源管理实体不对所述节点资源池作更新。
  6. 根据权利要求1-5中任一项所述的方法，其特征在于，所述方法还包括：
    所述容器资源管理实体接收第一订阅请求，所述第一订阅请求用于订阅指定的容器服务的生命周期的状态改变事件；
    响应于所述第一订阅请求，所述容器资源管理实体向所述VIM发送第二订阅请求，所述第二订阅请求用于订阅与所述指定的容器服务相关联的节点资源的故障信息和/或性能信息；
    所述容器资源管理实体从所述VIM接收所述订阅的节点资源的故障信息和/或性能信息；
    所述容器资源管理实体根据所述预设的管理策略、所述订阅的节点资源的故障信息和/或性能信息，对所述指定的容器服务的生命周期进行管理。
  7. 一种管理虚拟化资源的方法，其特征在于，所述方法包括：
    容器资源管理实体从虚拟化网络功能管理实体接收第三管理操作请求，所述第三管理操作请求用于请求所述容器资源管理实体更新节点资源池或对指定的虚拟化资源执行第三管理操作，所述第三管理操作请求是所述虚拟化网络功能在获得虚拟化基础设施管理器VIM的许可的情况下发送给所述容器资源管理实体的，其中，所述指定的虚拟化资源为容器资源或节 点资源，所述节点资源包括虚拟机资源和/或裸机资源，所述容器资源创建在一个或多个所述节点资源上；
    所述容器资源管理实体响应于所述第三管理操作请求，更新所述节点资源池或对所述指定的虚拟化资源执行所述第三管理操作。
  8. 根据权利要求7所述的方法，其特征在于，所述容器资源管理实体从虚拟化网络功能管理实体接收第三管理操作请求，包括：
    所述容器资源管理实体接收节点资源增加请求，所述节点资源增加请求用于请求在节点资源池中增加一个或多个指定的节点资源；
    以及，所述容器资源管理实体响应于所述第三管理操作请求，更新节点资源池，包括：
    所述容器资源管理实体响应于所述节点资源增加请求，在所述节点资源池中增加所述一个或多个指定的节点资源。
  9. 根据权利要求7所述的方法，其特征在于，所述容器资源管理实体从虚拟化网络功能管理实体接收第三管理操作请求，包括：
    所述容器资源管理实体接收节点资源释放请求，所述节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；
    以及，所述容器资源管理实体响应于所述第三管理操作请求，更新节点资源池，包括：
    所述容器资源管理响应于所述节点资源释放请求，从所述节点资源池中删除所述一个或多个指定的节点资源。
  10. 根据权利要求7所述的方法，其特征在于，所述容器资源管理实体接收第三管理操作请求，包括：
    所述容器资源管理实体接收容器资源分配请求，所述容器资源分配请求用于请求分配一个或多个指定的容器资源；
    以及，所述容器资源管理实体响应于所述第三管理操作请求，对所述指定的虚拟化资源执行所述第三管理操作，包括：
    所述容器资源管理实体响应于所述容器资源分配请求，从所述节点资源池中选择节点资源，并利用选择的节点资源创建所述一个或多个指定的容器资源。
  11. 根据权利要求7所述的方法，其特征在于，所述容器资源管理实体接收第三管理操作请求，包括：
    所述容器资源管理实体接收容器资源释放请求，所述容器资源释放请求用于请求释放一个或多个指定的容器资源；
    以及，所述容器资源管理实体响应于所述第三管理操作请求，对所述指定的虚拟化资源执行所述第三管理操作，包括：
    所述容器资源管理实体响应于所述容器资源释放请求，删除所述一个或多个指定的容器资源。
  12. 根据权利要求7所述的方法，其特征在于，所述容器资源管理实体删除一个或多个指定的容器资源之后，所述方法还包括：
    所述容器资源管理实体确定是否需要释放目标节点资源，所述删除的一个或多个容器资源创建在所述目标节点资源上；
    在确定需要释放所述目标节点资源的情况下，所述容器资源管理实体在节点资源池中删除所述目标节点资源。
  13. 根据权利要求7所述的方法，其特征在于，所述容器资源管理实体接收第三管理操作请求，包括：
    所述容器资源管理实体接收节点资源查询请求，所述节点资源查询请求用于请求查询一个或多个指定的节点资源；
    以及，所述容器资源管理实体响应于所述第三管理操作请求，对所述指定的虚拟化资源执行所述第三管理操作，包括：
    所述容器资源管理实体响应于所述节点资源查询请求，在所述节点资源池中查询所述一个或多个指定的节点资源；
    以及，所述方法还包括：
    所述容器资源管理实体向所述虚拟化网络功能管理实体返回针对所述节点资源查询请求的响应消息。
  14. 一种管理虚拟化资源的装置，其特征在于，包括：
    接收单元，用于从虚拟化网络功能管理实体接收第一管理操作请求，所述第一管理操作请求用于请求对指定的虚拟化资源执行第一管理操作，其中，所述指定的虚拟化资源为容器资源或节点资源，所述节点资源包括虚拟机资源和/或裸机资源，所述容器资源创建在一个或多个所述节点资源上
    发送单元，用于响应于所述第一管理操作请求，向虚拟化基础设施管理器VIM发送第二管理操作请求，所述第二管理操作请求用于请求所述VIM对所述指定的节点资源执行第二管理操作，其中，所述指定的虚拟化资源为所述指定的节点资源，或所述指定的虚拟化资源创建在所述指定的节点资源上；
    所述接收单元还用于接收所述VIM针对所述第二管理操作请求的响应消息；以及
    管理单元，用于响应于所述接收单元接收到的针对所述第二管理操作请求的响应消息，对节点资源池进行管理操作。
  15. 根据权利要求14所述的装置，其特征在于，所述接收单元用于从所述虚拟化网络功能管理实体接收节点资源增加请求，所述节点资源增加请求用于请求在所述节点资源池中增加一个或多个指定的节点资源；
    所述发送单元用于向所述VIM发送第一节点资源申请请求，所述第一节点资源申请请求用于请求所述VIM分配一个或多个所述指定的节点资源；
    所述接收单元还用于接收所述VIM返回的针对所述第一节点资源申请请求的许可应答；
    所述管理单元用于响应于所述接收单元接收到的所述针对所述第一节点资源申请请求的许可应答，在所述节点资源池中增加所述VIM分配的所述一个或多个指定的节点资源。
  16. 根据权利要求14所述的装置，其特征在于，所述接收单元用于从所述虚拟化网络功能管理实体接收第一节点资源释放请求，所述第一节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；
    所述发送单元用于向所述VIM发送第二节点资源释放请求，所述第二节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；
    所述接收单元还用于接收所述VIM返回的针对所述第二节点资源释放请求的许可应答；
    所述管理单元用于响应于所述接收单元接收到的所述针对所述第二节点资源释放请求的许可应答，在所述节点资源池中增加所述VIM分配的所述一个或多个指定的节点资源。
  17. 根据权利要求14所述的装置，其特征在于，所述接收单元用于从所述虚拟化网络功 能管理实体接收容器资源增加请求，所述容器资源增加请求用于请求增加一个或多个指定的容器资源；
    所述发送单元用于向所述VIM发送第二节点资源申请请求，所述第二节点资源申请请求用于请求所述VIM分配用于创建所述一个或多个指定的容器资源的节点资源；
    所述接收单元还用于接收所述VIM返回的针对所述第二节点资源申请请求的许可应答；
    所述管理单元用于响应于所述接收单元接收到的所述针对所述第二节点资源释放请求的许可应答，在所述节点资源池中增加所述VIM分配的所述一个或多个指定的节点资源。
  18. 根据权利要求14所述的装置，其特征在于，所述接收单元用于从所述虚拟化网络功能管理实体接收容器资源释放请求，所述容器资源释放请求用于请求释放一个或多个指定的容器资源；
    所述管理单元还用于响应于所述容器资源释放请求，删除所述一个或多个指定的容器资源；
    所述发送单元用于向所述VIM发送第三节点资源释放请求，所述第三节点资源释放请求用于请求所述VIM释放目标节点资源，所述删除的一个或多个指定的容器资源创建在所述目标节点资源上；
    所述接收单元还用于接收所述VIM返回的针对所述第三节点释放请求的许可应答或否定应答；
    所述管理单元，响应于所述接收单元接收到所述针对所述第三节点释放请求的许可应答，从所述节点资源池中释放所述目标节点资源；
    或者，所述管理单元用于响应所述接收单元接收到所述针对所述第三节点释放请求的否定应答，不对所述节点资源池作更新。
  19. 根据权利要求14-18中任一项所述的装置，其特征在于，所述接收单元还用于接收第一订阅请求，所述第一订阅请求用于订阅指定的容器服务的生命周期的状态改变事件；
    所述发送单元还用于响应于所述第一订阅请求，向所述VIM发送第二订阅请求，所述第二订阅请求用于订阅与所述指定的容器服务相关联的节点资源的故障信息和/或性能信息；
    所述接收单元还用于从所述VIM接收所述订阅的节点资源的故障信息和/或性能信息；
    所述管理单元还用于根据预设的管理策略、所述订阅的节点资源的故障信息和/或性能信息，对所述指定的容器服务的生命周期进行管理。
  20. 一种管理虚拟化资源的装置，其特征在于，包括：
    接收单元，用于从虚拟化网络功能管理实体接收第三管理操作请求，所述第三管理操作请求用于请求所述容器资源管理实体对节点资源池进行更新或对指定的虚拟化资源执行第三管理操作，所述第三管理操作请求是所述虚拟化网络功能在获得虚拟化基础设施管理器VIM的许可的情况下发送给所述容器资源管理实体的，其中，所述指定的虚拟化资源为容器资源或节点资源，所述节点资源包括虚拟机资源和/或裸机资源，所述容器资源创建在一个或多个所述节点资源上；
    管理单元，用于响应于所述第三管理操作请求，对所述节点资源池进行更新或对所述指定的虚拟化资源执行所述第三管理操作。
  21. 根据权利要求20所述的装置，其特征在于，所述接收单元用于接收节点资源增加请求，所述节点资源增加请求用于请求在节点资源池中增加一个或多个指定的节点资源；
    所述管理单元用于响应于所述节点资源增加请求，在所述节点资源池中增加所述一个或 多个指定的节点资源。
  22. 根据权利要求20所述的装置，其特征在于，所述接收单元用于接收节点资源释放请求，所述节点资源释放请求用于请求释放节点资源池中的一个或多个指定的节点资源；
    所述管理单元用于响应于所述节点资源释放请求，从所述节点资源池中删除所述一个或多个指定的节点资源。
  23. 根据权利要求20所述的装置，其特征在于，所述接收单元用于接收容器资源分配请求，所述容器资源分配请求用于请求分配一个或多个指定的容器资源；
    所述管理单元用于响应于所述容器资源分配请求，从所述节点资源池中选择节点资源，并利用选择的节点资源创建所述一个或多个指定的容器资源。
  24. 根据权利要求20所述的装置，其特征在于，所述接收单元用于接收容器资源释放请求，所述容器资源释放请求用于请求释放一个或多个指定的容器资源；
    所述管理单元用于响应于所述容器资源释放请求，删除所述一个或多个指定的容器资源。
  25. 根据权利要求24所述的装置，其特征在于，所述装置还包括：
    确定单元，用于在所述管理单元删除所述一个或多个指定的容器资源之后，确定是否需要释放目标节点资源，所述删除的一个或多个容器资源创建在所述目标节点资源上；
    所述管理单元在所述确定单元确定需要释放所述目标节点资源的情况下，所述容器资源管理实体在节点资源池中删除所述目标节点资源。
  26. 根据权利要求20所述的装置，其特征在于，所述接收单元用于接收节点资源查询请求，所述节点资源查询请求用于请求查询一个或多个指定的节点资源；
    所述管理单元用于响应于所述节点资源查询请求，在所述节点资源池中查询所述一个或多个指定的节点资源；
    以及，所述装置还包括：
    发送单元，用于向所述虚拟化网络功能管理实体返回针对所述节点资源查询请求的响应消息。
  27. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行权利要求1-13中任一项所述的方法。
  28. 一种芯片，其特征在于，所述芯片包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于从存储器中调用并运行所述计算机程序，以执行权利要求1-13中任一项所述的方法。
PCT/CN2019/095501 2018-07-13 2019-07-10 管理虚拟化资源的方法和装置 WO2020011214A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810772386.6 2018-07-13
CN201810772386.6A CN110716788B (zh) 2018-07-13 2018-07-13 管理虚拟化资源的方法和装置

Publications (1)

Publication Number Publication Date
WO2020011214A1 true WO2020011214A1 (zh) 2020-01-16

Family

ID=69143173

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/095501 WO2020011214A1 (zh) 2018-07-13 2019-07-10 管理虚拟化资源的方法和装置

Country Status (2)

Country Link
CN (1) CN110716788B (zh)
WO (1) WO2020011214A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111399983A (zh) * 2020-03-18 2020-07-10 北京达佳互联信息技术有限公司 基于容器编排调度服务的调度方法及装置
US20220350589A1 (en) * 2021-04-30 2022-11-03 Hitachi, Ltd. Update device, update method and program
CN115643263A (zh) * 2022-12-08 2023-01-24 阿里巴巴（中国）有限公司 云原生平台资源分配方法、存储介质和电子设备
US20230261950A1 (en) * 2020-09-18 2023-08-17 Zte Corporation Method of container cluster management and system thereof
CN111399983B (zh) * 2020-03-18 2024-05-14 北京达佳互联信息技术有限公司 基于容器编排调度服务的调度方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113296872B (zh) * 2020-04-13 2022-05-06 阿里巴巴集团控股有限公司 容器状态查询方法、装置、设备、存储介质和系统
US20240012674A1 (en) * 2020-11-09 2024-01-11 Zte Corporation A method, device and system of container cluster scaling
CN115562796A (zh) * 2021-07-01 2023-01-03 华为技术有限公司 容器集群的存储资源管理方法、装置及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105700961A (zh) * 2016-02-29 2016-06-22 华为技术有限公司 业务容器创建方法及装置
WO2017194990A1 (en) * 2016-05-09 2017-11-16 Telefonaktiebolaget Lm Ericsson (Publ) Orchestrator for a virtual network platform as a service (vnpaas)
CN108011846A (zh) * 2017-11-03 2018-05-08 华为技术有限公司 网络功能虚拟化架构中管理业务的方法及装置
CN108207008A (zh) * 2016-12-19 2018-06-26 中兴通讯股份有限公司 一种虚拟化网元的管理方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9973375B2 (en) * 2013-04-22 2018-05-15 Cisco Technology, Inc. App store portal providing point-and-click deployment of third-party virtualized network functions
US9667509B1 (en) * 2015-01-26 2017-05-30 Amdocs Software Systems Limited System, method, and computer program for secluding a service in a network based on network function virtualization (NFV)
CN105975330B (zh) * 2016-06-27 2019-06-18 华为技术有限公司 一种网络边缘计算的虚拟网络功能部署方法、装置和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105700961A (zh) * 2016-02-29 2016-06-22 华为技术有限公司 业务容器创建方法及装置
WO2017194990A1 (en) * 2016-05-09 2017-11-16 Telefonaktiebolaget Lm Ericsson (Publ) Orchestrator for a virtual network platform as a service (vnpaas)
CN108207008A (zh) * 2016-12-19 2018-06-26 中兴通讯股份有限公司 一种虚拟化网元的管理方法和装置
CN108011846A (zh) * 2017-11-03 2018-05-08 华为技术有限公司 网络功能虚拟化架构中管理业务的方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111399983A (zh) * 2020-03-18 2020-07-10 北京达佳互联信息技术有限公司 基于容器编排调度服务的调度方法及装置
CN111399983B (zh) * 2020-03-18 2024-05-14 北京达佳互联信息技术有限公司 基于容器编排调度服务的调度方法及装置
US20230261950A1 (en) * 2020-09-18 2023-08-17 Zte Corporation Method of container cluster management and system thereof
US20220350589A1 (en) * 2021-04-30 2022-11-03 Hitachi, Ltd. Update device, update method and program
US11977876B2 (en) * 2021-04-30 2024-05-07 Hitachi, Ltd. Update device, update method and program
CN115643263A (zh) * 2022-12-08 2023-01-24 阿里巴巴（中国）有限公司 云原生平台资源分配方法、存储介质和电子设备

Also Published As

Publication number Publication date
CN110716788A (zh) 2020-01-21
CN110716788B (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
US10701139B2 (en) Life cycle management method and apparatus
WO2020011214A1 (zh) 管理虚拟化资源的方法和装置
WO2019233273A1 (zh) 管理容器服务的方法和装置
US20200382579A1 (en) Server computer management system for supporting highly available virtual desktops of multiple different tenants
US11321130B2 (en) Container orchestration in decentralized network computing environments
US8065676B1 (en) Automated provisioning of virtual machines for a virtual machine buffer pool and production pool
CN111385114B (zh) Vnf服务实例化方法及装置
US8141090B1 (en) Automated model-based provisioning of resources
US9946578B2 (en) Managing the persistent data of a pre-installed application in an elastic virtual machine instance
US20230026690A1 (en) Method and system to place resources in a known state to be used in a composed information handling system
US20160366014A1 (en) Method and apparatus for network function virtualization
WO2020228838A1 (zh) 容器化vnf的部署方法和相关设备
WO2015131696A1 (zh) 一种虚拟化网络功能管理的方法和装置
WO2020103925A1 (zh) 一种容器化虚拟网络功能的部署方法和装置
WO2017185303A1 (zh) 一种nfv mano策略描述符的管理方法及装置
WO2020211652A1 (zh) 多租户场景下的租户资源管理方法和装置
CN109428764B (zh) 虚拟网络功能的实例化方法
US11902329B2 (en) Integration of an orchestration services with a cloud automation services
US20190354386A1 (en) System and method for executing virtualization software objects with dynamic storage
WO2019001140A1 (zh) 一种管理vnf实例化的方法和设备
WO2022140945A1 (zh) 容器集群的管理方法和装置
CN109905258B (zh) PaaS的管理方法、装置及存储介质
CN115202820A (zh) Pod单元的创建方法、装置、设备及存储介质
WO2021004320A1 (zh) 服务资源许可管理方法和相关设备
CN112889247B (zh) Vnf服务实例化方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19835162

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19835162

Country of ref document: EP

Kind code of ref document: A1