WO2020017847A1 - 클라우드 플랫폼에서의 멀티 클러스터 프로비저닝 및 관리 방법 - Google Patents

클라우드 플랫폼에서의 멀티 클러스터 프로비저닝 및 관리 방법 Download PDF

Info

Publication number
WO2020017847A1
WO2020017847A1 PCT/KR2019/008702 KR2019008702W WO2020017847A1 WO 2020017847 A1 WO2020017847 A1 WO 2020017847A1 KR 2019008702 W KR2019008702 W KR 2019008702W WO 2020017847 A1 WO2020017847 A1 WO 2020017847A1
Authority
WO
WIPO (PCT)
Prior art keywords
cluster
cloud
information
application
cloud platform
Prior art date
Application number
PCT/KR2019/008702
Other languages
English (en)
French (fr)
Inventor
강동진
Original Assignee
나무기술 주식회사
아콘소프트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 나무기술 주식회사, 아콘소프트 주식회사 filed Critical 나무기술 주식회사
Priority to US17/257,523 priority Critical patent/US20210271521A1/en
Priority to JP2021502771A priority patent/JP2021530804A/ja
Priority to CN201980047482.7A priority patent/CN112424750A/zh
Priority to SG11202100299TA priority patent/SG11202100299TA/en
Publication of WO2020017847A1 publication Critical patent/WO2020017847A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0806—Configuration setting for initial configuration or provisioning, e.g. plug-and-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/082—Configuration setting characterised by the conditions triggering a change of settings the condition being updates or upgrades of network functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0876—Aspects of the degree of configuration automation
    • H04L41/0886—Fully automatic configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0895—Configuration of virtualised networks or elements, e.g. virtualised network function or OpenFlow elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/40—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5041—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
    • H04L41/5054—Automatic deployment of services triggered by the service manager, e.g. service implementation by automatic configuration of network components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/20—Arrangements for monitoring or testing data switching networks the monitoring system or the monitored elements being virtualised, abstracted or software-defined entities, e.g. SDN or NFV

Definitions

  • the present invention relates to a multi-cluster provisioning and management method in a cloud platform, and more particularly, to automatically create a multi-cluster environment in which container-based applications can operate in various infrastructures, and to remotely manage version upgrades of clusters.
  • a multi-cluster provisioning and management method in a cloud platform that can improve operational efficiency.
  • the cloud is referred to as the 'service provider's server' according to the practice of displaying the computing service provider server in a cloud shape.
  • SoaaS Software as a Service
  • AWS RDS Google AppEngine
  • Google AppEngine application services that are provided on-demand to many users, such as Salesforce.com and Google e-mail.
  • IaaS Infrastructure as a Service
  • PaaS Platform as a Service
  • AWS EC2 AWS EC2.
  • the cloud is a private cloud that operates only for one organization depending on the type of introduction and distribution, a public cloud rendered through an open network for public use, and two that remain distinct but tied together. It can also be divided into a hybrid cloud (hybrid cloud) that is a combination of the above clouds.
  • the most important thing is to customize and optimize the technology and infrastructure around the application service, which is the cloud that implements the enterprise's business and IT strategy, and it is easy to configure or deploy the application on various infrastructures. shall.
  • the present invention has been created to solve the above problems, it is possible to automatically create a multi-cluster environment in which container-based applications can operate in a variety of infrastructure and to improve the operational efficiency by managing the version upgrade of the cluster remotely
  • the goal is to provide a multi-cluster provisioning and management method in a cloud platform.
  • the cloud platform system may provide the type information of each cluster.
  • the cloud platform system When the cluster type information is input, the cloud platform system generating configuration information of each cluster; When the public cloud or system connection information is registered, confirming whether the cloud platform system creates or changes each of the clusters; If the cluster is to be created, the cloud platform system requests and configures the creation of an instance, network, and storage, installs container runtime software, and sets configuration information of the cluster to perform remote concurrent provisioning of the cluster; And if the cluster is to be changed, remotely performing a change of the cluster by checking the configuration history information of the cluster and updating the configuration of the cluster by the cloud platform system; The cloud platform system adding a node or replacing a failed node of the cluster and backing up a node of the cluster; And performing, by the cloud platform system, automatic scaling of the cluster, wherein the configuration information of the cluster includes at least one of an instance number, an instance specification (GPU, a memory type), network configuration information, and storage configuration information. .
  • the configuration information of the cluster includes at least one of an instance number, an instance specification (GPU, a
  • the multi-cluster provisioning and management method in the cloud platform according to the present invention can automatically create a multi-cluster environment in which container-based applications can operate in various infrastructures, and improve the operational efficiency by managing version upgrades of clusters remotely. Has the effect.
  • FIG. 1 is a block diagram of a cloud platform system according to an embodiment of the present invention.
  • FIG. 2 briefly illustrates the function of the cloud integrator of FIG. 1.
  • FIG. 3 briefly illustrates the function of the service manager of FIG. 1.
  • FIG. 4 briefly illustrates the function of the application orchestration unit of FIG. 1.
  • FIG. 5 illustrates a framework of application containerization according to one embodiment of the invention.
  • FIG. 12 illustrates an architecture of a cloud platform system according to an embodiment of the invention.
  • FIG 13 shows the configuration of the cocktail server and its surrounding architecture.
  • FIGS. 14 to 16 are diagrams for explaining a multi-cluster provisioning and management function of a cloud platform system according to an embodiment of the present invention.
  • FIG. 17 is a flowchart illustrating a multi-cluster provisioning and management method of a cloud platform system according to an embodiment of the present invention.
  • FIG. 1 is a block diagram of a cloud platform system according to an exemplary embodiment of the present invention
  • FIG. 2 schematically illustrates the function of the cloud integrator of FIG. 1
  • FIG. 3 briefly illustrates the function of the service manager of FIG. 1.
  • 4 schematically illustrates the function of the application orchestration unit of FIG. 1.
  • FIG. 5 illustrates a framework of application containerization according to an embodiment of the present invention
  • FIGS. 6 to 11 briefly illustrate functions of the development / operation unit of FIG. 1.
  • the cloud platform system of FIG. 1 provides a view and a tool for ensuring application availability and scalability and streamlining development and operation based on multi / hybrid cloud integrated management.
  • the cloud platform system of the present invention will be referred to as " Cocktail Cloud ".
  • the cocktail cloud includes a cloud integration unit (100), a service management unit (Service Management) 110, an application orchestration unit (Orchestration 120), a development / operation unit (DevOps View, 140), and a DB / repository. And 150.
  • the cloud integration unit 100 automatically configures the infrastructure of the multi / hybrid cloud to provide the application and synchronize configuration information for management.
  • the cloud integrator 100 performs the functions of cloud provisioning and cloud synchronization.
  • the cloud provisioning function is a function of configuring and providing a cloud network infrastructure in an application cluster (cocktail cluster), and configuring and providing a cloud computing infrastructure in an application. And for physical infrastructure (bare metal), cluster configuration tool is provided.
  • Support Cloud is AWS, Azure, Aliyun, Google Computing Engine for Public, Openstack, VMWear for Private, and On-premise, Datacenter BareMetal Infra.
  • the cloud synchronization function is a function of storing and managing cloud infrastructure configuration information in the integrated configuration DB 160 and synchronizing infrastructure change information with the integrated configuration DB 160 during operation.
  • the service management unit 110 is a logical group managing an application cluster, and allocates and manages cloud accounts, users, and network resources. In other words, the service manager 110 performs an integrated account management function, a network management function, and a user management function.
  • an integrated account management (Cloud Provider) function is a function used to collectively manage multi-cloud accounts and access information, and to configure a network and cloud provisioning.
  • Network management is the ability to configure cloud networks and assign them to services.
  • it may be a VPC Subnet of AWS.
  • One service creates a cluster using a multi-cloud provider's network to configure and operate an application.
  • User management function is to manage the team members who manage the service and the authority required for development / operation.
  • the authority may include an enterprise service management authority (Admin), an enterprise service inquiry authority (Manager), and a service management authority (DevOps) assigned as a member. Users can participate as members in various services.
  • Admin enterprise service management authority
  • Manager enterprise service inquiry authority
  • DevOps service management authority assigned as a member. Users can participate as members in various services.
  • the Application Orchestration Department (120) is responsible for the core functionality of the Cocktail Cluster, with the ability to ensure application deployment, availability, and scalability.
  • the application orchestration unit 120 performs an application deployment function, a replication control function, a rolling update function, a scaling function, and a monitoring function.
  • the application distribution function is a container image-based distribution that provides ease of requiring no separate setting and configuration, and automatically provisions a cloud infrastructure when the application is distributed.
  • an application container (hereinafter referred to as a " container ”) refers to an independent system on an OS virtualized by allocating and isolating host resources to an application process.
  • cgroup creates a process group and allocates and manages resources to allocate host resources to processes on the OS.
  • a namespace is a technique that isolates a process, network mount, etc. into a specific name space.
  • a container is an independent system virtualized on an OS that allocates resources to an application process through cgroups and is isolated with a namespace.
  • Container is a lightweight OS virtualization method that does not use a hardware emulator and guest OS. It is a technology suitable for application virtualization because it consumes little host resources and requires little startup time. In addition, virtualization on the OS enables configuration and deployment of infrastructures independent of existing physical servers (bare metals) and virtual servers (virtual machines).
  • Converting an existing application to a container requires switching between the configuration of the application and the configuration, rather than the source.
  • workload-specific role-specific configurations are common, and multiplexing and scaling through replication Consideration should be given to the design and application of the configuration.
  • a cluster-oriented infrastructure for container orchestration must be configured, and computing capacity considering replication and scaling needs to be estimated (minimizing reserve capacity and easily scaleable if necessary), and related to shared storage, security, network, etc. You will need to configure your infrastructure.
  • containerization is largely divided into analysis and configuration design (S100), container switching (S200), operation transfer (S300).
  • the container switching target is selected from existing applications in consideration of the purpose and strategy of container / cloud introduction (S110).
  • the target application When the target application is selected, the target application is analyzed (S120). At this time, application status and data survey of application, infrastructure, data, and linkage structure are conducted, and the needs of development, operation, and manager are collected. Then, the direction, issues, and solutions of container composition are drawn.
  • the container configuration for each target application is designed in consideration of separation / integration, linkage, availability, scalability, and security (S130). At this point, you can define image build templates such as base images, environment variables, inclusion items, and commands.
  • S140 design the infrastructure configuration (S140). Select a transition infrastructure (cloud / bare metal) provider and calculate capacity per application container. It calculates the number of container cluster nodes and infrastructure capacity, and designs storage, network, and security configurations.
  • the infrastructure configuration is designed to establish a container switching method (S150).
  • S150 container switching method
  • the detailed conversion plan for each application is established, the transition task and organization / role are defined, and the transition schedule is established. And reflect reporting and feedback.
  • the cocktail cloud platform is installed and configured, and the infrastructure, such as network, shared storage, and security, is configured (provided by cocktail in the case of cloud). Create a cocktail service and cluster and validate the cluster configuration through infrastructure infrastructure assignment and user registration.
  • an application container is configured for application switching (S230), and if necessary, the application setting and source are changed. Verifies the function and setting of the switching container, and builds the container deployment image and registers it in the registry. Then create and test the cocktail server.
  • Switch the target application container for data conversion (S240), and set the cocktail server through the Persistence volume setting, and extracts data and transmits to the cocktail server.
  • this model DB solution data conversion is performed and data consistency is checked.
  • data synchronization solutions are applied to minimize downtime.
  • the verified container is distributed to the cocktail server, the application function and performance tests are performed, and the test results are reflected in the container and the infrastructure (S250 and S260).
  • Operational distribution / opening (S310) is performed for the operation transfer (S300). Specifically, an operation cocktail cluster is created and a cocktail server is generated and linked based on the converted image. Then migrate the operational data and open the application.
  • container orchestration The technology for distributing, operating, and managing such application containers is called container orchestration.
  • Container orchestration is a technology that deploys, operates, and manages application containers by forming managed clusters in physical and virtual infrastructures, and utilizes the advantages of light, fast mobility and mobility of containers to cloud existing on-premises and data center infrastructure. And application management platforms in private and public clouds.
  • the container has the following advantages.
  • containers implement lightweight virtualization.
  • OS-level virtualization (Non Hypervisor) is possible, fast operation (creation, execution, restart, etc.), and small sized container image is efficient to deploy and update.
  • the container is mobile.
  • the replication function is faster and more efficient than the OS reboot method by maintaining the initial number of replications (multiplexing) for application stability and availability, and restarting in case of abnormality through the application container health check.
  • the cloned application is serviced through load balancing.
  • Rolling update function performs update operation such as deployment and infrastructure change without interruption of application service, and configures automation through job management function of DevOps View when there is dependency between several applications.
  • Scaling function is to scale up / out of instance through monitoring of application, and to scale up / down of resource capacity in case of application infrastructure.
  • the monitoring information then configures the scaling automation.
  • the monitoring function monitors an application instance (container + infrastructure) and generates and manages alarms through threshold setting.
  • DevOps View includes service status function, cluster map function, monitoring view function, resource management function, metering function, task management function, and enterprise status management / analysis function. Each function will be described with reference to FIGS. 6 to 11 as follows.
  • the service status function provides a view (see FIG. 6) that provides a service-oriented view of the status of the entire application cluster of the cocktail cloud. Accordingly, items such as service status, cluster status, and monitoring alarm may be displayed.
  • the cluster refers to an application unit and a service refers to a logical group of the cluster.
  • the supplier, region, server, cloud component, and monthly usage costs of the cluster can be viewed in the form of a card.
  • the usage costs can be excluded.
  • the cluster card In the monitoring alarm display function, if an alarm occurs in an application or infrastructure in a cluster, the cluster card can be checked.
  • the cluster map function provides a view for visualizing and managing the configuration and state information of the cocktail server (application) in a map form (see FIG. 7).
  • the cluster map improves the visibility of configuration information by inquiring and managing the server and cloud component configuration of the cluster in a map form.
  • the cluster map may include items such as a cocktail server, a cloud component, and a server group.
  • Cocktail Server is a basic unit of application orchestration, consisting of load balancing, application containers, and infrastructure, providing a standardized interface for multi / hybrid cloud management.
  • the cocktail server checks application status, replication, resource usage, and manages scaling and rolling updates in the server.
  • Cocktail servers are divided into multi- and single-instance types depending on whether they have replication capabilities or not.
  • AWS supports multizone options.
  • Cloud components manage PaaS services provided by providers.
  • it can be RDS, a DB service of AWS.
  • Server groups provide administrative convenience for logical groups of server configurations.
  • the monitoring view function checks the resource capacity and status of applications and infrastructure in the cluster and provides information for checking the status of cloud resources (see FIG. 8).
  • the monitoring view visualizes and provides monitoring information about the applications and infrastructure in the cluster, and provides the average and TOP information of CPU, memory, and disk so that resource usage can be checked and responded to in operation.
  • the monitoring view may include a view switch (trend / data) item, a target switch (server / resource) item, and the like.
  • Trend View provides hourly monitoring information about servers and replicated instance and application containers
  • Data View provides average and TOP monitoring values of the current time.
  • the monitored targets are divided into servers in the cluster and resources in the cloud infrastructure.
  • Cloud resources use information provided by providers.
  • the resource management function provides a view (hereinafter referred to as a " resource management view") for identifying resources of the cloud infrastructure constituting the application and adjusting detailed settings as necessary (see FIG. 9).
  • the resource management view allows you to view the cloud infrastructure resources that make up the cocktail server and to change settings in detail.
  • the Cocktail Server automatically performs the basic configuration for application orchestration, but is used when you need to adjust cloud resources yourself if necessary.
  • the resource management view includes resource information / action items.
  • the application manages container setting and distribution information.
  • Cloud resource information is composed of load balancer, instance (VM) and security, and instance manages capacity and volume. Resource information that needs to be adjusted is performed through actions.
  • the metering function provides a view (hereinafter referred to as a "metering view ”) that allows you to check the cost information of the cloud infrastructure resources used by the application (see FIG. 10).
  • the metering view may include cluster infrastructure usage cost items, server and resource cost items, and the like.
  • the cost category by server and resource provides the cost of cloud resources used by each cocktail server based on the TOP, and the cost of using cloud resources by type based on the TOP.
  • the job management function provides an administrative view (hereinafter referred to as " job management view") for scheduling / automating operational tasks such as distribution, remote command, resource management, and the like (see FIG. 11).
  • job management view an administrative view for scheduling / automating operational tasks such as distribution, remote command, resource management, and the like (see FIG. 11).
  • Job management views provide scheduling and batch processing for the operation of applications and infrastructure.
  • the work management view may include a work status item, a work management item, and the like.
  • the task status items in the task management view are divided into distribution, remote command, and resource management tasks, and are composed by combining each task.
  • Deployment refers to application deployment, remote commands to perform OS commands remotely, and resource management to scale and state / configuration changes.
  • work management items can be set up according to immediate execution, scheduling, and alarm occurrence.
  • Execution according to the alarm occurrence is used, for example, automatic scaling according to the capacity monitoring standard.
  • the task management section provides a check of the execution status and logs of the task.
  • Enterprise Status Management / Analysis provides a Cocktail Dashboard for identifying and analyzing enterprise application, cloud and cost status.
  • the Cocktail Dashboard is a view of the application and cloud infrastructure at the enterprise level, providing cost / budget management, cost optimization analysis, and statistical reports.
  • the cocktail dashboard may include application status items, cloud status items, cost / budget management, cost optimization analysis items, and statistics / report items.
  • the application and infrastructure status can be identified and viewed company-wide based on the standardized elements of the cocktail server, cluster, and cloud component, and the service-oriented status view is provided.
  • the cloud used by the company can be identified by provider, region, and resource, and the infrastructure-oriented status view is provided.
  • the company can identify the enterprise cloud cost status and provide the information to make cloud resource cost effective through budget allocation / control and optimization analysis by service.
  • Statistics / Report item provides statistical information and report view for analysis and reporting.
  • Image storage (registry) 180 in the DB / repository 150 manages the registration, sharing, download, search, version of the application container
  • monitoring DB 170 manages the monitoring information of the application and infrastructure
  • the DB Configuration Management DB, CMDB, 160
  • FIG. 12 illustrates an architecture of a cloud platform according to an exemplary embodiment of the present invention
  • FIG. 13 illustrates a configuration of a cocktail server and its surrounding architecture.
  • the cocktail cloud includes a cocktail cluster 200, a provider plug-in 210, a server manager 220, a DevOps manager, a CMDB 160, a monitoring DB 170, an image registry 180, an API server ( 290, a user console 300.
  • the cocktail cluster 200 provides an orchestration-based architecture and the provider plug-in 210 is used as a basic module for integrated management through the cloud provider API 280.
  • the cluster 200 is composed of a node and a master.
  • the cluster 200 processes a command of a master through a worker 310.
  • the worker 310 is in charge of communication with the master and is supported by the executor according to the execution instruction.
  • the monitoring executor 320 collects node and container monitoring information, and the command executor 330 executes an OS and a container command.
  • Container Engine Docker, 340.
  • the provider plug-in 210 is an API Rapper for Kubernetes API support for multi-cloud and bare metal, and is composed of a plug-in module for provider extension.
  • the cocktail server is a basic unit of application orchestration, and performs replication, scaling, and rolling updates of containers and cloud infrastructure through the cluster master 200 and the provider plug-in 210.
  • the cocktail server is composed of a container and a cloud infrastructure as shown in FIG. 13, and is composed of a load balancer, an instance (node), a container, a volume, security, and the like, and examples of AWS include ELB, EC2 Instance, and Security Group. It may be an ESB.
  • Cocktail Server provides cloud components for PaaS of cloud providers. For example, it can be RDS from AWS.
  • the server manager 220 is a control module that orchestrates application containers and infrastructure in a server, and performs replication control for restarting / recovering abnormally terminated containers, scaling in / out, and scaling up and down through instance types and volume expansion. It provides a rolling update function that continuously and nondisruptively distributes application containers.
  • DevOps Manager includes configuration management for provisioning multi-cloud infrastructure (Configuration Manager, 230), metering management (Metering Manager, 240) for multi-cloud resource usage and cost management, and resource management for multi-cloud resource status and configuration management. Manager, 250), monitoring and management for collecting and managing container / infrastructure monitoring information (Monitoring Manager, 260), and a combination of several task tasks for immediate execution, execution time, and event occurrence. It is a manager module for DevOps that provides job management (Job Manager, 270) for remote command tasks.
  • Cocktail Cloud provides a DB for managing configuration information, monitoring information management, and application container image management of applications and infrastructure, and provides an interface for users and programming.
  • the CMDB 160 manages configuration information of provider networks, services, clusters, servers, components, and cloud resources.
  • the monitoring DB 170 manages monitoring information of applications and infrastructure.
  • the image registry 180 manages registration, sharing, download, search, and version of application containers.
  • the API server 290 provides all the functions of the cocktail cloud to the API 280, and supports customization according to the corporate strategy and linkage with other solutions.
  • the user console 300 is provided in the form of a Web GUI.
  • This cocktail cloud can be utilized as follows.
  • Cocktail Cloud is a platform for integrated management of heterogeneous and complex multicloud environments through standardized components. It also implements the entire application-oriented enterprise cloud. Specifically, Cocktail Cloud is a standardized management component that standardizes managed objects through providers, networks, services, clusters, servers, and cloud components, and integrates and manages heterogeneous and complex multi-cloud resources (integrated accounts, resources, and costs). In addition, applications are a key resource of the business. Cocktail clusters can be used to increase application availability and scalability, and cocktail-driven devOps View can streamline development / operational tasks to enable an application-centric enterprise cloud.
  • Cocktail Cloud provides the foundation for building / operating hybrid cloud through cloudization of in-house and data center bare metal infrastructure. It also provides integrated management and efficient development / operation of complex hybrid infrastructures.
  • application clusters are built in-house and in the data center bare metal infrastructure to create a container-based cloud environment, eliminating the need for a platform for virtualization, providing scalability such as availability and scaling, and integrating existing private and public clouds. You can implement cloudization of a manageable physical infrastructure.
  • Cocktail Cloud DevOps View It is also managed through standard components of the Cocktail Cloud and provides streamlined development and operation tasks through the Cocktail Cloud DevOps View.
  • Cocktail Cloud provides an efficient management of applications on the cloud and a microservice construction and operation platform through automation for containers and CI / CD.
  • Cocktail Cluster provides container-based application deployment and management environment (cloud-native applications) in the cloud infrastructure. Cocktail clusters are the basic units for building and managing microservices.
  • Task management in the Cocktail DevOps view provides an automation foundation for building and deploying applications, and containers are a lighter and easier way to perform CI / CD.
  • Cocktail Cloud provides a platform for deploying / operating applications on multi / hybrid clouds.
  • Cocktail Cloud can also be used as an infrastructure resale and service delivery platform for cloud service brokers.
  • CSB Build and operate a platform for CSB as a cocktail cloud that integrates and manages public cloud data center infrastructure and provides users with resale and cloud management platforms as a service, and provides multi-tenancy and billing systems for SaaS. Can be used as an affiliate cloud delivery and management platform.
  • PaaS fire cloud components
  • FIGS. 14 to 16 are diagrams for explaining a multi-cluster provisioning and management function of a cloud platform system according to an embodiment of the present invention.
  • Cocktail Cloud a cloud platform system according to the present invention, is provided with a multi-cluster provisioning and management function that automatically creates a cluster environment in which container-based applications can operate in various infrastructures such as bare metal, cloud platform, and public cloud.
  • This feature creates a container application operating environment by remotely provisioning multiple clusters centrally (cocktail clouds) in a multi-cloud environment, and improves operational efficiency by managing version upgrades of clusters remotely (see FIG. 14).
  • FIG. 16 illustrates an example screen for registering an account information of a public cloud in which a cluster is configured to remotely control a cluster to perform application distribution, operation management, and cluster monitoring.
  • FIG. 17 is a flowchart illustrating a multi-cluster provisioning and management method of a cloud platform system according to an embodiment of the present invention.
  • the cloud platform system When a user's cluster provisioning is requested by the provisioning and management tool (S400), the cloud platform system enables input of cluster type information (eg, bare metal, public cloud, cloud platform, etc.) (S410).
  • cluster type information eg, bare metal, public cloud, cloud platform, etc.
  • cluster configuration information is generated (S420).
  • the cluster configuration information includes at least one of an instance number, an instance specification (GPU, a memory type), network configuration information, and storage configuration information.
  • the cloud platform system checks whether to create or change a cluster (S440, S490).
  • the cloud platform system requests and configures the creation of instances, networks, and storage (S450). After that, the container runtime software is installed (S460). Cluster configuration information is set (S470). Then cluster provisioning is completed (S480).
  • the cloud platform system checks the cluster configuration history information and updates the cluster configuration (S500, S510). Then, the cluster change is completed (S520).
  • the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium.
  • the computer-readable recording medium may be a magnetic storage medium (for example, a ROM, a floppy disk, a hard disk, etc.), an optical reading medium (for example, a CD-ROM, a DVD, etc.) and a carrier wave (for example, over the Internet Storage media).
  • the method of containerizing an application in a cloud platform provides an isolated application execution environment, enables independent resource allocation, enables multiple applications to operate on the same host, and can be operated quickly by OS-level virtualization.
  • This small, container image is efficient to deploy and update, and can be moved anywhere.
  • the multi-cluster provisioning and management method in the cloud platform according to the present invention it is possible to automatically create a multi-cluster environment in which container-based applications can operate in various infrastructures, and to improve operational efficiency by managing version upgrades of clusters remotely. You can.

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Stored Programmes (AREA)

Abstract

본 발명은 멀티 클라우드 환경에서 컨테이너 기반 어플리케이션이 동작할 수 있는 복수 개의 클러스터의 프로비저닝이 요청되면, 클라우드 플랫폼 시스템이, 상기 클러스터 각각의 타입 정보를 입력할 수 있도록 하는 단계; 상기 클러스터의 타입 정보가 입력되면, 상기 클러스터 각각의 구성 정보를 생성하는 단계; 퍼블릭 클라우드 또는 시스템 접속 정보가 등록되면, 각각의 상기 클러스터를 생성하는 것인지 또는 변경하는 것인지 확인하는 단계; 상기 클러스터를 생성하는 것이면, 인스턴스, 네트워크, 스토리지 생성을 요청하고 구성하며, 컨테이너 런타임 소프트웨어를 설치하고, 상기 클러스터의 구성 정보를 셋팅하여 상기 클러스터의 원격 동시 프로비저닝을 수행하는 단계; 상기 클러스터를 변경하는 것이면, 상기 클러스터의 구성 히스토리 정보를 확인하고 상기 클러스터의 구성을 업데이트시켜 상기 클러스터의 변경을 원격에서 수행하는 단계; 상기 클러스터의 노드를 추가하거나 장애 노드를 교체하고, 상기 클러스터의 노드를 백업하는 단계; 및 상기 클러스터의 자동 스케일링을 수행하는 단계를 포함하고, 상기 클러스터의 구성 정보는 인스턴스 개수, 인스턴스 사양(GPU, 메모리 타입), 네트워크 구성 정보, 스토리지 구성 정보 중 적어도 하나를 포함하는 클라우드 플랫폼에서의 멀티 클러스터 프로비저닝 및 관리 방법을 제공한다.

Description

클라우드 플랫폼에서의 멀티 클러스터 프로비저닝 및 관리 방법
본 발명은 클라우드 플랫폼에서의 멀티 클러스터 프로비저닝 및 관리 방법에 관한 것으로서, 보다 상세하게는 다양한 인프라에 컨테이너 기반 어플리케이션이 동작할 수 있는 멀티 클러스터 환경을 자동 생성할 수 있으며 원격에서 클러스터의 버전 업그레이드를 관리하여 운영 효율성을 향상시킬 수 있는 클라우드 플랫폼에서의 멀티 클러스터 프로비저닝 및 관리 방법에 관한 것이다.
클라우드(Cloud)는 컴퓨팅 서비스 사업자 서버를 구름 모양으로 표시하는 관행에 따라 '서비스 사업자의 서버'로 통한다. 소프트웨어와 데이터를 인터넷과 연결된 중앙 컴퓨터에 저장하고 인터넷에 접속하기만 하면 언제 어디서든 데이터를 이용할 수 있도록 하는 것이다.
이러한 클라우드는 서비스 제공 형태에 따라 Salesforce.com·Google e-mail 등과 같이 다수의 사용자에게 온디맨드(On-demand)로 제공되는 애플리케이션 서비스인 Software as a Service(SaaS), AWS RDS·Google AppEngine 등과 같이 개발용 플랫폼 또는 어플리케이션 실행에 필요한 소프트웨어 스택인 Platform as a Service(PaaS), AWS EC2 등과 같이 서버 또는 스토리지 등을 사용자에게 서비스 형태로 제공하는 Infrastructure as a Service(IaaS) 등으로 나눌 수 있다.
또한 클라우드는 도입과 배포 형태에 따라 오직 하나의 단체를 위해서만 운영되는 프라이빗 클라우드(Private cloud), 공개적 이용을 위해 열린 네트워크를 통해 렌더링되는 퍼블릭 클라우드(Public cloud), 뚜렷한 실체는 유지하지만 함께 묶여 있는 둘 이상의 클라우드의 조합인 하이브리드 클라우드(Hybrid cloud) 등으로도 나눌 수 있다.
한편 엔터프라이즈 클라우드(Enterprise Cloud) 경우 기업의 비즈니스와 IT 전략을 구현한 클라우드로 어플리케이션 서비스를 중심으로 기술과 인프라를 맞춤화하고 최적화하는 것이 무엇보다 중요하며, 또한 어플리케이션을 다양한 인프라에 구성하거나 배포하기에 용이하여야 한다.
이에 본 발명은 이러한 상기 문제점을 해결하기 위해 창출된 것으로, 다양한 인프라에 컨테이너 기반 어플리케이션이 동작할 수 있는 멀티 클러스터 환경을 자동 생성할 수 있으며 원격에서 클러스터의 버전 업그레이드를 관리하여 운영 효율성을 향상시킬 수 있는 클라우드 플랫폼에서의 멀티 클러스터 프로비저닝 및 관리 방법을 제공하는 데 그 목적이 있다.
그러나 본 발명의 기술적 과제들은 위에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시례에 따른 클라우드 플랫폼에서의 멀티 클러스터 프로비저닝 및 관리 방법은 멀티 클라우드 환경에서 컨테이너 기반 어플리케이션이 동작할 수 있는 복수 개의 클러스터의 프로비저닝이 요청되면, 클라우드 플랫폼 시스템이 상기 클러스터 각각의 타입 정보를 입력할 수 있도록 하는 단계; 상기 클러스터의 타입 정보가 입력되면, 상기 클라우드 플랫폼 시스템이 상기 클러스터 각각의 구성 정보를 생성하는 단계; 퍼블릭 클라우드 또는 시스템 접속 정보가 등록되면, 상기 클라우드 플랫폼 시스템이 각각의 상기 클러스터를 생성하는 것인지 또는 변경하는 것인지 확인하는 단계; 상기 클러스터를 생성하는 것이면, 상기 클라우드 플랫폼 시스템이 인스턴스, 네트워크, 스토리지 생성을 요청하고 구성하며, 컨테이너 런타임 소프트웨어를 설치하고, 상기 클러스터의 구성 정보를 셋팅하여 상기 클러스터의 원격 동시 프로비저닝을 수행하는 단계; 및 상기 클러스터를 변경하는 것이면, 상기 클라우드 플랫폼 시스템이 상기 클러스터의 구성 히스토리 정보를 확인하고 상기 클러스터의 구성을 업데이트시켜 상기 클러스터의 변경을 원격에서 수행하는 단계; 상기 클라우드 플랫폼 시스템이 상기 클러스터의 노드를 추가하거나 장애 노드를 교체하고, 상기 클러스터의 노드를 백업하는 단계; 및 상기 클라우드 플랫폼 시스템이 상기 클러스터의 자동 스케일링을 수행하는 단계를 포함하고, 상기 클러스터의 구성 정보는 인스턴스 개수, 인스턴스 사양(GPU, 메모리 타입), 네트워크 구성 정보, 스토리지 구성 정보 중 적어도 하나를 포함한다.
본 발명에 의한 클라우드 플랫폼에서의 멀티 클러스터 프로비저닝 및 관리 방법은 다양한 인프라에 컨테이너 기반 어플리케이션이 동작할 수 있는 멀티 클러스터 환경을 자동 생성할 수 있으며 원격에서 클러스터의 버전 업그레이드를 관리하여 운영 효율성을 향상시킬 수 있는 효과를 갖는다.
도 1은 본 발명의 일 실시례에 따른 클라우드 플랫폼 시스템의 구성도를 나타낸다.
도 2는 도 1의 클라우드 통합부의 기능을 간략히 도시한 것이다.
도 3은 도 1의 서비스 관리부의 기능을 간략히 도시한 것이다.
도 4는 도 1의 어플리케이션 오케스트레이션부의 기능을 간략히 도시한 것이다.
도 5는 본 발명의 일 실시례에 따른 어플리케이션 컨테이너화의 프레임워크를 나타낸다.
도 6 내지 도 11은 도 1의 개발/운영부의 기능을 간략히 도시한 것이다.
도 12는 본 발명의 일 실시례에 따른 클라우드 플랫폼 시스템의 아키텍쳐를 나타낸다.
도 13은 칵테일 서버의 구성과 그 주변 아키텍쳐를 나타낸다.
도 14 내지 도 16은 본 발명의 일 실시례에 따른 클라우드 플랫폼 시스템의 멀티 클러스터 프로비저닝 및 관리 기능을 설명하기 위한 도면이다.
도 17은 본 발명의 일 실시례에 따른 클라우드 플랫폼 시스템의 멀티 클러스터 프로비저닝 및 관리 방법을 나타낸 흐름도이다.
본 발명의 장점 및 특징 그리고 그것들을 달성하는 방법들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시례들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시례들에 한정되는 것이 아니라 또 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시례들은 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 단지 청구항에 의해 정의될 뿐이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
이하 첨부된 도면들을 참고하여 본 발명의 실시례에 따른 클라우드 플랫폼 시스템에 대해 설명하도록 한다.
도 1은 본 발명의 일 실시례에 따른 클라우드 플랫폼 시스템의 구성도를 나타내고, 도 2는 도 1의 클라우드 통합부의 기능을 간략히 도시한 것이며, 도 3은 도 1의 서비스 관리부의 기능을 간략히 도시한 것이고, 도 4는 도 1의 어플리케이션 오케스트레이션부의 기능을 간략히 도시한 것이다.
도 5는 본 발명의 일 실시례에 따른 어플리케이션 컨테이너화의 프레임워크를 나타내며, 도 6 내지 도 11은 도 1의 개발/운영부의 기능을 간략히 도시한 것이다.
도 1의 클라우드 플랫폼 시스템은 멀티/하이브리드 클라우드 통합 관리를 기반으로 어플리케이션 가용성·확장성을 보장하고 개발·운영의 효율화를 위한 뷰와 도구를 제공한다. 이하 본 발명의 클라우드 플랫폼 시스템을 "칵테일 클라우드(Cocktail Cloud)"라고 칭하기로 한다.
도 1을 참조하면, 칵테일 클라우드는 클라우드 통합부(Cloud Integration, 100)·서비스 관리부(Service Management, 110)·어플리케이션 오케스트레이션부(Orchestration, 120)·개발/운영부(DevOps View, 140) 및 DB/저장소(150)를 포함한다.
클라우드 통합부(Cloud Integration, 100)는 멀티/하이브리드 클라우드의 인프라를 자동 구성하여 어플리케이션에 제공하고 관리를 위한 구성 정보를 동기화하는 역할을 수행한다.
클라우드 통합부(100)는 클라우드 프로비져닝(Cloud Provisioning)과 클라우드 동기화(Cloud Synchronization)의 기능을 수행한다.
도 2를 참조하면 클라우드 프로비져닝 기능은 어플리케이션 클러스터(칵테일 클러스터)에 클라우드 네트워크 인프라를 구성 및 제공하고, 어플리케이션에 클라우드의 컴퓨팅 인프라를 구성 및 제공하는 기능이다. 그리고 물리 인프라(Bare Metal)의 경우 클러스터 설정 도구를 제공한다. 지원 클라우드는 Public의 경우 AWS·Azure·Aliyun·Google Computing Engine이고, Private의 경우 Openstack· VMWear이며, 이외에 On-premise·Datacenter BareMetal Infra가 있을 수 있다.
클라우드 동기화 기능은 클라우드 인프라 구성 정보를 통합 구성 DB(160)에 저장 및 관리하고, 운영 시 인프라 변경 정보를 통합 구성 DB(160)와 동기화하는 기능이다.
서비스 관리부(Service Management, 110)는 어플리케이션 클러스터를 관리하는 논리적 그룹으로 클라우드 계정과 사용자, 네트워크 자원을 할당 및 관리하는 역할을 수행한다. 즉 서비스 관리부(110)는 통합 계정 관리 기능·네트워크 관리 기능 및 사용자 관리 기능을 수행한다.
도 3을 참조하면 통합 계정 관리(Cloud Provider) 기능은 멀티 클라우드 계정 및 접속 정보를 통합 관리하고, 네트워크와 클라우드 프로비져닝 구성에 사용되는 기능이다.
네트워크 관리 기능은 클라우드 네트워크를 구성하고 서비스에 할당하는 기능이다. 예를 들면 AWS의 VPC·Subnet일 수 있다. 하나의 서비스는 멀티 클라우드의 공급자의 네트워크를 사용하여 클러스터를 생성하여 어플리케이션을 구성·운영한다.
사용자 관리 기능은 서비스를 관리하는 팀 구성원과 개발/운영에 필요한 권한을 관리하는 기능이다. 여기서 권한은 전사 서비스 관리 권한(Admin), 전사 서비스 조회 권한(Manager), 구성원으로 배정된 서비스 관리 권한(DevOps) 등을 포함할 수 있다. 사용자는 여러 서비스에 구성원으로 참여 가능하다.
어플리케이션 오케스트레이션부(Orchestration, 120)는 어플리케이션의 배포와 가용성·확장성을 보장하는 기능으로 칵테일 클러스터(Cluster)의 핵심 기능을 담당한다.
어플리케이션 오케스트레이션부(120)는 어플리케이션 배포(Deployment) 기능·복제(Replication Control) 기능·롤링 업데이트(Rolling Update) 기능·스케일링(Scaling) 기능 및 모니터링(Monitoring) 기능을 수행한다.
도 4를 참조하면 어플리케이션 배포 기능은 컨테이너 이미지 기반의 배포로 별도 설정과 구성 작업이 필요 없는 용이성을 제공하며, 어플리케이션 배포 시 클라우드 인프라를 자동 프로비져닝하는 기능이다.
여기서 어플리케이션은 컨테이너화되어 배포되게 되는데, 어플리케이션 컨테이너(이하 "컨테이너"라고 한다)는 어플리케이션 프로세스에 호스트 자원을 할당하고 격리하여 가상화한 OS상의 독립시스템을 말한다.
컨테이너에 사용되는 핵심 기술은 Linux의 cgroup(control group)과 namespace이다. cgroup은 OS상의 프로세스에 호스트 자원을 할당하기 위해 해당 프로세스 그룹을 만들고 자원의 할당 및 관리를 수행한다. namespace는 프로세스· 네트워크·마운드(mount) 등을 특정 name space로 격리하는 기술이다. 이에 따라 컨테이너는 cgroup을 통해 어플리케이션 프로세스에 자원을 할당하고, namespace로 격리한 OS상에 가상화된 독립 시스템을 말한다.
컨테이너는 하이퍼바이저(Hardware emulator)와 게스트 OS를 사용하지 않는 가벼운 OS 가상화 방식으로 호스트 자원의 소모량이 거의 없고 기동에 드는 시간이 매우 적어 어플리케이션 가상화에 적합한 기술이다. 또한 OS상의 가상화로 기존 물리 서버(Bare Metal)·가상 서버(Virtual Machine) 등 인프라에 독립적인 구성과 배포가 가능하다.
이렇게 기존 또는 신규 어플리케이션 구성을 컨테이너로 전환하기 위해서는 컨테이너화(Containerization) 과정이 수반되어야 한다. 그리고 이에 따른 개발· 테스트·운영 방식의 전환 및 운영 인프라 구성(칵테일 클라우드 플랫폼) 최적화 작업을 병행해야 한다.
기존 어플리케이션을 컨테이너로 전환하기 위해서는 어플리케이션의 설정 및 소스가 아닌 구성의 전환이 필요하며, 배포와 운영 효율을 고려할 때 워크로드(Workload) 중심의 역할별 독립적 구성이 일반적이고, 복제를 통한 다중화와 스케일링을 고려한 구성이 설계되고 적용되어야 할 것이다.
어플리케이션 개발·테스트·운영 방식의 전환을 위해서는 이미지 기반의 어플리케이션 빌드·테스트·배포와 베이스 이미지를 통한 어플리케이션 구성이 표준화되어야 할 것이다.
어플리케이션 컨테이너 운영 인프라 구성 최적화를 위해서는 컨테이너 오케스트레이션을 위한 클러스터 중심의 인프라가 구성되고, 복제·스케일링을 고려한 컴퓨팅 용량이 산정(예비 용량 최소화, 필요 시 확장 용이)되어야 하며, 공유 스토리지·보안·네트워크 등 관련 인프라를 구성하여야 할 것이다.
도 5를 참조하면 컨테이너화는 크게 분석 및 구성 설계(S100)·컨테이너 전환(S200)·운영 이관(S300)으로 구분된다.
분석 및 구성 설계(S100)를 위해 컨테이너/클라우드 도입 목적과 전략을 고려하여 기존 어플리케이션 중 컨테이너 전환 대상을 선정한다(S110).
대상 어플리케이션이 선정되면 대상 어플리케이션을 분석한다(S120). 이때 어플리케이션·인프라·데이터·연계 구조 등의 어플리케이션 현황 및 자료 조사를 하고, 개발 및 운영·관리자의 요구를 수집한다. 그리고 컨테이너 구성 방향·이슈 및 해결 방안을 도출한다.
그리고 분리/통합·연계·가용성·확장성·보안 등을 고려하여 대상 어플리케이션별 컨테이너 구성을 설계한다(S130). 이때 베이스 이미지·환경 변수·포함 항목·코맨드 등의 이미지 빌드 템플릿을 정의할 수 있다.
그후 인프라 구성을 설계한다(S140). 전환 인프라(클라우드/베어 메탈) 공급자를 선정하고, 어플리케이션 컨테이너별 용량을 산정한다. 그리고 컨테이너 클러스터 노드 수 및 인프라 용량을 산정하며, 스토리지·네트워크·보안 구성을 설계한다.
인프라 구성이 설계되면 컨테이너 전환 방안을 수립한다(S150). 이때 어플리케이션별 전환 세부 방안을 수립하고, 전환 업무 및 조직/역할을 정의하며, 전환 일정을 수립한다. 그리고 보고 및 피드백을 반영한다.
컨테이너 전환(S200)을 위해서는 반복/점증적 전환(S210)이 필요하다. 사전 테스트(PoC), 어플리케이션별 단계적 전환 등 반복적이고 점증적으로 전환한다.
그리고 칵테일 클러스터를 구성(S220)하기 위해 칵테일 클라우드 플랫폼을 설치 및 구성하고, 네트워크·공유 스토리지·보안 등 기반 인프라를 구성한다(클라우드의 경우 칵테일에서 프로비져닝). 기반 인프라 할당 및 사용자 등록을 통해 칵테일 서비스와 클러스터를 생성하고, 클러스터 구성을 검증한다.
그리고 어플리케이션 전환(S230)을 위해 어플리케이션 컨테이너를 구성하고, 필요 시 어플리케이션 설정 및 소스를 변경한다. 전환 컨테이너의 기능 및 설정 등을 검증하며, 컨테이너 배포 이미지 빌드 및 레지스트리에 등록한다. 그리고 칵테일 서버를 생성하고 테스트 한다.
데이터 전환(S240)을 위해 대상 어플리케이션 컨테이너 전환하며, Persistence 볼륨 설정 등을 통해 칵테일 서버를 설정하고, 데이터를 추출하고 칵테일 서버에 전송한다. 이 기종 DB 솔루션 적용의 경우 데이터 변환을 수행하며, 데이터 정합성을 확인한다. 운영 어플리케이션의 경우 다운타임을 최소화하기 위해 데이터 동기화 솔루션을 적용한다.
그후 검증된 컨테이너를 칵테일 서버에 배포하고, 어플리케이션 기능 및 성능 테스트를 수행하며, 컨테이너 및 인프라에 테스트 결과를 반영한다(S250, S260).
운영 이관(S300)을 위해 운영 배포/오픈(S310)이 수행되는데 구체적으로 운영 칵테일 클러스터를 생성하고 전환 완료된 이미지를 기반으로 칵테일 서버를 생성하고 연계 구성한다. 그리고 운영 데이터를 이관하고 어플리케이션을 오픈한다. 이러한 어플리케이션 컨테이너를 배포·운영·관리하는 기술을 컨테이너 오케스트레이션(Orchestration)이라 칭한다.
컨테이너 오케스트레이션은 물리/가상 인프라에 관리 클러스터(Managed Cluster)를 구성하여 어플리케이션 컨테이너를 배포·운영·관리하는 기술로, 컨테이너의 가볍고 빠른 기동성과 이동성의 장점을 활용하여 기존 사내, 데이터 센터 인프라의 클라우드화와 프라이빗/퍼블릭 클라우드의 어플리케이션 관리 플랫폼으로 확산되고 있다.
칵테일 클라우드 모니터링 뷰를 통해 어플리케이션 및 인프라 운영 모니터링을 수행하고 성능 이슈 및 오류를 반영한다(S320).
개발·운영 체계 이관 및 적용(S330)을 위해 컨테이너 이관 결과를 리포트하고, 담당 개발 및 운영 조직에 컨테이너 기반 개발/운영 체계 교육을 실시하며, 칵테일 클라우드 플랫폼 사용 교육을 실시한다.
이에 따라 컨테이너는 다음과 같은 장점을 갖는다.
첫째, 컨테이너는 독립성을 갖는다.
격리된 어플리케이션 실행 환경이며, 독립적인 자원이 할당되고(CPU, Memory, Disk, Network 등), 동일 호스트상 다중 어플리케이션이 운영된다.
둘째, 컨테이너는 가벼운 가상화를 구현한다.
OS 수준의 가상화(Non Hypervisor)가 가능하며, 빠른 조작이 가능하고(생성·실행·재시작 등), 적은 크기의 컨테이너 이미지로 배포 및 업데이트가 효율적이다.
셋째, 컨테이너는 이동성을 갖는다.
인프라 독립적 이미지를 가지며, 베어메탈(Bare Metal)·가상 머신(Virtual Machine)·클라우드(Cloud) 등 어디든지 이동이 가능하고, 이미지 레지스트리를 통한 온라인 배포 및 버전 관리가 가능하고, 주요 호스트 OS(Linux 계열, Windows)를 지원한다. 이러한 컨테이너의 이동성은 멀티/하이브리드 클라우드 환경하에 어플리케이션 운영/개발의 생산성 및 효율을 높이며 특히 규격화된 컨테이너 이미지로 이종의 인프라에 어플리케이션 배포 및 이전의 어려움을 해결하고 특정 클라우드에 종속되는 락인(Lock-in) 문제를 해결해 준다.
복제 기능은 어플리케이션 안정성과 가용성을 위해 초기 지정한 복제수(다중화)를 유지하고, 어플리케이션 컨테이너 헬스 체크(Health Check)를 통해 이상 시 재기동하는 방식으로 OS 재부팅 방식보다 빠르고 효율적이다. 복제된 어플리케이션은 로드밸런싱을 통해 서비스된다.
롤링 업데이트 기능은 어플리케이션 서비스의 중단 없이 배포·인프라 변경 등의 업데이트 작업을 수행하고, 여러 어플리케이션 간 의존성이 있을 경우 DevOps View의 작업(job) 관리 기능을 통해 자동화를 구성하는 기능이다.
스케일링 기능은 어플리케이션의 모니터링을 통해 인스턴스의 스케일링을 인(In)/아웃(Out)하며, 어플리케이션 인프라의 경우 자원 용량의 스케일을 업(Up)/다운(Down)하는 기능이다. 그리고 모니터링 정보를 통해 스케일링 자동화를 구성한다.
모니터링 기능은 어플리케이션 인스턴스(컨테이너+인프라)를 모니터링하고, 임계치 설정을 통한 알람을 발생 및 관리하는 기능이다.
개발/운영부(DevOps View, 140)는 서비스 현황 기능, 클러스터 맵기능, 모니터링 뷰기능, 리소스 관리기능, 미터링기능, 작업 관리기능, 및 전사 현황 관리/분석기능을 포함한다. 각각의 기능을 도 6 내지 도 11을 참조하여 설명하면 다음과 같다.
서비스 현황 기능은 칵테일 클라우드의 전체 어플리케이션 클러스터의 현황을 서비스 중심으로 파악할 수 있는 뷰(도 6 참조)를 제공한다. 이에 서비스 현황·클러스터 현황·모니터링 알람 등의 항목이 표시될 수 있다.
서비스 현황에서는 칵테일 클라우드의 전체 서비스 현황을 조회할 수 있고, 서비스 내 클러스터의 구성 현황을 종합하여 클라우드 공급자·클러스터·서버· 클라우드 컴포넌트·현재 월 사용 비용 등을 파악할 수 있다. 여기서 클러스터는 어플리케이션의 구성 단위를 의미하며, 서비스는 클러스터의 논리적 그룹을 의미한다.
클러스터 현황에서는 클러스터의 공급자·리젼·서버·클라우드 컴포넌트· 월 사용 비용을 카드 형태로 조회 가능하고, 물리(Bare Metal) 클러스터의 경우 사용 비용은 제외될 수 있다.
모니터링 알람 표시 기능에서는 클러스터 내 어플리케이션과 인프라에서 알람이 발생한 경우, 클러스터 카드에서 확인이 가능하다.
클러스터 맵기능은 칵테일 서버(어플리케이션)의 구성과 상태 정보를 맵 형태로 시각화하여 관리할 수 있는 뷰를 제공한다(도 7 참조).
클러스터 맵은 클러스터의 서버와 클라우드 컴포넌트 구성을 맵 형태로 조회/관리하여 구성 정보의 가시성을 높인다. 클러스터 맵에서는 칵테일 서버·클라우드 컴포넌트·서버 그룹 등의 항목을 포함할 수 있다.
칵테일 서버는 어플리케이션 오케스트레이션의 기본 단위로 로드 밸런싱·어플리케이션 컨테이너·인프라로 구성되며, 멀티/하이브리드 클라우드 관리에 표준화된 인터페이스를 제공한다. 칵테일 서버는 서버 내 어플리케이션 상태와 복제, 자원 사용량을 확인하고 스케일링·롤링 업데이트 등을 관리 수행한다. 칵테일 서버는 복제 기능의 유무에 따라 멀티와 싱글 인스턴스 타입으로 구분된다. AWS에서는 멀티존 옵션을 지원한다.
클라우드 컴포넌트는 공급자가 제공하는 PaaS 서비스를 관리한다. 예를 들면 AWS의 DB 서비스인 RDS일 수 있다.
서버 그룹은 서버 구성의 논리적 그룹을 관리적 편의성을 제공한다.
모니터링 뷰기능은 클러스터 내 어플리케이션과 인프라의 자원 용량과 상태를 확인하고 클라우드 리소스의 상태를 확인할 수 있는 정보를 제공한다(도 8 참조).
모니터링 뷰는 클러스터 내 어플리케이션과 인프라에 대한 모니터링 정보를 시각화하여 제공하고, CPU·메모리·디스크의 평균·TOP 정보 제공으로 자원의 사용량을 확인하고 운영에서 대응할 수 있도록 한다.
모니터링 뷰는 뷰 전환(트랜드/데이터) 항목, 대상 전환(서버/리소스) 항목 등을 포함할 수 있다.
뷰 전환 항목에서 트랜드뷰는 서버와 복제된 인스턴스·어플리케이션 컨테이너에 대한 시간별 모니터링 정보를 제공하고, 데이터뷰는 현재 시간의 평균·TOP 모니터링 수치를 제공한다.
대상 전환 항목에서 모니터링 대상은 클러스터 내 서버와 클라우드 인프라의 리소스로 구분된다. 클라우드 리소스는 공급자가 제공하는 정보를 사용한다.
리소스 관리 기능은 어플리케이션을 구성하는 클라우드 인프라의 리소스를 확인하고 필요 시 세부 설정을 조정할 수 있는 뷰(이하 "리소스 관리뷰"라고 한다)를 제공한다(도 9 참조).
리소스 관리뷰는 칵테일 서버를 구성하는 클라우드 인프라 리소스를 확인하고 설정을 세부적으로 변경할 수 있다. 여기서 칵테일 서버는 어플리케이션 오케스트레이션을 위한 기본 구성을 자동으로 수행하지만, 필요한 경우 직접 클라우드 리소스를 조정할 필요가 있을 때 사용된다.
리소스 관리뷰는 리소스 정보/액션 항목을 포함하는데, 리소스 정보 중 어플리케이션은 컨테이너 설정과 배포 정보를 관리한다. 클라우드 리소스 정보는 로드 밸런서·인스턴스(VM)·보안으로 구성되며, 인스턴스는 용량과 볼륨을 관리한다. 조정이 필요한 리소스 정보는 액션을 통해 수행된다.
미터링 기능은 어플리케이션이 사용하는 클라우드 인프라 리소스의 비용 정보를 확인할 수 있는 뷰(이하 "미터링뷰"라고 한다)를 제공한다(도 10 참조). 미터링뷰는 클러스터 인프라 사용 비용 항목·서버·리소스별 비용 항목 등을 포함할 수 있다.
클러스터 인프라 사용 비용 항목에서는 클러스터와 칵테일 서버가 사용하는 클라우드 리소스의 비용 현황을 확인할 수 있으며, 전월·현재월 비용 정보와 익월 추정 비용을 제공한다. 또한 월별로 비용 증감 추이 그래프를 제공한다.
서버·리소스별 비용 항목은 칵테일 서버별로 사용하는 클라우드 리소스 비용을 TOP을 기준으로 제공하고, 클라우드 리소스 종류별로 사용하는 비용을 TOP을 기준으로 제공한다.
작업 관리기능은 배포·원격 명령·리소스 관리 등의 운영 작업을 스케줄링/자동화할 수 있는 관리 뷰(이하 "작업 관리뷰"라고 한다)를 제공한다(도 11 참조).
작업 관리뷰는 어플리케이션과 인프라의 운영을 위한 스케줄링 및 일괄 처리 기능을 제공한다. 이러한 작업 관리뷰는 작업 현황 항목, 작업 관리 항목 등을 포함할 수 있다.
작업 관리뷰에서 작업 현황 항목은 배포·원격 명령어·리소스 관리 태스크로 구분하고 각 태스크를 조합하여 구성된다. 여기서 배포는 어플리케이션 배포, 원격 명령어는 OS 명령어를 원격에서 수행, 리소스 관리는 스케일링, 상태/설정 변경을 의미한다.
작업 관리뷰에서 작업 관리 항목은 즉시 수행·스케줄링·알람 발생에 따라 수행 방식을 설정할 수 있다. 알람 발생에 따른 수행은 용량 모니터링의 기준치에 따른 자동 스케일링 등에서 사용된다. 작업 관리 항목에서 작업의 실행 상태와 로그 확인을 제공한다.
전사 현황 관리/분석기능은 전사 어플리케이션·클라우드·비용 현황을 파악하고 분석할 수 있는 칵테일 대시보드(Dashboard)를 제공한다.
칵테일 대시보드는 전사 차원에서 어플리케이션과 클라우드 인프라의 현황을 조회하고 비용/예산 관리, 비용 최적화 분석, 통계 리포트를 제공하는 뷰이다. 이러한 칵테일 대시보드는 어플리케이션 현황 항목, 클라우드 현황 항목, 비용/예산 관리, 비용 최적화 분석 항목, 통계/리포트 항목을 포함할 수 있다.
어플리케이션 현황 항목을 통해 칵테일 서버·클러스터·클라우드 컴포넌트의 표준화된 요소를 기준으로 어플리케이션과 인프라 현황을 전사적으로 파악하고 조회할 수 있고, 서비스 중심의 현황뷰를 제공한다.
클라우드 현황 항목을 통해 전사에서 사용하는 클라우드를 공급자·리젼· 리소스별로 현황을 파악할 수 있으며, 인프라 중심의 현황뷰를 제공한다.
비용/예산 관리, 비용 최적화 분석 항목을 통해 전사 클라우드 비용 현황을 파악하고 서비스별 예산 할당/통제와 최적화 분석을 통해 클라우드 리소스 비용 효율화를 할 수 있는 정보를 제공한다.
통계/리포트 항목은 분석 및 보고에 필요한 통계 정보와 리포트뷰를 제공한다.
DB/저장소(150)에서 이미지 저장소(레지스트리)(180)는 어플리케이션 컨테이너의 등록·공유·다운로드·검색·버전을 관리하며, 모니터링 DB(170)는 어플리케이션과 인프라의 모니터링 정보를 관리하고, 통합 구성 DB(Configuration Management DB, CMDB, 160)는 프로바이더·네트워크·서비스·클러스터·서버·컴포넌트·클라우드 리소스의 구성 정보를 관리한다.
도 12는 본 발명의 일 실시례에 따른 클라우드 플랫폼의 아키텍쳐를 나타내며, 도 13은 칵테일 서버의 구성과 그 주변 아키텍쳐를 나타낸다.
도 12를 참조하면 칵테일 클라우드는 칵테일 클러스터(200), 프로바이더 플러그인(210), 서버 매니저(220), DevOps 매니저, CMDB(160), 모니터링 DB(170), 이미지 레지스트리(180), API 서버(290), 사용자 콘솔(300)을 포함한다.
칵테일 클러스터(200)는 오케스트레이션 기반 아키텍쳐를 제공하고 프로바이더 플러그인(210)은 클라우드 공급자 API(280)를 통해 통합 관리를 위한 기본 모듈로 사용된다.
클러스터(200)는 노드와 마스터로 구성되며, 노드의 경우 워커(worker, 310)를 통해 마스터의 명령어를 처리하는 구조이다. 워커(310)는 마스터와의 통신을 담당하고 수행 명령어에 따라 Executor가 지원된다. Monitoring Executor(320)는 노드와 컨테이너 모니터링 정보를 수집하고, Command Executor(330)는 OS와 컨테이너 명령을 수행한다. 그 외에 Container Engine(Docker, 340)이 있다.
프로바이더 플러그인(210)은 멀티 클라우드와 Bare Metal을 위한 Kubernetes API 지원을 위한 API Rapper이며, 프로바이더 확장을 위한 플러그인 모듈로 구성된다. 칵테일 서버는 어플리케이션 오케스트레이션의 기본 단위이며, 클러스터 마스터(200)와 프로바이더 플러그인(210)을 통해 컨테이너와 클라우드 인프라의 복제·스케일링·롤링 업데이트를 수행한다.
칵테일 서버는 도 13에 도시된 바와 같이 컨테이너와 클라우드 인프라로 구성되는데, 로드 밸런서·인스턴스(노드)·컨테이너·볼륨·보안 등으로 구성되며, AWS의 예를 들면, ELB·EC2 Instance·Security Group·ESB일 수 있다. 칵테일 서버는 클라우드 제공자의 PaaS를 위해 클라우드 컴포넌트를 제공한다. 예를 들면 AWS의 RDS일 수 있다.
서버 매니저(220)는 서버 내 어플리케이션 컨테이너와 인프라의 오케스트레이션을 수행하는 제어 모듈로서, 비정상 종료된 컨테이너를 재시작/복구하는 복제 제어, 스케일 인/아웃과 인스턴스 타입과 볼륨 확장을 통한 업다운을 수행하는 스케일링, 어플리케이션 컨테이너 배포를 순차적으로 무중단으로 수행하는 롤링 업데이트 기능을 제공한다.
DevOps 매니저는 멀티 클라우드 인프라 프로비져닝을 위한 구성 관리(Configuration Manager, 230), 멀티 클라우드 자원의 사용량 및 비용 관리를 위한 미터링 관리(Metering Manager, 240), 멀티 클라우드 자원 현황 및 설정 관리를 위한 자원 관리(Resource Manager, 250), 컨테이너/인프라 모니터링 정보 수집 및 관리를 위한 모니터링 관리(Monitoring Manager, 260), 여러 작업 태스크를 결합하여 일괄 수행하고 즉시 수행·수행 시간·이벤트 발생이 수행 조건이며, 배포·서버 액션·원격 명령어의 태스크를 위한 작업 관리(Job Manager, 270)를 제공하는 것으로서 DevOps를 위한 매니저 모듈이다.
칵테일 클라우드는 어플리케이션과 인프라의 구성 정보 관리·모니터링 정보 관리·어플리케이션 컨테이너 이미지 관리를 위한 DB를 제공하고, 사용자와 프로그래밍을 위한 인터페이스를 제공한다.
CMDB(160)는 프로바이더·네트워크·서비스·클러스터·서버·컴포넌트·클라우드 리소스의 구성 정보를 관리한다.
모니터링 DB(170)는 어플리케이션과 인프라의 모니터링 정보를 관리한다.
이미지 레지스트리(180)는 어플리케이션 컨테이너의 등록·공유·다운로드· 검색·버전을 관리한다.
API 서버(290)는 칵테일 클라우드의 모든 기능을 API(280)로 제공하고, 기업 전략에 따른 맞춤화와 타 솔루션과의 연계를 지원한다.
사용자 콘솔(Console)(300)은 Web GUI 형태로 제공된다.
이러한 칵테일 클라우드는 다음과 같이 활용될 수 있다.
첫째, 멀티 클라우드로서 활용될 수 있다.
칵테일 클라우드는 표준화 컴포넌트를 통해 이질적이고 복잡한 멀티클라우드 환경의 통합 관리를 위한 플랫폼이며, 또한 어플리케이션 중심의 기업 클라우드 전량을 구현한다. 구체적으로 칵테일 클라우드는 프로바이더·네트워크·서비스·클러스터·서버·클라우드 컴포넌트를 통해 관리 대상을 표준화하고 이질적이고 복잡한 멀티 클라우드 리소스의 통합 관리(통합 계정·자원·비용)하는 표준화 관리 컴포넌트이다. 또한 어플리케이션은 비즈니스의 핵심 자원인데, 칵테일 클러스터를 통해 어플리케이션 가용성과 확장성이 강화되고, 칵테일 DevOps View를 통한 개발/운영 업무 효율화를 통해 어플리케이션 중심의 기업 클라우드를 구현할 수 있다.
둘째, 칵테일 클라우드는 사내, 데이터 센터 Bare Metal 인프라의 클라우드화를 통해 하이브리드 클라우드를 구축/운영의 기반을 제공한다. 또한 복잡한 하이브리드 인프라의 통합 관리와 개발/운영 효율화를 제공한다.
구체적으로 사내, 데이터 센터의 Bare Metal 인프라에 어플리케이션 클러스터를 구성하여 컨테이너 기반의 클라우드 환경을 구축함으로써 별도 가상화를 위한 플랫폼이 불필요하며, 가용성·스케일링 등 확장성을 제공하고, 기존 프라이빗과 퍼블릭 클라우드를 통합 관리할 수 있는 물리 인프라의 클라우드화를 구현할 수 있다.
또한 칵테일 클라우드의 표준 컴포넌트를 통해 관리하고, 칵테일 클라우드 DevOps 뷰를 통한 개발/운영 업무 효율화를 제공한다.
셋째, 칵테일 클라우드는 컨테이너와 CI/CD를 위한 자동화를 통해 클라우드 상의 어플리케이션의 효율적 관리와 마이크로서비스의 구축 및 운영 플랫폼을 제공한다.
칵테일 클러스터는 컨테이너를 기반으로 클라우드 인프라에서 어플리케이션 배포 및 관리 환경을 제공(클라우드 네이티브 어플리케이션)한다. 여기서 칵테일 클러스터는 마이크로 서비스를 구축하고 관리하는 기본 단위이다.
칵테일 DevOps 뷰의 작업 관리는 어플리케이션을 빌드하고 배포할 수 있는 자동화 기반을 제공하고, 컨테이너는 CI/CD를 보다 가볍고 용이하게 수행할 수 있는 기술이다. 칵테일 클라우드는 멀티/하이브리드 클라우드 상에 어플리케이션을 배포/운영할 수 있는 플랫폼을 제공한다.
넷째, 칵테일 클라우드는 클라우드 서비스 브로커의 인프라 재판매 및 서비스 제공 플랫폼으로도 활용될 수 있다.
퍼블릭 클라우드·데이터 센터 인프라를 통합 관리하고 사용자에게 재판매와 클라우드 관리 플랫폼을 서비스 형태로 제공하는 CSB용 플랫폼을 칵테일 클라우드로 구축·운영하고, SaaS를 위한 멀티테넌시와 빌링 시스템을 제공하며, 큰 규모의 기업의 경우 계열사 클라우드 제공 및 관리 플랫폼으로 활용 가능하다.
또한 기존 데이터 센터 사업자의 인프라를 클라우드화하여 제공하고, 퍼블릭 클라우드 제공자에 특화된 서비스(칵테일 클라우드 컴포넌트(PaaS))를 제공한다.
도 14 내지 도 16은 본 발명의 일 실시례에 따른 클라우드 플랫폼 시스템의 멀티 클러스터 프로비저닝 및 관리 기능을 설명하기 위한 도면이다.
본 발명에 따른 클라우드 플랫폼 시스템인 칵테일 클라우드는 Bare metal, cloud platform, public cloud 등 다양한 인프라에 컨테이너 기반 어플리케이션이 동작할 수 있는 클러스터 환경을 자동 생성하는 멀티 클러스터 프로비저닝 및 관리 기능이 제공된다. 이 기능은 멀티 클라우드 환경에서 복수 개의 클러스터를 중앙(칵테일 클라우드)에서 원격 동시 프로비저닝 하여 컨테이너 어플리케이션 운영 환경을 생성하는 것이며, 원격에서 클러스터의 버전 업그레이드를 관리하여 운영 효율성을 향상시킨다(도 14 참조).
도 15를 참조하면, 클러스터의 버전 업그레이드시 Orchestration engine, add-on의 최신 기능이 반영되고, CLI 도구를 이용하여 간편하게 클러스터 노드를 추가하고 장애 노드를 교체할 수 있다. 그리고 클러스터 노드 백업도 가능하며, 클러스터 자동 스케일링도 가능하다.
도 16은 클러스터가 구성된 퍼블릭 클라우드의 계정 정보를 등록하여 원격에서 클러스터를 제어하여 어플리케이션의 배포, 운영 관리 및 클러스터 모니터링 기능을 수행할 수 있는 예시 화면이다.
도 17은 본 발명의 일 실시례에 따른 클라우드 플랫폼 시스템의 멀티 클러스터 프로비저닝 및 관리 방법을 나타낸 흐름도이다.
멀티 클러스터 프로비저닝 및 관리를 위해 사용자가 입력할 수 있는 프로비저닝 및 관리 툴(tool)이 제공된다.
프로비저닝 및 관리 툴에 의해 사용자의 클러스터 프로비저닝이 요청되면(S400), 클라우드 플랫폼 시스템은 클러스터 타입 정보(예를 들면, Bare-metal, public cloud, cloud platform 등)를 입력할 수 있도록 한다(S410). 사용자에 의해 클러스터 타입 정보가 입력되면, 클러스터 구성 정보가 생성된다(S420). 구체적으로 클러스터 구성 정보는 인스턴스 개수, 인스턴스 사양(GPU, 메모리 타입), 네트워크 구성 정보, 스토리지 구성 정보 중 적어도 하나를 포함한다.
다음으로 퍼블릭 클라우드 또는 시스템 접속 정보(접속 계정 정보, 인증 정보)가 등록되면(S430), 클라우드 플랫폼 시스템은 클러스터를 생성하는 것인지 또는 변경하는 것인지 확인한다(S440, S490).
클러스터를 생성하는 것이면, 클라우드 플랫폼 시스템은 인스턴스, 네트워크, 스토리지 생성을 요청하고 구성한다(S450). 이후 컨테이너 런타임 소프트웨어가 설치된다(S460). 그리고 클러스터 구성 정보가 셋팅된다(S470). 그러면 클러스터 프로비저닝이 완료된다(S480).
클러스터를 변경하는 것이면, 클라우드 플랫폼 시스템은 클러스터 구성 히스토리 정보를 확인하고 클러스터 구성을 업데이트시킨다(S500, S510). 그러면 클러스터 변경이 완료된다(S520).
한편 상술한 본 발명의 실시례들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면 롬· 플로피 디스크·하드디스크 등), 광학적 판독 매체(예를 들면 CD-ROM·DVD 등) 및 캐리어 웨이브(예를 들면 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.
이와 같이 본 발명에 의한 클라우드 플랫폼에서 어플리케이션을 컨테이너화하는 방법에 따르면 격리된 어플리케이션 실행 환경을 제공하고, 독립적인 자원 할당이 가능하며, 동일 호스트상 다중 어플리케이션 운영이 가능할 뿐만 아니라 OS 수준의 가상화로 빠른 조작이 가능하고, 적은 크기의 컨테이너 이미지로 배포 및 업데이트가 효율적이며 어디든지 이동이 가능하다.
또한 본 발명에 의한 클라우드 플랫폼에서의 멀티 클러스터 프로비저닝 및 관리 방법에 따르면 다양한 인프라에 컨테이너 기반 어플리케이션이 동작할 수 있는 멀티 클러스터 환경을 자동 생성할 수 있으며 원격에서 클러스터의 버전 업그레이드를 관리하여 운영 효율성을 향상시킬 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시례들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시례들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (1)

  1. 멀티 클라우드 환경에서 컨테이너 기반 어플리케이션이 동작할 수 있는 복수 개의 클러스터의 프로비저닝이 요청되면, 클라우드 플랫폼 시스템이 상기 클러스터 각각의 타입 정보를 입력할 수 있도록 하는 단계;
    상기 클러스터의 타입 정보가 입력되면, 상기 클라우드 플랫폼 시스템이 상기 클러스터 각각의 구성 정보를 생성하는 단계;
    퍼블릭 클라우드 또는 시스템 접속 정보가 등록되면, 상기 클라우드 플랫폼 시스템이 각각의 상기 클러스터를 생성하는 것인지 또는 변경하는 것인지 확인하는 단계;
    상기 클러스터를 생성하는 것이면, 상기 클라우드 플랫폼 시스템이 인스턴스, 네트워크, 스토리지 생성을 요청하고 구성하며, 컨테이너 런타임 소프트웨어를 설치하고, 상기 클러스터의 구성 정보를 셋팅하여 상기 클러스터의 원격 동시 프로비저닝을 수행하는 단계;
    상기 클러스터를 변경하는 것이면, 상기 클라우드 플랫폼 시스템이 상기 클러스터의 구성 히스토리 정보를 확인하고 상기 클러스터의 구성을 업데이트시켜 상기 클러스터의 변경을 원격에서 수행하는 단계;
    상기 클라우드 플랫폼 시스템이 상기 클러스터의 노드를 추가하거나 장애 노드를 교체하고, 상기 클러스터의 노드를 백업하는 단계; 및
    상기 클라우드 플랫폼 시스템이 상기 클러스터의 자동 스케일링을 수행하는 단계를 포함하고,
    상기 클러스터의 구성 정보는 인스턴스 개수, 인스턴스 사양(GPU, 메모리 타입), 네트워크 구성 정보, 스토리지 구성 정보 중 적어도 하나를 포함하는 클라우드 플랫폼에서의 멀티 클러스터 프로비저닝 및 관리 방법.
PCT/KR2019/008702 2018-07-19 2019-07-15 클라우드 플랫폼에서의 멀티 클러스터 프로비저닝 및 관리 방법 WO2020017847A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/257,523 US20210271521A1 (en) 2018-07-19 2019-07-15 Method for provisioning and managing multi-cluster on cloud platform
JP2021502771A JP2021530804A (ja) 2018-07-19 2019-07-15 クラウドプラットフォームでのマルチクラスタープロビゾニング及び管理方法
CN201980047482.7A CN112424750A (zh) 2018-07-19 2019-07-15 云平台上的多集群供应及管理办法
SG11202100299TA SG11202100299TA (en) 2018-07-19 2019-07-15 Method for provisioning and managing multi-cluster on cloud platform

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0084027 2018-07-19
KR1020180084027A KR101998564B1 (ko) 2018-07-19 2018-07-19 클라우드 플랫폼에서의 멀티 클러스터 프로비저닝 및 관리 방법

Publications (1)

Publication Number Publication Date
WO2020017847A1 true WO2020017847A1 (ko) 2020-01-23

Family

ID=67254772

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/008702 WO2020017847A1 (ko) 2018-07-19 2019-07-15 클라우드 플랫폼에서의 멀티 클러스터 프로비저닝 및 관리 방법

Country Status (6)

Country Link
US (1) US20210271521A1 (ko)
JP (1) JP2021530804A (ko)
KR (1) KR101998564B1 (ko)
CN (1) CN112424750A (ko)
SG (1) SG11202100299TA (ko)
WO (1) WO2020017847A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112104723A (zh) * 2020-09-07 2020-12-18 腾讯科技（深圳）有限公司 一种多集群的数据处理系统及方法
CN112148745A (zh) * 2020-08-07 2020-12-29 新华三大数据技术有限公司 一种多HBase集群访问方法、装置及存储介质
CN112698947A (zh) * 2020-12-31 2021-04-23 山东省计算中心（国家超级计算济南中心） 一种基于异构应用平台的gpu资源弹性调度方法
CN113810241A (zh) * 2020-06-15 2021-12-17 北京金山云网络技术有限公司 kubernetes集群的测试方法及装置
US11803429B2 (en) 2020-10-30 2023-10-31 Red Hat, Inc. Managing alert messages for applications and access permissions
JP7520214B2 (ja) 2020-09-01 2024-07-22 北京京▲東▼尚科信息技▲術▼有限公司 クラウドプラットフォーム更新方法及び装置

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101998564B1 (ko) * 2018-07-19 2019-07-10 나무기술 주식회사 클라우드 플랫폼에서의 멀티 클러스터 프로비저닝 및 관리 방법
KR102154446B1 (ko) * 2019-11-14 2020-09-09 한국전자기술연구원 분산·협업형 컨테이너 플랫폼 환경에서의 자원 균등 배분을 위한 고속 스케줄링 방법
KR102223990B1 (ko) 2019-11-20 2021-03-08 주식회사 이노그리드 가상 클라우드 서버를 이용한 위치기반 멀티클라우드 서비스 시스템 및 방법
KR102311842B1 (ko) * 2019-12-18 2021-10-13 (주)클린일렉스 전기차 충전소 관리를 위한 클라우드 컨테이너 플랫폼
CN111324417B (zh) * 2020-01-19 2024-03-08 北京百度网讯科技有限公司 一种Kubernetes集群的组件控制方法、装置、电子设备和介质
US11507392B2 (en) 2020-02-26 2022-11-22 Red Hat, Inc. Automatically configuring computing clusters
KR102328384B1 (ko) * 2020-07-23 2021-11-18 아콘소프트 주식회사 관리형 클러스터 자동 프로비저닝 엔진 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체
CN112181597B (zh) * 2020-10-12 2024-01-19 成都精灵云科技有限公司 容器资源使用限制动态更新方法
US11550633B2 (en) 2020-10-31 2023-01-10 Nutanix, Inc. Intra-footprint computing cluster bring-up
KR102418250B1 (ko) 2020-11-24 2022-07-07 주식회사 이노그리드 효율적인 자원 활용을 위한 멀티클라우드 서비스 시스템 및 방법
KR102418251B1 (ko) 2020-11-24 2022-07-07 주식회사 이노그리드 장애 대비를 위한 멀티클라우드 서비스 시스템 및 방법
CN112486629B (zh) * 2020-11-27 2024-01-26 成都新希望金融信息有限公司 微服务状态检测方法、装置、电子设备和存储介质
CN112286644B (zh) * 2020-12-25 2021-05-28 同盾控股有限公司 Gpu虚拟化算力的弹性调度方法、系统、设备和存储介质
KR20220098596A (ko) 2021-01-04 2022-07-12 아콘소프트 주식회사 멀티 클라우드 서비스 시스템
US11900172B2 (en) 2021-07-30 2024-02-13 Nutanix, Inc. Computing cluster bring-up on public cloud infrastructure using expressed intents
US11677616B2 (en) * 2021-07-30 2023-06-13 Oracle International Corporation System and method for providing a node replacement controller for use with a software application container orchestration system
KR102614848B1 (ko) 2021-08-02 2023-12-20 주식회사 이노그리드 인공지능과 빅데이터 플랫폼에 의한 장애 예측을 이용한 멀티클라우드 서비스 방법 및 시스템
CN113641503B (zh) * 2021-09-01 2024-05-14 上海联蔚盘云科技有限公司 多云多集群的Kubernetes管理系统及方法与设备
CN113839821B (zh) * 2021-10-14 2024-05-24 京东科技信息技术有限公司 部署集群和构建基础设施的方法、装置、系统、设备及介质
US11900094B2 (en) 2021-10-25 2024-02-13 Oracle International Corporation System and method for providing software rollouts within a controller-based container orchestration system
CN114124700A (zh) * 2021-10-26 2022-03-01 马上消费金融股份有限公司 集群的参数配置方法、装置、电子设备及可读存储介质
CN114492660A (zh) * 2022-02-14 2022-05-13 深圳市伊登软件有限公司 多云管理平台的业务管理方法及系统
WO2024049636A1 (en) * 2022-09-01 2024-03-07 Vmware, Inc. Optimized system design for deploying and managing containerized workloads at scale
CN116010241B (zh) * 2022-11-17 2023-09-22 北京东方通科技股份有限公司 一种可扩展的DevOps持续交付系统及其方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004519024A (ja) * 2000-09-08 2004-06-24 ゴー アヘッド ソフトウェア インコーポレイテッド 多数のノードを含むクラスタを管理するためのシステム及び方法
KR20140086436A (ko) * 2012-12-28 2014-07-08 삼성에스디에스 주식회사 가상 클러스터의 동적 확장 시스템, 방법 및 그 프로그램이 저장된 기록매체
KR20150108230A (ko) * 2014-03-17 2015-09-25 한국전자통신연구원 클러스터 시스템 구축 방법 및 장치
US20160182397A1 (en) * 2014-12-18 2016-06-23 Here Global B.V. Method and apparatus for managing provisioning and utilization of resources
KR101807806B1 (ko) * 2017-05-02 2017-12-11 나무기술 주식회사 클라우드 플랫폼에서 어플리케이션을 컨테이너화하는 방법
KR101998564B1 (ko) * 2018-07-19 2019-07-10 나무기술 주식회사 클라우드 플랫폼에서의 멀티 클러스터 프로비저닝 및 관리 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150142871A (ko) 2014-06-12 2015-12-23 주홍찬 인터렉티브 푸쉬 클라우드 시스템 장치 및 방법
US10706145B2 (en) * 2015-10-01 2020-07-07 Twistlock, Ltd. Runtime detection of vulnerabilities in software containers
CN107229646A (zh) * 2016-03-24 2017-10-03 中兴通讯股份有限公司 数据集群的部署方法、装置及系统
CN108123994B (zh) * 2016-11-28 2021-01-29 中国科学院沈阳自动化研究所 一种面向工业领域的云平台架构
CN108270728B (zh) * 2016-12-30 2020-10-30 上海华讯网络系统有限公司 基于容器的混合云管理系统及方法
CN107193652B (zh) * 2017-04-27 2019-11-12 华中科技大学 容器云环境中流数据处理系统的弹性资源调度方法及系统
CN107426034B (zh) * 2017-08-18 2020-09-01 国网山东省电力公司信息通信公司 一种基于云平台的大规模容器调度系统及方法
CN107943555B (zh) * 2017-10-17 2021-11-23 华南理工大学 一种云计算环境下的大数据存储和处理平台及处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004519024A (ja) * 2000-09-08 2004-06-24 ゴー アヘッド ソフトウェア インコーポレイテッド 多数のノードを含むクラスタを管理するためのシステム及び方法
KR20140086436A (ko) * 2012-12-28 2014-07-08 삼성에스디에스 주식회사 가상 클러스터의 동적 확장 시스템, 방법 및 그 프로그램이 저장된 기록매체
KR20150108230A (ko) * 2014-03-17 2015-09-25 한국전자통신연구원 클러스터 시스템 구축 방법 및 장치
US20160182397A1 (en) * 2014-12-18 2016-06-23 Here Global B.V. Method and apparatus for managing provisioning and utilization of resources
KR101807806B1 (ko) * 2017-05-02 2017-12-11 나무기술 주식회사 클라우드 플랫폼에서 어플리케이션을 컨테이너화하는 방법
KR101998564B1 (ko) * 2018-07-19 2019-07-10 나무기술 주식회사 클라우드 플랫폼에서의 멀티 클러스터 프로비저닝 및 관리 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113810241A (zh) * 2020-06-15 2021-12-17 北京金山云网络技术有限公司 kubernetes集群的测试方法及装置
CN112148745A (zh) * 2020-08-07 2020-12-29 新华三大数据技术有限公司 一种多HBase集群访问方法、装置及存储介质
CN112148745B (zh) * 2020-08-07 2022-05-27 新华三大数据技术有限公司 一种多HBase集群访问方法、装置及存储介质
JP7520214B2 (ja) 2020-09-01 2024-07-22 北京京▲東▼尚科信息技▲術▼有限公司 クラウドプラットフォーム更新方法及び装置
CN112104723A (zh) * 2020-09-07 2020-12-18 腾讯科技（深圳）有限公司 一种多集群的数据处理系统及方法
CN112104723B (zh) * 2020-09-07 2024-03-15 腾讯科技（深圳）有限公司 一种多集群的数据处理系统及方法
US11803429B2 (en) 2020-10-30 2023-10-31 Red Hat, Inc. Managing alert messages for applications and access permissions
CN112698947A (zh) * 2020-12-31 2021-04-23 山东省计算中心（国家超级计算济南中心） 一种基于异构应用平台的gpu资源弹性调度方法
CN112698947B (zh) * 2020-12-31 2022-03-29 山东省计算中心（国家超级计算济南中心） 一种基于异构应用平台的gpu资源弹性调度方法

Also Published As

Publication number Publication date
CN112424750A (zh) 2021-02-26
JP2021530804A (ja) 2021-11-11
US20210271521A1 (en) 2021-09-02
SG11202100299TA (en) 2021-02-25
KR101998564B1 (ko) 2019-07-10

Similar Documents

Publication Publication Date Title
WO2020017847A1 (ko) 클라우드 플랫폼에서의 멀티 클러스터 프로비저닝 및 관리 방법
WO2020017844A1 (ko) 클라우드 플랫폼에서 복수의 클러스터 및 어플리케이션을 모니터링하는 방법
WO2020017843A1 (ko) 클라우드 플랫폼에서의 클러스터 리소스 할당 및 관리 방법
WO2018203635A1 (ko) 클라우드 플랫폼에서 어플리케이션을 컨테이너화하는 방법
WO2018203634A1 (ko) 클라우드 플랫폼 시스템
WO2020017846A1 (ko) 클라우드 플랫폼에서 어플리케이션 컨테이너의 볼륨(스토리지) 프로비저닝 방법
US11288130B2 (en) Container-based application data protection method and system
KR102125260B1 (ko) 분산 지능모듈의 통합관리 시스템
Bakshi Microservices-based software architecture and approaches
EP2859441B1 (en) Cloud application deployment portability
US20090204961A1 (en) Systems and methods for distributing and managing virtual machines
Gogouvitis et al. Seamless computing in industrial systems using container orchestration
WO2023085738A1 (ko) Ai 모델 서빙 시스템 및 방법
GB2614796A (en) Cloud-based hybrid service meshes in microservice architectures (systems and methods)
WO2018088629A1 (ko) 읽기 및 쓰기가 가능한 가상 디스크의 병합 마운팅을 통한 가상 클러스터 구축 방법 및 장치
Sabharwal et al. Container overview
Ward et al. Deploying Azure SQL
US7529654B2 (en) System and procedure for controlling and monitoring programs in a computer network
Mustafa Microservices vs. Monolithic
KR20240006299A (ko) 자체 관리가 가능한 클라우드 데이터 센터 및 그것의 관리 제어 방법
CAZAN et al. AUTOMATION IMPROVEMENT FOR GIS-BASED APPLICATIONS DEPLOYMENT IN FAST GROWING HIGH SCALABILITY DATA-ROOMS
Syrewicze et al. Migrating Virtual Machines Between Hosts
CN118210589A (zh) 一种基于集群的大数据云平台构建方法、集群及平台
Kaufman et al. Implementing High Availability

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19838356

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021502771

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 21/05/2021

122 Ep: pct application non-entry in european phase

Ref document number: 19838356

Country of ref document: EP

Kind code of ref document: A1