WO2024143632A1 - 자원을 고려한 모니터링 장치 및 이를 포함하는 클라우드 통합운영 시스템 - Google Patents

자원을 고려한 모니터링 장치 및 이를 포함하는 클라우드 통합운영 시스템 Download PDF

Info

Publication number
WO2024143632A1
WO2024143632A1 PCT/KR2022/021675 KR2022021675W WO2024143632A1 WO 2024143632 A1 WO2024143632 A1 WO 2024143632A1 KR 2022021675 W KR2022021675 W KR 2022021675W WO 2024143632 A1 WO2024143632 A1 WO 2024143632A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning model
module
monitoring
predetermined
learning
Prior art date
Application number
PCT/KR2022/021675
Other languages
English (en)
French (fr)
Inventor
송민재
이찬재
김영광
김민준
Original Assignee
오케스트로 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220185722A external-priority patent/KR102531299B1/ko
Priority claimed from KR1020220185763A external-priority patent/KR102557631B1/ko
Application filed by 오케스트로 주식회사 filed Critical 오케스트로 주식회사
Publication of WO2024143632A1 publication Critical patent/WO2024143632A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • a monitoring device is a monitoring device that monitors the operation of at least one virtual machine running on a physical server within the allocated resources of a cloud integrated operating system, wherein the operation occurring in the virtual machine is monitored.
  • Transmission/reception module that collects information; a monitoring module that monitors whether the virtual machine operates abnormally based on the operation information collected by the transmission and reception module; a model operation module that operates a monitoring learning model that assists the monitoring function of the monitoring module, based on a request from the monitoring module; and a schedule module that determines the operation time of the surveillance learning model through a predetermined timing determination method so that the surveillance learning model can be operated within the allocated resources.
  • the predetermined operation condition may be a condition in which a load lower than a predetermined threshold is applied.
  • the predetermined first additional condition is similar to the surveillance learning model by more than the second similarity and less than the first similarity, and is less than the second similarity based on the surveillance learning model.
  • This may be a condition in which clusters of the stored learning model exist below a predetermined number.
  • a monitoring method includes, through a monitoring device, monitoring the operation of at least one virtual machine running on a physical server within the allocated resources of a cloud integrated operation system, collecting operation information generated from the virtual machine; Monitoring, by a monitoring module, whether the virtual machine operates abnormally based on the operation information; A step of operating, by a model operation module, a monitoring learning model that assists the monitoring function of the monitoring module, based on a request from the monitoring module; And it may include a step of determining, by a schedule module, the operation time of the surveillance learning model through a predetermined timing determination method so that the surveillance learning model can be operated within the allocated resources.
  • the learning model recommendation device is a learning model recommendation device that recommends a learning model calculated by machine learning or deep learning according to the request of the consumer, and includes the request of the consumer and the learning model requested by the consumer.
  • a receiving module that receives the calculation conditions of the target learning model; a storage module that stores a stored learning model, which is a learning model created in the past, and calculation conditions for the stored learning model; a similarity judgment module that determines the similarity between the target learning model and the stored learning model;
  • a recommendation module that recommends to the consumer a learning model that satisfies predetermined recommendation conditions among the stored learning models stored in the storage module as a recommended learning model, wherein the predetermined recommendation conditions include the target learning model and The conditions may be more similar than 1 similarity.
  • the predetermined calculation method is that, when there is only one cluster of the stored learning models that exist with the second similarity or higher based on the target learning model, the stored learning model closest to the average of the cluster is used as the recommended learning model. This may be a method of selection.
  • the predetermined calculation method is, when the cluster of the stored learning model that exists with the second similarity or higher based on the target learning model is more than one or less than a predetermined number, the stored learning model that is closest to the average of each cluster This may be a method of selecting the recommended learning model through a combination of .
  • the recommendation module selects the recommended learning model based on the stored learning models that satisfy a predetermined second additional condition even if the predetermined recommendation condition and the first predetermined additional condition are not satisfied.
  • the predetermined second additional condition may be a condition in which the similarity with the target learning model is greater than or equal to the first similarity when the stored learning models that are similar to the target learning model and less than the second similarity are connected.
  • arbitrary learning models when arbitrary learning models are connected to each other, it further includes a simulation module that simulates the state of the final learning model, and the simulation module is configured to simulate the state of the final learning model when a plurality of learning models are input to the simulation model.
  • a simulation model that calculates the state can be created through deep learning.
  • the predetermined learning condition if it is satisfied, it further includes a learning suggestion module that proposes to the administrator to create a learning model, and the predetermined learning condition may be a condition under which the predetermined recommendation condition is not satisfied. .
  • it further includes a price calculation module for calculating a cost to be charged while recommending the stored learning model, wherein the price calculation module is configured to calculate a cost to be charged based on the degree of similarity between the target learning model and the recommended learning model to be recommended. can be calculated.
  • the learning model recommendation method is implemented by a learning model recommendation device and recommends a learning model calculated by machine learning or deep learning according to the request of the consumer, comprising: receiving A request receiving step in which the request of the consumer and the calculation conditions of the target learning model, which is the learning model requested by the consumer, are received by the module; A condition storage step in which a stored learning model, which is a learning model created in the past, and calculation conditions of the stored learning model are stored by a storage module; A similarity judgment step in which the similarity between the target learning model and the stored learning model is determined by a similarity judgment module; And a recommendation step in which, by a recommendation module, a learning model that satisfies predetermined recommendation conditions among the stored learning models stored in the storage module is recommended to the consumer, wherein the predetermined recommendation conditions include the target learning model and the second learning model.
  • the conditions may be more similar than 1 similarity.
  • the recommendation step includes a predetermined first additional condition for determining whether the condition is satisfied based on a second similarity lower than the first similarity and a plurality of stored learning models even if the predetermined recommendation condition is not satisfied.
  • This may be a step of selecting or calculating a learning model to recommend to the consumer by determining whether a predetermined second additional condition is satisfied, which determines whether the condition is satisfied based on the virtual learning model created by combining it.
  • the monitoring device considering resources according to the present invention and the cloud integrated operation system including the same can reduce social resource costs.
  • the system can be operated efficiently.
  • FIG. 1 is a relationship diagram of a cloud integrated operation system according to an embodiment of the present invention.
  • Figure 2 is a configuration diagram of a cloud integrated operation system according to an embodiment of the present invention.
  • Figure 3 is a configuration relationship diagram of a monitoring device of a cloud integrated operation system according to an embodiment of the present invention.
  • Figure 4 is a flow chart of the learning model recommendation method implemented by the learning model recommendation device of the cloud integrated operation system according to an embodiment of the present invention.
  • Figure 5 is a diagram for explaining a predetermined recommendation condition and a predetermined first additional condition among the learning model recommendation method according to an embodiment of the present invention.
  • Figure 6 is a diagram illustrating a learning model mediation interface screen provided by the interface module of the learning model recommendation device according to an embodiment of the present invention.
  • Figure 7 is a flowchart illustrating a process in which a learning model recommendation device selects a learning model to recommend to a monitoring device according to an embodiment of the present invention.
  • Figure 8 is a diagram illustrating how the model selection module of the monitoring device calculates the first operation time and the second operation time according to an embodiment of the present invention.
  • the cloud integrated operation system 10 is connected to the consumer (M10) and the physical server (S10) through a wired/wireless network and can transmit and receive necessary information.
  • the consumer can send the conditions and request for the learning model that he or she wants to purchase or rent to the learning model recommendation device
  • the learning model recommendation device is an interface that can request and transmit and receive a learning model or learning model from the consumer. etc. can be provided.
  • the learning model recommendation method can provide an interface so that the learning model can be used in a cloud environment.
  • the network in the present invention may be a core network integrated with a wired public network, wireless mobile communication network, or mobile Internet, etc., and may include TCP/IP protocols and various services existing at the upper layer thereof, such as HTTP (Hyper Text Transfer Protocol) and HTTPS. (Hyper Text Transfer Protocol Secure), Telnet, FTP (File Transfer Protocol), DNS (Domain Name System), SMTP (Simple Mail Transfer Protocol), etc., which may refer to a worldwide open computer network structure, examples of which include It comprehensively refers to a data communication network that can transmit and receive data in various forms without limitation.
  • HTTP Hyper Text Transfer Protocol
  • Telnet Telnet
  • FTP File Transfer Protocol
  • DNS Domain Name System
  • SMTP Simple Mail Transfer Protocol
  • the cloud integrated operation system includes a learning model recommendation device 100 that recommends a learning model according to the request of the consumer, and a learning model recommendation device that manages virtual machines running on a physical server. It may include a management device and a monitoring device that monitors the operation of the virtual machine.
  • the learning model recommendation device 100 is a learning model recommendation device 100 that recommends a learning model calculated by machine learning or deep learning according to the request of the consumer, and A receiving module (110) that receives the calculation conditions of the target learning model, which is a learning model requested by the consumer, a stored learning model that is a learning model created in the past, and a first storage module (120) that stores the calculation conditions of the stored learning model. ), a similarity judgment module 130 that determines the similarity between the target learning model and the stored learning model and a learning model that satisfies predetermined recommendation conditions among the stored learning models stored in the first storage module 120 are recommended for learning. It may include a recommendation module 140 that recommends the model to the consumer.
  • the learning model recommendation device 100 may further include a simulation module 150 that simulates the state of the final learning model when connecting arbitrary learning models.
  • the learning model recommendation device 100 may further include a learning suggestion module 160 that suggests creating a learning model to the administrator when a predetermined learning condition is satisfied.
  • the learning model recommendation device 100 may further include a price calculation module 170 that calculates the cost to be charged while recommending the stored learning model.
  • the learning model recommendation device 100 may further include an interface module 180 that calculates and transmits an interface that can display and collect information necessary to implement the learning model recommendation method on the computing device of the manager or consumer. there is.
  • the simulation module 150 can calculate the calculation conditions of the virtual learning model based on the stored learning models input to the simulation model.
  • the learning model platform and learning model sales market can be activated and the needs of consumers can be met.
  • the monitoring module 320 can monitor in real time whether the virtual machine is operating abnormally based on the operation information.
  • the monitoring module 320 can produce an interface through which information about the load generated by the virtual machine, the load status of the physical server, the list of physical servers in operation, etc. can be displayed to the cloud server integrated management system manager.
  • the monitoring function in the present invention calculates all information generated in the cloud service, such as detecting abnormal signs of virtual machines, predicting virtual machine load, predicting load of the cloud integrated operation system, amount of power generated by the physical server, and detecting abnormal signs of physical machines. It may include detection, monitoring, and prediction functions.
  • a monitoring learning model is stored in the model operation module 330.
  • the model selection module 350 may select the monitoring learning model that satisfies predetermined operation conditions, and transmit the selected monitoring learning model to the model operation module 330.
  • the predetermined operating condition may be a condition in which a load lower than a predetermined threshold is applied.
  • the model selection module 350 may change the predetermined threshold based on the load predicted by the first monitoring learning model.
  • the model selection module 350 can receive information about the resources used among all resources to the cloud integrated operation system for a predetermined period stored in the storage module in order to calculate a predetermined threshold.
  • free resources may mean the value obtained by subtracting used resources from total resources.
  • the predetermined threshold may mean 70% of average free resources over a future period or a predetermined period.
  • the exact value of the predetermined threshold can be modified in various ways at a level that is obvious to those skilled in the art.
  • the model selection module 350 may request a learning model recommendation device to recommend a monitoring learning model that satisfies the predetermined operation conditions.
  • the model selection module 350 may transmit the calculation conditions of the monitored learning model together when requesting a monitored learning model required for the learning model recommendation device.
  • the model selection module 350 receives a monitored learning model (recommended learning model) from the learning model recommendation device and transmits it to the model operation module 330, and the model operation module 330 can store the monitored learning model.
  • a monitored learning model recommended learning model
  • the schedule module 340 may determine the operation time based on the load predicted by the first monitoring learning model.
  • the operation time may be a term that includes not only the starting point but also the progressing time.
  • the predetermined timing determination method may be a method of determining the operation timing when the load occurs below a predetermined ratio based on the resources allocated to the cloud integrated operation system.
  • the schedule module 340 may divide a predetermined future period into predetermined division periods.
  • the partition period may be in units of hours, days, or weeks.
  • the schedule module 340 can calculate the average used resources predicted to be generated in the cloud integrated operation system for each division period.
  • the schedule module 340 may determine the operation period to be a period when the used resources calculated for each section period are below a predetermined ratio based on the total resources.
  • the predetermined ratio (first ratio) may be 10%.
  • the predetermined ratio can be modified in various ways at a level that is obvious to those skilled in the art.
  • the predetermined timing determination method may be a method of determining the operation timing at a time when the least load is generated among the predetermined future period.
  • the partition period may be in minutes, hours, days, or weeks.
  • the schedule module 340 can calculate the average used resources generated in the cloud integrated operation system for each division period.
  • the schedule module 340 determines the operation time by selecting a time when the load on the cloud integrated operation system will be low, thereby effectively solving the problem that the operation rate of the cloud integrated operation system is hindered by the operation of the operation learning model.
  • Figure 4 is a flow chart of a learning model recommendation method implemented by the learning model recommendation device of the cloud integrated operating system according to an embodiment of the present invention.
  • the learning model recommendation method is implemented by a learning model recommendation device, and recommends a learning model calculated by machine learning or deep learning according to the request of the consumer.
  • a request receiving step in which the request of the consumer and the calculation conditions of the target learning model, which is the learning model requested by the consumer, are received by the receiving module; a stored learning model, which is a learning model created in the past, by the storage module; A condition storage step in which the calculation conditions of the stored learning model are stored, a similarity judgment step in which the similarity between the target learning model and the stored learning model is determined by a similarity judgment module, and the storage stored in the storage module by a recommendation module.
  • a recommendation step may be included in which a learning model that satisfies predetermined recommendation conditions is recommended to the consumer.
  • the consumer can use a computing device to input the calculation conditions of the target learning model through the interface received from the interface module.
  • the collection module may receive the calculation conditions of the target learning model from the consumer's computing device and transmit the calculation conditions to the similarity judgment module.
  • the similarity judgment module can determine the similarity between the target learning model and the stored learning model stored in the storage module.
  • the similarity judgment module can transmit the similarity judgment result between the target learning model and the stored learning model to the recommendation module.
  • the recommendation module can select the stored learning model most similar to the target learning model as the recommended learning model (C10).
  • the recommendation module can calculate the recommended learning model according to a predetermined calculation method if the first predetermined additional condition is satisfied.
  • the first predetermined additional condition is a cluster of the stored learning models that are similar to the target learning model by more than the second similarity and less than the first similarity, and exist less than the second similarity based on the target learning model. It may be a condition that exists in less than a predetermined number.
  • the predetermined first additional condition can be satisfied as there are 1 and 3 clusters of the stored learning model.
  • the cluster can be defined as being formed when the number of stored learning models within a predetermined distance based on the central point of the cluster is more than a predetermined number.
  • the predetermined distance and the predetermined number can be modified in various ways at a level that is obvious to those skilled in the art.
  • one cluster may be formed within the first distance (X10) and below the second distance (X20).
  • the recommendation module calculates the calculation conditions by inversely calculating the vector of the average point (M10) of one cluster within the first distance (X10) and below the second distance (X20) based on the target learning model (A10), and recommends learning. You can select it as a model.
  • the predetermined calculation method is a combination of the stored learning models closest to the average of each cluster when the number of clusters of the stored learning models that exist with the second similarity or higher based on the target learning model is more than one or less than a predetermined number. This may be a method of selecting a recommended learning model.
  • the recommendation module may select a virtual learning model that satisfies a predetermined second additional condition as a recommended learning model based on a virtual learning model received from the simulation module.
  • the interface module can produce an interface for a learning model brokerage platform that mediates between a seller who creates and sells a learning model and a buyer who purchases the learning model.
  • the partition period when the partition period is in hours, the period during which the average used resources of the cloud integrated operation system are predicted to be calculated below the first ratio (W10) is the operation time (T12, T13). , T14), and the first operation time may be 3 hours.
  • the recommendation module may calculate whether there is a stored learning model that satisfies a predetermined recommendation condition, a predetermined first additional condition, or a predetermined second additional condition within the stored learning module that satisfies the first operation time. Detailed description of this may be omitted to the extent that it overlaps with the above-described content.
  • the expected operation time of the stored learning module that satisfies the predetermined second additional condition can be calculated by adding up the expected operating times of the stored learning models used (for example, the starting stored learning model and the ending stored learning model).
  • a monitoring method includes, through a monitoring device, monitoring the operation of at least one virtual machine running on a physical server within the allocated resources of a cloud integrated operation system, By collecting operation information generated from the virtual machine, by a monitoring module, by monitoring whether the virtual machine is operated abnormally based on the operation information, by a model operation module, by the monitoring module Based on the request, the monitoring learning model that helps the monitoring function of the monitoring module is operated, and the monitoring learning model is operated within the allocated resources by the schedule module, through a predetermined time point determination method. It may include a step in which the timing of operation of the surveillance learning model is determined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

본 발명의 일 실시예에 따른 모니터링 장치는, 클라우드 통합운영 시스템의 할당된 리소스 내에서, 물리서버에서 가동되는 적어도 하나의 가상머신의 동작을 감시하는 모니터링 장치에 있어서, 상기 가상머신에서 발생되는 가동정보를 수집하는 송수신모듈; 상기 송수신모듈이 수집한 상기 가동정보를 기초로 상기 가상머신이 비 이상적으로 동작되는지 여부를 감시하는 모니터링모듈; 상기 모니터링모듈의 요청에 기반하여, 상기 모니터링모듈의 감시 기능을 돕는 감시학습모델을 가동시키는 모델가동모듈; 및 할당된 리소스 내에서 상기 감시학습모델이 가동될 수 있도록, 미리 정해진 시기결정방법을 통해 상기 감시학습모델의 가동시기를 결정하는 스케줄모듈;을 포함할 수 있다.

Description

자원을 고려한 모니터링 장치 및 이를 포함하는 클라우드 통합운영 시스템
본 발명은 모니터링 장치 및 클라우드 통합운영 시스템에 관한 것으로서, 가상머신이 정상적으로 동작하는지 여부를 감시하여 클라우드를 운영하는 모니터링 장치 및 클라우드 통합운영 시스템에 대한 것이다.
최근 클라우드 시장이 점차 커지면서, 여러 서비스가 클라우드를 기반으로 구축되고 있으며, 클라우드의 규모 또한 폭발적으로 커지고 있다. 수백, 수천개의 가상머신들을 관리자가 일일이 관리하는 것은 현실적으로 어렵기 때문에 시스템적으로 자동 운영, 관리되는 기술을 발전하고 있다. 여기서, 자동 운영의 핵심은 머신러닝/딥러닝을 통한 학습모델을 이용하여, 클라우드 운영에 필요한 기능들을 구현하는 것에 있다.
머신러닝은 분석 알고리즘을 모두 설정하는 기존 방식과 달리, 주어진 데이터를 기반으로 스스로 목적에 맞는 모델을 생성한다는 점에서 기존의 컴퓨터 알고리즘이 가지는 한계를 극복하고 있다. 이러한 탁월한 기능과 편의성 때문에 다양한 산업 분야에 접목되어 개발되고 상용화되고 있는 실정이다.
다만, 머신러닝 또는 딥러닝은 수많은 데이터들을 수집하고 라벨링을 하는 등의 많은 시간과 비용이 발생되고 있으며, 많은 자원이 들어간 학습모델은 각 개발회사들의 자체 자산으로 취급되어 공개되지 않고 자체 보관되고 활용되고 있다. 이로 인해, 같은 목적을 가진 학습모델들이 여러 곳에서 생산되고 활용되어, 사회적으로 자원이 낭비되는 문제가 발생되고 있다.
또한, 클라우드를 효율적으로 운영하기 위해서 활용되는 학습모델들의 숫자와 분석양이 많아지는 것에 따라 운영 부하가 증가하여 오히려 클라우드를 효율적으로 관리하지 못하는 문제가 발생되고 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 진보한 기술 활용으로 시스템의 효율성을 높인 자원을 고려한 모니터링 장치 및 이를 포함하는 클라우드 통합운영 시스템을 제공하는 것이다.
본 발명의 일 실시예에 따른 모니터링 장치는, 클라우드 통합운영 시스템의 할당된 리소스 내에서, 물리서버에서 가동되는 적어도 하나의 가상머신의 동작을 감시하는 모니터링 장치에 있어서, 상기 가상머신에서 발생되는 가동정보를 수집하는 송수신모듈; 상기 송수신모듈이 수집한 상기 가동정보를 기초로 상기 가상머신이 비 이상적으로 동작되는지 여부를 감시하는 모니터링모듈; 상기 모니터링모듈의 요청에 기반하여, 상기 모니터링모듈의 감시 기능을 돕는 감시학습모델을 가동시키는 모델가동모듈; 및 할당된 리소스 내에서 상기 감시학습모델이 가동될 수 있도록, 미리 정해진 시기결정방법을 통해 상기 감시학습모델의 가동시기를 결정하는 스케줄모듈;을 포함할 수 있다.
또한, 상기 감시학습모델은, 미리 정해진 미래기간 동안의 상기 클라우드 통합운영 시스템에서 발생되는 부하를 예측하는 제1 감시학습모델을 포함하며, 상기 스케줄모듈은, 상기 제1 감시학습모델에서 예측한 부하를 기초로 상기 가동시기를 정할 수 있다.
또한, 상기 미리 정해진 시점 결정방법은, 할당된 리소스를 기준으로 소정의 비율 이하로 부하가 발생되는 시기에 상기 가동시기를 결정하는 방법일 수 있다.
또한, 상기 미리 정해진 시점 결정방법은, 상기 미리 정해진 미래기간 중에서 가장 적은 부하가 발생되는 시기에 상기 가동시기를 결정하는 방법일 수 있다.
또한, 미리 정해진 가동 조건이 만족되는 상기 감시학습모델을 선정하는 모델선정모듈;을 더 포함하고, 상기 미리 정해진 가동조건은, 미리 정해진 임계치보다 낮은 부하가 인가되게 가동되는 조건일 수 있다.
또한, 상기 학습모델은, 미리 정해진 미래기간 동안의 상기 클라우드 통합운영 시스템에서 발생되는 부하를 예측하는 제1 감시학습모델을 포함하며, 상기 모델선정모듈은, 상기 제1 감시학습모델에서 예측한 부하를 기초로 상기 미리 정해진 임계치를 변경할 수 있다.
본 발명의 일 실시예에 따른 클라우드 통합운영 시스템은, 물리서버에서 가동되는 가상머신을 관리하는 관리장치; 상기 가상머신의 동작을 감시하는 모니터링 장치; 및 상기 모니터링 장치가 감시 기능을 구현하는데 필요한 감시학습모델을 추천하는 학습모델 추천 장치;를 포함하고, 상기 모니터링 장치는, 상기 가상머신에서 발생되는 정보를 수집하는 송수신모듈, 상기 송수신모듈이 수집한 상기 가상머신의 정보를 기초로 상기 가상머신이 비 이상적으로 동작되는지 여부를 감시하는 모니터링모듈, 상기 모니터링모듈의 요청에 기반하여, 상기 모니터링모듈의 감시 기능을 돕는 상기 감시학습모델을 가동시키는 모델가동모듈, 할당된 리소스 내에서 상기 감시학습모델이 가동될 수 있도록, 미리 정해진 시점결정방법을 통해 상기 감시학습모델의 가동시기를 결정하는 스케줄모듈 및 미리 정해진 가동 조건이 만족되는 상기 모델가동모듈에서 가동되는 상기 감시학습모델을 선정하는 모델선정모듈을 더 포함하고, 상기 모델선정모듈은, 상기 미리 정해진 가동 조건이 만족되는 상기 감시학습모델에 대한 추천을 상기 학습모델 추천 장치에 요청하고, 상기 학습모델 추천 장치는, 미리 저장된 저장학습모델 중에서 상기 감시학습모델과 제1 유사도 이상으로 유사한 조건인 미리 정해진 추천조건이 만족되는 학습모델을 추천할 수 있다.
또한, 상기 학습모델 추천 장치는, 미리 저장된 저장학습모델 중에서 상기 미리 정해진 추천조건이 만족되는 학습모델이 없다고 하더라도, 상기 제1 유사도보다 낮은 제2 유사도를 기준으로 조건의 만족여부를 판단하는 미리 정해진 제1 추가조건 또는 복수의 상기 저장학습모델을 조합하여 생성된 가상의 학습모델을 기초로 조건의 만족여부를 판단하는 미리 정해진 제2 추가조건이 만족되는 학습모델을 추천할 수 있다.
또한, 상기 미리 정해진 제1 추가조건은, 상기 감시학습모델과 제2 유사도 이상으로 유사하고 상기 제1 유사도 미만으로 유사하며, 상기 감시학습모델을 기준으로 상기 제2 유사도 미만으로 존재하는 미리 저장된 상기 저장학습모델의 군집이 소정 개수 이하로 존재할 조건일 수 있다.
본 발명의 일 실시예에 따른 모니터링 방법은, 모니터링 장치를 통해, 클라우드 통합운영 시스템의 할당된 리소스 내에서 물리서버에서 가동되는 적어도 하나의 가상머신의 동작을 감시하는 모니터링 방법에 있어서, 송수신모듈에 의해, 상기 가상머신에서 발생되는 가동정보가 수집되는 단계; 모니터링모듈에 의해, 상기 가동정보를 기초로 상기 가상머신이 비 이상적으로 동작되는지 여부가 감시되는 단계; 모델가동모듈에 의해, 상기 모니터링모듈의 요청에 기반하여, 상기 모니터링모듈의 감시 기능을 돕는 감시학습모델이 가동되는 단계; 및 스케줄모듈에 의해, 할당된 리소스 내에서 상기 감시학습모델이 가동될 수 있도록, 미리 정해진 시점결정방법을 통해 상기 감시학습모델의 가동시기가 결정되는 단계;를 포함할 수 있다.
본 발명의 일 실시예에 따른 학습모델 추천 장치는, 수요자의 요청에 따라 기계학습 또는 딥러닝에 의해 산출되는 학습모델을 추천하는 학습모델 추천 장치에 있어서, 수요자의 요청과 수요자가 요청하는 학습모델인 대상학습모델의 산출조건을 수신받는 수신모듈; 과거에 생성된 학습모델인 저장학습모델과 상기 저장학습모델의 산출조건이 저장되어 있는 저장모듈; 상기 대상학습모델과 상기 저장학습모델의 유사도를 판단하는 유사도판단모듈; 및 상기 저장모듈에 저장된 상기 저장학습모델 중에서 미리 정해진 추천조건이 만족되는 학습모델을 추천학습모델로 하여 수요자에게 추천하는 추천모듈;을 포함하고, 상기 미리 정해진 추천조건은, 상기 대상학습모델과 제1 유사도 이상으로 유사한 조건일 수 있다.
또한, 상기 추천모듈은, 상기 미리 정해진 추천조건이 만족되지 않더라도, 미리 정해진 제1 추가조건이 만족되는 경우, 미리 정해진 산출방법에 따라 상기 추천학습모델을 산출하며, 상기 미리 정해진 제1 추가조건은, 상기 대상학습모델과 제2 유사도 이상으로 유사하고 상기 제1 유사도 미만으로 유사하며, 상기 대상학습모델을 기준으로 상기 제2 유사도 미만으로 존재하는 상기 저장학습모델의 군집이 소정의 개수 이하로 존재할 조건일 수 있다.
또한, 상기 미리 정해진 산출방법은, 상기 대상학습모델을 기준으로 상기 제2 유사도 이상으로 존재하는 상기 저장학습모델의 군집이 하나일 경우, 군집의 평균과 가장 가까운 상기 저장학습모델을 상기 추천학습모델로 선정하는 방법일 수 있다.
또한, 상기 미리 정해진 산출방법은, 상기 대상학습모델을 기준으로 상기 제2 유사도 이상으로 존재하는 상기 저장학습모델의 군집이 하나 초과 소정의 개수 이하일 경우, 각 군집의 평균과 가장 가까운 상기 저장학습모델의 조합으로 상기 추천학습모델을 선정하는 방법일 수 있다.
또한, 상기 추천모듈은, 상기 미리 정해진 추천조건과 상기 미리 정해진 제1 추가조건이 만족되지 않더라도, 미리 정해진 제2 추가조건이 만족되는 상기 저장학습모델들을 기초로 상기 추천학습모델을 선정하며, 상기 미리 정해진 제2 추가조건은, 상기 대상학습모델과 상기 제2 유사도 미만으로 유사한 상기 저장학습모델들이 연결될 경우 상기 대상학습모델과의 유사도가 상기 제1 유사도 이상일 조건일 수 있다.
또한, 임의의 학습모델을 서로 연결할 경우, 최종적인 학습모델의 상태를 시뮬레이션하는 시뮬레이션모듈;을 더 포함하고, 상기 시뮬레이션모듈은, 상기 시뮬레이션모델에 복수의 학습모델이 입력되는 경우 최종적인 학습모델의 상태를 산출하는 시뮬레이션모델을 딥러닝을 통해 생성할 수 있다.
또한, 미리 정해진 학습조건이 만족되는 경우, 관리자에게 학습모델을 생성할 것을 제안하는 학습제안모듈;을 더 포함하며, 상기 미리 정해진 학습조건은, 상기 미리 정해진 추천조건이 만족되지 않을 조건일 수 있다.
또한, 상기 저장학습모델을 추천하면서 청구할 비용을 산출하는 가격산출모듈;을 더 포함하고, 상기 가격산출모듈은, 상기 대상학습모델과 추천할 상기 추천학습모델의 유사한 정도를 기초로 청구할 비용을 산출할 수 있다.
본 발명의 일 실시예에 따른 학습모델 추천 방법은, 학습모델 추천 장치에 의해 구현되며, 수요자의 요청에 따라 기계학습 또는 딥러닝에 의해 산출되는 학습모델을 추천하는 학습모델 추천 방법에 있어서, 수신모듈에 의해, 수요자의 요청과 수요자가 요청하는 학습모델인 대상학습모델의 산출조건이 수신되는 요청수신 단계; 저장모듈에 의해, 과거에 생성된 학습모델인 저장학습모델과 상기 저장학습모델의 산출조건이 저장되는 조건저장 단계; 유사도판단모듈에 의해, 상기 대상학습모델과 상기 저장학습모델의 유사도가 판단되는 유사도판단 단계; 및 추천모듈에 의해, 상기 저장모듈에 저장된 상기 저장학습모델 중에서 미리 정해진 추천조건이 만족되는 학습모델이 수요자에게 추천되는 추천 단계;를 포함하고, 상기 미리 정해진 추천조건은, 상기 대상학습모델과 제1 유사도 이상으로 유사한 조건일 수 있다.
또한, 상기 추천 단계는, 상기 미리 정해진 추천조건이 만족되지 않더라도, 상기 제1 유사도보다 낮은 제2 유사도를 기준으로 조건의 만족여부를 판단하는 미리 정해진 제1 추가조건과 복수의 상기 저장학습모델을 조합하여 생성된 가상의 학습모델을 기초로 조건의 만족여부를 판단하는 미리 정해진 제2 추가조건의 만족여부를 판단하여 수요자에게 추천할 학습모델을 선정 또는 산출하는 단계일 수 있다.
본 발명에 따른 자원을 고려한 모니터링 장치 및 이를 포함하는 클라우드 통합운영 시스템은 사회적 자원 비용을 절할 수 있다.
또한, 시스템의 운영을 효율적으로 할 수 있다.
또한, 개발 시간을 획기적으로 단축시킬 수 있다.
또한, 시스템의 과부화를 예방할 수 있다.
다만, 본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 클라우드 통합운영 시스템의 관계도
도 2는 본 발명의 일 실시예에 따른 클라우드 통합운영 시스템의 구성도
도 3은 본 발명의 일 실시예에 따른 클라우드 통합운영 시스템의 모니터링 장치의 구성 관계도
도 4는 본 발명의 일 실시예에 따른 클라우드 통합운영 시스템의 학습모델 추천 장치가 구현하는 학습모델 추천 방법의 순서도
도 5는 본 발명의 일 실시예에 따른 학습모델 추천 방법 중 미리 정해진 추천조건과 미리 정해진 제1 추가조건을 설명하기 위한 도면
도 6은 본 발명의 일 실시예에 따른 학습모델 추천 장치의 인터페이스모듈이 제공하는 학습모델 중개 인터페이스 화면을 도시한 도면
도 7은 본 발명의 일 실시예에 따른 학습모델 추천 장치가 모니터링 장치에 추천할 학습모델을 선정하는 과정을 설명하기 위한 순서도
도 8은 본 발명의 일 실시예에 따른 모니터링 장치의 모델선정모듈이 제1 가동시간과 제2 가동시간을 산출하는 방법을 설명하기 위한 도면
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다.
도 1은 본 발명의 일 실시예에 따른 클라우드 통합운영 시스템의 관계도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 클라우드 통합운영 시스템(10)은 물리서버에서 가동되는 가상머신을 관리, 운영하며, 클라우드 사용자(수요자에게 필요한 학습모델을 판매, 대여, 클라우드서비스를 제공하는 시스템일 수 있다.
이를 위해, 클라우드 통합운영 시스템(10)은 수요자(M10)와 물리서버(S10)에 유/무선 네트워크로 연결되어, 필요한 정보를 송수신할 수 있다.
일례로, 수요자(M10)은 가상화된 클라우드 서비스를 제공받는 사람일 수 있다.
일례로, 수요자(M100)는 학습모델 추천 장치로 구매 혹은 렌트하고자 하는 학습모델의 조건과 요청을 송신할 수 있고, 학습모델 추천 장치는 수요자에게 학습모델, 학습모델을 요청하고 송수신할 수 있는 인터페이스 등을 제공할 수 있다.
클라우드 통합운영 시스템(10)은 수요자(클라이언트)의 요청이 있을 경우, 그 요청에 그 요청에 따라 필요한 클라우드 서비스 또는 학습모델을 추천하는 시스템일 수 있다.
또한, 학습모델 추천 방법은 클라우드 환경 하에서 학습모델이 사용될 수 있도록 인터페이스를 제공할 수 있다.
본 발명에서의 네트워크라 함은 유선 공중망, 무선 이동 통신망, 또는 휴대 인터넷 등과 통합된 코어 망일 수도 있고, TCP/IP 프로토콜 및 그 상위 계층에 존재하는 여러 서비스, 즉 HTTP(Hyper Text Transfer Protocol), HTTPS(Hyper Text Transfer Protocol Secure), Telnet, FTP(File Transfer Protocol), DNS(Domain Name System), SMTP(Simple Mail Transfer Protocol) 등을 제공하는 전 세계적인 개방형 컴퓨터 네트워크 구조를 의미할 수 있으며, 이러한 예에 한정하지 않고 다양한 형태로 데이터를 송수신할 수 있는 데이터 통신망을 포괄적으로 의미하는 것이다.
이하, 클라우드 통합운영 시스템 대해서 자세하게 서술하도록 한다.
도 2는 본 발명의 일 실시예에 따른 클라우드 통합운영 시스템의 구성도이고, 도 3은 본 발명의 일 실시예에 따른 클라우드 통합운영 시스템의 모니터링 장치의 구성 관계도이다.
도 2 및 도 3을 참조하면, 본 발명의 일 실시예에 따른 클라우드 통합운영 시스템은 수요자의 요청에 따라 학습모델을 추천하는 학습모델 추천 장치(100), 물리서버에서 가동되는 가상머신을 관리하는 관리장치 및 상기 가상머신의 동작을 감시하는 모니터링 장치를 포함할 수 있다.
이하, 각각의 장치에 대해서 자세하게 서술하도록 한다.
본 발명의 일 실시예에 따른 학습모델 추천 장치(100)은, 수요자의 요청에 따라 기계학습 또는 딥러닝에 의해 산출되는 학습모델을 추천하는 학습모델 추천 장치(100)에 있어서, 수요자의 요청과 수요자가 요청하는 학습모델인 대상학습모델의 산출조건을 수신받는 수신모듈(110), 과거에 생성된 학습모델인 저장학습모델과 상기 저장학습모델의 산출조건이 저장되어 있는 제1 저장모듈(120), 상기 대상학습모델과 상기 저장학습모델의 유사도를 판단하는 유사도판단모듈(130) 및 상기 제1 저장모듈(120)에 저장된 상기 저장학습모델 중에서 미리 정해진 추천조건이 만족되는 학습모델을 추천학습모델로 하여 수요자에게 추천하는 추천모듈(140)을 포함할 수 있다.
또한, 상기 학습모델 추천 장치(100)은, 임의의 학습모델을 서로 연결할 경우, 최종적인 학습모델의 상태를 시뮬레이션하는 시뮬레이션모듈(150)을 더 포함할 수 있다.
또한, 상기 학습모델 추천 장치(100)은, 미리 정해진 학습조건이 만족되는 경우, 관리자에게 학습모델을 생성할 것을 제안하는 학습제안모듈(160)을 더 포함할 수 있다.
또한, 상기 학습모델 추천 장치(100)은, 상기 저장학습모델을 추천하면서 청구할 비용을 산출하는 가격산출모듈(170)을 더 포함할 수 있다.
또한, 상기 학습모델 추천 장치(100)은 학습모델 추천 방법이 구현되는데 필요한 정보를 관리자 혹은 수요자의 컴퓨팅 장치에 표시하고 수집할 수 있는 인터페이스를 산출하고 송신하는 인터페이스모듈(180)을 더 포함할 수 있다.
수신모듈(110)은 학습모델 추천 방법이 구현되는데 필요한 정보들을 수집할 수 있다.
일례로, 수요자가 요청 정보와 수요자가 필요한 학습모델의 조건이 산출조건을 수신 받을 수 있다.
수요자는 자신의 컴퓨팅 장치를 통해 인터페이스모듈(180)이 제공하는 인터페이스를 통해서 학습모델 요청 및 산출조건을 입력할 수 있다.
산출조건은 학습모델의 학습 목적, 산출물의 종류, 학습 방법, 학습 모델 종류, 학습 데이터의 양, 학습 데이터의 종류, 학습 시간 등으로 이루어질 수 있다.
학습 목적은 학습모델이 해결하고자 하는 목적, 과제를 의미할 수 있다.
일례로, 학습 목적은 영상데이터를 기반으로 사람을 식별하고자 하는 목적, X-RAY 데이터를 기반으로 폐암여부를 식별하고자 하는 목적 등일 수 있다.
다만, 이에 한정하지 않고, 학습 목적의 종류는 통상의 기술자에게 자명한 수준에서 다양하게 변형 가능하다.
산출물의 종류는 결과값의 구체적인 의미를 말하는 것일 수 있다.
일례로, '사람인지 사람이 아닌지', '폐암인지 폐암이 아닌지', '소정의 치료방법' 등을 나타낼 수 있다.
다만, 이에 한정하지 않고, 산출물의 종류는 통상의 기술자에게 자명한 수준에서 다양하게 변형 가능하다.
학습 방법은 학습모델을 머신러닝 및/또는 딥러닝하는 방법을 의미할 수 있다.
일례로, 학습 방법은 딥러닝인지 머신러닝인지 구분일 수 있다.
또한, 학습 방법은 지도학습, 비지도학습, 강화학습으로 구분될 수 있다.
학습 모델 종류는 학습을 위해 사용되는 구체적인 알고리즘 종류를 의미할 수 있다.
일례로, 학습 모델 종류는 k-최근접 이웃 알고리즘(K-NN), 서포트 벡터 머신 알고리즘(SVM), 의사결정트리 알고리즘, 랜텀포레스트 알고리즘 등으로 분류될 수 있다.
일례로, 학습 모델 종류는 ANN, CNN, DNN, GAN, RNN으로 구분될 수 있다.
다만, 이에 한정하지 않고, 학습 모델 종류는 통상의 기술자에게 자명한 수준에서 다양하게 변형 가능하다.
학습 데이터 양은 학습모델이 생성되는데 필요한 데이터의 양을 의미할 수 있다.
일례로, 학습 데이터의 양은 GB, TB 등의 데이터의 양을 표현하는 수치와 단위로 표시될 수 있다.
학습 데이터의 종류는 이미지 형태, 텍스트 형태, 동영상 형태인지로 구분되는 것을 의미할 수 있다.
학습 시간은 머신러닝/딥러닝되는데 소요되는 시간을 의미하는 것일 수 있다.
다만, 이에 한정하지 않고, 상기 산출조건은 통상의 기술자에게 자명한 수준에서 다양하게 변형 가능하다.
수신모듈(110)은 수신받은 정보들을 유사도판단모듈(130)을 포함한 다른 모듈들에게 전달할 수 있다.
수신모듈(110)은 학습모델 추천방법과 학습모델 중개플랫폼을 동작하는데 필요한 정보를 수신할 수 있다.
제1 저장모듈(120)은 학습모델 추천 방법에 구현되는데 필요한 모든 정보들이 저장되어 있을 수 있다.
제1 저장모듈(120)에는 과거에 학습된 학습모델인 저장학습모델과 그 저장학습모델의 산출조건이 매칭되어 저장되어 있을 수 있다.
제1 저장 모듈은 내장 메모리 및/또는 외장 메모리를 포함할 수 있다.
일례로, 내장 메모리는 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD) 중 적어도 하나를 포함할 수 있다
외장 메모리는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다.
유사도판단모듈(130)은 대상학습모델과 저장학습모델의 유사한 정도를 판단하는 모델일 수 있다.
대상학습모델의 산출조건과 저장학습모델의 산출조건들을 각각 비교하여 유사한 정도를 산출할 수 있다.
유사도판단모듈(130)은 저장학습모델의 산출조건들을 전처리하여 벡터화할 수 있다. 벡터화하는 방법은 공지된 기술을 활용하는 것으로서 이에 대한 자세한 설명은 생략될 수 있다.
마찬가지로, 유사도판단모듈(130)은 대상학습모델의 산출조건을 전처리하여 벡터화할 수 있다.
유사도판단모듈(130)은 대상학습모델의 산출조건과 대상학습모델의 산출조건을 서로 비교하여 유사한 정도를 산출할 수 있다.
일례로, 유사도판단모듈(130)은 대상학습모델의 산출조건 벡터정보와 저장학습모델의 산출조건 벡터정보 간의 거리를 기반으로 유사한 정도를 산출할 수 있다.
다만, 이에 한정하지 않고, 유사도판단모듈(130)의 유사한 정도 판단 방법은 통상의 기술자에게 자명한 수준에서 다양하게 변형 가능하다.
추천모듈(140)은 미리 정해진 추천조건, 미리 정해진 제1 추가조건 및 미리 정해진 제2 추가조건이 만족되는지 여부를 판단하여 추천학습모델을 선정할 수 있다.
미리 정해진 추천조건은 상기 대상학습모델과 제1 유사도 이상으로 유사한 조건일 수 있다.
대상학습모델과의 거리가 제1 거리 이하일 때 제1 유사도 이상으로 유사하다고 판단될 수 있다.
미리 정해진 제1 추가조건은 상기 대상학습모델과 제2 유사도 이상으로 유사하고 상기 제1 유사도 미만으로 유사하며, 상기 대상학습모델을 기준으로 상기 제2 유사도 미만으로 존재하는 상기 저장학습모델의 군집이 소정의 개수 이하로 존재할 조건일 수 있다.
대상학습모델과의 거리가 제1 거리 초과 제2 거리 이하일 때 제2 유사도 이상 상기 제1 유사도 미만으로 유사하다고 판단될 수 있다.
여기서, 제2 거리는 제1 거리보다 더 긴 거리를 의미할 수 있다.
여기서, 군집의 소정의 개수는 3개일 수 있다.
다만, 이에 한정하지 않고, 군집의 소정의 개수는 통상의 기술자에게 자명한 수준에서 다양하게 변형 가능하다.
미리 정해진 제2 추가조건은 상기 대상학습모델과 상기 제2 유사도 미만으로 유사한 상기 저장학습모델들이 연결될 경우 상기 대상학습모델과의 유사도가 상기 제1 유사도 이상일 조건일 수 있다.
대상학습모델과의 거리가 제2 거리 초과일 때 제2 유사도미만으로 유사하다고 판단될 수 있다.
저장학습모델 자체로는 대상학습모델과 제2 유사도 미안으로 유사하지만, 여러 개의 저장학습모델이 결합되었을 때 대상학습모델과 제1 유사도 이상일 경우가 존재할 수 있다.
일례로, 대상학습모델이 영상데이터를 기반으로 침입자인지 여부를 감지하고, 침입 유형에 따라 대응 방안을 산출하는 모델일 경우를 가정할 수 있다. 제1 저장학습모델은 영상데이터를 기반으로 침입자인지 여부를 판단하는 학습모델일 수 있고, 제2 저장학습모델은 영상데이터를 기반으로 침입의 형태를 판단하는 학습모델일 수 있고, 제3 저장학습모델은 침입 유형과 형태를 기반으로 대응 방안을 산출하는 모델일 수 있다. 제1 저장학습모델 내지 제3 저장학습모델 각각은 대상학습모델과 제2 유사도 미만으로 유사하지만, 제1 저장학습모델 내지 제3 학습모델을 결합할 경우, 대상학습모델과 제1 유사도 이상으로 유사할 수 있다.
이를 통해, 저장모듈(120)에 저장된 저장학습모듈을 최대한 활용하여 수요자의 니즈에 맞는 학습모델을 추천할 수 있다.
시뮬레이션모듈(150)은 저장모듈(120)에 저장된 저장학습모듈을 서로 연결하여 가상의 학습모델을 생성할 수 있다.
상술한 미리 정해진 추천조건과 미리 정해진 제1 추가조건이 만족되지 않을 경우, 시뮬레이션모듈(150)은 수신모듈(110)로부터 대상학습모델의 산출조건을 전달받고, 저장모듈(120)로부터 저장학습모델에 대한 모든 정보들을 전달받을 수 있다.
시뮬레이션모듈(150)은 대상학습모델에 입력되는 데이터와 대상학습모델로부터 산출되는 데이터를 기준으로 삼아, 저장학습모듈들을 조합할 수 있다.
구체적인 일례로서, 시뮬레이션모듈(150)은 대상학습모델에 입력되는 입력데이터와 임의의 저장학습모델의 입력 데이터가 일치되는 저장학습모델(시작 저장학습모델)을 선별할 수 있다.
또한, 시뮬레이션모듈(150)은 대상학습모델로부터 출력되는 출력 데이터와 임의의 저장학습모델의 출력 데이터가 일치되는 저장학습모델(종결 저장학습모델)을 선별할 수 있다.
여기서, 일치한다는 것의 의미는 입력되는 데이터 형태와 데이터가 분석되는 목적이 적어도 일부 일치할 것을 의미할 수 있다.
또한, 시뮬레이션모듈(150)은 시작 저장학습모델의 출력데이터와 일치하는 데이터를 입력데이터로 하고 종결 저장학습모델의 입력 데이터와 일치하는 데이터를 저장학습모델의 출력데이터로하는 저장학습모델(매개 저장학습모델)을 선별할 수 있다.
매개 저장학습모델은 존재하지 않을 수 있고, 하나일 수도 있고 복수개일 수 있다. 매개 저장학습모델이 복수일 경우에는 선행하는 매개 저장학습모델의 출력 데이터와 후행하는 매개 저장학습모델의 입력 데이터가 서로 일치되도록 정렬할 수 있으며, 가장 선행하는 매개 저장학습모델의 입력 데이터가 시작 저장학습모델의 출력 데이터와 일치되도록 하고, 가장 후행하는 매개 저장학습모델의 출력 데이터가 종결 저장학습모델의 입력 데이터와 일치되도록 시뮬레이션모듈(150)은 매개 저장학습모델을 선별할 수 있다.
시뮬레이션모듈(150)은 상기 시뮬레이션모델에 복수의 학습모델이 입력되는 경우 최종적인 학습모델의 상태를 산출하는 시뮬레이션모델을 머신러닝 / 딥러닝을 통해 생성할 수 있다.
머신 러닝은 출력 레이어의 레이블 된 데이터(labeled data)를 이용하여 신경망의 가중치(weight)를 업데이트하는 알고리즘인 백 프로파게이션(Back Propagation) 알고리즘을 이용한 것일 수 있으나, 이에 한정하는 것은 아니다.
또한, 심층 신경망 및 백 프로파게이션(Back Propagation) 알고리즘은 종래에 공지된 바와 같으므로, 이에 대한 구체적인 설명은 생략될 수 있다
시뮬레이션모듈(150)이 선정한 시작 저장학습모델, 종결 저장학습모델 및/또는 매개 저장학습모델을 시뮬레이션모델에 입력하여 가상 학습모델을 생성할 수 있다.
또한, 시뮬레이션모듈(150)은 가상 학습모델의 산출조건을 시뮬레이션모델에 입력된 저장학습모델들을 기초로 산출할 수 있다.
일례로, 학습 시간은 시뮬레이션모델에 입력된 저장학습모델들의 학습시간들의 합으로 산출될 수 있다.
일례로, 학습 데이터의 양은 시뮬레이션모델에 입력된 저장학습모델들의 합으로 산출될 수 있다.
시뮬레이션모듈(150)은 저장학습모델들로서 추정될 수 없는 가상 학습모델의 산출조건은 산출하지 못할 수 있다.
유사도판단모듈(130)은 가상 학습모델과 대상학습모델의 유사도를 판단할 때 산출된 산출조건만을 기초로 유사도를 판단할 수 있다.
학습제안모듈(160)은 미리 정해진 학습조건이 만족되는 경우, 관리자에게 학습모델을 생성할 것을 제안할 수 있다.
미리 정해진 학습조건은 상기 미리 정해진 추천조건이 만족되지 않을 조건일 수 있다.
구체적인 일례로서, 상기 미리 정해진 학습조건은 상기 미리 정해진 추천조건, 상기 미리 정해진 제1 추가조건 및 상기 미리 정해진 제2 추가조건이 만족되지 않은 유사한 대상학습모델이 소정 숫자 이상 존재할 조건일 수 있다.
학습제안모듈(160)은 추천모듈(140)로부터 상기 미리 정해진 추천조건, 상기 미리 정해진 제1 추가조건 및 상기 미리 정해진 제2 추가조건이 만족되지 않은 대상학습모델(이하, 거절학습모델라고 칭함.)의 산출조건을 전달받을 수 있고, 이를 저장할 수 있다.
학습제안모듈(160)은 상기 거절학습모델의 산출조건들을 벡터화하여 군집화할 수 있다.
데이터를 클러스터링(군집화)하는 방법은 공지된 기술을 사용하므로, 이에 대한 자세한 설명은 생략될 수 있다.
학습제한모듈은 군집화된 하나의 군이 소정 숫자 이상 거절학습모델로 이루어졌다면, 그 군의 평균의 벡터 값을 재 구축하여 산출된 산출조건으로 관리자에게 학습모델을 생성할 것을 제안할 수 있다.
이를 위해, 인터페이스모듈(180)은 학습을 제안하는 산출조건이 관리자에게 표시되고 승낙여부를 문의하는 인터페이스를 산출할 수 있다.
가격산출모듈(170)은 저장학습모델을 클라우드 환경에서 사용하거나, 판매하거나 사용허가 라이센싱을 주는 것에 따른 비용을 산출할 수 있다.
가격산출모듈(170)은 저장학습모델의 제작난이도에 따라 비용을 책정할 수 있다.
일례로, 가격산출모듈(170)은 제작난이도가 올라갈수록 비용을 높게 책정할 수 있다. 반대로, 가격산출모듈(170)은 제작난이도가 낮아질수록 비용을 낮게 책정할 수 있다.
가격산출모듈(170)은 상기 대상학습모델과 추천할 상기 추천학습모델의 유사한 정도를 기초로 청구할 비용을 산출할 수 있다.
여기서, 유사한 정도는 두 모델 간의 거리를 기초로 산출될 수 있다.
이로 인해, 수요자는 희망했던 학습모델을 사용하지 못함으로써 발생되는 불이익에 대해서 보상받을 수 있다.
인터페이스모듈(180)은 학습모델 추천 방법이 구현되면서 관리자 혹은 수요자에게 필요한 정보를 표시하거나 수집할 수 있는 인터페이스를 산출하여, 관리자 혹은 수요자의 컴퓨팅 장치로 제공할 수 있다.
인터페이스모듈(180)은 학습모델을 사고 팔 수 있는 학습모델 중개 플랫폼을 위한 인터페이스를 산출하여, 구매자 혹은 판매자에게 인터페이스를 제공할 수 있다.
학습모델 중개 플랫폼에 대한 자세한 설명은 후술하도록 한다.
인터페이스모듈(180)은 학습모델 추천방법과 학습모델 중개플랫폼을 동작하는데 필요한 정보를 송신할 수 있다.
인터페이스모듈(180)은 관리자에게 학습할 것을 요청되었으나 거절 받은 산출조건을 학습모델의 판매자에게 전달할 수 있다.
학습모델의 판매자 리스트는 학습중개 플랫폼을 사용하는 판매자들로 이루어질 수 있다.
이를 통해, 학습모델 플랫폼과 학습모델 판매 시장을 활성화하고, 수요자의 니즈를 충족시킬 수 있다.
학습모델 추천 장치는 시스템 내부적으로 필요한 학습모델을 시스템 내부의 다른 장치에 추천할 뿐만 아니라, 클라우드 서비스 이용자 혹은 개별 인터넷 이용자에게 적절한 학습모델을 추천할 수 있다.
본 발명의 일 실시예에 따른 관리장치(200)는 물리서버의 가상머신을 운영하는 운영모듈(210), 가상머신이 비 정상적으로 동작할 경우 오류를 수정하는 수리모듈(220), 물리서버 상의 가상머신의 최적 배치를 산출하고 마이그레이션하는 마이그레이션모듈(230) 및 학습모델 추천 장치와 모니터링 장치(300)를 서로 중개하는 중개모듈(240)을 구비할 수 있다.
운영모듈(210)은 사용자의 요구에 따라 가상머신을 생성하고, 삭제하는 등의 운영을 수행할 수 있다.
수리모듈(220)은 미리 정해진 수리방법에 따라 가상머신의 오류가 발생하였을 경우, 가상머신을 수리할 수 있다.
수리모듈(220)에는 오류에 따라 대응방법이 데이터베이스화되어 저장되어 있을 수 있다. 수리모듈(220)은 모니터링 장치(300)로부터 오류를 발생하는 가상머신의 로그, 메타데이터를 수신받고, 미리 저장된 대응 방법에 따라 가상머신의 오류를 수정할 수 있다.
다만, 이에 한정하지 않고, 수리모듈(220)의 수리방법은 통상의 기술자에게 자명한 수준에서 다양하게 변형 가능하다.
일례로, 수리모듈(220)은 모델가동모듈(330)에 오류에 따라 적절한 수리방법을 산출할 것을 요청할 수 있다. 이에 따라 모델가동모듈(330)에 저장된 하나의 감시학습모델이 가동되어, 오류에 따른 적절한 수리방법을 산출할 수 있고, 산출한 수리방법은 모델가동모듈(330)에서 수리모듈(220)로 전달될 수 있다.
마이그레이션모듈(230)은 물리머신 상에서 가상머신을 배치하기 위해서, 가상서민을 마이그레이션할 수 있다.
일례로, 마이그레이션모듈(230)은 모델가동모듈(330)에 가상머신의 워크로드를 예측할 것을 요청할 수 있고, 모델가동모듈(330)에 저장된 하나의 감시학습모델이 가동되어 클라우드 서비스에서 발생될 것으로 예측되는 워크로드가 산출될 수 있다. 모델가동모듈(330)에서 예측한 가상머신의 워크로드는 마이그레이션모듈(230)로 전달될 수 있고, 마이그레이션모듈(230)은 예측된 가상머신의 워크로드들을 기반으로 미리 지정된 목적함수가 최소화되는 가상머신의 최적화 배치를 산출하고, 이에 따라 가상머신을 물리서버 상에 배치할 수 있다.
이에, 대한 자세한 설명은 공지된 기술 범위 내에서 생략될 수 있다.
중개모듈(240)은 모니터링 장치(300)가 필요한 학습모델을 학습모델 추천 장치로부터 적절하게 추천받을 수 있도록, 모니터링 장치(300)와 학습모델 추천 장치를 서로 중개할 수 있다
중개모듈(240)은 모니터링 장치(300)와 연계하여, 운영모듈(210), 수리모듈(220) 및 마이그레이션모듈(230)에게 필요한 정보들을 모니터링 장치(300)로부터 전달받을 수 있다.
다만, 이에 한정하지 않고, 모니터링 장치(300)는 직접적으로 학습모델 추천 장치와 통신하여, 학습모델 추천을 위해 필요한 정보들을 교환할 수 있다.
본 발명의 일 실시예에 따른 모니터링 장치(300)는 클라우드 서버 통합관리 시스템의 할당된 리소스 내에서, 물리서버에서 가동되는 적어도 하나의 가상머신의 동작을 감시하는 모니터링 장치(300)에 있어서, 상기 가상머신에서 발생되는 가동정보를 수집하는 송수신모듈(310), 상기 송수신모듈(310)이 수집한 상기 가동정보를 기초로 상기 가상머신이 비 이상적으로 동작되는지 여부를 감시하는 모니터링모듈(320), 상기 모니터링모듈(320)의 요청에 기반하여, 상기 모니터링모듈(320)의 감시 기능을 돕는 감시학습모델을 가동시키는 모델가동모듈(330) 및 할당된 리소스 내에서 상기 감시학습모델이 가동될 수 있도록, 미리 정해진 시기결정방법을 통해 상기 감시학습모델의 가동시기를 결정하는 스케줄모듈(340)을 포함할 수 있다.
또한, 클라우드 서버 통합관리 시스템은 미리 정해진 가동 조건이 만족되는 상기 감시학습모델을 선정하는 모델선정모듈(350)을 더 포함할 수 있다.
또한, 클라우드 서버 통합관리 시스템은 모니터링 방법이 구현되는데 필요한 모든 정보를 저장하는 제2 저장모듈(360)을 더 포함할 수 있다.
송수신모듈(310)은 가상머신에서 발생되는 가동정보를 수집할 수 있다.
또한, 송수신모듈(310)은 모니터링 방법에 구현되는데 필요한 정보들을 외부 서버, 클라이언트, 클라우드 서버 통합관리 시스템의 내부 구성들과 송수신할 수 있다.
일례로, 가동정보는 가상머신에서 발생되는 메트릭데이터, 로그데이터를 모두 포함할 수 있다.
모니터링모듈(320)은 상기 가동정보를 기초로 가상머신이 비 정상적으로 동작되는지 여부를 실시간 감시할 수 있다.
이를 위해, 모니터링모듈(320)에는 비 정상으로 판단될 있는 가동정보의 오류패턴들이 저장되어 있을 수 있고, 유사한 오류패턴이 감지되는 경우, 해당 가상머신에 오류가 발생되었다고 판단할 수 있다.
모니터링모듈(320)은 오류가 발생한 가상머신에 대한 정보를 관리장치(200)로 전달할 수 있다.
모니터링모듈(320)은 가상머신에서 발생되는 부하에 대한 정보, 물리서버의 부하 상태, 가동되고 있는 물리서버 리스트 등이 클라우드 서버 통합관리 시스템 관리자에게 표시될 수 있는 인터페이스를 산출할 수 있다.
또한, 모니터링모듈(320)은 가상머신의 사용 상태, 발생된 클라우드 사용 비용 등을 수용자가 확인할 수 있는 인터페이스를 산출할 수 있다.
여기서, 인터페이스는 그래프 등과 같은 시각적 이미지를 통해 표현될 수 있다.
본 발명에서의 감시 기능은 가상머신의 이상징후 탐지, 가상머신 부하 예측, 클라우드 통합운영 시스템의 부하 예측, 물리서버에서 발생되는 전력량, 물리머신 이상징후 탐지 등 클라우드 서비스에서 발생되는 모든 정보들을 산출, 탐지, 모니터링, 예측하는 기능을 포함할 수 있다.
모델가동모듈(330)은 관리장치(200)가 운영되는데 도움이 되거나 모니터링모듈(320)의 감시 기능에 도움이 되는 학습모델인 감시학습모델을 가동시킬 수 있다.
일례로, 감시학습모델은 미리 정해진 미래기간 동안 클라우드 서버 통합관리 시스템에서 발생되는 부하를 예측하는 제1 감시학습모델을 구비할 수 있다.
일례로, 감시학습모델은 미리 정해진 미래기간 동안 물리서버 상의 가상머신에서 발생되는 워크로드를 예측하는 제2 감시학습모델을 구비할 수 있다.
일례로, 미리 정해진 미래기간은 30일일 수 있다.
다만, 이에 한정하지 않고, 미리 정해진 미래기간은 통상의 기술자에게 자명한 수준에서 다양하게 변형 가능하다.
일례로, 감시학습모델은 가동정보를 통해 가상머신의 오류 여부를 판단하고 오류를 해결하기 위한 해결방안을 산출하를 제3 감시학습모델을 구비할 수 있다.
모델가동모듈(330)에는 감시학습모델이 저장되어 있다.
모델선정모듈(350)은 미리 정해진 가동 조건이 만족되는 상기 감시학습모델을 서선정하고, 선정된 감시학습모델을 모델가동모듈(330)로 전달할 수 있다.
미리 정해진 가동조건은 미리 정해진 임계치보다 낮은 부하가 인가되게 가동되는 조건일 수 있다.
모델선정모듈(350)은 상기 제1 감시학습모델에서 예측한 부하를 기초로 상기 미리 정해진 임계치를 변경할 수 있다.
모델선정모듈(350)은 미리 정해진 임계치를 산출하기 위해 저장모듈에 저장된 소정 기간 동안의 클라우드 통합운영 시스템에 전체 리소스 중에서 사용 리소스에 대한 정보를 전달받을 수 있다.
이와 달리, 모델선정모듈(350)은 모델가동모듈(330)의 제1 감시학습모델을 통해 미리 정해진 미래기간 동안의 클라우드 통합운영 시스템의 여유 리소스에 대한 정보를 전달받을 수 있다.
여기서, 여유 리소스는 전체 리스소에서 사용 리소스를 차감한 값을 의미할 수 있다.
일례로, 미리 정해진 임계치는 미래기간 혹은 소정 기간 동안의 평균 여유 리소스의 70%을 의미할 수 있다.
다만, 이에 한정하지 않고, 미리 정해진 임계치의 정확한 수치는 통상의 기술자에게 자명한 수준에서 다양하게 변형 가능하다.
모델선정모듈(350)은 상기 미리 정해진 가동 조건이 만족되는 상기 감시학습모델에 대한 추천을 학습모델 추천 장치에 요청할 수 있다.
모델선정모듈(350)은 학습모델 추천 장치에 필요한 감시학습모델을 요청할 때, 감시학습모델의 산출조건을 함께 송신할 수 있다.
모델선정모듈(350)은 학습모델 추천 장치로부터 감시학습모델(추천학습모델)을 수신하여 모델가동모듈(330)로 전달하며, 상기 모델가동모듈(330)은 감시학습모델을 저장할 수 있다.
스케줄모듈(340)은 제1 감시학습모델에서 예측한 부하를 기초로 상기 가동시기를 정할 수 있다.
여기서, 가동시기는 시작하는 시점뿐만 아니라 진행되는 시간을 포함하는 용어일 수 있다.
일례로, 미리 정해진 시기결정방법은 클라우드 통합운영 시스템에 할당된 리소스를 기준으로 소정의 비율 이하로 부하가 발생되는 시기에 상기 가동시기를 결정하는 방법일 수 있다.
구체적인 일례로서, 스케줄모듈(340)은 미리 정해진 미래기간을 소정의 구획기간으로 구분할 수 있다.
여기서, 구획기간은 시간 단위, 일 단위 혹은 주 단위일 수 있다.
여기서, 스케줄모듈(340)은 구획기간 별로 클라우드 통합운영 시스템에서 발생될 것으로 예측되는 평균 사용 리소스를 산출할 수 있다.
스케줄모듈(340)은 구획기간 별로 산출된 사용 리소스가 전체 리소스를 기준으로 소정 비율 이하일 때의 기간을 가동시기로 결정할 수 있다.
여기서, 소정 비율(제1 비율)은 10%일 수 있다.
다만, 이에 한정하지 않고, 소정 비율은 통상의 기술자에게 자명한 수준에서 다양하게 변형 가능하다.
일례로, 미리 정해진 시기결정방법은 상기 미리 정해진 미래기간 중에서 가장 적은 부하가 발생되는 시기에 상기 가동시기를 결정하는 방법일 수 있다.
구체적인 일례로서, 스케줄모듈(340)은 미리 정해진 미래기간을 소정의 구획기간으로 구분할 수 있다.
여기서, 구획기간은 분 단위, 시간 단위, 일 단위 혹은 주 단위일 수 있다.
여기서, 스케줄모듈(340)은 구획기간 별로 클라우드 통합운영 시스템에서 발생되는 평균 사용 리소스를 산출할 수 있다.
스케줄모듈(340)은 구획기간 별로 산출된 평균 사용 리소스가 가장 적은 구획기간을 가동시기로 결정할 수 있다.
스케줄모듈(340)은 가동시기를 클라우드 통합운영 시스템의 부하가 적을 시점을 선택하여 결정함으로써, 가동학습모델의 가동에 의해 오히려 클라우드 통합운영 시스템의 가동율이 방해받는 문제를 효과적으로 해결할 수 있다.
제2 저장모듈(360)은 모니터링 방법이 구현되는데 필요한 모든 정보들이 저장되어 있을 수 있다.
제2 저장모듈(360)에는 과거의 클라우드 통합운영 시스템의 전체 리소스 정보, 과거 사용 리소스 정보 등도 함께 저장되어 있을 수 있다.
제2 저장 모듈은 내장 메모리 및/또는 외장 메모리를 포함할 수 있다.
일례로, 내장 메모리는 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD) 중 적어도 하나를 포함할 수 있다
외장 메모리는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다.
학습모델 추천 장치가 구비하는 저장모듈을 제1 저장모듈(120)이라고 정의할 수 있고, 모니터링 장치(300)가 구비하는 저장모듈을 제2 저장모듈(360)이라고 정의할 수 있다.
이하, 각 모듈들에 의해 구현되는 학습모델 추천 방법 및 모니터링 방법에 대해서 자세하게 서술하도록 한다.
도 4는 본 발명의 일 실시예에 따른 클라우드 통합운영 시스템의 학습모델 추천 장치가 구현하는 학습모델 추천 방법의 순서도이다.
이하, 상술한 내용과 중복되는 한도에서 자세한 설명은 생략될 수 있다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 학습모델 추천 방법은, 학습모델 추천 장치에 의해 구현되며, 수요자의 요청에 따라 기계학습 또는 딥러닝에 의해 산출되는 학습모델을 추천하는 학습모델 추천 방법에 있어서, 수신모듈에 의해, 수요자의 요청과 수요자가 요청하는 학습모델인 대상학습모델의 산출조건이 수신되는 요청수신 단계, 저장모듈에 의해, 과거에 생성된 학습모델인 저장학습모델과 상기 저장학습모델의 산출조건이 저장되는 조건저장 단계, 유사도판단모듈에 의해, 상기 대상학습모델과 상기 저장학습모델의 유사도가 판단되는 유사도판단 단계 및 추천모듈에 의해, 상기 저장모듈에 저장된 상기 저장학습모델 중에서 미리 정해진 추천조건이 만족되는 학습모델이 수요자에게 추천되는 추천 단계를 포함할 수 있다.
여기서, 추천 단계는 상기 미리 정해진 추천조건이 만족되지 않더라도, 상기 제1 유사도보다 낮은 제2 유사도를 기준으로 조건의 만족여부를 판단하는 미리 정해진 제1 추가조건과 복수의 상기 저장학습모델을 조합하여 생성된 가상의 학습모델을 기초로 조건의 만족여부를 판단하는 미리 정해진 제2 추가조건의 만족여부를 판단하여 수요자에게 추천할 학습모델을 선정 또는 산출하는 단계일 수 있다.
수요자는 컴퓨팅 장치를 이용하여 인터페이스모듈로부터 수신받은 인터페이스를 통해 대상학습모델의 산출조건을 입력할 수 있다.
수집모듈은 수요자의 컴퓨팅 장치로부터 대상학습모델의 산출조건을 수신하여, 그 산출조건을 유사도판단모듈로 송신할 수 있다.
유사도판단모듈은 대상학습모델과 저장모듈에 저장된 저장학습모델 간의 유사도를 판단할 수 있다.
유사도판단모듈은 대상학습모델과 저장학습모델 간의 유사도 판단 결과를 추천모듈로 전달할 수 있다.
도 5는 본 발명의 일 실시예에 따른 학습모델 추천 방법 중 미리 정해진 추천조건과 미리 정해진 제1 추가조건을 설명하기 위한 도면이다.
도 4 및 도 5(a)을 참조하면, 추천모듈은 미리 정해진 추천조건이 만족되는 저장학습모델이 존재하는지 여부를 판단할 수 있다.
미리 정해진 추천조건은 상기 대상학습모델과 제1 유사도 이상으로 유사한 조건일 수 있다.
제1 유사도 이상으로 유사하다는 것은 대상학습모델(A10)로부터 제1 거리(X10) 이하에 존재한다는 것을 의미할 수 있다.
만일, 미리 정해진 추천조건이 만족되는 저장학습모델이 복수일 경우, 추천모듈은 대상학습모델과 가장 유사한 저장학습모델을 추천학습모델(C10)로서 선정할 수 있다.
만일, 미리 정해진 추천조건이 만족되는 저장학습모델이 존재하지 않더라도, 상기 추천모듈은 미리 정해진 제1 추가조건이 만족되는 경우, 미리 정해진 산출방법에 따라 상기 추천학습모델을 산출할 수 있다.
미리 정해진 제1 추가조건은 상기 대상학습모델과 제2 유사도 이상으로 유사하고 상기 제1 유사도 미만으로 유사하며, 상기 대상학습모델을 기준으로 상기 제2 유사도 미만으로 존재하는 상기 저장학습모델의 군집이 소정의 개수 이하로 존재할 조건일 수 있다.
이는, 수요자의 미숙으로 인해 대상학습모델의 산출조건이 정확하게 지정되지 못할 경우에 보완하고 보정하기 위함일 수 있다.
도 5(b) 및 도 5(c)를 참조하면, 저장학습모델의 군집이 1개와 3개로서 미리 정해진 제1 추가조건이 만족될 수 있다.
여기서, 군집은 군집의 중앙점을 기준으로 소정 거리 내에 저장학습모델의 개수가 소정 개수 이상일 경우에 군집이 형성되었다고 정의할 수 있다.
여기서, 소정 거리와 소정 개수는 통상의 기술자에게 자명한 수준에서 다양하게 변형 가능하다.
미리 정해진 산출방법은 상기 대상학습모델을 기준으로 상기 제2 유사도 이상으로 존재하는 상기 저장학습모델의 군집이 하나일 경우, 군집의 평균과 가장 가까운 상기 저장학습모델을 상기 추천학습모델로 선정하는 방법일 수 있다.
제2 유사도 이상으로 유사하다는 것은 대상학습모델로부터 제2 거리(X20) 이하로 존재한다는 것을 의미할 수 있다.
도 5(b)를 참조하면, 제1 거리(X10) 초과 제2 거리(X20) 이하 내에 하나의 군집이 형성되어 있을 수 있다.
추천모듈은 대상학습모델(A10)을 기준으로 제1 거리(X10) 초과 제2 거리(X20) 이하 내에 하나의 군집의 평균지점(M10)의 벡터를 역 연산하여 산출조건을 산출하여, 추천학습모델로서 선정할 수 있다.
미리 정해진 산출방법은 상기 대상학습모델을 기준으로 상기 제2 유사도 이상으로 존재하는 상기 저장학습모델의 군집이 하나 초과 소정의 개수 이하일 경우, 각 군집의 평균과 가장 가까운 상기 저장학습모델의 조합으로 상기 추천학습모델을 선정하는 방법일 수 있다.
도 5(c)를 참조하면, 대상학습모델(A10)을 기준으로 제1 거리(X10) 초과 제2 거리(X20) 이하 내에 세개의 군집이 형성되어 있을 수 있다.
일례로, 제1 군집을 이루는 저장학습모델의 산출조건의 평균지점(M11), 제2 군집을 이루는 저장학습모델의 산출조건 평균지점(M12) 및 제3 군집을 이루는 저장학습모델의 산출조건 평균지점(M13)들에 거리에 따라 가중 평균 내어 산출조건을 산출할 수 있다.
여기서, 대상학습모델과 거리가 가까울수록 가중치가 높아질 수 있다.
일례로, 제1 군집을 이루는 저장학습모델의 산출조건 평균지점(M11)과 대상학습모델과의 거리가 '10', 제2 군집을 이루는 저장학습모델의 산출조건 평균지점(M12)과 대상학습모델과의 거리가 '20' 및 제1 군집을 이루는 저장학습모델의 산출조건 평균지점(M13)과 대상학습모델과의 거리가 '30' 이라고 가정할 경우, 제1 군집, 제2 군집 및 제3 군집의 가중치는 3:2:1로서 설정되어 상술한 산출조건이 산출될 수 있다.
이와 같이, 추천모듈은 산출된 평균값에 대해서 추천모듈은 벡터를 역 연산하여 산출조건을 산출하여, 추천학습모델로서 선정할 수 있다.
도 5에서는 두 축으로 벡터화 된 것을 예시로 도시하였지만, 이에 본 발명이 한정되는 것은 아니고, 산출조건들이 세 축으로 벡터화되어 유사도와 상술한 조건이 만족되는지 여부들이 판단될 수 있다.
추천모듈은 상기 미리 정해진 추천조건과 상기 미리 정해진 제1 추가조건이 만족되지 않더라도, 미리 정해진 제2 추가조건이 만족되는 상기 저장학습모델들을 기초로 상기 추천학습모델을 선정할 수 있다.
구체적인 일례로서, 추천모듈은 시뮬레이션모듈로부터 전달받은 가상의 학습모델을 기반으로 미리 정해진 제2 추가조건이 만족되는 가상의 학습모델을 추천학습모델로 선정할 수 있다.
만일, 상기 미리 정해진 추천조건, 상기 미리 정해진 제1 및 미리 정해진 제2 추가조건이 만족되는 저장학습모델이 존재하지 않을 경우, 학습제안모듈은 대상학습모델의 산출조건을 저장할 수 있다.
또한, 인터페이스모델은 대상학습모델과 유사한 저장학습모델이 없다는 메시지를 수요자에게 표시하는 인터페이스를 산출하여 수요자 컴퓨팅 장치로 전송할 수 있다.
도 6은 본 발명의 일 실시예에 따른 학습모델 추천 장치의 인터페이스모듈이 제공하는 학습모델 중개 인터페이스 화면을 도시한 도면이다.
도 6을 참조하면, 인터페이스모듈은 학습모델을 생성해서 판매하는 판매자와 학습모델을 구매하는 구매자를 서로 중개하는 학습모델 중개 플랫폼을 위한 인터페이스를 산출할 수 있다.
일례로, 판매자가 생성한 학습모델의 스펙(산출조건)들이 열거될 수 있고, 이에 대한 가격이 책정되어 인터페이스 상에서 표시될 수 있다.
여기서, 수요자는 마치 인터넷 쇼핑을 하듯이, 자신의 프로그램에 필요한 학습모델을 선택하고 구매, 대여 및 사용할 수 있다.
도 7은 본 발명의 일 실시예에 따른 학습모델 추천 장치가 모니터링 장치에 추천할 학습모델을 선정하는 과정을 설명하기 위한 순서도이고, 도 8은 본 발명의 일 실시예에 따른 모니터링 장치의 모델선정모듈이 제1 가동시간과 제2 가동시간을 산출하는 방법을 설명하기 위한 도면이다.
도 7 및 도 8을 참조하면, 모델선정모듈은 학습모델 추천 장치에 산출조건을 송신할 때 제1 가동시간과 제2 가동시간을 함께 송신할 있다.
모델선정모듈은 가동시기를 결정하면서 제1 가동시간과 제2 가동시간을 산출할 수 있다.
제1 가동시간은 제1 비율 이하로 클라우드 통합운영 시스템의 평균 사용 리소스가 발생되는 연속된 구획기간의 총 시간을 의미할 수 있다.
제2 가동시간은 제2 비율 이하로 클라우드 통합운영 시스템의 평균 사용 리소스가 발생되며 제1 가동시간과 이웃되는 연속된 총 시간과 제1 가동시간을 합한 시간을 의미할 수 있다.
도 8(a)를 참조하면, 일례로, 구획기간이 시간 단위일 경우, 제1 비율(W10) 이하로 클라우드 통합운영 시스템의 평균 사용 리소스가 산출될 것이라고 예측되는 기간이 가동시기(T12, T13, T14)일 수 있으며, 제1 가동시간은 3시간일 수 있다.
여기서, 가동시기와 이웃한 구획기간(T11, T15)의 평균 사용 리소스는 제2 비율(W20)보다 높기 때문에 제2 가동시간은 존재하지 않을 수 있다.
도 8(b)를 참조하면, 일례로, 구획기간이 시간 단위일 경우, 제1 비율(W10) 이하로 클라우드 통합운영 시스템의 평균 사용 리소스가 산출될 것이라고 예측되는 기간이 가동시기(T12, T13, T14)일 수 있으며, 제1 가동시간은 3시간일 수 있다.
또한, 가동시기와 이웃한 구획기간(T11, T15)의 평균 사용 리소스는 제2 비율(W20)보다 낮기 때문에 제2 가동시간은 2시간에 제1 가동시간을 더한 시간인 5시간일 수 있다.
제2 가동시간은 클라우드 통합운영 시스템에 다소 무리가 가지만, 허용할 수 있는 범위 내에서 학습모델을 가동할 수 있는 기간을 의미할 수 있다.
학습모델 추천 장치는 모니터링 장치로부터 직접 혹은 중개모듈로부터 학습모델을 추천해줄 것에 대한 요청과 산출조건 및 제1 가동시간과 제2 가동시간을 수신받을 수 있다.
상술한 내용 중에서 대상학습모델은 추천을 희망하는 감시학습모델로 변경하여 이해될 수 있다.
학습모델 추천 장치는 앞서 설명한 것과 동일하게 추천을 요청받은 감시학습모델과 유사한 저장학습모델이 있는 산출할 수 있으며, 이에 대한 자세한 설명은 상술한 내용과 중복되는 한도에서 생략될 수 있다.
다만, 상술한 추천 방식과 다르게 시스템 내부적으로 학습모델을 추천받았을 경우에는 가동시간을 더욱 고려하여 추천학습모델이 존재하는지 여부를 판단할 수 있다.
시뮬레이션모듈은 제1 저장모듈에 저장된 저장학습모델이 가동될 경우 소요되는 시간을 시뮬레이션 할 수 있다.
여기서, 입력될 것으로 예상되는 데이터 양은 모니터링 장치로부터 산출 조건을 수신할 때 함께 수신할 수 있다.
시뮬레이션모듈은 저장학습모델의 예상가동시간을 추천모듈로 전달할 수 있다.
추천모듈은 제1 가동시간이 만족되는 저장학습모듈 내에서 미리 정해진 추천조건, 미리 정해진 제1 추가조건 또는 미리 정해진 제2 추가조건이 만족되는 저장학습모델이 있는지 산출할 수 있다. 이에 대한 자세한 설명은 상술한 내용과 중복되는 한도에서 생략될 수 있다.
여기서, 미리 정해진 제2 추가조건을 만족하는 저장학습모듈의 예상가동시간은 활용되는 저장학습모델(일례로, 시작 저장학습모델, 종결 저장학습모델)의 예상가동시간을 모두 합해서 산출될 수 있다.
만일 제1 가동시간이 만족되는 저장학습모듈 내에서 미리 정해진 추천조건, 미리 정해진 제1 추가조건 또는 미리 정해진 제2 추가조건이 만족되는 저장학습모델이 존재하지 않을 경우, 추천모듈은 제2 가동시간이 만족되는 저장학습모듈 내에서 미리 정해진 추천조건, 미리 정해진 제1 추가조건 또는 미리 정해진 제2 추가조건이 만족되는 저장학습모델이 있는지 산출할 수 있다. 이에 대한 자세한 설명은 상술한 내용과 중복되는 한도에서 생략될 수 있다.
여기서, 미리 정해진 제2 추가조건을 만족하는 저장학습모듈의 예상가동시간은 활용되는 저장학습모델(일례로, 시작 저장학습모델, 종결 저장학습모델)의 예상가동시간을 모두 합해서 산출될 수 있다.
만일, 제1 가동시간 및 제2 가동시간 내에서 미리 정해진 추천조건, 미리 정해진 제1 추가조건 또는 미리 정해진 제2 추가조건이 만족되는 저장학습모델이 존재하지 않을 경우, 추천학습모델의 부재를 모델선정모듈에 전달할 수 있으며, 감시학습모델의 산출조건이 학습제안모듈에 저장되어, 상술한 학습에 활용될 수 있다.
모델선정모듈은 학습모델 추천 장치로부터 수신받은 추천학습모델을 감시학습모델로서 선정할 수 있고, 이를 모델가동모듈로 전달할 수 있다.
본 발명의 일 실시예에 따른 모니터링 방법은, 모니터링 장치를 통해, 클라우드 통합운영 시스템의 할당된 리소스 내에서 물리서버에서 가동되는 적어도 하나의 가상머신의 동작을 감시하는 모니터링 방법에 있어서, 송수신모듈에 의해, 상기 가상머신에서 발생되는 가동정보가 수집되는 단계, 모니터링모듈에 의해, 상기 가동정보를 기초로 상기 가상머신이 비 이상적으로 동작되는지 여부가 감시되는 단계, 모델가동모듈에 의해, 상기 모니터링모듈의 요청에 기반하여, 상기 모니터링모듈의 감시 기능을 돕는 감시학습모델이 가동되는 단계 및 스케줄모듈에 의해, 할당된 리소스 내에서 상기 감시학습모델이 가동될 수 있도록, 미리 정해진 시점결정방법을 통해 상기 감시학습모델의 가동시기가 결정되는 단계를 포함할 수 있다.
또한, 상기 모니터링 방법은, 상기 스케줄모듈에 의해, 미리 정해진 미래기간 동안의 상기 클라우드 통합운영 시스템에서 발생되는 부하를 예측하는 제1 감시학습모델에서 예측하는 부하(사용 리소스)를 기초로 상기 가동시기가 결정되는 단계를 더 포함할 수 있다.
또한, 상기 모니터링 방법은, 모델선정모듈에 의해, 미리 정해진 가동 조건이 만족되는 감시학습모델이 선정되는 단계를 더 포함할 수 있다.
또한, 상기 모니터링 방법은, 모델선정모듈에 의해, 상기 제1 감시학습모델에서 예측한 부하를 기초로 상기 미리 정해진 임계치가 변경되는 단계를 더 포함할 수 있다.
첨부된 도면은 본 발명의 기술적 사상을 보다 명확하게 표현하기 위해, 본 발명의 기술적 사상과 관련성이 없거나 떨어지는 구성에 대해서는 간략하게 표현하거나 생략하였다.
상기에서는 본 발명에 따른 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀 둔다.

Claims (10)

  1. 클라우드 통합운영 시스템의 할당된 리소스 내에서, 물리서버에서 가동되는 적어도 하나의 가상머신의 동작을 감시하는 모니터링 장치에 있어서,
    상기 가상머신에서 발생되는 가동정보를 수집하는 송수신모듈;
    상기 송수신모듈이 수집한 상기 가동정보를 기초로 상기 가상머신이 비 이상적으로 동작되는지 여부를 감시하는 모니터링모듈;
    상기 모니터링모듈의 요청에 기반하여, 상기 모니터링모듈의 감시 기능을 돕는 감시학습모델을 가동시키는 모델가동모듈; 및
    할당된 리소스 내에서 상기 감시학습모델이 가동될 수 있도록, 미리 정해진 시기결정방법을 통해 상기 감시학습모델의 가동시기를 결정하는 스케줄모듈;을 포함하는,
    모니터링 장치.
  2. 제1항에 있어서,
    상기 감시학습모델은,
    미리 정해진 미래기간 동안의 상기 클라우드 통합운영 시스템에서 발생되는 부하를 예측하는 제1 감시학습모델을 포함하며,
    상기 스케줄모듈은,
    상기 제1 감시학습모델에서 예측한 부하를 기초로 상기 가동시기를 정하는,
    모니터링 장치.
  3. 제2항에 있어서,
    상기 미리 정해진 시점 결정방법은,
    할당된 리소스를 기준으로 소정의 비율 이하로 부하가 발생되는 시기에 상기 가동시기를 결정하는 방법인,
    모니터링 장치.
  4. 제3항에 있어서,
    상기 미리 정해진 시점 결정방법은,
    상기 미리 정해진 미래기간 중에서 가장 적은 부하가 발생되는 시기에 상기 가동시기를 결정하는 방법인,
    모니터링 장치.
  5. 제1항에 있어서,
    미리 정해진 가동 조건이 만족되는 상기 감시학습모델을 선정하는 모델선정모듈;을 더 포함하고,
    상기 미리 정해진 가동조건은,
    미리 정해진 임계치보다 낮은 부하가 인가되게 가동되는 조건인,
    모니터링 시스템.
  6. 제5항에 있어서,
    상기 학습모델은,
    미리 정해진 미래기간 동안의 상기 클라우드 통합운영 시스템에서 발생되는 부하를 예측하는 제1 감시학습모델을 포함하며,
    상기 모델선정모듈은,
    상기 제1 감시학습모델에서 예측한 부하를 기초로 상기 미리 정해진 임계치를 변경하는,
    모니터링 장치.
  7. 물리서버에서 가동되는 가상머신을 관리하는 관리장치;
    상기 가상머신의 동작을 감시하는 모니터링 장치; 및
    상기 모니터링 장치가 감시 기능을 구현하는데 필요한 감시학습모델을 추천하는 학습모델 추천 장치;를 포함하고,
    상기 모니터링 장치는,
    상기 가상머신에서 발생되는 정보를 수집하는 송수신모듈, 상기 송수신모듈이 수집한 상기 가상머신의 정보를 기초로 상기 가상머신이 비 이상적으로 동작되는지 여부를 감시하는 모니터링모듈, 상기 모니터링모듈의 요청에 기반하여, 상기 모니터링모듈의 감시 기능을 돕는 상기 감시학습모델을 가동시키는 모델가동모듈, 할당된 리소스 내에서 상기 감시학습모델이 가동될 수 있도록, 미리 정해진 시점결정방법을 통해 상기 감시학습모델의 가동시기를 결정하는 스케줄모듈 및 미리 정해진 가동 조건이 만족되는 상기 모델가동모듈에서 가동되는 상기 감시학습모델을 선정하는 모델선정모듈을 더 포함하고,
    상기 모델선정모듈은,
    상기 미리 정해진 가동 조건이 만족되는 상기 감시학습모델에 대한 추천을 상기 학습모델 추천 장치에 요청하고,
    상기 학습모델 추천 장치는,
    미리 저장된 저장학습모델 중에서 상기 감시학습모델과 제1 유사도 이상으로 유사한 조건인 미리 정해진 추천조건이 만족되는 학습모델을 추천하는,
    클라우드 통합운영 시스템.
  8. 제7항에 있어서,
    상기 학습모델 추천 장치는,
    미리 저장된 저장학습모델 중에서 상기 미리 정해진 추천조건이 만족되는 학습모델이 없다고 하더라도, 상기 제1 유사도보다 낮은 제2 유사도를 기준으로 조건의 만족여부를 판단하는 미리 정해진 제1 추가조건 또는 복수의 상기 저장학습모델을 조합하여 생성된 가상의 학습모델을 기초로 조건의 만족여부를 판단하는 미리 정해진 제2 추가조건이 만족되는 학습모델을 추천하는,
    클라우드 통합운영 시스템.
  9. 제8항에 있어서,
    상기 미리 정해진 제1 추가조건은,
    상기 감시학습모델과 제2 유사도 이상으로 유사하고 상기 제1 유사도 미만으로 유사하며, 상기 감시학습모델을 기준으로 상기 제2 유사도 미만으로 존재하는 미리 저장된 상기 저장학습모델의 군집이 소정 개수 이하로 존재할 조건인,
    클라우드 통합운영 시스템.
  10. 모니터링 장치를 통해, 클라우드 통합운영 시스템의 할당된 리소스 내에서 물리서버에서 가동되는 적어도 하나의 가상머신의 동작을 감시하는 모니터링 방법에 있어서,
    송수신모듈에 의해, 상기 가상머신에서 발생되는 가동정보가 수집되는 단계;
    모니터링모듈에 의해, 상기 가동정보를 기초로 상기 가상머신이 비 이상적으로 동작되는지 여부가 감시되는 단계;
    모델가동모듈에 의해, 상기 모니터링모듈의 요청에 기반하여, 상기 모니터링모듈의 감시 기능을 돕는 감시학습모델이 가동되는 단계; 및
    스케줄모듈에 의해, 할당된 리소스 내에서 상기 감시학습모델이 가동될 수 있도록, 미리 정해진 시점결정방법을 통해 상기 감시학습모델의 가동시기가 결정되는 단계;를 포함하는,
    모니터링 방법.
PCT/KR2022/021675 2022-12-27 2022-12-29 자원을 고려한 모니터링 장치 및 이를 포함하는 클라우드 통합운영 시스템 WO2024143632A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020220185722A KR102531299B1 (ko) 2022-12-27 2022-12-27 유사도에 기반한 학습모델 추천 장치 및 이를 포함하는 클라우드 통합운영 시스템
KR1020220185763A KR102557631B1 (ko) 2022-12-27 2022-12-27 자원을 고려한 모니터링 장치 및 이를 포함하는 클라우드 통합운영 시스템
KR10-2022-0185763 2022-12-27
KR10-2022-0185722 2022-12-27

Publications (1)

Publication Number Publication Date
WO2024143632A1 true WO2024143632A1 (ko) 2024-07-04

Family

ID=91718234

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/021675 WO2024143632A1 (ko) 2022-12-27 2022-12-29 자원을 고려한 모니터링 장치 및 이를 포함하는 클라우드 통합운영 시스템

Country Status (1)

Country Link
WO (1) WO2024143632A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101990411B1 (ko) * 2017-12-26 2019-10-01 경희대학교 산학협력단 클라우드 시스템에서의 우선 순위 기반 자원 스케일링 시스템, 장치 및 방법
KR102109088B1 (ko) * 2019-09-05 2020-05-12 오케스트로 주식회사 가상 머신 예측 워크 로드 산출 방법 및 이를 구현하는 예측 장치
KR20210029073A (ko) * 2019-09-05 2021-03-15 오케스트로 주식회사 복수의 예측 모델을 기초로 가상 머신 워크 로드 예측 방법
KR102470086B1 (ko) * 2021-10-28 2022-11-23 오케스트로 주식회사 Sla 위반을 예방한 가상 머신 배치 시스템 및 가상 머신 배치 방법
KR20220158547A (ko) * 2021-05-24 2022-12-01 한국전력공사 컨테이너 기반 클라우드 환경에서의 gpu 자원 회수 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101990411B1 (ko) * 2017-12-26 2019-10-01 경희대학교 산학협력단 클라우드 시스템에서의 우선 순위 기반 자원 스케일링 시스템, 장치 및 방법
KR102109088B1 (ko) * 2019-09-05 2020-05-12 오케스트로 주식회사 가상 머신 예측 워크 로드 산출 방법 및 이를 구현하는 예측 장치
KR20210029073A (ko) * 2019-09-05 2021-03-15 오케스트로 주식회사 복수의 예측 모델을 기초로 가상 머신 워크 로드 예측 방법
KR20220158547A (ko) * 2021-05-24 2022-12-01 한국전력공사 컨테이너 기반 클라우드 환경에서의 gpu 자원 회수 장치 및 방법
KR102470086B1 (ko) * 2021-10-28 2022-11-23 오케스트로 주식회사 Sla 위반을 예방한 가상 머신 배치 시스템 및 가상 머신 배치 방법

Similar Documents

Publication Publication Date Title
WO2020101108A1 (ko) 인공지능 모델 플랫폼 및 인공지능 모델 플랫폼 운영 방법
WO2018117619A1 (en) Display apparatus, content recognizing method thereof, and non-transitory computer readable recording medium
WO2018117685A1 (en) System and method of providing to-do list of user
WO2015139232A1 (zh) 一种应用的推荐方法、系统及服务器
WO2015108283A1 (ko) 클라우드 스트리밍 서비스를 위한 어플리케이션 에러 검출 방법, 이를 위한 장치 및 시스템
WO2016006977A1 (en) Apparatus, server, system and method for energy measuring
WO2022071727A1 (en) Method for sharing spectrum resources, apparatus, electronic device and storage medium
WO2012044064A2 (en) Server and service providing method thereof
WO2016089009A1 (en) Method and cloud server for managing device
WO2023153818A1 (en) Method of providing neural network model and electronic apparatus for performing the same
WO2016182209A1 (ko) 미용서비스 제공 시스템, 서버 및 방법
WO2022010240A1 (ko) 두피 및 모발 관리 시스템
WO2021054641A1 (en) Electronic apparatus and operation method of the electronic apparatus
WO2020209693A1 (ko) 인공지능 모델을 갱신하는 전자 장치, 서버 및 그 동작 방법
WO2019019351A1 (zh) 用户行为数据处理方法、装置及计算机可读存储介质
WO2018018680A1 (zh) 应用提示信息显示方法及装置
WO2018076453A1 (zh) 一种关联应用显示方法、装置及移动终端
WO2019203421A1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
WO2020017827A1 (ko) 전자 장치, 및 전자 장치의 제어 방법
WO2024143632A1 (ko) 자원을 고려한 모니터링 장치 및 이를 포함하는 클라우드 통합운영 시스템
WO2024143637A1 (ko) 가상머신 최적배치 추천 장치 및 이를 포함하는 서버 운영 시스템
WO2022149672A1 (ko) 전자 장치 및 그 제어 방법
WO2016148376A1 (ko) 광고입찰장치 및 광고플랫폼장치
WO2012093746A1 (ko) 규칙 서버와 규칙 실행 단말기가 분리된 규칙기반 규칙추론 장치 및 방법
WO2021167416A1 (ko) 정기결제를 기반으로 하는 서비스를 관리하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22970270

Country of ref document: EP

Kind code of ref document: A1