KR20230087316A

KR20230087316A - Apparatus and method for determining ai-based cloud service server

Info

Publication number: KR20230087316A
Application number: KR1020210176149A
Authority: KR
Inventors: 이경용
Original assignee: 국민대학교산학협력단
Priority date: 2021-12-09
Filing date: 2021-12-09
Publication date: 2023-06-16

Abstract

본 발명은 인공지능 기반 클라우드 서비스 서버 결정 장치 및 방법에 관한 것으로, 상기 장치는 인공지능 기반 클라우드 서비스 서버 결정 장치는 사용자 학습코드를 수신하는 학습코드 수신부; 학습코드 모집단에 있는 샘플 학습코드의 사전 분석을 통해 구축된 학습코드 유형 모델을 기초로 상기 사용자 학습코드의 유형을 판단하는 학습코드 유형 판단부; 클라우드 리소스 할당 프로토콜을 통해 상기 사용자 학습코드의 유형을 클라우드 오케스트레이션 서버에 제공하고 상기 클라우드 오케스트레이션 서버로부터 학습코드 유형별 동적 비용-성능 메트릭을 수신하는 동적 비용-성능 메트릭 처리부; 상기 학습코드 유형별 동적 비용-성능 메트릭을 기초로 사용자 요구조건에 특정 기준 이상 근접한 리소스로 구성된 클라우드 서비스 서버를 후보 클라우드 서비스 서버로 결정하는 후보 클라우드 서비스 서버 결정부; 및 상기 사용자 요구조건의 변경이 발생되기 전까지 상기 후보 클라우드 서비스 서버를 최종 서비스 클라우드 서버로 결정하는 클라우드 서비스 서버 결정부;를 포함한다.The present invention relates to an artificial intelligence-based cloud service server determining apparatus and method, wherein the apparatus includes an artificial intelligence-based cloud service server determining apparatus comprising: a learning code receiver for receiving a user learning code; a learning code type determination unit for determining the type of the user learning code based on a learning code type model built through preliminary analysis of sample learning codes in a learning code population; a dynamic cost-performance metric processing unit providing the type of the user learning code to a cloud orchestration server through a cloud resource allocation protocol and receiving a dynamic cost-performance metric for each type of learning code from the cloud orchestration server; a candidate cloud service server determination unit that determines a cloud service server composed of resources that are closer to a user requirement than a specific criterion as a candidate cloud service server based on the dynamic cost-performance metric for each type of learning code; and a cloud service server determining unit that determines the candidate cloud service server as a final service cloud server until the user requirement is changed.

Description

AI-based cloud service server decision device and method {APPARATUS AND METHOD FOR DETERMINING AI-BASED CLOUD SERVICE SERVER}

본 발명은 클라우드 자원 활용 기술에 관한 것으로, 보다 상세하게는 인공지능을 활용하여 사용자의 학습코드를 클라우드 상에서 실행하기 위한 최적의 리소스를 구성할 수 있는 인공지능 기반 클라우드 서비스 서버 결정 장치 및 방법에 관한 것이다.The present invention relates to a technology for utilizing cloud resources, and more particularly, to an apparatus and method for determining an artificial intelligence-based cloud service server capable of constructing an optimal resource for executing a user's learning code in the cloud by utilizing artificial intelligence. will be.

최근 딥러닝 알고리즘은 다양한 분야에서 우수한 성능을 보이며 인공지능의 응용 사례를 넓히고 있다. 딥러닝 모델의 학습은 단시간에 많은 컴퓨팅 자원을 필요로 하기 때문에 주로 클라우드 환경 하에서 학습 작업이 이루어지고 있다.Recently, deep learning algorithms have shown excellent performance in various fields and are expanding the application cases of artificial intelligence. Because deep learning model learning requires a lot of computing resources in a short time, learning work is mainly performed in a cloud environment.

하지만, 클라우드 컴퓨팅 서비스를 통해서 제공되는 자원의 종류가 너무 많은 탓에 사용자들은 다양한 서비스를 활용하여 최적의 딥러닝 학습 환경을 구축하는데 큰 어려움을 겪고 있다. 클라우드 인스턴스들 간의 가격 역시 큰 차이를 보이기에 성능 및 비용 측면에서 최적의 효율을 보이는 인스턴스를 선택하여 학습 작업을 진행하는 것은 매우 중요하면서도 어려운 일이다.However, due to the large number of types of resources provided through cloud computing services, users have great difficulty in establishing an optimal deep learning learning environment using various services. Since the price of cloud instances also shows a big difference, it is very important and difficult to select an instance that shows the optimal efficiency in terms of performance and cost and proceed with the learning task.

한편, 딥러닝(인공지능) 플랫폼은 인공지능 기술들, 예를 들어 영상처리, 음성인식, 자연어처리 등을 이용하여 필요에 의해서 사용자가 사용이 가능하게 해주는 제품이나 서비스를 개발하기 위한 도구를 의미할 수 있다. 최근 구현되고 있는 인공지능의 핵심 기술들은 다양한 분야로 응용 가능한 범용적인 특성을 갖고 있으며, 인공지능은 딥러닝 플랫폼의 핵심 기술에 해당할 수 있다.On the other hand, deep learning (artificial intelligence) platform refers to a tool for developing products or services that users can use as needed by using artificial intelligence technologies, such as image processing, voice recognition, and natural language processing. can do. The core technologies of artificial intelligence that are being implemented recently have general-purpose characteristics that can be applied to various fields, and artificial intelligence can correspond to the core technology of a deep learning platform.

한국공개특허 제10-2017-0078012호 (2017.07.07)Korean Patent Publication No. 10-2017-0078012 (2017.07.07)

본 발명의 일 실시예는 인공지능을 활용하여 사용자의 학습코드를 클라우드 상에서 실행하기 위한 최적의 리소스를 구성할 수 있는 인공지능 기반 클라우드 서비스 서버 결정 장치 및 방법을 제공하고자 한다.One embodiment of the present invention is to provide an artificial intelligence-based cloud service server determining apparatus and method capable of configuring optimal resources for executing a user's learning code in the cloud by utilizing artificial intelligence.

실시예들 중에서, 인공지능 기반 클라우드 서비스 서버 결정 장치는 사용자 학습코드를 수신하는 학습코드 수신부; 학습코드 모집단에 있는 샘플 학습코드의 사전 분석을 통해 구축된 학습코드 유형 모델을 기초로 상기 사용자 학습코드의 유형을 판단하는 학습코드 유형 판단부; 클라우드 리소스 할당 프로토콜을 통해 상기 사용자 학습코드의 유형을 클라우드 오케스트레이션 서버에 제공하고 상기 클라우드 오케스트레이션 서버로부터 학습코드 유형별 동적 비용-성능 메트릭을 수신하는 동적 비용-성능 메트릭 처리부; 상기 학습코드 유형별 동적 비용-성능 메트릭을 기초로 사용자 요구조건에 특정 기준 이상 근접한 리소스로 구성된 클라우드 서비스 서버를 후보 클라우드 서비스 서버로 결정하는 후보 클라우드 서비스 서버 결정부; 및 상기 사용자 요구조건의 변경이 발생되기 전까지 상기 후보 클라우드 서비스 서버를 최종 서비스 클라우드 서버로 결정하는 클라우드 서비스 서버 결정부;를 포함한다.Among the embodiments, an artificial intelligence-based cloud service server determining device includes a learning code receiving unit for receiving a user learning code; a learning code type determination unit for determining the type of the user learning code based on a learning code type model built through preliminary analysis of sample learning codes in a learning code population; a dynamic cost-performance metric processing unit providing the type of the user learning code to a cloud orchestration server through a cloud resource allocation protocol and receiving a dynamic cost-performance metric for each type of learning code from the cloud orchestration server; a candidate cloud service server determination unit that determines a cloud service server composed of resources that are closer to a user requirement than a specific criterion as a candidate cloud service server based on the dynamic cost-performance metric for each type of learning code; and a cloud service server determining unit that determines the candidate cloud service server as a final service cloud server until the user requirement is changed.

상기 학습코드 유형 판단부는 상기 샘플 학습코드의 인공지능 연산 특징을 분석하여 CPU 집중 연산 유형, GPU 집중 연산 유형, 메모리 집중 연산 유형 및 가속기 집중 연산 유형 중 어느 하나를 상기 사용자 학습코드의 유형으로서 결정할 수 있다.The learning code type determination unit analyzes the artificial intelligence operation characteristics of the sample learning code to determine one of a CPU intensive operation type, a GPU intensive operation type, a memory intensive operation type, and an accelerator intensive operation type as the type of the user learning code. there is.

상기 학습코드 유형 판단부는 상기 샘플 학습코드의 인공지능 연산 동안 소정의 시간 간격(time interval)마다 예측된 CPU, GPU, 메모리 및 가속기 중 적어도 하나의 사용량을 기초로 상기 인공지능 연산 특징을 결정할 수 있다.The learning code type determining unit may determine the artificial intelligence operation characteristics based on the predicted usage of at least one of CPU, GPU, memory, and accelerator for every predetermined time interval during artificial intelligence operation of the sample learning code. .

상기 동적 비용-성능 메트릭 처리부는 비용-성능 메트릭의 정규 분포를 기초로 상기 학습코드 유형별 동적 비용-성능 메트릭을 충족시키는 서버의 존재 확률을 결정할 수 있다.The dynamic cost-performance metric processing unit may determine a server existence probability that satisfies the dynamic cost-performance metric for each learning code type based on a normal distribution of the cost-performance metric.

상기 동적 비용-성능 메트릭 처리부는 상기 서버의 존재 확률이 특정 기준 이하인 경우에는 상기 학습코드 유형별 동적 비용-성능 메트릭을 조절할 수 있다.The dynamic cost-performance metric processing unit may adjust the dynamic cost-performance metric for each learning code type when the existence probability of the server is less than or equal to a specific criterion.

상기 후보 클라우드 서비스 서버 결정부는 상기 사용자 요구조건에 가장 근접한 리소스로 구성된 순서대로 상기 클라우드 서비스 서버를 전순서 집합화 하고 상기 클라우드 서비스 서버의 로드를 결정하여 상기 후보 클라우드 서비스 서버를 결정할 수 있다.The candidate cloud service server determining unit may determine the candidate cloud service server by aggregating the cloud service servers in an order of configuration of resources closest to the user requirements and determining a load of the cloud service server.

상기 클라우드 서비스 서버 결정부는 상기 사용자 요구조건의 변경이 발생되면 상기 클라우드 서비스 서버를 다시 전순서 집합화 하고 상기 최종 서비스 클라우드 서버로 결정할 수 있다.The cloud service server determination unit may aggregate the cloud service server in an overall order and determine it as the final service cloud server when a change in the user requirement occurs.

실시예들 중에서, 사용자 학습코드를 수신하는 단계; 학습코드 모집단에 있는 샘플 학습코드의 사전 분석을 통해 구축된 학습코드 유형 모델을 기초로 상기 사용자 학습코드의 유형을 판단하는 단계; 클라우드 리소스 할당 프로토콜을 통해 상기 사용자 학습코드의 유형을 클라우드 오케스트레이션 서버에 제공하고 상기 클라우드 오케스트레이션 서버로부터 학습코드 유형별 동적 비용-성능 메트릭을 수신하는 단계; 상기 학습코드 유형별 동적 비용-성능 메트릭을 기초로 사용자 요구조건에 특정 기준 이상 근접한 리소스로 구성된 클라우드 서비스 서버를 후보 클라우드 서비스 서버로 결정하는 단계; 및 상기 사용자 요구조건의 변경이 발생되기 전까지 상기 후보 클라우드 서비스 서버를 최종 서비스 클라우드 서버로 결정하는 단계;를 포함한다.Among the embodiments, receiving a user learning code; Determining the type of the user learning code based on a learning code type model built through preliminary analysis of sample learning codes in a learning code population; providing the user learning code type to a cloud orchestration server through a cloud resource allocation protocol and receiving a dynamic cost-performance metric for each learning code type from the cloud orchestration server; determining, as a candidate cloud service server, a cloud service server composed of resources closer to a user requirement than a specific criterion based on the dynamic cost-performance metric for each type of learning code; and determining the candidate cloud service server as a final service cloud server until a change in the user requirement occurs.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technology may have the following effects. However, it does not mean that a specific embodiment must include all of the following effects or only the following effects, so it should not be understood that the scope of rights of the disclosed technology is limited thereby.

본 발명의 일 실시예에 따른 인공지능 기반 클라우드 서비스 서버 결정 장치 및 방법은 인공지능을 활용하여 사용자의 학습코드를 클라우드 상에서 실행하기 위한 최적의 리소스를 구성할 수 있다.An artificial intelligence-based cloud service server determining apparatus and method according to an embodiment of the present invention may configure an optimal resource for executing a user's learning code in the cloud by utilizing artificial intelligence.

본 발명의 일 실시예에 따른 인공지능 기반 클라우드 서비스 서버 결정 장치 및 방법은 클라우드 리소스 할당 프로토콜을 기반으로 학습코드의 유형에 관한 리소스별 동적 비용-성능 매트릭스를 수신한 후 사용자 요구조건에 맞는 리소스 구성을 결정하여 사용자의 학습코드를 실행하기 위한 클라우드 환경을 제공할 수 있다.An apparatus and method for determining a cloud service server based on artificial intelligence according to an embodiment of the present invention receives a dynamic cost-performance matrix for each resource related to the type of learning code based on a cloud resource allocation protocol, and configures resources suitable for user requirements. It is possible to provide a cloud environment for executing the user's learning code by determining.

도 1은 본 발명에 따른 클라우드 서비스 서버 결정 시스템을 설명하는 도면이다.
도 2는 도 1의 클라우드 서비스 서버 결정 장치의 시스템 구성을 설명하는 도면이다.
도 3은 도 1의 클라우드 서비스 서버 결정 장치의 기능적 구성을 설명하는 도면이다.
도 4는 본 발명에 따른 인공지능 기반 클라우드 서비스 서버 결정 방법을 설명하는 순서도이다.
도 5는 본 발명에 따른 학습코드의 유형 판단 과정을 설명하는 도면이다.
도 6은 본 발명에 따른 리소스별 비용-성능 매트릭스를 설명하는 도면이다.1 is a diagram illustrating a system for determining a cloud service server according to the present invention.
FIG. 2 is a diagram explaining the system configuration of the device for determining a cloud service server of FIG. 1 .
FIG. 3 is a diagram explaining the functional configuration of the device for determining a cloud service server of FIG. 1 .
4 is a flowchart illustrating a method for determining an artificial intelligence-based cloud service server according to the present invention.
5 is a diagram illustrating a process of determining a type of a learning code according to the present invention.
6 is a diagram illustrating a cost-performance matrix for each resource according to the present invention.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Since the description of the present invention is only an embodiment for structural or functional description, the scope of the present invention should not be construed as being limited by the embodiments described in the text. That is, since the embodiment can be changed in various ways and can have various forms, it should be understood that the scope of the present invention includes equivalents capable of realizing the technical idea. In addition, since the object or effect presented in the present invention does not mean that a specific embodiment should include all of them or only such effects, the scope of the present invention should not be construed as being limited thereto.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of terms described in this application should be understood as follows.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as "first" and "second" are used to distinguish one component from another, and the scope of rights should not be limited by these terms. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It should be understood that when an element is referred to as being “connected” to another element, it may be directly connected to the other element, but other elements may exist in the middle. On the other hand, when an element is referred to as being "directly connected" to another element, it should be understood that no intervening elements exist. Meanwhile, other expressions describing the relationship between components, such as “between” and “immediately between” or “adjacent to” and “directly adjacent to” should be interpreted similarly.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Expressions in the singular number should be understood to include plural expressions unless the context clearly dictates otherwise, and terms such as “comprise” or “having” refer to an embodied feature, number, step, operation, component, part, or these. It should be understood that it is intended to indicate that a combination exists, and does not preclude the possibility of the presence or addition of one or more other features, numbers, steps, operations, components, parts, or combinations thereof.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, the identification code (eg, a, b, c, etc.) is used for convenience of explanation, and the identification code does not describe the order of each step, and each step clearly follows a specific order in context. Unless otherwise specified, it may occur in a different order than specified. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.

본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can be implemented as computer readable code on a computer readable recording medium, and the computer readable recording medium includes all types of recording devices storing data that can be read by a computer system. . Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices. In addition, the computer-readable recording medium may be distributed to computer systems connected through a network, so that computer-readable codes may be stored and executed in a distributed manner.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs, unless defined otherwise. Terms defined in commonly used dictionaries should be interpreted as consistent with meanings in the context of the related art, and cannot be interpreted as having ideal or excessively formal meanings unless explicitly defined in the present application.

도 1은 본 발명에 따른 클라우드 서비스 서버 결정 시스템을 설명하는 도면이다.1 is a diagram illustrating a system for determining a cloud service server according to the present invention.

도 1을 참조하면, 클라우드 서비스 서버 결정 시스템(100)은 사용자 단말(110), 클라우드 서비스 서버 결정 장치(130), 클라우드 서비스 서버(150), 클라우드 오케스트레이션 서버(170) 및 데이터베이스(190)를 포함할 수 있다.Referring to FIG. 1 , a cloud service server determining system 100 includes a user terminal 110, a cloud service server determining device 130, a cloud service server 150, a cloud orchestration server 170, and a database 190. can do.

사용자 단말(110)은 클라우드 서비스를 이용할 수 있는 컴퓨팅 장치에 해당할 수 있고, 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC 등 다양한 디바이스로도 구현될 수 있다. 사용자 단말(110)은 클라우드 서비스 서버 결정 장치(130)와 네트워크를 통해 연결될 수 있고, 복수의 사용자 단말(110)들은 클라우드 서비스 서버 결정 장치(130)와 동시에 연결될 수 있다. 또한, 사용자 단말(110)은 클라우드 서비스 서버(150)와 직접 연결될 수 있으며, 클라우드 서비스 이용을 위한 전용 프로그램 또는 애플리케이션을 설치하여 실행시킬 수 있다.The user terminal 110 may correspond to a computing device capable of using cloud services, and may be implemented as a smart phone, laptop, or computer, but is not necessarily limited thereto, and may be implemented as various devices such as a tablet PC. The user terminal 110 may be connected to the cloud service server determining device 130 through a network, and a plurality of user terminals 110 may be simultaneously connected to the cloud service server determining device 130 . In addition, the user terminal 110 may be directly connected to the cloud service server 150 and may install and execute a dedicated program or application for using the cloud service.

클라우드 서비스 서버 결정 장치(130)는 클라우드 컴퓨팅 환경에서 사용자 학습코드를 기반으로 하는 딥러닝 관련 작업 시 최적의 환경을 구성하도록 리소스의 효율적 관리를 수행하는 시스템, 또는 이에 해당하는 서버로 구현될 수 있다. 클라우드 서비스 서버 결정 장치(130)는 사용자 단말(110)과 네트워크를 통해 연결될 수 있고 관련 데이터를 주고받을 수 있다.The cloud service server determining device 130 may be implemented as a system that efficiently manages resources to configure an optimal environment for deep learning-related tasks based on user learning codes in a cloud computing environment, or a server corresponding thereto. . The cloud service server determining device 130 may be connected to the user terminal 110 through a network and may exchange related data.

또한, 클라우드 서비스 서버 결정 장치(130)는 적어도 하나의 외부 시스템과 연동하여 동작할 수 있다. 예를 들어, 외부 시스템은 클라우드 서비스를 위한 클라우드 서비스 서버(150), 동적 비용-성능 메트릭 생성을 위한 클라우드 오케스트레이션 서버(170), 딥러닝 학습을 위한 인공지능 서버, 서비스 결제를 위한 결제 서버 또는 사용자 인증을 위한 인증 서버 등을 포함할 수 있다.In addition, the cloud service server determining device 130 may operate in conjunction with at least one external system. For example, the external system may include a cloud service server 150 for cloud services, a cloud orchestration server 170 for generating dynamic cost-performance metrics, an artificial intelligence server for deep learning training, a payment server for service payment, or a user An authentication server for authentication may be included.

일 실시예에서, 클라우드 서비스 서버 결정 장치(130)는 데이터베이스(190)와 연동하여 클라우드 컴퓨팅 환경에서 딥러닝 작업을 위해 작성된 사용자 학습코드의 유형을 결정하고 결정된 하나의 학습코드의 유형을 기초로 생성된 동적 비용-성능 메트릭을 사용자 요구조건에 적용하여 최종 클라우드 서비스 서버(150)를 결정하기 위해 필요한 데이터를 저장할 수 있다. 또한, 클라우드 서비스 서버 결정 장치(130)는 프로세서, 메모리, 사용자 입출력부 및 네트워크 입출력부를 포함하여 구현될 수 있으며, 이에 대해서는 도 2에서 보다 자세히 설명한다.In one embodiment, the cloud service server determining device 130 interworks with the database 190 to determine the type of user learning code written for deep learning tasks in a cloud computing environment and to generate based on the determined one learning code type. Data necessary for determining the final cloud service server 150 by applying the dynamic cost-performance metric to user requirements may be stored. In addition, the cloud service server determining device 130 may be implemented by including a processor, a memory, a user input/output unit, and a network input/output unit, which will be described in detail with reference to FIG. 2 .

클라우드 서비스 서버(150)는 클라우드 서비스를 제공하는 서버에 해당할 수 있다. 클라우드 서비스 서버(150)는 사용자 환경에 적합한 다양한 클라우드 리소스를 제공할 수 있으며, 클라우드 리소스들의 조합을 다양한 인스턴스로 구현하여 제공할 수 있다. 이를 위해, 클라우드 서비스 서버(150)는 복수의 자원풀(resource pool)들과 연결되어 구현될 수 있다. 클라우드 서비스 서버(150)는 클라우드 서비스 서버 결정 장치(130)와 네트워크를 통해 연결될 수 있으며, 사용자 단말(110)과도 직접 연결될 수 있다. 클라우드 서비스 서버(150)는 클라우드 서비스 서버 결정 장치(130)에서 수행되는 딥러닝 학습을 위한 다양한 클라우드 인스턴스들을 제공할 수 있으며, 일 실시예에서 클라우드 서비스 서버(150)는 딥러닝 플랫폼을 제공하는 서버의 역할을 수행할 수 있다. 다른 실시예에서, 클라우드 서비스 서버(150)는 복수개로 구현될 수 있으며, 이 경우 각 클라우드 서비스 서버(150)는 클라우드 서비스 서버 결정 장치(130)와 독립적으로 연결될 수 있다.The cloud service server 150 may correspond to a server providing cloud services. The cloud service server 150 may provide various cloud resources suitable for user environments, and may implement and provide combinations of cloud resources in various instances. To this end, the cloud service server 150 may be implemented in connection with a plurality of resource pools. The cloud service server 150 may be connected to the cloud service server determining device 130 through a network, and may also be directly connected to the user terminal 110 . The cloud service server 150 may provide various cloud instances for deep learning learning performed by the cloud service server determination device 130, and in one embodiment, the cloud service server 150 is a server providing a deep learning platform. can fulfill the role of In another embodiment, a plurality of cloud service servers 150 may be implemented, and in this case, each cloud service server 150 may be independently connected to the device 130 for determining a cloud service server.

클라우드 오케스트레이션 서버(170)는 클라우드 리소스 할당 프로토콜(cloud resource allocation protocol)을 기초로 사용자 학습코드의 유형에 관한 동적 비용-성능 메트릭을 생성하는 서버에 해당할 수 있다. 여기에서, 클라우드 리소스 할당 프로토콜은 학습코드의 유형에 따른 리소스 구성을 할당하는 규칙들의 집합에 해당할 수 있다. 즉, 클라우드 오케스트레이션 서버(170)는 클라우드 리소스 할당 프로토콜을 통해 사용자 학습코드의 유형에 대응되는 적어도 하나의 리소스 구성을 할당할 수 있고, 각 리소스 구성에 따라 해당 시점을 기준으로 동적으로 결정되는 비용-성능 메트릭을 생성하여 제공할 수 있다.The cloud orchestration server 170 may correspond to a server that generates dynamic cost-performance metrics related to the type of user learning code based on a cloud resource allocation protocol. Here, the cloud resource allocation protocol may correspond to a set of rules for allocating resource configuration according to the type of learning code. That is, the cloud orchestration server 170 may allocate at least one resource configuration corresponding to the type of user learning code through a cloud resource allocation protocol, and according to each resource configuration, a cost- Performance metrics can be created and presented.

또한, 클라우드 오케스트레이션 서버(170)는 클라우드 서비스 서버 결정 장치(130) 또는 클라우드 서비스 서버(150)와 네트워크를 통해 연결될 수 있다. 일 실시예에서, 클라우드 오케스트레이션 서버(170)는 클라우드 서비스 서버 결정 장치(130)와 클라우드 서비스 서버(150) 간의 연결을 제공할 수 있다. 이 경우, 클라우드 서비스 서버 결정 장치(130)는 클라우드 오케스트레이션 서버(170)의 중계를 통해 클라우드 서비스 서버(150)와 연결될 수 있다. 또한, 클라우드 서비스 서버(150)가 복수개로 구현된 경우 클라우드 오케스트레이션 서버(170)는 각 클라우드 서비스 서버(150)와 독립적으로 연결되어 클라우드 서비스 서버 결정 장치(130)와의 중계를 제공할 수 있다.Also, the cloud orchestration server 170 may be connected to the cloud service server determining device 130 or the cloud service server 150 through a network. In one embodiment, the cloud orchestration server 170 may provide a connection between the cloud service server determination device 130 and the cloud service server 150 . In this case, the cloud service server determining device 130 may be connected to the cloud service server 150 through relaying of the cloud orchestration server 170 . In addition, when a plurality of cloud service servers 150 are implemented, the cloud orchestration server 170 may be independently connected to each cloud service server 150 to provide a relay with the cloud service server determining device 130 .

데이터베이스(190)는 클라우드 서비스 서버 결정 장치(130)의 동작 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 데이터베이스(190)는 딥러닝 알고리즘 및 이에 관한 사용자 학습코드에 관한 정보를 저장할 수 있고, 학습코드 유형에 관한 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 인공지능 기반 클라우드 서비스 서버 결정 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.The database 190 may correspond to a storage device that stores various pieces of information necessary for the operation of the device 130 to determine the cloud service server. The database 190 may store information about deep learning algorithms and user learning codes related thereto, and information about types of learning codes, but are not necessarily limited thereto, in various forms in the AI-based cloud service server decision process. Collected or processed information can be stored as

도 2는 도 1의 클라우드 서비스 서버 결정 장치의 시스템 구성을 설명하는 도면이다.FIG. 2 is a diagram explaining the system configuration of the device for determining a cloud service server of FIG. 1 .

도 2를 참조하면, 클라우드 서비스 서버 결정 장치(130)는 프로세서(210), 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)를 포함하여 구현될 수 있다.Referring to FIG. 2 , an apparatus 130 for determining a cloud service server may be implemented by including a processor 210, a memory 230, a user input/output unit 250, and a network input/output unit 270.

프로세서(210)는 클라우드 서비스 서버 결정 장치(130)가 동작하는 과정에서의 각 단계들을 처리하는 프로시저를 실행할 수 있고, 그 과정 전반에서 읽혀지거나 작성되는 메모리(230)를 관리할 수 있으며, 메모리(230)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄할 수 있다. 프로세서(210)는 클라우드 서비스 서버 결정 장치(130)의 동작 전반을 제어할 수 있고, 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 클라우드 서비스 서버 결정 장치(130)의 CPU(Central Processing Unit)로 구현될 수 있다.The processor 210 may execute a procedure for processing each step in the operation of the cloud service server determining device 130, manage the memory 230 read or written throughout the process, and Synchronization time between volatile memory and non-volatile memory in 230 can be scheduled. The processor 210 may control the overall operation of the cloud service server determining device 130, and is electrically connected to the memory 230, the user input/output unit 250, and the network input/output unit 270 to prevent data flow between them. You can control it. The processor 210 may be implemented as a central processing unit (CPU) of the device 130 for determining the cloud service server.

메모리(230)는 SSD(Solid State Drive) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 클라우드 서비스 서버 결정 장치(130)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다.The memory 230 is implemented as a non-volatile memory such as a solid state drive (SSD) or a hard disk drive (HDD) and may include a secondary storage device used to store all data required for the cloud service server decision unit 130. and may include a main memory implemented as a volatile memory such as RAM (Random Access Memory).

사용자 입출력부(250)는 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함할 수 있다. 예를 들어, 사용자 입출력부(250)는 터치 패드, 터치 스크린, 화상 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(250)는 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 클라우드 서비스 서버 결정 장치(130)는 서버로서 수행될 수 있다.The user input/output unit 250 may include an environment for receiving user input and an environment for outputting specific information to the user. For example, the user input/output unit 250 may include an input device including an adapter such as a touch pad, a touch screen, an on-screen keyboard, or a pointing device, and an output device including an adapter such as a monitor or touch screen. In one embodiment, the user input/output unit 250 may correspond to a computing device connected through a remote connection, and in such a case, the cloud service server determining device 130 may be implemented as a server.

네트워크 입출력부(270)은 네트워크를 통해 외부 장치 또는 시스템과 연결하기 위한 환경을 포함하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다.The network input/output unit 270 includes an environment for connecting to an external device or system through a network, and includes, for example, a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN), and a VAN ( An adapter for communication such as Value Added Network) may be included.

도 3은 도 1의 클라우드 서비스 서버 결정 장치의 기능적 구성을 설명하는 도면이다.FIG. 3 is a diagram explaining the functional configuration of the device for determining a cloud service server of FIG. 1 .

도 3을 참조하면, 클라우드 서비스 서버 결정 장치(130)는 학습코드 수신부(310), 학습코드 유형 판단부(320), 동적 비용-성능 메트릭 처리부(330), 후보 클라우드 서비스 서버 결정부(340), 클라우드 서비스 서버 결정부(350) 및 제어부(360)를 포함할 수 있다.Referring to FIG. 3 , the cloud service server determining device 130 includes a learning code receiving unit 310, a learning code type determining unit 320, a dynamic cost-performance metric processing unit 330, and a candidate cloud service server determining unit 340. , A cloud service server determining unit 350 and a control unit 360 may be included.

학습코드 수신부(310)는 사용자 학습코드를 수신할 수 있다. 여기에서, 사용자 학습코드는 소정의 딥러닝 알고리즘을 구현한 딥러닝 학습코드로서 사용자에 의해 직접 생성되거나 입력된 학습코드에 해당할 수 있다. 즉, 사용자 학습코드의 실행을 통해 딥러닝 알고리즘이 구현된 결과 소정의 테스트 데이터셋에 관한 학습 동작이 수행될 수 있으며, 학습 과정에 대한 모니터링을 통해 딥러닝 학습에 관한 다양한 성능 메트릭(metric)이 측정될 수 있다. 또한, 사용자 학습코드는 소정의 프로그래밍 언어에 따라 작성될 수 있으며, 딥러닝 알고리즘의 특성이나 딥러닝 학습 방식에 따라 복수의 코드 섹션들을 포함할 수 있다. 예를 들어, 코드 섹션은 사용자 학습코드의 연산 구간, 함수 구간 및 반복 구간 등에 해당할 수 있다.The learning code receiving unit 310 may receive a user learning code. Here, the user learning code is a deep learning learning code that implements a predetermined deep learning algorithm, and may correspond to a learning code directly generated or input by a user. That is, as a result of the implementation of the deep learning algorithm through the execution of the user learning code, learning operations on a predetermined test dataset can be performed, and various performance metrics related to deep learning learning can be obtained through monitoring of the learning process. can be measured In addition, the user learning code may be written according to a predetermined programming language and may include a plurality of code sections according to the characteristics of a deep learning algorithm or a deep learning learning method. For example, the code section may correspond to an operation section, a function section, and a repetition section of a user learning code.

또한, 학습코드 수신부(310)는 사용자 단말(110)과 연동하여 사용자 학습코드의 수신을 위한 전용 인터페이스를 제공할 수 있으며, 사용자 단말(110)로부터 수신된 사용자 학습코드를 데이터베이스(190)에 저장하여 보관할 수 있다.In addition, the learning code receiving unit 310 may provide a dedicated interface for receiving the user learning code in conjunction with the user terminal 110, and store the user learning code received from the user terminal 110 in the database 190. and can be stored.

또한, 학습코드 수신부(310)는 사용자 학습코드를 수신하여 소정의 전처리 동작을 수행할 수 있다. 예를 들어, 학습코드 수신부(310)는 사용자 학습코드를 소정의 크기 이내로 제한하거나, 다수의 부분 학습코드들로 분할하는 등의 전처리 동작들을 선택적으로 수행할 수 있다. 또한, 학습코드 수신부(310)는 메타데이터 추출모듈을 포함할 수 있고, 메타데이터 추출모듈을 통해 사용자 학습코드로부터 메타데이터를 추출할 수 있다. 예를 들어, 추출된 메타데이터는 학습코드의 컴파일 시간, 빌드 시간, 프로그래밍 언어 및 바이너리 정보 등을 포함할 수 있다.In addition, the learning code receiving unit 310 may receive a user learning code and perform a predetermined preprocessing operation. For example, the learning code receiving unit 310 may selectively perform preprocessing operations such as limiting the user learning code to a predetermined size or dividing the learning code into a plurality of partial learning codes. In addition, the learning code receiving unit 310 may include a metadata extraction module, and may extract metadata from the user learning code through the metadata extraction module. For example, the extracted metadata may include compile time, build time, programming language and binary information of the learning code.

학습코드 유형 판단부(320)는 학습코드 모집단에 있는 샘플 학습코드의 사전 분석을 통해 구축된 학습코드 유형 모델을 기초로 사용자 학습코드의 유형을 판단할 수 있다. 여기에서, 학습코드 유형 모델은 학습코드를 입력으로 수신하여 해당 학습코드의 유형을 출력으로 생성하도록 구축된 딥러닝 모델에 해당할 수 있다. 학습코드 유형 모델은 샘플 학습코드에 관한 데이터셋에 해당하는 학습코드 모집단을 기초로 사전 학습을 통해 구축될 수 있으며, 학습코드의 유형 정보는 사전에 정의되어 활용될 수 있다.The learning code type determining unit 320 may determine the type of the user learning code based on a learning code type model built through preliminary analysis of sample learning codes in the learning code population. Here, the learning code type model may correspond to a deep learning model built to receive a learning code as an input and generate a corresponding learning code type as an output. The learning code type model may be built through prior learning based on a learning code population corresponding to a dataset of sample learning codes, and type information of learning codes may be defined in advance and used.

예를 들어, 학습코드의 유형 정보는 학습코드의 실행에 의해 구현되는 딥러닝 알고리즘의 인공지능 연산 특징을 유형화하여 정의될 수 있으며, 인공지능 연산 특징은 딥러닝 알고리즘의 특성 메트릭들에 관한 조합으로 표현될 수 있다. 즉, 학습코드 유형 모델은 샘플 학습코드의 메타데이터에서 추출되는 학습코드 파라미터와 딥러닝 알고리즘의 인공지능 연산 특징들 간의 상관관계를 학습한 결과로서 구축될 수 있으며, 학습코드 유형 판단부(320)는 학습코드 유형 모델을 이용하여 사용자 학습코드에 대응되는 유형 정보를 결정할 수 있다.For example, the type information of the learning code can be defined by categorizing the artificial intelligence operation characteristics of the deep learning algorithm implemented by the execution of the learning code, and the artificial intelligence operation characteristics are a combination of characteristic metrics of the deep learning algorithm. can be expressed That is, the learning code type model can be built as a result of learning the correlation between the learning code parameter extracted from the metadata of the sample learning code and the artificial intelligence operation characteristics of the deep learning algorithm, and the learning code type determination unit 320 may determine type information corresponding to a user learning code using a learning code type model.

일 실시예에서, 학습코드 유형 판단부(320)는 샘플 학습코드의 인공지능 연산 특징을 분석하여 CPU 집중 연산 유형, GPU 집중 연산 유형, 메모리 집중 연산 유형 및 가속기 집중 연산 유형 중 어느 하나를 사용자 학습코드의 유형으로서 결정할 수 있다. 보다 구체적으로, CPU 집중 연산 유형은 샘플 학습코드의 실행에 의해 구현되는 인공지능 연산이 GPU 보다는 CPU를 주로 활용하여 수행되는 것에 적합한 유형에 해당할 수 있고, GPU 집중 연산 유형은 해당 인공지능 연산이 GPU를 주로 활용하여 수행되는 것에 적합한 유형에 해당할 수 있으며, 메모리 집중 연산 유형은 해당 인공지능 연산의 수행 과정에서 연산 자원보다는 메모리를 주요 자원으로 활용하여 수행되는 것에 적합한 유형에 해당할 수 있다.In one embodiment, the learning code type determination unit 320 analyzes the artificial intelligence operation characteristics of the sample learning code and selects one of a CPU intensive operation type, a GPU intensive operation type, a memory intensive operation type, and an accelerator intensive operation type for user learning. It can be determined as the type of code. More specifically, the CPU intensive operation type may correspond to a type suitable for the AI operation implemented by the execution of the sample learning code to be performed by mainly utilizing the CPU rather than the GPU, and the GPU intensive operation type is the artificial intelligence operation It may correspond to a type suitable for being performed mainly using GPU, and a memory intensive operation type may correspond to a type suitable for performing using memory as a main resource rather than computational resources in the course of performing a corresponding artificial intelligence operation.

또한, 가속기 집중 연산 유형은 사용자 학습코드의 실행에 관한 동작이 클라우드 환경에서 데이터 처리의 향상을 위한 가속기를 주로 활용하여 수행되는 것에 적합한 유형에 해당할 수 있다. 여기에서, 가속기는 하드웨어 및 소프트웨어 기반의 가속기를 포함할 수 있으며, 특히 사용자 학습코드의 실행으로 구현되는 딥러닝 알고리즘의 학습을 향상시키는데 활용될 수 있다. 예를 들어, 가속기는 TPU(Tensor Processing Unit), NPU(Neural Processing Unit), FPGA(Field Programmable Gate Array) 등을 포함할 수 있으며, 딥러닝 학습 과정에서 전력 요구량을 줄임으로써 비용(cost)을 감소시키거나 또는 연산 처리 능력을 높임으로써 성능(latency)을 개선시킬 수 있다. 한편, 학습코드 유형 판단부(320)는 사용자 학습코드의 유형으로서 대표적인 유형들을 추가로 정의하여 선택적으로 활용할 수 있음은 물론이다.In addition, the accelerator-intensive operation type may correspond to a type suitable for an operation related to the execution of user learning code to be performed mainly by utilizing an accelerator for improving data processing in a cloud environment. Here, the accelerator may include a hardware- and software-based accelerator, and may be particularly used to improve learning of a deep learning algorithm implemented by executing a user learning code. For example, the accelerator may include a Tensor Processing Unit (TPU), Neural Processing Unit (NPU), Field Programmable Gate Array (FPGA), etc., and reduce cost by reducing power requirements during deep learning training. The performance (latency) can be improved by increasing the computational processing power. On the other hand, it goes without saying that the learning code type determining unit 320 can additionally define and selectively utilize representative types as types of user learning codes.

일 실시예에서, 학습코드 유형 판단부(320)는 샘플 학습코드의 인공지능 연산 동안 소정의 시간 간격(time interval)마다 예측된 CPU, GPU, 메모리 alc 가속기 중 적어도 하나의 사용량을 기초로 인공지능 연산 특징을 결정할 수 있다. 학습코드의 실행에 의해 구현되는 딥러닝 알고리즘의 인공지능 연산 특징은 연산 과정에 사용되는 리소스들의 특성 메트릭에 관한 조합으로 표현될 수 있다. 이때, 특성 메트릭들에는 CPU, GPU, 메모리 및 가속기의 사용량(usage)에 관한 통계적 메트릭(예를 들어, 평균, 메디안, 분산, 표준편차 등)이 포함될 수 있으며, 필요에 따라 각 리소스에 관한 비용(cost) 및 시간(latency), 그리고 각 리소스들 사이의 사용 비율(use ratio) 등의 메트릭들이 포함될 수 있다. 학습코드 유형 판단부(320)는 특성 메트릭을 조합하여 인공지능 연산 특징을 정의하고 각 샘플 학습코드의 사전 분석을 통해 인공지능 연산 특징에 관한 학습 데이터를 수집할 수 있으며, 학습 데이터들은 학습코드 유형 모델의 구축 과정에서 활용될 수 있다.In one embodiment, the learning code type determination unit 320 performs artificial intelligence based on the predicted usage of at least one of CPU, GPU, and memory alc accelerator for every predetermined time interval during artificial intelligence operation of the sample learning code. operation characteristics can be determined. The artificial intelligence calculation characteristics of the deep learning algorithm implemented by the execution of the learning code can be expressed as a combination of characteristic metrics of resources used in the calculation process. In this case, the characteristic metrics may include statistical metrics (eg, mean, median, variance, standard deviation, etc.) related to the usage of CPU, GPU, memory, and accelerator, and cost for each resource as needed. Metrics such as cost, latency, and use ratio between each resource may be included. The learning code type determination unit 320 may define artificial intelligence operation characteristics by combining characteristic metrics and collect learning data related to artificial intelligence operation characteristics through preliminary analysis of each sample learning code. It can be used in the process of building a model.

동적 비용-성능 메트릭 처리부(330)는 클라우드 리소스 할당 프로토콜을 통해 사용자 학습코드의 유형을 클라우드 오케스트레이션 서버(170)에 제공하고 클라우드 오케스트레이션 서버(170)로부터 학습코드 유형별 동적 비용-성능 메트릭을 수신할 수 있다. 즉, 동적 비용-성능 메트릭 처리부(330)는 클라우드 오케스트레이션 서버(170)와 연동하여 동작할 수 있으며, 사용자 학습코드의 유형에 관한 정보를 전송하여 그 응답으로서 사용자 학습코드의 유형에 대응되는 동적 비용-성능 메트릭을 수신할 수 있다.The dynamic cost-performance metric processing unit 330 may provide the type of user learning code to the cloud orchestration server 170 through a cloud resource allocation protocol and receive dynamic cost-performance metrics for each type of learning code from the cloud orchestration server 170. there is. That is, the dynamic cost-performance metric processing unit 330 may operate in conjunction with the cloud orchestration server 170, transmit information about the type of user learning code, and as a response, the dynamic cost corresponding to the type of user learning code. -Performance metrics can be received.

이때, 동적 비용-성능 메트릭은 리소스별 비용-성능 매트릭스들을 포함할 수 있다. 예를 들어, 메모리에 관한 비용-성능 매트릭스는 메모리의 성능(즉, 크기, 처리속도 등)과 비용 간의 상관관계를 표현할 수 있다. 즉, 특정 비용과 특정 성능 사이에 상관관계가 존재하는 경우 '1'로 표현될 수 있고, 상관관계가 존재하지 않는 경우 '0'으로 표현될 수 있다. 클라우드 오케스트레이션 서버(170)는 각 클라우드 서비스 서버(150)로부터 현재 상태에 관한 정보를 수신하여 통합한 다음 리소스별 비용-성능 매트릭스들을 동적으로 갱신할 수 있다. 이에 따라, 동적 비용-성능 메트릭 처리부(330)는 사용자 학습코드의 유형에 관한 정보를 클라우드 오케스트레이션 서버(170)에 질의하여 그 응답으로서 질의 시점에서 동적 갱신된 비용-성능 메트릭을 획득할 수 있다.In this case, the dynamic cost-performance metric may include cost-performance matrices for each resource. For example, a cost-performance matrix for a memory can express the correlation between the memory's performance (ie, size, throughput, etc.) and cost. That is, when there is a correlation between a specific cost and a specific performance, it can be expressed as '1', and when there is no correlation, it can be expressed as '0'. The cloud orchestration server 170 may receive and integrate current state information from each cloud service server 150 and then dynamically update cost-performance matrices for each resource. Accordingly, the dynamic cost-performance metric processing unit 330 may query the cloud orchestration server 170 for information about the type of user learning code and obtain a dynamically updated cost-performance metric at the time of querying as a response.

일 실시예에서, 동적 비용-성능 메트릭 처리부(330)는 비용-성능 메트릭의 정규 분포를 기초로 학습코드 유형별 동적 비용-성능 메트릭을 충족시키는 서버의 존재 확률을 결정할 수 있다. 동적 비용-성능 메트릭 처리부(330)는 클라우드 오케스트레이션 서버(170)로부터 주기적으로 동적 비용-성능 메트릭을 수신할 수 있고, 누적된 동적 비용-성능 메트릭에 관한 통계적 메트릭으로서 비용-성능 메트릭에 관한 정규 분포를 생성할 수 있다. 동적 비용-성능 메트릭 처리부(330)는 비용-성능 메트릭의 정규 분포를 사용자 학습코드의 유형에 대응하는 동적 비용-성능 메트릭에 적용하여 중첩된 영역을 중심으로 클라우드 서비스 서버(150)의 존재 확률을 산출할 수 있다. 즉, 중첩된 영역이 넓을수록 학습코드 유형별 동적 비용-성능 메트릭을 충족시키는 서버의 존재 확률은 높아질 수 있다.In one embodiment, the dynamic cost-performance metric processing unit 330 may determine a server existence probability that satisfies the dynamic cost-performance metric for each learning code type based on the normal distribution of the cost-performance metric. The dynamic cost-performance metric processing unit 330 may periodically receive the dynamic cost-performance metric from the cloud orchestration server 170, and as a statistical metric for the accumulated dynamic cost-performance metric, a normal distribution for the cost-performance metric. can create The dynamic cost-performance metric processing unit 330 applies the normal distribution of the cost-performance metric to the dynamic cost-performance metric corresponding to the type of user learning code, and calculates the existence probability of the cloud service server 150 around the overlapping area. can be calculated That is, the wider the overlapping area, the higher the existence probability of a server satisfying the dynamic cost-performance metric for each learning code type.

일 실시예에서, 동적 비용-성능 메트릭 처리부(330)는 서버의 존재 확률이 특정 기준 이하인 경우에는 학습코드 유형별 동적 비용-성능 메트릭을 조절할 수 있다. 예를 들어, 동적 비용-성능 메트릭 처리부(330)는 서버의 존재 확률이 기 설정된 임계 확률 이하인 경우에는 학습코드 유형별 동적 비용-성능 메트릭을 비용-성능 메트릭에 관한 정규 분포에 가까워지도록 조절할 수 있다. 이후, 동적 비용-성능 메트릭 처리부(330)는 비용-성능 메트릭의 정규 분포를 조절된 학습코드 유형별 동적 비용-성능 메트릭에 적용하여 서버의 존재 확률을 재결정할 수 있다.In one embodiment, the dynamic cost-performance metric processing unit 330 may adjust the dynamic cost-performance metric for each learning code type when the existence probability of the server is less than or equal to a specific criterion. For example, the dynamic cost-performance metric processing unit 330 may adjust the dynamic cost-performance metric for each learning code type to be close to a normal distribution for the cost-performance metric when the existence probability of the server is less than or equal to a predetermined threshold probability. Then, the dynamic cost-performance metric processing unit 330 may re-determine the existence probability of the server by applying the normal distribution of the cost-performance metric to the adjusted dynamic cost-performance metric for each learning code type.

후보 클라우드 서비스 서버 결정부(340)는 학습코드 유형별 동적 비용-성능 메트릭을 기초로 사용자 요구조건에 특정 기준 이상 근접한 리소스로 구성된 클라우드 서비스 서버(150)를 후보 클라우드 서비스 서버로 결정할 수 있다. 여기에서, 사용자 요구조건은 사용자가 직접 입력한 비용 및 성능 조건을 포함할 수 있다. 일 실시예에서, 사용자 요구조건은 해당 사용자 계정의 이전 이용 기록을 분석하여 자동 산출될 수 있다. 이 경우, 사용자 요구조건은 사용자의 선호 이용조건에 해당할 수 있다.The candidate cloud service server determination unit 340 may determine the cloud service server 150 composed of resources closer to a user requirement than a specific criterion as a candidate cloud service server based on the dynamic cost-performance metric for each learning code type. Here, the user requirements may include cost and performance conditions directly input by the user. In one embodiment, user requirements may be automatically calculated by analyzing previous usage records of a corresponding user account. In this case, the user requirements may correspond to the user's preferred use conditions.

보다 구체적으로, 후보 클라우드 서비스 서버 결정부(340)는 학습코드 유형별 동적 비용-성능 메트릭을 기초로 사용자 학습코드의 유형에 대응되는 비용-성능 메트릭을 결정하고, 해당 비용-성능 메트릭을 기준으로 사용자 요구조건의 비용 및 성능에 적합한 리소스 구성을 결정할 수 있다. 이때, 리소스 구성은 사용자 요구조건의 비용 및 성능 각각에 특정 기준 이상 근접한 범위 내의 리소스들을 포함할 수 있다. 후보 클라우드 서비스 서버 결정부(340)는 결정된 리소스 구성을 가지는 클라우드 서비스 서버(150)를 후보 클라우드 서비스 서버로 결정할 수 있다. 즉, 후보 클라우드 서비스 서버는 사용자 학습코드의 실행을 처리하는데 요구되는 리소스 구성을 사용자의 요구조건에 맞춰 제공 가능한 클라우드 서비스 서버(150)에 해당할 수 있다. 이후 단계에서는 후보 클라우드 서비스 서버들 중에서 가장 적합한 서버가 선정되어 최종적으로 사용자 학습코드의 실행에 따른 딥러닝 학습이 수행될 수 있다.More specifically, the candidate cloud service server determining unit 340 determines a cost-performance metric corresponding to the type of user learning code based on the dynamic cost-performance metric for each type of learning code, and determines the user learning code based on the cost-performance metric. You can determine a resource configuration that suits the cost and performance of your requirements. At this time, the resource configuration may include resources within a range close to each of the cost and performance of the user's requirements by a specific standard or more. The candidate cloud service server determination unit 340 may determine the cloud service server 150 having the determined resource configuration as the candidate cloud service server. That is, the candidate cloud service server may correspond to the cloud service server 150 capable of providing a resource configuration required to process the execution of the user's learning code according to the user's requirements. In a subsequent step, the most suitable server among candidate cloud service servers is selected, and deep learning learning according to the execution of the user learning code can finally be performed.

일 실시예에서, 후보 클라우드 서비스 서버 결정부(340)는 사용자 요구조건에 가장 근접한 리소스로 구성된 순서대로 클라우드 서비스 서버(150)를 전순서 집합화(totally ordered set) 하고 클라우드 서비스 서버(150)의 로드를 결정하여 후보 클라우드 서비스 서버를 결정할 수 있다. 즉, 클라우드 서비스 서버(150)가 복수인 경우 해당 서버들을 특정 기준에 따라 순서를 부여할 수 있으며, 해당 특정 기준에는 사용자 요구조건의 비용 및 성능에 따른 거리의 총합이 포함될 수 있다. 후보 클라우드 서비스 서버 결정부(340)는 정렬된 클라우드 서비스 서버(150)들 중에서 현재 시점의 로드(load)가 특정 기준 이하인 서버들을 선별하여 후보 클라우드 서비스 서버로서 결정할 수 있다.In one embodiment, the candidate cloud service server determining unit 340 sets the cloud service servers 150 in a total order in the order of the resources closest to user requirements, and sets the number of cloud service servers 150. A load may be determined to determine a candidate cloud service server. That is, when there are a plurality of cloud service servers 150, the corresponding servers may be ordered according to a specific criterion, and the specific criterion may include the sum of distances according to cost and performance of user requirements. The candidate cloud service server determination unit 340 may select servers whose current load is equal to or less than a specific standard among the aligned cloud service servers 150 and determine them as candidate cloud service servers.

클라우드 서비스 서버 결정부(350)는 사용자 요구조건의 변경이 발생되기 전까지 후보 클라우드 서비스 서버를 최종 서비스 클라우드 서버로 결정할 수 있다. 만약 후보 클라우드 서비스 서버가 복수인 경우 클라우드 서비스 서버 결정부(350)는 후보 클라우드 서비스 서버들 중에서 가장 적합한 어느 하나를 선택하거나 또는 랜덤하게 선택하여 최종 서비스 클라우드 서버로 결정할 수 있다. 만약 후보 클라우드 서비스 서버가 하나인 경우 클라우드 서비스 서버 결정부(350)는 사용자 요구조건의 변경이 발생되기 전까지 후보 클라우드 서비스 서버를 최종 서비스 클라우드 서버로 결정할 수 있다.The cloud service server determining unit 350 may determine a candidate cloud service server as a final service cloud server until a change in user requirements occurs. If there are a plurality of candidate cloud service servers, the cloud service server determining unit 350 may select the most suitable one from among the candidate cloud service servers or randomly select one to determine the final service cloud server. If there is only one candidate cloud service server, the cloud service server determining unit 350 may determine the candidate cloud service server as the final service cloud server until a user requirement is changed.

일 실시예에서, 클라우드 서비스 서버 결정부(350)는 사용자 요구조건의 변경이 발생되면 클라우드 서비스 서버(150)를 다시 전순서 집합화 하고 최종 서비스 클라우드 서버로 결정할 수 있다. 사용자는 사용자 단말(110)을 통해 사용자 요구조건을 변경할 수 있으며, 클라우드 서비스 서버 결정부(350)는 사용자 요구조건이 변경된 경우 현재 가용 리소스를 가지는 클라우드 서비스 서버(150)들을 대상으로 최종 서비스 클라우드 서버를 갱신하는 동작을 수행할 수 있다.In an embodiment, the cloud service server determination unit 350 may aggregate the cloud service server 150 again in an overall order when a change in user requirements occurs, and may determine the final service cloud server. The user may change user requirements through the user terminal 110, and the cloud service server determination unit 350 determines the final service cloud server targeting the cloud service servers 150 having currently available resources when the user requirements are changed. It is possible to perform an operation to update.

일 실시예에서, 클라우드 서비스 서버 결정부(350)는 사용자 요구조건의 변경이 발생되면 현재 가용 리소스가 없는 클라우드 서비스 서버(150) 중에서 향후 소정의 기간 내에 가용 리소스를 가질 것으로 예측되는 클라우드 서비스 서버(150)를 포함하여 최종 서비스 클라우드 서버를 갱신하는 동작을 수행할 수 있다.In one embodiment, the cloud service server determination unit 350 selects a cloud service server predicted to have available resources within a predetermined period in the future, among the cloud service servers 150 that do not currently have available resources, when a change in user requirements occurs. 150), an operation of updating the final service cloud server may be performed.

제어부(360)는 클라우드 서비스 서버 결정 장치(130)의 전체적인 동작을 제어하고, 학습코드 수신부(310), 학습코드 유형 판단부(320), 동적 비용-성능 메트릭 처리부(330), 후보 클라우드 서비스 서버 결정부(340) 및 클라우드 서비스 서버 결정부(350) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.The control unit 360 controls the overall operation of the device 130 for determining the cloud service server, and includes the learning code receiving unit 310, the learning code type determining unit 320, the dynamic cost-performance metric processing unit 330, and the candidate cloud service server. A control flow or data flow between the determination unit 340 and the cloud service server determination unit 350 may be managed.

도 4는 본 발명에 따른 인공지능 기반 클라우드 서비스 서버 결정 방법을 설명하는 순서도이다.4 is a flowchart illustrating a method for determining an artificial intelligence-based cloud service server according to the present invention.

도 4를 참조하면, 클라우드 서비스 서버 결정 장치(130)는 학습코드 수신부(310)를 통해 사용자 학습코드를 수신할 수 있다(단계 S410). 클라우드 서비스 서버 결정 장치(130)는 학습코드 유형 판단부(320)를 통해 학습코드 모집단에 있는 샘플 학습코드의 사전 분석을 통해 구축된 학습코드 유형 모델을 기초로 사용자 학습코드의 유형을 판단할 수 있다(단계 S430).Referring to FIG. 4 , the cloud service server determining device 130 may receive a user learning code through the learning code receiver 310 (step S410). The cloud service server determining device 130 may determine the type of the user learning code based on the learning code type model built through the preliminary analysis of the sample learning codes in the learning code population through the learning code type determination unit 320. Yes (step S430).

또한, 클라우드 서비스 서버 결정 장치(130)는 동적 비용-성능 메트릭 처리부(330)를 통해 클라우드 리소스 할당 프로토콜을 통해 사용자 학습코드의 유형을 클라우드 오케스트레이션 서버(170)에 제공하고 클라우드 오케스트레이션 서버(170)로부터 학습코드 유형별 동적 비용-성능 메트릭을 수신할 수 있다(단계 S450).In addition, the cloud service server determining device 130 provides the type of user learning code to the cloud orchestration server 170 through the cloud resource allocation protocol through the dynamic cost-performance metric processing unit 330 and receives the information from the cloud orchestration server 170. Dynamic cost-performance metrics for each type of learning code may be received (step S450).

또한, 클라우드 서비스 서버 결정 장치(130)는 후보 클라우드 서비스 서버 결정부(340)를 통해 학습코드 유형별 동적 비용-성능 메트릭을 기초로 사용자 요구조건에 특정 기준 이상 근접한 리소스로 구성된 클라우드 서비스 서버(150)를 후보 클라우드 서비스 서버로 결정할 수 있다(단계 S470). 클라우드 서비스 서버 결정 장치(130)는 클라우드 서비스 서버 결정부(350)를 통해 사용자 요구조건의 변경이 발생되기 전까지 후보 클라우드 서비스 서버를 최종 서비스 클라우드 서버로 결정할 수 있다(단계 S490).In addition, the cloud service server determining device 130 includes a cloud service server 150 composed of resources that are closer to a user requirement than a specific criterion based on a dynamic cost-performance metric for each learning code type through the candidate cloud service server determining unit 340 may be determined as a candidate cloud service server (step S470). The cloud service server determining device 130 may determine a candidate cloud service server as a final service cloud server until a user requirement is changed through the cloud service server determining unit 350 (step S490).

도 5는 본 발명에 따른 학습코드의 유형 판단 과정을 설명하는 도면이다.5 is a diagram illustrating a process of determining the type of a learning code according to the present invention.

도 5를 참조하면, 클라우드 서비스 서버 결정 장치(130)는 학습코드 유형 판단부(320)를 통해 학습코드 유형 모델을 기초로 학습코드(550)의 유형을 판단할 수 있다. 이때, 학습코드(550)의 유형은 학습코드의 실행을 통해 구현되는 딥러닝 알고리즘(530)의 인공지능 연산 특징을 기초로 결정될 수 있다. 예를 들어, 클라우드 서비스 서버 결정 장치(130)는 사용자 학습코드(550)의 인공지능 연산 특징을 분석하여 CPU 집중 연산 유형, GPU 집중 연산 유형, 메모리 집중 연산 유형 및 가속기 집중 연산 유형 중 어느 하나를 사용자 학습코드(550)의 유형으로서 결정할 수 있다. 도 5에서, 학습코드 (a)의 경우 CPU 집중 연산 유형으로 분류될 수 있고, (b)의 경우 GPU 집중 연산 유형으로 분류될 수 있다. 또한, (c)의 경우 메모리 집중 연산 유형으로 분류될 수 있고, (d)의 경우 가속기 집중 연산 유형으로 분류될 수 있다. 이때, 사용자 학습코드(550)의 유형은 클라우드의 자원풀(510)에 의해 관리하는 리소스들 중 특정 유형의 리소스에 따라 인공지능 연산 성능이 결정될 수 있음을 나타낼 수 있다.Referring to FIG. 5 , the cloud service server determining device 130 may determine the type of the learning code 550 based on the learning code type model through the learning code type determining unit 320 . At this time, the type of the learning code 550 may be determined based on the artificial intelligence operation characteristics of the deep learning algorithm 530 implemented through the execution of the learning code. For example, the cloud service server determining unit 130 analyzes the artificial intelligence operation characteristics of the user learning code 550 and selects one of a CPU intensive operation type, a GPU intensive operation type, a memory intensive operation type, and an accelerator intensive operation type. It can be determined as the type of user learning code 550. In FIG. 5, the learning code (a) can be classified as a CPU intensive operation type, and the case of (b) can be classified as a GPU intensive operation type. In case of (c), it can be classified as a memory intensive operation type, and in case of (d), it can be classified as an accelerator intensive operation type. At this time, the type of user learning code 550 may indicate that artificial intelligence calculation performance may be determined according to a specific type of resource among resources managed by the resource pool 510 of the cloud.

도 6은 본 발명에 따른 리소스별 비용-성능 매트릭스를 설명하는 도면이다.6 is a diagram illustrating a cost-performance matrix for each resource according to the present invention.

도 6을 참조하면, 클라우드 서비스 서버 결정 장치(130)는 동적 비용-성능 메트릭 처리부(330)를 통해 클라우드 오케스트레이션 서버(170)에 사용자 학습코드의 유형을 질의하여 학습코드 유형별 동적 비용-성능 메트릭을 수신할 수 있다. 이때, 동적 비용-성능 메트릭은 리소스별 비용-성능 매트릭스(610)들을 포함할 수 있다. 도 6에서, 메모리에 관한 비용-성능 매트릭스(610)는 메모리의 성능(즉, 크기, 처리속도 등)과 비용 간의 상관관계를 표현할 수 있다. 즉, 특정 비용과 특정 성능 사이에 상관관계가 존재하는 경우 '1'로 표현될 수 있고, 상관관계가 존재하지 않는 경우 '0'으로 표현될 수 있다.Referring to FIG. 6 , the cloud service server determining device 130 queries the cloud orchestration server 170 for the type of user learning code through the dynamic cost-performance metric processing unit 330 to determine the dynamic cost-performance metric for each type of learning code. can receive In this case, the dynamic cost-performance metrics may include cost-performance matrices 610 for each resource. In FIG. 6 , a cost-performance matrix 610 for a memory may represent a correlation between memory performance (ie, size, processing speed, etc.) and cost. That is, when there is a correlation between a specific cost and a specific performance, it can be expressed as '1', and when there is no correlation, it can be expressed as '0'.

한편, 클라우드 오케스트레이션 서버(170)는 각 클라우드 서비스 서버(150)로부터 현재 상태에 관한 정보를 수신하여 통합한 다음 리소스별 비용-성능 매트릭스들을 동적으로 갱신할 수 있다. 즉, 리소스별 비용-성능 매트릭스들은 현재 시점에서 동작하는 각 클라우드 서비스 서버(150)들의 성능 및 비용을 참조하여 주기적으로 갱신될 수 있고, 클라우드 서비스 서버 결정 장치(130)는 리소스별 비용-성능 매트릭스들을 포함하는 동적 비용-성능 메트릭을 이용하여 사용자 요구조건에 근접한 리소스 구성을 효과적으로 결정할 수 있다.Meanwhile, the cloud orchestration server 170 may receive and integrate current state information from each cloud service server 150 and then dynamically update cost-performance matrices for each resource. That is, the cost-performance matrices for each resource may be periodically updated with reference to the performance and cost of each cloud service server 150 operating at a current point in time, and the cloud service server determining device 130 determines the cost-performance matrix for each resource. Using dynamic cost-performance metrics including

특히, 클라우드 서비스 서버 결정 장치(130)는 사용자 요구조건의 변경이 발생하는 경우 클라우드 오케스트레이션 서버(170)에 의해 갱신된 동적 비용-성능 메트릭을 이용하여 현재 시점을 기준으로 사용자 요구조건에 근접한 리소스 구성을 빠르고 정확하게 갱신함으로써 사용자에게 최상의 클라우드 환경을 제공할 수 있다.In particular, the cloud service server determining device 130 configures resources close to the user requirements based on the current point in time by using the dynamic cost-performance metric updated by the cloud orchestration server 170 when a change in user requirements occurs. By updating quickly and accurately, it is possible to provide the best cloud environment to users.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art will variously modify and change the present invention within the scope not departing from the spirit and scope of the present invention described in the claims below. You will understand that it can be done.

100: 클라우드 서비스 서버 결정 시스템
110: 사용자 단말 130: 클라우드 서비스 서버 결정 장치
150: 클라우드 서비스 서버 170: 클라우드 오케스트레이션 서버
190: 데이터베이스
210: 프로세서 230: 메모리
250: 사용자 입출력부 270: 네트워크 입출력부
310: 학습코드 수신부 320: 학습코드 유형 판단부
330: 동적 비용-성능 메트릭 처리부
340: 후보 클라우드 서비스 서버 결정부
350: 클라우드 서비스 서버 결정부
360: 제어부100: cloud service server determination system
110: User terminal 130: Device for determining cloud service server
150: cloud service server 170: cloud orchestration server
190: database
210: processor 230: memory
250: user input/output unit 270: network input/output unit
310: learning code receiver 320: learning code type determination unit
330: dynamic cost-performance metric processing unit
340: candidate cloud service server determination unit
350: cloud service server determination unit
360: control unit

Claims

a learning code receiving unit for receiving a user learning code;
a learning code type determination unit for determining the type of the user learning code based on a learning code type model built through preliminary analysis of sample learning codes in a learning code population;
a dynamic cost-performance metric processing unit providing the type of the user learning code to a cloud orchestration server through a cloud resource allocation protocol and receiving a dynamic cost-performance metric for each type of learning code from the cloud orchestration server;
a candidate cloud service server determination unit that determines a cloud service server composed of resources that are closer to a user requirement than a specific criterion as a candidate cloud service server based on the dynamic cost-performance metric for each type of learning code; and
and a cloud service server determination unit determining the candidate cloud service server as a final service cloud server until the user requirement is changed.

The method of claim 1, wherein the learning code type determining unit
Artificial intelligence, characterized in that by analyzing the artificial intelligence operation characteristics of the sample learning code to determine one of the CPU intensive operation type, GPU intensive operation type, memory intensive operation type, and accelerator intensive operation type as the type of the user learning code. Base cloud service server determination device.

The method of claim 2, wherein the learning code type determining unit
Based on artificial intelligence, characterized in that the artificial intelligence operation characteristic is determined based on the usage of at least one of the CPU, GPU, memory, and accelerator predicted at each predetermined time interval during the artificial intelligence operation of the sample learning code. Cloud service server decision device.

The method of claim 1, wherein the dynamic cost-performance metric processing unit
An artificial intelligence-based cloud service server determination device, characterized in that for determining the existence probability of a server that satisfies the dynamic cost-performance metric for each learning code type based on a normal distribution of the cost-performance metric.

The method of claim 4, wherein the dynamic cost-performance metric processing unit
An artificial intelligence-based cloud service server determination device, characterized in that for adjusting a dynamic cost-performance metric for each learning code type when the existence probability of the server is less than or equal to a specific criterion.

The method of claim 1, wherein the candidate cloud service server determining unit
Determining the candidate cloud service server by aggregating the cloud service servers in the entire order in the order of resources closest to the user requirements and determining the load of the cloud service server to determine the candidate cloud service server. Device.

The method of claim 1, wherein the cloud service server determining unit
and when a change in the user requirements occurs, the cloud service server is aggregated again in the entire order and determined as the final service cloud server.

Receiving a user learning code;
Determining the type of the user learning code based on a learning code type model built through preliminary analysis of sample learning codes in a learning code population;
providing the user learning code type to a cloud orchestration server through a cloud resource allocation protocol and receiving a dynamic cost-performance metric for each learning code type from the cloud orchestration server;
determining, as a candidate cloud service server, a cloud service server composed of resources closer to a user requirement than a specific criterion based on the dynamic cost-performance metric for each type of learning code; and
and determining the candidate cloud service server as a final service cloud server until a change in the user requirement occurs.