KR20230087318A - 인공지능 기반 클라우드 서비스 장치 및 방법 - Google Patents
인공지능 기반 클라우드 서비스 장치 및 방법 Download PDFInfo
- Publication number
- KR20230087318A KR20230087318A KR1020210176152A KR20210176152A KR20230087318A KR 20230087318 A KR20230087318 A KR 20230087318A KR 1020210176152 A KR1020210176152 A KR 1020210176152A KR 20210176152 A KR20210176152 A KR 20210176152A KR 20230087318 A KR20230087318 A KR 20230087318A
- Authority
- KR
- South Korea
- Prior art keywords
- learning
- cloud service
- service server
- user
- performance
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 29
- 230000007786 learning performance Effects 0.000 claims abstract description 49
- 230000015556 catabolic process Effects 0.000 claims abstract description 38
- 238000006731 degradation reaction Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 24
- 230000006866 deterioration Effects 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2023—Failover techniques
- G06F11/203—Failover techniques using migration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45591—Monitoring or debugging support
Abstract
본 발명은 인공지능 기반 클라우드 서비스 장치 및 방법에 관한 것으로, 상기 장치는 사용자 학습코드를 수신하는 학습코드 수신부; 상기 사용자 학습코드를 클라우드 서비스 서버에 전송하여 학습을 수행하는 학습코드 학습 수행부; 상기 학습의 수행 과정에서 학습 성능 저하를 검출하고 클라우드 오케스트레이터에 학습 체인지오버를 요청하는 학습 성능 저하 처리부; 상기 클라우드 서비스 서버의 비용-성능 대비 우수한 비용-성능을 가지는 신규 클라우드 서비스 서버를 결정하는 클라우드 서비스 서버 결정부; 상기 신규 클라우드 서비스 서버로 상기 학습코드의 학습 체인지오버를 수행하는 학습 체인지오버 수행부; 및 상기 클라우드 서비스 서버에 대해 리소스 롤백을 수행하는 리소스 롤백 수행부;를 포함한다.
Description
본 발명은 클라우드 자원 활용 기술에 관한 것으로, 보다 상세하게는 인공지능을 활용하여 사용자의 학습코드를 클라우드 상에서 실행하기 위한 최적의 클라우드 환경을 동적으로 구성할 수 있는 인공지능 기반 클라우드 서비스 장치 및 방법에 관한 것이다.
최근 딥러닝 알고리즘은 다양한 분야에서 우수한 성능을 보이며 인공지능의 응용 사례를 넓히고 있다. 딥러닝 모델의 학습은 단시간에 많은 컴퓨팅 자원을 필요로 하기 때문에 주로 클라우드 환경 하에서 학습 작업이 이루어지고 있다.
하지만, 클라우드 컴퓨팅 서비스를 통해서 제공되는 자원의 종류가 너무 많은 탓에 사용자들은 다양한 서비스를 활용하여 최적의 딥러닝 학습 환경을 구축하는데 큰 어려움을 겪고 있다. 클라우드 인스턴스들 간의 가격 역시 큰 차이를 보이기에 성능 및 비용 측면에서 최적의 효율을 보이는 인스턴스를 선택하여 학습 작업을 진행하는 것은 매우 중요하면서도 어려운 일이다.
한편, 딥러닝(인공지능) 플랫폼은 인공지능 기술들, 예를 들어 영상처리, 음성인식, 자연어처리 등을 이용하여 필요에 의해서 사용자가 사용이 가능하게 해주는 제품이나 서비스를 개발하기 위한 도구를 의미할 수 있다. 최근 구현되고 있는 인공지능의 핵심 기술들은 다양한 분야로 응용 가능한 범용적인 특성을 갖고 있으며, 인공지능은 딥러닝 플랫폼의 핵심 기술에 해당할 수 있다.
본 발명의 일 실시예는 인공지능을 활용하여 사용자의 학습코드를 클라우드 상에서 실행하기 위한 최적의 클라우드 환경을 동적으로 구성할 수 있는 인공지능 기반 클라우드 서비스 장치 및 방법을 제공하고자 한다.
실시예들 중에서, 인공지능 기반 클라우드 서비스 장치는 사용자 학습코드를 수신하는 학습코드 수신부; 상기 사용자 학습코드를 클라우드 서비스 서버에 전송하여 학습을 수행하는 학습코드 학습 수행부; 상기 학습의 수행 과정에서 학습 성능 저하를 검출하고 클라우드 오케스트레이터에 학습 체인지오버를 요청하는 학습 성능 저하 처리부; 상기 클라우드 서비스 서버의 비용-성능 대비 우수한 비용-성능을 가지는 신규 클라우드 서비스 서버를 결정하는 클라우드 서비스 서버 결정부; 상기 신규 클라우드 서비스 서버로 상기 사용자 학습코드의 학습 체인지오버를 수행하는 학습 체인지오버 수행부; 및 상기 클라우드 서비스 서버에 대해 리소스 롤백을 수행하는 리소스 롤백 수행부;를 포함한다.
상기 학습 성능 저하 처리부는 상기 클라우드 서비스 서버로부터 상기 사용자 학습코드의 실행에 따른 비용 및 성능을 수신할 수 있다.
상기 학습 성능 저하 처리부는 상기 비용이 제1 특정 기준 이상이거나 또는 상기 성능이 제2 특정 기준 이하인 경우에는 상기 학습 성능 저하가 발생한 것으로 결정할 수 있다.
상기 학습 성능 저하 처리부는 상기 결정에 따라 상기 클라우드 오케스트레이터에 사용자 요구 비용 및 성능을 제공하여 상기 학습 체인지오버를 요청할 수 있다.
상기 클라우드 서비스 서버 결정부는 상기 클라우드 서비스 서버의 현재 비용 또는 현재 성능보다 우수하고 사용자 요구 비용 및 성능을 충족시키는 클라우드 서비스 서버를 검색할 수 있다.
상기 클라우드 서비스 서버 결정부는 상기 검색이 실패하면, 상기 클라우드 서비스 서버의 현재 비용 및 현재 성능보다 우수한 클라우드 서비스 서버 중 가장 좋은 성능을 가지는 클라우드 서비스 서버를 상기 신규 클라우드 서비스 서버로 결정할 수 있다.
상기 학습 체인지오버 수행부는 상기 사용자 학습코드의 실행을 멈추고 상기 사용자 학습코드의 실행에 따른 모델의 가중치 값을 상기 신규 클라우드 서비스 서버로 전송할 수 있다.
상기 리소스 롤백 수행부는 상기 클라우드 서비스 서버에 있는 CPU 리소스 및 GPU 리소스를 즉시 해제하고 상기 신규 클라우드 서비스 서버가 정상적으로 동작할 때까지 메모리 리소스를 백업할 수 있다.
실시예들 중에서, 인공지능 기반 클라우드 서비스 방법은 사용자 학습코드를 수신하는 단계; 상기 사용자 학습코드를 클라우드 서비스 서버에 전송하여 학습을 수행하는 단계; 상기 학습의 수행 과정에서 학습 성능 저하를 검출하고 클라우드 오케스트레이터에 학습 체인지오버를 요청하는 단계; 상기 클라우드 서비스 서버의 비용-성능 대비 우수한 비용-성능을 가지는 신규 클라우드 서비스 서버를 결정하는 단계; 상기 신규 클라우드 서비스 서버로 상기 사용자 학습코드의 학습 체인지오버를 수행하는 단계; 및 상기 클라우드 서비스 서버에 대해 리소스 롤백을 수행하는 단계;를 포함한다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 인공지능 기반 클라우드 서비스 장치 및 방법은 인공지능을 활용하여 사용자의 학습코드를 클라우드 상에서 실행하기 위한 최적의 클라우드 환경을 동적으로 구성할 수 있다.
본 발명의 일 실시예에 따른 인공지능 기반 클라우드 서비스 장치 및 방법은 사용자 학습코드의 실행 과정에서 학습 성능 저하가 검출된 경우 더 나은 클라우드 환경을 제공하는 물리적 노드로의 체인지오버를 제공할 수 있다.
도 1은 본 발명에 따른 클라우드 서비스 시스템을 설명하는 도면이다.
도 2는 도 1의 클라우드 서비스 장치의 시스템 구성을 설명하는 도면이다.
도 3은 도 1의 클라우드 서비스 장치의 기능적 구성을 설명하는 도면이다.
도 4는 본 발명에 따른 인공지능 기반 클라우드 서비스 방법을 설명하는 순서도이다.
도 5는 본 발명에 따른 클라우드 서비스 과정의 일 실시예를 설명하는 흐름도이다.
도 6은 본 발명에 따른 클라우드 서비스 과정의 일 실시예를 설명하는 도면이다.
도 2는 도 1의 클라우드 서비스 장치의 시스템 구성을 설명하는 도면이다.
도 3은 도 1의 클라우드 서비스 장치의 기능적 구성을 설명하는 도면이다.
도 4는 본 발명에 따른 인공지능 기반 클라우드 서비스 방법을 설명하는 순서도이다.
도 5는 본 발명에 따른 클라우드 서비스 과정의 일 실시예를 설명하는 흐름도이다.
도 6은 본 발명에 따른 클라우드 서비스 과정의 일 실시예를 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명에 따른 클라우드 서비스 시스템을 설명하는 도면이다.
도 1을 참조하면, 클라우드 서비스 시스템(100)은 사용자 단말(110), 클라우드 서비스 장치(130), 클라우드 서비스 서버(150) 및 데이터베이스(170)를 포함할 수 있다.
사용자 단말(110)은 클라우드 서비스를 이용할 수 있는 컴퓨팅 장치에 해당할 수 있고, 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC 등 다양한 디바이스로도 구현될 수 있다. 사용자 단말(110)은 클라우드 서비스 장치(130)와 네트워크를 통해 연결될 수 있고, 복수의 사용자 단말(110)들은 클라우드 서비스 장치(130)와 동시에 연결될 수 있다. 또한, 사용자 단말(110)은 클라우드 서비스 서버(150)와 직접 연결될 수 있으며, 클라우드 서비스 이용을 위한 전용 프로그램 또는 애플리케이션을 설치하여 실행시킬 수 있다.
클라우드 서비스 장치(130)는 클라우드 컴퓨팅 환경에서 사용자 학습코드를 기반으로 하는 딥러닝 관련 작업 시 학습 성능 저하가 검출되면 학습 체인지오버를 수행하여 최적의 환경을 구성하도록 실행 상태 모니터링 및 서비스 서버 간의 체인지오버(changeover) 관리를 수행하는 시스템, 또는 이에 해당하는 서버로 구현될 수 있다. 클라우드 서비스 장치(130)는 사용자 단말(110)과 네트워크를 통해 연결될 수 있고 관련 데이터를 주고받을 수 있다.
또한, 클라우드 서비스 장치(130)는 사용자 단말(110)과 연동하여 사용자 학습코드의 수신을 위한 전용 인터페이스를 제공할 수 있으며, 사용자 단말(110)로부터 수신된 사용자 학습코드를 데이터베이스(170)에 저장하여 보관할 수 있다.
또한, 클라우드 서비스 장치(130)는 적어도 하나의 외부 시스템과 연동하여 동작할 수 있다. 예를 들어, 외부 시스템은 클라우드 서비스를 위한 클라우드 서비스 서버(150), 딥러닝 학습을 위한 인공지능 서버, 서비스 결제를 위한 결제 서버 또는 사용자 인증을 위한 인증 서버 등을 포함할 수 있다. 특히, 클라우드 서비스 장치(130)는 복수의 클라우드 서비스 서버(150)와 연결되어 동작할 수 있으며, 클라우드 서비스 서버(150)들 중에서 사용자 학습코드의 실행에 적합한 장치를 학습 조건에 따라 동적으로 결정할 수 있다.
일 실시예에서, 클라우드 서비스 장치(130)는 클라우드 오케스트레이터(cloud orchestrator)와 연동하여 동작할 수 있다. 여기에서, 클라우드 오케스트레이터는 클라우드 환경과 같이 동적 환경의 요구사항을 충족시키면서 장치 또는 서버 간의 체인지오버(changeover)를 처리하는 컴퓨팅 장치 또는 서버에 해당할 수 있다. 클라우드 오케스트레이터는 현재 가동 중인 노드(node) 및 작업 정보를 기초로 동일하거나 그 이상의 성능을 제공하는 다른 노드를 선별하고 상호 간의 체인지오버에 관한 일련의 동작을 수행하도록 구현될 수 있다. 다른 실시예에서, 클라우드 서비스 장치(130)는 클라우드 오케스트레이터를 포함하여 구현될 수 있고, 이 경우 클라우드 오케스트레이터는 일 구성요소로서 다른 구성요소들과 연동하여 동작할 수 있다.
일 실시예에서, 클라우드 서비스 장치(130)는 데이터베이스(170)와 연동하여 학습 성능 저하에도 불구하고 일관성이 있는 서비스를 제공하기 위하여 딥러닝 작업을 위해 작성된 사용자 학습코드의 실행을 모니터링하고 학습 성능 저하의 검출에 따라 다른 클라우드 서비스 서버(150)로의 체인지오버를 위한 동작을 수행할 수 있다. 또한, 클라우드 서비스 장치(130)는 프로세서, 메모리, 사용자 입출력부 및 네트워크 입출력부를 포함하여 구현될 수 있으며, 이에 대해서는 도 2에서 보다 자세히 설명한다.
클라우드 서비스 서버(150)는 클라우드 환경을 제공하는 서비스 서버에 해당할 수 있다. 클라우드 서비스 서버(150)는 학습 성능 기준에 적합한 다양한 클라우드 리소스를 제공할 수 있으며, 클라우드 리소스들의 조합을 다양한 인스턴스로 구현하여 제공할 수 있다. 이를 위해, 클라우드 서비스 서버(150)는 복수의 자원풀(resource pool)들과 연결되어 구현될 수 있다.
일 실시예에서, 클라우드 서비스 서버(150)는 고유의 자원풀을 관리하도록 구현될 수 있고, 이에 따라 복수의 클라우드 서비스 서버(150)들이 클라우드 서비스 장치(130)와 연결되어 동작할 수 있다. 클라우드 서비스 서버(150)는 클라우드 서비스 장치(130)와 네트워크를 통해 연결될 수 있으며, 필요에 따라 사용자 단말(110)과 직접 연결될 수도 있다. 클라우드 서비스 서버(150)는 클라우드 서비스 장치(130)에서 수행되는 딥러닝 학습을 위한 다양한 클라우드 인스턴스들을 제공할 수 있으며, 일 실시예에서 클라우드 서비스 서버(150)는 딥러닝 플랫폼을 제공하는 서버의 역할을 수행할 수 있다.
데이터베이스(170)는 클라우드 서비스 장치(130)의 동작 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 데이터베이스(170)는 사용자 학습코드와 딥러닝 알고리즘에 관한 정보를 저장할 수 있고, 클라우드 환경 및 리소스에 관한 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 인공지능 기반 클라우드 서비스 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.
도 2는 도 1의 클라우드 서비스 장치의 시스템 구성을 설명하는 도면이다.
도 2를 참조하면, 클라우드 서비스 장치(130)는 프로세서(210), 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)를 포함하여 구현될 수 있다.
프로세서(210)는 클라우드 서비스 장치(130)가 동작하는 과정에서의 각 단계들을 처리하는 프로시저를 실행할 수 있고, 그 과정 전반에서 읽혀지거나 작성되는 메모리(230)를 관리할 수 있으며, 메모리(230)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄할 수 있다. 프로세서(210)는 클라우드 서비스 장치(130)의 동작 전반을 제어할 수 있고, 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 클라우드 서비스 장치(130)의 CPU(Central Processing Unit)로 구현될 수 있다.
메모리(230)는 SSD(Solid State Drive) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 클라우드 서비스 장치(130)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다.
사용자 입출력부(250)는 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함할 수 있다. 예를 들어, 사용자 입출력부(250)는 터치 패드, 터치 스크린, 화상 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(250)는 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 클라우드 서비스 장치(130)는 서버로서 수행될 수 있다.
네트워크 입출력부(270)은 네트워크를 통해 외부 장치 또는 시스템과 연결하기 위한 환경을 포함하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다.
도 3은 도 1의 클라우드 서비스 장치의 기능적 구성을 설명하는 도면이다.
도 3을 참조하면, 클라우드 서비스 장치(130)는 학습코드 수신부(310), 학습코드 학습 수행부(320), 학습 성능 저하 처리부(330), 클라우드 서비스 서버 결정부(340), 학습 체인지오버 수행부(350), 리소스 롤백 수행부(360) 및 제어부(도 3에 미도시함)을 포함할 수 있다.
학습코드 수신부(310)는 사용자 학습코드를 수신할 수 있다. 여기에서, 사용자 학습코드는 소정의 딥러닝 알고리즘을 구현한 딥러닝 학습코드로서 사용자에 의해 직접 생성되거나 입력된 학습코드에 해당할 수 있다. 즉, 사용자 학습코드의 실행을 통해 딥러닝 알고리즘이 구현된 결과 소정의 테스트 데이터셋에 관한 학습 동작이 수행될 수 있으며, 학습 과정에 대한 모니터링을 통해 딥러닝 학습에 관한 다양한 성능 메트릭(metric)이 측정될 수 있다. 또한, 사용자 학습코드는 소정의 프로그래밍 언어에 따라 작성될 수 있으며, 딥러닝 알고리즘의 특성이나 딥러닝 학습 방식에 따라 복수의 코드 섹션들을 포함할 수 있다. 예를 들어, 코드 섹션은 사용자 학습코드의 연산 구간, 함수 구간 및 반복 구간 등에 해당할 수 있다.
또한, 학습코드 수신부(310)는 사용자 단말(110)과 연동하여 사용자 학습코드의 수신을 위한 전용 인터페이스를 제공할 수 있으며, 사용자 단말(110)로부터 수신된 사용자 학습코드를 데이터베이스(170)에 저장하여 보관할 수 있다.
또한, 학습코드 수신부(310)는 사용자 학습코드를 수신하여 소정의 전처리 동작을 수행할 수 있다. 예를 들어, 학습코드 수신부(310)는 사용자 학습코드를 소정의 크기 이내로 제한하거나, 다수의 부분 학습코드들로 분할하는 등의 전처리 동작들을 선택적으로 수행할 수 있다. 또한, 학습코드 수신부(310)는 메타데이터 추출모듈을 포함할 수 있고, 메타데이터 추출모듈을 통해 사용자 학습코드로부터 메타데이터를 추출할 수 있다. 예를 들어, 추출된 메타데이터는 학습코드의 컴파일 시간, 빌드 시간, 프로그래밍 언어 및 바이너리 정보 등을 포함할 수 있다.
일 실시예에서, 학습코드 수신부(310)는 사용자 학습코드와 함께 사용자 학습 서비스 조건을 수신할 수 있다. 사용자 학습 서비스 조건은 사용자가 사용자 학습코드의 실행 과정에서 요구하는 클라우드 환경에 관한 서비스 조건에 해당할 수 있으며, 특히 클라우드 서비스를 이용함에 있어 필요한 성능 조건 및 비용 조건을 포함할 수 있다. 학습코드 수신부(310)는 사용자 단말(110)에게 사용자 학습코드 및 사용자 학습 서비스 조건의 입력을 위한 전용 인터페이스를 제공할 수 있다. 즉, 사용자는 사용자 단말(110) 상에서 제공되는 전용 인터페이스를 통해 사용자 학습코드와 사용자 학습 서비스 조건을 선택적으로 입력할 수 있으며, 필요에 따라 사용자 학습코드를 함께 입력하여 사용자 학습코드에 관한 실행을 요청할 수도 있다.
학습코드 학습 수행부(320)는 사용자 학습코드를 클라우드 서비스 서버(150)에 전송하여 학습을 수행할 수 있다. 만약 클라우드 서비스 서버(150)가 복수인 경우 학습코드 학습 수행부(320)는 복수의 서버들 중에서 최적의 서버를 선택하여 해당 서버를 통해 사용자 학습코드를 실행할 수 있으며, 사용자 학습코드의 실행에 따라 딥러닝 학습이 수행될 수 있다. 만약 사용자로부터 사용자 학습 서비스 조건을 함께 수신한 경우 학습코드 학습 수행부(320)는 사용자 학습 서비스 조건을 충족하는 서버들 중에서 사용자 학습코드의 실행을 위한 서버를 선택할 수 있다. 특히, 학습코드 학습 수행부(320)는 데이터베이스(170)에 저장된 소정의 학습 데이터셋의 일부를 기초로 딥러닝 학습을 수행할 수 있으며, 학습 데이터셋의 나머지를 기초로 딥러닝 모델을 평가할 수 있다.
한편, 클라우드 서비스 서버(150)는 사용자 학습코드의 실행을 위한 클라우드 환경을 구축하여 제공할 수 있으며, 사용자 학습코드에 최적화된 리소스를 구성하거나 또는 사용자가 요청한 학습 서비스 조건에 따른 리소스를 구성할 수 있다. 클라우스 서비스 서버(150)는 리소스 구성에 따른 클라우드 인스턴스들을 생성하고 클라우드 인스턴스를 통해 사용자 학습코드를 실행할 수 있다.
학습 성능 저하 처리부(330)는 학습의 수행 과정에서 학습 성능 저하를 검출하고 클라우드 오케스트레이터에 학습 체인지오버를 요청할 수 있다. 이를 위해, 학습 성능 저하 처리부(330)는 사용자 학습코드의 실행이 개시된 시점부터 클라우드 서비스 서버(150)부터 학습 과정에 관한 모니터링 정보를 수집할 수 있다. 이때, 모니터링 정보에는 사용자 학습코드의 실행으로 구현된 딥러닝 알고리즘의 특징 정보 및 리소스 정보에 관한 다양한 메트릭(metric)들이 포함될 수 있다. 또한, 학습 성능 저하 처리부(330)는 모니터링 정보에 다양한 분석 기법을 적용하여 학습 성능의 저하를 검출할 수 있다. 예를 들어, 학습 성능 저하 처리부(330)는 특정 메트릭의 변화를 추적하여 기 설정된 기준과의 편차를 기준으로 학습 성능의 저하를 결정할 수 있고, 메트릭들 간의 조합에 따른 성능 점수를 산출하고 성능 점수의 변화를 추적하여 학습 성능의 저하를 결정할 수도 있다.
일 실시예에서, 학습 성능 저하 처리부(330)는 클라우드 서비스 서버(150)로부터 사용자 학습코드의 실행에 따른 비용 및 성능을 수신할 수 있다. 학습 성능 저하 처리부(330)는 사용자 학습코드의 실행 시점부터 종료 시점까지의 비용 메트릭과 성능 메트릭을 구분하여 해당 변화 과정을 독립적으로 추적할 수 있다. 추적된 비용 및 성능 메트릭들은 해당 클라우드 서비스 서버(150)와 연관되어 데이터베이스(170)에 저장될 수 있으며, 이후 해당 클라우드 서비스 서버(150)의 특성 정보로서 사용될 수 있다.
일 실시예에서, 학습 성능 저하 처리부(330)는 사용자 학습코드의 실행에 따른 비용이 제1 특정 기준 이상이거나, 또는 사용자 학습코드의 실행에 따른 성능이 제2 특정 기준 이하인 경우에는 학습 성능 저하가 발생한 것으로 결정할 수 있다. 즉, 학습 성능 저하 처리부(330)는 사용자 학습코드의 실행에 따른 딥러닝 학습의 비용 또는 시간이 예측치보다 높게 나타나는 경우 학습 성능 저하가 발생한 것으로 결정할 수 있다. 여기에서, 제1 및 제2 특정 기준은 각각 시간(cost) 및 성능(latency) 관점에서 학습 성능 저하를 결정하는 기준값에 해당할 수 있으며, 클라우드 서비스 장치(130)에 의해 사전에 설정될 수 있다.
일 실시예에서, 학습 성능 저하 처리부(330)는 학습 성능 저하의 발생에 관한 결정에 따라 클라우드 오케스트레이터에 사용자 요구 비용 및 성능을 제공하여 학습 체인지오버를 요청할 수 있다. 여기에서, 사용자 요구 비용 및 성능은 사용자 학습 서비스 조건에 대응될 수 있다. 즉, 학습 성능 저하 처리부(330)는 학습 성능 저하의 발생 시점을 기준으로 클라우드 오케스트레이터에게 학습 체인지오버를 요청하여 사용자에 의해 요청된 비용 및 성능을 충족하는 클라우드 서비스 서버(150)를 검색하고 해당 서버로의 이전에 관한 동작을 개시할 수 있다.
한편, 클라우드 오케스트레이터는 각 클라우드 서비스 서버(150)와 연결되어 서버 및 자원풀의 상태를 관리할 수 있으며, 학습 성능 저하 처리부(330)의 요청에 따라 학습 체인지오버의 허용 여부를 결정할 수 있다. 특히, 클라우드 오케스트레이터는 서버 관리 모듈 및 자원풀 관리 모듈을 포함하여 서버 및 자원풀을 독립적으로 관리할 수 있다. 클라우드 오케스트레이터는 사용자 요구 비용 및 성능에 따라 학습 체인지오버의 허용을 결정한 경우 클라우드 서비스 장치(130)와 연동하여 사용자 학습코드에 관한 마이그레이션 동작을 처리할 수 있다.
클라우드 서비스 서버 결정부(340)는 클라우드 서비스 서버(150)의 비용-성능 대비 우수한 비용-성능을 가지는 신규 클라우드 서비스 서버를 결정할 수 있다. 즉, 클라우드 서비스 서버 결정부(340)는 현재 시점에 사용 가능한 클라우드 서비스 서버(150)들 중에서 비용과 성능에 관하여 현재의 서버보다 더 나은 조합을 제공하는 신규 클라우드 서비스 서버를 결정할 수 있다. 이를 위해, 클라우드 서비스 서버 결정부(340)는 비용 및 성능 각각에 가중치를 부여하고 비용 및 성능에 관한 가중치 점수를 산출하여 신규 클라우드 서비스 서버를 결정할 수 있다.
예를 들어, 비용 가중치 x 및 성능 가중치 y이고 사용자 요구 비용 X 및 성능 Y인 경우, 각 서버의 비용 및 성능 메트릭들 C 및 L에 대해 가중치 점수는 'x|C-X|+y|L-Y|'로 산출될 수 있다. 클라우드 서비스 서버 결정부(340)는 가중치 점수를 기준으로 각 서버들을 정렬한 다음 최우선순위에 해당하는 서버를 신규 클라우드 서비스 서버로 결정할 수 있다.
일 실시예에서, 클라우드 서비스 서버 결정부(340)는 클라우드 서비스 서버(150)의 현재 비용 또는 현재 성능보다 우수하고 사용자 요구 비용 및 성능을 충족시키는 클라우드 서비스 서버를 검색할 수 있다. 이를 위해, 클라우드 서비스 서버 결정부(340)는 클라우드 오케스트레이터와 연동하여 서버들의 로드(load) 상태, 자원(resource) 상태, 예약(reservation) 상태 등에 관한 메트릭들을 수신할 수 있으며, 사용자 학습코드의 실행에 있어 더 나은 클라우드 환경을 제공하기 위한 가용 서버를 검색할 수 있다.
일 실시예에서, 클라우드 서비스 서버 결정부(340)는 검색이 실패하면, 클라우드 서비스 서버(150)의 현재 비용 및 현재 성능보다 우수한 클라우드 서비스 서버 중 가장 좋은 성능을 가지는 클라우드 서비스 서버(150)를 신규 클라우드 서비스 서버로 결정할 수 있다. 클라우드 서비스 서버 결정부(340)는 현재 시점에 가용 서버들 중에서 사용자 학습 서비스 조건을 충족하는 서버가 존재하지 않더라도 현재 사용자 학습코드를 실행 중인 서버보다 더 나은 클라우드 환경을 제공하는 서버가 존재하는 경우 해당 서버를 신규 클라우드 서비스 서버로 결정할 수 있다.
학습 체인지오버 수행부(350)는 신규 클라우드 서비스 서버로 사용자 학습코드의 학습 체인지오버를 수행할 수 있다. 학습 체인지오버는 사용자 학습코드를 실행하는 물리적 노드의 변경으로서 딥러닝 학습의 변경없이도 더 나은 클라우드 환경에서 사용자 학습코드의 계속적 실행을 이어가는 작업에 해당할 수 있다. 학습 체인지오버는 현재 서버 상의 실행 상태를 신규 서버로 이전하는 동작을 포함할 수 있으며, 학습 체인지오버가 완료되면 현재 서버 상의 실행 상태를 정리하는 동작이 개시될 수 있다.
일 실시예에서, 학습 체인지오버 수행부(350)는 사용자 학습코드의 실행을 멈추고 사용자 학습코드의 실행에 따른 모델의 가중치 값을 신규 클라우드 서비스 서버로 전송할 수 있다. 사용자 학습코드의 실행에 따라 딥러닝 알고리즘이 구현되고 그에 따른 딥러닝 학습 과정이 수행될 수 있으며, 사용자 학습코드의 실행이 중단되면 딥러닝 학습 과정이 종료될 수 있다. 특히, 딥러닝 학습 과정 중 인공지능 연산의 전 단계 또는 후 단계에서 중단 지점이 결정될 수 있다. 학습 체인지오버 수행부(350)는 해당 중단 지점을 기초로 기 구축된 딥러닝 모델의 가중치 값을 사용자 학습코드의 실행 상태에 관한 정보로서 저장할 수 있다. 이때, 딥러닝 모델의 가중치 값은 매트릭스(행렬) 형태로 표현될 수 있으나, 반드시 이에 한정되지 않음은 물론이다. 만약 인공지능 연산이 매트릭스 연산(또는 행렬 연산)에 해당하는 경우, 학습 체인지오버 수행부(350)는 해당 매트릭스 연산의 입력 또는 출력 시점을 기준으로 사용자 학습코드의 실행 상태에 관한 정보로서 신규 클라우드 서비스 서버로 전송할 수 있다.
리소스 롤백 수행부(360)는 클라우드 서비스 서버(150)에 대해 리소스 롤백(rollback)을 수행할 수 있다. 리소스 롤백은 사용자 학습코드의 실행을 위한 리소스 할당을 해제하는 동작에 해당할 수 있다. 특히, 리소스 롤백 수행부(360)는 리소스 구성 과정에서 리소스 할당 순서의 역순으로 리소스 롤백 동작을 수행할 수 있다. 리소스 롤백 수행부(360)는 리소스 롤백 동작을 위해 해당 클라우드 서비스 서버(150)의 자원풀과 연동하여 동작할 수 있으며, 리소스 롤백에 의해 할당 해제된 리소스들은 각 자원풀에 추가되어 관리될 수 있다.
일 실시예에서, 리소스 롤백 수행부(360)는 클라우드 서비스 서버(150)의 리소스 상태에 따라 리소스 해제 순서를 동적으로 결정할 수 있다. 예를 들어, 클라우드 서비스 서버(150) 상에서 메모리 자원의 사용율이 매우 높아 가용 자원이 부족한 경우 리소스 롤백 수행부(360)는 다른 자원들보다 메모리 자원을 더 빨리 해제하여 부족한 자원을 보다 빠르게 충전할 수 있다. 리소스 롤백 수행부(360)는 다양한 리소스 메트릭을 통해 리소스들 간의 우선순위를 결정할 수 있으며, 해당 우선순위에 따라 리소스 해제 순서를 결정하여 리소스 롤백 동작을 수행할 수 있다.
일 실시예에서, 리소스 롤백 수행부(360)는 클라우드 서비스 서버(150)에 있는 CPU 리소스 및 GPU 리소스를 즉시 해제하고 신규 클라우드 서비스 서버가 정상적으로 동작할 때까지 메모리 리소스를 백업할 수 있다. 클라우드 환경에서 연산자원은 다른 자원들에 비해 보다 희소할 수 있으며, 이에 따라 리소스 롤백 수행부(360)는 리소스 롤백이 개시된 경우 리소스 유형들 중 CPU 및 GPU를 즉시 해제할 수 있다. 또한, 리소스 롤백 수행부(360)는 상대적으로 충분한 자원에 해당하는 메모리 자원의 경우 학습 체인지오버가 완료될 때까지 해당 할당을 유지하거나 별도의 저장공간에 백업하여 보관할 수 있다.
제어부(도 3에 미도시함)는 클라우드 서비스 장치(130)의 전체적인 동작을 제어하고, 학습코드 수신부(310), 학습코드 학습 수행부(320), 학습 성능 저하 처리부(330), 클라우드 서비스 서버 결정부(340), 학습 체인지오버 수행부(350) 및 리소스 롤백 수행부(360) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 4는 본 발명에 따른 인공지능 기반 클라우드 서비스 방법을 설명하는 순서도이다.
도 4를 참조하면, 클라우드 서비스 장치(130)는 학습코드 수신부(310)를 통해 사용자 학습코드를 수신할 수 있다(단계 S410). 클라우드 서비스 장치(130)는 학습코드 학습 수행부(320)를 통해 사용자 학습코드를 클라우드 서비스 서버(150)에 전송하여 학습을 수행할 수 있다(단계 S420).
또한, 클라우드 서비스 장치(130)는 학습 성능 저하 처리부(330)를 통해 학습의 수행 과정에서 학습 성능 저하를 검출하고 클라우드 오케스트레이터에 학습 체인지오버를 요청할 수 있다(단계 S430). 클라우드 서비스 장치(130)는 클라우드 서비스 서버 결정부(340)를 통해 클라우드 서비스 서버(150)의 비용-성능 대비 우수한 비용-성능을 가지는 신규 클라우드 서비스 서버를 결정할 수 있다(단계 S440).
또한, 클라우드 서비스 장치(130)는 학습 체인지오버 수행부(350)를 통해 신규 클라우드 서비스 서버로 사용자 학습코드의 학습 체인지오버를 수행할 수 있다(단계 S450). 클라우드 서비스 장치(130)는 리소스 롤백 수행부(360)를 통해 클라우드 서비스 서버(150)에 대해 리소스 롤백을 수행할 수 있다(단계 S460).
도 5는 본 발명에 따른 클라우드 서비스 과정의 일 실시예를 설명하는 흐름도이다.
도 5를 참조하면, 클라우드 서비스 장치(130)는 사용자 단말(110)로부터 사용자 학습코드를 수신할 수 있으며, 경우에 따라 사용자 학습코드에 관한 실행 요청을 함께 수신할 수 있다. 클라우드 서비스 장치(130)는 클라우드 오케스트레이터(150)를 통해 사용자 학습코드의 실행을 위한 클라우드 서비스 서버(150) 정보를 수신할 수 있다. 즉, 클라우드 오케스트레이터(510)는 클라우드 서비스 서버(150)들과 연결되어 서버 상태 정보를 모니터링할 수 있고, 클라우드 서비스 장치(130)와 연동하여 특정 시점에서 사용자 학습코드의 실행에 적합한 클라우드 서비스 서버(150)를 결정할 수 있다.
이후, 클라우드 서비스 장치(130)는 제1 클라우드 서비스 서버에게 사용자 학습코드의 실행을 요청할 수 있으며, 제1 클라우드 서비스 서버는 해당 사용자 학습코드의 실행을 위한 클라우드 환경을 구축할 수 있다(S510). 즉, 제1 클라우드 서비스 서버는 사용자 학습코드의 실행을 위한 리소스 구성에 따라 리소스를 할당할 수 있으며, 클라우드 인스턴스를 생성하여 사용자 학습코드를 실행할 수 있다. 이때, 클라우드 서비스 장치(130)는 제1 클라우드 서비스 서버로부터 사용자 학습코드의 실행 과정에서 학습 성능 데이터를 수집할 수 있다.
특히, 클라우드 서비스 장치(130)는 제1 클라우드 서비스 서버에서의 학습 성능 저하가 검출된 경우 클라우드 오케스트레이터(510)에게 학습 체인지오버를 요청할 수 있다. 클라우드 오케스트레이터(510)는 학습 체인지오버에 관한 요청에 응답하여 요청 시점에서 제1 클라우드 서비스 서버의 현재 비용 또는 현재 성능보다 우수하고 사용자 요구 비용 및 성능을 충족시키는 제2 클라우드 서비스 서버를 검색할 수 있다. 클라우드 오케스트레이터(510)는 검색에 성공한 경우 제2 클라우드 서비스 서버를 신규 클라우드 서비스 서버로서 클라우드 서비스 장치(130)에게 전송할 수 있다.
이에 따라, 클라우드 서비스 장치(130)는 클라우드 오케스트레이터(510)와 연동하여 제2 클라우드 서비스 서버로의 학습 체인지오버를 수행할 수 있다. 학습 체인지오버에 따라 제2 클라우드 서비스 서버는 사용자 학습코드의 실행을 위한 클라우드 환경을 구축하고, 제1 클라우드 서비스 서버 상에서의 실행 상태를 복원하여 사용자 학습코드의 실행을 계속하여 실행할 수 있다(S530).
한편, 클라우드 서비스 장치(130)는 학습 체인지오버의 실행에 따라 제1 클라우드 서비스 서버 상에서 리소스 롤백을 수행할 수 있다. 리소스 롤백은 제1 클라우드 서비스 서버가 사용자 학습코드의 실행을 위하여 할당한 리소스들을 해제하는 동작에 해당할 수 있다. 이때, 클라우드 서비스 장치(130)는 제1 클라우드 서비스 서버와 연동하여 제1 클라우드 서비스 서버 상에서의 리소스 롤백을 제어할 수 있다.
특히, 클라우드 서비스 장치(130)는 제1 클라우드 서비스 서버의 리소스 상태에 따라 리소스 해제 순서를 동적으로 결정할 수 있다. 예를 들어, 클라우드 서비스 장치(130)는 리소스 유형 별로 리소스 사용율을 산출하고 현재 가용 자원량과의 비교를 통해 리소스 유형별 우선순위를 결정할 수 있다. 클라우드 서비스 장치(130)는 리소스 유형별 우선순위에 따라 리소스 해제를 위한 순서를 결정할 수 있다. 제1 클라우드 서비스 서버는 해당 해제 순서에 따라 리소스 해제 동작을 수행할 수 있으며, 해제된 리소스들은 각 자원풀에 추가되어 관리될 수 있다.
도 6은 본 발명에 따른 클라우드 서비스 과정의 일 실시예를 설명하는 도면이다.
도 6을 참조하면, 클라우드 서비스 장치(130)는 클라우드 오케스트레이터(610)와 연동하여 사용자 학습코드(670)의 실행을 위한 최적의 클라우드 환경을 제공할 수 있다. 즉, 클라우드 오케스트레이터(610)는 각 클라우드 서비스 서버(150)와 연결되어 서버 상태 정보를 모니터링하고, 클라우드 서비스 장치(130)로부터 사용자 학습코드(670)의 실행 요청을 수신하면 최적의 클라우드 서비스 서버(150)를 결정하여 해당 요청에 응답할 수 있다.
클라우드 서비스 장치(130)는 사용자 학습코드(670)를 제1 클라우드 서비스 장치(630)에서 제공하는 클라우드 인스턴스 상에서 실행할 수 있으며, 비용-성능 메트릭을 수집할 수 있다. 클라우드 서비스 장치(130)는 기 설정된 기준과의 비교를 통해 학습 성능 저하가 발생한 것으로 결정되면, 클라우드 오케스트레이터(610)에게 학습 체인지오버를 요청할 수 있다. 클라우드 오케스트레이터(610)는 학습 체인지오버를 위한 제2 클라우드 서비스 서버(650)를 선택하여 클라우드 서비스 장치(130)에게 제공하고, 클라우드 서비스 장치(130)는 클라우드 오케스트레이터(610)와의 연동을 통해 제2 클라우드 서비스 서버(650)로의 학습 체인지오버를 수행할 수 있다.
결과적으로, 사용자는 자신의 딥러닝 학습 작업을 물리적 노드의 변경에도 불구하고 중단없이 계속적으로 수행할 수 있고, 클라우드 서비스 장치(130)는 사용자에게 사용자 학습코드의 실행을 위한 최적의 클라우드 환경을 제공할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 클라우드 서비스 시스템
110: 사용자 단말 130: 클라우드 서비스 장치
150: 클라우드 서비스 서버 170: 데이터베이스
210: 프로세서 230: 메모리
250: 사용자 입출력부 270: 네트워크 입출력부
310: 학습코드 수신부 320: 학습코드 학습 수행부
330: 학습 성능 저하 처리부 340: 클라우드 서비스 서버 결정부
350: 학습 체인지오버 수행부 360: 리소스 롤백 수행부
510, 610: 클라우드 오케스트레이터
630: 제1 클라우드 서비스 서버 650: 제2 클라우드 서비스 서버
670: 사용자 학습코드
110: 사용자 단말 130: 클라우드 서비스 장치
150: 클라우드 서비스 서버 170: 데이터베이스
210: 프로세서 230: 메모리
250: 사용자 입출력부 270: 네트워크 입출력부
310: 학습코드 수신부 320: 학습코드 학습 수행부
330: 학습 성능 저하 처리부 340: 클라우드 서비스 서버 결정부
350: 학습 체인지오버 수행부 360: 리소스 롤백 수행부
510, 610: 클라우드 오케스트레이터
630: 제1 클라우드 서비스 서버 650: 제2 클라우드 서비스 서버
670: 사용자 학습코드
Claims (9)
- 사용자 학습코드를 수신하는 학습코드 수신부;
상기 사용자 학습코드를 클라우드 서비스 서버에 전송하여 학습을 수행하는 학습코드 학습 수행부;
상기 학습의 수행 과정에서 학습 성능 저하를 검출하고 클라우드 오케스트레이터에 학습 체인지오버를 요청하는 학습 성능 저하 처리부;
상기 클라우드 서비스 서버의 비용-성능 대비 우수한 비용-성능을 가지는 신규 클라우드 서비스 서버를 결정하는 클라우드 서비스 서버 결정부;
상기 신규 클라우드 서비스 서버로 상기 사용자 학습코드의 학습 체인지오버를 수행하는 학습 체인지오버 수행부; 및
상기 클라우드 서비스 서버에 대해 리소스 롤백을 수행하는 리소스 롤백 수행부;를 포함하는 인공지능 기반 클라우드 서비스 장치.
- 제1항에 있어서, 상기 학습 성능 저하 처리부는
상기 클라우드 서비스 서버로부터 상기 사용자 학습코드의 실행에 따른 비용 및 성능을 수신하는 것을 특징으로 하는 인공지능 기반 클라우드 서비스 장치.
- 제2항에 있어서, 상기 학습 성능 저하 처리부는
상기 비용이 제1 특정 기준 이상이거나 또는 상기 성능이 제2 특정 기준 이하인 경우에는 상기 학습 성능 저하가 발생한 것으로 결정하는 것을 특징으로 하는 인공지능 기반 클라우드 서비스 장치.
- 제3항에 있어서, 상기 학습 성능 저하 처리부는
상기 결정에 따라 상기 클라우드 오케스트레이터에 사용자 요구 비용 및 성능을 제공하여 상기 학습 체인지오버를 요청하는 것을 특징으로 하는 인공지능 기반 클라우드 서비스 장치.
- 제1항에 있어서, 상기 클라우드 서비스 서버 결정부는
상기 클라우드 서비스 서버의 현재 비용 또는 현재 성능보다 우수하고 사용자 요구 비용 및 성능을 충족시키는 클라우드 서비스 서버를 검색하는 것을 특징으로 하는 인공지능 기반 클라우드 서비스 장치.
- 제5항에 있어서, 상기 클라우드 서비스 서버 결정부는
상기 검색이 실패하면, 상기 클라우드 서비스 서버의 현재 비용 및 현재 성능보다 우수한 클라우드 서비스 서버 중 가장 좋은 성능을 가지는 클라우드 서비스 서버를 상기 신규 클라우드 서비스 서버로 결정하는 것을 특징으로 하는 인공지능 기반 클라우드 서비스 장치.
- 제1항에 있어서, 상기 학습 체인지오버 수행부는
상기 사용자 학습코드의 실행을 멈추고 상기 사용자 학습코드의 실행에 따른 모델의 가중치 값을 상기 신규 클라우드 서비스 서버로 전송하는 것을 특징으로 하는 인공지능 기반 클라우드 서비스 장치.
- 제1항에 있어서, 상기 리소스 롤백 수행부는
상기 클라우드 서비스 서버에 있는 CPU 리소스 및 GPU 리소스를 즉시 해제하고 상기 신규 클라우드 서비스 서버가 정상적으로 동작할 때까지 메모리 리소스를 백업하는 것을 특징으로 하는 인공지능 기반 클라우드 서비스 장치.
- 사용자 학습코드를 수신하는 단계;
상기 사용자 학습코드를 클라우드 서비스 서버에 전송하여 학습을 수행하는 단계;
상기 학습의 수행 과정에서 학습 성능 저하를 검출하고 클라우드 오케스트레이터에 학습 체인지오버를 요청하는 단계;
상기 클라우드 서비스 서버의 비용-성능 대비 우수한 비용-성능을 가지는 신규 클라우드 서비스 서버를 결정하는 단계;
상기 신규 클라우드 서비스 서버로 상기 사용자 학습코드의 학습 체인지오버를 수행하는 단계; 및
상기 클라우드 서비스 서버에 대해 리소스 롤백을 수행하는 단계;를 포함하는 인공지능 기반 클라우드 서비스 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210176152A KR102613366B1 (ko) | 2021-12-09 | 2021-12-09 | 인공지능 기반 클라우드 서비스 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210176152A KR102613366B1 (ko) | 2021-12-09 | 2021-12-09 | 인공지능 기반 클라우드 서비스 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230087318A true KR20230087318A (ko) | 2023-06-16 |
| KR102613366B1 KR102613366B1 (ko) | 2023-12-13 |
Family
ID=86948498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210176152A KR102613366B1 (ko) | 2021-12-09 | 2021-12-09 | 인공지능 기반 클라우드 서비스 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102613366B1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170078012A (ko) | 2015-12-29 | 2017-07-07 | 전자부품연구원 | 클라우드 자원 모니터링 및 예측을 통한 자원 할당 최적화 방법 및 시스템 |
| KR20190070659A (ko) * | 2017-12-13 | 2019-06-21 | 주식회사 넥스클라우드 | 컨테이너 기반의 자원 할당을 지원하는 클라우드 컴퓨팅 장치 및 방법 |
| KR20190131174A (ko) * | 2018-05-16 | 2019-11-26 | 국민대학교산학협력단 | 클라우드 기반의 배치 서비스 제공 장치 및 방법 |
| KR102063791B1 (ko) * | 2018-07-05 | 2020-01-08 | 국민대학교산학협력단 | 클라우드 기반의 인공지능 연산 서비스 방법 및 장치 |
| KR20200133478A (ko) * | 2019-05-20 | 2020-11-30 | 삼성전자주식회사 | 클라우드 시스템에서 자원을 조정하기 위한 장치 및 방법 |
-
2021
- 2021-12-09 KR KR1020210176152A patent/KR102613366B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170078012A (ko) | 2015-12-29 | 2017-07-07 | 전자부품연구원 | 클라우드 자원 모니터링 및 예측을 통한 자원 할당 최적화 방법 및 시스템 |
| KR20190070659A (ko) * | 2017-12-13 | 2019-06-21 | 주식회사 넥스클라우드 | 컨테이너 기반의 자원 할당을 지원하는 클라우드 컴퓨팅 장치 및 방법 |
| KR20190131174A (ko) * | 2018-05-16 | 2019-11-26 | 국민대학교산학협력단 | 클라우드 기반의 배치 서비스 제공 장치 및 방법 |
| KR102063791B1 (ko) * | 2018-07-05 | 2020-01-08 | 국민대학교산학협력단 | 클라우드 기반의 인공지능 연산 서비스 방법 및 장치 |
| KR20200133478A (ko) * | 2019-05-20 | 2020-11-30 | 삼성전자주식회사 | 클라우드 시스템에서 자원을 조정하기 위한 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102613366B1 (ko) | 2023-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3718008B1 (en) | Provisioning using pre-fetched data in serverless computing environments | |
| CN110134495B (zh) | 一种容器跨主机在线迁移方法、存储介质及终端设备 | |
| US9483319B2 (en) | Job scheduling apparatus and method therefor | |
| EP3432157B1 (en) | Data table joining mode processing method and apparatus | |
| CN102402458A (zh) | 具有非对称处理器核的系统上的虚拟机和/或多级调度支持 | |
| CN102667724A (zh) | 利用加速器的、目标指向的工作负载性能管理 | |
| US20080172668A1 (en) | Profile-based cpu/core affinity | |
| US20180046489A1 (en) | Storage medium, method, and device | |
| CN109189552B (zh) | 虚拟网络功能扩容与缩容方法及系统 | |
| US9575854B1 (en) | Cascade failure resilient data storage | |
| US20170262310A1 (en) | Method for executing and managing distributed processing, and control apparatus | |
| KR102613365B1 (ko) | 인공지능 기반 클라우드 서비스 서버 결정 장치 및 방법 | |
| KR102613366B1 (ko) | 인공지능 기반 클라우드 서비스 장치 및 방법 | |
| US20230155958A1 (en) | Method for optimal resource selection based on available gpu resource analysis in large-scale container platform | |
| KR102504939B1 (ko) | 클라우드 기반 딥러닝 작업의 수행시간 예측 시스템 및 방법 | |
| US11336519B1 (en) | Evaluating placement configurations for distributed resource placement | |
| KR20230087314A (ko) | 인공지능 기반 클라우드 학습장치 및 방법 | |
| KR20230087312A (ko) | 인공지능 기반 클라우드 학습장치 및 방법 | |
| KR20230087308A (ko) | 인공지능 기반 리소스 활용패턴예측을 통한 클라우드 학습장치 및 방법 | |
| KR20230087316A (ko) | 인공지능 기반 클라우드 서비스 서버 결정 장치 및 방법 | |
| US10171378B2 (en) | System and method for allocating and reserving supervisors in a real-time distributed processing platform | |
| Silva et al. | A scheduler for mobile cloud based on weighted metrics and dynamic context evaluation | |
| KR20230087319A (ko) | 인공지능 기반 클라우드 학습장치 및 방법 | |
| CN108279982A (zh) | pbs资源与hadoop资源管理方法、系统及设备 | |
| KR102278185B1 (ko) | 블록체인 노드를 이용한 서버리스 서비스 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |