KR20210034558A

KR20210034558A - 인공 지능 개발 플랫폼의 관리 방법 및 장치, 매체

Info

Publication number: KR20210034558A
Application number: KR1020210031313A
Authority: KR
Inventors: 정슝 위안; 언 스; 융캉 셰; 밍런 후; 정위 쳰; 전팡 추
Original assignee: 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date: 2020-06-30
Filing date: 2021-03-10
Publication date: 2021-03-30
Also published as: KR102556186B1; JP2021121921A; EP3817339B1; CN111782185A; EP3817339A2; CN111782185B; JP7161560B2; US20210211361A1; US11455173B2; EP3817339A3

Abstract

본 공개는 인공 지능 개발 플랫폼의 관리 방법 및 장치, 매체를 제공하고, 인공 지능 기술분야에 관한 것이다. 상기 인공 지능 개발 플랫폼에는 다수의 모델 서비스의 인스턴스가 배치되어 있고, 또한 각 모델 서비스는 하나 이상의 인스턴스를 구비한다. 상기 관리 방법은, 적어도 하나의 모델 서비스의 호출 정보를 얻는 단계; 상기 호출 정보에 따라 상기 적어도 하나의 모델 서비스의 활성화 정도를 결정하는 단계; 및 결정된 활성화 정도가 제1 조건을 충족시키는 것에 대한 응답으로, 최소한 상기 적어도 하나의 모델 서비스의 모든 인스턴스를 삭제하는 단계;를 포함한다.

Description

인공 지능 개발 플랫폼의 관리 방법 및 장치, 매체{ARTIFICIAL INTELLIGENCE DEVELOPMENT PLATFORM MANAGING METHOD, DEVICE, AND MEDIUM}

본 공개는 인공 지능 기술 분야에 관한 것으로, 특히 인공 지능 개발 플랫폼의 관리 방법 및 장치, 매체에 관한 것이다.

다양한 산업에 인공 지능(artificial intelligence, AI) 기술이 적용되면서, AI기술 역량을 보유한 기업은 AI개발 플랫폼을 통해 사용자 맞춤형 모델을 위한 자동화 배치 및 서비스 솔루션을 제공한다. 방대한 AI모델 서비스는 AI개발 플랫폼의 모델 배치 및 온라인 추론에 도전하고 있다.

본 공개의 하나의 측면에 따르면, 인공 지능 개발 플랫폼의 관리 방법을 제공하고, 상기 인공 지능 개발 플랫폼에는 다수의 모델 서비스의 인스턴스가 배치되어 있고, 또한 각 모델 서비스는 하나 이상의 인스턴스를 구비하며, 상기 관리 방법은, 적어도 하나의 모델 서비스의 호출 정보를 얻는 단계; 상기 호출 정보에 따라 상기 적어도 하나의 모델 서비스의 활성화 정도를 결정하는 단계; 및 결정된 활성화 정도가 제1 조건을 충족시키는 것에 대한 응답으로, 최소한 상기 적어도 하나의 모델 서비스의 모든 인스턴스를 삭제하는 단계;를 포함한다.

본 공개의 다른 측면에 따르면, 인공 지능 개발 플랫폼 시스템을 더 제공하고, 다수의 모델 서비스의 인스턴스가 배치되어 있고, 또한 각 모델 서비스는 하나 이상의 인스턴스를 구비하도록 구성된 클라우드 서버; 적어도 하나의 모델 서비스의 호출 정보를 얻도록 구성된 호출 정보 수집 모듈; 상기 호출 정보에 따라 상기 적어도 하나의 모델 서비스의 활성화 정도를 결정하도록 구성된 검출 모듈; 결정된 활성화 정도가 제1 조건을 충족시키는 것에 대한 응답으로, 최소한 상기 적어도 하나의 모델 서비스의 모든 인스턴스를 삭제하도록 구성된 실행 모듈;을 포함한다.

본 공개의 다른 측면에 따르면, 전자 장치를 더 제공하고, 프로세서; 및 프로그램이 저장되는 메모리;를 포함하고, 상기 프로그램은 명령을 포함하며, 상기 명령이 프로세서에 의해 실행되면 상기 프로세서가 상술한 관리 방법을 실행하도록 한다.

본 공개의 다른 측면에 따르면, 프로그램이 저장되는 컴퓨터 판독가능 저장매체를 제공하고, 상기 프로그램은 명령을 포함하며, 상기 명령이 전자 장치의 프로세서에 의해 실행되면 전자 장치가 상술한 관리 방법을 실행하도록 한다.

본 공개의 다른 측면에 따르면, 컴퓨터 판독가능 저장매체에 저장되는 컴퓨터 프로그램을 더 제공하고, 상기 컴퓨터 프로그램은 명령을 포함하고, 상기 명령이 적어도 하나의 프로세서에 의해 실행되면 상술한 관리 방법을 실현한다.

도면은 실시예를 예시적으로 나타내고 명세서의 일부를 구성하며, 명세서의 문자 기재와 함께 실시예의 예시적 실시형태를 해석한다. 보여준 실시예는 예시적인 목적으로만 사용되고, 청구항의 범위를 한정하지 않는다. 모든 도면에서 동일한 부호는 유사하지만 반드시 동일하지는 않은 요소를 가리킨다.
도 1은 예시적인 실시예에 따른 인공 지능 개발 플랫폼의 관리 방법의 흐름도를 나타낸다.
도 2은 예시적인 실시예에 따른 최소한 모델 서비스의 모든 인스턴스를 삭제하는 흐름도를 나타낸다.
도 3은 예시적인 실시예에 따른 인공 지능 개발 플랫폼의 관리 방법의 흐름도를 나타낸다.
도 4은 예시적인 실시예에 따른 인공 지능 개발 플랫폼 시스템의 개략적인 구성 블록도를 나타낸다.
도 5는 예시적인 실시예에 적용될 수 있는 예시적인 컴퓨팅 장치의 구조 블록도를 나타낸다.

본 공개에서는 별도의 설명이 없는 한, “제1”, “제2” 등의 용어를 이용하여 각종 요소를 설명하는 것은 이들 요소의 위치 관계, 시간순서 관계 또는 중요성 관계를 한정하는 것을 의도하지 않는다. 이러한 용어는 하나의 소자를 다른 소자와 구분하기 위할 뿐이다. 일부 예시에서 제1 요소와 제2 요소는 당해 요소의 동일 구현예를 지칭할 수 있으며, 일부 경우에 이들은 문맥상 서로 다른 구현예를 지칭할 수도 있다.

본 공개에서, 각종 상기 예시에 대한 설명에서 사용된 용어는 특정 예시를 설명하기 위한 목적일 뿐, 한정하는 것을 의도하지 않는다. 문맥상 별도로 명백히 설명하지 않은 한, 요소의 수를 특별히 한정하지 않으면 당해 요소는 하나 또는 다수일 수 있다. 또한, 본 공개에서 사용된 용어 “및/또는”은 나열된 항목 중의 임의의 하나 및 모든 가능한 조합 방식을 포함한다.

AI개발 플랫폼의 경우, AI모델, 특히 딥 러닝 모델의 네트워크 구조가 매우 복잡하고, 단일 모델 서비스 인스턴스의 배치에 필요한 메모리 공간이 비교적 크다(GB 수준). AI개발 플랫폼은 수만 개의 모델 서비스를 지원해야 하고, 방대한 메모리 리소스를 제공해야 하므로, 기계 비용이 매우 높고, 또한 대량의 모델 서비스가 장시간 호출되지 않는 경우가 존재하여, 자원 활용도가 낮다. 또한 대량의 서비스 액세스는 AI개발 플랫폼의 액세스 계층에 부담을 주며, 예를 들어 방대한 트래픽 라우팅 규칙 구성, 빈번한 라우팅 규칙 변동은, 액세스 계층의 성능 문제를 초래하기 쉬워, 온라인 추론 서비스의 전반적인 성능 저하할 유발한다.

관련 기술에서는, 방대한 AI모델 서비스로 인한 상술한 문제를 해결하기 위한 방안은 주로 아래 같은 두 가지 방안이다.

첫 번째 방안, 다중 클러스터 방안에 기반하여, 단일 대형 클러스터를 다수의 중간 크기의 클러스터로 분할하고, 계층적 라우팅 규칙을 제정하여 단일 클러스터의 라우팅 부하를 줄인다.

두 번째 방안, serverless(서버리스) 방안에 기반하여, 트래픽 특징에 따라 서비스 인스턴스 수량을 자동으로 조절한다.

그러나, 첫째 방안은 방대한 모델이 메모리 리소스를 차지하는 문제를 근본적으로 해결하지 못하며, 용량을 늘리기 위해 여전히 대량의 머신 리소스가 필요하다. 또한 클러스터 간의 협조 문제가 더 추가되며, 네트워크 토폴로지가 복잡하고, 네트워크 문제로 인해 다중 클러스터의 상태가 동기화되지 않을 수 있다. 두 번째 방안은 AI개발 플랫폼에 어떠한 모델 서비스 인스턴스도 배치하지 않고, 트래픽 특징에 따라 서비스 인스턴스 수량을 자동으로 조정하므로, AI 모델 서비스 초기화에 시간이 오래 걸리고, 복잡한 모델은 몇 분 정도 걸릴 수 있다. 따라서, 서버리스 방안은 트래픽을 유지하고 전달하는 자동 웨이크 업 메커니즘을 통해서는 효과적일 수 없으며, 온라인 추론 요청이 시간 초과되기 쉽다. 서버리스 방안은 또한 서비스 그리드 프레임워크를 도입해야 하며, 저장된 서비스의 이동 과정이 번거로워, 플랫폼 개조 비용이 증가한다. 따라서, AI 모델 서비스로 인한 상술한 문제를 해결하기 위한 효과적인 기술이 절실히 필요하다.

이를 바탕으로, 본 공개는 모델 서비스의 호출 정보를 얻는 것을 통해, 호출 정보를 기반으로 모델 서비스의 활성화 정도를 결정하는 인공 지능 개발 플랫폼의 관리 방법을 제공한다. 정책 규칙을 설정할 수 있고, 모델 서비스의 활성화 정도가 제1 조건을 충족시킨다는 결정에 대한 응답으로, 모델 서비스의 개발 플랫폼에 배치된 모든 인스턴스를 삭제하여, 머신CPU 및 메모리 등의 리소스를 방출한다. 이를 통해 리소스 활용도를 높이고, AI개발 플랫폼에 대한 머신 리소스 요구를 줄일 수 있다. 또한, 모델 서비스의 호출 활성화 정도를 기반으로 모델 서비스 인스턴스를 삭제하므로, 서버리스 자동 웨이크 업 메커니즘의 온라인 추론 요청이 쉽게 시간 초과되는 문제를 극복할 수 있고, 서비스 그리드 프레임워크를 도입할 필요가 없으므로, AI개발 플랫폼에 대한 개조 비용이 매우 낮다.

본 공개에서 모델 서비스의 모델 추론 트래픽을 수신한 것에 대한 응답으로, 모델 서비스의 하나의 인스턴스에 의해 온라인 추론을 실행한다. 모델 서비스의 호출 정보는 실질적으로 모델 서비스의 모든 인스턴스의 호출 정보이다.

이하에서는 도면을 결합하여 본 공개의 인공 지능 개발 플랫폼의 관리 방법에 대해 추가로 설명한다.

AI개발 플랫폼은 사용자에게 자동화 배치와 서비스 방안을 제공한다. AI개발 플랫폼에는 다수의 모델 서비스의 인스턴스가 배치될 수 있다. 모델 서비스의 인스턴스는 모델 서비스의 모델 추론 트래픽을 수신한 것에 대한 응답으로 온라인 추론을 실행하여, 이미지 분류, 물체 감지, 텍스트 인식, 음성 인식, 자연어 처리와 같은 특정 기능을 실현할 수 있다. 각 모델 서비스는 하나 이상의 인스턴스를 가질 수 있고, 각 인스턴스는 상기 모델 서비스의 하나의 부본이고, 상기 하나 이상의 인스턴스는 온라인 추론을 실행하여 동일한 기능을 실현할 수 있다. 사용자는 실제 필요에 따라 모델 서비스의 인스턴스의 배치 수량을 선택할 수 있다.

설명드릴 것은, 특별히 설명하지 않는 한, 본 공개에서 모델 서비스는 모두 사용자가 AI개발 플랫폼에 인스턴스를 배치한 모델이고, 일정한 기능을 실현할 수 있다. 사용자는 자신이 AI개발 플랫폼에 배치한 모델 서비스의 인스턴스를 호출할 수도 있고, 다른 사용자가 AI개발 플랫폼에 배치한 모델 서비스의 인스턴스를 호출할 수도 있다.

도 1은 본 공개의 예시적인 실시예에 따른 인공 지능 개발 플랫폼의 관리 방법의 흐름도를 나타낸다. 도 1에 도시된 바와 같이, 상기 관리 방법은, 적어도 하나의 모델 서비스의 호출 정보를 얻는 단계(S101); 상기 호출 정보에 따라 상기 적어도 하나의 모델 서비스의 활성화 정도를 결정하는 단계(S102); 및 결정된 활성화 정도가 제1 조건을 충족시키는 것에 대한 응답으로, 최소한 상기 적어도 하나의 모델 서비스의 모든 인스턴스를 삭제하는 단계(S103);를 포함할 수 있다. 이를 통해 머신 리소스의 활용도를 높일 수 있다.

일부 실시예에 따르면, AI플랫폼에 배치된 모든 저장된 모델 서비스의 활성화 정도를 결정하고, 활성화 정도가 상기 제1 조건을 충족시키는 적어도 하나의 모델 서비스에 대해 모든 인스턴스를 삭제할 수 있다.

상기 호출 정보는 예를 들면 모델 서비스의 생성 시간, 및 최근 호출 시간, 소정 시간의 윈도우 내 호출 횟수 및 소정 시간의 윈도우 내의 호출 시각 분포 중 적어도 하나를 포함할 수 있다. 이를 통해 상기 호출 정보를 기반으로 모델 서비스의 활성화 정도(즉 호출 활성화 정도)를 결정할 수 있다.

일부 실시예에 따르면, 모델 서비스의 활성화 정도는 활성화 및 저활성화 두 레벨로 나눌 수 있지만 이에 제한되지 않는다. 이 경우, 결정된 활성화 정도가 저활성화 레벨이라는 것에 대한 응답으로, 최소한 상기 적어도 하나의 모델 서비스의 모든 인스턴스를 삭제할 수 있다.

일부 예시적인 실시예에서, 모델 서비스의 호출 정보를 기반으로, 상기 모델 서비스가 가까운 시기에 안정적인 호출이 있다고 결정할 경우, 상기 모델 서비스는 제1 조건을 충족시키지 않는 것으로 결정하고, 상기 모델 서비스의 인스턴스를 삭제하지 않음으로써, 상기 모델 서비스의 온라인 추리 요청의 시효성을 보장할 수 있다. 상기 모델 서비스가 가까운 시기에 호출되지 않았지만, 장기적인 시간 척도(예를 들면, 모델 서비스의 생성 시간부터 현재 시간까지의 시간 척도)에서 안정적인 호출이 있는 것으로 결정되면, 상기 모델 서비스는 제1 조건을 충족시키는 것으로 결정하여, 상기 모델 서비스의 모든 인스턴스를 삭제할 수 있다.

일부 실시예에 따르면, 인스턴스가 삭제된 적어도 하나의 모델 서비스에 대해, 인스턴스가 삭제된 상기 적어도 하나의 모델 서비스가 소정 기간 내에 호출되지 않았다는 결정에 대한 응답으로, 상기 적어도 하나의 모델 서비스의 상기 플랫폼 액세스 계층에서의 라우팅 구성을 삭제할 수 있다. 즉, 인스턴스가 삭제된 모델 서비스에 대해, 소정 시간 윈도우 내에서 호출되었는지 여부를 추가로 판단하고, YES일 경우, 인스턴스가 삭제된 모델 서비스에 대해 대응하는 라우팅 규칙을 추가로 삭제한다. 이를 통해 트래픽 라우팅 규칙 구성 및 빈번한 라우팅 규칙 변경이 플랫폼 액세스 계층에 주는 부담을 줄여, 온라인 추론 서비스의 성능을 향상시킬 수 있다.

상술한 정책 규칙에서, 호출 정보를 기반으로 모델 서비스가 가까운 시기에 호출되었는지 여부 및 안정적인 호출이 있는지 여부를 결정함으로써, 모델 서비스를 활성화 서비스 및 저활성화 서비스로 나눈다. 모델 서비스의 활성화 정도가 저활성화 레벨이라는 결정에 대한 응답으로(즉 제1 조건을 충족시킴), 모델 서비스의 모든 인스턴스를 삭제한다. 이후, 인스턴스가 삭제된 모델 서비스가 소정 시간 윈도우 내에서 호출되었는지 여부를 결정하고, 호출되지 않은 경우, 계속하여 인스턴스가 삭제된 모델 서비스에 대응하는 라우팅 규칙을 삭제한다. 이를 통해 리소스 활용도를 높임과 동시에, 과도한 라우팅 규칙으로 인한 비즈니스 서비스에 대한 성능 손실을 줄일 수 있다.

이해할 수 있는 것은, 기타 정책 규칙에 따라 상술한 바와 다른 제1 조건을 설정하고 모델 서비스의 활성화 정도가 설정된 제1 조건을 충족시킨다는 결정에 대한 응답으로, 적어도 모델 서비스의 모든 인스턴스를 삭제할 수도 있다. 예를 들면, 호출 정보를 기반으로 모델 서비스를 활성화 서비스, 저활성화 서비스 및 비활성화 서비스로 나눌 수도 있다. 모델 서비스의 활성화 정도가 활성화라는 결정에 대한 응답으로, 모델 서비스의 인스턴스를 실행하지 않고, 모델 서비스의 활성화 정도가 저활성화라는 결정에 대한 응답으로, 모델 서비스의 모든 인스턴스만 삭제하고, 모델 서비스의 활성화 정도가 비활성화라는 결정에 대한 응답으로, 모델 서비스의 모든 인스턴스 및 라우팅 규칙을 삭제한다. 다시 말하면, 상기 제1 조건은 상이한 하위 조건을 더 포함할 수 있고, 상이한 하위 조건에 따라 최소한 모델 서비스의 모든 실시예를 삭제하는 것을 실행한다. 상기 예시적인 실시예에서, 활성화 서비스는 예를 들면 모델 서비스의 생성 시간부터 현재 시간까지인 시간 척도 상에서 모두 안정적인 호출이 있는 서비스일 수 있으며, 저활성화 서비스는 예를 들면 가까운 시기에 호출되지 않았으나 비교적 긴 시간 윈도우 내에서 안정적인 호출이 있는 서비스일 수 있고, 비활성화 서비스는 예를 들면 비교적 긴 시간 윈도우 내에서 호출되지 않은 서비스일 수 있다.

일부 실시예에 따르면, 도 2에 도시된 바와 같이, 상기 최소한 상기 적어도 하나의 모델 서비스의 모든 인스턴스를 삭제하는 단계(S103)는, 상기 적어도 하나의 모델 서비스가 상기 인공 지능 개발 플랫폼의 클러스터 내에 존재하는지 여부를 결정하는 단계(S1031); 및 상기 적어도 하나의 모델 서비스가 상기 클러스터에 존재한다는 결정에 대한 응답으로, 상기 적어도 하나의 모델 서비스의 후단을 트래픽 수락 모듈로 스위칭하는 단계(S1032);를 포함할 수 있다. 상기 트래픽 수락 모듈은 인스턴스가 삭제된 모델 서비스에 대한 모델 추론 트래픽을 수신하기 위한 것이다. 이를 통해 모델 서비스 자체를 삭제하지 않고, 최소한 모델 서비스의 AI개발 플랫폼에 배치된 모든 인스턴스(즉 모든 부본)만 삭제함으로써, 이후 모델 서비스의 인스턴스 배치를 복원할 수 있도록 한다.

사용자는 AI개발 플랫폼에 모델 서비스를 생성한 후, 모델 서비스를 전용 스토리지 시스템(예를 들면 클라우드 스토리지 시스템)에 저장할 수 있고, 또한 사용자의 요구에 따라 일정한 수량의 인스턴스를 배치하여 온라인 추론을 실행할 수 있다.

일부 실시예에 따르면, 단계(S103)는 상기 적어도 하나의 모델 서비스의 초기 데이터 정보를 상기 클러스터에 계속 저장하는 단계(S1033)를 더 포함할 수 있다. 상기 초기 데이터 정보는 최소한 상기 적어도 하나의 모델 서비스의 인스턴스가 삭제되기 전에 상기 개발 플랫폼에 배치된 인스턴스의 제1 수량을 포함한다. 이를 통해 인스턴스가 삭제된 모델 서비스가 호출될 때 모델 서비스의 모든 인스턴스를 복원시켜, 사용자의 온라인 추리 요구에 영향을 주지 않을 수 있다.

상기 초기 데이터 정보는 예를 들면 인스턴스가 삭제된 모델 서비스에 필요한 컴퓨팅 리소스(예를 들면, 프로세서의 유형 및 모델 번호 등)를 더 포함할 수 있으므로, 삭제된 모델 서비스의 모든 인스턴스를 복원한 후, 모델 서비스의 온라인 추론 성능을 보장할 수 있다.

상기 인공 지능 개발 플랫폼은 단일 클러스터일 수 있지만 이에 제한되지 않는다. 이를 통해 모델 서비스의 인스턴스를 삭제한 후, 모델 서비스의 초기 데이터 정보가 상기 클러스터에 존재하고 또한 여전히 저장될 수 있도록 보장할 수 있어, 이후 모델 서비스의 인스턴스 배치를 복원할 수 있도록 한다.

AI개발 플랫폼이 단일 클러스터인 경우, 모델 서비스의 모든 인스턴스를 삭제한 것에 대한 응답으로, 인스턴스가 삭제된 모델 서비스의 후단을 트래픽 수락 모듈로 스위칭하는 하는 것을 직접 실행할 수 있고, 상기 트래픽 수락 모듈은 인스턴스가 삭제된 모델 서비스에 대한 모델 추론 트래픽을 수신하기 위한 것이다.

일부 실시예에 따르면, 도 3에 도시된 바와 같이, 상기 관리 방법은 상기 트래픽 수락 모듈이 인스턴스가 삭제된 상기 적어도 하나의 모델 서비스에 대한 모델 추론 트래픽을 수신한 것에 대한 응답으로, 상기 적어도 하나의 모델 서비스에 대한 웨이크 업 동작을 트리거하는 단계(S104)를 더 포함할 수 있다. 상기 웨이크 업 동작은 상기 인공 지능 개발 플랫폼에서 상기 적어도 하나의 모델 서비스의 상기 제1 수량의 인스턴스를 복원하고, 상기 제1 수량의 인스턴스가 모두 가동될 때까지 복원된 인스턴스의 상태를 폴링하는 것; 및 상기 적어도 하나의 모델 서비스의 후단을 복원된 제1 수량의 인스턴스로 다시 스위칭하는 것을 포함할 수 있다. 이를 통해 사용자가 인스턴스가 삭제된 모델 서비스를 호출할 때, AI개발 플랫폼 상에서 모델 서비스의 모든 인스턴스를 복원하여, 온라인 추론을 실행할 수 있다. 또한, 삭제된 모델 서비스의 모든 인스턴스를 복원한 후, 모델 서비스의 후단을 모델 서비스의 인스턴스로 다시 스위칭함으로써, 이후 상기 모델 서비스에 대한 호출을 용이하게 하여, 상기 모델 서비스에 대한 온라인 추리 요청 지연 문제를 방지한다.

상기 적어도 하나의 모델 서비스의 상기 플랫폼 액세스 계층에서의 라우팅 구성이 삭제된 경우, 상기 웨이크 업 동작은 상기 적어도 하나의 모델 서비스에 대응하는 라우팅 규칙을 재구성하는 것을 더 포함할 수 있다. 이로써 액세스 계층은 인스턴스가 복원된 상기 적어도 하나의 모델 서비스의 모델 추론 트래픽을 수신할 경우, 라우팅 규칙에 따라 유저단과 모델 서비스의 인스턴스 사이의 연결을 구축할 수 있다.

하나의 예시적인 실시예에서, 상기 트래픽 수락 모듈은 다수의 인스턴스를 가질 수 있고, 또한 상기 트래픽 수락 모듈의 다수의 인스턴스 중의 제1 인스턴스가 먼저 인스턴스가 삭제된 상기 적어도 하나의 모델 서비스에 대한 모델 추론 트래픽을 수신한 경우, 상기 제1 인스턴는 분산형 잠금 리소스를 얻어 상기 웨이크 업 동작을 트리거한다. 여기서, 상기 제1 인스턴스는 상기 분산형 잠금 리소스를 보유할 경우, 상기 트래픽 수락 모듈의 다수의 인스턴스 중의 다른 인스턴스가 상기 웨이크 업 동작을 트리거하는 것을 방지할 수 있다. 따라서, 분산형 잠금 리소스를 설정하는 것을 통해 인스턴스가 삭제된 모델 서비스를 중복하여 웨이크 업하는 것을 방지하고, 머신 리소스의 불필요한 점유를 방지할 수 있다.

본 공개의 기술방안은 모델 서비스의 호출 정보를 기반으로 모델 서비스의 호출 활성화 정도를 결정하고, 정책 규칙을 설정하여, 모델 서비스의 활성화 정도가 소정의 제1 조건을 충족시키는 것에 대한 응답으로, 최소한 모델 서비스의 모든 인스턴스를 삭제할 수 있고, 이를 통해 머신 리소스의 활용 효율을 향상시키고, 플랫폼에 대한 머신 리소스 요구를 낮추며, 온라인 추론의 성능을 더 향상시킬 수 있다.

상술한 내용은 모델 서비스가 호출될 수 있는 활성화 정도를 나타내는 호출 정보는 모델 서비스의 생성 시간, 및 모델 서비스의 최근 호출 시간, 소정 시간의 윈도우 내 호출 횟수 및 소정 시간의 윈도우 내의 호출 시각 분포 중 적어도 하나를 포함할 수 있음을 보여주었다. 이를 통해 상기 호출 정보를 기반으로 모델 서비스의 호출 활성화 정도를 얻을 수 있다.

다시 말하면, 상기 적어도 하나의 모델 서비스의 호출 정보를 얻는 단계(S101)는 상기 적어도 하나의 모델 서비스의 생성 시간을 얻는 단계, 및 상기 적어도 하나의 모델 서비스의 최근 호출 시간, 소정 시간의 윈도우 내 호출 횟수 및 소정 시간의 윈도우 내의 호출 시각 분포 중 적어도 하나를 얻는 단계를 포함할 수 있다.

일부 실시예에 따르면, 상기 적어도 하나의 모델 서비스의 모든 인스턴스와 관련된 트래픽 로그를 분석하는 것을 통해, 상기 적어도 하나의 모델 서비스의 최근 호출 시간, 소정 시간의 윈도우 내 호출 횟수 및 소정 시간의 윈도우 내의 호출 시각 분포 중 적어도 하나를 얻을 수 있다. 예를 들면, 플랫폼 액세스 계층을 통해 상기 적어도 하나의 모델 서비스의 모든 인스턴스와 관련된 트래픽 로그를 얻을 수 있고, 트래픽 로그를 분석하는 것을 통해 상기 적어도 하나의 모델 서비스의 상술한 정보를 얻을 수 있다. 상기 적어도 하나의 모델 서비스의 모든 인스턴스와 관련된 트래픽 로그를 정기적으로 얻을 수 있고, 예를 들면, 전날의 상기 적어도 하나의 모델 서비스의 모든 인스턴스와 관련된 트래픽 로그를 당일에 얻는다. 플랫폼 액세스 계층의 모든 인스턴스의 트래픽 로그를 취합하고, 로그 중의 각 추론 트래픽 요청을 분석하여, 각 모델 서비스의 호출 정보를 얻을 수 있다. 플랫폼 액세스 계층의 트래픽 로그를 통해 AI개발 플랫폼의 모든 저장된 모델 서비스의 모든 인스턴스의 호출 정보를 얻을 수 있으므로, 트래픽 로그를 분석하는 것을 통해 저장된 모델 서비스 각각의 호출 정보를 얻어, 호출 정보를 기반으로 저장된 모델 서비스 각각의 호출 활성화 정도를 결정할 수 있다.

본 공개의 다른 하나의 측면은, 인공 지능 개발 플랫폼 시스템을 더 제공한다. 도 4에 도시된 바와 같이, 인공 지능 개발 플랫폼 시스템(100)은 다수의 모델 서비스의 인스턴스가 배치되어 있고, 또한 각 모델 서비스는 하나 이상의 인스턴스를 구비하도록 구성된 클라우드 서버(1001); 적어도 하나의 모델 서비스의 호출 정보를 얻도록 구성된 호출 정보 수집 모듈(101); 상기 호출 정보에 따라 상기 적어도 하나의 모델 서비스의 활성화 정도를 결정하도록 구성된 검출 모듈(102); 결정된 활성화 정도가 제1 조건을 충족시키는 것에 대한 응답으로, 최소한 상기 적어도 하나의 모델 서비스의 모든 인스턴스를 삭제하도록 구성된 실행 모듈(103);을 포함할 수 있다. 이를 통해 머신 리소스의 활용도를 높일 수 있다.

일부 실시예에 따르면, 호출 정보 수집 모듈(101)은 상기 적어도 하나의 모델 서비스의 생성 시간을 얻고, 상기 적어도 하나의 모델 서비스의 모든 인스턴스와 관련된 트래픽 로그를 분석하는 것을 통해, 상기 적어도 하나의 모델 서비스의 최근 호출 시간, 소정 시간의 윈도우 내 호출 횟수 및 소정 시간의 윈도우 내의 호출 시각 분포 중 적어도 하나를 얻도록 구성될 수 있다. 이해할 수 있는 것은, 상기 호출 정보는 상기 적어도 하나의 모델 서비스의 호출 활성화 정도를 나타낼 수 있는 다른 정보를 더 포함할 수 있고, 이에 대해 제한하지 않는다.

일부 실시예에 따르면, 실행 모듈(103)은 또한 인스턴스가 삭제된 상기 적어도 하나의 모델 서비스가 소정 기간 내에 호출되지 않았다는 결정에 대한 응답으로, 상기 적어도 하나의 모델 서비스의 플랫폼 액세스 계층(105)에서의 라우팅 구성을 삭제하도록 구성될 수 있다. 이를 통해 트래픽 라우팅 규칙 구성 및 빈번한 라우팅 규칙 변경이 플랫폼 액세스 계층에 주는 부담을 줄여, 온라인 추론 서비스의 성능을 향상시킬 수 있다.

일부 실시예에 따르면, 인공 지능 개발 플랫폼 시스템(100)은 트래픽 수락 모듈(104)을 더 포함할 수 있고, 또한, 결정된 활성화 정도가 제1 조건을 충족시키는 것에 대한 응답으로, 실행 모듈(103)은 상기 적어도 하나의 모델 서비스가 상기 인공 지능 개발 플랫폼 시스템의 클러스터에 존재하는지 여부를 결정하고; 및 상기 적어도 하나의 모델 서비스가 상기 클러스터에 존재한다는 결정에 대한 응답으로, 상기 적어도 하나의 모델 서비스의 후단을 트래픽 수락 모듈(104)로 스위칭하도록 구성될 수 있으며, 트래픽 수락 모듈(104)은 인스턴스가 삭제된 모델 서비스에 대한 모델 추론 트래픽을 수신하기 위한 것이다.

일부 실시예에 따르면, 실행 모듈(103)은 또한 상기 적어도 하나의 모델 서비스의 초기 데이터 정보를 상기 클러스터에 계속 저장하도록 구성될 수 있으며, 상기 초기 데이터 정보는 최소한 상기 적어도 하나의 모델 서비스의 인스턴스가 삭제되기 전에 클라우드 서버(1001)에 배치된 인스턴스의 제1 수량을 포함한다. 이를 통해 인스턴스가 삭제된 모델 서비스가 호출될 경우, 사용자의 온라인 추론 요구에 영향을 주지 않으면서 모델 서비스의 모든 인스턴스를 복원할 수 있다.

상기 인공 지능 개발 플랫폼 시스템은 단일 클러스터일 수 있으나 이에 제한되지 않고, 이를 통해 모델 서비스의 인스턴스를 삭제한 후, 모델 서비스의 초기 데이터 정보가 상기 클러스터에 존재하고 또한 여전히 저장될 수 있도록 보장할 수 있어, 이후 모델 서비스의 인스턴스 배치를 복원할 수 있도록 한다.

일부 실시예에 따르면, 인공 지능 개발 플랫폼 시스템(100)은 서비스 웨이크 업 모듈(106)을 더 포함할 수 있고, 서비스 웨이크 업 모듈(106)은 트래픽 수락 모듈(104)이 인스턴스가 삭제된 상기 적어도 하나의 모델 서비스에 대한 모델 추론 트래픽을 수신한 것에 대한 응답으로, 클라우드 서버(1001)에서 상기 적어도 하나의 모델 서비스의 상기 제1 수량의 인스턴스를 복원하고, 상기 제1 수량의 인스턴스가 모두 가동될 때까지 복원된 인스턴스의 상태를 폴링하고, 상기 적어도 하나의 모델 서비스의 후단을 복원된 제1 수량의 인스턴스로 다시 스위칭하도록 구성될 수 있다. 이를 통해 사용자가 인스턴스가 삭제된 모델 서비스를 호출할 때, AI개발 플랫폼 시스템의 클라우드 서버에서 모델 서비스의 모든 인스턴스를 복원하여, 온라인 추론을 실행할 수 있다. 또한, 모델 서비스가 삭제된 모든 인스턴스를 복원한 후, 모델 서비스의 후단을 모델 서비스의 인스턴스로 다시 스위칭함으로써, 이후 상기 모델 서비스에 대한 호출을 용이하게 하여, 상기 모델 서비스에 대한 온라인 추리 요청 지연 문제를 방지한다.

상기 적어도 하나의 모델 서비스의 상기 플랫폼 액세스 계층에서의 라우팅 구성이 삭제된 경우, 서비스 웨이크 업 모듈(106)은 또한 상기 적어도 하나의 모델 서비스에 대응하는 라우팅 규칙을 재구성하도록 구성될 수 있다. 이를 통해 액세스 계층은 상기 적어도 하나의 모델 서비스의 모델 추론 트래픽을 수신한 경우, 라우팅 규칙에 따라 유저단과 모델 서비스의 인스턴스 사이의 연결을 구축할 수 있다.

하나의 예시적인 실시예에서, 트래픽 수락 모듈(104)은 다수의 인스턴스를 가질 수 있고, 또한, 트래픽 수락 모듈(104)의 다수의 인스턴스 중의 제1 인스턴스가 먼저 인스턴스가 삭제된 상기 적어도 하나의 모델 서비스에 대한 모델 추론 트래픽을 수신한 경우, 상기 제1 인스턴스는 분산형 잠금 리소스를 얻어 상기 웨이크 업 동작을 트리거하고, 상기 제1 인스턴스는 상기 분산형 잠금 리소스를 보유할 때 상기 트래픽 수락 모듈의 다수의 인스턴스 중의 다른 인스턴스가 상기 웨이크 업 동작을 트리거하는 것을 방지할 수 있다. 따라서, 분산형 잠금 리소스를 설정하는 것을 통해 인스턴스가 삭제된 모델 서비스를 중복하여 웨이크 업하는 것을 방지하고, 머신 리소스의 불필요한 점유를 방지할 수 있다.

본 공개의 다른 측면에 따르면, 전자 장치를 더 제공하고, 프로세서; 및 프로그램이 저장되는 메모리를 포함하고, 상기 프로그램은 명령을 포함하며, 상기 명령이 프로세서에 의해 실행되면 상기 프로세서가 상술한 관리 방법을 실행하도록 한다.

도 5를 참고하여, 컴퓨팅 장치(2000)를 설명하며, 본 공개의 각 측면에 적용될 수 있는 하드웨어 장치(전자 장치)의 예시이다. 컴퓨팅 장치(2000)는 처리 및/또는 계산을 실행할 수 있는 임의의 장치일 수 있고, 위크스테이션, 서버, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 개인 정보 단말기, 로봇, 스마트폰, 차량 탑재 컴퓨터 또는 이들의 임의의 조합일 수 있으나 이에 한정되지 않는다. 상기 관리 방법은 컴퓨팅 장치(2000) 또는 유사 장치 또는 시스템에 의해 각각 완전히 또는 적어도 부분적으로 실현될 수 있다.

컴퓨팅 장치(2000)는 (하나 이상의 인터페이스를 통해) 버스(2002)에 연결되거나 버스(2002)와 통신할 수 있는 소자를 포함할 수 있다. 예를 들어, 컴퓨팅 장치(2000)는 버스(2002), 하나 이상의 프로세서(2004), 하나 이상의 입력 장치(2006) 및 하나 이상의 출력 장치(2008)를 포함할 수 있다. 하나 이상의 프로세서(2004)는 임의의 유형의 프로세서일 수 있으며, 하나 이상의 범용 프로세서 및/또는 하나 이상의 전용 프로세서(예를 들어 특수 처리 칩)를 포함할 수 있으나 이에 한정되지 않는다. 입력 장치(2006)는 컴퓨팅 장치(2000)에 정보를 입력할 수 있는 임의의 유형의 장치일 수 있고, 마우스, 키보드, 터치 스크린, 마이크 및/또는 리모컨을 포함할 수 있으나 이에 한정되지 않는다. 출력 장치(2008)는 정보를 나타낼 수 있는 임의의 유형의 장치일 수 있으며, 디스플레이, 스피커, 비디오/오디오 출력 단말기, 진동기 및/또는 프린터를 포함할 수 있으나 이에 한정되지 않는다. 컴퓨팅 장치(2000)는 비일시적 저장 장치(2010)를 포함하거나 비일시적 저장 장치(2010)에 연결될 수도 있다. 비일시적 저장 장치는 비일시적이고 데이터 저장을 구현할 수 있는 임의의 저장 장치일 수 있다. 비일시적 저장 장치는 디스크 드라이버, 광학 저장 장치, 고체 메모리, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프 또는 임의의 다른 자기 매체, 광 디스크 또는 임의의 다른 광학 매체, ROM(롬), RAM(램), 캐시 메모리 및/또는 임의의 다른 메모리 칩 또는 박스, 및/또는 컴퓨터가 데이터, 명령 및/또는 코드를 판독할 수 있는 임의의 다른 매체를 포함할 수 있으나 이에 한정되지 않는다. 비일시적 저장 장치(2010)는 인터페이스로부터 탈착될 수 있다. 비일시적 저장 장치(2010)는 상기 방법과 단계를 구현하기 위한 데이터/프로그램(명령을 포함)/코드를 구비할 수 있다. 컴퓨팅 장치(2000)는 통신 장치(2012)를 포함할 수도 있다. 통신 장치(2012)는 외부 장치 및/또는 네트워크와 통신할 수 있는 임의의 유형의 장치 또는 시스템일 수 있으며, 모뎀, 네트워크 카드, 적외선 통신 장치, 무선 통신 장치 및/또는 칩셋, 예를 들어 블루투스 TM 장치, 1302.11 장치, WiFi 장치, WiMax 장치, 셀룰러 통신 장치 및/또는 유사물을 포함할 수 있으나 이에 한정되지 않는다.

컴퓨팅 장치(2000)는 작업 메모리(2014)를 포함할 수도 있으며, 작업 메모리(2014)는 프로세서(2004)의 작업에 유용한 프로그램(명령을 포함) 및/또는 데이터를 저장할 수 있는 임의의 유형의 작업 메모리일 수 있으며, 램 및/또는 롬 장치를 포함할 수 있으나 이에 한정되지 않는다.

소프트웨어 요소(프로그램)는 작업 메모리(2014)에 위치할 수 있으며, 오퍼레이팅 시스템(2016), 하나 이상의 응용 프로그램(2018), 구동 프로그램 및/또는 기타 데이터와 코드를 포함하나 이에 한정되지 않는다. 상기 방법과 단계를 실행하기 위한 명령은 하나 이상의 응용 프로그램(2018)에 포함될 수 있으며, 상기 관리 방법은 각각 프로세서(2004)에 의해 하나 또는 이상의 응용 프로그램(2018)의 명령을 판독 및 실행시키는 것을 통해 구현될 수 있다. 더 구체적으로, 상기 관리 방법에서 단계(S101)~단계(S103)는 예를 들어 프로세서(2004)를 통해, 단계(S101)~단계(S103)의 명령을 구비한 응용 프로그램(2018)을 실행시킴으로써 구현될 수 있다. 또한, 상기 관리 방법 중의 다른 단계는 예를 들어 프로세서(2004)를 통해, 상응한 단계를 실행하는 명령을 구비한 응용 프로그램(2018)을 실행시킴으로써 구현될 수 있다. 소프트웨어 요소(프로그램)의 명령의 실행 가능한 코드 또는 소스 코드는 비일시적 컴퓨터 판독가능 저장매체(예를 들어 상기 저장 장치(2010))에 저장될 수 있으며, 실행 시에는 작업 메모리(2014)에 저장될 수 있다(컴파일 및/또는 설치될 수 있다). 소프트웨어 요소(프로그램)의 명령의 실행 가능한 코드 또는 소스 코드는 원격으로 다운로드될 수도 있다.

또한, 구체적인 요구에 따라 다양하게 변형할 수 있음을 이해해야 한다. 예를 들어, 주문형 하드웨어를 사용할 수도 있고, 및/또는 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로 코드, 하드웨어 설명 언어 또는 이들의 임의의 조합을 이용하여 특정 소자를 구현할 수 있다. 예를 들어, 공개된 방법과 장치 중의 일부 또는 전체는 본 공개에 따른 로직과 알고리즘을 이용하는 것을 통해, 어셈블리 언어 또는 하드웨어 프로그래밍 언어(예컨대 VERILOG, VHDL, C++)로 하드웨어(예를 들어, 필드 프로그래머블 게이트 어레이(FPGA) 및/또는 프로그래머블 로직 어레이(PLA)를 포함하는 프로그래머블 로직 회로)를 프로그래밍하여 구현할 수 있다.

또한, 전술한 방법은 서버-클라이언트 모드를 이용하여 구현할 수 있음을 이해해야 한다. 예를 들어, 클라이언트는 유저가 입력한 데이터를 수신하고 상기 데이터를 서버에 송신할 수 있다. 클라이언트는 유저가 입력한 데이터를 수신하여, 전술한 방법 중의 일부 처리를 진행하고, 처리하여 얻은 데이터를 서버에 송신할 수도 있다. 서버는 클라이언트로부터 데이터를 수신하여, 전술한 방법 또는 전술한 방법 중의 다른 부분을 실행하고, 실행 결과를 클라이언트에 피드백할 수 있다. 클라이언트는 서버로부터 방법의 실행 결과를 수신할 수 있으며, 또한 예를 들어 출력 기기를 통해 유저에게 보여줄 수 있다.

또한, 컴퓨팅 장치(2000)의 구성 요소는 네트워크에 분산될 수 있음을 이해해야 한다. 예를 들어, 하나의 프로세서를 이용하여 특정 처리를 실행할 수 있으며, 이와 동시에 상기 하나의 프로세서로부터 이격된 다른 프로세서에 의해 다른 처리를 실행할 수 있다. 컴퓨팅 시스템(2000)의 다른 구성 요소도 유사하게 분포될 수 있다. 이와 같이, 컴퓨팅 장치(2000)는 다수의 위치에서 처리를 실행하는 분산형 컴퓨팅 시스템으로 해석될 수 있다.

비록, 도면을 참고하여 본 공개의 실시예 또는 예시를 설명하였으나, 상술한 방법, 시스템 및 장치는 예시적인 실시예 또는 예시일 뿐이고, 본 발명의 범위는 이들 실시예 또는 예시에 한정되지 않으며, 등록된 특허청구범위 및 그것의 균등 범위에 의해 한정된다는 것을 이해하여야 한다. 실시예 또는 예시 중의 각종 요소는 생략되거나 또는 그것의 균등 요소로 대체할 수 있다. 그리고, 본 공개에서 설명한 순서와 다른 순서로 각 단계를 실행할 수 있다. 나아가, 다양한 방식으로 실시예 또는 예시 중의 각종 요소를 조합할 수 있다. 중요한 것은 기술이 발전함에 따라, 여기서 설명한 많은 요소들은 본 공개 이후에 출현되는 균등 요소로 교체할 수 있다는 것이다.

Claims

인공 지능 개발 플랫폼의 관리 방법에 있어서,
상기 인공 지능 개발 플랫폼에는 다수의 모델 서비스의 인스턴스가 배치되어 있고, 또한 각 모델 서비스는 하나 이상의 인스턴스를 구비하며, 상기 관리 방법은,
적어도 하나의 모델 서비스의 호출 정보를 얻는 단계;
상기 호출 정보에 따라 상기 적어도 하나의 모델 서비스의 활성화 정도를 결정하는 단계; 및
결정된 활성화 정도가 제1 조건을 충족시키는 것에 대한 응답으로, 최소한 상기 적어도 하나의 모델 서비스의 모든 인스턴스를 삭제하는 단계;를 포함하는 인공 지능 개발 플랫폼의 관리 방법.
제1항에 있어서,
인스턴스가 삭제된 상기 적어도 하나의 모델 서비스가 소정 기간 내에 호출되지 않았다는 결정에 대한 응답으로, 상기 적어도 하나의 모델 서비스의 플랫폼 액세스 계층에서의 라우팅 구성을 삭제하는 단계를 더 포함하는, 인공 지능 개발 플랫폼의 관리 방법.
제1항에 있어서,
최소한 상기 적어도 하나의 모델 서비스의 모든 인스턴스를 삭제하는 상기 단계는,
상기 적어도 하나의 모델 서비스가 상기 인공 지능 개발 플랫폼의 클러스터에 존재하는지 여부를 결정하는 단계; 및
상기 적어도 하나의 모델 서비스가 상기 클러스터에 존재한다는 결정에 대한 응답으로, 상기 적어도 하나의 모델 서비스의 후단을 인스턴스가 삭제된 모델 서비스에 대한 모델 추론 트래픽을 수신하기 위한 트래픽 수락 모듈로 스위칭하는 단계;를 더 포함하는 인공 지능 개발 플랫폼의 관리 방법.
제3항에 있어서,
상기 최소한 상기 적어도 하나의 모델 서비스의 모든 인스턴스를 삭제하는 단계는,
상기 적어도 하나의 모델 서비스의 초기 데이터 정보를 상기 클러스터에 계속 저장하는 단계를 더 포함하고, 상기 초기 데이터 정보는 최소한 상기 적어도 하나의 모델 서비스의 인스턴스가 삭제되기 전에 상기 인공 지능 개발 플랫폼에 배치된 인스턴스의 제1 수량을 포함하는, 인공 지능 개발 플랫폼의 관리 방법.
제4항에 있어서,
상기 트래픽 수락 모듈이 인스턴스가 삭제된 상기 적어도 하나의 모델 서비스의 모델 추론 트래픽을 수신한 것에 대한 응답으로, 상기 적어도 하나의 모델 서비스에 대한 웨이크 업 동작을 트리거하는 단계를 더 포함하고, 상기 웨이크 업 동작은,
상기 인공 지능 개발 플랫폼에서 상기 적어도 하나의 모델 서비스의 상기 제1 수량의 인스턴스를 복원하고, 상기 제1 수량의 인스턴스가 모두 가동될 때까지 복원된 인스턴스의 상태를 폴링하는 것; 및
상기 적어도 하나의 모델 서비스의 후단을 복원된 제1 수량의 인스턴스로 스위칭하는 것을 포함하는, 인공 지능 개발 플랫폼의 관리 방법.
제5항에 있어서,
상기 적어도 하나의 모델 서비스의 상기 플랫폼 액세스 계층에서의 라우팅 구성이 삭제된 경우, 상기 웨이크 업 동작은,
상기 적어도 하나의 모델 서비스에 대응하는 라우팅 규칙을 재구성하는 것을 더 포함하는, 인공 지능 개발 플랫폼의 관리 방법.
제5항에 있어서,
상기 트래픽 수락 모듈은 다수의 인스턴스를 구비하고, 또한,
상기 트래픽 수락 모듈의 다수의 인스턴스 중의 제1 인스턴스가 먼저 인스턴스가 삭제된 상기 적어도 하나의 모델 서비스에 대한 모델 추론 트래픽을 수신한 경우, 상기 제1 인스턴스는 분산형 잠금 리소스를 얻어 상기 웨이크 업 동작을 트리거하고, 상기 제1 인스턴스는 상기 분산형 잠금 리소스를 보유할 경우 상기 트래픽 수락 모듈의 다수의 인스턴스 중의 다른 인스턴스가 상기 웨이크 업 동작을 트리거하는 것을 방지할 수 있는, 인공 지능 개발 플랫폼의 관리 방법.
제1항에 있어서,
상기 적어도 하나의 모델 서비스의 호출 정보를 얻는 단계는,
상기 적어도 하나의 모델 서비스의 생성 시간을 얻는 단계;
상기 적어도 하나의 모델 서비스의 모든 인스턴스와 관련된 트래픽 로그를 분석하는 것을 통해, 상기 적어도 하나의 모델 서비스의 최근 호출 시간, 소정 시간의 윈도우 내 호출 횟수 및 소정 시간의 윈도우 내의 호출 시각 분포 중 적어도 하나를 얻는 단계;를 포함하는, 인공 지능 개발 플랫폼의 관리 방법.
제1항에 있어서,
상기 인공 지능 개발 플랫폼은 단일 클러스터인, 인공 지능 개발 플랫폼의 관리 방법.
인공 지능 개발 플랫폼 시스템에 있어서,
다수의 모델 서비스의 인스턴스가 배치되어 있고, 또한 각 모델 서비스는 하나 이상의 인스턴스를 구비하도록 구성된 클라우드 서버;
적어도 하나의 모델 서비스의 호출 정보를 얻도록 구성된 호출 정보 수집 모듈;
상기 호출 정보에 따라 상기 적어도 하나의 모델 서비스의 활성화 정도를 결정하도록 구성된 검출 모듈;
결정된 활성화 정도가 제1 조건을 충족시키는 것에 대한 응답으로, 최소한 상기 적어도 하나의 모델 서비스의 모든 인스턴스를 삭제하도록 구성된 실행 모듈;을 포함하는 인공 지능 개발 플랫폼 시스템.
제10항에 있어서,
상기 실행 모듈은 또한 인스턴스가 삭제된 상기 적어도 하나의 모델 서비스가 소정 기간 내에 호출되지 않았다는 결정에 대한 응답으로, 상기 적어도 하나의 모델 서비스의 플랫폼 액세스 계층에서의 라우팅 장치를 삭제하도록 구성되는, 인공 지능 개발 플랫폼 시스템.
제10항에 있어서,
상기 인공 지능 개발 플랫폼 시스템은 트래픽 수락 모듈을 더 포함하고, 또한
결정된 활성화 정도가 제1 조건을 충족시키는 것에 대한 응답으로, 상기 실행 모듈은, 또한
상기 적어도 하나의 모델 서비스가 상기 인공 지능 개발 플랫폼 시스템의 클러스터에 존재하는지 여부를 결정하고,
상기 적어도 하나의 모델 서비스가 상기 클러스터에 존재한다는 결정에 대한 응답으로, 상기 적어도 하나의 모델 서비스의 후단을 상기 트래픽 수락 모듈로 스위칭하도록 구성되고, 상기 트래픽 수락 모듈은 인스턴스가 삭제된 모델 서비스에 대한 모델 추론 트래픽을 수신하기 위한 것인, 인공 지능 개발 플랫폼 시스템.
제12항에 있어서,
상기 실행 모듈은, 또한
상기 적어도 하나의 모델 서비스의 초기 데이터 정보를 상기 클러스터에 계속 저장하도록 구성되고, 상기 초기 데이터 정보는 최소한 상기 적어도 하나의 모델 서비스의 인스턴스가 삭제되기 전에 상기 클라우드 서버에 배치된 인스턴스의 제1 수량을 포함하는, 인공 지능 개발 플랫폼 시스템.
제13항에 있어서,
상기 인공 지능 개발 플랫폼 시스템은 서비스 웨이크 업 모듈을 더 포함하고, 상기 서비스 웨이크 업 모듈은,
상기 트래픽 수락 모듈이 인스턴스가 삭제된 상기 적어도 하나의 모델 서비스의 모델 추론 트래픽을 수신한 것에 대한 응답으로, 상기 클라우드 서버에서 상기 적어도 하나의 모델 서비스의 상기 제1 수량의 인스턴스를 복원하고, 상기 제1 수량의 인스턴스가 모두 가동될 때까지, 복원된 인스턴스의 상태를 폴링하고, 상기 적어도 하나의 모델 서비스의 후단을 복원된 제1 수량의 인스턴스로 다시 스위칭하도록 구성된, 인공 지능 개발 플랫폼 시스템.
제14항에 있어서,
상기 적어도 하나의 모델 서비스의 상기 플랫폼 액세스 계층에서의 라우팅 구성이 삭제된 경우, 상기 서비스 웨이크 업 모듈은 또한 상기 적어도 하나의 모델 서비스에 대응하는 라우팅 규칙을 재구성하도록 구성되는, 인공 지능 개발 플랫폼 시스템.
제14항 또는 제15항에 있어서,
상기 트래픽 수락 모듈은 다수의 인스턴스를 가지며, 또한,
상기 트래픽 수락 모듈의 다수의 인스턴스 중의 제1 인스턴스가 먼저 인스턴스가 삭제된 상기 적어도 하나의 모델 서비스에 대한 모델 추론 트래픽을 수신한 경우, 상기 제1 인스턴스는 분산형 잠금 리소스를 얻어 상기 웨이크 업 동작을 트리거하고, 상기 제1 인스턴스가 상기 분산형 잠금 리소스를 보유할 경우 상기 트래픽 수락 모듈의 다수의 인스턴스 중의 다른 인스턴스가 상기 웨이크 업 동작을 트리거하는 것을 방지할 수 있는 인공 지능 개발 플랫폼 시스템.
제10항에 있어서,
상기 호출 정보 수집 모듈은 상기 적어도 하나의 모델 서비스의 생성 시간을 얻고, 상기 적어도 하나의 모델 서비스의 모든 인스턴스와 관련된 트래픽 로그를 분석하는 것을 통해, 상기 적어도 하나의 모델 서비스의 최근 호출 시간, 소정 시간의 윈도우 내 호출 횟수 및 소정 시간의 윈도우 내의 호출 시각 분포 중 적어도 하나를 얻도록 구성된, 인공 지능 개발 플랫폼 시스템.
전자 장치에 있어서,
프로세서; 및
프로그램이 저장되는 메모리를 포함하며,
상기 프로그램은 명령을 포함하고, 상기 명령이 상기 프로세서에 의해 실행되면 상기 프로세서가 제1항 내지 제9항 중 어느 한 항에 따른 관리 방법을 실행하도록 하는 전자 장치.
프로그램이 저장되는 컴퓨터 판독가능 저장매체에 있어서,
상기 프로그램은 명령을 포함하며, 상기 명령이 전자 장치의 프로세서에 의해 실행되면 전자 장치가 제1항 내지 제9항 중 어느 한 항에 따른 관리 방법을 실행하도록 하는 컴퓨터 판독가능 저장매체.
컴퓨터 판독가능 저장매체에 저장되는 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램은 명령을 포함하고, 상기 명령이 적어도 하나의 프로세서에 의해 실행되면 제1항 내지 제9항 중 어느 한 항에 따른 관리 방법이 구현되는 컴퓨터 프로그램.