WO2022234870A1 - Ai 마이크로 서비스 제공을 위한 엣지시스템 리소스 모니터링 및 그 구성방법 - Google Patents

Ai 마이크로 서비스 제공을 위한 엣지시스템 리소스 모니터링 및 그 구성방법 Download PDF

Info

Publication number
WO2022234870A1
WO2022234870A1 PCT/KR2021/005631 KR2021005631W WO2022234870A1 WO 2022234870 A1 WO2022234870 A1 WO 2022234870A1 KR 2021005631 W KR2021005631 W KR 2021005631W WO 2022234870 A1 WO2022234870 A1 WO 2022234870A1
Authority
WO
WIPO (PCT)
Prior art keywords
resource
monitoring
resources
platform
microservice
Prior art date
Application number
PCT/KR2021/005631
Other languages
English (en)
French (fr)
Inventor
박성순
신해선
김경훈
안혁종
Original Assignee
(주) 글루시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 글루시스 filed Critical (주) 글루시스
Priority to PCT/KR2021/005631 priority Critical patent/WO2022234870A1/ko
Publication of WO2022234870A1 publication Critical patent/WO2022234870A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]

Definitions

  • the present invention can check whether actual allocated resources are being used normally in order to ensure SLA in services using distributed resources for processing of various IoT data and distributed processing between Cloud-Edge for efficient utilization of artificial intelligence services. It is about an edge system and a configuration method for monitoring existing resources.
  • the present invention has the advantage of supporting the selection and redistribution of more suitable resources by monitoring the resource allocated to the AI microservice and the operation performance of the application, and providing the result to the SLA.
  • the present invention supports various external connections for monitoring platform resources such as Physical, Container, Microservice, GPU, AI Application Resource, etc., and supports Istion exporter interworking for microservice metrics. And for AI & Application Specific Metrics, user-define metrics are supported.
  • monitoring clients such as REB, Orchestrator, SLA_Manager, and Applications
  • use cases such as Push Gateway and Istio Proxy.
  • the resource monitoring and its configuration method of the present invention provide an IoT interworking distributed edge that supports AI applications through processing of various IoT data and distributed processing between Cloud-Edge for efficient development and activation of artificial intelligence services used in various fields.
  • the fog computing platform is a system that supports edge resource management. It is a platform that enables resource allocation and management by optimizing the resources provided by the infrastructure to the service architecture defined by the microservice architecture and the requirements of each unit microservice.
  • the fog computing platform which is the subject of the present invention, is composed of four sub-modules: Infrastructure manager, IoT Platform, Backend, and Front End.
  • the present invention provides operational performance of resources and applications allocated to artificial intelligence microservices on a fog computing platform, which is an element technology of an IoT interworking distributed edge-cloud that supports AI applications through the processing of multiple types of IoT data and distributed processing between Cloud-Edge. It was invented to support the selection and redistribution of more suitable resources by monitoring the system and providing the results to the SLA.
  • resources CPU, GPU, memory, file system, network , K8s Pod, etc.
  • the monitoring system is configured to support various exporters for monitoring the resources (Physical, Container, Microservice, GPU, AI Application Resource) of Fog Plarform among AI applications.
  • Istio expoerter interworking was supported for microservice resource management, and the monitoring system was configured to support user-defined metrics for collection and utilization of AI application specific metrics.
  • Figure 1 is a description of such a monitoring system.
  • the monitoring system of the present invention is composed of Monitoring Client, Resource Monitoring, Exporters, and Nodes.
  • the AI application targeted by the present invention is a platform that provides resource allocation and sharing between cloud-fog and cloud-cloud in a distributed cloud system environment.
  • Figure 2 is an embodiment in which actual monitoring is performed in such a system.
  • the Resource Exchange Broker (REB) of AI applications SLA Manager, manages resources across cloud boundaries and allocates them where they are needed.
  • the monitoring system of the present invention provides a core resource management function of a service that monitors resources and provides resource status and usage information to resource providers, users and administrators.
  • the monitoring system is configured to support interworking with various monitoring clients (REB, Orchestrator, SLA_Manager, Applications).
  • a push gateway is supported, and it is configured to support the Istio Proxy structure for monitoring microservice resources.
  • FIG 4 is an example of a configuration that supports interworking with an AI application application based on a use case.
  • Resource Exchange Brokers (REBs) and SLA Managers manage resources across cloud boundaries and allocate them where they are needed.
  • the following figure 5 is an operational example of the monitoring module that works together with the REB and SLA manager.
  • the resource monitoring technology of the present invention is combined with AI services based on a distributed fog computing structure that can overcome the limitations of AI services supported by the cloud or GPU, so that various services can be created in devices with low resources and interlocking blockchain-based resources High reliability and high stability resource interlocking through management is possible, and by presenting a model for using various IoT resources, it is possible to support and activate IoT services that are not limited to specific device specifications.
  • AI services that currently require high-performance resources such as GPU and Cloud to be performed on each device or at the distributed edge, it helps to secure distributed AI source technology that can be operated distributedly on low-performance resources, and creates AI-based services. And it will be possible to secure platform technology that supports expression, and secure blockchain technology through distributed cloud and Federation resource management that supports block chain.
  • the present invention contributes to the revitalization of the related service market by expanding the limited AI provided in the form of media recommendation and question-and-answer service through AI Speaker to various devices and services, and related recommendation service through activating user context information. It helps to stimulate the market.
  • 1 is the overall system structure of the resource monitoring system implemented in the present invention, and it is mainly composed of Monitoring Clients to utilize monitoring contents, Resource Monitoring where actual monitoring is performed, and various Nodes to be monitored.
  • FIG. 2 is a conceptual diagram of resource monitoring.
  • the amount and status of resources utilized in each AI analysis and application service are collected from the Monitoring Server, and the collected contents are processed in the resource monitoring system of the present invention to maximize performance in the AI analysis system.
  • 3 is an embodiment of an AI application platform including the resource monitoring system of the present invention.
  • FIG. 4 is a block diagram of an example of resource monitoring for container resources.
  • FIG. 5 is an example of monitoring interworking with REB and SLA Manager.
  • REB Resource Exchange Broker
  • SLA Manager manage resources across cloud boundaries and allocate necessary resources where necessary.
  • DECENTER defines and uses PromQL as its own query language that works with TSDM to provide a standard interface to monitoring clients.
  • Various monitoring clients such as REB, SLA_Manager, and application programs can extract and use the stored metric information by utilizing the monitoring query.
  • the following are examples of key metrics and related queries that work with SLA Manager.
  • SLA Manager can use monitoring queries to extract utilization and availability information of major resources.
  • an embodiment of the present invention is to monitor each resource so that the resource possessed by each microservice can be effectively used in the artificial intelligence microservice as shown in FIG. 3 and effectively use it through a Resource Exchange Broker.
  • 5 is a structure of a resource monitoring system related to the present invention in this embodiment. 5 is an embodiment showing only the contents of the present invention, excluding the artificial intelligence microservice platform.
  • AI service technology based on customer situational awareness and behavioral pattern analysis
  • SWOT analysis Market environment and competitiveness analysis for commercialization
  • AI platform infrastructure image recognition, voice recognition, natural language processing, text analysis, etc.
  • the DECENTER platform secures future source technologies for AI, IoT, and Fog platform so that it can be applied to other industries, and reviews/promotions technology consulting and technology transfer for new business creation

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

본 발명은 인공지능 서비스의 효율적인 활용을 위하여 다종 IoT 데이터의 처리 및 Cloud-Edge간 분산처리를 위한 분산 자원을 활용한 서비스에서의 SLA 보장을 위하여, 실제 할당된 자원이 정상적으로 활용되고 있는 지를 확인할 수 있는 자원 모니터링을 위한 엣지시스템 및 구성방법에 대한 것이다. 특히 본 발명은 인공지능 마이크로서비스에 할당된 자원 및 어플리케이션의 동작 성능에 대한 모니터링을 진행하며, 이 결과를 SLA에 제공하여 보다 적합한 자원의 선정 및 재배포를 지원한다는 장점을 가진다.

Description

AI 마이크로 서비스 제공을 위한 엣지시스템 리소스 모니터링 및 그 구성방법
본 발명은 인공지능 서비스의 효율적인 활용을 위하여 다종 IoT 데이터의 처리 및 Cloud-Edge간 분산처리를 위한 분산 자원을 활용한 서비스에서의 SLA 보장을 위하여, 실제 할당된 자원이 정상적으로 활용되고 있는 지를 확인할 수 있는 자원 모니터링을 위한 엣지시스템 및 구성방법에 대한 것이다.
특히 본 발명은 인공지능 마이크로서비스에 할당된 자원 및 어플리케이션의 동작 성능에 대한 모니터링을 진행하며, 이 결과를 SLA에 제공하여 보다 적합한 자원의 선정 및 재배포를 지원한다는 장점을 가진다.
그리고 본 발명은 Physical, Container, Microservice, GPU, AI Application Resource 등의 Platform 자원 모니터링을 위한 다양한 외부 연결을 지원하는데, 마이크로서비스 Metrics를 위하여 Istion exporter 연동을 지원한다. 그리고 AI & Application Specific Metrics를 위하여 User-define metric를 지원한다.
또한 다양한 모니터링 클라이언트 연동을 지원하기 위해 REB, Orchestrotor, SLA_Manager, Applications등의 모니터링 클라이언트와 Push Gateway, Istio Proxy 등의 Use Case 연동을 지원한다.
본 발명의 리소스 모니터링 및 그 구성방법은 다양한 분야에서 활용되고 있는 인공지능 서비스의 효율적 개발 및 활성화를 위하여, 다종 IoT 데이터의 처리 및 Cloud-Edge간 분산 처리를 통한 AI 어플리케이션을 지원하는 IoT 연동 분산 Edge-클라우드의 요소 기술인 포그 컴퓨팅 플랫폼을 대상으로 한다.
포그 컴퓨팅 플랫폼은 엣지자원 관리를 지원하는 시스템으로 Infrastructure에서 제공되는 자원들을 마이크로서비스 아키텍쳐로 정의된 서비스 아키텍처 및 각 단위 마이크로서비스의 요구사항에 최적화 하여 자원을 할당하고 관리할 수 있도록 하는 플랫폼이다.
본 발명의 대상인 포그 컴퓨팅 플랫폼은 Infrastructure manager, IoT Platform, Backend, Front End의 네가지 서브 모듈로 구성된다.
이를 위하여 엣지자원 정보를 표출하기 위한 자원 가상화를 지원하며, 엣지간 자원 연동을 위한 가상화 자원 Federation기능을 가지며, Fedrated Edge에서의 보안기술을 가진다.
본 발명은 상기의 다종 IoT 데이터의 처리 및 Cloud-Edge간 분산 처리를 통한 AI 어플리케이션을 지원하는 IoT 연동 분산 Edge-클라우드의 요소 기술인 포그 컴퓨팅 플랫폼상에서 인공지능 마이크로서비스에 할당된 자원 및 어플리케이션의 동작 성능에 대한 모니터링을 진행하며, 이 결과를 SLA에 제공하여 보다 적합한 자원의 선정 및 재배포를 지원을 위하여 발명되었다.
이는 다양한 AI 애플리케이션에 대한 리소스 가용성, 서비스 배포/QoS 모니터링, SLA 위반, 사용량 계산 및 리소스 공유와 같은 기능을 제공할 수 있으며, 이는 시스템에서 수집된 다양한 리소스(CPU, GPU, 메모리, 파일 시스템, 네트워크, K8s Pod 등) 정보를 기반으로 작동해야 한다.
본 발명의 Resource Monitoring은 AI 애플리케이션 중 Fog Plarform의 자원(Physical, Container, Microservice, GPU, AI Aplication Resource) 모니터링을 위한 다양한 Exporter 지원하도록 모니터링 시스템을 구성하였다. 마이크로서비스 자원에 대한 관리를 위하여 Istio expoerter 연동을 지원하였으며, AI 응용서비스 종속적 메트릭(Aplication Specific Metrics)의 수집 및 활용을 위한 사용자-정의형 메트릭(User-define metric)을 지원하도록 모니터링 시스템을 구성하였다. 도면 1은 이러한 모니터링 시스템에 대한 설명이다. 본 발명의 모니터링 시스템은 Monitoring Client, Resource Monitoring, Exporters, Nodes로 구성되어 있다
본 발명의 대상으로 하는 AI 애플리케이션은 분산 클라우드 시스템 환경에서 cloud-fog와 cloud-cloud 간의 리소스 할당 및 공유를 제공하는 플랫폼이다. 도면 2는 이러한 시스템에서 실제 모니터링을 수행하는 실시 예이다. AI 애플리케이션의 REB (Resource Exchange Broker), SLA Manager는 클라우드 경계를 넘는 리소스를 관리하고 필요한 곳에 필요한 리소스를 할당한다. 본 발명의 모니터링 시스템은 리소스를 모니터링하고 리소스 공급자, 사용자 및 관리자에게 리소스 상태 및 사용 정보를 제공하는 서비스의 핵심 리소스 관리 기능을 제공한다.
각 sub-module의 세부적 기능 단위 모듈에 대한 정의가 해당 모듈이 제공하는 기능, 해당 모듈이 서비스를 제공하기 위하여 연계되는 타 모듈과의 관계를 중심으로 기술되었다. 모니터링 시스템은 다양한 모니터링 클라이언트(REB, Orchestrator, SLA_Manager, Aplications) 연동을 지원하도록 구성되었다. 다양한 Use Case의 응용과 연동 지원하기 위하여 게이트웨이(Push Gateway)를 지원하며, 마이크로서비스 자원에 대한 모니터링을 위하여 프락시(Istio Proxy) 구조를 지원하도록 구성하였다. 다음의 도면 4는 Use Case를 기준으로 AI 응용 어플리케이션과 연동을 지원하는 구성의 예이다.
REB (Resource Exchange Broker) 및 SLA Manager는 클라우드 경계를 넘는 리소스를 관리하고 필요한 곳에 필요한 리소스를 할당한다. 다음의 도면 5는 같이 REB 및 SLA 관리자와 함께 작동하는 모니터링 모듈의 작동 예이다.
본 발명의 리소스 모니터링 기술은 클라우드 혹은 GPU 기반으로 지원되는 AI 서비스의 제약을 극복할 수 있는 분산 Fog Compting 구조 기반 AI 서비스와 결합하여, 낮은 자원의 기기에서 다양한 서비스 창출이 가능하며 블록체인 기반 자원 연동 관리를 통한 고신뢰성, 고안정성 자원 연동이 가능하고, 다종 IoT 자원 활용을 위한 모델을 제시함으로써 기기의 특정 사양에 제한되지 않는 IoT 서비스 지원 및 활성화가 가능하다.
또, 현재 GPU, Cloud 등 고성능 자원이 요구되는 AI 서비스를, 각 기기 혹은 분산 엣지에서 수행할 수 있게 함으로써 낮은 성능의 자원에서 분산 운용 가능한 분산 AI 원천 기술 확보에 도움이 되며, AI 기반 서비스의 생성 및 표출을 지원하는 Platform 기술의 확보, 블록체인을 지원하는 분산 클라우드 및 Federation 자원 관리를 통한 블록체인 기술력 확보가 가능하게 된다.
마지막으로 경제적인 측면에서 본 발명은 AI Speaker를 통한 미디어 추천, 문답형 서비스 형태로 제공되는 제한적 AI를 다양한 기기 및 서비스로 확장하여 관련 서비스 시장 활성화에 기여하며, 사용자 상황 정보 활성화를 통한 관련 추천 서비스 시장 활성화에 도움이 된다.
도면 1은 본 발명에서 구현한 리소스 모니터링 시스템의 전체 시스템 구조로, 크게 모니터링 내용을 활용할 Monitoring Clients, 실제 모니터링이 이루어 지는 Resource Monitoring, 그리고 모니터링의 대상이 되는 각종 Nodes로 구성되어 있다.
도면 2는 리소스 모니터링의 개념도이다. 각 인공지능 분석 및 Application Service에서 활용되는 Resource의 량 및 상태를 Monitoring Server에서 수집하며, 수집된 내용을 본 발명의 리소스 모니터링 시스템에서 처리하여 인공지능 분석 시스템에서 성능을 극대화 하는 개념을 가진다.
도면 3은 본 발명의 Resource Monitoring 시스템이 포함된 AI 애플리케이션 플랫폼의 실시 예이다.
도면 4는 컨테이너 자원에 대한 리소스 모니터링의 예에 대한 블록도 이다.
도면 5는 REB, SLA Manager와 연동하는 모니터링의 예로 본 발명에서는 REB (Resource Exchange Broker) 및 SLA Manager는 클라우드 경계를 넘는 리소스를 관리하고 필요한 곳에 필요한 리소스를 할당한다.
DECENTER는 TSDM과 함께 작동하는 자체 쿼리 언어로 PromQL을 정의하고 사용하여 모니터링 클라이언트에 표준 인터페이스를 제공한다. REB, SLA_Manager, 응용프로그램 등의 다양한 모니터링 클라이언트는 모니터링 쿼리를 활용하여 저장된 메트릭의 정보를 추출하여 사용할 수 있다. 다음은 SLA Manager와 연동하는 주요 메트릭 및 관련 쿼리의 예이다. SLA Manager는 주요 자원의 사용률 및 가용성 정보추출하기 위하여 모니터링 쿼리를 사용할 수 있다.
CPU Utilization:
- Physical Resource
(1-avg(irate(node_cpu_seconds_total{instance="[instance_name]",mode=" idle"}[5m]))by(instance))*100
- Container Resource
sum(irate(container_cpu_usage_seconds_total{container_name="[container_name]",namespace="[namespace_name]"}
[1m]))/sum(machine_cpu_core s{instance="[instance_name]"})*100
Memory Utilization:
- Physical Resource
(1-(node_memory_MemAvailable_bytes/(node_memory_MemTotal_bytes) ))*100
- Container Resource
sum(container_memory_working_set_bytes{container_name!="",container_name="[container_name]",namespace=
"[namespace_name]"})/sum(mach ine_memory_bytes{instance="[instance_name]"})*100
GPU Utilization:
sum by(instance) (avg_over_time(dcgm_gpu_utilization[2m]])
Network Bandwidth
- FBK Exporter
CheckFBK_Cluster_Machin_IP:9601/metrics
- Node Exporter
irate(node_network_receive_bytes_total{instance='[instance_name]',device ="[device_name]"}[5m])*8
irate(node_network_transmit_bytes_total{instance='[instance_name]',devic e="[device_name"}[5m])*8
Network Pack Loss
- Physical Resource
sumby(instance)(avg_over_time(container_network_receive_packets_dropped_total[2m])+avg_over_time(container
_network_transmit_packets_drop ped_total[2m]))/
- Container Reosuce
sumby(instance)(avg_over_time(container_network_receive_packets_dropped_total[2m])+avg_over_time(container
_network_transmit_packets_dropped_total[2m])+avg_over_time(container_network_receive_packets_total[2m])+
avg_over_time(container_network_transmit_packets_total[2m]))*100
Accuracy of the AI model (should be supported by UCs)
- Push sample
python)
importprometheus_clientimportCollectorRegistry,Gauge,push_to_gateway registry=CollectorRegistry()
g=gauge("Accuracy_AI","[describe]","[use_case]",registry) => arg1:Metric_name, arg2 : describe , arg3
: Label_list
g.labels(use_case="uc1").set(accuracy)
=>labels(Label_name1=value1,Label_name2=value2,....),set([Metric_Value])
push_to_gateway("[Push_gateway_address]",job=[job_name],registry=registry)
- Get sample
curlhttp://[monitoring-server-ip]:[port]/api/v1/query-dquery="Accuracy_AI"
Precision of the AI model (should be supported by UCs)
- Push smaple
python)
importprometheus_clientimportCollectorRegistry,Gauge,push_to_ gateway
registry=CollectorRegistry()
g=gauge("Precision_AI","[describe]","[use_case]",registry) => arg1 : Metric_name, arg2 : describe,
arg3 : Label_list
g.labels(use_case="uc1").set(precision)
=>labels(Label_name1=value1,Label_name2=value2,....),set([Metric _Value])
push_to_gateway("[Push_gateway_address]",job=[job_name],regist ry=registry)
- Get sample
curlhttp://[monitoring-server-ip]:[port]/api/v1/query-dquery="Pre cision_AI"
도면 3은 본 발명의 리소스 모니터링 시스템을 실시하기 위한 AI 어플리케이션 구조이다. 특히 본 발명은 도면 3과 같이 인공지능 마이크로 서비스에서 각 마이크로 서비스에서 보유하고 있는 Resource를 효과적으로 사용할 수 있도록 각 Resource를 모니터링하여 이를 Resource Exchange Broker를 통하여 효과적으로 사용하는 것을 그 실시형태로 한다.
도면 5는 이러한 실시 형태에서 본 발명과 관련된 리소스 모니터링 시스템의 구조이다. 도면 5는 인공지능 마이크로 서비스 플랫폼을 제외하고, 본 발명의 내용만을 도시한 실시 형태이다.
요소기술/목표제품/서비스 활용 (사업화를 위한 Business Model )
고객의 상황인지 및 행동 패턴 분석에 따른 AI 서비스 기술
IoT things 연동 및 자동 제어를 통한 스마트 시티 관제 서비스 제공
AI가 적용된 하드웨어-플랫폼-어플리케이션 솔루션 판매
사업화를 위한 시장환경 및 경쟁력 분석 (SWOT 분석)
Strength (강점)
- 검증 및 상용화 된 AI 플랫폼 인프라 구축 완료 (영상인식, 음성인식, 자연어 처리, Text Analysis 등)
- 안정화 된 IoT 플랫폼 및 서비스 사용 고객 보유
Weakness (약점)
- AI 플랫폼, Fog platform, cloud 간의 연동 기술 및 연동 경험 부족
- 글로벌 업체는 구글의 IoT와 cloud 통합 서비스 및 아마존의 AWS가 시장 점유율 확대
- 국내는 통신업체 및 제조사을 통하여 AI플랫폼과 IoT 플랫폼을 통합하려는 시도가 활발하게 이루어짐
Opportunity (기회)
- 이기종 간의 플랫폼 연동 기술 활성화 및 제품 출시
- AI플랫폼과 IoT 플랫폼 간의 연동 서비스 출시 모색
- AI 서비스 활성화 및 IoT 플랫폼 시장 규모 확대 및 사용 고객 증가
Threat (위협)
- 이기종 간의 플랫폼 연동 기술 활성화
- AI플랫폼과 IoT 플랫폼 간의 연동 서비스 출시 모색
- AI 서비스 활성화 및 IoT 플랫폼 시장 규모 확대 및 사용 고객 증가
기술이전(사업화) 전략
- 현재 서비스 중인 LG U+ 홈IoT 플랫폼에 AI 및 Edge-Cloud 기술을 적용하고, 고객의 데이터를 수집하고 분석하여 패턴에 맞는 맞춤형 기능을 제공하는 서비스 사업화
- 또한 DECENTER 플랫폼은 다른 산업군에 적용할 수 있도록 AI, IoT, Fog platform에 대한 미래 원천 기술을 확보하고, 신사업 창출에 대한 기술 컨설팅 및 기술 이전 검토/ 추진

Claims (5)

  1. 인공지능 마이크로서비스에 할당된 자원 및 어플리케이션의 동작 성능에 대한 모니터링 시스템에서; 상기 모니터링 시스템에 있어서 실제 플랫폼의 리소스를 관리하는 Monitoring Client 블록; 수집된 Resource를 분석하고, 이를 활용하는 리소스 모니터링 블록; 분석된 리소스 내용을 플랫폼과의 연결 및 서로 다른 마이크로 서비스 플랫폼간의 리소스 모니터링 시스템간의 데이터 교환를 위해 사용하는 Exporter 블록을 포함하는 리소스 모니터링 시스템 및 구성방법
  2. 상기 1항에 있어서
    데이터 수집을 위하여 REB, Resource Manager, SLA Manager 및 각종 리소스 Manager를 포함하는 Monitoring Client 블록을 구성하는 방법
  3. 상기 1항에 있어서
    수집된 Resource를 분석하고, 이를 활용하기위하여 Resource Monitoring API Server, Monitoring Server, Alert Manager, Push Gateway를 포함하는 Resource Monitoring 모듈을 구성하는 방법
  4. 상기 1항에 있어서
    분석된 리소스 내용을 플랫폼과의 연결 및 서로 다른 마이크로 서비스 플랫폼간의 리소스 모니터링 시스템간의 데이터 교환를 위해 node performance info, container cpu, memory, network utilization, pod info, nvidia gpu info 블록을 포함하는 Exporters 블록을 구성하는 방법
  5. 상기 3항에 있어서
    수집된 Resource 정보를 모니터링하기 위해 Retrieval, TSDB(Time Series Database ), Metrics Query API Server(functional Query language) 블록을 구성하고 이를 이용하여 Monitoring Server를 구성하는 방법
PCT/KR2021/005631 2021-05-04 2021-05-04 Ai 마이크로 서비스 제공을 위한 엣지시스템 리소스 모니터링 및 그 구성방법 WO2022234870A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2021/005631 WO2022234870A1 (ko) 2021-05-04 2021-05-04 Ai 마이크로 서비스 제공을 위한 엣지시스템 리소스 모니터링 및 그 구성방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2021/005631 WO2022234870A1 (ko) 2021-05-04 2021-05-04 Ai 마이크로 서비스 제공을 위한 엣지시스템 리소스 모니터링 및 그 구성방법

Publications (1)

Publication Number Publication Date
WO2022234870A1 true WO2022234870A1 (ko) 2022-11-10

Family

ID=83932790

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/005631 WO2022234870A1 (ko) 2021-05-04 2021-05-04 Ai 마이크로 서비스 제공을 위한 엣지시스템 리소스 모니터링 및 그 구성방법

Country Status (1)

Country Link
WO (1) WO2022234870A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101884404B1 (ko) * 2017-01-17 2018-08-02 부산대학교 산학협력단 중앙 집중식 제어 구조 서버를 갖는 포그 컴퓨팅 운용을 위한 시스템 및 그의 제어 방법
KR20190100177A (ko) * 2016-12-30 2019-08-28 인텔 코포레이션 사물 인터넷을 위한 명명 및 블록체인 기록
US20190320040A1 (en) * 2018-04-17 2019-10-17 Vmware, Inc. Methods, apparatus, and systems to dynamically discover and host services in fog servers
KR20200002615A (ko) * 2018-06-29 2020-01-08 한국전자통신연구원 고신뢰 IoT 서비스를 위한 지능형 IoE 에지 컴퓨팅 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190100177A (ko) * 2016-12-30 2019-08-28 인텔 코포레이션 사물 인터넷을 위한 명명 및 블록체인 기록
KR101884404B1 (ko) * 2017-01-17 2018-08-02 부산대학교 산학협력단 중앙 집중식 제어 구조 서버를 갖는 포그 컴퓨팅 운용을 위한 시스템 및 그의 제어 방법
US20190320040A1 (en) * 2018-04-17 2019-10-17 Vmware, Inc. Methods, apparatus, and systems to dynamically discover and host services in fog servers
KR20200002615A (ko) * 2018-06-29 2020-01-08 한국전자통신연구원 고신뢰 IoT 서비스를 위한 지능형 IoE 에지 컴퓨팅 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KIM JAEHWAN, GYEONGHOON KIM, JAECHUN NO, SEONGSOON PARK SEJONG: "A monitoring system that efficiently supports SLO of distributed AI applications in Kubernetes cluster environment", PROCEEDINGS OF THE KOREAN SOCIETY OF BROADCAST ENGINEERS SUMMER CONFERENCE 2020, 1 July 2020 (2020-07-01), pages 32 - 33, XP093000176 *

Similar Documents

Publication Publication Date Title
CN105025095B (zh) 实现云计算弹性服务的集群架构
WO2020162680A1 (ko) 마이크로서비스 시스템 및 방법
CN110636108B (zh) 一种用于电力计量的微服务架构及其实现方法
CN112202940B (zh) 一种kubernetes对外暴露Pod服务方式
WO2014069827A1 (en) System and method for providing data analysis service in a cloud environment
EP3944081A1 (en) Data center resource monitoring with managed message load balancing with reordering consideration
CN113867884B (zh) 用于计算机网络的方法和系统及存储介质
CN108737163B (zh) 一种基于OpenFlow协议的SDN控制器应用性能分析方法
WO2022234870A1 (ko) Ai 마이크로 서비스 제공을 위한 엣지시스템 리소스 모니터링 및 그 구성방법
EP3937425A1 (en) Deriving network device and host connection
Rodriguez Alvarado et al. Implementation and Analysis of the Results of the Application of the Methodology for Hybrid Multi-cloud Replication Systems
WO2024086362A1 (en) Virtual network function proof of transit
Hbaieb et al. A survey and taxonomy on virtual data center embedding
CN114762305A (zh) 在集群背景下从容器抓包的方法
US11595471B1 (en) Method and system for electing a master in a cloud based distributed system using a serverless framework
CN116095007A (zh) 负载调度方法、装置、计算机设备及存储介质
KR20220153304A (ko) Ai 마이크로 서비스 제공을 위한 엣지시스템 리소스 모니터링 및 그 구성방법
US20240235946A9 (en) Virtual network function proof of transit
Kundel Accelerating Network Functions Using Reconfigurable Hardware: Design and Validation of High Throughput and Low Latency Network Functions at the Access Edge
TWI802388B (zh) 基於雲平台之儲存服務系統、方法及電腦可讀媒介
US11875202B2 (en) Visualizing API invocation flows in containerized environments
CN111722920B (zh) 负载控制方法
Rahafrouz Distributed orchestration framework for fog computing
WO2020122522A1 (ko) 전자장치 및 그 제어방법
Wang et al. A Resource Allocation Method for Power Backhaul Network Based on Flexible Ethernet

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21939881

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21939881

Country of ref document: EP

Kind code of ref document: A1