KR20210056163A - 슬라이스의 자원관리장치 및 방법 - Google Patents

슬라이스의 자원관리장치 및 방법 Download PDF

Info

Publication number
KR20210056163A
KR20210056163A KR1020190142933A KR20190142933A KR20210056163A KR 20210056163 A KR20210056163 A KR 20210056163A KR 1020190142933 A KR1020190142933 A KR 1020190142933A KR 20190142933 A KR20190142933 A KR 20190142933A KR 20210056163 A KR20210056163 A KR 20210056163A
Authority
KR
South Korea
Prior art keywords
slice
information
tenant
traffic
resource
Prior art date
Application number
KR1020190142933A
Other languages
English (en)
Inventor
임혁
김요한
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020190142933A priority Critical patent/KR20210056163A/ko
Publication of KR20210056163A publication Critical patent/KR20210056163A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • H04L41/0897—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities by horizontal or vertical scaling of resources, or by migrating entities, e.g. virtual resources or entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/14—Charging, metering or billing arrangements for data wireline or wireless communications
    • H04L12/1485—Tariff-related aspects
    • H04L12/1496—Tariff-related aspects involving discounts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5029—Service quality level-based billing, e.g. dependent on measured service level customer is charged more or less
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5041—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
    • H04L41/5048—Automatic or semi-automatic definitions, e.g. definition templates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/80—Actions related to the user profile or the type of traffic
    • H04L47/805—QOS or priority aware

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

본 발명에 따른 슬라이스 자원관리장치에는, 슬라이스 고객과 슬라이스 테넌트와의 관계에 관한 제 1 정보를 수집하고, 슬라이스 공급자와 상기 슬라이스 테넌트와의 관계에 관한 제 2 정보를 수집하고, 상기 제 1 정보 및 상기 제 2 정보를 참조하여, 최적의 슬라이스 자원할당량을 알아내도록 학습하는 학습부가 포함되고, 상기 제 1 정보에는, 상기 슬라이스 테넌트가 제공되는 응용 서비스의 특징, 슬라이스에서 수행되는 트래픽 상태, 상기 슬라이스의 QoS 중의 적어도 하나가 포함되고, 상기 제 2 정보에는 상기 슬라이스 공급자가 제공되는 가격정보가 포함되어, 상기 학습부는 학습된 결과에 따라서, 현재 상태에 맞는 최적의 슬라이스 자원을 제안한다.

Description

슬라이스의 자원관리장치 및 방법{Resource management apparatus and method for slice}
본 발명은 슬라이스의 자원을 관리하는 장치 및 방법에 관한 것이다.
5G 망에서는, 하나의 물리적인 네트워크 위에 논리적으로 분리된 여러 개의 엔드 투 엔드 네트워크를 만들어서, 서로 다른 서비스를 제공하는 테넌트들에게 전용 네트워크를 지원할 수 있다. 상기 전용 네트워크 또는 상기 엔드 투 엔드 네트워크를 지칭하는 단위를 슬라이드(slice)라고 한다.
상기 각 슬라이스는, 가상화된 자원을 보장받고, 다른 슬라이스의 통신에 영향을 주거나 받지 않는 것이 중요하다. 상기 가상화된 자원에는, 스펙트럼, 전송, 저장, 및 계산파워가 포함될 수 있다.
상기 슬라이드 테넌트는 슬라이스 공급자로부터 슬라이스 자원을 임차하고, 임차한 슬라이스 자원을 슬라이스 고객에게 제공한다. 상기 슬라이스 테넌트가 상기 슬라이스 고객에 서비스를 제공하기 위하여, 상기 슬라이스 공급자로부터 자원을 어느 정도 임차할 것인가는 알아내기가 어렵다. 이에 대한 종래기술은 아직 제시된 바가 없다.
다만, 관련되는 기술로서, 'O. U. Akguel, I Malanchini, and A Capone, "Dynamic Resource Trading in Sliced Mobile Networks,"IEEE TNSM, January 2019.'에는 슬라이스 중개 플랫폼이 제안된다. 상기 슬라이스 중개 플랫폼은, 상기 슬라이스 테넌트에게 최고의 서비스 품질(QoS)를 제공할 수 있는 자원을 동적으로 할당하는 방안을 제공한다.
그러나, 서비스 품질만을 만족하는 것으로는, 상기 슬라이드 고객의 다양한 니즈를 만족할 수 없다. 예를 들어, 상기 슬라이드 테넌트의 수익, 서비스 품질, 동적으로 원활한 자원할당을 수행할 수 없는 문제점이 있다.
O. U. Akguel, I Malanchini, and A Capone, "Dynamic Resource Trading in Sliced Mobile Networks,"IEEE TNSM, January 2019.
본 발명은 상기되는 배경에서 제안되는 것으로서, 물리적 대역폭 자원이 제한된 네트워크 슬라이싱 환경에서 사용자 트래픽의 QoS를 만족시키면서 테넌트(tenant)의 이익을 최대화하는 슬라이스의 자원관리장치 및 방법을 제안한다.
본 발명은, 응용 서비스 별로 다른 탄성 트래픽과 비탄성 트래픽의 비율 특성에 따라서, 각 슬라이스에 할당되는 대역폭의 양이 적응적으로 달라지도록 하여, 다양한 슬라이스 고객의 니즈에 대응할 수 있는 슬라이스의 자원관리장치 및 방법을 제안한다.
본 발명에 따른 슬라이스 자원관리장치에는, 슬라이스 고객과 슬라이스 테넌트와의 관계에 관한 제 1 정보를 수집하고, 슬라이스 공급자와 상기 슬라이스 테넌트와의 관계에 관한 제 2 정보를 수집하고, 상기 제 1 정보 및 상기 제 2 정보를 참조하여, 최적의 슬라이스 자원할당량을 알아내도록 학습하는 학습부가 포함되고, 상기 제 1 정보에는, 상기 슬라이스 테넌트가 제공되는 응용 서비스의 특징, 슬라이스에서 수행되는 트래픽 상태, 상기 슬라이스의 QoS 중의 적어도 하나가 포함되고, 상기 제 2 정보에는 상기 슬라이스 공급자가 제공되는 가격정보가 포함되어, 상기 학습부는 학습된 결과에 따라서, 현재 상태에 맞는 최적의 슬라이스 자원을 제안한다.
다른 측면에 따른 본 발명의 슬라이스 자원관리방법에는, 슬라이스와 관련되는 정보를 수집하는 것; 상기 수집된 정보 중의 적어도 일부를 상태정보로 하여 강화학습이 수행되어, 슬라이스 테넌트가 슬라이스 공급자로부터 슬라이스의 자원을 얼마나 구매할 지를 결정하는 것; 및 상기 슬라이스 테넌트가 결정된 슬라이스 자원 구매량을 슬라이스 공급자로부터 공급받아 슬라이스 고객에게 제공하는 것이 포함된다.
본 발명에 따르면, 강화학습을 이용해 각 슬라이스의 트래픽 상태에 따라 대역폭을 조절하도록 학습하고, 이에 따라 슬라이스의 자원, 특히 대역폭을 동적으로 조절함으로써, 슬라이스의 자원을 현재 상태에 맞추어서 보다 적응적으로 관리할 수 있다.
본 발명에 따르면, 응용서비스 단위로 효율적인 대역폭 조절이 가능하여, 슬라이스 테넌트의 이익을 크게 할 수 있다.
본 발명에 따르면, 슬라이스 자원량의 계산에 복잡한 계산이 필요하지 않으므로, 시스템의 오버헤드가 적은 장점이 있다.
본 발명에 따르면, 다양한 에피소드에 대하여 최적의 액션이 보고되어 있으므로, 과거시간에 대한 정보를 참조할 필요가 없이 현재 시간에 더 정확한 슬라이스 자원을 알아낼 수 있다.
도 1은 슬라이스를 제공하는 전체 시스템의 구성도.
도 2는 슬라이스 테넌트가 슬라이스 공급자로부터 슬라이스의 자원을 얼마나 할당받을 지를 결정하는 슬라이스의 자원관리장치를 포함하여, 슬라이스 자원관리장치의 작용을 설명하는 도면..
도 3은 실시예에 따른 슬라이스 자원관리방법을 설명하는 도면.
도 4는 탄력적 트래픽과 비탄력적 트래픽에 대하여, 슬라이스 자원수요와 QoS의 상관관계를 비교하는 그래프.
도 5 내지 도 10은, 실시예에 따른 슬라이스 자원관리장치 및 방법에 의한 효과를 설명하는 도면.
이하에서는 도면을 참조하여, 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 이하에 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예에를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 이 또한 본 발명 사상의 범위 내에 포함된다고 할 것이다.
도 1은 상기 슬라이스를 제공하는 전체 시스템의 구성도이다.
도 1을 참조하면, 상기 슬라이스 공급자(3)가 가지는 자원은 상기 슬라이스 테넌트(1)에게 임차될 수 있다. 상기 슬라이스 테넌트(1)는 상기 슬라이스 고객(2)에게 슬라이스를 이용하여 전용의 응용 서비스를 제공할 수 있다.
상기 슬라이스 공급자(3)가 가진 물리적 자원에는, 무선 네트워크 자원(21), 유선 네트워크 자원(22), 및 클라우드 자원(23) 등이 포함될 수 있다.
상기 슬라이스 고객(2)이 더 많거나 더 많은 트래픽을 사용하는 경우에는, 상기 슬라이스 테넌트(1)는 상기 슬라이스 공급자(3)로부터 더 많은 자원을 할당받아야 한다. 물론, 반대의 경우는 반대로 동작할 수 있다. 한편, 상기 슬라이스 테넌트(1)가 상기 슬라이스 공급자(3)로부터 자원을 할당받는 경우에는, 그 만큼 더 많은 비용이 발생한다. 따라서, 상기 슬라이스 테넌트(1)는 적절한 슬라이스 자원을 할당받는 것이 중요한 과제이다.
도 2는 상기 슬라이스 테넌트가 상기 슬라이스 공급자로부터 슬라이스의 자원을 얼마나 할당받을 지를 결정하는 슬라이스의 자원관리장치를 포함하여, 슬라이스 자원관리장치의 작용을 설명하는 도면이다.
도 2를 참조하면, 상기 슬라이스 자원관리장치(30)는 상기 슬라이스 테넌트(1)의 슬라이스 자원관리를 위하여 제공되는 시스템이다. 상기 슬라이드 자원관리장치(30)는 슬라이스 테넌트(1) 측의 시스템 서버에 포함될 수도 있으나, 그에 그치지 않고, 슬라이스 공급자(2) 또는 그 외의 제 3 자에게 제공될 수도 있을 것이다.
상기 슬라이스 자원관리장치(30)는, 상기 슬라이스 고객(2)과 상기 슬라이스 테넌트(1)와의 관계에 대하여 필요한 제 1 정보를 수집한다. 상기 제 1 정보에는, 슬라이스 내 트래픽 상태를 모니터링하는 트래픽 모니터링부(11), 및 트래픽의 QoS(Quallity of Service)를 계산하는 QoS계산부(13)가 포함될 수 있다. 상기 트래픽 모니터링부(11)에서는 실시간 자원 사용률을 모니터링할 수 있다. 상기 트래픽 모니터링부(11)에서는, 슬라이스의 응용 서비스 특징을 탄력적(elastic)/비탄력적(inelastic)으로 구분하여 색인할 수 있는 서비스 특징부(12)가 포함될 수 있다.
상기 슬라이스 자원관리장치(30)에는, 상기 슬라이스 공급자(3)와 상기 슬라이스 테넌트(1)와의 관계에 대하여 필요한 제 2 정보를 수집한다. 상기 제 2 정보에는 상기 슬라이스 공급자가 슬라이스의 공급에 대한 댓가 정보인 가격정보가 포함될 수 있다. 상기 슬라이스 자원관리장치(30)에는, 상기 가격정보를 모니터링하는 가격 모니터링부(14)가 포함될 수 있다.
상기 슬라이스 자원관리장치(30)는, 상기 제 1 정보 및 상기 제 2 정보를 참조하여, 최적의 슬라이스 자원의 할당량을 알아내도록 학습하는 학습부(15)가 포함될 수 있다. 상기 학습부(15)는, 상기 제 1 정보 및 상기 제 2 정보를 참조하여, 최적의 슬라이스 자원할당량을 알아내기 위한 학습을 수행할 수 있다. 상기 학습부(15)에서 학습된 결과에 기초하여, 현재 상태에 대응하는 최적의 슬라이스 자원할당량을 현재 시점으로 제공할 수 있다.
상기 학습부(15)는, 강화학습(reinforcement learning)이 적용될 수 있다. 상기 강화학습에는, Q-러닝, policy gradient, actor-critic, 및 deterministic policy gradient 등의 다양한 강화학습방법이 적용될 수 있다. 실시예에서는 Q-러닝이 적용된다.
상기 학습부(15)에서는, 상기 응용 서비스 특징, 상기 트래픽 상태, 상기 QoS, 및 상기 가격정보를 이용하여, 최적의 슬라이스 자원 할당량을 제안하도록 학습이 수행될 수 있다.
상기 학습부(15)에서 얻어진 Q-테이블에 따라서, 자원할당부(16)는 현재상태에서 실시간으로 최적의 슬라이스 자원을 할당할 수 있다.
상기 자원할당부(16)는, 상기 슬라이스 공급자(3)와의 연결을 통하여 특정의 슬라이스 테넌트에게 슬라이스 자원을 할당할 수 있고, 상기 슬라이스 자원에는 슬라이스의 대역폭이 포함될 수 있다.
도 3은 실시예에 따른 슬라이스 자원관리방법을 설명하는 도면이다.
도 3을 참조하면, 먼저, 상기 슬라이스 자원관리장치는 슬라이스와 관련되는 다양한 정보를 수집한다(S1). 여기서 수집되는 정보에는, 상기 응용 서비스 특징, 상기 트래픽 상태, 상기 QoS, 및 상기 가격정보가 포함될 수 있다.
상기 수집된 정보 중의 적어도 일부를 상태정보(State)로 하여, 상기 강화학습이 수행되어, 슬라이스 자원관리가 수행될 수 있다. 예를 들어, 상기 슬라이스 자원관리는 슬라이스의 자원을 얼마나 구매할 지를 결정하는 것일 수 있다(S2).
상기 슬라이스 자원 구매량이 결정된 다음에는, 결정된 구매량에 따라서, 상기 슬라이스 테넌트는 슬라이스 공급자로부터 슬라이스 자원을 구매할 수 있다(S3). 물론 구매된 슬라이스 자원은 상기 슬라이스 고객에게 제공될 수 있다.
이하에서는 상기 슬라이스 자원관리방법을 더 구체적으로 설명한다.
먼저, 실시예의 상기 Q-러닝은, 하기 수학식 1의 룰에 따라서, Q값을 계속해서 업데이트 하는 것에 의해서 수행될 수 있다.
Figure pat00001
여기서, s는 상태정보를 나타내고, a는 액션정보를 나타내고, α는 학습비율을 나타내고, γ는 할인요인(discount factor)을 나타내고, v는 리워드를 나타낸다.
상기 리워드(v)는 하기 수학식 2로 나타낼 수 있다.
Figure pat00002
여기서, p는 가격을 나타내고, R는 슬라이스 자원을 나타내고, n은 슬라이스의 색인을 나타내고, t는 시간을 나타내고, sell은 슬라이스 고객에게 판매을 나타내고, buy는 슬라이스 공급자로부터의 구매을 나타내고, violate는 QoS를 만족시키지 않은 것을 나타내고, ω는 QoS 가중치를 나타내고, π는 정책(policy)을 나타낸다.
상기 수학식 2에서 패널티(penalty)의 계산에 상기 QoS정보가 참조될 수 있다.
상기 수학식 2에 따르면, 상기 수학식 1의 Q-러닝은
Figure pat00003
를 최고로 하는 정책을 향하도록 Q값을 업데이트 해 나간다. 또한, 상기 수학식 1은 새로운 이벤트가 있을 때마다 반복하여 Q-테이블을 업데이트할 수 있다.
상기 수학식 2의 업데이트에 있어서, 상기 상태정보는 큰 영향을 미친다. 상기 상태정보를 상세하게 설명한다.
상기 상태정보에는, 상기 응용 서비스 특징, 상기 트래픽 상태, 시간정보, 및 상기 가격정보가 포함될 수 있다.
상기 응용 서비스 특징에는, 상기 응용 서비스를 탄력적 트래픽(elastic traffic)과, 비탄력적 트래픽(inelastic traffic)으로 구분한다. 상기 탄력적 트래픽(elastic traffic)과, 상기 비탄력적 트래픽(inelastic traffic)으로 구분되고, 두 트래픽의 비율정보가 강화학습의 상태정보로 사용될 수 있다.
상기 탄력적 트래픽과 상기 비탄력적 트래픽을 설명한다.
먼저, 상기 탄력적 트래픽은, 네트워크를 통하여 전송되는 스루풋과 지연에 대하여 넓은 조정범위를 가지는 트래픽을 말한다. 이 때문에 탄력적 트래픽에 해당하는 응용 서비스는, 스루풋과 지연 조정이 어느 정도 발생하더라도 여전이 응용 서비스를 만족시킬 수 있다. p2p 서비스를 탄력적 트래픽의 예라고 할 수 있다.
반면에 상기 비탄력적 트래픽은, 스루풋과 지연에 대한 요구사항이 민감하여, 네트워크에 스루풋과 지연 조정이 발생하는 경우에 응용 서비스를 만족시킬 수 없는 트래픽을 말한다. 오디오 스트리밍이나 VoIP서비스는 비탄력적 트래픽의 예라고 할 수 있다.
도 4는 상기 탄력적 트래픽과 상기 비탄력적 트래픽에 대하여, 슬라이스 자원수요와 QoS의 상관관계를 비교하는 그래프이다.
도 4를 참조하면, 상기 탄력적 트래픽은 평균적인 자원수요(
Figure pat00004
)만을 요구하지만, 상기 비탄력적 트래픽을 만족시키기 위해서는 일정한 최소한의 수요(
Figure pat00005
)를 요구하는 것을 알 수 있다.
이는 이미 살펴본 바와 같이, 각 트래픽이 만족하는 성능을 얻기 위한 응용 서비스의 특성에 기인할 수 있다. 예를 들어, 상기 비탄력적 트래픽의 경우에는 일정한 수준 이상의 슬라이스 자원이 없으면 동작하기가 어렵기 때문에, 최소한의 수요가 있는 것이다.
상기 탄력적 트래픽과 상기 비탄력적 트래픽의 비율을 흐름비(φ: flow ratio)로서,
Figure pat00006
와 같이 정의할 수 있다.
상기 트래픽 상태는, 전체 슬라이스 자원의 수요(Dn,t)로서,
Figure pat00007
로 정의할 수 있다. 여기서, I는 비탄력적 트래픽을 나타내고, E는 탄력적 트래픽을 나타내고, D는 수요(Demand)를 나타낸다.
상기 탄력적 트래픽과 상기 비탄력 트래픽에서, 각각 평균적인 자원수요(
Figure pat00008
), 일정한 최소한의 수요(
Figure pat00009
)가 요청되는 것임은 살펴본 바와 같다.
상기 가격정보는, 현재 마켓 가격비(ρ)로서,
Figure pat00010
로 나타낼 수 있다.
상기 t는 시간 정보로서, 전체 시간(T) 중에서 매번 이벤트가 발생하는 일정한 시간주기(τ)를, 시간 단위로 하여 업데이트가 수행될 수 있다.
상기 수학식 1 및 상기 수학식 2를 구현하는 것에 의해서 학습이 수행되고, 그 결과에 따라서, 소정의 단위(σ)로 상기 슬라이스 자원을 더 많이 구매하거나 더 적게 구매할 수 있다.
상기 슬라이스 자원관리장치 및 방법에는, 위와 같은 과정으로 Q러닝이 수행된 결과가 저장되어 있고, 현재 상태가 입력이 되었을 때 최적의 슬라이스 자원의 할당량을 알려줄 수 있다.
상기 실시예에 따른 슬라이스 자원관리장치 및 방법에 의한 효과를 도 5 내지 도 10을 참조하여 설명한다.
도 5는 에피소드에 다른 평균 리워드를 나타낸다. 도 5에서, 상기 α는 0.1이고, 상기 γ는 0.9이고, 상기 ω는 1.6이고, 구매가는 $40이고, 판매가는 $200이고, 전체 트래픽은 200이고, φ는 0 보다 크고 1보다 작은 범위 내에서 임의로 선정하였다.
도 5를 참조하면, Q-값이 소정의 값으로 잘 수렴하는 것을 확인할 수 있다.
도 6은, 시간슬롯에 따라서 슬라이스 자원을 얼마나 잘 관리하였는지를 비교하는 그래프로서, 도 6(a)는 실시예에 따른 결과를 나타내고, 도 6(b)는 이전의 시간슬롯의 수요에 대응하여 동적으로 자원을 할당한 결과(previous method)를 나타내고, 도 6(c)는 이전 에피소드의 전체 자원수요의 절반을 할당한 결과(half of demand)를 나타내고, 도 6(d)는 고정 자원의 결과(fixed resource)를 나타낸다.
도 6을 참조하면, 실시예의 경우가, 슬라이스 자원 수요에 대응하여 슬라이스 자원공급이 가장 원활하게 변하는 것을 볼 수 있다.
도 7은 슬라이스 자원관리에 있어서 거래간격(trading interval)을 달리 하면서 상기 슬라이스 태넌트의 이익(도 7(a))과, QoS만족률(도 7(b))를 비교하는 그래프이다.
도 7(a)를 참조하면, 실시예의 경우에는 거래간격을 달리 하더라도 거의 영향을 받지 않는 것을 볼 수 있다. 이에 반하여, 이전 에피소드의 전체 자원수요의 절반을 할당하거나, 고정 자원을 할당하는 경우에는, 거래간격을 달리 하더라도 용향이 없고, 이전의 시간슬롯의 수요에 대응하여 동적으로 자원을 할당하는 경우에는, 실시예에 비하여 낮은 이익과 QoS만족률을 보여주었다.
이에 따르면, 거래간격이 달라지더라도 실시예가 가장 좋은 효과를 보이는 것을 알 수 있다.
도 8은 상기 탄력적 트래픽과 상기 비탄력적 트래픽의 비율에 대한 흐름비를 달리 하여 QoS 만족률을 비교하였다.
도 8을 참조하면, 실시예는, 상기 비탄력적 트래픽이 상당히 많은 경우에는, 고정 자원을 할당하는 때와 비교하여, 약간 낮은 QoS 만족률을 보이는 것을 볼 수 있었다. 그럼에도 상기 슬라이스 테넌트의 수익이 높은 것임을 감안할 때 실시예가 더 우위에 있을 수 있다.
그 외의 경우에 있어서는 어느 흐름비에 있어서도 좋은 QoS 만족률을 보이는 것을 알 수 있다.
도 9는 상기 QoS 가중치에 따른 효과를 보이는 도면이다.
도 9를 참조하면, 상기 수학식 2에서 상기 QoS 가중치(ω)를 높일수록, QoS 위반(penalty)은 낮아지지만, 상기 슬라이스 테넌트의 수익은 낮아지는 것을 볼 수 있다.
도 10은 상기 슬라이스 공급자가 슬라이스 자원의 공급가를 달리함에 따라서 슬라이스 자원의 구매를 달리하는 성능을 비교하는 그래프이다.
도 10을 참조하면, 실시예의 경우에는 $200가 넘어서는 때에, 상기 슬라이스 자원의 구매를 낮추는 것을 알 수 있고, 이에 따라서 슬라이스 공급자의 공급가격에 대하여 적절히 반응하는 것을 알 수 있다.
본 발명에 따르면, 상기 응용 서비스의 특징(탄력적 트래픽 또는 비탄력적 트래픽)과 트래픽 상태에 따라 강화학습을 기반으로 학습하여 매 자원거래간격마다 동적으로 원활하게 슬라이스 자원량을 구매할 수 있다.
본 발명에 따르면, 짧은 자원거래간격에서도 슬라이스 자원량을 늘릴지 줄일지 정하는데 복잡한 계산이 필요없고, 단순히 현재상태에서 최고의 액션을 선택하면 되는 장점이 있다.
본 발명에 따르면, 여러 에피소드를 거치면서 여러 상태세트에 대한 최적의액션을 정해 두었기 때문에, 과거 시간에 대한 정보를 참조할 필요가 없다.
본 발명에 의해서 테넌트는 슬라이스 자원을 원활히 관리하여 그 수익을 더 높일 수 있고, 네트워크의 전체로 볼 때, 네트워크 자원을 낭비하지 않는 효과가 있다.
1: 슬라이스 테넌트
2: 슬라이스 고객
3: 슬라이스 공급자
30: 슬라이스 자원관리장치
11: 트래픽 모니터링부
12: 서비스 특징부
13: QoS계산부
14: 가격 모니터링부
15: 학습부
16: 자원할당부

Claims (5)

  1. -슬라이스 고객과 슬라이스 테넌트와의 관계에 관한 제 1 정보를 수집하고,
    -슬라이스 공급자와 상기 슬라이스 테넌트와의 관계에 관한 제 2 정보를 수집하고,
    -상기 제 1 정보 및 상기 제 2 정보를 참조하여, 최적의 슬라이스 자원할당량을 알아내도록 학습하는 학습부가 포함되고,
    -상기 제 1 정보에는, 상기 슬라이스 테넌트가 제공되는 응용 서비스의 특징, 슬라이스에서 수행되는 트래픽 상태, 상기 슬라이스의 QoS 중의 적어도 하나가 포함되고,
    -상기 제 2 정보에는 상기 슬라이스 공급자가 제공되는 가격정보가 포함되어,
    -상기 학습부는 학습된 결과에 따라서, 현재 상태에 맞는 최적의 슬라이스 자원을 제안하는,
    슬라이스 자원관리장치.
  2. 슬라이스와 관련되는 정보를 수집하는 것;
    상기 수집된 정보 중의 적어도 일부를 상태정보로 하여 강화학습이 수행되어, 슬라이스 테넌트가 슬라이스 공급자로부터 슬라이스의 자원을 얼마나 구매할 지를 결정하는 것; 및
    상기 슬라이스 테넌트가 결정된 슬라이스 자원 구매량을 슬라이스 공급자로부터 공급받아 슬라이스 고객에게 제공하는 것이 포함되는 슬라이스 자원관리방법.
  3. 제 2 항에 있어서,
    상기 정보수집단계에서 수집되는 정보에는, 상기 응용 서비스 특징, 상기 트래픽 상태, 상기 QoS, 및 상기 가격정보 중의 적어도 하나가 포함되는 슬라이스 자원관리방법.
  4. 제 3 항에 있어서,
    상기 응용 서비스 특징에는,
    탄력적 트래픽과 비탄력적 트래픽과의 비율정보가 포함되는 슬라이스 자원관리방법.
  5. 제 2 항에 있어서,
    상기 강화학습은 Q러닝이고,
    상기 Q러닝은,
    <수학식 2>
    Figure pat00011

    여기서, p는 가격을 나타내고, R는 슬라이스 자원을 나타내고, n은 슬라이스의 색인을 나타내고, t는 시간을 나타내고, sell은 슬라이스 고객에게 판매을 나타내고, buy는 슬라이스 공급자로부터의 구매을 나타내고, viloate는 QoS를 만족시키지 않은 것을 나타내고, ω는 QoS 가중치를 나타내고, π는 정책(policy)을 나타내고,
    상기 수학식 2에서, 상기
    Figure pat00012
    를 최고로 하도록,
    <수학식 1>
    Figure pat00013

    여기서, s는 상태정보를 나타내고, a는 액션정보를 나타내고, α는 학습비율을 나타내고, γ는 할인요인(discount factor)을 나타내고, v는 리워드를 나타내고,
    수학식 1의 Q값을 업데이트 하도록 수행하는 슬라이스의 자원관리방법.
KR1020190142933A 2019-11-08 2019-11-08 슬라이스의 자원관리장치 및 방법 KR20210056163A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190142933A KR20210056163A (ko) 2019-11-08 2019-11-08 슬라이스의 자원관리장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190142933A KR20210056163A (ko) 2019-11-08 2019-11-08 슬라이스의 자원관리장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210056163A true KR20210056163A (ko) 2021-05-18

Family

ID=76158739

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190142933A KR20210056163A (ko) 2019-11-08 2019-11-08 슬라이스의 자원관리장치 및 방법

Country Status (1)

Country Link
KR (1) KR20210056163A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023229190A1 (ko) * 2022-05-27 2023-11-30 삼성전자주식회사 전송 경로 결정 방법 및 상기 방법을 수행하는 전자 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
O. U. Akguel, I Malanchini, and A Capone, "Dynamic Resource Trading in Sliced Mobile Networks,"IEEE TNSM, January 2019.

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023229190A1 (ko) * 2022-05-27 2023-11-30 삼성전자주식회사 전송 경로 결정 방법 및 상기 방법을 수행하는 전자 장치

Similar Documents

Publication Publication Date Title
US11316755B2 (en) Service enhancement discovery for connectivity traits and virtual network functions in network services
US10652113B2 (en) Method and system for efficient deployment of web applications in a multi-datacenter system
US7984156B2 (en) Data center scheduler
US20140229210A1 (en) System and Method for Network Resource Allocation Considering User Experience, Satisfaction and Operator Interest
US20110213879A1 (en) Multi-level Decision Support in a Content Delivery Network
US11057284B2 (en) Cognitive quality of service monitoring
US7782792B2 (en) Apparatus and methods for determining availability and performance of entities providing services in a distributed system using filtered service consumer feedback
US20160128083A1 (en) Networked resource provisioning system
US20140089510A1 (en) Joint allocation of cloud and network resources in a distributed cloud system
Hoßfeld et al. A new QoE fairness index for QoE management
Qaiyum et al. Analysis of big data and quality-of-experience in high-density wireless network
US20160210341A1 (en) Capacity planning for database replication latency
Floris et al. QoE-aware OTT-ISP collaboration in service management: Architecture and approaches
JP6145067B2 (ja) 通信トラヒック予測装置及び方法及びプログラム
Ibn-Khedher et al. OMAC: Optimal migration algorithm for virtual CDN
Santos et al. A multi-tier fog content orchestrator mechanism with quality of experience support
Viola et al. Predictive CDN selection for video delivery based on LSTM network performance forecasts and cost-effective trade-offs
US9838504B2 (en) Dynamic network traffic management in response to non-network conditions input
KR20210056163A (ko) 슬라이스의 자원관리장치 및 방법
US9247559B2 (en) Dynamically delayed delivery of content in a network
CN114826924A (zh) 用于带宽分配的方法及装置
Xu et al. Improving fairness for distributed interactive applications in software-defined networks
Bouterse et al. Dynamic VM allocation in a SaaS environment
Yusuf-Asaju et al. Towards Real-Time Customer Satisfaction Prediction Model for Mobile Internet Networks
Lieto et al. Dynamic Pricing for Tenants in an Automated Slicing Marketplace

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal