KR102589554B1 - 무선 엣지 컴퓨팅 기반 네트워크에서의 최적의 부분 오프로딩 방법 및 오프로딩을 위한 시스템 - Google Patents

무선 엣지 컴퓨팅 기반 네트워크에서의 최적의 부분 오프로딩 방법 및 오프로딩을 위한 시스템 Download PDF

Info

Publication number
KR102589554B1
KR102589554B1 KR1020210088829A KR20210088829A KR102589554B1 KR 102589554 B1 KR102589554 B1 KR 102589554B1 KR 1020210088829 A KR1020210088829 A KR 1020210088829A KR 20210088829 A KR20210088829 A KR 20210088829A KR 102589554 B1 KR102589554 B1 KR 102589554B1
Authority
KR
South Korea
Prior art keywords
offloading
base station
data
user terminal
waiting time
Prior art date
Application number
KR1020210088829A
Other languages
English (en)
Other versions
KR20230008321A (ko
Inventor
조성래
이충현
슈메이에 라코우 데메케
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020210088829A priority Critical patent/KR102589554B1/ko
Publication of KR20230008321A publication Critical patent/KR20230008321A/ko
Application granted granted Critical
Publication of KR102589554B1 publication Critical patent/KR102589554B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5094—Allocation of resources, e.g. of the central processing unit [CPU] where the allocation takes into account power or heat criteria
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/59—Providing operational support to end devices by off-loading in the network or by emulation, e.g. when they are unavailable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

본 발명은 무선 엣지 컴퓨팅 기반 네트워크에서의 부분 오프로딩 방법에 관한 것으로, 제1 기지국의 커버리지 내 위치하는 제2 기지국 및 상기 제1 기지국과 연결되는 서버를 포함하는 무선 엣지 컴퓨팅 기반 네트워크에서 최적의 부분 오프로딩 방법에 있어서, 상기 제2 기지국과 연결된 적어도 하나의 사용자 단말로부터 생성된 태스크를 오프로딩 하기 위한 오프로딩 데이터를 산출하는 단계, 상기 오프로딩 데이터를 오프로딩 하기 위해 필요한 대기시간 및 에너지 소비량을 연산하는 단계 및 상기 연산된 대기시간 및 에너지 소비량에 기초하여 상기 오프로딩 데이터를 처리하는 단계를 포함하는 것을 특징으로 한다.

Description

무선 엣지 컴퓨팅 기반 네트워크에서의 최적의 부분 오프로딩 방법 및 오프로딩을 위한 시스템{METHOD AND SYSTEM FOR OPTIMAL PARTIAL OFFLOADING IN WIRELESS EDGE COMPUTING NETWORK}
본 발명은 무선 엣지 컴퓨팅 기반 네트워크에서 최적의 부분 오프로딩 방법 및 오프로딩을 위한 시스템에 관한 것으로서, 더욱 상세하게는 대기시간 및 에너지 소비량의 관점에서 계산되는 오버헤드를 최소화하기 위한 무선 엣지 컴퓨팅 기반 네트워크에서 최적의 부분 오프로딩 방법 및 오프로딩을 위한 시스템에 관한 것이다.
모바일 데이터의 폭증은 최적의 성능을 달성하고 향후 무선 네트워크의 다양한 측면에 더 많은 문제를 도입하기 위해 높은 안정성 및 낮은 대기 시간과 같은 중요한 요구 사항을 부과 할 것으로 예상된다.
지능형 모바일 장치(예: 스마트 워치, 스마트 폰, 가상 현실 유리 등)가 크게 증가하면서 대화 형 온라인 게임, 자연어 처리, 증강 현실 및 얼굴 인식과 같은 다양한 계산 집약적 응용 프로그램이 등장하고 인기가 높아지고 있다.
그러나, 모바일 장치는 배터리 에너지, 메모리 크기 및 처리 속도와 같은 계산 리소스가 제한되어 있어 허용 가능한 체감 품질(QoE) 및 서비스 품질 (QoS)을 달성하는 기능이 제한된다.
따라서, 적시에 무선 액세스와 사용자 단말에 대한 계산 오프 로딩 프로비저닝을 모두 지원하기 위해 무선 네트워크(5G 이상)가 필요하며, 이러한 무선 액세스 요구 사항을 충족시키기 위한 5G 네트워크의 기술 중 하나로 소형셀 통신이 널리 알려져 있다.
관련 선행기술로는 대한민국 공개특허공보 제10-2020-0017589호(발명의 명칭: 무선 통신 시스템에서 모바일 노드의 태스크를 오프로딩하기 위한 클라우드 서버 및 그의 동작 방법, 공개일자: 2020년 2월 19일)가 있다.
이에, 본 발명의 일 실시예는 모바일 엣지 컴퓨팅 기반 네트워크에서 무선 백홀과 무선 프런트홀 간의 태스크 오프로딩 및 자원 할당 문제를 스케쥴링하기 위한 무선 엣지 컴퓨팅 기반 네트워크에서 최적의 부분 오프로딩 방법 및 오프로딩을 위한 시스템을 제공하는데 목적이 있다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)을 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 제1 기지국의 커버리지 내 위치하는 적어도 하나의 제2 기지국 및 상기 제1 기지국과 연결되는 서버를 포함하는 무선 엣지 컴퓨팅 기반 네트워크에서의 부분 오프로딩 방법에 있어서, 상기 제2 기지국과 연결된 적어도 하나의 사용자 단말로부터 생성된 태스크를 오프로딩 하기 위한 오프로딩 데이터를 산출하는 단계, 상기 오프로딩 데이터를 오프로딩 하기 위해 필요한 대기시간 및 에너지 소비량을 연산하는 단계 및 상기 연산된 대기시간 및 에너지 소비량에 기초하여 상기 오프로딩 데이터를 처리하는 단계를 포함한다.
본 발명의 일 실시예에서, 상기 제1 기지국 및 상기 제2 기지국은 무선 백홀을 통해 연동되고, 상기 제2 기지국 및 상기 적어도 하나의 사용자 단말은 무선 프런트홀을 통해 연동되고, 상기 무선 백홀 및 상기 무선 프런트홀은 주파수 대역폭을 공유할 수 있다.
본 발명의 일 실시예에서, 상기 산출하는 단계는 상기 제1 기지국과 상기 제2 기지국 간의 채널상태 및 상기 제2 기지국과 상기 사용자 단말 간의 채널상태를 기반으로 설정된 오프로딩 속도에 관한 변수에 기초하여 태스크를 오프로딩 하기 위한 오프로딩 데이터를 산출할 수 있다.
본 발명의 일 실시예에서, 상기 산출하는 단계는 상기 오프로딩 속도에 관한 변수가 0 내지 1 사이의 값을 가지는 경우, 태스크의 일부로서 오프로딩 되는 제1 데이터 및 태스크의 일부를 제외한 나머지로서 상기 사용자 단말에서 처리되는 제2 데이터를 산출할 수 있다.
본 발명의 일 실시예에서, 상기 연산하는 단계는 상기 제1 데이터 및 상기 제2 데이터를 처리하기 위해 필요한 대기시간을 나타낸 하기 수학식 1에 기초하여 상기 대기시간을 연산하고, 상기 제1 데이터 및 상기 제2 데이터를 처리하기 위해 필요한 에너지 소비량을 나타낸 수학식 2에 기초하여 상기 에너지 소비량을 연산할 수 있다.
[수학식 1]
[수학식 2]
여기서, yt ij는 상기 오프로딩 데이터를 오프로딩 하기 위해 필요한 총 대기시간을, yt ij,l은 상기 제2 데이터를 처리하기 위해 필요한 대기시간을, yt ij,r은 상기 제1 데이터를 처리하기 위해 필요한 대기시간을, εt ij은 상기 오프로딩 데이터를 오프로딩 하기 위해 필요한 총 에너지 소비량을, et ij,l은 상기 제2 데이터를 처리하기 위해 필요한 에너지 소비량을, et ij,r은 상기 제1 데이터를 처리하기 위해 필요한 에너지 소비량을 의미함.
본 발명의 일 실시예에 따른 무선 엣지 컴퓨팅 기반 네트워크에서 최적의 부분 오프로딩 방법은 상기 연산된 대기시간 및 에너지 소비량을 미리 학습된 학습 알고리즘에 적용하여 오프로딩을 최적화하는 단계를 더 포함하고, 상기 학습 알고리즘은 오프로딩 환경의 상태 스페이스, 행동 스페이스 및 유틸리티 함수로 구성된 마르코프 결정 프로세스(Markov Decision Process)에 강화 학습이 적용될 수 있다.
본 발명의 일 실시예에서, 상기 상태 스페이스는 제1 기지국과 제2 기지국 간의 채널상태, 상기 제2 기지국과 상기 사용자 단말 사이의 채널 상태, 상기 제1 기지국 및 상기 제2 기지국이 커버하는 셀 간의 간섭, 상기 서버 내 오프로딩 된 태스크가 저장되는 버퍼상태의 집합을 포함하고, 상기 행동 스페이스는 오프로딩 속도에 관한 변수 및 오프로딩 대역폭 할당에 관한 변수의 집합을 포함하고, 상기 유틸리티 함수는 하기 수학식 3에 기초하여 나타낼 수 있다.
[수학식 3]
Figure 112021078173126-pat00004
여기서, Xt는 상기 상태 스페이스를, at는 상기 행동 스페이스를, εt ij은 상기 오프로딩 데이터를 오프로딩 하기 위해 필요한 총 에너지 소비량을, yt ij는 상기 오프로딩 데이터를 오프로딩 하기 위해 필요한 총 대기시간을, λ는 태스크 드랍에 관한 가중치 변수를, Гt는 상기 사용자 단말의 대기시간 및 에너지 소비량에 관한 가중치 변수를, rt jm은 상기 제1 기지국 및 상기 제2 기지국 간에 연동되는 무선 백홀의 데이터 전송율을 의미함.
본 발명의 일 실시예에서, 상기 강화 학습은 액터(actor) 및 크리틱(critic) 기반의 DDPG(Deep Deterministic Policy Gradient)를 이용할 수 있다.
본 발명의 일 실시예에 따른 무선 엣지 컴퓨팅 기반 네트워크에서 최적의 부분 오프로딩을 위한 시스템은 제1 기지국, 상기 제1 기지국의 커버리지 내 위치하는 제2 기지국, 상기 제2 기지국과 연결되는 적어도 하나의 사용자 단말, 및 상기 사용자 단말로부터 오프로딩 되는 태스크를 처리하기 위한 서버를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 모바일 엣지 컴퓨팅 기반 네트워크에서 무선 백홀과 무선 프런트홀 간의 태스크 오프로딩 및 자원 할당 문제를 스케쥴링할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 일 실시예에 따른 무선 엣지 컴퓨팅 기반 네트워크에서의 부분 오프로딩을 위한 시스템을 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 무선 엣지 컴퓨팅 기반 네트워크에서의 부분 오프로딩 방법을 나타낸 흐름도이다.
도 3은 본 발명의 일 실시예에 있어서, DDPG 학습의 프레임워크를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 있어서, DDPG 학습이 반영된 부분 오프로딩을 처리하기 위한 수행코드를 나타낸 도면이다.
도 5a는 본 발명의 일 실시예에 따른 대기시간으로 인한 오버헤드를 비교예들과 비교하여 나타낸 그래프이다.
도 5b는 본 발명의 일 실시예에 따른 에너지 소비량으로 인한 오버헤드를 비교예들과 비교하여 나타낸 그래프이다.
도 6은 본 발명의 일 실시예에 따른 사용자 단말의 평균 태스크 드롭률을 비교예들과 비교하여 나타낸 그래프이다.
도 7은 본 발명의 일 실시예에 따른 사용자 단말 수 대비 총 시스템 오버헤드를 비교예들과 비교하여 나타낸 그래프이다.
도 8은 본 발명의 일 실시예에 따른 태스크 크기 대비 총 시스템 오버헤드를 비교예들과 비교하여 나타낸 그래프이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 일 실시예에 따른 무선 엣지 컴퓨팅 기반 네트워크에서의 부분 오프로딩을 위한 시스템을 나타낸 개념도이다.
설명에 앞서, 본 발명의 시스템을 구성하는 네트워크는 5세대(5G) 무선 엣지 컴퓨팅(MEC, Mobile Edge Computing) 네트워크로서 클라우드 컴퓨팅 기능과 네트워크 가장자리에 IT 서비스 환경을 제공한다.
이러한 5G 무선 엣지 컴퓨팅 네트워크에서는 다수의 사용자 단말에서 요구되는 태스크를 실시간으로 빠르게 처리하기 위해 태스크 할당의 최적화가 필요하며, 이를 위해 대기시간 및 에너지 소비량의 최소화 하는 태스크의 오프로딩 기법이 중요해지고 있다.
따라서, 본 발명에서는 최적화된 태스크 할당을 위해 부분적으로 수행되는 오프로딩 기법에 관하여 제시하고자 한다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 일 실시예에 따른 무선 엣지 컴퓨팅 기반 네트워크에서의 부분 오프로딩을 위한 시스템은 제1 기지국, 제2 기지국, 사용자 단말 및 서버를 포함한다.
제1 기지국은 5G 셀룰러 통신에서 무선 단말들을 위한 네트워크로의 액세스를 제공하는 전자 디바이스일 수 있다. 제1 기지국은 소정 크기의 커버리지 셀을 관리할 수 있으며, 보다 작은 크기의 커버리지 셀인 적어도 하나의 소형셀과 중첩될 수 있다. 예컨대, 제1 기지국은 중앙 기지국인 gNodeB(gNB)일 수 있다.
제2 기지국은 제1 기지국의 커버리지 내 위치하는 기지국으로서 소형셀을 관리할 수 있다. 예컨대, 제2 기지국은 스몰셀 기지국(sbs, small cell base station)일 수 있다.
사용자 단말은 제2 기지국과 연결될 수 있다. 이때, 제2 기지국에 하나 또는 다수의 사용자 단말이 연결될 수 있으며, 사용자 단말은 연결된 제2 기지국이 관리하는 소형셀의 커버리지 대역을 통해 무선 통신 할 수 있다. 예컨대, 사용자 단말은 UE일 수 있다.
일 실시예로, 제1 기지국 및 제2 기지국은 무선 백홀 링크를 통해 연동되고, 제2 기지국 및 적어도 하나의 사용자 단말은 무선 프런트홀 링크를 통해 연동될 수 있다.
이때, 무선 백홀 링크와 무선 프런트홀 링크는 주파수 대역폭을 공유할 수 있다. 본 실시예에서는 대역폭 공유 계수 kt jm(where 0<= kt jm <=1)을 적용할 수 있는데, 자세하게는 kt jm가 제1 기지국과 제2 기지국 사이의 무선 백홀 링크에 할당된 총 대역폭을 의미하고, (1-kt jm)가 제2 기지국과 사용자 단말 사이의 무선 프런트홀 링크에 할당된 총 대역폭을 의미할 수 있다.
서버는 제1 기지국과 연결되는 중앙 서버로서 제1 기지국, 제1 기지국과 연동 가능한 제2 기지국 및 제1 기지국 또는 제2 기지국과 연동 가능한 사용자 단말과 통신 가능할 수 있다. 예컨대, 서버는 모바일 엣지 컴퓨팅 서버(MEC server)일 수 있다.
서버는 제2 기지국을 통해 사용자 단말로부터 오프로딩 되는 태스크를 전달 받아 처리할 수 있다. 이를 위해, 서버에는 사용자 단말로부터 오프로딩 되는 태스크를 저장하기 위한 버퍼가 구비될 수 있다.
이하에서는, 도 2를 참조하여, 전술한 구조의 시스템을 기반으로 수행되는 부분 오프로딩 방법에 관하여 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 무선 엣지 컴퓨팅 기반 네트워크에서의 부분 오프로딩 방법을 나타낸 흐름도이다.
참고로, 후술하는 부분 오프로딩 방법은 사용자 단말에 의해 수행되는 것으로 기재하였으나, 이에 한정되지 않고 사용자 단말과 통신 가능한 별도의 장치에 의해 수행될 수 있다. 또한, 설명의 편의를 위해, 태스크의 오프로딩 대상은 서버로 한정하여 설명하고자 한다.
도 2를 참조하면, 단계(S100)에서 제2 기지국과 연결된 적어도 하나의 사용자 단말에서 생성된 태스크를 오프로딩 하기 위한 오프로딩 데이터를 산출할 수 있다.
사용자 단말에서는 1bit 당 크기가 인 태스크가 생성될 수 있다.
이후, 상기 단계(S100)에서는 제1 기지국과 제2 기지국 간의 채널상태 및 제2 기지국과 사용자 단말 간의 채널상태를 기반으로 설정된 오프로딩 속도에 관한 변수에 기초하여 태스크를 오프로딩 하기 위한 오프로딩 데이터를 산출할 수 있다. 즉, 무선 백홀 링크 및 무선 프런트홀 링크의 각 채널상태를 고려하여 미리 설정된 오프로딩 속도에 관한 변수에 따라 사용자 단말에서 생성된 태스크를 서버로 오프로딩 하기 위한 오프로딩 데이터를 산출할 수 있다.
이때, 사용자 단말에서 생성된 태스크는 일부만 오프로딩 되고 나머지는 사용자 단말에서 처리될 수 있다. 다시 말해, 각 채널 상태에 따른 오프로딩 속도에 관한 변수에 따라 태스크가 부분적으로 오프로딩 될 수 있다.
이를 위해, 상기 단계(S100)에서는 오프로딩 속도에 관한 변수가 0 내지 1 사이의 값을 가지는 경우, 태스크의 일부로서 오프로딩 되는 제1 데이터 및 태스크의 일부를 제외한 나머지로서 사용자 단말에서 처리되는 제2 데이터를 산출할 수 있다. 이에 따라, 제1 데이터는 오프로딩 되되 제2 데이터는 사용자 단말에서 처리될 수 있다. 참고로, 제1 데이터 및 제2 데이터는 각각 및 로 나타낼 수 있으며, 두 데이터의 크기 합은 생성된 태스크의 크기와 동일할 수 있다.
물론, 오프로딩 데이터는 상기 부분 오프로딩을 위한 데이터 이외에 생성된 태스크를 모두 오프로딩 하기 위한 데이터(제3 데이터) 및 생성된 태스크를 모두 사용자 단말에서 처리하기 위한 데이터(제4 데이터)를 더 포함할 수 있다.
이와 관련하여, 상기 단계(S100)에서는 오프로딩 속도에 관한 변수가 1의 값을 가지는 경우, 생성된 태스크를 모두 오프로딩 하기 위한 제3 데이터를 산출할 수 있으며, 오프로딩 속도에 관한 변수가 0의 값을 가지는 경우, 생성된 태스크를 모두 사용자 단말에서 처리하기 위한 제4 데이터를 산출할 수 있다. 이에 따라, 제3 데이터는 서버로 오프로딩 되되 제4 데이터는 사용자 단말에서 처리될 수 있다. 제3 데이터 및 제4 데이터의 태스크 크기는 동일하며, 오프로딩 여부에 따라 구분될 수 있다.
다음으로, 단계(S200)에서 오프로딩 데이터를 오프로딩 하기 위해 필요한 대기시간 및 에너지 소비량을 연산할 수 있다.
대기시간은 총 대기시간으로서 태스크가 오프로딩 되는 경우의 대기시간과 태스크가 사용자 단말에서 처리되는 경우의 대기시간을 포함할 수 있다. 즉, 대기시간은 제1 데이터를 처리하기 위해 필요한 대기시간과 제1 데이터를 처리하기 위해 필요한 대기시간을 포함할 수 있다.
이와 관련하여, 상기 단계(S200)에서는 하기 수학식 1에 기초하여 총 대기시간을 연산할 수 있다.
[수학식 1]
여기서, Yt ij는 오프로딩 데이터를 오프로딩 하기 위해 필요한 총 대기시간을, yt ij,l은 제2 데이터를 처리하기 위해 필요한 대기시간을, yt ij,r은 제1 데이터를 처리하기 위해 필요한 대기시간을 의미함.
일 실시예로, 제1 데이터를 처리하기 위해 필요한 대기시간은 4종류의 대기시간 즉, 사용자 단말에서 제2 기지국으로 오프로딩 되는 데이터의 전송시간(yt ij), 제2 기지국에서 제1 기지국으로 오프로딩 되는 데이터의 전송시간(yt jm,i), 서버에서 발생되는 큐 딜레이(yt ij,q) 및 서버에서 오프로딩 된 데이터를 처리하는 시간(yt ij,r)을 포함할 수 있다.
상기 대기시간 연산 시, 무선 프런트홀 링크의 데이터 전송율은 무선 백홀 링크의 데이터 전송율 보다 작거나 같은 조건을 만족하는 것이 바람직하다.
제1 데이터를 처리하기 위해 필요한 대기시간인 yt ij,r는 하기 수학식들과 같이 나타낼 수 있다.
[수학식 1a]
[수학식 1b]
[수학식 1c]
[수학식 1d]
[수학식 1e]
일 실시예로, 제2 데이터를 처리하기 위해 필요한 대기시간인 yt ij,l는 하기 수학식과 같이 나타낼 수 있다.
[수학식 1b]
에너지 소비량은 총 에너지 소비량으로서 태스크가 오프로딩 되는 경우의 에너지 소비량과 태스크가 사용자 단말에서 처리되는 경우의 에너지 소비량을 포함할 수 있다. 즉, 에너지 소비량은 제1 데이터를 처리하기 위해 필요한 에너지 소비량과 제2 데이터를 처리하기 위해 필요한 에너지 소비량을 포함할 수 있다.
이와 관련하여, 상기 단계(S200)에서는 하기 수학식 2에 기초하여 총 에너지 소비량을 연산할 수 있다.
[수학식 2]
Figure 112021078173126-pat00015
여기서, εt ij은 오프로딩 데이터를 오프로딩 하기 위해 필요한 총 에너지 소비량을, et ij,l은 제2 데이터를 처리하기 위해 필요한 에너지 소비량을, et ij,r은 제1 데이터를 처리하기 위해 필요한 에너지 소비량을 의미함.
일 실시예로, 제1 데이터를 처리하기 위해 필요한 에너지 소비량인 et ij,r은 하기 수학식과 같이 나타낼 수 있다.
[수학식 2a]
일 실시예로, 제2 데이터를 처리하기 위해 필요한 에너지 소비량인 et ij,l은 하기 수학식과 같이 나타낼 수 있다.
[수학식 2b]
참고로, 상기 수학식들에 적용되는 파라미터는 다음과 같이 정리할 수 있다.
다음으로, 단계(S300)에서 연산된 대기시간 및 에너지 소비량에 기초하여 상기 오프로딩 데이터를 처리할 수 있다.
다시 말해, 오프로딩 속도에 관한 변수에 따라 사용자 단말에서 생성된 태스크의 오프로딩 방식이 결정되고, 부분 오프로딩이 가능한 경우 오프로딩 및 비오프로딩(사용자 단말에서 처리되는 경우)에 따라 연산되는 대기시간 및 에너지 소비량을 기반으로 태스크의 일부는 오프로딩 되되 나머지는 사용자 단말에서 처리될 수 있다.
한편, 단계(S200) 이후 연산된 대기시간 및 에너지 소비량을 미리 학습된 학습 알고리즘에 적용하여 오프로딩 대역폭을 최적화하는 단계가 수행될 수 있다.
즉, 부분 오프로딩 수행 시 연산되는 대기시간 및 에너지 소비량을 최소화하여 MEC 네트워크 상에서 발생되는 오버헤드를 줄이기 위해 후술하는 학습 알고리즘을 적용하여 오프로딩 대역폭을 최적화할 수 있다.
이하에서는, 도 3 및 도 4를 참조하여 부분 오프로딩에 적용되는 학습 알고리즘에 관하여 설명하고자 한다.
도 3은 본 발명의 일 실시예에 있어서, DDPG 학습의 프레임워크를 나타낸 도면이고, 도 4는 본 발명의 일 실시예에 있어서, DDPG 학습이 반영된 부분 오프로딩을 처리하기 위한 수행코드를 나타낸 도면이다.
본 발명의 부분 오프로딩에 적용되는 학습 알고리즘은 오프로딩 환경의 상태 스페이스, 행동 스페이스 및 유틸리티 함수로 구성된 마르코프 결정 프로세스(MDP, Markov Decision Process)에 강화 학습이 적용될 수 있다.
강화 학습 시, 어떠한 상태(state)에서 가장 유리한 행동(action)을 선택하고, 최적의 행동(action)을 결정하기 위해 규칙(policy)을 사용하며, 행동(action)에 따른 보상(reward)을 주게 되는데, 이러한 행동, 규칙 또는 보상을 구하는데 있어서 마르코프 결정 프로세스를 활용할 수 있다. 마르코프 결정 프로세스는 행동을 중심으로 가치 평가가 이루어지며, 마르코프 결정 프로세스의 가장 큰 목적은 우수한 의사결정규칙과 최대의 보상, 즉 액션에 따른 가치의 합이 가장 큰 의사결정규칙과 보상을 찾아내는 것이다.
마르코프 결정 프로세스는 상태 스페이스, 행동 스페이스, 보상의 개념으로서 유틸리티 함수 및 규칙으로 구성될 수 있으며, 이를 본 발명의 부분 오프로딩 방법에 적용하면 다음과 같다.
일 실시예로, 상태 스페이스는 제1 기지국과 제2 기지국 간의 채널상태, 제2 기지국과 사용자 단말 사이의 채널 상태, 제1 기지국 및 상기 제2 기지국이 커버하는 셀 간의 간섭, 서버 내 오프로딩 된 태스크가 저장되는 버퍼상태의 집합을 포함할 수 있다.
일 실시예로, 행동 스페이스는 오프로딩 속도에 관한 변수 및 오프로딩 대역폭 할당에 관한 변수의 집합을 포함할 수 있다.
일 실시예로, 유틸리티 함수는 하기 수학식 3에 기초하여 나타낼 수 있다.
[수학식 3]
Figure 112021078173126-pat00019
여기서, Xt는 상기 상태 스페이스를, at는 상기 행동 스페이스를, εt ij은 상기 오프로딩 데이터를 오프로딩 하기 위해 필요한 총 에너지 소비량을, yt ij는 상기 오프로딩 데이터를 오프로딩 하기 위해 필요한 총 대기시간을, λ는 태스크 드랍에 관한 가중치 변수를, Гt는 상기 사용자 단말의 대기시간 및 에너지 소비량에 관한 가중치 변수를, rt jm은 상기 제1 기지국 및 상기 제2 기지국 간에 연동되는 무선 백홀의 데이터 전송율을 의미함.
일 실시예로, 규칙은 상기 상태 스페이스, 행동 스페이스 및 유틸리티 함수를 기반으로 하기 수학식 4에 기초하여 나타낼 수 있다.
[수학식 4]
상기와 같이 적용된 마르코프 결정 프로세스에 강화 학습이 적용될 수 있다. 이때, 강화 학습은 액터(actor) 및 크리틱(critic) 기반의 DDPG(Deep Deterministic Policy Gradient)를 이용할 수 있다.
DDPG는 일반적으로 알려진 강화 학습 기법으로 그 원리에 대해서는 생략하겠으나, 이를 본 발명의 부분 오프로딩 방법에 적용하여 다음과 같이 설명하고자 한다.
도 3에 도시된 바와 같이, 프라이머리 네트워크(Actor PN 및 Critic PN), 타겟 네트워크(Actor TN 및 Critic TN) 및 리플레이 버퍼는 본 발명의 오프로딩을 위한 강화 학습의 세 가지 주요 구성 요소에 해당한다. 크리틱(critic)의 행동 가치 함수를 계산하기 위해 프라이머리 및 타겟 네트워크 모두에 대해 심층 신경망(DNN)을 사용하는 함수 근사치를 사용한다.
로 표시되는 Q-함수를 근사화하기 위해 매개 변수 벡터 θ를 사용하며, 이는 리플레이 버퍼에 저장된 전환 경험(transition experiences)을 사용하여 업데이트 된다. 경험 튜플(experience tuple) et=(Xt, at, Ut, Xt+1)을 저장하기 위해 제한된 크기의 리플레이 버퍼를 사용하고, 경험 풀(experience pool)은 R로 표시된다. 이를 통해, 학습 프로세스 중 샘플 상관 관계를 분리하고 에이전트(agent)가 다양한 경험에서 효율적으로 학습 할 수 있다. 경험 리플레이 기술에 따르면, 각 시간 슬롯 C의 경험 풀 R에서 R0 경험의 미니 배치(mini-batch)를 무작위로 샘플링하여 프라이머리 및 타켓 네트워크의 네트워크 매개 변수를 업데이트 할 수 있다.
심층 강화 학습의 크리틱(critic) 네트워크는 Q-가치 함수를 기반으로 액터(actor)가 규정한 정책을 평가한다. 프라이머리 크리틱(critic) 네트워크인 Critic PN은 손실을 줄임으로써 훈련되고 업데이트 된다. 도 3에서와 같이, 손실 함수(Loss function)는 타겟 네트워크 유틸리티의 타겟값과 Critic PN의 크리틱값으로 구성된다. 따라서, Critic PN의 매개변수는 경사 하강법 알고리즘을 사용하여 샘플링 된 미니 배치(mini-batch) 경험에서 손실을 줄임으로써 업데이트 될 수 있다.
수학식 에서 타겟값 함수 yt는 경험 유틸리티와 디스카운트된 미래 유틸리티의 합이며, τ는 디스카운트 인자이다. 는 Critic TN에서 얻은 타겟 Q-값이다. Critic PN 변수 θ는 θ에 대한 손실 L(θ)에 대해 미니 배치(mini-batch) 경사 하강법 알고리즘을 수행하여 업데이트 된다.
Actor PN은 전환(transition) X에 대한 상태를 입력으로 취하고 신경망 매개 변수 ω에 의해 결정된 행동을 생성한다. 현재 상태를 기반으로 Critic PN에서 취한 행동에 대한 크리틱값이 표시된다. 경사 상승법 알고리즘을 사용하여 현재 규칙에 대한 크리티시즘(criticism)을 기반으로 규칙 로 유도되는 Actor PN이 훈련된다.
이후, 성능이 개선되는 방향으로 규칙 매개 변수가 업데이트 된다. 특히, Actor PN은 샘플링된 규칙 기울기를 사용 J를 최대화하도록 매개 변수 ω를 업데이트하며, ω는 와 같이 나타낼 수 있다. 여기서, ηω는 액터 네트워크의 학습율을 의미함.
도 3에 도시된 바와 같이, 타겟 크리틱(critic) 및 액터(actor) 네트워크는 각각 프라이머리 크리틱(critic) 및 액터(actor) 네트워크의 시간 지연된 복사본으로 정의될 수 있으며, 타겟값을 계산하는데 사용된다. 타겟 네트워크의 Actor TN 및 Critic TN의 매개 변수 와 는 매개 변수를 직접 복사하는 대신 소프트 업데이트 후에 업데이트 된다. 타겟 크리틱(critic)/액터(actor) 네트워크는 , 와 같이 업데이트 된다.
전술한 강화 학습 기반의 부분 오프로딩을 처리하기 위한 수행코드를 살펴보면 도 4와 같다.
이하에서는, 본 발명 및 비교예들 간 태스크 처리에 관한 비교를 통해 부분 오프로딩 방법에 대한 평가결과를 설명하고자 한다. 비교예는 태스크 전체를 모두 사용자 단말에서 처리하는 경우(UE execution), 태스크 전체를 모두 서버로 오프로딩 하는 경우(MEC execution) 및 태스크를 무작위로 오프로딩 하는 경우(Random offloading)를 포함한다.
도 5a는 본 발명의 일 실시예에 따른 대기시간으로 인한 오버헤드를 비교예들과 비교하여 나타낸 그래프이고, 도 5b는 본 발명의 일 실시예에 따른 에너지 소비량으로 인한 오버헤드를 비교예들과 비교하여 나타낸 그래프이다.
도 5a 및 도 5b에 도시된 바와 같이, 실험 횟수와 무관하게 본 발명 및 비교예들 모두 발생되는 오버헤드의 경향을 일정한 것을 알 수 있다.
한편, 대기시간으로 인한 오버헤드 값은 UE execution, MEC execution, Random offloading 및 DDPG-PTORA 순으로 크고, 에너지 소비량으로 인한 오버헤드 값은 UE execution, MEC execution 순으로 크되 Random offloading 및 DDPG-PTORA 방식에서는 거의 유사한 것을 확인할 수 있으며, 이는 사용자 단말의 경우 제한된 계산 능력을 가지고 있기 때문에 다른 태스크 처리 방식에 비해 발생되는 오버헤드가 가장 높다고 할 수 있다.
도 6은 본 발명의 일 실시예에 따른 사용자 단말의 평균 태스크 드롭률을 비교예들과 비교하여 나타낸 그래프이다.
도 6에 도시된 바와 같이, 본 발명의 부분 오프로딩 방식인 DDPG-PTORA이 나머지 MEC execution 및 Random offloading 방식에 비해 태스크 드롭률이 가장 낮다는 것을 확인할 수 있다. 구체적으로, DDPG-PTORA, Random offloading, MEC execution의 총 태스크 드롭량은 22.7964MB, 91.8372MB, 229.5930MB로 DDPG-PTORA가 Random offloading 보다 75 % 낮고 MEC execution 보다 90 % 적다는 것을 알 수 있다.
도 7은 본 발명의 일 실시예에 따른 사용자 단말 수 대비 총 시스템 오버헤드를 비교예들과 비교하여 나타낸 그래프이다.
도 7에 도시된 바와 같이, 사용자 단말이 증가함에 따라 본 발명 및 비교예들 모두 총 시스템 오버헤드 값이 증가하는 것을 알 수 있다.
한편, 총 시스템 오버헤드 값은 UE execution, Random offloading, MEC execution 및 DDPG-PTORA 순으로 큰 것을 확인할 수 있다. 다만, 사용자 단말의 개수가 90개 이상이 되는 경우 MEC execution의 총 시스템 오버헤드 값은 Random offloading의 총 시스템 오버헤드 보다 크게 증가한다. 이는, 사용자 단말의 수가 지속적으로 증가하면 서버의 큐 딜레이와 각 사용자 단말에 할당되는 대역폭이 감소하여 오프로딩 시간을 증가시키기 때문이다.
도 8은 본 발명의 일 실시예에 따른 태스크 크기 대비 총 시스템 오버헤드를 비교예들과 비교하여 나타낸 그래프이다.
도 8의 실험에서는 사용자 단말의 개수를 50, 제2 기지국의 개수를 5로 가정하여 수행되었다.
도 8에 도시된 바와 같이, 태스크의 크기가 증가함에 따라 본 발명 및 비교예들 모두 총 시스템 오버헤드 값이 증가하는 것을 알 수 있다.
한편, 총 시스템 오버헤드 값은 UE execution, Random offloading, MEC execution 및 DDPG-PTORA 순으로 큰 것을 확인할 수 있다.
이로써, 본 발명의 일 실시예에 따르면, 모바일 엣지 컴퓨팅 기반 네트워크에서 무선 백홀과 무선 프런트홀 간의 태스크 오프로딩 및 자원 할당 문제를 스케쥴링할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 실행된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (9)

  1. 제1 기지국의 커버리지 내 위치하는 적어도 하나의 제2 기지국 및 상기 제1 기지국과 연결되는 서버를 포함하는 무선 엣지 컴퓨팅 기반 네트워크에서의 부분 오프로딩 방법에 있어서,
    상기 제2 기지국과 연결된 적어도 하나의 사용자 단말로부터 생성된 태스크를 오프로딩 하기 위한 오프로딩 데이터를 산출하는 단계;
    상기 오프로딩 데이터를 오프로딩 하기 위해 필요한 대기시간 및 에너지 소비량을 연산하는 단계; 및
    상기 연산된 대기시간 및 에너지 소비량에 기초하여 상기 오프로딩 데이터를 처리하는 단계
    를 포함하고,
    상기 산출하는 단계는
    상기 제1 기지국과 상기 제2 기지국 간의 채널상태 및 상기 제2 기지국과 상기 사용자 단말 간의 채널상태를 기반으로 설정된 오프로딩 속도에 관한 변수에 기초하여 태스크를 오프로딩 하기 위한 오프로딩 데이터를 산출하는 단계를 포함하고,
    상기 오프로딩 속도에 관한 변수가 0 내지 1 사이의 값을 가지는 경우, 태스크의 일부로서 오프로딩 되는 제1 데이터 및 태스크의 일부를 제외한 나머지로서 상기 사용자 단말에서 처리되는 제2 데이터를 산출하는 것을 특징으로 하는 무선 엣지 컴퓨팅 기반 네트워크에서의 부분 오프로딩 방법.
  2. 제1항에 있어서,
    상기 제1 기지국 및 상기 제2 기지국은 무선 백홀을 통해 연동되고, 상기 제2 기지국 및 상기 적어도 하나의 사용자 단말은 무선 프런트홀을 통해 연동되고,
    상기 무선 백홀 및 상기 무선 프런트홀은 주파수 대역폭을 공유하는 것을 특징으로 하는 무선 엣지 컴퓨팅 기반 네트워크에서의 부분 오프로딩 방법.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 연산하는 단계는
    상기 제1 데이터 및 상기 제2 데이터를 처리하기 위해 필요한 대기시간을 나타낸 하기 수학식 1에 기초하여 상기 대기시간을 연산하고, 상기 제1 데이터 및 상기 제2 데이터를 처리하기 위해 필요한 에너지 소비량을 나타낸 수학식 2에 기초하여 상기 에너지 소비량을 연산하는 것을 특징으로 하는 무선 엣지 컴퓨팅 기반 네트워크에서의 부분 오프로딩 방법.
    [수학식 1]
    Figure 112021078173126-pat00032

    [수학식 2]

    여기서, yt ij는 상기 오프로딩 데이터를 오프로딩 하기 위해 필요한 총 대기시간을, yt ij,l은 상기 제2 데이터를 처리하기 위해 필요한 대기시간을, yt ij,r은 상기 제1 데이터를 처리하기 위해 필요한 대기시간을, εt ij은 상기 오프로딩 데이터를 오프로딩 하기 위해 필요한 총 에너지 소비량을, et ij,l은 상기 제2 데이터를 처리하기 위해 필요한 에너지 소비량을, et ij,r은 상기 제1 데이터를 처리하기 위해 필요한 에너지 소비량을 의미함.
  6. 제1항에 있어서,
    상기 연산된 대기시간 및 에너지 소비량을 미리 학습된 학습 알고리즘에 적용하여 오프로딩을 최적화하는 단계를 더 포함하고,
    상기 학습 알고리즘은
    오프로딩 환경의 상태 스페이스, 행동 스페이스 및 유틸리티 함수로 구성된 마르코프 결정 프로세스(Markov Decision Process)에 강화 학습이 적용되는 것을 특징으로 하는 무선 엣지 컴퓨팅 기반 네트워크에서의 부분 오프로딩 방법.
  7. 제6항에 있어서,
    상기 상태 스페이스는 제1 기지국과 제2 기지국 간의 채널상태, 상기 제2 기지국과 상기 사용자 단말 사이의 채널 상태, 상기 제1 기지국 및 상기 제2 기지국이 커버하는 셀 간의 간섭, 상기 서버 내 오프로딩 된 태스크가 저장되는 버퍼상태의 집합을 포함하고,
    상기 행동 스페이스는 오프로딩 속도에 관한 변수 및 오프로딩 대역폭 할당에 관한 변수의 집합을 포함하고,
    상기 유틸리티 함수는 하기 수학식 3에 기초하여 나타낼 수 있는 것을 특징으로 하는 무선 엣지 컴퓨팅 기반 네트워크에서의 부분 오프로딩 방법.
    [수학식 3]

    Figure 112021078173126-pat00035

    여기서, Xt는 상기 상태 스페이스를, at는 상기 행동 스페이스를, εt ij은 상기 오프로딩 데이터를 오프로딩 하기 위해 필요한 총 에너지 소비량을, yt ij는 상기 오프로딩 데이터를 오프로딩 하기 위해 필요한 총 대기시간을, λ는 태스크 드랍에 관한 가중치 변수를, Гt는 상기 사용자 단말의 대기시간 및 에너지 소비량에 관한 가중치 변수를, rt jm은 상기 제1 기지국 및 상기 제2 기지국 간에 연동되는 무선 백홀의 데이터 전송율을 의미함.
  8. 제7항에 있어서,
    상기 강화 학습은 액터(actor) 및 크리틱(critic) 기반의 DDPG(Deep Deterministic Policy Gradient)를 이용하는 것을 특징으로 하는 무선 엣지 컴퓨팅 기반 네트워크에서의 부분 오프로딩 방법.
  9. 제1 기지국;
    상기 제1 기지국의 커버리지 내 위치하는 제2 기지국;
    상기 제2 기지국과 연결되는 적어도 하나의 사용자 단말; 및
    상기 사용자 단말로부터 오프로딩 되는 태스크를 처리하기 위한 서버
    를 포함하고,
    상기 서버는,
    상기 제1 기지국과 상기 제2 기지국 간의 채널상태 및 상기 제2 기지국과 상기 사용자 단말 간의 채널상태를 기반으로 설정된 오프로딩 속도에 관한 변수에 기초하여 태스크를 오프로딩 하기 위한 오프로딩 데이터를 산출하고,
    상기 오프로딩 속도에 관한 변수가 0 내지 1 사이의 값을 가지는 경우, 태스크의 일부로서 오프로딩 되는 제1 데이터 및 태스크의 일부를 제외한 나머지로서 상기 사용자 단말에서 처리되는 제2 데이터를 산출하는 것을 특징으로 하는 무선 엣지 컴퓨팅 기반 네트워크에서의 부분 오프로딩을 위한 시스템.
KR1020210088829A 2021-07-07 2021-07-07 무선 엣지 컴퓨팅 기반 네트워크에서의 최적의 부분 오프로딩 방법 및 오프로딩을 위한 시스템 KR102589554B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210088829A KR102589554B1 (ko) 2021-07-07 2021-07-07 무선 엣지 컴퓨팅 기반 네트워크에서의 최적의 부분 오프로딩 방법 및 오프로딩을 위한 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210088829A KR102589554B1 (ko) 2021-07-07 2021-07-07 무선 엣지 컴퓨팅 기반 네트워크에서의 최적의 부분 오프로딩 방법 및 오프로딩을 위한 시스템

Publications (2)

Publication Number Publication Date
KR20230008321A KR20230008321A (ko) 2023-01-16
KR102589554B1 true KR102589554B1 (ko) 2023-10-13

Family

ID=85110120

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210088829A KR102589554B1 (ko) 2021-07-07 2021-07-07 무선 엣지 컴퓨팅 기반 네트워크에서의 최적의 부분 오프로딩 방법 및 오프로딩을 위한 시스템

Country Status (1)

Country Link
KR (1) KR102589554B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102177432B1 (ko) 2019-05-29 2020-11-11 연세대학교 산학협력단 포그 컴퓨팅 기반 무선 네트워크에서 태스크 우선순위별 연산량 오프로딩 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10972933B2 (en) * 2018-03-19 2021-04-06 Qualcomm Incorporated QoS support in wireless backhaul networks using cellular radio-access technologies
KR102508504B1 (ko) * 2019-11-25 2023-03-08 경희대학교 산학협력단 기계 학습 기반의 무인항공기 모바일 엣지 서버 간 협업 태스크 매칭 및 오프로딩 방법
KR102463776B1 (ko) * 2019-12-03 2022-11-04 경희대학교 산학협력단 무인항공기를 이용한 모바일 엣지 컴퓨팅 시스템에서의 태스크 오프로딩 방법 및 그를 이용한 모바일 엣지 컴퓨팅 시스템, 그를 위한 무인 항공기

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102177432B1 (ko) 2019-05-29 2020-11-11 연세대학교 산학협력단 포그 컴퓨팅 기반 무선 네트워크에서 태스크 우선순위별 연산량 오프로딩 장치 및 방법

Also Published As

Publication number Publication date
KR20230008321A (ko) 2023-01-16

Similar Documents

Publication Publication Date Title
Tang et al. Deep reinforcement learning for task offloading in mobile edge computing systems
CN111414252B (zh) 一种基于深度强化学习的任务卸载方法
EP3605329B1 (en) Connected cache empowered edge cloud computing offloading
CN113225377A (zh) 物联网边缘任务卸载方法及装置
Hazra et al. Intelligent service deployment policy for next-generation industrial edge networks
Fragkos et al. Artificial intelligence enabled distributed edge computing for Internet of Things applications
Liu et al. Energy-efficient space–air–ground integrated edge computing for internet of remote things: A federated DRL approach
CN114390057A (zh) Mec环境下基于强化学习的多接口自适应数据卸载方法
CN111813539A (zh) 一种基于优先级与协作的边缘计算资源分配方法
Kashyap et al. Deep learning based offloading scheme for IoT networks towards green computing
Du et al. Maddpg-based joint service placement and task offloading in MEC empowered air-ground integrated networks
CN114706631B (zh) 基于深度q学习的移动边缘计算中卸载决策方法及系统
Jiang et al. Research on new edge computing network architecture and task offloading strategy for Internet of Things
CN116980852A (zh) 一种多无人机辅助mec系统部署卸载策略联合优化方法
CN114090108B (zh) 算力任务执行方法、装置、电子设备及存储介质
CN115665258A (zh) 一种基于深度强化学习的多目标服务功能链的优先级感知部署方法
Dai et al. Distributed convex relaxation for heterogeneous task replication in mobile edge computing
KR102589554B1 (ko) 무선 엣지 컴퓨팅 기반 네트워크에서의 최적의 부분 오프로딩 방법 및 오프로딩을 위한 시스템
Malazi et al. Distributed service placement and workload orchestration in a multi-access edge computing environment
Jiang et al. Double DQN based computing offloading scheme for fog radio access networks
CN115499441A (zh) 超密集网络中基于深度强化学习的边缘计算任务卸载方法
CN115499875A (zh) 一种卫星互联网任务卸载方法、系统以及可读存储介质
Pang et al. A computing resource scheduling strategy of massive IoT devices in the mobile edge computing environment
Li et al. A computation offloading model over collaborative cloud-edge networks with optimal transport theory
Cheng et al. Efficient Deep Learning Approach for Computational Offloading in Mobile Edge Computing Networks.

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant