KR102417951B1 - SDN-based slicing method in hierarchical cluster UAV network - Google Patents

SDN-based slicing method in hierarchical cluster UAV network Download PDF

Info

Publication number
KR102417951B1
KR102417951B1 KR1020200159267A KR20200159267A KR102417951B1 KR 102417951 B1 KR102417951 B1 KR 102417951B1 KR 1020200159267 A KR1020200159267 A KR 1020200159267A KR 20200159267 A KR20200159267 A KR 20200159267A KR 102417951 B1 KR102417951 B1 KR 102417951B1
Authority
KR
South Korea
Prior art keywords
uav
slicing
network
uavs
service
Prior art date
Application number
KR1020200159267A
Other languages
Korean (ko)
Other versions
KR102417951B9 (en
KR20220071768A (en
Inventor
홍충선
김기태
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020200159267A priority Critical patent/KR102417951B1/en
Priority to PCT/KR2020/016967 priority patent/WO2022114269A1/en
Publication of KR20220071768A publication Critical patent/KR20220071768A/en
Application granted granted Critical
Publication of KR102417951B1 publication Critical patent/KR102417951B1/en
Publication of KR102417951B9 publication Critical patent/KR102417951B9/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/02Arrangements for optimising operational condition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W16/00Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/24Cell structures
    • H04W16/32Hierarchical cell structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/08Testing, supervising or monitoring using real traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/50Service provisioning or reconfiguring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W40/00Communication routing or communication path finding
    • H04W40/02Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/12Communication route or path selection, e.g. power-based or shortest path routing based on transmission quality or channel quality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W40/00Communication routing or communication path finding
    • H04W40/24Connectivity information management, e.g. connectivity discovery or connectivity update
    • H04W72/10
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W72/00Local resource management
    • H04W72/50Allocation or scheduling criteria for wireless resources
    • H04W72/56Allocation or scheduling criteria for wireless resources based on priority criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/02Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/04Large scale networks; Deep hierarchical networks
    • H04W84/06Airborne or Satellite Networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/18Self-organising networks, e.g. ad-hoc networks or sensor networks
    • H04W84/20Master-slave selection or change arrangements

Abstract

본 발명에 따른 계층 군집 UAV 네트워크에서 SDN 기반 슬라이싱 방법이 제공된다. 상기 방법은 UAV 네트워크 내의 특정 UAV에 의해 수행되고, 상기 방법은 SDN (Software Defined Network) UAV (Unmanned Aerial Vehicle)를 통해 슬라이싱 경로로의 UAV 스위치를 제어하기 위한 모니터링 정보를 수집하는 네트워크 모니터링 단계; 수집된 모니터링 정보에 따라 UAV 네트워크를 슬라이싱하는 네트워크 슬라이싱 단계; 및 슬라이스된 UAV 네트워크 내에서 UAV 재배치를 위한 강화 학습을 수행하는 강화 학습 단계를 포함하여, UAV가 통신 자원으로서 배치되었을 때 단순 배치하여 서비스를 제공하는 것 보다 각 서비스의 요구사항 별로 양질의 서비스를 제공할 수 있다.An SDN-based slicing method in a hierarchical clustered UAV network according to the present invention is provided. The method is performed by a specific UAV in a UAV network, and the method includes a network monitoring step of collecting monitoring information for controlling a UAV switch to a slicing path through a Software Defined Network (SDN) Unmanned Aerial Vehicle (UAV); A network slicing step of slicing the UAV network according to the collected monitoring information; and a reinforcement learning step of performing reinforcement learning for UAV relocation within the sliced UAV network, providing a quality service for each service requirement rather than simply deploying and providing the service when the UAV is deployed as a communication resource. can provide

Description

계층 군집 UAV 네트워크에서 SDN 기반 슬라이싱 방법{SDN-based slicing method in hierarchical cluster UAV network}SDN-based slicing method in hierarchical cluster UAV network

본 발명은 계층 군집 UAV 네트워크에서 SDN 기반 슬라이싱 방법에 관한 것이다. 보다 상세하게는, 계층 군집 UAV 네트워크에서 SDN 기반 슬라이싱 방법 및 이를 수행하는 UAV 및 UAV 네트워크 시스템에 대한 것이다. The present invention relates to an SDN-based slicing method in a hierarchical clustered UAV network. More specifically, it relates to an SDN-based slicing method in a hierarchical clustered UAV network and a UAV and UAV network system performing the same.

네트워크 슬라이싱이란 물리적인 네트워크 인프라를 논리적으로 분리시켜 다양한 서비스 특성에 맞게 전용 네트워크 자원을 이용할 수 있도록 하는 기법이다.Network slicing is a technique that logically separates the physical network infrastructure so that dedicated network resources can be used according to various service characteristics.

5세대 무선 네트워크 이전에는 네트워크망에 연결되어있는 단말의 대부분이 스마트폰, 태블릿 등이었기 때문에 네트워크 슬라이싱 기술의 필요성이 대두되지 않았으나 5세대 무선 네트워크에서 유즈케이스로 정의된 mMTC(massive Machine Type Communication), URLLC(Ultra-Reliable Low Latency Communication), eMBB(enhanced Mobile Broad Band)에서는 수많은 스마트 IoT 기기가 네트워크망에 연결되어 초저지연, 고대역폭 서비스 등 다양한 서비스 요구사항을 가지기 때문에 이를 각각 만족시킬 수 있는 가상화된 전용 네트워크망을 제공하는 네트워크 슬라이싱 기술이 5세대 이동통신에서의 핵심 기술로 주목받고 있다. Prior to the 5th generation wireless network, most of the terminals connected to the network were smartphones and tablets, so the need for network slicing technology did not come up. In URLLC (Ultra-Reliable Low Latency Communication) and eMBB (enhanced Mobile Broad Band), many smart IoT devices are connected to a network and have various service requirements such as ultra-low latency and high-bandwidth services. Network slicing technology, which provides a dedicated network, is attracting attention as a core technology in 5G mobile communication.

한편, 이러한 네트워크 슬라이싱 기법을 UAV 군집 네트워크에도 적용할 수 있다. 하지만, 기존의 UAV 군집 네트워크 기술은 UAV의 특성을 이용한 활용방안, 이동경로 결정이나 통신 서비스를 위한 배치와 같은 방안에 대해 집중되어 있으며 배치 이후에도 서비스 제공을 위한 방안에 대한 기술은 미흡하다는 문제점이 있다. On the other hand, such a network slicing technique can also be applied to a UAV cluster network. However, the existing UAV cluster network technology is focused on measures such as utilization methods using the characteristics of UAVs, movement path determination or deployment for communication services, and there is a problem that the technology for service provision after deployment is insufficient. .

단일 UAV나 군집 UAV를 배치할 때 최초 통신 처리량 최대화와 같은 요소를 고려하고 있지만, UAV 배치 이후에도 고정된 위치에서 계속 서비스를 제공하는 것은 아니다. 따라서, UAV 배치 이후에 다양한 형태의 통신 서비스 요구를 만족시킬 수 없다는 문제점이 있다.When deploying a single UAV or a cluster of UAVs, factors such as maximizing the initial communication throughput are considered, but they do not continue to provide services from a fixed location after UAV deployment. Accordingly, there is a problem in that it cannot satisfy various types of communication service requirements after UAV deployment.

따라서, 본 발명의 목적은 전술한 문제를 해결하기 위해, 계층 군집 UAV 네트워크에서 SDN 기반 슬라이싱 방법을 제공함에 있다. Accordingly, an object of the present invention is to provide an SDN-based slicing method in a hierarchical cluster UAV network in order to solve the above problem.

또한, 본 발명의 목적은 UAV 군집 네트워크에서 사용자 서비스 요구사항이나 UAV 군집이 배치된 곳의 특성에 따라서 UAV 네트워크를 슬라이싱하는 방안을 제안하는 것이다. Another object of the present invention is to propose a method of slicing a UAV network according to a user service requirement in the UAV cluster network or a characteristic of a place where the UAV cluster is deployed.

또한, 본 발명의 목적은 UAV 군집 네트워크에서 5세대 네트워크의 핵심 요구사항인 초 저지연, 고 대역폭과 같은 QoS를 사용자에게 제공하는 것이 목적이다. In addition, it is an object of the present invention to provide users with QoS such as ultra-low latency and high bandwidth, which are core requirements of a 5G network in a UAV cluster network.

상기와 같은 과제를 해결하기 위한 본 발명에 따른 계층 군집 UAV 네트워크에서 SDN 기반 슬라이싱 방법이 제공된다. 상기 방법은 UAV 네트워크 내의 특정 UAV에 의해 수행되고, 상기 방법은 SDN (Software Defined Network) UAV (Unmanned Aerial Vehicle)를 통해 슬라이싱 경로로의 UAV 스위치를 제어하기 위한 모니터링 정보를 수집하는 네트워크 모니터링 단계; 수집된 모니터링 정보에 따라 UAV 네트워크를 슬라이싱하는 네트워크 슬라이싱 단계; 및 슬라이스된 UAV 네트워크 내에서 UAV 재배치를 위한 강화 학습을 수행하는 강화 학습 단계를 포함하여, UAV가 통신 자원으로서 배치되었을 때 단순 배치하여 서비스를 제공하는 것 보다 각 서비스의 요구사항 별로 양질의 서비스를 제공할 수 있다.In order to solve the above problems, there is provided an SDN-based slicing method in a hierarchical cluster UAV network according to the present invention. The method is performed by a specific UAV in a UAV network, and the method includes a network monitoring step of collecting monitoring information for controlling a UAV switch to a slicing path through a Software Defined Network (SDN) Unmanned Aerial Vehicle (UAV); A network slicing step of slicing the UAV network according to the collected monitoring information; and a reinforcement learning step of performing reinforcement learning for UAV relocation within the sliced UAV network, providing a quality service for each service requirement rather than simply deploying and providing the service when the UAV is deployed as a communication resource. can provide

일 실시 예에 따르면, 상기 네트워크 슬라이싱 단계에서, SNR (Signal-Noise Ratio) 값이 상대적으로 높게 측정되는 제1 링크의 집합을 생성하고, 전송 지연이 상대적으로 낮게 측정되는 제2 링크의 집합을 생성하고, 전달하고자 하는 데이터의 유형에 따라 제1 링크의 집합 및 제2 링크의 집합에 슬라이싱 변수들을 서로 다른 가중치로 설정할 수 있다.According to an embodiment, in the network slicing step, a set of first links having a relatively high signal-noise ratio (SNR) value is generated, and a set of second links having a relatively low transmission delay is generated. And, according to the type of data to be transmitted, the slicing variables may be set with different weights in the set of the first link and the set of the second link.

일 실시 예에 따르면, 상기 네트워크 슬라이싱 단계에서, 데이터의 유형에 따라 서로 다른 가중치로 설정된 슬라이싱 변수들에 기반하여, 소스 UAV로부터 지상 기지국과 연결된 목적지 UAV 간 그래프 형성을 통해 슬라이스를 형성할 수 있다.According to an embodiment, in the network slicing step, a slice may be formed by forming a graph from a source UAV to a destination UAV connected to a terrestrial base station based on slicing variables set with different weights according to data types.

일 실시 예에 따르면, 상기 네트워크 슬라이싱 단계에서, 소스 UAV로부터 지상 기지국과 연결된 목적지 UAV 간 그래프 형성을 통해 제1 링크의 집합과 제2 링크의 집합이 일부 중복되는 링크가 형성되는지를 판단하고, 일부 중복되는 링크가 형성되면 서비스 수요가 많은 서비스 유형에 따라 고대역폭 통신 서비스와 저지연 통신 서비스 중 자원 할당의 우선순위를 결정할 수 있다.According to an embodiment, in the network slicing step, it is determined whether a link is formed in which a set of first links and a set of second links partially overlap by forming a graph between a source UAV and a destination UAV connected to a terrestrial base station, and partially overlaps. When a link is formed, it is possible to determine the priority of resource allocation among high-bandwidth communication services and low-latency communication services according to the type of service with high service demand.

일 실시 예에 따르면, 상기 강화 학습 단계에서, 복수의 UAV들의 위치 및 서로 다른 가중치로 설정된 슬라이싱 변수들을 상태(state)로 설정하고, 복수의 UAV들의 배치 형태를 액션(action)으로 설정할 수 있다.According to an embodiment, in the reinforcement learning step, slicing variables set to positions and different weights of the plurality of UAVs may be set as a state, and an arrangement form of the plurality of UAVs may be set as an action.

일 실시 예에 따르면, 상기 강화 학습 단계에서, 고대역폭 통신 서비스에 따른 제1 유형의 통신 서비스에 대해 링크의 SNR 값을 리워드로 설정하여 강화 학습을 수행하여 복수의 UAV들의 배치 형태를 제어하고, 저지연 통신 서비스에 따른 제2 유형의 통신 서비스에 대해 전송 지연의 역수 값을 리워드로 설정하여 강화 학습을 수행하여 복수의 UAV들의 배치 형태를 제어할 수 있다.According to an embodiment, in the reinforcement learning step, for the first type of communication service according to the high bandwidth communication service, the SNR value of the link is set as a reward to perform reinforcement learning to control the arrangement shape of a plurality of UAVs; It is possible to control the arrangement of a plurality of UAVs by performing reinforcement learning by setting the reciprocal value of the transmission delay as a reward for the second type of communication service according to the low-delay communication service.

일 실시 예에 따르면, 상기 방법은 강화 학습 결과에 기반하여, 재난 지역과 연관된 클러스터 내의 복수의 UAV들의 UAV 클러스터링 및 재배치를 수행하는 UAV 재배치 단계를 더 포함할 수 있다. 상기 UAV 재배치 단계에서, 마스터 UAV가 클러스터 내에서 통신 서비스 요구 영역에 가장 인접한 UAV를 제1 UAV로 설정하고, 제1 UAV로부터 복수의 UAV들을 릴레이 통신 형태로 구성하고, 제N UAV과 지상 기지국과 통신 가능하게 겹합되도록 UAV 클러스터링을 수행할 수 있다. According to an embodiment, the method may further include a UAV relocation step of performing UAV clustering and relocation of a plurality of UAVs in a cluster associated with the disaster area, based on the reinforcement learning result. In the UAV relocation step, the master UAV sets the UAV closest to the communication service request area in the cluster as the first UAV, configures a plurality of UAVs from the first UAV in a relay communication form, and the N-th UAV and the terrestrial base station UAV clustering may be performed so as to be communicatively overlapped.

일 실시 예에 따르면, 상기 UAV 재배치 단계에서, 저지연 통신 서비스에 따른 제2 유형의 통신 서비스에 대해 전송 지연의 역수 값을 리워드로 설정하여 수행된 강화 학습 결과에 따라 복수의 UAV들의 배치 형태가 변경되도록 제어한 이후에, 고대역폭 통신 서비스에 따른 제1 유형의 통신 서비스에 대해 링크의 SNR 값을 리워드로 설정하여 수행된 강화 학습 결과를 반영하여 일부 UAV들의 배치 형태가 일정 범위 이내에서 변경되도록 제어할 수 있다. According to one embodiment, in the UAV relocation step, the arrangement form of a plurality of UAVs according to the reinforcement learning result performed by setting the reciprocal value of the transmission delay as a reward for the second type of communication service according to the low-delay communication service After controlling to be changed, the SNR value of the link is set as a reward for the first type of communication service according to the high-bandwidth communication service so that the arrangement shape of some UAVs is changed within a certain range by reflecting the result of reinforcement learning performed can be controlled

본 발명의 다른 양상에 따른 계층 군집 UAV 네트워크에서 SDN 기반 슬라이싱을 수행하는 UAV 네트워크 시스템이 제공된다. 상기 시스템은 슬라이싱 경로로의 UAV 스위치를 제어하기 위한 모니터링 정보를 수집하도록 구성된 마스터 UAV; 및 특정 지역과 연관된 클러스터 내에 배치되고, 마스터 UAV와 통신 가능하게 구성되는 복수의 UAV들을 포함하고, 상기 마스터 UAV는 수집된 모니터링 정보에 따라 UAV 네트워크를 슬라이싱하고, 슬라이스된 UAV 네트워크 내에서 UAV 재배치를 위한 강화 학습을 수행하도록 구성될 수 있다. A UAV network system for performing SDN-based slicing in a hierarchical clustered UAV network according to another aspect of the present invention is provided. The system includes: a master UAV configured to collect monitoring information for controlling the UAV switch to a slicing path; and a plurality of UAVs disposed in a cluster associated with a specific region and configured to communicate with a master UAV, wherein the master UAV slices the UAV network according to the collected monitoring information, and performs UAV relocation within the sliced UAV network. It may be configured to perform reinforcement learning for

일 실시 예에 따르면, 상기 마스터 UAV는, SNR (Signal-Noise Ratio) 값이 상대적으로 높게 측정되는 제1 링크의 집합을 생성하고, 전송 지연이 상대적으로 낮게 측정되는 제2 링크의 집합을 생성하고, 전달하고자 하는 데이터의 유형에 따라 제1 링크의 집합 및 제2 링크의 집합에 슬라이싱 변수들을 서로 다른 가중치로 설정하고, 데이터의 유형에 따라 서로 다른 가중치로 설정된 슬라이싱 변수들에 기반하여, 소스 UAV로부터 지상 기지국과 연결된 목적지 UAV 간 그래프 형성을 통해 슬라이스를 형성할 수 있다. According to an embodiment, the master UAV generates a set of first links in which a signal-noise ratio (SNR) value is measured to be relatively high, and a set of second links in which a transmission delay is measured to be relatively low, and , set the slicing variables to different weights in the first link set and the second link set according to the type of data to be transmitted, and based on the slicing variables set to different weights according to the data type, the source UAV A slice can be formed through graph formation between the destination UAV connected to the terrestrial base station from

일 실시 예에 따르면, 상기 마스터 UAV는, 소스 UAV로부터 지상 기지국과 연결된 목적지 UAV 간 그래프 형성을 통해 제1 링크의 집합과 제2 링크의 집합이 일부 중복되는 링크가 형성되는지를 판단하고, 일부 중복되는 링크가 형성되면 서비스 수요가 많은 서비스 유형에 따라 고대역폭 통신 서비스와 저지연 통신 서비스 중 자원 할당의 우선순위를 결정할 수 있다.According to an embodiment, the master UAV determines whether a link is formed in which a set of first links and a set of second links partially overlap by forming a graph between a source UAV and a destination UAV connected to a terrestrial base station, and When the link is established, it is possible to determine the priority of resource allocation among high-bandwidth communication services and low-latency communication services according to a service type with high service demand.

일 실시 예에 따르면, 상기 마스터 UAV는, 복수의 UAV들의 위치 및 서로 다른 가중치로 설정된 슬라이싱 변수들을 상태(state)로 설정하고, 복수의 UAV들의 배치 형태를 액션(action)으로 설정할 수 있다.According to an embodiment, the master UAV may set the positions of the plurality of UAVs and slicing variables set to different weights as states, and set the arrangement shape of the plurality of UAVs as an action.

일 실시 예에 따르면, 상기 마스터 UAV는, 고대역폭 통신 서비스에 따른 제1 유형의 통신 서비스에 대해 링크의 SNR 값을 리워드로 설정하여 강화 학습을 수행하여 복수의 UAV들의 배치 형태를 제어하고, 저지연 통신 서비스에 따른 제2 유형의 통신 서비스에 대해 전송 지연의 역수 값을 리워드로 설정하여 강화 학습을 수행하여 복수의 UAV들의 배치 형태를 제어할 수 있다.According to an embodiment, the master UAV performs reinforcement learning by setting the SNR value of the link as a reward for the first type of communication service according to the high-bandwidth communication service to control the arrangement of the plurality of UAVs, For the second type of communication service according to the delayed communication service, reinforcement learning may be performed by setting the reciprocal value of the transmission delay as a reward to control the arrangement of the plurality of UAVs.

일 실시 예에 따르면, 상기 마스터 UAV는, 강화 학습 결과에 기반하여, 재난 지역과 연관된 클러스터 내의 복수의 UAV들의 UAV 클러스터링 및 재배치를 수행하도록 구성되고, 마스터 UAV가 클러스터 내에서 통신 서비스 요구 영역에 가장 인접한 UAV를 제1 UAV로 설정하고, 제1 UAV로부터 복수의 UAV들을 릴레이 통신 형태로 구성하고, 제N UAV과 지상 기지국과 통신 가능하게 결합되도록 UAV 클러스터링을 수행할 수 있다. According to an embodiment, the master UAV is configured to perform UAV clustering and relocation of a plurality of UAVs in a cluster associated with a disaster area, based on the reinforcement learning result, and the master UAV is the closest to the communication service request area in the cluster. UAV clustering may be performed so that an adjacent UAV is set as a first UAV, a plurality of UAVs are configured in a relay communication form from the first UAV, and an N-th UAV is communicatively coupled to a terrestrial base station.

본 발명의 또 다른 양상에 따른 계층 군집 UAV 네트워크에서 SDN 기반 슬라이싱을 수행하는 무인 비행체(Unmanned Aerial Vehicle, UAV)가 제공된다. 상기 무인 비행체는 슬라이싱 경로로의 UAV 스위치를 제어하기 위한 모니터링 정보를 수집하도록 구성된 네트워크 모니터링 모듈; 수집된 모니터링 정보에 따라 UAV 네트워크를 슬라이싱하도록 구성된 네트워크 슬라이싱 모듈; 및 슬라이스된 UAV 네트워크 내에서 통신 서비스 유형에 따라 UAV 재배치를 위한 강화 학습을 수행하여, 통신 서비스 유형에 따라 UAV 스위치를 제어하도록 구성된 서비스 분류 모듈을 포함할 수 있다. An unmanned aerial vehicle (UAV) that performs SDN-based slicing in a hierarchical cluster UAV network according to another aspect of the present invention is provided. The unmanned aerial vehicle includes a network monitoring module configured to collect monitoring information for controlling the UAV switch to the slicing path; a network slicing module configured to slice the UAV network according to the collected monitoring information; and a service classification module configured to perform reinforcement learning for UAV relocation according to a communication service type in the sliced UAV network to control the UAV switch according to the communication service type.

일 실시 예에 따르면, 상기 네트워크 슬라이싱 모듈은, SNR (Signal-Noise Ratio) 값이 상대적으로 높게 측정되는 제1 링크의 집합을 생성하고, 전송 지연이 상대적으로 낮게 측정되는 제2 링크의 집합을 생성하고, 전달하고자 하는 데이터의 유형에 따라 제1 링크의 집합 및 제2 링크의 집합에 슬라이싱 변수들을 서로 다른 가중치로 설정하고, 데이터의 유형에 따라 서로 다른 가중치로 설정된 슬라이싱 변수들에 기반하여, 소스 UAV로부터 지상 기지국과 연결된 목적지 UAV 간 그래프 형성을 통해 슬라이스를 형성할 수 있다. According to an embodiment, the network slicing module generates a set of first links in which a signal-noise ratio (SNR) value is measured to be relatively high, and a set of second links in which a transmission delay is measured to be relatively low. and set the slicing variables to different weights in the set of the first link and the set of the second link according to the type of data to be transmitted, and based on the slicing variables set to different weights according to the type of data, the source A slice can be formed from the UAV through graph formation between the terrestrial base station and the destination UAV connected to it.

일 실시 예에 따르면, 상기 서비스 분류 모듈은, 소스 UAV로부터 지상 기지국과 연결된 목적지 UAV 간 그래프 형성을 통해 제1 링크의 집합과 제2 링크의 집합이 일부 중복되는 링크가 형성되는지를 판단하고, 일부 중복되는 링크가 형성되면 서비스 수요가 많은 서비스 유형에 따라 고대역폭 통신 서비스와 저지연 통신 서비스 중 자원 할당의 우선순위를 결정할 수 있다.According to an embodiment, the service classification module determines whether a link is formed in which a set of first links and a set of second links partially overlap by forming a graph between a source UAV and a destination UAV connected to a terrestrial base station, and partially overlaps. When a link is formed, it is possible to determine the priority of resource allocation among high-bandwidth communication services and low-latency communication services according to the type of service with high service demand.

일 실시 예에 따르면, 상기 서비스 분류 모듈은, 복수의 UAV들의 위치 및 서로 다른 가중치로 설정된 슬라이싱 변수들을 상태(state)로 설정하고, 복수의 UAV들의 배치 형태를 액션(action)으로 설정할 수 있다.According to an embodiment, the service classification module may set the location of the plurality of UAVs and slicing variables set to different weights as a state, and set the arrangement shape of the plurality of UAVs as an action.

일 실시 예에 따르면, 상기 서비스 분류 모듈은, 고대역폭 통신 서비스에 따른 제1 유형의 통신 서비스에 대해 링크의 SNR 값을 리워드로 설정하여 강화 학습을 수행하여 복수의 UAV들의 배치 형태를 제어하고, 저지연 통신 서비스에 따른 제2 유형의 통신 서비스에 대해 전송 지연의 역수 값을 리워드로 설정하여 강화 학습을 수행하여 복수의 UAV들의 배치 형태를 제어할 수 있다. According to an embodiment, the service classification module performs reinforcement learning by setting an SNR value of a link as a reward for a first type of communication service according to a high bandwidth communication service to control a configuration of a plurality of UAVs; It is possible to control the arrangement of a plurality of UAVs by performing reinforcement learning by setting the reciprocal value of the transmission delay as a reward for the second type of communication service according to the low-delay communication service.

일 실시 예에 따르면, 상기 서비스 분류 모듈은, 강화 학습 결과에 기반하여, 재난 지역과 연관된 클러스터 내의 복수의 UAV들의 UAV 클러스터링 및 재배치를 수행하도록 구성되고, 클러스터 내에서 통신 서비스 요구 영역에 가장 인접한 UAV를 제1 UAV로 설정하고, 제1 UAV로부터 복수의 UAV들을 릴레이 통신 형태로 구성하고, 제N UAV과 지상 기지국과 통신 가능하게 결합되도록 UAV 클러스터링을 수행할 수 있다.According to an embodiment, the service classification module is configured to perform UAV clustering and relocation of a plurality of UAVs in a cluster associated with a disaster area, based on the reinforcement learning result, and the UAV closest to the communication service request area in the cluster may be set as the first UAV, a plurality of UAVs may be configured in a relay communication form from the first UAV, and UAV clustering may be performed so that the N-th UAV and the terrestrial base station are communicatively coupled.

본 발명의 적어도 일 실시 예에 따르면, 계층 군집 UAV 네트워크에서 SDN 기반 슬라이싱 방법 및 이를 수행하는 UAV 및 UAV 네트워크 시스템을 제공할 수 있다.According to at least one embodiment of the present invention, it is possible to provide an SDN-based slicing method in a hierarchical cluster UAV network, and a UAV and UAV network system performing the same.

또한, 본 발명의 적어도 일 실시 예에 따르면, UAV가 통신 자원으로서 배치되었을 때 단순 배치하여 서비스를 제공하는 것 보다 각 서비스의 요구사항 별로 양질의 서비스를 제공할 수 있다. In addition, according to at least one embodiment of the present invention, when the UAV is deployed as a communication resource, it is possible to provide a quality service for each service requirement rather than simply to provide the service by arranging the UAV as a communication resource.

또한, 본 발명의 적어도 일 실시 예에 따르면, UAV의 배치뿐 만 아니라 이후의 서비스 제공 방안에 대한 발명으로서 UAV를 통신자원으로서 활용하려는 통신사업자가 본 기술을 도입하게 되는 경우 본 기술을 도입하지 않은 통신사업자 대비 사용자들의 서비스 만족도를 높일 수 있으며 이에 따라 서비스 만족도에 따라 통신 가입자수가 증가할 것으로 예상된다.In addition, according to at least one embodiment of the present invention, when a telecommunication service provider who intends to utilize the UAV as a communication resource introduces the present technology as an invention for not only the arrangement of the UAV but also the method for providing a service thereafter, the present technology is not introduced. Service satisfaction of users can be increased compared to telecommunication service providers, and the number of telecommunication subscribers is expected to increase according to service satisfaction.

상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. The features and effects of the present invention described above will become more apparent through the following detailed description in relation to the accompanying drawings, whereby those of ordinary skill in the art to which the present invention pertains can easily implement the technical idea of the present invention. will be able

도 1은 본 발명에 따른 네트워크 슬라이싱의 예시도를 나타낸다.
도 2는 본 발명에 따른 SDN을 컨트롤 평면과 데이터 평면 관점에서 나타낸 것이다.
도 3은 본 발명에 따른 계층 군집 UAV 네트워크에서 SDN 기반 슬라이싱을 수행하는 UAV 네트워크 시스템 모델을 나타낸다.
도 4는 본 발명에 따른 UAV슬라이스 형성의 예시적 개념도이다.
1 shows an exemplary diagram of network slicing according to the present invention.
2 shows the SDN according to the present invention in terms of a control plane and a data plane.
3 shows a UAV network system model for performing SDN-based slicing in a hierarchical cluster UAV network according to the present invention.
4 is an exemplary conceptual diagram of UAV slice formation according to the present invention.

상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. The features and effects of the present invention described above will become more apparent through the following detailed description in relation to the accompanying drawings, whereby those of ordinary skill in the art to which the present invention pertains can easily implement the technical idea of the present invention. will be able

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and will be described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.In describing each figure, like reference numerals are used for like elements.

제1, 제2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. shouldn't

이하의 설명에서 사용되는 구성요소에 대한 접미사 모듈, 블록 및 부는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. The suffix module, block, and part for the components used in the following description are given or mixed in consideration of only the ease of writing the specification, and do not have distinct meanings or roles by themselves.

이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 당해 분야에 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 설명한다. 하기에서 본 발명의 실시 예를 설명함에 있어, 관련된 공지의 기능 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement them. In the following description of embodiments of the present invention, if it is determined that a detailed description of a related known function or a known configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.

이하에서는, 본 발명에 따른 계층 군집 UAV 네트워크에서 SDN 기반 슬라이싱 방법 및 이를 수행하는 UAV 및 UAV 네트워크 시스템에 대해 설명하기로 한다. 이와 관련하여, 이와 관련하여, 네트워크 슬라이싱이란 물리적인 네트워크 인프라를 논리적으로 분리시켜 다양한 서비스 특성에 맞게 전용 네트워크 자원을 이용할 수 있도록 하는 기법이다. 5세대 무선 네트워크 이전에는 네트워크망에 연결되어있는 단말의 대부분이 스마트폰, 태블릿 등이었기 때문에 네트워크 슬라이싱 기술의 필요성이 대두되지 않았으나 5세대 무선 네트워크에서 유즈케이스로 정의된 mMTC(massive Machine Type Communication), URLLC(Ultra-Reliable Low Latency Communication), eMBB(enhanced Mobile Broad Band)에서는 수많은 스마트 IoT 기기가 네트워크망에 연결되어 초저지연, 고대역폭 서비스 등 다양한 서비스 요구사항을 가지기 때문에 이를 각각 만족시킬 수 있는 가상화된 전용 네트워크망을 제공하는 네트워크 슬라이싱 기술이 5세대 이동통신에서의 핵심 기술로 주목받고 있다. Hereinafter, an SDN-based slicing method in a hierarchical clustered UAV network according to the present invention and a UAV and UAV network system performing the same will be described. In this regard, in this regard, network slicing is a technique for logically separating a physical network infrastructure to use dedicated network resources according to various service characteristics. Prior to the 5th generation wireless network, most of the terminals connected to the network were smartphones and tablets, so the need for network slicing technology did not come up. In URLLC (Ultra-Reliable Low Latency Communication) and eMBB (enhanced Mobile Broad Band), many smart IoT devices are connected to a network and have various service requirements such as ultra-low latency and high-bandwidth services. Network slicing technology, which provides a dedicated network, is attracting attention as a core technology in 5G mobile communication.

도 1은 본 발명에 따른 네트워크 슬라이싱의 예시도를 나타낸다. 도 1을 참조하면, 서로 다른 서비스 요구사항을 가진 Autonomous Car와 Virtual Reality, 다수의 Massive IoT 네트워크는 각각 최 상단의 물리적 네트워크 망으로부터 가상화된 네트워크 슬라이스를 할당 받아 서비스를 처리할 수 있는 Cloud까지 전용 네트워크망을 통해 서비스를 제공받게 된다. 이러한 전용 네트워크망을 구성하기 위해서는 SDN(Software Defined Network)과 NFV(Network Function Virtualization) 기술이 필수적이며 이를 통해서 전용 네트워크 망을 이용해 서비스 경로를 보장함과 동시에 각 서비스에 필요한 VNF(Virtualized Network Function)를 전용 경로에 배치하여 요구사항에 맞는 최적 서비스가 제공가능하다. 1 shows an exemplary diagram of network slicing according to the present invention. 1, Autonomous Car, Virtual Reality, and multiple Massive IoT networks with different service requirements are allocated virtualized network slices from the uppermost physical network, respectively, and dedicated networks to the cloud that can process the service services are provided through the network. In order to construct such a dedicated network, SDN (Software Defined Network) and NFV (Network Function Virtualization) technologies are essential. It is possible to provide an optimal service that meets the requirements by placing it on a dedicated path.

다음으로, SDN & NFV (Software Defined Network & Network Function Virtualization)에 대해 설명한다. 이와 관련하여, 도 2는 본 발명에 따른 SDN을 컨트롤 평면과 데이터 평면 관점에서 나타낸 것이다. Next, SDN & NFV (Software Defined Network & Network Function Virtualization) will be described. In this regard, Fig. 2 shows the SDN according to the present invention in terms of a control plane and a data plane.

도 2를 참조하면, SDN 기술은 기존의 네트워크 장치에서 결합되어있는 Control Plane과 Data Plane을 분리시켜 중앙 컨트롤러에 Control Plane을 배치시킬 수 있다. 네트워크 장치는 Data Plane 즉 전송을 담당 하도록하여 하나의 SDN 컨트롤러를 통해 다수의 네트워크 장치가 제어 가능하다. 다수의 네트워크 장치가 컨트롤러에 연결 되어있어 각 네트워크 장치의 정보수집이 가능하고 SDN 컨트롤러는 이를 기반으로 네트워크 전송 경로를 결정할 수 있다. 이외에도 다양한 네트워크 어플리케이션을 통해 네트워크 관리가 용이하게 된다. NFV란 방화벽이나 로드밸런서와 같은 네트워크 기능을 가상머신과 같은 SW로 추상화하여 추가 장비를 구입하여 설치해야했던 과거와는 다르게 요구에 맞게 이를 배치하고 자유롭게 이동이 가능하다는 장점이 있다.Referring to FIG. 2 , the SDN technology can separate the Control Plane and Data Plane combined in the existing network device to arrange the Control Plane in the central controller. The network device is responsible for the data plane, that is, transmission, so that multiple network devices can be controlled through one SDN controller. Since multiple network devices are connected to the controller, information of each network device can be collected, and the SDN controller can determine the network transmission path based on this. In addition, network management is facilitated through various network applications. Unlike the past where network functions such as firewalls and load balancers are abstracted into software such as virtual machines to purchase and install additional equipment, NFV has the advantage of being able to freely move and deploy it according to needs.

한편, 본 발명에서 제안하는 방법은 재난지역 내 통신망이 마비되어 통신서비스가 필요한 곳이나 경기장과 같이 일시적으로 통신 서비스 수요가 폭증하는 지역에 군집 UAV 및 이를 제어할 수 있는 SDN 컨트롤러 UAV가 배치되어 통신 서비스를 제공하는 방안을 제안한다. 이 방안에서는 단순한 배치 뿐 만 아니라 배치 이후에 서비스 요구사항에 따라 UAV SDN 컨트롤러에서 수집된 네트워크 상태 정보에 따라 군집 UAV를 슬라이싱에서 서비스 별 요구사항을 만족시키는 방안이 포함된다. 또한 서비스 요구사항을 포함하는 서비스 분류(Service Classification) 모듈을 포포함한다. 한편, 서비스 분류 모듈은 요구사항을 기반으로 이를 알맞은 슬라이스 경로로 서비스 제공을 위해 각 UAV Switch의 Forwarding을 업데이트하도록 구성될 수 있다.On the other hand, in the method proposed by the present invention, a cluster UAV and an SDN controller UAV capable of controlling the same are deployed in a place where communication service is needed because the communication network in the disaster area is paralyzed, or in an area where the demand for communication service temporarily increases, such as a stadium. Suggest ways to provide services. In this method, not only simple deployment, but also a scheme to satisfy the requirements for each service in slicing the cluster UAV according to the network status information collected from the UAV SDN controller according to the service requirements after deployment. It also includes a Service Classification module that includes service requirements. On the other hand, the service classification module can be configured to update the forwarding of each UAV switch in order to provide a service with an appropriate slice path based on the requirements.

구체적으로, 도 3은 본 발명에 따른 계층 군집 UAV 네트워크에서 SDN 기반 슬라이싱을 수행하는 UAV 네트워크 시스템 모델을 나타낸다. 도 3의 UAV 네트워크 시스템을 참조하면, 마스터 UAV(100) 및 복수의 UAV들(200)을 포함하도록 구성될 수 있다.Specifically, FIG. 3 shows a UAV network system model for performing SDN-based slicing in a hierarchical clustered UAV network according to the present invention. Referring to the UAV network system of FIG. 3 , it may be configured to include a master UAV 100 and a plurality of UAVs 200 .

마스터 UAV(100)는 슬라이싱 경로로의 UAV 스위치를 제어하기 위한 모니터링 정보를 수집하도록 구성될 수 있다. 복수의 UAV들(200)은 특정 지역과 연관된 클러스터 내에 배치되고, 마스터 UAV와 통신 가능하게 구성될 수 있다. 마스터 UAV(100)는 수집된 모니터링 정보에 따라 UAV 네트워크를 슬라이싱하고, 슬라이스된 UAV 네트워크 내에서 UAV 재배치를 위한 강화 학습을 수행하도록 구성될 수 있다.The master UAV 100 may be configured to collect monitoring information for controlling the UAV switch to the slicing path. The plurality of UAVs 200 may be disposed in a cluster associated with a specific region and configured to communicate with the master UAV. The master UAV 100 may be configured to slice the UAV network according to the collected monitoring information, and to perform reinforcement learning for UAV relocation within the sliced UAV network.

마스터 UAV(100)는 SNR (Signal-Noise Ratio) 값이 상대적으로 높게 측정되는 제1 링크의 집합을 생성하고, 전송 지연이 상대적으로 낮게 측정되는 제2 링크의 집합을 생성하도록 구성될 수 있다. 마스터 UAV(100)는 전달하고자 하는 데이터의 유형에 따라 제1 링크의 집합 및 제2 링크의 집합에 슬라이싱 변수들을 서로 다른 가중치로 설정할 수 있다. 또한, 마스터 UAV(100)는 데이터의 유형에 따라 서로 다른 가중치로 설정된 슬라이싱 변수들에 기반하여, 소스 UAV로부터 지상 기지국과 연결된 목적지 UAV 간 그래프 형성을 통해 슬라이스를 형성할 수 있다.The master UAV 100 may be configured to generate a set of first links having a relatively high signal-noise ratio (SNR) value and a set of second links having a relatively low transmission delay. The master UAV 100 may set the slicing variables to different weights in the first link set and the second link set according to the type of data to be transmitted. In addition, the master UAV 100 may form a slice by forming a graph between the source UAV and the destination UAV connected to the terrestrial base station from the source UAV based on slicing variables set with different weights according to data types.

마스터 UAV(100)는 소스 UAV로부터 지상 기지국과 연결된 목적지 UAV 간 그래프 형성을 통해 제1 링크의 집합과 제2 링크의 집합이 일부 중복되는 링크가 형성되는지를 판단할 수 있다. 마스터 UAV(100)는 일부 중복되는 링크가 형성되면 서비스 수요가 많은 서비스 유형에 따라 고대역폭 통신 서비스와 저지연 통신 서비스 중 자원 할당의 우선순위를 결정할 수 있다.The master UAV 100 may determine whether a link is formed in which the first link set and the second link set partially overlap by forming a graph between the source UAV and the destination UAV connected to the terrestrial base station. The master UAV 100 may determine the priority of resource allocation among high-bandwidth communication services and low-latency communication services according to a service type with a high service demand when some overlapping links are formed.

마스터 UAV(100)는 복수의 UAV들의 위치 및 서로 다른 가중치로 설정된 슬라이싱 변수들을 상태(state)로 설정하고, 복수의 UAV들의 배치 형태를 액션(action)으로 설정할 수 있다. 마스터 UAV(100)는 고대역폭 통신 서비스에 따른 제1 유형의 통신 서비스에 대해 링크의 SNR 값을 리워드로 설정하여 강화 학습을 수행하여 복수의 UAV들의 배치 형태를 제어할 수 있다. 한편, 마스터 UAV(100)는 저지연 통신 서비스에 따른 제2 유형의 통신 서비스에 대해 전송 지연의 역수 값을 리워드로 설정하여 강화 학습을 수행하여 복수의 UAV들의 배치 형태를 제어할 수 있다.The master UAV 100 may set the positions of the plurality of UAVs and slicing variables set to different weights as states, and may set the arrangement shape of the plurality of UAVs as an action. The master UAV 100 may perform reinforcement learning by setting the SNR value of the link as a reward for the first type of communication service according to the high bandwidth communication service to control the arrangement of the plurality of UAVs. On the other hand, the master UAV 100 may perform reinforcement learning by setting the reciprocal value of the transmission delay as a reward for the second type of communication service according to the low-delay communication service to control the arrangement of a plurality of UAVs.

전술한 기술적 특징 및 마스터 UAV(100)의 동작과 관련하여, 네트워크 모니터링 및 네트워크 슬라이싱를 이를 통한 강화 학습 과정에 대해 상세하게 설명하면 다음과 같다.With respect to the above-described technical characteristics and the operation of the master UAV 100, the reinforcement learning process through network monitoring and network slicing will be described in detail as follows.

1) Network Monitoring Module1) Network Monitoring Module

네트워크 모니터링 모듈(Network Monitoring Module, 110)은 UAV SDN 컨트롤러가 관리하고 있는 UAV Switch 및 UAV Switch간 링크로부터 주기적으로 수집되는 네트워크 상태를 수집하고 분석하는 모듈이다. 여기서 수집되는 데이터의 종류는 각 UAV Switch의 네트워크에서 처리되고 있는 패킷의 수, 리소스 사용 상태, UAV Switch간 링크에서는 Link의 Bandwidth, Link를 통해 전송되는 데이터의 Data Rate와, SNR과 같은 데이터가 수집된다. 또한 A2A(Air-to-Air) 링크는 수학식 1과 같이 Free Space Path Loss 모델로 모델링 된다. 수학식 2는 Sender UAV와 Receiver UAV간의 Link Budget을 나타낸다.The network monitoring module (Network Monitoring Module, 110) is a module that collects and analyzes the network status periodically collected from the link between the UAV switch and the UAV switch managed by the UAV SDN controller. The types of data collected here include the number of packets being processed in the network of each UAV switch, resource usage status, and the link bandwidth between UAV switches. do. In addition, the A2A (Air-to-Air) link is modeled as a Free Space Path Loss model as shown in Equation 1. Equation 2 represents the Link Budget between the Sender UAV and the Receiver UAV.

Figure 112020126606715-pat00001
Figure 112020126606715-pat00001

Figure 112020126606715-pat00002
Figure 112020126606715-pat00002

2) Network Slicing Module2) Network Slicing Module

네트워크 슬라이싱(Network Slicing)모듈(120)은 Network Monitoring Module(110)을 통해 수집된 정보를 통해 UAV Network를 슬라이스한다. UAV를 활용함에 있어서 가장 큰 특징이자 고정된 지상 네트워크 자원 대비 큰 장점은 바로 이동이 가능하다는 점이다. 이와 관련하여, 표 1은 본 발명에 따른 서비스 종류 별 슬라이싱 변수를 나타낸다.The network slicing module 120 slices the UAV Network through the information collected through the Network Monitoring Module 110 . The biggest feature of using UAVs and a big advantage over fixed terrestrial network resources is that they can be moved immediately. In this regard, Table 1 shows slicing variables for each service type according to the present invention.

서비스 종류service type 슬라이싱 변수slicing variable 고 대역폭 서비스high bandwidth service 링크 간 SNR 측정Inter-link SNR measurement 저 지연 서비스low latency service Transmission DelayTransmission Delay

네트워크 슬라이싱 모듈(120)에서는 하나의 슬라이스를 만들기 위하여 모니터링된 정보에 따라 UAV 네트워크 자원을 슬라이싱 하고 슬라이싱 이후에 강화 학습을 통해 하나의 슬라이스 내의 UAV 위치를 따라 통신 처리량, 지연시간 등을 고려하여 슬라이스 특성에 맞는 최적의 위치를 찾는 2단계의 과정을 거친다.The network slicing module 120 slices UAV network resources according to the monitored information to create one slice, and after slicing, through reinforcement learning, communication throughput, delay time, etc. are taken into consideration along the UAV location in one slice through slice characteristics It goes through a two-step process to find the optimal location for

Stage 1: 고 대역폭 서비스를 위한 슬라이싱을 위하여 아래의 수학식 3 및 수학식 4를 이용하며, 측정된 SNR이 클수록 수학식 4에서의 채널 용량이 높기 때문에 SNR이 크게 측정되는 링크의 집합을 구한다. 저 지연 서비스를 위해서는 주기적으로 링크 간 Transmission Delay를 계산한다. 이는 전송된 데이터의 크기를 대역폭으로 나누어 계산이 가능하다. 이렇게 측정된 Transmission Delay가 낮은 링크들의 집합을 구한다. 구해진 후보 링크들에 슬라이싱 변수들을 Weight로 설정하고 Travelling Salesman 알고리즘을 통해 Source UAV로부터 지상 기지국과 연결된 Destination UAV간 최대/최소 Weight를 가진 그래프 형성을 통해 두 가지 유형의 서비스 제공을 위한 슬라이스를 생성한다. 만약 겹치는 링크가 생기는 경우에는 서비스 수요가 많은 서비스 유형에 따라 자원 할당의 우선순위를 준다. 전술한 기술적 특징과 관련하여, 수학식 3 및 수학식 4는 SNR과 채널 용량을 나타낸다.Stage 1: Equations 3 and 4 below are used for slicing for a high-bandwidth service, and as the measured SNR increases, the channel capacity in Equation 4 increases, so a set of links in which the SNR is significantly measured is obtained. For low-delay service, inter-link Transmission Delay is periodically calculated. This can be calculated by dividing the size of the transmitted data by the bandwidth. A set of links with low Transmission Delay measured in this way is obtained. Slicing variables are set as weights in the obtained candidate links, and slices for providing two types of services are created by forming a graph with maximum/minimum weights between the source UAV and the destination UAV connected to the terrestrial base station through the Traveling Salesman algorithm. If overlapping links occur, priority is given to resource allocation according to a service type with a high service demand. In relation to the above technical characteristics, Equations 3 and 4 represent SNR and channel capacity.

Figure 112020126606715-pat00003
Figure 112020126606715-pat00003

Figure 112020126606715-pat00004
Figure 112020126606715-pat00004

한편, 도 4는 본 발명에 따른 UAV슬라이스 형성의 예시적 개념도이다. 도 3 및 도 4를 참조하면, 마스터 UAV(100)는 강화 학습 결과에 기반하여, 재난 지역과 연관된 클러스터 내의 복수의 UAV들의 UAV 클러스터링 및 재배치를 수행하도록 구성될 수 있다. 마스터 UAV(100)가 클러스터 내에서 통신 서비스 요구 영역에 가장 인접한 UAV를 제1 UAV로 설정할 수 있다. 마스터 UAV(100)는 제1 UAV로부터 복수의 UAV들을 릴레이 통신 형태로 구성하고, 제N UAV과 지상 기지국과 통신 가능하게 결합되도록 UAV 클러스터링을 수행할 수 있다. Meanwhile, FIG. 4 is an exemplary conceptual diagram of UAV slice formation according to the present invention. 3 and 4 , the master UAV 100 may be configured to perform UAV clustering and relocation of a plurality of UAVs in a cluster associated with a disaster area, based on the reinforcement learning result. The master UAV 100 may set the UAV closest to the communication service request area in the cluster as the first UAV. The master UAV 100 may configure a plurality of UAVs from the first UAV in a relay communication form, and perform UAV clustering such that the N-th UAV and the terrestrial base station are communicatively coupled to each other.

일 예시로, 마스터 UAV(100)는 저지연 통신 서비스에 따른 제2 유형의 통신 서비스에 대해 전송 지연의 역수 값을 리워드로 설정하여 수행된 강화 학습 결과에 따라 복수의 UAV들의 배치 형태가 변경되도록 제어한 이후, 고대역폭 통신 서비스에 따른 제1 유형의 통신 서비스에 대한 제어를 수행할 수도 있다. 이와 관련하여, 저지연 통신 서비스에 대한 우선 순위를 더 고려하여 통신 지연에 따른 반응속도 저하를 방지할 수 있다. 이를 위해, 마스터 UAV(100)는 고대역폭 통신 서비스에 따른 제1 유형의 통신 서비스에 대해 링크의 SNR 값을 리워드로 설정하여 수행된 강화 학습 결과를 반영하여 일부 UAV들의 배치 형태가 일정 범위 이내에서 변경되도록 제어할 수 있다. 하지만, 이러한 예시에 한정되는 것은 아니고 마스터 UAV(100)는 다양한 형태의 설정, 예컨대 통신 우선 순위, 혼잡도 등을 고려하여 특정 유형의 통신 서비스에 대한 리워드 설정 및 강화 학습 결과를 먼저 수행한 이후, 해당 강화 학습 결과를 반영하여 제한된 범위 내에서 다른 유형의 통신 서비스에 대한 리워드 설정 및 강화 학습을 수행할 수 있다.As an example, the master UAV 100 sets the reciprocal value of the transmission delay as a reward for the second type of communication service according to the low-delay communication service so that the arrangement shape of the plurality of UAVs is changed according to the reinforcement learning result performed After the control, the first type of communication service according to the high bandwidth communication service may be controlled. In this regard, it is possible to prevent a decrease in response speed due to communication delay by further considering the priority for the low-delay communication service. To this end, the master UAV 100 reflects the reinforcement learning result performed by setting the SNR value of the link as a reward for the first type of communication service according to the high-bandwidth communication service so that the arrangement of some UAVs is within a certain range. You can control it to change. However, it is not limited to this example and the master UAV 100 first performs reward setting and reinforcement learning results for a specific type of communication service in consideration of various types of settings, for example, communication priority, congestion, etc. By reflecting the reinforcement learning results, it is possible to set rewards and perform reinforcement learning for other types of communication services within a limited range.

전술한 기술적 특징 및 동작과 관련하여 Stage 2의 강화학습 기반 UAV 위치 조정에 대해 상세하게 설명하면 다음과 같다.In relation to the above-described technical features and operations, the reinforcement learning-based UAV positioning of Stage 2 will be described in detail as follows.

Stage2: Stage2에서는 강화학습 기반 UAV 위치 조정을 수행한다. 도4는 UAV 슬라이스 형성 모습의 예를 나타낸다. 슬라이스 이후에 위치 조정을 실행하게 되는데 서비스별 요구사항에 따라 위치를 조정해가며 표 1의 슬라이싱 변수에 대한 체크를 수행한다. 도 4의 1번부터 5번까지 UAV가 서로의 통신 Coverage 내에서 위치를 랜덤하게 옮기며 리워드(Reward)를 받게 된다. 표 2는 강화학습 기반 UAV 슬라이스 내 위치 조정을 위한 강화학습 상태, 행동 보상에 대한 정의를 나타낸다. Stage2: In Stage2, reinforcement learning-based UAV positioning is performed. 4 shows an example of UAV slice formation. After slicing, position adjustment is performed, and the slicing variables in Table 1 are checked while the position is adjusted according to the requirements of each service. From No. 1 to No. 5 of FIG. 4, the UAVs randomly move positions within each other's communication coverage and receive a reward. Table 2 shows the definitions of reinforcement learning states and behavioral rewards for position adjustment within a reinforcement learning-based UAV slice.

구분division 슬라이싱 변수slicing variable StateState UAV 위치 및 각 링크의 슬라이싱 변수UAV positions and slicing variables for each link ActionAction UAV의 배치Deployment of UAVs RewardReward 고대역폭high bandwidth 링크의 SNR 값SNR value of the link 저지연low latency 1/ (Transmission Delay)1/ (Transmission Delay)

강화학습 Agent는 UAV SDN컨트롤러에 배치되며 Agent는 서비스의 유형별에 따라서 UAV의 위치 조정을 하며 Reward 값을 최대화하는 슬라이스 내 UAV 배치 Policy를 도출하게 된다. 저 지연 서비스에 대해서는 Reward를 위치 조정에 따른 링크의 Transmission Delay의 역수 값을 부여함에 따라서 Transmission Delay가 작아지면 큰 보상을 얻을 수 있도록 설정하였고 고대역폭 서비스는 수학식 3과 수학식 4에 따라서 SNR값을 그대로 Reward로 설정하여 총 링크의 R값을 최대화하는 UAV의 위치를 찾아내게 된다.The reinforcement learning agent is deployed in the UAV SDN controller, and the agent adjusts the location of the UAV according to each service type and derives a UAV deployment policy within the slice that maximizes the reward value. For the low-delay service, the reward is set so that a large compensation can be obtained when the transmission delay becomes small by giving the reciprocal value of the transmission delay of the link according to the position adjustment. is set as Reward as it is to find the location of the UAV that maximizes the R value of the total link.

이상에서는 본 발명에 따른 계층 군집 UAV 네트워크에서 SDN 기반 슬라이싱과 강화학습을 수행하는 UAV 네트워크 시스템에 대해 설명하였다. 이하에서는 본 발명의 다른 양상에 따른 계층 군집 UAV 네트워크에서 SDN 기반 슬라이싱과 강화학습을 수행하는 무인비행체(UAV)에 대해 설명하기로 한다. 이와 관련하여, 본 발명에서 청구하고자 하는 기술적 사항은 다음과 같이 나열될 수 있지만, 이에 한정되는 것은 아니다.In the above, a UAV network system that performs SDN-based slicing and reinforcement learning in a hierarchical cluster UAV network according to the present invention has been described. Hereinafter, an unmanned aerial vehicle (UAV) that performs SDN-based slicing and reinforcement learning in a hierarchical cluster UAV network according to another aspect of the present invention will be described. In this regard, the technical matters to be claimed in the present invention may be listed as follows, but is not limited thereto.

1) SDN UAV를 통해 UAV 스위치를 제어하고 모니터링 정보를 수집 받는 Network Monitoring 모듈(110) 1) Network Monitoring module 110 that controls UAV switch through SDN UAV and receives monitoring information

2) 수집된 모니터링 데이터에 따라 UAV네트워크를 슬라이싱 하는 Network Slicing 모듈(120)2) Network Slicing module 120 for slicing the UAV network according to the collected monitoring data

3) UAV Network 슬라이싱 할 때 슬라이스 형성을 위한 슬라이싱 변수 3) Slicing parameters for slice formation when slicing UAV Network

4) 슬라이스된 UAV네트워크 내에서 강화 학습을 통해 UAV 재배치를 하는 강화학습 Framework4) Reinforcement learning framework that relocates UAVs through reinforcement learning within sliced UAV networks

5) 강화학습을 통하여 슬라이스 내 UAV 재배치를 위한 서비스 유형별 각 Reward 계산 방법5) Each reward calculation method for each service type for UAV relocation within the slice through reinforcement learning

도 3 및 도 4를 참조하면, 계층 군집 UAV 네트워크에서 SDN 기반 슬라이싱을 수행하는 무인 비행체(Unmanned Aerial Vehicle, UAV, 100)는 네트워크 모니터링 모듈(110), 네트워크 슬라이싱 모듈(120) 및 서비스 분류 모듈(130)을 포함하도록 구성될 수 있다.3 and 4, an unmanned aerial vehicle (UAV, 100) that performs SDN-based slicing in a hierarchical cluster UAV network is a network monitoring module 110, a network slicing module 120, and a service classification module ( 130) may be configured to include.

네트워크 모니터링 모듈(110)은 슬라이싱 경로로의 UAV 스위치를 제어하기 위한 모니터링 정보를 수집하도록 구성될 수 있다. 네트워크 슬라이싱 모듈(120)은 수집된 모니터링 정보에 따라 UAV 네트워크를 슬라이싱하도록 구성될 수 있다. 서비스 분류 모듈(130)은 슬라이스된 UAV 네트워크 내에서 통신 서비스 유형에 따라 UAV 재배치를 위한 강화 학습을 수행하여, 통신 서비스 유형에 따라 UAV 스위치를 제어하도록 구성될 수 있다. The network monitoring module 110 may be configured to collect monitoring information for controlling the UAV switch to the slicing path. The network slicing module 120 may be configured to slice the UAV network according to the collected monitoring information. The service classification module 130 may be configured to perform reinforcement learning for UAV relocation according to a communication service type in the sliced UAV network to control the UAV switch according to the communication service type.

네트워크 슬라이싱 모듈(120)은 SNR (Signal-Noise Ratio) 값이 상대적으로 높게 측정되는 제1 링크의 집합을 생성하고, 전송 지연이 상대적으로 낮게 측정되는 제2 링크의 집합을 생성할 수 있다. 네트워크 슬라이싱 모듈(120)은 전달하고자 하는 데이터의 유형에 따라 제1 링크의 집합 및 제2 링크의 집합에 슬라이싱 변수들을 서로 다른 가중치로 설정할 수 있다. 네트워크 슬라이싱 모듈(120)은 데이터의 유형에 따라 서로 다른 가중치로 설정된 슬라이싱 변수들에 기반하여, 소스 UAV로부터 지상 기지국과 연결된 목적지 UAV 간 그래프 형성을 통해 슬라이스를 형성할 수 있다.The network slicing module 120 may generate a set of first links in which a signal-noise ratio (SNR) value is measured to be relatively high, and a set of second links in which a transmission delay is measured to be relatively low. The network slicing module 120 may set the slicing variables in the first link set and the second link set to different weights according to the type of data to be transmitted. The network slicing module 120 may form a slice by forming a graph between a source UAV and a destination UAV connected to a terrestrial base station from a source UAV based on slicing variables set with different weights according to data types.

서비스 분류 모듈(130)은 소스 UAV로부터 지상 기지국과 연결된 목적지 UAV 간 그래프 형성을 통해 제1 링크의 집합과 제2 링크의 집합이 일부 중복되는 링크가 형성되는지를 판단할 수 있다. 여기서, 소스 UAV는 통신 서비스 요구 지역에 가장 인접한 제1 UAV일 수 있지만, 이에 한정되는 것은 아니다. 서비스 분류 모듈(130)은 일부 중복되는 링크가 형성되면 서비스 수요가 많은 서비스 유형에 따라 고대역폭 통신 서비스와 저지연 통신 서비스 중 자원 할당의 우선순위를 결정할 수 있다.The service classification module 130 may determine whether a link is formed in which the first link set and the second link set partially overlap by forming a graph between the source UAV and the destination UAV connected to the terrestrial base station. Here, the source UAV may be the first UAV closest to the communication service request area, but is not limited thereto. The service classification module 130 may determine the priority of resource allocation among high-bandwidth communication services and low-delay communication services according to a service type with a high service demand when some overlapping links are formed.

서비스 분류 모듈(130)은 복수의 UAV들의 위치 및 서로 다른 가중치로 설정된 슬라이싱 변수들을 상태(state)로 설정하고, 복수의 UAV들의 배치 형태를 액션(action)으로 설정할 수 있다. 서비스 분류 모듈(130)은 고대역폭 통신 서비스에 따른 제1 유형의 통신 서비스에 대해 링크의 SNR 값을 리워드로 설정하여 강화 학습을 수행하여 복수의 UAV들의 배치 형태를 제어할 수 있다. 한편, 서비스 분류 모듈(130)은 저지연 통신 서비스에 따른 제2 유형의 통신 서비스에 대해 전송 지연의 역수 값을 리워드로 설정하여 강화 학습을 수행하여 복수의 UAV들의 배치 형태를 제어할 수 있다.The service classification module 130 may set the location of the plurality of UAVs and slicing variables set to different weights as a state, and set the arrangement shape of the plurality of UAVs as an action. The service classification module 130 may perform reinforcement learning by setting the SNR value of the link as a reward for the first type of communication service according to the high bandwidth communication service to control the arrangement of the plurality of UAVs. On the other hand, the service classification module 130 may control the arrangement of a plurality of UAVs by performing reinforcement learning by setting the reciprocal value of the transmission delay as a reward for the second type of communication service according to the low-delay communication service.

서비스 분류 모듈(130)은 강화 학습 결과에 기반하여, 재난 지역과 연관된 클러스터 내의 복수의 UAV들의 UAV 클러스터링 및 재배치를 수행하도록 구성될 수 있다. 서비스 분류 모듈(130)은 마스터 UAV가 클러스터 내에서 통신 서비스 요구 영역에 가장 인접한 UAV를 제1 UAV로 설정할 수 있다. 또한, 서비스 분류 모듈(130)은 제1 UAV로부터 복수의 UAV들을 릴레이 통신 형태로 구성하고, 제N UAV과 지상 기지국과 통신 가능하게 결합되도록 UAV 클러스터링을 수행할 수 있다.The service classification module 130 may be configured to perform UAV clustering and relocation of a plurality of UAVs in a cluster associated with the disaster area, based on the reinforcement learning result. The service classification module 130 may set the UAV nearest the master UAV to the communication service request area in the cluster as the first UAV. In addition, the service classification module 130 may configure a plurality of UAVs from the first UAV in a relay communication form, and perform UAV clustering such that the N-th UAV and the terrestrial base station are communicatively coupled to each other.

일 예시로, 서비스 분류 모듈(130)은 저지연 통신 서비스에 따른 제2 유형의 통신 서비스에 대해 전송 지연의 역수 값을 리워드로 설정하여 수행된 강화 학습 결과에 따라 복수의 UAV들의 배치 형태가 변경되도록 제어한 이후, 고대역폭 통신 서비스에 따른 제1 유형의 통신 서비스에 대한 제어를 수행할 수도 있다. 이와 관련하여, 저지연 통신 서비스에 대한 우선 순위를 더 고려하여 통신 지연에 따른 반응속도 저하를 방지할 수 있다. 이를 위해, 서비스 분류 모듈(130)은 고대역폭 통신 서비스에 따른 제1 유형의 통신 서비스에 대해 링크의 SNR 값을 리워드로 설정하여 수행된 강화 학습 결과를 반영하여 일부 UAV들의 배치 형태가 일정 범위 이내에서 변경되도록 제어할 수 있다. 하지만, 이러한 예시에 한정되는 것은 아니고 서비스 분류 모듈(130)은 다양한 형태의 설정, 예컨대 통신 우선 순위, 혼잡도 등을 고려하여 특정 유형의 통신 서비스에 대한 리워드 설정 및 강화 학습 결과를 먼저 수행한 이후, 해당 강화 학습 결과를 반영하여 제한된 범위 내에서 다른 유형의 통신 서비스에 대한 리워드 설정 및 강화 학습을 수행할 수 있다.As an example, the service classification module 130 sets the reciprocal value of the transmission delay as a reward for the second type of communication service according to the low-delay communication service, and the arrangement form of the plurality of UAVs is changed according to the reinforcement learning result After controlling so as to be possible, control may be performed on the first type of communication service according to the high bandwidth communication service. In this regard, it is possible to prevent a decrease in response speed due to communication delay by further considering the priority for the low-delay communication service. To this end, the service classification module 130 reflects the reinforcement learning result performed by setting the SNR value of the link as a reward for the first type of communication service according to the high-bandwidth communication service, so that the arrangement form of some UAVs is within a certain range. can be controlled to be changed in However, it is not limited to this example, and the service classification module 130 first performs reward setting and reinforcement learning results for a specific type of communication service in consideration of various types of settings, for example, communication priority, congestion, etc. By reflecting the corresponding reinforcement learning results, it is possible to set rewards and perform reinforcement learning for other types of communication services within a limited range.

한편, 본 발명의 또 다른 양상에 따른 계층 군집 UAV 네트워크에서 SDN 기반 슬라이싱 방법에 대해 상세하게 설명하면 다음과 같다. 이와 관련하여, 도 5는 본 발명에 따른 계층 군집 UAV 네트워크에서 SDN 기반 슬라이싱 방법의 흐름도를 나타낸다. Meanwhile, the SDN-based slicing method in the hierarchical cluster UAV network according to another aspect of the present invention will be described in detail as follows. In this regard, FIG. 5 shows a flowchart of an SDN-based slicing method in a hierarchical clustered UAV network according to the present invention.

도 1 내지 도 4를 참조하면, SDN 기반 슬라이싱 방법은 UAV 네트워크 내의 특정 UAV에 의해 수행될 수 있다. 일 예로, SDN 기반 슬라이싱 방법은 UAV 네트워크 내의 마스터 UAV에 의해 수행될 수 있지만, 이에 한정되는 것은 아니다. 한편, 마스터 UAV는 UAV 클러스터 내의 복수의 UAV들 중 어느 하나로 선택되어, UAV 클러스터 구성은 분산 네트크 형태로 동적으로 구성될 수 있고, 주기적 또는 이벤트 기반으로 변경될 수도 있다.1 to 4 , the SDN-based slicing method may be performed by a specific UAV within a UAV network. As an example, the SDN-based slicing method may be performed by a master UAV in a UAV network, but is not limited thereto. Meanwhile, the master UAV is selected from one of a plurality of UAVs in the UAV cluster, and the UAV cluster configuration may be dynamically configured in a distributed network form, or may be changed periodically or event-based.

도 5를 참조하면, SDN 기반 슬라이싱 방법은 네트워크 모니터링 단계(S110), 네트워크 슬라이싱 단계(S120) 및 강화 학습 단계(S130)를 포함하도록 구성될 수 있다. 한편, SDN 기반 슬라이싱 방법은 UAV 재배치 단계(S140)를 더 포함하도록 구성될 수 있다. Referring to FIG. 5 , the SDN-based slicing method may be configured to include a network monitoring step (S110), a network slicing step (S120), and a reinforcement learning step (S130). On the other hand, the SDN-based slicing method may be configured to further include a UAV relocation step (S140).

네트워크 모니터링 단계(S110)에서, SDN (Software Defined Network) UAV (Unmanned Aerial Vehicle)를 통해 슬라이싱 경로로의 UAV 스위치를 제어하기 위한 모니터링 정보를 수집할 수 있다. 네트워크 슬라이싱 단계(S120)에서, 수집된 모니터링 정보에 따라 UAV 네트워크를 슬라이싱할 수 있다. 강화 학습 단계(S130)에서, 슬라이스된 UAV 네트워크 내에서 UAV 재배치를 위한 강화 학습을 수행할 수 있다.In the network monitoring step ( S110 ), monitoring information for controlling a UAV switch to a slicing path through a Software Defined Network (SDN) Unmanned Aerial Vehicle (UAV) may be collected. In the network slicing step ( S120 ), the UAV network may be sliced according to the collected monitoring information. In the reinforcement learning step ( S130 ), reinforcement learning for UAV relocation in the sliced UAV network may be performed.

네트워크 슬라이싱 단계(S120)에서, SNR (Signal-Noise Ratio) 값이 상대적으로 높게 측정되는 제1 링크의 집합을 생성하고, 전송 지연이 상대적으로 낮게 측정되는 제2 링크의 집합을 생성할 수 있다. 네트워크 슬라이싱 단계(S120)에서, 전달하고자 하는 데이터의 유형에 따라 제1 링크의 집합 및 제2 링크의 집합에 슬라이싱 변수들을 서로 다른 가중치로 설정할 수 있다.In the network slicing step S120 , a set of first links having a relatively high signal-noise ratio (SNR) value may be generated, and a set of second links having a relatively low transmission delay may be generated. In the network slicing step ( S120 ), slicing variables may be set with different weights in the first link set and the second link set according to the type of data to be transmitted.

네트워크 슬라이싱 단계(S120)에서, 데이터의 유형에 따라 서로 다른 가중치로 설정된 슬라이싱 변수들에 기반하여, 소스 UAV로부터 지상 기지국과 연결된 목적지 UAV 간 그래프 형성을 통해 슬라이스를 형성할 수 있다. 네트워크 슬라이싱 단계(S120)에서, 소스 UAV로부터 지상 기지국과 연결된 목적지 UAV 간 그래프 형성을 통해 제1 링크의 집합과 제2 링크의 집합이 일부 중복되는 링크가 형성되는지를 판단할 수 있다. 또한, 네트워크 슬라이싱 단계(S120)에서, 일부 중복되는 링크가 형성되면 서비스 수요가 많은 서비스 유형에 따라 고대역폭 통신 서비스와 저지연 통신 서비스 중 자원 할당의 우선순위를 결정할 수 있다.In the network slicing step S120 , a slice may be formed by forming a graph between the source UAV and the destination UAV connected to the terrestrial base station, based on slicing variables set to different weights according to data types. In the network slicing step ( S120 ), it may be determined whether a link in which the first link set and the second link set partially overlap is formed by forming a graph between the source UAV and the destination UAV connected to the terrestrial base station. In addition, in the network slicing step (S120), when some overlapping links are formed, it is possible to determine the priority of resource allocation among the high-bandwidth communication service and the low-delay communication service according to a service type with high service demand.

강화 학습 단계(S130)에서, 복수의 UAV들의 위치 및 서로 다른 가중치로 설정된 슬라이싱 변수들을 상태(state)로 설정하고, 복수의 UAV들의 배치 형태를 액션(action)으로 설정할 수 있다. 강화 학습 단계(S130)에서, 고대역폭 통신 서비스에 따른 제1 유형의 통신 서비스에 대해 링크의 SNR 값을 리워드로 설정하여 강화 학습을 수행하여 복수의 UAV들의 배치 형태를 제어할 수 있다. 강화 학습 단계(S130)에서, 저지연 통신 서비스에 따른 제2 유형의 통신 서비스에 대해 전송 지연의 역수 값을 리워드로 설정하여 강화 학습을 수행하여 복수의 UAV들의 배치 형태를 제어할 수 있다.In the reinforcement learning step S130 , slicing variables set to positions and different weights of the plurality of UAVs may be set as states, and an arrangement form of the plurality of UAVs may be set as an action. In the reinforcement learning step S130, reinforcement learning may be performed by setting the SNR value of the link as a reward for the first type of communication service according to the high bandwidth communication service to control the arrangement of the plurality of UAVs. In the reinforcement learning step (S130), it is possible to control the arrangement of a plurality of UAVs by performing reinforcement learning by setting the reciprocal value of the transmission delay as a reward for the second type of communication service according to the low-latency communication service.

UAV 재배치 단계(S140)에서, 강화 학습 결과에 기반하여, 특정 지역, 예컨대 재난 지역과 연관된 클러스터 내의 복수의 UAV들의 UAV 클러스터링 및 재배치를 수행할 수 있다. UAV 재배치 단계(S140)에서, 마스터 UAV가 클러스터 내에서 통신 서비스 요구 영역에 가장 인접한 UAV를 제1 UAV로 설정할 수 있다. UAV 재배치 단계(S140)에서, 제1 UAV로부터 복수의 UAV들을 릴레이 통신 형태로 구성하고, 제N UAV과 지상 기지국과 통신 가능하게 겹합되도록 UAV 클러스터링을 수행할 수 있다.In the UAV relocation step S140 , UAV clustering and relocation of a plurality of UAVs in a cluster associated with a specific area, for example, a disaster area, may be performed based on the reinforcement learning result. In the UAV relocation step ( S140 ), the master UAV may set the UAV closest to the communication service request area in the cluster as the first UAV. In the UAV relocation step S140 , a plurality of UAVs may be configured in a relay communication form from the first UAV, and UAV clustering may be performed so that the N-th UAV and the terrestrial base station are communicatively overlapped with each other.

일 예시로, UAV 재배치 단계(S140)에서, 저지연 통신 서비스에 따른 제2 유형의 통신 서비스에 대해 전송 지연의 역수 값을 리워드로 설정하여 수행된 강화 학습 결과에 따라 복수의 UAV들의 배치 형태가 변경되도록 제어한 이후, 고대역폭 통신 서비스에 따른 제1 유형의 통신 서비스에 대한 제어를 수행할 수도 있다. 이와 관련하여, 저지연 통신 서비스에 대한 우선 순위를 더 고려하여 통신 지연에 따른 반응속도 저하를 방지할 수 있다. 이를 위해, UAV 재배치 단계(S140)에서, 고대역폭 통신 서비스에 따른 제1 유형의 통신 서비스에 대해 링크의 SNR 값을 리워드로 설정하여 수행된 강화 학습 결과를 반영하여 일부 UAV들의 배치 형태가 일정 범위 이내에서 변경되도록 제어할 수 있다. 하지만, 이러한 예시에 한정되는 것은 아니고 UAV 재배치 단계(S140)에서, 다양한 형태의 설정, 예컨대 통신 우선 순위, 혼잡도 등을 고려하여 특정 유형의 통신 서비스에 대한 리워드 설정 및 강화 학습 결과를 먼저 수행한 이후, 해당 강화 학습 결과를 반영하여 제한된 범위 내에서 다른 유형의 통신 서비스에 대한 리워드 설정 및 강화 학습을 수행할 수 있다.As an example, in the UAV relocation step (S140), the arrangement form of a plurality of UAVs according to the reinforcement learning result performed by setting the reciprocal value of the transmission delay as a reward for the second type of communication service according to the low-delay communication service After controlling to be changed, control may be performed on the first type of communication service according to the high-bandwidth communication service. In this regard, it is possible to prevent a decrease in response speed due to communication delay by further considering the priority for the low-delay communication service. To this end, in the UAV relocation step ( S140 ), the arrangement form of some UAVs is set within a certain range by reflecting the reinforcement learning result performed by setting the SNR value of the link as a reward for the first type of communication service according to the high bandwidth communication service. It can be controlled to change within However, it is not limited to this example, and in the UAV relocation step ( S140 ), in consideration of various types of settings, for example, communication priority, congestion, etc., reward setting and reinforcement learning results for a specific type of communication service are first performed after performing , it is possible to set rewards and perform reinforcement learning for other types of communication services within a limited range by reflecting the corresponding reinforcement learning results.

한편, 전술한 네트워크 모니터링 단계(S110) 내지 UAV 재배치 단계(S140)는 반복적으로 수행되어, UAV 재배치가 주기적 또는 이벤트 기반으로 반복적으로 수행될 수도 있다. 이와 관련하여, UAV 재배치 단계(S140)가 수행된 이후 네트워크 모니터링 단계(S110)부터 반복되는 것에 한정되는 것은 아니고 응용에 따라 다양하게 변형 가능하다. 한편, UAV 재배치 단계(S140)를 완료하기 이전에, 예컨대 강화 학습 단계(S130)가 수행 중 또는 완료된 후에 네트워크 모니터링 단계(S110)부터 반복적인 동작이 수행될 수도 있다.Meanwhile, the aforementioned network monitoring step ( S110 ) to UAV relocation step ( S140 ) may be repeatedly performed, so that UAV relocation may be repeatedly performed periodically or on an event-based basis. In this regard, it is not limited to repeating from the network monitoring step (S110) after the UAV relocation step (S140) is performed, and various modifications are possible according to the application. Meanwhile, before the UAV relocation step S140 is completed, for example, during or after the reinforcement learning step S130 is performed or after the network monitoring step S110 is completed, a repetitive operation may be performed.

이상에서는 본 발명에 따른 계층 군집 UAV 네트워크에서 SDN 기반 슬라이싱 방법 및 이를 수행하는 UAV 및 UAV 네트워크 시스템에 대해 설명하였다. 본 발명의 적용응용분야와 관련하여, 재난으로 인하여 통신서비스가 마비된 곳이나 통신 수요가 일시적으로 폭증하는 지역에 제안하는 군집 UAV를 배치하고 단순한 배치를 통한 서비스가 아닌 슬라이스 형성을 통해 재난지역에서는 원격 구조 활동의 유형(단순 통신 혹은 비디오 데이터 전송을 통한 구조 지원)에 따라 신속한 구조활동을 지원할 수 있다. 또한, 경기장이나 콘서트장과 같은 곳에서 배치되어 단순한 메신저나 SNS를 서비스를 제공받기를 원하는 사용자와 경기 혹은 콘서트 관련 비디오 데이터를 이용을 원하는 사용자를 통한 슬라이스 형성을 통해 좀 더 원활한 서비스 제공이 가능할 것으로 기대된다. 이외에도, 사막이나 해상과 같이 지상 인프라가 없는 곳에도 배치되어 요구사항 별 맞춤 서비스를 제공할 수 있다. In the above, an SDN-based slicing method in a hierarchical cluster UAV network according to the present invention and a UAV and UAV network system performing the same have been described. In relation to the field of application of the present invention, the proposed cluster UAV is placed in a place where communication service is paralyzed due to a disaster or an area where communication demand temporarily increases, and through slice formation rather than a service through simple deployment, in a disaster area Depending on the type of remote rescue operation (rescue support through simple communication or video data transmission), rapid rescue operations can be supported. In addition, it is expected that smoother service provision will be possible through the formation of slices through users who want to receive simple messenger or SNS service provided in places such as stadiums or concert halls and users who want to use video data related to games or concerts. It is expected. In addition, it can be deployed in places where there is no terrestrial infrastructure, such as in the desert or on the sea, to provide customized services according to requirements.

본 발명의 다양한 실시예들에 따른 계층 군집 UAV 네트워크에서 SDN 기반 슬라이싱 방법 및 이를 수행하는 UAV 및 UAV 네트워크 시스템의 기술적 효과는 다음과 같다.Technical effects of the SDN-based slicing method in a hierarchical cluster UAV network according to various embodiments of the present invention and a UAV and UAV network system performing the same are as follows.

본 발명의 적어도 일 실시 예에 따르면, 계층 군집 UAV 네트워크에서 SDN 기반 슬라이싱 방법 및 이를 수행하는 UAV 및 UAV 네트워크 시스템을 제공할 수 있다.According to at least one embodiment of the present invention, it is possible to provide an SDN-based slicing method in a hierarchical cluster UAV network, and a UAV and UAV network system performing the same.

또한, 본 발명의 적어도 일 실시 예에 따르면, UAV가 통신 자원으로서 배치되었을 때 단순 배치하여 서비스를 제공하는 것 보다 각 서비스의 요구사항 별로 양질의 서비스를 제공할 수 있다. In addition, according to at least one embodiment of the present invention, when the UAV is deployed as a communication resource, it is possible to provide a quality service for each service requirement rather than simply to provide the service by arranging the UAV as a communication resource.

또한, 본 발명의 적어도 일 실시 예에 따르면, UAV의 배치뿐 만 아니라 이후의 서비스 제공 방안에 대한 발명으로서 UAV를 통신자원으로서 활용하려는 통신사업자가 본 기술을 도입하게 되는 경우 본 기술을 도입하지 않은 통신사업자 대비 사용자들의 서비스 만족도를 높일 수 있으며 이에 따라 서비스 만족도에 따라 통신 가입자수가 증가할 것으로 예상된다.In addition, according to at least one embodiment of the present invention, when a communication service provider who intends to utilize the UAV as a communication resource introduces the present technology as an invention for not only the arrangement of the UAV but also the method for providing a service thereafter, the present technology is not introduced. Service satisfaction of users can be increased compared to telecommunication service providers, and the number of telecommunication subscribers is expected to increase according to service satisfaction.

상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. The features and effects of the present invention described above will become more apparent through the following detailed description in relation to the accompanying drawings, whereby those of ordinary skill in the art to which the present invention pertains can easily implement the technical idea of the present invention. will be able

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능뿐만 아니라 각각의 구성 요소들에 대한 설계 및 파라미터 최적화는 별도의 소프트웨어 모듈로도 구현될 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리에 저장되고, 제어부(controller) 또는 프로세서(processor)에 의해 실행될 수 있다.According to the software implementation, not only the procedures and functions described in this specification but also the design and parameter optimization for each component may be implemented as a separate software module. The software code may be implemented as a software application written in a suitable programming language. The software code may be stored in a memory and executed by a controller or a processor.

Claims (20)

계층 군집 UAV 네트워크에서 SDN 기반 슬라이싱 방법에 있어서, 상기 방법은 UAV 네트워크 내의 특정 UAV에 의해 수행되고, 상기 방법은,
SDN (Software Defined Network) UAV (Unmanned Aerial Vehicle)를 통해 슬라이싱 경로로의 UAV 스위치를 제어하기 위한 모니터링 정보를 수집하는 네트워크 모니터링 단계;
수집된 모니터링 정보에 따라 UAV 네트워크를 슬라이싱하는 네트워크 슬라이싱 단계; 및
슬라이스된 UAV 네트워크 내에서 UAV 재배치를 위한 강화 학습을 수행하는 강화 학습 단계를 포함하고,
상기 네트워크 슬라이싱 단계에서,
SNR (Signal-Noise Ratio) 값이 상대적으로 높게 측정되는 제1 링크의 집합을 생성하고, 전송 지연이 상대적으로 낮게 측정되는 제2 링크의 집합을 생성하고,
전달하고자 하는 데이터의 유형에 따라 제1 링크의 집합 및 제2 링크의 집합에 슬라이싱 변수들을 서로 다른 가중치로 설정하는, SDN 기반 슬라이싱 방법.
An SDN-based slicing method in a hierarchical clustered UAV network, wherein the method is performed by a specific UAV in the UAV network, the method comprising:
A network monitoring step of collecting monitoring information for controlling a UAV switch to a slicing path through a Software Defined Network (SDN) UAV (Unmanned Aerial Vehicle);
A network slicing step of slicing the UAV network according to the collected monitoring information; and
A reinforcement learning step of performing reinforcement learning for UAV relocation within the sliced UAV network;
In the network slicing step,
generating a set of first links in which a signal-noise ratio (SNR) value is measured to be relatively high, and a set of second links in which a transmission delay is measured to be relatively low;
An SDN-based slicing method in which slicing variables are set with different weights in a set of first links and a set of second links according to the type of data to be transmitted.
삭제delete 제1항에 있어서,
상기 네트워크 슬라이싱 단계에서,
데이터의 유형에 따라 서로 다른 가중치로 설정된 슬라이싱 변수들에 기반하여, 소스 UAV로부터 지상 기지국과 연결된 목적지 UAV 간 그래프 형성을 통해 슬라이스를 형성하는, SDN 기반 슬라이싱 방법.
According to claim 1,
In the network slicing step,
An SDN-based slicing method that forms a slice through graph formation between a source UAV and a destination UAV connected to a terrestrial base station based on slicing variables set to different weights according to data types.
제3항에 있어서,
상기 네트워크 슬라이싱 단계에서,
소스 UAV로부터 지상 기지국과 연결된 목적지 UAV 간 그래프 형성을 통해 제1 링크의 집합과 제2 링크의 집합이 일부 중복되는 링크가 형성되는지를 판단하고,
일부 중복되는 링크가 형성되면 서비스 수요가 많은 서비스 유형에 따라 고대역폭 통신 서비스와 저지연 통신 서비스 중 자원 할당의 우선순위를 결정하는, SDN 기반 슬라이싱 방법.
4. The method of claim 3,
In the network slicing step,
It is determined whether a link is formed in which a set of first links and a set of second links partially overlap by forming a graph between the source UAV and the destination UAV connected to the terrestrial base station,
An SDN-based slicing method that determines the priority of resource allocation among high-bandwidth communication services and low-latency communication services according to service types with high service demand when some overlapping links are formed.
제1항에 있어서,
상기 강화 학습 단계에서,
복수의 UAV들의 위치 및 서로 다른 가중치로 설정된 슬라이싱 변수들을 상태(state)로 설정하고, 복수의 UAV들의 배치 형태를 액션(action)으로 설정하는, SDN 기반 슬라이싱 방법.
According to claim 1,
In the reinforcement learning step,
An SDN-based slicing method for setting the positions of a plurality of UAVs and slicing variables set to different weights as a state, and setting an arrangement form of the plurality of UAVs as an action.
제5항에 있어서,
상기 강화 학습 단계에서,
고대역폭 통신 서비스에 따른 제1 유형의 통신 서비스에 대해 링크의 SNR 값을 리워드로 설정하여 강화 학습을 수행하여 복수의 UAV들의 배치 형태를 제어하고,
저지연 통신 서비스에 따른 제2 유형의 통신 서비스에 대해 전송 지연의 역수 값을 리워드로 설정하여 강화 학습을 수행하여 복수의 UAV들의 배치 형태를 제어하는, SDN 기반 슬라이싱 방법.
6. The method of claim 5,
In the reinforcement learning step,
For the first type of communication service according to the high-bandwidth communication service, the SNR value of the link is set as a reward to perform reinforcement learning to control the arrangement of a plurality of UAVs,
SDN-based slicing method for controlling the arrangement of a plurality of UAVs by performing reinforcement learning by setting the reciprocal value of the transmission delay as a reward for the second type of communication service according to the low-latency communication service.
제1항에 있어서,
강화 학습 결과에 기반하여, 재난 지역과 연관된 클러스터 내의 복수의 UAV들의 UAV 클러스터링 및 재배치를 수행하는 UAV 재배치 단계를 더 포함하고,
상기 UAV 재배치 단계에서,
마스터 UAV가 클러스터 내에서 통신 서비스 요구 영역에 가장 인접한 UAV를 제1 UAV로 설정하고,
제1 UAV로부터 복수의 UAV들을 릴레이 통신 형태로 구성하고, 제N UAV과 지상 기지국과 통신 가능하게 겹합되도록 UAV 클러스터링을 수행하는, SDN 기반 슬라이싱 방법.
According to claim 1,
based on the reinforcement learning result, further comprising a UAV relocation step of performing UAV clustering and relocation of a plurality of UAVs in a cluster associated with the disaster area;
In the UAV relocation step,
The master UAV sets the UAV closest to the communication service request area in the cluster as the first UAV,
An SDN-based slicing method comprising configuring a plurality of UAVs from a first UAV in a relay communication form, and performing UAV clustering so as to be communicatively overlapped with an N-th UAV and a terrestrial base station.
제7항에 있어서,
상기 UAV 재배치 단계에서,
저지연 통신 서비스에 따른 제2 유형의 통신 서비스에 대해 전송 지연의 역수 값을 리워드로 설정하여 수행된 강화 학습 결과에 따라 복수의 UAV들의 배치 형태가 변경되도록 제어한 이후에,
고대역폭 통신 서비스에 따른 제1 유형의 통신 서비스에 대해 링크의 SNR 값을 리워드로 설정하여 수행된 강화 학습 결과를 반영하여 일부 UAV들의 배치 형태가 일정 범위 이내에서 변경되도록 제어하는, SDN 기반 슬라이싱 방법.
8. The method of claim 7,
In the UAV relocation step,
After controlling to change the arrangement shape of the plurality of UAVs according to the reinforcement learning result performed by setting the reciprocal value of the transmission delay as a reward for the second type of communication service according to the low-latency communication service,
An SDN-based slicing method that controls the configuration of some UAVs to be changed within a certain range by reflecting the results of reinforcement learning performed by setting the SNR value of the link as a reward for the first type of communication service according to the high-bandwidth communication service .
계층 군집 UAV 네트워크에서 SDN 기반 슬라이싱을 수행하는 UAV 네트워크 시스템에 있어서,
슬라이싱 경로로의 UAV 스위치를 제어하기 위한 모니터링 정보를 수집하도록 구성된 마스터 UAV; 및
특정 지역과 연관된 클러스터 내에 배치되고, 마스터 UAV와 통신 가능하게 구성되는 복수의 UAV들을 포함하고,
상기 마스터 UAV는,
수집된 모니터링 정보에 따라 UAV 네트워크를 슬라이싱하고, 슬라이스된 UAV 네트워크 내에서 UAV 재배치를 위한 강화 학습을 수행하도록 구성되며,
SNR (Signal-Noise Ratio) 값이 상대적으로 높게 측정되는 제1 링크의 집합을 생성하고, 전송 지연이 상대적으로 낮게 측정되는 제2 링크의 집합을 생성하고,
전달하고자 하는 데이터의 유형에 따라 제1 링크의 집합 및 제2 링크의 집합에 슬라이싱 변수들을 서로 다른 가중치로 설정하고,
데이터의 유형에 따라 서로 다른 가중치로 설정된 슬라이싱 변수들에 기반하여, 소스 UAV로부터 지상 기지국과 연결된 목적지 UAV 간 그래프 형성을 통해 슬라이스를 형성하는, UAV 네트워크 시스템.
A UAV network system for performing SDN-based slicing in a hierarchical cluster UAV network, the UAV network system comprising:
a master UAV configured to collect monitoring information for controlling the UAV switch to the slicing path; and
It is disposed in a cluster associated with a specific region and includes a plurality of UAVs configured to communicate with the master UAV,
The master UAV,
slicing the UAV network according to the collected monitoring information, and performing reinforcement learning for UAV relocation within the sliced UAV network;
generating a set of first links in which a signal-noise ratio (SNR) value is measured to be relatively high, and a set of second links in which a transmission delay is measured to be relatively low;
Set the slicing variables to different weights in the set of the first link and the set of the second link according to the type of data to be transmitted,
A UAV network system that forms a slice through graph formation between a source UAV and a destination UAV connected to a terrestrial base station based on slicing variables set with different weights according to data types.
삭제delete 제9항에 있어서,
상기 마스터 UAV는,
소스 UAV로부터 지상 기지국과 연결된 목적지 UAV 간 그래프 형성을 통해 제1 링크의 집합과 제2 링크의 집합이 일부 중복되는 링크가 형성되는지를 판단하고,
일부 중복되는 링크가 형성되면 서비스 수요가 많은 서비스 유형에 따라 고대역폭 통신 서비스와 저지연 통신 서비스 중 자원 할당의 우선순위를 결정하는, UAV 네트워크 시스템.
10. The method of claim 9,
The master UAV,
It is determined whether a link is formed in which a set of first links and a set of second links partially overlap by forming a graph between the source UAV and the destination UAV connected to the terrestrial base station,
A UAV network system that prioritizes resource allocation among high-bandwidth communication services and low-latency communication services according to service types with high service demand when some overlapping links are formed.
제9항에 있어서,
상기 마스터 UAV는,
복수의 UAV들의 위치 및 서로 다른 가중치로 설정된 슬라이싱 변수들을 상태(state)로 설정하고, 복수의 UAV들의 배치 형태를 액션(action)으로 설정하는, UAV 네트워크 시스템.
10. The method of claim 9,
The master UAV,
A UAV network system for setting the positions of the plurality of UAVs and slicing variables set to different weights as a state, and setting the arrangement form of the plurality of UAVs as an action.
제12항에 있어서,
상기 마스터 UAV는,
고대역폭 통신 서비스에 따른 제1 유형의 통신 서비스에 대해 링크의 SNR 값을 리워드로 설정하여 강화 학습을 수행하여 복수의 UAV들의 배치 형태를 제어하고,
저지연 통신 서비스에 따른 제2 유형의 통신 서비스에 대해 전송 지연의 역수 값을 리워드로 설정하여 강화 학습을 수행하여 복수의 UAV들의 배치 형태를 제어하는, UAV 네트워크 시스템.
13. The method of claim 12,
The master UAV,
For the first type of communication service according to the high-bandwidth communication service, the SNR value of the link is set as a reward to perform reinforcement learning to control the arrangement of a plurality of UAVs,
A UAV network system for controlling the arrangement of a plurality of UAVs by performing reinforcement learning by setting the reciprocal value of the transmission delay as a reward for the second type of communication service according to the low-latency communication service.
제9항에 있어서,
상기 마스터 UAV는,
강화 학습 결과에 기반하여, 재난 지역과 연관된 클러스터 내의 복수의 UAV들의 UAV 클러스터링 및 재배치를 수행하도록 구성되고,
마스터 UAV가 클러스터 내에서 통신 서비스 요구 영역에 가장 인접한 UAV를 제1 UAV로 설정하고,
제1 UAV로부터 복수의 UAV들을 릴레이 통신 형태로 구성하고, 제N UAV과 지상 기지국과 통신 가능하게 결합되도록 UAV 클러스터링을 수행하는, UAV 네트워크 시스템.
10. The method of claim 9,
The master UAV,
configured to perform UAV clustering and relocation of a plurality of UAVs in a cluster associated with the disaster area, based on the reinforcement learning result,
The master UAV sets the UAV closest to the communication service request area in the cluster as the first UAV,
A UAV network system that configures a plurality of UAVs from a first UAV in a relay communication form, and performs UAV clustering so as to be communicatively coupled with an N-th UAV and a terrestrial base station.
계층 군집 UAV 네트워크에서 SDN 기반 슬라이싱을 수행하는 무인 비행체(Unmanned Aerial Vehicle, UAV)에 있어서,
슬라이싱 경로로의 UAV 스위치를 제어하기 위한 모니터링 정보를 수집하도록 구성된 네트워크 모니터링 모듈;
수집된 모니터링 정보에 따라 UAV 네트워크를 슬라이싱하도록 구성된 네트워크 슬라이싱 모듈; 및
슬라이스된 UAV 네트워크 내에서 통신 서비스 유형에 따라 UAV 재배치를 위한 강화 학습을 수행하여, 통신 서비스 유형에 따라 UAV 스위치를 제어하도록 구성된 서비스 분류 모듈을 포함하며,
상기 네트워크 슬라이싱 모듈은,
SNR (Signal-Noise Ratio) 값이 상대적으로 높게 측정되는 제1 링크의 집합을 생성하고, 전송 지연이 상대적으로 낮게 측정되는 제2 링크의 집합을 생성하고,
전달하고자 하는 데이터의 유형에 따라 제1 링크의 집합 및 제2 링크의 집합에 슬라이싱 변수들을 서로 다른 가중치로 설정하고,
데이터의 유형에 따라 서로 다른 가중치로 설정된 슬라이싱 변수들에 기반하여, 소스 UAV로부터 지상 기지국과 연결된 목적지 UAV 간 그래프 형성을 통해 슬라이스를 형성하는, 무인 비행체.
In an unmanned aerial vehicle (UAV) that performs SDN-based slicing in a hierarchical cluster UAV network,
a network monitoring module configured to collect monitoring information for controlling the UAV switch to the slicing path;
a network slicing module configured to slice the UAV network according to the collected monitoring information; and
a service classification module configured to perform reinforcement learning for UAV relocation according to a communication service type within the sliced UAV network to control the UAV switch according to the communication service type;
The network slicing module,
generating a set of first links in which a signal-noise ratio (SNR) value is measured to be relatively high, and a set of second links in which a transmission delay is measured to be relatively low;
Set the slicing variables to different weights in the set of the first link and the set of the second link according to the type of data to be transmitted,
An unmanned aerial vehicle that forms a slice through graph formation between a source UAV and a destination UAV connected to a ground base station based on slicing variables set with different weights according to the type of data.
삭제delete 제15항에 있어서,
상기 서비스 분류 모듈은,
소스 UAV로부터 지상 기지국과 연결된 목적지 UAV 간 그래프 형성을 통해 제1 링크의 집합과 제2 링크의 집합이 일부 중복되는 링크가 형성되는지를 판단하고,
일부 중복되는 링크가 형성되면 서비스 수요가 많은 서비스 유형에 따라 고대역폭 통신 서비스와 저지연 통신 서비스 중 자원 할당의 우선순위를 결정하는, 무인 비행체.
16. The method of claim 15,
The service classification module,
It is determined whether a link is formed in which a set of first links and a set of second links partially overlap by forming a graph between the source UAV and the destination UAV connected to the terrestrial base station,
When some overlapping links are formed, an unmanned aerial vehicle that prioritizes resource allocation among high-bandwidth communication services and low-latency communication services according to service types with high service demand.
제15항에 있어서,
상기 서비스 분류 모듈은,
복수의 UAV들의 위치 및 서로 다른 가중치로 설정된 슬라이싱 변수들을 상태(state)로 설정하고, 복수의 UAV들의 배치 형태를 액션(action)으로 설정하는, 무인 비행체.
16. The method of claim 15,
The service classification module,
An unmanned aerial vehicle that sets the position of the plurality of UAVs and the slicing variables set to different weights as a state, and sets the arrangement form of the plurality of UAVs as an action.
제18항에 있어서,
상기 서비스 분류 모듈은,
고대역폭 통신 서비스에 따른 제1 유형의 통신 서비스에 대해 링크의 SNR 값을 리워드로 설정하여 강화 학습을 수행하여 복수의 UAV들의 배치 형태를 제어하고,
저지연 통신 서비스에 따른 제2 유형의 통신 서비스에 대해 전송 지연의 역수 값을 리워드로 설정하여 강화 학습을 수행하여 복수의 UAV들의 배치 형태를 제어하는, 무인 비행체.
19. The method of claim 18,
The service classification module,
For the first type of communication service according to the high-bandwidth communication service, the SNR value of the link is set as a reward to perform reinforcement learning to control the arrangement of a plurality of UAVs,
For the second type of communication service according to the low-delay communication service, by setting the reciprocal value of the transmission delay as a reward, reinforcement learning is performed to control the arrangement of a plurality of UAVs, an unmanned aerial vehicle.
제15항에 있어서,
상기 서비스 분류 모듈은,
강화 학습 결과에 기반하여, 재난 지역과 연관된 클러스터 내의 복수의 UAV들의 UAV 클러스터링 및 재배치를 수행하도록 구성되고,
클러스터 내에서 통신 서비스 요구 영역에 가장 인접한 UAV를 제1 UAV로 설정하고,
제1 UAV로부터 복수의 UAV들을 릴레이 통신 형태로 구성하고, 제N UAV과 지상 기지국과 통신 가능하게 결합되도록 UAV 클러스터링을 수행하는, 무인 비행체.
16. The method of claim 15,
The service classification module,
configured to perform UAV clustering and relocation of a plurality of UAVs in a cluster associated with the disaster area, based on the reinforcement learning result,
In the cluster, the UAV closest to the communication service request area is set as the first UAV,
An unmanned aerial vehicle that configures a plurality of UAVs from the first UAV in a relay communication form, and performs UAV clustering so as to be communicatively coupled with an N-th UAV and a ground base station.
KR1020200159267A 2020-11-24 2020-11-24 SDN-based slicing method in hierarchical cluster UAV network KR102417951B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200159267A KR102417951B1 (en) 2020-11-24 2020-11-24 SDN-based slicing method in hierarchical cluster UAV network
PCT/KR2020/016967 WO2022114269A1 (en) 2020-11-24 2020-11-26 Sdn-based slicing method in hierarchical cluster uav network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200159267A KR102417951B1 (en) 2020-11-24 2020-11-24 SDN-based slicing method in hierarchical cluster UAV network

Publications (3)

Publication Number Publication Date
KR20220071768A KR20220071768A (en) 2022-05-31
KR102417951B1 true KR102417951B1 (en) 2022-07-06
KR102417951B9 KR102417951B9 (en) 2022-12-05

Family

ID=81755714

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200159267A KR102417951B1 (en) 2020-11-24 2020-11-24 SDN-based slicing method in hierarchical cluster UAV network

Country Status (2)

Country Link
KR (1) KR102417951B1 (en)
WO (1) WO2022114269A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101661861B1 (en) 2015-10-05 2016-09-30 인하대학교 산학협력단 Monitoring UAVs Ad-hoc Network Deployment for Public-Safety LTE System
US20190044608A1 (en) 2017-08-03 2019-02-07 Nec Laboratories America, Inc. Implementing wireless communication networks using unmanned aerial vehicles
US20200336376A1 (en) 2019-04-16 2020-10-22 Ciena Corporation Self-optimizing fabric architecture and self-assembling network

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190100106A (en) * 2019-08-09 2019-08-28 엘지전자 주식회사 Vehicle network apparatus and operation method thereof
CN110691380A (en) * 2019-10-30 2020-01-14 北京工业大学 Method for reducing communication overhead and time delay of software defined unmanned aerial vehicle cluster network
CN111142883B (en) * 2019-12-03 2023-04-28 沈阳航空航天大学 SDN architecture-based vehicle computing task unloading method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101661861B1 (en) 2015-10-05 2016-09-30 인하대학교 산학협력단 Monitoring UAVs Ad-hoc Network Deployment for Public-Safety LTE System
US20190044608A1 (en) 2017-08-03 2019-02-07 Nec Laboratories America, Inc. Implementing wireless communication networks using unmanned aerial vehicles
US20200336376A1 (en) 2019-04-16 2020-10-22 Ciena Corporation Self-optimizing fabric architecture and self-assembling network

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
J. Xie, et. al.,"A survey of machine learning techniques applied to software dened networking(SDN): Research issues and challenges,"IEEE Commun. Surveys Tuts., vol. 21, no. 1, pp. 393-430, 1st Quart.,
O. S. Oubbati, et. al.,"Softwarization of UAV networks: A survey of applications and future trends,"IEEE Access, vol. 8, pp. 98073-98125, May. 2020.

Also Published As

Publication number Publication date
KR102417951B9 (en) 2022-12-05
WO2022114269A1 (en) 2022-06-02
KR20220071768A (en) 2022-05-31

Similar Documents

Publication Publication Date Title
Khan et al. 5G next generation VANETs using SDN and fog computing framework
Zhuang et al. SDN/NFV-empowered future IoV with enhanced communication, computing, and caching
US10826843B2 (en) Systems and methods for allocating end device resources to a network slice
Zhou et al. An air-ground integration approach for mobile edge computing in IoT
CN110912723B (en) Communication method and device
Sun et al. Resource slicing and customization in RAN with dueling deep Q-network
Ku et al. Towards software-defined VANET: Architecture and services
US11496230B2 (en) Systems and methods for mapping resource blocks to network slices
WO2015196733A1 (en) Method and device for providing network service, evaluating policy rule and selecting service assembly
CN109792613A (en) Provided for radio resources management configures device and method
CN107196791B (en) Network architecture controlled in hierarchical mode and method for triggering request service
CN108990068B (en) Communication method and network device
WO2016081910A1 (en) System and method for modifying a service-specific data plane configuration
CN107426797B (en) Slice management and control system and method for access network side
JP2018500817A (en) System and method for providing a customized virtual wireless network based on automatic creation of service-oriented network
Qiu et al. A novel QoS-enabled load scheduling algorithm based on reinforcement learning in software-defined energy internet
US10219168B2 (en) Methods and systems for intelligent mobile function distribution
EP3855787A1 (en) Network slice selection in cellular system
CN109429183A (en) A kind of selection, method of adjustment, device and the equipment of user's surface model
JP2022532748A (en) Providing information
KR102417951B1 (en) SDN-based slicing method in hierarchical cluster UAV network
US20230345516A1 (en) Centralized network policy controller and method for operating
US20230336955A1 (en) Network-aware deployment optimization for large scale virtual network function deployments at a network edge
CN111434074A (en) Method and system for automatic selection of Virtual Network Function (VNF) in communication network
US20230189077A1 (en) Network performing distributed unit scaling and method for operating the same

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
G170 Re-publication after modification of scope of protection [patent]