KR20210066696A - Uav arrangement device and method based on machine learning for maximizing communication throughput - Google Patents

Uav arrangement device and method based on machine learning for maximizing communication throughput Download PDF

Info

Publication number
KR20210066696A
KR20210066696A KR1020200106067A KR20200106067A KR20210066696A KR 20210066696 A KR20210066696 A KR 20210066696A KR 1020200106067 A KR1020200106067 A KR 1020200106067A KR 20200106067 A KR20200106067 A KR 20200106067A KR 20210066696 A KR20210066696 A KR 20210066696A
Authority
KR
South Korea
Prior art keywords
communication
unmanned aerial
aerial vehicle
user
information
Prior art date
Application number
KR1020200106067A
Other languages
Korean (ko)
Other versions
KR102333864B1 (en
KR102333864B9 (en
Inventor
홍충선
박유민
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to US17/003,454 priority Critical patent/US11470484B2/en
Publication of KR20210066696A publication Critical patent/KR20210066696A/en
Application granted granted Critical
Publication of KR102333864B1 publication Critical patent/KR102333864B1/en
Publication of KR102333864B9 publication Critical patent/KR102333864B9/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W16/00Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/22Traffic simulation tools or models
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W16/00Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/18Network planning tools
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/02Arrangements for optimising operational condition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/02Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/04Large scale networks; Deep hierarchical networks
    • H04W84/06Airborne or Satellite Networks

Abstract

The present invention relates to a clustered unmanned aerial vehicle (UAV) arrangement device based on machine learning for maximizing communication throughput. The clustered UAV arrangement device comprises: a communication module unit which receives location information and communication demand information of a user and transmits UAV arrangement information; a user information unit which stores and analyzes the location information and the communication demand information of the user; a UAV information unit which stores basic UAV information including UAV communication throughput; and a clustering algorithm modeling unit which calculates a location at which communication throughput is maximized, with a clustering algorithm based on the location information and the communication demand information of the user. The present invention relates to a UAV arrangement method based on machine learning for maximizing communication throughput, which comprises the steps of: checking the location information of the user; checking communication demand of the user; calculating central nodes of respective clusters at which the communication throughput is maximized, by using the clustering algorithm; and arranging UAVs of the central nodes of the respective clusters. The present invention can respond to user communication requirements which are not constant.

Description

통신 처리량 최대화를 위한 기계학습 기반의 군집 무인 항공기 배치 장치 및 방법{UAV ARRANGEMENT DEVICE AND METHOD BASED ON MACHINE LEARNING FOR MAXIMIZING COMMUNICATION THROUGHPUT}Machine learning-based swarm drone deployment device and method for maximizing communication throughput {UAV ARRANGEMENT DEVICE AND METHOD BASED ON MACHINE LEARNING FOR MAXIMIZING COMMUNICATION THROUGHPUT}

본 발명은 통신 처리량 최대화를 위한 기계학습 기반의 군집 무인 항공기 배치에 관한 것으로서, 보다 구체적으로는 강화학습을 기반으로 사용자의 통신 요구량 변화에 따른 최적의 무인 항공기 배치에 관한 것이다. The present invention relates to swarm unmanned aerial vehicle deployment based on machine learning for maximizing communication throughput, and more particularly, to an optimal unmanned aerial vehicle deployment according to a change in a user's communication demand based on reinforcement learning.

차세대 이동 통신인 5G는 밀리미터파를 이용한 무선 네트워크 기술이다. 현재 5G의 상용화가 진행되고 있지만, 보다 안정적인 상용화를 위해 더 많은 기지국 설치가 요구된다. 그러나 새로운 기지국을 추가적으로 설치하는 것은 경제적 비효율성을 야기시키며, 통신 환경이 변화하는 경우에 유연성 있는 대처를 하지 못하는 단점을 초래한다. 따라서 지상 기지국을 추가적으로 설치하는 방안 대신 무인 항공기(Unmanned Aerial Vehicle)을 활용한 방법에 대한 연구가 활발히 진행되고 있다. 5G, the next-generation mobile communication technology, is a wireless network technology using millimeter waves. Although commercialization of 5G is currently underway, more base stations are required for more stable commercialization. However, additionally installing a new base station causes economic inefficiency, and causes disadvantages in being unable to flexibly cope with changes in the communication environment. Therefore, instead of installing an additional terrestrial base station, research on a method using an unmanned aerial vehicle is being actively conducted.

무인 항공기 또는 드론은 조종사가 직접 탑승하지 않은 비행체를 말한다. 무인 항공기는 최초의 군사적인 용도로 개발되었으나, 현재 민간 부분과 공공 부분을 포함한 다양한 분야에서 사용되고 있다. 또한, 무인 항공기는 비용적인 측면과 자유로운 움직임 등으로 인해 통신 분야에서 큰 잠재력을 갖고 있으며, 향후 지상 기지국의 기능을 수행할 수 있는 대체제로서 평가받고 있다. 그러나, 한정된 배터리 용량과 통신 범위 등으로 인해, Base-Station으로의 기능 수행에 관한 한계점이 존재한다. 나아가, 사용자의 통신 요구량의 급격한 변화가 발생할 때, 무인 항공기가 유연하게 대처 능력에 관한 문제점도 해결 과제로 남아있다. An unmanned aerial vehicle or drone refers to a vehicle that the pilot does not directly board. Unmanned aerial vehicles were first developed for military use, but are now being used in a variety of fields, including the private and public sectors. In addition, the unmanned aerial vehicle has great potential in the communication field due to its cost aspect and free movement, and is evaluated as an alternative that can perform the function of a terrestrial base station in the future. However, due to the limited battery capacity and communication range, there is a limit regarding the performance of the function as the base-Station. Furthermore, when a sudden change in the user's communication demand occurs, the problem of the ability of the unmanned aerial vehicle to respond flexibly remains a problem to be solved.

본 발명은 전술한 문제점을 해결하기 위한 것으로서, 복수의 사용자의 통신 요구량에 따라 통신 처리량이 최대화될 수 있도록 군집 무인 항공기를 배치하는 장치 및 방법을 제공하는 것을 목적으로 한다.An object of the present invention is to provide an apparatus and method for disposing a swarm unmanned aerial vehicle so that the communication throughput can be maximized according to the communication requirements of a plurality of users.

본 발명은 무인 항공기가 배치된 후, 통신 과부하가 발생하는 경우, 통신 처리량이 최대화될 수 있도록 무인 항공기를 재배치하는 장치 및 방법을 제공하는 것을 목적으로 한다.An object of the present invention is to provide an apparatus and method for relocating an unmanned aerial vehicle so that communication throughput can be maximized when a communication overload occurs after the unmanned aerial vehicle is deployed.

본 발명은 강화 학습 알고리즘을 통하여 복수의 통신 요구량이 변화에 따라 통신 처리량이 최대가 될 수 있도록 무인 항공기를 배치하는 장치 및 방법을 제공하는 것을 목적으로 한다. An object of the present invention is to provide an apparatus and method for disposing an unmanned aerial vehicle so that communication throughput can be maximized according to a change in a plurality of communication demands through a reinforcement learning algorithm.

본 발명은 통신 처리량 최대화를 위한 기계학습 기반의 군집 무인 항공기 배치 장치에 관한 것으로서, 사용자의 위치 정보 및 통신 요구량 정보를 수신하고 무인 항공기 배치 정보를 송신하는 통신 모듈부, 사용자의 위치 정보와 통신 요구량 정보를 저장하고 분석하는 사용자 정보부, 무인 항공기 통신 처리량을 포함하여 기본적인 무인 항공기 정보를 저장하는 무인 항공기 정보부, 사용자의 위치 정보와 통신 요구량 정보를 기반으로 군집화 알고리즘을 통해 통신 처리량 최대화가 되는 위치를 계산하는 군집화 알고리즘 모델부를 포함한다. The present invention relates to a machine learning-based swarm unmanned aerial vehicle deployment device for maximizing communication throughput, a communication module unit that receives user's location information and communication demand information and transmits unmanned aerial vehicle deployment information, and a user's location information and communication demand The user information unit that stores and analyzes information, the unmanned aerial vehicle information unit that stores basic drone information including the drone communication throughput, and the location where communication throughput is maximized through a clustering algorithm based on the user's location information and communication demand information It includes a clustering algorithm model unit.

본 발명은 통신 처리량 최대화를 위한 기계학습 기반의 군집 무인 항공기 배치 방법에 관한 것으로서, 사용자의 위치 정보를 확인하는 단계, 사용자의 통신 요구량을 확인하는 단계, 군집 알고리즘을 활용하여 통신 처리량이 최대화가 되는 각 군집의 중앙 노드를 계산하는 단계, 각 군집의 중앙 노드의 무인 항공기를 배치하는 단계를 포함한다. The present invention relates to a method for deploying a swarm unmanned aerial vehicle based on machine learning for maximizing communication throughput. calculating the central node of each cluster, and deploying the unmanned aerial vehicle of the central node of each cluster.

본 발명의 실시 예를 따르면, 무인 항공기를 활용하여, 일정하지 않은 사용자의 통신 요구량에 대응할 수 있는 통신 네트워크 서비스를 제공할 수 있다. According to an embodiment of the present invention, it is possible to provide a communication network service capable of responding to an inconsistent user's communication demand by using an unmanned aerial vehicle.

본 발명의 실시 예를 따르면, 사용자의 통신 요구량이 순간적으로 급증하는 경우, 무인 항공기를 재배치하여 통신 과부하 환경에 대해 빠르게 대처할 수 있다. According to an embodiment of the present invention, when a user's communication demand increases instantaneously, the unmanned aerial vehicle can be rearranged to quickly cope with a communication overload environment.

본 발명의 실시 예를 따르면, 강화 학습 알고리즘을 통해 초기 학습 데이터 없이도 통신 처리량 최대화를 위한 최적의 위치에 무인 항공기를 배치할 수 있다.According to an embodiment of the present invention, an unmanned aerial vehicle may be placed in an optimal position for maximizing communication throughput without initial training data through a reinforcement learning algorithm.

본 발명의 실시 예를 따르면, 지상 기지국 설치 비용 절감 효과 및 변화하는 환경에 빠르게 대처할 수 있는 새로운 통신 네트워크 환경을 제공할 수 있다. According to an embodiment of the present invention, it is possible to provide a new communication network environment that can reduce the installation cost of a terrestrial base station and quickly cope with a changing environment.

도 1은 본 발명의 실시 예에 따른 통신 처리량 최대화를 위한 군집 무인 항공기 배치에 대한 예시도이다.
도 2는 본 발명의 실시 예에 따른 통신 처리량 최대화를 위한 군집 무인 항공기 배치 장치의 블록도이다.
도 3은 본 발명의 실시 예에 따른 수정된 K-means 알고리즘을 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따른 회피 알고리즘을 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따른 통신 처리량 최대화를 위한 군집 무인 항공기 배치 방법에 관한 순서도이다.
도 6는 본 발명의 실시 예에 따른 회피 알고리즘을 설명하기 위한 순서도이다.
도 7은 본 발명의 실시 예에 따른 통신 처리량 최대화를 위한 군집 무인 항공기 배치 장치의 성능에 관한 실험 결과에 관한 도면이다.
도 8은 본 발명의 실시 예에 따른 통신 처리량 최대화를 위한 군집 무인 항공기 배치 장치의 성능을 확인하기 위한 실험 결과에 관한 도면이다.
1 is an exemplary diagram of swarm unmanned aerial vehicle deployment for maximizing communication throughput according to an embodiment of the present invention.
2 is a block diagram of a swarm unmanned aerial vehicle deployment apparatus for maximizing communication throughput according to an embodiment of the present invention.
3 is a diagram for explaining a modified K-means algorithm according to an embodiment of the present invention.
4 is a diagram for explaining an avoidance algorithm according to an embodiment of the present invention.
5 is a flowchart illustrating a method for deploying a swarm unmanned aerial vehicle for maximizing communication throughput according to an embodiment of the present invention.
6 is a flowchart illustrating an avoidance algorithm according to an embodiment of the present invention.
7 is a view showing the experimental results regarding the performance of the swarm unmanned aerial vehicle deployment device for maximizing communication throughput according to an embodiment of the present invention.
8 is a view of an experimental result for confirming the performance of a swarm unmanned aerial vehicle deployment device for maximizing communication throughput according to an embodiment of the present invention.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요 하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.The above-described objects, features, and advantages will be described below in detail with reference to the accompanying drawings, and accordingly, those skilled in the art to which the present invention pertains will be able to easily implement the technical idea of the present invention. In describing the present invention, if it is determined that a detailed description of a known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description will be omitted.

도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.In the drawings, the same reference numerals are used to refer to the same or similar elements, and all combinations described in the specification and claims may be combined in any manner. And unless otherwise specified, it is to be understood that references to the singular may include one or more, and references to the singular may also include the plural.

본 명세서에서 사용되는 용어는 단지 특정 예시적 실시 예들을 설명할 목적을 가지고 있으며 한정할 의도로 사용되는 것이 아니다. 본 명세서에서 사용된 바와 같은 단수적 표현들은 또한, 해당 문장에서 명확하게 달리 표시하지 않는 한, 복수의 의미를 포함하도록 의도될 수 있다. 용어 "및/또는," "그리고/또는"은 그 관련되어 나열되는 항목들의 모든 조합들 및 어느 하나를 포함한다. 용어 "포함한다", "포함하는", "포함하고 있는", "구비하는", "갖는", "가지고 있는" 등은 내포적 의미를 갖는 바, 이에 따라 이러한 용어들은 그 기재된 특징, 정수, 단계, 동작, 요소, 및/또는 컴포넌트를 특정하며, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹의 존재 혹은 추가를 배제하지 않는다. 본 명세서에서 설명되는 방법의 단계들, 프로세스들, 동작들은, 체적으로 그 수행 순서가 확정되는 경우가 아니라면, 이들의 수행을 논의된 혹은 예시된 그러한 특정 순서로 반드시 해야 하는 것으로 해석돼서는 안 된다. 추가적인 혹은 대안적인 단계들이 사용될 수 있음을 또한 이해해야 한다.The terminology used herein is for the purpose of describing specific exemplary embodiments only and is not intended to be limiting. As used herein, singular expressions may also be intended to include plural meanings unless the sentence clearly indicates otherwise. The term “and/or,” “and/or” includes any and all combinations of the items listed therewith. The terms "comprises", "comprising", "comprising", "comprising", "having", "having" and the like have an implied meaning, so that these terms refer to their described features, integers, It specifies steps, operations, elements, and/or components and does not exclude the presence or addition of one or more other features, integers, steps, operations, elements, components, and/or groups thereof. The steps, processes, and acts of the methods described herein should not be construed as necessarily performing their performance in such a specific order as discussed or exemplified, unless the order of performance thereof is physically determined. . It should also be understood that additional or alternative steps may be used.

또한, 각각의 구성요소는 각각 하드웨어 프로세서로 구현될 수 있고, 위 구성요소들이 통합되어 하나의 하드웨어 프로세서로 구현될 수 있으며, 또는 위 구성요소들이 서로 조합되어 복수 개의 하드웨어 프로세서로 구현될 수도 있다.In addition, each component may be implemented as a hardware processor, respectively, the above components may be integrated into one hardware processor, or the above components may be combined with each other and implemented as a plurality of hardware processors.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시 예에 따른 통신 처리량 최대화를 위한 군집 무인 항공기 배치에 대한 예시도이다. 1 is an exemplary diagram for swarm unmanned aerial vehicle deployment for maximizing communication throughput according to an embodiment of the present invention.

본 발명의 무인 항공기는 자체적으로 비행할 수 있는 장치이다. 예컨대 무인 비행체, 드론 등으로 명명될 수 있다. 본 발명에서는 '무인 항공기' 용어로 통일하여 설명하도록 한다. 무인 항공기는 무선통신 네트워크에서 통신 노드 또는 릴레이 노드로 역할을 수행할 수 있다. 무선통신 네트워크는 무선으로 통신을 수행하는 네트워크를 말한다. 무선통신 네트워크는 사용하는 통신 방식에 따라 다양한 네트워크로서 존재한다. 예컨대 3G/LTE와 같은 이동통신 네트워크, IEEE 802.11에 따른 무선통신 네트워크, 최근 5G 기술을 활용한 네트워크 등과 같은 다양한 기술이 존재한다. 본 발명의 무인 항공기는 통신 기능을 수행할 수 있는 통신 모듈을 갖을 수 있다. The unmanned aerial vehicle of the present invention is a device capable of flying by itself. For example, it may be named as an unmanned aerial vehicle, a drone, or the like. In the present invention, the term 'unmanned aerial vehicle' will be uniformly described. The unmanned aerial vehicle may serve as a communication node or relay node in a wireless communication network. A wireless communication network refers to a network that performs communication wirelessly. Wireless communication networks exist as various networks according to a communication method used. For example, various technologies exist, such as a mobile communication network such as 3G/LTE, a wireless communication network according to IEEE 802.11, and a network utilizing 5G technology. The unmanned aerial vehicle of the present invention may have a communication module capable of performing a communication function.

도 1을 참조하면, 군집 무인 항공기(100)이 배치된 모습을 확인할 수 있다. 무인 항공기는 지상 기지국의 통신 기능을 수행할 수 있다. 무인 항공기는 사용자의 통신 요구량을 확인하고 그에 따라 각 무인 항공기의 통신 모듈을 활용하여 통신 서비스를 사용자에게 제공할 수 있다. 사용자의 통신 요구량은 사용자의 통신 사용에 따라 서로 다를 수 있다. 따라서, 서로 다른 통신 요구량을 가진 사용자(200)에 따라 군집 무인 항공기(100)가 배치될 수 있다. 군집 무인 항공기(100)은 사용자의 통신 요구량을 최대로 하기 위해 배치될 수 있다. Referring to FIG. 1 , it can be seen that the swarm unmanned aerial vehicle 100 is disposed. The unmanned aerial vehicle may perform the communication function of a ground base station. The unmanned aerial vehicle may provide a communication service to the user by checking the communication demand of the user and utilizing the communication module of each unmanned aerial vehicle accordingly. A user's communication requirements may vary depending on the user's communication usage. Accordingly, the swarm unmanned aerial vehicle 100 may be deployed according to the users 200 having different communication requirements. The swarm unmanned aerial vehicle 100 may be deployed to maximize the user's communication requirements.

본 발명의 일 실시 예에 따르면, 사용자가 임의의 한 물리적 지역(201)에 몰려 통신 트래픽이 몰리는 현상이 발생할 수 있다. 이에 따라, 통신 요구량을 처리하기 위해 군집 항공기(101)의 배치를 달리 하여 통신 트래픽이 몰리는 지역(201)의 통신 처리량을 처리할 수도 있다. 본 발명의 무인 항공기 1대의 통신 커버리지 및 통신 처리량은 일정하므로, 통신 트래픽이 몰리는 경우, 해당 지역의 무인 항공기 배치 수를 증가시키거나, 추가 무인 항공기를 투입하여 통신 요구량을 처리할 수 있다. According to an embodiment of the present invention, a phenomenon in which communication traffic converges may occur because users are concentrated in one physical area 201 . Accordingly, it is possible to handle the communication throughput of the area 201 where communication traffic is concentrated by changing the arrangement of the swarm aircraft 101 in order to handle the communication demand. Since the communication coverage and communication throughput of one unmanned aerial vehicle of the present invention are constant, when communication traffic is congested, the number of unmanned aerial vehicle deployments in the area may be increased or an additional unmanned aerial vehicle may be introduced to handle the communication demand.

이하에서는 도 2를 참조하며 통신 처리량 최대화를 위한 무인 항공기 최적의 배치 장치에 관한 구체적인 설명을 하도록 한다. Hereinafter, with reference to FIG. 2, a detailed description will be given of an apparatus for optimally disposing an unmanned aerial vehicle for maximizing communication throughput.

도 2는 본 발명의 실시 예에 따른 통신 처리량 최대화를 위한 군집 무인 항공기 배치 장치의 블록도이다. 2 is a block diagram of a swarm unmanned aerial vehicle deployment apparatus for maximizing communication throughput according to an embodiment of the present invention.

본 발명에서 통신 처리량은 통신 서비스를 제공하기 위한 군집 무인 항공기가 배치되고, 사용자에게 제공되는 통신 서비스 처리량을 말한다. 보다 구체적으로 통신 처리량에 관한 설명과 통신 처리량 최대화의 의미를 The Air-To-Ground Path Loss Model 과 Max-Min Airtime Fairness 모델을 활용하여 설명하도록 한다. In the present invention, the communication throughput refers to a communication service throughput provided to a user by deploying a cluster of unmanned aerial vehicles for providing a communication service. More specifically, the description of communication throughput and the meaning of maximizing communication throughput will be explained using The Air-To-Ground Path Loss Model and Max-Min Airtime Fairness Model.

The Air-To-Ground Path Loss Model은 수학식 (1)에 따라 무인 항공기와 사용자 간의 통신 과정에서 거리(d)에 따른 신호 감쇄 효과로 인한 SNR(신호 대 잡음비)를 계산하기 위한 모델이다. The Air-To-Ground Path Loss Model is a model for calculating the SNR (Signal-to-Noise Ratio) due to the signal attenuation effect according to the distance (d) in the communication process between the unmanned aerial vehicle and the user according to Equation (1).

Figure pat00001
Figure pat00001

수학식 (1)에서 P(Los)는 통신 간에 장애물이 없는 line-of-sight가 될 확률이고, P(NLos)는 통신 간에 장애물이 있을 확률이다. 따라서 P(Los)+P(NLos)=1이 된다.

Figure pat00002
는 추가적인 감쇄 수치에 해당된다. 사용자 i의 데이터 처리량인 Ci 신호 대 잡음비인 SNR을 수학식 (2)에 대입하여 구할 수 있다.In Equation (1), P(Los) is the probability of a line-of-sight having no obstacles between communications, and P(NLos) is the probability that there is an obstacle between communications. Therefore, P(Los)+P(NLos)=1.
Figure pat00002
corresponds to the additional attenuation value. The SNR, which is the signal-to-noise ratio, C i , which is the data throughput of user i, can be obtained by substituting it into Equation (2).

Figure pat00003
Figure pat00003

Max-Min Airtime Fairness 모델은 사용자들의 서로 다른 통신 요구량에 따른 채널 사용 시간(tj), 즉 Airtime을 공평하게 분배하기 위한 모델이다. 수학식 (3)을 참조하면, 서로 다른 통신 요구량에 대한 채널 사용 시간의 합은 1 이하가 되도록 하여 무인 항공기가 제공할 수 있는 대역폭을 통신 요구량에 따라 나눌 수 있게 할 수 있다. The Max-Min Airtime Fairness model is a model for evenly distributing the channel usage time (t j ), ie, airtime, according to different communication requirements of users. Referring to Equation (3), the sum of the channel usage times for different communication requirements is set to be less than or equal to 1, so that the bandwidth that the unmanned aerial vehicle can provide can be divided according to the communication requirements.

Figure pat00004
Figure pat00004

수학식 (3)에서

Figure pat00005
는 사용자 j의 통신 처리량을 뜻한다. 따라서 수학식 (4)와 같이 모든 사용자에 대한 통신 처리량을 최대화할 수 있는 군집 무인 항공기 배치 위치를 구하는 것이 본 발명의 목적이 된다.From Equation (3)
Figure pat00005
is the communication throughput of user j. Therefore, as shown in Equation (4), it is an object of the present invention to obtain a swarm unmanned aerial vehicle deployment location that can maximize the communication throughput for all users.

Figure pat00006
Figure pat00006

본 발명의 통신 처리량 최대화를 위한 군집 무인 항공기 배치 장치(400)은 통신 모듈부(401), 사용자 정보부(402), 무인 항공기 정보부(403), 군집화 알고리즘 모델부(404), 과부하 예측 알고리즘 모델부(405), 배치 학습 모델부(406)을 포함할 수 있다. 이하에서는 각 구성 요소의 구체적인 기능에 대해서 설명하도록 한다. The cluster unmanned aerial vehicle deployment apparatus 400 for maximizing communication throughput of the present invention includes a communication module unit 401, a user information unit 402, an unmanned aerial vehicle information unit 403, a clustering algorithm model unit 404, and an overload prediction algorithm model unit. 405 , a batch learning model unit 406 may be included. Hereinafter, specific functions of each component will be described.

통신 모듈부(401)은 사용자의 통신 요구량 및 무인 항공기가 수행하는 통신 네트워크 서비스 관련 통신 처리량에 관한 정보를 수신할 수 있다. 통신 모듈부(401)은 통신 처리량 최대화를 위한 군집 무인 항공기 배치 관련 정보를 군집 무인 항공기로 송신할 수 있다. 송신된 배치 정보에 따라 군집 무인 항공기는 최적의 위치에 배치될 수 있다. The communication module unit 401 may receive information on a communication request amount of a user and a communication throughput related to a communication network service performed by the unmanned aerial vehicle. The communication module unit 401 may transmit information related to swarm unmanned aerial vehicle deployment for maximizing communication throughput to the swarm unmanned aerial vehicle. According to the transmitted deployment information, the swarm unmanned aerial vehicle can be deployed to an optimal position.

사용자 정보부(402)는 통신 모듈부(401)을 통해서 수신된 사용자의 통신 요구량에 관한 정보를 저장 및 분석할 수 있다. 사용자 정보부(402)는 사용자의 위치 정보를 저장 및 분석할 수 있다. 예를 들어, 사용자의 위치 정보는 GPS를 기반으로 하는 위치 정보를 포함할 수 있다. 사용자 정보부(402)는 사용자의 통신 요구량을 주기적으로 저장하고, 사용자의 통신 요구량의 변화량의 주기 및 변화 추이를 분석할 수 있다. The user information unit 402 may store and analyze information about the communication request amount of the user received through the communication module unit 401 . The user information unit 402 may store and analyze the location information of the user. For example, the user's location information may include GPS-based location information. The user information unit 402 may periodically store the user's communication demand, and analyze the period and change trend of the change in the user's communication demand.

예컨대, 사용자 정보부(402)는 임의의 기간 동안 사용자 통신 요구량의 변화량 평균을 확인하고, 평균 변화량 보다 높은 변화량을 갖는 사용자들을 집중분석 사용자로 정의할 수 있다. For example, the user information unit 402 may check the average change amount of the user communication demand for a certain period, and define users having a change amount higher than the average change amount as intensive analysis users.

사용자 정보부(402)는 순간적으로 통신 트래픽이 몰리는 지역에 관한 정보를 수집 및 분석할 수 있다. 예를 들어, 사용자 정보부(402)는 임의의 기간동안 임의의 지역 단위에서 통신 트래픽의 변화량의 평균을 확인하고, 평균 변화량 보다 높은 변화량을 갖는 지역을 집중분석 지역으로 정의할 수 있다. The user information unit 402 may collect and analyze information about an area where communication traffic is instantaneously concentrated. For example, the user information unit 402 may check the average of the change amount of communication traffic in an arbitrary area unit for a certain period, and define a region having a change amount higher than the average change amount as the centralized analysis area.

무인 항공기 정보부(403)은 무인 항공기의 기본적인 정보를 수신할 수 있다. 무인 항공기의 기본적인 정보는 무인 항공기 항행 가능한 거리, 시간, 배터리 정보, 무인 항공기 모델, 제조날짜 등을 포함할 수 있다. 또한 무인 항공기 1대가 제공할 수 있는 최대 통신 처리량 정보, 무인 항공기 1대의 통신 서비스 제공 커버리지 등을 포함할 수 있다. The unmanned aerial vehicle information unit 403 may receive basic information of the unmanned aerial vehicle. The basic information of the unmanned aerial vehicle may include the navigable distance of the unmanned aerial vehicle, time, battery information, unmanned aerial vehicle model, manufacturing date, and the like. In addition, it may include information on maximum communication throughput that one unmanned aerial vehicle can provide, communication service provision coverage of one unmanned aerial vehicle, and the like.

또한 사용자 정보부(402)의 사용자 통신 요구량을 기반으로 통신 가능 지역에 무인 항공기 배치시 가용할 수 있는 무인 항공기 정보 등을 포함할 수 있다. 무인 항공기 정보부(403)는 무인 항공기가 갖을 수 있는 정보는 모두 포함할 수 있으며 한정되어 해석되지 아니한다. In addition, based on the user communication requirement of the user information unit 402, it may include information on the unmanned aerial vehicle that can be used when the unmanned aerial vehicle is deployed in a communication area. The unmanned aerial vehicle information unit 403 may include all information that the unmanned aerial vehicle may have and is not limitedly interpreted.

군집화 알고리즘 모델부(404)는 통신 처리량 최대화를 위한 군집 무인 항공기의 최적의 배치를 판단하는 기능을 수행한다. 군집화 알고리즘 모델부(404)는 비지도학습의 대표적인 기술로 레이블이 지정되어 있지 아니한 데이터를 그룹핑 하는 군집화 알고리즘을 활용할 수 있다. 이러한 군집화 알고리즘에는 평균 이동 알고리즘, 가우시안 분포 모델을 활용한 GMM(Gaussian Mixture model), DBSCAN(Density Based Spatial Clustering of Applications with Noise) 등이 있다. The clustering algorithm model unit 404 performs a function of determining the optimal arrangement of the unmanned aerial vehicle cluster for maximizing the communication throughput. The clustering algorithm model unit 404 may utilize a clustering algorithm for grouping unlabeled data as a representative technique of unsupervised learning. Such a clustering algorithm includes a mean shift algorithm, a Gaussian mixture model (GMM) using a Gaussian distribution model, and a density-based spatial clustering of applications with noise (DBSCAN).

본 발명에서는 K-means 군집화 알고리즘을 기반으로, 사용자의 통신 요구량을 추가 파라미터로 고려한 수정된 K-means 군집화 알고리즘을 활용한다. In the present invention, based on the K-means clustering algorithm, a modified K-means clustering algorithm that considers the user's communication requirements as an additional parameter is utilized.

K-means 군집화 알고리즘에서 활용하는 비용의 함수는 데이터를 여러 그룹으로 분할하고, 각 그룹의 중심 노드를 확인하고, 각 그룹의 중심 노드와 각 그룹의 소속된 데이터 간의 거리의 제곱의 합을 함수로 한다. 비용의 함수는 상기 수학식(5)로서 나타낼 수 있다. The cost function used in the K-means clustering algorithm divides the data into several groups, identifies the central node of each group, and returns the sum of the squares of the distance between the central node of each group and the data to which each group belongs as a function. do. The function of cost can be expressed as Equation (5) above.

Figure pat00007
Figure pat00007

K-means 알고리즘은 비용의 함수를 최소화하기 위해 데이터를 그룹화하고, 각 그룹의 중앙 노드를 찾기 위한 알고리즘에 해당한다. 종래 K-means 알고리즘에서 그룹의 중심 노드에서 데이터들 간의 거리의 제곱의 합을 구할 때, 각 데이터들 간의 가중치를 고려하지 않는 모델이다. 그러나, 본 발명의 군집화 알고리즘 모델부(404)는 K-means 알고리즘을 보다 발전하여 수정된 K-means 알고리즘 모델을 활용한다. The K-means algorithm corresponds to an algorithm for grouping data to minimize a function of cost and finding the central node of each group. In the conventional K-means algorithm, when calculating the sum of the squares of the distances between data at the central node of a group, it is a model that does not consider the weights between each data. However, the clustering algorithm model unit 404 of the present invention utilizes the modified K-means algorithm model by further developing the K-means algorithm.

본 발명의 군집화 알고리즘 모델부(404)에서 활용하는 수정된 K-means 알고리즘은 사용자의 통신 요구량을 추가 파라미터로 고려하는 알고리즘이다. 수정된 K-means 알고리즘은 도 3을 활용하여 구체적으로 설명하도록 한다. The modified K-means algorithm utilized in the clustering algorithm model unit 404 of the present invention is an algorithm that considers the user's communication demand as an additional parameter. The modified K-means algorithm will be described in detail using FIG. 3 .

도 3은 본 발명의 실시 예에 따른 수정된 K-means 알고리즘을 설명하기 위한 도면이다. 3 is a diagram for explaining a modified K-means algorithm according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 사용자의 통신 요구량을 고려한 수정된 K-means 알고리즘을 확인할 수 있다. 실제 통신 환경에서 사용자의 통신 요구량은 일정하지 않고, 사용자마다 서로 다른 값을 갖을 수 있다. 따라서, K-means 알고리즘에서 중앙 노드를 계산할 시, 서로 다른 통신 요구량을 고려하여 각 군집의 중앙 노드를 계산하는 방법이 필요하다. 본 발명에서는 서로 다른 사용자의 통신 요구량을 고려하기 위해 수학식 (6)를 활용할 수 있다. Referring to FIG. 3 , the modified K-means algorithm in consideration of the user's communication requirements according to the present invention can be confirmed. In an actual communication environment, a user's communication demand is not constant and may have a different value for each user. Therefore, when calculating the central node in the K-means algorithm, a method for calculating the central node of each cluster is needed in consideration of different communication requirements. In the present invention, Equation (6) can be used to consider the communication requirements of different users.

Figure pat00008
Figure pat00008

수학식 (6)에서 di는 사용자 i의 통신 요구량을 나타낸다.

Figure pat00009
는 각 군집의 중앙 노드에서 각 데이터 간의 거리를 나타낸다. 따라서 수정된 거리값인
Figure pat00010
는 각 군집의 중앙 노드에서부터 각 데이터 간의 거리에 일정상수
Figure pat00011
와 사용자 요구량 di를 곱하여 계산할 수 있다. 따라서, 본 발명에서, 각 군집의 중앙 노드에서 각 군집의 데이터들 간의 거리값의 합을 최소로 하는 각 군집의 중앙 노드를 계산할 때, 각 데이터들 간의 일정 가중치를 부여하여, 각 군집의 중앙 노드를 계산할 수 있다. 본 발명에서 일정 가중치는 서로 다른 사용자의 통신 요구량이 될 수 있다. In Equation (6), d i represents the communication demand of user i.
Figure pat00009
represents the distance between each data at the central node of each cluster. Therefore, the corrected distance value is
Figure pat00010
is a constant constant for the distance between each data from the central node of each cluster.
Figure pat00011
It can be calculated by multiplying by the user demand d i . Therefore, in the present invention, when calculating the central node of each cluster that minimizes the sum of distance values between the data of each cluster at the central node of each cluster, a certain weight is given between each data, and the central node of each cluster is calculated. can be calculated. In the present invention, the predetermined weight may be communication requirements of different users.

도 3을 참조하면 수정된 K-means 알고리즘의 입력 데이터 및 출력 데이터를 확인할 수 있다. 입력 데이터로

Figure pat00012
는 각각 사용자 i의 위치, 사용자 i의 통신 요구량, 무인 항공기 j의 위치에 해당된다. 출력 데이터로,
Figure pat00013
는 각 각 무인 항공기 j의 속해 있는 사용자 집합, 무인 항공기 j의 통신 처리량 최대화를 위한 위치에 해당된다. 도 3을 참조하면
Figure pat00014
는 임의의 무인 항공기 j에 속해 있는 임시 사용자 군집에 해당된다. 수정된 K-means 알고리즘은
Figure pat00015
를 변경하면서
Figure pat00016
가 최적의 조건을 만족할 때,
Figure pat00017
로 출력한다. Referring to FIG. 3 , input data and output data of the modified K-means algorithm can be confirmed. as input data
Figure pat00012
are corresponding to the location of user i, the communication demand of user i, and the location of the unmanned aerial vehicle j, respectively. as output data,
Figure pat00013
Each corresponds to a set of users to which UAV j belongs, and a location for maximizing communication throughput of UAV j. 3 ,
Figure pat00014
corresponds to the temporary user cluster belonging to a random drone j. The modified K-means algorithm is
Figure pat00015
while changing
Figure pat00016
When the optimal condition is satisfied,
Figure pat00017
output as

최적의 조건은 수학식 (2)에서 상술한 바와 같이 임의의 무인 항공기 j의 할당된 군집의 모든 사용자의 위치 및 통신 요구량을 기반으로 수정된 거리값을 구하고, 모든 무인 항공기에 관한 수정된 거리값의 합이 최소가 될 때가 된다. 이 때 각 군집의 수정된 거리값을 구하기 위한 각 군집의 중앙 노드 위치를 통신 처리량 최대화를 위한 무인 항공기 최적 배치 위치로 하며, 이러한 위치는 사용자의 서로 다른 통신 요구량 처리를 최대화하기 위한 최적의 위치값이 된다. As described above in Equation (2), the optimal condition is to obtain a corrected distance value based on the location and communication requirements of all users in the assigned cluster of any unmanned aerial vehicle j, and to obtain the corrected distance value for all unmanned aerial vehicles When is the time when the sum of At this time, the location of the central node of each cluster to obtain the corrected distance value of each cluster is set as the optimal placement location of the unmanned aerial vehicle for maximizing communication throughput, and this location is the optimal location value for maximizing the processing of users' different communication requirements. becomes this

군집화 알고리즘 모델부(404)는 수정된 K-means 알고리즘을 활용하여 통신 처리량이 최대가 되는 위치값을 계산할 수 있다. 군집화 알고리즘 모델부(404)는 각 무인 항공기의 위치값을 통신 모듈부(401)로 보내고 통신 모듈부(401)은 무인 항공기 배치를 위한 통신 정보를 송신할 수 있다. The clustering algorithm model unit 404 may calculate a position value at which the communication throughput is maximized by using the modified K-means algorithm. The clustering algorithm model unit 404 may transmit the position value of each unmanned aerial vehicle to the communication module unit 401 and the communication module unit 401 may transmit communication information for the deployment of the unmanned aerial vehicle.

다만 실제 통신 환경에서 군집화 알고리즘 모델부에서 계산한 이러한 위치값은 무인 항공기의 통신 처리 한계량을 고려하지 아니한 것이다. 구체적으로 이러한 위치값은 무인 항공기 1대의 통신 처리량이 무한하다고 가정한 상태에서 구한 것이다. 그러나 실제 현실에서는 무인 항공기 1대가 처리할 수 있는 통신 처리 한계량이 존재하고, 통신 요구량이 통신 처리 한계량을 증가하는 경우에는 무인 항공기 1대의 통신 과부하가 발생할 수 있다. 따라서 이러한 통신 과부하 발생을 방지하기 위한 방법을 설명하도록 한다. However, in the actual communication environment, these position values calculated by the clustering algorithm model unit do not take into account the communication processing limit of the unmanned aerial vehicle. Specifically, these position values are obtained under the assumption that the communication throughput of one unmanned aerial vehicle is infinite. However, in reality, there is a communication processing limit that one unmanned aerial vehicle can handle, and if the communication demand increases the communication processing limit, communication overload of one unmanned aerial vehicle may occur. Therefore, a method for preventing such communication overload will be described.

도 2로 돌아와, 군집 무인 항공기 배치 장치(400)은 과부하 예측 알고리즘 모델부(405)를 더 포함할 수 있다. 과부하 예측 알고리즘 모델부(405)는 상술한 바와 같이 임의의 무인 항공기에서 통신 과부하 상태가 발생하지 않도록 무인 항공기를 재배치하는 기능을 수행한다. Returning to FIG. 2 , the swarm unmanned aerial vehicle deployment device 400 may further include an overload prediction algorithm model unit 405 . The overload prediction algorithm model unit 405 performs a function of relocating the unmanned aerial vehicle so that a communication overload state does not occur in any unmanned aerial vehicle as described above.

본 발명의 일 실시 예에 따르면, 과부하 예측 알고리즘 모델부(405)는 군집화 알고리즘 모델부에서 추출된 무인 항공기의 위치값을 기반으로 임의의 무인 항공기에서 통신 과부하가 발생하지 않도록 회피 알고리즘을 활용하여 무인 항공기를 재배치 결과값을 추출할 수 있다. 회피 알고리즘에 대한 구체적인 설명은 도 4을 통해서 하도록 한다. According to an embodiment of the present invention, the overload prediction algorithm model unit 405 utilizes an avoidance algorithm to prevent communication overload from occurring in any unmanned aerial vehicle based on the location value of the unmanned aerial vehicle extracted from the clustering algorithm model unit. Aircraft relocation results can be extracted. A detailed description of the avoidance algorithm is provided with reference to FIG. 4 .

도 4는 본 발명의 실시 예에 따른 회피 알고리즘을 설명하기 위한 도면이다. 4 is a diagram for explaining an avoidance algorithm according to an embodiment of the present invention.

도 4를 참조하면, 군집화 알고리즘 모델부에서 추출된 위치값에 대해 무인 항공기가 배치된 이후, 통신 과부하 상황이 발생할 수 있다. 통신 과부하 상황은 임의의 무인 항공기 j의 통신 처리량인 Cj가 임의의 무인 항공기 j의 속해 있는 군집의 사용자의 통신 요구량보다 낮은 상태를 말한다. 본 발명의 회피 알고리즘은 통신 과부하가 발생한 임의의 무인 항공기 j의 속해 있는 군집 중 임의의 사용자 i에 대해서, 임의의 사용자 i와 가장 가까운 무인 항공기인 k를 확인할 수 있다. Referring to FIG. 4 , after the unmanned aerial vehicle is disposed with respect to the position value extracted from the clustering algorithm model unit, a communication overload situation may occur. The communication overload situation refers to a state in which the communication throughput C j of the arbitrary unmanned aerial vehicle j is lower than the communication demand of the user of the group to which the arbitrary unmanned aerial vehicle j belongs. The avoidance algorithm of the present invention may identify k, which is the closest unmanned aerial vehicle to any user i, for any user i among the clusters to which the arbitrary unmanned aerial vehicle j belongs to which communication overload has occurred.

다음으로 회피 알고리즘은 임의의 사용자 i를 무인 항공기 k가 속해 있는 군집으로 포함시킬 수 있다. 다음, 통신 과부하가 발생된 무인 항공기 j가 통신 요구량을 모두 처리할 수 있을 때까지 반복할 수 있다. 임의의 무인 항공기 j가 통신 요구량을 처리할 수 있게 된 경우, 무인 항공기의 군집은 확정하고 상기 군집에서 군집화 알고리즘 모델부의 수정된 K-means 알고리즘을 활용하여 수정된 거리값의 합이 최소가 되는 각 군집의 중앙 노드를 계산할 수 있다. 계산된 각 군집의 중앙 노드는 무인 항공기가 재배치되는 위치가 될 수 있다. Next, the avoidance algorithm can include any user i as a cluster to which the drone k belongs. Then, it can be repeated until the unmanned aerial vehicle j, which is overloaded with communication, can handle all of the communication demand. When any unmanned aerial vehicle j is able to handle the communication demand, the cluster of unmanned aerial vehicles is determined and the angle at which the sum of the corrected distance values is minimized by using the modified K-means algorithm of the clustering algorithm model part in the cluster. We can compute the central node of the cluster. The calculated central node of each cluster may be the location where the UAV is relocated.

도 4의

Figure pat00018
은 회피 알고리즘의 출력값으로 임의의 무인 항공기 j의 통신 요구량을 처리할 수 있게 된 경우의, 통신 처리량이 최대가 되는 무인 항공기의 군집 및 최적의 배치에 관한 것이다. 이러한 출력값은 무인 항공기의 통신 처리 한계량까지 고려한 결과값이 된다. 4 of
Figure pat00018
It relates to the cluster and optimal arrangement of the unmanned aerial vehicle in which the communication throughput is maximized when it is possible to handle the communication demand of an arbitrary unmanned aerial vehicle j as the output value of the avoidance algorithm. These output values become the result values considering the communication processing limit of the unmanned aerial vehicle.

따라서 본 발명의 무인 항공기 배치 장치는 통신 처리량 최대화를 위한 무인 항공기 배치에 관해서 무인 항공기의 통신 과부하 상황을 고려한 모델이 된다. 다만 실제 통신 환경에서 사용자의 위치 및 통신 요구량은 고정된 값이 아니라 끊임없이 변하는 값이 된다. 따라서 이러한 실제 통신환경에 보다 더 잘 대처하기 위한 군집 무인 항공기 배치 방법을 설명하도록 한다. Therefore, the unmanned aerial vehicle deployment device of the present invention becomes a model in consideration of the communication overload situation of the unmanned aerial vehicle with respect to the unmanned aerial vehicle deployment for maximizing communication throughput. However, in the actual communication environment, the user's location and communication requirements are not fixed values, but constantly changing values. Therefore, a method for deploying swarm unmanned aerial vehicles to better cope with such an actual communication environment will be described.

도 2로 돌아와, 군집 무인 항공기 배치 장치(400)은 배치 학습 모델부(406)를 더 포함할 수 있다. 배치 학습 모델부(406)은 강화학습 알고리즘은 주어진 환경에서 설정된 행동들을 반복하면서 보상을 많이 받는 방향으로 파라미터들을 수정하는 것을 말한다. 따라서 강화학습 알고리즘은 일반적으로 주어진 환경, 행동, 행동에 대한 보상 3가지를 포함한다. Returning to FIG. 2 , the swarm unmanned aerial vehicle deployment device 400 may further include a deployment learning model unit 406 . The batch learning model unit 406 refers to the reinforcement learning algorithm modifying parameters in a direction to receive a large amount of reward while repeating actions set in a given environment. Therefore, reinforcement learning algorithms generally include three types of rewards for a given environment, behavior, and behavior.

강화학습 알고리즘에는 여러가지가 존재하며 크게 Value-based와 Policy-based로 분류할 수 있다. Policy-based 중 가장 대표적인 것은 Trust Region Policy Optimization(TRPO), Proximal Policy Optimization(PPO)이 있다. 본 발명의 배치 학습 모델부(406)은 PPO를 활용할 수 있다. There are many types of reinforcement learning algorithms, and they can be broadly classified into value-based and policy-based. The most representative policy-based ones are Trust Region Policy Optimization (TRPO) and Proximal Policy Optimization (PPO). The batch learning model unit 406 of the present invention may utilize the PPO.

본 발명의 배치 학습 모델부(406)은 강화학습 알고리즘의 환경은 서로 다른 통신 요구량을 가진 복수의 사용자가 존재하고, 행동은 무인 항공기의 이동이고, 행동에 대한 보상은 이동 후 통신 처리량 증가이다. 배치 학습 모델부(406)은 이동 후 통신 처리량이 이동 전 통신 처리량 보다 증가하는 방향으로 학습하게 한다. 이를 통해, 추가적인 무인 항공기 배치 관리 인력이 없이도 강화학습 알고리즘을 통하여 통신 처리량이 증가할 수 있도록 무인 항공기 배치를 관리할 수 있다. In the batch learning model unit 406 of the present invention, a plurality of users with different communication requirements exist in the environment of the reinforcement learning algorithm, the action is the movement of the unmanned aerial vehicle, and the reward for the action is an increase in communication throughput after movement. The batch learning model unit 406 learns in a direction in which the communication throughput after moving is increased compared to the communication throughput before moving. Through this, it is possible to manage the deployment of the unmanned aerial vehicle so that the communication throughput can be increased through the reinforcement learning algorithm without an additional unmanned aerial vehicle deployment management manpower.

도 5는 본 발명의 실시 예에 따른 통신 처리량 최대화를 위한 군집 무인 항공기 배치 방법에 관한 순서도이다. 5 is a flowchart illustrating a method for deploying a swarm unmanned aerial vehicle for maximizing communication throughput according to an embodiment of the present invention.

도 5를 참조하면, 통신 처리량 최대화를 위한 군집 무인 항공기 배치 방법은 사용자의 위치 정보를 확인하는 단계(S101), 사용자의 통신 요구량을 저장하고 분석하는 사용자의 통신 요구량 확인 단계(S102), 군집 알고리즘을 활용하여 사용자를 군집화 하고 각 군집의 통신 처리량 최대화를 위한 중앙 노드를 계산하는 단계(S103), 통신 과부하 발생 여부를 판단하는 단계(S104), 통신 과부하 발생 여부에 따라, 과부하 발생 하지 아니한 경우에는 각 군집의 중앙 노드에 무인 항공기를 배치하는 단계(S105), 통신 과부하 발생시 회피 알고리즘을 활용하여 무인 항공기를 재배치하는 단계(S106)을 포함할 수 있다. 아울러, 통신 처리량의 최대화를 위해 강화학습 알고리즘을 활용하여 무인 항공기 배치를 학습하는 단계(S107)를 더 포함할 수 있다. 통신 처리량 최대화를 위한 군집 무인 항공기 배치 방법에 대한 구체적인 실시 예에 의한 설명은 도 2 내지 4에서 전술한 통신 처리량 최대화를 위한 군집 무인 항공기 배치 장치에 관한 설명과 중복되는 바, 구체적인 실시 예에 대한 설명은 생략하기로 한다. Referring to FIG. 5 , the swarm unmanned aerial vehicle deployment method for maximizing communication throughput includes the steps of checking the user's location information (S101), the user's communication demand checking step of storing and analyzing the user's communication demand (S102), the swarm algorithm clustering users and calculating a central node for maximizing the communication throughput of each cluster (S103), determining whether communication overload occurs (S104), depending on whether communication overload occurs, if the overload does not occur It may include the step of disposing the unmanned aerial vehicle in the central node of each cluster (S105), and the step of relocating the unmanned aerial vehicle by using an avoidance algorithm when communication overload occurs (S106). In addition, it may further include a step (S107) of learning to deploy the unmanned aerial vehicle by using a reinforcement learning algorithm to maximize the communication throughput. The description of the swarm unmanned aerial vehicle deployment method for maximizing communication throughput overlaps with the description of the swarm unmanned aerial vehicle deployment device for maximizing the communication throughput described above in FIGS. 2 to 4 , a description of a specific embodiment is to be omitted.

도 6는 본 발명의 실시 예에 따른 회피 알고리즘을 설명하기 위한 순서도이다. 6 is a flowchart illustrating an avoidance algorithm according to an embodiment of the present invention.

도 6을 참조하면, 회피 알고리즘은 과부하된 무인 항공기를 확인하고 그 무인 항공기의 위치 정보를 확인하는 단계(S201), 과부하된 무인 항공기에 속해 있는 임의의 사용자를 선택하고 임의의 사용자와 거리 상 가장 가까운 위치에 있는 무인 항공기를 확인하는 단계(S202), 임의의 사용자를 상기 무인 항공기의 군집으로 포함시키는 단계(S203), 과부하된 무인 항공기의 과부하 여부를 판단하는 단계(S205)를 포함할 수 있다. 또한, 무인 항공기가 여전히 과부하된 상태인 경우에 단계(S201)과 단계(S203)을 반복하고, 과부하가 되지 않은 경우에 군집 알고리즘을 활용하여 각 군집의 중앙 노드를 계산하는 단계(S206)를 진행하고, 각 군집의 중앙 노드에 무인 항공기를 재배치하는 단계(S207)을 포함할 수 있다. 본 발명의 회피 알고리즘에 관한 구체적인 실시 예는 도 2 내지 4에서 전술한 군집 무인 항공기 배치 장치에 관한 설명과 중복되는 바, 구체적인 실시 예에 대한 설명은 생략하기로 한다. 이하에서는 도 7 내지 8을 참조하여, 본 발명의 무인 항공기 배치 장치의 성능에 대한 실험 결과를 설명하도록 한다.Referring to FIG. 6 , the avoidance algorithm identifies the overloaded drone and checks the location information of the unmanned aerial vehicle (S201), selects a random user belonging to the overloaded drone, and simulates the distance with the random user It may include a step of checking the unmanned aerial vehicle in a nearby location (S202), including a random user into the cluster of the unmanned aerial vehicle (S203), and determining whether the overloaded unmanned aerial vehicle is overloaded (S205). . In addition, if the unmanned aerial vehicle is still overloaded, steps S201 and S203 are repeated, and if not overloaded, a step S206 of calculating the central node of each cluster using a cluster algorithm proceeds. and relocating the unmanned aerial vehicle to the central node of each cluster (S207). A specific embodiment of the avoidance algorithm of the present invention overlaps with the description of the swarm unmanned aerial vehicle deployment apparatus described above with reference to FIGS. 2 to 4 , and a description of the specific embodiment will be omitted. Hereinafter, with reference to FIGS. 7 to 8, the experimental results on the performance of the unmanned aerial vehicle deployment device of the present invention will be described.

도 7은 본 발명의 실시 예에 따른 통신 처리량 최대화를 위한 군집 무인 항공기 배치 장치의 성능에 관한 실험 결과에 관한 도면이다. 7 is a view showing the experimental results regarding the performance of the swarm unmanned aerial vehicle deployment device for maximizing communication throughput according to an embodiment of the present invention.

본 발명의 배치 장치에 대한 성능을 확인하기 위한 실험 설계는 다음과 같다. 실험은 30명의 서로 다른 통신 요구량을 갖는 사용자와 무인 항공기 3대를 이에 따라 배치하는 환경을 설정하고, 초기 무인 항공기 3대의 위치는 [250m X 250m] 구역의 임의의 위치에 배치된다. The experimental design for confirming the performance of the batch device of the present invention is as follows. The experiment sets up an environment in which 30 users with different communication requirements and 3 drones are deployed accordingly, and the positions of the initial three drones are placed at random locations in the [250m X 250m] area.

무인 항공기의 고도는 통신을 용이하게 하는 최적의 위치는 200m 위치에 있다고 설정한다. 실험은 30명의 서로 다른 통신 요구량을 가진 사용자의 통신 처리량을 최대화하기 위해 군집화 알고리즘 모델부에서 활용하는 군집화 알고리즘을 변경하면서 그 결과를 확인한다. The altitude of the unmanned aerial vehicle is set to be at a position of 200 m, the optimal position to facilitate communication. The experiment confirms the result while changing the clustering algorithm used in the clustering algorithm model part to maximize the communication throughput of 30 users with different communication requirements.

이에 도 7의 (A)는 군집화 알고리즘 모델부에서 사용자 통신 요구량을 고려하지 않은 일반적인 K-means 알고리즘을 활용하여, 무인 항공기를 배치한 결과를 나타낸다. 도 7의 (A)에서 User B와 User C가 임의의 지역에 모여 있어, 해당 지역에 통신 요구량이 매우 높은 상황이 발생됨을 확인할 수 있다. 사용자의 통신 요구량을 고려하지 않은 일반적인 K-means 알고리즘을 활용한 경우, 통신 요구량이 매우 높은 지역에 배치된 무인 항공기는 Drone B 1대만인 것을 확인할 수 있다. Accordingly, FIG. 7(A) shows the result of deploying the unmanned aerial vehicle by using the general K-means algorithm that does not consider the user communication requirement in the clustering algorithm model unit. In (A) of FIG. 7 , it can be confirmed that User B and User C are gathered in an arbitrary area, and thus a situation in which the communication demand is very high in the corresponding area occurs. If a general K-means algorithm that does not consider the user's communication requirements is used, it can be confirmed that only one Drone B drone is deployed in an area with a very high communication demand.

반면에 도 7의 (B)의 경우는 사용자의 서로 다른 통신 요구량을 고려한 수정된 K-means 알고리즘을 활용하여 무인 항공기를 배치한 결과를 나타낸다. 도 7의 (B)의 경우에는 사용자의 통신 요구량이 높은 지역에 무인 항공기 Drone B 와 C 2대가 배치됨을 확인할 수 있다. 나아가 도 7의 (C)를 참조하면, Drone B의 통신 처리량을 확인할 수 있다. 사용자의 통신 요구량을 고려하지 않은 경우의 Drone B의 통신 처리량은 약 111Mbps에 해당하나, 본 발명의 사용자의 통신 요구량을 고려한 경우는 Drone B의 통신 처리량은 약 153Mbps임을 확인할 수 있다. 이는 임의의 지역에서 사용자 통신 요구량이 급증하는 경우 무인 항공기를 복수로 배치하여 통신 처리량을 분산하여 처리하는 것이 더 통신 처리량 측면에서 더 효과적임을 확인할 수 있는 실험 결과가 된다. On the other hand, the case of FIG. 7B shows the result of deploying the unmanned aerial vehicle using a modified K-means algorithm that considers users' different communication requirements. In the case of (B) of Figure 7, it can be seen that the two unmanned aerial vehicles Drone B and C are deployed in the area where the user's communication demand is high. Furthermore, referring to FIG. 7C , the communication throughput of Drone B can be checked. The communication throughput of Drone B when the user's communication requirements are not taken into account corresponds to about 111Mbps, but it can be confirmed that the communication throughput of Drone B is about 153Mbps when the user's communication requirements of the present invention are taken into consideration. This is an experimental result that can confirm that it is more effective in terms of communication throughput to distribute and process the communication throughput by distributing a plurality of unmanned aerial vehicles when the user communication demand increases rapidly in an arbitrary area.

도 8은 본 발명의 실시 예에 따른 통신 처리량 최대화를 위한 군집 무인 항공기 배치 장치의 성능을 확인하기 위한 실험 결과에 관한 도면이다. 8 is a diagram of an experimental result for confirming the performance of a swarm unmanned aerial vehicle deployment apparatus for maximizing communication throughput according to an embodiment of the present invention.

도 8을 참조하면 서로 다른 통신 요구량을 갖는 사용자가 임의의 위치로 배치된 경우를 Case A 부터 J까지로 설정한다. 이에 따라 본 발명의 수정된 K-means 알고리즘과 일반적인 K-means 알고리즘을 활용한 경우의 통신 처리량을 비교한다. Case C, D, F, G의 경우는 상대적으로 다른 Case 보다 사용자가 균등하게 분포된 경우에 해당되고, 이러한 경우에는 두가지 알고리즘 모두 비슷한 통신 처리량을 기록한다. 반면, Case A, B, E, H, I, J의 경우에는 수정된 K-means 알고리즘을 활용한 결과가 그러하지 않는 경우보다 통신 처리량이 높음을 확인할 수 있다. 나아가 본 발명의 수정된 K-means 알고리즘을 활용한 경우, Case A 부터 J까지 통신 처리량이 상대적으로 큰 변화없이 고르게 확인되었다. 이는 본 발명의 무인 항공기 배치 장치는 여러 가지 통신 환경의 변화에도 유연하게 대처할 수 있음을 확인할 수 있다. Referring to FIG. 8 , a case in which users having different communication requirements are arranged in arbitrary positions are set as Cases A to J. Accordingly, the communication throughput in the case of using the modified K-means algorithm of the present invention and the general K-means algorithm is compared. Cases C, D, F, and G correspond to cases in which users are more evenly distributed than in other cases, and in this case, both algorithms record similar communication throughput. On the other hand, in Cases A, B, E, H, I, and J, it can be seen that the result of using the modified K-means algorithm has higher communication throughput than the case where it is not. Furthermore, when the modified K-means algorithm of the present invention was used, the communication throughput from Cases A to J was uniformly confirmed without a relatively large change. It can be confirmed that the unmanned aerial vehicle deployment device of the present invention can flexibly cope with changes in various communication environments.

본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.Embodiments of the present invention disclosed in the present specification and drawings are merely provided for specific examples to easily explain the technical content of the present invention and help the understanding of the present invention, and are not intended to limit the scope of the present invention. It will be apparent to those of ordinary skill in the art to which the present invention pertains that other modifications based on the technical spirit of the present invention can be implemented in addition to the embodiments disclosed herein.

Claims (8)

사용자의 위치 정보 및 통신 요구량 정보를 수신하고 무인 항공기 배치 정보를 송신하는 통신 모듈부;
사용자의 위치 정보와 통신 요구량 정보를 저장하고 분석하는 사용자 정보부;
무인 항공기 통신 처리량을 포함하여 기본적인 무인 항공기 정보를 저장하는 무인 항공기 정보부;
상기 사용자의 위치 정보와 통신 요구량 정보를 기반으로 군집화 알고리즘을 통해 통신 처리량 최대화가 되는 위치를 계산하는 군집화 알고리즘 모델부; 를 포함하는
통신 처리량 최대화를 위한 무인 항공기 배치 장치.
a communication module unit for receiving the user's location information and communication demand information and transmitting the unmanned aerial vehicle deployment information;
a user information unit for storing and analyzing the user's location information and communication demand information;
an unmanned aerial vehicle information unit that stores basic unmanned aerial vehicle information, including unmanned aerial vehicle communication throughput;
a clustering algorithm model unit for calculating a location where communication throughput is maximized through a clustering algorithm based on the user's location information and communication demand information; containing
Unmanned aerial vehicle deployment device for maximizing communication throughput.
제 1항에 있어서,
상기 군집화 알고리즘 모델부는
상기 사용자의 통신 요구량에 크기에 따라 가중치를 부여하여 통신 처리량 최대화가 되는 위치를 계산하는 것을 특징으로 하는
통신 처리량 최대화를 위한 무인 항공기 배치 장치.
The method of claim 1,
The clustering algorithm model unit
A position at which communication throughput is maximized is calculated by assigning a weight according to the size of the communication demand of the user.
Unmanned aerial vehicle deployment device for maximizing communication throughput.
제 1항에 있어서,
통신 과부하된 임의의 무인 항공기 발생 시, 회피 알고리즘을 통하여 상기 통신 과부하된 임의의 무인 항공기를 제외한 무인 항공기를 재배치하는 과부하 예측 알고리즘 모델부를 더 포함하는
통신 처리량 최대화를 위한 무인 항공기 배치 장치.
The method of claim 1,
Further comprising an overload prediction algorithm model unit for relocating the unmanned aerial vehicle except for the communication overloaded arbitrary unmanned aerial vehicle through an avoidance algorithm when any unmanned aerial vehicle overloaded with communication occurs
Unmanned aerial vehicle deployment device for maximizing communication throughput.
제 3항에 있어서,
강화학습 알고리즘을 활용하여 통신 처리량 최대화가 되는 무인 항공기 배치 위치를 학습하는 배치 학습 모델부를 더 포함하는
통신 처리량 최대화를 위한 무인 항공기 배치 장치.
4. The method of claim 3,
Using a reinforcement learning algorithm, further comprising a batch learning model unit that learns the placement position of the unmanned aerial vehicle that maximizes communication throughput
Unmanned aerial vehicle deployment device for maximizing communication throughput.
사용자의 위치 정보를 확인하는 단계;
사용자의 통신 요구량을 확인하는 단계;
군집 알고리즘을 활용하여 통신 처리량이 최대화가 되는 각 군집의 중앙 노드를 계산하는 단계;
각 군집의 중앙 노드의 무인 항공기를 배치하는 단계; 를 포함하는
통신 처리량 최대화를 위한 무인 항공기 배치 방법.
checking the user's location information;
checking the user's communication requirements;
calculating a central node of each cluster for which communication throughput is maximized by using a clustering algorithm;
deploying the unmanned aerial vehicle of the central node of each cluster; containing
How to deploy drones to maximize communication throughput.
제 5항에 있어서,
상기 중앙 노드를 계산하는 단계는
상기 사용자의 통신 요구량에 크기에 따라 가중치를 부여하여 통신 처리량 최대화가 되는 위치를 계산하는 것을 특징으로 하는
통신 처리량 최대화를 위한 무인 항공기 배치 방법.
6. The method of claim 5,
The step of calculating the central node is
A position at which communication throughput is maximized is calculated by assigning a weight according to the size of the communication demand of the user.
How to deploy drones to maximize communication throughput.
제 5항에 있어서,
통신 과부하된 임의의 무인 항공기 발생 시, 회피 알고리즘을 통하여 상기 통신 과부하된 임의의 무인 항공기를 제외한 무인 항공기를 재배치하는 단계를 더 포함하는
통신 처리량 최대화를 위한 무인 항공기 배치 방법.
6. The method of claim 5,
When any unmanned aerial vehicle overloaded with communication occurs, further comprising the step of relocating the unmanned aerial vehicle except for the communication overloaded arbitrary unmanned aerial vehicle through an avoidance algorithm
How to deploy drones to maximize communication throughput.
제 5항에 있어서,
통신 과부하된 임의의 무인 항공기 발생 시, 회피 알고리즘을 통하여 상기 통신 과부하된 임의의 무인 항공기를 제외한 무인 항공기를 재배치하는 단계를 더 포함하는
통신 처리량 최대화를 위한 무인 항공기 배치 방법.
6. The method of claim 5,
When any unmanned aerial vehicle overloaded with communication occurs, further comprising the step of relocating the unmanned aerial vehicle except for the communication overloaded arbitrary unmanned aerial vehicle through an avoidance algorithm
How to deploy drones to maximize communication throughput.
KR1020200106067A 2019-11-28 2020-08-24 Uav arrangement device and method based on machine learning for maximizing communication throughput KR102333864B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/003,454 US11470484B2 (en) 2019-11-28 2020-08-26 UAV arrangement device and method based on machine learning for maximizing communication throughput

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190155363 2019-11-28
KR20190155363 2019-11-28

Publications (3)

Publication Number Publication Date
KR20210066696A true KR20210066696A (en) 2021-06-07
KR102333864B1 KR102333864B1 (en) 2021-12-03
KR102333864B9 KR102333864B9 (en) 2022-12-05

Family

ID=76374574

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200106067A KR102333864B1 (en) 2019-11-28 2020-08-24 Uav arrangement device and method based on machine learning for maximizing communication throughput

Country Status (1)

Country Link
KR (1) KR102333864B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114039652A (en) * 2021-11-24 2022-02-11 西北大学 Millimeter wave anti-blocking multi-unmanned aerial vehicle deployment method based on building geometric analysis

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160106998A (en) * 2015-03-03 2016-09-13 한국전자통신연구원 Method for Emergency Supply of Mobile Telecommunication using Dron
KR20170000556A (en) * 2015-06-24 2017-01-03 이화여자대학교 산학협력단 Uav allocating method for wireless communication in region of interest and network reconstructing method using uav
KR101713241B1 (en) * 2015-06-22 2017-03-09 광운대학교 산학협력단 E-NodeB locating method and apparatus
KR20180056326A (en) * 2016-11-18 2018-05-28 주식회사 승우 System for communication service using UAV

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160106998A (en) * 2015-03-03 2016-09-13 한국전자통신연구원 Method for Emergency Supply of Mobile Telecommunication using Dron
KR101713241B1 (en) * 2015-06-22 2017-03-09 광운대학교 산학협력단 E-NodeB locating method and apparatus
KR20170000556A (en) * 2015-06-24 2017-01-03 이화여자대학교 산학협력단 Uav allocating method for wireless communication in region of interest and network reconstructing method using uav
KR20180056326A (en) * 2016-11-18 2018-05-28 주식회사 승우 System for communication service using UAV

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Boris Galkin 외 2인, Deployment of UAV-mounted access points according to spatial user locations in two-tier cellular networks, 2016 Wireless Days, IEEE (2016.03.25) 1부.* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114039652A (en) * 2021-11-24 2022-02-11 西北大学 Millimeter wave anti-blocking multi-unmanned aerial vehicle deployment method based on building geometric analysis
CN114039652B (en) * 2021-11-24 2024-03-08 西北大学 Millimeter wave anti-blocking multi-unmanned aerial vehicle deployment method based on building geometric analysis

Also Published As

Publication number Publication date
KR102333864B1 (en) 2021-12-03
KR102333864B9 (en) 2022-12-05

Similar Documents

Publication Publication Date Title
Yang et al. Proactive drone-cell deployment: Overload relief for a cellular network under flash crowd traffic
US10939408B2 (en) Method and system for positioning low altitude platform station (LAPS) drone cells
US10992396B1 (en) Systems and methods for mapping resource blocks to network slices
Chakraborty et al. SkyRAN: a self-organizing LTE RAN in the sky
Parvaresh et al. A tutorial on AI-powered 3D deployment of drone base stations: State of the art, applications and challenges
KR101946730B1 (en) LOCATION DETERMINING METHOD FOR SINK NODE COLLECTING SENSING DATA FROM IoT DEVICE
Sawalmeh et al. Providing wireless coverage in massively crowded events using UAVs
Nait-Abdesselam et al. Towards enabling unmanned aerial vehicles as a service for heterogeneous applications
Sun et al. Location optimization for unmanned aerial vehicles assisted mobile networks
CN112702713A (en) Low-altitude unmanned-machine communication deployment method under multi-constraint condition
Singh et al. Placement of mmWave base stations for serving urban drone corridors
Tafintsev et al. Reinforcement learning for improved UAV-based integrated access and backhaul operation
KR102333864B1 (en) Uav arrangement device and method based on machine learning for maximizing communication throughput
Bozkaya et al. SDN-enabled deployment and path planning of aerial base stations
CN104412647A (en) Systems and methods for clustering optimization to help resolve boundary problems in communication systems
Bouzid et al. 5G network slicing with unmanned aerial vehicles: Taxonomy, survey, and future directions
Montero et al. Proactive radio-and QoS-aware UAV as BS deployment to improve cellular operations
Islambouli et al. Autonomous 3D deployment of aerial base stations in wireless networks with user mobility
US11470484B2 (en) UAV arrangement device and method based on machine learning for maximizing communication throughput
Li et al. Performance analysis of the access link of drone base station networks with LoS/NLoS transmissions
Arribas et al. Optimizing fairness in cellular networks with mobile drone relays
Dubey et al. Evolving dynamically reconfiguring uav-hosted mesh networks
Cardoso et al. Novel multilayered cellular automata for flying cells positioning on 5g cellular self-organising networks
Ma et al. Time efficient joint UAV-BS deployment and user association based on machine learning
AlSheyab et al. Interference minimization algorithms for fifth generation and beyond systems

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]