KR20210066732A - 강화학습 기반 통신 음영 지역 해소를 위한 무인 항공기 자동 배치 장치 및 방법 - Google Patents

강화학습 기반 통신 음영 지역 해소를 위한 무인 항공기 자동 배치 장치 및 방법 Download PDF

Info

Publication number
KR20210066732A
KR20210066732A KR1020200160599A KR20200160599A KR20210066732A KR 20210066732 A KR20210066732 A KR 20210066732A KR 1020200160599 A KR1020200160599 A KR 1020200160599A KR 20200160599 A KR20200160599 A KR 20200160599A KR 20210066732 A KR20210066732 A KR 20210066732A
Authority
KR
South Korea
Prior art keywords
unmanned aerial
aerial vehicle
communication
shadow area
communication shadow
Prior art date
Application number
KR1020200160599A
Other languages
English (en)
Other versions
KR102425847B9 (ko
KR102425847B1 (ko
Inventor
홍충선
이민경
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Publication of KR20210066732A publication Critical patent/KR20210066732A/ko
Application granted granted Critical
Publication of KR102425847B1 publication Critical patent/KR102425847B1/ko
Publication of KR102425847B9 publication Critical patent/KR102425847B9/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/18—Network planning tools
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/04—Arrangements for maintaining operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/04—Large scale networks; Deep hierarchical networks
    • H04W84/06—Airborne or Satellite Networks

Abstract

본 발명의 실시 예에 따른 통신 음영 지역 해소를 위한 무인 항공기 자동 배치 장치는 무인 항공기에 탑재되어 무인 항공기 간의 통신 및 중앙 기지국과 통신하는 기능을 수행하는 에지 컴퓨팅 모델을 포함하고, 에지 컴퓨팅 모델은 통신 음영 지역을 감지하는 통신 음영 지역 관리부와 외부 환경 변화를 감지하는 외부 환경 변화 관리부를 포함하는 외부 자원 관리 모듈, 강화학습 알고리즘을 활용하여 통신 음영 지역에 대한 통신 단절을 해소하기 위해 무인 항공기를 배치 위치를 계산하는 내부 자원 관리 모듈을 포함한다.
본 발명의 실시 예에 따른 통신 음영 지역 해소를 위한 무인 항공기 자동 배치 방법은 무인 항공기에 탑재된 에지 컴퓨팅 모델에서 무인 항공기간 통신 거리 최적 여부를 판단하는 단계, 무인 항공기 잔여 배터리를 판단하는 단계, 외부 환경 변화 여부를 판단하는 단계, 및 무인 항공기 추가 여부를 판단하는 단계를 포함한다.

Description

강화학습 기반 통신 음영 지역 해소를 위한 무인 항공기 자동 배치 장치 및 방법{APPARATUS AND METHOD FOR AUTOMATIC ARRANGEMENT OF UNMANNED AERIAL VEHICLES USING REINFORCEMENT LEARNING}
본 발명은 통신 음영 지역 해소를 위한 무인 항공기 자동 배치 장치에 관한 것으로서, 보다 구체적으로는 강화학습 알고리즘 모델을 활용하여 통신 음영 지역 해소 및 급격한 외부 환경 변화에 대응하여 통신이 가능한 최적화된 무인 항공기 자동 배치 장치에 관한 것이다.
최근 자율주행 자동차, 스마트 공장에서 이동하는 자율 이동 기기들의 지속적인 개발이 이어지고 있다. 이러한 개발은 기지국 또는 릴레이 역할을 수행하는 드론과 같은 무인 항공기(Unmanned Aerial Vehicle)의 등장과 활용으로 이어지고 있다. 무인 항공기는 농업, 어업과 같은 1차 산업과 운송, 유통 등의 2차 산업 등 산업 전반에 걸쳐 지대한 영향력을 줄 수 있는 획기적인 개발품으로 평가받고 있다. 아울러 무인 항공기는 통신업과 연계되어 통신 음영 지역에서 발생 가능한 통신 지연 및 통신 단절을 해결할 수 있는 주요한 기술로 활용될 것으로 전망된다. 즉 추가적인 기지국 설치가 없이도 무인 항공기가 기지국 또는 릴레이 역할을 수행하여 통신 지연 및 단절을 해소할 수 있다.
그러나, 무인 항공기가 통신 음영 지역에서 통신 지연 및 통신 단절을 해결하기 위해서는 무인 항공기의 외부 제어기와 이를 감독할 인력이 필요하며, 이는 부가적인 비용과 시간의 발생을 야기시킨다. 또한, 사람이 쉽게 예견할 수 없는 자연적 재해와 같은 외부 환경적 변화와 비상 상황 등으로 인한 무인 항공기의 통제가 원천적으로 불가능한 한계가 존재한다. 아울러, 무인 항공기의 짧은 배터리 용량의 한계도 무인 항공기의 역할을 수행하기에 작지 않은 장애물이 되고 있다.
따라서, 이러한 문제점을 해결하기 위해 통신 음영 지역 해소를 위한 복수의 무인 항공기를 자동 배치하는 방법에 대한 연구가 진행되고 있다.
본 발명은 전술한 문제점을 해결하기 위한 것으로서, 강화학습 알고리즘을 기반으로 통신 음영 지역 해소를 위한 무인 항공기를 자동으로 배치하는 장치를 제공하는 것을 목적으로 한다.
본 발명은 통신 지연 시간을 최소로 하기 위해 강화학습 알고리즘을 활용하는 무인 항공기 자동 배치 장치를 제공하는 것을 목적으로 한다.
본 발명은 배치되는 무인 항공기의 수를 최소로 하기 위해 강화학습 알고리즘을 활용하는 무인 항공기 자동 배치 장치를 제공하는 것을 목적으로 한다.
본 발명은 무인 항공기의 통신 커버리지를 최대로 하기 위해 강화학습 알고리즘을 활용하는 무인 항공기 자동 배치 장치를 제공하는 것을 목적으로 한다.
본 발명은 통신 트래픽이 급증하는 비상환경 및 급격한 외부 환경적 변화에 대응할 수 있는 통신 네트워크 장치를 제공하는 것을 목적으로 한다.
본 발명은 무인 항공기의 잔여 배터리, 무인 항공기간 통신 가능 거리, 비행 가능 거리 등 여러 변수를 고려하여 통신 음영 지역 해소를 위한 최적의 무인 항공기 배치 방법을 제공하는 것을 목적으로 한다.
본 발명의 실시 예에 따른 통신 음영 지역 해소를 위한 무인 항공기 자동 배치 장치는 무인 항공기에 탑재되어 무인 항공기 간의 통신 및 중앙 기지국과 통신하는 기능을 수행하는 에지 컴퓨팅 모델을 포함하고, 에지 컴퓨팅 모델은 통신 음영 지역을 감지하는 통신 음영 지역 관리부와 외부 환경 변화를 감지하는 외부 환경 변화 관리부를 포함하는 외부 자원 관리 모듈, 강화학습 알고리즘을 활용하여 통신 음영 지역에 대한 통신 단절을 해소하기 위해 무인 항공기를 배치 위치를 계산하는 내부 자원 관리 모듈을 포함한다.
본 발명의 실시 예에 따른 통신 음영 지역 해소를 위한 무인 항공기 자동 배치 방법은 무인 항공기에 탑재된 에지 컴퓨팅 모델에서 무인 항공기간 통신 거리 최적 여부를 판단하는 단계, 무인 항공기 잔여 배터리를 판단하는 단계, 외부 환경 변화 여부를 판단하는 단계, 및 무인 항공기 추가 여부를 판단하는 단계를 포함한다.
본 발명의 실시 예를 따르면, 무인 항공기 배치에 관한 외부 원격 제어 관리 감독 비용 및 기지국 중축 비용을 절감할 수 있다.
본 발명의 실시 예를 따르면, 통신 트래픽이 급증하는 지역, 시간대에 무인 항공기를 이용하여 통신 단절을 해소할 수 있다.
본 발명의 실시 예를 따르면, 무인 항공기 배치 이후 배터리 잔여량, 상태 정보 등을 고려하여 자동으로 교체 및 추가 무인 항공기를 추가할 수 있다.
본 발명의 실시 예를 따르면, 무인 항공기를 통해 네트워크 효율성을 향상시키고, 무인 항공기 원격 제어기 설치 및 유지에 필요한 비용이 감소되는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 통신 음영 지역 해소를 위한 무인 항공기 배치 도면이다.
도 2은 본 발명의 실시 예에 따른 통신 음영 지역 해소를 위한 무인 항공기 에지 컴퓨팅 모델 블록도이다.
도 3은 본 발명의 실시 예에 따른 강화학습 알고리즘을 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따른 통신 음영 지역 해소를 위한 무인 항공기 자동 배치 방법에 관한 순서도이다.
도 5은 본 발명의 실시 예에 따른 무인 항공기 자동 배치 장치의 성능 평가 실험 환경 및 결과를 설명하기 위한 도면이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요 하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.
도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.
본 명세서에서 사용되는 용어는 단지 특정 예시적 실시 예들을 설명할 목적을 가지고 있으며 한정할 의도로 사용되는 것이 아니다. 본 명세서에서 사용된 바와 같은 단수적 표현들은 또한, 해당 문장에서 명확하게 달리 표시하지 않는 한, 복수의 의미를 포함하도록 의도될 수 있다. 용어 "및/또는," "그리고/또는"은 그 관련되어 나열되는 항목들의 모든 조합들 및 어느 하나를 포함한다. 용어 "포함한다", "포함하는", "포함하고 있는", "구비하는", "갖는", "가지고 있는" 등은 내포적 의미를 갖는 바, 이에 따라 이러한 용어들은 그 기재된 특징, 정수, 단계, 동작, 요소, 및/또는 컴포넌트를 특정하며, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹의 존재 혹은 추가를 배제하지 않는다. 본 명세서에서 설명되는 방법의 단계들, 프로세스들, 동작들은, 체적으로 그 수행 순서가 확정되는 경우가 아니라면, 이들의 수행을 논의된 혹은 예시된 그러한 특정 순서로 반드시 해야 하는 것으로 해석돼서는 안 된다. 추가적인 혹은 대안적인 단계들이 사용될 수 있음을 또한 이해해야 한다.
또한, 각각의 구성요소는 각각 하드웨어 프로세서로 구현될 수 있고, 위 구성요소들이 통합되어 하나의 하드웨어 프로세서로 구현될 수 있으며, 또는 위 구성요소들이 서로 조합되어 복수 개의 하드웨어 프로세서로 구현될 수도 있다. 아울러 본 명세서에서 “무인 항공기”는 드론을 포함한 조종사가 탑승하지 않고 지정된 임무를 수행할 수 있도록 제작한 비행체로서 독립된 체계를 갖는 것을 말하며 한정되어 해석되지 아니한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 통신 음영 지역 해소를 위한 무인 항공기 배치 도면이다. 도 1을 참조하면, 다수의 무인 항공기로 구성된 군집 무인 항공기 각각이 통신 음영 지역 발생시 배치된 것을 확인할 수 있다. 복수의 무인 항공기는 인공 위성(90)으로 부터 통신 음영 지역과 지상 중앙 기지국(100) 간의 최초 거리를 수신한 후, 외부 환경 및 상황의 변화에 따라 통신 음영 지역에 통신 음영을 해소하기 위해 자동으로 배치될 수 있다.
본 발명의 실시 예에 따르면 자연 재해나 무인 항공기 추가 또는 교체가 요구되는 경우 무인 항공기 중 리더 무인 항공기가 무인 항공기 추가를 기지국에 요청하거나 교체 대상 무인 항공기가 직접 교체 신호를 보낼 수 있다. 교체되는 과정은 복수의 무인 항공기 각각의 탑재된 에지 컴퓨팅 모델에서 강화학습 기반의 훈련을 통해 이루어진다. 이에 최초 군집 무인 항공기가 배치된 이후 외부 기지국의 도움없이 상황에 따라 자동으로 무인 항공기가 배치될 수 있다.
도 1을 참조하면, 중앙 기지국(100)에서 통신 네트워크 시스템을 관리한다. 중앙 기지국(100)의 통신 네트워크에서 통신 트래픽이 급증하는 통신 음영 지역(140)이 발생할 수 있다. 예를 들어, 통신 음영 지역(140)은 대규모 공연으로 인한 순간적인 많은 인파가 모이거나 대규모 집회 등으로 인한 통신 트래픽이 급증하는 지역일 수 있다. 또는 물리적인 환경으로 인해 통신이 활발하지 않은 지역일 수도 있다. 또한, 통신 음영 지역(140)은 자율 주행 자동차의 발전으로 인해, 교통 트래픽이 몰리는 곳일 수 있다. 통신 음영 지역(140)은 순간적인 통신 트래픽으로 인해 통신 속도가 현저히 저하된 지역일 수 있다. 통신 속도가 현저히 저하된 것은 임의의 지역의 임의의 기간 동안의 통신 평균 속도보다 저하되거나, 임의의 지역의 통신 속도가 또다른 임의의 지역의 통신 속도와 비교할 때, 그 속도가 현저히 낮은 것일 수 있다.
통신 음영 지역(140)의 통신 단절을 해소하기 위해 무인 항공기가 기지국 또는 릴레이 역할을 수행하여 통신 단절을 해결할 수 있다. 도 1의 무인 항공기(110), (120), (130)은 인공 위성(90)으로부터 중앙 기지국(100)으로부터 통신 음영 지역(140)의 위치 정보를 GPS 신호를 통해 수신할 수 있다. 수신 후 복수의 무인 항공기(110), (120), (130)은 중앙 기지국(100)과 통신 음영 지역(140) 간의 거리를 계산할 수 있다. 또는 인공 위성(90)은 위치 정보를 중앙 기지국(100)으로 송신하고, 중앙 기지국(100)이 위치 정보를 무인 항공기(110)에 송신할 수도 있다.
무인 항공기(110)은 통신 음영 지역(140)의 통신 단절을 해소하기 위해 통신 신호를 송신할 수 있다. 무인 항공기(120)은 통신 신호를 전달하는 릴레이 역할을 수행할 수 있다. 무인 항공기(120)은 적어도 하나 이상의 무인 항공기로 이루어질 수 있다. 무인 항공기(130)은 통신 음영 지역을 해소할 수 있는 이동 기지국의 역할을 수행할 수 있다.
무인 항공기(130)은 적어도 하나 이상의 무인 항공기로 이루어질 수 있다. 무인 항공기(110), (120), (130)은 각각 에지 컴퓨팅 모델을 탑재할 수 있다.
복수의 무인 항공기는 외부 환경 및 상황의 변화에 따라 강화학습을 기반으로 하여 최적의 거리를 조정 및 유지하면서 배치될 수 있다. 복수의 무인 항공기가 강화학습을 기반으로 최적의 배치를 하기위해 무인 항공기 각각의 탑재된 에지 컴퓨팅 모델에서 최적의 배치 위치를 계산할 수 있다. 이하에서는 도 2를 참조하여 본 발명의 무인 항공기에 탑재되는 에지 컴퓨팅 모델에 관한 설명을 하도록 한다.
도 2은 본 발명의 실시 예에 따른 통신 음영 지역 해소를 위한 무인 항공기 에지 컴퓨팅 모델 블록도이다.
도 2의 무인 항공기 에지 컴퓨팅 모델(200)은 무인 항공기에 탑재될 수 있다. 에지 컴퓨팅 모델(200)은 무인 항공기에 통신 기지국 또는 릴레이 기능을 수행할 수 있게 한다. 에지 컴퓨팅 모델(200)은 외부 자원을 관리하는 외부 자원 관리 모듈(210)과 무인 항공기의 내부 자원을 관리하는 내부 자원 관리 모듈(220)을 포함할 수 있다.
외부 자원 관리 모듈(220)은 통신 음영 지역 관리부(211)과 외부 환경 변화 관리부(212)를 더 포함할 수 있다. 통신 음영 지역 관리부(211)은 통신 가능 네트워크 지역에서 외부 요인에 의한 통신 지연 지역, 통신 단절 지역 등으로 변화하는 것을 감지하는 기능을 수행한다. 외부 요인은 짧은 시간 안에 급격한 인구 이동, 교외 지역의 급격한 개발로 인한 통신 트래픽의 증가 등이 있을 수 있다. 통신 음영 지역 관리부(211)은 중앙 기지국으로부터 통신 음영 지역에 대한 데이터를 수신 받고, 저장할 수 있다.
통신 음영 지역 관리부(211)은 통신 음영 지역에 관한 데이터를 분석할 수 있다. 예를 들어, 통신 음영 지역 관리부(211)은 통신 음영 지역에 관한 데이터를 분석하여 통신 지연, 단절이 되는 빈도수가 상대적으로 높은 지역에 관한 데이터를 도출할 수 있다. 통신 음영 지역 관리부(211)은 통신 지연, 단절이 상대적으로 높은 지역을 집중 관리 지역으로 선정하고, 선정된 집중 관리 지역은 임의의 기간을 정해 정기적으로 통신 단절 여부를 감지할 수 있다. 통신 음영 지역 관리부(211)은 통신 지연 및 단절 발생 빈도수를 하나의 지수로 정의하고, 수치화 할 수 있다. 발생 빈도수가 높은 곳은 높은 지수값을 갖고, 내부 자원 관리 모듈(211)은 이러한 지수값을 하나의 파라미터로 하여 무인 항공기 배치 판단에 고려할 수 있다.
통신 음영 지역 관리부(211)은 통신 단절 지역을 확인한 경우, 통신 음영 지역에 관한 정보를 내부 자원 관리 모듈(220)으로 송신할 수 있다. 내부 자원 관리 모듈(220)은 통신 음영 지역에 관한 정보를 분석하여 최적의 무인 항공기 배치를 결정할 수 있다. 이러한 정보는 통신 음영 지역의 GPS 정보 및 발생 빈도수 지수값에 관한 정보를 포함할 수 있다.
외부 환경 변화 관리부(212)는 통신 음영 지역에 외부 물리적 변화가 여부를 감지할 수 있다. 또는 외부 환경 변화 관리부(212)는 중앙 기지국으로부터 통신 음영 지역에 대한 외부 물리적 변화 데이터를 수신할 수 있다. 외부 물리적 변화 데이터는 통신 음영 지역에 대한 것으로 국한되지 아니하고, 무인 항공기의 통신 커버리지 내에 모든 지역일 수 있다. 외부 물리적 변화는 예컨대, 산사태, 폭우, 태풍과 같은 자연재해를 포함하고 한정되어 해석되지 아니한다.
외부 환경 변화 관리부(212)는 외부 물리적 변화에 관한 정보를 수집하고 분석할 수 있다. 예를 들어, 외부 환경 변화 관리부(212)는 외부 물리적 변화 발생의 빈도수가 상대적으로 높은 곳을 집중 변화 지역으로 선정하고, 임의의 기간을 정해 정기적으로 외부 환경 변화 여부를 감지할 수 있다. 외부 환경 변화 감지부(212)는 외부 물리적 변화로 인한 무인 항공기 유실 가능성을 하나의 지수로 정의하고, 정량적으로 수치화 하여 계산할 수 있다. 예를 들어, 무인 항공기 배치 이후 임의의 무인 항공기가 배치된 지역이 외부 물리적 변화의 발생 빈도수가 상대적으로 높은 집중 변화 지역인 경우, 또는 집중 변화 지역의 반경 범위내에 있는 경우, 배치된 임의의 무인 항공기의 유실 가능성은 높아질 수 있다. 무인 항공기의 유실 가능성 지수는 집중 변화 지역을 기점으로 거리에 따라 계산될 수 있다.
외부 환경 변화 관리부(212)은 외부 물리적 변화가 감지된 경우, 외부 환경 변화에 관한 정보를 내부 자원 관리 모듈(220)으로 송신할 수 있다. 내부 자원 관리 모듈(220)은 외부 환경 변화에 관한 정보를 분석하여 최적의 무인 항공기 배치를 결정할 수 있다. 이러한 정보는 집중 변화 지역 GPS 정보 및 무인 항공기 유실 가능성 지수를 포함할 수 있다.
에지 컴퓨팅 모델(200)은 통신 음영 지역 해소를 위한 무인 항공기 최적의 배치를 판단하기 위해 무인 항공기 배치위치를 계산하는 기능을 하는 내부 자원 관리 모듈(220)을 포함할 수 있다. 내부 자원 관리 모듈(220)은 무인 항공기의 운행 가능한 잔여 배터리를 관리하는 배터리 관리부(222), 잔여 배터리에 따라서 무인 항공기의 교체 및 배치 이후 배터리 소모에 따른 무인 항공기 교체 신호를 관리하는 교체 관리부(223), 무인 항공기와 중앙 기지국간의 통신 및 무인 항공기간 통신을 관리하는 통신 관리부(224), 무인 항공기의 통신 음영 지역 해소를 위한 최적의 배치를 판단하는 비행 관리 시스템부(221)을 포함한다.
배터리 관리부(222)는 무인 항공기의 배터리 정보를 저장 및 분석할 수 있다. 배터리 정보는 잔여 배터리 양, 잔여 배터리로 운행 가능한 거리 등을 포함할 수 있다. 또한, 배터리 관리부(222)는 무인 항공기의 배터리 양이 임의의 값이 이하로 떨어지는 경우, 자동으로 무인 항공기의 운행의 최소한의 배터리 양을 사용하여 잔여 배터리 양을 조절할 수 있다. 배터리 관리부(222)는 무인 항공기의 배터리 정보를 교체 관리부(222)로 송신할 수 있다. 예를 들어, 잔여 배터리 양이 총 배터리 양의 30% 이하로 남아 있을 경우, 교체 신호 정보를 교체 관리부(222)로 송신할 수 있다.
교체 관리부(223)은 무인 항공기 배터리 정보를 기반으로 무인 항공기 교체 또는 추가를 관리할 수 있다. 교체 관리부(223)은 배터리 관리부(222)에서 수신한 교체 신호 정보를 송신할 수 있다. 교체 신호 정보에 따라 무인 항공기는 교체 신호를 송신할 수 있다. 교체 신호는 교체가 필요한 무인 항공기가 군집의 리더 무인 항공기로 송신하거나 교체가 필요한 무인 항공기가 직접 교체 신호를 송신할 수도 있다.
본 발명의 일 실시예에 따르면 교체 관리부(223)은 무인 항공기간의 통신 지연 정보 및 무인 항공기와 중앙 기지국간의 통신 지연 정보를 기반으로 무인 항공기 추가 또는 교체를 관리할 수도 있다.
통신 관리부(224)는 무인 항공기 간의 통신 지연 정도 및 외부 통신 음영 지역과의 통신 지연 정도 정보를 저장하고, 이를 비행관리 시스템부(221)로 송신할 수 있다. 통신 관리부(224)는 저장된 통신 지연 정도 정보를 분석할 수 있다.
비행 관리 시스템부(221)은 강화학습 알고리즘을 통해 무인 항공기 간 최적의 거리를 학습하여 최적의 거리를 산출할 수 있다.
본 발명의 실시 예에 따르면, 무인 항공기가 통신 음영 지역을 해소하기 위해 무인 항공기간 최적의 거리를 유지하면서 배치될 수 있다. 이를 위해, 무인 항공기 간의 통신모델을 고려하여, 통신 음영 지역 해소를 위한 통신 지원을 하는 무인 항공기간 최적의 거리를 구할 수 있다. 이하 수학식을 활용하여 무인 항공기간 통신 모델을 설명하고, 이에 따른 무인 항공기간 최적의 거리를 구하고자 하기에 필요한 결과값을 도출하는 수식을 설명한다.
Figure pat00001
수학식 (1) 은 Air-To-Ground 채널 모델로 Line-of-Sight(LoS)를 고려한 값이다. 이 때
Figure pat00002
값을 토대로 수학식 (1)을 통해, NLoS의 값을 구할 수 이따. NLoS는 장애물로 회절 또는 반사되어 전파되는 비직진파를 의미한다.
Figure pat00003
는 통신 간에 장애물이 있을 확률이다.
Figure pat00004
는 통신 간에 장애물이 없을 확률이다. 본 발명에서 장애물로 인해 회절 또는 반사되어 통신 저지연이 발생하는 경우에 한하여 통신지원을 하는 무인 항공기 군집의 최적 거리를 구하고자 하는 것인 바,
Figure pat00005
값을 산출하여야 한다. 수학식 (1)에서
Figure pat00006
는 수평방향에서 어느정도의 각도에 있는지 앙각을 나타내고,
Figure pat00007
는 설정 환경에 따라 변하는 상수값이며,
Figure pat00008
이진함수의 할인계수에 해당된다.
본 발명의 비행관리 시스템부(221)에서 활용하는 강화학습 알고리즘은 통신 음영 지역 해소를 위한 무인 항공기간 최적의 거리를 학습하기 위한 것으로서, 보다 상세한 설명은 도 3를 활용하여 설명하도록 한다.
도 3은 본 발명의 실시 예에 따른 강화학습 알고리즘을 설명하기 위한 도면이다.
강화학습 알고리즘은 주어진 환경에서 설정된 행동들을 반복하면서 보상을 많이 받는 방향으로 파라미터를 수정하며 자동으로 학습하는 기계학습 알고리즘을 말한다. 강화학습 알고리즘은 주어진 환경, 행동, 행동에 대한 보상 3가지를 포함한다. 강화학습 알고리즘에는 여러가지가 존재하며 크게 Value-based와 Policy-based로 분류할 수 있다. Policy-based 중 가장 대표적인 것은 Trust Region Policy Optimization(TRPO), Proximal Policy Optimization(PPO)이 있다. 본 발명은 통신 음영 지역 해소를 위한 무인 항공기 배치에 관련해서 Actor Critic 모델을 활용한다.
도 3을 참조하면, 강화학습 알고리즘에 관한 주어진 환경은 두 가지 요소를 포함할 수 있다. 하나는 무인 항공기의 위치
Figure pat00009
, 또 다른 하나는 무인 항공기간의 거리인
Figure pat00010
가 된다. 2가지 요소를 포함하여
Figure pat00011
로 구성되고, 본 강화학습 알고리즘의 환경은
Figure pat00012
로 정의 될 수 있다. 여기서
Figure pat00013
는 무인 항공기를 뜻하고,
Figure pat00014
강화학습을 수행하는 시간을 뜻한다.
강화학습 알고리즘에 관한 행동은 무인 항공기간의 최적의 거리를 찾는 것을 말한다. 따라서 무인 항공기 항동은
Figure pat00015
으로 정의할 수 있다. 강화학습 알고리즘에 관한 보상은 무인 항공기의 행동에 대한 통신 지연 시간의 변화로 설정할 수 있다. 이 때, 통신 지연 시간이 최소가 된다고 해서 반드시 최적의 무인 항공기 배치가 된다고 볼 수 없다. 즉 무인 항공기 전체의 통신 지연 시간이 최소가 되게 계산되어야 한다.
Figure pat00016
Figure pat00017
수학식 (2)는 상술한 강화학습 알고리즘의 주어진 환경, 행동, 보상을 기반으로 최적의 무인 항공기 배치 위치를 찾기 위한 Gradient descent 방식으로 가중치를 업데이트 하는 식이다.
수학식 (3)을 통해 본 발명의 강화학습 알고리즘의 행동 value의 가중치를 업데이트 하고 이를 통해 강화학습 알고리즘의 환경 값을 업데이트 하여 학습과정을 반복할 수 있다. 수학식 (2)와 (3)에서
Figure pat00018
는 수평방향에서 어느정도의 각도에 있는지 앙각을 나타내고,
Figure pat00019
는 설정 환경에 따라 변하는 상수값이며,
Figure pat00020
이진함수의 할인계수에 해당된다.
도 4는 본 발명의 실시 예에 따른 통신 음영 지역 해소를 위한 무인 항공기 자동 배치 방법에 관한 순서도이다.
도 4를 참조하면, 통신 음영 지역 해소를 위한 무인 항공기 자동배치 방법은 에지 컴퓨팅 모델에서 무인 항공기간 통신 거리 최적화 여부를 판단하는 단계(S101), 최적화 여부에 따라 최적화 되지 않은 경우, 무인 항공기간 통신 거리 최적화를 계산(S102) 하는 단계를 더 포함하고, 최적화된 경우, 무인 항공기의 잔여 배터리를 판단하는 단계(S103), 잔여 배터리가 임의의 값 이하인 경우 무인 항공기를 교체하는 신호를 송신하는 단계(S104)를 포함하고, 잔여 배터리가 임의의 값 이상인 경우, 외부 환경 변화 여부를 판단하는 단계(S105)를 포함할 수 있다.
외부 환경 변화가 없는 경우, 종료하고, 외부 환경 변화가 있는 경우, 통신 단절 지역 파악 및 외부 환경 변화를 분석하는 단계(S106)를 포함하고, 통신 단절 시간이 임의의 값 이상에 해당되어 통신 단절을 해소하기 위해 추가 무인 항공기 배치 여부를 판단하는 단계(S107)를 포함할 수 있다.
통신 단절 시간이 임의의 값 이상인 경우, 무인 항공기 무인 항공기를 추가하는 신호를 송신하는 단계(S108)를 포함할 수 있다. 상기 통신 음영 지역 해소를 위한 무인 항공기 자동 배치 방법에 대한 구체적인 실시 예에 의한 설명은 도 2, 3에서 전술한 통신 음영 지역 해소를 위한 무인 항공기 자동 배치 장치에 관한 설명과 중복되는 바 구체적인 실시 예에 대한 설명은 생략하기로 한다.
도 5은 본 발명의 실시 예에 따른 무인 항공기 자동 배치 장치의 성능 평가 실험 환경 및 결과를 설명하기 위한 도면이다.
본 발명의 통신 음영 지역 해소를 위한 무인 항공기 배치 장치의 성능을 확인하기 위해서 무인 항공기 간의 거리 대비 통신 지연 정도 측정한다. 실험 환경은 중앙 기지국에서 통신 음영 지역까지 최대 270km에 위치한다고 가정한다. 중앙 기지국은 좌표상 (0,0)에 위치한다고 설정한다. 또한, 무인 항공기의 배터리 및 수명 시간, 고장여부는 고려하지 아니하며 모든 무인 항공기는 동일 고도에 위치한다고 가정한다.
도 5의 (A)를 참조하면, 500번의 학습 훈련을 진행하여 배치된 무인 항공기 위치를 확인할 수 있다. (0,0)의 위치한 중앙 기지국 근처에는 기지국 커버리지에 의해 무인 항공기 분포의 간격이 넓은 것을 확인할 수 있다. 반면, 중앙 기지국의 커버리지가 벗어난 120km 이상부터는 무인 항공기의 분포의 간격이 좁아지며, 중앙 기지국으로부터 270km 떨어진 통신 음영 지역에 가까울수록 무인 항공기 분포 간격이 상대적으로 좁아짐을 확인할 수 있다.
도 5의 (B)를 참조하면, 무인 항공기 배치에 관해서 1000번의 학습 훈련을 통해 배치된 무인 항공기 분포도의 평균을 연결한 그래프이다. 이를 통해 통신 음영 지역에 이를수록 더 많은 무인 항공기의 배치가 요구됨을 알 수 있다.
도 5의 (C)는 통신 음영 지역까지 무인 항공기가 배치되는 분포도 대비 통신 지연시간 변화 그래프이다. 본 발명의 성능 평가시, 무인 항공기의 배터리, 통신 서비스를 요청하는 사용자 분포에 대한 변화를 고려하지 않았기 때문에, 통신 지연율 감소가 일정하지는 않으나 본 발명의 무인 항공기 배치 장치를 통해 통신 지연시간이 현저히 감소함을 확인할 수 있다.
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (6)

  1. 무인 항공기에 탑재되어 무인 항공기 간의 통신 및 중앙 기지국과 통신하는 기능을 수행하는 에지 컴퓨팅 모델;
    상기 에지 컴퓨팅 모델은
    통신 음영 지역을 감지하는 통신 음영 지역 관리부와 외부 환경 변화를 감지하는 외부 환경 변화 관리부를 포함하는 외부 자원 관리 모듈;
    강화학습 알고리즘을 활용하여 통신 음영 지역에 대한 통신 단절을 해소하기 위해 무인 항공기를 배치 위치를 계산하는 내부 자원 관리 모듈; 을 포함하고
    상기 에지 컴퓨팅 모델이 탑재된 통신 음영 지역 해소를 위한 무인 항공기 자동 배치 장치.
  2. 제 1항에 있어서, 상기 내부 자원 관리 모듈은
    무인 항공기의 비행 가능한 잔여 배터리를 관리하는 배터리 관리부;
    상기 배터리 관리부에서 잔여 배터리가 임의의 값 이하인 경우의 무인 항공기의 교체 신호 정보 또는 추가 요청 신호 정보를 관리하는 교체 관리부;
    기지국과 무인 항공기 간 통신 및 무인 항공기간 통신을 관리하는 통신 관리부;
    상기 외부 자원 관리 모듈에서 통신 음영 지역 감지 또는 외부 환경 변화 감지에 따라 무인 항공기의 비행을 관리하는 비행 관리 시스템부;
    를 포함하는 것을 특징으로 하는
    통신 음영 지역 해소를 위한 무인 항공기 자동 배치 장치.
  3. 제 2항에 있어서, 상기 비행 관리 시스템부는
    무인 항공기간의 위치 및 거리를 환경으로 하고, 무인 항공기가 위치를 이동하는 것을 행동으로 하며, 무인 항공기간의 통신 저지연 시간의 최소가 보상인 것을 특징으로 하는
    강화학습 알고리즘을 활용하여 무인 항공기를 배치하는
    통신 음영 지역 해소를 위한 무인 항공기 자동 배치 장치.
  4. 제 1항에 있어서, 상기 통신 음영 지역 관리부는
    통신 단절되는 횟수에 따라 통신 음영 지역 중 집중 관리 지역을 선정하여 관리하는 것을 특징으로 하는
    통신 음영 지역 해소를 위한 무인 항공기 자동 배치 장치.
  5. 제 1항에 있어서, 상기 외부 환경 변화 관리부는
    외부 환경 변화의 횟수에 따라 외부 환경변화 지역 중 집중 변화 지역을 선정하여 관리하는 것을 특징으로 하는
    통신 음영 지역 해소를 위한 무인 항공기 자동 배치 장치.
  6. 무인 항공기에 탑재된 에지 컴퓨팅 모델에서
    무인 항공기간 통신 거리 최적 여부를 판단하는 단계;
    무인 항공기 잔여 배터리를 판단하는 단계;
    외부 환경 변화 여부를 판단하는 단계; 및
    무인 항공기 추가 여부를 판단하는 단계; 를 포함하는
    통신 음영 지역 해소를 위한 무인 항공기 자동 배치 방법.
KR1020200160599A 2019-11-28 2020-11-26 강화학습 기반 통신 음영 지역 해소를 위한 무인 항공기 자동 배치 장치 및 방법 KR102425847B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190155401 2019-11-28
KR1020190155401 2019-11-28

Publications (3)

Publication Number Publication Date
KR20210066732A true KR20210066732A (ko) 2021-06-07
KR102425847B1 KR102425847B1 (ko) 2022-07-28
KR102425847B9 KR102425847B9 (ko) 2022-12-05

Family

ID=76374463

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200160599A KR102425847B1 (ko) 2019-11-28 2020-11-26 강화학습 기반 통신 음영 지역 해소를 위한 무인 항공기 자동 배치 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102425847B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113932824A (zh) * 2021-09-27 2022-01-14 西安理工大学 一种基于边缘计算的电动汽车充电导航系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160126213A (ko) * 2015-04-23 2016-11-02 김득화 무선 환경 데이터 수집 비행체 및 시스템
KR20170030442A (ko) * 2015-09-09 2017-03-17 주식회사 케이티 드론 기지국과 드론 기지국 관리 방법 및 장치
KR20170116882A (ko) * 2016-04-12 2017-10-20 아주대학교산학협력단 이동통신 노드를 이용한 자율 네트워크 시스템 및 이의 운영 방법
KR101877243B1 (ko) * 2017-04-25 2018-07-11 한국과학기술원 강화학습 기반의 신경망을 이용한 ap 장치 클러스터링 방법 및 강화학습 기반의 신경망을 이용한 협력 통신 장치
KR20190073689A (ko) * 2017-12-19 2019-06-27 한화디펜스 주식회사 무인 장치를 활용한 무선통신 중계시스템 및 그 방법
JP2019169848A (ja) * 2018-03-23 2019-10-03 株式会社日立国際電気 無人飛行体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160126213A (ko) * 2015-04-23 2016-11-02 김득화 무선 환경 데이터 수집 비행체 및 시스템
KR20170030442A (ko) * 2015-09-09 2017-03-17 주식회사 케이티 드론 기지국과 드론 기지국 관리 방법 및 장치
KR20170116882A (ko) * 2016-04-12 2017-10-20 아주대학교산학협력단 이동통신 노드를 이용한 자율 네트워크 시스템 및 이의 운영 방법
KR101877243B1 (ko) * 2017-04-25 2018-07-11 한국과학기술원 강화학습 기반의 신경망을 이용한 ap 장치 클러스터링 방법 및 강화학습 기반의 신경망을 이용한 협력 통신 장치
KR20190073689A (ko) * 2017-12-19 2019-06-27 한화디펜스 주식회사 무인 장치를 활용한 무선통신 중계시스템 및 그 방법
JP2019169848A (ja) * 2018-03-23 2019-10-03 株式会社日立国際電気 無人飛行体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113932824A (zh) * 2021-09-27 2022-01-14 西安理工大学 一种基于边缘计算的电动汽车充电导航系统及方法

Also Published As

Publication number Publication date
KR102425847B9 (ko) 2022-12-05
KR102425847B1 (ko) 2022-07-28

Similar Documents

Publication Publication Date Title
US9866313B1 (en) UAV cellular communication service delivery
US8509098B2 (en) Method and apparatus for identifying network connectivity changes in dynamic networks
EP3751901B1 (en) Apparatus and method for guiding unmanned aerial vehicles
US11184084B2 (en) Systems and methods for providing network access to aircraft
US7970506B2 (en) System for maintaining communication between teams of vehicles
Masroor et al. Resource management in UAV-assisted wireless networks: An optimization perspective
US10341002B2 (en) Apparatus and method for communications management
Huang et al. Reactive 3D deployment of a flying robotic network for surveillance of mobile targets
US11751076B2 (en) Operation of sectorized communications from aerospace platforms using reinforcement learning
KR102425847B1 (ko) 강화학습 기반 통신 음영 지역 해소를 위한 무인 항공기 자동 배치 장치 및 방법
EP3335333B1 (en) Apparatus and method for communications management
EP3335377B1 (en) Apparatus and method for communications management
EP3751755B1 (en) Apparatus and method for guiding unmanned aerial vehicles
Muthanna et al. Towards optimal positioning and energy-efficient UAV path scheduling in IoT applications
KR102333864B1 (ko) 통신 처리량 최대화를 위한 기계학습 기반의 군집 무인 항공기 배치 장치 및 방법
AHMED et al. 3D Simulation Model for IoD-to-Vehicles Communication in IoD-assisted VANET
Shamsoshoara et al. Joint Path planning and Power Allocation of a Cellular-Connected UAV using Apprenticeship Learning via Deep Inverse Reinforcement Learning
US11929885B2 (en) Situation aware edge analytics framework for communication systems
EP4228219A1 (en) Situation aware edge analytics framework for communication systems
EP3139517A1 (en) Apparatus and method for communications management in an uav
Parvaresh Performance Enhancement of Aerial Base Stations via Reinforcement Learning-based 3D Placement Techniques
da Cunha Sabino Topology Optimization of Flying Backhaul Networks
CN117676530A (zh) 一种基于智能集群的多无人机搜索救援通信方法、系统
EP3139519A1 (en) Apparatus and method for communications management
EP3139537A1 (en) Apparatus and method for communications management

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
G170 Re-publication after modification of scope of protection [patent]