KR102690596B1 - 심층 강화 학습 기반의 보안 오프로딩 방법 및 상기 방법을 수행하는 무인 항공기 - Google Patents
심층 강화 학습 기반의 보안 오프로딩 방법 및 상기 방법을 수행하는 무인 항공기 Download PDFInfo
- Publication number
- KR102690596B1 KR102690596B1 KR1020220145966A KR20220145966A KR102690596B1 KR 102690596 B1 KR102690596 B1 KR 102690596B1 KR 1020220145966 A KR1020220145966 A KR 1020220145966A KR 20220145966 A KR20220145966 A KR 20220145966A KR 102690596 B1 KR102690596 B1 KR 102690596B1
- Authority
- KR
- South Korea
- Prior art keywords
- unmanned aerial
- aerial vehicle
- helper
- security
- user terminal
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 230000002787 reinforcement Effects 0.000 title claims abstract description 37
- 230000005540 biological transmission Effects 0.000 claims abstract description 87
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 36
- 238000000926 separation method Methods 0.000 claims description 39
- 238000003672 processing method Methods 0.000 claims description 25
- 238000005265 energy consumption Methods 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 17
- 230000003213 activating effect Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims 2
- 238000012790 confirmation Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000005562 fading Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008685 targeting Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/80—Arrangements enabling lawful interception [LI]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/092—Reinforcement learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04K—SECRET COMMUNICATION; JAMMING OF COMMUNICATION
- H04K3/00—Jamming of communication; Counter-measures
- H04K3/80—Jamming or countermeasure characterized by its function
- H04K3/82—Jamming or countermeasure characterized by its function related to preventing surveillance, interception or detection
- H04K3/825—Jamming or countermeasure characterized by its function related to preventing surveillance, interception or detection by jamming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/12—Detection or prevention of fraud
- H04W12/121—Wireless intrusion detection systems [WIDS]; Wireless intrusion prevention systems [WIPS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/60—Context-dependent security
- H04W12/63—Location-dependent; Proximity-dependent
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/20—UAVs specially adapted for particular uses or applications for use as communications relays, e.g. high-altitude platforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Aviation & Aerospace Engineering (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Technology Law (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
본 발명은 강화 학습 알고리즘을 기반으로 보안 모드의 전환이 가능한 무인 항공기 및 무인 항공기가 수행하는 보안 오프로딩 방법을 개시한다.
자세하게, 보안 오프로딩 방법은 릴레이 보안 모드(Relay Mode) 또는, 재밍 보안 모드(Jamming mode)를 스위치 할 수 있는 하이브리드 노드로 작동하는 무인 항공기를 고려하여 강화 학습 알고리즘을 통해 높은 보안 전송률을 달성할 수 있도록 헬퍼 무인 항공기의 보안 모드, 궤적, 사용자의 오프로드 여부를 최적화한다.
자세하게, 보안 오프로딩 방법은 릴레이 보안 모드(Relay Mode) 또는, 재밍 보안 모드(Jamming mode)를 스위치 할 수 있는 하이브리드 노드로 작동하는 무인 항공기를 고려하여 강화 학습 알고리즘을 통해 높은 보안 전송률을 달성할 수 있도록 헬퍼 무인 항공기의 보안 모드, 궤적, 사용자의 오프로드 여부를 최적화한다.
Description
본 발명은 보안 오프로딩 방법 및 상기 방법을 수행하는 무인 항공기에 관한 것으로, 보다 구체적으로는 무인 항공기를 대상으로 사용자 단말의 보안 전송률을 최대화하기 위한 강화 학습을 수행하여 사용자 단말의 오프로드 여부를 최적화하는 방법에 관한 것이다.
4세대 이동 통신의 후속 차원 기술로써, beyond 5G / 6G로 접어들면서, 무인 항공기(UAV: unmanned aerial vehicle,)는 이동성, 유연성의 강점으로 인해 의료, 교통, 국방 등 다양한 산업에 적용될 수 있는 핵심 기술로 관심 받고 있다. 최근에는 무인 항공기에 컴퓨팅 서버(Computing Server)를 탑재하여 모바일 디바이스와의 모바일 클라우딩 컴퓨팅 시스템으로 활용된다.
여기서, 모바일 클라우딩 컴퓨팅 시스템은 지상에 존재하는 모바일 디바이스의 성능 부담을 최소화하면 모바일 디바이스에서 처리하기 어려운 대용량 데이터를 UAV-mounted cloudlet으로 오프로드하여 지상의 인프라를 요구하지 않고 엣지 컴퓨팅 시스템을 구축한다. 이는 사물 인터넷 환경에서 효과적으로 적용된다.
그러나, 무인 항공기 기반의 오프로딩 시스템은 빈번하게 등장하는 항공 관련 가시선(LoS: line-of-sight)의 경로로 인해, 높은 전송률을 가지는 장점이 있지만, 이에 따라 취약해지는 보안성을 확보할 필요하다.
이를 해결하기 위해, 일반적으로 보안 전송률을 떨어뜨리는 수동적 도청자를 고려하며, 무인 항공기 또는, 모바일 디바이스에서 재밍 신호(Jamming Signal)를 통해 도청 장치에게 간섭을 주거나, 릴레잉(Relaying)을 통해 무인 항공기로 수신되는 전력(Power)을 높이는 방식으로 문제를 해결한다.
하지만, 이는 한가지 모드에 집중하여 더 높은 보안 전송률을 달성할 기회를 놓치게 되는 문제점이 있다. 또한, 다수의 사용자가 있는 상황에서 beyond 5G / 6G 타겟 IoT 서비스는 높은 연산량을 요구하는 어플리케이션을 다루고, 채널 상태와 같이 시간에 따라 변화하는 요소들로 인해 기존의 볼록 최적화 기반 해결 방법으로는 무인 항공기의 궤적, 모바일 디바이스의 오프로딩 여부에 대한 최적화 방식은 높은 복잡도를 가지며, 무인 항공기에 따른 연속적인 조절 문제(Continuous Control)를 해결하지 못하였다.
따라서, 보다 높은 보안 전송률을 확보하면서, 시간에 따라 계속 변하는 환경에 잘 적용될 수 있는 새로운 UAV 기반 오프로딩 방법이 제안될 필요가 있다.
본 발명은 합법 무인 항공기의 커버리지 영역에 존재하는 한정된 사용자를 대상으로 오프로딩을 진행하는 사용자 단말의 보안 전송률을 최대화하는 장치 및 방법을 제공한다.
본 발명은 사용자 단말의 보안 전송률에 관한 총 미션 타임 동안에 커버리지 영역 내 사용자 단말의 배치에 따라 헬퍼 무인 항공기가 최대한의 보안 전송률을 가질 수 있도록 궤적과 모드, 사용자의 오프로드 여부를 최적화하는 장치 및 방법을 제공한다.
본 발명은 딥 러닝 기반 강화 학습 알고리즘을 기반으로 보안 전송률을 최대화하기 위한 최적화 문제를 설계하고, 설계된 최적화 문제에 따른 헬퍼 무인 항공기의 궤적과 같이 연속적인 값을 가지는 변수를 최적화함으로써, 최적의 해를 구하는 장치 및 방법을 제공한다.
본 발명의 일실시예에 따른 헬퍼 무인 항공기가 수행하는 보안 오프로딩 방법은 합법 무인 항공기의 커버리지 영역 내 사용자 단말이 진행하는 데이터 처리 방식을 판단하는 단계; 강화 학습 알고리즘을 통해 사용자 단말의 데이터 처리 방식에 따른 헬퍼 무인 항공기의 하이브리드 노드를 활성화하는 단계; 활성화된 헬퍼 무인 항공기의 하이브리드 노드에 대응하여 헬퍼 무인 항공기의 보안 모드를 전환하는 단계; 및 헬퍼 무인 항공기의 보안 모드에 대응하여 도청 무인 항공기로부터 사용자 단말의 보안 전송률을 최대화하기 위한 보안 오프로딩을 수행하는 단계 를 포함할 수 있다.
본 발명의 실시예에 따른 판단하는 단계는, 커버리지 영역에 존재하는 사용자 단말이 진행하는 데이터 처리 방식을 오프로딩 방식 또는, 로컬 컴퓨팅 방식 중 하나의 방식으로 판단할 수 있다.
본 발명의 실시예에 따른 활성화하는 단계는, 사용자 단말의 데이터 처리 방식이 오프로딩 방식인 것으로 판단되면, 헬퍼 무인 항공기의 보안 모드를 결정하기 위해 헬퍼 무인 항공기의 하이브리드 노드를 활성화할 수 있다.
본 발명의 실시예에 따른 활성화하는 단계는, 판단된 오프로딩 방식을 기반으로 1) 헬퍼 무인 항공기의 위치와 커버리지 영역에 존재하는 사용자 단말의 위치 간의 제1 이격 거리와 2) 헬퍼 무인 항공기의 위치와 도청 무인 항공기의 위치 간의 제2 이격 거리를 판단하는 단계; 강화 학습 알고리즘에 오프로딩 방식, 제1 이격 거리 및 제2 이격 거리 중 적어도 하나를 적용하여 사용자 단말의 데이터 전송 스케줄링, 헬퍼 무인 항공기의 보안 모드 또는, 궤적 중 적어도 하나를 최적화하는 단계; 및 최적화된 결과에 기초하여 헬퍼 무인 항공기의 하이브리드 노드를 활성화하는 단계 를 포함할 수 있다.
본 발명의 실시예에 따른 최적화하는 단계는, 사용자 단말 및 헬퍼 무인 항공기 각각의 배터리 성능에 관한 에너지 제약 정보를 결정하는 단계; 사전에 설정된 타임 프레임 마다 에너지 제약 정보를 기반으로 사용자 단말 및 헬퍼 무인 항공기 각각의 에너지 소비 정보를 결정하는 단계; 및 에너지 소비 정보에 따른 보안 전송률이 최대가 되도록 사용자 단말의 데이터 전송 스케줄링, 헬퍼 무인 항공기의 보안 모드 또는, 궤적 중 적어도 하나를 최적화하는 단계 를 포함할 수 있다.
본 발명의 실시예에 따른 전환하는 단계는, 헬퍼 무인 항공기의 하이브리드 노드가 활성화되면, 헬퍼 무인 항공기의 보안 모드를 재밍 보안 모드 또는, 릴레이 보안 모드 중 적어도 하나의 모드로 전환할 수 있다.
본 발명의 실시예에 따른 보안 오프로딩을 수행하는 단계는, 헬퍼 무인 항공기가 재밍 보안 모드로 전환되면, 최적화된 궤적에 따라 도청 무인 항공기와 인접하도록 헬퍼 무인 항공기의 위치를 제어하는 단계; 도청 무인 항공기에 전송하기 위한 간섭 신호를 생성하는 단계; 및 헬퍼 무인 항공기의 위치를 기준으로 헬퍼 무인 항공기와 인접하여 비행하는 도청 무인 항공기로 간섭 신호를 전송함으로써, 보안 오프로딩을 수행할 수 있다.
본 발명의 실시예에 따른 보안 오프로딩을 수행하는 단계는, 헬퍼 무인 항공기가 릴레이 보안 모드로 전환되면, 사용자 단말 중 커버리지 영역 내 특정 지점에 위치하는 사용자 단말을 대상으로 데이터의 보안 전송률이 최대가 되도록 보안 오프로딩을 수행할 수 있다.
본 발명의 다른 실시예에 따른 헬퍼 무인 항공기가 수행하는 보안 오프로딩 방법은 합법 무인 항공기의 커버리지 영역의 상공을 비행하면서 커버리지 영역 내 오프로딩 방식을 이용하는 사용자 단말이 존재하는지 여부를 확인하는 단계; 오프로딩 방식을 이용하는 사용자 단말이 존재하면, 헬퍼 무인 항공기와 사용자 단말 또는, 헬퍼 무인 항공기와 도청 무인 항공기 간의 이격 거리를 판단하는 단계; 강화 학습 알고리즘에 오프로딩 방식 및 이격 거리 중 적어도 하나를 적용하여 헬퍼 무인 항공기의 보안 모드를 전환하는 단계; 및 헬퍼 무인 항공기의 보안 모드에 대응하여 도청 무인 항공기로부터 사용자 단말의 보안 전송률을 최대화하기 위한 보안 오프로딩을 수행하는 단계 를 포함할 수 있다.
본 발명의 실시예에 따른 확인하는 단계는, 헬퍼 무인 항공기의 시작 위치를 기준으로 기 설정된 타임 프레임마다 커버리지 영역의 xy 평면을 따라 이동하면서 오프로딩 방식을 이용하는 사용자 단말이 존재하는지 여부를 확인할 수 있다.
본 발명의 실시예에 따른 판단하는 단계는, 오프로딩 방식을 기반으로 헬퍼 무인 항공기의 위치와 커버리지 영역에 존재하는 사용자 단말의 위치 간의 제1 이격 거리를 판단하는 단계; 및 헬퍼 무인 항공기의 위치와 도청 무인 항공기의 위치 간의 제2 이격 거리를 판단하는 단계 를 포함할 수 있다.
본 발명의 실시예에 따른 전환하는 단계는, 강화 학습 알고리즘에 오프로딩 방식, 제1 이격 거리 및 제2 이격 거리 중 적어도 하나를 적용하여 사용자 단말의 데이터 전송 스케줄링, 헬퍼 무인 항공기의 보안 모드 또는, 궤적 중 적어도 하나를 최적화하는 단계; 최적화된 결과에 기초하여 헬퍼 무인 항공기의 하이브리드 노드를 활성화하는 단계; 및 활성화된 헬퍼 무인 항공기의 하이브리드 노드에 대응하여 헬퍼 무인 항공기의 보안 모드를 재밍 보안 모드 또는, 릴레이 보안 모드 중 적어도 하나의 모드로 전환하는 단계 를 포함할 수 있다.
본 발명의 실시예에 따른 최적화하는 단계는, 사용자 단말 및 헬퍼 무인 항공기 각각의 배터리 성능에 관한 에너지 제약 정보를 결정하는 단계; 사전에 설정된 타임 프레임 마다 에너지 제약 정보를 기반으로 사용자 단말 및 헬퍼 무인 항공기 각각의 에너지 소비 정보를 결정하는 단계; 및 에너지 소비 정보에 따른 보안 전송률이 최대가 되도록 사용자 단말의 데이터 전송 스케줄링, 헬퍼 무인 항공기의 보안 모드 또는, 궤적 중 적어도 하나를 최적화하는 단계 를 포함할 수 있다.
본 발명의 실시예에 따른 수행하는 단계는, 헬퍼 무인 항공기가 재밍 보안 모드로 전환되면, 최적화된 궤적에 따라 도청 무인 항공기와 인접하도록 헬퍼 무인 항공기의 위치를 제어하는 단계; 도청 무인 항공기에 전송하기 위한 간섭 신호를 생성하는 단계; 및 헬퍼 무인 항공기의 위치를 기준으로 헬퍼 무인 항공기와 인접하여 비행하는 도청 무인 항공기로 간섭 신호를 전송함으로써, 보안 오프로딩을 수행할 수 있다.
본 발명의 실시예에 따른 수행하는 단계는, 헬퍼 무인 항공기가 릴레이 보안 모드로 전환되면, 사용자 단말 중 커버리지 영역 내 특정 지점에 위치하는 사용자 단말을 대상으로 데이터의 보안 전송률이 최대가 되도록 보안 오프로딩을 수행할 수 있다.
본 발명의 일실시예에 따른 보안 오프로딩 방법을 수행하는 헬퍼 무인 항공기에 있어서, 헬퍼 무인 항공기는 프로세서를 포함하고, 프로세서는, 합법 무인 항공기의 커버리지 영역 내 사용자 단말이 진행하는 데이터 처리 방식을 판단하고, 강화 학습 알고리즘을 통해 사용자 단말의 데이터 처리 방식에 따른 헬퍼 무인 항공기의 하이브리드 노드를 활성화하고, 활성화된 헬퍼 무인 항공기의 하이브리드 노드에 대응하여 헬퍼 무인 항공기의 보안 모드를 전환하고 - 보안 모드는, 재밍 보안 모드 또는, 릴레이 보안 모드 중 적어도 하나를 포함함 -, 헬퍼 무인 항공기의 보안 모드에 대응하여 도청 무인 항공기로부터 사용자 단말의 보안 전송률을 최대화하기 위한 보안 오프로딩을 수행할 수 있다.
본 발명의 실시예에 따른 프로세서는, 사용자 단말 및 헬퍼 무인 항공기 각각의 배터리 성능에 관한 에너지 제약 정보를 결정하고, 사전에 설정된 타임 프레임 마다 에너지 제약 정보를 기반으로 사용자 단말 및 헬퍼 무인 항공기 각각의 에너지 소비 정보를 결정하고, 에너지 소비 정보에 따른 보안 전송률이 최대가 되도록 사용자 단말의 데이터 전송 스케줄링, 헬퍼 무인 항공기의 보안 모드 또는, 궤적 중 적어도 하나를 최적화할 수 있다.
본 발명의 실시예에 따른 프로세서는, 헬퍼 무인 항공기가 재밍 보안 모드로 전환되면, 최적화 된 궤적에 따라 도청 무인 항공기와 인접하도록 헬퍼 무인 항공기의 위치를 제어하고, 도청 무인 항공기에 전송하기 위한 간섭 신호를 생성하고, 헬퍼 무인 항공기의 위치를 기준으로 헬퍼 무인 항공기와 인접하여 비행하는 도청 무인 항공기로 간섭 신호를 전송함으로써, 보안 오프로딩을 수행할 수 있다.
본 발명의 실시예에 따른 프로세서는, 헬퍼 무인 항공기가 릴레이 보안 모드로 전환되면, 사용자 단말 중 커버리지 영역 내 특정 지점에 위치하는 사용자 단말을 대상으로 데이터의 보안 전송률이 최대가 되도록 보안 오프로딩을 수행할 수 있다.
본 발명의 다른 실시예에 따른 보안 오프로딩 방법을 수행하는 헬퍼 무인 항공기에 있어서, 헬퍼 무인 항공기는 프로세서를 포함하고, 프로세서는, 합법 무인 항공기의 커버리지 영역의 상공을 비행하면서 커버리지 영역 내 오프로딩 방식을 이용하는 사용자 단말이 존재하는지 여부를 확인하고, 오프로딩 방식을 이용하는 사용자 단말이 존재하면, 헬퍼 무인 항공기와 사용자 단말 또는, 헬퍼 무인 항공기와 도청 무인 항공기 간의 이격 거리를 판단하고, 강화 학습 알고리즘에 오프로딩 방식 및 이격 거리 중 적어도 하나를 적용하여 헬퍼 무인 항공기의 보안 모드를 전환하고, 헬퍼 무인 항공기의 보안 모드에 대응하여 도청 무인 항공기로부터 사용자 단말의 보안 전송률을 최대화하기 위한 보안 오프로딩을 수행할 수 있다.
본 발명의 실시예에 따른 보안 오프라인 방법은 헬퍼 무인 항공기의 하이브리드 모드에 따른 보안 모드를 스위칭 함으로써, 사용자 단말의 보안 전송률을 최대화할 수 있다.
본 발명의 실시예에 따른 보안 오프라인 방법은 딥 러닝 기반 강화 학습 알고리즘을 통해 보다 낮은 복잡도 및 사용자 단말의 보안 전송률을 최대화하기 위한 최적화 문제를 해결함으로써, 다양한 시나리오 세팅을 수행할 수 있다.
본 발명의 실시예에 따른 보안 오프라인 방법은 beyond 5G/6G 타겟인 사물 인터넷 (IoT) 산업에 보안 측면에서 중요한 역할을 할 것으로 기대될 수 있다.
본 발명의 실시예에 따른 보안 오프라인 방법은 요구가 다른 다양하고 많은 IoT 기반의 사용자 단말을 대상으로 오프로딩 시스템을 보다 체계적이고 효율적으로 관리하여 미래에 지향되고 있는 스마트 시티, 지능형 교통 시스템 이외에 교전, 응급 상황같이 빠른 시간 안에 적용이 필요한 시나리오에서도 활용이 가능할 수 있다.
도 1은 본 발명의 일실시예에 따른 보안 오프로딩 시스템을 설명하기 위해 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 사용자 단말의 데이터 처리 방식에 따른 시간 할당을 위한 타임 프레임을 설명하기 위해 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 헬퍼 무인 항공기의 하이브리드 노드에 따른 전환 가능한 보안 모드를 설명하기 위해 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 릴레이 보안 모드로 동작하는 헬퍼 무인 항공기의 동작을 설명하기 위해 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 재밍 보안 모드로 동작하는 헬퍼 무인 항공기의 동작을 설명하기 위해 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 보안 오프로딩 시스템에 적용되는 강화 학습 알고리즘의 각 에피소드에 따라 축적된 보상 값을 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 헬퍼 무인 항공기의 보안 모드에 따른 타임 프레임에 대한 경로를 설명하기 위해 도시한 그래프이다.
도 8은 본 발명의 일실시예에 따른 강화 학습 알고리즘을 통해 최적화 된 보안 오프로딩 방법을 설명하기 위해 도시한 도면이다.
도 9는 본 발명의 일실시예에 따른 보안 오프로딩 방법을 설명하기 위해 도시한 흐름도이다.
도 2는 본 발명의 일실시예에 따른 사용자 단말의 데이터 처리 방식에 따른 시간 할당을 위한 타임 프레임을 설명하기 위해 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 헬퍼 무인 항공기의 하이브리드 노드에 따른 전환 가능한 보안 모드를 설명하기 위해 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 릴레이 보안 모드로 동작하는 헬퍼 무인 항공기의 동작을 설명하기 위해 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 재밍 보안 모드로 동작하는 헬퍼 무인 항공기의 동작을 설명하기 위해 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 보안 오프로딩 시스템에 적용되는 강화 학습 알고리즘의 각 에피소드에 따라 축적된 보상 값을 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 헬퍼 무인 항공기의 보안 모드에 따른 타임 프레임에 대한 경로를 설명하기 위해 도시한 그래프이다.
도 8은 본 발명의 일실시예에 따른 강화 학습 알고리즘을 통해 최적화 된 보안 오프로딩 방법을 설명하기 위해 도시한 도면이다.
도 9는 본 발명의 일실시예에 따른 보안 오프로딩 방법을 설명하기 위해 도시한 흐름도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 보안 오프로딩 시스템을 설명하기 위해 도시한 도면이다.
도 1을 참고하면, 보안 오프로딩 시스템(100)은 무인 항공기 기반의 보안 오프로딩 시스템(100)에서 보안 전송률을 최대화할 수 있는 방법으로, N개의 사용자 단말(104a, 104b, UE: User Equipment)과 한 쌍의 헬퍼 무인 항공기(101, Helper UAV), 합법 무인 항공기(102, Legitimate UAV)로 구성될 수 있다.
합법 무인 항공기(102)는 지상에 있는 사용자 단말(104a, 104b)의 작업에 대한 엣지 UAV 역할을 수행할 수 있다. 여기서, 합법 무인 항공기(102)는 지상에 있는 사용자 단말(104a, 104b)의 작업에 따른 데이터 량이 증가함에 따라 보안성이 중요한 업링크 상황(Up-Link)을 고려하여 단일 셀 안에서의 사용자와 통신을 수행할 수 있다. 여기서, 단일 셀은 커버리지 영역(105)을 의미할 수 있다. 커버리지 영역(105)은 사용자 단말과 특정 주파수로 일정한 작업을 수행하기 위한 합법 무인 항공기(102)와 수신 또는, 송신이 가능한 지역을 의미할 수 있다.
헬퍼 무인 항공기(101)는 하이브리드 노드에 따른 재밍 보안 모드 또는, 릴레이 보안 모드 중 적어도 하나의 보안 모드로 전환(Switching)할 수 있다. 헬퍼 무인 항공기(101)는 각 상황에 따라 릴레이 보안 모드 또는 재밍 보안 모드로 전환함으로써, 도청 무인 항공기(103, Eavesdropper UAV)로부터의 보안성을 확보할 수 있다. 다시 말해, 헬퍼 무인 항공기(101)는 사용자 단말(UE)이 합법 무인 항공기(102)로 오프로드하고 있을 때, 합법 무인 항공기(102)와 인접하여 비행하는 도청 무인 항공기(103)로부터 보안성을 확보하기 위해 헬퍼 무인 항공기(101)의 보안 모드나 궤적(106)을 변경할 수 있다. 합법 무인 항공기(102)에서 전환 가능한 각 보안 모드는 다음과 같다.
① 릴레이 보안 모드
헬퍼 무인 항공기(101)는 헬퍼 무인 항공기(101)가 릴레이 보안 모드로 동작하는 경우, Decode-and-Forward(DF) 방식에 따른 하나의 타임 프레임을 두 개의 섹션으로 분리할 수 있다. 여기서, 분리된 각 섹션은 미니 프레임으로 정의될 수 있다. 여기서, 첫 번째 미니 프레임은 사용자 단말(104a, 104b)로부터 헬퍼 무인 항공기(101) 또는, 합법 무인 항공기(102)로 오프로드 하는데 걸리는 시간이 할당될 수 있다. 두 번째 미니 프레임은 헬퍼 무인 항공기(101)가 합법 무인 항공기(102)로 데이터를 전송하는 데 걸리는 시간이 할당될 수 있다.
헬퍼 무인 항공기(101)는 미니 프레임에 각각 할당된 시간을 고려하여 커버리지 영역(105) 내 특정의 사용자 단말을 대상으로 데이터 처리 과정에서의 오버헤드를 줄이고 보안 전송률이 최대가 되도록 지원할 수 있다.
② 재밍 보안 모드
헬퍼 무인 항공기(101)는 헬퍼 무인 항공기(101)가 재밍 보안 모드로 동작하는 경우, 도청 무인 항공기(103)를 향해 인공적인 노이즈(artificial noise)를 갖는 간섭 신호를 생성할 수 있다. 사용자 단말들은 직교 다중 접속을 통해 합법 무인 항공기(102) 로 데이터를 오프로드할 수 있다. 헬퍼 무인 항공기(101)는 오프로드에 따른 전체 time horizon 동안 의 크기를 가진 개의 타임 프레임으로 나뉘어 시간을 할당할 수 있다.
헬퍼 무인 항공기(101)은 딥 러닝 기반의 강화 학습 알고리즘을 적용하여 매 타임 프레임마다 최적의 성능을 입증함으로써, 사용자 단말(104a, 104b)의 전체적인 보안 전송률을 최대화할 수 있다.
헬퍼 무인 항공기(101)의 타임 프레임에 따라 전환 가능한 보안 모드는 아래의 수학식 1로 정의될 수 있다.
수학식 1을 참고하면, k는 헬퍼 무인 항공기(101)의 보안 모드를 의미하며, t는 헬퍼 무인 항공기(101)의 타임 프레임을 의미할 수 있다. 헬퍼 무인 항공기(101)의 타임 프레임에 할당되는 값이 '1' 인 경우에는 릴레이 보안 모드를 의미하며, 반대로, 헬퍼 무인 항공기(101)의 타임 프레임에 할당되는 값이 '0' 인 경우에는, 재밍 보안 모드를 의미할 수 있다.
또한, 수학식 1을 기반으로 사용자 단말(u)에 대해 오프로딩 결정을 담당하는 변수는 다음의 수학식 2로 정의될 수 있다.
수학식 2를 참고하면,타임 프레임(t)에서 헬퍼 무인 항공기(101)는 지면으로부터 일정 높이의 상공에서 일정한 x축 속도 및 y축 속도를 가진다고 가정될 수 있다. x축 속도 및 y축 속도에 관련된 변수는 로 정의될 수 있다. 따라서, 헬퍼 무인 항공기(101)는 매 타임 프레임마다 시작 위치로부터 높이(h)인 xy 평면을 따라 움직일 수 있다. 이때, 합법 무인 항공기(102), 도청 무인 항공기(103) 및 사용자 단말(104a, 104b)는 고정된 위치로 정지해 있다고 가정한다.
헬퍼 무인 항공기(101)는 보안 오프로딩 방법에서 빈번하게 발생 가능한 항공 관련 가시선(LoS)의 경로에 따른 신호 간의 간섭이 발생했을 때 전파 환경을 파악하기 위한 라이시안 페이딩(Rician fading)을 활용할 수 있다. 이에, 라이시안 페이딩이 적용된 지상-대기(ground-to-air) 간의 채널 모델은 아래와 같이 수학식 3로 정의될 수 있다.
여기서, 수학식 3을 참고하면, 은 지상-대기 간의 채널 모델이며, 는 지상-대기 간의 레퍼런스 채널 파워 gain을 의미하며, 와 는 각각 와 사용자 단말(u) 간의 높이 차이, 수평 거리를 의미할 수 있다. 여기서, 는 헬퍼 무인 항공기(101), 합법 무인 항공기(102) 및 도청 무인 항공기(103) 중 적어도 하나를 의미할 수 있다. 는 팩터를 가진 소규모 형태의 페이딩 요소를 의미할 수 있다. 동일한 방식으로 대기 간의(air-to-air) 채널 모델은 수학식 4로 정의될 수 있다.
수학식 4를 참고하면, 은 대기 간의 채널 모델이며, 는 대기 간의 레퍼런스 채널 파워 gain을 의미하며, 와 는 각각 헬퍼 무인 항공기(101)와 도청 무인 항공기(103)에 따른 간의 높이 차이, 수평 거리를 의미하고, 는 팩터를 가진 소규모 형태의 페이딩 요소이다.
이에, 사용자 단말(u)이 오프로드 할 때, 합법 무인 항공기(102) 또는, 헬퍼 무인 항공기(101)는 커버리지 영역(105) 내에 들어가야 하므로 다음의 수학식 5를 만족해야 한다.
여기서, 수학식 5를 참고하면, 는 합법 무인 항공기(102), 헬퍼 무인 항공기(101)의 의 최대 커버리지 영역을 의미할 수 있다.
헬퍼 무인 항공기(101)는 헬퍼 무인 항공기(101)의 보안 모드에 대응하여 도청 무인 항공기(103)로부터 사용자 단말(104a), (104b)의 보안 전송률을 최대화하기 위한 보안 오프로딩을 수행할 수 있다.
다시 말해, 헬퍼 무인 항공기(101)는 헬퍼 무인 항공기(101)가 릴레이 보안 모드로 전환되면, 사용자 단말(104a), (104b) 중 커버리지 영역(105) 내 특정 지점에 위치하는 사용자 단말(104a), (104b)을 대상으로 데이터의 보안 전송률이 최대가 되도록 보안 오프로딩을 수행할 수 있다.
또한, 헬퍼 무인 항공기(101)는 헬퍼 무인 항공기(101)가 재밍 보안 모드로 전환되면, 최적화된 궤적에 따라 도청 무인 항공기(103)와 인접하도록 헬퍼 무인 항공기(101)의 위치를 제어할 수 있다. 또한, 헬퍼 무인 항공기(101)는 도청 무인 항공기(103)에 전송하기 위한 간섭 신호를 생성한 후, 헬퍼 무인 항공기(101)의 위치를 기준으로 헬퍼 무인 항공기(101)와 인접하여 비행하는 도청 무인 항공기(103)로 간섭 신호를 전송함으로써, 보안 오프로딩을 수행할 수 있다.
도 2는 본 발명의 일실시예에 따른 사용자 단말의 데이터 처리 방식에 따른 시간 할당을 위한 타임 프레임을 설명하기 위해 도시한 도면이다.
보안 오프로딩 시스템(100)은 타임 프레임(Time Frame)에 대해 헬퍼 무인 항공기(101), 합법 무인 항공기(102) 및 사용자 단말(104a), (104b)에서 발생되는 각 상황에 따른 보안 보드에 따라 상이하게 시간을 할당할 수 있다. 보안 오프로딩 시스템은 시간을 할당하기 위한 통신 모델을 사용할 수 있으며, 통신 모델은 다음과 같은 방식으로 구성된다.
도 2를 참고하여, 사용자 단말(u)는 오프로드로 데이터를 처리할 때, 다중 직교 접속 방식에 따라 만큼 시간을 할당하여 데이터를 합법 무인 항공기(102)에 송신할 수 있다. 또한, 사용자 단말(u)은 오프로딩을 하지 않고 로컬 컴퓨팅을 진행할 때, 하나의 타임 프레임 동안 데이터 처리를 진행할 수 있다.
헬퍼 무인 항공기(101)는 사용자 단말(u)의 오프로드 여부에 따라 다음의 동작을 수행할 수 있다.
① 릴레이 보안 모드
헬퍼 무인 항공기(101)는 릴레이 보안 모드일 경우, DF 방식으로 릴레이가 진행되기 때문에 첫번째 미니 프레임 () 동안 사용자 단말(u)로부터 송신된 데이터를 수신하는 데에 시간이 할당되고, 남은 시간 동안 헬퍼 무인 항공기가 합법 무인 항공기로 릴레잉하는 데에 소요되는 시간이 할당될 수 있다.
② 재밍 보안 모드
헬퍼 무인 항공기(101)는 재밍 보안 모드일 경우, 한 프레임 동안 우호적인(friendly) 재밍을 수행할 수 있다. 다시 말해, 합법 무인 항공기(102)의 경우에는 이전 타임 프레임(t-1)에서 송신된 데이터를 현재 타임 프레임(t)에서 계산되는 방식으로 시간이 할당될 수 있다. 이에, 보안 오프로딩 시스템에서의 합계 보안 전송률은 아래의 수학식 6과 같이 정의될 수 있다.
수학식 6에서의 합계 보안 전송률을 정의함에 있어, 컴퓨팅 모델의 경우, 사용자 단말(104a, 104b)과 무인 항공기들(101), (102), (103)은 각각의 제한된 배터리 성능으로 인해 에너지 제약식이 요구된다. 이에 사용자 단말(104a, 104b) 또는, 합법 무인 항공기(102)의 경우 컴퓨팅 모델을 수행하기 위해 사용되는 컴퓨팅 에너지는 아래의 수학식 7과 같이 정리될 수 있다.
여기서, 수학식 7을 참고하면, 는 에너지 소비 상수이며, 는 가 일 때 사용자 단말(104a, 104b)의 CPU 주파수일 수 있다. 는 가 L 일 때 합법 무인 항공기(102)의 CPU 주파수로 대응될 수 있다. 헬퍼 무인 항공기(101)의 송신 에너지는 다음의 수학식 8과 같이 나타낼 수 있다.
또한, 헬퍼 무인 항공기(101)의 비행 에너지는 다음의 수학식 9와 같이 나타낼 수 있다.
여기서, M은 헬퍼 무인 항공기(101)의 질량을 의미할 수 있다.
이후, 헬퍼 무인 항공기(101)는 모든 사용자 단말들(104a, 104b)의 합계 보안 달성율을 최대화하기 위한 최적의 유저 스케줄링 및 헬퍼 무인 항공기(101)의 모드와 궤적을 최적화할 수 있다. 헬퍼 무인 항공기(101)는 매 타임 프레임마다 위 변수들을 최적화할 수 있으며, 공동 최적화 문제는 다음의 수학식 10과 같이 나타낼 수 있다.
여기서, 수학식 10은 이산 정수 제약이 포함된 비볼록 문제이기 때문에 기존의 표준 볼록 최적화 기술을 적용할 수 없다. 많은 기존 연구에서 쌍대문제 또는 제약 완화 방법을 통해 최적의 해를 구하지만, 제안한 모델 같은 경우는 사용자 또는 UAV 수의 증가에 따라 복잡도가 크게 증가하는 문제가 있다.
따라서, 본 발명의 헬퍼 무인 항공기(101)는 딥러닝 기반의 강화 학습 알고리즘을 적용하여 각 변수들에 대한 최적의 정책을 찾는 방식으로 해를 구할 수 있다. 또한, 강화 학습 알고리즘은 Deep deterministic policy gradient (DDPG)로서 무인 항공기의 궤적같이 연속적인 값을 빠른 속도로 최적화할 수 있다.
도 3은 본 발명의 일실시예에 따른 헬퍼 무인 항공기의 하이브리드 노드에 따른 전환 가능한 보안 모드를 설명하기 위해 도시한 도면이다.
도 3의 그래프는 헬퍼 무인 항공기의 보안 모드에 따른 1) 합법 무인 항공기(102)가 얻게 되는 전송률과 2) 도청 무인 항공기(103)가 도청하는 전송률을 나타낼 수 있다.
① 릴레이 보안 모드
헬퍼 무인 항공기에서 릴레이 보안 모드로 동작할 때에 합법 무인 항공기가 얻게 되는 전송률은 아래의 수학식 11과 같이 나타낼 수 있다.
여기서, 헬퍼 무인 항공기는 릴레이 보안 모드로 동작함에 있어, 하나의 타임 프레임을 두 개의 미니 프레임으로 분리할 수 있다. 첫 번째 미니 프레임에 따른 합법 무인 항공기(102)로 오프로드 하는데 걸리는 시간은 수학식 12와 같이 나타내고, 두 번째 미니 프레임에 따른 헬퍼 무인 항공기(101)가 합법 무인 항공기(102)로 데이터를 전송하는 데 걸리는 시간은 수학식 13과 같이 나타낼 수 있다.
헬퍼 무인 항공기는 수학식 12와 수학식 13에 기초하여 릴레이 보안 모드로 동작하는 과정에서의 합법 무인 항공기가 얻게 되는 전송률을 결정할 수 있다.
또한, 헬퍼 무인 항공기에서 릴레이 보안 모드로 동작할 때에 도청 무인 항공기(103)가 도청하는 전송률은 아래의 수학식 14와 같이 나타낼 수 있다.
헬퍼 무인 항공기는 릴레이 보안 모드에서 합법 무인 항공기가 얻게 되는 전송률과 도청 무인 항공기가 도청하는 전송률을 분석하여 사용자 단말을 대상으로 데이터 처리 과정에서의 오버헤드를 줄이고 보안 전송률이 최대가 되도록 지원할 수 있다.
② 재밍 보안 모드
헬퍼 무인 항공기에서 재밍 보안 모드로 동작할 때에 합법 무인 항공기가 얻게 되는 전송률은 아래의 수학식 15와 같이 나타낼 수 있다.
헬퍼 무인 항공기에서 재밍 보안 모드로 동작할 때 도청 무인 항공기(103)가 도청하는 전송률은 아래의 수학식 15와 같이 나타낼 수 있다.
헬퍼 무인 항공기는 릴레이 보안 모드에서 합법 무인 항공기가 얻게 되는 전송률과 도청 무인 항공기가 도청하는 전송률을 분석할 수 있다. 헬퍼 무인 항공기는 분석 결과를 기반으로 에너지 소비 정보에 따른 보안 전송률이 최대가 되도록 상기 사용자 단말의 데이터 전송 스케줄링, 헬퍼 무인 항공기의 보안 모드 또는, 궤적 중 적어도 하나를 최적화할 수 있다. 헬퍼 무인 항공기는 최적화 된 결과에 따라 도청 무인 항공기로부터 사용자 단말에 대한 보안 오프로딩을 수행할 수 있다.
도 4는 본 발명의 일실시예에 따른 릴레이 보안 모드로 동작하는 헤퍼 무인 항공기의 동작을 설명하기 위해 도시한 도면이다.
도 4를 참고하면, 헬퍼 무인 항공기(101)는 합법 무인 항공기의 커버리지 영역 내 사용자 단말이 진행하는 데이터 처리 방식을 판단할 수 있다. 일례로, 헬퍼 무인 항공기(101)는 사용자 단말(104a), (104b), (104c), (104d) 중에서 사용자의 결정에 따른 오프로딩 방식을 수행하는 단말(104b), (104c), (104d)과 로컬 컴퓨팅 방식을 수행하는 단말(104a)로 각 단말의 데이터 처리 방식을 판단할 수 있다.
헬퍼 무인 항공기(101)는 강화 학습 알고리즘을 통해 사용자 단말의 데이터 처리 방식에 따른 헬퍼 무인 항공기의 하이브리드 노드를 활성화할 수 있다. 강화 학습 알고리즘은 1) 합법 무인 항공기와 사용자 단말 간의 이격 거리 및 2) 합법 무인 항공기와 도청 무인 항공기 간의 이격 거리를 입력 데이터로 입력 받을 수 있다. 강화 학습 알고리즘은 입력 데이터 및 사용자 단말의 데이터 처리 방식에 기초하여 헬퍼 무인 항공기의 하이브리드 노드를 활성화할 수 있다.
자세하게, 강화 학습 알고리즘은 사용자에 의해 결정된 데이터 처리 방식에 따른 커버리지 영역(105) 내 오프로딩 방식과 로컬 컴퓨팅 방식 간의 비율을 확인할 수 있다. 강화 학습 알고리즘은 확인된 비율, 제1 이격 거리 및 제2 이격 거리 중 적어도 하나를 적용하여 사용자 단말의 데이터 전송 스케줄링, 헬퍼 무인 항공기의 보안 모드 또는, 궤적 중 적어도 하나를 최적화할 수 있다. 헬퍼 무인 항공기(101)는 최적화 된 결과를 기반으로 활성화된 헬퍼 무인 항공기의 하이브리드 노드에 따라 헬퍼 무인 항공기의 보안 모드를 릴레이 보안 모드로 스위칭할 수 있다.
일례로, 헬퍼 무인 항공기(101)는 강화 학습 알고리즘에 따른 로컬 컴퓨팅 방식으로 선택된 사용자 단말의 비율이 크고, 합법 무인 항공기와 사용자 단말 간의 이격 거리가 좁으며, 무인 항공기와 도청 무인 항공기 간의 이격 거리가 클수록 릴레이 보안 모드로 스위칭되도록 하이브리드 노드를 활성화할 수 있다.
헬퍼 무인 항공기(101)는 헬퍼 무인 항공기(101)가 릴레이 보안 모드로 전환되면, 사용자 단말(104a), (104b), (104c), (104d) 중 커버리지 영역(105) 내 특정 지점에 위치하는 사용자 단말(104b), (104c), (104d)을 대상으로 데이터의 보안 전송률이 최대가 되도록 보안 오프로딩을 수행할 수 있다.
도 5는 본 발명의 일실시예에 따른 재밍 보안 모드로 동작하는 헬퍼 무인 항공기의 동작을 설명하기 위해 도시한 도면이다.
도 5를 참고하면, 헬퍼 무인 항공기(101)는 사용자 단말의 데이터 처리 방식이 오프로딩 방식이면, 헬퍼 무인 항공기의 보안 모드를 결정하기 위해 헬퍼 무인 항공기의 하이브리드 노드를 활성화할 수 있다.
헬퍼 무인 항공기(101)는 강화 학습 알고리즘에 오프로딩 방식, 제1 이격 거리 및 제2 이격 거리 중 적어도 하나를 적용하여 사용자 단말의 데이터 전송 스케줄링, 헬퍼 무인 항공기의 보안 모드 또는, 궤적 중 적어도 하나를 최적화할 수 있다. 헬퍼 무인 항공기(101)는 사용자 단말 및 헬퍼 무인 항공기 각각의 배터리 성능에 관한 에너지 제약 정보를 결정하고, 사전에 설정된 타임 프레임 마다 에너지 제약 정보를 기반으로 사용자 단말 및 헬퍼 무인 항공기 각각의 에너지 소비 정보를 결정할 수 있다.
헬퍼 무인 항공기(101)는 에너지 소비 정보에 따른 보안 전송률이 최대가 되도록 사용자 단말의 데이터 전송 스케줄링, 헬퍼 무인 항공기의 보안 모드 또는, 궤적 중 적어도 하나를 최적화할 수 있다. 헬퍼 무인 항공기(101)는 최적화된 결과에 기초하여 헬퍼 무인 항공기의 하이브리드 노드를 활성화할 수 있다.
헬퍼 무인 항공기(101)는 헬퍼 무인 항공기가 재밍 보안 모드로 전환되면, 상기 최적화된 궤적에 따라 도청 무인 항공기와 인접하도록 헬퍼 무인 항공기의 위치를 제어할 수 있다. 헬퍼 무인 항공기(101)는 도청 무인 항공기에 전송하기 위한 간섭 신호를 생성할 수 있다. 헬퍼 무인 항공기(101)는 헬퍼 무인 항공기의 위치를 기준으로 헬퍼 무인 항공기와 인접하여 비행하는 도청 무인 항공기로 간섭 신호를 전송함으로써, 보안 오프로딩을 수행할 수 있다.
도 6은 본 발명의 일실시예에 따른 보안 오프로딩 시스템에 적용되는 강화 학습 알고리즘의 각 에피소드에 따라 축적된 보상 값을 나타낸 도면이다.
도 6의 그래프는 본 발명에서 제안한 보안 오프로딩 시스템에서 강화 학습 알고리즘을 적용시켰을 때, 각 방법의 에피소드에 따라 축적된 보상 값을 나타낼 수 있다.
본 그래프에서 Re-OT는 보안 모드를 릴레이 보안 모드로 고정하고, 궤적과 유저 스케줄링을 최적화한 결과일 수 있다.
본 그래프에서 Ja-OT는 보안 모드를 재밍 보안 모드로 고정하고, 궤적과 유저 스케줄링을 최적화한 결과일 수 있다.
본 그래프에서 제안 방식(Proposed Method)은 DDPG 기반 알고리즘에서 수렴성을 나타낸 강화 학습 알고리즘의 결과일 수 있다. 제안 방식(보안 오프로딩 방법)은 Re-OT와 Ja-OT 보다 더 높은 축적 보장 값을 가지고, 700 에피소드 이후부터 수렴하는 것을 확인할 수 있다.
도 7은 본 발명의 일실시예에 따른 헬퍼 무인 항공기의 보안 모드에 따른 타임 프레임에 대한 경로를 설명하기 위해 도시한 그래프이다.
도 7의 그래프는 합법 무인 항공기의 커버리지 영역에 존재하는 사용자 단말이 10개가 랜덤하게 분포되어 있다고 가정했을 때, 헬퍼 무인 항공기의 보안 모드에 따라 타임 프레임에 대한 경로를 나타낼 수 있다. 본 발명에서의 제안 방식은 커버리지 영역 내 사용자 단말의 데이터 처리 방식 및 도청 무인 항공기, 합법 무인 항공기의 위치에 따라 중간에 보안 모드를 전환함으로써, 헬퍼 무인 항공기의 움직임을 제어할 수 있다.
도 7에서는 총 20 타임 프레임 동안 제안된 방법을 통해 헬퍼 UAV의 궤적을 나타냈으며, 기존 방식인 Re-OT 같은 경우는 도청 무인 항공기의 위치를 고려하여 헬퍼 무인 항공기의 위치를 뒤로 돌아가면서 유저들이 밀집되어 있는 곳에 머무는 것을 확인할 수 있다.
또한, Ja-OT 같은 경우는 도청 무인 항공기가 위치한 방향으로 헬퍼 무인 항공기의 위치가 직접적으로 움직이는 것을 확인할 수 있다. 이에, 본 발명의 보안 오프로딩 방법은 초반에 릴레이 보안 모드로서 사용자들의 기밀 통신을 진행하다 어느 지점부터 재밍 모드로 전환하여 도청자에게 간섭을 주는 것을 확인할 수 있다.
도 8은 본 발명의 일실시예에 따른 강화 학습 알고리즘을 통해 최적화 된 보안 오프로딩 방법을 설명하기 위해 도시한 도면이다.
도 8의 그래프는 합법 무인 항공기의 커버리지 영역에 존재하는 사용자 단말이 10개가 랜덤하게 분포되어 있다고 가정했을 때, 합법 무인 항공기가 달성할 수 있는 합계 보안 전송률을 타임 프레임에 따라 나타낸 결과일 수 있다. 본 발명은 보안 모드를 한가지로 고정했을 때의 직선 경로 방식(Re-LT, Ja-LT)과 한 가지의 모드를 고정했을 때 강화 학습 알고리즘을 통해 최적화 된 방식(Re-OT, Ja-OT)일 수 있다.
도 8에서는 전체 타임 동안 각 방식이 달성하는 합계 보안 전송률을 나타내며, 제안한 방식이 기존의 방식보다 모든 시간대에서 더 높은 합계 보안 전송률을 달성하는 것을 확인할 수 있다.
도 9는 본 발명의 일실시예에 따른 보안 오프로딩 방법을 설명하기 위해 도시한 흐름도이다.
단계(901)에서 헬퍼 무인 항공기는 합법 무인 항공기의 커버리지 영역 내 사용자 단말이 진행하는 데이터 처리 방식을 판단할 수 있다. 헬퍼 무인 항공기는 커버리지 영역에 존재하는 사용자 단말이 진행하는 데이터 처리 방식을 오프로딩 방식 또는, 로컬 컴퓨팅 방식 중 하나의 방식으로 판단할 수 있다.
단계(902)에서 헬퍼 무인 항공기는 강화 학습 알고리즘을 통해 사용자 단말의 데이터 처리 방식에 따른 헬퍼 무인 항공기의 하이브리드 노드를 활성화할 수 있다. 헬퍼 무인 항공기는 사용자 단말의 데이터 처리 방식이 오프로딩 방식인 것으로 판단되면, 헬퍼 무인 항공기의 보안 모드를 결정하기 위해 헬퍼 무인 항공기의 하이브리드 노드를 활성화할 수 있다.
보다 자세하게, 헬퍼 무인 항공기는 오프로딩 방식을 기반으로 이격 거리를 판단할 수 있다. 여기서, 헬퍼 무인 항공기는 1) 상기 합법 무인 항공기의 위치와 상기 커버리지 영역에 존재하는 사용자 단말의 위치 간의 제1 이격 거리와 2) 상기 합법 무인 항공기의 위치와 상기 도청 무인 항공기의 위치 간의 제2 이격 거리를 판단할 수 있다.
헬퍼 무인 항공기는 강화 학습 알고리즘에 오프로딩 방식, 제1 이격 거리 및 제2 이격 거리 중 적어도 하나를 적용하여 사용자 단말의 데이터 전송 스케줄링, 헬퍼 무인 항공기의 보안 모드 또는, 궤적 중 적어도 하나를 최적화할 수 있다. 다시 말해, 헬퍼 무인 항공기는 사용자 단말 및 헬퍼 무인 항공기 각각의 배터리 성능에 관한 에너지 제약 정보를 결정할 수 있다.
헬퍼 무인 항공기는 사전에 설정된 타임 프레임 마다 에너지 제약 정보를 기반으로 사용자 단말 및 헬퍼 무인 항공기 각각의 에너지 소비 정보를 결정할 수 있다. 헬퍼 무인 항공기는 에너지 소비 정보에 따른 보안 전송률이 최대가 되도록 사용자 단말의 데이터 전송 스케줄링, 헬퍼 무인 항공기의 보안 모드 또는, 궤적 중 적어도 하나를 최적화할 수 있다. 이후, 헬퍼 무인 항공기는 최적화된 결과에 기초하여 헬퍼 무인 항공기의 하이브리드 노드를 활성화할 수 있다.
단계(903)에서 헬퍼 무인 항공기는 활성화된 헬퍼 무인 항공기의 하이브리드 노드에 대응하여 헬퍼 무인 항공기의 보안 모드를 전환할 수 있다. 헬퍼 무인 항공기는 헬퍼 무인 항공기의 하이브리드 노드가 활성화되면, 헬퍼 무인 항공기의 보안 모드를 재밍 보안 모드 또는, 릴레이 보안 모드 중 적어도 하나의 모드로 전환할 수 있다.
단계(904)에서 헬퍼 무인 항공기는 헬퍼 무인 항공기의 보안 모드에 대응하여 도청 무인 항공기로부터 사용자 단말의 보안 전송률을 최대화하기 위한 보안 오프로딩을 수행할 수 있다. 보다 자세하게, 헬퍼 무인 항공기는 헬퍼 무인 항공기가 재밍 보안 모드로 전환되면, 최적화된 궤적에 따라 도청 무인 항공기와 인접하도록 상기 헬퍼 무인 항공기의 위치를 제어할 수 있다. 헬퍼 무인 항공기는 도청 무인 항공기에 전송하기 위한 간섭 신호를 생성할 수 있다. 헬퍼 무인 항공기는 헬퍼 무인 항공기의 위치를 기준으로 헬퍼 무인 항공기와 인접하여 비행하는 도청 무인 항공기로 상기 간섭 신호를 전송함으로써, 보안 오프로딩을 수행할 수 있다.
또한, 헬퍼 무인 항공기는 헬퍼 무인 항공기가 릴레이 보안 모드로 전환되면, 사용자 단말 중 커버리지 영역 내 특정 지점에 위치하는 사용자 단말을 대상으로 데이터의 보안 전송률이 최대가 되도록 보안 오프로딩을 수행할 수 있다.
한편, 본 발명에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.
본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.
컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.
또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100: 보안 오프로딩 시스템
101: 헬퍼 무인 항공기
102: 합법 무인 항공기
103: 도청 무인 항공기
104a, 104b: 사용자 단말
105: 커버리지 영역
101: 헬퍼 무인 항공기
102: 합법 무인 항공기
103: 도청 무인 항공기
104a, 104b: 사용자 단말
105: 커버리지 영역
Claims (20)
- 헬퍼 무인 항공기가 수행하는 보안 오프로딩 방법에 있어서,
합법 무인 항공기의 커버리지 영역 내 사용자 단말이 진행하는 데이터 처리 방식을 판단하는 단계;
강화 학습 알고리즘을 통해 상기 사용자 단말의 데이터 처리 방식에 따른 상기 헬퍼 무인 항공기의 하이브리드 노드를 활성화하는 단계;
상기 활성화된 헬퍼 무인 항공기의 하이브리드 노드에 대응하여 상기 헬퍼 무인 항공기의 보안 모드를 전환하는 단계; 및
상기 헬퍼 무인 항공기의 보안 모드에 대응하여 도청 무인 항공기로부터 사용자 단말의 보안 전송률을 최대화하기 위한 보안 오프로딩을 수행하는 단계
를 포함하는 보안 오프로딩 방법.
- 제1항에 있어서,
상기 판단하는 단계는,
상기 커버리지 영역에 존재하는 사용자 단말이 진행하는 데이터 처리 방식을 오프로딩 방식 또는, 로컬 컴퓨팅 방식 중 하나의 방식으로 판단하는 보안 오프로딩 방법.
- 제1항에 있어서,
상기 활성화하는 단계는,
상기 사용자 단말의 데이터 처리 방식이 오프로딩 방식인 것으로 판단되면, 상기 헬퍼 무인 항공기의 보안 모드를 결정하기 위해 상기 헬퍼 무인 항공기의 하이브리드 노드를 활성화하는 보안 오프로딩 방법.
- 제3항에 있어서,
상기 활성화하는 단계는,
상기 판단된 오프로딩 방식을 기반으로 1) 상기 합법 무인 항공기의 위치와 상기 커버리지 영역에 존재하는 사용자 단말의 위치 간의 제1 이격 거리와 2) 상기 합법 무인 항공기의 위치와 상기 도청 무인 항공기의 위치 간의 제2 이격 거리를 판단하는 단계;
상기 강화 학습 알고리즘에 상기 오프로딩 방식, 제1 이격 거리 및 제2 이격 거리 중 적어도 하나를 적용하여 상기 사용자 단말의 데이터 전송 스케줄링, 상기 헬퍼 무인 항공기의 보안 모드 또는, 궤적 중 적어도 하나를 최적화하는 단계; 및
상기 최적화된 결과에 기초하여 상기 헬퍼 무인 항공기의 하이브리드 노드를 활성화하는 단계
를 포함하는 보안 오프로딩 방법.
- 제4항에 있어서,
상기 최적화하는 단계는,
상기 사용자 단말 및 헬퍼 무인 항공기 각각의 배터리 성능에 관한 에너지 제약 정보를 결정하는 단계;
사전에 설정된 타임 프레임 마다 상기 에너지 제약 정보를 기반으로 상기 사용자 단말 및 헬퍼 무인 항공기 각각의 에너지 소비 정보를 결정하는 단계; 및
상기 에너지 소비 정보에 따른 보안 전송률이 최대가 되도록 상기 사용자 단말의 데이터 전송 스케줄링, 상기 헬퍼 무인 항공기의 보안 모드 또는, 궤적 중 적어도 하나를 최적화하는 단계
를 포함하는 보안 오프로딩 방법.
- 제1항에 있어서,
상기 전환하는 단계는,
상기 헬퍼 무인 항공기의 하이브리드 노드가 활성화되면, 상기 헬퍼 무인 항공기의 보안 모드를 재밍 보안 모드 또는, 릴레이 보안 모드 중 적어도 하나의 모드로 전환하는 보안 오프로딩 방법.
- 제6항에 있어서,
상기 보안 오프로딩을 수행하는 단계는,
상기 헬퍼 무인 항공기가 재밍 보안 모드로 전환되면, 상기 최적화된 궤적에 따라 상기 도청 무인 항공기와 인접하도록 상기 헬퍼 무인 항공기의 위치를 제어하는 단계; 및
상기 도청 무인 항공기에 전송하기 위한 간섭 신호를 생성하는 단계; 및
상기 헬퍼 무인 항공기의 위치를 기준으로 헬퍼 무인 항공기와 인접하여 비행하는 도청 무인 항공기로 상기 간섭 신호를 전송함으로써, 보안 오프로딩을 수행하는 보안 오프로딩 방법.
- 제6항에 있어서,
상기 보안 오프로딩을 수행하는 단계는,
상기 헬퍼 무인 항공기가 릴레이 보안 모드로 전환되면, 사용자 단말 중 커버리지 영역 내 특정 지점에 위치하는 사용자 단말을 대상으로 데이터의 보안 전송률이 최대가 되도록 보안 오프로딩을 수행하는 보안 오프로딩 방법.
- 헬퍼 무인 항공기가 수행하는 보안 오프로딩 방법에 있어서,
합법 무인 항공기의 커버리지 영역의 상공을 비행하면서 상기 커버리지 영역 내 오프로딩 방식을 이용하는 사용자 단말이 존재하는지 여부를 확인하는 단계;
상기 오프로딩 방식을 이용하는 사용자 단말이 존재하면, 상기 헬퍼 무인 항공기와 사용자 단말 또는, 상기 헬퍼 무인 항공기와 도청 무인 항공기 간의 이격 거리를 판단하는 단계;
강화 학습 알고리즘에 상기 오프로딩 방식 및 이격 거리 중 적어도 하나를 적용하여 상기 헬퍼 무인 항공기의 보안 모드를 전환하는 단계; 및
상기 헬퍼 무인 항공기의 보안 모드에 대응하여 도청 무인 항공기로부터 사용자 단말의 보안 전송률을 최대화하기 위한 보안 오프로딩을 수행하는 단계
를 포함하는 보안 오프로딩 방법.
- 제9항에 있어서,
상기 확인하는 단계는,
상기 헬퍼 무인 항공기의 시작 위치를 기준으로 기 설정된 타임 프레임마다 상기 커버리지 영역의 xy 평면을 따라 이동하면서 상기 오프로딩 방식을 이용하는 사용자 단말이 존재하는지 여부를 확인하는 보안 오프로딩 방법.
- 제9항에 있어서,
상기 판단하는 단계는,
상기 오프로딩 방식을 기반으로 상기 합법 무인 항공기의 위치와 상기 커버리지 영역에 존재하는 사용자 단말의 위치 간의 제1 이격 거리를 판단하는 단계; 및
상기 합법 무인 항공기의 위치와 상기 도청 무인 항공기의 위치 간의 제2 이격 거리를 판단하는 단계
를 포함하는 보안 오프로딩 방법.
- 제11항에 있어서,
상기 전환하는 단계는,
상기 강화 학습 알고리즘에 상기 오프로딩 방식, 제1 이격 거리 및 제2 이격 거리 중 적어도 하나를 적용하여 상기 사용자 단말의 데이터 전송 스케줄링, 상기 헬퍼 무인 항공기의 보안 모드 또는, 궤적 중 적어도 하나를 최적화하는 단계;
상기 최적화된 결과에 기초하여 상기 헬퍼 무인 항공기의 하이브리드 노드를 활성화하는 단계; 및
상기 활성화된 헬퍼 무인 항공기의 하이브리드 노드에 대응하여 상기 헬퍼 무인 항공기의 보안 모드를 재밍 보안 모드 또는, 릴레이 보안 모드 중 적어도 하나의 모드로 전환하는 단계
를 포함하는 보안 오프로딩 방법.
- 제12항에 있어서,
상기 최적화하는 단계는,
상기 사용자 단말 및 헬퍼 무인 항공기 각각의 배터리 성능에 관한 에너지 제약 정보를 결정하는 단계;
사전에 설정된 타임 프레임 마다 상기 에너지 제약 정보를 기반으로 상기 사용자 단말 및 헬퍼 무인 항공기 각각의 에너지 소비 정보를 결정하는 단계; 및
상기 에너지 소비 정보에 따른 보안 전송률이 최대가 되도록 상기 사용자 단말의 데이터 전송 스케줄링, 상기 헬퍼 무인 항공기의 보안 모드 또는, 궤적 중 적어도 하나를 최적화하는 단계
를 포함하는 보안 오프로딩 방법.
- 제12항에 있어서,
상기 수행하는 단계는,
상기 헬퍼 무인 항공기가 재밍 보안 모드로 전환되면, 상기 최적화된 궤적에 따라 상기 도청 무인 항공기와 인접하도록 상기 헬퍼 무인 항공기의 위치를 제어하는 단계; 및
상기 도청 무인 항공기에 전송하기 위한 간섭 신호를 생성하는 단계; 및
상기 헬퍼 무인 항공기의 위치를 기준으로 헬퍼 무인 항공기와 인접하여 비행하는 도청 무인 항공기로 상기 간섭 신호를 전송함으로써, 보안 오프로딩을 수행하는 보안 오프로딩 방법.
- 제12항에 있어서,
상기 수행하는 단계는,
상기 헬퍼 무인 항공기가 릴레이 보안 모드로 전환되면, 사용자 단말 중 상기 커버리지 영역 내 특정 지점에 위치하는 사용자 단말을 대상으로 데이터의 보안 전송률이 최대가 되도록 보안 오프로딩을 수행하는 보안 오프로딩 방법.
- 보안 오프로딩 방법을 수행하는 헬퍼 무인 항공기에 있어서,
상기 헬퍼 무인 항공기는 프로세서를 포함하고,
상기 프로세서는,
합법 무인 항공기의 커버리지 영역 내 사용자 단말이 진행하는 데이터 처리 방식을 판단하고,
강화 학습 알고리즘을 통해 상기 사용자 단말의 데이터 처리 방식에 따른 상기 헬퍼 무인 항공기의 하이브리드 노드를 활성화하고,
상기 활성화된 헬퍼 무인 항공기의 하이브리드 노드에 대응하여 상기 헬퍼 무인 항공기의 보안 모드를 전환하고 - 상기 보안 모드는, 재밍 보안 모드 또는, 릴레이 보안 모드 중 적어도 하나를 포함함 -,
상기 헬퍼 무인 항공기의 보안 모드에 대응하여 도청 무인 항공기로부터 사용자 단말의 보안 전송률을 최대화하기 위한 보안 오프로딩을 수행하는 헬퍼 무인 항공기.
- 제16항에 있어서,
상기 프로세서는,
상기 사용자 단말 및 헬퍼 무인 항공기 각각의 배터리 성능에 관한 에너지 제약 정보를 결정하고,
사전에 설정된 타임 프레임 마다 상기 에너지 제약 정보를 기반으로 상기 사용자 단말 및 헬퍼 무인 항공기 각각의 에너지 소비 정보를 결정하고,
상기 에너지 소비 정보에 따른 보안 전송률이 최대가 되도록 상기 사용자 단말의 데이터 전송 스케줄링, 상기 헬퍼 무인 항공기의 보안 모드 또는, 궤적 중 적어도 하나를 최적화하는 헬퍼 무인 항공기.
- 제16항에 있어서,
상기 프로세서는,
상기 헬퍼 무인 항공기가 재밍 보안 모드로 전환되면,
상기 최적화 된 궤적에 따라 상기 도청 무인 항공기와 인접하도록 상기 헬퍼 무인 항공기의 위치를 제어하고,
상기 도청 무인 항공기에 전송하기 위한 간섭 신호를 생성하고,
상기 헬퍼 무인 항공기의 위치를 기준으로 헬퍼 무인 항공기와 인접하여 비행하는 도청 무인 항공기로 상기 간섭 신호를 전송함으로써, 보안 오프로딩을 수행하는 헬퍼 무인 항공기.
- 제16항에 있어서,
상기 프로세서는,
상기 헬퍼 무인 항공기가 릴레이 보안 모드로 전환되면,
사용자 단말 중 커버리지 영역 내 특정 지점에 위치하는 사용자 단말을 대상으로 데이터의 보안 전송률이 최대가 되도록 보안 오프로딩을 수행하는 헬퍼 무인 항공기.
- 보안 오프로딩 방법을 수행하는 헬퍼 무인 항공기에 있어서,
헬퍼 무인 항공기는 프로세서를 포함하고,
상기 프로세서는,
합법 무인 항공기의 커버리지 영역의 상공을 비행하면서 상기 커버리지 영역 내 오프로딩 방식을 이용하는 사용자 단말이 존재하는지 여부를 확인하고,
상기 오프로딩 방식을 이용하는 사용자 단말이 존재하면, 상기 헬퍼 무인 항공기와 사용자 단말 또는, 상기 헬퍼 무인 항공기와 도청 무인 항공기 간의 이격 거리를 판단하고,
강화 학습 알고리즘에 상기 오프로딩 방식 및 이격 거리 중 적어도 하나를 적용하여 상기 헬퍼 무인 항공기의 보안 모드를 전환하고,
상기 헬퍼 무인 항공기의 보안 모드에 대응하여 도청 무인 항공기로부터 사용자 단말의 보안 전송률을 최대화하기 위한 보안 오프로딩을 수행하는 헬퍼 무인 항공기.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220145966A KR102690596B1 (ko) | 2022-11-04 | 2022-11-04 | 심층 강화 학습 기반의 보안 오프로딩 방법 및 상기 방법을 수행하는 무인 항공기 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220145966A KR102690596B1 (ko) | 2022-11-04 | 2022-11-04 | 심층 강화 학습 기반의 보안 오프로딩 방법 및 상기 방법을 수행하는 무인 항공기 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20240064214A KR20240064214A (ko) | 2024-05-13 |
| KR102690596B1 true KR102690596B1 (ko) | 2024-08-05 |
Family
ID=91073399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220145966A KR102690596B1 (ko) | 2022-11-04 | 2022-11-04 | 심층 강화 학습 기반의 보안 오프로딩 방법 및 상기 방법을 수행하는 무인 항공기 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102690596B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118748807A (zh) * | 2024-05-29 | 2024-10-08 | 江苏海洋大学 | 一种基于近端策略优化的双无人船系统水下通信保密方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101999942B1 (ko) | 2019-04-09 | 2019-07-12 | 재단법인대구경북과학기술원 | 재머 위치 결정 방법 및 장치 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102425847B1 (ko) * | 2019-11-28 | 2022-07-28 | 경희대학교 산학협력단 | 강화학습 기반 통신 음영 지역 해소를 위한 무인 항공기 자동 배치 장치 및 방법 |
| KR102639494B1 (ko) * | 2021-12-21 | 2024-02-23 | 경희대학교 산학협력단 | 태스크 오프로딩을 지원하는 무인 항공기 및 방법 |
-
2022
- 2022-11-04 KR KR1020220145966A patent/KR102690596B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101999942B1 (ko) | 2019-04-09 | 2019-07-12 | 재단법인대구경북과학기술원 | 재머 위치 결정 방법 및 장치 |
Non-Patent Citations (1)
| Title |
|---|
| 유성훈 외1, 강화학습 기반의 무인항공기를 이용한 보안 중계통신, 한국통신학회학술대회논문집, 2022.06 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20240064214A (ko) | 2024-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shang et al. | Computing over space-air-ground integrated networks: Challenges and opportunities | |
| Bouzid et al. | 5G network slicing with unmanned aerial vehicles: Taxonomy, survey, and future directions | |
| Wu et al. | Energy consumption and completion time tradeoff in rotary-wing UAV enabled WPCN | |
| Calvanese Strinati et al. | 6G in the sky: on‐demand intelligence at the edge of 3D networks | |
| Abdalla et al. | UAVs with reconfigurable intelligent surfaces: Applications, challenges, and opportunities | |
| Dai et al. | UAV-aided wireless communication design with energy constraint in space-air-ground integrated green IoT networks | |
| Sabuj et al. | Delay optimization in mobile edge computing: Cognitive UAV-assisted eMBB and mMTC services | |
| Deng et al. | Energy-efficient UAV-aided target tracking systems based on edge computing | |
| Li et al. | Unmanned aerial vehicle‐aided edge networks with ultra‐reliable low‐latency communications: A digital twin approach | |
| Dai et al. | Reconfigurable intelligent surface for low-latency edge computing in 6G | |
| You et al. | Joint task scheduling, resource allocation, and UAV trajectory under clustering for FANETs | |
| Shang et al. | Aerial reconfigurable intelligent surfaces meet mobile edge computing | |
| Hajiakhondi-Meybodi et al. | Joint transmission scheme and coded content placement in cluster-centric UAV-aided cellular networks | |
| Wang et al. | Double-edge computation offloading for secure integrated space–air–aqua networks | |
| Jayaweera et al. | Factory automation: Resource allocation of an elevated LiDAR system with URLLC requirements | |
| Li et al. | A UAV real-time trajectory optimized strategy for moving users | |
| KR102690596B1 (ko) | 심층 강화 학습 기반의 보안 오프로딩 방법 및 상기 방법을 수행하는 무인 항공기 | |
| Wu et al. | Deep Reinforcement Learning‐Based Content Placement and Trajectory Design in Urban Cache‐Enabled UAV Networks | |
| Liwen et al. | Towards efficient 6G IoT networks: A perspective on resource optimization strategies, challenges, and future directions | |
| Zhang et al. | Joint computation offloading and trajectory design for aerial computing | |
| Zhang et al. | Machine learning driven UAV-assisted edge computing | |
| CN114339667B (zh) | 基于混合无人机空中移动基站的中继方法和装置 | |
| Yin et al. | Joint Optimization of Trajectory Control, Resource Allocation and User Association Based on DRL for Multi-Fixed-Wing UAV Networks | |
| US11477787B2 (en) | Dynamic spectrum sharing between coverage types | |
| Khan et al. | IRS and UAV-relay assisted public safety networks for video transmission: optimizing UAVs deployment and resource allocation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20221104 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20240618 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20240729 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20240730 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |