JP2023538589A - ハイジャック、電波妨害、およびなりすまし攻撃に対する耐性を伴う無人航空機 - Google Patents
ハイジャック、電波妨害、およびなりすまし攻撃に対する耐性を伴う無人航空機 Download PDFInfo
- Publication number
- JP2023538589A JP2023538589A JP2023512047A JP2023512047A JP2023538589A JP 2023538589 A JP2023538589 A JP 2023538589A JP 2023512047 A JP2023512047 A JP 2023512047A JP 2023512047 A JP2023512047 A JP 2023512047A JP 2023538589 A JP2023538589 A JP 2023538589A
- Authority
- JP
- Japan
- Prior art keywords
- drone
- attack
- uav
- action
- gps
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 claims abstract description 58
- 238000013528 artificial neural network Methods 0.000 claims abstract description 44
- 230000009471 action Effects 0.000 claims description 41
- 238000000034 method Methods 0.000 claims description 29
- 230000004044 response Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000003287 optical effect Effects 0.000 claims description 16
- 230000000116 mitigating effect Effects 0.000 claims description 9
- 238000012546 transfer Methods 0.000 claims description 5
- 230000001537 neural effect Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 238000013475 authorization Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000006378 damage Effects 0.000 description 4
- 238000011835 investigation Methods 0.000 description 4
- 230000002547 anomalous effect Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 101100536250 Homo sapiens TMEM120A gene Proteins 0.000 description 2
- 102100028548 Ion channel TACAN Human genes 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000009118 appropriate response Effects 0.000 description 2
- 230000001010 compromised effect Effects 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000004092 self-diagnosis Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0004—Transmission of traffic-related information to or from an aircraft
- G08G5/0008—Transmission of traffic-related information to or from an aircraft with other aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/003—Flight plan management
- G08G5/0039—Modification of a flight plan
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
- G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/24—Arrangements for determining position or orientation
- G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
- G05D1/2437—Extracting relative motion information
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/24—Arrangements for determining position or orientation
- G05D1/245—Arrangements for determining position or orientation using dead reckoning
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/24—Arrangements for determining position or orientation
- G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
- G05D1/248—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons generated by satellites, e.g. GPS
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/60—Intended control result
- G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
- G05D1/619—Minimising the exposure of a vehicle to threats, e.g. avoiding interceptors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0004—Transmission of traffic-related information to or from an aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0004—Transmission of traffic-related information to or from an aircraft
- G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
- G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0047—Navigation or guidance aids for a single aircraft
- G08G5/0052—Navigation or guidance aids for a single aircraft for cruising
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0047—Navigation or guidance aids for a single aircraft
- G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0073—Surveillance aids
- G08G5/0086—Surveillance aids for monitoring terrain
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0073—Surveillance aids
- G08G5/0091—Surveillance aids for monitoring atmospheric conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/04—Anti-collision systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/04—Anti-collision systems
- G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/15—UAVs specially adapted for particular uses or applications for conventional or electronic warfare
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2101/00—Details of software or hardware architectures used for the control of position
- G05D2101/10—Details of software or hardware architectures used for the control of position using artificial intelligence [AI] techniques
- G05D2101/15—Details of software or hardware architectures used for the control of position using artificial intelligence [AI] techniques using machine learning, e.g. neural networks
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2109/00—Types of controlled vehicles
- G05D2109/20—Aircraft, e.g. drones
- G05D2109/25—Rotorcrafts
- G05D2109/254—Flying platforms, e.g. multicopters
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Artificial Intelligence (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Atmospheric Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
無人航空機(UAV)または「ドローン」は、攻撃を検出し、それに応答することを支援するために、ニューラルネットワークを実行する。ニューラルネットワークは、航行の間、リアルタイムに、複数の搭載センサからのデータストリームを監視し得、高高度擬似衛星(「HAPS」)プラットフォームと通信し得る。例えば、ニューラルネットワークが、サイバー攻撃を検出したが、それが、外部通信に干渉しないという決定をする場合、ドローンの航行制御をHAPSに偏移し得る。
Description
(関連出願の相互参照)
本願は、2020年8月21日に出願された、米国第63/068,660号の優先権および利益を主張する。
本願は、2020年8月21日に出願された、米国第63/068,660号の優先権および利益を主張する。
本発明は、概して、無人航空機(UAV)の航行、およびそれによる任務実行に関し、特に、ハイジャックする、または別様に上空動作に影響を及ぼすことを試みる、電子攻撃に対する抵抗を伴う、UAVに関する。
UAVは、一般には、ドローンまたは無人航空機システム(UAS)として公知であり、遠隔操縦航空機とも称され、人間のパイロットの搭乗を伴わない、飛行体である。その経路は、搭載コンピュータによって自律的に、または地上または別の車両内のパイロットの遠隔制御によってのいずれかで制御される。ドローンは、その広範かつ多様な商業的潜在性の認識が、増加するにつれて、数が急増している。
ドローンは、航行のためにGPS通過点を使用する等、全地球測位システム(GPS)航行機能を利用し得、予めプログラムされた飛行経路に追従する傾向がある。これらは、ドローンを、搭載センサを使用して、走査および調査するであろう資産に、またはその周囲に導き得る。ドローンシステムは、動作環境を監視し、調査されることになる資産までの経路を予め計算し、それに追従し、調査を実施するために、様々な搭載センサ(1つまたはそれを上回るカメラ、無線周波数(RF)センサ等を含む)を利用し得る。
これらのセンサの存在にもかかわらず、ドローンは、飛行経路の計画されていない変更に対応するために(例えば、予想外の障害物を回避する、または衝突回避操縦を実施するために)、それらが提供するデータを使用する、または通過点の正確度に影響を及ぼし得る、GPSドリフトに適合させるように装備されていない場合がある。GPSドリフトは、予めプログラムされた飛行経路が、GPSドリフトベクトルの較正および補正を考慮することに失敗するときに、生じる。操作者が、そのような補正が不在である通過点を伴う、飛行計画を画定するとき、例えば、航行システムは、ドローンをコースから外させ得る。わずかな偏差でさえ、着目資産の全てまたは一部分を予めプログラムされた飛行経路の外側、その結果、搭載センサの視野の外側に出し得る。GPSドリフトよりも危険なものは、GPS信号を模倣し、ドローンをハイジャックし得る、電子的「なりすまし」攻撃であり、ドローンに損傷を与える、またはそれを盗取する、または人または財産に対する付随的損傷を引き起こすために、その意図される飛行経路から離れて誘導する。ドローンに対して使用され得る、他の形態のサイバー攻撃は、RF飽和攻撃を含み、これは、ドローンと衛星または陸地通信との間の接続を切断するように設計される。電子攻撃およびその標的が急増するにつれて、ドローンの動作を乗っ取る、またはそれに干渉しようとする悪意のある試みに対して、ドローンを保護するための必要性は、緊急なものである。
本発明の実施形態は、ドローンの航行および制御をハイジャックする、改変する、または別様にそれに干渉しようとする試みを検出し、無効化する。本明細書内では広義に「攻撃」と称される、これらの努力は、多数の形態をとり得る。ドローンの航行パッケージが、損なわれている場合、飛行の間に適切な動作を復元することは、可能性として考えられ得ず、実際に、不法占有自体は、検出することが非常に困難であり得る。ドローンと衛星または陸地管制エンティティとの間の接続が、切断される、またはハイジャックされる場合、攻撃から必然的に導かれる結果を回避するために、航行制御をそのようなエンティティに転送することは、不可能であろう。搭載光学センサの方向感覚を喪失させる、または光を遮断するように設計される、レーザ攻撃は、航行パッケージ自体が、影響を受けていない場合であっても、ドローンをコース外に向かわせることができる。
種々の実施形態では、ドローンは、ドローンが進行するにつれて、搭載カメラによって、リアルタイムに、捕捉される画像フレームを分析する、ニューラルネットワークを含む。ニューラルネットワークは、人間の脳を大まかにモデル化したコンピュータアルゴリズムであり、パターンを認識することと、非線形ルールを学習することと、データ間の複雑な関係を定義することとにおいて優れている。それらは、ドローンが、航行し、任務サポートを提供し、データの過剰収集を伴うことなく、適切な資産調査を確実にすることに役立ち得る。本明細書によるドローンは、ニューラルネットワークを実行し、調査、偵察、報告、および他の任務を支援し得る。本発明は、低高度調査ドローンに搭載されて実行される、教師なし「深層学習」ニューラルネットワークを利用する。そのようなドローン調査ニューラルネットワーク(「DINN」)は、予めプログラムされる飛行経路に沿った資産への航行の間、および/またはその任務の間(例えば、資産を走査および調査する際)、複数の搭載センサからのデータストリームをリアルタイムに監視し得る。本ニューラルネットワークは、空域内での安全かつ効率的なドローン動作を可能にするために、無人交通管理システムと通信し得、そして有人航空交通と通信し得る。陸地および/または衛星ベースの通信ネットワークへの双方向性接続を使用し、DINNは、リアルタイムの空域変更認可を要求または受信し得、したがって、他の航空交通との空域衝突、地形または障害物衝突を考慮するように、またはより効率的な任務実行のために、ドローンの飛行経路を最適化するように、ドローンの飛行経路を適合させることができる。重要なこととして、DINNは、ドローンデータの位置を監視し、攻撃を検出し、適切なアクションを決定するために、ドローンが、監視と防御の独立層として作用することを有効にすることができる。ドローンをハイジャックし、その意図される飛行経路から離して誘導するように設計される、GPSなりすまし攻撃、またはドローンとHAPSNNまたは陸地通信との間の接続を切断するように設計される、RF遮断攻撃の場合、DINNは、資産または他の目印に対して相対的に、ドローンの位置を追跡し、ドローンが、他の方向へ航行させられることに抵抗する、または通信が、確実に再確立されるまで、安全な飛行経路を維持することを可能にすることができる。光学センサの方向感覚を喪失させる、または光を遮断することが意図されるレーザ攻撃の場合には、DINNは、そのような攻撃によって生産されるパターンを認識および分類し、ドローンによって、予めプログラムされた応答をトリガし、攻撃に反撃する、またはドローンの飛行経路を改変し、攻撃の源からそれ自体を遠ざけることができる。
上空インフラストラクチャは、高高度長期耐久性(「HALE」)プラットフォームとも呼ばれる、高高度擬似衛星(「HAPS」)プラットフォームを含む。これらは、高高度(例えば、少なくとも70,000フィート)において、持続的に動作する無人航空機であり、昼間は、太陽放射によって再充電され得、したがって、長期間にわたって飛行したままであり続け、衛星同様の広い有効範囲の空域を提供することができる。RF通信ペイロードを装備されたHAPSドローンは、単独で、または既存の通信衛星コンステレーション、または地上ベースの電気通信ネットワーク、領空域偵察インフラストラクチャ、領空域航行援助施設、または個々の航空交通通信および偵察システムと連携して、RF有効範囲の広大な面積を提供し、ドローンを含む航空交通へのコネクティビティおよびリアルタイム通信および偵察サービスを提供することができる。
HAPSプラットフォームは、変化する帯域幅の需要を満たすためのアップグレードのために容易に回収されない、または直前に数を増加させられない衛星コンステレーションより、少ない費用かつ高い柔軟性を伴って、動作されることができる。加えて、衛星は、既存の地球航空交通偵察システムと容易に統合されず、ドローンの動作を監視し、同一空域内で動作するドローンと有人航空交通との安全な分離を維持するために、それらをHAPSプラットフォームほど十分に好適な状態にはしない。電気通信施設等の陸地の代替手段は、一般的には、短距離かつ小面積の有効範囲を有し、繰り返しになるが、有効範囲または能力を拡張することは、費用がかかり、地形または人工構造物の特徴に起因して、実現可能でさえない場合がある。
HAPSプラットフォームは、それが、航空交通を監視する際、ニューラルネットワーク(「HAPSNN」)を実行し得る。ニューラルネットワークは、リアルタイムに、有効範囲のその空域内の事象を分類、予測、および解析すること、および以前には見られなかった、または検出されなかった、新たな事象から学習することを有効にする。HAPSNN装備型HAPSプラットフォームは、有効範囲のその空域内の航空交通のほぼ100%の偵察を提供し得、HAPSNNは、空域内の安全かつ効率的なドローン動作を促進するために、ドローンから受信されるデータを処理し得る。HAPSNNはまた、双方向性接続およびリアルタイム監視を有効にし、したがって、ドローンが、その意図される任務をより良好に実行することができる。
種々の実施形態では、DINNは、HAPSNNと協働する。例えば、DINNが、攻撃を検出したが、それが、外部通信に干渉しないという決定をする場合、ドローンの航行制御をHAPSNNに偏移し得る。
故に、第1の側面において、本発明は、種々の実施形態では、ニューラル算出エンジンと、飛行パッケージと、航行システムと、画像入手デバイスと、複数のアジャイル送受信機を含む、通信設備と、複数の予め記憶された通過点および飛行画像を含む、コンピュータメモリと、コンピュータであって、(a)UAVへの攻撃を検出し、(b)それに応答して、講じられるべき緩和アクションを識別し、(c)アクションを講じさせるように訓練された、予測子への入力として、画像入手デバイス、通信アレイ、または航行システムのうちの1つまたはそれを上回るものから受信されるデータを使用するために、プロセッサと、コンピュータメモリ内に記憶され、プロセッサによって実行可能である命令とを含む、コンピュータとを備える、UAVに関連する。
攻撃が、GPSなりすましである場合、アクションは、ドローンに、GPSを伴わずに航行させることと、予め記憶された通過点飛行計画に沿って、複数の全米航空航行援助施設に対して、アジャイル送受信機を調整することとであり得る。ドローンは、オプティカルフローおよび/またはカルマンフィルタリングを用いた慣性航行を使用して、GPS航行を伴うことなく、航行し得る。攻撃が、GPSなりすましである場合、アクションは、HAPSへの航行制御の転送を引き起こすことであり得る。攻撃が、RF遮断である場合、アクションは、外部通信を要求しない予めプログラムされる飛行計画の実行である。いくつかの実施形態では、予めプログラムされる飛行計画は、(i)予めプログラムされる通過点飛行計画に沿って、ドローンを航行させるために、カルマンフィルタリングを用いた慣性航行またはオプティカルフローのうちの少なくとも1つ、および(ii)画像マッチングを使用して、ドローンが、各通過点に到達した時間を分類することとに依拠する。攻撃が、レーザ攻撃である場合、アクションは、レーザから離れた飛行経路をプロットし、ドローンにそれを追従させることであり得る。
いくつかの実施形態では、コンピュータはさらに、緩和アクションを算出的に識別するために、HAPS車両と通信するように構成される。予測子は、例えば、ニューラルネットワークであり得る。種々の実施形態では、通信設備は、陸地および上空管制システムと相互作用するように構成される。UAVはさらに、所定のアクションのデータベースを備え得、コンピュータは、検出された攻撃に応答して、データベースから、アクションを選択し、その実行を引き起こすように構成される。
別の側面では、本発明は、UAVを動作させる方法に関する。種々の実施形態では、本方法は、UAVの飛行の間、リアルタイムにデジタル画像を入手するステップと、UAVを航行させるためのGPS信号を入手するステップと、無線信号を介して、陸地または上空インフラストラクチャと通信するステップと、それに基づいて、入手されたデジタル画像、GPS信号、および/または無線通信信号を、UAVへのサイバー攻撃を検出するように算出的に訓練された予測子を用いて、算出的に分析するステップと、検出されたサイバー攻撃に応答して、講じられるべき緩和アクションを算出的に識別するステップと、アクションを講じさせるステップとを含む。
前述および以下の詳細な説明は、図面と併せて解釈されるとき、より容易に理解されるであろう。
最初に、図1-7を参照すると、これは、従来のHAPSプラットフォーム105によって実施される機能、およびHAPSNNの動作を通して、これらの機能が向上され得る様式を図示している。図1では、HAPSプラットフォーム105は、108において代表的に示される、複数の携帯電話中継塔と、110において代表的に示される、複数の航空管制システムと、113において代表的に示される、一連の航空機と通信し、これらのシステムおよび車両の全ては、HAPSプラットフォーム105が監視する、画定された空域115内に存在する。HAPSプラットフォーム105はまた、空域115内の複数のドローン118と、直接および/または携帯電話中継塔を介して通信し得る。最終的に、HAPSプラットフォーム105は、例えば、実質的に固定された位置を維持するためのジオロケーションのために、120において代表的に示される、衛星と通信し得る。このように、HAPSプラットフォーム105は、空域115の完全なスナップショットを取得および更新し、その中の航空交通を監視し、空域115内の種々の相互通信エンティティ間の通信ハブとしての役割を果たす。
図2に見られるように、HAPS105は、監視される空域115内で動作する、ドローン118および有人航空交通133の位置、状態、および速度を監視する。搭載HAPSNNは、ドローン118の動作高度を前提として、地形または他の障害物205が、ドローン118と航空管制システム110と、さらに航空機113との間の見通し内通信を遮断するであろうことを認識する。障害物205は、HAPS105によってリアルタイムに認識され、マップされるが、それらは、HAPS105にローカルで、またはワイヤレスリンクを介してアクセス可能なマップ内に記憶される可能性が高くあり得る。より具体的には、HAPSNNは、障害物205が、ドローン118と航空管制システム110との間の現在または未来の通信に干渉する尤度を算出し得、その尤度が、閾値を超過する場合、ドローン118と航空管制システム110とをブリッジする、通信リンクを確立するための必要性を登録する。その場合では、HAPS105は、それに応答して、任意の適切なモダリティまたはその組み合わせ、例えば、観察、テレメトリ、信号監視、および/またはドローン118および/またはその飛行を監視する地球航空交通管制システムとの直接通信によって、ドローン118の状態(高度を含む、位置、および軌道)を取得する。
本認識された必要性の結果として、HAPS105は、中間ノードとして通信ネットワークに進入し、ドローン118と、航空管制システム110(例えば、UTMおよびLAANC)または他の地上ベースの航空交通偵察インフラストラクチャとの間で、メッセージを中継し得る(すなわち、伝送リンクとして作用する)。HAPSNNが不在の場合、HAPS105は、それに対応して動作するであろうが、例えば、ドローン118が、先にHAPS105および管制システム110と通信していた場合、HAPS105は、ドローン118が、障害物205に接近するにつれて、ドローン118と管制システム110との間の直接通信が、喪失されるとき、バックアップ通信チャネルとしての役割を果たし得る。HAPSNNは、ドローン118と管制システム110との間の先行する通信が行われていない場合であっても、HAPS105による積極的かつ予測的な介入を促進する。空域115内の地形および固定された通信特徴の位置、および(空域115に進入したたばかりであり得る)ドローン118の算出された軌道に関する、記憶または入手された知識に基づいて、HAPSNNは、ドローン118と管制システム110との間の通信に対する必要性を認識し、HAPS105に、ハブとして、それ自体とのワイヤレスリンクを確立させる。同様に、ドローン118および有人航空機113の地形および監視された高度に関する知識に基づいて、HAPSNNは、HAPS105に、ハブとして、それ自体とのドローン118と航空機113との間のワイヤレスリンクを確立させ得る。
図3は、高度を限定されて認可された空域305を通して移行する、ドローン118が、空域305内に留まるために、それが、その周囲を飛行しなければならない、310において集合的に示される、障害物に遭遇するであろう状況を図示する。予めプログラムされた飛行経路からの本逸脱は、障害物の範囲に応じて、非常に大きくあり得、ドローンが、優れた正確度を伴って、取り扱うように装備されていない、コース補正を要求し、潜在的に、それが、そこに到達するとき、標的の全てまたは一部分を見落とすことにつながり得る。ドローン118と通信しているHAPS105を用いる場合、HAPSNNは、付加的な空域認可に対する必要性を予測し、領域315への拡張を要求する。いったん認可が取得されると、HAPS105は、高度制限の緩和をドローン118に通信する。いくつかの実施形態では、HAPS105は、ドローン118のためのより高い高度における修正された飛行経路320を算出し得、航行正確度に影響を及ぼし得る、側方逸脱を伴うことなく、標的のためにコース上に留まることを有効にする。
同様に、図4では、ドローン118のために計画され認可された飛行経路405は、HAPS105が、搭載レーダを用いて、またはリアルタイムの気象更新から検出する、危険な局所的な気象パターンを通して、それを取り込むであろう。ドローンの飛行経路および気象条件を認知しているHAPSNNは、代替飛行区画410に対する必要性を認識し、それが、または別の搭載算出モジュールが、これを算出する。HAPS105は、新たな飛行経路410に対する認可を取得し、それをドローン118の航行システムに通信する。
図5は、携帯電話中継塔108と、全米航空システム航行援助信号(VOR、VOR/DME、TACAN等)の源505との見通し線内通信を阻止する、障害物を通して進行する、ドローン118を示す。HAPSNNは、空域115内の陸地の特徴、およびドローン118の状態に関する知識から、本条件を推測する。必然的に導かれる結果として、HAPSNNは、HAPS105に、少なくとも、遮断される源108、505からの信号を中継させる、またはハブとして、それ自体との通信エンティティ108、118、505間のワイヤレスリンクを確立させる。
図6では、ドローン605は、その認可された空域610内を飛行している。第2のドローン615が、空域610に進入し、HAPSNNは、ドローン605、615が、通信していない、または通信することができないことを検出する。例えば、ドローン605、615の一方または両方が、「非協働的」である、すなわち、他のドローンと通信し、飛行経路における衝突を回避するように装備されていない場合がある。HAPSNNは、ドローン間、および/または地上ベースの航空交通偵察および監視システムとの通信、またはその不在に基づいて、これを推測し得る。HAPSNNは、衝突を回避するために、ドローン605が、ドローン605がドローン615を通過するまでの一時的であり得る、代替飛行経路620に追従するべきであることを決定する。HAPSNNまたは別の搭載算出モジュールは、新たな飛行経路620を算出する。HAPS105は、それに応じて、新たな飛行経路620に対する認可を取得し、それをドローン605の航行システムに通信する。
図7を参照すると、ドローン118は、例えば、RFID読取機を使用して、認可された空域回廊707内の飛行経路705に追従し、一連の資産(例えば、電力線712に沿った、一連の変換器7101...7105)からのデータ読取値を調査する、または取り込む。HAPSNNは、ドローン118によって受信されるデータストリームを監視し、ドローンが異常を検出した場合、HAPSNNは、ドローン118が、その空域認可に対する変更を要求するであろうことを推測し得る。特に、異常が、変換器7103と関連付けられる場合、予測される認可の必要性は、領域720を網羅し得る。HAPSNNは、HAPS105に、アクションを講じさせる、例えば、情報を適切なUTM/LAANCシステムに中継する、またはドローン118の代わりに、空域認可に対する変更を要求し得、これは、次いで、より接近して変換器7103を自由に調査し、リアルタイムまたは後の評価のためにその画像を記録するであろう。
図8Aは、代表的なHAPSNNアーキテクチャ800を図示し、これは、HAPS飛行体と、種々のハードウェアおよびソフトウェア要素とを含む。一般に、コンピュータメモリに記憶される命令として実装される、複数のソフトウェアサブシステムは、従来の中央処理ユニット(CPU)802によって実行される。CPU802は、HAPS車両の飛行および動作、および下記に説明される機能を制御し得る、またはこれらの機能は、別個のプロセッサ802間で配分され得る。加えて、ニューラルネットワーク機能性の効率的な実行に関し、本システムは、専用グラフィックス処理ユニットを含み得る。オペレーティングシステム(例えば、MICROSOFT WINDOWS(登録商標)、UNIX(登録商標)、LINUX(登録商標)、iOS、またはANDROID(登録商標)等)は、ファイル管理、リソース配分、および(少なくとも1つの不揮発性記憶要素803を含む)ハードウェアデバイスおよびソフトウェアサブシステムから、およびそれらへのメッセージの経路指定等の低レベルのシステム機能を提供し、これは、コンピュータメモリ804内で実行される。より一般的には、HAPSNN800は、ハードウェア、ソフトウェア、または両方の組み合わせにおいて実装される、モジュールを含み得る。ソフトウェア内に提供される機能に関し、プログラムは、PYTHON、FORTRAN、PASCAL、JAVA(登録商標)、C、C++、C#、BASIC、種々のスクリプト言語、および/またはHTML等のいくつかの高レベル言語のいずれかにおいて、書き込まれ得る。HAPS車両の動作に関与する、ソフトウェアモジュール、および機械的および飛行特徴は、従来のものであり、図示されない。例えば、米国特許第10,618,654号を参照されたい。
HAPSNN800は、ニューラルネットワークモジュール805と、送受信機モジュール808と、フィールドプログラマブルゲートアレイ(FPGA)810とを含む。モジュール送受信機モジュール810およびFPGA810は、飛行体間、および陸地および衛星ベースの管制インフラストラクチャとの上空通信をサポートするように構成される、通信設備を構成する、またはその一部であり得る。HAPSNN800は、DINN812を装備する、ドローンと併せて動作し得る(但し、その必要はない)。クラウドニューラルネットワークモジュール805は、HAPS車両に対してローカルであるが、より典型的には、下記に説明されるように、クラウド内で、すなわち、HAPS車両とのワイヤレス通信における、遠隔(例えば、陸地)サーバ上で動作し得る。モジュール808、810は、典型的には、HAPS車両自体上に位置する。
クラウドニューラルネットワークモジュール805は、ドローンからリアルタイムに、アジャイル送受信機808を介して、受信される画像およびデータを処理する、分類ニューラルネットワーク815を含み、これは、クラウドニューラルネットワーク805まで通過され得る。分類ニューラルネットワーク815は、監視されるドローンが引き受ける任務に関連する、訓練画像のデータベース817を使用して訓練されている。分類ニューラルネットワーク815は、受信される画像およびデータを処理および分類し、それと関連付けられる異常を検出する、すなわち、その確率を算出する。すなわち、異常は、受信される画像内の何らかのものに基づいて、または他のドローンテレメトリと並行して検討されるとき、検出され得る。例えば、他の例外的でない画像は、ドローンによって報告される気象条件と併せて撮影されるとき、異常検出をトリガし得る。異常が検出されるとき、分類ニューラルネットワーク815は、適切な応答を決定するために、分類データベース819を閲覧し得、すなわち、データベース819は、それぞれが、異常、および順に講じられ得る1つまたはそれを上回る関連付けられるアクションを規定する記録を含む。データベース記録を有しない異常が、検出された場合、画像は、人間による調査および分類のために伝送され得る。新たな分類が、次いで、訓練データベース817に追加され、ニューラルネットワーク815を再訓練するために使用される。結果として生じる、調節された加重が、ニューラルネットワーク805と関連付けられるクラウドサーバによって、現場内のドローンおよび他のドローンに、類似する任務プロファイルを伝送する、DINN812(存在する場合)に逆伝播され得る。本手順は、下記にさらに説明される。
アジャイル送受信機パッケージ808は、照会、応答、および再ブロードキャストのために、978MHz、1,090MHz、および1,030MHzで動作する、自動従属偵察ブロードキャスト(ADS-B)と、交通衝突回避システム(TCAS)と、二次偵察レーダ(SSR)と、自動従属偵察リブロードキャスト(ADS-R)サブシステムとを含む。これらは、HAPSNN800が、有人航空交通の位置を「リッスン」することを有効にし、したがって、ニューラルネットワーク815は、3Dまたは2D空間内の近傍交通を算出的に表し、ドローンと有人航空交通との間の任意の衝突を解析することができる。これは、ドローンの位置を有人航空交通に、または有人航空交通の位置をドローンにブロードキャストすることによって実現されることができる。緊急警告は、空域における衝突を回避するために移動するべき方向に関する命令を伴って、有人および/または無人交通に対して発行される。
アジャイル送受信機808は、いくつかのUTMシステムが利用する、陸地電気通信ネットワークを用いて、またはHAPSからクラウドベースのニューラルネットワークにデータを伝送するためのバックホール通信チャネルを用いて、HAPSNN800の空域内で動作するドローン間の通信リンクをサポートするために、3G、4G、LTE、5G、または任意の将来的電気通信プロトコルおよび帯域幅を含む、セルラーネットワークパッケージを含み得る。VHFおよびUHF送受信機(TX/RX)モジュールは、GPS信号が喪失された場合に、ニューラルネットワーク805が、信号の飛行時間を使用して、ドローンおよびHAPSの位置を解析することを可能にする、VOR、VOR/DME、またはTACAN等の航行援助施設を監視するために使用され得る。これはまた、万一、必要性が生じた場合、データを伝送または受信するために、衛星通信コンステレーションを活用することも有効にする。ドローン仮想レーダ(DVR)データリンクは、衝突を解析する、またはドローンを追跡することに役立てるために、航空交通位置情報を送信および受信するために、(例えば、米国特許第10,586,462号に記載される)本技術を実装するドローンプラットフォームとの通信を促進する。ニューラルネットワーク(NN)データリンクは、HAPSNN800が、DINNニューラルネットワーク算出エンジン825と通信することを可能にする、専用高帯域幅バックホールチャネルであり、監視される空域内で動作する複数のドローンから受信される、リアルタイムデータを伝送し、分類データベース819から取得される予測およびアクション命令を受信する。FPGA810は、送受信機808を調整し、ノイズをフィルタ除去する、ソフトウェアを起動するためのハードウェア促進因子として採用される。
ドローン118内に実装される、代表的なDINN812は、ニューラルネットワーク算出エンジン825と、分類データベース825と、下記に説明されるような種々のデータ取扱および処理機能を実施するための「バックエンド」コードとを含む。加えて、ドローン118は、上記に詳述されるように、アジャイル送受信機808とFPGA810とのセットを備える、またはそれから成る通信設備を含む。また、ドローン118は、CPU802と、ストレージ803と、コンピュータメモリ804とを含み得る。
言及されるように、DINN812は、HAPSNN800と相互作用し得るが、いずれか一方が、存在し、それ自体で動作することができる、すなわち、HAPSNNは、DINNの展開および使用の成功のためには不必要であるが、HAPSNNは、DINNを欠いている飛行体に対して、その偵察および安全の役割を果たし得る。DINN812の役割は、ドローン118が、調査している資産上の着目物体、および飛行の間に回避する必要があるであろう障害物を分類する(例えば、調査されることになる携帯電話中継塔、およびそのような塔上の亀裂の入ったアンテナを認識する)ことを有効にすることである。ニューラルネットワーク825は、画像入手デバイス827、例えば、ドローン118上のビデオカメラから受信される、画像を処理および分類するように構成される。故に、ニューラルネットワーク825は、着信画像内の物体を検出および認識するようにプログラムされる、畳み込みニューラルネットワーク(CNN)であり得る。これらは、ニューラルネットワークの訓練に基づいて分類され得、DINN812(例えば、バックエンドコード)は、検出される画像に対する適切な応答を決定するために、分類データベース830を閲覧し得る。本場合では、データベース819は、それぞれが、いくつかの意味論的意味またはアクションと関連付けられる、物体を規定する記録を含む。例えば、ニューラルネットワーク825が、着信画像内に木を検出した場合、対応するデータベースエントリは、木を障害物として識別し、ドローンの航行システム832が、ドローンの操向および推進システムを制御することによって実行する、回避操縦をトリガし得る。これらは、ドローンの飛行パッケージ835の一部であり、これは、従来のものであり、したがって、詳細には示されないが、電源、通信プラットフォーム、推進および操向システム、自動操縦システム等を含む。
DINN812はまた、1つまたはそれを上回る偵察システム837、839からデータを受信し得、これは、DVR、UTM、LAANC、ADS-B、およびTCASシステムのうちの1つまたはそれを上回るものを含み得る。これらは、ドローンの通信プラットフォームの一部として実装され得るが、ニューラルネットワーク825が、画像を分類する際に本データを使用し得るため、それらは、DINN812内に概念的なものとして図示されている。同様に、気象偵察システム842は、従来の方法では、ドローンの通信プラットフォーム内に実装されるであろうが、繰り返しになるが、気象条件が、画像分類またはデータベース検索に関連し得るため、DINN812の一部として示されており、図4に示されるように、同一の視覚場面は、気象に応じて、異なるアクションを促し得る、例えば、ドローン118は、強風条件下では、建物により広い停泊余地を与え得る。
ドローン118が、HAPSNN800と協働的に相互作用する実施形態では、後者は、さらなるサポートおよびより強力な分類能力を提供し得る。例えば、ニューラルネットワーク825によって分類不可能である、検出された物体を伴う画像は、吟味のためにHAPSNN800にアップロードされ得、HAPSNNによって、返信として発行されるリアルタイム命令は、ドローンの航行システム832によって実行され得る。さらに、HAPSNN800は、そのドローンによって行われている(かつHAPSNN800にリアルタイムに通信される)分類に基づいて、ドローンの任務をより良好に適合させるために、ニューラルネットワーク825のための異なる加重ファイルをリアルタイムに更新または供給し得る。ニューラルネットワーク825は、受信されるとき、これらの新たな加重ファイルをそれに応答して読み込む。
本プロセスは、図8Bに示されている。図8Aもまた参照すると、DINN812は、着信画像フレーム(例えば、約毎秒30フレーム(FPS))をリアルタイムに処理し、ドローン118が、衝突を回避し、塔850の周囲を飛行するために十分な速さで反応することを有効にする。故に、ドローン118は、CNN動作をサポートするために、グラフィックス処理ユニット(GPU)を含み得る。リアルタイムフレーム分析は、GPUが、画像を処理し、調査されることになる資産上の着目アイテムを分類し、分類のバックエンドコードを通知し、一般的には、分類に対応するアクションを取得するために、分類データベース830内で検索を実施することによって、バックエンドコードが、分類に反応する論理を実行することを可能にする。
ドローン118は、画像データをHAPSNNに伝送し、これは、例えば、毎秒60メガピクセル(MP)の写真画像を処理することが可能である、(算出エンジン815内、または所望に応じて、さらにHAPS自体内の)高精度CNNを含む。CNNアーキテクチャは、算出エンジン825上で起動する、バックエンド論理を活用することによって、分類の速度および正確度のために設計される。本バックエンド論理は、ドローンによって捕捉される、資産の最初の数枚の画像に基づいて分類される資産に基づいて、CNNの加重および構成ファイルを変更することができる。これらの予備画像は、安全な距離における資産の周囲の「予備」飛行経路の一部として収集され、解像度において、60MPまたはそれを上回り得る。これらの予備画像は、CNNの入力画像サイズ(例えば、224×224、または調査されることになる資産に応じて、それよりも大きい)に縮小され、(例えば、20個の)連続する畳み込み層を通して通過し、その後、平均プーリング層と、異なる資産(例えば、100個のタイプの資産)を分類するために予め訓練される、完全結合層とが続く。いったん資産のタイプが、識別されると、加重および構成ファイルは、変更され得、より多くの(例えば、4つの)畳み込み層が、追加され、その後、資産上に存在し得る、着目物体または面積の確率および境界ボックスを出力するために、2つの完全結合層が、続く。ドローンからアップロードされる画像は、本タイプの分類が、より粒度の細かい詳細が存在することを要求するため、(例えば、448×448まで)サイズを増加させられ得る。サイズ増加の度合いは、動的に制御され、例えば、十分な詳細が、信頼可能な分類のために検出されない場合、スケールアップされ得る。
完全結合層は、クラス確率および境界ボックス(すなわち、亀裂の入ったアンテナ、錆、および腐食等)を予測する。実施例として、最終層は、線形アクティブ化を使用し得るが、畳み込み層は、リーキーReLuアクティブ化を使用し得る。
いったん算出エンジン825のバックエンド論理が、クラスおよび境界ボックス座標の存在を検出すると、これは、その具体的な分類をドローンの画像入手デバイスの視野の中心に動かすために、重心トラッカ機能に切り替え、それをトリガし得る。バックエンド論理は、高解像度走査のための画像入手デバイスに接近し、それを位置付けるために、ドローンにとって最も安全な飛行経路を解析するために、測距算出エンジンと協働する。
故に、予備飛行経路は、視野内の資産のタイプを確立し、任意のGPSドリフトベクトルを考慮するために、ドローンに対して相対的な3D空間内の資産の位置を登録する。動作面積内に、任意の障害物または危険が存在する場合、それらは、分類され、3D空間内のそれらの位置が、登録される。重心トラッカは、いったん着目面積内の分類が、検出されると、アクティブ化され、着目物体を視野内の中心に保つ。測距算出エンジンは、ドローンの順方向および逆方向の移動を制御する。これらのコマンドのいずれかが、実行される前に、動作面積内に存在する資産および任意の障害物に対して相対的な3D空間内のドローンの位置が、取得される。本データは、ドローンを着目面積まで動かすであろう、安全なGPS通過点飛行経路を解析する、バックエンド論理を通して起動され、GPS拒否面積では、本飛行経路は、依然として、重心および測距機能性と併せて、慣性データのカルマンフィルタリングを使用して、解析および実行されることができる。飛行経路は、重心トラッカおよび測距算出エンジンを介して、リアルタイムに微調整される。重心トラッカは、DINN812ではなく、HAPSNN800によって実行され得ることに留意されたい。
ステップ855では、HAPSNN CNN(「HP-CNN」)は、標準的な物体検出ルーチン(例えば、YOLO)を使用して、その中の物体を検出するために、各画像を処理し、(下記にさらに議論される)その先行する訓練に基づいて、全ての検出された物体を識別(すなわち、分類)することを試みる。識別されることができない検出された物体は、データベース内に記憶され、識別および標識付けのために、人員にとって利用可能なものにされる(ステップ857)。HP-CNNは、次いで、新たに識別され、標識付けされた物体データを含む、拡張データセット上で再訓練され(ステップ859)、新たなCNN加重の生成を結果としてもたらす(ステップ862)。ドローン118上に常駐する、リアルタイムニューラルネットワーク825もまた、CNN(「RT-CNN」)である場合、HAPSNN800は、これらの加重をRT-CNNにプッシュし得、これは、それらを受信し、ロードする。すなわち、HP-CNNおよびRT-CNNは、HP-CNNのために生成されるCNN加重が、ドローン隊列を横断して、伝播され得るように、同じであり得る、または実質的に類似し得る。
HP-CNN(または、いくつかの実施形態では、それ自体の上のRT-CNN)は、従来の方式で訓練され得る。特に、CNNは、ドローンが、任務を実行するにつれて、ドローンによって遭遇される可能性が高い物体の標識付き画像上で訓練され、それらの典型的な飛行経路内で、ドローンによって遭遇される可能性が最も高い物体を分析および分類することが可能である、CNNをもたらす。訓練セットが、網羅的ではあり得ず、ドローンが、使用の間、未知の物体に必然的に遭遇するであろうため、認識されない物体の所在を突き止め、手動の標識付けのために、それらを記憶し、その後、拡張データセット上でCNNを再訓練する、上記に説明されるプロセスは、ドローンの視覚的ボキャブラリおよびアクションレパートリを絶えず充実させることによって、事故のリスクを最小限にすることに役立つ。これは、多くのドローンから分類不可能な物体を受信する、中央訓練ハブとして、HAPSNNを使用して、最も効率的に遂行され、最新の分類能力を反映するように、それらのニューラルネットワークの全てを更新された状態に保ち得るが、それにもかかわらず、本訓練および再訓練機能を個々のDINN上に実装することも可能性として考えられる。
図9A-13Eは、種々のドローンの用途、およびDINNが、ドローンの動作を制御および単純化するために使用され得る様式を図示する。図9Aでは、DINN812は、ドローン118が、より近接した調査を要求する異常または構造物を検出する際、リアルタイムに変化し得る飛行パターン910に従って調査されるようにするために、アンテナ900の周囲にドローン118を誘導する。例えば、図9Bに示されるように、飛行経路910は、障害物として認識されたであろう電力線915に、ドローン118が近寄らないように改変され得る。
図10を参照すると、アンテナ1000は、亀裂1005を有し、これは、DINN装備ドローンによって識別され得る。バックエンドは、アンテナ1000上の重心を固定し、画像入手を促進するために、アンテナを視野の中心に置くようにドローンを移動させるために、openCV機能を実行し得る。これは、カメラが、亀裂を良好に拾得するために十分な詳細を解析するために、ドローン118をアンテナに十分に接近して位置付けるために、既知のセンササイズ、レンズの性質、およびカメラの焦点分離のステレオRGBカメラによって生成される、深度マップと結合されることができる。ドローン118によって認識され得る他の障害は、構造上の腐食1010および塗装コーティング異常1015を含む。ドローン118ペイロードは、EMセンサおよび赤外線カメラ等の付加的なセンサを含み得、DINN812は、スペクトル分析および/または電磁算出エンジン等の付加的なモジュールを含み得る。これらは、ドローン118が、同軸コネクタ1025におけるPIMシグネチャ、および(アーク放電の可能性を示す)避雷器1030から発出する磁場等の他のEM異常、および異常な熱シグネチャ1035を検出することを有効にする。これらの条件は、ドローン118によって、または搭載算出エンジンを使用して、および/または上記に説明されるように、HAPSNN800と協働して、診断および観察され得る。DINN812はさらに、上記に議論されるように取得される、深度マップと、レーザ距離計/レーダ/超音波、またはドローンペイロードが最も正確な距離測定値を導出するために含有され得る、その他の測距センサとの間のデータ融合を起動するための測距算出エンジン、画像処理および(前述のように、重心設置等の)分析機能を実行するためのコンピュータビジョン算出エンジン、および/または可視スペクトル外の波長において取得される、赤外線および他の画像を分析するための赤外線および多重スペクトル算出エンジンを含み得る。
図11に示されるように、ドローン118が、通常の動作下においては、磁力線が、1110において示されるように、垂直であるが、異常な非垂直磁力線1105等の通常とは異なるEMシグネチャを資産1100から検出する場合、それは、異常を記録する、またはドローン118がHAPSNNと通信している実施形態では、それをHAPSNNに報告し得、これは、条件をより良好に診断するために、より特殊化された調査ペイロードを伴うドローンを自律的に呼び寄せ得る。ドローン118はまた、調査されることになる資産と通信する、または別様に相互作用し得る。図12では、ドローン118は、異常を示す、変換器1200内に記憶されるデータを読み取る。すなわち、変換器1200は、自己診断能力を有し、動作異常が、先立って検出されたとき、検出を示すデータが、内部に記憶されたことになる。変換器1200が、ドローン118によって定期的に調査され、異常な条件が、緊急の注意を要求しない場合、変換器が、検出に応じて、その存在を監督人員に通信することは、必要ではない場合がある。むしろ、ドローン118は、調査飛行を行うとき、全ての変換器のメモリに照会し、それによって、変換器の異常検出を示す、以前に記憶されたデータを入手することができる。これは、ドローン118に、条件の分類およびデータベース検索に応答して、(図に示されるような)より接近した調査を実施するように促し得る。繰り返しになるが、HAPSNNは、条件を認識し、新たな加重をドローン118のDINNに送信し、変換器1200を調査するにつれて、条件特定の分類を行うことを有効にする。
図13A-13Eは、DINN812が、複雑な調査環境を通して最適な飛行経路を確立し得る方法を示す。図13Aおよび13Bは、1310において集合的に示される、一連の発信伝送線と、電圧レギュレータ1315と、逓降変換器1320と、一連のスイッチ1325と、1つまたはそれを上回る避雷器1330と、1335において集合的に示される、受信伝送線とを含む、配電変電所1300を図示する。これらの構成要素のうちのいずれかは、異常または機能不良を発生し得、全てが、ドローン118によって調査され得る。図13Cおよび13Dに示されるように、ドローン118は、単独で、またはHAPSNNと連携して、DINNによる分析のための画像を集めるために、予備飛行パターン1350を実行し得る。DINN812は、ドローンの搭載カメラによって入手される画像を分析し、種々の構成要素1310-1335を分類する。これらの分類に基づいて、航行モジュール832(図8参照)またはバックエンドコードは、全ての構成要素1310-1335が、ドローン118によって適切かつ効率的に調査されることを可能にする、最適化された飛行計画1355を算出する。より詳細には、変電所1300内に存在する各構成要素は、予備調査飛行経路1350の間に分類され、これらは、GPSドリフトベクトル、および初期の飛行経路を中心とする障害物または不正確性に関連する、他の未知のものに適応させるために、変電所1300から遠く離れている。いったん構成要素が、分類されると、画像内のその位置、およびドローンの位置が、登録される。本プロセスは予備調査全体を通して、複数回繰り返され、バックエンドコードが、三角測量し、分類された各資産をそれぞれ、3D空間内に位置付けることを有効にし、したがって、ドローンおよびペイロードを資産により近接して動かすであろう、より正確な調査飛行経路が、算出されることができる。本新たな飛行計画1355が、次いで、実行され、再度、DINN812は、飛行経路が実行されるにつれて、資産を分類する。予備調査では、ドローンは、遠くに離れているため、DINN812は、画像入手デバイスの解像度が、固定されると、大きなアイテムのみを分類することができる。いったん、より近接した飛行経路1355が、実行されると、より多くの資産の詳細が、検出され、DINN812が、新たなアイテムを分類し、必要に応じて、ドローンの経路を再度調節することを有効にするであろう。測距算出エンジンは、容認可能かつ安全な限界と一致する、ドローンと資産との間の最近傍の許容可能な接近距離を算出する。
複雑な調査動作が、DINNによって最適化され得る、さらなる別の用途が、図14に図示されている。ここでは、目的は、「放射線中心」、すなわち、異なる標高において、電気通信構造物1400に搭載される、アンテナ1410、1415、1420のそれぞれの放射線の中心1410R、1415R、1420Rを検出および分類することである。DINNは、放射線中心を分類し、次いで、アンテナ毎に、重心を識別し、放射線中心をドローンカメラの視野の中心に動かし、それによって、気圧計の読取値(標高)が、記録されることができる。航行モジュール832は、次いで、本標高を使用し、ドローン118が、アンテナ構造の再構築のための3Dモデルデータを取得することを有効にする、軌道飛行経路を生成することができる。
DINN812は、サイバー攻撃を検出し、攻撃を緩和または無効化するために必要とされる、1つまたはそれを上回るアクションを決定し、アクションを達成させるように構成され得る。いくつかの事例では、これは、HAPSNN800に関与し得る。例えば、DINN812は、航行パッケージ832が、攻撃によって損なわれたことを検出し得、航行の制御をHAPSNN800に転送し、これは、リアルタイムに、ドローン118の場所、および画像入手デバイス827によって記録される画像を監視し、障害物の周囲において、ドローン118を航行させ、例えば、その開始場所または操作者の場所に戻し得る。他の場合では、DINN812は、サイバー攻撃の存在を認識するが、その特性を認識し得ない場合があり、本場合では、それに応答して、講じるべきアクションを識別することは、不可能であろう。本状況では、これは、攻撃の存在を明らかにしたデータをHAPSNN800に通信し得る。HAPSNN800は、単独で、または陸地資源との通信後に、攻撃の性質および緩和方略を推測し得、これは、ドローン118に通信され、繰り返しになるが、緩和方略は、ドローン118の動作のHAPSNN800による制御の引き受けを伴い得る。
ドローンをハイジャックし、その意図される飛行経路から離れて誘導するように設計される、GPSなりすまし攻撃、またはドローンとHAPSNNまたは陸地通信との間の接続を切断するように設計される、RF飽和攻撃の場合には、DINN812は、資産または他の目印に対して相対的に、ドローンの位置を追跡し、ドローン118が、他の方向へ航行させられることに抵抗する、または通信が、確実に再確立されるまで、安全な飛行経路を維持することを可能にすることができる。光学センサの方向感覚を喪失させる、または光を遮断することが意図されるレーザ攻撃の場合には、DINN812は、そのような攻撃によって生産されるパターンを認識および分類し、ドローンによる応答をトリガし、攻撃に反撃する、またはドローンの飛行経路を改変し、攻撃の源を回避することができる。
その最も単純な形態では、GPSなりすまし攻撃は、実際のGPSコンステレーションからのRF信号を不鮮明にする、RF信号から成る。なりすまし攻撃者は、実際の位置情報を、GPSが、その意図される場所から離れて移動していると考えるように混乱させるために必要とされる、いかなる情報とも置換する(基本的には、GPSなりすまし者は、GPSを移動させることを望む方向に、それが存在する必要がある場所まで戻って移動させるために、補正を行うように、GPSを誘導する)。資産までのドローン118の飛行経路は、通常、ドローンが実行する、GPS通過点を使用して、予め計画されるが、DINN812は、動作環境内で、資産および任意の障害物または危険を分類すると、飛行経路をリアルタイムに補正および調節するために、光学フローセンサを使用する。例えば、図15Aは、必ずしもそうではないが、可能性として、HAPS105によって誘導されている間の着目目的地までの飛行経路上のドローン118を示す。ドローン118の位置は、例えば、GPSおよび/または陸地セルラーネットワーク1515および/または航行援助施設に基づいて、HAPS105およびドローン自体によって監視される。車載RF源1505は、源1505の周囲の球状有効領域内のRF通信を抑制する、RF場1510を生成する。ドローンの飛行経路1420は、RF場1510を通して通過し、図14Bに示されるように、ドローン118がRF場1510に進入するとき、HAPS105および地上セルラーネットワーク1515との通信が切断される。攻撃の性質を認識すると、ドローン118のDINN812は、通信が、RF場1510によってもはや影響を受けることがなくなり、通信が、再確立されるまで、予めプログラムされた回避飛行経路1525の実行を引き起こす。DINN812は、単独で、またはより典型的には、HAPS105からの支援を伴って、(目的地、およびいくつかの場合では、RF場1510の推定される形状に基づいて)ドローン118を干渉するRF場1510の範囲外に保つ、新たな飛行計画1530を算出する。
特に、DINN812は、バックエンド論理、および動作環境の3Dマップを生成し、本環境内のドローン118、資産、および/または障害物の位置をプロットする、従来のアルゴリズムを介して、ドローン118のための新たな飛行経路をプロットすることができる。本データは、ニューラル算出エンジン825と関連付けられるメモリ内に記憶され、位置のリアルタイム算出および解析を有効にするように最適化され得る。これは、ドローンが、存在する必要のある場所に対して相対的に、かつ目印または障害物に対して相対的に、容易にドローンの実際の位置を追跡させる。カルマンフィルタリングは、システム832の慣性航行能力を使用して、ドローン118の移動を追跡するために適用されることができ、これは、ドローンの移動を追跡するために予め記憶される通過点の画像マッチング、コンパスデータ、RGBセンサを使用する資産または目印のオプティカルフロー追跡、全米航空航行援助施設の位置情報、および/またはGPS位置情報を利用し得る、ニューラルネットワーク分類と融合されるデータである。これは、DINN812が、リアルタイムに、本3D環境内のドローンの位置をプロットし、センサのうちの1つまたはそれを上回るものが、それが存在するべき場所、および他のセンサが、それが存在することを示す場所に対して相対的に、3D環境内の異なる位置にドローン118を置く、異常な読み取り値を与えているかどうかを検出することを有効にする。実施例として、なりすまし攻撃の間、GPSが、ドローン119が、その意図される通過点から離れて移動していることを示すが、慣性航行援助施設、目印を追跡しているオプティカルフローセンサ、および全米航空航行援助施設が、ドローン118が、通過点に向かって移動していることを示す場合、DINN812は、GPSなりすまし攻撃が、行われていることを認識するであろう。いったんシナリオが分類されると、攻撃に反撃するために、ドローンを操縦するように設計されるアルゴリズム、またはドローンを攻撃から離して移動させるように予めプログラムされた他の操作が、トリガされることができる。
DINN812とHAPSNN800との間のデータリンクは、典型的には、暗号化され、通信チャネルが開放される前に、各DINN812が、HAPSNN800によって識別されることを確実にするために、ハンドシェイクを活用し得る。これは、認可されていない通信の試み、または認可されていないユーザまたはDINNによるなりすましを防止する役割を果たす。
その最も単純な形態では、レーザまたは光学攻撃は、RGBカメラまたはIRカメラ等のオプティカルフローデバイスの撮像センサを損傷させるように設計される。センサが、損傷されない場合、シャッタ速度または口径開口部が、影響を受け、画像を不鮮明にし、したがって、パターンまたは色が、もはや区別することができず、それによって、センサが使用不可能となり得る。これは、事実上、ニューラルネットワークが、画像内のパターンを分類することができないため、オプティカルフローセンサが、航行目的のために使用されることを停止させる。そのようなシナリオは、例えば、センサが、具体的な方位において指向しているとき、所与の期間内に、所定の閾値数の不鮮明な写真が、検出されるかどうかを検出することは比較的容易である。アルゴリズムは、バックエンド論理を介してアクティブ化され、オプティカルフローセンサの方位を変更し、不鮮明な写真が、中止されるかどうかを検出することができる。その場合、かつセンサが、元々の方位に戻って指向されるときに、不鮮明な写真が、再開される場合、DINN812は、本シナリオをレーザ攻撃として認識および分類し、3D環境内の面積/方位を飛行禁止区域としてプロットするであろう。レーザまたは他の光学攻撃が、指向性であることを前提として、これは、実装されるべき単純な解決策である。例えば、図16Aは、必ずしもそうではないが、可能性として、HAPS105によって誘導されている間の着目目的地までの飛行経路1605上のドローン118を示す。ドローン118の位置は、例えば、GPSおよび/または陸地セルラーネットワーク1615および/または航行援助施設に基づいて、HAPS105およびドローン自体によって監視される。レーザ攻撃者1605は、ドローン118(図16B)を標的化し、DINN812は、レーザ攻撃のパターンを検出し、バックエンド論理が、回避アクションを実施することを有効にする。図16Cに示されるように、DINN812および/またはHAPS105のHAPSNNNは、レーザ攻撃の源1605の周囲に、またはそこから離れて、新たな飛行経路1620を生成し得る。
GPS信号、航法援助信号、およびHAPSNNまたは陸地通信ネットワークへのデータリンク信号が、全て同時に喪失される場合、DINN812は、シナリオをRF飽和攻撃として分類し、その時点でバックエンド論理が、ニューラル算出エンジン825と関連付けられる、メモリ内に記憶される3D環境を活用し、現在の動作環境外、かつそこから離れた経路をプロットする、従来のアルゴリズムを起動し得る。3Dプロットに対して相対的なドローン118の実際の飛行経路は、ドローン118が、RF通信を再確立することができるまで、オプティカルフローおよび慣性航行カルマンフィルタリングを使用して、監視および調節される。
本明細書に採用される用語および表現は、説明の用語および表現として使用され、限定されるものではなく、そのような用語および表現の使用において、示され、説明される特徴の任意の同等物またはその一部を除外する意図はない。加えて、本発明のある実施形態を説明したが、本明細書に開示される概念を組み込む他の実施形態が、本発明の精神および範囲から逸脱することなく使用され得ることは、当業者にとって明白であろう。故に、説明される実施形態は、全ての事項において、単に例示的なものあって、制限的なものではないとみなされるべきである。
請求される内容は、以下の通りである。
Claims (20)
- 無人航空機(UAV)であって、
ニューラル算出エンジンと、
飛行パッケージと、
航行システムと、
画像入手デバイスと、
複数のアジャイル送受信機を含む通信設備と、
複数の予め記憶された通過点および飛行画像を含むコンピュータメモリと、
コンピュータであって、前記コンピュータは、(a)前記UAVへの攻撃を検出し、(b)それに応答して、講じられるべき緩和アクションを識別し、(c)前記アクションを講じさせるように訓練された予測子への入力として、前記画像入手デバイス、通信アレイ、または航行システムのうちの1つまたはそれを上回るものから受信されるデータを使用するために、プロセッサと、前記コンピュータメモリ内に記憶され、前記プロセッサによって実行可能である命令とを含む、コンピュータと
を備える、無人航空機(UAV)。 - 前記攻撃は、GPSなりすましであり、前記アクションは、前記ドローンに、GPSを伴わずに航行させることと、予め記憶された通過点飛行計画に沿って、複数の全米航空航行援助施設に対して、前記アジャイル送受信機を調整することとである、請求項1に記載のUAV。
- 前記ドローンをGPSを伴わずに航行させることは、オプティカルフローまたは慣性航行を使用する航行を含む、請求項2に記載のUAV。
- 前記攻撃は、GPSなりすましであり、前記アクションは、高高度擬似衛星車両への航行制御の転送を引き起こすことである、請求項1に記載のUAV。
- 前記攻撃は、RF遮断であり、前記アクションは、外部通信を要求しない予めプログラムされる飛行計画の実行である、請求項1に記載のUAV。
- 前記予めプログラムされる飛行計画は、(i)前記予めプログラムされる通過点飛行計画に沿って前記ドローンを航行させるための慣性航行またはオプティカルフローのうちの少なくとも1つと、(ii)画像マッチングを使用して、前記ドローンが各通過点に到達した時間を分類することとに依拠する、請求項5に記載のUAV。
- 前記攻撃は、レーザ攻撃であり、前記アクションは、前記レーザから離れた飛行経路をプロットし、前記ドローンにそれを追従させることである、請求項1に記載のUAV。
- 前記コンピュータはさらに、前記緩和アクションを算出的に識別するために、高高度擬似衛星車両と通信するように構成される、請求項1に記載のUAV。
- 前記予測子は、ニューラルネットワークである、請求項1に記載のUAV。
- 前記通信設備は、陸地および上空管制システムと相互作用するように構成される、請求項1に記載のUAV。
- アクションのデータベースをさらに備え、前記コンピュータは、前記検出された攻撃に応答して、前記データベースから、アクションを選択し、その実行を引き起こすように構成される、請求項1に記載のUAV。
- 無人航空機(UAV)を動作させる方法であって、前記方法は、
前記UAVの飛行の間、リアルタイムにデジタル画像を入手するステップと、
前記UAVを航行させるためのGPS信号を入手するステップと、
無線信号を介して、陸地または上空インフラストラクチャと通信するステップと、
それに基づいて、前記入手されたデジタル画像、前記GPS信号、および/または無線通信信号を、前記UAVへの攻撃を検出するように訓練された予測子を用いて、分析するステップと、
前記検出された攻撃に応答して、講じられるべき緩和アクションを識別するステップと、
前記アクションを講じさせるステップと
を含む、方法。 - 前記攻撃は、GPSなりすましであり、前記アクションは、前記航行システムをGPSを伴わずに航行させることである、請求項12に記載の方法。
- 前記サイバー攻撃は、GPSなりすましであり、前記アクションは、高高度擬似衛星車両への航行制御の転送を引き起こすことである、請求項12に記載の方法。
- 前記攻撃は、RF遮断であり、前記アクションは、外部通信を要求しない飛行計画の実行である、請求項12に記載の方法。
- 前記攻撃は、レーザ攻撃であり、前記アクションは、前記レーザから離れた飛行経路をプロットし、前記ドローンにそれを追従させることである、請求項12に記載の方法。
- 前記緩和アクションを算出的に識別するために、高高度擬似衛星車両と通信することをさらに含む、請求項12に記載の方法。
- 前記予測子は、ニューラルネットワークである、請求項12に記載の方法。
- 前記通信設備は、陸地および上空管制システムと相互作用するように構成される、請求項12に記載の方法。
- 前記アクションは、アクションのデータベースから選択される、請求項12に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063068660P | 2020-08-21 | 2020-08-21 | |
US63/068,660 | 2020-08-21 | ||
PCT/US2021/070965 WO2022067278A2 (en) | 2020-08-21 | 2021-07-27 | Unmanned aerial vehicle with immunuty to hijacking, jamming, and spoofing attacks |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023538589A true JP2023538589A (ja) | 2023-09-08 |
Family
ID=80269307
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023512047A Pending JP2023538589A (ja) | 2020-08-21 | 2021-07-27 | ハイジャック、電波妨害、およびなりすまし攻撃に対する耐性を伴う無人航空機 |
JP2023512046A Pending JP2023538588A (ja) | 2020-08-21 | 2021-07-27 | 無人航空機および上空交通管理のためのニューラルネットワーク |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023512046A Pending JP2023538588A (ja) | 2020-08-21 | 2021-07-27 | 無人航空機および上空交通管理のためのニューラルネットワーク |
Country Status (4)
Country | Link |
---|---|
US (4) | US11783715B2 (ja) |
EP (2) | EP4200209A1 (ja) |
JP (2) | JP2023538589A (ja) |
WO (2) | WO2022040653A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020127797B4 (de) * | 2020-10-22 | 2024-03-14 | Markus Garcia | Sensorverfahren zum optischen Erfassen von Nutzungsobjekten zur Detektion eines Sicherheitsabstandes zwischen Objekten |
US20220309934A1 (en) * | 2021-03-23 | 2022-09-29 | Honeywell International Inc. | Systems and methods for detect and avoid system for beyond visual line of sight operations of urban air mobility in airspace |
CN115629401B (zh) * | 2022-12-22 | 2023-03-14 | 成都安则科技有限公司 | 一种无人机导航诱骗信号生成方法、系统、终端及介质 |
CN116261121B (zh) * | 2023-05-05 | 2023-07-21 | 山东省地质矿产勘查开发局八〇一水文地质工程地质大队(山东省地矿工程勘察院) | 一种无人机地质测绘数据传输方法及系统 |
CN116886878B (zh) * | 2023-09-08 | 2023-11-14 | 北京华联电力工程咨询有限公司 | 一种适用于电网基建设备的无人机巡检管理系统 |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10739770B2 (en) * | 2018-01-16 | 2020-08-11 | General Electric Company | Autonomously-controlled inspection platform with model-based active adaptive data collection |
US8060270B2 (en) * | 2008-02-29 | 2011-11-15 | The Boeing Company | System and method for inspection of structures and objects by swarm of remote unmanned vehicles |
US10836483B2 (en) * | 2009-09-11 | 2020-11-17 | Aerovironment, Inc. | Ad hoc dynamic data link repeater |
EP3103043B1 (en) * | 2014-09-05 | 2018-08-15 | SZ DJI Technology Co., Ltd. | Multi-sensor environmental mapping |
US9524648B1 (en) * | 2014-11-17 | 2016-12-20 | Amazon Technologies, Inc. | Countermeasures for threats to an uncrewed autonomous vehicle |
US10200073B2 (en) * | 2014-12-09 | 2019-02-05 | Northrop Grumman Systems Corporation | Launchable communications device for a distributed communication system |
DE102015204463A1 (de) * | 2015-03-12 | 2016-09-15 | Lufthansa Systems Gmbh & Co. Kg | Positionsunabhängige Datenübertragung aus einem Großraumverkehrsflugzeug |
JP6467520B2 (ja) * | 2015-03-31 | 2019-02-13 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 警報を発する方法及び警報システム |
CN107615822B (zh) * | 2015-04-10 | 2021-05-28 | 深圳市大疆创新科技有限公司 | 向无人飞行器提供通信覆盖范围的方法、设备和系统 |
AU2016297892B2 (en) * | 2015-07-27 | 2020-04-02 | Genghiscomm Holdings, LLC | Airborne relays in cooperative-MIMO systems |
US9725171B1 (en) * | 2015-09-25 | 2017-08-08 | Amazon Technologies, Inc. | Analyzing navigation data to detect navigation data spoofing |
EP3357214A4 (en) * | 2015-09-28 | 2019-10-23 | Department 13, Inc. | DETECTION OF THE INTRUSION OF AN UNMANUFACTURED AIRCRAFT AND COMPLEMENTS |
US10083614B2 (en) * | 2015-10-22 | 2018-09-25 | Drone Traffic, Llc | Drone alerting and reporting system |
US11138889B2 (en) * | 2016-03-25 | 2021-10-05 | Skydio, Inc. | Unmanned aerial vehicle airspace reservation and allocation system |
US11250709B2 (en) * | 2016-06-10 | 2022-02-15 | Metal Raptor, Llc | Drone air traffic control incorporating weather updates |
US11181375B2 (en) * | 2016-06-30 | 2021-11-23 | Skydio, Inc. | Dynamically adjusting UAV flight operations based on thermal sensor data |
US10236968B2 (en) * | 2016-08-18 | 2019-03-19 | Facebook, Inc. | High altitude point to multipoint links |
US10679509B1 (en) * | 2016-09-20 | 2020-06-09 | Amazon Technologies, Inc. | Autonomous UAV obstacle avoidance using machine learning from piloted UAV flights |
US11079489B2 (en) * | 2017-02-28 | 2021-08-03 | Honeywell International Inc. | Weather radar detection of objects |
US10374695B2 (en) | 2017-05-26 | 2019-08-06 | Loon Llc | Temporospatial software-defined networking for NGSO satellite networks |
EP3422038A1 (en) * | 2017-06-30 | 2019-01-02 | Deutsche Telekom AG | Unmanned aerial vehicle control system |
JP6689802B2 (ja) * | 2017-09-14 | 2020-04-28 | ソフトバンク株式会社 | 通信中継装置、システム及び管理装置 |
US20190130583A1 (en) * | 2017-10-30 | 2019-05-02 | Qualcomm Incorporated | Still and slow object tracking in a hybrid video analytics system |
US10477404B2 (en) * | 2017-12-15 | 2019-11-12 | Walmart Apolo, Llc | System and method for autonomous vehicle intrusion counter-measures |
JP6898258B2 (ja) * | 2018-01-05 | 2021-07-07 | ソフトバンク株式会社 | 通信システム及び無線中継装置 |
JP6813520B2 (ja) * | 2018-02-06 | 2021-01-13 | ソフトバンク株式会社 | システム、管理装置及び飛行方法 |
US10931687B2 (en) * | 2018-02-20 | 2021-02-23 | General Electric Company | Cyber-attack detection, localization, and neutralization for unmanned aerial vehicles |
US11372410B2 (en) * | 2018-04-19 | 2022-06-28 | Axon Enterprise, Inc. | Methods and apparatus for regulating a position of a drone |
EP3996058B1 (en) * | 2018-10-29 | 2024-03-06 | Hexagon Technology Center GmbH | Facility surveillance systems and methods |
US11288970B2 (en) * | 2019-02-21 | 2022-03-29 | Aveopt, Inc. | System and methods for monitoring unmanned traffic management infrastructure |
US11508056B2 (en) * | 2019-02-28 | 2022-11-22 | Measure Global, Inc. | Drone inspection analytics for asset defect detection |
US11259195B1 (en) * | 2019-03-15 | 2022-02-22 | Alarm.Com Incorporated | Security camera drone communication coupling to control and computing station |
US20210124352A1 (en) * | 2019-10-29 | 2021-04-29 | Loon Llc | Systems and Methods for Navigating Aerial Vehicles Using Deep Reinforcement Learning |
US11423789B2 (en) * | 2019-12-05 | 2022-08-23 | Rockwell Collins, Inc. | System and method for preventing inadvertent loss of command and control link to an unmanned aerial system |
US11705009B2 (en) * | 2019-12-05 | 2023-07-18 | Rockwell Collins, Inc. | System and method for optimizing mission fulfillment by unmanned aircraft systems (UAS) via dynamic atmospheric modeling |
US11211997B2 (en) * | 2019-12-16 | 2021-12-28 | Google Llc | Networking with HAPs and additional ground-based nodes |
US20210373580A1 (en) * | 2020-05-21 | 2021-12-02 | Edgar Emilio Morales Delgado | System and method for autonomous air traffic control of unmanned aerial vehicles |
-
2021
- 2021-07-27 JP JP2023512047A patent/JP2023538589A/ja active Pending
- 2021-07-27 JP JP2023512046A patent/JP2023538588A/ja active Pending
- 2021-07-27 US US17/443,578 patent/US11783715B2/en active Active
- 2021-07-27 US US17/443,573 patent/US20240118710A1/en active Pending
- 2021-07-27 EP EP21859292.1A patent/EP4200209A1/en active Pending
- 2021-07-27 WO PCT/US2021/070966 patent/WO2022040653A1/en unknown
- 2021-07-27 US US17/443,579 patent/US20220058960A1/en active Pending
- 2021-07-27 WO PCT/US2021/070965 patent/WO2022067278A2/en unknown
- 2021-07-27 EP EP21873657.7A patent/EP4200210A2/en active Pending
-
2023
- 2023-08-16 US US18/450,539 patent/US20230394979A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022040653A1 (en) | 2022-02-24 |
US20220058960A1 (en) | 2022-02-24 |
WO2022067278A2 (en) | 2022-03-31 |
EP4200210A2 (en) | 2023-06-28 |
WO2022067278A3 (en) | 2022-06-23 |
US20240118710A1 (en) | 2024-04-11 |
EP4200209A1 (en) | 2023-06-28 |
WO2022040653A8 (en) | 2022-09-09 |
JP2023538588A (ja) | 2023-09-08 |
US20230394979A1 (en) | 2023-12-07 |
US20220055749A1 (en) | 2022-02-24 |
US11783715B2 (en) | 2023-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shakhatreh et al. | Unmanned aerial vehicles (UAVs): A survey on civil applications and key research challenges | |
US20240118710A1 (en) | Unmanned aerial vehicle with immunuty to hijacking, jamming, and spoofing attacks | |
US20200162489A1 (en) | Security event detection and threat assessment | |
CN106249750B (zh) | 在无人驾驶飞行器上自主执行决策以完成任务的方法和装置 | |
US9310477B1 (en) | Systems and methods for monitoring airborne objects | |
US8265818B2 (en) | Open architecture command system | |
US20210065564A1 (en) | Unmanned aerial system automated threat assessment | |
US11807362B2 (en) | Systems and methods for autonomous navigation and computation of unmanned vehicles | |
US20220390964A1 (en) | Cloud & hybrid-cloud flight vehicle & robotic control system ai & ml enabled cloud-based software & data system method for the optimization and distribution of flight control & robotic system solutions and capabilities | |
CN111819610A (zh) | 用于无人驾驶飞行器和载人飞行器的空中态势信息和交通管理系统 | |
Kuru et al. | Towards mid-air collision-free trajectory for autonomous and pilot-controlled unmanned aerial vehicles | |
Nonami | Present state and future prospect of autonomous control technology for industrial drones | |
EP3989034A1 (en) | Automatic safe-landing-site selection for unmanned aerial systems | |
Souli et al. | Multi-agent system for rogue drone interception | |
Dwivedi et al. | Intelligent autonomous drones in Industry 4.0 | |
Minwalla et al. | Experimental evaluation of PICAS: An electro-optical array for non-cooperative collision sensing on unmanned aircraft systems | |
Campaña et al. | Air tracking and monitoring for unmanned aircraft traffic management | |
WO2017120618A1 (en) | System and method for autonomous vehicle air traffic control | |
Tchouchenkov et al. | Detection, recognition and counter measures against unwanted UAVS | |
Vetrella et al. | Requirements, platform specifications, and system architectures for future unmanned traffic management systems | |
Filippone et al. | Perspective and ATM Impact of Detect And Avoid Integration in Tactical and MALE RPAS | |
US20230061934A1 (en) | Neural network-guided passive sensor drone inspection system | |
Kim et al. | System-of-systems for remote situational awareness: Integrating unattended ground sensor systems with autonomous unmanned aerial system and android team awareness kit | |
Ray | Machine Learning Based Spectrum Fingerprinting of Drones for Defensive Cyber Operations | |
Arroyo Izquierdo | Evaluation of Non-Cooperative Sensors for Sense and Avoid in UAV Systems |