JP7406655B2 - 航空機の音響ベースの検知及び回避 - Google Patents
航空機の音響ベースの検知及び回避 Download PDFInfo
- Publication number
- JP7406655B2 JP7406655B2 JP2022565730A JP2022565730A JP7406655B2 JP 7406655 B2 JP7406655 B2 JP 7406655B2 JP 2022565730 A JP2022565730 A JP 2022565730A JP 2022565730 A JP2022565730 A JP 2022565730A JP 7406655 B2 JP7406655 B2 JP 7406655B2
- Authority
- JP
- Japan
- Prior art keywords
- audio signal
- aircraft
- intruder
- signal
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 65
- 230000005236 sound signal Effects 0.000 claims description 226
- 238000000034 method Methods 0.000 claims description 51
- 238000010801 machine learning Methods 0.000 claims description 45
- 238000013136 deep learning model Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 9
- 230000033001 locomotion Effects 0.000 claims description 7
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 44
- 238000004422 calculation algorithm Methods 0.000 description 25
- 238000013528 artificial neural network Methods 0.000 description 15
- 230000004807 localization Effects 0.000 description 15
- 239000013598 vector Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 6
- 230000002596 correlated effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000003278 mimic effect Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 238000000342 Monte Carlo simulation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010006 flight Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/04—Anti-collision systems
- G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
- G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/003—Flight plan management
- G08G5/0039—Modification of a flight plan
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0047—Navigation or guidance aids for a single aircraft
- G08G5/0052—Navigation or guidance aids for a single aircraft for cruising
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0047—Navigation or guidance aids for a single aircraft
- G08G5/006—Navigation or guidance aids for a single aircraft in accordance with predefined flight zones, e.g. to avoid prohibited zones
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0073—Surveillance aids
- G08G5/0078—Surveillance aids for monitoring traffic from the aircraft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Description
本出願は、「航空機の音響ベースの検知及び回避(ACOUSTIC BASED DETECTION AND AVOIDANCE FOR AIRCRAFT)」という名称の2020年9月24日出願の米国仮特許出願第63/082,838号、「マイクロフォンアレイを備えた無人航空機システム(UNMANNED AIRCRAFT SYSTEM WITH MICROPHONE ARRAY)」という名称の2019年12月31日出願の米国仮特許出願第62/955,946号、「マイクロフォンアレイを備えた無人航空機システム(UNMANNED AIRCRAFT SYSTEM WITH MICROPHONE ARRAY)」という名称の2020年3月2日出願の米国仮特許出願第62/984,266号、及び「マイクロフォンアレイを備えた無人航空機システム(UNMANNED AIRCRAFT SYSTEM WITH MICROPHONE ARRAY)」という名称の2020年5月7日出願の米国仮特許出願第63/021,633号の優先権と利益を主張するものであり、これらの開示全体は参照によりその全体が本明細書に組み込まれる。
〔付記1〕
航空機のオーディオセンサでオーディオ信号を受信するステップと、
前記受信したオーディオ信号を解析し、前記オーディオ信号のソースの方向情報を確定するステップと、
前記方向情報に基づいて、前記オーディオ信号のソースの位置を確定するステップと、
を含む方法。
〔付記2〕
前記オーディオ信号の前記ソースの位置は、機械学習モデル又は確率的追尾の少なくとも1つを使用して確定される、付記1に記載の方法。
〔付記3〕
前記受信したオーディオ信号を解析するステップが、
第1の時点での前記受信オーディオ信号と前記センサの幾何学的形状とに基づいて、前記信号ソースの第1の方向情報を確定するステップと、
第2の時点での前記受信オーディオ信号の変化に少なくとも基づいて、前記信号ソースの第2の方向情報を確定するステップと、
を含む、付記1に記載の方法。
〔付記4〕
前記第2の方向情報は、前記航空機の情報収集マヌーバに応答した前記受信信号の変化に基づいて確定される、付記3に記載の方法。
〔付記5〕
前記方向情報は深層学習モデルを用いて確定される、付記1に記載の方法。
〔付記6〕
更に、機械学習モデルを使用して、前記オーディオ信号が侵入機に関連することを確定するステップを含む、付記1に記載の方法。
〔付記7〕
更に、前記オーディオ信号が前記侵入機に関連しているという前記確定に応答して、前記航空機によって初期マヌーバを実行するステップを含む、付記6に記載の方法。
〔付記8〕
更に、前記初期マヌーバの開始後に収集された前記侵入機に関する情報に基づいて、1つ以上の追加マヌーバを実行するステップを含む、付記7に記載の方法。
〔付記9〕
更に、前記航空機の前記センサで受信した前記オーディオ信号をビームフォーミングして、ビームフォーミングされた信号を生成するステップを含む、付記1に記載の方法。
〔付記10〕
更に、前記ビームフォーミングされた信号を、既知の航空機の周波数を含む複数のフィルタと比較して、前記オーディオ信号が侵入機に関連することを確定するステップを含む、付記9に記載の方法。
〔付記11〕
更に、従来型モデル、機械学習モデル、及び深層学習モデルのうちの1つ以上を使用して、前記ビームフォーミングされたオーディオ信号と侵入機との間の関連付けを確定するステップを含む、付記9に記載の方法。
〔付記12〕
前記複数のフィルタの各々は、ベース周波数と、前記ベース周波数の高調波とを含む、付記10に記載の方法。
〔付記13〕
前記オーディオ信号の前記ソースの位置は、追加のセンサモダリティを使用して収集された前記オーディオ信号の前記ソースに関する追加の情報に更に基づいている、付記1に記載の方法。
〔付記14〕
前記オーディオ信号の前記ソースの前記位置は動的に更新され、前記オーディオ信号の前記ソースの前記位置に関する信頼性情報を含む、付記1に記載の方法。
〔付記15〕
更に、前記オーディオ信号の前記ソースが前記航空機の規定レンジ内にあるかどうかを確定するステップを含む、付記1に記載の方法。
〔付記16〕
命令でコード化された1つ以上の非一時的コンピュータ可読媒体であって、前記命令は、音響航空機検知システムの1つ以上のプロセッサによって実行されると、前記音響航空機検知システムに、
前記音響航空機検知システムによって受信されたオーディオ信号を解析させて、前記オーディオ信号の前記ソースの方向情報を確定させ、
前記方向情報に基づいて、前記オーディオ信号の前記ソースの位置の推定を生成させる、
1つ以上の非一時的コンピュータ可読媒体。
〔付記17〕
前記音響航空機検知システムによって受信された前記オーディオ信号は、前記オーディオ信号の前記ソースの方向情報を確定する為に機械学習モデルに提供される、付記16に記載の1つ以上の非一時的コンピュータ可読媒体。
〔付記18〕
前記命令は更に、前記音響航空機検知システムに、
前記機械学習モデルによって前記オーディオ信号を解析させ、前記オーディオ信号が侵入機に関連するかどうかを確定させる、
付記17に記載の1つ以上の非一時的コンピュータ可読媒体。
〔付記19〕
前記機械学習モデルは、前記オーディオ信号が侵入機に関連するかどうかを確定する為に、他の航空機のベースラインデータを使用して訓練される、付記18に記載の1つ以上の非一時的コンピュータ可読媒体。
〔付記20〕
前記命令は更に、前記音響航空機検知システムに、前記受信したオーディオ信号をビームフォーミングさせ、前記ビームフォーミングされたオーディオ信号を前記機械学習モデルに提供させる、付記18に記載の1つ以上の非一時的コンピュータ可読媒体。
〔付記21〕
航空機の音響検知システムで、マルチチャネルオーディオ信号を受信するステップと、
前記マルチチャネルオーディオ信号に基づいて、前記マルチチャネルオーディオ信号が侵入機に関連することを確定するステップと、
前記航空機の初期マヌーバを指令するステップと、を含む方法。
〔付記22〕
前記初期マヌーバは、前記侵入機に対する前記オーディオ信号の特性の変化を引き起こす、付記21に記載の方法。
〔付記23〕
更に、前記航空機が前記初期回避マヌーバを実行している間に、前記航空機の前記音響検知システムで追加のマルチチャネルオーディオ信号を受信するステップと、
前記追加のマルチチャネルオーディオ信号を機械学習モデルへの入力として提供し、前記侵入機の方向情報を確定するステップと、を含む、付記21に記載の方法。
〔付記24〕
無人航空機(UAV)であって、
前記UAVに接続された複数の音響センサと、
1つ以上のプロセッサを含む音響航空機検知システムであって、前記音響航空機検知システムは、
前記複数の音響センサによって受信されたオーディオ信号を解析し、前記UAVに対する侵入機の3次元空間における推定を生成するように構成されている、無人航空機(UAV)。
〔付記25〕
更に、前記UAVの動きを制御する為に1つ以上の制御システムと通信するように構成された飛行制御装置を備え、前記飛行制御装置は更に、前記音響航空機検知システムから通信を受信することで、前記UAVの情報収集マヌーバを開始するように構成されている、付記24に記載のUAV。
〔付記26〕
前記音響航空機検知システムは、前記UAVが前記情報収集マヌーバを実行する際に、前記侵入機からの前記オーディオ信号に少なくとも部分的に基づいて、前記UAVに対する前記侵入機の空間における推定を生成するように構成されている、付記25に記載のUAV。
〔付記27〕
前記音響航空機検知システムは、前記UAVに接続された前記複数の音響センサの幾何学的形状に少なくとも部分的に基づいて、前記UAVに対する前記侵入機の空間における前記推定を生成するように構成される、付記24に記載のUAV。
〔付記28〕
前記音響航空機検知システムは、少なくとも深層学習モデルを使用して、前記侵入機の空間における前記推定を生成するように構成されている、付記24に記載のUAV。
〔付記29〕
前記音響航空機検知システムは更に、前記複数の音響センサによって受信されたオーディオ信号が前記侵入機に関連するかどうかを確定するように構成される、付記24に記載のUAV。
〔付記30〕
航空機の音響検知システムで、マルチチャネルオーディオ信号を受信するステップと、
前記マルチチャネルオーディオ信号に基づいて、前記マルチチャネルオーディオ信号が侵入機に関連することを確定するステップと、
前記マルチチャネルオーディオ信号に基づいて、前記侵入機を複数の可能なタイプの航空機のうちの1つとして分類するステップと、を含む方法。
101 球面検知ゾーン
102 侵入機
103 球面回避ゾーン
104 航空機制御部
106 DAAノード
108 処理部
110 メモリ
112a~n アレイ要素112
114a~n マイクロフォン
600 コンピュータシステム
602 処理要素
604 入出力インターフェース
606 ディスプレイ
608 メモリ構成要素
610 ネットワークインターフェース
612 外部デバイス
Claims (21)
- 航空機のオーディオセンサでオーディオ信号を受信するステップと、
前記受信したオーディオ信号を解析し、前記オーディオ信号のソースの方向情報を確定するステップであって、
第1の時点での前記受信オーディオ信号と前記センサの幾何学的形状とに基づいて、前記信号ソースの第1の方向情報を確定し、
第2の時点での前記受信オーディオ信号の変化に少なくとも基づいて、前記信号ソースの第2の方向情報を確定し、
前記方向情報は深層学習モデルを用いて確定される、
ことによって、前記オーディオ信号のソースの方向情報を確定するステップと、
前記方向情報に基づいて、前記オーディオ信号のソースの位置を確定するステップであって、前記位置は、前記航空機に対する3次元空間内であり、前記オーディオ信号の前記ソースの位置は、機械学習モデル又は確率的追尾の少なくとも1つを使用して確定される、ステップと、
機械学習モデルを使用して、前記オーディオ信号が侵入機に関連することを確定するステップと、
を含む方法。 - 前記第2の方向情報は、前記航空機の情報収集マヌーバに応答した前記受信信号の変化に基づいて確定される、請求項1に記載の方法。
- 更に、前記オーディオ信号が前記侵入機に関連しているという前記確定に応答して、前記航空機によって初期マヌーバを実行するステップを含む、請求項1に記載の方法。
- 更に、前記初期マヌーバの開始後に収集された前記侵入機に関する情報に基づいて、1つ以上の追加マヌーバを実行するステップを含む、請求項3に記載の方法。
- 更に、前記航空機の前記センサで受信した前記オーディオ信号をビームフォーミングして、ビームフォーミングされた信号を生成するステップを含む、請求項1に記載の方法。
- 更に、前記ビームフォーミングされた信号を、既知の航空機の周波数を含む複数のフィルタと比較して、前記オーディオ信号が侵入機に関連することを確定するステップを含む、請求項5に記載の方法。
- 更に、従来型モデル、機械学習モデル、及び深層学習モデルのうちの1つ以上を使用して、前記ビームフォーミングされたオーディオ信号と侵入機との間の関連付けを確定するステップを含む、請求項5に記載の方法。
- 前記複数のフィルタの各々は、ベース周波数と、前記ベース周波数の高調波とを含む、請求項6に記載の方法。
- 前記オーディオ信号の前記ソースの位置は、追加のセンサモダリティを使用して収集された前記オーディオ信号の前記ソースに関する追加の情報に更に基づいている、請求項1に記載の方法。
- 前記オーディオ信号の前記ソースの前記位置は動的に更新され、前記オーディオ信号の前記ソースの前記位置に関する信頼性情報を含む、請求項1に記載の方法。
- 更に、前記オーディオ信号の前記ソースが前記航空機の規定レンジ内にあるかどうかを確定するステップを含む、請求項1に記載の方法。
- 命令でコード化された1つ以上の非一時的コンピュータ可読媒体であって、前記命令は、音響航空機検知システムの1つ以上のプロセッサによって実行されると、前記音響航空機検知システムに、
前記音響航空機検知システムによって受信されたオーディオ信号を解析させ、
第1の時点での前記受信オーディオ信号と前記音響航空機検知システムのオーディオセンサの幾何学的形状とに基づいて、前記信号ソースの第1の方向情報を確定させ、
第2の時点での前記受信オーディオ信号の変化に少なくとも基づいて、前記信号ソースの第2の方向情報を確定させる、
ことにより、前記オーディオ信号の前記ソースの方向情報を確定させ、
前記方向情報に基づいて、前記オーディオ信号の前記ソースの位置であって、前記音響航空機検知システムに対する3次元空間内の位置の推定を生成させ、前記音響航空機検知システムによって受信された前記オーディオ信号は、前記オーディオ信号の前記ソースの方向情報を確定する為に機械学習モデルに提供され、前記オーディオ信号の前記ソースの位置は、機械学習モデル又は確率的追尾の少なくとも1つを使用して確定され、
前記機械学習モデルによって前記オーディオ信号を解析させ、前記オーディオ信号が侵入機に関連するかどうかを確定させる、
1つ以上の非一時的コンピュータ可読媒体。 - 前記機械学習モデルは、前記オーディオ信号が侵入機に関連するかどうかを確定する為に、他の航空機のベースラインデータを使用して訓練される、請求項12に記載の1つ以上の非一時的コンピュータ可読媒体。
- 前記命令は更に、前記音響航空機検知システムに、前記受信したオーディオ信号をビームフォーミングさせ、前記ビームフォーミングされたオーディオ信号を前記機械学習モデルに提供させる、請求項12に記載の1つ以上の非一時的コンピュータ可読媒体。
- 航空機の音響検知システムで、マルチチャネルオーディオ信号を受信するステップであって、前記マルチチャネルオーディオ信号のソースの方向情報は深層学習モデルを用いて確定される、当該受信するステップと、
機械学習モデルを使用して、前記マルチチャネルオーディオ信号に基づいて、前記マルチチャネルオーディオ信号を、航空機の種類に対応する既知の航空機音声信号と比較することにより、前記マルチチャネルオーディオ信号が侵入機に関連することを確定するステップであって、前記マルチチャネルオーディオ信号のソースの位置は、機械学習モデル又は確率的追尾の少なくとも1つを使用して確定される、当該確定するステップと、
前記航空機の初期マヌーバを指令するステップと、を含む方法。 - 前記初期マヌーバは、前記侵入機に対する前記オーディオ信号の特性の変化を引き起こす、請求項15に記載の方法。
- 更に、前記航空機が前記初期回避マヌーバを実行している間に、前記航空機の前記音響検知システムで追加のマルチチャネルオーディオ信号を受信するステップと、
前記追加のマルチチャネルオーディオ信号を機械学習モデルへの入力として提供し、前記侵入機の方向情報を確定するステップと、を含む、請求項15に記載の方法。 - 無人航空機(UAV)であって、
前記UAVに接続された複数の音響センサと、
1つ以上のプロセッサを含む音響航空機検知システムであって、前記音響航空機検知システムは、
前記複数の音響センサによって受信されたオーディオ信号を解析し、前記UAVに接続された前記複数の音響センサの幾何学的形状に少なくとも部分的に基づいて、前記UAVに対する侵入機の3次元空間における推定を生成するように構成され、
少なくとも深層学習モデルを使用して、前記侵入機の空間における前記推定を生成するように構成され、且つ
機械学習モデルを使用して、前記複数の音響センサによって受信されたオーディオ信号が前記侵入機に関連するかどうかを確定するように構成されており、
前記オーディオ信号のソースの方向情報は深層学習モデルを用いて確定され、
前記オーディオ信号のソースの位置は、機械学習モデル又は確率的追尾の少なくとも1つを使用して確定される、無人航空機(UAV)。 - 更に、前記UAVの動きを制御する為に1つ以上の制御システムと通信するように構成された飛行制御装置を備え、前記飛行制御装置は更に、前記音響航空機検知システムから通信を受信することで、前記UAVの情報収集マヌーバを開始するように構成されている、請求項18に記載のUAV。
- 前記音響航空機検知システムは、前記UAVが前記情報収集マヌーバを実行する際に、前記侵入機からの前記オーディオ信号に少なくとも部分的に基づいて、前記UAVに対する前記侵入機の空間における推定を生成するように構成されている、請求項19に記載のUAV。
- 航空機の音響検知システムで、マルチチャネルオーディオ信号を受信するステップであって、前記マルチチャネルオーディオ信号のソースの方向情報は深層学習モデルを用いて確定される、当該受信するステップと、
機械学習モデルを使用して、前記マルチチャネルオーディオ信号に基づいて、前記マルチチャネルオーディオ信号が侵入機に関連することを確定するステップであって、前記マルチチャネルオーディオ信号のソースの位置は、機械学習モデル又は確率的追尾の少なくとも1つを使用して確定される、当該確定するステップと、
前記マルチチャネルオーディオ信号に基づいて、前記侵入機を複数の可能なタイプの航空機のうちの1つとして分類するステップと、を含む方法。
Applications Claiming Priority (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962955946P | 2019-12-31 | 2019-12-31 | |
US62/955,946 | 2019-12-31 | ||
US202062984266P | 2020-03-02 | 2020-03-02 | |
US62/984,266 | 2020-03-02 | ||
US202063021633P | 2020-05-07 | 2020-05-07 | |
US63/021,633 | 2020-05-07 | ||
US202063082838P | 2020-09-24 | 2020-09-24 | |
US63/082,838 | 2020-09-24 | ||
PCT/US2020/067464 WO2021138420A1 (en) | 2019-12-31 | 2020-12-30 | Acoustic based detection and avoidance for aircraft |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023508611A JP2023508611A (ja) | 2023-03-02 |
JP7406655B2 true JP7406655B2 (ja) | 2023-12-27 |
Family
ID=76686793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022565730A Active JP7406655B2 (ja) | 2019-12-31 | 2020-12-30 | 航空機の音響ベースの検知及び回避 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210225182A1 (ja) |
EP (1) | EP4085444A4 (ja) |
JP (1) | JP7406655B2 (ja) |
WO (1) | WO2021138420A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230130515A1 (en) * | 2021-08-18 | 2023-04-27 | The Boeing Company | Systems and methods for confirming identity and location of an aircraft within an airspace |
US20230073163A1 (en) * | 2021-09-08 | 2023-03-09 | Ge Aviation Systems Llc | Systems and methods for airspace management |
FR3127616B1 (fr) * | 2021-09-27 | 2024-03-22 | Thales Sa | Procédé de gestion d’évitement aérien |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011112370A (ja) | 2009-11-24 | 2011-06-09 | Nec Corp | 信号源探索方法及び信号源探索システム |
US20150302858A1 (en) | 2014-04-22 | 2015-10-22 | Brian Hearing | Drone detection and classification methods and apparatus |
JP2017501475A (ja) | 2014-09-05 | 2017-01-12 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 状況に基づく飛行モード選択 |
JP2017044916A (ja) | 2015-08-27 | 2017-03-02 | 本田技研工業株式会社 | 音源同定装置および音源同定方法 |
JP2017156122A (ja) | 2016-02-29 | 2017-09-07 | 沖電気工業株式会社 | 制御装置、制御方法、及び探知システム |
JP2018090117A (ja) | 2016-12-05 | 2018-06-14 | 株式会社エンルートM’s | 無人飛行装置、無人飛行方法及び無人飛行プログラム |
JP2019105891A (ja) | 2017-12-08 | 2019-06-27 | 三菱重工業株式会社 | 制御装置、無人システム、制御方法及びプログラム |
Family Cites Families (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7765083B2 (en) * | 2004-06-10 | 2010-07-27 | Bae Systems Information And Electronic Systems Integration Inc. | Method and apparatus for detecting sources of projectiles |
US20100121574A1 (en) * | 2006-09-05 | 2010-05-13 | Honeywell International Inc. | Method for collision avoidance of unmanned aerial vehicle with other aircraft |
US7606115B1 (en) * | 2007-10-16 | 2009-10-20 | Scientific Applications & Research Associates, Inc. | Acoustic airspace collision detection system |
US7864096B2 (en) * | 2008-01-23 | 2011-01-04 | Aviation Communication & Surveillance Systems Llc | Systems and methods for multi-sensor collision avoidance |
US8543265B2 (en) * | 2008-10-20 | 2013-09-24 | Honeywell International Inc. | Systems and methods for unmanned aerial vehicle navigation |
FR3015100B1 (fr) * | 2013-12-16 | 2015-12-25 | Eurocopter France | Procede de detection et d'affichage d'un risque de collision pour un aeronef, generant une alarme de synthese relative a un evitement d'obstacle verticalement vers le haut |
EP3161502B1 (en) * | 2014-08-29 | 2020-04-22 | SZ DJI Technology Co., Ltd. | An unmanned aerial vehicle (uav) for collecting audio data |
US9761147B2 (en) * | 2014-12-12 | 2017-09-12 | Amazon Technologies, Inc. | Commercial and general aircraft avoidance using light pattern detection |
US9997079B2 (en) * | 2014-12-12 | 2018-06-12 | Amazon Technologies, Inc. | Commercial and general aircraft avoidance using multi-spectral wave detection |
US9685089B2 (en) * | 2014-12-12 | 2017-06-20 | Amazon Technologies, Inc. | Commercial and general aircraft avoidance using acoustic pattern recognition |
CN107110963B (zh) * | 2015-02-03 | 2021-03-19 | 深圳市大疆创新科技有限公司 | 用于利用声音检测飞行器位置和速度的系统及方法 |
US10317518B2 (en) * | 2015-07-20 | 2019-06-11 | Brigham Young University (Byu) | Phased array radar systems for small unmanned aerial vehicles |
JP6942909B2 (ja) * | 2015-07-27 | 2021-09-29 | ジェンギスコム ホールディングス エルエルシーGenghiscomm Holdings, Llc | 協調的mimoシステムにおける空中中継器 |
US10586464B2 (en) * | 2015-07-29 | 2020-03-10 | Warren F. LeBlanc | Unmanned aerial vehicles |
EP3357040A4 (en) * | 2015-09-30 | 2019-06-26 | Alarm.com Incorporated | SYSTEMS FOR DRILL DETECTION |
GB201519634D0 (en) * | 2015-11-06 | 2015-12-23 | Squarehead Technology As | UAV detection |
WO2017139001A2 (en) * | 2015-11-24 | 2017-08-17 | Droneshield, Llc | Drone detection and classification with compensation for background clutter sources |
US10379534B2 (en) * | 2016-01-28 | 2019-08-13 | Qualcomm Incorporated | Drone flight control |
US10101196B2 (en) * | 2016-02-17 | 2018-10-16 | Qualcomm Incorporated | Device for UAV detection and identification |
US10582321B2 (en) * | 2016-09-29 | 2020-03-03 | Verizon Patent And Licensing Inc. | Identification of unmanned aerial vehicles based on audio signatures |
US10370093B1 (en) * | 2016-11-16 | 2019-08-06 | Amazon Technologies, Inc. | On-demand drone noise measurements |
CN108885461A (zh) * | 2016-12-01 | 2018-11-23 | 深圳市大疆创新科技有限公司 | 用于静止对象和运动对象的无人机飞行限制的系统和方法 |
RU2757549C2 (ru) * | 2017-01-06 | 2021-10-18 | Аурора Флайт Сайенсиз Корпорейшн | Система и способ для предупреждения столкновений беспилотного летательного аппарата |
US20210255356A1 (en) * | 2017-06-08 | 2021-08-19 | The Regents Of The University Of Colorado, A Body Corporate | Drone presence detection |
US10921437B2 (en) * | 2017-07-13 | 2021-02-16 | Databuoy Corporation | Object tracking in an area of distributed sensors |
US11136105B2 (en) * | 2017-08-02 | 2021-10-05 | Joby Elevate, Inc. | VTOL aircraft for network system |
US10489649B2 (en) * | 2017-09-28 | 2019-11-26 | At&T Intellectual Property I, L.P. | Drone data locker system |
US11792566B2 (en) * | 2018-01-08 | 2023-10-17 | Soundskrit Inc. | Directional microphone and system and method for capturing and processing sound |
WO2019178626A1 (de) * | 2018-03-19 | 2019-09-26 | Seven Bel Gmbh | Vorrichtung, system und verfahren zur räumlichen lokalisierung von schallquellen |
EP3547308B1 (en) * | 2018-03-26 | 2024-01-24 | Sony Group Corporation | Apparatuses and methods for acoustic noise cancelling |
WO2019221613A1 (en) * | 2018-05-16 | 2019-11-21 | Dotterel Technologies Limited | Systems and methods for audio capture |
US10867519B2 (en) * | 2018-05-31 | 2020-12-15 | The Boeing Company | Aircraft flight information system and method |
US10935630B2 (en) * | 2018-08-27 | 2021-03-02 | United States Of America As Represented By The Secretary Of The Navy | Method for three-dimensional tracking of sinusoidal acoustic source using a rotating microphone |
US11594142B1 (en) * | 2018-12-12 | 2023-02-28 | Scientific Applications & Research Associates, Inc | Terrestrial acoustic sensor array |
CN113228704A (zh) * | 2018-12-27 | 2021-08-06 | 索尼集团公司 | 信息处理装置、信息处理方法和程序 |
US11531100B2 (en) * | 2019-06-13 | 2022-12-20 | The Boeing Company | Methods and systems for acoustic machine perception for an aircraft |
US11288973B2 (en) * | 2019-08-28 | 2022-03-29 | University Of North Dakota | Unmanned aerial system automated threat assessment |
US11641544B2 (en) * | 2019-11-20 | 2023-05-02 | Intel Corporation | Lightweight full 360 audio source location detection with two microphones |
EP4085445A4 (en) * | 2019-12-31 | 2024-02-21 | Zipline Int Inc | CORRELATED MOTION AND DETECTION FOR AIRCRAFT |
US11765494B2 (en) * | 2019-12-31 | 2023-09-19 | Zipline International Inc. | Acoustic probe array for aircraft |
-
2020
- 2020-12-30 US US17/138,063 patent/US20210225182A1/en active Pending
- 2020-12-30 WO PCT/US2020/067464 patent/WO2021138420A1/en unknown
- 2020-12-30 EP EP20908448.2A patent/EP4085444A4/en active Pending
- 2020-12-30 JP JP2022565730A patent/JP7406655B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011112370A (ja) | 2009-11-24 | 2011-06-09 | Nec Corp | 信号源探索方法及び信号源探索システム |
US20150302858A1 (en) | 2014-04-22 | 2015-10-22 | Brian Hearing | Drone detection and classification methods and apparatus |
JP2017501475A (ja) | 2014-09-05 | 2017-01-12 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 状況に基づく飛行モード選択 |
JP2017044916A (ja) | 2015-08-27 | 2017-03-02 | 本田技研工業株式会社 | 音源同定装置および音源同定方法 |
JP2017156122A (ja) | 2016-02-29 | 2017-09-07 | 沖電気工業株式会社 | 制御装置、制御方法、及び探知システム |
JP2018090117A (ja) | 2016-12-05 | 2018-06-14 | 株式会社エンルートM’s | 無人飛行装置、無人飛行方法及び無人飛行プログラム |
JP2019105891A (ja) | 2017-12-08 | 2019-06-27 | 三菱重工業株式会社 | 制御装置、無人システム、制御方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP4085444A4 (en) | 2024-04-10 |
EP4085444A1 (en) | 2022-11-09 |
US20210225182A1 (en) | 2021-07-22 |
WO2021138420A1 (en) | 2021-07-08 |
JP2023508611A (ja) | 2023-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7406655B2 (ja) | 航空機の音響ベースの検知及び回避 | |
Taha et al. | Machine learning-based drone detection and classification: State-of-the-art in research | |
US11783712B1 (en) | Unmanned vehicle recognition and threat management | |
US20100305857A1 (en) | Method and System for Visual Collision Detection and Estimation | |
US11531100B2 (en) | Methods and systems for acoustic machine perception for an aircraft | |
JP7406656B2 (ja) | 航空機の相関動作及び検知 | |
Siewert et al. | Drone net architecture for UAS traffic management multi-modal sensor networking experiments | |
Zhao et al. | 3d motion capture of an unmodified drone with single-chip millimeter wave radar | |
Paredes et al. | A Gaussian Process model for UAV localization using millimetre wave radar | |
Basiri et al. | Audio-based relative positioning system for multiple micro air vehicle systems | |
Basiri et al. | Localization of emergency acoustic sources by micro aerial vehicles | |
US20240103130A1 (en) | Feature extraction for remote sensing detections | |
Figueira et al. | MISSION-ORIENTED SENSOR ARRAYS AND UAVs–A CASE STUDY ON ENVIRONMENTAL MONITORING | |
Zitar et al. | A review of UAV visual detection and tracking methods | |
US11754698B2 (en) | Radar based system for processing radar data representing range and radial velocity of a detected object | |
Chen et al. | Detection and recognition of UA targets with multiple sensors | |
Dolph et al. | Aircraft classification using radar from small unmanned aerial systems for scalable traffic management emergency response operations | |
Teague et al. | Time series classification of radio signal strength for qualitative estimate of UAV motion | |
KR20210154446A (ko) | 복소수 기반 어텐션 네트워크 연산 방법 및 장치 | |
WO2018237204A1 (en) | SYSTEM AND METHOD FOR DIFFUSING THE POSITION OF LOW ALTITUDE OBJECTS | |
Dafrallah et al. | Malicious UAV detection using various modalities | |
Luo | Human activity classification using micro-Doppler signatures and ranging techniques | |
Arroyo et al. | Segmentation of Drone Collision Hazards in Airborne RADAR Point Clouds Using PointNet | |
Kong et al. | A Survey of mmWave Radar-Based Sensing in Autonomous Vehicles, Smart Homes and Industry | |
Wewelwala et al. | Multi-Stage Fusion Architecture for Small-Drone Localization and Identification Using Passive RF and EO Imagery: A Case Study |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220825 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220825 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230704 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230922 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7406655 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |