JP2023508611A - 航空機の音響ベースの検知及び回避 - Google Patents

Abstract

航空機のオーディオセンサで受信したオーディオ信号を解析し、オーディオ信号のソースの方向情報を確定する。オーディオ信号のソースの位置は、オーディオ信号のソースの方向情報に基づいて確定される。【選択図】 図１Ａ

Description

関連出願の相互参照
本出願は、「航空機の音響ベースの検知及び回避（ＡＣＯＵＳＴＩＣ ＢＡＳＥＤ ＤＥＴＥＣＴＩＯＮ ＡＮＤ ＡＶＯＩＤＡＮＣＥ ＦＯＲ ＡＩＲＣＲＡＦＴ）」という名称の２０２０年９月２４日出願の米国仮特許出願第６３／０８２，８３８号、「マイクロフォンアレイを備えた無人航空機システム（ＵＮＭＡＮＮＥＤ ＡＩＲＣＲＡＦＴ ＳＹＳＴＥＭ ＷＩＴＨ ＭＩＣＲＯＰＨＯＮＥ ＡＲＲＡＹ）」という名称の２０１９年１２月３１日出願の米国仮特許出願第６２／９５５，９４６号、「マイクロフォンアレイを備えた無人航空機システム（ＵＮＭＡＮＮＥＤ ＡＩＲＣＲＡＦＴ ＳＹＳＴＥＭ ＷＩＴＨ ＭＩＣＲＯＰＨＯＮＥ ＡＲＲＡＹ）」という名称の２０２０年３月２日出願の米国仮特許出願第６２／９８４，２６６号、及び「マイクロフォンアレイを備えた無人航空機システム（ＵＮＭＡＮＮＥＤ ＡＩＲＣＲＡＦＴ ＳＹＳＴＥＭ ＷＩＴＨ ＭＩＣＲＯＰＨＯＮＥ ＡＲＲＡＹ）」という名称の２０２０年５月７日出願の米国仮特許出願第６３／０２１，６３３号の優先権と利益を主張するものであり、これらの開示全体は参照によりその全体が本明細書に組み込まれる。

本発明は、航空機の音響ベースの検知及び回避に関する。

レーダー等の従来の航空機検知システムは、無人航空機等の小型の航空機に組み込むことが困難であるか、コストが高くつく場合がある。更に、規制により、無人航空機は、航空機に相対するあらゆる方向で他の航空機を検知する、球面の検知ゾーンを維持することが要求される場合がある。従来の航空機検知システムは、そのような検知向けに開発されていない場合があるので、球面検知に従来のシステムを実装することは、技術的に複雑且つ高価になり得る。

民間航空機及び一般航空航空機を含む従来の航空機は、他の航空機との衝突を避ける為に確立された空域規則に従っている。例えば、一般に、各航空機は、その航空機の前方の空域に責任を負う。一部の空域では、無人航空機（ＵＡＶ）は、球面カバレッジを維持することが求められる場合があり、これは、ＵＡＶが侵入機について各方向の空域を監視ししなければならないことを意味する。更に、ＵＡＶは、他の航空機が飛行中にＵＡＶに遭遇しないように、侵入機の邪魔にならないように移動する責任を負う場合がある。レーダー等の従来の航空機検知システムは、航空機の前方の領域を監視するように最適化されている場合があり、丘等の障害物や地面に近い物体に対しては検知が悪くなる場合がある。このようなシステムは、球面カバレッジを提供するように変更され得るが、そのようなカバレッジを提供するシステムは、ＵＡＶに相対して法外に重い場合がある。更に、従来の探知システムは、長距離の探知が困難な場合があり、ＵＡＶが他の航空機を探知し、他の航空機を避ける為に飛行経路を変更する時間が短くなる。

本発明は、上記従来の技術における課題を解決するためになされたものである。

航空機のオーディオセンサで受信したオーディオ信号が解析されて、前記オーディオ信号のソースの方向情報を確定する。前記オーディオ信号のソースの位置は方向情報に基づいて確定される。

幾つかの実施形態では、前記オーディオ信号の前記ソースの位置は、機械学習モデル又は確率的追尾の少なくとも１つを使用して確定されてもよい。

幾つかの実施形態では、前記受信したオーディオ信号を解析するステップは、第１の時点での前記受信オーディオ信号及びセンサの幾何学的形状に基づいて前記信号ソースの第１の方向情報を確定するステップと、第２の時点での前記受信オーディオ信号の変化に少なくとも基づいて前記信号ソースの第２の方向情報を確定するステップとを含んでもよい。

幾つかの実施形態では、前記第２の方向情報は、前記航空機の情報収集マヌーバに応答した前記受信信号の変化に基づいて確定されてもよい。

幾つかの実施形態では、前記方向情報は深層学習モデルを使用して確定されてもよい。

幾つかの実施形態は更に、機械学習モデルを使用した、前記オーディオ信号が侵入機に関連するという確定を含んでもよい。

幾つかの実施形態は更に、前記航空機によって、前記オーディオ信号が前記侵入機に関連しているという前記確定に応答して初期マヌーバを実行するステップを含んでもよい。

幾つかの実施形態は更に、前記初期マヌーバの開始後に収集された前記侵入機に関する情報に基づいて、１つ以上の追加マヌーバを実行するステップを含んでもよい。

幾つかの実施形態は更に、前記航空機の前記センサで受信した前記オーディオ信号をビームフォーミングして、ビームフォーミングされた信号を生成するステップを含んでもよい。

幾つかの実施形態は更に、前記ビームフォーミングされた信号を、既知の航空機の周波数を含む複数のフィルタと比較して、前記オーディオ信号が侵入機に関連することを確定するステップを含んでもよい。

幾つかの実施形態は更に、従来型モデル、機械学習モデル、及び深層学習モデルのうちの１つ以上を使用して、前記ビームフォーミングされたオーディオ信号と侵入機との間の関連付けを確定するステップを含んでもよい。

幾つかの実施形態では、前記複数のフィルタの各々は、ベース周波数と、前記ベース周波数の高調波とを含み得る。

幾つかの実施形態では、前記オーディオ信号の前記ソースの位置は、追加のセンサモダリティを使用して収集された前記オーディオ信号の前記ソースに関する追加の情報に更に基づいている。

幾つかの実施形態では、前記オーディオ信号の前記ソースの位置は動的に更新され、前記オーディオ信号の前記ソースの位置に関する信頼性情報を含む。

幾つかの実施形態は、前記オーディオ信号の前記ソースが前記航空機の規定レンジ内にあるかどうかを確定するステップを更に含んでもよい。

１つ以上の非一時的コンピュータ可読媒体は命令でコード化されてもよく、前記命令は、音響航空機検知システムの１つ以上のプロセッサによって実行されると、前記航空機検知システムに、前記音響航空機検知システムによって受信されたオーディオ信号を解析させて、前記オーディオ信号のソースの方向情報を確定させ、前記方向情報に基づいて前記オーディオ信号の前記ソースの位置の推定を生成させる。

１つ以上の非一時的コンピュータ可読媒体の幾つかの実施形態では、前記音響航空機検知システムによって受信された前記オーディオ信号は、前記オーディオ信号の前記ソースの方向情報を確定する為に機械学習モデルに提供される。

幾つかの実施形態では、１つ以上の非一時的コンピュータ可読媒体は更に、前記音響航空機検知システムに、前記機械学習モデルによって前記オーディオ信号を解析させて、前記オーディオ信号が侵入機に関連するかどうかを確定させる命令でコード化され得る。

１つ以上の非一時的コンピュータ可読媒体の幾つかの実施形態では、前記機械学習モデルは、前記オーディオ信号が侵入機に関連しているかどうかを確定する為に他の航空機のベースラインデータを使用して訓練される。

１つ以上の非一時的コンピュータ可読媒体の幾つかの実施形態では、前記命令は更に、前記音響航空機検知システムに、前記受信したオーディオ信号をビームフォーミングさせ、前記ビームフォーミングされたオーディオ信号を前記機械学習モデルに提供させてもよい。

マルチチャネルオーディオ信号が航空機の音響検知システムで受信される。前記マルチチャネルオーディオ信号に基づいて、前記マルチチャネルオーディオ信号が侵入機に関連しているという確定が成される。前記航空機に関して初期マヌーバが指令される。

幾つかの実施形態では、前記初期マヌーバは、前記侵入機に対する前記オーディオ信号の特性の変化を引き起こす。

幾つかの実施形態は、前記航空機が前記初期回避マヌーバを実行している間に、前記航空機の前記音響検知システムで追加のマルチチャネルオーディオ信号を受信するステップと、前記追加のマルチチャネルオーディオ信号を機械学習モデルへの入力として提供し、前記侵入機の方向情報を確定するステップとを更に含み得る。

無人航空機（ＵＡＶ）は、前記ＵＡＶに接続された複数の音響センサと、１つ以上のプロセッサを含む音響検知システムとを含む。音響航空機検知システムは、前記複数の音響センサによって受信されたオーディオ信号を解析し、前記ＵＡＶに対する侵入機の３次元空間における推定を生成する。

ＵＡＶの幾つかの実施形態は、前記ＵＡＶの動きを制御する為に１つ以上の制御システムと通信するように構成された飛行制御装置を含み得、前記飛行制御装置は更に、前記音響航空機検知システムから通信を受信することで前記ＵＡＶの情報収集マヌーバを開始するように構成される。

ＵＡＶの幾つかの実施形態では、前記音響航空機検知システムは、前記ＵＡＶに接続された前記複数の音響センサの幾何学的形状に少なくとも部分的に基づいて、前記ＵＡＶに対する前記侵入機の空間における前記推定を生成するように構成される。

ＵＡＶの幾つかの実施形態では、前記音響航空機検知システムは、少なくとも深層学習モデルを使用して、前記侵入機の空間における前記推定を生成するように構成される。

ＵＡＶの幾つかの実施形態では、前記音響航空機検知システムは更に、前記複数の音響センサによって受信されたオーディオ信号が前記侵入機に関連しているかどうかを確定するように構成される。

航空機の音響検知システムは、マルチチャネルオーディオ信号を受信する。前記マルチチャネルオーディオ信号に基づいて、前記マルチチャネルオーディオ信号が侵入機に関連するという確定が成される。前記侵入機は、前記マルチチャネルオーディオ信号に基づいて、複数の可能なタイプの航空機のうちの１つとして分類される。

追加の実施形態及び特徴は、以下の説明で部分的に示され、明細書の検討により当業者に明らかになり、開示された主題の実践により知ることができるであろう。本開示の性質及び利点の更なる理解は、本開示の一部を構成する本明細書の残りの部分及び図面を参照することによって実現され得る。当業者であれば、本開示の様々な態様及び特徴の各々は、或る実施例では有利に別々に使用されても、又は他の実施例では本開示の他の態様及び特徴と組み合わせて使用されてもよいことを理解するであろう。

本説明は、以下の図を参照してより完全に理解され得るが、図において、構成要素は縮尺通りに描かれておらず、本開示の様々な例として提示されており、本開示の範囲の完全な説明として解釈されるべきではなく、以下を特徴とする。

例示的な航空機と侵入機を示す図である。 例示的な航空機と侵入機を示す図である。 特定の実施形態による例示的な音響ベースの検知及び回避システムの概略図である。 特定の実施形態による例示的な音響ベースの検知及び回避システムのブロック図である。 音響ベースの検知及び回避システムの例示的なモデルのブロック図である。 捕捉されたオーディオ信号に基づいて侵入機の状態推定を生成する為の例示的なステップの流れ図である。 音響ベースの検知及び回避システムを使用する遭遇確定の為の例示的なステップの流れ図である。 音響ベースの検知及び回避システムによって受信されたマルチチャネルオーディオ信号に基づいて初期回避マヌーバを指令する為の例示的なステップの流れ図である。 例示的な音響ベースの検知及び回避システムのモデルを訓練する為の例示的なステップの流れ図である。 本明細書に記載された例における様々な実施形態を実装する例示的なコンピュータシステムの概略図である。

オーディオベースの航空機検知システムは、航空機の為の従来の検知システム、特に、レーダー等の従来の検知システム、例えば、ＵＡＶ及び他の小型航空機を含めるには桁違いの費用がかかるか又は非現実的であり得るシステムに対する代替案を提供し得る。オーディオベースのシステムは、全方向性マイクロフォンの使用を通じて、特定の方向に向く追加のセンサなしで球面カバレッジをより容易に提供し得るが、他の実施例では、指向性マイクロフォンが使用されてもよい。例えば、指向性マイクロフォンは、幾つかの実装態様では、追加の情報を収集する（例えば、前方／後方の曖昧さを解決する）為に、全方向性マイクロフォンと組み合わせて使用されてもよい。オーディオベースのシステムは、他の航空機等の侵入機によって生じるノイズと、航空機自身のエンジン（又は飛行システム）によって生じるノイズとを区別し、侵入機によって生じるノイズと自然のソースによって生じるノイズ（例えば、風又は気象ノイズ）とを区別し、音の指向性を確定できる（例えば、航空機に対する侵入機の位置推定を提供する）。

一実施形態では、検知及び回避（ＤＡＡ）システムは、オーディオセンサのアレイを使用して、例えば３６０度の球面ゾーン内等、航空機に対する複数の方向で侵入機の位置を感知する。侵入機によって生成されたオーディオ信号は、受信したオーディオ信号を既知の他の航空機信号と比較し、広帯域信号（例えば、風）、全方向性信号、及び近距離場信号（例えば、航空機自身のエンジンからのノイズ）を拒否することによって、例えば、風騒音又は航空機からのノイズと区別することができる。侵入機信号が検知された場合（即ち、侵入機の存在が検知された場合）、ＤＡＡシステムは、侵入機の位置情報を確定する。例えば、対象航空機のオーディオセンサ間の距離と受信された侵入機信号の特徴とを用いて、ＤＡＡシステムは、航空機に対する侵入機の方位を計算し、侵入機の相対的位置を推定することができる。幾つかの実装態様では、システムは、航空機が侵入機に対して相対的に移動する際の侵入機信号の変化を解析し、航空機に対する侵入機のレンジ及び高低角を確定してもよい。本明細書の例は単一の侵入機を論じることがあるが、幾つかの実施例では、複数の侵入機又は音源が存在し得ることに留意されたい。これらの実施例では、システムは、２機以上の侵入機の位置を検知及び推定し、必要に応じて各侵入機を回避するように構成されてもよい。

侵入機の推定位置を使用して、ＤＡＡシステムは、航空機のマヌーバ又は飛行パターンにおける変化を利用して、侵入機に関する追加の情報を受信し、及び／又は、侵入機を回避してもよく、回避は、衝突を回避する、及び／又は航空機に対する所定の閾値若しくは距離を維持することに基づいてもよい。例えば、ＤＡＡシステムは、対象航空機と侵入機、例えば侵入航空機との間の、例えば２０００フィートの距離離隔を維持するように選択されてもよく、飛行パターン更新は、衝突を回避すると同時に、そのような距離を維持するように選択される。

ＤＡＡシステムは、対象航空機の周囲のクリアゾーン（例えば、半径２０００フィートの球面ゾーン）を維持するように選択されてもよい。例えば、侵入機を「回避」しようとするのではなく、ＤＡＡシステムは、球体等又は空間等の自由な又は妨げられない容積を維持しようとしてもよい。このような場合、ＤＡＡシステムは、侵入機とＵＡＶとの衝突を回避するのではなく、自由空域の距離を維持するように設定された推定侵入機位置に基づいて、飛行経路の変更又はマヌーバを生成してもよい。クリアゾーンを維持する為に、ＤＡＡシステムは、侵入機を検知し、空域と距離に対する侵入機の一般的な位置を確定してもよい。複数の侵入機がいる場合、侵入機は、対象航空機に対する異なる位置、侵入機によって生成されたオーディオ信号間の差異（例えば、異なる周波数帯）、及び他の音源分離技術に基づいて区別され得る。

図１Ａは、音響ベースのＤＡＡを使用する航空機１００と侵入機１０２との間の関係を示す上面透視図である。図１Ｂは、側面から見た航空機１００と侵入機１０２の一例である。図１Ａに示すように、航空機１００と侵入機１０２との間の空間的関係は、方位角Θ、高低角Φ、及びレンジＲの観点から定義され得る。航空機１００及び侵入機１０２に関して、方位角Θは、航空機１００の視点から、角度Θが地平線と平行に基準平面（破線で示す）上に投射される航空機１００及び侵入機１０２間の角度を測定する。高低角Φは航空機１００から見た航空機１００と侵入機１０２との間の角度であり、角度Φは水平線に垂直な基準平面上に投射される。レンジＲは航空機１００と侵入機１０２との間の半径方向距離である。ＤＡＡシステムは、航空機１００が、球面回避ゾーン１０３に他の侵入機がいない状態を保つことができるように、球面検知ゾーン１０１（又は他の関連検知エリア）内の他の航空機を検知できるようにしてもよい。

ＤＡＡシステムは、侵入機が航空機１００の検知ゾーン１０１内にいるかどうかを確定し、侵入機の位置情報、例えば侵入機１０２の方位角Θ、高低角Φ、及び／又はレンジＲを確定する為に使用されてもよい。更に、幾つかの実装態様では、ＤＡＡシステムは、回避ゾーン１０３を侵入機１０２を含む侵入機のいない状態に保つ為に、航空機１００のマヌーバを選択してもよい。

航空機１００には、航空機１００に搭載された全方向性マイクロフォン等の複数のオーディオセンサを含むオーディオアレイが配設されてもよい。例えば、オーディオアレイは、米国特許出願第６３／０８２，８６９号、代理人整理番号Ｐ２８８４７９．ＵＳ．０１に記載のオーディオアレイによって実装されてもよく、同出願全体が、全ての目的の為に本明細書に組み込まれる。信号がオーディオアレイで受信される時、ＤＡＡシステム１０５は、アレイ内のセンサに亘る信号の変動を解析することによって、その信号が航空機に関連する可能性が高いかどうかを判断してもよい。例えば、信号が全てのセンサに亘って同じであり、経時変化しない場合、その信号は、指向性がない、及び／又は近距離信号と関連している可能性が高く、従って、侵入機と関連していない可能性が高い。例えば、航空機１００の風又はモータからのノイズは、周期的に変化する可能性が低く、様々なセンサに亘って同様の信号が得られる可能性が高いだろう。信号が侵入機からのものである可能性が高い場合、ＤＡＡシステムは、センサ間のオーディオ信号の変動及びセンサ間の距離を解析することによって、侵入機１０２の方位角Θを推定することができる。

侵入機１０２の高低角Φ及びレンジＲを推定する為に、ＤＡＡシステムは、航空機１００が侵入機１０２に対して相対的に移動する際のオーディオ信号の変化を観察してもよい。幾つかの実装態様では、特定のマヌーバを使用して、追加のデータ、例えば、侵入機１０２に対する航空機１００の位置決めを変更することによる信号特性における力の変化を収集できる。例えば、航空機１００は、ＤＡＡシステムがオーディオ信号を解析して侵入機１０２の高低角Φ及びレンジＲの推定を生成している間、そのロール軸に沿って回転してもよい。

方位角Θ、高低角Φ、及び／又はレンジＲは、侵入機１０２の状態推定を提供し、これは、航空機１００のシステムによって、侵入機１０２から離れるようにマヌーバする為に、或いは航空機１００と侵入機１０２との間の所望の分離を維持する為に飛行経路を更新する為に使用されてもよい。幾つかの実装態様では、ＤＡＡシステムは、侵入機１０２を追尾する為に、侵入機１０２の状態推定を継続的に生成してもよい。更に、ＤＡＡシステムは、追加のセンシングモダリティ（例えば、画像データ、レーダー、光検知及び測距（ＬｉＤＡＲ）、又は自動従属監視－放送（ＡＤＳ－Ｂ）センサ）からのデータを組み込んでもよい。

図２は、ＤＡＡシステムを実装する為に使用される例示的なハードウェア図である。ＤＡＡノード１０６は、マイクロフォン１１４ａ～ｎで受信されたオーディオ信号を解析し得る処理部１０８及びメモリ１１０を含む。アレイ要素１１２ａ～ｎは、信号が処理及び解析の為にＤＡＡノード１０６に提供される前に、マイクロフォン１１４ａ～ｎによって受信された信号をフォーマットするか又は処理してもよい。ＤＡＡノード１０６は、ＤＡＡノード１０６が航空機１００に様々なマヌーバを行うよう指令できるように、航空機制御部１０４と通信してもよい。

マイクロフォン１１４ａ～ｎは、マイクロフォン１１４ａ～ｎによって知覚されるノイズを最小化するように選択された位置で航空機１００に搭載されてもよい。例えば、幾つかの実装態様では、マイクロフォン１１４ａ～ｎは、航空機１００の翼に接続又は取り付けられるプローブ上に搭載されてもよい。追加のマイクロフォンは、航空機１００の他の場所に搭載されてもよい。様々な実装態様において、マイクロフォン１１４ａ～ｎは、全方向性マイクロフォンであってもよく、又は全方向性マイクロフォン、指向性、及び／又は他のマイクロフォンの組み合わせによって実装されてもよい。マイクロフォン１１４ａ～ｎは、デジタル信号又はアナログ信号を提供するように実装されてもよい。集合的に、マイクロフォン１１４ａ～ｎで収集されたオーディオ信号は、ＤＡＡシステムにマルチチャネルオーディオ信号を提供する。

アレイ要素１１２ａ～ｎは、マイクロフォン１１４ａ～ｎからの信号を捕捉し処理することができる様々なハードウェアによって実装されてもよい。例えば、一実装態様では、アレイ要素１１２ａ～ｎは、マイクロフォン１１４ａ～ｎで収集されたアナログオーディオ信号をデジタル化する為に、プログラマブルロジックを使用して実装されてもよい。他の実装態様では、アレイ要素１１２ａ～ｎは、マイクロコントローラ、システムオンチップ（ＳＯＣ）ハードウェア、及び他のタイプの計算リソースを含む他のタイプのハードウェアを使用して実装されてもよい。

ＤＡＡノード１０６は、処理部１０８とメモリ１１０を含む。メモリ１１０は、揮発性メモリと不揮発性メモリの任意の組合せを用いて実装されてもよい。処理部１０８は、個別に又は組み合わせて動作する１つ以上のプロセッサを含んでもよく、例えば、プログラマブルロジック及び他のプロセッサを含んでもよい。様々な実装態様において、ＤＡＡノード１０６は、ＳＯＣハードウェア、マイクロコントローラ、又は様々な計算リソースによって実装されてもよい。又、ＤＡＡノード１０６は、様々なタイプの計算リソースの組み合わせによって実装されてもよい。例えば、一実装態様において、ＤＡＡノード１０６は、コントローラボード及びマイクロコントローラを含む。

航空機制御部１０４は、航空機１００を制御し、地上局及び他の航空機と通信する為の様々なシステムを含んでもよい。例えば、航空機制御部１０４は、超高周波（ＶＨＦ）無線帯、衛星通信、セルラー通信、又は追加の無線周波数帯を介した通信の為の送受信ハードウェアを含んでもよい。航空機制御部１０４は、特に、航空機１００の飛行計画の生成、アクチュエータ制御、推進制御、ペイロード管理、及び安全システム管理を担当する様々な構成要素及びモジュールを含んでもよい。航空機制御部１０４は、ＳＯＣハードウェア、様々なプロセッサ、コントローラ、及びプログラマブルロジックを含む任意の数のハードウェア構成要素によって実装されてもよい。

ＤＡＡシステムの様々なハードウェア構成要素は、通信バス、ユニバーサルシリアルバス（ＵＳＢ）接続、又は他の通信接続によって通信可能に接続されてもよい。

図３は、例示的なＤＡＡシステムのブロック図である。例示的なＤＡＡシステムのブロックは、様々なアルゴリズム、モデル、プログラミング、又は任意の数のアルゴリズム、モデル、及び他のプログラミングの組合せを用いて実装されてもよい。幾つかの実装態様では、ＤＡＡシステムのブロックに対応する命令は、同じプロセッサ（例えば、ＤＡＡノード１０６）を使用して実行されてもよい。他の実装態様では、幾つかの命令は、異なるボード上のプロセッサによって、又は共有ボード上の異なるプロセッサによって実行されてもよい。例えば、信号捕捉１２０及び信号処理の為の命令は、アレイ要素１１２ａ～１１２ｎのプロセッサによって実行されてもよく、一方、定位１２４、遭遇確定１２６、及び追尾１２８は、ＤＡＡノード１０６の処理リソース１０８を使用して実行されてもよい。更に、ＤＡＡシステムの１つのブロックの為の命令は、複数の位置で実行されてもよい。例えば、初期信号処理１２２の命令は、アレイ要素１１２ａ～１１２ｎで実行されてもよく、更なる信号処理１２２は、ＤＡＡノード１０６で発生してもよい。

例示的なＤＡＡシステムの１つ以上のブロックは、深層学習ネットワークを含む機械学習モデルを使用して実装されてもよい。幾つかの実装態様では、ＤＡＡシステムの幾つかのブロックは、単一のモデルによって、又は協調的に動作するモデルの組み合わせを使用して実装されてもよい。例えば、一実装態様では、定位１２４及び遭遇確定１２６は、共有ディープニューラルネットワークによって実装されてもよい。

信号捕捉１２０の為の命令は、受信したオーディオ信号をタイムスタンプし、チャネル間でオーディオ信号を整列させてマルチチャネルオーディオ信号を生成する為のアルゴリズムを含んでもよい。幾つかの実装態様では、信号捕捉１２０は、処理の為にアナログ信号をデジタル信号に変換することを含んでもよい。信号捕捉１２０は、アレイ要素１１２ａ～ｎ、ＤＡＡノード１０６、又はアレイ要素１１２ａ～ｎとＤＡＡノード１０６の組み合わせで発生してもよい。例えば、幾つかの実装態様では、入力されるアナログ信号は、夫々のアレイ要素１１２ａ～ｎでデジタル信号に変換され、タイムスタンプされ、デジタル信号は、ＤＡＡノード１０６でマルチチャネルオーディオ信号を形成するように整列されてもよい。

信号処理１２２の命令は、マルチチャネルオーディオ信号を変換する為のアルゴリズム及び機械学習モデルを含んでもよい。どのアルゴリズム又はモデルが信号処理１２２に含まれるかは、マルチチャネルオーディオ信号を解析する為にＤＡＡシステムによって実装される方法に依存し得る。例えば、一実装態様では、ＤＡＡシステムは、入力として３次元周波数領域データを受信する定位用モデルを含み、信号処理１２２は、マルチチャネルオーディオ信号を周波数領域に変換する為の高速フーリエ変換（ＦＦＴ）アルゴリズムを含む。別の実装では、信号処理１２２は、ＤＡＡシステムによって実装されるディープニューラルネットワーク内で発生してもよい。幾つかの実装態様では、信号処理１２２は、マルチチャネルオーディオ信号から外来ノイズをフィルタリングすることを含んでもよい。例えば、信号処理１２２は、広帯域風信号を識別し、それらの信号をマルチチャネルオーディオ信号からフィルタリングしてもよい。

定位１２４の為の命令は、ＤＡＡシステムによって実装される定位方法に応じて、アルゴリズム及び機械学習モデルの様々な組合せを用いて実装されてもよい。例えば、定位１２４は、マルチチャネルオーディオ信号のビームフォーミングの為のアルゴリズムと、指向性を確定する為にビームフォーミングされたオーディオ信号を解析する為の追加のアルゴリズムとを含んでもよい。別の例示的な実装態様では、定位１２４は、方位角の推定を生成する為に方位角のビンを表す複数のバイナリ分類器を用いて実装されてもよい。更に別の例示的な実装態様では、定位１２４は、ラベル付けされたマルチチャネルオーディオ及び指向性データを使用して生成されたディープニューラルネットワークを使用して実装されてもよい。定位１２４は、航空機１００の運動中に収集されたオーディオ信号に基づいてレンジ及び高低角を確定する為の機械学習モデル、アルゴリズム、又は組み合わせも含み得る。更に、幾つかの実装態様では、定位１２４は、侵入機１０２の位置の推定を生成する為に、マルチチャネルオーディオ信号を追加のセンシングモダリティ（例えば、ＬｉＤＡＲ、レーダー、及びＡＤＳ－Ｂ）からの信号と結合するモデルを使用して実装されてもよい。

航空機マヌーバ１３０は、航空機１００の為の特定の航空機マヌーバ又は飛行計画の変更の命令を航空機制御部１０４に提供する為に実装されてもよい。従って、航空機マヌーバは、様々な航空機マヌーバを開始させる為の航空機制御部１０４の様々な構成要素への命令（例えば、作動制御及び推進制御の命令）を含み得る。幾つかの実装態様では、航空機マヌーバ１３０によって航空機制御部１０４に提供される命令は、定位１２４によって生成される推定に依存してもよい。

遭遇確定１２６は、受信したオーディオ信号が１機以上の侵入機らしきものと関連するかどうかの初期確定を行うモジュールであってよい。例えば、音源が、ＵＡＶの周囲の空間領域内、ＵＡＶに対する距離内、又はシステムによって選択される他の閾値内に１機以上の侵入機が存在することを示すとき、遭遇が確定され得る。本方法において、遭遇確定１２６は、受信したマルチチャネルオーディオ信号が侵入機１０２に関連する尤度を生成する為に、アルゴリズム及び／又は機械学習モデルの様々な組み合わせによって実施され得る。幾つかの実装態様では、遭遇確定１２６は、既知の航空機からのマルチチャネルオーディオ信号を使用して生成されたディープニューラルネットワークを使用して実装されてもよい。幾つかの実装態様では、ディープニューラルネットワークは、定位１２４に使用されるのと同じディープニューラルネットワークであってもよい。別の例示的な実装態様では、遭遇確定１２６は、例えば、ランダムフォレスト分類器又はバイナリ分類器であってもよい分類器を用いて実装される。更に別の実装態様では、遭遇確定１２６は、受信したマルチチャネルオーディオ信号を航空機に関連する既知のオーディオ信号と比較するアルゴリズム及びモデルを使用して実装されてもよい。例えば、航空機のブレードパス周波数を利用して、航空機に関連する周波数を示す複数のフィルタを生成してもよい。マルチチャネルオーディオ信号（又は信号処理１２２によって生成されたマルチチャネルオーディオ信号の表現）は、信号が航空機に関連するかどうかを確定する為に、フィルタと相互相関されるか、又は比較されてもよい。幾つかの実装態様では、遭遇確定１２６は、相互相関プロセス中に航空機の特定のタイプを識別する為のモデル及びアルゴリズムも含み得る。

追尾１２８又は位置特定は、定位１２４からの状態推定に基づいて、侵入機１０２又は複数の侵入機の位置を経時的に追尾するか、又は確定する為に、データ構造、アルゴリズム、又はそれらの組み合わせによって実装されてもよい。幾つかの実装態様では、追尾１２８は、受け取った状態推定が既に存在する軌道に属するか、又は状態推定に対して新しい軌道が作成されるべきかどうかを確定する為のアルゴリズム、モデル、又はアルゴリズム及びモデルの様々な組み合わせを含めて実装され得る。例えば、データポイントは、ハンガリーのアルゴリズムを使用して軌道又は位置に関連付けられ、軌道又は位置の維持及び更新は、１つ以上のベイジアンフィルタ及びモンテカルロ法の適用を含み得る。幾つかの例では、反復平滑化及びマッピング（ｉＳＡＭ２）を用いて、新しい情報に基づいて事前の軌道履歴が更新されてもよい。他の例では、「軌道」又は位置更新は、所望に応じて異なるフィルタ及びアルゴリズムを使用して確定及び更新されてもよく、又、幾つかの側面がＭＬ又は深層学習モデルによって確定された後にソース位置を確定する為に確率的追尾（例えば、ベイジアンフィルタ、カルマンフィルタリング、モンテカルロ法）を利用する等、１つ以上の手法の組み合わせを含んでもよい。ＤＡＡシステムの様々なブロックは、幾つかの実装態様において、共通のモデルによって実装されてもよい。一般に、様々なブロックは、通信可能に接続され、マルチチャネルオーディオデータを協調的に処理し、解析する。

図４は、ＤＡＡモデル１３２によって受信された入力とＤＡＡモデル１３２によって生成された出力とを含む、例示的なＤＡＡモデル１３２を示す。ＤＡＡモデル１３２は、ＤＡＡノード１０６のメモリ１１０に位置し、ＤＡＡノード１０６の処理部１０８によって実行される機械可読命令として実装されてもよい。ＤＡＡモデル１３２は、図３に記載された例示的なＤＡＡシステムの様々なブロックを実装する為に使用されてもよい。例えば、一実装態様では、ＤＡＡモデル１３２は、定位１２４及び遭遇確定１２６の両方を実装する為に使用される。他の実装態様では、ＤＡＡモデル１３２は、信号処理１２２、航空機マヌーバ１３０、及び追尾１２８の幾つかの部分を含み得る。ＤＡＡモデル１３２は、初期マルチチャネルオーディオデータ１３４を受信し、初期マルチチャネルオーディオデータ１３４に基づいて航空機確率１３６及び侵入機方位１３８を生成してもよい。ＤＡＡモデル１３２は又、マヌーバマルチチャネルオーディオデータ１４０を受信し、マヌーバマルチチャネルオーディオデータ１４０に基づいて侵入機レンジ及び高低角１４２を生成することができる。

ＤＡＡモデル１３２は、幾つかの機械学習モデルの組み合わせ、及び／又は機械学習モデルと確率的フィルタリングの組み合わせを含む、様々な機械学習モデルを使用して実装されてもよい。例えば、一実装態様では、ＤＡＡモデル１３２は、ディープニューラルネットワーク又はリカレントニューラルネットワーク等の深層学習モデルを使用して実装されてもよい。他の実装態様では、ＤＡＡモデル１３２は、ランダムフォレストモデル回帰器又はバイナリ分類器、又は複数のバイナリ分類器、又は同様の分類器のうちの１つ以上又はそれらの組合せを含んでもよい。他の種類の機械学習モデル又は機械学習モデルの組み合わせを使用してＤＡＡモデル１３２を実装してもよく、ＤＡＡモデルを実装する為に使用されるモデルの種類は、ＤＡＡモデル１３２への入力として使用されるデータの種類に部分的に依存し得る。例えば、初期マルチチャネルオーディオデータ１３４が時間領域で提供される場合、ＤＡＡモデル１３２は、リカレントニューラルネットワークによって実装されてもよい。他の実装態様では、初期マルチチャネルオーディオデータ１３４は、周波数領域における画像データとしてフォーマット化されてもよく、ＤＡＡモデル１３２は、畳み込みニューラルネットワークによって実装されてもよい。例えば、画像データは、互いに対して調波関係を有する周波数が異なるチャネル上の同じ画素領域に併置されるように、複数の周波数変換を表す複数のチャネルを有してもよい。このタイプの画像データは、ピクセルの限られたサブセットを考慮する際に、畳み込みフィルタが調波関係を発見することを容易にする。幾つかの実装態様では、ディープニューラルネットワーク（例えば、リカレントニューラルネットワーク又は畳み込みニューラルネットワーク又は変換器）を、様々なタイプの分類器又は他の機械学習モデルと組み合わせて、ＤＡＡモデル１３２を実装できる。

初期マルチチャネルオーディオデータ１３４は、幾つかの実装態様において、オーディオアレイによって収集された後、殆ど又は全く処理されずにＤＡＡモデル１３２への入力として提供され得る。例えば、初期マルチチャネルオーディオデータ１３４は、初期マルチチャネルオーディオ信号内の各チャネルに対する一次元時間領域データをＤＡＡモデル１３２に提供してもよい。他の実装態様では、初期マルチチャネルオーディオデータ１３４は、ＤＡＡモデル１３２に提供される前に、周波数領域に変換されてもよい。二次元周波数領域データは、マルチチャネルオーディオデータ１３４に含まれる各チャネルに関する周波数及び位相データを含んでもよい。三次元周波数領域データは、マルチチャネルオーディオ信号の時間、周波数、及び位相データを含んでもよい。時間、周波数、及び信号強度を含むビームフォーミングされたスペクトログラム、又は高調波カーネルバンクを使用して生成された特徴ベクトル等、他の前処理されたデータが初期マルチチャネルオーディオデータ１３４として提供されてもよい。幾つかの実装態様では、航空機上の他のセンサからのモータ遠隔測定データ等の他のデータソースは、どの音が航空機によって生成され、どの音が他の場所に由来するかをモデルが確定するのを助ける為に、前処理されてマルチチャネルオーディオデータと重ね合わされてもよい。

航空機確率１３６は、最初のマルチチャネルオーディオデータ１３４において捕捉された信号が侵入機に関連付けられる確率として提供されてもよい。幾つかの実装態様では、航空機確率１３６は、確定に関連する信頼区間又は確率を伴う確定（イエス又はノー）を含んでもよい。他の実装態様では、航空機確率１３６は、オーディオ信号が異なるクラス又はタイプの航空機に関連する確率を含んでもよい。例えば、航空機確率１３６は、信号が一般的な航空航空機、ヘリコプター等に関連する確率を含んでもよい。別の例として、オーディオ信号は、より特定の範囲の航空機、例えば、大型ジェット機、小型ジェット機、ナローボディ機等に関連するものとして特徴付けられてもよい。予想される飛行高度、速度範囲等の情報が、航空機の種類の分類に基づいてシステムによって抽出され利用され得るので、分類は、侵入機を回避し及び／又は自由空域を維持する為のマヌーバに関する確定を行う際にシステムを支援してもよい。幾つかの事例では、確率は、航空機に関連しているという評価を含んでもよい（又は、信号が航空機でないという逆の態様で定義されてもよい）。

侵入機方位１３８は、信頼区間を有する角度として提示されてもよく、又は角度の複数のレンジに対する確率を含んでもよい。例えば、一実装態様では、航空機１００に対する各角度は、角度のビンに含まれてもよい。様々な数のビンが使用されてもよい。一実施例では、６４個のビンが解析に含まれ、各ビンは５．６２５°の角度のレンジを含む。例えば、解析に含まれるビンは０～５．６２５°の角度を含み、別のビンは３５４．３７５～３６０°の角度を含む。返された侵入機方位１３８は、侵入機方位が候補ビンの各々内に存在する確率を含んでもよい。返された侵入機方位は又、特定数のビンに関する確率を含んでもよい。例えば、確率は、侵入機方位１３８を含む最も高い確率を有する５つのビンについて返されてもよい。幾つかの実装態様では、侵入機方位１３８は、航空機確率１３６が、マルチチャネルオーディオ信号が侵入機１０２に関連する強い尤度を示す場合にのみ計算されてもよい。

航空機確率１３６が、初期マルチチャネルオーディオデータ１３４が侵入機１０２に関連する尤度を示して返され、侵入機方位１３８が確定された場合、ＤＡＡシステムは、マヌーバマルチチャネルオーディオデータ１４０を収集する為に様々なマヌーバを命令してもよい。マヌーバマルチチャネルオーディオデータ１４０は、一般に、航空機１００の既知のマヌーバ中、センサ（例えば、マイクロフォン１１４ａ～ｎ）の制御された移動中、又は様々なタイプの既知の移動の組み合わせの間に収集されたマルチチャネルオーディオデータである。従って、マヌーバマルチチャネルオーディオデータ１４０は、初期マルチチャネルオーディオデータ１３４に関して説明した様々な形態で表されてもよく、航空機１００のマヌーバに関する情報（例えば、マヌーバの時間、振幅、角度等）も含んでいてもよい。

侵入機レンジ及び高低角１４２は、マヌーバマルチチャネルオーディオデータ１４０に基づいてＤＡＡモデル１３２によって生成されてもよく、侵入機方位１３８に関して説明したものと同様の表現で提示されてもよい。例えば、侵入機高低角は、侵入機高低角が各ビンに含まれる確率を有する角度の幾つかのビンによって表現されてもよい。又、侵入機高低角は、推定角度と、推定角度に対応する信頼区間とによって表されてもよい。同様に、侵入機範囲は、信頼区間を伴う推定範囲として表されてもよい。

侵入機方位１３８と侵入機レンジ及び高低角１４２の組み合わせを使用して、３次元空間における侵入機１０２の状態推定又は位置推定を生成してもよい。幾つかの実装態様では、データがＤＡＡシステムによって継続的に収集及び処理される為、複数の状態推定が集約されて、航空機１００に対して侵入機１０２を追尾できる。そのような追尾は、幾つかの実装態様において、航空機１００の為の回避マヌーバを選択する為に使用されてもよい。

様々な実装形態において、状態推定又は位置推定は、オーディオ信号（例えば、ＤＡＡシステムからの）及び第２の信号を使用して位置を推定してもよい。第２の信号は、異なる時点で収集された別のオーディオ信号、又はＡＤＳ－Ｂ Ｉｎ、ＬｉＤＡＲ、レーダー、画像データ若しくは視覚ベースの信号、ＧＰＳ、又は他のセンサモダリティ等の異なるセンサモダリティを使用して収集された信号であってもよい。例えば、一実装態様において、オーディオ信号は、位置推定を生成する為に視覚ベースの信号（例えば、カメラ）と共に使用されてもよい。この例では、オーディオ信号が位置の大まかな近似値を提供し（例えば、航空機の左側に侵入機がいそうである）、視覚ベースの信号がオーディオ信号から生成された推定を改良してもよい。言い換えると、第１の信号を使用して、より遠い距離から検知され得る一般的な位置情報を確定し、第２の信号を使用して、より正確又は高感度の位置情報（ソースに近い距離から検知され得る）を確定してもよい。これらの事例において、第１の信号を使用して、第２の信号の為のセンサを何時作動させるかを確定してもよく、例えば、第１の信号が使用されて航空機の特定の距離閾値内の侵入機が検知されると、システムは次に第２のセンサを作動させて第２のセンサ信号を検知し得る。更に、幾つかの実装態様では、３つ以上の異なる信号（収集時間、センシングモダリティ、又は収集時間とセンシングモダリティの両方が異なる）を使用して、位置推定を生成してもよい。

図５は、捕捉された、又は他の方法で検知されたオーディオ信号に基づいて侵入機の状態推定を生成する為の例示的なステップの流れ図である。捕捉オペレーション２０２は、オーディオ信号を捕捉する。例えば、マイクロフォン１１４ａ～ｎのうちの１つ以上が、捕捉オペレーション２０２の間にオーディオ信号を検知してもよい。捕捉オペレーション２０２は、幾つかの例において、侵入機に関連しないオーディオ信号を含む、航空機１００の周囲のオーディオ信号を検知してもよい。更に、幾つかの実装態様では、他のセンシングモダリティが、捕捉オペレーション２０２の間に信号を捕捉してもよい。例えば、ＡＤＳ－Ｂ受信機又はＬｉＤＡＲ検知器は、マイクロフォン１１４ａ～ｎがオーディオ信号を捕捉する際に、信号を捕捉してもよい。

処理オペレーション２０６は、必要に応じて、信号を処理して更なる解析の為に信号をフォーマットする。処理オペレーションは、ＤＡＡシステムの信号処理ブロック１２２によって実装されてもよい。幾つかの実装態様では、処理オペレーション２０６の幾つかの部分は、ＤＡＡシステムの定位ブロック１２４で実行されてもよい。従って、処理オペレーション２０６の一部は、ＤＡＡモデル１３２によって実行されてもよい。

処理オペレーション２０６は、様々な実装態様において、アナログ信号をデジタル信号に変換すること、マルチチャネルオーディオ信号を時間整合させること、信号を領域変換すること、信号をビームフォーミングすること、又は信号の信号対雑音比（ＳＮＲ）を最適化する為に信号を他の方法で調整することを含み得る。例えば、一実装態様では、処理オペレーション２０６は、マルチチャネルオーディオ信号をタイムスタンプする。別の実施態様では、処理オペレーション２０６は、マルチチャネルオーディオ信号を周波数領域に変換し、マルチチャネルオーディオ信号の各チャネルの為の２次元周波数領域信号又はマルチチャネルオーディオ信号を表す３次元周波数領域信号の何れかをもたらす。処理オペレーション２０６は、例えば、ＦＦＴアルゴリズムを使用して信号を変換してもよい。処理オペレーション２０６は又、ビームフォーミングアルゴリズムを実装して、マルチチャネルオーディオ信号を表すビームフォーミングされたスペクトログラムを生成してもよい。処理オペレーション２０６は、それに応じて、幾つかの実装態様において、ＤＡＡモデル１３２に提供される初期データ１３４を生成してもよい。

処理オペレーション２０６は、捕捉された信号が指向性であるか、及び／又は航空機から距離がある（例えば、近距離場信号ではない）かどうかを判断してもよい。指向性の判断は、暗黙で（例えば、ビームフォーミングを介して）又は明示的に行われてもよい。幾つかの例では、ＤＡＡシステム１０５はマルチチャネルオーディオ信号の時間整合を試みてもよい。例えば、信号が周期的でない（例えば、時間的にパターンで変化しない）場合、信号は、恐らくは、複数のチャネルに亘って時間整合しないであろう。マルチチャネルオーディオ信号が時間整合できる場合、その信号はコヒーレントで指向性がある可能性が高い。マルチチャネルオーディオ信号がチャンネル間で時間整合できない場合、その信号はインコヒーレントであり、指向性がないと考えることができる。インコヒーレント又は非指向性の信号は、通常、１つの局地的な音源（例えば、別の航空機）によって生成されていないものであり、代わりに風や気象等の他のソースに起因する可能性がある。

幾つかの実装態様では、捕捉された信号が指向性であるかどうかの判断は、オペレーション２０８中に暗黙で行われてもよい。例えば、全ての入射信号は、オペレーション２０６中に処理されてもよく、指向性の確定は、処理済み信号が航空機に特有の構造を有するか否かの確定の一部であってもよい。例えば、指向性は、処理済み信号が航空機に特有の構造を有するか否かの確定の一部として確定されてもよい。例えば、指向性のないビームフォーミングされた信号は、航空機から予想される信号を模倣する高調波カーネルフィルタに相関しないことがある。同様に、近距離オーディオ信号は、遠距離オーディオ信号を模倣するように設計された高調波カーネルフィルタに相関しないことがある。

幾つかの実装態様では、指向性の明示的な確定は、例えば、指向性を確定する為に特別に処理されたオーディオ信号の特定の特性を探すことによって行われてもよい。例えば、ＤＡＡシステムは、広帯域信号を非指向性であるとして拒否してもよい。又、システムは、指向性を明示的に確定する為に、周期性等、指向性信号の他の特性を探してもよい。

オペレーション２０８で、処理済み信号が解析されて、処理済み信号が航空機に特有の構造を有するかどうかを確定する。オペレーション２０８はＤＡＡシステムの遭遇確定１２６の一部であってもよい。幾つかの実装態様では、ＤＡＡモデル１３２は、初期マルチチャネルオーディオデータ１３４に基づいて処理済み信号を解析してもよい。オペレーション２０８の間、ＤＡＡモデル１３２は、初期マルチチャネルオーディオデータ１３４を、航空機に対応することが知られているマルチチャネルオーディオデータと比較してもよい。他の実装態様では、オペレーション２０８は、処理済みマルチチャネルオーディオデータを、高調波カーネルフィルタであり得るフィルタのバンクに相互相関させることを含んでもよい。高調波カーネルフィルタは、航空機のブレードパス周波数に基づいて、航空機から予想される信号を表し得る。一般に、高調波カーネルは、遭遇すると予想される航空機の範囲に対して生成されてもよい。例えば、高調波カーネルは、特定の航空機（例えば、特定のメーカー及びモデル）に対して生成されてもよく、及び／又は航空機のクラス（例えば、プロペラ、大型ジェット機等を使用する航空機）に対して生成されてもよい。フィルタが航空機の範囲又はクラスに亘って一般的であり得る事例では、フィルタは、より特定のフィルタと比較して、可能なオーディオソースに対してより広範に適用され得る。つまり、航空機の正確なタイプとより密接に一致する、より具体的なフィルタでは、仮定及び入力は、オーディオ信号ソースにより多く関連する可能性がある。

高調波カーネルフィルタは、ベース周波数と、ベース周波数に対応する複数の高調波周波数とを含み得る。マルチチャネルオーディオ信号が高調波カーネルフィルタのバンクに相関しない場合、オペレーション２０８は、マルチチャネルオーディオ信号が航空機に特有の構造を有していないと判断してもよい。マルチチャネルオーディオ信号が高調波カーネルフィルタと実際に強く相関する場合、オペレーション２０８は、処理済み信号が航空機に特有の構造を有すると判断してもよい。フィルタとの相関は、例えば、画像比較によって判断されてもよく、画像比較では、信号を表す画像を、画像として表されるフィルタと比較し、信号が期待される理想化された高調波信号に類似しているかどうかを判断する。

処理済み信号が航空機に特有の構造を有していない場合、方法は捕捉オペレーション２０２に戻る。処理済み信号が航空機に特有の構造を有する場合、オプションのステップ２１０は、他のソースから追加のデータを受信してもよい。例えば、航空機１００からのＡＤＳ－Ｂ Ｉｎデータ、地上ベースのＬｉＤＡＲデータ、又は地上若しくは航空機ベースのセンサからの他のデータが、オプションのステップ２１０の間に受信されてもよい。そのようなデータは、例えば、侵入機１０２の状態推定を生成する為に、ＤＡＡモデル１３２によって使用されてもよい。状態推定は、侵入機を経時的に追尾する為に、又は回避ゾーン１０３に侵入機１０２がいないように保つ為の行動方針を確定する為に、航空機１００によって使用されてもよい。

指令オペレーション２１２は、より多くの情報を収集する為、及び／又は音源と航空機１００との間の距離又は離隔を増大させる為に選択され得るもの等の収集マヌーバを指令する。オペレーション２０８が、マルチチャネルオーディオ信号が航空機に特有の構造を有すると確定した場合、指令オペレーション２１２は、航空機１００が侵入機１０２に対して相対的に移動する際のマルチチャネルオーディオ信号の動作の変化を確定する為のマヌーバを指令してもよい。マルチチャネルオーディオ信号が航空機に特有の構造を有するかどうかを確定する為の基準は、確定に用いられる基準よりも低くてもよく、或いは異なっていてもよい。例えば、マルチチャネルオーディオ信号が航空機に属するという疑義に基づいて、マヌーバが開始されてもよい。そのようなマヌーバは、ＤＡＡシステムが侵入機の追加の位置情報を確定することを可能にし、侵入機１０２の方位、高低角、及び範囲についての推定を確定又は改良するのに役立ち、又、侵入機１０２と航空機１００との間の離隔を増大させることが可能である。指令オペレーションは、航空機マヌーバ１３０で、ＤＡＡノード１０６から航空機制御部１０４に情報収集マヌーバを伝達することにより実施されてもよい。前述のように、幾つかの実装態様では、マヌーバは、他の航空機（侵入機１０２を含む）との衝突が統計的に起こり難い場所に航空機１００を移動させる回避マヌーバであってもよい。例えば、回避マヌーバは、他の航空機との遭遇が低高度では起こり難い可能性がある為、航空機１００の高度を低下させてもよい。他の実施態様では、情報収集マヌーバは、特定の軸で移動することによって情報を生成するように構成されてもよい。例えば、「ウィングワグ」マヌーバは、航空機１００のロール軸に沿って航空機１００の翼（及び、それに応じてオーディオセンサ）を移動させて、ウィングワグマヌーバ中にマルチチャネルオーディオ信号挙動の変化を捕捉してもよい。ロールマヌーバ又はクラブ法マヌーバ等の他のマヌーバも、情報収集マヌーバとして使用されてもよい。情報収集マヌーバは、幾つかの実装態様において、複数の個々のマヌーバを含んでもよく、非常に小さいマヌーバ又は微小マヌーバを含んでもよい。

生成オペレーション２１４は侵入機の状態推定を生成する。侵入機の状態推定は、航空機１００に対する侵入機１０２の方位、高低角、速度、レンジ、及び／又は基本周波数等の侵入機特性を含み得るが、これらに限定されるものではない。幾つかの実装態様では、状態推定は、上記の座標のうちの１つ又は２つのみを含んでもよい。生成オペレーション２１４は、マルチチャネルオーディオ信号として収集されたデータに基づいてもよく、幾つかの実装態様では、他のセンサモダリティからの追加のデータを組み込んでもよい。更に、生成オペレーション２１４は、サブオペレーションで発生してもよい。例えば、幾つかの実装態様では、侵入機１０２の方位は、指令オペレーション２１２の前に確定されてもよく、侵入機１０２の高低角及びレンジは、航空機１００が情報収集マヌーバを実行する際のマルチチャネルオーディオ信号の変化を解析することによって、指令オペレーション２１２の後に確定され得る。生成オペレーション２１４は、ＤＡＡシステムの定位１２４で発生してもよい。

幾つかの実装態様では、生成オペレーション２１４はＤＡＡモデル１３２によって実行される。幾つかの実装態様では、ＤＡＡモデル１３２は、マヌーバマルチチャネルオーディオデータ１４０に基づいて状態推定を生成してもよい。他の実装態様では、ＤＡＡモデル１３２は、初期マルチチャネルオーディオデータ１３４を使用して侵入機方位１３８を生成し、指令オペレーション２１２に応答して生成されたマヌーバマルチチャネルオーディオデータ１４０を使用して、侵入機レンジ及び高低角１４２を生成してもよい。ＤＡＡモデル１３２は、例えば、方位を推定する為の平均標準偏差及び推定の為の信頼区間を使用して、侵入機方位１３８を確定してもよい。ＤＡＡモデル１３２は又、ＤＡＡモデル１３２を訓練又は生成する為に使用される既知のデータに基づいて方位の推定を生成してもよい。幾つかの実装態様では、これは、角度のビンを夫々表す複数の分類器を使用して、侵入機１０２の方位が夫々のビン内にある確率を確定することを含んでもよい。他の実装態様では、ＤＡＡモデル１３２は、追加の又は代替のアプローチを使用して侵入機方位１３８を計算してもよい。

幾つかの実装態様では、方位は、ＤＡＡモデル１３２に含まれないアルゴリズムを使用して確定されてもよい。例えば、処理オペレーション２０６がマルチチャネルオーディオ信号を表すビームフォーミングされたスペクトログラムを生成する場合、侵入機方位は、最高強度の信号に対応する位相シフト又は角度ビン（例えば、ビームフォーミングソースマップ上の角度ビン）を特定することによって確定されてもよい。例えば、信号の強度が最も高い（例えば、最高ｄＢ）スペクトログラム上の位置は、位相角と相関し、これを用いて方位が近似され得る。他のアルゴリズムも、マルチチャネルオーディオ信号とアレイの幾何学的形状（例えば、マイクロフォン１１４ａ～ｎ間の既知の距離）を使用して、侵入機の方位を確定又は推定することができる。

侵入機レンジ及び高低角１４２は、指令オペレーション２１２に応答して生成されたマヌーバ及びマルチチャネルオーディオデータ１４０を使用してＤＡＡモデル１３２によって確定されてもよい。幾つかの実装態様では、ＤＡＡモデル１３２は、情報収集マヌーバ中の信号の挙動を既知のデータと比較して、侵入機レンジ及び高低角１４２を推定してもよく、又は情報収集マヌーバ中の信号の大きさの変化を観察することによって推定してもよい。他の実装態様では、ＤＡＡモデル１３２は、他の方法を使用して、マヌーバマルチチャネルオーディオデータ１４０に基づいて侵入機レンジ及び高低角１４２を確定してもよい。例えば、幾つかの実装態様では、飛行中にマイクロフォンを作動させることによってマイクロフォンの幾何学的形状を変更してもよく、それによって、ＤＡＡモデル１３２によって使用されるデータを生成してもよい。既知の量（例えば、既知の変位）又は既知の変動分のマイクロフォンの作動を、変位の結果としてオーディオ信号がどのように変化するかを測定しながら行うことで、位置、速度等を含むオーディオ信号ソースに関する追加のデータを提供し得る。更に、幾つかの実装態様では、侵入機レンジ及び高低角は、情報収集マヌーバの結果としての様々なアレイ要素の位置の変化、及び情報収集マヌーバに応答する様々なチャネルでのマルチチャネルオーディオ信号の挙動を取り入れたアルゴリズムを使用して、ＤＡＡモデル１３２を使用せずに生成されてもよい。

幾つかの実装態様では、追加のオペレーションは、生成オペレーション２１４によって生成された状態推定を使用して、航空機１００に対して相対的に移動する侵入機を追尾することができる。そのような追尾は、初期回避マヌーバが侵入機を回避するのに十分であったかどうか、マヌーバが航空機１００の回避ゾーン１０３を空いた状態に保ったかどうか、どのような種類の回避マヌーバが侵入機を回避し及び／又は回避ゾーン１０３に侵入機がいない状態を保つのに最適であるかを確定する為に、並びに侵入機の位置の推定を改良する為に使用されてもよい。幾つかの実装態様では、状態推定及び複数の状態推定に基づいて生成された軌道は、例えば、航空機１００の地上制御局に送信されてもよい。

図６は、検知及び回避システムを使用する遭遇確定の為の例示的なステップの流れ図である。幾つかの実装態様では、図６に関して説明したオペレーションは、図５に関して上述した処理オペレーション２０６及びオペレーション２０８の一部として発生し得る。幾つかの実装態様では、図６のオペレーションの一部又は全部は、ＤＡＡモデル１３２を使用して実施されてもよい。変換オペレーション３０２は、時間整合した捕捉オーディオ信号を周波数領域に変換する。変換オペレーション３０２は、例えば、ＦＦＴアルゴリズムを使用して、時間領域信号を周波数領域信号に変換してもよい。様々な実装態様において、変換オペレーション３０２は、２次元周波数領域信号又は３次元周波数領域信号を生成してもよい。ビームフォーミングオペレーション３０４は、変換された信号をビームフォーミングする。最小分散ビームフォーミング等の様々なビームフォーミングアルゴリズムを使用して、変換された信号からビームフォーミングされたスペクトログラムを生成してもよい。ビームフォーミングされたスペクトログラムは、一般に、アレイの様々なチャネルで受信された信号を結合することによって得られる信号を示す。ビームフォーミングされた信号は、例えば、様々な信号間の強め合う干渉を使用して、対象信号（例えば、侵入機に関連する周波数の信号）を強化してもよい。生成されたスペクトログラム３１４は、周波数を経時的にマッピングしてもよく、色の変化は信号強度を示す。例えば、グレースケールで示されるスペクトログラム３１４において、白色は高強度又は高強度の信号に相関し、黒色は無信号に相関し、両者の間の灰色の濃淡は強度の変動を示し得る。他の配色又はコンピュータ可読要素も、信号の強度又は強度の変動を示す為に、様々な実施形態で使用され得る。

前処理オペレーション３０６は、ビームフォーミングされた信号を前処理する。例えば、前処理オペレーション３０６は、スペクトログラム３１４を処理済み信号３１６に変換してもよい。前処理オペレーション３０６は、例えば、スペクトログラム３１４を単純化する為に、閾値以下の強度の信号を無視してもよい。例えば、処理済信号３１６は、対象周波数信号を保持しながら、スペクトログラム３１４から低強度の信号を排除することによって、より軽微な変動を含む。幾つかの実装態様では、本方法は、前処理オペレーション３０６から生成オペレーション３１２に直接進んでもよい。例えば、深層学習モデルがＤＡＡモデル１３２を実装する場合、生成オペレーション３１２の推定を生成する為に、オプションのオペレーション３０８及び３１０は必要でない場合がある。具体的には、ディープニューラルネットワーク等の深層学習モデルは、推定及び生成オペレーションを生成する必要なく、モデルが入力として処理済み信号を受信し、信号が侵入機に関連するかどうか、及びオーディオ信号のソースの位置の近似を確定できるように生成され得る。言い換えると、モデルは、入力データを、その訓練されたデータセットと共に使用して、信号と侵入機との関連付けを自動的に確定できる。従って、モデルは、オペレーション３０８及び３１０に関して説明したように、高調波フィルタ及び特徴ベクトルを使用しなくてもよい。

オプションの識別オペレーション３０８は、侵入機を識別する為に、信号に対して最も相関の高いフィルタを識別する。一例として、識別オペレーション３０８は、処理済み信号３１８を高調波カーネルフィルタのバンク（例えば、高調波カーネルフィルタ３２０）と比較して、処理済み信号３１８と最も高い相関を有するフィルタを突き止めてもよい。高調波カーネルフィルタは、飛行中に遭遇する可能性が高い各ブレードパス周波数に対するフィルタを含んでもよい。例えば、高調波カーネルフィルタのバンクは、１２Ｈｚ～１３６Ｈｚのベース周波数を使用し、２Ｈｚの各増分で高調波カーネルフィルタを有する高調波カーネルフィルタを含んでもよい。高調波カーネルフィルタは予期される高調波構造を模倣し、基準周波数で高強度の信号は、基準周波数に関連する各高調波で追加の信号と共に予期され、高調波信号の強度は高調波次数の増加と共に減少する。例えば、第１高調波信号は、第３高調波信号よりも高い強度を有する筈である。高調波カーネルフィルタは、航空機及び／又は他のオーディオ信号ソースの予期される高調波構造を模倣してもよい。追加の高調波フィルタを使用して、自動車、列車、動物等、他の音声ソースを模倣してもよい。オーディオ信号が非航空機高調波フィルタの１つと相関する場合、その信号は、航空機のソースではなく、非航空機のソースと関連する可能性が高い。例えば、幾つかの高調波カーネルフィルタは、軌道から来るオーディオ信号の構造を模倣してもよい。マルチチャネルオーディオ信号がこの高調波フィルタに相関する場合、その信号が１機以上の侵入機に由来する確率は減少する。

オプションの生成オペレーション３１０は、前処理されたビームフォーミング信号と、最も関連性の高いフィルタ、例えば、最も相関の高い高調波フィルタとを用いて、特徴ベクトルを生成する。例えば、生成オペレーション３１０は、処理済み信号３１８を高調波フィルタ３２０と合成して特徴ベクトル３２２を生成してもよい。特徴ベクトル３２２は、一般に、各帯域２Ｈｚ幅におけるマルチチャネルオーディオ信号の強度を示す。特徴ベクトル３２２は、特徴ベクトル３２２内の様々な色（又は他の要素）が様々なバンド内の信号強度を表す画像（又は他のコンピュータビジョン或いはコンピュータ可読フォーマット）として表されてもよい。例えば、グレースケールで示される特徴ベクトル３２２は、信号無しの場合は黒を示し、高強度の信号の場合は白を示し、又、様々な濃淡のグレーを示し、明るいグレーが高強度の信号であり、暗いグレーが低強度の信号である。

生成オペレーション３１２は、周波数ベクトルをモデルに提供することによって、信号が航空機からのものであるという推定と方向情報とを生成する。幾つかの実装態様では、特徴ベクトル３２２は、遭遇確定を行う為に訓練されたバイナリ分類器に渡されてもよい。他の実装態様では、生成オペレーション３１２は、例えば、畳み込みニューラルネットワークによって実行されてもよい。幾つかの実装態様では、生成オペレーション３１２を遂行する為に使用されるモデルは、ＤＡＡモデル１３２であってもよい。生成オペレーション３１２が、特徴ベクトル３２２が侵入機からの信号と相関していると判断すると、ＤＡＡシステムは、確定を使用して、例えば、初期回避マヌーバの命令、侵入機の位置の推定、又は侵入機の為の軌道の作成を含む幾つかのアクションを取ってもよい。

図７は、航空機１００と侵入機１０２との間の距離を増加させるもの、例えば回避マヌーバ等、ＤＡＡシステムによって受信されたマルチチャネルオーディオ信号に基づいてマヌーバ又は飛行計画若しくは経路の変更を指令する為の例示的なステップの流れ図である。受信オペレーション４０２は、航空機音響アレイでマルチチャネルオーディオ信号を受信する。受信オペレーション４０２は、幾つかの実装態様において、マルチチャネルオーディオ信号の幾つかの処理を含んでもよい。例えば、受信オペレーション４０２は、タイムスタンプ信号、チャネルに亘るマルチチャネルオーディオ信号の時間整合、アナログ信号のデジタル信号への変換、信号の領域変換、又はその他の受信したマルチチャネルオーディオ信号の処理又は操作を行ってもよい。

幾つかの実装態様では、受信オペレーション４０２は、適切に機能していないアレイの１つ以上のマイクロフォンを補償する為の処理を含んでもよい。例えば、処理は、可変ビームフォーミングアプローチを使用して、正しく動作していないマイクロフォンからの信号を無視しながら、動作しているマイクロフォンからの信号を処理してもよい。例えば、ＤＡＡシステムは、正しく動作していないマイクロフォンからの信号を「スキップ」又は無視し、機能性マイクロフォンを使用してオーディオ検知を継続してもよい。ＤＡＡシステムは、オーディオアレイの飛行前チェック中に、又は様々なマイクロフォンからの信号が航空機１００のエンジン及びプロペラからの予期される信号を含むかどうかを解析することによって、機能していないマイクロフォンを特定してもよい。信号がそのような予期される信号を含まない場合、ＤＡＡシステムは、信号を収集するマイクロフォンが期待通りに機能していないと仮定してもよい。

オペレーション４０２において、ＤＡＡシステムは、マルチチャネルオーディオ信号が侵入機に関連しているかどうかを確定する。幾つかの実装態様では、ＤＡＡシステムは、最初に、信号が指向性であるかどうか、及び信号が航空機１００のエンジン及びプロペラから予想される信号以上のものを含むかどうかを確定してもよい。信号が指向性でない場合、又は航空機１００のエンジンからの信号を主に含む場合、ＤＡＡシステムは、信号が侵入機に関連しないと判断してもよい。信号が指向性であるか、又は追加の信号を含む場合、ＤＡＡシステムは、更に信号を解析してもよく、又は直ちに初期回避マヌーバを指令してもよい。

信号の追加の解析（又は指向性が確定されない初期の解析）は、相互相関又は他の方法を介する等、マルチチャネルオーディオ信号の、高調波フィルタのバンクとの比較を含んでもよい。様々な実装態様において、オペレーション４０２の確定は、分類器、ディープニューラルネットワーク、又は他の機械学習モデルによって実装され得るＤＡＡモデル１３２によっても実行されてもよい。例えば、確定は、航空機に関連するマルチチャネルオーディオ信号の周波数について学習されたランダムフォレストを使用して行われてもよい。

マルチチャネルオーディオ信号が侵入機に関連しない場合、方法は、受信オペレーション４０２に戻る。マルチチャネルオーディオ信号が侵入機に関連している場合、指令オペレーション４０６は、回避マヌーバを指令し、これは、初期回避マヌーバであってもよいし、侵入機及び／又は侵入機の飛行経路を回避する為に必要となり得るマヌーバの数に応じて追加のマヌーバであってもよい。回避マヌーバは、他の航空機との衝突の可能性が統計的に低い場所に航空機１００を移動させる回避マヌーバであってよい。例えば、航空機１００は、航空機１００がマヌーバ時にその最低高度を超えて飛行している限り、衝突を回避する為に最初に低い高度まで降下してもよい。幾つかの実装態様では、回避マヌーバは、衝突が発生する場所を観察する為に飛行データを解析することによって選択されてもよい。他の実装態様では、回避マヌーバは、侵入機１０２の動きを予測する為にマルチチャネルオーディオ信号特性を使用し得るＤＡＡモデル１３２によって生成されてもよい。従って、ＤＡＡモデル１３２は、航空機１００を侵入機１０２から更に遠くまで移動させる可能性が高い回避マヌーバを選択してもよい。

図８は、例示的な検知及び回避システムのモデルを訓練する為の例示的なステップの流れ図である。例えば、図８に含まれるステップは、図４に関して説明したＤＡＡモデル１３２を訓練又は生成する為に使用されてもよい。一般に、ステップは、ラベル付けされたデータセットを生成する為、又は既知のデータを使用してディープニューラルネットワークを生成する為に使用されてもよい。収集オペレーション５０２は、侵入機（又は他の有り得る侵入機ソース）の音響データを収集する。収集オペレーション５０２は、実世界データ、シミュレートされたデータ、又は実世界データとシミュレートされたデータの組合せを使用してもよい。例えば、実世界データは、位置追尾対象フライト中に収集されたオーディオデータ、地上のアレイから収集されたオーディオデータ、又は典型的な航空機音のオーディオファイルを含んでもよい。

収集オペレーション５０２は、航空機１００に関連するアレイと実質的に類似するアレイを使用してもよい。例えば、収集オペレーション５０２で使用されるアレイは、同じ数のマイクロフォン１１４ａ～ｎを同様に間隔を空けて含んでもよい。一実装態様では、収集オペレーション５０２で使用されるアレイは、航空機１００のアレイであり、航空機１００は追尾センサを伴って飛行し（例えば、ＧＰＳ追尾フライトで）、侵入機も同様の追尾センサを伴って飛行している。別の実装態様では、航空機１００のアレイは、地上ベースのＬｉＤＡＲ又はレーダーセンサと組み合わせて収集オペレーションに使用されてもよい。更に別の実施態様では、航空機１００のアレイと実質的に類似するアレイが、地上ベースのアレイとして収集オペレーション５０２で使用されてもよい。

収集オペレーション５０２は、ソフトウェアシミュレーション、物理シミュレーション、又はシミュレーションの組合せを用いて生成されたシミュレーションデータを採用してもよい。例えば、音響シミュレーションソフトウェアは、航空機のテスト飛行によって生成された音響データを使用してもよい。多くの実装態様において、収集オペレーション５０２は、上述の複数の方法を用いてデータを収集して、ＤＡＡモデル１３２を訓練又は生成する為のロバストデータセットを生成してもよい。更に、幾つかの実装態様では、ＤＡＡシステムの使用を通じて生成されたデータは、ＤＡＡモデル１３２を更新し、再訓練する為に使用されてもよい。

マッチングオペレーション５０４は、収集された音響データを侵入機の既知の位置データとマッチングさせる。マッチングオペレーション５０４は、様々な実装態様において、地上ベースの位置データ又は飛行ベースの位置データを、地上ベースのアレイで収集された音響データにマッチングさせることを含み得る。例えば、マッチングオペレーション５０４は、時間整合を使用して、地上ベースのＬｉＤＡＲデータ、航空機ベースのＧＰＳデータ、又はＡＤＳ－Ｂデータを、収集オペレーション５０２の間に地上ベースのアレイで収集された音響データにマッチングさせてもよい。マッチングオペレーション５０４は又、ＡＤＳ－Ｂ、ＧＰＳ、又は他の測位データを、航空機搭載アレイで収集された音響データにマッチングさせることを含んでもよい。

訓練オペレーション５０６は、機械学習モデルを訓練して、マッチングされた音響データ及び位置データをラベル付き観測値として使用して、音響信号に基づいて位置情報を生成する。訓練オペレーション５０６は、収集オペレーション５０２及びマッチングオペレーション５０４によって作成されたデータセットに基づいて、ディープニューラルネットワークを生成することを含んでもよい。又、訓練オペレーション５０６は、データセットを（ラベル付けされた観測値として）使用して、分類器等の他の種類の機械学習モデルを訓練してもよい。幾つかの実装態様では、訓練オペレーション５０６は、同じ又は類似のデータセットを使用して、複数の異なるタイプの機械学習モデルを生成又は訓練してもよく、これらのモデルを合成してＤＡＡモデル１３２を形成してもよい。訓練オペレーション５０６は、上述した複数のタイプのデータセットを含んでもよい。例えば、訓練オペレーション５０６は、地上ベースのアレイ、航空機搭載アレイ、及びシミュレーションデータからのデータを使用して、ディープニューラルネットワークを生成してもよい。

より多くのデータが収集されるにつれて、ＤＡＡモデル１３２は更新又は再訓練されてもよい。従って、経時的に、ＤＡＡシステムは侵入機のその位置推定においてより正確になり得る。

図９は、本明細書に記載の実施例における様々な実施形態を実施する為の例示的なコンピュータシステム６００の概略図である。コンピュータシステム６００は、ＤＡＡノード１０６（図２）を実装する為に使用されてもよいし、航空機制御システム１０４の１つ以上の構成要素に統合されてもよい。例えば、ＤＡＡモデル１３２は、図９に示すコンピュータシステム６００の構成要素のうちの１つ以上を使用して実装されてもよい。コンピュータシステム６００は、図１～図８に開示された構成要素又は動作の１つ以上を実装又は実行する為に使用される。図９において、コンピュータシステム６００は、１つ以上の処理要素６０２、入出力インターフェース６０４、ディスプレイ６０６、１つ以上のメモリ構成要素６０８、ネットワークインターフェース６１０、及び１つ以上の外部デバイス６１２を含んでもよい。様々な構成要素の夫々は、１つ以上のバス、有線又は無線ネットワーク等の通信ネットワークを通じて互いに通信していてもよい。

処理要素６０２は、命令を処理、受信、及び／又は送信することができる任意のタイプの電子デバイスであってよい。例えば、処理要素６０２は、中央処理装置、マイクロプロセッサ、プロセッサ、又はマイクロコントローラであってもよい。更に、コンピュータ６００の幾つかの構成要素は第１のプロセッサによって制御されてもよく、他の構成要素は第２のプロセッサによって制御されてもよく、この場合第１と第２のプロセッサは互いに通信しても通信しなくてもよいことに留意されたい。

メモリ構成要素６０８は、コンピュータ６００によって、処理要素６０２の為の命令を格納すると共に、マルチチャネルオーディオデータ１３４及び１４０（図４）等のデータを格納する為に使用される。メモリ構成要素６０８は、例えば、光磁気ストレージ、リードオンリーメモリ、ランダムアクセスメモリ、消去可能プログラマブルメモリ、フラッシュメモリ、又は１つ以上のタイプのメモリ構成要素の組合せであってよい。

ディスプレイ６０６は、ユーザに視覚的フィードバックを提供する。任意選択で、ディスプレイ６０６は、ユーザが本開示で説明するようにＤＡＡノード１０６又は航空機制御部１０４の様々な構成要素を制御、操作、及び較正することを可能にする入力要素として機能してもよい。ディスプレイ６０６は、液晶ディスプレイ、プラズマディスプレイ、有機発光ダイオードディスプレイ、及び／又は他の適切なディスプレイであってもよい。ディスプレイ６０６が入力として使用される実施形態では、ディスプレイは、静電容量式タッチセンサ、抵抗グリッド等の１つ以上のタッチセンサ又は入力センサを含んでもよい。

Ｉ／Ｏインターフェース６０４は、ユーザがコンピュータ６００にデータを入力することを可能にすると共に、コンピュータ６００が他のデバイス又はサービスと通信する為の入力／出力を提供する。Ｉ／Ｏインターフェース６０４は、１つ以上の入力ボタン、タッチパッド等を含み得る。

ネットワークインターフェース６１０は、コンピュータ６００と他の装置との間の通信を提供する。ネットワークインターフェース６１０は、ＷｉＦｉ、イーサネット、ブルートゥース（登録商標）等の１つ以上の通信プロトコルを含むが、これらに限定されるものではない。又、ネットワークインターフェース６１０は、ユニバーサルシリアルバス（ＵＳＢ）ケーブル等の１つ以上のハードワイヤード構成要素を含んでもよい。ネットワークインターフェース６１０の構成は、所望される通信の種類に依存し、ＷｉＦｉ、ブルートゥース等を介して通信するように変更されてもよい。

外部デバイス６１２は、コンピューティングデバイス６００に様々な入力を提供する為に使用できる１つ以上のデバイスであり、例えば、マウス、マイク、キーボード、トラックパッド等である。外部デバイス６１２は、ローカル又はリモートであってもよく、所望に応じて変化してもよい。幾つかの例では、外部デバイス６１２は、１つ以上の追加のセンサも含んでもよい。

前述の説明は、広範な適用を有する。例えば、本明細書に開示された例は中央通信システムにフォーカスしているが、本明細書に開示された概念は、分散型、中央若しくは分散型システム、又はクラウドシステム等の他のシステムにも同様に適用され得ることが理解されるべきである。例えば、幾つかの構成要素は、クライアント／サーバシステムのサーバ上、ユーザのモバイルデバイス上、又はネットワーク上の任意のデバイス上に常駐し、分散方式で動作してもよい。又、システムの１つ以上の構成要素は、ＶＭコンピューティング環境におけるコントローラ仮想マシン（ＶＭ）又はハイパーバイザに常駐してもよい。従って、本開示は、様々なシステム及び方法の例を提供することのみを意図しており、特許請求の範囲を含む本開示の範囲がこれらの例に限定されることを示唆することを意図するものではない。

本明細書に記載された技術は、１つ以上のシステムにおいて、論理演算及び／又はモジュールとして実装されてもよい。論理演算は、１つ以上のコンピュータシステムで実行されるソフトウェアプログラムによって指示されるプロセッサ実装ステップのシーケンスとして、及び１つ以上のコンピュータシステム内の相互接続された機械又は回路モジュールとして、又は両者の組み合わせとして実装されてもよい。同様に、様々な構成要素モジュールの説明は、モジュールによって実行又は発効されるオペレーションの観点から提供され得る。結果として得られる実装態様は、記述された技術を実装する基礎となるシステムの性能要件に依存する、選択の問題である。従って、本明細書に記載された技術の実施形態を構成する論理演算は、オペレーション、ステップ、オブジェクト、又はモジュールとして様々に言及される。更に、論理演算は、明示的に別の方法で主張されるか、又は特定の順序が請求項の言語によって本質的に必要とされない限り、任意の順序で実行され得ることが理解されるべきである。

幾つかの実装態様では、製品は、手順動作を実施する為にコンピュータシステム上のオペレーションのインスタンス化を引き起こすコンピュータプログラム製品として提供される。コンピュータプログラム製品の１つの実装態様は、コンピュータシステムによって読み取り可能であり、コンピュータプログラムを符号化する非一時的コンピュータプログラム記憶媒体を提供する。更に、記載された技術は、パーソナルコンピュータとは独立した特殊用途の装置において採用され得ることを理解されたい。

上記の明細書、実施例及びデータは、特許請求の範囲に定義される本発明の例示的な実施形態の構造及び使用についての完全な説明を提供するものである。請求項に記載の発明の様々な実施形態が、或る程度の特殊性をもって、又は１つ以上の個々の実施形態を参照して上記に説明されたが、請求項に記載の発明の趣旨又は範囲から逸脱することなく、開示された実施形態に対する多数の変更が可能であり得ることが理解される。従って、他の実施形態が企図される。上記の説明に含まれ、添付の図面に示される全ての事項は、特定の実施形態の例示としてのみ解釈され、限定するものではないことが意図される。詳細又は構造の変更は、以下の特許請求の範囲に定義される本発明の基本的要素から逸脱することなく行われ得る。

１００ 航空機
１０１ 球面検知ゾーン
１０２ 侵入機
１０３ 球面回避ゾーン
１０４ 航空機制御部
１０６ ＤＡＡノード
１０８ 処理部
１１０ メモリ
１１２ａ～ｎ アレイ要素１１２
１１４ａ～ｎ マイクロフォン
６００ コンピュータシステム
６０２ 処理要素
６０４ 入出力インターフェース
６０６ ディスプレイ
６０８ メモリ構成要素
６１０ ネットワークインターフェース
６１２ 外部デバイス

上記の明細書、実施例及びデータは、特許請求の範囲に定義される本発明の例示的な実施形態の構造及び使用についての完全な説明を提供するものである。請求項に記載の発明の様々な実施形態が、或る程度の特殊性をもって、又は１つ以上の個々の実施形態を参照して上記に説明されたが、付記に記載の発明の趣旨又は範囲から逸脱することなく、開示された実施形態に対する多数の変更が可能であり得ることが理解される。従って、他の実施形態が企図される。上記の説明に含まれ、添付の図面に示される全ての事項は、特定の実施形態の例示としてのみ解釈され、限定するものではないことが意図される。詳細又は構造の変更は、以下の特許請求の範囲に定義される本発明の基本的要素から逸脱することなく行われ得る。
〔付記１〕
航空機のオーディオセンサでオーディオ信号を受信するステップと、
前記受信したオーディオ信号を解析し、前記オーディオ信号のソースの方向情報を確定するステップと、
前記方向情報に基づいて、前記オーディオ信号のソースの位置を確定するステップと、
を含む方法。
〔付記２〕
前記オーディオ信号の前記ソースの位置は、機械学習モデル又は確率的追尾の少なくとも１つを使用して確定される、付記１に記載の方法。
〔付記３〕
前記受信したオーディオ信号を解析するステップが、
第１の時点での前記受信オーディオ信号と前記センサの幾何学的形状とに基づいて、前記信号ソースの第１の方向情報を確定するステップと、
第２の時点での前記受信オーディオ信号の変化に少なくとも基づいて、前記信号ソースの第２の方向情報を確定するステップと、
を含む、付記１に記載の方法。
〔付記４〕
前記第２の方向情報は、前記航空機の情報収集マヌーバに応答した前記受信信号の変化に基づいて確定される、付記３に記載の方法。
〔付記５〕
前記方向情報は深層学習モデルを用いて確定される、付記１に記載の方法。
〔付記６〕
更に、機械学習モデルを使用して、前記オーディオ信号が侵入機に関連することを確定するステップを含む、付記１に記載の方法。
〔付記７〕
更に、前記オーディオ信号が前記侵入機に関連しているという前記確定に応答して、前記航空機によって初期マヌーバを実行するステップを含む、付記６に記載の方法。
〔付記８〕
更に、前記初期マヌーバの開始後に収集された前記侵入機に関する情報に基づいて、１つ以上の追加マヌーバを実行するステップを含む、付記７に記載の方法。
〔付記９〕
更に、前記航空機の前記センサで受信した前記オーディオ信号をビームフォーミングして、ビームフォーミングされた信号を生成するステップを含む、付記１に記載の方法。
〔付記１０〕
更に、前記ビームフォーミングされた信号を、既知の航空機の周波数を含む複数のフィルタと比較して、前記オーディオ信号が侵入機に関連することを確定するステップを含む、付記９に記載の方法。
〔付記１１〕
更に、従来型モデル、機械学習モデル、及び深層学習モデルのうちの１つ以上を使用して、前記ビームフォーミングされたオーディオ信号と侵入機との間の関連付けを確定するステップを含む、付記９に記載の方法。
〔付記１２〕
前記複数のフィルタの各々は、ベース周波数と、前記ベース周波数の高調波とを含む、付記１０に記載の方法。
〔付記１３〕
前記オーディオ信号の前記ソースの位置は、追加のセンサモダリティを使用して収集された前記オーディオ信号の前記ソースに関する追加の情報に更に基づいている、付記１に記載の方法。
〔付記１４〕
前記オーディオ信号の前記ソースの前記位置は動的に更新され、前記オーディオ信号の前記ソースの前記位置に関する信頼性情報を含む、付記１に記載の方法。
〔付記１５〕
更に、前記オーディオ信号の前記ソースが前記航空機の規定レンジ内にあるかどうかを確定するステップを含む、付記１に記載の方法。
〔付記１６〕
命令でコード化された１つ以上の非一時的コンピュータ可読媒体であって、前記命令は、音響航空機検知システムの１つ以上のプロセッサによって実行されると、前記音響航空機検知システムに、
前記音響航空機検知システムによって受信されたオーディオ信号を解析させて、前記オーディオ信号の前記ソースの方向情報を確定させ、
前記方向情報に基づいて、前記オーディオ信号の前記ソースの位置の推定を生成させる、
１つ以上の非一時的コンピュータ可読媒体。
〔付記１７〕
前記音響航空機検知システムによって受信された前記オーディオ信号は、前記オーディオ信号の前記ソースの方向情報を確定する為に機械学習モデルに提供される、付記１６に記載の１つ以上の非一時的コンピュータ可読媒体。
〔付記１８〕
前記命令は更に、前記音響航空機検知システムに、
前記機械学習モデルによって前記オーディオ信号を解析させ、前記オーディオ信号が侵入機に関連するかどうかを確定させる、
付記１７に記載の１つ以上の非一時的コンピュータ可読媒体。
〔付記１９〕
前記機械学習モデルは、前記オーディオ信号が侵入機に関連するかどうかを確定する為に、他の航空機のベースラインデータを使用して訓練される、付記１８に記載の１つ以上の非一時的コンピュータ可読媒体。
〔付記２０〕
前記命令は更に、前記音響航空機検知システムに、前記受信したオーディオ信号をビームフォーミングさせ、前記ビームフォーミングされたオーディオ信号を前記機械学習モデルに提供させる、付記１８に記載の１つ以上の非一時的コンピュータ可読媒体。
〔付記２１〕
航空機の音響検知システムで、マルチチャネルオーディオ信号を受信するステップと、
前記マルチチャネルオーディオ信号に基づいて、前記マルチチャネルオーディオ信号が侵入機に関連することを確定するステップと、
前記航空機の初期マヌーバを指令するステップと、を含む方法。
〔付記２２〕
前記初期マヌーバは、前記侵入機に対する前記オーディオ信号の特性の変化を引き起こす、付記２１に記載の方法。
〔付記２３〕
更に、前記航空機が前記初期回避マヌーバを実行している間に、前記航空機の前記音響検知システムで追加のマルチチャネルオーディオ信号を受信するステップと、
前記追加のマルチチャネルオーディオ信号を機械学習モデルへの入力として提供し、前記侵入機の方向情報を確定するステップと、を含む、付記２１に記載の方法。
〔付記２４〕
無人航空機（ＵＡＶ）であって、
前記ＵＡＶに接続された複数の音響センサと、
１つ以上のプロセッサを含む音響航空機検知システムであって、前記音響航空機検知システムは、
前記複数の音響センサによって受信されたオーディオ信号を解析し、前記ＵＡＶに対する侵入機の３次元空間における推定を生成するように構成されている、無人航空機（ＵＡＶ）。
〔付記２５〕
更に、前記ＵＡＶの動きを制御する為に１つ以上の制御システムと通信するように構成された飛行制御装置を備え、前記飛行制御装置は更に、前記音響航空機検知システムから通信を受信することで、前記ＵＡＶの情報収集マヌーバを開始するように構成されている、付記２４に記載のＵＡＶ。
〔付記２６〕
前記音響航空機検知システムは、前記ＵＡＶが前記情報収集マヌーバを実行する際に、前記侵入機からの前記オーディオ信号に少なくとも部分的に基づいて、前記ＵＡＶに対する前記侵入機の空間における推定を生成するように構成されている、付記２５に記載のＵＡＶ。
〔付記２７〕
前記音響航空機検知システムは、前記ＵＡＶに接続された前記複数の音響センサの幾何学的形状に少なくとも部分的に基づいて、前記ＵＡＶに対する前記侵入機の空間における前記推定を生成するように構成される、付記２４に記載のＵＡＶ。
〔付記２８〕
前記音響航空機検知システムは、少なくとも深層学習モデルを使用して、前記侵入機の空間における前記推定を生成するように構成されている、付記２４に記載のＵＡＶ。
〔付記２９〕
前記音響航空機検知システムは更に、前記複数の音響センサによって受信されたオーディオ信号が前記侵入機に関連するかどうかを確定するように構成される、付記２４に記載のＵＡＶ。
〔付記３０〕
航空機の音響検知システムで、マルチチャネルオーディオ信号を受信するステップと、
前記マルチチャネルオーディオ信号に基づいて、前記マルチチャネルオーディオ信号が侵入機に関連することを確定するステップと、
前記マルチチャネルオーディオ信号に基づいて、前記侵入機を複数の可能なタイプの航空機のうちの１つとして分類するステップと、を含む方法。

Claims (30)

1. 航空機のオーディオセンサでオーディオ信号を受信するステップと、
   前記受信したオーディオ信号を解析し、前記オーディオ信号のソースの方向情報を確定するステップと、
   前記方向情報に基づいて、前記オーディオ信号のソースの位置を確定するステップと、
   を含む方法。
2. 前記オーディオ信号の前記ソースの位置は、機械学習モデル又は確率的追尾の少なくとも１つを使用して確定される、請求項１に記載の方法。
3. 前記受信したオーディオ信号を解析するステップが、
   第１の時点での前記受信オーディオ信号と前記センサの幾何学的形状とに基づいて、前記信号ソースの第１の方向情報を確定するステップと、
   第２の時点での前記受信オーディオ信号の変化に少なくとも基づいて、前記信号ソースの第２の方向情報を確定するステップと、
   を含む、請求項１に記載の方法。
4. 前記第２の方向情報は、前記航空機の情報収集マヌーバに応答した前記受信信号の変化に基づいて確定される、請求項３に記載の方法。
5. 前記方向情報は深層学習モデルを用いて確定される、請求項１に記載の方法。
6. 更に、機械学習モデルを使用して、前記オーディオ信号が侵入機に関連することを確定するステップを含む、請求項１に記載の方法。
7. 更に、前記オーディオ信号が前記侵入機に関連しているという前記確定に応答して、前記航空機によって初期マヌーバを実行するステップを含む、請求項６に記載の方法。
8. 更に、前記初期マヌーバの開始後に収集された前記侵入機に関する情報に基づいて、１つ以上の追加マヌーバを実行するステップを含む、請求項７に記載の方法。
9. 更に、前記航空機の前記センサで受信した前記オーディオ信号をビームフォーミングして、ビームフォーミングされた信号を生成するステップを含む、請求項１に記載の方法。
10. 更に、前記ビームフォーミングされた信号を、既知の航空機の周波数を含む複数のフィルタと比較して、前記オーディオ信号が侵入機に関連することを確定するステップを含む、請求項９に記載の方法。
11. 更に、従来型モデル、機械学習モデル、及び深層学習モデルのうちの１つ以上を使用して、前記ビームフォーミングされたオーディオ信号と侵入機との間の関連付けを確定するステップを含む、請求項９に記載の方法。
12. 前記複数のフィルタの各々は、ベース周波数と、前記ベース周波数の高調波とを含む、請求項１０に記載の方法。
13. 前記オーディオ信号の前記ソースの位置は、追加のセンサモダリティを使用して収集された前記オーディオ信号の前記ソースに関する追加の情報に更に基づいている、請求項１に記載の方法。
14. 前記オーディオ信号の前記ソースの前記位置は動的に更新され、前記オーディオ信号の前記ソースの前記位置に関する信頼性情報を含む、請求項１に記載の方法。
15. 更に、前記オーディオ信号の前記ソースが前記航空機の規定レンジ内にあるかどうかを確定するステップを含む、請求項１に記載の方法。
16. 命令でコード化された１つ以上の非一時的コンピュータ可読媒体であって、前記命令は、音響航空機検知システムの１つ以上のプロセッサによって実行されると、前記音響航空機検知システムに、
    前記音響航空機検知システムによって受信されたオーディオ信号を解析させて、前記オーディオ信号の前記ソースの方向情報を確定させ、
    前記方向情報に基づいて、前記オーディオ信号の前記ソースの位置の推定を生成させる、
    １つ以上の非一時的コンピュータ可読媒体。
17. 前記音響航空機検知システムによって受信された前記オーディオ信号は、前記オーディオ信号の前記ソースの方向情報を確定する為に機械学習モデルに提供される、請求項１６に記載の１つ以上の非一時的コンピュータ可読媒体。
18. 前記命令は更に、前記音響航空機検知システムに、
    前記機械学習モデルによって前記オーディオ信号を解析させ、前記オーディオ信号が侵入機に関連するかどうかを確定させる、
    請求項１７に記載の１つ以上の非一時的コンピュータ可読媒体。
19. 前記機械学習モデルは、前記オーディオ信号が侵入機に関連するかどうかを確定する為に、他の航空機のベースラインデータを使用して訓練される、請求項１８に記載の１つ以上の非一時的コンピュータ可読媒体。
20. 前記命令は更に、前記音響航空機検知システムに、前記受信したオーディオ信号をビームフォーミングさせ、前記ビームフォーミングされたオーディオ信号を前記機械学習モデルに提供させる、請求項１８に記載の１つ以上の非一時的コンピュータ可読媒体。
21. 航空機の音響検知システムで、マルチチャネルオーディオ信号を受信するステップと、
    前記マルチチャネルオーディオ信号に基づいて、前記マルチチャネルオーディオ信号が侵入機に関連することを確定するステップと、
    前記航空機の初期マヌーバを指令するステップと、を含む方法。
22. 前記初期マヌーバは、前記侵入機に対する前記オーディオ信号の特性の変化を引き起こす、請求項２１に記載の方法。
23. 更に、前記航空機が前記初期回避マヌーバを実行している間に、前記航空機の前記音響検知システムで追加のマルチチャネルオーディオ信号を受信するステップと、
    前記追加のマルチチャネルオーディオ信号を機械学習モデルへの入力として提供し、前記侵入機の方向情報を確定するステップと、を含む、請求項２１に記載の方法。
24. 無人航空機（ＵＡＶ）であって、
    前記ＵＡＶに接続された複数の音響センサと、
    １つ以上のプロセッサを含む音響航空機検知システムであって、前記音響航空機検知システムは、
    前記複数の音響センサによって受信されたオーディオ信号を解析し、前記ＵＡＶに対する侵入機の３次元空間における推定を生成するように構成されている、無人航空機（ＵＡＶ）。
25. 更に、前記ＵＡＶの動きを制御する為に１つ以上の制御システムと通信するように構成された飛行制御装置を備え、前記飛行制御装置は更に、前記音響航空機検知システムから通信を受信することで、前記ＵＡＶの情報収集マヌーバを開始するように構成されている、請求項２４に記載のＵＡＶ。
26. 前記音響航空機検知システムは、前記ＵＡＶが前記情報収集マヌーバを実行する際に、前記侵入機からの前記オーディオ信号に少なくとも部分的に基づいて、前記ＵＡＶに対する前記侵入機の空間における推定を生成するように構成されている、請求項２５に記載のＵＡＶ。
27. 前記音響航空機検知システムは、前記ＵＡＶに接続された前記複数の音響センサの幾何学的形状に少なくとも部分的に基づいて、前記ＵＡＶに対する前記侵入機の空間における前記推定を生成するように構成される、請求項２４に記載のＵＡＶ。
28. 前記音響航空機検知システムは、少なくとも深層学習モデルを使用して、前記侵入機の空間における前記推定を生成するように構成されている、請求項２４に記載のＵＡＶ。
29. 前記音響航空機検知システムは更に、前記複数の音響センサによって受信されたオーディオ信号が前記侵入機に関連するかどうかを確定するように構成される、請求項２４に記載のＵＡＶ。
30. 航空機の音響検知システムで、マルチチャネルオーディオ信号を受信するステップと、
    前記マルチチャネルオーディオ信号に基づいて、前記マルチチャネルオーディオ信号が侵入機に関連することを確定するステップと、
    前記マルチチャネルオーディオ信号に基づいて、前記侵入機を複数の可能なタイプの航空機のうちの１つとして分類するステップと、を含む方法。

Images