JP7066546B2 - 航空機を自律的に操縦する方法及びシステム - Google Patents

Description

本開示は、アビオニクス分野に含まれるものであり、航空機を自律的に操縦する方法及びシステムに関する。

単独パイロット操縦（ＳＰＯ）、すなわちコックピット内のパイロットが１人だけで民間航空機を飛ばす完全に自動化された民間航空機及び無人機（ＵＡＶ）は、高度な搭載自動化ツールによって支援される必要がある。

通常、搭乗員の費用及び搭乗員の有用性は航空機の極めて重要なビジネスドライバーである。この分野の改善は、コストの削減及び事業収入の増加につながる。しかしながら、民間航空機、特に輸送機の自律的な操縦は、安全に実施されなければならない。

いかなる自律システムにおいても、重要な部分は訓練である。現在の訓練方法にはある程度、小型ビークルにおいて利用可能なデータから学習する無人機の飛行力学、飛行制御及び軌道計画のデータ駆動型モデリングが含まれる。

しかしながら、現在のデータ駆動型ＵＡＶ訓練システムの重大な欠点はデータの利用可能性であり、監視データに基づく搭載自動化ツールの訓練の問題に対処する解決策は存在しない。特定のセンサからのデータで訓練された小型ＵＡＶの特定モデルに対する研究はあるが、現在の訓練方法はどれも一般的なものではない（すなわち、これらの方法を一般化してすべての無人機に実行することはできない）。加えて、現在のデータ駆動型訓練システムでは、訓練データに存在する不確実性の管理が考慮されていない。

したがって、既存の欠点を克服する、航空機搭載コマンド及び制御システムを訓練し操作する新たなプロセスを提供する必要がある。

本開示は、記録された監視データを活用して、搭載センサのデータに応じて最適な行動を取るように指示することによって、自律ビークル訓練から生じるすべての複雑性を除去する、自律的に作動し飛行するように訓練された航空機を自律的に操縦する方法及びシステムに言及するものである。

民間航空機の過去の監視データから航法及び誘導コマンドを推測し、搭載センサの測定値に基づいてこれらのコマンドを適用することができるシステムを開発することは、自律ビークルに対する新たな取り組みである。監視データは例えば、ＦＡＡのＳｙｓｔｅｍ Ｗｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｍａｎａｇｅｍｅｎｔ（ＳＷＩＭ）インフラストラクチャから、あるいはグローバルフライトトラッキングプロバイダから簡単に取得できる。監視データには、他のデータの中でもとりわけ、レーダ及び／又はＡＤＳ追跡が含まれうる。

提案の方法により、記録されたフライトデータを利用する学習プロセスを使用して、実際の航空機の性能及び能力に従い、適合した航空機の自律的なコマンド送信及び制御が可能になる。訓練に必要な唯一の入力は、ＡＤＳ－Ｂ又はＡＤＳ－ＣのようなレーダデータあるいはＡＤＳデータから取得された航空機の過去の位置の時間発展的シーケンスである。搭載自動化ツールには、人間の代わりに航空機にコマンド送信するための取るべき最適行動が指示される。この行動は例えば、Ｌｏｐｅｚ－Ｌｅｏｎｅｓ、Ｊａｖｉｅ氏らによる「Ｔｈｅ ａｉｒｃｒａｆｔ ｉｎｔｅｎｔ ｄｅｓｃｒｉｐｔｉｏｎ ｌａｎｇｕａｇｅ： ａ ｋｅｙ ｅｎａｂｌｅｒ ｆｏｒ ａｉｒ－ ｇｒｏｕｎｄ ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ ｉｎ ｔｒａｊｅｃｔｏｒｙ－ｂａｓｅｄ ｏｐｅｒａｔｉｏｎｓ」 ２００７ ＩＥＥＥ／ＡＩＡＡ ２６ｔｈ Ｄｉｇｉｔａｌ Ａｖｉｏｎｉｃｓ Ｓｙｓｔｅｍｓ Ｃｏｎｆｅｒｅｎｃｅ、及びＶｉｌａｐｌａｎａ、Ｍｉｇｕｅｌ Ａ氏らによる「Ｔｏｗａｒｄｓ ａ ｆｏｒｍａｌ ｌａｎｇｕａｇｅ ｆｏｒ ｔｈｅ ｃｏｍｍｏｎ ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ ａｉｒｃｒａｆｔ ｉｎｔｅｎｔ」２４ｔｈ Ｄｉｇｉｔａｌ Ａｖｉｏｎｉｃｓ Ｓｙｓｔｅｍｓ Ｃｏｎｆｅｒｅｎｃｅ、Ｖｏｌ．１、 ＩＥＥＥ、 ２００５に記載の航空機インテント記述言語（ＡＩＤＬ）フォーマットで表される。

本開示の一態様によれば、航空機を自律的に操縦する方法が提供され、本方法は、航空機の飛行中に実行されるリアルタイムの制御ステップを含む飛行前訓練ステップを含む。

飛行前訓練ステップは、少なくとも１つの航空機の機種、及び少なくとも１つのルートに対応する、複数の飛行の記録された監視データを読み出すことと、記録された監視データから航空機インテントを推測することと、推測された航空機インテントを使用して再構築された軌道を計算することと、特定の航空機の機種及びルートに対応する、航空機インテントと、再構築された飛行軌道とを含む訓練データセットを選択することと、航空機の状態と行動との間のマッピング関数を取得するために訓練データセットに機械学習アルゴリズムを適用することとを含む。

リアルタイムの制御ステップは、搭載センサのデータを繰り返し読み出すことと、搭載センサのデータからリアルタイムの航空機の状態を取得することと、マッピング関数を使用してリアルタイムの航空機の状態に関連する行動を決定することと、航空機上で選択された行動を実行することとを含む。

一実施形態によれば、航空機インテントはＡＩＤＬフォーマットで表わされ、行動はＡＩＤＬ指示として表される航法及び誘導コマンドを含む。マッピング関数は、ＡＩＤＬ指示を有するテーブルマッピング用センサ値を含みうる。行動を決定するステップは、読み出した搭載センサのデータに対応するセンサ値をマッピングテーブルで検索することを含むことができ、ぴったり一致するものが見つからない場合、補間プロセスを使用して関連するＡＩＤＬ指示を決定する。

一実施形態では、機械学習アルゴリズムは、目的地の空港における飛行の着陸と一致する航空機の状態に関連する累積リワード（ｒｅｗａｒｄ）Ｒを最大化するポリシーπを取得する強化学習アルゴリズムである。強化学習アルゴリズムは、６つの独立したＡＩＤＬ指示を予測するために６つの独立したマルコフ決定プロセスを解くことを含むことができ、行動及び状態空間は、各ＡＩＤＬスレッドに対して異なっている。

本開示の別の態様によれば、航空機を自律的に操縦するためのシステムが提供され、本システムは、
少なくとも１つの航空機の機種と少なくとも１つのルートに対応する複数の飛行の記録された監視データから航空機インテントを推測し、推測された航空機インテントを使用して再構築された軌道を計算するように構成された推測及び軌道再構築モジュールと、
特定の航空機の機種とルートに対応する、航空機インテントと、飛行の再構築された軌道とを含む訓練データセットを選択するように構成されたクラスタリングモジュールと、
航空機の状態と行動との間のマッピング関数を取得するために、訓練データセットに機械学習アルゴリズムを適用するように構成された機械学習モジュールと、
搭載コマンド及び制御自動化モジュール（３４０）であって、航空機の飛行中に搭載センサのデータ（２１０）を繰り返し読み出しすることと、搭載センサのデータ（２１０）からリアルタイムの航空機の状態（２２２）を取得することと、マッピング関数（１８０）を使用してリアルタイムの航空機の状態（２２２）に関連する行動（２２４）を決定することと、航空機上で選択された行動を実行することを指示することとを行うように構成された搭載コマンド及び制御自動化モジュール（３４０）と
備える。

一実施形態では、搭載コマンド及び制御自動化モジュールは、読み出された搭載センサのデータに対応するセンサ値をマッピングテーブルで検索し、ぴったり一致するものが見つからない場合、補間を使用して関連するＡＩＤＬ指示を決定することによって行動を決定するように構成される。

機械学習モジュールは、目的地の空港における飛行の着陸と一致する航空機の状態に関連する累積リワードＲを最大化するポリシーπを取得するように構成された強化学習モジュールであってよい。一実施形態では、強化学習アルゴリズムは、６つの独立したＡＩＤＬ指示を予測するために６つの独立したマルコフ決定プロセスを解くように構成され、行動及び状態空間は、各ＡＩＤＬスレッドに対し異なる。

システムは、航空機上で選択された行動を実行するための、航空機の飛行管理システムを備えうる。

本発明のさらに別の態様によれば、航空機を自律的に操縦するためのコンピュータプログラム製品であって、プロセッサによって実行されたときにプロセッサに方法のステップを実施させる、記憶された指示のセットを含む少なくとも１つのコンピュータ可読記憶媒体を含むコンピュータプログラム製品が提供される。

本方法は、民間航空機とＵＡＶの自律的ビークル航法技術において使用することができ、学習データセットを変更するだけで、航空機の機種とは関係なくいかなる民間航空機にも適用することが可能であるため、特に有益である。訓練データセットは、多様なソース、例えばＡＤＳ－Ｂプロバイダ、連邦航空局又は世界中の同等の団体、及び航空会社（例：ＱＡＲ－クイックアクセスレコーダから）から取得されうる。

上述の特徴、機能、及び利点は、様々な実施形態において単独で実現することが可能であり、或いは、さらに別の実施形態において組み合わせることが可能である。これらの実施形態は、以下の説明及び図面を参照することによってさらに詳細に理解することができる。

本発明をより良く理解する助けとなり、前記発明の一実施形態に明らかに関連し、該実施形態の非限定的な実施例として提示される一連の図面を以下に簡潔に記述する。

飛行前訓練ステップを示す概略図である。 飛行中に機上で実行されるリアルタイムの制御ステップを示す図である。 航空機を自律的に操縦する方法の一実施形態が記載されたブロック図である。

本開示は、自律的に操縦するための誘導コマンドを、現在の搭載センサの測定値に基づく出力として生成する方法に言及する。搭載コマンド及び制御自動化システムは、記録された過去の監視データを使用して予め訓練される。

本発明は、ＡＩＤＬ（航空機インテント記述言語）フォーマットによって規定される航空機インテントの記述に適用される航空機強化学習法（例えばＲｉｃｈａｒｄ Ｓ． Ｓｕｔｔｏｎ及びＡｎｄｒｅｗ Ｇ Ｂａｒｔｏ氏による「Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ： Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏｎ」 ＭＩＴ Ｐｒｅｓｓ、Ｃａｍｂｒｉｄｇｅ， ＭＡ）を使用して、不確実性下で機械学習プロセスを実行する。

航空機を自律的に操縦する方法は、飛行前訓練ステップと、決定されたルートを網羅する、航空機の飛行中に実行されるリアルタイムの制御ステップとを含む。図１は、例えば複数のＡＤＳ－Ｂデータ及び／又はレーダ追跡データを含有するデータベースにアクセスすることによって、複数の飛行の記録された監視データ１１０が最初に読み出される、飛行前訓練ステップ１００を示す全体図である。各飛行に対して、監視データ１１０は、少なくとも時間（ｔ）にわたる航空機の位置（経度λ、緯度φ、高度ｈ）の変化を含む。

次に、ＡＩＤＬフォーマットで表されることが好ましい、推測された航空機インテント１３０を取得するために、記録された監視データ１１０に推測ステップ１２０が適用される。軌道計算ステップ１４０において、推測された航空機インテント１３０を使用して再構築された軌道１５０が計算される。対象の航空機の機種及びルートに対応する、航空機インテント１３０と、再構築された軌道１５０とを含む訓練データセット１６０に機械学習アルゴリズム１７０が適用される（記録された監視データ１１０は、特定の航空機に適切でない異なるルート及び航空機の機種からのデータを含みうる）。機械学習アルゴリズム１７０の結果は、後に詳細に説明する、航空機の状態を行動と関連付けるマッピング関数１８０である。

図２に、飛行中に機上で実行されるリアルタイムの制御ステップ２００を示す。訓練ステップ１００は、この前に終了している必要がある。搭載コマンド及び制御自動化プロセス２２０において、航空機内に設置されたセンサから、搭載センサのデータ２１０（例えば位置２１１、高度２１２、速度２１３、方位２１４、燃料の量２１５、時間２１６又は他のセンサ情報２１７）が繰り返しキャプチャされる。読み出された搭載センサのデータ２１０を使用して、搭載コマンド及び制御プロセス２２０はリアルタイムの航空機の状態２２２を取得し、飛行前訓練ステップ１００において前に決定されたマッピング関数１８０を適用して、リアルタイムの航空機の状態２２２に関連する行動２２４を決定する。マッピング関数１８０は、広い意味で、所与の航空機の状態２２２に対する行動２２４の決定を可能にするマッピングプロセス、関係又は相互関係として理解されるべきである。一実施形態では、マッピングプロセスは、検索ごとに６つのＡＩＤＬ指示（ＡＩＤＬスレッドごとに１つ）を返す、センサ値（例えば位置、高度、速度、機首方位、燃料、時間及びその他）によって検索可能なマッピングテーブルのルックアップを含む。マッピングテーブルのすべての列は状態－行動ベクトルであり、状態２２２はセンサ値であり、行動２２４は状態に関連するＡＩＤＬ指示である。マッピングテーブルは必ずしも、直ちに実行するためのセンサデータ２１０とＡＩＤＬ指示との間のすべての可能なマッピングを含むわけではなく、この場合、補間（いずれかの周知の補間法）が必要となる。搭載コマンド及び制御プロセス２２０の出力は、航空機の飛行管理システム（ＦＭＳ）２４０によって実行されている行動２２４に対応する航法及び誘導コマンド２３０のセットを含む。一実施形態では、航法及び誘導コマンド２３０はＡＩＤＬ指示を含む。

航空機３００を自律的に操縦するためのシステムの一実施形態を表すブロック図を図３に示す。図によると、推測及び軌道再構築モジュール３１０は、例えばＲＡＤＡＲ、ＡＤＳ（ＡＤＳ－Ｃ／ＡＤＳ－Ｂ）、ＱＡＲ等の一または複数のソースから航空ドメインの監視データ１１０を入力として受信する。

記録された監視データ１１０には、推測及び軌道再構築法が適用される。種々の周知の推測及び軌道再構築法、例えば特許文献ＵＳ８９７７４８４－Ｂ１、ＵＳ９３６６５３８－Ｂ２及びＥＰ３１０９８０５－Ａ１に開示されているものを適用することができる。

推測アルゴリズムは、航空機の動きが質点モデルとして表されうるという前提に基づいており、質点モデルによって、監視データ１１０に登録された実際の軌道を最も良く表す航空機インテント１３０を計算することが可能になる。推測アルゴリズムは、記録された監視データ１１０を使用し、データを運航日の計画ルートについての大気条件を表す気象予報とリンクさせることで、航空機インテント１３０を生成することを可能にする。

本方法はまた、記録された監視データ１１０を解析することと、航空機の機種を決定し、その航空機の機種に関連する航空機の性能データを計算することも含む。例えば、レーダ航跡又は他のレーダ／ＡＤＳデータを使用して、各航空機のコールサイン又は機体番号を識別することができ、これを記録と比較して航空機の機種を決定することができる。

レーダ追跡（経時的な緯度、経度及び高度）に含まれる通常の位置データよりも広い情報を含むＡＤＳ－Ｂメッセージを考慮したとしても、対気速度及び対地速度についての正確な情報の利用可能性はほとんど無効であり、他の関連する動的状態変数を計算するのに極めて重要な状態変数である航空機の質量は入手可能ではない。

しかしながら、記録された監視データ１１０から生成された推測された航空機インテント１３０を利用することで、状態ベクトルの追加回数（粒度の増加）、及び元の監視ベースの軌道表現には含まれない状態変数（状態ベクトルの集積）を追加する航空機の質量推測及び軌道再構築プロセスを開始することが可能である。

したがって、所与の飛行の記録された飛行データに適用された推測及び軌道再構築段階の結果には、その飛行に対応する元の未処理監視データ１１０と一致する航空機インテント１３０インスタンスと、再構築された軌道１５０が含まれる。

機械学習アルゴリズム１７０（特に、強化学習アルゴリズム）を実行する強化学習モジュール３３０への入力として、両方のデータセット（１３０、１５０）が使用される。強化学習を適用する前に、クラスタリングモジュール３２０は、自律的な制御方法が適用されている航空機の特定の航空機モデルとルートに属する訓練データセット１６０を選択するために、航空機の機種及びルート（飛行計画上の出発～目的地）によって分類される再構築された軌道１５０と航空機インテントデータ１３０とに、クラスタリングプロセスを適用する。

次に、訓練データセット１６０に強化学習法が適用される。上記状況では、搭載コマンド及び制御自動化モジュール３４０は、ｓ∈Ｓ（Ｓはすべての可能な状態のセットである）の状態にある航空機をモデル化することができ、航空機制御システム（例えばＦＭＳ２４０）によって実行される行動ａ∈Ａ（Ａはすべての可能な行動のセットである）を決定するように構成される。強化学習の間、搭載コマンド及び制御自動化モジュール３４０は、スカラー値であり、且つ観測される状態ｓの関数と推定されるリワードＲも取得する。強化学習の目的は、所与の状態ｓにおける行動ａを選定するポリシーπと称される、航空機の状態から行動までのマッピングを見つけて、予期される累計リワードを最大化することである。

このため、強化学習段階において、搭載コマンド及び制御自動化モジュール３４０は、可能な戦略空間を調査し、なされた決定についての結果のフィードバックを受信する。この情報から、受信した累計リワードＲを最大化するときに、最適ポリシーが推定されなければならない。

以下のように、強化学習パラメータにＡＩＤＬフォーマットの構成要素がマッピングされうる。

Ｉ．行動：航空機のＦＭＳ２４０によって、航空機の動きに影響を与えるコマンドが実行されたか。ＡＩＤＬアルファベットは、行動指示子を考慮したときに増加する３５の可能な基本行動を含む。

ＩＩ．状態：搭載センサの測定値によって定義されているか。一般に、複数の変数により航空機の状態を定義することができ、これらの多くは高い相関性がある。
λ 経度 引力の中心の経度
φ 緯度 引力の中心の測地緯度
ｄ 距離 合計水平距離
Ｈｐ 高度 ジオポテンシャル気圧高度
Ｖｃａｓ 速度 較正対気速度
Ｍ 速度 マッハ数
ｔ 時間 合計経過時間
χＴＡＳ 方位 空力的ヨー角度
ｍ 質量 航空機の質量

ＩＩＩ．リワード：一般に、最大リワードは、目的地の空港における飛行の良好な着陸と一致する状態に関連するようになる。強化学習法は、リワードの逆伝播について処理する。

航空機の状態を決定する変数のセットは、航空機上の幾つかの異なるセンサの測定結果（例えば、位置はＧＰＳ及びＩＲＳ（慣性基準システム）の両方から取得される）であってよく、これにより状態誤差が削減される。その誤差は、推測された航空機インテントがシステムに投入するものに比べて小さく、この理由から、一実施形態では、問題をモデル化するためのフレームワークとしておそらくマルコフ決定プロセス（ＭＤＰ）が選択される。

ＭＤＰは、４つのエレメントタプル（Ｓ、Ａ、Ｒ、Ｔ）として定義され、Ｓは状態のセットであり、Ａは行動のセットであり、Ｒは各状態／行動のペアを実値でマッピングするリワード関数であり、Ｔは行動ａを実行した後に状態ｓからｓ´へ遷移する確率を表すマルコフ状態遷移関数Ｔ（ｓ´｜ｓ、ａ）である。その目的は、状態及び行動の過去の履歴に基づいて、状態からどの行動を選択するかを決定するポリシーπ（ｓ）を見つけることである。最適ポリシーは、期待効用を最大化するものであり、ポリシーの効用は、ダイナミックプログラミング（ＤＰ）を使用して評価することができる。

動きの等式から成る問題は、６つのアクティブな指示（すなわち行動）によって閉じられるべき６自由度を含み、各問題は、特定の自由度を閉じる代数方程式としてそれ自体の効果拘束を加える。ＡＩＤＬの定義に基づいて、グループに行動が割り当てられ、グループごとに１つの指示のみが並行してアクティブでありうる。それと同時に、推測法はパターン認識に基づいており、パターン認識は指示及び行動のサブセットを使用する航空機インテントにつながるため、基本的インテントは観測された航空機の監視データと一致するようにパラメータ化される。

したがって、６つの独立した指示が予測されていることから、問題は６つの独立したＭＤＰに分解され、ＭＤＰでは各スレッドに対する行動および状態空間が異なり、いずれの場合にも、元の空間及び行動空間のサブセットよりも削減されている。経度スレッド１＆２の付加的後処理が実行され、同じグループの２つの指示が同時にアクティブである（コックピット上では実行可能とはならない）場合に、予測された指示は１つも適用されない。このため、強化学習の観点から、ＡＩＤＬスレッドは完全に解除されると仮定することができる。

システムダイナミクス及びリワード関数は、状態空間にわたってはっきりしない。モデルフリーの強化学習では、遷移及びリワードモデルの陽的表現を形成する必要がない。搭載コマンド及び制御自動化モジュール３４０は、限られた経験から、訓練データ１６０上でいまだアクセスされたことがない状態に一般化する必要がある。局所近似法における前提は、互いに似ている状態は同様の状態－行動値を持ちやすいということである。

６つのスレッドの各スレッドに対し、最尤推定法を使用してデータから取得された限定数の状態／行動値がメモリに保存されることになる。例えば、状態／行動値はＮ列を有するテーブル上に保存され、テーブルの最初のＮ－１列は、搭載センサによってキャプチャされた値であり、最後に実行されるＡＩＤＬ指示であってよい。テーブルは、６つの独立したＭＤＰ（直接マッピング）を解いた結果、取得される。ほとんどの変数は連続しているので、普通は補間を使用する必要がある。次に、システムを訓練するのに、実験に基づいて最適なバケットサイズを調整することができるようにするために、簡単に再構成可能なバケットを使用してすべての連続した状態変数が離散化される。幾つかの航空機の状態に対するバケットサイズの分かりやすい例：
バケットサイズ 範囲
λ ０．１度 クラスタリングに使用されるものによって変わる
φ ０．１度 クラスタリングに使用されるものによって変わる
ｄ ５マイル クラスタリングにおいて選択された町のペアによって変わる
Ｈｐ ５００フィート －５００－５３０００
Ｖｃａｓ ５ｋｔ ０－５００

Ｑ学習アルゴリズム（強化学習法）が次に実行され、隣接する状態に基づいて状態－行動値の関数（ＡＩＤＬ指示へのセンサ値がマッピングされたテーブル）が推定される。あるいは、ＳＡＲＳＡ（状態－行動－リワード－状態－行動）等の他の技法をＱ学習の代わりに用いることができる。ＭＤＰを解くことによって、訓練ステップ１００が完了し、マッピング関数１８０が取得される。

訓練ステップ１００が完了すると、飛行段階の間のリアルタイムの制御ステップ２００が開始される。搭載コマンド及び制御自動化モジュール３４０は、搭載センサのデータ２１０に基づいて、各ＭＤＰの解答から最適な行動を選択することができる（６つのＡＩＤＬ指示）。本方法のある重要な能力は、搭載コマンド及び制御自動化システムがセンサデータの変化にリアルタイムで反応することである。訓練段階の結果は、システムメモリに記憶され、これによりあらゆる状況において最適な行動にアクセスすることが極めて速くなる。

搭載コマンド及び制御自動化モジュール３４０の出力は、ＡＩＤＬ指示を含む航法及び誘導コマンド２３０のセットである。飛行中、搭載コマンド及び制御自動化モジュール３４０は、ＡＩＤＬ工程において６つの最適な行動を組み合わせて、その工程を実行するだけで作動することが可能である。

Claims (15)

1. 航空機を自律的に操縦する方法であって、
   飛行前訓練ステップ（１００）であって、
   少なくとも１つの航空機の機種と、少なくとも１つのルートとに対応する、複数の飛行の記録された監視データ（１１０）を読み出すことと、
   前記記録された監視データ（１１０）から航空機インテント（１３０）を推測すること（１２０）と、
   推測された前記航空機インテント（１３０）を使用して、再構築された軌道（１５０）を計算すること（１４０）と、
   特定の航空機の機種及びルートに対応する、航空機インテント（１３０）と、飛行の再構築された軌道（１５０）とを含む訓練データセット（１６０）を選択することと、
   航空機の状態と行動との間のマッピング関数（１８０）を取得するために、前記訓練データセット（１６０）に機械学習アルゴリズム（１７０）を適用することと
   を含む飛行前訓練ステップ（１００）と、
   航空機の飛行中に実行されるリアルタイムの制御ステップ（２００）であって、
   搭載センサのデータ（２１０）を繰り返し読み出すことと、
   前記搭載センサのデータ（２１０）からリアルタイムの航空機の状態（２２２）を取得することと、
   前記マッピング関数（１８０）を使用して、前記リアルタイムの航空機の状態（２２２）に関連する行動（２２４）を決定することと、
   前記航空機上で、選択された前記行動（２２４）を実行することと
   を含むリアルタイムの制御ステップ（２００）と
   を含む方法。
2. 前記航空機インテント（１３０）はＡＩＤＬフォーマットで表される、請求項１に記載の方法。
3. 前記行動（２２４）は、ＡＩＤＬ指示として表される航法及び誘導コマンド（２３０）を含む、請求項２に記載の方法。
4. 前記マッピング関数（１８０）は、ＡＩＤＬ指示を有するテーブルマッピング用センサ値を含む、請求項３に記載の方法。
5. 前記行動（２２４）を決定するステップは、読み出された前記搭載センサのデータ（２１０）に対応するセンサ値を前記マッピングテーブルで検索し、ぴったり一致するものが見つからない場合、補間プロセスを使用して関連するＡＩＤＬ指示を決定することを含む、請求項４に記載の方法。
6. 前記記録された監視データ（１１０）は、ＡＤＳ－Ｂデータ、レーダ追跡データ、飛行クイックアクセスレコーダデータのうちの少なくとも１つを含む、請求項１から５のいずれか一項に記載の方法。
7. 前記機械学習アルゴリズム（１７０）は、目的地の空港における前記飛行の着陸と一致する前記航空機の状態（２２２）に関連する累積リワードＲを最大化するポリシーπを取得する強化学習アルゴリズムである、請求項１から６のいずれか一項に記載の方法。
8. 前記強化学習アルゴリズムは、６つの独立したＡＩＤＬ指示を予測するために６つの独立したマルコフ決定プロセスを解くことを含み、行動及び状態空間は、各ＡＩＤＬスレッドに対して異なっている、請求項７に記載の方法。
9. 航空機を自律的に操縦するためのシステムであって、
   推測及び軌道再構築モジュール（３１０）であって、
   少なくとも１つの航空機の機種と、少なくとも１つのルートとに対応する、複数の飛行の記録された監視データ（１１０）から航空機インテント（１３０）を推測し、
   推測された前記航空機インテント（１３０）を使用して、再構築された軌道（１５０）を計算する（１４０）
   ように構成された推測及び軌道再構築モジュール（３１０）と、
   特定の航空機の機種とルートとに対応する、航空機インテント（１３０）と、飛行の再構築された軌道（１５０）とを含む訓練データセット（１６０）を選択するように構成されたクラスタリングモジュール（３２０）と、
   航空機の状態と行動との間のマッピング関数（１８０）を取得するために、前記訓練データセット（１６０）に機械学習アルゴリズム（１７０）を適用するように構成された機械学習モジュールと、
   搭載コマンド及び制御自動化モジュール（３４０）であって、
   航空機の飛行中に搭載センサのデータ（２１０）を繰り返し読み出し、
   前記搭載センサのデータ（２１０）からリアルタイムの航空機の状態（２２２）を取得し、
   前記マッピング関数（１８０）を使用して、前記リアルタイムの航空機の状態（２２２）に関連する行動（２２４）を決定し、
   前記航空機上で、選択された前記行動（２２４）を実行することを指示する
   ように構成された搭載コマンド及び制御自動化モジュール（３４０）と
   を備えるシステム。
10. 前記航空機インテント（１３０）はＡＩＤＬフォーマットで表され、前記行動（２２４）はＡＩＤＬ指示として表される航法及び誘導コマンド（２３０）を含む、請求項９に記載のシステム。
11. 前記マッピング関数（１８０）は、ＡＩＤＬ指示を有するテーブルマッピング用センサ値を含み、前記搭載コマンド及び制御自動化モジュール（３４０）は、読み出された前記搭載センサのデータ（２１０）に対応するセンサ値を前記マッピングテーブルで検索し、ぴったり一致するものが見つからない場合、補間を使用して関連するＡＩＤＬ指示を決定することによって、行動（２２４）を決定するように構成される、請求項１０に記載のシステム。
12. 前記機械学習モジュールは、目的地の空港における前記飛行の着陸と一致する前記航空機の状態（２２２）に関連する累積リワードＲを最大化するポリシーπを取得するように構成された強化学習モジュール（３３０）である、請求項９から１１のいずれか一項に記載のシステム。
13. 前記強化学習モジュール（３３０）は、６つの独立したＡＩＤＬ指示を予測するために６つの独立したマルコフ決定プロセスを解くように構成され、行動及び状態空間は、各ＡＩＤＬスレッドに対して異なっている、請求項１２に記載のシステム。
14. 前記航空機上で選択された前記行動（２２４）を実行するための航空機の飛行管理システム（２４０）を備える、請求項９から１３のいずれか一項に記載のシステム。
15. 航空機を自律的に操縦するためのコンピュータプログラム製品であって、プロセッサによって実行されたときに前記プロセッサに請求項１から８のいずれか一項に記載の方法を実施させる、記憶された指示のセットを含む少なくとも１つのコンピュータ可読記憶媒体を備える、コンピュータプログラム製品。

Images