JP7407329B1 - 飛行誘導装置および飛行誘導方法 - Google Patents

Abstract

【課題】より確実に、飛行体を指定された無線通信方式の通信エリアへ飛行誘導することを目的とする。【解決手段】異種の無線通信方式の通信エリアＡ１～Ａ５が重畳配置された飛行体２の移動空間において、初期地点の位置から指定された第１無線通信方式の通信エリアの位置までの飛行体２の進路を制御する飛行誘導装置１であって、移動空間を複数の空間に分割した単位空間の識別情報と、単位空間の位置と、単位空間をカバーする通信エリアの無線通信方式を示す情報とを関連付けて記憶する第１記憶部１０と、飛行体２が現在いる単位空間の位置を飛行体２の現在の位置として取得する第１取得部１１と、学習モデルを用いて学習された、飛行体２が各単位空間の位置から順次進むべき進路の方策に基づいて、第１取得部１１によって取得された現在の単位空間の位置から、飛行体２が次に進むべき進路を決定する決定部１４と、決定された飛行体２が次に進むべき進路を飛行体２に指示する飛行誘導部１５とを備える。【選択図】図１

Description

本発明は、飛行誘導装置および飛行誘導方法に関する。

従来から、ドローンなどの飛行体の飛行誘導制御として、飛行体のＧＰＳなどの位置情報を地上システムで受信し、飛行体の位置情報と地形などの地図データベースとから設定された飛行経路に基づき進むべき飛行ポイントを見出し、そのポイントに進むための制御情報を飛行体へ送信する技術が知られている（特許文献１参照）。

近年、ドローンなどの飛行体は、測量、物流、農業や災害調査など、様々な分野に活用されている。それぞれの活用用途で必要となる通信に対応するために、ドローンにおいても多様な無線方式で通信を行うことが求められる。

他方において、従来から、無線通信ネットワークの中に、異種の無線通信方式や使用の異なる中継器を混在するヘテロジニアスネットワークが知られている。このような異種の無線通信方式の通信エリアが重畳された移動空間において、ドローンが特定の無線通信方式で通信を行うためには、その無線通信方式の電波が受信可能な通信エリアへドローンを誘導する必要がある。

しかし、従来の飛行誘導技術では、ドローンが取得するＧＰＳの位置情報および地形などの地図データベースを用いた場合であっても、異種の無線通信方式の重複する通信エリアの位置を把握していない。そのため、ドローンをランダムな進路で飛行させる制御、または、おおよその位置まで誘導する遠隔飛行制御もしくは自律飛行制御により、ドローンが移動した先の位置で、指定された無線通信方式の電波を実際に受信するか否かで判断することがあった。

特開２００２－２１１４９４号公報

このように、従来の技術では、より確実に、飛行体を指定された無線通信方式の通信エリアへ飛行誘導することが困難であった。

本発明は、上述した課題を解決するためになされたものであり、より確実に、飛行体を指定された無線通信方式の通信エリアへ飛行誘導することを目的とする。

上述した課題を解決するために、本発明に係る飛行誘導装置は、異種の無線通信方式の通信エリアが重畳配置された飛行体の移動空間において、初期地点の位置から、指定された第１無線通信方式の通信エリアの位置までの前記飛行体の進路を制御する飛行誘導装置であって、前記移動空間を複数の空間に分割した単位空間の識別情報と、前記単位空間の位置と、前記単位空間をカバーする通信エリアの無線通信方式を示す情報とを関連付けて記憶するように構成された第１記憶部と、前記飛行体が現在いる単位空間の位置を、前記飛行体の現在の位置として取得するように構成された第１取得部と、学習モデルを用いて学習された、前記飛行体が各単位空間の位置から順次進むべき進路の方策に基づいて、前記第１取得部によって前記飛行体の前記現在の位置として取得された現在の単位空間の位置から、前記飛行体が次に進むべき進路を決定するように構成された決定部と、前記決定部によって決定された、前記飛行体が次に進むべき進路を前記飛行体に指示するように構成された飛行誘導部とを備える。

また、本発明に係る飛行誘導装置において、さらに、前記飛行体が前記現在の単位空間の位置から前記第１無線通信方式の通信エリアの位置に対応する第１単位空間の位置に到達するまでに、前記飛行体が前記各単位空間の位置から順次進むべき進路を計算した推定結果に報酬関数を適用して、前記飛行体が前記第１単位空間の位置へ到達するための報酬が最大化するように更新し、前記飛行体が前記各単位空間の位置から順次進むべき前記進路の方策を、前記学習モデルを用いて学習するように構成された学習部と、前記学習部によって学習された、前記進路の方策を記憶するように構成された第２記憶部とを備え、前記決定部は、前記第２記憶部から前記進路の方策を読み出して、前記飛行体が次に進むべき進路を決定してもよい。

また、本発明に係る飛行誘導装置において、前記報酬関数は、前記飛行体における前記第１無線通信方式の通信エリアの位置に対応する前記第１単位空間の位置への到達度を変数として含んでいてもよい。

また、本発明に係る飛行誘導装置において、前記学習モデルは、入力層、隠れ層、および出力層を含むニューラルネットワークモデルであり、前記学習部は、前記現在の単位空間の位置を前記ニューラルネットワークモデルの入力として与え、前記ニューラルネットワークモデルの演算を行い、前記飛行体が前記現在の単位空間の位置から次に進むべき進路として、進行方向に対する所定の方向への移動に係る各々の行動をとった場合に得られる将来の前記報酬の累積値の期待値を表す行動価値関数の第１推定値を出力し、前記学習部は、さらに、前記飛行体が次に到達した単位空間の位置を前記ニューラルネットワークモデルの入力として与え、前記ニューラルネットワークモデルの演算を行い、前記行動価値関数の第２推定値を出力し、前記学習部は、前記第１推定値が、前記第２推定値から計算される目標値となるように、前記ニューラルネットワークモデルの重みパラメータを学習し、前記第２記憶部は、学習済みの重みパラメータを記憶してもよい。

また、本発明に係る飛行誘導装置において、前記第１取得部は、前記異種の無線通信方式のうち前記移動空間を最も広い範囲でカバーする第２無線通信方式のコアネットワークを介して、前記飛行体が現在いる単位空間の位置を取得してもよい。

また、本発明に係る飛行誘導装置において、前記飛行誘導部は、前記第２無線通信方式の前記コアネットワークに含まれるユーザープレーン機能を介して、前記飛行体に前記次に進むべき進路に係る指示を送信してもよい。

上述した課題を解決するために、本発明に係る飛行誘導方法は、異種の無線通信方式の通信エリアが重畳配置された飛行体の移動空間において、初期地点の位置から、指定された第１無線通信方式の通信エリアの位置までの前記飛行体の進路を制御する飛行誘導方法であって、前記移動空間を複数の空間に分割した単位空間の識別情報と、前記単位空間の位置と、前記単位空間をカバーする通信エリアの無線通信方式を示す情報とを関連付けて第１記憶部に記憶する第１記憶ステップと、前記飛行体が現在いる単位空間の位置を、前記飛行体の現在の位置として取得する第１取得ステップと、学習モデルを用いて学習された、前記飛行体が各単位空間の位置から順次進むべき進路の方策に基づいて、前記第１取得ステップで前記飛行体の前記現在の位置として取得された現在の単位空間の位置から、前記飛行体が次に進むべき進路を決定する決定ステップと、前記決定ステップで決定された、前記飛行体が次に進むべき進路を前記飛行体に指示する飛行誘導ステップとを備える。

また、本発明に係る飛行誘導方法において、さらに、前記飛行体が前記現在の単位空間の位置から前記第１無線通信方式の通信エリアの位置に対応する第１単位空間の位置に到達するまでに、前記飛行体が前記各単位空間の位置から順次進むべき進路を計算した推定結果に報酬関数を適用して、前記飛行体が前記第１単位空間の位置へ到達するための報酬が最大化するように更新し、前記飛行体が前記各単位空間の位置から順次進むべき前記進路の方策を、前記学習モデルを用いて学習する学習ステップと、前記学習ステップで学習された、前記進路の方策を第２記憶部に記憶する第２記憶ステップとを備え、前記決定ステップは、前記第２記憶部から前記進路の方策を読み出して、前記飛行体が次に進むべき進路を決定してもよい。

また、本発明に係る飛行誘導方法において、前記報酬関数は、前記飛行体における前記第１無線通信方式の通信エリアの位置に対応する前記第１単位空間の位置への到達度を変数として含んでいてもよい。

また、本発明に係る飛行誘導方法において、前記学習モデルは、入力層、隠れ層、および出力層を含むニューラルネットワークモデルであり、前記学習ステップは、前記現在の単位空間の位置を前記ニューラルネットワークモデルの入力として与え、前記ニューラルネットワークモデルの演算を行い、前記飛行体が前記現在の単位空間の位置から次に進むべき進路として、進行方向に対する所定の方向への移動に係る各々の行動をとった場合に得られる将来の前記報酬の累積値の期待値を表す行動価値関数の第１推定値を出力し、前記学習ステップは、さらに、前記飛行体が次に到達した単位空間の位置を前記ニューラルネットワークモデルの入力として与え、前記ニューラルネットワークモデルの演算を行い、前記行動価値関数の第２推定値を出力し、前記学習ステップは、前記第１推定値が、前記第２推定値から計算される目標値となるように、前記ニューラルネットワークモデルの重みパラメータを学習し、前記第２記憶ステップは、学習済みの重みパラメータを前記第２記憶部に記憶してもよい。

また、本発明に係る飛行誘導方法において、前記第１取得ステップは、前記異種の無線通信方式のうち前記移動空間を最も広い範囲でカバーする第２無線通信方式のコアネットワークを介して、前記飛行体が現在いる単位空間の位置を取得してもよい。

また、本発明に係る飛行誘導方法において、前記飛行誘導ステップは、前記第２無線通信方式の前記コアネットワークに含まれるユーザープレーン機能を介して、前記飛行体に前記次に進むべき進路に係る指示を送信してもよい。

本発明によれば、移動空間を複数の空間に分割した単位空間の識別情報と、単位空間の位置と、単位空間をカバーする通信エリアの無線通信方式を示す情報とを関連付けて記憶する第１記憶部を備え、かつ、学習モデルを用いて学習された、飛行体が各単位空間の位置から順次進むべき進路の方策に基づいて、飛行体の現在の位置として取得された現在の単位空間の位置から、飛行体が次に進むべき進路を決定する。そのため、より確実に、飛行体を指定された無線通信方式の通信エリアへ飛行誘導することができる。

図１は、本発明の実施の形態に係る飛行誘導装置を含む飛行誘導システムの構成を示すブロック図である。 図２は、本実施の形態に係る飛行誘導システムの概要を説明するための図である。 図３は、本実施の形態に係る第１記憶部のデータ構造の一例を示す図である。 図４は、本実施の形態に係る学習部による学習処理を説明するための図である。 図５は、本実施の形態に係る学習部の構成を示すブロック図である。 図６は、本実施の形態に係る飛行誘導装置のハードウェア構成を示すブロック図である。 図７は、本実施の形態に係る飛行誘導装置の学習処理を示すフローチャートである。 図８は、本実施の形態に係る飛行誘導装置の学習処理を示すフローチャートである。 図９は、本実施の形態に係る飛行誘導装置の飛行誘導処理を示すフローチャートである。

以下、本発明の好適な実施の形態について、図１から図９を参照して詳細に説明する。

［飛行誘導システムの構成］
まず、本発明の実施の形態に係る飛行誘導装置１を備える飛行誘導システムの概要について説明する。図１は、本発明の実施の形態に係る飛行誘導装置１を備える飛行誘導システムの構成を示すブロック図である。

本実施の形態に係る飛行誘導システムは、異種の無線通信方式の通信エリアＡ１～Ａ５が重畳配置されたヘテロジニアスネットワークで構成される飛行体２の移動空間において、飛行体２が初期地点の位置から指定された無線通信方式（第１無線通信方式）の通信エリアＡ１～Ａ５に対応する位置までの進路を制御する。図１に示すように、飛行体２が飛行する移動空間は、例えば、パブリック５Ｇ無線通信方式の通信エリアＡ１、ローカル５Ｇ無線通信方式の通信エリアＡ２、パブリックＬＴＥ無線通信方式の通信エリアＡ３、ローカルＬＴＥ無線通信方式の通信エリアＡ４、およびＷｉＦｉ無線通信方式の通信エリアＡ５を含む。

パブリック５Ｇ無線通信方式の通信エリアＡ１は、通信キャリアによって提供され、より広い通信範囲をカバーする。本実施の形態では、一例として、パブリック５Ｇ無線通信方式の通信エリアＡ１は、移動空間を全てカバーする。したがって、他の無線通信方式の通信エリアＡ２～Ａ５では、パブリック５Ｇ無線通信方式による通信が可能である。

ローカル５Ｇ無線通信方式の通信エリアＡ２は、例えば、自治体や事業主によって設けられた通信エリアである。また、本実施の形態では、通信キャリアによって提供されるパブリックＬＴＥ無線通信方式の通信エリアＡ３が、パブリック５Ｇ無線通信方式の通信エリアＡ１に重畳して配置されている。さらに、ホットスポットとして配置されたローカルＬＴＥ無線通信方式の通信エリアＡ４が、通信エリアＡ１に重畳して配置されている。また、各家庭や学校、オフィスビルなどの単位で用いられる他の通信エリアＡ１～Ａ４よりも狭いＷｉＦｉ無線通信方式の通信エリアＡ５が、少なくとも通信エリアＡ１に重畳して配置されている。

本実施の形態では、通信エリアＡ１は、複数の基地局３０でカバーされるセルを示す。一方、通信エリアＡ２は、１又は複数の基地局３１によってカバーされるセルをいう。他の通信エリアＡ３～Ａ５についても通信エリアＡ２と同様の構成とすることができる。なお、移動空間に配置される無線通信方式の通信エリアＡ１～Ａ５は、パブリック５Ｇ無線通信方式、ローカル５Ｇ無線通信方式、パブリックＬＴＥ無線通信方式、ローカルＬＴＥ無線通信方式、ＷｉＦｉ無線通信方式の通信エリアＡ１～Ａ５に限定されない。また、以下において、通信エリアＡ１～Ａ５を区別しない場合には、通信エリアＡと総称する場合がある。

図１に示すように、飛行誘導システムは、飛行誘導装置１、飛行体２、パブリック５Ｇ無線通信方式、ローカル５Ｇ無線通信方式、パブリックＬＴＥ無線通信方式、ローカルＬＴＥ無線通信方式、およびＷｉＦｉ無線通信方式の各々に対応する基地局３１～３４を備える。さらに、パブリック５Ｇ無線通信方式の基地局３０は、パブリック５Ｇ無線通信方式に対応するコアネットワークのＵ－ｐｌａｎｅ内のノードであるＵＰＦ（Ｕｓｅｒ Ｐｌａｎｅ Ｆｕｎｃｔｉｏｎ）４０と接続する。ローカル５Ｇ無線通信方式の基地局３１は、同無線通信方式に対応するコアネットワークのＵＰＦ４１と接続する。

パブリックＬＴＥ無線通信方式の基地局３２は、パブリックＬＴＥ無線通信方式に対応するコアネットワークのＵ－ｐｌａｎｅ内のノードであるＰ－ＧＷ（Ｐａｃｋｅｔ Ｄａｔａ Ｎｅｔｗｏｒｋ Ｇａｔｅｗａｙ）４２と接続する。さらに、ローカルＬＴＥ無線通信方式に対応する基地局３３は、同無線通信方式のコアネットワークのＰ－ＧＷ４３と接続する。また、ＷｉＦｉ無線通信方式の基地局３４は、いわゆる無線アクセスポイント（Ｗｉｒｅｌｅｓｓ Ａｃｃｅｓｓ Ｐｏｉｎｔ：ＷＡＰ）として構成される。

また、本実施の形態では、各無線通信方式に対応するコアネットワークが備えるＵＰＦ４０、４１、およびＰ－ＧＷ４２、４３は飛行誘導装置１との通信を行うための通信インターフェース４０ａ、４１ａ、４２ａ、４３ａを備える。これに対して、ＷｉＦｉ無線通信方式の基地局３４と飛行誘導装置１とは、直接的に接続されている。

飛行誘導装置１と各無線通信方式に対応するコアネットワークが備えるＵＰＦ４０、４１、Ｐ－ＧＷ４２、４３、およびＷｉＦｉ無線通信方式の基地局３４とは、ＬＡＮやＷＡＮなどのネットワークＮＷを介して接続されている。また、無線アクセスネットワークを構成する各基地局３０～３３とコアネットワークのＵＰＦ４０、４１、およびＰ－ＧＷ４２、４３とは、バックホールリンクなどのネットワークＬを介して接続されている。

飛行体２は、ドローンなどの無人飛行体であって、遠隔による無線操縦飛行を行うことができる。飛行体２は、プロセッサ、主記憶装置、補助記憶装置、および通信インターフェース等を備える。本実施の形態では、一例として、飛行体２は、パブリック５Ｇ無線通信方式、ローカル５Ｇ無線通信方式、パブリックＬＴＥ無線通信方式、ローカルＬＴＥ無線通信方式、およびＷｉＦｉ無線通信方式の全てに対応する通信インターフェースを備える。しかし、飛行体２は、パブリック５Ｇ無線通信方式と、少なくとも他の何れかの無線通信方式に対応する通信インターフェースを備えていればよい。例えば、飛行体２の利用用途に応じて必要となる特定の無線通信方式の通信インターフェースを備えることができる。飛行体２は、通信インターフェースを介して、飛行誘導装置１と通信を行うことができる。

飛行体２は、ＳＩＭ２０を備え、ＳＩＭ２０のＩＭＳＩ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ）によって一意に識別される。また、飛行体２は、ＩＰアドレスを有するＩｏＴ端末としても構成される。

さらに、飛行体２は、バッテリ、モータ、フライトコントローラ、ＧＰＳ受信機２１を含むセンサ、カメラ等を備える。飛行体２はこれらの構成を所定の形状のフレームに搭載することができる。飛行体２は、ＧＰＳ受信機２１で受信した現在の位置情報をパブリック５Ｇ無線通信方式のコアネットワークが備えるＵＰＦ４０を介して飛行誘導装置１に送信する。なお、ＧＰＳ受信機２１にはアンテナが内蔵されている。

図２は、飛行誘導システムが飛行体２の進路を誘導する移動空間を模式的に示した図である。図２に示すように、パブリック５Ｇ無線通信方式の通信エリアＡ１は、飛行体２の移動空間の全体をカバーする。他の無線通信方式の通信エリアＡ２～Ａ５は、通信エリアＡ１に重畳して配置されている。移動空間は、複数の空間に分割した単位空間で構成された３次元マトリックス状の空間である。

また、移動空間を構成する各単位空間は同一の容積を有する。さらに、各単位空間はノードＩＤを有し、各単位空間は１つの位置（ｘ，ｙ，ｚ）で表される。位置情報は、緯度、経度、高度からなる３次元のＧＰＳ位置座標を用いることができる。例えば、単位空間の位置として、その単位空間の中心位置などの代表値を用いることができる。図２の例では、初期地点Ｓの単位空間のノードＩＤは、＃１，９であり、目的地点Ｇの単位空間のノードＩＤは、＃９，３である。

また、図２に示すように、飛行体２は、各単位空間をウェイポイントとして初期地点Ｓの位置に対応する単位空間の位置から、指定された種類の無線通信方式で通信可能な目的地点Ｇの単位空間まで移動する。飛行体２の目的地点Ｇの位置は、飛行体２において事前に指定された無線通信方式に応じて、飛行誘導装置１が後述の第１記憶部１０に記憶されている移動空間のマップ（図２）を参照して設定する。飛行体２で指定された無線通信方式とは、例えば、移動空間内の複数の種類の無線通信方式のうち、飛行体２において優先して使用する設定がなされている特定の無線通信方式である。また、飛行誘導装置１は、指定された無線通信方式の通信エリアＡの位置を移動空間内において特定し、目的地点Ｇとして設定する。飛行体２は、飛行誘導装置１によって設定された目的地点Ｇの位置に誘導されることで、指定された無線通信方式で通信することが可能となる。

例えば、図２に示す飛行体２においては、移動空間内で優先利用する無線通信方式の種類として、ローカルＬＴＥ無線通信方式が事前に指定されている。したがって、移動空間内のローカルＬＴＥ無線通信方式の通信エリアＡ４に含まれる単位空間の位置が目的地点Ｇとして設定されている。なお、飛行誘導装置１は、通信エリアＡ４に含まれる複数の単位空間のうちいずれかの単位空間の位置を任意に選択し、目的地点Ｇとして設定することができる。

飛行誘導装置１は、単位空間ごとに、飛行体２が進む方向に対して矢印に示すような進路として、所定の方向への移動を指示する。飛行誘導装置１が指示する進路は、設計に応じて様々な進路、すなわち移動方向を含むことができる。図２においては、移動空間を２次元平面で説明しているが、飛行体２の進路は３次元の進路とすることができる。飛行誘導装置１からの進路の指示に応じて目的地点Ｇの単位空間に到達した飛行体２は、指定された無線通信方式によって通信を開始することができる。

［飛行誘導装置の機能ブロック］
図１に示すように、飛行誘導装置１は、第１記憶部１０、第１取得部１１、学習部１２、学習モデル記憶部（第２記憶部）１３、決定部１４、および飛行誘導部１５を備える。飛行誘導装置１は、飛行体２から受信される現在のＧＰＳ位置に基づいて、飛行体２が現在いる単位空間から次に進むべき進路を決定し、決定された進路を飛行体２に指示する。

第１記憶部１０は、移動空間を複数の空間に分割した単位空間の識別情報と、単位空間の位置と、単位空間をカバーする通信エリアＡの無線通信方式を示す情報とを関連付けて記憶する。図３は、第１記憶部１０のデータ構造を示すテーブルＴ１を示す。テーブルＴ１において、各単位空間のノードＩＤに、単位空間をカバーする通信エリアＡの無線通信方式の種類と、単位空間の位置座標（ｘ，ｙ，ｚ）とが関連付けられている。第１記憶部１０は、複数の単位空間のノードＩＤのすべてに対する情報を記憶することができる。

第１取得部１１は、飛行体２が現在いる単位空間の位置を、飛行体２の現在の位置として取得する。具体的には、第１取得部１１は、異種の無線通信方式のうち移動空間の最も広い範囲をカバーするパブリック５Ｇ無線通信方式（第２無線通信方式）のコアネットワークが備えるＵＰＦ４０を介して、飛行体２が現在いる単位空間の位置を取得する。また、本実施の形態では、第１取得部１１は、設定された時刻ステップごとの飛行体２の現在の位置を取得する。また、第１取得部１１は、飛行体２の現在の単位空間の位置を飛行体２のＧＰＳ位置に基づいて取得する際に、第１記憶部１０を参照して取得することができる。

さらに具体的には、第１取得部１１は、飛行体２のＧＰＳ受信機２１によって受信されたＧＰＳ位置に対応する単位空間の位置を、飛行体２の現在の位置として取得することができる。なお、単位空間において複数の位置座標が含まれる場合がある。そのような場合には、第１取得部１１は、飛行体２のＧＰＳ受信機２１によって受信されたＧＰＳ位置に最も距離が近い単位空間の位置を、飛行体２の現在の位置として取得することができる。

学習部１２は、飛行体２が初期地点の単位空間の位置から目的地点の単位空間（第１単位空間）の位置に到達するまでに、各単位空間の位置から順次進むべき進路を計算した推定結果に報酬関数を適用して、飛行体２が目的地点の単位空間の位置へ到達するための報酬が最大化するように更新し、飛行体２が各単位空間から順次進むべき進路の方策を、学習モデルを用いて学習する。

本実施の形態では、飛行体２が各単位空間の位置から順次進むべき進路の方策として、進行方向に対する所定のｎ（ｎは正の整数）個の方向への移動に係る行動ａ_ｎを採用する場合を例示する。また、進行方向は、飛行体２が直前にいた単位空間の位置に基づいた方向である。

学習部１２は、図４に示すような入力層、隠れ層、および出力層を含むニューラルネットワークモデルを学習モデルとして用いる。また、ニューラルネットワークモデルとして、飛行体２の位置である状態ｓ_ｔを受取り、全ての行動価値Ｑ（ｓ_ｔ，ａ_１）、Ｑ（ｓ_ｔ，ａ_２）、Ｑ（ｓ_ｔ，ａ_３）、・・・、Ｑ（ｓ_ｔ，ａ_ｎ－１）、Ｑ（ｓ_ｔ，ａ_ｎ）を出力するニューラルネットワークであるＤｅｅｐ Ｑ－Ｎｅｔｗｏｒｋ（ＤＱＮ）を採用する。

より具体的には、学習部１２は、現在の飛行体２の位置を示す、現在の単位空間の位置をニューラルネットワークモデルの入力として与え、ニューラルネットワークモデルの演算を行い、飛行体２が現在の単位空間の位置から次に進むべき進路として、ｎ個の方向への各移動に係る行動ａ_ｎをとった場合に得られる将来の報酬の累積値の期待値を表す行動価値関数の第１推定値Ｑ１を出力する。

報酬とは、飛行体２の現在の位置を示す状態ｓ、飛行体２が所定の方向に移動する行動ａ_ｎ、および飛行体２の次の位置、すなわち次の状態ｓ’の報酬関数ｒ＝ｒ（ｓ，ａ，ｓ’）で与えられる。本実施の形態では、報酬関数は、飛行体２の目的地点に係る単位空間の位置への到達度を変数として含む。その他にも、高層ビルや鉄塔などの障害物がある空間に対応する単位空間の位置への到達度を変数として含むことができる。例えば、飛行体２の所定の方向への移動に係る行動によって、目的地点により近づく場合や、目的地点に最短距離で到達する場合には、スカラー量である報酬が、より大きい値として設定される。

一方、飛行体２が目的地点に遠ざかる、あるいは、障害物が存在する単位空間に到達する場合には、マイナスの報酬値（例えば、ｒ＝－１）が与えられる設計とすることができる。このように、障害物が存在する単位空間の報酬をマイナスの値として設定することで、飛行体２がこれらの地点を避けて目的地点に到達することができる。

さらに、学習部１２は、飛行体２が次に到達した単位空間の位置をニューラルネットワークモデルの入力として与え、ニューラルネットワークモデルの演算を行い、行動価値関数の第２推定値Ｑ２を出力する。学習部１２は、第１推定値Ｑ１が、第２推定値Ｑ２から計算される目標値となるように、ニューラルネットワークモデルの重みパラメータを学習する。

ニューラルネットワークモデルの重みパラメータをθとし、行動価値関数をＱ（ｓ，ａ；θ）と表すと、学習の最小化損失関数は、次の式（１）で与えられる。
Ｌ（θ）＝１／２｛ｒ＋γｍａｘ_ａ’Ｑ（ｓ’，ａ’；θ）－Ｑ（ｓ，ａ；θ）｝^２
・・・（１）

上式（１）において、ｒは、報酬（即時報酬）であり、γは割引率を示す。Ｑ（ｓ，ａ；θ）は、第１推定値Ｑ１に対応し、Ｑ（ｓ’，ａ’；θ）は、１ステップ進んだ状態ｓ’での行動価値すなわち第２推定値Ｑ２に対応する。目標値は、ｒ＋γｍａｘ_ａ’Ｑ（ｓ’，ａ’；θ）で表される。

学習部１２は、上式（１）で与えられる損失関数の勾配を誤差逆伝搬することでニューラルネットワークモデルの重みパラメータを更新することができる。

さらに具体的には、学習部１２は、図５に示すように、メインＱＮ１２１およびターゲットＱＮ１２３の２つのニューラルネットワークを用いるＦｉｘｅｄ Ｔａｒｇｅｔ Ｑ－Ｎｅｔｗｏｒｋを採用することができる。メインＱＮ１２１は最適な行動を選択して行動価値関数Ｑを更新する。一方、ターゲットＱＮ１２３は、行動の結果の次の状態ｓ’でとるべき行動ａ’の価値を推定および評価する。メインＱＮ１２１およびターゲットＱＮ１２３は、同一のレイヤ構造のニューラルネットワークを有するが、メインＱＮ１２１のパラメータは「θ」であり、ターゲットＱＮ１２３のパラメータは「θ^－」で与えられる。

メインＱＮ１２１は、環境１２０から飛行体２の現在の位置を状態ｓとして受け取る。環境１２０は、飛行体２が置かれた移動空間のシステムであり、この環境１２０下で、飛行体２は、所定の方向への移動に係る行動ａをとることで別の単位空間へ移動し、次の状態ｓ’に遷移すると同時に、環境１２０から報酬ｒを獲得する。

学習部１２は、飛行体２の現在の位置に係る状態ｓをメインＱＮ１２１に入力し、行動価値関数Ｑ（ｓ，ａ；θ）を求める。学習部１２は、例えば、ε－ｇｒｅｅｄｙ法を用いて行動ａを計算し、あるいは、現時点での最適な行動ａｒｇｍａｘ_ａＱ（ｓ，ａ；θ）を求める。環境１２０において、飛行体２は、現時点での最適な進路に係る行動ａｒｇｍａｘ_ａＱ（ｓ，ａ；θ）を行う。環境１２０は、飛行体２が行動ａｒｇｍａｘ_ａＱ（ｓ，ａ；θ）を行った結果、移動した先の単位空間の位置を次の状態ｓ’として観測し、報酬ｒを出力する。経験データ１２４は、環境１２０から出力された経験（ｓ，ａ，ｒ，ｓ’）を保存する。

学習部１２は、ＤＱＮ損失算出１２２において、損失関数Ｌを求め、損失関数Ｌの勾配でメインＱＮ１２１の重みを更新する。

学習部１２は、メインＱＮ１２１の重みを定期的にターゲットＱＮ１２３にコピーし同期を行う。ターゲットＱＮ１２３の同期は、メインＱＮ１２１の重みの更新頻度よりも低い頻度で行われる。学習部１２は、経験データ１２４から経験を取り出して、過去の状態をターゲットＱＮ１２３に入力し、推定値ｍａｘ_ａ’Ｑ（ｓ’，ａ’；θ^－）を出力させる。学習部１２は、ターゲットＱＮ１２３が出力した推定値ｍａｘ_ａ’Ｑ（ｓ’，ａ’；θ^－）に基づく目標値ｒ＋γｍａｘ_ａ’Ｑ（ｓ’，ａ’；θ^－）を用いて、ＤＱＮ損失算出１２２でメインＱＮ１２１の重みの学習を行う。

図１に戻り、学習モデル記憶部１３は、学習済みのニューラルネットワークモデルの重みを記憶する。

決定部１４は、学習モデルを用いて学習された、飛行体２が各単位空間の位置から順次進むべき進路の方策に基づいて、第１取得部１１によって取得された現在の単位空間の位置から、飛行体２が次に進むべき進路を決定する。決定部１４は、学習モデル記憶部１３に記憶されている学習済みの重みを読み出して、現在の単位空間の位置を学習済みのニューラルネットワークモデルに入力として与え、学習済みのニューラルネットワークモデルの演算を行い、次に進むべき進路として、飛行体２の進行方向に対する所定のｎ方向への移動に係る行動のうち最適な行動を決定する。

飛行誘導部１５は、決定部１４によって決定された、飛行体２が次に進むべき進路を飛行体２に指示する。具体的には、飛行誘導部１５は、パブリック５Ｇ無線通信方式のコアネットワークに含まれるＵＰＦ４０を介して、飛行体２に次に進むべき進路に係る指示を送信する。飛行誘導部１５は、飛行体２が目的地点の単位空間に到達するまで、進路の指示を行う。なお、飛行誘導部１５は、飛行体２が存在する単位空間において電波が受信可能なパブリック５Ｇ無線通信方式以外の無線通信方式によって進路に係る指示を送信してもよい。

［飛行誘導装置のハードウェア構成］
次に、上述した機能を有する飛行誘導装置１を実現するハードウェア構成の一例について、図５を用いて説明する。

図５に示すように、飛行誘導装置１は、例えば、バス１０１を介して接続されるプロセッサ１０２、主記憶装置１０３、通信インターフェース１０４、補助記憶装置１０５、入出力Ｉ／Ｏ１０６を備えるコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。

主記憶装置１０３には、プロセッサ１０２が各種制御や演算を行うためのプログラムが予め格納されている。プロセッサ１０２と主記憶装置１０３とによって、図１に示した第１取得部１１、学習部１２、決定部１４、飛行誘導部１５など飛行誘導装置１の各機能が実現される。

通信インターフェース１０４は、飛行誘導装置１と各種外部電子機器との間をネットワーク接続するためのインターフェース回路である。

補助記憶装置１０５は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータなどの各種情報を読み書きするための駆動装置とで構成されている。補助記憶装置１０５には、記憶媒体としてハードディスクやフラッシュメモリなどの半導体メモリを使用することができる。

補助記憶装置１０５は、飛行誘導装置１が実行する飛行誘導プログラムを格納するプログラム格納領域を有する。また、補助記憶装置１０５は、ニューラルネットワークモデルの学習を行うための学習プログラムを格納する領域を有する。補助記憶装置１０５によって、図１で説明した第１記憶部１０および学習モデル記憶部１３が実現される。また、補助記憶装置１０５は、飛行体２の進路を誘導する際の初期地点および目的地点を記憶する領域を有する。また、補助記憶装置１０５は、移動空間の位置座標および単位空間の位置座標を記憶する領域を有する。さらに、補助記憶装置１０５は、飛行体２の識別情報を記憶する領域を有する。さらには、例えば、上述したデータやプログラムなどをバックアップするためのバックアップ領域などを有していてもよい。

入出力Ｉ／Ｏ１０６は、外部機器からの信号を入力したり、外部機器へ信号を出力したりする入出力装置である。

［飛行誘導装置の動作］
次に、上述した構成を有する飛行誘導装置１の動作を、図７から図９のフローチャートを参照して説明する。

はじめに、図７を参照して、飛行誘導装置１による学習処理を説明する。まず、飛行誘導装置１は、飛行体２の初期地点および目的地点の設定情報を取得する（ステップＳ１）。例えば、飛行誘導装置１は、飛行体２において事前に設定されている、指定された無線通信方式の種類の通信エリアＡの位置を移動空間内で特定し、目的地点とする。

より具体的には、飛行誘導装置１は、ステップＳ１において、第１記憶部１０を参照し、指定の無線通信方式の通信エリアＡに含まれる単位空間のうちから選択した単位空間の位置を目的地点として設定することができる。また、初期地点については、飛行誘導装置１は、飛行体２のＧＰＳ受信機２１で受信された現在のＧＰＳ位置を受信し、第１記憶部１０を参照して、ＧＰＳ位置に対応した単位空間の位置を初期地点として設定することができる。

次に、第１取得部１１は、飛行体２の現在の位置として、飛行体２が現在いる単位空間の位置を取得する（ステップＳ２）。具体的には、第１取得部１１は、パブリック５Ｇ無線通信方式の基地局３０およびコアネットワークのＵＰＦ４０を介して受信した飛行体２のＧＰＳ位置に基づいて、時刻ステップごとに飛行体２が現在いる単位空間の位置を取得する。さらに、第１取得部１１は、第１記憶部１０を参照し、飛行体２のＧＰＳ受信機２１で受信された現在のＧＰＳ位置に対応する単位空間の位置を飛行体２の現在の位置として取得することができる。

次に、学習部１２は、ステップＳ２で取得された飛行体２の現在の状態である、飛行体２が現在いる単位空間の位置をニューラルネットワークモデルに入力として与え、ニューラルネットワークモデルの演算を行って、飛行体２が現在の単位空間の位置から次に進むべき進路として、進行方向に対する所定の方向への移動に係る各々の行動をとった場合に得られる将来の報酬の累積値の期待値を表す行動価値関数の第１推定値Ｑ１を出力する（ステップＳ３）。

さらに、学習部１２は、飛行体２が次に到達した単位空間の位置をニューラルネットワークモデルの入力として与え、ニューラルネットワークモデルの演算を行い、行動価値関数の第２推定値Ｑ２を出力する（ステップＳ５）。飛行体２が次に到達した単位空間の位置は、時刻ステップごとに第１取得部１１が取得する飛行体２のＧＰＳ位置に基づいて判定される。

次に、学習部１２は、第２推定値Ｑ２から目標値を算出する（ステップＳ６）。続いて、学習部１２は、第１推定値Ｑ１が、第２推定値Ｑ２から計算される目標値となるように、ニューラルネットワークモデルの重みパラメータを学習する（ステップＳ７）。具体的には、学習部１２は、上式（１）の損失関数を最小化するようにニューラルネットワークモデルの重みパラメータを更新する。

学習モデル記憶部１３は、ステップＳ７で得られた学習済みの重みを記憶する（ステップＳ８）。

次に、図８を参照して、メインＱＮ１２１およびターゲットＱＮ１２３の２つのニューラルネットワークを用いるＦｉｘｅｄ Ｔａｒｇｅｔ Ｑ－Ｎｅｔｗｏｒｋを採用した場合の、学習部１２による学習処理を説明する。

ステップＳ１からステップＳ３までの処理は、図７で説明した学習処理のステップと同様である。その後、学習部１２は、メインＱＮ１２１にステップＳ３で取得された、飛行体２が現在いる単位空間の位置を入力として与え、ニューラルネットワークの演算を行って、行動価値関数Ｑを出力し、次に進むべき進路ａを計算する（ステップＳ１２０）。

次に、学習部１２は、ステップＳ１２０で求めた進路ａで飛行体２の行動を環境１２０に返し、次の飛行体２の状態ｓ’である、飛行体２が進んだ先の単位空間の位置および報酬ｒを得る（ステップＳ１２１）。

学習部１２は、ステップＳ１２１で得られた経験（ｓ，ａ，ｒ，ａ’）を経験データ１２４に保存する（ステップＳ１２２）。次に、学習部１２は、ＤＱＮ損失算出１２２において、損失関数Ｌを求め、損失関数Ｌの勾配でメインＱＮ１２１の重みを更新する（ステップＳ１２３）。学習部１２は、ステップＳ１２０からステップＳ１２３までの処理を設定された回数繰り返す。

その後、学習部１２は、メインＱＮ１２１の重みを定期的にターゲットＱＮ１２３にコピーし同期を行う（ステップＳ１２４）。ターゲットＱＮ１２３の同期は、メインＱＮ１２１の重みの更新頻度よりも低い頻度で行われる。次に、学習部１２は、経験データ１２４から経験を取り出して、過去の状態をターゲットＱＮ１２３に入力し、推定値ｍａｘ_ａ’Ｑ（ｓ’，ａ’；θ^－）を出力させる（ステップＳ１２６）。

次に、学習部１２は、ターゲットＱＮ１２３が出力した推定値ｍａｘ_ａ’Ｑ（ｓ’，ａ’；θ^－）に基づく目標値ｒ＋γｍａｘ_ａ’Ｑ（ｓ’，ａ’；θ^－）を計算する（ステップＳ１２７）。次に、学習部１２は、ステップＳ１２７で算出された目標値を用いて、ＤＱＮ損失算出１２２で損失関数Ｌを計算する（ステップＳ１２８）。次に、学習部１２は、損失関数Ｌで与えられる損失を最小化するようにメインＱＮ１２１の重みの学習を行う（ステップＳ１２９）。その後、学習済みの重みを学習モデル記憶部１３に記憶する（ステップＳ８）。

次に、図９を参照し、飛行誘導装置１による飛行誘導処理を説明する。まず、決定部１４は、学習モデル記憶部１３から学習済みのニューラルネットワークモデルをロードする（ステップＳ４０）。本実施の形態では、決定部１４は、学習済みのＤＱＮをロードする。次に、第１取得部１１は、飛行体２の現在の位置である、飛行体２が現在いる単位空間の位置を取得する（ステップＳ４１）。

次に、決定部１４は、ステップＳ４０でロードした学習済みのニューラルネットワークモデル、すなわち飛行体２が各単位空間の位置から順次進むべき進路の方策に基づいて飛行体２が現在の単位空間の位置から次に進むべき進路を決定する（ステップＳ４２）。具体的には、決定部１４は、学習済みのニューラルネットワークモデルにステップＳ４１で取得した現在の単位空間の位置を入力として与え、学習済みのニューラルネットワークモデルの演算を行って、飛行体２が次に進むべき進路である、進行方向に対する所定のｎ個の移動方向のうちのいずれかの進路を決定する。決定部１４は、学習済みのニューラルネットワークモデルから出力されるｎ個の行動の各々の行動価値関数Ｑのうち最も確率値が高い行動を選択し、進路として決定する。

その後、飛行誘導部１５は、ステップＳ４２で決定した飛行体２の進路を飛行体２に指示する（ステップＳ４３）。より具体的には、飛行誘導部１５は、パブリック５Ｇ無線通信方式のコアネットワークが備えるＵＰＦ４０および基地局３０を介して、飛行体２に決定された進路を送信する。あるいは、パブリック５Ｇ無線通信方式以外でも飛行体２が現在通信可能な無線通信方式のコアネットワークを介して、進路の指示を送信することができる。進路の指示を受けると、飛行体２が備えるフライトコントローラは進路の指示にしたがって、モータを制御し、飛行体２のプロペラの回転数などの制御指令を出力することで、次の単位空間に移動することができる。飛行体２が次の単位空間に移動したか否かは、飛行体２からのＧＰＳ位置と第１記憶部１０に記憶されている単位空間の位置とを照らし合わせることで判定される。

次に、飛行体２が目的地点の無線通信方式の通信エリアＡに到達した場合には、処理は終了する（ステップＳ４４：ＹＥＳ）。一方、飛行体２が目的地点に到達していない場合には（ステップＳ４４：ＮＯ）、ステップＳ４１からステップＳ４３までの処理を繰り返す。例えば、飛行体２が進路の誘導指示にしたがって移動した先の単位空間の位置が、目的地点として設定されている無線通信方式の通信エリアＡにおける単位空間の位置と一致するか否かに基づいて、目的地点への到達の有無を判定することができる。

以上説明したように、本実施の形態に係る飛行誘導装置１によれば、移動空間を複数の空間に分割した単位空間の識別情報と、単位空間の位置と、単位空間をカバーする通信エリアＡの無線通信方式を示す情報とを関連付けて記憶する第１記憶部１０を備える。さらに、飛行体２における現在の単位空間の位置に基づいて、学習済みのニューラルネットワークによって獲得された進路の方策に基づいて、次に進むべき進路を決定する。そのため、より確実に、飛行体を指定された無線通信方式の通信エリアＡへ飛行誘導することができる。さらにその結果として、飛行体２のより確実な通信が確保される。

また、本実施の形態に係る飛行誘導装置１によれば、学習モデルとしてＤＱＮを採用するため、飛行体２の現在の位置に基づいて次に進むべき進路が決定される。そのため、より少ないセンサデータにより飛行誘導処理を実現することができる。

なお、説明した実施の形態では、各無線通信方式の通信エリアＡが、移動空間内に１つずつ配置されている場合について説明した。しかし、同一の無線通信方式の通信エリアＡは、移動空間内の互いに離れた位置に複数存在することができる。この場合、飛行誘導装置１は、飛行誘導を開始する際の目的地点の設定において、同一の無線通信方式に係る複数の異なる位置に配置された通信エリアＡのうち、飛行体２の初期地点の位置から最も近い距離にある通信エリアＡに対応する単位空間の位置を目的地点として設定することができる。あるいは、飛行体２の飛行計画に沿った、初期地点から最も距離が近い通信エリアＡの単位空間の位置を目的地点として設定することができる。

以上、本発明の飛行誘導装置および飛行誘導方法における実施の形態について説明したが、本発明は説明した実施の形態に限定されるものではなく、請求項に記載した発明の範囲において当業者が想定し得る各種の変形を行うことが可能である。

１…飛行誘導装置、１０…第１記憶部、１１…第１取得部、１２…学習部、１３…学習モデル記憶部、１４…決定部、１５…飛行誘導部、２…飛行体、２０…ＳＩＭ、２１…ＧＰＳ受信機、３０～３４…基地局、４０、４１…ＵＰＦ、４２、４３…Ｐ－ＧＷ、１０１…バス、１０２…プロセッサ、１０３…主記憶装置、４０ａ～４３ａ、１０４…通信インターフェース、１０５…補助記憶装置、１０６…入出力Ｉ／Ｏ、１２０…環境、１２１…メインＱＮ、１２２…ＤＱＮ損失算出、１２３…ターゲットＱＮ、１２４…経験データ、Ａ、Ａ１～Ａ５…通信エリア、Ｌ、ＮＷ…ネットワーク。

Claims (8)

1. 異種の無線通信方式の通信エリアが重畳配置された飛行体の移動空間において、初期地点の位置から、指定された第１無線通信方式の通信エリアの位置までの前記飛行体の進路を制御する飛行誘導装置であって、
   前記移動空間を複数の空間に分割した単位空間の識別情報と、前記単位空間の位置と、前記単位空間をカバーする通信エリアの無線通信方式を示す情報とを関連付けて記憶するように構成された第１記憶部と、
   前記飛行体が現在いる単位空間の位置を、前記飛行体の現在の位置として取得するように構成された第１取得部と、
   学習モデルを用いて学習された、前記飛行体が各単位空間の位置から順次進むべき進路の方策に基づいて、前記第１取得部によって前記飛行体の前記現在の位置として取得された現在の単位空間の位置から、前記飛行体が次に進むべき進路を決定するように構成された決定部と、
   前記決定部によって決定された、前記飛行体が次に進むべき進路を前記飛行体に指示するように構成された飛行誘導部と、
   前記飛行体が前記現在の単位空間の位置から前記第１無線通信方式の通信エリアの位置に対応する第１単位空間の位置に到達するまでに、前記飛行体が前記各単位空間の位置から順次進むべき進路を計算した推定結果に報酬関数を適用して、前記飛行体が前記第１単位空間の位置へ到達するための報酬が最大化するように更新し、前記飛行体が前記各単位空間の位置から順次進むべき前記進路の方策を、前記学習モデルを用いて学習するように構成された学習部と、
   前記学習部によって学習された、前記進路の方策を記憶するように構成された第２記憶部と
   を備え、
   前記決定部は、前記第２記憶部から前記進路の方策を読み出して、前記飛行体が次に進むべき進路を決定し、
   前記報酬関数は、前記飛行体における前記第１無線通信方式の通信エリアの位置に対応する前記第１単位空間の位置への到達度を変数として含む
   ことを特徴とする飛行誘導装置。
2. 請求項１に記載の飛行誘導装置において、
   前記学習モデルは、入力層、隠れ層、および出力層を含むニューラルネットワークモデルであり、
   前記学習部は、前記現在の単位空間の位置を前記ニューラルネットワークモデルの入力として与え、前記ニューラルネットワークモデルの演算を行い、前記飛行体が前記現在の単位空間の位置から次に進むべき進路として、進行方向に対する所定の方向への移動に係る各々の行動をとった場合に得られる将来の前記報酬の累積値の期待値を表す行動価値関数の第１推定値を出力し、
   前記学習部は、さらに、前記飛行体が次に到達した単位空間の位置を前記ニューラルネットワークモデルの入力として与え、前記ニューラルネットワークモデルの演算を行い、前記行動価値関数の第２推定値を出力し、
   前記学習部は、前記第１推定値が、前記第２推定値から計算される目標値となるように、前記ニューラルネットワークモデルの重みパラメータを学習し、
   前記第２記憶部は、学習済みの重みパラメータを記憶する
   ことを特徴とする飛行誘導装置。
3. 請求項１に記載された飛行誘導装置において、
   前記第１取得部は、前記異種の無線通信方式のうち前記移動空間を最も広い範囲でカバーする第２無線通信方式のコアネットワークを介して、前記飛行体が現在いる単位空間の位置を取得する
   ことを特徴とする飛行誘導装置。
4. 請求項３に記載の飛行誘導装置において、
   前記飛行誘導部は、前記第２無線通信方式の前記コアネットワークに含まれるユーザープレーン機能を介して、前記飛行体に前記次に進むべき進路に係る指示を送信する
   ことを特徴とする飛行誘導装置。
5. 異種の無線通信方式の通信エリアが重畳配置された飛行体の移動空間において、初期地点の位置から、指定された第１無線通信方式の通信エリアの位置までの前記飛行体の進路を制御する飛行誘導方法であって、
   前記移動空間を複数の空間に分割した単位空間の識別情報と、前記単位空間の位置と、前記単位空間をカバーする通信エリアの無線通信方式を示す情報とを関連付けて第１記憶部に記憶する第１記憶ステップと、
   前記飛行体が現在いる単位空間の位置を、前記飛行体の現在の位置として取得する第１取得ステップと、
   学習モデルを用いて学習された、前記飛行体が各単位空間の位置から順次進むべき進路の方策に基づいて、前記第１取得ステップで前記飛行体の前記現在の位置として取得された現在の単位空間の位置から、前記飛行体が次に進むべき進路を決定する決定ステップと、
   前記決定ステップで決定された、前記飛行体が次に進むべき進路を前記飛行体に指示する飛行誘導ステップと、
   前記飛行体が前記現在の単位空間の位置から前記第１無線通信方式の通信エリアの位置に対応する第１単位空間の位置に到達するまでに、前記飛行体が前記各単位空間の位置から順次進むべき進路を計算した推定結果に報酬関数を適用して、前記飛行体が前記第１単位空間の位置へ到達するための報酬が最大化するように更新し、前記飛行体が前記各単位空間の位置から順次進むべき前記進路の方策を、前記学習モデルを用いて学習する学習ステップと、
   前記学習ステップで学習された、前記進路の方策を第２記憶部に記憶する第２記憶ステップと
   を備え、
   前記決定ステップは、前記第２記憶部から前記進路の方策を読み出して、前記飛行体が次に進むべき進路を決定し、
   前記報酬関数は、前記飛行体における前記第１無線通信方式の通信エリアの位置に対応する前記第１単位空間の位置への到達度を変数として含む
   ことを特徴とする飛行誘導方法。
6. 請求項５に記載の飛行誘導方法において、
   前記学習モデルは、入力層、隠れ層、および出力層を含むニューラルネットワークモデルであり、
   前記学習ステップは、前記現在の単位空間の位置を前記ニューラルネットワークモデルの入力として与え、前記ニューラルネットワークモデルの演算を行い、前記飛行体が前記現在の単位空間の位置から次に進むべき進路として、進行方向に対する所定の方向への移動に係る各々の行動をとった場合に得られる将来の前記報酬の累積値の期待値を表す行動価値関数の第１推定値を出力し、
   前記学習ステップは、さらに、前記飛行体が次に到達した単位空間の位置を前記ニューラルネットワークモデルの入力として与え、前記ニューラルネットワークモデルの演算を行い、前記行動価値関数の第２推定値を出力し、
   前記学習ステップは、前記第１推定値が、前記第２推定値から計算される目標値となるように、前記ニューラルネットワークモデルの重みパラメータを学習し、
   前記第２記憶ステップは、学習済みの重みパラメータを前記第２記憶部に記憶する
   ことを特徴とする飛行誘導方法。
7. 請求項５に記載された飛行誘導方法において、
   前記第１取得ステップは、前記異種の無線通信方式のうち前記移動空間を最も広い範囲でカバーする第２無線通信方式のコアネットワークを介して、前記飛行体が現在いる単位空間の位置を取得する
   ことを特徴とする飛行誘導方法。
8. 請求項７に記載の飛行誘導方法において、
   前記飛行誘導ステップは、前記第２無線通信方式の前記コアネットワークに含まれるユーザープレーン機能を介して、前記飛行体に前記次に進むべき進路に係る指示を送信する
   ことを特徴とする飛行誘導方法。