JP7492718B2

JP7492718B2 - 安全着陸可能領域を識別するためのシステム、方法、プログラム及びプログラムを記憶した記憶媒体

Info

Publication number: JP7492718B2
Application number: JP2018092396A
Authority: JP
Inventors: トーマスラービクリス; ベリストロムニクラス; ガイレシャルマディパク; 翔介井上
Original assignee: ACSL Ltd
Current assignee: ACSL Ltd
Priority date: 2018-05-11
Filing date: 2018-05-11
Publication date: 2024-05-30
Anticipated expiration: 2038-05-11
Also published as: JP2019196150A

Description

本発明は、飛翔体が安全に着陸することができる領域を識別するためのシステム、方法、プログラム及びプログラムを記憶した記憶媒体に関する。

飛翔体の着陸において、樹木、自動車、電線、建物、道路、人、動物等の障害物が、着陸目標地点やその近傍に存在する場合、その障害物を回避して着陸する必要がある。

その障害物回避のための技術として、飛行中の無人飛行体から降下目標領域の画像を取得し、取得した画像に含まれる物体（人、動物、自動車等）がどのような物体であるかをディープラーニングによって識別し、どのような物体であると識別されたか基づいて、降下適合性を示す安全度を判断し、その安全度に基づいて機体を降下させる技術が提案されている（下記特許文献１）。

特開２０１７－２０６０７２号公報

しかしながら、ディープニューラルネットワークによってどのような物体であるかを識別することは、計算負荷が大きい。また、上記特許文献１に記載の技術は、平常時の着陸が想定されており、飛翔体に関連して緊急事態が生じた場合の着陸は想定されていない。

そこで、本発明は、安全に着陸することができる領域を識別するための計算負荷の小さいシステム及び方法を提供することを目的の１つとする。

また、本発明は、飛翔体に関連して緊急事態が生じた場合に、安全且つより短時間で着陸できる領域を識別することができるシステム及び方法を提供することを目的の１つとする。

本発明の１つの態様は、着陸候補領域の画像内に複数の着陸候補部分領域を設定する着陸候補部分領域設定部と、前記複数の着陸候補部分領域の各々を、前記着陸候補部分領域内に障害物が含まれそうであるか否かを基準として、「着陸可」又は「着陸不可」に分類する分類部と、「着陸可」に分類された着陸候補部分領域及び「着陸不可」に分類された着陸候補部分領域に基づいて、安全に着陸できる領域である安全着陸可能領域を識別する安全着陸可能領域識別部とを備えるシステムを提供するものである。

前記安全着陸可能領域識別部は、前記複数の着陸候補部分領域から、「着陸不可」に分類された着陸候補部分領域、及び「着陸不可」に分類された着陸候補部分領域に対して所定の条件を満たす、「着陸可」に分類された着陸候補部分領域を除いた着陸候補部分領域を、前記安全着陸可能領域と識別するものとすることができる。

前記所定の条件は、「着陸不可」に分類された着陸候補部分領域に近接することであるものとすることができる。

前記着陸候補部分領域設定部は、前記着陸候補領域の画像を複数のタイルに分割するものとすることができる。

前記着陸候補領域の画像は、無人航空機から撮像された画像であるものとすることができる。

前記分類部は、機械学習を用いて、前記複数の着陸候補領域の各々を「着陸可」又は「着陸不可」に分類するものとすることができる。

前記システムは、前記「着陸不可」に分類された領域、前記安全に着陸できる領域に対応する領域、及びそれら以外の領域に対して、それぞれ対応する着陸危険度を設定する着陸危険度設定部を更に備えるものとすることができる。

本発明の１つの態様は、着陸候補領域内の複数の部分領域から着陸最適部分領域を決定するためのシステムであって、前記複数の部分領域の各々の着陸危険度を決定する着陸危険度決定部と、前記複数の部分領域の各々についての、無人航空機の位置から前記部分領域に着陸するまでの必要コストを決定する着陸コスト設定部と、緊急着陸の必要度を決定する緊急着陸必要度決定部と、前記複数の部分領域の各々の前記着陸危険度と、前記複数の部分領域の各々についての、前記緊急着陸の必要度に基づいて重み付けされた前記部分領域に着陸するまでの必要コストに基づいて、前記複数の部分領域から着陸最適部分領域を決定する着陸最適部分領域決定部とを含むシステムを提供するものである。

前記着陸危険度決定部は、前記システムを含み、前記複数の部分領域の各々の着陸危険度は、前記システムの着陸危険度設定部よる着陸危険度の設定により決定されるものとすることができる。

前記無人航空機の位置から前記着陸候補部分領域に着陸するまでの必要コストは、前記無人航空機の姿勢、及び前記無人航空機の位置から前記着陸候補部分領域までの距離の少なくとも１つに基づくものであるものとすることができる。

前記無人航空機の位置は、前記無人航空機の現在位置であるものとすることができる。

本発明の１つの態様は、前記システムを搭載した無人航空機を提供するものである。

本発明の１つの態様は、コンピュータにより実行される方法であって、着陸候補領域の画像内に複数の着陸候補部分領域を設定するステップと、前記複数の着陸候補部分領域の各々を、前記着陸候補部分領域内に障害物が含まれそうであるか否かを基準として、「着陸可」又は「着陸不可」に分類するステップと、「着陸可」に分類された着陸候補部分領域及び「着陸不可」に分類された着陸候補部分領域に基づいて、安全に着陸できる領域である安全着陸可能領域を識別するステップとを含む方法を提供するものである。

前記安全着陸可能領域を識別するステップは、前記複数の着陸候補部分領域から、「着陸不可」に分類された着陸候補部分領域、及び「着陸不可」に分類された着陸候補部分領域に対して所定の条件を満たす、「着陸可」に分類された着陸候補部分領域を除いた着陸候補部分領域を、前記安全着陸可能領域と識別するステップであるものとすることができる。

前記着陸候補領域の画像内に複数の着陸候補部分領域を設定するステップは、前記着陸候補領域の画像を複数のタイルに分割するステップであるものとすることができる。

前記前記複数の着陸候補領域の各々を「着陸可」又は「着陸不可」に分類するステップは、機械学習を用いて行われるものとすることができる。

前記方法は、前記「着陸不可」に分類された領域、前記安全に着陸できる領域に対応する領域、及びそれら以外の領域に対して、それぞれ対応する着陸危険度を設定するステップを更に含むものとすることができる。

本発明の１つの態様は、着陸候補領域内の複数の部分領域から着陸最適部分領域を決定するためのコンピュータにより実行される方法であって、前記複数の部分領域の各々の着陸危険度を決定するステップと、前記複数の部分領域の各々についての、無人航空機の位置から前記部分領域に着陸するまでの必要コストを決定するステップと、緊急着陸の必要度を決定するステップと、前記複数の部分領域の各々の前記着陸危険度と、前記複数の部分領域の各々についての、前記緊急着陸の必要度に基づいて重み付けされた前記部分領域に着陸するまでの必要コストに基づいて、前記複数の部分領域から着陸最適部分領域を決定するステップとを含む方法を提供するものである。

前記複数の着陸候補部分領域の各々の着陸危険度は、前記方法よる着陸危険度の設定により決定されるものとすることができる。

本発明の１つの態様は、前記方法をコンピュータに実行させるためのプログラムを提供するものである。

本発明の１つの態様は、前記プログラムを記録したコンピュータ読み取り可能な記録媒体を提供するものである。

上記構成による本発明によれば、飛翔体が安全に着陸することができる領域を識別するための計算負荷の小さいシステム及び方法を提供することができる。

また、上記構成による本発明によれば、飛翔体に関連して緊急事態が生じた場合に、安全且つより短時間で着陸できる領域を識別することができるシステム及び方法を提供することができる。

本発明の１つの実施形態に係る無人航空機の外観図である。本発明の１つの実施形態に係る無人航空機の全体構成を示す図である。本発明の１つの実施形態に係る安全着陸可能領域識別システムの機能構成を示す図である。本発明の１つの実施形態に係る分類部の構成の一例を示す図である。本発明の１つの実施形態に係る安全着陸可能領域識別システムの安全着陸可能領域識別処理の例のフローチャートである。本発明の１つの実施形態に係る安全着陸可能領域識別システムの安全着陸可能領域識別処理の例のフローチャートである。着陸候補領域の画像の一例を示す図である。図６の着陸候補領域において識別された着陸不可領域、安全着陸可能領域、ニュートラル領域を示す図である。

以下、本発明の実施形態について図面を参照して説明する。ただし、本発明は以下に説明する具体的態様に限定されるわけではなく、本発明の技術思想の範囲内で種々の態様を取り得る。例えば、本発明の無人航空機は、図１に示すマルチコプタに限らず、回転翼機、固定翼機等、任意の無人航空機であってよいし、また自律飛行型の無人航空機である必要もない。また、無人航空機１のシステム構成も、図に示されるものに限らず同様の動作が可能であれば任意の構成を取ることができる。例えば通信回路の機能を飛行制御部に統合する等、複数の構成要素が実行する動作を単独の構成要素により実行してもよいし、あるいは主演算部の機能を複数の演算部に分散する等、単独の構成要素が実行する動作を複数の構成要素により実行してもよい。また、無人航空機１のメモリ内に記憶される各種データは、それとは別の場所に記憶されていてもよいし、各種メモリに記録される情報も、１種類の情報を複数の種類に分散して記憶してもよいし、複数の種類の情報を１種類にまとめて記憶してもよい。

本明細書において、「高さ」とは垂直方向の長さである。「高度」はある測定点の高さを意味し、通常、海面からの高さ（海抜）を表わす。「対地高度」は、地表面からの高さである。「飛行高度」は、飛行する高さであるが、対地高度で表される。

図１は、本実施形態に係る無人航空機（マルチコプタ）１の一例であるマルチコプタの外観図である。無人航空機１は、外観に関しては、制御ユニット１０１と、制御ユニット１０１からの制御信号により駆動される６つのモータ１０２と、各々のモータ１０２の駆動により回転して揚力を発生させる６つのロータ（回転翼）１０３と、制御ユニット１０１と各々のモータ１０２とを接続する６つのアーム１０４と、着陸時に無人航空機を支える着陸脚１０５とを備える。モータ１０２、ロータ１０３、及びアーム１０４の数は、それぞれ、３、４などのような３以上の数とすることもできる。制御ユニット１０１からの制御信号により６つのモータ１０２が回転させられ、それにより６つのロータ１０３の各々の回転数を制御することにより、上昇、下降、前後左右への飛行、旋回等、無人航空機１の飛行が制御される。また、無人航空機１は、その本体下部などの適切な場所に、無人航空機１の下方の画像を取得するカメラ１０６が取り付けられている。また、無人航空機１は、飛行位置センサ１０７、アンテナ１０８も有している。

図２は、図１に示す無人航空機１の全体構成を示す図である。無人航空機１は、大きく、制御ユニット１０１、制御ユニット１０１に電気的に接続されたモータ１０２、モータ１０２に機械的に接続されたロータ１０３、カメラ１０６、飛行位置センサ１０７、姿勢センサ１０９、方位センサ１１１、高度センサ１１３、距離センサ１１５、アンテナ１１７から構成される。

制御ユニット１０１は、無人航空機１の飛行制御を行うための情報処理や、そのための電気信号の制御を行うための構成であり、典型的には基板上に各種の電子部品を配置して配線することによってそのような機能の実現に必要な回路を構成したユニットである。制御ユニット１０１は、さらに、情報処理ユニット１２０、通信回路１２１、制御信号生成部１２２、スピードコントローラ１２３、インターフェイス１２５から構成される。

情報処理ユニット１２０は、ＣＰＵ１２０ａ、ＲＡＭ１２０ｂ、ＲＯＭ１２０ｃ、外部メモリ１２０ｄを含む。ＲＡＭ１２０ｂ、ＲＯＭ１２０ｃ、外部メモリ１２０ｄ、通信回路１２１、制御信号生成部１２２、インターフェイス１２５は、システムバス１２０ｈを介して、ＣＰＵ１２０ａに接続されている。

制御ユニット１０１は、本発明の安全着陸可能領域識別システムの一例となるもので、後述の図３に示される安全着陸可能領域識別システム２の各部は、ＲＯＭ１２０ｃや外部メモリ１２０ｄに記憶された各種プログラムが、ＣＰＵ１２０ａ、ＲＡＭ１２０ｂ、ＲＯＭ１２０ｃ、外部メモリ１２０ｄ、通信回路１２１、制御信号生成部１２２、スピードコントローラ１２３、インターフェイス１２５等を資源として使用することで実現される。

カメラ１０６は、無人航空機１の下部の適切な位置に取り付けられた映像を撮影するためのカメラである。カメラ１０６は、無人航空機１の飛行中、それの撮影範囲の画像のデータを取得し、取得された画像は、後述の記憶部２２１に記憶される。画像は、典型的には一連の静止画像からなる動画の画像である。

飛行位置センサ１０７は、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）センサのような無人航空機１の飛行位置の座標を感知するナビゲーションのためのセンサである。飛行位置センサ１０７は、好適には、三次元的な座標を感知する。飛行位置センサ１０７は、主として、無人航空機１が飛行計画経路に沿って飛行する時の位置を制御するために使用される。

姿勢センサ１０９は、例えば６軸ジャイロ（加速度／角速度センサ）のような、無人航空機１の移動と傾きなどを検出するためのセンサであり、無人航空機１の飛行時の姿勢を制御するために使用される。

方位センサ１１１は、例えば磁気センサのような、飛行方向を制御するためのセンサである。

高度センサ１１３は、例えば気圧センサのような、無人航空機１の高度を検出するセンサであり、無人航空機１の飛行高度を制御するために使用される。

無人航空機１は、超音波センサのような距離センサを備えていてもよい。距離センサ１１５は、例えば超音波センサのような、障害物や地面との間の距離を測定し、障害物との衝突を避けたり、対地高度を精密に測定するためのセンサである。

アンテナ１１７は、無人航空機１を操縦したり制御するための情報や各種データを含む無線信号を受信したり、テレメトリ信号を含む無線信号を無人航空機１から送信するための空中線である。

通信回路１２１は、アンテナ１１７を通じて受信した無線信号から、無人航空機１のための操縦信号、制御信号や各種データなどを復調してＣＰＵ１２０ａに入力したり、無人航空機１から出力されるテレメトリ信号などを搬送する無線信号を生成するための電子回路であり、典型的には無線信号処理ＩＣである。なお、例えば、操縦信号の通信と、制御信号、各種データの通信とを別の周波数帯の異なる通信回路で実行するようにしてもよい。例えば、手動での操縦を行うためのコントローラ（プロポ）の送信器と９５０ＭＨｚ帯の周波数で通信し、データ通信を２ＧＨｚ帯／１．７ＧＨｚ帯／１．５ＧＨｚ帯／８００ＭＨｚ帯の周波数で通信するような構成を採ることも可能である。

制御信号生成部１２２は、ＣＰＵ１２０ａによって演算により得られた制御指令値データを、電圧を表わすパルス信号（ＰＷＭ信号など）に変換する構成であり、典型的には、発振回路とスイッチング回路を含むＩＣである。スピードコントローラ１２３は、制御信号生成部１２２からのパルス信号を、モータ１０２を駆動する駆動電圧に変換する構成であり、典型的には、平滑回路とアナログ増幅器である。図示していないが、無人航空機１は、リチウムポリマーバッテリやリチウムイオンバッテリ等のバッテリデバイスや各要素への配電系を含む電源系を備えている。

インターフェイス１２５は、ＣＰＵ１２０ａ、飛行位置センサ１０７、姿勢センサ１０９、方位センサ１１１、高度センサ１１３、距離センサ１１５などの機能要素との間で信号の送受信ができるように信号の形態を変換することにより、それらを電気的に接続する構成である。なお、説明の都合上、図面においてインターフェイスは１つの構成として記載しているが、接続対象の機能要素の種類によって別のインターフェイスを使用することが通常である。また、接続対象の機能要素が入出力する信号の種類によってはインターフェイス１２５が不要な場合もある。また、図２において、インターフェイス１２５が媒介せずに接続されている情報処理ユニット１２０であっても、接続対象の機能要素が入出力する信号の種類によってはインターフェイスが必要となる場合もある。

図３は、本発明の１つの実施形態に係る安全着陸可能領域識別システムの機能構成を示す図である。安全着陸可能領域識別システム２は、飛行制御部２０１、緊急事態検出部２０３、緊急着陸必要度決定部２０５、着陸候補部分領域設定部２０７、分類部２０９、安全着陸可能領域識別部２１１、着陸危険度設定部２１３、着陸危険度決定部２１５、着陸コスト決定部２１７、着陸最適部分領域決定部２１９、記憶部２２１を備える。

飛行制御部２０１は、操作者からの操縦信号（非自律飛行時）や飛行計画経路データ（自律飛行時）などに基づいて無人航空機１の飛行を適切に制御する。具体的には、飛行制御用の各種センサから得られる情報により無人航空機１の姿勢、速度等を判断し、飛行位置センサ１０７から得られる情報により無人航空機１の現在の飛行位置などを判断し、操縦信号、飛行計画経路、速度制限、高度制限等の目標値と比較することによりＣＰＵ１２０ａで各ロータ１０３に対する制御指令値を演算し、制御指令値を示すデータを制御信号生成部１２２に出力する。制御信号生成部１２２は、その制御指令値を電圧を表わすパルス信号に変換して各スピードコントローラ１２３に送信する。各スピードコントローラ１２３は、そのパルス信号を駆動電圧へと変換して各モータ１０２に印加し、これにより各モータ１０２の駆動を制御して各ロータ１０３の回転数を制御することにより無人航空機１の飛行が制御される。

ここで、飛行計画経路データは、無人航空機１の三次元（緯度、経度、高度）の飛行計画経路を表すデータであり、典型的には、飛行計画経路上に存在する一連の複数のウェイポイントの集合のデータである。飛行計画経路は、典型的には、それらの複数のウェイポイントを順番に結んだ直線の集合であるが、ウェイポイントの所定範囲内においては所定の曲率の曲線とすることもできる。好適には、飛行計画経路の特定のウェイポイントの近傍に目標位置が存在すると良い。そのウェイポイントには、それを通過後に目標位置に向かう旨の情報が付加される。そのウェイポイントは、飛行計画経路の終点（折り返し点）とすることもできる。なお、あるウェイポイントを目標位置とすることもできる。この場合、そのウェイポイントのデータには、それが目標位置である旨の情報が付加される。飛行計画経路データは、複数のウェイポイントにおける飛行速度を定めるデータを含んでいてもよい。飛行計画経路データは、典型的には自律飛行において飛行計画経路を定めるために使用されるが、非自律飛行において飛行時のガイド用として使用することもできる。飛行計画経路データは、典型的には、飛行前に無人航空機１に入力されて記憶される。

緊急事態検出部２０３は、無人航空機１に関して緊急事態が生じていること、及びその緊急事態の種類（例えば、プロペラの喪失、地上からの制御不能）を検出する。

緊急着陸必要度決定部２０５は、緊急事態検出部２０３によって検出された緊急事態の種類に応じた、緊急着陸の必要度を決定する。

着陸候補部分領域設定部２０７は、着陸候補領域の画像３内に複数の着陸候補部分領域３３を設定する。

分類部２０９は、入力された画像を「着陸可」又は「着陸不可」の２つのクラスに分類する。ここで、「着陸不可」の画像は、画像内に、樹木、自動車、電線、建物、道路、線路、人、動物等の障害物が含まれる画像であり、「着陸可」の画像は、そのような障害物が含まれない画像である。

図４は、本実施形態に係る分類部２０９の構成の一例を示す図である。分類部２０９は、入力された画像に含まれる特徴量を抽出する特徴抽出器２０９１と、抽出された特徴量を識別・分類する識別器２０９３とから構成される。本実施形態においては、分類部２０９は、畳み込みニューラルネットワークである。分類部の構成はこれに限定されるものではなく、特徴量としては輝度値やエッジ、勾配などあらかじめ定めた指標を用いて、ベイズ分類やk近傍法、サポートベクターマシン、強化学習などにより分類を行う構成としてもよい。

特徴抽出器２０９１は、入力層２０９１ｉと、複数の畳み込み層２０９１ｃとプーリング層２０９１ｐから構成されている（図４では、簡単のため畳み込み層２０９１ｃ及びプーリング層２０９１ｐをそれぞれ１つのみ示している）。

畳み込み層２０９１ｃは、入力画像に対して所定のサイズの二次元フィルタを畳み込んだ上で活性化関数を適用し、畳み込み層出力として特徴マップを生成する。活性化関数としてはＲｅＬＵ(Rectified linear unit)、シグモイド関数、tanh関数、マックスアウト等を用いることができる。畳み込み層によって、入力画像の一部をぼかしたりエッジを強調したりすることで局所的な特徴を得ることができる。

次のプーリング層では、畳み込み層が生成した特徴マップに対して所定のサイズの領域で最大値プーリングを適用し、プーリング層出力を生成する。プーリングの手法としては平均値プーリング、Ｌｐプーリング等を用いてもよい。プーリング層によって特徴マップは縮小され、画像内の特徴の微小な位置変化に対して頑健性を得ることができる。

識別器２０９３は全結合層２０９３ｆおよび出力層２０９３ｏから構成されている。特徴抽出器２０９１からの出力が全結合層２０９３ｆに入力される。

そして、全結合層２０９３ｆからの出力が、出力層２０９３ｏに入力され、出力層２０９３ｏは、全結合層からの出力に基づいて、例えばＳｏｆｔｍａｘ関数により「着陸可」と「着陸不可」のそれぞれのクラスの尤度を求め、尤度が大きい方のクラスを出力とすることにより、入力された画像が「着陸可」又は「着陸不可」のいずれのクラスであるかのクラス分類結果を出力する。

畳み込み層の二次元フィルタおよび全結合層の重みとバイアスといったネットワークパラメータを、後述のような学習により更新し、入力画像が「着陸可」と「着陸不可」のいずれのクラスであるかの分類が行えるように構成される。

本実施形態の畳み込みニューラルネットワークにおいては教師あり学習を行うが、その学習処理は以下のように行う。学習データとしては、所定のサイズに正規化した複数の入力画像と、各入力画像が「着陸可」又は「着陸不可」のいずれのクラスであるかのラベルを用意しておく。入力画像としては、所定の高度において撮影された、所定のサイズの地上の画像を用いることができる。本実施形態においては、無人航空機の通常の巡航状態の飛行時の高度（例えば地上２０ｍ～１００ｍ）のうちの所定範囲の高度において撮影された、所定のサイズの地上の画像を後述のように１４４分割した画像を用いる。学習は、例えば、入力画像に対して得られた分類結果と学習データとして用意したラベルの誤差が小さくなるよう、誤差逆伝播法を用いて畳み込み層の二次元フィルタおよび全結合層の重みとバイアスを更新することで行う。以上の処理を学習データとして用意したすべての入力画像に対して行うことで学習が完了する。このようにして、学習済みの畳み込みニューラルネットワークが準備される。なお、より正確な分類を行うために、複数の高度に対応する学習データセットを準備し、それぞれの学習データセットに対応した畳み込みニューラルネットワークを準備してもよい。

安全着陸可能領域識別部２１１は、「着陸可」に分類された着陸候補部分領域及び「着陸不可」に分類された着陸候補部分領域に基づいて、安全に着陸できる領域である安全着陸可能領域を識別する。例えば、複数の着陸候補部分領域から、「着陸不可」に分類された着陸候補部分領域、及び「着陸不可」に分類された着陸候補部分領域に対して所定の条件を満たす、「着陸可」に分類された着陸候補部分領域を除いた着陸候補部分領域を、安全に着陸できる領域である安全着陸可能領域と識別する。

着陸危険度設定部２１３は、「着陸不可」に分類された着陸候補領域である着陸不可領域、安全着陸可能領域、及びそれら以外の着陸候補領域であるニュートラル領域に対して、それぞれ対応する着陸危険度を設定する。

着陸危険度決定部２１５は、着陸候補領域３１内の複数の部分領域３５の各々の着陸危険度を決定する。

着陸コスト決定部２１７は、複数の部分領域３５の各々についての、無人航空機の位置から部分領域３５に着陸するまでの必要コストを決定する。

着陸最適部分領域決定部２１９は、着陸危険度設定部２１３により決定された複数の部分領域３５の各々の着陸危険度と、緊急着陸必要度決定部２０５により決定された緊急着陸の必要度に基づいて重み付けされた、部分領域３５に着陸するまでの必要コストに基づいて、複数の部分領域３５から着陸最適部分領域を決定する。

記憶部２２１は、各種データや各種プログラムを記憶する。

以上のシステム構成を前提に、本発明の１つの実施形態に係る安全着陸可能領域識別システムの安全着陸可能領域識別処理の例を図１～７を参照して、以下に説明する。図５Ａ及び図５Ｂは、本発明の１つの実施形態に係る安全着陸可能領域識別システムの安全着陸可能領域識別処理の例のフローチャートである。図６は、着陸候補領域の画像の一例を示す図である。図７は、図６の着陸候補領域において識別された着陸不可領域、安全着陸可能領域、ニュートラル領域を示す図である。

無人航空機１飛行前の事前準備として、適切な飛行計画経路を作成し、飛行計画経路上に存在する一連の複数のウェイポイントの集合を飛行計画経路データとして記憶部２２１に記憶させておく。飛行計画経路データは、それぞれのウェイポイントにおける高度あるいは対地高度の情報を含むこともできる。無人航空機１飛行計画経路データを記憶部２２１に記憶させる際には、それらを無線信号で無人航空機１に送信し、アンテナ１０８及び通信回路１２１を経由して情報処理ユニット１２０に読み込ませると好適である。無人航空機１が他の適当なインターフェイスを有している場合、そのインターフェイスを経由して無人航空機１の情報処理ユニット１２０に読み込ませてもよい。

飛行前の事前準備が完了すると、飛行制御部２０１により飛行計画経路に沿った自律飛行制御が行われる。すなわち、飛行制御部２０１は、記憶部２２１から飛行計画経路データを読み出し、それによって定められる飛行計画経路に沿って目標位置に飛行するように無人航空機１を制御する（ステップＳ１０１）。具体的には、飛行計画経路データで定められるウェイポイントをその順番に経由して飛行するように無人航空機１の飛行方向及び高度を制御する。飛行計画経路は好適には目標となる飛行速度のデータを含んでおり、無人航空機１は、その飛行速度で飛行計画経路に沿って飛行するように制御される。飛行制御部２０１は、飛行時に、ユーザからの手動の操作を受け付けて非自律飛行を実行させてもよい。この場合、飛行計画経路はガイド用として使用することになり、例えば、手動の操作が終了したときに無人航空機１を飛行計画経路上に復帰させることなどができる。

飛行中に、緊急事態検出部２０３が、情報処理ユニット１２０に入ってくる各種の信号に基づいて、無人航空機１に関して緊急事態が生じていること、及びその緊急事態の種類（例えば、プロペラの喪失、地上からの制御不能）を検出すると（Ｓ１０３）、緊急着陸必要度決定部２０５は、緊急着陸の必要度を決定する。具体的には、緊急事態検出部２０３によって検出された緊急事態の種類に応じた、緊急着陸の必要度を決定する（Ｓ１０５）。緊急着陸の必要度は、例えば０、１、２の３段階で表され、緊急着陸の必要性が大きいものほど大きい値とする。例えば、プロペラの喪失は、地上からの制御不能よりも緊急着陸の必要性が大きく、緊急着陸の必要度は、プロペラの喪失に対しては２、地上からの制御不能に対しては１と決定する。緊急着陸の必要度は、予め記憶部２２１に記憶された緊急事態と緊急着陸の必要度が対応づけられたテーブルを参照して決定されてもよく、また、情報処理ユニット１２０に入ってくる各種信号の大きさによって決定されてもよく、その他適切な手法により決定されることができる。

続いて、着陸候補部分領域設定部２０７が、着陸候補領域の画像３内に複数の着陸候補部分領域３３を設定する。具体的には、カメラ１０６により無人航空機１の下方、すなわち地上が撮像され、記憶部２２１に記憶されているが、緊急事態検出部２０３が緊急事態を検出した時点又はその他の検出時点に関連する適切な時点で撮像された地上の領域を、緊急着陸のための着陸候補領域とする。着陸候補部分領域設定部２０７は、撮像された着陸候補領域の画像３を、着陸候補部分領域である矩形のタイル３３に分割し、各タイル３３を着陸候補部分領域として設定する（Ｓ１０７）。本実施形態においては、一例として、着陸候補領域を縦に１２分割、横に１２分割した計１４４個の同じ形状の矩形のタイルに分割したものが、着陸候補部分領域として設定される。設定される着陸候補部分領域は、これに限定されるものではなく、任意の形状や大きさとすることができる。また、着陸候補領域のすべての分割領域を着陸候補部分領域として設定するのではなく、設定された複数の着陸候補部分領域が着陸候補領域の一部を構成するようなものとすることができる。

着陸候補領域の画像が取得された高度が、学習データが取得された高度と大きく異なる場合は、着陸候補領域の画像を拡大して所定の大きさの領域を切り出すか、又は縮小を行う等適宜調整し、着陸候補領域の画像が、学習データが取得された高度に対応する画像となるようにしてもよい。また、カメラ１０６としてズーム撮影可能なカメラを用いて、着陸候補領域の画像取得時に、学習データが取得された高度に対応する画像となるように適宜調整するようにしてもよい。

図６は、着陸候補領域である公園の一部の画像３の一例を示す図である。上述のように、着陸候補部分領域３３は着陸候補領域３１が１４４個に分割されたものである。着陸候補領域３１の下部には建物４１が建っている。また、建物４１の前及び着陸候補領域３１の左半分には、樹木４３が植生している。着陸候補領域３１の右上には芝生４５が広がっている。芝生４５と樹木４３の間には道４７があり、人４９が道４７を歩いている。

次いで、タイル３３の各々が、分類部２０９である畳み込みニューラルネットワークに入力され、畳み込みニューラルネットワークが、タイル３３の各々を「着陸可」又は「着陸不可」の２つのクラスに分類する（Ｓ１０９）。

安全着陸可能領域識別部２１１は、「着陸不可」に分類されたタイル３３、及び「着陸可」と分類されたタイル３３のうち、「着陸不可」と分類されたタイル３３に隣接するタイル３３を除いたタイルで構成される１つ又は複数の領域を、安全に着陸できる領域である安全着陸可能領域３０３と識別する（Ｓ１１１）。「着陸可」と分類されたタイルから除かれるタイルは、「着陸不可」と分類されたタイルに隣接するタイルに限定されるものではなく、「着陸不可」に分類されたタイルに対して所定距離の範囲内にあるタイル等の「着陸不可」に分類されたタイルに対して所定の条件を満たすタイルとすることができる。安全着陸可能領域の識別手法はこれに限定されるものではなく、「着陸可」に分類されたタイル及び「着陸不可」に分類されたタイルに基づいて、安全着陸可能領域を識別する任意の適切な手法とすることができる。例えば、「着陸可」と分類されたタイル自体で構成される１つ又は複数の領域を安全着陸可能領域と識別してもよい。また、予め安全に着陸可能であることが分かっている領域や着陸不可であることが分かっている領域が記憶部２２１に記憶されている等の場合に、その情報を参照して、安全着陸可能領域を識別してもよい。

着陸危険度設定部２１３は、「着陸不可」に分類された着陸候補領域である着陸不可領域、安全着陸可能領域、及びそれら以外の着陸候補領域であるニュートラル領域に対して、それぞれ対応する着陸危険度を設定する（Ｓ１１３）。具体的には、着陸危険度は、例えば０、１、２の３段階で表され、着陸の危険度が大きいものほど大きいとする。本実施形態においては、着陸危険度設定部２１３は、着陸不可領域、安全着陸可能領域、及びニュートラル領域に対して、それぞれ着陸危険度２、着陸危険度０、着陸危険度１を設定する。図７は、図６の着陸候補領域において識別された着陸不可領域３０１、安全着陸可能領域３０３、ニュートラル領域３０５を示す図である。

着陸危険度決定部２１５は、着陸候補領域３１内の複数の部分領域３５の各々の着陸危険度を、ステップＳ１１３で着陸危険度設定部２１３により設定された各領域に対応する着陸危険度を参照して決定する（Ｓ１１５）。本実施形態では、複数の部分領域３５は、タイル３３よりも小さい正方形状の領域であり、着陸候補領域３１が、そのようなタイル３３よりも小さい正方形状の領域に分割されたものである。複数の部分領域３５は、これに限定されるものではなく、任意の形状や大きさとすることができる。また、着陸候補領域のすべての分割領域を部分領域とするのではなく、部分領域が着陸候補領域の一部を構成するようなものとすることができる。着陸候補部分領域を部分領域として、着陸危険度決定部を省略してもよい。部分領域は、地点と呼べるほどの微少領域とすることもできる。

着陸コスト決定部２１７は、複数の部分領域３５の各々についての、上記の着陸候補領域３１を撮像した時点又はその他の適切な時点の無人航空機１の位置から部分領域３５に着陸するまでの必要コストを決定する（Ｓ１１７）。本実施形態では、着陸候補領域３１を撮像した時点又はその他の適切な時点の無人航空機の位置から部分領域３５に着陸するまでの必要コストは、

で表されるものであり、ここで、

は、部分領域３５の代表位置、

は、無人航空機１の姿勢、

は、上記の着陸候補領域３１を撮像した時点又はその他の適切な時点の無人航空機の位置から部分領域３５の代表位置

までの距離（部分領域３５の代表位置の高さが不明な場合は、部分領域３５が平地と仮定）である。

着陸最適部分領域決定部２１５は、ステップＳ１１７で決定された複数の部分領域３５の各々の着陸危険度と、ステップＳ１０５で決定された緊急着陸の必要度に基づいて重み付けされた、部分領域３５に着陸するまでの必要コストに基づいて、複数の部分領域３５から着陸最適部分領域を決定する（Ｓ１１９）。具体的には、下記の式で表されるコスト関数

を最小とする部分領域３５を着陸最適部分領域として決定する。

ここで、

は、その代表位置が

である部分領域３５の着陸危険度、ｖ(ｕ)は、緊急着陸の必要度ｕに基づく重みである。着陸コストの決定手法はこれに限定されるものではなく、他の任意の適切な手法とすることができる。

飛行制御部２０１は、決定された着陸最適部分領域の代表地点の方向に向って無限遠のウェイポイントを設定し、無人航空機１を直線的に着陸最適部分領域へ移動させる。決定された着陸最適部分領域の代表地点を次のウェイポイントと設定した場合、その設定したウェイポイントと実際の代表地点がずれていたときには、無人航空機１が空中で止まってしまう等の不都合が生じ得るところ、代表地点の方向に向って無限遠のウェイポイントを設定して無人航空機１を移動させることにより、そのような不都合を回避することができる。

本実施形態の実施例として、計算実験を行ったところ、学習中の正解率が約８６％と高正解率を達成した。計算実験の条件は以下の通りである。

学習用画像は、無人航空機が高度２５～３０ｍで飛行中に撮影した１９２０×１０８０画素の画像を、上記実施形態のように１４４分割した画像を６４×６４画素に正規化したものを用いた。学習用画像の数は５０００枚で、その内訳は、「着陸可」の画像が２６００枚、「着陸不可」の画像が２４００枚であった。

畳み込みニューラルネットワークは、入力層－畳み込み層－プーリング層－畳み込み層－畳み込み層－プーリング層－畳み込み層－畳み込み層－プーリング層－全結合層－出力層の１１層構成であった。畳み込み層では、３×３画素の重みフィルタを用い、活性化関数はＲｅＬＵを用いた。各プーリング層においては、２×２画素領域の最大値プーリングを用いた。全結合層では、Ｓｏｆｔｍａｘ関数を用いて各分類の尤度を求めた。各層における入力と出力のチャンネル数は以下の表１のとおりであった。

本実施形態によれば、着陸候補領域の画像における障害物がどのような物体であるかを識別するのではなく、着陸候補領域の部分領域である着陸候補部分領域の複数の各々について、障害物が含まれそうであるか否かを基準として、「着陸可」又は「着陸不可」のいずれかに複数の着陸候補部分領域を分類することに基づいて、安全に着陸することができる領域を識別するので、安全着陸可能領域の識別のための計算が簡単化され、無人航空機が安全に着陸することができる領域を識別するための計算負荷を小さくすることができる。そして、計算負荷が小さくすることができるので、計算負荷の大きい計算が可能な計算機を搭載することが難しい無人航空機に、安全着陸可能領域の識別システムを搭載することができる。

本実施形態によれば、緊急事態が生じた場合に、着陸の安全性のみで着陸最適領域を決定するのではなく、緊急着陸の必要度により基づいて重み付けされた着陸候補部分領域に着陸するまでの必要コストも考慮して着陸最適領域を決定するので、最も安全ではないもののある程度安全で且つ着陸に必要なコストが小さい部分領域を着陸最適部分領域として決定することができ、例えば、ある程度安全な部分領域に短時間で着陸することができる。

上記実施形態は、飛行中に緊急事態が生じた場合に、安全着陸可能領域を識別し、更には着陸最適部分領域を決定するものであったが、着陸目標地点の近傍において緊急事態が生じていない場合（この場合、

は、ゼロであり、

となる）でも、安全に着陸するための、安全着陸可能領域の識別、更には着陸最適部分領域の決定にも適用可能であることは当業者に明らかであろう。

また、上記実施形態は、無人航空機の実際の飛行時に、安全着陸可能領域を識別し、更には着陸最適部分領域を決定するものであったが、無人航空機が実際の飛行時か否かにかかわらず、例えば無人航空機の飛行シミュレーションにおいて、安全着陸可能領域を識別し、更には着陸最適部分領域を決定する場合にも適用可能であることは当業者に明らかであろう。
また、上記実施形態は、飛翔体として無人航空機を例として説明したが、他の任意の適切な飛翔体についても適用可能であることは当業者に明らかであろう。

以上、本発明について、例示のためにいくつかの実施形態に関して説明してきたが、本発明はこれに限定されるものでなく、本発明の範囲及び精神から逸脱することなく、形態及び詳細について、様々な変形及び修正を行うことができることは、当業者に明らかであろう。

１無人航空機
１０１制御ユニット
１０２モータ
１０３ロータ
１０４アーム
１０５着陸脚
１０６カメラ
１０７飛行位置センサ
１０９姿勢センサ
１１１方位センサ
１１３高度センサ
１１５距離センサ
１１７アンテナ
１２０情報処理ユニット
１２０ａＣＰＵ
１２０ｂＲＡＭ
１２０ｃＲＯＭ
１２０ｄ外部メモリ
１２０ｈシステムバス
１２１通信回路
１２２制御信号生成部
１２３スピードコントローラ
１２５インターフェイス
２安全着陸可能領域識別システム
２０１飛行制御部
２０３緊急事態検出部
２０５緊急着陸必要度決定部
２０７着陸候補部分領域設定部
２０９分類部
２０９１特徴抽出器
２０９１ｉ入力層
２０９１ｃ畳み込み層
２０９１ｐプーリング層
２０９３識別器
２０９３ｆ全結合層
２０９３ｏ出力層
２１１安全着陸可能領域識別部
２１３着陸危険度設定部
２１５着陸危険度決定部
２１７着陸コスト決定部
２１９着陸最適部分領域決定部
２２１記憶部
３着陸候補領域の画像
３１着陸候補領域
３３着陸候補部分領域
３５部分領域
３０１着陸不可領域
３０３安全着陸可能領域
３０５ニュートラル領域
４１建物
４３木
４５芝生
４７道
４９人

Claims

着陸候補領域の画像内に複数の着陸候補部分領域を設定する着陸候補部分領域設定部と、
機械学習により、前記複数の着陸候補部分領域の各々を、前記着陸候補部分領域内に障害物が含まれそうであるか否かを基準として、「着陸可」又は「着陸不可」のいずれかに分類する分類部と、
「着陸可」に分類された着陸候補部分領域及び「着陸不可」に分類された着陸候補部分領域に基づいて、安全に着陸できる領域である安全着陸可能領域を識別する安全着陸可能領域識別部と、
を備えるシステム。
前記安全着陸可能領域識別部は、前記複数の着陸候補部分領域から、「着陸不可」に分類された着陸候補部分領域、及び「着陸不可」に分類された着陸候補部分領域に対して所定の条件を満たす、「着陸可」に分類された着陸候補部分領域を除いた着陸候補部分領域を、前記安全着陸可能領域と識別する請求項１に記載のシステム。
前記所定の条件は、「着陸不可」に分類された着陸候補部分領域に近接することである請求項２に記載のシステム。
前記着陸候補部分領域設定部は、前記着陸候補領域の画像を複数のタイルに分割する請求項１～３のいずれか１項に記載のシステム。
前記着陸候補領域の画像は、無人航空機から撮像された画像である請求項１～４のいずれか１項に記載のシステム。
前記「着陸不可」に分類された領域、前記安全に着陸できる領域に対応する領域、及びそれら以外の領域に対して、それぞれ対応する着陸危険度を設定する着陸危険度設定部を更に備える請求項１～５のいずれか１項に記載のシステム。
着陸候補領域内の複数の部分領域から着陸最適部分領域を決定するためのシステムであって、
前記複数の部分領域の各々の着陸危険度を決定する着陸危険度決定部と、
前記複数の部分領域の各々についての、無人航空機の位置から前記部分領域に着陸するまでの必要コストを決定する着陸コスト設定部と、
緊急着陸の必要度を決定する緊急着陸必要度決定部と、
前記複数の部分領域の各々の前記着陸危険度と、前記複数の部分領域の各々についての、前記緊急着陸の必要度に基づいて重み付けされた前記部分領域に着陸するまでの必要コストに基づいて、前記複数の部分領域から着陸最適部分領域を決定する着陸最適部分領域決定部と、
を含むシステム。
請求項７に記載のシステムが請求項６に記載のシステムを含み、前記複数の部分領域の各々の着陸危険度は、請求項６に記載のシステムの着陸危険度設定部による着陸危険度の設定により決定される請求項７に記載のシステム。
前記無人航空機の位置から前記部分領域に着陸するまでの必要コストは、前記無人航空機の姿勢、及び前記無人航空機の位置から前記部分領域までの距離の少なくとも１つに基づくものである請求項７又は８に記載のシステム。
前記無人航空機の位置は、前記無人航空機の現在位置である請求項７～９のいずれか１項に記載のシステム。
請求項１～１０のいずれか１項に記載のシステムを搭載した無人航空機。
コンピュータにより実行される方法であって、
着陸候補領域の画像内に複数の着陸候補部分領域を設定するステップと、
機械学習により、前記複数の着陸候補部分領域の各々を、前記着陸候補部分領域内に障害物が含まれそうであるか否かを基準として、「着陸可」又は「着陸不可」のいずれかに分類するステップと、
「着陸可」に分類された着陸候補部分領域及び「着陸不可」に分類された着陸候補部分領域に基づいて、安全に着陸できる領域である安全着陸可能領域を識別するステップと、
を含む方法。
前記安全着陸可能領域を識別するステップは、前記複数の着陸候補部分領域から、「着陸不可」に分類された着陸候補部分領域、及び「着陸不可」に分類された着陸候補部分領域に対して所定の条件を満たす、「着陸可」に分類された着陸候補部分領域を除いた着陸候補部分領域を、前記安全着陸可能領域と識別するステップである請求項１２に記載の方法。
前記所定の条件は、「着陸不可」に分類された着陸候補部分領域に近接することである請求項１３に記載の方法。
前記着陸候補領域の画像内に複数の着陸候補部分領域を設定するステップは、前記着陸候補領域の画像を複数のタイルに分割するステップである請求項１２～１４のいずれか１項に記載の方法。
前記着陸候補領域の画像は、無人航空機から撮像された画像である請求項１２～１４のいずれか１項に記載の方法。
前記「着陸不可」に分類された領域、前記安全に着陸できる領域に対応する領域、及びそれら以外の領域に対して、それぞれ対応する着陸危険度を設定するステップを更に含む請求項１２～１６のいずれか１項に記載の方法。
着陸候補領域内の複数の部分領域から着陸最適部分領域を決定するためのコンピュータにより実行される方法であって、
前記複数の部分領域の各々の着陸危険度を決定するステップと、
前記複数の部分領域の各々についての、無人航空機の位置から前記部分領域に着陸するまでの必要コストを決定するステップと、
緊急着陸の必要度を決定するステップと、
前記複数の部分領域の各々の前記着陸危険度と、前記複数の部分領域の各々についての、前記緊急着陸の必要度に基づいて重み付けされた前記部分領域に着陸するまでの必要コストに基づいて、前記複数の部分領域から着陸最適部分領域を決定するステップと、
を含む方法。
前記複数の部分領域の各々の着陸危険度は、請求項１７に記載の方法による着陸危険度の設定により決定される請求項１８に記載の方法。
前記無人航空機の位置から前記部分領域に着陸するまでの必要コストは、前記無人航空機の姿勢、及び前記無人航空機の位置から前記部分領域までの距離の少なくとも１つに基づくものである請求項１８又は１９に記載の方法。
前記無人航空機の位置は、前記無人航空機の現在位置である請求項１８～２０のいずれか１項に記載の方法。
請求項１２～２１のいずれか１項に記載の方法をコンピュータに実行させるためのプログラム。
請求項２２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。