JP2024012827A - 無人航空機対処システム及び映像追尾装置 - Google Patents

Abstract

【課題】映像追尾装置に搭載された撮影装置で撮影された対象の無人航空機の画像情報から対象までの距離を推定することで高精度で追尾飛行を行う。【解決手段】撮影装置を有して飛行する映像追尾装置と、無人航空機を検出して前記映像追尾装置を制御する地上制御装置は、飛来する無人航空機の位置情報を第１の位置情報として取得して送信し、映像追尾装置は撮影装置が取得した映像情報を地上管制部へ送信し、地上管制部から受信した前記第１の位置情報又は前記機上センサからの距離に基づいて前記無人航空機を追尾する機体制御コマンドを生成して前記機体制御部に指令する映像追尾部と、を有し、映像追尾部は、撮影装置の画像内の無人航空機の位置と大きさから当該無人航空機の方向と距離から第２の位置情報を算出して無人航空機を追尾させ、画像が取得できない場合には第１の位置情報から無人航空機を追尾させる。【選択図】図１

Description

本発明は、飛来する無人航空機を検知、追跡し、画像又は映像を取得して、無害化する技術に関する。

近年、無人航空機は、空撮、各種調査、計測、農薬等の散布、物品の搬送など広く用いられるようになった。一方で、制御不能に陥って想定航路を逸脱したり、悪意を持って盗撮や危険物を投下したりする無人航空機も問題視されている。

高度な安全性やセキュリティが要求される重要施設に、無人航空機が意図せずに飛来して墜落したり、物件投下や撮影など悪意を持って飛来する場合に、これらの施設に被害を及ぼさないよう防御することが社会的な課題になっている。

重要施設に飛来する無人航空機を安全に無害化するためには、早期に飛来する無人航空機を把握する「検知」技術や、飛来した無人航空機が危険かどうか判断する「分析」技術、危険と判断された無人航空機を施設外に退去させたり、安全な場所に着陸させたりする「対処」技術が必要である。

施設等の警備において、「検知」や「分析」に使用する情報の取得のためには、各種カメラで撮影された画像や映像を用いることが一般的である。例えば、各方向の撮影が可能な監視カメラで対象を捉え、人間がその画像を参照してその対処の要否を判断する。しかしながら、地上に設置されたカメラからでは、距離が遠く、かつ高速で移動する無人航空機を連続して捉えることが難しい。そこで、別途無人航空機を接近させて対象の無人航空機を追尾し、映像を取得することが考えられる。

ここで、無人航空機によって対象の無人航空機を追尾するためには、何らかの手段で追尾対象との位置関係を取得し、追尾するよう機体を制御する必要がある。

特許文献１には、無人航空機に搭載された撮影デバイスで撮影される映像から物体を映像処理し、機体を物体に向けて飛行させる技術が開示されている。特許文献１では、無人航空機の操縦者が操作する入力デバイスの画面上に表示された映像の区域をクリックすることで追尾対象物体を指定し、画像上の位置及びサイズを維持するように機体を制御する。

国際公開第２０１６／０１５２５１号

デジタルカメラ等で物体を撮影する場合、画像上に撮影される物体のサイズはその距離に反比例する。無人航空機に搭載された撮影デバイスで撮影される対象の無人航空機の画像の大きさは、対象から離れると小さくなり、近づくと大きくなる。また、対象との位置関係が、相対的に右方向に対象が移動すると画像のより右側に、左方向に対象が移動すると画像のより左側に撮影される。特許文献１に開示される技術では、追尾対象の画像が一定のサイズを維持するよう無人航空機の速度を制御し、対象の画像が画角中心に来るよう飛行方向を制御することで、一定距離での追尾制御を可能にしている。

しかしながら、撮影素子で撮影される対象のサイズは、両者の距離だけでなく、対象の物体そのものの大きさに左右される。従って、その物体の大きさの情報無しには、撮影画像上のサイズから、その物体との絶対距離を算出することができない。

さらに、特許文献１に開示された技術において追尾対象の指定は、操縦者が操作する入力デバイスの画面上に表示された映像の区域をクリックすることによって行うため、撮影デバイスが対象の方向に向いていて、かつ対象画像が操縦者にとって識別できるサイズで撮影されている必要があり、両者が近距離に存在していなければならないという制約があった。

本発明は、上記問題点に鑑みてなされたもので、映像追尾装置に搭載された撮影装置によって撮影された対象の無人航空機の画像情報から対象までの距離を推定することにより高精度で追尾飛行を行うことを目的とする。

本発明は、撮影装置を有して飛行する映像追尾装置と、無人航空機を検出して前記映像追尾装置を制御する地上制御装置とを有する無人航空機対処システムであって、前記地上制御装置は、飛来する前記無人航空機の位置情報を第１の位置情報として取得する監視部と、前記監視部が取得した第１の位置情報を前記映像追尾装置へ送信して前記無人航空機の追尾を指令する地上管制部と、を有し、前記地上管制部は、追尾対象の前記無人航空機を指定する追尾指定情報を出力する対象指定部と、前記映像追尾装置と無線通信を行って前記第１の位置情報又は前記追尾指定情報を送信し、前記映像追尾装置から映像情報を受信する前記通信部と、前記映像追尾装置から受信した映像情報を表示する表示部と、を有し、前記映像追尾装置は、前記地上管制部と通信を行う通信部と、当該映像追尾装置の機体の制御を行う機体制御部と、前記無人航空機までの距離を検出する機上センサと、前記撮影装置が取得した映像情報を前記地上管制部へ送信し、前記地上管制部から受信した前記第１の位置情報又は前記機上センサからの距離に基づいて前記無人航空機を追尾する機体制御コマンドを生成して前記機体制御部に指令する映像追尾部と、を有し、前記映像追尾部は、前記地上管制部から受信した前記追尾指定情報に含まれる前記無人航空機の画像が前記撮影装置の画像に含まれる場合には前記画像内の無人航空機の位置と大きさから当該無人航空機の方向と距離を算出して、前記距離と前記方向に基づいて前記無人航空機の第２の位置情報を算出して前記無人航空機を追尾する機体制御コマンドを生成し、前記画像が取得できない場合には前記第１の位置情報から前記無人航空機を追尾する機体制御コマンドを生成し、前記生成された機体制御コマンドを前記機体制御部に指令する。

本発明の映像追尾装置に搭載された撮影装置により撮影された追尾対象の無人航空機の画像から、追尾対象までの距離を推定することを可能にし、追尾精度を向上させることができる。

本明細書において開示される主題の、少なくとも一つの実施の詳細は、添付されている図面と以下の記述の中で述べられる。開示される主題のその他の特徴、態様、効果は、以下の開示、図面、請求項により明らかにされる。

本発明の実施例を示し、無人航空機対処システムのブロック図である。 本発明の実施例を示し、映像追尾装置の機能ブロック図である。 本発明の実施例を示し、追尾対象の距離と方向の推定に関する説明図である。 本発明の実施例を示し、追尾対象の距離と速度の推定に関する説明図である。 本発明の実施例を示し、地上管制装置の表示画面の図である。 本発明の実施例を示し、識別符号と物体識別結果が表示された地上管制装置の表示画面の図である。 本発明の実施例を示し、地上監視装置と地上管制装置及び映像追尾装置で行われる処理のフローチャートである。 本発明の実施例を示し、映像追尾装置で行われる映像追尾処理のフローチャートの前半である。 本発明の実施例を示し、映像追尾装置で行われる映像追尾処理のフローチャートの後半である。

以下、本発明の実施の形態を図面を参照して説明する。

図１は、本発明の一実施形態である、無人航空機対処システムのシステム構成図を示す。

本発明における無人航空機対処システムは、地上制御装置１０１と、映像追尾装置１０２から構成される。両者の間は有線又は無線のネットワーク１０３により接続される。必要に応じて、無線機１０４によって無線通信路を構成するものとする。映像追尾装置１０２は、カメラや空間センサ（測距センサ）を含んで自律的に飛行が可能な無人航空機で構成されて、地上管制装置１２０の指令に基づいて対象となる無人航空機（以下、不審無人航空機）を追尾し、対処指示に基づいて無害化する。

地上制御装置１０１は、一つ又は複数の地上監視装置１１０と、一つ又は複数の地上管制装置１２０から構成される。これらは、ネットワーク１０３を介してそれぞれ情報を送受信するため、地上監視装置１１０と地上管制装置１２０はそれぞれ別の装置であってもよいし、一体であってもよい。

地上監視装置１１０は、一つ又は複数の監視カメラ１１１と、レーダー１１２、一つ又は複数のアンテナ１１３と、検知された対象の位置を分析し、表示する対象位置検知・表示部１１４と、地上管制装置１２０又は映像追尾装置１０２と通信を行う通信部１１５などから構成される。

地上監視装置１１０は、地上監視装置１１０から所定の範囲内に侵入した無人航空機を検出する地上センサ群として監視カメラ１１１とレーダー１１２及びアンテナ１１３を採用する例を示したが、これらに限定されるものではなく地上制御装置１０１の周辺を飛行する飛翔体を検出するセンサであればよい。

監視カメラ１１１では、対象となる不審無人航空機の機影を撮影する。監視カメラ１１１の向きと画像内での撮影位置により、不審無人航空機の存在する方位を得ることができる。複数の監視カメラ１１１で得られた方位情報から、地上監視装置１１０と対象の不審無人航空機の相対的な位置情報を得ることが可能であり、監視カメラ１１１で撮影された画像又は映像ならびに対象の方位情報１１６は、対象位置検知・表示部１１４へ送信される。なお、本実施例では画像を時系列で並べたものを映像とし、映像を構成する１フレームを画像として扱う。

レーダー１１２は、照射する電磁波の反射波によって、対象となる不審無人航空機の方位と距離の情報１１７を取得し、対象位置検知・表示部１１４へ送信する。アンテナ１１３は、対象となる不審無人航空機が、図示しない制御装置との間で通信する電磁波を受信する。

不審無人航空機と、映像追尾装置１０２を制御する地上制御装置１０１との間の通信には、オペレータ（又は操縦者）が地上管制装置１２０を介して映像追尾装置１０２へ送信する操縦信号や、機体の位置や姿勢などの状態をオペレータが利用する地上管制装置１２０へ送信するテレメトリ情報や、映像追尾装置１０２に搭載されたカメラ１３９によって撮影された動画や静止画を地上管制装置１２０へ送信する映像情報などがある。

これらの情報を空間的に離れて配置された複数のアンテナ１１３で受信し、その到達時間差を三角測量することで発信地点を計算し、対象となる不審無人航空機の位置を取得する。

また、不審無人航空機を追尾する映像追尾装置１０２が地上管制装置１２０へ送信するテレメトリ情報には、機体に搭載された全地球測位システムＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ又はＧＮＳＳ：Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）により測定された機体の位置情報が含まれている場合があり、これを分析又は取得することで、より正確な位置情報を取得することが可能である。

アンテナ１１３により取得される不審無人航空機の位置情報１１８は、対象位置検知・表示部１１４へ送信される。対象位置検知・表示部１１４では、映像追尾装置１０２の監視カメラ１１１で撮影された対象の不審無人航空機の映像や、監視カメラ１１１や、レーダー１１２や、アンテナ１１３等により取得された対象の不審無人航空機の位置情報を表示する。

無人航空機対処システムのオペレータは、これらの情報を参照し、映像追尾装置１０２による対処の要否を判断する。地上監視装置１１０により取得された対象の不審無人航空機の位置情報１１９は、通信部１１５を介して映像追尾装置１０２へ送信される。

地上管制装置１２０は、通信部１２３を介して映像追尾装置１０２との間で通信を行い、映像追尾装置１０２から送られる映像追尾結果を含む圧縮済の映像情報１５１を伸長・表示する映像表示部１２１と、追尾対象の指定や不審無人航空機に対する対処指示を行う対象指定部１２２から構成される。映像表示部１２１は、ディスプレイなどを含む。

対象指定部１２２は、映像表示部１２１に表示される映像から、追尾対象の不審無人航空機を指定するユーザインタフェースと、対処指示を行うユーザインタフェースを有し、追尾対象を指定する追尾対象指示情報１２や、不審無人航空機への処理を指定する対処指示情報１３を映像追尾装置１０２へ送信する。

映像追尾装置１０２は、地上監視装置１１０により検知された追尾対象となる不審無人航空機の対象位置情報１１、又は映像追尾装置１０２に搭載されたカメラ１３９、空間センサ１３８から得られるセンサ情報（映像情報、距離情報）を用いて追尾制御を行う。

映像追尾装置１０２は、例えばマルチロータータイプの無人航空機ＵＡＶ＝Unmanned Arial Vehicleの形態が想定されるが、陸上、海上を走行するＵＧＶ：Unmanned Ground Vehicle、ＵＳＶ：Unmanned Sea Vehicleの形態であってもよい。

地上制御装置１０１と、映像追尾装置１０２間の情報の送受信は、それぞれ無線機１０４とネットワーク１０３を介して無線通信を行うことを想定するが、有線通信を用いることも可能である。

映像追尾装置１０２は、映像追尾装置１０２全体の制御を行うミッションコントローラ１３０と、地上制御装置１０１と通信を行う無線機１０４と、ジンバル１３６に搭載されたカメラ１３９及び空間センサ１３８と、ＧＰＳ・ＩＭＵ１４０で得られる機体の位置や姿勢１４３に基づき、モーターやプロペラ等の動力飛行部１４２を制御して実際の機体の飛行制御を行う機体制御装置１３５と、必要に応じて対象の不審無人航空機に対処を行う対処部１４１から構成される。なお、本実施例の飛行制御は、不審無人航空機に所定の距離まで接近させて追尾し、追尾しながら映像を取得させる。また、必要に応じて映像追尾装置１０２に所定の対処を実施させて不審無人航空機を無力化させる。

機体制御装置１３５は、直接ハードウェアの駆動制御を行う機能を含み、ジンバル１３６へのジンバル制御信号１４６の出力と、動力飛行部１４２への飛行制御信号１４５の出力と、対処部１４１への対処指示情報１３の出力を行う。

ミッションコントローラ１３０は、例えば、コンピュータシステムであり、地上管制装置１２０から送信される、対象となる不審無人航空機の位置を示す対象位置情報１１ならびに追尾対象指示情報１２と対処指示情報１３と、カメラ１３９で取得される映像情報１４９と、空間センサ１３８で取得される対象の不審無人航空機や周囲の距離情報１４８、機体制御装置１３５から得られる機体姿勢に基づき、機体を追尾対象の不審無人航空機へ向かって飛行させる飛行制御信号１４５を生成し、地上制御装置１０１からの対処指示１０６の情報に基づいて対処部１４１に対して対処指示情報１３を生成する。なお、対処指示１０６には対象の不審無人航空機の機種などの情報を含むことができる。

カメラ１３９から得られた映像情報１４９は、映像追尾部１３１で対象を追尾するために使用され、不審無人航空機の検知のための物体認識が行われ、認識情報と併せて追尾結果・認識結果を含む映像情報１５１として映像圧縮部１３２に伝達される。圧縮された圧縮済映像情報１５０は、通信部１３３を介して地上管制装置１２０へ送信される。

本発明では、映像追尾装置１０２が地上監視装置１１０により取得された対象となる不審無人航空機の対象位置情報１１と、空間センサ１３８で取得される距離情報１４８と、映像追尾装置１０２に搭載されたカメラ１３９で取得される映像又は画像上の不審無人航空機の画像のサイズとの関係を示すサイズ・距離関係データ１５３を記憶部１３４に記録しておく。

そして、映像追尾装置１０２が地上監視装置１１０、又は空間センサ１３８で、対象となる不審航空機の距離情報が取得できない場合において、サイズ・距離関係データ１５３を用いて画像情報のみから不審無人航空機の相対的な位置関係を取得することが特徴である。

なお、映像追尾装置１０２は、地上管制装置１２０から受信した対象位置情報１１の変化と、カメラ１３９の画像内での不審無人航空機の位置又は大きさの関係をサイズ・距離関係データ１５３として記録しておくことができる。映像追尾装置１０２は、地上管制装置１２０から対象位置情報１１を受信できなくなった場合、カメラ１３９の画像内での不審無人航空機の位置又は大きさからサイズ・距離関係データ１５３の関係を用いて不審無人航空機の位置（第２の位置情報）を推定して機体制御コマンド１５６を生成することができる。

ミッションコントローラ１３０は、映像追尾装置１０２の機体制御装置１３５を制御する計算機又はマイクロコンピュータで構成することができる。ミッションコントローラ１３０は、図示はしないがプロセッサとメモリとインタフェースとストレージを有する。インタフェースにはカメラ１３９と空間センサ１３８と機体制御装置１３５が接続される。

ストレージにはサイズ・距離関係データ１５３とプログラムが格納される。ストレージのプログラムは、映像追尾部１３１の各機能部を実現するソフトウェアで、メモリにロードされてプロセッサによって実行される。

図２は、本発明の一実施例である映像追尾装置１０２に含まれる映像追尾部１３１の機能ブロック図を示す。

映像追尾部１３１ではカメラ１３９で得られた映像情報１４９は、高視認化部２０８により、高視認化映像２１７に変換される。映像追尾部１３１では高視認化映像２１７から、追尾対象の発見を支援するため、高視認化映像２１７に対して動体検知部２０３による動体検知と、物体認識部２０４による物体認識が行われる。

なお、高視認化部２０８は、夜間や霧が発生している場合等で視認性を向上させるために映像を補正する。例えば、映像情報１４９の領域ごとの画像の特徴量を算出して、特徴量に応じた画像の補正を実施する。

動体検知部２０３は動体の検出結果を動体検知情報２１０として出力し、物体認識部２０４は物体の認識結果を物体認識情報２１１として出力する。

動体検知情報２１０と、物体認識情報２１１は、検知物体合成部２０１で元の高視認化映像２１７と合成されて、検知結果を含む映像情報１５１として地上制御装置１０１へ送られる。

地上監視装置１１０から送信される対象位置情報１１と、地上管制装置１２０から送信される追尾対象指示情報１２、対処指示情報１３は、ミッションコントローラ１３０の通信部１３３で受信され、映像追尾部１３１に入力される。地上監視装置１１０で取得された対象位置情報１１は、機体制御コマンド生成部２０７に送られる。

対象の不審無人航空機と、映像追尾装置１０２間の距離が遠く、映像追尾（撮影しながら飛行）が開始できない場合、映像追尾装置１０２は対象位置情報１１を使って対象の不審無人航空機へ接近して映像を撮影する制御を行う。

対象の不審無人航空機と映像追尾装置１０２間の距離が接近し、映像追尾装置１０２に搭載されたカメラ１３９で不審無人航空機の映像を捉えた場合、無人航空機対処システムのオペレータは地上管制装置１２０の映像表示部１２１で対象の不審無人航空機を確認し、対象指定部１２２を使用して追尾対象を指令する。

追尾対象の指定は、対象の不審無人航空機の画像、又は対象の画像が存在する画像上の領域の座標、又は動体検知や物体認識によって抽出された物体の番号などによって行われ、いずれの場合も映像上での対象画像の大きさを取得できるものとする。

追尾対象指定部２０２は、指定された追尾対象の画像の大きさと、対象の不審無人航空機と映像追尾装置１０２間の距離の関係性を示すサイズ・距離関係データ１５３を、記憶部１３４へ格納する。

そして、映像追尾部１３１は追尾対象の指定情報２１２を映像トラッキング部２０５へ送信し、対象の映像追尾を開始する。このとき記録される対象の不審無人航空機と映像追尾装置１０２間の距離は、対象の不審無人航空機が存在する映像上の領域と、空間センサ１３８で取得される距離情報１４８を用いて取得される距離情報を用いてもよいし、地上監視装置１１０から送信された対象の不審無人航空機の対象位置情報１１を取得してもよい。

一般的には、映像追尾装置１０２に搭載された空間センサ１３８で取得される距離情報の方が遅延が少なく正確であり、空間センサ１３８による距離情報が取得できる場合は空間センサ１３８の情報を使い、空間センサ１３８やカメラ１３９の情報を取得できない場合は地上監視装置１１０から送信された対象の不審無人航空機の対象位置情報１１を用いて取得するのが望ましい。なお、本実施例では空間センサ１３８によって不審無人航空機までの距離を検出する例を示したが、これに限定されるものではなく、レーダーやＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｂｇ Ａｎｄ Ｒａｎｇｉｎｇ）等で測距を行ってもよい。

一旦映像追尾が開始されると、映像トラッキング部２０５は、映像追尾装置１０２に搭載されたカメラ１３９で取得された映像情報１４９を高視認化部２０８で高視認化された高視認化映像２１７を用いて、対象の映像追尾を行う。

具体的には、追尾中の対象の画像が映像内でその位置や、大きさが変化した場合でも、その映像の画像内での領域の座標の変化を取得する。一般的には、映像追尾装置１０２と、追尾対象の位置関係が変化すると、映像の画像内における対象の形状や、大きさは変化する。映像追尾装置１０２は対象の形状や大きさが映像上で変化した場合においても、新しく変化した形状・大きさの画像を追尾対象として更新し、映像追尾を継続する。

映像トラッキング部２０５は、追尾中の対象の画像サイズ２１３と、映像の画像内位置２１４を、対象測距部２０９ならびに対象方向、距離、速度推定部２０６へ送信する。

対象測距部２０９は、空間センサ１３８で取得される距離情報１４８と、追尾中の対象の画像サイズ２１３と、映像の画像内での位置２１４を照合し、空間センサ１３８による対象の距離情報２１５を取得して対象方向、距離、速度推定部２０６へ送信する。

対象方向・距離・速度推定部２０６は、映像トラッキング部２０５から送信される追尾中の画像サイズ２１３と、映像の画像内での位置２１４と、対象測距部２０９から送信される空間センサ１３８による対象の不審無人航空機までの距離情報１４８と、記憶部１３４に格納されて対象画像サイズと距離の関係を示すサイズ・距離関係データ１５３を用いて、追尾対象の不審無人航空機の方向・距離・速度２１６を推定し、機体制御コマンド生成部２０７へ送信する。なお、方向・距離・速度２１６には、不審無人航空機が飛行する高度を含むことができる。

空間センサ１３８は、カメラ１３９で撮影した画像内の物体までの距離を検出するセンサで構成される。なお、空間センサ１３８に限定されるものではなく、不審無人航空機までの距離を検出可能なセンサであればよく、レーダーなどの測距センサを用いることができる。

映像追尾部１３１では、対象方向・距離・速度推定部２０６により推定された距離と、映像トラッキング部２０５から受信した追尾対象の画像サイズ２１３との関係性に変化が生じた場合は、サイズ・距離関係データ１５３を記憶部１３４へ送信し、情報を更新する。

機体制御コマンド生成部２０７は、地上制御装置１０１による対象位置情報１１又は対象方向・距離・速度推定部２０６によって計算された追尾対象の方向・距離・速度２１６を用いて、機体制御装置１３５から得られる現在の機体姿勢１５５に基づき、映像追尾装置が対象の不審無人航空機に接近するための機体制御コマンド１５６を生成し、機体制御装置１３５へ送信する。

なお、映像追尾装置１０２は、空間センサ１３８からの距離情報１４８と、カメラ１３９の画像内での不審無人航空機の位置又は大きさの関係をサイズ・距離関係データ１５３として記録しておくことができる。映像追尾装置１０２は、地上管制装置１２０から対象位置情報１１を受信できなくなった場合、カメラ１３９の画像内での不審無人航空機の位置又は大きさと空間センサ１３８からの距離情報１４８からサイズ・距離関係データ１５３の関係を用いて不審無人航空機の位置（第２の位置情報を）を推定して機体制御コマンド１５６を生成することができる。

対象方向・距離・速度推定部２０６により、追尾対象の不審無人航空機３０２の方向を推定する方法を図３を用いて説明する。図３は、追尾対象の距離と方向の推定に関する説明図である。なお、本実施例ではカメラ１３９が映像を撮影し、映像の中の１フレームを画像として扱うものとする。

映像追尾装置１０２に搭載されたカメラ１３９で取得される画像のイメージ３０３において、追尾対象の不審無人航空機３０２の画像位置が３０４であるとする。

これは、映像トラッキング部２０５により取得される対象の画像サイズ２１３と映像の画像内での位置２１４に対応している。図３では、映像追尾装置１０２に搭載されたカメラ１３９は、映像追尾装置１０２の進行方向の正面（飛行方向）に向けて搭載されている例を示している。

図示の例では、画像のイメージ３０３の中心３０７が、映像追尾装置１０２の進行方向の正面を示している。この例では、追尾対象の画像位置３０４は、画像イメージの中心３０７に対して下方向に距離３０５、図中右方向に距離３０６の位置に存在する。

従って、追尾対象は現在の進路の右下方向に存在していることを推定できる。さらに、映像追尾部１３１は画像と位置の関係性から、対象方向に追尾して飛行するための操舵方向３０１を算出することができる。

対象方向・距離・速度推定部２０６により、追尾対象の不審無人航空機３０２の距離と速度を推定する方法を図４を用いて説明する。図４は、追尾対象の不審無人航空機までの距離と速度の推定に関する説明図である。

時刻ｔ１において、映像追尾装置１０２は速度Ｖ１で、追尾対象の不審無人航空機３０２は速度Ｖ３で、距離Ｄ１だけ離れてそれぞれ飛行しているとする。同時に、カメラで取得される画像のイメージ３０３において、追尾対象の不審無人航空機３０２が中心から図中水平右方向にＳＤ１、図中垂直上方向にＨＤ１だけずれ、幅Ｗ１の大きさで撮影されている。

つまり、追尾対象の不審無人航空機３０２が映像追尾装置１０２に対して相対的に右上方向に存在していることを示している。しかし、追尾対象の不審無人航空機３０２の大きさが既知でない場合、撮影された対象画像の大きさのみから距離を推定することはできない。

時刻ｔ２においても、映像追尾装置１０２は、時刻ｔ１と同じ速度Ｖ１で飛行しているとする。同時に、カメラ１３９で取得される画像のイメージ３０３において、追尾対象の不審無人航空機３０２が中心から水平右方向にＳＤ２、垂直上方向にＨＤ２ずれ、幅Ｗ２の大きさで撮影されている。

時刻ｔ１と同様に追尾対象の不審無人航空機３０２が映像追尾装置１０２に対し相対的に右上方向に存在していることを示しているが、水平方向のＳＤ１とＳＤ２の差、もしくは垂直方向のＨＤ１とＨＤ２の差が増加していれば追尾対象の不審無人航空機３０２進路からより外れていることを表し、減少していれば追尾対象の不審無人航空機３０２の進路により近づいていることを表す。

対象画像の大きさ（幅）Ｗ２がＷ１より増大した場合は映像追尾装置１０２が追尾対象の不審無人航空機３０２により接近し、対象画像の大きさＷ２がＷ１より減少した場合は映像追尾装置１０２が追尾対象の不審無人航空機３０２より遠ざかったことを示す。

カメラ１３９により撮影される追尾対象の不審無人航空機３０２の大きさは、対象までの距離に反比例する。つまり、幅Ｗ１と幅Ｗ２の変化量により、次式のように映像追尾装置１０２と追尾対象の不審無人航空機３０２の距離の変化量を計算できる。

Ｄ２ ＝ Ｄ１ × Ｗ１ ／ Ｗ２ ………（１）

このとき、対象画像サイズと距離の関係性を示すサイズ・距離関係データ１５３が既知である場合、映像追尾装置１０２と追尾対象の不審無人航空機３０２の距離Ｄ１、Ｄ２の具体値を計算することが可能である。さらに、単位時間あたりの距離の変化を使って、次式のように速度差を算出することが可能である。

速度差Ｖ１－Ｖ３ ＝ Ｄ１－Ｄ２ ／ ｔ２－ｔ１ ………（２）

時刻ｔ３の通り同じ映像追尾装置１０２と追尾対象の不審無人航空機３０２が同一の速度Ｖ３で飛行しているとき、映像表示部１２１の画面内での対象の大きさ（幅）Ｗ３は、一定の大きさとなる。

本発明における、地上管制装置１２０の表示画面５０１の一実施例を図５に示す。前述の通り、地上管制装置１２０は、通信部１２３を介して映像追尾装置１０２との間で通信を行い、映像追尾装置１０２から送られる映像追尾結果を含む圧縮済の映像情報１５１を伸長・表示する映像表示部１２１と、追尾対象の指定と対処指示を行う対象指定部１２２から構成される。

その他、操縦者の操作を補助するため、映像追尾装置１０２の飛行状態を含む機体情報５０２や、地上監視装置１１０で検知された対象情報５０７の表示、又は映像追尾装置の機体を制御するためのボタン類５１１を配置してもよい。

ここでは、映像追尾装置１０２の機体情報５０２としてＧＰＳの状態や通信電波の状況、緯度経度や高度などの位置情報、速度や対象までの距離等を、対象情報５０７としてメーカーや型式、緯度経度や方位、速度等の位置情報をそれぞれ表示する例を示している。映像追尾装置１０２と、追尾対象の不審無人航空機３０２の位置関係は、地図画面５０８に示すような地図形式で表示することも可能である。

本実施例では、映像表示部１２１により伸長、表示された映像５０３が表示されている。映像５０３内には、追尾対象の不審無人航空機３０２の映像が表示されている。操縦者の操作で映像追尾を開始するときには、一例として、マウスやタッチパネルなどの操作で追尾したい画像上をクリックしたり、領域５０４のように画像上のエリアを矩形状に選択して特定の領域を指定することで行う。映像追尾が開始されると、追尾対象の画像に合わせて矩形状の枠５０５が対象の動きに合わせて表示される。

追尾対象の指定は、映像追尾部１３１の動体検知部２０３や、物体認識部２０４の検知・認識結果を使用することも可能である。動体検知部２０３は、動画中の連続して撮影された画像を比較し、背景画像と異なる動きをする画像領域を抽出する機能を有する。

物体認識部２０４は、予め登録された画像に類似する画像を動画中から探索する機能を有し、近年では、多層ニューラルネットワークを用いた深層学習による画像識別が代表的な技術である。

これらによって抽出された画像は、識別符号を付加された映像とともに地上管制装置１２０へ送信され、動画上の物体画像とともに表示される。なお、物体認識部２０４は、地上管制装置１２０からの追尾対象指示情報１２に含まれる領域や画像に含まれる画像に類似する画像を検出することができる。入力された画像に類似する画像を検出する技術としては、画像の特徴量が所定の範囲内のものを類似として判定するなど、公知又は周知の技術を適用すればよいので、本実施例では詳述しない。

図６は、識別符号とともに表示された地上管制装置１２０の表示画面５０１における映像５０３の一例を示す。本実施例における映像５０３には、映像追尾装置１０２の映像追尾部１３１に含まれる動体検知部２０３により識別された３種の画像６０４、６０５、６０６に矩形の枠が表示され、それぞれ識別符号＃１（６０１）、＃２（６０２）、＃３（６０３）とともに示されている。

識別符号には、物体の識別結果であるクラス情報「Ｐｌａｎｅ」、「Ｍａｎ」、「Ｄｒｏｎｅ」又は番号＃１、＃２、＃３などが使用される。映像追尾部１３１は、識別符号を含む画像を地上管制装置１２０へ送信し、地上管制装置１２０の映像表示部１２１に識別符号を含む画像を表示し、対象指定部１２２で追尾対象の画像の識別符号を指定して追尾対象指示情報１２として映像追尾装置１０２へ送信する。

映像追尾装置１０２では、映像追尾部１３１が追尾対象指示情報１２から識別符号を取得して、動体検知部２０３が付与した識別符号に対応する画像を追尾対象の不審無人航空機として特定する。そして、映像追尾部１３１は特定された画像の位置情報を推定して追尾を行うことができる。

上記により、映像表示部１２１と対象指定部１２２で識別結果の画像をマウスやタッチパネルなどの操作６０７を受け付けて追尾対象に指定したり、識別符号の番号などの抽象的な情報を入力することで追尾対象の指定が可能となり、追尾対象の指定を簡便化することが可能である。

図７は、地上監視装置１１０と、地上管制装置１２０及び映像追尾装置１０２で行われる処理のフローチャートを示す。この処理は、地上監視装置１１０が不審無人航空機を検知した際に実行される。

地上監視装置１１０は、不審無人航空機が発信する電波を監視するアンテナ１１３を有し、電波を受信することで不審無人航空機の飛来を検知する（７０１）。なお、不審無人航空機の検知は、アンテナ１１３が受信した電波に限定されるものではなく、レーダー１１２が検知した物体の情報や、監視カメラ１１１が検知した物体の情報から不審無人航空機の飛来を検知することができる。

地上監視装置１１０は、不審無人航空機を検知すると、その対象情報７１２を地上管制装置１２０へ送信する。対象情報７１２は、不審無人航空機の機種などの種別情報を含むことができる。ただし、この時点では、不審無人航空機の位置は特定できていないこともある。

対象情報７１２を受信した地上管制装置１２０は、図５に示した表示画面５０１の対象情報５０７に種別情報を表示し、不審無人航空機が飛来したことを通知する。その後、地上監視装置１１０は不審無人航空機の位置が取得できると、対象の不審無人航空機の対象位置情報１１を地上管制装置１２０に通知する（７０２）。地上管制装置１２０は対象位置情報１１を受信すると、図５に示した対象情報５０７と、地図画面５０８に対象の不審無人航空機の位置情報を表示し（７０３）、対象位置情報１１を映像追尾装置１０２に送信する。

映像追尾装置１０２は、対象位置情報１１を受信すると不審無人航空機に接近して飛行するため、起動・離陸を行い（７０７）、対象の不審無人航空機への接近飛行を開始する（７０８）。

接近飛行を開始する指令は地上管制装置１２０から映像追尾装置１０２に対して送信される。接近飛行の開始指令は、地上管制装置１２０のオペレータが映像追尾装置１０２に指令することができる。あるいは、地上管制装置１２０は不審無人航空機が所定の距離や領域に接近した場合に接近飛行の開始指令を自動的に送信してもよい。

なお、地上管制装置１２０が接近飛行の開始指令を送信する時点では、対象位置情報１１の距離が不正確な値でもよく、この場合は不審無人航空機が侵入する方位へ向けて映像追尾装置１０２を発進させればよい。例えば、地上管制装置１２０は、映像追尾装置１０２へ送信する対象位置情報１１に飛行する方位のみを含めて接近飛行の開始を指令してもよい。

地上監視装置１１０は、不審無人航空機の位置情報を継続的に取得しており、逐次対象位置情報１１を地上管制装置１２０を経由して映像追尾装置１０２に通知する。これにより、不審無人航空機が移動しても最新の対象位置情報１１に基づいて映像追尾装置１０２を対象の無人航空機に接近して飛行させることができる。

そして、映像追尾装置１０２は、搭載されたカメラ１３９で取得した映像情報１５１を所定のタイミング又は所定の周期で地上管制装置１２０に送信する。地上管制装置１２０は映像追尾装置１０２から受信した映像情報１５１を映像表示部１２１の映像５０３に表示する。

映像追尾装置１０２が対象の不審無人航空機に十分接近し、オペレータが映像表示部１２１の映像上で対象の不審無人航空機が確認できる距離になると、地上管制装置１２０の映像５０３に基づいて図６に示したように、追尾対象を指定して対象を追尾して映像を送信する指令として追尾対象指示情報１２を送信する（７０５）。なお、映像追尾装置１０２が対象の不審無人航空機に接近する距離は、画像内での大きさが予め設定した大きさとなる位置など、所定の条件で設定すればよい。

なお、追尾対象指示情報１２は、追尾対象の不審無人航空機を特定する画像内の領域５０４や識別符号６０１～６０３に対応する領域又はこれらの領域から抽出した画像を含むことができる。

追尾対象指示情報１２は、映像追尾装置１０２へ送信され、追尾対象指示情報１２を受信した映像追尾装置１０２は、地上監視装置１１０によって取得された対象位置情報１１及び映像追尾装置１０２に搭載された空間センサ１３８によって取得された距離情報２１５と、対象の画像の大きさの関係性を示すサイズ・距離関係データ１５３を記憶部１３４に記憶する（７０９）。映像追尾装置１０２は追尾対象指示情報１２で指定された不審無人航空機の追尾と映像の取得（映像追尾）を開始する（７１０）。

以降、映像追尾装置１０２は搭載されたカメラ１３９によって取得される映像情報１４９と、空間センサ１３８によって取得される距離情報２１５を使用して対象の不審無人航空機への接近飛行を行う。そして、映像追尾装置１０２は、地上管制装置１２０から受信した対象位置情報１１を保持しているので、空間センサ１３８による距離情報１４８が安定して取得できない場合においても、記憶部１３４に保持されたサイズ・距離関係データ１５３により対象方向・距離・速度推定部２０６で対象の不審無人航空機までの距離及び方位を推定することができ、高精度に追尾飛行を行うことが可能になる。

さらに、対処の不審無人航空機の撃墜や捕獲などの対処が必要であると判断される場合は、地上管制装置１２０によって対処指示７０６を行い、対処指示情報１３が映像追尾装置１０２に送信され、映像追尾装置１０２は対処指示情報１３に応じて対処部１４１を駆動して指定された対処を行う（７１１）。

なお、図７の例では、地上監視装置１１０が不審無人航空機を検知した後に地上管制装置１２０で対象を指定して映像追尾装置１０２に接近飛行の開始を指令する例を示したがこれに限定されるものではない。例えば、地上監視装置１１０で不審無人航空機を検知していない場合には、地上管制装置１２０で方位を指定して追尾対象指示情報１２を映像追尾装置１０２へ送信し、映像追尾装置１０２を発進させてもよい。

本実施例の無人航空機対処システムは、地上制御装置１０１が映像追尾装置１０２へ送信する対象位置情報１１と、映像追尾装置１０２が映像情報１４９から算出する距離を含む位置情報と、映像追尾装置１０２が空間センサ１３８の距離情報１４８から算出する位置情報（距離情報）のいずれか一つに基づいて飛行制御を行うことができる。

このため、映像追尾装置１０２は、対象位置情報１１と映像情報１４９及び距離情報１４８のうち少なくとも一つがあれば接近飛行を係属することができる。そして、映像追尾装置１０２は、映像情報１４９の不審無人航空機の大きさに基づいて不審無人航空機までの距離を算出することで、高精度で追尾飛行を行うことが可能となる。

次に、図８Ａ、図８Ｂを用いて映像追尾装置１０２で行われるの映像追尾制御のフローチャートについて説明する。この処理は、図７に示したステップ７０７で開始される。以下の説明では、下記のように記号を定義する。

ＤＧ：地上監視装置１１０による対象位置情報１１と、映像追尾装置１０２自身の位置情報から算出される対象（不審無人航空機）までの距離情報
ＤＳ：映像追尾装置１０２に搭載された空間センサ１３８により取得される対象までの距離情報２１５
ＤＤ：予め定義された対象までの距離のデフォルト値
Ｓ：映像追尾装置１０２に搭載されたカメラ１３９で撮影された対象の不審無人航空機の大きさ
ＤＥ：映像追尾装置１０２に搭載されたカメラ１３９で撮影された対象の不審無人航空機の大きさＳから推定した対象までの距離情報
Ｍ：映像追尾装置１０２に搭載されたカメラ１３９で撮影された対象の不審無人航空機の大きさから対象までの距離を推定するための係数

映像追尾制御が開始されると（８０１）、映像追尾装置１０２の映像追尾部１３１は距離と係数の初期化を行う（８０３）。具体的には、映像追尾部１３１は地上監視装置１１０による対象位置情報１１と、映像追尾装置１０２自身の位置情報から算出される対象までの距離ＤＧと、映像追尾装置１０２に搭載された空間センサ１３８により取得される対象までの距離情報２１５（ＤＳ）と、映像追尾装置１０２に搭載されたカメラ１３９で撮影された対象の不審無人航空機の大きさから対象までの距離を推定するための距離係数Ｍをクリアする。

次に、ステップ８０４では、映像追尾部１３１が地上管制装置１２０から追尾対象指示情報１２を受信したか否かを判定し、受信していればステップ８０９に進み、受信していなければステップ８０５に進む。

すなわち、映像追尾部１３１が地上監視装置１１０から対象位置情報１１を一度も受信していない状態で地上管制装置１２０からの追尾対象指示情報１２を受信した場合（８０４の判定がＹ）は、地上制御装置１０１からの対象位置情報１１を受け取っていない状態で映像追尾を開始するケースとしてステップ８０９に進んで追尾を開始する。

地上監視装置１１０から対象位置情報１１を受信した場合、映像追尾部１３１は対象位置情報１１と映像追尾装置１０２自身の位置情報から算出される対象までの距離ＤＧを記憶し、地上監視装置１１０の対象位置情報１１に基づき飛行する（８０６）。すなわち、映像追尾部１３１は対象位置情報１１に向けて飛行するように機体制御コマンド１５６を生成して機体制御装置１３５に指令する。

なお、映像追尾部１３１は、カメラ１３９の画像に不審無人航空機が含まれている場合には、画像内の不審無人航空機の位置と大きさと対象位置情報１１の関係をサイズ・距離関係データ１５３に記録しておくことができる。あるいは、対象位置情報１１の変化量と、画像内の不審無人航空機の位置と大きさの変化の関係をサイズ・距離関係データ１５３として記録しておくことができる。また、映像追尾部１３１は、空間センサ１３８からの距離情報１４８が取得できる場合には、画像内の不審無人航空機の位置と大きさと距離情報１４８の関係をサイズ・距離関係データ１５３に記録しておくことができる。

次に、ステップ８０７では、映像追尾部１３１が地上管制装置１２０から追尾対象指示情報１２を受信したか否かを判定し、受信していればステップ８１５に進み、受信していなければステップ８０８に進む。ステップ８０８では、映像追尾部１３１は地上制御装置１０１から対象位置情報１１を受信したか否かを判定し、受信していればステップ８０６に戻り、受信していなければステップ８０３に戻って上記処理を繰り返す。

すなわち、映像追尾部１３１は、地上管制装置１２０からの追尾対象指示情報１２を受信した場合は地上制御装置１０１からの誘導指示（対象位置情報１１）により、直前に対象までの距離を受け取っているケース（８１５）として映像追尾を継続する。

映像追尾部１３１は、映像追尾指示を開始していない状態で地上制御装置１０１からの対象位置情報１１を受信しなくなった場合、又は地上制御装置１０１による誘導が終了した場合、映像追尾の初期状態（８０３）に戻る。

映像追尾部１３１が、地上制御装置１０１から対象位置情報１１を受け取っていない状態で映像追尾を開始するケース（ステップ８０９）では、追尾対象指示情報１２から画像内の指定領域を取得する。そして、映像追尾部１３１は、映像情報１４９から指定領域に対応する画像を抽出（領域抽出グラフカット）し、対象（指定領域）の一辺又は対角の画素数Ｓを算出する（８０９）。

なお、追尾対象指示情報１２は、上述したように、対象の不審無人航空機の画像が存在する画像上の領域の座標や、動体検知や物体認識によって抽出された物体の番号に対応付けられた領域で指定されているものとする。

次に、映像追尾部１３１は、映像追尾装置１０２に搭載された空間センサ１３８によって取得される対象までの距離情報２１５（ＤＳ）が存在するか否かを判定する（８１０）。距離情報２１５（ＤＳ）が存在する場合にはステップ８２２（図８Ｂ）へ進み、存在しない場合にはステップ８１１に進む。

図８Ｂのステップ８２２では、追尾中の不審無人航空機までの距離情報（ＤＳ）が取得できているケースとして映像追尾を継続する。一方、ステップ８１１では対象位置情報１１と距離情報（ＤＳ）が取得されていない場合で、予め定めたデフォルトの距離情報ＤＤとカメラ１３９で撮影された対象の不審無人航空機の方向に基づいて機体制御コマンド１５６を生成し、映像追尾を行う。

なお、映像追尾部１３１は、地上管制装置１２０からの対象位置情報１１と、撮影した画像内の不審無人航空機の位置、大きさの関係性をサイズ・距離関係データ１５３に記録しておき、地上管制装置１２０からの対象位置情報１１が取得できなくなった場合には、サイズ・距離関係データ１５３を用いて画像から方向と距離を推定して飛行させることができる。

ステップ８１２では、映像追尾部１３１が、不審無人航空機への追尾を継続して映像のトラッキングにより、上記ステップ８０９と同様に指定領域の画像サイズの画素数Ｓを取得して更新する。

次に、ステップ８１３では、映像追尾部１３１が映像トラッキングを継続するか否かを判定し、継続する場合にはステップ８１４へ進み、継続しない場合にはステップ８１１に戻って上記処理を繰り返す。

ステップ８１４では、映像追尾部１３１が空間センサ１３８からの距離情報１４８に基づく距離情報２１５（ＤＳ）を取得できているか否かを判定し、取得できている場合にはステップ８２２（図８Ｂ）へ進み、取得できていない場合にはステップ８１１に戻って上記処理を繰り返す。

映像追尾部１３１は、映像トラッキングを継続する場合、デフォルトの距離情報ＤＤに基づく映像追尾を継続するが、映像追尾装置１０２に搭載された空間センサ１３８により取得される対象までの距離情報２１５（ＤＳ）が取得できていればステップ８２２以降の映像追尾に移行する。対象の不審無人航空機がカメラ１３９の画像から外れるなど、映像トラッキングが継続できない場合は、映像追尾の初期状態であるステップ８０３に戻って上記処理を繰り返す。

地上制御装置１０１からの誘導指示（対象位置情報１１）により、映像追尾部１３１が対象までの距離情報を受け取っているケース（ステップ８１５）では、上記ステップ８０９と同様にして指定領域を領域抽出グラフカットし、対象の一辺又は対角の画素数Ｓを算出する。

次に、ステップ８１６では、映像追尾部１３１が空間センサ１３８からの距離情報２１５（ＤＳ）が取得できているか否かを判定し、取得できている場合にはステップ８２２（図８Ｂ）ヘ進み、取得できていない場合にはステップ８１７に進む、

映像追尾部１３１は、映像追尾装置１０２に搭載された空間センサ１３８により取得される対象までの距離情報２１５（ＤＳ）が取得できている場合、追尾中の対象の距離情報２１５（ＤＳ）が取得できているケース（ステップ８２２）として映像追尾を継続する。

一方、距離情報２１５（ＤＳ）が取得できていない場合は、ステップ８１７以降で、地上制御装置１０１から送信された距離ＤＧ（対象位置情報１１）に基づく映像追尾を行う。ステップ８１７では、映像追尾部１３１が画素数Ｓと距離ＤＧ（対象位置情報１１）により距離係数Ｍを導出する。なお、距離係数Ｍはカメラ１３９の特性又は性能に応じて予め設定された関数などから算出することができる。

次に、ステップ８１８では映像追尾部１３１が映像トラッキングにより得られた画素数Ｓを取得し、画素数Ｓを更新する。

次に、ステップ８１９では、映像追尾部１３１が不審無人航空機の映像トラッキングを継続するか否かを判定し、継続する場合にはステップ８２０へ進み、継続しない場合にはステップ８０３の初期状態に戻る。

ステップ８２０では、映像追尾部１３１が空間センサ１３８からの距離情報１４８に基づく距離情報２１５（ＤＳ）が取得できているか否かを判定し、取得できている場合にはステップ８２２（図８Ｂ）へ進み、取得できていない場合にはステップ８２１に進む。

ステップ８２１では、映像追尾部１３１が画素数Ｓと距離係数Ｍから推定した対象までの距離情報ＤＥで映像追尾を行う。すなわち、映像追尾部１３１は、画素数Ｓと距離係数Ｍから推定した距離情報ＤＥと画像から算出した方向に基づいて不審無人航空機を追尾するように機体制御コマンド１５６を生成して機体制御装置１３５に指令する。

その後ステップ８１７へ戻って上記処理を繰り返す。ステップ８２１の場合は、映像追尾部１３１が空間センサ１３８からの距離情報１４８が取得できない場合であり、カメラ１３９で撮影された対象の不審無人航空機の大きさＳから推定した対象までの距離情報ＤＥで映像追尾を実行する。

図８Ｂのステップ８２２以降の処理は、映像追尾部１３１が追尾中の対象の距離情報２１５（ＤＳ）が取得できているケースである。

ステップ８２２では、映像追尾部１３１が映像情報１４９から取得した指定領域の画素数Ｓと、空間センサ１３８によって取得された対象までの距離情報２１５（ＤＳ）により距離係数Ｍを導出する。

ステップ８２３では、映像追尾部１３１が、映像トラッキングにより得られた画像の画素数Ｓを取得して更新する。次に、ステップ８２４では、映像追尾部１３１が映像トラッキングを継続するか否かを判定し、継続する場合にはステップ８２５へ進み、継続しない場合は、対象の不審無人航空機がカメラの画像から外れるなど、映像追尾部１３１が映像トラッキングを継続できない場合なので、映像追尾の初期状態のステップ８０３に戻る。

ステップ８２５では、映像追尾部１３１が、画素数Ｓと距離係数Ｍから計算される距離情報ＤＥに基づいて飛行制御を行う。すなわち、映像追尾部１３１は、画素数Ｓと距離係数Ｍから推定した距離情報ＤＥと画像から算出した方向に基づいて不審無人航空機を追尾するように機体制御コマンド１５６を生成して機体制御装置１３５に指令する。

映像追尾部１３１は、ステップ８２５の処理の後、ステップ８２２へ戻って上記処理を繰り返す。空間センサ１３８からの距離情報１４８（距離情報２１５：ＤＳ）が取得できている場合には、距離情報２１５（ＤＳ）と画素数Ｓから算出した距離係数Ｍと、不審無人航空機の大きさ（画素数Ｓ）から推定した対象までの距離情報ＤＥで飛行制御を行うことで、精度の高い映像追尾を行うことができる。

上記処理によって、ミッションコントローラ１３０の映像追尾部１３１は、現在取得できている追尾対象の不審無人航空機までの距離情報の種類に応じて、映像追尾の飛行制御に用いるパラメータである距離係数Ｍの算出方法切り替えることで不審無人航空機に対する追尾飛行を高精度で行うことが可能となる。

すなわち、映像追尾部１３１は、地上管制装置１２０（地上制御装置１０１）から対象位置情報１１を受信できず、かつ空間センサ１３８が不審無人航空機を検知していない場合では、図８Ａのステップ８０９～８１１のように予め設定された距離のデフォルト値（ＤＤ）に基づいて飛行制御を行う。

そして、映像追尾装置１０２は、地上管制装置１２０から対象位置情報１１を受信し、空間センサ１３８が不審無人航空機を検知していない場合では、図８Ａのステップ８１５～８２１のように対象位置情報１１と映像追尾装置１０２の位置に基づく距離ＤＧと、不審無人航空機の画素数Ｓから距離係数Ｍを算出する。そして、映像追尾装置１０２は、画素数Ｓと距離係数Ｍから不審無人航空機の大きさ（画素数Ｓ）に応じて推定した対象までの距離情報ＤＥを算出して飛行制御を行う。

さらに、映像追尾装置１０２は、空間センサ１３８が不審無人航空機を検知して距離情報２１５（ＤＳ）が取得できると、図８Ｂのステップ８２２～８２５のように、空間センサ１３８からの距離情報２１５（ＤＳ）と、不審無人航空機の画素数Ｓから距離係数Ｍを算出する。そして、映像追尾装置１０２は、画素数Ｓと距離係数Ｍから不審無人航空機の大きさ（画素数Ｓ）に応じて推定した対象までの距離情報ＤＥを算出して飛行制御を行う。

このように、映像追尾装置１０２は、カメラ１３９が撮影した画像から不審無人航空機の大きさ（画素数Ｓ）を算出し、画素数Ｓと距離係数Ｍから不審無人航空機までの距離を推定する際に、距離係数Ｍの算出を地上管制装置１２０からの対象位置情報１１と、空間センサ１３８からの距離情報２１５のいずれかを用いることで、不審無人航空機に対する追尾飛行を高精度で行うことが可能となる。

映像追尾装置１０２は、不審無人航空機の映像情報１４９から不審無人航空機の大きさを画素数Ｓとして検出し、画素数Ｓと距離係数Ｍから映像追尾装置１０２が認識した不審無人航空機の大きさに応じて距離を推定することが可能となる。

また、映像追尾装置１０２は、空間センサ１３８からの距離情報２１５（ＤＳ）が取得できる場合には、画素数Ｓと距離情報２１５（ＤＳ）から距離係数Ｍを算出することで、距離の推定精度を向上させることができる。

そして、映像追尾装置１０２は、空間センサ１３８からの距離情報２１５（ＤＳ）が取得できない場合には、地上管制装置１２０からの対象位置情報１１に基づく距離ＤＧと画素数Ｓから距離係数Ｍを算出することで、不審無人航空機がカメラ１３９の画像から逸脱した場合でも不審無人航空機までの距離を推定することが可能となって映像追尾を継続することができる。

また、映像追尾装置１０２は、空間センサ１３８からの距離情報２１５（ＤＳ）が取得できる場合には、画像内の不審無人航空機の位置と大きさと空間センサ１３８からの距離情報２１５（ＤＳ）の関係をサイズ・距離関係データ１５３に記録しておき、空間センサ１３８から距離情報２１５を取得できない場合には、サイズ・距離関係データ１５３を用いて画像内の不審無人航空機の位置と大きさから不審無人航空機までの距離を推定して不審無人航空機の位置（第２の位置情報）を推定することができる。

＜結び＞
以上のように、上記実施例の無人航空機対処システムは次のような構成とすることができる。

（１）撮影装置（カメラ１３９）を有して飛行する映像追尾装置（１０２）と、無人航空機（３０２）を検出して前記映像追尾装置（１０２）を制御する地上制御装置（１０１）とを有する無人航空機対処システムであって、前記地上制御装置（１０１）は、飛来する前記無人航空機（３０２）の位置情報を第１の位置情報（対象位置情報１１）として取得する監視部（地上監視装置１１０）と、前記監視部（１１０）が取得した第１の位置情報（１１）を前記映像追尾装置（１０２）へ送信して前記無人航空機（３０２）の追尾を指令する地上管制部（地上管制装置１２０）と、を有し、前記地上管制部（１２０）は、追尾対象の前記無人航空機（３０２）を指定する追尾指定情報（追尾対象指定情報１２）を出力する対象指定部（１２２）と、前記映像追尾装置（１０２）と無線通信を行って前記第１の位置情報（１１）又は前記追尾指定情報（１２）を送信し、前記映像追尾装置（１０２）から映像情報を受信する通信部（１２３）と、前記映像追尾装置（１０２）から受信した映像情報（１５１）を表示する表示部（映像表示部１２１）と、を有し、前記映像追尾装置（１０２）は、前記地上管制部（１２０）と通信を行う通信部（１３３）と、当該映像追尾装置（１０２）の機体の制御を行う機体制御部（機体制御装置１３５）と、前記無人航空機（３０２）までの距離を検出する機上センサ（空間センサ１３８）と、前記撮影装置（１３９）が取得した映像情報（１５１）を前記地上管制部（１２０）へ送信し、前記地上管制部（１２０）から受信した前記第１の位置情報（１１）又は前記機上センサ（１３８）からの距離（１４８）に基づいて前記無人航空機（３０２）を追尾する機体制御コマンド（１５６）を生成して前記機体制御部（１３５）に指令する映像追尾部（１３１）と、を有し、前記映像追尾部（１３１）は、前記地上管制部（１２０）から受信した前記追尾指定情報（１２）に含まれる前記無人航空機（３０２）の画像が前記撮影装置（１３９）の画像に含まれる場合には前記画像内の無人航空機（３０２）の位置と大きさから当該無人航空機（３０２）の方向と距離を算出して、前記距離と前記方向に基づいて前記無人航空機（３０２）の第２の位置情報を算出して前記無人航空機（３０２）を追尾する機体制御コマンド（１５６）を生成し、前記画像が取得できない場合には前記第１の位置情報（１１）から前記無人航空機（３０２）を追尾する機体制御コマンド（１５６）を生成し、前記生成された機体制御コマンド（１５６）を前記機体制御部（１３５）に指令することを特徴とする無人航空機（３０２）対処システム。

上記構成により、映像追尾装置１０２は、対象位置情報１１が受信できない場合でも映像追尾装置１０２に搭載された撮影装置（カメラ１３９）によって撮影された対象の無人航空機の画像情報から対象までの距離を推定することにより高精度で追尾飛行を行うことが可能となる。

（２）上記（１）に記載の無人航空機対処システムであって、前記映像追尾部（１３１）は、前記地上管制部（１２０）から受信した前記第１の位置情報（１１）と前記画像内の無人航空機（３０２）の位置と大きさの関係をサイズ距離関係データ（サイズ・距離関係データ１５３）として保持し、前記第１の位置情報（１１）を取得できない場合には前記サイズ距離関係データ（１５３）を用いて前記画像内の無人航空機（３０２）の位置と大きさから前記第２の位置情報を推定して機体制御コマンド（１５６）を生成することを特徴とする無人航空機対処システム。

上記構成により、映像追尾装置１０２は、カメラ１３９によって撮影された対象の無人航空機の画像の位置と大きさから無人航空機（３０２）の位置情報（第２の位置情報）を推定することが可能となって、追尾飛行の精度を向上させることができる。

（３）上記（１）に記載の無人航空機対処システムであって、前記映像追尾部（１３１）は、前記機上センサ（１３８）が検出した前記無人航空機（３０２）までの距離（１４８）と前記画像内の無人航空機（３０２）の位置と大きさの関係をサイズ距離関係データ（１５３）として保持し、前記機上センサ（１３８）から距離を取得できない場合には前記サイズ距離関係データ（１５３）を用いて前記画像内の無人航空機（３０２）の位置と大きさから前記第２の位置情報を推定して機体制御コマンド（１５６）を生成することを特徴とする無人航空機対処システム。

上記構成により、映像追尾装置１０２は、空間センサ１３８からの距離情報１４８が取得できない場合は、画像内の無人航空機の位置と大きさから無人航空機の位置（第２の位置情報）を推定することが可能となり、空間センサ１３８が距離を測定できない場合でも高精度で追尾飛行を行うことができる。

（４）上記（１）に記載の無人航空機対処システムであって、前記対象指定部（１２２）は、前記表示部（１２１）で表示された映像情報から追尾対象の画像又は追尾対象の画像の領域を追尾指定情報（１２）として出力し、前記映像追尾部（１３１）は、前記地上管制部（１２０）から前記追尾指定情報（１２）を受信して、前記追尾指定情報（１２）から取得した追尾対象の画像又は追尾対象の領域の画像に類似した画像を、前記撮影装置（１３９）から取得した画像内で探索し、探索された画像内の位置と大きさに基づいて第２の位置情報を推定して機体制御コマンド（１５６）を生成することを特徴とする無人航空機対処システム。

上記構成により、映像追尾装置１０２は、地上管制装置１２０の対象指定部１２２で指定された追尾対象の画像又は追尾対象の領域の画像に類似した画像を、カメラ１３９の画像内で探索して追尾することが可能となる。

（５）上記（１）に記載の無人航空機対処システムであって、前記映像追尾部（１３１）は、前記撮影装置（１３９）の画像から予め登録された画像に類似する画像を検出し、当該画像に識別符号を付加して前記映像情報に含めて前記地上管制部（１２０）へ送信し、前記地上管制部（１２０）の対象指定部は、前記映像追尾部（１３１）から受信した映像情報に含まれる画像の識別符号の中から追尾対象の識別符号を指定して追尾指定情報（１２）として映像追尾装置（１０２）へ送信し、前記映像追尾部（１３１）は、前記地上管制部（１２０）から受信した前記追尾指定情報（１２）の識別符号を取得して、当該識別符号に対応する画像を追尾対象として特定し、当該画像の位置と大きさに基づいて第２の位置情報を推定して機体制御コマンド（１５６）を生成することを特徴とする無人航空機対処システム。

上記構成により、地上管制装置１２０では、識別符号を付与された画像を映像表示部１２１に表示して対象指定部１２２で識別符号を指定し、映像追尾装置１０２は指定された識別符号の画像に対応する対象を追尾することができる。これにより、複数の無人航空機が画像内に存在する場合、指定された無人航空機の追尾を実現することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に記載したものであり、必ずしも説明した全ての構成を含むものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除、又は置換のいずれもが、単独で、又は組み合わせても適用可能である。

また、上記の各構成、部、処理部、及び処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、及び部等は、プロセッサがそれぞれの部を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各部を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０１ 地上制御装置
１０２ 映像追尾装置
１０３ ネットワーク
１１０ 地上監視装置
１１１ 監視カメラ
１１２ レーダー
１１３ アンテナ
１１４ 対象位置検知・表示部
１２０ 地上管制装置
１２１ 映像表示部
１２２ 対象指定部
１３０ ミッションコントローラ
１３１ 映像追尾部
１３５ 機体制御装置
１３８ 空間センサ
１３９ カメラ
１４０ ＧＰＳ・ＩＭＵ
１４１ 対処部
１４２ 動力飛行部

Claims (10)

1. 撮影装置を有して飛行する映像追尾装置と、無人航空機を検出して前記映像追尾装置を制御する地上制御装置とを有する無人航空機対処システムであって、
   前記地上制御装置は、
   飛来する前記無人航空機の位置情報を第１の位置情報として取得する監視部と、
   前記監視部が取得した第１の位置情報を前記映像追尾装置へ送信して前記無人航空機の追尾を指令する地上管制部と、を有し、
   前記地上管制部は、
   追尾対象の前記無人航空機を指定する追尾指定情報を出力する対象指定部と、
   前記映像追尾装置と無線通信を行って前記第１の位置情報又は前記追尾指定情報を送信し、前記映像追尾装置から映像情報を受信する通信部と、
   前記映像追尾装置から受信した映像情報を表示する表示部と、を有し、
   前記映像追尾装置は、
   前記地上管制部と通信を行う通信部と、
   当該映像追尾装置の機体の制御を行う機体制御部と、
   前記無人航空機までの距離を検出する機上センサと、
   前記撮影装置が取得した映像情報を前記地上管制部へ送信し、前記地上管制部から受信した前記第１の位置情報又は前記機上センサからの距離に基づいて前記無人航空機を追尾する機体制御コマンドを生成して前記機体制御部に指令する映像追尾部と、を有し、
   前記映像追尾部は、
   前記地上管制部から受信した前記追尾指定情報に含まれる前記無人航空機の画像が前記撮影装置の画像に含まれる場合には前記画像内の無人航空機の位置と大きさから当該無人航空機の方向と距離を算出して、前記距離と前記方向に基づいて前記無人航空機の第２の位置情報を算出して前記無人航空機を追尾する機体制御コマンドを生成し、前記画像が取得できない場合には前記第１の位置情報から前記無人航空機を追尾する機体制御コマンドを生成し、前記生成された機体制御コマンドを前記機体制御部に指令することを特徴とする無人航空機対処システム。
2. 請求項１に記載の無人航空機対処システムであって、
   前記映像追尾部は、
   前記地上管制部から受信した前記第１の位置情報と前記画像内の無人航空機の位置と大きさの関係をサイズ距離関係データとして保持し、前記第１の位置情報を取得できない場合には前記サイズ距離関係データを用いて前記画像内の無人航空機の位置と大きさから前記第２の位置情報を推定して機体制御コマンドを生成することを特徴とする無人航空機対処システム。
3. 請求項１に記載の無人航空機対処システムであって、
   前記映像追尾部は、
   前記機上センサが検出した前記無人航空機までの距離と前記画像内の無人航空機の位置と大きさの関係をサイズ距離関係データとして保持し、前記機上センサから距離を取得できない場合には前記サイズ距離関係データを用いて前記画像内の無人航空機の位置と大きさから前記第２の位置情報を推定して機体制御コマンドを生成することを特徴とする無人航空機対処システム。
4. 請求項１に記載の無人航空機対処システムであって、
   前記対象指定部は、
   前記表示部で表示された映像情報から追尾対象の画像又は追尾対象の画像の領域を追尾指定情報として出力し、
   前記映像追尾部は、
   前記地上管制部から前記追尾指定情報を受信して、前記追尾指定情報から取得した追尾対象の画像又は追尾対象の領域の画像に類似した画像を、前記撮影装置から取得した画像内で探索し、探索された画像内の位置と大きさに基づいて第２の位置情報を推定して機体制御コマンドを生成することを特徴とする無人航空機対処システム。
5. 請求項１に記載の無人航空機対処システムであって、
   前記映像追尾部は、
   前記撮影装置の画像から予め登録された画像に類似する画像を検出し、当該画像に識別符号を付加して前記映像情報に含めて前記地上管制部へ送信し、
   前記地上管制部の対象指定部は、
   前記映像追尾部から受信した映像情報に含まれる画像の識別符号の中から追尾対象の識別符号を指定して追尾指定情報として映像追尾装置へ送信し、
   前記映像追尾部は、
   前記地上管制部から受信した前記追尾指定情報の識別符号を取得して、当該識別符号に対応する画像を追尾対象として特定し、当該画像の位置と大きさに基づいて第２の位置情報を推定して機体制御コマンドを生成することを特徴とする無人航空機対処システム。
6. 撮影装置を有して飛行する映像追尾装置であって、
   通信を行う通信部と、
   当該映像追尾装置の機体の制御を行う機体制御部と、
   無人航空機までの距離を検出する機上センサと、
   前記撮影装置が取得した映像情報を送信し、無人航空機の位置を示す第１の位置情報を受信し、前記第１の位置情報又は前記機上センサからの距離に基づいて前記無人航空機を追尾する機体制御コマンドを生成して前記機体制御部に指令する映像追尾部と、を有し、
   前記映像追尾部は、
   受信した追尾指定情報に含まれる前記無人航空機の画像が、前記撮影装置の画像に含まれる場合には前記画像内の無人航空機の位置と大きさから当該無人航空機の方向と距離を算出して、前記距離と前記方向に基づいて前記無人航空機の第２の位置情報を算出して前記無人航空機を追尾する機体制御コマンドを生成し、前記画像が取得できない場合には前記第１の位置情報から前記無人航空機を追尾する機体制御コマンドを生成し、前記生成された機体制御コマンドを前記機体制御部に指令することを特徴とする映像追尾装置。
7. 請求項６に記載の映像追尾装置であって、
   前記映像追尾部は、
   前記第１の位置情報と前記画像内の無人航空機の位置と大きさの関係をサイズ距離関係データとして保持し、前記第１の位置情報を取得できない場合には前記サイズ距離関係データを用いて前記画像内の無人航空機の位置と大きさから前記第２の位置情報を推定して機体制御コマンドを生成することを特徴とする映像追尾装置。
8. 請求項６に記載の映像追尾装置であって、
   前記映像追尾部は、
   前記機上センサが検出した前記無人航空機までの距離と前記画像内の無人航空機の位置と大きさの関係をサイズ距離関係データとして保持し、前記機上センサから距離を取得できない場合には前記サイズ距離関係データを用いて前記画像内の無人航空機の位置と大きさから前記第２の位置情報を推定して機体制御コマンドを生成することを特徴とする映像追尾装置。
9. 請求項６に記載の映像追尾装置であって、
   前記映像追尾部は、
   追尾対象の画像又は追尾対象の画像の領域を含む追尾指定情報を受信して、前記追尾指定情報から取得した追尾対象の画像又は追尾対象の領域の画像に類似した画像を、前記撮影装置から取得した画像内で探索し、探索された画像内の位置と大きさに基づいて第２の位置情報を推定して機体制御コマンドを生成することを特徴とする映像追尾装置。
10. 請求項６に記載の映像追尾装置であって、
    前記映像追尾部は、
    前記撮影装置の画像から予め登録された画像に類似する画像を検出し、当該画像に識別符号を付加して前記映像情報に含めて送信し、
    追尾対象の識別符号が指定された追尾指定情報を受信し、当該追尾指定情報から識別符号を取得して、当該識別符号に対応する画像を追尾対象として特定し、当該画像の位置と大きさに基づいて第２の位置情報を推定して機体制御コマンドを生成することを特徴とする映像追尾装置。

Images