JP7399226B1 - 管制支援装置、管制支援方法及び管制支援プログラム - Google Patents

Abstract

【課題】管制施設において、映像データが得られなくなった場合にも、管制業務を継続可能にする管制支援装置、管制支援方法及び管制支援プログラムを提供する。【解決手段】管制支援システムの管制支援装置において、外界画像生成部２２は、映像データを取得するカメラの撮影領域の背景画像データである外界画像３１を生成する。航空機画像生成部２３は、撮影領域に存在する航空機を表す画像データである航空機画像３２を生成する。表示制御部２５は、外界画像３１に、航空機画像３２を重畳させた疑似映像を表示する。【選択図】図２

Description

本開示は、映像により管制を支援する技術に関する。

小規模な空港等の管制を遠隔地から行うリモートタワーと呼ばれるシステムがある。リモートタワーは、管制対象の空港に設置されたカメラで滑走路周辺を撮影して得られた映像データにより、管制塔から見える景色を再現する。遠隔地にあるリモート管制施設では、映像データにより再現された景色を目視して、管制を行う。また、リモート管制施設だけでなく、従来の管制官が目視により管制を行う管制施設においても、航空機が建物の裏側等に隠れてしまう場合や視界不良時に映像データにより管制を行う場合がある。

特許文献１には、管制対象の航空機が行き交う場所を撮影した撮影画像をもとに、表示画像を生成して表示することが記載されている。

特開２０１９－０２２１７８号公報

カメラが故障した場合、又は、映像データの伝送回線がダウンした場合には、管制施設に映像データが提供されなくなる。そのため、管制施設では、再現された景色を目視できなくなる。管制業務は目視による確認が基本である。そのため、景色を目視できなくなると管制業務の継続が困難になる。
本開示は、管制施設において、映像データが得られなくなった場合にも、管制業務を継続可能にすることを目的とする。

本開示に係る管制支援装置は、
映像データを取得するカメラの撮影領域の背景画像データである外界画像を生成する外界画像生成部と、
前記撮影領域に存在する航空機を表す画像データである航空機画像を生成する航空機画像生成部と、
前記外界画像生成部によって生成された前記外界画像に、前記航空機画像生成部によって生成された前記航空機画像を重畳させた疑似映像を表示する表示制御部と
を備える。

本開示では、外界画像に航空機画像を重畳させた疑似映像を表示する。これにより、映像データが得られなくなった場合にも、疑似映像を参照することにより管制業務が継続可能になる。

実施の形態１に係る管制支援システム１００の構成図。 実施の形態１に係る管制支援装置１０の構成図。 実施の形態１に係る管制支援装置１０の処理概要の説明図。 実施の形態１に係るカメラ４２に対応する範囲４２１の説明図。 実施の形態１に係る管制支援装置１０の全体的な処理のフローチャート。 実施の形態１に係る疑似映像判定処理のフローチャート。 実施の形態１に係る外界画像生成処理のフローチャート。 実施の形態１に係る外界画像３１の説明図。 実施の形態１に係る表示制御処理のフローチャート。 実施の形態１に係る航空機画像生成処理のフローチャート。 実施の形態１に係る航空機画像３２の説明図。 実施の形態１に係るタグ情報生成処理のフローチャート。 実施の形態１に係る表示制御処理のフローチャート。 変形例４に係る管制支援装置１０の構成図。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る管制支援システム１００の構成を説明する。
管制支援システム１００は、管制支援装置１０と、表示装置４１と、１台以上のカメラ４２と、１台以上のセンサ４３とを備える。管制支援装置１０及び表示装置４１は、リモート管制施設５１に設置される。各カメラ４２及び各センサ４３は、管制対象の空港５２に設置される。

図２を参照して、実施の形態１に係る管制支援装置１０の構成を説明する。
管制支援装置１０は、コンピュータである。
管制支援装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

プロセッサ１１は、プロセッシングを行うＩＣである。ＩＣはＩｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。プロセッサ１１は、具体例としては、ＣＰＵ、ＤＳＰ、ＧＰＵである。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略である。ＧＰＵは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。

メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ、ＤＲＡＭである。ＳＲＡＭは、Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。ＤＲＡＭは、Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。

ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤである。ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。また、ストレージ１３は、ＳＤ（登録商標）メモリカード、ＣｏｍｐａｃｔＦｌａｓｈ（登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤといった可搬記録媒体であってもよい。ＳＤは、Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌの略である。ＤＶＤは、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋの略である。

通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＨＤＭＩ（登録商標）のポートである。ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。ＨＤＭＩは、Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅの略である。

管制支援装置１０は、機能構成要素として、疑似映像判定部２１と、外界画像生成部２２と、航空機画像生成部２３と、タグ情報生成部２４と、表示制御部２５と、カメラ映像取得部２６と、空港情報取得部２７と、センサ情報取得部２８と、航空機情報取得部２９と、位置変換部３０とを備える。管制支援装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、管制支援装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、管制支援装置１０の各機能構成要素の機能が実現される。

ストレージ１３には、複数の外界画像３１と、複数の航空機画像３２とが記憶されている。外界画像３１は、カメラの撮影領域の背景画像データである。航空機画像３２は、航空機を表す画像データである。外界画像３１及び航空機画像３２は、具体例としては、コンピュータグラフィックスデータである。

図２では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。

＊＊＊動作の説明＊＊＊
図３から図１３を参照して、実施の形態１に係る管制支援装置１０の動作を説明する。
実施の形態１に係る管制支援装置１０の動作手順は、実施の形態１に係る管制支援方法に相当する。また、実施の形態１に係る管制支援装置１０の動作を実現するプログラムは、実施の形態１に係る管制支援プログラムに相当する。

図３を参照して、実施の形態１に係る管制支援装置１０の処理概要を説明する。
実施の形態１では、管制支援システム１００は、複数のカメラ４２を備えるとする。図３では、４台のカメラ４２が備えられた例が示されている。各カメラ４２には、対応する範囲４２１が設定される。
全てのカメラ４２から映像データ３３が取得されたとする。この場合には、図３の（Ａ）に示すように、各カメラ４２から取得された映像データ３３が表示される。
一部のカメラ４２から映像データ３３が取得されなかったとする。この場合には、図３の（Ｂ）に示すように、未取得範囲６１について疑似映像７１が生成される。未取得範囲６１は、映像データ３３が取得されなかったカメラ４２に対応する範囲４２１である。そして、未取得範囲６１については疑似映像７１が表示される。また、取得範囲６２については、映像データ３３が表示される。取得範囲６２は、映像データ３３が取得されたカメラ４２に対応する範囲４２１である。
なお、全てのカメラ４２から映像データ３３が取得されない場合には、全てのカメラ４２に対応する範囲４２１について疑似映像７１が表示される。

図４に示すように、複数のカメラ４２は撮影領域の一部が重なるように設置され、カメラ４２に対応する範囲４２１は、カメラ４２の撮影領域の一部である。

図５を参照して、実施の形態１に係る管制支援装置１０の全体的な処理を説明する。
（ステップＳ１：疑似映像判定処理）
疑似映像判定部２１は、全てのカメラ４２から映像データ３３が取得されたか否かを判定する。
少なくともいずれかのカメラ４２から映像データ３３が取得されなかった場合には、処理がステップＳ２に進められる。一方、全てのカメラ４２から映像データ３３が取得された場合には、処理がステップＳ３に進められる。

（ステップＳ２：外界画像生成処理）
外界画像生成部２２は、映像データ３３が取得されなかったカメラ４２の撮影領域に対応する外界画像３１を生成する。

（ステップＳ３：パノラマ映像生成処理）
表示制御部２５は、ステップＳ１で取得された映像データ３３とステップＳ２で生成された外界画像３１とを合成して、パノラマ映像を生成する。なお、全てのカメラ４２から映像データ３３が取得された場合には、表示制御部２５は、映像データ３３のみを合成して、パノラマ映像を生成する。また、全てのカメラ４２から映像データ３３が取得されない場合には、表示制御部２５は、外界画像３１のみを合成して、パノラマ映像を生成する。

（ステップＳ４：航空機画像生成処理）
航空機画像生成部２３は、未取得範囲６１にいる１台以上の航空機それぞれについての航空機画像３２を生成する。

（ステップＳ５：タグ情報生成処理）
タグ情報生成部２４は、各カメラ４２に対応する範囲にいる１台以上の航空機それぞれについてのタグ情報３４を生成する。

（ステップＳ６：表示制御処理）
表示制御部２５は、ステップＳ３で生成されたパノラマ映像に、ステップＳ４で生成された航空機画像３２を重畳させた疑似映像７１を生成する。表示制御部２５は、疑似映像７１に、ステップＳ５で生成されたタグ情報３４を重畳させて表示装置４１に表示する。

図６を参照して、実施の形態１に係る疑似映像判定処理（図５のステップＳ１）を説明する。
複数のカメラ４２それぞれを対象のカメラ４２として、ステップＳ１１からステップＳ１４の処理が実行される。

（ステップＳ１１：カメラ映像取得処理）
カメラ映像取得部２６は、対象のカメラ４２から映像データ３３の取得を試みる。

（ステップＳ１２：取得判定処理）
疑似映像判定部２１は、ステップＳ１１で対象のカメラ４２から映像データ３３が取得されたか否かを判定する。例えば、映像データ３３がパケットとして送られる場合には、対象のカメラ４２のアドレスを送信元とする映像データ３３のパケットを受信したか否かにより、疑似映像判定部２１は映像データ３３を取得したかどうかを判定する。疑似映像判定部２１は、あらかじめ対象のカメラ４２のアドレスを保持しているものとする。
疑似映像判定部２１は、映像データ３３が取得された場合には、処理をステップＳ１３に進める。一方、疑似映像判定部２１は、映像データ３３が取得されなかった場合には、処理をステップＳ１４に進める。

（ステップＳ１３：映像送信処理）
疑似映像判定部２１は、ステップＳ１１で対象のカメラ４２から取得された映像データ３３とカメラ識別子を、表示制御部２５に送信する。カメラ識別子は、例えば対象のカメラ４２のアドレスである。

（ステップＳ１４：生成指示処理）
疑似映像判定部２１は、対象のカメラ４２の識別子であるカメラ識別子を、外界画像生成部２２と航空機画像生成部２３と表示制御部２５とに送信する。

図７を参照して、実施の形態１に係る外界画像生成処理（図５のステップＳ２）を説明する。
複数のカメラ４２それぞれを対象のカメラ４２として、ステップＳ２１からステップＳ２４の処理が実行される。

（ステップＳ２１：天候取得処理）
空港情報取得部２７は、空港５２の天候情報を取得する。
具体的には、空港情報取得部２７は、気象情報を管理する外部のサーバ等から、空港５２がある地域についての天候情報を取得する。

（ステップＳ２２：カメラ判定処理）
外界画像生成部２２は、対象のカメラ４２が、映像データ３３が取得されなかったカメラ４２であるか否かを判定する。
具体的には、外界画像生成部２２は、対象のカメラ４２のカメラ識別子が、ステップＳ１４で送信されたカメラ識別子に含まれるか否かを判定する。外界画像生成部２２は、含まれる場合には、対象のカメラ４２は映像データ３３が取得されなかったカメラ４２であると判定する。外界画像生成部２２は、含まれない場合には、対象のカメラ４２は映像データ３３が取得されたカメラ４２であると判定する。
外界画像生成部２２は、対象のカメラ４２が、映像データ３３が取得されなかったカメラ４２である場合には、処理をステップＳ２３に進める。一方、外界画像生成部２２は、対象のカメラ４２は映像データ３３が取得されたカメラ４２である場合には、対象のカメラ４２についての処理を終了する。

（ステップＳ２３：画像生成処理）
外界画像生成部２２は、対象のカメラ４２についての外界画像３１を生成する。この際、外界画像生成部２２は、天候及び時刻に対応する外界画像３１を生成する。
実施の形態１では、図８に示すように、ストレージ１３には、カメラ４２毎に、天候及び時刻に対応した外界画像３１が記憶されている。外界画像生成部２２は、対象のカメラ４２についての外界画像３１であって、ステップＳ２１で取得された天候情報が示す天候と、現在時刻とに対応する外界画像３１をストレージ１３から読み出す。これにより、対象のカメラ４２について、天候及び時刻に対応した外界画像３１が得られる。

なお、ストレージ１３には、カメラ４２毎に、１つの外界画像３１が記憶されていてもよい。この場合には、外界画像生成部２２は、対象のカメラ４２に対応する外界画像３１を読み出す。そして、外界画像生成部２２は、読み出された外界画像３１に対して、天候情報が示す天候と、現在時刻とに対応する補正を加える。これにより、対象のカメラ４２について、天候及び時刻に対応した外界画像３１が得られる。

外界画像３１は、カメラ４２に対応する範囲についての背景画像データである。つまり、外界画像３１は、カメラ４２に対応する範囲について、航空機が存在しない状態の風景を表した画像データである。外界画像３１は、対応する天候及び時刻における風景を表した画像データである。つまり、外界画像３１は、天候が晴であれば、晴れた状態の風景を表し、天候が雨であれば、雨が降った状態の風景を表す。また、外界画像３１は、日中の時刻であれば、日中の状態の風景を表し、夕方の時刻であれば、夕方の状態の風景を表す。
外界画像３１は、航空機が見えやすい色等に補正されてもよい。外界画像３１は、建物で航空機が隠れないように、建物が透明になっていてもよい。

（ステップＳ２４：画像送信処理）
外界画像生成部２２は、ステップＳ２３で生成された外界画像３１及びカメラ識別子を表示制御部２５に送信する。

図９を参照して、実施の形態１に係る表示制御処理（図５のステップＳ３）を説明する。

（ステップＳ３１：情報受信処理）
表示制御部２５は、疑似映像判定部２１と外界画像生成部２２とによって送信された情報を受信する。
具体的には、表示制御部２５は、疑似映像判定部２１によって送信された映像データ３３及びカメラ識別子を受信する。表示制御部２５は、外界画像生成部２２によって送信された外界画像３１及びカメラ識別子を受信する。

（ステップＳ３２：パノラマ映像生成処理）
表示制御部２５は、ステップＳ３１で取得された各カメラ４２に対応する映像データ３３又は外界画像３１を合成して、各カメラ４２の撮影領域全体の画像データであるパノラマ映像を生成する。映像データ３３又は外界画像３１を合成する方法は、パノラマ映像を生成する既存の手法を用いればよい。例えば、境界付近の特徴点が重なるように合成する。隣接する映像データ３３又は外界画像３１との重なり部分は、中心から端に向かうにつれて透過度を増して合成してもよい。なお、表示制御部２５は、映像データ３３又は外界画像３１とともに受信したカメラ識別子を参照し、映像データ３３又は外界画像３１を配置してパノラマ映像を生成する。
また、表示制御部２５は、パノラマ映像を生成する際に、パノラマ映像中の画素のうち外界画像３１を対応付けた画素を示す画素テーブルを生成する。画素テーブルに含まれる画素はすべての未取得範囲６１の画素である。

図１０を参照して、実施の形態１に係る航空機画像生成処理（図５のステップＳ４）を説明する。
（ステップＳ４１：センサ情報取得処理）
センサ情報取得部２８は、センサ４３により、空港５２周辺に存在する航空機の位置情報を取得する。センサ４３は、具体例としては、ＡＳＲとＳＳＲとＭＬＡＴと等である。ＡＳＲは、Ａｉｒｐｏｒｔ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｒａｄａｒの略である。ＳＳＲは、Ｓｅｃｏｎｄａｒｙ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｒａｄａｒの略である。ＭＬＡＴは、ＭｕｌｔｉＬＡＴｅｒａｔｉｏｎの略である。航空機の位置情報は、航空機が位置する緯度・経度・高度の座標値を示す。航空機の位置情報には、航空機の識別子が含まれる。

（ステップＳ４２：航空機情報取得処理）
航空機情報取得部２９は、ステップＳ４１で位置情報が取得された航空機についての航空機情報をＦＡＣＥから取得する。ＦＡＣＥは、Ｆｌｉｇｈｔ Ｏｂｊｅｃｔ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｃｅｎｔｅｒ ｓｙｓｔｅｍの略である。航空機情報には、航空機の型式と、航空機の識別子といった情報が含まれる。
航空機情報取得部２９は、航空機の位置情報に含まれる航空機の識別子を含む航空機情報を取得することにより、ステップＳ４１で位置情報が取得された航空機についての航空機情報を取得できる。

（ステップＳ４３：位置変換処理）
位置変換部３０は、ステップＳ４１で取得された位置情報が示す座標値を、映像データ３３における座標値に変換する。つまり、位置変換部３０は、緯度・経度・高度の座標値を、映像データ３３における画素の位置に変換する。位置変換部３０は、位置情報が示す座標値を、基準位置を原点とするＥＮＵ（Ｅａｓｔ Ｎｏｒｔｈ Ｕｐ）座標系の座標に変換し、ＥＮＵ座標系の座標を、パノラマ映像における画素に変換することにより、位置情報が示す位置を画素位置に変換することができる。基準位置は、具体例としては、特定の撮影装置４２の設置位置である。位置情報が示す位置は、緯度及び経度を示す。したがって、緯度及び経度とＥＮＵ座標系の座標との対応関係を事前に設定しておくことにより、位置情報が示す位置をＥＮＵ座標系の座標に変換することができる。また、ＥＮＵ座標系の座標とパノラマ映像における画素との対応関係を事前に設定しておくことにより、ＥＮＵ座標系の座標をパノラマ映像における画素に変換することができる。

ステップＳ４４からステップＳ４６の処理が、ステップＳ４１で位置情報が取得された１台以上の航空機それぞれを対象の航空機として実行される。

（ステップＳ４４：範囲判定処理）
航空機画像生成部２３は、対象の航空機の位置情報が示す画素の位置が、画素テーブルに含まれるか否かを判定する。画素テーブルに含まれるか否かを判定することにより、いずれかの未取得範囲６１に含まれるか否かを判定することができる。
航空機画像生成部２３は、画素の位置が画素テーブルに含まれる場合には、処理をステップＳ４５に進める。一方、航空機画像生成部２３は、画素の位置が画素テーブルに含まれない場合には、対象の航空機についてのステップＳ４４からステップＳ４６の処理を終了する。

（ステップＳ４５：画像生成処理）
航空機画像生成部２３は、未取得範囲６１に存在する航空機を表す画像データである航空機画像３２を生成する。
実施の形態１では、図１１に示すように、ストレージ１３には、航空機の型式毎に、航空機画像３２が記憶されている。航空機画像生成部２３は、対象の航空機の型式についての航空機画像３２をストレージ１３から読み出す。これにより、対象の航空機を表す航空機画像３２が得られる。

（ステップＳ４６：画像補正処理）
航空機画像生成部２３は、ステップＳ４５で生成された航空機画像３２について、対象の航空機の針路方向に応じて向きを補正する。
実施の形態１では、航空機画像３２は航空機を表す３次元モデルである。航空機画像生成部２３は、対象の航空機の針路方向に応じて回転させて、向きを補正する。対象の航空機の針路方向は、ステップＳ４１で取得された位置情報の変化から特定可能である。例えば、航空機画像生成部２３は、対象の航空機の針路方向が北向きの場合には、３次元モデルを機首が北向きになるように回転させる。また、航空機画像生成部２３は、位置情報の変化から降下又は上昇の角度を特定し、対象の航空機の機首の角度を補正してもよい。例えば、対象の航空機が２０°降下している場合には、航空機画像生成部２３は、３次元モデルの機首を２０°下げる。

（ステップＳ４７：画像送信処理）
航空機画像生成部２３は、位置が未取得範囲６１内にある１台以上の航空機それぞれについての補正後の航空機画像３２を表示制御部２５に送信する。この際、航空機画像生成部２３は、航空機画像３２とともに、ステップＳ４３で変換された後の座標値を表示制御部２５に送信する。

図１２を参照して、実施の形態１に係るタグ情報生成処理（図５のステップＳ５）を説明する。
ステップＳ５１からステップＳ５３の処理は、図１０のステップＳ４１からステップＳ４３の処理と同じである。なお、ステップＳ５１からステップＳ５３の処理と図１０のステップＳ４１からステップＳ４３の処理とを別々に行う必要はない。つまり、ステップＳ５１からステップＳ５３の処理と図１０のステップＳ４１からステップＳ４３の処理とは共通化してもよい。

（ステップＳ５４：生成処理）
タグ情報生成部２４は、ステップＳ５１で位置情報が取得された１台以上の航空機それぞれを対象の航空機に設定する。タグ情報生成部２４は、対象の航空機についての航空機情報から識別子等の必要な情報を抽出して、対象の航空機についてのタグ情報３４を生成する。

（ステップＳ５５：タグ送信処理）
タグ情報生成部２４は、ステップＳ５１で位置情報が取得された１台以上の航空機それぞれについてのタグ情報３４を表示制御部２５に送信する。この際、タグ情報生成部２４は、タグ情報３４とともに、ステップＳ５３で変換された後の座標値を表示制御部２５に送信する。

図１３を参照して、実施の形態１に係る表示制御処理（図５のステップＳ６）を説明する。
（ステップＳ６１：情報受信処理）
表示制御部２５は、航空機画像生成部２３とタグ情報生成部２４とによって送信された情報を受信する。
具体的には、表示制御部２５は、航空機画像生成部２３によって送信された航空機画像３２及び座標値の組を受信する。表示制御部２５は、タグ情報生成部２４によって送信されたタグ情報３４及び座標値の組を受信する。

（ステップＳ６２：パノラマ映像表示処理）
表示制御部２５は、ステップＳ３で生成したパノラマ映像を表示装置４１に表示する。

（ステップＳ６３：航空機表示処理）
表示制御部２５は、ステップＳ６１で航空機画像生成部２３から受信した、未取得範囲６１内に存在する航空機の航空機画像３２を、ステップＳ６２で表示されたパノラマ映像に重畳させて表示する。航空機の位置は、航空機画像３２とともに受信した座標値により特定可能である。この際、表示制御部２５は、航空機画像３２を、航空機画像３２とともに受信した座標値が示す位置に表示する。

ステップＳ６３の処理により、表示制御部２５は、パノラマ映像に航空機画像３２を重畳させた疑似映像７１を表示する。

１つ以上のタグ情報３４それぞれを対象のタグ情報３４として、ステップＳ６４の処理が実行される。

（ステップＳ６４：タグ表示処理）
表示制御部２５は、ステップＳ６１で受信した対象のタグ情報３４を、ステップＳ６２で表示されたパノラマ映像に重畳させて表示する。この際、表示制御部２５は、タグ情報３４を、タグ情報３４とともに受信した座標値に対応する位置に表示する。
座標値に対応する位置は、座標値が示す位置から少しずれた位置である。これにより、タグ情報３４が航空機画像３２と重ならずに表示される。どの程度ずれた位置か、どの方向にずれた位置かは、航空機画像３２の大きさ等に応じて決定される。

＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る管制支援装置１０は、映像データ３３が取得されない場合に、外界画像３１に航空機画像３２を重畳させた疑似映像７１を表示する。
これにより、映像データが得られなくなった場合にも、疑似映像７１を参照することにより管制業務が継続可能になる。

＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、映像データ３３が取得されない場合に、管制支援装置１０は疑似映像７１を表示した。しかし、映像データ３３が取得された場合であっても、管制支援装置１０は疑似映像７１を表示してもよい。例えば、悪天候等による視界不良の場合には、管制支援装置１０は、映像データ３３に代えて疑似映像７１を表示してもよい。また、取得された映像データ３３のノイズが多いような場合にも、管制支援装置１０は、映像データ３３に代えて疑似映像７１を表示してもよい。また、例えば建物により管制官が航空機を目視で確認できない場合にも、管制支援装置１０は、映像データ３３に代えて疑似映像７１を表示してもよい。
また、映像データ３３のパケットエラーが予め定めた閾値より多い場合に、映像データ３３を用いるのではなく、疑似映像を生成してもよい。

＜変形例２＞
実施の形態１では、管制支援装置１０は、映像データ３３が取得されないカメラ４２に対応する範囲４２１についてのみ疑似映像７１を表示した。しかし、管制支援装置１０は、一部の映像データ３３が表示されない場合に、全てのカメラ４２に対応する範囲４２１について疑似映像７１を表示してもよい。

＜変形例３＞
実施の形態１では、複数のカメラ４２を備えるとしたが、カメラ４２は１台でもよい。１台の場合、カメラ４２に対応する範囲４２１は、カメラ４２の撮影領域全体である。パノラマ映像は生成されず、カメラ４２から取得された映像データ３３又は疑似映像７１が表示される。
なお、複数のカメラ４２であっても、カメラ４２に対応する範囲４２１がカメラ４２の撮影領域の全体でもよい。

＜変形例４＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例４として、各機能構成要素はハードウェアで実現されてもよい。この変形例４について、実施の形態１と異なる点を説明する。

図１４を参照して、変形例４に係る管制支援装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、管制支援装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。

電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、ＦＰＧＡが想定される。ＧＡは、Ｇａｔｅ Ａｒｒａｙの略である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。ＦＰＧＡは、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。

＜変形例５＞
変形例５として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。

プロセッサ１１とメモリ１２とストレージ１３と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。

また、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。

以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。

以下、本開示の諸態様を付記としてまとめて記載する。
（付記１）
映像データを取得するカメラの撮影領域の背景画像データである外界画像を生成する外界画像生成部と、
前記撮影領域に存在する航空機を表す画像データである航空機画像を生成する航空機画像生成部と、
前記外界画像生成部によって生成された前記外界画像に、前記航空機画像生成部によって生成された前記航空機画像を重畳させた疑似映像を表示する表示制御部と
を備える管制支援装置。
（付記２）
前記管制支援装置は、さらに、
前記航空機の位置を示す位置情報を取得するセンサ情報取得部
を備え、
前記表示制御部は、前記外界画像における前記センサ情報取得部によって取得された前記位置情報が示す前記位置に、前記航空機画像を重畳させた前記疑似映像を表示する
付記１に記載の管制支援装置。
（付記３）
前記管制支援装置は、さらに、
前記カメラによって取得された映像データが受信されたか否かを判定する疑似映像判定部
を備え、
前記表示制御部は、前記疑似映像判定部によって前記映像データが受信されていないと判定された場合に、前記疑似映像を表示する
付記１又は２に記載の管制支援装置。
（付記４）
前記表示制御部は、前記疑似映像判定部によって前記映像データが受信されていると判定された場合には、前記映像データを表示する
付記３に記載の管制支援装置。
（付記５）
前記外界画像生成部は、天候及び時刻に応じて異なる前記外界画像を生成する
付記１から４までのいずれか１項に記載の管制支援装置。
（付記６）
前記航空機画像生成部は、前記航空機の型式に対応する画像データについて、前記航空機の針路方向に応じて向きを補正して、前記航空機画像を生成する
付記１から５までのいずれか１項に記載の管制支援装置。
（付記７）
前記管制支援装置は、さらに、
前記航空機の識別子を示すタグ情報を生成するタグ情報生成部
を備え、
前記表示制御部は、前記タグ情報生成部によって生成された前記タグ情報を、前記航空機画像とともに前記外界画像に重畳させて前記疑似映像を生成する
付記１から６までのいずれか１項に記載の管制支援装置。
（付記８）
コンピュータが、映像データを取得するカメラの撮影領域の背景画像データである外界画像を生成し、
コンピュータが、前記撮影領域に存在する航空機を表す画像データである航空機画像を生成し、
コンピュータが、前記外界画像に前記航空機画像を重畳させた疑似映像を表示する管制支援方法。
（付記９）
映像データを取得するカメラの撮影領域の背景画像データである外界画像を生成する外界画像生成処理と、
前記撮影領域に存在する航空機を表す画像データである航空機画像を生成する航空機画像生成処理と、
前記外界画像生成処理によって生成された前記外界画像に、前記航空機画像生成処理によって生成された前記航空機画像を重畳させた疑似映像を表示する表示制御処理と
を行う管制支援装置としてコンピュータを機能させる管制支援プログラム。

１００ 管制支援システム、１０ 管制支援装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１５ 電子回路、２１ 疑似映像判定部、２２ 外界画像生成部、２３ 航空機画像生成部、２４ タグ情報生成部、２５ 表示制御部、２６ カメラ映像取得部、２７ 空港情報取得部、２８ センサ情報取得部、２９ 航空機情報取得部、３０ 位置変換部、３１ 外界画像、３２ 航空機画像、３３ 映像データ、３４ タグ情報、４１ 表示装置、４２ カメラ、４２１ 対応する範囲、４３ センサ、５１ リモート管制施設、５２ 空港、６１ 未取得範囲、６２ 取得範囲、７１ 疑似映像。

Claims (8)

1. 映像データを取得するカメラの撮影領域の背景画像データである外界画像を生成する外界画像生成部と、
   前記撮影領域に存在する航空機を表す画像データである航空機画像を生成する航空機画像生成部と、
   前記カメラによって取得された映像データが受信されたか否かを判定する疑似映像判定部と、
   前記疑似映像判定部によって前記映像データが受信されていないと判定された場合に、前記外界画像生成部によって生成された前記外界画像に、前記航空機画像生成部によって生成された前記航空機画像を重畳させた疑似映像を表示する表示制御部と
   を備える管制支援装置。
2. 前記管制支援装置は、さらに、
   前記航空機の位置を示す位置情報を取得するセンサ情報取得部
   を備え、
   前記表示制御部は、前記外界画像における前記センサ情報取得部によって取得された前記位置情報が示す前記位置に、前記航空機画像を重畳させた前記疑似映像を表示する
   請求項１に記載の管制支援装置。
3. 前記表示制御部は、前記疑似映像判定部によって前記映像データが受信されていると判定された場合には、前記映像データを表示する
   請求項１に記載の管制支援装置。
4. 前記外界画像生成部は、天候及び時刻に応じて異なる前記外界画像を生成する
   請求項１に記載の管制支援装置。
5. 前記航空機画像生成部は、前記航空機の型式に対応する画像データについて、前記航空機の針路方向に応じて向きを補正して、前記航空機画像を生成する
   請求項１に記載の管制支援装置。
6. 前記管制支援装置は、さらに、
   前記航空機の識別子を示すタグ情報を生成するタグ情報生成部
   を備え、
   前記表示制御部は、前記タグ情報生成部によって生成された前記タグ情報を、前記航空機画像とともに前記外界画像に重畳させて前記疑似映像を生成する
   請求項１に記載の管制支援装置。
7. コンピュータが、映像データを取得するカメラの撮影領域の背景画像データである外界画像を生成し、
   コンピュータが、前記撮影領域に存在する航空機を表す画像データである航空機画像を生成し、
   コンピュータが、前記カメラによって取得された映像データが受信されたか否かを判定し、
   コンピュータが、前記映像データが受信されていないと判定された場合に、前記外界画像に前記航空機画像を重畳させた疑似映像を表示する管制支援方法。
8. 映像データを取得するカメラの撮影領域の背景画像データである外界画像を生成する外界画像生成処理と、
   前記撮影領域に存在する航空機を表す画像データである航空機画像を生成する航空機画像生成処理と、
   前記カメラによって取得された映像データが受信されたか否かを判定する疑似映像判定処理と、
   前記疑似映像判定処理によって前記映像データが受信されていないと判定された場合に、前記外界画像生成処理によって生成された前記外界画像に、前記航空機画像生成処理によって生成された前記航空機画像を重畳させた疑似映像を表示する表示制御処理と
   を行う管制支援装置としてコンピュータを機能させる管制支援プログラム。

Images