JP7241818B2 - 管制支援装置、管制支援方法及び管制支援プログラム - Google Patents
管制支援装置、管制支援方法及び管制支援プログラム Download PDFInfo
- Publication number
- JP7241818B2 JP7241818B2 JP2021122498A JP2021122498A JP7241818B2 JP 7241818 B2 JP7241818 B2 JP 7241818B2 JP 2021122498 A JP2021122498 A JP 2021122498A JP 2021122498 A JP2021122498 A JP 2021122498A JP 7241818 B2 JP7241818 B2 JP 7241818B2
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- detected
- moving object
- moving
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
本開示は、撮影画像からの検知と、センサによる検知とのどちらか一方だけがされている場合にも、管制官に対する目視確認の支援を可能にすることを目的とする。
画像データから管制対象の移動体を検知する検知部と、
センサによって検知されて得られた前記管制対象の移動体についてのセンサ情報を取得するセンサ取得部と、
前記検知部によって移動体が検知された位置を基準として決められる、前記画像データにおける表示位置に、前記センサ取得部によって取得されたセンサ情報から生成されたタグを重畳表示して重畳画像を生成する重畳画像生成部であって、前記検知部と前記センサとのどちらか一方だけで検知された移動体については、前記検知部と前記センサとの他方で過去に得られた情報を用いてタグを重畳表示する重畳画像生成部と
を備える。
***構成の説明***
図1を参照して、実施の形態1に係る管制支援装置10の構成を説明する。
管制支援装置10は、コンピュータである。
管制支援装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信インタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
管制支援装置10は、通信インタフェース14を介して、センサ41と、撮影装置42と、表示装置43とに接続されている。図1では、センサ41及び撮影装置42は複数だが、1つでもよい。
ストレージ13には、管制支援装置10の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。これにより、管制支援装置10の各機能構成要素の機能が実現される。
図2から図9を参照して、実施の形態1に係る管制支援装置10の動作を説明する。
実施の形態1に係る管制支援装置10の動作手順は、実施の形態1に係る管制支援方法に相当する。また、実施の形態1に係る管制支援装置10の動作を実現するプログラムは、実施の形態1に係る管制支援プログラムに相当する。
(ステップS11:センサ取得処理)
センサ取得部21は、通信インタフェース14を介して、センサ41によって管制対象の移動体51が検知されて生成された1つ以上のセンサ情報を取得する。
センサ情報は、センサ41によって検知された移動体51毎に生成される。センサ情報は、移動体51の識別子である移動体IDと、移動体51の位置及び速度を示す位置情報と、移動体51から送信された移動体51に関する移動体情報とを含む。移動体情報は、具体例としては、移動体51の出発地である。実施の形態1では、移動体51は、航空機である。しかし、移動体51は、航空機の他に、空港を走行する車両等を含んでもよい。
タグ生成部22は、ステップS11で取得された1つ以上のセンサ情報それぞれを対象として、対象のセンサ情報から、対象のセンサ情報が示す移動体51についてのタグ52を生成する。
タグ52は、対象の移動体51についての移動体IDと位置情報と移動体情報との少なくともいずれかを示し、枠で囲まれた画像である。実施の形態1では、タグ52は、移動体IDを含む。
画像取得部23は、通信インタフェース14を介して、各撮影装置42によって撮影されて得られた画像データを取得する。各撮影装置42は、空港及び空港の周辺を撮影するように設置されている。各撮影装置42は、撮影領域の一部が重なるように、少しずつ撮影領域をずらして設置されている。
画像取得部23は、ステップS13で取得された画像データを合成して、各撮影装置42の撮影領域全体を撮影した画像データであるパノラマ画像を生成する。画像データを合成する方法は、既存の手法を用いればよい。
検知部24は、ステップS14で生成されたパノラマ画像から、管制対象の移動体51を検知する。
具体的には、検知部24は、テンプレートマッチングを用いる、又はニューラルネットワークを用いた物体検知モデルを用いるといった方法により、パノラマ画像から管制対象の移動体51を検知する。
同一性判定部25は、ステップS11で取得されたセンサ情報が示す移動体51である第1移動体511と、ステップS14で検知された移動体51である第2移動体512とが同一の移動体51であるか否かを判定する。そして、同一性判定部25は、同一の移動体51であると判定された第1移動体511と第2移動体512とを対応付けして1つの移動体51として扱う。
これにより、図3に示すように、同一性判定部25は、検知部24とセンサ41との両方で検知された移動体51と、センサ41だけで検知された移動体51と、検知部24だけで検知された移動体51とに分類した移動体リスト53を生成する。ここで、第1移動体511と第2移動体512とが対応付けされた移動体51は、検知部24とセンサ41との両方で検知された移動体51である。第2移動体512と対応付けされなかった第1移動体511は、センサ41だけで検知された移動体51である。第1移動体511と対応付けされなかった第2移動体512は、検知部24だけで検知された移動体51である。
同一性判定部25は、移動体リスト53の移動体51に対して、それぞれを一意に識別できるように、識別番号を割り当てる。同一性判定部25は、前回検知された移動体51が次の検知状態更新のタイミングで再び検知された場合には、移動体リスト53に新たに行を追加するのではなく、当該識別番号の検知情報を更新する。例えば、同一性判定部25は、センサ41又は検知部24の一方だけにより検知された移動体51について次の検知状態更新のタイミングで両方で検知した場合には、移動体リスト53に新たに行を追加するのではなく、当該識別番号の検知情報を更新すればよい。
また、移動体リストは移動体51の検知部24及びセンサ24の前回検知状態を保持する。これは、現在の検知状態に更新するタイミングで、過去の検知状態を前回検知として記録するものである。
図4に示すように、重畳画像生成部26は、ステップS15で移動体51が検知された位置を基準として決められる、パノラマ画像における表示位置に、ステップS12で生成されたタグ52を重畳表示して重畳画像54を生成する。
具体的には、重畳画像生成部26は、検知部24とセンサ41との両方で検知された移動体51については、ステップS15で検知部24によって検知された位置から決められる、パノラマ画像における表示位置に、タグ52を重畳表示する。一方、重畳画像生成部26は、検知部24とセンサ41とのどちらか一方だけで検知された移動体51については、図3の移動体リストの前回検知状態に基づき、検知部24とセンサ41との他方で過去に検知された情報を用いて、パノラマ画像に対してタグ52を重畳表示する。
図4では、検知部24とセンサ41との両方で検知された移動体51についての検知枠55は、実線で描かれている。センサ41だけで検知された移動体についての検知枠55は、破線で描かれている。検知部24だけで検知された移動体51についての検知枠55は、一点鎖線で描かれている。
重畳画像生成部26は、ステップS17で生成された重畳画像54を表示装置43に表示する。
重畳画像生成部26は、1秒毎に最新の検知状態に更新される移動体リスト53のレコードを入力として、ステップS21からステップS28の処理を実行する。
重畳画像生成部26は、処理対象の移動体51が、検知部24とセンサ41との両方で検知された移動体51と、センサ41だけで検知された移動体51と、検知部24だけで検知された移動体51とのいずれかであるかを判定する。
重畳画像生成部26は、処理対象の移動体51が、検知部24とセンサ41との両方で検知された移動体51である場合には、処理をステップS22に進める。重畳画像生成部26は、処理対象の移動体51が、センサ41だけで検知された移動体51である場合には、処理をステップS23に進める。重畳画像生成部26は、検知部24だけで検知された移動体51である場合には、処理をステップS26に進める。
重畳画像生成部26は、ステップS15で検知部24によって処理対象の移動体51が検知された位置から決められる、パノラマ画像における表示位置に、ステップS12で生成されたタグ52を重畳表示する。この際、図6に示すように、重畳画像生成部26は、検知部24によって処理対象の移動体51が検知された位置に検知枠55を実線で描く。
ここで、表示位置は、ステップS15で検知部24によって検知された位置の付近である。例えば、表示位置は、ステップS15で検知部24によって検知された位置を基準として、基準方向に基準距離だけずらした位置である。基準距離は、特定の撮影装置42から移動体51までの距離に応じて変更されてもよい。
重畳画像生成部26は、処理対象の移動体51について、過去基準期間において検知部24により検知されていたか否かを判定する。センサ情報には、移動体51の移動体IDが含まれている。したがって、重畳画像生成部26は、過去基準期間に得られたセンサ情報から処理対象の移動体51の移動体IDを含むセンサ情報を抽出することにより、処理対象の移動体51を検知して得られたセンサ情報を特定できる。重畳画像生成部26は、特定されたセンサ情報が示す移動体51である第1移動体511が、第2移動体512と対応付けされたか否かにより、処理対象の移動体51が、検知部24により検知されていたか否かを判定することが可能である。
重畳画像生成部26は、検知されていた場合には、処理をステップS24に進める。一方、重畳画像生成部26は、検知されていなかった場合には、処理をステップS25に進める。
重畳画像生成部26は、検知部24によって過去に処理対象の移動体51が検知された位置に基づき表示位置を決定する。そして、重畳画像生成部26は、パノラマ画像における表示位置に、タグ52を重畳表示する。この際、図6に示すように、重畳画像生成部26は、検知部24によって過去に処理対象の移動体51が検知された位置から特定される推定位置に検知枠55を破線で描き、検知枠55の右下に“*”を加える。
ここで、図7に示すように、重畳画像生成部26は、検知部24によって過去に処理対象の移動体51が検知された位置と、過去に取得された処理対象の移動体51についてのセンサ情報に含まれる位置情報が示す位置との差に基づき、新たに取得されたセンサ情報に含まれる位置情報が示す位置を補正して推定位置及び表示位置を決定する。図7に示すように、重畳画像生成部26は、過去基準期間における各時点において、検知部24によって検知された位置と取得されたセンサ情報に含まれる位置情報が示す位置との差の平均値を補正値として計算する。図7では、時刻t-1,t-2,t-3それぞれにおける差の平均値が補正値として計算されている。そして、重畳画像生成部26は、今回新たに取得されたセンサ情報に含まれる位置情報が示す位置を補正値により補正した位置を推定位置とする。重畳画像生成部26は、推定位置を基準として、基準方向に基準距離だけずらした位置を表示位置に決定する。
重畳画像生成部26は、センサ情報に含まれる位置情報が示す位置に基づき表示位置を決定する。そして、重畳画像生成部26は、パノラマ画像における表示位置に、タグ52を重畳表示する。この際、図6に示すように、重畳画像生成部26は、センサ情報に含まれる位置情報が示す位置から推測される移動体51の推測位置に検知枠55を破線で描く。なお、検知枠55の右下に“*”は加えられない。
センサ情報に含まれる位置情報が示す位置は、数秒程度前の移動体51の位置である。そのため、重畳画像生成部26は、過去のセンサ情報の位置の軌跡から移動体51の移動ベクトルを計算し、直近のセンサ情報に含まれる位置情報が示す位置を基準として、移動ベクトルに従い指定時間(数秒)後の位置を推定して推定位置を特定する。
重畳画像生成部26は、処理対象の移動体51について、過去基準期間においてセンサ41により検知されていたか否かを判定する。ここでは、検知部24によって検知された移動体51について追跡処理が行われているものとする。追跡処理は既存技術を用いて実現可能である。したがって、過去基準期間に検知部24によって検知された処理対象の移動体51を特定できる。重畳画像生成部26は、特定された処理対象の移動体51である第2移動体512が、第1移動体511と対応付けされたか否かにより、処理対象の移動体51が、センサ41により検知されていたか否かを判定することが可能である。
重畳画像生成部26は、検知されていた場合には、処理をステップS27に進める。一方、重畳画像生成部26は、検知されていなかった場合には、処理をステップS28に進める。
重畳画像生成部26は、検知部24によって処理対象の移動体51が検知された位置から決められる、パノラマ画像における表示位置に、センサ41によって過去に検知され取得されたセンサ情報から生成されたタグ52を重畳表示する。この際、図6に示すように、重畳画像生成部26は、検知部24によって処理対象の移動体51が検知された位置に検知枠55を一点鎖線で描き、検知枠55の右下に“*”を加える。
重畳画像生成部26は、処理対象の移動体51について過去基準期間に複数のセンサ情報が得られている場合には、できるだけ新しいセンサ情報から生成されたタグ52を重畳表示する。図8に示すように、重畳画像生成部26は、過去基準期間における各時点において取得されたセンサ情報のうち、最も新しいセンサ情報から生成されたタグ52を取得して重畳表示する。
なお、表示位置は、ステップS22と同じ方法により決定される。
重畳画像生成部26は、検知部24によって処理対象の移動体51が検知された位置に検知枠55を一点鎖線で描く。なお、検知枠55の右下に“*”は加えられない。
ここでは、処理対象の移動体51について、センサ情報が得られないため、タグ52は重畳表示されない。
移動体51の検知状態としては、検知部24とセンサ41との両方で検知されている両検知状態61と、センサ41だけで検知されたセンサ検知状態62と、検知部24だけで検知された画像検知状態63と、検知部24とセンサ41とのどちらでも検知されていない未検知状態64とがある。
図9において矢印で示すように、各検知状態の間で状態の遷移が発生する。遷移が発生するのは、図2のS16の同一性判定結果により図3の移動体リスト53の分類(航空機の状態)が更新された場合である。この遷移のうち、両検知状態61からセンサ検知状態62に遷移した場合において実行される処理が第2重畳処理(図5のステップS24)である。未検知状態64からセンサ検知状態62に遷移した場合において実行される処理が第3重畳処理(図5のステップS25)である。両検知状態61から画像検知状態63に遷移した場合において実行される処理が第4重畳処理(図5のステップS27)である。未検知状態64から画像検知状態63に遷移した場合において実行される処理が第5重畳処理(図5のステップS28)である。遷移元に関わらず、両検知状態61において実行される処理が第1重畳処理(図5のステップS22)である。
なお、検知部24で検知されないとは、例えば天候不良や障害物により画像データから移動体51が検知されない場合である。
以上のように、実施の形態1に係る管制支援装置10は、検知部24とセンサ41とのどちらか一方だけで検知された移動体51については、検知部24とセンサ41との他方で過去に検知された情報を用いて重畳画像が生成される。これにより、画像データからの検知と、センサ41による検知とのどちらか一方だけがされている場合にも、管制官に対する目視確認の適切な支援が可能である。
両検知状態61とセンサ検知状態62との間での遷移と、両検知状態61と画像検知状態63との間での遷移といずれかが発生すると、従来はタグ52の表示がされない状態が発生していた。そのため、これらの遷移が頻繁に発生すると、管制官に対する目視確認の適切な支援が行えない状態になっていた。
実施の形態1に係る管制支援装置10は、これらの遷移が発生した場合には、過去に取得された情報を用いてタグ52を重畳表示する。これにより、これらの遷移が頻繁に発生しても、管制官に対する目視確認の適切な支援が可能である。
<変形例1>
実施の形態1では、各機能構成要素がソフトウェアで実現された。しかし、変形例1として、各機能構成要素はハードウェアで実現されてもよい。この変形例1について、実施の形態1と異なる点を説明する。
各機能構成要素がハードウェアで実現される場合には、管制支援装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、電子回路15を備える。電子回路15は、各機能構成要素と、メモリ12と、ストレージ13との機能とを実現する専用の回路である。
各機能構成要素を1つの電子回路15で実現してもよいし、各機能構成要素を複数の電子回路15に分散させて実現してもよい。
変形例2として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
実施の形態2では、同一性判定処理について説明する。
センサ情報に含まれる位置情報が示す位置を、基準位置を原点とするENU(East
North Up)座標系の座標に変換し、ENU座標系の座標を、パノラマ画像における画素に変換することにより、位置情報が示す位置を画素位置に変換することができる。基準位置は、具体例としては、特定の撮影装置42の設置位置である。位置情報が示す位置は、緯度及び経度を示す。したがって、緯度及び経度とENU座標系の座標との対応関係を事前に設定しておくことにより、位置情報が示す位置をENU座標系の座標に変換することができる。また、ENU座標系の座標とパノラマ画像における画素との対応関係を事前に設定しておくことにより、ENU座標系の座標とパノラマ画像における画素に変換することができる。
パノラマ画像から検知された移動体51には、検知IDが付与されている。同一と判定された移動体51には、同一の検知IDが付与されるようになっている。
(ステップS31:センサ読出処理)
同一性判定部25は、メモリ12から過去基準期間に取得されたセンサ情報と、このセンサ情報に関連付けされたタグ52及び画素位置とを読み出す。
同一性判定部25は、直近に取得された1つ以上のセンサ情報それぞれを対象のセンサ情報に設定する。同一性判定部25は、対象のセンサ情報が示す移動体51を、ステップS31で読み出された過去基準期間に取得されたセンサ情報に含まれる位置情報を用いて、静状態の移動体51と動状態の移動体51とに分類する。静状態の移動体51は、停止している移動体51である。なお、停止しているとは、完全に停止している状態に限らず、ほぼ停止しているとみなすことができる状態も含む。動状態の移動体51は、移動している移動体51である。
同一性判定部25は、メモリ12から過去基準期間に取得された画像データから生成されたパノラマ画像と、このパノラマ画像に関連付けされた検知位置とを読み出す。
この際、同一性判定部25は、ステップS33で読み出されたパノラマ画像と検知位置との組を、センサ情報と同数になるように間引きする。ここでは、同一性判定部25は、1秒毎にパノラマ画像と検知位置との組を1つだけ抽出することによって、パノラマ画像と検知位置との組を、センサ情報と同数になるように間引きする。なお、間引きの基準は検知のタイムスタンプとし、検知位置の更新タイムスタンプと最も近い、パノラマ画像の更新タイムスタンプを選択して、それ以外のパノラマ画像を間引きする。
同一性判定部25は、直近のパノラマ画像から検知された1つ以上の移動体51それぞれについて、過去のパノラマ画像から検知された移動体51と同じ移動体51には同じ検知ID(IDentifier)が付与されるように、検知IDを付与する。
同一性判定部25は、直近のパノラマ画像から検知された1つ以上の移動体51それぞれを対象の移動体51に設定する。同一性判定部25は、対象の移動体51を、ステップS33で読み出された過去基準期間における検知位置を用いて、静状態の移動体51と動状態の移動体51とに分類する。
同一性判定部25は、直近に取得されたセンサ情報が示す移動体51である第1移動体511と、直近のパノラマ画像から検知された移動体51である第2移動体512との位置に相関があるか否かを判定する。ここでは、同一性判定部25は、ステップS32で静状態の移動体51と判定された第1移動体511と、ステップS36で静状態の移動体51と判定された第2移動体512との間で位置に相関があるか否かを判定する。また、同一性判定部25は、ステップS32で動状態の移動体51と判定された第1移動体511と、ステップS36で動状態の移動体51と判定された第2移動体512との間で位置に相関があるか否かを判定する。
同一性判定部25は、相関があると判定された第1移動体511と第2移動体512とは、同一の移動体51であるとして、第1移動体511と第2移動体512とを対応付けして1つの移動体51とする。そして、同一性判定部25は、相関があると判定された移動体51は、検知部24とセンサ41との両方で検知された移動体51に分類する。また、同一性判定部25は、相関があると判定されなかった、センサ情報が示す移動体51は、センサ41だけで検知された移動体51に分類する。また、同一性判定部25は、相関があると判定されなかった、パノラマ画像から検知された移動体51は、検知部24だけで検知された移動体51に分類する。そして、図3に示すような移動体リスト53を生成する。
(ステップS41:追跡処理)
ここでは、図2のステップS15で移動体51を検知する際、同一の移動体51を追跡する追跡処理が行われているものとする。同一性判定部25は、追跡処理の結果を取得する。同一性判定部25は、過去のパノラマ画像から検知された移動体51と同じ移動体51には同じ検知IDを付与し、過去のパノラマ画像では検知されていなかった移動体51には新たな検知IDを付与する。
同一性判定部25は、メモリ12から直近のパノラマ画像の1つ前に取得されたパノラマ画像と、そのパノラマ画像から検知された移動体51についての検知ID及び検知枠55を読み出す。
同一性判定部25は、直近のパノラマ画像から検知された対象の移動体51に付与された検知IDが、1つ前のパノラマ画像から検知された移動体51に付与された検知IDに存在するか否かを判定する。
同一性判定部25は、存在しない場合には、処理をステップS44に進める。一方、同一性判定部25は、存在する場合には、処理をステップS45に進める。
同一性判定部25は、対象の移動体51についての検知枠55が、直近数フレーム分のパノラマ画像から検知されたいずれかの移動体51についての検知枠55と重なっているか否かを判定する。
同一性判定部25は、重なっていない場合には、処理をステップS45に進める。一方、同一性判定部25は、重なっている場合には、処理をステップS46に進める。
同一性判定部25は、対象の移動体51に付与されている検知IDを、対象の移動体51の検知IDとして確定する。
同一性判定部25は、1つ前のパノラマ画像から検知された移動体51の検知枠55のうち、対象の移動体51についての検知枠55と重なる面積が最も大きい検知枠55を特定する。同一性判定部25は、特定された検知枠55に対応する移動体51に付与された検知IDを、対象の移動体51に対して付与する。
直近のセンサ情報が示す1つ以上の移動体51それぞれを対象の移動体51として、ステップS51からステップS54の処理が実行される。
同一性判定部25は、対象の移動体51について、直近の画素位置と、基準期間前の画素位置との差異を移動量として計算する。ここでは、同一性判定部25は、直近の画素位置と、基準期間前の画素位置とについて、u軸方向の差異をu移動量として計算し、v軸方向の差異をv移動量として計算する。
直近の画素位置は、直近のセンサ情報から得られた画素位置である。基準期間前の画素位置は、過去基準期間に取得されたセンサ情報のうち、対象の移動体51についての最も古いセンサ情報から得られた画素位置である。なお、センサ情報には、移動体51の移動体IDが含まれている。したがって、同一性判定部25は、過去基準期間に取得されたセンサ情報から、対象の移動体51の移動体IDが含まれるセンサ情報を特定することにより、対象の移動体51についてのセンサ情報を特定することができる。
同一性判定部25は、ステップS51で計算された移動量が閾値以下であるか否かを判定する。ここでは、同一性判定部25は、u移動量及びv移動量が閾値以下であるか否かを判定する。
同一性判定部25は、u移動量及びv移動量が閾値以下である場合には、処理をステップS53に進める。一方、同一性判定部25は、u移動量とv移動量との少なくともいずれかが閾値以下でない場合には、処理をステップS54に進める。
同一性判定部25は、対象の移動体51を静状態に分類する。
同一性判定部25は、対象の移動体51を動状態に分類する。
直近のパノラマ画像から検知された1つ以上の移動体51それぞれを対象の移動体51として、ステップS61からステップS66の処理が実行される。
同一性判定部25は、対象の移動体51について、1つ前のパノラマ画像での検知位置から直近のパノラマ画像での検知位置までの距離を変位量として計算する。同一性判定部25は、計算された変位量が、対象の移動体51について前回計算された変位量と比較して、基準量以下の差であるか否かを判定する。
1つ前のパノラマ画像とは、直近のパノラマ画像の約1秒前に取得された画像データから生成されたパノラマ画像である。前回計算された変位量とは、1つ前のパノラマ画像を直近のパノラマ画像として計算された変位量である。
同一性判定部25は、基準量以下の差であり、かつ、対象の移動体51が静状態であると前回分類されていた場合には、処理をステップS65に進める。一方、同一性判定部25は、基準量以下の差でない場合と、対象の移動体51が静状態であると前回分類されていない場合との少なくともいずれかの場合には、処理をステップS62に進める。
同一性判定部25は、対象の移動体51についての、過去計算期間における検知位置の標準偏差を計算する。計算期間は、例えば、センサ情報の取得間隔である1秒である。
同一性判定部25は、ステップS62で計算された標準偏差が、基準値以下であるか否かを判定する。
同一性判定部25は、標準偏差が基準値以下である場合には、処理をステップS65に進める。一方、同一性判定部25は、標準偏差が基準値以下でない場合には、処理をステップS64に進める。
同一性判定部25は、対象の移動体51について、直近の検知位置と、基準期間前の検知位置との差異を移動量として計算する。同一性判定部25は、移動量が閾値以下であるか否かを判定する。
同一性判定部25は、移動量が閾値以下である場合には、処理をステップS65に進める。一方、同一性判定部25は、移動量が閾値以下でない場合には、処理をステップS66に進める。
直近の検知位置は、直近のパノラマ画像から対象の移動体51が検知された検知位置である。基準期間前の検知位置は、過去基準期間におけるパノラマ画像のうち、対象の移動体51が検知された最も古いパノラマ画像から対象の移動体51が検知された検知位置である。なお、図13のステップS34において、同一の移動体51に対して同じ検知IDが付与されている。したがって、同一性判定部25は、対象の移動体51に付与された検知IDが付与された移動体51を特定することにより、過去基準期間におけるパノラマ画像から検知された対象の移動体51を特定することができる。
同一性判定部25は、対象の移動体51を静状態に分類する。
同一性判定部25は、対象の移動体51を動状態に分類する。
直近のパノラマ画像から検知され、図16のステップS65で静状態に分類された1つ以上の移動体51それぞれを順に対象の第1移動体511として、ステップS71からステップS73の処理が実行される。
同一性判定部25は、直近に取得されたセンサ情報が示す、図15のステップS53で静状態に分類された1つ以上の移動体51それぞれを対象の第2移動体512に設定する。但し、同一性判定部25は、ステップS73で既に対応付けされた移動体51については、対象の第2移動体512から除外する。
同一性判定部25は、対象の第1移動体511の検知位置と、センサ情報に含まれる位置情報が示す対象の第2移動体512の位置との距離を計算する。
同一性判定部25は、ステップS71で計算された距離に、基準距離以下の距離が含まれているか否かを判定する。
同一性判定部25は、基準距離以下の距離が含まれている場合には、処理をステップS73に進める。一方、同一性判定部25は、基準距離以下の距離が含まれていない場合には、対象の第1移動体511についての処理を終了する。
同一性判定部25は、対象の第1移動体511と、ステップS71で計算された距離が最も短い対象の第2移動体512とを対応付けする。
同一性判定部25は、直近に取得されたセンサ情報が示す、図15のステップS54で動状態に分類された1つ以上の移動体51それぞれを対象の第2移動体512に設定する。但し、同一性判定部25は、ステップS76で既に対応付けされた移動体51については、対象の第2移動体512から除外する。
同一性判定部25は、対象の第1移動体511の検知位置と、センサ情報に含まれる位置情報が示す対象の第2移動体512の位置との距離を計算する。
同一性判定部25は、ステップS74で計算された距離に、基準距離以下の距離が含まれているか否かを判定する。
同一性判定部25は、基準距離以下の距離が含まれている場合には、処理をステップS76に進める。一方、同一性判定部25は、基準距離以下の距離が含まれていない場合には、対象の第1移動体511についての処理を終了する。
同一性判定部25は、対象の第1移動体511と、ステップS74で計算された距離が最も短い対象の第2移動体512とを対応付けする。
同一性判定部25は、直近のパノラマ画像から検知され、図16のステップS66で動状態に分類された1つ以上の移動体51のうち、ステップS76で対応付けされなかった移動体51を基準速度より速い高速で移動する第1移動体511に分類する。また、同一性判定部25は、直近に取得されたセンサ情報が示す、図15のステップS54で動状態に分類された1つ以上の移動体51のうち、ステップS76で対応付けされなかった移動体51を高速で移動する第2移動体512に分類する。
同一性判定部25は、高速で移動する第1移動体511と、高速で移動する第2移動体512とについて、同一の移動体であるか否かを判定する。
高速で移動する第1移動体511それぞれを対象の第1移動体511としてステップS81からステップS86の処理が実行される。
同一性判定部25は、高速で移動する第2移動体512を対象の第2移動体512に設定する。同一性判定部25は、対象の第1移動体511の移動ベクトルと、対象の第2移動体512の移動ベクトルとの内積を計算する。
対象の第1移動体511の移動ベクトルは、対象の第1移動体511についての直近のパノラマ画像における検知位置と、1つ前のパノラマ画像における検知位置とから特定される。対象の第2移動体512の移動ベクトルは、対象の第2移動体512についての直近のセンサ情報に含まれる位置情報が示す位置と、1つ前のセンサ情報に含まれる位置情報が示す位置とから特定される。
同一性判定部25は、ステップS81で計算された内積に正の値が含まれているか否かを判定する。同一性判定部25は、内積が正の値である場合には、図19に示すように、移動方向が近いとして、対応付けの候補にする。
同一性判定部25は、正の値が含まれている場合には、処理をステップS83に進める。一方、同一性判定部25は、正の値が含まれていない場合には、対象の第1移動体511についての処理を終了する。
同一性判定部25は、高速で移動する第2移動体512のうち、ステップS81で計算された内積が正の値となった第2移動体512それぞれを対象の第2移動体512に設定する。同一性判定部25は、対象の第2移動体512についての直近のパノラマ画像における検知位置から、対象の第1移動体511について直近のセンサ情報に含まれる位置情報が示す位置へのベクトルを計算する。同一性判定部25は、対象の第2移動体512の移動ベクトルと、ステップS83で計算されたベクトルとの内積を計算する。
同一性判定部25は、ステップS83で計算された内積に負の値が含まれているか否かを判定する。センサ情報は、画像データよりも遅れて取得されるため、センサ情報に含まれる位置情報が示す位置は、少し前の移動体51の位置を示している。そのため、同一性判定部25は、内積が負の値である場合には、図20に示すように、位置関係が適切であるとして、対応付けの候補にする。
同一性判定部25は、負の値が含まれている場合には、処理をステップS85に進める。一方、同一性判定部25は、負の値が含まれていない場合には、対象の第1移動体511についての処理を終了する。
同一性判定部25は、ステップS83で計算された内積に含まれる負の値が1つだけであるか否かを判定する。負の値が1つだけである場合には、対象の第1移動体511に対応する第2移動体512が1つだけであることを意味する。
同一性判定部25は、負の値が1つだけである場合には、処理をステップS86に進める。一方、同一性判定部25は、負の値が1つだけでない場合には、対象の第1移動体511についての処理を終了する。
同一性判定部25は、対象の第1移動体511と、ステップS83で計算された内積が負であった第2移動体512とを対応付けする。
以上のように、実施の形態2に係る管制支援装置10は、静状態の場合及び低速で移動している場合には、距離に基づき同一の移動体51であるか否かを判定し、高速で移動している場合には、移動方向に基づき同一の移動体51であるか否かを判定する。これにより、適切に移動体51の同一性を判定することが可能である。
<変形例3>
実施の形態2では、動状態に分類された移動体51について、距離に基づき対応付けされなかった移動体51について、高速で移動するとして、高速相関処理(図17のステップS77)が実行された。
しかし、同一性判定部25は、図13のステップS32及びステップS35で、移動体51が動状態である場合に、移動体51の移動履歴から移動速度を計算して、移動体51が低速で移動しているか、高速で移動しているかを分類してもよい。そして、同一性判定部25は、低速で移動している移動体51については、図17のステップS74からステップS76の処理により対応付けを行い、高速で移動している移動体51については、図18に示す処理により対応付けを行ってもよい。
Claims (14)
- 画像データから管制対象の移動体を検知する検知部と、
センサによって検知されて得られた前記管制対象の移動体についてのセンサ情報を取得するセンサ取得部と、
前記検知部によって移動体が検知された位置を基準として決められる、前記画像データにおける表示位置に、前記センサ取得部によって取得されたセンサ情報から生成されたタグを重畳表示して重畳画像を生成する重畳画像生成部であって、前記検知部と前記センサとのどちらか一方だけで検知された移動体については、前記検知部と前記センサとの他方で過去に得られた情報を用いてタグを重畳表示する重畳画像生成部と
を備え、
前記重畳画像生成部は、前記検知部と前記センサとの両方で検知された移動体と、前記センサだけで検知された移動体及び前記検知部だけで検知された移動体との間で、区別した表示を行う管制支援装置。 - 画像データから管制対象の移動体を検知する検知部と、
センサによって検知されて得られた前記管制対象の移動体についてのセンサ情報であって、前記移動体の位置を示す位置情報が含まれたセンサ情報を取得するセンサ取得部と、
前記検知部によって移動体が検知された位置を基準として決められる、前記画像データにおける表示位置に、前記センサ取得部によって取得されたセンサ情報から生成されたタグを重畳表示して重畳画像を生成する重畳画像生成部であって、前記検知部と前記センサとのどちらか一方だけで検知された移動体については、前記検知部と前記センサとの他方で過去に得られた情報を用いてタグを重畳表示する重畳画像生成部と
を備え、
前記重畳画像生成部は、前記センサだけで検知された移動体については、前記検知部によって過去に移動体が検知された位置と、過去に取得されたセンサ情報に含まれる位置情報が示す位置との差に基づき、新たに取得されたセンサ情報に含まれる位置情報が示す位置を補正して前記表示位置を決定する管制支援装置。 - 画像データから管制対象の移動体を検知する検知部と、
センサによって検知されて得られた前記管制対象の移動体についてのセンサ情報であって、前記移動体の位置を示す位置情報が含まれたセンサ情報を取得するセンサ取得部と、
前記検知部によって移動体が検知された位置を基準として決められる、前記画像データにおける表示位置に、前記センサ取得部によって取得されたセンサ情報から生成されたタグを重畳表示して重畳画像を生成する重畳画像生成部であって、前記検知部と前記センサとのどちらか一方だけで検知された移動体については、前記検知部と前記センサとの他方で過去に得られた情報を用いてタグを重畳表示する重畳画像生成部と、
前記検知部によって検知された移動体と、前記センサ取得部によって取得されたセンサ情報が示す移動体とが同一の移動体であるか否かを判定する同一性判定部であって、基準速度以下の速度で移動している移動体については、検知された移動体の位置とセンサ情報に含まれる位置情報が示す移動体の位置との間の距離に基づき、同一の移動体であるか否かを判定する同一性判定部と
を備え、
前記重畳画像生成部は、前記検知部と前記センサとのどちらか一方だけで検知された移動体のうち、その移動体と同一の移動体であると前記同一性判定部によって判定された移動体については、前記検知部と前記センサとの他方で過去に得られた情報を用いてタグを重畳表示する管制支援装置。 - 前記重畳画像生成部は、前記検知部と前記センサとの両方で検知された移動体と、前記センサだけで検知された移動体と、前記検知部だけで検知された移動体とで、区別した表示を行う
請求項1から3までのいずれか1項に記載の管制支援装置。 - 前記重畳画像生成部は、前記検知部だけで検知された移動体については、過去に取得されたセンサ情報から生成されたタグを重畳表示する
請求項1から4までのいずれか1項に記載の管制支援装置。 - 前記センサ情報には、移動体の位置を示す位置情報が含まれており、
前記同一性判定部は、基準速度よりも速い速度で移動している移動体については、検知された移動体の位置から特定される移動方向と、センサ情報に含まれる位置情報が示す移動体の位置から特定される移動方向との間の差に基づき、同一の移動体であるか否かを判定する
請求項3に記載の管制支援装置。 - 前記同一性判定部は、検知された移動体の位置から特定される移動方向と、検知された移動体の位置からセンサ情報に含まれる位置情報が示す移動体の位置への方向との間の差に基づき、同一の移動体であるか否かを判定する
請求項6に記載の管制支援装置。 - 前記同一性判定部は、新たに前記検知部によって検知された移動体についての検知された領域と、過去に前記検知部によって検知された移動体についての検知された領域とが重なるか否かによって、新たに前記検知部によって検知された移動体と、過去に前記検知部によって検知された移動体との同一性を判定する
請求項3と請求項6と請求項7とのいずれか1項に記載の管制支援装置。 - コンピュータが、画像データから管制対象の移動体を検知し、
コンピュータが、センサによって検知されて得られた前記管制対象の移動体についてのセンサ情報を取得し、
コンピュータが、移動体が検知された位置を基準として決められる、前記画像データにおける表示位置に、センサ情報から生成されたタグを重畳表示して重畳画像を生成し、前記画像データと前記センサとのどちらか一方だけで検知された移動体については、前記画像データと前記センサとの他方で過去に得られた情報を用いてタグを重畳表示し、
コンピュータが、前記画像データと前記センサとの両方で検知された移動体と、前記センサだけで検知された移動体及び前記画像データだけで検知された移動体との間で、区別した表示を行う管制支援方法。 - コンピュータが、画像データから管制対象の移動体を検知し、
コンピュータが、センサによって検知されて得られた前記管制対象の移動体についてのセンサ情報であって、前記移動体の位置を示す位置情報が含まれたセンサ情報を取得し、
コンピュータが、移動体が検知された位置を基準として決められる、前記画像データにおける表示位置に、センサ情報から生成されたタグを重畳表示して重畳画像を生成し、前記画像データと前記センサとのどちらか一方だけで検知された移動体については、前記画像データと前記センサとの他方で過去に得られた情報を用いてタグを重畳表示し、
コンピュータが、前記センサだけで検知された移動体については、前記画像データによって過去に移動体が検知された位置と、過去に取得されたセンサ情報に含まれる位置情報が示す位置との差に基づき、新たに取得されたセンサ情報に含まれる位置情報が示す位置を補正して前記表示位置を決定する管制支援方法。 - コンピュータが、画像データから管制対象の移動体を検知し、
コンピュータが、センサによって検知されて得られた前記管制対象の移動体についてのセンサ情報であって、前記移動体の位置を示す位置情報が含まれたセンサ情報を取得し、
コンピュータが、移動体が検知された位置を基準として決められる、前記画像データにおける表示位置に、センサ情報から生成されたタグを重畳表示して重畳画像を生成し、前記画像データと前記センサとのどちらか一方だけで検知された移動体については、前記画像データと前記センサとの他方で過去に得られた情報を用いてタグを重畳表示し、
コンピュータが、前記画像データによって検知された移動体と、前記センサ情報が示す移動体とが同一の移動体であるか否かを判定し、基準速度以下の速度で移動している移動体については、検知された移動体の位置とセンサ情報に含まれる位置情報が示す移動体の位置との間の距離に基づき、同一の移動体であるか否かを判定し、
コンピュータが、前記画像データと前記センサとのどちらか一方だけで検知された移動体のうち、その移動体と同一の移動体であると判定された移動体については、前記画像データと前記センサとの他方で過去に得られた情報を用いてタグを重畳表示する管制支援方法。 - 画像データから管制対象の移動体を検知する検知処理と、
センサによって検知されて得られた前記管制対象の移動体についてのセンサ情報を取得するセンサ取得処理と、
前記検知処理によって移動体が検知された位置を基準として決められる、前記画像データにおける表示位置に、前記センサ取得処理によって取得されたセンサ情報から生成されたタグを重畳表示して重畳画像を生成する重畳画像生成処理であって、前記検知処理と前記センサとのどちらか一方だけで検知された移動体については、前記検知処理と前記センサとの他方で過去に得られた情報を用いてタグを重畳表示する重畳画像生成処理と
を行う管制支援装置としてコンピュータを機能させ、
前記重畳画像生成処理では、前記検知処理と前記センサとの両方で検知された移動体と、前記センサだけで検知された移動体及び前記検知処理だけで検知された移動体との間で、区別した表示を行う管制支援プログラム。 - 画像データから管制対象の移動体を検知する検知処理と、
センサによって検知されて得られた前記管制対象の移動体についてのセンサ情報であって、前記移動体の位置を示す位置情報が含まれたセンサ情報を取得するセンサ取得処理と、
前記検知処理によって移動体が検知された位置を基準として決められる、前記画像データにおける表示位置に、前記センサ取得処理によって取得されたセンサ情報から生成されたタグを重畳表示して重畳画像を生成する重畳画像生成処理であって、前記検知処理と前記センサとのどちらか一方だけで検知された移動体については、前記検知処理と前記センサとの他方で過去に得られた情報を用いてタグを重畳表示する重畳画像生成処理と
を行う管制支援装置としてコンピュータを機能させ、
前記重畳画像生成処理では、前記センサだけで検知された移動体については、前記検知処理によって過去に移動体が検知された位置と、過去に取得されたセンサ情報に含まれる位置情報が示す位置との差に基づき、新たに取得されたセンサ情報に含まれる位置情報が示す位置を補正して前記表示位置を決定する管制支援プログラム。 - 画像データから管制対象の移動体を検知する検知処理と、
センサによって検知されて得られた前記管制対象の移動体についてのセンサ情報であって、前記移動体の位置を示す位置情報が含まれたセンサ情報を取得するセンサ取得処理と、
前記検知処理によって移動体が検知された位置を基準として決められる、前記画像データにおける表示位置に、前記センサ取得処理によって取得されたセンサ情報から生成されたタグを重畳表示して重畳画像を生成する重畳画像生成処理であって、前記検知処理と前記センサとのどちらか一方だけで検知された移動体については、前記検知処理と前記センサとの他方で過去に得られた情報を用いてタグを重畳表示する重畳画像生成処理と、
前記検知処理によって検知された移動体と、前記センサ取得処理によって取得されたセンサ情報が示す移動体とが同一の移動体であるか否かを判定する同一性判定処理であって、基準速度以下の速度で移動している移動体については、検知された移動体の位置とセンサ情報に含まれる位置情報が示す移動体の位置との間の距離に基づき、同一の移動体であるか否かを判定する同一性判定処理と
を行う管制支援装置としてコンピュータを機能させ、
前記重畳画像生成処理では、前記検知処理と前記センサとのどちらか一方だけで検知された移動体のうち、その移動体と同一の移動体であると前記同一性判定処理によって判定された移動体については、前記検知処理と前記センサとの他方で過去に得られた情報を用いてタグを重畳表示する管制支援プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021122498A JP7241818B2 (ja) | 2021-07-27 | 2021-07-27 | 管制支援装置、管制支援方法及び管制支援プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021122498A JP7241818B2 (ja) | 2021-07-27 | 2021-07-27 | 管制支援装置、管制支援方法及び管制支援プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023018398A JP2023018398A (ja) | 2023-02-08 |
JP7241818B2 true JP7241818B2 (ja) | 2023-03-17 |
Family
ID=85158294
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021122498A Active JP7241818B2 (ja) | 2021-07-27 | 2021-07-27 | 管制支援装置、管制支援方法及び管制支援プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7241818B2 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002277544A (ja) | 2001-03-21 | 2002-09-25 | Toshiba Corp | 空港滑走路監視装置 |
JP2005207892A (ja) | 2004-01-22 | 2005-08-04 | Denso Corp | 電波送信装置及びナビゲーション装置 |
JP2006270404A (ja) | 2005-03-23 | 2006-10-05 | Mitsubishi Electric Corp | 撮影制御装置、撮影制御方法および撮影制御プログラム |
JP2012070260A (ja) | 2010-09-24 | 2012-04-05 | Navicom Aviation Corp | 航空機管理システム、機上装置及び地上装置、機上装置用プログラム及び地上装置用プログラム並びに情報処理方法 |
JP2013161113A (ja) | 2012-02-01 | 2013-08-19 | Toyota Motor Corp | 走行車線認識装置 |
JP2019022178A (ja) | 2017-07-21 | 2019-02-07 | 三菱電機株式会社 | 管制支援装置、管制支援方法および管制支援プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09281212A (ja) * | 1996-04-16 | 1997-10-31 | Sony Corp | 移動体の位置検知装置 |
JP2973302B2 (ja) * | 1997-11-27 | 1999-11-08 | 日本電気株式会社 | 空港面監視装置 |
-
2021
- 2021-07-27 JP JP2021122498A patent/JP7241818B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002277544A (ja) | 2001-03-21 | 2002-09-25 | Toshiba Corp | 空港滑走路監視装置 |
JP2005207892A (ja) | 2004-01-22 | 2005-08-04 | Denso Corp | 電波送信装置及びナビゲーション装置 |
JP2006270404A (ja) | 2005-03-23 | 2006-10-05 | Mitsubishi Electric Corp | 撮影制御装置、撮影制御方法および撮影制御プログラム |
JP2012070260A (ja) | 2010-09-24 | 2012-04-05 | Navicom Aviation Corp | 航空機管理システム、機上装置及び地上装置、機上装置用プログラム及び地上装置用プログラム並びに情報処理方法 |
JP2013161113A (ja) | 2012-02-01 | 2013-08-19 | Toyota Motor Corp | 走行車線認識装置 |
JP2019022178A (ja) | 2017-07-21 | 2019-02-07 | 三菱電機株式会社 | 管制支援装置、管制支援方法および管制支援プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2023018398A (ja) | 2023-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7221089B2 (ja) | 動的な交通参加者の除去による位置推定と地図生成の安定した同時実行 | |
EP3420530B1 (en) | A device and method for determining a pose of a camera | |
US11527077B2 (en) | Advanced driver assist system, method of calibrating the same, and method of detecting object in the same | |
JP5663352B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP3279479B2 (ja) | 映像監視方法及び装置 | |
US9953225B2 (en) | Image processing apparatus and image processing method | |
US20130215270A1 (en) | Object detection apparatus | |
JPWO2009005141A1 (ja) | 物体領域検出装置、物体領域検出システム、物体領域検出方法及びプログラム | |
WO2020154990A1 (zh) | 目标物体运动状态检测方法、设备及存储介质 | |
JP2006338272A (ja) | 車両挙動検出装置、および車両挙動検出方法 | |
JP7209115B2 (ja) | 複数の相対的に接近する様に動いているリジッドなオブジェクトの検出、3d再現および追跡 | |
US20200082544A1 (en) | Computer vision processing | |
CN113396423A (zh) | 处理来自基于事件的传感器的信息的方法 | |
JP2015138319A (ja) | 物体検出装置、物体検出方法、および物体検出プログラム | |
JP6795224B2 (ja) | 移動体検知装置、移動体検知方法、及びプログラム | |
Tsoukalas et al. | Deep learning assisted visual tracking of evader-UAV | |
JP7241818B2 (ja) | 管制支援装置、管制支援方法及び管制支援プログラム | |
JP2010003253A (ja) | 運動推定装置 | |
JP2008026999A (ja) | 障害物検出システム、及び障害物検出方法 | |
JP2008165595A (ja) | 障害物検出方法、障害物検出装置、障害物検出システム | |
JP7384158B2 (ja) | 画像処理装置、移動装置、および方法、並びにプログラム | |
JP2020144758A (ja) | 移動物体検出装置、移動物体検出方法およびコンピュータプログラム | |
JP2002027480A (ja) | 動画像処理方法および動画像処理装置 | |
KR102161212B1 (ko) | 움직임 검출 시스템 및 방법 | |
JP7026729B2 (ja) | 管制支援装置、管制支援方法及び管制支援プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220816 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230307 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7241818 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |