JP7241818B2 - 管制支援装置、管制支援方法及び管制支援プログラム - Google Patents
管制支援装置、管制支援方法及び管制支援プログラム Download PDFInfo
- Publication number
- JP7241818B2 JP7241818B2 JP2021122498A JP2021122498A JP7241818B2 JP 7241818 B2 JP7241818 B2 JP 7241818B2 JP 2021122498 A JP2021122498 A JP 2021122498A JP 2021122498 A JP2021122498 A JP 2021122498A JP 7241818 B2 JP7241818 B2 JP 7241818B2
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- detected
- moving object
- moving
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
本開示は、移動体の管制を支援するための画像を生成する技術に関する。
管制業務は目視確認が原則である。しかし、空港拡張又はメンテナンス工事等に伴い、物理的に視界が遮られてしまうケースと、遠方あるいは雲又は悪天等により目視確認が難しいケースとが想定される。そのため、空港処理能力向上のためには管制官に対する目視確認の支援が必要である。
特許文献１には、管制対象の航空機が行き交う場所を撮影した撮影画像をもとに、撮影範囲の一部の領域を他の領域よりも少ない色で表示する表示画像を生成して表示することが記載されている。また、特許文献１には、表示画像において、航空機の隣に識別子を含むタグを表示することが記載されている。表示画像を表示することにより、特許文献１では、管制官に対する目視確認の支援を行っている。
特許文献１では、撮影画像から航空機が検知されており、かつ、センサによって航空機が検知されていることが前提となっている。そのため、例えば、一時的にセンサによって航空機が検知されず、センサ情報が取得されなくなってしまうと、その航空機についての識別子等が表示されない状態になってしまい、管制官に対する目視確認の支援が適切に行えなくなってしまう。
本開示は、撮影画像からの検知と、センサによる検知とのどちらか一方だけがされている場合にも、管制官に対する目視確認の支援を可能にすることを目的とする。
本開示は、撮影画像からの検知と、センサによる検知とのどちらか一方だけがされている場合にも、管制官に対する目視確認の支援を可能にすることを目的とする。
本開示に係る管制支援装置は、
画像データから管制対象の移動体を検知する検知部と、
センサによって検知されて得られた前記管制対象の移動体についてのセンサ情報を取得するセンサ取得部と、
前記検知部によって移動体が検知された位置を基準として決められる、前記画像データにおける表示位置に、前記センサ取得部によって取得されたセンサ情報から生成されたタグを重畳表示して重畳画像を生成する重畳画像生成部であって、前記検知部と前記センサとのどちらか一方だけで検知された移動体については、前記検知部と前記センサとの他方で過去に得られた情報を用いてタグを重畳表示する重畳画像生成部と
を備える。
画像データから管制対象の移動体を検知する検知部と、
センサによって検知されて得られた前記管制対象の移動体についてのセンサ情報を取得するセンサ取得部と、
前記検知部によって移動体が検知された位置を基準として決められる、前記画像データにおける表示位置に、前記センサ取得部によって取得されたセンサ情報から生成されたタグを重畳表示して重畳画像を生成する重畳画像生成部であって、前記検知部と前記センサとのどちらか一方だけで検知された移動体については、前記検知部と前記センサとの他方で過去に得られた情報を用いてタグを重畳表示する重畳画像生成部と
を備える。
本開示では、検知部とセンサとのどちらか一方だけで検知された移動体については、過去に検知された情報を用いて重畳画像が生成される。これにより、画像データからの検知と、センサによる検知とのどちらか一方だけがされている場合にも、管制官に対する目視確認の適切な支援が可能である。
実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る管制支援装置１０の構成を説明する。
管制支援装置１０は、コンピュータである。
管制支援装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る管制支援装置１０の構成を説明する。
管制支援装置１０は、コンピュータである。
管制支援装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、ストレージ１３は、ＳＤ（登録商標，Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ，登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記録媒体であってもよい。
通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標，Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のポートである。
管制支援装置１０は、通信インタフェース１４を介して、センサ４１と、撮影装置４２と、表示装置４３とに接続されている。図１では、センサ４１及び撮影装置４２は複数だが、１つでもよい。
管制支援装置１０は、通信インタフェース１４を介して、センサ４１と、撮影装置４２と、表示装置４３とに接続されている。図１では、センサ４１及び撮影装置４２は複数だが、１つでもよい。
管制支援装置１０は、機能構成要素として、センサ取得部２１と、タグ生成部２２と、画像取得部２３と、検知部２４と、同一性判定部２５と、重畳画像生成部２６とを備える。管制支援装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、管制支援装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、管制支援装置１０の各機能構成要素の機能が実現される。
ストレージ１３には、管制支援装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、管制支援装置１０の各機能構成要素の機能が実現される。
図１では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。
＊＊＊動作の説明＊＊＊
図２から図９を参照して、実施の形態１に係る管制支援装置１０の動作を説明する。
実施の形態１に係る管制支援装置１０の動作手順は、実施の形態１に係る管制支援方法に相当する。また、実施の形態１に係る管制支援装置１０の動作を実現するプログラムは、実施の形態１に係る管制支援プログラムに相当する。
図２から図９を参照して、実施の形態１に係る管制支援装置１０の動作を説明する。
実施の形態１に係る管制支援装置１０の動作手順は、実施の形態１に係る管制支援方法に相当する。また、実施の形態１に係る管制支援装置１０の動作を実現するプログラムは、実施の形態１に係る管制支援プログラムに相当する。
図２を参照して、実施の形態１に係る管制支援装置１０の全体的な処理を説明する。
（ステップＳ１１：センサ取得処理）
センサ取得部２１は、通信インタフェース１４を介して、センサ４１によって管制対象の移動体５１が検知されて生成された１つ以上のセンサ情報を取得する。
センサ情報は、センサ４１によって検知された移動体５１毎に生成される。センサ情報は、移動体５１の識別子である移動体ＩＤと、移動体５１の位置及び速度を示す位置情報と、移動体５１から送信された移動体５１に関する移動体情報とを含む。移動体情報は、具体例としては、移動体５１の出発地である。実施の形態１では、移動体５１は、航空機である。しかし、移動体５１は、航空機の他に、空港を走行する車両等を含んでもよい。
（ステップＳ１１：センサ取得処理）
センサ取得部２１は、通信インタフェース１４を介して、センサ４１によって管制対象の移動体５１が検知されて生成された１つ以上のセンサ情報を取得する。
センサ情報は、センサ４１によって検知された移動体５１毎に生成される。センサ情報は、移動体５１の識別子である移動体ＩＤと、移動体５１の位置及び速度を示す位置情報と、移動体５１から送信された移動体５１に関する移動体情報とを含む。移動体情報は、具体例としては、移動体５１の出発地である。実施の形態１では、移動体５１は、航空機である。しかし、移動体５１は、航空機の他に、空港を走行する車両等を含んでもよい。
（ステップＳ１２：タグ生成処理）
タグ生成部２２は、ステップＳ１１で取得された１つ以上のセンサ情報それぞれを対象として、対象のセンサ情報から、対象のセンサ情報が示す移動体５１についてのタグ５２を生成する。
タグ５２は、対象の移動体５１についての移動体ＩＤと位置情報と移動体情報との少なくともいずれかを示し、枠で囲まれた画像である。実施の形態１では、タグ５２は、移動体ＩＤを含む。
タグ生成部２２は、ステップＳ１１で取得された１つ以上のセンサ情報それぞれを対象として、対象のセンサ情報から、対象のセンサ情報が示す移動体５１についてのタグ５２を生成する。
タグ５２は、対象の移動体５１についての移動体ＩＤと位置情報と移動体情報との少なくともいずれかを示し、枠で囲まれた画像である。実施の形態１では、タグ５２は、移動体ＩＤを含む。
（ステップＳ１３：画像取得処理）
画像取得部２３は、通信インタフェース１４を介して、各撮影装置４２によって撮影されて得られた画像データを取得する。各撮影装置４２は、空港及び空港の周辺を撮影するように設置されている。各撮影装置４２は、撮影領域の一部が重なるように、少しずつ撮影領域をずらして設置されている。
画像取得部２３は、通信インタフェース１４を介して、各撮影装置４２によって撮影されて得られた画像データを取得する。各撮影装置４２は、空港及び空港の周辺を撮影するように設置されている。各撮影装置４２は、撮影領域の一部が重なるように、少しずつ撮影領域をずらして設置されている。
（ステップＳ１４：パノラマ生成処理）
画像取得部２３は、ステップＳ１３で取得された画像データを合成して、各撮影装置４２の撮影領域全体を撮影した画像データであるパノラマ画像を生成する。画像データを合成する方法は、既存の手法を用いればよい。
画像取得部２３は、ステップＳ１３で取得された画像データを合成して、各撮影装置４２の撮影領域全体を撮影した画像データであるパノラマ画像を生成する。画像データを合成する方法は、既存の手法を用いればよい。
（ステップＳ１５：検知処理）
検知部２４は、ステップＳ１４で生成されたパノラマ画像から、管制対象の移動体５１を検知する。
具体的には、検知部２４は、テンプレートマッチングを用いる、又はニューラルネットワークを用いた物体検知モデルを用いるといった方法により、パノラマ画像から管制対象の移動体５１を検知する。
検知部２４は、ステップＳ１４で生成されたパノラマ画像から、管制対象の移動体５１を検知する。
具体的には、検知部２４は、テンプレートマッチングを用いる、又はニューラルネットワークを用いた物体検知モデルを用いるといった方法により、パノラマ画像から管制対象の移動体５１を検知する。
（ステップＳ１６：同一性判定処理）
同一性判定部２５は、ステップＳ１１で取得されたセンサ情報が示す移動体５１である第１移動体５１１と、ステップＳ１４で検知された移動体５１である第２移動体５１２とが同一の移動体５１であるか否かを判定する。そして、同一性判定部２５は、同一の移動体５１であると判定された第１移動体５１１と第２移動体５１２とを対応付けして１つの移動体５１として扱う。
これにより、図３に示すように、同一性判定部２５は、検知部２４とセンサ４１との両方で検知された移動体５１と、センサ４１だけで検知された移動体５１と、検知部２４だけで検知された移動体５１とに分類した移動体リスト５３を生成する。ここで、第１移動体５１１と第２移動体５１２とが対応付けされた移動体５１は、検知部２４とセンサ４１との両方で検知された移動体５１である。第２移動体５１２と対応付けされなかった第１移動体５１１は、センサ４１だけで検知された移動体５１である。第１移動体５１１と対応付けされなかった第２移動体５１２は、検知部２４だけで検知された移動体５１である。
同一性判定部２５は、移動体リスト５３の移動体５１に対して、それぞれを一意に識別できるように、識別番号を割り当てる。同一性判定部２５は、前回検知された移動体５１が次の検知状態更新のタイミングで再び検知された場合には、移動体リスト５３に新たに行を追加するのではなく、当該識別番号の検知情報を更新する。例えば、同一性判定部２５は、センサ４１又は検知部２４の一方だけにより検知された移動体５１について次の検知状態更新のタイミングで両方で検知した場合には、移動体リスト５３に新たに行を追加するのではなく、当該識別番号の検知情報を更新すればよい。
また、移動体リストは移動体５１の検知部２４及びセンサ２４の前回検知状態を保持する。これは、現在の検知状態に更新するタイミングで、過去の検知状態を前回検知として記録するものである。
同一性判定部２５は、ステップＳ１１で取得されたセンサ情報が示す移動体５１である第１移動体５１１と、ステップＳ１４で検知された移動体５１である第２移動体５１２とが同一の移動体５１であるか否かを判定する。そして、同一性判定部２５は、同一の移動体５１であると判定された第１移動体５１１と第２移動体５１２とを対応付けして１つの移動体５１として扱う。
これにより、図３に示すように、同一性判定部２５は、検知部２４とセンサ４１との両方で検知された移動体５１と、センサ４１だけで検知された移動体５１と、検知部２４だけで検知された移動体５１とに分類した移動体リスト５３を生成する。ここで、第１移動体５１１と第２移動体５１２とが対応付けされた移動体５１は、検知部２４とセンサ４１との両方で検知された移動体５１である。第２移動体５１２と対応付けされなかった第１移動体５１１は、センサ４１だけで検知された移動体５１である。第１移動体５１１と対応付けされなかった第２移動体５１２は、検知部２４だけで検知された移動体５１である。
同一性判定部２５は、移動体リスト５３の移動体５１に対して、それぞれを一意に識別できるように、識別番号を割り当てる。同一性判定部２５は、前回検知された移動体５１が次の検知状態更新のタイミングで再び検知された場合には、移動体リスト５３に新たに行を追加するのではなく、当該識別番号の検知情報を更新する。例えば、同一性判定部２５は、センサ４１又は検知部２４の一方だけにより検知された移動体５１について次の検知状態更新のタイミングで両方で検知した場合には、移動体リスト５３に新たに行を追加するのではなく、当該識別番号の検知情報を更新すればよい。
また、移動体リストは移動体５１の検知部２４及びセンサ２４の前回検知状態を保持する。これは、現在の検知状態に更新するタイミングで、過去の検知状態を前回検知として記録するものである。
（ステップＳ１７：重畳画像生成処理）
図４に示すように、重畳画像生成部２６は、ステップＳ１５で移動体５１が検知された位置を基準として決められる、パノラマ画像における表示位置に、ステップＳ１２で生成されたタグ５２を重畳表示して重畳画像５４を生成する。
具体的には、重畳画像生成部２６は、検知部２４とセンサ４１との両方で検知された移動体５１については、ステップＳ１５で検知部２４によって検知された位置から決められる、パノラマ画像における表示位置に、タグ５２を重畳表示する。一方、重畳画像生成部２６は、検知部２４とセンサ４１とのどちらか一方だけで検知された移動体５１については、図３の移動体リストの前回検知状態に基づき、検知部２４とセンサ４１との他方で過去に検知された情報を用いて、パノラマ画像に対してタグ５２を重畳表示する。
図４に示すように、重畳画像生成部２６は、ステップＳ１５で移動体５１が検知された位置を基準として決められる、パノラマ画像における表示位置に、ステップＳ１２で生成されたタグ５２を重畳表示して重畳画像５４を生成する。
具体的には、重畳画像生成部２６は、検知部２４とセンサ４１との両方で検知された移動体５１については、ステップＳ１５で検知部２４によって検知された位置から決められる、パノラマ画像における表示位置に、タグ５２を重畳表示する。一方、重畳画像生成部２６は、検知部２４とセンサ４１とのどちらか一方だけで検知された移動体５１については、図３の移動体リストの前回検知状態に基づき、検知部２４とセンサ４１との他方で過去に検知された情報を用いて、パノラマ画像に対してタグ５２を重畳表示する。
この際、重畳画像生成部２６は、検知部２４とセンサ４１との両方で検知された移動体５１と、センサ４１だけで検知された移動体と、検知部２４だけで検知された移動体５１とで、パノラマ画像に対して区別した表示を行う。実施の形態１では、重畳画像生成部２６は、検知部２４とセンサ４１との両方で検知された移動体５１と、センサ４１だけで検知された移動体と、検知部２４だけで検知された移動体５１とで、異なる態様の検知枠５５を重畳表示する。検知枠５５は、検知部２４によって移動体５１が検知された位置を示す枠であり、ここでは移動体５１が検知された領域を囲む矩形の枠である。
図４では、検知部２４とセンサ４１との両方で検知された移動体５１についての検知枠５５は、実線で描かれている。センサ４１だけで検知された移動体についての検知枠５５は、破線で描かれている。検知部２４だけで検知された移動体５１についての検知枠５５は、一点鎖線で描かれている。
図４では、検知部２４とセンサ４１との両方で検知された移動体５１についての検知枠５５は、実線で描かれている。センサ４１だけで検知された移動体についての検知枠５５は、破線で描かれている。検知部２４だけで検知された移動体５１についての検知枠５５は、一点鎖線で描かれている。
（ステップＳ１８：表示処理）
重畳画像生成部２６は、ステップＳ１７で生成された重畳画像５４を表示装置４３に表示する。
重畳画像生成部２６は、ステップＳ１７で生成された重畳画像５４を表示装置４３に表示する。
図５を参照して、実施の形態１に係る重畳画像生成処理（図２のステップＳ１７）を説明する。
重畳画像生成部２６は、１秒毎に最新の検知状態に更新される移動体リスト５３のレコードを入力として、ステップＳ２１からステップＳ２８の処理を実行する。
重畳画像生成部２６は、１秒毎に最新の検知状態に更新される移動体リスト５３のレコードを入力として、ステップＳ２１からステップＳ２８の処理を実行する。
（ステップＳ２１：結果判定処理）
重畳画像生成部２６は、処理対象の移動体５１が、検知部２４とセンサ４１との両方で検知された移動体５１と、センサ４１だけで検知された移動体５１と、検知部２４だけで検知された移動体５１とのいずれかであるかを判定する。
重畳画像生成部２６は、処理対象の移動体５１が、検知部２４とセンサ４１との両方で検知された移動体５１である場合には、処理をステップＳ２２に進める。重畳画像生成部２６は、処理対象の移動体５１が、センサ４１だけで検知された移動体５１である場合には、処理をステップＳ２３に進める。重畳画像生成部２６は、検知部２４だけで検知された移動体５１である場合には、処理をステップＳ２６に進める。
重畳画像生成部２６は、処理対象の移動体５１が、検知部２４とセンサ４１との両方で検知された移動体５１と、センサ４１だけで検知された移動体５１と、検知部２４だけで検知された移動体５１とのいずれかであるかを判定する。
重畳画像生成部２６は、処理対象の移動体５１が、検知部２４とセンサ４１との両方で検知された移動体５１である場合には、処理をステップＳ２２に進める。重畳画像生成部２６は、処理対象の移動体５１が、センサ４１だけで検知された移動体５１である場合には、処理をステップＳ２３に進める。重畳画像生成部２６は、検知部２４だけで検知された移動体５１である場合には、処理をステップＳ２６に進める。
（ステップＳ２２：第１重畳処理）
重畳画像生成部２６は、ステップＳ１５で検知部２４によって処理対象の移動体５１が検知された位置から決められる、パノラマ画像における表示位置に、ステップＳ１２で生成されたタグ５２を重畳表示する。この際、図６に示すように、重畳画像生成部２６は、検知部２４によって処理対象の移動体５１が検知された位置に検知枠５５を実線で描く。
ここで、表示位置は、ステップＳ１５で検知部２４によって検知された位置の付近である。例えば、表示位置は、ステップＳ１５で検知部２４によって検知された位置を基準として、基準方向に基準距離だけずらした位置である。基準距離は、特定の撮影装置４２から移動体５１までの距離に応じて変更されてもよい。
重畳画像生成部２６は、ステップＳ１５で検知部２４によって処理対象の移動体５１が検知された位置から決められる、パノラマ画像における表示位置に、ステップＳ１２で生成されたタグ５２を重畳表示する。この際、図６に示すように、重畳画像生成部２６は、検知部２４によって処理対象の移動体５１が検知された位置に検知枠５５を実線で描く。
ここで、表示位置は、ステップＳ１５で検知部２４によって検知された位置の付近である。例えば、表示位置は、ステップＳ１５で検知部２４によって検知された位置を基準として、基準方向に基準距離だけずらした位置である。基準距離は、特定の撮影装置４２から移動体５１までの距離に応じて変更されてもよい。
（ステップＳ２３：第１過去判定処理）
重畳画像生成部２６は、処理対象の移動体５１について、過去基準期間において検知部２４により検知されていたか否かを判定する。センサ情報には、移動体５１の移動体ＩＤが含まれている。したがって、重畳画像生成部２６は、過去基準期間に得られたセンサ情報から処理対象の移動体５１の移動体ＩＤを含むセンサ情報を抽出することにより、処理対象の移動体５１を検知して得られたセンサ情報を特定できる。重畳画像生成部２６は、特定されたセンサ情報が示す移動体５１である第１移動体５１１が、第２移動体５１２と対応付けされたか否かにより、処理対象の移動体５１が、検知部２４により検知されていたか否かを判定することが可能である。
重畳画像生成部２６は、検知されていた場合には、処理をステップＳ２４に進める。一方、重畳画像生成部２６は、検知されていなかった場合には、処理をステップＳ２５に進める。
重畳画像生成部２６は、処理対象の移動体５１について、過去基準期間において検知部２４により検知されていたか否かを判定する。センサ情報には、移動体５１の移動体ＩＤが含まれている。したがって、重畳画像生成部２６は、過去基準期間に得られたセンサ情報から処理対象の移動体５１の移動体ＩＤを含むセンサ情報を抽出することにより、処理対象の移動体５１を検知して得られたセンサ情報を特定できる。重畳画像生成部２６は、特定されたセンサ情報が示す移動体５１である第１移動体５１１が、第２移動体５１２と対応付けされたか否かにより、処理対象の移動体５１が、検知部２４により検知されていたか否かを判定することが可能である。
重畳画像生成部２６は、検知されていた場合には、処理をステップＳ２４に進める。一方、重畳画像生成部２６は、検知されていなかった場合には、処理をステップＳ２５に進める。
（ステップＳ２４：第２重畳処理）
重畳画像生成部２６は、検知部２４によって過去に処理対象の移動体５１が検知された位置に基づき表示位置を決定する。そして、重畳画像生成部２６は、パノラマ画像における表示位置に、タグ５２を重畳表示する。この際、図６に示すように、重畳画像生成部２６は、検知部２４によって過去に処理対象の移動体５１が検知された位置から特定される推定位置に検知枠５５を破線で描き、検知枠５５の右下に“＊”を加える。
ここで、図７に示すように、重畳画像生成部２６は、検知部２４によって過去に処理対象の移動体５１が検知された位置と、過去に取得された処理対象の移動体５１についてのセンサ情報に含まれる位置情報が示す位置との差に基づき、新たに取得されたセンサ情報に含まれる位置情報が示す位置を補正して推定位置及び表示位置を決定する。図７に示すように、重畳画像生成部２６は、過去基準期間における各時点において、検知部２４によって検知された位置と取得されたセンサ情報に含まれる位置情報が示す位置との差の平均値を補正値として計算する。図７では、時刻ｔ－１，ｔ－２，ｔ－３それぞれにおける差の平均値が補正値として計算されている。そして、重畳画像生成部２６は、今回新たに取得されたセンサ情報に含まれる位置情報が示す位置を補正値により補正した位置を推定位置とする。重畳画像生成部２６は、推定位置を基準として、基準方向に基準距離だけずらした位置を表示位置に決定する。
重畳画像生成部２６は、検知部２４によって過去に処理対象の移動体５１が検知された位置に基づき表示位置を決定する。そして、重畳画像生成部２６は、パノラマ画像における表示位置に、タグ５２を重畳表示する。この際、図６に示すように、重畳画像生成部２６は、検知部２４によって過去に処理対象の移動体５１が検知された位置から特定される推定位置に検知枠５５を破線で描き、検知枠５５の右下に“＊”を加える。
ここで、図７に示すように、重畳画像生成部２６は、検知部２４によって過去に処理対象の移動体５１が検知された位置と、過去に取得された処理対象の移動体５１についてのセンサ情報に含まれる位置情報が示す位置との差に基づき、新たに取得されたセンサ情報に含まれる位置情報が示す位置を補正して推定位置及び表示位置を決定する。図７に示すように、重畳画像生成部２６は、過去基準期間における各時点において、検知部２４によって検知された位置と取得されたセンサ情報に含まれる位置情報が示す位置との差の平均値を補正値として計算する。図７では、時刻ｔ－１，ｔ－２，ｔ－３それぞれにおける差の平均値が補正値として計算されている。そして、重畳画像生成部２６は、今回新たに取得されたセンサ情報に含まれる位置情報が示す位置を補正値により補正した位置を推定位置とする。重畳画像生成部２６は、推定位置を基準として、基準方向に基準距離だけずらした位置を表示位置に決定する。
（ステップＳ２５：第３重畳処理）
重畳画像生成部２６は、センサ情報に含まれる位置情報が示す位置に基づき表示位置を決定する。そして、重畳画像生成部２６は、パノラマ画像における表示位置に、タグ５２を重畳表示する。この際、図６に示すように、重畳画像生成部２６は、センサ情報に含まれる位置情報が示す位置から推測される移動体５１の推測位置に検知枠５５を破線で描く。なお、検知枠５５の右下に“＊”は加えられない。
センサ情報に含まれる位置情報が示す位置は、数秒程度前の移動体５１の位置である。そのため、重畳画像生成部２６は、過去のセンサ情報の位置の軌跡から移動体５１の移動ベクトルを計算し、直近のセンサ情報に含まれる位置情報が示す位置を基準として、移動ベクトルに従い指定時間（数秒）後の位置を推定して推定位置を特定する。
重畳画像生成部２６は、センサ情報に含まれる位置情報が示す位置に基づき表示位置を決定する。そして、重畳画像生成部２６は、パノラマ画像における表示位置に、タグ５２を重畳表示する。この際、図６に示すように、重畳画像生成部２６は、センサ情報に含まれる位置情報が示す位置から推測される移動体５１の推測位置に検知枠５５を破線で描く。なお、検知枠５５の右下に“＊”は加えられない。
センサ情報に含まれる位置情報が示す位置は、数秒程度前の移動体５１の位置である。そのため、重畳画像生成部２６は、過去のセンサ情報の位置の軌跡から移動体５１の移動ベクトルを計算し、直近のセンサ情報に含まれる位置情報が示す位置を基準として、移動ベクトルに従い指定時間（数秒）後の位置を推定して推定位置を特定する。
（ステップＳ２６：第２過去判定処理）
重畳画像生成部２６は、処理対象の移動体５１について、過去基準期間においてセンサ４１により検知されていたか否かを判定する。ここでは、検知部２４によって検知された移動体５１について追跡処理が行われているものとする。追跡処理は既存技術を用いて実現可能である。したがって、過去基準期間に検知部２４によって検知された処理対象の移動体５１を特定できる。重畳画像生成部２６は、特定された処理対象の移動体５１である第２移動体５１２が、第１移動体５１１と対応付けされたか否かにより、処理対象の移動体５１が、センサ４１により検知されていたか否かを判定することが可能である。
重畳画像生成部２６は、検知されていた場合には、処理をステップＳ２７に進める。一方、重畳画像生成部２６は、検知されていなかった場合には、処理をステップＳ２８に進める。
重畳画像生成部２６は、処理対象の移動体５１について、過去基準期間においてセンサ４１により検知されていたか否かを判定する。ここでは、検知部２４によって検知された移動体５１について追跡処理が行われているものとする。追跡処理は既存技術を用いて実現可能である。したがって、過去基準期間に検知部２４によって検知された処理対象の移動体５１を特定できる。重畳画像生成部２６は、特定された処理対象の移動体５１である第２移動体５１２が、第１移動体５１１と対応付けされたか否かにより、処理対象の移動体５１が、センサ４１により検知されていたか否かを判定することが可能である。
重畳画像生成部２６は、検知されていた場合には、処理をステップＳ２７に進める。一方、重畳画像生成部２６は、検知されていなかった場合には、処理をステップＳ２８に進める。
（ステップＳ２７：第４重畳処理）
重畳画像生成部２６は、検知部２４によって処理対象の移動体５１が検知された位置から決められる、パノラマ画像における表示位置に、センサ４１によって過去に検知され取得されたセンサ情報から生成されたタグ５２を重畳表示する。この際、図６に示すように、重畳画像生成部２６は、検知部２４によって処理対象の移動体５１が検知された位置に検知枠５５を一点鎖線で描き、検知枠５５の右下に“＊”を加える。
重畳画像生成部２６は、処理対象の移動体５１について過去基準期間に複数のセンサ情報が得られている場合には、できるだけ新しいセンサ情報から生成されたタグ５２を重畳表示する。図８に示すように、重畳画像生成部２６は、過去基準期間における各時点において取得されたセンサ情報のうち、最も新しいセンサ情報から生成されたタグ５２を取得して重畳表示する。
なお、表示位置は、ステップＳ２２と同じ方法により決定される。
重畳画像生成部２６は、検知部２４によって処理対象の移動体５１が検知された位置から決められる、パノラマ画像における表示位置に、センサ４１によって過去に検知され取得されたセンサ情報から生成されたタグ５２を重畳表示する。この際、図６に示すように、重畳画像生成部２６は、検知部２４によって処理対象の移動体５１が検知された位置に検知枠５５を一点鎖線で描き、検知枠５５の右下に“＊”を加える。
重畳画像生成部２６は、処理対象の移動体５１について過去基準期間に複数のセンサ情報が得られている場合には、できるだけ新しいセンサ情報から生成されたタグ５２を重畳表示する。図８に示すように、重畳画像生成部２６は、過去基準期間における各時点において取得されたセンサ情報のうち、最も新しいセンサ情報から生成されたタグ５２を取得して重畳表示する。
なお、表示位置は、ステップＳ２２と同じ方法により決定される。
（ステップＳ２８：第５重畳処理）
重畳画像生成部２６は、検知部２４によって処理対象の移動体５１が検知された位置に検知枠５５を一点鎖線で描く。なお、検知枠５５の右下に“＊”は加えられない。
ここでは、処理対象の移動体５１について、センサ情報が得られないため、タグ５２は重畳表示されない。
重畳画像生成部２６は、検知部２４によって処理対象の移動体５１が検知された位置に検知枠５５を一点鎖線で描く。なお、検知枠５５の右下に“＊”は加えられない。
ここでは、処理対象の移動体５１について、センサ情報が得られないため、タグ５２は重畳表示されない。
図９を参照して、実施の形態１に係る移動体５１の検知状態の遷移を説明する。
移動体５１の検知状態としては、検知部２４とセンサ４１との両方で検知されている両検知状態６１と、センサ４１だけで検知されたセンサ検知状態６２と、検知部２４だけで検知された画像検知状態６３と、検知部２４とセンサ４１とのどちらでも検知されていない未検知状態６４とがある。
図９において矢印で示すように、各検知状態の間で状態の遷移が発生する。遷移が発生するのは、図２のＳ１６の同一性判定結果により図３の移動体リスト５３の分類（航空機の状態）が更新された場合である。この遷移のうち、両検知状態６１からセンサ検知状態６２に遷移した場合において実行される処理が第２重畳処理（図５のステップＳ２４）である。未検知状態６４からセンサ検知状態６２に遷移した場合において実行される処理が第３重畳処理（図５のステップＳ２５）である。両検知状態６１から画像検知状態６３に遷移した場合において実行される処理が第４重畳処理（図５のステップＳ２７）である。未検知状態６４から画像検知状態６３に遷移した場合において実行される処理が第５重畳処理（図５のステップＳ２８）である。遷移元に関わらず、両検知状態６１において実行される処理が第１重畳処理（図５のステップＳ２２）である。
なお、検知部２４で検知されないとは、例えば天候不良や障害物により画像データから移動体５１が検知されない場合である。
移動体５１の検知状態としては、検知部２４とセンサ４１との両方で検知されている両検知状態６１と、センサ４１だけで検知されたセンサ検知状態６２と、検知部２４だけで検知された画像検知状態６３と、検知部２４とセンサ４１とのどちらでも検知されていない未検知状態６４とがある。
図９において矢印で示すように、各検知状態の間で状態の遷移が発生する。遷移が発生するのは、図２のＳ１６の同一性判定結果により図３の移動体リスト５３の分類（航空機の状態）が更新された場合である。この遷移のうち、両検知状態６１からセンサ検知状態６２に遷移した場合において実行される処理が第２重畳処理（図５のステップＳ２４）である。未検知状態６４からセンサ検知状態６２に遷移した場合において実行される処理が第３重畳処理（図５のステップＳ２５）である。両検知状態６１から画像検知状態６３に遷移した場合において実行される処理が第４重畳処理（図５のステップＳ２７）である。未検知状態６４から画像検知状態６３に遷移した場合において実行される処理が第５重畳処理（図５のステップＳ２８）である。遷移元に関わらず、両検知状態６１において実行される処理が第１重畳処理（図５のステップＳ２２）である。
なお、検知部２４で検知されないとは、例えば天候不良や障害物により画像データから移動体５１が検知されない場合である。
＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る管制支援装置１０は、検知部２４とセンサ４１とのどちらか一方だけで検知された移動体５１については、検知部２４とセンサ４１との他方で過去に検知された情報を用いて重畳画像が生成される。これにより、画像データからの検知と、センサ４１による検知とのどちらか一方だけがされている場合にも、管制官に対する目視確認の適切な支援が可能である。
以上のように、実施の形態１に係る管制支援装置１０は、検知部２４とセンサ４１とのどちらか一方だけで検知された移動体５１については、検知部２４とセンサ４１との他方で過去に検知された情報を用いて重畳画像が生成される。これにより、画像データからの検知と、センサ４１による検知とのどちらか一方だけがされている場合にも、管制官に対する目視確認の適切な支援が可能である。
移動体５１の検知状態は、図９に示すように変化する。状況によっては、数秒おきに検知状態が変化することがある。特に、両検知状態６１とセンサ検知状態６２との間での遷移と、両検知状態６１と画像検知状態６３との間での遷移とが頻繁に発生することがある。
両検知状態６１とセンサ検知状態６２との間での遷移と、両検知状態６１と画像検知状態６３との間での遷移といずれかが発生すると、従来はタグ５２の表示がされない状態が発生していた。そのため、これらの遷移が頻繁に発生すると、管制官に対する目視確認の適切な支援が行えない状態になっていた。
実施の形態１に係る管制支援装置１０は、これらの遷移が発生した場合には、過去に取得された情報を用いてタグ５２を重畳表示する。これにより、これらの遷移が頻繁に発生しても、管制官に対する目視確認の適切な支援が可能である。
両検知状態６１とセンサ検知状態６２との間での遷移と、両検知状態６１と画像検知状態６３との間での遷移といずれかが発生すると、従来はタグ５２の表示がされない状態が発生していた。そのため、これらの遷移が頻繁に発生すると、管制官に対する目視確認の適切な支援が行えない状態になっていた。
実施の形態１に係る管制支援装置１０は、これらの遷移が発生した場合には、過去に取得された情報を用いてタグ５２を重畳表示する。これにより、これらの遷移が頻繁に発生しても、管制官に対する目視確認の適切な支援が可能である。
また、実施の形態１に係る管制支援装置１０は、両検知状態６１とセンサ検知状態６２と画像検知状態６３とで、パノラマ画像に対して区別した表示を行う。これにより、管制官は、検知状態がどの状態であるかを容易に判別可能である。そのため、検知状態を考慮した管制を行うことが可能である。
＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例１として、各機能構成要素はハードウェアで実現されてもよい。この変形例１について、実施の形態１と異なる点を説明する。
＜変形例１＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例１として、各機能構成要素はハードウェアで実現されてもよい。この変形例１について、実施の形態１と異なる点を説明する。
図１０を参照して、変形例１に係る管制支援装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、管制支援装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。
各機能構成要素がハードウェアで実現される場合には、管制支援装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。
電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が想定される。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。
＜変形例２＞
変形例２として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
変形例２として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
プロセッサ１１とメモリ１２とストレージ１３と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
実施の形態２．
実施の形態２では、同一性判定処理について説明する。
実施の形態２では、同一性判定処理について説明する。
ここでは、図１１に示すように、ステップＳ１１で過去基準期間に取得されたセンサ情報と、このセンサ情報からステップＳ１２で生成されたタグ５２とが関連付けされてメモリ１２に蓄積されているものとする。
また、図１１に示すように、センサ情報に含まれる位置情報が示す位置が、パノラマ画像における画素の位置に変換された画素位置も、センサ情報に関連付けされてメモリ１２に蓄積されているものとする。
センサ情報に含まれる位置情報が示す位置を、基準位置を原点とするＥＮＵ（Ｅａｓｔ
Ｎｏｒｔｈ Ｕｐ）座標系の座標に変換し、ＥＮＵ座標系の座標を、パノラマ画像における画素に変換することにより、位置情報が示す位置を画素位置に変換することができる。基準位置は、具体例としては、特定の撮影装置４２の設置位置である。位置情報が示す位置は、緯度及び経度を示す。したがって、緯度及び経度とＥＮＵ座標系の座標との対応関係を事前に設定しておくことにより、位置情報が示す位置をＥＮＵ座標系の座標に変換することができる。また、ＥＮＵ座標系の座標とパノラマ画像における画素との対応関係を事前に設定しておくことにより、ＥＮＵ座標系の座標とパノラマ画像における画素に変換することができる。
センサ情報に含まれる位置情報が示す位置を、基準位置を原点とするＥＮＵ（Ｅａｓｔ
Ｎｏｒｔｈ Ｕｐ）座標系の座標に変換し、ＥＮＵ座標系の座標を、パノラマ画像における画素に変換することにより、位置情報が示す位置を画素位置に変換することができる。基準位置は、具体例としては、特定の撮影装置４２の設置位置である。位置情報が示す位置は、緯度及び経度を示す。したがって、緯度及び経度とＥＮＵ座標系の座標との対応関係を事前に設定しておくことにより、位置情報が示す位置をＥＮＵ座標系の座標に変換することができる。また、ＥＮＵ座標系の座標とパノラマ画像における画素との対応関係を事前に設定しておくことにより、ＥＮＵ座標系の座標とパノラマ画像における画素に変換することができる。
センサ情報は、１秒毎に取得されるものとする。したがって、基準期間がＮ秒間であれば、センサ情報とタグ５２と画素位置とはＮ個蓄積される。
また、図１２に示すように、ステップＳ１３で過去基準期間に取得された画像データから生成されたパノラマ画像と、このパノラマ画像からステップＳ１５で検知された移動体５１の検知枠５５及び検知位置とが関連付けされてメモリ１２に蓄積されているものとする。検知位置は、移動体５１についての検知枠５５の基準となる位置である。基準となる位置は、例えば、中心である。
パノラマ画像から検知された移動体５１には、検知ＩＤが付与されている。同一と判定された移動体５１には、同一の検知ＩＤが付与されるようになっている。
パノラマ画像から検知された移動体５１には、検知ＩＤが付与されている。同一と判定された移動体５１には、同一の検知ＩＤが付与されるようになっている。
画像データは１／３０秒毎に取得されるものとする。したがって、基準期間がＮ秒間であれば、パノラマ画像はＮ×３０個蓄積される。
図１３を参照して、実施の形態２に係る同一性判定処理（図２のステップＳ１６）を説明する。
（ステップＳ３１：センサ読出処理）
同一性判定部２５は、メモリ１２から過去基準期間に取得されたセンサ情報と、このセンサ情報に関連付けされたタグ５２及び画素位置とを読み出す。
（ステップＳ３１：センサ読出処理）
同一性判定部２５は、メモリ１２から過去基準期間に取得されたセンサ情報と、このセンサ情報に関連付けされたタグ５２及び画素位置とを読み出す。
（ステップＳ３２：第１静動判定処理）
同一性判定部２５は、直近に取得された１つ以上のセンサ情報それぞれを対象のセンサ情報に設定する。同一性判定部２５は、対象のセンサ情報が示す移動体５１を、ステップＳ３１で読み出された過去基準期間に取得されたセンサ情報に含まれる位置情報を用いて、静状態の移動体５１と動状態の移動体５１とに分類する。静状態の移動体５１は、停止している移動体５１である。なお、停止しているとは、完全に停止している状態に限らず、ほぼ停止しているとみなすことができる状態も含む。動状態の移動体５１は、移動している移動体５１である。
同一性判定部２５は、直近に取得された１つ以上のセンサ情報それぞれを対象のセンサ情報に設定する。同一性判定部２５は、対象のセンサ情報が示す移動体５１を、ステップＳ３１で読み出された過去基準期間に取得されたセンサ情報に含まれる位置情報を用いて、静状態の移動体５１と動状態の移動体５１とに分類する。静状態の移動体５１は、停止している移動体５１である。なお、停止しているとは、完全に停止している状態に限らず、ほぼ停止しているとみなすことができる状態も含む。動状態の移動体５１は、移動している移動体５１である。
（ステップＳ３３：検知位置読出処理）
同一性判定部２５は、メモリ１２から過去基準期間に取得された画像データから生成されたパノラマ画像と、このパノラマ画像に関連付けされた検知位置とを読み出す。
この際、同一性判定部２５は、ステップＳ３３で読み出されたパノラマ画像と検知位置との組を、センサ情報と同数になるように間引きする。ここでは、同一性判定部２５は、１秒毎にパノラマ画像と検知位置との組を１つだけ抽出することによって、パノラマ画像と検知位置との組を、センサ情報と同数になるように間引きする。なお、間引きの基準は検知のタイムスタンプとし、検知位置の更新タイムスタンプと最も近い、パノラマ画像の更新タイムスタンプを選択して、それ以外のパノラマ画像を間引きする。
同一性判定部２５は、メモリ１２から過去基準期間に取得された画像データから生成されたパノラマ画像と、このパノラマ画像に関連付けされた検知位置とを読み出す。
この際、同一性判定部２５は、ステップＳ３３で読み出されたパノラマ画像と検知位置との組を、センサ情報と同数になるように間引きする。ここでは、同一性判定部２５は、１秒毎にパノラマ画像と検知位置との組を１つだけ抽出することによって、パノラマ画像と検知位置との組を、センサ情報と同数になるように間引きする。なお、間引きの基準は検知のタイムスタンプとし、検知位置の更新タイムスタンプと最も近い、パノラマ画像の更新タイムスタンプを選択して、それ以外のパノラマ画像を間引きする。
（ステップＳ３４：ＩＤ設定処理）
同一性判定部２５は、直近のパノラマ画像から検知された１つ以上の移動体５１それぞれについて、過去のパノラマ画像から検知された移動体５１と同じ移動体５１には同じ検知ＩＤ（ＩＤｅｎｔｉｆｉｅｒ）が付与されるように、検知ＩＤを付与する。
同一性判定部２５は、直近のパノラマ画像から検知された１つ以上の移動体５１それぞれについて、過去のパノラマ画像から検知された移動体５１と同じ移動体５１には同じ検知ＩＤ（ＩＤｅｎｔｉｆｉｅｒ）が付与されるように、検知ＩＤを付与する。
（ステップＳ３５：第２静動判定処理）
同一性判定部２５は、直近のパノラマ画像から検知された１つ以上の移動体５１それぞれを対象の移動体５１に設定する。同一性判定部２５は、対象の移動体５１を、ステップＳ３３で読み出された過去基準期間における検知位置を用いて、静状態の移動体５１と動状態の移動体５１とに分類する。
同一性判定部２５は、直近のパノラマ画像から検知された１つ以上の移動体５１それぞれを対象の移動体５１に設定する。同一性判定部２５は、対象の移動体５１を、ステップＳ３３で読み出された過去基準期間における検知位置を用いて、静状態の移動体５１と動状態の移動体５１とに分類する。
（ステップＳ３６：相関処理）
同一性判定部２５は、直近に取得されたセンサ情報が示す移動体５１である第１移動体５１１と、直近のパノラマ画像から検知された移動体５１である第２移動体５１２との位置に相関があるか否かを判定する。ここでは、同一性判定部２５は、ステップＳ３２で静状態の移動体５１と判定された第１移動体５１１と、ステップＳ３６で静状態の移動体５１と判定された第２移動体５１２との間で位置に相関があるか否かを判定する。また、同一性判定部２５は、ステップＳ３２で動状態の移動体５１と判定された第１移動体５１１と、ステップＳ３６で動状態の移動体５１と判定された第２移動体５１２との間で位置に相関があるか否かを判定する。
同一性判定部２５は、相関があると判定された第１移動体５１１と第２移動体５１２とは、同一の移動体５１であるとして、第１移動体５１１と第２移動体５１２とを対応付けして１つの移動体５１とする。そして、同一性判定部２５は、相関があると判定された移動体５１は、検知部２４とセンサ４１との両方で検知された移動体５１に分類する。また、同一性判定部２５は、相関があると判定されなかった、センサ情報が示す移動体５１は、センサ４１だけで検知された移動体５１に分類する。また、同一性判定部２５は、相関があると判定されなかった、パノラマ画像から検知された移動体５１は、検知部２４だけで検知された移動体５１に分類する。そして、図３に示すような移動体リスト５３を生成する。
同一性判定部２５は、直近に取得されたセンサ情報が示す移動体５１である第１移動体５１１と、直近のパノラマ画像から検知された移動体５１である第２移動体５１２との位置に相関があるか否かを判定する。ここでは、同一性判定部２５は、ステップＳ３２で静状態の移動体５１と判定された第１移動体５１１と、ステップＳ３６で静状態の移動体５１と判定された第２移動体５１２との間で位置に相関があるか否かを判定する。また、同一性判定部２５は、ステップＳ３２で動状態の移動体５１と判定された第１移動体５１１と、ステップＳ３６で動状態の移動体５１と判定された第２移動体５１２との間で位置に相関があるか否かを判定する。
同一性判定部２５は、相関があると判定された第１移動体５１１と第２移動体５１２とは、同一の移動体５１であるとして、第１移動体５１１と第２移動体５１２とを対応付けして１つの移動体５１とする。そして、同一性判定部２５は、相関があると判定された移動体５１は、検知部２４とセンサ４１との両方で検知された移動体５１に分類する。また、同一性判定部２５は、相関があると判定されなかった、センサ情報が示す移動体５１は、センサ４１だけで検知された移動体５１に分類する。また、同一性判定部２５は、相関があると判定されなかった、パノラマ画像から検知された移動体５１は、検知部２４だけで検知された移動体５１に分類する。そして、図３に示すような移動体リスト５３を生成する。
図１４を参照して、実施の形態２に係るＩＤ設定処理（図１３のステップＳ３４）を説明する。
（ステップＳ４１：追跡処理）
ここでは、図２のステップＳ１５で移動体５１を検知する際、同一の移動体５１を追跡する追跡処理が行われているものとする。同一性判定部２５は、追跡処理の結果を取得する。同一性判定部２５は、過去のパノラマ画像から検知された移動体５１と同じ移動体５１には同じ検知ＩＤを付与し、過去のパノラマ画像では検知されていなかった移動体５１には新たな検知ＩＤを付与する。
（ステップＳ４１：追跡処理）
ここでは、図２のステップＳ１５で移動体５１を検知する際、同一の移動体５１を追跡する追跡処理が行われているものとする。同一性判定部２５は、追跡処理の結果を取得する。同一性判定部２５は、過去のパノラマ画像から検知された移動体５１と同じ移動体５１には同じ検知ＩＤを付与し、過去のパノラマ画像では検知されていなかった移動体５１には新たな検知ＩＤを付与する。
直近のパノラマ画像から検知された１つ以上の移動体５１それぞれを対象の移動体５１として、ステップＳ４２からステップＳ４６の処理が実行される。
（ステップＳ４２：直前画像読出処理）
同一性判定部２５は、メモリ１２から直近のパノラマ画像の１つ前に取得されたパノラマ画像と、そのパノラマ画像から検知された移動体５１についての検知ＩＤ及び検知枠５５を読み出す。
同一性判定部２５は、メモリ１２から直近のパノラマ画像の１つ前に取得されたパノラマ画像と、そのパノラマ画像から検知された移動体５１についての検知ＩＤ及び検知枠５５を読み出す。
（ステップＳ４３：ＩＤ判定処理）
同一性判定部２５は、直近のパノラマ画像から検知された対象の移動体５１に付与された検知ＩＤが、１つ前のパノラマ画像から検知された移動体５１に付与された検知ＩＤに存在するか否かを判定する。
同一性判定部２５は、存在しない場合には、処理をステップＳ４４に進める。一方、同一性判定部２５は、存在する場合には、処理をステップＳ４５に進める。
同一性判定部２５は、直近のパノラマ画像から検知された対象の移動体５１に付与された検知ＩＤが、１つ前のパノラマ画像から検知された移動体５１に付与された検知ＩＤに存在するか否かを判定する。
同一性判定部２５は、存在しない場合には、処理をステップＳ４４に進める。一方、同一性判定部２５は、存在する場合には、処理をステップＳ４５に進める。
（ステップＳ４４：重なり判定処理）
同一性判定部２５は、対象の移動体５１についての検知枠５５が、直近数フレーム分のパノラマ画像から検知されたいずれかの移動体５１についての検知枠５５と重なっているか否かを判定する。
同一性判定部２５は、重なっていない場合には、処理をステップＳ４５に進める。一方、同一性判定部２５は、重なっている場合には、処理をステップＳ４６に進める。
同一性判定部２５は、対象の移動体５１についての検知枠５５が、直近数フレーム分のパノラマ画像から検知されたいずれかの移動体５１についての検知枠５５と重なっているか否かを判定する。
同一性判定部２５は、重なっていない場合には、処理をステップＳ４５に進める。一方、同一性判定部２５は、重なっている場合には、処理をステップＳ４６に進める。
（ステップＳ４５：ＩＤ確定処理）
同一性判定部２５は、対象の移動体５１に付与されている検知ＩＤを、対象の移動体５１の検知ＩＤとして確定する。
同一性判定部２５は、対象の移動体５１に付与されている検知ＩＤを、対象の移動体５１の検知ＩＤとして確定する。
（ステップＳ４６：ＩＤ引継処理）
同一性判定部２５は、１つ前のパノラマ画像から検知された移動体５１の検知枠５５のうち、対象の移動体５１についての検知枠５５と重なる面積が最も大きい検知枠５５を特定する。同一性判定部２５は、特定された検知枠５５に対応する移動体５１に付与された検知ＩＤを、対象の移動体５１に対して付与する。
同一性判定部２５は、１つ前のパノラマ画像から検知された移動体５１の検知枠５５のうち、対象の移動体５１についての検知枠５５と重なる面積が最も大きい検知枠５５を特定する。同一性判定部２５は、特定された検知枠５５に対応する移動体５１に付与された検知ＩＤを、対象の移動体５１に対して付与する。
図１５を参照して、実施の形態２に係る第１静動判定処理（図１３のステップＳ３２）を説明する。
直近のセンサ情報が示す１つ以上の移動体５１それぞれを対象の移動体５１として、ステップＳ５１からステップＳ５４の処理が実行される。
直近のセンサ情報が示す１つ以上の移動体５１それぞれを対象の移動体５１として、ステップＳ５１からステップＳ５４の処理が実行される。
（ステップＳ５１：移動量計算処理）
同一性判定部２５は、対象の移動体５１について、直近の画素位置と、基準期間前の画素位置との差異を移動量として計算する。ここでは、同一性判定部２５は、直近の画素位置と、基準期間前の画素位置とについて、ｕ軸方向の差異をｕ移動量として計算し、ｖ軸方向の差異をｖ移動量として計算する。
直近の画素位置は、直近のセンサ情報から得られた画素位置である。基準期間前の画素位置は、過去基準期間に取得されたセンサ情報のうち、対象の移動体５１についての最も古いセンサ情報から得られた画素位置である。なお、センサ情報には、移動体５１の移動体ＩＤが含まれている。したがって、同一性判定部２５は、過去基準期間に取得されたセンサ情報から、対象の移動体５１の移動体ＩＤが含まれるセンサ情報を特定することにより、対象の移動体５１についてのセンサ情報を特定することができる。
同一性判定部２５は、対象の移動体５１について、直近の画素位置と、基準期間前の画素位置との差異を移動量として計算する。ここでは、同一性判定部２５は、直近の画素位置と、基準期間前の画素位置とについて、ｕ軸方向の差異をｕ移動量として計算し、ｖ軸方向の差異をｖ移動量として計算する。
直近の画素位置は、直近のセンサ情報から得られた画素位置である。基準期間前の画素位置は、過去基準期間に取得されたセンサ情報のうち、対象の移動体５１についての最も古いセンサ情報から得られた画素位置である。なお、センサ情報には、移動体５１の移動体ＩＤが含まれている。したがって、同一性判定部２５は、過去基準期間に取得されたセンサ情報から、対象の移動体５１の移動体ＩＤが含まれるセンサ情報を特定することにより、対象の移動体５１についてのセンサ情報を特定することができる。
（ステップＳ５２：移動量判定処理）
同一性判定部２５は、ステップＳ５１で計算された移動量が閾値以下であるか否かを判定する。ここでは、同一性判定部２５は、ｕ移動量及びｖ移動量が閾値以下であるか否かを判定する。
同一性判定部２５は、ｕ移動量及びｖ移動量が閾値以下である場合には、処理をステップＳ５３に進める。一方、同一性判定部２５は、ｕ移動量とｖ移動量との少なくともいずれかが閾値以下でない場合には、処理をステップＳ５４に進める。
同一性判定部２５は、ステップＳ５１で計算された移動量が閾値以下であるか否かを判定する。ここでは、同一性判定部２５は、ｕ移動量及びｖ移動量が閾値以下であるか否かを判定する。
同一性判定部２５は、ｕ移動量及びｖ移動量が閾値以下である場合には、処理をステップＳ５３に進める。一方、同一性判定部２５は、ｕ移動量とｖ移動量との少なくともいずれかが閾値以下でない場合には、処理をステップＳ５４に進める。
（ステップＳ５３：静状態分類処理）
同一性判定部２５は、対象の移動体５１を静状態に分類する。
同一性判定部２５は、対象の移動体５１を静状態に分類する。
（ステップＳ５４：動状態分類処理）
同一性判定部２５は、対象の移動体５１を動状態に分類する。
同一性判定部２５は、対象の移動体５１を動状態に分類する。
図１６を参照して、実施の形態２に係る第２静動判定処理（図１３のステップＳ３５）を説明する。
直近のパノラマ画像から検知された１つ以上の移動体５１それぞれを対象の移動体５１として、ステップＳ６１からステップＳ６６の処理が実行される。
直近のパノラマ画像から検知された１つ以上の移動体５１それぞれを対象の移動体５１として、ステップＳ６１からステップＳ６６の処理が実行される。
（ステップＳ６１：変位量判定処理）
同一性判定部２５は、対象の移動体５１について、１つ前のパノラマ画像での検知位置から直近のパノラマ画像での検知位置までの距離を変位量として計算する。同一性判定部２５は、計算された変位量が、対象の移動体５１について前回計算された変位量と比較して、基準量以下の差であるか否かを判定する。
１つ前のパノラマ画像とは、直近のパノラマ画像の約１秒前に取得された画像データから生成されたパノラマ画像である。前回計算された変位量とは、１つ前のパノラマ画像を直近のパノラマ画像として計算された変位量である。
同一性判定部２５は、基準量以下の差であり、かつ、対象の移動体５１が静状態であると前回分類されていた場合には、処理をステップＳ６５に進める。一方、同一性判定部２５は、基準量以下の差でない場合と、対象の移動体５１が静状態であると前回分類されていない場合との少なくともいずれかの場合には、処理をステップＳ６２に進める。
同一性判定部２５は、対象の移動体５１について、１つ前のパノラマ画像での検知位置から直近のパノラマ画像での検知位置までの距離を変位量として計算する。同一性判定部２５は、計算された変位量が、対象の移動体５１について前回計算された変位量と比較して、基準量以下の差であるか否かを判定する。
１つ前のパノラマ画像とは、直近のパノラマ画像の約１秒前に取得された画像データから生成されたパノラマ画像である。前回計算された変位量とは、１つ前のパノラマ画像を直近のパノラマ画像として計算された変位量である。
同一性判定部２５は、基準量以下の差であり、かつ、対象の移動体５１が静状態であると前回分類されていた場合には、処理をステップＳ６５に進める。一方、同一性判定部２５は、基準量以下の差でない場合と、対象の移動体５１が静状態であると前回分類されていない場合との少なくともいずれかの場合には、処理をステップＳ６２に進める。
（ステップＳ６２：標準偏差計算処理）
同一性判定部２５は、対象の移動体５１についての、過去計算期間における検知位置の標準偏差を計算する。計算期間は、例えば、センサ情報の取得間隔である１秒である。
同一性判定部２５は、対象の移動体５１についての、過去計算期間における検知位置の標準偏差を計算する。計算期間は、例えば、センサ情報の取得間隔である１秒である。
（ステップＳ６３：標準偏差判定処理）
同一性判定部２５は、ステップＳ６２で計算された標準偏差が、基準値以下であるか否かを判定する。
同一性判定部２５は、標準偏差が基準値以下である場合には、処理をステップＳ６５に進める。一方、同一性判定部２５は、標準偏差が基準値以下でない場合には、処理をステップＳ６４に進める。
同一性判定部２５は、ステップＳ６２で計算された標準偏差が、基準値以下であるか否かを判定する。
同一性判定部２５は、標準偏差が基準値以下である場合には、処理をステップＳ６５に進める。一方、同一性判定部２５は、標準偏差が基準値以下でない場合には、処理をステップＳ６４に進める。
（ステップＳ６４：移動量判定処理）
同一性判定部２５は、対象の移動体５１について、直近の検知位置と、基準期間前の検知位置との差異を移動量として計算する。同一性判定部２５は、移動量が閾値以下であるか否かを判定する。
同一性判定部２５は、移動量が閾値以下である場合には、処理をステップＳ６５に進める。一方、同一性判定部２５は、移動量が閾値以下でない場合には、処理をステップＳ６６に進める。
直近の検知位置は、直近のパノラマ画像から対象の移動体５１が検知された検知位置である。基準期間前の検知位置は、過去基準期間におけるパノラマ画像のうち、対象の移動体５１が検知された最も古いパノラマ画像から対象の移動体５１が検知された検知位置である。なお、図１３のステップＳ３４において、同一の移動体５１に対して同じ検知ＩＤが付与されている。したがって、同一性判定部２５は、対象の移動体５１に付与された検知ＩＤが付与された移動体５１を特定することにより、過去基準期間におけるパノラマ画像から検知された対象の移動体５１を特定することができる。
同一性判定部２５は、対象の移動体５１について、直近の検知位置と、基準期間前の検知位置との差異を移動量として計算する。同一性判定部２５は、移動量が閾値以下であるか否かを判定する。
同一性判定部２５は、移動量が閾値以下である場合には、処理をステップＳ６５に進める。一方、同一性判定部２５は、移動量が閾値以下でない場合には、処理をステップＳ６６に進める。
直近の検知位置は、直近のパノラマ画像から対象の移動体５１が検知された検知位置である。基準期間前の検知位置は、過去基準期間におけるパノラマ画像のうち、対象の移動体５１が検知された最も古いパノラマ画像から対象の移動体５１が検知された検知位置である。なお、図１３のステップＳ３４において、同一の移動体５１に対して同じ検知ＩＤが付与されている。したがって、同一性判定部２５は、対象の移動体５１に付与された検知ＩＤが付与された移動体５１を特定することにより、過去基準期間におけるパノラマ画像から検知された対象の移動体５１を特定することができる。
（ステップＳ６５：静状態分類処理）
同一性判定部２５は、対象の移動体５１を静状態に分類する。
同一性判定部２５は、対象の移動体５１を静状態に分類する。
（ステップＳ６６：動状態分類処理）
同一性判定部２５は、対象の移動体５１を動状態に分類する。
同一性判定部２５は、対象の移動体５１を動状態に分類する。
図１７を参照して、実施の形態２に係る相関処理（図１３のステップＳ３６）を説明する。
直近のパノラマ画像から検知され、図１６のステップＳ６５で静状態に分類された１つ以上の移動体５１それぞれを順に対象の第１移動体５１１として、ステップＳ７１からステップＳ７３の処理が実行される。
直近のパノラマ画像から検知され、図１６のステップＳ６５で静状態に分類された１つ以上の移動体５１それぞれを順に対象の第１移動体５１１として、ステップＳ７１からステップＳ７３の処理が実行される。
（ステップＳ７１：第１距離計算処理）
同一性判定部２５は、直近に取得されたセンサ情報が示す、図１５のステップＳ５３で静状態に分類された１つ以上の移動体５１それぞれを対象の第２移動体５１２に設定する。但し、同一性判定部２５は、ステップＳ７３で既に対応付けされた移動体５１については、対象の第２移動体５１２から除外する。
同一性判定部２５は、対象の第１移動体５１１の検知位置と、センサ情報に含まれる位置情報が示す対象の第２移動体５１２の位置との距離を計算する。
同一性判定部２５は、直近に取得されたセンサ情報が示す、図１５のステップＳ５３で静状態に分類された１つ以上の移動体５１それぞれを対象の第２移動体５１２に設定する。但し、同一性判定部２５は、ステップＳ７３で既に対応付けされた移動体５１については、対象の第２移動体５１２から除外する。
同一性判定部２５は、対象の第１移動体５１１の検知位置と、センサ情報に含まれる位置情報が示す対象の第２移動体５１２の位置との距離を計算する。
（ステップＳ７２：第１距離判定処理）
同一性判定部２５は、ステップＳ７１で計算された距離に、基準距離以下の距離が含まれているか否かを判定する。
同一性判定部２５は、基準距離以下の距離が含まれている場合には、処理をステップＳ７３に進める。一方、同一性判定部２５は、基準距離以下の距離が含まれていない場合には、対象の第１移動体５１１についての処理を終了する。
同一性判定部２５は、ステップＳ７１で計算された距離に、基準距離以下の距離が含まれているか否かを判定する。
同一性判定部２５は、基準距離以下の距離が含まれている場合には、処理をステップＳ７３に進める。一方、同一性判定部２５は、基準距離以下の距離が含まれていない場合には、対象の第１移動体５１１についての処理を終了する。
（ステップＳ７３：第１対応処理）
同一性判定部２５は、対象の第１移動体５１１と、ステップＳ７１で計算された距離が最も短い対象の第２移動体５１２とを対応付けする。
同一性判定部２５は、対象の第１移動体５１１と、ステップＳ７１で計算された距離が最も短い対象の第２移動体５１２とを対応付けする。
つまり、ステップＳ７１からステップＳ７３で同一性判定部２５は、静状態に分類された移動体５１同士で、同一の移動体５１であるか否かを判定する。この際、同一性判定部２５は、パノラマ画像から検知された移動体５１の検知位置と、センサ情報に含まれる位置情報が示す移動体５１の位置との間の距離に基づき、同一の移動体５１であるか否かを判定する。
直近のパノラマ画像から検知され、図１６のステップＳ６６で動状態に分類された１つ以上の移動体５１それぞれを順に対象の第１移動体５１１として、ステップＳ７４からステップＳ７６の処理が実行される。
（ステップＳ７４：第２距離計算処理）
同一性判定部２５は、直近に取得されたセンサ情報が示す、図１５のステップＳ５４で動状態に分類された１つ以上の移動体５１それぞれを対象の第２移動体５１２に設定する。但し、同一性判定部２５は、ステップＳ７６で既に対応付けされた移動体５１については、対象の第２移動体５１２から除外する。
同一性判定部２５は、対象の第１移動体５１１の検知位置と、センサ情報に含まれる位置情報が示す対象の第２移動体５１２の位置との距離を計算する。
同一性判定部２５は、直近に取得されたセンサ情報が示す、図１５のステップＳ５４で動状態に分類された１つ以上の移動体５１それぞれを対象の第２移動体５１２に設定する。但し、同一性判定部２５は、ステップＳ７６で既に対応付けされた移動体５１については、対象の第２移動体５１２から除外する。
同一性判定部２５は、対象の第１移動体５１１の検知位置と、センサ情報に含まれる位置情報が示す対象の第２移動体５１２の位置との距離を計算する。
（ステップＳ７５：第２距離判定処理）
同一性判定部２５は、ステップＳ７４で計算された距離に、基準距離以下の距離が含まれているか否かを判定する。
同一性判定部２５は、基準距離以下の距離が含まれている場合には、処理をステップＳ７６に進める。一方、同一性判定部２５は、基準距離以下の距離が含まれていない場合には、対象の第１移動体５１１についての処理を終了する。
同一性判定部２５は、ステップＳ７４で計算された距離に、基準距離以下の距離が含まれているか否かを判定する。
同一性判定部２５は、基準距離以下の距離が含まれている場合には、処理をステップＳ７６に進める。一方、同一性判定部２５は、基準距離以下の距離が含まれていない場合には、対象の第１移動体５１１についての処理を終了する。
（ステップＳ７６：第１対応処理）
同一性判定部２５は、対象の第１移動体５１１と、ステップＳ７４で計算された距離が最も短い対象の第２移動体５１２とを対応付けする。
同一性判定部２５は、対象の第１移動体５１１と、ステップＳ７４で計算された距離が最も短い対象の第２移動体５１２とを対応付けする。
つまり、ステップＳ７４からステップＳ７６で同一性判定部２５は、動状態に分類された移動体５１同士で、同一の移動体５１であるか否かを判定する。この際、同一性判定部２５は、パノラマ画像から検知された移動体５１の検知位置と、センサ情報に含まれる位置情報が示す移動体５１の位置との間の距離に基づき、同一の移動体５１であるか否かを判定する。
（ステップＳ７７：高速相関処理）
同一性判定部２５は、直近のパノラマ画像から検知され、図１６のステップＳ６６で動状態に分類された１つ以上の移動体５１のうち、ステップＳ７６で対応付けされなかった移動体５１を基準速度より速い高速で移動する第１移動体５１１に分類する。また、同一性判定部２５は、直近に取得されたセンサ情報が示す、図１５のステップＳ５４で動状態に分類された１つ以上の移動体５１のうち、ステップＳ７６で対応付けされなかった移動体５１を高速で移動する第２移動体５１２に分類する。
同一性判定部２５は、高速で移動する第１移動体５１１と、高速で移動する第２移動体５１２とについて、同一の移動体であるか否かを判定する。
同一性判定部２５は、直近のパノラマ画像から検知され、図１６のステップＳ６６で動状態に分類された１つ以上の移動体５１のうち、ステップＳ７６で対応付けされなかった移動体５１を基準速度より速い高速で移動する第１移動体５１１に分類する。また、同一性判定部２５は、直近に取得されたセンサ情報が示す、図１５のステップＳ５４で動状態に分類された１つ以上の移動体５１のうち、ステップＳ７６で対応付けされなかった移動体５１を高速で移動する第２移動体５１２に分類する。
同一性判定部２５は、高速で移動する第１移動体５１１と、高速で移動する第２移動体５１２とについて、同一の移動体であるか否かを判定する。
図１８を参照して、実施の形態２に係る高速相関処理（図１７のステップＳ７７）を説明する。
高速で移動する第１移動体５１１それぞれを対象の第１移動体５１１としてステップＳ８１からステップＳ８６の処理が実行される。
高速で移動する第１移動体５１１それぞれを対象の第１移動体５１１としてステップＳ８１からステップＳ８６の処理が実行される。
（ステップＳ８１：第１内積計算処理）
同一性判定部２５は、高速で移動する第２移動体５１２を対象の第２移動体５１２に設定する。同一性判定部２５は、対象の第１移動体５１１の移動ベクトルと、対象の第２移動体５１２の移動ベクトルとの内積を計算する。
対象の第１移動体５１１の移動ベクトルは、対象の第１移動体５１１についての直近のパノラマ画像における検知位置と、１つ前のパノラマ画像における検知位置とから特定される。対象の第２移動体５１２の移動ベクトルは、対象の第２移動体５１２についての直近のセンサ情報に含まれる位置情報が示す位置と、１つ前のセンサ情報に含まれる位置情報が示す位置とから特定される。
同一性判定部２５は、高速で移動する第２移動体５１２を対象の第２移動体５１２に設定する。同一性判定部２５は、対象の第１移動体５１１の移動ベクトルと、対象の第２移動体５１２の移動ベクトルとの内積を計算する。
対象の第１移動体５１１の移動ベクトルは、対象の第１移動体５１１についての直近のパノラマ画像における検知位置と、１つ前のパノラマ画像における検知位置とから特定される。対象の第２移動体５１２の移動ベクトルは、対象の第２移動体５１２についての直近のセンサ情報に含まれる位置情報が示す位置と、１つ前のセンサ情報に含まれる位置情報が示す位置とから特定される。
（ステップＳ８２：第１内積判定処理）
同一性判定部２５は、ステップＳ８１で計算された内積に正の値が含まれているか否かを判定する。同一性判定部２５は、内積が正の値である場合には、図１９に示すように、移動方向が近いとして、対応付けの候補にする。
同一性判定部２５は、正の値が含まれている場合には、処理をステップＳ８３に進める。一方、同一性判定部２５は、正の値が含まれていない場合には、対象の第１移動体５１１についての処理を終了する。
同一性判定部２５は、ステップＳ８１で計算された内積に正の値が含まれているか否かを判定する。同一性判定部２５は、内積が正の値である場合には、図１９に示すように、移動方向が近いとして、対応付けの候補にする。
同一性判定部２５は、正の値が含まれている場合には、処理をステップＳ８３に進める。一方、同一性判定部２５は、正の値が含まれていない場合には、対象の第１移動体５１１についての処理を終了する。
（ステップＳ８３：第２内積計算処理）
同一性判定部２５は、高速で移動する第２移動体５１２のうち、ステップＳ８１で計算された内積が正の値となった第２移動体５１２それぞれを対象の第２移動体５１２に設定する。同一性判定部２５は、対象の第２移動体５１２についての直近のパノラマ画像における検知位置から、対象の第１移動体５１１について直近のセンサ情報に含まれる位置情報が示す位置へのベクトルを計算する。同一性判定部２５は、対象の第２移動体５１２の移動ベクトルと、ステップＳ８３で計算されたベクトルとの内積を計算する。
同一性判定部２５は、高速で移動する第２移動体５１２のうち、ステップＳ８１で計算された内積が正の値となった第２移動体５１２それぞれを対象の第２移動体５１２に設定する。同一性判定部２５は、対象の第２移動体５１２についての直近のパノラマ画像における検知位置から、対象の第１移動体５１１について直近のセンサ情報に含まれる位置情報が示す位置へのベクトルを計算する。同一性判定部２５は、対象の第２移動体５１２の移動ベクトルと、ステップＳ８３で計算されたベクトルとの内積を計算する。
（ステップＳ８４：第２内積判定処理）
同一性判定部２５は、ステップＳ８３で計算された内積に負の値が含まれているか否かを判定する。センサ情報は、画像データよりも遅れて取得されるため、センサ情報に含まれる位置情報が示す位置は、少し前の移動体５１の位置を示している。そのため、同一性判定部２５は、内積が負の値である場合には、図２０に示すように、位置関係が適切であるとして、対応付けの候補にする。
同一性判定部２５は、負の値が含まれている場合には、処理をステップＳ８５に進める。一方、同一性判定部２５は、負の値が含まれていない場合には、対象の第１移動体５１１についての処理を終了する。
同一性判定部２５は、ステップＳ８３で計算された内積に負の値が含まれているか否かを判定する。センサ情報は、画像データよりも遅れて取得されるため、センサ情報に含まれる位置情報が示す位置は、少し前の移動体５１の位置を示している。そのため、同一性判定部２５は、内積が負の値である場合には、図２０に示すように、位置関係が適切であるとして、対応付けの候補にする。
同一性判定部２５は、負の値が含まれている場合には、処理をステップＳ８５に進める。一方、同一性判定部２５は、負の値が含まれていない場合には、対象の第１移動体５１１についての処理を終了する。
（ステップＳ８５：対応判定処理）
同一性判定部２５は、ステップＳ８３で計算された内積に含まれる負の値が１つだけであるか否かを判定する。負の値が１つだけである場合には、対象の第１移動体５１１に対応する第２移動体５１２が１つだけであることを意味する。
同一性判定部２５は、負の値が１つだけである場合には、処理をステップＳ８６に進める。一方、同一性判定部２５は、負の値が１つだけでない場合には、対象の第１移動体５１１についての処理を終了する。
同一性判定部２５は、ステップＳ８３で計算された内積に含まれる負の値が１つだけであるか否かを判定する。負の値が１つだけである場合には、対象の第１移動体５１１に対応する第２移動体５１２が１つだけであることを意味する。
同一性判定部２５は、負の値が１つだけである場合には、処理をステップＳ８６に進める。一方、同一性判定部２５は、負の値が１つだけでない場合には、対象の第１移動体５１１についての処理を終了する。
（ステップＳ８６：対応処理）
同一性判定部２５は、対象の第１移動体５１１と、ステップＳ８３で計算された内積が負であった第２移動体５１２とを対応付けする。
同一性判定部２５は、対象の第１移動体５１１と、ステップＳ８３で計算された内積が負であった第２移動体５１２とを対応付けする。
＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る管制支援装置１０は、静状態の場合及び低速で移動している場合には、距離に基づき同一の移動体５１であるか否かを判定し、高速で移動している場合には、移動方向に基づき同一の移動体５１であるか否かを判定する。これにより、適切に移動体５１の同一性を判定することが可能である。
以上のように、実施の形態２に係る管制支援装置１０は、静状態の場合及び低速で移動している場合には、距離に基づき同一の移動体５１であるか否かを判定し、高速で移動している場合には、移動方向に基づき同一の移動体５１であるか否かを判定する。これにより、適切に移動体５１の同一性を判定することが可能である。
特に、実施の形態２に係る管制支援装置１０は、高速で移動している場合には、パノラマ画像から特定された移動体５１の移動方向と、パノラマ画像における検知位置からセンサ情報に含まれる位置情報が示す位置への方向との関係に基づき、同一の移動体５１であるか否かを判定する。これにより、より適切に移動体５１の同一性を判定することが可能である。
適切に移動体５１の同一性を判定することにより、検知部２４とセンサ４１とのどちらか一方だけで検知された移動体５１について、適切な重畳画像を生成可能である。
また、実施の形態２に係る管制支援装置１０は、同一の移動体５１と認められる場合に、検知ＩＤを引き継ぐ。これにより、検知部２４とセンサ４１とのどちらか一方だけで検知された移動体５１について、適切な重畳画像を生成可能である。
＊＊＊他の構成＊＊＊
＜変形例３＞
実施の形態２では、動状態に分類された移動体５１について、距離に基づき対応付けされなかった移動体５１について、高速で移動するとして、高速相関処理（図１７のステップＳ７７）が実行された。
しかし、同一性判定部２５は、図１３のステップＳ３２及びステップＳ３５で、移動体５１が動状態である場合に、移動体５１の移動履歴から移動速度を計算して、移動体５１が低速で移動しているか、高速で移動しているかを分類してもよい。そして、同一性判定部２５は、低速で移動している移動体５１については、図１７のステップＳ７４からステップＳ７６の処理により対応付けを行い、高速で移動している移動体５１については、図１８に示す処理により対応付けを行ってもよい。
＜変形例３＞
実施の形態２では、動状態に分類された移動体５１について、距離に基づき対応付けされなかった移動体５１について、高速で移動するとして、高速相関処理（図１７のステップＳ７７）が実行された。
しかし、同一性判定部２５は、図１３のステップＳ３２及びステップＳ３５で、移動体５１が動状態である場合に、移動体５１の移動履歴から移動速度を計算して、移動体５１が低速で移動しているか、高速で移動しているかを分類してもよい。そして、同一性判定部２５は、低速で移動している移動体５１については、図１７のステップＳ７４からステップＳ７６の処理により対応付けを行い、高速で移動している移動体５１については、図１８に示す処理により対応付けを行ってもよい。
なお、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。
以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。
１０ 管制支援装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１５ 電子回路、２１ センサ取得部、２２ タグ生成部、２３ 画像取得部、２４ 検知部、２５ 同一性判定部、２６ 重畳画像生成部、４１ センサ、４２ 撮影装置、４３ 表示装置、５１ 移動体、５１１ 第１移動体、５１２ 第２移動体、５２ タグ、５３ 移動体リスト、５４ 重畳画像、５５ 検知枠、６１ 両検知状態、６２ センサ検知状態、６３ 画像検知状態、６４ 未検知状態。
Claims (14)
- 画像データから管制対象の移動体を検知する検知部と、
センサによって検知されて得られた前記管制対象の移動体についてのセンサ情報を取得するセンサ取得部と、
前記検知部によって移動体が検知された位置を基準として決められる、前記画像データにおける表示位置に、前記センサ取得部によって取得されたセンサ情報から生成されたタグを重畳表示して重畳画像を生成する重畳画像生成部であって、前記検知部と前記センサとのどちらか一方だけで検知された移動体については、前記検知部と前記センサとの他方で過去に得られた情報を用いてタグを重畳表示する重畳画像生成部と
を備え、
前記重畳画像生成部は、前記検知部と前記センサとの両方で検知された移動体と、前記センサだけで検知された移動体及び前記検知部だけで検知された移動体との間で、区別した表示を行う管制支援装置。 - 画像データから管制対象の移動体を検知する検知部と、
センサによって検知されて得られた前記管制対象の移動体についてのセンサ情報であって、前記移動体の位置を示す位置情報が含まれたセンサ情報を取得するセンサ取得部と、
前記検知部によって移動体が検知された位置を基準として決められる、前記画像データにおける表示位置に、前記センサ取得部によって取得されたセンサ情報から生成されたタグを重畳表示して重畳画像を生成する重畳画像生成部であって、前記検知部と前記センサとのどちらか一方だけで検知された移動体については、前記検知部と前記センサとの他方で過去に得られた情報を用いてタグを重畳表示する重畳画像生成部と
を備え、
前記重畳画像生成部は、前記センサだけで検知された移動体については、前記検知部によって過去に移動体が検知された位置と、過去に取得されたセンサ情報に含まれる位置情報が示す位置との差に基づき、新たに取得されたセンサ情報に含まれる位置情報が示す位置を補正して前記表示位置を決定する管制支援装置。 - 画像データから管制対象の移動体を検知する検知部と、
センサによって検知されて得られた前記管制対象の移動体についてのセンサ情報であって、前記移動体の位置を示す位置情報が含まれたセンサ情報を取得するセンサ取得部と、
前記検知部によって移動体が検知された位置を基準として決められる、前記画像データにおける表示位置に、前記センサ取得部によって取得されたセンサ情報から生成されたタグを重畳表示して重畳画像を生成する重畳画像生成部であって、前記検知部と前記センサとのどちらか一方だけで検知された移動体については、前記検知部と前記センサとの他方で過去に得られた情報を用いてタグを重畳表示する重畳画像生成部と、
前記検知部によって検知された移動体と、前記センサ取得部によって取得されたセンサ情報が示す移動体とが同一の移動体であるか否かを判定する同一性判定部であって、基準速度以下の速度で移動している移動体については、検知された移動体の位置とセンサ情報に含まれる位置情報が示す移動体の位置との間の距離に基づき、同一の移動体であるか否かを判定する同一性判定部と
を備え、
前記重畳画像生成部は、前記検知部と前記センサとのどちらか一方だけで検知された移動体のうち、その移動体と同一の移動体であると前記同一性判定部によって判定された移動体については、前記検知部と前記センサとの他方で過去に得られた情報を用いてタグを重畳表示する管制支援装置。 - 前記重畳画像生成部は、前記検知部と前記センサとの両方で検知された移動体と、前記センサだけで検知された移動体と、前記検知部だけで検知された移動体とで、区別した表示を行う
請求項１から３までのいずれか１項に記載の管制支援装置。 - 前記重畳画像生成部は、前記検知部だけで検知された移動体については、過去に取得されたセンサ情報から生成されたタグを重畳表示する
請求項１から４までのいずれか１項に記載の管制支援装置。 - 前記センサ情報には、移動体の位置を示す位置情報が含まれており、
前記同一性判定部は、基準速度よりも速い速度で移動している移動体については、検知された移動体の位置から特定される移動方向と、センサ情報に含まれる位置情報が示す移動体の位置から特定される移動方向との間の差に基づき、同一の移動体であるか否かを判定する
請求項３に記載の管制支援装置。 - 前記同一性判定部は、検知された移動体の位置から特定される移動方向と、検知された移動体の位置からセンサ情報に含まれる位置情報が示す移動体の位置への方向との間の差に基づき、同一の移動体であるか否かを判定する
請求項６に記載の管制支援装置。 - 前記同一性判定部は、新たに前記検知部によって検知された移動体についての検知された領域と、過去に前記検知部によって検知された移動体についての検知された領域とが重なるか否かによって、新たに前記検知部によって検知された移動体と、過去に前記検知部によって検知された移動体との同一性を判定する
請求項３と請求項６と請求項７とのいずれか１項に記載の管制支援装置。 - コンピュータが、画像データから管制対象の移動体を検知し、
コンピュータが、センサによって検知されて得られた前記管制対象の移動体についてのセンサ情報を取得し、
コンピュータが、移動体が検知された位置を基準として決められる、前記画像データにおける表示位置に、センサ情報から生成されたタグを重畳表示して重畳画像を生成し、前記画像データと前記センサとのどちらか一方だけで検知された移動体については、前記画像データと前記センサとの他方で過去に得られた情報を用いてタグを重畳表示し、
コンピュータが、前記画像データと前記センサとの両方で検知された移動体と、前記センサだけで検知された移動体及び前記画像データだけで検知された移動体との間で、区別した表示を行う管制支援方法。 - コンピュータが、画像データから管制対象の移動体を検知し、
コンピュータが、センサによって検知されて得られた前記管制対象の移動体についてのセンサ情報であって、前記移動体の位置を示す位置情報が含まれたセンサ情報を取得し、
コンピュータが、移動体が検知された位置を基準として決められる、前記画像データにおける表示位置に、センサ情報から生成されたタグを重畳表示して重畳画像を生成し、前記画像データと前記センサとのどちらか一方だけで検知された移動体については、前記画像データと前記センサとの他方で過去に得られた情報を用いてタグを重畳表示し、
コンピュータが、前記センサだけで検知された移動体については、前記画像データによって過去に移動体が検知された位置と、過去に取得されたセンサ情報に含まれる位置情報が示す位置との差に基づき、新たに取得されたセンサ情報に含まれる位置情報が示す位置を補正して前記表示位置を決定する管制支援方法。 - コンピュータが、画像データから管制対象の移動体を検知し、
コンピュータが、センサによって検知されて得られた前記管制対象の移動体についてのセンサ情報であって、前記移動体の位置を示す位置情報が含まれたセンサ情報を取得し、
コンピュータが、移動体が検知された位置を基準として決められる、前記画像データにおける表示位置に、センサ情報から生成されたタグを重畳表示して重畳画像を生成し、前記画像データと前記センサとのどちらか一方だけで検知された移動体については、前記画像データと前記センサとの他方で過去に得られた情報を用いてタグを重畳表示し、
コンピュータが、前記画像データによって検知された移動体と、前記センサ情報が示す移動体とが同一の移動体であるか否かを判定し、基準速度以下の速度で移動している移動体については、検知された移動体の位置とセンサ情報に含まれる位置情報が示す移動体の位置との間の距離に基づき、同一の移動体であるか否かを判定し、
コンピュータが、前記画像データと前記センサとのどちらか一方だけで検知された移動体のうち、その移動体と同一の移動体であると判定された移動体については、前記画像データと前記センサとの他方で過去に得られた情報を用いてタグを重畳表示する管制支援方法。 - 画像データから管制対象の移動体を検知する検知処理と、
センサによって検知されて得られた前記管制対象の移動体についてのセンサ情報を取得するセンサ取得処理と、
前記検知処理によって移動体が検知された位置を基準として決められる、前記画像データにおける表示位置に、前記センサ取得処理によって取得されたセンサ情報から生成されたタグを重畳表示して重畳画像を生成する重畳画像生成処理であって、前記検知処理と前記センサとのどちらか一方だけで検知された移動体については、前記検知処理と前記センサとの他方で過去に得られた情報を用いてタグを重畳表示する重畳画像生成処理と
を行う管制支援装置としてコンピュータを機能させ、
前記重畳画像生成処理では、前記検知処理と前記センサとの両方で検知された移動体と、前記センサだけで検知された移動体及び前記検知処理だけで検知された移動体との間で、区別した表示を行う管制支援プログラム。 - 画像データから管制対象の移動体を検知する検知処理と、
センサによって検知されて得られた前記管制対象の移動体についてのセンサ情報であって、前記移動体の位置を示す位置情報が含まれたセンサ情報を取得するセンサ取得処理と、
前記検知処理によって移動体が検知された位置を基準として決められる、前記画像データにおける表示位置に、前記センサ取得処理によって取得されたセンサ情報から生成されたタグを重畳表示して重畳画像を生成する重畳画像生成処理であって、前記検知処理と前記センサとのどちらか一方だけで検知された移動体については、前記検知処理と前記センサとの他方で過去に得られた情報を用いてタグを重畳表示する重畳画像生成処理と
を行う管制支援装置としてコンピュータを機能させ、
前記重畳画像生成処理では、前記センサだけで検知された移動体については、前記検知処理によって過去に移動体が検知された位置と、過去に取得されたセンサ情報に含まれる位置情報が示す位置との差に基づき、新たに取得されたセンサ情報に含まれる位置情報が示す位置を補正して前記表示位置を決定する管制支援プログラム。 - 画像データから管制対象の移動体を検知する検知処理と、
センサによって検知されて得られた前記管制対象の移動体についてのセンサ情報であって、前記移動体の位置を示す位置情報が含まれたセンサ情報を取得するセンサ取得処理と、
前記検知処理によって移動体が検知された位置を基準として決められる、前記画像データにおける表示位置に、前記センサ取得処理によって取得されたセンサ情報から生成されたタグを重畳表示して重畳画像を生成する重畳画像生成処理であって、前記検知処理と前記センサとのどちらか一方だけで検知された移動体については、前記検知処理と前記センサとの他方で過去に得られた情報を用いてタグを重畳表示する重畳画像生成処理と、
前記検知処理によって検知された移動体と、前記センサ取得処理によって取得されたセンサ情報が示す移動体とが同一の移動体であるか否かを判定する同一性判定処理であって、基準速度以下の速度で移動している移動体については、検知された移動体の位置とセンサ情報に含まれる位置情報が示す移動体の位置との間の距離に基づき、同一の移動体であるか否かを判定する同一性判定処理と
を行う管制支援装置としてコンピュータを機能させ、
前記重畳画像生成処理では、前記検知処理と前記センサとのどちらか一方だけで検知された移動体のうち、その移動体と同一の移動体であると前記同一性判定処理によって判定された移動体については、前記検知処理と前記センサとの他方で過去に得られた情報を用いてタグを重畳表示する管制支援プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021122498A JP7241818B2 (ja) | 2021-07-27 | 2021-07-27 | 管制支援装置、管制支援方法及び管制支援プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021122498A JP7241818B2 (ja) | 2021-07-27 | 2021-07-27 | 管制支援装置、管制支援方法及び管制支援プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023018398A JP2023018398A (ja) | 2023-02-08 |
| JP7241818B2 true JP7241818B2 (ja) | 2023-03-17 |
Family
ID=85158294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021122498A Active JP7241818B2 (ja) | 2021-07-27 | 2021-07-27 | 管制支援装置、管制支援方法及び管制支援プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7241818B2 (ja) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002277544A (ja) | 2001-03-21 | 2002-09-25 | Toshiba Corp | 空港滑走路監視装置 |
| JP2005207892A (ja) | 2004-01-22 | 2005-08-04 | Denso Corp | 電波送信装置及びナビゲーション装置 |
| JP2006270404A (ja) | 2005-03-23 | 2006-10-05 | Mitsubishi Electric Corp | 撮影制御装置、撮影制御方法および撮影制御プログラム |
| JP2012070260A (ja) | 2010-09-24 | 2012-04-05 | Navicom Aviation Corp | 航空機管理システム、機上装置及び地上装置、機上装置用プログラム及び地上装置用プログラム並びに情報処理方法 |
| JP2013161113A (ja) | 2012-02-01 | 2013-08-19 | Toyota Motor Corp | 走行車線認識装置 |
| JP2019022178A (ja) | 2017-07-21 | 2019-02-07 | 三菱電機株式会社 | 管制支援装置、管制支援方法および管制支援プログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09281212A (ja) * | 1996-04-16 | 1997-10-31 | Sony Corp | 移動体の位置検知装置 |
| JP2973302B2 (ja) * | 1997-11-27 | 1999-11-08 | 日本電気株式会社 | 空港面監視装置 |
-
2021
- 2021-07-27 JP JP2021122498A patent/JP7241818B2/ja active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002277544A (ja) | 2001-03-21 | 2002-09-25 | Toshiba Corp | 空港滑走路監視装置 |
| JP2005207892A (ja) | 2004-01-22 | 2005-08-04 | Denso Corp | 電波送信装置及びナビゲーション装置 |
| JP2006270404A (ja) | 2005-03-23 | 2006-10-05 | Mitsubishi Electric Corp | 撮影制御装置、撮影制御方法および撮影制御プログラム |
| JP2012070260A (ja) | 2010-09-24 | 2012-04-05 | Navicom Aviation Corp | 航空機管理システム、機上装置及び地上装置、機上装置用プログラム及び地上装置用プログラム並びに情報処理方法 |
| JP2013161113A (ja) | 2012-02-01 | 2013-08-19 | Toyota Motor Corp | 走行車線認識装置 |
| JP2019022178A (ja) | 2017-07-21 | 2019-02-07 | 三菱電機株式会社 | 管制支援装置、管制支援方法および管制支援プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023018398A (ja) | 2023-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7221089B2 (ja) | 動的な交通参加者の除去による位置推定と地図生成の安定した同時実行 | |
| EP3420530B1 (en) | A device and method for determining a pose of a camera | |
| US11527077B2 (en) | Advanced driver assist system, method of calibrating the same, and method of detecting object in the same | |
| JP5663352B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| KR102462278B1 (ko) | 어떤 대상의 자기 동작 추정을 위한 방법 | |
| JP3279479B2 (ja) | 映像監視方法及び装置 | |
| US9953225B2 (en) | Image processing apparatus and image processing method | |
| US20130215270A1 (en) | Object detection apparatus | |
| US10867390B2 (en) | Computer vision processing | |
| JPWO2009005141A1 (ja) | 物体領域検出装置、物体領域検出システム、物体領域検出方法及びプログラム | |
| WO2020154990A1 (zh) | 目标物体运动状态检测方法、设备及存储介质 | |
| JP2006338272A (ja) | 車両挙動検出装置、および車両挙動検出方法 | |
| JP2014137815A (ja) | 歪みのあるカメラ画像を補正するシステム及び方法 | |
| JP7209115B2 (ja) | 複数の相対的に接近する様に動いているリジッドなオブジェクトの検出、３ｄ再現および追跡 | |
| CN113396423A (zh) | 处理来自基于事件的传感器的信息的方法 | |
| JP2015138319A (ja) | 物体検出装置、物体検出方法、および物体検出プログラム | |
| Tsoukalas et al. | Deep learning assisted visual tracking of evader-UAV | |
| WO2020213099A1 (ja) | オブジェクト検出・追跡装置、方法、およびプログラム記録媒体 | |
| JP7241818B2 (ja) | 管制支援装置、管制支援方法及び管制支援プログラム | |
| JP2010003253A (ja) | 運動推定装置 | |
| JP2008026999A (ja) | 障害物検出システム、及び障害物検出方法 | |
| JP2008165595A (ja) | 障害物検出方法、障害物検出装置、障害物検出システム | |
| JP7384158B2 (ja) | 画像処理装置、移動装置、および方法、並びにプログラム | |
| JP2008243111A (ja) | 画像処理装置および画像処理方法 | |
| JP2020144758A (ja) | 移動物体検出装置、移動物体検出方法およびコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210727 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220816 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221003 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230307 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7241818 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |