WO2018220745A1 - 監視装置 - Google Patents
監視装置 Download PDFInfo
- Publication number
- WO2018220745A1 WO2018220745A1 PCT/JP2017/020261 JP2017020261W WO2018220745A1 WO 2018220745 A1 WO2018220745 A1 WO 2018220745A1 JP 2017020261 W JP2017020261 W JP 2017020261W WO 2018220745 A1 WO2018220745 A1 WO 2018220745A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- target
- processing unit
- observation
- sensor
- image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
観測センサ(3)から出力された識別情報によって目標物の大きさを特定し、特定した目標物の大きさ及び観測センサ(3)から出力された目標物観測位置のそれぞれを画像センサ(1)の投影面に変換し、変換した目標物の大きさと、変換した目標物観測位置とから、画像センサ(1)の投影面上で、観測センサ(3)により観測された目標物を包含している範囲である目標物包含観測領域を特定する変換処理部(5)を設け、第1の判定処理部(6)が、変換処理部(5)により特定された目標物包含観測領域と、目標検出部(2)により特定された目標物包含画像領域とを比較して、観測センサ(3)により観測された目標物と、目標検出部(2)により検出された目標物とが同一物であるか否かを判定する。
Description
この発明は、観測センサにより観測された目標物と、画像センサの撮像画像内の目標物とが同一物であるか否かを判定する監視装置に関するものである。
例えば、観測諸元が異なるレーダ又はカメラなどの複数のセンサを用いて、航空機、船舶又は車両などの目標物を観測し、複数のセンサにより観測された目標物の同一性を判定する監視装置がある。
この監視装置は、例えば、画像センサから出力された撮像画像内の目標物と、或るレーダにより観測された目標物とが同一物であると判定すれば、或るレーダにより観測された目標物の識別情報を撮像画像上に重ねて表示する。
この監視装置は、例えば、画像センサから出力された撮像画像内の目標物と、或るレーダにより観測された目標物とが同一物であると判定すれば、或るレーダにより観測された目標物の識別情報を撮像画像上に重ねて表示する。
この監視装置を適用可能なシステムとして、例えば、目標物である航空機を観測する航空管制支援システムがある。
航空管制支援システムに適用される監視装置が備えるセンサとして、例えば、空港面探知レーダ(ASDE:Airport Surface Detection Equipment)、空港監視レーダ(ASR:Airport Surveillance Radar)がある。ASDEは目標物である航空機の距離や方位を探知することによって2次元位置を取得することができる。ASRは、例えば、一次監視レーダ(PSR:Primary Surveillance Radar)と、二次監視レーダ(SSR:Secondary Surveillance Radar)とを組み合わせたレーダである。PSRは、目標物である航空機の距離及び方位を探知する。SSRは、レーダのアンテナから送信された電波である質問信号に対して、航空機に搭載されたトランスポンダが応答することによって、目標物の航空機である距離及び方位を探知し、応答信号には、航空機の識別情報及び高度が含まれるため、距離及び方位に加えて、高度を知ることができる。
これらのセンサは、航空機の高度を取得できない場合、2次元位置として取得することになり、航空機の高度が取得できる場合、3次元位置として取得することができる。
また、監視装置が備えるセンサとして、マルチラテレーション(MLAT:MultirateLATion)、広域マルチラテレーション(WAM:Wide Area Multiratelation)、ADS-B(Automatic Dependent Surveillance-Broadcast)out/inなどがある。
これらのセンサは、目標物である航空機の3次元位置及び航空機の識別情報を取得することができる。
航空管制支援システムに適用される監視装置が備えるセンサとして、例えば、空港面探知レーダ(ASDE:Airport Surface Detection Equipment)、空港監視レーダ(ASR:Airport Surveillance Radar)がある。ASDEは目標物である航空機の距離や方位を探知することによって2次元位置を取得することができる。ASRは、例えば、一次監視レーダ(PSR:Primary Surveillance Radar)と、二次監視レーダ(SSR:Secondary Surveillance Radar)とを組み合わせたレーダである。PSRは、目標物である航空機の距離及び方位を探知する。SSRは、レーダのアンテナから送信された電波である質問信号に対して、航空機に搭載されたトランスポンダが応答することによって、目標物の航空機である距離及び方位を探知し、応答信号には、航空機の識別情報及び高度が含まれるため、距離及び方位に加えて、高度を知ることができる。
これらのセンサは、航空機の高度を取得できない場合、2次元位置として取得することになり、航空機の高度が取得できる場合、3次元位置として取得することができる。
また、監視装置が備えるセンサとして、マルチラテレーション(MLAT:MultirateLATion)、広域マルチラテレーション(WAM:Wide Area Multiratelation)、ADS-B(Automatic Dependent Surveillance-Broadcast)out/inなどがある。
これらのセンサは、目標物である航空機の3次元位置及び航空機の識別情報を取得することができる。
以下の特許文献1に開示されている監視装置は、観測センサとして、空港面探知レーダを使用して、空港面を移動する全ての目標物を観測し、全ての目標物の位置及び識別情報を取得するようにしている。目標物には、空港面を移動する航空機のほか、空港面を移動する車両なども含まれる。
また、この監視装置は、画像センサであるビデオカメラを用いて、目標物を撮影し、目標物が映っている撮像画像を取得するようにしている。
この監視装置は、撮像画像内の目標物を検出して、撮像画像上での目標物の位置と、空港面探知レーダにより取得された目標物の位置との相関の有無を判定することで、空港面探知レーダにより観測された目標物と、画像センサの撮像画像内の目標物とが同一物であるか否かを判定している。
また、この監視装置は、画像センサであるビデオカメラを用いて、目標物を撮影し、目標物が映っている撮像画像を取得するようにしている。
この監視装置は、撮像画像内の目標物を検出して、撮像画像上での目標物の位置と、空港面探知レーダにより取得された目標物の位置との相関の有無を判定することで、空港面探知レーダにより観測された目標物と、画像センサの撮像画像内の目標物とが同一物であるか否かを判定している。
従来の監視装置は以上のように構成されているので、目標物が空港面を移動している航空機又は車両などであれば、目標物の同一性を判定することができる。しかし、目標物が飛行中の航空機である場合、撮像画像内の目標物の位置座標を解析しても、目標物の3次元位置を正確に求めることが困難であり、撮像画像上での目標物の3次元位置と、空港面探知レーダにより取得された目標物の3次元位置との相関の有無を判定することができない。このため、目標物が飛行中の航空機である場合、空港面探知レーダにより観測された目標物と、画像センサの撮像画像内の目標物とが同一物であるか否かを判定することができないという課題があった。
この発明は上記のような課題を解決するためになされたもので、目標物が飛行中の航空機である場合でも、観測センサにより観測された目標物と、画像センサの撮像画像内の目標物とが同一物であるか否かを判定することができる監視装置を得ることを目的とする。
この発明に係る監視装置は、目標物が存在している領域を撮像して、その領域の撮像画像を出力する画像センサと、画像センサから出力された撮像画像内の目標物を検出し、検出した目標物を包含している範囲である目標物包含画像領域を特定する目標検出部と、目標物を観測して、観測した目標物の識別情報及び観測した目標物の位置である目標物観測位置を出力する観測センサと、観測センサから出力された識別情報によって目標物の大きさを特定し、特定した目標物の大きさ及び観測センサから出力された目標物観測位置のそれぞれを画像センサの投影面に変換し、変換した目標物の大きさと、変換した目標物観測位置とから、画像センサの投影面上で、観測センサにより観測された目標物を包含している範囲である目標物包含観測領域を特定する変換処理部とを設け、第1の判定処理部が、変換処理部により特定された目標物包含観測領域と、目標検出部により特定された目標物包含画像領域とを比較して、観測センサにより観測された目標物と、目標検出部により検出された目標物とが同一物であるか否かを判定するようにしたものである。
この発明によれば、観測センサから出力された識別情報によって目標物の大きさを特定し、特定した目標物の大きさ及び観測センサから出力された目標物観測位置のそれぞれを画像センサの投影面に変換し、変換した目標物の大きさと、変換した目標物観測位置とから、画像センサの投影面上で、観測センサにより観測された目標物を包含している範囲である目標物包含観測領域を特定する変換処理部を設け、第1の判定処理部が、変換処理部により特定された目標物包含観測領域と、目標検出部により特定された目標物包含画像領域とを比較して、観測センサにより観測された目標物と、目標検出部により検出された目標物とが同一物であるか否かを判定するように構成したので、目標物が飛行中の航空機である場合でも、観測センサにより観測された目標物と、画像センサの撮像画像内の目標物とが同一物であるか否かを判定することができる効果がある。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、この発明の実施の形態1による監視装置を示す構成図である。図2は、この発明の実施の形態1による監視装置を示すハードウェア構成図である。
図1及び図2において、画像センサ1は、例えば、光学カメラ又は赤外カメラなどで実現される。
画像センサ1は、目標物が存在している領域として、例えば、移動体が交通する空港敷地内及び空港周辺の領域を撮像して、前記領域の撮像画像を目標検出部2及び表示処理部7に出力する。この目標物には、航空機のほか、地上を走行する車両なども含まれる。さらに、海が近い空港であれば船舶なども含まれ、また、鉄道があれば、鉄道車両なども含まれる。
図1は、この発明の実施の形態1による監視装置を示す構成図である。図2は、この発明の実施の形態1による監視装置を示すハードウェア構成図である。
図1及び図2において、画像センサ1は、例えば、光学カメラ又は赤外カメラなどで実現される。
画像センサ1は、目標物が存在している領域として、例えば、移動体が交通する空港敷地内及び空港周辺の領域を撮像して、前記領域の撮像画像を目標検出部2及び表示処理部7に出力する。この目標物には、航空機のほか、地上を走行する車両なども含まれる。さらに、海が近い空港であれば船舶なども含まれ、また、鉄道があれば、鉄道車両なども含まれる。
目標検出部2は、例えば、図2に示す目標検出回路11で実現される。
目標検出部2は、画像センサ1から出力された撮像画像内の目標物を検出する処理を実施する。
目標検出部2は、撮像画像上での検出した目標物の位置である目標物画像位置及び撮像画像上で目標物を包含している範囲である目標物包含画像領域のそれぞれを第1の判定処理部6及び表示処理部7に出力する処理を実施する。
目標検出部2は、画像センサ1から出力された撮像画像内の目標物を検出する処理を実施する。
目標検出部2は、撮像画像上での検出した目標物の位置である目標物画像位置及び撮像画像上で目標物を包含している範囲である目標物包含画像領域のそれぞれを第1の判定処理部6及び表示処理部7に出力する処理を実施する。
観測センサ3は、画像センサ1以外のセンサであり、例えば、ASR、ASDE、MLAT、WAM、ADS-Bout/inなどで実現される。
観測センサ3は、目標物を観測して、観測した目標物の識別情報及び目標物の3次元位置である目標物観測位置のそれぞれを変換処理部5に出力する。目標物の識別情報には、例えば、航空機の便名のほか、航空機の機体など、目標物の固有の識別番号が含まれている。
物体形状情報格納部4は、例えば、図2に示す形状記憶回路12で実現される。
物体形状情報格納部4は、各種の目標物の形状を示す形状情報を格納している。例えば、目標物の識別情報に対応する形状情報として、識別情報が示す目標物の全長、全幅及び高さなどを格納している。
観測センサ3は、目標物を観測して、観測した目標物の識別情報及び目標物の3次元位置である目標物観測位置のそれぞれを変換処理部5に出力する。目標物の識別情報には、例えば、航空機の便名のほか、航空機の機体など、目標物の固有の識別番号が含まれている。
物体形状情報格納部4は、例えば、図2に示す形状記憶回路12で実現される。
物体形状情報格納部4は、各種の目標物の形状を示す形状情報を格納している。例えば、目標物の識別情報に対応する形状情報として、識別情報が示す目標物の全長、全幅及び高さなどを格納している。
変換処理部5は、例えば、図2に示す変換処理回路13で実現される。
変換処理部5は、物体形状情報格納部4から、観測センサ3から出力された識別情報に対応する形状情報を読み出し、形状情報を参照することで、観測センサ3により観測された目標物の大きさを特定する処理を実施する。
変換処理部5は、特定した目標物の大きさ及び観測センサ3から出力された目標物観測位置のそれぞれを画像センサ1の投影面に変換する処理を実施する。
変換処理部5は、変換した目標物の大きさと、変換した目標物観測位置とから、画像センサ1の投影面上で、観測センサ3により観測された目標物を包含している範囲である目標物包含観測領域を特定する処理を実施する。
この実施の形態1では、変換処理部5が、観測センサ3から出力された識別情報に対応する形状情報を参照することで、観測センサ3により観測された目標物の大きさを特定し、特定した目標物の大きさを画像センサ1の投影面に変換する例を示しているが、これに限るものではない。
例えば、観測センサ3が目標物の識別情報を得ることが困難であるような場合、変換処理部5が、予め設定されている目標物の大きさを画像センサ1の投影面に変換するようにしてもよい。
予め設定されている目標物の大きさは、例えば、カタログ上の大きさなどが考えられる。
変換処理部5は、物体形状情報格納部4から、観測センサ3から出力された識別情報に対応する形状情報を読み出し、形状情報を参照することで、観測センサ3により観測された目標物の大きさを特定する処理を実施する。
変換処理部5は、特定した目標物の大きさ及び観測センサ3から出力された目標物観測位置のそれぞれを画像センサ1の投影面に変換する処理を実施する。
変換処理部5は、変換した目標物の大きさと、変換した目標物観測位置とから、画像センサ1の投影面上で、観測センサ3により観測された目標物を包含している範囲である目標物包含観測領域を特定する処理を実施する。
この実施の形態1では、変換処理部5が、観測センサ3から出力された識別情報に対応する形状情報を参照することで、観測センサ3により観測された目標物の大きさを特定し、特定した目標物の大きさを画像センサ1の投影面に変換する例を示しているが、これに限るものではない。
例えば、観測センサ3が目標物の識別情報を得ることが困難であるような場合、変換処理部5が、予め設定されている目標物の大きさを画像センサ1の投影面に変換するようにしてもよい。
予め設定されている目標物の大きさは、例えば、カタログ上の大きさなどが考えられる。
第1の判定処理部6は、例えば、図2に示す第1の判定処理回路14で実現される。
第1の判定処理部6は、変換処理部5により特定された目標物包含観測領域と、目標検出部2から出力された目標物包含画像領域とを比較して、観測センサ3により観測された目標物と、目標検出部2により検出された目標物とが同一物であるか否かを判定する処理を実施する。
即ち、第1の判定処理部6は、画像センサ1の投影面上で、変換処理部5により特定された目標物包含観測領域と、目標検出部2から出力された目標物包含画像領域との重なり範囲を算出する処理を実施する。
また、第1の判定処理部6は、重なり範囲が閾値以上であれば、観測センサ3により観測された目標物と、目標検出部2により検出された目標物とが同一物であると判定し、重なり範囲が閾値未満であれば、観測センサ3により観測された目標物と、目標検出部2により検出された目標物とが同一物でないと判定する処理を実施する。
第1の判定処理部6は、変換処理部5により特定された目標物包含観測領域と、目標検出部2から出力された目標物包含画像領域とを比較して、観測センサ3により観測された目標物と、目標検出部2により検出された目標物とが同一物であるか否かを判定する処理を実施する。
即ち、第1の判定処理部6は、画像センサ1の投影面上で、変換処理部5により特定された目標物包含観測領域と、目標検出部2から出力された目標物包含画像領域との重なり範囲を算出する処理を実施する。
また、第1の判定処理部6は、重なり範囲が閾値以上であれば、観測センサ3により観測された目標物と、目標検出部2により検出された目標物とが同一物であると判定し、重なり範囲が閾値未満であれば、観測センサ3により観測された目標物と、目標検出部2により検出された目標物とが同一物でないと判定する処理を実施する。
表示処理部7は、例えば、図2に示す表示処理回路15で実現される。
表示処理部7は、画像センサ1から出力された撮像画像をディスプレイ16に表示する処理を実施する。
表示処理部7は、第1の判定処理部6により同一物であると判定された場合、変換処理部5により画像センサ1の投影面に変換された目標物観測位置及び観測センサ3から出力された識別情報のそれぞれを撮像画像上に表示し、また、目標検出部2から出力された目標物包含画像領域を撮像画像上に表示する処理を実施する。
また、第1の判定処理部6により同一物であると判定されなかった場合でも、表示処理部7は、変換処理部5により画像センサ1の投影面に変換された目標物観測位置、観測センサ3から出力された識別情報、変換処理部5により特定された目標物包含観測領域、目標検出部2から出力された目標物画像位置、目標検出部2から出力された目標物包含画像領域のそれぞれを独立に撮像画像上に表示しても良いこととする。
ディスプレイ16は、例えば、液晶ディスプレイなどの表示装置である。
表示処理部7は、画像センサ1から出力された撮像画像をディスプレイ16に表示する処理を実施する。
表示処理部7は、第1の判定処理部6により同一物であると判定された場合、変換処理部5により画像センサ1の投影面に変換された目標物観測位置及び観測センサ3から出力された識別情報のそれぞれを撮像画像上に表示し、また、目標検出部2から出力された目標物包含画像領域を撮像画像上に表示する処理を実施する。
また、第1の判定処理部6により同一物であると判定されなかった場合でも、表示処理部7は、変換処理部5により画像センサ1の投影面に変換された目標物観測位置、観測センサ3から出力された識別情報、変換処理部5により特定された目標物包含観測領域、目標検出部2から出力された目標物画像位置、目標検出部2から出力された目標物包含画像領域のそれぞれを独立に撮像画像上に表示しても良いこととする。
ディスプレイ16は、例えば、液晶ディスプレイなどの表示装置である。
図1では、監視装置の構成要素である画像センサ1、目標検出部2、観測センサ3、物体形状情報格納部4、変換処理部5、第1の判定処理部6、表示処理部7及びディスプレイ16のそれぞれが、図2に示すような専用のハードウェアで実現されるものを想定している。即ち、画像センサ1、目標検出回路11、観測センサ3、形状記憶回路12、変換処理回路13、第1の判定処理回路14、表示処理回路15及びディスプレイ16で実現されるものを想定している。
ここで、形状記憶回路12は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)などが該当する。
また、目標検出回路11、変換処理回路13、第1の判定処理回路14及び表示処理回路15は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、または、これらを組み合わせたものが該当する。
また、目標検出回路11、変換処理回路13、第1の判定処理回路14及び表示処理回路15は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、または、これらを組み合わせたものが該当する。
監視装置の画像センサ1、観測センサ3及びディスプレイ16を除く構成要素は、専用のハードウェアで実現されるものに限るものではなく、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
ソフトウェア又はファームウェアはプログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、CPU(Central Processing Unit)、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)などが該当する。
ソフトウェア又はファームウェアはプログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、CPU(Central Processing Unit)、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)などが該当する。
図3は、監視装置の画像センサ1、観測センサ3及びディスプレイ16を除く構成要素がソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。
監視装置の画像センサ1、観測センサ3及びディスプレイ16を除く構成要素がソフトウェア又はファームウェアなどで実現される場合、物体形状情報格納部4をコンピュータのメモリ21上に構成するとともに、目標検出部2、物体形状情報格納部4、変換処理部5、第1の判定処理部6及び表示処理部7の処理手順をコンピュータに実行させるためのプログラムをメモリ21に格納し、コンピュータのプロセッサ22がメモリ21に格納されているプログラムを実行するようにすればよい。
監視装置の画像センサ1、観測センサ3及びディスプレイ16を除く構成要素がソフトウェア又はファームウェアなどで実現される場合、物体形状情報格納部4をコンピュータのメモリ21上に構成するとともに、目標検出部2、物体形状情報格納部4、変換処理部5、第1の判定処理部6及び表示処理部7の処理手順をコンピュータに実行させるためのプログラムをメモリ21に格納し、コンピュータのプロセッサ22がメモリ21に格納されているプログラムを実行するようにすればよい。
図4は、監視装置の画像センサ1、観測センサ3及びディスプレイ16を除く構成要素がソフトウェア又はファームウェアなどで実現される場合の処理手順を示すフローチャートである。
また、図2では、監視装置の構成要素のそれぞれが専用のハードウェアで実現される例を示し、図3では、監視装置の画像センサ1、観測センサ3及びディスプレイ16を除く構成要素がソフトウェアやファームウェアなどで実現される例を示しているが、監視装置における一部の構成要素が専用のハードウェアで実現され、残りの構成要素がソフトウェアやファームウェアなどで実現されるものであってもよい。
また、図2では、監視装置の構成要素のそれぞれが専用のハードウェアで実現される例を示し、図3では、監視装置の画像センサ1、観測センサ3及びディスプレイ16を除く構成要素がソフトウェアやファームウェアなどで実現される例を示しているが、監視装置における一部の構成要素が専用のハードウェアで実現され、残りの構成要素がソフトウェアやファームウェアなどで実現されるものであってもよい。
次に動作について説明する。
画像センサ1は、目標物が存在している領域として、例えば、移動体が交通する空港敷地内及び空港周辺の領域を撮像して、前記領域の撮像画像を目標検出部2及び表示処理部7に出力する。この目標物には、航空機のほか、地上を走行する車両なども含まれる。
画像センサ1は、目標物が存在している領域として、例えば、移動体が交通する空港敷地内及び空港周辺の領域を撮像して、前記領域の撮像画像を目標検出部2及び表示処理部7に出力する。この目標物には、航空機のほか、地上を走行する車両なども含まれる。
目標検出部2は、画像センサ1から出力された撮像画像内の目標物を検出する処理を実施する(図4のステップST1)。
撮像画像内の目標物を検出する処理自体は、公知の技術であるため詳細な説明を省略する。
目標検出部2は、検出した目標物の撮像画像上での位置である目標物画像位置を第1の判定処理部6及び表示処理部7に出力する。
また、目標検出部2は、撮像画像上で目標物を包含している範囲である目標物包含画像領域と、検出した目標物を識別するID(IDentification)とを第1の判定処理部6及び表示処理部7に出力する。このIDは、目標検出部2により任意に割り当てられた番号等である。
ここで、目標物包含画像領域は、例えば、撮像画像上で目標物を囲む矩形の枠、曲線と直線から構成する枠が該当する。
また、目標物画像位置は、例えば、目標物包含画像領域の中心に存在している画素の位置座標が該当する。
撮像画像内の目標物を検出する処理自体は、公知の技術であるため詳細な説明を省略する。
目標検出部2は、検出した目標物の撮像画像上での位置である目標物画像位置を第1の判定処理部6及び表示処理部7に出力する。
また、目標検出部2は、撮像画像上で目標物を包含している範囲である目標物包含画像領域と、検出した目標物を識別するID(IDentification)とを第1の判定処理部6及び表示処理部7に出力する。このIDは、目標検出部2により任意に割り当てられた番号等である。
ここで、目標物包含画像領域は、例えば、撮像画像上で目標物を囲む矩形の枠、曲線と直線から構成する枠が該当する。
また、目標物画像位置は、例えば、目標物包含画像領域の中心に存在している画素の位置座標が該当する。
この実施の形態1では、監視装置が1つの画像センサ1を実装している例を想定しているが、監視装置が複数の画像センサ1を実装しているものであってもよい。
監視装置が複数の画像センサ1を実装している場合、目標検出部2が、画像センサ1毎に、独立して目標物を検出するようにしてもよいし、複数の画像センサ1により撮影された画像をパノラマ映像として1つの撮像画像に合成し、合成した撮像画像上で目標物を検出するようにしてもよい。また、複数の画像センサ1が、独立して目標物を検出すると同時に、他の画像センサ1と協調動作することで、複数の画像センサ1間を跨がって存在する同一の目標物について同一のIDを付与し、前記IDが同じ目標物については、ある画像センサ1で検出した目標物を他の画像センサ1で検出しない、もしくは後段の処理部へ出力しないようにしてもよい。
監視装置が複数の画像センサ1を実装している場合、目標検出部2が、画像センサ1毎に、独立して目標物を検出するようにしてもよいし、複数の画像センサ1により撮影された画像をパノラマ映像として1つの撮像画像に合成し、合成した撮像画像上で目標物を検出するようにしてもよい。また、複数の画像センサ1が、独立して目標物を検出すると同時に、他の画像センサ1と協調動作することで、複数の画像センサ1間を跨がって存在する同一の目標物について同一のIDを付与し、前記IDが同じ目標物については、ある画像センサ1で検出した目標物を他の画像センサ1で検出しない、もしくは後段の処理部へ出力しないようにしてもよい。
観測センサ3は、目標物を観測して、観測した目標物の識別情報及び目標物の3次元位置である目標物観測位置(X1,Y1,Z1)のそれぞれを変換処理部5及び表示処理部7に出力する。また、前述した通り、単一の観測センサ3を扱う際に、センサによってはASRのように距離と方位、ASDEのように地上面の2次元位置のみ取得される場合がある。ASRの場合は、航空機の気圧高度、もしくは気圧高度に標準大気の補正を加えて海面からの高度に変換し、距離、方位、高度を3次元位置(X1,Y1,Z1)へ変換して出力しても良いこととする。ASDEの場合は、目標物の高度として、デフォルト値(航空管制のルール上、現実的にあり得る値)を設定して、3次元位置(X1,Y1,Z1)を出力しても良いこととする。
目標物の識別情報には、例えば、航空機の便名又は航空機の機体の情報など、目標物の固有の識別番号が含まれている。
また、観測センサ3は、目標物の推定速度を示す速度ベクトルを取得できる場合は変換処理部5に出力しても良いこととする。
目標物の識別情報には、例えば、航空機の便名又は航空機の機体の情報など、目標物の固有の識別番号が含まれている。
また、観測センサ3は、目標物の推定速度を示す速度ベクトルを取得できる場合は変換処理部5に出力しても良いこととする。
変換処理部5は、図5に示すように、観測センサ3から出力された目標物観測位置(X1,Y1,Z1)を画像センサ1の投影面に投影することで、目標物観測位置(X1,Y1,Z1)を画像センサ1の投影面の座標(u,v)に変換する(図4のステップST2)。
図5は、変換処理部5により画像センサ1の投影面に変換された目標物観測位置及び変換処理部5により特定された目標物包含観測領域を示す説明図である。
画像センサ1の投影面の座標(u,v)は、目標物包含観測領域における中心画素の座標に相当する。
図5は、変換処理部5により画像センサ1の投影面に変換された目標物観測位置及び変換処理部5により特定された目標物包含観測領域を示す説明図である。
画像センサ1の投影面の座標(u,v)は、目標物包含観測領域における中心画素の座標に相当する。
例えば、変換処理部5は、以下の式(1)を用いることで、目標物観測位置(X1,Y1,Z1)を画像センサ1の投影面の座標(u,v)に変換することができる。
式(1)において、Aは、画像センサ1の内部パラメータ、Rは、回転行列、Tは、平行移動ベクトルである。
Xworld,Yworld,Zworldは、目標物が存在している3次元直交座標系の各軸の座標値である。例えば、観測センサ3が設置されている位置を原点とする北基準直交座標系が考えられる。
uimage,vimageは、画像センサ1の投影面上での各軸の座標値である。
したがって、目標物観測位置(X1,Y1,Z1)を式(1)の座標値(Xworld,Yworld,Zworld)に代入すると、式(1)の画像センサ1の投影面上での座標値(uimage,vimage)が、画像センサ1の投影面の座標(u,v)となる。
式(1)において、Aは、画像センサ1の内部パラメータ、Rは、回転行列、Tは、平行移動ベクトルである。
Xworld,Yworld,Zworldは、目標物が存在している3次元直交座標系の各軸の座標値である。例えば、観測センサ3が設置されている位置を原点とする北基準直交座標系が考えられる。
uimage,vimageは、画像センサ1の投影面上での各軸の座標値である。
したがって、目標物観測位置(X1,Y1,Z1)を式(1)の座標値(Xworld,Yworld,Zworld)に代入すると、式(1)の画像センサ1の投影面上での座標値(uimage,vimage)が、画像センサ1の投影面の座標(u,v)となる。
変換処理部5は、観測センサ3から目標物の識別情報を受けると、物体形状情報格納部4から識別情報に対応する形状情報の読み出しを行う。
変換処理部5は、形状情報を参照することで、目標物の全長、全幅及び高さを把握する。目標物の識別情報が入力されない場合は、例えば、一般的な全長、全幅及び高さをデフォルト値予め設定しておき、使用しても良いこととする。
また、変換処理部5は、観測センサ3から速度ベクトルを受けると、速度ベクトルから目標物の進行方向を把握する。速度ベクトルが入力されない場合は、例えば、航空管制のルール上、予め設定されているコース又は一般的な速度よって、速度ベクトルのデフォルト値を設定して、目標物の進行方向を把握しても良いこととする。
図6は、変換処理部5により特定される目標物包含観測領域を示す説明図である。
図6Aは、目標物の全長と全幅に対応する第1の矩形領域を示し、図6Bは、目標物の全幅と高さに対応する第2の矩形領域を示している。
変換処理部5は、形状情報を参照することで、目標物の全長、全幅及び高さを把握する。目標物の識別情報が入力されない場合は、例えば、一般的な全長、全幅及び高さをデフォルト値予め設定しておき、使用しても良いこととする。
また、変換処理部5は、観測センサ3から速度ベクトルを受けると、速度ベクトルから目標物の進行方向を把握する。速度ベクトルが入力されない場合は、例えば、航空管制のルール上、予め設定されているコース又は一般的な速度よって、速度ベクトルのデフォルト値を設定して、目標物の進行方向を把握しても良いこととする。
図6は、変換処理部5により特定される目標物包含観測領域を示す説明図である。
図6Aは、目標物の全長と全幅に対応する第1の矩形領域を示し、図6Bは、目標物の全幅と高さに対応する第2の矩形領域を示している。
変換処理部5は、図6Aに示すように、目標物の進行方向に対応する辺の長さが目標物の全長であり、進行方向と直交する方向に対応する辺の長さが目標物の全幅である第1の矩形領域を生成する。
また、変換処理部5は、図6Bに示すように、高さ方向に対応する辺の長さが目標物の高さであり、水平方向に対応する辺の長さが目標物の全幅である第2の矩形領域を生成する。
ここで、目標物の進行方向が把握できない場合でも、予め設定しておいた進行方向や目標物の傾きよって、矩形領域を生成しても良いこととする。一方、目標物のピッチ、ヨー、ロールなどの詳細な情報が得られる場合は利用しても良いこととする。
また、変換処理部5は、図6Bに示すように、高さ方向に対応する辺の長さが目標物の高さであり、水平方向に対応する辺の長さが目標物の全幅である第2の矩形領域を生成する。
ここで、目標物の進行方向が把握できない場合でも、予め設定しておいた進行方向や目標物の傾きよって、矩形領域を生成しても良いこととする。一方、目標物のピッチ、ヨー、ロールなどの詳細な情報が得られる場合は利用しても良いこととする。
次に、変換処理部5は、図6Aに示すように、第1の矩形領域における2つの対角線D1,D2のうち、画像センサ1の視線方向との角度が直角に近い方向の対角線D1を選択する。
変換処理部5は、選択した対角線D1の端点a1,a2を画像センサ1の投影面に投影することで、対角線D1の端点a1,a2を画像センサ1の投影面の座標a3,a4に変換する。
変換処理部5は、選択した対角線D1の端点a1,a2を画像センサ1の投影面に投影することで、対角線D1の端点a1,a2を画像センサ1の投影面の座標a3,a4に変換する。
対角線D1の端点a1,a2を画像センサ1の投影面の座標a3,a4に変換するには、対角線D1の端点a1,a2における3次元直交座標系の座標を得る必要がある。
観測センサ3から出力された目標物観測位置(X1,Y1,Z1)が、第1の矩形領域の中心位置に対応していれば、目標物観測位置(X1,Y1,Z1)と第1の矩形領域の大きさとから、対角線D1の端点a1,a2における3次元直交座標系の座標を得ることができる。
しかし、一般的には、観測センサ3から出力された目標物観測位置(X1,Y1,Z1)は、第1の矩形領域の中心位置に対応しているとは限らない。
目標物観測位置(X1,Y1,Z1)が、第1の矩形領域の中心位置に対応していない場合、対角線D1の端点a1,a2における3次元直交座標系の座標を得ることが困難である。
そこで、この実施の形態1では、例えば、以下のようにして、対角線D1の端点a1,a2を画像センサ1の投影面の座標a3,a4に変換する。
観測センサ3から出力された目標物観測位置(X1,Y1,Z1)が、第1の矩形領域の中心位置に対応していれば、目標物観測位置(X1,Y1,Z1)と第1の矩形領域の大きさとから、対角線D1の端点a1,a2における3次元直交座標系の座標を得ることができる。
しかし、一般的には、観測センサ3から出力された目標物観測位置(X1,Y1,Z1)は、第1の矩形領域の中心位置に対応しているとは限らない。
目標物観測位置(X1,Y1,Z1)が、第1の矩形領域の中心位置に対応していない場合、対角線D1の端点a1,a2における3次元直交座標系の座標を得ることが困難である。
そこで、この実施の形態1では、例えば、以下のようにして、対角線D1の端点a1,a2を画像センサ1の投影面の座標a3,a4に変換する。
対角線D1の端点a1,a2は、第1の矩形領域に9おける対角線D1の端点であるため、端点a1と端点a2との距離を算出することができる。このため、例えば、端点a2における3次元直交座標系の座標を、端点a1における3次元直交座標系の座標で表すことができる。
端点a1の未知の座標を式(1)に代入することで、端点a1の座標を画像センサ1の投影面の座標a3に変換し、端点a1の座標で表した端点a2の座標を式(1)に代入することで、端点a2の座標を画像センサ1の投影面の座標a4に変換すれば、座標a3と座標a4との距離L1-2を求めることができる。
画像センサ1の投影面上での目標物観測位置である座標(u,v)は既に算出しているため、座標(u,v)と距離L1-2から、画像センサ1の投影面の座標a3,a4を算出することができる。
端点a1の未知の座標を式(1)に代入することで、端点a1の座標を画像センサ1の投影面の座標a3に変換し、端点a1の座標で表した端点a2の座標を式(1)に代入することで、端点a2の座標を画像センサ1の投影面の座標a4に変換すれば、座標a3と座標a4との距離L1-2を求めることができる。
画像センサ1の投影面上での目標物観測位置である座標(u,v)は既に算出しているため、座標(u,v)と距離L1-2から、画像センサ1の投影面の座標a3,a4を算出することができる。
また、変換処理部5は、図6Bに示すように、第2の矩形領域における2つの対角線D3,D4のうち、画像センサ1の視線方向との角度が直角に近い方向の対角線D3を選択する。
変換処理部5は、選択した対角線D3の端点b1,b2を画像センサ1の投影面に投影することで、対角線D3の端点b1,b2を画像センサ1の投影面の座標b3,b4に変換する。
対角線D3の端点b1,b2を画像センサ1の投影面の座標b3,b4に変換する処理も、対角線D1の端点b1,b2を画像センサ1の投影面の座標b3,b4に変換する処理と同様に行うことができる。
変換処理部5は、選択した対角線D3の端点b1,b2を画像センサ1の投影面に投影することで、対角線D3の端点b1,b2を画像センサ1の投影面の座標b3,b4に変換する。
対角線D3の端点b1,b2を画像センサ1の投影面の座標b3,b4に変換する処理も、対角線D1の端点b1,b2を画像センサ1の投影面の座標b3,b4に変換する処理と同様に行うことができる。
変換処理部5は、変換した投影面の座標a3,a4及び座標b3,b4から、図5に示すように、画像センサ1の投影面上で、目標物を包含している範囲である目標物包含観測領域を特定する(図4のステップST3)。
図5において、目標物包含観測領域の左上の端点の座標は、(a3,b3)であり、目標物包含観測領域の左下の端点の座標は、(a3,b4)である。
また、目標物包含観測領域の右上の端点の座標は、(a4,b3)であり、目標物包含観測領域の右下の端点の座標は、(a4,b4)である。
図5において、目標物包含観測領域の左上の端点の座標は、(a3,b3)であり、目標物包含観測領域の左下の端点の座標は、(a3,b4)である。
また、目標物包含観測領域の右上の端点の座標は、(a4,b3)であり、目標物包含観測領域の右下の端点の座標は、(a4,b4)である。
第1の判定処理部6は、変換処理部5により特定された目標物包含観測領域と、目標検出部2から出力された目標物包含画像領域とを比較して、観測センサ3により観測された目標物と、目標検出部2により検出された目標物とが同一物であるか否かを判定する。
即ち、第1の判定処理部6は、図7に示すように、画像センサ1の投影面上で、変換処理部5により特定された目標物包含観測領域と、目標検出部2から出力された目標物包含画像領域との重なり範囲Ovを算出する(図4のステップST4)。
図7は、目標物包含観測領域と目標物包含画像領域との重なり範囲Ovを示す説明図である。
即ち、第1の判定処理部6は、図7に示すように、画像センサ1の投影面上で、変換処理部5により特定された目標物包含観測領域と、目標検出部2から出力された目標物包含画像領域との重なり範囲Ovを算出する(図4のステップST4)。
図7は、目標物包含観測領域と目標物包含画像領域との重なり範囲Ovを示す説明図である。
第1の判定処理部6は、図7に示すように、算出した重なり範囲Ovと事前に設定された閾値Thとを比較する(図4のステップST5)。
第1の判定処理部6は、重なり範囲Ovが閾値Th以上であれば(図4のステップST5:YESの場合)、観測センサ3により観測された目標物と、目標検出部2により検出された目標物とが同一物であると判定する(図4のステップST6)。
第1の判定処理部6は、重なり範囲Ovが閾値Th未満であれば(図4のステップST5:NOの場合)、観測センサ3により観測された目標物と、目標検出部2により検出された目標物とが同一物でないと判定する(図4のステップST7)。
第1の判定処理部6は、重なり範囲Ovが閾値Th以上であれば(図4のステップST5:YESの場合)、観測センサ3により観測された目標物と、目標検出部2により検出された目標物とが同一物であると判定する(図4のステップST6)。
第1の判定処理部6は、重なり範囲Ovが閾値Th未満であれば(図4のステップST5:NOの場合)、観測センサ3により観測された目標物と、目標検出部2により検出された目標物とが同一物でないと判定する(図4のステップST7)。
表示処理部7は、画像センサ1から出力された撮像画像をディスプレイ16に表示する。
表示処理部7は、第1の判定処理部6により同一物であると判定された場合、変換処理部5により画像センサ1の投影面に変換された目標物観測位置及び観測センサ3から出力された識別情報のそれぞれを撮像画像上に表示し、また、目標検出部2から出力された目標物包含画像領域を撮像画像上に表示する(図4のステップST8)。
表示処理部7は、第1の判定処理部6により同一物であると判定された場合、変換処理部5により画像センサ1の投影面に変換された目標物観測位置及び観測センサ3から出力された識別情報のそれぞれを撮像画像上に表示し、また、目標検出部2から出力された目標物包含画像領域を撮像画像上に表示する(図4のステップST8)。
表示処理部7は、第1の判定処理部6により同一物でないと判定された場合、目標検出部2から出力された目標物画像位置、目標物包含画像領域及び目標物のIDとを撮像画像上に表示する(図4のステップST9)。
あるいは、表示処理部7は、第1の判定処理部6により同一物でないと判定された場合、観測センサ3から出力された識別情報と、変換処理部5により画像センサ1の投影面に変換された目標物観測位置及び変換処理部5により特定された目標物包含観測領域とを撮像画像上に表示する。
あるいは、表示処理部7は、第1の判定処理部6により同一物でないと判定された場合、観測センサ3から出力された識別情報と、変換処理部5により画像センサ1の投影面に変換された目標物観測位置及び変換処理部5により特定された目標物包含観測領域とを撮像画像上に表示する。
以上で明らかなように、この実施の形態1によれば、観測センサ3から出力された識別情報によって目標物の大きさを特定し、特定した目標物の大きさ及び観測センサ3から出力された目標物観測位置のそれぞれを画像センサ1の投影面に変換し、変換した目標物の大きさと、変換した目標物観測位置とから、画像センサ1の投影面上で、観測センサ3により観測された目標物を包含している範囲である目標物包含観測領域を特定する変換処理部5を設け、第1の判定処理部6が、変換処理部5により特定された目標物包含観測領域と、目標検出部2により特定された目標物包含画像領域とを比較して、観測センサ3により観測された目標物と、目標検出部2により検出された目標物とが同一物であるか否かを判定するように構成している。これにより、目標物が飛行中の航空機である場合でも、観測センサ3により観測された目標物と、画像センサ1の撮像画像内の目標物とが同一物であるか否かを判定することができる効果を奏する。
この実施の形態1では、目標検出部2により撮像画像上で1つの目標物が検出されている例を示しているが、例えば、1つの目標物の前方部分と後方部分が分離されて、2つの目標物として検出されることがある。
このような場合、目標検出部2は、図8に示すように、1つの目標物の前方部分を包含している範囲である目標物包含画像領域(以下、第1の目標物包含画像領域と称する)と、1つの目標物の後方部分を包含している範囲である目標物包含画像領域(以下、第2の目標物包含画像領域と称する)とを特定する。
図8は、目標物包含観測領域と第1及び第2の目標物包含画像領域との重なり範囲Ovを示す説明図である。
このような場合、目標検出部2は、図8に示すように、1つの目標物の前方部分を包含している範囲である目標物包含画像領域(以下、第1の目標物包含画像領域と称する)と、1つの目標物の後方部分を包含している範囲である目標物包含画像領域(以下、第2の目標物包含画像領域と称する)とを特定する。
図8は、目標物包含観測領域と第1及び第2の目標物包含画像領域との重なり範囲Ovを示す説明図である。
第1の判定処理部6は、画像センサ1の投影面上で、変換処理部5により特定された目標物包含観測領域と、第1の目標物包含画像領域との重なり範囲Ov1を算出し、また、変換処理部5により特定された目標物包含観測領域と、第2の目標物包含画像領域との重なり範囲Ov2を算出する。
第1の判定処理部6は、重なり範囲Ov1と重なり範囲Ov2の合計が閾値Th以上であれば、目標検出部2により検出された複数の目標物が1つの目標物の一部であり、観測センサ3により観測された目標物と、1つの目標物とが同一物であると判定する。
第1の判定処理部6は、重なり範囲Ov1と重なり範囲Ov2の合計が閾値Th未満であれば、観測センサ3により観測された目標物と、1つの目標物とが同一物でないと判定する。
第1の判定処理部6は、重なり範囲Ov1と重なり範囲Ov2の合計が閾値Th以上であれば、目標検出部2により検出された複数の目標物が1つの目標物の一部であり、観測センサ3により観測された目標物と、1つの目標物とが同一物であると判定する。
第1の判定処理部6は、重なり範囲Ov1と重なり範囲Ov2の合計が閾値Th未満であれば、観測センサ3により観測された目標物と、1つの目標物とが同一物でないと判定する。
この実施の形態1では、表示処理部7が、目標検出部2から出力された目標物包含画像領域、あるいは、変換処理部5により特定された目標物包含観測領域を撮像画像上に表示する例を示している。
これは一例に過ぎず、例えば、表示処理部7が、目標物包含画像領域と目標物包含観測領域の双方を含む領域である双方包含領域を撮像画像上に表示するようにしてもよい。
図9は、この発明の実施の形態1による他の監視装置を示す構成図である。
図9において、包含領域特定部8は、例えば包含領域特定回路で実現される。
包含領域特定部8は、図10に示すように、画像センサの1投影面上で、変換処理部5により特定された目標物包含観測領域と、目標検出部2から出力された目標物包含画像領域との双方を含む領域である双方包含領域を特定する処理を実施する。
図10は、包含領域特定部8により特定される双方包含領域を示す説明図である。
表示処理部7は、画像センサ1から出力された撮像画像上に、包含領域特定部8により特定された双方包含領域を表示する。
これは一例に過ぎず、例えば、表示処理部7が、目標物包含画像領域と目標物包含観測領域の双方を含む領域である双方包含領域を撮像画像上に表示するようにしてもよい。
図9は、この発明の実施の形態1による他の監視装置を示す構成図である。
図9において、包含領域特定部8は、例えば包含領域特定回路で実現される。
包含領域特定部8は、図10に示すように、画像センサの1投影面上で、変換処理部5により特定された目標物包含観測領域と、目標検出部2から出力された目標物包含画像領域との双方を含む領域である双方包含領域を特定する処理を実施する。
図10は、包含領域特定部8により特定される双方包含領域を示す説明図である。
表示処理部7は、画像センサ1から出力された撮像画像上に、包含領域特定部8により特定された双方包含領域を表示する。
この実施の形態1では、表示処理部7が、変換処理部5により画像センサ1の投影面に変換された目標物観測位置、あるいは、目標検出部2から出力された目標物画像位置を撮像画像上に表示する例を示している。
これは一例に過ぎず、例えば、表示処理部7が、目標物観測位置と目標物画像位置とを重み付け平均して、重み付け平均した位置を撮像画像上に表示するようにしてもよい。
図11は、この発明の実施の形態1による他の監視装置を示す構成図である。
図11において、平均位置出力部9は、例えば平均位置出力回路で実現される。
平均位置出力部9は、図12に示すように、変換処理部5により画像センサ1の投影面に変換された目標物観測位置と、目標検出部2から出力された目標物画像位置とを重み付け平均して、重み付け平均した位置を出力する処理を実施する。
図12は、重み付け平均した位置を示す説明図である。
表示処理部7は、画像センサ1から出力された撮像画像上に、平均位置出力部9から出力された位置を表示する。
これは一例に過ぎず、例えば、表示処理部7が、目標物観測位置と目標物画像位置とを重み付け平均して、重み付け平均した位置を撮像画像上に表示するようにしてもよい。
図11は、この発明の実施の形態1による他の監視装置を示す構成図である。
図11において、平均位置出力部9は、例えば平均位置出力回路で実現される。
平均位置出力部9は、図12に示すように、変換処理部5により画像センサ1の投影面に変換された目標物観測位置と、目標検出部2から出力された目標物画像位置とを重み付け平均して、重み付け平均した位置を出力する処理を実施する。
図12は、重み付け平均した位置を示す説明図である。
表示処理部7は、画像センサ1から出力された撮像画像上に、平均位置出力部9から出力された位置を表示する。
実施の形態2.
上記実施の形態1では、変換処理部5が、目標物包含観測領域を特定する例を示している。
この実施の形態2では、変換処理部5が、目標物観測位置の観測誤差範囲を示す観測誤差情報に従って目標物包含観測領域を補正する例を説明する。
この実施の形態2の監視装置の構成図は、上記実施の形態1の監視装置と同様に、図1、図9又は図11である。
上記実施の形態1では、変換処理部5が、目標物包含観測領域を特定する例を示している。
この実施の形態2では、変換処理部5が、目標物観測位置の観測誤差範囲を示す観測誤差情報に従って目標物包含観測領域を補正する例を説明する。
この実施の形態2の監視装置の構成図は、上記実施の形態1の監視装置と同様に、図1、図9又は図11である。
観測センサ3により観測された目標物の位置には観測誤差が含まれている。このため、図13に示すように、観測センサ3から出力された目標物観測位置と、目標検出部2から出力された目標物画像位置とが大きくずれていることがある。
図13は、観測センサ3に起因する目標物観測位置と目標物画像位置との位置ずれを示す説明図である。
図13は、観測センサ3に起因する目標物観測位置と目標物画像位置との位置ずれを示す説明図である。
この実施の形態2では、観測センサ3は、目標物観測位置の観測誤差範囲を示す観測誤差情報として、3次元の観測誤差共分散行列を変換処理部5に出力する。
変換処理部5は、図14に示すように、観測センサ3から出力された観測誤差情報が示す目標物観測位置の観測誤差範囲を画像センサ1の投影面に投影することで、目標物観測位置の観測誤差範囲を画像センサ1の投影面の座標に変換する。
図14は、目標物観測位置の観測誤差範囲及び画像センサ1の投影面上での観測誤差範囲を示す説明図である。
目標物観測位置の観測誤差範囲は、幾何的には図14のような楕円体で表現される。
変換処理部5は、目標物観測位置の観測誤差範囲における各々の点の位置を式(1)の座標値(Xworld,Yworld,Zworld)に代入することで、目標物観測位置の観測誤差範囲を画像センサ1の投影面の座標に変換することができる。
目標物観測位置の観測誤差範囲を画像センサ1の投影面の座標に変換する処理として、以下の処理を用いることもできる。
変換処理部5は、図14に示すように、観測センサ3から出力された観測誤差情報が示す目標物観測位置の観測誤差範囲を画像センサ1の投影面に投影することで、目標物観測位置の観測誤差範囲を画像センサ1の投影面の座標に変換する。
図14は、目標物観測位置の観測誤差範囲及び画像センサ1の投影面上での観測誤差範囲を示す説明図である。
目標物観測位置の観測誤差範囲は、幾何的には図14のような楕円体で表現される。
変換処理部5は、目標物観測位置の観測誤差範囲における各々の点の位置を式(1)の座標値(Xworld,Yworld,Zworld)に代入することで、目標物観測位置の観測誤差範囲を画像センサ1の投影面の座標に変換することができる。
目標物観測位置の観測誤差範囲を画像センサ1の投影面の座標に変換する処理として、以下の処理を用いることもできる。
変換処理部5は、目標物観測位置の観測誤差範囲である楕円体の固有値及び固有ベクトルから、楕円体の長軸の幅及び短軸の幅のそれぞれを算出する。
図15は、楕円体の固有ベクトルと長軸の幅との関係を示す説明図である。
そして、変換処理部5は、式(1)を用いて、楕円体における長軸の幅の端点及び短軸の幅の端点のそれぞれを画像センサ1の投影面の座標に変換することで、投影面上での観測誤差範囲を算出する。
図15は、楕円体の固有ベクトルと長軸の幅との関係を示す説明図である。
そして、変換処理部5は、式(1)を用いて、楕円体における長軸の幅の端点及び短軸の幅の端点のそれぞれを画像センサ1の投影面の座標に変換することで、投影面上での観測誤差範囲を算出する。
変換処理部5は、図16に示すように、投影面上での観測誤差範囲が、上記実施の形態1と同様の方法で特定した目標物包含観測領域を包含していない場合、投影面上での観測誤差範囲が目標物包含観測領域を包含するように、投影面上での観測誤差範囲を拡大する。
次に、変換処理部5は、目標物包含観測領域が、拡大した観測誤差範囲と一致するように、目標物包含観測領域を補正する。
即ち、変換処理部5は、図16に示すように、拡大した観測誤差範囲を補正後の目標物包含観測領域とする。
変換処理部5は、補正後の目標物包含観測領域を第1の判定処理部6に出力する。
図16は、補正前後の目標物包含観測領域及び投影面上での観測誤差範囲を示す説明図である。
第1の判定処理部6の処理内容は、上記実施の形態1と同様であるため、詳細な説明を省略する。
次に、変換処理部5は、目標物包含観測領域が、拡大した観測誤差範囲と一致するように、目標物包含観測領域を補正する。
即ち、変換処理部5は、図16に示すように、拡大した観測誤差範囲を補正後の目標物包含観測領域とする。
変換処理部5は、補正後の目標物包含観測領域を第1の判定処理部6に出力する。
図16は、補正前後の目標物包含観測領域及び投影面上での観測誤差範囲を示す説明図である。
第1の判定処理部6の処理内容は、上記実施の形態1と同様であるため、詳細な説明を省略する。
以上で明らかなように、この実施の形態2によれば、観測センサ3が、目標物観測位置の観測誤差範囲を示す観測誤差情報を出力し、変換処理部5が、観測センサ3から出力された観測誤差情報に従って目標物包含観測領域を補正するように構成したので、観測センサ3の観測誤差が大きくても、同一物の判定精度の劣化を防止することができる効果を奏する。
実施の形態3.
この実施の形態3では、目標検出部2と第1の判定処理部6との間に第1の追尾処理部を備え、観測センサ3と変換処理部5との間に第2の追尾処理部を備えている例を説明する。
この実施の形態3では、目標検出部2と第1の判定処理部6との間に第1の追尾処理部を備え、観測センサ3と変換処理部5との間に第2の追尾処理部を備えている例を説明する。
図17は、この発明の実施の形態3による監視装置を示す構成図である。図18は、この発明の実施の形態3による監視装置を示すハードウェア構成図である。
図17及び図18において、図1及び図2と同一符号は同一または相当部分を示すので説明を省略する。
画像センサ1-1~1-Nは、図1の画像センサ1と同様に、例えば、光学カメラ又は赤外カメラなどで実現される。
画像センサ1-1~1-Nは、目標物が存在している領域として、例えば、移動体が交通する空港敷地内及び空港周辺の領域を撮像して、前記領域の撮像画像を映像生成部31及び目標検出部32に出力する。
図17及び図18において、図1及び図2と同一符号は同一または相当部分を示すので説明を省略する。
画像センサ1-1~1-Nは、図1の画像センサ1と同様に、例えば、光学カメラ又は赤外カメラなどで実現される。
画像センサ1-1~1-Nは、目標物が存在している領域として、例えば、移動体が交通する空港敷地内及び空港周辺の領域を撮像して、前記領域の撮像画像を映像生成部31及び目標検出部32に出力する。
映像生成部31は、例えば、図18に示す映像生成回路41で実現される。
映像生成部31は、画像センサ1-1~1-Nから出力された撮像画像のそれぞれを表示処理部40に出力する。
また、映像生成部31は、画像センサ1-1~1-Nから出力された撮像画像を合成することで、1つのパノラマ画像を生成し、パノラマ画像を撮像画像として目標検出部32及び表示処理部40に出力する。ここで、画像センサ1-1~1-Nから出力された撮像画像を別々に、直接、撮像画像として目標検出部32及び表示処理部40に出力しても良いこととする。
映像生成部31は、画像センサ1-1~1-Nから出力された撮像画像のそれぞれを表示処理部40に出力する。
また、映像生成部31は、画像センサ1-1~1-Nから出力された撮像画像を合成することで、1つのパノラマ画像を生成し、パノラマ画像を撮像画像として目標検出部32及び表示処理部40に出力する。ここで、画像センサ1-1~1-Nから出力された撮像画像を別々に、直接、撮像画像として目標検出部32及び表示処理部40に出力しても良いこととする。
目標検出部32は、例えば、図18に示す目標検出回路42で実現される。
目標検出部32は、画像センサ1-n(n=1,2,・・・,N)から出力された撮像画像内の目標物、あるいは、映像生成部31から出力された撮像画像内の目標物を検出する処理を実施する。
目標検出部32は、撮像画像上で検出した目標物の位置である目標物画像位置及び撮像画像上で目標物を包含している範囲である目標物包含画像領域のそれぞれを第1の追尾処理部33に出力する処理を実施する。
目標検出部32は、画像センサ1-n(n=1,2,・・・,N)から出力された撮像画像内の目標物、あるいは、映像生成部31から出力された撮像画像内の目標物を検出する処理を実施する。
目標検出部32は、撮像画像上で検出した目標物の位置である目標物画像位置及び撮像画像上で目標物を包含している範囲である目標物包含画像領域のそれぞれを第1の追尾処理部33に出力する処理を実施する。
第1の追尾処理部33は、例えば、図18に示す第1の追尾処理回路43で実現される。
第1の追尾処理部33は、目標検出部32により検出された目標物の追尾処理を実施して、追尾処理後の目標物を包含している範囲である目標物包含画像領域を第1の判定処理部37に出力する処理を実施する。
第1の追尾処理部33が実施する目標物の追尾処理として、例えば、カルマンフィルタ、パーティクルフィルタなどを用いる公知の追尾処理を利用することができる。
第1の追尾処理部33は、目標検出部32により検出された目標物の追尾処理を実施して、追尾処理後の目標物を包含している範囲である目標物包含画像領域を第1の判定処理部37に出力する処理を実施する。
第1の追尾処理部33が実施する目標物の追尾処理として、例えば、カルマンフィルタ、パーティクルフィルタなどを用いる公知の追尾処理を利用することができる。
観測センサ3-1~3-Mは、図1の観測センサ3と同様に、例えば、ASR、MLAT、WAMなどで実現される。
観測センサ3-m(m=1,2,・・・,M)は、目標物を観測して、観測した目標物の識別情報及び目標物の3次元位置である目標物観測位置のそれぞれを第2の追尾処理部34-m及びマルチセンサ追尾処理部35に出力する。
観測センサ3-m(m=1,2,・・・,M)は、目標物を観測して、観測した目標物の識別情報及び目標物の3次元位置である目標物観測位置のそれぞれを第2の追尾処理部34-m及びマルチセンサ追尾処理部35に出力する。
第2の追尾処理部34-mは、例えば、図18に示す第2の追尾処理回路44で実現される。
第2の追尾処理部34-mは、観測センサ3-mから出力された目標物観測位置を用いて、目標物の追尾処理を実施し、追尾処理後の目標物の位置である目標物観測位置を変換処理部36に出力する処理を実施する。
また、第2の追尾処理部34-mは、観測センサ3-mから出力された目標物の識別情報を変換処理部36に出力する処理を実施する。
マルチセンサ追尾処理部35は、例えば、図18に示すマルチセンサ追尾処理回路45で実現される。
マルチセンサ追尾処理部35は、M個の観測センサ3-1~3-Mから出力された目標物観測位置を用いて、目標物の追尾処理を実施し、追尾処理後の目標物の位置である目標物観測位置を変換処理部36に出力する処理を実施する。
マルチセンサ追尾処理部35は、第2の追尾処理部34-mと比べて、複数の目標物観測位置を用いる点でのみ相違している。
第2の追尾処理部34-m及びマルチセンサ追尾処理部35のそれぞれが実施する目標物の追尾処理として、例えば、カルマンフィルタ、パーティクルフィルタなどを用いる公知の追尾処理を利用することができる。
第2の追尾処理部34-mは、観測センサ3-mから出力された目標物観測位置を用いて、目標物の追尾処理を実施し、追尾処理後の目標物の位置である目標物観測位置を変換処理部36に出力する処理を実施する。
また、第2の追尾処理部34-mは、観測センサ3-mから出力された目標物の識別情報を変換処理部36に出力する処理を実施する。
マルチセンサ追尾処理部35は、例えば、図18に示すマルチセンサ追尾処理回路45で実現される。
マルチセンサ追尾処理部35は、M個の観測センサ3-1~3-Mから出力された目標物観測位置を用いて、目標物の追尾処理を実施し、追尾処理後の目標物の位置である目標物観測位置を変換処理部36に出力する処理を実施する。
マルチセンサ追尾処理部35は、第2の追尾処理部34-mと比べて、複数の目標物観測位置を用いる点でのみ相違している。
第2の追尾処理部34-m及びマルチセンサ追尾処理部35のそれぞれが実施する目標物の追尾処理として、例えば、カルマンフィルタ、パーティクルフィルタなどを用いる公知の追尾処理を利用することができる。
変換処理部36は、例えば、図18に示す変換処理回路46で実現される。
変換処理部36は、物体形状情報格納部4から、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された識別情報に対応する形状情報を読み出し、形状情報を参照することで、観測センサ3-mにより観測された目標物の大きさを特定する処理を実施する。
変換処理部36は、特定した目標物の大きさ及び第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された目標物観測位置のそれぞれを画像センサ1-nの投影面に変換する処理を実施する。
変換処理部36は、変換した目標物の大きさと、変換した目標物観測位置とから、画像センサ1-nの投影面上で、観測センサ3-mにより観測された目標物を包含している範囲である目標物包含観測領域を特定する処理を実施する。
変換処理部36は、物体形状情報格納部4から、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された識別情報に対応する形状情報を読み出し、形状情報を参照することで、観測センサ3-mにより観測された目標物の大きさを特定する処理を実施する。
変換処理部36は、特定した目標物の大きさ及び第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された目標物観測位置のそれぞれを画像センサ1-nの投影面に変換する処理を実施する。
変換処理部36は、変換した目標物の大きさと、変換した目標物観測位置とから、画像センサ1-nの投影面上で、観測センサ3-mにより観測された目標物を包含している範囲である目標物包含観測領域を特定する処理を実施する。
第1の判定処理部37は、例えば、図18に示す第1の判定処理回路47で実現される。
第1の判定処理部37は、変換処理部36により特定された目標物包含観測領域と、第1の追尾処理部33から出力された目標物包含画像領域とを比較して、観測センサ3-mにより観測された目標物と、目標検出部32により検出された目標物とが同一物であるか否かを判定する処理を実施する。
即ち、第1の判定処理部37は、画像センサ1-nの投影面上で、変換処理部36により特定された目標物包含観測領域と、第1の追尾処理部33から出力された目標物包含画像領域との重なり範囲を算出する処理を実施する。
また、第1の判定処理部37は、重なり範囲が閾値以上であれば、観測センサ3-mにより観測された目標物と、目標検出部32により検出された目標物とが同一物であると判定する処理を実施する。
第1の判定処理部37は、重なり範囲が閾値未満であれば、観測センサ3-mにより観測された目標物と、目標検出部32により検出された目標物とが同一物でないと判定する処理を実施する。
判定結果格納部38は、例えば、図18に示す判定結果記憶回路48で実現される。
判定結果格納部38は、第1の判定処理部37の判定結果を格納する。
第1の判定処理部37は、変換処理部36により特定された目標物包含観測領域と、第1の追尾処理部33から出力された目標物包含画像領域とを比較して、観測センサ3-mにより観測された目標物と、目標検出部32により検出された目標物とが同一物であるか否かを判定する処理を実施する。
即ち、第1の判定処理部37は、画像センサ1-nの投影面上で、変換処理部36により特定された目標物包含観測領域と、第1の追尾処理部33から出力された目標物包含画像領域との重なり範囲を算出する処理を実施する。
また、第1の判定処理部37は、重なり範囲が閾値以上であれば、観測センサ3-mにより観測された目標物と、目標検出部32により検出された目標物とが同一物であると判定する処理を実施する。
第1の判定処理部37は、重なり範囲が閾値未満であれば、観測センサ3-mにより観測された目標物と、目標検出部32により検出された目標物とが同一物でないと判定する処理を実施する。
判定結果格納部38は、例えば、図18に示す判定結果記憶回路48で実現される。
判定結果格納部38は、第1の判定処理部37の判定結果を格納する。
平滑処理部39は、例えば、図18に示す平滑処理回路49で実現される。
平滑処理部39は、第1の追尾処理部33から出力された目標物包含画像領域を時間方向に平滑化し、平滑化後の目標物包含画像領域を表示処理部40に出力する処理を実施する。
表示処理部40は、例えば、図2に示す表示処理回路50で実現される。
表示処理部40は、映像生成部31から出力された撮像画像をディスプレイ16に表示する処理を実施する。
表示処理部40は、第1の判定処理部37により同一物であると判定された場合、変換処理部36により画像センサ1-nの投影面に変換された目標物観測位置及び観測センサ3-mから出力された識別情報のそれぞれを撮像画像上に表示し、また、平滑処理部39から出力された平滑化後の目標物包含画像領域を撮像画像上に表示する処理を実施する。
平滑処理部39は、第1の追尾処理部33から出力された目標物包含画像領域を時間方向に平滑化し、平滑化後の目標物包含画像領域を表示処理部40に出力する処理を実施する。
表示処理部40は、例えば、図2に示す表示処理回路50で実現される。
表示処理部40は、映像生成部31から出力された撮像画像をディスプレイ16に表示する処理を実施する。
表示処理部40は、第1の判定処理部37により同一物であると判定された場合、変換処理部36により画像センサ1-nの投影面に変換された目標物観測位置及び観測センサ3-mから出力された識別情報のそれぞれを撮像画像上に表示し、また、平滑処理部39から出力された平滑化後の目標物包含画像領域を撮像画像上に表示する処理を実施する。
図17では、監視装置の構成要素である画像センサ1-n、観測センサ3-m、映像生成部31、目標検出部32、第1の追尾処理部33、第2の追尾処理部34-m、マルチセンサ追尾処理部35、変換処理部36、第1の判定処理部37、判定結果格納部38、平滑処理部39、表示処理部40及びディスプレイ16のそれぞれが、図18に示すような専用のハードウェアで実現されるものを想定している。即ち、画像センサ1-n、観測センサ3-m、映像生成回路41、目標検出回路42、第1の追尾処理回路43、第2の追尾処理回路44、マルチセンサ追尾処理回路45、変換処理回路46、第1の判定処理回路47、判定結果記憶回路48、平滑処理回路49、表示処理回路50及びディスプレイ16で実現されるものを想定している。
ここで、形状記憶回路12及び判定結果記憶回路48は、例えば、RAM、ROM、フラッシュメモリ、EPROM、EEPROMなどの不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVDなどが該当する。
また、映像生成回路41、目標検出回路42、第1の追尾処理回路43、第2の追尾処理回路44、マルチセンサ追尾処理回路45、変換処理回路46、第1の判定処理回路47、平滑処理回路49及び表示処理回路50は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC、FPGA、または、これらを組み合わせたものが該当する。
また、映像生成回路41、目標検出回路42、第1の追尾処理回路43、第2の追尾処理回路44、マルチセンサ追尾処理回路45、変換処理回路46、第1の判定処理回路47、平滑処理回路49及び表示処理回路50は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC、FPGA、または、これらを組み合わせたものが該当する。
監視装置の画像センサ1-n、観測センサ3-m及びディスプレイ16を除く構成要素は、専用のハードウェアで実現されるものに限るものではなく、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
監視装置の画像センサ1-n、観測センサ3-m及びディスプレイ16を除く構成要素がソフトウェア又はファームウェアなどで実現される場合、物体形状情報格納部4及び判定結果格納部38を図3に示すコンピュータのメモリ21上に構成するとともに、映像生成部31、目標検出部32、第1の追尾処理部33、第2の追尾処理部34-m、マルチセンサ追尾処理部35、変換処理部36、第1の判定処理部37、平滑処理部39及び表示処理部40の処理手順をコンピュータに実行させるためのプログラムをメモリ21に格納し、コンピュータのプロセッサ22がメモリ21に格納されているプログラムを実行するようにすればよい。
次に動作について説明する。
画像センサ1-n(n=1,2,・・・,N)は、目標物が存在している領域として、例えば、移動体が交通する空港敷地内及び空港周辺の領域を撮像して、前記領域の撮像画像を目標検出部32及び映像生成部31に出力する。
映像生成部31は、画像センサ1-nから出力された撮像画像を表示処理部40に出力する。
また、映像生成部31は、画像センサ1-1~1-Nから出力されたN個の撮像画像を合成することで、1つのパノラマ画像を生成し、パノラマ画像を撮像画像として目標検出部32及び表示処理部40に出力する。
画像センサ1-n(n=1,2,・・・,N)は、目標物が存在している領域として、例えば、移動体が交通する空港敷地内及び空港周辺の領域を撮像して、前記領域の撮像画像を目標検出部32及び映像生成部31に出力する。
映像生成部31は、画像センサ1-nから出力された撮像画像を表示処理部40に出力する。
また、映像生成部31は、画像センサ1-1~1-Nから出力されたN個の撮像画像を合成することで、1つのパノラマ画像を生成し、パノラマ画像を撮像画像として目標検出部32及び表示処理部40に出力する。
目標検出部32は、画像センサ1-nから出力された撮像画像内の目標物、あるいは、映像生成部31から出力された撮像画像内の目標物を検出する処理を実施する。
撮像画像内の目標物を検出する処理自体は、公知の技術であるため詳細な説明を省略する。
この実施の形態3では、説明の簡単化のため、目標検出部32によって、1つの目標物が検出されるものとする。
目標検出部32は、撮像画像上で検出した目標物の位置である目標物画像位置と、検出した目標物を識別するIDとを第1の追尾処理部33及び表示処理部40に出力する。
また、目標検出部32は、撮像画像上で検出した目標物を包含している範囲である目標物包含画像領域を第1の追尾処理部33に出力する。
撮像画像内の目標物を検出する処理自体は、公知の技術であるため詳細な説明を省略する。
この実施の形態3では、説明の簡単化のため、目標検出部32によって、1つの目標物が検出されるものとする。
目標検出部32は、撮像画像上で検出した目標物の位置である目標物画像位置と、検出した目標物を識別するIDとを第1の追尾処理部33及び表示処理部40に出力する。
また、目標検出部32は、撮像画像上で検出した目標物を包含している範囲である目標物包含画像領域を第1の追尾処理部33に出力する。
第1の追尾処理部33は、目標検出部32から出力された目標物画像位置を用いて、撮像画像内の目標物の追尾処理を実施し、追尾処理後の目標物を包含している範囲である目標物包含画像領域を第1の判定処理部37及び平滑処理部39に出力する。
第1の追尾処理部33による目標物の追尾処理は、目標検出部32から出力された目標物画像位置の時系列方向の相関を取る処理であり、例えば、カルマンフィルタを用いることができる。
なお、第1の追尾処理部33は、目標物包含画像領域を平滑化し、平滑後の目標物包含画像領域を第1の判定処理部37に出力するようにしてもよい。目標物包含画像領域を平滑化することで、目標物包含画像領域の変動が抑えられるため、第1の判定処理部37の判定精度を高めることができる。
第1の追尾処理部33による目標物の追尾処理は、目標検出部32から出力された目標物画像位置の時系列方向の相関を取る処理であり、例えば、カルマンフィルタを用いることができる。
なお、第1の追尾処理部33は、目標物包含画像領域を平滑化し、平滑後の目標物包含画像領域を第1の判定処理部37に出力するようにしてもよい。目標物包含画像領域を平滑化することで、目標物包含画像領域の変動が抑えられるため、第1の判定処理部37の判定精度を高めることができる。
観測センサ3-m(m=1,2,・・・,M)は、目標物を観測して、観測した目標物の識別情報及び目標物の3次元位置である目標物観測位置を第2の追尾処理部34-m及びマルチセンサ追尾処理部35に出力する。
また、観測センサ3-mは、目標物の推定速度を示す速度ベクトルを第2の追尾処理部34-mに出力する。
この実施の形態3では、説明の簡単化のため、観測センサ3-mによって、1つの目標物が観測されるものとする。
また、観測センサ3-mは、目標物の推定速度を示す速度ベクトルを第2の追尾処理部34-mに出力する。
この実施の形態3では、説明の簡単化のため、観測センサ3-mによって、1つの目標物が観測されるものとする。
第2の追尾処理部34-mは、観測センサ3-mから出力された目標物観測位置及び速度ベクトルを用いて、観測センサ3-mにより観測された目標物の追尾処理を実施し、追尾処理後の目標物の位置である目標物観測位置を変換処理部36に出力する。
第2の追尾処理部34-mによる目標物の追尾処理は、観測センサ3-mから出力された目標物観測位置の時系列方向の相関を取る処理であり、例えば、カルマンフィルタを用いることができる。
また、第2の追尾処理部34-mは、観測センサ3-mから出力された目標物の識別情報及び追尾処理時に算出される推定誤差共分散行列などを変換処理部36に出力する。
推定誤差共分散行列は、目標物の追尾処理による推定誤差を示す推定誤差情報に相当する。
第2の追尾処理部34-mによる目標物の追尾処理は、観測センサ3-mから出力された目標物観測位置の時系列方向の相関を取る処理であり、例えば、カルマンフィルタを用いることができる。
また、第2の追尾処理部34-mは、観測センサ3-mから出力された目標物の識別情報及び追尾処理時に算出される推定誤差共分散行列などを変換処理部36に出力する。
推定誤差共分散行列は、目標物の追尾処理による推定誤差を示す推定誤差情報に相当する。
マルチセンサ追尾処理部35は、M個の観測センサ3-1~3-Mから出力された目標物観測位置及び速度ベクトルを用いて、観測センサ3-mにより観測された目標物の追尾処理を実施し、追尾処理後の目標物の位置である目標物観測位置を変換処理部36に出力する。
また、マルチセンサ追尾処理部35は、追尾処理時に算出される推定誤差共分散行列などを変換処理部36に出力する。
マルチセンサ追尾処理部35が目標物の追尾処理を実施することで、M個の観測センサ3-1~3-Mのうち、いずれかの観測センサが目標物の識別情報を取得できない場合でも、マルチセンサ追尾処理部35は、他の観測センサにより取得された識別情報を追尾処理後の目標物に対応付けることができる。
このため、マルチセンサ追尾処理部35は、M個の観測センサ3-1~3-Mの中に、目標物の識別情報を取得できない観測センサが存在していても、追尾処理後の目標物の識別情報を変換処理部36に出力することができる。
また、マルチセンサ追尾処理部35は、追尾処理時に算出される推定誤差共分散行列などを変換処理部36に出力する。
マルチセンサ追尾処理部35が目標物の追尾処理を実施することで、M個の観測センサ3-1~3-Mのうち、いずれかの観測センサが目標物の識別情報を取得できない場合でも、マルチセンサ追尾処理部35は、他の観測センサにより取得された識別情報を追尾処理後の目標物に対応付けることができる。
このため、マルチセンサ追尾処理部35は、M個の観測センサ3-1~3-Mの中に、目標物の識別情報を取得できない観測センサが存在していても、追尾処理後の目標物の識別情報を変換処理部36に出力することができる。
変換処理部36は、物体形状情報格納部4から、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された識別情報に対応する形状情報を読み出し、形状情報を参照することで、観測センサ3-mにより観測された目標物の大きさを特定する。
変換処理部36は、特定した目標物の大きさ及び第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された目標物観測位置のそれぞれを画像センサ1-nの投影面に変換する処理を実施する。
変換処理部36は、変換した目標物の大きさと、変換した目標物観測位置とから、画像センサ1-nの投影面上で、観測センサ3-mにより観測された目標物を包含している範囲である目標物包含観測領域を特定する。
変換処理部36の処理内容は、概ね、上記実施の形態2における変換処理部5の処理内容と同様であるが、以下の点で相違している。
変換処理部36は、特定した目標物の大きさ及び第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された目標物観測位置のそれぞれを画像センサ1-nの投影面に変換する処理を実施する。
変換処理部36は、変換した目標物の大きさと、変換した目標物観測位置とから、画像センサ1-nの投影面上で、観測センサ3-mにより観測された目標物を包含している範囲である目標物包含観測領域を特定する。
変換処理部36の処理内容は、概ね、上記実施の形態2における変換処理部5の処理内容と同様であるが、以下の点で相違している。
上記実施の形態2における変換処理部5は、目標物観測位置の観測誤差範囲を示す観測誤差情報に従って目標物包含観測領域を補正している。
これに対して、この実施の形態3における変換処理部36は、目標物観測位置の観測誤差範囲の代わりに、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された追尾処理による推定誤差を示す推定誤差共分散行列に従って目標物包含観測領域を補正する。
変換処理部36による目標物包含観測領域の補正処理自体は、変換処理部5による目標物包含観測領域の補正処理と同様であるため詳細な説明を省略するが、追尾処理による推定誤差の範囲は、目標物観測位置の観測誤差範囲と比べて狭い範囲となるため、上記実施の形態2よりも、更に同一物の判定精度を高めることができる。
これに対して、この実施の形態3における変換処理部36は、目標物観測位置の観測誤差範囲の代わりに、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された追尾処理による推定誤差を示す推定誤差共分散行列に従って目標物包含観測領域を補正する。
変換処理部36による目標物包含観測領域の補正処理自体は、変換処理部5による目標物包含観測領域の補正処理と同様であるため詳細な説明を省略するが、追尾処理による推定誤差の範囲は、目標物観測位置の観測誤差範囲と比べて狭い範囲となるため、上記実施の形態2よりも、更に同一物の判定精度を高めることができる。
第1の判定処理部37は、変換処理部36により補正された目標物包含観測領域と、第1の追尾処理部33から出力された目標物包含画像領域とを比較して、観測センサ3-mにより観測された目標物と、目標検出部32により検出された目標物とが同一物であるか否かを判定する。
即ち、第1の判定処理部37は、画像センサ1-nの投影面上で、変換処理部36により補正された目標物包含観測領域と、第1の追尾処理部33から出力された目標物包含画像領域との重なり範囲Ovを算出する。
即ち、第1の判定処理部37は、画像センサ1-nの投影面上で、変換処理部36により補正された目標物包含観測領域と、第1の追尾処理部33から出力された目標物包含画像領域との重なり範囲Ovを算出する。
第1の判定処理部37は、算出した重なり範囲Ovと事前に設定された閾値Thとを比較する。
第1の判定処理部37は、重なり範囲Ovが閾値Th以上であれば、観測センサ3-mにより観測された目標物と、目標検出部32により検出された目標物とが同一物であると判定する。
第1の判定処理部37は、重なり範囲Ovが閾値Th未満であれば、観測センサ3により観測された目標物と、目標検出部32により検出された目標物とが同一物でないと判定する。
第1の判定処理部37は、重なり範囲Ovが閾値Th以上であれば、観測センサ3-mにより観測された目標物と、目標検出部32により検出された目標物とが同一物であると判定する。
第1の判定処理部37は、重なり範囲Ovが閾値Th未満であれば、観測センサ3により観測された目標物と、目標検出部32により検出された目標物とが同一物でないと判定する。
第1の判定処理部37による判定処理の処理タイミングが、画像センサ1-nのフレームレートに対応している場合、第1の判定処理部37の処理負荷が大きくなり、画像センサ1-nのフレームレートで判定処理が終了しない場合がある。
そこで、第1の判定処理部37が、同一物であるか否かの判定結果を判定結果格納部38に格納し、一定期間中は、判定処理を実施せずに、判定結果格納部38に格納されている判定結果を読み出して、その判定結果を表示処理部40に出力するようにしてもよい。
また、第1の判定処理部37は、観測センサ3により観測された目標物と、目標検出部32により検出された目標物とが同一物であると判定した場合、目標物のID、目標物の識別情報、目標物包含画像領域及び目標物包含観測領域などの情報を判定結果格納部38に格納する。
そして、第1の判定処理部37は、判定結果格納部38に格納されている情報を、判定結果と一緒に表示処理部40に出力するようにしてもよい。
そこで、第1の判定処理部37が、同一物であるか否かの判定結果を判定結果格納部38に格納し、一定期間中は、判定処理を実施せずに、判定結果格納部38に格納されている判定結果を読み出して、その判定結果を表示処理部40に出力するようにしてもよい。
また、第1の判定処理部37は、観測センサ3により観測された目標物と、目標検出部32により検出された目標物とが同一物であると判定した場合、目標物のID、目標物の識別情報、目標物包含画像領域及び目標物包含観測領域などの情報を判定結果格納部38に格納する。
そして、第1の判定処理部37は、判定結果格納部38に格納されている情報を、判定結果と一緒に表示処理部40に出力するようにしてもよい。
平滑処理部39は、以下の式(2)に示すように、第1の追尾処理部33から出力された目標物包含画像領域を時間方向に平滑化し、平滑化後の目標物包含画像領域を表示処理部40に出力する。
式(2)において、Lkは、時刻tkにおける目標物包含画像領域の横幅(または縦幅)、Ls,k-1は、時刻tk-1における目標物包含画像領域の横幅推定値(または縦幅推定値)、Ls,kは、時刻tkにおける目標物包含画像領域の横幅推定値(または縦幅推定値)、aは係数である。
平滑処理部39が目標物包含画像領域を時間方向に平滑化することで、目標物包含画像領域の横幅又は縦幅の変動を抑えることができる。
式(2)において、Lkは、時刻tkにおける目標物包含画像領域の横幅(または縦幅)、Ls,k-1は、時刻tk-1における目標物包含画像領域の横幅推定値(または縦幅推定値)、Ls,kは、時刻tkにおける目標物包含画像領域の横幅推定値(または縦幅推定値)、aは係数である。
平滑処理部39が目標物包含画像領域を時間方向に平滑化することで、目標物包含画像領域の横幅又は縦幅の変動を抑えることができる。
表示処理部40は、映像生成部31から出力された画像センサ1-nの撮像画像、または、パノラマ画像である撮像画像をディスプレイ16に表示する。
表示処理部40は、第1の判定処理部37により同一物であると判定された場合、変換処理部36により画像センサ1の投影面に変換された目標物観測位置及び観測センサ3-mから出力された識別情報のそれぞれを撮像画像上に表示し、また、平滑処理部39から出力された平滑化後の目標物包含画像領域を撮像画像上に表示する。
表示処理部40は、第1の判定処理部37により同一物であると判定された場合、変換処理部36により画像センサ1の投影面に変換された目標物観測位置及び観測センサ3-mから出力された識別情報のそれぞれを撮像画像上に表示し、また、平滑処理部39から出力された平滑化後の目標物包含画像領域を撮像画像上に表示する。
表示処理部40は、第1の判定処理部37により同一物でないと判定された場合、目標検出部32から出力された目標物画像位置及び平滑処理部39から出力された平滑化後の目標物包含画像領域と、目標検出部32から出力された目標物のIDとを撮像画像上に表示する。
あるいは、表示処理部7は、第1の判定処理部37により同一物でないと判定された場合、観測センサ3-mから出力された識別情報と、変換処理部36により画像センサ1-nの投影面に変換された目標物観測位置及び変換処理部36により補正された目標物包含観測領域とを撮像画像上に表示する。
あるいは、表示処理部7は、第1の判定処理部37により同一物でないと判定された場合、観測センサ3-mから出力された識別情報と、変換処理部36により画像センサ1-nの投影面に変換された目標物観測位置及び変換処理部36により補正された目標物包含観測領域とを撮像画像上に表示する。
この実施の形態3では、第1の判定処理部37が、変換処理部36により補正された目標物包含観測領域と、第1の追尾処理部33から出力された目標物包含画像領域とを比較する例を示している。
しかし、観測センサ3-mは、画像センサ1-nと比べて、更新レートが低いため、観測センサ3-mの観測時刻と、画像センサ1-nの撮像時刻との間に時刻差を生じることがある。上記の時刻差は、第1の判定処理部37の判定精度の劣化要因になる。
また、観測センサ3-mの観測時刻と、画像センサ1-nの撮像時刻とが同じ時刻であっても、観測センサ3-mと第1の判定処理部37間のデータ遅延時間と、画像センサ1-nと第1の判定処理部37間のデータ遅延時間との間に時間差を生じることがある。上記の時間差は、第1の判定処理部37の判定精度の劣化要因になる。
しかし、観測センサ3-mは、画像センサ1-nと比べて、更新レートが低いため、観測センサ3-mの観測時刻と、画像センサ1-nの撮像時刻との間に時刻差を生じることがある。上記の時刻差は、第1の判定処理部37の判定精度の劣化要因になる。
また、観測センサ3-mの観測時刻と、画像センサ1-nの撮像時刻とが同じ時刻であっても、観測センサ3-mと第1の判定処理部37間のデータ遅延時間と、画像センサ1-nと第1の判定処理部37間のデータ遅延時間との間に時間差を生じることがある。上記の時間差は、第1の判定処理部37の判定精度の劣化要因になる。
そこで、第1の判定処理部37が、以下のようにして、判定精度の劣化要因を解消するようにしてもよい。
まず、第1の判定処理部37は、例えば、画像センサ1-nの更新レートに対応する更新時刻tを設定する。
第1の判定処理部37は、観測センサ3-mの観測時刻が更新時刻tよりも遅れている場合、更新時刻tと、第2の追尾処理部34-mから目標物観測位置が出力される時刻t’又はマルチセンサ追尾処理部35から目標物観測位置が出力される時刻t’との時刻差(t-t’)を算出する。
まず、第1の判定処理部37は、例えば、画像センサ1-nの更新レートに対応する更新時刻tを設定する。
第1の判定処理部37は、観測センサ3-mの観測時刻が更新時刻tよりも遅れている場合、更新時刻tと、第2の追尾処理部34-mから目標物観測位置が出力される時刻t’又はマルチセンサ追尾処理部35から目標物観測位置が出力される時刻t’との時刻差(t-t’)を算出する。
次に、第1の判定処理部37は、時刻差(t-t’)によって、以下の式(3)に示すように、例えば、第2の追尾処理部34-mの追尾処理で算出される推定状態ベクトルxハットtを時間外挿する。明細書の文章中では、電子出願の関係上、xの文字の上に“^”の記号を付することができないので、「xハットt」のように表記している。推定状態ベクトルxハットtは、第2の追尾処理部34-m等による追尾処理後の時刻tの目標物観測位置に相当する。
式(3)におけるΦ(t-t’)は、例えば、以下の式(4)に示すように、等速直線運動モデルの状態推移行列として定義することができる。
式(4)において、In×nは、n行n列の単位行列、On×nは、n行n列の零行列である。
式(3)におけるΦ(t-t’)は、例えば、以下の式(4)に示すように、等速直線運動モデルの状態推移行列として定義することができる。
式(4)において、In×nは、n行n列の単位行列、On×nは、n行n列の零行列である。
また、第1の判定処理部37は、時刻差(t-t’)によって、以下の式(5)に示すように、例えば、第2の追尾処理部34-mの追尾処理による推定誤差を示す推定誤差共分散行列Ptを時間外挿する。
式(5)において、Q(t-t’)は、駆動雑音共分散行列である。
第1の判定処理部37が、時間外挿した推定状態ベクトルxハットtである追尾処理後の目標物観測位置及び時間外挿した推定誤差共分散行列Ptを変換処理部36に出力することで、時刻差(t-t’)による判定精度の劣化要因が解消される。
式(5)において、Q(t-t’)は、駆動雑音共分散行列である。
第1の判定処理部37が、時間外挿した推定状態ベクトルxハットtである追尾処理後の目標物観測位置及び時間外挿した推定誤差共分散行列Ptを変換処理部36に出力することで、時刻差(t-t’)による判定精度の劣化要因が解消される。
以上で明らかなように、この実施の形態3によれば、目標検出部32により検出された目標物の追尾処理を実施して、追尾処理後の目標物を包含している範囲である目標物包含画像領域を第1の判定処理部37に出力する第1の追尾処理部33と、観測センサ3-mにより観測された目標物の追尾処理を実施して、追尾処理後の目標物の位置である目標物観測位置を変換処理部36に出力する第2の追尾処理部34-mとを備えている。これにより、画像センサ1-nによる目標物の撮像誤差及び観測センサ3-mによる目標物の観測誤差のそれぞれが抑圧される。その結果、上記実施の形態1よりも、更に、同一物の判定精度を高めることができる効果を奏する。
実施の形態4.
上記実施の形態1~3では、監視装置が第1の判定処理部6又は第1の判定処理部37を備えている例を示している。
この実施の形態4では、監視装置が第1の判定処理部37、第2の判定処理部62及び第3の判定処理部64を備えている例を説明する。
また、この実施の形態4では、上記実施の形態1~3と異なり、同一物の判定に画像上ではなく、地図座標における位置を用いることを特徴としている。
上記実施の形態1~3では、監視装置が第1の判定処理部6又は第1の判定処理部37を備えている例を示している。
この実施の形態4では、監視装置が第1の判定処理部37、第2の判定処理部62及び第3の判定処理部64を備えている例を説明する。
また、この実施の形態4では、上記実施の形態1~3と異なり、同一物の判定に画像上ではなく、地図座標における位置を用いることを特徴としている。
図19は、この発明の実施の形態4による監視装置を示す構成図である。図20は、この発明の実施の形態4による監視装置を示すハードウェア構成図である。
図19及び図20において、図1、図2、図17及び図18と同一符号は同一または相当部分を示すので説明を省略する。
観測位置射影部61は、例えば、図20に示す観測位置射影回路71で実現される。
観測位置射影部61は、第2の追尾処理部34-mから出力された目標物観測位置又はマルチセンサ追尾処理部35から出力された目標物観測位置を、画像センサ1-nの視線方向に移動したときに、地上面と交差する位置を射影位置として算出する処理を実施する。
図19及び図20において、図1、図2、図17及び図18と同一符号は同一または相当部分を示すので説明を省略する。
観測位置射影部61は、例えば、図20に示す観測位置射影回路71で実現される。
観測位置射影部61は、第2の追尾処理部34-mから出力された目標物観測位置又はマルチセンサ追尾処理部35から出力された目標物観測位置を、画像センサ1-nの視線方向に移動したときに、地上面と交差する位置を射影位置として算出する処理を実施する。
第2の判定処理部62は、例えば、図20に示す第2の判定処理回路72で実現される。
第2の判定処理部62は、観測位置射影部61により算出された射影位置と目標検出部32bから出力された目標物地図座標位置とを比較して、観測センサ3-mにより観測された目標物と、目標検出部32bにより検出された目標物とが同一物であるか否かを判定する処理を実施する。
ここで、目標検出部32bは、図17の目標検出部32と同様に、目標物を検出する処理を実施する。
ただし、目標検出部32bが、目標物地図座標位置を算出する方法としては、画像上での目標物画素位置より、予め用意していた地図DBを用いて、地図上の座標位置と照合する方法でも良い。一方、飛行中の目標物については、地上を走行する目標物でないことから、地図との照合が困難であるため、図21のように、画像センサ視線方向ベクトルを延長し、水平面と交差する位置を目標物地図座標位置として出力しても良いこととする。
第2の判定処理部62は、観測位置射影部61により算出された射影位置と目標検出部32bから出力された目標物地図座標位置とを比較して、観測センサ3-mにより観測された目標物と、目標検出部32bにより検出された目標物とが同一物であるか否かを判定する処理を実施する。
ここで、目標検出部32bは、図17の目標検出部32と同様に、目標物を検出する処理を実施する。
ただし、目標検出部32bが、目標物地図座標位置を算出する方法としては、画像上での目標物画素位置より、予め用意していた地図DBを用いて、地図上の座標位置と照合する方法でも良い。一方、飛行中の目標物については、地上を走行する目標物でないことから、地図との照合が困難であるため、図21のように、画像センサ視線方向ベクトルを延長し、水平面と交差する位置を目標物地図座標位置として出力しても良いこととする。
第3の追尾処理部63は、例えば、図20に示す第3の追尾処理回路73で実現される。
第3の追尾処理部63は、目標検出部32bにより検出された1つ以上の目標物のうち、第2の判定処理部62により同一物であると判定された目標物以外の目標物の追尾処理を実施して、追尾処理後の目標物の位置である目標物地図座標位置を出力する処理を実施する。
第3の追尾処理部63は、目標検出部32bにより検出された1つ以上の目標物のうち、第2の判定処理部62により同一物であると判定された目標物以外の目標物の追尾処理を実施して、追尾処理後の目標物の位置である目標物地図座標位置を出力する処理を実施する。
第3の判定処理部64は、例えば、図20に示す第3の判定処理回路74で実現される。
第3の判定処理部64は、第2の追尾処理部34-mから出力された目標物観測位置又はマルチセンサ追尾処理部35から出力された目標物観測位置と、第3の追尾処理部63から出力された目標物包含画像領域とを比較して、観測センサ3-mにより観測された目標物と、目標検出部32bにより検出された目標物とが同一物であるか否かを判定する処理を実施する。
目標物選択部65は、例えば、図20に示す目標物選択回路75で実現される。
目標物選択部65は、第1の判定処理部37、第2の判定処理部62又は第3の判定処理部64により同一物であると判定された目標物の中から、1つ以上の目標物を選択する処理を実施する。
第3の判定処理部64は、第2の追尾処理部34-mから出力された目標物観測位置又はマルチセンサ追尾処理部35から出力された目標物観測位置と、第3の追尾処理部63から出力された目標物包含画像領域とを比較して、観測センサ3-mにより観測された目標物と、目標検出部32bにより検出された目標物とが同一物であるか否かを判定する処理を実施する。
目標物選択部65は、例えば、図20に示す目標物選択回路75で実現される。
目標物選択部65は、第1の判定処理部37、第2の判定処理部62又は第3の判定処理部64により同一物であると判定された目標物の中から、1つ以上の目標物を選択する処理を実施する。
図19の監視装置は、観測位置射影部61、第2の判定処理部62、第3の追尾処理部63、第3の判定処理部64及び目標物選択部65が図17の監視装置に適用されている例を示しているが、図1の監視装置に適用されているものであってもよい。
図19では、監視装置の構成要素である画像センサ1-n、観測センサ3-m、映像生成部31、目標検出部32b、第1の追尾処理部33、第2の追尾処理部34-m、マルチセンサ追尾処理部35、変換処理部36、第1の判定処理部37、判定結果格納部38、平滑処理部39、表示処理部40、観測位置射影部61、第2の判定処理部62、第3の追尾処理部63、第3の判定処理部64、目標物選択部65及びディスプレイ16のそれぞれが、図20に示すような専用のハードウェアで実現されるものを想定している。即ち、画像センサ1-n、観測センサ3-m、映像生成回路41、目標検出回路42、第1の追尾処理回路43、第2の追尾処理回路44、マルチセンサ追尾処理回路45、変換処理回路46、第1の判定処理回路47、判定結果記憶回路48、平滑処理回路49、表示処理回路50、観測位置射影回路71、第2の判定処理回路72、第3の追尾処理回路73、第3の判定処理回路74、目標物選択回路75及びディスプレイ16で実現されるものを想定している。
図19では、監視装置の構成要素である画像センサ1-n、観測センサ3-m、映像生成部31、目標検出部32b、第1の追尾処理部33、第2の追尾処理部34-m、マルチセンサ追尾処理部35、変換処理部36、第1の判定処理部37、判定結果格納部38、平滑処理部39、表示処理部40、観測位置射影部61、第2の判定処理部62、第3の追尾処理部63、第3の判定処理部64、目標物選択部65及びディスプレイ16のそれぞれが、図20に示すような専用のハードウェアで実現されるものを想定している。即ち、画像センサ1-n、観測センサ3-m、映像生成回路41、目標検出回路42、第1の追尾処理回路43、第2の追尾処理回路44、マルチセンサ追尾処理回路45、変換処理回路46、第1の判定処理回路47、判定結果記憶回路48、平滑処理回路49、表示処理回路50、観測位置射影回路71、第2の判定処理回路72、第3の追尾処理回路73、第3の判定処理回路74、目標物選択回路75及びディスプレイ16で実現されるものを想定している。
映像生成回路41、目標検出回路42、第1の追尾処理回路43、第2の追尾処理回路44、マルチセンサ追尾処理回路45、変換処理回路46、第1の判定処理回路47、平滑処理回路49、表示処理回路50、観測位置射影回路71、第2の判定処理回路72、第3の追尾処理回路73、第3の判定処理回路74及び目標物選択回路75は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC、FPGA、または、これらを組み合わせたものが該当する。
監視装置の画像センサ1-n、観測センサ3-m及びディスプレイ16を除く構成要素は、専用のハードウェアで実現されるものに限るものではなく、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
監視装置の画像センサ1-n、観測センサ3-m及びディスプレイ16を除く構成要素がソフトウェア又はファームウェアなどで実現される場合、物体形状情報格納部4及び判定結果格納部38を図3に示すコンピュータのメモリ21上に構成するとともに、映像生成部31、目標検出部32b、第1の追尾処理部33、第2の追尾処理部34-m、マルチセンサ追尾処理部35、変換処理部36、第1の判定処理部37、平滑処理部39、表示処理部40、観測位置射影部61、第2の判定処理部62、第3の追尾処理部63、第3の判定処理部64及び目標物選択部65の処理手順をコンピュータに実行させるためのプログラムをメモリ21に格納し、コンピュータのプロセッサ22がメモリ21に格納されているプログラムを実行するようにすればよい。
監視装置の画像センサ1-n、観測センサ3-m及びディスプレイ16を除く構成要素がソフトウェア又はファームウェアなどで実現される場合、物体形状情報格納部4及び判定結果格納部38を図3に示すコンピュータのメモリ21上に構成するとともに、映像生成部31、目標検出部32b、第1の追尾処理部33、第2の追尾処理部34-m、マルチセンサ追尾処理部35、変換処理部36、第1の判定処理部37、平滑処理部39、表示処理部40、観測位置射影部61、第2の判定処理部62、第3の追尾処理部63、第3の判定処理部64及び目標物選択部65の処理手順をコンピュータに実行させるためのプログラムをメモリ21に格納し、コンピュータのプロセッサ22がメモリ21に格納されているプログラムを実行するようにすればよい。
次に動作について説明する。
観測位置射影部61は、図21に示すように、第2の追尾処理部34-mから出力された目標物観測位置又はマルチセンサ追尾処理部35から出力された目標物観測位置を、画像センサ1-nの視線方向に移動したときに、地上面と交差する位置を射影位置として算出する。
図21は、観測位置射影部61により算出される射影位置を示す説明図である。
図22は、観測位置射影部61により算出される射影位置と、目標検出部32bから出力される目標物地図座標位置との関係を示す説明図である。
観測センサ3-mにより観測された目標物と、目標検出部32bにより検出された目標物である撮像画像上の目標物とが同一物であれば、図22に示している射影位置と目標物地図座標位置との距離が短いが、同一物でなければ、射影位置と目標物地図座標位置との距離が長い。
観測位置射影部61は、図21に示すように、第2の追尾処理部34-mから出力された目標物観測位置又はマルチセンサ追尾処理部35から出力された目標物観測位置を、画像センサ1-nの視線方向に移動したときに、地上面と交差する位置を射影位置として算出する。
図21は、観測位置射影部61により算出される射影位置を示す説明図である。
図22は、観測位置射影部61により算出される射影位置と、目標検出部32bから出力される目標物地図座標位置との関係を示す説明図である。
観測センサ3-mにより観測された目標物と、目標検出部32bにより検出された目標物である撮像画像上の目標物とが同一物であれば、図22に示している射影位置と目標物地図座標位置との距離が短いが、同一物でなければ、射影位置と目標物地図座標位置との距離が長い。
第2の判定処理部62は、観測位置射影部61により算出された射影位置と、目標検出部32bから出力された目標物地図座標位置とを比較して、観測センサ3-mにより観測された目標物と、目標検出部32bにより検出された目標物とが同一物であるか否かを判定する。
図23は、第2の判定処理部62の処理内容を示すフローチャートである。
以下、図23を参照しながら、第2の判定処理部62の処理内容を具体的に説明する。
この実施の形態4では、目標検出部32bによって、I個の目標物が検出され、観測センサ3-mによって、J個の目標物が観測されているものとする。
図23は、第2の判定処理部62の処理内容を示すフローチャートである。
以下、図23を参照しながら、第2の判定処理部62の処理内容を具体的に説明する。
この実施の形態4では、目標検出部32bによって、I個の目標物が検出され、観測センサ3-mによって、J個の目標物が観測されているものとする。
第2の判定処理部62は、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から目標物j(j=1,2,・・・,J)の目標物観測位置を受けると、目標物jの高度Zを認識する。
第2の判定処理部62は、目標物jの高度Zと事前に設定された閾値Zthとを比較する(図23のステップST11)。
第2の判定処理部62は、目標物jの高度Zが閾値Zth以上であれば(図23のステップST11:YESの場合)、目標物jが飛行中の移動体であると認識する(図23のステップST12)。
第2の判定処理部62は、目標物jの高度Zが閾値Zth未満であれば(図23のステップST11:NOの場合)、目標物jが地上に存在している移動体であると認識する(図23のステップST13)。地上に存在している移動体には、停止中の移動体も含まれる。
第2の判定処理部62は、目標物jの高度Zと事前に設定された閾値Zthとを比較する(図23のステップST11)。
第2の判定処理部62は、目標物jの高度Zが閾値Zth以上であれば(図23のステップST11:YESの場合)、目標物jが飛行中の移動体であると認識する(図23のステップST12)。
第2の判定処理部62は、目標物jの高度Zが閾値Zth未満であれば(図23のステップST11:NOの場合)、目標物jが地上に存在している移動体であると認識する(図23のステップST13)。地上に存在している移動体には、停止中の移動体も含まれる。
第2の判定処理部62は、目標物jが飛行中の移動体であると認識すると、飛行中の移動体である目標物jと、目標検出部32bにより検出された目標物i(i=1,2,・・・,I)とが同一物であるか否かを判定する。
具体的には、第2の判定処理部62は、観測位置射影部61により算出された目標物jの射影位置を取得する(図23のステップST14)。
具体的には、第2の判定処理部62は、観測位置射影部61により算出された目標物jの射影位置を取得する(図23のステップST14)。
次に、第2の判定処理部62は、例えば、以下の式(6)に示すように、観測位置射影部61により算出された目標物jの射影位置と、目標検出部32bから出力された目標物iの目標物地図座標位置とを用いて、カイ二乗検定の検定値εを算出する(図23のステップST15)。
式(6)において、
xハットxt,j,HETは、観測位置射影部61により算出された目標物jの時刻tにおける射影位置を示す推定位置ベクトル
xハットxt,j,CAMは、目標検出部32bにより検出された目標物iの時刻tにおける目標物地図座標位置を示す推定位置ベクトル
Pt,j,HETは、第2の追尾処理部34-m又はマルチセンサ追尾処理部35の追尾処理による目標物jの時刻tにおける推定位置誤差を示す推定誤差共分散行列
Pt,i,CAMは、目標検出部32bにより検出された目標物iの時刻tにおける推定位置誤差を示す推定誤差共分散行列
式(6)において、
xハットxt,j,HETは、観測位置射影部61により算出された目標物jの時刻tにおける射影位置を示す推定位置ベクトル
xハットxt,j,CAMは、目標検出部32bにより検出された目標物iの時刻tにおける目標物地図座標位置を示す推定位置ベクトル
Pt,j,HETは、第2の追尾処理部34-m又はマルチセンサ追尾処理部35の追尾処理による目標物jの時刻tにおける推定位置誤差を示す推定誤差共分散行列
Pt,i,CAMは、目標検出部32bにより検出された目標物iの時刻tにおける推定位置誤差を示す推定誤差共分散行列
次に、第2の判定処理部62は、以下の式(7)に示すように、カイ二乗検定の検定値εと事前に設定された閾値εthとを比較する(図23のステップST16)。
閾値εthは、所定の有意水準に基づいて、例えば、カイ二乗分布表から求めたものである。
例えば、有意水準を5%として検定すると、危険率5%で、本来同一である航跡が、同一でない航跡と誤った判定がなされることを意味する。
第2の判定処理部62は、カイ二乗検定の検定値εが閾値εth未満であれば(図23のステップST16:YESの場合)、飛行中の移動体である目標物jと、目標検出部32bにより検出された目標物iとが同一物であると判定する(図23のステップST17)。
第2の判定処理部62は、カイ二乗検定の検定値εが閾値εth以上であれば(図23のステップST16:NOの場合)、飛行中の移動体である目標物jと、目標検出部32bにより検出された目標物iとが同一物でないと判定する(図23のステップST18)。
第2の判定処理部62は、目標物iと同一物であると判定した目標物jの識別情報を第3の判定処理部64及び目標物選択部65に出力し、目標物jと同一物であると判定した目標物iのIDを第3の追尾処理部63に出力する。
第2の判定処理部62による飛行中の移動体である目標物jと、目標検出部32bにより検出された目標物iとの同一物か否かの判定処理は、飛行中の移動体である目標物jと目標検出部32bにより検出された目標物iとの全ての組み合わせについて行われる。
閾値εthは、所定の有意水準に基づいて、例えば、カイ二乗分布表から求めたものである。
例えば、有意水準を5%として検定すると、危険率5%で、本来同一である航跡が、同一でない航跡と誤った判定がなされることを意味する。
第2の判定処理部62は、カイ二乗検定の検定値εが閾値εth未満であれば(図23のステップST16:YESの場合)、飛行中の移動体である目標物jと、目標検出部32bにより検出された目標物iとが同一物であると判定する(図23のステップST17)。
第2の判定処理部62は、カイ二乗検定の検定値εが閾値εth以上であれば(図23のステップST16:NOの場合)、飛行中の移動体である目標物jと、目標検出部32bにより検出された目標物iとが同一物でないと判定する(図23のステップST18)。
第2の判定処理部62は、目標物iと同一物であると判定した目標物jの識別情報を第3の判定処理部64及び目標物選択部65に出力し、目標物jと同一物であると判定した目標物iのIDを第3の追尾処理部63に出力する。
第2の判定処理部62による飛行中の移動体である目標物jと、目標検出部32bにより検出された目標物iとの同一物か否かの判定処理は、飛行中の移動体である目標物jと目標検出部32bにより検出された目標物iとの全ての組み合わせについて行われる。
第3の追尾処理部63は、目標検出部32bから出力されたI個の目標物のIDと、第2の判定処理部62から出力された目標物iのIDとを比較し、I個の目標物の中から、目標物iのIDと異なるIDを有する目標物fを選択する。
第3の追尾処理部63は、目標検出部32bから出力されたI個の目標物の目標物地図座標位置のうち、選択した目標物fについての目標物地図座標位置を用いて、目標物fの追尾処理を実施する。
第3の追尾処理部63は、追尾処理後の目標物fの位置である目標物観測位置を第3の判定処理部64に出力する。
第3の追尾処理部63による目標物fの追尾処理は、選択した目標物fについての目標物地図座標位置の時系列方向の相関を取る処理であり、例えば、カルマンフィルタを用いることができる。
第3の追尾処理部63は、目標検出部32bから出力されたI個の目標物の目標物地図座標位置のうち、選択した目標物fについての目標物地図座標位置を用いて、目標物fの追尾処理を実施する。
第3の追尾処理部63は、追尾処理後の目標物fの位置である目標物観測位置を第3の判定処理部64に出力する。
第3の追尾処理部63による目標物fの追尾処理は、選択した目標物fについての目標物地図座標位置の時系列方向の相関を取る処理であり、例えば、カルマンフィルタを用いることができる。
第3の判定処理部64は、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力されたJ個の目標物の識別情報と、第2の判定処理部62から出力された目標物jの識別情報とを比較し、J個の目標物の中から、目標物jの識別情報と異なる識別情報を有する目標物gを選択する。
第3の判定処理部64は、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力されたJ個の目標物の目標物観測位置の中から、選択した目標物gの目標物観測位置を選択する。
第3の判定処理部64は、選択した目標物gの目標物観測位置と、第3の追尾処理部63から出力された目標物fの目標物地図座標位置とを比較して、観測センサ3-mにより観測された目標物gと、目標検出部32bにより検出された目標物fとが同一物であるか否かを判定する。
以下、第3の判定処理部64の処理内容を具体的に説明する。
第3の判定処理部64は、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力されたJ個の目標物の目標物観測位置の中から、選択した目標物gの目標物観測位置を選択する。
第3の判定処理部64は、選択した目標物gの目標物観測位置と、第3の追尾処理部63から出力された目標物fの目標物地図座標位置とを比較して、観測センサ3-mにより観測された目標物gと、目標検出部32bにより検出された目標物fとが同一物であるか否かを判定する。
以下、第3の判定処理部64の処理内容を具体的に説明する。
第3の判定処理部64は、例えば、以下の式(8)に示すように、目標物gの目標物観測位置と、目標検出部32bから出力された目標物fの目標物地図座標位置とを用いて、カイ二乗検定の検定値εを算出する。
式(8)において、
xハットxt,g,HETは、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された目標物gの時刻tにおける目標物観測位置及び速度を含む推定状態ベクトル
xハットxt,f,CAMは、目標検出部32bにより検出された目標物iの時刻tにおける目標物観測位置及び速度を含む推定状態ベクトル
Pt,g,HETは、第2の追尾処理部34-m又はマルチセンサ追尾処理部35の追尾処理による目標物jの時刻tにおける推定誤差を示す推定誤差共分散行列
Pt,f,CAMは、目標検出部32bにより検出された目標物iの時刻tにおける推定誤差を示す推定誤差共分散行列
式(8)において、
xハットxt,g,HETは、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された目標物gの時刻tにおける目標物観測位置及び速度を含む推定状態ベクトル
xハットxt,f,CAMは、目標検出部32bにより検出された目標物iの時刻tにおける目標物観測位置及び速度を含む推定状態ベクトル
Pt,g,HETは、第2の追尾処理部34-m又はマルチセンサ追尾処理部35の追尾処理による目標物jの時刻tにおける推定誤差を示す推定誤差共分散行列
Pt,f,CAMは、目標検出部32bにより検出された目標物iの時刻tにおける推定誤差を示す推定誤差共分散行列
次に、第3の判定処理部64は、以下の式(9)に示すように、カイ二乗検定の検定値εと事前に設定された閾値εthとを比較する。
第3の判定処理部64は、カイ二乗検定の検定値εが閾値εth未満であれば、観測センサ3-mにより観測された目標物gと、目標検出部32bにより検出された目標物fとが同一物であると判定する。
第3の判定処理部64は、カイ二乗検定の検定値εが閾値εth以上であれば、観測センサ3-mにより観測された目標物gと、目標検出部32bにより検出された目標物fとが同一物でないと判定する。
第3の判定処理部64は、目標物fと同一物であると判定した目標物gの識別情報を目標物選択部65に出力する。
第3の判定処理部64は、カイ二乗検定の検定値εが閾値εth未満であれば、観測センサ3-mにより観測された目標物gと、目標検出部32bにより検出された目標物fとが同一物であると判定する。
第3の判定処理部64は、カイ二乗検定の検定値εが閾値εth以上であれば、観測センサ3-mにより観測された目標物gと、目標検出部32bにより検出された目標物fとが同一物でないと判定する。
第3の判定処理部64は、目標物fと同一物であると判定した目標物gの識別情報を目標物選択部65に出力する。
目標物選択部65は、第1の判定処理部37、第2の判定処理部62又は第3の判定処理部64により同一物であると判定された目標物の中から、1つ以上の目標物を選択する。
例えば、目標物選択部65は、第2の判定処理部62から出力された識別情報が示す目標物の中から、いずれかの目標物を選択する。
次に、目標物選択部65は、第3の判定処理部64から出力された識別情報が示す目標物の中から、第2の判定処理部62から出力された識別情報と異なる識別情報を有する目標物を選択する。
次に、目標物選択部65は、第1の判定処理部37から出力された識別情報が示す目標物の中から、第2の判定処理部62から出力された識別情報及び第3の判定処理部64から出力された識別情報と異なる識別情報を有する目標物を選択する。
目標物選択部65は、目標物を選択すると、選択した目標物の識別情報と、選択した目標物の目標物観測位置及び目標物観測位置とを表示処理部40に出力する。
例えば、目標物選択部65は、第2の判定処理部62から出力された識別情報が示す目標物の中から、いずれかの目標物を選択する。
次に、目標物選択部65は、第3の判定処理部64から出力された識別情報が示す目標物の中から、第2の判定処理部62から出力された識別情報と異なる識別情報を有する目標物を選択する。
次に、目標物選択部65は、第1の判定処理部37から出力された識別情報が示す目標物の中から、第2の判定処理部62から出力された識別情報及び第3の判定処理部64から出力された識別情報と異なる識別情報を有する目標物を選択する。
目標物選択部65は、目標物を選択すると、選択した目標物の識別情報と、選択した目標物の目標物観測位置及び目標物観測位置とを表示処理部40に出力する。
表示処理部40は、映像生成部31から出力された画像センサ1-nの撮像画像、または、パノラマ画像である撮像画像をディスプレイ16に表示する。
表示処理部40は、第1の判定処理部37により同一物であると判定された場合、目標物選択部65から出力された目標物観測位置及び観測センサ3-mから出力された識別情報のそれぞれを撮像画像上に表示し、また、平滑処理部39から出力された平滑化後の目標物包含画像領域を撮像画像上に表示する。
表示処理部40は、第1の判定処理部37により同一物であると判定された場合、目標物選択部65から出力された目標物観測位置及び観測センサ3-mから出力された識別情報のそれぞれを撮像画像上に表示し、また、平滑処理部39から出力された平滑化後の目標物包含画像領域を撮像画像上に表示する。
表示処理部40は、第1の判定処理部37により同一物でないと判定された場合、目標検出部32bから出力された目標物地図座標位置及び平滑処理部39から出力された平滑化後の目標物包含画像領域と、目標検出部32bから出力された目標物のIDとを撮像画像上に表示する。
あるいは、表示処理部7は、第1の判定処理部37により同一物でないと判定された場合、観測センサ3-mから出力された識別情報と、目標物選択部65から出力された目標物観測位置及び目標物包含観測領域とを撮像画像上に表示する。
あるいは、表示処理部7は、第1の判定処理部37により同一物でないと判定された場合、観測センサ3-mから出力された識別情報と、目標物選択部65から出力された目標物観測位置及び目標物包含観測領域とを撮像画像上に表示する。
以上で明らかなように、この実施の形態4によれば、第2の追尾処理部34-mから出力された目標物観測位置又はマルチセンサ追尾処理部35から出力された目標物観測位置を、画像センサ1-nの視線方向に移動したときに、地上面と交差する位置を射影位置として算出する観測位置射影部61と、観測位置射影部61により算出された射影位置と目標検出部32bから出力された目標物観測位置とを比較して、観測センサ3-mにより観測された目標物と、目標検出部32bにより検出された目標物とが同一物であるか否かを判定する第2の判定処理部62とを備えている。これにより、上記実施の形態1~3よりも、更に、同一物の判定精度を高めることができる効果を奏する。
また、この実施の形態4によれば、目標検出部32bにより検出された1つ以上の目標物のうち、第2の判定処理部62により同一物であると判定された目標物以外の目標物の追尾処理を実施して、追尾処理後の目標物の位置である目標物観測位置を出力する第3の追尾処理部63と、観測センサ3-mから出力された目標物観測位置と、第3の追尾処理部63から出力された目標物観測位置とを比較して、観測センサ3-mにより観測された目標物と、目標検出部32bにより検出された目標物とが同一物であるか否かを判定する第3の判定処理部64とを備えている。これにより、上記実施の形態1~3よりも、更に、同一物の判定精度を高めることができる効果を奏する。
実施の形態5.
この実施の形態5では、第1の変換処理部82が、目標物地図座標位置を画像センサ1-nの基準位置を原点とする角度に変換し、第2の変換処理部85が、目標物観測位置を画像センサ1-nの基準位置を原点とする角度に変換し、判定処理部86が、双方の変換角度を比較する例を説明する。
この実施の形態5では、第1の変換処理部82が、目標物地図座標位置を画像センサ1-nの基準位置を原点とする角度に変換し、第2の変換処理部85が、目標物観測位置を画像センサ1-nの基準位置を原点とする角度に変換し、判定処理部86が、双方の変換角度を比較する例を説明する。
図24は、この発明の実施の形態5による監視装置を示す構成図である。図25は、この発明の実施の形態5による監視装置を示すハードウェア構成図である。
図24及び図25において、図1、図2、図17、図18、図19及び図20と同一符号は同一または相当部分を示すので説明を省略する。
第1の対応情報格納部81は、例えば、図25を示す第1の対応情報記憶回路91で実現される。
第1の対応情報格納部81は、画像センサ1-1~1-Nの基準位置を原点とする角度である方位角及び仰角と、目標検出部32から出力された目標物地図座標位置との対応関係を格納しているデータベースである。
画像センサ1の個数が1つである場合には、第1の対応情報格納部81が、1つの画像センサ1の設置位置を原点とする方位角及び仰角と、目標物地図座標位置との対応関係を格納しているものであってもよい。
図24及び図25において、図1、図2、図17、図18、図19及び図20と同一符号は同一または相当部分を示すので説明を省略する。
第1の対応情報格納部81は、例えば、図25を示す第1の対応情報記憶回路91で実現される。
第1の対応情報格納部81は、画像センサ1-1~1-Nの基準位置を原点とする角度である方位角及び仰角と、目標検出部32から出力された目標物地図座標位置との対応関係を格納しているデータベースである。
画像センサ1の個数が1つである場合には、第1の対応情報格納部81が、1つの画像センサ1の設置位置を原点とする方位角及び仰角と、目標物地図座標位置との対応関係を格納しているものであってもよい。
第1の変換処理部82は、例えば、図25を示す第1の変換処理回路92で実現される。
第1の変換処理部82は、目標検出部32から出力された目標物地図座標位置を画像センサ1-1~1-Nの基準位置を原点とする角度である方位角及び仰角に変換する処理を実施する。
即ち、第1の変換処理部82は、第1の対応情報格納部81に格納されている対応関係を参照して、目標検出部32から出力された目標物地図座標位置に対応する方位角及び仰角を取得する処理を実施する。
第1の変換処理部82は、目標検出部32から出力された目標物地図座標位置を画像センサ1-1~1-Nの基準位置を原点とする角度である方位角及び仰角に変換する処理を実施する。
即ち、第1の変換処理部82は、第1の対応情報格納部81に格納されている対応関係を参照して、目標検出部32から出力された目標物地図座標位置に対応する方位角及び仰角を取得する処理を実施する。
第1の追尾処理部83は、例えば、図25に示す第1の追尾処理回路93で実現される。
第1の追尾処理部83は、第1の変換処理部82により変換された方位角及び仰角の追尾処理を実施して、追尾処理後の方位角及び仰角と、追尾処理後の方位角の角速度及び仰角の角速度とを出力する処理を実施する。
第1の追尾処理部83による方位角及び仰角の追尾処理は、第1の変換処理部82により変換された方位角及び仰角の時系列方向の相関を取る処理であり、例えば、カルマンフィルタを用いることができる。
第1の追尾処理部83は、第1の変換処理部82により変換された方位角及び仰角の追尾処理を実施して、追尾処理後の方位角及び仰角と、追尾処理後の方位角の角速度及び仰角の角速度とを出力する処理を実施する。
第1の追尾処理部83による方位角及び仰角の追尾処理は、第1の変換処理部82により変換された方位角及び仰角の時系列方向の相関を取る処理であり、例えば、カルマンフィルタを用いることができる。
第2の対応情報格納部84は、例えば、図25を示す第2の対応情報記憶回路94で実現される。
第2の対応情報格納部84は、画像センサ1-1~1-Nの基準位置を原点とする角度である方位角及び仰角と、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された目標物観測位置及び目標物観測速度との対応関係を格納しているデータベースである。
画像センサ1の個数が1つである場合には、第2の対応情報格納部84が、1つの画像センサ1の設置位置を原点とする方位角及び仰角と、目標物観測位置及び目標物観測速度との対応関係を格納しているものであってもよい。
第2の対応情報格納部84は、画像センサ1-1~1-Nの基準位置を原点とする角度である方位角及び仰角と、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された目標物観測位置及び目標物観測速度との対応関係を格納しているデータベースである。
画像センサ1の個数が1つである場合には、第2の対応情報格納部84が、1つの画像センサ1の設置位置を原点とする方位角及び仰角と、目標物観測位置及び目標物観測速度との対応関係を格納しているものであってもよい。
第2の変換処理部85は、例えば、図25を示す第2の変換処理回路95で実現される。
第2の変換処理部85は、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された目標物観測位置を画像センサ1-1~1-Nの基準位置を原点とする角度である方位角及び仰角に変換する処理を実施する。
即ち、第2の変換処理部85は、第2の対応情報格納部84に格納されている対応関係を参照して、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された目標物観測位置に対応する方位角及び仰角を取得する処理を実施する。
また、第2の変換処理部85は、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された目標物観測速度を画像センサ1-1~1-Nの基準位置を原点とする方位角の角速度及び仰角の角速度に変換する処理を実施する。
即ち、第2の変換処理部85は、第2の対応情報格納部84に格納されている対応関係を参照して、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された目標物観測速度に対応する方位角の角速度及び仰角の角速度とを取得する処理を実施する。
第2の変換処理部85は、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された目標物観測位置を画像センサ1-1~1-Nの基準位置を原点とする角度である方位角及び仰角に変換する処理を実施する。
即ち、第2の変換処理部85は、第2の対応情報格納部84に格納されている対応関係を参照して、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された目標物観測位置に対応する方位角及び仰角を取得する処理を実施する。
また、第2の変換処理部85は、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された目標物観測速度を画像センサ1-1~1-Nの基準位置を原点とする方位角の角速度及び仰角の角速度に変換する処理を実施する。
即ち、第2の変換処理部85は、第2の対応情報格納部84に格納されている対応関係を参照して、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された目標物観測速度に対応する方位角の角速度及び仰角の角速度とを取得する処理を実施する。
判定処理部86は、例えば、図25に示す判定処理回路96で実現される。
判定処理部86は、第1の追尾処理部83から出力された追尾処理後の方位角、仰角、方位角の角速度及び仰角の角速度と、第2の変換処理部85により変換された方位角、仰角、方位角の角速度及び仰角の角速度とを比較して、観測センサ3-mにより観測された目標物と、目標検出部32により検出された目標物とが同一物であるか否かを判定する処理を実施する。
判定処理部86は、第1の追尾処理部83から出力された追尾処理後の方位角、仰角、方位角の角速度及び仰角の角速度と、第2の変換処理部85により変換された方位角、仰角、方位角の角速度及び仰角の角速度とを比較して、観測センサ3-mにより観測された目標物と、目標検出部32により検出された目標物とが同一物であるか否かを判定する処理を実施する。
図24では、監視装置の構成要素である画像センサ1-n、観測センサ3-m、映像生成部31、目標検出部32、第2の追尾処理部34-m、マルチセンサ追尾処理部35、表示処理部40、第1の対応情報格納部81、第1の変換処理部82、第1の追尾処理部83、第2の対応情報格納部84、第2の変換処理部85、判定処理部86及びディスプレイ16のそれぞれが、図25に示すような専用のハードウェアで実現されるものを想定している。即ち、画像センサ1-n、観測センサ3-m、映像生成回路41、目標検出回路42、第2の追尾処理回路44、マルチセンサ追尾処理回路45、表示処理回路50、第1の対応情報記憶回路91、第1の変換処理回路92、第1の追尾処理回路93、第2の対応情報記憶回路94、第2の変換処理回路95、判定処理回路96及びディスプレイ16で実現されるものを想定している。
映像生成回路41、目標検出回路42、第2の追尾処理回路44、マルチセンサ追尾処理回路45、表示処理回路50、第1の変換処理回路92、第1の追尾処理回路93、第2の変換処理回路95及び判定処理回路96は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC、FPGA、または、これらを組み合わせたものが該当する。
監視装置の画像センサ1-n、観測センサ3-m及びディスプレイ16を除く構成要素は、専用のハードウェアで実現されるものに限るものではなく、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
監視装置の画像センサ1-n、観測センサ3-m及びディスプレイ16を除く構成要素がソフトウェア又はファームウェアなどで実現される場合、第1の対応情報格納部81及び第2の対応情報格納部84を図3に示すコンピュータのメモリ21上に構成するとともに、映像生成部31、目標検出部32、第2の追尾処理部34-m、マルチセンサ追尾処理部35、表示処理部40、第1の変換処理部82、第1の追尾処理部83、第2の変換処理部85及び判定処理部86の処理手順をコンピュータに実行させるためのプログラムをメモリ21に格納し、コンピュータのプロセッサ22がメモリ21に格納されているプログラムを実行するようにすればよい。
次に動作について説明する。
この実施の形態5では、説明の簡単化のため、目標検出部32によって、1つの目標物が検出され、観測センサ3-mによって、1つの目標物が観測されるものとする。
図26は、画像センサ1-1~1-Nの基準位置と、画像センサ1-1~1-Nの角度とを示す説明図である。
第1の対応情報格納部81は、画像センサ1-1~1-Nの基準位置を原点とする方位角及び仰角と、目標検出部32から出力された目標物地図座標位置との対応関係を格納している。
この実施の形態5では、説明の簡単化のため、目標検出部32によって、1つの目標物が検出され、観測センサ3-mによって、1つの目標物が観測されるものとする。
図26は、画像センサ1-1~1-Nの基準位置と、画像センサ1-1~1-Nの角度とを示す説明図である。
第1の対応情報格納部81は、画像センサ1-1~1-Nの基準位置を原点とする方位角及び仰角と、目標検出部32から出力された目標物地図座標位置との対応関係を格納している。
第1の変換処理部82は、目標検出部32から出力された目標物地図座標位置を画像センサ1-1~1-Nの基準位置を原点とする方位角及び仰角に変換する。
即ち、第1の変換処理部82は、第1の対応情報格納部81に格納されている対応関係を参照して、目標検出部32から出力された目標物地図座標位置に対応する方位角及び仰角を取得し、取得した方位角及び仰角を第1の追尾処理部83に出力する。
第1の追尾処理部83は、第1の変換処理部82から出力された方位角及び仰角の追尾処理を実施して、追尾処理後の方位角及び仰角と、追尾処理後の方位角の角速度及び仰角の角速度とを判定処理部86に出力する。
即ち、第1の変換処理部82は、第1の対応情報格納部81に格納されている対応関係を参照して、目標検出部32から出力された目標物地図座標位置に対応する方位角及び仰角を取得し、取得した方位角及び仰角を第1の追尾処理部83に出力する。
第1の追尾処理部83は、第1の変換処理部82から出力された方位角及び仰角の追尾処理を実施して、追尾処理後の方位角及び仰角と、追尾処理後の方位角の角速度及び仰角の角速度とを判定処理部86に出力する。
第2の追尾処理部34-m及びマルチセンサ追尾処理部35のそれぞれは、追尾処理後の目標物観測位置のほか、追尾処理後の目標物の速度である目標物観測速度を第2の変換処理部85に出力する。
第2の変換処理部85は、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された目標物観測位置を画像センサ1-1~1-Nの基準位置を原点とする方位角及び仰角に変換する。
即ち、第2の変換処理部85は、第2の対応情報格納部84に格納されている対応関係を参照して、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された目標物観測位置に対応する方位角及び仰角を取得する。
第2の変換処理部85は、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された目標物観測位置を画像センサ1-1~1-Nの基準位置を原点とする方位角及び仰角に変換する。
即ち、第2の変換処理部85は、第2の対応情報格納部84に格納されている対応関係を参照して、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された目標物観測位置に対応する方位角及び仰角を取得する。
また、第2の変換処理部85は、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された目標物観測速度を画像センサ1-1~1-Nの基準位置を原点とする方位角の角速度及び仰角の角速度に変換する。
即ち、第2の変換処理部85は、第2の対応情報格納部84に格納されている対応関係を参照して、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された目標物観測速度に対応する方位角の角速度及び仰角の角速度とを取得する。
第2の変換処理部85は、取得した方位角、仰角、方位角の角速度及び仰角の角速度を判定処理部86に出力する。
即ち、第2の変換処理部85は、第2の対応情報格納部84に格納されている対応関係を参照して、第2の追尾処理部34-m又はマルチセンサ追尾処理部35から出力された目標物観測速度に対応する方位角の角速度及び仰角の角速度とを取得する。
第2の変換処理部85は、取得した方位角、仰角、方位角の角速度及び仰角の角速度を判定処理部86に出力する。
判定処理部86は、第1の追尾処理部83から出力された追尾処理後の方位角、仰角、方位角の角速度及び仰角の角速度と、第2の変換処理部85から出力された方位角、仰角、方位角の角速度及び仰角の角速度とを比較して、観測センサ3-mにより観測された目標物と、目標検出部32により検出された目標物とが同一物であるか否かを判定する。
以下、判定処理部86の処理内容を具体的に説明する。
以下、判定処理部86の処理内容を具体的に説明する。
判定処理部86は、以下の式(10)に示すように、第1の追尾処理部83から出力された追尾処理後の方位角、仰角、方位角の角速度及び仰角の角速度と、第2の変換処理部85から出力された方位角、仰角、方位角の角速度及び仰角の角速度とを用いて、カイ二乗検定の検定値εを算出する。
式(10)において、
xハットxt,HETは、第2の変換処理部85から出力された目標物の時刻tにおける方位角、仰角、方位角の角速度及び仰角の角速度を含む推定状態ベクトル
xハットxt,CAMは、第1の追尾処理部83から出力された目標物の時刻tにおける方位角、仰角、方位角の角速度及び仰角の角速度を含む推定状態ベクトル
Pt,HETは、第2の追尾処理部34-m又はマルチセンサ追尾処理部35の追尾処理による目標物の時刻tにおける推定誤差を示す推定誤差共分散行列
Pt,CAMは、目標検出部32により検出された目標物の時刻tにおける推定誤差を示す推定誤差共分散行列
式(10)において、
xハットxt,HETは、第2の変換処理部85から出力された目標物の時刻tにおける方位角、仰角、方位角の角速度及び仰角の角速度を含む推定状態ベクトル
xハットxt,CAMは、第1の追尾処理部83から出力された目標物の時刻tにおける方位角、仰角、方位角の角速度及び仰角の角速度を含む推定状態ベクトル
Pt,HETは、第2の追尾処理部34-m又はマルチセンサ追尾処理部35の追尾処理による目標物の時刻tにおける推定誤差を示す推定誤差共分散行列
Pt,CAMは、目標検出部32により検出された目標物の時刻tにおける推定誤差を示す推定誤差共分散行列
次に、判定処理部86は、以下の式(11)に示すように、カイ二乗検定の検定値εと事前に設定された閾値εthとを比較する。
判定処理部86は、カイ二乗検定の検定値εが閾値εth未満であれば、観測センサ3-mにより観測された目標物と、目標検出部32により検出された目標物とが同一物であると判定する。
判定処理部86は、カイ二乗検定の検定値εが閾値εth以上であれば、観測センサ3-mにより観測された目標物と、目標検出部32により検出された目標物とが同一物でないと判定する。
判定処理部86は、カイ二乗検定の検定値εが閾値εth未満であれば、観測センサ3-mにより観測された目標物と、目標検出部32により検出された目標物とが同一物であると判定する。
判定処理部86は、カイ二乗検定の検定値εが閾値εth以上であれば、観測センサ3-mにより観測された目標物と、目標検出部32により検出された目標物とが同一物でないと判定する。
以上で明らかなように、第1の追尾処理部83から出力された追尾処理後の方位角、仰角、方位角の角速度及び仰角の角速度と、第2の変換処理部85により変換された方位角、仰角、方位角の角速度及び仰角の角速度とを比較して、観測センサ3-mにより観測された目標物と、目標検出部32により検出された目標物とが同一物であるか否かを判定する判定処理部86を備えている。これにより、目標物が飛行中の航空機である場合でも、観測センサ3により観測された目標物と、画像センサ1の撮像画像内の目標物とが同一物であるか否かを判定することができる効果を奏する。
実施の形態6.
上記実施の形態5では、第1の変換処理部82の後段に第1の追尾処理部83が設けられている監視装置の例を示している。
しかし、これは一例に過ぎず、図27に示すように、第1の変換処理部82の前段に第1の追尾処理部33が設けられている監視装置であってもよい。
図27は、この発明の実施の形態6による監視装置を示す構成図である。
この実施の形態6の場合でも、上記実施の形態5と同様に、目標物が飛行中の航空機である場合でも、観測センサ3により観測された目標物と、画像センサ1の撮像画像内の目標物とが同一物であるか否かを判定することができる。
上記実施の形態5では、第1の変換処理部82の後段に第1の追尾処理部83が設けられている監視装置の例を示している。
しかし、これは一例に過ぎず、図27に示すように、第1の変換処理部82の前段に第1の追尾処理部33が設けられている監視装置であってもよい。
図27は、この発明の実施の形態6による監視装置を示す構成図である。
この実施の形態6の場合でも、上記実施の形態5と同様に、目標物が飛行中の航空機である場合でも、観測センサ3により観測された目標物と、画像センサ1の撮像画像内の目標物とが同一物であるか否かを判定することができる。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
この発明は、観測センサにより観測された目標物と、画像センサの撮像画像内の目標物とが同一物であるか否かを判定する監視装置に関するものである。
1,1-1~1-N 画像センサ、2 目標検出部、3,3-1~3-M 観測センサ、4 物体形状情報格納部、5 変換処理部、6 第1の判定処理部、7 表示処理部、8 包含領域特定部、9 平均位置出力部、11 目標検出回路、12 形状記憶回路、13 変換処理回路、14 第1の判定処理回路、15 表示処理回路、16 ディスプレイ、21 メモリ、22 プロセッサ、31 映像生成部、32,32b 目標検出部、33 第1の追尾処理部、34-1~34-M 第2の追尾処理部、35 マルチセンサ追尾処理部、36 変換処理部、37 第1の判定処理部、38 判定結果格納部、39 平滑処理部、40 表示処理部、41 映像生成回路、42 目標検出回路、43 第1の追尾処理回路、44 第2の追尾処理回路、45 マルチセンサ追尾処理回路、46 変換処理回路、47 第1の判定処理回路、48 判定結果記憶回路、49 平滑処理回路、50 表示処理回路、61 観測位置射影部、62 第2の判定処理部、63 第3の追尾処理部、64 第3の判定処理部、65 目標物選択部、71 観測位置射影回路、72 第2の判定処理回路、73 第3の追尾処理回路、74 第3の判定処理回路、75 目標物選択回路、81 第1の対応情報格納部、82 第1の変換処理部、83 第1の追尾処理部、84 第2の対応情報格納部、85 第2の変換処理部、86 判定処理部、91 第1の対応情報記憶回路、92 第1の変換処理回路、93 第1の追尾処理回路、94 第2の対応情報記憶回路、95 第2の変換処理回路、96 判定処理回路。
Claims (18)
- 目標物が存在している領域を撮像して、前記領域の撮像画像を出力する画像センサと、
前記画像センサから出力された撮像画像内の目標物を検出し、前記検出した目標物を包含している範囲である目標物包含画像領域を特定する目標検出部と、
目標物を観測して、前記観測した目標物の識別情報及び前記観測した目標物の位置である目標物観測位置を出力する観測センサと、
前記観測センサから出力された識別情報によって目標物の大きさを特定し、前記特定した目標物の大きさ及び前記観測センサから出力された目標物観測位置のそれぞれを前記画像センサの投影面に変換し、前記変換した目標物の大きさと、前記変換した目標物観測位置とから、前記画像センサの投影面上で、前記観測センサにより観測された目標物を包含している範囲である目標物包含観測領域を特定する変換処理部と、
前記変換処理部により特定された目標物包含観測領域と、前記目標検出部により特定された目標物包含画像領域とを比較して、前記観測センサにより観測された目標物と、前記目標検出部により検出された目標物とが同一物であるか否かを判定する第1の判定処理部と
を備えた監視装置。 - 前記第1の判定処理部により同一物であると判定された場合、前記画像センサから出力された撮像画像上に、前記変換処理部により投影面に変換された目標物観測位置及び前記観測センサから出力された識別情報のそれぞれを表示する表示処理部を備えたことを特徴とする請求項1記載の監視装置。
- 前記表示処理部は、前記画像センサから出力された撮像画像上に、前記目標検出部により特定された目標物包含画像領域を表示することを特徴とする請求項2記載の監視装置。
- 前記画像センサの投影面上で、前記変換処理部により特定された目標物包含観測領域と、前記目標検出部により特定された目標物包含画像領域との双方を含む領域である双方包含領域を特定する包含領域特定部を備え、
前記表示処理部は、前記画像センサから出力された撮像画像上に、前記包含領域特定部により特定された双方包含領域を表示することを特徴とする請求項2記載の監視装置。 - 前記画像センサの投影面上で、前記変換処理部により投影面に変換された目標物観測位置と、前記目標検出部により検出された撮像画像内の目標物の位置とを重み付け平均して、重み付け平均した位置を出力する平均位置出力部を備え、
前記表示処理部は、前記画像センサから出力された撮像画像上に、前記平均位置出力部から出力された位置を表示することを特徴とする請求項2記載の監視装置。 - 前記観測センサは、前記目標物観測位置の観測誤差範囲を示す観測誤差情報を出力し、
前記変換処理部は、前記観測センサから出力された観測誤差情報に従って前記特定した目標物包含観測領域を補正することを特徴とする請求項1記載の監視装置。 - 前記目標検出部により特定された目標物包含画像領域を時間方向に平滑化する平滑処理部を備え、
前記表示処理部は、前記画像センサから出力された撮像画像上に、前記平滑処理部により平滑化された目標物包含画像領域を表示することを特徴とする請求項2記載の監視装置。 - 前記目標検出部により検出された目標物の追尾処理を実施して、追尾処理後の目標物を包含している範囲である目標物包含画像領域を前記第1の判定処理部に出力する第1の追尾処理部と、
前記観測センサにより観測された目標物の追尾処理を実施して、追尾処理後の目標物の位置である目標物観測位置を前記変換処理部に出力する第2の追尾処理部とを備え、
前記変換処理部は、前記特定した目標物の大きさ及び前記第2の追尾処理部から出力された目標物観測位置のそれぞれを前記画像センサの投影面に変換し、前記変換した目標物の大きさと、前記変換した目標物観測位置とから、前記画像センサの投影面上で、前記観測センサにより観測された目標物を包含している範囲である目標物包含観測領域を特定し、
前記第1の判定処理部は、前記変換処理部により特定された目標物包含観測領域と、前記第1の追尾処理部から出力された目標物包含画像領域とを比較して、前記観測センサにより観測された目標物と、前記目標検出部により検出された目標物とが同一物であるか否かを判定することを特徴とする請求項1記載の監視装置。 - 前記第2の追尾処理部は、目標物の追尾処理による推定誤差を示す推定誤差情報を出力し、
前記変換処理部は、前記第2の追尾処理部から出力された推定誤差情報に従って前記特定した目標物包含観測領域を補正することを特徴とする請求項8記載の監視装置。 - 前記第1の判定処理部は、
前記画像センサの投影面上で、前記変換処理部により特定された目標物包含観測領域と、前記目標検出部により特定された目標物包含画像領域との重なり範囲を算出し、前記重なり範囲が閾値以上であれば、前記観測センサにより観測された目標物と、前記目標検出部により検出された目標物とが同一物であると判定し、前記重なり範囲が前記閾値未満であれば、前記観測センサにより観測された目標物と、前記目標検出部により検出された目標物とが同一物でないと判定することを特徴とする請求項1記載の監視装置。 - 前記第1の判定処理部は、
前記目標検出部により複数の目標物が検出されており、前記目標検出部により各々の目標物の目標物包含画像領域が特定されていれば、前記画像センサの投影面上で、前記変換処理部により特定された目標物包含観測領域と、前記各々の目標物の目標物包含画像領域との重なり範囲をそれぞれ算出し、各々の重なり範囲の合計が閾値以上であれば、前記複数の目標物が1つの目標物の一部であり、前記観測センサにより観測された目標物と、前記1つの目標物とが同一物であると判定し、前記重なり範囲の合計が前記閾値未満であれば、前記観測センサにより観測された目標物と、前記1つの目標物とが同一物でないと判定することを特徴とする請求項1記載の監視装置。 - 前記観測センサから出力された目標物観測位置を、前記画像センサの視線方向に移動したときに、地上面と交差する位置を射影位置として算出する観測位置射影部と、
前記観測位置射影部により算出された射影位置と、前記目標検出部により検出された目標物の位置とを比較して、前記観測センサにより観測された目標物と、前記目標検出部により検出された目標物とが同一物であるか否かを判定する第2の判定処理部とを備えたことを特徴とする請求項1記載の監視装置。 - 前記目標検出部により検出された1つ以上の目標物のうち、前記第2の判定処理部により同一物であると判定された目標物以外の目標物の追尾処理を実施して、追尾処理後の目標物の位置である目標物観測位置を出力する第3の追尾処理部と、
前記観測センサから出力された目標物観測位置と、前記第3の追尾処理部から出力された目標物観測位置とを比較して、前記観測センサにより観測された目標物と、前記目標検出部により検出された目標物とが同一物であるか否かを判定する第3の判定処理部と、
前記第1から第3の判定処理部により同一物であると判定された目標物の中から、1つ以上の目標物を選択する目標物選択部とを備えたことを特徴とする請求項12記載の監視装置。 - 前記目標物選択部は、
前記第2の判定処理部により同一物であると判定された目標物の中から、いずれかの目標物を選択し、
前記第3の判定処理部により同一物であると判定された目標物の中から、選択済みの目標物と異なる目標物を選択し、
前記第1の判定処理部により同一物であると判定された目標物の中から、選択済みの目標物と異なる目標物を選択することを特徴とする請求項13記載の監視装置。 - 目標物が存在している領域を撮像して、前記領域の撮像画像を出力する画像センサと、
前記画像センサから出力された撮像画像内の目標物を検出し、前記検出した目標物を包含している範囲である目標物包含画像領域を特定する目標検出部と、
目標物を観測して、前記観測した目標物の位置である目標物観測位置を出力する観測センサと、
予め設定されている前記目標物の大きさ及び前記観測センサから出力された目標物観測位置のそれぞれを前記画像センサの投影面に変換し、前記変換した目標物の大きさと、前記変換した目標物観測位置とから、前記画像センサの投影面上で、前記観測センサにより観測された目標物を包含している範囲である目標物包含観測領域を特定する変換処理部と、
前記変換処理部により特定された目標物包含観測領域と、前記目標検出部により特定された目標物包含画像領域とを比較して、前記観測センサにより観測された目標物と、前記目標検出部により検出された目標物とが同一物であるか否かを判定する第1の判定処理部と
を備えた監視装置。 - 目標物が存在している領域を撮像して、前記領域の撮像画像を出力する画像センサと、
前記画像センサから出力された撮像画像内の目標物を検出して、前記検出した目標物の位置である目標物画像位置を出力する目標検出部と、
前記目標検出部から出力された目標物画像位置を前記画像センサの基準位置を原点とする角度に変換する第1の変換処理部と、
目標物を観測して、前記観測した目標物の位置である目標物観測位置を出力する観測センサと、
前記観測センサから出力された目標物観測位置を前記画像センサの基準位置を原点とする角度に変換する第2の変換処理部と、
前記第1の変換処理部により変換された角度と、前記第2の変換処理部により変換された角度とを比較して、前記観測センサにより観測された目標物と、前記目標検出部により検出された目標物とが同一物であるか否かを判定する判定処理部と
を備えた監視装置。 - 前記第1の変換処理部により変換された角度の追尾処理を実施して、追尾処理後の角度を前記判定処理部に出力する第1の追尾処理部と、
前記観測センサから出力された目標物観測位置に従って目標物の追尾処理を実施して、追尾処理後の目標物の位置である目標物観測位置を前記第2の変換処理部に出力する第2の追尾処理部とを備え、
前記第2の変換処理部は、前記第2の追尾処理部から出力された目標物観測位置を前記画像センサの基準位置を原点とする角度に変換し、
前記判定処理部は、前記第1の追尾処理部から出力された角度と、前記第2の変換処理部により変換された角度とを比較して、前記観測センサにより観測された目標物と、前記目標検出部により検出された目標物とが同一物であるか否かを判定することを特徴とする請求項16記載の監視装置。 - 前記目標検出部により検出された目標物の追尾処理を実施して、追尾処理後の目標物の位置である目標物画像位置を前記第1の変換処理部に出力する第1の追尾処理部と、
前記観測センサにより観測された目標物の追尾処理を実施して、追尾処理後の目標物の位置である目標物観測位置を前記第2の変換処理部に出力する第2の追尾処理部とを備え、
前記第1の変換処理部は、前記第1の追尾処理部から出力された目標物画像位置を前記画像センサの基準位置を原点とする角度に変換し、
前記第2の変換処理部は、前記第2の追尾処理部から出力された目標物観測位置を前記画像センサの基準位置を原点とする角度に変換することを特徴とする請求項16記載の監視装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019521598A JP6687296B2 (ja) | 2017-05-31 | 2017-05-31 | 監視装置 |
PCT/JP2017/020261 WO2018220745A1 (ja) | 2017-05-31 | 2017-05-31 | 監視装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/020261 WO2018220745A1 (ja) | 2017-05-31 | 2017-05-31 | 監視装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018220745A1 true WO2018220745A1 (ja) | 2018-12-06 |
Family
ID=64455810
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/020261 WO2018220745A1 (ja) | 2017-05-31 | 2017-05-31 | 監視装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6687296B2 (ja) |
WO (1) | WO2018220745A1 (ja) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07229960A (ja) * | 1994-02-16 | 1995-08-29 | Mitsubishi Heavy Ind Ltd | 航空機用全周視界表示装置 |
JPH08146130A (ja) * | 1994-11-24 | 1996-06-07 | Mitsubishi Electric Corp | 空港面地上走行管制システム |
JPH08329393A (ja) * | 1995-05-29 | 1996-12-13 | Daihatsu Motor Co Ltd | 先行車検出装置 |
JPH09264954A (ja) * | 1996-03-29 | 1997-10-07 | Fujitsu Ten Ltd | レーダを用いた画像処理システム |
JP2003132499A (ja) * | 2001-10-24 | 2003-05-09 | Electronic Navigation Research Institute | 航空管制用表示装置における航空機位置表示方法 |
JP2008215918A (ja) * | 2007-03-01 | 2008-09-18 | Mitsubishi Electric Corp | 空港面監視システムおよび空港面監視方法 |
US20100002077A1 (en) * | 2005-01-13 | 2010-01-07 | Sensis Corporation | Method and system for tracking position of an object using imaging and non-imaging surveillance devices |
JP2010032429A (ja) * | 2008-07-30 | 2010-02-12 | Toyota Motor Corp | 物体検出装置 |
JP2014122873A (ja) * | 2012-11-22 | 2014-07-03 | Denso Corp | 物標検出装置 |
-
2017
- 2017-05-31 JP JP2019521598A patent/JP6687296B2/ja active Active
- 2017-05-31 WO PCT/JP2017/020261 patent/WO2018220745A1/ja active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07229960A (ja) * | 1994-02-16 | 1995-08-29 | Mitsubishi Heavy Ind Ltd | 航空機用全周視界表示装置 |
JPH08146130A (ja) * | 1994-11-24 | 1996-06-07 | Mitsubishi Electric Corp | 空港面地上走行管制システム |
JPH08329393A (ja) * | 1995-05-29 | 1996-12-13 | Daihatsu Motor Co Ltd | 先行車検出装置 |
JPH09264954A (ja) * | 1996-03-29 | 1997-10-07 | Fujitsu Ten Ltd | レーダを用いた画像処理システム |
JP2003132499A (ja) * | 2001-10-24 | 2003-05-09 | Electronic Navigation Research Institute | 航空管制用表示装置における航空機位置表示方法 |
US20100002077A1 (en) * | 2005-01-13 | 2010-01-07 | Sensis Corporation | Method and system for tracking position of an object using imaging and non-imaging surveillance devices |
JP2008215918A (ja) * | 2007-03-01 | 2008-09-18 | Mitsubishi Electric Corp | 空港面監視システムおよび空港面監視方法 |
JP2010032429A (ja) * | 2008-07-30 | 2010-02-12 | Toyota Motor Corp | 物体検出装置 |
JP2014122873A (ja) * | 2012-11-22 | 2014-07-03 | Denso Corp | 物標検出装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6687296B2 (ja) | 2020-04-22 |
JPWO2018220745A1 (ja) | 2019-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107305632B (zh) | 基于单目计算机视觉技术的目标对象距离测量方法与系统 | |
JP5503578B2 (ja) | 物体検出装置及び物体検出方法 | |
US9495750B2 (en) | Image processing apparatus, image processing method, and storage medium for position and orientation measurement of a measurement target object | |
KR102054455B1 (ko) | 이종 센서 간의 캘리브레이션 장치 및 방법 | |
US11762071B2 (en) | Multi-mode multi-sensor calibration | |
WO2018142900A1 (ja) | 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム | |
US20110205338A1 (en) | Apparatus for estimating position of mobile robot and method thereof | |
US10509971B2 (en) | Landmark recognition device and landmark recognition method using a database storing landmark extraction information | |
JP6396714B2 (ja) | 物体認識装置 | |
JP2003083742A (ja) | 監視システムの距離補正装置および距離補正方法 | |
WO2013104800A1 (en) | Automatic scene calibration | |
EP3361446A1 (en) | Imu-aided image registration | |
CN112230242A (zh) | 位姿估计系统和方法 | |
WO2018235300A1 (ja) | 物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体 | |
US20200401825A1 (en) | Object detection device, object detection method, and storage medium | |
JP6172432B2 (ja) | 被写体識別装置、被写体識別方法および被写体識別プログラム | |
CN111164648A (zh) | 移动体的位置推断装置及位置推断方法 | |
JP2006090957A (ja) | 移動体の周囲物体検出装置及び移動体の周囲物体検出方法 | |
JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
KR20180040175A (ko) | 선박 위치 결정 방법 및 시스템 | |
Cerri et al. | Free space detection on highways using time correlation between stabilized sub-pixel precision IPM images | |
JP2001076128A (ja) | 障害物検出装置及び方法 | |
WO2018220745A1 (ja) | 監視装置 | |
EP1307705A1 (en) | Height measurement apparatus | |
JP2010145219A (ja) | 運動推定装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17911959 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019521598 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17911959 Country of ref document: EP Kind code of ref document: A1 |