JP6593995B2

JP6593995B2 - 空港監視装置

Info

Publication number: JP6593995B2
Application number: JP2015012131A
Authority: JP
Inventors: 彰一清水; 信太郎渡邉
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2015-01-26
Filing date: 2015-01-26
Publication date: 2019-10-23
Anticipated expiration: 2035-01-26
Also published as: JP2016139172A

Description

この発明は、空港面の管制作業を支援する空港監視装置に関する。

従来の空港監視装置では、空港面の管制作業を支援する空港監視装置において、特に画像認識処理及び文字認識処理を用いて、管制作業の負荷の軽減や警報の自動化を図っている（例えば特許文献１参照）。

具体的には、過密化する空港面において空港面を移動する全ての航空機及び車両の位置と識別番号を認識し、衝突の可能性がある対象物に対して衝突警報を自動的に発することにより、航空管制官の管制業務の軽減及び空港面の安全性を高めるために、以下の空港監視装置が開示されている。空港面の数箇所に設置したビデオカメラの画像データと画像処理による文字認識を用いて、空港面を移動する全ての航空機や車両の便名や車両番号、移動方向、及び位置を認識し、空港面探知レーダとの相関を取って表示する。また、衝突警告を空港面に自動的に発信する衝突警告送信装置と、発信された情報を受けて警告を発する航空機・車両搭載衝突警告受信装置を有している。

特許第２９７３３０２号公報

しかしながら、１つのカメラを用いた目標物体の座標推定は、地面と目標物体の接地面を正確に求める必要がある。先行例では、重心や検出領域の下端を用いているが、検出領域の欠けや影の影響、夜間では精度が低下するという問題点があった。

この発明の目的は以上の問題点を解決し、単眼カメラを用いた目標物体の座標推定において目標物体の位置を正確に求めることができる空港監視装置を提供することにある。

この発明に係る空港監視装置は、
所定の目標物体を含む空港面を撮影して当該空港面の画像信号を出力する撮像手段と、
上記撮影された画像の画像信号から上記目標物体を検出する目標物体検出手段と、
上記目標物体の輪郭データである所定のエッジモデルを用いて上記検出した目標物体を上記空港面において位置合わせを行って、位置合わせ結果の画像信号を出力する位置合わせ手段と、
上記位置合わせ結果の画像信号に基づいて、上記目標物体の上記撮像手段で撮影された画像上の上記空港面との接地点の座標を推定し、上記接地点の座標を地図上の位置座標へ座標変換することで、上記目標物体の上記地図上の位置座標を算出する位置推定手段とを備え、
上記目標物体検出手段は、上記目標物体の背景差分による検出結果と、上記目標物体の追跡による追跡結果とを統合するときに、上記背景差分による検出枠と上記追跡による検出枠の重なりを判定し、重なっていると判定したとき、上記背景差分による検出枠の面積と、上記追跡による検出枠の面積と、上記背景差分による検出枠と上記追跡による検出枠との重なりの面積とに基づいて、所定の重なり率を計算し、上記重なり率に基づいて、上記背景差分による検出結果と上記追跡による検出結果とを統合する統合処理を行うことを特徴とする。

この発明に係る空港監視装置によれば、カメラを用いた目標物体の位置推定精度が日照条件に頑健になり、精度が向上する。また、精度が向上することにより、他のレーダなどの情報との整合が容易になる。

この発明の実施の形態１に係る空港監視装置の動作を示す概略図である。図１の空港監視装置の構成を示すブロック図である。図２の目標物体検出部２による目標物体検出処理を示すフローチャートである。図２の目標物体検出部２による追跡処理を説明するための概略図である。図２の目標物体検出部２による重なり判定処理の一例を示す概略図である。図２の精密位置合わせ部３による２次元エッジモデルを用いた精密位置合わせ処理を示すフローチャートである。図２の精密位置合わせ部３による２次元エッジモデルを用いた精密位置合わせ処理を示す概略図である。この発明の実施の形態２に係る空港監視装置の構成を示すブロック図である。図８の空港監視装置の精密位置合わせ部３Ａによる３次元エッジモデルを用いた精密位置合わせ処理を示すフローチャートである。この発明の実施の形態３に係る空港監視装置の構成を示すブロック図である。図１０の点光源検出部２Ａによる点光源検出処理を示すフローチャートである。図１０の精密位置合わせ部３Ｂによる２次元ライトモデルを用いた精密位置合わせ処理を示すフローチャートである。図１０の精密位置合わせ部３による精密位置合わせ処理を説明するための概略図である。この発明の実施の形態４に係る空港監視装置の構成を示すブロック図である。図１４の精密位置合わせ部３Ｃによる３次元ライトモデルを用いた精密位置合わせ処理を示すフローチャートである。

以下、この発明に係る実施形態について図面を参照して説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。

実施の形態１．
図１はこの発明の実施の形態１に係る空港監視装置の動作を示す概略図である。また、図２は図１の空港監視装置の構成を示すブロック図である。図２において、実施の形態１に係る空港監視装置は、カメラ１と、目標物体検出部２と、２次元エッジモデルによる精密位置合わせ部３と、位置推定部４と、空港面３Ｄデータメモリ５と、結果表示部６と、航空機情報メモリ７と、２次元エッジモデルメモリ８とを備えて構成される。

図１に示すように、実施の形態１では、カメラ１で目標物体である航空機を含む空港面
を撮影し、このカメラ１から得られる画像の画像信号を用いて、航空機を検出する。そし
て、検出された航空機の領域に対して、予め作成しておいた航空機のエッジモデルを当て
はめる。最後に、航空機が路面上と接地する座標から地図上への位置座標へ変換し、航空
機の推定位置の検出結果を出力する。以下、図２を参照して、実施の形態１に係る空港監
視装置について詳細説明する。

図２において、カメラ１は目標物体である航空機を含む空港面を撮影し、撮影した画像の画像信号を目標物体検出部２、精密位置合わせ部３及び結果表示部６に転送する。目標物体検出部ｂ２は、転送された画像信号の画像から航空機の空港面内での領域を検出し、検出した航空機の領域を２次元エッジモデルによる精密位置合わせ部３と結果表示部６に転送する。なお、結果表示部６は例えば液晶ディスプレイであって、入力される画像信号の画像を表示する。

図３は図２の目標物体検出部２による目標物体検出処理を示すフローチャートである。図３において、まず、ステップＳＴ１では、得られた画像と、基準画像（背景画像）とを用いて、画像内の静止物体のぶれ量を推定する。ぶれ量の計算は、背景画像Ｉ_０（ｕ座標，ｖ座標，カラーチャンネル（３））と現フレームの画像Ｉ_ｔ（ｕ座標，ｖ座標，カラーチャンネル（３））とすると、以下の式を満たすぶれ量（ｕ_ｂ，ｖ_ｂ）を算出することとなる。

ここで、ぶれ補正では、画像全体をずらした際の差分値が最も小さくなる（ｕ，ｖ）ように画像を選ぶこととなる。

次いで、ステップＳＴ２では、ぶれ量（ｕ_ｂ，ｖ_ｂ）を加味した航空機の検出を行う。検出には、背景差分を用いた手法や予め航空機から特徴量を抽出し、機械学習により得られた学習データを用いて検出する手法などを用いればよい。

図４は図２の目標物体検出部２による追跡処理を説明するための概略図である。

次いで、ステップＳＴ３では、図４のように１処理前の物体検出結果のテンプレート画像Ｔ（ｕ座標，ｖ座標，カラーチャンネル）を用いて、現フレームの画像Ｉ_ｔ（ｕ，ｖ，カラーチャンネル）から以下の式を満たす物体位置を算出する。

このとき、Ｎはｕ座標軸の探索範囲、Ｍはｖ座標軸の探索範囲を表し、上記式はＳＡＤ（差分絶対値和（Sum of Absolute Difference））が最小となる、座標（ｕ，ｖ）を出力する式となる。

次いで、ステップＳＴ４では、ステップＳＴ２により出力された検出結果とステップＳＴ３により検出された検出結果の統合を行う。まず、２つの検出枠の重なり判定を行う。物体検出結果の検出枠の左上・右下座標をＲ_ｄｅｔ（ｌ_ｕ：左上ｕ座標、ｌ_ｖ：左上ｖ座標、ｒ_ｕ：右下ｕ座標、ｒ_ｖ：右下ｖ座標）、追跡による検出枠の左上・右下標をＲ_{ｔｒａｃｋ}（ｌ_ｕ：左上ｕ座標、ｌ_ｖ：左上ｖ座標、ｒ_ｕ：右下ｕ座標、ｒ_ｖ：右下ｖ座標）とすると、以下の式で判定を行う。

図５は図２の目標物体検出部２による重なり判定処理の一例を示す概略図である。図５に示すように、重なっている（Ｏ＝１）と判定された場合、さらに重なり率の判定を行うことで、統合するかの判定を行う。重なり率は、次式のように、ステップＳＴ２の処理により出力された物体検出枠の面積ａｒｅａ_ｄｅｔと、ステップＳＴ３の処理により出力された追跡による検出枠の面積ａｒｅａ_{ｔｒａｃｋ}、物体検出枠と追跡による検出枠の重なり領域の面積ａｒｅａ_{ｏｖｅｒｌａｐ}から算出する。

この面積を用いて以下の条件に当てはまる場合、統合処理を行う。

ここで、ＴＨは重なり率である。統合処理では、統合枠が１つの場合と２つ以上の場合で異なる。
（Ａ）統合枠が１つの場合：背景差分の検出枠と追跡の検出枠の幅を比べ、追跡の検出枠の幅が大きい場合は、追跡の検出枠の幅を採用する。
（Ｂ）統合枠が２つ以上の場合：すべての枠を内包する統合枠を算出する。

ステップＳＴ５の処理では、ステップＳＴ４の処理で得られた検出枠を元に、追跡で使用するテンプレート画像を抽出する。以上の処理により、目標物体検出を行い、その結果を精密位置合わせ部３に転送する。

次いで、２次元エッジモデルによる精密位置合わせ部３では、目標物体検出部２で得られた航空機の領域内を、２次元エッジモデルメモリ８に格納された航空機のエッジモデルを用いて、位置合わせを行う。

図６は図２の精密位置合わせ部３による２次元エッジモデルを用いた精密位置合わせ処理を示すフローチャートである。

まず、ステップＳＴ１１では、２次元エッジモデルメモリ８からエッジモデルを取得する。２次元エッジモデルは、２次元画像上の輪郭データであり、様々な角度から撮影された際の輪郭データを保持しておく。取得された２次元エッジモデルは、２次元エッジモデルメモリ８に保持される。一方、航空機の機種などの情報である航空機情報は、航空機等の位置を測定する監視システムであるマルチラレテーションなどから入手して航空機情報メモリ７に予め格納される。次いで、精密位置合わせ部３は、それに合わせたエッジモデルを選択する。また、カメラ１の設置位置からエッジモデルの選択に限定を持たせてもよい。

図７は図２の精密位置合わせ部３による２次元エッジモデルを用いた精密位置合わせ処理を示す概略図である。

図６のステップＳＴ１２では、ステップＳＴ１１の処理で取得したエッジモデルを用いて、図７のように、例えばチャンファ・マッチング（ｃｈａｍｆｅｒｍａｔｃｈｉｎｇ）法などを用いてエッジ画像に対して位置合わせを行う。図７において、ｍ１は２次元エッジモデル、ｍ２はエッジ画像、ｍ３は位置合わせ後のエッジモデルであり、２次元エッジモデルｍ１とエッジ画像ｍ２とを位置合わせして、位置合わせ後のエッジモデルｍ３を得る。

次いで、ステップＳＴ１３では、ステップＳＴ１２の処理での位置合わせの評価を行う。位置合わせの評価値（誤差）ｅｒｒｏｒは、位置合わせを行ったエッジ上の輝度値ｅを総和したものとし、エッジ画像Ｉ_ｅ、エッジモデルのエッジ座標ｅ（Ｅ個の座標を持つ）から以下の式で算出する。

ここで、δ（Ｉ_ｅ（ｅｄｇｅ_ｍ））はエッジがあるときに１を出力する一方、エッジがないときに０を出力する関数である。

次いで、ステップＳＴ１４では、位置合わせの評価値（誤差）ｅｒｒｏｒが所定のしきい値以下のとき、位置合わせが達成されたとして、処理を終了する。ステップＳＴ１４において、ＮＯであるときは、ステップＳＴ１１からの処理を繰り返す。

以上の処理により、精密な位置合わせを行い、位置合わせ結果の画像の画像信号を位置推定部４に転送する。

次いで、位置推定部４は、２次元エッジモデルによる精密位置合わせ部３の位置合わせ
結果の画像と、空港面３Ｄデータメモリ５に予め格納された空港面３Ｄデータを用いて、
位置合わせされた航空機の位置について地図上の座標を算出する。位置推定部４は、２次
元エッジモデルによる精密位置合わせ部３からの位置合わせ結果の画像から、航空機に関
する、画像上の空港面との接地点を推定する。次いで、画像上の空港面での航空機の位置
座標を、空港面３Ｄデータへの位置座標へ座標変換することで、地図上の位置座標を算出
する。この算出結果を結果表示部６に転送して表示する。結果表示部６は、カメラ１で撮
影した画像に目標物体検出部２で得られた目標物体である航空機の位置の画像と、位置推
定部４で推定した航空機の地図上の位置を地図へ描画する。

以上説明したように、本実施の形態によれば、カメラ１を用いた目標物体の位置推定精度が向上し、他のレーダなどの情報との整合が容易になる。
実施の形態２．
図８はこの発明の実施の形態２に係る空港監視装置の構成を示すブロック図である。実施の形態２に係る空港監視装置は、図２の実施の形態１に係る空港監視装置に比較して以下の点が異なる。
（１）２次元エッジモデルによる精密位置合わせ部３に代えて、３次元エッジモデルによる精密位置合わせ部３を備えた。
（２）２次元エッジモデルメモリ８に代えて、３次元エッジモデルメモリ８Ａを備えた。
以下、相違点について詳述する。

実施の形態２に係る空港監視装置は、カメラ１で目標物体である航空機を含む空港面を
撮影し、このカメラ１から得られる画像の画像信号を用いて、航空機の領域を検出する。
そして、検出された航空機の領域に対して、３次元エッジモデルから２次元エッジモデル
を作成し航空機のエッジモデルを当てはめる。最後に、航空機が空港面の路面上と接地する座標から地図上への位置座標へ変換し、検出結果を出力する。

実施の形態２では、実施の形態１に比較して、特に、３次元エッジモデルによる精密位置合わせ部３Ａは、目標物体検出部２で得られた航空機の領域内を、３次元エッジモデルメモリ８Ａに格納された航空機の３次元エッジモデルから生成される２次元エッジモデルを用いて、位置合わせを行うことを特徴としている。

図９は図８の空港監視装置の精密位置合わせ部３Ａによる３次元エッジモデルを用いた精密位置合わせ処理を示すフローチャートである。

図９のステップＳＴ３１では、２次元エッジモデルを３次元エッジモデルから生成して３次元エッジモデルメモリ８Ａに格納する。ここで、３次元エッジモデルは、３次元空間上の航空機の輪郭データである。この３次元空間上の航空機の輪郭データから、航空機の２次元エッジモデルを生成する。一方、航空機の機種などの情報は、航空機等の位置を測定する監視システムであるマルチラレテーションなどから入手して航空機情報メモリ７に格納され、精密位置合わせ部３Ａはそれに合わせた３次元エッジモデルを選択する。なお、２次元エッジモデルの生成は、カメラ１の設置位置を初期値として、その位置にカメラ１があった際の２次元エッジモデルを生成する。３次元エッジモデルのエッジの３次元座標ｅ_３Ｄ（ｘ，ｙ，ｚ）とすると、２次元エッジの座標ｅ（ｕ，ｖ）は以下の式で算出できる。

ここで、Ａはカメラ１の内部パラメータ、Ｒは回転行列、Ｔは平行移動ベクトルを表す。これにより、２次元エッジモデルを得る。

次いで、ステップＳＴ１２では、ステップＳＴ１１で取得したエッジモデルを用いて、図７のように、例えばチャンファ・マッチング（ｃｈａｍｆｅｒｍａｔｃｈｉｎｇ）法などを用いて、エッジ画像に対して位置合わせを行う。

次いで、ステップＳＴ１３では、ステップＳＴ１２での位置合わせの評価を行う。位置合わせの評価値（誤差）ｅ_ｉは、位置合わせを行ったエッジ上の輝度値ｅを総和したものとし、エッジ画像Ｉ_ｅ、エッジモデルのエッジ座標ｅｄｇｅ（Ｅ個の座標を持つ）から以下の式で算出する。

ここで、δ（Ｉ_ｅ（ｅｄｇｅ_ｍ））はエッジがあるときに１を出力し、エッジではないときに０を出力する関数である。

次いで、ステップＳＴ１４では、位置合わせの評価値（誤差）ｅ_ｉが所定のしきい値以下のとき、位置合わせが達成されたとして、処理を終了する。なお、ステップＳＴ１４においてＮＯであるときは、ステップＳＴ３１の処理から繰り返す。

以上の処理により、精密な位置合わせを行い、その位置合わせ結果の画像を位置推定部４に転送する。

以上説明したように、本実施の形態によれば、３次元エッジモデルを持つことで、データ数が削減され、任意の２次元エッジモデルを生成することができるようになり、カメラを用いた目標物体の位置推定精度が向上する。また、他のレーダなどの情報との整合が容易になる。

実施の形態３．
図１０はこの発明の実施の形態３に係る空港監視装置の構成を示すブロック図である。実施の形態３に係る空港監視装置は、図２の実施の形態１に係る空港監視装置に比較して以下の点が異なる。
（１）目標物体検出部２に代えて、点光源検出部２Ａを備えた。
（２）２次元エッジモデルによる精密位置合わせ部３に代えて、２次元ライトモデルによる精密位置合わせ部３Ｂを備えた。
（２）２次元エッジモデルメモリ８に代えて、２次元ライトモデルメモリ８Ｂを備えた。
以下、相違点について詳述する。

実施の形態３では、カメラ１で目標物体である航空機を含む空港面を撮影し、このカメ
ラ１から得られる画像を用いて、航空機の点光源群を検出する。そして、検出された点光
源群に対して、予め作成しておいた航空機のライトモデルを当てはめる。最後に、航空機
が路面上と接地する座標から地図上への位置座標へ変換し、航空機の位置座標の検出結果
を出力する。

上述のように、実施の形態３は、点光源検出部２Ａ、２次元ライトモデルによる精密位置合わせ部３Ｂ、２次元ライトモデルメモリ８Ｂが実施の形態１との相違点である。点光源検出部２Ａは、カメラ１により撮像した画像の画像信号から航空機の点光源群を検出し、検出した点光源群の位置情報を、２次元ライトモデルによる精密位置合わせ部３Ｂに転送する。

図１１は図１０の点光源検出部２Ａによる点光源検出処理を示すフローチャートである。

まず、図１１のステップＳＴ１では、実施の形態１と同様にぶれ量を推定する。次いで、ステップＳＴ３２では、撮像された画像から航空機の点光源を検出する。点光源の検出は、背景差分を用いた手法により抽出し、点光源の位置と色成分を出力する。以上の処理により、点光源検出部２Ａは、２次元ライトモデルによる精密位置合わせ部３Ｂに点光源の位置と色成分を転送する。

次いで、２次元ライトモデルによる精密位置合わせ部３Ｂは、点光源検出部２Ａで得られた点光源群の位置情報（色成分を含む）と、２次元ライトモデルメモリ８Ｂに予め格納された航空機の２次元ライトモデルを用いて、位置合わせを行う。

図１２は図１０の精密位置合わせ部３Ｂによる２次元ライトモデルを用いた精密位置合わせ処理を示すフローチャートである。

図１２のステップＳＴ３１では、まず、２次元ライトモデルメモリ８Ｂから２次元ライトモデルを取得する。２次元ライトモデルは、２次元画像上の航空機のライト設置位置のデータであり、様々な角度から撮影された際のライト設置位置を２次元ライトモデルメモリ８Ｂに保持しておく。一方、航空機の機種などの情報は、航空機等の位置を測定する監視システムであるマルチラレテーションなどから入手して予め航空機情報メモリ７に格納される。精密位置合わせ部３ｂはそれに合わせた２次元ライトモデルを選択する。ここで、カメラ１の設置位置から２次元ライトモデルの選択に限定を持たせてもよい。

次いで、ステップＳＴ３２では、ステップＳＴ３１の処理で取得した２次元ライトモデルを用いて、図１２のように、入力画像に対して位置合わせを行う。この位置合わせは、点光源検出部２Ａで得られた点光源群の位置情報と２次元ライトモデルの位置情報との間の相関を求めることで行う。

次いで、ステップＳＴ３３では、ステップＳＴ３２の処理での位置合わせの評価を行う。位置合わせの評価値（誤差）ｅｒｒｏｒは、位置合わせを行った点光源との距離ｄを総和したものとし、一致したＥ個の点光源群ｐとモデルの一致した点ｅから以下の式で算出する。

次いで、ステップＳＴ１４では、誤差ｅｒｒｏｒ_ｉが所定のしきい値以下のとき、位置合わせが達成されたとして、処理を終了する。なお、ステップＳＴ１４においてＮＯであるときは、ステップＳＴ３１に戻り、処理を繰り返す。

図１３は図１０の精密位置合わせ部３による精密位置合わせ処理を説明するための概略図である。図１３において、ｍ３０は２次元ライトモデル、ｍ３１は航空機がある場合の２次元エッジ、ｍ３２は夜間画像、ｍ３３は位置合わせ後のライトモデルである。すなわち、２次元ライトモデルｍ３０における航空機の２次元エッジｍ３１と、夜間画像ｍ３２との間で位置合わせすることで、位置合わせ後のライトモデルｍ３３を得ることができる。

以上の処理により、精密な位置合わせを行い、２次元ライトモデルに含まれる航空機と、空港面の路面の接地位置を位置推定部４に転送し、結果表示部６には航空機の領域とラ
イトモデルに含まれる航空機と路面の接地位置を転送して表示する。

以上説明したように、本実施の形態によれば、点光源検出部２Ａ及び２次元ライトモデルによる精密位置合わせ部３Ｂを備えたので、夜間におけるカメラ１を用いた目標物体の位置推定精度が向上する。また、他のレーダなどの情報との整合が容易になる。

実施の形態４．
図１４はこの発明の実施の形態４に係る空港監視装置の構成を示すブロック図である。実施の形態４に係る空港監視装置は、図３の実施の形態３に係る空港監視装置に比較して以下の点が異なる。
（１）２次元ライトモデルによる精密位置合わせ部３Ｂに代えて、３次元ライトモデルによる精密位置合わせ部３Ｃを備えた。
（２）２次元ライトモデルメモリ８Ｂに代えて、３次元ライトモデルメモリ８Ｃを備えた。
以下、相違点について詳述する。

実施の形態４では、カメラ１で目標物体である航空機を含む空港面を撮影し、このカメ
ラ１から得られる画像を用いて、航空機の点光源群を検出する。そして、検出された航空
機の点光源群に対して、３次元エッジモデルから２次元エッジモデルを作成し航空機のエ
ッジモデルを当てはめる。最後に、航空機が路面上と接地する座標から地図上への位置座
標へ変換し、航空機の位置の検出結果を出力する。

上述のように、実施の形態４は、３次元ライトモデルによる精密位置合わせ部３Ｃと３次元ライトモデルメモリ８Ｃが実施の形態３との相違点である。３次元ライトモデルによる精密位置合わせ部３Ｃは、点光源検出部２Ａで得られた航空機の点光源群と、航空機の３次元ライトモデルを用いて位置合わせを行う。

図１５は図１４の精密位置合わせ部３Ｃによる３次元ライトモデルを用いた精密位置合わせ処理を示すフローチャートである。

図１５のステップＳＴ４１では、２次元ライトモデルを３次元ライトモデルから生成する。３次元ライトモデルは、３次元空間上の航空機のライト座標である。この３次元空間上のライト座標から、２次元ライトモデルを生成する。一方、航空機の機種などの情報は、航空機等の位置を測定する監視システムであるマルチラレテーションなどから入手して航空機情報メモリ７に予め格納される。精密位置合わせ部３Ｃはそれに合わせた３次元ライトモデルを選択する。なお、２次元ライトモデルの生成は、実施の形態２と同様の方法で求める。ステップＳＴ３２以降は、実施の形態３と同様に実行される。以上の処理により、精密な位置合わせを行い、航空機の位置合わせの結果である航空機の位置情報を含む位置合わせ結果を位置推定部４に転送する。なお、位置推定部４の処理は実施の形態３と同様である。

以上説明したように、本実施の形態によれば、３次元ライトモデルを持つことにで、データ数が削減され、任意の２次元ライトモデルを生成することができるようになり、夜間におけるカメラ１を用いた目標物体の位置推定精度が向上する。また、他のレーダなどの情報との整合が容易になる。

１カメラ、２目標物体検出部、２Ａ点光源検出部、３，３Ａ，３Ｂ，３Ｃ精密位置合わせ部、４位置推定部、５空港面３Ｄデータメモリ、６結果表示部、７航空機情報メモリ、８２次元エッジモデルメモリ、８Ａ３次元エッジモデルメモリ、８Ｂ２次元ライトモデルメモリ、８Ｃ３次元ライトモデルメモリ、ｍ１２次元エッジモデル、ｍ２エッジ画像、ｍ３位置合わせ後のエッジモデル、ｍ３０２次元ライトモデル、ｍ３１航空機がある場合の２次元エッジ、ｍ３２夜間画像、ｍ３３位置合わせ後のライトモデル。

Claims

所定の目標物体を含む空港面を撮影して当該空港面の画像信号を出力する撮像手段と、
上記空港面の画像信号から上記目標物体を検出する目標物体検出手段と、
上記目標物体の輪郭データである所定のエッジモデルを用いて上記検出した目標物体を上記目標物体検出手段で検出した上記目標物体の領域内において位置合わせを行って、位置合わせ結果の画像信号を出力する位置合わせ手段と、
上記位置合わせ結果の画像信号に基づいて、上記目標物体の上記撮像手段で撮影された画像上の上記空港面との接地点の座標を推定し、上記接地点の座標を地図上の位置座標へ座標変換することで、上記目標物体の上記地図上の位置座標を算出する位置推定手段とを備え、
上記目標物体検出手段は、上記目標物体の背景差分による検出結果と、上記目標物体の追跡による追跡結果とを統合するときに、上記背景差分による検出枠と上記追跡による検出枠の重なりを判定し、重なっていると判定したとき、上記背景差分による検出枠の面積と、上記追跡による検出枠の面積と、上記背景差分による検出枠と上記追跡による検出枠との重なりの面積とに基づいて、所定の重なり率を計算し、上記重なり率に基づいて、上記背景差分による検出結果と上記追跡による検出結果とを統合する統合処理を行うことを特徴とする空港監視装置。
上記目標物体検出手段は、
（Ａ）上記統合処理で用いる所定の統合枠が１つの場合、上記背景差分による検出枠と、上記追跡による検出枠の幅を比べ、上記追跡による検出枠の幅が大きい場合は、上記追跡による検出枠の幅を採用し、
（Ｂ）上記統合枠が２つ以上の場合、すべての統合枠を内包する統合枠を算出することで、上記統合処理を行うことを特徴とする請求項１記載の空港監視装置。
上記検出した目標物体の検出結果及び上記推定された目標物体の位置を表示する表示手段をさらに備えることを特徴とする請求項１又は２に記載の空港監視装置。
上記エッジモデルは、２次元画像上の目標物体の輪郭データである２次元エッジモデルであることを特徴とする請求項１〜３のうちのいずれか１つに記載の空港監視装置
上記エッジモデルは、３次元画像上の目標物体の輪郭データである３次元エッジモデルであることを特徴とする請求項１〜３のうちのいずれか１つに記載の空港監視装置。