JP6632474B2

JP6632474B2 - 監視装置、監視方法及び空港監視システム

Info

Publication number: JP6632474B2
Application number: JP2016112790A
Authority: JP
Inventors: 彰一清水; 関　真規人; 真規人関; 信太郎渡邉; 晴之岩間; 清之畑; 恭輔内田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2016-06-06
Filing date: 2016-06-06
Publication date: 2020-01-22
Anticipated expiration: 2036-06-06
Also published as: JP2017219377A

Description

本発明は、航空機及び車両などの物体を監視する画像処理技術に関し、特に、空港内の航空機及び車両などの物体を監視するためにカメラ画像に基づいて当該物体の位置を検出する画像処理技術に関する。

従来より、空港における滑走路及び誘導路などの地表面（以下「空港面」ともいう。）の監視のために、ＡＳＤＥ（ＡｉｒｐｏｒｔＳｕｒｆａｃｅＤｅｔｅｃｔｉｏｎＥｑｕｉｐｍｅｎｔ：空港面探知装置）と呼ばれるレーダ装置、及び監視カメラなどの監視装置が使用されている。空港の管制官は、ＡＳＤＥにより得られたレーダエコー画面とカメラ画像とを通じて、空港面に存在する航空機または車両などの物体の動きを把握することができる。

また、レーダ装置と監視カメラとを用いて空港面に存在する物体を自動的に識別する技術も存在する。たとえば、特許文献１（特開平１１−１６０４２４号公報）に開示されている空港面監視装置は、レーダエコーに基づいて航空機または車両などの目標物体の方位及び距離信号を含む目標物情報を生成するＡＳＤＥ目標検出装置と、監視カメラの画像データを解析することにより目標物体を抽出しその識別情報（機体番号または車両識別番号）、移動方向及び位置座標をそれぞれ検出するパターン認識装置と、その移動方向及び位置座標の組と当該目標物情報との間の位置相関の有無を判定する位置相関処理装置とを備えている。位置相関処理装置は、位置相関があったとき、ＡＳＤＥ目標検出装置で検出された目標物体が、画像データから抽出された目標物体と同一であると識別し、ＡＳＤＥ目標検出装置で検出された目標物体に当該識別情報のタグを付加する。

特開平１１−１６０４２４号公報（たとえば、図１及び段落００２６）

しかしながら、ＡＳＤＥ目標検出装置においてレーダエコーを基に検出された目標物体の方位及び距離信号の検出誤差は、空港面における当該目標物体の存在位置に応じて変化する。このため、その検出精度が低いと、当該目標物体の検出位置精度が低くなるおそれがある。

上記に鑑みて本発明の目的は、空港面に存在する物体の位置を高い精度で検出することを可能とする監視装置、監視方法及び空港監視システムを提供することである。

本発明の一態様による監視装置は、空港面に存在する目標物体の測位座標を検出する空港面探知センサと、前記空港面を撮像して前記目標物体の画像及び該目標物体以外の背景の画像を含むカメラ画像を出力する撮像部とを用いて前記目標物体を監視する監視装置であって、前記測位座標を２次元の画像座標に変換する座標変換部と、前記空港面探知センサによる測位位置の空間的な誤差分布を示す誤差分布データを取得し、当該誤差分布データ及び前記画像座標に基づき、２次元画像空間において前記目標物体及び前記背景がそれぞれ現れる確からしさの分布を示すセンサ確率マップの算出を行うセンサ確率マップ生成部と、前記カメラ画像に基づき、前記２次元画像空間において前記目標物体及び前記背景がそれぞれ現れる確からしさの分布を示すカメラ確率マップの算出を行うカメラ確率マップ生成部と、前記センサ確率マップ及び前記カメラ確率マップを合成して得られる合成確率マップに基づき、前記カメラ画像を、前記目標物体を表す前景領域と背景領域とに分離するセグメンテーションを実行する物体検出部とを備えることを特徴とする。

本発明によれば、空港面に存在する目標物体の位置を高い精度で検出することが可能となる。

本発明に係る実施の形態１の空港監視システムの概略構成を示すブロック図である。実施の形態１に係る空港監視処理の概要を説明するための図である。実施の形態１に係る空港監視処理の手順の一例を概略的に示すフローチャートである。実施の形態１の目標検出部によるセグメンテーションを説明するための図である。実施の形態１の目標検出部によるセグメンテーションを説明するための図である。図６Ａ及び図６Ｂは、実施の形態１の監視装置のハードウェア構成を実現する２種類の情報処理装置の構成を概略的に示すブロック図である。本発明に係る実施の形態２の空港監視システムの概略構成を示すブロック図である。本発明に係る実施の形態３の空港監視システムの概略構成を示すブロック図である。

以下、図面を参照しつつ、本発明に係る種々の実施の形態について詳細に説明する。なお、図面全体において同一符号を付された構成要素は、同一構成及び同一機能を有するものとする。

実施の形態１．
図１は、本発明に係る実施の形態１の空港監視システム１の概略構成を示すブロック図である。この空港監視システム１は、図１に示されるように空港面探知センサ２、撮像部３、監視装置４、及び、画像表示装置を含む表示部２１を備えて構成されている。空港面探知センサ２は、滑走路または誘導路などの空港面に存在する航空機、トラック、バスまたは特殊車両などの移動物体を探知してその位置座標（以下「測位座標」ともいう。）を測定する測位機能を有し、当該測位座標を示す測位データＧＤを監視装置４に送信する通信機能を有する。測位座標は、たとえば、ＧＥＯ座標系（ＧＥＯｄｅｔｉｃｃｏｏｒｄｉｎａｔｅｓ：測地座標系）の緯度φ、経度Ω及び高度ｈで表現されている。特殊車両としては、たとえば、トーイングカー（航空機のプッシュバックまたはトーイングのために使用される車両）、コンテナ運搬車、燃料給油作業車及び給水車が挙げられる。

また、空港面探知センサ２は、たとえば、ＡＳＤＥ（ＡｉｒｐｏｒｔＳｕｒｆａｃｅＤｅｔｅｃｔｉｏｎＥｑｕｉｐｍｅｎｔ：空港面探知装置）やＡＳＲ（ＡｉｒｐｏｒｔＳｕｒｖｅｉｌｌａｎｃｅＲａｄａｒ）などの監視レーダで構成可能である。また、空港面探知センサ２は、監視レーダが探知できない領域を監視するために、ＭＬＡＴ（Ｍｕｌｔｉ−ＬＡＴｅｒａｔｉｏｎ：マルチラテレーション）などの監視システムを備えている。ＭＬＡＴとは、航空機のトランスポンダから送信された応答信号またはスキッタ信号などの信号を３カ所以上の受信局で受信して、これら受信信号間の受信時刻の差に基づいて当該航空機の位置を測定する監視システムである。

更に、空港面探知センサ２は、ＭＬＡＴなどの監視システムを利用して、移動物体の種類を示す移動体情報ＢＴを供給することができる。移動体情報ＢＴとしては、航空機の機種情報または特殊車両の車種情報が挙げられる。この移動体情報ＢＴは、本実施の形態では使用されないが、後述する実施の形態２及び実施の形態３で使用される情報である。

撮像部３は、空港内に設置された単数または複数の監視カメラで構成されており、各監視カメラは、空港面と空などの背景とを撮像するように配置されている。各監視カメラの構造は、被写体を撮像してその被写体の撮像画像ＩＭＧを監視装置４に転送することができる構成を有していればよく、その構造は特に限定されるものではない。このような監視カメラは、たとえば、撮像光学系から入射された被写体の光学像を電気信号に変換する固体撮像素子と、この固体撮像素子の出力に信号処理を施して撮像画像データを生成する信号処理回路と、その撮像画像データを一時的に記憶するバッファメモリと、このバッファメモリから撮像画像データを読み出して監視装置４に転送するデータ送信部とで構成可能である。固体撮像素子としては、たとえば、ＣＣＤ（Ｃｈａｒｇｅ−ＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、または、光電子増倍管などの光電変換デバイスを含む高感度イメージセンサを使用することができる。

監視装置４は、図１に示されるように、座標変換部１０、カメラ確率マップ生成部１１、センサ確率マップ生成部１２、モデル生成部１３、物体検出部１４、座標推定部１５、出力部１６及びセンサ誤差記憶部１７を備えて構成される。

座標変換部１０は、空港面探知センサ２から測位データＧＤを受信すると、この測位データＧＤで示される、移動物体（以下「目標物体」という。）の測位座標を２次元の画像座標ＩＣに投影変換し、その画像座標ＩＣの情報をセンサ確率マップ生成部１２に供給する。投影変換は、たとえば、ＷＧＳ−８４（ＷｏｒｌｄＧｅｏｄｅｔｉｃＳｙｓｔｅｍ−８４）座標系を使用して行われる。空港面探知センサ２で得られる測位座標がＧＥＯ座標系の情報であるため、座標変換部１０は、測位座標をＥＣＦ（Ｅａｒｔｈ−Ｃｅｎｔｅｒｅｄ−Ｅａｒｔｈ−Ｆｉｘｅｄ）座標に変換し、このＥＣＦ座標をＥＮＵ（Ｅａｓｔ−Ｎｏｒｔｈ−Ｕｐ）座標に変換する。そして、座標変換部１０は、そのＥＮＵ座標に基づいて画像座標を算出する。

具体的には、座標変換部１０は、先ず、次式（１）に従って、ＧＥＯ座標系の測位座標［φ，Ω，ｈ］^Ｔ（Ｔは転置記号）をＥＣＦ座標［Ｘ_Ｆ，Ｙ_Ｆ，Ｚ_Ｆ］^Ｔに変換する。

ここで、φは緯度（単位：ラジアン）、Ωは経度（単位：ラジアン）、ｈは楕円体高（単位：ｍ）、ｅは地球の離心率、ｆは地球の偏平率、Ｎは地球半径である。離心率ｅ、偏平率ｆ及び地球半径Ｎは、次式（２）で与えられる。

ここで、定数ａは、ＷＧＳ８４準拠楕円体の長半径（＝６３７８１３７ｍ）である。

次に、座標変換部１０は、次式（３）に従って、ＥＣＦ座標［Ｘ_Ｆ，Ｙ_Ｆ，Ｚ_Ｆ］^ＴをＥＮＵ座標［Ｘ_Ｎ，Ｙ_Ｎ，Ｚ_Ｎ］^Ｔに変換する。

式（３）の右辺のベクトル［Ｘ_ＦＳ，Ｙ_ＦＳ，Ｚ_ＦＳ］^Ｔは、基準点のＥＣＦ座標である。また、式（３）の右辺のＴ_ＦＮは、次式（４）で与えられる回転行列である。

なお、回転行列Ｔ_ＦＮは、この回転行列の転置Ｔ_ＦＮ ^Ｔと等しい。

そして、座標変換部１０は、同次座標（ＨｏｍｏｇｅｎｏｕｓＣｏｏｒｄｉｎａｔｅｓ）を用いて、次式（５）により、ＥＮＵ座標［Ｘ_Ｎ，Ｙ_Ｎ，Ｚ_Ｎ］^Ｔを２次元の画像座標［ｕ，ｖ］^Ｔに変換することができる。

ここで、右辺のＡは、カメラの内部パラメータを示すスカラー量であり、［Ｒ｜Ｔ］は、３行４列の行列である。また、Ｒは、２行２列の回転行列要素を含む３行２列の行列であり、Ｔは、並行移動量を含む３行１列の行列である。内部パラメータＡ、行列Ｒ，Ｔは、予めカメラキャリブレーションにより求められる。

センサ誤差記憶部１７は、空港面探知センサ２による測位位置の空間的な誤差分布を示す誤差分布データＥＤをセンサ確率マップ生成部１２に供給する記録媒体である。誤差分布データＥＤは、たとえば、空港面探知センサ２における監視レーダまたはＭＬＡＴにより得られた測位情報（緯度、経度及び高度）に対して発生する誤差分布を示すデータであればよい。この誤差分布は、ＧＰＳ（ｇｌｏｂａｌｐｏｓｉｔｉｏｎｉｎｇｓｙｓｔｅｍ）などのＧＮＳＳ（全地球航法衛星システム）の高精度測位情報と、空港面探知センサ２で得られた測位情報の平均値及び分散値とを用いて予め算出されたものである。また、ＧＮＳＳが使用されない場合には、空港内の定点に置かれた測定器のデータを使用して平均値及び分散値を求める方法が使用されてもよい。更には、ＭＬＡＴに代えて、ＡＤＳ−Ｂ（ＡｕｔｏｍａｔｉｃＤｅｐｅｎｄｅｎｔＳｕｒｖｅｉｌｌａｎｃｅ−Ｂｒｏａｄｃａｓｔ）システムから得た測位情報が使用されてもよい。

なお、本実施の形態のセンサ誤差記憶部１７は、監視装置４の構成要素の１つであるが、これに限定されるものではない。センサ誤差記憶部１７は、監視装置４の外部に配置され、ケーブルまたは通信回線を介して監視装置４と接続されていてもよい。

図２に概念的に示されるように、監視装置４は、空港面探知センサ２から目標物体の測位位置Ｐｔを示す測位データＧＤを受信し、撮像部３から目標物体が現れるカメラ画像ＩＭＧを受信する。監視装置４は、測位データＧＤ及びカメラ画像ＩＭＧに加えて、センサ誤差記憶部１７から誤差分布を示す誤差分布データＥＤを取得し、これら測位データＧＤ、カメラ画像ＩＭＧ及び誤差分布データＥＤに基づいて、目標物体の正確な位置を推定することができる。また、監視装置４は、図２に示されるような監視用画像ＩＭＧ１，ＩＭＧ２を図１の表示部２１に表示させることができる。空港の管制官は、表示部２１に表示された監視用画像ＩＭＧ１，ＩＭＧ２を用いて効率的な管制業務を行うことが可能である。一方の監視用画像ＩＭＧ１は、カメラ画像に目標物体を指す検出枠Ｆｍの画像を重畳させて得られる画像である。また、他方の監視用画像ＩＭＧ２は、空港内に配置された監視カメラ２５と、空港面に存在する目標物体２６とを模式的に表す画像である。

次に、図３を参照しつつ、センサ確率マップ生成部１２、カメラ確率マップ生成部１１、モデル生成部１３及び物体検出部１４の動作を以下に説明する。図３は、実施の形態１に係る物体検出処理の手順の一例を概略的に示すフローチャートである。

図３を参照すると、先ず、センサ確率マップ生成部１２は、誤差分布データＥＤと目標物体の画像座標［ｕ，ｖ］^Ｔとに基づき、２次元画像空間において目標物体及びこれ以外の背景がそれぞれ現れる確からしさの分布を示すセンサ確率マップＰＭｂを算出する（ステップＳＴ１０）。

ここで、本実施の形態のセンサ誤差記憶部１７に記憶されている誤差分布は、ＥＣＦ座標系の誤差分布であるので、センサ確率マップ生成部１２は、その誤差分布を、カメラ画像に対応した画像座標系上の誤差分布に変換する必要がある。この変換は、カメラパラメータを用いた座標変換により、誤差分布を画像座標系に投影するものである。センサ確率マップ生成部１２は、画像座標系上の誤差分布と画像座標［ｕ，ｖ］^Ｔとを用いて、センサ確率マップＰＭｂを算出する。

今、目標物体の画像座標を［ｕ，ｖ］^Ｔ＝［ｕ_Ｓ，ｖ_Ｓ］^Ｔとし、画像座標系上の誤差分布をＵ（ｕ，ｖ）とする。このとき、センサ確率マップ生成部１２は、次式（６），（７）に従って、センサ確率マップＰＭｂを算出することができる。

ここで、Ｓ_ｍａｐ ^ｆｇ（ｕ，ｖ）は、２次元画像空間において目標物体（すなわち前景）が現れる確からしさの分布を示す前景確率マップであり、Ｓ_ｍａｐ ^ｂｇ（ｕ，ｖ）は、２次元画像空間において背景が現れる確からしさの分布を示す背景確率マップである。センサ確率マップＰＭｂは、これら前景確率マップＳ_ｍａｐ ^ｆｇ（ｕ，ｖ）と背景確率マップＳ_ｍａｐ ^ｂｇ（ｕ，ｖ）との組で構成されている。また、式（７）中のｍａｘ｛Ｓ_ｍａｐ ^ｆｇ（ｕ，ｖ）｝は、Ｓ_ｍａｐ ^ｆｇ（ｕ，ｖ）の最大値である。式（６）は、画像上の目標物体の存在確率の値が、検出位置座標［ｕ_Ｓ，ｖ_Ｓ］^Ｔから離れるに従って小さくなることを示している。

次に、カメラ確率マップ生成部１１、モデル生成部１３及び物体検出部１４は、連携して動作し、カメラ画像ＩＭＧに基づいて、２次元画像空間において目標物体及びこれ以外の背景がそれぞれ現れる確からしさの分布を示すカメラ確率マップＰＭａを算出する（ステップＳＴ１１）。

具体的には、初回（１回目）にカメラ確率マップＰＭａの算出が行われる場合、物体検出部１４が、ステップＳＴ１０で算出された前景確率マップＳ_ｍａｐ ^ｆｇ（ｕ，ｖ）に基づいて、画像における目標物体の存在確率が高い局所画像領域Ｖ_ｐ（たとえば、存在確率が一定以上の領域）を初期の前景領域として検出する。モデル生成部１３は、この前景領域Ｖ_ｐを用いて目標物体を表す前景の色分布モデルを算出し、前景領域Ｖ_ｐ以外の背景領域Ｖ_ＢＧ（複数の目標物体が存在する場合には、これらすべての目標物体以外の背景領域）を用いて背景の色分布モデルを算出する。前景の色分布モデルは、たとえば、その前景領域Ｖ_ｐの濃度の相対頻度分布（すなわち濃度ヒストグラム）である前景画像の色ヒストグラムＨ_ｆｇ（ｃ）（ｃは、濃度階調値）として算出可能である。すなわち、モデル生成部１３は、次式（８）に従って前景画像の色ヒストグラムＨ_ｆｇ（ｃ）を算出することができる。

ここで、右辺の分母のＭ（Ｖ_ｐ）は、前景領域Ｖ_ｐに含まれる画素の総数である。右辺の分子は、カメラ画像全体について、画素座標（ｕ，ｖ）が前景領域Ｖ_ｐに属し且つ画像濃度Ｉ（ｕ，ｖ）が濃度階調値ｃに一致する場合にのみ１を加算することを意味している。

一方、背景の色分布モデルは、たとえば、背景領域Ｖ_ＢＧの濃度の相対頻度分布（すなわち濃度ヒストグラム）である背景画像の色ヒストグラムＨ_ｂｇ（ｃ）として算出可能である。すなわち、モデル生成部１３は、次式（９）に従って背景画像の色ヒストグラムＨ_ｂｇ（ｃ）を算出することができる。

ここで、右辺の分母のＭ（Ｖ_ＢＧ）は、背景領域Ｖ_ＢＧに含まれる画素の総数である。右辺の分子は、カメラ画像全体について、画素座標（ｕ，ｖ）が背景領域Ｖ_ＢＧに属し且つ画像濃度Ｉ（ｕ，ｖ）が濃度階調値ｃに一致する場合にのみ１を加算することを意味している。

カメラ確率マップ生成部１１は、次式（１０），（１１）に従って、カメラ確率マップＰＭａを算出することができる。

ここで、ｃ_ｕ，ｖは、座標（ｕ，ｖ）での濃度階調値ｃである。また、Ｉ_ｍａｐ ^ｆｇ（ｕ，ｖ）は、２次元画像空間において目標物体（すなわち前景）が現れる確からしさの分布を示す前景確率マップであり、Ｉ_ｍａｐ ^ｂｇ（ｕ，ｖ）は、２次元画像空間において背景が現れる確からしさの分布を示す背景確率マップである。カメラ確率マップＰＭａは、これら前景確率マップＩ_ｍａｐ ^ｆｇ（ｕ，ｖ）と背景確率マップＩ_ｍａｐ ^ｂｇ（ｕ，ｖ）との組で構成されている。

２回目以後のステップＳＴ１１が実行される場合は、カメラ確率マップ生成部１１は、次式（１２），（１３）に従って、カメラ確率マップＰＭａを算出することができる。

上記したカメラ確率マップＰＭａの算出（ステップＳＴ１１）後、物体検出部１４は、カメラ確率マップＰＭａ及びセンサ確率マップＰＭｂを合成して得られる合成確率マップに基づいて、カメラ画像を、目標物体を表す前景領域とこれ以外の背景領域とに分離するセグメンテーションを実行する（ステップＳＴ１２）。具体的には、物体検出部１４は、グラフ理論に基づくグラフカット法を用いて、合成確率マップを有するデータ項と、隣接画素間の滑らかさを定める平滑化項とを含むエネルギー関数Ｅ（Ｘ）の値が最小化するようにセグメンテーションを実行する。グラフカット法によれば、エネルギー関数Ｅ（Ｘ）は、次式（１４）で与えられる。

ここで、右辺の第１項は、カメラ確率マップＩ_ｍａｐ ^Ｘｍ（ｕ，ｖ）とセンサ確率マップＳ_ｍａｐ ^Ｘｍ（ｕ，ｖ）とが合成（すなわち線形加算）された合成確率マップを有するデータ項（ｄａｔａｔｅｒｍ）である。このデータ項では、Ｖは、サイト（画素）ｒを表す集合を意味する。Ｘｍは、サイトｒに割り当てられるべきラベル（前景ｆｇまたは背景ｂｇのいずれか）を意味する。

一方、式（１４）の右辺の第２項は、互いに隣接するサイト（画素）ｒ，ｑ間の滑らかさを定める平滑項（ｓｍｏｏｔｈｉｎｇｔｅｒｍ）である。この平滑項では、Ｅは、サイトｑ，ｒ間の隣接関係を表す集合であり、（ｑ，ｒ）∈Ｅの場合は、２つのサイトｑ，ｒが隣接することを意味する。また、Ｘ１は、サイトｑに割り当てられるべきラベル（前景ｆｇまたは背景ｂｇのいずれか）を意味し、Ｘ２は、サイトｒに割り当てられるべきラベル（前景ｆｇまたは背景ｂｇのいずれか）を意味する。これは、グラフ理論では、Ｖを頂点の集合とし、Ｅを辺の集合とする無向グラフと考えることができる。ｈ_{Ｘ１，Ｘ２}（Ｘ１，Ｘ２）は、たとえば、次式（１５）で定義可能である。

ここで、Ｘ１＝Ｘ２以外の場合（ｏｔｈｅｒｗｉｓｅ）の式（１５）の右辺の分母ｄｉｓｔ（Ｘ１，Ｘ２）は、２つのサイト間の距離であり、（ｕ_Ｘ１，ｖ_Ｘ１）は一方のサイトの画像座標を、（ｕ_Ｘ２，ｖ_Ｘ２）は他方のサイトの画像座標をそれぞれ示す。平滑化項は、近傍のサイト（画素）に同じラベル（前景ｆｇまたは背景ｂｇ）が割り当てられた場合に小さい値となるように定義されている。たとえば、図４Ａに示されるように入力画像Ｇ０が与えられたとき、図４Ｂに示されるように、前景ｆｇが割り当てられた画素Ｐｆと背景ｂｇが割り当てられた画素Ｐｂとからなるラベル画像Ｇ１が生成される。ラベル画像Ｇ１の中央付近において白色の画素Ｐｆで囲まれた黒色画素Ｐｂは、周囲の画素のラベルとは異なるためにペナルティが加えられる。黒色画素Ｐｆは同じラベルが付くように設定される。

物体検出部１４は、グラフカット法に従い、エネルギー関数Ｅ（Ｘ）を最小化するように各サイトのラベルを決定する（大域最小化する）ことにより、カメラ画像を前景領域と背景領域とに分離（セグメント）することができる（ステップＳＴ１２）。より具体的な分離方法としては、たとえば、下記の非特許文献１に開示されている方法を採用すればよい。
・非特許文献１：Y. Boykov and M-P. Jolly.: Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D Images, In ICCV2001, I:105-112, 2001.

なお、カラー画像に基づく色分布モデルを使用する場合には、色分布モデルとして混合正規分布（ＧＭＭ：ＧａｕｓｓｉａｎＭｉｘｔｕｒｅＭｏｄｅｌ）を採用すればよい。この場合のセグメンテーションとしては、たとえば、下記の非特許文献２に開示されている方法を使用すればよい。
・非特許文献２：C. Rother, V. Kolmogorov, and A. Blake.: “Grab-Cut”: Interactive Foreground Extraction Using Iterated Graph Cuts, ACM Transactions on Graphics (Proc. SIGGRAPH 2004), 23(3):309-314, 2004.

上記ステップＳＴ１２の実行後は、ステップＳＴ１０〜ＳＴ１２の繰り返し回数（反復回数）が上限に到達していない場合（ステップＳＴ１３のＮＯ）、物体検出部１４は、ステップＳＴ１４に処理を移行させる。

ステップＳＴ１４では、モデル生成部１３は、ステップＳＴ１２で得られた前景領域と背景領域とを用いて、色分布モデルを更新する。すなわち、モデル生成部１３は、ステップＳＴ１２で得られた前景領域と背景領域とを用いて、上式（８），（９）に従って色分布モデルＨ_ｆｇ（ｃ），Ｈ_ｂｇ（ｃ）を新たに生成する。次の２回目以後のステップＳＴ１１では、そして、カメラ確率マップ生成部１１は、これら色分布モデルＨ_ｆｇ（ｃ），Ｈ_ｂｇ（ｃ）を用いて、上式（１２），（１３）に従ってカメラ確率マップＰＭａを算出する。

このような繰り返し処理を行うことにより、前景の色分布モデルと背景の色分布モデルとの精度が向上し、前景と背景との分離精度が向上する。繰り返し回数の上限は、定数で指定されてもよいし、あるいは、グラフ理論を用いた目標物体検出結果による変化がしきい値以下となった場合を終了条件としてもよい。たとえば、図５Ａのカメラ画像ＩＭＧが与えられたとき、グラフ理論を用いた大域最小化により、図５Ｂに例示されるように、ラベル画像ＩＭＧａには目標物体が白色（濃度値＝２５５）で示され、背景が黒色（濃度値＝０）で示される。

その後、繰り返し回数が上限に到達した場合（ステップＳＴ１３のＹＥＳ）、物体検出部１４は、得られた前景領域で特定される目標物体に対する検出枠を生成する（ステップＳＴ１５）。具体的には、物体検出部１４は、たとえば、図５Ｃの白色の前景領域を内包するように白色の検出枠を生成すればよい。検出枠のための座標算出法として、検出枠の左上座標を（ｕ_Ｌ、ｖ_Ｌ）、右下座標を（ｕ_Ｒ、ｖ_Ｒ）とするとき、物体検出部１４は、白色領域の最小座標を（ｕ_Ｌ、ｖ_Ｌ）に、その最大座標を（ｕ_Ｒ、ｖ_Ｒ）に設定することができる。

次に、物体検出部１４は、全ての目標物体について処理が完了したか否かを判定する（ステップＳＴ１６）。全ての目標物体について処理が完了していない場合（ステップＳＴ１６のＮＯ）、物体検出部１４は、次の目標物体を指定してステップＳＴ１０に処理を移行させる。一方、全ての目標物体について処理が完了した場合（ステップＳＴ１６のＹＥＳ）、以上の物体検出処理は終了する。

上記物体検出処理の完了後は、座標推定部１５は、目標物体の前景領域と背景領域とを示す検出結果ＤＴを用いて、空港面における各目標物体の位置座標を推定する。具体的には、座標推定部１５は、当該検出結果ＤＴ及び撮像部３の内部パラメータを用いて、画像座標をＥＮＵ座標に変換し、そのＥＮＵ座標をＥＣＦ座標に変換する。更に、座標推定部１５は、そのＥＣＦ座標をＧＥＯ座標に変換する。

たとえば、座標推定部１５は、次式（１６）に示すように２次元の画像座標［ｕ，ｖ］^Ｔに基づいて３次元座標［ｖｅｃ_ｘ ^Ｃ，ｖｅｃ_ｙ ^Ｃ，ｖｅｃ_ｚ ^Ｃ］^Ｔを生成する。

ここで、（Ｃ_ｕ，Ｃ_ｖ）は、撮像部３のカメラの内部パラメータのレンズ中心を示し、（ｆ_ｕ，ｆ_ｖ）は焦点距離を示す。

次に、座標推定部１５は、３次元座標［ｖｅｃ_ｘ ^Ｃ，ｖｅｃ_ｙ ^Ｃ，ｖｅｃ_ｚ ^Ｃ］^ＴをＥＮＵ座標［Ｘ_Ｎ，Ｙ_Ｎ，Ｚ_Ｎ］^Ｔに変換する。具体的には、座標推定部１５は、次式（１７）に示されるように回転行列｛Ｒ_ｉｊ｝を用いて、３次元座標［ｖｅｃ_ｘ ^Ｃ，ｖｅｃ_ｙ ^Ｃ，ｖｅｃ_ｚ ^Ｃ］^Ｔを座標変換する。

次に、座標推定部１５は、次式（１８）に示されるような座標変換を実行してＥＮＦ座標［Ｘ_Ｎ，Ｙ_Ｎ，Ｚ_Ｎ］^Ｔを生成する。

ここで、たとえば、Ｚ_Ｎ＝０のとき、式（１８）により、定数ｋは、−Ｔ_ｚ／ｖｅｃ_ｚ ^Ｅとして算出される。

次に、座標推定部１５は、次式（１９）に示されるように、ＥＮＦ座標［Ｘ_Ｎ，Ｙ_Ｎ，Ｚ_Ｎ］^ＴをＥＣＦ座標［Ｘ_Ｆ，Ｙ_Ｆ，Ｚ_Ｆ］^Ｔに変換する。

ここで、行列Ｔ_ＮＦは、行列Ｔ_ＦＮに対する逆行列である。

そして、座標推定部１５は、次式（２０Ａ）〜（２０Ｃ）に従って、ＥＣＦ座標［Ｘ_Ｆ，Ｙ_Ｆ，Ｚ_Ｆ］^ＴをＧＥＯ座標［φ，Ω，ｈ］^Ｔに変換する。

ここで、ｐ，ｒ，μは次式（２１）のとおりである。

出力部１６は、座標推定部１５による推定結果ＥＴを用いて、たとえば、図２に示されるように検出枠Ｆｍが描画された表示画像ＩＭＧ１、あるいは、目標物体のシンボル２６が描画された空港面の地図を示す表示画像ＩＭＧ２を表示部２１に表示させることができる。

上記した監視装置４のハードウェア構成は、たとえば、パーソナルコンピュータ、ワークステーションまたはメインフレームなどのＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）内蔵のコンピュータで実現可能である。あるいは、監視装置４のハードウェア構成は、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）もしくはＦＰＧＡ（Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）またはこれらの組み合わせなどのＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔ）により実現されてもよい。

図６Ａは、監視装置４のハードウェア構成を実現する情報処理装置４Ｓの概略構成を示すブロック図である。図６Ａに示されるように情報処理装置４Ｓは、ＣＰＵ３１ｃを含むプロセッサ３１と、プロセッサ３１によって作業用メモリとして使用されるＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）３２と、ソフトウェア及びファームウェアの一方または双方のコンピュータ・プログラムが格納される不揮発性メモリ３３と、センサ誤差記憶部１７に接続されるメモリインタフェース回路（メモリＩ／Ｆ回路）３４と、空港面探知センサ２及び撮像部３から観測データを受信する入力インタフェース回路（入力Ｉ／Ｆ回路）３５と、表示部２１に接続される出力インタフェース回路（出力Ｉ／Ｆ回路）３６とを備えて構成されている。プロセッサ３１、ＲＡＭ３２、不揮発性メモリ３３、メモリＩ／Ｆ回路３４、入力Ｉ／Ｆ回路３５及び出力Ｉ／Ｆ回路３６は、バス回路などの信号路３０を介して相互に接続されている。

プロセッサ３１は、不揮発性メモリ３３から、ソフトウェアもしくはファームウェアまたはこれらの組み合わせであるコンピュータ・プログラムを読み出して実行することにより、図１の座標変換部１０、カメラ確率マップ生成部１１、センサ確率マップ生成部１２、モデル生成部１３、物体検出部１４、座標推定部１５及び出力部１６の機能を実現する。不揮発性メモリ３３としては、たとえば、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリ、磁気ディスクまたは光ディスクを使用することができるが、これらに限定されるものではない。プロセッサ３１は、メモリＩ／Ｆ回路３４を介してセンサ誤差記憶部１７から誤差分布データを取得し、入力Ｉ／Ｆ回路３５を介して空港面探知センサ２及び撮像部３から測位データＧＤ及び撮像画像ＩＭＧを取得することができる。また、プロセッサ３１は、出力Ｉ／Ｆ回路３６を介して表示部２１に表示データを供給することができる。

図６Ｂは、監視装置４の他のハードウェア構成を実現する情報処理装置４Ｈの概略構成を示すブロック図である。図６Ｂに示されるように情報処理装置４Ｈは、ＤＳＰ、ＡＳＩＣまたはＦＰＧＡなどの処理回路４１と、センサ誤差記憶部１７に接続されるメモリインタフェース回路（メモリＩ／Ｆ回路）４２と、空港面探知センサ２及び撮像部３から観測データを受信する入力インタフェース回路（入力Ｉ／Ｆ回路）４３と、表示部２１に接続される出力インタフェース回路（出力Ｉ／Ｆ回路）４４とを備えて構成されている。処理回路４１、メモリＩ／Ｆ回路４２、入力Ｉ／Ｆ回路４３及び出力Ｉ／Ｆ回路４４は、バス回路などの信号路４０を介して相互に接続されている。処理回路４１は、図１の座標変換部１０、カメラ確率マップ生成部１１、センサ確率マップ生成部１２、モデル生成部１３、物体検出部１４、座標推定部１５及び出力部１６の機能を実現する信号処理回路である。処理回路４１は、メモリＩ／Ｆ回路４２を介してセンサ誤差記憶部１７から誤差分布データを取得し、入力Ｉ／Ｆ回路４３を介して空港面探知センサ２及び撮像部３から測位データＧＤ及び撮像画像ＩＭＧを取得することができる。また、処理回路４１は、出力Ｉ／Ｆ回路４４を介して表示部２１に表示データを供給することができる。

以上に説明したように実施の形態１の監視装置４は、カメラ確率マップＰＭａとセンサ確率マップＰＭｂとを合成して得られる合成確率マップを用いて、空港面に存在する物体の位置を高い精度で検出することができる。

実施の形態２．
次に、本発明に係る実施の形態２について説明する。図７は、本発明に係る実施の形態２の空港監視システム１Ａの概略構成を示すブロック図である。

図７に示される空港監視システム１Ａは、空港面探知センサ２、撮像部３、監視装置４Ａ及び表示部２１を備えて構成されている。監視装置４Ａの構成は、図１のセンサ確率マップ生成部１２に代えてセンサ確率マップ生成部１２Ａ、サイズ判別部１８及びサイズ情報記憶部１９を有する点を除いて、上記実施の形態１の監視装置４の構成と同じである。

サイズ判別部１８は、空港面探知センサ２から供給された移動体情報ＢＴに基づき、サイズ情報記憶部１９を参照して当該目標物体の物理的なサイズを判別することができる。サイズ情報記憶部１９には、各種物体と物理的なサイズとの対応関係を示すデータが記憶されている。センサ確率マップ生成部１２Ａは、当該判別されたサイズを用いてセンサ確率マップＰＭｂの算出を行うことができる。

具体的には、センサ確率マップ生成部１２Ａは、上式（６），（７）に代えて次式（６Ａ），（７Ａ）に従って、前景確率マップＳ_ｍａｐ ^ｆｇ（ｕ，ｖ）と背景確率マップＳ_ｍａｐ ^ｂｇ（ｕ，ｖ）とを算出することができる。

上式（６Ａ）は、画像座標［ｕ_Ｓ，ｖ_Ｓ］^Ｔから遠くなるほど値が低くなり、且つサイズの長さＬ_Ｂを半径とした領域以外の領域に目標物体が存在しないと仮定するものである。なお、航空機などの目標物体の移動方向を推定し、当該目標物体の向きを推定することで、ＥＣＦ座標系で楕円体の確率分布を生成し、その確率分布を画像座標系に投影する方法を採用してもよい。

センサ確率マップ生成部１２Ａの機能は、当該判別されたサイズを用いてセンサ確率マップＰＭｂの算出を行う点以外は、上記センサ確率マップ生成部１２の機能と同じである。

以上に説明したように実施の形態２の監視装置４Ａは、目標物体を絞り込むことが可能となり、検出枠の算出精度を向上させることができる。

実施の形態３．
次に、本発明に係る実施の形態３について説明する。図８は、本発明に係る実施の形態３の空港監視システム１Ｂの概略構成を示すブロック図である。図８に示される空港監視システム１Ｂは、空港面探知センサ２、撮像部３、監視装置４Ｂ及び表示部２１を備えて構成されている。監視装置４Ｂの構成は、図１のモデル生成部１３に代えて、モデル生成部１３Ｂ及び色ヒストグラム抽出部２０を有する点を除いて、上記実施の形態１の監視装置４の構成と同じである。

モデル生成部１３Ｂは、空港面探知センサ２から供給された移動体情報ＢＴを色ヒストグラム抽出部２０に与える。色ヒストグラム抽出部２０は、移動体情報ＢＴに基づき、当該目標物体の既知の色分布モデルを供給することができる。モデル生成部１３Ｂは、その既知の色分布モデルをカメラ確率マップ生成部１１に供給することが可能である。よって、カメラ確率マップ生成部１１は、当該既知の色分布モデルを初期の色分布モデルとして用いて前記カメラ確率マップＰＭａの算出を行うことができる。

以上に説明したように実施の形態３の監視装置４Ｂは、機種などの目標物体の種類に合わせた色分布モデルを最初から使用することができる。よって、目標物体を絞り込むことが容易となり、検出枠の算出精度が向上する。

以上、図面を参照して本発明に係る種々の実施の形態について述べたが、これら実施の形態は本発明の例示であり、これら実施の形態以外の様々な形態を採用することもできる。なお、本発明の範囲内において、上記実施の形態１〜３の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。

１，１Ａ，１Ｂ空港監視システム、２空港面探知センサ、３撮像部、４，４Ａ，４Ｂ監視装置、４Ｓ，４Ｈ情報処理装置、１０座標変換部、１１カメラ確率マップ生成部、１２，１２Ａセンサ確率マップ生成部、１３モデル生成部、１４物体検出部、１５座標推定部、１６出力部、１７センサ誤差記憶部、１８サイズ判別部、１９サイズ情報記憶部、２０色ヒストグラム抽出部、２１表示部、３０信号路、３１プロセッサ、３１ｃＣＰＵ、３２ＲＡＭ、３３不揮発性メモリ、３４メモリＩ／Ｆ回路、３５入力Ｉ／Ｆ回路、３６出力Ｉ／Ｆ回路、４０信号路、４１処理回路、４２メモリＩ／Ｆ回路、４３入力Ｉ／Ｆ回路、４４出力Ｉ／Ｆ回路。

Claims

空港面に存在する目標物体の測位座標を検出する空港面探知センサと、前記空港面を撮像して前記目標物体の画像及び該目標物体以外の背景の画像を含むカメラ画像を出力する撮像部とを用いて前記目標物体を監視する監視装置であって、
前記測位座標を２次元の画像座標に変換する座標変換部と、
前記空港面探知センサによる測位位置の空間的な誤差分布を示す誤差分布データを取得し、当該誤差分布データ及び前記画像座標に基づき、２次元画像空間において前記目標物体及び前記背景がそれぞれ現れる確からしさの分布を示すセンサ確率マップの算出を行うセンサ確率マップ生成部と、
前記カメラ画像に基づき、前記２次元画像空間において前記目標物体及び前記背景がそれぞれ現れる確からしさの分布を示すカメラ確率マップの算出を行うカメラ確率マップ生成部と、
前記センサ確率マップ及び前記カメラ確率マップを合成して得られる合成確率マップに基づき、前記カメラ画像を、前記目標物体を表す前景領域と背景領域とに分離するセグメンテーションを実行する物体検出部と
を備えることを特徴とする監視装置。
請求項１記載の監視装置であって、前記物体検出部は、グラフカット法を用いて、前記合成確率マップを有するデータ項と隣接画素間の滑らかさを定める平滑化項とを含むエネルギー関数の値が最小化するように前記セグメンテーションを実行することを特徴とする監視装置。
請求項１または請求項２記載の監視装置であって、
前記センサ確率マップは、前記２次元画像空間において前記目標物体が現れる確からしさの分布を示す第１の前景確率マップと、前記２次元画像空間において前記背景が現れる確からしさの分布を示す第１の背景確率マップとを含み、
前記カメラ確率マップは、前記２次元画像空間において前記目標物体が現れる確からしさの分布を示す第２の前景確率マップと、前記２次元画像空間において前記背景が現れる確からしさの分布を示す第２の背景確率マップとを含む、
ことを特徴とする監視装置。
請求項１から請求項３のうちのいずれか１項記載の監視装置であって、前記物体検出部により得られた当該前景領域に基づいて前記カメラ画像における前記目標物体を表す前景の色分布モデルの算出を行うとともに、前記物体検出部により得られた当該背景領域に基づいて前記カメラ画像における前記背景の色分布モデルの算出を行うモデル生成部を更に備え、
前記カメラ確率マップ生成部は、前記前景の色分布モデル及び前記背景の色分布モデルを用いて前記カメラ確率マップの算出を行うことを特徴とする監視装置。
請求項４記載の監視装置であって、前記モデル生成部、前記カメラ確率マップ生成部及び前記物体検出部は、前記前景の色分布モデルの算出、前記背景の色分布モデルの算出、前記カメラ確率マップの算出及び前記セグメンテーションを反復して実行することを特徴とする監視装置。
請求項１から請求項５のうちのいずれか１項記載の監視装置であって、前記誤差分布データが予め記憶されているセンサ誤差記憶部を更に備え、
前記センサ確率マップ生成部は、前記センサ誤差記憶部から前記誤差分布データを取得することを特徴とする監視装置。
請求項１から請求項６のうちのいずれか１項記載の監視装置であって、
前記物体検出部により得られた当該前景領域の画像座標に基づいて、前記空港面における前記目標物体の位置座標を推定する座標推定部と、
当該推定された位置座標を表す画像情報を表示部に表示させる出力部と
を更に備えることを特徴とする監視装置。
請求項１から請求項７のうちのいずれか１項記載の監視装置であって、前記目標物体の物理的なサイズを判別するサイズ判別部を更に備え、
前記センサ確率マップ生成部は、当該判別されたサイズを用いて前記センサ確率マップの算出を行うことを特徴とする監視装置。
請求項４または請求項５記載の監視装置であって、前記目標物体の既知の色分布モデルを供給する色ヒストグラム抽出部を更に備え、
前記カメラ確率マップ生成部は、当該既知の色分布モデルを用いて前記カメラ確率マップの算出を行うことを特徴とする監視装置。
請求項１から請求項９のうちのいずれか１項記載の監視装置であって、前記空港面探知センサは、前記目標物体からの反射レーダ波を受信し、当該受信結果に基づいて前記測位座標を算出するレーダ装置を含むことを特徴とする監視装置。
空港面に存在する目標物体の測位座標を検出する空港面探知センサと、
前記空港面を撮像して前記目標物体の画像及び該目標物体以外の背景の画像を含むカメラ画像を出力する撮像部と
請求項１から請求項１０のうちのいずれか１項記載の監視装置と
を備えることを特徴とする空港監視システム。
空港面に存在する目標物体の測位座標を検出する空港面探知センサと、前記空港面を撮像して前記目標物体の画像及び該目標物体以外の背景の画像を含むカメラ画像を出力する撮像部とを用いて前記目標物体を監視する監視装置において実行される監視方法であって、
前記測位座標を２次元の画像座標に変換するステップと、
前記空港面探知センサによる測位位置の空間的な誤差分布を示す誤差分布データを取得するステップと、
当該誤差分布データ及び前記画像座標に基づき、２次元画像空間において前記目標物体及び前記背景がそれぞれ現れる確からしさの分布を示すセンサ確率マップの算出を行うステップと、
前記カメラ画像に基づき、前記２次元画像空間において前記目標物体及び前記背景がそれぞれ現れる確からしさの分布を示すカメラ確率マップの算出を行うステップと、
前記センサ確率マップ及び前記カメラ確率マップを合成して得られる合成確率マップに基づき、前記カメラ画像を、前記目標物体を表す前景領域と背景領域とに分離するセグメンテーションを実行するステップと
を備えることを特徴とする監視方法。