JP5551595B2 - 滑走路監視システムおよび方法 - Google Patents

Description

本発明は広く、滑走路を監視するためのシステムおよび方法に関する。

空港業務において、滑走路の監視は非常に重要である。滑走路は常に損傷にさらされている。例えば、滑走路を走る飛行機や、その他車両によって摩耗して亀裂が入り、穴が開いてしまうことがある。また、例えばジェット噴射、飛行機の離着陸によって、または自然発生的に滑走路の上に破片や異物が存在する場合もある。飛行機が移動している、使用中の滑走路にＦＯＤが存在すると、墜落事故が発生して命が失われ、航空会社が多大な損害を被る可能性がある。

様々な滑走路監視方法が採用されている。従来、検査員が定期的に空港の滑走路を巡回し、目視および手動で監視を行っている。目視による検査は時間および労力を要する上、滑走路の周辺状況に左右されるため信頼性に欠ける。

空港滑走路およびその周辺における損傷、破片、その他障害を検知するためにレーダーを使用した自動システムを採用する空港もある。レーダーを使用するシステムでは、通常、マイクロ波信号が滑走路に送られ、あらゆる異物からの反射信号が検出され、分析される。マイクロ波信号はパルス状、または構造化されているので、信号が受信者に届くまでの時間が算出され、異物への距離が得られる。より短い波長およびより高いパルス繰り返し周波数を持つレーダーセンサーを使用することで、より高い精度で距離を計測することが可能であり、また背景ノイズの低減につながる可能性がある。

しかし、滑走路監視にいかなるレーダーを使用したシステムも、何らかの限界がある。レーダーは金属物体を検出するのに非常に有効ではあるが、ゴムなどの非金属物体の検出精度は落ちる。ゴムなどの、レーダーシグネチャの低い物質からなる物体は、そのようなレーダーを使用するシステムにおいて大きな問題を引き起こす可能性がある。また、レーダーは小さな非金物体の検出には使用できない可能性がある。さらに、その他物体やインフラ設備が遮蔽することで、レーダーの盲点や影が発生するという限界もある。さらにレーダーは、さほど大きな障害とはならないであろう小さな金属物体から反射された信号に対し、強い信号を示唆する誤認警報を引き起こす可能がある。従って、レーダーを使用する監視システムは「インテリジェント」なシステムとは言えず、オペレータが検証、特定を行うための、物体の視覚画像を提供することができない。

滑走路上の物体、ひび割れ、欠損などの検出に赤外線または熱画像システムを使用する空港も存在する。しかし、赤外線または熱画像システムは、周辺と熱平衡にない、物体からの赤外線放射以外は検知できない。つまり、赤外線または熱画像システムは、例えば、冷たい滑走路上の熱を持った金属片などの十分に熱コントラストがある物体以外は検知できない。熱コントラストが弱い小さな物体は、赤外線または熱画像システムにとって非常に検知が困難となる可能性がある。さらに、そのようなシステムは、悪天候下（寒冷気候など）では性能が不安定である。さらに、赤外線または熱画像システムは、物質の検出、特定、分類に必要なだけの解像度を有していない。

近年、滑走路付近に設置された一つ以上のビデオカメラを使用し、監視を行うことが提案されている。オペレータがそのカメラからのビデオ信号を空港管制室のコンソールで目視にて監視する。

また、そのような監視カメラからの滑走路のビデオ画像に背景除去などの処理を加えることであらゆるＦＯＤを検出することも提案されている。

背景除去によるＦＯＤの検出にはいくつか問題点がある。まず、背景画素と前景画素を正しく判別するために必要な画素特性を常に得られるとは限らない。さらに、背景はノイズ、クラッタ、外的事象、照明状況や天候の変動など様々な変化にさらされる。

さらに、現行の画像処理システムは周囲の照明状況に左右され、画素特定に大きな障害となる、照明が弱い状況下での使用に適さない。

現行の監視システムで使用されるビデオカメラは、夜間監視の際、レーザー光や赤外光などの補助照明を必要とする。従って、これを使用する空港は大規模なインフラを敷く必要があり、コストが増大する。さらに、レーザー光や赤外光などの光は、空港内の別のシステムと干渉し、空港での飛行機誘導における安全上の問題を起こし、またパイロットなどにとって障害となる可能性がある。

従って、上記複数の問題の一つ以上への対処を図る滑走路監視システムが必要である。

本発明の一つの態様によると、滑走路上の異物、破片、損傷（ＦＯＤ）を検出する監視システムであって、滑走路の画像を撮影するための一つ以上のカメラと、カメラが撮影した画像の適応画像処理に基づいて滑走路上のＦＯＤを検出するための画像処理システムと、を備え、監視システムは、赤外線照明器またはレーザー照明器などの補助照明を使用せずに、昼間および夜間両方の周辺光下のＦＯＤ検出を適応的に行うことが可能である監視システムが提供される。

画像処理システムは、画像補正手法を利用して、撮影された画像を補正してもよい。

撮影された画像を補正する手段が、記撮影された画像を左から右へのソーベルＸおよび右から左へのＳｏｂｅｌＸ、またはＳｃｈａｒｒＸのハイパス・フィルタを備えてもよい。

画像処理システムは、処理を行う場面が昼間か夜間かを判定し、夜間に撮影された画像から、飛行機の離着陸、または地上車の移動による異常光状況を検出してもよい。

グローバルヒストグラムおよび統計的分析により、各画像を一つ以上のそれ以前の画像と比較することで異常光状況を検出し、閾値を参照した強度の変化に基づき異常光状況を特定してもよい。

異常光状況が検出された画像は無視され、更なる処理は施されなくてもよい。

画像処理システムは、様々な環境状況における最適なＦＯＤエッジ抽出のための一つ以上の閾値を適応的に推定し、漸次的な学習を経た背景画像エッジマップに基づく統計的手法を用い画素レベルエッジマップを生成し、画素レベル閾値マップを作成するため使用されるグレースケールルックアップテーブル（ＬＵＴ）を算定してもよい。

画像処理システムはさらに、画素レベルエッジマップのスタックに時間フィルタリングをかけ、閾値を越えるほど蓄積した画素のみからなるロバストなエッジマップのみを得てもよい。

画像処理システムはさらに、ロバストなエッジマップを、現在画像とそれまでの場面から得られた背景エッジ画像とを比較し、滑走路上の緩やかに変化する特徴を特定し、背景エッジ画像を緩やかに変化する特徴で更新する、適応背景学習にかけてもよい。

画像処理システムはさらに、適応背景エッジマップ、以前の学習を経て保存された昼間または夜間背景エッジマップ、特定の季節または特定の天候条件で発生する季節的マーキングマップからなる合成背景エッジマップを作成してもよい。

画像処理システムはさらに、合成背景エッジマップとロバストなエッジマップを比較し、背景エッジを除去することで、ＦＯＤの疑いがあるエッジのマップを抽出してもよい。

画像処理システムはさらに、エッジフィルタリングを行い、疑いがあるエッジのマップから環境変化に関する不要なエッジを除去し、疑いがあるエッジのマップからＦＯＤのエッジパラメータを算出してもよい。

環境状況は、昼から夜への移り変わり、夜から昼への移り変わり、天候状況、雨、煙霧、雲などであってもよい。

画像処理はさらに、ビデオディスプレイ上に、滑走路における疑わしい領域にＦＯＤグラフィックを重ねて、管制塔または管制室のオペレータにＦＯＤ検出の警報を発してもよい。

一つ以上のカメラ、または一つ以上の追加カメラが配置され、視認検証のため疑わしい領域をズームしてもよい。

画像処理システムはさらに、ＦＯＤを分類してもよい。

一つ以上のカメラは、一つ以上の固定カメラ、一つ以上の可動カメラ、または固定カメラと可動カメラの組み合わせからなっていてもよい。

カメラは滑走路の片側に配置されてもよい。

カメラは滑走路の両側に互い違いに配置されてもよい。

一つ以上のカメラが稼動不能な場合、そのカメラの隣のカメラが、故障したカメラの監視領域を監視してもよい。

一つ以上のカメラは、一つ以上のモノクロカメラ、一つ以上のカラーカメラ、またはその両方からなっていてもよい。

監視システムは、一つ以上の暗視カメラをさらに備えてもよい。

滑走路面が複数の区画に分けられ、一つ以上の可動カメラがＦＯＤ検出のため、滑走路を区画ごとに順次走査してもよい。

ＦＯＤ検出時間短縮のため、固定カメラが、滑走路上の、飛行機が離着陸した場所を検出し、可動カメラが飛行機が離着陸した場所の区画を最初に走査するよう制御されてもよい。

画像処理システムは、雨動的クラッタの雨に関連した特性を認識し、滑走路全体に生じる雨による動的クラッタに基づいて、滑走路情景画像から雨クラッタを除去するため、時間フィルタリングをかけてもよい。

画像処理システムは、雪動的クラッタの雪に関連した特性を認識し、滑走路全体に生じる雪による動的クラッタに基づいて、滑走路情景画像から雪クラッタを除去するため、時間フィルタリングをかけてもよい。

画像処理システムは、滑走路の長手（水平）方向に沿い、それぞれ滑走路の脇から均一の距離に配置されている複数のマーカまたは滑走路灯を利用して、滑走路の画像の画素を、ＷＧＳ８４や空港グリッドなどの現実の座標系における精確な座標にマッピングする滑走路情景較正を行ってもよい。

画像処理システムは、滑走路中心線の両側を、平行かつ水平方向に走る滑走路線および滑走路中心線を利用し、二つの垂直方向の画素マッピング率を導き出し、滑走路の画像の画素を、ＷＧＳ８４や空港グリッドなどの現実の座標系における精確な座標にマッピングする滑走路情景較正を行ってもよい。

画像処理システムは、モノスコープビジョンおよびモノスコープカメラにより撮影された較正済みの滑走路情景画像を利用して滑走路上のＦＯＤの位置および距離を判断してもよい。

システムは、固定カメラおよび較正済みの滑走路情景画像から判断されたＦＯＤの位置および距離を利用して、パン・ティルト・ズームカメラなどの可動カメラをＦＯＤに対しパンおよび／またはティルトおよび／またはズームおよび／またはフォーカスするよう自動的に制御し、ＦＯＤの十分に詳細な望遠画像を得て、検出されたＦＯＤの検証、または誤警報の防止を可能としてもよい。

システムは、一対の監視カメラで滑走路の同一の区画を監視させることでステレオ画像を利用し、滑走路上の同一の監視領域（視野）を監視する二つのカメラが撮影した二つの画像を比較して得られる差分画像からＦＯＤの距離および位置を算出することが可能であってもよい。

本発明の二つ目の態様によると、滑走路上の異物、破片、損傷（ＦＯＤ）を検出する監視方法であって、滑走路の画像を撮影する工程と、滑走路上のＦＯＤを検出するために撮影された画像の適応画像処理を行う工程と、を有し、監視方法は、赤外線照明器またはレーザー照明器などの補助照明を使用せずに、昼間および夜間両方の周辺光下のＦＯＤ検出を適応的に行うことが可能であることを特徴とする監視方法が提供される。

本発明は、以下の図面を参照に、非制限的な実施形態を通じてさらに説明される。
図１Ａは、滑走路上の異物、破片、または損傷（ＦＯＤ）を検出する監視システムにおける監視カメラの配置を示す概略図である。 図１Ｂは、滑走路上の異物、破片、または損傷（ＦＯＤ）を検出する監視システムにおける監視カメラの配置を示す概略図である。 図２は、一実施形態に係るＦＯＤ検出における基本フローチャートである。 図３Ａは、本発明の一実施形態の詳細なフローチャートである。 図３Ｂは、本発明の一実施形態の詳細なフローチャートである。 図４は、図３Ａにおいてエッジマップを抽出するため用いられるルックアップテーブルを示すグラフである。 図５は、滑走路上のＦＯＤを検出する監視システムにおける監視カメラによる監視範囲の冗長性を示す概略図である。 図６は、別の実施形態に係る滑走路面走査を示す概略図である。 図７は、画像較正（画素を現実の座標に当てはめる較正）に滑走路線を利用する実施形態における、滑走路線を示す概略図である。 図８は、実施形態例の方法およびシステムを実現するコンピュータシステムを示す概略図である。

図１Ａは、実施形態例に係る滑走路監視システム１００における、滑走路１０６上の異物、破片、損傷（ＦＯＤ）の検出のための監視カメラの配置を示す概略図である。滑走路１０６は、誘導路１０３、１０４および草地１０２と隣接しながら中央に位置している。滑走路を向いている複数の監視カメラ１０８は、誘導路１０４の片側の縁線に沿って、それぞれの軸が滑走路１０６の長さ方向に対して直交するよう配置されている。各監視カメラ１０８は、水平画角１１１を有する視野１１０を走査可能である。各視野１１０には、誘導路１０３、１０４部分、滑走路１０６部分、および草地１０２部分が含まれる。また各視野１１０は、滑走路１０６に沿って隣接するカメラ１０８との交差部分１１２も含む。

監視カメラ１０８は滑走路から２００〜３００メートル離れて配置され、隣接するカメラ同士は１５％程度の重複部分を持つ。

各カメラ１０８からの映像データは、空港の管制塔または管制室１３５内の応用コンピュータシステム（不図示）に送られる。受信された映像データは、応用コンピュータシステムの映像処理部で処理される。応用コンピュータシステムはＦＯＤを検出するために、連続的に監視カメラからの映像を処理し、ＦＯＤを検出した場合は、オペレータに警報を発する。管制塔または管制室１３５内のオペレータも、ビデオディスプレイ（不図示）に映されるリアルタイムの滑走路の画像を目視で監視できる。応用コンピュータシステムによる映像データ処理中になんらかの異物、破片、損傷（ＦＯＤ）が検出された場合、オペレータに対し視覚および／または聴覚警報、および／またはＧＳＭ、ＳＭＳ、またはＭＭＳなどのモバイル通信手段を介した遠隔無線警報が発せられる。警報および／または遠隔無線警報を受けたオペレータは、監視カメラ１０８で検出された物体を拡大し、ＦＯＤかどうか視覚的に検証する。ＦＯＤであると確認された場合、管制塔または管制室１３５内で視覚および／または聴覚警報がトリガーされる。ＦＯＤが検出されると、さらに、滑走路１０６付近に配置された視覚および／または聴覚遠隔警報がトリガーされる。そして、滑走路修復班へ通知するための無線警報（ＧＳＭ、ＳＭＳ、またはＭＭＳなど）も発せられる。その結果、滑走路修復班が直ちに修復用車両を派遣して、検出されたＦＯＤの処理、すなわち異物、破片の除去または損傷の修復を行う。

ここでは、レーザー照明装置または赤外線照明装置などの照明装置を搭載していない、パッシブ監視カメラが使用される。監視カメラ１０８は、高解像度昼夜兼用カメラ、低照度高感度カラーカメラ、ライトインテンシファイアＣＣＤカメラ（ＩＣＣＤカメラ）、電子倍増管ＣＣＤカメラ（ＥＭ−ＣＣＤカメラ）、暗視カメラ、固定カメラ、高解像度メガピクセルカメラ、可動カメラ（パンニングカメラ、パン・ティルト・ズーム（ＰＴＺ）カメラ、ズームカメラなど）、熱探知カメラのいずれか一つであればよい。従って、本監視システムは、赤外線照明装置、レーザー照明装置などの補助的な照明装置を必要とせず、パッシブカメラのみを使用して作動可能である。

システム１００で使用される監視カメラ１０８は、滑走路のビデオ画像を作成でき、そこに画像処理が施されるが、デジタル静止画像カメラを使用し、滑走路のデジタル静止画像を作成して、そこに画像処理を施してもよい。

例えば、ズームカメラまたはＰＴＺカメラを使用して、滑走路上の任意の箇所を拡大して、ＦＯＤの詳細な画像を取得できる。拡大されたビデオ画像は滑走路上の関心領域をより詳細に示すことができるので、オペレータが検出されたＦＯＤにより生じる可能性のある障害を予測し、即座に対処するのにより良い環境となる。本実施形態例では、応用コンピュータシステムがＦＯＤを検知するたびに、ＰＴＺまたはズームカメラを遠隔操作して滑走路上の関心領域を拡大できる。

図１Ｂは、滑走路監視システム５００における、滑走路１０６上のＦＯＤを検知するための、監視カメラの別の配置を示す概略図である。誘導路１０４の片側の縁線に沿って、滑走路を向く監視カメラ５０８が複数配置されている。誘導路１０３の奥側の縁線に沿って、滑走路を向く別の監視カメラ５０９が複数配置されている。各監視カメラ５０８および５０９の軸は、滑走路１０６の長さ方向に対し直交している。各監視カメラ５０８は水平画角５１１を有する視野５１０を監視できる。各監視カメラ５０９は水平画角５２１を有する視野５１５を監視できる。各視野５１０、５１５には、誘導路１０３、１０４部分、滑走路１０６部分、および草地１０２部分が含まれる。隣接するカメラの視野５１０および５１５が明確な境界線を共有、または多少重複した状態で交互に並ぶよう、カメラ５０８および５０９は互い違いに配置されている。

以下の説明では部分的に、明示的または非明示的に、コンピュータメモリ内のデータに対する処理がアルゴリズム、または機能的または記号的描写で表されている。そのようなアルゴリズム的説明や、機能的または記号的描写は、データ処理の分野における当業者により、別の当業者に最も効果的に作業内容を伝えるために利用される。ここでいうアルゴリズムとは、一般的文脈と同じく、所望の結果につながる首尾一貫した連続的な工程であるものとする。工程とは、記録、転送、結合、比較などの処理が可能な電気、磁気、または光信号のような物理量に対する物理的操作を伴うものである。

以下の内容から明らかではあるが、特に明記がない限り、本明細書において「算出」、「判定」、「置換」、「生成」、「初期化」、「出力」などの表現を用いた説明は、コンピュータシステムまたは類似する電子機器による動作や処理について言及している。コンピュータシステムまたは類似する電子機器は、コンピュータシステム内で物理量として表されるデータを処理し、そのコンピュータシステムまたはその他情報記録、送信、または表示装置において物理量として同様に表される別のデータに変換する。

本明細書はまた、そのような方法における動作を行う装置を開示する。そのような装置は必要な目的に合わせて特別に設計されたものでもよいし、コンピュータに保存されたコンピュータプログラムによって選択的に起動または再構成される汎用コンピュータまたはその他装置からなっていてもよい。本明細書に記載されるアルゴリズムやディスプレイは、特定のコンピュータおよびその他装置と本質的に関連するものではない。本明細書の開示に従い、プログラムは様々な汎用機に用いられる。あるいは、より専門的な装置を設計し、要求された方法工程を実行することも適切であると考えられる。従来の汎用コンピュータの構造は後段で説明する。

さらに、本発明は非明示的ではあるが、コンピュータプログラムも開示する。従って、当業者により、本明細書で説明される方法における各工程がコンピュータコードでも実行可能であることが理解される。コンピュータプログラムは特定のプログラム言語およびその実行方法に限定されるものではない。本明細書に開示の内容を実行するのに様々なプログラム言語およびそのコーディングが使用可能であることが理解されるであろう。なお、同コンピュータプログラムは特定の制御フローに限定されない。本発明の精神および範囲内で、様々な制御フローに対応可能なコンピュータプログラムの選択肢が他にも多数存在する。

コンピュータプログラムにおける一つ以上の工程は順次的にではなく平行して行われてもよい。コンピュータプログラムはいかなるコンピュータ可読媒体にも保存可能である。コンピュータ可読媒体としては、磁気ディスク、光ディスク、メモリチップなどの記憶媒体や、その他の汎用コンピュータと好適にインタフェースする記憶装置が挙げられる。コンピュータ可読媒体はさらに、インターネットシステムに代表される有線媒体、またはＧＳＭモバイル電話システムに代表される無線媒体であってもよい。そのような汎用コンピュータに前記のコンピュータプログラムがロードされ、実行されることで、好適な方法における工程を実行する装置が有効に得られる。

本発明はまた、ハードウェアモジュールとして実現されてもよい。具体的には、ハードウェアの文脈においてモジュールとは、機能的なハードウェアユニットであり、その他の構成要素およびモジュールと共に使用される。モジュールは例えば、個別の電気部品であってもよいし、特定用途向け集積回路（ＡＳＩＣ）のような電気回路の一部であってもよい。他にも多数の形態で構成され得る。システムをハードウェアおよびソフトウェアモジュールを組み合わせて構成することも可能であることは、当業者にとって明らかであろう。

管制塔または管制室１３５の応用コンピュータシステムは、以下の機能を有する
１．カメラの数、各カメラの守備範囲（視野）、カメラ較正、警報発生要件、警報種類などについて監視システムを設定。
２．オペレータが効果的にＦＯＤの確認、ＦＯＤが異物、破片、または滑走路の損傷かの判定、および異物の分類を行えるよう、カメラの画角を遠隔操作で調整して各監視カメラの視野を選択。ビデオディスプレイは、複数の監視カメラから映像を多重的に表示可能である。
３．各パン・ティルト・ズーム（ＰＴＺ）カメラまたはズームカメラを、滑走路上の所望の関心領域に対し、パン、ティルト、および／またはズームするように自動的に調整し、各ＰＴＺまたはズームカメラの視野（画角）を選択。このＰＴＺまたはズームカメラは応用コンピュータシステムにより遠隔操作され、自動的に損傷している、または破片や異物が存在している疑いのある部分を拡大するようになっている。この機能は、オペレータの応用コンピュータシステムを使用した手動の遠隔操作によっても実現可能である。
４．聴覚または視覚警報を設定。滑走路上の問題、すなわち検出されたＦＯＤが登録され、システムが自動的に警報優先順位リストを作成可能である。最大級の穴が開いた場合や、最大級の障害となるような破片や異物がある場合が最も優先順位が高く、オペレータは優先順位リストに従って必要な修復処理を行うことができる。警報は視覚および／または聴覚、またはその両方であってもよい。また、警報はＧＳＭ、ＳＭＳ、またはＭＭＳのようなモバイル通信手段を介した遠隔無線警報であってもよい。
５．システムが滑走路上のＦＯＤを検出した際に各種監視カメラで撮影されたビデオ画像および／または静止画像の処理および記録。さらに記録された滑走路情景のビデオ画像および／または静止画像の再生。
６．記録された事例、映像データおよびその他データの管理。関連データは全て、検索および各種レポートの作成が容易になるようデータベースに記録される。
７．他のシステムのデータベースへのアクセスを可能とするためのシステムインタフェース。
８．リアルタイムデータ共有のためのシステムインタフェース。これにより、他のシステムがリアルタイムのデータや、全現場機器の詳細などのシステム全体のステータスを取得可能となる。飛行機の離着陸を制御するシステムとリアルタイムの情報を統合することは、飛行機およびその搭乗員に、即座の安全を提供することに寄与する。

図２は、一実施形態におけるＦＯＤ検出の基本フローチャートである。

ステップ２０１において、監視カメラは滑走路上のそれぞれの部分の画像を撮影する。以下の段落では、撮影した画像の処理に関する工程について説明する。

ステップ２０３では、撮影した画像の前処理として、画像補正が行われる。Ｘ方向（滑走路の走る方向に平行）の漸次的なグレースケールの変化および、非常にコントラストが高い滑走路の白線は除去され、ほぼ全ての３次元的な異物、損傷、または破片（ＦＯＤ）に見られるような、滑走路と平行の方向に大きな階調変化が起きている部分が強調される。

一際強い滑走路の照明の一部およびＦＯＤを除き、滑走路の白線、雲の移動や雨によりグレースケール階調に変化が生じている箇所を含む出力画像における全ての画素はほぼゼロになる。このステップは、低誤認警報発生率での確実なＦＯＤ検出の達成に寄与する。

最適な結果を得るため、左から右、および右から左へのＳｏｂｅｌＸや、ＳｃｈａｒｒＸなどのハイパス・フィルタが使用される。

ステップ２０５では、夜間の検出のため、異常光検出が行われる。滑走路情景上の突発的な明るい光や輝点が監視カメラ１０８を被覆する可能性がある。これは夜間の飛行機の離着陸および地上車両の移動により生じるおそれがある。本検出アルゴリズムはそのような状況を判定する。異常光が検出された場合、画像は無視される。アルゴリズムはグローバルヒストグラムおよび統計的な分析（例えば平均グレースケール）により、漸次的に更新された画像と、撮影された画像を比較する。また、同アルゴリズムは異常光状況が起きているかを判定するため、寸法、面積などの輝点のパラメータも利用する。

ステップ２０７では、最適検出パラメータが推定され、適応画素レベルエッジマップが抽出される。滑走路１０６の画像は、異なる天候状況および昼夜で大きく異なり、滑らかな画像、荒い画像、もしくは反射の多い画像ともなりえる。このステップでは、最小限のノイズで実際のＦＯＤエッジを抽出するための最適なＦＯＤエッジ抽出閾値を適応的に推定する。本アルゴリズムは、画素レベル閾値マップの作成に供するグレースケールルックアップテーブル（ＬＵＴ）を算定するために、動きのある部分を含まない元の背景画像、または漸次的な学習を経た背景画像に基づく統計的方法（例えば平均統計、または偏差統計）を使用する。

ステップ２０９では、低ノイズでロバストなエッジを得るため、エッジマップのスタックに時間フィルタリングが画素レベルでかけられる。所定の閾値を越えるほどに蓄積した画素のみが、ロバストなエッジ画素として認識され、ロバストなエッジマップにおいて使用される。点滅状態の画素は、閾値を越えるほどに蓄積できずに、削除され、ロバストなエッジマップでは使用されない。

ステップ２１１では、無限インパルス応答（ＩＩＲ）の原理を背景学習に利用して、適応背景学習が行われる。
Ｂｔ：時間ｔにおける背景画像
Ｂｔ−１：時間ｔ―１における背景画像
Ｉｔ：時間ｔにおける現状画像
とすると背景画像は以下の通り更新される。
Ｂｔ＝Ｂｔ−１＊α＋Ｉｔ＊（１−α）

本システムでは、背景学習に主にエッジマップが使用される。学習される特徴としては主に中心線灯、および低いカメラアングルに起因して、若干滑走路部分に入り込んでいる滑走路灯などがある。適応背景学習の主な目的は、誤警報を発生させないで滑走路上の特徴の緩やかな変化の過程を捉え、背景として取り込み、学習を経た背景エッジマップを日々ファイルやデータベースに保存し、翌日の背景エッジマップとして利用することである。従って、本システムは可能な限り迅速に滑走路上のマーキングの変化に対応できる。

ステップ２１３では、合成背景エッジマップが得られる。合成背景エッジマップは滑走路のマーキングを表す。合成背景エッジマップは、適応背景エッジマップ、記録された前日の背景エッジマップ、および場合によって季節的マーキングからなる。季節的マーキングは、特定の季節や、降雪などの特定の天候下で作成される。それらが単純に加えられるまたは、さらに処理され、最終的な背景エッジが形成される。

ステップ２１５では、エッジマップと合成背景エッジマップを比較して、疑わしいエッジが抽出される。本ステップでは、ステップ２１３で得られた処理画像（合成背景エッジマップ）上の、滑走路のマーキングのエッジが除去される。その結果残るエッジはＦＯＤである可能性がある。

ステップ２１７では、エッジフィルタリングが行われ、ＦＯＤに属さない、恐らく雪、雨、朝の眩しい光などの天候条件に起因するエッジが除去される。天候条件はセンサおよび／または画像処理方法により検出される。本ステップでは、選択可能な一つ以上のアルゴリズムを使用してそのような天候条件が検出される。例えば、雨天時に点灯された滑走路照明が、滑走路に反射する可能性がある。所定のフィルタリングアルゴリズムが光の位置を確認し、反射エッジを除去する。

ステップ２１９では、物体分類が行われ、ステップ２１７で検出された物体が実際にＦＯＤであるか判定される。物体分類の方法としては、パターンマッチング、ベイズ分類、線形判別分類、ニューラルネットワーク分類、ファジー分類、およびニューラルファジー分類などが挙げられる。

本システムは、ステップ２１７においてフィルタリングのかけられたエッジから、長さ、高さ、周囲、面積、質感、色彩的特性（色相、飽和）、光度（階調レベル）などの関連物体属性を抽出する。これら物体属性が、検出された物体が実際にＦＯＤかを判定するための物体分類における入力ベクトルとなる。

ＦＯＤが検出されると、ステップ２２１において管制塔または管制室にいるオペレータに、視覚および／または聴覚警報、および／またはＧＳＭ、ＳＭＳ、ＭＭＳなどの無線警報が発せられる。警報および／または無線警報を受けると、オペレータは監視カメラで検出されたＦＯＤを拡大する。ＦＯＤと確認されると、管制塔または管制室にて新たに視覚および／または聴覚警報がトリガーされる。ＦＯＤが確認されると、さらに、滑走路付近の視覚および／または聴覚遠隔警報もトリガーされる。それに加え、またはそれに代えて、滑走路修復班へのＧＳＭ、ＳＭＳ、ＭＭＳなどの無線警報がトリガーされてもよい。その後直ちに修復班は修復用車両を派遣して、検出されたＦＯＤを処理、すなわち、異物や破片を除去、または滑走路の損傷を修復する。

図３Ａおよび図３Ｂは、本発明の一実施形態に係る詳細なフローチャートである。ステップ３０１で処理が開始すると、ステップ３０２でシステムが初期化される。ステップ３０３において、監視カメラが滑走路の部分的な初期画像を撮影する。

画像は分析され、あらゆる動作が検出される。本実施形態では、動作の一切生じていない画像のみが、背景学習に利用され、データベースに基準背景画像として保存される。

ステップ３０５では、撮影された画像に、前処理として画像補正が施される。前処理の結果、一際強い滑走路照明の一部を除いて、滑走路の白線や、雲の移動や雨によりグレースケール階調に変化が生じている箇所を含む画像内の全ての画素がゼロとなる。

ステップ３０７では、昼から夜、または夜から昼への移り変わりがあったかが確認される。これは例えば、センサまたはカメラの光度の差異を確認することで行われる。通常、光度は天候が変化した場合に比べ、昼から夜、または夜から昼へ移り変わった際の変化の方が大きい。昼から夜、または夜から昼への移り変わりまたは、夜間であることが検出されると、ステップ３０９にて、異常光の検出が行われる。ステップ３１１にて異常光が検出されると、撮影された画像は無視され、ステップ３０３に戻り、新たに画像が撮影される。異常光が検出されない場合、ステップ３１５で検知された昼、夜、雨、煙霧などの各種環境状況に合わせて、ステップ３１３にて最適な異物、破片、および損傷（ＦＯＤ）検出パラメータが推定される。

例えば、昼、夜、雨、煙霧などの各種環境状況は、一つ以上のセンサで検知されてもよい。また、変化をつけるため二重閾値を備えるカメラのアイリスに基づくシステムを使用してもよい。例えば、昼は５０に設定されている閾値が、夜には７０まで上げてもよい。さらに、昼か夜かを判別するため、特定の値が一定期間保持される時間フィルタを使用してもよい。応用コンピュータシステムは、例えば自身のリアルタイムクロック（ＲＴＣ）や電子カレンダなどから入力されるその他の日時入力を利用して、昼か夜かを確認してもよい。

滑走路のマーキングは昼夜で異なる。通常夜間はより多くのマーキングが存在し、夜間のマーキングは昼間のマーキングに取って代わる。

ステップ３１７では、ルックアップテーブル（ＬＵＴ）を利用して、最小のノイズで実際のＦＯＤのエッジを得るための最適なＦＯＤエッジ抽出閾値が導き出される適応画素レベルエッジマップ抽出（図４参照）が行われる。

ステップ３１９（図３Ｂ）では、動的エッジフィルタリングが行われ、固定エッジのマップが作成される。ステップ３２１では、ロバストなエッジマップを抽出するため、時間フィルタリングが行われる。所定の閾値を超えるほどに蓄積した画素のみが、ロバストなエッジ画素として認識され、ロバストなエッジマップにおいて使用される。点滅状態の画素は、閾値を超えるほどに蓄積できずに、削除され、ロバストなエッジマップでは使用されない。

ステップ３２３では、適応背景が学習されたか判定される。本システムは、背景学習にエッジマップを使用する。適応背景３２３が学習されていない場合、適応背景エッジマップがステップ３２５で初期化または更新される。ステップ３２７では、適応背景エッジマップが所定の条件に至ったかが判定される。所定の条件に至った場合、ステップ３２９で適応背景が学習されたと通知される。至っていない場合、ステップ３０３に戻り、画像の撮影が続行される。

適応背景３２３が学習された場合、ステップ３３１にて合成背景エッジマップが作成される。合成背景エッジマップは、ステップ３２５で作成または更新された適応背景マップ、保存されている昼／夜背景マップ、およびステップ３０２で処理が初期化された後にステップ３３３で得られる季節的マーキングマップからなる。季節的マーキングは、特定の季節、雪や雨などの特定の天候条件下での滑走路のマーキングに関する。本システムでは、画像の処理や外部センサを用いることで、そのような季節や天候条件を認識して、誤警報の発生を抑えることができる。合成背景マップは滑走路上のマーキングを含む。

ステップ３３５では、合成背景マップとエッジマップを比較することで、疑わしいエッジのマップが抽出される。ステップ３３７では、エッジフィルタリングが施され、雨による反射など、突発的な環境変化に関連するあらゆる不要なエッジが除去される。雨天時には、例えば、滑走路照明の画像がＦＯＤと目される輝点として検出される可能性がある。本システムでは、保存された画像との比較を通じてそのような潜在的誤警報を検出可能である。

ステップ３３７の後、ステップ３３９で適応背景マップが更新される。ステップ３４１では、昼から夜、または夜から昼への移り変わりがあったかが確認される。昼から夜、または夜から昼への移り変わりがあった場合、ステップ３４３にて直近の昼間または夜間背景マップがロードされ、即時利用される。ステップ３４５にて、適応背景マップは翌日の使用のため、昼間／夜間背景エッジマップとして保存される。ステップ３４１において、昼から夜、または夜から昼への移り変わりがなかった場合、処理はステップ３０３に戻り、画像の撮影が続行される。

ステップ３４７では、ステップ３３７でフィルタがかけられた疑わしいエッジのマップから、寸法、面積などのエッジパラメータが算出される。ステップ３４９では、エッジパラメータが閾値を越えるかが判定される。越える場合、ステップ３５１にて、滑走路における疑わしい領域がビデオディスプレイ上に重ね合わされ、管制塔または管制室のオペレータに対し、聴覚信号でおよび／または視覚的に、および／またはＧＳＭ、ＳＭＳ、ＭＭＳなどの無線警報にて警報が発せられる。ステップ３５３にて、警報を受けたオペレータは監視カメラでパンおよび／またはティルトおよび／またはズームを行い、視認を行う。ステップ３５３にてＦＯＤと確認された場合、ステップ３５７にて速やかにＧＳＭ、ＳＭＳ、ＭＭＳなどの無線手段を通じて滑走路修復班は連絡を受ける。ステップ３５９にて、修復班により滑走路上のＦＯＤが処理される、すなわち異物や破片が除去される、または滑走路上の損傷が修復されるまで、ビデオディスプレイはＦＯＤの画像を表示し続け、警報信号は解除されない。

図４は、上記したステップ２０７および３１７での適応画素レベルエッジマップの抽出に利用されるルックアップテーブル（ＬＵＴ）を示すグラフである。

Ｐ１、Ｐ２〜ＰｎおよびＴ１、Ｔ２〜Ｔｎは、撮影された画像、漸次的学習を経た画像、および外部センサからの入力の統計的分析に基づき推定される。これらによって、画素レベル閾値を得るために、理想的な区分的ルックアップテーブル（ＬＵＴ）を算出することができる。画素レベル閾値は、最小限のノイズでＦＯＤエッジマップを抽出するために用いられる。

撮影された画像または漸次的学習を経た背景画像の画素値が、上記ＬＵＴを通じて閾画像の閾値に変換される。その後、撮影された画像からこの閾画像を引く。１以上の画素値はすべて２５５にセットされる。この結果得られる画像が、適応画素レベルエッジマップに相当する（図２ステップ２０７、図３Ａステップ３１７）。

本発明の実施形態では、滑走路情景の較正やＦＯＤの位置確定が行われてもよい。

また、本発明の実施形態ではカラー監視カメラが使用され、カラー画像処理が行われる。

しかし、上記全ての技術および画像処理方法は、モノクロ画像処理、およびカラー画像処理の両方に対応可能である。従って、本滑走路監視システムは、モノクロ監視カメラおよびカラー監視カメラのいずれも使用可能である。

実施形態例において、監視カメラから得られた滑走路情景画像にはプレキャリブレーションが施され、滑走路情景画像上の各画素の物理位置および距離が算出される。その際、数式や事前に算出されたルックアップテーブルが用いられ、滑走路情景画像における画素が、滑走路などの監視対象領域に展開されたＷＧＳ８４や空港グリッドなどの基準データにおける現実の二次元または三次元的座標系（ｘ、ｙ、ｚ）内の精確な座標にマッピングされる。

本システムでは、滑走路情景較正に、滑走路上の固定特徴を利用する。ある固定された現実の基準位置に対する、滑走路上の固定特徴の位置および距離は、例えば地上測量、物理学的測定、および滑走路地図からあらかじめ決めておくことが出来る。例えば、それぞれ滑走路脇から垂直（ｙ軸）方向に均一の距離に配置され、滑走路の長手方向に沿う滑走路のマーカまたは滑走路灯は有効な特徴となる。これらマーカは滑走路の長手（水平）方向に沿い、滑走路脇から垂直方向に均一の距離を保っているため、これらマーカ間の水平（ｘ軸）上の距離区分は滑走路情景画像における画素数に反映される。水平（ｘ軸）方向の画素マッピング率（メートル／ピクセル）は水平方向における二つのマーカ間の物理的距離を水平方向の画素幅、すなわち滑走路画像における二つのマーカ間の画素数で割ることで得られる。最少で二つの、位置を確認済みの滑走路における固定特徴を用いて、各情景画像の較正が可能である。

より正確な情景較正および起伏のある滑走路面に対応するため、例えば複数対の滑走路マーカが、それぞれ滑走路脇から垂直方向に均一の距離をおいて滑走路の長手方向に沿って設けられることが好ましい。その結果、一連の水平方向に走る仮想の線がマーキングされる。これら仮想水平線同士の物理的な地上距離、すなわち１対のマーカ間の距離は、巻尺、ウォーキングメジャー、またはＧＰＳ受信機で測定される。特定のカメラ設置状況における仮想水平線上の画素数は、滑走路の区画画像から得られる。

例えば、監視カメラの視野は滑走路上で台形をなしている。従って、滑走路画像における画素マッピング率（メートル／ピクセル）は、滑走路の垂直（ｙ軸）方向で変化する。具体的には、滑走路の奥側はより狭く、画素マッピング率（メートル／ピクセル）がより高いが、手前側はより広く、画素マッピング率（メートル／ピクセル）がより低い。本システムでは、中心線の両側を走る２本の平行な水平滑走路線および中心線を利用して、垂直（ｙ軸）方向の正しい画素マッピング率を取得する。それにより、ＷＧＳ８４、空港グリッド、またはデカルト座標系などの、使用されたデータに基づく現実の基準座標系における、精確な座標に画像の画素をマッピングできる。滑走路平行線と中心線間の垂直（ｙ軸）方向の物理的距離は地上で測定できるため、地上で測定される上記線間の垂直物理的距離を、滑走路画像の垂直画素幅から得られる、上記線間の画素数で割ることで、垂直画素マッピング率（メートル／ピクセル）が導き出される。

図７は、実施形態例における滑走路線を例示する概略図である。滑走路奥側に一本の水平滑走路線８０２が走っており、滑走路手前側に別の水平滑走路線８０３が走っている。８０２は滑走路奥側縁線であってもよく、８０３は滑走路手前側縁線であってもよい。両線８０２および８０３は中心線８０１に対し平行であり、これら全ての線は滑走路の水平（ｘ軸）方向に走っている。手前側水平線８０３と中心線８０１間の垂直方向における物理的距離は８０５で示され、滑走路画像上の同二線間の画素幅（画素数）はｙ１画素である。従って、手前側の垂直画素マッピング率は、８０５をｙ１で割る（メートル／ピクセル）ことで得られる。同様に、奥側水平線８０２と中心線８０１間の垂直方向における物理的距離は８０４で示され、滑走路画像上の同二線間の画素幅（画素数）はｙ２画素である。従って、滑走路の奥側の垂直画素マッピング率は、８０４をｙ２で割る（メートル／ピクセル）ことで得られる。このように、中心線を基準に、手前側の画素か奥側の画素かに応じて、二種類の垂直（ｙ軸）画素マッピング率、８０５／ｙ１および８０４／ｙ２を利用して、滑走路画像上の画素を現実の基準座標系における精確な座標にマッピングする。

上記技術により、より正確に画素をマッピングできる。較正は、例えばＷＧＳ８４、空港グリッド、デカルト座標系など、様々な現実の座標データに基づいて行える。

滑走路縁線、中心線、水平線は何色でもよい。滑走路面と、滑走路縁線、水平線、中心線との間にコントラストが存在する限り、較正は可能である。さらに、滑走路縁線および中心線は実線でなくてもよい。隣接する線を補完することで実線を導出できる。

本発明の別の実施形態においては、選択的にまたは追加的に、滑走路における同一部分を一対のカメラで監視することによるステレオビジョンを利用してもよい。ステレオビジョンを利用する場合は、ＦＯＤまでの距離およびＦＯＤの位置を、滑走路上の同一の監視領域（視野）を撮影した二台のカメラで撮像された二つの画像を比較して得られる差異画像からも算出することができる。

一対のステレオ画像におけるそれぞれの画像について局所的特徴が検出され、画像間でマッチングされる。その結果、疎ではあるが、非常に高品度の視差ベクトル組が得られる。視差ベクトルからそれぞれの画像内に確認できる画像特徴の相対的位置を測定できる。これら視差ベクトルから、特徴の二次元または三次元的推定位置が算出可能であり、それを平坦、または少なくとも平滑な滑走路表面モデルと比較することができる。あるいは、画像は、より変動的な品度を有する密な視差ベクトル組が得られる画素レベルで保存されてもよい。

ステレオ撮像の課題の一つとしては、距離算出において使用される、二つの画像上の画素の対応の判定が挙げられる。使用される画素対応付け手法としては、相関演算子の使用、関係制約によるシンボリックマッチング
、およびその両者を組み合わせたものが挙げられる。

例えば、一組のステレオカメラから得られた二つの画像、画像１および画像２における画素間を関連させる場合、画像１の特定の点Ｐ１について、画像２にはＰ１に対応するＰ２が存在する特定の領域が存在する場合のみ、相互関連しているとされる。同領域の寸法は、カメラ較正処理で得られたカメラ配置に関するパラメータにより決定される。対応を判定するためのシンボリックマッチングでは、一方の画像の特徴に対応するものを他方の画像内で検索する。代表的な特徴としては、交差点、線分、領域が挙げられる。交差点の一致から、わずかな数の箇所の組にのみ、深度が認められるまばらな深度図が得られる。線分の一致は、それぞれの終点の一致につながる可能性がある。

本発明のさらに別の実施形態は、監視カメラの監視範囲の冗長性を実現する。図５は、監視システム６００において、滑走路上のＦＯＤを検出するための、監視カメラの監視範囲の冗長性を示す概略図である。誘導路１０４の片方の縁線に沿って、監視カメラ６０１、６０３、６０５、６０７、６０９が配置されている。監視カメラ６０１、６０３、６０５、６０７、６０９がすべて通常通り機能している場合、監視カメラ６０１、６０３、６０５、６０７、６０９それぞれの守備範囲（画角）６１１は通常均一なままである。カメラ６０３が故障し、冗長となった場合、冗長カメラ６０３に隣接する監視カメラ６０１および６０５それぞれの通常守備範囲（画角）６１１は冗長カメラ６０３の視野の方向に拡大し、６１３で示されるようになる。このようにして、一つ以上のカメラが作動できなくとも監視システム６００は作動することができる。カメラの守備範囲視野（画角）は例えば、カメラのズームやＰＴＺ機能を遠隔操作する応用コンピュータシステムを利用して、オペレータにより手動で調整または実行されてよい。また、そのような調整は応用コンピュータシステムにより自動的に行われてもよい。守備範囲視野（画角）を変更できるよう、例えば、ズーム機能を持つカメラまたはパン・ティルト・ズーム（ＰＴＺ）カメラが使用されてもよい。

図６は、本発明の別の実施形態に係る滑走路面走査を示す概略図である。

監視対象の滑走路表面領域７００は、それぞれ滑走路表面７００上の小さな領域を占める多数の区画７０２に分割されている。滑走路表面７００の全領域は、水平画角７１１を有する視野をもつ、一つ以上の可動カメラ７０８により、区画ごとに走査される。可動カメラは、例えばパン・ティルト・ズーム（ＰＴＺ）カメラである。ＰＴＺカメラのパン、ティルト、ズーム機能は、応用コンピュータシステム、またはカメラコントローラにより遠隔操作される。滑走路表面領域７００は、一つ以上の可動カメラにより、一端７１０から他端７２０へ、長手方向７０３に沿って順次走査される。

別の実施形態に係る滑走路面走査は、応用コンピュータシステム、またはカメラコントローラで制御される。本滑走路走査方法の課題は、特にＦＯＤが走査サイクルの終端付近の区画に位置する場合に顕著だが、ＦＯＤの検出にかかる時間が長いことである。滑走路走査における一サイクルの時間を短縮するため、一つまたは場合によっては二つの区画の走査が省略される代替手法がある。すなわち、二つまたは三つの区画につき、一つの区画が走査される。続く走査サイクルでは、前サイクルで走査されなかった区画が走査され、前サイクルで走査された区画は、当該サイクルでは走査されない。しかし、滑走路走査方法でもＦＯＤが滑走路面上の走査されない区画にあった場合は検出に時間がかかってしまう。

滑走路上のＦＯＤは主に飛行機の離着陸により生じる。別の実施形態における、ＦＯＤ検出時間を短縮する方法では、可動または固定カメラを組み合わせて使用する。固定カメラは、滑走路上の広域を網羅するのに十分な広さの視野（広い画角）を持つことが好ましい。リアルタイムで固定監視カメラが撮影した画像を処理することで、応用コンピュータシステムは、滑走路上の飛行機の離着陸の発生およびその場所を検出することができる。その後、可動監視カメラが、応用コンピュータシステムに制御され、最初に、飛行機が離着陸した直後の滑走路上の特定の場所を網羅する区画を走査することができる。この方法は、ＦＯＤ検出時間の短縮に寄与する。

固定監視カメラがＦＯＤを検出した場合、その固定カメラが撮影した情景画像を基に、管制塔または管制室内の応用コンピュータシステムは、検出されたＦＯＤの滑走路上の位置および距離を割り出す。検出されたＦＯＤの滑走路表面上の位置および距離は、モノスコープビジョンと較正された滑走路情景画像を利用することで割り出される。例えば、較正された滑走路情景画像において各画素が、ＷＧＳ８４または空港グリッドのデータに基づく現実の座標系における座標に精確にマッピングされる。或いは、ステレオスコープビジョンに基づく物体の位置、距離決め技術が用いられてもよい。

本システムは、固定監視カメラ（モノスコープまたはステレオスコープ）で検出された、ＦＯＤへの距離およびその場所に関する情報を利用して、パンニングカメラ、パン・ティルト・ズーム（ＰＴＺ）カメラ、ズームカメラなどの可動カメラを自動制御する。それによって、滑走路上のＦＯＤまたは関心領域に対しパンおよび／またはティルトおよび／またはズームを行い、検出されたＦＯＤの存在を確認し、誤警報を防ぐのに十分なほど詳細な、ＦＯＤまたは関心領域の望遠画像をビデオ表示装置上に提供する。これら望遠画像は、検出されたＦＯＤの正確な特定および分類にも利用される。これら望遠画像から抽出される物体の長さ、高さ、面積、周囲、質感、色彩特性などの正確な物体の特徴は、設定済みの物体分類器への入力として使用することができる。

本発明の別の実施形態はさらに、雨による背景クラッタをフィルタで除去することが可能である。通常、雨によるクラッタは滑走路において局所的ではなく全体にわたって生じる。また雨は、雨が滑走路表面に当たった際の水しぶきなど、特定の特徴を持つ動的クラッタを滑走路情景画像に生じさせる可能性もある。従って、雨クラッタをフィルタで除去する一つの方法は、滑走情景における、滑走路全体に生じる、雨に関連した特性を持つ動的クラッタを検出し、認識することである。雨クラッタは固定的ではなく、フレームごとに異なるため、時間フィルタリングにより、雨クラッタを除去することも可能である。このように、滑走路全体で生じる雨に関連した特性を持つ動的クラッタは、雨クラッタとして除去される。別の実施形態では、上記原理を利用し、雪による背景クラッタを除去することができる。滑走路全体の雪に関連した特性を持つ動的クラッタは、時間フィルタリングを使用して雪クラッタとして除去される。

本発明の実施形態例では、監視カメラからの基準背景画像には、エッジ検出手法による前処理が施される。従って、システムの照明変化やクラッタに対する対応度が増し、誤警報は低減される。

エッジ強調および検出手法により、滑走路上の特徴のエッジが特定される。画像内のエッジとは、画素特性が急激に変化する輪郭である。エッジ強調および検出により、背景除去および／または学習に基づく前景画素の特定における照明変化への対応度が増す。

本発明の上記実施形態は、以下列挙する特性を一つ以上有することができる。
・ 滑走路に対し平行方向に階調が大きく変化する特徴を強調するための、左から右、および右から左へのＳｏｂｅｌＸや、ＳｃｈａｒｒＸなどのハイパス・フィルタを使用した滑走路画像の画像補正。
・ ＦＯＤエッジ抽出閾値の最適な推定。推定は雨天、光の反射、夜間など様々な環境状況に対応する。漸次的に学習した背景エッジマップに基づいた統計的手法を用い、適応画素レベルエッジマップ抽出のため、画素レベル閾値マップを作成するために使用されるグレースケールルックアップテーブル（ＬＵＴ）を算定する。
・ ノイズを低減するため、画素レベルで時間フィルタリングを施すことで、エッジマップのスタックからロバストなエッジを取得。閾値を越える画素のみがロバストなエッジの画素とされ、その他の画素はエッジマップに使用されない。
・ 現在のエッジ画像をそれまでの背景画像と比較することで滑走路上の緩やかな特徴の変化を捉える適応背景学習。これにより、誤警報を引き起こさずに、それら特徴を背景に取り込むことが可能になる。
・ 適応背景エッジマップ、以前の学習を経た背景マップ、および場合によって季節的マーキングからなる合成背景エッジマップ。季節的マーキングは、特定の季節や、降雪などの特定の天候条件下で作成される。
・ エッジマップと合成背景マップの比較による疑わしいエッジのマップ作成。
・ 例えば雨やその他天候条件による反射などの突発的な環境変化により生じている可能性のあるエッジの除去。
・ 飛行機の離着陸、地上車の移動などで生じる夜間の異常光検出を供する滑走路上のＦＯＤ検出。異常光状況を検出するため、グローバルヒストグラムおよび統計的分析により、漸次的に更新された画像との比較を行う。
・ レーザー照明器や赤外線照明器などの補助照明の設置を必要としない、滑走路におけるＦＯＤを検出するための昼間／夜間監視。
・
・ いかなる異物の滑走路上での正確な検出、特定、位置確認を保証する、自動、コンピュータベース、および／または手動の画像ズーム機能を有する滑走路の画像を撮影する撮像手段。
・ 暗いまたは低照度の状況でもレーザーや赤外線照明装置などの補助照明の設置が不要な、完全なパッシブタイプ。
・ 昼夜問わずカラー画像。
・ ＦＯＤの検出、位置確認、特定のための、監視カメラネットワークにより撮影された、ビデオおよび／または静止画像に対する、コンピュータ画像処理技術を用いた処理。監視カメラは単数または複数のいずれであってもよく、可動および／または固定タイプで、指定された監視エリアに自由に配置されてもよい。
・ 実施形態例に記載されている適応画像処理を用いた、改良した画像処理により、現行のシステムと比較してカメラを滑走路からより離れた場所に配置可能である。したがって、使用されるカメラ数の削減および／または既存のインフラ設備との「干渉」の低減および／または滑走路付近の障害物の削減が可能である。

本実施形態例の方法およびシステムは、図８に模式的に示されるコンピュータシステム９００で実現することが出来る。これはソフトウェアとして実現されてもよい。例えば、コンピュータシステム９００内で実行され、コンピュータシステム９００に本実施形態例の方法を実行させるコンピュータプログラムであってもよい。

コンピュータシステム９００は、コンピュータモジュール９０２、キーボード９０４およびマウス９０６などの入力モジュール、表示装置９０８およびプリンタ９１０などの複数の出力装置からなる。

コンピュータモジュール９０２は、コンピュータネットワーク９１２と適切な送受信機９１４を介して接続され、例えばローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）などのネットワークシステムにアクセス可能となっている。

本例のコンピュータモジュール９０２は、プロセッサ９１８、ランダムアクセスメモリ（ＲＡＭ）９２０、リードオンリーメモリー（ＲＯＭ）９２２を有する。コンピュータモジュール９０２はさらに、表示装置９０８へのＩ／Ｏインタフェース９２４、キーボード９０４へのＩ／Ｏインタフェース９２６など複数の入出力インタフェースを有する。

通常、コンピュータモジュール９０２の構成要素は、相互接続バス９２８を介し、当業者にとって概知の方法で通信を行う。
通常、アプリケーションプログラムは、ＣＤ−ＲＯＭやフラッシュメモリキャリアなどのデータ記憶媒体に暗号化された状態でコンピュータシステム９００のユーザに提供され、データ記憶装置９３０の対応するデータ記憶媒体ドライブを使用して読み出される。アプリケーションプログラムは、プロセッサ９１８により読み出され、実行制御される。プログラムデータの中間記憶装置はＲＡＭ９２０により形成できる。

本発明は上記実施形態に限定されない。当業者には本明細書の内容を踏まえ、本発明の範囲から逸脱しない程度に変更を加えて、本発明が実施可能であることが理解されるであろう。

Claims (30)

1. 滑走路上の異物、破片、損傷（ＦＯＤ）を検出する監視システムであって、
   前記滑走路の画像を撮影するための一つ以上のカメラと、
   前記カメラが撮影した画像の適応画像処理に基づいて前記滑走路上のＦＯＤを検出するための画像処理システムと、
   を備える監視システムであって、
   前記画像処理システムは、様々な環境状況における最適なＦＯＤエッジ抽出のための一つ以上の閾値を適応的に推定し、漸次的な学習を経た背景画像エッジマップに基づく統計的手法を用いて画素レベル閾値マップを作成するために使用されるグレースケールルックアップテーブル（ＬＵＴ）を算定し、前記画素レベル閾値マップを用いて前記最適なＦＯＤエッジ抽出のための一つ以上の閾値が導き出される画素レベルエッジマップを生成し、
   赤外線照明器またはレーザー照明器の補助照明を使用せずに、昼間および夜間両方の周辺光下のＦＯＤ検出を適応的に行うことを特徴とする監視システム。
2. 前記撮影された画像は、前記撮影された画像を左から右へのＳｏｂｅｌＸおよび右から左へのＳｏｂｅｌＸ、またはＳｃｈａｒｒＸのハイパス・フィルタにより補正されることを特徴とする請求項１に記載の監視システム。
3. 前記画像処理システムは、処理を行う場面が昼間か夜間かを判定し、夜間に撮影された画像から、飛行機の離着陸、または地上車の移動による異常光状況を検出することを特徴とする請求項１に記載の監視システム。
4. グローバルヒストグラムおよび統計的分析により、各画像を一つ以上のそれ以前の画像と比較することで前記異常光状況が検出され、閾値を参照した強度の変化に基づき前記異常光状況が特定されることを特徴とする請求項３に記載の監視システム。
5. 前記異常光状況が検出された画像は無視され、更なる処理は施されないことを特徴とする請求項３または４に記載の監視システム。
6. 前記画像処理システムはさらに、前記画素レベルエッジマップのスタックに時間フィルタリングをかけ、閾値を越えるほど蓄積した画素のみからなるロバストなエッジマップのみを得ることを特徴とする請求項１に記載の監視システム。
7. 前記画像処理システムはさらに、前記ロバストなエッジマップを、
   現在画像とそれまでの場面から得られた背景エッジ画像とを比較し、
   前記滑走路上の緩やかに変化する特徴を特定し、
   前記背景エッジ画像を前記緩やかに変化する特徴で更新する、
   適応背景学習にかけることを特徴とする請求項６に記載の監視システム。
8. 前記画像処理システムはさらに、適応背景エッジマップ、以前の学習を経て保存された昼間または夜間背景エッジマップ、特定の季節または特定の天候条件で発生する季節的マーキングマップからなる合成背景エッジマップを作成することを特徴とする請求項７に記載の監視システム。
9. 前記画像処理システムはさらに、前記合成背景エッジマップと前記ロバストなエッジマップを比較し、背景エッジを除去することで、ＦＯＤの疑いがあるエッジマップを抽出することを特徴とする請求項８に記載の監視システム。
10. 前記画像処理システムはさらに、エッジフィルタリングを行い、前記疑いがあるエッジマップから環境変化に関する不要なエッジを除去し、前記疑いがあるエッジマップからＦＯＤのエッジパラメータを算出することを特徴とする請求項９記載の監視システム。
11. 前記環境変化は、昼から夜への移り変わり、夜から昼への移り変わり、天候状況、雨、煙霧、雲であることを特徴とする請求項１０に記載の監視システム。
12. 前記画像処理システムは、ビデオディスプレイ上に、前記滑走路における疑わしい領域にＦＯＤグラフィックを重ねて、管制塔または管制室のオペレータにＦＯＤ検出の警報を発することを特徴とする請求項１乃至１１のいずれかに記載の監視システム。
13. 前記一つ以上のカメラ、または一つ以上の追加カメラが配置され、視認検証のため前記疑わしい領域をズームすることを特徴とする請求項１２に記載の監視システム。
14. 前記画像処理システムはさらに、ＦＯＤを分類することを特徴とする請求項１乃至１３のいずれかに記載の監視システム。
15. 前記一つ以上のカメラは、一つ以上の固定カメラ、一つ以上の可動カメラ、または固定カメラと可動カメラの組み合わせからなることを特徴とする請求項１乃至１４のいずれかに記載の監視システム。
16. 前記カメラは前記滑走路の片側に配置されていることを特徴とする請求項１乃至１５のいずれかに記載の監視システム。
17. 前記カメラは前記滑走路の両側に互い違いに配置されていることを特徴とする請求項１乃至１５のいずれかに記載の監視システム。
18. 前記一つ以上のカメラのうち一部のカメラが稼動不能な場合、前記稼動不能なカメラの隣のカメラが、前記稼動不能なカメラの監視領域を監視することができる請求項１乃至１７のいずれかに記載の監視システム。
19. 前記一つ以上のカメラは、一つ以上のモノクロカメラ、一つ以上のカラーカメラ、またはその両方からなることを特徴とする請求項１乃至１８のいずれかに記載の監視システム。
20. 一つ以上の暗視カメラをさらに備えることを特徴とする請求項１乃至１９のいずれかに記載の監視システム。
21. 前記滑走路面が複数の区画に分けられ、一つ以上の可動カメラがＦＯＤ検出のため、前記滑走路を区画ごとに順次走査することを特徴とする請求項１乃至２０のいずれかに記載の監視システム。
22. ＦＯＤ検出時間短縮のため、固定カメラが、飛行機が離着陸した前記滑走路上の場所を検出し、可動カメラが、前記飛行機が離着陸した場所の区画を最初に走査するよう制御されることを特徴とする請求項１乃至２１のいずれかに記載の監視システム。
23. 前記画像処理システムは、前記カメラが撮影した滑走路情景画像から雨に関連した特性を持つ動的クラッタを検出したとき、前記滑走路情景画像から前記動的クラッタを雨クラッタとして除去するために、時間フィルタリングをかけることを特徴とする請求項１乃至２２のいずれかに記載の監視システム。
24. 前記画像処理システムは、前記カメラが撮影した滑走路情景画像から雪に関連した特性を持つ動的クラッタを検出したとき、前記滑走路情景画像から前記動的クラッタを雪クラッタとして除去するために、時間フィルタリングをかけることを特徴とする請求項１乃至２２のいずれかに記載の監視システム。
25. 前記画像処理システムは、前記滑走路の長手（水平）方向に沿い、それぞれ前記滑走路の脇から均一の距離に配置されている複数のマーカまたは滑走路灯を利用して、前記滑走路の画像の画素を、現実の座標系における精確な座標にマッピングする滑走路情景較正を行うことを特徴とする請求項１乃至２４のいずれかに記載の監視システム。
26. 前記画像処理システムは、滑走路中心線の両側を、平行かつ水平方向に走る滑走路線および前記滑走路中心線を利用し、二つの垂直方向の画素マッピング率を導き出し、前記滑走路の画像の画素を、現実の座標系における精確な座標にマッピングする滑走路情景較正を行うことを特徴とする請求項１乃至２５のいずれかに記載の監視システム。
27. 前記画像処理システムは、モノスコープビジョンおよびモノスコープカメラにより撮影された較正済みの滑走路情景画像を利用して前記滑走路上の前記ＦＯＤの位置および距離を判断する請求項１乃至２６のいずれかに記載の監視システム。
28. 前記画像処理システムは、固定カメラおよび較正済みの滑走路情景画像から判断された前記ＦＯＤの位置および距離を利用して、可動カメラをＦＯＤに対しパンおよび／またはティルトおよび／またはズームおよび／またはフォーカスするよう自動的に制御し、前記ＦＯＤの十分に詳細な望遠画像を得て、検出されたＦＯＤの検証、または誤警報の防止を可能とすることを特徴とする請求項１乃至２７のいずれかに記載の監視システム。
29. 前記画像処理システムは、前記滑走路上の同一の区画を監視する二つのカメラが撮影した二つの画像を比較して得られる差分画像からＦＯＤの距離および位置を算出することが可能となることを特徴とする請求項１乃至２８のいずれかに記載の監視システム。
30. 滑走路上の異物、破片、損傷（ＦＯＤ）を検出する監視方法であって、
    前記滑走路の画像を撮影する工程と、
    前記滑走路上のＦＯＤを検出するために撮影された画像の適応画像処理を行う工程と、を有する監視方法であって、
    前記適応画像処理を行う工程は、様々な環境状況における最適なＦＯＤエッジ抽出のための一つ以上の閾値を適応的に推定し、漸次的な学習を経た背景画像エッジマップに基づく統計的手法を用いて画素レベル閾値マップを作成するために使用されるグレースケールルックアップテーブル（ＬＵＴ）を算定し、前記画素レベル閾値マップを用いて前記最適なＦＯＤエッジ抽出のための一つ以上の閾値が導き出される画素レベルエッジマップを生成し、
    赤外線照明器またはレーザー照明器の補助照明を使用せずに、昼間および夜間両方の周辺光下のＦＯＤ検出を適応的に行うことを特徴とする監視方法。

Images