JP6449894B2 - シーンのイベントを検出および分類する方法 - Google Patents

Description

本発明の分野は観測されたシーンにおけるイベントの分類の分野である。イベントのこの分類は、車両、船舶、ヘリコプターもしくは飛行機などの航空機、さもなければ軍用もしくは民間の基本的施設の自己防護または付帯的な防護のための、発砲の前または発砲の後の脅威の検出の枠組みに含まれる。

これらのプラットフォームは、プラットフォームの周りの３６０°の方位角でのすべての方向から、または、地上のプラットフォームに対して２Πステラジアン以上の（超半球状の）、さもなければ空中のプラットフォームに対して４Πステラジアンの立体角を有する領域で発生するさまざまなタイプの脅威にさらされる傾向がある。これらの脅威は、弾薬の発砲、レーザ照射、兵器照準システム、それらを使う人間（射手）またはそれらが統合される可能性があるプラットフォームである。

脅威検出の機能、反応手段の機能、防護の機能、または車両のもしくはその乗組員の生き残りの機能および報復の機能を統合する「ソフトキル」（発砲の前の無効化）または「ハードキル」（発砲後の無効化）タイプのいくつかのシステムは、非常に短い反応時間でのリアルタイム検出機能を要求する。

このような脅威の多様性に適合する利用可能な装置の品目は、現在非常に少ない。しかしながら、
− 音響ソリューション、またはレーダ、または帯域２赤外線またはＭＷＩＲ（中波長赤外線３μｍ〜５μｍ）またはＵＶ（紫外線）さもなければこれらの技法の組合せに基づいた、銃撃の開始の検出器（または「敵対火表示器（Ｈｏｓｔｉｌｅ Ｆｉｒｅ Ｉｎｄｉｃａｔｏｒ）」を表す「ＨＦＩ」）、
− 弾薬の砲口爆風および超音波を検出するための音響ソリューションに基づいた、または、狙撃者の照準手段を、キャッツアイ効果（ポインテッド・オプティクス・ディテクタ（Ｐｏｉｎｔｅｄ−Ｏｐｔｉｃｓ Ｄｅｔｅｃｔｏｒ）−ＰＯＤ）によって検出するための、狙撃者検出器、
− レーダ、ＵＶまたはＭＷＩＲ検出に基づいた、ミサイル発進検出器（Ｍｉｓｓｉｌｅ Ｄｅｐａｒｔｕｒｅ Ｄｅｔｅｃｔｏｒ）（ＭＤＤまたはミサイル警戒センサ（Ｍｉｓｓｉｌｅ Ｗａｒｎｉｎｇ Ｓｅｎｓｏｒ）−ＭＷＳ）、
− 軍事用途に使われるレーザの波長の光学検出に基づいたレーザ警戒検出器（Ｌａｓｅｒ Ｗａｒｎｉｎｇ Ｄｅｔｅｃｔｏｒ）（またはＬＷＤ）
が存在する。

これらのタイプの受信機は、戦闘機などの高付加価値飛行機上で時々見いだされる。装甲車両上では、プラットフォームの価値と比較した、このような装置の単位コストおよびそれらを防護システムへ統合するコストのために、それらはもっとまれである。

ＬＷＤまたはＭＤＤは２０年以上市場に出ているが、陸上車両上で実際の販路は何も見いだされていない。

少数の会社が、Ｎカメラ−例えば、３６０°有効範囲を確実にするように各々９０°の方角の扇形をカバーする、４個−を関連付ける技法に基づいて、ミサイル発射または銃撃を検出するために技術的進歩のさまざまなレベルで装置を提案する。Ｎ個の分散および同期したカメラのこれらのネットワークはまだ、統合するために高価で複雑な解決策を構成し、実際法外な費用がかかる。実際、今日たいていの装甲車両は、それらの装甲以外の防護手段を持っていない。実際に、陸上領域における既存の解決策は、完全な防護システムを組み立てることのコストおよび難しさに本質的に起因して、満足なものではない。実際に、人が、脅威またはその効果を無効化ししたがって乗組員またはプラットフォームの生き残りを確実にすること、さもなければミッションを遂行し続けることができることを確実にするように、どのように反応するべきか知らない場合、脅威を検出することは役に立たない。

本発明の目的は、これらの欠点を軽減することである。

より正確には、本発明の主題は、移動式のプラットフォームに取り付けられ、処理ユニットと関連付けられた、ＶｉｓＮＩＲ（可視近赤外線）検出器と呼ばれる、０．６μｍ〜１．１μｍ波長帯における検出器、およびＳＷＩＲ（短波長赤外線）検出器と呼ばれる、０．９〜１．７μｍ波長帯、または帯域１における検出器を含む、いくつかの検出器を装備した単一瞳撮像システムを用いてシーンの発砲脅威タイプのイベントを検出および分類する方法であって、方法は、ＶｉｓＮＩＲ画像と呼ばれる、ＶｉｓＮＩＲ検出器から生じるシーンの連続した２次元画像、および、ＳＷＩＲ画像と呼ばれる、ＳＷＩＲ検出器から生じＶｉｓＮＩＲ画像と同期されるシーンの連続した２次元画像を取得するステップと、ＶｉｓＮＩＲ画像を表示するステップと、処理ユニットを介してＶｉｓＮＩＲ画像およびＳＷＩＲ画像を処理するステップとを含む。それは、画像を処理するこのステップが以下のサブステップすなわち、
− 各々のピクセル（ｘ_１，ｙ_１）および隣接するピクセルに対して、１つのＳＷＩＲ画像から別のＳＷＩＲ画像への照度における変動およびこれらのいわゆるＳＷＩＲ照度のピーク値ｅ_１（ｔ）を決定するように前記連続したＳＷＩＲ画像を比較するサブステップであって、
ＳＷＩＲ照度におけるこの変動が所定の照度閾値より大きい場合、前記閾値より大きい、ＳＷＩＲ照度におけるこの変動は、イベントｉの識別特性として指定され、イベントは前記ピクセル（ｘ_１，ｙ_１）と、または考慮されるピクセルの重心と関連付けられ、
− イベントｉの日付ｔ_ｉが決定され、
− イベントｉの識別特性の時間的形状および持続時間δｔ_ｉが決定され、
− ピクセル（ｘ_１，ｙ_１）にまたは重心に対応する、ピクセル（ｘ_２，ｙ_２）の座標および隣接するピクセルの座標が、ＳＷＩＲ画像と同期されたＶｉｓＮＩＲ画像において決定され、このピクセル（ｘ_２，ｙ_２）およびこれらの隣接するピクセルに対して、
○ １つのＶｉｓＮＩＲ画像から別のＶｉｓＮＩＲ画像への照度における変動およびこれらのいわゆるＶｉｓＮＩＲ照度のピーク値ｅ_２（ｔ）が計算され、ＳＷＩＲ照度およびＶｉｓＮＩＲ照度におけるこれらの変動ならびにＳＷＩＲ照度およびＶｉｓＮＩＲ照度のピーク値ｅ_１（ｔ）およびｅ_２（ｔ）が所定のルックアップテーブルに基づいて前記イベントの温度を推定するように比較され、
■ シーンが日中のシーンであり温度が温度閾値より大きい場合、イベントは誤警報であり（＝イベントは拒絶され）前のステップは別のピクセルで繰り返され、
■ そうでなければ、
○ シーンの要素の角速度およびプラットフォームの速度の測定値、ならびにＶｉｓＮＩＲ画像に基づいて、シーンの対応する地点の距離Ｒ_ｉは、このピクセルのＳＷＩＲ照度およびＶｉｓＮＩＲ照度に基づいておよびこの距離Ｒ_ｉに基づいてイベントｉの強度Ｉ_ｉを計算するように推定され、
○ イベントの総エネルギーＥ_ｉは、イベントの識別特性の時間的形状、および強度Ｉ_ｉに基づいて推定され、
− イベントｉは、その持続時間δｔ_ｉ、その温度Ｔ_ｉ、その強度Ｉ_ｉおよびそのエネルギーＥ_ｉの関数として分類される、
サブステップと、
− 前のステップはＳＷＩＲ画像の別のピクセルに対して繰り返されるサブステップと
を含むことを主に特徴とする。

この方法により、ＶｉｓＮＩＲ検出器は、おそらくマルチスペクトルの、ＳＷＩＲタイプの１つの（またはいくつかの）検出器の併用を通して、およびこれらのイベントの持続時間の属性、温度の属性および強度の属性を決定することによって、イベント（または脅威）を検出、角度特定および分類するためのまたは誤警報を排除するための補足的機能とともに、高分解能の昼夜の視角の基本機能を確実にすることを可能にする。

イベントが、例えば４×４ピクセルより多い、いくつかの隣接したピクセルと関連付けられるとき、ＳＷＩＲ帯域におけるイベントの輝度が決定され、イベントはＳＷＩＲ領域におけるその輝度の関数として同様に分類される。

可視近赤外線帯域において、イベントと関連付けられた見かけ上の輝度を測定することが同様に可能である。これらの２つの輝度、ＳＷＩＲおよびＶｉｓＮＩＲは、より正確に（前述したようにすでに推定された）イベントの温度を推定することを可能にする。さらに、イベントの距離を推定して、その大きさ、その強度およびその総エネルギーを推定することが可能である。

好ましくは、イベントは、任意選択で関連距離を伴って、表示されたＶｉｓＮＩＲ画像上にはめ込まれる。それは、シンボル、例えば関連データを有する着色されたレチクルをはめ込むことによって拡張現実感にはめ込むことができる。この距離情報は、検出された脅威の分類をよりロバストにすることを可能にし、脅威のまたは優先度の分類の程度を評価することおよび我々がこの脅威の致死性範囲内にいるかどうかを評価すること、ならびに任意選択で自動的にまたはオペレータによって管理された方式で（例えば、移動、スモークグレネードの点火によるマスキング、脅威となる射撃陣地を無効化するための報復、弾薬を無効化するための報復）、適切な報復に着手することを可能にする。

本発明の特徴によれば、処理ユニットは、イベント管理システムに接続され、検出および分類方法は、分類されたイベントおよびその距離に基づいて、この管理システムをトリガするステップをさらに備える。

本発明の主題は同様に、コンピュータプログラム製品であって、前記コンピュータプログラムは、前記プログラムがコンピュータ上で実行されるとき、上述の方法のステップを行うことを可能にするコード命令を含む。

本発明の主題は同様に、シーンのイベントを検出および分類するシステムであって、システムは、
− 移動式のプラットフォームに取り付けられ、可視近赤外線検出器およびＳＷＩＲ検出器を含む、いくつかの検出器を装備した、シーンの単一瞳撮像のためのシステムと、
− 検出器に接続された処理ユニットと、
− シーンの地点と撮像システムとの間の距離を推定する手段と、
− 処理ユニットに接続された表示装置と、
を備え、
処理ユニットが上述の検出および分類方法を実施する手段を備えることを特徴とする。

本発明の他の特徴および利点は、非限定的な実施例として添付の図面を参照して与えられる、以下の詳細な説明を読めば明らかになるであろう。

本発明による方法を実施するために使用される例示的なシステムを概略的に表す。 本発明による方法のステップの例示的なフローチャートを表す。 このイベントに関連付けられた距離を伴うＳＷＩＲ画像上で検出されたイベントの、ＳＷＩＲ検出器によって得られた画像の例である。 このイベントに関連付けられた距離を伴うＳＷＩＲ画像上で検出されたイベントの、はめ込みなしのＶｉｓＮＩＲ検出器によって得られた画像の例である。 このイベントに関連付けられた距離を伴うＳＷＩＲ画像上で検出されたイベントの、はめ込み付のＶｉｓＮＩＲによって得られた画像の例である。 分解されたイベントの例示的な拡大ＳＷＩＲ画像を提示する。 脅威の属性の関数として決定される脅威分類の実施例を示す。

図にまたがって、同じ要素は同じ参照でラベル付けされる。

本発明による検出および分類方法は、１つの場合可視−ＮＩＲ（可視領域を含む０．６μｍ〜１．１μｍさもなければ０．４μｍ〜１．１μｍ）検出器２２、およびもう１つの場合帯域１またはＳＷＩＲ（０．９μｍ〜１．７μｍ）検出器２１を含む、少なくとも２つの焦点面を可能にするように設計された光学部品１０を備える、図１で描写される単一瞳撮像システムを用いて実施される。この光学部品は、好ましくは、観測されるべきシーンのパノラマ画像を各々の検出器上に形成するように設計される。光学部品は、半球状またはより大きい視野のヘッドモジュール１１を備え、画像を形成するための光学要素１２、ダイクロイックスプリッタ１３、ならびに各々のスペクトルチャンネル上の適合光学部品１４および１５がヘッドモジュール１１に続く。反射屈折の組合せ（ガラスでできた鏡およびジオプタ）は例えば、非常に広いスペクトル帯すなわち、可視の、近赤外線（ＮＩＲ）および帯域１（ＳＷＩＲ）で動作することを可能にするように使用される。２つの検出器に共通の光学部品を使用することによって、これらの検出器から画像に対する視差効果が生じるのを回避することが可能になる。

例えばＩｎＧａＡｓに基づいた、ＳＷＩＲマトリックス検出器２１は、通常、４００Ｈｚの画像レートで３０μｍの間隔において３２０行×２５６列、または、現在の最先端に対応する、３００Ｈｚの画像レートで１５μｍの間隔において６４０行×５１２列のマトリックスフォーマットを有する。この検出器は、通常、６４０×５１２フォーマットでピクセルに対して４ｍｒｄの空間分解能を有する。より大きいフォーマットを予想することができる。しかしながら、大部分は非常に短い（一般に１００ｍｓ未満の持続時間）脅威を分類するための画像レートおよび時間応答の必要条件は、２００Ｈｚ以上の取得レートまたは小さい口径を分類することが望ましい場合１０００Ｈｚの取得レートさえ要求する。検出器は、ＲＯＩＣ（「読出し集積回路（Ｒｅａｄ Ｏｕｔ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）」を表す）と呼ばれる、その読出しおよび多重化回路を統合する。

ピクセルは、１つまたは複数の適切なフィルタ、すなわち、
− 約１．０６４μｍの狭帯域および１．４μｍを上まわり検出器のカットオフ波長、例えば１．７μｍまたはそれ以上までの広帯域を同時に通過させる、ピクセルのマトリックス２１１全体にわたる単一のフィルタ、
− 例えば２×２タイリング上の、ピクセルに各々適したいくつかの異なるフィルタであって、
○ 爆発の開始識別特性の検出のための副帯域（１．４〜１．７μｍ）
○ レーザスペクトル線に調整された狭帯域（１．０６μｍ、１．５μｍ、．．．）
を含むフィルタ、
などを備える。

読出し回路またはＲＯＩＣは、検出器の近接電子装置（またはＥ−ｐｒｏｘ）２１０に接続され、ＲＯＩＣおよび／またはＥ−ｐｒｏｘは、特定の機能、例えば、
− ２００Ｈｚを上まわるまたは５ｍｓ未満の期間および不感時間のない積分時間の高レート読出しであって、積分時間は画像フレーム取得期間に等しいまたは非常に近い、
− デュアルスロープ、例えばルートまたは対数非線形応答、飽和カウントダウン前のリセット、などのさまざまな方法で達成され得る高ダイナミックレンジ（ＨＤＲモード）、
などを統合する。

ＣＭＯＳシリコン検出器は、例えば、可視検出器２２として使用される。それは高い空間分解能（例えば１ピクセルに対して１ｍｒｄ）を有し、２５Ｈｚのレートで、またはより一般的には２５Ｈｚと１００Ｈｚとの間のレートで動作する。ｓ−ＣＭＯＳ（サイエンティフィックＣＭＯＳ）などの、低雑音および増幅ならびに列方向の並列なアナログ−デジタル変換を有する４Ｔまたは５ＴのＣＭＯＳマトリックス２２１（ピクセルに４個または５個のトランジスタを含む）は、このような検出器の例として引用することができる。ＣＭＯＳ検出器２２１は、検出器の近接電子装置（またはＥ−ｐｒｏｘ）２２０に接続される、検出器の読出しおよび多重化回路（またはＲＯＩＣ）を統合する。ＲＯＩＣと関連付けられた近接電子装置は、日中におよび夜間において最大の性能で取得した画像を利用することを可能にするために、アナログ−デジタル変換および信号の復元（ＮＵＣ−不均一性補正（Ｎｏｎ Ｕｎｉｆｏｒｍｉｔｙ Ｃｏｒｒｅｃｔｉｏｎ））のすべての動作を遂行する。近接電子装置は、オペレータ用のシーン表示機能を確実にするために表示装置４０に接続される。可視画像４２は表示されるが、ＳＷＩＲ画像４１は必ずしも表示されない。

これらの検出器２２、２１は、２つの検出器によってそれぞれ得られた可視画像４２およびＳＷＩＲ画像４１を処理するためのユニット５０に接続され、ユニット５０は、図１および、図２のフローチャートと関連して説明される以下のステップを実施することが可能である。脅威（またはイベント）は、取得された画像上で光学的識別特性によって特徴づけられる。本発明によれば、イベントが検出されてそれから４個の属性が定義され、属性に基づいてこれらの光学的識別特性が分類されることになる。

全ての脅威は、スペクトル発光領域のために、スクリーンを見るときまたは直接見るときでさえオペレータにとって目で認識することはしたがって非常に困難である、非常に短い光学的識別特性によって特徴づけられる。したがって、それらは自動的な処理を通して検出されなければならない。

識別特性の時間プロファイル、すなわちそれらの持続時間、およびおそらく立上り時間および降下プロファイルは、第１の属性を構成し、それは次の方式で得られる。

イベントは、第１に検出手段５１によって検出され、その特性のいくつかが次の方式で推定される。ＳＷＩＲ画像４１と呼ばれる、観測されるべきシーンの画像は、ＳＷＩＲ検出器によって連続的に取得される。ＶｉｓＮＩＲ画像４２と呼ばれる、このシーンの画像は、可視検出器によって同時に取得され、これらのＳＷＩＲ画像およびＶｉｓＮＩＲ画像は、検出器を駆動および同期するための電子装置３０を用いて互いに時間的に同期され、そして次に分類目的のためにメモリに格納される。この同期は、両方の検出器に対して同じレートで画像を取得することから生じ得るが、前述したようにレートは一般に異なっている。

ＳＷＩＲ画像４１は、ＳＷＩＲ照度における変動を各々のピクセル（ｘ_ｉ１，ｙ_ｉ１）に対して決定するために互いに比較される。照度ｅ_ｉ１は、脅威の画像が形成されるピクセル上で積分された信号によって与えられる。照度におけるこの変動が所定の閾値または時空間的背景の識別特性に従って適合され得る閾値より大きい場合、それはイベントのＳＷＩＲ識別特性を表すとみなされる。イベントｉは、図３ａに示すように検出される。照度閾値は通常、この段階で望ましい検出確率および誤警報率に応じて、背景の標準偏差における変動の２倍から１０倍である。Ｗ／ｍ^２単位の照度ｅ_ｉ１は、ＳＷＩＲ検出器、その光学部品１５およびその可能なフィルタによって決定されたスペクトル受信帯域でこのように決定される。

秒単位での変動の持続時間δｔ_ｉ、すなわち、照度におけるこの変動がこの閾値より大きい持続時間は、同様に決定される。この持続時間δｔ_ｉは、したがって、イベントを分類するための第１の属性を構成する（ステップＡ）。

ＳＷＩＲ領域で遂行されるこのイベント検出に基づいて、同じ視野において同期方式で収集されたフラックスレベルをＶｉｓＮＩＲ画像４２上で測定することが可能になる。次のことが遂行される。

手段５３は、前記ＳＷＩＲ画像と同期されたＶｉｓＮＩＲ画像４２におけるこのイベントに対応するピクセルの座標（ｘ_ｉ２，ｙ_ｉ２）を決定するために使用される。ＳＷＩＲ画像およびＶｉｓＮＩＲ画像の寸法が同じとき、可視画像におけるピクセルの座標はＳＷＩＲ画像のピクセルの座標と同一であり、我々はｘ_ｉ１＝ｘ_ｉ２およびｙ_ｉ１＝ｙ_ｉ２を得る。図３の例におけるようにＶｉｓＮＩＲ検出器の空間分解能がＳＷＩＲ検出器の空間分解能より大きいためＶｉｓＮＩＲ画像がＳＷＩＲ画像よりもっと分解される場合、ＶｉｓＮＩＲピクセルの座標は、検出がなされるＳＷＩＲピクセルに対応して決定される。ＶｉｓＮＩＲピクセルおよびＳＷＩＲピクセルに対するこの対応づけ動作は、検出器マトリックスが光学部品に統合された後に工場で遂行され得る。隣接したＳＷＩＲピクセルで検出がなされる場合、その重心の位置が決定され、この重心に対応するＶｉｓＮＩＲピクセルが位置を特定される。ＶｉｓＮＩＲ帯域でピーク信号を測定することによって、またはイベントによって照らされた隣接したピクセルの寄与を合計することによって、この受信器のスペクトル帯におけるＷ／ｍ^２単位でのイベントのＶｉｓＮＩＲ照度ｅ_ｉ２が決定される。ＶｉｓＮＩＲチャンネルでイベントが検出できない可能性がある。この場合、照度の振幅が雑音または不確実性に対して低すぎるので、照度ｅ_ｉ２およびゼロ、または、決定することができない。

このピクセルに対して比率ｅ_ｉ２／ｅ_ｉ１が計算される。ＳＷＩＲ照度に対するＶｉｓＮＩＲ照度のこの比率によって、属性を計算するための手段５４を介して、イベントの（Ｋ単位の）温度Ｔ_ｉを推定すること（ステップＢ）が可能になる。この温度は、光学的識別特性の第２の属性である。この目的で、例えば、その寄与が温度の関数として２つのスペクトル帯、ＳＷＩＲおよびＶｉｓＮＩＲ、に対して統合される、プランクの法則を使用して、照度のこれらの比率と対応する黒体または灰色体温度との間の対応づけを確立することを可能にする所定のテーブルが使用される。２つのチャンネルから生じるデジタル信号は、このユニットで測定値を提供するためにＷ／ｍ^２で較正される。あるいは、検出器は、実験室で較正黒体を観測するときに検出器が供給する信号を測定することによって較正することができる。

この温度は、通常、太陽またはその変調または雲によるその散乱、さもなければ鏡、金属製の外形（窓または道標の外形など）による、さもなければ水上での反射によるその反射からなる誤警報の原因を排除するために使用される。実際に、移動式プラットフォーム上で、これらの太陽の反射は、めざす弾薬の時空間的識別特性に非常に近いＳＷＩＲ領域における時空間的識別特性を生成する傾向がある。黒体温度が約５８００Ｋである、太陽またはその反射は、２０００Ｋ未満の黒体温度を有する爆発の開始の花火の識別特性と関連付けられたものよりずっと強い短波長（可視および近赤外線）における極端な識別特性を生成することになる。したがって、可視または近赤外線領域における極端な識別特性の検出により、同じ瞬間的な視野をカバーしているピクセル上のＳＷＩＲで起こり得る検出を無効化することが可能になる。可視検出器上で収集されたフラックスレベルにより、温度を介して、イベントの検出を有効にするまたは拒絶することが可能になる。すなわち、日中のシーンに対して、温度が閾値（例えば５０００Ｋ）より大きい場合、このイベントは誤警報であり、そうでない場合、イベントは有効にされる（ステップＣ）。この有効にされたイベントは、さらに、オペレータの注意のために可視画像上にはめ込むことができる。

この温度属性は、有利には、第１の属性（持続時間）と並列に、処理ユニットによって決定される。

これらの脅威が発生するすべての軍需品は、その範囲を超えると脅威がもはや効果的でない、致死性または有効性の範囲Ｐによって特徴づけられる。それらの範囲は、ＲＰＧまたは短距離対戦車ロケットに対するクラス１００ｍ、および、ミサイルの弾径およびミサイルの装薬に応じた、ミサイルのタイプ、または砲弾射撃に応じて、対戦車ミサイルに対するクラス５００ｍから８ｋｍである。

本発明によれば、処理ユニットは、可視画像４２の地点（シーン−撮像システムの対象地点）の距離Ｒ_ｉを推定するための手段５２を備える。

撮像システムは、例えば陸上の、プラットフォーム中に設置される。ＶｉｓＮＩＲ検出器の基準のフレームで高度および方角方向を確認することによって、ならびにプラットフォームに対して、またはより望ましくは（地面に対するプラットフォームの相対位置に関する情報を利用することによって）地面に対して、高さおよび方向づけにおいてその位置を確認することによって、水平な平面の地面を想定することによって、またはより望ましくは、例えば車両のＧＰＳ位置によって、および、地平線の輪郭を提供する、可視検出器によって供給される画像から生じるデータによって、もしくは画像のフィールド中のランドマークの場所によって、図示されたデジタル地形モデル（ＤＴＭ）を利用することによって、それらの地点の見かけ上の高度の関数として地面からの画像の地点の距離を推定することが可能である。プラットフォームが基本的施設に固定されるとき、その設置の間に、陸上のシーンの可視画像のすべての地点をその距離と対にすることが可能である。プラットフォームが移動式であるとき、シーンの特徴的な地点の角速度は、撮像システムの角度分解能のため、良好な精度で連続したＶｉｓＮＩＲ画像の間で測定することができる。シーン全体の角速度のこのフィールドは、オプティカルフローと呼ばれる。それによって、フィールドの回転および、オプティカルフローがゼロである、（フィールドの逆回転の後の）プラットフォームの速度ベクトルの方向を測定することが可能になる。パノラマ撮像システムの画角の広い有効範囲によって、プラットフォームの速度ベクトルの方向が観察視野の中にありピクセルと一致することを確実にすることが可能になる。プラットフォームの速度、その挙動およびその推進によって供給される情報を確認することによって、または慣性ユニットからの情報、さもなければおそらく、短距離地上オプティカルフロー、シーンの要素の角速度の測定値および、プラットフォームの速度ベクトルに一致するピクセルと角速度が推定されるシーンの要素の画像に関連付けられた方向との間の角度偏移の測定値を利用することによって測定された情報を利用することによって、その距離Ｒを推定することができる。

図３ｃに示すように、イベントｉと関連付けられた距離Ｒ_ｉは、可視画像４２上にリアルタイムで表示することができ、イベントｉは、例えば、着色されたレチクルなどの所定のシンボルを使用して可視画像上にはめ込まれる。図３ａに示すＳＷＩＲ画像４１は、一般に表示されない。

このイベントに対して得られる距離および可視照度に基づいて、手段５４は、イベントの強度Ｉ_ｉを（Ｗ／ｓｒで）計算するために使用され、これが第３の属性である（ステップＤ）。実際に、ＳＷＩＲ照度の振幅は、１／Ｒ^２法則を通して距離Ｒに、および距離Ｒに依存する透過係数をもたらすことになる大気減衰Ｔ_ａｔｍに依存することが思い出される。我々は、
Ｉ_ｉ＝（１／Ｔ_ａｔｍ）ｅ_ｉＲ_ｉ ^２
を得る。

ＳＷＩＲ画像４１において、発生源の光学的識別特性は、分解されるか（いくつかのピクセルの上に拡張される）もしくは分解されず（発生源の画像は単一ピクセル上で形成される）、または、中間の状況で、ピクセルのサイズ、光学部品の焦点距離および帯域１での光学部品のＭＴＦ（変調伝達関数（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ））によって定義された瞬間的な視野に対してほとんど拡張されない。

図３または図４の例で示すように識別特性が空間的に分解されるとき、ピクセル上に見られるピーク信号の振幅に対応する照度ｅ_ｉ１は、積分時間の間に識別特性の輝度によって決定され（ステップＥ）、手段５４によって得られる。この値は、脅威を分類するための第４の属性を構成する。この属性は、分解されない発生源によって供給される照度の場合のように１／Ｒ^２法則を通して距離Ｒに依存しないので、非常にロバストである。この場合、イベントのＷ／ｓｒ／ｍ^２単位での輝度Ｌ_ｉは、関係式
Ｌ_ｉ＝ｅ_ｉ１／［Ｔ_ａｔｍ（ＩＦＯＶ）^２］
を通してピクセル上で見られるピーク照度によって与えられ、式中ＩＦＯＶは検出器の瞬間的な視野の立体角である。あるいは、平均輝度は、発生源の画像が形成される隣接したピクセルによって収集された信号ｅ_ｉ１を積分し、分解されたイベントが見られるステラジアン単位の立体角Ωで割ることによって与えることができる。受信した照度は、距離Ｒに依存する（１／Ｒ^２法則）ので、それは脅威を分類するための属性を構成しない。撮像システムがプラットフォーム（タレット、「パンおよびチルト」プラットフォーム）に連接された部材の上に取り付けられている場合、シャシに対するＳＷＩＲ検出器の動きを知ることによって、ＳＷＩＲ検出器の基準のフレームでまたはプラットフォームの基準のフレームで高度および方角において角特定を可能にすることによって、この識別特性の重心だけが意味を持つ。このイベントはそれから、その持続時間、その温度、その強度およびその輝度の関数として「分解」されて分類される。

最終的に、イベントの大きさと、およびその持続時間と関連付けられた、イベントの強度またはその輝度によって、脅威の範囲およびその弾薬の推定に関連し得るイベントの（Ｊ単位の）エネルギーＥ_ｉを推定すること（ステップＦ）が可能になる。それらは手段５４によって計算される。

イベントｉが分解されるとき、我々は、Ｅ_ｉ＝Ｌ_ｉΩＲ_ｉ ^２４Πδｔ_ｉを得る。

イベントが分解されないとき、我々は、Ｅ_ｉ＝Ｉ_ｉ４Πδｔ_ｉを得る。

これらの４個（識別特性が分解されない場合）または５個（識別特性が分解される場合）の属性によって、手段５５で脅威をロバストに分類することが可能になる。イベントがその温度に基づいて有効にされているまたは、むしろ、誤警報であるとみなされていないとき、イベントはそれから、その持続時間、その温度、その強度、そのエネルギーおよびおそらくその輝度、ならびに図５のテーブルに示すような所定のクラスに基づいて分類される。これらのステップはＳＷＩＲ画像の各々の他のピクセルに対して繰り返される。

脅威の分類とイベントの距離およびエネルギーの推定を関連付けることによって、撮像システムまたは観察者が脅威の致死性領域Ｐ内に位置しているかどうかを決めること、および、必要かつ可能な場合、リアルタイムで適切な報復に着手することが可能である。報復は、図１に示すように処理ユニットの手段５６によって自動的に、またはオペレータによって手動でトリガすることができる。

この検出および分類方法は、具体的には、コンピュータプログラム製品に基づいて実施することができ、このコンピュータプログラムは、方法のステップを行うことを可能にするコード命令を含む。それはコンピュータによって読取り可能な媒体に記録され、ＳＷＩＲ画像と可視画像を同期させるために同様に使用される。媒体は、電子式、磁気式、光学式、電磁式とするか、または赤外線方式の配布媒体とすることができる。このような媒体は例えば、半導体メモリ（ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリ・メモリ（ＲＯＭ））、テープ、磁気または光学式ディスケットまたはディスク（コンパクトディスク−リード・オンリ・メモリ（ＣＤ−ＲＯＭ）、コンパクトディスク−リード／ライト（ＣＤ−Ｒ／Ｗ）およびＤＶＤ）である。

Claims (8)

1. 移動式のプラットフォームに取り付けられ、処理ユニット（５０）と関連付けられた、ＶｉｓＮＩＲ検出器（２２）と呼ばれる、０．６μｍ〜１．１μｍ波長帯における検出器、およびＳＷＩＲ検出器（２１）と呼ばれる、０．９μｍ〜１．７μｍ波長帯における検出器を含む、いくつかの検出器を装備した単一瞳撮像システムを用いてシーンの発砲脅威タイプのイベントを検出および分類する方法であって、前記方法は、ＶｉｓＮＩＲ画像（４２）と呼ばれる、前記ＶｉｓＮＩＲ検出器から生じる前記シーンの連続した２次元画像、および、ＳＷＩＲ画像（４１）と呼ばれる、前記ＳＷＩＲ検出器から生じ前記ＶｉｓＮＩＲ画像と同期される前記シーンの連続した２次元画像を取得するステップと、前記ＶｉｓＮＩＲ画像を表示するステップと、前記処理ユニットを介して前記ＶｉｓＮＩＲおよびＳＷＩＲ画像を処理するステップと、を含み、前記画像を処理するこのステップは、次のサブステップ、すなわち
   − 各々のピクセル（ｘ_１，ｙ_１）および隣接するピクセルに対して、１つのＳＷＩＲ画像から別のＳＷＩＲ画像への照度における変動およびこれらのいわゆるＳＷＩＲ照度のピーク値ｅ_１（ｔ）を決定するように前記連続したＳＷＩＲ画像を比較するサブステップであって、
   ＳＷＩＲ照度におけるこの変動が所定の照度閾値より大きい場合、前記閾値を超える、ＳＷＩＲ照度における前記変動は、イベントｉの識別特性として指定され、イベントは前記ピクセル（ｘ_１，ｙ_１）と、または考慮される前記ピクセルの重心と関連付けられ、前記画像を処理する前記ステップは、
   − 前記イベントｉの日付ｔ_ｉを決定するサブステップと、
   − 前記イベントの前記識別特性の時間的形状および持続時間δｔ_ｉを決定するサブステップ（ステップＡ）と、
   − 前記ＳＷＩＲ画像と同期された前記ＶｉｓＮＩＲ画像において、前記ピクセル（ｘ_１，ｙ_１）にまたは前記重心に対応する、前記ピクセル（ｘ_２，ｙ_２）の座標および前記隣接するピクセルの前記座標を決定するサブステップと、このピクセル（ｘ_２，ｙ_２）およびこれらの隣接するピクセルに対して、
   ○ １つのＶｉｓＮＩＲ画像から別のＶｉｓＮＩＲ画像への前記照度における前記変動およびこれらのいわゆるＶｉｓＮＩＲ照度の前記ピーク値ｅ_２（ｔ）を計算し、ＳＷＩＲ照度およびＶｉｓＮＩＲ照度におけるこれらの変動ならびに前記ＳＷＩＲ照度および前記ＶｉｓＮＩＲ照度の前記ピーク値ｅ_１（ｔ）およびｅ_２（ｔ）を所定のルックアップテーブルに基づいて前記イベントの温度を推定するように比較するサブステップ(ステップＢ）と、
   ■ 前記シーンが日中のシーンであり前記温度が温度閾値より大きい場合、前記イベントは誤警報であり（ステップＣ）前記前のステップは別のピクセルで繰り返され、
   ■ そうでなければ、
   ○ 前記シーンの要素の角速度の測定値、前記プラットフォームの速度および前記ＶｉｓＮＩＲ画像に基づいて、リアルタイムシーンの対応する地点の距離Ｒ_ｉを推定するサブステップと、
   ○ このピクセルの前記ＳＷＩＲおよびＶｉｓＮＩＲ照度に基づいておよびこの距離Ｒ_ｉに基づいて前記イベントｉの強度Ｉ_ｉを計算するサブステップ（ステップＤ）と、
   ○ 前記識別特性の前記時間的形状および前記強度Ｉ_ｉに基づいて前記イベントの総エネルギーＥ_ｉを推定するサブステップ（ステップＦ）と、
   − 前記イベントｉの持続時間δｔ_ｉ、前記イベントｉの温度Ｔ_ｉ、前記イベントｉの強度Ｉ_ｉおよび前記イベントｉのエネルギーＥ_ｉの関数として前記イベントｉを分類するサブステップと、
   − 前記イベントｉの分類に基づいて前記イベントｉの有効性の範囲Ｐｉを推定するサブステップと、
   − 前記距離Ｒｉと前記有効性の範囲Ｐｉを比較するサブステップと、
   ○ 前記距離Ｒｉが前記有効性の範囲Ｐｉより小さい場合、可能であればリアルタイムで適切な報復をトリガするサブステップと、
   をさらに含む、サブステップと、
   − 前記前のステップは、前記ＳＷＩＲ画像の別のピクセルに対して繰り返されるサブステップと、
   を含むことを特徴とする、シーンの発砲脅威タイプのイベントを検出および分類する方法。
2. イベントが隣接したピクセルに関連付けられるとき、これらのイベントのセットの輝度が決定され（ステップＥ）、このイベントのセットは、前記イベントのセットの前記輝度の関数として同様に分類されることを特徴とする、請求項１に記載のシーンのイベントを分類する方法。
3. 前記イベントは、表示される前記ＶｉｓＮＩＲ画像（４２）上にはめ込まれることを特徴とする、請求項１または２に記載のシーンのイベントを分類する方法。
4. 前記イベントに関連付けられた前記距離は、表示される前記ＶｉｓＮＩＲ画像（４２）上に表示されることを特徴とする、請求項１〜３のいずれか一項に記載のシーンのイベントを分類する方法。
5. 前記報復は、自動的にまたはオペレータによって手動でトリガされることを特徴とする、請求項１〜４のいずれか一項に記載のシーンのイベントを分類する方法。
6. コンピュータプログラム製品であって、前記コンピュータプログラムは、前記プログラムがコンピュータ上で実行されるとき、請求項１〜５のいずれか一項に記載の方法の前記ステップを行うことを可能にするコード命令を含む、コンピュータプログラム製品。
7. シーンのイベントを検出および分類するシステムであって、
   − 移動式のプラットフォームに取り付けられ、ＶｉｓＮＩＲ検出器（２２）およびＳＷＩＲ検出器（２１）を含む、いくつかの検出器を装備した、前記シーンの単一瞳撮像のためのシステムと、
   − 前記検出器に接続された処理ユニット（５０）と、
   − 前記シーンの地点と前記撮像システムとの間の距離を推定する手段と、
   − 前記処理ユニットに接続され、前記分類されたイベントおよび前記分類されたイベントの距離に基づいて、トリガされるように構成された、イベント管理システムと、
   − 前記処理ユニットに接続された表示装置（４０）と、
   を備え、
   前記処理ユニットは、請求項１〜５のいずれか一項に記載の検出および分類方法を実施する手段を備えることを特徴とする、
   シーンのイベントを検出および分類するシステム。
8. 前記検出および分類方法を実施する前記手段は、請求項６に記載のコンピュータプログラムであることを特徴とする、請求項７に記載の検出および分類システム。

Images