JP6679774B2

JP6679774B2 - 海事自動ターゲット認識のためのデータ融合分析

Info

Publication number: JP6679774B2
Application number: JP2019019782A
Authority: JP
Inventors: モデュルサティエンドラ，ハーシャ; ディー．ステファン，ブライアン
Original assignee: Raytheon Co
Current assignee: Raytheon Co
Priority date: 2014-06-03
Filing date: 2019-02-06
Publication date: 2020-04-15
Anticipated expiration: 2035-05-28
Also published as: AU2015271047B2; TWI579777B; EP3152707B1; JP2019070671A; JP2017522548A; US9299010B2; EP3152707A1; AU2015271047A1; WO2015187468A1; US20150347871A1; TW201610864A

Description

本発明による実施形態の一以上の態様は、自動ターゲット認識に関し、より具体的には、レーダー画像における自動ターゲット認識のためのシステム及び方法における複数の分類器の結合に関する。

逆合成開口レーダー（ＩＳＡＲ）は、ドップラー周波数及び射程内のレーダーリターンを分離することにより、移動するターゲットオブジェクトから２次元レーダー画像を構成するのに用いられる信号処理手法である。ＩＳＡＲはレーダープラットフォームが移動してもしなくても可能である。ＩＳＡＲ２次元画像は、あるレンジのドップラービンインデックスにある反射された点散乱体の異なる強度画素よりなる。回転するターゲットの異なる点は、各点がレーダーに対してそれ自体の視線（ＬＯＳ）速度を有し、異なるドップラーシフトが生じる。現在あるＩＳＡＲ自動ターゲット認識（ＡＴＲ）システムは、人間的要素に依存する。かかるシステムでは、訓練されたオペレータがＩＳＡＲ画像を見て、あるターゲット特徴をあらかじめ準備されたテンプレートにマッチングさせる。かかる特徴は、ターゲットの見かけの長さと、支配的な散乱体ロケーションに対する大きさ（ｐｒｏｐｏｒｔｉｏｎｓ）とを含んでもよい。既存のＡＴＲシステムは主として参照テーブルに基づく。これは、ユーザが決めた特徴と分類器とを利用して、ターゲットに最も近いテンプレートを実現するものである。既存のＡＴＲシステムはシミュレーションされたデータを用いて開発されることがある。これは、ノイズスパイク、競合する陸地及び海面状態散乱リターン、レンジ及びドップラー不鮮明化、及び大気コンフロンテーションなど、現実のデータの重要な特性を欠いているかも知れない。かかるシステムは誤差を生じやすく、既知のターゲットタイプと一致しないターゲットを示されると混乱を起こすかもしれない。さらに、既存のＡＴＲシステムは、識別がされるものについて信頼性の評価を提供しないかも知れない。このように、信頼性を改善し、信頼性の推定をし、未知のターゲットタイプを受け入れられるＡＴＲシステムに対する必要性がある。

一実施形態では、複数の分類器の出力を結合することにより自動ターゲット認識を実行するシステムと方法では、レーダー画像から特徴ベクトルを抽出し、３つの分類器に入力する。分類器はガウシアンミクスチャモデルニューラルネットワーク分類器、放射基底関数ニューラルネットワーク、及びベクトル量子化分類器を含む。分類器により生成されるクラス指定は、加重投票システムにおいて結合される。すなわち、加重分類決定の最頻値が、ターゲットの全体的クラス指定として選択される。複数の分類器のクラス指定が同じである限度で、信頼性メトリックを構成してもよい。

本発明の一実施形態によると、ターゲットの自動ターゲット認識をする方法を提供する。該方法は、前記ターゲットの一連のイメージングレーダー画像を受け取るステップと、前記ターゲットの測定された特徴を含む特徴ベクトルを構成するステップと、第１のターゲット認識試行を実行するステップであって、ガウシアンミクスチャモデルニューラルネットワーク分類器を用いて、第１の複数の確率尤度を生成する、前記第１の複数の確率尤度の各々は複数の候補ターゲットタイプの１つに対応するステップと、第１のセットのクラス指定規則を用いて第１のクラス指定を生成する、前記第１のクラス指定は前記複数の候補ターゲットタイプの１つに対応するステップとを含むステップと、第２のターゲット認識試行を実行するステップであって、放射基底関数ニューラルネットワーク分類器を用いて、第２の複数の確率尤度を生成する、前記第２の複数の確率尤度の各々は複数の候補ターゲットタイプの１つに対応するステップと、第２のセットのクラス指定規則を用いて第２のクラス指定を生成する、前記第２のクラス指定は前記複数の候補ターゲットタイプの１つに対応するステップとを含むステップと、第３のターゲット認識試行を実行するステップであって、ベクトル量子化分類器を用いて、第３の複数の確率尤度を生成する、前記第３の複数の確率尤度の各々は複数の候補ターゲットタイプの１つに対応するステップと、第３のセットのクラス指定規則を用いて第３のクラス指定を生成する、前記第３のクラス指定は前記複数の候補ターゲットタイプの１つに対応するステップとを含むステップと、前記第１のクラス指定と、第２のクラス指定と、第３のクラス指定とを組み合わせて、全体的クラス指定を生成するステップとを含む。

一実施形態では、前記第１のクラス指定と、第２のクラス指定と、第３のクラス指定とを組み合わせて、全体的クラス指定を生成するステップは、前記第１のクラス指定と、第２のクラス指定と、第３のクラス指定との加重組み合わせを構成するステップを含む。

一実施形態では、前記第１のクラス指定と、第２のクラス指定と、第３のクラス指定との加重組み合わせを構成するステップは、前記第１のクラス指定を加重２で加重し、前記第２のクラス指定を加重２で加重し、前記第３のクラス指定を加重１で加重するステップを含む。

一実施形態では、前記第１のクラス指定と、第２のクラス指定と、第３のクラス指定とを組み合わせて、信頼性メトリックを生成するステップを含む。

一実施形態では、前記第１のクラス指定と、第２のクラス指定と、第３のクラス指定とを組み合わせて、信頼性メトリックを生成するステップは、前記全体的クラス指定と等しいクラス指定の加重の、前記第１のクラス指定、前記第２のクラス指定、及び前記第３のクラス指定の加重の合計に対する比を求めるステップを含む。

一実施形態では、前記複数の候補ターゲットタイプは、複数の既知のターゲットタイプと、結合ターゲットタイプとを含む。

一実施形態では、前記複数の候補ターゲットタイプは、未知のターゲットタイプを含む。

一実施形態では、前記複数の候補ターゲットタイプは、未知大型ターゲットタイプと未知小型ターゲットタイプとを含む。

一実施形態では、前記未知大型ターゲットタイプは、推定長さは最大の既知のターゲットタイプの長さより３０フィート長いターゲットを含む。

一実施形態では、前記未知小型ターゲットタイプは、推定長さが最小の既知のターゲットタイプの長さより２０フィート短いターゲットを含む。

一実施形態では、前記ガウシアンミクスチャモデルニューラルネットワーク分類器は分類パラメータを含み、前記分類パラメータの１つは、未知のターゲットタイプに対応するクラス指定に応じて調整される。

一実施形態では、前記複数の候補ターゲットタイプは、未定のターゲットタイプを含む。

一実施形態では、第１のセットのクラス指定規則を用いて第１のクラス指定を生成するステップは、前記第１の複数の確率尤度の各々が第１の閾値より小さいとき、前記未定のターゲットタイプに対応する第１のクラス指定を生成するステップを含む。

一実施形態では、第２のセットのクラス指定規則を用いて第２のクラス指定を生成するステップは、前記第２の複数の確率尤度の各々が第２の閾値より小さいとき、前記未定のターゲットタイプに対応する第２のクラス指定を生成するステップを含む。

一実施形態では、前記ターゲットの一連のイメージングレーダー画像を受け取るステップは、前記ターゲットの逆合成開口レーダー画像を受け取るステップを含む。

本発明の一実施形態によると、ターゲットの自動ターゲット認識を行うシステムを提供する。該システムは処理ユニットを有し、該処理ユニットは、前記ターゲットの一連のイメージングレーダー画像を受け取り、前記ターゲットの測定された特徴を含む特徴ベクトルを構成し、第１のターゲット認識試行を実行し、前記実行は、ガウシアンミクスチャモデルニューラルネットワーク分類器を用いて、第１の複数の確率尤度を生成する、前記第１の複数の確率尤度の各々は複数の候補ターゲットタイプの１つに対応するステップと、第１のセットのクラス指定規則を用いて第１のクラス指定を生成する、前記第１のクラス指定は前記複数の候補ターゲットタイプの１つに対応するステップとを含み、第２のターゲット認識試行を実行し、前記実行は、放射基底関数ニューラルネットワーク分類器を用いて、第２の複数の確率尤度を生成する、前記第２の複数の確率尤度の各々は複数の候補ターゲットタイプの１つに対応するステップと、第２のセットのクラス指定規則を用いて第２のクラス指定を生成する、前記第２のクラス指定は前記複数の候補ターゲットタイプの１つに対応するステップとを含み、第３のターゲット認識試行を実行し、前記実行は、ベクトル量子化分類器を用いて、第３の複数の確率尤度を生成する、前記第３の複数の確率尤度の各々は複数の候補ターゲットタイプの１つに対応するステップと、第３のセットのクラス指定規則を用いて第３のクラス指定を生成する、前記第３のクラス指定は前記複数の候補ターゲットタイプの１つに対応するステップとを含み、前記第１のクラス指定と、第２のクラス指定と、第３のクラス指定とを組み合わせて、全体的クラス指定を生成するように構成される。

一実施形態では、前記システムは、前記第１のクラス指定と、第２のクラス指定と、第３のクラス指定とを組み合わせて、信頼性メトリックを生成することを含む。

特徴、態様、及び実施形態を添付した図面と共に説明する。
本発明の一実施形態による自動ターゲット認識するシステムと方法を示すブロック図である。本発明の一実施形態による特徴抽出を示すブロック図である。本発明の一実施形態による特徴ベクトル生成を示すブロック図である。本発明の一実施形態によるガウシアンミクスチャモデルニューラルネットワークの予測分類マッパーを示すブロック図である。本発明の一実施形態による放射基底関数ニューラルネットワークの予測分類マッパーを示すブロック図である。本発明の一実施形態によるグラフィカルユーザインターフェースを示す図である。

添付した図面に関して記載した詳細な説明は、本発明により提供される、海事ＡＴＲのデータ融合分析の例示としての実施形態の説明であり、本発明が構成または利用される唯一の形式を表すものではない。この説明は、例示される実施形態に関して、本発明の特徴を記載する。しかし、言うまでもなく、同一の又は等価な機能及び構造は、異なる実施形態によっても実現でき、この異なる実施形態は本発明の精神と範囲に含まれる。同じエレメント番号は同じエレメントまたは特徴（ｆｅａｔｕｒｅｓ）を示す。

一実施形態では、ＡＴＲ問題は、抽出可能な関連ターゲット特徴を特定することにより始まる。ＩＳＡＲ画像の場合、これは特に重要である。ドップラーディメンションに不確実性があるからである。レンジディメンションは、ターゲットの物理的距離をより適切に表し、特徴抽出目的により直接的に用いることができる。見かけの長さ（Ｌ_ａ）はＩＳＡＲ画像中のターゲットから決定される長さである。対応する真の物理的長さは、見かけの長さをそのアスペクト角Ｑ_ａｓｐで割って求められる。アスペクト角は、レーダー視線（ＬＯＳ）とターゲットの縦軸とにより形成される角度として定義される。この角度は方位角及び仰角の関数である。長さの他に、海事のターゲットは、マスト、上部構造、回転オブジェクト、反射器など、他の特徴（ｄｉｓｔｉｎｇｕｉｓｈｉｎｇｆｅａｔｕｒｅｓ）を有し得る。これらのロケーションは、関心ポイント（ＰＯＩ）とも呼ばれるが、ターゲットを識別し、ターゲット間を見分けるのに用いられる。

特徴抽出（ｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎ）は、クラスを識別する時に重要である。一実施形態では、プロセスは、セグメンテーション手法を用いてターゲット領域を分離することにより始まる。エッジはハフ処理（Ｈｏｕｇｈｐｒｏｃｅｓｓｉｎｇ）により見いだされるターゲットラインを用いて検出される。

図１は、一実施形態によるＡＴＲエンジンプロセスを示す全体的なブロック図である。データ入力は、レーダーデータ１１０と、トレーニングされた分類器パラメータ１１５とを含む。これらはレーダーデータ１１０のターゲット指定を実現する信号処理ブロック１２０に入力される。オフライントレーニングを用いて、トレーニングされた分類器パラメータ１１５を決定する。これをリアルタイムで用いて、入力画像のクラス指定を決定する。信号処理ブロックは、入力２次元画像を生成する画像形成ブロック１２５を含む。第２のステップは、良いフレーム選択ブロック１３０において、分類問題の入力画像の適合性を決定する。画像が適合していると見なされると、マルチフレーム特徴ブロック１３５で画像から特徴ベクトルが抽出される。前のフレームから得られた１次元の特徴の履歴を記憶しておくと、この特徴ベクトル抽出プロセスで役に立つ。抽出された特徴は、ターゲットクラスを決定する予測分類マッパーの入力として機能する。

画像形成ブロック１２５への入力は、レーダービデオフェーズ履歴及び補助データである。この実施形態では、ＩＳＡＲを用いて、ｙ軸がドップラーであり、ｘ軸がレンジである２次元画像を形成する。良いフレーム選択の事前スクリーニングは正しい分類のため必須である。第１の画像スクリーニングアプローチにより、確実に、ターゲットアスペクト角Ｑ_ａｓｐが−４５≦Ｑ_ａｓｐ≦４５°の間隔で生じる。そうでなければ、画像は分類には適合しないフレームとして退けられる。この境界の外側のターゲットアスペクト角により、ターゲットは、レンジ次元またはドップラー次元、又は両方で歪み、真の長さ又は類似のパラメータの決定に誤差が生じる。

図２は、フレームの特徴抽出アルゴリズムのトップレベルのブロック図を示す。破線で囲ったエリアは、マルチフレーム特徴ブロック１３５を表し、各フレームに対して繰り返される。ターゲット領域分離ブロック２１０は、ターゲット領域の粗いシルエットを分離する。このシルエットは、入力画像と併せてサブマスクとして機能し、長さ推定及びハフ処理ブロック２１５への入力を構成する。ターゲットの長さが推定され、ターゲットのレンジ領域がさらに精細化され、ハフ処理アルゴリズムへの入力として機能する。ターゲットのハフピーク及びハフラインが抽出され、ターゲットの長さの推定も精密化される。これは特徴ベクトル生成ブロック２２０への入力として機能する。特徴ベクトル生成ブロック２２０は、フレームの特徴ベクトルを構成する。特徴ベクトルは、分類器トレーニングとテストに用いられる。トレーニングはオフラインで行われ、マルチフレーム特徴ブロック１３５が角トレーニングフレームに対して反復される。トレーニングを、フィールドで取得されたＩＳＡＲデータなど、実際のレーダーデータで行ない、トレーニングにシミュレーションデータを用いることに伴うデメリットを避ける。一組のリアルデータを、トレーニングに用いるサブセットと、テストに用いる第２のサブセットとに分離して、トレーニング後にＡＴＲシステムの性能を評価する。テストはリアルタイムで、１つのフレームに対して行われる。このフレームは、クラス指定が決定されるまで、全ＡＴＲエンジンを通して処理される。

図３は、一実施形態における、フレームの特徴ベクトルを生成するブロックエンジンを表す。ハフラインは、最初、画像中のターゲットの中心ライン、画像ライン、及び正確な長さを分離するのに使われる。正確な長さの推定は、合計規格化レンジプロファイル（ｓｕｍｎｏｒｍａｌｉｚｅｄｒａｎｇｅｐｒｏｆｉｌｅ、ＳＮＲＰ）法を用いて入力されサブマスクされた画像の処理により求められる。この長さ推定は、前出の４つの長さ決定を（メジアン演算子により）平均化したものであり、第１のターゲット特徴である。メジアン演算子の目的は、ランドリターン及び／又はノイズスパイクなどの長さ推定における瞬間的に誤差となる変動を回避することにある。ハフラインのロケーションとそれぞれの（ラインの）指定とを用いて、関連する垂直ラインを抽出する。これらのラインは、記憶されているＳＮＲＰ合計プロファイルに関連するピークのロケーションと比較される。それらが同じ領域にある場合、ラインは、可能性のある関心点（ＰＯＩ）ロケーションとして指定される。ドップラー範囲が所定の閾値より大きいとき、ＰＯＩは反射体／回転体の可能性があるとみなされる。そうでなければ、マスト／上部構造の可能性があると見なされる。ＳＮＲＰピークロケーションとの相関性が高ければ、追加的にＰＯＩ加重を行う。すべてのターゲット領域に対して複数のＰＯＩの１つのレンジ重心を記憶する。各レンジ重心には加重が指定される。領域にＰＯＩが無ければ、加重はゼロである。ＰＯＩのタイプ指定は、ＰＯＩが無ければ０、上部構造／マストは１、又は回転体／反射体は２である。複数領域の利用は、２次元特徴抽出プロセスを１次元プロセスに変換するときに有利であり得る。１次元プロセスでは、標準的でより複雑な分類器を利用できる。この投影により分類プロセスが加速される。ターゲットがより大きい場合、より多くのセクションを利用することにより、ＰＯＩレンジ範囲決定をより正確にできる（すなわち、上部構造はターゲットの複数の隣接領域に広がっていてもよい）。

トレーニングを目的として、特徴ベクトル入力に加え、クラスの分類器パラメータを確定しなければならない。本発明の実施形態は、ガウシアンミクスチャモデルニューラルネットワーク（ＧＭＭ−ＮＮ）、放射基底関数ニューラルネットワーク（ＲＢＦ−ＮＮ）、ベクトル量子化器（ＶＱ）、及び分類器融合方法を含む。この方法はこれらの手法のすべてにより生成されるクラス指定を組み合わせるものである。

図４は、ガウシアンミクスチャモデルニューラルネットワーク（ＧＭＭ−ＮＮ）法を利用する予測分類マッパーを示すブロック図である。ＧＭＭ−ＮＮの場合に確定を要するパラメータは、モデル中のミクスチャコンポーネント又は重心の数、（球状などの）モデルのタイプ、及びその次元である。「ｇｍｍ」関数を用いたＧＭＭの生成には、米国マサチューセッツ州ナティック市のＭａｔｈｗｏｒｋｓ社から入手できるＭＡＴＬＡＢ^ＴＭの一部であるＮｅｔｌａｂニューラルネットワークツールボックスを用いても良い。同ツールボックスの「ｇｍｍｉｎｉｔ」関数を用いて、ＧＭＭ初期化をする。期待最大（ＥＭ）アルゴリズムを用いてＧＭＭをトレーニングし、クラスの入力データを加重ガウシアンコンポーネントのミクスチャとして表す。

テストを目的として、データベース中の各クラス４１０（一実施形態では６つ）、及びそれより非常に大きいサイズの未知のターゲットのクラス（ここでは「未知大型」ターゲットタイプと呼ぶ）、及びそれより非常に小さいサイズの未知のターゲットのクラス（ここでは「未知小型」ターゲットタイプと呼ぶ）が、期待最大アルゴリズムを用いて生成された一組のＧＭＭパラメータにより表される。データベース中のクラスは、ここではクラス１ないしクラス６、又は「ＣＧＣＰＳ」、「ＴＲＢ６」、「ＴＷＲ８２３」、「ＣＧＣＴ」、「ＬＡ」及び「ＭＩＩ」と呼ばれる。これらの６つのクラス及び「未知小型」及び「未知クラス」は、図４では「ＧＭＭクラス１」ないし「ＧＭＭクラス８」とラベルする。テスト特徴ベクトルに直面すると、ＭＡＴＬＡＢ^ＴＭＮｅｔｌａｂツールボックス関数「ｇｍｍｐｒｏｂ」を用いて、（データベース中の６つのクラスと未知大型及び未知小型ターゲットタイプを含む）８つのＧＭＭモデルのそれぞれに関連する確率を見いだす。その結果として起きる最大化を、クラス指定の基準として用いる。クラス指定が適用可能と見なされた場合、ｇｍｍ確率の最大化はクラスに対応する。

一実施形態では、小型未知クラスは、データベース中にある真のターゲット長より平均的に小さい少なくとも２０フィートの長さのターゲットを含むように構成され、大型未知クラスはデータベース中のものより３０フィート長いもので構成される。一様ランダム変数を用いて、小型及び大型の未知ターゲットの両方の長さにバリエーションを与える。その他の特徴、例えば関心ポイントロケーション、その指定、及び加重などは、ランダム変数を用いてランダムに変えられ、未知ターゲットの特徴にもバリエーションを与える。

ＧＭＭ確率決定は、ＧＭＭ確率決定ブロック４１５で行われる。結果として得られる確率は、最大値演算器４２０で処理され、対応するブロック４２５のターゲットのクラス指定、すなわち「ターゲット指定」を行う。２つのクラス間で、差異閾値を越えない確率の分離を有することにより、ｇｍｍ確率が近いとき、その結果として結合クラス（ｊｏｉｎｔｃｌａｓｓ）を決定する。ターゲット結合クラスは、「ＣＧＣＰＳ−ＴＲＢ６」、「ＴＷＲ８２３−ＣＧＣＴ」、及び「ＬＡ−ＭＩＩＩ」であり、ターゲット長さ特性の類似性によりアプリオリに確定される。この結合クラス決定段階において、ターゲットがどの１つの結合クラスにも対応しない２つのクラスにマッチする場合、クラス指定は「未決定（ｕｎｄｅｔｅｒｍｉｎｅｄ）」と呼ばれる。また、確率が、所定の信頼閾値より低い場合、指定が未決定と見なされる。これらのターゲット指定は、オペレータに表示するバーカウンタ４３０の使用の記録を付けて、指定に対してビジュアルな信頼を達成する。

図５は、放射基底関数ニューラルネットワーク（ＲＢＦ−ＮＮ）法の予測分類マッパーを示すブロック図である。ＧＭＭ−ＮＮと同様、８つのクラス（データベース中の６つのターゲット、１つの未知大型、及び１つの未知小型ターゲット）は、一実施形態では、トレーニングのため、ＲＢＦ−ＮＮ法とともに用いられる。未知のターゲットクラスは、上記のＧＭＭ−ＮＮ法と同じ特徴セットバリエーションを利用する。ＲＢＦ−ＮＮにより、隠れた各レイヤノードすなわち「ユニット」５１０は、特徴空間中のベクトルを中心とする釣り鐘状の放射基底関数で表される。

放射基底関数（ＲＢＦ）ベースのニューラルネットワーク（ＮＮ）では、隠れたレイヤー中の各ニューロンは、活性化関数であるＲＢＦから構成されている。加重パラメータは、これらのニューロンの中心と、幅とを表す。出力はＲＢＦの線形結合である。一実施形態では、８つのクラスの各々は、一群の（例えば、３０個の）隠れたユニット５１０を有し、これは各クラスの特徴データを用いて独立にトレーニングされる。入力レイヤーは、隠れたレイヤーへの入力として、１０次元の特徴ベクトルｘｔを用いる：

ここで、Ｍ（例えば、３０）は、基底関数の数であり、ｃ_ｍとΣ_ｍとはそれぞれｍ番目の基底関数の平均ベクトルと共分散行列とであり、σ_ｍ ^２はｍ番目の基底関数の広がりを制御する平滑化パラメータである。ｋ番目の出力は基底関数の線形加重合計の出力であり、すなわち

ここで、ｘ_ｔはｔ番目の入力ベクトルであり、Ｎは独立かつ同じ分布をしたパターンであり、ω_ｋ、０はバイアス項である。図５において、線形結合は合計素子５２０により形成される。隠れたレイヤノードからの出力はラインの加重により加重され、平均二乗誤差（ＭＳＥ）基準を用いて加重を調節する。最急降下法を用いて、特徴ベクトル入力とそのターゲット出力ベクトルとをトレーニングしてもよい。ＭＡＴＬＡＢ^ＴＭＮｅｔｌａｂツールボックスを利用してＲＢＦ−ＮＮを直接トレーニングする。一実施形態では、ＲＢＦネットワークは、（特徴ベクトル中の特徴の数に対応する）１０個の入力と、（クラスの数の）８個の出力と、３０個の隠れたユニットとを有する。隠れたユニットの数は、クラスの分離可能性、複雑性、及びＮＮ悪状態（ＮＮｉｌｌ−ｃｏｎｄｉｔｉｏｎａｌｉｔｙ）を考慮して加重することにより求められる。ＭＡＴＬＡＢ^ＴＭ関数「ｒｂｆ」はＲＢＦを構成及び初期化し、加重は平均が０で分散が１の正規分布を有し、隠れたユニット活性化関数ｒ^４ｌｏｇｒを有する。関数「ｒｂｆｓｅｔｂｆ」を用いてＲＢＦ−ＮＮの基底関数を設定し、球状共分散で固有のＧＭＭをトレーニングすることにより、それらが入力特徴データセットの無条件密度をモデル化するようにしてもよい。

一実施形態では、関数「ｒｂｆｔｒａｉｎ」は２段階トレーニングを行って、入力特徴ベクトルの各行と、対応するクラス指定ベクトルとの間の関係を生成する。中心の決定は、期待最大（ＥＭ）アルゴリズムを用いてＧＭＭを円形共分散（ｃｉｒｃｕｌａｒｃｏｖａｒｉａｎｃｅｓ）とフィッティングする。最大繰り返し回数は１００である。テストを目的として、「ｒｂｆｆｗｄ」関数を用いて、線形出力で、構成されたＲＢＦネットワークを通して前方伝搬する。これにより長さが８の出力ベクトルが得られ（８はクラス数である）、ベクトルの要素はそれぞれのクラスに入る尤度に対応する。このように、最大値に対応するインデックスはその特徴ベクトルの指定クラスである。２つのクラス間で、差異閾値を越えない尤度の分離を有することにより、ＲＢＦ尤度が近いとき、その結果として結合クラス（ｊｏｉｎｔｃｌａｓｓ）を決定する。ターゲット結合クラスは、「ＣＧＣＰＳ−ＴＲＢ６」、「ＴＷＲ８２３−ＣＧＣＴ」、及び「ＬＡ−ＭＩＩＩ」であり、ターゲット長さ特性の類似性によりアプリオリに確定される。この結合クラス決定段階において、ターゲットがどの１つの結合クラスにも対応しない２つのクラスにマッチする場合、クラス指定は「未決定（ｕｎｄｅｔｅｒｍｉｎｅｄ）」である。また、確率が、所定の信頼閾値より低い場合、指定が未決定と見なされる。これらのターゲット指定は、オペレータに表示するバーカウンタ４３０の使用の記録を付けて、指定に対してビジュアルな信頼を達成する。

ベクトル量子化（ＶＱ）法は、トレーニングを必要としないので、ＧＭＭ−ＮＮ法及びＲＢＦ−ＮＮ法より単純である。ＶＱ法は、基準、この場合には入力特徴セットとすべてのトレーニング特徴セットとの間のユークリッド距離を用い、最小値（最近隣）とそのクラス指定とを見つけることを試みる。幾つかの特徴の差分値は他の特徴より本来的に大きいので、スケーリング基準を用いる。例えば、長さ特徴差分は０．２５でスケーリングされてもよい。同様に、ＰＯＩ加重は０．１でスケーリングされ、ＰＯＩ位置とＰＯＩ指定に対しては単位スケーリングを保持する。異なるクラス指定を生成するため、２つの最近隣を見つける。両方の最近隣が（可能性のある８個のクラスのうちの）同じクラスであるとき、クラス指定はそのクラスに設定する。２つの最近隣がアプリオリに決定された結合クラスであるとき、クラス指定はその結合クラスである。２つの最近隣が異なり、異なる結合クラスのメンバーであれば、クラスは未定である。これらのターゲット指定は、オペレータに表示するバーカウンタの使用の記録を付けて、指定に対してビジュアルな信頼を達成する。

分類器融合法は、一実施形態では、ＧＭＭ−ＮＮ法、ＲＢＦＮＮ法、及びＶＱ法の出力クラス指定を利用し、それらを組み合わせて全体的クラス指定にする。第１に、ＧＭＭ−ＮＮとＲＢＦ−ＮＮとの両方の加重は、ＶＱ法の加重の２倍である。ＶＱ法は、ＡＴＲを目的としてたたき台のベースラインとして用いてもよく、この場合、タイブレークとして機能する。ＶＱでタイブレークの状況が過剰にならないようにするため、他の手段を組み込む。かかる手段は、ＧＭＭ−ＮＮ又はＲＢＦ−ＮＮの（両方ではなく）どちらかが、最初の結合クラス指定をした場合には、結合クラス指定をそのクラスコンポーネントに分離することを含む。ＧＭＭ−ＮＮクラス指定とＲＢＦ−ＮＮクラス指定との両方が結合クラスを作っている場合には、分離は行わない。各場合において、全体的なクラス決定は、３つの分類器から最大数の加重投票を受けたものであり、すなわち、ＧＭＭ−ＮＮ、ＲＢＦ−ＮＮ、及びＶＱ分類器の加重分類決定の最頻値である。融合方法は、複数の異なるアプローチを組み合わせて、全体的クラス指定に対して信頼性値を提供する。個々の分類器について、分類器融合の結果のターゲット指定は、指定に対する視覚的な信頼を得るため、オペレータに表示されるバーカウンタを用いて追跡される。

一実施形態では、クラス指定の信頼性の尺度を提供する信頼性計量（ｃｏｎｆｉｄｅｎｃｅｍｅｔｒｉｃ）や「信頼性値（ｃｏｎｆｉｄｅｎｃｅｖａｌｕｅ）」を提供する。バッファが満たされる最初の期間の後、信頼性値が更新される頻度は、クラス指定の頻度と一致される。３つの個別の分類器からの総加重投票数に対する加重投票数の割合として、瞬時信頼性値が計算される。再び、ＧＭＭ−ＮＮ及びＲＢＦ−ＮＮ分類器のクラス指定は、ＶＱ分類器のクラス指定の加重の２倍が与えられる。例えば、ＧＭＭ−ＮＮ、ＲＢＦ−ＮＮ分類器が、それぞれ加重２を有し、両方とも第１のクラスに投票し（第１のクラスの加重投票が４になり）、ＶＱ分類器が、加重１を有し、第２のクラスに投票した（第２のクラスの加重投票が１になった）場合、本融合方法により生成されるクラス指定は第１のクラスである（すなわち、最大数の加重投票を受けたクラスである）。この例における加重投票の総数は５であり、信頼性推定値は４／５すなわち０．８である。信頼性値の瞬間的な大きい変化を避けるため、現在の信頼性値と、その前の９個の信頼性値のバッファを利用して平均する。この信頼性値はパーセンテージに変換され、表示される。バッファが満たされるまで、表示される平均信頼性値は、利用できる信頼性値にわたる平均である。

本発明の実施形態は、入来データを処理して、現在はデータベースに含まれていないターゲットからのものであると分類するＩＳＡＲ−ＡＴＲエンジンの機能を含む。単純化のため、データベース中のものより、長さで測って非常に大きい又は小さいターゲットが合成され、分類器が未知のターゲットを識別できる特徴空間エリアを構成するように、その特徴が変えられる。かかるターゲットが見つかったとき、その特徴が自動的に、大きいターゲット及び小さいターゲットのための未知のトレーニングデータベースに格納される。これらの特徴セットに十分にデータ入力されると、他のデータベースクラスを用いた再トレーニングを行い、出力分類器パラメータが計算され、テストプロセスに再組み込みされる。このプロセスは繰り返される。この再トレーニングプロセスは数ヶ月のオーダーの頻度で行われる。未知のユニークなターゲットをうまく処理すると、半自動的に現在のデータベースが成長し、最終的に既存の船舶クラスの大部分を処理することになる。分類器トレーニングと最適化は主観的性質があるので、人間のエキスパートがトレーニングに参加して、クラス分離が十分でなければ、幾つかの特徴セットを１つのクラスに結合することにより、クラス分離を妥当なクラス指定に適合させてもよい。

図６は、本発明の実施形態を実施するのに使っても良いグラフィカルユーザインターフェース（ＧＵＩ）を示す。このＧＵＩは、（適用あれば）分類器のトレーニングに用いることもできる。ＧＵＩインターフェース出力画像は、最初のターゲット分離後の元のＩＳＡＲ画像６１０と、元のＩＳＡＲ画像を含み、（白黒画像上にオーバーレイされた他の赤などの色のバーとして表示されてもよい）最初の長さ推定を有する画像６２０と、（ハフ処理ブロックに入力された）閾値処理したＩＳＡＲ画像にオーバーレイされたハフライン（ＨｏｕｇｈＬｉｎｅｓ）を含み、（第１の色の）中心ターゲットライン、（第２の色の）可能性のあるＰＯＩ、及び（第３の色の）ピークＳＮＲＰロケーションとを示す画像６３０とを含む。バーグラフ６５０は、それぞれのクラス指定を示し、マジョリティクラスのタイトルが示されている。一組の実際の写真６６０は、現在のフレームの決定されたクラスの異なる角度からのビューを示す。融合分類器を用いるとき、このフレームのクラス指定の信頼性パーセンテージが写真６６０のすぐ下に示される。グラフ６７０は、バッファされた１次元プロファイルの先行する１０個のフレームからＳＮＲＰプロファイル合計（第１の色で）と、抽出されたピークロケーション（第２の色で、それぞれ「Ｘ」と示される）とを示す。

本発明の実施形態の要素は、一以上の処理ユニットを用いて実装してもよい。処理ユニットハードウェアは、例えば、特定用途集積回路（ＡＳＩＣｓ）、汎用または特殊用途中央処理ユニット（ＣＰＵｓ）、デジタル信号プロセッサ（ＤＳＰｓ）、グラフィックス処理ユニット（ＧＰＵｓ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）などのプログラマブルロジックデバイスを含んでいてもよい。「処理ユニット」との用語は、ここでは、データまたはデジタル信号を処理するのに利用される、ハードウェア、ファームウェア、及びソフトウェアの任意の組み合わせを含むものとして使われている。処理ユニットでは、各機能は、その機能を実行するように構成された、すなわち配線接続されたハードウェアで、又は非一時的記憶媒体に格納された命令を実行するように構成された、ＣＰＵなどのより汎用のハードウェアで、実行される。

ここでは、海事自動ターゲット認識用のデータ融合分析のシステムと方法の限定された実施形態を具体的に説明及び例示したが、当業者には多くの修正及び変形が明らかであろう。ここに開示のアルゴリズムは、合成開口レーダー（ＳＡＲ）など任意のレーダーイメージングモードに適用できる。したがって、言うまでもなく、この発明の原理による、海事自動ターゲット認識用のデータ融合分析のシステムと方法は、ここに具体的に説明した以外の実施形態で実施できる。本発明は、以下の特許請求の範囲及びその均等物により確定される。

Claims

ターゲットの自動ターゲット認識をする方法であって、
前記ターゲットの一連のイメージングレーダー画像を受け取るステップと、
前記ターゲットの測定された特徴を含む特徴ベクトルを構成するステップと、
第１のターゲット認識試行を実行するステップであって、
ガウシアンミクスチャモデルニューラルネットワーク分類器を用いて、第１の複数の確率尤度を生成する、前記第１の複数の確率尤度の各々は複数の候補ターゲットタイプの１つに対応するステップと、
第１のセットのクラス指定規則を用いて第１のクラス指定を生成する、前記第１のクラス指定は前記複数の候補ターゲットタイプの１つに対応するステップとを含むステップと、
第２のターゲット認識試行を実行するステップであって、
放射基底関数ニューラルネットワーク分類器を用いて、第２の複数の確率尤度を生成する、前記第２の複数の確率尤度の各々は複数の候補ターゲットタイプの１つに対応するステップと、
第２のセットのクラス指定規則を用いて第２のクラス指定を生成する、前記第２のクラス指定は前記複数の候補ターゲットタイプの１つに対応するステップとを含むステップと、
第３のターゲット認識試行を実行するステップであって、
ベクトル量子化分類器を用いて、第３の複数の確率尤度を生成する、前記第３の複数の確率尤度の各々は複数の候補ターゲットタイプの１つに対応するステップと、
第３のセットのクラス指定規則を用いて第３のクラス指定を生成する、前記第３のクラス指定は前記複数の候補ターゲットタイプの１つに対応するステップとを含むステップと、
前記第１のクラス指定と、第２のクラス指定と、第３のクラス指定とを組み合わせて、全体的クラス指定を生成するステップであって、前記ガウシアンミクスチャモデルニューラルネットワーク分類器または前記放射基底関数ニューラルネットワーク分類器のどちらかが、最初の結合クラス指定をした場合には、結合クラス指定をそのクラスコンポーネントに分離する、ステップと
を含む方法。
前記第１のクラス指定と、第２のクラス指定と、第３のクラス指定とを組み合わせて、全体的クラス指定を生成するステップは、前記第１のクラス指定と、第２のクラス指定と、第３のクラス指定との加重組み合わせを構成するステップを含む、
請求項１に記載の方法。
前記第１のクラス指定と、第２のクラス指定と、第３のクラス指定との加重組み合わせを構成するステップは、前記第１のクラス指定を加重２で加重し、前記第２のクラス指定を加重２で加重し、前記第３のクラス指定を加重１で加重するステップを含む、
請求項２に記載の方法。
前記第１のクラス指定と、第２のクラス指定と、第３のクラス指定とを組み合わせて、信頼性メトリックを生成するステップを含む、
請求項３に記載の方法。
前記第１のクラス指定と、第２のクラス指定と、第３のクラス指定とを組み合わせて、信頼性メトリックを生成するステップは、前記全体的クラス指定と等しいクラス指定の加重の、前記第１のクラス指定、前記第２のクラス指定、及び前記第３のクラス指定の加重の合計に対する比を求めるステップを含む、
請求項４に記載の方法。
前記複数の候補ターゲットタイプは、複数の既知のターゲットタイプと、結合ターゲットタイプとを含む、
請求項１に記載の方法。
前記複数の候補ターゲットタイプは、未知のターゲットタイプを含む、
請求項１に記載の方法。
前記複数の候補ターゲットタイプは、未知大型ターゲットタイプと未知小型ターゲットタイプとを含む、
請求項７に記載の方法。
前記未知大型ターゲットタイプは、推定長さは最大の既知のターゲットタイプの長さより３０フィート長いターゲットを含む、
請求項８に記載の方法。
前記未知小型ターゲットタイプは、推定長さが最小の既知のターゲットタイプの長さより２０フィート短いターゲットを含む、
請求項８に記載の方法。
前記ガウシアンミクスチャモデルニューラルネットワーク分類器は分類パラメータを含み、
前記分類パラメータの１つは、未知のターゲットタイプに対応するクラス指定に応じて調整される、
請求項７に記載の方法。
前記複数の候補ターゲットタイプは、未定のターゲットタイプを含む、
請求項１に記載の方法。
第１のセットのクラス指定規則を用いて第１のクラス指定を生成するステップは、前記第１の複数の確率尤度の各々が第１の閾値より小さいとき、前記未定のターゲットタイプに対応する第１のクラス指定を生成するステップを含む、
請求項１２に記載の方法。
第２のセットのクラス指定規則を用いて第２のクラス指定を生成するステップは、前記第２の複数の確率尤度の各々が第２の閾値より小さいとき、前記未定のターゲットタイプに対応する第２のクラス指定を生成するステップを含む、
請求項１２に記載の方法。
前記ターゲットの一連のイメージングレーダー画像を受け取るステップは、前記ターゲットの逆合成開口レーダー画像を受け取るステップを含む、
請求項１に記載の方法。
ターゲットの自動ターゲット認識を行うシステムであって、処理ユニットを有し、該処理ユニットは、
前記ターゲットの一連のイメージングレーダー画像を受け取り、
前記ターゲットの測定された特徴を含む特徴ベクトルを構成し、
第１のターゲット認識試行を実行し、前記実行は、
ガウシアンミクスチャモデルニューラルネットワーク分類器を用いて、第１の複数の確率尤度を生成する、前記第１の複数の確率尤度の各々は複数の候補ターゲットタイプの１つに対応するステップと、
第１のセットのクラス指定規則を用いて第１のクラス指定を生成する、前記第１のクラス指定は前記複数の候補ターゲットタイプの１つに対応するステップとを含み、
第２のターゲット認識試行を実行し、前記実行は
放射基底関数ニューラルネットワーク分類器を用いて、第２の複数の確率尤度を生成する、前記第２の複数の確率尤度の各々は複数の候補ターゲットタイプの１つに対応するステップと、
第２のセットのクラス指定規則を用いて第２のクラス指定を生成する、前記第２のクラス指定は前記複数の候補ターゲットタイプの１つに対応するステップとを含み、
第３のターゲット認識試行を実行し、前記実行は、
ベクトル量子化分類器を用いて、第３の複数の確率尤度を生成する、前記第３の複数の確率尤度の各々は複数の候補ターゲットタイプの１つに対応するステップと、
第３のセットのクラス指定規則を用いて第３のクラス指定を生成する、前記第３のクラス指定は前記複数の候補ターゲットタイプの１つに対応するステップとを含み、
前記第１のクラス指定と、第２のクラス指定と、第３のクラス指定とを組み合わせて、全体的クラス指定を生成し、前記ガウシアンミクスチャモデルニューラルネットワーク分類器または前記放射基底関数ニューラルネットワーク分類器のどちらかが、最初の結合クラス指定をした場合には、結合クラス指定をそのクラスコンポーネントに分離するように構成された、
システム。
前記第１のクラス指定と、第２のクラス指定と、第３のクラス指定とを組み合わせて、全体的クラス指定を生成するステップは、前記第１のクラス指定と、第２のクラス指定と、第３のクラス指定との加重組み合わせを構成するステップを含む、
請求項１６に記載のシステム。
前記第１のクラス指定と、第２のクラス指定と、第３のクラス指定との加重組み合わせを構成するステップは、前記第１のクラス指定を加重２で加重し、前記第２のクラス指定を加重２で加重し、前記第３のクラス指定を加重１で加重するステップを含む、
請求項１７に記載のシステム。
前記第１のクラス指定と、第２のクラス指定と、第３のクラス指定とを組み合わせて、信頼性メトリックを生成するステップを含む、
請求項１８に記載のシステム。
前記第１のクラス指定と、第２のクラス指定と、第３のクラス指定とを組み合わせて、信頼性メトリックを生成するステップは、前記全体的クラス指定と等しいクラス指定の加重の、前記第１のクラス指定、前記第２のクラス指定、及び前記第３のクラス指定の加重の合計に対する比を求めるステップを含む、
請求項１９に記載のシステム。