JP6159189B2

JP6159189B2 - ハイパースペクトル画像のシグネチャーのマッチングの信頼度を評価する方法

Info

Publication number: JP6159189B2
Application number: JP2013161941A
Authority: JP
Inventors: アナ・イザベル・デル・アモ; ベンジャミン・トーマス・オッチピンティ; エリック・ダニエル・ビューラー; コンラッド・ロバート・クチンスキー
Original assignee: ジーイー・アビエイション・システムズ・エルエルシー
Priority date: 2012-08-17
Filing date: 2013-08-05
Publication date: 2017-07-05
Anticipated expiration: 2033-08-05
Also published as: CN103591940B; EP2698741A2; BR102013019507A2; CN103591940A; EP2698741A3; CA2823370A1; US8891875B2; JP2014038614A; US20140050405A1

Description

本発明は、ハイパースペクトル画像のシグネチャーのマッチングの信頼度を評価する方法に関する。

ハイパースペクトル画像のリモートセンシングシステムの環境については、Ｍａｎｏｌａｋｉｓ，Ｄ．、Ｍａｒｄｅｎ，Ｄ．、及びＳｈａｗ，Ｇ．著の「自動対象検出アプリケーションのためのハイパースペクトル画像の処理（ＨｙｐｅｒｓｐｅｃｔｒａｌＩｍａｇｅＰｒｏｃｅｓｓｉｎｇｆｏｒＡｕｔｏｍａｔｉｃＴａｒｇｅｔＤｅｔｅｃｔｉｏｎＡｐｐｌｉｃａｔｉｏｎｓ）」（リンカーン研究所ジャーナル、２００３年、第１４巻、７９〜８２ページ）に詳述されている。画像センサは、ハイパースペクトルエネルギーの大きさを記録するピクセルを有する。ハイパースペクトル画像装置は、ピクセル配列のエネルギーを記録するが、そのピクセルの配列は、空間情報をピクセルの配列形状から取得し、且つ、スペクトル情報を各ピクセル内で多くの隣接するハイパースペクトルバンドを計測して取得している。空間及びスペクトル情報の更なる処理は、リモートセンシングシステムの個別の用途によって決まる。

遠隔で検出されるハイパースペクトル画像は、環境や土地利用の監視、軍事偵察や査察を含む広い範囲での利用において貴重であることがわかっている。ハイパースペクトル画像は、空間情報とスペクトル情報の両方を含む画像データを提供する。この種類の情報は、遠隔検出や追跡作業に利用可能である。具体的には、一組の視覚センサを無人航空機（ＵＡＶ）や地上局のようなプラットフォームに取り付けてハイパースペクトル画像のビデオを取得し、スペクトルビデオに一連のアルゴリズムを適用し、フレームごとに対象物を検出したり追跡したりする。

スペクトルに基づいた処理アルゴリズムが、類似のスペクトル特性やシグネチャーを有するピクセルを分類したりグループ化したりするために開発されている。ある場面での対象物の数や大きさが小さすぎて、対象物を種類ごとに分類するために必要な統計的な性質の判定を裏付けることができないような場合に、このような方法だけでの処理では、対象の追跡及び検出用途には向かない。しかし、通常のハイパースペクトル画像の空間処理能は、ハイパースペクトル画像を収集する通常のシステムの空間分解能が低いことによって低下する。結果として、ハイパースペクトル画像を収集し処理する遠隔検出システムは、解像された対象が１つ以上のピクセルで撮像された物体であるとき、解像された対象と解像されていない対象の両方が最大限に検出されるように、スペクトル分解能と空間分解能がトレードオフするようにして開発された。このように、スペクトル技術では対象のシグネチャーによって解像されていない対象を検出し、空間技術では対象の形状によって解像された対象を検出することができる。

多数のハイパースペクトル検索アルゴリズムが対象物を検出する目的でハイパースペクトル画像処理の中で開発され用いられてきた。これらのハイパースペクトル検索アルゴリズムは、通常は画像の中の対象候補の統計的な特性を利用するように設計され、通常は周知の統計学の概念に基づいている。例えば、マハラノビス距離は、類似性に関する統計学の一方法であり、ハイパースペクトルピクセルシグネチャーにも適用される。マハラノビス距離は、シグネチャーを既知の種類のシグネチャーの平均や標準偏差と比較して検証することによってそのシグネチャーの類似性を測定する。

他の既知の方法に、スペクトラル角度マッピング（ＳＡＭ）、スペクトラル情報ダイバージェンス（ＳＩＤ）、ゼロ平均差領域（ＺＭＤＡ）とバタチャリヤ距離がある。ＳＡＭは、各スペクトルをベクトルとして扱いベクトル間の角度を計算することによって、対象候補のシグネチャーを既知のシグネチャーと比較する方法である。ＳＡＭではベクトルの方向だけを使いベクトルの大きさは使わないので、この方法は照度の変化には影響されない。ＳＩＤは、スペクトル間の確率的な不一致や相違を計測することによって、対象候補のシグネチャーを既知のシグネチャーと比較する方法である。ＺＭＤＡでは、対象候補のシグネチャーと既知のシグネチャーを、それらの分散によって正規化し、その差を演算するが、その差は二つのベクトル間の領域に対応している。バタチャリヤ距離はマハラノビス距離に似ているが、対象候補のシグネチャーの組の間の距離を既知の種類のシグネチャーに照らして計測するのに使用される。

米国特許第７２１２６５２号明細書

本発明は、少なくとも一つの追跡対象物を追跡しながら、画像センサのピクセルによって輪郭が示される少なくとも一つの追跡対象物のハイパースペクトル画像のシグネチャーが、ハイパースペクトル画像テンプレートにマッチングする信頼度をリアルタイムで評価する方法に関する。この方法は、少なくとも一つの追跡対象物のシグネチャーの組を選択すること、少なくとも一つの追跡対象物のシグネチャーの組に対応するハイパースペクトル画像テンプレートのシグネチャーの組を選択すること、少なくとも一つの追跡対象物のシグネチャーの組のピクセル値とハイパースペクトル画像テンプレートのシグネチャーの組のピクセル値との差の絶対値を定めること、最大絶対値と最小絶対値の差を１から減算してマッチング度を定めること、並びに、少なくとも一つの追跡対象物の画像がハイパースペクトル画像テンプレートにどの程度近似しているかの信頼度を判定するために、そのマッチング度を少なくとも一つの追跡対象物の画像のピクセル数に正規化すること、を含む。

本発明の第１の実施例における、ハイパースペクトル画像内の監視対象物の追跡及び検出確率を判定する方法の線図である。本発明の一実施例における、ハイパースペクトル検索アルゴリズムを選択する方法の線図である。本発明の一実施例における、ハイパースペクトル検索アルゴリズムの許容誤差を選択する方法の線図である。本発明の一実施例における、ハイパースペクトル画像撮影システムが２つの対象物を検出し追跡するシナリオを示す。本発明の一実施例における、ハイパースペクトル画像撮影システムが追跡した対象物の変化を検出するシナリオを示す。

背景技術と以下の記述において、本明細書に記載の技術を完全に理解できるように、説明目的で多くの具体的な詳細を記載する。しかし、これらの具体的な詳細なしで実施形態を実施可能であることは、当業者には明らかである。また、実施形態の説明を簡単にするために、構造や装置を略図で示している。

図面を参照しながら実施例を説明する。これらの図はここに記載されているモジュール、方法、コンピュータプログラム製品を実施する具体的な実施形態の詳細を示している。しかし、これらの実施形態は、図面に示したものだけに限定されないと解釈されたい。コンピュータ読み取り可能媒体に本方法及びコンピュータプログラム製品を使用して、作業を遂行する。これらの実施例は、既存のコンピュータプロセッサを使用したり、本目的或いは他の目的のために組み込まれた専用コンピュータプロセッサや、ハードウェアに組み込まれたシステムを使用したりすることで実施される。

上記のように、本明細書に記載の実施例は、コンピュータ実行可能な命令やデータ構造を格納したコンピュータ読み取り可能媒体を含む、コンピュータプログラム製品を含む。このようなコンピュータ読み取り可能媒体は、汎用或いは専用コンピュータやプロセッサを有するコンピュータでアクセス可能な媒体であればよい。例として、このようなコンピュータ読み取り可能媒体は、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭや他の光ディスク記憶装置、磁気ディスク記憶装置や他の磁気ディスク記憶装置、或いは、必要なプログラムコードをコンピュータ実行可能命令やデータ構造といった形で保持し格納するために用いられて、汎用或いは専用コンピュータやプロセッサを有するコンピュータでアクセスできる媒体を含む。情報がネットワークや他の通信の接続（有線、無線、或いは有線と無線の組み合わせ）を使ってコンピュータに転送や送信されると、コンピュータはその接続を適宜コンピュータ読み取り可能媒体とみなす。従ってこのような接続はコンピュータ読み取り可能媒体とよばれる。上記のものの組み合わせもコンピュータ読み取り可能媒体の範囲に含まれる。コンピュータ実行可能命令は、例えば命令やデータから構成され、その命令やデータによって汎用コンピュータや専用コンピュータ、或いは専用のプロセッサに、或る機能や複数の機能を実施させる。

実施例では一般的な方法をステップの形式で記載しているが、その方法ステップは、一実施例においてはプログラム製品によって実施され、このプログラム製品には、例えば、ネットワーク化された環境にあるコンピュータによって実行されるプログラムモジュールの形式の、プログラムコードのようなコンピュータ実行可能な命令が含まれる。一般的に、プログラムモジュールは、ルーチン、プログラム、目的、構成要素、データ構造等を含むが、これらは特定のタスクを実行するという技術的効果を奏し、特定の抽象データ型を実装するものである。コンピュータ実行可能な命令、関連するデータ構造、そしてプログラムモジュールは、本明細書で開示する方法のステップを実行するためのプログラムコードの例である。このような実行可能な命令や関連するデータ構造の特定の配列は、かかるステップに記載されている機能を実行するための対応する動作の例を示している。

実施例は、プロセッサを有する一以上のリモートコンピュータとの論理的な接続を用いるネットワーク化された環境の中で実践される。論理的接続には、ローカルエリアネットワーク（ＬＡＮ）や広域ネットワーク（ＷＡＮ）が含まれるが、ここではこれらを例として示しているので、それに限定されるものではない。このようなネットワーク化された環境は、オフィス全体や企業全体のコンピュータネットワーク、イントラネット、インターネットでは普通のことであり、種々の異なった通信プロトコルを使用することもある。当業者はこのようなネットワークを利用したコンピュータ環境には、一般的にパーソナルコンピュータや携帯機器、マルチプロセッサシステム、マイクロプロセッサ、或いはプログラム可能な家庭用電化製品、ネットワーク接続可能なパーソナルコンピュータ、ミニコンピュータ、メインフレームコンピュータ等を含む、多くの種類のコンピュータシステム形態があると理解されよう。

実施例は、タスクが通信ネットワークを通して接続された（有線或いは無線の接続、又は有線と無線接続の組み合わせによって接続された）ローカルプロセッサやリモートプロセッサによって実行される分散型コンピュータ環境においても実施できる。分散型コンピュータ環境においては、プログラムモジュールはローカルメモリ装置とリモートメモリ装置の両方に配置される。

実施例の全部の或いは一部分を実行する例となるシステムは、コンピュータの形をとる汎用コンピュータ機器を含むが、それはプロセッシングユニット、システムメモリ、そしてシステムメモリとプロセッシングユニットを含む様々なシステムコンポーネントを結ぶシステムバスから構成される。システムメモリには読み出し専用メモリ（ＲＯＭ）とランダムアクセスメモリ（ＲＡＭ）が含まれる。コンピュータもまた、磁気ハードディスクからの読み取りや書き込みのための磁気ハードディスクドライブ、着脱式磁気ディスクからの読み取りや書き込みのための磁気ディスクドライブ、そしてＣＤ−ＲＯＭや他の光媒体のような脱着式光ディスクからの読み取りや書き込みのための光ディスクドライブを含む。これらのドライブや関連するコンピュータ読み取り可能媒体は、コンピュータ実行可能な命令、データ構造、プログラムモジュールやコンピュータの他のデータの不揮発性記憶装置となっている。

本実施例において開示する方法の技術的効果には、ハイパースペクトル画像内の対象物を検出する作業の自動化とその検出に対する信用度を割り当てることを含む。また、この方法は既存のシグネチャーマッチングの技術を、検出された対象物と最も知られているシグネチャーを空間的及びスペクトル的に自動でリアルタイムに比較することによって改良するものである。この技術はスペクトルキューブ配列から合成画像を作成できるシステムであれば、使用可能である。

図１は、本発明の第１実施例におけるハイパースペクトル画像内の監視対象物の追跡を行い、当該対象物の検出確率を判定する方法１０の線図である。遠隔で検出された、単一の画像又はハイパースペクトルビデオを含むハイパースペクトル画像は、ステップ１２でハイパースペクトル画像を処理可能なプロセッサに入力される。プロセッサはステップ１２でハイパースペクトルデータを受け取り、ステップ１４では、ノイズフィルタリング、コーナー検出、画像レジストレーション、ホモグラフィー、フレームアライメントといった一連の周知の画像処理ステップであるがそれらに限定されない一連の画像処理ステップを実行してデータセットを幾つかのハイパースペクトル画像フレームに処理する。プロセッサはステップ１６で検索アルゴリズムを使用してハイパースペクトル画像フレーム内の追跡対象の中から対象候補を選択する。この対象候補と追跡された物体は、実在する対象物のハイパースペクトル画像を表すピクセルのセットとなっている。例えば、動いている対象を探すために作成されたハイパースペクトル画像を収集するシステムでは、対象候補は動いている物体である。この例では、プロセッサはハイパースペクトル画像内の動く物体を識別するための最小の判別特性を計算によって検索する。他の例では、ハイパースペクトル画像を収集するシステムのユーザーが手動でディスプレイのピクセルを選択し、対応するシグネチャーを識別して分析する。

プロセッサは更にステップ１８でハイパースペクトル画像のフレームごとに、選択された対象候補を追跡する。プロセッサは、ステップ２０において、選択された対象候補とテンプレートテータベース２８に格納された既知の対象である基準対象テンプレートと比較する。この基準対象テンプレートは予め設定されたピクセルのセットであり、実在する対象物のハイパースペクトル画像を表す。

ステップ２２では、プロセッサが照合のための比較をする。選択された対象候補がテンプレートデータベース２８の基準対象テンプレートと一致する場合、プロセッサは、ステップ２４で選択された対象候補と基準対象テンプレートのマッチング度と、選択された対象候補が検出される確率を判定する。選択された対象候補がテンプレートと一致しない場合は、プロセッサはステップ３０で選択された対象候補を新しい基準対象テンプレートとみなすか、或いはステップ３２でその対象候補を切り捨てる。その選択された対象候補をステップ３０で新しいテンプレートとみなす場合は、プロセッサは新しい対象に関するデータを対象テンプレートデータベース２８に追加する。

ステップ２４におけるマッチング度と検出確率の判定後、プロセッサはステップ２６でその確率と閾値を比較する。確率が当該閾値を超えている場合は、ステップ３４の措置をとる。超えていない場合、プロセッサは、ステップ１８で選択された対象候補の追跡を続ける。

特定の基準対象テンプレートを基準対象テンプレートデータベース２８から指定して、ステップ２０で対象候補と比較した後、プロセッサはステップ２４でマッチング度と検出確率を計算する。まずステップ２４で、選択された対象候補内に現れるトップスペクトルシグネチャーと基準対象テンプレートの輪郭を示すトップスペクトルシグネチャーを比較し、次にそれを空間的にマッチングさせて、マッチング度と検出確率によって、選択された対象候補が特定の基準対象テンプレートとマッチングする確率を判定する。

ステップ２４でマッチング度と検出確率を判定する方法を実行するプロセッサは、まず、選択された対象候補と基準対象テンプレートの両方に現れるトップシグネチャーの組を判定する。次にプロセッサは、トップシグネチャーの分布を、選択された対象候補と基準対象テンプレートの両方のピクセル数に基づいて計算する。これを行うための最初のステップは、基準対象テンプレートにあるピクセルのある割合を占めている基準対象テンプレート内のシグネチャーの組を判定し、基準対象テンプレート内の各シグネチャーの割合を判定することである。ステップ２４を実行するプロセッサは、次に、選択された対象候補のシグネチャーの分布を判定する。各シグネチャーのピクセルの分布が基準対象テンプレートのシグネチャーの分布に類似している場合、プロセッサは、両方の類似しているシグネチャーのピクセルの最大差と最小差を考慮して、各シグネチャーのマッチング度を計算する。プロセッサは、ハイパースペクトルピクセルの分布の類似性を一以上の方法を用いて計算する。類似性を判定する方法には、ＳＡＭ、ＳＩＤ、ＺＭＤＡ、バタチャリヤ距離が含まれる。プロセッサは、実装に応じて類似性を判定する他の方法を使うこともある。

仮にＳ_i＝｛ｓ₁，ｓ₂，・・・，ｓ_p｝を対象のシグネチャーの集合であるとする。そしてｘ_ijがハイパースペクトルフレームの２次元の空間表現ではｉｊという位置にあるピクセルとする。ｑがハイパースペクトル画像のスペクトルバンドの数を表す場合、ピクセルｘ_ijは、ｘ_b1，ｘ_b2，・・・，ｘ_bqという値の組を有する、サブピクセルの配列から構成されている。したがって、各ピクセルは、ピクセルが表す空間的位置の各スペクトルバンドに関連づけられたサブピクセルを含む。

ここで、簡略にするために、一つの選択された対象候補を対象物Ｏ_iとし、Ｏ_iは対象Ｔとして参照される基準テンプレート対象と空間的にマッチングしている。対象ＴのＲ％のトップシグネチャーの組が対象物Ｏ_iにλという同様の割合で存在する場合は、対象物Ｏ_iはスペクトル的にも対象Ｔと信用度Ｃでマッチングしている。目標は対象物と対象を空間的にもスペクトル的にもマッチングさせること、即ち対象物と対象の形状とシグネチャーが類似しているということである。

仮にＮ_iを対象物Ｏ_iのピクセル数とする。ｒ＜ｐであるがｒは対象物Ｏ_iのピクセルの組の基数やサイズを規定しｎ_i1，ｎ_i2，・・・，ｎ_irは、類似したシグネチャーｓ₁，ｓ₂，・・・，ｓ_rを示すとする。ステップ２４を実行するプロセッサは、対象物Ｏ_iのトップＲ％のスペクトルシグネチャーが対象物Ｏ_jのトップＲ％のシグネチャーとマッチングしている場合、２つの対象物Ｏ_iとＯ_jが、スペクトルマッチしているとみなす。｛ｎ_i1，ｎ_i2，・・・，ｎ_ir｝と｛ｎ_j1，ｎ_j2，・・・，ｎ_jr｝としてそれぞれ表される対象物Ｏ_iとＯ_jの全ての選択された数のトップシグネチャーがそれぞれ：

で表される場合２つの対象物Ｏ_iとＯ_jは厳密にλという同じ割合でマッチングしている。
各シグネチャーｌのマッチング度は次のように定められる。

この方法では各シグネチャーｌのマッチング度を求めるために他の定義を使用することもある。ステップ２４でマッチング度を判定するのに使う定義は、周知のファジー測度の数学的定義に合致してなければならない。

最後に、ステップ２４で方法を実行するプロセッサは、テンプレート内のシグネチャーの組と対象物のシグネチャーの組の類似性に基づいて検出確率を計算する。対象物Ｏ_iにはＮ_i個のピクセルがあり、対象物Ｏ_jにはＮ_j個のピクセルがあるとすると、プロセッサはステップ２４でマッチング度と各シグネチャーにマッチングするピクセルの数に基づいて検出確率を計算する。プロセッサはマッチング度を対象物のピクセルの数に正規化して検出確率を算出し、選択された対象候補の物体の画像とハイパースペクトル画像の基準対象テンプレートがどの程度近似しているかという信用度を判定する。対象物Ｏ_iの_Ｎｉ｜ｓ個のピクセルがシグネチャーｓとλという同じ割合でマッチングする場合、ＴＭとして参照される検出確率は次のように算出される。

ステップ２６では、対象テンプレートにマッチングしている選択された対象候補の検出確率ＴＭを閾値と比較する。ステップ２６で示すようにプロセッサはＴＭ−１を計算して閾値εと比較する。ＴＭ−１がこの閾値εを超えている場合、プロセッサはステップ３４で措置をとる。超えていない場合、プロセッサはステップ１８に戻って選択された対象候補の追跡を続ける。この閾値の値εは、ステップ２２の照合アルゴリズムの実行とステップ１６の検索アルゴリズムと、ハイパースペクトル画像の場面での対象物の速度のような、特定の対象候補とデータベース２８の基準対象テンプレートに関連する情報に基づいて選択される。

ＴＭの値によって様々な信用度が定義づけられる。例えば、ＴＭが０．３５未満の場合、信用度は非常に低い。ＴＭが０．３５と０．６０の間の場合、信用度は低く、ＴＭが０．６０と０．７５の間の場合、信用度は中程度で、ＴＭが０．７５と０．８５の間の場合、信用度は中程度より少し高い。ＴＭが０．８５よりも大きい場合、信用度は高いことになる。マッチングする確率が高くなるほど、その結果はＴＭのレベルでマッピングされた一連の色で反復表示され、検出された信用度の高い対象と信用度の低い対象とを区別する。例えば、検出された信用度の高い対象の画像の全てのピクセルを、ディスプレイでは赤で色付けできる。実際の実施に応じて他の閾値や信用度や表示方法が用いられる。

プロセッサがステップ１２でデータを受け取り、それをステップ１４でハイパースペクトル画像フレームのセットに処理してから、ステップ１６で次にハイパースペクトルフレームから対象候補を選択する。プロセッサは、ステップ１６で対象候補を選択するために、ハイパースペクトルデータの検索アルゴリズムを選択してこれを使用する。ハイパースペクトルデータの次元は、主成分分析、特性の抽出やエントロピー測定やその他を含む、周知の次元縮小法を使って縮小される。図２は本発明の一実施例におけるハイパースペクトルデータの検索アルゴリズムを選択する方法１００の線図である。ハイパースペクトルデータの検索アルゴリズムを選択するために、方法１００を実行するプロセッサは、最初にステップ１１０でハイパースペクトルフレームの特性をデータベースに保存する。次にステップ１１２でハイパースペクトルフレームの特性を評価する。ステップ１１２で、その特性がハイパースペクトルフレームにとって有意であると評価された場合、ステップ１１６でデータに検索アルゴリズムを適用してフレームの対象候補を区別する。ステップ１１２で、その特性がハイパースペクトルフレームにとっては有意でないと評価された場合は、プロセッサはステップ１１４で第２の特性を評価する。ステップ１１４で第２の特性がハイパースペクトルフレームとして有意な場合は、プロセッサはステップ１２０で第２のスペクトル検索アルゴリズムをデータに適用してフレームの対象候補を区別する。ステップ１１４において第２の特性がフレームにとって有意でないと評価された場合、プロセッサはステップ１１８で第３の特性を評価する。ステップ１１８で第３の特性がハイパースペクトルフレームとして有意であると評価された場合、プロセッサはステップ１２２で第３の検索アルゴリズムをデータに適用してハイパースペクトルフレームの対象候補を区別する。プロセッサがステップ１１８で第３の特性がハイパースペクトルフレームとして有意でないと評価した場合、ステップ１２４でデータにデフォルト検索アルゴリズムを適用する。

最初に、ステップ１１０でプロセッサは、ハイパースペクトルフレームの特性を判定する。プロセッサは、ハイパースペクトルの特性を後の検索アルゴリズムを選択する際の処理に使えるように、そのハイパースペクトルフレームの特性をステップ１１０で保存する。特性の例としては、撮像された場面の照度のばらつき、類似するシグネチャーを有するピクセルのばらつきや基準対象テンプレート内の独特なシグネチャーの数が含まれる。ハイパースペクトルフレームの特性は他にも考えられ、これらの例に限定されるものではない。

ステップ１１２でのハイパースペクトルフレームの第１特性の評価に基づいて、プロセッサは、第１特性を有するハイパースペクトルデータに適しているとわかっている検索アルゴリズムをステップ１１６で適用する。ステップ１１２でハイパースペクトルフレームの第１特性を評価したときに、第１の検索アルゴリズムがそのハイパースペクトルフレームには適さない場合、プロセッサは、ステップ１１０で保存されていたフレーム特性にアクセスして、ステップ１１４で第２のフレーム特性を評価する。一例としては、第１特性がハイパースペクトルフレームの撮像された場面の照度のばらつきであり得る。プロセッサは、撮像された場面の照度のばらつきを判定するためにハイパースペクトルフレームの特性にアクセスする。プロセッサは、ばらつきが大きいか小さいかを判定する。方法の実施に応じて他のフレーム特性を第１のフレーム特性として使用することもある。

第１のハイパースペクトルフレームの特性が有意であると評価された場合、プロセッサはハイパースペクトルフレームとその対象候補を処理するためにステップ１１６で第１の検索アルゴリズムを使う。この例では、撮像された場面の照度のばらつきが大きいと算出された場合、最良の結果を得るためにＳＡＭに基づく検索アルゴリズムを使って撮像された場面を処理する。ここでは、その実施によってはＳＩＤ、マハラノビス距離、ＺＭＤＡ、バタチャリヤ距離を含み、またそれ以外のものも含む分類方法に基づく他の検索アルゴリズムも用いられる。

ステップ１１４でのハイパースペクトルフレームの第２特性の評価に基づいて、プロセッサは第２特性を有するハイパースペクトルデータに適しているとわかっている検索アルゴリズムをステップ１２０で適用する。ステップ１１４でハイパースペクトルフレームの第２特性を評価したときに、第２の検索アルゴリズムがそのハイパースペクトルフレームには適していない場合、プロセッサは、ステップ１１０で保存されていたフレーム特性にアクセスして、ステップ１１８で第３のフレーム特性を評価する。一例としては、第２特性が類似のシグネチャーを有するピクセルのばらつきであり得る。プロセッサは類似のシグネチャーを有するピクセルのばらつきを判定するためにハイパースペクトルフレームの特性にアクセスする。プロセッサは、ばらつきが大きいか小さいかを判定する。実施によっては他のフレーム特性を第２のフレーム特性として用いることもある。

第２のハイパースペクトルフレーム特性が有意であると評価された場合、プロセッサはハイパースペクトルフレームとその対象候補を処理するためにステップ１２０で第２の検索アルゴリズムを使用する。この例では、類似のシグネチャーを有するピクセルのばらつきが大きいと算出された場合、最良の結果を得るためにＳＩＤに基づく検索アルゴリズムを使って、撮像されたシーンを処理する。ここでは、その実施によってはＳＡＭ、マハラノビス距離、ＺＭＤＡ、やバタチャリヤ距離を含み、またそれ以外のものも含む類似性や距離測定に基づく他の検索アルゴリズムも用いられる。

ステップ１１８でのハイパースペクトルフレームの第３の特性の評価に基づいて、プロセッサは第３特性を有するハイパースペクトルデータに適するとわかっている検索アルゴリズムをステップ１２２で適用する。ステップ１１８でハイパースペクトルフレームの第３の特性を評価したときに、第３の検索アルゴリズムがそのハイパースペクトルフレームには適さない場合、プロセッサはハイパースペクトルフレームを処理するためにステップ１２４でデフォルト検索アルゴリズムを適用する。一例では、第３の特性が基準対象テンプレート内に固有のシグネチャーの数であり得る。プロセッサは、基準対象テンプレート内の独特なシグネチャーの数を判定するために以前に追跡した対象と対応する基準対象テンプレートを含むハイパースペクトルフレームの特性にアクセスする。プロセッサは、基準対象テンプレート内の独特なシグネチャーの数が多いか少ないかを判定する。方法の実施に応じて他のフレーム特性が第３のフレーム特性として用いられることもある。

第３のハイパースペクトルフレームの特性が有意であると評価された場合、プロセッサはハイパースペクトルフレームとその対象候補を処理するためにステップ１２２で第３の検索アルゴリズムを使用する。この例では、基準対象テンプレート内の独特のシグネチャーの数が多いと算出された場合、最良の結果を得るためにマハラノビス距離に基づく検索アルゴリズムを使って、撮像された場面を処理する。この方法では、その実施によってはＳＡＭ、ＳＩＤ、ＺＭＤＡ、やバタチャリヤ距離を含み、またそれ以外のものも含む類似性や距離測定に基づく他の検索アルゴリズムも用いられる。

全てのフレーム特性を使い切ると、プロセッサはステップ１２４でデフォルト検索アルゴリズムを用いてハイパースペクトルフレームとその対象候補を処理する。デフォルト検索アルゴリズムは、ＳＡＭ、ＳＩＤ、マハラノビス距離、ＺＭＤＡ、バタチャリヤ距離に基づいている。実装によっては、他の検索アルゴリズムがデフォルト検索アルゴリズムとして用いられることもある。

方法１００では他のフレーム特性やその評価を使ってステップを追加することもある。フレーム特性は、ステップ１１２、１１４、１１８で既に開示されている判定ステップの後に続く判定ステップの中に組み込まれる。また、プロセッサは、特定の検索アルゴリズムがハイパースペクトルフレームを処理するのに最適に活用されているかを判定するために多数のフレームの特性を評価する。

方法１００では検索アルゴリズムを追加して実行することもある。例えばプロセッサは多数の検索アルゴリズムを同時にハイパースペクトルフレームに適用して、多数の検索アルゴリズムで同時に処理して得られた多くの結果を、多基準意思決定手順を用いて一つの結果にする作業を行う。

図３は、検索アルゴリズムの許容誤差を選択する方法２００の線図である。図２のステップ１１６、１２０、１２２、と１２４において、選択された検索アルゴリズムを使ってハイパースペクトルフレームを処理するとき、所定のアルゴリズムのパラメータや許容誤差はステップ２１０で最初はデフォルト値や或る値に設定されている。ステップ２１２でデフォルトの許容誤差を有する検索アルゴリズムを使ってハイパースペクトルフレームのデータを処理する。ステップ２１６では、ハイパースペクトルフレームの対象候補を基準対象テンプレートにマッチングさせる、ハイパースペクトルフレームのハイパースペクトルピクセルの数を、選択された検索アルゴリズムによって計算する。対象候補を基準対象テンプレートにマッチングさせるハイパースペクトルピクセルの数が少な過ぎる場合は、ステップ２１８でプロセッサは、選択された検索アルゴリズムの許容誤差を緩和し、ステップ２１２でフレームを、修正された許容誤差の検索アルゴリズムで再度処理する。対象候補を基準対象テンプレートにマッチングさせるハイパースペクトルピクセルの数が多すぎる場合は、ステップ２１４でプロセッサは、選択された検索アルゴリズムの許容誤差を狭め、ステップ２１２においてフレームを、修正された許容誤差の検索アルゴリズムで再度処理する。マッチングさせるハイパースペクトルピクセルの数が許容範囲内である場合、ステップ２２０でプロセッサは、マッチングするハイパースペクトルピクセルの位置とシグネチャーを保存する。

ステップ２１６でマッチングするピクセル数が許容範囲内になるまで、プロセッサはステップ２１４と２１８で検索アルゴリズムの許容誤差を修正するステップと、その後、ステップ２１２で選択された検索アルゴリズムを使ってハイパースペクトルフレームを処理するステップを繰り返す。

本発明の第１実施例における図１のハイパースペクトル画像内の監視対象の追跡と検出確率の判定の方法１０では、基準対象テンプレートデータベース２８の既知のテンプレートに対する対象候補のスペクトル的と空間的なパラメータの分析に基づいて、対象候補の検出確率がステップ２６で閾値を超えている場合、図１のステップ３４の措置をとるように命令する。この時、各対象候補は個々に関連付けられた固有の識別子を有する。図１の方法１０を実行するプロセッサが、スペクトル的及び空間的な特性の変化による対象候補の逸脱を検出した場合、プロセッサは自発的にこの逸脱を対象候補の過程における重大なイベントとしてマークする。プロセッサは識別子を割り当てて、逸脱が検出された対象を新しい対象物として識別する。プロセッサは全ての対象に起きたイベントを集めて再評価するが、このとき、プロセッサが追跡された対象物に新しい識別子又は既存の識別子を関連付けたことをオペレータが評価して補正することもありうる。

図１の方法１０を実行するプロセッサは、図１のステップ１６で対象を選択する時点で対象候補のハイパースペクトル的及び空間的な情報及び特性について、図１の対象テンプレートデータベースにエントリを作成できる。図１の対象テンプレートデータベース２８は、ハイパースペクトル画像内の対象候補をプロセッサが追跡しているときに、ハイパースペクトル的及び空間的な情報に加えて時間の情報を記憶できる。プロセッサが対象候補を追跡するのに用いられたスペクトル的と空間的なパラメータに図１のステップ２０で逸脱を検出した場合、図１のデータベース２８に、後に再検討するときに使うために、イベントとしてその逸脱を分類する情報を記憶する。更にプロセッサは、本来の対象とはかなり違うパラメータを有する新しい対象物体に、同じ又は新しい固有の識別子を関連付ける。イベントに指定するか否かの判定では、信頼度の測定値に基づいてパラメータからの逸脱が大きいかを判定する。信頼度の測定には、空間的、スペクトル的、又はその両方で定められるパラメータを用い、ハイパースペクトル的及び空間的な情報の誤差を確実に感知する。

対象候補のパラメータが予め設定されていたパラメータから大きくかけ離れて、イベントとされるシナリオが多くある。そのようなシナリオとは、追跡対象物が、他の対象物に邪魔された場合、一つの追跡対象物が複数の別個の対象物に分割した場合、或いは、例えば追跡対象物が影に入って、色やコントラスト、輝度のような対象物のスペクトル特性が大きく変わった場合である。他のシナリオも考えられ、これら上記のものに限られない。プロセッサがこのようなイベントの前後で対象候補を結び付けることができない場合、イベントが起きる前に対象候補に使われていた同じ識別子をイベント後の一つ以上の新しい対象候補に関連付けて、対象を見失ったり、誤って表示したりしないようにする。

図４Ａと図４Ｂはこのようなシナリオの例である。図４Ａはシナリオ３００という例を示している。ここでは本発明の一実施例におけるハイパースペクトル画像内の監視対象を追跡し検出確率を判定する方法によって道路を走行中の２台の車両３１０、３１２を検出したというシナリオを示している。図１の方法１０を実行するプロセッサは、図１のステップ１２で、受け付けたハイパースペクトルデータを図１のステップ１４で一連のハイパースペクトルフレームに処理し図１のステップ１６で対象候補を選択する。図１のステップ２０で、対象候補を図１の基準対象テンプレートデータベース２８と比較すると、図１のステップ２４でマッチングの度合と検出確率の計算の結果有意であるため、図１のステップ３４の措置を取る。プロセッサは各車両３１０、３１２に対象識別子を割り当て、その対象識別子は図１の基準対象テンプレートデータベース２８に格納される。

図４Ｂは本発明の一実施例におけるハイパースペクトル画像内の監視対象を追跡し検出確率を判定する方法によって追跡対象の変化を検出するシナリオである。図４Ｂでは、以前に図４Ａで対象候補として認識されていた内の一台の車両３１０が木３２４の影３１８を走行して、図４Ａで追跡されている車両３１０のスペクトル特性とは大きく変化してしまったというイベントを表している。更に、第２の類似の車両が、図４Ａで以前に追跡されていた車両３１０の隣を走行中である。図１の方法１０を実行するプロセッサは、車両３１４と３１６の車両のどちらが図４Ａで追跡されて特定されていた車両３１０であるかを識別して、低い信用度であるとした。プロセッサは図１のステップ３４で措置を取り、両車両３１４と３１６が以前追跡されていた車両の識別子に関連付けられていた識別子を有すると判定して、両方の対象について、イベントの時間を図１のデータベース２８にロギングする。

図４Ａで、以前に識別されていた第２の車両３１２が駐車場で止まり、乗客３２２が止まった車両３２０から出た。プロセッサは図４Ａの元の対象物である車両３１２が２つの別個の追跡対象に分割されたというイベントを検出し識別する。プロセッサは図１のステップ３４で措置を取り、車両３２０と人間３２２がイベントの発生前に図４Ａの車両３１２に関連付けられていた識別子を有すると識別し、図１のデータベース２８にイベントの時間をロギングする。

イベントの情報を記憶することとイベントに関連付けられた識別子を作成することの利点は、このシステムのオペレータが識別子に関連付けられた対象のイベントの履歴を呼び出せることである。オペレータは、識別子や関連付けられた識別子を有する全ての追跡されている対象物をその履歴と一緒に分析し見直すことができる。イベント履歴には追跡対象の識別子がこのシステムによって修正されることになった全てのイベントに関する全てのデータが含まれる。更に、イベントにおいて対象に関連付けられた識別子が誤りである場合、オペレータは手動でシステムを修正することができる。

本明細書では、実施例を使用して最良の態様を含めた本発明を開示し、且つ全ての当業者が、装置又はシステムを作製及び使用すること、並びにこれに含まれるあらゆる方法を実行したりすることを含め、本発明を実施できるようにしている。本発明の特許請求の範囲は請求項によって定義されており、当業者に想到される他の実施例も含み得る。他のこのような実施例は、それらが特許請求の範囲の文言と相違ない構成要素を有する場合、或いはそれらが特許請求の範囲の文言と実質的に相違ない同等な構成要素を含んでいる場合、特許請求の範囲内にあることを意図する。

１０ハイパースペクトル画像における監視対象を追跡して検出確率を判定する方法
１２データを受け取るステップ
１４ハイパースペクトルフレームのセットを処理するステップ
１６対象候補を選択するステップ
１８選択された対象物を追跡するステップ
２０データベース中のテンプレートと比較するステップ
２２マッチングを判定するステップ
２４マッチング度と検出確率を判定するステップ
２６検出確率が閾値を超えているか否かを判定するステップ
２８テンプレートデータベース
３０新しいテンプレートを作成するか否かを判定するステップ
３２テンプレート候補を切り捨てるステップ
３４検出に基づいて措置を取るステップ
１００ハイパースペクトル検索アルゴリズムを選択する方法
１１０フレームの特性を保存するステップ
１１２第１のフレームの特性にアクセスするステップ
１１４第２のフレームの特性にアクセスするステップ
１１６第１の検索アルゴリズムを用いるステップ
１１８第３のフレームの特性にアクセスするステップ
１２０第２の検索アルゴリズムを用いるステップ
１２２第３の検索アルゴリズムを用いるステップ
１２４デフォルトの検索アルゴリズムを用いるステップ
２００ハイパースペクトル検索アルゴリズムの許容誤差を選択する方法
２１０初期の許容誤差をデフォルト値に設定するステップ
２１２選択されたアルゴリズムを実行するステップ
２１４許容誤差を狭めるステップ
２１６マッチングするピクセル数を判定するステップ
２１８許容誤差を緩和するステップ
２２０ピクセルの位置とシグネチャーを保存するステップ
３００２つの対象物がハイパースペクトルイメージングシステムによって検出され、追跡されるシナリオ
３１０、３１２、３１４、３１６、３２０追跡対象の車両
３１８影
３２２人間
３２４木

Claims

少なくとも一つの追跡対象物のシグネチャーの組を選択すること、
前記少なくとも一つの追跡対象物の前記シグネチャーの組に対応するハイパースペクトル画像テンプレートのシグネチャーの組を選択すること、
前記少なくとも一つの追跡対象物の前記シグネチャーの組のピクセル値と、前記ハイパースペクトル画像テンプレートの前記シグネチャーの組のピクセル値との差の絶対値を定めること、
最大絶対値と最小絶対値の差を１から減算することによってマッチング度を定めること、並びに、
前記少なくとも一つの追跡対象物の画像が前記ハイパースペクトル画像テンプレートにどの程度近似しているかの信頼度を判定するために、前記マッチング度を前記少なくとも一つの追跡対象物の画像のピクセル数に正規化すること
を含む、
少なくとも一つの追跡対象物を追跡しながら、画像センサのピクセルによって輪郭が示される少なくとも一つの追跡対象物のハイパースペクトル画像のシグネチャーが、ハイパースペクトル画像テンプレートにマッチングする信頼度を、リアルタイムで評価する方法。
前記ハイパースペクトル画像は、ハイパースペクトルイメージングビデオカメラで収集されたビデオの１フレームである、請求項１に記載の方法。
前記少なくとも一つの追跡対象物は、可能性のある物体の組である、請求項１に記載の方法。
前記シグネチャーの組は、ハイパースペクトル的なデータと空間的なデータの両方を含む、請求項１に記載の方法。
空間的にマッチングする前記シグネチャーの割合を判定するステップと、
最大絶対値と最小絶対値の差を１から減算することによってマッチング度を定める前記ステップを、前記シグネチャーの割合に適用するステップと、
を更に含む、請求項１に記載の方法。