JP5859594B2 - ハイパースペクトル画像を使用して物体を追跡する方法 - Google Patents

Description

本発明は、物体の動きを追跡する方法に関する。

ハイパースペクトルカメラは、ビデオフレームレートで、ハイパースペクトル画像フレームまたはデータキューブを撮像することが可能である。これらのカメラは、高い空間分解能およびスペクトル分解能の画像を取得する。コンピュータビジョンおよびスペクトル分析に関する技法と組み合わせて、ハイパースペクトルカメラのオペレータは、画像化された物体の、検出、追跡、および識別に関する監視応用例に携わっている。

米国特許出願公開第２０１１／０２２８１１６号明細書

発明の１つの態様は、ハイパースペクトル画像化を使用して、動いている物体のグループのうちの少なくとも１つの物体の動きを追跡する方法に関する。方法は、ハイパースペクトル画像フレームのシリーズを取得するステップと、シリーズ内の各フレームをテンプレートと比較して、フレーム間の画像内の変化を決定するステップと、変化に関連する各フレーム内の画素のグループを識別するステップと、動いている物体の動きとして変化を識別するステップと、フレーム間で画素のグループを相関させ、物体の動きの少なくとも１つのパラメータを空間的に決定するステップと、画素のグループと少なくとも１つの物体に関連するスペクトル反射率プロファイルとを相関させるステップとを含み、少なくとも１つの物体のトラックが、他の動いている物体のトラックから区別可能である。

発明の実施形態によるハイパースペクトル画像化を使用する、動いている物体のグループのうちの少なくとも１つの物体の動きを追跡する方法を示す流れ図である。 発明の実施形態による、ハイパースペクトル画像化システムが２つの物体を検出および追跡したシナリオを示す図である。

背景技術および以下の記載では、説明の目的で、本明細書に記載の技術の完全な理解をもたらすために多数の具体的な詳細が記載されている。しかし、当業者なら、例示的な実施形態は、これらの具体的な詳細なしに実践できることが明らかであろう。例示的な実施形態の記載を容易にするために、他の事例、構造、およびデバイスが図の形で示される。

例示的な実施形態は、図を参照して記載される。これらの図では、本明細書に記載のモジュール、方法、またはコンピュータプログラム製品を実装する、具体的な実施形態の特定の詳細を図示する。しかし、図は、図中に提示され得るいかなる制限も課すものであると解釈されるべきではない。方法およびコンピュータプログラム製品は、その動作を行うために、任意の機械可読媒体で提供することができる。実施形態は、既存のコンピュータプロセッサを使用して、またはこの目的もしくは別の目的のために組み込まれる専用コンピュータプロセッサ、またはハードワイヤードシステムによって実装することができる。

上記のように、本明細書に記載の実施形態は、機械実行可能な命令またはデータ構造を担持または記憶するための機械可読媒体を備えるコンピュータプログラム製品を含むことができる。そのような機械可読媒体は、汎用もしくは専用コンピュータまたはプロセッサを備える他の機械によりアクセスすることができる、任意の入手可能な媒体であってよい。例として、そのような機械可読媒体としては、機械実行可能な命令またはデータ構造の形で、所望のプログラムコードを担持または記憶するために使用することができ、汎用もしくは専用コンピュータまたはプロセッサを備える他の機械によりアクセスすることができる、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭもしくは他の光ディスク記憶デバイス、磁気ディスク記憶デバイスもしくは他の磁気記憶デバイス、または任意の他の媒体を含むことができる。情報が機械にネットワークまたは別の通信接続（ハードワイヤード、無線、またはハードワイヤードもしくは無線の組合せのいずれか）を介して伝達または提供されるとき、機械は、厳密に、接続を機械可読媒体とみなす。したがって、任意のそのような接続は、厳密に、機械可読媒体と呼ばれる。上記の組合せは、機械可読媒体の範囲内にやはり含まれる。機械実行可能な命令としては、例えば、汎用コンピュータ、専用コンピュータ、または専用処理機械に、特定の機能または機能のグループを実施させる、命令またはデータを含む。

実施形態は、例えばネットワーク化された環境で機械により実行されるプログラムモジュールの形でのプログラムコードなど、機械実行可能な命令を含むプログラム製品によって、１つの実施形態に実装することができる、方法ステップの一般的なコンテキストで記載されることとなる。一般的に、プログラムモジュールとしては、具体的なタスクを実施する技術的効果を有する、または具体的な抽象データ型を実装する、ルーチン、プログラム、オブジェクト、構成要素、データ構造などが挙げられる。機械実行可能な命令、関連付けされたデータ構造、およびプログラムモジュールは、本明細書に開示される方法のステップを実行するためのプログラムコードの例を表す。そのような実行可能な命令または関連付けされたデータ構造の具体的なシーケンスは、そのようなステップで記載される機能を実装するための、対応する行為の例を表す。

実施形態は、プロセッサを有する１つまたは複数の遠隔コンピュータへの論理的な接続を使用して、ネットワーク化された環境で実践することができる。論理的な接続としては、限定ではなく例として本明細書で提示される、ローカルエリアネットワーク（ＬＡＮ）およびワイドエリアネットワーク（ＷＡＮ）が挙げられる。そのようなネットワーク環境は、オフィス規模または企業規模のコンピュータネットワーク、イントラネット、およびインターネットで珍しくなく、種々多様な異なる通信プロトコルを使用することができる。当業者なら、そのようなネットワークコンピューティング環境は、典型的には、パーソナルコンピュータ、ハンドヘルドデバイス、マルチプロセッサシステム、マイクロプロセッサベースの家庭用電子機器またはプログラム可能な家庭用電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータなどを含む、多くのタイプのコンピュータシステム構成を包含することを理解するであろう。

実施形態は、通信ネットワークを介して（ハードワイヤードリンク、無線リンク、またはハードワイヤードもしくは無線リンクの組合せのいずれかにより）リンクされる、ローカルの処理デバイスおよび遠隔の処理デバイスによりタスクが実施される、分散型コンピューティング環境でも実践することができる。分散型コンピューティング環境では、プログラムモジュールは、ローカルメモリ記憶デバイスおよび遠隔メモリ記憶デバイスの両方に位置することができる。

例示的な実施形態の全体または部分を実装するための例示的なシステムとしては、処理ユニット、システムメモリ、およびシステムメモリを含む様々なシステムの構成要素を処理ユニットに結合するシステムバスを含む、コンピュータの形の、汎用コンピューティングデバイスを挙げることができる。システムメモリとしては、読取り専用メモリ（ＲＯＭ）およびランダムアクセスメモリ（ＲＡＭ）が挙げられる。コンピュータは、磁気ハードディスクの読取りおよび書込みのための磁気ハードディスクドライブ、取外し可能磁気ディスクの読取りおよび書込みのための磁気ディスクドライブ、ならびにＣＤ−ＲＯＭまたは他の光学媒体などの取外し可能光学ディスクの読取りおよび書込みのための光学ディスクドライブをやはり含むことができる。ドライブおよびその関連する機械可読媒体は、コンピュータのために、機械実行可能な命令、データ構造、プログラムモジュールおよび他のデータの、不揮発性の記憶を可能にする。

実施形態に開示される方法の技術的効果は、物体の検出および追跡のための遠隔画像化システムの、有用性および性能を増加することを含む。方法は、グレースケール画像のコントラストベースの検出方法を使用するフレーム差分技法に関連する、遮蔽、ブロブマージング、画像フレームの脱落、物体の交差、および他の問題に起因する、従来型の空間追跡の誤りを減少させることとなる。同様に、方法は、基本的な自動指名、再取得、およびターゲット探索能力を提供することにより、自律物体追跡システムを改善する。

図１は、ハイパースペクトル画像に含まれるスペクトル情報と空間情報の融合を使用する、発明の実施形態による物体のグループのうちの１つまたは複数の物体の動きを追跡する方法を示す流れ図である。最初に、ステップ１００で、ハイパースペクトルカメラを備えたプラットフォームの動作の最中に、物体を検出、追跡、および識別するために、画像を処理する必要がある場合がある。

ステップ１１０で、ハイパースペクトルカメラが、ハイパースペクトル画像フレームのシリーズを取得することができる。プラットフォームに搭載のプロセッサが、フレームの処理を実施することができ、または、（集合的に「プロセッサ」と呼ぶ）第２のプロセッサもしくは処理システムによって処理するために、遠隔地への画像の送信を指示することができる。最初に、プロセッサは、空間分析技法により、ハイパースペクトル画像フレーム内の変化を決定することができる。図１に示されるように、プロセッサは、テンプレート１１５と比較することにより画像内の変化を決定する目的で、１１２において、ステップ１１４、１１８のシーケンスをハイパースペクトル画像フレームに実施することができる。プロセッサは、従来型の空間分析または画像処理技法を使用して、ステップ１１４で、画像のフレーム間比較を最初に行うことができる。画像フレームの空間特性の直接比較を実施することにより、プロセッサは、画像の校正および整合に関して、画像の性質を決定することができ、または動いている画像化された物体に関して、画像化した光景の性質を決定することができる。校正および整合に関連して、プロセッサは、限定するものではないが、ノイズフィルタリング、コーナー検出、画像登録、相同、およびフレーム間整合に関することができる、よく知られた一連の画像処理技法を実施することができる。プロセッサは、コントラスト、分解能、および強度などの画像特性に基づいて、画像フレーム内の物体の検出に関する他の画像処理技法を用いることができる。

ステップ１１４におけるフレーム間比較に部分的に基づいて、プロセッサは、ステップ１１８で、フレーム間の画像内の変化を決定することができる。プロセッサは、画像フレームおよびフレーム間差分として識別される性質を、テンプレートデータベース１１６に記憶することができる、知られているターゲットの参照ターゲットテンプレート１１５と比較することができる。参照ターゲットテンプレート１１５は、対象となる実世界の物体の、ハイパースペクトル画像の空間的な性質を表す、以前に確立された記述子であってよい。例えば、テンプレート１１５は、システムにより画像化されるような、物体の予想される形状を示す、１組の画素を含むことができる。あるいは、テンプレート１１５は、例えば、主成分分析またはウェーブレット変換の出力として、物体の予想される形状の、具体的な分解を表すように記憶される１組のベクトルからなることができる。テンプレート１１５内の空間記述子の具体的な形式にかかわらず、プロセッサは、ステップ１１８において、相関または照合動作を実施して、テンプレート１１５に符号化された物体に関係する以前の知識を活用し、画像フレーム内の変化をさらに決定することができる。

プロセッサは、ステップ１１４におけるフレーム間比較およびテンプレート１１５の両方から導出される画像フレームの検出される変化を、ステップ１１８から出力することができる。追跡される可能性のある物体を識別する目的で、プロセッサは、画像フレーム内の画素のグループをステップ１１８で出力する。発明の１つの実施形態では、プロセッサは、出力をステップ１２０に導き、検出された変化に関連する各フレーム内の画素のグループを識別することができる。発明の別の実施形態では、プロセッサは、出力を制御フロー１３２を介してステップ１２８に導き、画素のグループを相関させて、物体をスペクトル的に特徴付けることができる。

ステップ１２０で、プロセッサは、ステップ１１８で出力された検出された変化と関連する、各フレーム内の画素のグループを識別することができる。プロセッサは、個々のフレームに一連の機能および計算を実施して、各フレーム内の画素を、ステップ１１４におけるフレーム間比較およびテンプレート１１５の両方から導出される画像フレーム内の検出された変化に関連する画素のグループに連結、マージ、および／または選別することができる。次いで、ステップ１２２で、プロセッサは、画像フレームおよび検出された変化に関連する各フレーム内の画素のグループ内の検出された変化に基づいて、画像フレームのシリーズ内の動いている物体の動きを識別することができる。ハイパースペクトル画像フレームのシリーズ内の動いている物体の検出および識別に際し、プロセッサは、ステップ１２４で、画素のグループをフレームにわたってさらに相関させ、識別され検出された物体の動きを空間的に特徴付けることができる。プロセッサは、知られている画像処理技法およびコンピュータビジョン技法に基づいて動きをパラメータ表示し、速度または加速度などの性質を決定することができる。次いで、動きのパラメータ表示は、以降の追跡の取り組みのための、追加の情報として使用することができる。例えば、追跡される物体の速度を詳述する以前の情報を備える追跡システムのプロセッサは、フレーム間比較および空間テンプレート照合を処理するとき、追加の変換を適用して、ハイパースペクトル画像フレーム内の物体の予想される場所を考慮することができる。

ステップ１２８で、プロセッサは、スペクトル反射率プロファイルデータベース１２６に記憶されるスペクトル反射率プロファイル１２５への、画素のグループの相関を決定することができる。スペクトル反射率プロファイル１２５は、事前に決定することができ、対象となる実世界の物体の、ハイパースペクトル画像のスペクトル的な性質を述べることができる。さらに、スペクトル反射率プロファイル１２５は、多くのスペクトル反射率シグネチャから構成することができる。したがって、スペクトル反射率プロファイルデータベース１２６は、対象となる実世界の物体のスペクトル反射率シグネチャ、およびそれらの空間的な関係の両方を述べることができる。

スペクトル反射率プロファイルデータベース１２６に述べられる物体に画素のグループを相関させるまたは照合するために、プロセッサは、各シグネチャの、画素のグループの空間分布が、スペクトル反射率プロファイル１２５内のシグネチャの空間分布と類似しているかを決定することができる。スペクトル反射率プロファイルデータベース１２６は、複数の物体に関する複数のプロファイル１２５を有することができるので、画素のグループをスペクトル反射率プロファイル１２５に相関させるプロセッサは、ハイパースペクトル探索アルゴリズムを用いて、画素のグループを具体的な反射率プロファイル１２５と照合させることができる。

いくつかのハイパースペクトル探索アルゴリズムが開発され、物体検出の目的で、ハイパースペクトル画像の処理に使用されてきた。典型的には、よく知られた統計の概念に基づいて、ハイパースペクトル探索アルゴリズムは、画像内の候補となる物体の統計的性質を利用する。例えば、マハラノビス距離は、ハイパースペクトル画素シグネチャにしばしば適用される類似性の統計尺度である。マハラノビス距離は、シグネチャを、シグネチャの知られているクラスの平均および標準偏差に対して試験することによって、シグネチャの類似性を測定する。類似性尺度としては、スペクトル角マッピング（ＳＡＭ）、スペクトル情報距離（ＳＩＤ）、ゼロ平均差分面積（ＺＭＤＡ）またはバタチャリヤ距離などの、知られているスペクトル分析検出技法の要素を挙げることができる。プロセッサは、実装に依存して、他の類似性尺度を用いることができる。

スペクトル反射率プロファイル１２５が、図１に示されるように、スペクトル反射率プロファイルデータベース１２６に記憶され、スペクトル反射率プロファイルデータベース１２６から取り出され得ることが好ましい一方で、基準として使用するための、スペクトル反射率プロファイル１２５の他の供給源が、ハイパースペクトル画像フレーム自体を含むことができる。例えば、画素のグループが対象となる物体の画像であると自動的に決定することができる、追加の処理能力をプロセッサが含むことができる。あるいは、ハイパースペクトル画像を集めるシステムのオペレータが、ディスプレイ上で、手作業で画素のグループを選択し、対象となる物体のスペクトル反射率プロファイル１２５として、対応するスペクトル反射率シグネチャを識別することができる。

上に記載のように、プロセッサは、本発明の実装に依存して、いくつかの場所のうちの１つで、ステップ１２８を統合して、画素のグループを相関させて、物体をスペクトル的に特徴付けることができる。図１に示されるように、方法の主な制御フローは、画素のグループを相関させて物体をスペクトル的に特徴付けるステップ１２８が、画素のグループをフレーム間で相関させて物体の動きを空間的に特徴付けるステップ１２４に続くことができることを示す。追加の制御フロー１３２および１３４は、画素のグループを相関させて物体をスペクトル的に特徴付けるステップ１２８が、ハイパースペクトル画像フレーム間で画像内の変化を決定するステップ１１８に直接続くことができることを示す。実装に依存して、ステップ１２８は、ステップ１１８もしくはステップ１２４のいずれかに続くことができ、またはステップ１１８およびステップ１２４の両方に続くことができる。

発明の１つの実施形態では、プロセッサは、ステップ１２４で決定された動きのパラメータが所定の閾値未満である場合、画素のグループを相関させて物体をスペクトル的に特徴付けるステップ１２８のみを実施する。例えば、プロセッサは、５ｍ／ｓより速い速度で動いている検出された物体を、スペクトル的に特徴付けないことができる。減速または停止した物体をスペクトル的に特徴付けることだけにより、プロセッサは、画像を効果的に処理して、空間追跡法を用いて追跡するのが典型的には困難な物体のトラックを維持することができる。スペクトル的に相関させる追加のステップによって、トラックのリンクおよびトラックの確認を支援し、その結果、標準的な空間追跡法に共通の、偽陽性および他の追跡誤りを減少させることができる。

物体が、空間追跡技法に基づいて、トラックを取得するまたはトラックを維持することが困難な場合がある、多くのシナリオがある。そのようなシナリオとしては、追跡される物体が他の物体により遮蔽されること、または追跡される物体が複数の別個の物体に分割することが挙げられる。他のシナリオが存在しており、これらが限定的であると考えるべきではない。

図２は、３００で、例となるシナリオを示す。ここでは、発明の実施形態によるハイパースペクトル画像を用いて、動いている物体のグループの中から物体の動きを追跡するための方法が、同じ道路上の第２の車両とほぼ同じ速度で移動している車両３１０を検出し、追跡する。図１の方法を実装するプロセッサが、ハイパースペクトルフレームのシリーズを処理し、２つの類似したモデルの車両を追跡する。例えば、車両３１０と３１２が異なる色である場合、スペクトル的な相関によって、２つの類似した形状で動いている車両の間に、明確な違いがもたらされる。２つの車両が互いに近接して、ほぼ同じ速度で移動すると仮定すると、２つの車両３１０、３１２が別個の進路を進むとき、例えば車両３１０が停止し、車両３１２が動き続ける場合、純粋に空間分析に基づく追跡システムは、混乱するおそれがある。しかし、図１の方法に基づく追跡システムは、車両３１０を追跡し続ける。本質的に、空間追跡技法と、スペクトル反射率プロファイル１２５に基づく画素のグループのスペクトル的な特徴付けとの融合によって、混乱させるものが存在する際に、動いている物体を確固として追跡することが可能となる。加えて、追加されるスペクトル情報および処理によって、車両３１０が停止したときでさえ、車両３１０のトラックを維持することが可能である。

車両３１０、３１２が、道路上を動き続け、例えば、車両が図２に示される木を通過するとき、追跡システムの視野から車両が覆い隠される場合、追跡システムは、車両のトラックを見失うおそれがある。しかし、物体のスペクトル反射率プロファイル１２５は、経時的に一貫しているので、車両３１０が追跡システムの遮蔽されない視野に現れると、トラックを再び取得することができる。ここで、スペクトル反射率プロファイル１２５によって、適用範囲に遮蔽があるときでさえ、動いている物体を確固として追跡することが可能となる。

この記述は、最良の形態を含む、発明を開示するための例、ならびに当業者が、任意のデバイスまたはシステムを作成および使用すること、任意の組み込まれる方法を実施することを含む、発明を行うことを可能にもするための例を使用している。発明の特許性のある範囲は特許請求の範囲により規定され、当業者に想到する他の例を含むことができる。そのような他の例が特許請求の範囲の逐語的な文言と異ならない構成要素を有する場合、またはそのような他の例が特許請求の範囲の逐語的な文言と実質的に異ならない等価な構成要素を含む場合、そのような他の例は、特許請求の範囲に入ることを意図する。

１００ 開始
１１０ ハイパースペクトル画像フレームを取得する
１１４ フレーム間比較
１１５ 参照ターゲットテンプレート
１１６ テンプレートデータベース
１１６ テンプレート
１１８ フレーム間で画像内の変化を決定する
１２０ 変化に関連する各フレーム内の画素のグループを識別する
１２２ 変化を動いている物体の動きとして識別する
１２４ 画素のグループをフレーム間で相関させて、物体の動きを空間的に特徴付ける
１２５ スペクトル反射率プロファイル
１２６ スペクトル反射率プロファイルデータベース
１２８ 画素のグループを相関させて、物体をスペクトル的に特徴付ける
１３０ 終了
１３２ 制御フロー
１３４ 制御フロー
３１０ 車両
３１２ 車両

Claims (8)

1. ハイパースペクトル画像化を使用して、動いている物体のグループのうちの少なくとも１つの物体の動きを追跡する方法であって、
   ハイパースペクトル画像フレームのシリーズを取得するステップと、
   前記シリーズ内の各フレームをテンプレートと比較して、フレーム間の前記画像内の変化を決定するステップと、
   前記変化に関連する各フレーム内の画素のグループを識別するステップと、
   前記動いている物体の動きとして変化を識別するステップと、
   フレーム間で前記画素のグループを相関させ、前記物体の前記動きの少なくとも１つのパラメータを空間的に決定するステップと、
   前記物体の前記動きの前記少なくとも１つのパラメータの値が所定の閾値未満であるときにのみ、前記画素のグループと前記少なくとも１つの物体に関連するスペクトル反射率プロファイルとを相関させるステップと
   を含み、
   前記少なくとも１つの物体のトラックが、他の動いている物体のトラックから区別可能である、
   方法。
2. 前記画素のグループとスペクトル反射率プロファイルとを相関させる前記ステップが、前記シリーズ内の各フレームをテンプレートと比較するステップの後の、次のステップとして実施される、請求項１記載の方法。
3. 前記画素のグループとスペクトル反射率プロファイルとを相関させる前記ステップが、フレーム間で前記画素のグループを相関させ、前記物体の前記動きの少なくとも１つのパラメータを空間的に決定するステップの後の、次のステップとして実施される、請求項１又は２記載の方法。
4. 前記画素のグループとスペクトル反射率プロファイルとを相関させる前記ステップが、前記シリーズ内の各フレームをテンプレートと比較するステップの後の、次のステップとして実施され、フレーム間で前記画素のグループを相関させて前記物体の前記動きの少なくとも１つのパラメータを空間的に決定するステップの後の、次のステップとして実施される、請求項１乃至３のいずれか１項に記載の方法。
5. 前記物体の前記動きの前記少なくとも１つのパラメータが速度である、請求項１乃至４のいずれか１項に記載の方法。
6. 前記物体の前記動きの前記少なくとも１つのパラメータが加速度である、請求項１乃至４のいずれか１項に記載の方法。
7. 前記スペクトル反射率プロファイルが、スペクトル反射率プロファイルのデータベースに記憶され前記スペクトル反射率プロファイルのデータベースから取り出される、請求項１乃至６のいずれか１項に記載の方法。
8. 前記スペクトル反射率プロファイルが、ハイパースペクトル画像フレームの前記シリーズ内の画素のグループから導出される、請求項１乃至６のいずれか１項に記載の方法。