JP5336520B2 - 複雑性が減少した高分光プロセッシングに基づくリアルタイムターゲット検出方法 - Google Patents

Description

本発明は、リアルタイムターゲット検出方法に係り、特に、高分光映像プロセッシング（ハイパースペクトラルイメージプロセッシング）のための効果的なソリューションとしてのリアルタイムターゲット検出方法に関する。

高分光映像プロセッシングは、場面から詳細な分光（スペクトル）情報を収集して解析する技術である。映像データは、数百の狭くて隣接した分光バンドとして表われ、ほぼ連続的なスペクトルとして見える。分光範囲は、赤外線、可視光線及び紫外線を含む。詳細な分光分析（ｒｅｓｏｌｕｔｉｏｎ）は、ターゲット追跡だけではなく、化学物質、異常物体、偽装物体などを検出するための高分光映像技術の強力なツールとなる。

伝統的な高分光映像プロセッシングは、ターゲットを分類するか、検出するために数百個のバンドを使う。計算の複雑性は、プロセッシングしようとするデータの量に比例する。したがって、データ量の低減とアルゴリズムの単純化は、リアルタイム処理において非常に重要である。高分光プロセッシングの計算的複雑性は、バンドの部分的な数（ｐａｒｔｉａｌ ｎｕｍｂｅｒ）を使わせるための分光コンテンツのリダンダンシー（冗長性）を活用することで減らすことができる。しかし、高分光映像プロセッシングによってプロセッシングされるデータの量は、一般的なイメージプロセッシングより依然として大きい。

高分光映像データをプロセッシングするための多様なアプローチが存在する。ハードウェアクラスターは、高性能、高い有用性及び水平スケーリングを果たすために使われるので、有用な手段である。クラスター技術は、またスケーラブルな（ｓｃａｌａｂｌｅ）保存及び／またはデータ管理のために使われる。このようなコンピューティングリソースは、地上に伝送される前に遠隔で検出されたデータの効果的なプロセッシングに使われる。デジタル信号プロセッサは、またマルチプルアキュムレータ（乗累算）演算の遂行に最適化されうるために、高分光計算に適切である。並列プロセッシングのために普通、ＤＳＰクラスターが具現される。一般的な保存プロセッシングシステム性能は、データ整理のないリアルタイム高分光イメージプロセッシングに不適切である。

一般的な映像写真が、２次元として表われる一方、高分光映像は、図１に見えるバンド分光データのための一つ以上の次元を有する。高分光映像センサーによって収集されたデータは、一つのキューブとして維持され、（ｘ、ｙ）に位置する各ピクセルは、Ｎｚバンドを有する。ノーテーション（表記）のＮ_ｘ及びＮ_ｙは、軸に対応するピクセルの総サイズを表わすために使われる。高分光映像での高性能検出は、分光バンドの数が大きいため、実現されにくい。

高分光映像プロセッシングは、プリプロセッシング、プロセッシング及びポストプロセッシングの三種の重要な段階を含む。前記動作は、図２に示される。高分光センサーは、ピクセルのスペクトル情報を収集するそれぞれの検出器の配列である。センサーからのスペクトル情報は、図２に示されたように、ロー（生の）映像データとしてキューブメモリ構造に保存される。ロー映像データは、プリプロセッシングによって調整される。各キューブは、ターゲット要素の特性を表わす多数のバンドを含む。プロセッシングで、ターゲット映像は、ターゲットライブラリーと関連するデータの一部を分離することで、ターゲット映像が検出される。ターゲットライブラリーは、検出のための客体についての分光情報を含む。プロセッシングの目的は、ターゲットライブラリーに保存される分光情報と関連する入力キューブからターゲットイメージを探し出すことである。三番目の段階であるポストプロセッシングは、検出された映像をＲＧＢでディスプレイする。

一般的な高分光イメージプロセッサの主な論点は、その長所の反対、すなわち、高分光映像データの多くの量と複雑性とにある。リアルタイムプロセッシングのために、複雑性は必ず減少しなければならない。これに対する最も簡単なアプローチは、プロセッシングのためのバンドの個数及びライブラリーの量を減らすことである。ところが、検出の性能は、ターゲットライブラリーに保存された分光情報の質によって決定される。したがって、このようなアプローチ方法は、高分光映像プロセッシングの長所を除去してしまう。

ところが、特定のバンドが、客体を表わす特性をさらに多く有しているならば、バンドのあらゆるスペクトルが、ターゲット検出に必要なものではない。したがって、本発明のアプローチは、ターゲット検出にさらに効率的なバンドを決定し、それを用いてターゲットを検出することである。

本発明が解決しようとする技術的課題は、迅速でリアルタイムアプリケーションでも正確にターゲットを検出することができる複雑性が減少した高分光プロセッシングに基づくリアルタイムターゲット検出アーキテクチャーを提供することである。

前記技術的課題を解決するための本発明の実施形態によるリアルタイムターゲット検出方法は、プリプロセッシングされた任意のピクセルをライブラリーに基づいてターゲット及び／またはバックグラウンドとして検出する段階と、前記ターゲット及び／または前記バックグラウンドからターゲットサンプル及び／またはバックグラウンドサンプルを抽出して、前記ライブラリーをリファインする段階と、を備え、前記ライブラリーをリファインする段階は、寄与要素に基づいて、前記ピクセルに対する効果的なバンドリストを作成する段階を含み、前記ピクセルを前記ターゲット及び／またはバックグラウンドとして検出する段階は、前記リファインされたライブラリーから効果的なバンドリストをロードする段階と、前記効果的なバンドリストに基づいたスペクトル情報を得るとともに前記ライブラリーから相関係数を得る段階と、前記相関係数の大きさに基づいて、前記ターゲット及び／または前記バックグラウンドを決定する段階と、を備え、前記ピクセルを前記ターゲット及び／またはバックグラウンドとして検出する段階では、パイプライン構造を使って、前記ピクセルを処理する。

望ましくは、前記ターゲット及び／または前記バックグラウンドを決定する段階では、前記相関係数が、前記ピクセル及び前記ライブラリーとの関係を表わす最小相関係数より大きい場合、前記ピクセルをターゲットで検出することができる。

本発明による高分光映像プロセッシングのためのリアルタイムターゲット検出アーキテクチャーは、リアルタイムアプリケーションのためにライブラリーリファインメント（ｌｉｂｒａｒｙ ｒｅｆｉｎｅｍｅｎｔ）過程が簡素化され、分光バンドの個数が最小化される、複雑性の減少したアルゴリズムに基づく。そして、データ分割を活用することで、効率的なパイプラインプロセッシング成分アーキテクチャーが提供され、スケーラブルな（乱調が発生しない）複合的なプロセッシング成分アーキテクチャーが提供される。また、速度向上のために複合的なプロセッシング成分アーキテクチャーのための相互連結トポロジーが提供される。また、高分光映像プロセッシングに使われるデータ整理アルゴリズムに基づくプロセッシングユニットモデリング及びメモリ活用度を最適化してメモリボトルネック現象を除去するためのコンピューティング構造が提供される。この提供されたアーキテクチャーは、ターゲット検出のための高分光映像プロセッシングの「ハードウェア複雑性」対「実行処理量」の関係を検証するために、ＦＰＧＡで設計されて具現可能である。したがって、本発明による高分光映像プロセッシングのためのリアルタイムターゲット検出アーキテクチャーは、正確で迅速にターゲットを検出することができる長所がある。

キューブデータ構造を示す図である。 全般的な高分光映像プロセッシングを示す図である。 相異なる個数の効果的なバンドが適用される場合の検出映像の差を示す図である。 リファインされたライブラリースキームが適用された検出映像を示す図である。 本発明の実施形態によるターゲット検出方法を示すフローチャートである。 Ｎ_ＬＩＢが４である場合のプロセッシングに対するタイミング図である。 本発明の実施形態に使われる関数の機能を示す図である。 図７の関数を演算の内容による分類を示す図である。 キューブ遅延のないプロセッシングを示す図である。 二つの段階のパイプライン構造が適用されるプロセッシングを示す図である。 図１０の動作タイミング図である。 Ｔ_Ａ及びＴ_Ｂに対する実行時間を示すグラフである。 ３つのアキュムレータが適用されるステージ Ａでのピクセルベースパイプライン構造を示す図である。 ピクセルベースパイプライン構造でのピクセルに対する実行時間を示す図である。 浮動小数点ユニット（ＦＰＵ_ｓ）での実行の流れを示す図である。 プロセッシング要素の個数が４であるキューブデータ分割を示す図である。 キューブ分割を示す図である。 ２つの異なる個数のプロセッシング要素が適用される検出された映像の比較のための図である。 分離されたライブラリーのない多重データ分割を示す図である。 共有されたライブラリーを備える多重データ分割を示す図である。 図２０の動作タイミング図である。 本発明の実施形態によるプロセッシングに対するブロック図である。 バスからＩＰへのデータ処理を示す図である。 １つのＰＰＣを使う場合の、効果的なバンド個数に対する処理量を示すグラフである。 ２つのＰＰＣを使う場合の、効果的なバンド個数に対する処理量を示すグラフである。 ２つのＰＰＣを使う場合の、効果的なバンド個数に対するアキュムレータ実行速度を示すグラフである。 効果的なバンド個数に対するスライスの使用量を示すグラフである。 効果的なバンド個数に対するブロックＲＡＭサイズを示すグラフである。 マルチプロセッシング実行モデルでの本発明の実施形態によるターゲット検出の全般的な構造を示す図である。 検出が４つのプロセッシング要素で行われる場合のＮ_Ｂに対応する検出された高分光映像個数を示す図である。 ２つのＰＰＣを使う場合のＮ_ＬＩＢ及び／またはＮ_Ｅに対する処理量を示す図である。 ２つのＰＰＣを使う場合のＮ_ＬＩＢ及び／またはＮ_Ｅに対する処理量を示す図である。 ２つのＰＰＣを使う場合のＮ_ＬＩＢ及び／またはＮ_Ｅに対する処理量を示す図である。 ２つのＰＰＣを使う場合のＮ_ＬＩＢ及び／またはＮ_Ｅに対する処理量を示す図である。 ２つのＰＰＣを使う場合のＮ_ＬＩＢ及び／またはＮ_Ｅに対する処理量を示す図である。

本発明と本発明の動作上の利点及び本発明の実施によって達成される目的を十分に理解するためには、本発明の望ましい実施形態を例示する添付図面及び図面に記載の内容を参照しなければならない。

以下、添付図面を参照して、本発明の望ましい実施形態を説明することによって、本発明を詳しく説明する。各図面に付された同じ参照符号は、同じ部材を表わす。
ターゲット検出のための高分光映像プロセッシングでの主な動作は、入力キューブイメージを、ターゲットライブラリーと比較し、スペクトル情報についての相関係数を決定することである。したがって、高分光映像プロセッシングでの主な動作は、相関性を計算することである。相関係数Ａは、ターゲットライブラリーに保存されているスペクトル情報と入力映像から得られるスペクトル情報の２つのスペクトル情報の間の類似性を表わす。２つのスペクトル情報の間の高い相関性は、その二つの間の類似性が高いことを表わす。相関係数は、次の数式１のように定義される。

ここで、Ｎ_Ｅは、効果的なバンドの個数を表わし、ｔ_ｉは、ｉ番目のバンドのテストスペクトルであり、ｒ_ｉは、ｉ番目のバンドの基準スペクトルである。

本発明は、検出のために適用されるバンドの個数を減らすために効果的なバンドを選択するスキームを適用する。効果的なバンド選択のために、本発明は、ターゲットライブラリーと関連する遮断（孤立）効果を表わす寄与要素を定義する。寄与要素を得るために、バックグラウンド映像の分光特性を表わすバックグラウンドサンプルがランダムに選択される。相関性は、２つのスペクトル情報の間の多様な差を表わすので、効果的なバンドは、最大限分離された寄与値を得るために選択される。

図３は、２つの異なる個数のバンド（Ｎ_Ｅ）が適用された検出映像の比較を示す。図３（ａ）で、ターゲットとして与えられた花に対する効果的なバンド選択スキームの適用は、図３（ｂ）と同様によく検出される。

また、改善されたライブラリーがライブラリーの量を減らすことができるために、実行時間に対する複雑性を減少させるライブラリーリファインメントによって、検出過程が改善される。ターゲット検出のアプリケーションで、ライブラリーは、実験的または一般的な環境での測定によって生成されるターゲットスペクトルを有する。したがって、相異なる環境下で測定されたターゲット映像のスペクトルは、ターゲットライブラリーと一致しなくなる結果をもたらす。本発明は、少量のターゲットライブラリー情報でも効果的な検出を果たすために動的にターゲットライブラリーをリファイン（ｒｅｆｉｎｅ）する。したがって、ライブラリーリファインメントスキームは、検出過程を改善する。ライブラリーリファインメントの全般的な過程は、基本ライブラリー集合で始める。ターゲット映像がライブラリーから検出されれば、ターゲットライブラリーは、検出された映像のスペクトル情報によってリファインされる。しかし、バンドの部分的個数が効果的なバンド選択スキームでのサンプルを得るために使われるので、ターゲットサンプルは、新たなライブラリーに対する候補に過ぎない。したがって、新たなライブラリーアプリケーションは、あらゆるバンドに対する基本ライブラリーと比較されて、リファインされたライブラリーとして使われる。

図４は、ライブラリーをリファインした結果を示す。図４（ｂ）及び図４（ｃ）は、図４（ａ）の基本ライブラリーからリファインされたライブラリーを使う。この図面は、与えられたライブラリーが多様な形態の相異なるライブラリーとして表われることを示す。したがって、ライブラリーリファインメントは、適用されるライブラリーの個数を減らすことができる。

図５は、本発明の実施形態によるリアルタイムターゲット検出方法を示すフローチャートである。図５を参照すると、本発明の実施形態によるリアルタイムターゲット検出方法は、大きく二つの部分に分けられる。右側の過程は、主に入力映像をライブラリーと比較する検出動作と関連する。左側の過程は、ライブラリーリファインメント及び効果的なバンド選択のためのアップデート動作と関連がある。

各動作は、“ステップ”と記述される。ステップ０、１及びステップ２は、検出動作に関するものであり、残りの“ステップ”は、アップデート動作に関するものである。“ステップ０”は、“ステップ５”から効果的なバンドのリストをロード（ｌｏａｄ）した後、入力ピクセルのスペクトル情報及び効果的なバンドを選択する。“ステップ１”は、相関係数（Ａ）を得るためのループ（ｌｏｏｐ）サイズがＮ_ＬＩＢＮ_Ｅであるループを有する。“ステップ２ａ”は、ターゲット検出のためのものであり、“ステップ２ｂ”は、バックグラウンド検出のためのものである。“ステップ２ａ”で、もし、相関係数（Ａ）がライブラリーと入力イメージとの間の最小相関係数（Ａ_ｔ）より大きければ、ピクセルはターゲットとして検出され、ピクセルのスペクトル情報は、ライブラリーリファインメントのために保存される。また、バックグラウンドサンプルを選択するために、相関係数（Ａ）は、“ステップ２ｂ”での入力映像とバックグラウンドとの間の最大相関係数（Ａ_ｂ）と比較される。“ステップ３”は、バックグラウンドとターゲットのためのサンプルを収集する。バックグラウンド領域のスペクトルを表わすために、バックグラウンドのサンプルは、ランダムに選択される。ライブラリーは、“ステップ４”でリファインされ、効果的なバンドは、“ステップ５”で寄与係数の使用によって選択される。

“ステップ１”には、ルート（ｒｏｏｔ）及びアークコサイン（ａｒｃ ｃｏｓｉｎｅ）関数のような多様なフローティングポイント（浮動小数点）演算がある。また、“ステップ２”での検出関数は、相関係数（Ａ）とＡ_ｔ及びＡ_ｂとを比較するためのフローティングポイント演算を有する。しかし、“ステップ２”の出力は、整数データ形態を有する。また、効果的なバンド選択及びライブラリーリファインメントのためのスキームは、“ステップ４”及び“ステップ５”でのフローティングポイント演算で具現される。

実行時間に対する最も複雑な段階は、相関係数（Ａ）を計算する“ステップ１”である。“ステップ３”、“ステップ４”及び“ステップ５”は、“ステップ１”ほど複雑ではない。また、複雑性は、効果的なバンド及びライブラリーの個数に比例する。しかし、ターゲット及びバックグラウンドサンプルの個数は、全般的な複雑性に影響を与えない。

本発明は、相関係数に基づいた速い検出動作を保証し、効果的なバンド選択及びライブラリーリファインメントを含むアップデートを支援する。ところが、２種のデータディペンデンシー（データ依存性）が、前記過程に存在する。

まず、キューブ遅延がある。アップデートの結果は、効果的なバンド及びリファインされたライブラリーのリスト（インデックス）である。しかし、このような結果は、次のキューブ映像から適用可能である。次いで、入力映像が、アップデートのためのサンプルを集めるためにコピーされる。検出は、入力スペクトルバンドのうち効果的なバンドを使う。しかし、アップデートは、ターゲットサンプルを得るために、検出結果を使う。したがって、ランダムに選択されたターゲットサンプルは、ターゲットサンプルが現在のライブラリーを代替しうるか否かに対して必ず検証されなければならない。

実行時間を改善するために、本発明は、パイプライン構造及びデータ分割の二つのアプローチを適用する。パイプラインは、シングルプロセッシング実行モデルに適用される。プロセッシング個数（Ｎ_ＰＥ）が、マルチプルプロセッシング実行モデルで増加する場合、キューブに対する実行時間（Ｔ_ＣＵＢＥ）は、比例的に増加する。しかし、相互連結からの制限はある。

以下、本発明の実施形態によるアーキテクチャーの構成のための基本概念について説明する。まず、単一プロセッシング実行モデルについて記述する。

実行ディペンデンシー（実行依存性）について説明する。高分光映像プロセッシングの実行ディペンデンシーを示すための機能的グラフが図７に示される。“ステップ０”は、２つの関数ｌｏａｄ（）及びｉｎｉｔ（）を有する。この際、ｌｏａｄ（）は、プリプロセッシング及びリファインされたライブラリーから効果的なバンドについてのスペクトル情報を収集する関数であり、ｉｎｉｔ（）は、“ステップ５”のｇｅｔ＿ｅｂ（）関数から効果的なバンドのリストをロードする関数である。ｉｎｉｔ（）関数は、各キューブに対して作用するが、ｌｏａｄ（）関数は、各ピクセルに対して作用する。“ステップ１”は、関数ａｃｃ（）及びｃｏｒｒ（）を有する。ａｃｃ（）は、効果的なバンドに対する入力を集める関数である。アキュムレータは、乗算及び加算演算を行う。ｃｏｒｒ（）関数は、３つの固定小数点数（Σｔｉ^２、Σｒｉ^２、Σｔｉ＊ｒｉ）を出力する。また、ｃｏｒｒ（）関数は、浮動小数点数である相関係数（）を計算する。“ステップ２”のｄｅｔｅｃｔ（）関数は、ｄｅｔｅｃｔ（）関数が浮動小数点演算を行うように相関係数（）からピクセルを検証する。“ステップ３”で、関数ｓａｍｐｌｅ（）は、“ステップ１”のターゲットまたはバックグラウンドのサンプルを収集する。また、関数ｃｈｏｏｓｅ＿ｓａｍｐｌｅｓ（）は、ターゲット及びバックグラウンドサンプルを選択する。“ステップ４”は、それぞれ関数ｌｏａｄ（）、ａｃｃ（）、ｃｏｒｒ（）、ｄｅｔｅｃｔ（）及びｓａｍｐｌｅ（）と類似しているが、ライブラリーをリファインするためのあらゆるスペクトル情報を使う関数ｌｏａｄｓ（）、ａｃｃｓ（）、ｃｏｒｒｓ（）、ｄｅｔｓ（）及びｓａｖｅｓ（）を有する。“ステップ５”の関数ｄｉｆｆ（）、ｃｏｎｔ（）及びｇｅｔ＿ｅｂ（）は、関数が固定小数点演算だけではなく、浮動小数点演算を有するために、寄与要素に基づいた効果的なバンドのリストを探す。

図６は、全般的な実行時間の流れを示す。キューブに対する実行時間（Ｔ_ＣＵＢＥ）は、Ｔ_ｉｎｉｔ＋Ｔ_{ｐｉｘｅｌ}＊Ｎ_ｘ＊Ｎ_ｙ＋Ｔ_ＣＳ＋Ｔ_ｒｌ＋Ｔ_ｇｅと定義される。この際、Ｎ_ｘ＊Ｎ_ｙは、高分光映像キューブの空間解像度を表わし、Ｔ_ｉｎｉｔは、“ステップ０”のｉｎｉｔ（）関数の時間を表わし、Ｔ_{ｐｉｘｅｌ}は、ピクセルに対する実行時間を表わし、Ｔ_ＣＳは、“ステップ３”の関数ｃｈｏｏｓｅ＿ｓａｍｐｌｅｓ（）の実行時間を表わす。また、Ｔ_ｒｌは、“ステップ４”の関数に対する時間であり、Ｔ_ｇｅは、“ステップ５”の関数に対する時間である。空間解像度が大きくなれば、Ｔ_{ｐｉｘｅｌ}がさらに重要視される。Ｔ_{ｐｉｘｅｌ}は、（Ｔ_ｌｏａｄ＋Ｔ_ａｃｃ＋Ｔ_ｃｏｒｒ＋Ｔ_{ｄｅｔｅｃｔ}＋Ｔ_{ｓａｍｐｌｅ}）＊Ｎ_ＬＩＢで表われる。この際、Ｔ_ｌｏａｄ、Ｔ_ａｃｃ、Ｔ_ｃｏｒｒ、Ｔ_{ｄｅｔｅｃｔ}及びＴ_{ｓａｍｐｌｅ}は、それぞれ、関数ｌｏａｄ（）、ａｃｃ（）、ｃｏｒｒ（）、ｄｅｔｅｃｔ（）及びｓａｍｐｌｅ（）の実行時間を表わす。

プロセッシングでの関数は、実行ディペンデンシーを有する。関数ｌｏａｄ（）及びｓａｍｐｌｅ（）は、プリプロセッシングと同一なデータを使うが、関数ｓａｍｐｌｅ（）の動作は、関数ｄｅｔｅｃｔ（）が結果を有するまで完了することができない。また、“ステップ４”の関数は、関数ｃｈｏｏｓｅ＿ｓａｍｐｌｅｓ（）からデータをロードするが、“ステップ４”での動作が完了するまで“ステップ５”の関数は始めることができない。したがって、検出が完了されれば、アップデートのための関数が実行される。

グラフのノード（ｎｏｄｅ）と表現されるそれぞれの関数は、ピクセルベース関数またはキューブベース関数に区分されうる。ピクセルベース関数は、ピクセル単位で作用し、キューブベース関数は、キューブ単位で作用する。関数ｌｏａｄ（）、ａｃｃ（）、ｃｏｒｒ（）、ｄｅｔｅｃｔ（）及びｓａｍｐｌｅ（）は、ピクセルベース関数であり、それ以外の関数は、キューブベース関数である。ピクセル関数が、高速実行の側面でキューブベース関数より重要視される。ピクセルベース関数は、各キューブに対してＮ_ｘ＊Ｎ_ｙ回行われるが、キューブベース関数は、一つのキューブに対して一回のみ行われれば良いためである。

関数は、固定小数点演算及び浮動小数点演算の２種の動作を有する。図８は、固定小数点演算及び浮動小数点演算をＵ_０、Ｕ_１及びＵ_２に区分した関数の分類を示す。検出に関連するｃｏｒｒ（）及びｄｅｔｅｃｔ（）関数を含む浮動小数点ユニットをＵ_１と表示する。また、ｄｅｔｓ（）、ｃｏｒｒｓ（）、ｃｏｎｔ（）及びｇｅｔ＿ｅｂ（）関数を含む浮動小数点ユニットをＵ_２と表示する。

本発明の実施形態によるパイプラインアーキテクチャーの効果について説明する。図８で、ピクセルベース関数及びキューブベース関数は、“ステージ Ａ”及び“ステージ Ｂ”に区分される。アップデートは、Ｎ_Ｔ＊Ｎ_ＬＩＢ個のターゲットサンプル及びＮ_Ｂ個のバックグラウンドサンプルを要求するために、アップデートの結果は、次のキューブから適用可能である。したがって、遂行過程は、基本的にキューブ遅延を有する二つのステージパイプラインに基づく。

キューブ遅延は、検出速度を落とす。リファインされたライブラリー及び効果的なバンドリストが、次のキューブ映像に活用されないかも知れないためである。しかし、一般的に連続的なキューブ映像は、類似したスペクトル特性を有する。したがって、もし、キューブ遅延時間（Ｔ_ｃｕｂｅＮ_ｃｕｂｅ＿ｄｅｌａｙ）が分光特性の変化時間Ｔ_{ｓｐｅｃｔｒａｌ}より早ければ、キューブ遅延は、キューブ遅延の個数を表わすＮ_ｃｕｂｅ＿ｄｅｌａｙに対して許容されうる。Ｔ_{ｓｐｅｃｔｒａｌ}は、高分光映像プロセッシングのアプリケーションに左右される。例えば、高分光映像が、監視システムでの人を検出するのに使われたら、照明に対する基本特性は急に変化しないため、キューブ遅延は無視される。

キューブ遅延を除去するために、プリディテクション（Ｐｒｅ−ｄｅｔｅｃｔｉｏｎ（事前検出））段階がプロセッシングに使われる。図９は、あらゆる段階で同一なキューブ映像を使うキューブ遅延のないプロセッシングに対するブロック図を示す。複雑性減少スキームは、バックグラウンドサンプル及びターゲットサンプルを要求するために、“ステップ１”及び“ステップ２”で構成されるプリディテクションは、“ステップ３”でのフルバンドに対するランダムに選択されたサンプルを検証する必要がある。前述されたように、Ｎ_Ｔ個のターゲットサンプルが、ライブラリーリファインメントのために要求される。したがって、Ｎ_Ｔ個のターゲットサンプルを得るために、プリディテクションは、Ｎ_Ｔ個のターゲットサンプルより多くの数のサンプルを選択して検証する。しかし、もし、あらゆるキューブ映像で検出されたターゲットピクセルの個数がＮ_Ｔより小さければ、キューブ映像に対するプリディテクションが要求される。この場合、効果的なバンド選択の長所が消える。

二段階実行パイプライン構造について説明する。図１０は、二段階パイプライン構造が適用されるプロセッシングに対するブロック図を示す。キューブベース実行パイプライン（Ｐｉｐｅｌｉｎｅ（１））は、“ステージ Ａ”及び“ステージ Ｂ”に区分される。

二段階パイプライン構造で、キューブに対する実行時間（Ｔ_ｃｕｂｅ）は、次の数式２のように表わすことができる。

ここで、Ｔ_Ａ及びＴ_Ｂは、それぞれ“ステージ Ａ”及び“ステージ Ｂ”に対する実行時間を表わす。Ｔ_Ａは、Ｔ_{ｐｉｘｅｌ}＊Ｎ_ｘ＊Ｎ_ｙと表現され、Ｔ_Ｂは、Ｔ_ｉｎｉｔ＋Ｔ_ＣＳ＋Ｔ_ｒｌ＋Ｔ_ｇｅと表現される。バンドの個数が減少すれば、全般的な実行時間が減るために、Ｔ_Ａは、改善されうる。しかし、アップデートがあらゆるスペクトル情報を使うので、Ｔ_Ｂは変化されない。したがって、効果的なバンドの個数（Ｎ_Ｅ）が小さい及び／または空間解像度が低ければ、Ｔ_Ｂは、全般的な実行時間側面で重要視される。図１１は、二段階パイプライン構造でのタイミング図を示す。ｉ番目のキューブからの効果的なバンド及びリファインされたライブラリーは、（ｉ＋２）番目のキューブに適用可能である。したがって、二段階実行パイプラインは、２つのキューブ遅延を有する。

単一プロセッシング実行モデルで、“ステージ Ａ”の実行時間（Ｔ_Ａ）は、全般的な実行時間を左右する。図１２は、実行時間Ｔ_Ａ及びＴ_Ｂが、Ｔ_Ａ≫Ｔ_Ｂである状態を示す。したがって、高分光映像プロセッシングの実行時間を短縮するために、Ｔ_Ａを減らさなければならない。

“ステージ Ａ”の実行時間を短縮するために、ピクセルベース実行パイプラインと表される内部的なパイプライン構造が考慮されなければならない。ピクセルベース実行パイプラインは、キューブ遅延を有さないが、ステージの間のピクセル遅延を有する。ピクセルベース実行パイプラインが適用されれば、ピクセルに対する実行時間（Ｔ_{ｐｉｘｅｌ}）は、ステージの間のＴ_{ｐｉｘｅｌ}が最大になる時、“ステージ Ａ”の実行時間（Ｔ_Ａ）を延長させる。例えば、ピクセルベース実行パイプライン構造が適用され、３つのアキュムレータが使われる図１３で、ピクセルに対する最小実行時間は、一つのアキュムレータに対する実行時間（Ｔ_ａｃｃ）と同一であり得る。

ピクセルベース実行パイプラインの目的は、ピクセルに対する実行時間を最小化することである。図１４は、ピクセルベースパイプライン構造が完全に適用された場合のピクセルに対する実行時間を示す。したがって、ピクセルベース実行パイプラインの限界は、次の数式３のように表わすことができる。

ここで、Ｎ_ａｃｃは、１≦Ｎ_ａｃｃ≦３の値を有する。もし、一つのアキュムレータが動作すれば、ピクセルに対する実行時間（Ｔ_{ｐｉｘｅｌ}）は、３倍に増加する。

浮動小数点演算に対する実行時間（Ｔ_ｃｏｒｒ＋Ｔ_{ｄｅｔｅｃｔ}）は、アキュムレータの実行時間（Ｔ_ａｃｃ）だけではなく、キューブに対する実行時間（Ｔ_ｃｕｂｅ）によって制限される。効果的なバンド選択アルゴリズムが適用されれば、アキュムレータの実行時間は減少する。したがって、浮動小数点演算に対する実行時間は、高分光映像プロセッシングの複雑性を減少させるのに重要な要素となる。

浮動小数点ユニットの共有構造について説明する。図８で、Ｕ_１及びＵ_２は、浮動少数点ユニットである。

図１５は、浮動小数点ユニット（ＦＰＵ_ｓ）での実行の流れを示す。図１５（ａ）は、一つのＦＰＵを使い、図１５（ｂ）は、相異なる時間マルチプレキシングに基づいた２つのＦＰＵを使う。一つのＦＰＵが利用可能な場合、キューブに対する実行時間は、Ｔ_Ａ＋Ｔ_Ｂである。この際、Ｔ_Ａ＝Ｔ_Ｄ１＝Ｔ_Ｆ１であり、Ｔ_Ｂ＝Ｔ_Ｄ２＝Ｔ_Ｆ２である。Ｔ_Ｄ１及びＴ_Ｄ２は“ステージ Ａ”及び“ステージ Ｂ”の固定小数点演算の実行時間であり、Ｔ_Ｆ１及びＴ_Ｆ２は、“ステージ Ａ”及び“ステージ Ｂ”の浮動小数点演算の実行時間である。もし、２つのＦＰＵが利用可能な場合、各ＦＰＵは、“ステージ Ａ”または“ステージ Ｂ”を支援することができる。また、図１５に示されたように、２つのＦＰＵが同時に“ステージ Ａ”を支援した後、“ステージ Ｂ”を支援することができる。一つのＦＰＵが他のものより早い場合、図１５（ｂ）が適用可能である。また、“ステージ Ａ”に対する実行時間が、“ステージ Ｂ”に対する実行時間より長い場合、図１５（ｃ）が選択されうる。図１５（ｂ）で、Ｔ_ｃｕｂｅは、Ｔ_Ｄ１＝Ｔ_Ｆ１である条件下でＴ_Ａであり、図１５（ｃ）で、Ｔ_ｃｕｂｅは、Ｔ_Ａ’＝Ｔ_Ｄ１’＝Ｔ_Ｆ１’＝Ｔ_Ｆ１／_２の条件下でＴ_Ａ’＝Ｔ_Ｆ１’＋Ｔ_Ｆ１と表現される。

本発明の実施形態によるアーキテクチャーによる入力容量について説明する。

入力容量は、全般的な実行時間によって制限される。入力容量をＮｂｉｔ＊Ｆｍと定義するとき、Ｎｂｉｔは、入力ビット幅を表わし、Ｆｍは、最大入力周波数を表わす。プロセッシングの実行を保証するために、入力容量は、Ｎ_ｘ＊Ｎ_ｙ＊Ｎ_ｚ＊Ｎ_ｒｅ＊Ｎ_Ｔｈより大きい。ここで、Ｎ_ｒｅは、スペクトル情報のレゾリューション（ｒｅｓｏｌｕｔｉｏｎ（解像度））を表わし、Ｎ_Ｔｈは、毎秒当たり処理されるキューブの数を表わす。

以上、単一プロセッシング実行モデルについて記述した。次いで、多重プロセッシング実行モデルについて説明する。

データ分割について説明する。データ分割の目的は、多重プロセッシング要素（ＰＥ_ｓ）を使うことによって、実行時間を減少させることにある。データ分割の類型は、キューブメモリ構造にある。図１６は、４つの多重プロセッシング要素が適用されたキューブデータ分割の３種を示す。図１６（ａ）及び図１６（ｂ）で、キューブの領域は、４つのバンクに分離される。各ＰＥは、バンクメモリに連結されるので、ＰＥによる入力容量の制限は、単一プロセッシング実行モデルと同一である。また、図１６（ｃ）で、ＰＥに位置するキューブ映像が低解像度キューブ映像になるように、各ピクセルは、相異なるＰＥに位置する。

多重プロセッシング実行モデルでのキューブに対する実行時間は、次の数式４のように表われることができる。

したがって、データ分割は、実行時間を改善させることができる。増加したＰＥの個数は、“ステージ Ａ”に影響を与える。ＰＥの分光映像領域が、Ｎ_ＰＥに比例して減少するためである。したがって、Ｎ_ＰＥが増加すれば、全般的なキューブ実行時間は、最終的にＴ_Ｂによって制限される。

キューブが複数個のバンクに分離されても、各ＰＥのデータタイプは、依然として図１７のキューブのようである。図１６（ａ）及び図１６（ｃ）でのキューブサイズは、（Ｎ_ｘ／２）＊（Ｎ_ｙ／２）＊Ｎ_ｚであり、図１６（ｂ）でのキューブサイズは、（Ｎ_ｘ／４）＊Ｎ_ｙ＊Ｎ_ｚである。

図１６（ａ）及び図１６（ｂ）で、各ＰＥは、相異なるリファインされたライブラリー及び効果的なバンドリストを使う。これは、検出された映像が、ＰＥの間の境界を有することができるためである。図１８は、２つの異なる個数のプロセッシング要素が適用される検出された映像の比較のための図である。図１８（ａ）は、図１８（ｂ）が４つのプロセッシング要素を使う一方、一つのプロセッシング要素が適用される。図１８（ｂ）で検出された映像は、一つのプロセッシング要素による図１８（ａ）の結果と類似している。たとえリファインされたライブラリーが異なっても、検出された映像が依然として検出条件（Ａ_ｔ≧０．９）を満足するためである。したがって、データ分割に基づく多重プロセッシング実行モデルは、高分光映像プロセッシングでの実行時間を向上させうる。

しかし、低い検出条件（Ａ_ｔ）で検出されたイメージの間の境界が、さらにきれいである。プロセッシング要素のリファインされたライブラリーが検出条件での他のものとさらに異なりうるためである。プロセッシング要素の間の境界が存在しても、検出された映像は完全である。検出された映像が、映像とリファインされたライブラリーとの間の検出条件を満足するためである。しかし、ポストプロセッシングが検出された映像とＲＧＢ映像との組み合わせのためにエッジ（ｅｄｇｅ）検出スキームを使うことができるために、境界の錯誤が誘発されうる。したがって、ＰＥの間のアップデート共有が要求される。図１６（ｃ）の場合、アップデート共有は要求されない。各ＰＥが、類似した低い解像度を使うためである。

アップデート共有について説明する。図１９は、ＰＥがプリプロセッシング及びポストプロセッシングと連結されるアップデート共有のない多重データ分割でのブロック図を示す。“ステージ Ａ”は、アップデートのためのサンプルを受信して効果的なバンド及びリファインされたライブラリーリストを伝送するための“Ｉｎｉｔｉａｌ”、“Ｓａｍｐｌｅ”及び“Ｒｅｆｉｎｅｄ ｌｉｂｒａｒｙ”と表現される３つの信号を有する。したがって、アップデートは、プロセッシング要素の間に独立している。

多重プロセッシング実行モデルで、相互連結されたネットワークは、速度向上に制限がある。入力容量が増加する要求に従わなければならないためである。入力容量は、入力周波数及び入力ビット幅（Ｎｂｉｔ）のいずれもと関連がある。しかし、入力周波数は、具現されたアーキテクチャーに依存されるために、ビット幅が速度向上を支援するために増加されなければならない。さらに大きな入力ビット幅は、適用された多重プロセッシング要素が相互連結されたネットワークによって制限されるように相互連結の複雑性を増加させる。

アップデート共有が要求されれば、“ステージ Ｂ”は、図２０のように共有される。効果的なバンド及びリファインされたライブラリーリストを“ステージ Ｂ”からあらゆるプロセッシング要素に伝達するために、あらゆるプロセッシング要素は、それらの実行を中断し、キューブ単位の“ステージ Ｂ”を行う。したがって、キューブに対する実行時間は、アップデートが共有される場合、Ｔ_Ａ／Ｎ_ＰＥ＋Ｔ_Ｂと表わすことができる。

図２１は、共有されたアップデートを使う多重データ分割動作についての流れを示す。

以下、本発明の実施形態によるアーキテクチャーの具体的な構成について説明する。まず、単一プロセッシング実行モデルについて記述する。

ターゲットプラットホームについて説明する。Ｘｉｌｉｎｘ ＦＰＧＡ Ｖｉｒｔｅｘ４ ＦＸ １００装置は、アーキテクチャー具現のために選択されうる。浮動小数点演算は、ＦＸ ＦＰＧＡのＰｏｗｅｒ ＰＣ Ｃｏｒｅ（ＰＰＣ）として具現可能である。一般的に、ＰＰＣは、４００ＭＨｚの最大速度で行われる。選択された装置は、メモリ要求を支援するのに十分なサイズである６，７６８＊１６ビットのＲＡＭを備える。図２２は、単一プロセッシングモデルでの全般的なプロセッシングを示す。ＦＵ_０、ＦＵ_１、ＦＵ_３、ＦＵ_４及びＦＵ_５は、それぞれステップ０、ステップ１、ステップ３、ステップ４及びステップ５に対応する。また、ＰＰＣ_１は、ステップ２の動作及びステップ１の浮動小数点演算を行う。ＰＰＣ_２は、ステップ４及びステップ５の浮動小数点演算を行う。

機能単位について説明する。効果的なバンドリストが一般的な内部リストを有さないので、ＢＵＦ_ＳＰは、入力分光情報を保存する必要がある。この際、バッファは、複数個のバンクを備え、各バンクがピクセルに対するあらゆる分光情報を保存する。ＦＵ_０は、３つのバッファを備える。スペクトル情報が、プリプロセッシングからバンクに書き込まれると、ＦＵ_１は、他のバンクから効果的なスペクトル情報を読み出す。したがって、書き込み及び読み出し動作は、書き込み／読み出し動作が遮断なしに進行するように交互に行われる。また、サンプルは、ＢＵＦ_ＴＧに修正される。ＦＵ_３が読み出す準備ができるまでサンプルが保存されるために、ＢＵＦ_ＴＧのサイズは、ピクセルベースパイプライン段階の個数に比例する。

ＦＵ_１は、３つのアキュムレータを備える。一つのピクセル及び一つのライブラリーに対して累算される値のために、アキュムレータは、ＢＵＦ_ＳＰ及びＢＵＦ_ＬＩＢからＮＥ回の読み出し動作を要求する。アキュムレータは、乗算器、加算器及びマルチプレクサを備えてループ動作を行うように設計される。

ＰＰＣ_１は、乗算、ルート及び割り算演算を有する相関係数のための浮動小数点演算を行う。また、相関係数は、ピクセルがターゲットであるか、バックグラウンドであるかを検出するために、最大相関係数及び最小相関係数と比較される。

バックグラウンドサンプル及びターゲットサンプルを保存するために、ＦＵ_３は、２つのバッファを有する。入力される分光データｓｐは、一つのデータパスを通じて入力され、書き込みイネーブル信号によって選択される。入力される信号ｅｎ＿ｔｇは、ピクセルがターゲットであるかどうかを表わす。そして、信号ｅｎ＿ｂｋが“１”であれば、ピクセルは、バックグラウンドサンプルとしてＢＵＦ_ｂｋに保存される。コントローラは、ｅｎ＿ｔｇ及びｅｎ＿ｂｋを生成する。

ＦＵ_４は、ＦＵ_１と類似して動作するが、演算は、ＢＵＦ_ｔｇからのターゲットサンプルのためのあらゆるスペクトル情報を要求する。

ＦＵ_５での寄与要素が抽出される。２つの加算器及び第２コンプリメントユニット（第２補完ユニット）の総実行時間が入力されるデータ時間より大きいために、レジスタは、第２コンプリメントユニット後に挿入される。同様に、ａｂｓ（）オペレーター及び加算器の総実行時間が入力されるデータ比率より大きいので、一つのレジスタは、ａｂｓ（）オペレーター後に挿入される。

浮動ユニット共有について説明する。ターゲットＦＰＧＡでのＰＰＣは、プロセッサローカルバス（ＰＬＢ）、デバイスコントロールレジスタ（ＤＣＲ）及びオンチップペリフェラル（ｐｅｒｉｐｈｅｒａｌ）バス（ＯＢＰ）の三種の類型のバス構造を有する。ＰＬＢは、速いデータ処理を提供するが、これは伝送プログラムメモリに対して設計される。一般的に、ＯＰＢ及びＤＣＲは、ロジックブロックと連結される。両者の性能が類似しているとしても、ＤＣＲは、機能的なシミュレーションを提供しない。データ処理が、機能的なシミュレーションによってチェックされうるためである。本発明では、ＯＰＢが浮動ユニット共有のために選択される。プロセッシング要素及びＯＰＢの間の、許容されかつサポートされる整数クロック周波数の比率は、１：１、２：１、３：１から１６：１までである。図２３は、如何にして機能的ブロックがＰＰＣにデータを送るかを示す。まず、ＢＵＳ２ＩＰ＿ＷｒＣＥ信号が開始処理を通知する。もし、機能的ブロックが信号を送る準備ができなかったら、機能的ブロックは、ＩＰ２ＢＵＳ＿Ｒｅｔｒｙ信号に応答し、承認信号が来る時までＯＰＢは、同一な処理を反復する。図２３は、準備されていない状態の例として、演算及び最初の処理をいずれも示す。機能的ユニットは、アドレスによって描写され、既定のアドレスは、ロジックブロックを区分するのに使われる。

オーバーヘッド及び処理量の決定について説明する。図２４及び図２５は、１つ及び２つのＰＰＣを使う場合の差を示す。２つの図面で、一つのＰＰＣが使われた場合、２．１０９９キューブが１秒ごとに検出される。一方、２つのＰＰＣが使われた場合、３．２１９６キューブが検出される。

ＦＵ_１でのアキュムレータの実行速度は、たとえ最大速度が２５０ＭＨｚに達しても、６４ＭＨｚ以下でなければならない。

効果的なバンドの個数は、図２６に示されたように、アキュムレータの実行速度を決定する重要な要素である。図２６は、相異なる実行周波数でＰＰＣが動作する場合を示す。アキュムレータの速い動作を支援するために、さらに速いＰＰＣが要求される。検出及びアップデートのいずれにも対する一つのプロセス使用は、全般的な処理量観点で深刻な障害をもたらす。

図２７は、効果的なバンドの個数を反映するスライス（ｓｌｉｃｅ）の使用量を示す。相異なる曲線は、ライブラリーの相異なる個数に対応する。全般的な設計の複雑性を決定するＮ_Ｅ、Ｎ_ＬＩＢ、Ｎ_Ｔ及びＮ_Ｂの４つの要素がある。

Ｎ_Ｔ及びＮ_Ｂは、メモリサイズを決定する重要な要素である。図２８は、Ｎ_Ｂに対応する、使われた１８（ＫＢｉｔ）ブロックＲＡＭの個数を示す。図２８に示されたように、サポート可能な最大のメモリサイズは、１０００＊１０００に制限される。選択されたデバイスが、３７６＊１８（ＫＢｉｔ）ブロックＲＡＭを備えるためである。ロジックスライスの４２，１７６の最大個数と比較するために、Ｎ_Ｔ及びＮ_Ｂは、複雑性側面で重要な要素となる。したがって、Ｎ_Ｅ及びＮ_ＬＩＢは、全般的な使用量に影響を与え、Ｎ_Ｔ及びＮ_Ｂは、メモリ複雑性に対して制限を与える。

以上、単一プロセッシング実行モデルでのアーキテクチャー構造について記述した。次いで、多重プロセッシング実行モデルについて説明する。

まず、相互連結タイプ及び多重ＰＥについて説明する。性能向上のために、多重プロセッシング実行モデルが紹介される。図２９は、入力データストリームがバスを通じて受信されるものを示す。ターゲットＦＰＧＡは、ダイレクト連結バンド幅でピン割り当てを支援しなければならない。例えば、写真が、４つのプロセッシング要素で６４０＊５１２＊２２４のサイズを有するとき、１５２ Ｉ／Ｏパッドが（ａｄｄｒｅｓｓ）＝１００、（ｄａｔａ）＝４８及び書き込みイネーブル信号のようなコントローラのためのものなどに対して要求される。本発明のターゲットＦＰＧＡは、７６８ Ｉ／Ｏパッドを支援する。各プロセッシング要素及びバンクは、同一な速度を有する。プロセッシング要素が、一つの分類されたバンクにアクセスするためである。

２つのプロセッシング要素がバスを共有し、入力されるデータがマルチプレクス（多重化）される。例えば、プロセッシング要素１及び２が、外部メモリの一つのバンク１にアクセスする。単一ポートブロックが最大速度３３５ＭＨｚで動作するので、一つのバス構造を使った具現は、各単一プロセッシング要素が１２５ＭＨｚで動作する場合、不可能である。

ＰＰＣでの浮動オペレーターが並列的なロジックブロックを連続的に行うために、バス連結が具現のために選択される。全般的な処理量は、ＰＰＣのパスによって決定される。入力されるデータは並列的である必要がなく、ダイレクト連結は少なくとも２回のＩ／Ｏパッドを使う。なによりも、バスタイプは、バッファサイズを減らす。書き込み動作が読み出し動作と同じであるためである。書き込みデータ時間が早いとしても、ボトルネックとなる速度がアキュムレータの実行時間によるので、これは全般的な処理量に影響を与えない。

各プロセッサコアが単一パスで検出及びアップデートに専念される一方、一つのコアは、図２９に示されたように、多重パスでも動作することができる。

処理量に対して分析する。図３０は、検出が４つのプロセッシング要素で行われる場合のＮＢに対応する検出された高分光映像個数を示す。相異なる曲線は、相異なるＮ_ＬＩＢ及び各プロセッシング要素が一つのＰＰＣによって行われたことを示す。図３０に示されたように、全般的な処理量は、バックグラウンドサンプルが増加しても変化しない。処理量は、単にＮ_ＬＩＢが減少する場合に増加する。このグラフは、ＮＢが全般的な処理量に影響を及ぼさないことを示す。ＰＰＣでの実行速度が処理の障害になるためである。

図３１は、具現されたＰＰＣの個数を除いては、図３４と同一である。図３１は、各プロセッシング要素に２つのＰＰＣが適用される場合を示す。処理量は、Ｎ_Ｅ及びＮ_ＬＩＢと非常に関連がある。この関係は、図３２及び図３３によって分析されうる。両グラフは、４つのプロセッシング要素を有する処理量及び各プロセッシング要素が２つのＰＰＣを有する場合を推定する。

高分光映像プロセッシングのためのリアルタイムターゲット検出構造が開示された。本発明の実施形態による構造は、高い処理量が要求されるアプリケーションのための、複雑性の減少したアルゴリズムに基づく。多重レベルパイプライニング構造は、全般的な処理量を向上させ、また、本発明の実施形態による構造は、実行速度をプロセッシング要素で改善されるようにスケーラブルする。提案されたパイプライニングは、また、全般的なメモリ使用量及びメモリ速度の障害影響を最小化する。提案された構造は、ハードウェア複雑性及び減少した複雑性を有する高分光映像プロセッシングの実行処理量との関係を検証するためにＦＰＧＡで設計されて具現される。

以上、図面と明細書とで最適の実施形態が開示された。ここで、特定の用語が使われたが、これは、単に本発明を説明するための目的で使われたものであって、意味限定や特許請求の範囲に記載の本発明の範囲を制限するために使われたものではない。したがって、当業者ならば、これより多様な変形及び均等な他実施形態が可能であるという点を理解できるであろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想によって決定されるべきである。

本発明は、ユビキタス産業分野のうち、特に、コンピュータアーキテクチャー分野に利用されうる。

Claims (2)

1. 高分光プロセッシングに基づくリアルタイムターゲット検出方法において、
   プリプロセッシングされた任意のピクセルをライブラリーに基づいてターゲット及び／またはバックグラウンドとして検出する段階と、
   前記ターゲット及び／または前記バックグラウンドからターゲットサンプル及び／またはバックグラウンドサンプルを抽出して、前記ライブラリーをリファインする段階と、を備え、
   前記ライブラリーをリファインする段階は、寄与要素に基づいて、前記ピクセルに対する効果的なバンドリストを作成する段階を含み、
   前記ピクセルを前記ターゲット及び／またはバックグラウンドとして検出する段階は、前記リファインされたライブラリーから効果的なバンドリストをロードする段階と、前記効果的なバンドリストに基づいたスペクトル情報を得るとともに前記ライブラリーから相関係数を得る段階と、前記相関係数の大きさに基づいて、前記ターゲット及び／または前記バックグラウンドを決定する段階と、を備え、
   前記ピクセルを前記ターゲット及び／またはバックグラウンドとして検出する段階では、パイプライン構造を使って、前記ピクセルを処理するリアルタイムターゲット検出方法。
2. 前記ターゲット及び／または前記バックグラウンドを決定する段階では、前記相関係数が、前記ピクセル及び前記ライブラリーとの関係を表わす最小相関係数より大きい場合、前記ピクセルをターゲットとして検出する請求項１に記載のリアルタイムターゲット検出方法。