JP6122953B2 - イメージの残差分析のためのシステム及び方法 - Google Patents

Description

関連出願の相互参照
この出願は、２０１１年４月１３日に出願されたタイトル「ハイパースペクトルイメージの次元数を低減する最適化された正規直交システム及び方法」の米国特許出願シリアルＮｏ．１３／０８５，８８３、及び２０１２年４月１３日に出願されたタイトル「検出後のアーチファクトの低減及びイメージからの除去のためのシステム及び方法」の米国特許出願シリアルＮｏ．１３／４４６，８６９に関連し、両方がその全体において本明細書に参照により組み込まれる。

この開示が、概してイメージ処理の分野に関連し、より端的にはイメージの残差分析のためのシステム及び方法に関連する。

ハイパースペクトルイメージング（ＨＳＩ（Hyperspectral imaging））システムを備える多くの従来のイメージ処理シナリオにおいては、ハイパースペクトルセンサーが、一つの空間ラインからイメージのデータを収集し、イメージを受ける光学系の焦点面に垂直な方向に亘りスペクトルを分散させる。従って、焦点面ピクセルが、特定の波長バンドにおいて地面のあるスポットの強度を測定する。完全なＨＳＩキューブシーンが、イメージ化されるシーンに亘ってこの空間ラインをスキャンすることにより形成される。完全なＨＳＩキューブが、空間ピクセルに関して、多数の波長バンドにおける強度、スペクトルの測定値として分析され得る。この空間ピクセルが、スキャン方向におけるある時点でのラインの一つについて、スキャン直交方向における地面上のあるスポットを表す。これらのスペクトルが分析され、ターゲット若しくはスペクトル異常が検出される。焦点面ピクセルの幾つかは、最後に較正された時からゲイン及び／又はオフセットにおいて変化する。そのようなピクセルのオフセット及びゲイン誤差が、その焦点面ピクセルに関連する特定の波長バンド及びスキャン直交場所の測定偏りに帰結する。これらの偏りが、ターゲットや異常フィルターの値に影響し、またターゲット又はスペクトル異常検出の誤った警報に帰結し得る。全ての焦点面ピクセルがシーンに亘りスキャンされるため、これらの不十分に較正されたピクセルが、シーンのターゲット及び異常スコアにおける縞として現れる。これらの縞がターゲット又は異常検出アルゴリズム、データ圧縮アルゴリズムも同様に干渉し、任務のパフォーマンスを制限し得る。従って、高価ではなく計算が速い態様でピクセルの不均一な訂正に基づいたプラットフォーム上のシーンの要望がある。

一実施形態によれば、イメージを処理するための方法が、イメージプロセッサーで、入力イメージが得られる入力データキューブを受け取ることを含む。入力データキューブにおける各空間ピクセルから基底ベクトルを求めることにより、残差イメージを得るために用いられる残差データキューブへ入力データキューブが変換される。残差イメージにおける各焦点面ピクセルのサンプルについての統計パラメーター値が決定される。決定された統計パラメーター値と、残りの焦点面ピクセルの個別の決定された統計パラメーター値との比較に基づいて異常な焦点面ピクセルが特定される。特定された異常な焦点面ピクセルの各スキャンされたサンプルの残差値と入力データキューブにおける対応のスキャンされたサンプルの値の更なる比較が実行される。異常な焦点面ピクセルについてのゲイン訂正値及びオフセット訂正値の少なくとも一つの推定値が、前記比較に基づいて決定される。イメージプロセッサーで、入力データキューブが、ゲイン訂正値及びオフセット訂正値の少なくとも一つの推定値に基づいて再構成される。

一実施形態によれば、イメージ処理システムが、コンピューター実行可能指令を有するメモリーを含む。イメージ処理システムが、メモリーに結合したイメージプロセッサーを含み、コンピューター実行可能指令が、イメージプロセッサーにより実行される時、イメージプロセッサーに、入力イメージが得られる入力データキューブを受け取るようにさせる。入力データキューブにおける各空間ピクセルから１以上の基底ベクトルを求めることにより、残差イメージを得るために用いられる残差データキューブへ入力データキューブが変換される。残差イメージにおける各焦点面ピクセルのサンプルについての統計パラメーター値が決定される。残差イメージにおける各焦点面ピクセルの決定された統計パラメーター値と、残りの焦点面ピクセルの個別の決定された統計パラメーター値との比較に基づいて異常な焦点面ピクセルが特定される。特定された異常な焦点面ピクセルの各スキャンされたサンプル及び入力データキューブにおける対応のスキャンされたサンプルの値について、残差値の更なる比較が実行される。異常な焦点面ピクセルについてのゲイン訂正値及びオフセット訂正値の少なくとも一つの推定値が、前記比較に基づいて決定される。入力データキューブが、ゲイン訂正値及びオフセット訂正値の少なくとも一つの推定値に基づいて再構成される。

一実施形態においては、有形のコンピューター読み取り可能記憶媒体が、イメージの処理のために１以上のコンピューター読み取り可能指令を含み、１以上のプロセッサーにより実行される時、１以上のプロセッサーに、入力イメージが得られる入力データキューブを受け取るようにさせる。入力データキューブにおける各空間ピクセルから１以上の基底ベクトルを求めることにより、残差イメージを得るために用いられる残差データキューブへ入力データキューブが変換される。残差イメージにおける各焦点面ピクセルのサンプルについての統計パラメーター値が決定される。残差イメージにおける各焦点面ピクセルの決定された統計パラメーター値と、残りの焦点面ピクセルの個別の決定された統計パラメーター値との比較に基づいて異常な焦点面ピクセルが特定される。特定された異常な焦点面ピクセルの各スキャンされたサンプル及び入力データキューブにおける対応のスキャンされたサンプルの値について、残差値の更なる比較が実行される。異常な焦点面ピクセルについてのゲイン訂正値及びオフセット訂正値の少なくとも一つの推定値が、前記比較に基づいて決定される。入力データキューブが、ゲイン訂正値及びオフセット訂正値の少なくとも一つの推定値に基づいて再構成される。

オペレーションの方法及び構造の関連の要素の機能及び部品の組み合わせ及び製造の経済性と同様、これら及び他の特性及び特徴は、全てがこの明細書の一部を形成する、添付図面を参照した次の記述及び添付請求項の検討からより明らかになり、同様の参照番号が、様々な図面において対応の部分を指定する。しかしながら、図面は図示及び記述の目的のためだけであり、請求項の限定の定義として意図されないものと明らかに理解される。明細書及び請求項において用いられるように、不定冠詞及び定冠詞の単一形が、明らかに内容が反対のことを述べない限り、複数の指示対象を包含する。

図１は、実施形態に係るイメージを処理するための例示のシステムを図示する。

図２は、実施形態に係るイメージを処理するための方法のフローチャート例を図示する。

図３は、実施形態に係る、可能性として存在する較正誤差を含む焦点面ピクセルを異常残差統計で特定することを図示する。

図４Ａは、実施形態に係る、ピクセルのためのゲイン及びオフセット訂正を決定し、アウトライアー(outlier)ピクセルを特定するための散布図を図示する。

図４Ｂは、実施形態に係る、オフセットがゼロの時、ピクセルのためのゲイン訂正を決定し、またアウトライアーピクセルを特定するためのプロットを図示する。

図５Ａは、実施形態に係る、ピクセルの修正されたゲイン推定のためのプロットを図示する。

図５Ｂは、実施形態に係る、ピクセルの散布適合（scatter fit）ゲイン推定のプロットを図示する。

図６は、実施形態に係る、イメージを処理するための方法のフローチャート例を図示する。

図７は、実施形態に係る、イメージを処理するための方法のフローチャート例を図示する。

図８は、実施形態に係る、イメージを処理するための方法のフローチャート例を図示する。

図９は、実施形態に係る、修正されたゲインで最初の入力イメージを処理した後の異常フィルターイメージにおける改善を図示する。

図１０は、実施形態に係る、最重要の基底ベクトルをアンミックスするように最初の大きさの入力イメージを処理した後の残差イメージの縞模様を図示する。

図１１は、実施形態に係る、ゲイン／オフセット修正のために選択されたピクセルらのイメージと、工場供給不良ピクセルマップイメージの比較を図示する。

後続の記述においては、異なる実施形態において開示されているか否かに関わらず、同様の要素に同一の参照番号が与えられる。明瞭及び簡潔に本開示の実施形態（群）を図示するため、図面は、必ずしも縮尺するものではなく、ある特徴が、いくらか概略の態様で図示される。一実施形態に関して記述される及び／又は図示される特徴が、１以上の他の実施形態において、及び／又は他の実施形態の特徴と組み合わされ、若しくはそれに代えて、同一若しくは同様の態様で用いられ得る。

イメージを処理するように構成されたイメージングシステム１０２の実施形態が図１に図示される。ほんの一例として、イメージングシステム１０２は、ハイパースペクトルイメージングシステムである。用語「ハイパースペクトル」は、連続のスペクトル範囲に亘る狭いスペクトルバンドのイメージングに関し、シーン（例えば、シーン１０６）における全ピクセルのスペクトルを生成する。イメージングシステム１０２は、静止若しくは移動可能であり、機上又は陸上（例えば、隆起した陸上構造又は建物）に設置され、又は航空機又は衛星上にある。図示のように、イメージングシステム１０２は、イメージプロセッサー１００を含み、リモートイメージングシステム１０４に結合され、さもなくばそれに含まれる。リモートイメージングシステム１０４は、任意の適切な構造物又は構成から成り、限定するわけではないが、衛星、空中査察システム、又はイメージを取得することができる任意の他のシステムを含む。加えて、リモートイメージングシステム１０４が静止若しくは移動可能である。ある実施形態においては、イメージングシステム１０２とリモートイメージングシステム１０４が、地理エリア（例えば、地上地形）に対応する特定のシーン１０６の１以上のイメージを取得するように構成される。

ある実施形態においては、リモートイメージングシステム１０４が、イメージングシステム１０２を用いてシーン１０６のハイパースペクトルイメージ（群）を取得するように構成され、これらがイメージプロセッサー１００へ入力ハイパースペクトルイメージ（ＨＳＩ）シーンとして供給される。ある実施形態においては、ハイパースペクトルイメージングシステム１０２が、１以上のスキャンミラー１１０を含み、若しくは１以上の地上分解能セルから反射した光１０８を受けるように配置された他の光学系を含む。１以上の地上分解能セルから反射した光１０８、及び概して全体のシーン１０６が、イメージプロセッサー１００により用いられ、入力ＨＳＩシーンの入力反射率が決定される。入力ＨＳＩシーンは、特定ターゲットの検出の目的に依存し、シーン１０６の一部であり、若しくはシーン１０６の全体である。ある実施形態においては、スキャンミラー１１０又は他の光学系が、次に分光素子１１２を透過するように光１０８を向け、それが様々な異なる波長（すなわち、スペクトル）に光１０８を分光するように設けられる。様々な異なる波長に分光された後、光１０８が、次に、１以上のイメージング光学系１１４に向けられ、これが、検出器アレイ１１６の焦点面上に様々な波長を結ぶ。そのようにして検出器アレイ１１６が、波長スペクトルに亘るハイパースペクトルデータを取得し、これにより、シーン１０６のハイパースペクトルイメージに対応するデータセットを生成する。ほんの一例としては、本明細書にその全体が参照により組み込まれる、既に参照した米国特許出願シリアルＮｏ．１３／４４６，８６９に記述されているように、そのような波長スペクトルに亘り形成されたデータセットが、ハイパースペクトルイメージデータキューブ（又はＨＳＩデータキューブ）を構築するために用いられる。例えば、ＨＳＩデータキューブがスキャンされ、イメージプロセッサー１００に入力される。ある実施形態においては、ＨＳＩデータキューブが、３次元（３Ｄ）データキューブであり、各次元が、シーン１０６のハイパースペクトルイメージに関連するデータセットに対応する。１１６に図示された検出器のラインを含む焦点面は、一つのスキャン直交空間次元と一つの波長バンドにおける場所を特定する焦点面ピクセルから構成される。例えば、イメージングシステム１０２による波長スペクトルに亘るシーン１０６の２次元シーン１０６のスキャニングが、追加の空間次元を生成し、３ＤのＨＳＩデータキューブに帰結する。本明細書に記述の様々な実施形態において、ＨＳＩデータキューブの３次元の任意の２つがイメージプロセッサー１００により選択され、処理のためにイメージプロセッサー１００に入力される２次元イメージが形成される。例えば、空間ピクセルが、２次元のデカルト座標における空間場所として定義される。結果として、３ＤのＨＳＩデータキューブが各空間ピクセルについてのスペクトルを含み、イメージプロセッサー１００により空間ピクセルのスペクトルのセットとして分析される。代替として、３ＤのＨＳＩキューブが、各焦点面ピクセルについてのスキャン方向に沿って異なる回数のサンプルのセットを含み、各スキャン直交空間場所及びスペクトル波長バンドについてのスキャン方向に沿うサンプルのセットとしてイメージプロセッサー１００により分析される。本明細書に記述のように、用語「サンプル」が、スキャンにおける特定の時間の特定の反射波長（λ）及びスキャン直交場所の焦点面ピクセルを示す。同様に、用語「サンプルら」が、各々、異なる時間のインスタンスのセットの特定の反射波長及びスキャン直交場所の焦点面ピクセルを示す。

シーン１０６のハイパースペクトルイメージに対応する３ＤのＨＳＩデータキューブにおけるデータセットの生成に続いて、以下により詳細に記述のように、イメージプロセッサー１００が、データセットを処理し、ハイパースペクトル入力シーンイメージの次元を減じ、及び／又は入力シーンイメージを圧縮シーンイメージ及びハイパースペクトル残差イメージに分解する。代替の用語を用いれば、３Ｄデータキューブが、圧縮シーンデータキューブ及び残差シーンデータキューブに分解される。例えば、３ＤのＨＳＩデータキューブを最適に近似する計数を有し、残差データキューブにおけるこの近似における誤差を保存する基底ベクトルら（ＢＶｓ）の線形の結合として、３ＤのＨＳＩデータキューブにおける各空間ピクセルのスペクトルを近似することにより、そのような分解がイメージプロセッサー１００により実行される。そのようなイメージプロセッサー１００によるＢＶｓへの入力シーンスペクトルの分解が、例えば、既に参照した米国特許出願シリアルＮｏ．１３／０８５，８８３に記述されており、本明細書にその全体が参照により組み込まれる。入力シーンスペクトルの完全なセットが考慮される時、イメージプロセッサー１００は、データキューブにおける各空間ピクセルのスペクトルについてＢＶｓを用いて入力ＨＳＩデータキューブを分解する。

一実施形態においては、圧縮されたシーンイメージ（又は、圧縮イメージ）が、入力３ＤのＨＳＩデータキューブから得られ、また検出器アレイ１１６で取得された入力ハイパースペクトルシーンイメージの次元が減じられたシーンの表現である。ある実施形態においては、以下に詳細に記述のように、圧縮イメージにてイメージの次元の程度が減じられる程度、及び／又は次元の低減が多損失又は無損失に分類されるか否かが、イメージングシステム１０２の調整可能な特徴により決定される。幾つかの実施形態においては、不十分なＢＶセットといった、理想的な条件に満たない時、幾つかのシーン構造が、残差イメージ又は残差シーンデータキューブ内に漏れるものの、ハイパースペクトル残差イメージ又はデータキューブは、入力ハイパースペクトルシーンイメージの分解からの各空間ピクセルの各スペクトル波長バンドにおける誤差を含み、シーン１０６に関連した任意の内容を実質的に欠いている。センサーアーチファクトや検出器アレイ１１６アーチファクトといったアーチファクトが、以下の様々な図において図示されるように、残差イメージにおいて縞として現れる。そのように、入力シーンイメージ（又は入力シーンＨＳＩデータキューブ）の分解の後、様々な実施形態においては、残差イメージ（又は残差シーンＨＳＩデータキューブ）が処理され、ＨＳＩデータキューブにおけるセンサーアーチファクトを特徴づけ、シーン１０６からハイパースペクトル残差イメージ内へのシーン構造の漏れを検出し、若しくはハイパースペクトル残差イメージに対する他の分析を実行する。

幾つかの実施形態においては、イメージングシステム１０２が、リモートイメージングシステム１０４に関連する１以上のローカルプロセッサー（例えば、イメージプロセッサー１００）のためのフロントエンドインターフェースを含むか、そうでなければ提供する。幾つかの実施形態においては、１以上のプロセッサーが、残差イメージを分析し、ハイパースペクトルイメージにおける焦点面ピクセルの不均一の訂正を推定し、続けて、最初のハイパースペクトルイメージにおける焦点面ピクセルに不均一の訂正を適用するように構成される。入力シーンイメージのピクセルの不均一性が、同一の光１０８に対する各ピクセルの不等の応答から帰結する。更には、各ピクセルのそのような応答が時間と共に変化し、各ピクセルの最後の較正に誤差があり得る。幾つかの実施形態においては、イメージングシステム１０２が、代替的若しくは追加的に、ハイパースペクトルイメージを圧縮してローカルにメモリー装置（不図示）に記憶するように構成され、データセットが更に処理される地上ステーション又は他の遠隔のロケーションのリモートステーション１２０へ減じられたデータセットがトランスミッション１１８内を高速に通信される。例えば、減じられたデータセットを復元して最初のデータセット、又はこれらの任意の適切な組み合わせ（群）を生成した後、リモートステーション１２０又は他の処理ロケーションが、更なる復元をすることなくハイパースペクトルイメージのための分解されたイメージデータセットを分析及び処理する。

図２は、実施形態に係る、不均一訂正のためのイメージの残差分析のための方法又はプロセス２００のフロー図を図示する。一実施形態においては、残差ＨＳＩイメージが、入力ＨＳＩデータキューブから抽出される。従って、１以上の残差又は圧縮イメージに関して以下のオペレーションが記述されるが、オペレーションは、複数のそのようなイメージを有する完全又は全体のデータキューブに実行され得る。すなわち、用語「イメージ」、「イメージら」、「複合イメージ」、「複合イメージら」、「残差イメージ」、又は「残差イメージら」に代えて、用語「データキューブ」、「データキューブら」、「複合データキューブ」、「複合データキューブら」、「残差データキューブ」、「残差データキューブら」が、各々、本明細書に記述の実施形態の範囲から逸脱することなく同等に用いられる。更には、イメージ又はイメージらが、データキューブを構築する３次元の任意の２つのデータを抽出することにより形成される。例えば、イメージプロセッサー１００が、全体のデータキューブに対してオペレーションを実行し、またそのため、ハイパースペクトルイメージは実際の３Ｄイメージである。各２Ｄロケーションについてのスペクトル又は異なるスペクトルバンドにおける多数の２Ｄシーンイメージとして考えることもできる。幾つかの処理がキューブ全体に為される：幾つかの処理が３ＤのＨＳＩデータキューブから生成されたイメージに為される。３ＤのＨＳＩデータキューブ全体に為される処理が１次元（１Ｄ）におけるものであり、例えば、２Ｄ空間ピクセルの全スペクトル処理又は２Ｄ焦点面ピクセルの全サンプル処理のため、他の２次元における全サンプルに適用される。例えば、イメージにおけるスポットを特定する各焦点面処理のための平均残差の２Ｄイメージといった３ＤのＨＳＩデータキューブの派生物に対してイメージ処理が為され得る。

オペレーション２０２においては、イメージプロセッサー１００が、（シーン１０６から取得された若しくは工場供給のイメージ又はデータキューブの）入力ＨＳＩシーンに対応する１以上のハイパースペクトルイメージ（又は入力データキューブ）を受け取る。一実施形態においては、入力ＨＳＩシーンが、検出器アレイ１１６の焦点面で様々な異なる波長バンド（λ）に亘り取得された複数のイメージ又はイメージフレームを有する。代替として、上記もしたように、全体の３ＤのＨＳＩデータキューブが、処理のためにイメージプロセッサー１００で受け取られる。入力シーンイメージ又は入力シーンイメージに関する入力ＨＳＩデータキューブが、次に、処理のためにイメージプロセッサー１００に供給される。入力シーンイメージが、座標系（例えば、Ｘ−Ｙデカルト座標系）に従って配列された複数のピクセルを含む。ほんの一例としては、そのようなピクセルが、上に定義のように、焦点面ピクセル又は空間ピクセルである。

オペレーション２０４において、入力シーンイメージにおける各空間ピクセルに関連する基底ベクトル群（ＢＶｓ）がイメージプロセッサー１００により決定される。入力シーンイメージを記述するために用いられる各ＢＶがスペクトル、及び各空間ピクセルのスペクトルの要素である各波長での強度を表す。イメージプロセッサー１００は、空間ピクセルの各々のためにＢＶｓに関連した係数を決定し、入力シーンイメージのＢＶ表現をアンミックス(unmix)する。入力ＨＳＩシーンイメージは、係数が重み付けられた基底ベクトルの線形和として近似される；残差要素は、この近似における各空間ピクセルについての各波長バンドでの誤差である。一実施形態においては、少数のＢＶｓが用いられ、入力シーンイメージの大半を特徴付ける。そのようなＢＶｓを決定するプロセスが、シード（種）ＢＶで開始し、追加のＢＶｓを定め、入力シーンイメージを表すＢＶｓのセットを完成することを含む。追加のＢＶｓが、残差データキューブ及びそこから得られる残差イメージからシーン構造を除去するために用いられ、これにより、異常な焦点面ピクセルの特定及び訂正のための追加の残差サンプルの使用を可能にする。シーン構造が、シーン１０６における他の物又はアイテムのスペクトルとは異なるスペクトルを有するシーン１０６における物質として定義される。ＢＶｓのアンミックスが、ベクトルの線形適合を実行し、入力シーンイメージを近似することを含む。ＢＶｓの決定及びこれらのアンミックスの詳細が、本明細書に参照により組み込まれる、既に参照した米国特許出願シリアルＮｏ．１３／０８５，８８３に提供され、詳細に記述されない。もちろん、イメージのＢＶ表現の他の技術が、残差シーンにおけるアーチファクト及びノイズを残しながら入力シーンイメージを近似するべくイメージプロセッサー１００により適用される。

オペレーション２０６においては、全てのピクセルからのＢＶｓのアンミックスが、アンミックスされたＢＶ係数を有する圧縮されたシーンイメージ２０６ａ、及び残差イメージ２０６ｂを生成する。イメージプロセッサー１００により完全なデータキューブが処理される時、入力ＨＳＩデータキューブにおける全空間ピクセルから１以上の基底ベクトルを求める（projecting out）ことで残差ＨＳＩデータキューブ（又は、残差シーンデータキューブ）が取得される。理想的には、残差イメージ２０６ｂ又は残差データキューブは、何らのシーン構造を有しない。なぜなら、シーン構造は、減じられた次元のシーンイメージ２０６ａに含まれるためである。アンミックスされたＢＶｓの誤差スペクトルが残差イメージ２０６ｂを形成し、これが、非常に僅かなシーン内容とセンサーアーチファクトを含み得る。シーン１０６の共通要素、また従って、検出器アレイ１１６での入力シーンイメージが、圧縮されたシーンイメージ２０６ａに抽出され、様々なアーチファクト（例えば、センサーアーチファクト）が残差イメージ２０６ｂにおいて縞として露呈する。入力シーンイメージ又は入力ＨＳＩデータキューブを圧縮シーンイメージ２０６ａ（又は、圧縮されたシーンデータキューブ）及び残差イメージ２０６ｂ（又は、残差シーンデータキューブ）にアンミックスするプロセスが、入力シーンイメージ又は入力ＨＳＩデータキューブの「分解（decomposition）」「分解する」「変換（transformation）」又は「変換する」との用語で本明細書では呼ばれる。フローは、次に、イメージプロセッサー１００により残差イメージ２０６ｂに対して為されるオペレーション２０６〜２１６に進む。

オペレーション２０８においては、イメージプロセッサー１００は、残差イメージ２０６ｂにおける各焦点面ピクセルについての残差の全てのサンプルの統計的な特徴を決定する。例えば、残差イメージ２０６ｂ又はそこから残差イメージ２０６ｂが得られる残差ＨＳＩデータキューブにおける各焦点面ピクセルについてのサンプルの平均値(average)、中数(mean)、中央値(median)、標準偏差、又はこれらの組み合わせ（例えば、中数から閾値を減算する等）といった１以上の統計パラメーター値を計算することにより、イメージプロセッサー１００は、そのような統計的な特徴を計算する。残差イメージ２０６ｂにおける各焦点面ピクセルが、独自に表示され、若しくはカラム−バンドの組として特定される。カラムが、焦点面ピクセルのスキャン直交空間ロケーションに対応し、バンドが、焦点面ピクセルのスペクトル波長に対応する。センサーがシーン１０６に亘りスキャンされる度に焦点面ピクセルのサンプルが生成される。一実施形態においては、たった一つのピクセルカラムについての平均残差スペクトルが決定され、これは、特定されたカラムについての各波長での誤差サンプルの中数又は中央値である。平均残差スペクトルの数値が、イメージプロセッサー１００に結合された若しくは含まれるメモリー装置（不図示）に記憶される。

図３を参照すると、イメージ３６０が、各焦点面ピクセルについての平均サンプル誤差値を示す。イメージ３６０における幾つかの明るいスポットが焦点面ピクセルの大多数よりもより大きい平均誤差を有することが明らかである。これらの明るいスポットが異常ピクセルとして特定される。比較のため、最初のデータの平均サンプル値がイメージ３５０に図示される。ここでは、グレイスケールのイメージが、シーンの平均スペクトル及びカラムに亘るシーンの変動により支配される。この比較は、ＨＳＩキューブを圧縮キューブ及び残差誤差キューブに分解してセンサーアーチファクトからシーン内容を分離することの例示の利益を証明する。

オペレーション２１０において、イメージプロセッサー１００は、他の又は残余の焦点面ピクセルの残差誤差統計と比較される時、（オペレーション２０８で算出された）各焦点面ピクセルの残差誤差サンプルの統計的な特徴に基づいて異常な焦点面ピクセルに対応する異常のカラム−バンドの組を特定する。例えば、イメージプロセッサー１００は、特定のピクセルの平均残差誤差が全ピクセルについての平均残差誤差の計算された平均値からどの程度だけ乖離しているのかを決定する。そのピクセルの残差誤差値が平均の残差誤差値の所定距離内であるならば、イメージプロセッサー１００は、そのピクセルをスキップする（又は、そのピクセルを修正しない）。そうでないならば、イメージプロセッサー１００が、そのピクセルを異常ピクセルとして記録し、イメージプロセッサー１００に結合されたメモリー装置（不図示）に対応のカラム−バンドの組の値を記憶する。従って、カラム−バンドの組の固有値によって、異常ピクセルが特定される。例えば、イメージ３６０における明るいピクセルの幾つかが、平均又は他の統計パラメーター値の閾値分布よりも上にあるならば、異常として記録される。また別例においては、異常な焦点面ピクセルが、標準偏差残差イメージを含む残差誤差サンプルの異常に大きい標準偏差に基づいて、又は平均残差イメージと標準偏差残差イメージの両方を用いて、イメージプロセッサー１００により特定される。一実施形態においては、閾値技術の組み合わせが用いられる。フローは、次にオペレーション２１２に進む。

オペレーション２１２においては、イメージプロセッサー１００が、オペレーション２０２で受け取った最初の入力シーンイメージにおける対応のピクセルの対応のサンプルの値と、オペレーション２１０において特定された各ピクセルの各サンプルの残差誤差値を比較する。そのような比較が、以下のオペレーション２１４及び２１６において議論するように、異常ピクセルについてのピクセル誤差値が、ピクセルの再較正により説明できるかどうか、若しくは将来の処理からの潜在的除去のためにピクセルが不良ピクセルとしてフラグされるべきかを決定することに用いられる。

オペレーション２１４においては、残差イメージ２０６ｂにおける各異常ピクセルの残差誤差サンプルとイメージプロセッサー１００によるオペレーション２０２で受け取られた入力シーンイメージにおけるそれらの最初の値の比較に基づいて、イメージプロセッサー１００は、各異常ピクセルのためにゲイン及びオフセット訂正値の１以上の推定値（one or more estimations）を決定する。一実施形態においては、イメージプロセッサー１００が、ゲイン及びオフセット訂正値を推定するために、異常な焦点面ピクセルのサンプルを含む。ゲイン及びオフセット訂正値は、図４Ａ及び４Ｂに示した散布図を生成することによりイメージプロセッサー１００により決定される。一実施形態においては、以下の図４Ｂで説明するように、オフセットが正確に知られている時、ゲイン訂正のみが適用される。例えば、ダークフレームオフセット測定が各ＨＳＩシーンフレームの前に為される時、各ピクセルのオフセットが正確に決定され、またオフセット訂正がゼロに設定され得る。例えば、ノイズ入力だけのゼロ入力シーンに対応するダークフレーム測定値が、イメージプロセッサー１００により用いられ、オフセットが決定される。

ここで図４Ａを参照すると、例のピクセルの他の数も用いられ得るが、散布図３００が、残差イメージ２０６ｂにおいて異常として特定された例のピクセル６１５８、９４６９、及び１６５２７により特定されたカラム−バンドのペアを図示する。ほんの一例としては、各ピクセル６１５８、９４６９、及び１６５２７のために図示された多数のサンプルが、個別のピクセルの残差反射率の値と最初の反射率の値の相関性を図示する。一例においては、リニア相関は、ピクセル較正におけるゲイン及びオフセット誤差の結果である。較正過程において各焦点面ピクセルのためにゲイン及びオフセットが決定される。較正測定値ｃが、実測定ｒから次式（１）により決定される：

ゲイン誤差がｃにおける誤差に帰結し、これが、最初のデータ反射率に比例して大きさにおいて増加する（例えば、ピクセル９４６９及び６１５８のサンプルのための正のスロープ、またピクセル１６５２７のサンプルのための負のスロープ）。ゲイン誤差が正又は負であり、各々、正又は負のスロープの相関線に帰結する。オフセット誤差が、最初のデータ反射率とは独立であるｃにおける誤差を生成する。ゲイン誤差が０の信号に何の影響も持たないため、ｙ切片の値がオフセット誤差である。例えば、ピクセル６１５８にとっては、そのような多数の各ピクセルのサンプル点が、オペレーション２０２でイメージプロセッサー１００により受け取られた入力シーンイメージの反射率の関数として残差イメージ２０６ｂの反射率で散布図３００上にプロットされたカーブ３０２に沿って存在する。ピクセル６１５８上に他の種類のリニア又は非リニアカーブが適合され得るが、一実施形態においては、カーブ３０２は、散布図３００の原点からの距離として計算されたオフセット３０２ａでＹ軸に交差する直線である。カーブ３０２は、イメージプロセッサー１００により用いられるスロープを有し、ピクセル６１５８の較正におけるゲイン誤差が計算される。例えば、一実施形態においては、カーブ６１５８のスロープが、ピクセル６１５８に関連したゲイン誤差に直線比例する。ゲイン誤差が、入力シーンイメージ反射率における変化（又はΔｙ／Δｘ）で割られた残差反射率における変化により計算される。上述のように、ピクセル６１５８の残差値から得られたゲイン誤差が、ピクセル６１５８の較正ゲインにおける変化を示す。散布図３００に図示のように、ピクセル６１５８に関連したカーブ３０２が、やや負のオフセット誤差３０２ａを有する。この最初のデータに用いられたオフセットが一連のダークフレーム測定によるデータ収集の直前に再較正されたため、この特定の例についての小さなオフセットが、この技術の正確性を確認する。従って、この手順が、正確なオフセット較正を提供する。同様に、ピクセル９４６９のゲイン誤差に対応する多数のポイントがカーブ３０４に沿って存在し、ピクセル１６５２７がカーブ３０６に沿って存在する。ピクセル９４６９がオフセット３０４ａを有し、ピクセル１６５２７がゼロのオフセットを有する。これらの全ピクセルについてのオフセットが小さい。散布図３００から、オペレーション２１４において、イメージプロセッサー１００が、オペレーション２０２において受け取った入力シーンイメージ又は入力シーンデータキューブにおける各ピクセルのためのゲイン及びオフセット訂正を推定する。例えば、ゲイン訂正が、原点を通り、Ｘ軸に平行な（ゼロのスロープを有する）理想的なゲインカーブ３０８とのカーブ３０２、３０４、及び３０６の比較に基づいて決定され得る。一実施形態においては、そのようなゲイン及びオフセット訂正が、異常残差のカラム及びバンドのために実行され、バンドの複数のサンプルのために、残差値が、オペレーション２０２においてイメージプロセッサーにより受け取られた入力シーンイメージにおける最初の強度に比較される。

加えて若しくは代替的に、散布図３００が、アウトライアー(outlier)サンプルを特定及び／又は除去するために用いられる。例えば、散布図３００におけるピクセルポイント群６１５８ａが、カーブ３０２に不十分に適合する。そのようなアウトライアーの一つの理由は、最初の入力ＨＳＩデータキューブの不完全な圧縮であり、ピクセルがシーン１０６に亘りスキャンされるため、幾つかのシーン構造が残差誤差の幾つかのサンプルにおいて残存する。従って、そのようなアウトライアーサンプルが、ゲイン及びオフセット誤差の推定を悪化させ得る。一実施形態においては、散布図３００が、焦点面ピクセルサンプルのために適合され、アウトライアーサンプルが適合に含まれない。散布図３００は、残差が、これらの誤差モデルに従って最初のデータに相関されないことも示し得る。この結果は、ピクセルが、単純なゲイン及びオフセット変化ではない幾つかの他の誤差を有し、イメージプロセッサー１００により不良ピクセルとして除去されるようにラベル可能であることを示す。

図４Ｂを参照すると、プロット４００が、オフセットがゼロと仮定し、式（２）を用いて計算される、ピクセル６１５８、９４６９、及び１６５２７の各サンプルについてのゲインの値を図示する。

ＨＳＩキューブ測定前にダークフレーム測定がオフセットを測定するために用いられるため、このアプローチは、オフセット期間が正確に知られている時に有効であろう。オフセットが小さく、又は１以上のピクセルについてゼロでさえあり、イメージプロセッサー１００により修正可能な不均一がゲインにおける変化であることが確信されると、イメージプロセッサー１００が、プロット４００を用いてゲイン推定を改善することができる。各サンプルのために（オフセット＝０と推定し）、ゲインをプロットすることで、イメージプロセッサー１００は、（ポイント６１５８ａで示される）アウトライアーを特定し、また互換性のあるゲイン推定で残サンプルの平均値を求める。アウトライアーポイント６１５８ａが隣接サンプルで生じていることが見られ、これが、ＨＳＩデータキューブの基底ベクトル分解において不完全に近似された局所化されたシーン構造から帰結する。一実施形態においては、アウトライアーが、平均及び分散（σ）を計算し、アウトライアーを除き、また繰り返すことにより特定される。散布図３００のカーブ３０２、３０４、及び３０６が一定のスロープを有するため、プロット４００において、ピクセル６１５８、９４６９、及び１６５２７が、ゼロのスロープを有する直線に沿って存在することに注意されたい。

図５Ａ及び５Ｂを参照すると、プロット５００Ａ及び５００Ｂが、最悪のピクセル（例えば、残差イメージ２０６ｂ又は残差シーンＨＳＩデータキューブにおける最高の残差誤差値を有するピクセル）にとってのイメージプロセッサー１００を用いたゲイン及びオフセット誤差の推定値の計算の例示の決定又は結果を要約する。例えば、プロット５００Ａが、プロット４００の分析から帰結する、カーブ５０４のゲイン誤差推定値、及びカーブ５０２のゲイン誤差推定値の標準偏差を図示する。標準偏差は、推定値の不確実性の測定値である。標準偏差の低い値は、カーブ５０４におけるゲイン誤差推定値が正確であることを示す。同様に、プロット５００Ｂが、プロット３００の分析から帰結する、ゲイン誤差推定値（カーブ５０６におけるスロープ）及びオフセット誤差推定値（カーブ５０８における切片）を図示する。両方のプロットにおいては、ゲイン誤差が、不良又は異常ピクセルインデックスの関数としてプロットされ、これは、各々のプロット４００又は３００による分析のためにピクセルを特定するために最初に用いられる残差誤差統計（例えば、中数、中央値など）に基づいて異常な焦点面ピクセルを分類することから帰結する。ゲイン及びオフセット誤差推定値がイメージプロセッサー１００により用いられ、ゲイン及びオフセット訂正値の各々が計算される。

戻って図２を参照すると、オペレーション２１６において、イメージプロセッサー１００が、上述のように、散布図３００及び／又は４００上に存在しないアウトライアーサンプルを除去する。そのようなアウトライアーサンプルが上述のようにフィッティングプロセスから除去され（例えば、ピクセルポイント６１５８ａに関連したピクセル）、ゲイン誤差及びオフセット誤差推定の悪化が避けられる。一実施形態においては、ゲイン及びオフセット訂正の推定値を精錬するため（接続のフィードバック矢印により示されるように）、またアウトライアーサンプルの特定を精錬するため、オペレーション２１４及び２１６が繰り返し又は多数回に亘り実行される。

オペレーション２１８において、誤差がゲイン及びオフセット誤差モデルにより良く特徴付けられる異常ピクセルのため、イメージプロセッサー１００が、散布図３００及び／又はプロット４００に基づいて計算されたゲイン及びオフセット訂正を、最初のＨＳＩシーン２０２におけるそのような異常ピクセルに適用する。各ピクセルについての新しく訂正されたデータ値ｃ’が次式（３）により決定される：

オペレーション２２０において、再構成された不均一訂正済みのＨＳＩ入力シーンイメージ（又は、入力シーンＨＳＩデータキューブ）が、オペレーション２１０〜２１８の結果に基づいて、イメージプロセッサー１００により生成される。頭字語「ＮｕＣｅｄ」が「不均一が訂正された」を意味する。そのような再構成された入力シーンイメージ（又は、入力シーンＨＳＩデータキューブ）が、リモートステーション１２０又はイメージングシステム１０２によりターゲット検出のために用いられる。再構築されたシーンイメージは、それ自体が、イメージプロセッサー１００により用いられ、帰納的態様でオペレーション２０４〜２１８が再び実行され、ゲイン及びオフセット誤差の決定及び訂正（また従って、対応のゲイン及びオフセット訂正値）が更に精錬される。

図６は、方法又はプロセス２００のフロー図が、方法又はプロセス６００のフロー図に修正された実施形態を図示する。方法６００におけるオペレーションは、オペレーション２０４を入力ＨＳＩシーンイメージのみに適用することに加えて、ＢＶｓの決定及びアンミックスのオペレーション２０４が残差イメージ２０６ｂ自体に適用されることを除いて、方法２００のオペレーション２０２〜２２０と同様である。ほんの一例としては、パス又はフィードバックループ６０２として示された、そのような残差イメージ２０６ｂのピクセルのフィードバックが、残差イメージ２０６ｂのオペレーション２０８〜２２０の適用の前に残差イメージ２０６ｂの更なる精錬を生じさせる。オペレーション２０４を残差イメージ２０６ｂに繰り返し適用することの利益は、何らのフィードバック又は残差イメージ２０６ｂ又は残差シーンデータキューブへの繰り返しのＢＶｓのアンミックスがない場合と比べて、残差イメージ２０６ｂが、より少ない量の入力ＨＳＩシーン漏れを有することである。そのようなフィードバックループ６０２の例示の利益が、圧縮データの妥当性に基づいて単に基底ベクトルを制御するよりも、改善された不均一訂正を提供することである。

図７は、方法又はプロセス２００のフロー図が、方法又はプロセス７００のフロー図に修正された実施形態を図示する。方法７００においては、オペレーション７０２及び７０４が方法２００のオペレーション２０２〜２２０に追加される。追加のオペレーションが、残差キューブに漏れたシーン内容を特定するが、図６のように追加の基底ベクトルのアンミックスによりそれを除くのではなく、オペレーション２０８において、シーン内容が、焦点面ピクセル統計の計算に用いられるサンプルからフィルターされ、オペレーション２１２において分析された散布プロットからフィルターされる。シーン内容漏れが、圧縮シーン及び残差キューブへの最初のデータの非理想的な分解のため、残差キューブにおける空間パターンから成る。

オペレーション７０２において、オペレーション２０６からの残差イメージ２０６ｂが、残差イメージ２０６ｂに存在する空間シーン内容又はシーン構造のためのイメージプロセッサー１００により実施又は構成される１以上のフィルター（不図示）によりフィルターされる。残差イメージ２０６ｂ（又は、残差ＨＳＩデータキューブ）へのシーン内容又は構造のそのような漏れの特定は、残差スペクトルがシーン構造を含むが、ただのノイズ及びセンサーアーチファクトを含まない１以上の空間ピクセルの特定を含む。これらのスペクトルが、対応の焦点面ピクセルにおけるシーン汚染の１以上のサンプルに帰結する。これらのサンプルが、較正変化を推定することに用いるのに焦点面ピクセルの乏しいサンプルとして特定される。なぜなら、追加のシーン内容は、これらのサンプルがゲイン／オフセット誤差モデルに不十分に適合させるためである。一実施形態においては、オペレーション２０８において、焦点面ピクセルについての残差値の空間サンプルの平均値、中数、中央値、標準偏差、又は他の統計パラメーター値を決定する前、及び／又は、オペレーション２１２において、特定された異常の焦点面ピクセルについての残差のサンプルと入力データキューブにおける対応の焦点面ピクセルの値を比較する前、シーン構造を含むと特定された残差データキューブの空間サンプルが残差ＨＳＩデータキューブから除去される。他の実施形態においては、これらの乏しいサンプルが残差イメージ２０６ｂ又は残差ＨＳＩデータキューブから除去されず、むしろ、オペレーション２０８において、これらが焦点面ピクセルについての残差値の空間サンプルの平均値、中数、又は標準偏差を決定することや、オペレーション２１２において、入力データキューブにおける対応の焦点面ピクセルの値と、特定された異常の焦点面ピクセルについての残差のサンプルを比較することに無視されるべくフラグ付けされる。ハードウェアで実施されるデジタルフィルター、フィルタリングプログラム、又はイメージプロセッサー１００のメモリーに格納のコード、若しくはこれらの組み合わせを用いてイメージプロセッサー１００によりフィルタリングが実行され得る。

オペレーション７０４においては、異常なカラム−バンドのペアがオペレーション２１０で特定された後、オペレーション７０２と同様、これらの特定されたカラム−バンドのペアのサンプルが再び空間的にフィルターされる。このフィルタリングが、オペレーション７０２において特定されるように散布プロット４００及び５００から乏しいサンプルを除去することから成る。

図８は、フロー図２００がフロー図８００に修正された実施形態を図示する。フロー図８００が、多数の入力ＨＳＩシーンイメージ（又はフレーム）がオペレーション８０２で受け取られることを図示し、これが図２のオペレーション２０２に置換する。オペレーション８０２においては、そのような多数の入力ＨＳＩシーンイメージが順次又は並行してイメージプロセッサー１００に提供され、これが続いて上述のフロー図２００に従ってオペレーション２０４〜２２０を実行する。ある実施形態においては、ゲイン及びオフセット訂正が、第１シーンのために一度だけ計算され、同一の訂正が幾つかの後続の入力シーンに適用可能である。ゲイン及びオフセット訂正が遅く変化するため、このプロセスは、より速い不均一訂正を許容する。別の実施形態においては、多数のＨＳＩシーンが、一つの大きい入力ＨＳＩデータキューブとして同時に処理可能である。このプロセスは、ゲイン及びオフセット訂正推定のためのより多くのサンプルを提供し、同時に処理される全てのＨＳＩシーンに適用される、より正確な訂正を与える。

一実施形態においては、オペレーション２０２〜２２０、７０２、７０４、及び８０２、また上の各方法２００、６００、７００、及び８００のフロー図のオペレーションにおいて記述されたプロセスの他の組み合わせが、１回以上に亘り繰り返され又は反復され、より高い品質の残差イメージ及び異常ピクセルの検出及び除去が獲得される。

図９は、不均一な訂正のプロセスの利益及び効果の例を図示する。入力シーンイメージ例９０２が、入力ＨＳＩシーン２０２の赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）バンドのＲＧＢ複合イメージから生成される。当業者に知られている他の種類の異常検出器も使用可能であるが、最初のＨＳＩシーン２０２にＲｅｅｄ−Ｘｉａｌｏｉ（ＲＸ）異常検出器を走らせることによりイメージ９０３が取得される。イメージプロセッサー１００による処理の後、ＮＵＣｅｄ・ＨＳＩシーン２２０にＲｅｅｄ−Ｘｉａｌｏｉ（ＲＸ）異常検出器を走らせることによりイメージ９０４が取得される。ほんの一例として、入力シーンイメージ９０２が、地形（例えば、シーン１０６）に亘る一連のテスト飛行過程で取得されたデータから取得される。ＲＸイメージ９０３においては、ピクセル較正誤差が、多数の明るい縞９０３ａに帰結し、これが、ＲＸ９０４では非常に簡単に見られるシーン異常(scene anomalies)の大半を覆い隠す。ＮＵＣｅｄシーン２２０の処理後、ＲＸイメージ９０４が、より少ない縞を含み、潜在的なターゲット９０６をよりはっきりと示す。

図１０は、追加の基底ベクトルがアンミックスされるために残差シーンからシーン内容が除去され、またゲイン及びオフセット誤差がより顕著になるために結果として縞が現れることを図示する。最初の大きさのイメージ(original magnitude image)１００２は、ＲＧＢイメージ９０２において表示された入力ＨＳＩシーンと同様である。最初の大きさのイメージ１００２が、各空間ピクセルについての最初のスペクトルの大きさを示す。他の大きさの値（例えば、正規化された又は絶対の大きさ）が用いられ得るが、大きさは、各スペクトル要素の二乗平均平方根の和である。イメージ１００４は、５つの基底ベクトルがアンミックスされた後の分数の残差の大きさの一例である。分数の残差の大きさが、最初の大きさ１００２により分割された、２０６ｂからの、各残差スペクトルの二乗平均平方根の和である。イメージ１００８は、１５個の基底ベクトルがアンミックスされた後の分数の残差の大きさの一例である。イメージ１００８の大半がより均一な黒色であり、イメージ１００４に見られる明るいシーン構造の多くがもはや見られないことに注意されたい。イメージ１００８のより顕著な特徴は、そのカラムにおける１以上のバンドが、ゲイン及び／又はオフセット誤差により生じられた大きい残差誤差を有することを示す縞である。イメージ１００８の中央に残る明るい白色のスポット１０１０が、残差誤差キューブへのシーン構造の漏れの一例である。この明るいスポット１０１０が図６のオペレーション６０２で用いられ、基底ベクトルが生成され、これが、残差誤差イメージ２０６ｂ（又は、残差ＨＳＩデータキューブ）からの白色のスポットを除去し、圧縮データキューブ２０６ａにスポットを組み込む。別の実施形態においては、明るいスポット１０１０が、プロセス７０２によりフィルターされ、これらのサンプル（およそ、#３８０−４００）が、縞のカラム（およそ、#１４０）のどのバンドにとってもオペレーション２０８での残差スペクトルの統計の評価に用いられない。明るいスポット１０１０がプロセス７０４でもフィルターされ、これらのサンプル（およそ、#３８０−４００）が、縞のカラム（およそ、#１４０）のどのバンドにとってもオペレーション２１２での散布プロットの分析に用いられない。別の実施形態においては、この明るいスポット１０１０が、オペレーション２１２での散布プロットにおいて、６１５８ａといった、アウトライアーサンプルに帰結することが予期される。

図１１は、センサー較正プロセス１１０２により供給される不良ピクセルマップと、プロセス２０８及び２１０により特定された異常な焦点面ピクセルの比較を図示する。平均残差誤差の例が、各々、５つ及び１５つのＢＶｓのアンミックス後、イメージ１１０４及び１１０６に図示される。１１０４及び１１０６における明るいスポットは、大きい残差誤差を有する異常な焦点面ピクセルである。これらの明るいスポットと較正済みの不良ピクセルマップ１１０２の間に高い相関関係がある。しかしながら、図４Ａ〜４Ｂに図示の散布プロット及び図５Ａ〜５Ｂのプロットの特徴、また図９に図示の改良の品質が、これらの不良ピクセルの多くが、図２に記述のプロセスにより修正可能であることを示す。

上述のシステム及び方法は、デジタル電子回路、コンピューターハードウェア、ファームウェア、及び／又はソフトウェア、例えば、イメージングシステム１０２において実施可能である。コンピュータープログラム製品（つまり、情報搬送媒体に有体に具現化されたコンピュータープログラム）で実施可能である。例えば、データ処理装置による実施のための、若しくはその動作を制御する機械読み出し可能な記憶装置において実施可能である。例えば、プログラマブルプロセッサー、コンピューター、及び／又は多数のコンピューターで実施可能である。

一実施形態においては、コンピュータープログラムが、コンパイルされた及び／又は解釈された言語を含む任意の形態のプログラミング言語で記載され、コンピュータープログラムが、計算環境の用途に適当なイメージプロセッサー１００においてスタンドアローンプログラム、又はサブルーチン、エレメント、及び／又は他のユニットを含む任意の形態で配備可能であり、本明細書に記述された様々な実施形態の特徴及び機能を実行する。コンピュータープログラムは、一つのサイト（例えば、イメージングシステム１０２）で、一つ又は多数のコンピューター上で実行されるように配備可能である。

方法ステップ又はオペレーションが、コンピュータープログラムを実行し、入力データを処理及び出力を生成することにより様々な実施形態の機能を実行する１以上のプログラム可能なプロセッサーによるプロセスとして実行され得る。また、特別目的論理回路により、方法ステップが実行され、装置が実施され得る。回路は、例えば、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）及び／又は特定用途向け集積回路（ＡＳＩＣ）であり得る。モジュール、サブルーチン、及びソフトウェア・エージェントが、この機能を実施するコンピュータープログラム、プロセッサー、特別回路、ソフトウェア、及び／又はハードウェアの部分を意味し得る。

イメージプロセッサー１００は、コンピュータープログラムの実行に適する１以上のプロセッサーを含み得、例示のみのため、汎用及び特別目的の両方のマイクロプロセッサー、及び任意の種類のデジタルコンピューターの任意の１以上のプロセッサーを含む。一般的には、プロセッサーがリードオンリーメモリー又はランダムアクセスメモリー又は両方から指令及びデータを受け取る。コンピューターの要素が、指令を実行するためのプロセッサーと、指令及びデータを記憶するための１以上のメモリー装置を含み得る。一般的には、コンピューターは、（例えば、磁気、光磁気ディスク、又は光ディスク）データを記憶するための１以上のマス・ストレージ装置（例えば、メモリーモジュール）を含み、データを受け取り及び／又はデータを送信するべく動作可能に結合される。メモリーは、１以上のプロセッサー（例えば、イメージプロセッサー１００）により実行される時に１以上のプロセッサーに本明細書で記述した様々な実施形態の特徴や機能性を実行又は実施させる、イメージを処理するためにそこに記憶されたコンピューター読み取り可能指令を有する有形の非一時的コンピューター読み取り可能な記憶媒体であり得る。

残差イメージ２０６ｂ及び／又は残差シーンデータキューブ及び再構成された残差及び入力シーンイメージ（又は、再構成された３ＤのＨＳＩデータキューブ）及び指令のトランスミッション１１８を含むデータ・トランスミッションが、通信ネットワーク上で生じ得る。コンピュータープログラム指令及びデータを実装するために適する情報担体が、例示のみの半導体メモリー装置を含む、不揮発性メモリーの全態様を含む。情報担体は、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリー装置、磁気ディスク、内部ハードディスク、リムーバルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、及び／又はＤＶＤ−ＲＯＭディスクであり得る。プロセッサー及びメモリーは、特別用途論理回路により補助され、及び／又は組み込まれ得る。

ユーザーとの相互作用を提供するため、上述の技術は、表示装置を有する計算装置上で実施され得る。表示装置は、例えば、ブラウン管（ＣＲＴ）及び／又は液晶表示（ＬＣＤ）モニター、及び／又は発光ダイオード（ＬＥＤ）モニターであり得る。ユーザーとの相互作用は、例えば、ユーザーへの情報の表示であり、またこれによりユーザーが計算装置に入力を提供することができる（例えば、ユーザーインターフェース要素と相互作用する）キーボード及びポインティング装置（例えば、マウス又はトラックボール）である。他の種類の装置が用いられ、ユーザーとの相互作用が提供される。他の装置は、例えば、任意の形態のセンサーフィードバックにおいてユーザーに提供されるフィードバックで在り得る（例えば、視覚フィードバック、音声フィードバック、又は触覚フィードバック）。ユーザーからの入力は、例えば、音、スピーチ、及び／又は接触入力を含む任意の形態で受け取られる。

上述のシステム及び技術が、バックエンド・コンポーネントを含む分散型計算システムにおいて実施され得る。バックエンド・コンポーネントは、例えば、データサーバー、ミドルウェア・コンポーネント、及び／又はアプリケーションサーバーであり得る。上述の技術は、フロントエンド・コンポーネントを含む分散計算システムにおいて実施され得る。フロントエンド・コンポーネントは、例えば、グラフィカル・ユーザー・インターフェース、ユーザーが実施の例に作用することができるウェブブラウザー、及び／又は送信装置のための他のグラフィカル・ユーザー・インターフェースを有するクライアント計算装置であり得る。システムのコンポーネントは、デジタルデータ通信（例えば、通信ネットワーク）の任意の態様又は媒体により相互接続される。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット、ワイヤード・ネットワーク、及び／又はワイヤレスネットワークを含む。

システムは、クライアント及びサーバーに結合され及び／又は含む。クライアント及びサーバーは、概してお互いにリモートであり、典型的には通信ネットワークを介して通信する。クライアントとサーバーの関係が、各々の計算装置上に稼働し、またお互いにクライアント−サーバー関係を有するコンピュータープログラムのために生じる。

通信ネットワークは、例えば、インターネット、キャリヤーインターネットプロトコル（ＩＰ）ネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、キャンパスエリアネットワーク（ＣＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ホームエリアネットワーク（ＨＡＮ）、プライベートＩＰネットワーク、ＩＰ構内電話交換機（ＩＰＢＸ）、ワイヤレスネットワーク（例えば、ラジオアクセスネットワーク（ＲＡＮ）、８０２．１１ネットワーク、８０２．１６ネットワーク、ジェネラル・パケット・ラジオ・サービス（ＧＰＲＳ）ネットワーク、ハイパーＬＡＮ）を含むパケット基準ネットワーク、及び／又は他のパケット基準のネットワークを含む。回路基準のネットワークが、例えば、公衆交換電話網（ＰＳＴＮ）、構内電話交換機（ＰＢＸ）、ワイヤレスネットワーク（例えば、ＲＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、符合分割多重アクセス方式（ＣＤＭＡ）ネットワーク、時分割多重アクセス（ＴＤＭＡ）ネットワーク、グローバル・システム・フォー・モバイル・コミュニケーションズ（ＧＳＭ）（登録商標）ネットワーク）、及び／又は他の回路基準のネットワークを含む。

イメージングシステム１０２における計算装置は、例えば、コンピューター、ブラウザー装置付きのコンピューター、電話、ＩＰ電話、モバイル装置（例えば、携帯電話、パーソナル・デジタル・アシスタンス（ＰＤＡ）装置、ラップトップコンピューター、電子メール装置）、及び／又は他の通信装置を含む。ブラウザー装置は、例えば、ワールド・ワイド・ウェブ・ブラウザー（例えば、ＷＡ、レッドモンドのマイクロソフト社から入手可能なインターネット・エクスプローラー（登録商標））を有するコンピューター（例えば、デスクトップコンピューター、ラップトップコンピューター）を含む。モバイル計算装置は、例えば、カナダ、オンタリオ、ウォータールーのリサーチ・イン・モーションにより提供されるブラックベリー（登録商標）を含む。

「備える」、「含む」、及び／又は各々の複数形が非限定なものであり、列挙されたものを含み、また非列挙の追加のものを含むことができる。「及び／又は」は非限定のものであり、１以上の列挙されたもの及び列挙されたものの組み合わせを含む。

上述の開示が現在にて有用と考えられる様々な実施形態について説明するが、そのような詳細が、その目的のためであるものと理解され、添付の請求項が開示の実施形態に限定されず、むしろ反対に、添付請求項の精神及び範囲内にある修正や均等の構成を含むことが意図される。

Claims (19)

1. イメージプロセッサーで、入力イメージが得られる入力データキューブを受け取り；
   イメージプロセッサーで、前記入力データキューブにおける各空間ピクセルから１以上の基底ベクトルを求めることにより、残差イメージを得るために用いられる残差データキューブへ前記入力データキューブを変換し；
   イメージプロセッサーで、前記残差イメージにおける各焦点面ピクセルのサンプルについて統計パラメーター値を決定し；
   イメージプロセッサーで、前記残差イメージにおける各焦点面ピクセルの決定された統計パラメーター値と、残りの焦点面ピクセルの個別の決定された統計パラメーター値との比較に基づいて異常な焦点面ピクセルを特定し、
   イメージプロセッサーで、特定された異常な焦点面ピクセルの各スキャンされたサンプルの残差値と前記入力データキューブにおける対応のスキャンされたサンプルの値を比較し、
   イメージプロセッサーで、前記比較に基づいて異常な焦点面ピクセルのためのゲイン訂正値及びオフセット訂正値の少なくとも一つの推定値を決定し、
   イメージプロセッサーで、前記ゲイン訂正値及び前記オフセット訂正値の少なくとも一つの推定値に基づいて前記入力データキューブを再構成し、
   前記ゲイン訂正値が、特定された焦点面ピクセルのサンプルの入力シーン反射率の関数として、特定された焦点面ピクセルのサンプルの残差反射率に適合するようにプロットされたラインのスロープに基づいて決定され、
   前記オフセット訂正値が、入力シーン反射率がゼロの時のプロットされたラインの値に基づいて決定される、イメージ処理のための方法。
2. イメージプロセッサーで、値の範囲外の残差値を有する異常な焦点面ピクセルの少なくとも一つのサンプルを除去するステップを更に含み、前記異常な焦点面ピクセルの少なくとも一つのサンプルが、推定の決定のために含まれる時、異常な焦点面ピクセルのためのゲイン及びオフセット訂正値に貢献する、請求項１に記載の方法。
3. 更に、イメージプロセッサーで、各空間ピクセルの残差スペクトルの大きさを空間的に分析し、残差スペクトルが前記入力データキューブからのシーン構造を含む１以上の空間ピクセルを特定する、請求項２に記載の方法。
4. 焦点面ピクセルについての残差イメージの空間サンプルの統計パラメーター値を決定する前、及び特定された異常な焦点面ピクセルについての残差値を入力データキューブにおける対応の焦点面ピクセルの値と比較して前記ゲイン訂正値及び前記オフセット訂正値における誤差を阻止する前、シーン構造を含むと特定された残差データキューブの空間ピクセルのサンプルが残差データキューブから除去される、請求項３に記載の方法。
5. 更に、イメージプロセッサーで、前記入力データキューブを特徴付け及び前記残差データキューブからシーン構造を除去する追加の基底ベクトルを決定し、前記追加の残差サンプルを用いて異常な焦点面ピクセルの特定及び訂正を可能にする、請求項１に記載の方法。
6. 前記ゲイン訂正値及び前記オフセット訂正値の少なくとも一つの推定値を決定することが、前記オフセット訂正値がゼロであることが知られている時、前記ゲイン訂正値のみを決定することを含む、請求項１に記載の方法。
7. 各焦点面ピクセルの決定された統計値が、前記再構成のために入力シーンイメージの多数のフレームにおいて対応の焦点面ピクセルに適用される、請求項１に記載の方法。
8. カーブが、焦点面ピクセルのサンプルのために散布図で適合され、少なくとも一つのアウトライアー焦点面ピクセルが、適合された散布図に含まれない、請求項１乃至７のうちいずれか一項に記載の方法。
9. イメージプロセッサーで、前記ゲイン訂正値及び前記オフセット訂正値が決定された後、前述の統計パラメーター値の決定のステップ、前述の特定のステップ、及び前述の比較のステップをフィードバックループにおいて繰り返し、更に、前記ゲイン訂正値及び前記オフセット訂正値の決定された推定値を精錬する、請求項１に記載の方法。
10. 前記統計パラメーター値が、平均値、中数、中央値、標準偏差、又はこれらの組み合わせの少なくとも一つである、請求項１に記載の方法。
11. コンピューターが実行可能な指令を有するメモリー；
    前記メモリーに結合したイメージプロセッサーを備え、
    前記コンピューターが実行可能な指令が、前記イメージプロセッサーにより実行される時、前記イメージプロセッサーに：
    入力イメージが得られる入力データキューブを受け取らせ；
    前記入力データキューブにおける各空間ピクセルから１以上の基底ベクトルを求めることにより、残差イメージを得るために用いられる残差データキューブへ前記入力データキューブを変換させ；
    前記残差イメージにおける各焦点面ピクセルのサンプルについて統計パラメーター値を決定させ；
    前記残差イメージにおける各焦点面ピクセルの決定された統計パラメーター値と、残りの焦点面ピクセルの個別の決定された統計パラメーター値との比較に基づいて異常な焦点面ピクセルを特定させ；
    前記特定された異常な焦点面ピクセルの各スキャンされたサンプルの残差値と、前記入力データキューブにおける対応のスキャンされたサンプルの値の更なる比較を実行させ、
    前記比較に基づいて異常な焦点面ピクセルのためのゲイン訂正値及びオフセット訂正値の少なくとも一つの推定値を決定させ；
    前記ゲイン訂正値及び前記オフセット訂正値の少なくとも一つの推定値に基づいて前記入力データキューブを再構成させ、
    前記ゲイン訂正値が、特定された焦点面ピクセルのサンプルの入力シーン反射率の関数として、特定された焦点面ピクセルのサンプルの残差反射率に適合するようにプロットされたラインのスロープに基づいて決定され、
    前記オフセット訂正値が、入力シーン反射率がゼロの時のプロットされたラインの値に基づいて決定される、イメージ処理システム。
12. 前記コンピューターが実行可能な指令が前記イメージプロセッサーにより実行される時、前記イメージプロセッサーに：
    更に、値の範囲外の残差値を有する異常な焦点面ピクセルの少なくとも一つのサンプルを除去させ、
    前記異常な焦点面ピクセルの少なくとも一つのサンプルは、推定の決定のために含まれる時、前記異常な焦点面ピクセルのためのゲイン及びオフセット訂正値に貢献する、請求項１１に記載のイメージ処理システム。
13. 前記コンピューターが実行可能な指令が前記イメージプロセッサーにより実行される時、前記イメージプロセッサーに：
    更に、各空間ピクセルの残差スペクトルの大きさを空間的に分析させ、前記残差スペクトルが前記入力データキューブからのシーン構造を含む１以上の空間ピクセルを特定させる、請求項１２に記載のイメージ処理システム。
14. 焦点面ピクセルについての残差イメージの空間サンプルの統計パラメーター値を決定する前、及び特定された異常な焦点面ピクセルについての残差値を入力データキューブにおける対応の焦点面ピクセルの値と比較して前記ゲイン訂正値及び前記オフセット訂正値の推定における誤差を阻止する前、シーン構造を含むと特定された残差データキューブの空間ピクセルのサンプルが残差データキューブから除去される、請求項１３に記載のイメージ処理システム。
15. 前記コンピューターが実行可能な指令が前記イメージプロセッサーにより実行される時、前記イメージプロセッサーに：
    更に、前記入力データキューブを特徴付け及び前記残差データキューブからシーン構造を除去する追加の基底ベクトルを決定させ、前記追加の残差サンプルを用いて異常な焦点面ピクセルの特定及び訂正を可能にする、請求項１１に記載のイメージ処理システム。
16. 前記イメージプロセッサーは、前記オフセット訂正値がゼロであることが知られている時、前記ゲイン訂正値のみを決定することにより、前記ゲイン訂正値及び前記オフセット訂正値の少なくとも一つの推定値を決定する、請求項１１に記載のイメージ処理システム。
17. 各焦点面ピクセルの決定された統計値が、前記入力データキューブの再構成のために入力シーンイメージの多数のフレームにおいて対応の焦点面ピクセルに適用される、請求項１１に記載のイメージ処理システム。
18. イメージの処理のためのコンピュータープログラムであって、
    １以上のプロセッサにより実行される時、該１以上のプロセッサに：
    入力イメージが得られる入力データキューブを受け取らせ；
    前記入力データキューブにおける各空間ピクセルから１以上の基底ベクトルを求めることにより、残差イメージを得るために用いられる残差データキューブへ前記入力データキューブを変換させ；
    前記残差イメージにおける各焦点面ピクセルのサンプルについて統計パラメーター値を決定させ；
    前記残差イメージにおける各焦点面ピクセルの決定された統計パラメーター値と、残りの焦点面ピクセルの個別の決定された統計パラメーター値との比較に基づいて異常な焦点面ピクセルを特定させ；
    前記特定された異常な焦点面ピクセルの各スキャンされたサンプルの残差値と、入力データキューブにおける対応のスキャンされたサンプルの値の更なる比較を実行させ、
    前記比較に基づいて異常な焦点面ピクセルのためのゲイン訂正値及びオフセット訂正値の少なくとも一つの推定値を決定させ；
    前記ゲイン訂正値及び前記オフセット訂正値の少なくとも一つの推定値に基づいて前記入力データキューブを再構成させ、
    前記ゲイン訂正値が、特定された焦点面ピクセルのサンプルの入力シーン反射率の関数として、特定された焦点面ピクセルのサンプルの残差反射率に適合するようにプロットされたラインのスロープに基づいて決定され、
    前記オフセット訂正値が、入力シーン反射率がゼロの時のプロットされたラインの値に基づいて決定される、コンピュータープログラム。
19. 請求項１８に記載のコンピュータープログラムを記憶しているコンピューター読み取り可能記憶媒体。