JP6012408B2 - 辞書を用いてパンクロマチック画像及びマルチスペクトル画像をパンシャープン化する方法 - Google Patents

Description

この発明は、包括的には、画像をパンシャープン化することに関し、より詳細には、辞書を用いてパンクロマチック画像及びマルチスペクトル画像を鮮明化することに関する。

ＱｕｉｃｋＢｉｒｄ、ＩＫＯＮＯＳ、及びＡＬＯＳ等の多数の衛星撮像システムが、２つの種類の画像、すなわちパンクロマチック(Ｐａｎ)及びマルチスペクトル(ＭＳ)を生成する。Ｐａｎ画像は、色情報なしで高い空間解像度を提供するのに対し、ＭＳ画像は色スペクトル情報を提供するが、低減された空間解像度で提供する。

ターゲット識別及び物質識別等の様々な画像用途について、高空間品質及び高スペクトル品質の双方を有するＭＳ画像を得ることが必要である。画像品質を向上させるために、パンシャープン化によって、高解像度のパンクロマチック画像と低解像度のマルチスペクトル画像とが合成され、単一の高解像度のカラー画像が生成される。通常、パンシャープン化によって、３つ又は４つ以上の低解像度のスペクトル帯域に加えて、対応する高解像度のパンクロマチック帯域から、高解像度のカラー画像が生成される。

輝度−色相飽和(ＩＨＳ)、主成分分析(ＰＣＡ)、ウェーブレットベースの合成、変分法等の、複数のパンシャープン化方法が知られている。これらの方法は異なっているように見えるが、これらの方法の基本ステップは類似している。

第１に、低解像度(ＬＲ)ＭＳ画像は、高解像度(ＨＲ)Ｐａｎ画像と同じサイズになるように補間される。

第２に、Ｐａｎ画像の高周波成分は、補間されたＭＳ画像と、方法に依存した形で合成される。例えば、ＩＨＳに基づく方法では、補間されたＭＳ画像の輝度(Ｉ)成分がＰａｎ画像と置き換えられるのに対し、ＰＣＡに基づく方法では、補間されたＭＳ画像の主成分がＰａｎ画像と置き換えられる。

第３に、合成データは画像領域に変換され、合成画像が得られる。

パンシャープン化されたＭＳ画像は通常、良好な空間解像度を有するが、多くの場合に色歪みを呈する。色精度を改善し、色歪みを低減するために、それぞれが特定の合成技法又は画像セットに特化した様々な方法が既知である。これらの方法のほとんどが、Ｐａｎ画像の高周波成分を、補間されたＭＳ画像にどのように挿入するかに焦点を当てているが、合成プロセスの初期化時にＭＳを補間することによって生じる歪みを考慮していない。

圧縮センシング、スパース表現、及び辞書学習(ＤＬ)が、この問題に対処する新たなツールを提供する。具体的には、辞書学習がパンシャープン化問題に適用されており、ここでＨＲ Ｐａｎ画像及びＬＲ ＭＳ画像は圧縮測定値として扱われる。学習済み辞書におけるスパース性を正則化プライア(regularization prior)として用いて、ＨＲ ＭＳ画像を、スパース復元問題を解くことによって復元することができる。

しかしながら、これらの方法は、辞書をトレーニングするのに多数のＨＲ ＭＳトレーニング画像を必要とし、これらの画像は通常、実際には利用可能でない。

パンシャープン化は、高解像度(ＨＲ)パンクロマチック(Ｐａｎ)画像を用いて、対応する低解像度(ＬＲ)マルチスペクトル(ＭＳ)画像を鮮明化する画像合成プロセスである。パンシャープン化されたＭＳ画像は通常、高い空間解像度を有するが、色歪みを呈する。

この発明の実施の形態は、ＭＳ画像の補間によって生じる色歪みを低減する、辞書学習を用いたパンシャープン化方法を提供する。合成前にＬＲ ＭＳ画像を補間する代わりに、反復プロセスを用いて、学習済み辞書のスパース表現に基づいて改善されたＭＳ画像を生成する。

従来技術と対照的に、この発明による辞書は、単一のＰａｎ画像及び単一のＭＳ画像から学習される。すなわち、この発明による方法は、より大きな組の画像を辞書の使用前にトレーニングすることを必要としない。そのかわり、この方法は、パンシャープン化されるＰａｎ画像及びＭＳ画像を直接対象にする。

この発明の実施の形態は、多数のトレーニング画像を必要とすることなく、ＭＳ画像を補間することによって生じる色歪みを低減する、辞書学習(ＤＬ)に基づくパンシャープン化方法を提供する。

従来のパンシャープン化方法と比較して、この発明によるＤＬに基づくパンシャープン化方法の新規性は、３つの態様に存する。

この方法は、ＬＲ ＭＳ画像を単に補間する代わりに、ＤＬを用いて、改善された解像度を有するＭＳ画像を生成することに焦点を当てている。このため、この方法は、ＭＳ画像を補間することによって初期化される任意の従来技術によるパンシャープン化方法と組み合わせることができる。

この方法は、辞書を学習するのに多数のＨＲ ＭＳ画像を必要とせず、鮮明化される必要がある画像のみを必要とする。

この方法は、画像のスパース性及び整合性に従ってＭＳ画像を更新し、より少ない歪みを有するＭＳ画像を得る反復手順を提供する。

加えて、この発明によるＤＬベースの方法を、最小限の変更で、ハイパースペクトルデータに適用することができる。

この発明による辞書学習に基づくパンシャープン化プロセスは、複数の利点を有する。辞書学習に基づくパンシャープン化方法を含む、従来技術のパンシャープン化方法と比較して、この発明による方法は、トレーニングのために大量の高解像度のＭＳ画像を必要とせず、ＭＳ補間プロセスを用いる他のパンシャープン化アルゴリズムと組み合わせることができる。この発明による辞書学習プロセスは、僅かな変更で、ハイパースペクトルデータを合成するように容易に拡張することができる。

この発明の実施の形態による、辞書を用いたパンクロマチック画像及びマルチスペクトル画像のパンシャープン化の流れ図である。 この発明の実施の形態による、欠落データを予測するための目的関数を最小にする手順の疑似コードのブロック図である。 従来のパンシャープン化と、この発明の実施の形態によるパンシャープン化とを比較する画像である。

辞書学習に基づくパンシャープン化
辞書学習は、信号をスパースに表すのに用いることができる、一組のベクトル(アトム)を学習するプロセスである。ｙ＝Ｄαによって表される信号ｙ∈Ｒ^ｎ×１を考える。ここで、Ｄ∈Ｒ^ｎ×ｋは、その列としてアトムを含む辞書であり、α∈Ｒ^ｋ×１は表現ベクトルである。辞書を用いて、対象の自然信号のクラスにおいて構造を捕捉する。具体的には、信号をスパースなαによって表すことができる場合、すなわち、Ｄからの幾つかのアトムの線形結合が、僅かな誤差で信号ｙを表すことができる場合、その信号は辞書Ｄにおいてスパースである。ベクトルαの係数のほとんどがゼロであり、非ゼロであるものが非常に少ない場合、ベクトルαはスパースである。

例えば、自然画像の特徴は、例えば、離散コサイン変換(ＤＣＴ)又はウェーブレット基底を用いて、綿密に設計された辞書においてスパースに表すことができる。通常、設計された辞書は、実施が効率的であり、設計が信号に依存しないという利点を有する。

代替的な選択は、トレーニングデータＹ＝｛ｙ_１，…，ｙ_Ｌ｝から辞書を学習することである。より具体的には、この発明では、入力から直接辞書を学習することを望み、すなわち、パンシャープン化される入力画像がこの発明によるトレーニングデータである。

図１に示すように、この方法への入力はＬＲ ＭＳ画像１０１及びＨＲ Ｐａｎ画像１０２である。これらの２つの画像は、この発明による辞書を学習するためのトレーニングデータである。

特徴１０３は、ベクトルの形態で入力画像から抽出される(１１０)。ベクトル１０３は、欠落値を有しないベクトル１０４と、欠落値を有するベクトル１０５とに分解される。

欠落値を有しないベクトル１０４を用いて、辞書学習１３０を用いて辞書１０６を構築する。

欠落値は、欠落値を有するベクトルについて、辞書を用いて予測され(埋められ)(１４０)、次にＭＳ画像にマッピングされる(１５０)。

辞書を用いて、合成されたＭＳ画像１０８が得られる。

従来のパンシャープン化を適用して、パンシャープン化されたＭＳ画像１０９を得ることができる。

上記のステップは、メモリ及び入力／出力インターフェースに接続された、当該技術分野において既知のプロセッサ１００において実行することができる。次に、ステップを更に詳細に説明する。

パンシャープン化において、この発明の目的は、ＨＲ Ｐａｎ画像１０２及びＬＲ ＭＳ画像１０１から、パンシャープン化されたＨＲ ＭＳ画像 １０９を再構成することである。この発明では、異なる物質が異なるパンクロマチック値及び色値を呈することを利用して、辞書学習を用いて色スペクトルの構造を探る。

この目的を達成するために、ＭＳ画像及びＰａｎ画像から抽出される色特徴及びＰａｎ特徴１０３を結合する信号ベクトルｘ ｘ＝［(ｘ^ＭＳ)^Ｔ(ｘ^Ｐａｎ)^Ｔ］^Ｔを考える。ＭＳ画像は低解像度を有するので、高解像度画像係数のうちの幾つかはパンクロマチック情報ｘ^Ｐａｎのみを含み、色情報ｘ^ＭＳを含まない。

このため、既存の信号ベクトルＸ＝｛ｘ｝から辞書１０６を学習し、対応するパンクロマチック情報ｘ^Ｐａｎ及び学習済み辞書を用いてｘ^ＭＳの欠落値を予測する。

パンシャープン化問題を検討すると、ここで、１つのＬＲ ＭＳ画像及び１つのＨＲ Ｐａｎ画像のみが入力として利用可能である。一般性を損なうことなく、ＬＲ ＭＳ画像はＭ個の帯域からなり、それぞれ(ピクセル)サイズＩ×Ｊであり、Ｐａｎ画像はサイズＮＩ×ＮＪであり、ＬＲ ＭＳ画像のＮ倍の解像度を有すると仮定する。例えば、ＱｕｉｃｋＢｉｒｄ及びＩＫＯＮＯＳの衛星撮像システムでは、Ｍ＝４及びＮ＝４である。

ＬＲ ＭＳ画像内の各ピクセルは、ＨＲ Ｐａｎ画像内のＰ×Ｐのパッチに対応する。全てのＩ×Ｊ個のＬＲ ＭＳピクセルについて、Ｉ×Ｊ個のサイズＰ×Ｐの対応するパッチが存在し、逆もまた同様である。Ｉ×Ｊ個のパッチは、互いに重複する場合もしない場合もあり、通常、Ｐａｎ画像全体を覆う。例えば、Ｐ＝Ｎの場合、パッチは重複せず、Ｐａｎ画像を厳密にタイル貼りする。

この発明では、これらのパッチを用いて辞書を学習する。その辞書を用いて、サイズＮＩ×ＮＪのＭＳ画像を形成するために、それぞれ１つのＭＳピクセルにマッピングする、サイズＰ×Ｐの重複したパッチの全てを考慮する。このマッピングプロセスによって、全てのＨＲ ＭＳピクセルに対してトレーニングされた辞書を用いることが可能になる。

トレーニングデータ
パンシャープン化プロセス１６０前に、Ｐａｎ画像及びＭＳ画像が互いに位置合わせされると仮定する。位置合わせは、ＬＲ ＭＳ画像内のピクセルロケーションと、対応するＨＲ Ｐａｎパッチ内の対応するピクセルとの間の対応も暗に意味する。例えば、ＬＲ ＭＳピクセルのピクセルロケーションは、中でも、ＨＲ Ｐａｎパッチの角部、ＨＲ Ｐａｎパッチの中心、又はパッチ中心付近のピクセルに対応する場合がある。例として、これから、パッチサイズＰ＝Ｎであり、全体画像をタイル貼りするパッチの右上の角部との対応を考える。

トレーニングデータは以下のように構築される。

は、平均値

を有するＭＳ画像内のピクセル(ｉ，ｊ)の色値のＭ次元ベクトル１０４を表し、

は、平均値

を有し、ピクセル(Ｎ(ｉ−１)＋１，Ｎ(ｊ−１)＋１)及び(Ｎｉ，Ｎｊ)において角部を有する、Ｐａｎ画像内の対応するＰ×Ｐのパッチの階調値のＰ^２次元ベクトル１０５を表すものとする。

通常、辞書学習手順は、各トレーニングデータベクトルの平均値を減算する。しかしながら、我々の経験では、色スペクトル及びＰａｎパッチの平均値が、パンシャープン化に重要であることが示されている。したがって、これらの平均値を、トレーニングデータベクトルの追加特徴として保持することができる。

換言すれば、ＭＳ画像内の各ピクセルについて、Ｍ＋１次元のＭＳ特徴ベクトル

を考え、(ここで、ｉ＝１，２，…，Ｉ及びＪ＝１，２，…，Ｊ)、対応するＰａｎパッチごとに、Ｎ^２＋１次元のＰａｎ特徴ベクトル

を考える。

トレーニングデータベクトルは、

によって特徴ベクトル１０３を結合し、それによってＬＲ ＭＳ画像内の空間情報を予測する(１４０)ことができる。ＭＳ画像内の全てのピクセルについて、(Ｍ＋Ｐ^２＋２)×(ＩＪ)個のトレーニングデータ行列Ｙ＝｛ｙ_ｉ，ｊ｝を形成する。トレーニングデータベクトルは、ＨＲ画像１０２及びＭＳ画像１０１の双方から抽出された、欠落値を有しない特徴ベクトル１０３から構築される。Ｐａｎ画像。Ｋ−ＳＶＤを用いて辞書をトレーニングする。

トレーニングデータベクトルから辞書を学習するために、以下の最小化問題を解く。

ここで、α＝［α_１，α_２，…，α_Ｌ］は、Ｌ個のトレーニングデータベクトルに対応する一組のスパースな係数ベクトルであり、Ｔ_０は所望のスパース性であり、||・||_Ｆはフロベニウスノルムを表す。トレーニングデータベクトルは、ＭＳ画像内のピクセルのうちの幾つか又は全て、及びＰａｎ画像内の対応するパッチから導出される。

試験データ
試験データは、Ｐａｎパッチが重複することを除いて、同様に構築される。

が試験データベクトルを表すとする。ここで、ｐ＝１，２，…，ＮＩ及びｑ＝１，２，…，ＮＪである。試験データ行列は、Ｘ＝［(Ｘ^ＭＳ)^Ｔ(Ｘ^Ｐａｎ)^Ｔ］^Ｔである。利用可能なＨＲ ＭＳ画像を有しないので、試験データ行列内のＭＳ関連エントリーのほとんどが欠落しており、辞書から予測されることになる。

反復更新
学習済み辞書を所与として、試験データ内の欠落データを予測する。１つのオプションは、辞書学習に基づく画像修復と同様に、欠落データを予測することである。修復は、データが欠落した孤立したパッチを再構成することができる。

不都合なことに、欠落データは試験データ行列においてランダムに分布しているのではなく、スペクトル特徴ベクトル１０５全体にわたって一様分布しているので、この手法は良好に機能しない。

直感的に、異なる色が同じ階調に対応する可能性があるので、色情報を一切知ることなく階調値に従ってピクセルの色を予測することは不可能である。

この問題を解くために、試験データに対する制約が必要である。補間されたＬＲ ＭＳ画像がＨＲ ＭＳ画像の推定値であることを考えると、補間されたＭＳ画像と、学習済み辞書からの予測との間の距離に対する制約を課すことができる。換言すれば、補間されたＬＲ ＭＳ画像を、雑音レベルに対する制約を有する、ＨＲ ＭＳ画像の雑音のあるものとして扱う。

目的関数は

であり、ここで、
Ｅ^ＭＳは、(Ｍ＋Ｐ^２＋２)×(Ｍ＋Ｐ^２＋２)の恒等行列の最初の(Ｍ＋１)個の行であり、
Ｅ^Ｐａｎは、(Ｍ＋Ｐ^２＋２)×(Ｍ＋Ｐ^２＋２)の最後の(Ｐ^２＋１)個の行であり、
(オーバーバー)Ｘ^ＭＳは線形補間されたＭＳ画像のＭＳ特徴を表す。
Ｘ、(オーバーバー)Ｘ^ＭＳ、及びＸ^Ｐａｎは全て同じ数の列を有し、Ｌ’は補間されたＭＳ画像のサイズであり、通常ＮＩ×ＮＪに等しい。

重みλは、補間されたＭＳ画像の寄与を制御する。λ＝∞であるとき、式(２)の解は、補間されたＭＳ画像であり、λ＝０であるとき、式(２)は画像修復に等しい。式(２)は、図２に示すような反復手順によって解かれる。(ハット)Ｘを得た後、(ハット)ＸをＭＳ画像(ハット)Ｚにマッピングすることができる。

換言すれば、再構成された画像は、学習済み辞書によって、僅かな誤差でスパースに表すことができ、また、再構成された画像は補間された画像に非常に近いはずである。

図２において、入力ステップ１は誤差許容値ε_０、反復数Ｋ、重みλ、及び許容レベルＴ_０を受信し、ステップ２において、補間された画像として出力推定値が初期化される。誤差が許容レベルよりも大きく、反復数がＫ未満である限り、反復が実行される。ステップ内の他の変数は上述されている。

図３に示すように、トレーニングデータはＨＲ ＭＳ画像情報を一切含まないので、ＤＬベースのＭＳ画像は依然としてぼやけている可能性がある。それにもかかわらず、ＤＬベースのＭＳ解像度は、従来の補間されたＭＳ画像３０１よりもはるかに良好である。結果として、更なるパンシャープン化１６０を用いて、より少ない色歪みを達成することができる。

Claims (15)

1. 単一のパンクロマチック(Ｐａｎ)画像と単一のマルチスペクトル(ＭＳ)画像とをパンシャープン化する方法であって、
   前記Ｐａｎ画像及び前記ＭＳ画像から、ベクトルの形態で特徴を抽出するステップと、
   前記特徴を、欠落値を有しない特徴と、欠落値を有する特徴とに分解するステップと、
   前記欠落値を有しない特徴から辞書を学習するステップと、
   前記辞書を用いて、前記欠落値を有する特徴の値を予測するステップと、
   前記ＭＳ画像を、前記予測された値を含む前記Ｐａｎ画像と合成して合成画像にするステップと、
   前記合成画像をパンシャープン化するステップと、
   を含み、
   前記辞書学習は、
   

   

   を解き、ここで、ＹはＬ個のトレーニングデータベクトルの行列であり、Ｄは前記辞書であり、α＝［α _１ ，α _２ ，…，α _Ｌ ］はＬ個のトレーニングデータベクトルに対応する一組のスパースな係数ベクトルであり、Ｔ _０ は所望のスパース性であり、||・|| _Ｆ はフロベニウスノルムを表し、
   前記各ステップはプロセッサにおいて実行される、単一のパンクロマチック画像と単一のマルチスペクトル画像とをパンシャープン化する方法。
2. 前記Ｐａｎ画像からの前記特徴は該Ｐａｎ画像のパッチである、請求項１に記載の方法。
3. 前記Ｐａｎ画像の前記パッチは該Ｐａｎ画像全体を覆う、請求項２に記載の方法。
4. 前記Ｐａｎ画像の前記パッチは該Ｐａｎ画像全体をタイル貼りする、請求項２に記載の方法。
5. 前記ＭＳ画像の前記特徴は該ＭＳ画像のピクセルの値である、請求項１に記載の方法。
6. 前記ＭＳ画像のピクセルは前記Ｐａｎ画像のパッチに対応する、請求項２または５に記載の方法。
7. 前記特徴は、前記Ｐａｎ画像内のパッチ及び前記ＭＳ画像の平均値も含む、請求項２または５に記載の方法。
8. 前記辞書は信号をスパースに表し、該信号は、前記ＭＳ画像及び前記Ｐａｎ画像からそれぞれ抽出された色特徴及びＰａｎ特徴を結合する、請求項１に記載の方法。
9. 前記Ｐａｎ画像及び前記ＭＳ画像を互いに位置合わせするステップを更に含む、請求項１に記載の方法。
10. 前記トレーニングデータベクトルは、前記Ｐａｎ画像の特徴ベクトルを、前記ＭＳ画像の特徴ベクトルと結合する、請求項１に記載の方法。
11. 前記学習は、Ｋ−特異値分解(ＳＶＤ)を用いる、請求項１に記載の方法。
12. 欠落データは、前記Ｐａｎ画像及び前記ＭＳ画像において一様分布する、請求項１に記載の方法。
13. 前記ＭＳ画像は、低解像度(ＬＲ)画像であり、補間されたＬＲ ＭＳ画像は、高解像度(ＨＲ)ＭＳ画像の推定値である、請求項１に記載の方法。
14. 補間されたＭＳ画像は、雑音レベルに対する制約を有する、前記ＨＲ ＭＳ画像の雑音のあるものとして用いられる、請求項７に記載の方法。
15. 単一のパンクロマチック(Ｐａｎ)画像と単一のマルチスペクトル(ＭＳ)画像とをパンシャープン化する方法であって、
    前記Ｐａｎ画像及び前記ＭＳ画像から、ベクトルの形態で特徴を抽出するステップと、
    前記特徴を、欠落値を有しない特徴と、欠落値を有する特徴とに分解するステップと、
    前記欠落値を有しない特徴から辞書を学習するステップと、
    前記辞書を用いて、前記欠落値を有する特徴の値を予測するステップと、
    前記ＭＳ画像を、前記予測された値を含む前記Ｐａｎ画像と合成して合成画像にするステップと、
    前記合成画像をパンシャープン化するステップと、
    を含み、
    目的関数
    

    

    を最小にするステップを更に含み、ここで、Ｘは前記Ｐａｎ画像及び前記ＭＳ画像を表す一組のＬ’個のベクトルであり、(チルダ)Ｄは前記辞書であり、α＝［α_１，α_２，…，α_Ｌ］は、該辞書(チルダ)Ｄ内のＸを表す一組のスパースな係数ベクトルであり、Ｔ_０は所望のスパース性であり、||・||_Ｆはフロベニウスノルムを表し、λは重み付けベクトルであり、Ｅ^ＭＳは恒等行列の最初の数行であり、Ｅ^ＰＡＮは恒等行列の最後の数行である、
    前記各ステップはプロセッサにおいて実行される、単一のパンクロマチック画像と単一のマルチスペクトル画像とをパンシャープン化する方法。

Images