JP5984138B2 - 類縁性ネット上のスパース再構成による画像フィルタリング - Google Patents

Description

この発明は包括的には画像に関し、より詳細には、合成開口レーダー(ＳＡＲ)画像のスペックル除去に関する。

電磁波をパルスとして送信することによって合成開口レーダー(ＳＡＲ)画像が生成される。これらのパルスは目標物によって反射される。受信されたパルスがコヒーレントに積分される。

データ収集の性質上、ＳＡＲ画像は元来、スペックル雑音及びアーティファクトによって影響を及ぼされる。スペックル雑音は、分散した複数の目標物からの後方散乱信号をコヒーレントに処理することによって引き起こされる。スペックル雑音は多くの場合に、以下のような乗法性雑音としてモデル化される。

ただし、ｙ_ｉ、ｘ_ｉ及びｚ_ｉは第ｉのピクセルのそれぞれ雑音を含む輝度、元の輝度及び雑音輝度に対応する。

幾つかの方法では、対数(ｌｏｇ)変換を用いて乗法性雑音を加法性の表現に変換し、その後、加法性雑音フィルタリングを適用する。それらの方法は、ウェーブレット縮退、大域／局所平均、又は辞書学習のいずれかに基づく。

ウェーブレット縮退は、ｌｏｇ輝度画像に関して或る決まった完全な(デシメーテッド及びアンデシメーテッド)ウェーブレット基底を使用し、高周波雑音を除去するために、ウェーブレット変換係数が適応的にしきい値処理される。

或る決まった完全な基底を用いる代わりに、別の方法は、データから全体的な過完全辞書(over-complete dictionary)を抽出し、スパース表現を用いて非コヒーレント雑音を抑圧する。その方法は、ウェーブレット縮退技法と比べて、ガウス分布雑音に対して良好な結果をもたらすことができる場合であっても、入力及び再構成配合パラメーターが正確にプリセットされないときに特に、単一の過完全辞書を用いることによって、過剰な平滑化が生じる。

確率的パッチベース(ＰＰＢ)フィルターは非局所的平均手法を使用し、雑音除去の問題を重み付け最尤推定問題として提起する。

非局所的平均法は、画像内の全ての類似のパッチの重み付け平均を求めることによってピクセル推定値を得る。それらの重みは、探索窓内の基準ピクセルを包囲するパッチと候補ピクセルを包囲するパッチとの類似性に正比例する。それらの重みは、画像パラメーターの推定値からのパッチを含めることによって、繰返し精緻化される。ＰＰＢは、非ガウス分布雑音に対処することができるが、ＰＰＢは、画像内の薄い細部及び濃い細部も除去する。

この発明の実施の形態は、合成開口レーダー(ＳＡＲ)画像のスペックルを除去するための方法を提供する。その方法は、辞書学習及び協調フィルタリングによるスパースコーディングに基づく。

最初に、ネット内の節点として表される類似の画像パッチをクラスタリングすることによって類縁性ネット(affinity net)が形成される。クラスターごとに、類縁性ネットに適用される択一決定プロセスを用いて、クラスター節点から不完全辞書(under-complete dictionary)が学習される。

同じクラスター内の節点は、対応する辞書原子(dictionary atom)のスパース結合によって符号化される。再構成されたパッチを協調的に統合して、雑音を除去した画像を構成する。実験結果は、乗法性雑音によって引き起こされるスペックルの除去について、従来技術と比べて優れた性能を実証する。

画像内の乗法性及び加法性雑音を低減するための方法は、類縁性ネット上での辞書学習に基づく。この発明のフィルターは、各クラスター内のスパース表現を利用し、各クラスターのスパース近似によってスペックルを除去する。

全ての画像パッチを表現するために単一の辞書を使用する従来技術とは対照的に、この発明の方法は、クラスターごとに１つの小さな不完全辞書を有する。これは、著しい性能改善を提供する。

この発明の実施の形態による、合成開口レーダー画像のスペックルを除去するための方法の流れ図である。 この発明の実施の形態による、類縁性ネットを構成するために用いられるクラスタリングされた画像パッチの概略図である。 この発明の実施の形態による、類縁性ネットをクラスター行列に配列する概略図である。

図１に示されるように、この発明の実施の形態は合成開口レーダー(ＳＡＲ)画像１０１のスペックルを除去する、すなわち、画像内の乗法性及び加法性雑音を低減するための方法を提供する。その方法は、類縁性ネット上で局所化された辞書学習を用いることによって乗法性雑音を低減し、雑音を除去した画像１０２内の過剰平滑化及び重要な細部の除去を防ぐ。

この発明は、雑音のある入力画像１０１から、類縁性ネット１１０と呼ばれる、外観類似性グラフを求めることによって開始する。類縁性ネットでは、各節点が１つの画像パッチに対応し、各頂点が２つの節点間の類縁性(類似性)に対応する。

中央節点ごとに、その中央節点に類似している節点のクラスターを求め、そこからこの発明はクラスター行列１２０を形成する。クラスターごとに、択一決定法を用いて、不完全辞書が学習される。クラスター内のコヒーレント変動を最も良く表す辞書を学習するために、クラスター行列は、辞書及びスパースコーディング係数１３０の一次関数に分解される。

同じクラスター内の節点は、対応する辞書原子のスパース結合によって符号化される。それらの辞書を用いて、再構成されたパッチを強調的に統合し(１４０)、雑音を除去した画像１０２を構成する。

辞書は初期化される。再構成への入力はクラスター１２０である。所与のクラスター列に対して投影誤差が求められ、そこから係数間収束が求められる。

最小投影誤差及び発散誤差を与える集合としてスパース係数が選択され、その集合は辞書を更新するために用いられる。

終了判定基準のために、残差が求められ、それは辞書のための係数をもたらす。

無数のピクセルを操作することは極めて難しいことは理解されたい。それゆえ、上記のステップは、当該技術分野において既知であるような、メモリ及び入出力インターフェースに接続されるプロセッサ１００において実行される。ここで、上記のステップが更に詳細に説明される。

この発明は、辞書のサイズを不完全に、すなわち、クラスター行列の階数よりもはるかに小さく設定し、クラスタリングされた節点のための一貫した変動の量を制限し、かつより強い協調的制約を課す。結果として、各クラスターは、その自らの特有の小さな辞書によって表され、フィルタリングされる。

現在のクラスターのための辞書を学習した後に、この発明は、直交マッチング追跡(ＯＭＰ)手順によって節点を再構成する。ＯＭＰとＭＰとの主な違いは、スパースコーディング表現を得るために、係数が辞書上への信号の正投影であることである。

単一の節点が異なるクラスターに関与することができるので、クラスター間に重なりが存在することができ、それゆえ、１つの画像ピクセルのための複数の推定値が得られる。最終的な推定値は、複数の推定値を統合することによって得られる。

不完全辞書を画像内に存在するクラスターを通る非局所変動に適応させることによって、この発明は、雑音関数の形状及び分散に関して何も仮定することなく、雑音を除去できるようになる。

類縁性ネット上のスパース再構成
この発明は、入力画像の輝度領域における乗法性フィルタリングの代わりに、ｌｏｇ輝度領域おいて加法性フィルタリングを課すために、ｌｏｇ変換を適用する。図２は、花の画像２０１に関する簡単な類縁性ネットを得るためのフィルタリング手順を示す。幾つかの節点は特異な場合があり、頂点を持たないことに留意されたい。類縁性ネットは、節点の数と同じ数のクラスターを含む。

類縁性ネット
類縁性ネットは、全ての画像パッチの無向グラフに基づく表現であり、各節点は画像パッチ２０２に対応し、各頂点の重みは、その頂点が属する２つのパッチの類似性に対応する。言い換えると、類縁性ネットは重み付けされたグラフであり、重みωはパッチ間の類似性に対応する。

画像パッチｐ_ｉ及びｐ_ｊからの２つのベクトル間の類縁性は、以下のように２つのパッチベクトルのドット積によって求められる。

ただし、ｋはインデックスであり、Ｋはパッチサイズ、例えば、パッチ内に含まれるピクセルの数である。ドット積を計算する前に、パッチベクトルが原点を中心にして均等に分布するように、パッチ係数を正規化することができ、正規化後に、全ての所与のパッチに対して計算された平均パッチが原点に写像する。

画像パッチ間の類縁性を測定するために用いることができる数多くの行列が存在するが、いかなる周波数又は輝度値も偏らせないので、式(２)のドット積が好ましい。特徴空間において、類縁性ネットを構成する結果として、類似の特徴座標を有する節点がグループ化される。類縁性ネットは完全に接続される。

より類似性の高いパッチに集中し、計算負荷を大幅に下げるために、この発明は、十分に高い重みを有する、すなわち、ｗ＞τである頂点のみを得る。しきい値τは、ほとんどのクラスターの場合に３つ以上のパッチが１つのクラスターを形成するように選択される。その性能はτに影響されにくく、十分な数のパッチを与える限り、τを広範な値に緩和することができる。しきい値よりも高いいかなる類縁性値も持たない特異な節点が存在する場合、類縁性ネットは完全には接続されない場合がある。

画像内のＮ個のパッチ(全てのピクセルが割り当てられたパッチによって表される場合のピクセルの数)の場合に、クラスターｃ_ｉは以下のように表される。

２つの節点間の類縁性が高い場合には、図２に示されるように、他の節点のクラスターに１つの節点が取り付けられる。

画像の自己類似性に応じて、クラスターは異なるサイズにすることができる。濃い円２１１は基準節点を表し、薄い円２１２はその対応するクラスター内にある。基準節点は、いかなる類似の節点も含まない場合があり、それゆえ、クラスターサイズは１である。また、１つ又は複数のクラスター内に単一の節点が存在することができ、それらが存在する各クラスターにおいて協調フィルタリングに関与することができる。この場合、この発明は、１つの節点の複数の推定値を得るであろう。

クラスター行列構成
図３に示されるように、類縁性ネット内のクラスターｃ_ｉ３１０からのデータはクラスター行列Ｃ_ｉ３２０に配列される。ω(ｐ_ｉ，ｐ_ｊ)＞τである各節点又はパッチｐ_ｊ３３０は、行列Ｃ_ｉ内の１つの列に対応する。基準パッチも含まれる。類似のパッチｐ_ｊを１つの行列として配列しながら、それらのパッチは、基準パッチｐ_ｉとの類似性に従って順序付けられる。クラスター行列の各列は、クラスター内の異なるパッチである。クラスター行列の各行は、異なるパッチ内の同じピクセルの値に対応する。

クラスター内の全てのパッチが基準パッチに類似であるので、クラスター行列の行に沿った変動は小さい。この行列内の行の数はパッチの次元数であり、一方、列の数は類似の節点の数に対応することにも留意されたい。クラスター行列のこの特殊な類似性を課せられた構造に起因して、ほとんど原子を持たない不完全な局所的(クラスターごとの)辞書Ｄ_ｉ３４０を用いて、クラスター行列を小さな再構成誤差で効率的に構成することができる。

この発明者の主な直観は、列(パッチ)に沿った変動は、辞書内の幾つかの基底原子の一次結合として表すことができることである。したがって、この発明の局所的な辞書は極めて不完全であり、辞書の列の数は、その行の数(パッチサイズ)よりもはるかに小さい。一実施の形態では、辞書は２つのみの原子を有し、その問題を２値クラスタリングに変換する。同様に、別の実施の形態では、１つの原子辞書のみが存在し、クラスター行列を一次元線形部分空間上に(例えば、１つの線上に)写像することに対応する。

別の実施の形態では、クラスター行列はクラスターのパッチをクラスター行列の行として配列することによって構成される。この場合、クラスター行列の各行はクラスター内の異なるパッチである。クラスター行列の各列は、異なるパッチ内の同じピクセルの値に対応する。この配列によって、この発明は、列(パッチ)に沿った変動の代わりに、行(ピクセル)に沿った変動を辞書原子の一次結合として表すことができるようになる。

この発明は、この最適化問題の最小値を求めることによって、最もスパースな信号Ｘ^＊３５０及び辞書Ｄを一緒に得る。

ただし、この発明はｌ_０ノルムを課して、最もスパースな表現を得る。代替的には、この発明は、ｌ_１ノルムを用いて、凸最小化問題を解きながらスパース性を課す。ここで、Ｘは、辞書Ｄを用いて得られたスパース再構成係数に対応し、εは誤差しきい値に対応し、一実施の形態では、この発明はそのしきい値を画像内の雑音分散に設定する。辞書及びスパース表現を一緒に学習するために、この発明は、２つのステージ：スパースコーディングステージ及び辞書更新ステージを繰り返して、特異値分解手順を用いて最適化問題を解く。この発明は、クラスターごとに別々の辞書を学習することに留意されたい。

この発明は、小さなｋ＜ｎを用いるｋ平均クラスタリングを適用して、この発明の初期不完全辞書を得る。ただし、ｎは最もスパースな信号に対応する行列内の行の数であり、それは画像内のパッチの数にも対応する。２ステッププロセスによって、以下の目的関数を解く。

ただし、λは、雑音のある所与のデータに対する再構成の忠実度を調節するためのスカラーであり、μは再構成において課せられる最もスパースなものの量を調整するためのスカラーであり、Ｃは雑音のある所与のパッチのクラスター行列を表し、Ｘは再構成結果であり(雑音がないと弱く仮定される)、Ｒ_ｉは各パッチに付加的な再構成誤差最小化を課すパッチインデックス演算子である。

スパースコーディングステージを適用する種々の方法があり、例えば、マッチング追跡プロセスを用いて、表現ベクトルを繰返し計算する。最初に現在の原子を用いる雑音のあるパッチのグループを定義し、その後、現在の原子を用いることなく、このグループのための全体的な表現誤差行列を計算し、その後、特異値分解を適用して、左分解行列の第１の列を更新された新たな原子として割り当てることによって、辞書の各列(原子)にコードブック更新ステージを適用することができる。

辞書学習及びスパース係数計算ステージ後に、再構成されたパッチは、それらのパッチが抽出された同じピクセル位置に割り当てられる。パッチは大部分が重なり合っているので、所与のピクセルに対して複数の推定値が存在する。全てのピクセル推定値の平均を計算することによって、最終的な推定値が得られる。このプロセスは、雑音のある全てのパッチを平均することによって、それらのパッチのスパース表現を得る。この手順は、一般的に共有されるパターンを表し、ランダム雑音を排除する。

その辞書学習及びコーディングプロセスは、その自らのクラスター上の類縁性ネット内に存在する全ての節点に対して繰り返される。雑音を除去した最終的な画像推定値は以下のように得られる。

ただし、ｉは全てのパッチを含む空間にわたるインデックスであり、ｃ_ｉは類似の節点のクラスターである。その分母はピクセルごとに得られた推定値の数に対応する。したがって、ピクセルあたり２つ以上の推定値がある場合、この発明は全ての推定値を平均する。

雑音のある画像は最初のステップにおいて対数変換されるので、この発明は雑音の非ゼロ平均を減算し、最終的な推定値のべき指数をとり、雑音を除去した画像を生成する。

再構成されたパッチの正則化
式(５)において与えられる目的関数は、クラスター行列の列が類似の再構成係数を有するように明示的に強制するのではないが、辞書内の原子のうちの１つが全て１のベクトルに対応する場合に、再構成における原子の係数が定数項を追加することができるように、それらの「勾配」が分解され、不完全辞書内の学習された辞書原子によって表現されることを必要とする。

同じクラスター内の再構成されたパッチが類似の輝度値を有するように強制するために、この発明は、目的関数内に新規の係数間発散項を追加して、係数発散に対してペナルティーを科す。

ただし、最後の項は、別の実施の形態では以下のように定義することもできる。

この発明を好ましい実施の形態の例として説明してきたが、この発明の趣旨及び範囲内において様々な他の適応及び変更を行えることが理解されよう。したがって、添付の特許請求の範囲の目的は、この発明の真の趣旨及び範囲内に入る全ての変形及び変更を包含することである。

Claims (3)

1. ピクセルを含む画像内の乗法性及び加法性雑音を低減するための方法であって、
   学習したクラスターごとの不完全な辞書とスパースコーディング係数とを用いて画像パッチを再構成するプロセスを、前記クラスター上の各画像パッチに対応する節点及び前記節点間の外観の類似性に対応する頂点からなる類縁性ネット内に存在する全ての節点に対し繰り返し実行するステップと、
   再構成した全ての前記画像パッチを該画像パッチが抽出されたのと同じピクセル位置に割り当て、画像パッチが重なり合っているために得られた各ピクセルごとの複数の推定値を平均して、雑音を除去した画像を構成するステップと、
   を含み、
   前記各ステップはプロセッサにおいて実行される、ピクセルを含む画像内の乗法性及び加法性雑音を低減するための方法。
2. 前記画像は合成開口レーダー(ＳＡＲ)のものであり、雑音パターンの或るパターンはスペックル雑音及びアーティファクトである、請求項１に記載の方法。
3. 単一の節点が異なるクラスターに関与することができる、請求項１に記載の方法。

Images