JP7279817B2

JP7279817B2 - 画像処理装置、画像処理方法及び画像処理プログラム

Info

Publication number: JP7279817B2
Application number: JP2021558770A
Authority: JP
Inventors: シュレアシャルマ; 真人戸田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2019-04-17
Filing date: 2019-04-17
Publication date: 2023-05-23
Anticipated expiration: 2039-04-17
Also published as: JP2022528491A; US20220254149A1; WO2020213106A1

Description

本開示は、画像処理装置、画像処理方法及び画像処理プログラムに関する。

変化検出は、経時的に生じた変化を推論するため、同一の領域の多重時間画像を利用する画像処理分野において、幅広く研究されるトピックである。森や海など巨大で離れた領域の変化を検出するため、衛星画像は有用なリソースである。衛星画像のうち、合成開口レーダ(SAR: Synthetic Aperture Radar)画像は、日夜、また悪天候状況でも取得することができるので、ＳＡＲ画像は変化検出に有用である。洪水マッピングや災害監視など事象後の画像は通常、雲によって頽廃している変化検出の用途には、このような特性は重要である。

ほとんどの伝統的な変化検出方法は、２つの主なステップを含む。まず、変化量を定量化するため同じ領域の多重時間画像間で差分画像が生成される。第２に、閾値化方法又は決定関数を適用して差分画像の画素を、変化あり及び変化なし画素として、又は異なる種類の変化として分類する。閾値化ベースの変化検出方法を特許文献（ＰＬ１）に開示する。しかし、閾値化ベースの方法は、かなりの欠点がある。まず、本方法は、変化あり画素と変化なし画素の分布が重複しないことを前提とする。第２に、本方法は、変化あり及び変化なしの画素分布の統計的モデリングが必要となり、それは、ＳＡＲの専門家ではない人にとって複雑なタスクとなる。第３に、閾値は一般的にシーンに特有であり、多種多様のシーンに適用することはできない。

上記問題を解決するため、各画素に変化ありクラスか又は変化なしクラスのいずれかに属する確率を割り当てる分類問題として変化検出を構築する機械学習方法が利用されている。この方法は、ＳＡＲのドメインナレッジを必要とせずに各クラスの分布を画像データ自体から自動的に学習させることを可能にする。また、本方法は、シーン特有の閾値によって限定されず、ドメイン適応と転移学習により様々なシーンに適応することができる。

機械学習ベースの変化検出方法が図７のブロック図により示すように、ＮＰＬ１に開示されている。この方法は、３つの主なステップを含む。すなわち、差分画像生成と、変化特徴抽出と分類とである。まず、対数比法を用いて入力ＳＡＲ画像から差分画像が生成される。対数比法は乗法的ＳＡＲモデルを加算的モデルに転換することによってスペクトルノイズの影響を減らすことができるので、対数比法は広く使用される。第２に、差分画像から、変化ありクラス及び変化なしクラスを表す特徴が抽出される。第３に、分類器は、抽出された特徴により訓練され、各画素に各クラスに属する確率を割り当てる。

関連技術は、変化が数個の画素を含む大きな変化に対しては十分に機能するが、関連技術は、ある画素内に生じる変化を無視する。例えば、建物の解体又は建設などの大きな変化は関連技術によって検出することができる。

特許文献１：米国特許出願公開第2017/061217号明細書

非特許文献１： Maoguo Gong, Hailun Yang, Puzhao Zhang, 2017. Feature learning and change feature classification based on deep learning for ternary change detection in SAR images.
非特許文献２： Bruno Aiazzi, Luciano Alparone, Stefano Baronti, Andrea Garzelli, 2003. Coherence estimation from multilook incoherent SAR Imagery.

関連技術は輝度情報だけを考慮し、ＳＡＲ画像の特徴的特性であるスペックル情報を無視する。スペックルは、画素より小さい物体又は領域からの反射についての情報をキャプチャする。結果として、対象物体又は領域についての不完全な変化情報が取得されるため、関連技術は、天候、汚染、その他の要因により頻繁に生じる建物表面の表面粗さの変化など、小さい変化をキャプチャすることができない。これにより、変化検出精度が低くなる。

スペックルは画素内の物体からの反射信号の強め合う（constructive）又は弱め合う（destructive）干渉によって生じる。物体の表面特性又は材料が変化するか、又は画素内の物体の配置が変化するとき、干渉は変化する。この事実を説明する例を図８に示す。図は、経時的な画像の画素内の変化を示す。図８の（ａ）に示すように、変化は、経時的に変化する物体の表面特性又は材料に起因する。図８の（ｂ）に示すように、変化は、経時的に変化する画素内部の物体の配置に起因する。これらの例のいずれにおいても、画素の合計輝度は、同一のままであるが、反射信号の干渉は変化する。干渉の変化は、経時的なスペックルの変化を生じさせる。したがって、スペックルは、輝度ではキャプチャできない、小さい変化、すなわち、サブ画素レベルの変化をキャプチャし、小さい変化に対する変化検出システムの感度を増大させる。

一般的な画像処理及びコンピュータヴィジョン分野から派生した関連技術は、スペックルをノイズとみなす。なぜなら、その塩やコショウの外観は光学画像内のランダム信号ノイズと同じように見えるからである。このようなノイズは、ノイズに対してロバストな物体の特徴を得ることを目的とする関連技術における特徴抽出プロセスにおいて除去される。したがって、図７に示す関連技術では、輝度変化特徴抽出器０２は、スペックルを除去する特徴を抽出し、物体の輝度変化情報だけをキャプチャする。関連技術は物体についての価値ある変化情報を含むスペックル、特に、画素より小さい変化を無視する。

本開示は、上述した問題を解決するためになされたものであり、その目的は、小さい変化と大きい変化をともにキャプチャする機械学習ベースの方法においてスペックル情報と輝度情報をともに使用することができる変化検出方法を提供することである。本開示はバイナリ変化検出に限定されず、変化画素がいくつかの種類に分類される複数の変化検出に適用することができる。

本開示の態様は、機械学習ベースの方法を用いた変化検出用の画像処理装置であって、
差分画像から輝度変化特徴を抽出する輝度変化特徴抽出器手段と、
前記入力ＳＡＲ画像からスペックル変化特徴を抽出するスペックル変化特徴抽出器手段と、
前記輝度変化特徴と前記スペックル変化特徴を結合して、結合特徴を生成する結合変化特徴抽出器手段と、
前記結合特徴を変化クラスにマッピングし、変化マップを出力する分類器手段と、を備える、画像処理装置である。

本開示の態様は、機械学習を用いた変化検出用の画像処理方法であって、
入力ＳＡＲ画像から差分画像を生成することと、
前記差分画像から輝度変化特徴を抽出することと、
入力ＳＡＲ画像からスペックル変化特徴を抽出することと、
前記輝度変化特徴と前記スペックル変化特徴を結合し、結合特徴を生成することと、
前記結合特徴を変化クラスにマッピングし、変化マップを出力することと、を含む画像処理方法である。

本開示の態様は、機械学習を用いた変化検出用の画像処理方法をコンピュータに実行させるプログラムを格納した非一時的なコンピュータ可読媒体であって、前記方法は、
入力ＳＡＲ画像から差分画像を生成することと、
前記差分画像から輝度変化特徴を抽出することと、
前記入力ＳＡＲ画像からスペックル変化特徴を抽出することと、
前記輝度変化特徴と前記スペックル変化特徴を結合し、結合特徴を生成することと、
前記結合特徴を変化クラスにマッピングし、変化マップを出力することと、を含む、非一時的なコンピュータ可読媒体である。

本開示によれば、２以上のＳＡＲ画像における変化を高精度で適切に分類可能な画像処理装置、画像処理方法、及び画像処理プログラムを提供することができる。

図１は本開示にかかる実施形態１のブロック図である。図２は本開示にかかる実施形態１のフローチャートである。図３は本開示にかかる実施形態２のブロック図である。図４は本開示にかかる訓練モードの実施形態２のフローチャートである。図５は実際の運用モードの本開示にかかる実施形態２のフローチャートである。図６は変化検出の問題案出を示す図である。図７はＮＰＬ１に記載の機械学習ベースの変化検出方法のブロック図である。図８は画素内変化の例示の図である。

以下、本開示の例示の実施形態を、図面を参照して説明する。同一の構成要素は、図面を通して同一の符号を付し、説明を明瞭にするため、重複する説明は適宜省略する。

実施形態を説明する前に、図６を参照して変化検出問題を説明する。図６に示す同じ領域の２つの多重時間ＳＡＲ画像Ｉ_１およびＩ_２が付与された場合、変化検出の目的は、２つの画像の取得日の間に発生した変化を表す変化マップを生成することである。ＳＡＲ画像は、観察された輝度信号は、実際の輝度信号とスペックルとして知られる乗法ノイズ（ｕ）の乗算である乗法モデルに従う。したがって、２つの画像がＥＱ．１に与えられるようにモデル化させる。

なお、本開示はバイナリ変化検出に限定されず、当業者が理解するように複数の変化検出に拡張することもできる。
[実施形態１]

図１のブロック図を参照して、本開示の実施形態１にかかる画像処理装置の構成例を説明する。実施形態１にかかる画像処理装置は、差分画像生成器１１、輝度変化特徴抽出器１２、スペックル変化特徴抽出器１３、結合特徴抽出器１４及び分類器１５を含むことができる。

差分画像生成器１１は入力ＳＡＲ画像から差分画像を生成する。輝度変化特徴抽出器１２は、物体の輝度変化情報をキャプチャする特徴を抽出する。分類器１５は、各画素に各クラスに属する確率を割り当てる。

図７の関連技術と比べると、実施形態１にかかる画像処理装置はスペックル変化特徴抽出器１３と結合特徴抽出器１４を更に備え、それによって、関連技術に比べ、対象領域又は物体に対するより完全な変化情報を提供することができる。スペックル変化特徴抽出器１３は、入力ＳＡＲ画像のスペックル変化特徴を算出する。結合特徴抽出器１４は輝度変化特徴とスペックル変化特徴を結合する。次に、これらの部の機能を他の部とともに、詳細に説明する。

差分画像生成器１１は一対のＳＡＲ画像の入力を受信し、演算子（operator）を適用して差分画像を算出する。いくつかの演算子を使用して、差分画像を生成することができ、演算子のいくつかを以下に説明する。ＥＱ．２に示す減算演算子は２つの画像の対応する画素間における画素ごとの減算を算出する。ＥＱ．３に示す比率演算子は２つの画像の対応する画素間における画素ごとの比率を算出する。ＥＱ．４に示す対数比演算子は２つの画像の対応する画素間における、自然対数がつづく画素ごとの比率を算出する。本開示は演算子のいずれか１つに限定されず、すべての演算子を同様に受け入れられる。

輝度変化特徴抽出器１２は差分画像（ＤＩ）の入力を受信し、差分画像の輝度ベースの変化特性を表す変化特徴ｆ_ｉを出力する。輝度変化特徴を算出する方法の１つは、画像全体にスライディングウィンドウを実行し、スライディングウィンドウ内の中央画素に対する近傍画素輝度値を抽出し、輝度変化特徴として近傍画素輝度値を使用する。このプロセスは、画像内の全画素の特徴が得られるまで、繰り返される。スライディングウィンドウのサイズは、固定されてもよいし、アプリケーションに応じて変更されてもよい。輝度変化特徴を抽出する別の方法は、近傍画素の平均又は標準偏差等の統計的特徴を計算し、輝度変化特徴として使用することである。更に別の方法は、差分画像を重複しないサブ画像に分割し、各サブ画像に対して主成分分析又は深層学習など特徴抽出技法を適用し、特徴を抽出することである。その後、すべてのサブ画像の特徴を結合し、画像全体に対する特徴を作成する。

スペックル変化特徴抽出器１３は、一対のＳＡＲ画像の入力を受信し、２つの画像のスペックルベースの変化特性を表す変化特徴ｆ_ｓを出力する。スペックル変化特徴を抽出する様々な方法を次に説明する。ＳＡＲ画像からスペックル変化特徴を抽出する関連技術は、ＮＰＬ２に示す。関連技術の簡略化した方法を次に説明する。まず、入力ＳＡＲ画像を、ＥＱ．５及びＥＱ．６を用いて、それぞれ幾何平均画像Ｉ_Ｇ及び比率画像Ｉ_Ｒに変換する。これらの変換は、ＳＡＲの乗法雑音モデルを保存するので、加法雑音モデルの場合と異なり、スペックル情報が損失する場合はない。

ＥＱ．７を用いて計算した分散は、スペックル分散の測定値である。高い分散値は、高スペックル、すなわち、反射信号の強め合う（constructive）干渉を示し、低い分散値は、低スペックル、すなわち、反射信号の弱め合う（destructive）干渉を示す。高い分散領域の例は、樹木の葉や幹による反射信号の干渉が多い森林であり、低分散領域の例は、水域の平面のため干渉がほとんどない水域である。異なる時間に撮られた同じ領域の２つの画像のスペックル分散を比較することで、経時的なスペックル変化の推定を取得することができる。スペックル類似測定値は、ＥＱ．９によって与えられるＩ_Ｇ及びＩ_Ｒの各サブ画像のスペックル分散を比較するように定義される。

スペックル類似度を算出する上記方法は、単なる例示に過ぎず、いくつかの他の代替方法を以下に説明する。まず、画像を重複しないサブ画像に分割する代わりに、サブ画像の重複は、スライディングウィンドウ法を用いて抽出することができる。これにより、２つのサブ画像の境界における画素のスペックル分散精度が向上する。第２に、スペックル分散σ_xy ²からスペックル類似度f_sを算出するには、Kullback-Leibler発散、ユーグリッド距離及び相関係数など、いくつかの代替測定値を取得してもよい。

結合特徴抽出器１４は輝度変化特徴抽出器１２から輝度変化特徴ｆ_ｉの入力を、スペックル変化特徴抽出器１３からスペックル変化特徴f_sの入力を受信し、その後、結合した変化特徴f_cを出力する。これは、小さい変化及び大きな変化のいずれの変化特性もキャプチャする。いくつかの方法は、結合した特徴表現を生成するのに使用され得、その一部を以下に説明する。

第２の可能な方法は、輝度変化特徴とスペックル変化特徴の連接（concatenation）を実行することであり、スペックル変化特徴は行方向に又は列方向に輝度変化特徴が付加され、それにより、変化特徴の全体量を増加させる。例えば、各画素に対してｍ個の輝度変化特徴と１個のスペックル変化特徴が存在する場合、連接後の合計結合特徴はｍ＋１である。

第３の可能な方法は、全画素に対する輝度変化特徴とスペックル変化特徴のドット積をとることである。ドット積は、スペックル変化特徴を輝度変化特徴空間に投影し、結合された特徴の分散を低減する。一例として、画像全体に対する輝度変化特徴がサイズｍ×ｎのマトリックスＦ_ｉとして表わされる場合、ｍは輝度変化特徴の数であり、ｎはサブ画像の数であり、スペックル変化特徴は、サイズｎ×１のベクトルＦ_ｓとして表され、結合された変化特徴は、ＥＱ．１１により与えられるサイズｍ×１のベクトルＦ_Ｃによって表される。

本開示にかかる実施形態１は、スペックル変化特徴抽出器と結合特徴抽出器を備えることにより変化検出に対するスペックル特徴と輝度特徴の両方を考慮する。スペックル変化特徴を考慮することで、本開示の実施形態１は、輝度変化特徴しか考慮しない関連技術では抽出することが困難であるサブ画素レベル変化を検出することができる。結果として、優れた変化検出システムを取得することができる。

次に、図２を参照して本開示の実施形態１にかかる例示的なフローチャートを説明する。まず、差分画像生成器１１は画像の入力対を読み込み、差分画像を生成する（Ｓ１０１）。次に、輝度変化特徴抽出器１２は差分画像の入力を受信し、差分画像の各画素に対する輝度変化特徴を抽出する（Ｓ１０２）。並行して、スペックル特徴抽出器１３は画像の対の入力を受信し、スペックル変化特徴を抽出する（Ｓ１０３）。次に、輝度変化特徴とスペックル変化特徴が結合特徴抽出器１４に入力され、結合特徴抽出器は、各画素に対する結合された変化特徴表現を生成する（Ｓ１０４）。次に、分類器１５は結合された特徴の入力を受信し、画素を２つのクラス又は複数の変化クラスに分類する（Ｓ１０５）。最後に、分類器１５は各画素がクラスに割り当てられる変化マップを出力する（Ｓ１０６）。
[実施形態２]

次に、図３に示すブロック図を参照して本開示の実施形態２にかかる画像処理装置の構成例を説明する。実施形態２にかかる画像処理装置は、差分画像生成器部１１、輝度変化特徴抽出器部１２、スペックル変化特徴抽出器部１３、及び結合特徴抽出器部１４を備える。画像処理装置はまた、訓練サンプル抽出器２１、訓練モードの分類器部１５Ａ、実際の運用モードの分類器１５Ｂ、コスト計算部２２、パラメータ更新部２３及びストレージ部２４も備える。なお、差分画像生成器部１１、輝度変化特徴抽出器部１２、スペックル変化特徴抽出器部１３及び結合特徴抽出器部１４の構成は、本開示の実施形態１で説明したものと同様であるので、それらの説明は省略する。

実施形態２にかかる分類器部１５は２つのモード（訓練モード１５Ａと実際の運用モード１５Ｂ）で動作する。更に訓練サンプル抽出器部２１、コスト計算部２２及びパラメータ更新部２３は訓練モードでのみ動作する。

パラメータ更新部２３は、コスト計算部２２からコストを受信し、コストが最小化するように分類器部１５Ａのパラメータを更新する。コストの最小化は、勾配降下法など最適化アルゴリズムによって実行することができる。コストの最小化は、コストがこれ以上低減できない状態に収束するまで、継続する（又は繰り返される）。この段階では、コストは収束しており、分類器部１５Ａは訓練されている。収束後、パラメータ更新部２３は訓練された分類器のパラメータをストレージ部２４に格納する。訓練された分類器は図３では１５Ｂと表記される。

第２に、実際の運用モードを説明する。実際の運用モードでは、分類器部１５Ｂは結合特徴抽出器部１４から、すべての画素の入力とそれらの変化特徴を受信し、ストレージ部２４から訓練されたパラメータを受信する。訓練された分類器部１５Ｂは訓練されたパラメータを用いて、各画素にクラス又は各クラスに属する確率を割り当てる。最後に、分類器部１５Ｂは画素がアプリケーションに応じてバイナリクラス又は複数のクラスに分類された変化マップを出力する。

本開示にかかる実施形態２は、推定クラスと実際のクラスとの間のコスト関数を計算することで分類器部１５を訓練することを考慮する。結果として、分類器部１５は、コスト関数を最適化することで、特徴とそれらの対応するクラスとの間の関係を学習する。分類器部１５は、分類器のパラメータを記憶でき、その後、新たな対のＳＡＲ画像内の変化を検出するのに再利用できるように様々な変化に対して訓練される。

次に、図４を参照して本開示の実施形態２にかかる例示的なフローチャートを説明する。図４は、実施形態２の訓練モードを示す。

第１に、差分画像生成器部１１は、一対の画像の入力を受信し、差分画像を生成する（Ｓ２０１）。次に、輝度変化特徴抽出器部１２は差分画像の入力を受信し、輝度変化特徴を出力する（Ｓ２０２）。並行して、スペックル変化特徴抽出器部１３は一対の画像の入力を受信しスペックル変化特徴を抽出する（Ｓ２０３）。次に、結合特徴抽出器部１４は、輝度変化特徴とスペックル変化特徴の入力を受信し、その後、各画素についての結合した特徴表現を出力する（Ｓ２０４）。次に、訓練サンプル抽出器部２１は、画素の総数のサブセットをランダムに抽出し、それらを訓練サンプルとして出力する（Ｓ２０５）。分類器部１５Ａは、訓練サンプルの特徴を入力し、それらのクラスを推定する（Ｓ２０６）。次に、コスト計算部２２は訓練サンプルの推定クラスと実際のクラスの入力を受信し、その後、コスト関数を用いてコストを計算する（Ｓ２０７）。この時点では、コスト計算部２２はコストの収束に基づき決定を行う（Ｓ２０８）。コストが収束していない場合には、コスト又はミス分類エラーがパラメータ更新部２３に入力される。パラメータ更新部２３は、入力コストに基づき分類器部のパラメータを更新し、プロセスは、コストの収束まで繰り返される（Ｓ２０９）。収束後、パラメータ更新部２３は訓練された分類器のパラメータをストレージ部２４に格納する（Ｓ２１０）。

次に、図５を参照して本開示の実施形態２にかかる別の例示的なフローチャートを説明する。図５の図面は、実施形態２の実際の運用モードを示す。

まず、差分画像生成器１１は、一対の画像の入力を受信し、差分画像を生成する（Ｓ３０１）。次に、輝度特徴抽出器部１２は差分画像の入力を受信し、輝度変化特徴を出力する（Ｓ３０２）。並行して、スペックル変化特徴抽出器部１３は、一対の画像の入力を受信し、スペックル変化特徴を抽出する（Ｓ３０３）。次に、結合特徴抽出器部１４は輝度変化特徴とスペックル変化特徴の入力を受信し、その後、各画素についての結合した特徴表現を出力する（Ｓ３０４）。次に、分類器部１５Ｂは、すべての画素についての、結合した特徴の入力を受信し、訓練された分類器のパラメータをストレージ部２４から読み出す（Ｓ３０５）。次に、訓練されたパラメータを有する分類器部は、結合した特徴に基づき画素を異なるクラスに分類する（Ｓ３０６）。最後に、分類器部１５Ｂは各画素をクラスに割り当てた変化マップを出力する。

上述の例において、プログラムは、あらゆるタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、あらゆるタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

本開示を例示的な実施形態を参照して上記に説明してきたが、本開示は上記例示的な実施形態に限定されない。本開示の構成及び詳細は、本発明の範囲内において当業者が理解することができる様々な方法で修正されてもよい。

上記に開示した例示的な実施形態の全部又は一部は、限定するものではないが、以下の付記として記載することができる。
（付記１）
機械学習を用いた変化検出用の画像処理装置であって、
入力ＳＡＲ画像から差分画像を生成する差分画像生成器手段と、
前記差分画像から輝度変化特徴を抽出する輝度変化特徴抽出器手段と、
前記入力ＳＡＲ画像からスペックル変化特徴を抽出するスペックル変化特徴抽出器手段と、
前記輝度変化特徴と前記スペックル変化特徴を結合して、結合特徴を生成する結合特徴抽出器手段と、
前記結合特徴を前記変化クラスにマッピングし、変化マップを出力する分類器手段と、を備える、画像処理装置。
（付記２）
付記１に記載の画像処理装置であって、
推定クラスと実際のクラスとの間のコストを訓練モードにおけるミス分類エラーとして計算するコスト計算器手段と、
前記コストが最小化されるように前記分類器のパラメータを更新するパラメータ更新手段と、
前記コスト収束後に前記訓練された分類器の前記パラメータを格納するストレージ手段と、
を更に備え、
前記分類器手段は、コスト関数を最適化することで特徴と前記変化クラスとの関係を学習し、前記訓練モードで推定クラスを出力する、画像処理装置。
（付記３）
付記２に記載の画像処理装置であって、
前記分類器手段は前記ストレージに記憶された前記更新されたパラメータを用いて実際の運用モードで動作し、新たな対のＳＡＲ画像についての変化マップを出力する、画像処理装置。
（付記４）
付記１に記載の画像処理装置であって、
前記差分画像生成器手段は、減算、比率及び対数比演算子である、画像処理装置。
（付記５）
付記１に記載の画像処理装置であって、
前記輝度変化特徴抽出器手段は、主成分分析及び／又は深層学習技法、又はこれらのアンサンブルのうち１つを用いて前記入力画像から輝度変化を抽出する、画像処理装置。
（付記６）
付記１に記載の画像処理装置であって、前記分類器手段は、決定木、サポートベクターマシン及びニューラルネットワーク、又はこれらのアンサンブルのうち１つ機械学習ベースの方法を用いて、変化あり及び変化なしを分類する、画像処理装置。
（付記７）
機械学習を用いた変化検出用の画像処理方法であって、
入力ＳＡＲ画像から差分画像を生成することと、
前記差分画像から輝度変化特徴を抽出することと、
入力ＳＡＲ画像からスペックル変化特徴を抽出することと、
前記輝度変化特徴と前記スペックル変化特徴を結合し、結合特徴を生成することと、
前記結合特徴を前記変化クラスにマッピングし、変化マップを出力することと、を含む画像処理方法。
（付記８）
機械学習を用いた変化検出用の画像処理方法をコンピュータに実行させるプログラムを格納した非一時的なコンピュータ可読媒体であって、前記方法は、
入力ＳＡＲ画像から差分画像を生成することと、
前記差分画像から輝度変化特徴を抽出することと、
前記入力ＳＡＲ画像からスペックル変化特徴を抽出することと、
前記輝度変化特徴と前記スペックル変化特徴を結合し、結合特徴を生成することと、
前記結合特徴を前記変化クラスにマッピングし、変化マップを出力することと、を含む、非一時的なコンピュータ可読媒体。

１１差分画像生成器
１２輝度変化特徴抽出器
１３スペックル変化特徴抽出器
１４結合特徴抽出器
１５分類器
２１訓練サンプル抽出器
２２コスト計算器
２３パラメータ更新器
２４ストレージ

Claims

機械学習を用いた変化検出用の画像処理装置であって、
入力ＳＡＲ画像から差分画像を生成する差分画像生成器手段と、
前記差分画像から輝度変化特徴を抽出する輝度変化特徴抽出器手段と、
前記入力ＳＡＲ画像からスペックル変化特徴を抽出するスペックル変化特徴抽出器手段と、
前記差分画像の各画素について前記輝度変化特徴と前記スペックル変化特徴の加重和、連接、又はドット積を行うことにより、前記輝度変化特徴と前記スペックル変化特徴を結合して、結合特徴を生成する結合変化特徴抽出器手段と、
前記各画素に対する前記結合特徴に機械学習アルゴリズムを適用して、前記各画素に、各変化クラスに属する確率を割り当てることで、前記結合特徴を変化クラスにマッピングし、変化マップを出力する分類器手段と、を備える、画像処理装置。
請求項１に記載の画像処理装置であって、
推定クラスと実際のクラスとの間のコストを訓練モードにおけるミス分類エラーとして計算するコスト計算器手段と、
前記コストが最小化されるように前記分類器手段のパラメータを更新するパラメータ更新手段と、
前記コスト収束後に訓練された前記分類器手段の前記パラメータを格納するストレージ手段と、
を更に備え、
前記分類器手段は、コスト関数を最適化することで特徴と前記変化クラスとの関係を学習し、前記訓練モードで推定クラスを出力する、画像処理装置。
請求項２に記載の画像処理装置であって、
前記分類器手段は前記ストレージ手段に記憶された前記更新されたパラメータを用いて実際の運用モードで動作し、新たな対のＳＡＲ画像についての変化マップを出力する、画像処理装置。
請求項１に記載の画像処理装置であって、
前記差分画像生成器手段は、減算、比率及び対数比演算子である、画像処理装置。
請求項１に記載の画像処理装置であって、
前記輝度変化特徴抽出器手段は、主成分分析及び／又は深層学習技法、又はこれらのアンサンブルのうち１つを用いて前記入力画像から輝度変化を抽出する、画像処理装置。
請求項１に記載の画像処理装置であって、前記分類器手段は、決定木、サポートベクターマシン及びニューラルネットワーク、又はこれらのアンサンブルのうち１つから選択される機械学習ベースの方法を用いて、変化あり及び変化なしを分類する、画像処理装置。
機械学習を用いた変化検出用の画像処理方法であって、
入力ＳＡＲ画像から差分画像を生成することと、
前記差分画像から輝度変化特徴を抽出することと、
入力ＳＡＲ画像からスペックル変化特徴を抽出することと、
前記差分画像の各画素について前記輝度変化特徴と前記スペックル変化特徴の加重和、連接、又はドット積を行うことにより、前記輝度変化特徴と前記スペックル変化特徴を結合し、結合特徴を生成することと、
前記各画素に対する前記結合特徴に機械学習アルゴリズムを適用して、前記各画素に、各変化クラスに属する確率を割り当てることで、前記結合特徴を変化クラスにマッピングし、変化マップを出力することと、を含む画像処理方法。
機械学習を用いた変化検出用の画像処理方法をコンピュータに実行させる画像処理プログラムであって、前記画像処理方法は、
入力ＳＡＲ画像から差分画像を生成することと、
前記差分画像から輝度変化特徴を抽出することと、
前記入力ＳＡＲ画像からスペックル変化特徴を抽出することと、
前記差分画像の各画素について前記輝度変化特徴と前記スペックル変化特徴の加重和、連接、又はドット積を行うことにより、前記輝度変化特徴と前記スペックル変化特徴を結合し、結合特徴を生成することと、
前記各画素に対する前記結合特徴に機械学習アルゴリズムを適用して、前記各画素に、各変化クラスに属する確率を割り当てることで、前記結合特徴を変化クラスにマッピングし、変化マップを出力することと、を含む、画像処理プログラム。