JP5183512B2

JP5183512B2 - 画像変化抽出装置

Info

Publication number: JP5183512B2
Application number: JP2009018149A
Authority: JP
Inventors: かおり川上; 敦夫尾崎
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2009-01-29
Filing date: 2009-01-29
Publication date: 2013-04-17
Anticipated expiration: 2029-01-29
Also published as: JP2010175381A

Description

この発明は、複数回の定期観測による複数枚のレーダ画像から得られた複数枚の複素相関分布（コヒーレンスマップ）から物理的な変化を抽出する画像変化抽出装置に関する。

撮像がほぼ同一の条件で得られた、同一エリアに対する、取得時刻の異なる２枚のレーダ画像から、１枚目の画像取得時と２枚目の画像取得時との間で地表面に生じた変化を抽出する技術の一つにＣＣＤ（Coherent Change Detection）がある。ＣＣＤでは、ＳＡＲ（Synthetic Aperture Radar）画像の輝度情報に加えて位相情報をも利用して変化検出を実施するため、輝度変化による変化抽出技術と比較して変化に対する感度が高いという特長がある。

ＣＣＤでは２枚のＳＡＲ画像間の複素相関値（コヒーレンス）を地表面に生じた変化を表す指標として用いる。このコヒーレンスは、変化のない領域では１に近い値をとり、変化のあった領域については０に近い値をとる性質がある。従って、地表面の変化は２枚のＳＡＲ画像間のコヒーレンスの低い領域を閾値処理する、すなわち、閾値以下の領域を抽出することで変化領域を抽出することが可能となる。例えば従来技術では、２枚のＳＡＲ画像から算出したコヒーレンスの分布（コヒーレンスマップ）から設定した誤警報確率に基づいた閾値処理を実施している(例えば、非特許文献１〜３参照)。

Mark Preiss, Doug Gray, and Nick Stacy, "A Change Detection Technique for Repeat Pass Interferometric SAR," IEEE Geoscience and Remote Sensing Symposium Proceedings, 2003. IGARSS' 03. 2003, 2, 21-25 Jong-Sen Lee, Karl W. Hoppel, Stephen A. Mango and Allen R. Miller, "Intensity and Phase Statistics of Multilook Polarimetric and Interferometric SAR Imagery", IEEE Transaction On Geoscience and Remote Sensing, vol.32, No.5, 1994 Howard. A. Zebker, J. Villasenor, "Decorrelation in interferometric Radar Echoes," IEEE Transaction On Geoscience And Remote Sensing, Vol.30, pp.950-959, 1992.

従来の画像変化抽出装置では、２枚のＳＡＲ画像間のコヒーレンスマップから、変化領域を閾値処理により抽出するものであった。しかし、抽出された変化には、草木のゆらぎ等、オペレータ（判読技術者）にとって不要な変化も含まれており、分析対象となる変化の選別を、オペレータが人手で行う必要があった。また、水域や草原等、微小な変化が継続的に発生している領域については、２枚のＳＡＲ画像間のコヒーレンスが定常的に低い値になることが知られている。このため、定常的変化領域上に重複して変化が発生した場合、コヒーレンスの分布自体には差異があったとしても、従来の画像変化抽出装置における閾値の下限値による処理では、変化抽出が難しく、また仮にオペレータ等により、重複変化の抽出がなされたとしても、変化抽出タイミングにずれが生じ、変化の空間的連続性が正しく抽出できない、という課題があった。

この発明は、上記のような問題を解決するためになされたものであり、地表面に生じた物理的な変化を、より高精度に抽出し、変化の空間的連続性を正しく表示することが可能な、画像変化抽出装置を提供することを目的とする。

この発明に係る画像変化抽出装置は、同一の領域に対する、Ｎ回の異なる時刻の観測により得られた画像に基づき、２画像間のコヒーレンスの分布であるコヒーレンスマップをＮ−１個格納しているコヒーレンスマップファイルと、前記コヒーレンスマップファイルに格納されている２枚の画像間の複素相関分布であるコヒーレンスマップを入力とし、コヒーレンスマップを対象に、ノイズ除去を行い、ノイズ除去後の画像であるノイズ除去画像データを出力するノイズ除去部と、前記コヒーレンスマップファイルに格納されている２枚の画像間のコヒーレンスマップの集まりであるコヒーレンスマップ群を入力とし、コヒーレンスマップを構成する画素の時間的、空間的平均値を算出し、コヒーレンス平均データとしてコヒーレンスマップファイルに出力するコヒーレンス平均算出部と、前記コヒーレンスマップファイルに格納されている２枚の画像間のコヒーレンスマップと、複数のコヒーレンスマップから算出されたコヒーレンス平均データとを入力とし、コヒーレンス平均データと、コヒーレンスマップの時系列変化情報を用いて、変化抽出を行い、変化発生領域の変化発生時刻を示す変化発生時刻データと、変化発生が定常的に起きているかどうかの情報である変化継続状況データと、変化抽出に用いた判定値の情報である上下限情報データと、変化抽出領域を表す変化抽出画素データとからなる変化抽出データを出力する変化抽出部と、前記変化抽出部から出力される変化抽出データを入力とし、変化発生時刻データと変化継続状況データと上下限情報データから、変化の発生時刻のずれを検出し、時刻調整後の変化抽出データである時刻調整後変化抽出データを出力する変化時刻調整部と、選別対象となる変化の仕方や、選別対象変化領域に関するパラメータである変化定義パラメータを格納している変化定義パラメータファイルと、前記ノイズ除去部から出力されるノイズ除去画像データと、前記変化時刻調整部から出力される時刻調整後変化抽出データと、前記変化定義パラメータファイルに格納されている変化定義パラメータとを入力とし、変化定義パラメータに基づき特徴量抽出方法を決定し、特徴量抽出を行い、特徴量抽出結果である特徴量抽出データと、時刻調整後変化抽出データと、変化定義パラメータとを出力する特徴量抽出部と、前記特徴量抽出部から出力される特徴量抽出データと時刻調整後変化抽出データと変化定義パラメータとを入力とし、特徴量抽出データと変化定義パラメータに基づき、変化選別方法を決定し、特徴量抽出データと時刻調整後変化抽出データとから変化を選別し、変化の発生時刻を示す変化発生時刻データと、変化の時系列的継続状況を示す変化継続状況データと、変化選別領域と変化選別領域を一意に表すＩＤからなる変化選別画素データとからなる変化選別データを、全体の出力として変化選別データファイルに格納する変化選別部とを備える。

この発明によれば、複数回の定期観測による複数枚のレーダ画像から得られた複数枚の複素相関分布（コヒーレンスマップ）から物理的な変化を、より高精度に抽出し、変化の空間的連続性を正しく表示することが可能になる。

この発明の実施の形態１による画像変化抽出装置を示すブロック構成図である。この発明の実施の形態１による、非定常変化領域の変化状況例の図である。この発明の実施の形態１による、非定常変化領域上の一過性変化が発生した領域に位置する注目画素のコヒーレンスの変化例の図である。この発明の実施の形態１による、定常変化領域の変化状況例の図である。この発明の実施の形態１による、定常変化領域上の一過性変化が発生した領域に位置する注目画素のコヒーレンスの変化例の図である。この発明の実施の形態１による、時刻調整前の変化検出結果例の図である。この発明の実施の形態１による、時刻調整後の変化検出結果例の図である。この発明の実施の形態２による画像変化抽出装置を示すブロック構成図である。この発明の実施の形態３による画像変化抽出装置を示すブロック構成図である。この発明の実施の形態４による画像変化抽出装置を示すブロック構成図である。この発明の実施の形態５による画像変化抽出装置を示すブロック構成図である。この発明の実施の形態６による画像変化抽出装置を示すブロック構成図である。

実施の形態１．（基本構成）
図１は、この発明の実施の形態１による画像変化抽出装置を示すブロック構成図である。図１に示す画像変化抽出装置は、同一の領域に対する、Ｎ回の異なる時刻の観測により得られた画像に基づき、２画像間のコヒーレンスの分布であるコヒーレンスマップをＮ−１個格納しているコヒーレンスマップファイル１と、コヒーレンスマップファイル１に格納されている２枚の画像間の複素相関分布であるコヒーレンスマップを入力とし、コヒーレンスマップを対象に、ノイズ除去を行い、ノイズ除去後の画像であるノイズ除去画像データを出力するノイズ除去部２と、コヒーレンスマップファイル１に格納されている２枚の画像間のコヒーレンスマップの集まりであるコヒーレンスマップ群を入力とし、コヒーレンスマップを構成する画素の時間的、空間的平均値を算出し、コヒーレンス平均データとしてコヒーレンスマップファイルに出力するコヒーレンス平均算出部３と、コヒーレンスマップファイル１に格納されている２枚の画像間のコヒーレンスマップと、複数のコヒーレンスマップから算出されたコヒーレンス平均データとを入力とし、コヒーレンス平均データと、コヒーレンスマップの時系列変化情報を用いて、変化抽出を行い、変化発生領域の変化発生時刻を示す変化発生時刻データと、変化発生が定常的に起きているかどうかの情報である変化継続状況データと、変化抽出に用いた判定値の情報である上下限情報データと、変化抽出領域を表す変化抽出画素データと、からなる変化抽出データを出力する変化抽出部４とを備える。

また、変化抽出部４から出力される変化抽出データを入力とし、変化発生時刻データと変化継続状況データと上下限情報データから、変化の発生時刻のずれを検出し、時刻調整後の変化抽出データである時刻調整後変化抽出データを出力する変化時刻調整部５と、選別対象となる変化の仕方や、選別対象変化領域に関するパラメータである変化定義パラメータを格納している変化定義パラメータファイル８と、ノイズ除去部２から出力されるノイズ除去画像データと、変化時刻調整部５から出力される時刻調整後変化抽出データと、変化定義パラメータファイル８に格納されている変化定義パラメータとを入力とし、変化定義パラメータに基づき特徴量抽出方法を決定し、特徴量抽出を行い、特徴量抽出結果である特徴量抽出データと、時刻調整後変化抽出データと、変化定義パラメータとを出力する特徴量抽出部６と、特徴量抽出部６から出力される特徴量抽出データと時刻調整後変化抽出データと変化定義パラメータとを入力とし、特徴量抽出データと変化定義パラメータに基づき、変化選別方法を決定し、特徴量抽出データと時刻調整後変化抽出データとから変化を選別し、変化の発生時刻を示す変化発生時刻データと、変化の時系列的継続状況を示す変化継続状況データと、変化選別領域と変化選別領域を一意に表すＩＤからなる変化選別画素データとからなる変化選別データを、全体の出力として変化選別データファイル９に格納する変化選別部７とを備えている。

次に、動作について説明する。なお、コヒーレンスマップデータファイル１において、コヒーレンスを算出する２画像は、必ずしも観測時刻が隣接する必要はないが、以下においては、観測時刻が隣接する２枚のレーダ画像間で算出されたコヒーレンスマップを格納している場合の例で説明する。

ノイズ除去部２では、コヒーレンスマップファイル１に格納されている２枚の画像間の複素相関分布であるコヒーレンスマップを入力として、ノイズ除去後の画像であるノイズ除去画像データを出力する。ノイズ除去部２は、コヒーレンスマップを対象に変化抽出／選別に不要な画素情報をノイズとして除去する。ここでは、ノイズ除去手法として、移動平均処理を行う例を示す。移動平均処理では、ある画素の値を、周辺の値の平均値に設定する。平均値に置き換えることにより、ノイズをぼかす効果があるが、その反面、輪郭もぼかしてしまう。

移動平均処理の代わりに、メディアンフィルタによるノイズ除去処理を行ってもよい。メディアンフィルタでは、ある画素の周辺の値をソートし、その中央値に設定する。輪郭はぼけずに、ノイズのみぼかすという利点がある。

また、ノイズ除去アルゴリズムとしては、平均化処理の他に、図形を１画素分細くする収縮処理や、図形を外側に１画素分広げる膨張処理がある。膨張／収縮処理により、ノイズの影響で図形にできた１画素分の穴や、ひげのような突起物を除去することが可能になる。

次に、コヒーレンス平均算出部３では、コヒーレンスマップファイル１に格納されている２枚の画像間のコヒーレンスマップの集まりであるコヒーレンスマップ群を入力として、コヒーレンスマップを構成する全画素の、コヒーレンスの平均値をコヒーレンスマップ平均データとして出力し、コヒーレンスマップファイル１に格納する。コヒーレンス平均算出部３では、コヒーレンスマップを構成する全画素を対象に、時間及び空間方向の平均値である時間及び空間平均値を算出し、コヒーレンス平均データとする。

まず、コヒーレンスマップ格納部に格納されている全コヒーレンスマップを対象とし、マップ上の注目画素のコヒーレンスの平均値Ｍを算出して、時間方向の平均値である時間平均を求める。さらに、注目画素とその近傍画素からなる複数画素を対象とした平均値算出を行うことにより、時間及び空間平均値が求まる。時間平均と空間平均の組み合わせに限定せずに、時間平均のみとしても良い。近傍の例としては、４近傍、８近傍が考えられる。

次に、変化抽出部４では、コヒーレンスマップファイル１に格納されている２枚の画像間のコヒーレンスマップと、コヒーレンス平均データとを入力として、変化抽出領域の変化発生時刻を示す変化発生時刻データと、変化発生が定常的に起きているかどうかの情報である変化継続状況データと、変化抽出に用いたしきい値が、上下限のいずれであるかを示す上下限情報データと、変化抽出領域を表す変化抽出画素データとからなる変化抽出データを出力する。

変化抽出部４では、まず、コヒーレンス平均データに基づき、定常変化領域判定を行う。具体的には、注目画素の時間及び空間方向のコヒーレンスの平均値である時間及び空間平均Ｍと、事前に設定済みの値である定常変化画素判定値Ｔとの比較を行い、ＭがＴより低い場合に定常変化画素と定義し、定常変化画素であるかどうかの定常変化判定結果を、たとえば１もしくは０の二値で表し、定常変化判定結果と注目画素の画素ＩＤとの組み合わせを変化継続状況データとする。また、定常変化画素からなる連結成分を定常変化領域と定義する。

次に、コヒーレンスマップに対するしきい値処理を行い、各画素の変化有／無の判定を行い、変化有と判定された画素を変化抽出領域構成画素とし、変化抽出領域構成画素の連結成分から変化抽出領域を定義し、変化抽出領域毎に一意に決められたＩＤを割り振り、ラベリング値とし、変化抽出領域構成画素とラべリング値のペアを変化抽出画素データとする。

しきい値処理の第一の例として、定常変化領域ではない領域、すなわち非定常変化領域上に、変化が起きる場合を示す。コヒーレンスが事前に設定したしきい値Ｓ以下となる場合に、変化発生と判定する。図２は非定常変化領域上での変化状況例、図３は非定常変化領域上の、変化が発生した領域に位置する注目画素のコヒーレンスの値の変化例である。図２において、正方形の領域が非定常変化領域、黒丸が注目画素、網掛けの領域が変化発生領域、Ｔ１〜Ｔｎ＋１は時刻を表す。

しきい値の設定方法の例としては、非定常変化画素である注目画素のコヒーレンスの平均値Ｍと、事前に指定されている差分値であるΔＳから、式（１）により決定する。
Ｓ＝Ｍ−ΔＳ（１）

しきい値の設定は、差分値による方法でなく、注目画素のコヒーレンスの平均値Ｍからの分散の理論値で決定してもよい。

しきい値処理の第二の例としては、定常変化領域上に「一度変化が起きてから、しばらく変化がおきない、もしくは抽出不要な程度のわずかな変化しかおきない変化」を一過性変化と定義し、一過性変化の抽出を行う例を示す。具体例としては、草原上の轍跡の抽出などがある。

第一ステップとして、定常変化画素である注目画素のコヒーレンスの平均値Ｍから、定常変化画素のコヒーレンスのしきい値（上限Ｓｕと下限Ｓｄ）を決定する。

しきい値の設定方法例としては、非定常変化領域上の変化抽出の場合と同様に、事前に指定されている差分値ΔＳから式（２）のように決定する。
Ｓｄ＝Ｍ−ΔＳ，Ｓｕ＝Ｍ＋ΔＳ（２）

または、非定常変化領域上の変化抽出の場合と同様に、注目画素のコヒーレンスの平均値Ｍからの分散の理論値で決定してもよい。

次に、第二のステップでは、一過性変化の発生により、一過性変化領域を構成する注目画素のコヒーレンスが下限値Ｓｄ以下もしくは上限値Ｓｕ以上となったら、変化発生と判断する。図４は定常変化領域上での変化状況例、図５は定常変化領域上の、一過性変化が発生した領域に位置する注目画素のコヒーレンスの値の変化例である。図４において、正方形の領域が定常変化領域、黒丸が注目画素、網掛けの領域が一過性変化領域、Ｔ１〜Ｔｎ＋１は時刻を表す。

ただし、Ｓｕ以上の状況が連続する場合は、一時的に非定常変化領域となっている領域である一過性非定常変化領域とみなし、Ｓｕ以上が連続している間の最初の一回のみを変化発生と判定し、それ以降は変化なしとする。再びコヒーレンスが低下した段階で、一過性非定常変化領域を解除し、定常変化領域の再判定を行う。

また、下限値以下もしくは上限値以上のどちらであったかを示す情報を示すフラグである上下限情報フラグに、たとえば、上限値以上であれば1、下限値以下であれば−１を設定し、上下限情報フラグと注目画素の画素ＩＤと合わせて、上下限情報データとする。

なお、変化発生時刻としては、注目画素のコヒーレンスがしきい値の範囲外となったタイミングを、変化発生時刻初期値として変化発生時刻データに設定する。

また、しきい値処理の第二の例では、定常変化領域上の変化という、変化の重複が起きている場合の変化抽出例を示したが、変化の重複が起きていない場合の、定常変化領域自体の変化も、しきい値処理の第二の例で示した、上限／下限の２種類のしきい値による抽出方法により、変化抽出が可能となる。定常変化領域自体の変化とは、定常変化領域となる要因の解消、具体例で示すと、植生領域における森林の伐採等を示している。

次に、変化時刻調整部５では、変化抽出部から出力される変化抽出データを入力として、時刻調整後の変化抽出データである時刻調整後変化抽出データを出力する。変化時刻調整部５では、変化抽出データとして入力された変化発生時刻データと、変化継続状況データと、上下限情報データから、変化の発生時刻のずれを検出し、時刻調整を行う。具体的には、変化継続状況データから定常変化画素を選択し、さらに、上下限情報データから、しきい値上限を判定に用いている場合を選択し、時刻調整対象画素とする。具体的には、変化発生時刻データとして与えられた変化発生時刻の１タイムスタンプ前の時刻を、調整後の変化発生時刻である時刻調整後変化発生時刻データとし、変化抽出画素データと、変化継続状況データと、時刻調整後変化発生時刻データとを合わせて時刻調整後変化抽出データとする。

図６は時刻調整前、図７は時刻調整後の変化抽出結果例である。連続して位置する２つの矩形領域のうち、左側が非定常変化領域、右側が定常変化領域であり、網掛けの領域が一過性変化領域、Ｔ２，Ｔ３が時刻を示している。非定常変化領域が土もしくは泥地、定常変化領域が草原、一過性変化として轍跡を想定している。図７の２つの小さな正方形領域が、それぞれ図２，８で変化状況に着目した正方形領域と一致する。時刻調整前の図６では、本来同時に検出されるべき変化が、Ｔ２とＴ３と別々の時刻に検出されて、あたかも２つの時刻に異なる変化が発生したかのような結果となっている。それに対し、時刻調整後の図７では、非定常変化領域及び定常変化領域上での変化が、連続した形で表され、変化の空間的連続性が正しく表示されている。

時刻調整対象外となった画素に関しては、変化発生時刻データを、そのまま時刻調整後変化発生時刻データとし、時刻調整対象となった画素と同様に、変化抽出画素データと、変化継続状況データと、時刻調整後変化発生時刻データとを合わせて時刻調整後変化抽出データとする。

次に、特徴量抽出部６では、ノイズ除去部２から出力されるノイズ除去画像データと、変化時刻調整部５から出力される時刻調整後変化抽出データと、変化定義パラメータファイル８に格納されている、選別対象となる変化の仕方や、選別対象変化領域に関するパラメータである変化定義パラメータとを入力として、特徴量抽出の結果である特徴量抽出データと、時刻調整後変化抽出データと、変化定義パラメータとを出力する。

変化定義パラメータとしては、「変化パターン（回転、振動、同一パターンの繰り返し、不規則）」等の変化の仕方に関するパラメータと、「面積、長さ、幅」「アウトライン／形状（直線、曲線、円、矩形、不規則等）」等の変化領域に関するパラメータがある。

特徴量抽出部６では、変化定義パラメータに基づき、特徴量抽出方法を選択し、特徴量抽出を行う。変化定義パラメータごとに特徴量抽出方法案が事前に設定されており、本実施の形態では、まず、複数の特徴量抽出方法案の中から、変化領域候補の面積算出及び縦横比算出を特徴量抽出方法として選択する場合を示す。

変化抽出部４から出力された変化抽出データに基づき、変化抽出領域を構成する変化抽出画素の画素数から、面積及び縦横比を算出する。１画素あたりの大きさは、分解能などの撮像情報に基づき概算する。

なお、特徴量抽出方法の選択は、特徴量抽出方法案の中から、変化定義パラメータ毎に事前に設定されている推奨順位にしたがって選択する方法や、ユーザに方法案を提示して、ユーザが選択してもよい。

次に、面積と縦横比算出を特徴量抽出方法とする代わりに、細線化処理を行う例を示す。細線化処理は、図形のトポロジーを変えずに、すなわち線が途中でとぎれたり、孔があいたりすることなく、図形の連続性を保持しながら、幅１ピクセルの線画像に変換する処理である。細線化により図形の中心線が特徴として抽出される。変化領域の中心線の形状に特徴のある場合に有効と考えられる。

細線化処理の代わりに、変化候補領域の輪郭を抽出する処理である輪郭抽出処理を行っても良い。輪郭抽出方法例としては、２次微分フィルタであるラプラシアンフィルタ等がある。

次に、変化選別部７では、特徴量抽出部６から出力される特徴量抽出データと、時刻調整後変化抽出データと、変化定義パラメータとを入力として、変化選別データを出力し、変化選別データファイル９に格納する。変化選別データは、時刻調整後変化発生時刻データと、変化継続状況データと、変化選別画素データとからなる。さらに、変化選別画素データは、変化選別領域を構成する画素の番号である変化選別領域構成画素と、変化選別領域を一意に表すＩＤであるラベリング値とからなる。

変化選別部７では、変化定義パラメータと特徴量抽出部６で抽出した特徴量に基づき、変化選別方法を選択し、特徴量抽出データと時刻調整後変化抽出データとから、変化を選別する。変化定義パラメータごとに変化選別方法案が事前に設定されており、本実施の形態では、まず、複数の変化選別方法案の中から、変化領域候補の面積及び縦横比に対するしきい値処理を、変化選別方法として選択する場合を示す。

特徴量抽出部６から特徴量抽出データとして出力された、変化抽出領域の面積Ａ及び縦横比Ｒと、事前に設定されているしきい値Ｓｆ１およびＳｆ２との比較を行う。たとえば、Ｓｆ１＜Ａ，Ｓｆ２＜Ｒの条件を満たす場合に、変化抽出領域を選別して、変化選別領域とする。

変化選別領域を構成する画素の番号である変化選別領域構成画素と対応ラベリング値を変化選別画素データとして決定する。

変化選別後は、時刻調整後変化発生時刻データと、変化継続状況データと、変化選別領域画素番号とラベリング値の組合わせである変化選別画素データとを合わせて、変化選別データとして出力する。

変化選別方法としては、境界線を決定する手法である線形判別法を適用してもよい。線形判別法には、共分散行列に基づく線形判別法や、サポートベクターマシン（SVM：Support Vector Machine）等がある。共分散行列に基づく線形判別法は、異なる種類のデータ同士はできるだけ離れ、同一種類のデータ同士はなるべく近くに分布するように、全データの中心を表すクラスタ中心を通るベクトルｗにデータを射影して判別分析を行う方法である。またサポートベクターマシンは、全教師データからの距離と方向に基づき境界となる直線を求める方法で、距離を最大にし、かつそれぞれの種類ごとに、教師データからみた直線の方向が同じになるような直線を決定する方法である。属性数がＮ次元の場合、境界は超平面となる。サポートベクターマシンでは、カーネル関数とよばれる関数の線形和で学習に必要な関数を表すことにより、非線形境界も定義可能である。

サポートベクターマシンを適用した例を考える。サポートベクターマシンでは、選別対象となる変化と、非選別対象変化のサンプルデータを学習し、判別のための超平面算出により、選別対象変化と非選別対象変化を判別する。選別対象変化と非選別対象変化で超平面を算出する以外にも、抽出変化が複数のクラスタに分かれる場合は、マルチクラス分類問題として、トーナメント方式などにより判別を行ってもよい。

線形判別法の他、決定木、ニューラルネットワーク、ベイズ分類器、Ｋ最近傍法による選別を行ってもよい。決定木は、教師データを、各属性の値に基づいて部分集合に分割する学習方法であり、木構造をとり、葉が分類を、枝がその分類に至るまでの特徴の集まりを表す。ニューラルネットワークは、生命の神経回路網を模倣した学習手法で、教師データに基づき、最終的に最適な種類間の境界を決定する。ベイズ分類器は、各クラスの特徴ベクトルが正規分布であることを仮定した分類モデルである。Ｋ最近傍法は、学習データのＫ個の近傍点からクラスを決定する方法である。

以上のように、実施の形態1によれば、変化の時系列情報を利用して変化抽出を行い、抽出タイミングのずれによって発生する変化の空間的連続性を補正することにより、定常的に変化が起きている領域上に重複して発生した変化を抽出し、変化の空間的連続性を正しく表示することが可能となる。

また、変化選別機能を付加することにより、分析対象となる変化の選別を自動的に行う、もしくはユーザによる変化の選別を支援することが可能となる。

実施の形態２．（グランドトゥルース情報利用）
実施の形態１では、ノイズ除去部２において、ノイズ除去アルゴリズムによりノイズを除去する場合を示したが、事前に対象領域の地形情報がある程度わかっている時に、撮像領域の地形情報であるグランドトゥルース情報を用いて、変化選別の前処理を行う場合を示す。

図８は、この発明の実施の形態２による画像変化抽出装置を示すブロック構成図である。図８において、図１に示す構成と同一部分は同一符号を付してその説明は省略する。図８に示す実施の形態２では、実施の形態１の構成に対し、グランドトゥルース情報を格納しているグランドトゥルース情報ファイル１０をさらに備え、変化選別部７では、特徴量抽出部６から出力される特徴量抽出データと、時刻調整後変化抽出データと、変化定義パラメータと、グランドトゥルース情報ファイル１０に格納されているグランドトゥルース情報とを入力とし、撮像領域のグランドトゥルース情報から、選別対象外となる変化の位置情報、形状／面積等の情報を入手し、これらの情報と、時刻調整後変化抽出画素データの位置情報、特徴量抽出データの面積等の情報との照合を行い、照合結果が一致する場合は、選別対象外の変化として除去する。

照合方法としては、例えば、位置情報に基づく縦横位置のずれ幅、面積差等を算出し、事前に設定したしきい値以下となっている場合は、照合結果の一致と判定する。

なお、コヒーレンスマップデータと、グランドトゥルース情報が得られている画像データとの位置合わせであるレジストレーション処理は、既に行われていることを前提とする。

以上のように、実施の形態２によれば、変化選別の前処理として、グランドトゥルース情報に基づく、選別対象外変化を除去することにより、実際の地形情報に即した、効率の良い変化選別処理が可能となる。

実施の形態３．（変化定義パラメータ分類格納）
実施の形態１では、変化定義パラメータをそのまま用いて変化抽出や、特徴量抽出、変化選別を行う例示したが、本実施の形態では、変化定義パラメータを変化分類クラスごとに分けて、データベースに格納する例を示す。

図９は、この発明の実施の形態３による画像変化抽出装置を示すブロック構成図である。図９において、図１に示す構成と同一部分は同一符号を付してその説明は省略する。図９に示す実施の形態３では、実施の形態１の構成に対し、変化選別対象物の分類である変化分類クラスを表すパラメータを格納する変化分類クラスファイル１１と、前記変化分類クラスファイル１１に格納されている、変化分類クラスパラメータを第一の入力とし、前記変化定義パラメータファイル８に格納されている変化定義パラメータを第二の入力とし、変化分類クラスごとに変化定義パラメータを分けて出力し、変化分類クラス別変化定義パラメータである変化定義サンプルデータとして変化定義パラメータ分類データベース１２に格納する変化定義パラメータ分類格納部１３とをさらに備える。

変化分類クラスパラメータは、変化定義パラメータと合わせてユーザにより設定され、「川」、「轍」といった一般的な名称で良い。

以上のように、実施の形態３によれば、変化定義パラメータを変化分類クラスごとに分けてデータベースに格納することにより、変化定義パラメータと変化分類クラスとの対応事例が蓄積され、対応関係の解析に利用することが可能となる。

実施の形態４．（変化分類クラス更新）
実施の形態３では、変化定義パラメータを事前に設定されている変化分類クラスごとにわける例を示したが、本実施の形態では、変化分類クラスを学習により決定する例を示す。

図１０は、この発明の実施の形態４による画像変化抽出装置を示すブロック構成図である。図１０において、図１に示す構成と同一部分は同一符号を付してその説明は省略する。図１０に示す実施の形態４では、実施の形態１の構成に対し、変化分類クラスごとの変化定義サンプルデータを格納する変化定義パラメータ分類データベース１２と、変化定義パラメータファイル８に格納されている変化定義パラメータを第一の入力とし、変化定義パラメータ分類データベース１２に格納されている変化分類クラスごとの変化定義サンプルデータを第二の入力とし、変化定義サンプルパラメータから変化分類クラスを学習し、新たな変化分類クラスを決定し、変化定義パラメータ分類データベース１２のクラス分類を更新し、変化定義パラメータ分類データベース１２に出力する変化分類クラス更新部１４とをさらに備える。

変化分類クラス更新部１４では、変化定義パラメータ分類データベース１２に格納されている変化定義サンプルデータと、変化定義パラメータファイル８に格納されている変化定義パラメータとを入力として、変化定義サンプルデータを学習データとして、変化分類クラスの再分類を行う。新たな変化分類クラスごとに変化定義パラメータを分けて、変化定義サンプルデータを更新し、変化定義パラメータ分類データベース１２に出力する。

分類方法としては、一般的な分類手法として知られている期待値最大化法や、K-means法を適用してもよい。

以上のように、実施の形態４によれば、変化定義パラメータに基づき、変化分類クラスを学習して更新することにより、変化名称等の分類に限定されることなく、分析内容に即した変化分類と、それに基づく変化抽出が可能となる。

実施の形態５．（変化定義パラメータ自動決定）
実施の形態１では、変化定義パラメータを事前にユーザが指定する場合を示したが、本実施の形態では、選別対象物の分類を表す変化分類クラス名から、事前に設定したデータベースの情報を用いて、変化定義パラメータを決定する場合を示す。

図１１は、この発明の実施の形態５による画像変化抽出装置を示すブロック構成図である。図１１において、図１に示す構成と同一部分は同一符号を付してその説明は省略する。図１１に示す実施の形態５では、実施の形態１の構成に対し、変化選別対象物の分類である変化分類クラスを表す変化分類クラスパラメータを格納する変化分類クラスファイル１１と、変化分類クラス別変化定義パラメータを変化定義サンプルデータとして格納する変化定義パラメータ分類データベース１２と、前記変化定義パラメータ分類データベース１２に格納されている変化定義サンプルデータを第一の入力とし、前記変化分類クラスファイル１１に格納されている、変化分類クラスパラメータを第二の入力とし、変化選別対象物の変化定義パラメータを決定して、前記変化定義パラメータファイル８に出力する変化定義パラメータ決定部１５とをさらに備える。

変化定義パラメータ決定部１５では、変化分類クラスファイルに格納されている変化分類クラスパラメータと、変化定義パラメータ分類データベース１２に格納されている変化定義パラメータとを入力とし、変化定義パラメータを決定し、変化定義パラメータファイル８に出力する。

選別対象物の変化分類クラスパラメータとしては、湖、轍等の対象物の一般的な名称を指定し、クラスごとに事前に変化定義パラメータ分類データベース１２に格納されている、過去に入力された変化定義パラメータである変化定義サンプルデータを用いて、変化定義パラメータを自動決定する。たとえば、湖の場合は「面積Am²（平方メートル）以上（Aは事前に設定された定数）で、ランダム運動」、轍の場合は「直線／曲線形状で、領域の縦横比が大きく、同一運動パターンの繰り返し」等の変化定義サンプルデータを変化定義パラメータとして設定する。

変化定義サンプルパラメータが複数存在する場合は、変化定義サンプルデータの平均値、最大値、最小値をとる方法や、サンプル数の多い定義を選択する方法が考えられる。具体的には、面積範囲を定義する必要がある場合には、面積の上限もしくは下限の平均値、最大値、最小値のいずれかを算出して変化定義パラメータとする方法や、運動方法を一意に決める必要があれば、複数サンプルの運動方法のうち、サンプル数の多い運動方法を選ぶ、複数指定可能であれば、そのまま複数の運動方法を変化定義パラメータとして指定する。

以上のように、実施の形態５によれば、ユーザは選別対象物の変化分類クラス名を入力するだけで、変化定義パラメータが自動的に設定されることにより、多くの事例に基づいて設定されたパラメータでの選別処理が可能となる。

実施の形態６．（変化定義パラメータ調整）
実施の形態５では、変化定義パラメータを自動決定する例を示したが、本実施の形態では、自動的に決定した変化定義パラメータを仮決め後、ユーザに提示し、ユーザの調整指示にしたがって、変化定義パラメータを変更する例を示す。

図１２は、この発明の実施の形態６による画像変化抽出装置を示すブロック構成図である。図１２において、図１に示す構成と同一部分は同一符号を付してその説明は省略する。図１２に示す実施の形態６では、実施の形態１の構成に対し、変化選別対象物の分類である変化分類クラスを表す変化分類クラスパラメータを格納する変化分類クラスファイル１１と、変化分類クラス別変化定義パラメータを変化定義サンプルデータとして格納する変化定義パラメータ分類データベース１２と、変化定義パラメータ分類データベース１２に格納されている、変化定義サンプルデータと、変化分類クラスファイルに格納されている、変化分類クラスパラメータとを入力とし、変化定義パラメータを仮決めして、変化定義パラメータ仮決め値として出力する変化定義パラメータ仮決め部１６と、変化定義パラメータ仮決め部１６からの変化定義パラメータ仮決め値を入力としてユーザに提示し、提示された変化定義パラメータ仮決め値をユーザの指示に基づき調整して変化定義パラメータ変更値を決定し、変化定義パラメータファイル８に出力する変化定義パラメータ調整部１７とをさらに備える。

変化定義パラメータ仮決め部１６では、変化分類クラスファイルに格納されている変化分類クラスパラメータと、変化定義パラメータ分類データベース１２に格納されている変化定義サンプルデータとを入力とし、変化定義パラメータを仮決めして、変化定義パラメータ仮決め値として出力する。

次に、変化調整部１７では、変化定義パラメータ仮決め部から出力された変化定義パラメータ仮決め値を入力として、ユーザに提示し、ユーザの指示に従って、変化定義パラメータ仮決め値を調整し、変化定義パラメータ変更値を変化定義パラメータファイル８に出力する。

変化分類クラスとして「川」が指定された場合の例を示す。分析対象として抽出したい川の幅が極端に大きい場合を考える。変化定義パラメータとして仮決めされた、川の縦横比を、ユーザが調整し、新たな縦横比を変化定義パラメータとして設定し、変化選別処理を行う。

以上のように、実施の形態６によれば、自動決定した変化定義パラメータをユーザが調整可能とすることにより、極端に幅の広い川や、面積が非常に小さい湖の抽出といった、例外的な変化定義パラメータ値を持つ事例に対しても対応可能となる。

また、この発明は、上記各実施の形態に限定されるものではなく、これらの各実施の形態の可能な組み合わせをすべて含むことは云うまでもない。

１コヒーレンスマップファイル、２ノイズ除去部、３コヒーレンス平均算出部、４変化抽出部、５変化時刻調整部、６特徴量抽出部、７変化選別部、８変化定義パラメータファイル、９変化選別データファイル、１０グランドトゥルース情報ファイル、１１変化分類クラスファイル、１２変化定義パラメータ分類データベース、１３変化定義パラメータ分類格納部、１４変化分類クラス更新部、１５変化定義パラメータ決定部、１６変化定義パラメータ仮決め部、１７変化定義パラメータ調整部。

Claims

同一の領域に対する、Ｎ回の異なる時刻の観測により得られた画像に基づき、２画像間のコヒーレンスの分布であるコヒーレンスマップをＮ−１個格納しているコヒーレンスマップファイルと、
前記コヒーレンスマップファイルに格納されている２枚の画像間の複素相関分布であるコヒーレンスマップを入力とし、コヒーレンスマップを対象に、ノイズ除去を行い、ノイズ除去後の画像であるノイズ除去画像データを出力するノイズ除去部と、
前記コヒーレンスマップファイルに格納されている２枚の画像間のコヒーレンスマップの集まりであるコヒーレンスマップ群を入力とし、コヒーレンスマップを構成する画素の時間的、空間的平均値を算出し、コヒーレンス平均データとしてコヒーレンスマップファイルに出力するコヒーレンス平均算出部と、
前記コヒーレンスマップファイルに格納されている２枚の画像間のコヒーレンスマップと、複数のコヒーレンスマップから算出されたコヒーレンス平均データとを入力とし、コヒーレンス平均データと、コヒーレンスマップの時系列変化情報を用いて、変化抽出を行い、変化発生領域の変化発生時刻を示す変化発生時刻データと、変化発生が定常的に起きているかどうかの情報である変化継続状況データと、変化抽出に用いた判定値の情報である上下限情報データと、変化抽出領域を表す変化抽出画素データとからなる変化抽出データを出力する変化抽出部と、
前記変化抽出部から出力される変化抽出データを入力とし、変化発生時刻データと変化継続状況データと上下限情報データから、変化の発生時刻のずれを検出し、時刻調整後の変化抽出データである時刻調整後変化抽出データを出力する変化時刻調整部と、
選別対象となる変化の仕方や、選別対象変化領域に関するパラメータである変化定義パラメータを格納している変化定義パラメータファイルと、
前記ノイズ除去部から出力されるノイズ除去画像データと、前記変化時刻調整部から出力される時刻調整後変化抽出データと、前記変化定義パラメータファイルに格納されている変化定義パラメータとを入力とし、変化定義パラメータに基づき特徴量抽出方法を決定し、特徴量抽出を行い、特徴量抽出結果である特徴量抽出データと、時刻調整後変化抽出データと、変化定義パラメータとを出力する特徴量抽出部と、
前記特徴量抽出部から出力される特徴量抽出データと時刻調整後変化抽出データと変化定義パラメータとを入力とし、特徴量抽出データと変化定義パラメータに基づき、変化選別方法を決定し、特徴量抽出データと時刻調整後変化抽出データとから変化を選別し、変化の発生時刻を示す変化発生時刻データと、変化の時系列的継続状況を示す変化継続状況データと、変化選別領域と変化選別領域を一意に表すＩＤからなる変化選別画素データとからなる変化選別データを、全体の出力として変化選別データファイルに格納する変化選別部と
を備えた画像変化抽出装置。
請求項１に記載の画像変化抽出装置において、
グランドトゥルース情報を格納するグランドトゥルース情報ファイルをさらに備え、
前記変化選別部は、変化選別の前処理として、前記グランドトゥルース情報ファイルに格納されている撮像領域の地形情報であるグランドトゥルース情報に基づき選別対象外の変化を除去する
ことを特徴とする画像変化抽出装置。
請求項１に記載の画像変化抽出装置において、
変化選別対象物の分類である変化分類クラスを表すパラメータを格納する変化分類クラスファイルと、
前記変化分類クラスファイルに格納されている変化分類クラスパラメータを第一の入力とし、前記変化定義パラメータファイル８に格納されている変化定義パラメータを第二の入力とし、変化分類クラスごとに変化定義パラメータを分けて出力し、変化分類クラス別変化定義パラメータである変化定義サンプルデータとして変化定義パラメータ分類データベースに格納する変化定義パラメータ分類格納部と
をさらに備えることを特徴とする画像変化抽出装置。
請求項１に記載の画像変化抽出装置において、
変化分類クラスごとの変化定義サンプルデータを格納する変化定義パラメータ分類データベースと、
前記変化定義パラメータファイルに格納されている変化定義パラメータを第一の入力とし、前記変化定義パラメータ分類データベースに格納されている変化分類クラスごとの変化定義サンプルデータを第二の入力とし、変化定義サンプルパラメータから変化分類クラスを学習し、新たな変化分類クラスを決定し、前記変化定義パラメータ分類データベースのクラス分類を更新し、変化定義パラメータ分類データベースに出力する変化分類クラス更新部と
をさらに備えることを特徴とする画像変化抽出装置。
請求項１に記載の画像変化抽出装置において、
変化選別対象物の分類である変化分類クラスを表す変化分類クラスパラメータを格納する変化分類クラスファイルと、
変化分類クラス別変化定義パラメータを変化定義サンプルデータとして格納する変化定義パラメータ分類データベースと、
前記変化定義パラメータ分類データベースに格納されている変化定義サンプルデータを第一の入力とし、前記変化分類クラスファイルに格納されている、変化分類クラスパラメータを第二の入力とし、変化選別対象物の変化定義パラメータを決定して、前記変化定義パラメータファイルに出力する変化定義パラメータ決定部と
をさらに備えることを特徴とする画像変化抽出装置。
請求項１に記載の画像変化抽出装置において、
変化選別対象物の分類である変化分類クラスを表す変化分類クラスパラメータを格納する変化分類クラスファイルと、
変化分類クラス別変化定義パラメータを変化定義サンプルデータとして格納する変化定義パラメータ分類データベースと、
前記変化定義パラメータ分類データベースに格納されている、変化定義サンプルデータと、前記変化分類クラスファイルに格納されている、変化分類クラスパラメータとを入力とし、変化定義パラメータを仮決めして、変化定義パラメータ仮決め値として出力する変化定義パラメータ仮決め部と、
前記変化定義パラメータ仮決め部からの変化定義パラメータ仮決め値を入力としてユーザに提示し、提示された変化定義パラメータ仮決め値をユーザの指示に基づき調整して変化定義パラメータ変更値を決定し、前記変化定義パラメータファイルに出力する変化定義パラメータ調整部と
をさらに備えることを特徴とする画像変化抽出装置。