JP5183512B2 - 画像変化抽出装置 - Google Patents

画像変化抽出装置 Download PDF

Info

Publication number
JP5183512B2
JP5183512B2 JP2009018149A JP2009018149A JP5183512B2 JP 5183512 B2 JP5183512 B2 JP 5183512B2 JP 2009018149 A JP2009018149 A JP 2009018149A JP 2009018149 A JP2009018149 A JP 2009018149A JP 5183512 B2 JP5183512 B2 JP 5183512B2
Authority
JP
Japan
Prior art keywords
change
data
extraction
definition
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009018149A
Other languages
English (en)
Other versions
JP2010175381A (ja
Inventor
かおり 川上
敦夫 尾崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2009018149A priority Critical patent/JP5183512B2/ja
Publication of JP2010175381A publication Critical patent/JP2010175381A/ja
Application granted granted Critical
Publication of JP5183512B2 publication Critical patent/JP5183512B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Description

この発明は、複数回の定期観測による複数枚のレーダ画像から得られた複数枚の複素相関分布(コヒーレンスマップ)から物理的な変化を抽出する画像変化抽出装置に関する。
撮像がほぼ同一の条件で得られた、同一エリアに対する、取得時刻の異なる2枚のレーダ画像から、1枚目の画像取得時と2枚目の画像取得時との間で地表面に生じた変化を抽出する技術の一つにCCD(Coherent Change Detection)がある。CCDでは、SAR(Synthetic Aperture Radar)画像の輝度情報に加えて位相情報をも利用して変化検出を実施するため、輝度変化による変化抽出技術と比較して変化に対する感度が高いという特長がある。
CCDでは2枚のSAR画像間の複素相関値(コヒーレンス)を地表面に生じた変化を表す指標として用いる。このコヒーレンスは、変化のない領域では1に近い値をとり、変化のあった領域については0に近い値をとる性質がある。従って、地表面の変化は2枚のSAR画像間のコヒーレンスの低い領域を閾値処理する、すなわち、閾値以下の領域を抽出することで変化領域を抽出することが可能となる。例えば従来技術では、2枚のSAR画像から算出したコヒーレンスの分布(コヒーレンスマップ)から設定した誤警報確率に基づいた閾値処理を実施している(例えば、非特許文献1〜3参照)。
Mark Preiss, Doug Gray, and Nick Stacy, "A Change Detection Technique for Repeat Pass Interferometric SAR," IEEE Geoscience and Remote Sensing Symposium Proceedings, 2003. IGARSS' 03. 2003, 2, 21-25 Jong-Sen Lee, Karl W. Hoppel, Stephen A. Mango and Allen R. Miller, "Intensity and Phase Statistics of Multilook Polarimetric and Interferometric SAR Imagery", IEEE Transaction On Geoscience and Remote Sensing, vol.32, No.5, 1994 Howard. A. Zebker, J. Villasenor, "Decorrelation in interferometric Radar Echoes," IEEE Transaction On Geoscience And Remote Sensing, Vol.30, pp.950-959, 1992.
従来の画像変化抽出装置では、2枚のSAR画像間のコヒーレンスマップから、変化領域を閾値処理により抽出するものであった。しかし、抽出された変化には、草木のゆらぎ等、オペレータ(判読技術者)にとって不要な変化も含まれており、分析対象となる変化の選別を、オペレータが人手で行う必要があった。また、水域や草原等、微小な変化が継続的に発生している領域については、2枚のSAR画像間のコヒーレンスが定常的に低い値になることが知られている。このため、定常的変化領域上に重複して変化が発生した場合、コヒーレンスの分布自体には差異があったとしても、従来の画像変化抽出装置における閾値の下限値による処理では、変化抽出が難しく、また仮にオペレータ等により、重複変化の抽出がなされたとしても、変化抽出タイミングにずれが生じ、変化の空間的連続性が正しく抽出できない、という課題があった。
この発明は、上記のような問題を解決するためになされたものであり、地表面に生じた物理的な変化を、より高精度に抽出し、変化の空間的連続性を正しく表示することが可能な、画像変化抽出装置を提供することを目的とする。
この発明に係る画像変化抽出装置は、同一の領域に対する、N回の異なる時刻の観測により得られた画像に基づき、2画像間のコヒーレンスの分布であるコヒーレンスマップをN−1個格納しているコヒーレンスマップファイルと、前記コヒーレンスマップファイルに格納されている2枚の画像間の複素相関分布であるコヒーレンスマップを入力とし、コヒーレンスマップを対象に、ノイズ除去を行い、ノイズ除去後の画像であるノイズ除去画像データを出力するノイズ除去部と、前記コヒーレンスマップファイルに格納されている2枚の画像間のコヒーレンスマップの集まりであるコヒーレンスマップ群を入力とし、コヒーレンスマップを構成する画素の時間的、空間的平均値を算出し、コヒーレンス平均データとしてコヒーレンスマップファイルに出力するコヒーレンス平均算出部と、前記コヒーレンスマップファイルに格納されている2枚の画像間のコヒーレンスマップと、複数のコヒーレンスマップから算出されたコヒーレンス平均データとを入力とし、コヒーレンス平均データと、コヒーレンスマップの時系列変化情報を用いて、変化抽出を行い、変化発生領域の変化発生時刻を示す変化発生時刻データと、変化発生が定常的に起きているかどうかの情報である変化継続状況データと、変化抽出に用いた判定値の情報である上下限情報データと、変化抽出領域を表す変化抽出画素データとからなる変化抽出データを出力する変化抽出部と、前記変化抽出部から出力される変化抽出データを入力とし、変化発生時刻データと変化継続状況データと上下限情報データから、変化の発生時刻のずれを検出し、時刻調整後の変化抽出データである時刻調整後変化抽出データを出力する変化時刻調整部と、選別対象となる変化の仕方や、選別対象変化領域に関するパラメータである変化定義パラメータを格納している変化定義パラメータファイルと、前記ノイズ除去部から出力されるノイズ除去画像データと、前記変化時刻調整部から出力される時刻調整後変化抽出データと、前記変化定義パラメータファイルに格納されている変化定義パラメータとを入力とし、変化定義パラメータに基づき特徴量抽出方法を決定し、特徴量抽出を行い、特徴量抽出結果である特徴量抽出データと、時刻調整後変化抽出データと、変化定義パラメータとを出力する特徴量抽出部と、前記特徴量抽出部から出力される特徴量抽出データと時刻調整後変化抽出データと変化定義パラメータとを入力とし、特徴量抽出データと変化定義パラメータに基づき、変化選別方法を決定し、特徴量抽出データと時刻調整後変化抽出データとから変化を選別し、変化の発生時刻を示す変化発生時刻データと、変化の時系列的継続状況を示す変化継続状況データと、変化選別領域と変化選別領域を一意に表すIDからなる変化選別画素データとからなる変化選別データを、全体の出力として変化選別データファイルに格納する変化選別部とを備える。
この発明によれば、複数回の定期観測による複数枚のレーダ画像から得られた複数枚の複素相関分布(コヒーレンスマップ)から物理的な変化を、より高精度に抽出し、変化の空間的連続性を正しく表示することが可能になる。
この発明の実施の形態1による画像変化抽出装置を示すブロック構成図である。 この発明の実施の形態1による、非定常変化領域の変化状況例の図である。 この発明の実施の形態1による、非定常変化領域上の一過性変化が発生した領域に位置する注目画素のコヒーレンスの変化例の図である。 この発明の実施の形態1による、定常変化領域の変化状況例の図である。 この発明の実施の形態1による、定常変化領域上の一過性変化が発生した領域に位置する注目画素のコヒーレンスの変化例の図である。 この発明の実施の形態1による、時刻調整前の変化検出結果例の図である。 この発明の実施の形態1による、時刻調整後の変化検出結果例の図である。 この発明の実施の形態2による画像変化抽出装置を示すブロック構成図である。 この発明の実施の形態3による画像変化抽出装置を示すブロック構成図である。 この発明の実施の形態4による画像変化抽出装置を示すブロック構成図である。 この発明の実施の形態5による画像変化抽出装置を示すブロック構成図である。 この発明の実施の形態6による画像変化抽出装置を示すブロック構成図である。
実施の形態1.(基本構成)
図1は、この発明の実施の形態1による画像変化抽出装置を示すブロック構成図である。図1に示す画像変化抽出装置は、同一の領域に対する、N回の異なる時刻の観測により得られた画像に基づき、2画像間のコヒーレンスの分布であるコヒーレンスマップをN−1個格納しているコヒーレンスマップファイル1と、コヒーレンスマップファイル1に格納されている2枚の画像間の複素相関分布であるコヒーレンスマップを入力とし、コヒーレンスマップを対象に、ノイズ除去を行い、ノイズ除去後の画像であるノイズ除去画像データを出力するノイズ除去部2と、コヒーレンスマップファイル1に格納されている2枚の画像間のコヒーレンスマップの集まりであるコヒーレンスマップ群を入力とし、コヒーレンスマップを構成する画素の時間的、空間的平均値を算出し、コヒーレンス平均データとしてコヒーレンスマップファイルに出力するコヒーレンス平均算出部3と、コヒーレンスマップファイル1に格納されている2枚の画像間のコヒーレンスマップと、複数のコヒーレンスマップから算出されたコヒーレンス平均データとを入力とし、コヒーレンス平均データと、コヒーレンスマップの時系列変化情報を用いて、変化抽出を行い、変化発生領域の変化発生時刻を示す変化発生時刻データと、変化発生が定常的に起きているかどうかの情報である変化継続状況データと、変化抽出に用いた判定値の情報である上下限情報データと、変化抽出領域を表す変化抽出画素データと、からなる変化抽出データを出力する変化抽出部4とを備える。
また、変化抽出部4から出力される変化抽出データを入力とし、変化発生時刻データと変化継続状況データと上下限情報データから、変化の発生時刻のずれを検出し、時刻調整後の変化抽出データである時刻調整後変化抽出データを出力する変化時刻調整部5と、選別対象となる変化の仕方や、選別対象変化領域に関するパラメータである変化定義パラメータを格納している変化定義パラメータファイル8と、ノイズ除去部2から出力されるノイズ除去画像データと、変化時刻調整部5から出力される時刻調整後変化抽出データと、変化定義パラメータファイル8に格納されている変化定義パラメータとを入力とし、変化定義パラメータに基づき特徴量抽出方法を決定し、特徴量抽出を行い、特徴量抽出結果である特徴量抽出データと、時刻調整後変化抽出データと、変化定義パラメータとを出力する特徴量抽出部6と、特徴量抽出部6から出力される特徴量抽出データと時刻調整後変化抽出データと変化定義パラメータとを入力とし、特徴量抽出データと変化定義パラメータに基づき、変化選別方法を決定し、特徴量抽出データと時刻調整後変化抽出データとから変化を選別し、変化の発生時刻を示す変化発生時刻データと、変化の時系列的継続状況を示す変化継続状況データと、変化選別領域と変化選別領域を一意に表すIDからなる変化選別画素データとからなる変化選別データを、全体の出力として変化選別データファイル9に格納する変化選別部7とを備えている。
次に、動作について説明する。なお、コヒーレンスマップデータファイル1において、コヒーレンスを算出する2画像は、必ずしも観測時刻が隣接する必要はないが、以下においては、観測時刻が隣接する2枚のレーダ画像間で算出されたコヒーレンスマップを格納している場合の例で説明する。
ノイズ除去部2では、コヒーレンスマップファイル1に格納されている2枚の画像間の複素相関分布であるコヒーレンスマップを入力として、ノイズ除去後の画像であるノイズ除去画像データを出力する。ノイズ除去部2は、コヒーレンスマップを対象に変化抽出/選別に不要な画素情報をノイズとして除去する。ここでは、ノイズ除去手法として、移動平均処理を行う例を示す。移動平均処理では、ある画素の値を、周辺の値の平均値に設定する。平均値に置き換えることにより、ノイズをぼかす効果があるが、その反面、輪郭もぼかしてしまう。
移動平均処理の代わりに、メディアンフィルタによるノイズ除去処理を行ってもよい。メディアンフィルタでは、ある画素の周辺の値をソートし、その中央値に設定する。輪郭はぼけずに、ノイズのみぼかすという利点がある。
また、ノイズ除去アルゴリズムとしては、平均化処理の他に、図形を1画素分細くする収縮処理や、図形を外側に1画素分広げる膨張処理がある。膨張/収縮処理により、ノイズの影響で図形にできた1画素分の穴や、ひげのような突起物を除去することが可能になる。
次に、コヒーレンス平均算出部3では、コヒーレンスマップファイル1に格納されている2枚の画像間のコヒーレンスマップの集まりであるコヒーレンスマップ群を入力として、コヒーレンスマップを構成する全画素の、コヒーレンスの平均値をコヒーレンスマップ平均データとして出力し、コヒーレンスマップファイル1に格納する。コヒーレンス平均算出部3では、コヒーレンスマップを構成する全画素を対象に、時間及び空間方向の平均値である時間及び空間平均値を算出し、コヒーレンス平均データとする。
まず、コヒーレンスマップ格納部に格納されている全コヒーレンスマップを対象とし、マップ上の注目画素のコヒーレンスの平均値Mを算出して、時間方向の平均値である時間平均を求める。さらに、注目画素とその近傍画素からなる複数画素を対象とした平均値算出を行うことにより、時間及び空間平均値が求まる。時間平均と空間平均の組み合わせに限定せずに、時間平均のみとしても良い。近傍の例としては、4近傍、8近傍が考えられる。
次に、変化抽出部4では、コヒーレンスマップファイル1に格納されている2枚の画像間のコヒーレンスマップと、コヒーレンス平均データとを入力として、変化抽出領域の変化発生時刻を示す変化発生時刻データと、変化発生が定常的に起きているかどうかの情報である変化継続状況データと、変化抽出に用いたしきい値が、上下限のいずれであるかを示す上下限情報データと、変化抽出領域を表す変化抽出画素データとからなる変化抽出データを出力する。
変化抽出部4では、まず、コヒーレンス平均データに基づき、定常変化領域判定を行う。具体的には、注目画素の時間及び空間方向のコヒーレンスの平均値である時間及び空間平均Mと、事前に設定済みの値である定常変化画素判定値Tとの比較を行い、MがTより低い場合に定常変化画素と定義し、定常変化画素であるかどうかの定常変化判定結果を、たとえば1もしくは0の二値で表し、定常変化判定結果と注目画素の画素IDとの組み合わせを変化継続状況データとする。また、定常変化画素からなる連結成分を定常変化領域と定義する。
次に、コヒーレンスマップに対するしきい値処理を行い、各画素の変化有/無の判定を行い、変化有と判定された画素を変化抽出領域構成画素とし、変化抽出領域構成画素の連結成分から変化抽出領域を定義し、変化抽出領域毎に一意に決められたIDを割り振り、ラベリング値とし、変化抽出領域構成画素とラべリング値のペアを変化抽出画素データとする。
しきい値処理の第一の例として、定常変化領域ではない領域、すなわち非定常変化領域上に、変化が起きる場合を示す。コヒーレンスが事前に設定したしきい値S以下となる場合に、変化発生と判定する。図2は非定常変化領域上での変化状況例、図3は非定常変化領域上の、変化が発生した領域に位置する注目画素のコヒーレンスの値の変化例である。図2において、正方形の領域が非定常変化領域、黒丸が注目画素、網掛けの領域が変化発生領域、T1〜Tn+1は時刻を表す。
しきい値の設定方法の例としては、非定常変化画素である注目画素のコヒーレンスの平均値Mと、事前に指定されている差分値であるΔSから、式(1)により決定する。
S=M−ΔS (1)
しきい値の設定は、差分値による方法でなく、注目画素のコヒーレンスの平均値Mからの分散の理論値で決定してもよい。
しきい値処理の第二の例としては、定常変化領域上に「一度変化が起きてから、しばらく変化がおきない、もしくは抽出不要な程度のわずかな変化しかおきない変化」を一過性変化と定義し、一過性変化の抽出を行う例を示す。具体例としては、草原上の轍跡の抽出などがある。
第一ステップとして、定常変化画素である注目画素のコヒーレンスの平均値Mから、定常変化画素のコヒーレンスのしきい値(上限Suと下限Sd)を決定する。
しきい値の設定方法例としては、非定常変化領域上の変化抽出の場合と同様に、事前に指定されている差分値ΔSから式(2)のように決定する。
Sd=M−ΔS,Su=M+ΔS (2)
または、非定常変化領域上の変化抽出の場合と同様に、注目画素のコヒーレンスの平均値Mからの分散の理論値で決定してもよい。
次に、第二のステップでは、一過性変化の発生により、一過性変化領域を構成する注目画素のコヒーレンスが下限値Sd以下もしくは上限値Su以上となったら、変化発生と判断する。図4は定常変化領域上での変化状況例、図5は定常変化領域上の、一過性変化が発生した領域に位置する注目画素のコヒーレンスの値の変化例である。図4において、正方形の領域が定常変化領域、黒丸が注目画素、網掛けの領域が一過性変化領域、T1〜Tn+1は時刻を表す。
ただし、Su以上の状況が連続する場合は、一時的に非定常変化領域となっている領域である一過性非定常変化領域とみなし、Su以上が連続している間の最初の一回のみを変化発生と判定し、それ以降は変化なしとする。再びコヒーレンスが低下した段階で、一過性非定常変化領域を解除し、定常変化領域の再判定を行う。
また、下限値以下もしくは上限値以上のどちらであったかを示す情報を示すフラグである上下限情報フラグに、たとえば、上限値以上であれば1、下限値以下であれば−1を設定し、上下限情報フラグと注目画素の画素IDと合わせて、上下限情報データとする。
なお、変化発生時刻としては、注目画素のコヒーレンスがしきい値の範囲外となったタイミングを、変化発生時刻初期値として変化発生時刻データに設定する。
また、しきい値処理の第二の例では、定常変化領域上の変化という、変化の重複が起きている場合の変化抽出例を示したが、変化の重複が起きていない場合の、定常変化領域自体の変化も、しきい値処理の第二の例で示した、上限/下限の2種類のしきい値による抽出方法により、変化抽出が可能となる。定常変化領域自体の変化とは、定常変化領域となる要因の解消、具体例で示すと、植生領域における森林の伐採等を示している。
次に、変化時刻調整部5では、変化抽出部から出力される変化抽出データを入力として、時刻調整後の変化抽出データである時刻調整後変化抽出データを出力する。変化時刻調整部5では、変化抽出データとして入力された変化発生時刻データと、変化継続状況データと、上下限情報データから、変化の発生時刻のずれを検出し、時刻調整を行う。具体的には、変化継続状況データから定常変化画素を選択し、さらに、上下限情報データから、しきい値上限を判定に用いている場合を選択し、時刻調整対象画素とする。具体的には、変化発生時刻データとして与えられた変化発生時刻の1タイムスタンプ前の時刻を、調整後の変化発生時刻である時刻調整後変化発生時刻データとし、変化抽出画素データと、変化継続状況データと、時刻調整後変化発生時刻データとを合わせて時刻調整後変化抽出データとする。
図6は時刻調整前、図7は時刻調整後の変化抽出結果例である。連続して位置する2つの矩形領域のうち、左側が非定常変化領域、右側が定常変化領域であり、網掛けの領域が一過性変化領域、T2,T3が時刻を示している。非定常変化領域が土もしくは泥地、定常変化領域が草原、一過性変化として轍跡を想定している。図7の2つの小さな正方形領域が、それぞれ図2,8で変化状況に着目した正方形領域と一致する。時刻調整前の図6では、本来同時に検出されるべき変化が、T2とT3と別々の時刻に検出されて、あたかも2つの時刻に異なる変化が発生したかのような結果となっている。それに対し、時刻調整後の図7では、非定常変化領域及び定常変化領域上での変化が、連続した形で表され、変化の空間的連続性が正しく表示されている。
時刻調整対象外となった画素に関しては、変化発生時刻データを、そのまま時刻調整後変化発生時刻データとし、時刻調整対象となった画素と同様に、変化抽出画素データと、変化継続状況データと、時刻調整後変化発生時刻データとを合わせて時刻調整後変化抽出データとする。
次に、特徴量抽出部6では、ノイズ除去部2から出力されるノイズ除去画像データと、変化時刻調整部5から出力される時刻調整後変化抽出データと、変化定義パラメータファイル8に格納されている、選別対象となる変化の仕方や、選別対象変化領域に関するパラメータである変化定義パラメータとを入力として、特徴量抽出の結果である特徴量抽出データと、時刻調整後変化抽出データと、変化定義パラメータとを出力する。
変化定義パラメータとしては、「変化パターン(回転、振動、同一パターンの繰り返し、不規則)」等の変化の仕方に関するパラメータと、「面積、長さ、幅」「アウトライン/形状(直線、曲線、円、矩形、不規則 等)」等の変化領域に関するパラメータがある。
特徴量抽出部6では、変化定義パラメータに基づき、特徴量抽出方法を選択し、特徴量抽出を行う。変化定義パラメータごとに特徴量抽出方法案が事前に設定されており、本実施の形態では、まず、複数の特徴量抽出方法案の中から、変化領域候補の面積算出及び縦横比算出を特徴量抽出方法として選択する場合を示す。
変化抽出部4から出力された変化抽出データに基づき、変化抽出領域を構成する変化抽出画素の画素数から、面積及び縦横比を算出する。1画素あたりの大きさは、分解能などの撮像情報に基づき概算する。
なお、特徴量抽出方法の選択は、特徴量抽出方法案の中から、変化定義パラメータ毎に事前に設定されている推奨順位にしたがって選択する方法や、ユーザに方法案を提示して、ユーザが選択してもよい。
次に、面積と縦横比算出を特徴量抽出方法とする代わりに、細線化処理を行う例を示す。細線化処理は、図形のトポロジーを変えずに、すなわち線が途中でとぎれたり、孔があいたりすることなく、図形の連続性を保持しながら、幅1ピクセルの線画像に変換する処理である。細線化により図形の中心線が特徴として抽出される。変化領域の中心線の形状に特徴のある場合に有効と考えられる。
細線化処理の代わりに、変化候補領域の輪郭を抽出する処理である輪郭抽出処理を行っても良い。輪郭抽出方法例としては、2次微分フィルタであるラプラシアンフィルタ等がある。
次に、変化選別部7では、特徴量抽出部6から出力される特徴量抽出データと、時刻調整後変化抽出データと、変化定義パラメータとを入力として、変化選別データを出力し、変化選別データファイル9に格納する。変化選別データは、時刻調整後変化発生時刻データと、変化継続状況データと、変化選別画素データとからなる。さらに、変化選別画素データは、変化選別領域を構成する画素の番号である変化選別領域構成画素と、変化選別領域を一意に表すIDであるラベリング値とからなる。
変化定義パラメータとしては、「変化パターン(回転、振動、同一パターンの繰り返し、不規則)」等の変化の仕方に関するパラメータと、「面積、長さ、幅」「アウトライン/形状(直線、曲線、円、矩形、不規則 等)」等の変化領域に関するパラメータがある。
変化選別部7では、変化定義パラメータと特徴量抽出部6で抽出した特徴量に基づき、変化選別方法を選択し、特徴量抽出データと時刻調整後変化抽出データとから、変化を選別する。変化定義パラメータごとに変化選別方法案が事前に設定されており、本実施の形態では、まず、複数の変化選別方法案の中から、変化領域候補の面積及び縦横比に対するしきい値処理を、変化選別方法として選択する場合を示す。
特徴量抽出部6から特徴量抽出データとして出力された、変化抽出領域の面積A及び縦横比Rと、事前に設定されているしきい値Sf1およびSf2との比較を行う。たとえば、Sf1<A,Sf2<Rの条件を満たす場合に、変化抽出領域を選別して、変化選別領域とする。
変化選別領域を構成する画素の番号である変化選別領域構成画素と対応ラベリング値を変化選別画素データとして決定する。
変化選別後は、時刻調整後変化発生時刻データと、変化継続状況データと、変化選別領域画素番号とラベリング値の組合わせである変化選別画素データとを合わせて、変化選別データとして出力する。
変化選別方法としては、境界線を決定する手法である線形判別法を適用してもよい。線形判別法には、共分散行列に基づく線形判別法や、サポートベクターマシン(SVM:Support Vector Machine)等がある。共分散行列に基づく線形判別法は、異なる種類のデータ同士はできるだけ離れ、同一種類のデータ同士はなるべく近くに分布するように、全データの中心を表すクラスタ中心を通るベクトルwにデータを射影して判別分析を行う方法である。またサポートベクターマシンは、全教師データからの距離と方向に基づき境界となる直線を求める方法で、距離を最大にし、かつそれぞれの種類ごとに、教師データからみた直線の方向が同じになるような直線を決定する方法である。属性数がN次元の場合、境界は超平面となる。サポートベクターマシンでは、カーネル関数とよばれる関数の線形和で学習に必要な関数を表すことにより、非線形境界も定義可能である。
サポートベクターマシンを適用した例を考える。サポートベクターマシンでは、選別対象となる変化と、非選別対象変化のサンプルデータを学習し、判別のための超平面算出により、選別対象変化と非選別対象変化を判別する。選別対象変化と非選別対象変化で超平面を算出する以外にも、抽出変化が複数のクラスタに分かれる場合は、マルチクラス分類問題として、トーナメント方式などにより判別を行ってもよい。
線形判別法の他、決定木、ニューラルネットワーク、ベイズ分類器、K最近傍法による選別を行ってもよい。決定木は、教師データを、各属性の値に基づいて部分集合に分割する学習方法であり、木構造をとり、葉が分類を、枝がその分類に至るまでの特徴の集まりを表す。ニューラルネットワークは、生命の神経回路網を模倣した学習手法で、教師データに基づき、最終的に最適な種類間の境界を決定する。ベイズ分類器は、各クラスの特徴ベクトルが正規分布であることを仮定した分類モデルである。K最近傍法は、学習データのK個の近傍点からクラスを決定する方法である。
以上のように、実施の形態1によれば、変化の時系列情報を利用して変化抽出を行い、抽出タイミングのずれによって発生する変化の空間的連続性を補正することにより、定常的に変化が起きている領域上に重複して発生した変化を抽出し、変化の空間的連続性を正しく表示することが可能となる。
また、変化選別機能を付加することにより、分析対象となる変化の選別を自動的に行う、もしくはユーザによる変化の選別を支援することが可能となる。
実施の形態2.(グランドトゥルース情報利用)
実施の形態1では、ノイズ除去部2において、ノイズ除去アルゴリズムによりノイズを除去する場合を示したが、事前に対象領域の地形情報がある程度わかっている時に、撮像領域の地形情報であるグランドトゥルース情報を用いて、変化選別の前処理を行う場合を示す。
図8は、この発明の実施の形態2による画像変化抽出装置を示すブロック構成図である。図8において、図1に示す構成と同一部分は同一符号を付してその説明は省略する。図8に示す実施の形態2では、実施の形態1の構成に対し、グランドトゥルース情報を格納しているグランドトゥルース情報ファイル10をさらに備え、変化選別部7では、特徴量抽出部6から出力される特徴量抽出データと、時刻調整後変化抽出データと、変化定義パラメータと、グランドトゥルース情報ファイル10に格納されているグランドトゥルース情報とを入力とし、撮像領域のグランドトゥルース情報から、選別対象外となる変化の位置情報、形状/面積等の情報を入手し、これらの情報と、時刻調整後変化抽出画素データの位置情報、特徴量抽出データの面積等の情報との照合を行い、照合結果が一致する場合は、選別対象外の変化として除去する。
照合方法としては、例えば、位置情報に基づく縦横位置のずれ幅、面積差等を算出し、事前に設定したしきい値以下となっている場合は、照合結果の一致と判定する。
なお、コヒーレンスマップデータと、グランドトゥルース情報が得られている画像データとの位置合わせであるレジストレーション処理は、既に行われていることを前提とする。
以上のように、実施の形態2によれば、変化選別の前処理として、グランドトゥルース情報に基づく、選別対象外変化を除去することにより、実際の地形情報に即した、効率の良い変化選別処理が可能となる。
実施の形態3.(変化定義パラメータ分類格納)
実施の形態1では、変化定義パラメータをそのまま用いて変化抽出や、特徴量抽出、変化選別を行う例示したが、本実施の形態では、変化定義パラメータを変化分類クラスごとに分けて、データベースに格納する例を示す。
図9は、この発明の実施の形態3による画像変化抽出装置を示すブロック構成図である。図9において、図1に示す構成と同一部分は同一符号を付してその説明は省略する。図9に示す実施の形態3では、実施の形態1の構成に対し、変化選別対象物の分類である変化分類クラスを表すパラメータを格納する変化分類クラスファイル11と、前記変化分類クラスファイル11に格納されている、変化分類クラスパラメータを第一の入力とし、前記変化定義パラメータファイル8に格納されている変化定義パラメータを第二の入力とし、変化分類クラスごとに変化定義パラメータを分けて出力し、変化分類クラス別変化定義パラメータである変化定義サンプルデータとして変化定義パラメータ分類データベース12に格納する変化定義パラメータ分類格納部13とをさらに備える。
変化分類クラスパラメータは、変化定義パラメータと合わせてユーザにより設定され、「川」、「轍」といった一般的な名称で良い。
以上のように、実施の形態3によれば、変化定義パラメータを変化分類クラスごとに分けてデータベースに格納することにより、変化定義パラメータと変化分類クラスとの対応事例が蓄積され、対応関係の解析に利用することが可能となる。
実施の形態4.(変化分類クラス更新)
実施の形態3では、変化定義パラメータを事前に設定されている変化分類クラスごとにわける例を示したが、本実施の形態では、変化分類クラスを学習により決定する例を示す。
図10は、この発明の実施の形態4による画像変化抽出装置を示すブロック構成図である。図10において、図1に示す構成と同一部分は同一符号を付してその説明は省略する。図10に示す実施の形態4では、実施の形態1の構成に対し、変化分類クラスごとの変化定義サンプルデータを格納する変化定義パラメータ分類データベース12と、変化定義パラメータファイル8に格納されている変化定義パラメータを第一の入力とし、変化定義パラメータ分類データベース12に格納されている変化分類クラスごとの変化定義サンプルデータを第二の入力とし、変化定義サンプルパラメータから変化分類クラスを学習し、新たな変化分類クラスを決定し、変化定義パラメータ分類データベース12のクラス分類を更新し、変化定義パラメータ分類データベース12に出力する変化分類クラス更新部14とをさらに備える。
変化分類クラス更新部14では、変化定義パラメータ分類データベース12に格納されている変化定義サンプルデータと、変化定義パラメータファイル8に格納されている変化定義パラメータとを入力として、変化定義サンプルデータを学習データとして、変化分類クラスの再分類を行う。新たな変化分類クラスごとに変化定義パラメータを分けて、変化定義サンプルデータを更新し、変化定義パラメータ分類データベース12に出力する。
分類方法としては、一般的な分類手法として知られている期待値最大化法や、K-means法を適用してもよい。
以上のように、実施の形態4によれば、変化定義パラメータに基づき、変化分類クラスを学習して更新することにより、変化名称等の分類に限定されることなく、分析内容に即した変化分類と、それに基づく変化抽出が可能となる。
実施の形態5.(変化定義パラメータ自動決定)
実施の形態1では、変化定義パラメータを事前にユーザが指定する場合を示したが、本実施の形態では、選別対象物の分類を表す変化分類クラス名から、事前に設定したデータベースの情報を用いて、変化定義パラメータを決定する場合を示す。
図11は、この発明の実施の形態5による画像変化抽出装置を示すブロック構成図である。図11において、図1に示す構成と同一部分は同一符号を付してその説明は省略する。図11に示す実施の形態5では、実施の形態1の構成に対し、変化選別対象物の分類である変化分類クラスを表す変化分類クラスパラメータを格納する変化分類クラスファイル11と、変化分類クラス別変化定義パラメータを変化定義サンプルデータとして格納する変化定義パラメータ分類データベース12と、前記変化定義パラメータ分類データベース12に格納されている変化定義サンプルデータを第一の入力とし、前記変化分類クラスファイル11に格納されている、変化分類クラスパラメータを第二の入力とし、変化選別対象物の変化定義パラメータを決定して、前記変化定義パラメータファイル8に出力する変化定義パラメータ決定部15とをさらに備える。
変化定義パラメータ決定部15では、変化分類クラスファイルに格納されている変化分類クラスパラメータと、変化定義パラメータ分類データベース12に格納されている変化定義パラメータとを入力とし、変化定義パラメータを決定し、変化定義パラメータファイル8に出力する。
選別対象物の変化分類クラスパラメータとしては、湖、轍等の対象物の一般的な名称を指定し、クラスごとに事前に変化定義パラメータ分類データベース12に格納されている、過去に入力された変化定義パラメータである変化定義サンプルデータを用いて、変化定義パラメータを自動決定する。たとえば、湖の場合は「面積Am2(平方メートル)以上(Aは事前に設定された定数)で、ランダム運動」、轍の場合は「直線/曲線形状で、領域の縦横比が大きく、同一運動パターンの繰り返し」等の変化定義サンプルデータを変化定義パラメータとして設定する。
変化定義サンプルパラメータが複数存在する場合は、変化定義サンプルデータの平均値、最大値、最小値をとる方法や、サンプル数の多い定義を選択する方法が考えられる。具体的には、面積範囲を定義する必要がある場合には、面積の上限もしくは下限の平均値、最大値、最小値のいずれかを算出して変化定義パラメータとする方法や、運動方法を一意に決める必要があれば、複数サンプルの運動方法のうち、サンプル数の多い運動方法を選ぶ、複数指定可能であれば、そのまま複数の運動方法を変化定義パラメータとして指定する。
以上のように、実施の形態5によれば、ユーザは選別対象物の変化分類クラス名を入力するだけで、変化定義パラメータが自動的に設定されることにより、多くの事例に基づいて設定されたパラメータでの選別処理が可能となる。
実施の形態6.(変化定義パラメータ調整)
実施の形態5では、変化定義パラメータを自動決定する例を示したが、本実施の形態では、自動的に決定した変化定義パラメータを仮決め後、ユーザに提示し、ユーザの調整指示にしたがって、変化定義パラメータを変更する例を示す。
図12は、この発明の実施の形態6による画像変化抽出装置を示すブロック構成図である。図12において、図1に示す構成と同一部分は同一符号を付してその説明は省略する。図12に示す実施の形態6では、実施の形態1の構成に対し、変化選別対象物の分類である変化分類クラスを表す変化分類クラスパラメータを格納する変化分類クラスファイル11と、変化分類クラス別変化定義パラメータを変化定義サンプルデータとして格納する変化定義パラメータ分類データベース12と、変化定義パラメータ分類データベース12に格納されている、変化定義サンプルデータと、変化分類クラスファイルに格納されている、変化分類クラスパラメータとを入力とし、変化定義パラメータを仮決めして、変化定義パラメータ仮決め値として出力する変化定義パラメータ仮決め部16と、変化定義パラメータ仮決め部16からの変化定義パラメータ仮決め値を入力としてユーザに提示し、提示された変化定義パラメータ仮決め値をユーザの指示に基づき調整して変化定義パラメータ変更値を決定し、変化定義パラメータファイル8に出力する変化定義パラメータ調整部17とをさらに備える。
変化定義パラメータ仮決め部16では、変化分類クラスファイルに格納されている変化分類クラスパラメータと、変化定義パラメータ分類データベース12に格納されている変化定義サンプルデータとを入力とし、変化定義パラメータを仮決めして、変化定義パラメータ仮決め値として出力する。
次に、変化調整部17では、変化定義パラメータ仮決め部から出力された変化定義パラメータ仮決め値を入力として、ユーザに提示し、ユーザの指示に従って、変化定義パラメータ仮決め値を調整し、変化定義パラメータ変更値を変化定義パラメータファイル8に出力する。
変化分類クラスとして「川」が指定された場合の例を示す。分析対象として抽出したい川の幅が極端に大きい場合を考える。変化定義パラメータとして仮決めされた、川の縦横比を、ユーザが調整し、新たな縦横比を変化定義パラメータとして設定し、変化選別処理を行う。
以上のように、実施の形態6によれば、自動決定した変化定義パラメータをユーザが調整可能とすることにより、極端に幅の広い川や、面積が非常に小さい湖の抽出といった、例外的な変化定義パラメータ値を持つ事例に対しても対応可能となる。
また、この発明は、上記各実施の形態に限定されるものではなく、これらの各実施の形態の可能な組み合わせをすべて含むことは云うまでもない。
1 コヒーレンスマップファイル、2 ノイズ除去部、3 コヒーレンス平均算出部、4 変化抽出部、5 変化時刻調整部、6 特徴量抽出部、7 変化選別部、8 変化定義パラメータファイル、9 変化選別データファイル、10 グランドトゥルース情報ファイル、11 変化分類クラスファイル、12 変化定義パラメータ分類データベース、13 変化定義パラメータ分類格納部、14 変化分類クラス更新部、15 変化定義パラメータ決定部、16 変化定義パラメータ仮決め部、17 変化定義パラメータ調整部。

Claims (6)

  1. 同一の領域に対する、N回の異なる時刻の観測により得られた画像に基づき、2画像間のコヒーレンスの分布であるコヒーレンスマップをN−1個格納しているコヒーレンスマップファイルと、
    前記コヒーレンスマップファイルに格納されている2枚の画像間の複素相関分布であるコヒーレンスマップを入力とし、コヒーレンスマップを対象に、ノイズ除去を行い、ノイズ除去後の画像であるノイズ除去画像データを出力するノイズ除去部と、
    前記コヒーレンスマップファイルに格納されている2枚の画像間のコヒーレンスマップの集まりであるコヒーレンスマップ群を入力とし、コヒーレンスマップを構成する画素の時間的、空間的平均値を算出し、コヒーレンス平均データとしてコヒーレンスマップファイルに出力するコヒーレンス平均算出部と、
    前記コヒーレンスマップファイルに格納されている2枚の画像間のコヒーレンスマップと、複数のコヒーレンスマップから算出されたコヒーレンス平均データとを入力とし、コヒーレンス平均データと、コヒーレンスマップの時系列変化情報を用いて、変化抽出を行い、変化発生領域の変化発生時刻を示す変化発生時刻データと、変化発生が定常的に起きているかどうかの情報である変化継続状況データと、変化抽出に用いた判定値の情報である上下限情報データと、変化抽出領域を表す変化抽出画素データとからなる変化抽出データを出力する変化抽出部と、
    前記変化抽出部から出力される変化抽出データを入力とし、変化発生時刻データと変化継続状況データと上下限情報データから、変化の発生時刻のずれを検出し、時刻調整後の変化抽出データである時刻調整後変化抽出データを出力する変化時刻調整部と、
    選別対象となる変化の仕方や、選別対象変化領域に関するパラメータである変化定義パラメータを格納している変化定義パラメータファイルと、
    前記ノイズ除去部から出力されるノイズ除去画像データと、前記変化時刻調整部から出力される時刻調整後変化抽出データと、前記変化定義パラメータファイルに格納されている変化定義パラメータとを入力とし、変化定義パラメータに基づき特徴量抽出方法を決定し、特徴量抽出を行い、特徴量抽出結果である特徴量抽出データと、時刻調整後変化抽出データと、変化定義パラメータとを出力する特徴量抽出部と、
    前記特徴量抽出部から出力される特徴量抽出データと時刻調整後変化抽出データと変化定義パラメータとを入力とし、特徴量抽出データと変化定義パラメータに基づき、変化選別方法を決定し、特徴量抽出データと時刻調整後変化抽出データとから変化を選別し、変化の発生時刻を示す変化発生時刻データと、変化の時系列的継続状況を示す変化継続状況データと、変化選別領域と変化選別領域を一意に表すIDからなる変化選別画素データとからなる変化選別データを、全体の出力として変化選別データファイルに格納する変化選別部と
    を備えた画像変化抽出装置。
  2. 請求項1に記載の画像変化抽出装置において、
    グランドトゥルース情報を格納するグランドトゥルース情報ファイルをさらに備え、
    前記変化選別部は、変化選別の前処理として、前記グランドトゥルース情報ファイルに格納されている撮像領域の地形情報であるグランドトゥルース情報に基づき選別対象外の変化を除去する
    ことを特徴とする画像変化抽出装置。
  3. 請求項1に記載の画像変化抽出装置において、
    変化選別対象物の分類である変化分類クラスを表すパラメータを格納する変化分類クラスファイルと、
    前記変化分類クラスファイルに格納されている変化分類クラスパラメータを第一の入力とし、前記変化定義パラメータファイル8に格納されている変化定義パラメータを第二の入力とし、変化分類クラスごとに変化定義パラメータを分けて出力し、変化分類クラス別変化定義パラメータである変化定義サンプルデータとして変化定義パラメータ分類データベースに格納する変化定義パラメータ分類格納部と
    をさらに備えることを特徴とする画像変化抽出装置。
  4. 請求項1に記載の画像変化抽出装置において、
    変化分類クラスごとの変化定義サンプルデータを格納する変化定義パラメータ分類データベースと、
    前記変化定義パラメータファイルに格納されている変化定義パラメータを第一の入力とし、前記変化定義パラメータ分類データベースに格納されている変化分類クラスごとの変化定義サンプルデータを第二の入力とし、変化定義サンプルパラメータから変化分類クラスを学習し、新たな変化分類クラスを決定し、前記変化定義パラメータ分類データベースのクラス分類を更新し、変化定義パラメータ分類データベースに出力する変化分類クラス更新部と
    をさらに備えることを特徴とする画像変化抽出装置。
  5. 請求項1に記載の画像変化抽出装置において、
    変化選別対象物の分類である変化分類クラスを表す変化分類クラスパラメータを格納する変化分類クラスファイルと、
    変化分類クラス別変化定義パラメータを変化定義サンプルデータとして格納する変化定義パラメータ分類データベースと、
    前記変化定義パラメータ分類データベースに格納されている変化定義サンプルデータを第一の入力とし、前記変化分類クラスファイルに格納されている、変化分類クラスパラメータを第二の入力とし、変化選別対象物の変化定義パラメータを決定して、前記変化定義パラメータファイルに出力する変化定義パラメータ決定部と
    をさらに備えることを特徴とする画像変化抽出装置。
  6. 請求項1に記載の画像変化抽出装置において、
    変化選別対象物の分類である変化分類クラスを表す変化分類クラスパラメータを格納する変化分類クラスファイルと、
    変化分類クラス別変化定義パラメータを変化定義サンプルデータとして格納する変化定義パラメータ分類データベースと、
    前記変化定義パラメータ分類データベースに格納されている、変化定義サンプルデータと、前記変化分類クラスファイルに格納されている、変化分類クラスパラメータとを入力とし、変化定義パラメータを仮決めして、変化定義パラメータ仮決め値として出力する変化定義パラメータ仮決め部と、
    前記変化定義パラメータ仮決め部からの変化定義パラメータ仮決め値を入力としてユーザに提示し、提示された変化定義パラメータ仮決め値をユーザの指示に基づき調整して変化定義パラメータ変更値を決定し、前記変化定義パラメータファイルに出力する変化定義パラメータ調整部と
    をさらに備えることを特徴とする画像変化抽出装置。
JP2009018149A 2009-01-29 2009-01-29 画像変化抽出装置 Active JP5183512B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009018149A JP5183512B2 (ja) 2009-01-29 2009-01-29 画像変化抽出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009018149A JP5183512B2 (ja) 2009-01-29 2009-01-29 画像変化抽出装置

Publications (2)

Publication Number Publication Date
JP2010175381A JP2010175381A (ja) 2010-08-12
JP5183512B2 true JP5183512B2 (ja) 2013-04-17

Family

ID=42706505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009018149A Active JP5183512B2 (ja) 2009-01-29 2009-01-29 画像変化抽出装置

Country Status (1)

Country Link
JP (1) JP5183512B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017179171A1 (ja) * 2016-04-14 2018-04-19 三菱電機株式会社 画像処理装置及び画像処理方法
JP6889993B2 (ja) * 2016-09-08 2021-06-18 株式会社パスコ 地表変状可視化装置及び地表変状可視化プログラム
JP2018048862A (ja) * 2016-09-20 2018-03-29 株式会社東芝 レーダ信号処理装置、レーダ信号処理方法、およびレーダ信号処理プログラム
JP7102106B2 (ja) * 2017-05-16 2022-07-19 株式会社パスコ 機械学習方法、及び地表変動判定方法
CN110188830B (zh) * 2019-06-01 2022-09-06 合肥工业大学 基于多核图割的sar图像变化检测方法
CN115082784A (zh) * 2022-05-31 2022-09-20 同济大学 一种多时相遥感影像无监督变化检测伪样本自动生成方法
JP7205005B1 (ja) * 2022-06-03 2023-01-16 三菱電機株式会社 画像処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4443320B2 (ja) * 2004-06-21 2010-03-31 三菱電機株式会社 レーダ画像処理装置
JP5438263B2 (ja) * 2006-07-21 2014-03-12 株式会社パスコ レーダ画像処理装置及びレーダ画像処理方法
JP4818898B2 (ja) * 2006-12-25 2011-11-16 三菱電機株式会社 レーダ画像処理装置
JP4937791B2 (ja) * 2007-03-01 2012-05-23 三菱電機株式会社 レーダ画像処理装置
JP5137693B2 (ja) * 2008-05-30 2013-02-06 三菱電機株式会社 画像処理装置

Also Published As

Publication number Publication date
JP2010175381A (ja) 2010-08-12

Similar Documents

Publication Publication Date Title
Lv et al. Novel adaptive histogram trend similarity approach for land cover change detection by using bitemporal very-high-resolution remote sensing images
Sameen et al. Landslide detection using residual networks and the fusion of spectral and topographic information
JP5183512B2 (ja) 画像変化抽出装置
Du et al. An improved change detection approach using tri-temporal logic-verified change vector analysis
Nath et al. A survey of image classification methods and techniques
Hall et al. A multiscale object-specific approach to digital change detection
Marchesi et al. A context-sensitive technique robust to registration noise for change detection in VHR multispectral images
Colditz et al. Influence of image fusion approaches on classification accuracy: a case study
Zheng et al. Remote sensing techniques in the investigation of aeolian sand dunes: A review of recent advances
CN103198480B (zh) 基于区域和Kmeans聚类的遥感图像变化检测方法
Yang et al. River delineation from remotely sensed imagery using a multi-scale classification approach
Chehresa et al. Optimum features selection for oil spill detection in SAR image
Li et al. Iterative Deep Learning (IDL) for agricultural landscape classification using fine spatial resolution remotely sensed imagery
Han et al. The edge-preservation multi-classifier relearning framework for the classification of high-resolution remotely sensed imagery
Ouma et al. Multiscale remote sensing data segmentation and post-segmentation change detection based on logical modeling: Theoretical exposition and experimental results for forestland cover change analysis
Fan et al. Multitask GANs for oil spill classification and semantic segmentation based on SAR images
Mohammadi et al. Land cover mapping using a novel combination model of satellite imageries: case study of a part of the Cameron Highlands, Pahang, Malaysia.
Vukadinov et al. An algorithm for coastline extraction from satellite imagery
CN106971402A (zh) 一种基于光学辅助的sar图像变化检测方法
Venkateswaran et al. Performance analysis of k-means clustering for remotely sensed images
Ju et al. Modified diversity of class probability estimation co-training for hyperspectral image classification
Qiu et al. Object oriented land cover classification combining scale parameter preestimation and mean-shift segmentation
D'Addabbo et al. A Bayesian network for flood detection
Afshinfar et al. RS-based assessment: spatial-temporal changes in water basins of Tar and Havir Lakes
Abdollahi et al. Google Earth Engine for Advanced Land Cover Analysis from Landsat‐8 Data with Spectral and Topographic Insights

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130115

R150 Certificate of patent or registration of utility model

Ref document number: 5183512

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160125

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250