JP7028336B2 - 学習装置、学習方法および学習プログラム - Google Patents

Description

本発明は、学習装置、学習方法および学習プログラムに関する。

洪水、森林火災、火山噴火、地震、津波、干ばつ等の災害による被害の状況や、都市開発の状況を把握するために、衛星画像等の高所から撮影された画像を基に地表の状態が変化した領域を検出する技術である変化検出技術が開発されている。

上記の変化検出技術の例が、非特許文献１～非特許文献２に記載されている。非特許文献１には、前処理として撮影された画像を個別に補正する技術が記載されている。また、非特許文献２には、検出された地表の状態が変化した領域のうち、検出対象の変化以外の変化が生じている領域をマスクする（隠す）技術が記載されている。

また、非特許文献３には、太陽天頂角から太陽光スペクトルの成分を算出する方法が記載されている。

また、機械学習に使用可能なネットワークとして、非特許文献４にCNN(Convolutional Neural Network) が、非特許文献５にSAE(Sparse Auto Encoder)が、非特許文献６にDBN(Deep Belief Network)が、それぞれ記載されている。

R. Richter, and A. Muller, "De-shadowing of satellite/airborne imagery," R. Richter, and A. Muller, "De-shadowing of satellite/airborne imagery," Intl. Journal of Remote Sens. vo, 26, no. 15, Taylor & Francis, pp. 3137-3148, Aug 2005. L. Bruzzone and F. Bovolo, "A novel framework for the design of change detection systems for very-high-resolution remote sensing images," Proc. IEEE, vol. 101, no. 3, pp. 609-630, Mar 2013. Richard E. Bird and Carol Riordan, "Simple Solar Spectral Model for Direct and Diffuse Irradiance on Horizontal and Titled Planes at the Earth’s Surface for Cloudless Atmospheres," Journal of climate and applied meteorology, American Meteorological Society, pp. 87-97, 1986. A. Krizhevsky, I. Sutskever, and G. E. Hinton, "Imagenet classification with deep convolutional neural networks," in Proc. Adv. Neural Inf. Process. Syst., pp. 1097-1105, 2012. F. Zhang, B. Du, and L. Zhang, "Saliency-guided unsupervised feature learning for scene classification," IEEE Trans. Geosci. Remote Sens., vol. 53, no. 4, pp. 2175-2184, Apr 2015. G. E. Hinton, S. Osindero, and Y.-W. Teh, "A fast learning algorithm for deep belief nets," Neural Comput., vol. 18, no. 7, pp. 1527-1554, 2006.

しかし、上記の変化検出技術には、影の有無等の日照条件に起因する変化、雲や霧等の大気の状態の変化、および植物の季節変化等、被害の状況や都市開発の状況と無関係な検出対象外の変化も、検出対象の変化と共に検出してしまうという問題がある。

上記の問題を、図２２を参照して説明する。図２２は、２枚の画像から変化マップを生成する例を示す説明図である。図２２（ａ）は、上記の変化検出技術が検出対象外の変化を検出対象の変化と共に検出する例を示す。

図２２（ａ）に示すように、上記の変化検出技術が適用されている変化検出手段９９に、時刻(t-1) に撮影された画像I_t-1と、時刻t に撮影された画像I_tとが入力される。なお、画像I_t-1および画像I_tは、同一領域が撮影された画像である。

図２２（ａ）に示すように、画像I_t-1は、樹木と、樹木の影と、雲とを示す。また、画像I_tは、樹木と、樹木の影と、建物とを示す。画像I_tが示す内容には、画像I_t-1が示す内容に比べて、「樹木の影の位置が変化している」、「樹木の葉の色が変化している」、「雲が無い」、および「建物が存在している」という差異が存在する。

上記の差異のうち、検出対象の差異は、「建物が存在している」だけである。しかし、変化の検出に関して何ら設定が施されていない場合、変化検出手段９９は、画像I_t-1と画像I_tの間の全ての差異を変化マップに反映する。

図２２に示す変化マップは、変化が検出された領域を白色で示し、変化が検出されなかった領域を黒色で示す。従って、図２２（ａ）に示す一般的な変化マップには、「建物が存在している」に対応する建物の変化だけでなく、「樹木の影の位置が変化している」に対応する影の位置の変化、「樹木の葉の色が変化している」に対応する植物の季節変化、および「雲が無い」に対応する雲の変化も全て反映されている。

上述したように、影の位置の変化、植物の季節変化、および雲の変化は、変化マップに反映されるべきではない不要な変化である。図２２（ｂ）は、一般的な変化マップから不要な変化が除外された理想的な変化マップを示す。

図２２（ｂ）に示す理想的な変化マップには、「建物が存在している」に対応する建物の変化のみが反映されている。すなわち、検出対象の変化のみが変化マップに反映されている。

上述したように、撮影時刻が異なる複数の画像から、日照条件に起因する変化、大気の状態の変化、および森林の季節変化等のような検出対象外の変化を検出せず、検出対象の変化のみを検出できる技術が求められている。非特許文献１～非特許文献６には、検出対象の変化のみを検出できる技術が記載されていない。

そこで、本発明は、上述した課題を解決する、撮影時刻が異なる複数の画像間の変化から検出対象の変化のみを検出できる学習装置、学習方法および学習プログラムを提供することを目的とする。

本発明による学習装置は、複数の画像間の変化のうち所定の対象物の周期的な変化を表す画像の領域の組と、複数の画像間の変化のうち周期的な変化以外の変化を表す画像の領域の組とを少なくとも含む学習用データを用いて複数の画像間の変化のうち周期的な変化以外の変化を検出する処理を検出機に学習させる学習手段と、学習用データに含まれている画像の領域の撮影条件を示すデータを基に所定の対象物の周期的な変化を表すパラメタを算出する算出手段とを備え、学習手段は、算出されたパラメタと学習用データとを用いて学習させることを特徴とする。

本発明による学習方法は、複数の画像間の変化のうち所定の対象物の周期的な変化を表す画像の領域の組と、複数の画像間の変化のうち周期的な変化以外の変化を表す画像の領域の組とを少なくとも含む学習用データを用いて複数の画像間の変化のうち周期的な変化以外の変化を検出する処理を検出機に学習させ、学習用データに含まれている画像の領域の撮影条件を示すデータを基に所定の対象物の周期的な変化を表すパラメタを算出し、算出されたパラメタと学習用データとを用いて学習させることを特徴とする。

本発明による学習プログラムは、コンピュータに、複数の画像間の変化のうち所定の対象物の周期的な変化を表す画像の領域の組と、複数の画像間の変化のうち周期的な変化以外の変化を表す画像の領域の組とを少なくとも含む学習用データを用いて複数の画像間の変化のうち周期的な変化以外の変化を検出する処理を検出機に学習させる学習処理、および学習用データに含まれている画像の領域の撮影条件を示すデータを基に所定の対象物の周期的な変化を表すパラメタを算出する算出処理を実行させるための学習プログラムであって、学習処理で、算出されたパラメタと学習用データとを用いて学習させることを特徴とする。

本発明によれば、撮影時刻が異なる複数の画像間の変化から検出対象の変化のみを検出できる。

一般的な画像処理装置９１０の構成例を示すブロック図である。 画像処理装置９１０が変化マップを生成する例を示す説明図である。 一般的な画像処理装置９２０の構成例を示すブロック図である。 画像処理装置９２０が変化マップを生成する例を示す説明図である。 本発明による画像処理装置の第１の実施形態の構成例を示すブロック図である。 変化検出手段１３０の構成例を示すブロック図である。 変化検出手段１３０が不要な変化が含まれていない変化の特徴量を算出する例を示す説明図である。 モデルパラメタ算出手段１３１により算出されたモデルパラメタの例を示す説明図である。 影の位置の変化が含まれていない変化の特徴量の計算例を示す説明図である。 変化マップと信頼度マップの生成例を示す説明図である。 データセットの生成例を示す説明図である。 第１の実施形態の画像処理装置１００による変化マップおよび信頼度マップ生成処理の動作を示すフローチャートである。 第１の実施形態の画像処理装置１００によるデータセット生成処理の動作を示すフローチャートである。 本発明による学習装置の第２の実施形態の構成例を示すブロック図である。 学習装置２００が不要な変化以外の変化のみを検出する処理を学習させる例を示す説明図である。 第２の実施形態の学習装置２００による学習処理の動作を示すフローチャートである。 本発明による画像処理装置１００のハードウェア構成例を示す説明図である。 本発明による学習装置２００のハードウェア構成例を示す説明図である。 本発明による学習装置の概要を示すブロック図である。 本発明による画像処理装置の概要を示すブロック図である。 本発明による画像処理装置の他の概要を示すブロック図である。 ２枚の画像から変化マップを生成する例を示す説明図である。

最初に、非特許文献１～非特許文献２にそれぞれ記載されている各技術が検出対象の変化のみを検出することが困難である理由を、図面を参照して説明する。

図１は、一般的な画像処理装置９１０の構成例を示すブロック図である。図１に示す画像処理装置９１０には、非特許文献１に記載されている技術が適用されている。図１に示すように、画像処理装置９１０は、第１補正手段９１１と、第２補正手段９１２と、特徴量算出手段９１３と、変化画素検出手段９１４とを備える。

第１補正手段９１１は、入力された観測画像内の影を補正する機能を有する。また、第２補正手段９１２は、入力された参照画像内の影を補正する機能を有する。第１補正手段９１１および第２補正手段９１２は、「影の反射率が０、水域なし」という仮定の条件が満たされるように影を補正する。

特徴量算出手段９１３は、影が補正された観測画像と、影が補正された参照画像との間の変化の度合いを示す変化の特徴量を算出する機能を有する。また、変化画素検出手段９１４は、算出された変化の特徴量を基に変化画素を検出し、検出された変化画素を基に変化マップを生成する機能を有する。

図２は、画像処理装置９１０が変化マップを生成する例を示す説明図である。図２に示す例では、最初に時刻(t-1) に撮影された画像I_t-1が第１補正手段９１１に入力される。また、時刻t に撮影された画像I_tが第２補正手段９１２に入力される。なお、画像I_t-1、画像I_tは、図２２に示す画像I_t-1、画像I_tとそれぞれ同様である。

図２に示すように、第１補正手段９１１は、入力された画像I_t-1内の影を消去する第１補正処理を行う。しかし、図２に示すように、第１補正処理を経た画像I_t-1では、影だけでなく雲も補正されている。雲の補正は、第１補正手段９１１による補正誤差が原因で生じた補正である。補正誤差が生じた理由は、仮定の条件が満たされるように第１補正手段９１１が影を補正したためである。

また、図２に示すように、第２補正手段９１２は、入力された画像I_t内の影を消去する第２補正処理を行う。しかし、図２に示すように、第２補正処理を経た画像I_tでは、影は完全に消去されておらず、さらに植物の季節変化までも補正されている。両者の補正は、第２補正手段９１２による補正誤差が原因で生じた補正である。補正誤差が生じた理由は、仮定の条件が満たされるように第２補正手段９１２が影を補正したためである。

特徴量算出手段９１３は、補正誤差を伴う画像I_t-1と、補正誤差を伴う画像I_tとの間の変化の特徴量を算出する。また、変化画素検出手段９１４は、算出された変化の特徴量を基に変化画素を検出し、検出された変化画素を基に変化マップを生成する。

画像処理装置９１０による変化検出処理を経て生成された変化マップには、図２に示すように、補正誤差が原因で生じた影の位置の変化、植物の季節変化、および雲の変化の、不要な変化が反映されている。

上述したように、画像処理装置９１０には、補正処理において補正誤差を発生させずに満たすことができる条件が限られているという課題が存在する。また、補正処理において条件を満たすことができない場合もあるため、画像処理装置９１０の各補正手段が必ずしも正しく影を補正できるわけではないという課題も存在する。

図３は、一般的な画像処理装置９２０の構成例を示すブロック図である。図３に示す画像処理装置９２０には、非特許文献２に記載されている技術が適用されている。図３に示すように、画像処理装置９２０は、特徴量算出手段９２１と、変化画素検出手段９２２と、不要変化領域検出手段９２３と、不要変化除去手段９２４とを備える。

特徴量算出手段９２１は、観測画像と参照画像との間の変化の特徴量を算出する機能を有する。また、変化画素検出手段９２２は、算出された変化の特徴量を基に変化画素を検出し、検出された変化画素を基に第１変化マップを生成する機能を有する。

不要変化領域検出手段９２３は、観測画像と参照画像との間の検出対象外の変化が生じている領域を不要変化領域として検出する機能を有する。不要変化領域検出手段９２３は、検出された不要変化領域が表された不要変化マップを生成する。また、不要変化除去手段９２４は、第１変化マップと不要変化マップとの差分をとることによって、第２変化マップを生成する機能を有する。

図４は、画像処理装置９２０が変化マップを生成する例を示す説明図である。図４に示す例では、最初に時刻(t-1) に撮影された画像I_t-1および時刻t に撮影された画像I_tが、特徴量算出手段９２１と不要変化領域検出手段９２３にそれぞれ入力される。なお、画像I_t-1、画像I_tは、図２２に示す画像I_t-1、画像I_tとそれぞれ同様である。

特徴量算出手段９２１は、画像I_t-1と画像I_tとの間の変化の特徴量を算出する。また、変化画素検出手段９２２は、算出された変化の特徴量を基に変化画素を検出し、検出された変化画素を基に第１変化マップを生成する。

図４に示すように、変化画素検出手段９２２による変化検出処理を経て生成された第１変化マップには、図２２（ａ）に示す一般的な変化マップと同様に全ての変化が反映されている。

また、図４に示すように、不要変化領域検出手段９２３は、画像I_t-1と画像I_tとの間の不要変化領域を検出し、検出された不要変化領域が表された不要変化マップを生成する不要な変化の検出処理を行う。図４に示すように、不要変化領域検出手段９２３による不要な変化の検出処理を経て生成された不要変化マップには、検知対象外の変化のみが反映されている。

不要変化除去手段９２４は、第１変化マップから不要変化マップを減算することによって第２変化マップを生成する不要な変化の除去処理を行う。

不要変化除去手段９２４による不要な変化の除去処理を経て生成された第２変化マップには、理論的には検知対象の変化のみが反映されているはずである。しかし、図４に示すように、第２変化マップには、樹木の影内で生じた建物の変化が反映されていない。

その理由は、単純に影の変化が生じている領域を全て除去するというアルゴリズムが画像処理装置９２０に適用されているためである。すなわち、画像処理装置９２０には、影内の変化を検出できないという課題が存在する。

以上のように、非特許文献１～非特許文献２にそれぞれ記載されている各技術は、検出対象の変化のみを検出することが困難である。よって、本発明は、検出機を検出対象の変化のみを高精度に検出でき、かつ影内の変化も検出可能にするための学習装置、および画像処理装置を提供する。

実施形態１．
［構成の説明］
以下、本発明の実施形態を、図面を参照して説明する。図５は、本発明による画像処理装置の第１の実施形態の構成例を示すブロック図である。

本実施形態の画像処理装置１００は、異なる２つの時刻にそれぞれ撮影された画像間の変化、および各画像のメタデータ間の変化をそれぞれ検出する。変化を検出した後、画像処理装置１００は、変化マップ、および画素ごとの信頼度合いを示す信頼度マップをそれぞれ生成する。

次いで、画像処理装置１００は、生成された信頼度マップに基づいて、信頼可能な画素の周辺に対応する領域を２つの画像および変化マップからそれぞれ抽出し、抽出された領域とメタデータとを合わせることによってデータセットを生成する。生成されたデータセットは、検出対象の変化のみを検出するための学習に用いられる。

図５に示すように、画像処理装置１００は、衛星画像データベース（ＤＢ）１１０と、地球観測手段１２０と、変化検出手段１３０と、メタデータ抽出手段１４０と、データセット生成手段１５０とを備える。

衛星画像ＤＢ１１０には、人工衛星により撮影された参照用の画像、および参照用の画像のメタデータが格納されている。衛星画像ＤＢ１１０から、参照時刻に撮影された画像、および参照時刻に撮影された画像のメタデータが出力される。

地球観測手段１２０は、観測対象の地表の状態を撮影する機能を有する。地球観測手段１２０から、任意の時刻に撮影された画像、および任意の時刻に撮影された画像のメタデータが出力される。

画像のメタデータは、画像が撮影された時の撮影条件を示すデータである。画像のメタデータには、例えば撮影時刻の人工衛星の位置を示すデータや、撮影に用いられたアンテナの方向を示すデータが含まれる。

変化検出手段１３０は、参照時刻に撮影された画像および参照時刻に撮影された画像のメタデータと、任意の時刻に撮影された画像および任意の時刻に撮影された画像のメタデータとを基に、変化マップと信頼度マップとを生成する機能を有する。

例えば、変化検出手段１３０は、太陽天頂角や日時等を示すメタデータから算出された後述するモデルパラメタを用いて、不要な変化をもたらす条件に応じて変化するスペクトルの範囲を限定する。

不要な変化は、上述したように日照条件に起因する変化、大気の状態の変化、および森林の季節変化等である。すなわち、本実施形態の不要な変化は、撮影環境に応じた周期的な変化とも言える。

スペクトルの範囲を限定することによって、変化検出手段１３０は、不要な変化が含まれていない変化の度合いを示す変化の特徴量を算出する。次いで、変化検出手段１３０は、算出された変化の特徴量を基に変化画素を検出する。変化検出手段１３０は、検出された変化画素を分類すると共に、検出の信頼度も画素ごとに算出する。

メタデータ抽出手段１４０は、参照時刻に撮影された画像のメタデータおよび任意の時刻に撮影された画像のメタデータから、データセットに求められるメタデータを抽出する機能を有する。

データセット生成手段１５０は、生成された変化マップと信頼度マップ、および参照時刻に撮影された画像と任意の時刻に撮影された画像を基に、学習に用いられるデータセットを生成する機能を有する。

図６は、変化検出手段１３０の構成例を示すブロック図である。図６に示すように、変化検出手段１３０は、モデルパラメタ算出手段１３１と、特徴量算出手段１３２と、変化画素検出手段１３３と、信頼度算出手段１３４とを含む。

モデルパラメタ算出手段１３１は、任意の時刻に撮影された画像のメタデータを基に任意の時刻のモデルパラメタを、参照時刻に撮影された画像のメタデータを基に参照時刻のモデルパラメタをそれぞれ算出する機能を有する。

本実施形態のモデルパラメタは、撮影時の周期的な変化の状態を表す環境のデータや対象物のデータである。すなわち、モデルパラメタ算出手段１３１は、画像のメタデータを基に周期的な変化の状態を表すモデルパラメタを算出する手段である。

特徴量算出手段１３２は、参照時刻に撮影された画像と任意の時刻に撮影された画像、および算出された各モデルパラメタを基に、不要な変化が含まれていない変化の特徴量を算出する機能を有する。

変化画素検出手段１３３は、算出された不要な変化が含まれていない変化の特徴量を基に変化マップを生成する機能を有する。また、信頼度算出手段１３４は、算出された不要な変化が含まれていない変化の特徴量を基に信頼度マップを生成する機能を有する。

以下、画像処理装置１００がデータセットを生成する例を、図面を参照して説明する。図７は、変化検出手段１３０が不要な変化が含まれていない変化の特徴量を算出する例を示す説明図である。

図７に示すように、本例では衛星画像ＤＢ１１０が時刻(t-1) に撮影された画像I_t-1と、画像I_t-1のメタデータとを出力する。また、地球観測手段１２０が時刻t に撮影された画像I_tと、画像I_tのメタデータとを出力する。なお、画像I_t-1、画像I_tは、図２２に示す画像I_t-1、画像I_tとそれぞれ同様である。

モデルパラメタ算出手段１３１は、画像I_t-1のメタデータを基に時刻(t-1) のモデルパラメタを算出する。また、モデルパラメタ算出手段１３１は、画像I_tのメタデータを基に時刻t のモデルパラメタを算出する。

以下、モデルパラメタ算出手段１３１によるモデルパラメタの算出例を示す。モデルパラメタ算出手段１３１は、例えば、メタデータが示す太陽天頂角θと画像が示す地点の緯度および経度とを入力とし、大気の放射伝達モデルに従って太陽光スペクトルの直達光の成分（以下、直達成分ともいう。）s_dと散乱光の成分（以下、散乱成分ともいう。）s_sを、それぞれ以下のように算出する。

[s_d,t,s_s,t] = f_Bird(θ_t), [s_d,t-1,s_s,t-1] = f_Bird(θ_t-1) ・・・式（１）

なお、式（１）における添字t は、時刻t のデータであることを示す。同様に添字t-1 は、時刻(t-1) のデータであることを示す。また、式（１）における関数f_Bird は、非特許文献３に記載されている関数である。また、直達成分s_dと散乱成分s_sは、それぞれベクトルである。

算出された太陽光スペクトルの直達成分s_dと散乱成分s_sは、撮影時の太陽光の状態を表す。また、太陽光スペクトルの直達成分s_dと散乱成分s_sは、影による画像の変化の仕方を示唆する。

また、モデルパラメタ算出手段１３１は、例えば、メタデータが示す画像が撮影された日時、および画像が示す地点の緯度と経度から、太陽天頂角θを算出してもよい。また、モデルパラメタ算出手段１３１は、太陽天頂角θと併せて太陽方位角を算出してもよい。

また、モデルパラメタ算出手段１３１は、例えば、画像を撮影した人工衛星の天頂角を算出してもよい。また、モデルパラメタ算出手段１３１は、人工衛星の天頂角と併せて人工衛星の方位角を算出してもよい。

また、モデルパラメタ算出手段１３１は、例えば、メタデータが示す画像が撮影された月日や日時と、画像が示す地点の緯度および経度とを入力とし、植物の季節変化のモデルに従って画像が撮影された季節の植生のスペクトルを算出してもよい。また、モデルパラメタ算出手段１３１は、植生のスペクトルと共に、植生指標の一種であるNDVI(Normalized Difference Vegetation Index)、およびCO₂ 吸収量をそれぞれ算出してもよい。

算出される各情報は、撮影時の植生の状態を表す情報である。また、算出される各情報は、森林の季節変化の仕方を示唆する。モデルパラメタ算出手段１３１は、植物群落を示す地図と合わせて画素ごとに各情報を算出してもよい。

また、モデルパラメタ算出手段１３１は、例えばメタデータが示す太陽方位角と観測方位角とを入力とし、幾何モデルに従って画像に対する相対的な太陽方位角を算出してもよい。

画像に対する相対的な太陽方位角は、撮影時に影ができる方向を表す情報である。モデルパラメタ算出手段１３１は、画像に対する相対的な太陽方位角と太陽天頂角とを合わせて、影ができる方向と影の長さを示唆する情報としてもよい。

図８は、モデルパラメタ算出手段１３１により算出されたモデルパラメタの例を示す説明図である。図８に示す各ベクトルの添字t は、時刻t のデータであることを示す。同様に図８に示す各ベクトルの添字t-1 は、時刻(t-1) のデータであることを示す。

図８（ａ）は、太陽光スペクトルの直達成分s_dの状態と散乱成分s_sの状態を表すベクトルを示す。図８（ａ）に示す各条件がそれぞれ満たされるとき、ベクトルの各成分はそれぞれ１になる。なお、図８（ａ）に示す各条件における「バンド」は、バンドスペクトルを意味する。

また、モデルパラメタ算出手段１３１は、太陽光スペクトルの成分の状態を表すベクトルの代わりに、波長ごとの各強度を表すベクトルそのものを算出してもよい。

図８（ｂ）は、植物のNDVIの状態を表すベクトルを示す。NDVIの値が図８（ｂ）に示すいずれの範囲内の値であるかによって、１になるベクトルの成分が決定される。なお、モデルパラメタ算出手段１３１は、植物のNDVIの状態を表すベクトルの代わりに、NDVIの値を表すスカラそのものを算出してもよい。

図８（ｃ）は、撮影時の画像に対する相対的な太陽方位角の状態を表すベクトルを示す。太陽方位角の値が図８（ｃ）に示すいずれの範囲内の値であるかによって、１になるベクトルの成分が決定される。なお、モデルパラメタ算出手段１３１は、相対的な太陽方位角の状態を表すベクトルの代わりに、太陽方位角を表すスカラそのものを算出してもよい。

以上のように、モデルパラメタ算出手段１３１は、複数の画像の各撮影条件を示すデータを基に複数の画像に渡って表示されている所定の対象物の周期的な変化を表すパラメタを算出する。モデルパラメタ算出手段１３１は、算出された時刻(t-1) のモデルパラメタおよび時刻t のモデルパラメタを、特徴量算出手段１３２に入力する。

特徴量算出手段１３２は、画像I_t-1、画像I_t、および算出された時刻(t-1) のモデルパラメタと時刻t のモデルパラメタを基に、不要な変化が含まれていない変化の特徴量を算出する。

特徴量算出手段１３２は、例えば物理モデルに基づいて不要な変化が含まれていない変化の特徴量を画素ごとに算出する。次いで、特徴量算出手段１３２は、不要な変化が含まれていない変化の特徴量を示す変化マップを生成する。

図７に示す変化マップの領域は、色が白色に近いほど変化が大きい領域になる。図７に示す変化マップにおける格子模様の領域は、白色の領域よりは変化が大きくない領域である。

また、図７に示す変化マップにおける破線の楕円で囲まれた白色の点は、ノイズが原因で変化が生じた領域である。また、図７に示す変化マップにおける横線模様の領域は、モデル自体の誤差（モデル誤差）が原因で変化が生じた領域である。

以下、不要な変化が含まれていない変化の特徴量の算出例を示す。図９は、影の位置の変化が含まれていない変化の特徴量の計算例を示す説明図である。例えば、図９に示すように、特徴量算出手段１３２は、観測波長数と同次元のスペクトル空間における任意の画素の変化ベクトルc を計算する。

図９に示すように、変化ベクトルc は、モデルパラメタ算出手段１３１により算出された太陽光スペクトルの直達成分s_dと散乱成分s_s、および標準的な太陽光スペクトルs_std が用いられて算出される。図９に示す斜線模様の領域は、影の位置が変化することによって変化ベクトルc が取り得る範囲を表す。

原点から変化ベクトルc までの最短距離は、図９に示す式で求められる。求められた最短距離が、影の位置の変化が含まれていない変化の特徴量i_cf に相当する。

以上のように、特徴量算出手段１３２は、モデルパラメタ算出手段１３１により算出されたモデルパラメタと複数の画像とを用いて複数の画像間の変化から周期的な変化（例えば、影の位置の変化）が除去された変化の度合いを示す特徴量を算出できる。なお、特徴量算出手段１３２は、図９に示す方法以外の方法で不要な変化が含まれていない変化の特徴量を算出してもよい。

図１０は、変化マップと信頼度マップの生成例を示す説明図である。特徴量算出手段１３２は、算出された不要な変化が含まれていない変化の特徴量を、変化画素検出手段１３３と信頼度算出手段１３４に入力する。

変化画素検出手段１３３は、例えば入力された変化の特徴量のうち、所定の閾値以上の変化の特徴量のみを反映することによって変化マップを生成する。例えば、図１０に示す変化マップでは、不要な変化が含まれていない変化の特徴量を示す変化マップにおける白色の領域と、横線模様の領域とが「変化有」の領域として表されている。

また、信頼度算出手段１３４は、例えば入力された変化の特徴量のうち、所定の閾値以上の変化の特徴量のみを反映することによって信頼度マップを生成する。また、信頼度算出手段１３４は、入力された変化の特徴量のうち、分散が所定の閾値以下の変化の特徴量のみを反映することによって信頼度マップを生成してもよい。すなわち、信頼度算出手段１３４は、特徴量算出手段１３２により算出された特徴量の信頼度を算出する。

図１０に示す信頼度マップは、信頼度が有る領域を白色で示し、信頼度が無い領域を黒色で示す。例えば、図１０に示す信頼度マップでは、不要な変化が含まれていない変化の特徴量を基に「ノイズ有」とされた領域と「モデル誤差有」とされた領域とが、「信頼度無」の領域として表されている。

図１１は、データセットの生成例を示す説明図である。データセット生成手段１５０は、信頼度マップで「信頼度有」とされた領域の各画素に対応する画素の変化マップの値と、各時刻の画像における画素の周辺領域とを関連付けて抽出する。なお、データセット生成手段１５０は、対応する画素の周辺領域の値を変化マップの値として抽出してもよい。

図１１に示す例であれば、データセット生成手段１５０は、信頼度マップにおける破線の矩形内の領域に対応する変化マップにおける破線の矩形内の領域の値を、変化マップの値として抽出する。抽出された値は「変化有」を示すので、図１１に示すデータセットの１列目のデータの変化の有無が、白色の矩形で表されている。

なお、抽出された値が「変化無」を示す場合、変化の有無は、黒色の矩形で表される。また、変化の有無の代わりに、変化マップの値自体がデータに含まれてもよい。

また、データセット生成手段１５０は、画像I_t-1における破線の矩形内の領域と、画像I_tにおける破線の矩形内の領域とを関連付けて抽出する。なお、データセット生成手段１５０は、矩形内の領域の代わりに矩形内の中心画素を抽出してもよい。

また、メタデータ抽出手段１４０は、画像I_t-1の抽出された領域に関するメタデータ、および画像I_tの抽出された領域に関するメタデータをそれぞれ抽出する。データセット生成手段１５０は、抽出された各画像領域、抽出された各メタデータ、および変化の有無とを合わせることによって、図１１に示すデータセット内の各データを生成する。以上の処理により、図１１に示すデータセットが生成される。

本実施形態の変化検出手段１３０は、複数の画像間の変化から所定の対象物の周期的な変化が除去された変化の度合いを示す複数の特徴量を画像を構成する画素ごとに示す変化情報（例えば、変化マップ）と、複数の特徴量の各信頼度を画素ごとに示す信頼度情報（例えば、信頼度マップ）とを生成する。

次いで、本実施形態のデータセット生成手段１５０は、生成された信頼度情報が示す信頼度が所定値以上の特徴量に対応する画素を含む領域を複数の画像からそれぞれ抽出し、生成された変化情報から所定値以上の特徴量を抽出する。また、データセット生成手段１５０は、抽出された各領域と、抽出された所定値以上の特徴量と、複数の画像の各撮影条件を示すデータとが対応付けられた学習用データを生成する。

［動作の説明］
以下、本実施形態の画像処理装置１００の変化マップおよび信頼度マップを生成する動作を図１２を参照して説明する。図１２は、第１の実施形態の画像処理装置１００による変化マップおよび信頼度マップ生成処理の動作を示すフローチャートである。

最初に、地球観測手段１２０は、任意の時刻に撮影された画像、および任意の時刻に撮影された画像のメタデータを変化検出手段１３０に入力する（ステップS101）。

次いで、衛星画像ＤＢ１１０は、参照時刻に撮影された画像、および参照時刻に撮影された画像のメタデータを変化検出手段１３０に入力する（ステップS102）。

次いで、モデルパラメタ算出手段１３１は、任意の時刻に撮影された画像のメタデータを基に任意の時刻のモデルパラメタを算出する。また、モデルパラメタ算出手段１３１は、参照時刻に撮影された画像のメタデータを基に参照時刻のモデルパラメタを算出する（ステップS103）。モデルパラメタ算出手段１３１は、算出された各モデルパラメタを特徴量算出手段１３２に入力する。

次いで、特徴量算出手段１３２は、参照時刻に撮影された画像と任意の時刻に撮影された画像、およびステップS103で算出された各モデルパラメタを用いて、不要な変化が含まれていない変化の特徴量を算出する（ステップS104）。特徴量算出手段１３２は、算出された特徴量を変化画素検出手段１３３および信頼度算出手段１３４に入力する。

次いで、変化画素検出手段１３３は、算出された不要な変化が含まれていない変化の特徴量を用いて、変化の有無を画素ごとに表す変化マップを生成する（ステップS105）。

次いで、信頼度算出手段１３４は、算出された不要な変化が含まれていない変化の特徴量を用いて、ステップS105で生成された変化マップの信頼度合いを画素ごとに表す信頼度マップを生成する（ステップS106）。信頼度マップを生成した後、画像処理装置１００は、変化マップおよび信頼度マップ生成処理を終了する。

次に、本実施形態の画像処理装置１００のデータセットを生成する動作を図１３を参照して説明する。図１３は、第１の実施形態の画像処理装置１００によるデータセット生成処理の動作を示すフローチャートである。

最初に、地球観測手段１２０は、任意の時刻に撮影された画像をデータセット生成手段１５０に入力する。また、地球観測手段１２０は、任意の時刻に撮影された画像のメタデータをメタデータ抽出手段１４０に入力する（ステップS111）。

次いで、衛星画像ＤＢ１１０は、参照時刻に撮影された画像をデータセット生成手段１５０に入力する。また、衛星画像ＤＢ１１０は、参照時刻に撮影された画像のメタデータをメタデータ抽出手段１４０に入力する（ステップS112）。

次いで、変化検出手段１３０は、生成された変化マップおよび信頼度マップをデータセット生成手段１５０に入力する（ステップS113）。

次いで、データセット生成手段１５０は、信頼度マップにおける信頼可能な各画素の周辺に対応する領域を、参照時刻に撮影された画像、任意の時刻に撮影された画像、および変化マップからそれぞれ抽出する（ステップS114）。データセット生成手段１５０は、抽出された各領域をメタデータ抽出手段１４０に入力する。

次いで、メタデータ抽出手段１４０は、参照時刻に撮影された画像のメタデータおよび任意の時刻に撮影された画像のメタデータから、ステップS114で抽出された各領域に関するメタデータをそれぞれ抽出する（ステップS115）。メタデータ抽出手段１４０は、抽出された各メタデータをデータセット生成手段１５０に入力する。

次いで、データセット生成手段１５０は、抽出された各画像の領域と、抽出された各メタデータと、抽出された変化マップの領域の値に対応する変化の有無とが対応付けられたデータで構成されるデータセットを生成する（ステップS116）。データセットを生成した後、画像処理装置１００は、データセット生成処理を終了する。

［効果の説明］
本実施形態の画像処理装置１００は、異なる２つの時刻の画像および各画像のメタデータから変化を検出し、変化マップおよび画素ごとの信頼度合いを示す信頼度マップを生成する変化検出手段１３０を備える。

また、画像処理装置１００は、信頼度マップにおける信頼可能な画素の周辺に対応する領域を２つの時刻の画像および変化マップからそれぞれ抽出し、メタデータと合わせることによってデータセットを生成するデータセット生成手段１５０を備える。

また、変化検出手段１３０は、太陽天頂角や日時等のメタデータから算出されたモデルパラメタを用いて、不要な変化をもたらす条件に応じて変化するスペクトルの範囲を限定することによって、不要な変化が含まれていない変化の特徴量を算出する特徴量算出手段１３２を含む。不要な変化は、日照条件に起因する変化、大気の状態の変化、および森林の季節変化等である。

また、変化検出手段１３０は、算出された変化の特徴量を基に変化画素を検出し、検出された変化画素を分類する変化画素検出手段１３３と、検出の信頼度を画素ごとに算出する信頼度算出手段１３４とを含む。

よって、本実施形態の画像処理装置１００は、不要な変化を検出せずに検出対象の変化のみを検出する処理の学習に要するデータセットを生成できる。

実施形態２．
［構成の説明］
次に、本発明による学習装置の第２の実施形態を、図面を参照して説明する。図１４は、本発明による学習装置の第２の実施形態の構成例を示すブロック図である。

本実施形態の学習装置２００は、同一地点が撮影された異なる２つの時刻の画像領域の組、画像領域の変化の有無、および各画像領域に関するメタデータを含む多数のデータで構成されるデータセットを用いて、不要な変化以外の変化のみを検出する処理を機械に学習させる装置である。

すなわち、不要な変化以外の変化のみを検出する処理を学習した変化検出機は、不要な変化を検出しない。不要な変化は、日照条件に起因する変化、大気の状態の変化、および森林の季節変化等である。

図１４に示すように、学習装置２００は、モデルパラメタ算出手段２１０と、機械学習手段２２０とを備える。また、学習装置２００には、第１の実施形態の画像処理装置１００からデータセットが入力される。

また、図１４に示すように、学習装置２００は、変化検出機３００と通信可能に接続されている。学習を終えた変化検出機３００が、同一地点が撮影された異なる２つの時刻の画像から、不要な変化以外の変化のみを検出する。

モデルパラメタ算出手段２１０は、データセット内の任意の時刻に撮影された画像のメタデータを基に任意の時刻のモデルパラメタを、データセット内の参照時刻に撮影された画像のメタデータを基に参照時刻のモデルパラメタをそれぞれ算出する機能を有する。モデルパラメタ算出手段２１０が有する機能は、第１の実施形態のモデルパラメタ算出手段１３１が有する機能と同様である。

機械学習手段２２０は、同一地点が撮影された異なる２つの時刻の画像領域と、画像領域の変化の有無と、各画像領域に関するモデルパラメタとの組を用いて、不要な変化以外の変化のみを検出する処理を機械に学習させる機能を有する。

以下、学習装置２００が変化検出機３００に変化検出処理を学習させる例を、図面を参照して説明する。図１５は、学習装置２００が不要な変化以外の変化のみを検出する処理を学習させる例を示す説明図である。

図１５に示すデータセットは、図１１に示すデータセットと同一である。データセットが入力されたモデルパラメタ算出手段２１０は、各画像のメタデータを基にモデルパラメタをそれぞれ算出する。算出した後、モデルパラメタ算出手段２１０は、メタデータの代わりにモデルパラメタが含まれているデータセットを機械学習手段２２０に入力する。

モデルパラメタが含まれているデータセットが入力された機械学習手段２２０は、変化検出機３００に不要な変化以外の変化のみを検出する処理を学習させる。

図１５に示す例であれば、機械学習手段２２０は、変化検出機３００を構成するネットワークに時刻(t-1) のモデルパラメタ、時刻t のモデルパラメタ、時刻(t-1) の画像領域、時刻t の画像領域がそれぞれ入力されると対応する変化の有無を出力する処理を変化検出機３００に学習させる。なお、図１５に示す例における時刻(t-1) のモデルパラメタ、時刻t のモデルパラメタはそれぞれ、太陽天頂角θ_t-1 、太陽天頂角θ_t である。

また、時刻(t-1) のモデルパラメタ、時刻t のモデルパラメタは、図８（ａ）に示す太陽光スペクトルの直達光の成分s_dの状態と散乱光の成分s_sの状態を表すベクトルでもよい。図８（ａ）に示す２つのベクトルが直接機械学習手段２２０に入力されると、機械学習手段２２０は、周期的な変化を除外し、周期的な変化以外の変化を検出する処理を変化検出機３００に学習させる。

また、時刻(t-1) のモデルパラメタ、時刻t のモデルパラメタは、図８（ｂ）に示す植物のNDVIの状態を表すベクトルでもよいし、図８（ｃ）に示す撮影時の画像に対する相対的な太陽方位角の状態を表すベクトルでもよい。

また、変化検出機３００を構成するネットワークは、非特許文献４に記載されているCNN 、非特許文献５に記載されているSAE 、および非特許文献６に記載されているDBN 等、機械学習に使用可能なネットワークであれば、どのようなネットワークでもよい。

不要な変化以外の変化のみを検出する処理を学習した変化検出機３００は、同一地点が撮影された異なる２つの時刻の画像から、不要な変化を検出せずに、検出対象の変化のみを検出する。

本実施形態の機械学習手段２２０は、複数の画像間の変化のうち所定の対象物の周期的な変化を表す画像の領域の組と、複数の画像間の変化のうち周期的な変化以外の変化を表す画像の領域の組とを少なくとも含む学習用データを用いて複数の画像間の変化のうち周期的な変化以外の変化を検出する処理を検出機に学習させる。

また、本実施形態のモデルパラメタ算出手段２１０は、学習用データに含まれている画像の領域の撮影条件を示すデータを基に所定の対象物の周期的な変化を表すパラメタを算出する。機械学習手段２２０は、算出されたパラメタと学習用データとを用いて検出機に学習させる。

モデルパラメタが用いられて機械学習が行われる利点は、機械学習が容易になることである。例えば、モデルパラメタが含まれていないデータセットが与えられた状態で機械学習が行われる場合、データセットには、多くのパターンの変化に関するデータが含まれていることが求められる。しかし、多様なデータで構成されるデータセットを用意することは、困難である。

モデルパラメタが用いられて機械学習が行われる場合、学習装置２００は、データセットに存在しない変化のパターンであっても、モデルパラメタを基に類似する変化に関するデータを変化検出機３００に参照させて、変化のパターンを類推させることができる。すなわち、利用者は、データセットに含めるデータの種類を減らすことができる。

［動作の説明］
以下、本実施形態の学習装置２００の変化検出機３００に変化検出処理を学習させる動作を図１６を参照して説明する。図１６は、第２の実施形態の学習装置２００による学習処理の動作を示すフローチャートである。

最初に、画像処理装置１００は、生成されたデータセットを学習装置２００に入力する（ステップS201）。

次いで、モデルパラメタ算出手段２１０は、任意の時刻に撮影された画像のメタデータを基に任意の時刻のモデルパラメタを算出する。また、モデルパラメタ算出手段２１０は、参照時刻に撮影された画像のメタデータを基に参照時刻のモデルパラメタを算出する（ステップS202）。モデルパラメタ算出手段２１０は、算出されたモデルパラメタが含まれるデータセットを機械学習手段２２０に入力する。

次いで、機械学習手段２２０は、入力されたデータセットを用いて不要な変化を検出せずに検出対象の変化のみを検出する処理を変化検出機３００に学習させる（ステップS203）。

具体的には、機械学習手段２２０は、影の位置の変化、雲の状態の変化、および植物の季節変化等の不要な変化を検出せずに検出対象の変化のみを検出する処理を、データセットを用いて変化検出機３００に学習させる。学習させた後、学習装置２００は、学習処理を終了する。

［効果の説明］
本実施形態の学習装置２００は、同一地点が撮影された異なる２つの時刻の画像領域の組、画像領域の変化の有無、および各画像領域の観測時刻におけるモデルパラメタを含むデータを用いて、不要な変化を検出せずに検出対象の変化のみを検出する処理を機械に学習させる機械学習手段２２０を備える。不要な変化は、日照条件に起因する変化、大気の状態の変化、および森林の季節変化等である。

よって、本実施形態の学習装置２００は、不要な変化を検出せずに検出対象の変化のみを検出する処理を変化検出機３００に学習させることができる。学習した変化検出機３００は、撮影時刻が異なる複数の画像間の変化から検出対象の変化のみを検出できる。

なお、第１の実施形態の画像処理装置１００と第２の実施形態の学習装置２００は、それぞれ独立に使用されてもよいし、同一のシステムに含まれた状態で使用されてもよい。

以下、第１の実施形態の画像処理装置１００のハードウェア構成の具体例、および第２の実施形態の学習装置２００のハードウェア構成の具体例を説明する。

図１７は、本発明による画像処理装置１００のハードウェア構成例を示す説明図である。図１７に示す画像処理装置１００は、ＣＰＵ（Central Processing Unit）１０１と、主記憶部１０２と、通信部１０３と、補助記憶部１０４とを備える。また、ユーザが操作するための入力部１０５や、ユーザに処理結果または処理内容の経過を提示するための出力部１０６を備えてもよい。

図１８は、本発明による学習装置２００のハードウェア構成例を示す説明図である。図１８に示す学習装置２００は、ＣＰＵ２０１と、主記憶部２０２と、通信部２０３と、補助記憶部２０４とを備える。また、ユーザが操作するための入力部２０５や、ユーザに処理結果または処理内容の経過を提示するための出力部２０６を備えてもよい。

主記憶部１０２および主記憶部２０２は、データの作業領域やデータの一時退避領域として用いられる。主記憶部１０２および主記憶部２０２は、例えばＲＡＭ（Random Access Memory）である。

通信部１０３および通信部２０３は、有線のネットワークまたは無線のネットワーク（情報通信ネットワーク）を介して、周辺機器との間でデータを入力および出力する機能を有する。

補助記憶部１０４および補助記憶部２０４は、一時的でない有形の記憶媒体である。一時的でない有形の記憶媒体として、例えば磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）、半導体メモリが挙げられる。

入力部１０５および入力部２０５は、データや処理命令を入力する機能を有する。入力部１０５および入力部２０５は、例えばキーボードやマウス等の入力デバイスである。

出力部１０６および出力部２０６は、データを出力する機能を有する。出力部１０６および出力部２０６は、例えば液晶ディスプレイ装置等の表示装置、またはプリンタ等の印刷装置である。

また、図１７に示すように、画像処理装置１００において、各構成要素は、システムバス１０７に接続されている。また、図１８に示すように、学習装置２００において、各構成要素は、システムバス２０７に接続されている。

補助記憶部１０４は、例えば、図５に示す地球観測手段１２０、変化検出手段１３０、メタデータ抽出手段１４０、およびデータセット生成手段１５０を実現するためのプログラムを記憶している。また、主記憶部１０２は、例えば、衛星画像ＤＢ１１０の記憶領域として利用される。

なお、画像処理装置１００は、ハードウェアにより実現されてもよい。例えば、画像処理装置１００は、内部に図５に示すような機能を実現するプログラムが組み込まれたＬＳＩ（Large Scale Integration）等のハードウェア部品が含まれる回路が実装されてもよい。

また、画像処理装置１００は、図１７に示すＣＰＵ１０１が図５に示す各構成要素が有する機能を提供するプログラムを実行することによって、ソフトウェアにより実現されてもよい。

ソフトウェアにより実現される場合、ＣＰＵ１０１が補助記憶部１０４に格納されているプログラムを、主記憶部１０２にロードして実行し、画像処理装置１００の動作を制御することによって、各機能がソフトウェアにより実現される。

補助記憶部２０４は、例えば、図１４に示すモデルパラメタ算出手段２１０、および機械学習手段２２０を実現するためのプログラムを記憶している。

なお、学習装置２００は、ハードウェアにより実現されてもよい。例えば、学習装置２００は、内部に図１４に示すような機能を実現するプログラムが組み込まれたＬＳＩ等のハードウェア部品が含まれる回路が実装されてもよい。

また、学習装置２００は、図１８に示すＣＰＵ２０１が図１４に示す各構成要素が有する機能を提供するプログラムを実行することによって、ソフトウェアにより実現されてもよい。

ソフトウェアにより実現される場合、ＣＰＵ２０１が補助記憶部２０４に格納されているプログラムを、主記憶部２０２にロードして実行し、学習装置２００の動作を制御することによって、各機能がソフトウェアにより実現される。

また、各構成要素の一部または全部は、汎用の回路（circuitry）または専用の回路、プロセッサ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各構成要素の一部または全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

各構成要素の一部または全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

次に、本発明の概要を説明する。図１９は、本発明による学習装置の概要を示すブロック図である。本発明による学習装置１０は、複数の画像間の変化のうち所定の対象物の周期的な変化を表す画像の領域の組と、複数の画像間の変化のうち周期的な変化以外の変化を表す画像の領域の組とを少なくとも含む学習用データを用いて複数の画像間の変化のうち周期的な変化以外の変化を検出する処理を検出機に学習させる学習手段１１（例えば、機械学習手段２２０）を備える。

そのような構成の学習装置が使用されると、撮影時刻が異なる複数の画像間の変化から検出対象の変化のみが検出される。

また、学習装置１０は、学習用データに含まれている画像の領域の撮影条件を示すデータを基に所定の対象物の周期的な変化を表すパラメタを算出する算出手段（例えば、モデルパラメタ算出手段２１０）を備え、学習手段１１は、算出されたパラメタと学習用データとを用いて学習させてもよい。

そのような構成の学習装置が使用されると、所定の対象物の周期的な変化がより具体的に表現される。

また、パラメタは、太陽天頂角でもよい。また、パラメタは、太陽光スペクトルの直達光の成分、および太陽光スペクトルの散乱光の成分でもよい。

そのような構成の学習装置が使用されると、複数の画像間の変化から影の長さの変化が検出対象から除外される。

また、パラメタは、植生指標でもよい。

そのような構成の学習装置が使用されると、複数の画像間の変化から植物の季節変化が検出対象から除外される。

また、パラメタは、太陽方位角でもよい。

そのような構成の学習装置が使用されると、複数の画像間の変化から影ができる方向の変化が検出対象から除外される。

また、図２０は、本発明による画像処理装置の概要を示すブロック図である。本発明による画像処理装置２０は、複数の画像間の変化から所定の対象物の周期的な変化が除去された変化の度合いを示す複数の特徴量を画像を構成する画素ごとに示す変化情報と、複数の特徴量の各信頼度を画素ごとに示す信頼度情報とを生成する第１生成手段２１（例えば、変化検出手段１３０）と、生成された信頼度情報が示す信頼度が所定値以上の特徴量に対応する画素を含む領域を複数の画像からそれぞれ抽出し、生成された変化情報から所定値以上の特徴量を抽出する抽出手段２２（例えば、データセット生成手段１５０）と、抽出された各領域と、抽出された所定値以上の特徴量と、複数の画像の各撮影条件を示すデータとが対応付けられた学習用データを生成する第２生成手段２３（例えば、データセット生成手段１５０）とを備える。

そのような構成の画像処理装置が使用されると、撮影時刻が異なる複数の画像間の変化から検出対象の変化のみが検出される。

また、図２１は、本発明による画像処理装置の他の概要を示すブロック図である。本発明による画像処理装置３０は、複数の画像の各撮影条件を示すデータを基に複数の画像に渡って表示されている所定の対象物の周期的な変化を表すパラメタを算出するパラメタ算出手段３１（例えば、モデルパラメタ算出手段１３１）と、算出されたパラメタと複数の画像とを用いて複数の画像間の変化から周期的な変化が除去された変化の度合いを示す特徴量を算出する特徴量算出手段３２（例えば、特徴量算出手段１３２）と、算出された特徴量の信頼度を算出する信頼度算出手段３３（例えば、信頼度算出手段１３４）とを備える。

そのような構成の画像処理装置が使用されると、撮影時刻が異なる複数の画像間の変化から検出対象の変化のみが検出される。

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下に限られない。

（付記１）複数の画像間の変化のうち所定の対象物の周期的な変化を表す画像の領域の組と、前記複数の画像間の変化のうち前記周期的な変化以外の変化を表す画像の領域の組とを少なくとも含む学習用データを用いて前記複数の画像間の変化のうち前記周期的な変化以外の変化を検出する処理を検出機に学習させる学習手段を備えることを特徴とする学習装置。

（付記２）学習用データに含まれている画像の領域の撮影条件を示すデータを基に所定の対象物の周期的な変化を表すパラメタを算出する算出手段を備え、学習手段は、算出されたパラメタと前記学習用データとを用いて学習させる付記１記載の学習装置。

（付記３）パラメタは、太陽天頂角である付記２記載の学習装置。

（付記４）パラメタは、太陽光スペクトルの直達光の成分、および前記太陽光スペクトルの散乱光の成分である付記２または付記３記載の学習装置。

（付記５）パラメタは、植生指標である付記２から付記４のうちのいずれかに記載の学習装置。

（付記６）パラメタは、太陽方位角である付記２から付記５のうちのいずれかに記載の学習装置。

（付記７）複数の画像間の変化から所定の対象物の周期的な変化が除去された変化の度合いを示す複数の特徴量を画像を構成する画素ごとに示す変化情報と、前記複数の特徴量の各信頼度を画素ごとに示す信頼度情報とを生成する第１生成手段と、生成された信頼度情報が示す信頼度が所定値以上の特徴量に対応する画素を含む領域を前記複数の画像からそれぞれ抽出し、生成された変化情報から前記所定値以上の特徴量を抽出する抽出手段と、抽出された各領域と、抽出された前記所定値以上の特徴量と、前記複数の画像の各撮影条件を示すデータとが対応付けられた学習用データを生成する第２生成手段とを備えることを特徴とする画像処理装置。

（付記８）複数の画像の各撮影条件を示すデータを基に前記複数の画像に渡って表示されている所定の対象物の周期的な変化を表すパラメタを算出するパラメタ算出手段と、算出されたパラメタと前記複数の画像とを用いて前記複数の画像間の変化から前記周期的な変化が除去された変化の度合いを示す特徴量を算出する特徴量算出手段と、算出された特徴量の信頼度を算出する信頼度算出手段とを備えることを特徴とする画像処理装置。

（付記９）複数の画像間の変化のうち所定の対象物の周期的な変化を表す画像の領域の組と、前記複数の画像間の変化のうち前記周期的な変化以外の変化を表す画像の領域の組とを少なくとも含む学習用データを用いて前記複数の画像間の変化のうち前記周期的な変化以外の変化を検出する処理を検出機に学習させることを特徴とする学習方法。

（付記１０）複数の画像間の変化から所定の対象物の周期的な変化が除去された変化の度合いを示す複数の特徴量を画像を構成する画素ごとに示す変化情報と、前記複数の特徴量の各信頼度を画素ごとに示す信頼度情報とを生成し、生成された信頼度情報が示す信頼度が所定値以上の特徴量に対応する画素を含む領域を前記複数の画像からそれぞれ抽出し、生成された変化情報から前記所定値以上の特徴量を抽出し、抽出された各領域と、抽出された前記所定値以上の特徴量と、前記複数の画像の各撮影条件を示すデータとが対応付けられた学習用データを生成することを特徴とする画像処理方法。

（付記１１）複数の画像の各撮影条件を示すデータを基に前記複数の画像に渡って表示されている所定の対象物の周期的な変化を表すパラメタを算出し、算出されたパラメタと前記複数の画像とを用いて前記複数の画像間の変化から前記周期的な変化が除去された変化の度合いを示す特徴量を算出し、算出された特徴量の信頼度を算出することを特徴とする画像処理方法。

（付記１２）コンピュータに、複数の画像間の変化のうち所定の対象物の周期的な変化を表す画像の領域の組と、前記複数の画像間の変化のうち前記周期的な変化以外の変化を表す画像の領域の組とを少なくとも含む学習用データを用いて前記複数の画像間の変化のうち前記周期的な変化以外の変化を検出する処理を検出機に学習させる学習処理を実行させるための学習プログラム。

（付記１３）コンピュータに、複数の画像間の変化から所定の対象物の周期的な変化が除去された変化の度合いを示す複数の特徴量を画像を構成する画素ごとに示す変化情報と、前記複数の特徴量の各信頼度を画素ごとに示す信頼度情報とを生成する第１生成処理、生成された信頼度情報が示す信頼度が所定値以上の特徴量に対応する画素を含む領域を前記複数の画像からそれぞれ抽出する第１抽出処理、生成された変化情報から前記所定値以上の特徴量を抽出する第２抽出処理、および抽出された各領域と、抽出された前記所定値以上の特徴量と、前記複数の画像の各撮影条件を示すデータとが対応付けられた学習用データを生成する第２生成処理を実行させるための画像処理プログラム。

（付記１４）コンピュータに、複数の画像の各撮影条件を示すデータを基に前記複数の画像に渡って表示されている所定の対象物の周期的な変化を表すパラメタを算出する第１算出処理、算出されたパラメタと前記複数の画像とを用いて前記複数の画像間の変化から前記周期的な変化が除去された変化の度合いを示す特徴量を算出する第２算出処理、および算出された特徴量の信頼度を算出する第３算出処理を実行させるための画像処理プログラム。

１０、２００ 学習装置
１１ 学習手段
２０、３０、１００、９１０、９２０ 画像処理装置
２１ 第１生成手段
２２ 抽出手段
２３ 第２生成手段
３１ パラメタ算出手段
３２、１３２、９１３、９２１ 特徴量算出手段
３３、１３４ 信頼度算出手段
９９、１３０ 変化検出手段
１０１、２０１ ＣＰＵ
１０２、２０２ 主記憶部
１０３、２０３ 通信部
１０４、２０４ 補助記憶部
１０５、２０５ 入力部
１０６、２０６ 出力部
１０７、２０７ システムバス
１１０ 衛星画像データベース
１２０ 地球観測手段
１３１、２１０ モデルパラメタ算出手段
１３３、９１４、９２２ 変化画素検出手段
１４０ メタデータ抽出手段
１５０ データセット生成手段
２２０ 機械学習手段
３００ 変化検出機
９１１ 第１補正手段
９１２ 第２補正手段
９２３ 不要変化領域検出手段
９２４ 不要変化除去手段

Claims (10)

1. 複数の画像間の変化のうち所定の対象物の周期的な変化を表す画像の領域の組と、前記複数の画像間の変化のうち前記周期的な変化以外の変化を表す画像の領域の組とを少なくとも含む学習用データを用いて前記複数の画像間の変化のうち前記周期的な変化以外の変化を検出する処理を検出機に学習させる学習手段と、
   前記学習用データに含まれている画像の領域の撮影条件を示すデータを基に前記所定の対象物の前記周期的な変化を表すパラメタを算出する算出手段とを備え、
   前記学習手段は、算出されたパラメタと前記学習用データとを用いて学習させる
   ことを特徴とする学習装置。
2. パラメタは、太陽天頂角である
   請求項１記載の学習装置。
3. パラメタは、太陽光スペクトルの直達光の成分、および前記太陽光スペクトルの散乱光の成分である
   請求項１または請求項２記載の学習装置。
4. パラメタは、植生指標である
   請求項１から請求項３のうちのいずれか１項に記載の学習装置。
5. パラメタは、太陽方位角である
   請求項１から請求項４のうちのいずれか１項に記載の学習装置。
6. 複数の画像間の変化のうち所定の対象物の周期的な変化を表す画像の領域の組と、前記複数の画像間の変化のうち前記周期的な変化以外の変化を表す画像の領域の組とを少なくとも含む学習用データを用いて前記複数の画像間の変化のうち前記周期的な変化以外の変化を検出する処理を検出機に学習させ、
   前記学習用データに含まれている画像の領域の撮影条件を示すデータを基に前記所定の対象物の前記周期的な変化を表すパラメタを算出し、
   算出されたパラメタと前記学習用データとを用いて学習させる
   ことを特徴とする学習方法。
7. パラメタは、太陽天頂角である
   請求項６記載の学習方法。
8. パラメタは、太陽光スペクトルの直達光の成分、および前記太陽光スペクトルの散乱光の成分である
   請求項６または請求項７記載の学習方法。
9. コンピュータに、
   複数の画像間の変化のうち所定の対象物の周期的な変化を表す画像の領域の組と、前記複数の画像間の変化のうち前記周期的な変化以外の変化を表す画像の領域の組とを少なくとも含む学習用データを用いて前記複数の画像間の変化のうち前記周期的な変化以外の変化を検出する処理を検出機に学習させる学習処理、および
   前記学習用データに含まれている画像の領域の撮影条件を示すデータを基に前記所定の対象物の前記周期的な変化を表すパラメタを算出する算出処理を実行させるための学習プログラムであって、
   前記学習処理で、算出されたパラメタと前記学習用データとを用いて学習させる
   学習プログラム。
10. パラメタは、太陽天頂角である
    請求項９記載の学習プログラム。

Images