JP7028318B2 - 学習用データセット生成装置、学習用データセット生成方法および学習用データセット生成プログラム - Google Patents

Description

本発明は、画像処理を学習するためのデータセットを生成する学習用データセット生成装置等に関する。

人工衛星や航空機などの高所から観測装置によって地表を観測するためのリモートセンシングと呼ばれる技術がある。地球の３分の２は雲に覆われているため、リモートセンシング技術を用いて人工衛星等から地表を撮影した場合、その画像の多くは雲を含む。雲を含む画像において、当該雲に隠された地表の情報を復元する方法の一つとして、機械学習を用いた方法がある。この方法では、学習用データセットを入力として、雲補正方法学習器が、雲補正方法のパラメタを学習し、学習されたパラメタに基づき、入力された画像の雲を補正する。当該学習用データセットは、同一箇所を撮影した、雲が含まれる雲有り画像および雲が含まれない雲無し画像の組を多数集めたものである。この学習用データセットとして望ましい条件は、画像の組が多数あること、実際に観測された画像であること、および、雲の有無以外の条件は一致していることである。尚、雲有り画像に含まれる雲には、大きく分けて、太陽光を透過させて地表が僅かにでも観測できる薄雲と、太陽光を透過させず地表が全く観測できない厚雲とがある。

非特許文献１は、雲（薄雲）を含まない画像に雲を重畳し、雲無し画像と雲有り画像との組を学習用データセットとして生成する手法を開示する。非特許文献１で使用される装置の構成を図１１に示す。非特許文献１の装置は、雲重畳部０１、学習用データセット記憶部０２、雲補正方法学習器０３、雲補正処理部０４を備える。雲重畳部０１は、雲無し画像を入力とし、雲による影響をシミュレートした結果を当該雲無し画像に反映させ、雲有り画像として生成する。学習用データセット記憶部０２は、雲重畳部０１によって生成された雲有り画像と雲画像生成に用いた雲無し画像とを組とした画像の組を多数格納する。雲補正方法学習器０３は、学習用データセット記憶部０２に格納される学習用データセットを用いて、雲補正処理のパラメタを学習する。雲補正処理部０４は、雲補正方法学習器０３が学習したパラメタを用いて、入力された画像に含まれる雲の影響を補正して出力する。

特許文献１は、実際に観測された画像データベースから機械学習に用いる学習用データセット（同一箇所における雲有り画像および雲無し画像）を取り出して、学習用データセットを生成する手法を開示する。

この他、関連する文献として非特許文献２がある。

特開２００４－２１３５６７号公報

Kenji Enomoto, Ken Sakurada, Weimin Wang, Hiroshi Fukui, Masashi Matsuoka, Ryosuke Nakamura and Nobuo Kawaguchi, "Filmy Cloud Removal on Satellite Imagery with Multispectral Conditional Generative Adversarial Nets," Conference on Computer Vision and Pattern Recognition Workshop (CVPRW) EARTHVISION 2017 DHANASHREE GADKARI, "IMAGE QUALITY ANALYSIS USING GLCM," A thesis submitted in partial fulfillment of the requirements for the degree of Master of Science in Modeling and Simulation in the College of Arts and Sciences at the University of Central Florida Orlando, Florida, 2004

しかし、非特許文献１に示す方法では、雲補正処理を生成するのに適切な学習用データセットを生成できない。なぜなら、非特許文献１に示す方法で得られる雲有り画像は、雲重畳部が雲（薄雲）による影響を算出して雲無し画像に合成したものであり、この合成画像では、実際に観測され得る自然な雲の画像を完全に再現することは難しい。

また、特許文献１に示す方法において、実際に観測された画像のデータベースから画像を取り出して学習用データセットを生成する場合であっても、雲補正処理を生成するのに適切な学習用データセットを生成できない。なぜなら、この方法によって取り出された薄雲が含まれる画像に少しでも厚雲が含まれる場合（例えば薄雲の中央部分が厚雲である場合）には、雲補正方法学習器は地表の情報を含まない厚雲から地表の情報に近い値を得る処理を学習してしまい、薄雲に含まれる地表の情報を復元する処理を正しく学習できないからである。

そこで、本発明は、上述した課題に鑑み、自然な雲の画像を用いて雲補正処理に適した学習用データセットを生成できる学習用データセット生成装置等を提供することを目的とする。

上記問題点を鑑みて、本発明の第１の観点である学習用データセット生成装置は、同一観測対象を含む画像のうち雲を含む雲多画像と雲多画像よりも少ない量の雲を含むまたは雲を含まない雲少画像とを組として、雲多画像内における厚雲の画素を示す第一厚雲領域と、雲少画像内における厚雲の画素を示す第二厚雲領域とを入力とし、第一厚雲領域および第二厚雲領域の少なくとも片方に第一演算を実行して雲少画像内において第一厚雲領域をマスクするための第一マスクを生成し、第一厚雲領域および第二厚雲領域の少なくとも片方に第二演算を実行して雲多画像内において第二厚雲領域をマスクするための第二マスクを生成する合成手段を備え、
生成された第一マスクを含む情報および雲多画像、並びに、生成された第二マスクを含む情報および雲少画像からなる組を学習用データとする。

本発明の第２の観点である学習用データセット生成方法は、
同一観測対象を含む画像のうち雲を含む雲多画像と雲多画像よりも少ない量の雲を含むまたは雲を含まない雲少画像とを組として、雲多画像内における厚雲の画素を示す第一厚雲領域と、雲少画像内における厚雲の画素を示す第二厚雲領域とを受け取り、
第一厚雲領域および第二厚雲領域の少なくとも片方に第一演算を実行して雲少画像内において第一厚雲領域をマスクするための第一マスクを生成し、
第一厚雲領域および第二厚雲領域の少なくとも片方に第二演算を実行して雲多画像内において第二厚雲領域をマスクするための第二マスクを生成することを備え、
生成された第一マスクを含む情報および雲多画像、並びに、生成された第二マスクを含む情報および雲少画像からなる組を学習用データとする。

本発明の第３の観点である学習用データセット生成プログラムは、
同一観測対象を含む画像のうち雲を含む雲多画像と雲多画像よりも少ない量の雲を含むまたは雲を含まない雲少画像とを組として、雲多画像内における厚雲の画素を示す第一厚雲領域と、雲少画像内における厚雲の画素を示す第二厚雲領域とを受け取り、
第一厚雲領域および第二厚雲領域の少なくとも片方に第一演算を実行して雲少画像内において第一厚雲領域をマスクするための第一マスクを生成し、
第一厚雲領域および第二厚雲領域の少なくとも片方に第二演算を実行して雲多画像内において第二厚雲領域をマスクするための第二マスクを生成し、
生成された第一マスクを含む情報および雲多画像、並びに、生成された第二マスクを含む情報および雲少画像からなる組を学習用データとする
ことをコンピュータに実現させるための画像処理プログラムである。

学習用データセット生成プログラムは、非一時的なコンピュータ可読の記憶媒体に格納されていてもよい。

本発明によれば、自然な雲の画像を用いて雲補正処理に適した学習用データセットを生成できる学習用データセット生成装置等を提供することができる。

厚雲画素の値として観測される光を表す模式図である。 薄雲画素の値として観測される光を表す模式図である。 学習に用いる入力画像と出力画像との一例を示す図である。 雲除去補正される入力画像と出力画像との一例を示す図である。 本発明の第１の実施形態にかかる学習用データセット生成装置の構成例を示すブロック図である。 学習のために使用される２つの入力画像（雲多画像および雲少画像）の一例を示す図である。 ２つの入力画像の厚雲領域からマスクを生成する処理の一例を示す図である。 生成されたマスク画像の一例を示す図である。 本発明の第１の実施形態にかかる学習用データセット生成装置における動作を示すフローチャートである。 本発明の第２の実施形態にかかる学習用データセット生成装置の構成例を示すブロック図である。 各実施形態において適用可能な情報処理装置の構成例を示すブロック図である。 非特許文献１にて使用する装置の内部構成を示す図である。

リモートセンシング技術では、地表の所定の範囲の領域から放射される光などの電磁波の強さを観測する。リモートセンシングによって得られる観測結果は画素値として表される。画素値とは、画像において、観測された領域の地表における位置に対応する画素に関連付けられる値データである。例えば、観測装置がイメージセンサである場合、観測される画像に含まれる画素値は、イメージセンサの受光素子に入射した光（観測光）の強さが、受光素子によって観測された値である。

なお、画素値が、観測された光の波長帯域毎の、少なくとも一つの波長帯域の明るさを表す値である場合、その観測光の明るさを表す値を輝度値とも記載する。観測には、例えば、特定の範囲の波長帯域に含まれる波長の光が選択的に透過するフィルタを使用する。透過光の波長帯域が異なる複数のフィルタを使用することにより、波長帯域毎の観測光の強さが観測結果として得られる。

また、物体は、その表面の材質や状態によって、波長ごとに異なる強度の光を反射する。物体における波長毎の光の反射率は、一般に、表面反射率と呼ばれる。リモートセンシングによって得られる画像中の各画素の値に含まれる物体の表面反射率の情報に基づき、物体の状態や材質を取得するアプリケーションの開発が期待されている。このアプリケーションは、高所から地表を測定した結果に基づき、例えば、地図の作製、土地利用状態の把握、火山の噴火や森林火災の状況把握、農作物の生育具合の取得や鉱物の判別を実行する。これらを的確に実行するためには、建物や溶岩、森林、農作物、鉱石などの地表物の正確な情報を得る必要がある。

しかし、リモートセンシングによって得られる画像は、地表の視認性に影響を及ぼす物体、例えば、雲、ガス、噴煙、湯煙またはエアロゾルに影響を受けた画素を多く含む。以降、視認性に影響を及ぼす物体の代表的なものを雲とし、雲による影響とその影響を取り除く発明について記載するが、対象は雲に限らず、ガス、噴煙、湯煙、エアロゾルなど大気中の視認性に影響を与えるものであればどのようなものでもよい。

雲による影響を受けた画素は、薄雲画素と厚雲画素とに分けられる。図１は、厚雲画素の値として観測される光を表す模式図、図２は、薄雲画素の値として観測される光を表す模式図である。厚雲画素とは、大気圏側から太陽光を受け雲外内により散乱される光の影響のみを受けた画素である。薄雲画素とは、当該雲外内により散乱される光に加えて地表で反射した後に雲を透過する光の影響も受けた画素である。以降、厚雲画素が占める画像領域を厚雲領域、薄雲画素が占める画像領域を薄雲領域と呼ぶ。図１に示すように、太陽光は地表で反射し地表反射光となるが、厚雲は雲が厚いため地表反射光が雲に遮断され、結果、雲において散乱した雲散乱光のみが厚雲画素として人工衛星側で観測される。一方で、図２に示すように、薄雲の場合、地表反射光は雲で遮断されず、透過した地表反射光と雲散乱光とが薄雲画素として人工衛星側で観測される。この結果、厚雲画素は地表の情報を含まない値を、薄雲画素は地表の情報が雲の影響により歪んだ値を持つ。よって、特許文献１および非特許文献１が開示するように、雲（厚雲および薄雲）の影響を受けた画素の観測値をそのまま地上の物体の認識および状態推定に用いても正しい結果を得ることはできないことを本願の発明者は発見した。事実、特許文献１および非特許文献１が開示する技術を用いると、誤った画像補正処理が実行されることがある。これは、厚雲を含むデータセットを用いて雲補正処理を学習した場合、学習器は、厚雲を生成するような処理を学習する、または、地表の情報を含まない厚雲から地表の情報を復元するような処理を学習するので、地表の情報を含む薄雲から地表の情報を復元する方法を正しく学習できないためである。具体例を説明すると、学習用データセットとして、図３Ａに示すように雲（薄雲と厚雲とから成る）を含む入力画像を学習し、正解画像に変換する補正処理を学習し、出力画像を生成したとしても、実際の運用においては、図３Ｂに示すように画像内の雲の領域が、Cliff（崖）と補正されるべきであるにもかかわらずWater（水）と誤認して補正されることが発生する。即ち、連続する雲の領域であっても雲の種類は異なることがあり、このような異なる種類の雲を区別して学習用データを生成し、雲除去処理を機械学習させることにより、適切に雲を除去する学習器を生成できることを発明者は発見した。

よって、本発明においては、雲除去を機械学習させるため学習用データの生成において、先ず薄雲と厚雲とを判別し、薄雲と判別された領域における観測値から雲による影響を補正し、地表の情報を復元する。更にこの学習用データを用いて雲除去を機械学習することで、適切に雲除去が可能な学習器を生成する。以下、本発明の実施の形態について図面を参照して詳細に説明する。

＜第１実施形態＞
（学習用データセット生成装置）
本発明の第１実施形態に係る学習用データセット生成装置１００の構成例について図４を参照して説明する。学習用データセット生成装置１００は、衛星画像データベース（以下、ＤＢと記載）１０１と、例えば無線の通信回線を介して、通信可能に接続されている。学習用データセット生成装置１００は学習用データセット記憶部１０２と無線又は有線の通信回線を介して接続されている。学習用データセット記憶部１０２は、学習器１０３と無線又は有線の通信回線を介して接続されている。尚、データのみを人手で移植してもよい。

衛星画像ＤＢ１０１は、人工衛星によって観測（撮影）された画像と当該画像に関連する情報、例えば、画像の観測対象の場所の情報を記憶する。観測対象の場所の情報は、例えば、画素毎に対応する地上における緯度と経度である。衛星画像ＤＢ１０１は、画像に関連する情報として、観測された波長帯域の情報を記憶してもよい。衛星画像ＤＢ１０１は、単数または複数の画像と、それぞれの画像に関連付けられた波長帯域を観測するイメージセンサの波長毎の感度値もしくは当該波長帯域の上限と下限を記憶してもよい。衛星画像ＤＢ１０１は、例えば、ハードディスク記憶装置やこれを管理するサーバから成る。本実施形態の説明において、衛星画像として撮影される対象は、主に地表である。衛星画像ＤＢ１０１は、例えば、飛行機や人工衛星に搭載される。衛星画像ＤＢ１０１に格納される衛星画像は、互いに異なる複数の波長帯域にて上空から地表の明るさを観測したものである。衛星画像は、上空から地表を観測したものに限られず、地表あるいは地表の近くから遠方の地表を観測した画像であってもよい。尚、画像として観測された波長帯域の幅は、均一でなくてもよい。

学習用データセット記憶部１０２は、多数の学習用データの組を記憶する。学習用データの組は、雲除去処理を機械学習する学習器（以下、学習器と記載）１０３に入力するための入力用画像と、当該入力用画像に対応する、学習器１０３に学習させるためのターゲット用画像とから成る。入力用画像とは、例えば、地点Ａにおける自然な雲を含む一部雲に覆われた画像である。ターゲット用画像とは、例えば、地点Ａにおける雲が含まれない地表のみの画像である。ここで、雲をより多く含む画像を入力用画像とし、雲をより少なく含む画像をターゲット用画像とする。これは、入力用画像に含まれる薄雲を補正し、ターゲット用画像が補正（除去）後の画像となるように学習するためである。学習用データセット記憶部１０２は、例えば、ハードディスクやサーバから構成される。

尚、学習用データセット記憶部１０２に格納される学習用データの組を用いて十分にパラメタを学習した後、学習器１０３は、実際の雲除去処理を実行する。即ち、学習器１０３は、実データとして同一地点で観測時刻の異なる２つの衛星画像のペアをランダムに自動で選択し、薄雲の補正処理を実行することに用いられる。

学習用データセット生成装置１００は、同地点画像抽出部１１、雲量比較部１２、第一厚雲領域生成部１３、第二厚雲領域生成部１４と、合成部１５、第一マスク部１６および第二マスク部１７とを備える。

同地点画像抽出部１１は、無線通信を介して、衛星画像ＤＢ１０１から同一地点を観測対象として含む画像を複数取り出し、同地点画像として出力する。尚、これらの複数の画像は同一場所を異なる時刻に撮影したものである。同地点画像抽出部１１は、例えば、衛星画像ＤＢ１０１に記憶された、画像の各画素の緯度および経度を参照して、任意の画像の緯度および経度と同じ緯度および経度を含む複数の画像を選び出す。同地点画像抽出部１１は、任意の画像および選び出された複数の画像を同地点画像として出力する。

雲量比較部１２は、同一観測対象（同一地点）を含む複数の画像において、各々の画像が含む雲量を算出し、算出された雲量と既定値とを比較することで、既定値よりも雲量が多い雲多画像と、既定値よりも雲量が少ない雲少画像との組を生成する。具体的に、雲量比較部１２は、複数の同地点画像の各々に含まれる、雲の量（雲のみで構成される領域；雲領域）を算出し、算出された雲量の多さに基づき、雲を多く含む画像（以下、雲多画像と記載する）と、雲が無いまたは雲を少ししか含まない画像（以下、雲少画像と記載する）との組を生成する（図５参照）。雲量比較部１２は、例えば、同地点画像における各画素に紐付けられた輝度値と予め設定された設定値とを比較し、設定値よりも大きい値をとる画素を雲の画素として判定する。雲の画素が集まる領域は雲領域となる。雲量比較部１２は、上記同地点が撮影された各々の画像において、雲領域の画素数の、画像全体の画素数に対する割合を雲割合として算出し、当該雲割合が例えば既定値と等しいまたは既定値より小さい値の画像を雲少画像、既定値より大きい値の画像を雲多画像とし、雲少画像と雲多画像との組合せを出力する。また、雲量比較部１２は、非特許文献２に記載のGray Level Co-occurrence Matrices（以下GLCM）に同地点画像の各々の画像を入力し、GLCMを用いて算出される画素毎の均質性や平均値を表す指標値を既定値と比較し、当該比較結果に基づき、その画素が雲多領域または雲少領域のいずれに含まれるかを判定してもよい。

第一厚雲領域生成部１３は、雲量比較部１２によって生成された画像の組のうち、雲多画像を入力とし、雲多画像内における、地表からの光が透過しないほど厚い雲を含む第一厚雲領域（Ａ_ｘ；図６のパターン例（ａ）の左側参照）を生成し、出力する。第一厚雲領域生成部１３は、各画素に格納された値（例えば輝度値）と既定値とを比較し、例えば、既定値と等しい又は既定値よりも大きい値をとる画素を第一厚雲領域の一部として判定する。また、第一厚雲領域生成部１３は、雲多画像を入力とし、非特許文献２に記載のGLCMを算出し、算出されたGLCMを用いて算出される当該雲多画像の画素毎の均質性や平均値を表す指標値と既定値とを比較し、当該比較結果に基づき第一厚雲領域に含まれるか否かを判定してもよい。第一厚雲領域生成部１３は、第一厚雲領域を構成する各画素（厚雲画素）を区別するために、厚雲画素に対応する値として１を、その他の画素の値には0を格納するようにしてもよい。

第二厚雲領域生成部１４は、雲量比較部１２によって生成された画像の組のうち、雲少画像を入力とし、当該雲少画像内における、地表からの光が透過しないほど厚い雲を含む第二厚雲領域（Ａ_ｙ；図６のパターン例（ａ）の右側参照）を生成し、出力する。第二厚雲領域生成部１４は、第一厚雲領域生成部１３と同じ動作をしてもよい。第二厚雲領域生成部１４は、第二厚雲領域を構成する各画素（厚雲画素）を区別するために、厚雲画素に対応する値として１を、その他の画素の値には0を格納するようにしてもよい。

合成部１５は、雲多画像内における第一厚雲領域と、雲少画像内における第二厚雲領域とを入力とし、第一厚雲領域および第二厚雲領域の少なくとも片方に第一演算を実行して雲少画像内において第一厚雲領域をマスクするための第一マスクを生成する。更に合成部１５は、第一厚雲領域および第二厚雲領域の少なくとも片方に第二演算を実行して雲多画像内において第二厚雲領域をマスクするための第二マスクを生成する。合成部１５は、合成の処理として、第一厚雲領域と第二厚雲領域とを入力として所定の演算処理を行い、当該演算処理の結果、雲多画像用の第一マスクと雲少画像用の第二マスクとを生成してもよい。

例えば図６のパターン（ａ）、（ｂ）に示すように、合成部１５は、雲多画像から抽出された第一厚雲領域（Ａ_ｘ）と、雲少画像から抽出された第二厚雲領域（Ａ_ｙ）とを演算１および演算２に代入し、演算１の結果から雲多画像用の第一マスク（input mask: Ｍ_ｉｎ）を生成し、演算２の計算結果から雲少画像用の第二マスク（target mask: Ｍ_ｔｇ）を生成する。この時、第一厚雲領域、第二厚雲領域、第一マスクおよび第二マスクの画素にはいずれも厚雲に対応する値“1”が格納される。図６のパターン（ａ）、（ｂ）に示す演算1（第一演算）および演算2（第二演算）には、以下の式（１）および式（２）が用いられる。尚、以下の式においてmaxとはOR演算を指す。また(i, j)は、画像中の各画素の位置を示す座標値である。

演算１：M_in (i, j) = Ａ_y (i, j) …（１）
演算２：M_tg (i, j) = max (Ａ_x (i, j), Ａ_y (i, j)) …（２）
上記の式は演算の一例であり、演算には以下の式（３）および（４）を使用してもよい。

演算１：M_in (i, j) = max (Ａ_x (i, j), Ａ_y (i, j)) …（３）
演算２：M_tg (i, j) = max (Ａ_x (i, j), Ａ_y (i, j)) …（４）
尚、演算の種類は上記に限られない。例えば、式（２）において、AND演算を行っても良い。尚、第二マスクのサイズは、第一マスクと等しい又は第一マスクよりも大きくなる。

第一マスク部１６は、雲量比較部１２によって生成された画像の組のうち、雲多画像上に、合成部１５によって生成された第一マスクの画素に既定値（例えば１）を代入してマスク済の雲多画像（第一マスク画像）を生成し、出力する。第一マスク部１６は、以下の式（５）の算出結果I_mを第一マスク画像のデータとして出力してもよい。ここで、I_c (i, j)は雲多画像の各画素の輝度値、M_in (i, j)は雲多画像用の第一マスク、Dは既定値として用いる画像の最大輝度値である。既定値Dは、たとえば画像フォーマットが８ビットのRGB（Red・Green・Blue）カラー画像であれば画素値（２５５，２５５，２５５）となる。この他、既定値Dは、予め格納された厚雲領域の代表的な観測値であってもよい。

I_m (i, j)=(1－M_in (i, j))・I_c (i, j)+ D・M_in (i, j) …（５）
第一マスク部１６は、雲多画像と第一マスクM_inとを重畳し、第一マスク画像（図７参照）として出力してもよい。尚、第二マスク部１７は、雲少画像内の第二マスクの各画素に既定値を代入して第二マスク画像を生成する。第二マスク部１７は、第一マスク部１６と同様に、雲少画像について、式（５）に第二マスクM_tgを代入して算出結果I_mを第二マスク画像データとして出力する。または第二マスク部１７は、雲少画像と第二マスクM_tgとを重畳してマスク済の雲少画像（第二マスク画像；図７参照）として出力してもよい。

第一マスク部１６および第二マスク部１７は、異なる時刻に同一場所をキャプチャした第一マスク画像と第二マスク画像とを一組の学習用データとして学習用データセット記憶部１０２に格納する。学習用データセット記憶部１０２に格納される画像の組は、いずれも厚雲領域を含まず（マスクされている）、薄雲領域しか映っていない。よって、これらの画像の組を学習用データとして学習器１０３に学習させることにより、薄雲を正しく補正できる学習器１０３を生成することができる。

（学習用データセット生成装置の動作）
図８は、本発明の第１実施形態に係る学習用データセット生成装置１００の動作を示すフローチャートである。

ステップＳ１０１において、同地点画像抽出部１１は、リモートセンシングによって得られた衛星画像および当該画像に関連する情報を記憶する衛星画像ＤＢ１０１から、異なる時刻にキャプチャされた同じ場所を観測対象として含む画像を複数取り出し、同地点画像として出力する。

ステップＳ１０２において、雲量比較部１２は、同じ場所を観測対象として含む複数の同地点画像の各々の画像に含まれる雲の量を算出し、算出された雲量の多さに基づき、雲多画像および雲少画像の組を生成する。雲量比較部１２は、例えば、各画素に格納された値（例えば輝度値）と既定値と比較し、既定値よりも大きい値をとる画素を雲領域の一部であると判定する。尚、学習の観点からは、雲量が最も多い画像を入力画像とし、雲量が最も少ないものをターゲット画像とすることが好ましい。

以下、ステップＳ１０３からステップＳ１０８までは、雲量比較部１２によって生成された画像の組の数分繰り返し（ループ処理）されるものとする。

ステップＳ１０３において、第一厚雲領域生成部１３は、雲量比較部１２によって生成された画像の組のうち、雲多画像を入力とし、雲多画像に含まれる第一厚雲領域を判別し、出力する。

ステップＳ１０４において、第二厚雲領域生成部１４は、雲量比較部１２によって生成された画像の組のうち、雲少画像を入力とし、雲少画像に含まれる第二厚雲領域を判別し、出力する。

ステップＳ１０５において、合成部１５は、雲多画像から出力された第一厚雲領域と、雲少画像から出力された第二厚雲領域と合成し、合成結果を用いて、雲多画像用の第一マスクと、雲少画像用の第二マスクとを生成する。合成とは所定の演算処理であってもよい。第一厚雲領域の演算処理と第二厚雲領域の演算処理は異なるものであっても良いし、同じものであっても良い。

ステップＳ１０６において、第一マスク部１６は、上記の画像の組のうち、雲多画像上に、合成部１５によって合成された第一マスクの各画素に既定値（例えば１）を代入し、第一マスク画像として出力する。第一マスク画像と雲多画像とは重畳されていてもよい。

ステップＳ１０７において、第二マスク部１７は、上記の画像の組のうち、雲少多画像上に、合成部１５によって合成された第二マスクの各画素に既定値（例えば１）を代入し、第二マスク画像として出力する。第二マスク画像と雲少画像とは重畳されていてもよい。

ステップＳ１０８において、第一マスク部１６から出力された第一マスク画像と、第二マスク部１７から出力された第二マスク画像は、一組の学習用データとして学習用データセット記憶部１０２に格納される。

以上により、学習用データセット生成装置１００の動作を終了する。

（第１実施形態の効果）
上記の第１実施形態に係る学習用データセット生成装置１００は、自然な雲の画像を用いて雲補正処理に適した学習用データセットを生成することができる。この理由は、学習用データセット生成装置１００が、実際に観測された画像を雲除去用の学習用データセットとして用いる際に、学習用データセットとして不適切となる、地表からの光が透過しない厚い雲を含む厚雲領域にマスク処理を行うことで学習用データセットの対象領域から除外し、薄雲のみを学習用データセットとして利用するからである。

＜第２の実施形態＞
本発明の第２の実施形態に係る学習用データセット生成装置２００は、図９に示すように、合成部２５を備える。合成部２５は、同一観測対象を含む画像のうち雲を含む雲多画像と雲多画像よりも少ない量の雲を含むまたは雲を含まない雲少画像とを組として、雲多画像内における厚雲の画素を示す第一厚雲領域と、雲少画像内における厚雲の画素を示す第二厚雲領域とを入力とし、第一厚雲領域および第二厚雲領域の少なくとも片方に第一演算を実行して雲少画像内において第一厚雲領域をマスクするための第一マスクを生成する。さらに合成部２５は、第一厚雲領域および第二厚雲領域の少なくとも片方に第二演算を実行して雲多画像内において第二厚雲領域をマスクするための第二マスクを生成する。生成された第一マスクを含む情報および雲多画像、並びに、生成された第二マスクを含む情報および雲少画像からなる組は学習用データとなる。

本発明の第２の実施形態によると、自然な雲の画像を用いて雲補正処理に適した学習用データセットを生成することができる。この理由は、学習用データセット生成装置２００の合成部２５が、学習用データセットとして不適切となる、地表からの光が透過しない厚い雲を含む厚雲領域にマスク処理を行うことで学習用データセットの対象領域から除外するからである。

（情報処理装置）
上述した本発明の各実施形態において、図４、９等に示す学習用データセット生成装置における各構成要素の一部又は全部は、例えば図１０に示すような情報処理装置５００とプログラムとの任意の組み合わせを用いて実現することも可能である。情報処理装置５００は、一例として、以下のような構成を含む。

・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３
・プログラム５０４および他のデータを格納する記憶装置５０５
・記録媒体５０６の読み書きを行うドライブ装置５０７
・通信ネットワーク５０９と接続する通信インターフェース５０８
・データの入出力を行う入出力インターフェース５１０
・各構成要素を接続するバス５１１
本願の各実施形態における学習用データセット生成装置の各構成要素は、これらの機能を実現するプログラム５０４をＣＰＵ５０１が取得して実行することで実現される。学習用データセット生成装置の各構成要素の機能を実現するプログラム５０４は、例えば、予め記憶装置５０５やＲＡＭ５０３に格納されており、必要に応じてＣＰＵ５０１が読み出す。なお、プログラム５０４は、通信ネットワーク５０９を介してＣＰＵ５０１に供給されてもよいし、予め記録媒体５０６に格納されており、ドライブ装置５０７が当該プログラムを読み出してＣＰＵ５０１に供給してもよい。

各装置の実現方法には、様々な変形例がある。例えば、学習用データセット生成装置は、構成要素毎にそれぞれ別個の情報処理装置とプログラムとの任意の組み合わせにより実現されてもよい。また、学習用データセット生成装置が備える複数の構成要素が、一つの情報処理装置５００とプログラムとの任意の組み合わせにより実現されてもよい。

また、学習用データセット生成装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。

学習用データセット生成装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

学習用データセット生成装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

以上、本実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

本願発明は、高所から地表を測定した結果に基づく、地図の作製、土地利用状態の把握、火山の噴火や森林火災の状況把握、農作物の生育具合の取得や鉱物の判別に利用可能である。

１１ 同地点画像抽出部
１２ 雲量比較部
１３ 第一厚雲領域生成部
１４ 第二厚雲領域生成部
１５ 合成部
１６ 第一マスク部
１７ 第二マスク部
２５ 合成部
１００ 学習用データセット生成装置
１０１ 衛星画像データベース
１０２ 学習用データセット記憶部
１０３ 学習器
２００ 学習用データセット生成装置
５００ 情報処理装置
５０１ ＣＰＵ
５０３ ＲＡＭ
５０４ プログラム
５０５ 記憶装置
５０６ 記録媒体
５０７ ドライブ装置
５０８ 通信インターフェース
５０９ 通信ネットワーク
５１０ 入出力インターフェース
５１１ バス

Claims (7)

1. 同一観測対象を含む画像のうち雲を含む雲多画像と前記雲多画像よりも少ない量の雲を含むまたは雲を含まない雲少画像とを組として、前記雲多画像内における厚雲の画素を示す第一厚雲領域と、前記雲少画像内における前記厚雲の画素を示す第二厚雲領域とを入力とし、前記第一厚雲領域および前記第二厚雲領域の少なくとも片方に第一演算を実行して前記雲少画像内において前記第一厚雲領域をマスクするための第一マスクを生成し、前記第一厚雲領域および前記第二厚雲領域の少なくとも片方に第二演算を実行して前記雲多画像内において前記第二厚雲領域をマスクするための第二マスクを生成する合成手段
   を備え、
   生成された前記第一マスクを含む情報および前記雲多画像、並びに、生成された前記第二マスクを含む情報および前記雲少画像からなる前記組を学習用データとする
   学習用データセット生成装置。
2. 前記同一観測対象を含む複数の画像において、各々の画像が含む雲量を算出し、算出された雲量と既定値とを比較することで、前記既定値よりも雲量が多い前記雲多画像と、前記既定値よりも雲量が少ない前記雲少画像との組を生成する雲量比較手段
   を更に備える請求項１に記載の学習用データセット生成装置。
3. 前記組のうち、前記雲多画像内の前記第一マスクの各画素に既定値を代入して前記第一マスクを含む情報である第一マスク画像を生成し、前記雲少画像内の前記第二マスクの各画素に既定値を代入して前記第二マスクを含む情報である第二マスク画像を生成するマスク手段
   を更に備える請求項１又は請求項２に記載の学習用データセット生成装置。
4. 前記組のうち、前記雲多画像は前記学習のために入力する画像、前記雲少画像は前記学習の対象となる画像として用いられる
   請求項１乃至請求項３のいずれかに記載の学習用データセット生成装置。
5. 前記第二マスクのサイズは、前記第一マスクと等しい又は前記第一マスクよりも大きい
   請求項１乃至請求項４のいずれかに記載の学習用データセット生成装置。
6. 同一観測対象を含む画像のうち雲を含む雲多画像と前記雲多画像よりも少ない量の雲を含むまたは雲を含まない雲少画像とを組として、前記雲多画像内における厚雲の画素を示す第一厚雲領域と、前記雲少画像内における前記厚雲の画素を示す第二厚雲領域とを受け取り、
   前記第一厚雲領域および前記第二厚雲領域の少なくとも片方に第一演算を実行して前記雲少画像内において前記第一厚雲領域をマスクするための第一マスクを生成し、
   前記第一厚雲領域および前記第二厚雲領域の少なくとも片方に第二演算を実行して前記雲多画像内において前記第二厚雲領域をマスクするための第二マスクを生成することを備え、
   生成された前記第一マスクを含む情報および前記雲多画像、並びに、生成された前記第二マスクを含む情報および前記雲少画像からなる前記組を学習用データとする
   学習用データセット生成方法。
7. 同一観測対象を含む画像のうち雲を含む雲多画像と前記雲多画像よりも少ない量の雲を含むまたは雲を含まない雲少画像とを組として、前記雲多画像内における厚雲の画素を示す第一厚雲領域と、前記雲少画像内における前記厚雲の画素を示す第二厚雲領域とを受け取り、
   前記第一厚雲領域および前記第二厚雲領域の少なくとも片方に第一演算を実行して前記雲少画像内において前記第一厚雲領域をマスクするための第一マスクを生成し、
   前記第一厚雲領域および前記第二厚雲領域の少なくとも片方に第二演算を実行して前記雲多画像内において前記第二厚雲領域をマスクするための第二マスクを生成し、
   生成された前記第一マスクを含む情報および前記雲多画像、並びに、生成された前記第二マスクを含む情報および前記雲少画像からなる前記組を学習用データとする
   ことをコンピュータに実現させるための学習用データセット生成プログラム。
   

Images