JP7391278B2

JP7391278B2 - レーダ画像から関心領域を自動検出するための学習方法、及び自動検出装置

Info

Publication number: JP7391278B2
Application number: JP2023549976A
Authority: JP
Inventors: 将敬鈴木; 俊平亀山
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2021-11-05
Filing date: 2021-11-05
Publication date: 2023-12-04
Anticipated expiration: 2041-11-05
Also published as: JPWO2023079669A1; WO2023079669A1

Description

本開示技術は、レーダ画像から関心領域を自動検出するための学習方法、及び自動検出装置に関する。

従来から、人工衛星又は航空機に搭載されたレーダからのレーダ画像を用いて、地物を判読することが試みられている。
マイクロ波を用いるレーダは、その特性を利用して、昼夜、天候に関係なく、広域を面的に撮影することができる。ただしレーダ画像は、複雑な散乱メカニズム、及びノイズの影響により、地物の判読が難しい。
地物の判読を行う手段として、光学画像を用いることも考えられる。光学画像は、可視域の波長が用いられているため、人が肉眼で見るものと同じ情報が得られ、地物を判読しやすい。ただし光学画像は、良好な天候の時にしか撮影できない。

例えば特許文献１には、合成開口レーダによるレーダ画像データについて、錯乱強度の反射特性を人的に馴染みのある白黒パンクロマチックの反射特性に近づけるための変換処理を行い、これと光学画像を重ね合わせるため、より光学衛星で撮影された画像に近い合成画像を得る技術が開示されている。

特開２００９－４７５１６号公報

光学画像と性質の近い合成画像を得ることができれば、人間の目で当該合成画像を精査し、例えば災害を発見できるかもしれない。
本開示技術は、さらに先へ進み、レーダ画像から関心領域を自動検出するための学習方法の提供を目的とする。ここで関心領域とは、例えば、海水面上におけるオイル流出、大雨又は地震に起因する土砂崩れ、森林火災、風倒木、浸水、といった災害の箇所などが考えられる。

本開示技術に係る学習方法は、光学衛星画像から関心領域を検出するための特徴量を計算し、特徴量を用いて関心領域の地図上の位置を検出し、レーダ衛星画像について、位置に対して教師ラベルを付けたマスク画像を生成し、レーダ衛星画像とマスク画像とからなる学習データセットを作成し、学習データセットを用いて機械学習を行うことにより、レーダ衛星画像から関心領域を検出するための学習モデルを生成する、というものである。

本開示技術に係る学習方法は上記手順を含むため、レーダ画像から関心領域を自動検出する、という課題を解決できる。

図１は、実施の形態１に係る、レーダ画像から関心領域を自動検出するための学習方法、の手順を示すフローチャートである。図２は、実施の形態２に係る、レーダ画像から関心領域を自動検出するための学習方法、の手順を示すフローチャートである。図３は、実施の形態３に係る、レーダ画像から関心領域を自動検出するための学習方法、の手順を示すフローチャートである。図４は、実施の形態４に係る、レーダ画像から関心領域を自動検出するための学習方法、の手順を示すフローチャートである。図５は、実施の形態５に係る、レーダ画像から関心領域を自動検出するための学習方法、の手順を示すフローチャートである。図６は、実施の形態６に係る、レーダ画像から関心領域を自動検出するための学習方法、の手順を示すフローチャートである。

実施の形態１．
図１は、実施の形態１に係る、レーダ画像から関心領域を自動検出するための学習方法、の手順を示すフローチャートである。図１に示されるとおり実施の形態１に係る学習方法は、大きく３つの手順に分けられる。３つの手順は、光学衛星画像に係る手順（ＳＴ１、ＳＴ２、及びＳＴ３）と、レーダ衛星画像に係る手順（ＳＴ４）と、学習に係る手順（ＳＴ５）と、である。

図１に示される光学衛星画像に係る手順は、特徴量を算出する手順（ＳＴ１）と、対象位置を検出する手順（ＳＴ２）と、教師ラベルを作成する手順（ＳＴ３）と、を含む。
図１に示されるレーダ衛星画像に係る手順は、学習データセットを作成する手順（ＳＴ４）を含む。
図１に示される学習に係る手順は、機械学習を行う手順（ＳＴ５）を含む。

本開示技術が目指すゴールの一つの態様には、レーダ画像に対してＳｅｍａｎｔｉｃＳｅｇｍｅｎｔａｔｉｏｎ（以降、「セマンティックセグメンテーション」と称する）が挙げられる。セマンティックセグメンテーションとは、画像のピクセル単位すなわち画素単位で、何が写っているかといったラベル又はカテゴリを関連付ける教師あり学習の問題及び手法を言う。セマンティックセグメンテーションでは、入力画像とマスク画像とがセットとなったデータセットを使い、入力画像を入れたときにマスク画像が出力されるよう、学習を行う。入力画像とマスク画像とからなるデータセットは、元画像とラベル付き画像とからなるデータセットと称されることもある。
本開示技術が想定する場面を当てはめれば、レーダ画像が入力画像であり、災害の箇所を災害の種類ごとの色で示したものがマスク画像である。すなわち、レーダ画像を入力したときに、オイル流出、土砂崩れ、森林火災、といった災害の箇所に対して、災害の種類に応じた色のマスキングがされたマスク画像を出力すること、これこそが本開示技術が目指すゴールの一つである。

セマンティックセグメンテーションは、他の教師あり学習と同様、膨大な量の学習用データセットと検証用データセットとを必要とする。レーダ画像を入力画像とした場合の学習用データセットは、準備したレーダ画像に対して、災害箇所がマスキングされたマスク画像を作成してセットとする必要がある。ただし前述のとおりレーダ画像は、視認性が悪く、地物の判読が難しい。このため、レーダ画像から直接マスク画像を作成することは、容易ではない。
そこで本開示技術は、レーダ衛星画像と、少なくとも一部が同じ領域を撮影した光学衛星画像と、をペアにし、ペア画像の情報から学習用データセットと検証用データセットとを作り上げていくことを考える。すなわち本開示技術は、学習用データセットを作成する手順において、レーダ衛星画像と同じ領域を撮影した光学衛星画像とのペアを用いる。図１に示された光学衛星画像に係る手順（ＳＴ１、ＳＴ２、及びＳＴ３）とレーダ衛星画像に係る手順（ＳＴ４）とは、本開示技術がペア画像を用いることを表している。
一般に、航空写真及び衛星画像は、撮影領域の半分が次の画像と重なるタイミングでシャッターが押される。そして撮影された複数の画像により、全体のデータが作り上げられている。よって、光学衛星画像とレーダ衛星画像とは、厳密なペアである必要はないが、全体として同じ領域がカバーされていればよい。
なお学習用データセットは、以降、単に「学習データセット」と称する。また検証用データセットは、以降、単に「検証データセット」と称する。

本開示技術に係る第１の手順は、光学衛星画像について、特徴量を算出する手順（ＳＴ１）である。
本開示技術は、光学画像についてあらかじめセマンティックセグメンテーションを行っておくとよい。光学画像についてのセマンティックセグメンテーションは、例えばＦＣＮ（ＦｕｌｌｙＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋｓ）により実現されてよい。ＦＣＮは、ＣＮＮの一種であるが、領域全体をカバーする１×１の畳込みを行うことを考えて、全結合層を畳込み層に置き換えても同じような結果を得るという性質を有する。ＦＣＮは、入力画像のサイズを修正する必要がない、という利点がある。ＦＣＮには、入力された光学衛星画像から関心領域を検出するための特徴量を算出する過程、すなわち特徴量を算出する手順（ＳＴ１）、が含まれている。
光学画像についてのセマンティックセグメンテーションは、ＦＣＮのほか、ＳｅｇＮｅｔ、Ｕ－Ｎｅｔ、ＰＳＰＮｅｔ、ＤｅｅｐＬａｂ、等で行ってもよい。

本開示技術は、この特徴量について、ＮＤＶＩ（ＮｏｒｍａｌｉｚｅｄＤｉｆｆｅｒｅｎｃｅＶｅｇｅｔａｔｉｏｎＩｎｄｅｘ）を利用することも考えられる。ＮＤＶＩは、植生の分布状況、及び活性度を示す指標である。ＮＤＶＩは、日本語では正規化差植生指数と称される。ＮＤＶＩは、次式によって与えられる。

ここでＮＩＲは近赤外域（Ｌａｎｄｓａｔ８のＢａｎｄ５）の反射率を、ＲＥＤは赤色光（Ｌａｎｄｓａｔ８のＢａｎｄ４）の反射率を、それぞれ表す。ＮＤＶＩは、－１から１の間に正規化された数値で示され、植生が濃い場合、ＮＤＶＩの値が大きくなる。ＮＤＶＩが或る閾値以上を示す画素は、植生を観測した画素であると判断してよい。
また、本開示技術は、或る時期の基準となる画像と現在の画像と、２つの時期の画像を比較してもよい。２つの時期の画像を比較し、ＮＤＶＩの変化量を評価することで、植生に関する変化を検出することもできる。
ＮＤＶＩ及びその他のバンド間演算を活用した方法の詳細は、実施の形態３以降の説明により明らかとなる。

本開示技術に係る第２の手順は、光学衛星画像について、対象位置を検出する手順（ＳＴ２）である。第２の手順における用語の「対象」は、前述の関心領域と同義である。また第２の手順における用語の「対象位置」は、関心領域の位置と同義である。
衛星画像の各画素は、地図上の位置、例えば緯度経度と対応付けることができる。特許文献１に例示されたレーダ画像と光学画像とを重ね合わせる技術も、それぞれの画像が地図上の位置という共通の座標系で表すことができるため、実現できるものである。地図は、地球上の一部又は全部である実空間を座標系の情報として表したものと考えてよい。
具体的に対象位置を検出する手順（ＳＴ２）は、光学衛星画像について関心領域の画素を特定し、その画素に対応づけられた地図上の位置を求める、というものである。

本開示技術に係る第３の手順は、光学衛星画像について、教師ラベルを作成する手順（ＳＴ３）である。前述のとおり光学画像についてセマンティックセグメンテーションを行う場合、教師ラベルを作成する手順（ＳＴ３）は、前述のマスク画像を作成することに他ならない。前述のとおり、マスク画像はラベル付き画像とも称される。マスク画像の作成は、光学衛星画像について人間が手動により行ってもよいし、あらかじめ光学画像について学習させたセマンティックセグメンテーションを用いてもよい。

本開示技術に係る第４の手順は、レーダ衛星画像について、学習データセットを作成する手順（ＳＴ４）である。
レーダ衛星画像についての学習データセットの作成手順は、さらに詳細な手順に分解できる。詳細手順その１は、レーダ衛星画像について、ペアとなる光学衛星画像を準備することである。詳細手順その２は、ペアとなる光学衛星画像についてのマスク画像を参照することである。詳細手順その３は、マスク画像における画素と対応づけられた地図上の位置から、マスク情報を地図座標上の情報に変換することである。ここでマスク情報は、画素単位で与えられたラベル情報にほかならない。最後に詳細手順その４は、地図座標上のマスク情報から、レーダ衛星画像についてのマスク画像を作り上げていくことである。レーダ衛星画像とそのマスク画像とが、レーダ衛星画像についての学習データセットとなる。

レーダ衛星画像からなるデータ（以降、「レーダ衛星画像データ」と称する）は、学習に適したものに加工されてもよい。例えばレーダ衛星画像は、縦画素数がＮで横画素数がＭといったあらかじめ決められたサイズにトリミングされてもよい。また、例えばレーダ衛星画像は、利用可能な偏波の数だけレイヤ数又は属性数を有するよう加工されてもよい。

本開示技術に係る第５の手順は、機械学習を行う手順（ＳＴ５）である。機械学習に用いる学習データセットは、学習データセットを作成する手順（ＳＴ４）で作成したレーダ衛星画像についての学習データセットである。ここで行う機械学習は、光学衛星画像について行ったセマンティックセグメンテーションと同じでよい。またここで行う機械学習のモデルは、光学衛星画像について行ったセマンティックセグメンテーションで用いたニューラルネットワークと同様の構造のニューラルネットワークが用いられてよい。

本開示技術は、上記の第１から第５の手順を実施することにより、レーダ衛星画像についてセマンティックセグメンテーションを行う学習済みモデルを得る。

以上のとおり実施の形態１に係る学習方法は上記手順を含むため、視認性が悪く地物の判読が難しいレーダ画像から関心領域を自動検出することができる。

実施の形態２．
実施の形態１に係る方法は、学習モデルを得る段階までを示したものである。実施の形態２に係る方法は、実施の形態１に係る方法を含み、学習モデルを検証する手順をさらに備えるものである。
実施の形態２において、実施の形態１と重複する説明は適宜省略される。

図２は、実施の形態２に係る、レーダ画像から関心領域を自動検出するための学習方法、の手順を示すフローチャートである。図２に示されるとおり実施の形態２に係る方法は、実施の形態１に示される手順に加え、検証データセットを作成する手順（ＳＴ６）と、検証結果を確認する手順（ＳＴ７）と、を含む。

本開示技術に係る第６の手順は、レーダ衛星画像について、検証データセットを作成する手順（ＳＴ６）である。検証データセットにおけるレーダ衛星画像は、学習データセットにおけるレーダ衛星画像とは異なるものを用いる。検証データセットの作成は、実施の形態１で示した学習データセットの作成と同じ要領で実施されてよい。

本開示技術に係る第７の手順は、レーダ衛星画像について、検証結果を確認する手順（ＳＴ７）である。ここでは、検証用に準備したレーダ衛星画像に対し、学習が進んだモデルによるセマンティックセグメンテーションを行い、その結果が正しかったかどうか、検証データセットのマスク画像と比較する。
検証を行った結果が許容できる範囲の正しさであった場合、学習を終了する。検証を行った結果が許容できる範囲の正しさでなかった場合、学習用のデータを追加し、学習を継続する。

以上のとおり実施の形態２に係る学習方法は上記手順を含むため、学習モデルを検証でき、視認性が悪く地物の判読が難しいレーダ画像から関心領域を自動検出することができる。

実施の形態３．
実施の形態１及び実施の形態２に係る方法は、関心領域の種類を限定せず、汎用的な方法であるといえる。
実施の形態３は、関心領域を倒木に限定し、倒木に特化した、レーダ画像から関心領域を自動検出するための学習方法について明らかにする。
実施の形態３において、既出の実施の形態と重複する説明は適宜省略される。

倒木の発生した領域を関心領域とする場合、学習データセットとして、倒木発生前後の光学衛星画像及びレーダ衛星画像が用いられる。倒木発生前後は、例えば台風前後としてもよい。
光学衛星画像は、少なくとも赤色光と近赤外光のマルチスペクトルデータを含むものが用いられる。
またレーダ衛星画像は、Ｌバンドといった植物の枝葉を透過する波長帯のものが用いられる。

図３は、実施の形態３に係る、レーダ画像から関心領域を自動検出するための学習方法、の手順を示すフローチャートである。図３に示されるとおり実施の形態３に係る方法は、学習モデルを得る手順と、学習モデルを検証する手順と、に分けられる。学習モデルを得る手順は、マルチスペクトルデータを読み込む手順（ＳＴ３１）と、ＮＤＶＩを算出する手順（ＳＴ３２）と、ＮＤＶＩの変化量を算出する手順（ＳＴ３３）と、ＮＤＶＩの変化量と閾値とを比較する手順（ＳＴ３４）と、教師ラベルを生成する手順（ＳＴ３５）と、学習データセットを作成する手順（ＳＴ３６）と、機械学習を行う手順（ＳＴ３７）と、を含む。学習モデルを検証する手順は、検証データセットを作成する手順（ＳＴ３８）と、検証結果を確認する手順（ＳＴ３９）と、を含む。

実施の形態３に係る第１の手順は、光学衛星画像について、マルチスペクトルデータを読み込む手順（ＳＴ３１）である。
マルチスペクトルデータを含む光学衛星画像は、光学衛星に搭載するカメラをマルチスペクトルカメラ、又はハイパースペクトルカメラとすることで準備されてもよい。マルチスペクトルカメラにより得られる画像は、マルチスペクトル画像と称される。マルチスペクトルデータを読み込むことは、マルチスペクトル画像を得ることと同義であると考えてよい。

マルチスペクトル画像は、異なる波長帯の情報を有するため、特定の地表の物体の特徴をうまくとらえられる。異なる波長帯の情報を用いた演算は、バンド間演算と称される。実施の形態１に記載のＮＤＶＩは、バンド間演算の代表的なもののひとつである。

実施の形態３に係る第２の手順は、光学衛星画像又はマルチスペクトル画像について、ＮＤＶＩを算出する手順（ＳＴ３２）である。
ここでは、倒木前後のマルチスペクトル画像のそれぞれから、ＮＤＶＩが算出される。実施の形態３に係る方法は、「倒木が発生した領域は、幹部分の露出及びクロロフィルの吸収の減少からＮＤＶＩが低下するであろう」という推測原理に基づく。
実施の形態３に係る方法は、バンド間演算における赤色光の反射率に代えて、短波長赤外光の反射率を利用することも考えられる。バンド間演算に単波長赤外光の反射率を用いるＮＤＷＩ（ＮｏｒｍａｌｉｚｅｄＤｉｆｆｅｒｅｎｃｅＷａｔｅｒＩｎｄｅｘ）の詳細は、実施の形態４の説明により明らかとなる。

実施の形態３に係る第３の手順は、光学衛星画像又はマルチスペクトル画像について、ＮＤＶＩの変化量を算出する手順（ＳＴ３３）である。
ここでは、例えば倒木が発生したと推定される台風の前後の画像データについて、ＮＤＶＩの差を計算する。

実施の形態３に係る第４の手順は、光学衛星画像又はマルチスペクトル画像について、ＮＤＶＩの変化量と閾値とを比較する手順（ＳＴ３４）である。
ここでは、第３の手順で求めたＮＤＶＩと閾値とを比較し、閾値を超える画素は倒木が発生した関心領域の画素であると判断する。倒木に係るＮＤＶＩの閾値は、経験的に求めた値が用いられてよい。図３に示されるＮＤＶＩの変化量と閾値とを比較する手順（ＳＴ３４）のフローチャートブロックにおいて、ΔＮＤＶＩはＮＤＶＩの変化量を、σ_ＶΔは閾値を、それぞれ表す。

実施の形態３に係る第５の手順は、光学衛星画像又はマルチスペクトル画像について、教師ラベルを生成する手順（ＳＴ３５）である。この手順は、実施の形態１に係る第３の手順、すなわち教師ラベルを作成する手順（ＳＴ３）、と同じである。

実施の形態３に係る第６の手順は、レーダ衛星画像について、学習データセットを作成する手順（ＳＴ３６）である。この手順も、実施の形態１に係る学習データセットを作成する手順（ＳＴ４）と同じである。

実施の形態３に係る第７の手順は、機械学習を行う手順（ＳＴ３７）である。この手順も、実施の形態１に係る機械学習を行う手順（ＳＴ５）と同じである。

実施の形態３に係る第８の手順は、レーダ衛星画像について、検証データセットを作成する手順（ＳＴ３８）である。この手順は、実施の形態２に係る検証データセットを作成する手順（ＳＴ６）と同じである。

実施の形態３に係る第９の手順は、レーダ衛星画像について、検証結果を確認する手順（ＳＴ３９）である。この手順も、実施の形態２に係る検証結果を確認する手順（ＳＴ７）と同じである。

以上のとおり実施の形態３に係る学習方法は上記手順を含むため、学習モデルを検証でき、視認性が悪く地物の判読が難しいレーダ画像から倒木が発生した領域を自動検出することができる。

実施の形態４．
実施の形態３は、関心領域を倒木に限定し、倒木に特化した、レーダ画像から関心領域を自動検出するための学習方法であった。
実施の形態４は、関心領域を浸水に限定し、浸水に特化した、レーダ画像から関心領域を自動検出するための学習方法について明らかにする。
実施の形態４において、既出の実施の形態と重複する説明は適宜省略される。

ここで浸水とは、具体的には、大雨、台風、等によって河川氾濫が生じた際、陸域が水に侵されることを言う。
浸水の発生した領域を関心領域とする場合、学習データセットとして、浸水発生前後の光学衛星画像及びレーダ衛星画像が用いられる。浸水発生前後は、例えば大雨の前後、又は台風の前途としてもよい。
光学衛星画像は、少なくとも近赤外光と短波長赤外光のマルチスペクトルデータを含むものが用いられる。
なお一般にレーダ衛星画像は、浸水発生前後の後方散乱係数に変化が生じることが知られている。この性質は、レーダ衛星画像から浸水が発生した関心領域を特定できることを裏付けている。

図４は、実施の形態４に係る、レーダ画像から関心領域を自動検出するための学習方法、の手順を示すフローチャートである。図４に示されるとおり実施の形態４に係る方法は、学習モデルを得る手順と、学習モデルを検証する手順と、に分けられる。学習モデルを得る手順は、マルチスペクトルデータを読み込む手順（ＳＴ４１）と、ＮＤＷＩを算出する手順（ＳＴ４２）と、ＮＤＷＩと閾値とを比較する手順（ＳＴ４３）と、教師ラベルを生成する手順（ＳＴ４４）と、学習データセットを作成する手順（ＳＴ４５）と、機械学習を行う手順（ＳＴ４６）と、を含む。学習モデルを検証する手順は、検証データセットを作成する手順（ＳＴ４７）と、検証結果を確認する手順（ＳＴ４８）と、を含む。

実施の形態４に係る第１の手順は、光学衛星画像について、マルチスペクトルデータを読み込む手順（ＳＴ４１）である。この手順は、実施の形態３に係るマルチスペクトルデータを読み込む手順（ＳＴ３１）と同じである。

実施の形態４に係る第２の手順は、光学衛星画像又はマルチスペクトル画像について、ＮＤＷＩを算出する手順（ＳＴ４２）である。この手順は、実施の形態３に係るＮＤＶＩを算出する手順（ＳＴ３２）と類似している。ＮＤＷＩは、具体的には次式によって与えられる。

ここでＮＩＲは近赤外域（Ｌａｎｄｓａｔ８のＢａｎｄ５）の反射率を、ＳＷＩＲは短波長赤外域（Ｌａｎｄｓａｔ８のＢａｎｄ６又はＢａｎｄ７）の反射率を、それぞれ表す。

実施の形態４に係る第３の手順は、光学衛星画像又はマルチスペクトル画像について、ＮＤＷＩと閾値とを比較する手順（ＳＴ４３）である。
ここでは、第２の手順で求めたＮＤＷＩと閾値との比較が各画素について行われる。浸水発生前のマルチスペクトル画像においてはＮＤＷＩが閾値よりも小さいが、浸水発生後のマルチスペクトル画像においてはＮＤＷＩが閾値よりも大きい、といった条件が検討される。この条件が当てはまる画素は、もともとは陸域であり、浸水が発生した領域についての画素であると判断される。浸水に係るＮＤＷＩの閾値は、経験的に求めた値が用いられてよい。図４に示されるＮＤＷＩと閾値とを比較する手順（ＳＴ４３）のフローチャートブロックにおいて、ＮＤＷＩ_ｐｒｅは浸水発生前のマルチスペクトル画像におけるＮＤＷＩを、ＮＤＷＩ_ｐｏｓｔは浸水発生後のマルチスペクトル画像におけるＮＤＷＩを、それぞれ表す。また同フローチャートブロックにおいて、σ_Ｗｐｒｅは浸水発生前のマルチスペクトル画像におけるＮＤＷＩの閾値を、σ_{Ｗｐｏｓｔ}は浸水発生後のマルチスペクトル画像におけるＮＤＷＩの閾値を、それぞれ表す。なお、σ_Ｗｐｒｅとσ_{Ｗｐｏｓｔ}とは、同じ値であってもよい。

実施の形態４に係る第４の手順は、光学衛星画像又はマルチスペクトル画像について、教師ラベルを生成する手順（ＳＴ４４）である。この手順は、実施の形態１に係る教師ラベルを作成する手順（ＳＴ３）と同じである。

実施の形態４に係る第５の手順は、レーダ衛星画像について、学習データセットを作成する手順（ＳＴ４５）である。この手順も、実施の形態１に係る学習データセットを作成する手順（ＳＴ４）と同じである。

実施の形態４に係る第６の手順は、機械学習を行う手順（ＳＴ４６）である。この手順も、実施の形態１に係る機械学習を行う手順（ＳＴ５）と同じである。

実施の形態４に係る第７の手順は、レーダ衛星画像について、検証データセットを作成する手順（ＳＴ４７）である。この手順は、実施の形態２に係る検証データセットを作成する手順（ＳＴ６）と同じである。

実施の形態４に係る第８の手順は、レーダ衛星画像について、検証結果を確認する手順（ＳＴ４８）である。この手順も、実施の形態２に係る検証結果を確認する手順（ＳＴ７）と同じである。

以上のとおり実施の形態４に係る学習方法は上記手順を含むため、学習モデルを検証でき、視認性が悪く地物の判読が難しいレーダ画像から浸水が発生した領域を自動検出することができる。

実施の形態５．
レーダ画像から浸水が発生した領域を自動検出する場面において、あらかじめ地図上のどの位置が水域であるかがわかれば、誤検出を減らすことが期待できる。
実施の形態５は、実施の形態４に係る学習方法を基礎とし、積極的に水域情報を用いる学習方法について明らかにする。
実施の形態５において、既出の実施の形態と重複する説明は適宜省略される。

図５は、実施の形態５に係る、レーダ画像から関心領域を自動検出するための学習方法、の手順を示すフローチャートである。図５に示されるとおり実施の形態５に係る方法は、実施の形態４に示された手順に加え、水域情報を読み込む手順（ＳＴ５１）をさらに含む。

図５に示される地理空間情報データベースとは、地球上の座標と土地被覆分類とが紐づけられたデータベースをいう。土地被覆分類とは、土地を道路、河川、森、等の種類に分類すること又は分類した結果をまとめた情報のことをいう。本開示技術に係る方法は、地理空間情報データベースを利用できる状況においては、積極的にこれを利用する。
前述のとおり地理空間情報データベースが利用できれば、誤検出を減らすことが期待できる。さらに地理空間情報データベースすることは、学習に必要な衛星画像の枚数を減らすことも期待できる。

図５に示されるとおり実施の形態５に係る第２から第９の手順は、実施の形態４に係る第１から第８の手順とほぼ同じである。実施の形態５に係る第４の手順と実施の形態４に係る第３の手順とには、若干の差異がある。
実施の形態５に係るＮＤＷＩと閾値とを比較する手順（ＳＴ５４）は、実施の形態４に係るＮＤＷＩと閾値とを比較する手順（ＳＴ４３）と比較して、浸水発生前の状態における陸域又は水域の判断の仕方が異なる。実施の形態５は、浸水発生前のマルチスペクトル画像のＮＤＷＩと閾値との比較に代えて、直接、地理空間情報データベースから得た水域情報を利用する。

実施の形態５に係るＮＤＷＩと閾値とを比較する手順（ＳＴ５４）では、浸水発生後のマルチスペクトル画像についてのみ、ＮＤＷＩと閾値との比較が行われる。さらにいえば実施の形態５に係るＮＤＷＩと閾値とを比較する手順（ＳＴ５４）では、地理空間情報データから得た水域以外の領域に対応する画素についてののみ、ＮＤＷＩと閾値との比較が行われる。

以上のとおり実施の形態５に係る学習方法は上記手順を含むため、学習モデルを検証でき、視認性が悪く地物の判読が難しいレーダ画像から浸水が発生した領域を自動検出することができる。
また地理空間情報データベースを利用できる状況にあれば、本開示技術は積極的にこれを利用し、誤検出を減らし、学習に必要な衛星画像の枚数を減らすこともできる。

実施の形態６．
実施の形態３から実施の形態５までは、ＮＤＶＩ及びＮＤＷＩを用いる方法について明らかにしてきた。
実施の形態６は、さらに別のバンド間演算であるＮＤＳＩ（ＮｏｒａｌｉｚｅｄＤｉｆｆｅｒｅｎｃｅＳｎｏｗＩｎｄｅｘ）について開示し、多時期の観測データを用いる方法の態様を明らかにする。また実施の形態６では、関心領域を災害が発生した箇所に限定しない。

図６は、実施の形態６に係る、レーダ画像から関心領域を自動検出するための学習方法、の手順を示すフローチャートである
図６に示されるとおり、実施の形態６に係る方法は、学習モデルを得る手順と、学習モデルを検証する手順と、に分けられる。学習モデルを得る手順は、特徴量を算出する手順（ＳＴ６１）と、特徴量の変化量を算出する手順（ＳＴ６２）と、特徴量の変化量と閾値とを比較する手順（ＳＴ６３）と、教師ラベルを作成する手順（ＳＴ６４）と、教師ラベルを読み込む手順（ＳＴ６５）と、学習データセットを作成する手順（ＳＴ６６）と、機械学習を行う手順（ＳＴ６７）と、を含む。学習モデルを検証する手順は、検証データセットを作成する手順（ＳＴ６８）と、検証結果を確認する手順（ＳＴ６９）と、を含む。

実施の形態６に係る第１の手順は、光学衛星画像について、特徴量を算出する手順（ＳＴ６１）である。ここで特徴量は、複数の種類があってよく、ＮＤＶＩ、ＮＤＷＩ、の他、次式に示すＮＤＳＩが追加されてもよい。

ここでＧＲＥＥＮは緑色域（Ｌａｎｄｓａｔ８のＢａｎｄ３）の反射率を、ＳＷＩＲは短波長赤外域（Ｌａｎｄｓａｔ８のＢａｎｄ６又はＢａｎｄ７）の反射率を、それぞれ表す。
本開示技術を適用する光学衛星画像は、多時期の観測データであってよい。多時期の観測データに対してＮＤＳＩを算出することによって、積雪があった地域及び時期を特定することができる。

実施の形態６に係る第２の手順は、光学衛星画像について、特徴量の変化量を算出する手順（ＳＴ６２）である。特徴量の変化量を算出するための光学衛星画像は、関心のある場所及び時期の光学衛星画像と、その場所の土地被覆に変化が生じる程度にその直前の時期に撮影した光学衛星画像と、を用いることが望ましい。その場所の土地被覆に変化が生じる程度にその直前の時期とは、例えば、関心のある時期が２０２１年９月３日だった場合の２０２１年８月２７日、といった１週間前であってよい。

実施の形態６に係る第３の手順は、光学衛星画像について、特徴量の変化量と閾値とを比較する手順（ＳＴ６３）である。ここで閾値は、特徴量の種類ごとにそれぞれ設けられていてよい。前述のとおりＮＤＶＩ等の指標は、－１から１の間に正規化された数値で示される。そこでＮＤＶＩ等の変化量についての閾値は、例えば０．５と定められてよい。ＮＤＶＩ等の変化量は、正負の両方が考え得るため、閾値も正側と負側とそれぞれ定められてもよい。

実施の形態６に係る第４の手順は、光学衛星画像又はマルチスペクトル画像について、教師ラベルを作成する手順（ＳＴ６４）である。ここで教師ラベルは、特徴量の性質に応じた内容のラベルであってよい。例えば、ＮＤＶＩの変化量と閾値とを比較して特定した画素は、「Ｖｅｇｅｔａｔｉｏｎ」という名称の教師ラベルが対応づけられてよい。同様に、ＮＤＳＩの変化量と閾値とを比較して特定した画素は、「Ｓｎｏｗ」という名称の教師ラベルが対応づけられてよい。

実施の形態６に係る第５の手順は、教師ラベルを読み込む手順（ＳＴ６５）である。実施の形態６は、前述のとおり多時期の観測データを用いる。したがって、教師ラベルを作成する手順（ＳＴ６４）で作成した教師ラベルは、いったん、図６に示されたデータベースに保存される。教師ラベルを読み込む手順（ＳＴ６５）は、十分に多時期の観測データが集まった後に、機械学習をいよいよ行うときに実施される手順である。

実施の形態６に係る第６の手順は、レーダ衛星画像について、学習データセットを作成する手順（ＳＴ６６）である。この手順は、実施の形態１に係る学習データセットを作成する手順（ＳＴ４）と同じである。

実施の形態６に係る第７の手順は、機械学習を行う手順（ＳＴ６７）である。この手順も、実施の形態１に係る機械学習を行う手順（ＳＴ５）と同じである。

実施の形態６に係る第８の手順は、検証データセットを作成する手順（ＳＴ６８）である。この手順は、実施の形態２に係る検証データセットを作成する手順（ＳＴ６）と同じである。

実施の形態６に係る第９の手順は、検証結果を確認する手順（ＳＴ６９）である。この手順も、実施の形態２に係る検証結果を確認する手順（ＳＴ７）と同じである。

以上のとおり実施の形態６に係る学習方法は上記手順を含むため、学習モデルを検証でき、視認性が悪く地物の判読が難しいレーダ画像から土地被覆の種類に応じた自動検出を行うことができる。

本開示技術は、レーダ衛星画像を用いた被災箇所の自動検出装置に応用でき、産業上の利用可能性を有する。

Claims

光学衛星画像から関心領域を検出するための特徴量を計算し、
前記特徴量を用いて前記関心領域の地図上の位置を検出し、
レーダ衛星画像について、前記位置に対して教師ラベルを付けたマスク画像を生成し、
前記レーダ衛星画像と前記マスク画像とからなる学習データセットを作成し、
前記学習データセットを用いて機械学習を行うことにより、前記レーダ衛星画像から前記関心領域を検出するための学習モデルを生成する、
学習方法。
さらに、前記学習データセットとは異なる検証データセットを用いて、前記機械学習を行った前記学習モデルを検証する、
請求項１に記載の学習方法。
前記特徴量はＮＤＶＩを含み、
前記関心領域は倒木が発生した地域である
請求項１に記載の学習方法。
前記特徴量はＮＤＷＩを含み、
前記関心領域は浸水が発生した地域である
請求項１に記載の学習方法。
地理空間情報データベースを利用して前記教師ラベルを生成する
請求項４に記載の学習方法。
前記光学衛星画像は多時期の観測データであり、
前記特徴量はＮＤＳＩを含む、
請求項１に記載の学習方法。
前記レーダ衛星画像と前記学習モデルを用いて、前記関心領域を自動検出する自動検出装置において、
前記学習モデルが、請求項１から６までのいずれか１項に記載の学習方法により学習された、
自動検出装置。