JP7316004B1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】ドローン画像または低頻度高解像度衛星画像の取得タイミングよりも高頻度に、ドローン画像または低頻度高解像度衛星画像と同等の分解能を有する画像を生成すること。【解決手段】衛星コンステレーション画像を取得する第１取得部と、ドローン画像または低頻度高解像度衛星画像を衛星コンステレーション画像よりも低頻度で取得する第２取得部と、ドローン画像または低頻度高解像度衛星画像を植物の生育モデルを構成要素とする状態遷移モデルに当てはめることで、ドローン画像または低頻度高解像度衛星画像が得られておらず且つ衛星コンステレーション画像が得られているタイミングにおけるドローン画像または低頻度高解像度衛星画像を推定した推定画像を生成する推定部と、推定画像を、当該推定画像が想定する撮像タイミングで撮像された衛星画像に基づいて補正した補正画像を生成する補正部と、を備える情報処理装置。【選択図】図１

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関する。

地上を上空から撮像した画像を処理することで種々の情報を得ることについて研究が進められている。取得される画像には、衛星から地上を撮像した画像に基づく衛星画像、ドローン（無人航空機）から地上を撮像した画像に基づくドローン画像などがある。衛星コンステレーションの登場により近年の衛星画像は毎日同じ場所を撮像できるが、空間分解能は一般に数メートルであるため、細かい部分の観測は不向きである。一方、ドローン画像は数センチ程度の高分解能で観測できるが、作業に手間がかかるため毎日同じ場所を撮影するには不向きである。また、高解像度でありながら衛星コンステレーションほど高頻度に撮影できない衛星画像もある。

特許文献１には、人工衛星によるリモートセンシングデータと、ドローンによるリモートセンシングデータとにより、植生状態等の計測結果生成に使用できる情報処理を行う方法の発明が記載されている。この発明は、同時期に撮像された衛星コンステレーション画像とドローン画像、あるいは、同時期に撮像された衛星コンステレーション画像と低頻度高解像度衛星画像を使い、空間的に精細な情報を取得するものである。

特開２０２１－１２４３３号公報

T. HORIE, H. NAKAGAWA, H.G.S. CENTENO, M. J. KROPFF (1995), "The rice crop simulation model SIMRIW and its testing." Modeling the impact of climate change on rice production in Asia. CABI, UK, IRRI, Philippines, pp. 95-139 Jacquemoud S., Verhoef W., Baret F., Bacour C., Zarco-Tejada P.J., Asner G.P., Francois C., & Ustin S.L. (2009), "PROSPECT + SAIL models: a review of use for vegetation characterization. Remote Sensing of Environment", 113, S56-S66 Qiaomin Chen, Bangyou Zheng, Karine Chenu, Pengcheng Hu, and Scott C. Chapman(2022) "Unsupervised Plot-Scale LAI Phenotyping via UAV-Based Imaging, Modelling, and Machine Learning." Plant Phenomics Vol.2022. https://doi.org/10.34133/2022/9768253 牧雅康、桂圭佑、沖一雄(2016)、「UAV画像から算出した様々な植生指標による水稲LAIの経験的推定モデルの比較」、日本リモートセンシング学会誌36巻2号、p.100-106.

従来の技術では、ドローン画像あるいは、低頻度高解像度衛星画像の取得タイミングよりも高頻度に、それらと同等の分解能を有する画像を生成することができない場合があった。

本発明は、このような事情を考慮してなされたものであり、ドローン画像あるいは、低頻度高解像度衛星画像の取得タイミングよりも高頻度に、それらと同等の分解能を有する画像を生成することができる情報処理装置、情報処理方法、およびプログラムを提供することを目的の一つとする。

本発明の態様である情報処理装置は、衛星コンステレーションから地面を撮像した画像に基づく衛星コンステレーション画像を取得する第１取得部と、ドローンから地面を撮像した画像に基づくドローン画像、または、低頻度高解像度衛星から地面を撮像した画像に基づく低頻度高解像度衛星画像であって前記衛星コンステレーション画像よりも分解能が高い低頻度高解像度衛星画像を、前記衛星コンステレーション画像よりも低頻度で取得する第２取得部と、前記ドローン画像または前記低頻度高解像度衛星画像を植物の生育モデルを構成要素とする状態遷移モデルに当てはめることで、前記ドローン画像または前記低頻度高解像度衛星画像が得られておらず且つ前記衛星コンステレーション画像が得られているタイミングにおける前記ドローン画像または前記低頻度高解像度衛星画像を推定した推定画像を生成する推定部と、前記推定画像を、当該推定画像が想定する撮像タイミングで撮像された前記衛星コンステレーション画像に基づいて補正した補正画像を生成する補正部と、を備えるものである。

本発明の他の態様に係る情報処理方法は、情報処理装置が、衛星コンステレーションから地面を撮像した画像に基づく衛星コンステレーション画像を取得する処理と、ドローンから地面を撮像した画像に基づくドローン画像、または、低頻度高解像度衛星から地面を撮像した画像に基づく低頻度高解像度衛星画像であって前記衛星コンステレーション画像よりも分解能が高い低頻度高解像度衛星画像を前記衛星コンステレーション画像よりも低頻度で取得する処理と、前記ドローン画像または前記低頻度高解像度衛星画像を植物の生育モデルを構成要素とする状態遷移モデルに当てはめることで、前記ドローン画像または前記低頻度高解像度衛星画像が得られておらず且つ前記衛星コンステレーション画像が得られているタイミングにおける前記ドローン画像または前記低頻度高解像度衛星画像を推定した推定画像を生成する処理と、前記推定画像を、当該推定画像が想定する撮像タイミングで撮像された前記衛星コンステレーション画像に基づいて補正した補正画像を生成する処理と、を実行するものである。

本発明の他の態様に係るプログラムは、情報処理装置に、衛星コンステレーションから地面を撮像した画像に基づく衛星コンステレーション画像を取得する処理と、ドローンから地面を撮像した画像に基づくドローン画像、または、低頻度高解像度衛星から地面を撮像した画像に基づく低頻度高解像度衛星画像であって前記衛星コンステレーション画像よりも分解能が高い低頻度高解像度衛星画像を、前記衛星コンステレーション画像よりも低頻度で取得する処理と、前記ドローン画像または前記低頻度高解像度衛星画像を植物の生育モデルを構成要素とする状態遷移モデルに当てはめることで、前記ドローン画像または前記低頻度高解像度衛星画像が得られておらず且つ前記衛星コンステレーション画像が得られているタイミングにおける前記ドローン画像または前記低頻度高解像度衛星画像を推定した推定画像を生成する処理と、前記推定画像を、当該推定画像が想定する撮像タイミングで撮像された前記衛星コンステレーション画像に基づいて補正した補正画像を生成する処理と、を実行させるためのプログラムである。

上記各態様によれば、ドローン画像または低頻度高解像度衛星画像の取得タイミングよりも高頻度に、それら画像と同等の分解能を有する画像を生成することができる。

情報処理装置１００の使用環境および構成の一例を示す図である。 生育モデルＳＩＭ（ｗ）によって求められるＬＡＩ_ｔの時間的変化の一例を示す図である。 ＰＲＯＳＡＩＬ（ＬＡＩ_ｔ）によって求められる各バンドの反射率の時間的変化の一例を示す図である。 反射率から計算されるＮＤＶＩｔの時間的変化の一例を示す図である。 上下シフト処理の手法を模式的に示す図である。 スケール処理の手法を模式的に示す図である。 近似曲線生成処理の手法を模式的に示す図である。 ＬＡＩ_ｍを通るように内部パラメータを設定した生育モデルＳＩＭ（ｗ）に気象データｗを入力することで、ＬＡＩ_ｔを導出する様子を示す図である。 衛星コンステレーション画像とドローン画像の取得タイミングの関係を示す図である。 第２の補正処理の概要を示す図である。 利用者Ｕの端末装置５０に提供される出力画像ＯＩの一例を示す図である。

以下、図面を参照し、本発明の情報処理装置、情報処理方法、およびプログラムの実施形態について説明する。以下、ドローン画像または低頻度高解像度衛星画像を代表して、ドローン画像に着目して説明するが、以下の説明におけるドローン画像は適宜、低頻度高解像度衛星画像と読み替えることができる。

図１は、情報処理装置１００の使用環境および構成の一例を示す図である。情報処理装置１００は、例えば、一以上の衛星１０から衛星コンステレーション画像提供者サーバ２０およびネットワークＮＷを介して衛星１０が撮像した画像を取得すると共に、ドローン３０から中継装置４０およびネットワークＮＷを介してドローン３０が撮像した画像を取得する。衛星コンステレーション画像は、地上の対象区画ＴＧを撮像した画像である。ドローン３０が撮像した画像は、対象区画ＴＧをドローン３０が飛行しながら複数回、撮像を行った画像を繋げたものである。情報処理装置１００は、ネットワークＮＷを介して端末装置５０に出力画像を提供する。ネットワークＮＷは、例えば、ＬＡＮ、ＷＡＮ、インターネット回線などの任意のネットワークであり、有線でも無線でもよい。なお、画像の取得方法はこれに限らず、記憶媒体に格納された画像が情報処理装置１００のドライブ装置に装着されることで画像が取得されてもよい。また、画像は情報処理装置１００に渡される前に前処理が行われたものであってもよい。ドローン画像に換えて（または加えて）低頻度高解像度衛星画像を取得する場合、情報処理装置１００は、例えば、情報処理装置１００は、低頻度高解像度衛星画像を提供する提供者のサーバから低頻度高解像度衛星画像を取得する。

衛星１０は、例えば、地球の周りの軌道上を周回しており、定期的に地上（地面）を撮像する。衛星コンステレーション画像提供者サーバ２０は、衛星１０が撮像した画像を情報処理装置１００などに提供する。

ドローン３０は、各種の撮像装置が取り付けられた無人航空機である。ドローン３０は、中継装置４０からの指示に応じて飛行しつつ、繰り返し地上（地面）を撮像する。ドローン３０は、複数のドローン画像を、当該ドローン画像のカメラパラメータおよびＧＰＳなどの位置情報と合わせて、ドローン３０に搭載されるメモリカードに保存するかまたは中継装置４０に送信する。

中継装置４０は、例えば、タブレット端末などの端末装置である。中継装置４０には、ドローン３０を操作するとともに、ドローン３０が撮像した画像を受信および表示するためのアプリケーションが搭載されている。中継装置４０は、ドローン３０が撮像した画像を、ＲＧＢ画像として表示したり、ネットワークＮＷを介して情報処理装置１００に送信したりする。

端末装置５０は、例えば、パーソナルコンピュータやスマートフォン、タブレット端末などのコンピュータ装置である。端末装置５０は、情報処理装置１００とネットワークＮＷを介して通信し、後述する情報処理装置１００から受信した出力画像を表示する。端末装置５０は、例えば、中継装置４０を操作する利用者（つまり、ドローン画像の提供者）と同じ利用者Ｕによって使用されるものである。なお対象区画ＴＧは例えば農地であり、利用者Ｕはその農地を保有する農家である。中継装置４０と端末装置５０は一つに統合されてもよい。

情報処理装置１００は、例えば、ウェブサーバの機能を有する。情報処理装置１００は、例えば、第１取得部１１０と、第２取得部１２０と、推定部１３０と、補正部１４０と、提供部１５０を含む。第２取得部１２０は、オルソ画像生成部１２２を含んでもよい。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置にインストールされてもよい。

第１取得部１１０は、図示しない通信インターフェースを用いて衛星１０が撮像した画像を取得する。第１取得部１１０は、取得した画像に基づいて衛星コンステレーション画像を取得する。第１取得部１１０は、例えば一日一回程度の頻度で係る衛星コンステレーション画像を取得する。衛星コンステレーション画像とは、衛星１０が撮像した画像に対して単に切り出しや輝度調整等の処理が行われたものであってもよいし、後述するようにＮＤＶＩ画像等に変換されたものであってもよい。後者の場合、第１取得部１１０は、画像の変換処理を行う。

第２取得部１２０は、図示しない通信インターフェースを用いてドローン３０が撮像した画像を取得する。第２取得部１２０は、取得した画像に基づいてドローン画像を取得する。ドローン画像は、例えば、オルソ画像生成部１２２により、ドローン３０が撮像した画像を繋げて歪み補正等を行ったオルソ画像であってもよいし、オルソ画像がＮＤＶＩ画像等に変換されたものであってもよい。後者の場合、第２取得部１２０は、画像の変換処理を行う。第２取得部１２０は、衛星コンステレーション画像が取得されるよりも低頻度でドローン画像を取得する。衛星コンステレーション画像の１画素は、例えば地上における数［ｍ］平方の区画に対応し、ドローン画像の１画素は、例えば衛星コンステレーション画像の８倍の分解能を有する。この場合、オルソ画像の８×８＝６４画素が衛星コンステレーション画像の１画素に対応する。

以下の説明において、一つの衛星コンステレーション画像は対象区画ＴＧを写したものであり、一つのドローン画像も同様に対象画像ＴＧを写したものであることを前提とする。

＜推定処理＞
推定部１３０は、オルソ画像を状態遷移モデルに当てはめることで、ドローン画像が得られておらず且つ衛星コンステレーション画像が得られているタイミングにおけるドローン画像を推定した推定画像を生成する。推定画像は、もし衛星コンステレーション画像が得られている（撮像された）タイミング（特許請求の範囲における「想定する撮像タイミング」）でドローン画像が取得されていたら、どのような画像になるか、というものである。

以下の説明において使用する変数は以下の通りである（ｔは任意の自然数、ｍ、ｈはｔのとり得る値であるものとする）。
Ｌ_ｔ：時刻ｔに撮像された衛星コンステレーション画像
Ｄ_ｍ：時刻ｍに撮像されたドローン画像
Ｍ_ｈ：時刻ｈに撮像されたものとして推定された推定画像（ｈ≠ｍ）
Ｓ_ｈ（ｕ，ｖ）：時刻ｈに撮像されたものとして推定された推定画像Ｍ_ｈの座標（ｕ，ｖ）の画素値
ｗ：気象データ（時刻ｔのそれぞれに対応する時系列データ）
ＬＡＩ_ｔ：時刻ｔにおけるＬＡＩ（葉面積指数）
ＮＤＶＩ_ｔ：時刻ｔにおけるＮＤＶＩ（植生指数）
Ａ_ｈ：推定画像Ｍ_ｈを補正した補正画像
Ｓ＃_ｈ（ｕ，ｖ）：補正画像Ａ_ｈの座標（ｕ，ｖ）の画素値

推定部１３０は、Ｓ_ｈ（ｕ，ｖ）を推定する。推定部１３０の処理は、式（１）で表される。

Ｓ_ｈ（ｕ，ｖ）＝ｆ（Ｄ_ｍ（ｕ，ｖ），ｗ） …（１）

以下、推定部１３０の具体的処理について幾つかを例示する。以下に説明する処理は、処理対象の画像の画素ごとに行われる。推定部１３０は、第１～第３の推定処理のいずれか、或いはこれらに類似する他の処理を行って推定画像Ｍ_ｈの画素値を推定する。

［第１の推定処理］
ここでは、衛星コンステレーション画像とドローン画像の双方がＮＤＶＩ画像であり、第１取得部１１０と第２取得部１２０のそれぞれによって画像をＮＤＶＩ画像に変換する変換処理がなされているものとする。ＮＤＶＩ画像は、衛星１０が撮像した画像とドローン３０が撮像した画像のそれぞれに含まれる光の成分に基づいて、赤色光の波長帯（以下、バンド）の反射率（光の強度）Ｒｅｆｔ^Ｒｅｄと、近赤外線のバンドの反射率Ｒｅｆｔ^ＮＩＲを用いて式（２）により計算することができる。

ＮＤＶＩ_ｔ＝（Ｒｅｆｔ^ＮＩＲ－Ｒｅｆｔ^Ｒｅｄ）／（Ｒｅｆｔ^ＮＩＲ＋Ｒｅｆｔ^Ｒｅｄ） …（２）

推定部１３０は、ＳＩＭＲＩＷ（非特許文献１）などの生育モデルＳＩＭ（ｗ）に気象データｗを入力することで、ＬＡＩ_ｔを導出する。生育モデルＳＩＭ（ｗ）は、状態遷移モデルの一部を構成する関数である。生育モデルＳＩＭ（ｗ）は、状態遷移モデルの主な構成要素である。「主な構成要素」とは、例えば、状態遷移モデルの大部分を決定する構成要素という意味である。ＳＩＭＲＩＷとは、発育指数ＤＶＩ、葉面積指数ＬＡＩ、乾物重ＤＷなどの初期値が与えられると、以後、時系列の気象データｗを入力として逐次的に日毎の発育指数ＤＶＩ、葉面積指数ＬＡＩ、乾物重ＤＷを算出可能なものである。係る処理は、式（３）で表される。図２は、生育モデルＳＩＭ（ｗ）によって求められるＬＡＩ_ｔの時間的変化の一例を示す図である。ＳＩＭ（ｗ）の内部パラメータ（初期値）は、予め人により設定されてもよいし、衛星コンステレーション画像の措置にフィットさせるように自動的に設定されてもよい。

ＬＡＩ_ｔ＝ＳＩＭ（ｗ） …（３）

次に、推定部１３０は、ＰＲＯＳＡＩＬ（非特許文献２）などの作物群落放射伝達シミュレーションモデルを用いて、ＬＡＩ_ｔから任意のバンドの反射率Ｒｅｆ_ｔ ^{（１～Ｎ）}を求める。係る処理は、式（４）で表される。図３は、ＰＲＯＳＡＩＬ（ＬＡＩ_ｔ）によって求められる各バンドの反射率の時間的変化の一例を示す図である。図中、Ｒｅｆｔ^{Ｇｒｅｅｎ}は緑色光のバンドの反射率を、Ｒｅｆｔ^Ｂｌｕｅは青色光のバンドの反射率を、それぞれ表している。

［Ｒｅｆｔ^（１） Ｒｅｆｔ^（２） … Ｒｅｆｔ^（ｋ） … Ｒｅｆｔ^（Ｎ）］^Ｔ＝ＰＲＯＳＡＩＬ（ＬＡＩｔ） …（４）

推定部１３０は、上記のように求めた各バンドの反射率に基づいて、時刻ｔにおけるＮＤＶＩ画像ＮＤＶＩ_ｔを取得する。ＮＤＶＩ画像ＮＤＶＩ_ｔは、暫定的に求めた推定画像の一例である。図４は、反射率から計算されるＮＤＶＩｔの時間的変化の一例を示す図である。なお、ＮＤＶＩ画像は植生指数を表す画像の一例であり、ＧＮＤＶＩやＶＡＲＩなど反射率Ｒｅｆｔ^（ｋ）から求められる任意の植生指数を表す画像についても同様に扱うことができる。

そして、推定部１３０は、時刻ｍにおけるドローン画像Ｄｍから得られたＮＶＤＩ_ｍを、ＳＩＭ（ｗ）から求めたＮＤＶＩ_ｔが通るように、ＮＤＶＩｔを調整する。推定部１３０は、例えば、上下シフト処理、スケール処理、近似曲線生成処理などの手法によってＮＤＶＩ_ｔを調整する。図５～７は、上下シフト処理、スケール処理、近似曲線生成処理のそれぞれの手法を模式的に示す図である。上下シフト処理とは、各時刻においてＮＤＶＩ_ｔに同じ値を加算または減算する処理である。スケール処理とは、各時刻においてＮＤＶＩ_ｔに同じ値を乗算または除算する処理である。なお、近似曲線の処理は、ｍが複数の場合、すなわち複数の時刻においてドローン画像が取得されている場合に採用される。近似曲線生成処理とは、二点以上のドローン画像に対応する点を通る近似曲線を生成する処理である。いずれの手法においても、暫定的に求めたＮＤＶＩ_ｔの画素値の調整処理は式（５）で表される。

Ｓ_ｈ（ｕ，ｖ）＝Ａｄｊ（ＮＤＶＩ_ｔ，Ｓ_ｍ（ｕ，ｖ）） …（５）

［第２の推定処理］
ここでは、衛星コンステレーション画像とドローン画像の双方が反射率画像であるものとする。例えばドローン画像Ｄｍが得られた時刻ｍ＝３である場合、推定部１３０は、ドローン画像の画素値Ｓ_３（ｕ，ｖ）に基づいて時刻３のＬＡＩ_３を求める。係る処理は式（６）で表される。関数Ｖ（）は、ドローン画像Ｄｍの４バンド（青、赤、緑、近赤外）の画素値からＬＡＩを求める関数であり、線形回帰、サポートベクタマシンなどの機械学習モデルなどに基づくものである。ドローン画像Ｄ_ｍの４バンド（青、赤、緑、近赤外）の画素値からＬＡＩを求める関数を構築できることは既に公知となっている（非特許文献３）。

ＬＡＩ_３＝Ｖ（Ｓ_３（ｕ，ｖ）） …（６）

次に、推定部１３０は、上記のように求めたＬＡＩ_ｍを通るように内部パラメータを設定した、ＳＩＭＲＩＷなどの生育モデルＳＩＭ（ｗ）に気象データｗを入力することで、ＬＡＩ_ｔを導出する。係る処理は、式（７）で表される。図８は、ＬＡＩ_ｍを通るように内部パラメータを設定した生育モデルＳＩＭ（ｗ）に気象データｗを入力することで、ＬＡＩ_ｔを導出する様子を示す図である。なお時刻ｍ＝３だけでなく、例えば時刻ｍ＝１にもドローン画像が得られていた場合、推定部１３０は、ＬＡＩ_１とＬＡＩ_３を通る、または、近似するように内部パラメータを設定した、ＳＩＭＲＩＷなどの生育モデルＳＩＭ（ｗ）に気象データｗを入力することで、ＬＡＩ_ｔを導出する。係る処理は、式（８）で表される。

ＬＡＩ_ｔ＝ＳＩＭ（ｗ，ＬＡＩ_３） …（７）
ＬＡＩ_ｔ＝ＳＩＭ（ｗ，ＬＡＩ_１，ＬＡＩ_３） …（８）

次に、推定部１３０は、ＰＲＯＳＡＩＬなどの作物群落放射伝達シミュレーションモデルを用いて、ＬＡＩ_ｔから任意のバンドの反射率Ｒｅｆ_ｔ ^{（１～Ｎ）}を求める。係る処理は、［第１の推定処理］と同様であるため再度の説明を省略する。

［第３の推定処理］
ここでは、衛星コンステレーション画像とドローン画像の双方がＮＤＶＩ画像であるものとする。例えばドローン画像Ｄｍが得られた時刻ｍ＝３である場合、推定部１３０は、ドローン画像の画素値Ｓ_３（ｕ，ｖ）に基づいて時刻３のＬＡＩ_３を求める。係る処理は式（９）で表される。関数Ｘ（）は、ドローン画像ＤｍのＮＤＶＩ値からＬＡＩを求める関数であり、線形回帰、サポートベクタマシンなどの機械学習モデルなどに基づくものである。ドローン画像ＤｍのＮＤＶＩ値からＬＡＩを求める関数を構築できることは既に公知となっている（非特許文献４）。

ＬＡＩ_３＝Ｘ（Ｓ_３（ｕ，ｖ）） …（９）

次に、推定部１３０は、上記のように求めたＬＡＩ_ｍを通るように内部パラメータを設定した、ＳＩＭＲＩＷなどの生育モデルＳＩＭ（ｗ）に気象データｗを入力することで、ＬＡＩ_ｔを導出する。係る処理は、前述の式（７）や式（８）で表される。この点について［第２の推定処理］と同様であるため再度の説明を省略する。

次に、推定部１３０は、ＰＲＯＳＡＩＬなどの作物群落放射伝達シミュレーションモデルを用いて、ＬＡＩ_ｔから任意のバンドの反射率Ｒｅｆ_ｔ ^{（１～Ｎ）}を求める。係る処理は、［第１の推定処理］と同様であるため再度の説明を省略する。

次に、推定部１３０は、反射率Ｒｅｆ_ｔ ^{（１～Ｎ）}のうち赤色光と近赤外線のバンドの反射率を前述した式（２）に適用することで、各時刻ｔにおける各画素のＮＤＶＩ値ＮＤＶＩ_ｔを計算する。

＜補正処理＞
以下、補正部１４０による処理の内容について説明する。図９は、衛星画像とドローン画像の取得タイミングの関係を示す図である。前述したように、衛星コンステレーション画像はドローン画像よりも高頻度に取得されるが、画像の分解能がドローン画像よりも低いものである。前述の例と同様、ｔ＝１、２、４、５において衛星コンステレーション画像のみが、ｔ＝３において衛星コンステレーション画像とドローン画像の双方が取得された様子を示している。衛星コンステレーション画像とドローン画像は、同じ位置および同じ領域を撮像したものである（そうなるように切り出し処理等が行われたものであってよい）。なおドローン画像における作物が写っていない部分については、推定処理を含めた処理対象から除外されてよい。植物の生育モデルで構成される状態遷移モデルが適用できないからである。

［第１の補正処理］
例えば、補正部１４０は、式（１０）で表されるように、推定画像Ｍ_ｈの画素値であるＳｈ（ｕ，ｖ）を一定値Δだけシフトさせて、補正画像Ａ_ｈの座標（ｕ，ｖ）の画素値Ｓ＃_ｈ（ｕ，ｖ）を導出する。あるいは、補正部１４０は、式（１１）で表されるように、推定画像Ｍｈの画素値であるＳｈ（ｕ，ｖ）を線形または非線形の関数Ｙ（）に入力することで補正画像Ａ_ｈの座標（ｕ，ｖ）の画素値Ｓ＃_ｈ（ｕ，ｖ）を導出してもよい。いずれの場合も、補正部１４０は、例えば、推定画像Ｍｈのうち、衛星コンステレーション画像の一画素に対応する部分の全画素の画素値の平均が、衛星コンステレーション画像（推定画像に対応付けられた時刻に撮像されたもの）の当該一画素の画素値と一致するように（或いは十分に近くなるように）、推定画像Ｍ_ｈの画素値を補正して補正画像Ａ_ｈを生成する。なお、推定画像Ｍｈのうち、衛星コンステレーション画像の一画素に対応する部分の全画素の画素値の平均が、衛星コンステレーション画像の当該一画素の画素値に十分に近い場合は補正処理が省略されてよい。

Ｓ＃_ｈ（ｕ，ｖ）＝Ｓ_ｈ（ｕ，ｖ）＋Δ …（１０）
Ｓ＃_ｈ（ｕ，ｖ）＝Ｙ｛Ｓ_ｈ（ｕ，ｖ）｝ …（１１）

［第２の補正処理］
補正部１４０は、機械学習を利用して補正処理を行ってもよい。図１０は、第２の補正処理の概要を示す図である。図示するように、学習段階において補正部１４０は、推定画像Ｍ_ｔ（ｔ＝ｈ）を入力とし、衛星コンステレーション画像と同じ分解能のダウンサンプル画像Ｄを出力するＣＮＮなどの第１ネットワークＮ１、ダウンサンプル画像Ｄから衛星コンステレーション画像Ｌ_ｔを差し引いた差分画像Ｓを入力とし、ドローン画像と同じ分解能のアップサンプル画像Ｕを出力する第２ネットワークＮ２、推定画像Ｍ_ｔとアップサンプル画像Ｕとを加算した画像を入力とし、補正画像Ａ_ｈを出力する第３ネットワークＮ３を定義し、補正画像Ａ_ｈをダウンサンプリングしたダウンサンプル画像Ｌ＊_ｔと衛星コンステレーション画像Ｌ_ｔとの差分を小さくするように、バックプロパゲーションによって第１ネットワークＮ１、第２ネットワークＮ２、第３ネットワークＮ３の好適なパラメータを学習すると共に、補正画像Ａ_ｈを取得する。補正画像Ａ_ｈをダウンサンプリングする処理については、第１ネットワークＮ１を用いてもよいし、別の手法を用いてもよい。

提供部１５０は、ドローン画像Ｄ_ｍと、補正画像Ａ_ｈとを時系列に並べた出力画像を利用者Ｕの端末装置５０に提供する。図１１は、利用者Ｕの端末装置５０に提供される出力画像ＯＩの一例を示す図である。出力画像ＯＩにおいて、例えばスクロール操作によって全てのドローン画像Ｄ_ｍと、補正画像Ａ_ｈのうち選択された一部が閲覧可能となる（図示する状態では、補正画像Ａ_２、ドローン画像Ｄ_３、補正画像Ａ_４が順に表示されている。これに代えて、全てのドローン画像Ｄ_ｍと、補正画像Ａ_ｈが一度に表示されてもよい。前述したように、利用者Ｕは、例えばドローン画像Ｄ_ｍの提供者である。これによって、農業従事者である利用者Ｕは、自身の管理する圃場のドローン画像Ｄ_ｍを情報処理装置１００にアップロードすることで、ドローン画像Ｄ_ｍの撮像されていないタイミングにおける、ドローン画像Ｄ_ｍと同等の分解能を有する補正画像Ａ_ｈを取得することができる。

以上説明した各実施形態によれば、ドローン画像の取得タイミングよりも高頻度に、ドローン画像と同等の分解能を有する画像を生成することができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１０ 衛星
３０ ドローン
４０ 中継装置
５０ 端末装置
１００ 情報処理装置
１１０ 第１取得部
１２０ 第２取得部
１３０ 推定部
１４０ 補正部
１５０ 提供部
２００ 表示装置

Claims (18)

1. 衛星コンステレーションから地面を撮像した画像に基づく衛星コンステレーション画像を取得する第１取得部と、
   ドローンから地面を撮像した画像に基づくドローン画像を、前記衛星コンステレーション画像よりも低頻度で取得する第２取得部と、
   前記ドローン画像を植物の生育モデルを構成要素とする状態遷移モデルに当てはめることで、前記ドローン画像が得られておらず且つ前記衛星コンステレーション画像が得られているタイミングにおける前記ドローン画像を推定した推定画像を生成する推定部と、
   前記推定画像を、当該推定画像が想定する撮像タイミングで撮像された前記衛星コンステレーション画像に基づいて補正した補正画像を生成する補正部と、
   を備える情報処理装置。
2. 前記ドローン画像と、前記補正画像とを時系列に並べた出力画像を利用者の端末装置に提供する提供部を更に備える、
   請求項１記載の情報処理装置。
3. 前記提供部は、前記出力画像を、前記利用者である前記ドローン画像の提供者の端末装置に提供する、
   請求項２記載の情報処理装置。
4. 前記推定部は、前記状態遷移モデルを用いて前記推定画像の暫定的な画素値を求め、前記暫定的な画素値を前記ドローン画像の画素値に合わせるための調整処理を行って、前記推定画像を生成する、
   請求項１記載の情報処理装置。
5. 前記推定部は、前記ドローン画像の画素値を通るように内部パラメータを設定した前記状態遷移モデルを用いて、前記推定画像を生成する、
   請求項１記載の情報処理装置。
6. 衛星コンステレーションから地面を撮像した画像に基づく衛星コンステレーション画像を取得する第１取得部と、
   低頻度高解像度衛星から地面を撮像した画像に基づく低頻度高解像度衛星画像であって前記衛星コンステレーション画像よりも分解能が高い低頻度高解像度衛星画像を、前記衛星コンステレーション画像よりも低頻度で取得する第２取得部と、
   前記低頻度高解像度衛星画像を植物の生育モデルを構成要素とする状態遷移モデルに当てはめることで、前記低頻度高解像度衛星画像が得られておらず且つ前記衛星コンステレーション画像が得られているタイミングにおける前記低頻度高解像度衛星画像を推定した推定画像を生成する推定部と、
   前記推定画像を、当該推定画像が想定する撮像タイミングで撮像された前記衛星コンステレーション画像に基づいて補正した補正画像を生成する補正部と、
   を備える情報処理装置。
7. 前記低頻度高解像度衛星画像と、前記補正画像とを時系列に並べた出力画像を利用者の端末装置に提供する提供部を更に備える、
   請求項６記載の情報処理装置。
8. 前記提供部は、前記出力画像を、前記利用者である前記低頻度高解像度衛星画像の提供者の端末装置に提供する、
   請求項７記載の情報処理装置。
9. 前記推定部は、前記状態遷移モデルを用いて前記推定画像の暫定的な画素値を求め、前記暫定的な画素値を前記低頻度高解像度衛星画像の画素値に合わせるための調整処理を行って、前記推定画像を生成する、
   請求項６記載の情報処理装置。
10. 前記推定部は、前記低頻度高解像度衛星画像の画素値を通るように内部パラメータを設定した前記状態遷移モデルを用いて、前記推定画像を生成する、
    請求項６記載の情報処理装置。
11. 前記補正部は、
    前記推定画像のうち、前記衛星コンステレーション画像の一画素に対応する部分の全画素の画素値の平均が、前記衛星コンステレーション画像の当該一画素の画素値と一致するように補正して補正画像を生成するものであり、
    前記推定画像の画素値を一定値だけシフト、或いは線形または非線形の関数に入力することで前記推定画像を補正する、
    請求項１または６記載の情報処理装置。
12. 前記補正部は、機械学習モデルを用いて前記推定画像を補正する、
    請求項１または６記載の情報処理装置。
13. 前記補正部は、機械学習モデルを用いて前記推定画像を補正するものであり、
    学習段階において、前記推定画像を入力とし、前記衛星コンステレーション画像と同じ分解能の第１ダウンサンプル画像を出力する第１ネットワーク、前記第１ダウンサンプル画像から前記衛星コンステレーション画像を差し引いた差分画像を入力とし、前記ドローン画像と同じ分解能のアップサンプル画像を出力する第２ネットワーク、前記推定画像と前記アップサンプル画像とを加算した画像を入力とし、補正画像を出力する第３ネットワークを定義し、前記補正画像をダウンサンプリングした第２ダウンサンプル画像と前記衛星コンステレーション画像との差分を小さくするように、バックプロパゲーションによって前記第１ネットワーク、前記第２ネットワーク、および前記第３ネットワークの好適なパラメータを学習すると同時に前記補正画像を取得する、
    請求項１記載の情報処理装置。
14. 前記補正部は、機械学習モデルを用いて前記推定画像を補正するものであり、
    学習段階において、前記推定画像を入力とし、前記衛星コンステレーション画像と同じ分解能の第１ダウンサンプル画像を出力する第１ネットワーク、前記第１ダウンサンプル画像から前記衛星コンステレーション画像を差し引いた差分画像を入力とし、前記低頻度高解像度衛星画像と同じ分解能のアップサンプル画像を出力する第２ネットワーク、前記推定画像と前記アップサンプル画像とを加算した画像を入力とし、補正画像を出力する第３ネットワークを定義し、前記補正画像をダウンサンプリングした第２ダウンサンプル画像と前記衛星コンステレーション画像との差分を小さくするように、バックプロパゲーションによって前記第１ネットワーク、前記第２ネットワーク、および前記第３ネットワークの好適なパラメータを学習すると同時に前記補正画像を取得する、
    請求項６記載の情報処理装置。
15. 情報処理装置が、
    衛星コンステレーションから地面を撮像した画像に基づく衛星コンステレーション画像を取得する処理と、
    ドローンから地面を撮像した画像に基づくドローン画像を、前記衛星コンステレーション画像よりも低頻度で取得する処理と、
    前記ドローン画像を植物の生育モデルを構成要素とする状態遷移モデルに当てはめることで、前記ドローン画像が得られておらず且つ前記衛星コンステレーション画像が得られているタイミングにおける前記ドローン画像を推定した推定画像を生成する処理と、
    前記推定画像を、当該推定画像が想定する撮像タイミングで撮像された前記衛星コンステレーション画像に基づいて補正した補正画像を生成する処理と、
    を実行する情報処理方法。
16. 情報処理装置が、
    衛星コンステレーションから地面を撮像した画像に基づく衛星コンステレーション画像を取得する処理と、
    低頻度高解像度衛星から地面を撮像した低頻度高解像度衛星画像であって前記衛星コンステレーション画像よりも分解能が高い低頻度高解像度衛星画像を、前記衛星コンステレーション画像よりも低頻度で取得する処理と、
    前記低頻度高解像度衛星画像を植物の生育モデルを構成要素とする状態遷移モデルに当てはめることで、前記低頻度高解像度衛星画像が得られておらず且つ前記衛星コンステレーション画像が得られているタイミングにおける前記低頻度高解像度衛星画像を推定した推定画像を生成する処理と、
    前記推定画像を、当該推定画像が想定する撮像タイミングで撮像された前記衛星コンステレーション画像に基づいて補正した補正画像を生成する処理と、
    を実行する情報処理方法。
17. 情報処理装置に、
    衛星コンステレーションから地面を撮像した画像に基づく衛星コンステレーション画像を取得する処理と、
    ドローンから地面を撮像した画像に基づくドローン画像を、前記衛星コンステレーション画像よりも低頻度で取得する処理と、
    前記ドローン画像を植物の生育モデルを構成要素とする状態遷移モデルに当てはめることで、前記ドローン画像が得られておらず且つ前記衛星コンステレーション画像が得られているタイミングにおける前記ドローン画像を推定した推定画像を生成する処理と、
    前記推定画像を、当該推定画像が想定する撮像タイミングで撮像された前記衛星コンステレーション画像に基づいて補正した補正画像を生成する処理と、
    を実行させるためのプログラム。
18. 情報処理装置に、
    衛星コンステレーションから地面を撮像した画像に基づく衛星コンステレーション画像を取得する処理と、
    低頻度高解像度衛星から地面を撮像した画像に基づく低頻度高解像度衛星画像であって前記衛星コンステレーション画像よりも分解能が高い低頻度高解像度衛星画像を、前記衛星コンステレーション画像よりも低頻度で取得する処理と、
    前記低頻度高解像度衛星画像を植物の生育モデルを構成要素とする状態遷移モデルに当てはめることで、前記低頻度高解像度衛星画像が得られておらず且つ前記衛星コンステレーション画像が得られているタイミングにおける前記低頻度高解像度衛星画像を推定した推定画像を生成する処理と、
    前記推定画像を、当該推定画像が想定する撮像タイミングで撮像された前記衛星コンステレーション画像に基づいて補正した補正画像を生成する処理と、
    を実行させるためのプログラム。

Images