JP7077945B2

JP7077945B2 - 情報処理装置、情報処理方法、及び、プログラム

Info

Publication number: JP7077945B2
Application number: JP2018529789A
Authority: JP
Inventors: 瑛士金子
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2016-07-25
Filing date: 2017-07-18
Publication date: 2022-05-31
Anticipated expiration: 2037-07-18
Also published as: CN109564675A; EP3489889A1; WO2018021079A1; EP3489889B1; US10963991B2; US20190251665A1; CN109564675B; EP3489889A4; JPWO2018021079A1

Description

本発明は、情報の処理に関し、特に、画像を処理する情報処理装置、情報処理方法、及び、プログラムに関する。

人工衛星又は航空機などの高所から観測装置を用いて地表を観測する技術は、一般的に、「リモートセンシング」と呼ばれている。リモートセンシングは、地表における所定の範囲の領域から放射される光などの電磁波の強さを観測することが多い。リモートセンシングを用いて得られる観測結果の保存方法は、観測値を、画像における画素値として記憶することが多い。つまり、観測画像における画素値は、観測された領域の地表における物体の配置に沿った電磁波の強さに対応している。

例えば、観測装置がイメージセンサである場合、観測結果は、イメージセンサの画像として得られる。その画像に含まれる画素値は、対象物からイメージセンサの受光素子の入射方向に放射された観測光の強さの値となる。

なお、画素値が、観測光の明るさを表す値の場合、その画素値は、「輝度値」である。

イメージセンサを用いた観測は、特定の範囲の波長帯域に含まれる波長の光を選択的に使用することが多い。そのため、イメージセンシングは、特定の範囲の波長帯域の光を透過するフィルタを使用する。

さらに、リモートセンシングは、複数の波長帯域の光を使用することがある。これは、観測対象の物体が、その表面の材質及び状態に応じて、異なる波長帯域において異なる強度の光を反射するためである。この場合、リモートセンシングは、透過光の波長帯域が異なる複数のフィルタを用いて、複数の波長帯域の光の強さを観測する。

そして、このようなリモートセンシングを用いた画像から得られる地上物の情報を活用するアプリケーションが、期待されている。アプリケーションとは、例えば、地図を作製するアプリケーション、土地利用状態を把握するアプリケーション、災害状況を把握するアプリケーション、農作物の生育具合を取得するアプリケーション、又は、鉱物を判別するアプリケーションである。

しかし、地上物は、雲、靄、霧、鳥、又は、飛行物などの物体（移動物）に覆われる場合がある。そのため、地表で反射された光を観測した画像は、一部の領域の画像が、得られない場合がある。つまり、リモートセンシングにおいては、一部の領域の画像が、欠損する場合がある。

そこで、欠損を復元する技術が、提案されている（例えば、特許文献１を参照）。特許文献１に記載の画像処理装置は、入力画像において雲に覆われた領域を、同じ領域における雲が存在しない別の日時の参照画像を用いて復元する。特許文献１に記載の画像処理装置は、入力画像及び測定環境情報を読み込む。そして、特許文献１に記載の画像処理装置は、入力画像における雲に覆われた領域（欠損領域）を判定する。そして、特許文献１に記載の画像処理装置は、測定環境情報を基に、入力画像と類似する太陽位置のときに観測され、かつ、欠損領域に相当する地表面の情報を含む参照画像を取得する。そして、特許文献１に記載の画像処理装置は、入力画像の欠損領域の画素値を、参照画像における欠損領域に相当する領域の画素値に置き換える。このようにして、特許文献１に記載の画像処理装置は、入力画像における欠損領域の画像を復元する。

図面を参照して、特許文献１に記載の技術を説明する。

図７は、特許文献１に記載された画像処理装置７の機能における構成を模式的に示したブロック図である。

画像処理装置７は、画像供給装置７８と、出力装置７９とに接続されている。

画像供給装置７８は、画像処理装置７に、観測画像１１１、及び、測定環境情報７１０を供給する。

画像処理装置７は、画像受信部７１と、類似環境画像取得部７２と、欠損領域復元部７５と、画像記憶部７６とを備える。

画像記憶部７６は、予め、様々な日時及び様々な環境下において観測された画像（参照画像７２０）を記憶する。

画像受信部７１は、画像供給装置７８から観測画像１１１、及び、測定環境情報７１０を受信する。

類似環境画像取得部７２は、観測画像１１１において、欠損領域１５０として、雲に覆われた領域を判定する。さらに、類似環境画像取得部７２は、測定環境情報７１０を基に、画像記憶部７６から、観測画像１１１と類似する太陽位置のときに観測され、かつ、欠損領域１５０に相当する画像（例えば、欠損領域１５０の地上物の情報）を含む参照画像７２０を取得する。

欠損領域復元部７５は、観測画像１１１と、参照画像７２０と、欠損領域１５０とを基に、観測画像１１１における欠損領域１５０を、参照画像７２０における相当する領域の画像に置き換えて、復元画像７４０を作成する。そして、欠損領域復元部７５は、復元画像７４０を出力装置７９に送信する。

出力装置７９は、復元画像７４０を出力する。例えば、出力装置７９は、復元画像７４０を表示する。

特開２０１０－２１８４３４号公報

上記のように、特許文献１に記載された発明は、観測画像１１１における欠損領域１５０を、別の日時に観測された参照画像７２０の情報（画像）に置き換える。

観測画像１１１における欠損領域１５０の状態（例えば、地上物の状態）が、参照画像７２０が観測された時点と類似している場合、特許文献１に記載の発明は、観測画像１１１に対応した復元画像７４０を生成できる。

ここで、観測画像１１１が、地上を観測した画像の場合を想定する。この場合、例えば、人及び車などの移動物は、時間経過に伴って、画像内における位置、数、及び、分布状態が変化する。あるいは、植生は、時間帯又は時期の変化に対応して、状態（例えば、繁殖状態又は枯れた状態）が変化する。あるいは、建物は、建設状態（例えば、増設、又は、建て替え）が変化する。つまり、地上の状態は、時間の経過とともに変化する。

そのため、観測画像１１１が観測された日時が、参照画像７２０が観測された日時から離れると、欠損領域１５０における状態は、参照画像７２０が観測された状態から変化する。その結果、特許文献１に記載の発明は、参照画像７２０を用いても、適切な復元画像７４０を生成できなくなる。

このように、特許文献１に記載の発明には、参照画像７２０を用いても、適切な復元画像７４０を生成できなくなるという問題点があった。

上記の問題点を解決して適切な復元画像７４０を作成するためには、画像処理装置７は、観測領域及び太陽位置に加え、観測日時において観測画像１１１に類似する参照画像７２０を用いる必要がある。しかし、この条件を満たす参照画像７２０を画像記憶部７６に保存するためには、復元が想定される全ての領域及び日時における参照画像７２０を収集する必要がある。しかし、全ての領域及び日時に対応した参照画像７２０を収集することは、実際上、無理である。

このように、特許文献１に記載の発明は、保存している参照画像７２０に類似する日時における観測画像１１１の復元画像７４０しか作成できないという問題点があった。

さらに、周回衛星が地上を観測した衛星画像を復元する場合を想定する。この場合、衛星画像を復元するためには、復元する観測画像１１１と、太陽位置及び観測領域の両方が類似した参照画像７２０が、必要である。すなわち、衛星画像を復元するための参照画像７２０は、観測領域、太陽位置、及び、観測時刻などの観測条件が、観測画像１１１と類似している必要がある。そのため、衛星画像を復元する場合、復元に必要となる参照画像７２０を得ることは、さらに困難となる。

本発明の目的は、上記問題点を解決し、参照画像７２０を用いずに観測画像を復元するための画像を生成する情報処理装置、情報処理方法、及び、プログラムを提供することである。

本発明の一形態における情報処理装置は、第１の画像群を受信する画像受信手段と、第１の画像群における第１の画像を基に、第１の画像の第１の波長帯域とは異なる第２の波長帯域における第２の画像に対応した第３の画像を生成する波長補間手段とを含む。

本発明の一形態における情報処理方法は、第１の画像群を受信し、第１の画像群における第１の画像を基に、第１の画像の第１の波長帯域とは異なる第２の波長帯域における第２の画像に対応した第３の画像を生成する。

本発明の一形態におけるプログラムは、第１の画像群を受信する処理と、第１の画像群における第１の画像を基に、第１の画像の第１の波長帯域とは異なる第２の波長帯域における第２の画像に対応した第３の画像を生成する処理とをコンピュータに実行させるプログラムをコンピュータ読み取り可能に記録する。

本発明に基づけば、参照画像７２０を用いずに、観測画像を復元するための画像を生成するとの効果を奏することができる。

図１は、本発明における第１の実施形態に係る情報処理装置の構成の一例を示すブロック図である。図２は、本発明における第１の実施形態に係る情報処理装置を含む情報処理システムの構成の一例を示すブロック図である。図３は、第１の実施形態に係る情報処理装置の動作の一例を示すフローチャートである。図４は、第１の実施形態に係る情報処理装置の変形例の構成の一例を示すブロック図である。図５は、第２の実施形態に係る情報処理装置の構成の一例を示すブロック図である。図６は、各実施形態に係る情報処理装置のハードウェアの構成の一例を示すブロック図である。図７は、特許文献１に記載された画像処理装置の機能における構成を模式的に示したブロック図である。

次に、図面を参照して、本発明における実施形態について説明する。

各図面は、本発明における実施形態を説明するためのものである。ただし、本発明は、各図面の記載に限られるわけではない。また、各図面の同様の構成には、同じ番号を付し、その繰り返しの説明を、省略する場合がある。また、以下の説明に用いる図面において、各実施形態の説明に関係しない部分の構成については、記載を省略し、図示しない場合もある。

＜第１の実施形態＞
次に、図面を参照して、本発明における第１の実施形態について説明する。

（適用されるシステムの例の説明）
まず、第１の実施形態に係る情報処理装置１の理解の補助として、情報処理装置１が用いられる情報処理システム３の一例を説明する。

図２は、本発明における第１の実施形態に係る情報処理装置１を含む情報処理システム３の構成の一例を示すブロック図である。

図２に示されているように、情報処理システム３は、第１の実施形態に係る情報処理装置１と、画像供給装置８と、出力装置９とを含む。

情報処理装置１について、後ほど詳細に説明する。

画像供給装置８は、情報処理装置１に、複数の観測画像を含む観測画像群１１０を供給する。画像供給装置８は、観測画像群１１０に加え、他の情報を提供してもよい。例えば、画像供給装置８は、後ほど説明する観測画像の観測時刻を供給してもよい。なお、画像供給装置８は、観測画像群１１０に含まれる観測画像を、一度に供給してもよく、複数回に分けて供給してもよい。

画像供給装置８は、観測画像群１１０を提供すれば、その詳細な構成など、特に制限されない。

例えば、画像供給装置８は、複数の波長帯域において、観測対象が反射した電磁波の強さを観測し、観測した結果を観測画像群１１０として出力する撮影装置である。あるいは、画像供給装置８は、上記の撮影装置が観測した結果である観測画像群１１０を記憶する装置である。すなわち、画像供給装置８は、ハードディスクなどの記憶装置、又は、サーバ装置などである。

あるいは、画像供給装置８は、例えば、飛行機又は人工衛星に搭載され、複数の波長帯域において地表において反射された反射光の画像である観測画像群１１０を取得する観測装置である。

あるいは、画像供給装置８は、例えば、複数の帯域通過フィルタを通して画像を撮影するカメラである。つまり、画像供給装置８は、複数の波長帯域において、各波長帯域の観測光を透過する帯域通過フィルタを用いて観測画像を撮影する装置である。

観測画像群１１０が、複数の波長帯域の観測画像を含む場合、以降の説明において、波長帯域の数を「Ｎ（Ｎは２以上の整数）」とする。

なお、波長帯域の幅は、全てが一致していてもよく、少なくとも一部の波長帯域の幅が他の波長帯域の幅と異なっていてもよい。

画像供給装置８は、観測画像群１１０に加え、波長帯域に関連する情報（例えば、波長帯域の「中心波長」、「帯域幅」、「上限波長」、及び／又は「下限波長」）を、情報処理装置１に供給してもよい。

このように、観測画像群１１０は、複数の波長帯域についての観測対象に関する観測画像（例えば、観測対象における明るさの分布の画像）の集合である。なお、観測画像において、各画素の輝度値は、その画素に応じた方向から届いた観測光の強さである。

観測画像群１１０は、例えば、同一の観測時刻における観測対象から得られた複数の波長帯域における観測画像を含んでもよい。この場合、観測画像群１１０は、画像供給装置８が、複数の波長帯域について、同一時刻に、対象物を観測した結果である。具体的には、観測画像群１１０は、複数の波長帯域について、カメラなどの計測器における一連の動作に基づいて観測された観測画像の集合である。この場合、複数の観測画像は、１つの組の観測画像群１１０として、観測対象に関連付けられて管理されてもよい。

あるいは、観測画像群１１０は、複数の時刻に観測された観測画像を含んでもよい。例えば、観測画像群１１０が、８個の異なる波長帯域についての８個の観測画像を含むとする。この場合において、８個の中の４個の観測画像が、ある時刻Ｔ_１に観測された画像であり、別の４個の観測画像が、時刻Ｔ_１とは異なる時刻Ｔ_２において観測された画像でもよい。さらに、観測画像群１１０は、２つに限られず、３つ以上の時刻における観測画像を含んでもよい。

そして、観測画像群１１０に含まれる観測画像のうち少なくとも１つの観測画像は、欠損を含む。

例えば、観測画像が、衛星から撮影した地上の画像の場合、いずれかの観測画像における地上部分の一部領域において、物体に覆われて地上物の情報を含まない領域が発生する場合がある。このような領域を、以降、「欠損領域」と呼ぶ。なお、この場合の物体は、例えば、雲、霧、靄、飛行物、又は、自動車である。

ただし、物体は、上記のように、移動する物体とする。そのため、観測画像群１１０は、欠損領域を含む観測画像以外に、その欠損領域の対応する領域に欠損を含まない観測画像を、少なくとも一つ含む。なお、観測画像が、上記の衛星からの地上画像の場合、欠損を含まない観測画像とは、欠損領域となっている領域に相当する地上部分の情報を含む画像である。

ただし、画像供給装置８は、上空から地表を観測する装置に限定されない。画像供給装置８は、例えば、地表又は地表の近くから遠方の地表における観測画像群１１０を撮影する装置でもよい。

出力装置９は、情報処理装置１が作成した復元画像１４０を出力する装置である。出力装置９は、例えば、ディスプレイ装置又はプリンタである。

なお、出力装置９は、出力以外の処理を実行してもよい。例えば、出力装置９は、復元画像１４０から、復元画像１４０に含まれる撮影された物体の材質又は状態に関する情報を抽出してもよい。

ただし、上記の説明における画像供給装置８及び出力装置９は、情報処理装置１が接続される装置の一例である。情報処理装置１は、上記の画像供給装置８及び／又は出力装置９とは異なる装置に接続されてもよい。

［構成の説明］
次に、図面を参照して、情報処理装置１を説明する。情報処理装置１は、観測画像における欠損領域を復元する。より詳細には、情報処理装置１は、少なくとも一つの観測画像を基に他の観測画像の欠損領域を復元する。

以下の説明において、作成する画像の元となる観測画像と復元の対象である復元される観測画像とを区別する場合、元となる観測画像を「第１の観測画像」と呼ぶ。また、復元される観測画像（欠損領域を含む観測画像）を「第２の観測画像」と呼ぶ。さらに、各観測画像に関連する内容（例えば、波長帯域など）についても、同様に、適宜、「第１」及び「第２」を付して説明する。

例えば、第１の観測画像の波長帯域は、「第１の波長帯域」である。

なお、第１の観測画像の波長帯域（第１の波長帯域）は、第２の観測画像の波長帯域（第２の波長帯域）と異なる。

情報処理装置１の構成の詳細について説明する。

図１は、本発明における第１の実施形態に係る情報処理装置１の構成の一例を示すブロック図である。

情報処理装置１は、画像受信部１１と、画像分類部１２と、波長補間部１４と、画像復元部１５とを含む。

（ハードウェア構成の概要）
まず、各構成のハードウェアの概要について説明する。

画像受信部１１は、後ほど説明する動作を実現するため、観測画像群１１０を送信する装置（例えば、画像供給装置８）から観測画像群１１０を受信するための回路を含む。ただし、画像受信部１１が、情報処理装置１に含まれる図示しない記憶装置から観測画像群１１０を取得する場合、画像受信部１１は、観測画像群１１０を受信するための回路を含まなくてもよい。

さらに、画像受信部１１は、観測画像群１１０の受信動作を制御する回路、又は、所定のプログラムを基に動作するプロセッサを用いて、後ほど説明する動作を実現する。さらに、画像受信部１１は、受信した観測画像群１１０を保存する記憶装置（例えば、磁気ディスク装置、又は、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）などの半導体メモリ）を含んでもよい。

画像分類部１２及び波長補間部１４は、電子回路、又は、プログラムを基に動作するプロセッサを用いて、後ほど説明する動作を実現する。

画像復元部１５は、電子回路、又は、プログラムを基に動作するプロセッサを用いて、後ほど説明する動作を実現する。さらに、画像復元部１５は、作成した復元画像１４０を、所定の装置（例えば、出力装置９）に送信するための回路を含む。ただし、画像復元部１５が、情報処理装置１に含まれる図示しない記憶装置に復元画像１４０を保存する場合、画像復元部１５は、復元画像１４０を送信するための回路を含まなくてもよい。

なお、ハードウェア構成については、後ほど、詳細に説明する。

（各構成の説明）
画像受信部１１は、観測画像群１１０（第１の画像群）を受信する。

ただし、情報処理装置１は、情報処理装置１に含まれる図示しない記憶装置に記憶されている観測画像群１１０を処理してもよい。この場合、画像受信部１１は、その記憶装置から観測画像群１１０を取得する。

観測画像群１１０に含まれる観測画像は、それぞれの波長帯域に関する情報を含む。さらに、各観測画像は、異なる波長帯域に対応している。

なお、受信した観測画像が、波長帯域に関する情報を含まない場合、画像受信部１１は、観測画像を波長帯域に関連付ける。この動作において、画像受信部１１は、画像供給装置８などから、観測画像の波長帯域に関する情報を受信してもよい。

観測画像に関連付けられる波長帯域の範囲は、特に制限されない。さらに、波長帯域を示す情報は、特に制限されない。波長帯域を示す情報は、例えば、波長帯域の上限波長及び下限波長の組合せでもよい。あるいは、波長帯域を示す情報は、波長帯域の中心波長又は帯域の境界の波長と、帯域幅とでもよい。なお、以下の説明では、波長帯域の波長を説明する場合、波長帯域の中心波長λを用いて説明する。

なお、波長又は帯域に識別子が割り振られている場合、画像受信部１１は、波長帯域を示す情報として、識別子を用いてもよい。

さらに、画像受信部１１は、観測画像群１１０とともに、同期情報を受信してもよい。

同期情報とは、後ほど詳細に説明する画像分類部１２において、観測画像の同期の判定に用いられる情報である。

例えば、画像分類部１２が、観測時刻における同期を判定する場合、同期情報は、各観測画像の観測時刻である。あるいは、画像分類部１２が、波長帯域における同期を判定する場合、同期情報は、波長帯域に関連する情報である。

なお、画像受信部１１が、観測画像を基に、同期情報を生成してもよい。例えば、画像分類部１２が、観測画像に含まれる物体（例えば、移動物）を基に、同期を判定する場合、画像受信部１１は、所定の画像処理を用いて、観測画像に含まれる物体に関連する情報として、同期情報を生成してもよい。

なお、後ほど説明する画像分類部１２が、同期情報を作成してもよい。この場合、画像受信部１１は、同期情報を受信及び作成を実行しなくてもよい。

画像分類部１２は、同期情報を基に、同期している観測画像が同じ組となるように、観測画像群１１０に含まれる観測画像を分類する。そして、画像分類部１２は、分類した観測画像の組を含む画像群（第２の画像群）を生成する。

つまり、「組」とは、同期した一つ又は複数の観測画像の集合である。そして、画像群は、一つ又は複数の「組」の集合である。

画像分類部１２が用いる同期情報は、特に制限されない。

例えば、画像分類部１２は、観測画像の観測時刻を用いて、観測時刻が一致する観測画像を一つの組としてもよい。

なお、「観測時刻が一致する」とは、観測時刻の値が同じである場合に限られない。例えば、画像分類部１２は、観測時刻が所定の時間範囲に含まれる観測画像を「観測時刻が一致」と判定してもよい。これは、複数の観測画像の撮影する場合、所定の時間が必要となるためである。

例えば、観測画像は、８つの波長帯域（Ｎ＝８）における観測画像とする。そして、第２、３、５、及び７番目の波長帯域における観測画像の撮影時刻がＴ_１であり、第１、４、６、及び８番目の波長帯域における観測画像の撮影時刻がＴ_２とする。この場合、画像分類部１２は、第２、３、５、及び７番目の観測画像を含む第１の組と、第１、４、６、及び８番目の観測画像を含む第２の組との２つ組を含む画像群を生成する。

あるいは、一部の波長帯域は、関連性が高い場合（以下、「波長帯域における同期」と呼ぶ）がある。そこで、画像分類部１２は、同期した複数の波長帯域における観測画像を一つの組としてもよい。この場合、画像分類部１２は、同期情報として同期した波長帯域を含む組合せの情報を用いて、観測画像を組に分類して、画像群を生成すればよい。

例えば、観測画像群１１０が、８つの観測画像を含むとする。つまり、観測画像群１１０は、８つの波長帯域（Ｎ＝８）を含む。そして、８つの波長帯域（Ｎ＝８）において、第２、３、５、及び７番目の波長帯域が同期し、第１、４、６、及び８番目の波長帯域が同期しているとする。この場合、画像分類部１２は、第２、３、５、及び７番目の波長帯域に関連付けられた観測画像を含む第１の組と、第１、４、６、及び８番目の波長帯域に関連付けられた観測画像を含む第２の組との２つ組を生成する。そして、画像分類部１２は、生成した２つの組を含む画像群を生成する。

この場合、同期情報は、第２、３、５、及び、７番目の波長帯域、並びに、第１、４、６、及び８番目の波長帯域を区別できる情報（例えば、波長帯域の識別子）である。

あるいは、画像分類部１２は、観測画像に含まれる物体を基に、観測画像を組に分類してもよい。例えば、画像分類部１２が、観測画像に含まれる特定の移動物の位置及び形状を判定し、移動物の位置及び形状が類似する観測画像が同じ組となるように、観測画像を分類してもよい。あるいは、画像受信部１１が、観測画像に含まれる特定の移動物の位置及び形状を基に同期情報を生成し、画像分類部１２が、その同期情報を基に、観測画像を組に分け、画像群を生成してもよい。

なお、「特定の移動物」とは、特に制限はない。特定の移動物とは、例えば、雲、車、鳥、又は、航空機である。ただし、特定の移動物とは、人工物に限られず、川などの自然物でもよい。

画像分類部１２が、観測画像を、雲を含む観測画像の組と、雲を含まない観測画像の組とに分類する場合について説明する。例えば、８つの波長帯域（Ｎ＝８）における観測画像において、第２、３、５、及び７番目の観測画像が雲を含み、第１、４、６、及び８番目の観測画像が雲を含まないとする。この場合、画像分類部１２は、雲を含む第２、３、５、及び７番目の観測画像を含む第１の組と、雲を含まない第１、４、６、及び８番目の観測画像を含む第２の組との２つ組を含む画像群を生成する。

このように、画像分類部１２は、観測画像を同期した組に分類して、画像群を生成する。つまり、同期した組に含まれる観測画像は、同期情報として同じ情報を含む。例えば、画像分類部１２が、観測時刻を用いて分類した場合、各組に含まれる観測画像は、同一の観測時刻を持つ。なお、画像分類部１２は、複数の同期情報を用いてもよい。

波長補間部１４は、ある組（第１の組）に含まれる観測画像（第１の画像）を基に、別の組(第２の組)に含まれる観測画像（第２の画像）対応した画像（第３の画像）を生成する。より詳細には、波長補間部１４は、第２の組に含まれる第２の画像の波長帯域（第２の波長帯域）と特定の関係にある第１の組に含まれる波長帯域（第１の波長帯域）に対応する第１の画像を基に、第２の波長帯域に対応した第３の画像を生成する。以下の説明において、第３の画像を「補間画像」と呼ぶ場合もある。

上記のとおり、各観測画像は、異なる波長帯域に対応する。つまり、第３の画像は、第１の組に含まれるいずれの観測画像の波長帯域とも異なる波長帯域に対応する画像である。さらに、第３の画像は、第２の組に含まれるいずれかの観測画像の波長帯域に対応する画像である。

そして、波長補間部１４は、生成した画像（第３の画像）を、生成元である第１の組の観測画像（第１の画像）と組み合わせて新たな組とし、新たな組を含む画像群１３０（第３の画像群）を生成する。

つまり、新たに生成された組は、第１の組に含まれる観測画像の波長帯域に加え、第２の組に含まれる観測画像の波長帯域に対応した画像（第３の画像）を含む。このように、波長補間部１４は、第１の組の波長帯域に対応した観測画像と、第２の組の波長帯域に対応した第３の画像とを含む組を生成し、生成した組を含む画像群１３０を生成する。

この動作を詳細に説明する。

以下、組が２つの場合について説明するが、これは、説明の便宜のためである。情報処理装置１は、３つ以上の組を含んでもよい。その場合、情報処理装置１が、いずれかの２つの組を選択し、以下の動作を実行すればよい。さらに、情報処理装置１は、全ての組における組合せについて、以下の動作を実行してもよい。

第１の組は、欠損領域を含まない観測画像（第１の画像）を含む。第２の組は、欠損領域を含む観測画像を、少なくとも１つ含む。欠損領域を含む観測画像の波長帯域の中心波長を「波長λ_ｊ」とする。

そして、波長補間部１４は、第１の組に含まれる観測画像を用いて、中心波長λ_ｊに対応する第３の画像を生成する。

以下、波長λにおける横方向のｘ番目及び縦方向のｙ番目の画素値の表現として「Ｉ（ｘ、ｙ、λ）」を用いる。

具体的には、波長補間部１４は、中心波長λ_ｊと所定の関係にある波長帯域に対応した第１の組に含まれる観測画像の画素値を用いて、中心波長λ_ｊの画素値（以下、Ｉ_１（ｘ、ｙ、λ_ｊ）とする）を算出する。

ここで、所定の関係にある波長帯域とは、第１の組において、中心波長λ_ｊに最も近い２つの波長帯域である。つまり、波長補間部１４は、中心波長λ_ｊに最も近い２つの波長帯域（以下、それぞれの中心波長を、λ_ｊ０及びλ_ｊ１とする（λ_ｊ０＜λ_ｊ１））に対応した観測画像における画素値を用いて、中心波長λ_ｊに対応した画素値を決定する。なお、波長λ_ｊ０及び波長λ_ｊ１は、中心波長λ_ｊを挟み込む波長（λ_ｊ０＜λ_ｊ＜λ_ｊ１）であることが望ましい。ただし、本実施形態は、これに限定されない。

波長λ_ｊ０及び波長λ_ｊ１が、中心波長λ_ｊを挟み込む波長の場合、波長補間部１４は、次に示す数式１を用いて、中心波長λ_ｊにおける画素値を算出する。

［数式１］

数式１において、左辺のＩ_１（ｘ、ｙ、λ_ｊ）は、算出される中心波長λ_ｊにおける画素値である。右辺の第１項のＩ_１（ｘ、ｙ、λ_ｊ０）は、第１の組における波長λ_ｊ０に対応した観測画像の画素値である。右辺の第２項のＩ_１（ｘ、ｙ、λ_ｊ１）は、第１の組における波長λ_ｊ１に対応した観測画像の画素値である。

このように、波長補間部１４は、第１の組に含まれる第２の波長帯域と所定の関係にある波長帯域の第１の画像の画素値を基に、第２の波長帯域に対応する第３の画像の画素値を生成する。

波長補間部１４は、中心波長λ_ｊに対応する全ての画素値を算出する。このように、波長補間部１４は、第１の組に含まれる観測画像を基に、第２の波長帯域に対応した第３の画像を生成する。

そして、波長補間部１４は、生成した第３の画像と第１の組の観測画像を基に新たな組を生成する。そして、波長補間部１４は、新たな組を基に画像群１３０を生成する。

画像群において、同じ組に含まれる観測画像は、同期している。つまり、波長補間部１４は、同期している観測画像を基に、第２の波長帯域に対応する第３の画像を生成する。そのため、波長補間部１４は、関連性の高い第３の画像、つまり、適切な補間画像を生成できる。

なお、波長補間部１４は、第２の組における欠損領域を含む一つ又は複数の波長帯域に対応した観測画像に対して、第３の画像を生成すればよい。ただし、波長補間部１４は、第２の組に含まれる全ての観測画像の波長帯域に対応した第３の画像を生成してもよい。以下、波長補間部１４は、全ての波長帯域に対応した第３の画像を生成するとして説明する。

さらに、波長補間部１４は、上記の第１の画像と第２の画像とを入れ替えて動作してもよい。つまり、波長補間部１４は、第２の組の観測画像を基に、第１の一部又は全ての波長帯域に対応した第３の画像を生成し、新たな組を作成し、その組を含む画像群１３０を生成してもよい。以下の説明では、波長補間部１４は、第２の組においても、第１の組の全ての波長帯域に対応した画像を生成するとして説明する。

上記のように、波長補間部１４が、全ての組において、他の組の観測画像の波長帯域に対応した画像を生成した場合、画像群１３０に含まれる各組は、全ての組において、同じ波長帯域に対応した画像を含む。ただし、各組に含まれる各波長帯域の画像は、受信した観測画像、又は、波長補間部１４が作成した第３の画像（補間画像）のどちらかである。つまり、各組は、各波長帯域に対して、複数の画像を含まない。

なお、数式１は、波長補間部１４における処理の一例である。波長補間部１４は、数式１とは異なる数式を用いてもよい。例えば、波長補間部１４は、２次補間、３次補間、又は、スプライン補間を用いて、上記の画素値を算出してもよい。

さらに、波長補間部１４が算出に用いる波長帯域に数は、２つに限られない。波長補間部１４は、１つの波長帯域を用いてもよく、２つを超える波長帯域を用いてもよい。例えば、画素値を算出する第２の波長帯域が、第１の組に含まれる観測画像の波長帯域のいずれよりも高い場合、波長補間部１４は、第１の組の最も高い波長帯域に対応した観測画像を用いて、画素値を算出してもよい。

画像復元部１５は、波長補間部１４が生成した補間画像、つまり、画像群１３０を用いて、欠損領域を復元する。

詳細には、画像復元部１５は、画像群１３０において、欠損領域を含む観測画像の波長帯域に対応する各組の画素値を比較する。そして、画像復元部１５は、比較結果を基に、画像群１３０に含まれる各組の画素値を用いて、欠損領域を復元した観測画像、つまり、復元画像１４０を生成する。

例えば、欠損領域を含む観測画像における波長帯域において、光の反射が大きい物体が、被覆物であるとする。この場合、画像復元部１５は、画像群１３０に含まれる各組の画像において、欠損領域を含む観測画像の波長帯域に対応する画像（観測画像及び補間画像）における画素値を比較する。そして、画像復元部１５は、最も小さい画素値を、最も被覆物の影響が少ない画素値とする。そして、画像復元部１５は、最も被覆物の影響が少ない画素値を参照して、欠損領域となっている波長帯域の画素値を算出する。例えば、画像復元部１５は、影響が最も少ない画素値と同じ又は近い値となるように、欠損領域を含む観測画像の画素値を修正する。

画像復元部１５は、全ての波長帯域における欠損領域の画素に対して、同様な処理を用いて画素値を算出し、算出した画素値を用いて復元画像１４０を生成する。

なお、光の反射が小さい物体が被覆物の場合、画像復元部１５は、最も大きな画素値を、最も被覆物の影響が少ない値とすればよい。

ただし、画像復元部１５が用いる手法は、上記に限られない。

以下、画像復元部１５における画素値を算出する手法の二つの例を説明する。

（１）第１の手法
第１の手法において、画像群１３０の各組に含まれ画像の波長帯域の中心波長は、波長λ_１、…、λ_Ｎとする。さらに、画像群１３０は、２つ組を含むとする。第１の組に含まれる波長λ_ｎに対応する画像における画素値をＩ'_１（ｘ，ｙ，λ_ｎ）とする。また、第２の組に含まれる波長λ_ｎに対応する画像における画素値をＩ'_２（ｘ，ｙ，λ_ｎ）とする。

このとき、画像復元部１５は、復元の強さを表す所定の係数ｒ_１を用いた数式２を用いて、復元画像１４０における波長λ_ｎの画素値（Ｉ_３（ｘ，ｙ，λ_ｎ））を算出する。

［数式２］

なお、「ｎ」は、波長帯域を示す変数であり、１からＮのいずれかの値である。

（２）第２の手法
第２の手法において、画素の変数及び波長の変数は、第１の手法と同様とする。

このとき、画像復元部１５は、復元の強さを表す所定の係数ｒ_２を用いた数式３を用いて、復元画像１４０における画素値（Ｉ_３（ｘ，ｙ，λ_ｎ））を算出する。

［数式３］

なお、「ｎ」は、上記と同様に、波長帯域を示す変数であり、１ないしＮのいずれかの整数である。「ｎ_１」は、第１の組の観測画像の波長帯域を示す変数であり、１ないしＮ_１（Ｎ_１は、第１の組に含まれる観測画像の数）のいずれかの整数である。「λ_ｎ１」は、第１の組に含まれる観測画像の波長帯域の中心波長の集合である。「ｎ_２」は、第２の組の観測画像の波長帯域を示す変数であり、１ないしＮ_２（Ｎ_２は、第２の組に含まれる観測画像の数）のいずれかの整数である。「λ_ｎ２」は、第２の組に含まれる観測画像の波長帯域の中心波長の集合である。ただし、第１の組に含まれる観測画像の波長帯域の中心波長（λ_ｎ１）は、第２の組に含まれる観測画像の波長帯域の中心波長（λ_ｎ２）と異なるとする。

画像復元部１５は、特定の波長帯域に対応して動作してもよい。

例えば、画像復元部１５は、特定の波長帯域において、光の反射又は吸収に特徴をもつ物体が被覆物である場合を想定してもよい。この場合、例えば、画像復元部１５は、特定の波長帯域における画素値を比較して、その波長帯域における画素値が最も大きい（又は、最も小さい）観測画像を、その画素における最も被覆物の影響が少ない観測画像とする。そして、画像復元部１５は、その観測画像の波長帯域における画素値を基に復元画像１４０の画素値を算出して、復元画像１４０を生成してもよい。

［動作の説明］
次に、図面を参照して、第１の実施形態に係る情報処理装置１の動作について説明する。

図３は、第１の実施形態に係る情報処理装置１の動作の一例を示すフローチャートである。

画像受信部１１は、観測画像を含む観測画像群１１０（第１の画像群）と、同期情報とを取得する（ステップＳ１０１）。例えば、画像受信部１１は、観測画像を撮影した装置（例えば、画像供給装置８）から観測画像群１１０を受信してもよい。あるいは、画像受信部１１は、図示しない記憶装置から、観測画像群１１０を読み出してもよい。さらに、画像受信部１１は、観測画像を撮影した装置（例えば、画像供給装置８）から同期情報を受信してもよい。あるいは、画像受信部１１は、同期情報を作成してもよい。

画像分類部１２は、同期情報を用いて、同期した観測画像が同じ組となるように、観測画像を組に分類し、画像群(第２の画像群)を生成する（ステップＳ１０２）。なお、画像分類部１２が、同期情報を作成してもよい。

波長補間部１４は、第１の組に含まれる観測画像（第１の画像）を基に、第２の組に含まれる観測画像（第２の画像）の波長帯域に対応した画像（第３の画像、補間画像）を生成する。そして、波長補間部１４は、生成した第３の画像と、第１の画像を含む組とから新たな組を生成し、新たな組を基に画像群１３０（第３の画像群）を生成する。つまり、波長補間部１４は、他の組の波長帯域に対応した画像を生成し、画像群１３０（第３の画像群）を生成する。言い換えると、波長補間部１４は、画像群を基に補間画像を生成し、画像群と補間画像とを基に画像群１３０を生成する（ステップＳ１０３）。

なお、波長補間部１４は、新たな組として、生成した第３の画像と第１の組の観測画像とを含む論理的な塊（例えば、ファイル）を生成しなくてもよい。例えば、波長補間部１４は、画像群１３０（第３の画像群）の情報として、生成した第３の画像と、第１の組の観測画像との関連付ける管理情報を保存してもよい。この場合、その画像復元部１５は、管理情報を基に動作すればよい。

画像復元部１５は、画像群１３０における各波長帯域の画素値を基に、復元画像１４０の画素値を算出して、算出した画素値を基に復元画像１４０を生成する（ステップＳ１０４）。復元画像１４０は、欠損領域を復元した画像である。

［効果の説明］
次に、第１の実施形態に係る情報処理装置１の効果について説明する。

第１の実施形態に係る情報処理装置１は、参照画像７２０を用いないで、観測画像を復元するための画像を生成するとの効果を奏する。

その理由は、次のとおりである。

画像受信部１１が、観測画像を含む観測画像群１１０を受信する。観測画像は、波長帯域と関連付けられている。

画像分類部１２が、同期情報を用いて、同期する観測画像が同じ組となるように、観測画像群１１０の観測画像を画像群に分類する。

そして、波長補間部１４が、画像群に含まれる各組において、他の組の波長帯域に対応した画像（補間画像）を生成する。そして、波長補間部１４は、生成した画像と元の画像を含む組を生成し、生成した組を含む画像群１３０を生成する。

補間画像は、次に説明する画像復元部１５が、復元画像１４０を生成するために用いる画像である。つまり、補間画像は、観測画像における欠損領域を復元するための画像である。

このように、情報処理装置１は、参照画像７２０を用いなくても、観測画像を復元するための画像（補間画像）を生成できる。

そして、画像復元部１５が、画像群１３０における各波長帯域の画素値を基に、復元画像１４０の画素値を合成して、復元画像１４０を生成する。

このように、情報処理装置１は、観測画像を基に復元画像１４０を生成できる。

繰り返すと、情報処理装置１は、次のような効果を奏する。

画像受信部１１は、観測画像を波長帯域と関連付ける。そのため、情報処理装置１は、所定の波長帯域に関連した復元を実現できる。

さらに、画像分類部１２は、同期している観測画像を同じ組となるように画像群に分類する。そのため、情報処理装置１は、同期した画像を基に復元を実現できる。

さらに、波長補間部１４は、各組において、復元する画像の波長帯域と所定の関係にある画像を基に、波長帯域の画像を生成する。そのため、情報処理装置１は、各波長帯域に対応した復元に用いる画像（補間画像）を生成できる。

さらに、画像復元部１５は、波長補間部１４が生成した補間画像と観測画像とを基に復元画像１４０を生成する。このように、情報処理装置１は、参照画像７２０を用いなくても、観測画像の欠損領域を復元した復元画像１４０を生成できる。

［変形例］
既に説明したように、情報処理装置１は、復元に用いる観測画像の数を制限されない。例えば、情報処理装置１は、２枚の観測画像、つまり、欠損領域を含まない観測画像と欠損領域を含む観測画像とを用いて動作してもよい。この場合、情報処理装置１は、画像分類部１２を含まなくてもよい。

さらに、情報処理装置１は、復元画像１４０として、波長補間部１４が生成した画像を、欠損領域と置き換えてもよい。あるいは、情報処理装置１は、画像群１３０（補間画像を含む第３の画像群）を復元画像１４０の復元を実行する他の装置に送信してもよい。この場合、情報処理装置１は、画像復元部１５を含まなくてもよい。

図４は、この場合の変形例である情報処理装置４の構成の一例を示すブロック図である。情報処理装置４は、画像受信部１１と、波長補間部１４とを含む。

画像受信部１１は、観測画像群１１０（第１の画像群）を受信する。例えば、観測画像群１１０は、第１の波長帯域に対応した観測画像（第１の画像）と、第２の波長帯域に対応した観測画像（第２の画像）とを含む。つまり、観測画像は、波長帯域と関連付けられている。

波長補間部１４は、第１の画像を基に、第１の画像の第１の波長帯域とは異なる第２の波長帯域における第２の画像に対応した画像（第３の画像）を生成する。

このように構成された情報処理装置４は、情報処理装置１と同様の効果を奏する。

その理由は、情報処理装置４の各構成が、上記の動作を基に、情報処理装置１と同様に、復元するための画像を生成できるためである。

なお、情報処理装置４は、本発明における実施形態の最小構成である。

＜第２の実施形態＞
次に、図面を参照して、第２の実施形態に係る情報処理装置２について説明する。

図５は、第２の実施形態に係る情報処理装置２の構成の一例を示すブロック図である。情報処理装置２は、情報処理装置１の構成に加え、移動物抑制部２３を含む。そのため、以下の説明において、第１の実施形態と同様の構成及び動作の説明を省略し、第２の実施形態に特有の構成及び動作を説明する。

なお、移動物抑制部２３は、画像分類部１２及び波長補間部１４と同様に、電子回路、又は、プログラムを基に動作するプロセッサを用いて、後ほど説明する動作を実現する。

移動物抑制部２３は、画像分類部１２が生成した画像群１２０に対し、移動物（例えば、雲）に基づく影響を抑制した画像群１２５を生成する。ただし、移動物抑制部２３は、画像群１２０に含まれる全ての観測画像に対して動作する必要はない。移動物抑制部２３は、一部の観測画像における移動物の影響を抑制してもよい。

なお、画像群１２０は、観測画像群１１０に含まれる観測画像を含む。つまり、移動物抑制部２３は、欠損を含まない観測画像（第１の画像）、及び／又は、欠損領域を含む観測画像（第２の画像）に含まれる移動物に基づく影響を抑制する。

波長補間部１４は、移動物の影響が抑制された画像群１２５を用いて画像群１３０を生成する。

移動物抑制部２３における動作の詳細の一例を説明する。

移動物抑制部２３は、画像群１２０を、所定の大きさの画像領域に区分する。ここで、移動物抑制部２３は、各領域において、最も小さい画素値を、移動物（例えば、雲）に基づく影響とみなす。そのため、移動物抑制部２３は、最も小さい画素値を、その領域の全画素値から差し引く。このような動作を基に、移動物抑制部２３は、移動物の影響を抑制する。

波長補間部１４は、移動物の影響が抑制された画像群１２５を用いて画像群１３０を生成する。そのため、波長補間部１４は、第１の実施形態よりさらに適切な画像群１３０を生成する。

［効果の説明］
第２の実施形態に係る情報処理装置２は、第１の実施形態の効果に加え、観測画像における移動物の影響を低減するとの効果を奏する。

その理由は、移動物抑制部２３が、移動物に基づく影響を抑制するためである。

＜ハードウェア構成例＞
上述した各実施形態、つまり、図１に示されている第１の実施形態の係る情報処理装置１、図４に示されている変形例に係る情報処理装置４、及び、図５に示されている第２の実施形態に係る情報処理装置２に含まれる各構成部は、次のように実現されてもよい。

各構成部は、専用のＨＷ（Ｈａｒｄｗａｒｅ、例えば、電子回路）を用いて実現されてもよい。あるいは、各構成部は、プロセッサ上で動作するプログラムの機能として実現されてもよい。あるいは、各構成部は、上記に組合せを用いて実現されてもよい。

さらに、図１、図４、及び、図５に示されている各構成部の区分けは、説明の便宜上の区分けである。各構成部は、その実装に際して、様々に変形可能である。

図面を参照して、本発明における各実施形態に係るハードウェア構成を説明する。

図６は、本発明における各実施形態に係る情報処理装置９００の構成の一例を示すブロック図である。

すなわち、図６に示されている情報処理装置９００は、図１に示されている情報処理装置１、図４に示されている情報処理装置４、及び、図５に示されている情報処理装置２のハードウェア構成の一例である。

図６に示されている情報処理装置９００は、記録媒体９０７を除く下記の構成要素を含む。

（１）ＣＰＵ（Ｃｅｎｔｒａｌ＿Ｐｒｏｃｅｓｓｉｎｇ＿Ｕｎｉｔ）９０１
ＣＰＵ９０１は、プログラムを基に、各実施形態に係る情報処理装置９００としての機能を実現する。ＣＰＵ９０１は、汎用又は専用のコンピュータチップ及び周辺の回路である。

（２）ＲＯＭ（Ｒｅａｄ＿Ｏｎｌｙ＿Ｍｅｍｏｒｙ）９０２
ＲＯＭ９０２は、ＣＰＵ９０１が実行するプログラム及びデータを不揮発に記憶する。例えば、ＲＯＭ９０２は、Ｐ－ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ－ＲＯＭ）又はフラッシュＲＯＭである。

（３）ＲＡＭ（Ｒａｎｄｏｍ＿Ａｃｃｅｓｓ＿Ｍｅｍｏｒｙ）９０３
ＲＡＭ９０３は、ＣＰＵ９０１が実行するプログラム及びデータを一時的に記憶する。ＲＡＭ９０３は、例えば、Ｄ－ＲＡＭ（Ｄｙｎａｍｉｃ－ＲＡＭ）である。

（４）記憶装置９０４
記憶装置９０４は、情報処理装置９００が長期的に保存するデータ及びプログラムを不揮発に記憶する。また、記憶装置９０４は、ＣＰＵ９０１の一時記憶装置として動作してもよい。記憶装置９０４は、例えば、ハードディスク装置、光磁気ディスク装置、又は、ＳＳＤである。

（５）通信インタフェース（Ｉ／Ｆ：Ｉｎｔｅｒｆａｃｅ）９０５
通信Ｉ／Ｆ９０５は、図示しない外部の装置との通信を仲介する。通信Ｉ／Ｆ９０５は、例えば、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）カードである。さらに、通信Ｉ／Ｆ９０５は、有線に限らず、無線を用いてもよい。通信Ｉ／Ｆ９０５は、画像受信部１１及び／又は画像復元部１５の一部として動作してもよい。

（６）記録媒体９０７
記録媒体９０７は、プログラム及び／又はデータをコンピュータ読み取り可能に記録している。記録媒体９０７は、不揮発に、プログラム及び／又はデータを記録してもよい。記録媒体９０７は、例えば、ＣＤ（Ｃｏｍｐａｃｔ＿Ｄｉｓｃ）－ＲＯＭ、ＣＤ－Ｒ（ＣＤ－Ｒｅｃｏｒｄａｂｌｅ）、又は、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）－ＲＯＭである。

（７）リーダライタ９０８
リーダライタ９０８は、記録媒体９０７に記録されているプログラム及び／又はデータを読み出し、及び／又は、データを書き込む。リーダライタ９０８は、例えば、ＣＤドライブ、ＣＤ－Ｒライタ、又は、ＤＶＤリーダである。

（８）入出力インタフェース９０９
入出力インタフェース９０９は、情報処理装置９００に対するデータの入力を受け付ける、及び／又は、情報処理装置９００からデータを出力する。入出力インタフェース９０９は、画像受信部１１及び／又は画像復元部１５の一部として動作してもよい。入出力インタフェース９０９は、例えば、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）カードである。

（９）バス９０６
バス９０６は、情報処理装置９００の各構成を接続する。バス９０６は、例えば、ＰＣＩ（ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ）バスである。

情報処理装置９００は、上記構成を用いて、各実施形態を実現する。

すなわち、各実施形態は、情報処理装置９００に対して、次に説明する機能を実現可能なコンピュータプログラムを供給する。

その機能とは、各実施形態の説明において参照したブロック図（図１、図４、及び、図５）における、画像受信部１１と、画像分類部１２と、移動物抑制部２３と、波長補間部１４と、画像復元部１５とである。あるいは、その機能は、実施形態の説明において参照したフローチャート（図３）に示されている機能である。

情報処理装置９００は、ハードウェアであるＣＰＵ９０１が、プログラムを読み出し、解釈し、実行することに基づいて、上記機能を実現する。

なお、供給されたプログラムは、読み書き可能な揮発性のメモリであるＲＡＭ９０３、又は、不揮発性の記憶デバイスである記憶装置９０４に格納される。

プログラムの供給方法は、特に制限されない。プログラムは、一般的な手法を介して供給されればよい。例えば、プログラムは、記録媒体９０７を用いてインストールされてもよく、通信Ｉ／Ｆ９０５を介してダウンロードされてもよい。この場合、本発明における各実施形態は、プログラムを構成するコード、又は、そのコードが格納された記録媒体９０７を用いて構成されているとも言える。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成及び詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１６年７月２５日に出願された日本出願特願２０１６－１４５０５６を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、高所から地表を観測した結果に基づく、地図の作製、土地利用状態の把握、火山の噴火及び森林火災の状況把握、農作物の生育具合の取得、並びに、鉱物の判別に利用可能である。

１情報処理装置
２情報処理装置
３情報処理システム
４情報処理装置
７画像処理装置
８画像供給装置
９出力装置
１１画像受信部
１２画像分類部
１４波長補間部
１５画像復元部
２３移動物抑制部
７１画像受信部
７２類似環境画像取得部
７６画像記憶部
７５欠損領域復元部
７８画像供給装置
７９出力装置
１１０観測画像群
１１１観測画像
１２０画像群
１２５画像群
１３０画像群
１４０復元画像
１５０欠損領域
７１０測定環境情報
７２０参照画像
７４０復元画像
９００情報処理装置
９０１ＣＰＵ
９０２ＲＯＭ
９０３ＲＡＭ
９０４記憶装置
９０５通信Ｉ／Ｆ
９０６バス
９０７記録媒体
９０８リーダライタ
９０９入出力インタフェース

Claims

相互に異なる波長帯域である複数の第１の波長帯域それぞれに対応する複数の第１の観測画像を含む第１の観測画像群を受信する画像受信手段と、
前記画像受信手段が受信した前記第１の観測画像群における同期に関する情報を基に、前記第１の観測画像群に含まれる画像を前記第１の観測画像と第２の観測画像とに分類する画像分類手段と、
前記第１の観測画像群における前記第１の観測画像を基に、前記第１の観測画像の前記第１の波長帯域のいずれとも異なる第２の波長帯域における前記第２の観測画像に対応した第３の画像を生成する波長補間手段と
を含み、
前記画像分類手段は、前記同期に関する情報として、前記第１の観測画像群に含まれる物体を用いる
情報処理装置。
前記第３の画像を基に、前記第２の観測画像に対応した復元画像を生成する画像復元手段を
さらに含む請求項１に記載の情報処理装置。
前記第１の観測画像及び／又は前記第２の観測画像に含まれる移動物に基づく影響を抑制する移動物抑制手段を
さらに含む請求項２に記載の情報処理装置。
前記画像復元手段が、
複数の前記第３の画像における画素値を基に、前記復元画像を生成する
請求項２又は３に記載の情報処理装置。
前記波長補間手段が、
前記第２の観測画像における第２の波長帯域に対して所定の関係にある前記第１の観測画像における前記第１の波長帯域の画素値を基に、前記第３の画像の生成する
請求項１ないし３のいずれか１項に記載の情報処理装置。
相互に異なる波長帯域である複数の第１の波長帯域それぞれに対応する複数の第１の観測画像を含む第１の観測画像群を受信し、
受信した前記第１の観測画像群における同期に関する情報を基に、前記第１の観測画像群に含まれる画像を前記第１の観測画像と第２の観測画像とに分類し、
前記第１の観測画像群における前記第１の観測画像を基に、前記第１の観測画像の前記第１の波長帯域のいずれとも異なる第２の波長帯域における前記第２の観測画像に対応した第３の画像を生成し、
前記第１の観測画像と前記第２の観測画像との分類は、前記同期に関する情報として、前記第１の観測画像群に含まれる物体を用いる
情報処理方法。
相互に異なる波長帯域である複数の第１の波長帯域それぞれに対応する複数の第１の観測画像を含む第１の観測画像群を受信する処理と、
受信した前記第１の観測画像群における同期に関する情報を基に、前記第１の観測画像群に含まれる画像を前記第１の観測画像と第２の観測画像とに分類する処理と、
前記第１の観測画像群における前記第１の観測画像を基に、前記第１の観測画像の前記第１の波長帯域のいずれとも異なる第２の波長帯域における前記第２の観測画像に対応した第３の画像を生成する処理と
をコンピュータに実行させ、
前記第１の観測画像と前記第２の観測画像とに分類する処理は、前記同期に関する情報として、前記第１の観測画像群に含まれる物体を用いる
プログラム。