JP6303764B2 - データ融合装置、土地被覆分類システム、方法およびプログラム - Google Patents

Description

本発明は、観測対象とされた土地をその性質や利用状況等に応じて分類する土地被覆分類のためのデータ融合装置、土地被覆分類システム、土地被覆分類結果融合方法、土地被覆分類方法、土地被覆分類結果融合用プログラムおよび土地被覆分類用プログラムに関する。

一般に、土地被覆分類は、可視光線、赤外線、マイクロ波等を観測するセンサにより得られる画像に基づいて行われる。

大きく分けてセンサには、可視光線や赤外線などを観測する光学センサと、マイクロ波（電波）を観測する電波センサとがある。また、センサは、観測対象とする波長帯やバンド数によっても種々の種類に分けられる。

光学センサは、いわゆる光の領域の電磁波に対してリモートセンシングを行うセンサであり、主として対象物から入射する光を分光して受光して、各分解能セルに対応する地点の光強度の情報を得る。

一方、電波センサは、可視光線や赤外線よりも波長の長い、いわゆるマイクロ波（電波）の領域の電磁波に対してリモートセンシングを行うセンサであり、主として地表面からの反射波を受信して、各分解能セルに対応する地点の反射強度の情報を得る。

なお、分解能セルは、センサが観測対象とする領域の最小単位区画であり、撮像画像等におけるピクセルに相当する。この分解能セルは、センサの分解能より定まる。

光学センサを搭載した装置の一例として、一般にカメラと呼ばれる可視カメラや、赤外線を受光するセンサを備えた赤外線カメラなどの撮像装置が挙げられる。また、撮像装置の中には、近紫外線領域から近赤外線領域までの波長を対象に、各ピクセルにつき、４バンド以上に分光された各バンドのスペクトルの情報（Multi Spectral Data）を得ることができるマルチスペクトルセンサを備えたマルチスペクトルカメラや、３０バンド以上に分光された各光のスペクトルの情報（Hyper Spectral Data）を得ることができるハイパースペクトルセンサを備えたハイパースペクトルカメラと呼ばれる撮像装置もある。

また、電波センサを搭載した装置の一例として、合成開口レーダ（Synthetic Aperture Radar：ＳＡＲ）が挙げられる。合成開口レーダは、自ら電波を照射して、対象物から反射される電波（後方散乱成分）を受信し、受信した信号に対して所定の信号処理を行うことで、各分解能セルに対して、反射強度および位相を示す情報を得る。例えば、合成開口レーダの画像フォーマットの一つに、ピクセルごとに、ＳＬＣ（Scan Line Corrector）と呼ばれる、画像として認識できる振幅の情報に加えて位相の情報をあわせもつ複素数データを保持する画像フォーマットがある。

また、本発明に関連する技術として、例えば、特許文献１には、合成開口レーダを使用した干渉計測データと、遠隔センサにより獲得された他の形式のデータとのデータ融合に基づいて、空港障害物図を生成する方法が記載されている。

また、非特許文献１には、グランドトルースデータおよび光学センサ画像データと、ＳＡＲ画像データとを比較して、災害観測手法としてのＳＡＲ画像データの有用性の検証を行った結果が記載されている。

特開２０１１−９０３０９号公報

寛渕 哲也，"グランドトルースデータと光学センサ画像データで検証した災害観測手法としての多周波・多偏波ＳＡＲ画像データの有用性"，防災科学技術研究所研究報告 第６３号，２００２年６月．

センサの特性上、センサにより得られる画像を基に土地被覆分類を行う場合には、センサの種類によって得意とする分類対象と、苦手とする分類対象とが存在する。また、分類が可能な最小単位もセンサの分解能に依存する。

例えば、合成開口レーダによって得られる画像の一つであるＳＡＲ画像に基づく土地被覆分類と、光学センサを備えた撮像装置によって得られる撮像画像の一つであるスペクトル画像に基づく土地被覆分類とを比較すると、次のような特徴がある。すなわち、ＳＡＲ画像に基づく土地被覆分類には、地物の境界に対する分類精度は高いが、樹種や農作物の種別や生育状況といったような、形状に大きな違いが出にくい対象や形状が複雑な地物に対する分類精度が悪いといった特徴がある。一方、スペクトル画像に基づく土地被覆分類には、樹種や農作物の種類や生育状況といったような詳細な分類が可能であるが、より詳細に識別しようと波長分解能を高くすると空間分解能が低くなることから、広い領域を対象にした土地被覆分類しかできない、または、１画素に複数の地物が含まれるような場合に分類が困難であるといった特徴がある。

したがって、ＳＡＲ画像に基づく土地被覆分類だけ、またはスペクトル画像に基づく土地被覆分類だけでは、十分な分類結果が得られないという問題があった。

なお、特許文献１には、空港障害物を識別するために、合成開口レーダの干渉計測技術を用いて構築される数値表層モデル（ＤＳＭ）と、遠隔センサにより獲得された他の形式のデータ、特に、高解像度の光学的画像、マルチスペクトルおよびハイパースペクトル画像に対する数値表層モデルとを融合して、新たな障害物を識別する方法が開示されている。しかし、特許文献１に記載されているような単に２つの数値表層モデルの位置を合わせて重畳させる方法では、時間的分解能を高めることはできるが、各センサの特性上、不得手とされる部分までもが反映されかねない。

また、非特許文献１には、洪水氾濫域の解析で必要とされる５つの観測対象土地被覆に関する、多周波数・多偏波ＳＡＲによって取得された地表画像データであるＳＡＲ画像データと、光学センサ（ＬＡＮＤＳＴＡＴ ＴＩＭ）によって取得された地表画像データであるＴＭ画像データの情報量について主成分分析をした結果、これらのデータには５つの対象について独立な情報量が存在することや、したがって、対象のマイクロ波の散乱特性と、可視、近赤外、熱赤外領域の光の反射、放射特性の融合利用が、識別精度の向上に有効である旨が開示されている。しかし、非特許文献１には、分類したい対象について独立な情報量があり、それを用いれば識別精度を高めることができるといったこと以外に、具体的な融合方法は開示されていない。例えば、樹種といった細かな分類を行おうとした場合など、分類項目の数が多い場合には、それらの対象について独立な情報量を見つけるのは困難であり、またそのような情報量が存在しないことも考えられるが、そのような場合の融合方法などについては何ら開示されていない。

そこで、本発明は、簡単に、詳細かつ分類精度の高い土地被覆分類結果を得られるデータ融合装置、土地被覆分類システム、土地被覆分類結果融合方法、土地被覆分類方法、土地被覆分類結果融合用プログラムおよび土地被覆分類用プログラムを提供することを目的とする。

本発明によるデータ融合装置は、合成開口レーダにより得られるＳＡＲ画像であって、合成開口レーダの分解能セルの各々に対して反射強度および位相を示す情報であるＳＡＲデータを保持するＳＡＲ画像に基づいて土地被覆分類を行った結果である第１の土地被覆分類結果を入力する第１の土地被覆分類結果入力手段と、少なくとも４以上のバンドに光を分光して受光可能な光学センサを備えた撮像装置により得られるスペクトル画像であって、撮像装置の分解能セルの各々に対してバンドごとのスペクトルの情報であるスペクトルデータを保持するスペクトル画像に基づいて土地被覆分類を行った結果である第２の土地被覆分類結果を入力する第２の土地被覆分類結果入力手段と、第１の土地被覆分類結果と、第２の土地被覆分類結果とに基づいて、最終的な分類結果である第３の土地被覆分類結果を生成するデータ融合手段とを備え、データ融合手段は、第１の土地被覆分類結果に基づいて、地物の境界を特定し、特定した地物の境界によって区切られる各領域内を、第２の土地被覆分類結果に基づいて再分類して、第３の土地被覆分類結果を生成することを特徴とする。

また、本発明による土地被覆分類システムは、合成開口レーダにより得られるＳＡＲ画像であって、合成開口レーダの分解能セルの各々に対して反射強度および位相を示す情報であるＳＡＲデータを保持するＳＡＲ画像に基づいて土地被覆分類を行うＳＡＲデータ処理装置と、少なくとも４以上のバンドに光を分光して受光可能な光学センサを備えた撮像装置により得られるスペクトル画像であって、撮像装置の分解能セルの各々に対してバンドごとのスペクトルの情報であるスペクトルデータを保持するスペクトル画像に基づいて土地被覆分類を行うスペクトルデータ処理装置と、ＳＡＲデータ処理装置による土地被覆分類結果である第１の土地被覆分類結果と、スペクトルデータ処理装置による土地被覆分類結果である第２の土地被覆分類結果とに基づいて、最終的な分類結果である第３の土地被覆分類結果を生成するデータ融合装置とを備え、データ融合装置は、第１の土地被覆分類結果に基づいて、地物の境界を特定し、特定した地物の境界によって区切られる各領域内を、第２の土地被覆分類結果に基づいて再分類して、第３の土地被覆分類結果を生成することを特徴とする。

また、本発明による土地被覆分類結果融合方法は、合成開口レーダにより得られるＳＡＲ画像であって、合成開口レーダの分解能セルの各々に対して反射強度および位相を示す情報であるＳＡＲデータを保持するＳＡＲ画像に基づいて土地被覆分類を行った結果である第１の土地被覆分類結果に基づいて、地物の境界を特定し、特定した地物の境界によって区切られる各領域内を、少なくとも４以上のバンドに光を分光して受光可能な光学センサを備えた撮像装置により得られるスペクトル画像であって、撮像装置の分解能セルの各々に対してバンドごとのスペクトルの情報であるスペクトルデータを保持するスペクトル画像に基づいて土地被覆分類を行った結果である第２の土地被覆分類結果に基づいて再分類して、最終的な分類結果である第３の土地被覆分類結果を生成することを特徴とする。

また、本発明による土地被覆分類方法は、合成開口レーダにより得られるＳＡＲ画像であって、合成開口レーダの分解能セルの各々に対して反射強度および位相を示す情報であるＳＡＲデータを保持するＳＡＲ画像に基づいて土地被覆分類を行い、少なくとも４以上のバンドに光を分光して受光可能な光学センサを備えた撮像装置により得られるスペクトル画像であって、撮像装置の分解能セルの各々に対してバンドごとのスペクトルの情報であるスペクトルデータを保持するスペクトル画像に基づいて土地被覆分類を行い、ＳＡＲ画像に基づく土地被覆分類の結果である第１の土地被覆分類結果に基づいて、地物の境界を特定し、特定した地物の境界によって区切られる各領域内を、スペクトル画像に基づく土地被覆分類の結果である第２の土地被覆分類結果に基づいて再分類して、最終的な分類結果である第３の土地被覆分類結果を生成することを特徴とする。

また、本発明による土地被覆分類結果融合用プログラムは、コンピュータに、合成開口レーダにより得られるＳＡＲ画像であって、合成開口レーダの分解能セルの各々に対して反射強度および位相を示す情報であるＳＡＲデータを保持するＳＡＲ画像に基づいて土地被覆分類を行った結果である第１の土地被覆分類結果に基づいて、地物の境界を特定する処理、および特定した地物の境界によって区切られる各領域内を、少なくとも４以上のバンドに光を分光して受光可能な光学センサを備えた撮像装置により得られるスペクトル画像であって、撮像装置の分解能セルの各々に対してバンドごとのスペクトルの情報であるスペクトルデータを保持するスペクトル画像に基づいて土地被覆分類を行った結果である第２の土地被覆分類結果に基づいて再分類して、最終的な分類結果である第３の土地被覆分類結果を生成する処理を実行させることを特徴とする。

また、本発明による土地被覆分類用プログラムは、コンピュータに、合成開口レーダにより得られるＳＡＲ画像であって、合成開口レーダの分解能セルの各々に対して反射強度および位相を示す情報であるＳＡＲデータを保持するＳＡＲ画像に基づいて、土地被覆分類を行う第１の土地被覆分類処理、少なくとも４以上のバンドに光を分光して受光可能な光学センサを備えた撮像装置により得られるスペクトル画像であって、撮像装置の分解能セルの各々に対してバンドごとのスペクトルの情報であるスペクトルデータを保持するスペクトル画像に基づいて、土地被覆分類を行う第２の土地被覆分類処理、および第１の土地被覆分類処理の結果である第１の土地被覆分類結果と、第２の土地被覆分類処理の結果である第２の土地被覆分類結果とに基づいて、最終的な分類結果である第３の土地被覆分類結果を生成するデータ融合処理を実行させ、データ融合処理で、第１の土地被覆分類結果に基づいて、地物の境界を特定させ、特定された地物の境界によって区切られる各領域内を、第２の土地被覆分類結果に基づいて再分類させて、第３の土地被覆分類結果を生成させることを特徴とする。

本発明によれば、簡単に、詳細かつ分類精度の高い土地被覆分類結果を得ることができる。

第１の実施形態の土地被覆分類システムの構成例を示すブロック図である。 データ融合装置１５の構成例を示すブロック図である。 第１の実施形態のデータ融合装置１５の動作の一例を示すフローチャートである。 土地被覆分類結果Ｒ１および土地被覆分類結果Ｒ２の例を示す説明図である。 土地被覆分類結果Ｒ１と土地被覆分類結果Ｒ２とを重ね合わせた結果の一例を示す説明図である。 地物の境界を特定した結果の一例を示す説明図である。 各地物が分布する領域内を再分類した結果の一例を示す説明図である。 土地被覆分類結果Ｒ１および土地被覆分類結果Ｒ２の他の例を示す説明図である。 土地被覆分類結果Ｒ１と土地被覆分類結果Ｒ２とを重ね合わせた結果の一例を示す説明図である。 分類項目対応表の例を示す説明図である。 地物の分布領域内を再分類した結果の一例を示す説明図である。 本発明の概要を示すブロック図である。

実施形態１．
以下、本発明の実施形態を図面を参照して説明する。図１は、本発明の第１の実施形態の土地被覆分類システムの構成例を示すブロック図である。図１に示す土地被覆分類システムは、合成開口レーダ１１と、ハイパースペクトルカメラ１２と、ＳＡＲデータ処理装置１３と、ＨＳデータ処理装置１４と、データ融合装置１５とを備えている。

合成開口レーダ１１は、電波センサを有しており、自ら電波を照射して、対象物から反射される電波（後方散乱成分）を受信して所定の信号処理を行うことにより、各分解能セルに対して、反射強度および位相を示す情報であるＳＡＲデータを保持するＳＡＲ画像を生成する。合成開口レーダ１１は、ＳＡＲデータを生成するための信号処理で、時間のずれや場所のずれに対して所定の校正処理を行ってもよい。また、ＳＡＲ画像には、付随する情報として、送信および受信に用いた偏波の情報や、観測時間や、入射角や、軌道の情報といった観測条件が含まれていてもよい。

ハイパースペクトルカメラ１２は、ハイパースペクトルセンサを有しており、対象物から入射する光を分光して受光して所定の信号処理を行うことによって、各分解能セルに対して、分光された各バンドの光強度の情報であるペクトルデータを保持するスペクトル画像を生成する。

以下、ハイパースペクトルセンサにより得られるスペクトルデータを、ハイパースペクトルデータ（ＨＳデータ）という場合がある。また、ハイパースペクトルセンサにより得られるスペクトル画像を、ハイパースペクトル画像（ＨＳ画像）という場合がある。本発明では、ハイパースペクトルセンサを、入射する光を３０以上のバンド数の光に分光して受光可能なセンサと定義する。したがって、ＨＳデータは、３０以上のバンドについてのバンドごとの光の強度を示す情報を含む情報であればよい。

ＳＡＲデータ処理装置１３は、合成開口レーダ１１から得た、観測対象とされた領域である関心領域を撮影視野に含むＳＡＲ画像に基づいて、土地被覆分類を行い、その結果を出力する。以下、ＳＡＲデータ処理装置１３が出力する土地被覆分類結果、すなわちＳＡＲ画像に基づいて土地被覆分類を行った結果を、土地被覆分類結果Ｒ１という。また、土地被覆分類結果Ｒ１において分類先とされる項目（分類項目）を、第１の分類項目という場合がある。

ＨＳデータ処理装置１４は、ハイパースペクトルカメラ１２から得た、関心領域を撮影視野に含むＨＳ画像に基づいて、土地被覆分類を行い、その結果を出力する。以下、ＨＳデータ処理装置１４が出力する土地被覆分類結果、すなわちＨＳ画像に基づいて土地被覆分類を行った結果を、土地被覆分類結果Ｒ２という。また、土地被覆分類結果Ｒ２において分類先とされる項目を、第２の分類項目という場合がある。

データ融合装置１５は、ＳＡＲデータ処理装置１３から得た土地被覆分類結果Ｒ１と、ＨＳデータ処理装置１４から得た土地被覆分類結果Ｒ２とを入力とし、それらを融合させて、土地被覆分類結果Ｒ３を出力する。

図２は、データ融合装置１５の構成例を示すブロック図である。図２に示すデータ融合装置１５は、第１の土地被覆分類結果入力手段１５１と、第２の土地被覆分類結果入力手段１５２と、データ融合手段１５３と、土地被覆分類結果出力手段１５４とを備える。

第１の土地被覆分類結果入力手段１５１は、ＳＡＲデータ処理装置１３から土地被覆分類結果Ｒ１を入力する。

第２の土地被覆分類結果入力手段１５２は、ＨＳデータ処理装置１４から土地被覆分類結果Ｒ２を入力する。

データ融合手段１５３は、第１の土地被覆分類結果入力手段１５１により入力された土地被覆分類結果Ｒ１と、第２の土地被覆分類結果入力手段１５２により入力された土地被覆分類結果Ｒ２とを融合させて、土地被覆分類結果Ｒ３を生成する。以下、土地被覆分類結果Ｒ３において分類先とされる項目を、第３の分類項目という場合がある。

土地被覆分類結果出力手段１５４は、データ融合手段１５３により生成された土地被覆分類結果Ｒ３を、関心領域に対する最終的な土地被覆分類結果として出力する。

次に、データ融合手段１５３による土地被覆分類結果の融合方法について説明する。まず、データ融合手段１５３は、土地被覆分類結果Ｒ１および土地被覆分類結果Ｒ２に対して、画素単位で位置合わせを行い、分類結果を重ね合わせる。

また、データ融合手段１５３は、位置合わせが終わると、土地被覆分類結果Ｒ１に基づいて、地物の境界を特定する。これにより、少なくとも関心領域において、地物ごとの分布領域が特定される。ここでは、特定した地物の境界によって区切られる領域が、地物ごとの分布領域となる。なお、各領域には、土地被覆分類結果Ｒ１が示す当該領域に対する分類結果である第１の分類項目が属性として付与される。このとき、データ融合手段１５３は、例えば、各領域内の各画素に対して、当該領域に割り当てられた属性としての第１の分類項目を、当該画素の仮の分類結果としてもよい。

次いで、データ融合手段１５３は、特定した地物の境界によって区切られる各領域内を、土地被覆分類結果Ｒ２に基づいて再分類する。より具体的には、データ融合手段１５３は、領域内の各画素に対して、当該画素の分類結果が、当該領域に割り当てられた地物と同等の内容、または該地物をより詳細に示す内容の分類項目となるように分類する。なお、画素の単位は、より細かい方を採用する。

例えば、データ融合手段１５３は予め、ある画素に対する土地被覆分類結果Ｒ１が示す第１の分類項目による分類結果と、当該画素に対する土地被覆分類結果Ｒ２が示す第２の分類項目による分類結果の組み合わせに対応づけて、当該画素に対する最終的な分類結果とする第３の分類項目を保持しておいてもよい。また、例えば、データ融合手段１５３は、該当画素に対する第２の分類項目による分類結果が、分類体系においてその画素が属する領域の属性である第１の分類項目と従属関係にあれば、当該第２の分類項目が示す内容をそのまま当該画素に対する分類結果とし、そうでなければ領域に割り当てられている分類結果である第１の分類項目が示す地物の内容を当該画素に対する分類結果としてもよい。この場合、第３の分類項目は、第１の分類項目と第２の分類項目とを合わせたものとなる。なお、データ融合装置１５は、第２の分類項目の各々が、第１の分類項目のいずれに属するものかといった第１の分類項目と第２の分類項目との間の従属関係を示す情報など、分類体系の情報を予め保持しているものとする。

ところで、該当画素に対する第２の分類項目による分類結果が、分類体系においてその画素が属する領域の属性である第１の分類項目と従属関係にない場合、土地被覆分類結果Ｒ２において地物の分布範囲がずれていた可能性が高い。したがって、そのような場合には、当該画素の分類結果を、領域の属性である第１の分類項目が示す地物の内容ではなく、同じ領域内で第２の分類項目による分類結果が、領域の属性である第１の分類項目と従属関係にあるとされた画素のうち当該画素と最も近い画素のその分類結果である第２の分類項目が示す地物の内容としてもよい。この場合、第３の分類項目は、第２の分類項目と同じものとなる。なお、同じ領域内に上記条件に合致する画素がない場合には、当該領域の属性である第１の分類項目に基づき、予め第１の分類項目の各々に対して定めておいた分類項目を割り当ててもよい。

このように、一般に高分解能であるＳＡＲデータによる土地被覆分類結果Ｒ１から得られた境界を基に大まかな分類を行い、一般に低分解能だが地物に対する識別能力の高いＨＳデータによる土地被覆分類結果Ｒ２から得られた分類結果を基に各領域内を再分類することにより、境界に対して分類精度が高く、かつ地物に対する識別能力の高い土地被覆分類が可能となる。これは、分解能と分類精度の特性が異なるセンサから得られた画像に基づく２以上の土地被覆分類結果を、各センサの特性を活かして組み合わせているからである。

次に、本実施形態のデータ融合装置１５の動作について説明する。図３は、本実施形態のデータ融合装置１５の動作の一例を示すフローチャートである。図３に示す例では、まず、第１の土地被覆分類結果入力手段１５１および第２の土地被覆分類結果入力手段１５２が、土地被覆分類結果Ｒ１および土地被覆分類結果Ｒ２を入力する（ステップＳ１０１）。なお、土地被覆分類結果Ｒ１および土地被覆分類結果Ｒ２の生成方法および取得方法は、特に限定されない。

土地被覆分類結果Ｒ１および土地被覆分類結果Ｒ２が入力されると、データ融合手段１５３は、土地被覆分類結果Ｒ１および土地被覆分類結果Ｒ２に対して、画素単位で位置合わせを行い、分類結果を重ね合わせる（ステップＳ１０２）。これにより、土地被覆分類結果Ｒ１と土地被覆分類結果Ｒ２とで撮影視野が重なっている領域に対して、土地被覆分類結果Ｒ１による分類結果と土地被覆分類結果Ｒ２による分類結果の計２つの分類結果が得られる。

例えば、合成開口レーダ１１およびハイパースペクトルカメラ１２は、ＧＰＳ（Global Positioning System）受信部など、自身の現在位置を示す位置情報を受信可能な位置情報受信部を有しており、ＳＡＲ画像またはＨＳ画像に、当該画像がどの位置に対応するＳＡＲデータまたはＨＳデータを含むか、すなわち撮影視野の位置を示す撮影視野情報を含ませてもよい。

また、ＳＡＲデータ処理装置１３およびＨＳデータ処理装置１４は、土地被覆分類結果Ｒ１および土地被覆分類結果Ｒ２にそれぞれ、取得したＳＡＲ画像またはＨＳ画像に含まれる撮影視野情報を含ませてもよい。

データ融合手段１５３は、このような土地被覆分類結果Ｒ１および土地被覆分類結果Ｒ２に含まれる撮影視野情報を用いて、土地被覆分類結果Ｒ１により示される各画素の分類結果と土地被覆分類結果Ｒ２により示される各画素の分類結果とを、同じ位置に対応する画素が重なり合うように、各ピクセルデータを合成すればよい。なお、合成後の土地被覆分類結果画像は、より細かい方の分解能セルを単位に、各分解能セルに対して、土地被覆分類結果Ｒ１による分類結果と、土地被覆分類結果Ｒ２による分類結果の２つの結果を保持した画像であってもよい。

次いで、データ融合手段１５３は、土地被覆分類結果Ｒ１に基づいて、少なくとも関心領域内における地物の境界を特定し、地物ごとにそれが分布する画素領域（分布領域）を確定させる（ステップＳ１０３）。なお、ここでの地物は、第１の分類項目上の地物である。したがって、ステップＳ１０３では、第１の分類項目上の地物の分布図を得る。

次いで、データ融合手段１５３は、土地被覆分類結果Ｒ２に基づいて、得られた分布図により示される第１の分類項目上の各地物が分布する領域内を詳細化して、土地被覆分類結果Ｒ３を生成する（ステップＳ１０４）。なお、詳細化は、例えば、領域内の各画素を、当該領域に割り当てられた地物、すなわち第１の分類項目によって示される地物と同等の内容または該地物よりも詳細な内容を表す分類項目に分類すればよい。

最後に、土地被覆分類結果出力手段１５４は、データ融合手段１５３により生成された土地被覆分類結果Ｒ３を出力する（ステップＳ１０５）。

次に、データ融合手段１５３によるデータ融合処理（ステップＳ１０２〜Ｓ１０４）を、具体例を用いて説明する。

例えば、図４に示されるような土地被覆分類結果Ｒ１および土地被覆分類結果Ｒ２がデータ融合手段１５３に入力されたとする。なお、図４（ａ）は、関心領域に対する土地被覆分類結果Ｒ１の例を一部抜粋して示す説明図であり、図４（ｂ）は、図４（ａ）と同じ領域に対する土地被覆分類結果Ｒ２の例を示す説明図である。図４（ａ）および図４（ｂ）に示されるように、本例の土地被覆分類結果Ｒ１は、土地被覆分類結果Ｒ２に比べて高分解能（同じ領域に対して８×８ピクセルの解像度）であるが、各画素に対する分類結果は、植生域と水域といった大まかな分類項目による分類結果となっている。一方、本例の土地被覆分類結果Ｒ２は、土地被覆分類結果Ｒ１と比べて低分解能（同じ領域に対して２×２ピクセルの解像度）であるが、各画素に対する分類結果は、樹木Ａや樹木Ｂといった樹木の種別まで識別できるような細かな分類項目による分類結果となっている。

データ融合手段１５３は、まず入力された土地被覆分類結果Ｒ１と土地被覆分類結果Ｒ２とに対して画素単位で位置合わせを行い、分類結果を重ね合わせる。

図５は、本例の土地被覆分類結果Ｒ１と土地被覆分類結果Ｒ２とを重ね合わせた結果の一例を示す説明図である。図５に示されるように、土地被覆分類結果Ｒ１と土地被覆分類結果Ｒ２とを重ね合わせることによって、土地被覆分類結果Ｒ１と土地被覆分類結果Ｒ２の撮影視野が重なっている領域であって少なくとも関心領域を含む領域に対して、第１の分類項目による分類結果と、第２の分類項目による分類結果の計２つの分類結果を得る。

次に、データ融合手段１５３は、土地被覆分類結果Ｒ１に基づいて、地物の境界を特定する。データ融合手段１５３は、例えば、土地被覆分類結果Ｒ１に基づいて、土地被覆分類結果Ｒ２における地物の分布範囲を補正してもよい。

図６は、地物の境界を特定した結果の一例を示す説明図である。図６には、地物の境界を特定した結果、図６に示される領域が、植生域である領域１と、水域である領域２という２種類の領域に分けられることが示されている。

次に、データ融合手段１５３は、土地被覆分類結果Ｒ２に基づいて、特定した境界によって区切られる各領域、すなわち第１の分類項目上の各地物の分布領域内を再分類して、土地被覆分類結果Ｒ３を生成する。データ融合手段１５３は、例えば、第１の分類項目上の各地物の分布領域ごとに、当該領域に割り当てられた地物の情報すなわち第１の分類項目による分類結果と、当該領域内の各画素に対する土地被覆分類結果Ｒ２とに基づいて、当該領域内に含まれる各画素の分類結果を補正すればよい。

図７は、地物の分布領域内を再分類した結果の一例を示す説明図である。図７には、植生域とされた領域１と、水域とされた領域２とについて、各領域内の各画素が、第２の分類項目と同じ第３の分類項目によって分類された例が示されている。データ融合手段１５３は、例えば、図７に示されるように、各領域内の各画素に対して、当該画素の土地被覆分類結果Ｒ２による分類結果である第２の分類項目が、当該領域に割り当てられた属性である第１の分類項目と従属関係にあれば、その第２の分類項目をそのまま用い、従属関係になければ、同じ領域内で当該領域の属性と従属関係にある分類結果を有する最も近い画素の該分類結果である第２の分類項目を用いて、再分類を行ってもよい。

図７に示す例では、「植生域」属性を有する領域１が３つの領域に細分化され、「樹木Ａ」や「樹木Ｂ」や「樹木Ｃ」といった樹種が特定されている。

なお、図７において破線で囲まれた領域は、当該画素の第２の分類項目が、当該画素が属する領域に割り当てられた属性である第１の分類項目と従属関係にないために、同じ領域内で当該領域の属性と従属関係にある分類結果を有する最も近い画素の該分類結果である第２の分類項目を用いた個所を示している。

最後に、データ融合手段１５３は、このようにして得た分類結果を、土地被覆分類結果Ｒ３として出力する。

また、図８〜図１１は、データ融合手段１５３によるデータ融合処理の他の例を示す説明図である。例えば、図８に示されるような、土地被覆分類結果Ｒ１および土地被覆分類結果Ｒ２がデータ融合手段１５３に入力されたとする。なお、図８（ａ）は、関心領域に対する土地被覆分類結果Ｒ１の例を一部抜粋して示す説明図であり、図８（ｂ）は、図８（ａ）と同じ領域に対する土地被覆分類結果Ｒ２の例を示す説明図である。

このような場合に、データ融合手段１５３は、入力された土地被覆分類結果Ｒ１と土地被覆分類結果Ｒ２とを重ね合わせた上で、土地被覆分類結果Ｒ１に基づき、地物の境界を特定する。図９は、地物の境界を特定した結果の一例を示す説明図である。図９には、地物の境界を特定した結果、図９に示される領域が、植生域である領域１と、水域である領域２という２種類の領域に分けられることが示されている。

次いで、データ融合手段１５３は、土地被覆分類結果Ｒ２に基づいて、特定した境界によって区切られる各領域、すなわち第１の分類項目上の各地物の分布領域内を再分類して、土地被覆分類結果Ｒ３を生成する。本例では、データ融合手段１５３は、各領域内の各画素に対して、当該画素が属する領域の属性である第１の分類項目による分類結果と、当該画素の第２の分類項目による分類結果と、図１０に示す分類項目対応表とに基づいて、第３の分類項目による分類結果を割り当てる。

図１０は、分類項目対応表の例を示す説明図である。分類項目対応表は、例えば、画素が属する領域の属性とされる第１の分類項目と、当該画素の土地被覆分類結果Ｒ２による分類結果である第２の分類項目とに対応づけて、当該画素に割り当てる第３の分類項目を保持する情報テーブルである。データ融合手段１５３は、例えば、図１０に示される分類項目対応表を参照して、各画素に対する最終的な分類結果として第３の分類項目を割り当ててもよい。

なお、図１０の「最終的な分類結果（第３の分類項目）」に示される登録値の１つである「第２の分類項目」は、第２の分類項目をそのまま利用することを表している。このような分類項目対応表を利用することにより、第１の分類項目と第２の分類項目の組み合わせに応じて、第３の分類項目を自由に設定できる。例えば、図１０には、ある画素について、第１の分類項目による分類結果が「植生域」であり、第２の分類項目による分類結果が「水域」等樹木以外の分類結果であった場合には、領域の属性を維持するために、当該画素の最終的な分類結果を「植生域（樹種不明）」とする分類項目対応表の登録例が示されている。

図１１は、分類項目対応表に基づいて、各地物が分布する領域内を再分類した結果の一例を示す説明図である。

以上のように、本実施形態によれば、地物の境界に対する識別能力の高い土地被覆分類結果Ｒ１に基づいて地物の境界を識別し、その後、詳細な分類が可能な土地被覆分類結果Ｒ２に基づいて詳細な分類を行っているので、簡単に、詳細かつ分類精度の高い土地被覆分類を得ることができる。特に、ＨＳデータによる土地被覆分類ではあいまいになりがちな地物の境界を、明確に分類できる。なぜなら、偏波の反射強度や位相から物体の形状を高性能に特定できるという電波センサの特性上の利点と、分光スペクトルの情報から対象領域の色味上の特徴を高性能に特定できるという光学センサの特性上の利点とをうまく組み合わせているからである。

なお、上記説明では、地物に対して高い識別能力を得るために、光学センサを備えた撮像装置としてハイパースペクトルカメラ１２を備える例を示したが、地物の分布範囲が細かく分かれている等、分類したい地域の特性によっては、ＨＳデータの波長分解能を多少犠牲にしても空間分解能を高めた方が好ましい場合も考えられる。光学センサの特性上、１画素内に複数の地物が含まれる場合には分類が困難になるからである。そのような場合、例えば、ハイパースペクトルカメラに代えて、マルチスペクトルカメラや、赤・青・緑に対応する可視域３バンドの光を受光する可視カメラや、近赤外域１バンドの光を受講する近赤外カメラを備えていてもよい。なお、これらを組み合わせたカメラシステムを備えていてもよい。一般に、波長分解能と空間分解能とはトレードオフの関係にあるため、波長分解能を下げれば、空間分解能を上げることができる。

また、図１に示す例では、ＳＡＲ画像に基づいて土地被覆分類を行うＳＡＲデータ処理装置と、ＨＳ画像に基づいて土地被覆分類を行うＨＳデータ処理装置と、データ融合を行うデータ融合装置とを分けて示しているが、これらを１つの装置により実現することも可能である。

次に、本発明の概要を説明する。図１２は、本発明の概要を示すブロック図である。図１２に示すように、本発明によるデータ融合装置は、第１の土地被覆分類結果入力手段５０１と、第２の土地被覆分類結果入力手段５０２と、データ融合手段５０３とを備えている。

第１の土地被覆分類結果入力手段５０１（例えば、第１の土地被覆分類結果入力手段１５１）は、合成開口レーダにより得られるＳＡＲ画像であって、合成開口レーダの分解能セルの各々に対して反射強度および位相を示す情報であるＳＡＲデータを保持するＳＡＲ画像に基づいて土地被覆分類を行った結果である第１の土地被覆分類結果を入力する。

第２の土地被覆分類結果入力手段５０２（例えば、第２の土地被覆分類結果入力手段１５２）は、少なくとも４以上のバンドに光を分光して受光可能な光学センサを備えた撮像装置により得られるスペクトル画像であって、撮像装置の分解能セルの各々に対してバンドごとのスペクトルの情報であるスペクトルデータを保持するスペクトル画像に基づいて土地被覆分類を行った結果である第２の土地被覆分類結果を入力する。

データ融合手段５０３（例えば、データ融合手段１５３）は、第１の土地被覆分類結果と、第２の土地被覆分類結果とに基づいて、最終的な分類結果である第３の土地被覆分類結果を生成する。より具体的には、データ融合手段５０３は、第１の土地被覆分類結果に基づいて、地物の境界を特定し、特定した地物の境界によって区切られる各領域内を、第２の土地被覆分類結果に基づいて再分類して、第３の土地被覆分類結果を生成する。

このような特徴的要素を備えているので、詳細かつ分類精度の高い土地被覆分類結果を得ることができる。

また、データ融合手段５０３は、特定した地物の境界によって区切られる各領域に割り当てられた地物の情報と、前記各領域内の各画素に対する前記第２の土地被覆分類結果とに基づいて、前記各領域内を、当該領域に割り当てられた地物と同等の内容または該地物よりも詳細な内容を表す分類項目に再分類してもよい。

ここで、領域に割り当てられた地物と同等の内容を表す分類項目として、第１の分類項目を用いてもよい。また、領域に割り当てられた地物よりも詳細な内容を表す分類項目として、第２の分類項目を用いてもよい。

また、第２の土地被覆分類結果入力手段５０２は、少なくとも３０以上のバンドに光を分光して受光可能な光学センサを備えた撮像装置により得られるスペクトル画像であるハイパースペクトル画像に基づいて土地被覆分類を行った結果である第２の土地被覆分類結果を入力してもよい。ハイパースペクトル画像を用いれば、樹種や農作物の種類や生育状況といったような詳細な分類項目による分類を高精度に行うことができるからである。

また、本発明において、合成開口レーダの分解能は、撮像装置の分解能よりも高い方が好ましい。

また、データ融合装置は、第１の土地被覆分類結果に用いられる分類項目である第１の分類項目と、第２の土地被覆分類結果に用いられる分類項目である第２の分類項目との組み合わせに対応づけて、第３の土地被覆分類結果に用いられる分類項目である第３の分類項目を保持する分類項目対応表を記憶する分類項目対応表記憶手段（図示省略）を備えていてもよい。そのような場合に、データ融合手段５０３は、特定した地物の境界によって区切られる各領域内の各画素について、当該画素に対する第１の土地被覆分類結果と、当該画素に対する第２の土地被覆分類結果とに基づいて、分類項目対応表を参照して、当該画素に対する最終的な分類結果を得てもよい。

なお、分類項目対応表において、第１の分類項目と第２の分類項目との組み合わせに対応づける第３の分類項目は、少なくとも第１の分類項目が示す地物と同等の内容または該地物よりも詳細な内容を表す分類項目とする。

以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

本発明は、地物の境界部分など形状に対する識別能力の高いセンサと、樹種や農作物の種別や生育状況など色味に対する識別能力の高いセンサとを利用して、対象とする領域を識別する用途に好適に適用可能である。

１１ 合成開口レーダ
１２ ハイパースペクトルカメラ
１３ ＳＡＲデータ処理装置
１４ ＨＳデータ処理装置
１５ データ融合装置
１５１、５０１ 第１の土地被覆分類結果入力手段
１５２、５０２ 第２の土地被覆分類結果入力手段
１５３、５０３ データ融合手段
１５４ 土地被覆分類結果出力手段

Claims (10)

1. 合成開口レーダにより得られるＳＡＲ画像であって、前記合成開口レーダの分解能セルの各々に対して反射強度および位相を示す情報であるＳＡＲデータを保持するＳＡＲ画像に基づいて土地被覆分類を行った結果である第１の土地被覆分類結果を入力する第１の土地被覆分類結果入力手段と、
   少なくとも４以上のバンドに光を分光して受光可能な光学センサを備えた撮像装置により得られるスペクトル画像であって、前記撮像装置の分解能セルの各々に対して前記バンドごとのスペクトルの情報であるスペクトルデータを保持するスペクトル画像に基づいて土地被覆分類を行った結果である第２の土地被覆分類結果を入力する第２の土地被覆分類結果入力手段と、
   前記第１の土地被覆分類結果と、前記第２の土地被覆分類結果とに基づいて、最終的な分類結果である第３の土地被覆分類結果を生成するデータ融合手段とを備え、
   前記データ融合手段は、前記第１の土地被覆分類結果に基づいて、地物の境界を特定し、特定した地物の境界によって区切られる各領域内を、前記第２の土地被覆分類結果に基づいて再分類して、前記第３の土地被覆分類結果を生成する
   ことを特徴とするデータ融合装置。
2. 前記データ融合手段は、特定した地物の境界によって区切られる各領域に割り当てられた地物の情報と、前記各領域内の各画素に対する前記第２の土地被覆分類結果とに基づいて、前記各領域内を、当該領域に割り当てられた地物と同等の内容または該地物よりも詳細な内容を表す分類項目に再分類する
   請求項１に記載のデータ融合装置。
3. 前記第２の土地被覆分類結果入力手段は、少なくとも３０以上のバンドに光を分光して受光可能な光学センサを備えた撮像装置により得られるスペクトル画像であるハイパースペクトル画像に基づいて土地被覆分類を行った結果である第２の土地被覆分類結果を入力する
   請求項１または請求項２に記載のデータ融合装置。
4. 前記合成開口レーダの分解能は、前記撮像装置の分解能よりも高い
   請求項１から請求項３のうちのいずれか１項に記載のデータ融合装置。
5. 前記第１の土地被覆分類結果に用いられる分類項目である第１の分類項目と、前記第２の土地被覆分類結果に用いられる分類項目である第２の分類項目との組み合わせに対応づけて、前記第３の土地被覆分類結果に用いられる分類項目である第３の分類項目を保持する分類項目対応表を記憶する分類項目対応表記憶手段を備え、
   前記データ融合手段は、特定した地物の境界によって区切られる各領域内の各画素について、当該画素に対する第１の土地被覆分類結果と、当該画素に対する第２の土地被覆分類結果とに基づいて、前記分類項目対応表を参照して、当該画素に対する最終的な分類結果を得る
   請求項１から請求項４のうちのいずれか１項に記載のデータ融合装置。
6. 合成開口レーダにより得られるＳＡＲ画像であって、前記合成開口レーダの分解能セルの各々に対して反射強度および位相を示す情報であるＳＡＲデータを保持するＳＡＲ画像に基づいて土地被覆分類を行うＳＡＲデータ処理装置と、
   少なくとも４以上のバンドに光を分光して受光可能な光学センサを備えた撮像装置により得られるスペクトル画像であって、前記撮像装置の分解能セルの各々に対して前記バンドごとのスペクトルの情報であるスペクトルデータを保持するスペクトル画像に基づいて土地被覆分類を行うスペクトルデータ処理装置と、
   前記ＳＡＲデータ処理装置による土地被覆分類結果である第１の土地被覆分類結果と、前記スペクトルデータ処理装置による土地被覆分類結果である第２の土地被覆分類結果とに基づいて、最終的な分類結果である第３の土地被覆分類結果を生成するデータ融合装置とを備え、
   前記データ融合装置は、前記第１の土地被覆分類結果に基づいて、地物の境界を特定し、特定した地物の境界によって区切られる各領域内を、前記第２の土地被覆分類結果に基づいて再分類して、前記第３の土地被覆分類結果を生成する
   ことを特徴とする土地被覆分類システム。
7. 合成開口レーダにより得られるＳＡＲ画像であって、前記合成開口レーダの分解能セルの各々に対して反射強度および位相を示す情報であるＳＡＲデータを保持するＳＡＲ画像に基づいて土地被覆分類を行った結果である第１の土地被覆分類結果に基づいて、地物の境界を特定し、
   特定した地物の境界によって区切られる各領域内を、少なくとも４以上のバンドに光を分光して受光可能な光学センサを備えた撮像装置により得られるスペクトル画像であって、前記撮像装置の分解能セルの各々に対して前記バンドごとのスペクトルの情報であるスペクトルデータを保持するスペクトル画像に基づいて土地被覆分類を行った結果である第２の土地被覆分類結果に基づいて再分類して、最終的な分類結果である第３の土地被覆分類結果を生成する
   ことを特徴とする土地被覆分類結果融合方法。
8. 合成開口レーダにより得られるＳＡＲ画像であって、前記合成開口レーダの分解能セルの各々に対して反射強度および位相を示す情報であるＳＡＲデータを保持するＳＡＲ画像に基づいて土地被覆分類を行い、
   少なくとも４以上のバンドに光を分光して受光可能な光学センサを備えた撮像装置により得られるスペクトル画像であって、前記撮像装置の分解能セルの各々に対して前記バンドごとのスペクトルの情報であるスペクトルデータを保持するスペクトル画像に基づいて土地被覆分類を行い、
   前記ＳＡＲ画像に基づく土地被覆分類の結果である第１の土地被覆分類結果に基づいて、地物の境界を特定し、
   特定した地物の境界によって区切られる各領域内を、前記スペクトル画像に基づく土地被覆分類の結果である第２の土地被覆分類結果に基づいて再分類して、最終的な分類結果である第３の土地被覆分類結果を生成する
   ことを特徴とする土地被覆分類方法。
9. コンピュータに、
   合成開口レーダにより得られるＳＡＲ画像であって、前記合成開口レーダの分解能セルの各々に対して反射強度および位相を示す情報であるＳＡＲデータを保持するＳＡＲ画像に基づいて土地被覆分類を行った結果である第１の土地被覆分類結果に基づいて、地物の境界を特定する処理、および
   特定した地物の境界によって区切られる各領域内を、少なくとも４以上のバンドに光を分光して受光可能な光学センサを備えた撮像装置により得られるスペクトル画像であって、前記撮像装置の分解能セルの各々に対して前記バンドごとのスペクトルの情報であるスペクトルデータを保持するスペクトル画像に基づいて土地被覆分類を行った結果である第２の土地被覆分類結果に基づいて再分類して、最終的な分類結果である第３の土地被覆分類結果を生成する処理
   を実行させるための土地被覆分類結果融合用プログラム。
10. コンピュータに、
    合成開口レーダにより得られるＳＡＲ画像であって、前記合成開口レーダの分解能セルの各々に対して反射強度および位相を示す情報であるＳＡＲデータを保持するＳＡＲ画像に基づいて、土地被覆分類を行う第１の土地被覆分類処理、
    少なくとも４以上のバンドに光を分光して受光可能な光学センサを備えた撮像装置により得られるスペクトル画像であって、前記撮像装置の分解能セルの各々に対して前記バンドごとのスペクトルの情報であるスペクトルデータを保持するスペクトル画像に基づいて、土地被覆分類を行う第２の土地被覆分類処理、および
    前記第１の土地被覆分類処理の結果である第１の土地被覆分類結果と、前記第２の土地被覆分類処理の結果である第２の土地被覆分類結果とに基づいて、最終的な分類結果である第３の土地被覆分類結果を生成するデータ融合処理を実行させ、
    前記データ融合処理で、前記第１の土地被覆分類結果に基づいて、地物の境界を特定させ、特定された地物の境界によって区切られる各領域内を、前記第２の土地被覆分類結果に基づいて再分類させて、前記第３の土地被覆分類結果を生成させる
    ための土地被覆分類用プログラム。

Images