JP5246391B2 - 地物情報判読用画像生成方法およびプログラム - Google Patents

Description

本発明は、人工衛星等の飛翔体に搭載され、撮影対象地域の地表面を広範囲にわたり撮影して地表の状況を取得するレーダ装置により得られるレーダ画像データを利用して地物情報判読用画像を生成する地物情報判読用画像生成方法およびそのプログラムに関する。

従来、地表面に照射した電波（マイクロ波パルス）の反射波を測定する能動型センサとして合成開口レーダ（SAR：Synthetic Aperture Radar）がある。合成開口レーダは、マイクロ波の特性を利用して、昼夜、天候に関係なく、広域を面的に撮影することができる。また、最新の衛星搭載型合成開口レーダには、解像度が１ｍのものが出てきている。しかし、人工衛星や航空機などのプラットフォームから撮影したレーダ画像（以下、「ＳＡＲ画像」という）は、複雑な散乱メカニズムやノイズの影響等で地物の判読が難しいという問題があった。

一方で、光学画像は、可視域の波長を用いているために、人が肉眼で見るものと同じ情報が得られ、地物を判読しやすい長所を持っている。しかし、好天候時しか撮影できないという問題がある。

現在、上記ＳＡＲ画像と光学画像を組み合わせて、データフュージョンにより地物情報を的確に把握しようとする試みがなされている（例えば、非特許文献１を参照）。

「合成開口レーダによるリモートセンシングの商用化に関する調査研究（要旨）」，システム技術開発調査研究 １７−Ｒ−６，財団法人機械システム振興協会（委託先 財団法人資源探査用観測システム研究開発機構），平成１８年３月，ｐ．１１−１２

ところで、ＳＡＲ画像は、電磁波の反射強度画像（錯乱強度画像）であり、撮影対象物の誘電率に左右される。また、フォアショートニング、レイオーバーおよびレーダシャドウなどによる画像の歪みがあり、また撮影時期も異なるため、これまで光学衛星で撮影された画像（光学画像）と合成（パンシャープン化）されることは難しかった。

ＳＡＲ画像と光学画像の合成画像の実用が進まない具体的な理由として、次のようなことが考えられる。上記のとおり、ＳＡＲ画像は、撮影対象物の材料の特性（誘電率等）および撮影対象物の形状に影響されるため、一般に建物部分では反射強度が強いため輝度値が高く（明るく）、またオクル−ジョン（影）領域では輝度値が低い（暗い）という特徴がある。そのため都市部では建物に相当する画素の輝度値がしばしば飽和して、輝度値の高い領域（高輝度域）にヒストグラムのピークが生じてしまう。一方、森林部などでは影が生じやすく、輝度値の低い領域（低輝度域）にヒストグラムのピークが生じる。このときにそのままの輝度値（ヒストグラム特性）でＳＡＲ画像と光学画像のパンシャープン画像（合成画像）を作成すると、白画素または黒画素が支配的となり、合成画像において光学画像が見難くなってしまう。つまり合成前に光学画像が持っていた情報が合成画像からは判読しづらくなってしまう。

斯かる点に鑑み、この発明の目的は、ＳＡＲ画像等のレーダ画像と光学画像から、地物の判別が容易な合成画像を生成することにある。

上記課題を解決するため、本発明は、飛翔体に搭載したレーダ装置から得られるレーダ画像データと、レーダ装置により撮影された地域の光学画像データを合成して、地物情報判読用画像を生成する際、レーダ画像データを白黒パンクロマチック画像特性に近似する。そして、その白黒パンクロマチック画像特性に近似されたレーダ画像データと光学画像データの位置合わせを行い合成することを特徴とする。

上記構成によれば、レーダ画像データについて錯乱強度の反射特性を人的に馴染みのある白黒パンクロマチックの反射特性に近づけるための変換処理を行い、これと光学画像を重ね合わせるため、より光学衛星で撮影された画像に近い合成画像を得ることができる。

本発明によれば、ＳＡＲ画像等のレーダ画像と光学画像との合成画像が見やすく、地物の判別が容易になる。

以下、本発明の一実施の形態について、添付図面を参照しながら説明する。

以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。例えば、以下の説明で挙げる使用材料とその使用量、処理時間、処理順序および各パラメータの数値的条件等は好適例に過ぎず、説明に用いた各図における寸法、形状および配置関係も概略的なものである。

図１は、本発明の一実施の形態に係るシステムの概要を示すものである。本システムおいて、人工衛星にレーダ装置の一例として合成開口レーダ（ＳＡＲ）を搭載し、その合成開口レーダにより（データ解析センタ２からの指示に基づいて）地表面を撮影する例としてある。以下、人工衛星に搭載した合成開口レーダを「衛星ＳＡＲ」と称す。

図１において、衛星ＳＡＲ１は、所定の軌道を周回しながら定期的に、もしくはデータ解析センタ２からの指示に従って随時地表面３を撮影し、撮影データ（レーダ画像データ）をデータ解析センタ２へ送信する。

データ解析センタ２は、撮影計画を行い、その撮影計画に基づいた撮影指示の無線信号を衛星ＳＡＲ１に送信する。また、衛星ＳＡＲ１が撮影したレーダ画像データを、アンテナを介して受信する。これを後述する地物情報判読用画像生成装置１０で合成開口処理することにより再生画像を生成する。さらには、レーダ画像データと光学画像データとの合成処理を行う。このとき、地物情報判読用画像生成装置１０は、レーダ画像データに対して、その内容に応じたヒストグラム変換を行い白黒パンクロマチック画像特性に近似した後、レーダ画像データと光学画像データとを合成する。この白黒パンクロマチック画像特性に近似させる処理は、後述する。

ここで、ＳＡＲ画像と光学画像の違いについて説明する。

図２は、ある画像の輝度値のヒストグラムの例を示すものであり、（ａ）はＳＡＲ画像の場合、（ｂ）は光学画像の場合である。横軸は輝度値（８ｂｉｔ、すなわち０−２５５のレンジで表示）を示し、縦軸は各々の輝度値の画素数を示す。

図２（ａ）に示すように、一般にＳＡＲ画像のヒストグラム特性は、撮影対象物の材料および撮影対象物の形状などに影響され、影は黒く（低輝度域参照）、金属や建物のエッジ（縁）は強く反射し白っぽくなる（高輝度域参照）。これに対し、図２（ｂ）に示すように、光学画像のヒストグラム特性では、輝度値ごとの画素数はポアソン分布に従った形状となる。すなわち、光学画像では影の部分でも濃淡があり（低輝度域参照）、また光学画像では濃淡は材料によらないので金属や建物のエッジでも特に強く反射することもない。

ＳＡＲ画像と光学画像はヒストグラム特性上、上記のような違いがあるため、一般にＳＡＲ画像は黒画素と白画素が多い画像であるが、光学画像は撮影対象物の材料および撮影対象物の形状などに影響されることがないので、画像全体が濃淡を持ち、実際の撮影対象物の外観がほぼそのまま表現され判読し易い自然な画像になる。

上記のような黒画素と白画素が支配的なＳＡＲ画像と、光学画像とのパンシャープン画像（合成画像）を生成すると、合成画像で白画素または黒画素が支配的となり、合成画像において光学画像が見づらくなる。

従来、より自然な写真画像を作成するという観点からフィルタ処理が行われていたが、ＳＡＲ画像に対しては元々地物の判読が難しい画像から原画像の情報を平滑化、欠落させてしまうことになる。したがって、地物を判読しやすくする、見やすくするという観点では実用的ではない。これに対し、本発明では、光学画像とパンシャープン化し地物を判読しやすくする、見やすくするという観点からＳＡＲ画像に対してフィルタ処理すなわちヒストグラム変換処理を行う。

ヒストグラム変換とは、ある画像中における各濃淡レベルの頻度（画素数）を求め（ヒストグラム、または濃淡ヒストグラムという）、これに着目して、コントラスト変換を行う処理をいう。画像強調処理と呼ばれることもある。通常指定された分布を持つヒストグラム （目的ヒストグラムと呼ぶ）に合わせ込む処理を指す。代表的なヒストグラム変換として、ヒストグラム平滑化と正規分布化がある。

ヒストグラム平滑化（均一化）は、目的ヒストグラムの分布が平坦になるヒストグラム変換のことであり、言い換えると、ヒストグラムの累積度数（輝度値０から画素数を累積したもの）のグラフの傾きが一定になるように変換することである。このようにすることにより、コントラストが悪い、あるいは明るさが偏っている画像の全体的なバランスを改善することが可能になる。以下、ヒストグラム変換の一例として、ヒストグラム平滑化について図３を参照して説明する。

図３は、ある画像に対するヒストグラム平滑化の例を示し、（ａ）は変換前のヒストグラム特性、（ｂ）は変換後のヒストグラム特性である。図３（ａ）の例では、累積度数のグラフ４からわかるように輝度値１００以下にほぼ全ての画素が含まれているが、ヒストグラム平滑化を実施することにより、輝度値０から輝度値２５５までの画素数の累積度数のグラフ５の傾きが一定になっている。これにより、ヒストグラム平滑化前（図３（ａ））は、低輝度域の画素数が多い暗い画像だったのが、ヒストグラム平滑化後（図３（ｂ））では、全体に濃淡（輝度値）のバランスがとれた画像にすることができる。

また、正規分布化は、目的ヒストグラムの分布が正規分布（ガウス分布）になるヒストグラム変数のことであり、変換前画像の輝度値の平均値と標準偏差を用いて、正規分布となるように割り当てる処理を行う。ヒストグラムの正規分布化を実施すると、人の目には図２（ｂ）に示した光学画像（ポアソン分布）と同じようなヒストグラム特性に感じるので、判読し易い自然な画像に見える。

ヒストグラム変換には、この他に、線形変換や非線形変換などがある。線形変換は、ある画素の変換前の輝度値と変換後の輝度値の関係が、直線（線形）となる処理である。また非線形変換は、ある画素の変換前の輝度値と変換後の輝度値の関係式に、二次式や根号（非線形）を含む処理である。非線形変換の代表的なものに、テレビジョン受像機で再生する映像信号の補正処理に使用されるガンマ補正がある。上記正規分布化は非線形変換の一つである。

地物情報判読用画像生成装置１０は、ＳＡＲ画像に対して、その内容に応じて上述のヒストグラム変換を行い、ＳＡＲ画像のヒストグラム特性を白黒パンクロマチック画像特性すなわち光学画像のヒストグラム特性に近似させた後、ＳＡＲ画像と光学画像とを合成する。合成画像は、地物情報判読用画像として使用される。

上記地物情報判読用画像生成装置１０による一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。

図４は、上述した一連の処理をプログラムにより実行する地物情報判読用画像生成装置１０の構成例を示すブロック図である。この地物情報判読用画像生成装置１０は、例えば一連の処理を実行するために高性能化した専用コンピュータの他、一定の性能を備えるパーソナルコンピュータなどでもよい。

地物情報判読用画像生成装置１０のＣＰＵ（Central Processing Unit）１１は、ＲＯＭ（Read Only Memory）１２、または記録部１８に記録されているプログラムに従って、上記一連の処理の他、各種の処理を実行する。ＲＡＭ（Random Access Memory）１３には、ＣＰＵ１１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ１１、ＲＯＭ１２、およびＲＡＭ１３は、バス１４により相互に接続されている。

ＣＰＵ１１にはまた、バス１４を介して入出力インタフェース１５が接続されている。入出力インタフェース１５には、キーボード、マウス、マイクロホンなどよりなる入力部１６、ディスプレイ、スピーカなどよりなる出力部１７が接続されている。ＣＰＵ１１は、入力部１６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ１１は、処理の結果を出力部１７に出力する。

入出力インタフェース１５に接続されている記録部１８は、例えばハードディスクからなり、ＣＰＵ１１が実行するプログラムや各種のデータを記録する。

通信部１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。この通信部１９を介してプログラムを取得し、記録部１８に記録してもよい。

入出力インタフェース１５に接続されているドライブ２０は、磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ（Compact Disc - Read Only Memory），ＤＶＤ（Digital Versatile Disc），光磁気ディスクを含む）、あるいは半導体メモリなどのリムーバブルメディア３１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部１８に転送され、記録される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図４に示すように、磁気ディスク、光ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１、または、プログラムが一時的もしくは永続的に格納されるＲＯＭ１２や、記録部１８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

次に、地物情報判読用画像生成装置１０のＣＰＵ１１による地物情報判読用画像の生成処理例を、図５のフローチャートを参照して説明する。

まず、地物情報判読用画像生成装置１０は、衛星ＳＡＲ１により撮影された撮影データ（ＳＡＲ画像）を取得する。これは、衛星ＳＡＲ１から撮影データを含む無線信号を受信してもよいし、撮影データが記録されたリムーバブルメディア３１から取得するようにしてもよい（ステップＳ１）。さらに、撮影データの撮影対象地域を撮影した光学画像を入手して、記録部１８またはリムーバブルメディア３１に記録しておく。なお、光学画像の解像度を落として広範囲を撮影する場合など、ＳＡＲ画像と光学画像の撮影範囲が一致しない場合には、両画像が一致した範囲を合成することになる。

次に、撮影データすなわちＳＡＲ画像と光学画像を同じ地上基準点（GCP：Ground Control Point）にて幾何学情報（ジオメトリ）を補正し、位置合わせを行う（ステップＳ２）。

続いて、複数例えば２枚のＳＡＲ画像を用いたレーダグラメトリ処理もしくはインタフェロメトリ処理から求めた、あるいは国土地理院などから入手したＤＥＭ（Digital Elevation Model）等の地表面および構造物の高さ情報を基に、ＳＡＲ画像および光学画像の正射投影画像を作成する（ステップＳ３）。この処理はいわゆるオルソ補正（オルソレクティファイ）であり、生成された画像はオルソ画像とも呼ばれる。なお、ＳＡＲ画像からＤＥＭを作成することにより、ＳＡＲ画像の歪み補正を正確に行うことができる。

オルソ画像化する元のＳＡＲ画像は、光学の白黒パンクロマチック近似画像とするためフィルタリングを行う（ステップＳ４）。すなわち、ＳＡＲ画像のヒストグラム特性を白黒パンクロマチック画像のヒストグラム特性に近似させる処理を行う。ヒストグラム変換については、撮影対象に応じて種々あるヒストグラム変換方法の中から最適な手法を選定することが望ましい。このヒストグラム変換方法の選定は、コンピュータがＳＡＲ画像から撮影対象を自動で判断してその判断結果に基づいて選定してもよいし、予め撮影対象がわかっているのでオペレータがＳＡＲ画像と撮影対象を紐つけて記録部１８に記憶しておき、コンピュータがそれに基づいて選定するようにしてもよい。

例えば光学画像（目視による確認）やＳＡＲ画像のヒストグラム特性、衛星ＳＡＲの撮影条件から求めた撮影範囲から、撮影対象が都市部であると判断できる場合にはヒストグラムの高輝度域のみを、あるいは森林部であると判断できる場合にはヒストグラムの低輝度域のみを変換してもよい。更に、撮影対象領域に都市部と森林部が混在している場合には、光学画像やヒストグラム特性に基づいて撮影対象領域内を区分し、それぞれの領域に対して最適なヒストグラム変換処理を施してもよい。

このようにすることで、撮影対象に応じて最適なヒストグラム変換が行われ、ヒストグラム変換処理後のＳＡＲ画像を白黒パンクロマチック画像により近似させることができるので、合成画像がより判読し易い自然な画像になる。なお、ステップＳ４における「ＳＡＲ画像を光学の白黒パンクロマチック近似画像とするためフィルタリング」処理は、オルソ画像化した後に実施してもよい。

ステップＳ４の処理が完了後、ＳＡＲ画像と光学画像を合成する（ステップＳ５）。そして、生成した合成画像を記録部１８またはリムーバブルメディア３１に記録する。このとき光学画像はトゥルーカラーやフォールスカラーなどであってもよい。

上記の一連の処理を経て、合成画像として、ＳＡＲ画像のパンクロマチック近似画像（テクスチャ情報）にカラー（色情報）が乗った画像が得られる。

図６は、パンシャープン化の概念を説明する図である。白黒パンクロマチック画像特性に近似する処理（ヒストグラム変換処理）を施した高分解能モノクロレーダデータ（ＳＡＲ画像）と低分解能カラーデータ（ＲＧＢからなる光学画像）を、位置を合わせて合成することにより、分解能の高いカラーデータ（パンシャープン画像）が得られる。

この結果、低解像度光学画像では判読できなかった地物（例えば農地における樹木等）を、合成画像に含まれる高解像度ＳＡＲ画像成分により判読することができる。また、高解像度ＳＡＲ画像では地物との対応が付かなかった領域（例えば農地における樹木により生じたレーダシャドウ等）を、合成画像に含まれる低解像度光学画像成分を参照することにより判読することができる。更に、例えば都市部を撮影した高分解能モノクロレーダデータ（ＳＡＲ画像）では白画素または黒画素が支配的となり、パンシャープン化した際に低分解能カラーデータ（光学画像）が潰れて地物の判読が難しいという問題を、ヒストグラム変換処理により解決することができる。

以上説明したように、本実施形態によると、解像度の高いＳＡＲ画像で得られるテクスチャ情報（形の判別）と、解像度の劣る光学画像で得られる地物の色情報（状況、環境の判読）を併せた画像を作成することによって、地物を判読しやすい画像が得られる。

またＳＡＲ画像について錯乱強度の反射特性を人間の視覚的に馴染みのある白黒パンクロマチック画像の反射特性に近づけるための変換処理を行い、これと光学画像を重ね合わせるため、高解像度かつより光学衛星で撮影された画像に近い画像を得ることができる。

また運用形態として、高解像度のＳＡＲ画像と低解像度の光学画像を使用している。これはＳＡＲ画像は天候等に影響されず確実に撮影できることから、高解像度のテクスチャ画像の取得が容易であり、地物の形や種類等の判別ができる。一方、光学画像は天候に左右されるため、広い範囲を低解像度で撮影し、撮影範囲の状況を把握するための補足情報として彩色化して用いる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、プログラムは、一つのコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

本発明の一実施形態に係るシステムの概要を示す構成図である。 ＳＡＲ画像と光学画像のヒストグラムの例を示す説明図であり、（ａ）はＳＡＲ画像の場合、（ｂ）は光学画像の場合を示す。 ヒストグラム平滑化の例を示す説明図であり、（ａ）は変換前のヒストグラム特性、（ｂ）は変換後のヒストグラム特性である。 本発明の一実施形態に係るコンピュータの内部構成例を示すブロック図である。 本発明の一実施形態に係る地物情報判読用画像の生成処理例を示すフローチャートである。 パンシャープン化の概念を示す説明図である。

符号の説明

１…衛星ＳＡＲ、２…データ解析処理センタ、３…地表面（撮影対象）、４，５…累積画素数、１０…地物情報判読用画像生成装置、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…バス、１５…入出力インタフェース、１６…入力部、１７…出力部、１８…記録部、１９…通信部、２０…ドライブ、３１…リムーバブルメディア

Claims (7)

1. 飛翔体に搭載したレーダ装置から得られるレーダ画像データと、前記レーダ装置により撮影された地域の光学画像データを合成して、地物情報判読用画像を生成する地物情報判読用画像生成方法において、
   前記レーダ画像データのヒストグラム特性に応じてヒストグラム変換処理を行い、前記レーダ画像データを白黒パンクロマチック画像特性に近似するステップと、
   前記レーダ画像データと前記光学画像データの位置合わせを行うステップと、
   前記白黒パンクロマチック画像特性に近似されたレーダ画像データと、前記光学画像データを合成するステップと、
   を含む地物情報判読用画像生成方法。
2. 前記レーダ画像データのヒストグラム特性において高輝度域が支配的である場合、前記レーダ画像データの高輝度域を中心にヒストグラム変換処理を行う
   請求項１に記載の地物情報判読用画像生成方法。
3. 前記レーダ画像データのヒストグラム特性において低輝度域が支配的である場合、前記レーダ画像データの低輝度域を中心にヒストグラム変換処理を行う
   請求項１に記載の地物情報判読用画像生成方法。
4. 前記レーダ画像データに高輝度域が支配的な第１領域と低輝度域が支配的な第２領域が混在する場合、前記レーダ画像データ上の前記第１領域と前記第２領域を区分し、それぞれの領域に対して最適なヒストグラム変換処理を行う
   請求項１に記載の地物情報判読用画像生成方法。
5. 前記合成に用いるレーダ画像データおよび光学画像データは、正射投影画像である
   請求項１〜４のいずれかに記載の地物情報判読用画像生成方法。
6. 前記レーダ装置は合成開口レーダである
   請求項１〜５のいずれかに記載の地物情報判読用画像生成方法。
7. 飛翔体に搭載したレーダ装置から得られるレーダ画像データと、前記レーダ装置により撮影された地域の光学画像データを合成して、地物情報判読用画像を生成するプログラムであって、
   前記レーダ画像データのヒストグラム特性に応じてヒストグラム変換処理を行い、前記レーダ画像データを白黒パンクロマチック画像特性に近似する手順と、
   前記レーダ画像データと前記光学画像データの位置合わせを行う手順と、
   前記白黒パンクロマチック画像特性に近似されたレーダ画像データと、前記光学画像データを合成する手順と、
   をコンピュータに実行させるためのプログラム。

Images