JP5458380B2 - 画像処理装置及び方法 - Google Patents

Description

本発明は、地球観測衛星から得られる画像を処理して高精度のカラー画像を得る画像処理装置及び方法に関する。

２００６年１月に打ち上げられた陸域観測技術衛星ＡＬＯＳ（Advanced Land Observing Satellite：エイロス）には、地表解像度１０ｍの高性能可視近赤外放射計２型「ＡＶＮＩＲ-２」（Advanced Visible and Near Infrared Radiometer type 2：アブニール-２）に加え、地表解像度２．５ｍで前方視、直下視、後方視の三方向の視野を有するパンクロマチック立体視センサＰＲＩＳＭ（Panchromatic Remote-Sensing Instrument for Stereo Mapping）が搭載されている（非特許文献１）。ＡＬＯＳに搭載されているＡＶＮＩＲ−２及びＰＲＩＳＭからの計測データは地上受信設備に伝送されて、各種の利用に供されている。

図８は、ＡＬＯＳからのデータの処理についての従来の流れ図である。ＡＬＯＳに搭載されているＡＶＮＩＲ−２は、地上１０ｍ解像度の光三原色及び近赤外光の合計四つのバンドで地表を観測する。ＡＬＯＳに搭載されているＰＲＩＳＭは、地上解像度２．５ｍで直下、前方、後方の三方向の視野について観測する。

これらのデータは地上受信施設に送られ（ＳＴＥＰ１０−１）、画像化され、宇宙航空研究開発機構ＪＡＸＡやデータ配布組織（例えば財団法人リモート・センシング技術センターＲＥＳＴＥＣ（Remote Sensing Technology Center of Japan））においてデータ形式の変更処理がなされ（ＳＴＥＰ１０−２）、一般に利用可能なデータとして配布される。すなわち、ＡＶＮＩＲ−２からのＲＧＢカラー画像Ｄ５１、ＰＲＩＳＭからの直下視、後方視、前方視の各画像Ｄ５２、Ｄ５３、Ｄ５４に区分けされる。

ユーザ側で行われる処理としては、ＡＶＮＩＲ-２カラー画像Ｄ５１とＰＲＩＳＭ直下視画像Ｄ５３との位置合わせ処理及び数値標高データを用いた簡易オルソ処理（ＳＴＥＰ１０−３）と、パンシャープン処理（ＳＴＥＰ１０−４）と、立体視画像として利用するための直下視との位置合わせ処理（ＳＴＥＰ１０−５）と、がある。

ＳＴＥＰ１０−３のうち、位置合わせ処理とは、地球観測衛星に搭載された光学センサの取付位置が異なることから生ずる取得画像の位置ずれを観測諸元に基づいて、画像Ｄ５１と画像Ｄ５２の共通範囲で座標が一致するように画像の位置を合わせる処理であり、簡易オルソ処理とは、国土地理院５０ｍメッシュデータなどの数値標高データＤ５５を用いて衛星のデータに含まれる誤差を補正する幾何学的処理である。補正対象は、ＡＶＮＩＲ−２とＰＲＩＳＭ直下視の各画像Ｄ５１、Ｄ５２である。この幾何補正処理により、補正済みのＲＧＢカラー画像Ｄ５６とＰＲＩＳＭ直下視のパンクロマチック画像Ｄ５７とが得られる。

パンシャープン処理（ＳＴＥＰ１０−４）とは、低解像度のカラー画像とモノクロで高解像度のパンクロマチック画像との二種類の画像を合成することにより、高解像度でかつカラーの画像を擬似的に得る画像処理であり、「フュージョン処理」とも呼ばれている。ここでは、ＰＲＩＳＭ直下視のパンクロマチック画像Ｄ５７を輝度情報とし、補正済みのＲＧＢカラー画像Ｄ５６を色情報として、これらに基づいてＨＳＩ方式（色空間を、色相（hue）、彩度（saturation）、明度（intensity）で表現する方式）やＹＵＶ方式（色空間を、輝度信号（Ｙ）、輝度信号と青色成分の差分信号（Ｕ）、輝度信号と赤色成分の差分信号（Ｖ）で表現する方式）でＰＲＩＳＭ解像度の高精細カラー画像Ｄ６０に変換される。

直下視との位置合わせ処理（ＳＴＥＰ１０−５）とは、ＰＲＩＳＭ画像の三方向視野画像を高精度の立体視画像として利用可能にする処理であり、ステレオペア同士の位置を合わせる。多くの場合、直下視画像Ｄ５２を基にして後方視や前方視の位置を合わせ、位置合わせ済みの後方視画像Ｄ５８、前方視画像Ｄ５９を得る。

このようにユーザ側での処理によって得られる画像の利用形態について説明する。パンシャープン処理により得られるカラー画像Ｄ６０は、高精細であるため、土木、環境その他の分野において利用されている。モノクロの各三方向視野のＰＲＩＳＭ画像Ｄ５７、Ｄ５８、Ｄ５９は、それぞれ単独の画像として地表観察に利用される。通常、パンシャープン画像の方がモノクロ画像より、また立体視画像の方が二次元画像より、それぞれ情報量が多いといわれている。そこで、直下視の画像Ｄ５７を右目用とし後方視の画像Ｄ５８を左目用に割り当てたモノクロアナグリフ方式立体視画像が地表観察用途に利用されている。これにより、三方向視野画像Ｄ５７、Ｄ５８、Ｄ５９を適時組み合わせて航空写真的な使い方で地表観察する用途、三方向視野画像Ｄ５７、Ｄ５８、Ｄ５９を基に数値標高データの作成用途に供されている。

ところで、特許文献１には、周回する人工衛星等から地表面の起伏状況などの立体情報を一次元撮像装置により得ることができる立体画像撮影装置について開示されている。

特許文献２には、人工衛星の撮像装置に関して、前方及び後方撮像センサを目標地点にポインティングさせたときに生じるこれら前方及び後方撮像センサの視野の傾きを補正することが開示されている。

特許文献３には、一回の撮像で立体視に必要な画像を取得可能で、かつ、撮影方向を増やし、その際に基線／高度比を変更する場合でも、装置や所要日数を増やさずに立体視に必要な画像を取得可能な方法について開示されている。

特開平８−２３４３３６号公報 特開平９−２６９５４９号公報 特開平１０−２５７５２８号公報

度曾英教、外３名、「陸域観測技術衛星（ＡＬＯＳ）搭載パンクロマチック立体視センサ（ＰＲＩＳＭ）」、電子情報通信学会技術報告、IEICE Technical Report SANE2005-17（2005-6）、電子情報通信学会

前述したように、補正済みＲＧＢカラー画像Ｄ５６と直下視の画像Ｄ５７とはパンシャープン処理がなされて高精細な直下視のパンシャーブン画像が得られる。しかしながら、補正済みＲＧＢカラー画像Ｄ５６と後方視の画像Ｄ５８又は前方視の画像Ｄ５９とをパンシャープン処理した場合、後方視の画像Ｄ５８、前方視の画像Ｄ５９と補正済みＲＧＢカラー画像Ｄ５６との形状の差異が大きいため、前方視及び後方視の高精細なカラー画像を得ることができなかった。

そこで、本発明においては、前方視及び後方視の高精度なカラー画像を作成することができる画像処理装置及び方法を提供することを目的とする。

本発明者らは、鋭意研究した結果、直下視のパンシャープン画像作成技術に着目し、直下視に加えて前方視と後方視の各パンシャープン画像を作成し、立体視カラー画像のペアを作成することを検討して本発明を完成するに至った。即ち、ＰＲＩＳＭの直下視の画像には標高による歪みを含んでいるため、数値標高データを基にして標高による画像歪みを補正することで精度を高めた。また、ＰＲＩＳＭの前方視及び後方視の画像では、視差角により変形しているので、ＰＲＩＳＭの前方視及び後方視の各画像とＡＶＮＩＲ−２のカラー画像とを単純に組み合わせると、著しい色ずれが生じ立体視認識に混乱を生じる。そこで、数値標高データを利用して、ＡＶＮＩＲ−２の画像を、ＰＲＩＳＭの前方視、ＰＲＩＳＭの後方視のそれぞれに合わせて投影変換することで、色ずれを極力軽減し、かつ、位置精度も向上させることが可能となったわけである。

上記目的を達成するために、本発明の画像処理装置は、地球観測衛星にて観測して得られたカラー画像と地球観測衛星にて前方視又は後方視で観測して得られたパンクロマチック画像とを処理する画像処理装置であって、カラー画像をパンクロマチック画像と重ね合わせ可能に幾何変換して疑似カラー画像を作成する疑似ポインティング処理部と、この疑似ポインティング処理部で作成した疑似カラー画像とパンクロマチック画像とを組み合わせてパンクロマチック画像と同じ解像度のカラー画像を生成するパンシャープン処理部と、を備えることを特徴とする。

上記目的を達成するために、本発明の画像処理方法は、地球観測衛星が観測して得られたカラー画像と地球観測衛星が前方視又は後方視で観測して得られたパンクロマチック画像とからカラー画像の解像度を高める画像処理方法であって、数値標高データを用いてカラー画像をパンクロマチック画像と重ね合わせ可能に幾何変換する第１ステップと、第１ステップで得られた疑似カラー画像とパンクロマチック画像とを組み合わせてカラー画像を生成する第２ステップと、を含むことを特徴とする。

本発明によれば、地球観測衛星が前方視又は後方視で観測して得られたパンクロマチック画像とカラー画像とを単純に合わせることなく、数値標高データを用いてカラー画像を幾何変換して疑似カラー画像を作成するため、前方視、後方視による視野角の大きなずれをなくし、かつ色ずれの低減、位置精度の向上を図り、高精細なカラー画像を作成することができる。

本発明の実施形態の前提として地球観測衛星のセンサの配置及び観測状況を模式的に示す図である。 図１に示す地球観測衛星で取得される画像と本発明の実施形態に係る画像処理方法の流れを模式的に示す図である。 本発明の実施形態に係る画像処理装置のブロック構成図である。 ＡＮＶＩＲ-２によるカラー画像に対して疑似ポインティング処理部でなされる処理の概略を説明するための図である。 ＡＶＮＩＲ-２で取得したカラー画像から後方視疑似ポインティング画像を生成する処理を説明するための図である。 本発明の実施形態に係る画像処理方法におけるデータ処理の流れの一部を示す図である。 図６に続く流れを示す図である。 ＡＬＯＳからのデータの処理についての従来の流れ図である。

以下、図面を参照して本発明の実施形態を詳細に説明する。以下の説明においては、複数の視野を有する地球観測衛星としてＡＬＯＳを例に挙げて説明するが、それ以外の例えばＡＳＴＥＲ（Advanced Space borne Thermal Emission and Reflection Radiometer）衛星などの地球観測衛星の地上受信設備で受信して一般に配布される場合であっても適用することができる。

本発明の実施形態に係る画像処理装置は、地球観測衛星から取得した画像（以下、単に「取得画像」という）からカラー立体視画像を生成するものである。

〔地球観測衛星のセンサの配置及び観測状況について〕
そこで、先ず、本発明の実施形態を説明する前提として、地球観測衛星のセンサの配置及び観測状況と地球観測衛星から取得される画像とについて説明する。

図１は本発明の実施形態の前提として地球観測衛星のセンサの配置及び観測状況を模式的に示す図である。図１に示すように、地球観測衛星１には、高解像度の前方視、直下視、後方視の三方向の視野を有するパンクロマチック立体視センサ（以下、単に「ＰＲＩＳＭ」と略記する。）と低解像度の可視近赤外放射計２型（以下、単に「ＡＶＮＩＲ−２」と略記する。）の二つの光学センサが搭載されている。ＰＲＩＳＭは前方視、直下視、後方視の３つのセンサ２Ｆ，２Ｎ，２Ｂを含み、地上解像度２．５ｍの波長０．５２〜０．７７μｍのパンクロマチックセンサである。ＡＶＮＩＲ−２は地上解像度１０ｍのＲＧＢ赤外の４バンドの光学センサである。ＰＲＩＳＭの直下視センサ２ＮとＡＶＮＩＲ−２とは高々度の軌道上を移動するプラットフォームからラインセンサで衛星直下の地表を撮像するので、取得される画像の形状は概ね正射投影となる。ＰＲＩＳＭの前方視及び後方視センサ２Ｆ，２Ｂは直下視センサ２Ｎと同様の性能を有するが、ＡＶＮＩＲ−２及び直下視センサ２Ｎに対して＋２３．８°の前方視のポインティング角、−２３．８°の後方視のポインティング角を有している。

〔地球観測衛星１のＰＲＩＳＭ及びＡＶＮＩＲ−２で取得される画像について〕
次に、地球観測衛星１のＰＲＩＳＭ及びＡＶＮＩＲ−２で取得される画像について説明する。図２には地球観測衛星１で取得される画像のみならず本発明の実施形態に係る画像処理装置１０でなされる画像の処理の流れについても模式的に示している。図２には前方視センサ２Ｆで取得される画像及びその処理については図示を省略している。これは後方視センサ２Ｂのポインティング角が前方視センサ２Ｆのポインティング角と絶対値が同じで符号のみが異なるだけであるため、後方視センサ２Ｂで取得される画像の場合に準じることができるからである。

ＡＶＮＩＲ−２から得られるカラー画像Ｉ１は、ＲＧＢのカラー表示のＡＶＮＩＲ−２のＲＧＢの各波長で観測した画像であり、地上分解能がＰＲＩＳＭよりも低いため、解像度が粗い。そのため、図２に符号Ｉ１で示すように、等高線模様で、太めの中間長で模式的に示している。

ＰＲＩＳＭの直下視センサ２Ｎで得られる画像Ｉ３は、グレースケールで表現されたパンクロマチック画像であり、地上分解能がＡＶＮＩＲ−２よりも高い。そのため、図２に符号Ｉ３で示すように、等高線模様で、シャープな線で模式的に示している。

ＰＲＩＳＭの後方視センサ２Ｂで得られる画像Ｉ２は、グレースケールで表現されたパンクロマチック画像であるが、後方視のポインティング角で定まる斜め観測となるため、対象の標高より歪んだ形状の画像となる。もっとも、地上分解能は直下視センサ２Ｎの場合と同じであるので、図２に符号Ｉ２で示すように、等高線模様で、シャープな線で模式的に示している。

〔画像処理装置１０について〕
図３は本発明の実施形態に係る画像処理装置１０のブロック構成図である。画像処理装置１０は、データ格納手段としてデータ格納部１１と数値標高データ部１２と生成データ格納部１３とを備え、データ処理手段として位置合わせ及び簡易オルソ処理部１４と疑似ポインティング処理部１５と位置合わせ処理部１６とパンシャープン処理部１７と画像調整部１８とを備えている。以下、各部について詳細に説明する。

データ格納部１１には、低解像度のＲＧＢカラー画像データと高解像度の三方向の視野のモノクロ画像データとが格納されている。これらのデータは、前述したように地球観測衛星１に搭載されているＰＲＩＳＭ及びＡＶＮＩＲ−２、即ち、高解像度の前方視、直下視、後方視の三方向の視野を有するパンクロマチック立体視センサであるＰＲＩＳＭと低解像度の可視近赤外放射計であるＡＶＮＩＲ−２とが観測して地上受信設備に送られ、所定の形式に変換されたものである。

数値標高データ部１２には、データ格納部１１に格納されている各種の画像に対応した地点における標高データが格納されている。

位置合わせ及び簡易オルソ処理部１４は、地球観測衛星１に搭載されたＰＲＩＳＭ及びＡＶＮＩＲ-２の取付位置が異なることから生じる取得画像の位置ずれと、その取得画像に含まれている歪みや誤差を補正する手段であり、低解像度のＡＶＮＩＲ-２カラー画像Ｄ１と高解像度のＰＲＩＳＭ直下視の画像Ｄ２の共通範囲で座標が一致するように位置を合わせる処理を行い、両画像に数値標高データを用いて簡易オルソ補正して補正済みカラー画像Ｄ１１と補正済み直下視画像Ｄ１０を得る。

位置合わせ処理部１６は、高解像度のＰＲＩＳＭの前方視及び後方視の画像Ｄ３、Ｄ４を直下視の画像を基準に位置合わせ処理する手段であり、それぞれ、前方視、後方視の画像Ｄ５、Ｄ６に変換する。

疑似ポインティング処理部１５は、地球観測衛星の観測諸元からＰＲＩＳＭの後方視と前方視のポインティング角度と位置情報などを取り込み、これらと数値標高データとを用いて補正済みカラー画像Ｄ１１をＰＲＩＳＭの後方視又は前方視の画像Ｄ６、Ｄ５と重ねることが可能な処理を行い、ＡＶＮＩＲ−２の疑似後方視カラー画像Ｄ８及び疑似前方視カラー画像Ｄ９を生成する。詳細については後述する。

パンシャープン処理部１７は、低解像度のカラー画像と高解像度のパンクロマチック画像とを合成して、高解像度でかつカラーの画像を擬似的に得る手段である。本実施形態では、第１に、ＰＲＩＳＭの補正済み直下視のパンクロマチック画像Ｄ１０を輝度情報とし、補正済みのＲＧＢカラー画像Ｄ１１を色情報として、これらに基づいてＨＳＩ方式やＹＵＶ方式で直下視パンシャープン画像Ｄ１２に変換される。これだけでなく、第２に、位置合わせ処理部１６から得られた後方視画像Ｄ６を輝度情報とし、疑似ポインティング処理部１５で得られた疑似後方視カラー画像Ｄ８を色情報として、パンシャープン処理部１７により後方視のパンシャープン画像Ｄ１３に変換する。また、第３に、位置合わせ処理部１６で得られた前方視画像Ｄ５を輝度情報とし、疑似ポインティング処理部１５で得られた疑似前方視カラー画像Ｄ９を色情報として、パンシャープン処理部１７により前方視のパンシャープン画像Ｄ１４に変換する。

生成データ格納部１３は、パンシャープン処理部１７により得られた前方視、直下視及び後方視の各パンシャープン画像Ｄ１２、Ｄ１３、Ｄ１４を格納する手段である。

画像調整部１８は、地球観測衛星の観測諸元に基づいて観測者の視野の左右に対応するように生成データ格納部１３に格納されている各画像Ｄ１２、Ｄ１３、Ｄ１４の配置を調整する手段である。調整の方法としては例えば回転処理などが挙げられる。

図３に示す画像処理装置１０は前述のような構成を有している。このような構成の画像処理装置１０は、上述のデータ処理手段をプログラム化し、上述のデータ格納手段をＲＯＭ、ＲＡＭ、ＤＶＤ等の各種記録媒体で構成しておき、プログラムをコンピュータ上で展開してもよい。

〔疑似ポインティング処理部の詳細について〕
疑似ポインティング処理部１５についてさらに詳しく説明する。疑似ポインティング処理部１５は、位置合わせと簡易オルソ処理部１４による補正済みカラー画像Ｄ１１をＰＲＩＳＭの後方視又は前方視の画像Ｄ６、Ｄ５と重ねることが可能な処理を行い、ＡＶＮＩＲ−２の疑似後方視カラー画像Ｄ８及び疑似前方視カラー画像Ｄ９を生成する。

図４は、ＡＶＮＩＲ−２によるカラー画像に対して疑似ポインティング処理部１５でなされる処理の概略を説明するための図である。地球観測衛星１は矢印Ａで示す衛星進行方向に飛行しており、時間ｔ１、ｔ２、ｔ３での地球観測衛星１の位置を符号１Ａ、１Ｂ、１Ｃで示している。地球観測衛星１は前述したようにＡＶＮＩＲ−２とＰＲＩＳＭとを搭載している。ＡＶＮＩＲ−２はＰＲＩＳＭの直下視センサ２Ｎと同じく直下を観測してカラー画像を生成するが、地上分解能についてはＰＲＩＳＭと比較して１／４程度である。地球観測衛星１はＰＲＩＳＭにより、前方視センサ２Ｆ，直下視センサ２Ｎ、後方視センサ２Ｂでその方向の画像を取得する。

図４に示すように、地球観測衛星１は符号１Ａ、１Ｂ、１Ｃで示す位置にある日時で、地球観測衛星１とＰＲＩＳＭ及びＡＶＮＩＲ−２が地表Ｅｓの観測点Ｐ０をポインティング、即ち同一の観測点Ｐ０に位置決めして観測する。以下、地表Ｅｓの特定の位置である観測点に焦点を当てすることを単に「ポイントする」又は「ポインティングする」と表現するものとすると、軌道上を飛行する地球観測衛星１は、日時ｔ１で前方視センサ２Ｆが観測点Ｐ０をポイントして観測し、日時ｔ２では直下視センサ２Ｎが観測点Ｐ０をポイントして観測し、日時ｔ３では後方視センサ２Ｂがポイントして観測する。ちなみに、観測日時については地球観測衛星１の仕様と観測諸元とから求めることができる。

上述のように、前方視センサ２Ｆ、直下視センサ２Ｎ、後方視センサ２Ｂが地表Ｅｓの観測点Ｐ０をポインティングして地表を観測し、ＪＡＸＡから供給されるデータは、観測点Ｐ０の基準面上の投影位置として表現される。図４において、地表Ｅｓの下側に図示されている基準面Ｓは、取得データが投影される仮想の基準面である。例えば図４において、点Ｐｆ、Ｐｎ、Ｐｂは、観測点Ｐ０に対応する基準面Ｓ上の投影位置であり、ＪＡＸＡから供給される観測データは基準面Ｓに投影されていることを前提とする。点Ｐ０と点Ｐｎの距離は基準面Ｓからの高さであるので、点Ｐｆと点Ｐｂの位置は点Ｐ０の高さとポインティング角から求めることができる。

ここで、取得された三方向の視野画像から立体視画像を作成することを考える。図４に示すように、観測時間差ｔ２−ｔ１、ｔ３−ｔ２を考慮して、組み合わせる画像の基準面Ｓにおける座標を基にして生成する画像の立体視基準を設定する必要がある。そのためには、先ず、組み合わせる画像の位置合わせが必要となる。

ＡＶＮＩＲ−２によるカラー画像は直下視の画像と相似な投影形状となるため、このカラー画像はＰＲＩＳＭの直下視センサ２Ｎによるパンクロマチック画像との間でパンシャープン処理が可能である。一方、ＰＲＩＳＭの前方視センサ２Ｆ及び後方視センサ２Ｂは観測地点Ｐ０での基準面Ｓからの高さで基準点Ｓへの投影位置が異なるため、ＰＲＩＳＭの前方視センサ２Ｆ及び後方視センサ２Ｂで取得される画像は、地表Ｅｓの高さで変形したパンクロマチック画像となり、ＡＶＮＩＲ−２によるカラー画像と相似形とはならない。その結果、ＰＲＩＳＭの前方視センサ２Ｆ、後方視センサ２Ｂの何れかで取得される画像とＡＶＮＩＲ−２で取得されるカラー画像とについてパンシャープン処理を行うと、色ずれが発生し、立体視観測のためのカラー立体視画像対として使用することはできない。このような状態を模式的に示したのが図２において符号Ｉ４の画像である。

そこで、ＡＶＮＩＲ−２で取得したカラー画像を前方視センサ２Ｆ、後方視センサ２Ｂの何れかのパンクロマチック画像と相似な投影形状に変換することで、ＡＶＮＩＲ−２で取得したカラー画像を前方視センサ２Ｆ、後方視センサ２Ｂの何れかのセンサで取得したパンクロマチック画像と組み合わせて色ずれが生じないようにすることができる。

このような処理を疑似ポインティング処理部１５で行う。疑似ポインティング処理の基本的な考えについて説明すると、ＡＶＮＩＲ−２によるカラー画像の基準面座標Ｐｎの基準面からの高さ（「基準面高」とも呼ぶ。）を数値標高データから取得して点Ｐ０を求め、前方視センサ２Ｆ又は後方視センサ２Ｂのポインティング角から点Ｐｆ又は点Ｐｂの座標を求める。ここで、点Ｐｆとは観測点Ｐ０を前方視センサ２Ｆの方向に延長して基準面Ｓと交わる点であり、点Ｐｂとは観測点Ｐ０を後方視センサ２Ｂの方向に延長して基準面Ｓと交わる点である。

ＡＶＮＩＲ−２で取得したカラー画像から後方視疑似ポインティング画像を生成する処理について具体的に説明する。図５は、ＡＶＮＩＲ−２で取得したカラー画像から後方視疑似ポインティング画像を生成する処理を説明するための図である。図５では、地表Ｅｓには山の地形があり、その上方に地球観測衛星１が矢印Ａの方向に飛行しているとするが、実際には地表Ｅｓには自然物のみならず建物などの人工物による凹凸が生じている。

図５には例として山の断面が示してあり、横方向に延びる線のうち、基準面ＳはＡＶＮＩＲ−２による画像、ＰＲＩＳＭによる画像が投影される基準面である。基準面Ｓに投影される画像を等高線模様で模式的に示している。いま、矢印Ａの方向に地球観測衛星１が飛行して、観測点Ｐ１、Ｐ２、Ｐ３、・・・、ＰｎをＰＲＩＭＳがポインティングするとする。図５に示す例では、直下視センサ２Ｎ、後方視センサ２Ｂのみのポインティングを示しており、Ｎｉは直下視センサ２Ｎでの視野方向、Ｂｉは後方視センサ２Ｂでの視野方向を示しており、サフィックスの文字ｉは１〜ｎまでの自然数であり、このサフィックスの番号は、その順番に処理がなされることも示している。

図５に示すように、直下視センサ２Ｎ、後方視センサ２ＢがそれぞれＮｉ，Ｂｉの方向で観測点Ｐｉをポインティングして観測する。すると、ＰＲＩＳＭのうち直下視センサ２Ｎは基準面Ｓのポイント位置ｎｉに投影された画像を生成し、ＰＲＩＳＭのうち後方視センサ２Ｂは基準面Ｓのポイント位置ｂｉに投影された画像を生成する。

ＡＶＮＩＲ−２は直下視のみのセンサであるので、方向Ｎ１〜Ｎ８に向けて観測がなされ、点線で示すように、基準面Ｓにおいて位置ｎ１〜ｎ８に投影された画像が得られる。ＰＲＩＳＭの直下視センサ２Ｎにより、方向Ｎ１〜Ｎ８に向けて観測され、基準面Ｓにおいて位置ｎ１〜ｎ８に投影された画像が得られる。しかしながら、ＰＲＩＳＭの後方視センサ２Ｂにより、方向Ｂ１〜Ｂ８に向けて観測され、基準面Ｓにおいて位置ｂ１〜ｂ８に投影された画像が得られる。

疑似ポインティング処理部１５では、各方向Ｎｉに向けて観測された画像を疑似ポインティング処理する。即ち、ＡＶＮＩＲ−２による画像の全領域を走査してＲ，Ｇ，Ｂのバンド毎に各方向Ｎｉに向けて観測された画像を疑似ポインティング処理し、後方視又は前方視に相似なＡＶＮＩＲ−２のカラー画像を生成する。図５ではＡＶＮＩＲ−２による画像を構成する画素のうち行方向に並んだものを右から左に対して処理する場合を想定して示している。

疑似ポインティング処理の具体的な手法について説明すると、画像処理対象領域の数値標高データを基準面Ｓからの高さ（基準高）データに変換して、ＡＶＮＩＲ−２の地上解像度で準備しておく。以下の一連の処理について処理変数ｉを１から順に１ずつ増加して行う。先ず、ＡＶＮＩＲ−２画像中の画像位置ｎ２の基準面座標を求め、予め準備された高さデータを参照してその基準面座標に対応する基準高を求める。次に、後方視ポインティング角からＢｉ視線が点Ｐｉを通って基準面Ｓと交わる座標ｂｉを求める。そして、ＡＶＮＩＲ−２画像における座標ｎｉの画素を、新たに生成する後方視疑似ポインティング画像の座標ｎｉに対応するよう、複写する。

この一連の処理を行う過程で、直下視と後方視との座標が所定の範囲内になく乖離している場合には、座標ｂｉの間隔を狭めて補間処理をすればよい。このようにして、ＡＶＮＩＲ−２で取得したカラー画像から後方視疑似ポインティング画像、前方視疑似ポインティング画像を生成することができる。図２において符号Ｉ５が指すものが後方視疑似ポインティング画像を模式的に示した画像である。

以上のように、疑似ポインティング処理部１５による疑似ポインティング処理により、後方視疑似ポインティング画像、前方視疑似ポインティング画像を生成することができるので、パンシャープン処理部１７は、後方視疑似ポインティング画像（図２に符号Ｉ５で示す画像）とＰＲＩＳＭの後方視センサ２Ｂによる画像（図２に符号Ｉ２で示す画像）とをパンシャープン処理して後方視のカラー画像（図２に符号Ｉ６で示す画像）を生成し、前方視疑似ポインティング画像とＰＲＩＳＭの前方視センサ２Ｆによる画像とをパンシャープン処理して前方視のカラー画像を生成する。

なお、図２において符号Ｉ７が指す画像は、パンシャーブン処理部１７がＡＶＮＩＲ−２による直下視のカラー画像とＰＲＩＳＭの直下視センサ２Ｎによるパンクロマチック画像とをパンシャーブン処理して得られる直下視のカラー画像を示している。即ち、ＰＲＩＳＭの直下視センサ２Ｎ，後方視センサ２Ｂで得られる画像は、図２に示すようにモノクロ立体視画像対を構成することができる。具体的にはＰＲＩＳＭの直下視センサ２Ｎで得られる直下視画像を右目用とし、ＰＲＩＭＳ２の後方視センサ２Ｂで得られる後方視画像を左目用として、モノクロ立体視画像対としてアナグリフ方式や実体視鏡により立体視を得ることができる。

符号Ｉ２と符号Ｉ３で示す画像はモノクロ立体視画像対を構成し、符号Ｉ６が示す後方視カラー画像を左目用とし、符号Ｉ７が示す直下視のカラー画像を右目用とすることで、カラー立体視画像対を構成する。これらの点については後述する。

〔画像処理方法について〕
次に、このような画像処理装置１０による画像処理方法について、特に立体視画像作成方法について詳細に説明する。図６は本発明の実施形態に係る画像作成方法におけるデータ処理の流れの一部を示す図であり、図７は図６に続く流れを示す図である。

本発明の実施形態に係る画像作成方法では、前述したようにＡＶＮＩＲ-２のカラー画像Ｄ１と、ＰＲＩＳＭの直下視、後方視、前方視の各画像Ｄ２、Ｄ３、Ｄ４が、地上設備等から配布され、データ格納部１１に格納されているとする。

直下視のパンシャープン画像Ｄ１２の作成方法について説明する。
先ず、位置合わせ処理及び簡易オルソ処理において、ＡＶＮＩＲ-２のカラー画像Ｄ１とＰＲＩＳＭ直下視画像Ｄ２とを数値標高データ部１２中の該当の数値標高データＤ１５を用いて位置合わせ及び簡易オルソ処理を行って補正済みのカラー画像Ｄ１１と補正済み直下視画像Ｄ１０とを生成する（ＳＴＥＰ１−３）。その後、パンシャープン処理部１７において、補正済みのカラー画像Ｄ１１と補正済みの直下視画像Ｄ１０とで高精度の直下視のパンシャープン画像Ｄ１２を生成する（ＳＴＥＰ１−２）。

後方視のパンシャープン画像Ｄ１３の作成方法について説明する。
先ず、疑似ポインティング処理部１５において、地球観測衛星の観測諸元からＰＲＩＳＩＭの後方視のポインティング角度と位置情報などを取り込み、数値標高データ部１２中の該当の数値標高データＤ１５を用いて、ＡＶＮＩＲ-２のカラー画像Ｄ１を、ＰＲＩＳＭの後方視画像と重ね合わせ可能に処理を行って、ＡＶＮＩＲ-２の疑似後方視カラー画像Ｄ８を生成する（ＳＴＥＰ１−１）。そして、パンシャープン処理部１７において、疑似後方視カラー画像Ｄ８とＰＲＩＳＭ後方視画像Ｄ６とで高精度の後方視パンシャープン画像Ｄ１３を生成する（ＳＴＥＰ１−２）。

前方視のパンシャープン画像Ｄ１４の作成方法について説明する。
先ず、疑似ポインティング処理部１５において、地球観測衛星の観測諸元からＰＲＩＳＭの前方視のポインティング角度と位置情報などを取り込み、数値標高データ部１２中の該当の数値標高データＤ１５を用いて、ＡＶＮＩＲ-２のカラー画像Ｄ１を、ＰＲＩＳＭの前方視画像と重ね合わせ可能に処理を行って、ＡＶＮＩＲ-２の疑似前方視カラー画像Ｄ９を生成する（ＳＴＥＰ１−１）。そして、パンシャープン処理部１７において、疑似前方視カラー画像Ｄ９とＰＲＩＳＭの前方視画像Ｄ５とで高精度の前方視パンシャープン画像Ｄ１４を生成する（ＳＴＥＰ１−２）。

パンシャープン処理部１７で生成した各高精度のパンシャープン画像は生成データ格納部１３に格納される。これらのパンシャープン画像はそれ自体で利用形態に応じて用いることもできるが、ここでは、立体視画像として利用する態様について以下それぞれ説明する。

その前提として、画像調整部１８において生成データ格納部１３中の各画像のうち、任意の二つの画像を観察者の左右に対応して配置されるよう、各画像を回転処理する（ＳＴＥＰ１−４）。これは、生成データ格納部１３に格納した画像は一般的な地図と同様に北を上とした画像となっているものの、地球観測衛星がＡＬＯＳである場合、ＰＲＩＳＭのマウント方法の制約があるため、３方向の視野の画像フレームは概ね衛星軌道方向に沿って前方視、直下視、後方視の順に並ぶ。そのため、立体視用画像を作成するためには地球観測衛星の観測諸元から北に対する軌道角を求め、軌道を観測者の視野の水平線に合わせ画像を左右に配置するための画像回転が必要となる。回転後の画像は視野の異なる二つの画像を適宜組み合わせて右目と左目用のステレオペア画像として立体視化して地表観察等に利用することができる。

このように作成されたカラー立体視画像の主な利用形態について説明する。

モノクロ立体視画像として利用する場合としては、直下視画像Ｄ１０と後方視画像Ｄ６をステレオペア画像として実体視することとモノクロのアナグリフ方式の立体視画像を作成して地表観測に用いることができる。ただし、色情報がないために地物の認識が困難な場合があるので利用に適さない場合が生じる。

これに対して本発明の実施形態ではパンシャープン画像を基に高精度なカラー立体視画像が作成できる。すなわち、直下視、後方視、前方視パンシャープン画像Ｄ１２、Ｄ１３、Ｄ１４を組み合わせてカラー立体視画像対として実体視により地表観測に用いることができるほか、カラーのアナグリフ方式の立体視画像を作成して地表観測に用いることができるようになる。これにより、航空機の空中写真を置き換えることも可能である。

さらに本発明の実施形態では、新たに発色が忠実なＡＶＮＩＲカラー立体視画像を得ることができる。すなわち、画像処理の過程で生成される補正済みカラー画像Ｄ１１と疑似後方視カラー画像Ｄ８又は疑似前方視カラー画像Ｄ９とを組み合わせてカラー立体視画像対、即ちステレオペア画像として実体視により地表観測に用いることができるほか、カラーのアナグリフ方式の立体視画像を作成して地表観測に用いることができるようになる。以上の画像は解像度が１０ｍでパンシャープン立体視画像の解像度には及ばないものの、小縮尺の図版には十分利用することができる。

本発明によれば、高精度なカラー立体視画像を作成することができるため、各種立体視表示装置の表示ソースとして利用することができ、新たな３次元コンテンツとしての用途に資することもできる。

１：地球観測衛星
２Ｆ：前方視センサ
２Ｎ：直下視センサ
２Ｂ：後方視センサ
１０：画像処理装置
１１：データ格納部
１２：数値標高データ部
１３：生成データ格納部
１４：位置合わせ及び簡易オルソ処理部
１５：疑似ポインティング処理部
１６：位置合わせ処理部
１７：パンシャープン処理部
１８：画像調整部

Claims (5)

1. 地球観測衛星が直下視で観測して得られたカラー画像と、該地球観測衛星が前方視又は後方視で観測して得られたパンクロマチック画像と、からカラー画像の解像度を高める画像処理方法であって、
   上記カラー画像が、地表の各観測点Ｐｉを基準面の各位置ｎｉに投影して得られた画像であり、
   上記パンクロマチック画像が、地表の各観測点Ｐｉを基準面の各位置ｂｉに投影して得られた画像であり、
   数値標高データを用いて上記カラー画像を上記パンクロマチック画像と重ね合わせ可能に幾何変換する第１ステップと、
   上記第１ステップで得られた疑似カラー画像と上記パンクロマチック画像とを組み合わせてカラー画像を生成する第２ステップと、
   を含み、
   上記第１ステップでは、
   予め、画像処理対象領域の数値標高データを基準面からの高さデータに変換しておき、
   先ず、上記カラー画像中の位置ｎｉの基準面座標を求めて上記高さデータを参照してその基準面座標に対応する基準高を求め、
   次に、上記前方視ポインティング角又は後方視ポインティング角から、前方又は後方視線が上記観測点Ｐｉを通って基準面と交わる座標ｂｉを求め、
   次に、上記カラー画像における位置ｎｉの画素を、新たに生成する前方視ポインティング画像又は後方視ポインティング画像の位置ｎｉに対応するように複写する、一連の処理について、処理変数ｉを増加して繰り返し行う、画像処理方法。
2. 前記第１ステップにおいて、前記カラー画像を、前記数値標高データと前方視又は後方視の観測諸元とに基づいて、パンクロマチック画像と重ね合わせ可能な形状に変換して、前方視又は後方視の疑似カラー画像を作成する、請求項１に記載の画像処理方法。
3. 前記第２ステップにおいて、前記第１ステップで作成した前方視又は後方視の疑似カラー画像を色情報とし、前記パンクロマチック画像を輝度情報として、パンクロマチック画像と同じ解像度を有する前方視又は後方視のカラー画像を生成する、請求項２に記載の画像処理方法。
4. 前記第２ステップで生成した前方視及び後方視の各カラー画像からカラー立体視画像対を生成するステップをさらに含む、請求項３に記載の画像処理方法。
5. 前記地球観測衛星が観測して得られたカラー画像と前記地球観測衛星が直下視で観測して得られたパンクロマチック画像について重ね合わせ可能となるよう画像間の位置合わせを行い、該カラー画像について前記数値標高データを用いて簡易オルソ処理を行って補正済みのカラー画像を得て、該パンクロマチック画像について前記数値標高データを用いて簡易オルソ処理を行って補正済みのカラー画像を得て、これら得られた画像のうちカラー画像を色情報とし、パンクロマチック画像を輝度情報としてパンクロマチック画像と同じ解像度を有する直下視のカラー画像を生成する第３ステップと、
   前記第２ステップで生成した前方視、後方視のカラー画像の何れかと上記第３ステップで生成した直下視のカラー画像とからカラー立体視画像対を生成する第４ステップと、をさらに含む、請求項３に記載の画像処理方法。