JP6305328B2

JP6305328B2 - 画像合成装置

Info

Publication number: JP6305328B2
Application number: JP2014245958A
Authority: JP
Inventors: 百代長瀬; 秀明前原
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2014-12-04
Filing date: 2014-12-04
Publication date: 2018-04-04
Anticipated expiration: 2034-12-04
Also published as: JP2016110320A

Description

本発明は、パンクロマティック画像とマルチスペクトル画像とを重ね合わせてパンシャープン画像を生成する画像合成装置に関する。

一般的に衛星には、広帯域の光を観測し空間分解能の高いパンクロマティックセンサと狭帯域の光を観測し空間分解能の低いマルチスペクトラムセンサの両方が搭載されている。マルチスペクトラムセンサは波長帯域ごとに最低４つ（赤（Ｒ），緑（Ｇ），青（Ｂ），近赤外（ＮＩＲ））以上搭載されている。マルチスペクトラムセンサとパンクロマティックセンサにより取得される画像から高解像度のカラー画像を合成する処理をパンシャープンという。

パンクロマティックセンサおよび複数のマルチスペクトラムセンサにて取得される画像は視差を持つため、視差を検出・補正してから合成する必要がある。視差を補正しきれなかった場合、色ずれなどの問題が発生する。
従来の画像合成装置ではパララックスにより生じた画像のずれをセンサの搭載される飛翔体の飛行データおよび地形データに基づき補正していた（例えば、特許文献１参照）。また、撮像対象を撮像する画像センサに加え、レンジセンサも搭載し、レンジセンサでセンサと撮像対象との距離を取得することで、画像の視差を補正する方法も提案されている（例えば、特許文献２参照）。

特開２０１０−７９３２８号公報特開平０７−２９６１４３号公報

しかしながら、例えば特許文献１に記載されたような従来装置では、飛行地点の地形データといった画像以外のデータを予め取得しておく必要があった。また、特許文献２に記載されたような従来装置では、レンジセンサを飛翔体に搭載する必要があるなど構成が複雑でコスト高となる問題があった。また、これら従来装置の補正では、積極的に色ずれを検出する方法ではないため、何らかの誤差要因（例えば、地形データ、飛行データの誤差等）による色ずれの発生は避けることができないという問題があった。

この発明は上記のような課題を解決するためになされたもので、特別なセンサや画像以外のデータを必要とせず、高精度で色ずれの発生を防止することのできる画像合成装置を得ることを目的とする。

この発明に係る画像合成装置は、パンクロマティック画像と複数のバンド画像からなるマルチスペクトル画像とを重ね合わせてパンシャープン画像を生成する画像合成装置において、マルチスペクトル画像のそれぞれのバンド画像をずらして合成した複数のカラー画像の輝度画像を生成する輝度画像合成部と、複数の輝度画像とパンクロマティック画像との相関値を算出する類似度評価部と、相関値が設定値以上の輝度画像のそれぞれのバンド画像のずらし量を補正パラメータとして算出する補正パラメータ算出部と、補正パラメータでそれぞれのバンド画像の補正を行った補正マルチスペクトル画像を用いてパンシャープン画像を生成する画像合成部とを備えたものである。

この発明の画像合成装置は、マルチスペクトル画像のそれぞれのバンド画像をずらして合成した複数のカラー画像の輝度画像をパンクロマティック画像と比較してその相関値を求め、相関値が設定値以上の輝度画像の各バンド画像のずらし量を、各バンド画像の補正パラメータとしたので、特別なセンサや画像以外のデータを必要とせず、高精度で色ずれの発生を防止することができる。

この発明の実施の形態１による画像合成装置を示す構成図である。この発明の実施の形態１による画像合成装置の動作を示すフローチャートである。この発明の実施の形態１による画像合成装置の色ずれ検出部の動作を示すフローチャートである。この発明の実施の形態１による画像合成装置の色ずれ検出部の各処理を示す説明図である。

実施の形態１．
図１は、この発明の実施の形態１による画像合成装置を示す構成図である。
図１に示す画像合成装置は、二画像間位置合わせ部１と色ずれ検出部２と色ずれ補正部３と画像合成部４とを備える。なお、対象飛翔体の搭載するパンクロマティックセンサの波長域＝マルチスペクトラムセンサＲ（赤色）バンド波長域＋マルチスペクトラムセンサＧ（緑色）バンド波長域＋マルチスペクトラムセンサＢ（青色）バンド波長域＋マルチスペクトラムセンサＮＩＲ（近赤外線）バンド波長域という設計になっていると仮定する。

二画像間位置合わせ部１は、パンクロマティック画像とマルチスペクトラム画像の一つのバンド間の位置合わせを行う処理部である。具体的には、例えばパンクロマティック画像とマルチスペクトラム画像Ｒバンド、パンクロマティック画像とマルチスペクトラム画像Ｇバンド、パンクロマティック画像とマルチスペクトラム画像Ｂバンド、パンクロマティック画像とマルチスペクトラム画像ＮＩＲバンドの４回位置合わせを行う。この位置合わせには例えば、ウインドウベースのステレオマッチングの手法が用いられる。位置合わせ結果に基づき、マルチスペクトラム画像を変形する。ここで変形後のマルチスペクトラム画像はパンクロマティック画像と同解像度に拡大されたものとする。

色ずれ検出部２は、二画像間位置合わせ部１にて生成された幾何補正済みのマルチスペクトラム画像の色ずれを検出し、色ずれが最小になる時の補正パラメータを出力する処理部である。なお、内部構成の詳細については後述する。

色ずれ補正部３は、色ずれ検出部２にて計算された補正パラメータから画素移動マップを計算し、画素移動マップに基づき、マルチスペクトラム画像を変形することで色ずれを補正する処理部である。画像合成部４は、色ずれ補正部３において変形されたマルチスペクトラム画像とパンクロマティック画像から後述する式（１）を用いて、パンシャープン画像を合成する処理部である。

なお、これら二画像間位置合わせ部１、色ずれ検出部２及び画像合成部４には、それぞれ外部よりパンクロマティック画像信号とマルチスペクトラム画像信号とが与えられるようになっている。

色ずれ検出部２は、画像切り出し部２１と輝度画像合成部２２と類似度評価部２３と補正パラメータ算出部２４とを備える。画像切り出し部２１は、マルチスペクトル画像のそれぞれのバンド画像を、指定された位置、サイズの領域で微少量ずつずらして切り出す処理部である。輝度画像合成部２２は、画像切り出し部２１で切り出された各バンド画像を合成して複数パターンのカラー画像を生成し、これらカラー画像の輝度画像を生成する処理部である。類似度評価部２３は、輝度画像合成部２２で生成された複数の輝度画像とパンクロマティック画像の類似度を示す相関値を計算する処理部である。補正パラメータ算出部２４は、相関値が最も高い輝度画像を生成する各バンド画像のずらし量を補正パラメータとして算出する処理部である。

次に、実施の形態１の画像合成装置の動作について説明する。
図２は、画像合成装置全体の動作を示すフローチャートである。
二画像間位置合わせ部１は、マルチスペクトラム画像のバンドごとにパンクロマティック画像との対応点を探索する（ステップＳＴ１）。具体的には、マルチスペクトラム画像をパンクロマティック画像と同じ解像度になるよう拡大し、その後、マルチスペクトラム画像を小領域に分割する。マルチスペクトラム画像の該当着目領域が、パンクロマティック画像のどの位置と相関が高いかを探索する。対応点は小領域の数だけ得られる。次に、ステップＳＴ１で得られた対応点から最小２乗法により画像間のアフィン変換行列のパラメータを算出する（ステップＳＴ２）。次に、得られたパラメータのアフィン行列にてマルチスペクトラム画像を幾何変換する（ステップＳＴ３）。これにより、マルチスペクトラム画像とパンクロマティック画像は大よそ位置が合致するようになる。以上の線形変換により平坦な地形の場合は色ずれがおおよそ解消されていると考えられるが、特に高層ビルなどの建っている箇所では線形変換では補正が不十分で局所的に色ずれの発生している箇所が残っている。

そのため、実施の形態１では色ずれ検出部２によって、色ずれの検出および色ずれ補正パラメータを算出する（ステップＳＴ４）。具体的には、ステップＳＴ１〜ＳＴ３で幾何補正済みのマルチスペクトラム画像に対し、色ずれの検出を行い、バンドごとに、小領域ごとのずれの並進量を算出する。

次に、色ずれ補正部３は、ステップＳＴ４で得られた領域ごとの並進量を補正パラメータで補正して各画素の並進量を算出する（ステップＳＴ５）。これを画素移動マップと呼ぶ。補間には線形補間法などが使用できる。さらに、色ずれ補正部３は、この画素移動マップに基づき、ステップＳＴ１〜ＳＴ３で作成された幾何補正済みマルチスペクトラム画像に対し、補正を行う（ステップＳＴ６）。具体的には、マップに記された値だけピクセル位置をシフトする。このマップは色ずれ補正に用いたマルチスペクトラム画像のバンド数×２（ｘ方向、ｙ方向別のため）存在する。

次に、画像合成部４は、色ずれ補正部３により画素移動補正済みのマルチスペクトラム画像とパンクロマティック画像を以下の式（１）に基づき合成する（ステップＳＴ７）。ここでｏｕｔ（Ｒ，Ｇ，Ｂ）は出力パンシャープン画像の赤、緑、青バンドに入る値、Ｍｕ（Ｒ）、Ｍｕ（Ｇ），Ｍｕ（Ｂ）、Ｍｕ（ＮＩＲ）はステップＳＴ６にて色ずれ補正済みマルチスペクトラム画像の赤バンド、緑バンド、青バンド、近赤外バンドの画素値、Ｐａはパンクロマティック画像の画素値である。

また、上記（式１）の方式はＢｒｏｖｅｙ方式と呼ばれるものであるが、これ以外にもＨＳＩ（Ｈｕｅ（色相）、Ｓａｔｕｒａｔｉｏｎ（彩度）、Ｉｎｔｅｎｓｉｔｙ（輝度））方式と呼ばれる色合成方式を用いてもよい。このＨＳＩ方式では、まず、マルチスペクトラム画像のＲＧＢ（Ｍｕ（Ｒ，Ｇ，Ｂ））をＨＳＩ色空間に変換する（Ｍｕ（Ｈ，Ｓ，Ｉ））。その後、Ｍｕ（Ｈ，Ｓ，Ｉ）のＩをＰａの輝度に置き換え、再度ＨＳＩからＲＧＢ色空間に変換することで、高精細なカラー画像を合成することができる。

次に、色ずれ検出部２が行うステップＳＴ４の処理の詳細について説明する。図３は、色ずれ検出部２の動作を示すフローチャートであり、図４は各処理の概念を示す図である。
まず、画像切り出し部２１がパンクロマティック画像から小領域を切り出す（ステップＳＴ４０１）。これは機械的に全領域を８×８に分割するなどすればよい。ここでは、２５６×２５６の元画像を縦横８分割した領域を順に切り出すとする。仮に切り出した小領域の位置を（ｐｘ０，ｐｙ０）とおく。次に、ステップＳＴ４０１で切り出したパンクロマティック画像と同じ位置（ｐｘ０，ｐｙ０）から（Ｒｘ，Ｒｙ）だけずれた位置の画像を赤バンド画像から切り出す（ステップＳＴ４０２）。また、ステップＳＴ４０１で切り出したパンクロマティック画像と同じ位置（ｐｘ０，ｐｙ０）から（Ｇｘ，Ｇｙ）だけずれた位置の画像を緑バンド画像から切り出す（ステップＳＴ４０３）。さらに、ステップＳＴ４０１で切り出したパンクロマティック画像と同じ位置（ｐｘ０，ｐｙ０）から（Ｂｘ，Ｂｙ）だけずれた位置の画像を青バンド画像から切り出す（ステップＳＴ４０４）。

次に、輝度画像合成部２２は、ステップＳＴ４０２〜ＳＴ４０４で切り出した赤バンド画像、緑バンド画像、青バンド画像をカラー画像のＲ，Ｇ，Ｂに割り当てたカラー画像を合成し、このカラー画像から以下の式（２）にて輝度画像を作成する（ステップＳＴ４０５）。
輝度＝Ｒ＋Ｇ＋Ｂ（式２）

次に、類似度評価部２３は、ステップＳＴ４０５で生成した輝度画像とステップＳＴ４０１で切り出したパンクロマティック画像との相関値を計算する（ステップＳＴ４０６）。これは正規化相互相関法などにより計算可能である。また、類似度評価部２３は、ステップＳＴ４０６で計算した相関値とその時のＲｘ、Ｒｙ、Ｇｘ、Ｇｙ、Ｂｘ、Ｂｙを記憶しておく（ステップＳＴ４０７）。

以上、ステップＳＴ４０２からステップＳＴ４０７の処理を（ｓ＊２＋１）＾６回反復する（ｓは任意の自然数）。これにより、図４の例では、７２９パターンのカラー画像が生成される（ｓ＝１の例）。

この構成によれば、最大位置ずれ量ｓの範囲内のすべての位置ずれ量の組み合わせを網羅可能であり、理論上はｓピクセル以内の色ずれであればすべて０．５ピクセル（半ピクセル）以内の精度で補正可能となる。

次に、補正パラメータ算出部２４は、類似度評価部２３で記憶されている（ｓ＊２＋１）個の相関値から最も高いものを選択し、そのときのＲｘ，Ｒｙ，Ｇｘ，Ｇｙ，Ｂｘ，Ｂｙを補正パラメータとして記憶する（ステップＳＴ４０８）。図４に示す例では、相関値０．９５が最も高い値であるため、補正パラメータ（Ｒｘ，Ｒｙ，Ｇｘ，Ｇｙ，Ｂｘ，Ｂｙ）は（−１，−１，１，０，０，１）となる。

なお、上記の説明では、最大位置ずれ量ｓの範囲内のすべての位置ずれ組み合わせについて、色ずれを評価していたが、すべての組み合わせについて評価する必要はなく、滑降シンプレックス法や遺伝的アルゴリズムなどの多次元変数最適化手法によって位置ずれ量組み合わせの解を探索しても良い。この構成によれば、計算時間を短縮しつつ近似解に到達可能であり、局所的な色ずれ量が大きく、ｓを比較的大きい数に設定せざるを得ない場合に有用である。

また、上記の説明では、相関値の最も高い値を各バンド値の補正パラメータとしたが、特に相関値が最も高い値に限定されるものではなく、予め定めた設定値以上の相関値の各バンド値を補正パラメータとしてもよい。

さらに、上記の説明では、色ずれ補正部３においてＮＩＲバンドを使用せず、Ｒバンド、Ｇバンド、Ｂバンドのみを使用しているが、ＮＩＲも含めた４バンドで同様の処理を行うことも可能である。
この場合、ステップＳＴ４０５における輝度画像の合成式は以下の式（３）のようになる。
輝度＝Ｒ＋Ｇ＋Ｂ＋ＮＩＲ（式３）
このように構成すれば、色ずれ補正部３において算出される補正量よりもさらに高精度かつ安定的に補正量を求めることができる。これは、衛星がパンクロマティック画像輝度＝赤バンド輝度＋緑バンド輝度＋青バンド輝度＋ＮＩＲバンド輝度となるように本来設計されているからである。
ＮＩＲバンドも含めることで理論上はパンクロマティック画像＝位置合わせ済みマルチスペクトラム輝度画像という式が成立し、色ずれ０の時のパンクロマティック画像とマルチスペクトラム輝度画像との相関値が限りなく１に近づくためである。そのため、精度を追い求める場合には有用である。ただし、計算時間が３バンドの時と比較して（ｓ×２＋１）×（ｓ×２＋１）倍（ステップＳＴ４０２からステップＳＴ４０７の処理を（ｓ＊２＋１）＾８回反復すること）になるため、注意する必要がある。
なお、実施の形態１にてＲ、Ｇ、Ｂ、ＮＩＲの中からＲ、Ｇ、Ｂの３バンドを選んだのは、ＮＩＲバンドの位置ずれは直接的には色ずれに寄与しないからである（式１参照）。

以上の実施の形態１では４バンドのマルチスペクトラムセンサを４つ搭載している衛星についての例を示したが、マルチスペクトラムセンサを５つ以上搭載している衛星に対しても、同様に適用することができる。例えば、このような衛星としては、ＷｏｒｌｄＶｉｅｗ−２（ワールドビューツー）といったものがある。このＷｏｒｌｄＶｉｅｗ−２は８バンドのマルチスペクトラムセンサであるが、全てのバンドのデータを用いる方が良いかはセンサの受光波長の設計に依存する。すなわち、マルチスペクトラムセンサ合計受光バンド幅＝パンクロマティックセンサ受光バンド幅になるように、使用するマルチスペクトラムセンサを選定する必要がある。例えば、上記のＷｏｒｌｄＶｉｅｗ−２の場合だと、青、緑、黄、赤、レッドエッジ、近赤外１の６バンドを使用する。

以上説明したように、実施の形態１の画像合成装置によれば、パンクロマティック画像とマルチスペクトル画像とを重ね合わせてパンシャープン画像を生成する画像合成装置において、マルチスペクトル画像のそれぞれのバンド画像をずらして合成した複数のカラー画像の輝度画像を生成する輝度画像合成部と、複数の輝度画像とパンクロマティック画像との相関値を算出する類似度評価部と、相関値が設定値以上の輝度画像のそれぞれのバンド画像のずらし量を補正パラメータとして算出する補正パラメータ算出部と、補正パラメータでそれぞれのバンド画像の補正を行った補正マルチスペクトル画像を用いてパンシャープン画像を生成する画像合成部とを備えたので、特別なセンサや画像以外のデータを必要とせず、高精度で色ずれの発生を防止することができる。

また、実施の形態１の画像合成装置によれば、マルチスペクトル画像は、赤バンド画像と緑バンド画像と青バンド画像であるようにしたので、高速な処理を行うことができる。

また、実施の形態１の画像合成装置によれば、マルチスペクトル画像は、赤バンド画像と緑バンド画像と青バンド画像と近赤外バンド画像であるようにしたので、さらに高精度で色ずれの発生を防止することができる。

なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

１二画像間位置合わせ部、２色ずれ検出部、３色ずれ補正部、４画像合成部、２１画像切り出し部、２２輝度画像合成部、２３類似度評価部、２４補正パラメータ算出部。

Claims

パンクロマティック画像と複数のバンド画像からなるマルチスペクトル画像とを重ね合わせてパンシャープン画像を生成する画像合成装置において、
前記マルチスペクトル画像のそれぞれのバンド画像をずらして合成した複数のカラー画像の輝度画像を生成する輝度画像合成部と、
前記複数の輝度画像と前記パンクロマティック画像との相関値を算出する類似度評価部と、
前記相関値が設定値以上の輝度画像のそれぞれのバンド画像のずらし量を補正パラメータとして算出する補正パラメータ算出部と、
前記補正パラメータでそれぞれの前記バンド画像の補正を行った補正マルチスペクトル画像を用いて前記パンシャープン画像を生成する画像合成部とを備えた画像合成装置。
前記マルチスペクトル画像は、赤バンド画像と緑バンド画像と青バンド画像であることを特徴とする請求項１記載の画像合成装置。
前記マルチスペクトル画像は、赤バンド画像と緑バンド画像と青バンド画像と近赤外バンド画像であることを特徴とする請求項１記載の画像合成装置。