JP6733989B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

この発明は、マルチスペクトル画像とパンクロマチック画像を合成する画像処理装置及び画像処理方法に関するものである。

光学センサにより観測される画像には、色彩情報として、複数の波長帯の観測情報を有するマルチスペクトル画像（以下、「Ｍｕ画像」と称する）のほか、単一の波長帯の観測情報を有するパンクロマチック画像（以下、「Ｐａ画像」と称する）などがある。
Ｐａ画像は、単一の波長帯の観測情報のみを有し、色彩情報を有していないが、一般的にＭｕ画像よりも高い解像度を有している。

Ｍｕ画像とＰａ画像を合成することで、そのＰａ画像と同等の分解能を有するカラー画像として、パンシャープン画像を得ることができる。
パンシャープン画像を得る処理はパンシャープン処理と呼ばれ、パンシャープン処理として、例えば、ＩＨＳ（Ｉｎｔｅｎｓｉｔｙ−Ｈｕｅ−Ｓａｔｕｒａｔｉｏｎ）方式、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を用いる方式、Ｗｅｖｅｌｅｔ変換を用いる方式など、様々な方式が提案されている。

これらの方式の多くは、Ｐａ画像の分解能まで、Ｍｕ画像の分解能を高めるための画素の補間処理を実施する必要がある。
ただし、画素の補間処理として、例えば、バイリニア補間やＣＣ（Ｃｕｂｉｃ Ｃｏｎｖｏｌｕｔｉｏｎ）などの一般的な補間処理を実施した場合、補間によって発生するアーティファクトの影響を受けて、色縞が発生するなどの現象がみられる。
以下の非特許文献１には、フィルタを用いて、色縞によるパンシャープン画像の画質劣化を抑制する手法が開示されている。

ISPRS Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., Volume:XXXIX-B1, page 555-560, 2012.

従来の画像処理装置は以上のように構成されているので、フィルタを用いれば、色縞によるパンシャープン画像の画質劣化を抑制することができる。しかし、フィルタを用いることで、Ｍｕ画像の彩度が低下して、Ｍｕ画像の色調が劣化し、その結果、パンシャープン画像の画質が劣化してしまうという課題があった。

この発明は上記のような課題を解決するためになされたもので、Ｍｕ画像における彩度の低下を招くことなく、色縞によるパンシャープン画像の画質劣化を抑制することができる画像処理装置及び画像処理方法を得ることを目的とする。

この発明に係る画像処理装置は、単一の波長帯の観測情報を有するパンクロマチック画像の分解能まで、複数の波長帯の観測情報を有するマルチスペクトル画像の分解能を高めるとともに、マルチスペクトル画像の解像度を、変調伝達関数を用いて目標解像度に一致するように変換する第１の解像度変換部と、パンクロマチック画像の解像度を、変調伝達関数を用いて変換することで、パンクロマチック画像の解像度を第１の解像度変換部により変換されたマルチスペクトル画像の解像度に合わせる第２の解像度変換部と、第１の解像度変換部により解像度が変換されたマルチスペクトル画像と、第２の解像度変換部により解像度が変換されたパンクロマチック画像とを合成して、当該マルチスペクトル画像と当該パンクロマチック画像の合成画像を得る画像合成部を備え、第１の解像度変換部は、マルチスペクトル画像の目標解像度を設定する目標解像度設定部と、目標解像度設定部により設定された目標解像度から、マルチスペクトル画像の分解能及び解像度を変換するために実施する画素の補間処理で用いる補間パラメータを算出する補間パラメータ算出部と、補間パラメータ算出部により算出された補間パラメータを用いる画素の補間処理を実施して、マルチスペクトル画像の分解能及び解像度を変換する変換処理部を備えたものである。

この発明によれば、パンクロマチック画像の分解能まで、マルチスペクトル画像の分解能を高めるとともに、そのマルチスペクトル画像の解像度を変換する第１の解像度変換部と、パンクロマチック画像の解像度を変換することで、そのパンクロマチック画像の解像度を第１の解像度変換部により変換されたマルチスペクトル画像の解像度に合わせる第２の解像度変換部とを備え、第１の解像度変換部が、目標解像度を設定する目標解像度設定部と、マルチスペクトル画像の分解能及び解像度を変換するために実施する画素の補間処理で用いる補間パラメータを算出する補間パラメータ算出部と、補間パラメータ算出部により算出された補間パラメータを用いる画素の補間処理を実施して、マルチスペクトル画像の分解能及び解像度を変換する変換処理部とを備えるように構成したので、マルチスペクトル画像における彩度の低下を招くことなく、色縞による合成画像の画質劣化を抑制することができるほか、マルチスペクトル画像の分解能を高める処理と、マルチスペクトル画像の解像度を変換する処理とが同時に行われるため、計算負荷の軽減を図ることができる効果がある。

この発明の実施の形態１による画像処理装置を示す構成図である。 この発明の実施の形態１による画像処理装置のハードウェア構成図である。 画像処理装置がソフトウェアやファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。 画像処理装置がソフトウェアやファームウェアなどで実現される場合の処理手順である画像処理方法を示すフローチャートである。 この発明の実施の形態２による画像処理装置を示す構成図である。 この発明の実施の形態２による画像処理装置のハードウェア構成図である。 目標解像度設定部１１により設定されたＭＴＦを示す説明図である。 画素間距離に対応する画素の重みを示す重み関数の説明図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面にしたがって説明する。

実施の形態１．
図１はこの発明の実施の形態１による画像処理装置を示す構成図であり、図２はこの発明の実施の形態１による画像処理装置のハードウェア構成図である。
図１及び図２において、画像入力部１は例えば図２の画像入力回路２１で実現されるものであり、バンド数ｍ（ｍは正の整数）のＭｕセンサ及びＰａセンサとデータ通信を行う機能を有している。
画像入力部１はＭｕセンサから複数の波長帯の観測情報を有するＭｕ画像（マルチスぺクトル画像）を取得し、Ｐａセンサから単一の波長帯の観測情報を有するＰａ画像（パンクロマチック画像）を取得する。
なお、画像入力部１により取得されるＭｕ画像とＰａ画像は、同じ領域を観測している画像である。

解像度データベース２は例えば図２の記憶回路２２で実現されるものであり、Ｍｕ画像の目標解像度などを記憶している。
第１の解像度変換部３は分解能変換部４及び解像度変換処理部５を備えている。
分解能変換部４は例えば図２の分解能変換回路２３で実現されるものであり、画像入力部１により取得されたＰａ画像の分解能まで、画像入力部１により取得されたＭｕ画像の分解能を高め、分解能を高めたＭｕ画像’を出力する処理を実施する。
解像度変換処理部５は例えば図２の解像度変換処理回路２４で実現されるものであり、分解能変換部４により分解能が高められたＭｕ画像’の解像度が解像度データベース２に記憶されている目標解像度と一致するように、そのＭｕ画像’の解像度を変換し、解像度変換後のＭｕ画像”を出力する処理を実施する。

第２の解像度変換部６は例えば図２の解像度変換回路２５で実現されるものであり、画像入力部１により取得されたＰａ画像の解像度を変換することで、そのＰａ画像の解像度を解像度変換処理部５から出力された解像度変換後のＭｕ画像”の解像度に合わせる処理を実施する。
即ち、第２の解像度変換部６は画像入力部１により取得されたＰａ画像の解像度が、解像度変換後のＭｕ画像”の解像度と一致するように、そのＰａ画像の解像度を変換し、解像度変換後のＰａ画像’及び解像度変換後のＭｕ画像”を出力する処理を実施する。

画像合成部７は例えば図２の画像合成回路２６で実現されるものであり、第２の解像度変換部６から出力された解像度変換後のＭｕ画像”と解像度変換後のＰａ画像’とに対するパンシャープン処理を実施することで、そのＭｕ画像”とＰａ画像’を合成し、そのＭｕ画像”とＰａ画像’の合成画像であるパンシャープン画像ＰＳ（Ｂａｎｄ）を得る処理を実施する。
即ち、画像合成部７は第２の解像度変換部６から出力された解像度変換後のＭｕ画像”を解像度変換後のＰａ画像’で除算し、その除算した結果を画像入力部１により取得されたパンクロマチック画像Ｐａに乗算することで、そのＭｕ画像”とＰａ画像’の合成画像であるパンシャープン画像ＰＳ（Ｂａｎｄ）を得る処理を実施する。

画像出力部８は例えば図２の画像出力回路２７で実現されるものであり、画像合成部７により得られたパンシャープン画像ＰＳ（Ｂａｎｄ）を出力する処理を実施する。
パンシャープン画像ＰＳ（Ｂａｎｄ）は、画像出力部８からディスプレイに出力されるようにしてもよいし、外部に出力されるようにしてもよい。また、画像処理装置内に格納されるようにしてもよい。

図１では、画像処理装置の構成要素である画像入力部１、解像度データベース２、分解能変換部４、解像度変換処理部５、第２の解像度変換部６、画像合成部７及び画像出力部８のそれぞれが、図２に示すような専用のハードウェア、即ち、画像入力回路２１、記憶回路２２、分解能変換回路２３、解像度変換処理回路２４、解像度変換回路２５、画像合成回路２６及び画像出力回路２７で実現されるものを想定している。
ここで、記憶回路２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒy）などの不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などが該当する。
また、画像入力部１、分解能変換部４、解像度変換処理部５、第２の解像度変換部６、画像合成部７及び画像出力部８は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、これらを組み合わせたものが該当する。

また、画像処理装置の構成要素が専用のハードウェアで実現されるものに限るものではなく、画像処理装置がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
ソフトウェアやファームウェアはプログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などが該当する。

図３は画像処理装置がソフトウェアやファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。
画像処理装置がソフトウェアやファームウェアなどで実現される場合、解像度データベース２をコンピュータのメモリ３１上に構成するとともに、画像入力部１、分解能変換部４、解像度変換処理部５、第２の解像度変換部６、画像合成部７及び画像出力部８の処理手順をコンピュータに実行させるためのプログラムをメモリ３１に格納し、コンピュータのプロセッサ３２がメモリ３１に格納されているプログラムを実行するようにすればよい。

図４は画像処理装置がソフトウェアやファームウェアなどで実現される場合の処理手順である画像処理方法を示すフローチャートである。
また、図２では画像処理装置の構成要素のそれぞれが専用のハードウェアで実現される例を示し、図３では、画像処理装置がソフトウェアやファームウェアなどで実現される例を示しているが、画像処理装置における一部の構成要素が専用のハードウェアで実現され、残りの構成要素がソフトウェアやファームウェアなどで実現されるものであってもよい。

次に動作について説明する。
画像入力部１は、Ｍｕセンサから複数の波長帯の観測情報を有するＭｕ画像を取得するとともに、Ｐａセンサから単一の波長帯の観測情報を有するＰａ画像を取得する（図４のステップＳＴ１）。

第１の解像度変換部３の分解能変換部４は、Ｍｕ画像の画素数及びＰａ画像の画素数を特定し、そのＭｕ画像の画素数がＰａ画像の画素数と一致するように、そのＭｕ画像の分解能を高める画素の補間処理として、アップサンプリングを実施する（図４のステップＳＴ２）。
アップサンプリングを実施する際、エイリアシングの影響を受け難いように、高周波数の解像度が低い補間手法を用いることが望ましい。このため、例えば、連続的な曲線を描くスプライン（Ｓｐｌｉｎｅ）補間や、ラグランジュ補間などの補間手法を用いることができる。
ただし、画像入力部１により取得されたＭｕ画像が高周波数成分の信号を有していない場合、スプライン補間やラグランジュ補間とは異なる解像度の劣化が少ない補間手法を用いるようにしてもよい。

第１の解像度変換部３の解像度変換処理部５は、解像度データベース２に記憶されている目標解像度を取得する（図４のステップＳＴ３）。
解像度変換処理部５は、分解能変換部４がＭｕ画像の分解能を高めるアップサンプリングを実施すると、アップサンプリング後のＭｕ画像’の解像度が目標解像度と一致するように、そのＭｕ画像’の解像度を変換し、解像度変換後のＭｕ画像”を出力する（図４のステップＳＴ４）。
即ち、解像度変換処理部５は、アップサンプリングの実施によって劣化した低周波数の信号を増幅し、複数の画素に亘って構造を鮮鋭化させる解像度変換を実施する。

具体的には、解像度変換方法として下記の変換式（１）を用いることができる。

式（１）において、Ｍｕ’はアップサンプリング後のＭｕ画像’、Ｍｕ”は解像度変換後のＭｕ画像”である。
また、ＭＴＦ_ｔｒｇは解像度データベース２に記憶されている目標解像度に対応するＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：変調伝達関数）、ＭＴＦ_ｍｕはアップサンプリング前のＭｕ画像が有するＭＴＦ、ＭＴＦ_{ｒｅｓａｍｐｌｉｎｇ}はリサンプリング方式によるＭＴＦである。
また、ＦＴ｛｝はフーリエ変換を示す記号、ＩＦＴ｛｝は逆フーリエ変換を示す記号である。

ここでは、変換式（１）を用いる解像度変換方法（以下、「ＭＴＦＣ」と称する）を示しているが、Ｍｕ画像’の解像度を変換することができれば、ＭＴＦＣに限るものではなく、例えば、デコンボリューションやフィルタなどを用いて、Ｍｕ画像’の解像度を変換するようにしてもよい。

第２の解像度変換部６は、解像度変換処理部５から解像度変換後のＭｕ画像”を受けると、画像入力部１により取得されたＰａ画像を変換することで、そのＰａ画像の解像度を解像度変換後のＭｕ画像”の解像度に合わせる処理を実施する。
即ち、第２の解像度変換部６は、下記の変換式（２）のように、画像入力部１により取得されたＰａ画像の解像度が、解像度変換後のＭｕ画像”の解像度と一致するように、そのＰａ画像の解像度を変換し、解像度変換後のＰａ画像’及び解像度変換後のＭｕ画像”を出力する（図４のステップＳＴ５）。

式（２）において、Ｐａは解像度変換前のＰａ画像、Ｐａ’は解像度変換後のＰａ画像’、ＭＴＦ_ｐａは解像度変換前のＰａ画像が有するＭＴＦである。

画像合成部７は、第２の解像度変換部６から解像度変換後のＰａ画像’及び解像度変換後のＭｕ画像”を受けると、解像度変換後のＭｕ画像”と、解像度変換後のＰａ画像’とに対するパンシャープン処理を実施することで、そのＭｕ画像”とＰａ画像’を合成し、そのＭｕ画像”とＰａ画像’の合成画像であるパンシャープン画像ＰＳ（Ｂａｎｄ）を得る。
即ち、画像合成部７は、下記の式（３）に示すように、解像度変換後のＭｕ画像”を解像度変換後のＰａ画像’で除算し、その除算した結果を画像入力部１により取得されたパンクロマチック画像Ｐａに乗算することで、そのＭｕ画像”とＰａ画像’の合成画像であるパンシャープン画像ＰＳ（Ｂａｎｄ）を得る（図４のステップＳＴ６）。

式（３）において、解像度変換後のＭｕ画像”を解像度変換後のＰａ画像’で除算することで、解像度変換後のＭｕ画像”の輝度が規格化されて、色彩情報が得られるようになる。
そして、この色彩情報に対してＰａ画像の輝度情報を与えることで、鮮鋭な色彩情報を有するパンシャープン画像ＰＳ（Ｂａｎｄ）が得られる。
一般的に、デコンボリューションやＭＴＦＣなどの鮮鋭化処理によって画像の鮮鋭さを向上させると、オーバーシュートやアンダーシュートなどのアーティファクトが発生する可能性があるため、画質劣化の要因となり得る。しかし、この実施の形態１では、解像度変換後のＭｕ画像”に、Ｐａ画像と同様の鮮鋭化処理を施すことで、輝度分布として現れるアーティファクトの影響が軽減されるため、分解能変換部４で劣化した彩度が復元される。

画像出力部８は、画像合成部７からパンシャープン画像ＰＳ（Ｂａｎｄ）を受けると、そのパンシャープン画像ＰＳ（Ｂａｎｄ）をディスプレイあるいは外部に出力する（図４のステップＳＴ７）。
ここでは、画像出力部８がパンシャープン画像ＰＳ（Ｂａｎｄ）を出力するものを示したが、そのパンシャープン画像ＰＳ（Ｂａｎｄ）を画像データ形式で保存するようにしてもよい。

以上で明らかなように、この実施の形態１によれば、Ｐａ画像の分解能まで、Ｍｕ画像の分解能を高めるとともに、そのＭｕ画像の解像度を変換する第１の解像度変換部３と、Ｐａ画像の解像度を変換することで、そのＰａ画像の解像度を第１の解像度変換部３による解像度変換後のＭｕ画像”の解像度に合わせる第２の解像度変換部６とを備えるように構成したので、Ｍｕ画像における彩度の低下を招くことなく、色縞による合成画像の画質劣化を抑制することができる効果を奏する。

実施の形態２．
上記実施の形態１では、第１の解像度変換部３が分解能変換部４及び解像度変換処理部５を備えているものを示したが、この実施の形態２では、図５に示すように、第１の解像度変換部３が目標解像度設定部１１、補間パラメータ算出部１２及び変換処理部１３を備えているものであってもよい。

図５はこの発明の実施の形態２による画像処理装置を示す構成図であり、図６はこの発明の実施の形態２による画像処理装置のハードウェア構成図である。
図５及び図６において、図１及び図２と同一符号は同一または相当部分を示すので説明を省略する。
目標解像度設定部１１は例えば図６の目標解像度設定回路２８で実現されるものであり、Ｍｕ画像及びＰａ画像の目標解像度を設定する処理を実施する。

補間パラメータ算出部１２は例えば図６のパラメータ算出回路２９で実現されるものであり、目標解像度設定部１１により設定された目標解像度から、画像入力部１により取得されたＭｕ画像の分解能及び解像度を変換するために実施する画素の補間処理で用いる補間パラメータを算出する処理を実施する。
変換処理部１３は例えば図６の変換処理回路３０で実現されるものであり、補間パラメータ算出部１２により算出された補間パラメータを用いる画素の補間処理を実施して、画像入力部１により取得されたＭｕ画像の分解能及び解像度を変換する処理を実施する。

図５では、画像処理装置の構成要素である画像入力部１、目標解像度設定部１１、補間パラメータ算出部１２、変換処理部１３、第２の解像度変換部６、画像合成部７及び画像出力部８のそれぞれが、図６に示すような専用のハードウェア、即ち、画像入力回路２１、目標解像度設定回路２８、パラメータ算出回路２９、変換処理回路３０、解像度変換回路２５、画像合成回路２６及び画像出力回路２７で実現されるものを想定している。
画像入力回路２１、目標解像度設定回路２８、パラメータ算出回路２９、変換処理回路３０、解像度変換回路２５、画像合成回路２６及び画像出力回路２７は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、または、これらを組み合わせたものが該当する。

ただし、画像処理装置の構成要素が専用のハードウェアで実現されるものに限るものではなく、画像処理装置がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
画像処理装置がソフトウェアやファームウェアなどで実現される場合、画像入力部１、目標解像度設定部１１、補間パラメータ算出部１２、変換処理部１３、第２の解像度変換部６、画像合成部７及び画像出力部８の処理手順をコンピュータに実行させるためのプログラムを図３に示すコンピュータのメモリ３１に格納し、コンピュータのプロセッサ３２がメモリ３１に格納されているプログラムを実行するようにすればよい。

次に動作について説明する。
目標解像度設定部１１は、Ｍｕ画像及びＰａ画像の目標解像度を設定する。Ｍｕ画像とＰａ画像の目標解像度は同じ解像度であるが、Ｍｕ画像の目標解像度については、ＭＴＦとして設定する。
図７は目標解像度設定部１１により設定されたＭＴＦを示す説明図である。
２つの画素の中間位置に画素を挿入する補間処理を実施する場合、例えば、その中間位置の周辺に存在しているＮ×Ｎ個の画素を用いて、画素の補間処理を実施する。
この実施の形態２では、図８に示すように、Ｎ×Ｎ個の画素のうち、中間位置に近い画素ほど、大きな重み、つまり、補間パラメータＸを有するように設定する。そのために、図７に示すように、空間周波数と反比例するように、目標解像度となるＭＴＦを設定し、ＭＴＦを逆フーリエ変換することで、補間パラメータＸを設定している。
なお、目標解像度設定部１１におけるＭＴＦの設定は、目標解像度設定部１１がキーボードやマウスなどのマンマシンインタフェースを備えている場合、ユーザがマンマシンインタフェースを操作することで、ＭＴＦを設定するようにしてもよい。
また、目標解像度設定部１１が外部との通信機能を備えている場合、外部から送信されたＭＴＦを受信することで、ＭＴＦを設定するようにしてもよい。

補間パラメータ算出部１２は、目標解像度設定部１１が目標解像度をＭＴＦとして設定すると、そのＭＴＦから、画像入力部１により取得されたＭｕ画像の分解能及び解像度を変換するために実施する画素の補間処理で用いる補間パラメータＸを算出する。
即ち、補間パラメータ算出部１２は、下記の式（４）に示すように、目標解像度設定部１１により設定されたＭＴＦを逆フーリエ変換することで、補間パラメータＸを算出する。

ここで、図８は画素間距離に対応する画素の重みを示す重み関数の説明図である。
図８は、目標解像度設定部１１により設定されたＭＴＦを実空間上の重み関数に変換している例を示している。
図８を参照することで、Ｎ×Ｎ個の画素に対する重みとして、画素を挿入する中間位置からの距離に対応する重み、即ち、Ｎ×Ｎ個の画素に対する補間パラメータＸが得られる。

変換処理部１３は、補間パラメータ算出部１２が補間パラメータＸを算出すると、その補間パラメータＸを用いる画素の補間処理を実施して、画像入力部１により取得されたＭｕ画像の分解能及び解像度を変換する。
即ち、変換処理部１３は、Ｎ×Ｎ個の画素の画素値のそれぞれに、当該画素に対応する補間パラメータＸを乗算し、補間パラメータＸが乗算された複数の画素の画素値の総和を、中間位置に挿入する画素の画素値に決定する。
そして、変換処理部１３は、当該画素を中間位置に挿入することで、画像入力部１により取得されたＭｕ画像の分解能及び解像度を変換する。
これにより、Ｍｕ画像の分解能を高める処理と、Ｍｕ画像の解像度を変換する処理とが同時に行われる。

第２の解像度変換部６、画像合成部７及び画像出力部８の処理内容は、上記実施の形態１と同様であるため詳細な説明を省略する。
なお、第２の解像度変換部６には、目標解像度設定部１１から目標解像度が与えられるが、この目標解像度は、補間パラメータ算出部１２に与えられる目標解像度としてのＭＴＦではなく、上記実施の形態１と同様の目標解像度である。

以上で明らかなように、この実施の形態２によれば、第１の解像度変換部３が、目標解像度を設定する目標解像度設定部１１と、画像入力部１により取得されたＭｕ画像の分解能及び解像度を変換するために実施する画素の補間処理で用いる補間パラメータＸを算出する補間パラメータ算出部１２と、補間パラメータ算出部１２により算出された補間パラメータＸを用いる画素の補間処理を実施して、画像入力部１により取得されたＭｕ画像の分解能及び解像度を変換する変換処理部１３とを備えるように構成したので、上記実施の形態１と同様に、Ｍｕ画像における彩度の低下を招くことなく、色縞による合成画像の画質劣化を抑制することができるほか、Ｍｕ画像の分解能を高める処理と、Ｍｕ画像の解像度を変換する処理とが同時に行われるため、計算負荷の軽減を図ることができる効果を奏する。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 画像入力部、２ 解像度データベース、３ 第１の解像度変換部、４ 分解能変換部、５ 解像度変換処理部、６ 第２の解像度変換部、７ 画像合成部、８ 画像出力部、１１ 目標解像度設定部、１２ 補間パラメータ算出部、１３ 変換処理部、２１ 画像入力回路、２２ 記憶回路、２３ 分解能変換回路、２４ 解像度変換処理回路、２５ 解像度変換回路、２６ 画像合成回路、２７ 画像出力回路、２８ 目標解像度設定回路、２９ パラメータ算出回路、３０ 変換処理回路、３１ メモリ、３２ プロセッサ。

Claims (4)

1. 単一の波長帯の観測情報を有するパンクロマチック画像の分解能まで、複数の波長帯の観測情報を有するマルチスペクトル画像の分解能を高めるとともに、前記マルチスペクトル画像の解像度を、変調伝達関数を用いて目標解像度に一致するように変換する第１の解像度変換部と、
   前記パンクロマチック画像の解像度を、変調伝達関数を用いて変換することで、前記パンクロマチック画像の解像度を前記第１の解像度変換部により変換されたマルチスペクトル画像の解像度に合わせる第２の解像度変換部と、
   前記第１の解像度変換部により解像度が変換されたマルチスペクトル画像と、前記第２の解像度変換部により解像度が変換されたパンクロマチック画像とを合成して、当該マルチスペクトル画像と当該パンクロマチック画像の合成画像を得る画像合成部を備え、
   前記第１の解像度変換部は、
   前記マルチスペクトル画像の目標解像度を設定する目標解像度設定部と、
   前記目標解像度設定部により設定された目標解像度から、前記マルチスペクトル画像の分解能及び解像度を変換するために実施する画素の補間処理で用いる補間パラメータを算出する補間パラメータ算出部と、
   前記補間パラメータ算出部により算出された補間パラメータを用いる画素の補間処理を実施して、前記マルチスペクトル画像の分解能及び解像度を変換する変換処理部を備えた画像処理装置。
2. 前記画像合成部は、前記第１の解像度変換部により解像度が変換されたマルチスペクトル画像を前記第２の解像度変換部により解像度が変換されたパンクロマチック画像で除算し、その除算した結果を前記第２の解像度変換部により解像度が変換される前のパンクロマチック画像に乗算することで、前記合成画像を得ることを特徴とする請求項１記載の画像処理装置。
3. 第１の解像度変換部が、複数の波長帯の観測情報を有するマルチスペクトル画像の分解能及び解像度を変換するために実施する画素の補間処理で用いる補間パラメータを前記マルチスペクトル画像の目標解像度から算出し、当該算出された補間パラメータを用いる画素の補間処理を実施して、前記マルチスペクトル画像の分解能を単一の波長帯の観測情報を有するパンクロマチック画像の分解能まで高めるとともに、前記マルチスペクトル画像の解像度を、変調伝達関数を用いて前記目標解像度に一致するように変換し、
   第２の解像度変換部が、前記パンクロマチック画像の解像度を、変調伝達関数を用いて変換することで、前記パンクロマチック画像の解像度を前記第１の解像度変換部により変換されたマルチスペクトル画像の解像度に合わせ、
   画像合成部が、前記第１の解像度変換部により解像度が変換されたマルチスペクトル画像と、前記第２の解像度変換部により解像度が変換されたパンクロマチック画像とを合成して、当該マルチスペクトル画像と当該パンクロマチック画像の合成画像を得る
   画像処理方法。
4. 前記画像合成部が、前記第１の解像度変換部により解像度が変換されたマルチスペクトル画像を前記第２の解像度変換部により解像度が変換されたパンクロマチック画像で除算し、その除算した結果を前記第２の解像度変換部により解像度が変換される前のパンクロマチック画像に乗算することで、前記合成画像を得ることを特徴とする請求項３記載の画像処理方法。

Images