WO2020230319A1 - 画像処理装置及び方法、並びに画像読み取り装置、並びにプログラム及び記録媒体 - Google Patents

Abstract

マルチスペクトル画像を構成する複数のバンド画像と同じ視野の参照画像を解析して局所分散値又はエッジ量を画像特徴量として算出し、画像特徴量からフィルタパラメータを算出し、フィルタパラメータを用いてバンド画像に対しエッジを保存しながら平滑化を行う。十分な信号量が得られない波長帯域のバンド画像を含むマルチスペクトル画像を取得した際に、エッジを失うことなくマルチスペクトル画像のＳＮ比を向上させることができる。

Description

画像処理装置及び方法、並びに画像読み取り装置、並びにプログラム及び記録媒体

　本発明は、画像処理装置及び方法、並びに画像読み取り装置、並びにプログラム及び記録媒体に関する。
　本発明は特に、原稿を波長帯域別に読み取って複数のバンド画像から成るマルチスペクトル画像を生成する画像読み取り装置において、マルチスペクトル画像のＳＮ比を向上させるための画像処理に関する。

　原稿を波長帯域別に読み取って複数のバンド画像を取得する画像読み取り装置では、光源のスペクトルとイメージセンサの分光感度の組合せによって十分な信号量が得られない波長帯域のバンド画像がある。例えば紫外光光源或いは赤外光光源を用いて照射を行って取得されるバンド画像は、可視光帯域のバンド画像と比較してＳＮ比が低いことが多い。

　マルチスペクトル画像を生成する別の例として、光学衛星或いは航空機から地上などを撮影する場合には、同一の撮影対象について高解像度のパンクロマティック画像と、低解像度のマルチスペクトル画像の両方を同時に取得することが広く行われている。

　低解像度のマルチスペクトル画像と高解像度のパンクロマティック画像の両方を同時に取得するシステムでは、両方の画像を組合せて高解像度のカラー画像を作成するパンシャープン処理が行われる。
　パンシャープン処理では、マルチスペクトル画像に含まれるノイズの除去が問題となる。

　特許文献１に記載されたノイズ除去装置は、高解像度で高ＳＮ比のパンクロマティック画像を用いて、低解像度で低ＳＮ比のバンド画像のノイズを除去する際に、パンクロマティック画像を多重解像度分解し、バンド画像を多重解像度分解し、パンクロマティック画像の分解成分をバンド画像の分解成分を用いて補正し、補正した分解成分と他の分解成分を用いてパンクロマティック画像を再構成する。

国際公開第２０１５／０３７１８９号（段落００２４）

　上記のように、特許文献１では高解像度のパンクロマティック画像とマルチスペクトル画像との組合せでノイズ補正を行う。低解像度のマルチスペクトル画像のみが取得され、高解像度画像が取得されない場合がある。マルチスペクトル画像のみでノイズ低減のための平滑化を行うと、マルチスペクトル画像中に多量のノイズが含まれる場合、平滑化によりエッジが失われることがある。

　本発明は上記の問題点を解決するためのものであり、本発明の目的は、十分な信号量が得られない波長帯域のバンド画像を含むマルチスペクトル画像を取得した際に、エッジを失うことなくマルチスペクトル画像のＳＮ比を向上させることができる画像処理装置を提供することにある。

　本発明の画像処理装置は、
　マルチスペクトル画像を構成する複数のバンド画像と同じ視野の参照画像を解析して局所分散値又はエッジ量を画像特徴量として算出し、前記画像特徴量からフィルタパラメータを算出するパラメータ算出部と、
　前記フィルタパラメータを用いて前記バンド画像に対してエッジ保存型平滑化処理を行うフィルター処理部と
　を備えることを特徴とする。

　本発明によれば、十分な信号量が得られない波長帯域のバンド画像を含むマルチスペクトル画像を取得した際に、エッジを失うことなくマルチスペクトル画像のＳＮ比を向上させることが可能となる。

本発明の実施の形態１の画像処理装置を示すブロック図である。 画像処理装置を備えた画像読み取り装置の構成例を示す図である。 図１の画像合成部の一構成例を示すブロック図である。 イメージセンサーの分光量子効率の例を示す図である。 本発明の実施の形態２の画像処理装置を示すブロック図である。 図５の画像合成部の一構成例を示すブロック図である。 （ａ）～（ｃ）は、図６の相関算出部で算出する画像相関の例を示す図である。 本発明の実施の形態３の画像処理装置を示すブロック図である。 本発明の実施の形態４の画像処理装置を示すブロック図である。 実施の形態１～４の画像処理装置の機能を実現するコンピュータの一例を、光源及びイメージセンサーとともに示す図である。 図１０のコンピュータで実施の形態１又は２の画像処理装置の機能を実現する場合の処理の手順を示すフローチャートである。 図１０のコンピュータで実施の形態３の画像処理装置の機能を実現する場合の処理の手順を示すフローチャートである。 図１０のコンピュータで実施の形態４の画像処理装置の機能を実現する場合の処理の手順を示すフローチャートである。

実施の形態１.
　図１は、本発明の実施の形態１の画像処理装置３を示すブロック図である。図２は、図１の画像処理装置３を備えた画像読み取り装置の構成例を示す。
　図２に示される画像読み取り装置は、画像処理装置３のほか、光源１と、イメージセンサー２とを有する。

　光源１は、各々比較的狭い帯域の、複数の光源から成る。以下ではこの比較的狭い帯域の光源をバンド光源と言う。複数のバンド光源は、例えば、可視光の波長帯域の光源、紫外光の波長帯域の光源、及び近赤外光の波長帯域の光源を含む。複数のバンド光源は、１つずつ順次原稿を照射するよう制御される。

　イメージセンサー２は、上記の複数のバンド光源により被写体としての原稿が順次照射されているときに、原稿を撮像することで、複数のバンド画像ＤＩＮを順次取得する。一般的には、複数のバンド画像ＤＩＮは、それぞれが互いに異なるＳＮ比を有する。

　イメージセンサー２は、一次元のイメージセンサー（ラインセンサー）であっても良く、二次元のイメージセンサー（エリアセンサー）であっても良い。ラインセンサーは、密着イメージセンサーであっても良い。

　画像処理装置３は、複数のバンド画像ＤＩＮを合成して、各バンド画像よりも高いＳＮ比を有する参照画像を生成し、参照画像を解析して局所分散値又はエッジ量を画像特徴量として算出し、画像特徴量からフィルタパラメータを算出し、複数のバンド画像ＤＩＮに対して、フィルタパラメータを用いてエッジを保存しながら平滑化を行う。

　画像処理装置３は、画像合成部３１と、パラメータ算出部３２と、フィルター処理部３３とを有する。

　画像合成部３１は、複数のバンド画像ＤＩＮを合成して、各バンド画像よりも高いＳＮ比を有する参照画像ＭＳｒを生成する。
　ＳＮ比の低いバンド画像が合成に使用されると、参照画像ＭＳｒのノイズ量が増加し、ＳＮ比が低下する可能性がある。参照画像ＭＳｒのＳＮ比の低下を避けるため、本実施の形態では、ノイズ量が多いバンド画像の合成重みを小さくして合成を行う。

　画像合成部３１は、例えば図４に示されるように、ノイズ量算出部３１１と、加重合成部３１２とを有する。

　ノイズ量算出部３１１は、複数のバンド画像ＤＩＮの各々のノイズ量Ｎ_ｉを算出される。算出されるノイズ量Ｎ_ｉは、例えば、スカラーで表されたものである。

　画像処理装置が、図２に示される画像読み取り装置の一部を成すものである場合、各バンド画像の信号量は、イメージセンサー２の該当する波長帯域における量子効率と、使用する光源の該当する波長帯域における照射量との乗算で算出可能である。ノイズ量Ｎ_ｉは上記信号量の逆数から算出可能である。

　図４にイメージセンサーの分光量子効率の例を示す。イメージセンサーは感度を有する波長帯域の中心付近にピークを有し、ピーク位置から遠ざかるに従って量子効率が低下する。

　イメージセンサー２の量子効率又は光源の照射量の情報を用いることができない場合には、各バンド画像ＤＩＮを解析することで、各バンド画像のノイズ量Ｎ_ｉを算出することが可能である。

　画像を解析してノイズ量Ｎ_ｉを算出する方法としては、例えば、画像の平坦領域における画素毎の局所的な分散値を算出し、その平均値を求める方法が挙げられる。
　その場合、画素毎の局所分散値を算出し、局所分散値が閾値以下の画素から成る領域、或いは、局所分散値が閾値以下の画素が占める割合が予め定められた値以上の領域を平坦領域と見なせば良い。
　局所分散値は、例えば後述の式（３）と同様の演算で求められる。

　加重合成部３１２は、ノイズ量Ｎ_ｉが少ないバンド画像の合成重みが大きくなるように複数のバンド画像ＤＩＮを合成して参照画像ＭＳｒを生成する。合成は、複数のバンド画像の互いに同じ位置の画素値を加重加算することで行われる。即ち、加重合成部３１２は、複数のバンド画像ＤＩＮの同じ位置の画素値の加重平均を、参照画像ＭＳｒの同じ位置の画素値とする。
　ある画素（注目画素）についての加重平均は、例えば、下記の式（１）で表される演算により求められる。

　式（１）で、
　ｘは、注目画素の位置を表す座標である。
　Ｍは、バンド画像の数を示す。
　ＭＳ_ｉは、Ｍ個のバンド画像のうち、ｉ番目のバンド画像を示す。
　ＭＳ_ｉ（ｘ）は、バンド画像ＭＳ_ｉの位置ｘの画素値を示す。
　Ｗ_ｉは、バンド画像ＭＳ_ｉの画素値ＭＳ_ｉ（ｘ）に対する合成重みを示す。
　ＭＳｒ（ｘ）は、参照画像ＭＳｒの位置ｘの画素値を示す。

　各バンド画像ＭＳ_ｉの画素値ＭＳ_ｉ（ｘ）に対する合成重みＷ_ｉとしては、当該バンド画像ＭＳ_ｉのノイズ量Ｎ_ｉの逆数の正規化値が用いられる。各バンド画像についてのノイズ量の逆数の正規化値は、当該バンド画像についてのノイズ量の逆数を、全バンド画像についてのノイズ量の逆数の平均で除算することで得られる値である。従って、合成重みＷ_ｉは下記の式（２）で表される。

　加重合成部３１２は、上記の方法の代わりに、予め設定したノイズ量閾値を用いて重みＷ_ｉを０か１に設定し、加重平均を求めることとしても良い。例えば、ノイズ量がノイズ量閾値以上であれば重みＷ_ｉを０とし、そうでなければ重みＷ_ｉを１とし、Ｍの代わりに重みＷ_ｉを１としたバンド画像の数を用いて、加重平均を求めることとしても良い。

　上記の合成により得られる参照画像ＭＳｒは、各バンド画像よりも高いＳＮ比を有するものとなる。

　パラメータ算出部３２は、参照画像ＭＳｒを解析して参照画像ＭＳｒの各画素についての局所分散値又はエッジ量を画像特徴量として算出し、画像特徴量からフィルタパラメータＤ３２を算出する。

　参照画像ＭＳｒ中の位置ｘについての局所分散値ｖａｒ（ｘ）は、例えば下記の式（３）で表される演算を行うことで求めることができる。

　式（３）で、
　Ω（ｘ）は、位置ｘを中心とする局所領域を示す。
　Ｌは、局所領域Ω（ｘ）内の画素の数を示す。
　ｙは、局所領域Ω（ｘ）内の位置を表す座標である。
　ＭＳｒ（ｙ）は、参照画像ＭＳｒの位置ｙの画素値を示す。

　エッジ量は、例えばバイラテラルウェイトを用いた方法で求めることができる。例えば、参照画像ＭＳｒ中の位置ｘについてのエッジ量ｂｗ（ｘ）は、下記の式（４）で表される演算を行うことで求めることができる。

　式（４）で、
　Ω（ｘ）は、位置ｘを中心とする局所領域を示す。
　ｙは、局所領域Ω（ｘ）内の位置を表す座標である。
　ｄ（ｙ，ｘ）は座標ｙで表される位置と座標ｘで表される位置との距離を示す。
　ＭＳｒ（ｘ）は、参照画像ＭＳｒの位置ｘの画素値を示す。
　ＭＳｒ（ｙ）は、参照画像ＭＳｒの位置ｙの画素値を示す。
　σ_１及びσ_２は定数を示す。定数σ_１及びσ_２は任意に定められる。

　パラメータ算出部３２は、算出した画像特徴量からフィルタパラメータＤ３２を算出して出力する。
　例えば、画像特徴量をそのままフィルタパラメータとして出力しても良く、画像特徴量の逆数又はそれらの正規化値をフィルタパラメータとして出力しても良い。

　フィルター処理部３３は、複数のバンド画像ＤＩＮに対して、フィルタパラメータＤ３２を用いてエッジを保存しながら平滑化を行い、複数の出力画像ＤＯＵＴを生成する。
　複数の出力画像ＤＯＵＴはそれぞれ複数のバンド画像ＤＩＮに対応する。複数の出力画像ＤＯＵＴの組合せによりマルチスペクトル画像が構成される。

　フィルター処理は、フィルタパラメータを入力可能な参照型の平滑化フィルターを用いて行うことができる。例えばジョイントバイラテラルフィルター、ガイデッドフィルター等を用いることができる。

　ジョイントバイラテラルフィルターによるフィルタリング処理は、例えば下記の式（５）で表される。

　式（５）で、
　ｘは、注目画素の位置を表す座標である。
　Ω（ｘ）は、位置ｘを中心とする局所領域を示す。
　ｙは、局所領域Ω（ｘ）内の位置を表す座標である。
　ＤＩＮ（ｙ）は、バンド画像ＤＩＮの位置ｙにおける画素値を示す。
　ＤＯＵＴ（ｘ）は、出力画像ＤＯＵＴの位置ｘにおける画素値を示す。
　なお上記の局所領域Ω（ｘ）の範囲は、上記の式（３）又は（４）における局所領域Ω（ｘ）の範囲と同じでなくても良い。

　式（５）で、Ｗｓは距離重みであり、例えば下記の式（６）によって求められる。

　式（６）で、
　ｄ（ｙ，ｘ）は座標ｙで表される位置と座標ｘで表される位置との距離を示す。
　σ_ｓは、距離重みＷｓを決定するパラメータであり、分散を示す。

　式（５）で、Ｗｃは、画素値重みであり、例えば下記の式（７）によって求められる。

　式（７）で、σ_ｃは、画素値重みＷｃを決定するパラメータであり、分散を示す。

　本実施の形態では、上記の式（３）で与えられたｖａｒ（ｘ）又は式（４）で与えられたｂｗ（ｘ）又はそれらを正規化した値が、パラメータσ_ｃとして用いられる。

　実施の形態１の画像処理装置３では、十分な信号量が得られない波長帯域のバンド画像を含むマルチスペクトル画像を取得した際に、エッジを失うことなくマルチスペクトル画像のＳＮ比を向上させることができる。

　また、画像合成部３１が、図３に示されるように、ノイズ量算出部３１１を含むので、合成に使用するバンド画像のノイズ量に応じて合成重みを定めることにより、ＳＮ比のより高い参照画像ＭＳｒを生成することができ、従って、ＳＮ比が高い出力画像を得ることができる。

　上記の例では、複数のバンド光源が、可視光の波長帯域の光源、紫外光の波長帯域の光源、及び近赤外光の波長帯域の光源を含む。複数のバンド光源の組合せは上記の例に限定されない。例えば、可視光の波長帯域がさらに分割されていても良い。例えば、可視光の波長帯域の光源の代わりに、赤色の波長帯域の光源と、緑色の波長帯域の光源と、青色の波長帯域の光源とが設けられていても良い。

　上記の例では、パラメータ算出部３２で画像特徴量として分散又はエッジ量が求められ、それらの値又はそれらの正規化値が、合成重みを決めるためのパラメータσ_ｃとして用いられる。パラメータ算出部３２で求める画像特徴量は、分散又はエッジ量以外の値であっても良い。いずれにしても画像特徴量又はその逆数、或いはそれらの正規化値が、合成重みを決めるためのパラメータとして用いられれば良い。

実施の形態２．
　図５は本発明の実施の形態２の画像処理装置３ｂを示す。
　図示の画像処理装置３ｂは、図１の画像処理装置３と概して同じであるが、画像合成部３１の代わりに画像合成部３１ｂを備える。

　実施の形態１の画像合成部３１は、ノイズ量が多いバンド画像の合成重みを小さくして画像合成を行う。本実施の形態の画像合成部３１ｂは、バンド画像間の画像相関に基づいて決定される合成重みを用いて画像合成を行う。

　各バンド画像は、その波長帯域によって画像特徴が異なり、２枚のバンド画像間では波長帯域が離れれば離れるほど画像特徴の差異が大きくなる。

　本実施の形態では、ある波長帯域のバンド画像のノイズを低減したい場合、当該ターゲットとする波長帯域のバンド画像（ターゲットとする波長帯域の画像）との画像相関が大きいバンド画像の合成重みを大きくして画像合成を行って参照画像を生成する。

　画像合成部３１ｂは、複数のバンド画像ＤＩＮを合成して、各バンド画像よりも高いＳＮ比を有する参照画像ＭＳｒを生成する。
　画像合成部３１ｂは、例えば図６に示されるように、相関算出部３１３と、加重合成部３１２ｂとを有する。

　相関算出部３１３は、複数のバンド画像ＤＩＮの各々について、ターゲットとする波長帯域のバンド画像との画像相関Ｃｏｒ_ｉを算出する。

　各バンド画像と、ターゲットとする波長帯域のバンド画像との画像相関Ｃｏｒ_ｉは例えば、各バンド画像とターゲットとする波長帯域のバンド画像との波長の差に基づいて求めることができる。この場合、上記の差が小さいほど画像相関が高いとみなすこととしても良い。
　この場合上記の画像相関は、波長を変数とする関数で表すことができる。

　図７（ａ）～（ｃ）に、画像相関の例を示す。図７（ａ）～（ｃ）で、横軸は、各バンド画像の波長を示し、縦軸は、画像相関を示す。画像相関は、任意単位（ａ．ｕ．）で表されている。
　横軸上のλ_ｔは、ターゲットとする波長帯域の中心波長又はピーク波長（ターゲット波長）を示す。

　図７（ａ）に示される例では、相関は、ターゲット波長λ_ｔで最も高く、λ_ｔとの差が大きくなるに伴って、直線に沿って減少する。
　図７（ｂ）に示される例では、相関は、ターゲット波長λ_ｔとの差が設定された差分閾値以下である範囲では、一定の値を維持し、上記の差が差分閾値を超える範囲では、０である。
　図７（ｃ）に示される例では、相関は、ターゲット波長λ_ｔを中心とした正規分布曲線に沿って変化する。

　上記の例では、相関算出部３１３が、各バンド画像について、ターゲットとする波長帯域のバンド画像との波長の差に基づいて画像相関を求めている。
　代わりに、各バンド画像について、ターゲットとする波長帯域のバンド画像との類似度に基づいて画像相関を求めることとしても良い。

　類似度の指標としては、例えば、ＳＡＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅｓ）、ＳＳＤ（Ｓｕｍ　ｏｆ　Ｓｑｕａｒｅｄ　Ｄｉｆｆｅｒｎｃｅｓ）、ＮＣＣ（Ｎｏｒｍａｌａｉｚｅｄ　Ｃｒｏｓｓ　Ｃｏｒｒｅｌａｔｉｏｎ）、ＺＮＣＣ（Ｚｅｒｏ－ｍｅａｎｓ　Ｎｏｒｍａｌａｉｚｅｄ　Ｃｒｏｓｓ　Ｃｏｒｒｅｌａｔｉｏｎ）等を用いることができる。

　各バンド画像ＭＳ_ｉについてのＳＡＤ（符号ＳＡ_ｉで表す）は、下記の式（８）で求められる。

　各バンド画像ＭＳ_ｉについてのＳＳＤ（符号ＳＳ_ｉで表す）は、下記の式（９）で求められる。

　各バンド画像ＭＳ_ｉについてのＮＣＣ（符号ＮＣ_ｉで表す）は、下記の式（１０）で求められる。

　各バンド画像ＭＳ_ｉについてのＺＮＣＣ（符号ＺＮＣ_ｉで表す）は、下記の式（１１）で求められる。

　式（８）～（１１）において、
　ｘは、注目画素の位置を表す座標である。
　ＭＳ_ｉ（ｘ）は、バンド画像ＭＳ_ｉの位置ｘにおける画素値を示す。
　ＭＳｔ（ｘ）は、ターゲットとする波長帯域のバンド画像ＭＳｔの、位置ｘにおける画素値を示す。
　ＭＳ_ｉｍは、画像ＭＳ_ｉ内のすべての画素についての画素値ＭＳ_ｉ（ｘ）の平均値を示す。
　ＭＳｔｍは、画像ＭＳｔ内のすべての画素についての画素値ＭＳｔ（ｘ）の平均値を示す。

　ＳＡＤ及びＳＳＤの値は、類似度が大きいほど、小さくなる。ＮＣＣ及びＺＮＣＣの値は、類似度が大きいほど、大きくなる。

　画像の強度（明るさ、輝度）を含めた特徴についての比較を行いたい場合はＳＡＤ及びＳＳＤが適しており被写体の特定の波長帯域での分光反射特性を抽出したい場合は、正規化により画像の強度（画素値の大きさ）に依存しない値が得られるＮＣＣ及びＺＮＣＣが適する。

　加重合成部３１２ｂは、画像相関Ｃｏｒ_ｉが大きいバンド画像の合成重みが大きくなるように複数のバンド画像ＤＩＮを合成して参照画像ＭＳｒを生成する。合成は、複数のバンド画像の互いに同じ位置の画素値を加重加算することで行われる。即ち、加重合成部３１２ｂは、複数のバンド画像ＤＩＮの同じ位置の画素値の加重平均を、参照画像ＭＳｒの同じ位置の画素値とする。
　ある画素（注目画素）についての加重平均は、例えば、上記の式（１）で表される演算により求められる。

　但し、各バンド画像ＭＳ_ｉの画素値ＭＳ_ｉ（ｘ）に対する合成重みＷ_ｉとしては、当該バンド画像ＭＳ_ｉの画像相関Ｃｏｒ_ｉの正規化値が用いられる。各バンド画像についての画像相関の正規化値は、当該バンド画像についての画像相関を、全バンド画像についての画像相関の平均で除算することで得られる値である。従って、合成重みＷ_ｉは下記の式（１２）で表される。

　上記の例では、画像の類似度を画像全体について求めているが、類似度を画素毎に求め、画像相関を画素毎に求めて良い。
　その場合、式（８）～（１１）では、注目画素を中心とする局所領域内の画素を用いて、類似度を求め、求めた類似度から注目画素についての画像相関を求める。

　実施の形態２の画像処理装置３ｂでも、十分な信号量が得られない波長帯域のバンド画像を含むマルチスペクトル画像を取得した際に、エッジを失うことなくマルチスペクトル画像のＳＮ比を向上させることができる。

　また、画像合成部３１が、図６に示されるように相関算出部３１３を含むので、合成に使用するバンド画像とターゲットとなる波長帯域のバンド画像との画像相関に応じて合成重みを定めることにより、画像特徴の崩れのより少ない出力画像を生成することができる。

　実施の形態１に関し、加重合成の他の例として、予め設定したノイズ量閾値を用いて重みＷ_ｉを０か１に設定して加重平均を求める方法を説明した。実施の形態２においても同様の変形を加えることが可能である。
　即ち、予め設定した相関閾値を用いて重みＷ_ｉを０か１に設定し、加重平均を求めることとしても良い。例えば、画像相関が画像相関閾値以上であれば重みＷ_ｉを１とし、そうでなければ重みＷ_ｉを０とし、Ｍの代わりに重みＷ_ｉを１としたバンド画像の数を用いて、加重平均を求めることとしても良い。

実施の形態３．
　図８は、本発明の実施の形態３の画像処理装置３ｃを示す。
　図示の画像処理装置３ｃは、図１の画像処理装置３と概して同じであるが、図１の画像合成部３１を備えず、図１のパラメータ算出部３２の代わりに、パラメータ算出部３２ｃを備える。
　また、画像処理装置３ｃには、図１のバンド画像ＤＩＮの他、白色画像ＤＩＷが入力される。

　バンド画像ＤＩＮは図１のバンド画像と同様のものである。
　白色画像ＤＩＷは複数のバンド画像ＤＩＮの帯域をすべて含む帯域を持つ画像であり、参照画像として用いられる。白色画像ＤＩＷの帯域は、複数のバンド画像ＤＩＮの帯域をすべて合わせた帯域よりも広いことが望ましい。

　パラメータ算出部３２ｃは、白色画像ＤＩＷを解析し、白色画像ＤＩＷの各画素について、局所分散値又はエッジ量を画像特徴量として算出し、画像特徴量からフィルタパラメータＤ３２ｃを算出する。

　パラメータ算出部３２ｃにおける処理の内容は、図１のパラメータ算出部３２における処理と同様である。異なるのは、白色画像ＤＩＷを参照画像として用いてフィルタパラメータを求めている点である。

　フィルター処理部３３は、複数のバンド画像ＤＩＮに対して、フィルタパラメータＤ３２ｃを用いてエッジを保存しながら平滑化を行い、複数の出力画像ＤＯＵＴを生成する。
　フィルター処理部３３における処理の内容は、図１のフィルター処理部３３における処理と同様である。

　実施の形態３の画像処理装置３ｃでは、複数のバンド画像の帯域をすべて含む帯域を持つ白色画像を取得し、参照画像として用いることができる。従って、使用する光源の波長帯域数が少ない場合にも、十分な信号量が得られない波長帯域のバンド画像を含むマルチスペクトル画像を取得した際に、エッジを失うことなくマルチスペクトル画像のＳＮ比を向上させることができる。

実施の形態４．
　図９は、本発明の実施の形態４の画像処理装置３ｄを示す。
　図示の画像処理装置３ｄは、図８の画像処理装置３ｃと概して同じであるが、バンドパスフィルター群３４を備える。また、画像処理装置３ｄには、複数のバンド画像ＤＩＮが入力されず、白色画像ＤＩＷのみが入力される。

　バンドパスフィルター群３４は、白色画像を入力として、互いに異なる波長帯域を通過させる複数のバンドパスフィルターを有し、バンドパスフィルター群３４からは、互いに波長帯域の異なる複数のバンド画像Ｄ３４が出力される。

　上記の実施の形態１～３では、波長帯域の異なる複数のバンド光源により原稿が順次照射されているときに、撮像を行うことで、複数のバンド画像ＤＩＮを順次取得している。これに対し、実施の形態４では、帯域の広い白色画像を互いに異なる波長帯域を通過させる複数のバンドパスフィルターを用いて複数のバンド画像ＤＩＮを生成している。

　フィルター処理部３３は、複数のバンド画像Ｄ３４に対して、フィルタパラメータＤ３２ｃを用いてエッジを保存しながら平滑化を行い、複数の出力画像ＤＯＵＴを生成する。

　実施の形態４でも実施の形態１～３と同様の効果が得られる。
　上記の実施の形態１～４では、画像処理装置が画像読み取り装置の一部を成すものである。しかしながら、本発明の画像処理装置は、画像読み取り以外の用途においても利用可能である。例えば、光学衛星或いは航空機から地上などを撮影する場合にも利用可能である。

　実施の形態１～４で説明した画像処理装置３、３ｂ、３ｃ及び３ｄは、その一部又は全部を処理回路で構成し得る。
　例えば、画像処理装置の各部分の機能をそれぞれ別個の処理回路で実現してもよいし、複数の部分の機能をまとめて１つの処理回路で実現しても良い。
　処理回路はハードウェアで構成されていても良くソフトウェアで、即ちプログラムされたコンピュータで構成されていても良い。
　画像処理装置の各部分の機能のうち、一部をハードウェアで実現し、他の一部をソフトウェアで実現するようにしても良い。

　図１０は、単一のプロセッサを含むコンピュータ９で上記の実施の形態の各々の画像処理装置３、３ｂ、３ｃ又は３ｄのすべての機能を実現する場合の構成の一例を、光源１及びイメージセンサー２とともに示す。

　図示の例ではコンピュータ９は、プロセッサ９１及びメモリ９２を有する。
　メモリ９２には、画像処理装置の各部の機能を実現するためのプログラムが記憶されている。

　プロセッサ９１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）等を用いたものである。
　メモリ９２は、例えばＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）若しくはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の半導体メモリ、磁気ディスク、光ディスク、又は光磁気ディスク等を用いたものである。

　プロセッサ９１は、メモリ９２に記憶されているプログラムを実行することにより、画像処理装置の機能を実現する。

　図１０で示されるコンピュータで、実施の形態１又は２の画像処理装置における処理を実施する場合の手順を図１１を参照して説明する。

　ステップＳＴ１１では、複数のバンド画像ＤＩＮを入力する。
　ステップＳＴ１２では、複数のバンド画像ＤＩＮを合成して参照画像ＭＳｒを生成する。この処理は、画像合成部３１又は３１ｂについて説明したように行われる。

　ステップＳＴ１３では、参照画像ＭＳｒを解析して局所分散値又はエッジ量を画像特徴量として算出し、画像特徴量からフィルタパラメータＤ３２を算出する。この処理は、パラメータ算出部３２について説明したように行われる。

　ステップＳＴ１４では、複数のバンド画像ＤＩＮに対して、フィルタパラメータＤ３２を用いてエッジを保存しながら平滑化を行う。この処理は、フィルター処理部３３について説明したように行われる。

　図１０で示されるコンピュータで、実施の形態３の画像処理装置における処理を実施する場合の手順を図１２を参照して説明する。
　図１２で図１１と同様の処理は同じ符号で示されている。

　ステップＳＴ１１では、複数のバンド画像ＤＩＮを入力する。
　ステップＳＴ２２では、白色画像ＤＩＷを入力する。

　ステップＳＴ１３ｃでは、白色画像ＤＩＷを解析して局所分散値又はエッジ量を画像特徴量として算出し、画像特徴量からフィルタパラメータＤ３２ｃを算出する。この処理は、パラメータ算出部３２ｃについて説明したように行われる。

　ステップＳＴ１４では、複数のバンド画像ＤＩＮに対して、フィルタパラメータＤ３２ｃを用いてエッジを保存しながら平滑化を行う。この処理は、フィルター処理部３３について説明したように行われる。

　図１０で示されるコンピュータで、実施の形態４の画像処理装置における処理を実施する場合の手順を図１３を参照して説明する。
　図１３で図１１又は図１２と同様の処理は同じ符号で示されている。

　ステップＳＴ２２では、白色画像ＤＩＷを入力する。
　ステップＳＴ１３ｃでは、白色画像ＤＩＷを解析して局所分散値又はエッジ量を画像特徴量として算出し、画像特徴量からフィルタパラメータＤ３２ｃを算出する。この処理は、パラメータ算出部３２ｃについて説明したように行われる。

　ステップＳＴ３３では、白色画像ＤＩＷに対して互いに異なる波長帯域を通過させるバンドパスフィルタリングを行なって、複数のバンド画像Ｄ３４を生成する。この処理は、バンドパスフィルター群３４について説明したように行われる。
　ステップＳＴ３３の処理は、ステップＳＴ１３ｃの処理と並行して行い得る。

　ステップＳＴ１４では、複数のバンド画像Ｄ３４に対して、フィルタパラメータＤ３２ｃを用いてエッジを保存しながら平滑化を行う。この処理は、フィルター処理部３３について説明したように行われる。

　以上本発明の画像処理装置について説明したが、上記の画像処理装置で実施される画像処理方法もまた本発明の一部を成す。また、上記の画像処理装置、又は画像処理方法における処理をコンピュータに実行させるプログラム及び該プログラムを記録した、コンピュータで読取可能な記録媒体、例えば非一時的な記録媒体もまた本発明の一部を成す。

　本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではない。

　１　光源、　２　イメージセンサー、　３，３ｂ，３ｃ,３ｄ　画像処理装置、　３１　画像合成部、　３２，３２ｃ　パラメータ算出部、　３３　フィルター処理部、　３４　バンドパスフィルター群、　３１１　ノイズ量算出部、　３１２，３１２ｂ　加重合成部、　３１３　相関算出部。

Claims (15)

1. 　マルチスペクトル画像を構成する複数のバンド画像と同じ視野の参照画像を解析して局所分散値又はエッジ量を画像特徴量として算出し、前記画像特徴量からフィルタパラメータを算出するパラメータ算出部と、
   　前記フィルタパラメータを用いて前記バンド画像に対してエッジ保存型平滑化処理を行うフィルター処理部と
   　を備えることを特徴とする画像処理装置。
2. 　前記複数のバンド画像は、比較的狭い帯域の複数の光源で被写体が順次照射されている間に撮像を行うことにより取得される
   　ことを特徴とする請求項１に記載の画像処理装置。
3. 　前記複数の光源は、可視光の波長帯域の光源、紫外光の波長帯域の光源、及び近赤外光の波長帯域の光源とを含む
   　ことを特徴とする請求項２に記載の画像処理装置。
4. 　前記複数のバンド画像を合成して前記参照画像を生成する画像合成部をさらに備える
   　ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 　前記画像合成部は、前記複数のバンド画像の各々についてノイズ量を算出し、前記ノイズ量が少ないバンド画像の合成重みが大きくなるように前記合成を行うことで前記参照画像を生成する
   　ことを特徴とする請求項４に記載の画像処理装置。
6. 　前記画像合成部は、前記複数のバンド画像の各々について、ターゲットとする波長帯域のバンド画像との画像相関を算出し、前記画像相関が大きいバンド画像の合成重みが大きくなるように前記合成を行うことで前記参照画像を生成する
   　ことを特徴とする請求項４に記載の画像処理装置。
7. 　前記画像合成部は、前記複数のバンド画像の各々について、ターゲットとする波長帯域のバンド画像との波長の差に基づいて前記画像相関を算出する
   　ことを特徴とする請求項６に記載の画像処理装置。
8. 　前記画像合成部は、前記複数のバンド画像の各々について、ターゲットとする波長帯域のバンド画像との類似度を前記画像相関として算出する
   　ことを特徴とする請求項６に記載の画像処理装置。
9. 　前記画像合成部は、前記画像相関を画素毎に算出し、算出した画像相関に基づいて前記合成重みを画素毎に定めて前記合成を行う
   　ことを特徴とする請求項８に記載の画像処理装置。
10. 　前記参照画像は、前記複数のバンド画像の帯域をすべて含む帯域を持つ白色画像である
    　ことを特徴とする請求項１に記載の画像処理装置。
11. 　前記複数のバンド画像は、前記複数のバンド画像の帯域をすべて含む帯域を持つ白色画像を入力とし、互いに異なる波長帯域の複数のバンドパスフィルターを通過させることにより取得される
    　ことを特徴とする請求項１に記載の画像処理装置。
12. 　原稿を照射する光源と、
    　原稿を撮像するイメージセンサーと、
    　前記イメージセンサーによる撮像で得られた画像を処理する請求項１から１１のいずれか１項に記載の画像処理装置と
    　を有する画像読み取り装置。
13. 　マルチスペクトル画像を構成する複数のバンド画像と同じ視野の参照画像を解析して局所分散値又はエッジ量を画像特徴量として算出し、前記画像特徴量からフィルタパラメータを算出し、
    　前記フィルタパラメータを用いて前記バンド画像に対してエッジ保存型平滑化処理を行う
    　ことを特徴とする画像処理方法。
14. 　請求項１３に記載の画像処理方法における処理をコンピュータに実行させるためのプログラム。
15. 　請求項１４に記載のプログラムを記録した、コンピュータで読取可能な記録媒体。

Images