JP3819187B2 - Spectral estimation method and spectral estimation system for spectral reflectance of multiband image - Google Patents

Description

【数２】

【数３】

【０００５】
また、分光反射率のスペクトル推定装置では、上記推定方法の他に、撮影被写体固有のスペクトル波形からなる固有ベクトルを予め求めておき、この固有ベクトルを用いて、分光反射率のスペクトル分布を推定するといった主成分分析法も用いられている。
【０００６】
【発明が解決しようとする課題】
しかし、前者の推定方法では、チャンネル数ｎが被写体分光反射率の測定点数ｍに等しい場合、上述したように分光反射率のスペクトル分布を解析的に求めることができるが、より精度の高い分光反射率のスペクトル推定を行うには、被写体分光反射率の測定点数ｍおよびチャンネル数ｎを増やして、行列のサイズを大きくしなければならず、そのため、式（２）の行列Ｆの逆行列を求めるのに時間がかかり、Ｏ（λ_k ）を比較的短時間に得ることができない。また、Wiener推定方法でも、行列Ｆの疑似逆行列に相当する推定行列Ｇがｍ×ｎ行列となって行列のサイズが大きくなり、推定行列Ｇを計算するのに時間がかかる。その結果、被写体の分光反射率のスペクトルを推定するのに多大な時間を要する不都合が生じる。
また、後者の主成分分析による推定方法では、撮影被写体がわかっていれば、固有ベクトルを用いて精度良く分光反射率のスペクトル分布を推定することができるものの、撮影被写体が固定されず、固有ベクトルがわからない場合、推定される分光反射率のスペクトル分布の精度は悪くなるといった問題もあった。
【０００７】
また、本来、分光反射率のスペクトルは、滑らかな曲線によって表されるものであり、上記方法で得られたスペクトルは、チャンネル毎の波長領域の分光反射率によって表されるため、波長の数を増やす補間を行い滑らかな曲線に近づけるのが望ましいが、線型な補間を行うため滑らかなスペクトルを得ることができなかった。
さらに、波長可変フィルタとして用いられる液晶チューナブルフィルタの分光透過率は、ピーク波長及び半値幅が液晶の温度によって変化する温度依存性を有するため、撮影時の温度変化を考慮せず分光反射率のスペクトルを推定する従来の分光反射率のスペクトル推定方法では、不正確な分光反射率のスペクトルしか得られなかった。
【０００８】
このように、分光反射率のスペクトルを推定する際、行列サイズの大きな逆行列を求めるためこの処理に計算時間がかかり、さらにその処理方法も煩雑であった。また、被写体分光反射率の測定点数ｍがチャンネル数ｎに比べて多い場合に用いられる最小自乗法によるWiener推定方法は、撮影されたマルチバンド画像を構成する原画像内に含まれるノイズ成分を最小自乗法によって抑制するために用いるのではなく、推定する分光反射率のスペクトルの推定点数を増やすためにのみ用いられ、しかも、疑似逆行列を求める際の行列サイズが大きくなり、多大な処理時間を必要とした。
また、主成分分析による方法では、上述したように予め揃えた固有スペクトルによって表されない撮影被写体の場合、スペクトルの推定精度が悪かった。
さらに、滑らかな曲線である分光反射率のスペクトルに合わせて推定されたスペクトルの波長の数を直線補間によって増やすと、本来の曲線と異なり凹凸のあるスペクトル分布しか得られなかった。
さらに、波長可変フィルタとして液晶チューナブルフィルタを用いた場合、液晶チューナブルフィルタの分光透過率のピーク波長および半値幅に温度依存性があるため、推定された分光反射率のスペクトルは不正確であった。
【０００９】
そこで、本発明は、上記問題点を解決すべく、波長可変フィルタを用いてマルチバンド画像を撮影し、これを用いて撮影被写体の分光反射率のスペクトルを推定する際に、実効的にスペクトルの推定精度を落すことなく、推定スペクトルを求める処理時間を短縮するマルチバンド画像の分光反射率のスペクトル推定方法およびスペクトル推定システムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明は、波長可変フィルタを用いて、撮影波長領域を複数チャンネルに分割し、各チャンネルに対応して同一の被写体を撮影手段により撮影した複数の原画像から成るマルチバンド画像を得、このマルチバンド画像から前記被写体の分光反射率のスペクトルを推定する方法であって、前記波長可変フィルタは、チャンネル数が１０チャンネル以上であって、全チャンネルの分光透過率分布の平均波長半値幅が４０ｎｍ以下である波長可変フィルタであり、前記チャンネル毎に、分光反射率が既知のチャートを撮影して得られる画像データ値を前記分光反射率と対応させた変換テーブルを予め作成し、マルチバンド画像の各チャンネルの原画像の画像データ値から前記変換テーブルを用いて、分光反射率に変換することによって、被写体の分光反射率のスペクトルを推定し、さらに、推定された前記被写体の分光反射率のスペクトル分布に対して、前記チャンネルの波長領域での前記波長可変フィルタの分光透過率分布と、前記撮影手段の分光感度分布と、撮影時の撮影照明光の分光強度分布との積によって定まる１つの装置関数を用いて、フーリエ変換によるデコンボリューション処理を行って被写体の分光反射率のスペクトルを較正し、前記波長可変フィルタにおける１チャンネルの分光透過率分布を基準分布とし、この基準分布における半値幅を基準半値幅としたとき、前記基準半値幅に対して前記波長可変フィルタが広い半値幅の分光透過率分布を持つチャンネルには、前記デコンボリューション処理を行う前に前記被写体の分光反射率のスペクトルの波長を圧縮し、前記基準分布の形状を用いた装置関数と前記圧縮したスペクトルとを用いて前記デコンボリューション処理を行い、一方、前記基準半値幅に対して前記波長可変フィルタが狭い半値幅の分光透過率分布を持つチャンネルには、前記デコンボリューション処理を行う前に、前記被写体の分光反射率のスペクトルの波長を伸張し、前記基準分布の形状を用いた装置関数と前記伸張したスペクトルとを用いて前記デコンボリューション処理を行い、さらに、前記デコンボリューション処理を行った後に、前記波長の圧縮または伸張に対応して、デコンボリューション処理によって得られた被写体の分光反射率のスペクトルの波長を伸張または圧縮する逆変換を施すことを特徴とするマルチバンド画像の分光反射率のスペクトル推定方法を提供する。ここで、波長可変フィルタとは、１素子で電気的に分光透過率を瞬時に変化させるフィルタを指す。
【００１１】
その際、前記波長可変フィルタは、液晶チューナブルフィルタであるのが好ましく、また、前記デコンボリューション処理は、推定した前記分光反射率のスペクトルにフーリエ変換を行って算出された関数を、前記装置関数にフーリエ変換を行って算出された関数で割り、その結果に対して逆フーリエ変換を行う処理であるのが好ましい。ここで、液晶チューナブルフィルタとは、複屈折結晶素子と液晶素子を偏向板によって挟んだ構造を複数段持ち、液晶の複屈折率効果を利用して、機械的な稼働部を用いず、電気的に透過率の中心波長が任意に選択できる液晶フィルタ（Lyot型）である。フーリエ変換を用いる場合、ＦＦＴを利用するのが好ましい。また、前記装置関数は、前記チャンネルによって撮影される波長領域の中心波長から上下５０ｎｍの範囲内で値を有する装置関数が選択されるのが好ましい。
【００１２】
また、前記デコンボリューション処理を行う際に、波長可変フィルタの温度依存性を補償するフィルタ温度補正を分光反射率に対して行うのが好ましい。また、前記フィルタ温度補正は、分光反射率分布が既知で、カラーチャートを撮影し、これを用いてカラーチャートの分光反射率分布を求め、この求めた分光反射率分布の波形と既知の前記分光反射率の波形とが一致する波長のシフト量を求め、この求めたシフト量に応じて、前記装置関数のピーク波長および半値幅の補正を行うのが好ましい。
また、前記波長可変フィルタは、液晶部を備える液晶チューナブルフィルタであり、前記フィルタ温度補正は、前記液晶チューナブルフィルタの前記液晶部に接する温度計から得られる前記液晶部の温度とこの液晶チューナブルフィルタの分光透過率分布との関係を予め特性データとして記憶し、マルチバンド画像の撮影の際の前記液晶部の温度から、液晶チューナブルフィルタの分光透過率分布の波長のシフト量を求め、このシフト量に応じて、前記装置関数を補正するものであってもよい。
【００１３】
さらに、本発明は、波長可変フィルタを用いて、撮影波長領域を複数チャンネルに分割し、各チャンネルに対応して同一の被写体を撮影手段により撮影した複数の原画像から成るマルチバンド画像を得、このマルチバンド画像から前記被写体の分光反射率のスペクトルを推定する方法であって、前記波長可変フィルタは、チャンネル数が１０チャンネル以上であって、全チャンネルの分光透過率分布の平均波長半値幅が４０ｎｍ以下である波長可変フィルタであり、前記チャンネル毎に、分光反射率が既知のチャートを撮影して得られる画像データ値を前記分光反射率と対応させた変換テーブルを予め作成し、
マルチバンド画像の各チャンネルの原画像の画像データ値から前記変換テーブルを用いて、分光反射率に変換することによって、被写体の分光反射率のスペクトルを推定し、さらに、推定された前記被写体の分光反射率のスペクトル分布に対して、前記チャンネルの波長領域での前記波長可変フィルタの分光透過率分布と、前記撮影手段の分光感度分布と、撮影時の撮影照明光の分光強度分布との積によって定まる１つの装置関数を用いて、デコンボリューション処理を行って被写体の分光反射率のスペクトルを較正し、前記波長可変フィルタにおける１チャンネルの分光透過率分布を基準分布とし、この基準分布における半値幅を基準半値幅としたとき、前記基準半値幅に対して前記波長可変フィルタが広い半値幅の分光透過率分布を持つチャンネルには、前記デコンボリューション処理を行う前に前記被写体の分光反射率のスペクトルの波長を圧縮し、前記基準分布の形状を用いた装置関数と前記圧縮したスペクトルとを用いて前記デコンボリューション処理を行い、一方、前記基準半値幅に対して前記波長可変フィルタが狭い半値幅の分光透過率分布を持つチャンネルには、前記デコンボリューション処理を行う前に、前記被写体の分光反射率のスペクトルの波長を伸張し、前記基準分布の形状を用いた装置関数と前記伸張したスペクトルとを用いて前記デコンボリューション処理を行い、さらに、前記デコンボリューション処理を行った後に、前記波長の圧縮または伸張に対応して、デコンボリューション処理によって得られた被写体の分光反射率のスペクトルの波長を伸張または圧縮する逆変換を施すことを特徴とするマルチバンド画像の分光反射率のスペクトル推定方法を提供する。
前記デコンボリューション処理を行う前に、前記被写体の分光反射率のスペクトルに対して、各チャンネルの中心波長間を非線形な内挿補間によって分光反射率のスペクトルのデータ数を増やし、 この増加した分光反射率のスペクトルを用いて、前記デコンボリューション処理を行うのが好ましい。なお、データ数の増加した前記分光反射率のスペクトルは、波長間隔が１０ｎｍ以下であるのが好ましい。
【００１５】
また、本発明は、被写体を撮影する撮影手段と、前記撮影手段で被写体を撮影する際に、撮影波長領域を複数チャンネルに分割し、このチャンネルに対応した波長領域で被写体の反射光を透過する波長可変フィルタと、前記チャンネル毎に、分光反射率が既知のチャートを撮影して得られる画像データ値を前記分光反射率と対応させた変換テーブルを予め作成し、前記撮影手段および前記波長可変フィルタを用いて撮影されたマルチバンド画像の各チャンネルの原画像の画像データ値から前記変換テーブルを用いて、分光反射率に変換することによって、被写体の分光反射率のスペクトルを推定する分光反射率スペクトル推定装置と、を備え、前記分光反射率スペクトル推定装置は、さらに、推定された前記被写体の分光反射率のスペクトル分布に対して、前記チャンネルの波長領域での前記波長可変フィルタの分光透過率分布と、前記撮影手段の分光感度分布と、撮影時の撮影照明光の分光強度分布との積によって定まる１つの装置関数を用いて、デコンボリューション処理を行って被写体の分光反射率のスペクトルを較正し、前記被写体の分光反射率のスペクトルを較正する際、前記波長可変フィルタにおける１チャンネルの分光透過率分布を基準分布とし、この基準分布における半値幅を基準半値幅としたとき、前記基準半値幅に対して広い半値幅の分光透過率分布を持つチャンネルには、前記デコンボリューション処理を行う前に前記被写体の分光反射率のスペクトルの波長を圧縮し、前記基準分布の形状を用いた装置関数と前記圧縮したスペクトルとを用いて前記デコンボリューション処理を行い、一方、前記基準半値幅に対して狭い半値幅の分光透過率分布を持つチャンネルには、前記デコンボリューション処理を行う前に、前記被写体の分光反射率のスペクトルの波長を伸張し、前記基準分布の形状を用いた装置関数と前記伸張したスペクトルとを用いて前記デコンボリューション処理を行い、さらに、前記デコンボリューション処理を行った後に、前記波長の圧縮または伸張に対応して、デコンボリューション処理によって得られた被写体の分光反射率のスペクトルの波長を伸張または圧縮する逆変換を施すことを特徴とするマルチバンド画像のスペクトル推定システムを提供するものである。
【００１６】
【発明の実施の形態】
以下、本発明のマルチバンド画像の分光反射率のスペクトル推定方法およびスペクトル推定システムについて、添付の図面に示される好適実施例を基に詳細に説明する。
【００１７】
図１は、本発明のマルチバンド画像の分光反射率のスペクトル推定方法を実施し、また本発明のマルチバンド画像の分光反射率のスペクトル推定システムの一例でもあるマルチバンド画像分光反射率のスペクトル推定システム（以降、本システムという）１０を示す。
本システム１０は、同一被写体を、波長領域が異なる少なくとも１０チャンネル以上で撮影する撮影手段としてのＣＣＤカメラ１２と、ＣＣＤカメラ１２で被写体を撮影する際に、チャンネルに対応する波長領域で被写体反射光を透過する波長可変フィルタとしての液晶チューナブルフィルタ１４と、撮影被写体の分光反射率のスペクトルを推定する分光反射率スペクトル推定装置１６とを有して構成される。
【００１８】
ＣＣＤカメラ１２は、複数のチャンネル、例えば１６チャンネルの各チャンネル毎に特定波長領域で光を透過するように、分光透過率分布が制御された後述する液晶チューナブルフィルタ１４を介して得られる透過光を、エリア状に配列したＣＣＤ素子の受光面で結像させ、波長領域の異なる各チャンネルごとに撮影被写体を撮影した原画像を得る撮影手段である。すなわち、チャンネル数が１６チャンネルであれば、１６枚の原画像が得られる。
ＣＣＤカメラ１２の画素数や画素サイズは制限されず、公知のサイズ、例えば１０２４×１０２４ピクセルであり、公知の画素サイズ、例えば１２×１２μｍであってもよい。
【００１９】
液晶チューナブルフィルタ１４は、複数のチャンネル毎に特定波長領域で撮影被写体からの反射光を透過することができるように、制御電圧を制御することによって所望のバンドパスフィルタとしての特性を得る波長可変フィルタであり、チャンネル数が１０以上であって、全チャンネルの分光透過率分布の平均波長半値幅が４０ｎｍ以下のものである。チャンネル数としては、上限８０程度、半値幅の下限は５ｎｍ程度が好ましい。半値幅としては、更に１５〜３５ｎｍであることが好ましい。
液晶チューナブルフィルタ１４は、オペレータの設定したチャンネル数および各チャンネルに対応した波長領域に対応して、例えば、図２に示すようなピーク値を持つバンドパスフィルタを得ることができる。図２では、４１０〜７１０ｎｍの撮影波長領域を１６のチャンネルで分割した例を示している。このように、液晶チューナブルフィルタ１４によって各チャンネル毎に設けられたバンドパスフィルタを透過した被写体の反射光は特定波長の透過光として、ＣＣＤカメラ１２で受光され出力信号が得られる。なお、従来のマルチバンド画像を得るためのフィルタのチャンネル数は、６〜８チャンネルであるが、液晶チューナブルフィルタ１４においては、チャンネル数を１２チャンネル以上とすることができる。本実施例では、液晶チューナブルフィルタ１４を波長可変フィルタとして用いているが、１素子で電気的に分光透過率を瞬時に変化させるフィルタであればいずれであってもよく、液晶チューナブルフィルタ１４の替わりに音響光学フィルタを用いてもよい。
【００２０】
分光反射率スペクトル推定装置１６は、ＣＣＤカメラ１２で受光して得られた出力信号をＡ／Ｄ変換してデジタル画像データを得、ＤＣオフセットの補正等を行って、マルチバンド画像を構成する原画像の画像データとするデータ処理部１８と、マルチバンド画像の撮影時に同時に撮影された分光反射率が既知のマクベスチャートの画像からグレーパッチの画像データ値、すなわちＱＬ値とこの既知の分光反射率の値との関係を対応付けて作成した１次元ルックアップテーブル（以降、ルックアップテーブルをＬＵＴという）２０と、データ処理部１８で得られた原画像の画像データ値であるＱＬ値から、１次元ＬＵＴ２０を用いて分光反射率の値に変換し、分光反射率を推定する分光反射率スペクトル算出部２２と、得られた分光反射率の値のノイズ成分を除去するノイズ除去処理部２４と、後述するフィルタ温度の補正を波長のシフト量で調整する波長シフト処理部２５と、分光反射率スペクトル算出部２２で得られた分光反射率の各波長間を直線補間して、チャンネル数を増加する内挿補間処理部２６と、液晶チューナブルフィルタ１４のバンドバスフィルタとしての特性である半値幅に応じて、分光反射率スペクトル算出部２２で得られた分光反射率の波長を圧縮または伸張する圧縮・伸張処理部２８と、マルチバンド画像の撮影時に同時に撮影されたマクベスチャートの中から、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の色ように彩度が高く分光反射率が波長に対して急激に変化するパッチの分光反射率をデータとして備え、後述するフィルタ温度補正部３２で温度補正を行うために用いる温度補正用分光反射率データ部３０と、液晶チューナブルフィルタ１４の温度補正を行うフィルタ温度補正部３２と、液晶チューナブルフィルタ１４のバンドバスフィルタとしての特性である半値幅の各チャンネル間での重なりによって鈍った分光反射率のスペクトル分布のシャープネス劣化復元処理（デコンボリューション処理）を行い、較正した分光反射率のスペクトルを得るデコンボリューション処理部３４と、圧縮・伸張処理部２８で行った波長の圧縮または伸張に対応して、較正された分光反射率のスペクトルの波長を伸張または圧縮して復元する伸張・圧縮逆変換部３６とを主に備える。
【００２１】
本実施例における分光反射率スペクトル推定装置１６を構成する上記各構成部はソフトウェアの機能として、コンピュータで実行されるものであるが、ソフトウェアに限られず、構成部の一部または全部の機能が、ハードウェアで実施されるものであってもよい。
【００２２】
データ処理部１８は、ＣＣＤカメラ１２で受光して得られた出力信号をＡ／Ｄ変換してディジタル画像データを得、ＤＣオフセットの補正を行って、次いで暗時補正をかけ、この後、画像データをＬＯＧ変換し、シェーディング補正を行い、マルチバンド画像を構成する原画像の画像データのＱＬ値を得る部分である。得られた原画像のＱＬ値は、分光反射率スペクトル算出部２２に送られる。
【００２３】
１次元ＬＵＴ２０は、被写体撮影時に、ＣＣＤカメラ１２および液晶チューナブルフィルタ１４を用いて、被写体撮影時のチャンネル数および波長領域と同じマルチバンド画像としてマクベスチャートを撮影し、得られたマクベスチャートの画像のうち６段目の分光反射率が既知のグレーパッチのＱＬ値と、この既知の分光反射率とを対応させたマクベス１次元ＬＵＴを備える部分であり、分光反射率スペクトル算出部２２で分光反射率を算出する際に、１次元ＬＵＴ２０で作成されたＬＵＴが参照される。なお、本発明において用いられるチャートはマクベスチャートに限られず、分光反射率が既知であるチャートであればいずれであってもよい。
【００２４】
分光反射率スペクトル算出部２２は、データ処理部１８で得られた被写体を撮影した原画像の画像データのＱＬ値から、１次元ＬＵＴ２０を参照して分光反射率の値に変換し、分光反射率を得る部分である。
１次元ＬＵＴ２０に参照データが存在しない場合は、内挿補間あるいは外挿補外等によって分光反射率の値を求めるが、内挿補間や外挿補外の方法は特に限定されず、公知の方法、たとえば直線補間やラグランジェ補間等の公知の方法が可能である。得られた分光反射率のデータは、ノイズ除去処理部２４に送られる。
【００２５】
ノイズ除去処理部２４は、原画像に含まれるノイズ成分を除去する処理部であり、短波長側のチャンネルの原画像では、ノイズ除去の強度を強くし、長波長側のチャンネルの原画像では、ノイズ除去の強度を弱くするように構成される。このように構成するのは、液晶チューナブルフィルタ１４の分光透過率が、図２に示すように、短波長側のチャンネルでは透過率が低く、十分な光量を確保できず、ノイズを拾い易く、一方、長波長側のチャンネルでは透過率が高く、十分な光量を確保できノイズ成分を拾い難いためである。
ノイズ除去の方法として、特に制限されず、例えば、分光透過率のピーク値が０．１以下になれば、自動的にメディアンフィルタをｏｎ−ｏｆｆ的に使用する方法が挙げられる。
ノイズ除去された分光反射率のデータは、波長シフト処理部２５に送られる。
【００２６】
波長シフト処理部２５は、ノイズ除去された分光反射率のデータについて、液晶チューナブルフィルタ１４の温度に起因する温度補正を波長のシフト量によって調整する部分であり、後述するフィルタ温度補正部３２で得られたシフト量Δλを用いて波長シフト処理を行う。その後、内挿補間処理部２６に送られる。
【００２７】
内挿補間処理部２６は、最終的に推定された分光反射率のスペクトル分布が凹凸のない滑らかな曲線として得られるために、分光反射率スペクトル算出部２２で得られた分光反射率のスペクトル分布の波長間をスプライン補間やラグランジェ補間等により非線形に補間し、分光反射率のスペクトル分布のデータを、例えば１０ｎｍ以下の波長間隔に細かくする。
また、直線補間して、分光反射率のスペクトル分布のデータを細かくしてチャンネル数を増加しもよい。この場合、直線補間による凸凹の曲線であっても、後述するフーリエ変換および逆フーリエ変換によって較正された分光反射率のスペクトル分布は、滑らかな曲線となるからである。
内挿補間してデータを細かくした分光反射率のスペクトル分布は、圧縮・伸張変換部２８に送られる。
【００２８】
圧縮・伸張処理変換部２８は、分光反射率スペクトル算出部２２で得られた分光反射率のスペクトル分布の波長を、図２に示すような液晶チューナブルフィルタ１４の波長の変化と共に変化する分光透過率のスペクトル分布の半値幅に応じて、被写体の分光反射率のスペクトルの波長を圧縮または伸張する部分である。すなわち、液晶チューナブルフィルタ１４の波長と共に変化する分光透過率のスペクトル分布の半値幅の、基準となる半値幅に対する比率によって、分光反射率スペクトル算出部２２で得られた分光反射率のスペクトル分布の波長を圧縮または伸張する。基準となる半値幅とは、例えば、撮影の際の全チャンネルによって被われる波長領域の中心波長、例えば、図２の例では、１６チャンネルによって被われる４１０〜７１０の波長領域の中心波長５５０ｎｍであり、この中心波長から５０ｎｍの範囲に含まれる分光透過率のスペクトル分布、例えば図２の例では、分光透過率のスペクトル分布Ａ、の半値幅である。
このように、分光透過率の半値幅に応じて分光反射率のスペクトル分布の波長を変化させるのは、後述するデコンボリューション処理において用いる、波長によって変化する装置関数を、波長に応じて各チャンネルごとに持つ必要がなく、１つの装置関数を用いて容易にデコンボリューション処理を行うことができるからである。圧縮または伸張の倍率は、波長によって変化し、例えば図２のような、分光透過率分布を持つ場合、高波長側で半値幅が広いため圧縮率が高く、低周波側では半値幅が狭いため逆に伸張率を高く、この間の領域は、波長に応じて圧縮倍率や伸張倍率が滑らかに変化する。
【００２９】
一方、温度補正用分光反射率データ部３０は、分光反射率が既知のパッチを、液晶チューナブルフィルタ１４を用いて撮影した際の分光反射率のスペクトル分布を求める部分であり、後述するように、液晶チューナブルフィルタ１４の液晶温度の変化によって変化する分光透過率分布の波長シフト量を求めるために用いられる。
温度補正用分光反射率データ部３０は、１次元ＬＵＴ２０でマクベスグレー１次元ＬＵＴを作成する際に用いたマクベスチャートの画像を用い、マクベスチャートの画像うち分光反射率が既知のＲ、ＧおよびＢの色相のパッチの画像の分光反射率のスペクトル分布をマクベスグレー１次元ＬＵＴを用いて得る。Ｒ、ＧおよびＢの色相のパッチの分光反射率のスペクトル分布を求めるのは、彩度が高く、分光反射率のスペクトル分布が波長に対して急激に変化するため、波長のシフト量を容易に求めることができるからである。
なお、マクベスグレー１次元ＬＵＴを作成する際や温度補正用分光反射率データ部２６で使用する際に用いられるマクベスチャートの画像は、被写体撮影時に被写体と共に撮影してもよい。また、本発明において用いられるチャートの画像はマクベスチャートの画像に限られず、分光反射率が既知であり、彩度が高く、分光反射率のスペクトル分布が波長に対して急激に変化するパッチを備えるチャートの画像であればよい。
【００３０】
フィルタ温度補正部３２は、温度補正用分光反射率データ部３０で求めたＲ、ＧおよびＢの色相のパッチの分光反射率のスペクトル分布とこのパッチに対応した既知の分光反射率のスペクトル分布とを比較して、温度による波形のシフト量を得る部分である。フィルタ温度補正部３２で得られたシフト量は、後述するように、波長シフト処理部２５で行われる波長シフト処理の際に用いる波長シフト量Δλを選択する際に用いられる。
得られた温度による波形のシフト量は、波長シフト処理部２５に送られる。
【００３１】
なお、内挿補間処理部２６で処理された分光反射率のスペクトル分布は、オペレータの指示により、圧縮・伸張変換部２８で液晶チューナブルフィルタ１４の分光透過率の波長特性に応じて行う圧縮・伸張処理が施されることなく、デコンボリューション処理部３４に送られてもよい。また、図示されないが、分光反射率スペクトル算出部２２から直接デコンボリューション処理部３４へ、また、ノイズ除去処理部２４からデコンボリューション処理部３４へ、分光反射率のスペクトル分布を送ってもよい。
【００３２】
デコンボリューション処理部３４は、分光反射率スペクトル算出部２２で推定された、波形の鈍った被写体の分光反射率のスペクトル分布を、装置関数を用いて較正し、測定装置の特性によらない被写体固有の分光反射率のスペクトル分布Ｏ（λ）を得る部分である。
すなわち、液晶チューナブルフィルタ１４の分光透過率分布は、図２に示されるように、分光透過率分布の裾野の広がりによって、その近傍に位置する分光透過率分布の裾野の部分と重なり合うため、分光反射率スペクトル算出部２２で推定された被写体の分光反射率のスペクトル分布は波形が鈍ってしまう。そのため、より鮮明なスペクトル分布を得るために、液晶チューナブルフィルタ１４の分光透過率分布と、撮影するカメラの分光感度分布（光学系の分光透過率を含む分光感度分布）と、撮影時の撮影照明の分光強度分布との積によって定まる装置関数ｈ（λ）を用いて、以下の処理を行うように構成される。
【００３３】
装置関数ｈ（λ）は、液晶チューナブルフィルタ１４の分光透過率分布と、撮影するカメラの分光感度分布（光学系の分光透過率を含む分光感度分布）と、撮影時の撮影照明の分光強度分布との積によって表される。液晶チューナブルフィルタ１４の分光透過率分布は、波長によって、すなわちチャンネルによって図２のような異なる分布を持つが、図の例では、全チャンネルによって被われる波長領域４１０ｎｍ〜７１０ｎｍの中心波長５５０ｎｍから上下５０ｎｍ範囲内で値を有する分光透過率分布Ａを代表関数とし、これに撮影するカメラの分光感度分布（光学系の分光透過率を含む分光感度分布）と、撮影時の撮影照明の分光強度分布との積により規定される装置関数ｈ（λ）を設定する。
そして、この装置関数ｈ（λ）関数および分光反射率スペクトル算出部２２で推定された、波形の鈍った被写体の分光反射率のスペクトル分布Ｉ（λ）とをそれぞれフーリエ変換して、Ｆ［ｈ（λ）］およびＦ［Ｉ（λ）］（Ｆ［ ］はフーリエ変換を表す）の関数を得、これより、下記式（４）のような除算を行い、その後逆フーリエ変換を行って、液晶チューナブルフィルタ１４やＣＣＤカメラ１２の装置の特性によらない被写体固有の分光反射率のスペクトル分布Ｏ（λ）を得る。
Ｏ（λ）＝ Ｆ^-1［（Ｆ［Ｉ（λ）］／Ｆ［ｈ（λ）］］］ （４）
フーリエ変換の方法は、ＦＦＴ（Fast Fourier Transformation ）の方法やフーリエ展開による方法等公知の手法による方法によって行うことができる。
【００３４】
このように、式（４）でデコンボリューション処理を行うのは、後述するように、被写体の分光反射率のスペクトル分布Ｉ（λ）が、液晶チューナブルフィルタ１４やＣＣＤカメラ１２等によるマルチバンド画像を撮影する装置の特性、例えば、液晶チューナブルフィルタ１４の分光透過率分布等によって、被写体固有の分光反射率のスペクトル分布Ｏ（λ）が鈍るからであり、この鈍った被写体の分光反射率のスペクトル分布Ｉ（λ）を、後述するように、装置の特性である装置関数ｈ（λ）を用いて装置の特性を除去して較正し、シャープネス劣化を復元した被写体固有の分光反射率のスペクトル分布Ｏ（λ）得るためである。
このフーリエ変換によるデコンボリューション処理方法は、装置関数をチャンネル毎に設けず、１つの装置関数ｈ（λ）を用いて処理を行うため、従来の式（２）による行列による方法のように波長可変フィルタの既知の分光透過率分布ｆ_i （λ）（ｉ＝１〜ｎ）をチャンネル毎に記憶して、チャンネル毎の装置関数を揃える必要がなく、装置関数ｈ（λ）を１つ用意するだけなので、処理が単純となり計算時間が短縮される。
【００３５】
また、本発明のマルチバンド画像の分光反射率のスペクトル推定方法で行われるデコンボリューション処理の方法は、式（４）により被写体固有の分光反射率のスペクトル分布Ｏ（λ）を得る方法のほかに、装置関数ｈ（λ）をフーリエ変換して得られる関数Ｆ［ｈ（λ）］をフーリエ面で逆数とし、これを逆フーリエ変換して得られる波形と被写体の分光反射率のスペクトル分布Ｉ（λ）との畳み込み積分を計算し（コンボリューション処理）、被写体固有の分光反射率のスペクトル分布Ｏ（λ）を求めるものであってもよい。
【００３６】
また、上記実施例は、フーリエ変換によるデコンボリューション処理方法であるが、本発明は、これに制限されず、従来のような、式（２）および式（３）による行列による計算を用いてもよく、その際、波長可変フィルタのチャンネル毎の既知の分光透過率分布ｆ_i （λ）（ｉ＝１〜ｎ）の中から、全チャンネルによって被われる波長領域の中心波長から上下５０ｎｍ範囲内で値を有する分光透過率分布を代表の分光透過率分布の関数とし、この関数と撮影するカメラの分光感度分布（ＣＣＤカメラの分光感度分布Ｓ（λ）と光学系の既知の分光透過率Ｌ（λ）の積）と、撮影時の撮影照明の分光強度分布Ｅ（λ）との積を求め、式（２）および式（３）によってデコンボリューション処理を行ってもよい。これによって、式（２）および式（３）の行列計算も容易に実施でき計算時間の短縮が可能となる。
【００３７】
特に、被写体の分光反射率のスペクトル分布Ｉ（λ）の測定点数ｍにチャンネル数ｎが等しくなるように、内挿補間処理部２６においてチャンネル数を増やして、被写体の分光反射率のスペクトル分布Ｉ（λ）の測定点数ｍに等しくし、式（２）の行列Ｆの逆行列を求めてもよい。これによって、式（２）の行列Ｆの逆行列を解析的にかつ短時間に求めることが可能となる。
得られた被写体固有の分光反射率のスペクトル分布は、伸張・圧縮逆変換部３６に送られる。
【００３８】
伸張・圧縮逆変換部３６は、圧縮・伸張変換部２８で施された波長の圧縮または伸張の処理を打ち消すように、逆の倍率を掛けて波長の伸張または圧縮の逆変換を行う部分である。
すなわち、圧縮・伸張変換部２８において分光透過率の半値幅に応じて分光反射率のスペクトル分布の波長を変化させ、その後デコンボリューション処理を行ったため、デコンボリューション処理後の較正された分光反射率のスペクトル分布の波長は依然として圧縮または伸張されたままである。そのため、被写体固有の分光反射率のスペクトル分布を、もとの波長に戻すために、圧縮・伸張変換部２８で施された圧縮または伸張の倍率を打ち消すように、逆の倍率を掛けて伸張または圧縮を行う。
このようにして、伸張または圧縮の逆変換を行い、被写体の較正済み分光反射率のスペクトル分布を得ることができる。
得られた被写体の較正済み分光反射率のスペクトル分布は、図示されないメモリ記憶部に保存される。
【００３９】
分光反射率スペクトル推定装置１６は、以上のように構成される。
次に、本発明のマルチバンド画像の分光反射率のスペクトル推定方法について説明する。
【００４０】
図３に、マルチバンド画像の分光反射率のスペクトル推定方法の一例の概要を説明する。
図３に示すように、マルチバンド画像の分光反射率のスペクトル推定方法は、例えば液晶チューナブルフィルタ１４およびＣＣＤカメラ１２からなるマルチバンドカメラによって被写体を撮影し、特定の波長領域ごとに設定されたチャンネルごとの原画像からなるマルチバンド画像の画像データ、すなわち、データ処理部１８においてＡＤ変換した画素単位のデジタルデータ値、すなわちＱＬ値、たとえば８ビットＡＤ変換では０〜２５５の整数値を得る。
【００４１】
一方、上記被写体の撮影時、または被写体の撮影の前後において、４段６列の公知のマクベスチャートを上記マルチバンドカメラで撮影し、マクベスチャートの分光反射率データをＱＬ値として得た後、マクベスチャート４段目の色相のないグレー階調のＱＬ値を、予めわかっている既知のグレー階調の分光反射率と対応させてマクベスグレー１次元ＬＵＴを作成する。この作成したマクベスグレー１次元ＬＵＴを用いて、被写体を撮影したマルチバンド画像のＱＬ値から被写体の分光反射率のスペクトル分布を推定する。
【００４２】
この推定された被写体の分光反射率のスペクトル分布に、必要に応じて、ノイズ除去処理や内挿補間処理や圧縮・伸張変換を行い、さらに、マクベスチャートの分光反射率データから、彩度が高く分光反射率が波長に対して急激に変化するＲ、ＧおよびＢのパッチの分光反射率をデータを用いて、必要に応じて、フィルタ温度補正（波長シフト）を行い、その後、スペクトルのシャープネス劣化復元処理（デコンボリューション処理）および伸張・圧縮逆変換を必要に応じて行い、較正済み分光反射率のスペクトル分布を得る。
【００４３】
すなわち、本発明のマルチバンド画像の分光反射率のスペクトル推定方法は、マクベスグレー１次元ＬＵＴを用いて、被写体を撮影したマルチバンド画像のＱＬ値から被写体の分光反射率のスペクトル分布を推定することを基本とし、より精度の高いスペクトル分布を得るために、デコンボリューション処理や内挿補間や圧縮伸張処理や温度補正を必要に応じて行う方法である。
【００４４】
図４は、図３で示すスペクトル推定方法を実施するマルチバンド画像分光反射率のスペクトル推定システム１０を基にして工程ごとに説明するフローの一例を示すフローチャートである。
【００４５】
まず、撮影波長領域を特定の波長領域ごとに図２に示されるように１６チャンネルに分割した液晶チューナブルフィルタ１４およびＣＣＤカメラ１２からなるマルチバンドカメラによって被写体を撮影し、液晶チューナブルフィルタ１４で設置された特定の波長領域ごとの原画像からなるマルチバンド画像の画像信号を得、分光反射率スペクトル推定装置１６のデータ処理部１８において８ビットのＡＤ変換を行い、ＤＣオフセットの補正、暗時補正、ＬＯＧ変換およびシェーディング補正を行って、１６チャンネルに対応する原画像の画素単位毎に０〜２５５の整数からなるＱＬ値を得、マルチバンド画像の画像データを取得する（ステップ１００）。
【００４６】
一方、ステップ１００でマルチバンド画像を撮影する際に同時に、あるいは前後して、分光反射率が既知のマクベスチャートを撮影し、マクベスチャートの分光輝度測定（ステップ１０２）を行う。ここで分光輝度測定とは、ステップ１００のマルチバンド画像データの取得と同様に、マクベスチャートのマルチバンド画像の信号を分光反射率スペクトル推定装置１６のデータ処理部１８において８ビットのＡＤ変換を行い、ＤＣオフセットの補正、暗時補正、ＬＯＧ変換およびシェーディング補正を行い、マクベスチャートの各パッチに対応したＱＬ値を得ることである。
このようにして得られたマクベスチャートの各パッチに対応したＱＬ値のうち、最下段の４段目の６つのグレーパッチのＱＬ値とこのグレーパッチの予めわかっている分光反射率の値とを各原画像ごとに１対１に対応させる１次元ＬＵＴを作成する（ステップ１０４）。なお、ここで作成された１次元ＬＵＴには、液晶チューナブルフィルタ１４の各波長毎の透過率レベルの補正が含まれる。
【００４７】
次に、ステップ１００で得られた撮影被写体の各チャンネルに対応する原画像のＱＬ値をステップ１０４で作成した１次元ＬＵＴを用いて、分光反射率の値に変換する（ステップ１０６）。参照するＱＬ値が１次元ＬＵＴに存在しない場合は、内挿補間あるいは外挿補外等によって分光反射率の値を求める。この内挿補間や外挿補外の方法は特に限定されず、公知の方法、たとえば直線補間やラグランジェ補間等の公知の方法で行う。
【００４８】
このように１次元ＬＵＴを用いて分光反射率の値に変換することができるのは、図２に示すように、波長可変フィルタとして用いる液晶チューナブルフィルタの各チャンネルの分光透過率の分布が、従来のフィルターと異なり波長分解能が向上しピーク値を中心とする急峻な分布を形成し、各チャンネル間の波長の重なりが少なくなり、１次元ＬＵＴを用いて得られた分光反射率のスペクトル分布の鈍りが少なくなるからである。式（２）で説明すると、式（２）で示される行列Ｆの非対角項成分がほとんどゼロとなるため、１次元ＬＵＴを用いて分光反射率の値に変換することができるのである。そのため、式（３）のような推定行列Ｇを計算する必要がなくなり、大幅に処理時間が短縮する。
【００４９】
一方、後述するフィルタ温度補正を行うために、ステップ１０２のマクベスチャートの分光輝度測定で得られたＲ、ＧおよびＢの色相のパッチをステップ１０４で得られた１次元ＬＵＴを用いて分光反射率のスペクトル分布を算出する（ステップ１０８）。
【００５０】
次に、フィルタ温度補正を行う（ステップ１０９）。フィルタ温度補正を行うのは、後述するデコンボリューション処理（ステップ１１８）を行う際に代表関数として選ばれる装置関数ｈ（λ）は、液晶チューナブルフィルタ１４の分光透過率分布と、撮影するカメラの分光感度分布（光学系の分光透過率を含む分光感度分布）と、撮影時の撮影照明の分光強度分布との積によって規定されるが、液晶チューナブルフィルタ１４の分光透過率分布は、液晶部の温度によって分光透過率分布が波長領域でシフトするからである。フィルタ温度補正においては、ステップ１０８において、分光反射率分布が既知のＲ、ＧおよびＢの色相のパッチを測定して得られた分光反射率のスペクトル分布と、この既知の分光反射率分布とを比較して、波長のシフト量を求める。Ｒ、ＧおよびＢの色相のパッチを測定するのは、彩度が高く、分光反射率分布が波長に対して急激に変化するため、波長のシフト量を容易に求めることができるからである。
【００５１】
なお、上記実施例では、分光反射率分布が既知のパッチの分光反射率分布とこのパッチをマルチバンドカメラで撮影して得られた分光反射率分布との差異から波長シフト量を求め、これを用いて分光反射率を補正するが、本発明ではこの方法に限られず、液晶チューナブルフィルタ１４の液晶部に接するように温度計を設置し、マルチバンド画像撮影時に液晶部の温度を、図示されない分光反射率スペクトル推定装置１６のフィルタ温度取得手段を通じて記録し、この記録された温度を用いて温度に対応した波長シフト量を求め、分光反射率を補正するものであってもよい。
【００５２】
一方、ステップ１０６で得られた各チャンネルに対応した原画像の分光反射率のデータに対して、ノイズ除去処理を行う（ステップ１１０）。ノイズ除去処理は、液晶チューナブルフィルタ１４の分光透過率が、図２に示すように、短波長側のチャンネルでは透過率が低く、十分な光量を確保できず、ノイズを拾い易く、一方、長波長側のチャンネルでは透過率が高く、十分な光量を確保できノイズ成分を拾い難いため、各チャンネルの波長領域に応じて、ノイズ除去の強さを調整できるノイズ除去処理が望ましい。例えば、分光透過率のピーク値が０．１以下になれば、自動的にメディアンフィルタをｏｎ−ｏｆｆ的に使用する方法が挙げられる。
【００５３】
次に、ステップ１１０で分光反射率のデータに対してノイズ除去処理が施された後、ステップ１０９で求めた波長シフト量Δλを用いて、この波長のシフトによって変化する分光反射率の波長をΔλ分補正することで、波長シフト処理が施される（ステップ１１１）。
【００５４】
さらに、ステップ１１０で得られたノイズ除去処理の施された分光反射率野データは、内挿補間処理（ステップ１１２）が施される。
内挿補間を行うのは、最終的に、分光反射率のスペクトル分布のチャンネル数を増やし滑らかな分布を得るためである。内挿補間としては、スプライン補間やラグランジェ補間等の非線形な補間により、例えば１０ｎｍ以下のスペクトル分布となるように補間処理を行う。また、直線補間により、凸凹のある分光反射率のスペクトル分布を得てもよく、この場合後述するデコンボリューション処理はフーリエ変換およびその逆変換を用いた処理を行う。フーリエ変換およびその逆変換により、凸凹のスペクトル分布でも滑らかなスペクトル分布を得ることができるためである。
【００５５】
内挿補間処理（ステップ１１２）が施されてデータの細かくなった分光反射率のスペクトル分布の波長を圧縮または伸張する圧縮・伸張処理を行う（ステップ１１４）。圧縮・伸張処理は、分光反射率のスペクトル分布の波長を、図２に示す波長の変化と共に変化する液晶チューナブルフィルタ１４の分光透過率のスペクトル分布の半値幅に応じて、被写体の分光反射率のスペクトルの波長を圧縮または伸張する。圧縮や伸張の比率は、後述する１つの装置関数ｈ（λ）の半値幅に対して被写体の分光反射率のスペクトルの波長域が、チャンネルに係わらず一定となるように、波長域毎に変化する。これによって、後述するデコンボリューション処理において、波長によって変化する分光透過率分布で規定される装置関数ｈ（λ）を、波長に応じて複数持つ必要がなく１つの装置関数だけでデコンボリューション処理を行うことができる。
【００５６】
このようにして圧縮・伸張変換（ステップ１１４）された分光反射率のスペクトル分布は、分光反射率のスペクトル分布のシャープネス劣化復元処理であるデコンボリューション処理を行う（ステップ１１８）。
本来、液晶チューナブルフィルタ１４およびＣＣＤカメラ１２を備えたマルチバンドカメラから得られた被写体の分光反射率のスペクトル分布は、撮影したマルチバンドカメラの装置の特性によっていわばフィルタの掛かった状態になっている。そのため、スペクトル分布がシャープでなく、鈍った形で得られる。一方、この撮影したマルチバンドカメラの装置の特性である装置関数ｈ（λ）は既知であるので、この装置関数ｈ（λ）を用いて、鈍った分光反射率のスペクトル分布のシャープネス劣化を復元処理する。
すなわち、図５に示すように、被写体固有の分光反射率のスペクトル分布Ｏ（λ）を、装置関数ｈ（λ）がチャンネルごとに分解され各チャンネル毎に定まる装置関数ｈ_i （λ）と掛け合わせ、その後チャンネル全体を合計して算出される分布が、装置関数ｈ（λ）を備えるマルチバンドカメラで撮影された分光反射率のスペクトル分布Ｉ（λ）となる。このように、測定された分光反射率のスペクトル分布Ｉ（λ）は、被写体固有の分光反射率のスペクトル分布Ｏ（λ）と装置関数ｈ（λ）から下記式（５）の畳み込み処理（コンボリューション処理）によって定まる。
【数４】

【００５７】
ステップ１１８で行うデコンボリューション処理は、上記コンボリューションにより得られる分光反射率のスペクトル分布Ｉ（λ）と装置関数ｈ（λ）とを用いて、コンボリューション処理とは逆に被写体固有の分光反射率のスペクトル分布Ｏ（λ）を求める処理である。
式（５）に示されるコンボリューション積分は、下記式（６）のように、フーリエ変換したＦ［Ｉ（λ）］、Ｆ［Ｏ（λ）］およびＦ［ｈ（λ）］を用いて表される。そのため、式（４）のように、Ｆ［Ｉ（λ）］をＦ［ｈ（λ）］で割ってそれを逆フーリエ変換することで、Ｏ（λ）を得ることができる。
【数５】

【００５８】
マルチバンド画像の画素数が少ない場合、例えば１０万画素未満の場合、上記フーリエ変換によるデコンボリューション処理では、各チャンネル、例えば１６チャンネルに対応した装置関数すべてを記憶し、これを用いて各チャンネルに対応した演算をする必要がなく、１つのチャンネルの装置関数ｈ（λ）だけで計算できるため、被写体固有の分光反射率のスペクトル分布の処理を短時間に行うことができる。
【００５９】
また、マルチバンド画像の画素数が多い場合、例えば１０万画素以上の場合、デコンボリューション処理は、従来のような、式（２）および式（３）による行列による計算を用いてもよく、その際、波長可変フィルタのチャンネル毎の既知の分光透過率分布ｆ_i （λ）（ｉ＝１〜ｎ）の中から、全チャンネルによって被われる波長領域の中心波長から上下５０ｎｍ範囲内で値を有する特定のチャンネルの分光透過率分布を代表の分光透過率分布の関数とし、この関数と撮影するカメラの分光感度分布（ＣＣＤカメラの分光感度分布Ｓ（λ）と光学系の既知の分光透過率分布Ｌ（λ）の積）と、撮影時の撮影照明の分光強度分布Ｅ（λ）との積を求め、式（２）および式（３）によるデコンボリューション処理を行ってもよい。これによって、式（２）および式（３）の行列計算も容易に実施でき計算時間の短縮が可能となる。
【００６０】
特に、被写体の分光反射率のスペクトル分布Ｉ（λ）の測定点数ｍにチャンネル数ｎが等しくなるように、内挿補間処理（ステップ１１２）においてチャンネル数を増やして、被写体の分光反射率のスペクトル分布Ｉ（λ）の測定点数ｍに等しくし、式（２）の行列Ｆの逆行列を求めてもよい。これによって、式（２）の行列Ｆの逆行列を解析的かつ短時間に求めることが可能となる。
【００６１】
デコンボリューション処理（ステップ１１８）が施された後、ステップ１１４で行われた圧縮・伸張処理の逆変換である伸張・圧縮逆変換をおこなう（ステップ１２０）。
これによって、ステップ１１４で波長方向に圧縮または伸張された、較正済みの分光反射率のスペクトル分布を取得し（ステップ１２２）、記憶部に記憶する。
このようにして、マルチバンドカメラの特性を除去した較正済みの分光反射率のスペクトル分布を取得することができる。
【００６２】
次に、このようなマルチバンド画像の分光反射率のスペクトル推定方法およびスペクトル推定システムに基づいて、マルチバンド画像から被写体の分光反射率のスペクトルを求めた。
ＣＣＤカメラとして、ＤＡＬＳＡ社製 CA-D4-1024A（ピクセル数１０２４×１０２４、ピクセルサイズ１２×１２ミクロン、ＰＣＩインターフェース付き、モノクロ）を用い、波長可変フィルターとしてＣＲＩ社製Varispec Tunable Filter （液晶チューナブルフィルタ）を用いた。この液晶チューナブルフィルタは、４００〜７２０ｎｍのフィルタ波長範囲内で、分光透過率分布の中心波長を任意に選択でき、その分布の波長の半値幅の全チャンネルの平均値が３０ｎｍであり、分光透過率は波長によって変化し６〜６０％であった。
分光反射率スペクトル推定装置として、ＰＲＯＳＩＤＥ社製ブック型ＰＣ（パーソナルコンピュータ）を用い、Windows ９５上で分光反射率のスペクトル分布を推定するためのソフトウェアをＣ⁺⁺言語で作成した。なお、ＰＲＯＳＩＤＥ社製ブック型ＰＣは、ＣＰＵが１６６MHz であり、ＲＡＭは１２８Mbyte であった。
【００６３】
撮影の光源としてメタルハライドランプを用い、撮影被写体の照度を１２０００lux とした。撮影に使用した撮影レンズはNikomart（ｆ＝５０mm ，Ｆ１．４）を用い、さらに４００ｎｍ以下の紫外線カットフィルタと７３０ｎｍ以上の赤外カットフィルタを用いた。
また、撮影波長範囲４１０ｎｍ〜７１０ｎｍを１６分割して１６チャンネルとし、各波長間隔を２０ｎｍとした。撮影は、人物顔とマクベスチャートとを同時に撮影した。また液晶チューナブルフィルタの分光透過率分布を各分割したチャンネルに応じて変化させて撮影し、マルチバンド画像を構成する原画像を１６枚得た。撮影時の絞り値はＦ２．８であった。撮影時間は１ショット２５ｍ秒であり、マルチバンド画像の撮影全体に３秒を要した。
【００６４】
まず、処理ａとして、各チャンネルに対応する原画像中のマクベスチャート画像のうち最下段にある分光反射率が既知の６つのグレーパッチから、このグレーパッチの画像データ値（ＱＬ値）を各チャンネル毎に得、このグレーパッチ画像のＱＬ値とこのグレーパッチの既知の分光反射率の値との対応付けを行い、各チャンネル毎に１次元ルックアップテーブルを作成し、その後人物顔のＱＬ値から、先に作成した１次元ルックアップテーブルを用いて撮影被写体の人物顔の分光反射率のスペクトル分布を得た。
【００６５】
また、処理ｂとして、マルチバンド画像の撮影の前に、ＣＣＤカメラの分光感度分布（光学系の分光透過率を含む分光感度分布）と、各チャンネルに対応する波長域の液晶チューナブルフィルタの分光透過率分布とを測定し、その後、処理ａの処理を行った。さらに、液晶チューナブルフィルタのチャンネルに対応する波長域の分光透過率分布と、ＣＣＤカメラの分光感度分布と、撮影時の照明光の既知の分光強度分布とを乗算して得られる特定のチャンネルの装置関数を選択し、この装置関数ｈ（λ）と撮影被写体の人物顔の分光反射率のスペクトル分布Ｉ（λ）とを用いて、式（４）に従ってＦＦＴを利用したフーリエ変換法によるデコンボリューション処理を行い、較正済の被写体固有の分光反射率のスペクトル分布を得た。
【００６６】
また、処理ｃとして、処理ｂと同様に、マルチバンド画像の撮影の前に、ＣＣＤカメラの分光感度分布（光学系の分光透過率を含む分光感度分布）と、各チャンネルに対応する波長域の液晶チューナブルフィルタの分光透過率分布とを測定し、その後、処理ａの処理を行った。その後、ＣＣＤカメラの分光感度分布（光学系の分光透過率を含む分光感度分布）と、各チャンネルに対応する波長域の液晶チューナブルフィルタの分光透過率分布と、撮影時の照明光の既知の分光強度分とから、式（２）の行列Ｆを計算した。その際、マルチバンド画像の測定点の数は１６（ｎ＝１６）であり、波長間隔は２０ｎｍであった。一方、ＣＣＤカメラの分光感度分布と、液晶チューナブルフィルタの波長域の分光透過率分布の波長間隔が５ｎｍであり、最終的に求める較正済みの被写体固有の分光反射率のスペクトル分布も５ｎｍであり、撮影波長範囲４１０ｎｍ〜７１０ｎｍでチャンネル数が８１（ｍ＝８１）となった。そのため、式（２）の両辺に行列Ｆの転置行列Ｆ^t を掛けたのち、行列（Ｆ^t ・Ｆ）の逆行列を求め、式（２）の右辺の被写体固有の分光反射率の値Ｏ_k （ｋ＝１〜８１）を計算し、較正済み分光反射率のスペクトル分布Ｏ（λ）を計算して求めた。なお、逆行列を求める計算はガウス−ザイデル法を用いた。
【００６７】
得られた分光反射率のスペクトル分布より、色空間座標に変換しマクベスチャート２４パッチの分光反射率の差の絶対値の平均値（ΔＲ_av）と色差の平均値（ΔＥ_av）を求めた。ここで、分光反射率の差を求めているのは、色差だけでなく、分光反射率の精度が問題となるからである。色差が０でも、分光反射率に大きい差が生じる場合、すなわちメタメリズムといった現象が生じる場合もある。
処理ａでは、処理ａに要する処理時間は１分１５秒であり、ΔＲ_avは０．００９３、ΔＥ_avは２．７０であった。
処理ｂでは、処理ｂに要する処理時間は１３分０１秒であり、ΔＲ_avは０．００８３、ΔＥ_avは１．６８であった。
さらに、処理ｃに要する処理時間は５分３６秒であり、ΔＲ_avは０．００８０、ΔＥ_avは１．６７であった。
【００６８】
このように、処理ａ、ｂおよびｃは、分光反射率の差の絶対値の平均値ΔＲ_avと平均値ΔＥ_avを実効的に落さず、短時間で処理することができることは明らかである。
【００６９】
以上、本発明のマルチバンド画像の分光反射率のスペクトル推定方法およびスペクトル推定システムについて詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【００７０】
【発明の効果】
以上、詳細に説明したように、本発明によれば、波長可変フィルタを用いてマルチバンド画像を撮影し、これを用いて撮影被写体の分光反射率のスペクトルを推定する際に、実効的にスペクトルの推定精度を落すことなく、推定スペクトルを求める処理時間を短縮することができる。
【図面の簡単な説明】
【図１】 本発明のマルチバンド画像の分光反射率のスペクトル推定システムの一例の概略を示すブロック図である。
【図２】 図１に示す液晶チューナブルフィルタの分光透過率の一例を示す図である。
【図３】 本発明のマルチバンド画像の分光反射率のスペクトル推定方法の一例の概要を説明する説明図である。
【図４】 本発明のマルチバンド画像の分光反射率のスペクトル推定方法の一例のフローを説明するフローチャートである。
【図５】 図４に示すデコンボリューション処理を説明する説明図である。
【符号の説明】
１０ マルチバンド画像分光反射率のスペクトル推定システム
１２ ＣＣＤカメラ
１４ 液晶チューナブルフィルタ
１６ 分光反射率スペクトル推定装置
１８ データ処理部
２０ １次元ＬＵＴ
２２ 分光反射率スペクトル算出部
２４ ノイズ除去処理部
２６ 内挿補間処理部
２８ 圧縮・伸張変換部
３０ 温度補正用分光反射率データ部
３２ フィルタ温度補正部
３４ デコンボリューション処理部
３６ 伸張・圧縮逆変換部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a spectral estimation method for spectral reflectance of a multiband image, which estimates a spectral reflectance spectrum of a subject to be photographed from a multiband image captured by a plurality of channels having different wavelength regions using a wavelength tunable filter, and The present invention relates to a spectrum estimation system using this.
[0002]
[Prior art]
Today, with advances in digital image processing, in addition to color images formed by three images using the three primary colors of red (R), green (G), and blue (B), at least four channels or more having different wavelength regions A multiband image obtained by photographing the same subject is used.
For example, in the field of arts and crafts such as paintings, the above multiband images are used for organizing and storing in order to faithfully reproduce colors. Multi-band images are also used to accurately obtain image data by multiplying the spectral reflectance of the subject and the spectral sensitivity when developing film and digital camera image sensors that can obtain images with good color reproduction. Is used to estimate the spectral reflectance spectrum. In particular, it is important to accurately estimate the spectral reflectance of a subject in order to design the spectral sensitivity of a film and the spectral sensitivity of an image sensor of a digital camera using the spectral reflectance of the subject.
[0003]
In order to estimate the spectral reflectance of a photographic subject from such a multiband image, a multiband image spectrum estimation system that estimates the spectrum of a multiband image is generally used.
This multiband image spectrum estimation system generally includes a wavelength tunable filter that transmits reflected light of a subject corresponding to each of at least four channels having different wavelength regions when the subject is photographed, and the transmitted light that has been transmitted. A software that includes a CCD camera that receives an image as a digital image for each channel, a processing algorithm that estimates the spectrum of the spectral reflectance of the subject from the original image acquired by the CCD camera, and this software It is comprised from the spectrum estimation apparatus of the spectral reflectance which consists of a computer to perform.
[0004]
Here, the spectral reflectance spectral estimation apparatus generally performs spectral reflectance spectral estimation by the following method.
That is, the output signal value V, which is a measurement value obtained by receiving the original image with the CCD camera._i(I = 1 to n, n is the number of channels), that is, the QL value that is the image data value of each channel of the multiband image is the known spectral intensity distribution E (λ) of the illumination light at the time of shooting and the known The spectral sensitivity distribution S (λ) of the CCD camera and the known spectral transmittance distribution f of the wavelength variable filter_iSince (λ) and the known spectral transmittance distribution L (λ) of the optical system are expressed as in Expression (1), the integral of Expression (1) is decomposed and the matrix expressed by Expression (2) is obtained. From the spectral distribution O (λ_j) (J = 1 to m, m is the number of measurement points of the subject spectral reflectance).
When the number of channels n is equal to the number of measurement points m of the spectral reflectance of the subject, the matrix F of the formula (2) becomes a square matrix and the inverse matrix of the matrix F can be obtained analytically. Since the spectral reflectance is smaller than the number of measurement points m, it is estimated by the known Wiener estimation method (by the method of least squares) using the estimation matrix G corresponding to the pseudo inverse matrix of the matrix F as shown in Equation (3). .
Where E_kL_kS_k・ F_lIs E (λ_k) ・ L (λ_k) ・ S (λ_k) ・ F_l(Λ_k) · Δλ, O_kIs O (λ_k).
[Expression 1]

[Expression 2]

[Equation 3]

[0005]
In addition to the above estimation method, the spectral reflectance spectrum estimation apparatus obtains an eigenvector consisting of a spectral waveform unique to the photographic subject in advance, and estimates the spectral distribution of the spectral reflectance using this eigenvector. Component analysis is also used.
[0006]
[Problems to be solved by the invention]
However, in the former estimation method, when the number of channels n is equal to the number of measurement points m of the subject spectral reflectance, the spectral distribution of the spectral reflectance can be analytically obtained as described above. In order to estimate the spectrum of the rate, the number of measurement points m of the subject spectral reflectance and the number of channels n must be increased to increase the size of the matrix. Therefore, the inverse matrix of the matrix F in equation (2) is obtained. Takes time and O (λ_k) Cannot be obtained in a relatively short time. Also in the Wiener estimation method, the estimation matrix G corresponding to the pseudo inverse matrix of the matrix F becomes an m × n matrix and the matrix size increases, and it takes time to calculate the estimation matrix G. As a result, there is a disadvantage that it takes a long time to estimate the spectrum of the spectral reflectance of the subject.
In the latter estimation method by principal component analysis, if the photographic subject is known, the spectral distribution of the spectral reflectance can be accurately estimated using the eigenvector, but the photographic subject is not fixed and the eigenvector is not known. In this case, there is a problem that the accuracy of the spectral distribution of the estimated spectral reflectance deteriorates.
[0007]
In addition, the spectrum of spectral reflectance is originally represented by a smooth curve, and the spectrum obtained by the above method is represented by the spectral reflectance of the wavelength region for each channel. It is desirable to increase interpolation to approximate a smooth curve, but since a linear interpolation is performed, a smooth spectrum cannot be obtained.
Furthermore, the spectral transmittance of a liquid crystal tunable filter used as a wavelength tunable filter has a temperature dependency in which the peak wavelength and the half-value width change depending on the temperature of the liquid crystal. In the conventional spectral reflectance spectrum estimation method for estimating the spectrum, only an inaccurate spectral reflectance spectrum can be obtained.
[0008]
In this way, when estimating the spectrum of spectral reflectance, this process takes time to calculate an inverse matrix having a large matrix size, and the processing method is complicated. The Wiener estimation method using the least square method, which is used when the subject spectral reflectance measurement point m is larger than the channel number n, minimizes the noise component contained in the original image constituting the captured multiband image. It is not used to suppress by the square method, but is used only to increase the estimated number of spectral reflectance spectra to be estimated, and the matrix size for obtaining the pseudo inverse matrix becomes large, and a great deal of processing time is required. I needed it.
Also, in the method based on principal component analysis, spectrum estimation accuracy is poor in the case of a photographic subject that is not represented by a natural spectrum prepared in advance as described above.
Furthermore, when the number of spectral wavelengths estimated in accordance with the spectral reflectance spectrum, which is a smooth curve, is increased by linear interpolation, only a spectral distribution with irregularities is obtained unlike the original curve.
Furthermore, when a liquid crystal tunable filter is used as the wavelength tunable filter, the peak wavelength and half-value width of the spectral transmittance of the liquid crystal tunable filter are temperature dependent, and therefore the estimated spectral reflectance spectrum is inaccurate. It was.
[0009]
Therefore, in order to solve the above-described problem, the present invention captures a multiband image using a wavelength tunable filter, and effectively estimates the spectrum when the spectrum reflectance spectrum of the subject to be photographed is estimated. It is an object of the present invention to provide a spectrum estimation method and a spectrum estimation system for spectral reflectance of a multiband image that reduce the processing time for obtaining an estimated spectrum without reducing the estimation accuracy.
[0010]
[Means for Solving the Problems]
  In order to achieve the above object, the present invention comprises a plurality of original images obtained by dividing a photographing wavelength region into a plurality of channels using a wavelength tunable filter and photographing the same subject by a photographing means corresponding to each channel. A method of obtaining a multiband image and estimating a spectral reflectance spectrum of the subject from the multiband image, wherein the wavelength tunable filter has 10 or more channels, and the spectral transmittance distribution of all channels And a conversion table in which image data values obtained by photographing a chart having a known spectral reflectance are associated with the spectral reflectance in advance for each channel. Created and converted from the image data value of the original image of each channel of the multiband image to the spectral reflectance using the conversion table. The spectral reflectance spectrum of the subject is estimated, and the spectral transmittance distribution of the wavelength tunable filter in the wavelength region of the channel with respect to the estimated spectral reflectance spectrum of the subject, Using a single device function determined by the product of the spectral sensitivity distribution of the photographing means and the spectral intensity distribution of the photographing illumination light at the time of photographing, deconvolution processing by Fourier transform is performed to calibrate the spectral reflectance spectrum of the subject.When the spectral transmittance distribution of one channel in the wavelength tunable filter is a reference distribution, and the half-value width in the reference distribution is a reference half-value width, the wavelength tunable filter has a half-width spectrum that is wider than the reference half-value width. For a channel having a transmittance distribution, the wavelength of the spectral reflectance spectrum of the subject is compressed before performing the deconvolution processing, and an apparatus function using the shape of the reference distribution and the compressed spectrum are used. On the other hand, a channel having a spectral transmittance distribution with a half-value width that is narrower than the reference half-value width is applied to the channel having the spectral transmittance distribution of the subject before the deconvolution processing. Using the device function using the shape of the reference distribution and the stretched spectrum. The deconvolution process is performed, and after the deconvolution process is performed, the spectral reflectance spectrum wavelength of the subject obtained by the deconvolution process is expanded or compressed in response to the compression or expansion of the wavelength. Perform reverse transformationA spectral estimation method for spectral reflectance of a multiband image is provided. Here, the variable wavelength filter refers to a filter that instantaneously electrically changes the spectral transmittance with one element.
[0011]
  In that case, the wavelength tunable filter is preferably a liquid crystal tunable filter,The deconvolution processing divides the function calculated by performing Fourier transform on the estimated spectrum of the spectral reflectance by the function calculated by performing Fourier transform on the device function, and the result is inverse Fourier transform It is preferable that the process is performed.Here, a liquid crystal tunable filter has a plurality of stages in which a birefringent crystal element and a liquid crystal element are sandwiched by deflecting plates, and utilizes the birefringence effect of liquid crystal, without using a mechanical working part, In particular, this is a liquid crystal filter (Lyot type) in which the central wavelength of transmittance can be arbitrarily selected. When using Fourier transform, it is preferable to use FFT. In addition, it is preferable that an apparatus function having a value within a range of 50 nm above and below the center wavelength of the wavelength region photographed by the channel is selected as the apparatus function.
[0012]
  Further, when performing the deconvolution processing, it is preferable to perform filter temperature correction for compensating the temperature dependence of the wavelength tunable filter on the spectral reflectance. Further, the filter temperature correction has a known spectral reflectance distribution, photographs a color chart, uses this to obtain a spectral reflectance distribution of the color chart, and obtains the waveform of the obtained spectral reflectance distribution and the known spectral spectrum. It is preferable to obtain the shift amount of the wavelength that matches the reflectance waveform, and to correct the peak wavelength and the half width of the device function according to the obtained shift amount.
  The wavelength tunable filter is a liquid crystal tunable filter including a liquid crystal unit, and the filter temperature correction is performed by adjusting the temperature of the liquid crystal unit obtained from a thermometer in contact with the liquid crystal unit of the liquid crystal tunable filter and the liquid crystal tuner. The relationship with the spectral transmittance distribution of the bull filter is stored in advance as characteristic data, and the shift amount of the wavelength of the spectral transmittance distribution of the liquid crystal tunable filter is obtained from the temperature of the liquid crystal unit at the time of shooting the multiband image, The device function may be corrected according to the shift amount.
[0013]
  Furthermore, the present invention divides the imaging wavelength region into a plurality of channels using a wavelength tunable filter, and obtains a multiband image composed of a plurality of original images obtained by imaging the same subject corresponding to each channel by the imaging means, In this method, the spectral reflectance spectrum of the subject is estimated from the multiband image, and the wavelength tunable filter has 10 channels or more, and the average wavelength half-value width of the spectral transmittance distribution of all channels. A wavelength tunable filter having a wavelength of 40 nm or less, and for each channel, a conversion table in which an image data value obtained by photographing a chart with a known spectral reflectance is associated with the spectral reflectance is created in advance.
  The spectral reflectance of the subject is estimated by converting the image data value of the original image of each channel of the multiband image into the spectral reflectance using the conversion table, and further, the estimated spectral of the subject is estimated. With respect to the spectral distribution of the reflectance, the product of the spectral transmittance distribution of the wavelength tunable filter in the wavelength region of the channel, the spectral sensitivity distribution of the photographing means, and the spectral intensity distribution of the photographing illumination light at the time of photographing. Using a fixed device function, deconvolution processing is performed to calibrate the spectrum of the spectral reflectance of the object, and the spectral transmittance distribution of one channel in the wavelength tunable filter is used as a reference distribution. When the reference half-value width is used, the wavelength tunable filter has a spectral transmittance distribution with a wide half-value width with respect to the reference half-value width. Before performing the deconvolution processing, the channel compresses the spectral wavelength of the spectral reflectance of the subject, and performs the deconvolution processing using the device function using the shape of the reference distribution and the compressed spectrum. On the other hand, for a channel having a spectral transmittance distribution having a half-width that is narrower than the reference half-width, the wavelength of the spectral reflectance spectrum of the subject is set before performing the deconvolution processing. Performing the deconvolution processing using the device function using the shape of the reference distribution and the expanded spectrum, and further performing the deconvolution processing, and then corresponding to the compression or expansion of the wavelength Extend the spectral wavelength of the subject's spectral reflectance obtained by the deconvolution process. Or to provide a spectral estimation method of the spectral reflectance of the multi-band image, characterized in that applying the inverse transform to compress.
  Before performing the deconvolution process, the spectral reflectance spectrum of the subject is increased by increasing the number of spectral reflectance spectra by nonlinear interpolation between the center wavelengths of the channels. The deconvolution process is preferably performed using a spectrum of rates. The spectral reflectance spectrum having an increased number of data preferably has a wavelength interval of 10 nm or less.
[0015]
  Further, the present invention divides a photographing wavelength region into a plurality of channels when photographing a subject with the photographing unit for photographing the subject, and transmits the reflected light of the subject in the wavelength region corresponding to the channel. A wavelength conversion filter and a conversion table in which image data values obtained by imaging a chart having a known spectral reflectance are associated with the spectral reflectance for each channel are created in advance, and the imaging means and the wavelength variable filter Spectral reflectance spectrum for estimating the spectral reflectance spectrum of a subject by converting the image data value of the original image of each channel of the multiband image photographed using a spectral reflectance using the conversion table An estimation device, and the spectral reflectance spectrum estimation device further includes an estimated spectral reflectance spectrum of the subject. One device determined by the product of the spectral transmittance distribution of the wavelength tunable filter in the wavelength region of the channel, the spectral sensitivity distribution of the photographing unit, and the spectral intensity distribution of photographing illumination light at the time of photographing with respect to the cloth Using the function, the deconvolution process is performed to calibrate the spectral reflectance spectrum of the subject, and when the spectral reflectance spectrum of the subject is calibrated, the spectral transmittance distribution of one channel in the wavelength tunable filter is the reference distribution. When the half-value width in this reference distribution is the reference half-value width, the channel having a half-width spectral transmittance distribution that is wider than the reference half-value width is subjected to spectral reflection of the subject before the deconvolution process. The wavelength of the spectrum of the rate is compressed, and the deconversion is performed using the apparatus function using the shape of the reference distribution and the compressed spectrum. On the other hand, the channel having a spectral transmittance distribution with a narrow half-value width with respect to the reference half-value width is stretched before the deconvolution process, and the spectral reflectance spectrum of the subject is stretched. Then, performing the deconvolution process using the device function using the shape of the reference distribution and the expanded spectrum, and after performing the deconvolution process, in response to the compression or expansion of the wavelength, It is an object of the present invention to provide a multiband image spectrum estimation system characterized by performing inverse transformation that expands or compresses the wavelength of the spectral reflectance spectrum of a subject obtained by deconvolution processing.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a spectrum estimation method and a spectrum estimation system for spectral reflectance of a multiband image according to the present invention will be described in detail based on preferred embodiments shown in the accompanying drawings.
[0017]
FIG. 1 illustrates a spectral estimation method for spectral reflectance of a multiband image according to the present invention, and is an example of a spectral estimation system for spectral reflectance of a multiband image according to the present invention. A system (hereinafter referred to as the present system) 10 is shown.
The system 10 includes a CCD camera 12 as an imaging unit that captures the same subject with at least 10 channels having different wavelength regions, and the subject reflected light in the wavelength region corresponding to the channel when the subject is captured with the CCD camera 12. And a liquid crystal tunable filter 14 as a wavelength tunable filter that transmits light, and a spectral reflectance spectrum estimation device 16 that estimates a spectral reflectance spectrum of a subject to be photographed.
[0018]
The CCD camera 12 transmits light obtained through a liquid crystal tunable filter 14 (to be described later) whose spectral transmittance distribution is controlled so that light is transmitted in a specific wavelength region for each of a plurality of channels, for example, 16 channels. Is imaged on the light receiving surfaces of CCD elements arranged in an area, and obtains an original image obtained by photographing a subject to be photographed for each channel having a different wavelength region. That is, if the number of channels is 16, 16 original images can be obtained.
The number of pixels and the pixel size of the CCD camera 12 are not limited, and may be a known size, for example, 1024 × 1024 pixels, and may be a known pixel size, for example, 12 × 12 μm.
[0019]
The liquid crystal tunable filter 14 is tunable to obtain a desired bandpass filter characteristic by controlling the control voltage so that the reflected light from the photographic subject can be transmitted in a specific wavelength region for each of a plurality of channels. A filter having 10 or more channels and an average wavelength half-value width of the spectral transmittance distribution of all channels of 40 nm or less. As the number of channels, the upper limit is preferably about 80, and the lower limit of the full width at half maximum is preferably about 5 nm. The full width at half maximum is preferably 15 to 35 nm.
The liquid crystal tunable filter 14 can obtain, for example, a bandpass filter having a peak value as shown in FIG. 2 corresponding to the number of channels set by the operator and the wavelength region corresponding to each channel. FIG. 2 shows an example in which the imaging wavelength region of 410 to 710 nm is divided by 16 channels. Thus, the reflected light of the subject that has passed through the band-pass filter provided for each channel by the liquid crystal tunable filter 14 is received by the CCD camera 12 as transmitted light of a specific wavelength, and an output signal is obtained. Note that the number of channels of a filter for obtaining a conventional multiband image is 6 to 8 channels. However, in the liquid crystal tunable filter 14, the number of channels can be 12 or more. In this embodiment, the liquid crystal tunable filter 14 is used as a wavelength tunable filter. However, any filter can be used as long as it can electrically change the spectral transmittance instantaneously with one element. An acousto-optic filter may be used instead.
[0020]
The spectral reflectance spectrum estimation device 16 obtains digital image data by A / D converting an output signal obtained by receiving light by the CCD camera 12 and corrects a DC offset to form an original that forms a multiband image. The data processing unit 18 for image data, and the image data value of the gray patch, that is, the QL value and the known spectral reflectance, from the Macbeth chart image that has been photographed simultaneously when photographing the multiband image. From a one-dimensional lookup table (hereinafter referred to as LUT) 20 created by associating a relationship with the value of the image and a QL value that is an image data value of the original image obtained by the data processing unit 18, 1 A spectral reflectance spectrum calculation unit 22 that converts the spectral reflectance into a spectral reflectance value using the dimension LUT 20 and estimates the spectral reflectance, and the obtained spectral reflectance Each of the spectral reflectance obtained by the noise removal processing unit 24 for removing the noise component, the wavelength shift processing unit 25 for adjusting the correction of the filter temperature, which will be described later, by the shift amount of the wavelength, and the spectral reflectance spectrum calculation unit 22. The spectral reflectance spectrum calculation unit 22 obtains the interpolation interpolation processing unit 26 that linearly interpolates between wavelengths and increases the number of channels, and the half-value width that is a characteristic of the liquid crystal tunable filter 14 as a band-pass filter. The compression / expansion processing unit 28 that compresses or expands the wavelength of the spectral reflectance obtained, and the Macbeth chart that is simultaneously captured when the multiband image is captured, include red (R), green (G), and blue (B). The spectral reflectance of a patch having a high saturation as in the above color and whose spectral reflectance changes rapidly with respect to the wavelength is provided as data, and temperature correction is performed by a filter temperature correction unit 32 described later. Temperature correction spectral reflectance data section 30 used for the purpose, filter temperature correction section 32 for correcting the temperature of the liquid crystal tunable filter 14, and each channel having a half-value width that is a characteristic of the liquid crystal tunable filter 14 as a band-pass filter This is performed by the deconvolution processing unit 34 and the compression / decompression processing unit 28 that perform sharpness deterioration restoration processing (deconvolution processing) of the spectral distribution of the spectral reflectance dull due to the overlap between them, and obtain a calibrated spectral reflectance spectrum. Corresponding to the compression or expansion of the wavelength, the expansion / compression inverse conversion unit 36 mainly recovers the wavelength of the calibrated spectral reflectance spectrum by expanding or compressing it.
[0021]
Each component constituting the spectral reflectance spectrum estimation apparatus 16 in the present embodiment is executed by a computer as a software function, but is not limited to software, and some or all of the functions of the component are It may be implemented in hardware.
[0022]
The data processing unit 18 A / D converts the output signal obtained by receiving the light with the CCD camera 12 to obtain digital image data, corrects the DC offset, and then applies dark correction, and then the image. This is a part that performs LOG conversion of the data, performs shading correction, and obtains the QL value of the image data of the original image constituting the multiband image. The QL value of the obtained original image is sent to the spectral reflectance spectrum calculation unit 22.
[0023]
The one-dimensional LUT 20 uses the CCD camera 12 and the liquid crystal tunable filter 14 to shoot a Macbeth chart as a multiband image that is the same as the number of channels and the wavelength region at the time of subject shooting, and an image of the obtained Macbeth chart. 6 is a part including a Macbeth one-dimensional LUT in which the QL value of the gray patch having a known spectral reflectance at the sixth stage and the known spectral reflectance are associated with each other. The spectral reflectance spectrum calculation unit 22 performs spectral reflection. When calculating the rate, the LUT created by the one-dimensional LUT 20 is referred to. The chart used in the present invention is not limited to the Macbeth chart, and may be any chart as long as the spectral reflectance is known.
[0024]
The spectral reflectance spectrum calculation unit 22 converts the QL value of the image data of the original image obtained by photographing the subject obtained by the data processing unit 18 into a spectral reflectance value with reference to the one-dimensional LUT 20, and the spectral reflectance. Is the part to get.
When there is no reference data in the one-dimensional LUT 20, the value of the spectral reflectance is obtained by interpolation or extrapolation, but the method of interpolation or extrapolation is not particularly limited, and is a known method. For example, a known method such as linear interpolation or Lagrangian interpolation is possible. The obtained spectral reflectance data is sent to the noise removal processing unit 24.
[0025]
The noise removal processing unit 24 is a processing unit that removes a noise component included in the original image. In the original image of the short wavelength side channel, the noise removal strength is increased. In the original image of the long wavelength side channel, The noise removal strength is reduced. This is because the spectral transmittance of the liquid crystal tunable filter 14 is low in the transmittance on the short wavelength side channel as shown in FIG. On the other hand, the channel on the long wavelength side has a high transmittance, so that a sufficient amount of light can be secured and it is difficult to pick up a noise component.
The method for removing noise is not particularly limited. For example, when the peak value of spectral transmittance is 0.1 or less, a method of automatically using a median filter on-off can be used.
The spectral reflectance data from which noise has been removed is sent to the wavelength shift processing unit 25.
[0026]
The wavelength shift processing unit 25 is a part that adjusts the temperature correction caused by the temperature of the liquid crystal tunable filter 14 with respect to the spectral reflectance data from which noise has been removed. The filter temperature correction unit 32 will be described later. Wavelength shift processing is performed using the obtained shift amount Δλ. Thereafter, it is sent to the interpolation processor 26.
[0027]
The interpolating processing unit 26 obtains the spectral distribution of the spectral reflectance obtained by the spectral reflectance spectrum calculating unit 22 so that the spectral distribution of the spectral reflectance finally estimated is obtained as a smooth curve without unevenness. Are interpolated nonlinearly by spline interpolation, Lagrangian interpolation, or the like, and the spectral distribution data of spectral reflectance is finely divided into wavelength intervals of, for example, 10 nm or less.
Further, linear interpolation may be performed to increase the number of channels by reducing the spectral distribution data of spectral reflectance. In this case, even if the curve is uneven by linear interpolation, the spectral distribution of the spectral reflectance calibrated by Fourier transform and inverse Fourier transform described later is a smooth curve.
The spectral distribution of the spectral reflectance obtained by fine interpolation by interpolation is sent to the compression / expansion conversion unit 28.
[0028]
  The compression / decompression processing conversion unit 28 changes the wavelength of the spectral distribution of the spectral reflectance obtained by the spectral reflectance spectrum calculation unit 22 with the change of the wavelength of the liquid crystal tunable filter 14 as shown in FIG. This is a portion that compresses or expands the wavelength of the spectral reflectance spectrum of the subject in accordance with the half-value width of the spectral distribution of the ratio. That is, the spectral transmittance that varies with the wavelength of the liquid crystal tunable filter 14ofThe wavelength of the spectral distribution of the spectral reflectance obtained by the spectral reflectance spectrum calculation unit 22 is compressed or expanded according to the ratio of the half width of the spectral distribution to the reference half width. The reference half-width is, for example, the center wavelength of the wavelength region covered by all the channels at the time of photographing, for example, the center wavelength of 550 nm of the wavelength region of 410 to 710 covered by 16 channels in the example of FIG. Spectral transmittance included in the range of 50 nm from this central wavelengthofSpectral distribution, eg, spectral transmittance in the example of FIG.ofThis is the half width of the spectrum distribution A.
  As described above, the wavelength of the spectral distribution of the spectral reflectance is changed according to the half-value width of the spectral transmittance. The device function that is used in the deconvolution process to be described later is changed according to the wavelength for each channel. This is because the deconvolution process can be easily performed using one device function. The compression or expansion ratio varies depending on the wavelength. For example, when the spectral transmittance distribution is as shown in FIG. 2, the half-value width is wide on the high wavelength side and the compression ratio is high, and the half-value width is narrow on the low frequency side. On the contrary, the expansion ratio is high, and in the region between these, the compression ratio and expansion ratio change smoothly according to the wavelength.
[0029]
On the other hand, the spectral reflectance data part 30 for temperature correction is a part for obtaining a spectral distribution of spectral reflectance when a patch having a known spectral reflectance is photographed using the liquid crystal tunable filter 14, as will be described later. This is used to obtain the wavelength shift amount of the spectral transmittance distribution that changes with the change in the liquid crystal temperature of the liquid crystal tunable filter 14.
The spectral correction data part 30 for temperature correction uses a Macbeth chart image used when creating a Macbeth gray one-dimensional LUT with the one-dimensional LUT 20, and R, G, and B having a known spectral reflectance among the Macbeth chart images. The spectral distribution of the spectral reflectance of the image of the hue patch is obtained using a Macbeth Gray one-dimensional LUT. The spectral distribution of the spectral reflectance of the patches of the hues of R, G and B is high because the saturation is high and the spectral distribution of the spectral reflectance changes rapidly with respect to the wavelength, so that the wavelength shift amount can be easily This is because it can be obtained.
Note that the Macbeth chart image used when creating the Macbeth gray one-dimensional LUT or using the temperature correction spectral reflectance data unit 26 may be taken together with the subject at the time of photographing the subject. Further, the chart image used in the present invention is not limited to the Macbeth chart image, and includes a patch with known spectral reflectance, high saturation, and a spectral distribution of spectral reflectance that changes rapidly with respect to wavelength. Any chart image may be used.
[0030]
The filter temperature correction unit 32 includes the spectral distribution of the spectral reflectance of the patch of R, G, and B hues obtained by the spectral reflectance data unit 30 for temperature correction and the spectral distribution of the known spectral reflectance corresponding to this patch. This is a part for obtaining a waveform shift amount according to temperature. The shift amount obtained by the filter temperature correction unit 32 is used when selecting the wavelength shift amount Δλ used in the wavelength shift processing performed by the wavelength shift processing unit 25, as will be described later.
The obtained shift amount of the waveform depending on the temperature is sent to the wavelength shift processing unit 25.
[0031]
Note that the spectral distribution of the spectral reflectance processed by the interpolation processing unit 26 is compressed / expanded according to the wavelength characteristics of the spectral transmittance of the liquid crystal tunable filter 14 by the compression / expansion conversion unit 28 according to an operator's instruction. It may be sent to the deconvolution processing unit 34 without being subjected to the decompression process. Although not shown, the spectral reflectance spectral distribution may be sent directly from the spectral reflectance spectrum calculation unit 22 to the deconvolution processing unit 34 and from the noise removal processing unit 24 to the deconvolution processing unit 34.
[0032]
  The deconvolution processing unit 34 calibrates the spectral distribution of the spectral reflectance of the subject with a dull waveform estimated by the spectral reflectance spectrum calculation unit 22 using the device function, and is subject-specific regardless of the characteristics of the measurement device. This is a portion for obtaining the spectral distribution O (λ) of the spectral reflectance.
  That is, the spectral transmission of the liquid crystal tunable filter 14.Excess rateAs shown in FIG. 2, the distribution overlaps with the base of the spectral transmittance distribution located in the vicinity thereof due to the spread of the base of the spectral transmittance distribution, so that the subject estimated by the spectral reflectance spectrum calculation unit 22 The spectral distribution of the spectral reflectance is dull. Therefore, in order to obtain a clearer spectral distribution, the spectral transmittance distribution of the liquid crystal tunable filter 14, the spectral sensitivity distribution of the camera to be photographed (spectral sensitivity distribution including the spectral transmittance of the optical system), and photographing at the time of photographing. The following processing is performed using the device function h (λ) determined by the product of the spectral intensity distribution of illumination.
[0033]
The device function h (λ) is the spectral transmittance distribution of the liquid crystal tunable filter 14, the spectral sensitivity distribution of the camera to be photographed (spectral sensitivity distribution including the spectral transmittance of the optical system), and the spectral intensity of the photographing illumination at the time of photographing. It is represented by the product with the distribution. The spectral transmittance distribution of the liquid crystal tunable filter 14 has different distributions as shown in FIG. 2 depending on the wavelength, that is, depending on the channel, but in the example shown in the figure, the spectral wavelength distribution ranges from the central wavelength 550 nm covered by all the channels to 550 nm. Spectral transmittance distribution A having a value in the range of 50 nm is used as a representative function, and the spectral sensitivity distribution of the camera to be photographed (spectral sensitivity distribution including the spectral transmittance of the optical system) and the spectral intensity distribution of the photographing illumination at the time of photographing. A device function h (λ) defined by the product of is set.
Then, the device function h (λ) function and the spectral distribution I (λ) of the spectral reflectance of the subject with a dull waveform estimated by the spectral reflectance spectrum calculation unit 22 are respectively Fourier-transformed to obtain F [h (Λ)] and F [I (λ)] (F [] represents a Fourier transform), and from this, a division as shown in the following equation (4) is performed, and then an inverse Fourier transform is performed. A spectral distribution O (λ) of the spectral reflectance unique to the subject is obtained regardless of the characteristics of the liquid crystal tunable filter 14 and the CCD camera 12.
O (λ) = F^-1[(F [I (λ)] / F [h (λ)]]] (4)
The Fourier transform method can be performed by a known method such as an FFT (Fast Fourier Transformation) method or a Fourier expansion method.
[0034]
In this way, the deconvolution processing is performed by the expression (4) because the spectral distribution I (λ) of the spectral reflectance of the subject is a multiband image obtained by the liquid crystal tunable filter 14 or the CCD camera 12 as will be described later. This is because the spectral distribution O (λ) of the spectral reflectance unique to the subject is dull due to the characteristics of the device that captures the image, for example, the spectral transmittance distribution of the liquid crystal tunable filter 14, and the spectral reflectance of the dull subject. As will be described later, the spectral distribution I (λ) is calibrated by removing the device characteristics using the device function h (λ), which is the device characteristics, and the spectral reflectance spectrum inherent to the subject in which the sharpness deterioration is restored. This is for obtaining the distribution O (λ).
In this deconvolution processing method using Fourier transform, the device function is not provided for each channel, and processing is performed using one device function h (λ). Therefore, the wavelength can be changed as in the conventional method using the matrix of equation (2). The known spectral transmittance distribution f of the filter_i(Λ) (i = 1 to n) is stored for each channel, and it is not necessary to prepare device functions for each channel, and only one device function h (λ) is prepared. Shortened.
[0035]
Further, the deconvolution processing method performed in the spectral reflectance spectral estimation method of the multiband image according to the present invention is not limited to the method of obtaining the spectral distribution O (λ) of the spectral reflectance specific to the subject by the equation (4). The function F [h (λ)] obtained by Fourier transforming the device function h (λ) is the inverse of the Fourier plane, and the waveform obtained by inverse Fourier transform of this function and the spectral distribution I of the spectral reflectance of the object ( A convolution integral with (λ) may be calculated (convolution processing) to obtain the spectral distribution O (λ) of the spectral reflectance unique to the subject.
[0036]
Moreover, although the said Example is a deconvolution processing method by a Fourier transformation, this invention is not limited to this, Even if it uses the calculation by the matrix by Formula (2) and Formula (3) like the past. Well, in that case, the known spectral transmittance distribution f for each channel of the tunable filter f_iA spectral transmittance distribution having a value within a range of 50 nm above and below the central wavelength of the wavelength region covered by all the channels from (λ) (i = 1 to n) is used as a function of the representative spectral transmittance distribution. And the spectral sensitivity distribution of the camera (the product of the spectral sensitivity distribution S (λ) of the CCD camera and the known spectral transmittance L (λ) of the optical system), and the spectral intensity distribution E (λ) of the photographic illumination at the time of shooting And the deconvolution process may be performed by Equation (2) and Equation (3). As a result, the matrix calculations of Expression (2) and Expression (3) can be easily performed, and the calculation time can be shortened.
[0037]
In particular, the number of channels n is increased in the interpolation processing unit 26 so that the number of channels n is equal to the number of measurement points m of the spectral distribution I (λ) of the spectral reflectance of the subject, and the spectral distribution I of the spectral reflectance of the subject is increased. The inverse matrix of the matrix F in Expression (2) may be obtained by making it equal to the number of measurement points m in (λ). As a result, the inverse matrix of the matrix F in the equation (2) can be obtained analytically in a short time.
The obtained spectral distribution of the spectral reflectance specific to the subject is sent to the decompression / compression inverse conversion unit 36.
[0038]
The expansion / compression inverse conversion unit 36 is a part that performs wavelength expansion or reverse conversion of the wavelength by multiplying the inverse magnification so as to cancel the wavelength compression or expansion processing performed by the compression / expansion conversion unit 28. .
That is, since the compression / expansion conversion unit 28 changes the wavelength of the spectral distribution of the spectral reflectance according to the half-value width of the spectral transmittance, and then performs the deconvolution process, the calibrated spectral reflectance after the deconvolution process is changed. The wavelength of the spectral distribution remains compressed or expanded. Therefore, in order to return the spectral distribution of the spectral reflectance inherent to the subject to the original wavelength, the compression or expansion ratio applied by the compression / expansion conversion unit 28 is expanded or multiplied by the reverse magnification. Perform compression.
In this way, inverse transformation of expansion or compression can be performed to obtain a spectral distribution of the calibrated spectral reflectance of the subject.
The obtained spectral distribution of the calibrated spectral reflectance of the subject is stored in a memory storage unit (not shown).
[0039]
The spectral reflectance spectrum estimation device 16 is configured as described above.
Next, a spectral estimation method for spectral reflectance of a multiband image according to the present invention will be described.
[0040]
FIG. 3 illustrates an outline of an example of a spectral estimation method for spectral reflectance of a multiband image.
As shown in FIG. 3, the spectrum estimation method of the spectral reflectance of the multiband image is set for each specific wavelength region, for example, by photographing a subject with a multiband camera including a liquid crystal tunable filter 14 and a CCD camera 12. Image data of a multiband image composed of original images for each channel, that is, a digital data value in units of pixels AD-converted in the data processing unit 18, that is, a QL value, for example, an integer value of 0 to 255 in 8-bit AD conversion.
[0041]
On the other hand, when the subject is photographed or before and after the subject is photographed, a known Macbeth chart of four rows and six columns is photographed by the multiband camera, and the spectral reflectance data of the Macbeth chart is obtained as a QL value. A Macbeth gray one-dimensional LUT is created by associating the QL value of the gray gradation having no hue at the fourth stage of the chart with the known spectral reflectance of the gray gradation. Using the created Macbeth gray one-dimensional LUT, the spectral distribution of the spectral reflectance of the subject is estimated from the QL value of the multiband image obtained by photographing the subject.
[0042]
The spectral distribution of the estimated spectral reflectance of the subject is subjected to noise removal processing, interpolation interpolation processing, compression / decompression conversion as necessary, and from the Macbeth chart spectral reflectance data, the saturation is high. Spectral reflectivity of R, G, and B patches whose spectral reflectivity changes rapidly with respect to wavelength is used to correct the filter temperature (wavelength shift), if necessary, and then the spectral sharpness is degraded. Restoration processing (deconvolution processing) and inverse decompression / compression conversion are performed as necessary to obtain a spectral distribution of calibrated spectral reflectance.
[0043]
That is, the spectral estimation method for spectral reflectance of a multiband image according to the present invention uses a Macbeth Gray one-dimensional LUT to estimate the spectral distribution of the spectral reflectance of the subject from the QL value of the multiband image obtained by photographing the subject. In order to obtain a more accurate spectral distribution, deconvolution processing, interpolation, compression / decompression processing, and temperature correction are performed as necessary.
[0044]
FIG. 4 is a flowchart showing an example of a flow described for each process based on the spectrum estimation system 10 of the multiband image spectral reflectance that implements the spectrum estimation method shown in FIG.
[0045]
  First, shootingwaveAn object was photographed by a multiband camera comprising a liquid crystal tunable filter 14 and a CCD camera 12 having a long region divided into 16 channels as shown in FIG. An image signal of a multiband image consisting of an original image for each specific wavelength region is obtained, and 8-bit AD conversion is performed in the data processing unit 18 of the spectral reflectance spectrum estimation device 16 to correct DC offset, dark correction, LOG Conversion and shading correction are performed to obtain a QL value consisting of an integer of 0 to 255 for each pixel unit of the original image corresponding to 16 channels, and image data of a multiband image is acquired (step 100).
[0046]
On the other hand, when a multiband image is captured in step 100, a Macbeth chart with a known spectral reflectance is photographed at the same time or before and after, and the spectral luminance measurement of the Macbeth chart is performed (step 102). Here, the spectral luminance measurement means that the multiband image signal of the Macbeth chart is subjected to 8-bit AD conversion in the data processing unit 18 of the spectral reflectance spectrum estimation device 16 in the same manner as the acquisition of the multiband image data in step 100. DC offset correction, dark correction, LOG conversion, and shading correction are performed to obtain a QL value corresponding to each patch of the Macbeth chart.
Of the QL values corresponding to each patch of the Macbeth chart obtained in this way, the QL values of the six gray patches in the lowermost stage and the spectral reflectance values known in advance of the gray patches are calculated. A one-dimensional LUT corresponding to each original image is created (step 104). The one-dimensional LUT created here includes correction of the transmittance level for each wavelength of the liquid crystal tunable filter 14.
[0047]
Next, the QL value of the original image corresponding to each channel of the photographic subject obtained in step 100 is converted into a spectral reflectance value using the one-dimensional LUT created in step 104 (step 106). When the QL value to be referenced does not exist in the one-dimensional LUT, the spectral reflectance value is obtained by interpolation or extrapolation. The method of interpolation and extrapolation is not particularly limited, and is performed by a known method such as linear interpolation or Lagrange interpolation.
[0048]
As shown in FIG. 2, the spectral reflectance distribution of each channel of the liquid crystal tunable filter used as a wavelength tunable filter can be converted into a spectral reflectance value using a one-dimensional LUT in this way. Unlike conventional filters, the wavelength resolution is improved and a steep distribution centering on the peak value is formed, the overlapping of wavelengths between channels is reduced, and the spectral distribution of the spectral reflectance obtained using a one-dimensional LUT is reduced. This is because dullness is reduced. If it demonstrates with Formula (2), since the off-diagonal term component of the matrix F shown by Formula (2) becomes almost zero, it can convert into the value of a spectral reflectance using a one-dimensional LUT. For this reason, it is not necessary to calculate the estimation matrix G as shown in Equation (3), and the processing time is greatly shortened.
[0049]
On the other hand, in order to perform filter temperature correction, which will be described later, the R, G, and B hue patches obtained by the spectral luminance measurement of the Macbeth chart in step 102 are used as the spectral reflectance using the one-dimensional LUT obtained in step 104. Is calculated (step 108).
[0050]
  Next, filter temperature correction is performed (step 109). Filter temperature correction is performed by the deconvolution described later.-The device function h (λ) selected as the representative function when performing the processing (step 118) is the spectral transmittance distribution of the liquid crystal tunable filter 14 and the spectral sensitivity distribution of the camera to be photographed (the spectral transmittance of the optical system). The spectral transmittance distribution of the liquid crystal tunable filter 14 depends on the temperature of the liquid crystal part in the wavelength region. Because it shifts. In the filter temperature correction, in step 108, the spectral reflectance distribution obtained by measuring the patches of hues of known R, G, and B with the spectral reflectance distribution and the known spectral reflectance distribution are obtained. In comparison, the wavelength shift amount is obtained. The reason why the patches of the hues of R, G, and B are measured is that the saturation is high and the spectral reflectance distribution changes abruptly with respect to the wavelength, so that the shift amount of the wavelength can be easily obtained.
[0051]
In the above embodiment, the amount of wavelength shift is obtained from the difference between the spectral reflectance distribution of a patch with a known spectral reflectance distribution and the spectral reflectance distribution obtained by photographing this patch with a multiband camera, and this is calculated. However, the present invention is not limited to this method, and a thermometer is provided so as to be in contact with the liquid crystal part of the liquid crystal tunable filter 14, and the temperature of the liquid crystal part is not shown during multiband image shooting. Recording may be performed through the filter temperature acquisition unit of the spectral reflectance spectrum estimation device 16, and the wavelength shift amount corresponding to the temperature may be obtained using the recorded temperature to correct the spectral reflectance.
[0052]
On the other hand, noise removal processing is performed on the spectral reflectance data of the original image corresponding to each channel obtained in step 106 (step 110). In the noise removal processing, the spectral transmittance of the liquid crystal tunable filter 14 is low in the short wavelength side channel as shown in FIG. 2, so that sufficient light quantity cannot be secured and noise is easily picked up. Since the channel on the wavelength side has a high transmittance and it is difficult to secure a sufficient amount of light and pick up noise components, a noise removal process that can adjust the strength of noise removal according to the wavelength region of each channel is desirable. For example, when the peak value of the spectral transmittance is 0.1 or less, a method of automatically using a median filter on-off can be mentioned.
[0053]
Next, after the noise removal processing is performed on the spectral reflectance data in step 110, the wavelength shift amount Δλ obtained in step 109 is used to change the wavelength of the spectral reflectance that changes due to this wavelength shift to Δλ. The wavelength shift process is performed by correcting the minute (step 111).
[0054]
Further, the spectral reflectance field data subjected to the noise removal process obtained in step 110 is subjected to an interpolation process (step 112).
The reason why interpolation is performed is to finally increase the number of channels of the spectral distribution of the spectral reflectance and obtain a smooth distribution. As interpolation, interpolation processing is performed so as to obtain a spectral distribution of 10 nm or less, for example, by nonlinear interpolation such as spline interpolation or Lagrange interpolation. Further, the spectral distribution of uneven spectral reflectance may be obtained by linear interpolation. In this case, the deconvolution processing described later performs processing using Fourier transformation and its inverse transformation. This is because a smooth spectrum distribution can be obtained even with an uneven spectrum distribution by Fourier transform and its inverse transform.
[0055]
A compression / expansion process is performed to compress or expand the wavelength of the spectral distribution of the spectral reflectance that has been subjected to the interpolation process (step 112) and has become finer in data (step 114). The compression / expansion processing is performed by changing the wavelength of the spectral distribution of the spectral reflectance according to the half width of the spectral distribution of the spectral transmittance of the liquid crystal tunable filter 14 that changes with the change of the wavelength shown in FIG. Compress or expand the wavelength of the spectrum. The compression and expansion ratio changes for each wavelength range so that the spectral wavelength range of the spectral reflectance of the subject is constant regardless of the channel with respect to the half width of one device function h (λ) described later. To do. As a result, in the deconvolution processing described later, it is not necessary to have a plurality of device functions h (λ) defined by the spectral transmittance distribution that varies depending on the wavelength, and the deconvolution processing is performed using only one device function. be able to.
[0056]
The spectral distribution of the spectral reflectance thus compressed and expanded (step 114) is subjected to a deconvolution process that is a sharpness deterioration restoration process for the spectral distribution of the spectral reflectance (step 118).
Originally, the spectral distribution of the spectral reflectance of the subject obtained from the multiband camera provided with the liquid crystal tunable filter 14 and the CCD camera 12 is in a filtered state depending on the characteristics of the device of the photographed multiband camera. Yes. Therefore, the spectral distribution is not sharp but is obtained in a dull form. On the other hand, since the device function h (λ), which is a characteristic of the device of the photographed multiband camera, is known, the sharpness deterioration of the spectral distribution of the dull spectral reflectance is restored using the device function h (λ). To process.
That is, as shown in FIG. 5, the spectral distribution O (λ) of the spectral reflectance inherent to the subject is determined by dividing the device function h (λ) for each channel and determining the device function h for each channel._iThe distribution calculated by multiplying by (λ) and then summing up the entire channel is the spectral distribution I (λ) of the spectral reflectance photographed by the multiband camera having the device function h (λ). Thus, the spectral distribution I (λ) of the measured spectral reflectance is a convolution process (contour) of the following equation (5) from the spectral distribution O (λ) of the spectral reflectance inherent to the subject and the device function h (λ). Determined by the volume processing).
[Expression 4]

[0057]
The deconvolution processing performed in step 118 uses the spectral distribution I (λ) of the spectral reflectance obtained by the convolution and the device function h (λ), and the spectral reflectance specific to the object, contrary to the convolution processing. This is a process for obtaining the spectral distribution O (λ) of.
The convolution integration shown in the equation (5) is performed by using Fourier-transformed F [I (λ)], F [O (λ)] and F [h (λ)] as in the following equation (6). expressed. Therefore, O (λ) can be obtained by dividing F [I (λ)] by F [h (λ)] and performing inverse Fourier transform on it as shown in Equation (4).
[Equation 5]

[0058]
When the number of pixels of the multiband image is small, for example, less than 100,000 pixels, the deconvolution processing by the Fourier transform stores all device functions corresponding to each channel, for example, 16 channels, and uses this for each channel. Since it is not necessary to perform a corresponding calculation and the calculation can be performed only with the device function h (λ) of one channel, the spectral distribution processing of the spectral reflectance specific to the subject can be performed in a short time.
[0059]
In addition, when the number of pixels of the multiband image is large, for example, when the number of pixels is 100,000 pixels or more, the deconvolution processing may use a conventional calculation based on a matrix according to Equation (2) and Equation (3). The known spectral transmittance distribution f for each channel of the wavelength tunable filter._iThe spectral transmittance distribution of a specific channel having a value within a range of 50 nm above and below the central wavelength of the wavelength region covered by all channels from (λ) (i = 1 to n) is a function of the representative spectral transmittance distribution. And the spectral sensitivity distribution of the camera to be photographed (product of the spectral sensitivity distribution S (λ) of the CCD camera and the known spectral transmittance distribution L (λ) of the optical system) and the spectral intensity of the photographing illumination at the time of photographing. The product of the distribution E (λ) may be obtained, and the deconvolution process according to the equations (2) and (3) may be performed. As a result, the matrix calculations of Expression (2) and Expression (3) can be easily performed, and the calculation time can be shortened.
[0060]
In particular, the number of channels is increased in the interpolation process (step 112) so that the number of channels n is equal to the number of measurement points m of the spectral distribution I (λ) of the spectral reflectance of the subject, and the spectral reflectance spectrum of the subject is increased. An inverse matrix of the matrix F in the equation (2) may be obtained by making it equal to the number of measurement points m of the distribution I (λ). This makes it possible to obtain an inverse matrix of the matrix F in Expression (2) analytically and in a short time.
[0061]
After the deconvolution processing (step 118) is performed, decompression / compression inverse transformation, which is the inverse transformation of the compression / decompression processing performed at step 114, is performed (step 120).
As a result, the spectral distribution of the calibrated spectral reflectance compressed or expanded in the wavelength direction in step 114 is acquired (step 122) and stored in the storage unit.
In this way, it is possible to obtain a calibrated spectral reflectance spectral distribution from which the characteristics of the multiband camera have been removed.
[0062]
Next, the spectrum of the spectral reflectance of the subject was obtained from the multiband image based on the spectrum estimation method and spectrum estimation system of the spectral reflectance of the multiband image.
As a CCD camera, DALSA CA-D4-1024A (pixel number: 1024 x 1024, pixel size: 12 x 12 microns, with PCI interface, monochrome) is used, and CRI Varispec Tunable Filter (liquid crystal tunable filter) ) Was used. In this liquid crystal tunable filter, the center wavelength of the spectral transmittance distribution can be arbitrarily selected within the filter wavelength range of 400 to 720 nm, and the average value of all channels of the half-value width of the wavelength of the distribution is 30 nm. The rate varied with wavelength and was 6-60%.
Software for estimating spectral distribution of spectral reflectance on Windows 95 using a PROSIDE book type PC (personal computer) as a spectral reflectance spectrum estimation device.⁺⁺Created in language. The book type PC manufactured by PROSIDE had a CPU of 166 MHz and a RAM of 128 Mbytes.
[0063]
A metal halide lamp was used as a light source for photographing, and the illuminance of the photographing subject was set to 12000 lux. The photographing lens used for photographing was Nikomart (f = 50 mm, F1.4), and an ultraviolet cut filter of 400 nm or less and an infrared cut filter of 730 nm or more were used.
Further, the imaging wavelength range of 410 nm to 710 nm was divided into 16 channels to form 16 channels, and each wavelength interval was set to 20 nm. The photo was taken of a human face and a Macbeth chart at the same time. In addition, the spectral transmittance distribution of the liquid crystal tunable filter was changed in accordance with each divided channel, and 16 original images constituting a multiband image were obtained. The aperture value at the time of shooting was F2.8. The shooting time was 25 ms per shot, and 3 seconds was required for the entire multiband image shooting.
[0064]
First, as processing a, the image data value (QL value) of this gray patch is obtained for each channel from the six gray patches with known spectral reflectances at the bottom of the Macbeth chart image in the original image corresponding to each channel. Obtained for each channel, the QL value of this gray patch image is associated with the known spectral reflectance value of this gray patch, a one-dimensional lookup table is created for each channel, and then the QL value of the human face is calculated. The spectral distribution of the spectral reflectance of the human face of the photographic subject was obtained using the previously created one-dimensional lookup table.
[0065]
In addition, as processing b, before taking a multiband image, the spectral sensitivity distribution of the CCD camera (spectral sensitivity distribution including the spectral transmittance of the optical system) and the spectrum of the liquid crystal tunable filter in the wavelength region corresponding to each channel. The transmittance distribution was measured, and then the processing a was performed. Furthermore, a specific channel obtained by multiplying the spectral transmittance distribution in the wavelength region corresponding to the channel of the liquid crystal tunable filter, the spectral sensitivity distribution of the CCD camera, and the known spectral intensity distribution of the illumination light at the time of photographing. A device function is selected, and this device function h (λ) and the spectral distribution I (λ) of the spectral reflectance of the human face of the subject to be photographed are used for deconvolution by Fourier transform using FFT according to equation (4). Processing was performed to obtain a spectral distribution of the spectral reflectance inherent in the calibrated subject.
[0066]
As processing c, similarly to processing b, before capturing a multiband image, the spectral sensitivity distribution of the CCD camera (spectral sensitivity distribution including the spectral transmittance of the optical system) and the wavelength range corresponding to each channel The spectral transmittance distribution of the liquid crystal tunable filter was measured, and then the process a was performed. Then, the spectral sensitivity distribution of the CCD camera (spectral sensitivity distribution including the spectral transmittance of the optical system), the spectral transmittance distribution of the liquid crystal tunable filter in the wavelength region corresponding to each channel, and the known illumination light at the time of shooting From the spectral intensity, the matrix F of the formula (2) was calculated. At that time, the number of measurement points of the multiband image was 16 (n = 16), and the wavelength interval was 20 nm. On the other hand, the wavelength interval between the spectral sensitivity distribution of the CCD camera and the spectral transmittance distribution in the wavelength range of the liquid crystal tunable filter is 5 nm, and the spectral distribution of the spectral reflectance inherent to the calibrated object finally obtained is also 5 nm. The number of channels was 81 (m = 81) in the imaging wavelength range of 410 nm to 710 nm. Therefore, the transposed matrix F of the matrix F on both sides of the equation (2)^tMultiplied by the matrix (F^tF) The inverse matrix of F is obtained, and the spectral reflectance value O unique to the subject on the right side of Equation (2)_k(K = 1 to 81) was calculated, and the spectral distribution O (λ) of the calibrated spectral reflectance was calculated. In addition, the calculation which calculates | requires an inverse matrix used the Gauss-Seidel method.
[0067]
From the spectral distribution of the obtained spectral reflectance, it is converted into color space coordinates, and the average value (ΔR) of the absolute value of the spectral reflectance difference of the Macbeth chart 24 patch._av) And average color difference (ΔE_av) Here, the reason why the difference in spectral reflectance is obtained is that not only the color difference but also the accuracy of the spectral reflectance becomes a problem. Even if the color difference is 0, a large difference in spectral reflectance occurs, that is, a phenomenon such as metamerism may occur.
In the process a, the processing time required for the process a is 1 minute 15 seconds, and ΔR_avIs 0.0093, ΔE_avWas 2.70.
In the process b, the processing time required for the process b is 13 minutes 01 seconds, and ΔR_avIs 0.0083, ΔE_avWas 1.68.
Furthermore, the processing time required for the processing c is 5 minutes and 36 seconds, and ΔR_avIs 0.0080, ΔE_avWas 1.67.
[0068]
As described above, the processings a, b, and c are the average value ΔR of the absolute value of the spectral reflectance difference._avAnd mean value ΔE_avIt is clear that the processing can be performed in a short time without effectively dropping.
[0069]
As mentioned above, although the spectrum estimation method and spectrum estimation system of the spectral reflectance of the multiband image of the present invention have been described in detail, the present invention is not limited to the above-described embodiments, and various types can be made without departing from the gist of the present invention. Of course, improvements and changes may be made.
[0070]
【The invention's effect】
As described above in detail, according to the present invention, when a multiband image is photographed using a wavelength tunable filter and the spectrum of the spectral reflectance of the photographing subject is estimated using the multiband image, the spectrum is effectively obtained. The processing time for obtaining the estimated spectrum can be shortened without reducing the estimation accuracy.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an outline of an example of a spectrum estimation system for spectral reflectance of a multiband image according to the present invention.
FIG. 2 is a diagram illustrating an example of a spectral transmittance of the liquid crystal tunable filter illustrated in FIG.
FIG. 3 is an explanatory diagram for explaining an outline of an example of a spectral estimation method for spectral reflectance of a multiband image according to the present invention.
FIG. 4 is a flowchart illustrating a flow of an example of a spectral estimation method for spectral reflectance of a multiband image according to the present invention.
FIG. 5 is an explanatory diagram for explaining the deconvolution process shown in FIG. 4;
[Explanation of symbols]
10 Spectral estimation system for multiband image spectral reflectance
12 CCD camera
14 LCD tunable filters
16 Spectral reflectance spectrum estimation device
18 Data processing section
20 One-dimensional LUT
22 Spectral reflectance spectrum calculator
24 Noise removal processing unit
26 Interpolation processing unit
28 Compression / decompression converter
30 Spectral reflectance data part for temperature correction
32 Filter temperature correction unit
34 Deconvolution processing section
36 Decompression / compression inverse conversion unit

Claims (11)

A wavelength tunable filter is used to divide the imaging wavelength region into a plurality of channels, and a multiband image composed of a plurality of original images obtained by imaging the same subject corresponding to each channel is obtained, and the multiband image is obtained from the multiband image. A method for estimating a spectrum of a subject's spectral reflectance,
The wavelength tunable filter is a wavelength tunable filter in which the number of channels is 10 or more and the average wavelength half-value width of the spectral transmittance distribution of all channels is 40 nm or less,
For each channel, create in advance a conversion table in which image data values obtained by photographing a chart with a known spectral reflectance are associated with the spectral reflectance,
By using the conversion table from the image data value of the original image of each channel of the multiband image and converting it to the spectral reflectance, the spectrum of the spectral reflectance of the subject is estimated,
Furthermore, with respect to the estimated spectral distribution of the spectral reflectance of the subject, the spectral transmittance distribution of the wavelength tunable filter in the wavelength region of the channel, the spectral sensitivity distribution of the photographing means, and the photographing illumination at the time of photographing Using one device function determined by the product of the spectral intensity distribution of light, the deconvolution process by Fourier transform is performed to calibrate the spectral reflectance spectrum of the subject ,
When the spectral transmittance distribution of one channel in the wavelength tunable filter is a reference distribution, and the half-value width in the reference distribution is a reference half-value width, the wavelength tunable filter has a wider half-value width than the reference half-value width. For a channel having a distribution, the spectral wavelength of the spectral reflectance of the subject is compressed before the deconvolution process, and the deconvolution is performed using an apparatus function using the shape of the reference distribution and the compressed spectrum. On the other hand, a channel having a spectral transmittance distribution with a half-width that is narrower than the reference half-width is applied to a channel having a spectral transmittance distribution of the subject before performing the deconvolution processing. Using the device function using the shape of the reference distribution and the stretched spectrum. The convolution process is performed, and after the deconvolution process is performed, the spectral reflectance spectrum wavelength of the subject obtained by the deconvolution process is expanded or compressed in response to the compression or expansion of the wavelength. A spectral estimation method for spectral reflectance of a multiband image, characterized by performing transformation .   The method according to claim 1, wherein the wavelength tunable filter is a liquid crystal tunable filter.   The deconvolution processing divides the function calculated by performing Fourier transform on the estimated spectrum of the spectral reflectance by the function calculated by performing Fourier transform on the device function, and the result is inverse Fourier transform The method for estimating a spectral reflectance of a multiband image according to claim 1 or 2, wherein   The spectral reflectance of the multiband image according to any one of claims 1 to 3, wherein the device function is a device function having a value within a range of 50 nm above and below a center wavelength of a wavelength region photographed by the channel. Spectral estimation method. The spectrum of the spectral reflectance of the multiband image according to any one of claims 1 to 4 , wherein when performing the deconvolution processing, filter temperature correction for compensating temperature dependence of the wavelength tunable filter is performed on the spectral reflectance. Estimation method. The filter temperature correction has a known spectral reflectance distribution, photographs a color chart, and uses this to determine the spectral reflectance distribution of the color chart,
Obtain the shift amount of the wavelength at which the waveform of the obtained spectral reflectance distribution matches the known spectral reflectance waveform,
6. The method for estimating a spectral reflectance of a multiband image according to claim 5 , wherein the peak wavelength and half width of the device function are corrected according to the obtained shift amount. The wavelength tunable filter is a liquid crystal tunable filter including a liquid crystal unit,
In the filter temperature correction, the relationship between the temperature of the liquid crystal unit obtained from a thermometer in contact with the liquid crystal unit of the liquid crystal tunable filter and the spectral transmittance distribution of the liquid crystal tunable filter is stored in advance as characteristic data,
From the temperature of the liquid crystal part at the time of shooting a multiband image, obtain the shift amount of the wavelength of the spectral transmittance distribution of the liquid crystal tunable filter,
6. The method of estimating a spectral reflectance of a multiband image according to claim 5 , wherein the device function is corrected in accordance with the shift amount. A wavelength tunable filter is used to divide the imaging wavelength region into a plurality of channels, and a multiband image composed of a plurality of original images obtained by imaging the same subject corresponding to each channel is obtained, and the multiband image is obtained from the multiband image. A method for estimating a spectrum of a subject's spectral reflectance,
The wavelength tunable filter is a wavelength tunable filter in which the number of channels is 10 or more and the average wavelength half-value width of the spectral transmittance distribution of all channels is 40 nm or less,
For each channel, create in advance a conversion table in which image data values obtained by photographing a chart with a known spectral reflectance are associated with the spectral reflectance,
By using the conversion table from the image data value of the original image of each channel of the multiband image and converting it to the spectral reflectance, the spectrum of the spectral reflectance of the subject is estimated,
Furthermore, with respect to the estimated spectral distribution of the spectral reflectance of the subject, the spectral transmittance distribution of the wavelength tunable filter in the wavelength region of the channel, the spectral sensitivity distribution of the photographing means, and the photographing illumination at the time of photographing Using one device function determined by the product of the spectral intensity distribution of light, the deconvolution process is performed to calibrate the spectral reflectance spectrum of the subject,
When the spectral transmittance distribution of one channel in the wavelength tunable filter is a reference distribution, and the half-value width in the reference distribution is a reference half-value width, the wavelength tunable filter has a wider half-value width than the reference half-value width. For a channel having a distribution, the spectral wavelength of the spectral reflectance of the subject is compressed before the deconvolution process, and the deconvolution is performed using an apparatus function using the shape of the reference distribution and the compressed spectrum. On the other hand, a channel having a spectral transmittance distribution with a half-width that is narrower than the reference half-width is applied to a channel having a spectral transmittance distribution of the subject before performing the deconvolution processing. Using the device function using the shape of the reference distribution and the stretched spectrum. The convolution process is performed, and after the deconvolution process is performed, the spectral reflectance spectrum wavelength of the subject obtained by the deconvolution process is expanded or compressed in response to the compression or expansion of the wavelength. A spectral estimation method for spectral reflectance of a multiband image, characterized by performing transformation. Before performing the deconvolution process,
For the spectral reflectance spectrum of the subject, increase the number of spectral reflectance spectrum data by nonlinear interpolation between the center wavelengths of each channel,
The method for estimating a spectral reflectance spectrum of a multiband image according to any one of claims 1 to 8 , wherein the deconvolution processing is performed using the spectrum of the increased spectral reflectance. The spectrum estimation method of the spectral reflectance of a multiband image according to claim 9 , wherein the spectral reflectance spectrum with the increased number of data has a wavelength interval of 10 nm or less. Photographing means for photographing the subject;
When photographing a subject with the photographing means, a wavelength tunable filter that divides a photographing wavelength region into a plurality of channels and transmits reflected light of the subject in a wavelength region corresponding to the channel;
For each channel, a conversion table in which image data values obtained by photographing a chart having a known spectral reflectance are associated with the spectral reflectance is created in advance, and photographed using the photographing means and the wavelength tunable filter. A spectral reflectance spectrum estimation device that estimates a spectral reflectance spectrum of a subject by converting the image data value of the original image of each channel of the multiband image into a spectral reflectance using the conversion table. Prepared,
The spectral reflectance spectrum estimation apparatus further includes a spectral transmittance distribution of the wavelength tunable filter in the wavelength region of the channel and a spectral distribution of the photographing unit with respect to the estimated spectral reflectance spectrum distribution of the subject. Using one device function determined by the product of the sensitivity distribution and the spectral intensity distribution of the photographic illumination light at the time of photographing, the deconvolution process is performed to calibrate the spectral reflectance spectrum of the subject, and the spectral reflectance of the subject. When calibrating the spectrum, the spectral transmittance distribution of one channel in the wavelength tunable filter is set as a reference distribution, and the half width in the reference distribution is set as a reference half width, the spectrum having a half width that is wider than the reference half width. For channels with a transmittance distribution, the spectral wavelength of the spectral reflectance of the subject before the deconvolution process Compressing and performing the deconvolution process using the device function using the shape of the reference distribution and the compressed spectrum, while the channel having a spectral transmittance distribution having a half width narrower than the reference half width. Before performing the deconvolution process, the wavelength of the spectral reflectance spectrum of the subject is expanded, and the deconvolution process is performed using the apparatus function using the shape of the reference distribution and the expanded spectrum. Furthermore, after performing the deconvolution process, in response to the compression or expansion of the wavelength, inverse conversion is performed to expand or compress the spectral wavelength of the spectral reflectance of the subject obtained by the deconvolution process. Spectral estimation system for multiband images.

Images