JP6317703B2 - 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
JP6317703B2
JP6317703B2 JP2015094448A JP2015094448A JP6317703B2 JP 6317703 B2 JP6317703 B2 JP 6317703B2 JP 2015094448 A JP2015094448 A JP 2015094448A JP 2015094448 A JP2015094448 A JP 2015094448A JP 6317703 B2 JP6317703 B2 JP 6317703B2
Authority
JP
Japan
Prior art keywords
image
band
illumination light
multiband
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015094448A
Other languages
English (en)
Other versions
JP2016213623A (ja
Inventor
勝 土田
勝 土田
森　稔
稔 森
柏野　邦夫
邦夫 柏野
淳司 大和
淳司 大和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2015094448A priority Critical patent/JP6317703B2/ja
Publication of JP2016213623A publication Critical patent/JP2016213623A/ja
Application granted granted Critical
Publication of JP6317703B2 publication Critical patent/JP6317703B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Spectrometry And Color Measurement (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラムに関する。
非特許文献に示されるように、蛍光特性の計測は、単波長光もしくは狭帯域な単色光を入射光とし、入射光の波長を変化させながら、各入射光における射出光の分光スペクトルを計測する必要があった。また最近では、非特許文献２及び３に示されるように、２種類の照明光下でそれぞれ撮影された分光画像を用いた、反射光と蛍光の分光成分を推定する手法が開発されている。
A. Lam, and I. Sato, "Spectral modeling and relighting of reflective-fluorescent scenes", Proc. CVPR, pp. 1452-1459, 2013 上山、平井、堀内、富永、「可視光源とマルチバンドカメラを用いた蛍光物体の分光成分推定」、電子情報通信学会論文誌 D, Vol. J95-D, No.3. pp. 638-644, 2012 Y. Fu, A. Lam, I. Sato, T. Okabe, and Y. Sato, "Separating Reflective and Fluorescent Components Using High Frequency Illumination in the Spectral Domain", proc. ICCV, pp. 457-464, 2013
非特許文献１〜３等の技術で得られた反射光成分（反射成分）と蛍光成分を用いて、任意の観察照明光下での画像を生成するためには、反射成分の分光反射率の推定に加え、蛍光に関する吸光特性と発光特性（蛍光スペクトル）をそれぞれ推定する必要がある。蛍光スペクトルの推定には、非特許文献１〜３に記載されている技術のようにカメラ側で狭帯域光に分光する必要がある。また蛍光の吸光特性の推定には、非特許文献１に記載の技術のように、カメラ側に加えて撮影照明光源側でも狭帯域光に分光する必要がある。また非特許文献３に記載の技術では、撮影照明光源を狭帯域光に分光していないものの、特殊な光源装置を用いて照明光スペクトルの形状を制御する必要がある。
そのため、蛍光の吸光特性を推定する必要がある。
また、分光時の帯域幅と透過光のエネルギはトレードオフの関係にあるため、カメラ側および撮影照明光源側での分光時における波長帯域幅が狭いほど、高感度で信号／ノイズ比が高い特性を有するカメラと、高出力の光源とが必要である。もし、低出力の光源を使用した場合には、画像撮影時のカメラの露光時間が長くなり、作業時間全体も長くなる。カメラ側の波長帯域幅が狭く、またカメラの感度が低い場合にも同様に、作業時間が長くなる。
また、狭帯域光に分光した結果、膨大な枚数の画像を分析/処理する必要がある。例えば、３８０ｎｍ〜７８０ｎｍの可視光域をカメラ側にて１０ｎｍ間隔で分光すると４１枚の画像が、更に撮影照明光源側でも同様に分光すると、合計で４１２＝１６８１枚の画像が必要となる。
さらに、任意の中心波長で狭帯域光を得る為には、特殊かつ高価な装置が必要である。
本発明は上記問題点を考慮してなされたものであり、従来よりも広帯域な波長幅で分光を行い撮影されたマルチバンド画像により、蛍光成分の吸光特性の推定を要せずに、反射成分と蛍光成分とを用いて任意の観察照明光下での画像を生成することができる、画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラムを提供することを目的とする。
上記目的を達成するために、本発明の画像処理装置は、１台のカメラに入射する光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第１光学素子、及び撮影照明光源から被写体に照射する撮影照明光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第２光学素子と、を備えたマルチバンド画像撮影装置により撮影された、撮影照明光の各バンドに対するマルチバンド画像を取得する取得部と、前記撮影照明光の各バンドに対し、前記取得部により取得された前記マルチバンド画像を、前記撮影照明光のバンドと等しいバンドの画像である反射成分画像と、前記撮影照明光のバンドより中心波長が長いバンドの画像である蛍光成分画像とに分離する蛍光成分分離部と、前記撮影照明光の各バンドに対し、前記撮影照明光の照明光スペクトルと前記撮影照明光のバンドに対する前記第２光学素子の波長選択特性の積で、観察環境の照明光の照明光スペクトルと前記撮影照明光のバンドに対する前記第２光学素子の波長選択特性の積を割ることにより、前記各バンドの蛍光成分画像に対する重み係数を計算する重み係数計算部と、前記蛍光成分分離部により分離された、前記撮影照明光の各バンドに対する蛍光成分画像と、前記重み係数計算部により計算された前記各バンドの蛍光成分画像に対する重み係数とに基づいて、前記蛍光成分画像の重みつき線形和を求めることで、マルチバンド蛍光成分画像を生成して出力するマルチバンド蛍光成分画像生成部と、前記マルチバンド蛍光成分画像生成部で生成されたマルチバンド蛍光成分画像の画素毎に、分光スペクトル推定行列をかけて蛍光スペクトルを算出し、蛍光成分色再現画像を生成する蛍光成分色再現部と、前記蛍光成分分離部で分離された反射成分画像によるマルチバンド反射成分画像の画素毎に、分光反射率推定行列及び前記観察環境の照明光の照明光スペクトルをかけて反射光スペクトルを算出し、反射成分色再現画像を生成する反射成分色再現部と、前記蛍光成分色再現画像と前記反射成分色再現画像とを加算して色再現結果画像を生成して出力する画像合成処理部と、
を備える。
また、本発明の画像処理装置は、カメラに入射する光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第１光学素子を有し、かつ、視点が異なる複数台のカメラ、及び撮影照明光源から被写体に照射する撮影照明光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第２光学素子と、を備えたマルチバンド画像撮影装置により撮影された、撮影照明光の各バンドに対する複数の画像を取得する取得部と、前記複数の画像のうち予め定められた画像を基準画像とし、前記基準画像とは異なる画像の各々について、前記基準画像上の各基準点に対する、前記画像上における各対応点を検出する対応点検出部と、前記撮影照明光の各バンドに対し、前記基準画像とは異なる画像の各々において、前記対応点検出部によって検出された前記基準画像上の各基準点に対する前記画像における各対応点に基づいて、各基準点の位置と各対応点の位置とが一致するように前記画像を変形した変形結果画像を生成し、前記基準画像と前記変形結果画像の各々とを含むマルチバンド画像を生成する画像変形処理部と、前記撮影照明光の各バンドに対し、前記画像変形処理部により生成された前記マルチバンド画像を、前記撮影照明光のバンドと等しいバンドの画像である反射成分画像と、前記撮影照明光のバンドより中心波長が長いバンドの画像である蛍光成分画像とに分離する蛍光成分分離部と、前記撮影照明光の各バンドに対し、前記撮影照明光の照明光スペクトルと前記撮影照明光のバンドに対する前記第２光学素子の波長選択特性の積で、観察環境の照明光の照明光スペクトルと前記撮影照明光のバンドに対する前記第２光学素子の波長選択特性の積を割ることにより、前記各バンドの蛍光成分画像に対する重み係数を計算する重み係数計算部と、前記蛍光成分分離部により分離された、前記撮影照明光の各バンドに対する蛍光成分画像と、前記重み係数計算部により計算された前記各バンドの蛍光成分画像に対する重み係数とに基づいて、前記蛍光成分画像の重みつき線形和を求めることで、マルチバンド蛍光成分画像を生成して出力するマルチバンド蛍光成分画像生成部と、前記マルチバンド蛍光成分画像生成部で生成されたマルチバンド蛍光成分画像の画素毎に、分光スペクトル推定行列をかけて蛍光スペクトルを算出し、蛍光成分色再現画像を生成する蛍光成分色再現部と、前記蛍光成分分離部で分離された反射成分画像によるマルチバンド反射成分画像の画素毎に、分光反射率推定行列及び前記観察環境の照明光の照明光スペクトルをかけて反射光スペクトルを算出し、反射成分色再現画像を生成する反射成分色再現部と、前記蛍光成分色再現画像と前記反射成分色再現画像とを加算して色再現結果画像を生成して出力する画像合成処理部と、を備える。
また、本発明の画像処理装置は、前記複数台のカメラは、カラー画像を撮影する１台のカラーカメラと、単色画像を撮影する１台以上の単色カメラとを含み、前記複数の第１光学素子は、前記単色カメラの各々に対して、異なるバンドの光を透過させ、前記取得部が取得した前記カラー画像の画素毎に推定された分光反射率を画素値とする分光反射率画像、及び分光する前の状態の前記撮影照明光の照明光スペクトル、及び各単色カメラの分光感度特性を用いて、前記単色カメラ毎に得られた、前記カラーカメラの視点から撮影した場合に得られるであろう仮想的な単色画像を生成する単色画像生成部をさらに備え、前記対応点検出部は、単色画像生成部で生成された前記単色画像を、前記基準画像としてもよい。
また、本発明の画像処理システムは、１台のカメラに入射する光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第１光学素子、及び撮影照明光源から被写体に照射する撮影照明光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第２光学素子と、を備えたマルチバンド画像撮影装置と、前記マルチバンド画像撮影装置により撮影された、撮影照明光の各バンドに対するマルチバンド画像を取得して、取得した前記マルチバンド画像に基づいて色再現結果画像を生成して出力する本発明の画像処理装置と、を備える。
また、本発明の画像処理システムは、カメラに入射する光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第１光学素子を有し、かつ、視点が異なる複数台のカメラ、及び撮影照明光源から被写体に照射する撮影照明光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第２光学素子と、を備えたマルチバンド画像撮影装置と、前記マルチバンド画像撮影装置により撮影された、撮影照明光の各バンドに対する複数の画像を取得して、取得した前記複数の画像に基づいて色再現結果画像を生成して出力する本発明の画像処理装置と、を備える。
また、本発明の画像処理方法は、取得部が、１台のカメラに入射する光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第１光学素子、及び撮影照明光源から被写体に照射する撮影照明光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第２光学素子と、を備えたマルチバンド画像撮影装置により撮影された、撮影照明光の各バンドに対するマルチバンド画像を取得するステップと、蛍光成分分離部が、前記撮影照明光の各バンドに対し、前記取得部により取得された前記マルチバンド画像を、前記撮影照明光のバンドと等しいバンドの画像である反射成分画像と、前記撮影照明光のバンドより中心波長が長いバンドの画像である蛍光成分画像とに分離するステップと、重み係数計算部が、前記撮影照明光の各バンドに対し、前記撮影照明光の照明光スペクトルと前記撮影照明光のバンドに対する前記第２光学素子の波長選択特性の積で、観察環境の照明光の照明光スペクトルと前記撮影照明光のバンドに対する前記第２光学素子の波長選択特性の積を割ることにより、前記各バンドの蛍光成分画像に対する重み係数を計算するステップと、マルチバンド蛍光成分画像生成部が、前記蛍光成分分離部により分離された、前記撮影照明光の各バンドに対する蛍光成分画像と、前記重み係数計算部により計算された前記各バンドの蛍光成分画像に対する重み係数とに基づいて、前記蛍光成分画像の重みつき線形和を求めることで、マルチバンド蛍光成分画像を生成して出力するステップと、蛍光成分色再現部が前記マルチバンド蛍光成分画像生成部で生成されたマルチバンド蛍光成分画像の画素毎に、分光スペクトル推定行列をかけて蛍光スペクトルを算出し、蛍光成分色再現画像を生成するステップと、反射成分色再現部が前記蛍光成分分離部で分離された反射成分画像によるマルチバンド反射成分画像の画素毎に、分光反射率推定行列及び前記観察環境の照明光の照明光スペクトルをかけて反射光スペクトルを算出し、反射成分色再現画像を生成するステップと、画像合成処理部が、前記蛍光成分色再現画像と前記反射成分色再現画像とを加算して色再現結果画像を生成して出力するステップと、を含む。
また、本発明の画像処理方法は、取得部が、カメラに入射する光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第１光学素子を有し、かつ、視点が異なる複数台のカメラ、及び撮影照明光源から被写体に照射する撮影照明光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第２光学素子と、を備えたマルチバンド画像撮影装置により撮影された、撮影照明光の各バンドに対する複数の画像を取得するステップと、対応点検出部が、前記複数の画像のうち予め定められた画像を基準画像とし、前記基準画像とは異なる画像の各々について、前記基準画像上の各基準点に対する、前記画像上における各対応点を検出するステップと、画像変形処理部が、前記撮影照明光の各バンドに対し、前記基準画像とは異なる画像の各々において、前記対応点検出部によって検出された前記基準画像上の各基準点に対する前記画像における各対応点に基づいて、各基準点の位置と各対応点の位置とが一致するように前記画像を変形した変形結果画像を生成し、前記基準画像と前記変形結果画像の各々とを含むマルチバンド画像を生成するステップと、蛍光成分分離部が、前記撮影照明光の各バンドに対し、前記画像変形処理部により生成された前記マルチバンド画像を、前記撮影照明光のバンドと等しいバンドの画像である反射成分画像と、前記撮影照明光のバンドより中心波長が長いバンドの画像である蛍光成分画像とに分離するステップと、重み係数計算部が、前記撮影照明光の各バンドに対し、前記撮影照明光の照明光スペクトルと前記撮影照明光のバンドに対する前記第２光学素子の波長選択特性の積で、観察環境の照明光の照明光スペクトルと前記撮影照明光のバンドに対する前記第２光学素子の波長選択特性の積を割ることにより、前記各バンドの蛍光成分画像に対する重み係数を計算するステップと、マルチバンド蛍光成分画像生成部が、前記蛍光成分分離部により分離された、前記撮影照明光の各バンドに対する蛍光成分画像と、前記重み係数計算部により計算された前記各バンドの蛍光成分画像に対する重み係数とに基づいて、前記蛍光成分画像の重みつき線形和を求めることで、マルチバンド蛍光成分画像を生成して出力するステップと、蛍光成分色再現部が、前記マルチバンド蛍光成分画像生成部で生成されたマルチバンド蛍光成分画像の画素毎に、分光スペクトル推定行列をかけて蛍光スペクトルを算出し、蛍光成分色再現画像を生成するステップと、反射成分色再現部が、前記蛍光成分分離部で分離された反射成分画像によるマルチバンド反射成分画像の画素毎に、分光反射率推定行列及び前記観察環境の照明光の照明光スペクトルをかけて反射光スペクトルを算出し、反射成分色再現画像を生成するステップと、画像合成処理部が、前記蛍光成分色再現画像と前記反射成分色再現画像とを加算して色再現結果画像を生成して出力するステップと、を含む。
また、本発明の画像処理プログラムは、コンピュータを、本発明の画像処理装置の各部として機能させるためのものである。
本発明の画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラムによれば、従来よりも広帯域な波長幅で分光を行い撮影されたマルチバンド画像により、蛍光成分の吸光特性の推定を要せずに、反射成分と蛍光成分とを用いて任意の観察照明光下での画像を生成することができる、という効果が得られる。
第１の実施の形態の画像処理システム（画像処理装置）の概略構成の一例を示す構成図である。 第１の実施の形態のマルチバンド照明部及びマルチバンド画像撮影部のバンドパスフィルタの分光透過率を示す図である。 第１の実施の形態のマルチバンド画像撮影部で撮影したマルチバンド画像を示す図である。 第１の実施の形態の画像処理装置における画像処理の流れの一例を示すフローチャートである。 蛍光灯下での推定結果及び分光計による計測結果を示す図である。 白熱灯下での推定結果及び分光計による計測結果を示す図である。 第２の実施の形態の画像処理システム（画像処理装置）の概略構成の一例を示す構成図である。 第２の実施の形態のマルチバンド照明部として用いたマルチバンド照明装置の具体例を示す図である。 第２の実施の形態のマルチバンド画像撮影部に用いた９眼ステレオカメラの具体例である。 第２の実施の形態のマルチバンド照明部及びマルチバンド画像撮影部のバンドパスフィルタの分光透過率を示す図である。 第２の実施の形態の画像変形処理部の概略構成の一例を示す構成図である。 第２の実施の形態の画像処理装置における画像処理の流れの一例を示すフローチャートである。 第３の実施の形態の画像処理システム（画像処理装置）の概略構成の一例を示す構成図である。 第３の実施の形態のマルチバンド画像撮影部に用いた９眼ステレオカメラの具体例である。 第３の実施の形態の画像処理装置における画像処理の流れの一例を示すフローチャートである。
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態は本発明を限定するものではない。
［第１の実施の形態］
図１は、本実施の形態の画像処理装置２０を備えた画像処理システム１の概略構成の一例を示す構成図である。
本実施の形態の画像処理システム１は、マルチバンド画像撮影装置１０及び画像処理装置２０を備える。
マルチバンド画像撮影装置１０は、撮影制御部１２、マルチバンド照明部１４、及びマルチバンド画像撮影部１６を備える。
撮影制御部１２は、マルチバンド照明部１４及びマルチバンド画像撮影部１６の動作タイミングを制御する。そのため、撮影制御部１２は、マルチバンド照明部１４及びマルチバンド画像撮影部１６の各々に対して、動作タイミングを制御するための制御信号を出力する。なお、本実施の形態の撮影制御部１２は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）等を備えたコンピュータにより実現されており、ＣＰＵが、ＲＯＭに記憶されているプログラムを実行することにより、上記制御信号が出力される。そのため、マルチバンド画像撮影装置１０によれば、全自動撮影が可能である。
マルチバンド照明部１４は、撮影照明光源と、撮影照明光源から射出された光が透過する波長帯域（バンド）を制御する光学素子（例えばバンドパスフィルタ）と、を含む（いずれも図示省略）。マルチバンド照明部１４は、撮影制御部１２から入力される制御信号に基づいて、光学素子の波長特性を切り替える。具体例として光学素子がバンドパスフィルタの場合は、マルチバンド照明部１４はバンドパスフィルタの切り替えを行う。また、マルチバンド照明部１４は、撮影制御部１２から入力される制御信号に基づいて、撮影照明光源から光を射出させる。これにより、マルチバンド照明部１４からは、波長が選択された撮影照明光が出力される。以下では、撮影照明光の波長（光学素子としてバンドパスフィルタを使用している場合はバンドパスフィルタの波長）を「光源波長」という。
マルチバンド画像撮影部１６は、１台の白黒カメラと、入射光の波長帯域を制御する光学素子（例えばバンドパスフィルタ）と、を含む（いずれも図示省略）。マルチバンド画像撮影部１６は、撮影制御部１２から入力される制御信号に基づいて、光学素子の波長特性を切り替える。具体例として光学素子がバンドパスフィルタの場合は、マルチバンド画像撮影部１６はバンドパスフィルタの切り替えを行う。また、マルチバンド画像撮影部１６は、撮影制御部１２から入力される制御信号に基づいて、被写体の画像を撮影する。これにより、マルチバンド画像撮影部１６からは、各バンドの撮影照明光に対応したマルチバンド画像が出力される。以下では、マルチバンド画像撮影部１６の光学素子（バンドパスフィルタを使用している場合はバンドパスフィルタ）の波長を「カメラ波長」という。
なお、マルチバンド画像撮影部１６は、カメラから出力される出力信号値が飽和しないよう、露光条件を設定する。また、光源波長がカメラ波長以下（光源波長≦カメラ波長）の場合のみ、撮影を行うようにしてもよい。
一方、画像処理装置２０は、取得部２１、撮影画像蓄積部２２、マルチバンド画像生成部２４、反射成分色再現部２６、蛍光成分色再現部２８、及び画像合成処理部３０を備える。画像処理装置２０には、マルチバンド画像撮影装置１０のマルチバンド画像撮影部１６で撮影されたマルチバンド画像が入力される。また、画像処理装置２０からは、色再現結果画像（詳細後述）が出力される。なお、本実施の形態の画像処理装置２０は、ＣＰＵ、ＲＡＭ、及びＲＯＭ等を備えたコンピュータにより実現されており、ＣＰＵが、ＲＯＭに記憶されているプログラムを実行することにより、マルチバンド画像から色再現結果画像を生成して出力する。
取得部２１は、マルチバンド画像をマルチバンド画像撮影装置１０から取得して、撮影画像蓄積部２２に記憶させる。そのため、取得部２１には、マルチバンド画像が入力され、入力されたマルチバンド画像が撮影画像蓄積部２２に出力される。
撮影画像蓄積部２２には、入力されたマルチバンド画像が記憶される。また、撮影画像蓄積部２２は、マルチバンド画像撮影部１６のカメラにおける各カラーバンドの分光感度特性、撮影照明光スペクトル、及び撮影照明光の分光に用いた各バンドの波長選択特性（バンドパスフィルタを用いる場合は、バンドパスフィルタの分光透過率）がマルチバンド画像と共に記憶されている。なお、撮影画像蓄積部２２は、マルチバンド画像生成部２４と一体化してもよい。また、撮影画像蓄積部２２は、画像処理装置２０の外部にあってもよい。
マルチバンド画像生成部２４は、蛍光成分分離部４０、マルチバンド蛍光成分画像生成部４２、及び重み係数計算部４４を備える。マルチバンド画像生成部２４は、マルチバンド画像撮影装置１０で撮影されたマルチバンド画像から、マルチバンド反射成分画像及びマルチバンド蛍光成分画像を生成する。
蛍光成分分離部４０は、マルチバンド画像の中から、反射光成分（以下、「反射成分」という）が記録された画像と、蛍光成分が記録された画像とを選別し抽出する。
具体的には、蛍光成分分離部４０は、撮影画像蓄積部２２から各バンドの撮影照明光に対応したマルチバンド画像と、カメラにおける各カラーバンドの分光感度特性、撮影照明光スペクトル、及び撮影照明光の分光に用いた各バンドの波長選択特性（バンドパスフィルタの分光透過率）を取得する。そして、蛍光成分分離部４０は、撮影照明光の各バンドに対し、当該バンドと等しいカラーバンド（光源波長＝カメラ波長）の画像をマルチバンド反射成分画像として抽出し、出力する。また、蛍光成分分離部４０は、撮影照明光の各バンドに対し、当該バンドよりも波長が長いカラーバンド（光源波長＜カメラ波長）の画像を蛍光成分画像として抽出し、出力する。
重み係数計算部４４には、マルチバンド照明部１４の各バンドにおける波長選択特性（バンドパスフィルタの分光透過率）、撮影照明光スペクトル、及び観察環境の照明光（以下、「観察照明光」という）の照明光スペクトル（以下、「観察照明光スペクトル」という）が入力される。なお、波長選択特性（バンドパスフィルタの分光透過率）及び撮影照明光スペクトルは、撮影画像蓄積部２２から取得してもよい。重み係数計算部４４は、撮影照明光の各バンドの蛍光成分画像に対する重み係数を計算する。
マルチバンド蛍光成分画像生成部４２には、蛍光成分分離部４０から蛍光成分画像が入力される。また、マルチバンド蛍光成分画像生成部４２には、重み係数計算部４４から撮影照明光の各バンドに対する重み係数が入力される。マルチバンド蛍光成分画像生成部４２は、撮影照明光の各バンドに対し、当該バンドに対する蛍光成分画像に当該バンドに対する重み係数を掛け合わせ、重みつき線形和を求めることで、マルチバンド蛍光成分画像を生成して出力する。
以下、マルチバンド蛍光成分画像生成部４２におけるマルチバンド蛍光成分画像の生成について、バンド数をＮと一般化し、定式化を行い説明する。また、以下の説明では、分光のための光学素子として、バンドパスフィルタを用いた場合について説明する。また、以下の式では可視光波長領域（３８０ｎｍ〜７８０ｎｍ）のみを取り扱っているが、紫外光波長領域、赤外光波長領域を含むように拡張してもよい。
ｊ番目（ｊバンド目）の照明下で撮影したｉ番目（ｉバンド目）の画像（１≦ｉ，ｊ≦Ｎ）の信号値は、撮影照明光スペクトルをＩ（λ）、ｊバンド目のフィルタの分光透過率をＴｊ（λ）、被写体表面の分光反射率をＲ（λ）、及びｉバンド目のカメラの分光感度をＳｉ（λ）とすると、下記（１）式のように表すことができる。
ここでλは波長を表す。上記（１）式より、反射成分ｒｉは下記（２）式のように書き表せる。
一方で蛍光成分ｆｉ，ｊは、蛍光の吸光特性をα（λ）、及び発光スペクトルをＥ（λ）とすると、下記（３）式のように表すことができる。
以上から、蛍光成分は下記（４）式のように書き表すことができる。
ここでｊバンド目のフィルタＴｊ（λ）のバンド幅が十分に小さいと仮定すると、上記（３）式は下記（５）式のように書き改めることができる。
上記（５）式の第２項はｊバンド目のフィルタＴｊ（λ）を透過した撮影照明光のエネルギを表しており、分光計を用いることで計測可能である。
次に、観察照明光スペクトルＩ’（λ）の観察照明光下での画像を再現することを考える。観察照明光スペクトルＩ’（λ）の下での蛍光成分ｆｉ，ｊは、上記（５）式より、下記６）式のように表せる。
つまり上記（６）式は、撮影時とは異なる観察照明光下での蛍光成分は、撮影画像の重みつき線形和で求められることを意味する。ｊバンド目における重み係数ｗｊを、下記（７）式で表すと、マルチバンド蛍光成分画像は、下記（８）式に基づき求めることできる。
重み係数計算部４４は、マルチバンド蛍光成分画像生成部４２が、上記（８）式に基づいてマルチバンド蛍光成分画像を生成するための重み係数ｗｊを計算する。重み係数計算部４４は、マルチバンド照明部１４の撮影照明光の各バンド（ｊ）に対し、撮影照明光スペクトルと分光に用いた当該バンド（ｊ）に対する波長選択特性（バンドパスフィルタの分光透過率）の積で、観察照明光スペクトルと分光に用いた当該バンド（ｊ）に対する波長選択特性（バンドパスフィルタの分光透過率）の積を割り、当該バンド（ｊ）における重み係数ｗｊを計算する。具体的には、上記（７）式により、重み係数ｗｊを計算する。重み係数計算部４４は、計算した撮影照明光の各バンド（ｊ）に対する重み係数ｗｊをマルチバンド蛍光成分画像生成部４２に出力する。
反射成分色再現部２６には、マルチバンド画像生成部２４の蛍光成分分離部４０で抽出されたマルチバンド反射成分画像が入力される。また、反射成分色再現部２６には、観察照明光スペクトルが入力される。さらに、マルチバンド画像生成部２４には、等色関数、モニタの原色スペクトル、もしくは原色の測色値が入力される場合もある。
反射成分色再現部２６は、マルチバンド反射成分画像を用いて、分光反射率の推定処理により分光反射率推定行列を算出する。そして、反射成分色再現部２６は、マルチバンド反射成分画像の画素毎に、分光反射率推定行列及び観察照明光スペクトルをかけて反射光スペクトルを算出することにより、反射光スペクトル画像を生成する。なお、反射成分色再現部２６は、等色関数を用いた場合にはモニタ特性に依存しない測色値画像を、さらにモニタの原色スペクトルや測色値を用いた場合には線形なガンマ特性を持つ原色信号値画像（ＲＧＢ画像）を算出する。以下では、反射成分色再現部２６により算出された反射光スペクトル画像もしくは測色値画像、または、線形なガンマ特性を持つモニタの原色信号値画像を「反射成分色再現画像」という。反射成分色再現部２６からは、反射成分色再現画像が出力される。
反射成分色再現部２６において、マルチバンド反射成分画像から分光スペクトルを求める方法について述べる。ここでは具体例として、ウィナー推定法を用いた場合について述べる。カメラの分光感度を行列Ｓ＝［Ｓ１（λ），Ｓ２（λ），・・・，ＳＮ（λ）］Ｔ、と表すとする。また各対角成分が撮影照明光スペクトルである対角行列を行列Ｉとする。分光反射率をＲとすると、観察される分光スペクトルＳｒは下記（９）式のように書き表せる。
カメラからの出力信号値ｒは、下記（１０）式で表されるため、分光反射率Ｒは、ウィナー推定法により下記（１１）式から推定することができる。
上記（１１）式において、Ｒ＾は分光反射率の推定結果であり、行列Ｍはウィナー推定行列（分光反射率推定行列）であり行列Ｈから求められる。また、上記（１１）式において、行列Ｋは被写体の分光反射率の統計的性質を現す行列である。ここでは簡単のため、一次のマルコフ性を仮定し、行列Ｋを下記（１２）式のように定義する。
分光反射率の推定結果Ｒ＾と観察照明光スペクトルＩ~とを用いると、観察照明光下における反射成分Ｓ＾ｒは下記（１３）式で表すことができる。
反射成分色再現部２６は、上記のようにウィナー推定法を用いて画素毎の分光反射率を推定し、推定した分光反射率を画素値とする反射成分色再現画像を生成する。
なお、画像処理装置２０から出力される色再現結果画像をＲＧＢディスプレイに表示するための表示用色再現結果画像とする場合には、反射成分色再現部２６において、等色関数、ディスプレイ装置の３原色に関するスペクトル分光分布もしくは測色値、ディスプレイ装置のガンマ特性を利用し、反射光スペクトル画像からＲＧＢ画像に変換してもよい。この場合、まず、反射光スペクトルと等色関数とを掛け合わせて測色値を算出し、算出された測色値をＲＧＢ値に変換する。最後に、ディスプレイ装置のガンマ特性に応じた補正処理を行い、表示用の反射成分色再現画像を得る。
蛍光成分色再現部２８には、マルチバンド蛍光成分画像生成部４２で生成されたマルチバンド蛍光成分画像が入力される。また、蛍光成分色再現部２８には、観察照明光スペクトルが入力される。さらに、蛍光成分色再現部２８、等色関数、モニタの原色スペクトル、もしくは原色の測色値が入力される場合もある。
蛍光成分色再現部２８は、マルチバンド蛍光成分画像を用いて、分光スペクトルの推定処理により分光スペクトル推定行列を算出する。そして、蛍光成分色再現部２８は、マルチバンド蛍光成分画像の画素毎に、分光スペクトル推定行列をかけて蛍光スペクトルを算出することにより、蛍光スペクトル画像を生成する。なお、蛍光成分色再現部２８は、等色関数を用いた場合にはモニタ特性に依存しない測色値画像を、さらにモニタの原色スペクトルや測色値を用いた場合には線形なガンマ特性を持つ原色信号値画像（ＲＧＢ画像）を算出する。以下では、蛍光成分色再現部２８により算出された蛍光スペクトル画像もしくは測色値画像、または、線形なガンマ特性を持つモニタの原色信号値画像を「蛍光成分画像」という。蛍光成分色再現部２８からは、蛍光成分画像が出力される。
具体的には、蛍光成分色再現部２８は、上述した反射成分色再現部２６と同様の処理を行い、蛍光スペクトルを推定してマルチバンド蛍光成分画像を生成する。ｆ’＝［ｆ’１，ｆ’２，・・・，ｆ’Ｎ］Ｔとし、対角成分が全て１の対角行列Ｉ’を用いると、下記（１４）式から、観察照明光下の蛍光スペクトルＥ＾は、下記（１５）式で表される。
なお、画像処理装置２０から出力される色再現結果画像をＲＧＢディスプレイに表示するための表示用色再現結果画像とする場合には、反射成分色再現部２６と同様に、蛍光成分色再現部２８において蛍光スペクトル画像からＲＧＢ画像に変換してもよい。
画像合成処理部３０には、反射成分色再現画像及び蛍光成分色再現画像が入力される。画像合成処理部３０は、反射成分色再現画像と蛍光成分色再現画像とを加算し、観察照明光下において観察される色再現結果画像を生成して出力する。色再現結果画像は、反射成分色再現画像及び蛍光成分色再現画像に応じて、スペクトル画像、測色値画像、及び線形なガンマ特性を持つモニタの原色信号値画像のいずれかである。
具体的には、観察照明光Ｉ~の下で観察される分光スペクトルは、下記（１６）式で書き表される。画像合成処理部３０は、下記（１６）式に基づいて、色再現結果画像を生成する。
なお、画像合成処理部３０に反射光スペクトル画像及び蛍光スペクトル画像が入力される場合は、画像合成処理部３０において、上述した反射成分色再現部２６及び蛍光成分色再現部２８と同様に、観察照明光スペクトル画像からＲＧＢ画像に変換してもよい。
次に、本実施の形態の画像処理装置２０における画像処理の流れの概略について説明する。
なお、マルチバンド画像撮影部１６のカメラには１台の白黒カメラ（カメラ内での信号値補正は無く、ガンマ特性は線形）を使用した。また、被写体にはカラーチャートを用いた。マルチバンド照明部１４及びマルチバンド画像撮影部１６の両方で、図２に示す分光透過率を持つ８枚のバンドパスフィルタを光学素子として使用した。バンドパスフィルタの中心波長はそれぞれ４２０ｎｍ、４５０ｎｍ、４９０ｎｍ、５３０ｎｍ、５７０ｎｍ、６１０ｎｍ、６５０ｎｍ、６９０ｎｍで、半値幅は中心波長が４２０ｎｍのバンドパスフィルタは２０ｎｍで、その他のバンドパスフィルタは４０ｎｍである。各カメラの露光時間は、カメラと撮影照明光源のバンドパスフィルタが同じ場合に、画像信号値が飽和しないように設定した。なお、露光時間は全ての撮影過程に置いて一定でも良いし、マルチバンド照明部１４の撮影照明光源のバンド毎に最適値に設定し、撮影後に画像処理で補正をかけても良い。ピント調整は、光学系の収差の影響を抑えるため、カメラ側と撮影照明光源側のバンドパスフィルタが等しいときに実施した。マルチバンド画像撮影装置１０により、図３に示すような合計３６枚の画像をマルチバンド画像として撮影した。
マルチバンド画像撮影装置１０により撮影照明光の各バンドに対するマルチバンド画像が撮影された後、画像処理装置２０により画像処理が実行される。図４は、本実施の形態の画像処理装置２０における画像処理の流れの一例を表すフローチャートである。
ステップＳ１００で取得部２１は、マルチバンド画像撮影装置１０から撮影照明光の各バンドに対するマルチバンド画像を取得する。そして、取得部２１は、取得した当該マルチバンド画像を撮影画像蓄積部２２に記憶させる。
次のステップＳ１０２で蛍光成分分離部４０は、撮影照明光の各バンドに対し、蛍光成分を分離して、マルチバンド画像の中から、反射成分が記録された反射成分画像と、蛍光成分が記録された蛍光成分画像とを選別し抽出する。
次のステップＳ１０４で重み係数計算部４４は、マルチバンド照明部１４の各バンドにおける波長選択特性（バンドパスフィルタの分光透過率）、撮影照明光スペクトル、及び観察照明光スペクトルに基づいて、撮影照明光の各バンドの蛍光成分画像に対し、上述した（７）式に基づき、重み係数を計算する。なお、重み係数を計算するタイミングは本実施の形態に限定されず、予め計算しておいてもよい。
次のステップＳ１０６でマルチバンド蛍光成分画像生成部４２は、上記ステップＳ１０２で得られた蛍光成分画像と、上記ステップＳ１０４で得られた撮影照明光の各バンドの蛍光成分画像に対する重み係数に基づいて、上述したように、撮影照明光の各バンドに対し、当該バンドに対する蛍光成分画像に当該バンドに対する重み係数を掛け合わせ、重みつき線形和を求めることで、蛍光成分画像のうち当該バンドの撮影照明光で撮影された画像に当該バンドの重み係数を掛け合わせ、マルチバンド蛍光成分画像を生成する。
次のステップＳ１０８で蛍光成分色再現部２８は、上記ステップＳ１０６で得られたマルチバンド蛍光成分画像と、分光スペクトル推定行列とに基づいて、上述したように、蛍光スペクトルを算出することにより、蛍光スペクトル画像（蛍光成分色再現画像）を生成する。
次のステップＳ１１０で反射成分色再現部２６は、上記ステップＳ１０２で得られたマルチバンド反射成分画像と、分光反射率推定行列と、観察照明光スペクトルとに基づいて、上述したように、反射光スペクトルを算出することにより、反射光スペクトル画像（反射成分色再現画像）を生成する。
次のステップＳ１１２で画像合成処理部３０は、上述したように、蛍光成色再現画像及び反射成分色再現画像を加算することにより色再現結果画像を生成し、表示装置等に出力した後、本実施の形態の画像処理を終了する。
被写体として黄、緑、オレンジ、ピンクの４種類の蛍光色カードを用いて、撮影時のマルチバンド照明部１４の撮影照明光源としてキセノンランプを使用し、観察照明光として蛍光灯と白熱灯の下での観察照明光スペクトルの推定を行う実験を行った実験結果を行った。図５には、蛍光灯下での推定結果（estimation）及び分光計による計測結果（measurement）を示す。また、図６には、白熱灯下での推定結果及び分光計による計測結果を示す。図５及び図６によれば、蛍光灯下及び白熱灯下のいずれにおいても、推定結果と計測結果とがほぼ一致していることがわかる。
なお、上記画像処理における蛍光成分色再現画像を生成するステップＳ１０４〜１０８の処理と、反射成分色再現画像を生成するステップＳ１１０の処理の順番は本実施の形態に限定されないことはいうまでもない。
なお、本実施の形態の画像処理では、マルチバンド画像撮影装置１０のマルチバンド画像撮影部１６が備える複数の光学素子（バンドパスフィルタ）の構成は、特に限定されない。複数の光学素子は、例えば、カメラで撮影された撮影画像毎に、撮影照明光源から射出された光が透過する波長帯域（バンド）を制御してもよい。このように構成する場合は、例えば、カメラのレンズの前に配置した光学素子を順次切り替えて、光学素子毎に撮影を行えばよい。
また、複数の光学素子は、例えば、カメラで撮影された撮影画像の画素毎（複数の画素による画素群単位毎も含む）に、撮影照明光源から射出された光が透過する波長帯域（バンド）を制御してもよい。このように構成する場合は、例えば、カメラがイメージセンサを有する場合、当該イメージセンサの画素毎に、異なる光学素子（バンドパスフィルタ）を配置すればよく、具体例としては、ＣＣＤ（ Charge Coupled Device Image Sensor）イメージセンサ上のカラーフィルタを当該複数の光学素子とすることが挙げられる。
マルチバンド画像撮影部１６は、１台の白黒カメラと、入射光の波長帯域を制御する光学素子（例えばバンドパスフィルタ）と、を含む（いずれも図示省略）。マルチバンド画像撮影部１６は、撮影制御部１２から入力される制御信号に基づいて、光学素子の波長特性を切り替える。具体例として光学素子がバンドパスフィルタの場合は、マルチバンド画像撮影部１６はバンドパスフィルタの切り替えを行う。また、マルチバンド画像撮影部１６は、撮影制御部１２から入力される制御信号に基づいて、被写体の画像を撮影する。これにより、マルチバンド画像撮影部１６からは、各バンドの撮影照明光に対応したマルチバンド画像が出力される。以下では、マルチバンド画像撮影部１６の光学素子（バンドパスフィルタを使用している場合はバンドパスフィルタ）の波長を「カメラ波長」という。
このように本実施の形態のマルチバンド画像撮影装置は、マルチバンド照明部１４とマルチバンド画像撮影部１６とを備える。マルチバンド画像撮影部１６は、１台の単色カメラと、１台のカメラに入射する光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第１光学素子の一例であるバンドパスフィルタを備える。また、マルチバンド照明部１４は、撮影照明光源と、当該撮影照明光源から被写体に照射する撮影照明光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第２光学素子の一例であるバンドパスフィルタを備える。
画像処理装置２０は、マルチバンド画像生成部２４を備える。マルチバンド画像生成部２４は、蛍光成分分離部４０、マルチバンド蛍光成分画像生成部４２、及び重み係数計算部４４を備える。蛍光成分分離部４０は、撮影照明光の各バンドに対し、マルチバンド画像を、当該バンドと等しいバンドの画像である反射成分画像と、当該バンドより中心波長が長いバンドの画像である蛍光成分画像とに分離する。重み係数計算部４４は、撮影照明光の各バンドに対し、撮影照明光の照明光スペクトルと当該バンドに対する第２光学素子の波長選択特性の積で、観察環境の照明光の照明光スペクトルと前記バンドに対する前記第２光学素子の波長選択特性の積を割ることにより、バンドの蛍光成分画像に対応する重み係数を計算する。マルチバンド蛍光成分画像生成部４２は、蛍光成分分離部４０により分離された、撮影照明光の各バンドに対する蛍光成分画像と、重み係数計算部４４により計算された撮影照明光の各バンドに対する重み係数とに基づいて、蛍光成分画像の重みつき線形和を求めることで、マルチバンド蛍光成分画像を生成して出力する。
また、画像処理装置２０は、反射成分色再現部２６、蛍光成分色再現部２８、及び画像合成処理部３０を備える。蛍光成分色再現部２８は、マルチバンド蛍光成分画像生成部４２で生成されたマルチバンド蛍光成分画像の画素毎に、分光スペクトル推定行列をかけて蛍光スペクトルを算出し、蛍光成分色再現画像を生成する。反射成分色再現部２６は、蛍光成分分離部４０で分離された反射成分画像によるマルチバンド反射成分画像の画素毎に、分光反射率推定行列及び観察照明光スペクトルをかけて反射光スペクトルを算出し、反射成分色再現画像を生成する。画像合成処理部３０は、蛍光成分色再現画像と反射成分色再現画像とを加算して色再現結果画像を生成して出力する。
従って、本実施の形態の画像処理装置２０によれば、従来よりも広帯域な波長幅で分光を行い撮影されたマルチバンド画像により、蛍光成分の吸光特性の推定を要せずに、反射成分画像と蛍光成分画像とを用いて任意の観察照明光下での画像を生成することができる。
［第２の実施の形態］
本実施の形態は、上述した第１の実施の形態と同様の構成及び動作を含むため、同様の構成及び動作についてはその旨を記し詳細な説明を省略する。
図７は、本実施の形態の画像処理装置１２０を備えた画像処理システム１０１の概略構成の一例を示す構成図である。
本実施の形態の画像処理システム１０１は、マルチバンド画像撮影装置１１０及び画像処理装置１２０を備える。
マルチバンド画像撮影装置１１０は、マルチバンド照明部１１４及びマルチバンド画像撮影部１１６を備えている。
図８に、本実施の形態のマルチバンド照明部１１４として用いたマルチバンド照明装置の具体例を示す。図８に示したマルチバンド照明装置１１４Ａの撮影照明光源はキセノンランプであり、マルチバンド照明装置１１４Ａの内部には最大８枚のバンドパスフィルタが取りつけ可能なフィルタターレットが内蔵されている。また射出光はファイバーガイドを経由して、レンズを通して被写体に照射される。図８に示したマルチバンド照明装置１１４Ａの場合は、２台の８バンド照明装置をファイバーガイドでつないで、同一のレンズから被写体に射出光が照射される。
マルチバンド画像撮影部１１６は、複数台の白黒カメラを備えている。図９に、本実施の形態のマルチバンド画像撮影部１１６に用いた９眼ステレオカメラの具体例を示す。９台のカメラは全て白黒カメラであり、それぞれのカメラには、図１０に示す分光透過率を有するバンドパスフィルタが取り付けられている。マルチバンド照明装置１１４Ａにも同じ分光透過率を有する９枚のバンドパスフィルタが取り付けられている。
各カメラの露光時間は、撮影制御部１１２及びマルチバンド照明部１１４のバンドパスフィルタが等しいときに画像信号値が飽和しないよう設定し、撮影後に補正をかけた。撮影画像の明るさの補正には、同じ条件で撮影した標準白色板の画素値を使用した。また各カメラのピント調整も、光学系の収差の影響を抑えるため、撮影制御部１１２及びマルチバンド照明部１１４のバンドパスフィルタの波長が等しいときに実施した。
本実施の形態のマルチバンド画像撮影部１１６のカメラは上述のように、９台のカメラを用いており、各カメラの位置が異なるため、各カメラで撮影された画像中の被写体の位置がずれている。そのため、本実施の形態の画像処理装置１２０では、マルチバンド画像のうちから選択した基準画像に基づいて、被写体の位置を合わせるように他の画像を変形させる。
本実施の形態の画像処理装置１２０には、マルチバンド画像撮影部１１６で撮影されたバンド数Ｎのマルチバンド画像が入力される。また、図７に示すように、本実施の形態の画像処理装置１２０は、第１の実施の形態の画像処理装置２０のマルチバンド画像生成部２４に代えてマルチバンド画像生成部１２４を備えている。
マルチバンド画像生成部１２４は、蛍光成分分離部４０の前に画像変形処理部４６をさらに備えている。図１１は、本実施の形態の画像変形処理部４６の概略構成の一例を示す構成図である。
図１１に示すように、画像変形処理部４６は、基準画像選択部５０、対応点検出部５２、画像変形パラメータ算出部５４、画像変形パラメータ記憶部５６、及び画像変形処理部５８を備えている。
基準画像選択部５０には、撮影画像蓄積部２２に蓄積されているマルチバンド画像撮影部１１６で撮影された複数の画像が入力される。光源波長とカメラ波長とが等しい（光源波長＝カメラ波長）画像（反射成分画像）の中から対応点検出の基準とする基準画像を１枚選択する。例えば、基準画像としては、被写体に対して所望の位置に設置されたカメラで撮影された画像や、９バンドの画像中で中心波長が短いほうから４番目の画像、輝度のヒストグラム分布の分散が最大である画像、及びエントロピが最大である画像等が挙げられる。
基準画像選択部５０からは、選択された１枚の反射成分画像である基準画像と、基準画像とは異なる、光源波長とカメラ波長とが等しいＮ−１枚の反射成分画像である変形対象画像と、が対応点検出部５２に出力される。また、基準画像選択部５０からは、光源波長とカメラ波長とが異なる画像が画像変形処理部５８に出力される。
対応点検出部５２には、基準画像選択部５０で選択された基準画像とＮ−１枚の反射成分画像である変形対象画像が入力される。なお、変形対象画像は、後述する画像変形パラメータ記憶部５６に画像変形パラメータが記憶されるごとに、順次、対応点検出部５２に入力されるようにしてもよい。
対応点検出部５２は、基準画像の基準点に対応する変形対象画像の対応点を探索して検出する。対応点を探索して検出する方法は特に限定されず、既存の方法を用いればよい。既存の方法としては、例えば、ＮＣＣ（Normalized cross correlation）法や位相限定相関（Phase-only correlation：ＰＯＣ）法、ＳＡＤ (sum of absolute differences)法、ＳＳＤ（sum of squared difference）法、ヒストグラム相関法、ＳＩＦＴ（Scale-Invariant Feature Transform）法、ＨＯＧ（Histograms of Oriented Gradients）法等が挙げられる。
対応点検出部５２からは、検出された対応点と、基準画像の基準点と変形対象画像上における対応点の位置関係とが出力される。
画像変形パラメータ算出部５４には、対応点検出部５２で検出された対応点と、基準画像の基準点と変形対象画像上における対応点の位置関係とが入力される。
画像変形パラメータ算出部５４は、対応点検出部５２で検出された対応点を用いて、基準点と対応点とが一致するように画像変形パラメータを算出する。画像変形パラメータとしては、例えばアフィン変換行列や、スプライン補完法で使用するルックアップテーブル等が挙げられる。また、画像変形パラメータの算出方法は特に限定されず、既存の手法を用いればよい。
本実施の形態では、画像変形パラメータ算出部５４は、Ｎ−１枚の反射成分画像である変形対象画像について画像変形パラメータを算出する。従って、画像変形パラメータ算出部５４からは、各バンドの画像変形パラメータが出力される。
画像変形パラメータ記憶部５６は、入力された画像変形パラメータ算出部５４で算出された画像変換パラメータが記憶される。
画像変形処理部５８には、画像変形パラメータ記憶部５６に記憶されている各バンドの画像変形パラメータ及び変形対象画像が入力される。
画像変形処理部５８は、画像変換パラメータに基づき変形対象画像の変形を行う。なお、同一のカメラで撮影された異なる撮影照明光源下での画像に対しては、同一の画像変形パラメータが適用可能である。そのため、光源波長とカメラ波長とが異なる（光源波長≠カメラ波長）の画像（蛍光成分画像）に関しては、対応点検出および画像変形パラメータ算出は行わなくても良く、画像変形パラメータ記憶部５６に記憶されたカメラ波長が同一の画像変形パラメータを用いて画像変形処理を行う。画像変形処理部５８からは、基準画像と各バンドの変形対象画像の変形結果の画像（変形結果画像）とを含むマルチバンド画像が蛍光成分分離部４０に出力される。
なお、本実施の形態では、被写体が平面状の場合には、画像変形パラメータ算出部５４及び画像変形処理部５８における手段として、線形的な手法の１つである射影変換法を用いた。また、被写体が３次元的な形状を持つ場合には、非線形的な手法の１つであるＴＰＳ（Thin-plate spline）法を用いた。この他の画像変形方法としては、画像を小領域に分割し、画像毎に射影変換法の様な線形的手法やＴＰＳ法の様な非線形的手法を適用してもよい。また各カメラで得られるステレオ情報を用いて被写体の３次元形状を推定し、形状の推定結果と撮影画像の対応付けを行い、画像生成を行っても良い。撮影画像からの３次元形状推定結果を用いる代わりに、画像撮影と同時に３次元スキャナによる形状計測を行い、得られた３次元形状データと撮影画像との対応付けを行ってもよい。
次に、本実施の形態の画像処理装置１２０における画像処理の流れの概略について説明する。
図１２は、本実施の形態の画像処理装置１２０における画像処理の流れの一例を表すフローチャートである。
本実施の形態の画像処理では、ステップＳ１００で取得部２１がマルチバンド画像を取得して撮影画像蓄積部２２に記憶させた後、ステップＳ２０２へ移行する。
ステップＳ２０２で基準画像選択部５０が、光源波長とカメラ波長とが等しい画像（反射成分画像）の中から対応点検出の基準とする基準画像を選択する。例えば、上述したように、中央のカメラで撮影された画像を基準画像として選択する。
次のステップＳ２０４で対応点検出部５２が、上述したように、光源波長とカメラ波長とが等しい、基準画像と１枚の変形対象画像間での対応点を探索して検出する。例えば、サブピクセル精度での対応点検出には、位相限定相関法を用いる。
次のステップＳ２０６で画像変形パラメータ算出部５４が、上述したように、対応点検出部５２で検出された対応点を用いて、画像変形パラメータを算出する。算出された画像変形パラメータは、画像変形パラメータ記憶部５６に記憶される。
次のステップＳ２０８で画像変形パラメータ算出部５４は、単色カメラの全バンドに対する画像変形パラメータが画像変形パラメータ記憶部５６に記憶されたか判断する。未だ記憶されていない場合は、否定判定となり、ステップＳ２０４に戻り、画像変形パラメータの算出及び記憶を繰り返す。一方、肯定判定となった場合は、ステップＳ２１０へ移行する。
ステップＳ２１０で画像変形処理部５８は、上述したように、画像変換パラメータに基づいて、光源波長とカメラ波長とが異なる（光源波長≠カメラ波長）の変形対象画像も含め、全ての変形対象画像の変形を行う。
ステップＳ２１０の後は、上述した第１の実施の形態のステップＳ１０２に移行し、ステップＳ１０２〜Ｓ１１２の処理を行った後、本画像処理を終了する。
なお本実施の形態では、上述したように、マルチバンド画像撮影部１１６が複数台の白黒（単色）カメラを備えている場合について説明したが、マルチバンド画像撮影部１１６が備えるカメラはこれに限定されない。例えば、第１の実施の形態のマルチバンド画像撮影装置１０のマルチバンド画像撮影部１６と同様に１台の白黒（単色）カメラであってもよい。第１の実施の形態のマルチバンド画像撮影部１６のようにカメラが１台であっても、何らかの原因でマルチバンド画像撮影部１６のカメラの位置や姿勢が変化した場合には、本実施の形態で上述した画像処理（特に画像変形処理部５８による画像変形処理）を行うことが好ましい。
また、マルチバンド画像撮影部１１６が例えば後述する第３の実施の形態のように、カラー（ＲＧＢ）カメラを備えていてもよい。この場合、カラーカメラで撮影されたカラー画像を白黒画像に変換した単色画像を用いればよい。
また、本実施の形態では、上述したように、撮影された複数の画像のうち光源波長とカメラ波長とが等しい画像の中から、基準画像を選択し、画像変形パラメータ算出部５４が変形対象画像について画像変形パラメータを算出したが、これに限らず、基準画像を除く撮影された複数の画像の全てに対して、画像変形パラメータを算出し、算出した画像変形パラメータに基づいて、画像変形処理部５８が画像変形処理を行うようにしてもよい。
このように本実施の形態のマルチバンド画像撮影装置１１０は、マルチバンド照明部１１４及びマルチバンド画像撮影部１１６を備える。マルチバンド画像撮影部１１６は、カメラに入射する光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第１光学素子の一例であるバンドパスフィルタを有し、かつ、視点が異なる複数台の単色カメラを備える。マルチバンド照明部１１４は、撮影照明光源と、撮影照明光源から被写体に照射する撮影照明光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第２光学素子の一例であるバンドパスフィルタを備える。
また、本実施の形態の画像処理装置１２０におけるマルチバンド画像生成部１２４は、蛍光成分分離部４０、マルチバンド蛍光成分画像生成部４２、重み係数計算部４４、及び画像変形処理部４６を備える。画像変形処理部４６は、基準画像選択部５０、対応点検出部５２、画像変形パラメータ算出部５４、画像変形パラメータ記憶部５６、及び画像変形処理部５８を備える。
基準画像選択部５０は、撮影された複数の画像のうち光源波長とカメラ波長とが等しい画像の中から予め定められた画像を基準画像として選択する。
対応点検出部５２は、基準画像とは異なる、光源波長とカメラ波長とが等しい画像の各々について、前記基準画像上の各基準点に対する、前記画像上における各対応点を検出する。
画像変形パラメータ算出部５４は、基準画像とは異なる、光源波長とカメラ波長とが等しい画像の各々について画像変形パラメータを算出して画像変形パラメータ記憶部５６に記憶させる。
画像変形処理部５８は、撮影照明光の各バンドに対し、基準画像とは異なる画像の各々において、基準画像上の各基準点に対する画像における各対応点に基づいて、各基準点の位置と各対応点の位置とが一致するように画像を変形した変形結果画像を生成し、基準画像と変形結果画像の各々とを含むマルチバンド画像を生成する。
本実施の形態の蛍光成分分離部４０は、撮影照明光の各バンドに対し、画像変形処理部５８により変形されたマルチバンド画像を、前記バンドと等しいバンドの画像である反射成分画像と、前記バンドより中心波長が長いバンドの画像である蛍光成分画像とに分離する。
従って、本実施の形態の画像処理装置１２０においても第１の実施の形態と同様に、従来よりも広帯域な波長幅で分光を行い撮影されたマルチバンド画像により、蛍光成分の吸光特性の推定を要せずに、反射成分画像と蛍光成分画像とを用いて任意の観察照明光下での画像を生成することができる。
また、複数のカメラにより同時に撮影を行うことができるため、撮影回数を第１の実施の形態よりも少なくすることができる。
［第３の実施の形態］
本実施の形態は、上述した各実施の形態と同様の構成及び動作を含むため、同様の構成及び動作についてはその旨を記し詳細な説明を省略する。
図１３には、本実施の形態の画像処理システム２０１の概略構成の一例を示す構成図を示す。本実施の形態の画像処理システム２０１は、マルチバンド画像撮影部２１６と画像処理装置２２０の画像変形処理部２４６が第２の実施の形態と異なる。
本実施の形態のマルチバンド画像撮影部２１６は、１台のカラー（ＲＧＢ）カメラと、複数の単色（白黒）カメラ（具体例として８台）と、を備える。また、マルチバンド画像撮影部２１６は各単色カメラに付随する入射光の波長帯域を制御する光学素子を備える。
図１４に、本実施の形態のマルチバンド画像撮影部２１６に用いた９眼ステレオカメラの具体例を示す。中央のカメラがＲＧＢカメラ、その周辺の８台のカメラは白黒カメラである。ＲＧＢカメラで画角を決め、その周辺に白黒カメラを配置した。白黒カメラの各々には、上記図２に示した分光透過率を有するバンドパスフィルタがレンズの前に取り付けられている。
各カメラの露光時間は、マルチバンド照明部１４とマルチバンド画像撮影部２１６バンドパスフィルタの波長が等しい場合に画像信号値が飽和しないよう設定し、撮影後に補正をかけた。撮影画像の明るさの補正には、同じ条件で撮影した標準白色板の画素値を使用した。また、各カメラのピント調整も、光学系の収差の影響を抑えるため、マルチバンド照明部１４及びマルチバンド画像撮影部２１６のバンドパスフィルタの波長が等しいときに実施した。
マルチバンド画像撮影部２１６からは、各バンドの撮影照明光に対応したマルチバンド画像及び撮影照明光（分光する前の状態）で撮影したカラー（ＲＧＢ）画像、すなわち、バンド数が（Ｎ−１＋３）のマルチバンド画像が出力される。
本実施の形態のマルチバンド画像撮影部２１６によれば、１ショットで８バンド画像及びＲＧＢ画像が撮影できるため、撮影回数を８回（第１の実施の形態では３６回）に短縮することができる。
図１３に示すように、本実施の形態の画像変形処理部２４６は、第２の実施の形態の基準画像選択部５０及び対応点検出部５２の代わりに基準画像選択部２５０及び対応点検出部２５２を備える。また、画像変形処理部２４６は、分光スペクトル推定部６０、カメラ分光感度特性記憶部６２、及び単色画像生成部６４をさらに備える。
本実施の形態の基準画像選択部２５０には、撮影画像蓄積部２２に蓄積されているマルチバンド画像撮影部２１６で撮影されたマルチバンド画像が入力される。
基準画像選択部２５０は、分光しない状態の撮影照明光下で撮影されたカラーカメラのカラー画像を基準画像として選択する。
基準画像選択部２５０からは、基準画像が分光スペクトル推定部６０に出力される。また、光源波長とカメラ波長とが等しい（光源波長＝カメラ波長）単色カメラの画像である変形対象画像が対応点検出部２５２に出力される。また、基準画像選択部２５０からは、光源波長とカメラ波長とが異なる（光源波長≠カメラ波長）変形対象画像（蛍光成分画像）が画像変形処理部５８に出力される。
カメラ分光感度特性記憶部６２は、マルチバンド画像撮影部２１６の各単色カメラの分光感度特性が予め記憶されている。
分光スペクトル推定部６０には、基準画像選択部２５０から基準画像（分光しない状態の撮影照明光下で撮影したカラー画像）が入力される。分光スペクトル推定部６０は、カラー画像の画素毎に分光反射率を推定する。分光反射率の推定方法は特に限定されず、第１の実施の形態において上述した推定方法と同様にすればよい。分光スペクトル推定部６０からは、推定した分光反射率を画素値とする分光反射率画像が出力される。
単色画像生成部６４には、分光スペクトル推定部６０で生成された分光反射率画像、及び撮影照明スペクトル（分光する前の状態）が入力される。また、単色画像生成部６４には、カメラ分光感度特性記憶部６２から、各単色カメラの分光感度特性が入力される。
単色画像生成部６４は、単色カメラ（本実施の形態では８台の単色カメラ）毎に、分光反射率画像、撮影照明スペクトル、及び当該単色カメラの分光感度特性を用いて撮影シミュレーションを行い、カラーカメラの視点から撮影した場合に得られるであろう仮想的な単色画像を生成し、あるバンドパスフィルタを取り付けて撮影された変形対象画像に対する対応点を検出するための基準画像とする。
単色画像生成部６４からは、カラーカメラの視点での各単色画像が基準画像として対応点検出部２５２に出力される。
対応点検出部２５２は、入力された単色画像生成部６４で生成された基準画像、及び変形対象画像間での対応点を探索して検出する。対応点の検出方法は特に限定されず、例えば、第２の実施の形態において上述した対応点検出部５２における検出方法と同様にすればよい。
対応点検出部２５２からは、検出された対応点と、基準画像と変形対象画像上における対応点の位置関係とが画像変形パラメータ算出部５４に出力される。
画像変形パラメータ算出部５４、画像変形パラメータ記憶部５６、及び画像変形処理部５８による変形対象画像の画像変形は第２の実施の形態と同様であるため説明を省略する。なお、本実施の形態の画像変形処理部２４６から蛍光成分分離部４０に出力されるマルチバンド画像のバンド数は、第２の実施の形態（バンド数：Ｎ）と異なり、Ｎ−１である。
次に、本実施の形態の画像処理装置２２０における画像処理の流れの概略について説明する。
図１５は、本実施の形態の画像処理装置２２０における画像処理の流れの一例を表すフローチャートである。
本実施の形態の画像処理では、ステップＳ１００で取得部２１がマルチバンド画像を取得して撮影画像蓄積部２２に記憶させた後、ステップＳ３０２へ移行する。
ステップＳ３０２で基準画像選択部２５０が、分光しない状態の撮影照明光下で撮影されたカラーカメラのカラー画像を基準画像として選択する。
次のステップＳ３０４で分光スペクトル推定部６０は、上述したように、カラー画像の画素毎に分光反射率を推定する。
次のステップＳ３０６で単色画像生成部６４は、上述したように、分光反射率画像、撮影照明スペクトル、及び単色カメラの分光感度特性を用いて撮影シミュレーションを行い、仮想的な単色画像を生成する。
次のステップＳ３０８で単色画像生成部６４は、全単色カメラについて上記ステップＳ３０６の処理を行ったか否かを判断する。行っていない場合は否定判定となり、ステップＳ３０６の処理を繰り返す。一方、肯定判定となった場合は、ステップＳ３１０へ移行する。
ステップＳ３１０で対応点検出部２５２は、上述したように、基準画像と光源波長とカメラ波長とが等しい１枚の変形対象画像間での対応点を探索して検出した後、ステップＳ２０６へ移行する。ステップＳ２０６及びＳ２０８は、上述した第２の実施の形態と同様の処理を行い、ステップＳ２０８で肯定判定となった場合は、第２の実施の形態で上述したステップＳ２１０に移行して当該ステップＳ２１０の処理及び上述した第１の実施の形態のステップＳ１０２〜Ｓ１１２の処理を行った後、本画像処理を終了する。
なお、本実施の形態でマルチバンド画像撮影部２１６のカメラとして用いたカラーカメラの代わりに単色（白黒）カメラを用いることもできる。この場合は、代わりに用いる単色カメラで撮影された画像は、単色画像であるため、上述した分光スペクトル推定部６０、カメラ分光感度特性記憶部６２、及び単色画像生成部６４が不要となる。
このように、本実施の形態の画像処理装置２２０においても、第２の実施の形態の画像処理装置１２０と同様に、従来よりも広帯域な波長幅で分光を行い撮影されたマルチバンド画像により、蛍光成分の吸光特性の推定を要せずに、反射成分画像と蛍光成分画像とを用いて任意の観察照明光下での画像を生成することができる。さらに、複数のカメラにより同時に撮影を行うことができるため、撮影回数を第１の実施の形態よりも少なくすることができる。
なお、上記第２の実施の形態の基準画像選択部５０及び第３の実施の形態の基準画像選択部２５０には、変形対象となる単色カメラの画像は、光源波長とカメラ波長とが等しい画像のみが入力されるようにしてもよい。
なお、上記各実施の形態では、分光反射率及び蛍光スペクトルの推定を行う処理にウィナー推定法を用いたが、他の方法を用いてもよい。例えば、分光反射率や蛍光成分スペクトルのデータベースから算出した主成分を用いる方法、重回帰分析法、及びＰＬＳ（partial least square）法（部分最小二乗法）等を用いてもよい。
また、上記各実施の形態は一例であり、具体的な構成は本実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれ、状況に応じて変更可能であることは言うまでもない。
１、１０１、２０１ 画像処理システム
１０、１１０ マルチバンド画像撮影装置
１４、１１４ マルチバンド照明部
１６、１１６、２１６ マルチバンド画像撮影部
２０、１２０、２２０ 画像処理装置
２１ 取得部
２４ マルチバンド画像生成部
２６ 反射成分色再現部
２８ 蛍光成分色再現部
３０ 画像合成処理部
４０ 蛍光成分分離部
４２ マルチバンド蛍光成分画像生成部
４４ 重み係数計算部
４６、２４６ 画像変形処理部
５０、２５０ 基準画像選択部
５２、２５２ 対応点検出部
５４ 画像変形パラメータ算出部
５６ 画像変形パラメータ記憶部
５８ 画像変形処理部

Claims (8)

  1. １台のカメラに入射する光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第１光学素子、及び撮影照明光源から被写体に照射する撮影照明光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第２光学素子と、を備えたマルチバンド画像撮影装置により撮影された、撮影照明光の各バンドに対するマルチバンド画像を取得する取得部と、
    前記撮影照明光の各バンドに対し、前記取得部により取得された前記マルチバンド画像を、前記撮影照明光のバンドと等しいバンドの画像である反射成分画像と、前記撮影照明光のバンドより中心波長が長いバンドの画像である蛍光成分画像とに分離する蛍光成分分離部と、
    前記撮影照明光の各バンドに対し、前記撮影照明光の照明光スペクトルと前記撮影照明光のバンドに対する前記第２光学素子の波長選択特性の積で、観察環境の照明光の照明光スペクトルと前記撮影照明光のバンドの蛍光成分画像に対する前記第２光学素子の波長選択特性の積を割ることにより、前記各バンドの蛍光成分画像に対する重み係数を計算する重み係数計算部と、
    前記蛍光成分分離部により分離された、前記撮影照明光の各バンドに対する蛍光成分画像と、前記重み係数計算部により計算された前記各バンドの蛍光成分画像に対する重み係数とに基づいて、前記蛍光成分画像の重みつき線形和を求めることで、マルチバンド蛍光成分画像を生成して出力するマルチバンド蛍光成分画像生成部と、
    前記マルチバンド蛍光成分画像生成部で生成されたマルチバンド蛍光成分画像の画素毎に、分光スペクトル推定行列をかけて蛍光スペクトルを算出し、蛍光成分色再現画像を生成する蛍光成分色再現部と、
    前記蛍光成分分離部で分離された反射成分画像によるマルチバンド反射成分画像の画素毎に、分光反射率推定行列及び前記観察環境の照明光の照明光スペクトルをかけて反射光スペクトルを算出し、反射成分色再現画像を生成する反射成分色再現部と、
    前記蛍光成分色再現画像と前記反射成分色再現画像とを加算して色再現結果画像を生成して出力する画像合成処理部と、
    を備えた画像処理装置。
  2. カメラに入射する光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第１光学素子を有し、かつ、視点が異なる複数台のカメラ、及び撮影照明光源から被写体に照射する撮影照明光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第２光学素子と、を備えたマルチバンド画像撮影装置により撮影された、撮影照明光の各バンドに対する複数の画像を取得する取得部と、
    前記複数の画像のうち予め定められた画像を基準画像とし、前記基準画像とは異なる画像の各々について、前記基準画像上の各基準点に対する、前記画像上における各対応点を検出する対応点検出部と、
    前記撮影照明光の各バンドに対し、前記基準画像とは異なる画像の各々において、前記対応点検出部によって検出された前記基準画像上の各基準点に対する前記画像における各対応点に基づいて、各基準点の位置と各対応点の位置とが一致するように前記画像を変形した変形結果画像を生成し、前記基準画像と前記変形結果画像の各々とを含むマルチバンド画像を生成する画像変形処理部と、
    前記撮影照明光の各バンドに対し、前記画像変形処理部により生成された前記マルチバンド画像を、前記撮影照明光のバンドと等しいバンドの画像である反射成分画像と、前記撮影照明光のバンドより中心波長が長いバンドの画像である蛍光成分画像とに分離する蛍光成分分離部と、
    前記撮影照明光の各バンドに対し、前記撮影照明光の照明光スペクトルと前記撮影照明光のバンドに対する前記第２光学素子の波長選択特性の積で、観察環境の照明光の照明光スペクトルと前記撮影照明光のバンドに対する前記第２光学素子の波長選択特性の積を割ることにより、前記各バンドの蛍光成分画像に対する重み係数を計算する重み係数計算部と、
    前記蛍光成分分離部により分離された、前記撮影照明光の各バンドに対する蛍光成分画像と、前記重み係数計算部により計算された前記各バンドの蛍光成分画像に対する重み係数とに基づいて、前記蛍光成分画像の重みつき線形和を求めることで、マルチバンド蛍光成分画像を生成して出力するマルチバンド蛍光成分画像生成部と、
    前記マルチバンド蛍光成分画像生成部で生成されたマルチバンド蛍光成分画像の画素毎に、分光スペクトル推定行列をかけて蛍光スペクトルを算出し、蛍光成分色再現画像を生成する蛍光成分色再現部と、
    前記蛍光成分分離部で分離された反射成分画像によるマルチバンド反射成分画像の画素毎に、分光反射率推定行列及び前記観察環境の照明光の照明光スペクトルをかけて反射光スペクトルを算出し、反射成分色再現画像を生成する反射成分色再現部と、
    前記蛍光成分色再現画像と前記反射成分色再現画像とを加算して色再現結果画像を生成して出力する画像合成処理部と、
    を備えた画像処理装置。
  3. 前記複数台のカメラは、カラー画像を撮影する１台のカラーカメラと、単色画像を撮影する１台以上の単色カメラとを含み、前記複数の第１光学素子は、前記単色カメラの各々に対して、異なるバンドの光を透過させ、
    前記取得部が取得した前記カラー画像の画素毎に推定された分光反射率を画素値とする分光反射率画像、及び分光する前の状態の前記撮影照明光の照明光スペクトル、及び各単色カメラの分光感度特性を用いて、前記単色カメラ毎に得られた、前記カラーカメラの視点から撮影した場合に得られるであろう仮想的な単色画像を生成する単色画像生成部をさらに備え、
    前記対応点検出部は、単色画像生成部で生成された前記単色画像を、前記基準画像とする、
    請求項２に記載の画像処理装置。
  4. １台のカメラに入射する光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第１光学素子、及び撮影照明光源から被写体に照射する撮影照明光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第２光学素子と、を備えたマルチバンド画像撮影装置と、
    前記マルチバンド画像撮影装置により撮影された、撮影照明光の各バンドに対するマルチバンド画像を取得して、取得した前記マルチバンド画像に基づいて色再現結果画像を生成して出力する請求項１に記載の画像処理装置と、
    を備えた画像処理システム。
  5. カメラに入射する光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第１光学素子を有し、かつ、視点が異なる複数台のカメラ、及び撮影照明光源から被写体に照射する撮影照明光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第２光学素子と、を備えたマルチバンド画像撮影装置と、
    前記マルチバンド画像撮影装置により撮影された、撮影照明光の各バンドに対する複数の画像を取得して、取得した前記複数の画像に基づいて色再現結果画像を生成して出力する請求項２または請求項３に記載の画像処理装置と、
    を備えた画像処理システム。
  6. 取得部が、１台のカメラに入射する光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第１光学素子、及び撮影照明光源から被写体に照射する撮影照明光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第２光学素子と、を備えたマルチバンド画像撮影装置により撮影された、撮影照明光の各バンドに対するマルチバンド画像を取得するステップと、
    蛍光成分分離部が、前記撮影照明光の各バンドに対し、前記取得部により取得された前記マルチバンド画像を、前記撮影照明光のバンドと等しいバンドの画像である反射成分画像と、前記撮影照明光のバンドより中心波長が長いバンドの画像である蛍光成分画像とに分離するステップと、
    重み係数計算部が、前記撮影照明光の各バンドに対し、前記撮影照明光の照明光スペクトルと前記撮影照明光のバンドに対する前記第２光学素子の波長選択特性の積で、観察環境の照明光の照明光スペクトルと前記撮影照明光のバンドに対する前記第２光学素子の波長選択特性の積を割ることにより、前記各バンドの蛍光成分画像に対する重み係数を計算するステップと、
    マルチバンド蛍光成分画像生成部が、前記蛍光成分分離部により分離された、前記撮影照明光の各バンドに対する蛍光成分画像と、前記重み係数計算部により計算された前記各バンドの蛍光成分画像に対する重み係数とに基づいて、前記蛍光成分画像の重みつき線形和を求めることで、マルチバンド蛍光成分画像を生成して出力するステップと、
    蛍光成分色再現部が前記マルチバンド蛍光成分画像生成部で生成されたマルチバンド蛍光成分画像の画素毎に、分光スペクトル推定行列をかけて蛍光スペクトルを算出し、蛍光成分色再現画像を生成するステップと、
    反射成分色再現部が前記蛍光成分分離部で分離された反射成分画像によるマルチバンド反射成分画像の画素毎に、分光反射率推定行列及び前記観察環境の照明光の照明光スペクトルをかけて反射光スペクトルを算出し、反射成分色再現画像を生成するステップと、
    画像合成処理部が、前記蛍光成分色再現画像と前記反射成分色再現画像とを加算して色再現結果画像を生成して出力するステップと、
    を含む画像処理方法。
  7. 取得部が、カメラに入射する光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第１光学素子を有し、かつ、視点が異なる複数台のカメラ、及び撮影照明光源から被写体に照射する撮影照明光の波長を制限し、透過させる光の波長帯域であるバンドが各々異なる複数の第２光学素子と、を備えたマルチバンド画像撮影装置により撮影された、撮影照明光の各バンドに対する複数の画像を取得するステップと、
    対応点検出部が、前記複数の画像のうち予め定められた画像を基準画像とし、前記基準画像とは異なる画像の各々について、前記基準画像上の各基準点に対する、前記画像上における各対応点を検出するステップと、
    画像変形処理部が、前記撮影照明光の各バンドに対し、前記基準画像とは異なる画像の各々において、前記対応点検出部によって検出された前記基準画像上の各基準点に対する前記画像における各対応点に基づいて、各基準点の位置と各対応点の位置とが一致するように前記画像を変形した変形結果画像を生成し、前記基準画像と前記変形結果画像の各々とを含むマルチバンド画像を生成するステップと、
    蛍光成分分離部が、前記撮影照明光の各バンドに対し、前記画像変形処理部により生成された前記マルチバンド画像を、前記撮影照明光のバンドと等しいバンドの画像である反射成分画像と、前記撮影照明光のバンドより中心波長が長いバンドの画像である蛍光成分画像とに分離するステップと、
    重み係数計算部が、前記撮影照明光の各バンドに対し、前記撮影照明光の照明光スペクトルと前記撮影照明光のバンドに対する前記第２光学素子の波長選択特性の積で、観察環境の照明光の照明光スペクトルと前記撮影照明光のバンドに対する前記第２光学素子の波長選択特性の積を割ることにより、前記各バンドの蛍光成分画像に対する重み係数を計算するステップと、
    マルチバンド蛍光成分画像生成部が、前記蛍光成分分離部により分離された、前記撮影照明光の各バンドに対する蛍光成分画像と、前記重み係数計算部により計算された前記各バンドの蛍光成分画像に対する重み係数とに基づいて、前記蛍光成分画像の重みつき線形和を求めることで、マルチバンド蛍光成分画像を生成して出力するステップと、
    蛍光成分色再現部が、前記マルチバンド蛍光成分画像生成部で生成されたマルチバンド蛍光成分画像の画素毎に、分光スペクトル推定行列をかけて蛍光スペクトルを算出し、蛍光成分色再現画像を生成するステップと、
    反射成分色再現部が、前記蛍光成分分離部で分離された反射成分画像によるマルチバンド反射成分画像の画素毎に、分光反射率推定行列及び前記観察環境の照明光の照明光スペクトルをかけて反射光スペクトルを算出し、反射成分色再現画像を生成するステップと、
    画像合成処理部が、前記蛍光成分色再現画像と前記反射成分色再現画像とを加算して色再現結果画像を生成して出力するステップと、
    を含む画像処理方法。
  8. コンピュータを、請求項１から請求項３の何れか１項に記載の画像処理装置の各部として機能させるための画像処理プログラム。
JP2015094448A 2015-05-01 2015-05-01 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム Active JP6317703B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015094448A JP6317703B2 (ja) 2015-05-01 2015-05-01 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015094448A JP6317703B2 (ja) 2015-05-01 2015-05-01 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2016213623A JP2016213623A (ja) 2016-12-15
JP6317703B2 true JP6317703B2 (ja) 2018-04-25

Family

ID=57550162

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015094448A Active JP6317703B2 (ja) 2015-05-01 2015-05-01 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム

Country Status (1)

Country Link
JP (1) JP6317703B2 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4174707B2 (ja) * 2002-05-16 2008-11-05 独立行政法人情報通信研究機構 分光測定システム、色再現システム
KR101451376B1 (ko) * 2006-07-31 2014-10-16 루미다임 인크. 공간 스펙트럼 지문 스푸프 검출
JP2010169592A (ja) * 2009-01-23 2010-08-05 Olympus Corp 画像処理装置および画像処理プログラム
JP5836878B2 (ja) * 2012-04-26 2015-12-24 日本電信電話株式会社 画像処理装置、方法、及びプログラム

Also Published As

Publication number Publication date
JP2016213623A (ja) 2016-12-15

Similar Documents

Publication Publication Date Title
JP5882455B2 (ja) 高解像度マルチスペクトル画像キャプチャ
JP5883949B2 (ja) 画像取込デバイス処理のためのスペクトル合成
US20180259394A1 (en) Color measurement apparatus and color information processing apparatus
JP6257551B2 (ja) 色忠実環境補正装置および色忠実環境補正方法
US20120287307A1 (en) Image processing device, imaging device, and image processing method
JP2020024103A (ja) 情報処理装置、情報処理方法、及び、プログラム
CN106895916B (zh) 一种单次曝光拍摄获取多光谱图像的方法
JP2016164559A (ja) 画像色分布検査装置および画像色分布検査方法
JP2014187558A (ja) 画像色分布検査装置および画像色分布検査方法
JP2008206163A (ja) カラー画像処理装置
JP4174707B2 (ja) 分光測定システム、色再現システム
KR102027106B1 (ko) 콘트라스트가 향상된 영상취득장치 및 방법, 이를 위한 컴퓨터 프로그램 및 기록매체
JP2022539281A (ja) 検出対象物質のスペクトル情報を抽出する方法
JP6317703B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
JP4349568B2 (ja) 物体認識装置、物体認識方法、プログラム及び記録媒体
EP3993382A1 (en) Colour calibration of an imaging device
JP2020091256A (ja) 処理装置、撮像装置、処理方法、およびプログラム
Lam et al. Spectral Imaging Using Basis Lights.
JP6826277B2 (ja) 画像処理システム、画像処理方法、および画像処理プログラム
JP6023653B2 (ja) 照明光色推定装置、照明光色推定方法及びプログラム
US8866972B1 (en) Method for transmitting spectrum information
JP2011095110A (ja) 光源推定装置および光源推定方法
JP2022006624A (ja) 校正装置、校正方法、校正プログラム、分光カメラ、及び情報処理装置
JP5120936B2 (ja) 画像処理装置および画像処理方法
JP2009182845A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180330

R150 Certificate of patent or registration of utility model

Ref document number: 6317703

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150