JP7206878B2 - 分光画像推定システム、分光画像推定方法、及びプログラム - Google Patents

分光画像推定システム、分光画像推定方法、及びプログラム Download PDF

Info

Publication number
JP7206878B2
JP7206878B2 JP2018234716A JP2018234716A JP7206878B2 JP 7206878 B2 JP7206878 B2 JP 7206878B2 JP 2018234716 A JP2018234716 A JP 2018234716A JP 2018234716 A JP2018234716 A JP 2018234716A JP 7206878 B2 JP7206878 B2 JP 7206878B2
Authority
JP
Japan
Prior art keywords
spectral
light source
imaging
group
basis vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018234716A
Other languages
English (en)
Other versions
JP2020094985A (ja
Inventor
諄丞 高橋
修二 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Original Assignee
Toppan Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Inc filed Critical Toppan Inc
Priority to JP2018234716A priority Critical patent/JP7206878B2/ja
Publication of JP2020094985A publication Critical patent/JP2020094985A/ja
Application granted granted Critical
Publication of JP7206878B2 publication Critical patent/JP7206878B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、汎用的なカメラにより撮像された画像からハイパースペクトル画像を算出する分光画像推定システム、分光画像推定方法、及びプログラムに関する。
近年、ハイパースペクトルカメラにより取得したハイパースペクトル画像が、製造ラインの品質管理、リモートセンシング、文化財の解析などに活用されている。ハイパースペクトル画像とは、各ピクセルについて、数十～数百バンドに細かく波長を分光して各々の強度を示すスペクトル情報を保持する画像である。一般的なＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）画像は、このスペクトル情報を、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各チャネルの分光感度について積分した画像ということができる。そのため、微妙に異なる色の二つの物体が撮像されたＲＧＢ画像において、この二つの物体が同じＲＧＢ値を示し、人間の眼では同じ色として視認される場合がある。しかし、ハイパースペクトル画像においては波長を細かく分光しているため、異なるスペクトル情報の異なる色として認識することができる。このように、ハイパースペクトル画像では、画像の色の波長要素を細かく分光した情報（スペクトル情報）を保持している。このため、ＲＧＢカメラにより撮像したＲＧＢ画像では解析が困難である対象や事象について、ハイパースペクトル画像により解析できる可能性がある。
上述したように、ハイパースペクトルカメラを用いて対象物を撮像することでハイパースペクトル画像を得る。ハイパースペクトルカメラは、帯域の異なるバンドパスフィルタを複数備えることにより、受光感度の分解能を高めて、色の分光波長画像としてハイパースペクトル画像を取得する。一方、ハイパースペクトルカメラは、高分解能なスペクトル情報が取得できるが、一般的なＲＧＢ画像を撮像するカメラと比べ、装置が高価であるという問題がある。
これに対して、非特許文献１では、ハイパースペクトルカメラよりも安価な一般的なＲＧＢ画像を撮像するカメラを用いて、ハイパースペクトル画像を取得する方法を提案している。この方法では、比較的安価な汎用デジタルカメラを使用することが可能であり、ハイパースペクトルカメラのような高価な撮像装置を必要としない。
非特許文献１の方法は、積分後の結果である複数のＲＧＢ画像から主成分分析を用いて撮像に用いられた光源の分光分布と、撮像した対象物の分光反射率とを推定することにより、積分前のスペクトル情報を推定する。非特許文献１では、主成分分析に用いるデータ群として、様々な種類の光源、及び様々な種類の対象物に対応したデータ群を用いる。これにより、多くの種類の光源、及び対象物の中から、撮像時の光源の分光分布、及び対象物の分光反射率を推定することが可能となる。すなわち、非特許文献１では、多くの種類の光源の分光分布データの中から撮像時の光源の分光分布を推定することができ、また、多くの種類の対象物の分光反射率の中から撮像対象物の分光反射率を推定することができる。
Do It Yourself Hyperspectral Imaging with Everyday Digital Cameras, Seoung Wug Oh, 2016 IEEE Conference on Computer Vision and Pattern Recognition
しかしながら、非特許文献１では、推定した光源の分光分布、及び推定した対象物の分光反射率の精度は、ハイパースペクトルカメラにより撮像したものよりも精度が低い。このため、様々な解析の用途に対してハイパースペクトル画像の精度が充分でない場合があり、ハイパースペクトル画像を高精度に推定できるようにすることが望まれていた。
本発明は、このような状況に鑑みてなされたもので、高価なハイパースペクトルカメラよりも安価な撮像装置により、ハイパースペクトルカメラと同等に高精度なハイパースペクトル画像を取得することができる分光画像推定システム、分光画像推定方法、及びプログラムを提供する。
本発明の、分光画像推定システムは、同一の撮像対象物を撮像した、分光感度が異なる複数の画像から、前記撮像対象物の分光反射率と、前記複数の画像における撮像時の撮像光源の分光分布を推定する分光画像推定システムであり、複数の種類の光源における分光分布を示す分光分布データの集合である第１分光分布データ群を取得する光源データ取得部と、複数の種類の対象物における分光反射率を示す分光反射率データの集合である分光反射率データ群を取得する対象物データ取得部と、前記第１分光分布データ群から前記第１分光分布データ群を表現するための基底ベクトル群である第１分光分布基底ベクトル群を導出し、前記分光反射率データ群から前記分光反射率データ群を表現するための基底ベクトル群である分光反射率基底ベクトル群を導出する基底ベクトル導出部と、前記第１分光分布基底ベクトル群、前記分光反射率基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する分光情報推定部と、前記分光情報推定部により推定された前記撮像光源の分光分布から、前記撮像光源の種類を特定する光源種類特定部と、を備え、前記光源データ取得部は、前記光源種類特定部により特定された前記撮像光源の種類に基づいて、特定種類の光源における前記分光分布データの集合である第２分光分布データ群を取得し、前記基底ベクトル導出部は、前記第２分光分布データ群から、第２分光分布基底ベクトル群を導出し、前記分光情報推定部は、前記第２分光分布基底ベクトル群、前記分光反射率基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定することを特徴とする。
本発明の、分光画像推定システムは、同一の撮像対象物を撮像した、分光感度が異なる複数の画像から、前記撮像対象物の分光反射率と、前記複数の画像における撮像時の光源である撮像光源の分光分布を推定する分光画像推定システムであり、複数の種類の光源における分光分布を示す分光分布データの集合である分光分布データ群を取得する光源データ取得部と、複数の種類の対象物における分光反射率を示す分光反射率データの集合である第１分光反射率データ群を取得する対象物データ取得部と、前記分光分布データ群から分光分布基底ベクトル群を導出し、前記第１分光反射率データ群から第１分光反射率基底ベクトル群を導出する基底ベクトル導出部と、前記分光分布基底ベクトル群、前記第１分光反射率基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する分光情報推定部と、前記分光情報推定部により推定された前記撮像対象物の分光反射率から、前記撮像対象物の種類を特定する対象物種類特定部と、を備え、前記対象物データ取得部は、前記対象物種類特定部により特定された前記撮像対象物の種類に基づいて、特定種類の対象物における前記分光反射率データの集合である第２分光反射率データ群を取得し、前記基底ベクトル導出部は前記第２分光反射率データ群から第２分光反射率基底ベクトル群を導出し、前記分光情報推定部は、前記分光分布基底ベクトル群、前記第２分光反射率基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する、ことを特徴とする。
本発明の、分光画像推定システムは、同一の撮像対象物を撮像した、分光感度が異なる複数の画像から、前記撮像対象物の分光反射率と、前記複数の画像における撮像時の撮像光源の分光分布を推定する分光画像推定システムであり、複数の種類の光源における分光分布を示す分光分布データの集合である第１分光分布データ群を取得する光源データ取得部と、複数の種類の対象物における分光反射率を示す分光反射率データの集合である第１分光反射率データ群を取得する対象物データ取得部と、前記第１分光分布データ群から前記第１分光分布データ群を表現するための基底ベクトル群である第１分光分布基底ベクトル群を導出し、前記第１分光反射率データ群から前記第１分光反射率データ群を表現するための基底ベクトル群である第１分光反射率基底ベクトル群を導出する基底ベクトル導出部と、前記第１分光分布基底ベクトル群、前記第１分光反射率基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する分光情報推定部と、前記分光情報推定部により推定された前記撮像光源の分光分布から、前記撮像光源の種類を特定する光源種類特定部と、前記分光情報推定部により推定された前記撮像対象物の分光反射率から、前記撮像対象物の種類を特定する対象物種類特定部、を備え、前記光源データ取得部は、前記光源種類特定部により特定された前記撮像光源の種類に基づいて、特定種類の光源における前記分光分布データの集合である第２分光分布データ群を取得し、前記対象物データ取得部は、前記対象物種類特定部により特定された前記撮像対象物の種類に基づいて、特定種類の対象物における前記分光反射率データの集合である第２分光反射率データ群を取得し、前記基底ベクトル導出部は、前記第２分光分布データ群から、第２分光分布基底ベクトル群を導出すると共に、前記第２分光反射率データ群から第２分光反射率基底ベクトル群を導出し、前記分光情報推定部は、前記第２分光分布基底ベクトル群、前記第２分光反射率基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する、ことを特徴とする。
本発明の、分光画像推定システムは、前記基底ベクトル導出部は、主成分分析を用いて前記分光分布データの集合である分光分布データ群から当該分光分布データ群を表現するための分光分布基底ベクトル群を導出し、主成分分析を用いて前記分光反射率データの集合である分光反射率データ群から当該分光反射率データ群を表現するための分光反射率基底ベクトル群を導出することを特徴とする。
本発明の、分光画像推定システムは、同一の撮像対象物を撮像した、分光感度が異なる複数の画像から、前記撮像対象物の分光反射率と、前記複数の画像の撮像時における撮像光源の分光分布を推定する分光画像推定システムであり、複数の種類の光源の分光分布を表現するための基底ベクトル群を示す第１分光分布基底ベクトル群を取得する光源データ取得部と、複数の種類の対象物における分光反射率を表現するための基底ベクトル群を示す分光反射率基底ベクトル群を取得する対象物データ取得部と、前記第１分光分布基底ベクトル群、前記分光反射率基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する分光情報推定部と、前記分光情報推定部により推定された前記撮像光源の分光分布から、前記撮像光源の種類を特定する光源種類特定部と、を備え、前記光源データ取得部は、前記光源種類特定部により特定された前記撮像光源の種類に基づいて、特定種類の光源の分光分布を表現するための基底ベクトル群を示す第２分光分布基底ベクトル群を取得し、前記分光情報推定部は、前記第２分光分布基底ベクトル群、前記分光反射率基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する、ことを特徴とする。
本発明の、分光画像推定システムは、同一の撮像対象物を撮像した、分光感度が異なる複数の画像から、前記撮像対象物の分光反射率と、前記複数の画像の撮像時における撮像光源の分光分布を推定する分光画像推定システムであり、複数の種類の光源における分光分布を表現するための基底ベクトル群を示す分光分布基底ベクトル群を取得する光源データ取得部と、複数の種類の対象物における分光反射率を表現するための基底ベクトル群を示す第１分光反射率基底ベクトル群を取得する対象物データ取得部と、前記分光分布基底ベクトル群、前記第１分光反射率基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する分光情報推定部と、前記分光情報推定部により推定された前記撮像対象物の分光反射率から、前記撮像対象物の種類を特定する対象物種類特定部と、を備え、前記対象物データ取得部は、前記対象物種類特定部により特定された前記撮像対象物の種類に基づいて、特定種類の対象物における分光反射率を表現するための基底ベクトル群を示す第２分光反射率基底ベクトル群を取得し、前記分光情報推定部は、前記分光分布基底ベクトル群、前記第２分光反射率基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する、ことを特徴とする。
本発明の、分光画像推定システムは、同一の撮像対象物を撮像した、分光感度が異なる複数の画像から、前記撮像対象物の分光反射率と、前記複数の画像の撮像時における撮像光源の分光分布を推定する分光画像推定システムであり、複数の種類の光源の分光分布を表現するための基底ベクトル群を示す第１分光分布基底ベクトル群を取得する光源データ取得部と、複数の種類の対象物における分光反射率を表現するための基底ベクトル群を示す第１分光反射率基底ベクトル群を取得する対象物データ取得部と、前記第１分光分布基底ベクトル群、前記第１分光反射率基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する分光情報推定部と、前記分光情報推定部により推定された前記撮像光源の分光分布から、前記撮像光源の種類を特定する光源種類特定部と、前記分光情報推定部により推定された前記撮像対象物の分光反射率から、前記撮像対象物の種類を特定する対象物種類特定部と、を備え、前記光源データ取得部は、前記光源種類特定部により特定された前記撮像光源の種類に基づいて、特定種類の光源の分光分布を表現するための基底ベクトル群を示す第２分光分布基底ベクトル群を取得し、前記対象物データ取得部は、前記対象物種類特定部により特定された前記撮像対象物の種類に基づいて、特定種類の対象物における分光反射率を表現するための基底ベクトル群を示す第２分光反射率基底ベクトル群を取得し、前記分光情報推定部は、前記第２分光分布基底ベクトル群、前記第２分光反射率基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する、ことを特徴とする。
本発明の、分光画像推定システムは、前記光源種類特定部は、光源の種類と当該光源の分光分布とを対応付けて学習した学習済みモデルに、前記分光情報推定部により推定された前記撮像光源の分光分布を入力することにより前記撮像光源の種類を特定することを特徴とする。
本発明の、分光画像推定システムは、前記対象物種類特定部は、対象物の種類と当該対象物の分光反射率とを対応付けて学習した学習済みモデルに、前記分光情報推定部により推定された前記撮像対象物の分光反射率を入力することにより前記撮像対象物の種類を特定することを特徴とする。
本発明の、分光画像推定システムは、前記光源種類特定部は、光源の種類毎に当該光源の代表とする代表分光分布を算出し、前記分光情報推定部により推定された前記撮像光源の分光分布と前記代表分光分布との類似度を算出することにより前記撮像光源の種類を特定することを特徴とする。
本発明の、分光画像推定システムは、前記対象物種類特定部は、対象物の種類毎に当該対象物の代表的な分光反射率を算出し、前記分光情報推定部により推定された前記撮像対象物の分光反射率と前記代表的な分光反射率との類似度を算出することにより前記撮像対象物の種類を特定することを特徴とする。
本発明の、分光画像推定システムは、前記複数の画像は、分光感度の異なる複数の撮像装置により撮像された画像であることを特徴とする。
本発明の、分光画像推定システムは、前記複数の画像は、撮像装置に分光透過特性の異なる複数のレンズフィルタの各々を装着させた状態で撮像された画像であることを特徴とする。
本発明の、分光画像推定システムは、前記複数の画像を同一の視点から撮影された画像に変換する画像変換部、を更に備えることを特徴とする。
本発明の、分光画像推定システムは、前記画像変換部は、前記複数の画像の各々における複数の対応点の座標を求め、複数の対応点座標に基づき推定された射影変換行列を用いて、前記複数の画像の各々を射影変換することで、前記複数の画像を同一の視点から撮影された画像に変換することを特徴とする。
本発明の、分光画像推定方法は、同一の撮像対象物を撮像した、分光感度が異なる複数の画像から、前記撮像対象物の分光反射率と、前記複数の画像における撮像時の撮像光源の分光分布を推定する分光画像推定システムであって、光源の分光分布を示す分光分布データを記憶する光源データ記憶部と、対象物の分光反射率を示す分光反射率データを記憶する対象物データ記憶部と、を備える分光画像推定システムにおける分光画像推定方法であり、光源データ取得部が、前記光源データ記憶部から、複数の種類の光源における前記分光分布データの集合である第１分光分布データ群を取得する第１光源データ取得工程と、対象物データ取得部が、前記対象物データ記憶部から、複数の種類の対象物における前記分光反射率データの集合である分光反射率データ群を取得する対象物データ取得工程と、基底ベクトル導出部が、前記第１分光分布データ群、及び前記分光反射率データ群から、第１基底ベクトル群を導出する第１基底ベクトル群導出工程と、分光情報推定部が、前記第１基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する第１分光情報推定工程と、光源種類特定部が、前記分光情報推定部により推定された前記撮像光源の分光分布から、前記撮像光源の種類を特定する光源種類特定工程と、前記光源データ取得部が、前記光源種類特定部により特定された前記撮像光源の種類に基づいて、前記光源データ記憶部から特定種類の光源における前記分光分布データの集合である第２分光分布データ群を取得する第２光源データ取得工程と、前記基底ベクトル導出部が、前記第２分光分布データ群、及び前記分光反射率データ群から、第２基底ベクトル群を導出する第２基底ベクトル群導出工程と、前記分光情報推定部が、前記第２基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する第１分光情報推定工程と、を有することを特徴とする。
本発明のプログラムは、同一の撮像対象物を撮像した、分光感度が異なる複数の画像から、前記撮像対象物の分光反射率と、前記複数の画像における撮像時の撮像光源の分光分布を推定する分光画像推定システムであって、光源の分光分布を示す分光分布データを記憶する光源データ記憶部と、対象物の分光反射率を示す分光反射率データを記憶する対象物データ記憶部と、を備える分光画像推定システムに用いられるコンピュータを、前記光源データ記憶部から、複数の種類の光源における前記分光分布データの集合である第１分光分布データ群を取得する第１光源データ取得手段と、前記対象物データ記憶部から、複数の種類の対象物における前記分光反射率データの集合である分光反射率データ群を取得する対象物データ取得手段と、前記第１分光分布データ群、及び前記分光反射率データ群から、第１基底ベクトル群を導出する第１基底ベクトル導出手段と、前記第１基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する第１分光情報推定手段と、前記第１分光情報推定手段により推定された前記撮像光源の分光分布から、前記撮像光源の種類を特定する光源種類特定手段と、前記光源種類特定手段より特定された前記撮像光源の種類に基づいて、前記光源データ記憶部から特定種類の光源における前記分光分布データの集合である第２分光分布データ群を取得する第２光源データ取得手段と、前記第２分光分布データ群、及び前記分光反射率データ群から、第２基底ベクトル群を導出する第２基底ベクトル群導出手段と、前記第２基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する第１分光情報推定手段と、として機能させるためのプログラムである。
本発明によれば、高価なハイパースペクトルカメラよりも安価な撮像装置により、ハイパースペクトルカメラと同等に高精度なハイパースペクトル画像を取得することができる。
第１の実施形態による分光画像推定システム１の構成例を示すブロック図である。 第１の実施形態による光源データ記憶部１０８に記憶される情報の構成例を示す図である。 第１の実施形態による対象物データ記憶部１０９に記憶される情報の構成例を示す図である。 第１の実施形態による分光情報推定部１０５が行う処理を説明するための図である。 第１の実施形態による分光情報推定部１０５が行う処理を説明するための図である。 第１の実施形態による分光情報推定部１０５が行う処理を説明するための図である。 第１の実施形態による分光情報推定部１０５が行う処理を説明するための図である。 第１の実施形態の変形例１による分光画像推定システム１の動作の流れを示すフローチャートである。 第１の実施形態の変形例１による分光画像推定システム１の構成例を示すブロック図である。 第１の実施形態の変形例１による分光画像推定システム１の動作の流れを示すフローチャートである。 第１の実施形態の変形例２による分光画像推定システム１の動作の流れを示すフローチャートである。 第２の実施形態による光源データ記憶部１０８に記憶される情報の構成例を示す図である。 第２の実施形態による対象物データ記憶部１０９に記憶される情報の構成例を示す図である。 第２の実施形態による分光画像推定システム１の動作の流れを示すフローチャートである。 第２の実施形態の変形例１による分光画像推定システム１の動作の流れを示すフローチャートである。 第２の実施形態の変形例２による分光画像推定システム１の動作の流れを示すフローチャートである。 第３の実施形態による分光画像推定システム１の構成例を示すブロック図である。 実施形態による効果を説明するための図である。
以下、本発明の一実施形態について、図面を参照して説明する。
（第１の実施形態）
まず、第１の実施形態について説明する。
図１は、第１の実施形態による分光画像推定システム１の構成例を示すブロック図である。分光画像推定システム１は、同一の物体（以下、撮像対象物という）を撮像した、分光感度が異なる複数のＲＧＢ画像から、当該撮像対象物のハイパースペクトル画像を出力するシステムである。
ここで、分光感度が異なる画像は、例えば、分光感度特性が互いに異なる複数のカメラにより撮像された画像である。或いは、同一のカメラに分光透過特性の異なる複数のレンズフィルタの各々を装着させた状態で撮像された画像であってもよい。また、分光感度が異なる複数の画像には、分光感度特性が互いに異なる複数のカメラにより撮像された画像と、同一のカメラに分光透過特性の異なる複数のレンズフィルタの各々を装着させた状態で撮像された画像とが混在して含まれてもよい。
分光画像推定システム１は、例えば、画像データ取得部１０１と、光源データ取得部１０２と、対象物データ取得部１０３と、基底ベクトル導出部１０４と、分光情報推定部１０５と、光源種類特定部１０６と、画像データ記憶部１０７と、光源データ記憶部１０８と、対象物データ記憶部１０９と、を備える。
画像データ取得部１０１は、ハイパースペクトル画像を推定する元となるＲＧＢ画像の情報（以下、画像データという）を取得する。ここでの画像は、互いに分光感度が異なる状態で、同一の撮像対象物が撮像された複数の画像である。画像データ取得部１０１は、例えば、画像データ記憶部１０７を参照し、画像データ記憶部１０７に予め記憶された画像データを取得する。画像データ取得部１０１は、取得した画像データを分光情報推定部１０５に出力する。
光源データ取得部１０２は、ハイパースペクトル画像を推定するにあたり、撮像に用いられる光源となり得る様々な光源の分光分布を示す情報（以下、分光分布データという）を取得する。ここでの光源は、撮像対象物を照射し得る様々な光源であり、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、蛍光灯、白熱灯などの光源である。
光源データ取得部１０２は、後述する主成分分析を行う対象として、複数の分光分布データの集合である分光分布データ群を取得する。光源データ取得部１０２は、後述する光源種類特定部１０６により、撮像に用いられた光源（以下、撮像光源ともいう）の種類が特定されていない場合、分光分布データ群として、様々な種類の分光分布データをそれぞれ取得する。光源データ取得部１０２は、光源種類特定部１０６により、撮像光源の種類が特定されている場合、分光分布データ群として、特定の種類の分光分布データを複数取得する。
光源データ取得部１０２は、光源データ記憶部１０８を参照し、光源データ記憶部１０８に予め記憶された様々な光源の分光分布データから、所定の分光分布データ群を取得する。光源データ取得部１０２は、取得した分光分布データ群を基底ベクトル導出部１０４に出力する。
対象物データ取得部１０３は、ハイパースペクトル画像を推定するにあたり、撮像対象物となり得る様々な対象物の分光反射率を示す情報（以下、分光反射率データという）を取得する。ここでの対象物は、撮像対象物となり得る様々な物体であり、例えば、油絵や植物などである。また、撮像対象物となり得る様々な物体の分光反射率を示す情報として、色見本を用いてもよい。色見本は、様々な色について、色とその色を示す色情報とが対応付けられたものであり、例えば、マンセルカラーチップなどである。
対象物データ取得部１０３は、主成分分析を行う対象として、複数の分光反射率データの集合である分光反射率データ群を取得する。対象物データ取得部１０３は、例えば、分光反射率データ群として、様々な種類の分光分布データをそれぞれ取得する。
対象物データ取得部１０３は、対象物データ記憶部１０９を参照し、対象物データ記憶部１０９に予め記憶された様々な対象物の分光反射率データから分光反射率データ群を取得する。対象物データ取得部１０３は、取得した分光反射率データ群を基底ベクトル導出部１０４に出力する。
画像データ記憶部１０７は、上記画像データを記憶する。画像データは、同一の撮像対象物を撮像した、分光感度が異なる複数の画像について、各々の画像のＲＧＢ値とその画像における分光感度とを対応付けた情報である。
光源データ記憶部１０８は、光源データを記憶する。光源データは、様々な光源とその光源の分光分布とを対応付けた情報である。
対象物データ記憶部１０９は、対象物データを記憶する。対象物データは、様々な対象物とその対象物の分光反射率とを対応付けた情報である。
ここで、光源データ記憶部１０８、及び対象物データ記憶部１０９の各々に記憶される情報について図２及び図３を用いて説明する。
図２は、第１の実施形態による光源データ記憶部１０８に記憶される情報の構成例を示す図である。図２に示すように、光源データ記憶部１０８には、項番と、光源種類と、種類内識別情報と、分光分布データとの各項目を備える。項番には光源の分光分布データを一意に識別する番号が示される。光源種類には項番に対応する光源の種類を示す情報が示される。種類内識別番号は、光源における同一の種類の中において個々の分光分布データを一意に識別する識別情報が示される。分光分布データには項番に対応する分光分布データが示される。この例では、光源の種類として、ＬＥＤと、蛍光灯と、白熱灯とが示されている。また、光源の種類ごとに複数の分光分布データが示されている。これは、同じＬＥＤであっても、製造メーカや型名などの相違により分光分布が異なるためである。このように、光源データ記憶部１０８には、複数の種類の光源の各々における分光分布データが記憶され、且つ、光源の種類ごとに、特性の異なる分光分布データが複数記憶される。
図３は、第１の実施形態による対象物データ記憶部１０９に記憶される情報の構成例を示す図である。図３に示すように、対象物データ記憶部１０９には、項番と、対象物種類と、種類内識別情報と、分光反射率データとの各項目を備える。項番にはた意匠物の分光反射率データを一意に識別する番号が示される。対象物種類には項番に対応する対象物の種類を示す情報が示される。種類内識別番号は、対象物における同一の種類の中において個々の分光反射率データを一意に識別する識別情報が示される。分光反射率データには項番に対応する分光反射率データが示される。この例では、対象物の種類として、色見本と、油絵と、植物とが示されている。また、対象物の種類ごとに複数の分光反射率データが示されている。これは、同じ油絵であっても、色や絵の具の原材料などの相違により分光反射率が異なるためである。このように、対象物データ記憶部１０９には、複数の種類の対象物の各々における分光反射率データが記憶され、且つ、対象物の種類ごとに、特性の異なる分光反射率データが複数記憶される。
図１に戻り、基底ベクトル導出部１０４は、光源データ取得部１０２により取得された分光分布データ群から、主成分分析を用いて分光分布基底ベクトル群を導出する。基底ベクトル導出部１０４は、導出した分光分布基底ベクトル群を分光情報推定部１０５に出力する。
また、基底ベクトル導出部１０４は、対象物データ取得部１０３により取得された分光反射率データ群から、主成分分析を用いて分光反射率基底ベクトル群を導出する。基底ベクトル導出部１０４は、導出した分光反射率基底ベクトルを分光情報推定部１０５に出力する。
主成分分析においては、解析前のデータ群の次元よりも、少ない数の基底ベクトル群の組み合わせで元のデータ群を表現できるようになる。分析の対象であるデータ群の次元を圧縮してより少ない変数でデータ群を表現できるようにする。すなわち、基底ベクトル導出部１０４は、基底ベクトル群を導出することにより分析の対象であるデータ群の次元を圧縮する。
ここで、基底ベクトル群は、データ群を解析する過程で導出される情報の一つであり、解析前のデータ群の各々を表現する場合に寄与する特徴的な要素を抽出したベクトル群である。基底ベクトル群は、例えば、データ群を主成分分析することにより得られ、基底ベクトル群の各々に、解析前の個々のデータに応じた重みづけ係数である基底係数を乗算し、乗算後の基底ベクトル群の各々を加算することにより解析前の個々のデータを表現することが可能となる。
本実施形態では、分光分布データ群から得られる光源の分光分布を表現し得る基底ベクトル群（以下、分光分布基底ベクトル群ともいう）の各々に乗算する基底係数を推定することにより、撮像光源の分光分布を推定する。すなわち、撮像光源の分光分布を推定する推定問題を、分光分布基底ベクトル群の各々に乗算する基底係数を推定する推定問題に置き換え、基底係数を推定することにより撮像光源の分光分布を推定する。
また、本実施形態では、分光反射率データから得られる対象物の分光反射率を表現し得る基底ベクトル群（以下、分光反射率基底ベクトル群）の各々に乗算する基底係数を推定することにより、撮像対象物の分光反射率を推定する。すなわち、撮像対象物の分光反射率を推定する推定問題を、分光反射率基底ベクトル群の各々に乗算する基底係数を推定する推定問題に置き換え、基底係数を推定することにより撮像対象物の分光反射率を推定する。
また、基底ベクトル導出部１０４は、分光反射率データ群から、分光反射率基底ベクトル群を導出する。これにより、基底ベクトル導出部１０４は、解析対象である分光分布データ群の次元を圧縮する。基底ベクトル導出部１０４は、導出した分光反射率基底ベクトルを分光情報推定部１０５に出力する。
分光情報推定部１０５は、基底ベクトル導出部１０４により導出された基底ベクトル群、画像データ記憶部１０７に記憶された撮像対象物が撮像されたＲＧＢ画像の画像データ、及びＲＧＢ画像の各々の分光感度から、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する。
一般に、ある対象物を汎用的な撮像装置（以下、カメラという）により撮像した場合、取得される画像データの画像座標ｘにおける輝度値ｐｍ、ｋ（ｘ）は、以下の（１）式で表される。ここで、ｍはカメラに付した番号、ｋはカメラのチャネル、ｓ（λ、ｘ）は画像座標ｘにおける波長λの分光反射率、ｌ（λ）は光源における波長λの分光分布、ｃｍ、ｋ（ｘ）は画像座標ｘにおけるカメラｍのチャネルｋの分光感度、をそれぞれ示している。なお、チャネルは、カメラが撮像可能な色の要素を示しており、例えば、ＲＧＢ画像を撮像するカメラであれば、Ｒ、Ｇ、Ｂの別を表す。
Figure 0007206878000001
（１）式に示すように、画像座標ｘにおけるカメラｍのチャネルｋの輝度値ｐｍ，ｋ（ｘ）は、画像座標ｘにおけるカメラｍのチャネルｋの分光反射率ｓ（λ、ｘ）と、光源の分光分布ｌ（λ）と、画像座標ｘにおけるカメラｍのチャネルｋの分光感度ｃｍ、ｋ（ｘ）との積を、波長λで積分した積分値で示される。
非特許文献１によれば、光源の分光分布ｌ（λ）は、分光分布基底ベクトルと、基底係数を用いて、以下の（２）式で定義される。ここで、ａｊはｊ番目の基底ベクトルに乗算する基底係数、ｅｊはｊ番目の分光分布基底ベクトル、をそれぞれ示している。
Figure 0007206878000002
（２）式において、非特許文献１によれば、Ｎａ＝６を用いている。Ｎａ＝６の場合、光源の分光分布ｌ（λ）は１番目の分光分布基底ベクトルから６番目の分光分布基底ベクトルに各々の基底係数ａｊを乗算したものを加算したデータとして表現される。すなわち、この場合において、光源の分光分布ｌ（λ）は第１主成分から第６主成分までを用いて表現される。
ここで、光源の分光分布ｌ（λ）を、幾つの主成分を用いて表現するかは、基底ベクトル導出部１０４の演算処理能力や、表現する分光分布データに要求される精度に応じて任意に決定されてよい。一般に、主成分分析においては、多くの主成分を用いてデータを表現する方が精度よくデータを表現することが可能であるが、その一方で、主成分の数が多くなる程、扱う変数の数が多く処理負荷が重くなる。また、主成分の数が多くなる程ノイズの影響を受けて処理が不安定になり易い傾向にあり、主成分にノイズがない状態であれば精度よくデータを表現できるが、ノイズがある状態では表現するデータの精度が著しく劣化する場合がある。
非特許文献１によれば、画像座標ｘにおける対象物の分光反射率ｓ（λ、ｘ）は、分光反射率基底ベクトルと、基底係数を用いて、以下の（３）式で定義される。ここで、ｒｊ（ｘ）は画像座標ｘにおけるｊ番目の基底ベクトルに乗算する基底係数、ｂｊはｊ番目の分光分布基底ベクトル、をそれぞれ示している。
Figure 0007206878000003
（３）式において、非特許文献１によれば、Ｎｒ＝８を用いている。Ｎｒ＝８の場合、画像座標ｘにおける対象物の分光反射率ｓ（λ、ｘ）は１番目の分光反射率基底ベクトルから８番目の分光反射率基底ベクトルに各々の基底係数ｒｊ（ｘ）を乗算したものを加算したデータとして表現される。すなわち、この場合において、対象物の分光反射率ｓ（λ、ｘ）は第１主成分から第８主成分までを用いて表現される。
ここで、対象物の分光反射率ｓ（λ、ｘ）を、幾つの主成分を用いて表現するかは、主成分として扱うことが可能な数の上限を超えない範囲において、基底ベクトル導出部１０４の演算処理能力や、表現する分光反射率データに要求される精度に応じて任意に決定されてよい。
分光反射率データにおいて主成分として扱うことが可能な数の上限は、例えば、撮像条件（撮像時におけるカメラの分光感度）の数に基づいて決定される。この上限は、互いに分光感度が異なる複数のカメラの各々によりＲＧＢ画像を撮像した場合、カメラの台数にチャネル数を乗算した値から１を引いた数である。例えば、３台のカメラの各々によりＲＧＢ画像を撮像した場合、上限は、（カメラの台数＝３）×（チャネル数＝３）－１、つまり８である。
上述した（２）式、及び（３）式を、（１）式に適応することにより、画像座標ｘにおける輝度値ｐｍ、ｋ（ｘ）は、以下の（４）式で表される。ここで、太字のＡは積分記号により表される積分項を行列に置き換えて表したものである。Ａｍ、ｋ（ｉ、ｊ）は、カメラｍのチャネルｋについての積分項における（ｉ、ｊ）成分を示している。
Figure 0007206878000004
（４）式のΣ（シグマ）記号で示される項をベクトル（行列の積）に置き換えることで、以下の（５）式に示すように、画像座標ｘにおける輝度値ｐｍ、ｋ（ｘ）は、行列式で表現することができる。ここで、太字のｒは画像座標ｘにおける分光反射率基底ベクトル群の各々の基底係数を示す行列、太字のａは分光分布基底ベクトル群の各々の基底係数を示す行列、太字のＡはカメラｍのチャネルｋについての積分項の各々を示すＮｒ×Ｎａの行列を示している。
Figure 0007206878000005
（５）式の左辺は画像座標ｘにおける輝度値ｐｍ、ｋ（ｘ）を示し、右辺はスペクトル情報を示している。輝度値ｐｍ、ｋ（ｘ）は、ＲＧＢ画像であれば、ある一つの画素におけるＲＧＢ値を表す。すなわち、（５）式はある一つの画素におけるＲＧＢ値とスペクトル情報との関係を示すということができる。（５）式に対して、ＲＧＢ画像を構成するｎ個の各画素におけるＲＧＢ値とスペクトル情報との関係は、以下の（６）式で表される。ここで、太字のｐは各画像座標における輝度値を示す行列、太字のＲは各画像座標における分光反射率基底ベクトル群の各々の基底係数を示すＮｒ×ｎの行列、太字のａは分光分布基底ベクトル群の各々の基底係数を示す行列、太字のＡはカメラｍのチャネルｋについての積分項の各々を示すＮｒ×Ｎａの行列を示している。なお、ｎはＲＧＢ画像全体の画素数（ｐｉｘｅｌ（ピクセル）数）を示している。
Figure 0007206878000006
分光情報推定部１０５は、画像データ取得部１０１から取得した画像データについて、上述した（６）式が成立し得る行列Ｒ（分光反射率の基底係数）、及び行列ａ（光源分光分布の基底係数）を、最小二乗法により推定する。分光情報推定部１０５は、推定した行列Ｒを（３）式に代入することにより撮像対象物の分光反射率ｓ（λ、ｘ）を推定することができる。また、分光情報推定部１０５は、推定した行列ａを（２）式に代入することにより撮像光源の分光分布ｌ（λ）を推定することができる。
ここで、分光情報推定部１０５が、最小二乗法により（６）式における行列Ｒ、及び行列ａを推定する方法について、図４～図７を用いて説明する。図４～図７は、第１の実施形態による分光情報推定部１０５が行う処理を説明するための図である。
図４は、（６）式に最小二乗法を適用した式である（７）式を示している。（７）式において、左辺の＾（ハット）付き太字のＲは分光反射率の基底係数の推定値、＾（ハット）付き太字のａは分光分布の基底係数の推定値を示している。（７）式の右辺は（６）式における左辺と右辺との差分（ベクトル空間における距離）の二乗を、全てのチャネル、全てのカメラについて加算したものが最小となる行列Ｒ、及び行列ａの組合せを示している。
分光情報推定部１０５は、画像データ取得部１０１から取得した画像データにおけるＲＧＢ画像の輝度値を、（７）式の輝度値ｐｍ、ｋに代入する。また、分光情報推定部１０５は、基底ベクトル導出部１０４から取得した分光分布基底ベクトル群、分光反射率基底ベクトル群、及び画像データ取得部１０１から取得した画像データにおける分光感度を、（７）式の行列Ａに代入する。そして、分光情報推定部１０５は、各々を代入した（７）式を解くことにより、分光反射率の基底係数の推定値、及び分光分布の基底係数の推定値を算出する。
図５は（７）式に平滑化を示す項を加えた式である（８）式を示している。（８）式において、平滑化パラメータα及びβは、平滑化を示す項（平滑化項）に乗算される係数であり、平滑化を行う度合い（強さ）に応じて定まる任意の正の実数である。
最小二乗法においては、ノイズなどの外乱の影響を強く受け易い。このため、分光情報推定部１０５は、画像データ取得部１０１から取得した画像データに誤差ある場合、（７）式を解いても適切な推定を行うことが困難となる。そこで、分光情報推定部１０５は、（７）式に平滑化項を加えた（８）式を解くようにしてもよい。ここで、平滑化項は、分光反射率ｓ（λ、ｘ）に関する項と、分光分布ｌ（λ）に関する項があってよい。分光反射率ｓ（λ、ｘ）に関する平滑化項は、分光反射率ｓ（λ、ｘ）を波長λにより二次微分した値の二乗値を波長λについて積分したものを、全画素について加算したものである。分光分布ｌ（λ）に関する平滑化項は、分光分布ｌ（λ）を波長λにより二次微分した値の二乗値を波長λについて積分したものを、全画素について加算したものである。
分光情報推定部１０５は、（７）式に平滑化項を加えた（８）式を解くことにより、画像データに誤差ある場合であっても、より適切な推定を行うことが可能である。なお、平滑化項は、分光反射率に関する平滑化項と、分光分布に関する平滑化項との両方あってもよいし、何れか一方のみであってもよい。
図６は、（８）式に制約条件を付した式である（９）式を示している。（８）式における分光反射率ｓ（λ、ｘ）、及び分光分布ｌ（λ）は負の値となることはない。このため、分光情報推定部１０５は、（９）式に示すように、（８）式の分光反射率ｓ（λ、ｘ）、及び分光分布ｌ（λ）が共に正の値となる制約条件を課して、分光反射率の基底係数の推定値、及び分光分布の基底係数の推定値を算出する。これにより、分光反射率ｓ（λ、ｘ）、及び分光分布ｌ（λ）の少なくとも一方が負となる場合が理論上あったとしても、それを除いた推定を行うことができる。
図７は、（９）式を行列形式で示した式である（１０）式を示している。（１０）式において分光反射率ｓ（λ、ｘ）に関する平滑化項は、二次微分行列Ｗ、分光反射率基底ベクトル行列Ｂ、及び分光反射率の基底係数行列Ｒの積で示される。また、分光分布ｌ（λ）に関する平滑化項は、二次微分行列Ｗ、分光分布基底ベクトル行列Ｅ、及び分光分布の基底係数行列ａの積で示される。ここで、行列Ｂｖ、ｉはバンドｖにおけるｉ番目の分光反射率基底ベクトルを示す。行列Ｅｖ、ｊはバンドｖにおけるｊ番目の分光分布基底ベクトルを示す。なお、バンドは、ハイパースペクトル画像における分光された帯域を示しており、例えば、波長４００［ｎｍ］から７００［ｎｍ］までの帯域を１０［ｎｍ］毎にサンプリングした３１バンドで構成される。
一般に、（９）式について、行列Ｒ、及び行列ａの双方を同時に解くことは困難である。そこで、分光情報推定部１０５は、行列Ｒに対する最適化と、行列ａに対する最適化とを交互に行い、行列Ｒと行列ａとを収束させる。
分光情報推定部１０５は、複数のＲＧＢ画像の各々について、画像座標（ピクセル）ごとに、撮像光源の分光分布、及び撮像対象物の分光反射率を推定し、全ての画像座標の分光分布および分光反射率を推定することにより、ハイパースペクトル画像を生成する。
ここで、分光情報推定部１０５が推定する際に用いる分光分布基底ベクトル群について説明する。
分光情報推定部１０５が様々な種類の光源の分光分布データ群から得られる基底ベクトル群を用いて推定を行う場合、様々な種類の光源から撮像光源の分光分布を推定することが可能となる。しかし、その一方で、様々な種類の光源の分光分布データが含まれるデータ群では、特定の種類における光源の分光分布データの数が限られてしまうために、推定する分光分布の精度を高めることが困難である。すなわち、様々な種類の光源の分光分布データ群から得られる基底ベクトル群を用いるのみでは、分光情報推定部１０５は、撮像光源の分光分布、及び撮像対象物の分光反射率を精度よく推定することができない。
一方、分光情報推定部１０５が特定の種類における光源の分光分布データ群から得られる基底ベクトル群を用いて推定を行う場合、撮像光源が同じ種類である場合には、精度よく分光分布を推定することが可能となる。しかし、基底ベクトル群の導出に用いられた光源の種類とは異なる種類の撮像光源である場合には、推定の精度が著しく劣化してしまう。
そこで、本実施形態では、まず、分光情報推定部１０５が様々な種類の光源の分光分布データ群から得られる基底ベクトル群を用いた推定を行う。次に、その推定結果から、光源種類特定部１０６が、撮像光源を特定する。そして、特定された撮像光源に基づいて、分光情報推定部１０５が特定の種類の光源の分光分布データ群から得られる基底ベクトル群を用いて再度推定を行う。これにより、分光情報推定部１０５は、大まかに推定した撮像光源の分光分布から特定した光源の種類について、その種類に特化した分光分布データ群から得られる基底ベクトル群を用いて、分光分布を精度よく推定することが可能となる。
光源種類特定部１０６は、例えば、光源データ記憶部１０８に記憶された様々な光源について、光源の種類ごとに分光分布の代表値を示すデータを光源代表スペクトルとする。代表値は、種類ごとの光源の分光分布を代表する値であればよく、例えば、同じ種類の分光分布データにおける波長毎の単純加算平均値や、重みづけ加算による平均値である。
光源種類特定部１０６は、分光情報推定部１０５により大まかに推定された分光分布と、種類ごとの光源代表スペクトルとを、二乗誤差などを用いて比較することにより双方の類似度を算出する。光源種類特定部１０６は、類似度が最も高い光源の種類を、撮像光源の種類と特定する。
或いは、光源種類特定部１０６は、光源の種類と、分光分布データとを対応付けた情報を教師データとして学習した学習済みモデルを用いて、撮像光源の種類を特定するようにしてもよい。この場合、光源種類特定部１０６は、分光情報推定部１０５により大まかに推定された分光分布を学習済みモデルに入力する。学習済みモデルは、学習済みの教師データから入力された分光分布と同一又は類似する分光分布データを抽出し、抽出した分光分布データに対応付けられている光源の種類を出力する。光源種類特定部１０６は、学習済みモデルから出力された光源の種類を、撮像光源の種類と特定する。
図８は、第１の実施形態による分光画像推定システム１の動作の流れを示すフローチャートである。
ステップＳ１０：
光源データ取得部１０２は、第１分光分布データ群を取得する。光源データ取得部１０２により取得される第１分光分布データ群は、様々な種類の光源を含む光源の分光分布データ群である。
ステップＳ１１：
次に、対象物データ取得部１０３は、分光反射率データ群を取得する。対象物データ取得部１０３により取得される分光反射率データ群は、例えば、様々な対象物を含む対象物の分光分布データ群である。
ステップＳ１２：
次に、基底ベクトル導出部１０４は、第１分光分布基底ベクトル群、及び分光反射率基底ベクトル群を導出する。第１分光分布基底ベクトル群は、光源データ取得部１０２により取得された第１分光分布データ群を主成分分析することにより導出される基底ベクトル群である。また、分光反射率基底ベクトル群は、対象物データ取得部１０３により取得された分光反射率データ群を主成分分析することにより導出される基底ベクトル群である。
ステップＳ１３：
次に、分光情報推定部１０５は、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する。分光情報推定部１０５は、基底ベクトル導出部１０４により導出された第１分光分布基底ベクトル群、及び分光反射率基底ベクトル群、画像データ取得部１０１により取得された画像データに基づいて、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する。ここで分光情報推定部１０５は、様々な種類の光源を含む光源の分光分布データ群（第１分光分布データ群）から導出された分光分布基底ベクトル群を用いて推定を行うため、推定される撮像光源の分光分布、及び撮像対象物の分光反射率の精度は高いものではない。
ステップＳ１４：
次に、光源種類特定部１０６は、分光情報推定部１０５により推定された撮像光源の分光分布に基づいて、撮像光源の種類を特定する。
ステップＳ１５：
光源データ取得部１０２は、第２分光分布データ群を取得する。第２分光分布データ群は、光源種類特定部１０６により特定された撮像光源の種類の光源における分光分布データの集合である。
ステップＳ１６：
基底ベクトル導出部１０４は、第２分光分布基底ベクトル群を導出する。第２分光分布基底ベクトル群は、光源データ取得部１０２により取得された第２分光分布データ群を主成分分析することにより導出される基底ベクトル群である。
ステップＳ１７：
そして、分光情報推定部１０５は、再度、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する。分光情報推定部１０５は、基底ベクトル導出部１０４により導出された第２分光分布基底ベクトル群、分光反射率基底ベクトル群、画像データ取得部１０１により取得された画像データに基づいて、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する。分光情報推定部１０５による再度の推定で用いられる基底ベクトル群は、撮像光源として特定された種類の光源の分光分布データ群（第２分光分布データ）から導出された基底ベクトル群であり、撮像光源と同じ種類の分光分布データを豊富に備えているために、推定される撮像光源の分光分布、及び撮像対象物の分光反射率の精度を向上させることが可能である。
以上説明したように、第１の実施形態における分光画像推定システム１は、分光情報推定部１０５により推定された撮像光源の分光分布から、撮像光源の種類を特定する光源種類特定部１０６を備える。光源データ取得部１０２は、光源種類特定部１０６により特定された撮像光源の種類に基づいて、特定種類の光源における分光分布データの集合である第２分光分布データ群を取得する。基底ベクトル導出部１０４は、第２分光分布データ群から、第２分光分布基底ベクトル群を導出する。分光情報推定部１０５は、第２分光分布基底ベクトル群、分光反射率基底ベクトル群、画像データ取得部１０１により取得された画像データから、再度、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する。
これにより、第１の実施形態における分光画像推定システム１は、まず、様々な種類の光源の分光分布データ群を用いて大まかに推定した撮像光源の分光分布から撮像光源の種類を特定することができるため、その種類に特化した分光分布データ群から得られる基底ベクトル群を用いて、撮像光源の分光分布、及び撮像対象物の分光反射率を精度よく推定することが可能となる。
（第１の実施形態の変形例１）
次に、第１の実施形態の変形例１について説明する。本変形例では、分光情報推定部１０５により推定された撮像対象物の分光反射率から、撮像対象物の種類を特定する点において、上述した実施形態と相違する。
図９は、第１の実施形態の変形例１による分光画像推定システム１の構成の例を示すブロック図である。本変形例では、分光画像推定システム１は、対象物データ取得部１０３と、分光情報推定部１０５と、対象物種類特定部１１０とを備える。
対象物データ取得部１０３は、後述する対象物種類特定部１１０により、撮像対象物の種類が特定されていない場合、分光反射率データ群として、様々な種類の分光反射率データをそれぞれ取得する。対象物データ取得部１０３は、対象物種類特定部１１０により、撮像対象物の種類が特定されている場合、分光反射率データ群として、特定の種類の分光反射率データを複数取得する。
ここで、分光情報推定部１０５が推定する際に用いる光源反射率基底ベクトル群について説明する。
分光情報推定部１０５が様々な種類の対象物の分光反射率データ群から得られる基底ベクトル群を用いて推定を行う場合、様々な種類の対象物から撮像対象物の分光反射率を推定することが可能となる。しかし、その一方で、様々な種類の対象物の分光反射率データが含まれるデータ群では、特定の種類における対象物の分光反射率データの数が限られてしまうために、推定する分光反射率の精度を高めることが困難である。すなわち、様々な種類の対象物の分光反射率データ群から得られる基底ベクトル群を用いるのみでは、分光情報推定部１０５は、撮像光源の分光分布、及び撮像対象物の分光反射率を精度よく推定することができない。
一方、分光情報推定部１０５が特定の種類における対象物の分光反射率データ群から得られる基底ベクトル群を用いて推定を行う場合、撮像対象物が同じ種類である場合には、精度よく分光反射率を推定することが可能となる。しかし、基底ベクトル群の導出に用いられた対象物の種類とは異なる種類の撮像対象物である場合には、推定の精度が著しく劣化してしまう。
そこで、本変形例では、まず、分光情報推定部１０５が様々な種類の対象物の分光反射率データ群から得られる基底ベクトル群を用いた推定を行う。次に、その推定結果から、対象物種類特定部１１０が、撮像対象物を特定する。そして、特定された撮像対象物に基づいて、分光情報推定部１０５が特定の種類の対象物の分光分布データ群から得られる基底ベクトル群を用いて再度推定を行う。これにより、分光情報推定部１０５は、大まかに推定した撮像対象物の分光分布から特定した対象物の種類について、その種類に特化した分光反射率データ群から得られる基底ベクトル群を用いて、分光反射率を精度よく推定することが可能となる。
対象物種類特定部１１０は、例えば、対象物データ記憶部１０９に記憶された様々な対象物について、対象物の種類ごとに分光反射率の代表値を示すデータを対象物代表スペクトルとする。代表値は、種類ごとの対象物の分光反射率を代表する値であればよく、例えば、同じ種類の分光反射率データにおける波長毎の単純加算平均値や、重みづけ加算による平均値である。
対象物種類特定部１１０は、分光情報推定部１０５により大まかに推定された分光反射率と、種類ごとの対象物代表スペクトルとを、最小二乗法などを用いて比較することにより双方の類似度を算出する。対象物種類特定部１１０は、類似度が最も高い対象物の種類を、撮像対象物の種類と特定する。
或いは、対象物種類特定部１１０は、対象物の種類と、分光反射率データとを対応付けた情報を教師データとして学習した学習済みモデルを用いて、撮像対象物の種類を特定するようにしてもよい。この場合、対象物種類特定部１１０は、分光情報推定部１０５により大まかに推定された分光反射率を学習済みモデルに入力する。学習済みモデルは、学習済みの教師データから入力された分光反射率と同一又は類似する分光反射率データを抽出し、抽出した分光反射率データに対応付けられている対象物の種類を出力する。対象物種類特定部１１０は、学習済みモデルから出力された対象物の種類を、撮像対象物の種類と特定する。
図１０は、第１の実施形態の変形例１による分光画像推定システム１の動作の流れを示すフローチャートである。図１０におけるフローチャートにおいてステップＳ２０～２２に示す処理は、図８におけるフローチャートにおいてステップＳ１０～１２に示す処理と同等であるため、その説明を省略する。
ステップＳ２３：
次に、分光情報推定部１０５は、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する。分光情報推定部１０５は、基底ベクトル導出部１０４により導出された分光分布基底ベクトル群、及び第１分光反射率基底ベクトル群、画像データ取得部１０１により取得された画像データに基づいて、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する。ここで分光情報推定部１０５は、様々な種類の対象物の分光反射率データ群（第１分光反射率データ群）から導出された分光反射率基底ベクトル群を用いて推定を行うため、推定される撮像光源の分光分布、及び撮像対象物の分光反射率の精度は高いものではない。
ステップＳ２４：
次に、対象物種類特定部１１０は、分光情報推定部１０５により推定された撮像対象物の分光反射率に基づいて、撮像対象物の種類を特定する。
ステップＳ２５：
対象物データ取得部１０３は、第２分光反射率データ群を取得する。第２分光反射率データ群は、対象物種類特定部１１０により特定された撮像対象物の種類の対象物における分光分布データの集合である。
ステップＳ２６：
基底ベクトル導出部１０４は、第２分光反射率基底ベクトル群を導出する。第２分光反射率基底ベクトル群は、対象物データ取得部１０３により取得された第２分光反射率データ群を主成分分析することにより導出される基底ベクトル群である。
ステップＳ２７：
そして、分光情報推定部１０５は、再度、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する。分光情報推定部１０５は、基底ベクトル導出部１０４により導出された分光分布基底ベクトル群、第２分光反射率基底ベクトル群、画像データ取得部１０１により取得された画像データに基づいて、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する。分光情報推定部１０５による再度の推定で用いられる基底ベクトル群は、撮像対象物として特定された種類の対象物の分光反射率データ群（第２分光反射率データ）から導出された基底ベクトル群であり、撮像対象物と同じ種類の分光反射率データを豊富に備えているために、推定される撮像光源の分光分布、及び撮像対象物の分光反射率の精度を向上させることが可能である。
以上説明したように、第１の実施形態の変形例１における分光画像推定システム１は、分光情報推定部１０５により推定された撮像対象物の分光反射率から、撮像対象物の種類を特定する対象物種類特定部１１０を備える。対象物データ取得部１０３は、対象物種類特定部１１０により特定された撮像対象物の種類に基づいて、特定種類の対象物における分光反射率データの集合である第２分光反射率データ群を取得する。基底ベクトル導出部１０４は、第２分光反射率データ群から、第２分光反射率基底ベクトル群を導出する。分光情報推定部１０５は、分光分布基底ベクトル群、第２分光反射率基底ベクトル群、画像データ取得部１０１により取得された画像データから、再度、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する。
これにより、第１の実施形態の変形例１における分光画像推定システム１は、まず、様々な種類の対象物の分光反射率データ群を用いて大まかに推定した撮像対象物の分光反射率から撮像対象物の種類を特定することができるため、その種類に特化した分光反射率データ群から得られる基底ベクトル群を用いて、撮像光源の分光分布、及び撮像対象物の分光反射率を精度よく推定することが可能となる。
（第１の実施形態の変形例２）
次に、第１の実施形態の変形例２について説明する。本変形例では、分光情報推定部１０５により推定された撮像光源の分光分布から撮像光源の種類を特定し、且つ、分光情報推定部１０５により推定された撮像対象物の分光反射率から撮像対象物の種類を特定する点において、上述した実施形態と相違する。
図１１は、第１の実施形態の変形例２による分光画像推定システム１の動作の流れを示すフローチャートである。図１１におけるフローチャートにおいてステップＳ３０～３６に示す処理は、図８におけるフローチャートにおいてステップＳ１０～１６に示す処理と同等であるため、その説明を省略する。また、図１１におけるフローチャートにおいてステップＳ３７～３９に示す処理は、図９におけるフローチャートにおいてステップＳ２４～２６に示す処理と同等であるため、その説明を省略する。
ステップＳ３３：
次に、分光情報推定部１０５は、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する。分光情報推定部１０５は、基底ベクトル導出部１０４により導出された第１分光分布基底ベクトル群、及び第１分光反射率基底ベクトル群、画像データ取得部１０１により取得された画像データに基づいて、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する。ここで分光情報推定部１０５は、様々な種類の光源の分光分布データ群（第１分光分布データ群）から導出された分光分布基底ベクトル群、及び、様々な種類の対象物の分光反射率データ群（第１分光反射率データ群）から導出された分光反射率基底ベクトル群を用いて推定を行う。このため、推定される撮像光源の分光分布、及び撮像対象物の分光反射率の精度は高いものではない。
ステップＳ４０：
分光情報推定部１０５は、再度、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する。分光情報推定部１０５は、基底ベクトル導出部１０４により導出された第２分光分布基底ベクトル群、第２分光反射率基底ベクトル群、画像データ取得部１０１により取得された画像データに基づいて、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する。分光情報推定部１０５による再度の推定で用いられる基底ベクトル群は、撮像光源として特定された種類の光源の分光分布データ群（第２分光分布データ）から導出された基底ベクトル群、及び、撮像対象物として特定された種類の対象物の分光反射率データ群（第２分光反射率データ）から導出された基底ベクトル群である。これらの基底ベクトル群は、撮像光源と同じ種類の分光分布データ、及び撮像対象物と同じ種類の分光反射率データを豊富に備えているために、推定される撮像光源の分光分布、及び撮像対象物の分光反射率の精度を向上させることが可能である。
以上説明したように、第１の実施形態の変形例２における分光画像推定システム１は、分光情報推定部１０５により推定された撮像光源の分光分布から、撮像光源の種類を特定する光源種類特定部１０６と、分光情報推定部１０５により推定された撮像対象物の分光反射率から、撮像対象物の種類を特定する対象物種類特定部１１０を備える。光源データ取得部１０２は、光源種類特定部１０６により特定された撮像光源の種類に基づいて、特定種類の光源における分光分布データの集合である第２分光分布データ群を取得する。対象物データ取得部１０３は、対象物種類特定部１１０により特定された撮像対象物の種類に基づいて、特定種類の対象物における分光反射率データの集合である第２分光反射率データ群を取得する。基底ベクトル導出部１０４は、第２分光分布データ群から第２分光分布基底ベクトル群を導出すると共に、第２分光反射率データ群から第２分光反射率基底ベクトル群を導出する。分光情報推定部１０５は、第２分光分布基底ベクトル群、第２分光反射率基底ベクトル群、画像データ取得部１０１により取得された画像データから、再度、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する。
これにより、第１の実施形態の変形例２における分光画像推定システム１は、まず、様々な種類の光源の分光分布データ群、及び、様々な種類の対象物の分光反射率データ群を用いて大まかに、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する。そして、推定した撮像光源の分光分布から撮像光源の種類を、推定した撮像対象物の分光反射率から撮像対象物の種類を、それぞれ特定することができる。このため、その特定された種類に特化した分光分布データ群から得られる基底ベクトル群、及び、特定された種類に特化した分光反射率データ群から得られる基底ベクトル群を用いて、撮像光源の分光分布、及び撮像対象物の分光反射率を精度よく推定することが可能となる。
（第２の実施形態）
次に、第２の実施形態について説明する。本実施形態では、既に導出済みの基底ベクトル群をデータベースに備える点、及び分光情報推定部１０５により推定された撮像光源の分光分布から、撮像光源の種類を特定する点において、上述した実施形態と相違する。
本実施形態では、分光画像推定システム１は、光源データ取得部１０２と、１０３と、分光情報推定部１０５と、光源種類特定部１０６と、光源データ記憶部１０８と、対象物データ記憶部１０９と、を備える。本実施形態では、既に導出済みの基底ベクトル群をデータベースに備えるため、基底ベクトル導出部１０４を省略することができる。
光源データ取得部１０２は、光源分光分布データ群から導出された分光分布基底ベクトル群を取得する。光源データ取得部１０２は、後述する光源種類特定部１０６により、撮像に用いられた光源（以下、撮像光源ともいう）の種類が特定されていない場合、分光分布ベクトル群として、様々な種類の分光分布データ群に基づいて導出された基底ベクトル群を取得する。光源データ取得部１０２は、光源種類特定部１０６により、撮像光源の種類が特定されている場合、分光分布ベクトル群として、特定の種類の分光分布データ群から導出された基底ベクトル群を取得する。
光源データ取得部１０２は、光源データ記憶部１０８を参照し、光源データ記憶部１０８に予め記憶された様々な光源の分光分布ベクトル群から、所定の分光分布ベクトル群を取得する。光源データ取得部１０２は、取得した分光分布ベクトル群を分光情報推定部１０５に出力する。
対象物データ取得部１０３は、分光反射率データ群から導出された分光反射率基底ベクトル群を取得する。対象物データ取得部１０３は、例えば、分光反射率ベクトル群として、様々な種類の分光反射率データ群に基づいて導出された基底ベクトル群を取得する。
対象物データ取得部１０３は、対象物データ記憶部１０９を参照し、対象物データ記憶部１０９に予め記憶された様々な対象物の分光反射率データ群から導出された分光反射率ベクトル群を取得する。対象物データ取得部１０３は、取得した分光反射率ベクトル群を分光情報推定部１０５に出力する。
分光情報推定部１０５は、光源データ取得部１０２により取得された分光分布基底ベクトル群、対象物データ取得部１０３により取得された分光反射率基底ベクトル群、画像データ記憶部１０７に記憶された撮像対象物が撮像されたＲＧＢ画像の画像データ、及びＲＧＢ画像の各々の分光感度から、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する。
光源データ記憶部１０８は、様々な光源の分光分布データ群に基づいて導出された分光分布ベクトル群を記憶する。
対象物データ記憶部１０９は、様々な対象物の分光反射率データ群に基づいて導出された分光反射率基底ベクトル群を記憶する。
ここで、光源データ記憶部１０８、及び対象物データ記憶部１０９の各々に記憶される情報について図１２及び図１３を用いて説明する。
図１２は、第２の実施形態による光源データ記憶部１０８に記憶される情報の構成例を示す図である。図１２に示すように、光源データ記憶部１０８には、項番と、表現し得る光源の種類と、分光分布基底ベクトル群、との各項目を備える。項番には分光分布基底ベクトル群を一意に識別する番号が示される。表現し得る光源の種類には項番に対応する分光分布基底ベクトル群が表現可能な光源の種類を示す情報が示される。分光分布基底ベクトル群には項番に対応する分光分布基底ベクトル群が示される。この例では、項番０１の基底ベクトル群が、様々な種類の光源（この例では、ＬＥＤ、蛍光灯、白熱灯）の分光分布基底データを表現し得ることが示されている。また、項番０２の基底ベクトル群が、特定の種類の光源（この例では、ＬＥＤ）の分光分布基底データを表現し得ることが示されている。このように、光源データ記憶部１０８には、複数の種類の分光分布データ群から導出された分光分布基底ベクトル群が記憶され、且つ、特定の種類の分光分布データ群から導出された分光分布基底ベクトル群が記憶される。
図１３は、第２の実施形態による対象物データ記憶部１０９に記憶される情報の構成例を示す図である。図１３に示すように、対象物データ記憶部１０９には、項番と、表現し得る対象物の種類と、分光反射率基底ベクトル群、との各項目を備える。項番には分光反射率基底ベクトル群を一意に識別する番号が示される。表現し得る対象物の種類には項番に対応する分光反射率基底ベクトル群が表現可能な光源の種類を示す情報が示される。分光反射率基底ベクトル群には項番に対応する分光反射率基底ベクトル群が示される。この例では、項番０１の基底ベクトル群が、様々な種類の対象物（この例では、色見本、油絵、植物）の分光反射率基底データを表現し得ることが示されている。また、項番０２の基底ベクトル群が、特定の種類の対象物（この例では、色見本）の分光反射率基底データを表現し得ることが示されている。このように、光源データ記憶部１０８には、複数の種類の分光反射率データ群から導出された分光反射率基底ベクトル群が記憶され、且つ、特定の種類の分光反射率データ群から導出された分光反射率基底ベクトル群が記憶される。
図１４は、第２の実施形態による分光画像推定システム１の動作の流れを示すフローチャートである。図１４におけるフローチャートにおいてステップＳ５３に示す処理は、図８におけるフローチャートにおいてステップＳ１４に示す処理と同等であるため、その説明を省略する。
ステップＳ５０：
光源データ取得部１０２は、第１分光分布ベクトル群を取得する。光源データ取得部１０２により取得される第１分光分布ベクトル群は、様々な種類の光源を含む光源の分光分布データ群に基づいて導出された基底ベクトル群である。
ステップＳ５１：
次に、対象物データ取得部１０３は、分光反射率ベクトル群を取得する。対象物データ取得部１０３により取得される分光反射率ベクトル群は、例えば、様々な対象物を含む対象物の分光分布データ群に基づいて導出された基底ベクトル群である。
ステップＳ５２：
次に、分光情報推定部１０５は、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する。分光情報推定部１０５は、光源データ取得部１０２により取得された第１分光分布基底ベクトル群、及び対象物データ取得部１０３により取得された分光反射率基底ベクトル群、画像データ取得部１０１により取得された画像データに基づいて、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する。ここで分光情報推定部１０５は、様々な種類の光源を含む光源の分光分布データ群（第１分光分布データ群）から導出された分光分布基底ベクトル群を用いて推定を行うため、推定される撮像光源の分光分布、及び撮像対象物の分光反射率の精度は高いものではない。
ステップＳ５４：
光源データ取得部１０２は、第２分光分布ベクトル群を取得する。第２分光分布ベクトル群は、光源種類特定部１０６により特定された撮像光源の種類の光源における分光分布データ群に基づいて導出された基底ベクトル群である。
ステップＳ５５：
そして、分光情報推定部１０５は、再度、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する。分光情報推定部１０５は、光源データ取得部１０２により取得された第２分光分布基底ベクトル群、対象物データ取得部１０３により取得された分光反射率基底ベクトル群、画像データ取得部１０１により取得された画像データに基づいて、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する。分光情報推定部１０５による再度の推定で用いられる基底ベクトル群は、撮像光源として特定された種類の光源の分光分布データ群（第２分光分布データ）から導出された基底ベクトル群であり、撮像光源と同じ種類の分光分布データを豊富に備えているために、推定される撮像光源の分光分布、及び撮像対象物の分光反射率の精度を向上させることが可能である。
以上説明したように、第２の実施形態における分光画像推定システム１では、光源データ取得部１０２は、複数の光源における分光分布データの集合である分光分布データ群に基づいて導出された分光分布基底ベクトル群を取得する。対象物データ取得部１０３は、複数の対象物における分光反射率データの集合である分光反射率データ群に基づいて導出された分光反射率基底ベクトル群を取得する。光源種類特定部１０６は、分光情報推定部１０５により推定された撮像光源の分光分布から、撮像光源の種類を特定する。
これにより、第２の実施形態における分光画像推定システム１は、データ群に基づいて基底ベクトル群を導出する処理を行うことなく基底ベクトル群を取得することができるため、基底ベクトル群を導出する処理負荷をかけることなく、撮像光源の分光分布、及び撮像対象物の分光反射率を精度よく推定することが可能となる。
（第２の実施形態の変形例１）
次に、第２の実施形態の変形例１について説明する。本変形例では、既に導出済みの基底ベクトル群をデータベースに備える点、及び分光情報推定部１０５により推定された撮像対象物の分光反射率から、撮像対象物の種類を特定する点において、上述した実施形態と相違する。
図１５は、第２の実施形態の変形例１による分光画像推定システム１の動作の流れを示すフローチャートである。図１５におけるフローチャートにおいてステップＳ６０～６２に示す処理は、図１４におけるフローチャートにおいてステップＳ５０～５２に示す処理と同等であるため、その説明を省略する。図１４におけるフローチャートにおいてステップＳ６３に示す処理は、図１０におけるフローチャートにおいてステップＳ２４に示す処理と同等であるため、その説明を省略する。
ステップＳ６４：
対象物データ取得部１０３は、第２分光反射率ベクトル群を取得する。第２分光反射率ベクトル群は、対象物種類特定部１１０により特定された撮像対象物の種類における分光反射率データ群に基づいて導出された基底ベクトル群である。
ステップＳ６５：
そして、分光情報推定部１０５は、再度、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する。分光情報推定部１０５は、光源データ取得部１０２により取得された分光分布基底ベクトル群、対象物データ取得部１０３により取得された第２分光反射率基底ベクトル群、画像データ取得部１０１により取得された画像データに基づいて、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する。分光情報推定部１０５による再度の推定で用いられる基底ベクトル群は、撮像対象物として特定された種類の分光反射率データ群（第２分光反射率データ）から導出された基底ベクトル群であり、撮像対象物と同じ種類の分光反射率データを豊富に備えているために、推定される撮像光源の分光分布、及び撮像対象物の分光反射率の精度を向上させることが可能である。
以上説明したように、第２の実施形態の変形例１における分光画像推定システム１では、光源データ取得部１０２は、複数の光源における分光分布データの集合である分光分布データ群に基づいて導出された分光分布基底ベクトル群を取得する。対象物データ取得部１０３は、複数の対象物における分光反射率データの集合である分光反射率データ群に基づいて導出された分光反射率基底ベクトル群を取得する。対象物種類特定部１１０は、分光情報推定部１０５により推定された撮像対象物の分光反射率から、撮像対象物の種類を特定する。これにより、第２の実施形態の変形例１における分光画像推定システム１は、上述した効果と同様の効果を奏する。
（第２の実施形態の変形例２）
次に、第２の実施形態の変形例２について説明する。本変形例では、既に導出済みの基底ベクトル群をデータベースに備える点、及び分光情報推定部１０５により推定された撮像光源の分光分布から撮像光源の種類を特定し、且つ、分光情報推定部１０５により推定された撮像対象物の分光反射率から撮像対象物の種類を特定する点において、上述した実施形態と相違する。
図１６は、第２の実施形態の変形例２による分光画像推定システム１の動作の流れを示すフローチャートである。図１６におけるフローチャートにおいてステップＳ７０～Ｓ７２、Ｓ７５、Ｓ７６に示す処理は、図１４におけるフローチャートにおいてステップＳ５０～Ｓ５２、Ｓ５３、Ｓ５４に示す処理と同等であるため、その説明を省略する。図１６におけるフローチャートにおいてステップＳ７３、Ｓ７４に示す処理は、図１５におけるフローチャートにおいてステップＳ６３、Ｓ６４に示す処理と同等であるため、その説明を省略する。
ステップＳ７７：
分光情報推定部１０５は、再度、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する。分光情報推定部１０５は、光源データ取得部１０２により取得された第２分光分布基底ベクトル群、対象物データ取得部１０３により取得された第２分光反射率基底ベクトル群、画像データ取得部１０１により取得された画像データに基づいて、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する。分光情報推定部１０５による再度の推定で用いられる基底ベクトル群は、撮像光源として特定された種類の分光分布データ群（第２分光分布データ）から導出された基底ベクトル群、及び撮像対象物として特定された種類の分光反射率データ群（第２分光反射率データ）から導出された基底ベクトル群である。このため、撮像光源と同じ種類の分光光源データ、及び撮像対象物と同じ種類の分光反射率データを豊富に備えている。このため、推定される撮像光源の分光分布、及び撮像対象物の分光反射率の精度を向上させることが可能である。
以上説明したように、第２の実施形態の変形例２における分光画像推定システム１では、光源データ取得部１０２は、複数の光源における分光分布データの集合である分光分布データ群に基づいて導出された分光分布基底ベクトル群を取得する。対象物データ取得部１０３は、複数の対象物における分光反射率データの集合である分光反射率データ群に基づいて導出された分光反射率基底ベクトル群を取得する。光源種類特定部１０６は、分光情報推定部１０５により推定された撮像光源の分光分布から、撮像光源の種類を特定する。対象物種類特定部１１０は、分光情報推定部１０５により推定された撮像対象物の分光反射率から、撮像対象物の種類を特定する。これにより、第２の実施形態の変形例２における分光画像推定システム１は、上述した効果と同様の効果を奏する。
（第３の実施形態）
次に、第１の実施形態について説明する。本変形例では、複数のＲＧＢ画像における各々の撮像位置（視点）が同じの視点となるように画像を変換する点において、上述した実施形態と相違する。
複数のＲＧＢ画像の各々における視点が同一であるとは限らない。例えば、異なる機種のカメラにより撮影されたＲＧＢ画像では、画像間の撮像位置や画像の解像度の違いなどにより、同一の撮像対象物が撮像されたＲＧＢ画像であっても、互いに対応する画像座標の位置が異なる場合がある。
そのため、本実施形態では、撮像光源の分光分布、及び撮像対象物の分光反射率を推定する前の前処理として、各ＲＧＢ画像を同一視点で撮影された画像に変換する。これにより、各ＲＧＢ画像で対応する画像座標の位置を一致させる。
図１７は、第３の実施形態による分光画像推定システム１の構成例を示すブロック図である。分光画像推定システム１は、画像変換部１１１を備える。
画像変換部１１１は、複数のＲＧＢ画像の各々における視点が、同一の視点となるように画像を変換する。画像変換部１１１は、例えば、二つのＲＧＢ画像の間の対応する画素の位置関係に基づき、画像に射影変換を行う。具体的には、画像変換部１１１は、各ＲＧＢ画像において、四隅の点（コーナー点）などの特徴点を抽出し、その特徴点周辺における輝度の勾配分布などの特徴量を算出する。画像変換部１１１は、二つのＲＧＢ画像の間で特徴量が最も近い点同士を対応付けることで対応点ペアを生成する。画像変換部１１１は、生成した対応点ペアの画像座標について、射影変換後の対応点ペアの座標の距離の総和が最も小さくなるような、射影変換行列を求める。画像変換部１１１は、このようにして求めた射影変換行列を用いて、画像を変換する。これにより、画像変換部１１１は、各ＲＧＢ画像を同一視点で撮影された画像に変換することが可能である。
以上、説明したように、第３の実施形態では、分光画像推定システム１は、複数のＲＧＢ画像の各々における視点が、同一の視点となるように画像を変換する画像変換部１１１を備えることにより、各ＲＧＢ画像の間で対応する画素の画像座標を一致させることができる。
ここで、実施形態の効果について、図１８を用いて説明する。図１８は、実施形態の効果を説明する図である。図１８（ａ）は、蛍光灯の下で撮影したＲＧＢ画像に対して、様々な種類の光源における分光分布データ群を用いて、光源の分光分布を推定した結果である。図１８（ｂ）は、様々な種類の光源における分光分布データのうち、特定の種類（蛍光灯）の分光分布データ群のみを用いて光源の分光分布を推定した結果である。
図１８（ａ）に示すように、様々な種類の光源における分光分布データ群を用いて、光源の分光分布を推定した場合、波長の帯域が４００［ｎｍ］～４２０［ｎｍ］付近、及び５３０［ｎｍ］～５６０［ｎｍ］付近において、真値と推定値とが大きく乖離する。これは、様々な種類の光源における分光分布データ群を用いて、光源の分光分布を推定した場合における推定の精度がさほど高くないことを示している。
これに対し、図１８（ｂ）に示すように、環境光源と同じ種類である特定の種類（蛍光灯）の分光分布データ群のみを用いて光源の分光分布を推定した場合、図１８（ａ）では精度が劣化していた波長の帯域が４００［ｎｍ］～４２０［ｎｍ］付近、及び５３０［ｎｍ］～５６０［ｎｍ］付近において、推定の精度が向上している。これは、環境光源と同じ種類の分光分布データ群を用いて光源の分光分布を推定した場合、様々な種類の光源における分光分布データ群を用いて推定した場合と比較して、推定の精度が向上したことを示している。
また、分光的評価基準の一つであるＲＭＳ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ、二乗平均の平方根）誤差を算出した結果、図２（ａ）では、ＲＭＳ誤差が約０．０９であるのに対し、図２（ｂ）では、ＲＭＳ誤差が約０．０４である。これは、環境光源と同じ種類の分光分布データ群を用いて光源の分光分布を推定した場合、様々な種類の光源における分光分布データ群を用いて推定した場合と比較して、推定の誤差が低減し、定量的に推定の精度が向上したことを示している。
なお、上記では、ＲＧＢ画像からハイパースペクトル画像を出力する場合を例示して説明したが、ＲＧＢ画像とは異なる表現で輝度等を示す画像、例えばＣＭＹＫ（Ｃｙａｎ Ｍａｇｅｎｔａ Ｙｅｌｌｏｗ Ｋｅｙ ｐｌａｔｅ）画像、ＨＳＬ（Ｈｕｅ Ｓａｙｕｒａｔｉｏｎ Ｌｉｇｈｔｎｅｓｓ）画像からハイパースペクトル画像を出力する場合等にも適用することができる。
また、上記では分光画像推定システム１が画像データ記憶部１０７、光源データ記憶部１０８、及び対象物データ記憶部１０９のデータベースを備える場合を例示して説明したが、これらのデータベースは、分光画像推定システム１とは異なるシステム、装置等に備えられていてもよい。
上述した実施形態における分光画像推定システム１の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
１…分光画像推定システム
１０１…画像データ取得部
１０２…光源データ取得部
１０３…対象物データ取得部
１０４…基底ベクトル導出部
１０５…分光情報推定部
１０６…光源種類特定部
１０７…画像データ記憶部
１０８…光源データ記憶部
１０９…対象物データ記憶部
１１０…対象物種類特定部
１１１…画像変換部

Claims (17)

  1. 同一の撮像対象物を撮像した、分光感度が異なる複数の画像から、前記撮像対象物の分光反射率と、前記複数の画像における撮像時の撮像光源の分光分布を推定する分光画像推定システムであり、
    複数の種類の光源における分光分布を示す分光分布データの集合である第１分光分布データ群を取得する光源データ取得部と、
    複数の種類の対象物における分光反射率を示す分光反射率データの集合である分光反射率データ群を取得する対象物データ取得部と、
    前記第１分光分布データ群から前記第１分光分布データ群を表現するための基底ベクトル群である第１分光分布基底ベクトル群を導出し、前記分光反射率データ群から前記分光反射率データ群を表現するための基底ベクトル群である分光反射率基底ベクトル群を導出する基底ベクトル導出部と、
    前記第１分光分布基底ベクトル群、前記分光反射率基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する分光情報推定部と、
    前記分光情報推定部により推定された前記撮像光源の分光分布から、前記撮像光源の種類を特定する光源種類特定部と、
    を備え、
    前記光源データ取得部は、前記光源種類特定部により特定された前記撮像光源の種類に基づいて、特定種類の光源における前記分光分布データの集合である第２分光分布データ群を取得し、
    前記基底ベクトル導出部は、前記第２分光分布データ群から、第２分光分布基底ベクトル群を導出し、
    前記分光情報推定部は、前記第２分光分布基底ベクトル群、前記分光反射率基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する、
    ことを特徴とする分光画像推定システム。
  2. 同一の撮像対象物を撮像した、分光感度が異なる複数の画像から、前記撮像対象物の分光反射率と、前記複数の画像における撮像時の光源である撮像光源の分光分布を推定する分光画像推定システムであり、
    複数の種類の光源における分光分布を示す分光分布データの集合である分光分布データ群を取得する光源データ取得部と、
    複数の種類の対象物における分光反射率を示す分光反射率データの集合である第１分光反射率データ群を取得する対象物データ取得部と、
    前記分光分布データ群から分光分布基底ベクトル群を導出し、前記第１分光反射率データ群から第１分光反射率基底ベクトル群を導出する基底ベクトル導出部と、
    前記分光分布基底ベクトル群、前記第１分光反射率基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する分光情報推定部と、
    前記分光情報推定部により推定された前記撮像対象物の分光反射率から、前記撮像対象物の種類を特定する対象物種類特定部と、
    を備え、
    前記対象物データ取得部は、前記対象物種類特定部により特定された前記撮像対象物の種類に基づいて、特定種類の対象物における前記分光反射率データの集合である第２分光反射率データ群を取得し、
    前記基底ベクトル導出部は前記第２分光反射率データ群から第２分光反射率基底ベクトル群を導出し、
    前記分光情報推定部は、前記分光分布基底ベクトル群、前記第２分光反射率基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する、
    ことを特徴とする分光画像推定システム。
  3. 同一の撮像対象物を撮像した、分光感度が異なる複数の画像から、前記撮像対象物の分光反射率と、前記複数の画像における撮像時の撮像光源の分光分布を推定する分光画像推定システムであり、
    複数の種類の光源における分光分布を示す分光分布データの集合である第１分光分布データ群を取得する光源データ取得部と、
    複数の種類の対象物における分光反射率を示す分光反射率データの集合である第１分光反射率データ群を取得する対象物データ取得部と、
    前記第１分光分布データ群から前記第１分光分布データ群を表現するための基底ベクトル群である第１分光分布基底ベクトル群を導出し、前記第１分光反射率データ群から前記第１分光反射率データ群を表現するための基底ベクトル群である第１分光反射率基底ベクトル群を導出する基底ベクトル導出部と、
    前記第１分光分布基底ベクトル群、前記第１分光反射率基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する分光情報推定部と、
    前記分光情報推定部により推定された前記撮像光源の分光分布から、前記撮像光源の種類を特定する光源種類特定部と、
    前記分光情報推定部により推定された前記撮像対象物の分光反射率から、前記撮像対象物の種類を特定する対象物種類特定部、
    を備え、
    前記光源データ取得部は、前記光源種類特定部により特定された前記撮像光源の種類に基づいて、特定種類の光源における前記分光分布データの集合である第２分光分布データ群を取得し、
    前記対象物データ取得部は、前記対象物種類特定部により特定された前記撮像対象物の種類に基づいて、特定種類の対象物における前記分光反射率データの集合である第２分光反射率データ群を取得し、
    前記基底ベクトル導出部は、前記第２分光分布データ群から、第２分光分布基底ベクトル群を導出すると共に、前記第２分光反射率データ群から第２分光反射率基底ベクトル群を導出し、
    前記分光情報推定部は、前記第２分光分布基底ベクトル群、前記第２分光反射率基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する、
    ことを特徴とする分光画像推定システム。
  4. 前記基底ベクトル導出部は、主成分分析を用いて前記分光分布データの集合である分光分布データ群から当該分光分布データ群を表現するための分光分布基底ベクトル群を導出し、主成分分析を用いて前記分光反射率データの集合である分光反射率データ群から当該分光反射率データ群を表現するための分光反射率基底ベクトル群を導出する、
    請求項１から請求項３の何れか一項に記載の分光画像推定システム。
  5. 同一の撮像対象物を撮像した、分光感度が異なる複数の画像から、前記撮像対象物の分光反射率と、前記複数の画像の撮像時における撮像光源の分光分布を推定する分光画像推定システムであり、
    複数の種類の光源の分光分布を表現するための基底ベクトル群を示す第１分光分布基底ベクトル群を取得する光源データ取得部と、
    複数の種類の対象物における分光反射率を表現するための基底ベクトル群を示す分光反射率基底ベクトル群を取得する対象物データ取得部と、
    前記第１分光分布基底ベクトル群、前記分光反射率基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する分光情報推定部と、
    前記分光情報推定部により推定された前記撮像光源の分光分布から、前記撮像光源の種類を特定する光源種類特定部と、
    を備え、
    前記光源データ取得部は、前記光源種類特定部により特定された前記撮像光源の種類に基づいて、特定種類の光源の分光分布を表現するための基底ベクトル群を示す第２分光分布基底ベクトル群を取得し、
    前記分光情報推定部は、前記第２分光分布基底ベクトル群、前記分光反射率基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する、
    ことを特徴とする分光画像推定システム。
  6. 同一の撮像対象物を撮像した、分光感度が異なる複数の画像から、前記撮像対象物の分光反射率と、前記複数の画像の撮像時における撮像光源の分光分布を推定する分光画像推定システムであり、
    複数の種類の光源における分光分布を表現するための基底ベクトル群を示す分光分布基底ベクトル群を取得する光源データ取得部と、
    複数の種類の対象物における分光反射率を表現するための基底ベクトル群を示す第１分光反射率基底ベクトル群を取得する対象物データ取得部と、
    前記分光分布基底ベクトル群、前記第１分光反射率基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する分光情報推定部と、
    前記分光情報推定部により推定された前記撮像対象物の分光反射率から、前記撮像対象物の種類を特定する対象物種類特定部と、
    を備え、
    前記対象物データ取得部は、前記対象物種類特定部により特定された前記撮像対象物の種類に基づいて、特定種類の対象物における分光反射率を表現するための基底ベクトル群を示す第２分光反射率基底ベクトル群を取得し、
    前記分光情報推定部は、前記分光分布基底ベクトル群、前記第２分光反射率基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する、
    ことを特徴とする分光画像推定システム。
  7. 同一の撮像対象物を撮像した、分光感度が異なる複数の画像から、前記撮像対象物の分光反射率と、前記複数の画像の撮像時における撮像光源の分光分布を推定する分光画像推定システムであり、
    複数の種類の光源の分光分布を表現するための基底ベクトル群を示す第１分光分布基底ベクトル群を取得する光源データ取得部と、
    複数の種類の対象物における分光反射率を表現するための基底ベクトル群を示す第１分光反射率基底ベクトル群を取得する対象物データ取得部と、
    前記第１分光分布基底ベクトル群、前記第１分光反射率基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する分光情報推定部と、
    前記分光情報推定部により推定された前記撮像光源の分光分布から、前記撮像光源の種類を特定する光源種類特定部と、
    前記分光情報推定部により推定された前記撮像対象物の分光反射率から、前記撮像対象物の種類を特定する対象物種類特定部と、
    を備え、
    前記光源データ取得部は、前記光源種類特定部により特定された前記撮像光源の種類に基づいて、特定種類の光源の分光分布を表現するための基底ベクトル群を示す第２分光分布基底ベクトル群を取得し、
    前記対象物データ取得部は、前記対象物種類特定部により特定された前記撮像対象物の種類に基づいて、特定種類の対象物における分光反射率を表現するための基底ベクトル群を示す第２分光反射率基底ベクトル群を取得し、
    前記分光情報推定部は、前記第２分光分布基底ベクトル群、前記第２分光反射率基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する、
    ことを特徴とする分光画像推定システム。
  8. 前記光源種類特定部は、光源の種類と当該光源の分光分布とを対応付けて学習した学習済みモデルに、前記分光情報推定部により推定された前記撮像光源の分光分布を入力することにより前記撮像光源の種類を特定する、
    請求項１、請求項３、請求項５、及び請求項７の何れか一項に記載の分光画像推定システム。
  9. 前記対象物種類特定部は、対象物の種類と当該対象物の分光反射率とを対応付けて学習した学習済みモデルに、前記分光情報推定部により推定された前記撮像対象物の分光反射率を入力することにより前記撮像対象物の種類を特定する、
    請求項２、請求項３、請求項６、及び請求項７の何れか一項に記載の分光画像推定システム。
  10. 前記光源種類特定部は、光源の種類毎に当該光源の代表とする代表分光分布を算出し、前記分光情報推定部により推定された前記撮像光源の分光分布と前記代表分光分布との類似度を算出することにより前記撮像光源の種類を特定する、
    請求項１、請求項３、請求項５、及び請求項７の何れか一項に記載の分光画像推定システム。
  11. 前記対象物種類特定部は、対象物の種類毎に当該対象物の代表的な分光反射率を算出し、前記分光情報推定部により推定された前記撮像対象物の分光反射率と前記代表的な分光反射率との類似度を算出することにより前記撮像対象物の種類を特定する、
    請求項２、請求項３、請求項６、及び請求項７の何れか一項に記載の分光画像推定システム。
  12. 前記複数の画像は、分光感度の異なる複数の撮像装置により撮像された画像である、
    ことを特徴とする請求項１から請求項１１の何れか一項に記載の分光画像推定システム。
  13. 前記複数の画像は、撮像装置に分光透過特性の異なる複数のレンズフィルタの各々を装着させた状態で撮像された画像である、
    ことを特徴とする請求項１から請求項１１の何れか一項に記載の分光画像推定システム。
  14. 前記複数の画像を同一の視点から撮影された画像に変換する画像変換部、を更に備える、
    ことを特徴とする請求項１から請求項１３の何れか一項に記載の分光画像推定システム。
  15. 前記画像変換部は、前記複数の画像の各々における複数の対応点の座標を求め、複数の対応点座標に基づき推定された射影変換行列を用いて、前記複数の画像の各々を射影変換することで、前記複数の画像を同一の視点から撮影された画像に変換する、
    ことを特徴とする請求項１４に記載の分光画像推定システム。
  16. 同一の撮像対象物を撮像した、分光感度が異なる複数の画像から、前記撮像対象物の分光反射率と、前記複数の画像における撮像時の撮像光源の分光分布を推定する分光画像推定システムであって、光源の分光分布を示す分光分布データを記憶する光源データ記憶部と、対象物の分光反射率を示す分光反射率データを記憶する対象物データ記憶部と、を備える分光画像推定システムにおける分光画像推定方法であり、
    光源データ取得部が、前記光源データ記憶部から、複数の種類の光源における前記分光分布データの集合である第１分光分布データ群を取得する第１光源データ取得工程と、
    対象物データ取得部が、前記対象物データ記憶部から、複数の種類の対象物における前記分光反射率データの集合である分光反射率データ群を取得する対象物データ取得工程と、
    基底ベクトル導出部が、前記第１分光分布データ群、及び前記分光反射率データ群から、第１基底ベクトル群を導出する第１基底ベクトル群導出工程と、
    分光情報推定部が、前記第１基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する第１分光情報推定工程と、
    光源種類特定部が、前記分光情報推定部により推定された前記撮像光源の分光分布から、前記撮像光源の種類を特定する光源種類特定工程と、
    前記光源データ取得部が、前記光源種類特定部により特定された前記撮像光源の種類に基づいて、前記光源データ記憶部から特定種類の光源における前記分光分布データの集合である第２分光分布データ群を取得する第２光源データ取得工程と、
    前記基底ベクトル導出部が、前記第２分光分布データ群、及び前記分光反射率データ群から、第２基底ベクトル群を導出する第２基底ベクトル群導出工程と、
    前記分光情報推定部が、前記第２基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する第１分光情報推定工程と、
    を有することを特徴とする分光画像推定方法。
  17. 同一の撮像対象物を撮像した、分光感度が異なる複数の画像から、前記撮像対象物の分光反射率と、前記複数の画像における撮像時の撮像光源の分光分布を推定する分光画像推定システムであって、光源の分光分布を示す分光分布データを記憶する光源データ記憶部と、対象物の分光反射率を示す分光反射率データを記憶する対象物データ記憶部と、を備える分光画像推定システムに用いられるコンピュータを、
    前記光源データ記憶部から、複数の種類の光源における前記分光分布データの集合である第１分光分布データ群を取得する第１光源データ取得手段と、
    前記対象物データ記憶部から、複数の種類の対象物における前記分光反射率データの集合である分光反射率データ群を取得する対象物データ取得手段と、
    前記第１分光分布データ群、及び前記分光反射率データ群から、第１基底ベクトル群を導出する第１基底ベクトル導出手段と、
    前記第１基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する第１分光情報推定手段と、
    前記第１分光情報推定手段により推定された前記撮像光源の分光分布から、前記撮像光源の種類を特定する光源種類特定手段と、
    前記光源種類特定手段より特定された前記撮像光源の種類に基づいて、前記光源データ記憶部から特定種類の光源における前記分光分布データの集合である第２分光分布データ群を取得する第２光源データ取得手段と、
    前記第２分光分布データ群、及び前記分光反射率データ群から、第２基底ベクトル群を導出する第２基底ベクトル群導出手段と、
    前記第２基底ベクトル群、前記複数の画像、及び当該画像の各々における分光感度から、前記撮像光源の分光分布、及び前記撮像対象物の分光反射率を推定する第１分光情報推定手段と、
    として機能させるためのプログラム。
JP2018234716A 2018-12-14 2018-12-14 分光画像推定システム、分光画像推定方法、及びプログラム Active JP7206878B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018234716A JP7206878B2 (ja) 2018-12-14 2018-12-14 分光画像推定システム、分光画像推定方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018234716A JP7206878B2 (ja) 2018-12-14 2018-12-14 分光画像推定システム、分光画像推定方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2020094985A JP2020094985A (ja) 2020-06-18
JP7206878B2 true JP7206878B2 (ja) 2023-01-18

Family

ID=71085766

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018234716A Active JP7206878B2 (ja) 2018-12-14 2018-12-14 分光画像推定システム、分光画像推定方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP7206878B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7132643B2 (ja) 2020-11-17 2022-09-07 株式会社タナカ技研 撮影装置、画像の生産方法、およびプログラム
KR20230057650A (ko) 2021-10-22 2023-05-02 삼성전자주식회사 이미지 센서의 스펙트럼 데이터를 처리하는 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011022044A (ja) 2009-07-16 2011-02-03 Canon Inc 光源推定装置および光源推定方法
JP2012154711A (ja) 2011-01-25 2012-08-16 Jvc Kenwood Corp 分光スペクトル推定装置および学習スペクトル生成方法
JP2014132257A (ja) 2012-12-03 2014-07-17 Ricoh Co Ltd 類似度判定システム及び類似度判定方法
WO2016152900A1 (ja) 2015-03-25 2016-09-29 シャープ株式会社 画像処理装置及び撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011022044A (ja) 2009-07-16 2011-02-03 Canon Inc 光源推定装置および光源推定方法
JP2012154711A (ja) 2011-01-25 2012-08-16 Jvc Kenwood Corp 分光スペクトル推定装置および学習スペクトル生成方法
JP2014132257A (ja) 2012-12-03 2014-07-17 Ricoh Co Ltd 類似度判定システム及び類似度判定方法
WO2016152900A1 (ja) 2015-03-25 2016-09-29 シャープ株式会社 画像処理装置及び撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OH, Seoung Wug et al.，Do it Yourself Hyperspectral Imaging with Everyday Digital Cameras，2016 IEEE Conference on Computer Vision and Pttern Recognition，IEEE Computer society，2016年，2461-2469

Also Published As

Publication number Publication date
JP2020094985A (ja) 2020-06-18

Similar Documents

Publication Publication Date Title
Nguyen et al. Training-based spectral reconstruction from a single RGB image
Mojsilovic A computational model for color naming and describing color composition of images
US8594420B2 (en) Color naming, color categorization and describing color composition of images
CN108020519B (zh) 一种基于颜色恒常性的虚拟多光源光谱重建方法
CN101933321A (zh) 用于估测场景光源的图像传感器装置及方法
KR20140058674A (ko) 본질 이미지들을 이용하는 디지털 이미지 신호 압축 시스템 및 방법
JP7206878B2 (ja) 分光画像推定システム、分光画像推定方法、及びプログラム
Milotta et al. Challenges in automatic Munsell color profiling for cultural heritage
Shrestha et al. Quality evaluation in spectral imaging–quality factors and metrics
Molada-Tebar et al. Correct use of color for cultural heritage documentation
US9189703B2 (en) Systems and methods for colorimetric and spectral material estimation
Kikuchi et al. Color-tone similarity on digital images
Sari et al. Color correction using improved linear regression algorithm
Stanco et al. Computer graphics solutions for pottery colors specification
KR102350164B1 (ko) 멀티스펙트럴 이미징 변환 방법
Yuan et al. Color image quality assessment with multi deep convolutional networks
Khediri et al. Comparison of image segmentation using different color spaces
Cao et al. Spectral data compression using weighted principal component analysis with consideration of human visual system and light sources
Foster et al. Information limits on identification of natural surfaces by apparent colour
Granados et al. Automatizing chromatic quality assessment for cultural heritage image digitization
Lin Colour fidelity in spectral reconstruction from rgb images
Učakar et al. Implementation of Wiener Algorithm for Spectral Reflectance Reconstruction of 3 and 6 Channel Images
Conni et al. The Effect of Camera Calibration on Multichannel Texture Classification.
JP7334509B2 (ja) 三次元形状モデル生成システム、三次元形状モデル生成方法及びプログラム
Zheng et al. Night Vision Colorization from Color Mapping to Color Transferring

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221219

R150 Certificate of patent or registration of utility model

Ref document number: 7206878

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150