JP4981730B2 - 分光画像生成装置及び分光画像生成方法 - Google Patents

Description

本発明は、波長解像度及び空間解像度の両方が高い分光画像を生成することを可能にする分光画像生成装置及び分光画像生成方法に関する。

従来、分光画像を生成する分光画像生成装置としては、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子から出力された撮像信号に含まれる画像データから生成されたスペクトルデータに基づいて生成されたマトリクスを、第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の撮像素子から出力された撮像信号に含まれる画像データに含まれる各要素に対して、前述した同一のマトリクスを乗算することによって、第２の撮像素子から出力された撮像信号に含まれる画像データから分光画像を生成する分光画像生成装置が知られている（特許文献１参照）。

また、分光画像を生成する他の分光画像生成装置としては、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子から出力された撮像信号に含まれる画像データから生成されたスペクトルデータをクラス分類した後、当該分類したクラス毎にマトリクスを生成し、第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の撮像素子から出力された撮像信号に含まれる画像データに含まれる各クラスに対して、前述した分類したクラス毎に生成したマトリクスを乗算することによって、第２の撮像素子から出力された撮像信号に含まれる画像データからクラス毎の複数の分光画像のデータを生成し、第１の撮像素子から出力された撮像信号に含まれる画像データから生成されたスペクトルデータのクラス分類に関するデータと、第２の撮像素子から出力された撮像信号に含まれる画像データとから生成した重み係数を用いて、前述したクラス毎の複数の分光画像のデータを加重平均して分光画像を取得する分光画像生成装置が知られている（非特許文献１参照）。

更に、分光画像を生成する他の分光画像生成装置としては、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子から出力された撮像信号に含まれる画像データから生成されたスペクトルデータに基づいて生成されたマトリクスを、第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の撮像素子から出力された撮像信号に含まれる画像データに含まれる各要素に対して、前述した同一のマトリクスを乗算することによって、第２の撮像素子から出力された撮像信号に含まれる画像データから第１の分光画像を生成すると共に、前述した第２の撮像素子から出力された撮像信号に含まれる画像データから画像データの空間的補間を行うための補間マトリクスを生成し、第１の撮像素子から出力された撮像信号に含まれる画像データから生成されたスペクトルデータに前述した補間マトリクスを乗算することによって第２の分光画像を生成し、前述した第１の分光画像のデータと前述した第２の分光画像のデータとを合成することによって、単一の分光画像を生成する分光画像生成装置が知られている（非特許文献２参照）。

特開２００６−２５５３２４号公報 Yuri Murakami, Takashi Obi, Masahiro Yamaguchi, and Nagaaki Ohyama, "Nonlinear estimation of spectral reflectance based on Gaussian mixture distribution for color image reproduction," Applied Optics, Optical Society of America, 10, August 2002, vol. 41, No. 23, p.4840-p.4847 Yuri Murakami, Kunihiro Ietomi, Masahiro Yamaguchi, and Nagaaki Ohyama, "Maximum a posteriori estimation of spectral reflectance from color image and multipoint spectral measurements," Applied Optics, Optical Society of America, 1, October 2007, vol.46, No.28, p.7068-p.7082

しかし、特許文献１に開示された分光画像生成装置では、空間解像度が高く、波長解像度の低い画像データから、信号処理によって分光画像を生成する際、画像全体に対して１つのマトリクスを使用するため、高い精度を得ることが出来なかった。

一方、非特許文献１及び非特許文献２に開示された分光画像生成装置では、空間解像度が高く、波長解像度の低い画像データから、信号処理によって空間解像度が高く、波長解像度の低い画像データを得ることは可能ではあるが、計算精度を高めようとすると、スペクトルデータをクラス分類したりする処理や、空間的に画像データを補間したりする処理を実行しなければならないため、これらの処理を実行する場合には、計算量が膨大な量になってしまう可能性がある。

本発明者の分光画像に関する詳細なる考察によれば、例えば医療分野、リモートセンシング等の高い色再現性を要する分野で、分光画像生成装置全体の小型化を図る観点から、信号処理に要する計算量を抑制することが可能で、かつ、波長解像度及び空間解像度の両方が高い分光画像を生成することを可能にする分光画像生成装置及び分光画像生成方法に対する産業界の要望が高まっている。

そこで、本発明は、信号処理に要する計算量を抑制すると共に、波長解像度及び空間解像度の両方が高い分光画像を生成することを可能にする分光画像生成装置及び分光画像生成方法を提供することを目的とする。

本発明の骨子は、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子から出力された撮像信号に含まれる画像データから、第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の撮像素子から出力された撮像信号に含まれる画像データから分光画像を生成するための複数のマトリクスを生成し、第２の撮像素子から出力された撮像信号に含まれる画像データに対して生成された各マトリクスを作用させることによって、分光画像を生成する構成により、信号処理に要する計算量を抑制すると共に、波長解像度及び空間解像度の両方が高い分光画像を生成することを可能にするという本願に特有の顕著な効果を達成することにある。

なお、本明細書では、「分光情報」とは、「空間上のある一点、又は空間上の所定の領域から放射されて画像センサに入射する光の波長毎の強度のこと」を意味する。

さて、以上のような本発明の骨子は、具体的には以下のような手段を講じることにより達成される。

第１の発明は、相異なる特性を有する複数の撮像素子の出力画像から分光画像を生成する分光画像生成装置であって、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子と、波長方向のチャネル数が少なくとも３以下で、かつ、前記第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、前記第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有し、縦方向にＮ１個、横方向にＮ２個の画素の画像データを含む撮像信号を出力する第２の撮像素子と、前記第１の撮像素子から出力された撮像信号から縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータを生成するスペクトルデータ生成手段と、前記第２の撮像素子から出力された撮像信号に含まれる画像データから分光画像を生成するための複数のマトリクスを前記スペクトルデータ生成手段により生成されたスペクトルデータから生成するマトリクス生成手段と、前記マトリクス生成手段により生成された各マトリクスを前記第２の撮像素子から出力された撮像信号に含まれるＮ１×Ｎ２個の画素の画像データに作用させることによって、空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成する分光画像生成手段と、前記分光画像生成手段により生成された分光画像を出力する分光画像出力手段とを備えたことを特徴とする。

このように、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子から出力された撮像信号に含まれる画像データから、縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータをスペクトルデータ生成手段により生成し、波長方向のチャネル数が少なくとも３以下で、かつ、第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の撮像素子から出力された撮像信号に含まれる縦方向にＮ１個、横方向にＮ２個の画素の画像データから分光画像を生成するための複数のマトリクスをマトリクス生成手段によって前記スペクトルデータから生成し、生成された各マトリクスを第２の撮像素子から出力された撮像信号に含まれるＮ１×Ｎ２個の画素の画像データに作用させることによって、空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を分光画像生成手段により生成し、生成された分光画像を分光画像出力手段によって出力するので、信号処理に要する計算量を抑制すると共に、波長解像度及び空間解像度の両方が高い分光画像を生成することが可能になる。

第２の発明は、相異なる特性を有する複数の撮像素子の出力画像から分光画像を生成する分光画像生成装置であって、第１のフレームレートを有する撮像信号を出力し、かつ、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子と、前記第１のフレームレートよりも高い第２のフレームレートを有する撮像信号を出力し、波長方向のチャネル数が少なくとも３以下で、かつ、前記第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、前記第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有し、縦方向にＮ１個、横方向にＮ２個の画素の画像データを含む撮像信号を出力する第２の撮像素子と、前記第１の撮像素子から出力された撮像信号から縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータを生成するスペクトルデータ生成手段と、前記第２の撮像素子から出力された撮像信号に含まれる画像データから分光画像を生成するための複数のマトリクスを前記スペクトルデータ生成手段により生成されたスペクトルデータから生成するマトリクス生成手段と、前記マトリクス生成手段により生成された各マトリクスを前記第２の撮像素子から出力された撮像信号に含まれるＮ１×Ｎ２個の画素の画像データに作用させることによって、空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成する分光画像生成手段と、前記分光画像生成手段により生成された分光画像を出力する分光画像出力手段とを備えたことを特徴とする。

このように、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子から出力された第１のフレームレートを有する撮像信号から縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータをスペクトルデータ生成手段により生成し、波長方向のチャネル数が少なくとも３以下で、かつ、第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の撮像素子から出力された第１のフレームレートよりも高い第２のフレームレートを有する撮像信号に含まれる縦方向にＮ１個、横方向にＮ２個の画素の画像データから分光画像を生成するための複数のマトリクスをマトリクス生成手段によって前記スペクトルデータから生成し、生成された各マトリクスを、第２の撮像素子から出力された撮像信号に含まれるＮ１×Ｎ２個の画素の画像データに作用させることによって、空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を分光画像生成手段によって生成し、生成された分光画像を分光画像出力手段によって出力するので、信号処理に要する計算量を抑制すると共に、波長解像度及び空間解像度の両方が高い分光画像を生成することが可能になる。

第３の発明は、相異なる特性を有する複数の撮像素子の出力画像から分光画像を生成する分光画像生成方法であって、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子から出力された撮像信号に含まれる画像データから、縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータを生成するスペクトルデータ生成工程と、波長方向のチャネル数が少なくとも３以下で、かつ、前記第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、前記第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の撮像素子から出力された撮像信号に含まれる縦方向にＮ１個、横方向にＮ２個の画素の画像データから分光画像を生成するための複数のマトリクスを前記スペクトルデータ生成工程により生成されたスペクトルデータから生成するマトリクス生成工程と、前記マトリクス生成工程により生成された各マトリクスを前記第２の撮像素子から出力された撮像信号に含まれるＮ１×Ｎ２個の画素の画像データに作用させることによって、空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成する分光画像生成工程と、前記分光画像生成工程により生成された分光画像を出力する分光画像出力工程とを含むことを特徴とする。

このように、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子から出力された撮像信号に含まれる画像データから、縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータを生成し、波長方向のチャネル数が少なくとも３以下で、かつ、第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の撮像素子から出力された撮像信号に含まれる縦方向にＮ１個、横方向にＮ２個の画素の画像データから分光画像を生成するための複数のマトリクスを前記スペクトルデータから生成し、生成された各マトリクスを第２の撮像素子から出力された撮像信号に含まれるＮ１×Ｎ２個の画素の画像データに作用させることによって、空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成し、生成された分光画像を出力するので、信号処理に要する計算量を抑制すると共に、波長解像度及び空間解像度の両方が高い分光画像を生成することが可能になる。

第４の発明は、相異なる特性を有する複数の撮像素子の出力画像から分光画像を生成する分光画像生成方法であって、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子から出力された第１のフレームレートを有する撮像信号から縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータを生成するスペクトルデータ生成工程と、波長方向のチャネル数が少なくとも３以下で、かつ、前記第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、前記第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の撮像素子から出力された前記第１のフレームレートよりも高い第２のフレームレートを有する撮像信号に含まれる縦方向にＮ１個、横方向にＮ２個の画素の画像データから分光画像を生成するための複数のマトリクスを前記スペクトルデータ生成工程により生成されたスペクトルデータから生成するマトリクス生成工程と、前記マトリクス生成工程により生成された各マトリクスを、前記第２の撮像素子から出力された撮像信号に含まれるＮ１×Ｎ２個の画素の画像データに作用させることによって、空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成する分光画像生成工程と、前記分光画像生成工程により生成された分光画像を出力する分光画像出力工程とを含むことを特徴とする。

このように、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子から出力された第１のフレームレートを有する撮像信号から縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータを生成し、波長方向のチャネル数が少なくとも３以下で、かつ、第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の撮像素子から出力された第１のフレームレートよりも高い第２のフレームレートを有する撮像信号に含まれる縦方向にＮ１個、横方向にＮ２個の画素の画像データから分光画像を生成するための複数のマトリクスを前記スペクトルデータから生成し、生成された各マトリクスを、第２の撮像素子から出力された撮像信号に含まれるＮ１×Ｎ２個の画素の画像データに作用させることによって、空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成し、生成された分光画像を出力するので、信号処理に要する計算量を抑制すると共に、波長解像度及び空間解像度の両方が高い分光画像を生成することが可能になる。

なお、ここでは、説明の簡略化を図る観点から、本発明のうち「分光画像生成装置」、及び「分光画像生成方法」として表現された発明のみに関して説明を行ったが、これに限らず、本発明の要旨を変更しない範囲内で「プログラム」及び「記録媒体」等の任意のカテゴリーとして表現してもよいことは言うまでもない。

また、前記発明を「画像処理プログラム」として表現する場合には、前記「方法」の発明の説明中における「分光画像生成方法であって、」という文言を「分光画像生成装置のコンピュータにインストールされた画像処理プログラムであって、前記分光画像生成装置のコンピュータに」という文言に、「行程」という文言を「手順」と言う文言に、「を含むことを特徴とする分光画像生成方法。」という文言を「を実行させるための画像処理プログラム。」という文言にそれぞれ読み替えるものとする。

更に、前記発明を「記録媒体」として表現する場合には、前記「プログラム」の発明の説明中の「プログラム」という文言を「プログラムを記録したコンピュータ読み取り可能な記録媒体」という文言に読み替えるものとする。

本発明によれば、信号処理に要する計算量を抑制すると共に、波長解像度及び空間解像度の両方が高い分光画像を生成することを可能になる。

（第１の実施の形態）
以下、本発明の最良の形態に関し、図面を参照して説明する。

図１は、本発明の第１の実施の形態に係る分光画像生成装置１の構成の一例を示す機能ブロック図である。

本実施の形態に係る分光画像生成装置１は、相異なる特性を有する複数の画像センサのうちの一方の画像センサから出力された撮像信号に含まれる静止画の画像データから生成されたスペクトルデータから、予め定められた領域毎に相異なる複数のマトリクスのデータを生成し、生成した領域毎のマトリクスを他方の画像センサから出力された撮像信号に含まれる画像データの対応する領域に作用させることによって、静止画である分光画像を生成して、生成した分光画像を表示部１ｊの表示画面に表示する装置である。

具体的には、本実施の形態に係る分光画像生成装置１は、図２に示すように、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成された空間方向にＭ_１×Ｍ_２個の要素を、波長方向にＬ個の要素をそれぞれ有するスペクトルデータと、波長方向のチャネル数が少なくとも３以下で、かつ、前述した第１の画像センサ１ａの有する空間解像度よりも高い第２の空間解像度と、前述した第１の画像センサ１ａの有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の画像センサ１ｂから出力されたＮ_１×Ｎ_２個の画素を有する３枚の静止画のデータとから、空間方向にＮ_１×Ｎ_２個の画素と、波長方向にＬ個の要素とを有し、前述した第１の波長解像度と前述した第２の空間解像度とを有する、換言すれば波長解像度及び空間解像度の両方が高い静止画の分光画像を生成する装置である。

本実施の形態に係る分光画像生成装置１は、図１に示すように、第１の画像センサ１ａと、第２の画像センサ１ｂと、スペクトルデータ生成部１ｃと、マトリクス生成部１ｄと、領域分割部１ｅと、領域データ記憶メモリ１ｆと、マトリクス乗算部１ｇと、加重平均算出部１ｈと、領域合成部１ｉと、表示部１ｊとを備えている。

なお、本実施の形態に係る分光画像生成装置１は、製造時に図示しない内蔵メモリにプログラムが書き込まれた、又は記録媒体もしくは通信ネットワークを介してプログラムがインストールされたコンピュータによって実現される。

また、本実施の形態に係る分光画像生成装置１を構成する各部は、ソフトウェアもしくはハードウェア又はハードウェアとソフトウェアとの組み合わせの何れから構成されていてもよいことは言うまでもない。

第１の画像センサ１ａは、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する撮像素子であり、撮像した撮像信号をスペクトルデータ生成部１ｃに出力する。

第２の画像センサ１ｂは、波長方向のチャネル数が少なくとも３以下で、かつ、前述した第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、前述した第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する撮像素子であり、撮像した撮像信号を領域分割部１ｅに出力する。

スペクトルデータ生成部１ｃは、第１の画像センサ１ａから出力された撮像信号を受け取り、受け取った撮像信号の要素毎に、撮像信号からスペクトルデータへと変換する処理を行うことにより、当該第１の画像センサ１ａから出力された撮像信号の要素毎のスペクトルデータを生成して、生成したスペクトルデータをマトリクス生成部１ｄに出力する。

具体的には、本実施の形態に係るスペクトルデータ生成部１ｃは、前述した図２に示すように、第１の画像センサ１ａから受け取った撮像信号から縦方向にＭ_１個、横方向にＭ_２個、波長方向にＬ個の要素を有するスペクトルデータを生成して、生成したスペクトルデータをマトリクス生成部１ｄに出力する。

マトリクス生成部１ｄは、第１の画像センサ１ａによって計測されたスペクトルデータの各要素を重み付けした結果、得られた特定の分光情報群、換言すればマトリクスを生成するためのサンプルデータを用いて、このサンプルデータに対する誤差を最小とするように、第１の画像センサ１ａから出力された撮像信号内の画像データから生成されたスペクトルデータの空間方向に定義される領域（ａ，ｂ）毎に対応付けられるマトリクスを生成し、生成したスペクトルデータの空間方向に定義される領域（ａ，ｂ）毎のマトリクスのデータと、スペクトルデータの空間方向に定義される領域（ａ，ｂ）に関するデータとの組をマトリクス乗算部１ｇに出力する。

具体的には、本実施の形態に係るマトリクス生成部１ｄは、スペクトルデータ生成部１ｃから出力された縦方向にＭ_１個、横方向にＭ_２個、波長方向にＬ個の要素を有するスペクトルデータを受け取り、受け取ったスペクトルデータから下記の式（１）によって、スペクトルデータの空間方向に定義される領域（ａ，ｂ）毎のマトリクスを、全領域に関して生成し、生成した領域毎のマトリクスのデータと、スペクトルデータの空間方向に定義される領域（ａ，ｂ）に関するデータとの組をマトリクス乗算部１ｇに出力する。

ただし、スペクトルデータの空間方向に定義される領域の数は、スペクトルデータの要素の数と同一とする。つまり、ａは、０＜ａ≦Ｍ_１を満たす自然数である。また、ｂは、０＜ｂ≦Ｍ_２を満たす自然数である。更に、Ｍ_１は、スペクトルデータ生成部１ｃによって生成されたスペクトルデータの空間方向の縦方向における要素の数を意味する。また、Ｍ_２は、スペクトルデータ生成部１ｃによって生成されたスペクトルデータの空間方向の横方向における要素の数を意味する。

ここで、「Ａ_ａ，ｂ」は、第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成されたスペクトルデータの空間方向に定義される領域（ａ，ｂ）毎に定められたマトリクスを意味する。

また、「Ｓ」は、前述したＭ個のスペクトルデータを列ベクトルとして配列したＬ行Ｍ列の行列を意味する。

更に「Ｈ」は、オリジナルの分光情報ｆ（ｉ，ｊ）と、それに対応する画像データｇ（ｉ，ｊ）と、画像データに含まれるノイズを示す３次元列ベクトルｎとの間の下記式（２）で示す入出力関係を規定する３行Ｌ列の行列を意味する。

また、Ｗ_ａ，ｂは、下記式（３）で示されるＭ行Ｍ列の対角行列である。

ここで、d(ａ,ｂ,ｐ,ｑ)は、第１の画像センサ１ａから出力された撮像信号内の画像データから生成されたスペクトルデータの空間方向に定義される位置（ｐ，ｑ）と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の中心位置との間のユークリッド距離を意味する。

ただし、ａは、０＜ａ≦Ｍ_１を満たす自然数である。また、ｂは、０＜ｂ≦Ｍ_２を満たす自然数である。更に、Ｍ_１は、スペクトルデータ生成部１ｃによって生成されたスペクトルデータの空間方向の縦方向における要素の数を意味する。また、Ｍ_２は、スペクトルデータ生成部１ｃによって生成されたスペクトルデータの空間方向の横方向における要素の数を意味する。

更に、「ｗ_{ａ，ｂ，ｐ，ｑ}」は、第１の画像センサ１ａから出力された撮像信号内の画像データから生成されたスペクトルデータの空間方向に定義される位置毎に個別に定められる重み付け係数であり、前述したｄ(ａ,ｂ,ｐ,ｑ)との間に下記式（４）で示される関係を有している。

ここで、「ρ」は、重み付け係数の減少の程度を決定しているパラメータであり、例えば領域の大きさをＤ_１＝Ｄ_２＝Ｄとしたとき、この領域の大きさをＤ_１＝Ｄ_２＝Ｄに応じて、ρの値をρ^４．５Ｄ＝０．０１として、換言すれば４．５Ｄ要素（つまり、４．５領域分）離れた点で、重み係数が０．０１となるように設定することが本実施の形態では、より好ましい。

なお、このように、重み付け係数を設定すると、０．０１以下の重みが乗算されたスペクトルデータは、マトリクスの生成にほとんど寄与しないと考えることが出来るので、第１の画像センサ１ａから出力された撮像信号内の画像データから生成されたスペクトルデータの空間方向に定義される領域（ａ，ｂ）に対応付けられるマトリクスＡ_ａ，ｂは、この領域（ａ，ｂ）を中心とする範囲の９Ｄ×９Ｄ、換言すれば９×９＝８１個のスペクトルデータを用いてマトリクスの生成を行っていることになる。

ここで、重み付け係数は、例えば図３に示すように、第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成されたスペクトルデータの空間方向に定義される位置（ｐ，ｑ）と、第１の画像センサ１ａから出力された撮像信号内の画像データから生成されたスペクトルデータの空間方向に定義される領域（ａ，ｂ）の中心位置との間のユークリッド距離ｄ(ａ,ｂ,ｐ,ｑ)が０であるとき、換言すれば第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成されたスペクトルデータの空間方向に定義される位置（ｐ，ｑ）が第１の画像センサ１ａから出力された撮像信号内の画像データから生成されたスペクトルデータの空間方向に定義される領域（ａ，ｂ）の中心に存在する場合には、「１」になり、第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成されたスペクトルデータの空間方向に定義される位置（ｐ，ｑ）と、第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成されたスペクトルデータの空間方向に定義される領域（ａ，ｂ）の中心との間のユークリッド距離d(ａ,ｂ,ｐ,ｑ)が大きくなればなるほど値が小さくなるように設定されている。

なお、本実施の形態に係る分光画像生成装置１に関しては、パラメータρの設定手法、及び重み付けの計算手法は、本実施の形態に係る分光画像生成装置１で実行している手法に限定されないことは言うまでもない。

「Ｓ^Ｔ」は、前述したＭ個のスペクトルデータを列ベクトルとして配列したＬ行Ｍ列の行列「Ｓ」の転置行列を意味する。

「Ｈ^Ｔ」は、前述したオリジナルの分光情報ｆ（ｉ，ｊ）と、それに対応する画像データｇ（ｉ，ｊ）と、画像データに含まれるノイズを示す３次元列ベクトルｎとの間の前述した式（２）で示す入出力関係を規定する３行Ｌ列の行列Ｈの転置行列を意味する。

また、「Ｃ」は、第１の画像センサ１ａから出力された撮像信号に含まれる画像データに含まれるノイズの共分散行列を意味する。

領域分割部１ｅは、第２の画像センサ１ｂから出力された撮像信号を受け取り、当該撮像信号に含まれる画像データを複数の領域に分割して、分割した各画像データをマトリクス乗算部１ｇに出力する。

具体的には、本実施の形態に係る領域分割部１ｅは、第２の画像センサ１ｂから受け取った撮像信号内の画像データを（Ｍ_１×Ｍ_２）個の複数の領域（α，β）に分割して、分割した各画像データと、画像データ上で定義された領域（α，β）に関するデータとの組をマトリクス乗算部１ｇに出力する。ここで、αは０＜α≦M_１を満たす自然数である。また、βは０＜ｊ≦M_２を満たす自然数である。

領域データ記憶メモリ１ｆは、操作者の操作によって入力されたスペクトルデータの空間方向に定義される領域（ａ，ｂ）に関するデータと、第２の画像センサ１ｂから出力された撮像信号に含まれる画像データ内で定義される領域（α，β）に関するデータとが各々対応して記憶された領域データ記憶テーブルを有している。

マトリクス乗算部１ｇは、スペクトルデータの空間方向に定義される領域（ａ，ｂ）毎のマトリクスと、スペクトルデータの空間方向に定義される領域（ａ，ｂ）に関するデータとの組をマトリクス生成部１ｄから受け取ると、スペクトルデータの空間方向に定義される領域（ａ，ｂ）に関するデータに対応付けられた画像データ上で定義された領域（α，β）に関するデータを領域データ記憶メモリ１ｆから読み出し、下記式（５）〜式（１３）に示すように、当該画像データの領域（α，β）に対応するペクトルデータの空間方向に定義される領域（ａ，ｂ）に対して生成されたマトリクスＡ_ａ，ｂと、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ−１，ｂ＋１）に対して生成されたマトリクスＡ_{ａ−１，ｂ＋１}と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ，ｂ＋１）に対して生成されたマトリクスＡ_{ａ，ｂ＋１}と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ＋１，ｂ＋１）に対して生成されたマトリクスＡ_{ａ＋１，ｂ＋１}と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ−１，ｂ）に対して生成されたマトリクスＡ_{ａ−１，ｂ}と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ＋１，ｂ）に対して生成されたマトリクスＡ_{ａ＋１，ｂ}と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ−１，ｂ−１）に対して生成されたマトリクスＡ_{ａ−１，ｂ−１}と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ，ｂ−１）に対して生成されたマトリクスＡ_{ａ，ｂ−１}と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ＋１，ｂ−１）の領域に対して生成されたマトリクスＡ_{ａ＋１，ｂ−１}とを読み出した画像データ上で定義された領域（α，β）に関するデータに対応する画像データの領域（α，β）のデータに各々乗算して、複数の分光情報のデータを得た後、得られた分光情報のデータと、画像データの領域（α，β）に関するデータとの組を加重平均算出部１ｈに出力する。

例えば、本実施の形態に係る分光画像生成装置１のマトリクス乗算部１ｇは、図４に示すように、スペクトルデータの空間方向に定義される領域（３，３）と画像データの領域（３，３）とが対応している場合には、マトリクス生成部１ｄから受け取ったスペクトルデータの空間方向に定義される領域（３，３）に対して生成されたマトリクスＡ_３，３と、この領域（３，３）の領域の周縁に存在する領域（２，２）に対して生成されたマトリクスＡ_２，２と、領域（３，３）の領域の周縁に存在する領域（２，３）に対して生成されたマトリクスＡ_２，３と、領域（３，３）の領域の周縁に存在する領域（２，４）に対して生成されたマトリクスＡ_２，４と、領域（３，３）の領域の周縁に存在する領域（３，２）に対して生成されたマトリクスＡ_３，２と、領域（３，３）の領域の周縁に存在する領域（３，４）に対して生成されたマトリクスＡ_３，４と、領域（３，３）の領域の周縁に存在する領域（４，２）に対して生成されたマトリクスＡ_４，２と、領域（３，３）の領域の周縁に存在する領域（４，３）に対して生成されたマトリクスＡ_４，３と、領域（３，３）の領域の周縁に存在する領域（４，４）に対して生成されたマトリクスＡ_４，４とを画像データ上で定義された領域（３，３）のデータにそれぞれ乗算して、得られた９個の分光情報のデータと、画像データ（３，３）に関するデータとの組を加重平均算出部１ｈに出力する。

ここで、ｇ（ｉ，ｊ）は、画像データ上で定義された領域（α，β）に含まれる画素の中で（ｉ，ｊ）で指定される画素を、Ａ_ａｂは、スペクトルデータの空間方向に定義される領域（ａ，ｂ）に対して生成されたＬ行３列の行列を、ｆ^＾ _ａ，ｂ（ｉ，ｊ）は、スペクトルデータの空間方向に定義される領域（ａ，ｂ）に対して生成されたＬ行３列の行列Ａ_ａｂを画像データ上で定義された領域（α，β）に含まれる画素の中で（ｉ，ｊ）で指定される画素に対して作用させて得られ、かつ、Ｌ次元の列ベクトルで示される分光情報をそれぞれ意味する。ここで、ｉは０＜α≦N_１を満たす自然数である。また、ｊは０＜ｊ≦N_２を満たす自然数である。

本実施の形態に係るマトリクス乗算部１ｇは、第２の画像センサ１ｂによって得られた画像データ上で定義される複数の領域のデータに相異なるマトリクスを作用させることによって得られる複数の分光画像の間で生じる境界を除去する観点から、画像データ上で定義された領域（α，β）に関するデータに対応付けられたスペクトルデータの空間方向に定義される領域（ａ，ｂ）に対して生成されたマトリクスＡ_ａ，ｂのみではなく、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する８つの領域（ａ−１，ｂ＋１）、（ａ，ｂ＋１）、（ａ＋１，ｂ＋１）、（ａ−１，ｂ）、（ａ＋１，ｂ）、（ａ−１，ｂ−１）、（ａ，ｂ−１）、及び（ａ＋１，ｂ−１）を含めた９つの領域に対して生成されたマトリクスＡ_{ａ−１，ｂ＋１}、Ａ_{ａ，ｂ＋１}，Ａ_{ａ＋１，ｂ＋１}、Ａ_{ａ−１，ｂ}、Ａ_ａ，ｂ、Ａ_{ａ＋１，ｂ}、Ａ_{ａ―１，ｂ−１}、Ａ_{ａ，ｂ−１}、Ａ_{ａ＋１，ｂ−１}を画像データ上で定義された領域（α，β）に存在する画像データｇ（ｉ，ｊ）に対して、各々乗算して得られた分光情報ｆ＾_{ａ−１，ｂ＋１}（ｉ，ｊ）、ｆ＾_{ａ，ｂ＋１}（ｉ，ｊ），ｆ＾_{ａ＋１，ｂ＋１}（ｉ，ｊ）、ｆ＾_{ａ−１，ｂ}（ｉ，ｊ）、ｆ＾_ａ，ｂ（ｉ，ｊ）、ｆ＾_{ａ＋１，ｂ}（ｉ，ｊ）、ｆ＾_{ａ―１，ｂ−１}（ｉ，ｊ）、ｆ＾_{ａ，ｂ−１}（ｉ，ｊ）、ｆ＾_{ａ＋１，ｂ−１}（ｉ，ｊ）と画像データの領域（α，β）に関するデータとの組を加重平均算出部１ｈに出力している。

加重平均算出部１ｈは、マトリクス乗算部１ｇから出力された分光情報ｆ＾_{ａ−１，ｂ＋１}（ｉ，ｊ）、ｆ＾_{ａ，ｂ＋１}（ｉ，ｊ），ｆ＾_{ａ＋１，ｂ＋１}（ｉ，ｊ）、ｆ＾_{ａ−１，ｂ}（ｉ，ｊ）、ｆ＾_ａ，ｂ（ｉ，ｊ）、ｆ＾_{ａ＋１，ｂ}（ｉ，ｊ）、ｆ＾_{ａ―１，ｂ−１}（ｉ，ｊ）、ｆ＾_{ａ，ｂ−１}（ｉ，ｊ）、ｆ＾_{ａ＋１，ｂ−１}（ｉ，ｊ）と画像データの領域（α，β）に関するデータとの組を受け取り、下記式（１４）に示すように、これら９個のデータの加重平均を算出し、算出した画像データの領域（α，β）に含まれる要素（ｉ，ｊ）毎の分光情報の加重平均のデータと画像データの領域（α，β）に関するデータとの組を領域合成部１ｉに出力する。

例えば、本実施の形態に係る分光画像生成装置１の加重平均算出部１ｈは、図４に示すように、スペクトルデータの空間方向に定義される領域（３，３）と画像データの領域（３，３）とが対応している場合には、マトリクス乗算部１ｇから受け取ったスペクトルデータの空間方向に定義される領域（３，３）に対して生成されたマトリクスＡ_３，３を画像データ上で定義された領域（３，３）のデータに乗じて得られた分光情報、領域（３，３）の領域の周縁に存在する領域（２，２）に対して生成されたマトリクスＡ_２，２を画像データ上で定義された領域（３，３）のデータに乗じて得られた分光情報、領域（３，３）の領域の周縁に存在する領域（２，３）に対して生成されたマトリクスＡ_２，３を画像データ上で定義された領域（３，３）のデータに乗じて得られた分光情報、領域（３，３）の領域の周縁に存在する領域（２，４）に対して生成されたマトリクスＡ_２，４を画像データ上で定義された領域（３，３）のデータに乗じて得られた分光情報、領域（３，３）の領域の周縁に存在する領域（３，２）に対して生成されたマトリクスＡ_３，２を画像データ上で定義された領域（３，３）のデータに乗じて得られた分光情報、領域（３，３）の領域の周縁に存在する領域（３，４）に対して生成されたマトリクスＡ_３，４を画像データ上で定義された領域（３，３）のデータに乗じて得られた分光情報、領域（３，３）の領域の周縁に存在する領域（４，２）に対して生成されたマトリクスＡ_４，２を画像データ上で定義された領域（３，３）のデータに乗じてえられた分光情報、領域（３，３）の領域の周縁に存在する領域（４，３）に対して生成されたマトリクスＡ_４，３を画像データ上で定義された領域（３，３）のデータに乗じて得られた分光情報、領域（３，３）の領域の周縁に存在する領域（４，４）に対して生成されたマトリクスＡ_４，４を画像データ上で定義された領域（３，３）のデータに乗じて得られた分光情報、それぞれの分光情報のデータに対する重み付けを行って、これら９つの分光情報の加重平均を算出した後、分光情報の加重平均のデータと画像データの領域（３，３）に関するデータとの組を領域合成部１ｉに出力する。

ここで、ｕ_ａ，ｂ（ｉ，ｊ）は、分光情報ｆ＾_ａ，ｂ（ｉ，ｊ）に対する重み付け関数を意味し、例えば下記式（１５）で示す2次元のｓｅｐａｒａｂｌｅ Ｈａｍｍｉｎｇ ｗｉｎｄｏｗを用いることも出来る。

ここでν１（ｉ）は、下記式（１６）で示される関数である。

また、ν２（ｊ）は、下記式（１７）で示される関数である。

ここで、Ｄ１は、領域の縦の要素数を意味し、Ｄ１＝Ｎ１／Ｍ１で定義される値である。ここで、「／」は、除算を意味する。

また、Ｄ２は、領域の横の要素数を意味し、Ｄ２＝Ｎ２／Ｍ２で定義される値である。ここで、「／」は、除算を意味する。

例えば図５に示すようなｓｅｐａｒａｂｌｅ Ｈａｍｍｉｎｇ Ｗｉｎｄｏｗ ν１（ｉ）（Ｄｘ＝８の場合）では、１つのｗｉｎｄｏｗ関数は、その中心から±8目盛りで0となっているので、自分自身の領域（8メモリ分）を超えて±4目盛りまで重み付け関数ｕ_ａ，ｂ（ｉ，ｊ）は値を有することになる。よって、当該領域で定義された重み付け関数ｕ_ａ，ｂ（ｉ，ｊ）は隣の領域の半分まで影響を及ぼすことになる。その結果、例えば図６及び図７で示す領域（ａ，ｂ）の左上の斜線の領域のデータに関して加重平均を算出する場合には、図６及び図７で示す領域（ａ，ｂ）の左上の斜線の領域のデータに関して加重平均を算出することは、図６及び図７に示すように、（ａ，ｂ）、（ａ−１，ｂ−１）、（ａ，ｂ−１）、（ａ−１，ｂ）の４つの領域に対応した結果のみを足し合わせることと同一になる。同様に、何れの要素に関して加重平均を算出する場合であっても、何れの要素に関して加重平均を算出することは、実質は4つの結果を足し合わせることと同一になる。

領域合成部１ｉは、加重平均算出部１ｈから出力された算出済みの画像データの領域（α，β）毎の分光情報の加重平均のデータと、画像データの領域（α，β）に関するデータとの組を受け取り、受け取った画像データの領域（α，β）毎の分光情報の加重平均のデータを、画像データ上で定義されたようにソートすることによって、画像データの領域（ｉ，ｊ）毎の分光情報の加重平均のデータの組み合わせからなる分光画像のデータを生成し、生成した分光画像のデータを表示部１ｊの表示画面に表示させる。

表示部１ｊは、領域合成部１ｉで生成された分光画像が表示される図示しない表示画面を有している。

次に、以上のように構成された分光画像生成装置１の実行する実行処理に関し、図面を参照して説明する。

図８は、本実施の形態に係る分光画像生成装置１の実行する実行処理に関して説明するためのフローチャートである。

なお、本実施の形態に係る分光画像生成装置では、第１の画像センサ１ａから入力された画像データから、縦方向にＭ_１個、横方向にＭ_２個、波長方向にＬ個の要素を有するスペクトルデータが生成され、かつ、第２の画像センサ１ｂからＮ_１要素×Ｎ_２要素の大きさを有する画像データ３枚が入力された場合に関して説明する。

始めに、スペクトル生成部は、第１の画像センサ１ａから受け取った撮像信号に含まれる画像データ内の画素毎にスペクトルデータへの変換を行い、縦方向にＭ_１個、横方向にＭ_２個、波長方向にＬ個の要素を有するスペクトルデータを生成する（工程Ａ１）。

次に、マトリクス生成部１ｄは、スペクトルデータ生成部１ｃから出力された縦方向にＭ_１個、横方向にＭ_２個、波長方向にＬ個の要素を有するスペクトルデータを受け取り、受け取ったスペクトルデータから下記の式（１８）によって、スペクトルデータの空間方向に定義される領域（ａ，ｂ）毎のマトリクスを、スペクトルデータの空間方向に定義される全ての領域に関して生成する（工程Ａ２）。

ただし、スペクトルデータの空間方向に定義される領域の数を、スペクトルデータの要素の数と同一としているため、ａは、０＜ａ≦Ｍ_１を満たす自然数である。また、ｂは、０＜ｂ≦Ｍ_２を満たす自然数である。更に、Ｍ_１は、スペクトルデータ生成部１ｃによって生成されたスペクトルデータの空間方向の縦方向における要素の数を意味する。また、Ｍ_２は、スペクトルデータ生成部１ｃによって生成されたスペクトルデータの空間方向の横方向における要素の数を意味する。

ここで、「Ａ_ａ，ｂ」は、第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成されたスペクトルデータの空間方向に定義される領域（ａ，ｂ）毎に定められたマトリクスを意味する。

また、「Ｍ」は、第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成されたスペクトルデータの空間方向における要素の数、換言すればＭ_１×Ｍ_２で定まるスペクトルデータの数を意味する。

更に、「Ｓ」は、前述したＭ個のスペクトルデータを列ベクトルとして配列したＬ行Ｍ列の行列を意味する。

更に「Ｈ」は、オリジナルの分光情報ｆ（ｉ，ｊ）と、それに対応する画像データｇ（ｉ，ｊ）と、画像データに含まれるノイズを示す３次元列ベクトルｎとの間の下記式（１９）で示す入出力関係を規定する３行Ｌ列の行列を意味する。

また、Ｗ_ａ，ｂは、下記式（２０）で示されるＭ行Ｍ列の対角行列である。

ここで、ｄ(ａ,ｂ,ｐ,ｑ)は、第１の画像センサ１ａから出力された撮像信号内の画像データから生成されたスペクトルデータの空間方向に定義される位置（ｐ，ｑ）と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の中心位置との間のユークリッド距離を意味する。

ただし、ａは、０＜ａ≦Ｍ_１を満たす自然数である。また、ｂは、０＜ｂ≦Ｍ_２を満たす自然数である。更に、Ｍ_１は、スペクトルデータ生成部１ｃによって生成されたスペクトルデータの空間方向の縦方向における要素の数を意味する。また、Ｍ_２は、スペクトルデータ生成部１ｃによって生成されたスペクトルデータの空間方向の横方向における要素の数を意味する。

更に、「ｗ_{ａ，ｂ，ｐ，ｑ}」は、第１の画像センサ１ａから出力された撮像信号内の画像データから生成されたスペクトルデータの空間方向に定義される位置毎に個別に定められる重み付け係数であり、前述したｄ(ａ,ｂ,ｐ,ｑ)との間に下記式（２１）で示される関係を有している。

工程Ａ３では、領域分割部１ｅは、領域分割部１ｅは、第２の画像センサ１ｂから受け取った撮像信号内の画像データを（Ｍ_１×Ｍ_２）個の複数の領域（α，β）に分割する。
ここで、αは０＜α≦Ｍ_１を満たす自然数である。また、βは０＜β≦Ｍ_２を満たす自然数である。

工程Ａ４では、マトリクス乗算部１ｇは、スペクトルデータの空間方向に定義される領域（ａ，ｂ）毎のマトリクスと、スペクトルデータの空間方向に定義される領域（ａ，ｂ）に関するデータとの組をマトリクス生成部１ｄから受け取ると、スペクトルデータの空間方向に定義される領域（ａ，ｂ）に関するデータに対応付けられた画像データ上で定義された領域（α，β）に関するデータを領域データ記憶メモリ１ｆから読み出し、下記式（２２）〜式（３０）に示すように、当該画像データの領域（α，β）に対応するペクトルデータの空間方向に定義される領域（ａ，ｂ）に対して生成されたマトリクスＡ_ａ，ｂと、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ−１，ｂ＋１）に対して生成されたマトリクスＡ_{ａ−１，ｂ＋１}と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ，ｂ＋１）に対して生成されたマトリクスＡ_{ａ，ｂ＋１}と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ＋１，ｂ＋１）に対して生成されたマトリクスＡ_{ａ＋１，ｂ＋１}と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ−１，ｂ）に対して生成されたマトリクスＡ_{ａ−１，ｂ}と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ＋１，ｂ）に対して生成されたマトリクスＡ_{ａ＋１，ｂ}と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ−１，ｂ−１）に対して生成されたマトリクスＡ_{ａ−１，ｂ−１}と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ，ｂ−１）に対して生成されたマトリクスＡ_{ａ，ｂ−１}と、スペクトルデータの空間方向に定義される領域（ａ，ｂ）の周縁に存在する領域（ａ＋１，ｂ−１）の領域に対して生成されたマトリクスＡ_{ａ＋１，ｂ−１}とを読み出した画像データ上で定義された領域（α，β）に関するデータに対応する画像データの領域（α，β）のデータに各々乗算して、複数の分光情報のデータを得る。

工程Ａ５では、加重平均算出部１ｈは、マトリクス乗算部１ｇから出力された分光情報ｆ＾_{ａ−１，ｂ＋１}（ｉ，ｊ）、ｆ＾_{ａ，ｂ＋１}（ｉ，ｊ），ｆ＾_{ａ＋１，ｂ＋１}（ｉ，ｊ）、ｆ＾_{ａ−１，ｂ}（ｉ，ｊ）、ｆ＾_ａ，ｂ（ｉ，ｊ）、ｆ＾_{ａ＋１，ｂ}（ｉ，ｊ）、ｆ＾_{ａ―１，ｂ−１}（ｉ，ｊ）、ｆ＾_{ａ，ｂ−１}（ｉ，ｊ）、ｆ＾_{ａ＋１，ｂ−１}（ｉ，ｊ）と画像データの領域（ｉ，ｊ）に関するデータとの組を受け取り、下記式（３１）に示すように、これら９個のデータの加重平均を算出する。

ここで、ｕ_ａ，ｂ（ｉ，ｊ）は、分光情報ｆ＾_ａ，ｂ（ｉ，ｊ）に対する重み付け関数を意味し、例えば下記式（３２）で示す2次元のｓｅｐａｒａｂｌｅ Ｈａｍｍｉｎｇ ｗｉｎｄｏｗを用いることも出来る。

ここでν１（ｉ）は、下記式（３３）で示される関数である。

また、ν２（ｊ）は、下記式（３４）で示される関数である。

ここで、Ｄ１は、領域の縦の要素数を意味し、Ｄ_１＝Ｎ_１／Ｍ_１で定義される値である。ここで、「／」は、除算を意味する。

また、Ｄ２は、領域の横の要素数を意味し、Ｄ_２＝Ｎ_２／Ｍ_２で定義される値である。ここで、「／」は、除算を意味する。

工程Ａ６では、領域合成部１ｉは、加重平均算出部１ｈから出力された算出済みの画像データの領域（α，β）毎の分光情報の加重平均のデータと、画像データの領域（α，β）に関するデータとの組を受け取り、受け取った画像データの領域（α，β）毎の分光情報の加重平均のデータを、画像データ上で定義されたようにソートすることによって、画像データの領域（α，β）毎の分光情報の加重平均のデータの組み合わせからなる分光画像のデータを生成する。

これにより、本実施の形態に係る分光画像生成装置１によれば、画素数、換言すれば空間解像度は、第２の画像センサ１ｂから出力された撮像信号に含まれる画像データと同一の空間解像度で、かつ、波長方向の要素数、換言すれば波長解像度は、第１の画像センサ１ａから出力された撮像信号に含まれる画像データと同一の波長解像度であるような分光画像、すなわち波長解像度及び空間解像度の両方が高い分光画像が生成される。

工程Ａ７では、領域合成部１ｉは、生成した分光画像のデータを表示部１ｊの表示画面に表示させる。

以上のような一連の処理により、本実施の形態に係る分光画像生成装置１は、全ての実行処理を終了する。

（計算量及び計算精度に関する検証）
本発明者らは、本実施の形態に係る分光画像装置１と、従来から知られている３つの手法を用いた分光画像生成装置とに関してモデルを設定し、当該モデルを用いた本実施の形態に係る分光画像生成装置と、従来から知られている３つの手法を用いた分光画像生成装置とに関するシミュレーションを行い、本実施の形態に係る分光画像生成装置と従来から知られている３つの手法を用いた分光画像生成装置との精度と計算量とに対して検証を行った。

まず、本実施の形態に係る分光画像生成装置１に対する比較例となる各分光画像生成装置に関して簡単に説明する。

（比較例１）
本実施の形態の分光画像生成装置に対する第１の比較例の分光画像生成装置は、図９に示すように第１の空間解像度と第１の波長解像度とを有する第１の画像センサ１ａと、波長方向のチャネル数が少なくとも３以下で、かつ、第１の画像センサ１ａの有する空間解像度よりも高い第２の空間解像度と、第１の画像センサ１ａの有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の画像センサ１ｂと、第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成されたスペクトルデータに基づいて、特定のサンプルデータに対して、誤差を最小とするように下記式（３５）に示すような周知のＷｉｅｎｅｒ推定マトリクスを生成するマトリクス生成部１ｄ’’と、第１の画像センサ１ａの有する空間解像度よりも高い第２の空間解像度と第１の画像センサ１ａの有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の画像センサ１ｂから出力された撮像信号に含まれる画像データに含まれる各画素に対して、前述した同一の周知のＷｉｅｎｅｒ推定マトリクスを乗算することによって、第２の撮像素子から出力された撮像信号に含まれる画像データから分光画像を生成するマトリクス乗算部１ｇ’’と、マトリクス乗算部１ｇ’’により生成された分光画像を表示する表示部１ｊ’’とを備えた分光画像生成装置である。なお、比較例１の分光画像生成装置は、前述した特許文献１により詳細に記載されている。

ここで、「Ａ_ｗ」は、特定のサンプルデータに対して、誤差を最小とするようなＷｉｅｎｅｒ推定マトリクスを意味する。

また、「Ｍ」は、第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成されたスペクトルデータの空間方向における要素の数、換言すればＭ_１×Ｍ_２で定まるスペクトルデータの数を意味する。

更に、「Ｓ」は、前述したＭ個のスペクトルデータを列ベクトルとして配列したＬ行Ｍ列の行列を意味する。

更に「Ｈ」は、オリジナルの分光情報ｆ（ｉ，ｊ）と、それに対応する第２の画像センサ１ｂから出力された撮像信号に含まれる画像データｇ（ｉ，ｊ）と、画像データに含まれるノイズを示す３次元列ベクトルｎとの間の下記式（３６）で示す入出力関係を規定する３行Ｌ列の行列を意味する。

「Ｓ^Ｔ」は、前述したＭ個のスペクトルデータを列ベクトルとして配列したＬ行Ｍ列の行列「Ｓ」の転置行列を意味する。

「Ｈ^Ｔ」は、前述したオリジナルの分光情報ｆ（ｉ，ｊ）と、それに対応する第２の画像センサ１ｂから出力された撮像信号に含まれる画像データｇ（ｉ，ｊ）と、画像データに含まれるノイズを示す３次元列ベクトルｎとの間の前述した式（３６）で示す入出力関係を規定する３行Ｌ列の行列Ｈの転置行列を意味する。

また、「Ｃ」は、第２の画像センサ１ｂから出力された撮像信号に含まれる画像データに含まれるノイズの共分散行列を意味する。

（比較例２）
本実施の形態の分光画像生成装置に対する第２の比較例の分光画像生成装置は、図１０に示すように第１の空間解像度と第１の波長解像度とを有する第１の画像センサ１ａと、波長方向のチャネル数が少なくとも３以下で、かつ、第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の画像センサ１ｂと、第１の画像センサ１ａから出力された撮像信号に含まれる画像データを複数のクラスにクラス分類するクラス分類部１ｎと、クラス分類部１ｎによってクラス分類されたクラス毎にＷｉｅｎｅｒ推定マトリクスＡ_ｋを生成するマトリクス生成部１ｄ’’’と、クラス毎に生成されたＷｉｅｎｅｒ推定マトリクスＡ_ｋを第２の画像センサ１ｂから出力された撮像信号に含まれる画像データに対して下記式（３７）に示すように乗算するマトリクス乗算部１ｇ’’’と、第２の画像センサ１ｂから出力された撮像信号に含まれる画像データと、クラス分類部１ｎによりクラス分類されたクラス分類結果とから分光情報の確率密度を示す式（３８）に示すような混合ガウス分布ｐ（ｆ）に基づいて、下記式（３９）〜式（４２）に示すように、重み付け係数ｍ_ｋを算出する重み係数生成部１ｏと、マトリクス乗算部１ｇ’’’により得られた分光情報と、重み係数生成部１ｏから出力された重み付け係数ｍ_ｋとを用いて、下記式（４３）に示すように各クラスの分光情報を加重平均して、分光画像を生成する加重平均算出部１ｈ’’’と、加重平均算出部１ｈ’’’により算出された分光画像を表示する表示部１ｊ’’’とを備えた分光画像生成装置である。なお、比較例２の分光画像生成装置は、前述した非特許文献１により詳細に記載されている。

（比較例３）
本実施の形態の分光画像生成装置に対する第３の比較例の分光画像生成装置は、図１１に示すように第１の空間解像度と第１の波長解像度とを有する第１の画像センサ１ａと、波長方向のチャネル数が少なくとも３以下で、かつ、第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の画像センサ１ｂと、第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成されたスペクトルデータに基づいて、特定のサンプルデータに対して、誤差を最小とするように下記式（４４）に示すような周知のＷｉｅｎｅｒ推定マトリクスを生成するマトリクス生成部１ｄ’’’’と、第１の画像センサ１ａの有する空間解像度よりも高い第２の空間解像度と第１の画像センサ１ａの有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の画像センサ１ｂから出力された撮像信号に含まれる画像データに含まれる各画素に対して、前述した同一の周知のＷｉｅｎｅｒ推定マトリクスを乗算することによって、第２の画像センサ１ｂから出力された撮像信号に含まれる画像データから分光画像を生成するマトリクス乗算部１ｇ’’’’と、第２の画像センサ１ｂから出力された撮像信号に含まれる画像データから下記式（４６）〜下記式（４８）に基づいて、補間マトリクスＭ_Ｐを生成する補間マトリクス生成部１ｑと、第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成されたスペクトルデータと、補間マトリクス生成部１ｑにより生成された補間マトリクスとに基づいて下記式（４９）のようにスペクトルデータの補間処理を実行するデータ補間部１ｐと、マトリクス乗算部１ｇ’’’’により得られた分光画像のデータと、データ補間部１ｐにより補間処理が施された分光画像のデータとを下記式（５０）のように合成して分光画像を生成する合成部１ｒと、合成部１ｒにより生成された分光画像を表示する表示部１ｊ’’’’とを備えた分光画像生成装置である。なお、比較例３の分光画像生成装置は、前述した非特許文献２により詳細に記載されている。

ここで、「Ａ_ｗ」は、特定のサンプルデータに対して、誤差を最小とするようなＷｉｅｎｅｒ推定マトリクスを意味する。

また、「Ｍ」は、第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成されたスペクトルデータの空間方向における要素の数、換言すればＭ_１×Ｍ_２で定まるスペクトルデータの数を意味する。

更に、「Ｓ」は、前述したＭ個のスペクトルデータを列ベクトルとして配列したＬ行Ｍ列の行列を意味する。

更に「Ｈ」は、オリジナルの分光情報ｆ（ｉ，ｊ）と、それに対応する第２の画像センサ１ｂから出力された撮像信号に含まれる画像データｇ（ｉ，ｊ）と、画像データに含まれるノイズを示す３次元列ベクトルｎとの間の下記式（４５）で示す入出力関係を規定する３行Ｌ列の行列を意味する。

「Ｓ^Ｔ」は、前述したＭ個のスペクトルデータを列ベクトルとして配列したＬ行Ｍ列の行列「Ｓ」の転置行列を意味する。

「Ｈ^Ｔ」は、前述したオリジナルの分光情報ｆ（ｉ，ｊ）と、それに対応する第２の画像センサ１ｂから出力された撮像信号に含まれる画像データｇ（ｉ，ｊ）と、画像データに含まれるノイズを示す３次元列ベクトルｎとの間の前述した式（４５）で示す入出力関係を規定する３行Ｌ列の行列Ｈの転置行列を意味する。

また、「Ｃ」は、第２の画像センサ１ｂから出力された撮像信号に含まれる画像データに含まれるノイズの共分散行列を意味する。

ただし、Ｈｐは、Ｎ本の分光情報ベクトルｆ（ｉ，ｊ）を行ベクトルとして並べたＮ行Ｌ列の行行列をＦとしたとき、この行列Ｆとスペクトルデータ行列Ｓとの間で下記式（４７）の関係を有するＭ行Ｎ列の行列である。

また、Σｐは、空間方向の相関行列を表すＮ行Ｎ列の正方行列であり、画像データｇ（ｉ，ｊ）⇒ｇ（α）に基づいて生成する。具体的には、Σｐの（α，β）要素は下記式（４８）で与えられる。

次に、本実施の形態に係る分光画像生成装置１と前述した各比較例とをシミュレーションによって検証した検証結果に関して説明する。

（前提条件）
本発明者らは、２種類の分光画像ＴｏｙとＳｃａｒｆ（空間方向５１２×５１２画素、波長方向６５要素）をオリジナルの分光画像とし、シミュレーションにより３バンドの画像データ（５１２×５１２画素、３バンド）とスペクトルデータ（空間方向Ｍ_１×Ｍ_２画素、波長方向６５要素）とを生成するように各装置のパラメータを設定した。

この際、画像データにのみ、ＰＳＮＲ(ｐｅａｋ ｓｉｇｎａｌ ｔｏ ｎｏｉｓｅ ｒａｔｉｏ)=５０ｄＢのランダムホワイトノイズを加算し、Ｍ_１＝Ｍ_２は８,１６,３２,６４,１２８,２５６,５１２の何れかとなるように設定した。この２種類の観測データに基づいて、本実施の形態に係る分光画像生成装置により出力した分光画像とオリジナルの分光画像とを比較して、各分光画像生成装置が生成した分光画像のデータの精度を評価した。

この精度評価の際に、撮影したときの照明光スペクトルで分光画像を割り算して得られる分光反射率画像に対して、分光反射率の誤差（ＮＲＭＳＥ：ｎｏｒｍａｌｉｚｅｄ ｒｏｏｔ ｍｅａｎ ｓｑｕａｒｅｄ ｅｒｒｏｒ）を計算して、各分光画像生成装置が生成した分光画像のデータの精度評価に用いた。

（本実施の形態に係る分光画像生成装置１のスペクトルデータの数及び分光画像を分割する領域の数と、出力された分光画像の精度とに関する検証）
まず、本実施の形態に係る分光画像生成装置１における第１の画像センサ１ａから出力された分光画像Ｔｏｙから生成されたスペクトルデータの数及び第２の画像センサ１ｂから出力された分光画像Ｔｏｙを分割する領域の数と、本実施の形態に係る分光画像生成装置１から出力された分光画像の精度との関係に関して検証する。

図１２は、本実施の形態に係る分光画像生成装置１の第１の画像センサ１ａから出力された分光画像Ｔｏｙから生成されたスペクトルデータの数及び第２の画像センサ１ｂから出力された分光画像Ｔｏｙを分割する領域の数と、出力された分光画像から求めた分光反射率画像の誤差を表す分光反射率の誤差（ＮＲＭＳＥ）との関係の一例を示す図である。

図１２からわかるように、本実施の形態に係る分光画像生成装置１では、領域の数を増やすと、分光反射率の誤差（ＮＲＭＳＥ）が減少しているが、スペクトルデータの要素数と同じ数の領域数以上（矢印で示す点）に領域数を増やしても、分光反射率の誤差（ＮＲＭＳＥ）が減少しないことがわかる。

以上の結果から、本実施の形態に係る分光画像生成装置１では、第１の画像センサ１ａから出力された分光画像Ｔｏｙから生成されたスペクトルデータの要素数と、第２の画像センサ１ｂから出力された分光画像Ｔｏｙを分割する場合における領域の数とは、同じ程度の数にすることで、効率的に精度を高めることが可能であることがわかる。

（出力した分光画像の精度に関する検証）
次に、本実施の形態に係る分光画像生成装置１と、前述した各比較例の分光画像生成装置とに関し、分光画像から生成されたスペクトルデータの数と、本実施の形態に係る分光画像生成装置１及び各比較例に係る分光画像生成装置から出力された分光画像の精度との関係に関して検証する。

図１３は、本実施の形態に係る分光画像生成装置１と、前述した各比較例の分光画像生成装置とに関し、第１の画像センサ１ａから出力された分光画像Ｔｏｙから生成されたスペクトルデータの数と、本実施の形態に係る分光画像生成装置１と、前述した各比較例の分光画像生成装置とによってそれぞれ出力された分光画像から求めた分光反射率画像の誤差を表す分光反射率の誤差（ＮＲＭＳＥ）との関係の一例を示す図である。

また、図１４は、本実施の形態に係る分光画像生成装置１と、前述した各比較例の分光画像生成装置とに関し、第１の画像センサ１ａから出力された分光画像Ｓｃａｒｆから生成されたスペクトルデータの数と、本実施の形態に係る分光画像生成装置１と前述した各比較例の分光画像生成装置とによってそれぞれ出力された分光画像から求めた分光反射率画像の誤差を表す分光反射率の誤差（ＮＲＭＳＥ）との関係の一例を示す図である。

図１３及び図１４では、横軸は第１の画像センサ１ａから出力された分光画像Ｔｏｙ、分光画像Ｓｃａｒｆから生成されたスペクトルデータの数、すなわち前述したＭ１×Ｍ２＝Ｍに該当し、このスペクトルデータの数が大きくなるほど、スペクトルデータの解像度が高いことを意味している。

また、図１３及び図１４では、縦軸は、出力した分光画像の誤差を示す分光反射率の誤差（ＮＲＭＳＥ）に該当し、この分光反射率の誤差（ＮＲＭＳＥ）の値が小さいほど、各分光画像生成装置から出力された分光画像の精度が高いことを意味している。

図１３及び図１４からわかるように、本実施の形態に係る分光画像生成装置１から出力された分光画像の精度は、前述した比較例１及び前述した比較例２の分光画像生成装置から出力された分光画像の精度よりも高く、前述した比較例３の分光画像生成装置から出力された分光画像の精度と同等である。

（計算量に関する検証）
次に、本実施の形態に係る分光画像生成装置１が分光画像Ｔｏｙ、分光画像Ｓｃａｒｆから分光画像を生成して出力するための計算量と、前述した各比較例の分光画像生成装置が分光画像Ｔｏｙ、分光画像Ｓｃａｒｆから分光画像を生成して出力するための計算量とに関して検証する。

本発明者らは、１フレームの画像データの処理に必要となる乗算の回数を概算することによって、本実施の形態に係る分光画像生成装置がオリジナルの分光画像から出力する分光画像を生成するのに必要となる計算量と、各比較例に係る分光画像生成装置がオリジナルの分光画像から出力する分光画像を生成するのに必要となる計算量とを比較した。

図１５は、本実施の形態に係る分光画像生成装置１がオリジナルの分光画像から出力する分光画像を生成するのに必要となる計算量と、各比較例に係る分光画像生成装置がオリジナルの分光画像から出力する分光画像を生成するのに必要となる計算量との関係の一例を示す図である。

また、図１６は、オリジナルの分光画像を分割する領域の数をＮ＝Ｎ_１×Ｎ_２＝５１２×５１２とした場合に、本実施の形態に係る分光画像生成装置がオリジナルの分光画像から出力する分光画像を生成するのに必要となる計算量、及び比較例２、３に係る分光画像生成装置がオリジナルの分光画像から出力する分光画像を生成するのに必要となる計算量を示す乗算回数と、第１の画像センサ１ａの画素数との関係の一例を示す図である。

図１５及び図１６からわかるように、比較例３の分光画像生成装置における計算量は、オリジナルの分光画像から生成されたスペクトルの数であるＭ＝Ｍ₁×Ｍ_２の２乗に比例して計算量が増加するので、スペクトルデータの解像度が高い場合には、比較例３の分光画像生成装置は、オリジナルの分光画像から出力する分光画像を生成するために必要な計算量が非常に膨大となって、実装が困難となる。

また、比較例３の分光画像生成装置における計算量は何れのスペクトルデータの解像度の場合でも、比較例１、比較例２、及び本実施の形態に係る分光画像生成装置における計算量と比較して多いので、比較例３の分光画像生成装置は、分光画像を生成する処理に時間を要する。

更に、比較例１の分光画像生成装置における計算量は、一番少ないが、前述した図１３及び図１４からもわかるとおり、比較例１の分光画像生成装置は、出力する分光画像の精度が劣る。

本実施の形態に係る分光画像生成装置１及び比較例２の分光画像生成装置の計算量は、Ｎ／Ｍ＞＞４０を満たす現実的な範囲で比較例１の分光画像生成装置における計算量の４〜６倍程度の計算量に抑えられた。

以上の検証結果からわかるように、本実施の形態に係る分光画像生成装置１は、画像センサの画素が多い場合であっても比較例３の分光画像生成装置のように実装困難になることなく、出力する分光画像の精度の高い比較例３と同等の精度を、当該比較例３の分光画像生成装置の計算量よりも小さく抑えた状態で実現することが出来る。

上述したように、本実施の形態に係る分光画像生成装置１によれば、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の画像センサ１ａから出力された撮像信号に含まれる画像データを構成する要素毎に、当該画像データ内の要素毎に含まれる光の波長毎の強度分布を示すスペクトルデータがスペクトルデータ生成部１ｃによって生成され、スペクトルデータ生成部１ｃにより生成された要素毎のスペクトルデータから、画像センサ１ａから出力された撮像信号に含まれる画像データを構成する領域毎のマトリクスがマトリクス生成部１ｄにより生成され、マトリクス生成部１ｄにより生成されたマトリクスのうち、第１の画像センサ１ａから出力された撮像信号に含まれる画像データ内の第１領域に対して生成されたマトリクスが第２の画像センサ１ｂから出力された撮像信号に含まれ、かつ、第１の画像センサ１ａから出力された撮像信号に含まれる画像データ内の第１領域に対応する第3領域の画像データに乗じられて第３領域の分光情報がマトリクス乗算部１ｇによって算出され、マトリクス生成部１ｄにより生成されたマトリクスのうち、第１の画像センサ１ａから出力された撮像信号に含まれる画像データ内の第１領域の周縁に存在する第２領域に対して生成されたマトリクスが第２の画像データから出力された撮像信号に含まれる第３領域の画像データに乗じられて第３領域の分光情報がマトリクス乗算部１ｇによって算出され、マトリクス乗算部１ｇにより算出された第３領域の分光情報と、第１の画像センサ１ａから出力された撮像信号に含まれる画像データ内の第１領域の周縁に存在する第２領域に対して生成されたマトリクスを第３領域に乗じることにより算出された第３領域の分光情報との加重平均が加重平均算出部１ｈによって領域毎に算出され、加重平均算出部１ｈにより算出された領域毎の分光情報の加重平均から第１の波長解像度と第２の空間解像度とを有する分光画像が領域合成部１ｉにより生成され、生成された分光画像が表示部１ｊに表示されるので、処理に要する計算量を抑制すると共に、波長解像度及び空間解像度の両方が高い分光画像を生成することが可能になる。

なお、本実施の形態に係る分光画像生成装置では、第１の画像センサ１ａ及びスペクトルデータ生成部１ｃを、シーン中の多点を計測できるスペクトルセンサに置換した構成としてもよい。

この場合には、スペクトルセンサは、スペクトルデータを計測した位置の位置情報を各点で計測したスペクトルデータに付加して、計測したスペクトルデータとスペクトルデータを計測した位置の位置情報との組をマトリクス生成部１ｄに出力する構成とする。

（第２の実施の形態）
次に、本発明の第２の実施の形態に係る分光画像生成装置１’に関して説明する。

図１７は、本発明の第２の実施の形態に係る分光画像生成装置１’の一例を示す模式図である。

本実施の形態に係る分光画像生成装置１’は、相異なる特性を有する複数の画像センサのうちの一方の画像センサから出力された撮像信号に含まれる動画の画像データから生成されたスペクトルデータから予め定められた時空間領域毎に相異なる複数のマトリクスのデータを生成し、生成した時空間領域毎のマトリクスを他方の画像センサから出力された撮像信号に含まれる画像データの対応する時空間領域のデータに作用させることによって、動画である分光画像を生成して、生成した分光画像を表示部１ｊ’の表示画面に表示する装置である。

具体的には、本実施の形態に係る分光画像生成装置１’は、図１８に示すように、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の画像センサ１ａ’から出力された第１のフレームレートを有する撮像信号に含まれる画像データから生成された空間方向にＭ_１×Ｍ_２個の要素を、波長方向にＬ個の要素をそれぞれ有するスペクトルデータと、波長方向のチャネル数が少なくとも３以下で、かつ、前述した第１の画像センサ１ａ’の有する空間解像度よりも高い第２の空間解像度と、前述した第１の画像センサ１ａ’の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の画像センサとしての３バンドのカラービデオカメラ（第２の画像センサ）１ｂ’から出力されたＮ_１×Ｎ_２個の画素とを有し、かつ、１フレームが３枚の画像データからなる前述した第１の画像センサ１ａ’から出力された撮像信号の有する第１のフレームレートよりも高い第２のフレームレートを有する動画のデータとから、空間方向にＮ_１×Ｎ_２個の画素と、波長方向にＬ個の要素とを有し、前述した第１の波長解像度と前述した第２のフレームレートと前述した第２の空間解像度とを有する分光画像、換言すれば波長解像度及び空間解像度の両方が高い動画の分光画像を生成し、生成した分光画像を表示画面に表示する装置である。

本実施の形態に係る分光画像生成装置１’は、図１７に示すように、第１の画像センサ１ａ’と、第１のデータバッファ１ｋと、３バンドのカラービデオカメラ（第２の画像センサ）１ｂ’と、第２のデータバッファ１ｌと、スペクトルデータ生成部１ｃ’と、マトリクス生成部１ｄ’と、領域分割部１ｅ’と、時空間領域データ記憶メモリ１ｆ’と、マトリクス乗算部１ｇ’と、加重平均算出部１ｈ’と、第３のデータバッファ１ｍと、領域合成部１ｉ’と、表示部１ｊ’とを備えている。

なお、本実施の形態に係る分光画像生成装置１’は、製造時に図示しない内蔵メモリにプログラムが書き込まれた、又は記録媒体もしくは通信ネットワークを介してプログラムがインストールされたコンピュータによって実現される。

また、本実施の形態に係る分光画像生成装置１’を構成する各部は、ソフトウェアもしくはハードウェア又はハードウェアとソフトウェアとの組み合わせの何れから構成されていてもよいことは言うまでもない。

第１の画像センサ１ａ’は、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する撮像素子であり、第１のフレームレートを有する撮像した撮像信号を第１のデータバッファ１ｋに出力する。

第１のデータバッファ１ｋは、第１の画像センサ１ａ’から入力された動画のデータを一時的に記憶するバッファであり、記憶した動画のデータをスペクトルデータ生成部１ｃ’に出力する。

３バンドのカラービデオカメラ（第２の画像センサ）１ｂ’は、波長方向のチャネル数が少なくとも３以下で、かつ、前述した第１の画像センサ１ａ’の有する空間解像度よりも高い第２の空間解像度と、前述した第１の画像センサ１ａ’の有する第１の波長解像度よりも低い第２の波長解像度とを有する撮像素子であり、前述した第１の画像センサ１ａ’から出力された撮像信号の有する第１のフレームレートよりも高い第２のフレームレートを有する撮像した撮像信号を第２のデータバッファ１ｌに出力する。

第２のデータバッファ１ｌは、３バンドのカラービデオカメラ１ｂ’から入力された動画のデータを一時的に記憶するバッファであり、記憶した動画のデータを領域分割部１ｅに出力する。

スペクトルデータ生成部１ｃ’は、第１のデータバッファ１ｋから出力された撮像信号を受け取り、受け取った撮像信号の要素毎にスペクトルデータを生成して、生成した要素毎のスペクトルデータをマトリクス生成部１ｄ’に出力する。

ここで、スペクトルデータの「要素」とは、第１の画像センサの時間方向1フレーム、および第1の画像センサの空間方向1画素に対応するL個1組のデータを意味する。

マトリクス生成部１ｄ’は、第１の画像センサ１ａ’によって計測されたスペクトルデータの各要素を重み付けした結果、得られた特定の分光反射率データ郡、換言すればマトリクスを生成するためのサンプルデータを用いて、このサンプルデータに対する誤差を最小とするように、第１の画像センサ１ａ’から出力された撮像信号内の画像データから生成されたスペクトルデータの時空間方向に定義される時空間領域（ａ，ｂ，ｔ）毎に対応付けられるマトリクスを生成し、生成したスペクトルデータの時空間方向に定義される時空間領域（ａ，ｂ，ｔ）毎のマトリクスのデータと、スペクトルデータの時空間方向に定義される時空間領域（ａ，ｂ，ｔ）に関するデータとの組をマトリクス乗算部１ｇ’に出力する。

なお、本明細書において、「時空間領域」とは、画像センサ１もしくは画像センサ２により取得される動画像上に定義される領域で、時間方向のある一定期間に含まれ、かつ、空間方向のある一定領域に含まれる閉区間を意味する。

具体的には、本実施の形態に係るマトリクス生成部１ｄ’は、スペクトルデータ生成部１ｃ’から出力された縦方向にＭ_１個、横方向にＭ_２個、時間方向にV個の要素に対応する、波長方向にＬ個のデータから構成されるスペクトルデータを受け取り、受け取ったスペクトルデータから下記の式（５１）によって、スペクトルデータの時空間方向に定義される時空間領域（ａ，ｂ，ｔ）毎のマトリクスを、スペクトルデータの時空間方向に定義される全時空間領域に関して生成し、生成した時空間領域毎のマトリクスのデータと、スペクトルデータの時空間方向に定義される領域（ａ，ｂ，ｔ）に関するデータとの組をマトリクス乗算部１ｇ’に出力する。

ただし、スペクトルデータの時空間方向に定義される時空間領域の数は、スペクトルデータの要素の数と同一とする。つまり、ａは、０＜ａ≦Ｍ_１を満たす自然数である。また、ｂは、０＜ｂ≦Ｍ_２を満たす自然数である。また、ｔは、０＜ｔ≦Vを満たす自然数である。更に、Ｍ_１は、スペクトルデータ生成部１ｃ’によって生成されたスペクトルデータの空間方向の縦方向における要素の数を意味する。また、Ｍ_２は、スペクトルデータ生成部１ｃ’によって生成されたスペクトルデータの空間方向の横方向における要素の数を意味する。また、Vは、スペクトルデータ生成部１ｃ’によって生成されたスペクトルデータの時間方向における要素の数を意味する。

ここで、「Ａ_{ａ，ｂ，ｔ}」は、第１の画像センサ１ａ’から出力された撮像信号に含まれる画像データ上の時空間領域（ａ，ｂ，ｔ）に対して定められたマトリクスを意味する。

更に、「Ｓ」は、前述した（Ｍ×V）個のスペクトルデータを列ベクトルとして配列したＬ行（Ｍ×V）列の行列を意味する。

また、「V」は、スペクトルデータ生成部１ｃ’によって生成されたスペクトルデータの時間方向における要素の数である。

更に「Ｈ」は、オリジナルの分光情報ｆ（ｉ，ｊ，ｔ）と、それに対応する第２の画像センサ１ｂ‘から出力された撮像信号に含まれる画像データｇ（ｉ，ｊ，ｔ）と、画像データに含まれるノイズを示す3次元列ベクトルｎとの間の下記式（５２）で示す入出力関係を規定する３行Ｌ列の行列を意味する。

また、Ｗ_{ａ，ｂ，ｔ}は、下記式（５３）で示される（Ｍ×V）行（Ｍ×V）列の対角行列である。

ここで、d(ａ,ｂ,ｐ,ｑ)は、第１の画像センサ１ａから出力された撮像信号に含まれる画像データから生成されたスペクトルデータの（ｐ，ｑ，τ）要素の空間方向の位置と、画像データ上の（ａ，ｂ，ｔ）の時空間領域の空間方向の中心との間のユークリッド距離を意味する。

なお、本明細書において、「時空間領域の空間方向の中心」とは、時空間領域のうちの空間方向の領域の中心位置を意味する。

また、「ｗ_{ａ,ｂ,ｔ;ｐ,ｑ,τ}」は、第1の画像センサから出力された撮像信号から生成されたスペクトルデータの要素毎に個別に定められる重み付け係数であり、前述したd(ａ,ｂ;ｐ,ｑ)およびd'(t,τ)との間に下記式（５４）で示される関係を有している。

ここで、「ρ」は、重み付け係数の減少の程度を決定しているパラメータであり、例えば画像データ内で決定された時空間領域の空間方向の大きさＤ１＝Ｄ２＝Ｄに応じて、ρの値をρ^４．５Ｄ＝０．０１として、換言すれば４．５Ｄ要素（つまり、４．５領域分）離れた点で、重み係数が０．０１となるように設定することが出来る。

また、「ρ’」は、重み付け係数の減少の程度を決定しているパラメータであり、フレーム周期をＴとしてρ’^１．５Ｔ＝０．０１換言すれば１．５Ｔ要素（つまり、フレーム周期の１．５倍）離れた点で、重み係数が０．０１となるように設定することが出来る。

なお、本実施の形態に係る分光画像生成装置１’におけるパラメータ「ρ」、及び「ρ’」を設定する手法に関しては、本実施の形態に係る分光画像生成装置１’で用いた手法に限定されないことは言うまでもない。

「Ｓ^Ｔ」は、前述した（Ｍ×V）個のスペクトルデータを列ベクトルとして配列したＬ行（Ｍ×V）列の行列「Ｓ」の転置行列を意味する。

「Ｈ^Ｔ」は、前述したオリジナルの分光情報ｆ（ｉ，ｊ，ｔ）と、それに対応する第２の画像センサ１ｂ‘から出力された撮像信号に含まれる画像データｇ（ｉ，ｊ，ｔ）と、画像データに含まれるノイズを示す３次元列ベクトルｎとの間の前述した式（５２）で示す入出力関係を規定する３行Ｌ列の行列Ｈの転置行列を意味する。

また、「Ｃ」は、第２の画像センサ１ｂ’から出力された撮像信号に含まれる画像データに含まれるノイズの共分散行列を意味する。

領域分割部１ｅ’は、第２のデータバッファ１ｌから出力された撮像信号を受け取り、当該撮像信号に含まれる画像データを、空間方向にＭ_１個×Ｍ_２個からなる複数の矩形領域に分割すると共に、時間方向にもＴフレーム毎に分割することによって、画像データを複数の時空間領域に分割し、分割した画像データと、時空間領域に関するデータとの組をマトリクス乗算部１ｇ’に出力する。

時空間領域データ記憶メモリ１ｆ’は、操作者の操作によって入力されたスペクトルデータの空間方向に定義される時空間領域（ａ，ｂ，ｔ）に関するデータと、第２の画像センサ１ｂ’から出力された撮像信号に含まれる画像データ内で定義される時空間領域（α，β，γ）に関するデータとが各々対応して記憶された時空間領域データ記憶テーブルを有している。

マトリクス乗算部１ｇ’は、領域分割部１ｅ’から受け取った分割した画像データに、マトリクス生成部１ｄ’から受け取ったマトリクスを下記式（５５）に示すように乗算することによって、時空間領域毎の分光画像のデータを得た後、得られた分光画像のデータを加重平均算出部１ｈ’に出力する。

具体的には、本実施の形態に係る分光画像生成装置１’のマトリクス乗算部１ｇ’は、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）毎のマトリクスと、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）に関するデータとの組をマトリクス生成部１ｄ’から受け取ると、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）に関するデータに対応付けられた画像データ上で定義された時空間領域（α，β，γ）に関するデータを時空間領域データ記憶メモリ１ｆ’から読み出し、当該画像データの時空間領域（α，β，γ）に対応するスペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）に対して生成されたマトリクスＡ_{ａ，ｂ、ｔ}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ−１，ｂ＋１，ｔ）に対して生成されたマトリクスＡ_{ａ−１，ｂ＋１，ｔ}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ，ｂ＋１，ｔ）に対して生成されたマトリクスＡ_{ａ，ｂ＋１，ｔ}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ＋１，ｂ＋１，ｔ）に対して生成されたマトリクスＡ_{ａ＋１，ｂ＋１、ｔ}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ−１，ｂ，ｔ）に対して生成されたマトリクスＡ_{ａ−１，ｂ、ｔ}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ＋１，ｂ，ｔ）に対して生成されたマトリクスＡ_{ａ＋１，ｂ，ｔ}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ−１，ｂ−１，ｔ）に対して生成されたマトリクスＡ_{ａ−１，ｂ−１，ｔ}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ，ｂ−１，ｔ）に対して生成されたマトリクスＡ_{ａ，ｂ−１、ｔ}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ＋１，ｂ−１、ｔ）に対して生成されたマトリクスＡ_{ａ＋１，ｂ−１、ｔ}とを読み出した画像データ上で定義された時空間領域（α，β，γ）に存在する画像データの中で空間方向の位置（ｉ，ｊ）および時間θで指定される画素ｇ（ｉ，ｊ，θ）に各々乗算する。

また、本実施の形態に係るマトリクス乗算部１ｇ’は、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）に対して時間方向で直前の（ｔ−１）に存在する時空間領域（ａ，ｂ，ｔ−１）に対して生成されたマトリクスＡ_{ａ，ｂ，ｔ−１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する領域（ａ−１，ｂ＋１，ｔ−１）に対して生成されたマトリクスＡ_{ａ−１，ｂ＋１、ｔ−１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ，ｂ＋１，ｔ−１）に対して生成されたマトリクスＡ_{ａ，ｂ＋１、ｔ−１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ＋１，ｂ＋１，ｔ−１）に対して生成されたマトリクスＡ_{ａ＋１，ｂ＋１、ｔ−１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ−１，ｂ，ｔ−１）に対して生成されたマトリクスＡ_{ａ−１，ｂ、ｔ−１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ＋１，ｂ，ｔ−１）に対して生成されたマトリクスＡ_{ａ＋１，ｂ，ｔ−１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ−１，ｂ−１，ｔ−１）に対して生成されたマトリクスＡ_{ａ−１，ｂ−１，ｔ−１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ，ｂ−１，ｔ−１）に対して生成されたマトリクスＡ_{ａ，ｂ−１、ｔ−１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ＋１，ｂ−１，ｔ−１）に対して生成されたマトリクスＡ_{ａ＋１，ｂ−１、ｔ−１}とを読み出した画像データ上で定義された時空間領域（α，β，γ）に存在する画像データの中で空間方向の位置（ｉ，ｊ）および時間θで指定される画素ｇ（ｉ，ｊ，θ）に各々乗算する。

更に、本実施の形態に係るマトリクス乗算部１ｇ’は、スペクトルデータの空間方向に定義される時空間領域（ａ，ｂ，ｔ）に対して時間方向で直後の（ｔ＋１）に存在するスペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）に対して生成されたマトリクスＡ_{ａ，ｂ、ｔ＋１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ−１，ｂ＋１，ｔ＋１）に対して生成されたマトリクスＡ_{ａ−１，ｂ＋１、ｔ＋１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ，ｂ＋１，ｔ＋１）に対して生成されたマトリクスＡ_{ａ，ｂ＋１、ｔ＋１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ＋１，ｂ＋１，ｔ＋１）に対して生成されたマトリクスＡ_{ａ＋１，ｂ＋１、ｔ＋１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ−１，ｂ，ｔ＋１）に対して生成されたマトリクスＡ_{ａ−１，ｂ、ｔ＋１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ＋１，ｂ，ｔ＋１）に対して生成されたマトリクスＡ_{ａ＋１，ｂ，ｔ＋１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ−１，ｂ−１，ｔ＋１）に対して生成されたマトリクスＡ_{ａ−１，ｂ−１，ｔ＋１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ，ｂ−１，ｔ＋１）に対して生成されたマトリクスＡ_{ａ，ｂ−１、ｔ＋１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ＋１，ｂ−１，ｔ＋１）に対して生成されたマトリクスＡ_{ａ＋１，ｂ−１、ｔ＋１}とを読み出した画像データ上で定義された時空間領域（α，β，γ）に存在する画像データの中で画素（ｉ，ｊ）、時間θで指定される画素ｇ（ｉ，ｊ，θ）に各々乗算する。

従って、本実施の形態に係るマトリクス乗算部１ｇ’は、対象となる画像データ上で定義される時空間領域（α，β，γ）に対応するスペクトルデータの空間方向に定義される時空間領域（ａ，ｂ，ｔ）に対して時空間的に近傍に存在する領域に対して生成された２７個のマトリクスを画像データ上で定義される領域（α，β，γ）に存在する画像データｇ（ｉ，ｊ，θ）に対して各々乗じて得られた２７個の分光情報のデータと、画像データの領域（α，β，γ）に関するデータとの組を加重平均算出部１ｈ’に出力する。

なお、本明細書において、「時空間的に近傍に存在する」とは、空間的に近傍に存在し、かつ、時間的にも近傍に存在することを意味する。

加重平均算出部１ｈ’は、マトリクス乗算部１ｇ’から出力された２７個の分光情報ｆ＾_{ａ−１，ｂ＋１，ｔ}（ｉ，ｊ，θ）、ｆ＾_{ａ，ｂ＋１，ｔ}（ｉ，ｊ、θ），ｆ＾_{ａ＋１，ｂ＋１，ｔ}（ｉ，ｊ，θ）、ｆ＾_{ａ−１，ｂ，ｔ}（ｉ，ｊ，θ）、ｆ＾_{ａ，ｂ，ｔ}（ｉ，ｊ，θ）、ｆ＾_{ａ＋１，ｂ，ｔ}（ｉ，ｊ，θ）、ｆ＾_{ａ―１，ｂ−１，ｔ}（ｉ，ｊ，θ）、ｆ＾_{ａ，ｂ−１，ｔ}（ｉ，ｊ，θ）、ｆ＾_{ａ＋１，ｂ−１，ｔ}（ｉ，ｊ，θ）、ｆ＾_{ａ−１，ｂ＋１，ｔ−１}（ｉ，ｊ，θ）、ｆ＾_{ａ，ｂ＋１，ｔ−１}（ｉ，ｊ，θ），ｆ＾_{ａ＋１，ｂ＋１，ｔ−１}（ｉ，ｊ，θ）、ｆ＾_{ａ−１，ｂ，ｔ−１}（ｉ，ｊ，θ）、ｆ＾_{ａ，ｂ，ｔ−１}（ｉ，ｊ，θ）、ｆ＾_{ａ＋１，ｂ，ｔ−１}（ｉ，ｊ，θ）、ｆ＾_{ａ―１，ｂ−１，ｔ−１}（ｉ，ｊ，θ）、ｆ＾_{ａ，ｂ−１，ｔ−１}（ｉ，ｊ，θ）、ｆ＾_{ａ＋１，ｂ−１，ｔ−１}（ｉ，ｊ，θ）、ｆ＾_{ａ−１，ｂ＋１，ｔ＋１}（ｉ，ｊ，θ）、ｆ＾_{ａ，ｂ＋１，ｔ＋１}（ｉ，ｊ，θ），ｆ＾_{ａ＋１，ｂ＋１，ｔ＋１}（ｉ，ｊ，θ）、ｆ＾_{ａ−１，ｂ，ｔ＋１}（ｉ，ｊ，θ）、ｆ＾_{ａ，ｂ，ｔ＋１}（ｉ，ｊ，θ）、ｆ＾_{ａ＋１，ｂ，ｔ＋１}（ｉ，ｊ，θ）、ｆ＾_{ａ―１，ｂ−１，ｔ＋１}（ｉ，ｊ，θ）、ｆ＾_{ａ，ｂ−１，ｔ＋１}（ｉ，ｊ，θ）、ｆ＾_{ａ＋１，ｂ−１，ｔ＋１}（ｉ，ｊ，θ）を受け取り、下記式（５６）に示すように、これら２７個の分光情報のデータに各々重み付けをして、時空間領域毎に、これら２７個の分光情報のデータの加重平均を算出し、算出した領域毎の分光情報の加重平均のデータと、時空間領域に関するデータとの組を第３のデータバッファ１ｍに出力する。

ここで、ｕ_a,b,t（ｉ，ｊ，θ）は、分光情報ｆ＾_a,b,t（ｉ，ｊ，θ）に対する重み付け関数を意味し、例えば下記式（５７）で示す3次元のｓｅｐａｒａｂｌｅ Ｈａｍｍｉｎｇ ｗｉｎｄｏｗを用いることも出来る。

ここでν１（ｉ）は、下記式（５８）で示される関数である。

また、ν２（ｊ）は、下記式（５９）で示される関数である。

またν３（θ）は、下記式（６０）で示される関数である。

ここで、Ｄ１は、時空間領域の縦の要素数を意味し、Ｄ２は、時空間領域の横の要素数を意味する。換言すればＤ１＝Ｎ１／Ｍ１であり、Ｄ２＝Ｎ２／Ｍ２である。ここで、「／」は、除算を意味する。また、Tは、時空間の時間方向の要素数を意味する。

第３のデータバッファ１ｍは、加重平均算出部１ｈ’から出力された時空間領域毎に算出された分光情報のデータの加重平均のデータと、時空間領域に関するデータとの組を一時的に記憶するバッファであり、記憶した動画のデータを領域合成部１ｉ’に出力する。

領域合成部１ｉ’は、第３のデータバッファ１ｍから出力された算出済みの画像データの領域（α，β，γ）毎の分光情報の加重平均のデータと、画像データの領域（α，β，γ）に関するデータとの組を受け取り、受け取った画像データの領域（α，β，γ）毎の分光情報の加重平均のデータを画像データの領域（α，β，γ）に関するデータに基づいて、時間順にソートすることによって、画像データの領域（α，β，γ）毎の分光情報の加重平均のデータの組み合わせからなる動画の分光画像のデータを生成し、生成した動画の分光画像のデータを表示部１ｊ’の表示画面に表示させる。

表示部１ｊ’は、領域合成部１ｉ’で生成された分光画像が表示される図示しない表示画面を有している。

次に、以上のように構成された分光画像生成装置１’の実行する実行処理に関し、図面を参照して説明する。

図１９は、本実施の形態に係る分光画像生成装置１’の実行する実行処理に関して説明するためのフローチャートである。

なお、本実施の形態に係る分光画像生成装置１’では、第１の画像センサ１ａ’から入力された画像データから、図１５に示すような、縦方向にＭ_１個、横方向にＭ_２個、波長方向にＬ個の要素を有するスペクトルデータが生成され、かつ、３バンドのカラービデオカメラ（第２の画像センサ）１ｂ’からＮ_１画素×Ｎ_２画素の大きさを有する１フレーム分の画像データ３枚が入力された場合に関して説明する。

始めに、スペクトル生成部１ｃ’は、第１のバッファ１ｋから受け取った撮像信号をスペクトルデータへ変換し、縦方向にＭ_１個、横方向にＭ_２個、時間方向にV個の要素に対応する、波長方向にＬ個のデータから構成されるスペクトルデータを生成する（工程Ｂ１）。

次に、マトリクス生成部１ｄ’は、スペクトルデータ生成部１ｃ’から出力された縦方向にＭ_１個、横方向にＭ_２個、時間方向にV個の要素に対応する、波長方向にＬ個のデータから構成されるスペクトルデータを受け取り、受け取ったスペクトルデータから下記の式（６１）によって、スペクトルデータの空間方向および時間方向に定義される時空間領域（ａ，ｂ，ｔ）毎のマトリクスを、全時空間領域に関して生成する（工程Ｂ２）。

ただし、ａは、０＜ａ≦Ｍ_１を満たす自然数である。また、ｂは、０＜ｂ≦Ｍ_２を満たす自然数である。また、ｔは、０＜ｔ≦Vを満たす自然数である。更に、Ｍ_１は、スペクトルデータ生成部１ｃ’によって生成されたスペクトルデータの空間方向の縦方向における要素の数を意味する。また、Ｍ_２は、スペクトルデータ生成部１ｃ’によって生成されたスペクトルデータの空間方向の横方向における要素の数を意味する。また、Vは、スペクトルデータ生成部１ｃ’によって生成されたスペクトルデータの時間方向における要素の数を意味する。

ここで、「Ａ_{ａ，ｂ，ｔ}」は、第１の画像センサ１ａ’から出力された撮像信号に含まれる画像データから生成されたスペクトルデータで定義される時空間領域（ａ，ｂ，ｔ）に存在する要素のデータに対して定められたマトリクスを意味する。

また、「Ｓ」は、前述したＭ個のスペクトルデータを列ベクトルとして配列したＬ行（Ｍ×V）列の行列を意味する。

更に「Ｈ」は、オリジナルの分光情報ｆ（ｉ，ｊ，ｔ）と、それに対応する画像データｇ（ｉ，ｊ，ｔ）と、画像データに含まれるノイズを示す３次元列ベクトルｎとの間の下記式（６２）で示す入出力関係を規定する３行Ｌ列の行列を意味する。

また、Ｗ_{ａ，ｂ，ｔ}は、下記式（６３）で示される（Ｍ×V）行（Ｍ×V）列の対角行列である。

ここで、d(ａ,ｂ,ｐ,ｑ)は、第１の画像センサ１ａ’から出力された撮像信号に含まれる画像データから生成されたスペクトルデータの（ｐ，ｑ，τ）要素の空間方向の位置と、画像データ上の（ａ，ｂ，ｔ）の時空間領域の空間方向の中心との間のユークリッド距離を意味する。

また、「ｗ_{ａ,ｂ,ｐ,ｑ}」は、第1の画像センサ１ａ’から出力された撮像信号から生成されたスペクトルデータの要素毎に個別に定められる重み付け係数であり、前述したd(ａ,ｂ,ｐ,ｑ) およびd'(t,τ)との間に下記式（６４）で示される関係を有している。

ここで、「ρ」は、重み付け係数の減少の程度を決定しているパラメータであり、例えば画像データ内で決定された時空間領域の空間方向の大きさＤ１＝Ｄ２＝Ｄに応じて、ρの値をρ^４．５Ｄ＝０．０１として、換言すれば４．５Ｄ要素（つまり、４．５領域分）離れた点で、重み係数が０．０１となるように設定することが出来る。

また、「ρ’」は、重み付け係数の減少の程度を決定しているパラメータであり、フレーム周期をＴとしてρ’^１．５Ｔ＝０．０１換言すれば１．５Ｔ要素（つまり、フレーム周期の１．５倍）離れた点で、重み係数が０．０１となるように設定することが出来る。

なお、本実施の形態に係る分光画像生成装置１’で重み付け係数を定めるために使用するパラメータρ及びρ’の決定手法、及びマトリクスを生成する際の重み付けの手法に関しては、本実施の形態に係る分光画像生成装置１’のマトリクス生成部１ｄ’の実行している手法に限定されるものではないことは言うまでもない。

「Ｓ^Ｔ」は、前述した（Ｍ×V）個のスペクトルデータを列ベクトルとして配列したＬ行（Ｍ×V）列の行列「Ｓ」の転置行列を意味する。

「Ｈ^Ｔ」は、前述したオリジナルの分光情報ｆ（ｉ，ｊ，ｔ）と、それに対応する第２の画像センサ１ｂ‘から出力された撮像信号に含まれる画像データｇ（ｉ，ｊ，ｔ）と、画像データに含まれるノイズを示す3次元列ベクトルｎとの間の前述した式（５２）で示す入出力関係を規定する３行Ｌ列の行列Ｈの転置行列を意味する。

また、「Ｃ」は、第２の画像センサ１ｂ‘から出力された撮像信号に含まれる画像データに含まれるノイズの共分散行列を意味する。

工程Ｂ３では、領域分割部１ｅ’は、第２のデータバッファ１ｌから出力された撮像信号を受け取り、当該撮像信号に含まれる画像データを、空間方向にＭ_１個×Ｍ_２個からなる複数の矩形領域に分割すると共に、時間方向にもＴフレーム毎に分割することによって、画像データを複数の時空間領域に分割する。

工程Ｂ４では、マトリクス乗算部１ｇ’は、スペクトルデータの空間方向に定義される時空間領域（ａ，ｂ，ｔ）毎のマトリクスと、スペクトルデータの空間方向に定義される時空間領域（ａ，ｂ，ｔ）に関するデータとの組をマトリクス生成部１ｄ’から受け取ると、スペクトルデータの空間方向に定義される時空間領域（ａ，ｂ，ｔ）に関するデータに対応付けられた画像データ上で定義された時空間領域（α，β，γ）に関するデータを時空間領域データ記憶メモリ１ｆ’から読み出し、当該画像データの時空間領域（α，β，γ）に対応するスペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）に対して生成されたマトリクスＡ_{ａ，ｂ、ｔ}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ−１，ｂ＋１，ｔ）に対して生成されたマトリクスＡ_{ａ−１，ｂ＋１、ｔ}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ，ｂ＋１，ｔ）に対して生成されたマトリクスＡ_{ａ，ｂ＋１、ｔ}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ＋１，ｂ＋１，ｔ）に対して生成されたマトリクスＡ_{ａ＋１，ｂ＋１、ｔ}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ−１，ｂ，ｔ）に対して生成されたマトリクスＡ_{ａ−１，ｂ、ｔ}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ＋１，ｂ，ｔ）に対して生成されたマトリクスＡ_{ａ＋１，ｂ，ｔ}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ−１，ｂ−１，ｔ）に対して生成されたマトリクスＡ_{ａ−１，ｂ−１，ｔ}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ，ｂ−１，ｔ）に対して生成されたマトリクスＡ_{ａ，ｂ−１、ｔ}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）の周縁に存在する時空間領域（ａ＋１，ｂ−１，ｔ）に対して生成されたマトリクスＡ_{ａ＋１，ｂ−１、ｔ}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）に対して時間方向で直前の（ｔ−１）に存在する時空間領域（ａ，ｂ，ｔ−１）に対して生成されたマトリクスＡ_{ａ，ｂ、ｔ−１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ−１，ｂ＋１，ｔ−１）に対して生成されたマトリクスＡ_{ａ−１，ｂ＋１、ｔ−１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ，ｂ＋１，ｔ−１）に対して生成されたマトリクスＡ_{ａ，ｂ＋１、ｔ−１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ＋１，ｂ＋１，ｔ−１）に対して生成されたマトリクスＡ_{ａ＋１，ｂ＋１、ｔ−１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ−１，ｂ，ｔ−１）に対して生成されたマトリクスＡ_{ａ−１，ｂ、ｔ−１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ＋１，ｂ，ｔ−１）に対して生成されたマトリクスＡ_{ａ＋１，ｂ，ｔ−１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ−１，ｂ−１，ｔ−１）に対して生成されたマトリクスＡ_{ａ−１，ｂ−１，ｔ−１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ，ｂ−１，ｔ−１）に対して生成されたマトリクスＡ_{ａ，ｂ−１、ｔ−１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ−１）の周縁に存在する時空間領域（ａ＋１，ｂ−１，ｔ−１）に対して生成されたマトリクスＡ_{ａ＋１，ｂ−１、ｔ−１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ）に対して時間方向で直後の（ｔ＋１）に存在するスペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）に対して生成されたマトリクスＡ_{ａ，ｂ、ｔ＋１}と、スペクトルデータ上で定義される領域（ａ，ｂ，ｔ＋１）の周縁に存在する領域（ａ−１，ｂ＋１，ｔ＋１）に対して生成されたマトリクスＡ_{ａ−１，ｂ＋１、ｔ＋１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ，ｂ＋１，ｔ＋１）に対して生成されたマトリクスＡ_{ａ，ｂ＋１、ｔ＋１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ＋１，ｂ＋１，ｔ＋１）に対して生成されたマトリクスＡ_{ａ＋１，ｂ＋１、ｔ＋１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ−１，ｂ，ｔ＋１）に対して生成されたマトリクスＡ_{ａ−１，ｂ、ｔ＋１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ＋１，ｂ，ｔ＋１）に対して生成されたマトリクスＡ_{ａ＋１，ｂ，ｔ＋１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ−１，ｂ−１，ｔ＋１）に対して生成されたマトリクスＡ_{ａ−１，ｂ−１，ｔ＋１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ，ｂ−１，ｔ＋１）に対して生成されたマトリクスＡ_{ａ，ｂ−１、ｔ＋１}と、スペクトルデータ上で定義される時空間領域（ａ，ｂ，ｔ＋１）の周縁に存在する時空間領域（ａ＋１，ｂ−１，ｔ＋１）に対して生成されたマトリクスＡ_{ａ＋１，ｂ−１、ｔ＋１}とを読み出した画像データ上で定義された時空間領域（α，β，γ）に存在する画像データの中で空間方向の位置（ｉ，ｊ）および時間θで指定される画素ｇ（ｉ，ｊ，θ）に各々乗算して、２７個の分光情報を得る。

工程Ｂ５では、加重平均算出部１ｈ’は、マトリクス乗算部１ｇ’から出力された２７個の分光情報ｆ＾_{ａ−１，ｂ＋１，ｔ}（ｉ，ｊ，θ）、ｆ＾_{ａ，ｂ＋１，ｔ}（ｉ，ｊ、θ），ｆ＾_{ａ＋１，ｂ＋１，ｔ}（ｉ，ｊ，θ）、ｆ＾_{ａ−１，ｂ，ｔ}（ｉ，ｊ，θ）、ｆ＾_{ａ，ｂ，ｔ}（ｉ，ｊ，θ）、ｆ＾_{ａ＋１，ｂ，ｔ}（ｉ，ｊ，θ）、ｆ＾_{ａ―１，ｂ−１，ｔ}（ｉ，ｊ，θ）、ｆ＾_{ａ，ｂ−１，ｔ}（ｉ，ｊ，θ）、ｆ＾_{ａ＋１，ｂ−１，ｔ}（ｉ，ｊ，θ）、ｆ＾_{ａ−１，ｂ＋１，ｔ−１}（ｉ，ｊ，θ）、ｆ＾_{ａ，ｂ＋１，ｔ−１}（ｉ，ｊ，θ），ｆ＾_{ａ＋１，ｂ＋１，ｔ−１}（ｉ，ｊ，θ）、ｆ＾_{ａ−１，ｂ，ｔ−１}（ｉ，ｊ，θ）、ｆ＾_{ａ，ｂ，ｔ−１}（ｉ，ｊ，θ）、ｆ＾_{ａ＋１，ｂ，ｔ−１}（ｉ，ｊ，θ）、ｆ＾_{ａ―１，ｂ−１，ｔ−１}（ｉ，ｊ，θ）、ｆ＾_{ａ，ｂ−１，ｔ−１}（ｉ，ｊ，θ）、ｆ＾_{ａ＋１，ｂ−１，ｔ−１}（ｉ，ｊ，θ）、ｆ＾_{ａ−１，ｂ＋１，ｔ＋１}（ｉ，ｊ，θ）、ｆ＾_{ａ，ｂ＋１，ｔ＋１}（ｉ，ｊ，θ），ｆ＾_{ａ＋１，ｂ＋１，ｔ＋１}（ｉ，ｊ，θ）、ｆ＾_{ａ−１，ｂ，ｔ＋１}（ｉ，ｊ，θ）、ｆ＾_{ａ，ｂ，ｔ＋１}（ｉ，ｊ，θ）、ｆ＾_{ａ＋１，ｂ，ｔ＋１}（ｉ，ｊ，θ）、ｆ＾_{ａ―１，ｂ−１，ｔ＋１}（ｉ，ｊ，θ）、ｆ＾_{ａ，ｂ−１，ｔ＋１}（ｉ，ｊ，θ）、ｆ＾_{ａ＋１，ｂ−１，ｔ＋１}（ｉ，ｊ，θ）を受け取り、下記式（６５）に示すように、これら２７個の分光情報のデータに各々重み付けをして、これら２７個の分光情報のデータの加重平均を算出し、算出した領域毎の分光情報の加重平均のデータと、時空間領域に関するデータとの組を第３のデータバッファ１ｍに出力する。

ここで、ｕ_a,b,t（ｉ，ｊ，θ）は、分光情報ｆ＾_a,b,t（ｉ，ｊ，θ）に対する重み付け関数を意味し、例えば下記式（６６）で示す３次元のｓｅｐａｒａｂｌｅ Ｈａｍｍｉｎｇ ｗｉｎｄｏｗを用いることも出来る。

ここでν１（ｉ）は、下記式（６７）で示される関数である。

また、ν２（ｊ）は、下記式（６８）で示される関数である。

ここで、Ｄ１は、領域の縦の要素数を意味し、Ｄ２は、領域の横の要素数を意味する。換言すればＤ１＝Ｎ１／Ｍ１であり、Ｄ２＝Ｎ２／Ｍ２である。ここで、「／」は、除算を意味する。

またν３（θ）は、下記式（６９）で示される関数である。

工程Ｂ６では、領域合成部１ｉ’は、第３のデータバッファ１ｍから出力された算出済みの画像データの領域（ａ，ｂ，ｔ）毎の分光情報の加重平均のデータと、画像データの領域（ａ，ｂ，ｔ）に関するデータとの組を受け取り、受け取った画像データの領域（ａ，ｂ，ｔ）毎の分光情報の加重平均のデータを、画像データの領域（ａ，ｂ，ｔ）に関するデータを時間順にソートすることによって、画像データの領域（ａ，ｂ，ｔ）毎の分光情報の加重平均のデータの組み合わせからなる動画の分光画像のデータを生成する。

これにより、本実施の形態に係る分光画像生成装置１’によれば、画素数、換言すれば空間解像度は、第２の画像センサ１ｂから出力された撮像信号に含まれる画像データと同一の空間解像度で、かつ、波長方向の要素数、換言すれば波長解像度は、第１の画像センサ１ａから出力された撮像信号に含まれる画像データと同一の波長解像度であるような分光画像、すなわち波長解像度及び空間解像度の両方が高い動画像の分光画像が生成される。

工程Ｂ７では、領域合成部１ｉ’は、生成した分光画像のデータを表示部１ｊ’の表示画面に表示させる。

以上のような一連の処理により、本実施の形態に係る分光画像生成装置１’は、全ての実行処理を終了する。

上述したように、本実施の形態に係る分光画像生成装置１’によれば、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の画像センサ１ａ’から出力された第１のフレームレートを有する撮像信号に含まれる画像データを構成する要素毎に、当該画像データ内の要素毎に含まれる光の波長毎の強度分布を示すスペクトルデータがスペクトルデータ生成部１ｃ’によって生成され、スペクトルデータ生成部１ｃ’により生成された要素毎のスペクトルデータから、第１の画像センサ１ａ’から出力された第１のフレームレートを有する撮像信号に含まれる画像データを構成する領域毎のマトリクスがマトリクス生成部１ｄ’により生成され、マトリクス生成部１ｄ’により生成されたマトリクスのうち、第１の画像センサ１ａ’から出力された撮像信号に含まれる画像データ内の第１の時空間領域に対して生成されたマトリクスが３バンドのカラービデオカメラ１ｂ’から出力された第２のフレームレートを有する撮像信号に含まれ、かつ、第１の画像センサ１ａ’から出力された撮像信号に含まれる画像データ内の第１の時空間領域に対応する第３の時空間領域の画像データに乗じられて第３の時空間領域の第１の分光情報がマトリクス乗算部１ｇ’によって算出され、マトリクス生成部１ｄ’により生成されたマトリクスのうち、第１の画像センサ１ａ’から出力された撮像信号に含まれる画像データ内の第１の時空間領域の周縁に存在する第２の時空間領域に対して生成されたマトリクスが第２の画像データから出力された撮像信号に含まれ、前述した第１の時空間領域に対応する第３の時空間領域の画像データに乗じられて第３の時空間領域の第２の分光情報がマトリクス乗算部１ｇ’によって算出され、マトリクス乗算部１ｇ’により算出された第１の分光情報と、第２の分光情報との加重平均が加重平均算出部１ｈ’によって時空間領域毎に算出され、加重平均算出部１ｈ’により算出された時空間領域毎の分光情報の加重平均から第１の波長解像度と第２の空間解像度とを有する分光画像が領域合成部１ｉ’により生成され、生成された分光画像が表示部１ｊ’に表示されるので、処理に要する計算量を抑制すると共に、波長解像度及び空間解像度の両方が高い分光画像を生成することが可能になる。

なお、前述した各実施の形態に係る画像処理プログラムは、コンピュータにインストールされた、アプリケーションプログラム、エミュレーター、ＯＳ、ブラウザー、ミドルウェア等によってその機能が実現されるものであってもよい。

また、前述した実施の形態に示す手法は、コンピュータにより読み出して実行させることの出来るプログラムとして磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクドライブ等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｋ）−ＲＯＭ(Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ:再生専用型)、ＢＤ(Ｂｌｕ−ｒａｙ Ｄｉｓｋ)−Ｒ(Ｒｅｃｏｒｄａｂｌｅ:追記型)、ＢＤ(Ｂｌｕ−ｒａｙ Ｄｉｓｋ)−ＲＥ（Ｒｅｗｒｉｔａｂｌｅ:書き換え型））、光磁気ディスク（ＭＯ）、半導体メモリ、ホログラフィックメモリ等の記録媒体に格納して頒布することによりユーザーに提供することが出来る。

更に、本発明の画像形成プログラムの提供手法としては、例えば画像形成プログラムを記録媒体に記録させた状態でユーザーに頒布する手法や、例えばインターネット等の通信ネットワークを介してユーザーの保有するコンピュータに送信し、送信したプログラムをコンピュータにインストールさせる手法、無線を用いて提供する手法等が挙げられる。また、本実施の形態に係る画像形成プログラムを提供する手法としては、いわゆる周知のＡＳＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ Ｐｒｏｖｉｄｅｒ）による手法によってもよいことは言うまでもない。

更に、前述した実施の形態に係る画像形成プログラムは、一般的な高級言語、例えばＣ言語、Ｄｅｌｐｈｉ、ＸＴＬ、Ｐｅｒｌ（Ｐｒａｃｔｉｃａｌ Ｅｘｔｒａｃｔｉｏｎ ａｎｄ Ｒｅｐｏｒｔ Ｌａｎｇｕａｇｅ）、ＸＭＬ(ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ)や、オブジェクト指向言語（Ｃ++、ＪＡＶＡ（登録商標）、Ｃ＃、ＪＡＶＡ２、Ｓｍａｌｌ Ｔａｌｋ）等の任意のプログラム言語で作成されたものであってもよい。

また、本発明に関して記録媒体としては、プログラムを記録でき、かつ、コンピュータが読み取り可能な記録媒体であれば、記録形式はいかなる形式であっても、例えば、磁気テープ、半導体フラッシュメモリ、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ／−ＲＷ、ＤＶＤ+Ｒ／+ＲＷ、ＭＯ、ホログラフィックメモリ、ＢＤ−ＲＯＭ、ＢＤ−Ｒ、ＢＤ−ＲＥ等の何れの形態であってもよい。

更に、本発明の記録媒体は、コンピュータと独立した媒体に限らず、ＮＧＮ（Ｎｅｘｔ Ｇｅｎｅｒａｔｉｏｎ Ｎｅｔｗｏｒｋ：次世代ネットワーク）、ＬＡＮ、ＷＡＮ、イントラネット、及びインターネット等の通信ネットワークを介して記憶又は一時記憶した媒体であってもよい。

また、本発明では、記録媒体の種類及び数は、ひとつである必要は無く、同一の形態又は形態の相異なる複数の記録媒体の組み合わせからなっていてもよいことは言うまでもない。

更に、本発明は、前述した各機能を実現するプログラムを構成するのに必要不可欠なデータ構造、加工用プログラム、及び前述した加工用プログラムが機能する各種ハードウェアを包含する。

なお、前述した加工用プログラムは、一般的な高級言語、例えばＣ言語、Ｄｅｌｐｈｉ、ＸＴＬ、Ｐｅｒｌ（Ｐｒａｃｔｉｃａｌ Ｅｘｔｒａｃｔｉｏｎ ａｎｄ Ｒｅｐｏｒｔ Ｌａｎｇｕａｇｅ）、ＸＭＬ(ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ)や、オブジェクト指向言語（Ｃ++、ＪＡＶＡ、Ｃ＃、ＪＡＶＡ２、Ｓｍａｌｌ Ｔａｌｋ）等の任意のプログラム言語で作成されたものであってもよい。

なお、本発明は、前述した実施の形態に限定されるものではなく、実施段階では本発明の要旨を逸脱しない範囲内で種々の変更が可能である。例えば、本発明の構成のうち、本質的部分以外の構成をこの構成と同様の作用効果を奏する出願時に予見不可能な技術的構成に置換して得られる発明は、本発明に包含され得る。更に前述した実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が生成され得る。例えば実施の形態に示される全構成要件からいくつかの要件が省略されることで発明が生成される場合には、その生成された発明を実施する段階では省略部分が周知慣用技術で補われるものである。

その他、本発明は、その要旨を逸脱しない範囲内で種々変更して実施することが出来る。例えば、上述した各実施の形態では可視光の波長の範囲内で撮像した画像データから分光画像を生成する装置に関して説明したが、波長は赤外線の領域であってもよいし、紫外線領域の波長が含まれる画像データを用いてもよいことは言うまでもない。

本発明の第１の実施の形態に係る分光画像生成装置１の構成の一例を示す機能ブロック図である。 同実施の形態に係る分光画像生成装置１の実行する実行処理の概要を示す模式図である。 同実施の形態に係る分光画像生成装置１のマトリクス生成部１ｄがマトリクス生成時の重み付けに用いるパラメータの一例を説明するための図である。 同実施の形態に係る分光画像生成装置１の実行する実行処理の概要を示す模式図である。 同実施の形態に係る分光画像生成装置１の加重平均算出部１ｇが分光情報の加重平均を算出する場合に用いるｓｅｐａｒａｂｌｅ Ｈａｍｍｉｎｇ Ｗｉｎｄｏｗの一例を説明するための図である。 同実施の形態に係る分光画像生成装置１の加重平均算出部１ｇが分光情報の加重平均を算出する加重平均算出処理に関して説明するための図である。 同実施の形態に係る分光画像生成装置１の加重平均算出部１ｇが分光情報の加重平均を算出する加重平均算出処理に関して説明するための図である。 同実施の形態に係る分光画像生成装置１の実行する実行処理に関して説明するためのフローチャートである。 本実施の形態の分光画像生成装置１に対する第１の比較例の分光画像生成装置の一例を示す機能ブロック図である。 本実施の形態の分光画像生成装置１に対する第２の比較例の分光画像生成装置の一例を示す機能ブロック図である。 本実施の形態の分光画像生成装置１に対する第３の比較例の分光画像生成装置の一例を示す機能ブロック図である。 同実施の形態に係る分光画像生成装置の第１の画像センサ１ａから出力された分光画像Ｔｏｙから生成されたスペクトルデータの数及び第２の画像センサ１ｂから出力された分光画像Ｔｏｙを分割する領域の数と、出力された分光画像から求めた分光反射率画像の誤差を表す分光反射率の誤差（ＮＲＭＳＥ）との関係の一例を示す図である。 同実施の形態に係る分光画像生成装置と、前述した各比較例の分光画像生成装置とに関し、第１の画像センサ１ａから出力された分光画像Ｔｏｙから生成されたスペクトルデータの数と、本実施の形態に係る分光画像生成装置と、前述した各比較例の分光画像生成装置とによってそれぞれ出力された分光画像から求めた分光反射率画像の誤差を表す分光反射率の誤差（ＮＲＭＳＥ）との関係の一例を示す図である。 同実施の形態に係る分光画像生成装置と、前述した各比較例の分光画像生成装置とに関し、第１の画像センサ１ａから出力された分光画像Ｓｃａｒｆから生成されたスペクトルデータの数と、本実施の形態に係る分光画像生成装置と前述した各比較例の分光画像生成装置とによってそれぞれ出力された分光画像から求めた分光反射率画像の誤差を表す分光反射率の誤差（ＮＲＭＳＥ）との関係の一例を示す図である。 同実施の形態に係る分光画像生成装置がオリジナルの分光画像から出力する分光画像を生成するのに必要となる計算量と、各比較例に係る分光画像生成装置がオリジナルの分光画像から出力する分光画像を生成するのに必要となる計算量との関係の一例を示す図である。 オリジナルの分光画像を分割する領域の数をＮ＝Ｎ_１×Ｎ_２＝５１２×５１２とした場合に、本実施の形態に係る分光画像生成装置がオリジナルの分光画像から出力する分光画像を生成するのに必要となる計算量、及び比較例２、３に係る分光画像生成装置がオリジナルの分光画像から出力する分光画像を生成するのに必要となる計算量を示す乗算回数と、第１の画像センサ１ａの画素数との関係の一例を示す図である。 本発明の第２の実施の形態に係る分光画像生成装置１’の一例を示す模式図である。 同実施の形態に係る分光画像生成装置１’の実行する実行処理の概要を示す模式図である。 同実施の形態に係る分光画像生成装置１’の実行する実行処理に関して説明するためのフローチャートである。

符号の説明

１、１’…分光画像生成装置、１a、１ａ’…第１の画像センサ、１ｂ…第２の画像センサ、１ｂ’…３バンドのカラービデオカメラ、１ｃ、１ｃ’…スペクトルデータ生成部、１ｄ、１ｄ’…マトリクス生成部、１ｅ、１ｅ’…領域分割部、１ｆ…領域データ記憶メモリ、１ｆ’…時空間領域データ記憶メモリ、１ｇ、１ｇ’…マトリクス乗算部、１ｈ、１ｈ’…加重平均算出部、１ｉ、１ｉ’…領域合成部、１ｊ、１ｊ’…表示部、１ｋ…第１のデータバッファ、１ｌ…第２のデータバッファ、１ｍ…第３のデータバッファ、

Claims (18)

1. 相異なる特性を有する複数の撮像素子の出力画像から分光画像を生成する分光画像生成装置であって、
   波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子と、
   波長方向のチャネル数が少なくとも３以下で、かつ、前記第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、前記第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有し、縦方向にＮ１個、横方向にＮ２個の画素の画像データを含む撮像信号を出力する第２の撮像素子と、
   前記第１の撮像素子から出力された撮像信号から縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータを生成するスペクトルデータ生成手段と、
   前記第２の撮像素子から出力された撮像信号に含まれる画像データから分光画像を生成するための複数のマトリクスを前記スペクトルデータ生成手段により生成されたスペクトルデータから生成するマトリクス生成手段と、
   前記マトリクス生成手段により生成された各マトリクスを前記第２の撮像素子から出力された撮像信号に含まれるＮ１×Ｎ２個の画素の画像データに作用させることによって、空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成する分光画像生成手段と、
   前記分光画像生成手段により生成された分光画像を出力する分光画像出力手段と
   を備えたことを特徴とする分光画像生成装置。
2. 前記スペクトルデータ生成手段は、前記第１の撮像素子から出力された撮像信号に含まれる画像データを構成する要素毎に、当該画像データ内の要素毎に含まれる光の波長毎の強度分布を示すスペクトルデータを生成し、
   前記マトリクス生成手段は、前記スペクトルデータ生成手段により生成された要素毎のスペクトルデータから、前記第1の撮像素子から出力された映像信号に含まれる画像データを構成する領域毎のマトリクスを生成し、
   前記分光画像生成手段は、前記マトリクス生成手段により生成されたマトリクスのうち、前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の第１領域に対して生成されたマトリクスを前記第２の撮像素子から出力された撮像信号に含まれ、かつ、前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の第１領域に対応する第３領域の画像データに作用させて第３領域の第１の分光情報を算出する第１の分光情報算出手段と、
   前記マトリクス生成手段により生成されたマトリクスのうち、前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の第１領域の周縁に存在する第２領域に対して生成されたマトリクスを前記第２の撮像素子から出力された撮像信号に含まれ、かつ、前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の第１領域に対応する第３領域に存在する画像データに作用させて第３領域に存在する第２の分光情報を算出する第２の分光情報算出手段と、
   前記第１の分光情報算出手段により算出された第１の分光情報と、前記第２の分光情報算出手段により算出された第２の分光情報との加重平均を前記第２の撮像素子から出力された撮像信号に含まれる画像データの全領域に関して、領域毎に算出する加重平均算出手段と、
   前記加重平均算出手段により算出された領域毎の分光情報の加重平均から前記空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成する画像生成手段とを含むことを特徴とする請求項１に記載の分光画像生成装置。
3. 前記マトリクス生成手段は、
   前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の第１領域の中心位置と、前記スペクトルデータの各要素の位置との間の距離に基づいて規定される、所定のデータとの差異が最小となるように定められたマトリクスを生成する対象領域マトリクス生成手段と、
   前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の第１領域の周縁に存在する第２領域に含まれる各領域の中心位置と、前記スペクトルデータの各要素の位置との間の距離に基づいて規定される、所定のデータとの差異が最小となるように定められたマトリクスを生成する周縁領域マトリクス生成手段と
   を含むことを特徴とする請求項２に記載の分光画像生成装置。
4. 前記加重平均算出手段は、前記第１領域及び前記第２の領域が含まれる第４の領域内の要素数で規定される重み付け関数を用いて、前記第１の分光情報算出手段により算出された第１の分光情報と、前記第２の分光情報算出手段により算出された第２の分光情報との加重平均を、前記第２の撮像素子から出力された撮像信号に含まれる画像データに含まれる全領域に関して算出することを特徴とする請求項２に記載の分光画像生成装置。
5. 前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の要素の数と、前記第1の撮像素子から出力された撮像信号に含まれる画像データ内の領域の数と、前記第２の撮像素子から出力された撮像信号に含まれる画像データ内の領域の数とは、略同一の数であることを特徴とする請求項１乃至請求項４の何れか１項に記載の分光画像生成装置。
6. 相異なる特性を有する複数の撮像素子の出力画像から分光画像を生成する分光画像生成装置であって、
   第１のフレームレートを有する撮像信号を出力し、かつ、波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子と、
   前記第１のフレームレートよりも高い第２のフレームレートを有する撮像信号を出力し、波長方向のチャネル数が少なくとも３以下で、かつ、前記第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、前記第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有し、縦方向にＮ１個、横方向にＮ２個の画素の画像データを含む撮像信号を出力する第２の撮像素子と、
   前記第１の撮像素子から出力された撮像信号から縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータを生成するスペクトルデータ生成手段と、
   前記第２の撮像素子から出力された撮像信号に含まれる画像データから分光画像を生成するための複数のマトリクスを前記スペクトルデータ生成手段により生成されたスペクトルデータから生成するマトリクス生成手段と、
   前記マトリクス生成手段により生成された各マトリクスを前記第２の撮像素子から出力された撮像信号に含まれるＮ１×Ｎ２個の画素の画像データに作用させることによって、空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成する分光画像生成手段と、
   前記分光画像生成手段により生成された分光画像を出力する分光画像出力手段と
   を備えたことを特徴とする分光画像生成装置。
7. 前記スペクトルデータ生成手段は、前記第１の撮像素子から出力された撮像信号に含まれる画像データを構成する要素毎に、当該画像データ内の要素毎に含まれる光の波長毎の強度分布を示す時系列スペクトルデータを生成し、
   前記マトリクス生成手段は、前記スペクトルデータ生成手段により生成された時系列スペクトルデータから、前記第１の撮像素子から出力された撮像信号に含まれる画像データを構成する時空間領域毎のマトリクスを生成し、
   前記分光画像生成手段は、
   前記第１の撮像素子から出力された撮像信号に含まれる画像データの第１の時空間領域に対して生成されたマトリクスを、前記第２の撮像素子から出力された撮像信号に含まれ、かつ、前記第１の時空間領域に対応する第３の時空間領域の画像データに作用させて第３の時空間領域の第１の分光情報を算出する第１の分光情報算出手段と、
   前記第１の時空間領域の周縁に存在する第２の時空間領域に対して生成されたマトリクスを前記第２の撮像素子から出力された撮像信号に含まれ、かつ、前記第１の時空間領域に対応する第３の時空間領域に存在する画像データに作用させて第３の時空間領域の第２の分光情報を算出する第２の分光情報算出手段と、
   前記第１の分光情報算出手段により算出された第１の分光情報と、前記第２の分光情報算出手段により算出された第２の分光情報との加重平均を前記第２の撮像素子から出力された撮像信号に含まれる画像データに含まれる全時空間領域に関して、時空間領域毎に算出する加重平均算出手段と、
   前記加重平均算出手段により算出された時空間領域毎の分光情報の加重平均から前記空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成する画像生成手段とを含むことを特徴とする請求項６に記載の分光画像生成装置。
8. 前記マトリクス生成手段は、
   前記第１の時空間領域の中心位置と、前記時系列スペクトルデータの各要素の位置との間の距離に基づいて規定される、所定のデータとの差異が最小となるように定められたマトリクスを生成する対象領域マトリクス生成手段と、
   前記第１の時空間領域の周縁の第２の時空間領域に含まれる各時空間領域の中心位置と、前記時系列スペクトルデータの各要素の位置との間の距離に基づいて規定される、所定の分光反射率のデータとの差異が最小となるように定められたマトリクスを生成する時空間領域マトリクス生成手段と
   を含むことを特徴とする請求項７に記載の分光画像生成装置。
9. 前記加重平均算出手段は、前記第１の分光情報算出手段により算出された第１の分光情報と、前記第２の分光情報算出手段により算出された第２の分光情報との加重平均を、前記第２の撮像素子から出力された撮像信号に含まれる画像データに含まれる全時空間領域に関して、時空間領域に含まれる要素毎に算出することを特徴とする請求項７に記載の分光画像生成装置。
10. 相異なる特性を有する複数の撮像素子の出力画像から分光画像を生成する分光画像生成方法であって、
    波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子から出力された撮像信号に含まれる画像データから、縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータを生成するスペクトルデータ生成工程と、
    波長方向のチャネル数が少なくとも３以下で、かつ、前記第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、前記第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の撮像素子から出力された撮像信号に含まれる縦方向にＮ１個、横方向にＮ２個の画素の画像データから分光画像を生成するための複数のマトリクスを前記スペクトルデータ生成工程により生成されたスペクトルデータから生成するマトリクス生成工程と、
    前記マトリクス生成工程により生成された各マトリクスを前記第２の撮像素子から出力された撮像信号に含まれるＮ１×Ｎ２個の画素の画像データに作用させることによって、空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成する分光画像生成工程と、
    前記分光画像生成工程により生成された分光画像を出力する分光画像出力工程と
    を含むことを特徴とする分光画像生成方法。
11. 前記マトリクス生成工程では、前記第１の撮像素子から出力された撮像信号に含まれる画像データを構成する要素毎に、当該画像データ内の要素毎に含まれる光の波長毎の強度分布を示すスペクトルデータを生成し、
    前記マトリクス生成工程では、前記スペクトルデータ生成工程により生成された要素毎のスペクトルデータから、前記第1の撮像素子から出力された映像信号に含まれる画像データを構成する領域毎のマトリクスを生成し、
    前記分光画像生成工程は、
    前記マトリクス生成工程により生成されたマトリクスのうち、前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の第１領域に対して生成されたマトリクスを前記第２の撮像素子から出力された撮像信号に含まれ、かつ、前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の第１領域に対応する第３領域の画像データに作用させて第３領域の第１の分光情報を算出する第１の分光情報算出工程と、
    前記マトリクス生成工程により生成されたマトリクスのうち、前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の第１領域の周縁に存在する第２領域に対して生成されたマトリクスを前記第２の撮像素子から出力された撮像信号に含まれ、かつ、前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の第１領域に対応する第３領域に存在する画像データに作用させて第３領域に存在する第２の分光情報を算出する第２の分光情報算出工程と、
    前記第１の分光情報算出工程により算出された第１の分光情報と、前記第２の分光情報算出工程により算出された第２の分光情報との加重平均を前記第２の撮像素子から出力された撮像信号に含まれる画像データの全領域に関して、領域毎に算出する加重平均算出工程と、
    前記加重平均算出工程により算出された領域毎の分光情報の加重平均から前記空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成する画像生成工程とを含むことを特徴とする請求項１０に記載の分光画像生成方法。
12. 前記マトリクス生成工程は、
    前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の第１領域の中心位置と、前記スペクトルデータの各要素の位置との間の距離に基づいて規定される、所定のデータとの差異が最小となるように定められたマトリクスを生成する対象領域マトリクス生成工程と、
    前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の第１領域の周縁に存在する第２領域に含まれる各領域の中心位置と、前記スペクトルデータの各要素の位置との間の距離に基づいて規定される、所定のデータとの差異が最小となるように定められたマトリクスを生成する周縁領域マトリクス生成工程と
    を含むことを特徴とする請求項１０に記載の分光画像生成方法。
13. 前記加重平均算出工程では、前記第１領域及び前記第２の領域が含まれる第４の領域内の要素数で規定される重み付け関数を用いて、前記第１の分光情報算出工程により算出された第１の分光情報と、前記第２の分光情報算出工程により算出された第２の分光情報との加重平均を、前記第２の撮像素子から出力された撮像信号に含まれる画像データに含まれる全領域に関して算出することを特徴とする請求項１１に記載の分光画像生成方法。
14. 前記第１の撮像素子から出力された撮像信号に含まれる画像データ内の要素の数と、前記第1の撮像素子から出力された撮像信号に含まれる画像データ内の領域の数と、前記第２の撮像素子から出力された撮像信号に含まれる画像データ内の領域の数とは、略同一の数であることを特徴とする請求項１０乃至請求項１３の何れか１項に記載の分光画像生成方法。
15. 相異なる特性を有する複数の撮像素子の出力画像から分光画像を生成する分光画像生成方法であって、
    波長方向のチャネル数が少なくとも４以上で、かつ、第１の空間解像度と第１の波長解像度とを有する第１の撮像素子から出力された第１のフレームレートを有する撮像信号から縦方向にＭ１個、横方向にＭ２個、波長方向にＬ個の要素を有するスペクトルデータを生成するスペクトルデータ生成工程と、
    波長方向のチャネル数が少なくとも３以下で、かつ、前記第１の撮像素子の有する空間解像度よりも高い第２の空間解像度と、前記第１の撮像素子の有する第１の波長解像度よりも低い第２の波長解像度とを有する第２の撮像素子から出力された前記第１のフレームレートよりも高い第２のフレームレートを有する撮像信号に含まれる縦方向にＮ１個、横方向にＮ２個の画素の画像データから分光画像を生成するための複数のマトリクスを前記スペクトルデータ生成工程により生成されたスペクトルデータから生成するマトリクス生成工程と、
    前記マトリクス生成工程により生成された各マトリクスを、前記第２の撮像素子から出力された撮像信号に含まれるＮ１×Ｎ２個の画素の画像データに作用させることによって、空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成する分光画像生成工程と、
    前記分光画像生成工程により生成された分光画像を出力する分光画像出力工程と
    を含むことを特徴とする分光画像生成方法。
16. 前記マトリクス生成工程では、前記第１の撮像素子から出力された撮像信号に含まれる画像データを構成する要素毎に、当該画像データ内の要素毎に含まれる光の波長毎の強度分布を示す時系列スペクトルデータを生成し、
    前記マトリクス生成工程では、前記スペクトルデータ生成工程により生成された時系列スペクトルデータから、前記第１の撮像素子から出力された撮像信号に含まれる画像データを構成する時空間領域毎のマトリクスを生成し、
    前記分光画像生成工程は、
    前記第１の撮像素子から出力された撮像信号に含まれる画像データの第１の時空間領域に対して生成されたマトリクスを、前記第２の撮像素子から出力された撮像信号に含まれ、かつ、前記第１の時空間領域に対応する第３の時空間領域の画像データに作用させて第３の時空間領域の第１の分光情報を算出する第１の分光情報算出工程と、
    前記第１の時空間領域の周縁に存在する第２の時空間領域に対して生成されたマトリクスを前記第２の撮像素子から出力された撮像信号に含まれ、かつ、前記第１の時空間領域に対応する第３の時空間領域に存在する画像データに作用させて第３の時空間領域の第２の分光情報を算出する第２の分光情報算出工程と、
    前記第１の分光情報算出工程により算出された第１の分光情報と、前記第２の分光情報算出手段により算出された第２の分光情報との加重平均を前記第２の撮像素子から出力された撮像信号に含まれる画像データに含まれる全時空間領域に関して、時空間領域毎に算出する加重平均算出工程と、
    前記加重平均算出工程により算出された時空間領域毎の分光情報の加重平均から前記空間方向にＮ１×Ｎ２個の画素と、波長方向にＬ個の要素とを有する分光画像を生成する画像生成工程とを含むことを特徴とする請求項１５に記載の分光画像生成方法。
17. 前記マトリクス生成工程は、
    前記第１の時空間領域の中心位置と、前記時系列スペクトルデータの各要素の位置との間の距離に基づいて規定される、所定のデータとの差異が最小となるように定められたマトリクスを生成する対象領域マトリクス生成工程と、
    前記第１の時空間領域の周縁の第２の時空間領域に含まれる各時空間領域の中心位置と、前記時系列スペクトルデータの各要素の位置との間の距離に基づいて規定される、所定の分光反射率のデータとの差異が最小となるように定められたマトリクスを生成する時空間領域マトリクス生成工程と
    を含むことを特徴とする請求項１６に記載の分光画像生成方法。
18. 前記加重平均算出工程では、前記第１の分光情報算出工程により算出された第１の分光情報と、前記第２の分光情報算出工程により算出された第２の分光情報との加重平均を、前記第２の撮像素子から出力された撮像信号に含まれる画像データに含まれる全時空間領域に関して、時空間領域に含まれる要素毎に算出することを特徴とする請求項１６に記載の分光画像生成方法。

Images