JP7262003B2 - 撮像装置および分光システム - Google Patents

Description

本開示は、分光画像を取得するための符号化素子、撮像装置、分光システムおよびそれらを用いた分光方法に関する。

各々が狭帯域である多数のバンド（例えば数十バンド以上）のスペクトル情報を活用することで、従来のＲＧＢ画像では不可能であった観測物の詳細な物性を把握することができる。この多波長の情報を取得するカメラは、「ハイパースペクトルカメラ」と呼ばれる。ハイパースペクトルカメラは、食品検査、生体検査、医薬品開発、鉱物の成分分析等のあらゆる分野で利用されている。

観測対象の波長を狭帯域に限定して取得された画像の活用例として、特許文献１は、被験体の腫瘍部位と非腫瘍部位との判別を行う装置を開示している。この装置は、励起光の照射により、癌細胞内に蓄積されるプロトポルフィリンＩＸが６３５ｎｍの蛍光を発し、フォト－プロトポルフィリンが６７５ｎｍの蛍光を発することを検出する。これにより、腫瘍部位と非腫瘍部位との識別を行う。

特許文献２は、時間経過に伴って低下する生鮮食品の鮮度を、連続的な多波長の光の反射率特性の情報を取得することで判定する方法を開示している。

多波長の画像または反射率を測定できるハイパースペクトルカメラは、以下の４つの方式に大別できる。
（ａ）ラインセンサ方式
（ｂ）電子フィルタ方式
（ｃ）フーリエ変換方式
（ｄ）干渉フィルタ方式

（ａ）ラインセンサ方式では、ライン状のスリットを有する部材を用いて対象物の１次元情報が取得される。スリットを通過した光は、回折格子またはプリズムなどの分光素子によって波長に応じて分離される。分離された波長ごとの光は、２次元に配列された複数の画素を有する撮像素子（イメージセンサ）によって検出される。この方式では、一度に対象物の１次元情報しか得られないため、カメラ全体あるいは測定対象物をスリット方向に垂直に走査することによって２次元のスペクトル情報を得る。ラインセンサ方式では、高解像度の多波長画像が得られるという利点がある。特許文献３は、ラインセンサ方式のハイパースペクトルカメラの例を開示している。

（ｂ）電子フィルタ方式には、液晶チューナブルフィルタ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｔｕｎａｂｌｅ Ｆｉｌｔｅｒ：ＬＣＴＦ）を用いる方法と、音響光学素子（Ａｃｏｕｓｔｏ－Ｏｐｔｉｃ Ｔｕｎａｂｌｅ Ｆｉｌｔｅｒ：ＡＯＴＦ）を用いる方法とがある。液晶チューナブルフィルタは、リニアポラライザ、複屈折フィルタ、および液晶セルを多段に並べた素子である。電圧制御だけで不要な波長の光を排除し任意の特定波長の光のみを抽出できる。音響光学素子は、圧電素子が接着された音響光学結晶によって構成される。音響光学結晶に電気信号を印加すると、超音波が発生し、結晶内に疎密の定常波が形成される。それによる回折効果によって任意の特定波長の光のみを抽出することができる。この方式は、波長が限定されるが高解像度の動画のデータを取得できるという利点がある。

（ｃ）フーリエ変換方式は、２光束干渉計の原理を用いる。測定対象からの光束はビームスプリッターで分岐され、それぞれの光束が固定ミラーおよび移動ミラーで反射され、再度結合した後、検出器で観測される。移動ミラーの位置を時間的に変動させることにより、光の波長に依存した干渉の強度変化を示すデータを取得することができる。得られたデータをフーリエ変換することにより、スペクトル情報が得られる。フーリエ変換方式の利点は、多波長の情報を同時に取得できることである。

（ｄ）干渉フィルタ方式は、ファブリペロー干渉計の原理を用いた方式である。所定の間隔だけ離れた反射率の高い２つの面を有する光学素子をセンサ上に配置した構成が用いられる。光学素子の２面間の間隔は領域ごとに異なり、所望の波長の光の干渉条件に一致するように決定される。干渉フィルタ方式は、多波長の情報を同時にかつ動画で取得できるという利点がある。

これらの方式以外にも、例えば特許文献４に開示されているように、圧縮センシングを利用した方法もある。特許文献４に開示された装置は、測定対象からの光をプリズム等の第１の分光素子で分光した後、符号化マスクでマーキングし、さらに第２の分光素子によって光線の経路を戻す。これにより、符号化され、かつ波長軸に関して多重化された画像がセンサによって取得される。多重化された画像から圧縮センシングの適用により、多波長の複数枚の画像を再構成することができる。

圧縮センシングとは、少ないサンプル数の取得データから、それよりも多くのデータを復元する技術である。測定対象の２次元座標を（ｘ、ｙ）、波長をλとすると、求めたいデータｆは、ｘ、ｙ、λの３次元のデータである。これに対し、センサによって得られる画像データｇは、λ軸方向に圧縮および多重化された２次元のデータである。相対的にデータ量が少ない取得画像ｇから、相対的にデータ量が多いデータｆを求める問題は、いわゆる不良設定問題であり、このままでは解くことができない。しかし、一般に、自然画像のデータは冗長性を有しており、それを巧みに利用することでこの不良設定問題を良設定問題に変換することができる。画像の冗長性を活用してデータ量を削減する技術の例に、ｊｐｅｇ圧縮がある。ｊｐｅｇ圧縮は、画像情報を周波数成分に変換し、データの本質的でない部分、例えば、視覚の認識性が低い成分を除去するといった方法が用いられる。圧縮センシングでは、このような技法を演算処理に組入れ、求めたいデータ空間を冗長性で表された空間に変換することで未知数を削減し解を得る。この変換には、例えば、離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、トータルバリエーション（ＴＶ）等が使用される。

国際公開第１３／００２３５０号 特開２００７－１０８１２４号公報 特開２０１１－８９８９５号公報 米国特許第７２８３２３１号明細書

従来の圧縮センシングを利用したハイパースペクトルカメラでは、プリズム等の分光素子が光路上に挿入される。このため、コマ収差が発生し、解像度が低下するという課題があった。

本開示は、コマ収差の発生およびそれに伴う解像度の低下を抑制し得る新たな撮像技術を提供する。

本開示の一態様に係る撮像装置は、対象物から入射する光の光路上に２次元に配列された複数の領域を有する第１符号化素子と、前記第１符号化素子を通過した光の光路上に配置された撮像素子とを備え、前記複数の領域の各々は、第１領域および第２領域を含み、前記第１領域の光透過率の波長分布は、互いに異なる第１波長域および第２波長域においてそれぞれ極大値を有し、前記第２領域の光透過率の波長分布は、互いに異なる第３波長域および第４波長域においてそれぞれ極大値を有し、前記第１領域の光透過率の波長分布を、前記第１領域の光透過率の最大値が１、最小値が０となるように正規化したとき、前記第１波長域および前記第２波長域における前記極大値はいずれも０．５以上であり、前記第２領域の光透過率の波長分布を、前記第２領域の分光透過率の最大値が１、最小値が０となるように正規化したとき、前記第３波長域および前記第４波長域における前記極大値はいずれも０．５以上であり、前記第１波長域および前記第２波長域のうち少なくとも１つは、前記第３波長域および前記第４波長域と異なり、前記撮像素子は、前記第１符号化素子を通過した光の前記第１波長域、前記第２波長域、前記第３波長域および第４波長域の成分が重畳された画像を取得する。

本開示によれば、コマ収差の発生およびそれに伴う解像度の低下を抑制することができる。

図１Ａは、実施の形態１における符号化素子Ｃの構成を模式的に示す図である。 図１Ｂは、実施の形態１における符号化素子Ｃの対象波長域に含まれる複数の波長域Ｗ１、Ｗ２、・・・、Ｗｉのそれぞれの光の透過率の空間分布の一例を示す図である。 図１Ｃは、実施の形態１における符号化素子Ｃの２つの領域Ａ１における分光透過率の例を示す図である。 図１Ｄは、実施の形態１における符号化素子Ｃの２つの領域Ａ２における分光透過率の例を示す図である。 図２Ａは、対象波長域Ｗと、それに含まれる複数の波長域Ｗ１、Ｗ２、・・・、Ｗｉとの関係を説明するための図である。 図２Ｂは、波長域によって帯域幅が異なり、かつ、隣接する２つの波長域の間にギャップがある例を示す図である。 図３Ａは、符号化素子Ｃのある領域における分光透過率の特性を説明するための図である。 図３Ｂは、図３Ａに示す分光透過率を、波長域Ｗ１、Ｗ２、・・・、Ｗｉごとに平均化した結果を示す図である。 図４は、本開示の実施の形態２の撮像装置Ｄ１を示す模式図である。 図５Ａは、本実施の形態における符号化素子Ｃの透過率分布の例を示す図である。 図５Ｂは、符号化素子Ｃの他の構成例を示す図である。 図６Ａは、図５Ａに示すバイナリースケールの透過率分布をもつ符号化素子Ｃにおけるある領域における分光透過率を近似的に示す図である。 図６Ｂは、図５Ａに示すバイナリースケールの透過率分布をもつ符号化素子Ｃにおけるある領域における分光透過率の例を示す図である。 図７は、実施の形態２における分光方法の概要を示すフローチャートである。 図８Ａは、本開示の実施の形態３における撮像装置Ｄ２を示す模式図である。 図８Ｂは、本開示の実施の形態３の変形例における撮像装置Ｄ２’を示す模式図である。 図９は、本開示の実施例１において分光分離画像Ｆを再構成した結果の一例を示す図である。 図１０は、比較例１において分光分離画像Ｆを再構成した結果の一例を示す図である。 図１１は、実施例１および比較例１のそれぞれにおける正解画像に対する平均二乗誤差（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ：ＭＳＥ）を示す図である。 図１２は、本開示の実施の形態４の分光システムＳ１を示す模式図である。 図１３Ａは、図１２に示す撮像装置Ｄ４における狭帯域符号化素子の分光透過率の例を示す図である。 図１３Ｂは、図１２に示す撮像装置Ｄ４における狭帯域符号化素子の分光透過率の他の例を示す図である。 図１３Ｃは、狭帯域符号化素子の分光透過率の他の例を示す図である。 図１３Ｄは、狭帯域符号化素子の分光透過率の他の例を示す図である。 図１３Ｅは、狭帯域符号化素子の分光透過率の他の例を示す図である。 図１４Ａは、対象波長域Ｗと、それに含まれる複数の波長帯域Ｗ１、Ｗ２、・・・、Ｗｎとの関係を説明する図である。 図１４Ｂは、波長帯域によって帯域幅が異なり、かつ、隣接する２つの波長帯域の間にギャップがある例を示す図である。 図１５は、分光システムＳ１における撮像装置Ｄ４の他の構成例を示す図である。 図１６Ａは、図１２に示す撮像装置Ｄ４における空間変調符号化素子ＣＳの構成を模式的に示す図である。 図１６Ｂは、図１２に示す撮像装置Ｄ４における空間変調符号化素子ＣＳの対象波長域に含まれる複数の波長域Ｗ１、Ｗ２、・・・、Ｗｉのそれぞれの光の透過率の空間分布の一例を示す図である。 図１６Ｃは、図１２に示す撮像装置Ｄ４における空間変調符号化素子ＣＳの領域Ａ１における分光透過率の例を示す図である。 図１６Ｄは、図１２に示す撮像装置Ｄ４における空間変調符号化素子ＣＳの領域Ａ２における分光透過率の例を示す図である。 図１７は、空間変調符号化素子ＣＳのある領域における分光透過率の波長分解能を説明する図である。 図１８Ａは、狭帯域符号化素子Ｃ１を透過した際に得られる光の波長および強度の例を示す図である。 図１８Ｂは、空間変調符号化素子ＣＳを透過した際に得られる光の波長および強度の例を示す図である。 図１８Ｃは、狭帯域符号化素子Ｃ１と空間変調符号化素子ＣＳとの両方を透過した際に得られる光の波長および強度の例を示す図である。 図１９は、狭帯域符号化素子Ｃ１と空間変調符号化素子ＣＳとの両方を透過した際に得られる光の波長および強度の例を示す図である。 図２０Ａは、バイナリースケールの分光透過率の一例を示す図である。 図２０Ｂは、バイナリースケールの分光透過率の他の一例を示す図である。 図２１Ａは、実施の形態４における空間変調符号化素子ＣＳの透過率分布の例を示す図である。 図２１Ｂは、実施の形態４における空間変調符号化素子ＣＳの他の透過率分布の示す図である。 図２２は、実施の形態４における分光方法の概要を示すフローチャートである。

本開示の実施の形態を説明する前に、本発明者によって見出された知見を説明する。

本発明者の検討によれば、上述した従来のハイパースペクトルカメラには、以下のような課題がある。（ａ）ラインセンサ方式は、２次元画像を得るためにカメラを走査する必要があり、測定対象の動画撮影には不向きである。（ｃ）フーリエ変換方式も、反射鏡を移動させる必要があるため、動画撮影には不向きである。（ｂ）電子フィルタ方式は、１波長ずつ画像を取得するため、多波長の画像を同時に取得できない。（ｄ）干渉フィルタ方式は、画像を取得できる波長の帯域数と空間分解能とがトレードオフとなるため、多波長画像を取得する場合、空間分解能が犠牲になる。このように、既存のハイパースペクトルカメラには、高解像度、多波長、動画撮影（ワンショット撮影）の３つを同時に満足するものは存在しない。

圧縮センシングを利用した構成は、一見すると高解像度、多波長、動画撮影を同時に満たすことができるようにも思われる。しかし、もともと少ないデータから推測に基づいて画像を再構成するため、取得される画像の空間解像度は本来の画像に比べて低下しやすい。特に取得データの圧縮率が高いほどその影響が顕著に現れる。さらに、プリズム等の分光素子が光路上に挿入されるため、コマ収差が発生し、解像度が低下するという課題があった。

本発明者は、上記の課題を見出し、これらの課題を解決するための構成を検討した。本発明者は、符号化素子の各領域における分光透過率を適切に設計することにより、コマ収差の発生を抑え、解像度を向上させることができることを見出した。本開示のある実施の形態によれば、高解像度、多波長、動画撮影（ワンショット撮影）の３つの要求を同時に満たすことができる。また、本開示の実施の形態では、ｘ方向、ｙ方向、波長方向の３次元情報のうち波長方向の情報が圧縮される。したがって、２次元データを保有するだけで済み、データ量を抑えることができる。このため、本開示の実施の形態は長時間のデータ取得に有効である。

本開示は、以下の項目に記載の撮像装置、システム、および方法を含む。

［項目１］
対象物から入射する光の光路上に２次元に配列された複数の領域を有する第１符号化素子と、
前記第１符号化素子を通過した光の光路上に配置された撮像素子とを備え、
前記複数の領域は、第１領域および第２領域を含み、
前記第１領域の光透過率の波長分布は、互いに異なる第１波長域および第２波長域においてそれぞれ極大値を有し、
前記第２領域の光透過率の波長分布は、互いに異なる第３波長域および第４波長域においてそれぞれ極大値を有し、
前記第１領域の光透過率の波長分布を、前記第１領域の光透過率の最大値が１、最小値が０となるように正規化したとき、前記第１波長域および前記第２波長域における前記極大値はいずれも０．５以上であり、
前記第２領域の光透過率の波長分布を、前記第２領域の分光透過率の最大値が１、最小値が０となるように正規化したとき、前記第３波長域および前記第４波長域における前記極大値はいずれも０．５以上であり、
前記第１波長域および前記第２波長域のうち少なくとも１つは、前記第３波長域および
第４波長域と異なり、
前記撮像素子は、前記第１符号化素子を通過した光の前記第１波長域、前記第２波長域、前記第３波長域および第４波長域の成分が重畳された画像を取得する撮像装置。

［項目２］
前記複数の領域の一部は透明領域である、項目１に記載の撮像装置。

［項目３］
２次元に配列された前記複数の領域は、前記複数の領域の一方の配列方向および前記一方の配列方向に垂直な他方の配列方向において、光透過率が波長によって異なる領域と、前記透明領域とが、交互に配列されている、項目２に記載の撮像装置。

［項目４］
前記複数の領域は、行列状に２次元に配列されており、
前記複数の領域に含まれる１つの行または列に並んだ領域の集合に属する各領域における第５波長域の光の透過率の値を要素とするベクトルと、前記複数の領域に含まれる他の行または列に並んだ領域の集合に属する各領域における前記第５波長域の光の透過率の値を要素とするベクトルとは、互いに独立であり、
前記複数の領域に含まれる１つの行または列に並んだ領域の集合に属する各領域における第６波長域の光の透過率の値を要素とするベクトルと、前記複数の領域に含まれる他の行または列に並んだ領域の集合に属する各領域における前記第６波長域の光の透過率の値を要素とするベクトルとは、互いに独立である、項目１から３のいずれかに記載の撮像装置。

［項目５］
前記対象物と前記第１符号化素子との間に配置され、前記対象物からの光を、前記第１符号化素子の面上に集束させる光学系をさらに備え、
前記第１符号化素子は、前記撮像素子上に配置されている、項目１から４のいずれかに記載の撮像装置。

［項目６］
前記撮像素子は複数の画素を含み、
前記複数の領域は、前記複数の画素にそれぞれ対応するように配置されている、項目５に記載の撮像装置。

［項目７］
前記対象物と前記第１符号化素子との間に配置され、前記対象物からの光を、前記撮像素子の面上に集束させる光学系をさらに備え、
前記第１符号化素子と前記撮像素子とが離れて配置されている、項目１から４のいずれかに記載の撮像装置。

［項目８］
前記第１符号化素子と前記撮像素子との間に配置され、前記第１符号化素子を通過した前記対象物からの光を、前記撮像素子の面上に集束させる光学系をさらに備えている、項目１から４のいずれかに記載の撮像装置。

［項目９］
前記撮像素子によって取得された画像と、前記第１符号化素子における光透過率の空間分布および波長分布とに基づいて、前記第１符号化素子を通過した光の波長域ごとの複数の画像を生成する信号処理回路をさらに備える、項目１から８のいずれかに記載の撮像装
置。

［項目１０］
前記信号処理回路は、統計的方法によって前記波長域ごとの複数の画像を生成する、項目９に記載の撮像装置。

［項目１１］
前記波長域ごとの複数の画像におけるデータ数は、前記撮像素子によって取得された前記画像におけるデータ数よりも多い、項目９または１０に記載の撮像装置。

［項目１２］
前記撮像素子は複数の画素を含み、
前記信号処理回路は、前記撮像素子によって取得された前記画像における前記複数の画素の信号値を要素とするベクトルｇと、前記第１符号化素子における光透過率の空間分布および波長分布によって決定される行列Ｈとを用いて、

（Φ（ｆ）は正則化項、τは重み係数）
の式に基づいて推定されるベクトルｆ’を、前記波長域ごとの複数の画像として生成する、
項目９から１１のいずれかに記載の撮像装置。

［項目１３］
前記信号処理回路は、前記波長域ごとの複数の画像を動画像として生成する、項目９から１２のいずれかに記載の撮像装置。

［項目１４］
光透過率が空間方向に一様であり、かつ波長方向に複数の透光領域と複数の遮光領域とを有する少なくとも１つの第２符号化素子をさらに備え、
前記撮像素子は、前記第１符号化素子および前記少なくとも１つの第２符号化素子を通過した光の光路上に配置される、項目１から１３のいずれかに記載の撮像装置。

［項目１５］
前記少なくとも１つの第２符号化素子は、
前記複数の透光領域の波長幅が全て等しく、最近接した２つの前記透光領域の間に存在する前記遮光領域の波長幅が全て等しい、項目１４に記載の撮像装置。

［項目１６］
前記少なくとも１つの第２符号化素子は複数の第２符号化素子を備え、
前記複数の第２符号化素子のうちの１つにおける前記複数の透光領域の波長域は、前記複数の第２符号化素子のうちの他の１つにおける前記複数の透光領域の波長域と異なる、項目１４または１５に記載の撮像装置。

［項目１７］
前記撮像素子によって出力された画像と、前記第１符号化素子の光透過率の空間分布及び波長分布と、前記第２符号化素子の光透過率の波長分布とに基づいて、前記第１符号化素子及び前記第２符号化素子を通過した光の波長域ごとの複数の画像を生成する信号処理回路をさらに備える、項目１４から１６のいずれかに記載の撮像装置。

［項目１８］
前記複数の領域の各々における光透過率の波長分布が、ランダム分布である、項目１から１７のいずれかに記載の撮像装置。

［項目１９］
前記第１波長域、前記第２波長域、前記第３波長域、および前記第４波長域の各々における前記第１符号化素子の光透過率の空間分布が、ランダム分布である、項目１から１８のいずれかに記載の撮像装置。

［項目２０］
対象物から入射する光の光路上に２次元に配列された複数の領域を有する符号化素子と、
前記第１符号化素子を通過した光の光路上に配置された撮像素子とを備え、
前記複数の領域は、第１領域および第２領域を含み、
前記第１領域の光透過率の波長分布は、互いに異なる第１波長域および第２波長域においてそれぞれ極大値を有し、
前記第２領域の光透過率の波長分布は、互いに異なる第３波長域および第４波長域においてそれぞれ極大値を有し、
前記第１領域の光透過率の波長分布を、前記第１領域の光透過率の最大値が１、最小値が０となるように正規化したとき、前記第１波長域および前記第２波長域における前記極大値はいずれも０．５以上であり、
前記第２領域の光透過率の波長分布を、前記第２領域の分光透過率の最大値が１、最小値が０となるように正規化したとき、前記第３波長域および前記第４波長域における前記極大値はいずれも０．５以上であり、
前記第１波長域および前記第２波長域のうち少なくとも１つは、前記第３波長域および第４波長域と異なり、
前記撮像素子は、前記第１符号化素子を通過した光の前記第１波長域、前記第２波長域、前記第３波長域および第４波長域の成分が重畳された画像を取得する撮像装置と、
前記撮像素子によって取得された画像と、前記第１符号化素子における光透過率の空間分布および波長分布とに基づいて、前記第１符号化素子を通過した光の波長域ごとの複数の画像を生成する信号処理装置と、
を備える分光システム。

［項目２１］
複数の互いに異なる波長域ごとの画像を生成する分光システムにおいて用いられる符号化素子であって、
２次元に配列された複数の領域を有し、前記複数の領域は、分光透過率が互いに異なる２以上の領域を含み、前記２以上の領域の各々における分光透過率は、前記複数の波長域の少なくとも２つにおいて極大値を有する、
符号化素子。

［項目２２］
前記極大値における光透過率は０．８以上である、項目２１に記載の符号化素子。

［項目２３］
前記２以上の領域における前記少なくとも２つの波長域の組み合わせが互いに異なる、項目２１または２２に記載の符号化素子。

［項目２４］
前記複数の領域の一部は透明領域である、項目２１から２３のいずれかに記載の符号化素子。

［項目２５］
前記複数の領域の２つの配列方向において、光透過率が波長によって異なる領域と、前記透明領域とが、交互に配列されている、項目２４に記載の符号化素子。

［項目２６］
第１の波長域の画像および第２の波長域の画像を含む複数の波長域ごとの画像を生成する分光システムにおいて用いられる符号化素子であって、
行列状に２次元に配列された複数の領域を有し、
前記複数の領域に含まれる１つの行または列に並んだ領域の集合に属する各領域における前記第１の波長域の光の透過率の値を要素とするベクトルと、前記複数の領域に含まれる他の行または列に並んだ領域の集合に属する各領域における前記第１の波長域の光の透過率の値を要素とするベクトルとは、互いに独立であり、
前記複数の領域に含まれる１つの行または列に並んだ領域の集合に属する各領域における前記第２の波長域の光の透過率の値を要素とするベクトルと、前記複数の領域に含まれる他の行または列に並んだ領域の集合に属する各領域における前記第２波長域の光の透過率の値を要素とするベクトルとは、互いに独立であり、
前記複数の領域に含まれる２以上の領域の各々における分光透過率は、前記第１および第２の波長域の少なくとも２つにおいて極大値を有する、符号化素子。

［項目２７］
対象物から入射する光の光路上に配置された項目２１から２６のいずれかに記載の符号化素子と、
前記符号化素子を通過した光の光路上に配置され、前記符号化素子を通過した前記複数の波長域の成分が重畳した画像を取得する撮像素子と、
を備える撮像装置。

［項目２８］
前記対象物と前記符号化素子との間に配置され、前記対象物からの光を、前記符号化素子の面上に集束させる光学系をさらに備え、
前記符号化素子は、前記撮像素子上に配置されている、
項目２７に記載の撮像装置。

［項目２９］
前記符号化素子における前記複数の領域は、前記撮像素子における複数の画素にそれぞれ対応するように配置されている、項目２８に記載の撮像装置。

［項目３０］
前記対象物と前記符号化素子との間に配置され、前記対象物からの光を、前記撮像素子の面上に集束させる光学系をさらに備え、
前記符号化素子と前記撮像素子とが離れて配置されている、
項目２７に記載の撮像装置。

［項目３１］
前記符号化素子と前記撮像素子との間に配置され、前記符号化素子を通過した前記対象物からの光を、前記撮像素子の面上に集束させる光学系をさらに備えている、項目２７に記載の撮像装置。

［項目３２］
前記撮像素子によって取得された画像と、前記符号化素子における分光透過率の空間分布とに基づいて、前記符号化素子を通過した光の波長域ごとの複数の画像を生成する信号処理回路をさらに備える、項目２７から３１のいずれかに記載の撮像装置。

［項目３３］
前記信号処理回路は、統計的方法によって前記波長域ごとの複数の画像を生成する、項目３２に記載の撮像装置。

［項目３４］
前記光の波長域ごとの複数の画像におけるデータ数は、前記撮像素子によって取得される前記画像におけるデータ数よりも多い、項目３２または３３に記載の撮像装置。

［項目３５］
前記信号処理回路は、前記撮像素子によって取得される前記画像における複数の画素の信号値を要素とするベクトルｇと、前記符号化素子における分光透過率の空間分布によって決定される行列Ｈとを用いて、

（Φ（ｆ）は正則化項、τは重み係数）
の式に基づいて推定されるベクトルｆ’を、前記波長域ごとの複数の画像として生成する、
項目３２から３４のいずれかに記載の撮像装置。

［項目３６］
前記信号処理回路は、前記波長域ごとの複数の画像を動画像として生成する、項目３２から３５のいずれかに記載の撮像装置。

［項目３７］
項目２７から３１のいずれかに記載の撮像装置と、
前記撮像素子によって取得された画像と、前記符号化素子における分光透過率の空間分布とに基づいて、前記符号化素子を通過した光の波長域ごとの複数の画像を生成する信号処理装置と、
を備える分光システム。

［項目３８］
対象物から入射する光の光路上に配置された項目２１から２６のいずれかに記載の符号化素子を用いて入射光の強度を変調させるステップと、
前記符号化素子を通過した光の複数の波長域の成分が重畳した画像を取得するステップと、
前記画像と、前記符号化素子における分光透過率の空間分布とに基づいて、前記符号化素子を通過した光の波長域ごとの複数の画像を生成するステップと、
を含む分光方法。

［項目４１］
異なる波長帯域ごとの複数の画像を生成する分光システムに用いられる撮像装置であって、光透過率が空間方向に一様であり、かつ波長方向に複数の透光領域と複数の遮光領域とを有する狭帯域符号化素子と、前記狭帯域符号化素子を通過する光の経路上に配置され
、空間方向に複数の透光領域と複数の遮光領域とを有する空間変調符号化素子と、前記狭帯域符号化素子及び前記空間変調符号化素子によって符号化された光を取得する撮像素子と、を備える撮像装置。

［項目４２］
前記狭帯域符号化素子は、前記複数の透光領域の波長幅が全て等しく、最近接した２つの前記透光領域の間に存在する前記遮光領域の波長幅が全て等しい、項目４１に記載の撮像装置。

［項目４３］
前記狭帯域符号化素子を複数有し、複数の前記狭帯域符号化素子における前記複数の透光領域は互いに異なる波長領域である、項目４１または４２に記載の撮像装置。

［項目４４］
複数の前記狭帯域符号化素子における前記複数の透光領域が、全ての前記異なる波長帯域を含む、項目４３に記載の撮像装置。

［項目４５］
前記空間変調符号化素子は、前記複数の透光領域及び前記複数の遮光領域の空間分布が前記異なる波長帯域に応じて異なる、項目４１から４４のいずれかに記載の撮像装置。

［項目４６］
前記狭帯域符号化素子を通過する光の経路上に配置され、光を波長に応じて空間方向に分散させる分光素子をさらに備え、前記空間変調符号化素子は、光透過率が波長方向に一様である、項目４１から４４のいずれかに記載の撮像装置。

［項目４７］
項目４５に記載の撮像装置と、前記撮像装置において前記撮像素子から出力された撮影画像と、前記狭帯域符号化素子の光透過率の波長分布情報と、前記空間変調符号化素子の光透過率の空間分布情報及び波長分布情報と、に基づいて、異なる波長帯域ごとの複数の画像を生成する信号処理回路と、を備える、分光システム。

［項目４８］
項目４６に記載の撮像装置と、前記撮像装置において前記撮像素子から出力された撮影画像と、前記狭帯域符号化素子の光透過率の波長分布情報と、前記空間変調符号化素子の光透過率の空間分布情報と、前記分光素子の分散特性とに基づいて、異なる波長帯域ごとの複数の画像を生成する信号処理回路と、を備える、分光システム。

［項目４９］
異なる波長帯域ごとの複数の画像を生成する分光システムに用いられる分光フィルタであって、空間方向に複数の透光領域と複数の遮光領域とを有し、前記複数の透光領域の波長幅が全て等しく、最近接した２つの前記透光領域の間に存在する前記遮光領域の波長幅が全て等しい、分光フィルタ。

［項目５０］
光透過率が空間方向に一様であり、かつ波長方向に複数の透光領域と複数の遮光領域とを有する第１の狭帯域符号化素子、及び第２の狭帯域符号化素子と、前記第１の狭帯域符号化素子または前記第２の狭帯域符号化素子を通過する光の経路上に配置され、空間方向に複数の透光領域と複数の遮光領域とを有する空間変調符号化素子と、前記第１の狭帯域符号化素子、前記第２の狭帯域符号化素子、及び前記空間変調符号化素子によって符号化
された光を取得する撮像素子と、を備える撮像装置を用いた分光方法であって、前記第１の狭帯域符号化素子及び前記空間変調符号化素子が、対象物からの光を符号化し、前記撮像素子が、前記第１の狭帯域符号化素子及び前記空間変調符号化素子が符号化した光を取得して第１の画素信号を生成し、前記第１の狭帯域符号化素子を前記第２の狭帯域符号化素子に交換し、前記第２の狭帯域符号化素子及び前記空間変調符号化素子が、前記対象物からの光を符号化し、前記撮像素子が、前記第２の狭帯域符号化素子及び前記空間変調符号化素子が符号化した光を取得して第２の画素信号を生成する、分光方法。

以下、図面を参照しながら、本開示のより具体的な実施の形態を説明する。以下の説明では、画像を示す信号（各画素の画素値を表す信号の集合）を、単に「画像」と称することがある。以下の説明において、図中に示されたｘｙｚ座標を用いる。

（実施の形態１）
図１Ａから図１Ｄは、実施の形態１における符号化素子Ｃを説明するための図である。符号化素子Ｃは、撮像対象の波長域に含まれる複数の波長域ごとの画像を生成する分光システムにおいて用いられる。本明細書において、撮像対象の波長域を「対象波長域」と称することがある。符号化素子Ｃは、対象物から入射する光の光路上に配置され、入射光の強度を波長ごとに変調して出力する。符号化素子Ｃによるこの過程を、本明細書では「符号化」と称する。符号化素子Ｃは、本開示における第１符号化素子に相当する。

図１Ａは、符号化素子Ｃの構成を模式的に示している。符号化素子Ｃは、２次元に配列された複数の領域を有する。各領域は、透光性の部材で形成され、個別に設定された分光透過率を有する。ここで、「分光透過率」とは、光透過率の波長分布を意味する。分光透過率は、入射光の波長をλとして、関数Ｔ（λ）で表される。分光透過率Ｔ（λ）は、０以上１以下の値を取り得る。図１Ａでは、６行８列に配列された４８個の矩形領域が例示されているが、実際の用途では、これよりも多くの領域が設けられ得る。その数は、例えば一般的な撮像素子（イメージセンサ）の画素数（例えば数十万から数千万）と同程度であり得る。ある例では、符号化素子Ｃは、撮像素子の直上に配置され、各領域が撮像素子の１つの画素に対応（対向）するように配置され得る。

図１Ｂは、対象波長域に含まれる複数の波長域Ｗ１、Ｗ２、・・・、Ｗｉのそれぞれの光の透過率の空間分布の一例を示している。この図において、各領域（セル）の濃淡の違いは、透過率の違いを表している。淡い領域ほど透過率が高く、濃い領域ほど透過率が低い。図１Ｂに示されるように、波長域によって光透過率の空間分布が異なっている。

図１Ｃおよび図１Ｄは、符号化素子Ｃにおける２つの領域Ａ１、Ａ２における分光透過率の例をそれぞれ示すグラフである。各グラフの横軸は波長、縦軸は光透過率を示している。分光透過率は、各領域の光透過率の最大値が１、最小値が０となるように正規化されている。領域Ａ１における分光透過率と領域Ａ２における分光透過率とは異なっている。このように、符号化素子Ｃにおける分光透過率は領域によって異なる。ただし、必ずしも全ての領域の分光透過率が異なっている必要はない。符号化素子Ｃにおける複数の領域のうちの少なくとも一部（２以上）の領域の分光透過率が互いに異なっていればよい。ある例では、符号化素子Ｃに含まれる複数の領域の分光透過率のパターンの数は、対象波長域に含まれる波長域の数ｉと同じか、それ以上であり得る。典型的には、符号化素子Ｃは、半数以上の領域で分光透過率が異なるように設計される。

図２Ａは、対象波長域Ｗと、それに含まれる複数の波長域Ｗ１、Ｗ２、・・・、Ｗｉとの関係を説明するための図である。対象波長域Ｗは、用途によって様々な範囲に設定され得る。対象波長域Ｗは、例えば可視光の波長域（約４００ｎｍ～約７００ｎｍ）、近赤外線の波長域（約７００ｎｍ～約２５００ｎｍ）、近紫外線の波長域（約１０ｎｍ～約４０
０ｎｍ）、その他、中赤外、遠赤外、あるいは、テラヘルツ波、ミリ波等の電波域であり得る。このように、使用される波長域は可視光域とは限らない。本明細書では、可視光に限らず、近紫外線、近赤外線、および電波などの非可視光も便宜上「光」と称する。

本実施形態では、図２Ａに示されるように、ｉを４以上の任意の整数として、対象波長域Ｗをｉ等分したそれぞれを波長域Ｗ１、Ｗ２、・・・、Ｗｉとしている。ただしこのような例に限定されない。対象波長域Ｗに含まれる複数の波長域は任意に設定してよい。例えば、波長域によってその幅（「帯域幅」と称する。）を不均一にしてもよい。隣接する波長域の間にギャップがあってもよい。図２Ｂは、波長域によって帯域幅が異なり、かつ、隣接する２つの波長域の間にギャップがある例を示している。このように、複数の波長域は、互いに異なっていればよく、その決め方は任意である。波長の分割数ｉは３以下でもよい。

図３Ａは、符号化素子Ｃのある領域における分光透過率の特性を説明するための図である。この例における分光透過率は、対象波長域Ｗ内の波長に関して、複数の極大値Ｐ１～Ｐ５および複数の極小値を有する。図３Ａに示す光透過率の波長分布は、対象波長域Ｗ内での光透過率の最大値が１、最小値が０となるように正規化されている。この例では、波長域Ｗ２、Ｗｉ－１等において分光透過率の極大値を有している。このように、本実施形態では、各領域の分光透過率は、複数の波長域Ｗ１～Ｗｉのうちの複数（少なくとも２つ）の波長域において極大値を有する。図３Ａからわかるように、極大値Ｐ１、Ｐ３、Ｐ４、およびＰ５は０．５以上である。

以上のように、各領域の光透過率は、波長によって異なる。したがって、符号化素子Ｃは、入射する光のうち、ある波長域の成分を多く透過させ、他の波長域の成分をそれほど透過させない。例えば、ｉ個の波長域のうちのｋ個（ｋは、２≦ｋ＜ｉを満たす整数）の波長域の光については、透過率が０．５（５０％）よりも大きく、残りのｉ－ｋ個の波長域の光については、透過率が０．５（５０％）未満であり得る。仮に入射光が、全ての可視光の波長成分を均等に含む白色光であった場合には、符号化素子Ｃは、入射光を領域ごとに、波長に関して離散的な複数の強度のピークを有する光に変調し、これらの多波長の光を重畳して出力する。

図３Ｂは、一例として、図３Ａに示す分光透過率を、波長域Ｗ１、Ｗ２、・・・、Ｗｉごとに平均化した結果を示す図である。平均化された透過率は、分光透過率Ｔ（λ）を波長域ごとに積分してその波長域の幅（帯域幅）で除算することによって得られる。本明細書では、このように波長域ごとに平均化した透過率の値を、その波長域における透過率と称する。この例では、極大値Ｐ１、Ｐ３、Ｐ５をとる３つの波長域において、透過率が突出して高くなっている。特に、極大値Ｐ３、Ｐ５をとる２つの波長域において、透過率が０．８（８０％）を超えている。

各領域の分光透過率の波長方向の分解能は、所望の波長域の幅（帯域幅）程度に設定され得る。言い換えれば、分光透過率曲線における１つの極大値（ピーク）を含む波長範囲のうち、当該極大値に最も近接する極小値と当該極大値との平均値以上の値をとる範囲の幅は、所望の波長域の幅（帯域幅）程度に設定され得る。この場合、分光透過率をフーリエ変換等を用いて周波数成分に分解すれば、その波長域に相当する周波数成分の値が相対的に大きくなる。

符号化素子Ｃは、典型的には、図１Ａに示すように、格子状に区分けされた複数の領域（セル）に分割される。これらのセルが互いに異なる分光透過率特性を有する。符号化素子Ｃにおける各領域の光透過率の波長分布および空間分布は、例えばランダム分布または準ランダム分布であり得る。

ランダム分布および準ランダム分布の考え方は次のとおりである。まず、符号化素子Ｃにおける各領域は、光透過率に応じて、例えば０から１の値を有するベクトル要素と考えることができる。ここで、透過率が０（０％）の場合、ベクトル要素の値は０であり、透過率が１（１００％）の場合、ベクトル要素の値は１である。言い換えると、行方向または列方向に一列に並んだ領域の集合を０から１の値を有する多次元のベクトルと考えることができる。したがって、符号化素子Ｃは、多次元ベクトルを列方向または行方向に複数備えていると言える。このとき、ランダム分布とは、任意の２つの多次元ベクトルが独立である（平行でない）ことを意味する。また、準ランダム分布とは、一部の多次元ベクトル間で独立でない構成が含まれることを意味する。したがって、ランダム分布および準ランダム分布においては、複数の領域に含まれる１つの行（または列）に並んだ領域の集合に属する各領域における第１の波長域の光の透過率の値を要素とするベクトルと、他の行（または列）に並んだ領域の集合に属する各領域における第１の波長域の光の透過率の値を要素とするベクトルとは、互いに独立である。第１の波長域とは異なる第２の波長域についても同様に、複数の領域に含まれる１つの行（または列）に並んだ領域の集合に属する各領域における第２の波長域の光の透過率の値を要素とするベクトルと、他の行（または列）に並んだ領域の集合に属する各領域における第２の波長域の光の透過率の値を要素とするベクトルとは、互いに独立である。

ランダム分布は、以下の（数１）で定義される自己相関関数によって定義してもよい。

符号化素子Ｃが、縦にＭ個、横にＮ個の計Ｍ×Ｎ個の矩形領域が配列して構成され、当該符号化素子Ｃを備える分光システムが生成する分光画像の数がＬ個とすると、ｘ（ｌ，ｍ，ｎ）は、縦方向にｍ番目、横方向にｎ番目に配置された矩形領域のｌ番目の波長域における光透過率を表す。また、ｉ＝―（Ｌ－１），・・・，－１，０，１，・・・（Ｌ－１）、ｊ＝－（Ｍ－１），・・・，－１，０，１，・・・，（Ｍ－１）、ｋ＝－（Ｎ－１），・・・，－１，０，１，・・・，（Ｎ－１）である。ｍ＜１，ｎ＜１，ｌ＜１，ｍ＞Ｍ，ｎ＞Ｎ，ｌ＞Ｌのときｘ（ｌ，ｍ，ｎ）＝０である。上記（数１）で示される自己相関関数ｙ（ｉ，ｊ，ｋ）は、縦方向にｍ番目、横方向にｎ番目に配置された矩形領域のｌ番目の波長域における光透過率ｘ（ｌ，ｍ，ｎ）と、その矩形領域から縦方向にｊ個、横方向にｋ個ずれた矩形領域でのｌ番目の波長域からｉ個ずれた波長域における光透過率ｘ（ｌ＋ｉ，ｍ＋ｊ，ｎ＋ｋ）との相関値を、ｉ、ｊ、およびｋを変数として表す関数である。このとき、本開示における「ランダム分布」とは、例えば、上記（数１）で示される自己相関関数ｙ（ｉ，ｊ，ｋ）がｙ（０，０，０）において極大値を有し、その他において極大値を有さないことを言う。具体的には、ｉ＝０からＬ－１及び－（Ｌ－１）に向かうにつれて単調に減少し、かつ、ｊ＝０からＭ－１及び－（Ｍ－１）に向かうにつれて単調に減少し、かつ、ｋ＝０からＮ－１及び－（Ｎ－１）に向かうにつれて単調に減少することを意味する。また、「ランダム分布」は、ｙ（０，０，０）のほかに、ｉ軸方向においてＬ／１０箇所以下、ｊ軸方向においてＭ／１０箇所以下、ｋ軸方向においてＮ／１０箇所以下の極大値を有していてもよい。

符号化素子Ｃを撮像素子の近傍あるいは直上に配置する場合、符号化素子Ｃにおける複数の領域の相互の間隔（セルピッチ）は、撮像素子の画素ピッチと略一致させてもよい。このようにすれば、符号化素子Ｃから出射した符号化された光の像の解像度が画素の解像度と略一致する。各セルを透過した光が対応する１つの画素にのみ入射するようにするこ
とで、後述する演算を容易にすることができる。符号化素子Ｃを撮像素子から離して配置する場合には、その距離に応じてセルピッチを細かくしてもよい。

図１に示す例では、各領域の透過率が０以上１以下の任意の値をとり得るグレースケールの透過率分布を想定した。しかし、必ずしもグレースケールの透過率分布にする必要はない。例えば、後述する実施の形態２のように、各領域の透過率が略０または略１のいずれかの値を取り得るバイナリースケールの透過率分布を採用してもよい。バイナリースケールの透過率分布では、各領域は、対象波長域に含まれる複数の波長域のうちの少なくとも２つの波長域の光の大部分を透過させ、残りの波長域の光の大部分を透過させない（遮光する）ことになる。ここで「大部分」とは、概ね８０％以上を指す。

全セルのうちの一部（例えば半分）のセルを、透明領域に置き換えてもよい。そのような透明領域は、対象波長域に含まれる全ての波長域Ｗ１～Ｗｉの光を同程度の高い透過率（例えば０．８以上）で透過させる。そのような構成では、複数の透明領域は、例えば市松状に配置され得る。すなわち、符号化素子Ｃにおける複数の領域の２つの配列方向（図１Ａにおける横方向および縦方向）において、光透過率が波長によって異なる領域と、透明領域とが交互に配列され得る。

符号化素子Ｃは、多層膜、有機材料、回折格子構造、金属を含む微細構造の少なくとも１つを用いて構成され得る。多層膜を用いる場合、例えば、誘電体多層膜または金属層を含む多層膜が用いられ得る。この場合、セルごとに各多層膜の厚さ、材料、および積層順序の少なくとも１つが異なるように形成される。これにより、セルによって異なる分光特性を実現できる。多層膜を用いることにより、分光透過率におけるシャープな立ち上がりおよび立下りを実現できる。有機材料を用いた構成は、セルによって含有する顔料または染料が異なるようにしたり、異種の材料を積層させたりすることによって実現され得る。回折格子構造を用いた構成は、セルごとに異なる回折ピッチまたは深さの回折構造を設けることによって実現され得る。金属を含む微細構造を用いる場合は、プラズモン効果による分光を利用して作製され得る。

（実施の形態２）
図４は、実施の形態２の撮像装置Ｄ１を示す模式図である。本実施の形態の撮像装置Ｄ１は、結像光学系１００と、符号化素子Ｃと、撮像素子Ｓとを備える。符号化素子Ｃは、実施の形態１において説明したものと同じである。このため、実施の形態１と同様の内容についての詳細な説明は省略する。

図４には、撮像素子Ｓから出力された画像信号を処理する信号処理回路Ｐｒも描かれている。信号処理回路Ｐｒは、撮像装置Ｄ１に組み込まれていてもよいし、撮像装置Ｄ１に有線または無線で電気的に接続された信号処理装置の構成要素であってもよい。信号処理回路Ｐｒは、撮像素子Ｓによって取得された画像Ｇに基づいて、対象物Ｏからの光の波長帯域ごとに分離された複数の画像（以下、「分光分離画像」または「多波長画像」と称することがある。）Ｆを推定する。

結像光学系１００は、少なくとも１つの撮像レンズを含む。図４では、１つのレンズとして描かれているが、結像光学系１００は複数のレンズの組み合わせによって構成されていてもよい。結像光学系１００は、撮像素子Ｓの撮像面上に像を形成する。

符号化素子Ｃは、撮像素子Ｓの近傍または直上に配置されている。ここで「近傍」とは、結像光学系１００からの光の像がある程度鮮明な状態で符号化素子Ｃの面上に形成される程度に近接していることを意味する。「直上」とは、殆ど隙間が生じない程両者が近接していることを意味する。符号化素子Ｃおよび撮像素子Ｓは一体化されていてもよい。符
号化素子Ｃは、光透過率の空間分布を有するマスクである。符号化素子Ｃは、結像光学系１００を透過して入射した光の強度を変調させて通過させる。

図５Ａは、本実施の形態における符号化素子Ｃの透過率分布の例を示す図である。この例は、前述したバイナリースケールの透過率分布に該当する。図５Ａにおいて、黒い部分は光を殆ど透過させない領域（「遮光領域」と称する。）を、白い部分は光を透過させる領域（「透光領域」と称する。）を示している。この例では、白い部分の光透過率はほぼ１００％であり、黒い部分の光透過率はほぼ０％である。符号化素子Ｃは、複数の矩形領域に分割されており、各矩形領域は、透光領域または遮光領域である。符号化素子Ｃにおける透光領域および遮光領域の２次元分布は、例えばランダム分布または準ランダム分布であり得る。

ランダム分布および準ランダム分布の考え方は、前述した考え方と同様である。まず、符号化素子Ｃにおける各領域は、光透過率に応じて、例えば０から１の値を有するベクトル要素と考えることができる。言い換えると、一列に並んだ領域の集合を０から１の値を有する多次元のベクトルと考えることができる。したがって、符号化素子Ｃは、多次元ベクトルを行方向に複数備えていると言える。このとき、ランダム分布とは、任意の２つの多次元ベクトルが独立である（平行でない）ことを意味する。また、準ランダム分布とは、一部の多次元ベクトル間で独立でない構成が含まれることを意味する。

符号化素子Ｃによる符号化過程は、各波長の光による画像を区別するためのマーキングを行う過程といえる。そのようなマーキングが可能である限り、透過率の分布は任意に設定してよい。図５Ａに示す例では、黒い部分の数と白い部分の数との比率は１：１であるが、このような比率に限定されない。例えば、白い部分の数：黒い部分の数＝１：９のような一方に偏りのある分布であってもよい。

図５Ｂは、符号化素子Ｃの他の構成例を示す図である。この例は、前述のグレースケールの透過率分布を持つマスクに該当する。この場合、符号化素子Ｃにおける各領域は、図１に示す構成と同様、波長域に応じて３段階以上の透過率の値を有する。

図５Ａおよび図５Ｂに示すように、符号化素子Ｃは、波長帯域Ｗ１、Ｗ２、・・・、Ｗｉごとに異なる透過率空間分布をもつ。ただし、各波長帯域の透過率空間分布は、空間方向に平行移動させた際に一致しても良い。

図６Ａは、図５Ａに示すバイナリースケールの透過率分布をもつ符号化素子Ｃにおけるある領域における分光透過率を近似的に示す図である。バイナリースケールの透過率をもつ各領域は、理想的には、図６Ａに示すような分光透過率をもつ。この例では、分光透過率が、対象波長域に含まれる複数の波長域（各々が目盛りの間隔で表現されている。）のうちの３つの波長域において極大値を有している。実際には、図６Ａのような理想的な分光透過率になることはなく、図６Ｂに示すような連続的な分光透過率になる。図６Ｂに示すような分光透過率であっても、波長域ごとに積分した値が、所定の閾値を超えていれば、その波長域における透過率がほぼ１であると近似することによって、図６Ａに示す分光透過率とみなすことができる。

このような符号化素子Ｃの透過率分布に関する情報は、設計データまたは実測キャリブレーションによって事前に取得され、後述する演算処理に利用される。

撮像素子Ｓは、２次元に配列された複数の光検出セル（本明細書において、「画素」とも呼ぶ。）を有するモノクロタイプの撮像素子である。撮像素子Ｓは、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａ
ｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、赤外線アレイセンサ、テラヘルツアレイセンサ、ミリ波アレイセンサであり得る。光検出セルは、例えばフォトダイオードによって構成され得る。撮像素子Ｓは、必ずしもモノクロタイプの撮像素子である必要はない。例えば、Ｒ／Ｇ／Ｂ、Ｒ／Ｇ／Ｂ／ＩＲ、またはＲ／Ｇ／Ｂ／Ｗのフィルタを有するカラータイプの撮像素子を用いてもよい。カラータイプの撮像素子を使用することで、波長に関する情報量を増やすことができ、分光分離画像Ｆの再構成の精度を向上させることができる。ただし、カラータイプの撮像素子を使用した場合、空間方向（ｘ、ｙ方向）の情報量が低下するため、波長に関する情報量と解像度とはトレードオフの関係にある。取得対象の波長範囲（対象波長域）は任意に決定してよく、可視の波長範囲に限らず、紫外、近赤外、中赤外、遠赤外、マイクロ波・電波の波長範囲であってもよい。

信号処理回路Ｐｒは、撮像素子Ｓから出力された画像信号を処理する回路である。信号処理回路Ｐｒは、例えばデジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のプログラマブルロジックデバイス（ＰＬＤ）、または中央演算処理装置（ＣＰＵ）・画像処理用演算プロセッサ（ＧＰＵ）とコンピュータプログラムとの組み合わせによって実現され得る。そのようなコンピュータプログラムは、メモリなどの記録媒体に格納され、ＣＰＵがそのプログラムを実行することにより、後述する演算処理を実行できる。前述のように、信号処理回路Ｐｒは、撮像装置Ｄ１の外部の要素であってもよい。そのような構成では、撮像装置Ｄ１に電気的に接続されたパーソナルコンピュータ（ＰＣ）、またはインターネット上のクラウドサーバなどの信号処理装置が、信号処理回路Ｐｒを有する。本明細書では、そのような信号処理装置と撮像装置とを含むシステムを、「分光システム」と称する。

以下、本実施の形態における撮像装置Ｄ１の動作を説明する。

図７は、本実施の形態における分光方法の概要を示すフローチャートである。まず、ステップＳ１０１において、符号化素子Ｃを用いて入射光の強度を波長帯域ごとに空間的に変調させる。次に、ステップＳ１０２において、符号化素子Ｃを透過した光の成分が重畳した画像を撮像素子Ｓによって取得する。続くステップＳ１０３において、撮像素子Ｓによって取得された画像と、符号化素子Ｃの分光透過率の空間分布とに基づいて、波長帯域ごとの複数の画像を生成する。

次に、本実施の形態の撮像装置Ｄ１によって撮影画像Ｇを取得する過程を説明する。

対象物Ｏからの光束は、結像光学系１００によって集束され、その像が撮像素子Ｓの直前に配置された符号化素子Ｃによって符号化される。言い換えれば、符号化素子Ｃにおける波長ごとの透過率の空間分布に応じて符号化素子Ｃを通過する光の強度が変調される。その結果、符号化情報を保有する像が、互いに重なり合った多重像として撮像素子Ｓの撮像面上に形成される。この際、従来の圧縮センシングによる構成とは異なり、プリズム等の分光素子を使用していないため、像の空間方向のシフトは発生しない。したがって、多重像であっても空間解像度は高く維持できる。図４に示す画像Ｇに含まれている複数の黒い点は、符号化によって生じた低輝度の部分を模式的に表している。なお、図４に示す黒い点の数および配置は、現実の数および配置を反映していない。実際には、図４に示す数よりも多くの低輝度の部分が生じ得る。撮像素子Ｓにおける複数の光検出セルによって多重像の情報が複数の電気信号（画素信号）に変換され、撮影画像Ｇが生成される。

撮像装置Ｄ１は、入射光束の一部の波長帯域の成分のみを透過させる帯域通過フィルタをさらに備えていてもよい。これにより、測定波長帯域を限定することができる。測定波長帯域を限定することで、所望の波長に限定した分離精度の高い分光分離画像Ｆを得るこ
とができる。

次に、撮影画像Ｇ、符号化素子Ｃの波長ごとの透過率の空間分布特性に基づいて多波長の分光分離画像Ｆを再構成する方法を説明する。ここで多波長とは、例えば通常のカラーカメラで取得される３色（Ｒ・Ｇ・Ｂ）の波長帯域よりも多くの波長帯域を意味する。この波長帯域の数（以下、「分光帯域数」と称することがある。）は、例えば４から１００程度の数であり得る。用途によっては、分光帯域数は１００を超えていてもよい。

求めたいデータは分光分離画像Ｆであり、そのデータをｆと表す。分光帯域数（バンド数）をｗとすると、ｆは各帯域の画像データｆ１、ｆ２、・・・、ｆｗを統合したデータである。求めるべき画像データのｘ方向の画素数をｎ、ｙ方向の画素数をｍとすると、画像データｆ１、ｆ２、・・・、ｆｗの各々は、ｎ×ｍ画素の２次元データの集まりである。したがって、データｆは要素数ｎ×ｍ×ｗの３次元データである。一方、符号化素子Ｃによって符号化および多重化されて取得される撮影画像Ｇのデータｇの要素数はｎ×ｍである。本実施の形態におけるデータｇは、以下の（数２）で表すことができる。

ここで、ｆ１、ｆ２、・・・、ｆｗは、ｎ×ｍ個の要素を有するデータであるため、右辺のベクトルは、厳密にはｎ×ｍ×ｗ行１列の１次元ベクトルである。ベクトルｇは、ｎ×ｍ行１列の１次元ベクトルに変換して表され、計算される。行列Ｈは、ベクトルｆの各成分ｆ１、ｆ２、・・・、ｆｗを波長帯域ごとに異なる符号化情報で符号化・強度変調し、それらを加算する変換を表す。したがって、Ｈは、ｎ×ｍ行ｎ×ｍ×ｗ列の行列である。

さて、ベクトルｇと行列Ｈが与えられれば、（数２）の逆問題を解くことでｆを算出することができそうである。しかし、求めるデータｆの要素数ｎ×ｍ×ｗが取得データｇの要素数ｎ×ｍよりも多いため、この問題は不良設定問題となり、このままでは解くことができない。そこで、本実施の形態の信号処理回路Ｐｒは、データｆに含まれる画像の冗長性を利用し、圧縮センシングの手法を用いて解を求める。具体的には、以下の（数３）の式を解くことにより、求めるデータｆを推定する。

ここで、ｆ’は、推定されたｆのデータを表す。上式の括弧内の第１項は、推定結果Ｈｆと取得データｇとのずれ量、いわゆる残差項を表す。ここでは２乗和を残差項としているが、絶対値あるいは二乗和平方根等を残差項としてもよい。括弧内の第２項は、後述する正則化項（または安定化項）である。（数３）は、第１項と第２項との和を最小化するｆを求めることを意味する。信号処理回路Ｐｒは、再帰的な反復演算によって解を収束させ、最終的な解ｆ’を算出することができる。

（数３）の括弧内の第１項は、取得データｇと、推定過程のｆを行列Ｈによってシステム変換したＨｆとの差分の二乗和を求める演算を意味する。第２項のΦ（ｆ）は、ｆの正
則化における制約条件であり、推定データのスパース情報を反映した関数である。働きとしては、推定データを滑らかまたは安定にする効果がある。正則化項は、例えば、ｆの離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）等によって表され得る。例えば、トータルバリエーションを使用した場合、観測データｇのノイズの影響を抑えた安定した推測データを取得できる。それぞれの正則化項の空間における対象物Ｏのスパース性は、対象物Ｏのテキスチャによって異なる。対象物Ｏのテキスチャが正則化項の空間においてよりスパースになる正則化項を選んでもよい。あるいは、複数の正則化項を演算に含んでもよい。τは、重み係数であり、この値が大きいほど冗長的なデータの削減量が多くなり（圧縮する割合が高まり）、小さいほど解への収束性が弱くなる。重み係数τは、ｆがある程度収束し、かつ、過圧縮にならない適度な値に設定される。

なお、ここでは（数３）に示す圧縮センシングを用いた演算例を示したが、その他の方法を用いて解いてもよい。例えば、最尤推定法またはベイズ推定法などの他の統計的方法を用いることができる。また、分光分離画像Ｆの数は任意であり、各波長帯域も任意に設定してよい。

以上のように、本実施の形態では、図５Ａまたは図５Ｂに示すような、分光透過率特性が波長帯域によって異なる符号化素子Ｃが用いられる。これにより、後述する実施例１に示すように、コマ収差の発生を抑え、圧縮センシングによる解像度の低下を抑制することができる。本実施形態によれば、高解像度、多波長、動画撮影（ワンショット撮影）の３つの要求を同時に満たすことができる。また、撮像の際、２次元データを保有するだけで済むため、長時間のデータ取得に有効である。なお、本実施形態における撮像素子および信号処理回路は、動画像を取得するが、静止画像のみを取得するように構成されていてもよい。

（実施の形態３）
実施の形態３は、符号化パターンの像面上でのボケ状態を利用して多波長画像を再構成する点で、実施の形態２と異なっている。以下、実施の形態２と同様の内容についての詳細な説明は省略する。

図８Ａは、本実施の形態の撮像装置Ｄ２を示す模式図である。撮像装置Ｄ２では、撮像装置Ｄ１と異なり、符号化素子Ｃが、撮像素子Ｓから離れて配置されている。符号化素子Ｃによって符号化された像は、撮像素子Ｓ上でボケた状態で取得される。したがって、予めこのボケ情報を保有しておき、それを（数２）のシステム行列Ｈに反映させる。ここで、ボケ情報は、点拡がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ：ＰＳＦ）によって表される。ＰＳＦは、点像の周辺画素への拡がりの程度を規定する関数である。例えば、画像上で１画素に相当する点像が、ボケによってその画素の周囲のｋ×ｋ画素の領域に広がる場合、ＰＳＦは、その領域内の各画素の輝度への影響を示す係数群（行列）として規定され得る。ＰＳＦによる符号化パターンのボケの影響をシステム行列Ｈに反映させることにより、分光分離画像Ｆを再構成することができる。

符号化素子Ｃが配置される位置は任意であるが、符号化素子Ｃの符号化パターンが拡散しすぎて消失することを防ぐ必要がある。そのためには、例えば、図８Ｂに示すように、結像光学系１００において対象物Ｏに最も近いレンズの近傍または対象物Ｏの近傍に配置するのがよい。特に画角が広い光学系では焦点距離が短くなるため、これらの位置では各画角の光束の重なりが小さく撮像素子Ｓ上で符号化パターンがボケにくく残存しやすくなる。また、実施の形態２のように、符号化素子Ｃを撮像素子Ｓにより近い位置に配置した場合も、符号化パターンが残存しやすいためよい。

（実施例１）
次に、本開示の実施例を説明する。

図９は、本開示の分光方法を用いて分光分離画像Ｆを再構成した結果の一例を示す図である。ここで、符号化素子Ｃとして、図５Ａに示すような、複数の透光領域と複数の遮光領域とがランダムに配列されたバイナリーパターンを有する素子を用いた。各透光領域の光透過率は略１００％であり、各遮光領域の光透過率は略０％である。撮像装置の構成は、実施の形態２における構成を採用した。

撮影画像Ｇは、符号化素子Ｃによって２０帯域の波長帯域ごとに符号化された像が多重化された５００×３１１画素の画像である。

実施例１では、撮影画像Ｇ、符号化素子Ｃの波長帯域ごとの透過率の空間分布特性に基づいて、（数３）の推測アルゴリズムを解くことにより、２０波長帯域の分光分離画像Ｆを得た。このとき、正則化項としてトータルバリエーション（ＴＶ）を使用した。

（比較例１）
比較例として、符号化素子Ｃの代わりに、透過率の波長依存性を殆ど有しない符号化素子と、ｙ方向に１画素ずつ分光シフトする分光素子Ｐとを使用した場合の分光分離画像Ｆを再構成した。分光素子は、符号化素子を通過した光の経路上に配置され、ｙ方向のみに２０帯域に分光する。

図１０は、比較例の結果を示す図である。図１０に示す撮影画像Ｇは、ｙ方向にシフトした各分光帯域の画像の多重像であるため、図９に示す撮影画像Ｇと比較して解像度が低い。その結果、分光分離画像Ｆの解像度も低くなっている。

図１１は、実施例１および比較例１のそれぞれにおける正解画像に対する平均二乗誤差（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ：ＭＳＥ）を示す。ＭＳＥは、（数４）で表され、１画素当たりの平均二乗誤差を示している。値が小さいほど正解画像に近いことを意味する。

ここで、ｎ、ｍはそれぞれ画像の縦、横の画素数を、Ｉ’_i,jは再構成画像（分光分離
画像）のｉ行ｊ列の画素値を、Ｉ_i,jは正解画像のｉ行ｊ列の画素値を表している。なお
、本実施例および比較例で使用した画像は８ビット画像であり、画素値の最大値は２５５である。

図１１における横軸は、再構成した分光分離画像Ｆの画像番号を、縦軸はＭＳＥの値を示している。図１１より、実施例１の方法によって再構成した場合、比較例１と比較して、いずれの分光分離画像ＦもＭＳＥの値が小さく、正解画像に近いことが確認できる。ＭＳＥの値はおおよそ１８０～２００程度であり、正解画像にほぼ一致していることがわかる。一方、従来の方法である比較例１では、ＭＳＥの値が全体的に高く、正解画像と比べて大きく劣化していることがわかる。実施例１と比較例１とのＭＳＥの差は最小で１．７倍、最大で２．５倍であり、本開示の構成の有効性が認められる。これは、実施例１では、比較例１と異なり、撮像画像Ｇに像シフトが発生せず、撮像画像Ｇの段階で解像度が高いためである。また、本開示の構成ではリレー光学系を必要としないため、大幅な小型化が実現できる。さらに、プリズム等を使用する分光シフト方式では光源のような高強度の
被写体を撮影した時にライン上に広範囲に亘って飽和が生じる可能性がある。これに対して、画像シフトを行わない本開示の実施形態では飽和の範囲が限定的であり、有利である。

（実施の形態４）
本開示の実施の形態４について、図１２、図１３Ａ、図１３Ｂ、図１３Ｃ、図１３Ｄ、図１３Ｅ、図１４Ａおよび図１４Ｂを参照して説明する。図１２は、実施の形態４に係る分光システムＳ１を示す図である。本明細書における「分光システム」の定義は後述する。図１２に示すように、本実施の形態の分光システムＳ１は、撮像装置Ｄ４と、信号処理回路Ｐｒとを含む。

［撮像装置Ｄ４］
本実施の形態の撮像装置Ｄ４は、狭帯域符号化装置２００と、撮像レンズ１０２と、空間変調符号化素子ＣＳと、撮像素子Ｓと、を備える。空間変調符号化素子ＣＳは、本開示の第１符号化素子に相当する。

［狭帯域符号化装置２００］
狭帯域符号化装置２００は、対象物Ｏから入射する光束Ｒの光路上に配置される。本実施の形態では、狭帯域符号化装置２００は対象物Ｏと撮像レンズ１０２の間に配置されているが、撮像レンズ１０２と後述する空間変調符号化素子ＣＳとの間に配置してもよい。狭帯域符号化装置２００は、少なくとも１つの狭帯域符号化素子を有する。狭帯域符号化素子は、本開示の第２符号化素子に相当する。

［狭帯域符号化装置２００が２つの狭帯域符号化素子を有する形態］
狭帯域符号化装置２００は、狭帯域符号化素子Ｃ１、および狭帯域符号化素子Ｃ２を備える。さらに、狭帯域符号化装置２００は、狭帯域符号化素子Ｃ１および狭帯域符号化素子Ｃ２を撮影ごとに切り替える機構を備える。図１２の例では、狭帯域符号化装置２００は、２つの狭帯域符号化素子を、撮像装置Ｄ４の光軸に対して垂直な方向に並べて保持する機構を有する。さらに、狭帯域符号化装置２００は、２つの狭帯域符号化素子を当該垂直な方向に移動させるスライド機構を有する。２つの狭帯域符号化素子を切り替える機構はこの例に限らない。例えば、狭帯域符号化装置２００が回転軸を備えていてもよい。この場合、２つの狭帯域符号化素子が回転軸から等距離に配置される。狭帯域符号化装置２００が回転すると、光路上に配置される狭帯域符号化素子が切り替わる。

狭帯域符号化素子Ｃ１および狭帯域符号化素子Ｃ２は、それぞれ空間方向に一様な光透過率を有する。ここで「一様」とは、光透過率（または光透過率の波長分布）が均一であるか、または、その誤差が１０％以内であることを意味する。

また、狭帯域符号化素子Ｃ１および狭帯域符号化素子Ｃ２はそれぞれ、光透過率の波長分布において、波長方向に複数の透光領域及び複数の遮光領域を有する。以下に図１３Ａおよび１３Ｂを用いて詳細に説明する。

図１３Ａおよび１３Ｂは、実施の形態４の狭帯域符号化素子Ｃ１の分光透過率の例を示す図である。ここで、「分光透過率」とは、光透過率の波長分布を意味する。分光透過率は、入射光の波長をλとして、関数Ｔ（λ）で表される。分光透過率Ｔ（λ）は、０以上１以下の値を取り得る。図１３Ａおよび１３Ｂに示す例では、狭帯域符号化素子Ｃ１の分光透過率は、波長方向に周期的に変化する。分光透過率の１つの周期は、光透過率が略１でほぼ一定である透過波長領域Ｔと、光透過率が略０でほぼ一定である遮光波長領域Ｑとを１つずつ含む。本明細書において、透過波長領域Ｔとは、光透過率が０．５以上となる波長領域であり、かつその領域での平均透過率が略１となるものと定義する。同様に、遮
光波長領域Ｑとは光透過率が０．５未満となる波長領域であり、かつその領域での平均透過率が略０となるものと定義する。略１とは０．８以上の値を指し、略０とは０．２以下の値を指す。狭帯域符号化素子の分光透過率は、バイナリー分布が望ましい。バイナリー分布とは、透過波長領域Ｔにおいて透過率が略１で一定となり、遮光波長領域Ｑにおいて略０で一定となる分布である。しかし、透過波長領域Ｔにおいて透過率の平均値が略１であり、遮光波長領域Ｑにおいて透過率の平均値が略０となっていれば、必ずしもバイナリー分布でなくてもよい。以降で説明する狭帯域符号化素子においても同様である。

図１３Ａおよび１３Ｂに示す分光透過率の例では、透過波長領域Ｔと遮光波長領域Ｑの波長幅は等しく設定されているが、この例に限定されない。図１３Ｃから１３Ｅに示すように、透過波長領域Ｔの波長幅が遮光波長領域Ｑの波長幅よりも小さくなっていてもよい。また、分光透過率が周期的に変化するものでなくてもよい。つまり、分光透過率における複数の透過波長領域Ｔは、互いに異なる波長幅を有していてもよい。また、分光透過率における複数の遮光波長領域Ｑは互いに異なる波長幅を有していてもよい。

図１４Ａは、対象波長域Ｗと、それに含まれる複数の波長帯域Ｗ１、Ｗ２、・・・、Ｗｎとの関係を示す図である。対象波長域Ｗとは、撮像装置Ｄ４が撮影対象とする波長域である。複数の波長帯域Ｗ１、Ｗ２、・・・、Ｗｎは、撮像装置Ｄ４が画像信号に使用する波長帯域である。また、後述する信号処理回路Ｐｒは、波長帯域Ｗ１、ｗ２、・・・、Ｗｎごとに分離したｎ個の分光分離画像Ｆ１、Ｆ２、・・・、Ｆｎを再構成する。

対象波長域Ｗは、用途によって様々な範囲に設定され得る。例えば可視光の波長域（約４００ｎｍ～約７００ｎｍ）、近赤外線の波長域（約７００ｎｍ～約２５００ｎｍ）、近紫外線の波長域（約１０ｎｍ～約４００ｎｍ）、その他、中赤外、遠赤外、あるいは、テラヘルツ波、ミリ波等の電波域であり得る。このように、撮像装置Ｄ４で使用される波長域は可視光域とは限らない。本明細書では、可視光に限らず、近紫外線、近赤外線、および電波などの非可視光も便宜上「光」と称する。

本実施の形態では、図１４Ａに示されるように、ｎを４以上の任意の整数として、対象波長域Ｗをｎ等分したそれぞれを波長帯域Ｗ１、Ｗ２、・・・、Ｗｎとしている。ただし対象波長域Ｗに含まれる複数の波長帯域の設定はこれに限定されるものではない。例えば、波長帯域によってその幅（帯域幅）を不均一にしてもよい。図１４Ｂに示すように、波長帯域によって帯域幅が異なっていたり、隣接する２つの波長帯域の間にギャップがあってもよい。このように、複数の波長帯域は、互いに重複する部分が存在しなければよく、その決め方は任意である。波長帯域の数ｎは、例えば４から１００程度であるが、用途によっては１００を超えていてもよい。

本実施の形態においては、狭帯域符号化素子Ｃ１および狭帯域符号化素子Ｃ２の透過波長領域Ｔの幅は、波長帯域Ｗ１、Ｗ２、・・・、Ｗｎの幅と略一致するように設計される。各波長帯域の幅は、例えば、２０ｎｍである。各波長帯域の幅は、１０ｎｍ、５ｎｍ、または１ｎｍであってもよい。

以上より、狭帯域符号化素子Ｃ１は、光透過率の波長分布において、波長方向に複数の透光領域（透過波長領域Ｔ）と複数の遮光領域（遮光波長領域Ｑ）とを有する。複数の透光領域は、それぞれ波長帯域Ｗ１、Ｗ２、・・・、Ｗｎのいずれかに相当する。

図１３Ｂは狭帯域符号化素子Ｃ２の分光透過率を示している。図１３Ｂに示す分光透過率は、図１３Ａに示した狭帯域符号化素子Ｃ１の分光透過率における透過波長領域Ｔと遮光波長領域Ｑの分布を逆転したものとなっている。そのため、狭帯域符号化素子Ｃ１の分光透過率における透過波長領域Ｔと、狭帯域符号化素子Ｃ２の分光透過率における透過波
長領域Ｔとを併せた波長領域は、複数の波長帯域Ｗ１、Ｗ２、・・・、Ｗｎの全てをカバーする。

以上より、狭帯域符号化素子Ｃ１と狭帯域符号化素子Ｃ２とは、各々が有する複数の透光領域（透過波長領域Ｔ）が互いに異なる波長帯域である。また、複数の透光領域は、それぞれ波長帯域Ｗ１、Ｗ２、・・・、Ｗｎのいずれかに相当する。

［狭帯域符号化装置２００が３つの狭帯域符号化素子を備える形態］
狭帯域符号化装置２００は、狭帯域符号化素子Ｃ１１、狭帯域符号化素子Ｃ１２、及び狭帯域符号化素子Ｃ１３の３つの狭帯域符号化素子を備えていてもよい。狭帯域符号化素子Ｃ１１、Ｃ１２、及びＣ１３がそれぞれ有する分光透過率の例を、図１３Ｃ、１３Ｄ、および１３Ｅに示す。図１３Ｃ、１３Ｄ、および１３Ｅに示す３種類の分光透過率は、いずれも波長方向に周期的な分布を有し、空間方向に一様な分布を有する。また、いずれの分光透過率も１つの周期が、透過波長領域Ｔと遮光波長領域Ｑとを１つずつ含む。

図１３Ｄに示す狭帯域符号化素子Ｃ１２の分光透過率は、図１３Ｃに示す狭帯域符号化素子Ｃ１１の分光透過率を、透過波長領域Ｔの幅だけ波長が増加する方向にシフトさせたものとなっている。同様に、図１３Ｅに示す狭帯域符号化素子Ｃ１３の分光透過率は、図１３Ｃに示す狭帯域符号化素子Ｃ１１の分光透過率を、透過波長領域Ｔの幅の２倍、波長が増加する方向にシフトさせたものとなっている。そのため、狭帯域符号化素子Ｃ１１、狭帯域符号化素子Ｃ１２、及び狭帯域符号化素子Ｃ１３の分光透過率における透過波長領域Ｔをすべて併せた波長領域は、複数の波長帯域Ｗ１、Ｗ２、・・・、Ｗｎの全てをカバーする。

図１３Ｃ、１３Ｄ、および１３Ｅに示す分光透過率の例では、透過波長領域Ｔは遮光波長領域Ｑの半分の幅を有するが、この例に限らない。同様に、３種類の分光透過率は、互いに等しい幅の透過波長領域Ｔを有するが、この例に限らない。また、３種類の分光透過率は、互いに等しい幅の遮光波長領域Ｑを有するが、この例に限らない。また、分光透過率が周期的に変化しているがこの例に限らない。言い換えると、１種類の分光透過率における複数の透過波長領域Ｔは、互いに異なる波長幅を有していてもよい。また、１種類の分光透過率における複数の遮光波長領域Ｑは互いに異なる波長幅を有していてもよい。以上より、狭帯域符号化素子Ｃ１１、狭帯域符号化素子Ｃ１２、及び狭帯域符号化素子Ｃ１３の分光透過率は、当該３種類の分光透過率における透過波長領域Ｔをすべて併せて対象波長域Ｗをカバーするものであればよい。

［狭帯域符号化装置２００のその他の形態］
狭帯域符号化装置２００は、４つ以上の狭帯域符号化素子を備えていてもよい。その場合、それぞれの狭帯域符号化素子の分光透過率における透過波長領域Ｔを併せた波長領域は、波長帯域Ｗ１、Ｗ２、・・・、Ｗｎの全てをカバーするように、それぞれの狭帯域符号化素子を設計する。

また、図１５に示すように、撮像装置Ｄ４は、狭帯域符号化装置２００の代わりに、狭帯域符号化素子ＣＮ一つのみを備えていてもよい。この場合、撮像装置Ｄ４は、狭帯域符号化素子ＣＮの分光透過率における透過波長領域Ｔに相当する波長帯域を画像信号に使用する。言い換えると、撮像装置Ｄ４は、狭帯域符号化素子ＣＮの分光透過率における遮光波長領域Ｑに相当する波長帯域を画像信号に使用しない。したがって、ひとつの狭帯域符号化素子ＣＮの分光透過率における透過波長領域Ｔによって、複数の波長帯域Ｗ１、Ｗ２、・・・、Ｗｎの全てをカバーする。

［狭帯域符号化素子の構造］
狭帯域符号化素子は、多層膜、有機材料、回折格子構造、金属を含む微細構造の少なくとも１つを用いて構成され得る。多層膜を用いる場合、例えば、誘電体多層膜または金属層を含む多層膜が用いられ得る。多層膜を用いることにより、透過波長領域Ｔと遮光波長領域Ｑとの境界における透過率のシャープな立ち上がりおよび立ち下がりを実現できる。有機材料を用いた構成は、含有する顔料または染料が異なる材料を積層させたりすることによって実現され得る。回折格子構造を用いた構成は、回折ピッチまたは深さを調整した回折構造を設けることによって実現され得る。金属を含む微細構造を用いる場合は、プラズモン効果による分光を利用して作製され得る。

［撮像レンズ１０２］
撮像レンズ１０２は、対象物Ｏからの光を集光し、撮像素子Ｓの撮像面上に像を形成する。撮像レンズ１０２の代わりに、複数の撮像レンズを組み合わせた結像光学系を用いてもよい。

［空間変調符号化素子ＣＳ］
空間変調符号化素子ＣＳは、対象物Ｏから入射する光の光路上に配置される。

空間変調符号化素子ＣＳは、２次元に配列された複数の領域を有する。例えば、空間変調符号化素子ＣＳは、図１６Ａに示すように、格子状に区分けされた複数の領域Ａを有している。各領域Ａは、透光性の部材で形成される。図１６Ａでは、６行８列に配列された４８個の矩形の領域Ａが例示されているが、実際の用途では、これよりも多くの領域Ａが設けられ得る。その数は、一般的な撮像素子またはイメージセンサの画素数であり、例えば数十万から数千万と同程度であり得る。本実施の形態では、空間変調符号化素子ＣＳは、撮像素子Ｓの直上に配置されている。また、複数の領域Ａの相互の間隔は、撮像素子の画素ピッチと略一致するように設けられている。これにより、ある領域Ａを透過した光は、撮像素子Ｓの対応する１つの画素にのみ入射する。また、空間変調符号化素子ＣＳを撮像素子Ｓから離して配置してもよい。この場合、撮像素子Ｓとの距離に応じて領域Ａの間隔を細かくしてもよい。これにより、空間変調符号化素子ＣＳのある領域Ａを透過した光を、撮像素子Ｓの対応する１つの画素にのみ入射させることができる。

図１６Ｂは、空間変調符号化素子ＣＳにおける光透過率の空間分布の一例を示している。光透過率は、複数の波長帯域Ｗ１、Ｗ２、・・・、Ｗｎごとに示している。この図において、各領域Ａの灰色の濃淡の違いは、光透過率の違いを表している。灰色が淡い領域ほど光透過率が高く、濃い領域ほど光透過率が低い。空間変調符号化素子ＣＳは、複数の波長帯域Ｗ１、Ｗ２、・・・、Ｗｎごとに、略１の光透過率を有する複数の領域Ａと、略０の光透過率を有する複数の領域Ａとを有する。また、略０と略１の間の第３の光透過率を有する複数の領域Ａを有してもよい。空間変調符号化素子ＣＳは、複数の波長帯域Ｗ１、Ｗ２、・・・、Ｗｎごとに、複数の透光領域と複数の遮光領域とが空間的に配置されて構成される。透光領域とは光透過率が０．５以上であって、例えば、略１、または第３の光透過率を有する領域Ａである。遮光領域とは光透過率が０．５未満、例えば略０の光透過率を有する領域Ａである。図１６Ｂに示されるように、複数の透光領域及び複数の遮光領域の空間分布は波長帯域Ｗ１、Ｗ２、・・・、Ｗｎに応じて異なる。

以上より、空間変調符号化素子ＣＳは、光透過率の空間分布においてその空間方向に複数の透光領域（領域Ａ）と複数の遮光領域（領域Ａ）とを有する。また、複数の透光領域及び複数の遮光領域の空間分布が波長帯域Ｗ１、Ｗ２、・・・、Ｗｎに応じて異なる。

図１６Ｃおよび図１６Ｄは、本実施の形態における空間変調符号化素子ＣＳが有する複数の領域Ａにおいて代表的な２つの領域Ａ１、領域Ａ２の分光透過率を示している。

空間変調符号化素子ＣＳにおける各領域Ａの分光透過率は、図１３Ａおよび図１３Ｂで示した狭帯域符号化素子の分光透過率と比較して、波長方向の分解能が低い。以下に各領域Ａの分光透過率の分解能について領域Ａ１を例として具体的に説明する。

図１７は空間変調符号化素子ＣＳの領域Ａ１における分光透過率を示す。図１７に示す分光透過率は、対象波長域Ｗ内での光透過率の最大値が１、最小値が０となるように正規化されている。図１７に示される分光透過率には、極大値Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５および極小値ｍ１、ｍ２、ｍ３、ｍ４、ｍ５、ｍ６が存在する。図１７からわかるように、極大値Ｍ１、Ｍ３、Ｍ４、およびＭ５は０．５以上である。例えば、極大値Ｍ１は、極小値ｍ１及び極小値ｍ２に隣接している。波長λ１において、透過率が極小値ｍ１と極大値Ｍ１との平均値をとる。また、波長λ２において、透過率が極小値ｍ２と極大値Ｍ１との平均値をとる。このとき、波長λ２－λ１に相当する波長幅が、波長方向の分解能に相当する。空間変調符号化素子ＣＳにおいて、分解能に相当する波長幅の少なくとも一部は、波長帯域Ｗ１、Ｗ２、・・・、Ｗｎの幅よりも大きくなる。一方、上述したとおり、狭帯域符号化素子は、波長帯域Ｗ１、Ｗ２、・・・、Ｗｎの幅程度の透過波長領域Ｔを有する。透過波長領域Ｔは、狭帯域符号化素子の分解能に相当する。したがって、図１７に示す空間変調符号化素子ＣＳの領域Ａ１における分光透過率は、狭帯域符号化素子の分光透過率と比較して、波長方向の分解能が低いと言える。

次に、各領域Ａの分光透過率が満たす条件の一例を説明する。その際、上述した狭帯域符号化素子の分光透過率と、空間変調符号化素子の領域Ａの分光透過率とを重ね合わせた分光透過率の特性（以降、単に「重ね合わせた分光透過率」と称して説明する場合がある。）を用いて説明する。

図１８Ａは狭帯域符号化素子の分光透過率を示し、図１８Ｂは空間変調符号化素子ＣＳのある領域Ａ１における分光透過率を示す。また、図１８Ｃは図１８Ａおよび図１８Ｂの分光透過率を重ね合わせたグラフを示しており、透光領域が重なる部分を網掛けで示している。この網掛け部分は、対象波長域Ｗにおいて一様な強度分布を有する光が、狭帯域符号化素子および空間変調符号化素子ＣＳの領域Ａ１に入射した際に、透過する光の波長および強度を表している。ここで、各波長帯域Ｗ１、Ｗ２、・・・、Ｗｎにおける透過率の平均値は、透過率を各波長帯域の範囲で積分したものを、その波長帯域の幅で除算することによって得られるものとする。本開示では、この方法によって得られた各波長帯域における透過率の平均値を、その波長帯域の平均透過率と称する。

図１９は、図１８Ｃの分光透過率において網掛けで示した箇所のみを示した図である。本実施の形態では、図１９に示す分光透過率において、波長帯域Ｗ１、Ｗ２、・・・、Ｗｎのうち２つ以上の波長帯域において平均透過率が０．５以上となる。例えば図１９において、波長帯域Ｗ４、波長帯域Ｗｎ－１などにおいて平均透過率が０．５以上である。

領域Ａ１と異なる別の領域Ａの分光透過率と狭帯域符号化素子の分光透過率とを重ね合わせた場合、図１９とは異なる分光透過率を有する。具体的には、平均透過率が０．５以上となる波長帯域の組み合わせ、または数が互いに異なる。

以上より、各領域Ａの分光透過率は、重ね合わせた分光透過率が、２つ以上の波長帯域において平均透過率が０．５以上となり、かつ互いに異なるような分光透過率を有していればよい。

また、各領域Ａの分光透過率は、以下で説明する条件１または条件２を満たしてもよい。

空間変調符号化素子ＣＳのｉ行目（１≦ｉ≦６）において、行方向に一列に並んだ領域Ａの集合Ｘについて考える。集合Ｘの各領域Ａにおいて、波長帯域Ｗｊ（１≦ｊ≦ｎ）における重ね合わせた平均透過率の値を要素とする、１行８列ベクトルＡｉ（ｊ）を考える。「重ね合わせた平均透過率」とは、各領域Ａの分光透過率と、狭帯域符号化素子の分光透過率とを重ね合わせた分光透過率における平均透過率を指す。本実施の形態では、このベクトルＡｉ（ｊ）が、任意のｊについて、つまり任意の波長帯域間で互いに独立である（条件１）。例えば、１行目の領域Ａの集合Ｘ１において、波長帯域Ｗ１における重ね合わせた平均透過率の値を要素とするベクトルはＡ１（１）と表される。同様に１行目の領域Ａの集合Ｘ１において、波長帯域Ｗ２における重ね合わせた平均透過率の値を要素とするベクトルはＡ１（２）と表される。ベクトルＡ１（１）とベクトルＡ１（２）とは互いに独立である。波長帯域Ｗ１、Ｗ２、・・・、Ｗｎのうちすべての波長帯域の組み合わせにおいて独立であってもよい。また、波長帯域Ｗ１、Ｗ２、・・・、Ｗｎのうち一部の波長域間で独立であってもよい。

また、本実施の形態では、ベクトルＡｉ（ｊ）が、任意のｉについて、つまり任意の行に対して互いに独立である（条件２）。例えば、波長帯域Ｗ１において、１行目の領域Ａの集合Ｘ１における重ね合わせた平均透過率の値を要素とするベクトルは、Ａ１（１）と表される。同様に、波長帯域Ｗ１において、２行目の領域Ａの集合Ｘ２における重ね合わせた平均透過率の値を要素とするベクトルは、Ａ２（１）と表される。ベクトルＡ１（１）とベクトルＡ２（１）とは互いに独立である。全ての行の組み合わせにおいて独立であってもよい。一部の行の組み合わせにおいて独立であってもよい。

バイナリースケールの分光透過率を採用してもよい。バイナリースケールの分光透過率とは、平均透過率が略１または略０のいずれかの値をとるものと定義する。

バイナリースケールの分光透過率の一例を図２０Ａに示す。図２０Ａに示す分光透過率は、全ての波長帯域について、０または１のいずれかの値をとっている。一方、図２０Ｂに示すような分光透過率も、バイナリースケールの分光透過率である。

図２１Ａおよび図２１Ｂは、本実施の形態における空間変調符号化素子ＣＳの別の構成例を示す図である。図１６Ａに示す例より多数の領域Ａを有する構成を示している。図２１Ａは、各領域Ａがバイナリースケールの分光透過率を有する空間変調符号化素子ＣＳの透過率分布の例を示す図である。図２１Ａでは、空間変調符号化素子ＣＳの一部分を四角く囲って拡大し、その部分における波長帯域ごとの透過率分布を示している。図２１Ａにおいて、黒い部分は光透過率が略０である遮光領域を示している。また、白い部分は光透過率が略１である透光領域を示している。図２１Ａに示す例では、遮光領域の数と透光領域の数との比率は１：１であるが、このような比率に限定されない。例えば、（透光領域の数）：（遮光領域の数）＝１：９のような一方に偏りのある分布であってもよい。

図２１Ｂは、各領域Ａが連続的な分光透過率を有する空間変調符号化素子ＣＳの例を示す図である。

図２１Ａおよび図２１Ｂに示すように、空間変調符号化素子ＣＳは、波長帯域Ｗ１、Ｗ２、・・・、Ｗｎごとに異なる透過率空間分布をもつ。ただし、複数の領域を含む一部分における所定の波長帯域の透過率空間分布が、他の部分における当該波長帯域の透過率空間分布と一致してもよい。

空間変調符号化素子ＣＳの全領域Ａのうちの一部を、透明な領域としてもよい。本明細書における透明な領域とは、対象波長域Ｗに含まれる全ての波長帯域Ｗ１～Ｗｎの光を同程度の高い透過率（例えば０．８以上）で透過させる領域を指す。例えば全領域Ａの半数
を透明領域として、市松模様状に配置してもよい。すなわち、空間変調符号化素子ＣＳにおける複数の領域Ａの２つの配列方向（図１６Ａにおける横方向および縦方向）において、分光透過率が波長帯域によって異なる領域Ａと、透明な領域とが交互に配列され得る。

空間変調符号化素子ＣＳは、多層膜、有機材料、回折格子構造、金属を含む微細構造の少なくとも１つを用いて構成され得る。多層膜を用いる場合、例えば、誘電体多層膜または金属層を含む多層膜が用いられ得る。この場合、セルごとに各多層膜の厚さ、材料、および積層順序の少なくとも１つが異なるように形成される。これにより、領域Ａごとに異なる分光特性を実現できる。各領域Ａがバイナリースケールの分光透過率を有する場合には、多層膜を用いることにより、分光透過率におけるシャープな立ち上がりおよび立ち下がりを実現できる。有機材料を用いた構成は、各領域Ａによって含有する顔料または染料が異なるようにしたり、異種の材料を積層させたりすることによって実現され得る。回折格子構造を用いた構成は、領域Ａごとに異なる回折ピッチまたは深さの回折構造を設けることによって実現され得る。金属を含む微細構造を用いる場合は、プラズモン効果による分光を利用して作製され得る。

［撮像素子Ｓ］
撮像素子Ｓは、２次元に配列された複数の光検出セル（本明細書において、「画素」とも呼ぶ。）を有するモノクロタイプの撮像素子である。撮像素子Ｓは、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、赤外線アレイセンサ、テラヘルツアレイセンサ、ミリ波アレイセンサであり得る。光検出セルは、例えばフォトダイオードによって構成され得る。撮像素子Ｓとして、例えば、Ｒ／Ｇ／Ｂ、Ｒ／Ｇ／Ｂ／ＩＲ、またはＲ／Ｇ／Ｂ／Ｗのフィルタを有するカラータイプの撮像素子を用いてもよい。カラータイプの撮像素子を使用することで、波長に関する情報量を増やすことができ、分光分離画像Ｆの再構成の精度を向上させることができる。

［信号処理回路Ｐｒ］
信号処理回路Ｐｒは、撮像素子Ｓによって取得された撮影画像Ｇに基づいて、分光分離画像Ｆを推定する。

信号処理回路Ｐｒは、撮像素子Ｓから出力された画像信号を処理する回路である。信号処理回路Ｐｒは、例えばデジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のプログラマブルロジックデバイス（ＰＬＤ）、または中央演算処理装置（ＣＰＵ）もしくは画像処理用演算プロセッサ（ＧＰＵ）とコンピュータプログラムとの組み合わせによって実現され得る。そのようなコンピュータプログラムは、メモリなどの記録媒体に格納され、ＣＰＵがそのプログラムを実行することにより、後述する演算処理を実行できる。信号処理回路Ｐｒは、撮像装置Ｄ４に有線または無線で電気的に接続された信号処理装置の構成要素であってもよい。そのような構成では、撮像装置Ｄ４に電気的に接続されたパーソナルコンピュータ（ＰＣ）、またはインターネット上のクラウドサーバなどの信号処理装置が、信号処理回路Ｐｒを有する。本明細書では、そのような信号処理装置と撮像装置とを含むシステムを、「分光システム」と称する。信号処理回路Ｐｒは、狭帯域符号化素子、および空間変調符号化素子ＣＳの透過率分布に関する情報を、設計データとして、または実測キャリブレーションによって事前に取得し、後述する演算・処理に利用する。

実測キャリブレーションについて説明する。例えば、対象波長域が可視光全域である場合は、被写体として白板を対象物Ｏの位置に設置し、対象物Ｏからの白色光を、狭帯域符号化素子、または空間変調符号化素子ＣＳに透過させる。これにより、撮像素子Ｓ上に狭帯域符号化素子、または空間変調符号化素子ＣＳの像を形成させることができる。この狭
帯域符号化素子、または空間変調符号化素子ＣＳの像から、全ての可視光の波長成分を均等に含む白色光を各領域Ａがどのように変調するかを、つまり各領域Ａの分光透過率を算出することができる。また、帯域通過フィルタによって波長帯域が限定された光を用いてもよい。複数の帯域通過フィルタを交換して行う複数回の撮影によって、所望のすべての波長帯域の透過率データを取得してもよい。いくつかの波長帯域を選択して測定し、それ以外の波長帯域については測定されたデータの補間によって算出してもよい。

［その他の構成］
撮像装置Ｄ４は、帯域通過フィルタをさらに備えていてもよい。帯域通過フィルタは、対象物Ｏからの反射光のうち対象波長域Ｗのみを透過させる。これにより、狭帯域符号化素子または空間変調符号化素子では残存してしまう対象波長域Ｗ外の波長域の成分を取り除くことができる。これにより、所望の対象波長域Ｗに限定した分離精度の高い分光分離画像Ｆを得ることができる。

［動作］
以下、本実施の形態における撮像装置Ｄ４の動作を、図２２を用いて説明する。図２２は、本実施の形態における分光システムＳ１を用いた分光方法の概要を示すフローチャートである。

まず、ステップ１Ｘにおいて、狭帯域符号化素子Ｃ１を対象物Ｏの光路上に設置する。

次に、ステップ１Ａにおいて、狭帯域符号化素子Ｃ１と空間変調符号化素子ＣＳの両符号化素子を用いて入射光の強度を波長帯域ごとに空間的に変調させる。この過程を本明細書では「符号化」と称する。具体的には、まず対象物Ｏからの光束Ｒが、狭帯域符号化素子Ｃ１に入射する。狭帯域符号化素子Ｃ１に入射する光のうち、透過波長領域Ｔ内の波長を有する光のみが狭帯域符号化素子Ｃ１を透過し、遮光波長領域Ｑ内の波長を有する光は遮光される。よって光束Ｒは波長に関して離散的な複数の強度ピークを有する光に変調され、撮像レンズ１０２によって集結される。撮像レンズ１０２によって集結された光は、空間変調符号化素子ＣＳに入射する。狭帯域符号化素子Ｃ１によって変調された光は、空間変調符号化素子ＣＳの複数の領域Ａにそれぞれ入射する。各領域Ａは、入射光に含まれる複数のピーク強度を有する光を各領域Ａの分光透過率によって変調し出力する。上述のとおり、狭帯域符号化素子Ｃ１及び空間変調符号化素子ＣＳは、対象波長域Ｗに対して、図２０Ａまたは図２０Ｂに示す分光透過率特性を有する。したがって、狭帯域符号化素子Ｃ１及び空間変調符号化素子ＣＳは、分離すべき波長帯域Ｗ１、Ｗ２、・・・、Ｗｎの少なくとも２つの波長帯域の光を重畳して撮像素子Ｓに出力する。これは、波長方向に圧縮されたデータを取得していることを意味する。

次に、ステップ１Ｂにおいて、狭帯域符号化素子Ｃ１および空間変調符号化素子ＣＳを透過して撮像素子Ｓに入射した光から撮影画像Ｇを生成する。具体的には、撮像素子Ｓの複数の画素に入射した光が、複数の電気信号（画素信号）に変換される。変換された複数の画素信号の集合が撮影画像Ｇである。図１２に撮影画像Ｇの例を示す。図１２に示す撮影画像Ｇに含まれている複数の黒い点は、符号化によって生じた低輝度の部分を模式的に表している。なお、図１２に示す黒い点の数および配置は、現実の数および配置を反映していない。実際には、図１２に示す数よりも多くの低輝度の部分が生じ得る。

その後、分岐Ｙにおいて、すべての狭帯域符号化素子を用いて撮影を行ったかを判断する。すべての狭帯域符号化素子を用いて撮影を行っていなければ、ステップ１Ｄへ進む。

ステップ１Ｄにおいて、狭帯域符号化素子Ｃ１を狭帯域符号化素子Ｃ２に交換する。その後、交換した狭帯域符号化素子Ｃ２を用いて、ステップ１Ｘ、ステップ１Ａおよびステ
ップ１Ｂを再度行う。

狭帯域符号化装置が狭帯域符号化素子を３つ以上備える場合は、全ての狭帯域符号化素子による撮影が終了するまで、ステップ１Ｄ、ステップ１Ｘ、ステップ１Ａ、ステップ１Ｂのサイクルを繰り返す。狭帯域符号化装置が狭帯域符号化素子を１つだけ備える場合は、ステップ１Ｘ、ステップ１Ａおよびステップ１Ｂを一度ずつ行う。

すべての狭帯域符号化素子による撮影が完了したら、ステップ１Ｃに進む。

続くステップ１Ｃにおいて、信号処理回路Ｐｒは、撮像素子Ｓによって取得された撮影画像Ｇと、狭帯域符号化素子の光透過率の波長分布情報と、空間変調符号化素子ＣＳの光透過率の空間分布情報及び波長分布情報とに基づいて、分光分離画像Ｆを生成する。

ステップ１Ｃにおける分光分離画像Ｆの生成方法を具体的に説明する。

分光分離画像Ｆのデータを分光分離画像ｆと表し、取得される撮影画像Ｇのデータを撮影画像ｇと表す。撮影画像ｇは、分光分離画像ｆを含む以下の（数５）で表すことができる。

（数５）では、分光分離画像ｆは各波長帯域Ｗ１、Ｗ２、・・、Ｗｎの画像データｆ１、ｆ２、・・・、ｆｎを要素とするベクトルとして表記している。また、撮影画像ｇは、撮影ごとに得られる画像データｇ１、ｇ２、・・・、ｇｎを要素とするベクトルとして表記している。以降、それぞれ「分光分離画像ベクトルｆ」、「撮影画像ベクトルｇ」として説明する場合がある。

求めるべき分光分離画像Ｆのｘ方向の画素数をｐｘ、ｙ方向の画素数をｐｙとすると、各波長帯域の画像データｆ１、ｆ２、・・・、ｆｎの各々は、ｐｘ×ｐｙ画素の２次元データを有する。分光分離画像ｆは要素数ｐｘ×ｐｙ×ｎの３次元データを有する。

一方、撮影画像ｇは、ｍ個の狭帯域符号化素子を交換してｍ回撮影すると、要素数ｐｘ×ｐｙ×ｍの３次元データを有する。

（数５）において、行列Ｈは、分光分離画像ベクトルｆの各要素である各波長帯域の画像データｆ１、ｆ２、・・・、ｆｎを波長帯域ごとに異なる符号化情報で符号化し、それらを加算する変換を表す。行列Ｈは、ｐｘ×ｐｙ×ｍ行ｐｘ×ｐｙ×ｎ列の行列である。その行列要素ｈｉ（ｗｊ）（１≦ｉ≦ｍ、１≦ｊ≦ｎ）は、撮影時間Ｔｉの撮影に用いた狭帯域符号化素子Ｃｉにおける波長帯域ｗｊの光透過率と空間変調符号化素子ＣＳの光透過率空間分布の積で表される。本実施の形態においては、狭帯域符号化装置２００が、図１３Ａおよび図１３Ｂに示すような２つの狭帯域符号化素子を備える場合、例えば、行列要素ｈ１（ｗｊ）はｊが奇数のとき０となり、行列要素ｈ２（ｗｊ）はｊが偶数のときに０となる。狭帯域符号化装置２００が３つ以上の狭帯域符号化素子を備える場合も同様に、行列Ｈは規則的に０成分を含む。行列Ｈが０成分を多く含むと、演算過程において考慮
すべき未知数の数が減少する。

ここで、各波長帯域Ｗ１、Ｗ２、・・、Ｗｎの画像データｆ１、ｆ２、・・・、ｆｎは、それぞれｐｘ×ｐｙ個の要素を有するデータであるため、右辺においてベクトル表記した分光分離画像ｆは、厳密にはｐｘ×ｐｙ×ｎ行１列の１次元ベクトルに相当する。このとき、撮影画像ｇは、ｐｘ×ｐｙ×ｍ行１列の１次元ベクトルに変換して表すことができる。

さて、撮影画像ベクトルｇと行列Ｈが与えられれば、（数５）の逆問題を解くことで分光分離画像ベクトルｆを算出することができそうである。しかし、ｍ＜ｎであり、求める分光分離画像ベクトルｆの要素数ｐｘ×ｐｙ×ｎが、取得した撮影画像ベクトルｇの要素数ｐｘ×ｐｙ×ｍよりも多い。したがって、この問題は不良設定問題となり、このままでは解くことができない。そこで、本実施の形態の信号処理回路Ｐｒは、分光分離画像ｆに含まれる画像の冗長性を利用し、圧縮センシングの手法を用いて解を求める。具体的には、以下の（数６）の式を解くことにより、求める分光分離画像ベクトルｆを推定する。

ここで、推定画像ベクトルｆ’は、推定された分光分離画像ベクトルｆを表す。信号処理回路Ｐｒは、再帰的な反復演算によって解を収束させ、最終的な解として推定画像ベクトルｆ’を算出することができる。

（数６）は、右辺の括弧内の第１項と第２項との和を最小化する推定画像ベクトルｆ’を求めることを意味する。上式の括弧内の第１項は、推定結果Ｈｆと撮影画像ベクトルｇとのずれ量、いわゆる残差項を表す。本実施の形態では、取得した撮影画像ベクトルｇと、推定過程の分光分離画像ベクトルｆを行列Ｈによってシステム変換した行列Ｈｆとの差分の二乗和を残差項としている。絶対値あるいは二乗和平方根等を残差項としてもよい。括弧内の第２項は、正則化項である。第２項のΦ（ｆ）は、分光分離画像ベクトルｆの正則化における制約条件であり、推定データのスパース情報を反映した関数である。働きとしては、推定データを滑らかまたは安定にする効果がある。正則化項は、例えば、分光分離画像ベクトルｆの離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）等によって表され得る。例えば、トータルバリエーションを使用した場合、撮影画像ベクトルｇのノイズの影響を抑えた安定した推測データを取得できる。それぞれの正則化項の空間における対象物Ｏのスパース性は、対象物Ｏのテキスチャによって異なる。対象物Ｏのテキスチャが正則化項の空間においてよりスパースになる正則化項を選んでもよい。あるいは、複数の正則化項を演算に含んでもよい。第２項におけるτは、重み係数であり、この値が大きいほど冗長的なデータの削減量が多くなり、つまり圧縮する割合が高まり、小さいほど解への収束性が弱くなる。重み係数τは、分光分離画像ベクトルｆがある程度収束し、かつ、過圧縮にならない適度な値に設定される。

なお、ここでは（数６）に示す圧縮センシングを用いた演算例を示したが、その他の方法を用いて解いてもよい。例えば、最尤推定法またはベイズ推定法などの他の統計的方法を用いることができる。

（実施の形態４の効果）
狭帯域符号化素子は、波長方向に複数の透光領域（透過波長領域Ｔ）と複数の遮光領域（遮光波長領域Ｑ）とを有する。これにより、狭帯域符号化素子、および空間変調符号化
素子ＣＳによって符号化されて撮像素子に入力される光は、透過波長領域Ｔに相当する複数の波長帯域において、離散的な強度を有する。そのため、撮像素子に入射した光から分光分離画像Ｆを再構成する演算において、考慮すべき未知数の数を減少させる効果がある。このことは、波長分解能を向上させることと同義である。それによって、演算の精度が上昇するので、多波長かつ高解像度な分光分離画像Ｆを得ることができる。

また、空間変調符号化素子のある領域Ａを透過した光を、撮像素子の対応する１つの画素にのみ入射させることにより、撮像素子の１つの画素に２つ以上の領域Ａからの光が入射しない。このことにより、信号処理回路Ｐｒによる演算が容易になる。

また、狭帯域符号化素子が波長方向に透過波長領域Ｔと遮光波長領域Ｑとを周期的に有する場合は、一定間隔で透過波長領域Ｔが必ず存在することになる。つまり、対象波長域Ｗにおいてより広い範囲に透過波長領域Ｔが存在することになる。したがって、一つの狭帯域符号化素子を用いてより多くの波長帯域における分光分離画像を得ることができる。

また、狭帯域符号化素子を複数用いる場合、一つの狭帯域符号化素子を用いた場合と比較して、撮影回数は増えるものの、すべての撮影画像に含まれる波長帯域数が増加する。したがって、多波長の分光分離画像Ｆを得ることができる。

用いる狭帯域符号化素子の数を増やすと、例えば対象波長域Ｗおよび波長帯域数が同じ場合では、一つの狭帯域符号化素子における透過波長領域Ｔの数を減少させることができる。言い換えると、一つの狭帯域符号化素子における遮光波長領域Ｑの範囲を広げることができる。そのため、信号処理回路Ｐｒによって分光分離画像を得る演算過程において、行列Ｈにおける未知数が減少し、計算が容易になる。これにより、分光分離画像の再構成精度を高めることができる。

また、一つの狭帯域符号化素子における透過波長領域Ｔの数に限りがあることもある。その場合、対象波長域Ｗが等しい場合では、用いる狭帯域符号化素子の数を増やすことによって、全体として、透過波長領域Ｔの数を増やすことができる。つまり、対象波長域Ｗを多くの透過波長領域Ｔに分割することができるので、波長帯域の狭帯域化が可能になる。これにより、より狭帯域における観察が可能になる。

また、本実施の形態では空間変調符号化素子において、光透過率の空間分布（複数の透光領域及び複数の遮光領域の空間分布）が波長依存性を有する。したがって、空間変調符号化素子によって波長ごとに光の符号化を行うことができる。ゆえに、プリズムなどの分光素子を別個に用いる必要がなく、一般的な結像レンズを使用すればよいので、撮像装置の小型化を図ることができる。また、分光素子を利用する際のコマ収差の発生についても抑制することができるので、解像度の低下を抑制できる。また、分光素子による波長ごとの画像シフトを行わない本開示では、強い光が撮像装置に入射した場合に生じる画素の飽和の範囲が限定的であり、有利である。

本開示における撮像装置は、例えば、多波長の２次元画像を取得するカメラおよび測定機器に有用である。本開示における撮像装置は、生体・医療・美容向けセンシング、食品の異物・残留農薬検査システム、リモートセンシングシステムおよび車載センシングシステム等にも応用できる。

１００ 結像光学系
１０２ 撮像レンズ
２００ 狭帯域符号化装置
Ｏ 対象物
Ｇ、Ｇ１、Ｇ２ 撮影画像
Ｃ 符号化素子
Ｃ１、Ｃ２ 狭帯域符号化素子
ＣＳ 空間変調符号化素子
Ｐｒ 信号処理回路
Ｓ 撮像素子
Ｆ、Ｆ１、Ｆ２、Ｆ３、Ｆｉ、Ｆｎ 分光分離画像
Ｄ１、Ｄ２、Ｄ２’、Ｄ４ 撮像装置
Ａ、Ａ１、Ａ２ 領域
Ｒ 光束
Ｔ１、Ｔ２ 撮影時間
Ｗ１、Ｗ２、Ｗｉ、Ｗｎ 波長帯域
Ｗ 対象波長域

Claims (18)

1. 対象波長域に含まれる４帯域以上の複数の波長域の各々の画像情報を含む多波長画像を生成するための画像生成方法であって、
   符号化素子と、前記符号化素子を通過した光の光路上に配置される撮像素子とを有する撮像装置により撮影された画像を取得することと、
   前記画像を基に、前記多波長画像を生成することと、を含み、
   前記符号化素子の同一領域を通過した光の前記複数の波長域のうち少なくとも２つの波長域の成分が前記画像の１画素に重畳している、
   画像生成方法。
2. 前記多波長画像の生成は、前記画像と、前記符号化素子の分光透過率の空間分布とに基づいて行われる、
   請求項１に記載の画像生成方法。
3. 前記撮像装置から前記符号化素子の分光透過率の空間分布に関する情報を取得することをさらに含む、
   請求項２に記載の画像生成方法。
4. 前記画像の撮影に使用される前記符号化素子は、
   ２次元に配列された複数の領域を備え、
   前記複数の領域は、第１領域および第２領域を含み、
   前記第１領域の光透過率の波長分布は、互いに異なる第１波長域および第２波長域においてそれぞれ極大値を有し、
   前記第２領域の光透過率の波長分布は、互いに異なる第３波長域および第４波長域においてそれぞれ極大値を有し、
   前記対象波長域における前記第１領域の光透過率の波長分布を、前記第１領域の光透過率の最大値が１、最小値が０となるように正規化したとき、前記第１波長域および前記第２波長域における前記極大値はいずれも０．５以上であり、
   前記対象波長域における前記第２領域の光透過率の波長分布を、前記第２領域の分光透過率の最大値が１、最小値が０となるように正規化したとき、前記第３波長域および前記第４波長域における前記極大値はいずれも０．５以上であり、
   前記第１波長域および前記第２波長域のうち少なくとも１つは、前記第３波長域および前記第４波長域と異なる、
   請求項１から３のいずれかに記載の画像生成方法。
5. 対象波長域に含まれる４帯域以上の複数の波長域の各々の画像情報を含む多波長画像を生成するためのコンピュータプログラムであって、コンピュータに、
   符号化素子と、前記符号化素子を通過した光の光路上に配置される撮像素子とを有する撮像装置により撮影された、画像を取得することと、
   前記画像を基に、前記多波長画像を生成することと、を実行させ、
   前記符号化素子の同一領域を通過した光の前記複数の波長域のうち少なくとも２つの波長域の成分が前記画像の１画素に重畳している、
   コンピュータプログラム。
6. 前記多波長画像の生成は、前記画像と、前記符号化素子の分光透過率の空間分布とに基づいて行われる、
   請求項５に記載のコンピュータプログラム。
7. 前記コンピュータに、前記撮像装置から前記符号化素子の分光透過率の空間分布に関する情報を取得することをさらに実行させる、
   請求項６に記載のコンピュータプログラム。
8. 前記画像の撮影に使用される前記符号化素子は、
   ２次元に配列された複数の領域を備え、
   前記複数の領域は、第１領域および第２領域を含み、
   前記第１領域の光透過率の波長分布は、互いに異なる第１波長域および第２波長域においてそれぞれ極大値を有し、
   前記第２領域の光透過率の波長分布は、互いに異なる第３波長域および第４波長域においてそれぞれ極大値を有し、
   前記対象波長域における前記第１領域の光透過率の波長分布を、前記第１領域の光透過率の最大値が１、最小値が０となるように正規化したとき、前記第１波長域および前記第２波長域における前記極大値はいずれも０．５以上であり、
   前記対象波長域における前記第２領域の光透過率の波長分布を、前記第２領域の分光透過率の最大値が１、最小値が０となるように正規化したとき、前記第３波長域および前記第４波長域における前記極大値はいずれも０．５以上であり、
   前記第１波長域および前記第２波長域のうち少なくとも１つは、前記第３波長域および前記第４波長域と異なる、
   請求項５から７のいずれかに記載のコンピュータプログラム。
9. 対象波長域に含まれる４帯域以上の複数の波長域の各々の画像情報を含む多波長画像を生成するための分光方法であって、
   符号化素子と、前記符号化素子を通過した光の光路上に配置される撮像素子とを有する撮像装置により、前記符号化素子を通過した光の前記複数の波長域の成分が重畳した画像を撮影することと、
   前記画像を、前記画像を基に前記多波長画像を生成するための信号処理装置に送信することと、を含み、
   前記符号化素子は、
   ２次元に配列された複数の領域を備え、
   前記複数の領域は、第１領域および第２領域を含み、
   前記第１領域の光透過率の波長分布は、互いに異なる第１波長域および第２波長域においてそれぞれ極大値を有し、
   前記第２領域の光透過率の波長分布は、互いに異なる第３波長域および第４波長域においてそれぞれ極大値を有し、
   前記対象波長域における前記第１領域の光透過率の波長分布を、前記第１領域の光透過率の最大値が１、最小値が０となるように正規化したとき、前記第１波長域および前記第２波長域における前記極大値はいずれも０．５以上であり、
   前記対象波長域における前記第２領域の光透過率の波長分布を、前記第２領域の分光透過率の最大値が１、最小値が０となるように正規化したとき、前記第３波長域および前記第４波長域における前記極大値はいずれも０．５以上であり、
   前記第１波長域および前記第２波長域のうち少なくとも１つは、前記第３波長域および前記第４波長域と異なる、
   分光方法。
10. 前記信号処理装置に、前記符号化素子の分光透過率の空間分布に関する情報を送信することをさらに含む、
    請求項９に記載の分光方法。
11. 前記極大値における光透過率は０．８以上である、請求項９に記載の分光方法。
12. 前記第１波長域、前記第２波長域、前記第３波長域、および前記第４波長域は、すべて異なる、請求項９に記載の分光方法。
13. 前記複数の領域の一部は透明領域である、請求項９に記載の分光方法。
14. ２次元に配列された前記複数の領域は、前記複数の領域の一方の配列方向および前記一方の配列方向に垂直な他方の配列方向において、光透過率が波長によって異なる領域と、前記透明領域とが、交互に配列されている、請求項１３に記載の分光方法。
15. 前記透明領域は、前記第１波長域、前記第２波長域、前記第３波長域、および前記第４波長域の全てにおいて光透過率が０．８以上である、請求項１３または１４に記載の分光方法。
16. 任意の波長域における前記符号化素子の光透過率の空間分布が、ランダム分布または準ダム分布である、請求項９に記載の分光方法。
17. 対象波長域に含まれる４帯域以上の複数の波長域の各々の画像情報を含む多波長画像を生成するための画像生成方法であって、
    符号化素子と、前記符号化素子を通過した光の光路上に配置される撮像素子とを有する撮像装置により、前記符号化素子を通過した光の前記複数の波長域の成分が重畳した画像を撮影することと、
    前記画像を基に、前記多波長画像を生成することと、を含み、
    前記符号化素子は、
    ２次元に配列された複数の領域を備え、
    前記複数の領域は、第１領域および第２領域を含み、
    前記第１領域の光透過率の波長分布は、互いに異なる第１波長域および第２波長域においてそれぞれ極大値を有し、
    前記第２領域の光透過率の波長分布は、互いに異なる第３波長域および第４波長域においてそれぞれ極大値を有し、
    前記対象波長域における前記第１領域の光透過率の波長分布を、前記第１領域の光透過率の最大値が１、最小値が０となるように正規化したとき、前記第１波長域および前記第２波長域における前記極大値はいずれも０．５以上であり、
    前記対象波長域における前記第２領域の光透過率の波長分布を、前記第２領域の分光透過率の最大値が１、最小値が０となるように正規化したとき、前記第３波長域および前記第４波長域における前記極大値はいずれも０．５以上であり、
    前記第１波長域および前記第２波長域のうち少なくとも１つは、前記第３波長域および前記第４波長域と異なる、
    画像生成方法。
18. 対象波長域に含まれる４帯域以上の複数の波長域の各々の画像情報を含む多波長画像を生成するための分光システムであって、
    符号化素子と、
    前記符号化素子を通過した光の光路上に配置される撮像素子と、
    前記撮像素子が撮影した画像を基に前記多波長画像を生成する信号処理回路と、を備え、
    前記符号化素子の同一領域を通過した光の前記複数の波長域のうち少なくとも２つの波長域の成分が前記画像の１画素に重畳している、
    分光システム。

Images