JP6064290B2 - 撮像装置、分光システム、および分光方法 - Google Patents

Description

本開示は、分光画像を取得するための撮像装置、分光システムおよびそれらを用いた分光方法に関する。

各々が狭帯域である多数のバンド（例えば数十バンド以上）のスペクトル情報を活用することで、従来のＲＧＢ画像では不可能であった観測物の詳細な物性を把握することができる。この多波長の情報を取得するカメラは、「ハイパースペクトルカメラ」と呼ばれる。ハイパースペクトルカメラは、食品検査、生体検査、医薬品開発、鉱物の成分分析等のあらゆる分野で利用されている。

観測対象の波長を狭帯域に限定して取得された画像の活用例として、特許文献１は、被験体の腫瘍部位と非腫瘍部位との判別を行う装置を開示している。この装置は、励起光の照射により、癌細胞内に蓄積されるプロトポルフィリンＩＸが６３５ｎｍの蛍光を発し、フォト−プロトポルフィリンが６７５ｎｍの蛍光を発することを検出する。これにより、腫瘍部位と非腫瘍部位との識別を行う。

特許文献２は、時間経過に伴って低下する生鮮食品の鮮度を、連続的な多波長の光の反射率特性の情報を取得することで判定する方法を開示している。

多波長の画像または反射率を測定できるハイパースペクトルカメラは、以下の４つの方式に大別できる。
（ａ）ラインセンサ方式
（ｂ）電子フィルタ方式
（ｃ）フーリエ変換方式
（ｄ）干渉フィルタ方式

（ａ）ラインセンサ方式では、ライン状のスリットを有する部材を用いて対象物の１次元情報が取得される。スリットを通過した光は、回折格子やプリズムなどの分光素子によって波長に応じて分離される。分離された波長ごとの光は、２次元に配列された複数の画素を有する撮像素子（イメージセンサ）によって検出される。この方式では、一度に測定対象物の１次元情報しか得られないため、カメラ全体あるいは測定対象物をスリット方向に垂直に走査することによって２次元のスペクトル情報を得る。ラインセンサ方式では、高解像度の多波長画像が得られるという利点がある。特許文献３は、ラインセンサ方式のハイパースペクトルカメラの例を開示している。

（ｂ）電子フィルタ方式には、液晶チューナブルフィルタ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｔｕｎａｂｌｅ Ｆｉｌｔｅｒ：ＬＣＴＦ）を用いる方法と、音響光学素子（Ａｃｏｕｓｔｏ−Ｏｐｔｉｃ Ｔｕｎａｂｌｅ Ｆｉｌｔｅｒ：ＡＯＴＦ）を用いる方法とがある。液晶チューナブルフィルタは、リニアポラライザ、複屈折フィルタ、および液晶セルを多段に並べた素子である。電圧制御だけで不要な波長の光を排除し任意の特定波長の光のみを抽出できる。音響光学素子は、圧電素子が接着された音響光学結晶によって構成される。音響光学結晶に電気信号を印加すると、超音波が発生し、結晶内に疎密の定常波が形成される。それによる回折効果によって任意の特定波長の光のみを抽出することができる。この方式は、波長が限定されるが高解像度の動画のデータを取得できるという利点がある。

（ｃ）フーリエ変換方式は、２光束干渉計の原理を用いる。測定対象からの光束はビームスプリッターで分岐され、それぞれの光束が固定ミラーおよび移動ミラーで反射され、再度結合した後、検出器で観測される。移動ミラーの位置を時間的に変動させることにより、光の波長に依存した干渉の強度変化を示すデータを取得することができる。得られたデータをフーリエ変換することにより、スペクトル情報が得られる。フーリエ変換方式の利点は、多波長の情報を同時に取得できることである。

（ｄ）干渉フィルタ方式は、ファブリペロー干渉計の原理を用いた方式である。所定の間隔だけ離れた反射率の高い２つの面を有する光学素子をセンサ上に配置した構成が用いられる。光学素子の２面間の間隔は領域ごとに異なり、所望の波長の光の干渉条件に一致するように決定される。干渉フィルタ方式は、多波長の情報を同時にかつ動画で取得できるという利点がある。

これらの方式以外にも、例えば特許文献４の明細書に開示されているように、圧縮センシングを利用した方法もある。特許文献４に開示された装置は、測定対象からの光をプリズム等の第１の分光素子で分光した後、符号化マスクでマーキングし、さらに第２の分光素子によって光線の経路を戻す。これにより、符号化され、かつ波長軸に関して多重化された画像がセンサによって取得される。多重化された画像から圧縮センシングの適用により、多波長の複数枚の画像を再構成することができる。

圧縮センシングとは、少ないサンプル数の取得データから、それよりも多くのデータを復元する技術である。測定対象の２次元座標を（ｘ、ｙ）、波長をλとすると、求めたいデータｆは、ｘ、ｙ、λの３次元のデータである。これに対し、センサによって得られる画像データｇは、λ軸方向に圧縮および多重化された２次元のデータである。相対的にデータ量が少ない取得画像ｇから、相対的にデータ量が多いデータｆを求める問題は、いわゆる不良設定問題であり、このままでは解くことができない。しかし、一般に、自然画像のデータは冗長性を有しており、それを巧みに利用することでこの不良設定問題を良設定問題に変換することができる。画像の冗長性を活用してデータ量を削減する技術の例に、ｊｐｅｇ圧縮がある。ｊｐｅｇ圧縮は、画像情報を周波数成分に変換し、データの本質的でない部分、例えば、視覚の認識性が低い成分を除去するといった方法が用いられる。圧縮センシングでは、このような技法を演算処理に組入れ、求めたいデータ空間を冗長性で表された空間に変換することで未知数を削減し解を得る。この変換には、例えば、離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、トータルバリエーション（ＴＶ）等が使用される。

国際公開第１３／００２３５０号 特開２００７−１０８１２４号公報 特開２０１１−８９８９５号公報 米国特許第７２８３２３１号明細書

既存のハイパースペクトルカメラでは、高解像度、多波長、動画撮影（ワンショット撮影）の３つの要求を同時に満足することができない。

本開示は、高解像度、多波長、動画撮影（ワンショット撮影）の３つの要求を同時に満足し得る新たな撮像技術を提供する。

本開示の一態様に係る撮像装置は、対象物から入射する光の光路上に配置され、第１の光透過率を有する複数の領域と、前記第１の光透過率よりも低い第２の光透過率を有する複数の領域とを有する符号化素子と、前記符号化素子を通過した光の少なくとも一部の光路上に配置され、前記少なくとも一部の光を、波長に応じて空間的にシフトさせる分光素子と、前記分光素子を通過した光と、前記分光素子を通過していない光とを受けるように配置された少なくとも１つの撮像素子であって、前記分光素子によって空間的にシフトした波長ごとの光の成分が重畳した第１の画像と、前記分光素子を通過していない光による第２の画像とを取得する少なくとも１つの撮像素子とを備える。

本開示によれば、高解像度、多波長、動画撮影（ワンショット撮影）の３つの要求を同時に満たす撮像装置および分光システムを提供することができる。

本開示の実施の形態１における撮像装置を示す模式図である。 本開示の実施の形態１における符号化素子Ｃを被写体側から見たときの正面図であり、透過・反射の２値の分布を持つ符号化パターンを示している。 本開示の実施の形態１における符号化素子Ｃの変形例を示す図であり、グレースケールの透過率分布を持つ符号化パターンを示している。 本開示の実施の形態１における分光方法の概要を示すフローチャートである。 本開示の実施の形態２における撮像装置を示す模式図である。 本開示の実施の形態３における撮像装置を示す模式図である。 本開示の実施の形態３におけるアレイ状光学素子Ａと撮像素子Ｓとの関係を示す図である。 本開示の実施の形態３におけるアレイ状光学素子Ａと撮像素子Ｓ上の画素との位置関係を示す図である。 本開示の実施の形態４における分光素子Ｐ１、Ｐ２を示す模式図である。 本開示の実施の形態４におけるアレイ状光学素子Ａと撮像素子Ｓとの関係を示す図である。 本開示の実施の形態４におけるアレイ状光学素子Ａと撮像素子Ｓ上の画素との位置関係を示す図である。 本開示の実施例１による画像生成結果を示す図である。 本開示の比較例１による画像生成結果を示す図である。 本開示の実施例１および比較例１のそれぞれにおいて生成した分光画像と正解画像との間のＭＳＥ（平均二乗誤差）を示す図である。

本開示の実施の形態を説明する前に、本発明者らによって見出された知見を説明する。

本発明者らの検討によれば、上述した従来のハイパースペクトルカメラには、以下のような課題がある。（ａ）ラインセンサ方式は、２次元画像を得るためにカメラを走査する必要があり、測定対象の動画撮影には不向きである。（ｃ）フーリエ変換方式も、反射鏡を移動させる必要があるため、動画撮影には不向きである。（ｂ）電子フィルタ方式は、１波長ずつ画像を取得するため、多波長の画像を同時に取得できない。（ｄ）干渉フィルタ方式は、画像を取得できる波長の帯域数と空間分解能とがトレードオフとなるため、多波長画像を取得する場合、空間分解能が犠牲になる。このように、既存のハイパースペクトルカメラには、高解像度、多波長、動画撮影（ワンショット撮影）の３つを同時に満足するものは存在しない。

圧縮センシングを利用した構成は、一見すると高解像度、多波長、動画撮影を同時に満たすことができるようにも思われる。しかし、もともと少ないデータから推測に基づいて画像を再構成するため、取得される画像の空間解像度は本来の画像に比べて低下しやすい。特に取得データの圧縮率が高いほどその影響が顕著に現れる。

本発明者らは、上記の課題を見出し、この課題を解決するための構成を検討した。本発明者らは、分光素子によって分離した異なる波長の光の像が重畳した画像だけでなく、分光されずに取得される画像を用いて演算を行うことにより、解像度の低下を抑制できることを見出し、本開示の技術を完成させた。本開示の実施の形態によれば、従来の圧縮センシングを用いた方法よりも高い解像度の多波長画像を取得することができる。これにより、高解像度、多波長、動画撮影（ワンショット撮影）の３つの要求を同時に満たすことができる。また、本開示の実施の形態では、ｘ方向、ｙ方向、波長方向の３次元情報のうち波長方向の情報が圧縮される。したがって、２次元データを保有するだけで済み、データ量を抑えることができるため、本開示の実施の形態は長時間のデータ取得に有効である。

本開示は、以下の項目に記載の撮像装置、システム、および方法を含む。

［項目１］
対象物から入射する光の光路上に配置され、第１の光透過率を有する複数の領域と、前記第１の光透過率よりも低い第２の光透過率を有する複数の領域とを有する符号化素子と、
前記符号化素子を通過した光の少なくとも一部の光路上に配置され、前記少なくとも一部の光を、波長に応じて空間的にシフトさせる分光素子と、
前記分光素子を通過した光と、前記分光素子を通過していない光とを受けるように配置された少なくとも１つの撮像素子であって、前記分光素子によって空間的にシフトした波長ごとの光の成分が重畳した第１の画像と、前記分光素子を通過していない光による第２の画像とを取得する少なくとも１つの撮像素子と、
を備える撮像装置。

［項目２］
前記対象物から入射する光の光路上に配置され、前記光の一部を透過させ、前記光の他の一部を反射させる光線分離素子をさらに備え、
前記分光素子は、前記光線分離素子によって分離された光の一方の光路上に配置され、
前記少なくとも１つの撮像素子は、前記分光素子を通過した光を受けるように配置された第１の撮像素子と、前記光線分離素子によって分離された光の他方の光路上に配置された第２の撮像素子とを含み、前記第１の撮像素子は、前記第１の画像を取得し、前記第２の撮像素子は、前記第２の画像を取得する、
項目１に記載の撮像装置。

［項目３］
前記符号化素子は、前記光線分離素子と前記分光素子との間に配置されている、項目２に記載の撮像装置。

［項目４］
前記対象物と前記光線分離素子との間に配置され、前記対象物からの光を、前記符号化素子の面上に集束させる第１の光学系と、
前記符号化素子と前記分光素子との間に配置され、前記符号化素子を通過した光を前記第１の撮像素子の撮像面上に集束させる第２の光学系と、
をさらに備える項目３に記載の撮像装置。

［項目５］
前記符号化素子は、前記対象物と前記光線分離素子との間に配置され、
前記符号化素子と前記光線分離素子との間に配置され、前記符号化素子を通過した光を前記第１の撮像素子の撮像面上および前記第２の撮像素子の撮像面上に集束させる光学系をさらに備える項目２に記載の撮像装置。

［項目６］
前記撮像素子は、前記第１の画像を取得するための複数の第１光検出セル、および前記第２の画像を取得するための複数の第２光検出セルを有し、
前記分光素子は、前記符号化素子を通過した光の一部の光路上に配置され、
前記撮像素子の撮像面に対向して配置されたアレイ状光学素子であって、前記分光素子を通過した光を前記複数の第１光検出セルに入射させ、前記分光素子を通過していない光を前記複数の第２光検出セルに入射させるアレイ状光学素子をさらに備える、
項目１に記載の撮像装置。

［項目７］
前記第１の画像と、前記第２の画像と、前記符号化素子における光透過率の空間分布とに基づいて、前記分光素子を通過した光の波長帯域ごとの複数の画像を生成する信号処理回路をさらに備える、項目１から６のいずれかに記載の撮像装置。

［項目８］
前記信号処理回路は、統計的方法によって前記波長帯域ごとの複数の画像を生成する、項目７に記載の撮像装置。

［項目９］
前記光の波長帯域ごとの複数の画像におけるデータ数は、前記第１の画像におけるデータ数と前記第２の画像におけるデータ数との合計よりも多い、項目７または８に記載の撮像装置。

［項目１０］
前記信号処理回路は、前記第１の画像における複数の画素の信号値、および前記第２の画像における複数の画素の信号値を要素とするベクトルｇと、前記符号化素子における光透過率の空間分布および前記分光素子の分光特性によって決定される行列Ｈとを用いて、
（τΦ（ｆ）は正則化項、τは重み係数）
の式によって計算されるベクトルｆ’を、前記波長帯域ごとの複数の画像として生成する、
項目７から９のいずれかに記載の撮像装置。

［項目１１］
対象物から入射する光の光路上に配置され、第１の光透過率を有する複数の領域と、前記第１の光透過率よりも低い第２の光透過率を有する複数の領域とを有する符号化素子と、前記符号化素子を通過した光の少なくとも一部の光路上に配置され、前記少なくとも一部の光を、波長に応じて空間的にシフトさせる分光素子と、前記分光素子を通過した光と、前記分光素子を通過していない光とを受けるように配置された少なくとも１つの撮像素子であって、前記分光素子によって空間的にシフトした波長ごとの光の成分が重畳した第１の画像と、前記分光素子を通過していない光による第２の画像とを取得する少なくとも１つの撮像素子と、を備える撮像装置と、
前記第１の画像と、前記第２の画像と、前記符号化素子における光透過率の空間分布とに基づいて、前記分光素子を通過した光の波長帯域ごとの複数の画像を生成する信号処理装置と、
を備える分光システム。

［項目１２］
対象物から入射する光の強度を空間的に符号化するステップと、
前記符号化した光の少なくとも一部を、波長に応じて空間的にシフトさせるステップと、
前記空間的にシフトした波長ごとの光の成分が重畳した第１の画像と、波長に応じて空間的にシフトしていない光による第２の画像とを取得するステップと、
前記第１の画像と、前記第２の画像と、前記符号化のパターンとに基づいて、波長帯域ごとの複数の画像を生成するステップと、
を含む分光方法。

以下、図面を参照しながら、本開示のより具体的な実施の形態を説明する。

以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、以下の説明では、画像を示す信号（各画素の画素値を表す信号の集合）を、単に「画像」と称することがある。以下の説明において、図中に示されたｘｙｚ座標を用いる。

（実施の形態１）
図１は、実施の形態１の撮像装置Ｄ１を示す模式図である。本実施の形態の撮像装置Ｄ１は、結像光学系Ｌ１、Ｌ２と、光線分離素子Ｂと、符号化素子Ｃと、分光素子Ｐと、撮像素子Ｓ１、Ｓ２とを備える。図１には、撮像素子Ｓ１、Ｓ２から出力された画像信号を処理する信号処理回路Ｐｒも描かれている。信号処理回路Ｐｒは、撮像装置Ｄ１に組み込まれていてもよいし、撮像装置Ｄ１に有線または無線で電気的に接続された信号処理装置の構成要素であってもよい。信号処理回路Ｐｒは、撮像素子Ｓ１によって取得された第１の画像Ｇ１と、撮像素子Ｓ２によって取得された第２の画像Ｇ２とに基づいて、測定対象物Ｏからの光の波長帯域ごとに分離された複数の画像（以下、「分光画像」と称することがある。）Ｆを推定する。

結像光学系Ｌ１、Ｌ２の各々は、少なくとも１つの撮像レンズを含む。図１では、それぞれ１つのレンズとして描かれているが、これらは複数のレンズの組み合わせによって構成されていてもよい。図１では、結像光学系Ｌ１、Ｌ２の光軸方向をｚ軸として示している。

光線分離素子Ｂは、結像光学系Ｌ１と結像光学系Ｌ２との間に配置されている。光線分離素子Ｂは、入射する光束を波長によらずに２つの方向に分岐する。より具体的には、対象物から入射した光束の一部を撮像素子Ｓ１の方向へ透過させ、他の一部を撮像素子Ｓ２の方向へ反射させる。光線分離素子Ｂは、例えば、ビームスプリッターまたはハーフミラーによって構成され得る。

符号化素子Ｃは、結像光学系Ｌ１の結像面に配置されている。符号化素子Ｃは、光線分離素子Ｂと分光素子Ｐとの間に配置されている。符号化素子Ｃは、光透過率の空間分布を有するマスクである。符号化素子Ｃは、第１の光透過率を有する複数の領域と、第１の光透過率よりも低い第２の光透過率を有する複数の領域とを少なくとも有する。符号化素子Ｃは、光線分離素子Ｂを透過して入射した光の強度を空間的に変調させて通過させる。

図２Ａおよび図２Ｂは、符号化素子Ｃの光透過率の２次元分布の例を示す図である。図２Ａは、本実施の形態における符号化素子Ｃの光透過率分布を示している。図２Ａにおいて、黒い部分は光を殆ど透過させない領域（「遮光領域」と称する。）を、白い部分は光を透過させる領域（「透光領域」と称する。）を示している。この例では、白い部分の光透過率はほぼ１００％であり、黒い部分の光透過率はほぼ０％である。符号化素子Ｃは、複数の矩形領域に分割されており、各矩形領域は、透光領域または遮光領域である。したがって、図２Ａに示す例では、符号化素子Ｃが、第１の光透過率が１００％の複数の矩形領域と第２の光透過率がほぼ０％の複数の矩形領域とを有する。符号化素子Ｃにおける透光領域および遮光領域の２次元分布は、例えばランダム分布または準ランダム分布であり得る。

ランダム分布および準ランダム分布の考え方は次のとおりである。まず、符号化素子Ｃにおける各矩形領域は、光透過率に応じて、例えば１または０の値を有するベクトル要素とみなせる。言い換えると、一列に並んだ矩形領域の集合を１または０の値を有する多次元のベクトルとみなせる。したがって、符号化素子Ｃは、多次元ベクトルを行方向に複数備えている。このとき、ランダム分布とは、任意の２つの多次元ベクトルが独立である（平行でない）ことを意味する。また、準ランダム分布とは、一部の多次元ベクトル間で独立でない構成が含まれることを意味する。

ランダム分布および準ランダム分布は式（数１）で定義される自己相関関数を用いて定義することもできる。

（数１）において、ｘ（ｍ，ｎ）は、縦にＭ個、横にＮ個の計Ｍ×Ｎ個の矩形領域が配列して構成される符号化素子Ｃにおいて、縦方向にｍ番目、横方向にｎ番目に配置された矩形領域の光透過率を表す。また、ｉ＝−（Ｍ−１），・・・，−１，０，１，・・・，（Ｍ−１）、ｊ＝−（Ｎ−１），・・・，−１，０，１，・・・，（Ｎ−１）である。ただし、ｍ＜１，ｎ＜１，ｍ＞Ｍ，ｎ＞Ｎのときｘ（ｍ，ｎ）＝０とする。このとき、ランダム分布とは、（数１）で定義される自己相関関数ｙ（ｉ，ｊ）がｙ（０，０）において極大値を有し、その他（ｉ≠０、ｊ≠０）において極大値を有さないことを言う。より具体的には、自己相関関数ｙ（ｉ，ｊ）は、ｉ＝０からＭ−１及び−（Ｍ−１）に向かうにつれて単調に減少し、かつ、ｊ＝０からＮ−１及び−（Ｎ−１）に向かうにつれて単調に減少することを言う。また、準ランダム分布とは、自己相関関数ｙ（ｉ，ｊ）がｙ（０，０）のほかにｉ方向にＭ／１０箇所以下の極大値を有し、ｊ方向にＮ／１０箇所以下の極大値を有することを言う。

符号化素子Ｃによる符号化過程は、後続する分光素子Ｐによって分光された各波長の光による画像を区別するためのマーキングを行う過程といえる。そのようなマーキングが可能である限り、透過率の分布は任意に設定してよい。図２Ａに示す例では、黒い部分の数と白い部分の数との比率は１：１であるが、このような比率に限定されない。例えば、白い部分の数：黒い部分の数＝１：９のような一方に偏りのある分布であってもよい。また、図２Ｂに示すように、グレースケールの透過率分布を持つマスクであってもよい。この場合、符号化素子Ｃは、光透過率の互いに異なる３種類以上の複数の領域を含む。すなわち、符号化素子Ｃが、第１および第２の光透過率とは異なる第３の光透過率の複数の矩形領域を有する。符号化素子Ｃの透過率分布に関する情報は、設計データまたは実測キャリブレーションによって事前に取得される。

分光素子Ｐは、入射した光束を波長に応じて分散させる素子である。分光素子Ｐは、例えば、プリズムや回折光学素子により構成され得る。符号化素子Ｃによって符号化された光が結像光学系Ｌ２を通過して分光素子Ｐに入射する。本実施の形態における分光素子Ｐは、撮像素子Ｓ１の撮像面上に形成される光の像を、波長に応じてｙ方向（画像の縦方向）にずらす。分光素子Ｐがプリズムの場合、撮像面におけるずれの程度（「シフト量」と称することがある。）は、分光素子Ｐの屈折率、アッベ数、面の傾斜角、および分光素子Ｐと撮像素子Ｓとの間の距離によって決定される。分光素子Ｐが回折光学素子の場合、シフト量は、分光素子Ｐの屈折率、アッベ数、分光素子Ｐと撮像素子Ｓ１との間の距離、および回折格子のピッチによって決定される。本実施の形態では、分光素子Ｐは波長に応じて像をｙ方向にずらすが、ｘ方向（画像の横方向）または他の方向にずらしてもよい。また、測定対象物Ｏに応じてシフト量、またはシフト方向を変更してもよい。例えば、ｙ方向に高周波のテクスチャ（横縞など）をもつ測定対象物Ｏに対しては、ｙ方向のシフト量を大きくするか、ｙ方向ではなくｘ方向にシフトするように分光素子Ｐを構成してもよい。

分光素子Ｐによるシフト量は、設計仕様から演算によって、または実測キャリブレーションによって事前に算出しておく。分光素子Ｐによるシフトは、波長帯域ごとの離散的なシフトではなく、連続的なシフトである。一方、後述する信号処理回路Ｐｒでは、所定幅の波長帯域ごとに分光画像Ｆが再構成される。そのため、厳密には、再構成される画像ごとの波長帯域内でも各波長の画像は撮像素子Ｓ上でシフトしている。分光画像Ｆの再構成の精度を向上させるためには、波長帯域内の画像のシフトを補正することが望ましい。この補正は、コンピュータ演算によって行ってもよいが、光学系の収差や実装誤差の影響も考慮すると、実測キャリブレーションによって行うことが望ましい。例えば、被写体として白板を測定対象物Ｏの位置に設置し、所望の波長帯域の帯域通過フィルタを通して撮像素子Ｓ１上に符号化素子Ｃの像を形成させることによってキャリブレーションを行うことができる。波長帯域ごとに帯域通過フィルタを交換して所望の全ての帯域のデータを取得してもよいが、いくつかの帯域を選択して測定し、それ以外の帯域については測定されたデータの補間によって算出してもよい。この方法により、分光素子Ｐによる波長に応じたシフト量が算出できるとともに、波長帯域ごとの符号化素子Ｃの透過率情報も取得できる。キャリブレーションによって算出されたデータに基づいて、後述の（数２）における行列Ｈの要素が決定される。

撮像素子Ｓ１、Ｓ２は、２次元に配列された複数の光検出セル（本明細書において、「画素」と呼ぶ。）を有するモノクロタイプの撮像素子である。撮像素子Ｓ１、Ｓ２は、例えばＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサであり得る。光検出セルは、例えばフォトダイオードによって構成され得る。撮像素子Ｓ１、Ｓ２は、必ずしもモノクロタイプの撮像素子である必要はない。例えば、Ｒ／Ｇ／Ｂ、Ｒ／Ｇ／Ｂ／ＩＲ、またはＲ／Ｇ／Ｂ／Ｗのフィルタを有するカラータイプの撮像素子を用いてもよい。カラータイプの撮像素子を使用することで、波長に関する情報量を増やすことができ、分光画像Ｆの再構成の精度を向上させることができる。ただし、波長に関する情報量と解像度とはトレードオフの関係にあるため、カラータイプの撮像素子を使用した場合、空間方向（ｘ、ｙ方向）の情報量が低下する。撮像素子Ｓ１、Ｓ２が取得する波長範囲は任意であり、可視の波長範囲に限らず、紫外、近赤外、中赤外、遠赤外の波長範囲であってもよい。

信号処理回路Ｐｒは、撮像素子Ｓ１、Ｓ２から出力された画像信号を処理する回路である。信号処理回路Ｐｒは、例えばデジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のプログラマブルロジックデバイス（ＰＬＤ）、または中央演算処理装置（ＣＰＵ）・画像処理用演算プロセッサ（ＧＰＵ）とコンピュータプログラムとの組み合わせによって実現され得る。そのようなコンピュータプログラムは、メモリなどの記録媒体に格納され、ＣＰＵがそのプログラムを実行することにより、後述する演算処理を実行できる。図１に示す例では、信号処理回路Ｐｒがメモリを有しているが、メモリ等の記録媒体が信号処理回路Ｐｒとは独立して配置されていてもよい。前述のように、信号処理回路Ｐｒは、撮像装置Ｄ１の外部の要素であってもよい。そのような構成では、撮像装置Ｄ１に電気的に接続されたパーソナルコンピュータ（ＰＣ）や、インターネット上のクラウドサーバなどの信号処理装置が、信号処理回路Ｐｒを有する。本明細書では、そのような信号処理装置と撮像装置とを含むシステムを、「分光システム」と称する。

以下、本実施の形態における撮像装置Ｄ１の動作を説明する。

図３は、本実施の形態における分光方法の概要を示すフローチャートである。まず、ステップＳ１０１において、符号化素子Ｃを用いて測定対象物Ｏからの入射光を符号化する。符号化は、符号化素子Ｃが有する光透過率の空間分布によって入射光の強度が空間的に変調されることで実現される。次に、ステップＳ１０２において、分光素子Ｐを用いて、符号化素子Ｃによって符号化された光束を波長に応じて撮像面上でシフトさせる。続くステップＳ１０３において、分光素子Ｐによって波長に応じて空間シフトされた光の各成分が重畳した第１の画像を撮像素子Ｓ１によって取得する。また、分光素子Ｐによる波長に応じて空間シフトされていない光による第２の画像を撮像素子Ｓ２によって取得する。ステップＳ１０４において、第１の画像と、第２の画像と、符号化素子Ｃの光透過率分布に基づいて、分光画像Ｆを再構築する。

次に、本実施の形態の撮像装置Ｄ１によって第１の撮影画像Ｇ１および第２の撮影画像Ｇ２を取得する過程を説明する。

まず、第１の撮影画像Ｇ１の取得過程を説明する。測定対象物Ｏからの光束は、結像光学系Ｌ１によって集束され、その像が符号化素子Ｃによって符号化される。言い換えれば、符号化素子Ｃの透過率の空間分布に応じて符号化素子Ｃを通過する光の強度が変調される。符号化された光束は、結像光学系Ｌ２によって再度集束され、結像される。その過程において、光束は分光素子Ｐによって波長に応じて分散するため、撮像面上でずれて結像される。このずれて結像した波長ごとの像はそれぞれ符号化素子Ｃによって符号化されており、互いに重なり合った多重像として撮像素子Ｓ１の撮像面上に形成される。図１に示す画像Ｇ１に含まれている複数の黒い点は、符号化によって生じた低輝度の部分を模式的に表している。なお、図１に示す黒い点の数および配置は、現実の数および配置を反映していない。実際には、図１に示す数よりも多くの低輝度の部分が生じ得る。撮像素子Ｓ１における複数の光検出セルによって多重像の情報が複数の電気信号（画素信号）に変換され、第１の撮影画像Ｇ１が生成される。図１では、わかり易さのため、第１の撮影画像Ｇ１における多重像のｙ方向のずれが実際よりも大きく描かれている。実際には、隣接する２つの波長帯域の像のずれは、例えば１画素から数十画素程度の微小なずれであり得る。

次に、第２の撮影画像Ｇ２の取得過程を説明する。測定対象物Ｏからの光束は、結像光学系Ｌ１によって集束される過程において光線分離素子Ｂで分岐され、反射された光束による像が撮像素子Ｓ２の撮像面上に形成される。撮像素子Ｓ２の撮像面上には、分光素子Ｐを通過しない、すなわち分光素子Ｐによる波長に応じた空間シフトがされていない光束による像が形成される。撮像素子Ｓ２における複数の光検出セルによって生成された複数の画素信号から第２の撮影画像Ｇ２が生成される。第２の撮影画像Ｇ２は、測定対象物Ｏの波長帯域全域の情報を有するモノクロ画像であり、第１の撮影画像Ｇ１とほぼ同時に取得される。

図１に示す例では、第１の撮影画像Ｇ１は光線分離素子Ｂによる透過光束によって形成され、第２の撮影画像Ｇ２は光線分離素子Ｂによる反射光束によって形成される。しかし、光線分離素子Ｂによる透過光および反射光と、第１の撮影画像Ｇ１および第２の撮影画像Ｇ２との組み合わせは任意である。第１の撮影画像Ｇ１を光線分離素子Ｂによる反射光で形成し、第２の撮影画像Ｇ２を透過光で形成してもよい。

撮像装置Ｄ１は、入射光束の一部の波長帯域の成分のみを透過させる帯域通過フィルタをさらに備えていてもよい。そのような帯域通過フィルタは、例えば測定対象物Ｏと結像光学系Ｌ１との間、または、結像光学系Ｌ１と光線分離素子Ｂとの間に配置され得る。これにより、測定波長帯域を限定することができる。測定波長帯域を限定することで、所望の波長に限定した分離精度の高い分光画像Ｆを得ることができる。

次に、第１の撮影画像Ｇ１および第２の撮影画像Ｇ２から多波長の分光画像Ｆを再構成する方法を説明する。ここで多波長とは、例えば通常のカラーカメラで取得される３色（Ｒ・Ｇ・Ｂ）の波長帯域よりも多くの波長帯域を意味する。この波長帯域の数（以下、「分光帯域数」と称することがある。）は、例えば４から１００程度の数であり得る。用途によっては、分光帯域数は１００を超えていてもよい。

求めたいデータは分光画像Ｆであり、そのデータをｆと表す。分光帯域数（バンド数）をｗとすると、ｆは各帯域の画像データｆ₁、ｆ₂、・・・、ｆ_wを統合したデータである。求めるべき画像データのｘ方向の画素数をｎ、ｙ方向の画素数をｍとすると、画像データｆ₁、ｆ₂、・・・、ｆ_wの各々は、ｎ×ｍ画素の２次元データの集まりである。したがって、データｆは要素数ｎ×ｍ×ｗの３次元データである。分光素子Ｐが、求める分光帯域ごとにｙ方向に１画素ずつ分光画像をシフトさせるとすると、取得される第１の撮影画像Ｇ１のデータｇ₁の要素数はｎ×（ｍ＋ｗ−１）である。一方、第２の撮影画像Ｇ２のデータｇ₂の要素数は、ｎ×ｍである。本実施の形態におけるデータｇ₁、ｇ₂は、以下の（数２）で表すことができる。

ここで、ｆ₁、ｆ₂、・・・、ｆ_wの各々は、ｎ×ｍ個の要素を有するデータであるため、右辺のベクトルは、厳密にはｎ×ｍ×ｗ行１列の１次元ベクトルである。行列Ｈ₁、Ｈ₂は、それぞれｆからｇ₁、ｆからｇ₂への変換過程を表すシステム行列である。行列Ｈ₁は、ｆを符号化、すなわち画素ごとに強度変調し、各成分ｆ₁、ｆ₂、・・・、ｆ_wの画素値をｙ方向に１画素ずつシフトし、それらを加算する変換を表す。行列Ｈ₂は、光線分離素子Ｂの透過・反射の分岐率が１：１の場合、ｆの各成分ｆ₁、ｆ₂、・・・、ｆ_wの画素値をそのまま加算する変換である。行列Ｈ₁、Ｈ₂を、両者を統合したシステム行列Ｈで表し、データｇ₁、ｇ₂を統合したデータをｇとすると、ｇは、以下の（数３）で表される。

厳密には、ｆはｎ×ｍ×ｗ行１列の１次元ベクトル、ｇはｎ×（２ｍ＋ｗ−１）行１列の１次元ベクトルとして表される。したがって、Ｈはｎ×（２ｍ＋ｗ−１）行ｎ×ｍ×ｗ列の行列である。

ここでは各波長帯域の画像が１画素ずつシフトすることを想定したため、ｇ₁の要素数をｎ×（ｍ＋ｗ−１）としたが、必ずしも１画素ずつ各画像をシフトさせる必要はない。シフトさせる画素数は、２画素またはそれ以上でもよい。シフトさせる画素数は、再構成される分光画像Ｆにおける分光帯域・分光帯域数をどう設計するかに依存する。シフトさせる画素数に応じてｇ₁の要素数は変化する。また、シフト方向もｙ方向に限定されず、ｘ方向でもよい。一般化すれば、ｋｙ、ｋｘを任意の自然数として、ｙ方向にｋｙ画素、ｘ方向にｋｘ画素ずつ像をシフトさせる場合、データｇ₁の要素数は、｛ｎ＋ｋｘ・（ｗ−１）｝×｛ｍ＋ｋｙ・（ｗ−１）｝となる。

光線分離素子Ｂの透過および反射の分岐率は、必ずしも１：１である必要はなく、それ以外の比率であってもよい。この分岐率が１：１ではない場合、分岐率に応じてシステムの式（数２）の行列Ｈ₁または行列Ｈ₂の係数を補正すればよい。

さて、ベクトルｇと行列Ｈが与えられれば、（数３）の逆問題を解くことでｆを算出することができそうである。しかし、求めるデータｆの要素数ｎ×ｍ×ｗが取得データｇの要素数ｎ×（２ｍ＋ｗ−１）よりも多いため、この問題は不良設定問題となり、このままでは解くことができない。そこで、本実施の形態の信号処理回路Ｐｒは、データｆに含まれる画像の冗長性を利用し、圧縮センシングの手法を用いて解を求める。具体的には、以下の（数４）の式を解くことにより、求めるデータｆを推定する。

ここで、ｆ’は、推定されたｆのデータを表す。（数４）の括弧内の第１項は、推定結果Ｈｆと取得データｇとのずれ量、いわゆる残差項を表す。ここでは２乗和を残差項としているが、絶対値あるいは二乗和平方根等を残差項としてもよい。括弧内の第２項は、後述する正則化項（または安定化項）である。（数４）は、第１項と第２項との和を最小化するｆを求めることを意味する。信号処理回路Ｐｒは、再帰的な反復演算によって解を収束させ、最終的な解ｆ’を算出することができる。

（数４）の括弧内の第１項は、取得データｇと、推定過程のｆを行列Ｈによってシステム変換した推定結果Ｈｆとの差分の二乗和を求める演算を意味する。第２項のΦ（ｆ）は、ｆの正則化における制約条件であり、推定データのスパース情報を反映した関数である。働きとしては、推定データを滑らかまたは安定にする効果がある。正則化項は、例えば、ｆの離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）等によって表され得る。例えば、トータルバリエーションを使用した場合、観測データｇのノイズの影響を抑えた安定した推測データを取得できる。それぞれの正則化項の空間における測定対象物Ｏのスパース性は、測定対象物Ｏのテキスチャによって異なる。測定対象物Ｏのテキスチャが正則化項の空間においてよりスパースになる正則化項を選んでもよい。あるいは、複数の正則化項を演算に含んでもよい。τは、重み係数であり、この値が大きいほど冗長的なデータの削減量が多くなり（圧縮する割合が高まり）、小さいほど解への収束性が弱くなる。重み係数τは、ｆがある程度収束し、かつ、過圧縮にならない適度な値に設定される。

なお、ここでは（数４）に示す圧縮センシングを用いた演算例を示したが、その他の方法を用いて解いてもよい。例えば、最尤推定法やベイズ推定法などの他の統計的方法を用いることができる。また、分光画像Ｆの数は任意であり、各波長帯域も任意に設定してよい。

以上のように、本実施の形態では、分光素子Ｐによって空間シフトされた複数の波長成分の光による画像だけでなく、分光素子Ｐを通過しない光束による画像を利用して画像データｆを求める。これにより、後述する実施例１において説明するように、圧縮センシングによる解像度の低下を抑制することができる。その結果、高解像度、多波長、動画撮影（ワンショット撮影）の３つの要求を同時に満たすことができる。また、撮像の際、２次元データを保有するだけで済むため、長時間のデータ取得に有効である。なお、本実施形態における撮像素子および信号処理回路は、動画像を取得するが、静止画像のみを取得するように構成されていてもよい。

（実施の形態２）
実施の形態２は、符号化パターンの像面上でのボケ状態を利用して分光画像を再構成する点で、実施の形態１と異なっている。以下、実施の形態１と同様の内容についての詳細な説明は省略する。

図４は、本実施の形態の撮像装置Ｄ２を示す模式図である。撮像装置Ｄ２では、撮像装置Ｄ１と異なり、符号化素子Ｃが、測定対象物Ｏと結像光学系Ｌとの間に配置されている。結像光学系Ｌは、符号化素子Ｃを通過した光束を、撮像素子Ｓ１、Ｓ２の撮像面上に集束させる。本実施の形態では、結像光学系Ｌの結像面上に符号化素子Ｃを配置する必要がないため、結像光学系Ｌ以外の光学系（リレー光学系）が不要となり、光学系の全体のサイズを縮小できる。

符号化素子Ｃが有する符号化パターンは、撮像素子Ｓ１、Ｓ２上でボケた状態で取得される。したがって、予めこのボケ情報を保有しておき、それを（数３）のシステム行列Ｈに反映させる。ここで、ボケ情報は、点拡がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ：ＰＳＦ）によって表される。ＰＳＦは、点像の周辺画素への拡がりの程度を規定する関数である。例えば、画像上で１画素に相当する点像が、ボケによってその画素の周囲のｋ×ｋ画素の領域に広がる場合、ＰＳＦは、その領域内の各画素の輝度への影響を示す係数群（行列）として規定され得る。符号化素子Ｃが有する符号化パターンのＰＳＦによる影響をシステム行列Ｈに反映させることにより、分光画像Ｆを再構成することができる。

符号化素子Ｃが配置される位置は任意であるが、符号化素子Ｃの符号化パターンがボケすぎて消失することを防ぐ必要がある。そのためには、例えば、結像光学系Ｌにおいて測定対象物Ｏに最も近いレンズの近傍または測定対象物Ｏの近傍に配置するのがよく、絞りから遠ざけて配置するのがよい。特に画角が広い光学系では焦点距離が短くなるため、これらの位置では各画角の光束の重なりが小さく撮像素子Ｓ１上で符号化パターンがボケにくく残存しやすくなる。また、符号化素子Ｃを撮像素子Ｓ１により近い位置に配置した場合も、符号化パターンが残存しやすいためよい。ただし、この場合も分光素子Ｐよりも測定対象物Ｏ側に符号化素子Ｃを配置する必要がある。

（実施の形態３）
実施の形態３は、瞳分割と呼ばれる構成を用いて第１の画像Ｇ１および第２の画像Ｇ２を取得する点で、実施の形態１と異なっている。本実施の形態において、実施の形態１と同様の内容についての詳細な説明は省略する。

図５は、本実施の形態の撮像装置Ｄ３を示す模式図である。撮像装置Ｄ３は、１つの撮像素子Ｓを有し、光線分離素子Ｂは有していない。本実施の形態では、分光素子Ｐは、結像光学系Ｌ２の絞り面の一部に配置される。すなわち、分光素子Ｐは、符号化素子Ｃを通過した光束の一部の光路上に配置されている。また、アレイ状光学素子Ａが撮像素子Ｓの撮像面の直上に配置される。

図６Ａは、アレイ状光学素子Ａの詳細な構成を示す断面図である。アレイ状光学素子Ａは、例えばレンチキュラレンズによって構成され得る。本実施の形態におけるアレイ状光学素子Ａは、各々がｘ方向に延びた複数のシリンドリカルレンズ（光学要素）Ｍ２がｙ方向に配列された構造を有する。このような構成に限定されず、例えば、各々がｙ方向に延びた複数の光学要素Ｍ２がｘ方向に配列された構成でもよい。

アレイ状光学素子Ａは、結像光学系Ｌ２の結像面の近傍に配置されている。図６Ａに示すように、アレイ状光学素子Ａは、撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。

図６Ｂは、撮像素子Ｓの撮像面上に２次元に配列された複数の光検出セル（画素）Ｐｈの一部を模式的に示す平面図である。複数の光検出セルは、複数の第１光検出セル（第１画素）Ｐｈ１と、複数の第２光検出セル（第２画素）Ｐｈ２とに分類される。第１画素Ｐｈ１は、分光素子Ｐを通過した光による第１の画像を取得するための画素である。第２画素Ｐｈ２は、分光素子Ｐを通過しない光による第２の画像を取得するための画素である。

本実施の形態では、結像光学系Ｌ２の絞り面の２つの光学面領域を通過した光束Ｒ１、Ｒ２のうちの一方のみが分光素子Ｐを通過する。例えば、光束Ｒ１のみが分光素子Ｐを通過する。その後、光束Ｒ１、Ｒ２は、アレイ状光学素子Ａに入射する。アレイ状光学素子Ａは、分光素子Ｐを通過した光束Ｒ１を撮像素子Ｓにおける複数の第１画素Ｐｈ１に、分光素子Ｐを通過していない光束Ｒ２を撮像素子Ｓにおける複数の第２画素Ｐｈ２に入射させる。

図６Ｂは、アレイ状光学素子Ａと撮像素子Ｓ上の画素との位置関係を示している。太線は、アレイ状光学素子Ａにおける複数の光学要素Ｍ２の境界を示している。アレイ状光学素子Ａは、複数の光学要素Ｍ２が形成された面が撮像面Ｎｉ側に向かうように配置されている。撮像面Ｎｉには、画素Ｐｈが行列状に配置されている。

画素Ｐｈ１は、横方向（行方向）に１行に並んで配置されている。縦方向（列方向）において、画素Ｐｈ１は１つおきに配置されている。画素Ｐｈ２は、横方向（行方向）に１行に並んで配置されている。縦方向（列方向）において、画素Ｐｈ２は１つおきに配置されている。画素Ｐｈ１の行と画素Ｐｈ２の行とは、縦方向（列方向）に交互に配置されている。

アレイ状光学素子Ａが、各々がｘ方向に延びた複数の光学要素Ｍ２がｙ方向に配列された構造を有する場合、画素Ｐｈ１および画素Ｐｈ２もそれぞれｘ方向に並んで配置されｙ方向に交互に配置される。このとき、結像光学系Ｌ２の絞り面において、分光素子Ｐが配置された光学面領域と、分光素子が配置されない光学面領域が並ぶ方向はｙ方向である。また、アレイ状光学素子Ａが、各々がｙ方向に延びた複数の光学要素Ｍ２がｘ方向に配列された構成を有する場合、画素Ｐｈ１および画素Ｐｈ２もそれぞれｙ方向に並んで配置され、ｘ方向に交互に配置される。このとき、結像光学系Ｌ２の絞り面において、分光素子Ｐが配置された光学面領域と、分光素子が配置されない光学面領域が並ぶ方向はｘ方向である。画素Ｐｈ１および画素Ｐｈ２は必ずしも縦方向（ｙ方向）または横方向（ｘ方向）において１つおきに配置されなくてもよい。ｎ行またはｎ列（ｎ≧１）の画素Ｐｈ１の群と、ｎ行またはｎ列の画素Ｐｈ２の群とが、交互に配置されてもよい。

アレイ状光学素子Ａは、その光学要素Ｍ２の１つが、撮像面Ｎｉ上におけるｎ行の画素Ｐｈ１およびｎ行の画素Ｐｈ２からなる２ｎ行の画素に対応するように配置されている。撮像面Ｎｉ上には、画素Ｐｈ１およびＰｈ２の表面を覆うようにマイクロレンズＭ１が設けられている。

このような構成により、分光素子Ｐを通過した光束Ｒ１を複数の第１画素Ｐｈ１に入射させ、分光素子Ｐを通過しない光束Ｒ２を複数の第２画素Ｐｈ２に入射させることができる。信号処理回路Ｐｒは、複数の第１画素Ｐｈ１から出力される信号から構成される第１の画像Ｇ１と、複数の第２画素Ｐｈ２から出力される信号から構成される第２の画像Ｇ２とを取得する。第１の画像Ｇ１と第２の画像Ｇ２とに基づいて、実施の形態１と同じ方法で分光画像Ｆを推定することができる。

本実施の形態では、撮像光学系Ｌ２を２分割したうちの一方の近傍に分光素子Ｐが設けられ、２つの画像が取得される。すなわち、瞳の分割数は２である。しかし、瞳の分割数は３以上であってもよい。

なお、本実施の形態の構成では、実施の形態１とは異なり、ｙ方向の画素数が瞳の分割数分だけ割り算されて減少する。例えば、２分割であれば画素数は１／２になる。

（実施の形態４）
実施の形態４は、分光素子Ｐを二つ以上配置する点で、実施の形態３と異なっている。本実施の形態において、実施の形態３と同様の内容についての詳細な説明は省略する。

図７は、本実施の形態における分光素子Ｐ１、Ｐ２を示す模式図である。本実施の形態では、絞り（図５に示す結像光学系Ｌ２の撮像素子Ｓ側の表面の領域）の近傍で領域が４分割されている。そのうち、少なくとも１箇所に分光素子Ｐ１が、他の少なくとも１箇所に分光素子Ｐ２が配置されている。分光素子Ｐ１は入射してきた光束を波長に応じてｙ方向にシフトさせ、分光素子Ｐ２はｘ方向にシフトさせる。

図８Ａは、本実施の形態におけるアレイ状光学素子Ａの詳細な構成を示す断面図である。アレイ状光学素子Ａの光学要素Ｍ２として、実施の形態３ではレンチキュラレンズが使用されるが、本実施の形態では、マイクロレンズが使用される。マイクロレンズを光学要素Ｍ２として用いることで、各マイクロレンズに入射する光束を４方位に分離することができる。

図８Ｂは、本実施の形態における撮像素子Ｓの画素構成を示す図である。撮像素子Ｓは、分光素子Ｐ１を通過した光束が入射する複数の画素Ｐｈ１と、分光素子Ｐ２を通過した光束が入射する複数の画素Ｐｈ３と、いずれの分光素子も通過していない光束が入射する複数の画素Ｐｈ２とを有する。これらの画素から、それぞれ異なる３つの画像が取得される。

本実施の形態では、ｘ方向とｙ方向の両方の分光データを再構成に利用することにより、再構成の精度を向上させることができる。特に、測定対象物の模様が一方向に変化がない画像（ストライプパターンなど）の場合に特に効果を発揮する。

また、分光素子Ｐ１、Ｐ２を異なるシフト量に設定しておくことで、分光帯域数が多い画像データと少ない画像データの２種類を取得することができる。例えば、分光素子Ｐ１を通過した光束から数十バンド以上のハイパースペクトル画像を取得し、分光素子Ｐ２を通過した光束から数バンドのマルチスペクトル画像を取得することができる。なお、この場合、分光素子Ｐ１、Ｐ２による波長に応じたシフト方向は必ずしも異なっている必要はない。分光素子Ｐ１、Ｐ２によるシフト方向は、ともにｘ方向であってもよいし、ともにｙ方向でもよい。

本実施の形態では、瞳分割数が４である例を示したが、この例に限定されない。例えば、２分割、３分割、あるいは５分割以上でもよい。本実施の形態でも、実施の形態３同様、瞳の分割数の増加に応じて画素数は減少する。

（実施例１）
次に、本開示の実施例を説明する。

図９は、本開示の分光方法を用いて分光画像Ｆを再構成した結果の一例を示す図である。ここで、符号化素子Ｃとして、図２Ａに示すような、複数の透光領域と複数の遮光領域とがランダムに配列されたバイナリパターンを有する素子を用いた。各透光領域の光透過率は略１００％であり、各遮光領域の光透過率は略０％である。分光帯域数は２０帯域とし、分光素子Ｐを、分光帯域ごとにｙ方向に１画素ずつ像をずらすように設計した。

第１の撮影画像Ｇ１は、光線分離素子Ｂで分岐した一方の光束によって形成された画素数５００×２９２画素の画像である。画像Ｇ１は、符号化されかつ波長に応じてシフトされた光束による画像である。波長帯域ごとに１画素ずつ画像の縦方向に２０帯域にわたってシフトしている。２０帯域を含むため、最短波長帯域と最長波長帯域で縦方向に１９画素の空間的なずれが生じている。

第２の撮影画像Ｇ２は、光線分離素子Ｂで分岐した他方の光束によって形成された画素数５００×２９２画素のモノクロ画像である。画像Ｇ２は、符号化も波長に応じたシフトもされていない光束による画像であり、全ての波長帯域の情報を含む。

実施例１では、第１の撮影画像Ｇ１と第２の撮影画像Ｇ２を用いて、（数４）の推測アルゴリズムを解くことにより、２０波長帯域の分光画像Ｆを得た。このとき、正則化項としてトータルバリエーション（ＴＶ）を使用した。

（比較例１）
比較例として、実施例１において第２の撮影画像Ｇ２であるモノクロ画像を使用せずに、第１の撮影画像Ｇ１のみを用いて分光画像Ｆを再構成した。

図１０は、比較例の結果を示す図である。分光帯域ごとの分離性は良好なものの、図９の結果と比較して、解像度が低下していることがわかる。

図１１は、実施例１および比較例１のそれぞれの正解画像に対する平均二乗誤差（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ：ＭＳＥ）を示す。ＭＳＥは、（数５）で表され、１画素当たりの平均二乗誤差を示している。値が小さいほど正解画像に近いことを意味する。

ここで、ｎ、ｍはそれぞれ画像の縦、横の画素数を、Ｉ’_i,jは再構成画像（分光画像）のｉ行ｊ列の画素値を、Ｉ_i,jは正解画像のｉ行ｊ列の画素値を表している。なお、本実施例および比較例で使用した画像は８ビット画像であり、画素値の最大値は２５５である。

図１１における横軸は、再構成した分光画像Ｆの画像番号を、縦軸はＭＳＥの値を示している。図１１より、実施例１の方法によって再構成した場合、いずれの分光画像ＦもＭＳＥの値が小さく、正解画像に近いことが確認できる。ＭＳＥの値はおおよそ１０〜２０程度であり、正解画像にほぼ一致していることがわかる。一方、従来の方法である比較例１では、ＭＳＥの値が全体的に高く、正解画像と比べて大きく劣化していることがわかる。実施例１と比較例１のＭＳＥの差は、最小で１２倍、最大で３４倍であり、本開示の方法の有効性が認められる。

本開示における撮像装置は、多波長の２次元画像を取得するカメラや測定機器に有用である。生体・医療・美容向けセンシング、食品の異物・残留農薬検査システム、リモートセンシングシステムおよび車載センシングシステム等にも応用できる。

Ｏ 測定対象物
Ｇ１ 第１の撮影画像
Ｇ２ 第２の撮影画像
Ｌ、Ｌ１、Ｌ２ 結像光学系
Ｂ 光線分離素子
Ｃ 符号化素子
Ｐ、Ｐ１、Ｐ２ 分光素子
Ｐｒ 信号処理回路
Ｓ、Ｓ１、Ｓ２ 撮像素子
Ｆ、Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５ 分光画像
Ｌ 結像光学系
Ｒ１、Ｒ２ 光束
Ｍ１ 撮像素子上のマイクロレンズ
Ｍ２ 光学要素
Ｎｉ 撮像面
Ｐｈ、Ｐｈ１、Ｐｈ２ 撮像素子上の受光素子
Ｄ１、Ｄ２、Ｄ３ 撮像装置

Claims (12)

1. 対象物から入射する光の光路上に配置され、前記光の一部を透過させ、前記光の他の一部を反射させる光線分離素子と、
   前記対象物から入射する光の光路上であって前記対象物と前記光線分離素子との間に配置され、第１の光透過率を有する複数の領域と、前記第１の光透過率よりも低い第２の光透過率を有する複数の領域とを有する符号化素子と、
   前記光線分離素子によって分離された光の一方の光路上に配置され、前記光線分離素子によって分離された光の前記一方を、波長に応じて空間的にシフトさせる分光素子と、
   前記分光素子を通過した光を受けるように配置された第１の撮像素子と、前記分光素子を通過していない光とを受けるように配置された第２の撮像素子と、を含む複数の撮像素子であって、前記第１の撮像素子は前記分光素子によって空間的にシフトした波長ごとの光の成分が重畳した第１の画像を取得し、前記第２の撮像素子は前記分光素子を通過していない光による第２の画像を取得する、複数の撮像素子と、
   前記符号化素子と前記光線分離素子との間に配置され、前記符号化素子を通過した光を前記第１の撮像素子の撮像面上および前記第２の撮像素子の撮像面上に集束させる光学系と、
   を備える撮像装置。
2. 前記第１の画像と、前記第２の画像と、前記符号化素子における光透過率の空間分布とに基づいて、前記分光素子を通過した光の波長帯域ごとの複数の画像を生成する信号処理回路をさらに備える、請求項１に記載の撮像装置。
3. 前記信号処理回路は、統計的方法によって前記波長帯域ごとの複数の画像を生成する、請求項２に記載の撮像装置。
4. 前記光の波長帯域ごとの複数の画像におけるデータ数は、前記第１の画像におけるデータ数と前記第２の画像におけるデータ数との合計よりも多い、請求項２に記載の撮像装置。
5. 前記信号処理回路は、前記第１の画像における複数の画素の信号値、および前記第２の画像における複数の画素の信号値を要素とするベクトルｇと、前記符号化素子における光透過率の空間分布および前記分光素子の分光特性によって決定される行列Ｈとを用いて、
   

   

   （τΦ（ｆ）は正則化項、τは重み係数）
   の式によって計算されるベクトルｆ’を、前記波長帯域ごとの複数の画像として生成する、
   請求項２に記載の撮像装置。
6. 対象物から入射する光の光路上に配置され、第１の光透過率を有する複数の領域と、前記第１の光透過率よりも低い第２の光透過率を有する複数の領域とを有する符号化素子と、
   前記符号化素子を通過した光の一部の光路上に配置され、前記一部の光を、波長に応じて空間的にシフトさせる分光素子と、
   前記分光素子を通過した光と、前記分光素子を通過していない光とを受けるように配置された少なくとも１つの撮像素子であって、前記分光素子によって空間的にシフトした波長ごとの光の成分が重畳した第１の画像を取得するための複数の第１光検出セルと、前記分光素子を通過していない光による第２の画像を取得するための複数の第２光検出セルとを有する少なくとも１つの撮像素子と、
   前記撮像素子の撮像面に対向して配置されたアレイ状光学素子であって、前記分光素子を通過した光を前記複数の第１光検出セルに入射させ、前記分光素子を通過していない光を前記複数の第２光検出セルに入射させるアレイ状光学素子と、
   を備える撮像装置。
7. 前記第１の画像と、前記第２の画像と、前記符号化素子における光透過率の空間分布とに基づいて、前記分光素子を通過した光の波長帯域ごとの複数の画像を生成する信号処理回路をさらに備える、請求項６に記載の撮像装置。
8. 前記信号処理回路は、統計的方法によって前記波長帯域ごとの複数の画像を生成する、請求項７に記載の撮像装置。
9. 前記光の波長帯域ごとの複数の画像におけるデータ数は、前記第１の画像におけるデータ数と前記第２の画像におけるデータ数との合計よりも多い、請求項７に記載の撮像装置。
10. 前記信号処理回路は、前記第１の画像における複数の画素の信号値、および前記第２の画像における複数の画素の信号値を要素とするベクトルｇと、前記符号化素子における光透過率の空間分布および前記分光素子の分光特性によって決定される行列Ｈとを用いて、
    

    

    （τΦ（ｆ）は正則化項、τは重み係数）
    の式によって計算されるベクトルｆ’を、前記波長帯域ごとの複数の画像として生成する、
    請求項７に記載の撮像装置。
11. 対象物から入射する光の光路上に配置され、前記光の一部を透過させ、前記光の他の一部を反射させる光線分離素子と、
    前記対象物から入射する光の光路上であって前記対象物と前記光線分離素子との間に配置され、第１の光透過率を有する複数の領域と、前記第１の光透過率よりも低い第２の光透過率を有する複数の領域とを有する符号化素子と、
    前記光線分離素子によって分離された光の一方の光路上に配置され、前記光線分離素子によって分離された光の前記一方を、波長に応じて空間的にシフトさせる分光素子と、
    前記分光素子を通過した光を受けるように配置された第１の撮像素子と、前記分光素子を通過していない光とを受けるように配置された第２の撮像素子と、を含む複数の撮像素子であって、前記第１の撮像素子は前記分光素子によって空間的にシフトした波長ごとの光の成分が重畳した第１の画像を取得し、前記第２の撮像素子は前記分光素子を通過していない光による第２の画像を取得する、複数の撮像素子と、
    前記符号化素子と前記光線分離素子との間に配置され、前記符号化素子を通過した光を前記第１の撮像素子の撮像面上および前記第２の撮像素子の撮像面上に集束させる光学系と、を備える撮像装置と、
    前記第１の画像と、前記第２の画像と、前記符号化素子における光透過率の空間分布とに基づいて、前記分光素子を通過した光の波長帯域ごとの複数の画像を生成する信号処理装置と、
    を備える分光システム。
12. 対象物から入射する光の強度を空間的に符号化する符号化ステップと、
    前記符号化した光の一部を透過させ、前記符号化した光の他の一部を反射させる光線分離ステップと、
    前記光線分離ステップよって分離された光の一方を、波長に応じて空間的にシフトさせるシフトステップと、
    前記空間的にシフトした波長ごとの光の成分が重畳した第１の画像と、波長に応じて空間的にシフトしていない光による第２の画像とを取得する取得ステップと、
    前記第１の画像と、前記第２の画像と、前記符号化のパターンとに基づいて、波長帯域ごとの複数の画像を生成する生成ステップと、
    を含む分光方法。

Images