JP5709040B2 - 分光画像撮像装置 - Google Patents

Description

本発明は、所定の撮像領域内における各地点の波長成分をそれぞれの地点に対応づけて２次元表現した分光画像を得るための分光画像撮像装置に関するものである。

従来、分光スペクトルを取得する装置として分光器が広く利用されている。一般的な分光器は、入射光をプリズムや回折格子を用いて複数の波長成分に分解し、各波長成分の光強度を受光素子で検出する。このような一般的な分光器では、入射光の分光スペクトルをその入射光の位置情報と対応付けて得ることはできない。近年、所定の撮像領域内における各地点からの光の波長成分をそれぞれの地点に対応づけて２次元表現した分光画像を撮像できる分光画像撮像装置が注目されている。この分光画像は、撮像領域内における各地点の波長成分の２次元分布を表現した画像であり、撮像領域内における各地点の波長成分を例えば階調の違いによって表現したものが挙げられる。分光スペクトルを取得する方式は、主として、波長選択フィルタ（バンドパスフィルタ、ローパス・ハイパスフィルタ）を用いる方式、プリズムや回折格子などの分散素子を用いる方式、フーリエ分光法を用いる方式の３つの方式に大別できる。従来、これらの方式をそれぞれ利用した分光画像撮像装置が提案されている。

波長選択フィルタを用いる方式を利用して分光画像を撮像可能な装置としては、例えば、特許文献１に記載された分光カメラヘッドが知られている。この分光カメラヘッドでは、波長選択フィルタを介して被写体からの入射光を２次元撮像素子で受光することにより、その波長選択フィルタに対応した波長成分の分光画像を得る。この分光カメラヘッドは、波長選択フィルタとして液晶波長チューナブルフィルタを利用することにより、動的に透過波長を切り替えることができる。よって、波長選択フィルタの透過波長を切り替えながら撮像することで、互いに異なる波長成分で撮像された複数の画像が得られる。これらの画像を合成することにより、撮像領域内における各地点の波長成分をそれぞれの地点に対応づけて２次元表現した分光画像を得ることができる。

分散素子を用いる方式を利用して分光画像を撮像可能な装置としては、例えば、非特許文献１に記載された平面分光測定器が知られている。この平面分光測定器は、直線状に並んだ各地点の位置情報の測定とスペクトル情報を同時に測定可能なイメージング分光器を用いる。このイメージング分光器を当該各地点の並び方向に対して直交する方向へ走査しながら撮像することにより、撮像領域内における各地点の波長成分をそれぞれの地点に対応づけて２次元表現した分光画像を得ることができる。

フーリエ分光法を用いる方式を利用した撮像装置としては、例えば、特許文献２に記載された分光装置が知られている。この分光装置は、入射光を２つの光路又は２つの偏光成分に分け、一方に位相差を与えることによって互いを干渉させる。そして、これにより得られる検出信号を計算機上でフーリエ変換することにより、分光スペクトルを得ることができる。この分光装置を用いて分光画像を得る場合には、例えば、互いに直交する２つの光路又は２つの偏光成分に与える位相差を変化させながら検出を行うことで、所定の波長範囲にわたる分光スペクトルの２次元分布を得ることが可能である。

ところが、上述した各方式で分光画像を得る場合、いずれも分光画像を得るまでに要する処理時間が長いので、分光画像をリアルタイムで高速に撮像する用途には適用することが困難であるという問題があった。

具体的には、波長選択フィルタを用いる方式においては、１回の撮像動作では１つの波長成分について２次元分布しか得られない。そのため、分光画像を得るには、互いに異なる波長成分で撮像された複数の画像を撮像し、これらの画像を合成する必要がある。そのため、複数回の撮像動作や複数の画像を合成する処理に時間がかかるので、分光画像を得るのに要する処理時間が長い。
また、分散素子を用いる方式において、分光画像を得るには、上記イメージング分光器を走査しながら撮像する必要があるため、その走査時間が必要な分だけ分光画像を得るのに要する処理時間が長くなる。
また、フーリエ分光法を用いる方式において、分光画像を得るには、２つの光路又は２つの偏光成分に与える位相差を変化させながら検出を行う必要があり、その検出に時間がかかる結果、分光画像を得るのに時間を要する。

本発明は、以上の問題に鑑みなされたものであり、その目的とするところは、分光画像を得るまでに要する処理時間が短い分光画像撮像装置を提供することである。

上記目的を達成するために、請求項１の発明は、所定の撮像領域内における各地点の波長成分をそれぞれの地点に対応づけて２次元表現した分光画像を得るために、該所定の撮像領域からの光を、光学フィルタを介して、２次元配置された画素アレイを有する画像センサで検出し、その検出結果を出力する分光画像撮像装置であって、上記光学フィルタとして、上記画像センサ上における１つの画素又は２以上の画素群で構成される単位領域に対応した格子パターンであって、所定の偏光成分を遮光する遮光領域と該所定の偏光成分を透過する透過領域とを交互に配置した格子パターンを有する回析格子を用い、上記遮光領域は、上記所定の偏光成分の偏光方向に沿って延びる多数の溝を該偏光方向に対して直交する方向に並べて配置した偏光子で構成されており、上記回析格子を通過した光の回析角度に応じた上記画像センサ上の干渉地点の違いにより、隣接する２つの単位領域間における受光量の差分値が異なるように構成し、隣接する２つの単位領域間における受光量の差分値を上記画像センサの検出結果に基づいて算出し、算出した各差分値に基づく差分値画像を出力することを特徴とするものである。
また、請求項２の発明は、請求項１の分光画像撮像装置において、上記遮光領域の溝が伸びる方向に対して４５°傾斜した方向に伸びる偏光部材を、光路上に設けたことを特徴とするものである。
また、請求項３の発明は、請求項１の分光画像撮像装置において、偏光解消部材を光路上に配置したことを特徴とするものである。
また、請求項４の発明は、所定の撮像領域内における各地点の波長成分をそれぞれの地点に対応づけて２次元表現した分光画像を得るために、該所定の撮像領域からの光を、光学フィルタを介して、２次元配置された画素アレイを有する画像センサで検出し、その検出結果を出力する分光画像撮像装置であって、上記光学フィルタとして、上記画像センサ上における１つの画素又は２以上の画素群で構成される単位領域に対応した格子パターンであって、非偏光を透過する透過領域と前記非偏光を遮光する遮光領域とを交互に配置した格子パターンを有する回析格子を用い、該回析格子を通過した光の回析角度に応じた上記画像センサ上の干渉地点の違いにより、隣接する２つの単位領域間における受光量の差分値が異なるように構成し、隣接する２つの単位領域間における受光量の差分値を上記画像センサの検出結果に基づいて算出し、算出した各差分値に基づく差分値画像を出力することを特徴とするものである。
また、請求項５の発明は、所定の撮像領域内における各地点の波長成分をそれぞれの地点に対応づけて２次元表現した分光画像を得るために、該所定の撮像領域からの光を、光学フィルタを介して、２次元配置された画素アレイを有する画像センサで検出し、その検出結果を出力する分光画像撮像装置であって、上記光学フィルタとして、上記画像センサ上における１つの画素又は２以上の画素群で構成される単位領域に対応した格子パターンであって、第１の偏光成分の光と第２の偏光成分の光の双方を透過する透過領域と前記第１の偏光成分は透過し前記第２の偏光成分の光は遮光する半透過領域とを交互に配置した格子パターンを有する回析格子を用い、該回析格子を通過した光の回析角度に応じた上記画像センサ上の干渉地点の違いにより、隣接する２つの単位領域間における受光量の差分値が異なるように構成し、隣接する２つの単位領域間における受光量の差分値を上記画像センサの検出結果に基づいて算出し、算出した各差分値に基づく差分値画像を出力することを特徴とするものである。

回析格子を通過した光が回析する際、その光の波長に応じて回析角度が変わってくるので、画像センサ上の干渉地点の位置も変わってくる。回析格子で回析させる光は、偏光でも非偏光でもよい。非偏光の場合は、例えば、非偏光を全透過させる領域と非偏光を全遮光させる領域とを交互に配置した格子パターンを有する回析格子を利用すればよい。一方、偏光の場合は、例えば、特定の偏光成分を透過する領域と当該特定の偏光成分を遮光する領域とを交互に配置した格子パターンを有する回析格子を利用すればよい。本発明においては、回析格子を通過して光の回析によって生じる干渉地点の違いが、隣接する２つの単位領域間における受光量の差に現れるように構成されている。よって、本発明において、隣接する２つの単位領域間における受光量の差分値（輝度値の差）から、当該隣接する２つの単位領域に対応した撮像領域内の地点からの光の波長成分を特定することができる。したがって、当該各差分値に基づく差分値画像は、所定の撮像領域内における各地点の波長成分をそれぞれの地点に対応づけて２次元表現した分光画像として用いることができる。なお、差分値画像は、当該各差分値の違いを、その差分値画像の画素ごとに、例えば、階調の違いで表したり、色の違いで表したりしたものが挙げられる。また、差分値画像は、当該差分値をそのまま輝度の違いや色の違いで表したものでもよいが、例えば、当該差分値を、当該隣接する２つの単位領域の受光量の合計値で割った指標値を階調の違いや色の違いで表したものでもよい。
そして、本発明によれば、１回の撮像動作で、分光画像として用いることができる差分値画像を得ることができるので、波長選択フィルタを用いる方式を利用した従来の分光画像撮像装置と比較して、分光画像を得るのに要する処理時間が短い。また、その撮像動作に際して、分散素子を用いる方式を利用した従来の分光画像撮像装置のように機器を走査したり、フーリエ分光法を用いる方式を利用した従来の分光画像撮像装置のように２つの光路又は２つの偏光成分に与える位相差を変化させながら検出を行ったりする必要がないので、これらの従来装置と比較しても分光画像を得るのに要する処理時間が短い。

以上、本発明によれば、分光画像撮像装置において分光画像を得るまでに要する処理時間を短くすることができるという優れた効果が得られる。

実施形態における撮像装置の概略構成を示す説明図である。 同撮像装置における光学フィルタと画像センサとを示す拡大図である。 同光学フィルタの格子パターンと同画像センサの画素との対応関係を示す説明図である。 同光学フィルタの偏光領域として利用可能なワイヤグリッド偏光子の拡大写真である。 構成例１における光学フィルタの説明図である。 同光学フィルタに、Ｓ偏光成分の光を入射させたときの測定結果を示す画像である。 構成例２における光学フィルタの説明図である。 同光学フィルタの斜視拡大図である。 同光学フィルタに、Ｓ偏光成分の光を入射させたときの測定結果を示す画像である。 構成例３における光学フィルタの偏光領域を、画像センサ上に重ねて示した説明図である。 同光学フィルタに、Ｓ偏光成分の光を入射させたときの測定結果を示す画像である。 （ａ）〜（ｃ）は、分光画像生成方法１において、３種類の単一波長（４５０ｎｍ、５５０ｎｍ、６５０ｎｍ）の光を入射したときに信号処理部から出力される撮像画像の一部を示した拡大写真である。 （ａ）〜（ｃ）は、分光画像生成方法１において、３種類の単一波長（４５０ｎｍ、５５０ｎｍ、６５０ｎｍ）の光を入射したときの画像センサ上の各画素の受光量（輝度値）のヒストグラムである。 分光画像生成方法１において、３種類の単一波長（４５０ｎｍ、５５０ｎｍ、６５０ｎｍ）の光を入射して得られる撮像画像のコントラスト指標値Ｉｃをプロットしたグラフである。 （ａ）〜（ｃ）は、分光画像生成方法２において、３種類の単一波長（４５０ｎｍ、５５０ｎｍ、６５０ｎｍ）の光を入射したときに信号処理部５から出力される撮像画像の全体を示した写真である。 図１５（ａ）〜（ｃ）中の破線で囲った部分について、コントラスト指標値ＳＰｃの分布を計測した結果を示すヒストグラムである。 市販されているカラーチャートを撮影し、コントラスト指標値ＳＰｃに基づいて得られた分光画像である。 図１７中のＲで示す箇所、Ｇで示す箇所、Ｂで示す箇所について、コントラスト指標値ＳＰｃの分布を計測した結果を示すヒストグラムである。 偏光解消板の一例を示す説明図である。

以下、本発明に係る分光画像撮像装置（以下、単に「撮像装置」という。）の一実施形態について説明する。
図１は、本実施形態における撮像装置の概略構成を示す説明図である。
この撮像装置は、主に、撮像レンズ１と、光学フィルタ２と、２次元配置された画素アレイを有する画像センサ４を含んだセンサ基板３と、センサ基板３から出力されるアナログ電気信号をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部５と、信号処理部５から出力された撮像画像データから分光画像データを生成して出力する分光画像処理部６とから構成されている。被写体（被検物）を含む撮像領域からの光は、撮像レンズ１を通り、光学フィルタ２を透過して、画像センサ４でその光強度に応じた電気信号に変換される。信号処理部５では、画像センサ４から出力される電気信号（アナログ信号）が入力されると、その電気信号から、撮像画像データとして、画像センサ４上における各画素の明るさ（輝度）を示すデジタル信号を、画像の水平・垂直同期信号とともに後段の機器へ出力する。分光画像処理部６での画像処理の詳細については後述する。

図２は、光学フィルタ２と画像センサ４とを示す拡大図である。
画像センサ４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その受光素子にはフォトダイオード４ａを用いている。フォトダイオード４ａは、画素ごとに２次元的にアレイ配置されており、フォトダイオード４ａの集光効率を上げるために、各フォトダイオード４ａの入射側にはマイクロレンズ４ｂが設けられている。この画像センサ４がワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板３が形成されている。画像センサ４のマイクロレンズ４ｂ側の面には、光学フィルタ２が近接配置されている。光学フィルタ２の画像センサ４側の面には、図３に示すように、光を透過する透過領域２ａと光を遮蔽する遮光領域２ｂとが２次元方向で交互に隣接するように格子状に配置されて市松状に領域分割された格子パターン（領域分割パターン）を有している。個々の透過領域２ａ及び遮光領域２ｂは、図３に示すように、それぞれ、画像センサ４上の一画素（１つのフォトダイオード４ａ）に対応するように配置されている。

本実施形態において、光学フィルタ２の透過領域２ａを通過した光は遮光領域２ｂの背面側に回り込むように回析する。回折現象は波長依存性を有するものであり、長い波長ほど回折角は大きくなる（光束が広がる）。本実施形態は、後述するとおり、波長に応じた回折角の違いを利用して、分光画像を得るものである。

本実施形態の光学フィルタ２は、透過領域と遮光領域とをガラス平板上に形成したものを用いることができる。なお、本実施形態の狙いの回折を生じさせるためには、その格子パターンの周期が１波長から１０波長程度とするのが好ましい。画像センサ４の画素サイズが数μｍである場合、格子パターンの周期はその一画素分のサイズに形成すればよい。もちろん、格子パターンの格子幅と画像センサ４の画素サイズの幅とは１対１で対応していなくてもよく、例えば、１対Ｍ、すなわち、１つの格子幅が画素Ｍ個分の幅に対応したものであってもよい。また、光学フィルタ２の格子パターンは、２次元の周期構造である必要はなく、例えば、１次元の周期構造のものであってもよい。

また、光学フィルタ２は、透過領域２ａと遮光領域２ｂを格子状に配置したものに限らず、例えば、光を完全に遮光する遮光領域２ｂに代えて特定の偏光成分のみを遮光する偏光領域を用いてもよい。このような偏光領域の一例としては、Ｐ偏光成分は透過するがＳ偏光成分は遮光するような偏光子として機能する偏光領域が挙げられる。仮に、本実施形態の光学フィルタ２において、遮光領域２ｂに代えて偏光領域を形成した場合、光学フィルタ２を透過する光のうちのＳ偏光成分は、偏光領域では遮光され、透過領域では回折する。一方、Ｐ偏光成分は、光学フィルタ２の全領域において全透過することになる。なお、ここでは、偏光成分として、互いに直交する２つの偏光成分（Ｐ偏光成分とＳ偏光成分）を例に挙げているが、偏光方向が互いに異なる偏光成分であれば同様である。

透過領域と偏光領域とからなる光学フィルタ２の場合、その偏光領域としては、例えば、液晶ディスプレイなどに用いられるヨウ素や染料を利用した有機系材料による偏光子を用いてもよいし、耐久性に優れたワイヤグリッド偏光子を用いてもよい。ワイヤグリッド偏光子は、図４に示すように、アルミニウムなどの金属で構成された導電体線が特定のピッチで格子状に配列されたものである。ワイヤグリッド偏光子のピッチが入射光（例えば可視光の波長である４００〜８００ｎｍ）に比べて十分に短いピッチ（例えば入射光の１／２以下）であれば、導電体線に対して平行に振動する電場ベクトル成分の光をほとんど反射し、導電体線に対して垂直な電場ベクトル成分の光をほとんど透過させることができるので、単一偏光を作り出す偏光子として使用できる。

ワイヤグリッド偏光子は、よく知られる半導体プロセス、すなわちアルミニウム薄膜を蒸着した後にパターニングを行い、メタルエッチングなどの手法によりワイヤグリッドのサブ波長凹凸構造を形成することで、製造することができる。なお、本実施形態のような格子パターンを形成するにあたっては、一様なワイヤグリッド層から上述した格子パターンに応じてワイヤグリッド部を除く方法と、一様にアルミニウムを蒸着した後に、格子パターンとワイヤグリッドの凹部形成を一括で作製する手法とが考えられる。後者の方が、工程数が少なくて済む。

なお、ワイヤグリッド偏光子を用いる場合の留意事項としては、金属ワイヤの断面積が増加すると消光比が増加してしまうことが挙げられる。また、周期幅に対する所定の幅以上の金属ワイヤでは透過率が減少してしまうことが挙げられる。また、金属ワイヤの長手方向に直交する断面形状がテーパ形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高い消光比特性を示してしまうことが挙げられる。金属ワイヤが配置されている面の耐擦傷性や防汚性を高めるために樹脂などで封止するのが好ましい。

〔構成例１〕
以下、本実施形態における光学フィルタ２の一構成例（以下、本構成例を「構成例１」という。）について説明する。
図５は、本構成例１における光学フィルタ２の説明図である。
本構成例１に係る光学フィルタ２は、Ｐ偏光成分もＳ偏光成分も透過する透過領域２ａと、Ｐ偏光成分は透過するがＳ偏光成分は遮光する偏光領域２ｃとが、２次元方向で交互に隣接するように格子状に配置されて市松状に領域分割された格子パターンを有している。格子パターンの周期（格子幅）は、画像センサ４の画素ピッチに合わせて形成されている。

図６は、本発明者らが試作した本構成例１における光学フィルタ２に、Ｓ偏光成分の光を入射させたときの測定結果を示す画像である。試作した光学フィルタ２は、一つの格子サイズが約６μｍとなるように、ワイヤグリッドがある領域とワイヤグリッドがない領域とをガラス平板上に形成したものであり、前者の領域が偏光領域２ｃとなり、後者の領域が透過領域２ａとなっている。測定は、当該光学フィルタ２の裏面（出射面）にモノクロ輝度カメラを取り付け、当該光学フィルタ２に対してＳ偏光成分の光を照射し、当該光学フィルタ２を通過した光を当該モノクロ輝度カメラで撮影して行った。図６に示すように、黒くなっている部分は遮光されていることを示すものであり、Ｓ偏光成分の光はワイヤグリッドが形成されている偏光領域２ｃでは良好にカットされていることが確認できる。

〔構成例２〕
以下、本実施形態における光学フィルタ２の他の構成例（以下、本構成例を「構成例２」という。）について説明する。
図７は、本構成例２における光学フィルタ２の説明図である。
本構成例２に係る光学フィルタ２は、Ｐ偏光成分もＳ偏光成分も透過する透過領域２ａと、Ｐ偏光成分は透過するがＳ偏光成分は遮光する偏光領域２ｃとが、１次元方向で交互に隣接するように格子状に配置されてストライプ状に領域分割された格子パターンを有している。格子パターンの周期（格子幅）は、画像センサ４の画素ピッチに合わせて形成されている。このようなストライプ状の格子パターンを有する光学フィルタ２であれば、画像センサ４との位置調整を行うにあたって、Ｘ方向のみの位置調整を行えばよく、市松状の格子パターンを有する光学フィルタ２と比べて、実装精度が緩和されるという利点がある。

図８は、本構成例２における光学フィルタ２の斜視拡大図である。
本構成例２における光学フィルタ２は、ガラス平板上にワイヤグリッドが形成された凹凸の周期構造を有するものであり、凸部はワイヤグリッドのサブ波長凹凸構造が形成されてなる。

図９は、本発明者らが試作した本構成例２における光学フィルタ２に、Ｓ偏光成分の光を入射させたときの測定結果を示す画像である。試作した光学フィルタ２は、ストライプ幅が約６μｍとなるように、ワイヤグリッドがある領域とワイヤグリッドがない領域とをガラス平板上に形成したものであり、前者の領域が偏光領域２ｃとなり、後者の領域が透過領域２ａとなっている。測定は、上記構成例１の場合と同様である。図９に示すように、黒くなっている部分は遮光されていることを示すものであり、Ｓ偏光成分の光はワイヤグリッドが形成されている偏光領域２ｃでは良好にカットされていることが確認できる。

〔構成例３〕
以下、本実施形態における光学フィルタ２の更に他の構成例（以下、本構成例を「構成例３」という。）について説明する。
図１０は、本構成例３における光学フィルタ２の偏光領域２ｃを、画像センサ４上に重ねて示した説明図である。
本構成例３に係る光学フィルタ２は、透過領域２ａと偏光領域２ｃとが１次元方向で交互に隣接するように格子状に配置されてストライプ状に領域分割された格子パターンを有している点で上記構成例２と同様である。しかしながら、上記構成例２では、偏光領域２ｃの長尺方向がＹ方向に並ぶ画素列の列方向と一致していたのに対し、本構成例３では、偏光領域２ｃの長尺方向が、Ｙ方向に並ぶ画素列の列方向にもＸ方向に並ぶ画素列の列方向にも一致していない点で異なっている。

本構成例３の光学フィルタ２において、偏光領域２ｃは、図１０に示すように、Ｘ方向に画像センサ４の一画素分の幅をもち、Ｙ方向に画像センサ４の二画素分の幅を持っており、Ｘ方向一画素分についてＹ方向二画素分変位するように、画像センサ４上のＸ方向及びＹ方向に対して斜めに配置される。このような特殊な格子パターンと信号処理を組み合わせることによって、画像センサ４の画素配列と光学フィルタ２とを接合する際の位置合せの精度が悪くても、画面全体で光学フィルタの透過画像を再現することを可能とし、低コストを実現できる。

図１１は、本発明者らが試作した本構成例３における光学フィルタ２に、Ｓ偏光成分の光を入射させたときの測定結果を示す画像である。試作した光学フィルタ２は、ストライプ幅が約６μｍとなるように、ワイヤグリッドがある領域とワイヤグリッドがない領域とをガラス平板上に形成したものであり、前者の領域が偏光領域２ｃとなり、後者の領域が透過領域２ａとなっている。測定は、上記構成例１の場合と同様である。図１１に示すように、黒くなっている部分は遮光されていることを示すものであり、Ｓ偏光成分の光はワイヤグリッドが形成されている偏光領域２ｃでは良好にカットされていることが確認できる。

これらの構成例１〜３を含む本実施形態の光学フィルタ２は、画像センサ４の前段に設置される。その設置方法は、光学フィルタ２の凹凸構造面を画像センサ４の受光面と対向するような向きで近接配置の上、固定する。固定方法としては、画像センサ４の受光面周辺にスペーサを配置して光学フィルタ２を保持する方法や、光学フィルタ２の凹凸構造面と画像センサ４との間に接着剤を充填して接着する方法などが挙げられる。後者の方法の場合、光学フィルタ２と画像センサ４との間に接着剤が充填されるため、これらの間が空気層である場合と同程度の透過率性能を得るためには、高アスペクト比の構造とする必要があり、製造が難しくなる。この点で、前者の方法の方が好ましい。

光学フィルタ２を画像センサ４に取り付ける方法としては、画像センサ４をワイヤボンディングなどの手法によりＰＷＢ上に設置したセンサ基板３に、光学フィルタ２を後から固定（ＡＳＳＹ）する方法と、光学フィルタ２と画像センサ４を予め固着したものをＰＷＢ上に実装する方法とが考えられる。より望ましくは、画像センサ４のウエハと光学フィルタ２が形成されたウエハとを接着したものをダイシング加工することで低コストに作製することができる。

〔分光画像生成例１〕
次に、本実施形態における分光画像の生成方法の一例（以下「分光画像生成例１」という。）について説明する。
ここでは、透過領域２ａと遮光領域２ｂとが２次元方向で交互に隣接するように格子状に配置された市松状の格子パターンを有する光学フィルタ２を用いた場合を例に挙げて説明する。

図１２（ａ）〜（ｃ）は、３種類の単一波長（４５０ｎｍ、５５０ｎｍ、６５０ｎｍ）の光を入射したときに信号処理部５から出力される撮像画像（ＲＡＷ画像）の一部を示した拡大写真である。
この光学フィルタ２は、格子状に領域分割された各領域（透過領域２ａと遮光領域２ｂ）が画像センサ４の各画素に１対１で対応しているため、撮像画像中の明暗パターンは画素単位の繰り返しパターンである。図１２（ａ）〜（ｃ）に示すように、撮像画像の明暗パターンのコントラストは、入射光の波長によって変化していることが確認できる。なお、３種類の単一波長（４５０ｎｍ、５５０ｎｍ、６５０ｎｍ）の光は、白色光を、市販されているバンドパスフィルタに白色光を通過させて得たものである。これらのバンドパスフィルタは、６５０ｎｍ、５５０ｎｍ、４５０ｎｍをそれぞれ中心波長とするものであり、いずれも透過波長幅は±４０ｎｍである。

入射光の波長によって撮像画像の明暗パターンのコントラストに違いが出るのは、光学フィルタ２の格子パターンの種類や、光学フィルタ２及び画像センサ４の配置等に起因する光学特性に依存するものである。ここでいう光学特性は、光学フィルタ２の分光透過率や散乱など様々な因子に起因するものであるが、主として、光学フィルタ２の格子パターンに起因した回折現象の影響を強く受ける。この回析現象の影響で、ある透過領域２ａを通過した光束は、その透過領域２ａに対応する画素だけでなく、これに隣接する画素にまで広がって受光される。そして、回折現象は波長依存性を有しており、長い波長ほど回折角が大きくなる傾向があるので、透過領域２ａを通過した光の波長が長いほど、隣接画素に受光される光量が増え、逆に当該透過領域２ａに対応する画素に受光される光量が減る。よって、透過領域２ａを通過した光の波長が長いほど、透過領域２ａに対応する画素とこれに隣接する遮光領域２ｂに対応する画素との間の受光量（輝度値）の差が小さくなり、コントラストが低くなる。

図１３（ａ）〜（ｃ）は、３種類の単一波長（４５０ｎｍ、５５０ｎｍ、６５０ｎｍ）の光を入射したときの画像センサ４上の各画素の受光量（輝度値）のヒストグラムである。
図１３（ａ）〜（ｃ）に示すように、いずれも、遮光領域２ｂに対応する画素（暗部の画素）の輝度値（低い方の輝度値）と、透過領域２ａに対応する画素（明部の画素）の輝度値（高い方の輝度値）とで、ピークを示している。しかしながら、これらのピーク間における輝度差は、光学フィルタ２を通過した光の波長ごとに異なっている。具体的には、透過領域２ａを通過した光の波長が長いほど、２つのピーク間の輝度差が小さくなっていることがわかる。

明部の輝度値をＩ１、暗部の輝度値をＩ２としたとき、明部と暗部のコントラストを示す指標値としては、明部の輝度値Ｉ１と暗部の輝度値Ｉ２との差分値（Ｉ１−Ｉ２）を用いることができるが、ここでは、この差分値を輝度合計値（Ｉ１＋Ｉ２）で割った下記式（１）に示すコントラスト指標値Ｉｃを用いる。
Ｉｃ ＝ （Ｉ１−Ｉ２）／（Ｉ１＋Ｉ２） ・・・（１）

図１４は、３種類の単一波長（４５０ｎｍ、５５０ｎｍ、６５０ｎｍ）の光を入射して得られる撮像画像のコントラスト指標値Ｉｃをプロットしたグラフである。
図１４に示すように、コントラスト指標値Ｉｃは、波長依存性を示していることが確認できる。したがって、明部に対応する画素と暗部に対応する画素との間の輝度差分値を示すコントラスト指標値Ｉｃを演算することでこれらの画素に向けて入射している光の波長を算出することができる。

本実施形態では、隣接する２つの画素はそれぞれ明部と暗部に対応しているので、隣接する２つの画素のコントラスト指標値Ｉｃを算出することで、当該隣接する２つの画素に入射する光の波長を把握することができる。したがって、撮像画像全体について、隣接する２つの画素のコントラスト指標値Ｉｃを算出し、当該隣接する２つの画素に対応する位置に当該コントラスト指標値Ｉｃを配置してコントラスト指標値Ｉｃの２次元分布を作成すれば、その２次元分布は、撮像領域内における各地点の波長成分をそれぞれの地点に対応づけたものとなる。したがって、この２次元分布を、例えばコントラスト指標値Ｉｃの違いを階調の違いで表現した画像（差分値画像）で示せば、その画像を分光画像として用いることができる。

〔分光画像生成例２〕
次に、本実施形態における分光画像の生成方法の他の例（以下「分光画像生成例２」という。）について説明する。
ここでは、透過領域２ａと偏光領域２ｃとが２次元方向で交互に隣接するように格子状に配置された市松状の格子パターンを有する光学フィルタ２を用いた場合を例に挙げて説明する。

上述した分光画像生成例１では、コントラスト指標値として、上記式（１）に示したように、Ｉｃ＝（Ｉ１−Ｉ２）／（Ｉ１＋Ｉ２）を用いた場合であるが、本分光画像生成例２では、コントラスト指標値ＳＰｃとして、ＳＰｃ＝（Ｓ−Ｐ）／（Ｓ＋Ｐ）を用いる。ここで、「Ｐ」は、「Ｐ」はＰ偏光成分の透過強度であり、具体的には、Ｐ偏光成分は透過するがＳ偏光成分は遮光する偏光領域２ｃに対応する画素の輝度値である。一方、「Ｓ」は、Ｓ偏光成分の透過強度であり、透過領域２ａに対応する画素の輝度値から、偏光領域２ｃに対応する画素の輝度値であるＰを差し引いた値を用いている。

図１５（ａ）〜（ｃ）は、３種類の単一波長（４５０ｎｍ、５５０ｎｍ、６５０ｎｍ）の光を入射したときに信号処理部５から出力される撮像画像（ＲＡＷ画像の一部）の全体を示した写真である。
図１６は、図１５（ａ）〜（ｃ）中の破線で囲った部分について、コントラスト指標値ＳＰｃ＝（Ｓ−Ｐ）／（Ｓ＋Ｐ）の分布を計測した結果を示すヒストグラムである。
図１６に示すように、コントラスト指標値ＳＰｃは、波長依存性を有しており、具体的には、長い波長ほどコントラスト指標値ＳＰｃがマイナス方向へシフトする傾向がある。したがって、隣接する２つの画素の輝度値を利用してコントラスト指標値ＳＰｃを算出することにより、当該隣接する２つの画素に入射する光の波長を把握することができる。したがって、撮像画像全体について、隣接する２つの画素のコントラスト指標値ＳＰｃを算出し、当該隣接する２つの画素に対応する位置に当該コントラスト指標値ＳＰｃを配置してコントラスト指標値ＳＰｃの２次元分布を作成すれば、その２次元分布は、撮像領域内における各地点の波長成分をそれぞれの地点に対応づけたものとなる。したがって、この２次元分布を、例えばコントラスト指標値ＳＰｃの違いを階調の違いで表現した画像（差分値画像）で示せば、その画像を分光画像として用いることができる。

なお、図１６に示すヒストグラムでは、コントラスト指標値ＳＰｃを−１以上＋１以下の範囲で標記しているが、実際の画像出力として例えば２５６階調の階調の違いで表現する場合、例えば、同ヒストグラムの＋１を黒とし−１を白として階調表現すれば、２５６階調のグレースケールの分光画像を得ることができる。このような分光画像をみれば、撮像領域の分光状態（波長の２次元分布）を可視情報として認識することができる。もちろん、すでに述べたとおり、波長に応じたカラーテーブルで表現してもよい。

図１７は、本実施形態の撮像装置を用いて市販されているカラーチャートを撮影し、コントラスト指標値ＳＰｃに基づいて得られた分光画像である。図１７中符号Ｒで示す箇所は赤色箇所であり、図１７中符号Ｇで示す箇所は緑色箇所であり、図１７中符号Ｂで示す箇所は青色箇所である。
図１８は、図１７中のＲで示す箇所、Ｇで示す箇所、Ｂで示す箇所について、コントラスト指標値ＳＰｃ＝（Ｓ−Ｐ）／（Ｓ＋Ｐ）の分布を計測した結果を示すヒストグラムである。
図１７に示す分光画像上では、色の違い（波長の違い）が階調の違いによって現れていることが確認できる。また、図１８に示すヒストグラムを見ても、色の違い（波長の違い）によってコントラスト指標値ＳＰｃが異なっていることがわかる。したがって、隣接する２つの画素の輝度値を利用してコントラスト指標値ＳＰｃを算出し、そのコントラスト指標値ＳＰｃの違いを階調の違いで表現した図１７に示す画像は、所定の撮像領域内における各地点の波長成分をそれぞれの地点に対応づけて２次元表現した分光画像として用いることができる。

以上より、本実施形態の分光画像撮像装置によれば、撮像領域内の波長の２次元分布を画像（分光画像）として撮像できるので、１回の撮像動作で分光画像を得ることができる。また、隣接画素間の輝度値の差分値に基づくコントラスト指標値Ｉｃ，ＳＰｃを演算するだけで分光画像が得られるので、複数の画像データを合成するなどの画像処理を行う場合よりも処理負荷が少なく、処理時間も短時間で済む。その結果、従来に比べて高速に分光画像を撮影できるという利点がある。
しかも、本実施形態によれば、走査機構等の移動手段や液晶等のアクティブデバイスなどの動的な機構（分光画像の撮像に際して動作制御が必要となる機構）を用いず、スタティックな機構だけの構成で分光画像を撮像できる。したがって、耐候性、耐振動などに対して高信頼性のある撮像装置が実現できることに加える。しかも、アクティブデバイスを用いる場合には駆動回路なども必要となるが、本実施形態であればこのような駆動回路が必要ないので、安価でシンプルな構成を実現できる。その結果、従来に比べて小型な構成で分光画像が撮影できる。

特に、上述した構成例１〜３で説明したように、光学フィルタ２として、透過領域２ａと、ワイヤグリッド偏光子が形成された偏光領域２ｃとからなる格子パターンのものを利用した場合、回析現象を利用したコントラスト指標値Ｉｃと、Ｓ偏光成分及びＰ偏光成分の関係を利用したコントラスト指標値ＳＰｃの両方のコントラスト指標値を一度の撮像動作で得ることができる。ただし、偏光情報と分光情報が混在しているシーンにおいては、それぞれを分離して評価したい場合がある。このような場合には、どちらか一方の情報を取り出し、取り出した情報から分光画像を生成すればよい。

例えば、偏光情報を排除して分光情報のみから分光画像を生成したい場合、撮像レンズ１の前段に、光学フィルタ２の偏光領域２ｃに形成されたグリッド線方向に対して４５度回転させたグリッド線をもつ偏光子を配置すればよい。または、このような偏光子に代えて偏光解消板を配置してもよい。偏光解消板は、偏光状態から非偏光状態を作り出すものであり、例えば図１９のように２枚の偏光子の偏光軸（偏光を通す方向）を直交するように貼り合わせることで作製できる。
逆に、分光情報を排除して偏光情報のみから分光画像を生成したい場合、特定の波長成分のみを透過するバンドパスフィルタを撮像レンズ１の前段に配置すればよい。

以上のような本実施形態に係る分光画像撮像装置は、例えば、食品、農業、ＦＡ（factory automation）などの各種計測装置に利用することが有用である。
具体的には、農作物の成長状態、収穫予測などを目的とした農業リモートセンシングに利用できる。この場合、基礎データとして、まず農場に植えられている葉の先端部のスペクトルデータを採取し、その位置でのタンパク含有量や収穫量などをサンプリング的に測定し、衛星画像から得られる分光画像から相関情報に基づき成長状態などを判断する。
また、食材の鮮度や味覚情報、可視化あるいは数値化して簡単に知るための用途にも利用できる。消費者においては、品質管理や食品としての安全性の確認のみならず、生産および流通技術面で鮮度や風味などに関する情報を生かすことも必要になっている。このような食品は主に近赤外域にスペクトル情報をもつことが知られているため、事前に食品情報或いはその状態変化に応じたスペクトル情報のテーブルを用意しておき、本実施形態の撮像装置で取得した分光画像と照らし合わせて、被検物情報として出力することが可能である。
また、近年、車両制御や運転者への警告などのために車両に撮像装置が搭載されてなる。このような車両搭載用の撮像装置として本実施形態の分光画像撮像装置を用いてもよい。例えば、本実施形態の分光画像撮像装置で得られる分光画像を用いれば、対向車及び先行車と、それ以外の反射体や発光帯のスペクトルとの違いを認識できるので、それぞれの光源の種類を識別して、対向車や先行車にはヘッドランプを当てないで、それ以外の対象にヘッドランプを当てるなど、夜間のヘッドランプの配光制御に利用できる。
また、近年、製造ラインの自動化が進んでおり、ロボットアームが物体認識してライン上を流れてきた多品種の部品から適宜判別の上、ピッキングするという技術が進化しているが、所謂モノクロ画像だけでは同一形状で色が異なる部品の判別はできない。そのような場合において、本実施形態の分光画像撮像装置を用いれば、そのような部品についても分類可能となる。

以上、本実施形態に係る分光画像撮像装置は、所定の撮像領域内における各地点の波長成分をそれぞれの地点に対応づけて２次元表現した分光画像を得るために、当該所定の撮像領域からの光を、光学フィルタ２を介して、２次元配置された画素アレイを有する画像センサ４で検出し、その検出結果を出力する。この分光画像撮像装置の光学フィルタ２は、画像センサ４上における１つの画素又は２以上の画素群（Ｙ方向に直線状に並んだ多数の画素群や、斜め方向に直線状に並んだ多数の画素群）で構成される単位領域に対応した格子パターンを有する回析格子が用いられており、その回析格子を通過した光の回析角度に応じた画像センサ４上の干渉地点の違いにより、隣接する２つの単位領域間における受光量Ｉ１，Ｉ２の差分値（輝度差分値）が異なるように、格子幅や光学フィルタ２と画像センサ４との距離などが設定されている。本分光画像撮像装置によれば、隣接する２つの単位領域間における輝度差分値に相当するコントラスト指標値Ｉｃ＝（Ｉ１−Ｉ２）／（Ｉ１＋Ｉ２）を、画像センサの検出結果に基づいて算出し、そのコントラスト指標値Ｉｃに基づく差分値画像（当該隣接する２つの単位領域のコントラスト指標値Ｉｃの違いを階調の違いで表現した画像）を出力する。上記分光画像生成方法１で説明したとおり、出力される差分値画像において、コントラスト指標値Ｉｃの２次元分布は、撮像領域内における各地点の波長成分をそれぞれの地点に対応づけたものであるため、例えばコントラスト指標値Ｉｃの違いを階調の違いで表現した差分値画像は、分光画像として用いることができる。
また、光学フィルタ２として、所定の偏光成分であるＳ偏光成分を遮光する偏光領域２ｃとＳ偏光成分を透過する透過領域２ａとを交互に配置した格子パターンを有する回析格子を用いてもよい。この場合、偏光領域２ｃに対応した単位領域で受光したＰ偏光成分についての受光量Ｐと、これに隣接する単位領域で受光した受光量から得られるＳ偏光成分についての受光量Ｓとの差分値に相当するコントラスト指標値ＳＰｃ＝（Ｓ−Ｐ）／（Ｓ＋Ｐ）を、画像センサ４の検出結果に基づいて算出し、算出したコントラスト指標値ＳＰｃに基づく差分値画像（当該隣接する２つの単位領域のコントラスト指標値ＳＰｃの違いを階調の違いで表現した画像）を出力する。上記分光画像生成方法２で説明したとおり、出力される差分値画像において、コントラスト指標値ＳＰｃの２次元分布は、撮像領域内における各地点の波長成分をそれぞれの地点に対応づけたものであるため、例えばコントラスト指標値ＳＰｃの違いを階調の違いで表現した差分値画像は、分光画像として用いることができる。
また、本実施形態において、上記光学フィルタ２としては、上記偏光領域２ｃが、Ｓ偏光成分の偏光方向に沿って延びる多数の溝であるワイヤグリッドを当該偏光方向に対して直交する方向に並べて配置した偏光子で構成された回析格子を用いることができる。この場合、偏光情報と分光情報の両方を反映させた分光画像を得ることが可能となる。
ただし、偏光情報を排除して分光情報のみから分光画像を生成したい場合には、ワイヤグリッドが伸びる方向（Ｓ偏光成分の偏光方向）に対して４５°傾斜した方向に伸びる偏光部材を光路上に設けたり、偏光解消部材を光路上に配置したりすればよい。

１ 撮像レンズ
２ 光学フィルタ
２ａ 透過領域
２ｂ 遮光領域
２ｃ 偏光領域
３ センサ基板
４ 画像センサ
４ａ フォトダイオード
４ｂ マイクロレンズ
５ 信号処理部
６ 分光画像処理部
Ｉｃ，ＳＰｃ コントラスト指標値

特開２００５−５７５４１号公報 特開２００５−３１００７号公報

「光アライアンス」，日本工業出版，１９９９年１１月，ｐ．４−９

Claims (5)

1. 所定の撮像領域内における各地点の波長成分をそれぞれの地点に対応づけて２次元表現した分光画像を得るために、該所定の撮像領域からの光を、光学フィルタを介して、２次元配置された画素アレイを有する画像センサで検出し、その検出結果を出力する分光画像撮像装置であって、
   上記光学フィルタとして、上記画像センサ上における１つの画素又は２以上の画素群で構成される単位領域に対応した格子パターンであって、所定の偏光成分を遮光する遮光領域と該所定の偏光成分を透過する透過領域とを交互に配置した格子パターンを有する回析格子を用い、
   上記遮光領域は、上記所定の偏光成分の偏光方向に沿って延びる多数の溝を該偏光方向に対して直交する方向に並べて配置した偏光子で構成されており、
   上記回析格子を通過した光の回析角度に応じた上記画像センサ上の干渉地点の違いにより、隣接する２つの単位領域間における受光量の差分値が異なるように構成し、
   隣接する２つの単位領域間における受光量の差分値を上記画像センサの検出結果に基づいて算出し、算出した各差分値に基づく差分値画像を出力することを特徴とする分光画像撮像装置。
2. 請求項１の分光画像撮像装置において、
   上記遮光領域の溝が伸びる方向に対して４５°傾斜した方向に伸びる偏光部材を、光路上に設けたことを特徴とする分光画像撮像装置。
3. 請求項１の分光画像撮像装置において、
   偏光解消部材を光路上に配置したことを特徴とする分光画像撮像装置。
4. 所定の撮像領域内における各地点の波長成分をそれぞれの地点に対応づけて２次元表現した分光画像を得るために、該所定の撮像領域からの光を、光学フィルタを介して、２次元配置された画素アレイを有する画像センサで検出し、その検出結果を出力する分光画像撮像装置であって、
   上記光学フィルタとして、上記画像センサ上における１つの画素又は２以上の画素群で構成される単位領域に対応した格子パターンであって、非偏光を透過する透過領域と前記非偏光を遮光する遮光領域とを交互に配置した格子パターンを有する回析格子を用い、
   該回析格子を通過した光の回析角度に応じた上記画像センサ上の干渉地点の違いにより、隣接する２つの単位領域間における受光量の差分値が異なるように構成し、
   隣接する２つの単位領域間における受光量の差分値を上記画像センサの検出結果に基づいて算出し、算出した各差分値に基づく差分値画像を出力することを特徴とする分光画像撮像装置。
5. 所定の撮像領域内における各地点の波長成分をそれぞれの地点に対応づけて２次元表現した分光画像を得るために、該所定の撮像領域からの光を、光学フィルタを介して、２次元配置された画素アレイを有する画像センサで検出し、その検出結果を出力する分光画像撮像装置であって、
   上記光学フィルタとして、上記画像センサ上における１つの画素又は２以上の画素群で構成される単位領域に対応した格子パターンであって、第１の偏光成分の光と第２の偏光成分の光の双方を透過する透過領域と前記第１の偏光成分は透過し前記第２の偏光成分の光は遮光する半透過領域とを交互に配置した格子パターンを有する回析格子を用い、
   該回析格子を通過した光の回析角度に応じた上記画像センサ上の干渉地点の違いにより、隣接する２つの単位領域間における受光量の差分値が異なるように構成し、
   隣接する２つの単位領域間における受光量の差分値を上記画像センサの検出結果に基づいて算出し、算出した各差分値に基づく差分値画像を出力することを特徴とする分光画像撮像装置。