JP6224275B2 - マルチスペクトル撮像装置 - Google Patents

Description

本願は、被写体を撮像することによって取得した画像から被写体の反射分光特性を計測できるマルチスペクトル技術に関する。

近年、ＣＣＤやＣＭＯＳ等の撮像素子を用いたデジタルカメラの高機能化や高性能化には目を見張るものがある。特に、半導体製造技術の急速な進歩により、撮像素子における画素構造の微細化が進んでいる。その結果、撮像素子の多画素化および駆動回路の高集積化が図られ、撮像素子の画質が大幅に改善されている。また、撮像素子の超小型化も実現されている。

最近では、カラー画質の改善も著しい。通常の赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の３原色フィルタを用いたカラー撮像以外に、多数の色フィルタを用いて撮像することにより、被写体のカラー画像の品質を向上させることが行われている。例えば、特許文献１の中で紹介されているマルチスペクトルカメラは、ＣＣＤの前に分光特性が異なる多数の光学フィルタを装備し、各光学フィルタを機械的に入れ替えながら撮像する。これにより、撮像によって取得した各画像から被写体の詳細な色情報やスペクトル情報を得ることができる。

特許文献２は、光学フィルタを最適設計することにより、用いる光学フィルタの数を削減できるマルチスペクトルカメラを紹介している。

特許文献３は、１次元の撮像素子と、レンズを通して入射した光を分光するビームスプリッタと、任意の波長帯域の光を選択して透過させるチューナブルフィルタとを備える装置を開示している。そのような構成により、光学フィルタを入れ替える機構を用いずとも様々な波長帯域における画像が得られることが開示されている。

さらに特許文献４は、標準的なＲＧＢの色フィルタとそれら以外の色フィルタとを備える単板式のカラー撮像素子を用いて品質の良いカラー画像を得る技術を紹介している。

特開２００５−１８１０３８号公報 特開２０１０−１２２０８０号公報 特開２０１２−１３８６５２号公報 特開２００８−１３６２５１号公報

本開示は、従来の技術とは異なるアプローチのマルチスペクトル技術を提供する。本開示のある実施形態は、機械的な機構が不要で、感度も向上できるマルチスペクトル撮像装置を提供する。

本開示のマルチスペクトル撮像装置の一態様は、イメージセンサと、前記イメージセンサの撮像面に被写体の像を形成するように配置された光学系と、前記被写体と前記イメージセンサとの間に配置され、光透過率の波長依存性を変化させることが可能な波長選択フィルタと、前記波長選択フィルタおよび前記イメージセンサに接続され、前記波長選択フィルタの前記光透過率の波長依存性を変化させながら前記イメージセンサで複数回の撮像を行うように前記波長選択フィルタおよび前記イメージセンサを制御する制御回路と、前記イメージセンサに接続された信号処理回路であって、前記複数回の撮像によって前記イメージセンサの１つの画素から順次出力された複数の画素信号を用いた演算により、前記被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める信号処理回路と、を備える。

上記の包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム、又は、記録媒体で実現されてもよい。あるいは、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意の組み合わせで実現されてもよい。

本開示の実施形態におけるマルチスペクトル撮像装置によれば、イメージセンサへの入射光の分光特性（光強度の波長依存性）を受光する前に変えることができる。これにより、例えば複雑な機械的機構を用いることなく、従来よりも高感度なマルチスペクトル撮像を実現できる。

本開示の実施形態１におけるマルチスペクトル撮像装置の構成図である。 本開示の実施形態１における結像レンズと波長選択フィルタを通して撮像素子に結像される様子を模式的に示した図である。 本開示の実施形態１および実施形態２における波長選択フィルタの外観図である。 本開示の実施形態１および実施形態２における波長選択フィルタの一部である多層膜フィルタの分光特性図である。 本開示の実施形態１における波長選択フィルタの余弦関数に従った透過率パターンの分光特性図である。 同フィルタの正弦関数に従った透過率パターンの分光特性図である。 本開示の実施形態１および実施形態２における撮像及び信号処理シミュレーションの流れ図である。 本開示の実施形態１および実施形態２における光源及びレンズを含む光学系の分光特性と撮像素子の分光感度を合わせた分光特性図である。 本開示の実施形態１で被写体として用いたＸ−Ｒｉｔｅ社製のマクベスカラーチェッカーＮｏ１３〜Ｎｏ１５の反射分光特性図である。 マクベスカラーチェッカーＮｏ１６〜Ｎｏ１８の反射分光特性図である。 本開示の実施形態１における算出した被写体の分光特性図である。 被写体であるカラーチェッカの実際の分光特性図である。 本開示の実施形態２におけるマルチスペクトル撮像装置の構成図である。 ＬＥＤアレイを有する照明装置１０の例を模式的に示す図である。 実施形態３における多層膜フィルタ２ａの分光透過特性の例を示す図である。 実施形態３における原理を説明するための第１の図である。 実施形態３における原理を説明するための第２の図である。 実施形態３における液晶パネル２ｂの光透過率の空間分布を説明するための第１の図である。 実施形態３における液晶パネル２ｂの光透過率の空間分布を説明するための第２の図である。 実施形態３において１回の撮像において実現される波長選択フィルタ２の分光透過率特性の例を示す図である。

以下、本開示の実施形態を説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。以下の説明において、同一または類似する構成要素については、同じ参照符号を付している。

特許文献１および特許文献２に開示されている従来技術では、複数の光学フィルタを入れ替える機械的な機構が必要である。そのため、撮像装置のサイズが大きくなり、また機械部分を定期的に保守しなければならないという課題がある。特許文献３に開示されている従来技術では、１次元の撮像素子を用いているため、２次元画像を得るには１次元の撮像素子を画素配列方向に対して垂直方向に移動（以下、スキャンとも呼ぶ）させる機械的な機構が必要であり、上記のように保守上の課題がある。また、特許文献４に開示されている従来技術では、標準的なＲＧＢの色フィルタとそれら以外の色フィルタとが、各々特定の１つの（狭い）波長帯域の光のみを透過させるため、さらなる感度向上は期待できないという課題がある。

本開示の実施形態は、上記の課題を解決し得る新たなマルチスペクトル撮像技術を提供する。

本開示のマルチスペクトル撮像装置の実施形態は、基本原理は同じであるが、大別して２つの形態に分けられる。第１の形態は、被写体と撮像素子（イメージセンサ）との間において、透過分光特性を変化させることのできる光学フィルタを用いて撮像し、取得した画像情報から、被写体の反射分光特性を演算によって求める形態である。第２の形態は、照射分光特性を変化させることのできる光源を用いて撮像し、取得した画像情報から、被写体の反射分光特性を演算によって求める形態である。本明細書において、透過分光特性（または分光透過特性）とは、波長ごとの光透過率の特性（依存性）を意味する。照射分光特性とは、波長ごとの照射光強度の特性を意味する。反射分光特性とは、波長ごとの反射光強度の特性を意味する。透過分光特性（または分光透過特性）は、光透過率を示す波長の関数で表される。照射分光特性は、照射光強度を示す波長の関数で表される。反射分光特性は、反射光強度を示す波長の関数で表される。

上記の２形態は、より具体的には、以下の構成をもつ。

第１の形態に係るマルチスペクトル撮像装置は、イメージセンサと、前記イメージセンサの撮像面に被写体の像を形成するように配置された光学系と、前記被写体と前記イメージセンサとの間に配置され、光透過率の波長依存性を変化させることが可能な波長選択フィルタと、前記波長選択フィルタおよび前記イメージセンサに接続され、前記波長選択フィルタの前記光透過率の波長依存性を変化させながら前記イメージセンサで複数回の撮像を行うように前記波長選択フィルタおよび前記イメージセンサを制御する制御回路と、前記イメージセンサに接続された信号処理回路であって、前記複数回の撮像によって前記イメージセンサの１つの画素から順次出力された複数の画素信号を用いた演算により、前記被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める信号処理回路と、を備える。

第２の形態に係るマルチスペクトル撮像装置は、イメージセンサと、前記イメージセンサの撮像面に被写体の像を形成するように配置された光学系と、前記被写体に光を照射する照明装置であって、発光強度の波長依存性を変化させることが可能な照明装置と、前記照明装置および前記イメージセンサに接続され、前記照明装置の前記発光強度の波長依存性を変化させながら前記イメージセンサで複数回の撮像を行うように前記照明装置および前記イメージセンサを制御する制御回路と、前記イメージセンサに接続された信号処理回路であって、前記複数回の撮像によって前記イメージセンサの１つの画素から順次出力された複数の画素信号を用いた演算により、前記被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める信号処理回路と、を備える。

すなわち前者は入射光の分光特性を操作するものであり、後者は撮像用の照明の分光特性を操作するものである。なお、画素信号とは、イメージセンサが有する各光検出セル（例えばフォトダイオードを含む）から出力される電気信号（光電変換信号）を意味する。

ここで、前者の構成を例に、本開示のある実施形態におけるマルチスペクトル撮像の基本原理を説明する。被写体のある１点からの反射光エネルギーを表す波長の関数が、所定の波長帯域λ１〜λ２（但しλ２−λ１＝Ｗ）で存在するとして、その関数を波長λ１からのシフト波長Ｘ（０≦Ｘ≦Ｗ）を用いてＦ（Ｘ）で表す。すると、Ｆ（Ｘ）は式１で示される有限のフーリエ級数で近似できる。なお、シフト波長Ｘを、以下では単に波長Ｘと表現する場合がある。

但し、式１におけるａ（ｉ）、ｂ（ｉ）は下記の式２、式３で表され、ｉは０から予め設定された最大自然数Ｎまでの整数である。式１におけるΣはｉ＝１からｉ＝Ｎまでの総和を表す。また、式２、式３における積分範囲はＸ＝０〜Ｗである。

式２および式３で示すa(i)およびb(i)を撮像素子の画素信号から作り出すことができれば、被写体の反射分光特性（被写体から反射される光の強度の波長依存性）を近似的に算出できる。そこで、本実施形態では、結像レンズ系に透過光の分光特性を波長変化に対して周期的に（例えば余弦関数的または正弦関数的に）変化させることのできる波長選択フィルタを入れ、透過分光特性を変えながら撮像する。これにより、撮像素子の画素信号に基づいて、フーリエ係数a(i)およびb(i)を算出できる。

例えば、マルチスペクトルカメラは、上記所定の波長帯域Ｗにおいて透過分光特性を一定（例えば、どの波長も１００％透過）にして第１回目の撮像を行う。すると、画素信号Sdは∫F(X)dXに比例した信号値となり、Sd×(2/Ｗ)の演算により、a(0)を算出できる。さらに、波長選択フィルタの分光透過特性（透過率特性）を(1/2)(1+cos(2πiX/W))あるいは(1/2)(1+sin(2πiX/W)のような特性に変えて撮像すれば、画素信号Saは∫(1/2)(1+cos(2πiX/W))F(X)dXあるいは∫(1/2)(1+sin(2πiX/W))F(X)dXに比例した信号値となる。この画素信号Saと第１回目の撮像結果の画素信号Sdとを用いて、(2Sa-Sd)×(2/W)の演算を行えば、a(i)あるいはb(i)が算出できる。

このように、波長選択フィルタ（即ち光入射手段）の分光透過特性を変えて複数回撮像し、撮像した画像信号を用いてa(i)、b(i)を算出すれば、被写体の反射分光特性を画素単位で算出できる。

以上が本開示の一実施形態の基本原理である。上記の基本原理は、波長選択フィルタを用いる場合に限らず、照射分光特性を変えることのできる光源を用いる場合も同様である。すなわち、出射光の強度がどの波長についても一定値になるように光源を調整して撮像すれば、∫F(X)dXに比例した画素信号Sdが得られる。また、出射光の強度のスペクトルが、例えば(1/2)(1+cos(2πiX/W))または(1/2)(1+sin(2πiX/W)になるように光源を調整して撮像すれば、∫(1/2)(1+cos(2πiX/W))F(X)dX、または∫(1/2)(1+sin(2πiX/W))F(X)dXに比例した画素信号Saが得られる。これらの画素信号SaおよびSdを用いた演算により、フーリエ係数a(i)およびb(i)を算出できる。以下、この基本原理を利用した、本開示のより具体的な実施形態を説明する。

（実施形態１）
まず本開示の第１の実施形態におけるマルチスペクトル撮像装置を説明する。図１は本実施形態におけるマルチスペクトル撮像装置の構成図である。この撮像装置は、広帯域光学フィルタ９と、結像レンズ（光学系）１と、波長選択フィルタ２と、撮像素子（イメージセンサ）３と、信号発生／受信回路４と、液晶コントローラ５と、画像処理回路６と、画像メモリー７と、信号出力部８と、を備えている。

広帯域光学フィルタ９は、所定の波長帯域の光のみを透過させるフィルタである。広帯域光学フィルタ９は、本実施形態では３８０ｎｍ〜７６０ｎｍの光のみを透過させ、他の波長域の光（紫外線および赤外線を含む。）をカットする。広帯域光学フィルタ９は、光学系１の前に配置されている。

光学系１は、少なくとも１つのレンズを含む結像光学系である。光学系１は、入射光を集光し、撮像素子３の撮像面に被写体の像を形成する。

波長選択フィルタ２は、可視光に含まれる複数の色（レインボー色と表現する。）の光をそれぞれ透過させる複数の部分を有する多層膜フィルタ２ａと、液晶パネル２ｂとを有する。多層膜フィルタ２ａは、一方向に透過波長が虹のように変化する特性を有している。液晶パネル２ｂは、複数の液晶セルを含み、セルごとに光透過率を変化させることができる。多層膜フィルタ２ａと液晶パネル２ｂとの組み合わせにより、波長選択フィルタ２を透過する光の分光分布（光強度の波長依存性）を自由に変化させることができる。

液晶コントローラ５は、液晶パネル２ｂの光透過率を場所ごとに変化させる制御回路である。液晶コントローラ５は、各液晶セルに電圧を印加することによってその光透過率を調整できる。

撮像素子３は、例えばＣＭＯＳ型またはＣＣＤ型等の任意のイメージセンサであり得る。撮像素子３は、複数の光検出セル（例えばフォトダイオードを含む。）を有している。各光検出セルは、光電変換によって受光量に応じた電気信号（画素信号）を出力する。これにより、撮像素子３は、波長選択フィルタ２を透過した光による像に応じた画像信号を出力する。

信号発生／受信回路４は、撮像素子３からの画像信号を受信すると共に撮像素子３等を駆動するための信号を発生して撮像素子１３に送信する。信号発生／受信回路４は、例えばＣＭＯＳドライバなどのＬＳＩから構成され得る。画像処理回路６は、信号発生／受信回路４からの画像信号を画像メモリー７に送信すると共に画像メモリー７からの画像信号を読み出して処理する。画像処理回路６は、例えば公知の信号処理プロセッサ（ＤＳＰ）などの信号処理回路と、画像処理を実行するソフトウェアとの組み合わせによって実現され得る。あるいは、画像処理回路６は、専用のハードウェアから構成されていてもよい。画像メモリー７は、例えばＤＲＡＭまたはＳＲＡＭ等の公知の半導体メモリーであり得る。信号出力部（出力インターフェース）８は、画像処理回路６からの信号を外部に出力する。

図２は被写体からの光が結像レンズ１、波長選択フィルタ２を透過して撮像素子３の撮像部（撮像面）３ａに結像される様子を模式的に示した図である。結像された画像は撮像素子３で光電変換され電気信号になり、信号発生／受信回路４および画像処理回路６を介して画像メモリーに記録される。

図３は波長選択フィルタ２の外観を模式的に示す図である。レインボー色の多層膜フィルタ２ａと液晶パネル２ｂは重ねられている。本実施形態における多層膜フィルタ２ａはｙ方向（画像の垂直方向に相当）には分光特性が変化しないが、ｘ方向（画像の水平方向に相当）にはその位置に応じて透過波長が連続的に変化する。

図４は、多層膜フィルタ２ａの分光透過特性の例を示す。図４では、１４個の透過波長帯域のみを例示しているが、実際の多層膜フィルタ２ａは、さらに多数の透過波長帯域の部分を含み得る。多層膜フィルタ２ａは、水平方向（ｘ方向）のある位置では狭帯域の細長い光学フィルタであるといえる。その位置が水平方向に連続的に変わると当該位置の透過波長帯域も連続的に変化する。なお、実際にはこの変化は離散的であるが、透過波長帯域の変化量を小さくすることにより、連続的であるとみなせる。本実施形態では、少なくとも波長帯域３８０ｎｍ〜７６０ｎｍでは各々の位置で当該透過波長のピーク透過率はほぼ１００％（図では１．０の値）である。多層膜フィルタ２ａの透過波長帯域は、ｘ座標に対して単調に増加または減少するように設計してもよいし、各々が特定の透過波長帯域を有する複数のストライプ状の部分がｘ方向にランダムに配列されていてもよい。後者の場合も、全体として上記の波長帯域の全域がほぼ連続的にカバーされるように設計され得る。一次元に限らず、２次元的に透過波長帯域が変化する多層膜フィルタを利用してもよい。

多層膜フィルタ２ａとして、例えば、エドモンド・オプティクス社のリニア可変バンドパスフィルタや、ニコン社のリニアバリアブルフィルタ等を好適に用いることができる。

このような多層膜フィルタ２ａに密接させて液晶パネル２ｂを配置することにより、撮像素子３は、入射光の波長を選択して受光することができる。

図５Ａおよび図５Ｂは、本実施形態における波長選択フィルタ２の透過分光特性パターンを示す。図５Ａは波長帯域０．３８μｍ〜０．７６μｍ（３８０ｎｍ〜７６０ｎｍ）において、余弦関数に従った１周期から８周期の８つの透過率パターンを示している。図５Ｂは同波長帯域において、正弦関数に従った１周期から８周期の８つの透過率パターンを示している。なお、図５Ａおよび図５Ｂに示す１６の透過分光特性パターン以外に、上記波長帯域において１００％光を透過させるパターンもある。よって、波長選択フィルタ２の透過分光特性パターンは総計１７パターンである。ここで、上記波長帯域において１００％光を透過させるパターンをＰＴＮ０と呼び、図５Ａに示すパターンを長周期から短周期の順にＰＴＮ１、ＰＴＮ２、・・・、ＰＴＮ８と呼び、図５Ｂに示すパターンを長周期から短周期の順にＰＴＮ９、ＰＴＮ１０、・・・、ＰＴＮ１６と呼ぶことにする。

ここで、波長選択フィルタ２におけるＰＴＮｎ（ｎ＝０，１，・・・１６）の光透過率を表す波長の関数をＰｎ（Ｘ）と表現する。Ｘは、前述のように、基準波長（本実施形態では０．３８μｍ）からのシフト波長を表す。各パターンにおけるＰｎ（Ｘ）は、近似的に以下のように表される。なお、Ｗは、広帯域光学フィルタ９が透過させる光の波長帯域を示し、本実施形態では０．３８（＝０．７６−０．３８）μｍである。

ＰＴＮ０： Ｐ０（Ｘ）＝１
ＰＴＮ１： Ｐ１（Ｘ）＝（１／２）（１＋ｃｏｓ（２πＸ／Ｗ））
ＰＴＮ２： Ｐ２（Ｘ）＝（１／２）（１＋ｃｏｓ（４πＸ／Ｗ））
ＰＴＮ３： Ｐ３（Ｘ）＝（１／２）（１＋ｃｏｓ（６πＸ／Ｗ））
ＰＴＮ４： Ｐ４（Ｘ）＝（１／２）（１＋ｃｏｓ（８πＸ／Ｗ））
ＰＴＮ５： Ｐ５（Ｘ）＝（１／２）（１＋ｃｏｓ（１０πＸ／Ｗ））
ＰＴＮ６： Ｐ６（Ｘ）＝（１／２）（１＋ｃｏｓ（１２πＸ／Ｗ））
ＰＴＮ７： Ｐ７（Ｘ）＝（１／２）（１＋ｃｏｓ（１４πＸ／Ｗ））
ＰＴＮ８： Ｐ８（Ｘ）＝（１／２）（１＋ｃｏｓ（１６πＸ／Ｗ））
ＰＴＮ９： Ｐ９（Ｘ）＝（１／２）（１＋ｓｉｎ（２πＸ／Ｗ））
ＰＴＮ１０： Ｐ１１（Ｘ）＝（１／２）（１＋ｓｉｎ（４πＸ／Ｗ））
ＰＴＮ１１： Ｐ１２（Ｘ）＝（１／２）（１＋ｓｉｎ（６πＸ／Ｗ））
ＰＴＮ１２： Ｐ１３（Ｘ）＝（１／２）（１＋ｓｉｎ（８πＸ／Ｗ））
ＰＴＮ１３： Ｐ１４（Ｘ）＝（１／２）（１＋ｓｉｎ（１０πＸ／Ｗ））
ＰＴＮ１４： Ｐ１５（Ｘ）＝（１／２）（１＋ｓｉｎ（１２πＸ／Ｗ））
ＰＴＮ１５： Ｐ１６（Ｘ）＝（１／２）（１＋ｓｉｎ（１４πＸ／Ｗ））
ＰＴＮ１６： Ｐ１７（Ｘ）＝（１／２）（１＋ｓｉｎ（１６πＸ／Ｗ））

本実施形態では、波長選択フィルタ２の透過分光特性をＰＴＮ０からＰＴＮ１６まで変化させながら、その都度被写体を撮影する。これにより、取得した画素信号から、図１に示す関数Ｆ（Ｘ）のフーリエ係数（式２、３）を推定できる。それらのフーリエ係数を用いて式１の右辺に示すフーリエ級数展開を計算することにより、Ｆ（Ｘ）を推定できる。被写体に照射される光が波長によらず一定の強度である場合はＦ（Ｘ）そのものが被写体の反射分光特性を示す。しかし、一般に、光源から出射される光は、特有のスペクトルをもち、さらに外部光が存在し得るため、被写体に照射される光の強度は波長依存性を有する。このため、求めたＦ（Ｘ）を、光源等の分光特性を示す関数Ｏ（Ｘ）で波長毎に除算することにより、被写体の反射分光特性を示す関数を求めることができる。

以下、本実施形態のマルチスペクトル撮像装置の動作を説明する。

図６は、本実施形態におけるマルチスペクトル撮像装置の動作の流れを示すフローチャートである。ここでは、複数の色見本を用いたシミュレーションを例に、本実施形態の動作を説明する。撮像条件として、光源は色温度５１００Ｋのハロゲン灯とした。図７は、光源、レンズを含む光学系、および撮像素子３の分光感度を合わせた分光特性を示している。この特性を撮像光学分光特性と呼び、Ｏ（Ｘ）で表す。但し、Ｘは３８０ｎｍからのシフト波長で、本実施形態では波長帯域３８０ｎｍ〜７６０ｎｍであることから、その取り得る値は０〜３８０ｎｍである。

被写体はＸ−Ｒｉｔｅ社製のマクベスカラーチェッカーＮｏ１３〜Ｎｏ１８の色見本である。これらの反射分光特性をＦ（Ｘ）で表す。これらの色見本Ｎｏ１３〜Ｎｏ１８は、番号順に青（Ｂ）、緑（Ｇ）、赤（Ｒ）、黄（Ｙｅ）、マゼンタ（Ｍｇ）、シアン（Ｃｙ）である。図８Ａおよび図８Ｂは、それらの色見本の反射分光特性を示している。図８ＡはＮｏ１３〜Ｎｏ１５の反射分光特性を示し、番号順に実線、破線、一点鎖線で表している。図８ＢはＮｏ１６〜Ｎｏ１８の反射分光特性を示し、番号順に実線、破線、一点鎖線で表している。

図１における構成において、液晶コントローラ５（制御回路）は、波長選択フィルタ２の透過分光特性パターンをＰＴＮ０〜ＰＴＮ１６まで変えて撮像素子３によって撮像する。それらの画像信号値をＥ（０）〜Ｅ（１６）とする。

まず第１ステップとして、Ｎｏ１３〜Ｎｏ１８の６個の色見本を撮像したとして、それらの分光特性と、Ｏ（Ｘ）及びＰＴＮ０〜ＰＴＮ１６の分光特性との離散的な積分演算を行う。これにより、各色見本に関して相対的な画素信号値Ｅ（０）〜Ｅ（１６）を算出する（ステップＳ１）。実際の計算では、例えば１０ｎｍ毎の数値データを用いて離散的な積分を行い、１つの色見本につき１７個の信号値を算出する。従って、総計６×１７＝１０２個の信号値を算出する。

次に第２のステップとして、以下の式４、式５と式６を用いて画素信号値Ｅ（０）〜Ｅ（１６）から各色見本のフーリエ係数ａ（０）〜ａ（８）とｂ（１）〜ｂ（８）とを算出する（ステップＳ２）。但し、式５および式６において、ｉは１以上８以下の整数である。なお、以下の計算では波長帯域Ｗの１／２をπとして計算している。

（式４）ａ(０)＝E(0)/π
（式５）ａ(ｉ)＝(2E(i)−E(0))/π
（式６）ｂ(ｉ)＝(2E(i+8)−E(0))/π

次に第３ステップとして、算出したフーリエ係数ａ（０）〜ａ（８）とｂ（１）〜ｂ（８）を用いて、被写体の反射分光特性Ｆ（Ｘ）を式１に示すフーリエ級数で表す（ステップＳ３）。ただし、本計算ではＷ／２をπとして計算しているため、以下のフーリエ級数を用いる。

算出されたＦ（Ｘ）は撮像画像のスペクトルであるが、これには上記で説明した撮像光学分光特性Ｏ（Ｘ）の影響が含まれている。そこで、第４ステップとして、Ｆ（Ｘ）をさらにＯ（Ｘ）で除算し、被写体の分光特性を算出する（ステップＳ４）。この除算は、例えば１０ｎｍ毎の数値データのそれぞれについて行われる。

図９Ａは、算出した被写体の分光特性を示している。図９Ｂは、被写体であるカラーチェッカの実際の分光特性を示している。図９Ａおよび図９Ｂの中で、太い実線は青（算出結果：Ｃａｌ＿Ｎｏ１３、実際の特性：Ｎｏ１３）、太い破線は緑（算出結果：Ｃａｌ＿Ｎｏ１４、実際の特性：Ｎｏ１４）、太い一点鎖線は赤（算出結果：Ｃａｌ＿Ｎｏ１５、実際の特性：Ｎｏ１５）、細い実線は黄（算出結果：Ｃａｌ＿Ｎｏ１６、実際の特性：Ｎｏ１６）、細い破線はマゼンタ（算出結果：Ｃａｌ＿Ｎｏ１７、実際の特性：Ｎｏ１７）、細い一点鎖線はシアン（算出結果：Ｃａｌ＿Ｎｏ１８、実際の特性：Ｎｏ１８）のカラーチェッカの分光特性を表している。図９Ａおよび図９Ｂにおいて波長範囲は４００ｎｍ〜７００ｎｍであるが、算出した被写体の分光特性はカラーチェッカの実際の分光特性と概ね同じであることがわかる。

最後に、算出した被写体の分光特性から、予め指定された特定の波長における分光特性値を取り出し、それらのデータを画素信号とした特定波長画像と、画素信号の平均値を算出し、それらを画素信号とした白黒画像とを信号出力部８から外部に出力する（ステップＳ５）。なお、特定波長画像および白黒画像の一方のみを生成・出力してもよい。白黒画像は、画素信号の平均値ではなく、合算値またはＰＴＮ０の画素信号のみから生成してもよい。

このように、画像処理回路６から信号出力部８を介して特定波長画像と白黒画像とが出力される。指定波長を変えることにより、設定された計測波長帯域内の任意の波長についての画像を得ることができる。また、波長選択フィルタ２の各透過分光特性パターン（図５Ａおよび図５Ｂ）は、分光透過率のピークを複数有しているため、分光透過率のピークを１つしか有していない従来のＲＧＢフィルタよりも光利用率が高い。それ故、出力される白黒画像の明度を高くすることができる。

以上のように、本実施形態のマルチスペクトル撮像装置は、波長選択フィルタ２の透過分光特性パターンを変えながら撮像し、撮像によって取得した画素信号を用いて被写体画像の各点における反射分光特性をフーリエ級数で表現することにより、画素単位で被写体画像の分光特性を算出できる。また、撮像装置から得られる撮像画像の明度が高いという長所も有する。

なお、本実施形態では、波長選択フィルタ２の透過分光特性パターンを余弦的な透過分光特性のパターンＰＴＮ１〜ＰＴＮ８と正弦的な透過分光特性のパターンＰＴＮ９〜ＰＴＮ１６にしたが、これに限定されるものではない。例えば、余弦的な透過分光特性のパターンだけでも良く、またパターン数も１６に限定するものではない。余弦的な透過分光特性のパターンだけを利用する場合は、式１〜式３に代えて、フーリエ余弦級数展開が利用され得る。さらに、被写体の分光特性の波形（交流成分）だけを計測するのであれば、ＰＴＮ０のパターンを用いる必要はない。加えて、透過分光特性のパターンに関して、ＰＴＮ１〜ＰＴＮ１６では分光特性のピークを１．０（１００％透過）、アンダーピークを０（０％透過）と変調性の高い特性にしたが、これに限るものではない。ピークとアンダーピークとの差が小さい変調性の低い特性でも問題はない。さらに、本実施形態では、計測対象の波長帯域を３８０ｎｍ〜７６０ｎｍに設計したが、これに限るものではなく、さらに範囲の広い波長帯域またはさらに範囲の狭い波長帯域であっても構わない。可視光に限らず、近赤外線または近紫外線などの波長帯域を用いてもよい。本明細書では、可視光に限らず、赤外線および紫外線を含む電磁波全般について、「光」の用語を用いる。

本実施形態では、被写体の反射分光特性Ｆ（Ｘ）を式１に示すフーリエ級数展開で表したが、フーリエ級数展開に限らず、他の直交関数系を用いてＦ（Ｘ）を展開してもよい。その場合でも、出力された複数の画素信号を用いた演算処理によって展開係数を算出することができる場合には、被写体の反射分光特性を求めることができる。

（実施形態２）
次に本発明の第２の実施形態のマルチスペクトル撮像装置を説明する。

図１０は、本実施形態におけるマルチスペクトル撮像装置の構成を示す図である。本実施形態は、上記第１の実施形態と比べて、波長選択フィルタ２が撮像光学系に無く、その代わりに撮像用光源１０の前に配置されている。その他は第１の実施形態と同じ構成で処理も同じである。なお、撮像用光源は、例えば色温度変換フィルタを内部に含み、色温度５１００Ｋに調整されたハロゲン灯である。本実施形態の撮像装置は撮影用光源１０を備え、この光源１０以外に被写体を照らす光源はない。本実施形態では、光源１０と波長選択フィルタ２とが照明装置を構成する。

本実施形態では、撮像装置の構成が第１の実施形態と基本的に同じであり、また信号処理も同じであるため、第１の実施形態の場合と同様に効果が得られる。

以上のように、本実施形態のマルチスペクトル撮像装置は、撮像用光源１０の前に波長選択フィルタ２が配置され、その他は第１の実施形態と構成および信号処理が同じである。画素単位で被写体画像の分光特性を算出でき、また撮像装置から得られる撮像画像の明度が高いという長所も有する。

なお、本実施形態では、撮像用光源としてハロゲン灯を用いたが、これに限定するものではなく、他の光源でも問題はない。例えばプロジェクタ用の高圧放電ランプ（水銀ランプ、メタルハライドランプ等）を用いてもよい。高輝度プロジェクタが備える高圧放電ランプおよび液晶パネルの組み合わせにより、本実施形態における照射分光特性の制御が可能である。あるいは、白色発光ダイオード（ＬＥＤ）のアレイを用いてもよい。白色ＬＥＤアレイと、リニア可変フィルタ等の波長選択フィルタとの組み合わせによってもマルチスペクトル解析用の照明を実現できる。各ＬＥＤの発光パワーを制御することにより、液晶パネルを用いた場合と同様の機能を実現できる。

さらに、波長選択フィルタ２を用いる代わりに、光源１０自身が複数の照射分光特性の状態を切り替えるように動作してもよい。そのような光源１０は、例えば発光波長域の異なる複数の発光ダイオード（ＬＥＤ）の配列によって実現され得る。

図１１は、上記のようなＬＥＤアレイを有する照明装置１０の例を模式的に示す図である。照明装置１０は、複数のＬＥＤ１０ａを有する。この例では、複数のＬＥＤ１０ａは、二次元的に（行列状に）等間隔で配列されているが、一次元的に配列されていてもよい。各ＬＥＤ１０ａは、白色ＬＥＤでもよいし、それぞれに設定された特定の波長において発光強度（発光パワー）が最大になるように設計されたＬＥＤ（すなわち、個々に発光色の異なるＬＥＤ）でもよい。白色ＬＥＤを用いる場合、前述の多層膜フィルタと併用し、各ＬＥＤの発光強度を調整することにより、図５Ａおよび図５Ｂに示すような照射分光特性が実現される。発光色の異なる複数のＬＥＤを用いる場合は、多層膜フィルタは不要である。各ＬＥＤ１０ａは、制御回路２０によって制御される。複数の白色ＬＥＤの各々または発光色の異なる複数のＬＥＤ１０ａの各々の発光強度を個別に制御することにより、波長選択フィルタ２を用いた場合と同様の制御が可能である。なお、複数のＬＥＤ１０ａの数は任意であり、例えば数百から数万、場合によってはそれ以上であってもよい。

このように、本開示の照明装置は、液晶パネルを含む波長選択フィルタを有する代わりに、白色ＬＥＤなどの複数の白色光源を有していてもよい。あるいは、液晶パネルおよび多層膜フィルタを含む波長選択フィルタを有する代わりに、特定の波長について発光強度が最大である複数の光源を有していてもよい。

（実施形態３）
次に、本開示の第３の実施形態を説明する。

本実施形態のマルチスペクトル撮像装置は、波長選択フィルタ２における多層膜フィルタ２ａの構成および図５Ａおよび図５Ｂに示す周期関数を作り出す仕組みが実施形態１のものとは異なっている。それ以外の構成は実施形態１と同じである。以下、実施形態１と異なる点を中心に説明する。

本実施形態における多層膜フィルタ２ａは、前述のレインボーフィルタではなく、一方向に連続的に遮断波長が変化するフィルタである。より具体的には、多層膜フィルタ２ａは、図３に示すｘ方向に並ぶ複数の帯状の部分（ｙ方向に長い細長い部分）を有する。各帯状部分は、固有の遮断波長をもち、遮断波長以上の波長の光はよく通すが、遮断波長よりも小さい波長の光はあまり通さない。本実施形態の多層膜フィルタ２ａは、遮断波長がｘ座標の増加に対して単調増加するような特性を有している。各帯状部分は細く、その透過波長のｘ座標に対する変化率は、実質的に連続的とみなせるほど小さい。多層膜フィルタ２ａには、例えば遮断波長よりも波長の短い光は殆ど透過させず、遮断波長以上の波長をもつ光を多く透過させるロングパスフィルタが用いられる。なお、後述するように、多層膜フィルタ２ａにおける各帯状部分は、遮断波長よりも波長の長い光をあまり透過させず、遮断波長以下の波長をもつ光をよく透過させる特性を有していてもよい。このように、本明細書において「遮断波長」とは、その波長以上の波長の光の透過率が相対的に高く、その波長よりも小さい波長の光の透過率が相対的に低い場合の当該波長、または、その波長よりも長い波長の光の透過率が相対的に低く、その波長以下の波長の光の透過率が相対的に高い場合の当該波長を意味する。

図１２は、本実施形態における多層膜フィルタ２ａの分光透過特性の例を示す図である。図１２における破線は、一部の帯状部分の分光透過特性の例を示している。図４の左側から遮断波長が400nm、450nm、500nm、550nm、600nm、650nm、700nmの場合の例を示している。図１２では、７個の透過波長帯域のみを例示しているが、実際の多層膜フィルタ２ａは、さらに多数の透過波長帯域の部分を含む。多層膜フィルタ２ａは、水平方向（ｘ方向）のある位置ではある波長以上の光のみを透過させる細長い（帯状の）光学フィルタである。その位置が水平方向に連続的に変わると当該位置の透過波長帯域も連続的（実際には離散的であるが、透過波長帯域の変化量を小さくすることにより、連続的であるとみなせる）に変化する。本実施形態では、少なくとも波長帯域３８０ｎｍ〜７６０ｎｍでは各々の位置で当該透過波長のピーク透過率はほぼ１００％（図では１．０の値）である。多層膜フィルタ２ａの透過波長帯域は、ｘ座標に対して単調に増加または減少するように設計してもよいし、各々が特定の透過波長帯域を有する複数のストライプ状の部分がｘ方向にランダムに配列されていてもよい。後者の場合も、全体として上記の波長帯域の全域がほぼ連続的にカバーされるように設計され得る。一次元に限らず、２次元的に透過波長帯域が変化する多層膜フィルタを利用してもよい。また、多層膜フィルタ２ａとして、ロングパスフィルタの代わりに、遮断波長よりも大きい光をあまり透過させず、遮断波長以下の光をよく透過させるショートパスフィルタを用いてもよい。

多層膜フィルタ２ａとして、例えば、エドモンド・オプティクス社のリニア可変エッジフィルタ（ロングパスフィルタまたはショートパスフィルタ）や、DELTA社のリニアバリアブルフィルタ（ロングウェーブパスフィルタまたはショートウェーブパスフィルタ）等を好適に用いることができる。

本実施形態では、このような多層膜フィルタ２ａを用いて、液晶パネル２ｂの光透過率の空間分布を変えて複数回の撮像を行う。その複数回の撮像によって得られる画素信号間の差分演算を行うことにより、実施形態１の波長選択フィルタを用いた場合と同等の効果を得ることができる。この点について以下に説明する。

図１３Ａは、本実施形態における原理を説明するための図である。図１３Ａは、多層膜フィルタ２ａのうち、ｘ方向に隣接する２つの微小領域（領域Ａおよび領域Ｂと称する。）を例示している。領域Ａの遮断波長は５４０ｎｍであり、領域Ｂの遮断波長は５５０ｎｍである。領域Ａを透光状態にし、領域Ｂを遮光状態にした場合の分光特性と、領域Ａを遮光状態にし、領域Ｂを透光状態にした場合の分光特性との差は、図１３Ｂに示すように、５４０ｎｍ〜５５０ｎｍの光を透過させるバンドパスフィルタと同様の特性になる。よって、領域Ａを透光状態にし、領域Ｂを遮光状態にして撮像した場合に得られる画素信号から、領域Ａを遮光状態にし、領域Ｂを透光状態にした場合に得られる画素信号を減算した信号は、そのような狭帯域のバンドパスフィルタを用いて撮像した場合に得られる画素信号と概ね同じになる。

このことから、本実施形態の撮像装置は、少なくとも２回の撮像を行い、各撮像で、透光状態にする位置と遮光状態にする位置とを入れ替えるように、液晶パネル２ｂを制御する。さらに、差分演算を行った場合に図５Ａおよび図５Ｂに示す分光透過特性を有する実施形態１の波長選択フィルタを用いた場合と同等の結果が得られるように、液晶パネル２ｂの透光特性が制御される。

図１４Ａおよび図１４Ｂは、本実施形態における液晶パネル２ｂの光透過率の空間分布を説明するための図である。本実施形態における液晶パネル２ｂは、ｘ方向には光透過率が変化するが、ｙ方向には一定の光透過率を有する。ここで、液晶パネル２ｂの光透過率を座標ｘについての関数Ｔ（ｘ）として表す。第１回目の撮像時には、Ｔ（ｘ）は、図１４Ａの実線に示す周期関数（第１の周期関数と称する。）と、図１４Ｂの実線に示す周期関数（第２の周期関数と称する。）との積で表される。第２回目の撮像時には、Ｔ（ｘ）は、図１４Ａの破線に示す周期関数（第３の周期関数と称する。）と、図１４Ｂの破線に示す周期関数（第４の周期関数と称する。）との積で表される。第３の周期関数は、第１の周期関数を約半周期ずらした関数であり、第４の周期関数は、第２の周期関数を、第１の周期関数の約半周期分ずらした関数である。第２の周期関数および第４の周期関数は、図５Ａおよび図５Ｂに示す各分光透過特性に対応する所望の周期関数である。すなわち、第２の周期関数および第４の周期関数は、図１４Ｂに示す最も周期の長い正弦的な関数のみならず、より短い周期の正弦的な関数、および様々な周期の余弦的な関数に順次切り替わりながら複数回の撮像が行われる。第２の周期関数および第４の周期関数は、それぞれ、第１の周期関数および第２の周期関数よりも長い周期を有する。

このように、本実施形態の撮像装置は、波長選択フィルタ２を図１４Ａの実線で示す透過率特性と図１４Ｂの実線で示す正弦関数に従った透過率特性との積の分光透過特性にした上で１度撮像し、さらに図１４Ａの破線で示す透過率特性と図１４Ｂの破線で示す正弦関数に従った透過率特性との積の分光透過特性にした上で撮像する。それら２つの撮像によって取得される画像の差分画像を算出すると、その差分画像は、概ね図５Ａ、５Ｂに示す正弦特性を有する光学フィルタ（実施形態１の波長選択フィルタ）を介した画像になる。すなわち、本実施形態の撮像素子３は、入射光の波長を選択して受光することができる。このような２回の撮像は、図１４Ｂに示す長周期の正弦的関数に限らず、より短い周期の正弦的関数および様々な周期の余弦的関数のそれぞれについても同様に行われる。

図１５は、第１回目の撮像において実現される波長選択フィルタ２の分光透過率特性の例を示している。この分光透過率特性と、第２回目の撮像において実現される半波長ずれた分光透過率特性とが、上記差分演算によって相補的に機能し、所望の光学フィルタを介して撮像した画像を算出できる。このような２回の撮像を１セットとして、第２の周期関数および第４の周期関数を、例えば図５Ａおよび図５Ｂに示す１７個の周期関数（透過率が波長によらずほぼ一定の関数を含む。）に対応するように変更して１７セットの撮像を行い、各セットの２回の撮像で得られる２つの画素信号の差分演算を行えば、図６を参照して説明した画素信号Ｅ（０）〜Ｅ（１６）に相当する信号が得られる。それらの信号を用いれば、実施形態１と同様の処理を適用できる。

以上のように、本実施形態では、波長選択フィルタ２は、各々が異なる遮断波長を有する複数の部分が配列された多層膜フィルタ２ａと、当該多層膜フィルタに重ねて配置された液晶透光板２ｂとを有する。制御回路（液晶コントローラ５）は、液晶透光板２ｂの光透過率の空間分布を変化させることにより、波長選択フィルタ２の光透過率の波長依存性を変化させる。

より詳細には、多層膜フィルタ２ａにおける複数の部分の遮断波長は、一方向（本実施形態ではｘ方向）に単調に増加または減少する。制御回路は、少なくとも２回（典型的には、ｎを正の整数として２ｎ回）の撮像を行うように、液晶透光板２ｂおよびイメージセンサを制御する。第１回目の撮像時における液晶透光板２ｂの光透過率の、ｘ方向についての関数は、第１の周期関数と、第１の周期関数よりも周期の長い第２の周期関数との積で表される。第２回目の撮像時における液晶透光板２ｂの光透過率の、ｘ方向についての関数は、第１の周期関数を半周期ずらした第３の周期関数と、前記第２の周期関数を半周期ずらした第４の周期関数との積で表される。信号処理回路（画像処理回路６）は、第１回目の撮像によってイメージセンサ３の１つの画素から出力された第１の画素信号と、第２回目の撮像によってイメージセンサ３の前記画素から出力された第２の画素信号との差分演算を含む演算により、被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める。

なお、上記の例では、液晶パネル２ｂは、第１の周期関数と第２の周期関数との積、および第３の周期関数と第４の周期関数との積で表される透過率分布になるように制御されるが、これに限定されない。例えば、第１の周期関数と第４の周期関数との積、および第２の周期関数と第３の周期関数との積で表される透過率分布になるように制御されてもよい。いずれの例においても、２回撮影し、差分画像の画素信号を実施形態１における画素信号として、実施形態１と同じ信号処理を適用できる。あるいは、上記の処理を複合して、４回撮影し、２つの差分画像を合算した画像の各ピクセルの信号を画素信号としてもよい。その場合も、実施形態１と同じ信号処理を適用できる。実施形態１について説明した各種の変形例は、本実施形態にも同様に適用できる。

本実施形態の構成は、実施形態２の構成と組み合わせることもできる。すなわち、図１０に示すように、波長選択フィルタ２を光源１０の前方に配置してもよい。実施形態２において説明した様々な変形例は、同様に適用可能である。

以上のように、本開示は、以下の項目に記載のマルチスペクトル撮像装置および照明装置を含む。

［項目１］
イメージセンサと、
前記イメージセンサの撮像面に被写体の像を形成するように配置された光学系と、
前記被写体と前記イメージセンサとの間に配置され、光透過率の波長依存性を変化させることが可能な波長選択フィルタと、
前記波長選択フィルタおよび前記イメージセンサに接続され、前記波長選択フィルタの前記光透過率の波長依存性を変化させながら前記イメージセンサで複数回の撮像を行うように前記波長選択フィルタおよび前記イメージセンサを制御する制御回路と、
前記イメージセンサに接続された信号処理回路であって、前記複数回の撮像によって前記イメージセンサの１つの画素から順次出力された複数の画素信号を用いた演算により、前記被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める信号処理回路と、
を備えるマルチスペクトル撮像装置。

［項目２］
前記波長選択フィルタは、各々が異なる特定の波長帯域の光を透過させる複数の部分が配列された多層膜フィルタと、前記多層膜フィルタに重ねて配置された液晶透光板とを有し、
前記制御回路は、前記液晶透光板の光透過率の空間分布を変化させることにより、前記波長選択フィルタの前記光透過率の波長依存性を変化させる、
項目１に記載のマルチスペクトル撮像装置。

［項目３］
各回の撮像時における前記波長選択フィルタの前記光透過率は、所定の波長帯域において波長の周期関数で表される、項目１または２に記載のマルチスペクトル撮像装置。

［項目４］
前記波長選択フィルタは、各々が異なる遮断波長を有する複数の部分が配列された多層膜フィルタと、前記多層膜フィルタに重ねて配置された液晶透光板とを有し、
前記制御回路は、前記液晶透光板の光透過率の空間分布を変化させることにより、前記波長選択フィルタの前記透過率の波長依存性を変化させる、
項目１に記載のマルチスペクトル撮像装置。

［項目５］
前記多層膜フィルタにおける前記複数の部分の前記遮断波長は、一方向に単調に増加または減少し、
前記制御回路は、少なくとも２回の撮像を行うように、前記液晶透光板および前記イメージセンサを制御し、
第１回目の撮像時における前記液晶透光板の光透過率の、前記方向についての関数は、第１の周期関数と、前記第１の周期関数よりも周期の長い第２の周期関数との積で表され、
第２回目の撮像時における前記液晶透光板の光透過率の、前記方向についての関数は、前記第１の周期関数を半周期ずらした第３の周期関数と、前記第２の周期関数を前記第１の周期関数の半周期分ずらした第４の周期関数との積で表され、
前記信号処理回路は、前記第１回目の撮像によって前記イメージセンサの１つの画素から出力された第１の画素信号と、前記第２回目の撮像によって前記イメージセンサの前記画素から出力された第２の画素信号との差分演算を含む演算により、前記被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める、
項目４に記載のマルチスペクトル撮像装置。

［項目６］
イメージセンサと、
前記イメージセンサの撮像面に被写体の像を形成するように配置された光学系と、
前記被写体に光を照射する照明装置であって、発光強度の波長依存性を変化させることが可能な照明装置と、
前記照明装置および前記イメージセンサに接続され、前記照明装置の前記発光強度の波長依存性を変化させながら前記イメージセンサで複数回の撮像を行うように前記照明装置および前記イメージセンサを制御する制御回路と、
前記イメージセンサに接続された信号処理回路であって、前記複数回の撮像によって前記イメージセンサの１つの画素から順次出力された複数の画素信号を用いた演算により、前記被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める信号処理回路と、
を備えるマルチスペクトル撮像装置。

［項目７］
前記照明装置は、光源と、各々が異なる特定の波長帯域の光を透過させる複数の部分が配列された多層膜フィルタと、前記多層膜フィルタに重ねて配置された液晶透光板とを有し、
前記制御回路は、前記液晶透光板の光透過率の空間分布を変化させることにより、前記波長選択フィルタの前記透過率の波長依存性を変化させる、
項目６に記載のマルチスペクトル撮像装置。

［項目８］
各回の撮像時における前記発光強度は、所定の波長帯域において波長の周期関数で表される、項目６または７に記載のマルチスペクトル撮像装置。

［項目９］
前記所定の波長帯域の幅をＷとするとき、前記周期関数の周期の逆数は、１／Ｗの整数倍である、項目３または８に記載のマルチスペクトル撮像装置。

［項目１０］
前記周期関数は、独立変数を波長とする余弦関数または正弦関数を用いて表される、項目３、８、または９に記載のマルチスペクトル撮像装置。

［項目１１］
前記波長選択フィルタは、各々が異なる遮断波長を有する複数の部分が配列された多層膜フィルタと、前記多層膜フィルタに重ねて配置された液晶透光板とを有し、
前記制御回路は、前記液晶透光板の光透過率の空間分布を変化させることにより、前記波長選択フィルタの前記透過率の波長依存性を変化させる、
項目６に記載のマルチスペクトル撮像装置。

［項目１２］
前記多層膜フィルタにおける前記複数の部分の前記遮断波長は、一方向に単調に増加または減少し、
前記制御回路は、少なくとも２回の撮像を行うように、前記液晶透光板および前記イメージセンサを制御し、
第１回目の撮像時における前記液晶透光板の光透過率の、前記方向についての関数は、第１の周期関数と、前記第１の周期関数よりも周期の長い第２の周期関数との積で表され、
第２回目の撮像時における前記液晶透光板の光透過率の、前記方向についての関数は、前記第１の周期関数を半周期ずらした第３の周期関数と、前記第２の周期関数を前記第１の周期関数の半周期分ずらした第４の周期関数との積で表され、
前記信号処理回路は、前記第１回目の撮像によって前記イメージセンサの１つの画素から出力された第１の画素信号と、前記第２回目の撮像によって前記イメージセンサの前記画素から出力された第２の画素信号との差分演算を含む演算により、前記被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める、
項目１１に記載のマルチスペクトル撮像装置。

［項目１３］
項目６に記載のマルチスペクトル撮像装置において用いられる照明装置であって、各回の撮像時における前記発光強度が、所定の波長帯域において波長の周期関数で表される、照明装置。

［項目１４］
発光強度が最大である波長が互いに異なる複数の光源を有する項目１３に記載の照明装置。

本発明のマルチスペクトル撮像装置は、主に固体撮像素子を用いた固体カメラの全てに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラ等の民生用カメラや産業用の監視カメラ等に利用可能である。

１ 結像レンズ
２ 波長選択フィルタ
２ａ 多層膜フィルタ
２ｂ 液晶パネル
３ 撮像素子
３ａ 撮像部
４ 信号発生／受信回路
５ 液晶コントローラ
６ 画像処理回路
７ 画像メモリー
８ 信号出力部
９ 広帯域光学フィルタ
１０ 撮像用光源

Claims (14)

1. イメージセンサと、
   前記イメージセンサの撮像面に被写体の像を形成するように配置された光学系と、
   前記被写体と前記イメージセンサとの間に配置され、光透過率の波長依存性を変化させることが可能な波長選択フィルタと、
   前記波長選択フィルタおよび前記イメージセンサに接続され、前記波長選択フィルタの前記光透過率の波長依存性を変化させながら前記イメージセンサで複数回の撮像を行うように前記波長選択フィルタおよび前記イメージセンサを制御する制御回路と、
   前記イメージセンサに接続された信号処理回路であって、前記複数回の撮像によって前記イメージセンサの１つの画素から順次出力された複数の画素信号を用いた演算により、前記被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める信号処理回路と、
   を備え、
   前記波長選択フィルタは、各々が異なる特定の波長帯域の光を透過させる複数の部分が配列された多層膜フィルタと、前記多層膜フィルタに重ねて配置された液晶透光板とを有し、
   前記制御回路は、前記液晶透光板の光透過率の空間分布を変化させることにより、前記波長選択フィルタの前記光透過率の波長依存性を変化させる、
   マルチスペクトル撮像装置。
2. 各回の撮像時における前記波長選択フィルタの前記光透過率は、所定の波長帯域において波長の周期関数で表される、請求項１に記載のマルチスペクトル撮像装置。
3. イメージセンサと、
   前記イメージセンサの撮像面に被写体の像を形成するように配置された光学系と、
   前記被写体と前記イメージセンサとの間に配置され、光透過率の波長依存性を変化させることが可能な波長選択フィルタと、
   前記波長選択フィルタおよび前記イメージセンサに接続され、前記波長選択フィルタの前記光透過率の波長依存性を変化させながら前記イメージセンサで複数回の撮像を行うように前記波長選択フィルタおよび前記イメージセンサを制御する制御回路と、
   前記イメージセンサに接続された信号処理回路であって、前記複数回の撮像によって前記イメージセンサの１つの画素から順次出力された複数の画素信号を用いた演算により、前記被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める信号処理回路と、
   を備え、
   前記波長選択フィルタは、各々が異なる遮断波長を有する複数の部分が配列された多層膜フィルタと、前記多層膜フィルタに重ねて配置された液晶透光板とを有し、
   前記制御回路は、前記液晶透光板の光透過率の空間分布を変化させることにより、前記波長選択フィルタの前記透過率の波長依存性を変化させる、
   マルチスペクトル撮像装置。
4. 前記多層膜フィルタにおける前記複数の部分の前記遮断波長は、一方向に単調に増加または減少し、
   前記制御回路は、少なくとも２回の撮像を行うように、前記液晶透光板および前記イメージセンサを制御し、
   第１回目の撮像時における前記液晶透光板の光透過率の、前記方向についての関数は、第１の周期関数と、前記第１の周期関数よりも周期の長い第２の周期関数との積で表され、
   第２回目の撮像時における前記液晶透光板の光透過率の、前記方向についての関数は、前記第１の周期関数を半周期ずらした第３の周期関数と、前記第２の周期関数を前記第１の周期関数の半周期分ずらした第４の周期関数との積で表され、
   前記信号処理回路は、前記第１回目の撮像によって前記イメージセンサの１つの画素から出力された第１の画素信号と、前記第２回目の撮像によって前記イメージセンサの前記画素から出力された第２の画素信号との差分演算を含む演算により、前記被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める、
   請求項３に記載のマルチスペクトル撮像装置。
5. イメージセンサと、
   前記イメージセンサの撮像面に被写体の像を形成するように配置された光学系と、
   前記被写体に光を照射する照明装置であって、発光強度の波長依存性を変化させることが可能な照明装置と、
   前記照明装置および前記イメージセンサに接続され、前記照明装置の前記発光強度の波長依存性を変化させながら前記イメージセンサで複数回の撮像を行うように前記照明装置および前記イメージセンサを制御する制御回路と、
   前記イメージセンサに接続された信号処理回路であって、前記複数回の撮像によって前記イメージセンサの１つの画素から順次出力された複数の画素信号を用いた演算により、前記被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める信号処理回路と、
   を備え、
   前記照明装置は、光源と、各々が異なる特定の波長帯域の光を透過させる複数の部分が配列された多層膜フィルタと、前記多層膜フィルタに重ねて配置された液晶透光板とを有し、
   前記制御回路は、前記液晶透光板の光透過率の空間分布を変化させることにより、前記波長選択フィルタの前記透過率の波長依存性を変化させる、
   マルチスペクトル撮像装置。
6. イメージセンサと、
   前記イメージセンサの撮像面に被写体の像を形成するように配置された光学系と、
   前記被写体に光を照射する照明装置であって、発光強度の波長依存性を変化させることが可能な照明装置と、
   前記照明装置および前記イメージセンサに接続され、前記照明装置の前記発光強度の波長依存性を変化させながら前記イメージセンサで複数回の撮像を行うように前記照明装置および前記イメージセンサを制御する制御回路と、
   前記イメージセンサに接続された信号処理回路であって、前記複数回の撮像によって前記イメージセンサの１つの画素から順次出力された複数の画素信号を用いた演算により、前記被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める信号処理回路と、
   を備え、
   前記照明装置は、発光強度が最大である波長が互いに異なる複数の光源を有し、
   前記制御回路は、前記複数の光源の各々の発光強度を変化させることにより、前記照明装置の前記発光強度の波長依存性を変化させる、
   マルチスペクトル撮像装置。
7. 各回の撮像時における前記照明装置の前記発光強度は、所定の波長帯域において波長の周期関数で表される、請求項５または６に記載のマルチスペクトル撮像装置。
8. 前記所定の波長帯域の幅をＷとするとき、前記周期関数の周期の逆数は、１／Ｗの整数倍である、請求項２または７に記載のマルチスペクトル撮像装置。
9. 前記周期関数は、独立変数を波長とする余弦関数または正弦関数を用いて表される、請求項２、７、または８に記載のマルチスペクトル撮像装置。
10. イメージセンサと、
    前記イメージセンサの撮像面に被写体の像を形成するように配置された光学系と、
    前記被写体に光を照射する照明装置であって、発光強度の波長依存性を変化させることが可能な照明装置と、
    前記照明装置および前記イメージセンサに接続され、前記照明装置の前記発光強度の波長依存性を変化させながら前記イメージセンサで複数回の撮像を行うように前記照明装置および前記イメージセンサを制御する制御回路と、
    前記イメージセンサに接続された信号処理回路であって、前記複数回の撮像によって前記イメージセンサの１つの画素から順次出力された複数の画素信号を用いた演算により、前記被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める信号処理回路と、
    を備え、
    前記波長選択フィルタは、各々が異なる遮断波長を有する複数の部分が配列された多層膜フィルタと、前記多層膜フィルタに重ねて配置された液晶透光板とを有し、
    前記制御回路は、前記液晶透光板の光透過率の空間分布を変化させることにより、前記波長選択フィルタの前記透過率の波長依存性を変化させる、
    マルチスペクトル撮像装置。
11. 前記多層膜フィルタにおける前記複数の部分の前記遮断波長は、一方向に単調に増加または減少し、
    前記制御回路は、少なくとも２回の撮像を行うように、前記液晶透光板および前記イメージセンサを制御し、
    第１回目の撮像時における前記液晶透光板の光透過率の、前記方向についての関数は、第１の周期関数と、前記第１の周期関数よりも周期の長い第２の周期関数との積で表され、
    第２回目の撮像時における前記液晶透光板の光透過率の、前記方向についての関数は、前記第１の周期関数を半周期ずらした第３の周期関数と、前記第２の周期関数を前記第１の周期関数の半周期分ずらした第４の周期関数との積で表され、
    前記信号処理回路は、前記第１回目の撮像によって前記イメージセンサの１つの画素から出力された第１の画素信号と、前記第２回目の撮像によって前記イメージセンサの前記画素から出力された第２の画素信号との差分演算を含む演算により、前記被写体の一点における反射分光特性を示す関数を直交関数系で展開したときの展開係数を求める、
    請求項１０に記載のマルチスペクトル撮像装置。
12. 光源と、
    前記光源から出射される光の経路上に配置され、各々が異なる特定の波長帯域の光を透過させる複数の部分が配列された多層膜フィルタと、
    前記多層膜フィルタに重ねて配置された液晶透光板と、
    前記液晶透光板の光透過率の空間分布を変化させることにより、前記波長選択フィルタの前記透過率の波長依存性を変化させる制御回路と、
    を備える照明装置。
13. 光源と、
    前記光源から出射される光の経路上に配置され、各々が異なる遮断波長を有する複数の部分が配列された多層膜フィルタと、
    前記多層膜フィルタに重ねて配置された液晶透光板と、
    前記液晶透光板の光透過率の空間分布を変化させることにより、前記波長選択フィルタの前記透過率の波長依存性を変化させる制御回路と、
    を備える照明装置。
14. 発光強度が最大である波長が互いに異なる複数の光源と、
    前記複数の光源の各々の発光強度を制御する制御回路と、
    を備え、
    前記制御回路は、前記複数の光源から出射される光の全体の発光強度が、所定の波長帯域において波長の周期関数で表されるように、前記複数の光源の各々の発光強度を制御する、
    照明装置。

Images