JP7018397B2 - ハイパースペクトル撮像構成 - Google Patents

Description

本出願は、全般的には撮像に関する。特に、ただし排他的にではなく、本出願はハイパースペクトル撮像に関する。より具体的には、ただし排他的にではなく、本出願は、ハイパースペクトル撮像においてＲＧＢまたはモノクロ画像センサと組み合わされるマルチパスバンドフィルタ、例えばファブリ・ペロー干渉計の使用に関する。

背景

本項では、ここに記述するいずれの技術も最新技術であると認めるものではないが、有用な背景情報について説明する。

ハイパースペクトルまたはマルチスペクトル撮像の利用が様々な用途において増加している。これに伴い、コスト効果の高い単純な構成が必要とされている。

従来のハイパースペクトル撮像は、例えば画素化マルチスペクトルフィルタ、フィルタホイール、および多重化ＬＥＤ照明を用いて行われている。このような構成は複雑な製造工程を要することが多く、異なる分光波長範囲に容易に適用することができない。このような構成では、画素化マルチスペクトルフィルタが永久的に画素上にあり、フィルタホイールには、通常は３から１２の決まった数のフィルタしか搭載できないため、継続的に波長を調整することができない。また、画素化フィルタのサイズによって最小画素サイズが制限されるため、画素化マルチスペクトルフィルタは小型の画像センサの利用に対応していない。

さらに、ファブリ・ペロー干渉計の使用は、先行文献である米国特許登録公報第８１３０３８０号および米国特許公開公報第２０１５１２４２６３号から既知である。

本発明は、コスト効果の高いハイパースペクトル撮像構成であって、携帯機器ベースの極めて低価格のハイパースペクトル撮像構成の構築を可能にする小画素の画像センサにも対応したハイパースペクトル撮像構成の構築に用いることができる、ハイパースペクトル撮像構成を提供することにより、従来の解決策の問題を緩和することを目的とする。

摘要

請求の範囲において、本発明の例における様々な態様を提示する。

本発明の第１の例示的態様によると、ハイパースペクトル撮像の構成が提供される。前記構成は、撮像センサと、バンドパスフィルタ要素と、前記撮像センサ上に画像を形成するように構成される少なくとも１つの結像光学要素と、第１の可調整マルチパスバンドフィルタと、を備え、前記第１の可調整マルチパスバンドフィルタは、傾斜させることで調整されるように構成される。

前記構成は、第２の可調整マルチパスバンドフィルタをさらに備えてもよい。

前記第１のマルチパスバンドフィルタおよび／または前記第２のマルチパスバンドフィルタは、可調整ファブリ・ペロー干渉計であってもよい。

前記第１の可調整ファブリ・ペロー干渉計と前記第２の可調整ファブリ・ペロー干渉計の少なくとも一方は、一定の間隙を有し、傾斜させることで調整されるように構成されてもよい。

前記第１の可調整ファブリ・ペロー干渉計と前記第２の可調整ファブリ・ペロー干渉計の両方は、一定の間隙を有し、傾斜させることで調整されるように構成されてもよい。

前記第１の可調整ファブリ・ペロー干渉計は、一定の間隙を有し、傾斜させることで調整されるように構成されてもよく、前記第２の可調整ファブリ・ペロー干渉計は、前記間隙の調整によって調整されるように構成されてもよい。

前記構成は、撮像対象の被写体を照明するように構成される発光ダイオードの配列であって、各発光ダイオードは他の発光ダイオードと異なる波長を有する配列をさらに備えてもよい。

前記バンドパスフィルタ要素は、ショートパスフィルタおよびロングパスフィルタを含んでもよい。

前記バンドパスフィルタ要素は、３６０ｎｍから１１００ｎｍ、または４５０ｎｍから８５０ｎｍの所定の波長範囲を通過させるように構成されてもよい。

前記第１の可調整ファブリ・ペロー干渉計と前記第２の可調整ファブリ・ペロー干渉計とは、逆方向に同じ角度で傾斜させることで調整されるように構成されてもよい。

前記撮像センサは、モノクロまたはＲＧＢ画像センサであってもよい。

前記撮像センサは、携帯電子デバイス内に備えられてもよい。

本発明の第２の例示的態様によると、ハイパースペクトル撮像のマルチパスバンドフィルタ構成が提供される。前記構成は、第１の可調整マルチパスバンドフィルタを備え、前記第１の可調整マルチパスバンドフィルタは傾斜させることで調整されるように構成される。

前記構成は、第２の可調整マルチパスバンドフィルタをさらに備えてもよい。

前記第１のマルチパスバンドフィルタおよび／または前記第２のマルチパスバンドフィルタは、可調整ファブリ・ペロー干渉計であってもよい。

前記第１の可調整ファブリ・ペロー干渉計と前記第２の可調整ファブリ・ペロー干渉計の少なくとも一方は、一定の間隙を有し、傾斜させることで調整されるように構成されてもよい。

前記第１の可調整ファブリ・ペロー干渉計と前記第２の可調整ファブリ・ペロー干渉計の両方は、一定の間隙を有し、傾斜させることで調整されるように構成されてもよい。

前記第１の可調整ファブリ・ペロー干渉計は、一定の間隙を有し、傾斜させることで調整されるように構成されてもよく、前記第２の可調整ファブリ・ペロー干渉計は、前記間隙の調整によって調整されるように構成されてもよい。

本発明の第３の例示的態様によると、ハイパースペクトル撮像の方法が提供される。前記方法は、撮像センサによって画像を提供することと、前記撮像センサにおいて必要な波長を受信するのに必要な透過特性を有するように、第１の可調整マルチパスバンドフィルタを調整することと、を含み、前記第１の可調整マルチパスバンドフィルタは傾斜させることで調整されるように構成される。

前記方法は、前記撮像センサにおいて必要な波長を受信するのに必要な透過特性を有するように、第２の可調整マルチパスバンドフィルタを調整することをさらに含んでもよい。

前記第１のマルチパスバンドフィルタおよび／または前記第２のマルチパスバンドフィルタは、可調整ファブリ・ペロー干渉計であってもよい。

ここまで、本発明を拘束しない様々な例示的態様および実施形態を例示してきた。上記の各実施形態は、本発明の実装に利用されうる選択された態様またはステップを説明するためにのみ使用される。いくつかの実施形態は、本発明の特定の例示的態様への言及によってのみ提示されている場合もある。対応する実施形態は他の例示的態様にも適用できることを理解されるべきである。

本発明の例示的実施形態のより包括的な理解のために、以下の添付の図面と関連付けて以下に説明を行う。

図１ａは、本発明の一実施形態に係るハイパースペクトル撮像構成の概略的な原理図である。

図１ｂは、本発明の一実施形態に係るハイパースペクトル撮像構成の概略的な原理図である。

図２ａは、本発明の別の実施形態に係るハイパースペクトル撮像構成の概略的な原理図である。

図２ｂは、本発明の別の実施形態に係るハイパースペクトル撮像構成の概略的な原理図である。

図３ａは、本発明の一実施形態に係るハイパースペクトル撮像構成の可調整マルチパスバンドフィルタの透過特性の一例を示す図である。

図３ｂは、本発明の一実施形態に係るハイパースペクトル撮像構成の可調整マルチパスバンドフィルタの透過特性の別の例を示す図である。

図４は、本発明の一実施形態に係るハイパースペクトル撮像の方法のフローチャートである。

図面の詳細説明

本発明およびその潜在的な利点は、図面の図１ａから図３ｂを参照することによって理解される。本文書において、同じ符号は同じ部分およびステップを示す。

図１ａおよび図１ｂは、本発明の一実施形態に係るハイパースペクトル撮像構成１００の概略的な原理図である。図１ａおよび図１ｂは、ハイパースペクトル撮像によって撮像される被写体１０を示している。被写体１０は、例えば、傷跡などの医療上の被写体、消費者が測定したい色を有する被写体、農業上の被写体、偽造防止用マーキングの被写体、食品加工における被写体などである。被写体１０は、一実施形態において、発光ダイオード（Light Emitting Diode：ＬＥＤ）の配列１１０ａ、１１０ｂによって照明される。配列１１０ａ、１１０ｂの各ＬＥＤは、配列１１０ａ、１１０ｂの他のＬＥＤと異なる波長を有する。一実施形態において、配列１１０ａ、１１０ｂ内のＬＥＤの数は１２から２０である。配列１１０ａ、１１０ｂは、図１ａおよび図１ｂでは２つの要素が示されているが、別の実施形態では単一の要素または複数の要素に含まれる。一実施形態において、配列１１０ａ、１１０ｂのＬＥＤは、別々にかつ個別に点灯または消灯するように構成される。一実施形態において、配列１１０ａ、１１０ｂのＬＥＤは、一般的な低価格の相補型金属酸化膜半導体（Complementary Metal Oxide Semiconductor：ＣＭＯＳ）画像センサの波長範囲、例えば３６０ｎｍから１１００ｎｍの範囲を網羅する。別の実施形態において、配列１１０ａ、１１０ｂのＬＥＤは４５０ｎｍから８５０ｎｍの波長範囲を網羅する。なお、ハイパースペクトル撮像構成１００は、ＬＥＤ照明なしでも機能することに留意されたい。

図１ａおよび図１ｂは、後続の要素を介して平行ビームを形成するように構成される第１の光学要素１２０、すなわち結像光学要素をさらに示している。ハイパースペクトル撮像構成１００は、第１のバンドパスフィルタ要素１３０をさらに備える。一実施形態において、第１のバンドパスフィルタ要素は、所定の波長範囲（例えば３６０ｎｍから１１００ｎｍ、または４５０ｎｍから８５０ｎｍ）を通過させるように構成されるロングパスフィルタおよびショートパスフィルタを含む。一実施形態において、ハイパースペクトル撮像構成１００は、ビームを後続の要素へと導くように構成される第２の光学要素１４０をさらに備える。

ハイパースペクトル撮像構成１００は、第１の可調整マルチパスバンドフィルタ（例えばファブリ・ペロー干渉計（Fabry-Perot Interferometer：ＦＰＩ））１５０ａと、一実施形態では、第２の可調整マルチパスバンドフィルタ（例えばＦＰＩ）１５０ｂとを備える。第１の可調整マルチパスバンドフィルタ（１５０ａ）は、一実施形態において、傾斜させることで調整されるように構成されるマルチパスバンドフィルタである。一実施形態において、第１のＦＰＩ１５０ａおよび／または第２のＦＰＩ１５０ｂは、傾斜可能または回転可能で一定の間隙を有するＦＰＩである。一実施形態において、これらの可調整マルチパスバンドフィルタは、透過特性を調整するために、図１ｂに示すように逆方向に同じ角度で傾斜するように構成される。マルチパスバンドフィルタ１５０ａ、１５０ｂを逆方向に同じ角度で傾斜させることで、画像が固定位置に保持され、小型の画像センサも用いることができるようになる。一実施形態において、マルチパスバンドフィルタは、溶融石英ウェハの両側に５層のブラッグミラーを積層したＦＰＩ１５０ａ、１５０ｂである。

ハイパースペクトル撮像構成１００は、撮像センサ１７０上に画像を形成するように構成される第２の光学要素１６０、すなわち結像光学要素をさらに備える。一実施形態において、撮像センサはＲＧＢまたはモノクロ撮像センサである。ＲＧＢ画像センサを用いると、例えば米国特許登録公報第８１３０３８０号において説明されているように、信号を３つの分光帯域で同時に登録することができる。一実施形態において、撮像センサ１７０はさらなる機器、例えばデジタルカメラ、スマートフォン、タブレットコンピュータなどの携帯電子デバイス内に備えられてもよい。

別の実施形態において、ハイパースペクトル撮像構成１００は、第１のバンドパスフィルタ要素１３０に加えて、またその代わりに、第２のバンドパスフィルタ要素（図示しない）を第２の光学要素１６０と撮像センサ１７０との間に備える。一実施形態において、第２のバンドパスフィルタ要素の特性は第１のバンドパスフィルタ要素１３０の特性と同様である。

図２ａおよび図２ｂは、本発明の別の実施形態に係るハイパースペクトル撮像構成２００の概略的な原理図である。図２ａおよび図２ｂは、ハイパースペクトル撮像によって撮像される被写体１０を示している。被写体１０は、例えば、傷跡などの医療上の被写体、消費者が測定したい色を有する被写体などである。

図２ａおよび図２ｂは、後続の要素を介して平行ビームを形成するように構成される第１の光学要素２２０、すなわち結像光学要素をさらに示している。ハイパースペクトル撮像構成２００は、第１のバンドパスフィルタ要素２３０をさらに備える。一実施形態において、第１のバンドパスフィルタ要素は、所定の波長範囲（例えば３６０ｎｍから１１００ｎｍ、または４５０ｎｍから８５０ｎｍ）を通過させるように構成されるロングパスフィルタおよびショートパスフィルタを含む。一実施形態において、ハイパースペクトル撮像構成２００は、ビームを後続の要素へと導くように構成される第２の光学要素２４０をさらに備える。

ハイパースペクトル撮像構成２００は、第１の可調整マルチパスバンドフィルタ（例えばＦＰＩ）２５５と、一実施形態では、第２の可調整マルチパスバンドフィルタ（例えばＦＰＩ）２５０とを備える。第１の可調整マルチパスバンドフィルタ（２５５）は、一実施形態において、傾斜させることで調整されるように構成されるマルチパスバンドフィルタである。一実施形態において、第１の可調整ＦＰＩ２５５はピエゾ駆動によって間隙を調整可能なＦＰＩであり、第２の可調整ＦＰＩ２５０は傾斜可能で一定の間隙を有するＦＰＩである。第１のマルチパスバンドフィルタ２５５と第２のマルチパスバンドフィルタ２５０との組合せは、一実施形態において、実質的に単一の分光帯域のみ通過させることで、モノクロ撮像センサを使用可能にするように構成される。

ハイパースペクトル撮像構成２００は、撮像センサ２７０上に画像を形成するように構成される第２の光学要素２６０、すなわち結像光学要素をさらに備える。一実施形態において、撮像センサはＲＧＢまたはモノクロ撮像センサである。一実施形態において、撮像センサ２７０はさらなる機器、例えばデジタルカメラ、スマートフォン、タブレットコンピュータなどの携帯電子デバイス内に備えられてもよい。

別の実施形態において、ハイパースペクトル撮像構成２００は、第１のバンドパスフィルタ要素２３０に加えて、またその代わりに、第２のバンドパスフィルタ要素（図示しない）を第２の光学要素２６０と撮像センサ２７０との間に備える。一実施形態において、第２のバンドパスフィルタ要素の特性は第１のバンドパスフィルタ要素２３０の特性と同様である。さらに別の実施形態において、ハイパースペクトル撮像構成２００は、図１ａおよび図１ｂを参照して説明した配列と同様の、被写体１０を照明するためのＬＥＤ配列を備える。

図３ａおよび図３ｂは、本発明の一実施形態に係るハイパースペクトル撮像構成の可調整マルチパスバンドフィルタの透過特性の例を示す図である。この例において、マルチパスバンドフィルタは、７５０ｎｍ用に最適化された５層の誘電性ＴｉＯ_２－ＳｉＯ_２ブラッグミラーを備える、傾斜可能なＦＰＩである。図３ａは、波長（ナノメートル）の関数として傾斜角０度の透過特性のグラフ３００ａを示しており、図３ｂは、波長（ナノメートル）の関数として傾斜角３０度の透過特性のグラフ３００ｂを示している。

図４は、本発明の一実施形態に係るハイパースペクトル撮像の方法のフローチャートである。ステップ４１０において、撮像対象の被写体１０を照明する。一実施形態において、この照明は、図１ａおよび図１ｂを参照して前述したようにＬＥＤの配列１１０ａ、１１０ｂによって提供される。別の実施形態では、被写体の照明には環境光で十分である。

撮像センサ１７０、２７０において必要な波長を受信するのに必要な透過特性を有するように、４２０においてマルチパスバンドフィルタ１５０ａ、１５０ｂ、２５０、２５５（例えばＦＰＩ）を調整する。これによって、４３０においてハイパースペクトル画像の生データを提供する。ステップ４４０において、ＲＧＢまたはモノクロ画像センサの生画像データからハイパースペクトルデータキューブを計算する。一実施形態において、この計算は、例えば米国特許登録公報第８１３０３８０号において説明されるように、ハイパースペクトル撮像構成に対して実行される較正を利用して実行される。

以下に添付する請求の範囲の適用範囲、解釈、または適用をなんら限定することなく、本明細書に開示された例示的実施形態の１つ以上における技術的効果は、低価格のハイパースペクトル撮像の構成である。本明細書に開示された例示的実施形態の１つ以上における別の技術的効果は、スマートフォンカメラの撮像センサなどの一般的な撮像センサに適用可能な構成の提供である。本明細書に開示された例示的実施形態の１つ以上における別の技術的効果は、環境光下で十分な分光帯域を有するハイパースペクトル撮像の提供である。

本発明の様々な態様を個々の請求項に記載するが、本発明の他の態様は、記載した実施形態および／または従属項の機能と独立項の機能との他の組合せを含み、請求の範囲に明示的に記載した組合せのみに限られない。

本明細書において本発明の例示的実施形態を説明したが、これらの説明は限定的な意味で解釈されるべきではない。むしろ、添付の請求の範囲に定められた本発明の範囲から逸脱することなく、様々な変形および修正を加えうる。

Claims (8)

1. 携帯電子デバイス用のハイパースペクトル撮像構成であって、
   撮像センサと、
   入射光を前記撮像センサに届け、前記撮像センサ上に画像を形成するように構成される結像光学系と、
   前記結像光学系の光路中に設けられるバンドパスフィルタ要素と、
   前記光路中であって、前記バンドパスフィルタ要素より前記撮像センサに近い位置に設けられる、第１の可調整マルチパスバンドフィルタ及び第２の可調整マルチパスバンドフィルタと、
   を備え、
   前記第１の可調整マルチパスバンドフィルタおよび前記第２の可調整マルチパスバンドフィルタは前記光路中に連続して配置され、
   前記第１の可調整マルチパスバンドフィルタおよび前記第２の可調整マルチパスバンドフィルタは、一定の間隙を有する可調整ファブリ・ペロー干渉計であり、
   前記第１の可調整マルチパスバンドフィルタと前記第２の可調整マルチパスバンドフィルタとは、透過特性を調整するために、逆方向に同じ角度で傾斜させられうる、
   ハイパースペクトル撮像構成。
2. 撮像対象の被写体を照明するように構成される発光ダイオードの配列であって、各発光ダイオードは他の発光ダイオードと異なる波長を有する配列をさらに備える、請求項１に記載のハイパースペクトル撮像構成。
3. 前記バンドパスフィルタ要素は、ショートパスフィルタおよびロングパスフィルタを含む、請求項１又は２に記載のハイパースペクトル撮像構成。
4. 前記バンドパスフィルタ要素は、３６０ｎｍから１１００ｎｍ、または４５０ｎｍから８５０ｎｍの所定の波長範囲を通過させるように構成される、請求項１から３のいずれかに記載のハイパースペクトル撮像構成。
5. 前記撮像センサは、モノクロまたはＲＧＢ画像センサである、請求項１から４のいずれかに記載のハイパースペクトル撮像構成。
6. 前記撮像センサは、前記携帯電子デバイス内に備えられる、請求項１から５のいずれかに記載のハイパースペクトル撮像構成。
7. ハイパースペクトルデータキューブを計算する手段を有する、請求項１から６のいずれかに記載のハイパースペクトル撮像構成。
8. 携帯電子デバイスにおけるハイパースペクトル撮像のためのマルチパスバンドフィルタ構成であって、
   第１の可調整マルチパスバンドフィルタと第２の可調整マルチパスバンドフィルタとを備え、
   前記第１の可調整マルチパスバンドフィルタおよび前記第２の可調整マルチパスバンドフィルタは光路上に連続して配置され、
   前記第１の可調整マルチパスバンドフィルタおよび前記第２の可調整マルチパスバンドフィルタは、一定の間隙を有する可調整ファブリ・ペロー干渉計であり、
   前記第１の可調整マルチパスバンドフィルタと前記第２の可調整マルチパスバンドフィルタとは、透過特性を調整するために、逆方向に同じ角度で傾斜させられうるように構成される、
   マルチパスバンドフィルタ構成。

Images