JP6983663B2 - マルチスペクトル撮像装置およびマルチスペクトルカメラ - Google Patents

Description

本発明は、一般的に、カメラに関し、特にマルチスペクトルの画像をキャプチャするためのマルチスペクトル撮像装置に関する。

マルチスペクトル撮像は、様々な応用および分野において使用される。

図１は従来のＤＳＬＲ（デジタル一眼レフ）カメラ（１）を示す。今日のコンシューマー級のＤＳＬＲカメラ、およびミラーレスカメラの、ＣＣＤ（電荷結合素子）センサおよびＣＭＯＳ（相補型金属酸化膜半導体）センサ（３）は、通常約１７０ｎｍから１１５０ｎｍまでの「フルスペクトル」に対して感度がある。ＣＣＤセンサとＣＭＯＳセンサのこの感度は、約４００ｎｍから７００ｎｍの可視光線に制限されている人間の知覚を上回る。

交換レンズマウント（２）を備えるいくつかのＤＳＬＲ／ミラーレスカメラでは、センサは、人間の知覚を越える光のスペクトルに対して感度がある。しかしながら、ほとんどのカメラ製造業者は、約４００ｎｍから７００ｎｍまでの可視（ＶＩＳ）スペクトル（人間の目に見える光のスペクトル）における光のバンドの通過を制限して、赤外線および紫外線光がキャプチャ画像を「破損させること」を防ぐために、センサの前に設置されるＵＶＩＲカットフィルター（図示せず）を使用する。

交換レンズマウントを備えるいくつかのＤＳＬＲ／ミラーレスカメラでは、ＵＶＩＲカットフィルタをカメラから取り外すことができ、カメラが可視光線をはるかに上回る光の波長をカバーして、「フルスペクトル」カメラとして動作することを可能にする。今日の最も高度なＣＭＯＳセンサは、１０００ｎｍ（ＮＩＲ）および２００ｎｍ（ＵＶ）を越える光に対して感度がある。フィルタを取り外すことで、単一レンズを使用して、スペクトルの３本の異なる特殊なバンドをキャプチャすることが可能となる。当業者は、以下の３本のバンドの４つの組合せのうちの１つをキャプチャすることを可能にする、異なるマルチバンドパスフィルタを設置することができる：ＮＩＲ、赤色、緑色、および青色、またはＵＶ（ＮＩＲ；Ｇ；Ｂ、ＮＩＲ；Ｇ；ＵＶ、Ｒ；Ｇ；ＵＶ、Ｒ；Ｇ；Ｂ）。コンシューマーカメラの典型的なセンサはベイヤー配列に基づいており、そのことは、画像センサの画素配列上のカラーフィルターの配置がＲＧＧＢであることを意味する。緑色波長の単一バンドよりも効率的な分離する方法が存在しないため、そのような配置は、ＲＧＢスペクトルを超える３本の特殊なバンドのキャプチャを可能にしない。

従来のマルチスペクトルカメラは通常特注で作られ、それらの高いコストが、多くの人々に対する課題となる。なお、ドローンに取り付けられたマルチスペクトルカメラが、有益な情報を提供する画像をキャプチャするために農業の中で使用され、それによって作物収穫量の向上を支援する。そのようなカメラは、歯科医と皮膚科医による医学的分析のみならず、化粧品の世界でも使用される。以下のマルチスペクトルカメラのためのいくらかのタイプの技術が存在する故、既存の技術は多様である：
１．マルチカメラ（光のナローバンドの波を取得する各カメラ）；
２．プリズムベースのカメラ（単一のレンズ、複数のセンサー）；
３．回転フィルターカメラ（単一の焦点距離、異なる波長のキャプチャ画像間の時間経過））；
４．マルチカラーセンサベースのＲＧＢＵ（赤緑青ＵＶ）、または（ベイヤーカラーフィルタアレイの典型的なＲＧＧＢ（赤緑緑青）の代わりの）センサによる他のいかなるカラーキャプチャ。

公知のかなり多数の簡易化されたデュアルバンドのソリューションが存在し、それらは、視覚的な（幅４００ｎｍ〜７００ｎｍ）バンドおよび近赤外線のバンドを含み、２つの同期したカメラを使用するが、マルチスペクトルとして見なすことはできない。回転フィルタ、プリズムまたはマルチレンズの設計のいずれかに基づく従来の４つのバンドソリューションは、低解像度によりやや低品質であり、乏しいカラーチャンネルの位置合わせである。上記された全てのマルチスペクトルカメラタイプは、非常に高価であり、コンシューマー級のＤＳＬＲカメラまたはミラーレスカメラと比較したとき、通常低解像度であり、低品質である。既存のマルチカメラとマルチレンズソリューションは、異なるカラーマトリックスの位置合わせおよびキャプチャ画像の焦点に関する大きな課題も示す。回転フィルタが使用されるとき、例えば、レンズが固定されるので色収差を補正することがたいてい不可能であり、それが、同じレンズを通る近赤外線（ＮＩＲ）およびＵＶの光のバンドの焦点を合わせることを不可能にする。無人航空機（ＵＡＶ）上にそのような回転フィルタを備えるカメラを使用することは、別の課題を示す。ＵＡＶが飛んでいる間に、画像が異なる時間に、および異なる角度からキャプチャされるので、キャプチャ画像間の３３ｍｓのタイムラップは、ＵＡＶが１００Ｋｍｐｈで飛んでいる場合、カメラの視点において〜１ｍの差にもたらす可能性があった。

農業的分析のための有効なマルチスペクトル装置は、光のスペクトルの少なくとも３つのナローカラーバンド（チャンネル）を含むに違いなく、そのカラーバンドは；５５０ｎｍ；６５０ｎｍまたは７４０ｎｍ；８５０ｎｍまたは９５０ｎｍであって、好ましくは５つまたは６つのカラーバンドを含む。

ＣＭＯＳまたはＣＣＤの、今日のコンシューマー級のカメラのセンサは、光のいくぶん広域なスペクトルをキャプチャすることができ、農業において使用されるＮＤＶＩ（正規化差植生指数）などの多くのマルチスペクトルの応用に対して十分である。しかしながら、コンシューマー級のカメラの典型的なセンサは、ベイヤー配列センサに基づき、そのことは、画像センサの画素配列上のカラーフィルターの配置がＲＧＧＢであることを意味する。４、５または６チャンネルをキャプチャする目的でベイヤーフィルタリングシステムベースのカメラを使用するために、２つのカメラが、必然的に使用されるに違いない。この種の応用のために２つのカメラを組み合わせることは公知であり、実行され、そして「Ａｎ Ａｉｒｂｏｒｎｅ Ｍｕｌｔｉｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ Ｓｙｓｔｅｍ Ｂａｓｅｄ ｏｎ Ｔｗｏ Ｃｏｎｓｕｍｅｒ−Ｇｒａｄｅ Ｃａｍｅｒａｓ ｆｏｒ Ａｇｒｉｃｕｌｔｕｒａｌ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎ ｇ」、ｈｔｔｐ：／／ｗｗｗ．ｍｄｐｉ．ｃｏｍ／２０７２−４２９２／６／６／５２５７においてＵＳＤＡによって公開されている。そのような組み合わせは高価で、かなり多数の不利益を有する。

特にこれらが異なるカメラによって取得される場合、マルチスペクトルの撮像の主な課題のいくつかは、異なるカラーマトリックスの較正および画素合わせである。獲得の時間は単に１秒の数１００分の１だけ変動する一方、視点に数十センチメートルのギャップがある可能性がある。ＵＡＶによって運ばれるカメラなどの速く動くカメラを利用するマルチスペクトルの応用によって取得されたデータの分析は、ＮＤＶＩまたはＮＤＲＥのような測定基準を使用し、典型的には、互いのカラーマトリックスの値を減算するおよび／または除算する（（ＮＤＶＩ＝（ＮＩＲ―ＶＩＳ）／（ＮＩＲ＋ＶＩＳ））。したがって、焦点間の差異および不正確な位置合せがデータの誤った分析を導く可能性があるため、そのような応用において複数のカメラを使用することは特に問題となる。

異なるカラーマトリックスの位置合せは、マルチスペクトルカメラの製造業者が直面する最も本質的な問題の１つである。上記されるように、ＮＤＶＩのＮＤＲＥの測定基準等は、カラーマトリックス間の差異の分析を伴う。異なるカラーマトリックスをキャプチャするカメラまたはレンズのハードウェア較正は、ある点に対しては正確であるが、高解像度カメラを処理するときその点が画素であることはない。有効性に欠けるレンズを備えるカメラを扱うとき、異なるカメラによって取得されるカラーチャンネルを位置合わせすることが、さらなる課題となる。デジタルマッチング（大域的な動き推定技術（ｇｌｏｂａｌ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ｔｅｃｈｎｉｑｕｅｓ）の実施など）はそのようなマトリックス間の最小の差異の点において異なる色のマトリックスを位置合わせせざるをえないため、最小差異の通常使用する基準に基づいたマトリックスの取得後のデジタルな位置合せが、プロセスに対して不利益となりうる。そのような技術は、最も重要なデータ、すなわちマトリックス間の差異を実際に最小化するか、さらに縮小する可能性がある。

マルチスペクトルの画像取得もまた、皮膚の分析、歯の検査などのための歯科医と皮膚科医による医学的分析のためのみならず、さらに化粧品の世界でも使用される。しかしながら、これらの実施のための市販の現在の装置もまた、いくぶん高価であり、以下の２つの主な欠点（それらのコストに加えて）を有する：重量およびユーザーアクセス可能性。それらは特注で作られるため、現在の装置は、コンシューマーと小企業の観点から高価である。皮膚、髪、および歯の分析のための有効なマルチスペクトル装置は、光のスペクトルの少なくとも３つのナローカラーバンド（チャンネル）を含むに違いなく、そのカラーバンドは；３６５ｎｍ；５５０ｎｍ；６５０ｎｍである。好ましくは、そのカラーバンドは、５つ、または６つのカラーバンドを含む。

ＵＶＩＲカットフィルタの取り外しは、天文学的な目的、医学的な目的、または審美的な目的のための、赤外線または紫外線カメラへカメラを変更するためにしばしば使用される。そのようなフルスペクトルカメラにマルチバンドパスフィルタを設置することは、３つの特殊なバンドのキャプチャを可能にしてもよい。なぜなら、そのようなカメラにおいて使用されるセンサは、ほとんどの場合、ＲＧＧＢのマトリックスを有するためである。これは、Ｒ、Ｇ、およびＢ（赤緑青）のチャンネルが個別にキャプチャされ得ることを意味するが、赤と近赤外線のチャンネルは、両方ともセンサの同様な赤に対して感度のある画素によってキャプチャされるので、それらのチャンネルを個別にキャプチャする方法は存在しない。

シングルまたはデュアルセンサカメラを備える２つのレンズを使用して、３Ｄ画像をキャプチャするためのソリューションも存在する。そのようなソリューションはほとんど１００年前にＺｅｉｓｓによって開発され、そのようなソリューションの新しいバージョンが、（３Ｄテレビが登場したような）家電市場のために、およそ２０１０年にパナソニックによって開発された。しかしながら、これらのソリューションは、露光バランス、色収差、および位置合わせされた焦点のマルチスペクトルの課題に対処しない。なぜなら、それらは同一のレンズおよび同一のスペクトルバンド幅に基づき、そのような問題は発生しないからである。

スマートフォン、またはドローン（Ｑｕａｌｃｏｍｍ’ｓ ＳｎａｐＤｒａｇｏｎ Ｆｌｉｇｈｔ（商標登録）などの）のために設計された類似のユニバーサルな処理ボードのようなモバイルプラットフォームは、マルチスペクトルの画像装置の基盤として、価格、重量、および強力なプロセッサの組み込みの観点から理想的でありうる。今日のスマートフォンのセンサは、光のいくぶん広域な範囲をキャプチャすることができ、農業において使用されるＮＤＶＩ（正規化差植生指数）などの多くのマルチスペクトルの応用に対して十分である。これらの設計のいくつか（ＳｎａｐＤｒａｇｏｎ Ｆｌｉｇｈｔ（商標登録）のような）は、シングルカメラを含み、近年、ＬＧエレクトロニクスのようなベンダーは、２つのカメラを装備する３Ｄ画像キャプチャスマートフォンをさらに設計した。しかしながら、農業的なリモートセンシング、または皮膚、髪、および歯の分析のいずれかのために、利用可能なマルチスペクトルのスマートフォンは存在しない。このことは、そのような光およびコンパクトな装置の効率的な実施形態を可能にするために、革新的なアプローチが必要である、かなり多数の課題が存在するため、驚くべきことではない。

しかしながら、コンシューマーカメラの典型的なセンサは、ベイヤー配列に基づいており、そのことは、画像センサの画素配列上のカラーフィルターの配置がＲＧＧＢであることを意味する。４、５または６チャンネルのためのベイヤーフィルタリングシステムベースのカメラを使用するためには、２つのカメラの使用は避けられない。この種の応用のために２つのカメラを組み合わせることは公知であり、実行され、そして「Ａｎ Ａｉｒｂｏｒｎｅ Ｍｕｌｔｉｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ Ｓｙｓｔｅｍ Ｂａｓｅｄ ｏｎ Ｔｗｏ Ｃｏｎｓｕｍｅｒ−Ｇｒａｄｅ Ｃａｍｅｒａｓ ｆｏｒ Ａｇｒｉｃｕｌｔｕｒａｌ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎ ｇ」、ｈｔｔｐ：／／ｗｗｗ．ｍｄｐｉ．ｃｏｍ／２０７２−４２９２／６／６／５２５７においてＵＳＤＡによって公開されている。そのような組み合わせは、その重たい重量および高いコストのため、軽いＵＡＶおよびコンシューマーにとって実用的ではない。

まさに同様な課題は、皮膚の分析に関連しており、そこでは、ＶＩＳ＋ＮＩＲのチャンネルではなく、むしろＶＩＳ＋近紫外線が、表面の観察、および皮下の観のために使用される。色収差と焦点の同様な課題は、この実施において発生する。

スマートフォンまたはモバイル機器を分析する、皮膚に対する付加的な１つの課題は、レンズのタイプである。皮膚の分析の目的のために、複数のカメラの１つは、３６５ｎｍ（ピーク）のナローバンドをキャプチャすることができるに違いない。簡易なガラスレンズは、そのようなバンドの透過を可能にせず、溶融石英または溶融シリカなどの異なる材料は、ＮＵＶレンズのために使用されるに違いない。

従って、速く動くカメラまたはＵＡＶに運ばれるカメラ、または皮膚の分析デバイスとして使用するための適切なマルチスペクトル撮像装置に対する長年の必要性が存在しており、もしそのようなカメラが、キャプチャ画像の異なるカラーマトリックスおよび焦点の位置合せを全て比較的低価格で提供するならば、非常に望ましいだろう。

本発明は、交換レンズマウントを有するデジタルカメラのための交換可能なマルチスペクトルの撮像複合レンズ（ｉｍａｇｉｎｇ ｌｅｎｓ−ｃｏｍｐｏｕｎｄ）に関する。複合レンズは、単一のマウント接続リング、および少なくとも２つのレンズを有する本体を含む。各レンズは、レンズの数に従って、そのレンズに関連するセンサの一部分の中心の前に位置する（好ましくは正確に）。異なるレンズは、ＩＲからＵＶまでのスペクトルの光の、複数の、好ましく少なくとも４つの異なるバンドの通過を可能にし、したがって、バンドパスフィルタを使用することによって、応用に応じて選択されたスペクトルの定義された波長の選択されたバンドの検知を可能にする。レンズは、センサ面において、実質的に同一の視野のレンズ、および類似の（実質的に同一の）イメージサークルのレンズである。レンズはまた、実質的に同一の焦点距離のレンズであり、レンズがセンサから不等な距離に位置するか、または１つ以上のレンズが異なるレンズを通過する光の異なる波長により作成される色収差を補正するために光学素子を含む。

特に複合レンズは、好ましくは業界標準の単一のレンズマウントを使用して、複数（２つ以上）のレンズを通るマルチスペクトル画像のキャプチャを可能にする。複合レンズは、標準の画像センサ（好ましくは、ＵＶＩＲカットフィルタを有さず、最も現代的なＣＭＯＳセンサまたはＣＣＤセンサのような〜１７０ｎｍから〜１１００ｎｍまでの光のフルスペクトルに感度がある）を装備した単一のデジタルカメラの質を向上させ、そのデジタルカメラを高品質で、高度に同期および位置合わせされるマルチスペクトルカメラに変える。

したがって、本発明は、標準の画像センサを装備した単一のデジタルカメラとともに単一のレンズマウントを使用して、複数（２つ以上）のレンズを通る、４〜１２以上のバンドのマルチスペクトル画像をキャプチャすることを可能にする。さらに、本発明は、異なるレンズによってキャプチャされる画像の重複部をフィルタリングしながら、カメラのセンサの全面の最適な使用を可能にする。

本発明に従って、単一の画像センサを有するデジタルカメラの交換レンズマウントに接続するための複合レンズが提供され、その複合レンズが、本体と；デジタルカメラのレンズマウントに接続するための本体上に取り付けられた単一のマウント接続リングと；本体内に取り付けられた実質的に同一の焦点距離の少なくとも２つのレンズと；センサまでフィルタを通ってきた光の近赤外線バンドおよび紫外線バンドから構成される群から選択される、少なくとも１つの可視バンドの通過、および１つの不可視バンドの通過を可能にする、レンズの各々に関連する異なるシングルバンドパスフィルタまたはマルチバンドパスフィルタと；を含み、そのレンズは、カメラのセンサ面において、実質的に同一の視野のレンズ、および実質的に同一のイメージサークルのレンズである。

本発明によれば、マルチスペクトル画像をキャプチャする方法もまた提供され、その方法は、実質的に同一の焦点距離の少なくとも２つのレンズを通る単一の画像センサ上で画像をキャプチャする工程であって、そのレンズが、センサ面において、実質的に同一の視野のレンズ、および実質的に同一のイメージサークルのレンズであり；各レンズが異なるシングルバンドパスフィルタまたはマルチバンドパスフィルタに関連する、工程と；センサまでフィルタを通ってきた光の近赤外線バンドおよび紫外線バンドから構成される群から選択される、少なくとも１つの可視バンド、および少なくとも１つの不可視バンドを通す工程と；単一の画像ファイル内の複数のレンズからキャプチャされた画像を保存する工程と、を含む。

本発明によれば、マルチスペクトルカメラもまた提供され、マルチスペクトルカメラは、交換レンズマウント、シャッターおよび単一のセンサを有するデジタルカメラと；交換可能な複合レンズであって：本体と；デジタルカメラのレンズマウントに接続するための本体上に取り付けられた単一のマウント接続リングと；本体内に取り付けられた実質的に同一の焦点距離の少なくとも２つのレンズであって、それらのレンズ各々が、センサのそれぞれの一部の中央の前に配されたその焦点中心に取り付けられている、レンズと；センサまでフィルタを通ってきた光の近赤外線バンドおよび紫外線バンドから構成される群から選択される少なくとも１つの可視バンドの通過、および少なくとも１つの不可視バンドの通過を可能にする、レンズの各々に関連する異なるシングルバンドパスフィルタまたはマルチバンドパスフィルタであって；そのレンズは、カメラのセンサ面において、同一の視野のレンズ、および実質的に同一のイメージサークルのレンズである、バンドパスフィルタと；デジタルカメラのレンズマウントに接続するための本体上の単一のマウント接続リングと；を含む交換可能な複合レンズと、を含む。

本発明は、また物体の少なくとも１対のデジタル画像の取得後のデジタルな位置合わせを提供する方法に関し、その方法は、少なくとも１つのセンサのセンサ面において、実質的に同一の焦点距離の、実質的に同一の視野の、および実質的に同一のイメージサークルの少なくとも２つのレンズの各々を介して、カラーマトリックスとして記憶された、物体のデジタル画像取得する工程であって、各レンズが、他のレンズによってキャプチャされた１つの光のバンド、および他のレンズによってキャプチャされた光のバンドとは異なる少なくとも１つの光のバンドに類似している１つの光のバンドをキャプチャするように、シングルバンドパスフィルタまたはマルチバンドパスフィルタで関連付けられている工程と、異なるレンズによって取得されるマルチバンド画像からの類似の光のバンドによってキャプチャされたカラーマトリックスを分割する工程と、すべてのレンズによって取得される画像の取得後のデジタルな位置合わせのための各レンズからの実質的に同一の光のバンドマトリックスとマッチングする工程と、を含む。

本発明の実施形態に従って、フィルタは、センサまでフィルタを介する少なくとも光の可視バンドおよび不可視バンドの通過を可能にする。フ不可視フィルタのパスバンドをマッチングする専用のフラッシュであるラッシュ光は、撮像中に物体を照らすために配置される。

本発明によれば、物体の少なくとも１対のデジタル画像の取得後のデジタルな位置合わせを提供するための装置がさらに提供され、その装置は、少なくとも２つのレンズであって、それらのレンズは、各レンズを介して物体のデジタル画像を取得するカラーマトリックスのための、センサ面において、実質的に同一の焦点距離のレンズ、実質的に同一の視野のレンズ、および実質的に同一のイメージサークルのレンズであり、１つの類似の光のバンド、および少なくとも１つの異なる光のバンドを含むシングルバンドパスフィルタまたはマルチバンドパスフィルタに関連付けられているレンズと、異なるレンズによって取得されたマルチバンド画像からの類似の光のバンドによってキャプチャされたカラーマトリックスを分割するため、およびすべてのレンズによって取得される画像の取得後のデジタルな位置合わせのための各レンズからの実質的に同一の光のバンドマトリックスとマッチングするためのプロセッサと、を含む。

レンズが、単一のカメラまたは２つ以上の異なるカメラに取り付けることができることが理解されるだろう。

本発明は、さらに、マルチスペクトルの画像をキャプチャするための、複数のレンズ、および／または複数のセンサ、および／または複数のカメラを有する、モバイルのマルチスペクトル撮像装置に関する。特に、モバイルの撮像装置はマルチスペクトルの画像におけるカラーチャンネルのデジタルな位置合わせを可能にするように構成される。カメラ（少なくとも２つ）はできるだけ同一である視野をキャプチャするために位置決め、および位置合わせされる。異なるカメラは、赤から近ＵＶまで、または青から近ＩＲまでのスペクトルの光の、複数の、好ましくは少なくとも４つの異なるバンドの通過を可能にし、従って、バンドパスフィルタを使用することにより、応用に応じて、スペクトルの定義された波長の選択されたバンドの感知を可能にする。そのカメラは、それらセンサ面において、実質的に同一の視野のカメラ、および実質的に同一のイメージサークルのカメラである。カメラのレンズも、実質的に同一の焦点距離のレンズ、および低歪みのレンズである。少なくとも１つの専用のフラッシュが、不可視（例えば近紫外線またはＮＩＲ）なフィルタをマッチングする感応範囲を照らすために提供されるが、視覚的なバンドを照らす第２のフラッシュが、好ましくは設置されるだろう。センサ面において実質的に同一のイメージサークルを達成するために、カメラのレンズが、センサから不等な距離に位置決めされるか、少なくとも１つのレンズが、それらの異なるレンズを通過する光の異なる波長により生じる色収差を補正するために光学素子を含む。

したがって、本発明によれば、マルチスペクトル撮像装置が提供され、マルチスペクトル撮像装置は、モバイル処理プラットフォームと；少なくとも２つのカメラであって、それぞれが、プラットフォームに一体化された、レンズ、少なくとも１つのシングルバンドパスフィルタまたはマルチバンドパスフィルタ、および少なくとも１つのセンサを含む、カメラと；を含み、そのフィルタが、センサまでフィルタを通る、光の少なくとも可視のおよび不可視（例えば近赤外線または近紫外線）のバンドの通過を可能にし、そのレンズが、カメラのセンサ面において、実質的に同一の焦点距離のレンズ、実質的に同一の視野のレンズ、および実質的に同一のイメージサークルのレンズである。異なるカメラは、赤から近ＵＶまで、または青から近ＩＲまでのスペクトルの光の、複数の、好ましくは少なくとも４つの異なるバンドの通過を可能にする。少なくとも１つの専用のフラッシュが、不可視（例えば近紫外線またはＮＩＲ）なフィルタをマッチングする感応範囲を照らすために提供されるが、視覚的なバンドを照らす第２のフラッシュも、好ましくは設置されるだろう。

本発明の実施形態によれば、レンズの各々は、スペクトルの少なくとも１つの類似するカラーバンドをキャプチャするフィルタを含み、キャプチャした画像において異なるカラーチャンネルの取得後のデジタルな位置合わせを可能にし、ここで、「類似する」は、少なくとも５０％重複することを意味する。

本発明はさらに、図面と併せて、以下の詳細な説明から、理解され認識されるだろう。
先行技術であるレンズマウントを備えるＤＳＬＲカメラの概略的な図である。 本発明のいくつかの実施形態に従う複合レンズの概略的な図である。 本発明のいくつかの実施形態に従う、センサの概略的な図である。 本発明の代替的な実施形態に従う、センサの概略的な図である。 本発明のいくつかの実施形態に従う、マルチスペクトルカメラのための別のレンズ設計の概略的な上面図である。 本発明のいくつかの実施形態に従う、可能なレンズ配置の概略的な図である。 本発明のいくつかの実施形態に従う、可能なレンズ配置の概略的な図である 色収差の概略的な図である。 本発明のいくつかの実施形態に従う、１対のレンズの色収差補正の概略的な図である。 本発明のいくつかの実施形態に従う、２つのレンズ間に位置する物理的な分割の、概略的な正面図である。 本発明のいくつかの実施形態に従う、２つのレンズ間に位置する物理的な分割の、概略的な側面図である。 本発明のいくつかの実施形態に従う、クロップウィンドウを含んだ複合レンズの概略的な図である。 本発明のいくつかの実施形態に従う、クロップウィンドウを含んだ複合レンズの概略的な図である。 本発明のいくつかの実施形態に従う、マルチスペクトルの携帯電話の概略的な図である。

本発明は、交換レンズマウントを有するデジタルカメラのための交換可能なマルチスペクトル撮像複合レンズに関する。複合レンズは、単一のマウント接続リングと、少なくとも２つのマッチングレンズとを備えた本体を含む。レンズは、レンズの数に従って、各レンズ関連するセンサの一部の中心の前に、（好ましくは正確に）位置決めされる。異なるレンズは、ＮＩＲから青まで、および好ましくは近ＵＶまでのスペクトルの（２つのレンズに対する少なくとも４つのバンドにおける）光の複数の、好ましくは少なくとも４つの異なるバンドの通過を可能にし、したがって、バンドパスフィルタを使用することにより、望ましい応用に従って選択される、スペクトルの定義された波長の選択されたバンドの感知を可能にする。そのレンズは、センサ面において、実質的に同一の視野のレンズ、および実質的に同一のイメージサークルのレンズである。そのレンズは、実質的に同一の焦点距離でもあり、センサから多少異なる距離に位置決めされるか、少なくとも１つのレンズが、異なるレンズを通過する光の異なる波長により生じる色収差を補正する光学素子を含む。好ましくは、この場合の、「実質的に同一」は、少なくとも９０％同一であることを意味する。本発明の実施形態によると、レンズは、実質的に同一の視野のレンズ、および／または実質的に同一の焦点距離のレンズ、および／または実質的に同一のイメージサークルのレンズ、もしくは任意の組み合わせのレンズであり得ることが更に理解されよう。

特に、複合レンズは、好ましくは業界標準の単一レンズマウント（ニコンのＦマウント、ソニーのＥマウント、パナソニック／オリンパスマイクロフォーサーズもしくはＣマウント、または任意の類似するＤＳＬＲもしくはミラーレスのデジタルカメラマウントなど）を使用して、複数の（２つ以上の）レンズを介してマルチスペクトル画像をキャプチャすることを可能にする。複合レンズは、標準の画像センサ（好ましくは、ＵＶＩＲカットフィルタを有さず、最も現代的なＣＭＯＳセンサまたはＣＣＤセンサのような〜１７０ｎｍから〜１１００ｎｍの波長までの光のフルスペクトルに感度がある）を装備した単一のデジタルカメラの質を向上させ、そのデジタルカメラを高品質で、高度に同期および位置合わせされるマルチスペクトルカメラに変える。

レンズに関連付けられる、ナローバンドパスもしくはワイドバンドパス、および／またはマルチプルバンドパスのフィルタは、各レンズに対して異なる。それらは、良く知られているように、もしくは他のいかなる適切な方式において、レンズ上のコーティングとして実施することができ、または交換可能で、レンズの前（物体およびレンズとの間）、もしくはレンズの後ろ（レンズと、特定のレンズを通過する光を感知するセンサの一部との間）に取り付けることができる。

マルチプルレンズは、固定焦点のレンズになり得るか、調整可能な焦点を有し得る。調整可能な焦点の場合には、自動または手動の単一の焦点メカニズムが、動く必要のあるマルチプルレンズの光学素子を共に動かすことによって、マルチプルレンズの全ての焦点を調節するために提供される。

いくつかの実施形態によると、マルチプルレンズは、ズームレンズになり得る。そのような場合において、自動的なズームまたは手動のズームであるかに関わらず、ズーム効果を生成するために動く必要がある全てのマルチプルレンズの要素のズームは、ともに動く。

センサの異なる部分に対する均一な露光を達成するために（本発明は単一のカメラを活用するので）、異なるレンズのアパーチャーを予め設定するか、または取得した波長に従って手動で設定する。この操作は、画像が同じ露光時間で取得されるため必要である。（例えば、レンズが８５０ｎｍから９５０ｎｍのＮＩＲ画像、および４００ｎｍから７００ｎｍの可視画像をキャプチャしている場合、アパーチャーにおける差異（Ｆストップ）が、均一な露光を得るために必要である可能性がある。ＶＩＳレンズがＦ８である場合、実質的に同一の視野および焦点距離をキャプチャするＮＩＲレンズは、Ｆ５．６を使用している可能性が最も高い。）

マルチプルレンズからの画像は、カメラがサポートするＲＡＷ、ＪＰＥＧであれ、他のいかなるフォーマットのいずれかであれ、単一の画像ファイルに保存される。

いくつかの実施形態によれば、異なるレンズによってキャプチャされる画像の重複部をフィルタリングしている間、カメラセンサの全表面を最適かつ最大限に使用することが可能になる。これは好ましくは、マスキングおよび／または物理的な分割により達成される。好ましくは、本発明は、各レンズの周りに、またはレンズの間に、遮光フレーム、遮光ボーダー、または遮光パーティションを含み、各レンズを通って来る光のサークルを、カメラのセンサ上の所定の長方形の空間のサイズに、制限するかまたは切り取る。この空間のサイズは、マウントに取り付けられたレンズの数によって決定される。

マルチスペクトル画像から利益を得ることができる本出願は、カラーマトリックスを互いと比較しながら画像を分析するので、異なるマトリックスがそれらの視野と解像度において同一であることが必要である。レンズは、光の、選択され制限されたバンドの通過を可能にするので、本発明は、同一のレンズ物質（ガラスまたはプラスチックのいずれか）を通過する間に光のバンドが取る異なる角度によって引き起こされる色収差を補正する方法を開示する。本発明は、取得された画像の取得後の処理を必要とせずに収差の問題を解決する２つの可能な方法を開示する。収差の問題を解決する、一つの示唆される方法は、同一のイメージサークルと視野に基づいてレンズを設計する一方で、これらの２つの仕様に適合するように光学素子を設計する。そのような場合には、収差補正は、焦点深度に関して僅かに異なるレンズを使用することによって、または、一方または両方のレンズに光学素子を追加することによって、達成することができ、収差を補正する（一方のレンズのイメージサークルのサイズと他のレンズのそれを位置合わせする）。これらの両方の解決策を組み合わせて使用することも可能である。

さらに、本発明は、最も信頼性の高い方法で異なるカラーマトリックスの取得後の位置合わせ方法を提案し、この方法は、従来のマルチレンズマルチスペクトルカメラには提供できないものである。本発明は、両方のレンズを介して色バンドの１つをキャプチャし、かつ、取得後のデジタルな位置合わせに従って全てのマトリックスを位置合わせすることにより、マトリックスのピクセルが正確な位置合わせを可能にし、これはこれらの２つの類似のカラーマトリックスのマッチングに基づく。例えば、レンズ（１）が６０ｎｍ幅のバンドをキャプチャする場合、その中心は４５０ｎｍ、５５０ｎｍおよび６５０ｎｍであり、レンズ（２）は５５０ｎｍおよび８５０ｎｍの６０ｎｍ幅のバンドをキャプチャし、次に、取得後のデジタルな位置合わせは、レンズ（１）および（２）の５５０ｎｍ画像のマッチングにより行われ、これは、これらのマトリックスが類似のデータを含むので、ピクセルの正確な位置合わせが可能になる。これは、同様の光バンドを含むフィルタを介して、各レンズにより画像を取得することによって達成される。同様の光バンドを受信したマトリックスまたはチャンネルは、プロセッサによるもののように、異なるレンズによって取得されたマルチバンド画像から分割される。次に、同様の光バンドマトリックスが、全てのレンズによって取得された画像の取得後のデジタルな位置合わせのために利用される。本発明の目的上、同様のことは、実質的に重なる（少なくとも５０％）スペクトル波長のカラーマトリックスを意味する。

他のすべてのマトリックスは、両方の半分のセンサ上の５５０ｎｍで同時にキャプチャされるので、正確に位置合わせされる。勿論、ＲＧＢレンジバンドのいずれかを使用してそのような位置合わせのための実質的に同一のバンドを有することができるが、しかしながら、通常は緑色のマトリックスが３色の中で最も鮮明で、ほとんどのＤＳＬＲとミラーレスカメラには緑色のバンドの最高品質を保証するベイヤーＲＧＧＢセンサが装備されているため、好ましい選択肢は緑色である。

この技術は、単一のセンサ上に複数のレンズを有する単一のカメラだけでなく、単一のプラットフォーム上の複数のカメラ（複数のセンサ）と共に使用することもできることが理解されよう。そのような実装の一例を、モバイルプラットフォームに関して以下で詳細に記載する。このように、２つ以上のキャプチャされた画像のデジタルな位置合わせのための方法は、少なくとも２つのレンズを介して画像をキャプチャする工程を含み、少なくとも２つのフィルタは、光の選択されたバンドを、各レンズを通して少なくとも１つのセンサに通過させることを可能にし、レンズは、センサ面において実質的に同一の焦点距離、実質的に同一の視野、および実質的に同様のイメージサークルのレンズである。各レンズに付随するフィルタの１つは、少なくとも１つの選択された同様のスペクトルの色バンド（少なくとも５０％の重複）のキャプチャを可能にし、各レンズによって取得された類似のバンドのマッチングに基づく、キャプチャされた画像内の異なる色チャンネルの取得後のデジタルな位置合わせを可能にする。

さらに、本発明の単一のカメラ実装は、レンズの直径制限を避ける方法を開示する。レンズがセンサの対応する部分の正面に正確に配置されなければならないので、レンズの直径は典型的には、センサのサイズによって制限される。例えば、特定のカメラで使用されるＡＰＳ−Ｃセンサの寸法が２３．２ｍｍ×１５．４ｍｍである場合、デュアル複合レンズはΦ１１．６ｍｍのレンズに制限されるようだ。しかしながら、レンズの全直径が、イメージサークル全体の光の通過を可能にし、イメージサークルの一部は、センサを越えて落ち（ｆａｌｌ ｂｅｙｏｎｄ）（イメージサークルは円形で、センサは長方形であるため）、本発明はレンズの端（あるいは単なる隣接縁部）を切り取る一方、より大きな直径のレンズを使用する方法を開示する。これは、最大０１５．４ｍｍのレンズの使用を可能にする。さらに大きな直径のレンズを使用する別の方法は、はるかに大きな対物レンズを使用することを可能にするために、双眼鏡で一般的に使用されているように、下に詳細に記載される、ダブルポロプリズム設計を使用することである。

複合レンズは、レンズアダプターリング（例えば、Ｆマウントからマイクロフォーサーズまで、またはＥマウントまたは他のマウント）を使用して異なるマウントに調整されてもよい。好ましくは、複合レンズは、その複数のレンズの各々の独立した焦点較正を可能にする。

さらに好ましくは、カメラは無線機能（例えばＷｉＦｉ、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、セルラＬＴＥまたはその他）を有する。所望の場合には、カメラはＵＳＢ、または無線を介して制御することができる。また、好ましくは、カメラは、有線を通じて（例えば、ＵＳＢ）および／またはワイヤレスで（コンピュータ、タブレット、ＰＣ、撮像ボード、またはスマートフォンなど）処理プラットフォームに、キャプチャされた画像を転送できる。

本発明は、単一の複合レンズにおいて少なくとも２つのレンズを使用する効率的な方法を提案し、スペクトルの異なるバンドを通過させるように設計された少なくとも２つのレンズに、センサ空間の少なくとも２つの領域を割り当てることによって、ベイヤーフィルタのＲＧＧＢ制限を回避する。例示的な１つの実施形態は図２ａおよび図２ｂで示される。図２ａおよび図２ｂは、レンズマウント（５）および複数のレンズ（６）（ここでは２つのレンズとして図示）を有する複合レンズ（４）を示す。例えば、本発明のこの実施形態に示されているように、複合レンズは、２つのレンズを含み、その一方はＮＩＲ、ＧおよびＵＶのマルチバンドパスフィルタを有し、他方はＲ、ＧおよびＢのマルチバンドパスフィルタを有する場合で、各レンズのＧバンドパスフィルタが、異なる狭い緑色波長をカメラに通過させることが可能な場合、カメラは少なくとも５つのバンドまたは６つのバンドをキャプチャすることができる。図２ｃに示すように、単一のセンサで４つのレンズを使用すると、単一のセンサを使用して最大１２の異なるバンドをキャプチャできる。

現在のカメラのセンサは、かなり高解像度である（最大２４および２８ＭＰで、フルフレームセンサーは３６ＭＰ、さらには５０ＭＰのＡＰＳ−Ｃ（Ａｄｖａｎｃｅｄ Ｐｈｏｔｏ Ｓｙｓｔｅｍ ｔｙｐｅ Ｃ）センサ）。これらのカメラでサポートされている解像度は向上されており、今後このようなカメラではるかに高い解像度がサポートされると想定することは合理的である。同様に、多くのスマートフォンカメラに見られるように、レンズ技術および材料の進歩は、高品質の小径レンズを統合することを可能にし、高解像度の画像のキャプチャを可能にする。

レンズコーティングおよび光学フィルタリング技術の進歩により、効果的な光のマルチバンドパスフィルタの作成が可能になる。しかし、単一のカメラの単一のセンサ上で異なる波長画像を取得することは、以下に詳細に記載するように、バランスのとれた露光という点で課題が提示される。例えば、ある場合には、ＩＲキャプチャのための最適なＦストップは、（キャプチャされたバンドに応じて）視覚的画像キャプチャのそれよりも１または２絞り小さい可能性があるだろう。

本発明は、これらの技術をすべて利用できるようにし、革新的だがシンプルな解決策を通じて、極めて高い品質と精度の効果的で手ごろな解決策のためにこれらを組み合わせる。

本発明は、実質的に同一のイメージサークルおよび焦点距離の少なくとも２つのレンズが取り付けられた本体を含む複合レンズに関する。（例えば、２，３，４，５またはさらに８つの）レンズは、レンズとカメラセンサの前またはその間に配置されるか、または、またはレンズ自体上のコーティング（またはその光学構成要素の１つ）の形態の、単一または複数のバンドパスフィルタを通るスペクトルの様々なバンドの通過を可能にするように設計される。

本発明に係る複合レンズは、高精度だが安価なマルチスペクトルカメラを形成するために、交換レンズマウントを有するＤＳＬＲまたはミラーレスカメラに取り付けられる。本発明によれば、複数の複合レンズは、ユーザのニーズおよび特定の用途に応じて複合レンズを交換することによって、単一のカメラと共に使用することができる。ユーザは、スペクトルの８バンドまたは１２バンドのマルチスペクトル画像を長距離から取り込み、かつ、複合レンズを、より長い焦点深度の複合レンズで、同じバンドまたは異なるバンドのより詳細な（近くの）視野へ変更する。本発明に係る、複合レンズの交換の柔軟性は、農業リモートセンシング、健康診断および他の科学的応用のマルチスペクトル分析をより良く使用できるようにする。

本発明によれば、フルスペクトルカメラが複合レンズと共に使用される。このようなフルスペクトルカメラは、ＵＶＩＲフィルタがないために、または、製造元によってもともと取り付けられたか、またはスペクトルのより広い範囲の通過を可能にするフィルタによって置き換えられている場合にそのようなフィルタを取り除いたために、カメラのセンサを視覚スペクトルより広いスペクトルに露光する。

本発明によれば、少なくとも２つのレンズが複合レンズに含まれる。２つ（またはそれ以上）のレンズからの画像の間の最も近い可能性のあるマッチングを達成し、カメラのセンサを完全に使用可能にするために、本発明による多数の異なる構成の構成が開示される。

交換レンズマウントを備えたＤＳＬＲおよびミラーレスカメラのほとんどは、サイズの異なるセンサを有する。１２，１６，２４または５０メガピクセルの寸法は、１７ｍｍ×１３ｍｍ（マイクロフォーサーズ）より小さいセンサから最大３６ｍｍ×２４ｍｍ（フルフレーム）までのセンサまで変更できる。例えば、Ｓｏｎｙ Ａｌｐｈａ５０００は、２３．２ｍｍ×１５．４ｍｍのＡＰＳ−Ｃセンサを有する。同じセンサ上の２つのレンズを通して可能な限り同一の２つの画像を取得するために、各レンズの焦点中心が、それに対応するセンサの部分の中心の正面に正確に位置するとき、レンズをセンサの正面に正確に設定することが好ましい。そのような配置の１つの例が図３に示される。図３では、センサ（７）は、２つのレンズ（８）とともにその上に示される。レンズ（８）はそれぞれ、センサのそのそれぞれの半分の中心の前にその焦点中心で取り付けられる。したがって、センサのサイズは、例えば、２３．２ｍｍ×１５．４ｍｍのセンサの前で２つのレンズを使用する必要がある場合などのように、使用可能なレンズのサイズには実質的な制限があるように見えるが、このことはレンズの最大直径は１１．６ｍｍ（センサの水平サイズの半分）を超えることはできないことを意味する。４つのレンズを使用する場合、レンズの最大直径は７．７ｍｍ（センサの垂直寸法の半分、１１．６ｍｍ×７．７ｍｍを利用）を超えることができない。例えば、図４を参照すると、単一のセンサ（１０）に取り付けられた４つのレンズ（１１）が示されており、各レンズの焦点中心がセンサのそれぞれの四分の一の中心（１２）の前にある。

このような実施形態が効果的であるためには、小型レンズの各々は、センサの専用部分を完全に覆うために、少なくとも１３．９２３ｍｍの直径（１１．６ｍｍ×７．７ｍｍの対角線寸法）のイメージサークルをセンサ上に提示すべきである。しかしながら、本発明によれば、そのような制限は少なくとも２つの異なる方法で克服することができる。１つの方法は、双眼鏡でよく使用されるように、および図５に示されるように、複合レンズの各レンズにポロプリズム設計を使用することである。ポロプリズム設計はオフセットされたプリズムを有し、多くの双眼鏡によく見られる「曲がった」形状になる。そのような設計は、（実際には無制限のサイズの）はるかに大きな直径の対物レンズの使用を可能にし、一方、ポロプリズム単眼の「接眼レンズ」は、カメラの交換可能なマウントにセットされ、センサに面する。したがって、対物レンズ（１３）を介してキャプチャされた画像は、ポロプリズム（１４’）を通過して接眼レンズ（１４）に達し、次にセンサ（１５）に達する。代替的に、このポロプリズム設計は、本明細書に記載の他の実施形態のそれぞれにおいて実施することができる。

もう一つの好ましい方法は、本発明の実施形態によれば、隣接したレンズを切り取ることである。レンズを通過するイメージサークルの端は、センサ上のイメージサークルが非効率的に重なることを防ぐために、最終的には切り取られる必要があるだろう。レンズの重なる端を切り取ることによって、本発明は、より大きな直径のレンズが使用できるようになる。これは図６ａで見ることができ、これは、センサの全表面積を使用でき、センサ（１７）の端を越えて伸張するレンズ（１６）の使用を示す。図６ｂでは、切り取られたレンズ（１６）それ自身を確認できる。それらはマッチング切取端（１９）に沿って切り取られる。確認できるように、レンズ中心（２０）は対応する半分のセンサの中心の上に配置される。図示された例では、１５．４ｍｍ×２３．２ｍｍの同一のＳｏｎｙＡＰＳ−Ｃセンサについては、２つの隣接したレンズの重なる端を切り取ることで、最大１５．４ｍｍの直径を備えたレンズの使用を可能にする。単複合レンズに４つのレンズ（図示せず）を入れて、最大１１．６ｍｍの直径のレンズを使用することができる。したがって、本発明は、センサの対応する部分の中心の前のレンズの位置取りを損なうことなく、レンズのサイズ制限を克服する効果的な方法を開示する。

本発明はまた、複合レンズに含まれている様々なレンズの露光レベルのバランスを保つ効果的な方法を開示する。複合レンズの各レンズのために露光時間を独立して設定することができず、かつ、センサの感度は、スペクトルの狭いかまたは広い様々なバンドに露光される時に変わりうるので、様々なレンズの露光レベルのバランスを保つ必要性がある可能性があるだろう。例えば、そのような場合には、バランスのとれた露光を達成し、イメージのうち一つまたはすべての露光過度または露光不足を回避するために、ＩＲキャプチャのための最適なＦストップは、（キャプチャされたバンドに応じて）視覚的画像キャプチャのそれよりも１または２絞り小さい可能性があるだろう（例えば、ＶＩＳ Ｖｓ． ＮＩＲ８００ｎｍについてのＦ８ Ｖｓ． Ｆ５．６および、ＶＩＳ Ｖｓ． ＮＩＲ ９５０ｎｍについてのＦｌｌ Ｖｓ． Ｆ５．６）。様々なレンズの露光がバランスを保たれない場合、１つのキャプチャされた画像は露光不足になり（暗すぎる）可能性があり、または、他方は（ダブル複合レンズの場合）露光過度になる可能性がある（過度に明るい）。本発明は、露光バランスを解決する３つの可能な実施形態を開示する。第１の選択肢は、各レンズのための差分アイリス設定であり、すなわち、通過するバンドに応じて各レンズに対し特定のＦストップを設定することである。この実施形態によれば、隣接したレンズが３本のＶＩＳバンド（４００ｎｍ −７００ｎｍの間）の場合、ＮＩＲ ８００ｎｍのレンズはＦ８またはＦ５．６であるだろうし、一方で、ＶＩＳレンズはＦ８またはＦｌ １である。

本発明に係る第２の解決策は、ＶＩＳレンズに中性濃度コーティング（ａ Ｎｅｕｔｒａｌ Ｄｅｎｓｉｔｙ ｃｏａｔｉｎｇ）またはフィルタを追加することである。中性濃度フィルタは、すべての波長または光の色の強度を等しく低下または修正し、演色の色調の変化を与えない。そのようなフィルタは、レンズ間の所望のバランスを達成するために望ましいように、強度を低下させるのに適する可能性がある。より複雑でより高価な解決法は、各レンズのための独立したアイリス設定を可能にする。アイリスが固定されないので、これはあまり好ましくない解決法である。

本発明はまた、単一のセンサ上のマルチスペクトルキャプチャの主な課題を克服する２つの実践的な方法を提案し、これは色収差である。「カラーフリンジ」または「パープルフリンジ」として知られる色収差は、光学の共通の問題である。色収差は、レンズを通過する間に様々な速度で移動する光の様々な色に伴って、レンズ分散によって引き起こされる。この問題は、図７に概略的に例証される。ここで、レンズ（２１）が光を赤色（２３）、緑色（２４）および青色（２５）の３つのスペクトルに分割することが見られる。しかしながら、図例では、緑色光（２４）のみが焦点面（２２）でセンサに集束される。色収差は、スペクトルの広い範囲を扱う時に特に深刻である。視覚的スペクトル（４００ｎｍ〜７００ｎｍ）の範囲内のイメージを修正することができ、焦点を合わせることができるレンズは、２００ｎｍから８５０ｎｍ、およびそれ以上の色収差を克服することができないだろう。マルチ複合レンズは、独立したレンズを介してスペクトルの異なるバンドを許容し、センサ面の異なる部分に画像をキャプチャするが、色収差は、キャプチャされた画像の効果的な分析を可能にするように補正されなければならない。取得後ソフトウェア解決策を使用して問題を解決することはできるが、事前に問題を解決するよりも効率が悪い。

収差を修正する第１の方法は、レンズを通過する光のバンドに応じて、複合レンズにおいてわずかに異なるレンズを使用することである。レンズの画角およびイメージサークルが同一のままである間に、レンズ設計が同一の焦点深度に変更される。これは任意の当業者によって行われる。軸上の色収差を解決する第２の方法は、図８に示すように、レンズを不均一な平面、すなわちセンサから異なる距離の複合レンズに埋め込むことである。この例示的な実施形態では、緑色光を通すレンズ（２６）がセンサ（２７）の近くに配置され、一方で、赤色光を通すレンズ（２８）がセンサ（２７）から遠くに配置される。このように、緑色焦点（２９）および赤色焦点（３０）の両方が、センサ（２７）の焦点面と一致する。これは、同一のレンズを使用しながら、この問題を解決する単純で実践的な方法である。レンズを設定することで、緑色光および紫外光を、近赤外光を透過させるレンズよりもセンサに近い距離で透過でき、画像の取得後分析には不可欠な、寸法と画角の点で同一の画像をキャプチャすることができる。

センサの全表面積を効果的に使用するために、本発明は、イメージサークルがセンサ面で重なりかつ混ざることからレンズを通り抜けることを防ぐ、いくつかの方法を開示する。このように混ざることを阻止する１つの方法は、物理的な分割を使用することであり、これはレンズ間に置かれる。図９ａおよび図９ｂは、それぞれの正面および側面の概略図において複合レンズの１つの典型的な実施形態を示す。２つのレンズ（３２）がセンサ（３１）の前の複合レンズに取りつけられる。物理的なパーティション（３３）は、センサ（３１）上でキャプチャされたイメージの重複を低減または防止するため、レンズ間で配置される。このような（複合レンズ中のレンズの数に依存する）薄いパーティション（複数可）は、センサ部分上のレンズ専用のセンサ部分の境界上で正確に、センサに対し垂直に配置され、混じることが生じる可能性があるイメージサークルが混ざることを防ぎ、かつ、実際には、それを「切り取る」。ある場合には、カメラの機械的なシャッターが、レンズとセンサとの間で利用される場合、上述した重複防止手段のうち２つまたはその全てを組み合わせることが好ましい。

混ざる可能性のあるイメージ境界を物理的に「切り取る」実践的な方法のもう一つは、レンズ上をコーティングすること、またはレンズとセンサとの間の「ウィンドウ」によるものである。このような「ウィンドウ」または長方形のコーティングは、混ざる可能性のある光がセンサを通り抜けることを防ぐ。例示的な１つの実施形態は、図１０ａおよび１０ｂにおいて示され２つのレンズまたは接眼レンズ（３５）を備える複合レンズ（３４）を示す。図１０ａでは、１つの接眼レンズの方へ来る光（センサに最接近している光学素子）は、第２の接眼レンズに入射し、その結果好ましくない混合を引き起こす光線を有する。本発明の実施形態によれば、図１０ｂの中で示されるように、切取ウィンドウ（３６）は混合を防ぐために添加された。

複合レンズのマルチプルレンズを通過する画像が、最終的に同じ単一のセンサの様々な部分上に落ち着くと、それらは、複合レンズが取り付けられるカメラにサポートされる任意のフォーマット（ＪＰＧ、ＲＡＷなど）で、最終的には左右および／または上下（ｓｉｄｅ ｂｙ ｓｉｄｅ ａｎｄ／ｏｒ ｔｏｐ ｂｙ ｂｏｔｔｏｍ）に並んで保存され、または、その両方で、かつ、単一のファイル内に保存される。

本発明はまた、マルチスペクトルの画像をキャプチャするためのモバイル処理プラットフォームと少なくとも２台のカメラを一体化させる、モバイルマルチスペクトル撮像装置に関する。各カメラは、プラットフォームと一体化された少なくとも１つのセンサと、レンズと、少なくとも１つの単一またはマルチバンドパスフィルタとを含み、少なくとも可視および不可視（近赤外または近紫外）の光のバンドがフィルタを通ってセンサに通過することを可能にする。レンズは、カメラのセンサ面において実質的に同一の焦点距離、実質的に同一の視野、および実質的に同一のイメージサークルのレンズである。様々なカメラが、赤から近紫外線または青から近赤外線のスペクトルの光の複数、好ましくは少なくとも４つ、の異なるバンドを通過させる。少なくとも１つのフラッシュ、好ましくは専用フラッシュ、は不可視の（例えば近紫外線または近赤外線）フィルタとマッチングする感度の範囲における照明のために提供される。好ましくは、可視バンドを照らす第２のフラッシュが、同様に取り付けられるだろう。撮像装置は複数のレンズ、複数のセンサおよび／または複数のカメラで実行することができる。ストレージ手段は、キャプチャされた画像を２つの一致するファイルまたは単一のファイルとして保存するために必要である。典型的には、処理用モバイルプラットフォームおよびスマートフォンには、異なる種類のストレージ、すなわち内部ＭｉｃｒｏＳＤが備えられている。以下、カメラを参照して本発明を記載するが、あるいは、少なくとも１つの集光センサに取り付けられた少なくとも２つのフィルタを備える少なくとも２つのレンズとして実施することができる。

特に、モバイル撮像装置は、マルチスペクトル画像中の色チャンネルのデジタルな位置合わせを可能にするように構成される。カメラ（少なくとも２つ）は、可能な限り同一の視野をキャプチャするために位置取りされ、位置合わせされる。様々なカメラが、近赤外線から紫外線または近紫外線のスペクトルの光の複数、好ましくは少なくとも４つ、を通過させ、したがって、バンドパスフィルタを使用することにより、用途に応じて、スペクトルの定義された波長の選択されたバンドの感知を可能にする。カメラは、それらのセンサ面で実質的に同一の視野および本質的に同一のイメージサークルのものである。カメラのレンズはまた、実質的に同一の焦点距離、および低歪みのものである。センサの平面におけるイメージサークルの類似を達成するために、カメラのレンズは、センサからの不等間隔の距離で配置されるか、または、これらの様々なレンズを通過する光の様々な波長に起因して生成される色収差を補正するための光学素子を含む。

特に、二つのカメラを組み合わせることで、マルチバンドパスフィルタを備えた（ＵＶＩＲカットフィルタまたはコーティングなしの）２つのフルスペクトルカメラを使用することにより、または（４００ｎｍ〜７００ｎｍのような）可視範囲内の一つのカメラと、ＵＶおよび／またはＩＲカットフィルタまたはコーティングを備えない別のカメラを使用することによって、マルチスペクトル画像のキャプチャが可能になり、これは（最新のＣＭＯＳ Ｓｍａｒｔｐｈｏｎｅｓセンサのように）３５０ｎｍ〜１０００ｎｍの光のフルスペクトルに対し感光性であり、複数の有線および無線通信機能を備えたスマートフォン設計を使用している時、組み合わされたカメラを、単一で、軽量で、高品質で、高度に同期され、位置合わせされたマルチスペクトル撮像および処理モバイルプラットフォームに変える。

各カメラは、センサのベイヤーマトリックスによって３つの狭いバンドをキャプチャすることができるので、本発明は複数の（２から４つ）カメラを介して、４から１２およびさらに多くのバンドのマルチスペクトル画像をキャプチャすることを可能にする。

本発明の可能な実施形態の一つにおいては、図１１に例証されるように、皮膚の分析のために、２つのカメラ（４）および（５）は同時に画像をキャプチャするためにスマートフォン（１）または同様のモバイルプラットフォームに、互いに接近して配置されるだろう。
各カメラは、好ましくは、カメラの各フィルタのキャプチャされたバンド幅に合致する専用のＬＥＤフラッシュ（３）、（６）を有し、これは例えば、ＮＵＶカメラの場合は３６５ｎｍ〜３７０ｎｍの不可視光線フラッシュであり、可視光カメラの場合は可視光フラッシュである。好ましくは、各カメラは、ここでは緑色バンドとして示されるスペクトルのバンド（少なくとも５０％の重複）もキャプチャし、複合レンズを有する撮像装置を参照して上述されているように、キャプチャ画像内の色または周波数バンドのデジタルな位置合わせを可能にするように構成される。

簡単な皮膚分析の画像キャプチャのために、カメラはスクリーンの側面に取り付けられ、（図１１に見られるように）自撮りをする時に今日行われるような、ユーザにカメラの視野を見ることを可能にする。取得された画像は、ユーザの好みに応じて、並んで、または別々に表示されることができる。

データを処理できるプラットフォームとの一体化により、農業および皮膚の分析の実施両方についての、取得された画像のオンボードリアルタイム分析およびオフライン分析が、ＮＤＶＩ、ＮＤＲＥ、皮膚分析ソフトウェアなどの一般的な分析ツールを用いて可能になる。

狭いかまたは広いバンドパスフィルタおよび／または各レンズと関連するマルチバンドパスフィルタは、各レンズによって異なる。それらは、知られているように、レンズ上のコーティングとして実装されること、および／または、レンズの前（物体とレンズの間）またはその後ろ（レンズと、その特定のレンズを通過する光を感知するセンサとの間）に取り付けられることができる。

複数のレンズまたはカメラからの画像は、ＲＡＷ、ＪＰＥＧ、またはカメラでサポートされている他の形式のどれであろうと、単一の画像ファイルまたは２つのマッチするファイルとして保存することができる。

したがって、本発明のモバイル撮像装置は、従来のマルチレンズマルチスペクトルカメラが提供できない最も信頼性の高い方法で、上述した、異なるカラーマトリックスの取得後の位置合せの方法の実行を可能にする。上述の通り、本発明のこれらの実施形態は、両方のレンズを介して色バンドのうちの１つをキャプチャし、かつ、取得後のデジタルな位置合わせに従ってすべてのマトリックスを位置合わせすることによって、ピクセルの正確な位置合わせを可能にし、これは、二つの類似のカラーマトリックスのマッチングに基づいている。例えば、レンズ／カメラ（１）が、その中心が４５０ｎｍ、５５０ｎｍおよび６５０ｎｍである６０ｎｍ幅バンドをキャプチャする場合、および、レンズ／カメラ（２）が５５０ｎｍおよび８５０ｎｍの６０ｎｍ幅バンドをキャプチャする場合、次に、取得後のデジタルな位置合わせは、レンズ（１）および（２）の２つの５５０ｎｍ画像のマッチングにより行われ、これは、これらのマトリックスが類似のデータを含むので、ピクセルの正確な位置合わせが可能になる。これはレンズの各々によって、実質的に同一の光のバンドを含むフィルタを通って、画像を取得することにより達成される。実質的に同一の光のバンドを受信したマトリックスおよびチャンネルは、様々なレンズ／カメラによって取得されたマルチバンド画像から分割される。次に、実質的に同一の光のバンドのマトリックスが、全てのレンズ／カメラによって取得された画像の取得後のデジタルな位置合わせのために利用される。

その後、他のすべてのマトリックスが両方の半分のセンサ上の５５０ｎｍで同時にキャプチャされたので、それらは正確に位置合わせされるだろう。勿論、ＲＧＢレンジバンドのいずれかを使用して、そのような位置合わせのために同様のバンドを有することが可能であるが、しかし、緑カラーマトリックスが通常３つのカラー範囲の中で最も鮮明であるので、好ましい選択肢は緑色のものであり、かつ、大抵のカメラはベイヤーＲＧＧＢセンサを備えており、これは緑色バンドの最高品質を保証する。

モバイルイメージングプラットフォームは、モバイルプラットフォームで提供されるような無線機能（例えば、ＷｉＦｉ、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）および／またはセルラＬＴＥまたはその他）を有することが理解されよう。所望の場合には、カメラはＵＳＢまたはワイヤレスで制御できる。同様に、カメラは、有線を通じて（例えば、ＵＳＢ）、および／または無線で、処理プラットフォーム（コンピュータ、タブレット、ＰＣ、撮像ボード、またはスマートフォンなど）にキャプチャされた画像を転送することができる。

限られた数の実施形態に関して、本発明を記載してきたが、本発明の多くの変形、修正および他の適用がなされ得ることが理解されるであろう。本発明は、単なる例として上に記載されたものに限定されないことがさらに理解されるであろう。むしろ、本発明は、続く請求項によって限定される。

Claims (14)

1. マルチスペクトル画像をキャプチャするためのマルチスペクトル撮像装置であって、該マルチスペクトル撮像装置は、
   単一のイメージセンサを有するデジタルカメラの交換レンズマウントに接続するための複合レンズであって、該複合レンズは：
   本体と；
   デジタルカメラのレンズマウントに接続するための前記本体上に取り付けられた単一のマウント接続リングと；
   各レンズを介する物体のデジタル画像のカラーマトリックスを取得するための、カメラのセンサ面において実質的に同一の焦点距離の、実質的に同一の視野の、および実質的に同一のイメージサークルの少なくとも２つのレンズと、
   センサまでフィルターを通る、光の近赤外線バンドおよび紫外線バンドから成る群から選択される、少なくとも１つの可視バンドの通過、および１つの不可視バンドの通過を可能にする、前記レンズの各々に関連する異なるシングルバンドパスフィルタまたはマルチバンドパスフィルタとを、を含む複合レンズと、
   物体の少なくとも１対のデジタル画像の取得後のデジタルな位置合わせのための処理プラットフォームであって、異なるレンズによって取得されたマルチバンド画像からの類似の光のバンドによってキャプチャされたカラーマトリックスを分割するため、およびすべてのレンズによって取得される画像の取得後のデジタルな位置合わせのための各レンズからの実質的に同一の光のバンドマトリックスをマッチングするためのプロセッサを含む処理プラットフォームと、含んでなる
   ことを特徴とする、マルチスペクトル撮像装置。
2. フィルターが、前記レンズを通るスペクトルの少なくとも４つの異なるバンドの通過を可能にするために選択される、請求項１に記載のマルチスペクトル撮像装置。
3. フィルターが、両方のレンズを通るスペクトルの１つの類似のバンドの通過を可能にするように選択され、両方のレンズによって取得される類似のバンドのマッチングに基づき両方のレンズのカラーマトリックスの取得後の位置合わせを可能にする、請求項１に記載のマルチスペクトル撮像装置。
4. 色収差が、
   センサから多少異なる距離にレンズを位置決めすること； または、
   レンズの少なくとも１つおいて、１つのレンズのイメージサークルのサイズを、他のレンズのイメージサークルのサイズと位置合わせする光学素子を含むこと、
   のいずれか１つによって補正される、請求項３に記載のマルチスペクトル撮像装置。
5. レンズ間に配されるまたはセンサに取り付けられる遮光フレームをさらに含む、請求項１に記載のマルチスペクトル撮像装置。
6. 遮光フレームが、レンズ間に配されるもしくはセンサに取り付けられる、マスキングウィンドウ、ボーダー、およびパーティションを含む群から選択されるか、それらの組み合わせである、請求項５に記載のマルチスペクトル撮像装置。
7. 前記レンズが複合レンズに関連するセンサの一部の中心の前にそれぞれ位置決めされる、請求項１に記載のマルチスペクトル撮像装置。
8. 前記フィルターが、コーティング、レンズの前に取り付けられたフィルター、レンズの後ろに取り付けられたフィルター、および特定のレンズを通過する光を感知するセンサの部分上に取り付けられたフィルター、の少なくとも１つとして実装される、請求項１に記載のマルチスペクトル撮像装置。
9. 全てのレンズの焦点を同時に調整するための単一の焦点メカニズムをさらに含む、請求項１に記載のマルチスペクトル撮像装置。
10. 各レンズに関連する少なくとも１つのポロプリズム設計をさらに含む、請求項１に記載のマルチスペクトル撮像装置。
11. マルチスペクトルカメラであって、該マルチスペクトルカメラは、
    交換レンズマウント、シャッター、および単一のセンサを有するデジタルカメラと；
    交換可能な複合レンズを備えており、
    前記交換可能な複合レンズは、
    本体と；
    デジタルカメラのレンズマウントに接続するための前記本体上に取り付けられた単一のマウント接続リングと；
    前記本体に取り付けられ、カメラのセンサ面において実質的に同一の焦点距離の、実質的に同一の視野の、および実質的に同一のイメージサークルの少なくとも２つのレンズであって、前記少なくとも２つのレンズの各々が、センサのそれぞれの一部の中心の前に配されるその焦点中心に取り付けられる、少なくとも２つのレンズと；
    センサまで前記フィルターを通る、光の近赤外線バンドおよび紫外線バンドから成る群から選択される、少なくとも１つの可視バンドの通過、および少なくとも１つの不可視バンドの通過を可能にする、前記レンズの各々に関連する異なるシングルバンドパスフィルタまたはマルチバンドパスフィルタと、を含み、
    前記マルチスペクトルカメラは、
    物体の少なくとも１対のデジタル画像の取得後のデジタルな位置合わせのための処理プラットフォームを更に備え、
    該処理プラットフォームは、
    異なるレンズによって取得されたマルチバンド画像からの類似の光のバンドによってキャプチャされたカラーマトリックスを分割するため、およびすべてのレンズによって取得される画像の取得後のデジタルな位置合わせのための各レンズからの実質的に同一の光のバンドマトリックスをマッチングするためのプロセッサを含んでなる、
    ことを特徴とする、マルチスペクトルカメラ。
12. フィルターが、前記レンズを通るスペクトルの少なくとも４つの異なるバンドの通過を可能にするために選択される、請求項１１に記載のカメラ。
13. 各レンズの焦点がセンサの焦点面と一致するように、センサからの不等な距離で複合レンズ内にレンズを位置決めすること；
    レンズの少なくとも１つにおいて、１つのレンズのイメージサークルのサイズを、他のレンズのイメージサークルのサイズと位置合わせする光学素子を含むこと； または、
    多少異なる焦点距離を有する前記レンズを選択し、同一の画角およびイメージサークルを有する複合レンズ内にそれらを配すること、
    の少なくとも１つによって色収差が補正される、請求項１２に記載のカメラ。
14. レンズ間に配された、またはセンサに取り付けられた、遮光フレームをさらに含む、請求項１１に記載のカメラ。

Images