JP6892861B2

JP6892861B2 - 単一のマトリクスセンサによって可視および近赤外画像を取得するためのシステムおよび方法

Info

Publication number: JP6892861B2
Application number: JP2018530147A
Authority: JP
Inventors: ホラーク，ラファエル; クールコル，イブ; ペリュショ，ルドビク
Original assignee: タレス
Priority date: 2015-12-11
Filing date: 2016-12-07
Publication date: 2021-06-23
Anticipated expiration: 2036-12-07
Also published as: KR20180094029A; US20180359432A1; CN108370422A; EP3387824A1; KR102605761B1; JP2018538753A; IL259620B; CN108370422B; EP3387824B1; FR3045263A1; FR3045263B1; WO2017097857A1; ES2837055T3; US10477120B2; IL259620A

Description

本発明は、可視近赤外両スペクトルカメラ上で可視および近赤外画像を取得するためのシステムであって、可視近赤外両スペクトルカメラは、このようなシステムを含む、システムと、このようなカメラを使用することによるカラーおよび近赤外における画像の同時取得の方法とに関する。

「近赤外」（すなわち「ＮＩＲ」、「近赤外（ＮｅａｒＩｎｆｒａＲｅｄ）」の頭文字）は、７００〜１１００ｎｍのスペクトル帯に対応し、一方、可視光は、３５０〜７００ｎｍに広がる。場合により、近赤外は、８００ｎｍで始まり、中間の７００〜８００ｎｍ帯域は、光学フィルタを使用して除去されると考えられる。

本発明は、防衛および安全分野（例えば、暗視）ならびに民生電子機器に等しく適用され得る。

従来、可視光における（通常、カラーの）画像（以下では簡潔さのために「可視画像」と呼ぶ）と、近赤外における画像とは、２つの別個のマトリクスセンサにより独立に取得される。容積を低減するために、これらの２つのセンサは、両スペクトル（ｂｉ−ｓｐｅｃｔｒａｌ）カメラを形成するように二色ビームスプリッタを介して単一画像形成光学系に関連付けられ得る。

このような構成は、いくつかの欠点を呈示する。まず、２つの独立センサとビームスプリッタとの使用は、両スペクトルカメラのコスト、容積、電力消費および重量を増加し、これは、とりわけ埋め込み用途（例えば、航空機の）において問題である。さらに、この光学系は、この用途に特に適合される必要があり、これは、商業的既成光学系を使用する可能性を制限し、コストをさらに増加させることにもなる。

可視および近赤外画像の取得のために単一のマトリクスセンサを使用することは、主として学術的作業において提案された。実際、デジタルカメラに通常使用されるシリコンセンサは、可視から近赤外まで延びる感度を呈示する。これは、可視においてのみ動作することを目的とするカメラが赤外成分による画像の汚染を回避することを目的とする光学フィルタを備えることを意味する。

文献：
− Ｄ．Ｋｉｋｕｅｔａｌ．“ＳｉｍｕｌｔａｎｅｏｕｓｌｙＣａｐｔｕｒｉｎｇｏｆＲＧＢａｎｄＡｄｄｉｔｉｏｎａｌＢａｎｄＩｍａｇｅｓｕｓｉｎｇＨｙｂｒｉｄＣｏｌｏｒＦｉｌｔｅｒＡｒｒａｙ”，Ｐｒｏｃ．ｏｆＳＰＩＥ−ＩＳ＆ＴＥｌｅｃｔｒｏｎｉｃＩｍａｇｉｎｇ，ＳＰＩＥＶｏｌ．９０２３（２０１４）、および
− 米国特許第８，６１９，１４３号明細書
は、４つの異なるタイプの画素（従来の「ＲＶＢ」センサと同様に青色光、緑色光、および赤色光に敏感な画素と、またＮＩＲ放射のみに敏感な「灰色」画素と）を含むマトリクスセンサについて説明している。従来、これらの異なるタイプの画素は、それ自体が「パンクロ（ｐａｎｃｈｒｏｍａｔｉｃ）」（すなわち、すべての可視および近赤外帯域に敏感である）である基本シリコンセンサ上の（カラーフィルタのマトリクスを形成する）吸収性フィルタの堆積により得られる。一般的に、これらのフィルタを生成するために使用される顔料は、近赤外において透明であり、したがって「赤色」、「緑色」および「青色」画素により取得される画像は、入射光の赤外成分により影響され（従来のカメラにおいて使用される光学フィルタは明らかに存在しないため）、デジタル処理が現実に近い色を再生するのに必要である。

文献：
− Ｚ．Ｓａｄｅｇｈｉｐｏｏｒｅｔａｌ．“ＤｅｓｉｇｎｉｎｇＣｏｌｏｒＦｉｌｔｅｒＡｒｒａｙｓｆｏｒｔｈｅＪｏｉｎｔＣａｐｔｕｒｅｏｆＶｉｓｉｂｌｅａｎｄＮｅａｒ−Ｉｎｆｒａｒｅｄｉｍａｇｅｓ”，１６ｔｈＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ（２００９）；
− Ｚ．Ｓａｄｅｇｈｉｐｏｏｒｅｔａｌ．“Ｃｏｒｒｅｌａｔｉｏｎ−ＢａｓｅｄＪｏｉｎｔＡｃｑｕｉｓｉｔｉｏｎａｎｄＤｅｍｏｓａｉｃｉｎｇｏｆＶｉｓｉｂｌｅａｎｄＮｅａｒ−ＩｎｆｒａｒｅｄＩｍａｇｅｓ”，１８ｔｈＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ（２０１１）
は、カラーフィルタのより複雑なマトリクス（可視および赤外画像の再構築を最適化することを目的とする）を有するセンサについて説明している。

逆に、文献：
− Ｚ．Ｓａｄｅｇｈｉｐｏｏｒｅｔａｌ．“ＡＮｏｖｅｌＣｏｍｐｒｅｓｓｉｖｅＳｅｎｓｉｎｇＡｐｐｒｏａｃｈｔｏＳｉｍｕｌｔａｎｅｏｕｓｌｙＡｃｑｕｉｒｅＣｏｌｏｒａｎｄＮｅａｒＩｎｆｒａｒｅｄＩｍａｇｅｓｏｎａＳｉｎｇｌｅＳｅｎｓｏｒ” Ｐｒｏｃ．ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｃｏｕｓｔｉｃｓ，ＳｐｅｅｃｈａｎｄＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ（ＩＣＡＳＳＰ），Ｖａｎｃｏｕｖｅｒ，Ｃａｎａｄａ（２０１３）
は、カラーフィルタのマトリクスを有するセンサが、いわゆる「Ｂａｙｅｒ」マトリクス（カラーカメラで最も一般的に使用される）に近いが、それと若干異なることについて説明している。従来のＢａｙｅｒマトリクスは、可視成分と赤外成分とを分離できるようにしないであろう。

これらの手法は、すべての画素が特別なフィルタを備えるセンサを使用する。次に、高感度を有するカメラを製造するために、フィルタのないパンクロ画素も含むセンサを使用することが有利である。いくつかの場合、入射光のほとんどを捕捉するためにパンクロ画素を高割合で含むいわゆる「スパース（ｓｐａｒｓｅ）」センサですら使用される。これらのセンサは、画像のクロミナンスが、その質の著しい劣化を知覚する観察者なしにその輝度に対してアンダーサンプリングされ得るという事実を活用する。

文献：
− Ｄ．Ｈｅｒｔｅｌｅｔａｌ．“Ａｌｏｗ−ｃｏｓｔＶＩＳ−ＮＩＲｔｒｕｅｃｏｌｏｒｎｉｇｈｔｖｉｓｉｏｎｖｉｄｅｏｓｙｓｔｅｍｂａｓｅｄｏｎａｗｉｄｅｄｙｎａｍｉｃｒａｎｇｅＣＭＯＳｉｍａｇｅｒ”，ＩＥＥＥＩｎｔｅｌｌｉｇｅｎｔＶｅｈｉｃｌｅｓＳｙｍｐｏｓｉｕｍ，２００９，ｐａｇｅｓ２７３−２７８
は、可視および近赤外画像の同時取得のために着色画素およびパンクロ画素を含むセンサの使用について説明している。ＰＩＲ画像を構築するための方法は説明されておらず、また、このような画像のいかなる例も示されておらず、低照度条件において活用され得る「全帯域」モノクロ画像のみが示されている。さらに、この論文は、パンクロ画素を２５％のみ含む「ＲＧＢＭ」センサの場合（達成され得る感度利得を著しく制限する）のみに関する。

米国特許第８，６１９，１４３号明細書

Ｄ．Ｋｉｋｕｅｔａｌ．"ＳｉｍｕｌｔａｎｅｏｕｓｌｙＣａｐｔｕｒｉｎｇｏｆＲＧＢａｎｄＡｄｄｉｔｉｏｎａｌＢａｎｄＩｍａｇｅｓｕｓｉｎｇＨｙｂｒｉｄＣｏｌｏｒＦｉｌｔｅｒＡｒｒａｙ"，Ｐｒｏｃ．ｏｆＳＰＩＥ−ＩＳ＆ＴＥｌｅｃｔｒｏｎｉｃＩｍａｇｉｎｇ，ＳＰＩＥＶｏｌ．９０２３（２０１４）Ｚ．Ｓａｄｅｇｈｉｐｏｏｒｅｔａｌ．"ＤｅｓｉｇｎｉｎｇＣｏｌｏｒＦｉｌｔｅｒＡｒｒａｙｓｆｏｒｔｈｅＪｏｉｎｔＣａｐｔｕｒｅｏｆＶｉｓｉｂｌｅａｎｄＮｅａｒ−Ｉｎｆｒａｒｅｄｉｍａｇｅｓ"，１６ｔｈＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ（２００９）Ｚ．Ｓａｄｅｇｈｉｐｏｏｒｅｔａｌ．"Ｃｏｒｒｅｌａｔｉｏｎ−ＢａｓｅｄＪｏｉｎｔＡｃｑｕｉｓｉｔｉｏｎａｎｄＤｅｍｏｓａｉｃｉｎｇｏｆＶｉｓｉｂｌｅａｎｄＮｅａｒ−ＩｎｆｒａｒｅｄＩｍａｇｅｓ"，１８ｔｈＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ（２０１１）Ｚ．Ｓａｄｅｇｈｉｐｏｏｒｅｔａｌ．"ＡＮｏｖｅｌＣｏｍｐｒｅｓｓｉｖｅＳｅｎｓｉｎｇＡｐｐｒｏａｃｈｔｏＳｉｍｕｌｔａｎｅｏｕｓｌｙＡｃｑｕｉｒｅＣｏｌｏｒａｎｄＮｅａｒＩｎｆｒａｒｅｄＩｍａｇｅｓｏｎａＳｉｎｇｌｅＳｅｎｓｏｒ" Ｐｒｏｃ．ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｃｏｕｓｔｉｃｓ，ＳｐｅｅｃｈａｎｄＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ（ＩＣＡＳＳＰ），Ｖａｎｃｏｕｖｅｒ，Ｃａｎａｄａ（２０１３）Ｄ．Ｈｅｒｔｅｌｅｔａｌ．"Ａｌｏｗ−ｃｏｓｔＶＩＳ−ＮＩＲｔｒｕｅｃｏｌｏｒｎｉｇｈｔｖｉｓｉｏｎｖｉｄｅｏｓｙｓｔｅｍｂａｓｅｄｏｎａｗｉｄｅｄｙｎａｍｉｃｒａｎｇｅＣＭＯＳｉｍａｇｅｒ"，ＩＥＥＥＩｎｔｅｌｌｉｇｅｎｔＶｅｈｉｃｌｅｓＳｙｍｐｏｓｉｕｍ，２００９，ｐａｇｅｓ２７３−２７８

本発明は、従来技術の上述の欠点を克服することを目的とする。さらに具体的には、本発明は、高感度を呈示するとともに高品質の画像を得ることができるようにする、可視およびＮＩＲ画像の同時取得のためのシステムを得ることを目的とする。好適には、本発明は、「商業的既成」（ＣＯＴＳ）マトリクスセンサおよび光学系の使用を可能にする。

本発明によると、高感度は、着色画素（ＮＩＲに敏感な「灰色」画素を含むまたは含まない）と、かなり多くの（好適には画素の４分の１を超える）パンクロ画素との両方と、好適にはスパースセンサとを含むセンサの使用により得られ、高画質は、革新的デジタル処理の実施により得られる。さらに具体的には、この処理は、パンクロ画像および２つのカラー「中間」可視画像の再構築を含む。これらの２つの中間可視画像は、次の２つの異なる処理作業により得られる：「イントラチャネル」と見なされ得るものは、着色画素からの信号のみを使用し、一方、「インターチャネル」と見なされ得るものは、パンクロ画像も使用する。ＮＩＲ画像は、「インターチャネル」カラー画像およびパンクロ画像から得られ、一方、カラー画像は、「イントラチャネル」中間画像とパンクロ画像とを組み合わせることにより得られる。

したがって、本発明の主題は、画素の２次元配置を含むマトリクスセンサであって、各画素は、シーンの光像の点における光強度を表す電気信号を生成するように適合される、マトリクスセンサと、前記シーンのデジタル画像を生成するために、前記画素によって生成された電気信号を処理するように構成された信号処理回路とを含む画像取得システムであって、前記マトリクスセンサは、少なくとも１つの、第１のスペクトル帯内の可視光に敏感な第１のタイプと、第１と異なる第２のスペクトル帯内の可視光に敏感な第２のタイプと、第１および第２と異なる第３のスペクトル帯の可視光に敏感な第３のタイプとのいわゆる着色画素であって、異なるタイプの着色画素のスペクトル帯の組み合わせは、可視スペクトルのすべてを再構成する、いわゆる着色画素、およびすべての可視スペクトルに敏感ないわゆるパンクロ画素であって、少なくとも近赤外にも敏感であるいわゆるパンクロ画素の２次元配置を含む、画像取得システムにおいて、前記信号処理回路は、着色画素によって生成される電気信号から第１の組のモノクロ画像を再構築することと、パンクロ画素によって生成される電気信号からパンクロ画像を再構築することと、着色画素によって生成される電気信号からおよび前記パンクロ画像から第２の組のモノクロ画像を再構築することと、第１の組のモノクロ画像および前記パンクロ画像への第１の比色分析マトリクスの適用により、カラー画像を再構築することと、少なくとも第２の組のモノクロ画像および前記パンクロ画像への第２の比色分析マトリクスの適用により、近赤外における少なくとも１つの画像を再構築することと、出力として前記カラー画像および近赤外における前記または少なくとも１つの前記画像を提供することとを行うように構成されることを特徴とする、画像取得システムである。

好適には、第１の組の画像は、パンクロ画素によって生成される電気信号からの寄与なしに着色画素によって生成される電気信号のみから得られる。さらに、第１の比色分析マトリクスは、好適には、出力として生成されるカラー画像が光像の赤外成分からの寄与を実質的に含まないようにされ、一方、第２の組の画像は、通常、このような寄与を含むことになる。

本発明の特別な実施形態によると、
− 前記着色画素は、近赤外にも敏感である前記第１、第２および第３のタイプの画素のみを含み得る。さらに具体的には、第１、第２および第３のタイプのうちの１つタイプの画素は、緑色光に敏感であり得、第１、第２および第３のタイプのうちの別のものの画素は、青色光に敏感であり得、かつ第１、第２および第３のタイプのうちの残りのタイプの画素は、赤色光に敏感であり得る。
− 前記マトリクスセンサは、スパースタイプのものであり得、その画素の４分の１を超える画素、好適には少なくとも２分の１の画素は、パンクロである。
− 前記信号処理回路は、前記第１のタイプの各画素に関連付けられた光強度を判断し、かつ前記光強度の補間によって前記第１の組から第１のモノクロ画像を再構築する工程と、他のタイプの各着色画素に関連付けられた光強度を判断し、かつ前記第１のモノクロ画像の対応する画素に関連付けられた強度を表す値をそれから減じる工程と、前記他のタイプのそれぞれの着色画素の光強度値であって、前記第１のモノクロ画像の対応する画素に関連付けられた強度を表す前記値が減じられた光強度値の補間により、新しいモノクロ画像を再構築し、その後、前記第１の組のそれぞれの最終モノクロ画像を取得するために、これらの新しい再構築画像と前記第１のモノクロ画像とを組み合わせる工程とを含む方法の適用により、前記第１の組のモノクロ画像を再構築するように構成され得る。
− 前記信号処理回路は、パンクロ画素によって生成される電気信号の補間により、前記パンクロ画像を再構築するように構成され得る。
− 前記信号処理回路は、局所的に定義された線形関数をパンクロ画像の対応する画素の輝度へ適用することによって各前記画像の各画素の輝度レベルを計算することにより、前記第２の組のモノクロ画像を再構築するように構成され得る。
− 変形形態として、前記信号処理回路は、第２の組の前記画像の前記画素に対応する前記パンクロ画像の画素の近傍におけるパンクロ画像の複数の画素の輝度レベル、および／または複数の着色画素の光強度の非線形関数によって各前記画像の各画素の輝度レベルを計算することにより、前記第２の組のモノクロ画像を再構築するように構成され得る。
− 前記マトリクスセンサは、異なるタイプの画素の疑似ランダム分布を含む周期的繰り返しのブロックから構成され得、前記信号処理回路は、前記マトリクスセンサから同じタイプの画素の規則的パターンを抽出することと、同じタイプの画素の前記規則的パターンの並行処理により、前記第１の組および第２の組のモノクロ画像を再構築することとを行うように構成される。
− 前記信号処理回路はまた、少なくとも第２の組のモノクロ画像および前記パンクロ画像への第３の比色分析マトリクスの適用により、低輝度レベルを有するモノクロ画像を再構築するように構成され得る。
− 前記マトリクスセンサはまた、近赤外のみに敏感な画素の２次元配置を含み得、前記信号処理回路は、これらの画素によって生成される電気信号からも近赤外における前記画像を再構築するように構成される。
− 本システムは、マトリクスセンサと光像との間の相対的周期的変位を生成するためのアクチュエータも含み得、マトリクスセンサは、マトリクスセンサおよび光像の複数の別個の相対位置に対応するマトリクスセンサの画素によって生成される電気信号から前記第１および第２の組のモノクロ画像と前記パンクロ画像とを再構築するように適合される。
− 前記信号処理回路は、プログラマブル論理回路から生成され得る。

本発明の別の目的は、画像取得システムと、近赤外のフィルタリングなしにこのような画像取得システムのマトリクスセンサ上でシーンの光像を形成するように適合された光学系とを含む可視近赤外両スペクトルカメラである。

本発明のさらに別の目的は、このような両スペクトラムカメラを使用することによるカラーおよび近赤外における画像の同時取得の方法である。

本発明の他の特徴、詳細および利点は、一例として与えられ、以下のそれぞれを表す添付図面を参照して記載される説明を読むと明確になる。

本発明の一実施形態によるカメラの機能図である。図１Ａのカメラのマトリクスセンサの画素のスペクトル応答を示すグラフである。本発明の一実施形態による図１Ａのカメラのプロセッサにより実施される処理の機能図である。図２の処理の様々な工程を示す図である。図２の処理の様々な工程を示す図である。図２の処理の様々な工程を示す図である。図２の処理の様々な工程を示す図である。図２の処理の様々な工程を示す図である。図２の処理の様々な工程を示す図である。図２の処理の様々な工程を示す図である。図２の処理の様々な工程を示す図である。図２の処理の様々な工程を示す図である。図２の処理の様々な工程を示す図である。図２の処理の様々な工程を示す図である。本発明の特定実施形態において実施される処理の２つの変形形態を示す２つのグラフである。本発明の特定実施形態において実施される処理の２つの変形形態を示す２つのグラフである。本発明の別の変形形態による画像取得システムのマトリクスセンサである。本発明の技術的結果を示す画像である。本発明の技術的結果を示す画像である。

図１Ａは、本発明の一実施形態による可視近赤外両カメラの非常に単純化された機能図である。カメラＣＢＳは、観測されたシーンＳＯの光像ＩＯを形成する光学系ＳＯ（通常、レンズに基づく）を含む。画像ＩＯは、画素の２次元配置を含むマトリクスセンサＣＭの表面上に形成され、各画素は、そのスペクトル感度曲線により重み付けられた光像の対応ドット（実際には小領域）の光強度を表す電気信号を生成する。これらの電気信号（通常、デジタル形式に変換された後の）は、その出力においてデジタル画像（（異なる色の３つのモノクロ画像で構成された）カラーの第１の画像Ｉ_ＶＩＳと、近赤外におけるモノクロの第２の画像と）を提供する処理回路ＣＴＳにより処理される。任意選択的に、処理回路ＣＴＳはまた、観測されたシーンが低輝度レベルを呈示する場合に特に有用な可視モノクロ画像Ｉ_ＢＮＬを出力として提供し得る。マトリクスセンサＣＭと処理回路ＣＴＳとは、以下で画像取得システムと呼ばれるものを構成する。回路ＣＴＳは、適切にプログラムされたデジタル信号処理に好適に特化されたマイクロプロセッサ（ＤＳＰ、「デジタル信号処理装置」）、またはそうでなければ例えばＦＰＧＡなどのプログラマブル論理回路から生成される専用デジタル回路であり得るが、特定用途向け集積回路（ＡＳＩＣ）でもあり得る。

マトリクスセンサは、ＣＣＤまたはＣＭＯＳタイプのものであり得、後者の場合、マトリクスセンサは、その出力においてデジタル信号を直接提供するようにアナログデジタル変換器を取り込み得る。いずれにしても、マトリクスセンサは、以下の少なくとも４つの異なるタイプの画素を含む：カラーに対応するスペクトル帯に敏感であり、混合されると可視スペクトル帯の白色を再生する３つの第１のタイプ（通常、赤色、緑色、および青色）、および第４の「パンクロ」タイプ。好ましい実施形態では、これらのタイプのすべての画素はまた、近赤外において非零感度を呈示する（これはシリコンセンサの場合である）。近赤外におけるこの感度は、厄介なものと通常見なされ、光学フィルタを使用して除去されるが、本発明により活用される。有利には、画素は、すべて同じ構造を有し、通常、それらの表面上のポリマーベースのフィルタリング被覆（パンクロ画素の場合には存在しない）のみが異なる。図１Ｂは、赤色（Ｒ_ＰＢ）、緑色（Ｖ_ＰＢ）、青色（Ｂ_ＰＢ）、およびパンクロ（Ｍ_ＰＢ）画素の感度曲線を示す。近赤外における感度は、すべての４つのタイプの画素に関してほぼ同じであることに注意されたい。指標「ＰＢ」は、「全帯域」を意味し、入射光の赤外成分がフィルタリングされなかったことを示す。

図８を参照して後にさらに詳細に説明されるように、センサはまた、（近赤外にのみ敏感な）第５のタイプの画素を含み得る。

図は、可視（３５０〜７００ｎｍ）ＶＩＳスペクトル帯と近赤外（８００〜１１００）ＰＩＲスペクトル帯とを識別する。中間帯域（７００〜８００ｎｍ）は、フィルタリングされ得るが、これは、本発明の場合には有利でない。中間帯域（７００〜８００ｎｍ）は、より有用には近赤外と見なされ得る。

有利には、マトリクスセンサＣＭはまた、「スパース」であり得、これは、パンクロ画素が３つの色のそれぞれの数と少なくとも同程度に多く、好適にはそれより多く存在することを意味する。有利には、画素の少なくとも半分は、パンクロである。これは、いかなるフィルタも含まないパンクロ画素が着色画素より多くの光を受光するため、センサの感度を強化することを可能にする。

画素の配置は、疑似ランダムであり得るが、好適には画像処理作業を容易にするために規則的（すなわち、２つの空間次元に従って周期的）である。画素の配置は、特にランダムパターン上で周期性（すなわち、画素が疑似ランダムに分散される周期的繰り返しのブロック）であり得る。

一例として、図３Ａの左側部分は、マトリクスセンサのパターンを示す。ここで、２つのうちの１つの画素がパンクロタイプ（ＰＭ）、４つのうちの１つが緑色（ＰＶ）、８つのうちの１つが赤色（ＰＲ）、８つのうちの１つが青色（ＰＢ）である。この例において緑色画素が赤色または青色のものより多いという事実は、人間の眼がこの色の感度ピークを呈示するという事実を反映するが、緑色画素、青色画素および赤色画素間のこの比率は、本発明では強制的なものではない（本発明は、これらの異なるタイプの画素間に存在する任意の他の比率に対処できる）。

疑似ランダムである（但し、これらの異なるタイプの画素間で制御された配分を有する）着色およびパンクロ画素の分布を含む次元Ｍ×Ｎのブロックの規則的繰り返しにより得られるセンサを使用することも可能である。

例えば、図３Ｂは、「１／１６」と呼ばれるセンサパターンを示す（「１／Ｎ」は、Ｎ個のうちの１つの画素が青色または赤色であることを意味する）。ここで、パンクロタイプの１２個の画素、赤色タイプの１つの画素、青色タイプの１つの画素および緑色タイプの２つの画素がランダムに分散された４×４画素の繰り返しパターンが識別され得る。ランダム分布パターンのいくつかの構成は、図３Ａ（「１／８」タイプのスパース）であるか、図３Ｂ（「１／１６」タイプのスパース）であるかにかかわらず可能であることが十分に理解される。いくつかのパターンは、後に説明される処理作業により出力画像上で得られるそれらの性能レベルのために優先的に選択され得る。

異なる感度帯域を呈示する４つ以上のタイプの着色画素を、これらの帯域に対応する（かつ適切の場合には近赤外における）複数のモノクロ可視画像を得るために使用することも可能である。したがって、ハイパースペクトル像を得ることが可能である。

さらに、着色画素（またはそれらのすべて）が近赤外に敏感であることは必須ではない。すなわち、パンクロ画素がそうであれば十分であり得る。

図２は、処理回路ＣＴＳにより実施される処理を概略的に示す。この処理の様々な工程は、図３Ａ〜６Ｃを参照して後に詳述される。

回路ＣＴＳは、マトリクスセンサＣＭの様々な画素により検出される光強度値を表すデジタル信号の組を入力として受信する。図２では、この信号の組は、表現「全帯域スパース画像」により示される。第１の処理作業は、様々なタイプの画素に対応する信号をこの組から抽出することを含む。画素Ｍ×Ｎ（Ｍ＞１および／またはＮ＞１）のブロックの規則的配置の場合を考慮することにより、これは、Ｒ_ＰＢ（全帯域赤色）、Ｖ_ＰＢ（全帯域緑色）、Ｂ_ＰＢ（全帯域青色）およびＭ_ＰＢ（全帯域パンクロ）「パターン」の抽出と呼ばれることがある。これらのパターンは、ダウンサンプリングされた画像、すなわち「孔（ｈｏｌｅ）」に対応し、したがってマトリクスセンサのピッチでサンプリングされた完全画像の再構築を進めることが必要である。

全帯域パンクロ画像ＩＭ_ＰＢの再構築は、特にパンクロ画素の数が最も多い場合、最も単純な作業である。これは、２つのうちの１つの画素がパンクロである、図３の場合である。「欠落」画素（すなわち、青色、緑色、または赤色であり、したがってパンクロ画像を再構成するのには直接利用可能でない）に対応する光強度は、例えば単純な双線形補間により計算され得る。最も効果的であると証明された方法は、いわゆる「メディアン」方法であり、各「欠落」画素は、その最近隣パンクロ画素を構成するパンクロ画素により測定された光強度値のメディアンである光強度値を割り当てられる。

全帯域着色画像（赤色、緑色、青色）の再構築は、２つの異なる方法によって２回行われる。第１の方法は、着色画像を再構築するために着色画素のみを使用するために「イントラチャネル」と呼ばれ、第２の方法は、パンクロ画素からの情報も使用するために「インターチャネル」と呼ばれる。このような方法の例は、図４Ａ〜４Ｄ（イントラチャネル）および図５（インターチャネル）を参照して後に説明される。従来、イントラチャネル方法のみが使用される。

全帯域画像は、光学系によりフィルタリングされないＮＩＲ（近赤外）成分により「汚染される」ため、イントラチャネルまたはインターチャネル方法により得られるかどうかにかかわらず、直接使用可能ではない。このＮＩＲ成分は、イントラチャネル方法により得られる全帯域画像ＩＲ_ＰＢ、ＩＶ_ＰＢ、ＩＢ_ＰＢと、第１の比色分析マトリクス（図６Ａの参照子ＭＣｏｌ１）により得られる全帯域パンクロ画像とを組み合わせることにより除去され得る。カラーの可視画像Ｉ_ＶＩＳは、このようにして得られ、３つの赤色、緑色、および青色モノクロ副画像ＩＲ、ＩＶ、ＩＢによりそれぞれ形成される。

インターチャネル方法により得られる全帯域画像ＩＲ^＊ _ＰＢ、ＩＶ^＊ _ＰＢ、ＩＢ^＊ _ＰＢも、第２の比色分析マトリクス（図６Ｂの参照子ＭＣｏｌ２）により全帯域パンクロ画像と組み合わせられる。組み合わせの係数としての役割を果たすこのマトリクスの要素は、近赤外における画像Ｉ_ＰＩＲ（すなわち、さらに具体的には、通常、黒色と白色とのモノクロ画像であり、近赤外のスペクトル帯における画像ＩＯの輝度を表す）を得ることができるように選択される。

任意選択的に、インターチャネル方法により得られる全帯域画像ＩＲ^＊ _ＰＢ、ＩＶ^＊ _ＰＢ、ＩＢ^＊ _ＰＢと、第３の比色分析マトリクス（図６Ｃの参照子ＭＣｏｌ３）による全帯域パンクロ画像との組み合わせは、すべての可視スペクトル帯における画像ＩＯの輝度を表すモノクロ画像Ｉ_ＢＮＬを得ることができるようにする（但し、赤外成分による汚染なしに）。インターチャネル方法は、パンクロセンサからの信号をより多くかつフィルタなしに活用するため、この画像は、カラーの画像Ｉ_ＶＩＳより明るく、したがって低照明条件に特に適し得る。画像Ｉ_ＢＮＬは、近赤外におけるいかなる寄与分も含まず、したがってデジタル的にフィルタリングされることに留意することが重要である。対照的に、Ｄ．Ｈｅｒｔｅｌらによる上述の論文は、可視および近赤外の画像を組み合わせた「低光レベルを有する」画像を得ることについて説明している。このような画像は、Ｉ_ＢＮＬのような純粋に可視領域内の画像とは視覚的に異なる。

いくつかの場合、関心は、近赤外における画像Ｉ_ＰＩＲと場合により低輝度を有するモノクロ可視画像Ｉ_ＢＮＬとに専ら集中され得る。これらの場合、イントラチャネル再構築方法を実施する必要はないであろう。

次に、「イントラチャネル」タイプの有利な画像再構築方法について、図４Ａ〜４Ｄを参照して説明する。この説明は、文献において知られる多くの他の方法（拡散、ウェーブレット、色相恒常性および他のこのような手法）が本発明の実施形態に適し得るため、単に一例として与えられる。

図３Ａのマトリクスセンサでは、青色画素は、規則的副パターンでグループ化される。これらの画素により形成されるパターンＭ_ＰＢは、互いに同一であるが、空間的にオフセットされた２つの副パターンＳＭＰＢ１、ＳＭＰＢ２へ分解され得、これらの副パターンのそれぞれは、５×５画素の四角の角に４つの青色画素を有する。これは図４Ａに示される。この規則的副パターンへの分解方法は、Ｍ×Ｎ画素のブロック内に定義されたランダム配置にかかわらず、様々なタイプの画素へ適用可能である。特に、処理回路ＣＴＳが専用デジタル回路によって生成される場合、並列に処理され得る副パターンへパターンＭＰＶを分解することが有利である。

図４Ｂは、緑色画素のパターンが４つの副パターンＳＭＰＶ１、ＳＭＰＶ２、ＳＭＰＶ３、ＳＭＰＶ４へ分解される場合を示す。完全緑色モノクロ画像ＩＶ_ＰＢ ^１、ＩＶ_ＰＢ ^２、ＩＶ_ＰＢ ^３、ＩＶ_ＰＢ ^４は、これらの副パターンの双線形補間によって得られる。次に、「全帯域」緑色モノクロ画像ＩＶ_ＰＢが、これらを平均化することにより得られる。

全帯域赤色および青色画像の再構築は、若干より複雑である。これは、米国特許第４，６４２，６７８号明細書に記載の「色相恒常性」に類似する方法に基づく。

最初に、全帯域緑色画像ＩＶ_ＰＢが赤および青色画素のパターンから減じられる。さらに具体的には、これは、全帯域緑色画像ＩＶ_ＰＢの対応する画素の強度を表す値が、各赤または青色画素から導出される信号から減じられることを意味する。赤色画素のパターンは、２つの副パターンＳＭＰＲ１、ＳＭＰＲ２へ分解され、減算後、修正副パターンＳＭＰＲ１’、ＳＭＰＲ２’が得られ、同様に、青色画素のパターンは、２つの副パターンＳＭＰＢ１、ＳＭＰＢ２へ分解され、減算後、修正副パターンＳＭＰＢ１’、ＳＭＰＢ２’が得られる。これは図４Ｃに示される。

次に、図４Ｄに示すように、画像ＩＲ１’_ＰＢ、ＩＲ２’_ＰＢは、赤色副パターンの双線形補間によって得られ、平均化されて修正赤色画像ＩＲ_ＰＢ’を提供する。同様に、画像ＩＢ１’_ＰＢ、ＩＢ２’_ＰＢは、赤色副パターンの双線形補間によって得られ、平均化されて修正青色画像ＩＢ_ＰＢ’を提供する。

全帯域赤色画像ＩＲ_ＰＢおよび全帯域青色画像ＩＢ_ＰＢは、全帯域緑色画像ＩＶ_ＰＢを修正赤色および青色画像ＩＲ_ＰＢ’、ＩＢ_ＰＢ’へ加算することにより得られる。

赤および青色画素のパターンから再構築された緑色画像を減じ、処理の終わりにそれを加算することにより、このように進めることの恩恵は、修正されたパターンが、補間誤差を低減することを可能にする低強度ダイナミックレンジを呈示することである。この問題は、より精細にサンプリングされる緑色にとってそれほど差し迫ったものではない。

インターチャネル再構築は、異なる方法で行われる。インターチャネル再構築は、赤色、緑色、青色画素のみを活用するイントラチャネル再構築と異なり、パンクロ画素を明示的に活用する。一例として、インターチャネル再構築は、図５Ａおよび５Ｂを使用して示される「モノクロ法則（ｍｏｎｏｃｈｒｏｍｅｌａｗ）」と見なされ得るアルゴリズムにより行われ得る。このアルゴリズムが基づくアイデアは、着色成分（緑色、赤色、および青色）が、通常、パンクロ成分のものにほぼ「従う」空間的変動を呈示することである。したがって、着色成分の欠落画素の輝度レベルを計算するために、そのより高密度の空間サンプリングから恩恵を受けることにより、双線形補間によって再構成されるパンクロ成分を使用することが可能である。さらに具体的には、各着色画素の輝度レベルは、パンクロ画像の対応する画素の輝度へ線形またはアフィン関数を適用することにより判断され得る。対象となる線形またはアフィン関数は、局所的に判断され、近い既知着色画素の輝度レベルに依存する（直接測定されるかまたは既に計算されているため）。

図５Ａは、４つのうちの１つの行のみが青色画素を含むスパースセンサの場合に関する。これらの行内では、４つのうちの１つの画素が青色である。図３を参照して上述したように得られるセンサのすべての画素に対して定義された「全」パンクロ画像も存在する。図５Ｂは、青色成分が定義されない３つの画素により分離された２つの青色画素を含むマトリクスセンサのセグメントを示す。行のこの部分に重ね合わせられて、すべての画素にわたって定義されたパンクロ画像の一部が存在する。Ｃ_１およびＣ_５は、行セグメントの両端の２つの青色（より一般的には着色）画素の既知輝度を示すために使用され、Ｃ_２、Ｃ_３およびＣ_４は、３つの中間画素に対応する青色成分の輝度（計算される）を示し、Ｍ_１〜Ｍ_５は、これらの同じ画素に対応するパンクロ画像の既知輝度を示す。

本方法の第１の工程は、パンクロ画像を使用して画像の青色成分の行を再構築することを含み、青色画素を含む行（すなわち、４つのうちの１つの行）のみがこのようにして再構築される。この工程の終わりに、青色成分が定義されない行により分離された完全青色行が存在する。これらの列を見ると、各列において４つのうちの１つの画素が青色であることに注意されたい。したがって、行に関して行われたように、パンクロ画像の知識により支援された補間により、青色列を再構成することが可能である。同じ処理が緑および赤色成分に関して適用される。

画像の着色成分を再構築するモノクロ法則の適用は、以下の方法で進む。

関心は、対象となるカラーのパターンの２つの画素Ｃ_１およびＣ_５（これらの２つの着色画素と同一場所に配置される端画素Ｍ_１、Ｍ_５を含む）間に位置する再構成されたパンクロ画像の画素Ｍ_１〜Ｍ_５に集中される。次に、パンクロ画像の対応部分が一様であると見なされ得るかどうかについて判断がなされる。これを行うために、Ｍ_１とＭ_５との間のパンクロ輝度の全変動が閾値Ｔｈと比較される。｜Ｍ_５−Ｍ_１｜＜Ｔｈであれば、この区域は一様であると見なされ、そうでなければ一様でないと見なされる。

パンクロ画像の区域が一様であると見なされる場合、全パンクロ輝度Ｍ_１＋Ｍ_２＋Ｍ_３＋Ｍ_４＋Ｍ_５が閾値（特に熱雑音の関数）未満であるかどうかを見るためにチェックがなされる。この場合、パンクロ画像は使用可能情報を含まず、着色成分の再構築（さらに具体的には、着色画素Ｃ_２、Ｃ_３およびＣ_４の輝度の計算）は、Ｃ_１とＣ_５との間の線形補間により行われる。換言すれば、ステップバイステップ再構築は、次のように行なわれる。

換言すれば、再構築された各着色画素の輝度は、パンクロ画像上で測定された局所変動率を適用することにより、直接先行する着色画素の輝度から再構築の順に判断される。

輝度が整数値である必要がある場合、計算結果は丸められる。

パンクロ画像の区域が一様であると見なされない場合（｜Ｍ_５−Ｍ_１｜≧Ｔｈ）、「モノクロ法則」（すなわち、Ｍ_ｉ（ｉ＝１〜５）に応じてＣ_ｉを表現するアフィン関数）の適用により、着色画素Ｃ_２〜Ｃ_４を直接再構築することが可能であり、その結果、Ｃ_１とＣ_５との計算値は測定値に一致する。
Ｃ_ｉ＝ｍ・Ｍ_ｉ＋ｐ
ここで、

および
ｐ＝Ｃ_１−ｍ・Ｍ_１である。

ここでも再び、輝度が整数値で有る必要がある場合、計算結果は丸められる。

モノクロ法則の直接適用による再構築は、再構築された着色成分の過大なダイナミックレンジまたはそうでなければその飽和に至り得る。この場合、ステップバイステップ再構築に戻ることは価値があり得る。例えば、過大なダイナミックレンジ状態は、

の場合に観測され得る。ここで、Ｔｈ１は、閾値（通常、Ｔｈと異なる）である。

ｍｉｎ（Ｃ_ｉ）＜０またはＭａｘ（Ｃ_ｉ）が最大許容値（１６ビットで符号化された整数により表現される輝度の場合を考慮すると６５５３５）より大きい場合、飽和が観測され得る。

明らかに、図５Ａおよび５Ｂの、５つの画素のセグメントによる着色成分の再構築を含む構成は、単に一例として与えられ、本方法の他の構成への一般化は、いかなる著しい困難も生じない。

本方法の変形形態が可能である。例えば、両方の近い着色画素（対象となる着色画素のパターンに依存して一定距離に位置する）を使用することにより、着色画素および再構成された隣のパンクロ画素の輝度を判断するための別の手法は、例えば、隣のパンクロ画素の多項式近似（より一般的には非線形空間表面関数（ｎｏｎｌｉｎｅａｒｓｐａｔｉａｌｓｕｒｆａｃｅｆｕｎｃｔｉｏｎ）の近似）を使用することにより、着色画素の分布を近似する非線形関数を使用することを含む。これらの一軸非線形関数または逆に表面二軸非線形関数の利点は、再構築される画素に最も近い着色画素より大きいスケールで着色画素の分布を考慮することである。このアイデアのフレームワーク内で、パンクロ画素の輝度値に現われる局所傾きおよび突然ジャンプを活用するより、一般的な値拡散関数を使用することも可能である。使用される方法を問わず、原理は同じままであり、着色画素を再構築するために着色画素より多いパンクロ画素とその変動の法則とを活用する。

モノクロ法則方法は、２つの連続一軸パスを有する手法を含むが、表面関数または拡散方程式の使用は、着色画素を再構築するためにシングルマス手法（ｓｉｎｇｌｅ−ｍａｓｓａｐｐｒｏａｃｈ）を通じて進むことを可能にする。

処理のこの段階では、全帯域パンクロ画像ＩＭ_ＰＢと、２組の３つの全帯域モノクロ画像（ＩＲ_ＰＢ，ＩＶ_ＰＢ，ＩＢ_ＰＢ）および（ＩＲ^＊ _ＰＢ，ＩＶ^＊ _ＰＢ，ＩＢ^＊ _ＰＢ）とが存在する。上述のように、これらの画像のいずれも直接使用可能ではない。しかし、可視光におけるカラー画像Ｉ_ＶＩＳは、第１の組の全帯域画像（ＩＲ_ＰＢ、ＩＶ_ＰＢ、ＩＢ_ＰＢ）と全帯域パンクロ画像ＩＭ_ＰＢとを３×４比色分析マトリクスＭＣｏｌ１を介して組み合わせることにより得られる。さらに具体的には、可視画像Ｉ_ＶＩＳの赤色成分ＩＲは、ＩＲ_ＰＢ、ＩＶ_ＰＢ、ＩＢ_ＰＢとＩＭ_ＰＢと係数ａ_１１、ａ_１２、ａ_１３、ａ_１４との線形結合により与えられる。同様に、緑色成分ＩＶは、ＩＲ_ＰＢ、ＩＶ_ＰＢ、ＩＢ_ＰＢ、ＩＭ_ＰＢと係数ａ_２１、ａ_２２、ａ_２３、ａ_２４との線形結合により与えられ、青色成分ＩＢは、ＩＭ_ＰＢ、ＩＶ_ＰＢ、ＩＢ_ＰＢ、ＩＲ_ＰＢと係数ａ_３１、ａ_３２、ａ_３３、ａ_３４との線形結合により与えられる。これは図６Ａにより示される。

次に、可視画像Ｉ_ＶＩＳは、比色分析マトリクスの係数を確立するために使用されるシーンの光に対するシーンの照明の差を考慮するために、従来のホワイトバランス操作により強化され得る。

同様に、近赤外における画像Ｉ_ＰＩＲは、第２の組の全帯域画像（ＩＲ_ＰＢ ^＊、ＩＶ_ＰＢ ^＊、ＩＢ_ＰＢ ^＊）と全帯域パンクロ画像ＩＭ_ＰＢとを第２の１×４比色分析マトリクスＭＣｏｌ２を介して組み合わせることにより得られる。換言すれば、近赤外における画像Ｉ_ＰＩＲは、ＩＶ_ＰＢ ^＊、ＩＢ_ＰＢ ^＊、ＩＲ_ＰＢ ^＊、ＩＲ_ＰＢ ^＊と係数ａ_４１、ａ_４２、ａ_４３、ａ_４４との線形結合により与えられる。これは図６Ｂにより示される。

いくつかのタイプの画素が近赤外において異なるスペクトル感度を呈示する場合、Ｎ_ＰＩＲ個の異なるスペクトル副帯域（ＮＰＩＲ＞１）に対応して異なる近赤外における複数の画像を得ることが可能である。この場合、第２の比色分析マトリクスＭＣｏｌ２は、Ｎ_ＰＩＲ×（Ｎ_ＰＩＲ＋３）マトリクスになる。ここで、Ｎ_ＰＩＲは、得られる近赤外における画像の数である。以前に扱った事例は、Ｎ_ＰＩＲ＝１の特定の事例である。

次に、近赤外における画像Ｉ_ＰＩＲは、従来の空間フィルタリング操作により強化され得る。この操作は、例えば、雑音の適応フィルタリングを伴うまたは伴わない輪郭強調操作であり得る（引用され得る可能な輪郭強調技術は、高域通過畳み込みフィルタを画像に対して適用することを含む操作を含む）。

マトリクスＭＣｏｌ１、ＭＣｏｌ２は、実際には、Ｎ_ＰＩＲ＝１であり、かつそれ自体使用されない３つのタイプの着色画素が存在する特定の場合における次元４×４の同じ比色分析マトリクス「Ａ」の副マトリクスである。

比色分析マトリクスのサイズは、マトリクスセンサが４つ以上の異なるタイプの着色画素を有する場合に修正されなければならない。一例として、赤外において異なるスペクトル感度を有するＮ_ＰＩＲ個の画素に関して、未フィルタリングパンクロ画素に加え、可視領域における様々な副帯域に敏感なＮ_ＶＩＳ（Ｎ_ＶＩＳ≧３）個のタイプの画素が存在し得る。これらのＮ_ＶＩＳ個のタイプの画素は、さらに、Ｎ_ＰＩＲ個のＰＩＲ画像の取得を可能にするために、近赤外において様々なスペクトル感度を呈示し得る。赤外においてのみ敏感ないかなる画素も存在しないと仮定すると、比色分析マトリクスＭｃｏｌ１は、次元３×（Ｎ_ＶＩＳ＋１）である。

さらに、モノクロ可視画像Ｉ_ＢＮＬは、第２の１×４比色分析マトリクスＭＣｏｌ３を介して第２の組の全帯域画像（ＩＶ_ＰＢ ^＊、ＩＢ_ＰＢ ^＊、ＩＲ_ＰＢ ^＊）と全帯域パンクロ画像ＩＭ_ＰＢとを組み合わせることにより得られる。換言すれば、画像Ｉ_ＢＮＬは、

と、それ自体使用されない別の４×４比色分析マトリクス「

」の最終行を形成する係数との線形結合により与えられる。これは図６Ｃにより示される。

画像Ｉ_ＢＮＬは、従来の空間フィルタ操作によりさらに強化され得る。

比色分析マトリクスＡと、

とは、較正方法により得られる。較正方法は、例えば、可視およびＮＩＲにおいて反射する様々なペイントが蒸着されたパターンを使用する工程と、制御された照明により装置を照明する工程と、係数が最小自乗法により最もよく適合される４×４比色分析マトリクスを使用することにより、これらのペイントが可視およびＮＩＲにおいて有すべき理論的輝度値とその測定結果とを比較する工程とを含む。比色分析マトリクスはまた、優先度として明らかにされるカラーを重み付けることにより、またはシーン内に存在する自然物に対してなされた測定の結果を加算することにより強化され得る。提案方法（カラーに加えてＮＩＲを使用し、４×４マトリクスを使用し、可視およびＮＩＲの両方においてを発光する様々なペイントを使用する）は、色に限定された従来の方法と異なり、３×３マトリクス、「Ｘ−Ｒｉｔｅｃｈｅｃｋｅｒｂｏａｒｄ」などの従来の試験パターン、またはＭａｃｂｅｔｈマトリクスを活用する。

図７Ａおよび図７Ｂは、センサのマイクロスキャンを実施する本発明の可能な強調を示す。マイクロスキャンは、像面におけるマトリクスセンサの周期的変位（振動）またはセンサに対する画像の周期的変位（振動）を含む。この変位は、マトリクスセンサまたは少なくとも１つの画像形成光学素子に作用する圧電アクチュエータまたは直流モータタイプのアクチュエータを使用することにより得られる。いくつかの（通常、２つの）画像取得がこの変位中になされ、空間サンプリングを強化し、したがって画像の再構築を容易にすることを可能にする。明らかに、これは、マイクロスキャンが利用可能でない場合により高い取得率を必要とする。

図７Ａの例において、マトリクスセンサＣＭは、特別な構造を有する。すなわち、２つのうちの１つの列は、パンクロ画素ＰＭで構成され、４つのうちの１つは、緑色画素ＰＶと青色画素ＰＢとの交番画素で構成され、４つのうちの１つは、赤色画素ＰＲと緑色画素ＰＶとの交番画素で構成される。マイクロスキャンは、列に対して直角の方向において、画素の幅に等しい振幅の振動により行われる。センサがその変位の端に位置するときに「パンクロ」行により占められた空間は、それが反対端に位置するときには「着色」行により占められ、逆も同様であることがわかる。画像取得率は、マイクロスキャンなしに取得された画像へ情報を加えることができるように、マイクロスキャンなしに行われたものより高い（例えば、マイクロスキャンなしに得られる周波数の２倍）。

２倍取得周波数の例を挙げることにより、センサの２つの対向極限位置に対応する２つの取得された画像（図７Ａの左側部分）から以下の画像（同図の右側部分）を再構築することが可能である：
− ２の形状比率（ｆｏｒｍｒａｔｉｏ）を有する変位の方向に細長い形状を有する再構築画素により形成される、対角線に沿って配置された４画素（２緑色、１青色、１赤色）のパターン（いわゆる「Ｂａｙｅｒ」マトリクス）の繰り返しにより形成されるカラーの画像、
− 補間の必要なしに直接使用可能な「全」パンクロ画像。
これらの２つの再構築画像は、取得周波数より２倍低い率で取得された。

実際、マイクロスキャンは、パンクロおよび着色画素情報を完成し、本発明に関連して提示される処理作業は、マイクロスキャン前の検出器から生成されるパターンおよびサブスキャン後に得られる追加パターンから生成されるパターンに直接適用され得るため、図７Ａに提示されるような特異パターンを使用することは本質的ではないが、特異パターンは、単純化されたアルゴリズムにより適用され得る。さらに、マイクロスキャンは、２つの軸に対して行われ得、および／または画素の幅より大きい振幅を有し得る。

一例として、図７Ｂは、図３ＡのセンサＣＭへのマイクロスキャンの適用を示す。１／８タイプのスパース構成のこの例では、マイクロスキャンは、すべてのパンクロ画素をカバーすることと、以前パンクロであった点で重ね合わせられるとともに全体で当初より２倍多い副パターンへ処理作業を適用できるようにする２つの青色副パターン、２つの赤色副パターンおよび４つの緑色副パターンを追加することとを含む。より複雑なスパース構成（１／Ｎ、Ｎ≧１６）では、マイクロスキャンをマトリクスの２次元におけるＭ個の位置に対して同時に一般化して、副パターンの数に関して係数Ｍだけ節約することとが可能である。

これまで、正確に４つのタイプ（赤色、緑色、青色、およびパンクロ）の画素を含むマトリクスセンサの場合のみを考察したが、これは本質的な限定ではない。図１Ｂに示されものと異なる感度曲線を呈示する３つの（さらに多くの）タイプの着色画素を使用することが可能である。さらに、近赤外における放射に対してのみ敏感な第５のタイプの画素を使用することが可能である。一例として、図８は、４つのうちの１つの画素がパンクロであり（参照子ＰＭ）、４つのうちの１つの画素が近赤外に対してのみ敏感であり（参照子ＰＩ）、４つのうちの１つの画素が緑色であり（参照子ＰＶ）、８つのうちの１つの画素が赤色であり（参照子ＰＲ）、８つのうちの１つの画素が青色である（参照子ＰＢ）マトリクスセンサを表す。

第５のタイプの画素からの信号は、様々な方法で使用され得る。例えば、画像ＩＲ_ＰＢ ^＊、ＩＶ_ＰＢ ^＊、ＩＢ_ＰＢ ^＊、ＩＭ_ＰＢに対する比色分析マトリクスＭＣｏｌ２の適用により得られる画像Ｉ_ＰＩＲにより平均化され得る、例えば、Ｉ_ＰＩＲ ^Ｄにより示される近赤外における画像を図４Ａ〜４Ｄの「イントラチャネル」方法により再構築することが可能である（指数「Ｄ」は「直接」取得された画像であることを意味する）。次元１×５の比色分析マトリクスＭＣｏｌ２を使用することと、ＩＲ_ＰＢ ^＊、ＩＶ_ＰＢ ^＊、ＩＢ_ＰＢ ^＊、ＩＭ_ＰＢ、Ｉ_ＰＩＲ ^Ｄとマトリクス係数ａ_４１、ａ_４２、ａ_４３、ａ_４４、ａ_４５との線形結合により近赤外における画像Ｉ_ＰＩＲを得ることも可能である。画像Ｉ_ＰＩＲ ^Ｄはまた、追加列を含みサイズ３×（Ｎ_ＶＩＳ＋２）になる比色分析マトリクスＭＣｏｌ１を校正するために使用され得る。再生された各赤色、緑色、青色成分は、全帯域において再生されたＮ_ＶＩＳ個の面、再構築されたパンクロ面、および画素Ｉ_ＰＩＲ ^Ｄから再構築されたＰＩＲ面に応じて表現される。

図９Ａは、可視光において観測されたシーンの合成画像である。画像の左側部分（Ｉ’_ＶＩＳ）は、図３の「スパース」マトリクスセンサを使用することにより本発明に従って得られた。右側部分（Ｉ’_ＶＩＳ）は、非スパースセンサを使用することにより、従来の方法によって得られた。２つの画像の質は同等である。

図９Ｂは、近赤外において観測された同じシーンの合成画像である。画像の左側部分Ｉ_ＰＩＲは、図３の「スパース」マトリクスセンサを使用することにより本発明に従って得られた。右側部分Ｉ’_ＰＩＲは、非スパースセンサを有するＮＩＲカメラを使用することにより得られた。画像は同等の品質であるが、本発明に従って得られた画像Ｉ_ＰＩＲは、スパースセンサの使用のためにより明るい。

Claims

− 画素の２次元配置を含むマトリクスセンサ（ＣＭ）であって、各画素は、シーン（ＳＣ）の光像（ＩＯ）の点における光強度を表す電気信号を生成するように適合される、マトリクスセンサ（ＣＭ）と、
− 前記シーンのデジタル画像（Ｉ_ＶＩＳ，Ｉ_ＰＩＲ）を生成するために、前記画素によって生成された前記電気信号を処理するように構成された信号処理回路（ＣＴＳ）と
を含む画像取得システム（ＳＡＩ）であって、前記マトリクスセンサは、
− 少なくとも１つの、第１のスペクトル帯内の可視光に敏感な第１のタイプ（ＰＶ）と、前記第１と異なる第２のスペクトル帯内の可視光に敏感な第２のタイプ（ＰＢ）と、前記第１および第２と異なる第３のスペクトル帯内の可視光に敏感な第３のタイプ（ＰＲ）とのいわゆる着色画素であって、前記第１、第２および第３のスペクトル帯の組み合わせは、すべての可視スペクトルを再構成する、いわゆる着色画素、および
− 前記すべての可視スペクトルに敏感ないわゆるパンクロ画素（ＰＭ）であって、少なくとも近赤外にも敏感であるいわゆるパンクロ画素（ＰＭ）
の２次元配置を含む、画像取得システム（ＳＡＩ）において、前記信号処理回路は、
− 前記着色画素によって生成される前記電気信号から第１の組のモノクロ画像（ＩＶ_ＰＢ，ＩＢ_ＰＢ，ＩＲ_ＰＢ）を再構築することと、
− 前記パンクロ画素によって生成される前記電気信号からパンクロ画像（ＩＭ_ＰＢ）を再構築することと、
− 前記着色画素によって生成される前記電気信号および前記パンクロ画像から第２の組のモノクロ画像（ＩＶ＊_ＰＢ，ＩＢ^＊ _ＰＢ，ＩＲ＊_ＰＢ）を再構築することと、
− 前記第１の組の前記モノクロ画像および前記パンクロ画像への第１の比色分析マトリクス（ＭＣｏｌ１）の適用により、カラー画像（Ｉ_ＶＩＳ）を再構築することと、
− 少なくとも前記第２の組の前記モノクロ画像および前記パンクロ画像への第２の比色分析マトリクス（ＭＣｏｌ２）の適用により、前記近赤外における少なくとも１つの画像（Ｉ_ＰＩＲ）を再構築することと、
− 出力として前記カラー画像および前記近赤外における前記または少なくとも１つの前記画像を提供することと
を行うように構成されることを特徴とする、画像取得システム（ＳＡＩ）。
前記着色画素は、前記近赤外にも敏感である前記第１、第２および第３のタイプの前記画素のみを含む、請求項１に記載の画像取得システム。
前記第１、前記第２および前記第３のタイプのうちの１つのタイプの前記画素は、緑色光に敏感であり、前記第１、前記第２および前記第３のタイプのうちの別のものの前記画素は、青色光に敏感であり、かつ前記第１、前記第２および前記第３のタイプのうちの残りのタイプの前記画素は、赤色光に敏感である、請求項１または２に記載の画像取得システム。
前記マトリクスセンサは、スパースタイプのものであり、その画素の４分の１を超える画素、好適には少なくとも２分の１の画素は、パンクロである、請求項１〜３のいずれか一項に記載の画像取得システム。
前記信号処理回路は、
− 前記第１タイプの各画素に関連付けられた前記光強度を判断し、かつ前記光強度の補間によって前記第１の組の第１のモノクロ画像（ＩＶ_ＰＢ）を再構築する工程と、
− 前記他のタイプの各着色画素に関連付けられた前記光強度を判断し、かつ前記第１のモノクロ画像の対応する画素に関連付けられた強度を表す値をそれから減じる工程と、
− 前記他のタイプの前記それぞれの着色画素の光強度値であって、前記第１のモノクロ画像の対応する画素に関連付けられた前記強度を表す前記値が減じられた光強度値の補間により、新しいモノクロ画像（ＩＢ’_ＰＢ，ＩＲ’_ＰＢ）を再構築し、その後、前記第１の組のそれぞれの最終モノクロ画像（ＩＢ_ＰＢ，ＩＲ_ＰＢ）を取得するために、前記新しい再構築画像と前記第１のモノクロ画像（ＩＶ_ＰＢ）とを組み合わせる工程と
を含む方法の適用により、前記第１の組の前記モノクロ画像を再構築するように構成される、請求項１〜４のいずれか一項に記載の画像取得システム。
前記信号処理回路は、前記パンクロ画素によって生成される前記電気信号の補間により、前記パンクロ画像を再構築するように構成される、請求項１〜５のいずれか一項に記載の画像取得システム。
前記信号処理回路は、局所的に定義された線形関数を前記パンクロ画像の前記対応する画素の輝度へ適用することによって各前記画像の各画素の輝度レベルを計算することにより、前記第２の組の前記モノクロ画像を再構築するように構成される、請求項１〜６のいずれか一項に記載の画像取得システム。
前記信号処理回路は、前記第２の組の前記画像の前記画素に対応する前記パンクロ画像の画素の近傍における前記パンクロ画像の複数の画素の輝度レベル、および／または複数の着色画素の前記光強度の非線形関数によって各前記画像の各画素の前記輝度レベルを計算することにより、前記第２の組の前記モノクロ画像を再構築するように構成される、請求項１〜７のいずれか一項に記載の画像取得システム。
前記マトリクスセンサは、前記異なるタイプの画素の疑似ランダム分布を含む周期的繰り返しのブロックから構成され、前記信号処理回路は、
− 前記マトリクスセンサから同じタイプの画素の規則的パターンを抽出することと、
− 前記同じタイプの画素の前記規則的パターンの並行処理により、前記第１の組および第２の組のモノクロ画像を再構築することと
を行うように構成される、請求項１〜８のいずれか一項に記載の画像取得システム。
前記信号処理回路はまた、少なくとも前記第２の組の前記モノクロ画像および前記パンクロ画像への第３の比色分析マトリクス（ＭＣｏｌ３）の適用により、低輝度レベルを有するモノクロ画像を再構築するように構成される、請求項１〜９のいずれか一項に記載の画像取得システム。
前記マトリクスセンサ（ＣＭ）はまた、前記近赤外のみに敏感な画素の２次元配置（ＰＩ）を含み、前記信号処理回路は、前記画素によって生成される前記電気信号からも前記近赤外における前記画像（Ｉ_ＰＩＲ）を再構築するように構成される、請求項１〜１０のいずれか一項に記載の画像取得システム。
前記マトリクスセンサと前記光像との間の相対的周期的変位を生成するためのアクチュエータも含み、前記マトリクスセンサは、前記マトリクスセンサおよび前記光像の複数の別個の相対位置に対応する前記マトリクスセンサの前記画素によって生成される電気信号から前記第１および第２の組のモノクロ画像と前記パンクロ画像とを再構築するように適合される、請求項１〜１１のいずれか一項に記載の画像取得システム。
− 請求項１〜１２のいずれか一項に記載の画像取得システム（ＳＡＩ）と、
− 前記近赤外のフィルタリングなしに前記画像取得システムのマトリクスセンサ（ＳＣ）上でシーン（ＳＣ）の光像（ＩＯ）を形成するように適合された光学系（ＳＯ）と
を含む可視近赤外両スペクトルカメラ（ＣＢＳ）。
請求項１３に記載の両スペクトルカメラの使用による、カラーおよび近赤外における画像の同時取得の方法。