JP6716218B2 - 複数ピクセルピッチ超解像技術 - Google Patents

Description

本開示は、一般に、カメラシステムに関し、より詳しくは、カメラシステムおよび方法における超解像技術に関する。

カメラシステムは、衛星、無人航空機（UAV）、および情報・監視・偵察（ISR）のために使用される他の監視プラットフォームの重要な構成要素である。最近、カメラシステムにおける解像度を向上するための技術が、軍用および民間環境で使用するために、ますます多くの用途に統合されている。解像度向上技術は、これらの用途にわたってさまざまな形態をとることができる。例えば、そのような技術は、コンピューターソフトウェアを介して実現され、一方、他の解像度向上技術は、使用する物理光学からもたらされる可能性がある。

しかしながら、解像度向上技術は、デジタル・カメラ・システムにおいて制限される可能性がある。特に、デジタルカメラは、ある期間にわたって電荷結合素子（CCD）または他の光検出器アレイによって受け取られた光子を検出することによってデジタル画像を取得することができる。標準CCDカメラデータの解像度は、CCDカメラにおける個々のピクセルのサイズおよび数によって強く制限される。

超解像技術と呼ばれる計算技術を使用して、その物理的限界を超えてCCDカメラの解像度を高めることができる。超解像度技術を用いることで、元々取得した画像の解像度より高い解像度の画像を生成することができる。より具体的には、超解像度技術は、多数の低解像度画像を互いに比較し、次いで、これらの低解像度画像から、より高い解像度の画像を統計的に作り出す。

一実施形態によれば、超解像度画像を生成するためのカメラシステムを開示する。カメラシステムは、ターゲットシーンと、そのターゲットシーンの第一の画像を取得するよう構成される第1の検出器と、そのターゲットシーンの第2の画像を取得するよう構成される第2の検出器とを含むことができる。第1の検出器は、第1のピッチを含むことができ、第2の検出器は、第1のピッチとは異なる第2のピッチを含むことができる。

改良例において、第1のピッチは、第1のピクセルサイズとすることができ、第2のピッチは、第2のピクセルサイズとすることができる。

別の改良例において、カメラシステムは、ターゲットシーンから焦点面上に光を収束するよう構成される光学素子の第1のセットをさらに含んでもよい。

別の改良例において、カメラシステムは、ターゲットシーンから、第1の検出器および第2の検出器上に、光を拡散するよう構成される部分反射器をさらに含んでもよい。第1の検出器および第2の検出器のそれぞれは、光学素子の第1のセットを使用することができ、第1の画像および第2の画像を同時に取得してもよい。

別の改良例において、カメラシステムは、ターゲットシーンから第2の検出器上に光を収束するよう構成される光学素子の第2のセットをさらに含んでもよく、光学素子の第1のセットは、ターゲットシーンから第1の検出器上に光を収束するよう構成することができる。

別の改良例において、ターゲットシーンは動いていてもよく、第1の検出器および第2の検出器は静止状態であり、第2の画像は、第1の画像と異なる時点で取得してもよい。

別の改良例において、第1の検出器および第2の検出器が動いていてもよく、ターゲットシーンが静止状態であってもよく、第2の画像を第1の画像と異なる時点で取得してもよい。

別の改良例において、カメラシステムは、第1の検出器および第2の検出器上に光を屈折するよう構成されるプリズムをさらに含んでもよい。

別の改良例において、第1の検出器および第2の検出器は、プリズムに対して動くようさらに構成することができる。

別の改良例において、第1のピッチは、ターゲットシーンに対する第1の検出器の位置を含むことができ、第2のピッチは、ターゲットシーンに対する第2の検出器の位置を含むことができ、第1の検出器および第2の検出器は、同じピクセルサイズを有することができる。

別の改良例において、カメラシステムは、第1の画像と第2の画像とを、単一の画像に結合するよう構成される処理ユニットをさらに含んでもよい。

別の実施形態によれば、超解像度画像を生成するための方法を開示する。本方法は、第1のピクセルサイズを含む、第1の検出器アレイを用いて、ターゲットシーンの第1の画像を取得するステップと、第1のピクセルサイズとは異なる第2のピクセルサイズを含む、第2の検出器アレイを用いて、ターゲットシーンの第2の画像を取得するステップと、第1の画像および第2の画像を、単一超解像度画像に結合するステップとを含むことができる。

改良例において、第1のピクセルサイズと異なる第2のピクセルサイズを含む、第2の検出器アレイを用いて、ターゲットシーンの第2の画像を取得するステップは、第1の画像を取得するのと同じ時点で第2の画像を取得するステップをさらに含んでもよい。

別の改良例において、本方法は、ターゲットシーンから、第1の検出器アレイおよび第2の検出器アレイ上に、光を拡散するために部分反射器を使用するステップをさらに含んでもよい。

別の改良例において、第1のピクセルサイズと異なる第2のピクセルサイズを含む、第2の検出器アレイを用いて、ターゲットシーンの第2の画像を取得するステップは、第1の画像を取得するのと異なる時点で第2の画像を取得するステップをさらに含んでもよい。

別の改良例において、本方法は、第1の検出器アレイおよび第2の検出器アレイに対して動いているターゲットシーンを提供するステップをさらに含んでもよく、第1の検出器アレイおよび第2の検出器アレイは、静止状態である。

別の改良例において、本方法は、ターゲットシーンに対して、第1の検出器アレイおよび第2の検出器アレイを動かすステップをさらに含んでもよく、ターゲットシーンは、静止状態である。

さらに別の実施形態によれば、超解像度画像を生成するための方法を開示する。本方法は、第1の検出器アレイを用いて、ターゲットシーンの第1の画像を取得するステップと、第1の検出器アレイから所定の片寄りで配置される第2の検出器アレイを用いて、ターゲットシーンの第2の画像を取得するステップと、第1の画像および第2の画像を単一超解像度画像に結合するステップとを含むことができる。

改良例において、本方法は、同じピクセルサイズを有する、第1の検出器アレイおよび第2の検出器アレイを提供するステップをさらに含むことができる。

別の改良例において、本方法は、第2の検出器アレイから所定の片寄りで配置される、同じピクセルサイズの、第3の検出器アレイを用いて、ターゲットシーンの第3の画像を取得するステップをさらに備えることができ、ここで、第1の画像および第2の画像を単一超解像度画像に結合するステップは、第1の画像、第2の画像、および第3の画像を、単一超解像度画像に結合するステップをさらに備える。

これらならびに他の態様および形態は、添付図面と合わせて、以下のより詳細な説明を読むことで、より容易に理解されよう。さらに、さまざまな形態が、特定の例示的な実施形態に対して開示されるが、さまざまな形態は、本開示の範囲を逸脱することなく、さまざまな例示的な実施形態のいずれかを用いて、互いに組み合わせてもよいこと、または単独で用いてもよいことが理解される。

本開示の一実施形態による、カメラシステムの模式図である。 図1のカメラシステムの第1の検出器アレイおよび第2の検出器アレイの線図である。 図2の第1の検出器アレイおよび第2の検出器アレイから得られる単一超解像度画像の線図である。 図2の第1の検出器アレイからの第1の画像と、図2の第2の検出器アレイからの第2の画像とを結合し、図3の単一超解像度画像を生成するための処理の線図である。 別の実施形態による、第1の検出器アレイおよび第2の検出器アレイの線図である。 ターゲットシーンに対する、図5の第1の検出器アレイおよび第2の検出器アレイの平面図である。 別の実施形態による、単一超解像度画像を生成するために使用される、複数の検出器アレイの線図である。 別の実施形態による、カメラシステムの模式図である。 さらに別の実施形態による、カメラシステムの模式図である。 別の実施形態による、超解像度画像を生成するための処理を示すフローチャートである。 別の実施形態による、超解像度画像を生成するための別の処理を示すフローチャートである。

この開示で示される各図は、提供する実施形態の一態様の変形例を示し、異なる点のみを詳細に説明する。

本開示は、さまざまな変形例および代替構造の余地があるが、それらのある例示的な実施形態が以下に詳細に示され、説明される。本開示は、開示する特定の実施形態に限定されず、代わりに、それらのすべての変形例、代替構造、および等価物を含む。

特定の実施形態または形態を詳細に参照し、それらの例を、添付図面で示す。一般に、対応する参照番号が、同じか、または対応する部分を示すために、図面全体を通じて使用される。

図1は、本開示の一実施形態による、超解像度デジタル画像を生成するためのカメラシステム100を模式的に示す。カメラシステム100を用いて、ターゲットシーン102は、第1の検出器アレイ104および第2の検出器アレイ106によって取得することができる。例えば、光学素子の第1のセット108は、ターゲットシーン102から、第1の焦点面112上に、光110を収束することができ、光学素子の第2のセット114は、ターゲットシーン102から、第2の焦点面116上に、光110を収束することができる。光学素子の第1のセット108および光学素子の第2のセット114は、1つまたは複数のレンズ118、開口部120、または他の光学素子（図示せず）を含んでもよい。

この実施形態において、第1の検出器アレイ104は、第1の焦点面112に配置することができ、第2の検出器アレイ106は、第2の焦点面116に配置することができる。第1の検出器アレイ104および第2の検出器アレイ106のそれぞれは、ターゲットシーン102からの光110の強度を検出することができる。さらに、第1の検出器アレイ104は、第2の検出器アレイ106と近接してもよい。例えば、第2の検出器アレイ106は、第1の検出器アレイ104の真下に配置してもよいが、他の箇所を用いてもよい。カメラシステム100が、2つより多いか、または少ない検出器アレイ104、106と、2つより多いか、または少ない、光学素子のセット108、114とを含んでもよいことが理解されよう。

ここで図2から図4を参照し、図1の参照を引き続き参照すると、第1の検出器アレイ104は、第1の検出器122のアレイを備えることができ、ターゲットシーン102の第1の画像124を取得するよう構成することができる。同様に、第2の検出器アレイ106は、第2の検出器126のアレイを備えることができ、ターゲットシーン102の第2の画像128を取得するよう構成することができる。個々の検出器122、126のそれぞれは、画像データを記録するよう構成することができる。例えば、個々の検出器122、126のそれぞれは、電荷結合素子（CCD）、CMOSセンサ、CIDセンサ、または他の画像センサを備えてもよい。各検出器122、126は、その箇所での光の強度、または単位時間ごとの光子数を測定および格納することができる。

超解像度画像を生成するために、カメラシステム100は、複数のピクセルピッチを含むことができる。例えば、第1の検出器アレイ104は、第1のピッチ130を含むことができ、第2の検出器アレイ106は、第1のピッチ130とは異なる第2のピッチ132を含むことができる。図2の例では、複数のピクセルピッチは、検出器アレイ104、106の複数のピクセルサイズに関係してもよい。例えば、第1のピッチ130は、第1の検出器アレイ104の第1のピクセルサイズ134に関係することができ、第2のピッチ132は、第2の検出器アレイ106の第2のピクセルサイズ136に関係することができる。検出器アレイのピクセルサイズは、これらに限定されないが、個々の検出器の幅、個々の検出器の長さ、個々の検出器の高さ、および個々の検出器の数などの、検出器アレイの物理的寸法に対応する可能性がある。

例えば、図2では、第1の検出器アレイ104は、第1の検出器122の第1のピクセルサイズ134である、18ミクロン（18μ）幅ピクセルの線形1×4アレイを備える。第2の検出器アレイ106は、第2の検出器126の第2のピクセルサイズ136である、20ミクロン（20μ）幅ピクセルの線形1×5アレイを備える。しかしながら、第1および第2の検出器アレイ104、106が、そのような特定の構成およびピクセルサイズに限定されないことが理解されよう。第1の検出器アレイ104、第1の検出器122、第2の検出器アレイ106、および第2の検出器126に対して他の構成および寸法を使用してもよい。さらに、一次元線形アレイであるとしてのみ図示および説明したが、第1および第2の検出器アレイ104、106はまた、二次元（m×n）アレイとしてもよい。

第1のピクセルサイズ134が第2のピクセルサイズ136と異なるため、第1の画像124（図4）は、第2の画像128（図4）とは異なる解像度を有する。異なるピッチ130、132を伴う2つ以上の検出器アレイ104、106を使用することによって、カメラシステム100は、超解像度強化を可能にする、同じターゲットシーン102の複数の画像124、128を取得することができる。異なる解像度の第1および第2の画像124、128を共に結合することで、図3で示した、単一超解像度画像138を生成する。すなわち、第1の検出器アレイ104から取得した光子の数を、第2の検出器アレイ106から取得した光子の数と比較して、単一画像138のサブピクセル140に入射する光子の数を判断することができる。その場合、サブピクセル140のそれぞれからの強度は、単一超解像度画像138を生成するために結合される。

さらに、カメラシステム100は、第1および第2の検出器アレイ104、106を制御するよう構成される制御ユニット142（図1）を含んでもよい。制御ユニット142は、コンピューター実行可能命令を格納した非一時的コンピューター読み取り可能な記憶媒体を含むか、それと関連づけることができる、「コンピュータープロセッサ」、すなわち、コンピューターベースデバイスなどの、ハードウェアおよびソフトウェアを備える、1つまたは複数のプロセッサを備えることができる。1つまたは複数のアルゴリズムを、制御ユニット142と関連づけられたメモリ144（図1）にプログラムしてもよい。メモリ144は、不揮発性メモリを備えてもよい。制御ユニット142は、他のハードウェア、ソフトウェア、ファームウェア、およびそれらの組み合わせを含んでもよいことが理解されよう。

例えば、カメラシステム100は、制御ユニット142のメモリ144にプログラムされた、複数ピクセルピッチ超解像度モード、すなわち、「超解像度モード」を含むことができる。カメラシステム100が超解像度モードにある場合、制御ユニット142は、信号を、第1の検出器アレイ104および第2の検出器アレイ106に送信し、ターゲットシーン102の画像124、128を同時に取得することができる。さらに、カメラシステム100はまた、複数の画像を単一超解像度画像に結合するよう構成される、処理ユニット146（図1）を含んでもよい。

処理ユニット146は、カメラシステム100の制御ユニット142に統合してもよいし、別々でもよい。一例において、処理ユニット146は、制御ユニット142およびメモリ144と通信する第2のメモリと関連づけられる第2のプロセッサを備えてもよい。例えば、処理ユニット146は、制御ユニット142に含んでもよい。あるいは、処理ユニット146は、第1および第2の検出器アレイ104、106によって取得される複数の画像を処理するために後に使用される、ハードウェアおよびソフトウェアを備えるパーソナルコンピューター（PC）などの、別々の構成要素に含んでもよい。

複数の画像は、数学的計算などを介して、その複数の画像から単一超解像度画像をデジタル的に構成することによって結合してもよい。例えば、図4では、別の実施形態により、第1および第2の画像124、128を単一画像138に結合するための処理ユニット146の技術を表す一例を示す。第1の検出器アレイ104における第1の検出器122のそれぞれは、その20ミクロン（20μ）幅に入射するすべての光子を収集し、一方、第2の検出器アレイ106における第2の検出器126のそれぞれは、その18ミクロン（18μ）幅に入射するすべての光子を収集する。左から右に続ける場合、処理ユニット146は、単一画像138の最左サブピクセル148は、サブピクセル148が、最左検出器150と同じ18ミクロン（18μ）幅を有するため、第2の画像128における最左検出器150と同じ光子数を有する可能性があると判断することができる。

その場合、処理ユニット146は、第1の画像124での最左検出器152と、第2の画像128での最左検出器150との間の光子数を比較することができる。すなわち、処理ユニット146は、第1の画像124での最左検出器152および第2の画像128での最左検出器150からの2つの光子数の間の差を判断し、単一画像138の2ミクロン（2μ）幅サブピクセル154の光子数を判断する。2ミクロン（2μ）幅サブピクセル154の光子数は、最左20ミクロン（20μ）幅検出器152が収集したが、最左18ミクロン（18μ）幅検出器150が収集しなかった光子の数に等しい、

後に、処理ユニット146は、2ミクロン（2μ）幅サブピクセル154と、第2の画像128における次の18ミクロン（18μ）幅検出器156との間の光子数を比較することができる。2ミクロン（2μ）幅サブピクセル154の光子数を、次の18ミクロン（18μ）幅検出器156の光子数から引くことによって、16ミクロン（16μ）幅サブピクセル158の光子数を判断することができる。16ミクロン（16μ）幅サブピクセル158の光子数を、第1の画像124における次の20ミクロン（20μ）幅検出器160から引くことで、単一画像138の4ミクロン（4μ）幅サブピクセル162の光子数を判断する。

処理ユニット146は、単一画像138の残りのサブピクセル140における光子数を反復的に求めることができる。さらに、処理ユニット146は、複製画像139で示すように、各サブピクセル140における光子数を、そのサブピクセルの領域で割り、各サブピクセルに対する強度を判断することができる。そうすることによって、カメラシステム100は、可変解像度強化を伴う単一画像138を生成する。すなわち、単一画像138の解像度は、その位置において可変であり、より細かなピッチ検出器アレイ106と少なくとも同じくらい細かい。さらに、追加の複数のピクセルピッチ検出器アレイを伴う第1および第2の検出器アレイ104、106を結合することにより、結合画像の解像度を大幅に向上することができる。

別の例において、カメラシステム100の複数のピクセルピッチは、ターゲットシーン102に対する検出器アレイの複数のピクセル位置に関係することができる。図5および図6に示すように、図1から図4を引き続き参照して、第1のピッチ130は、ターゲットシーン102の中心166に対する第1の検出器アレイ104の位置164に関係する可能性があり、第2のピッチ132は、ターゲットシーン102の中心166に対する第2の検出器アレイ106の位置168に関係する可能性がある。第2の検出器アレイ106の位置168は、第1の検出器アレイ104の位置166とは異なる。しかしながら、この例では、第1の検出器アレイ104および第2の検出器アレイ106は、同じ精密なピクセルサイズを有することができる。例えば、第1および第2の検出器アレイ104、106のそれぞれは、18ミクロン（18μ）幅ピクセルの線形1×4アレイを備えることができる。

第2の検出器アレイ106は、第1の検出器アレイ104から所定の片寄り170で配置してもよい。すなわち、第2の検出器アレイ106の縁部172は、所定の片寄り170の分だけ、第1の検出器アレイ104の縁部174から離れている可能性があり、第2の検出器アレイ106の位置168は、ターゲットシーン102の中心166に対する第1の検出器アレイ104の位置164と同じではない。しかしながら、第1および第2の検出器アレイ104、106は、互いに、および画像102に対して、他の方法で片寄らせてもよい。例えば、第2の検出器アレイ106は、画像102からさらに離れて配置してもよく、一方、第1の検出器アレイ104は、画像102により近い距離で配置される。第1および第2の検出器アレイ104、106によって取得されたターゲットシーン102の画像は、次いで、単一超解像度画像を生成するために結合することができる。例えば、処理ユニット146は、図4で示したものと同様の技術を使用することができる。

さらに、図7に示すように、同じピクセルサイズだが可変ピッチの複数の検出器アレイ176を使用して、結合画像の解像度を大幅に向上することができる。例えば、複数の検出器アレイ176は、互いから、所定の片寄り178、180、182、184、186で配置することができる。所定の片寄り178、180、182、184、186は、等しいか、または可変の距離を備えてもよい。複数の検出器アレイ176は、同時に複数の画像を取得するよう構成することができ、その場合、複数の画像は、結合され、超解像度画像を生成することができる。検出器アレイ176のそれぞれは、一次元線形アレイとして示されるが、検出器アレイ176のそれぞれは、二次元（m×n）アレイとしてもよいことが理解されよう。

ターゲットシーン102は、第1および第2の画像124、128を取得する場合、第1および第2の検出器アレイ104、106に対して、静止状態であっても、動いていてもよいことが理解されよう。さらに、第1の検出器アレイ104は、第2の検出器アレイ106が第2の画像128を取得するのと同時に、または第2の検出器アレイ106が第2の画像128を取得するのとは異なる時点で、第1の画像124を取得することができる。動作中の、異なる時点での画像124、128を取得する場合に、第1および第2の検出器アレイ104、106のそれぞれの間の強度が同じであることを保証することができる。

一例において、複数のピクセルピッチを伴うカメラシステム100は、これらに限定されないが、コンベアベースもしくは自由落下ベース食品検査用途、複合製造、および半導体製造などの、検査システムで使用することができる。この実施例において、ターゲットシーン102は、コンベアベルト上の、または自由落下動作中のターゲットシーンなどの、静止または固定の第1および第2の検出器アレイ104、106に対して動いてもよい。第2の検出器アレイ106は、ターゲットシーン102の動きの線における、第1の検出器アレイ104から離れた所定の距離に配置することができる。そうすることによって、第2の検出器アレイ106は、第1の検出器アレイ104と同じターゲットシーン102を、異なる時点で取得することができる。次いで、第2の検出器アレイ106からの第2の画像128は、第1の検出器アレイ104の第1の画像124と結合され、単一超解像度画像138を生成することができる。

別の例において、複数のピクセルピッチを伴うカメラシステム100は、これらに限定されないが、無人航空機（UAV）、および他の監視プラットフォームで使用することができる。この実施例において、第1および第2の検出器アレイ104、106は、静止状態か、または固定されたターゲットシーン102に対して動いていてもよい。例えば、第1および第2の検出器アレイ104、106は、静止状態のターゲットシーン102を通過する衛星またはUAVに取り付けてもよい。第2の検出器アレイ106は、第1の検出器アレイ104から所定距距離だけ離して配置してもよく、第2の検出器アレイ106は、衛星またはUAVがターゲットシーン102に対して動く場合に、第1の検出器アレイ104と正確に同じターゲットシーン102を、わずかに異なる時点で取得する。次いで、第2の検出器アレイ106からの第2の画像128は、第1の検出器アレイ104の第1の画像124と結合され、単一超解像度画像138を生成することができる。

ここで図8を参照し、図1から図7を引き続き参照すると、複数のピクセルピッチを伴うカメラシステム100は、別の実施形態により、光学素子の第1のセット108のみを使用して、同じターゲットシーン102の複数の画像を、同時に取得することができる。第1の検出器アレイ104および第2の検出器アレイ106は、どちらも、レンズ118および開口部120を通って収束されたターゲットシーン102を取得することができる。さらに、カメラシステム100は、部分反射器190、レンズ、スプリッタ、鏡、またはターゲットシーン102から第1の検出器アレイ104および第2の検出器アレイ106に光110を拡散するよう構成される他の光学要素をさらに含んでもよい。

光学素子の同じ第1のセット108および部分反射器190を使用する場合、第1および第2の検出器アレイ104、106は、第1および第2の画像124、128を同時に取得するよう構成してもよい。さらに、複数のピクセルピッチの3つ以上の検出器アレイ104、106を、カメラシステム100に含み、複数の解像度を有する複数の画像を同時に取得してもよい。部分反射器190は、ターゲット画像102から、複数の検出器アレイにわたる、別々の物理的投影に光を拡散するよう構成してもよい。その場合、複数の検出器アレイからの複数の画像は、超解像度強化を用いて単一画像を生成するよう結合することができる。

ここで図9を参照し、図1から図8を引き続き参照すると、カメラシステム100は、ハイパースペクトル・イメージング・システムなどにおいて、光110を検出器アレイ194に屈折させるよう構成されるプリズム192を含むことができる。プリズム192、または他の非球面レンズ要素を使用して、ターゲットシーン102から、検出器アレイ194における複数の検出器196に、光110を拡散することができる。検出器アレイ194における検出器196のそれぞれは、同じピクセルサイズを有してもよい。この例において、カメラシステム100の複数のピクセルピッチは、プリズム192によって拡散され、検出器アレイ194における検出器196によって検出された光のさまざまな波長に関係する可能性がある。個々の検出器196のそれぞれは、各検出器196が、互いに対して異なる位置にあるため、さまざまな周波数を検出する。

すなわち、プリズム192を使用して、ターゲットシーン102からの光を拡散し、光の各周波数または波長を、わずかに異なる方向に進める。次いで、検出器アレイ194における検出器196のそれぞれは各位置および周波数での光の強度を測定する。異なる色に対応するさまざまな周波数を用いて、検出器アレイ194は、異なる色の光の強度を検出することができる。その場合、検出器アレイ194における検出器196のそれぞれからのすべての強度は、単一超解像度画像を生成するために結合することができる。しかしながら、単一画像の解像度は、検出器196のサイズ、光の強度、およびプリズム192に対する検出器196の距離に関係する可能性がある。

さらに、検出器196および全体的な検出器アレイ194は、プリズム192に対して動くように構成してもよい。例えば、少なくとも1つのトランスデューサ198を、検出器アレイ194に結合してもよく、プリズム192に対して検出器アレイ194を動かすよう構成してもよい。別の例において、少なくとも1つのトランスデューサ198は、プリズム192に結合してもよく、検出器アレイ194に対してプリズム192を動かすよう構成してもよい。検出器アレイ194および／またはプリズム192を動かすための他の構成も、確かに使用してもよい。

検出器アレイ194を、プリズム192からさらに遠ざけて動かすことによって、検出器196は、空間内でさらに拡散する光の波長を検出し、それにより、結合単一画像の解像度が高まる。さらに、プリズム192から複数の距離で撮られた画像を結合することは、複数のピクセルサイズの検出器アレイから撮られた画像を結合することと同様の効果を有する可能性がある。したがって、検出器アレイ194を、プリズム192に向けて、ならびにプリズム192から離して、所定の箇所に動かすこと、および所定の箇所で撮られた画像を結合することによって、超解像度ハイパースペクトル画像が得られる。

例えば、検出器アレイ194は、プリズム192に対して第1の位置で撮られた第1の画像を取得することができる。検出器アレイ194またはプリズム192は、第1の位置とは異なる第2の位置に、互いに対して動かしてもよい。例えば、少なくとも1つのトランスデューサ198は、プリズム192の入射面内の検出器アレイ194を、第2の位置に動かすことができる。一例において、第2の位置における検出器アレイ194は、第1の位置よりもプリズム192に近接してもよい。別の例において、第2の位置における検出器アレイ194は、第1の位置よりもプリズム192から離れてもよい。その場合、検出器アレイ194は、第2の位置で、第2の画像を取得する。次いで、第1および第2の画像は、単一超解像度ハイパースペクトル画像に結合される。検出器アレイ194またはプリズム192は、さまざまな他の位置に、互いに対して動かされ、ハイパースペクトル超解像度のために複数の画像を取得することができる。

通常は、上記の開示は、カメラシステムに関するさまざまな用途に有用である。特に、開示するシステムおよび技術を使用して、光学およびハイパースペクトル・イメージング・システムの両方において、超解像度画像をもたらすことができる。例えば、開示するシステムおよび技術は、これらに限定されないが、衛星、無人航空機（UAV）、ならびに情報・監視・偵察（ISR）のために、および軍用ならびに民間環境の両方で使用するための他の用途のために使用される他の監視プラットフォームで使用することができる。別の例において、開示するシステムおよび技術は、これらに限定されないが、コンベアベースもしくは自由落下ベース食品検査用途、複合製造、および半導体製造などの、検査システムで使用することができる。

開示するシステムおよび技術をデジタル・カメラ・システムに実施することによって、画像の解像度を向上するための、費用効果的および効率的な解決策を提供する。開示する複数のピクセルピッチ超解像度モードは、あまりコストをかけずに、容易に実現することができる。さらに、複数のピクセルピッチ超解像度モードは、超解像度画像が所望されるかどうかによって、オンとオフとを切り替えることができる。

ここで図10を参照し、図1から図9を引き続き参照すると、本開示の別の実施形態により、超解像度画像を生成するための処理200が示される。ブロック202では、ターゲットシーンの第1の画像が、第1のピクセルサイズを含む第1の検出器アレイを用いて取得される。ブロック204では、ターゲットシーンの第2の画像が、第2のピクセルサイズを含む第2の検出器アレイを用いて取得される。ここで、第2のピクセルサイズは、第1の検出器アレイの第1のピクセルサイズとは異なる。ブロック202および204は、同時に行ってもよいし、別の時間に行ってもよいことが理解されよう。ブロック206では、次いで、第1の画像および第2の画像が、単一超解像度画像に結合される。図示しないが、処理200は、さまざまなピクセルサイズの3つ以上の検出器アレイを使用して、3つ以上の画像を取得し、複数の画像を単一超解像度画像に結合することをさらに含んでもよい。

超解像度画像を生成するための別の処理210を、図11に示す。ブロック212では、ターゲットシーンの第1の画像を、第1の検出器アレイを用いて取得することができる。ブロック214では、ターゲットシーンの第2の画像を、第2の検出器アレイを用いて取得してもよい。ここで、第2の検出器アレイは、第1の検出器アレイから所定の片寄りで配置される。第1の検出器アレイおよび第2の検出器アレイは、同じ精密なピクセルサイズを有することができる。ブロック212および214は、同時に行ってもよいし、別の時間に行ってもよいことが理解されよう。ブロック216では、第1の画像および第2の画像が、単一超解像度画像に結合される。

さらに、本開示は、以下の項目による実施形態を備える。
項目1．超解像度画像を生成するためのカメラシステムであって、本カメラシステムは、ターゲットシーンと、ターゲットシーンの第1の画像を取得するよう構成され、第1のピッチを含む第1の検出器と、ターゲットシーンの第2の画像を取得するよう構成され、第1のピッチとは異なる第2のピッチを含む第2の検出器とを備える。

項目2．項目1のカメラシステムであって、第1のピッチは、第1のピクセルサイズであり、第2のピッチは、第2のピクセルサイズである。

項目3．項目2のカメラシステムであって、ターゲットシーンから焦点面上に光を収束するよう構成される光学素子の第1のセットをさらに備える。

項目4．項目3のカメラシステムであって、ターゲットシーンから、第1の検出器および第2の検出器上に光を拡散するよう構成される部分反射器をさらに備え、第1の検出器および第2の検出器のそれぞれは、光学素子の第1のセットを使用し、第1の画像および第2の画像が同時に取得される。

項目5．項目3のカメラシステムであって、ターゲットシーンから第2の検出器上に光を収束するよう構成される光学素子の第2のセットをさらに備え、光学素子の第1のセットは、ターゲットシーンから第1の検出器上に光を収束するよう構成される。

項目6．項目5のカメラシステムであって、ターゲットシーンは動いており、第1の検出器および第2の検出器は静止状態であり、第2の画像は、第1の画像と異なる時点で取得される。

項目7．項目1のカメラシステムであって、第1の検出器および第2の検出器は動いており、ターゲットシーンは静止状態であり、第2の画像は、第1の画像と異なる時点で取得される。

項目8．項目1のカメラシステムであって、第1の検出器および第2の検出器上に光を屈折するよう構成されるプリズムをさらに備える。

項目9．項目8のカメラシステムであって、第1の検出器および第2の検出器は、プリズムに対して動くようさらに構成される。

項目10．項目1のカメラシステムであって、第1のピッチは、ターゲットシーンに対する第1の検出器の位置を備え、第2のピッチは、ターゲットシーンに対する第2の検出器の位置を備え、第1の検出器および第2の検出器は、同じピクセルサイズを有する。

項目11．項目1のカメラシステムであって、第1の画像と第2の画像とを、単一の画像に結合するよう構成される処理ユニットをさらに備える。

項目12．超解像度画像を生成するための方法であって、本方法は、第1のピクセルサイズを含む、第1の検出器アレイを用いて、ターゲットシーンの第1の画像を取得するステップと、第1のピクセルサイズとは異なる第2のピクセルサイズを含む、第2の検出器アレイを用いて、ターゲットシーンの第2の画像を取得するステップと、第1の画像および第2の画像を、単一超解像度画像に結合するステップとを備える。

項目13．項目12の方法であって、第1のピクセルサイズと異なる第2のピクセルサイズを含む、第2の検出器アレイを用いて、ターゲットシーンの第2の画像を取得するステップは、第1の画像を取得するのと同じ時点で第2の画像を取得するステップをさらに備える。

項目14．項目13の方法であって、ターゲットシーンから、第1の検出器アレイおよび第2の検出器アレイ上に、光を拡散するために部分反射器を使用するステップをさらに備える。

項目15．項目12の方法であって、第1のピクセルサイズと異なる第2のピクセルサイズを含む、第2の検出器アレイを用いて、ターゲットシーンの第2の画像を取得するステップは、第1の画像を取得するのと異なる時点で第2の画像を取得するステップをさらに備える。

項目16．項目15の方法であって、第1の検出器アレイおよび第2の検出器アレイに対して動いているターゲットシーンを提供するステップをさらに備え、第1の検出器アレイおよび第2の検出器アレイは、静止状態である。

項目17．項目15の方法であって、ターゲットシーンに対して第1の検出器アレイおよび第2の検出器アレイを動かすステップをさらに備え、ターゲットシーンは、静止状態である。

項目18．超解像度画像を生成するための方法であって、本方法は、第1の検出器アレイを用いて、ターゲットシーンの第1の画像を取得するステップと、第1の検出器アレイから所定の片寄りで配置される第2の検出器アレイを用いて、ターゲットシーンの第2の画像を取得するステップと、第1の画像および第2の画像を単一超解像度画像に結合するステップとを備える。

項目19．項目18の方法であって、同じピクセルサイズを有する、第1の検出器アレイおよび第2の検出器アレイを提供するステップをさらに備える。

項目20．項目19の方法であって、第2の検出器アレイから所定の片寄りで配置される、同じピクセルサイズの、第3の検出器アレイを用いて、ターゲットシーンの第3の画像を取得するステップをさらに備えることができ、ここで、第1の画像および第2の画像を単一超解像度画像に結合するステップは、第1の画像、第2の画像、および第3の画像を、単一超解像度画像に結合するステップをさらに備える。

上記の詳細な説明を、ある特定の実施形態に対して提供してきたが、一方で、本開示の範囲は、そのような実施形態に限定されるべきではないが、同じものが、実施可能な、最良の態様の要件のために単に提供されることが理解されよう。本開示の範囲および精神は、本明細書に添付した特許請求の範囲内で特に開示および包含される実施形態よりも広い。さらに、いくつかの形態を、ある特定の実施形態と共に説明したが、これらの形態は、それらが説明された実施形態のみと共に使用することに限定されず、代わりに、代替実施形態と共に開示される他の形態と共に使用してもよく、または別々であってもよい。

100 カメラシステム
102 ターゲットシーン、ターゲット画像
104 第1の検出器アレイ
106 第2の検出器アレイ
108 光学素子の第1のセット
110 光
112 第1の焦点面
114 光学素子の第2のセット
116 第2の焦点面
118 レンズ
120 開口部
122 第1の検出器
124 第1の画像
126 第2の検出器
128 第2の画像
130 第1のピッチ
132 第2のピッチ
134 第1のピクセルサイズ
136 第2のピクセルサイズ
138 単一超解像度画像、単一画像
139 複製画像
140 サブピクセル
142 制御ユニット
144 メモリ
146 処理ユニット
148 最左サブピクセル
150 最左18ミクロン（18μ）幅検出器、最左検出器
152 最左20ミクロン（20μ）幅検出器、最左検出器
154 サブピクセル
156 18ミクロン（18μ）幅検出器
158 16ミクロン（16μ）幅サブピクセル
160 20ミクロン（20μ）幅検出器
162 4ミクロン（4μ）幅サブピクセル
164 位置
166 ターゲットシーンの中心
168 位置
170 片寄り
172 第2の検出器アレイの縁部
174 第1の検出器アレイの縁部
176 検出器アレイ
178 片寄り
180 片寄り
182 片寄り
184 片寄り
186 片寄り
190 部分反射器
192 プリズム
194 検出器アレイ
196 検出器
198 トランスデューサ
200 処理
202 ブロック
204 ブロック
206 ブロック
210 処理
212 ブロック
214 ブロック
216 ブロック

Claims (11)

1. 超解像度画像を生成するためのカメラシステムであって、前記カメラシステムは、
   ターゲットシーンと、
   前記ターゲットシーンの第1の画像を取得するよう構成され、第1のピッチを含む第1の検出器と、
   前記ターゲットシーンの第2の画像を取得するよう構成され、前記第1のピッチとは異なる第2のピッチを含む第2の検出器と
   を備え、
   前記カメラシステムは、前記第1のピッチおよび前記第2のピッチから、複数のピッチを反復的に生成する、カメラシステム。
2. 前記第1のピッチは、第1のピクセルサイズであり、前記第2のピッチは、第2のピクセルサイズである、請求項1に記載のカメラシステム。
3. 前記ターゲットシーンから焦点面上に光を収束するよう構成される光学素子の第1のセットをさらに備える、請求項2に記載のカメラシステム。
4. 前記ターゲットシーンから、前記第1の検出器および前記第2の検出器上に光を拡散するよう構成される部分反射器をさらに備え、前記第1の検出器および前記第2の検出器のそれぞれは、光学素子の前記第1のセットを使用し、前記第1の画像および前記第2の画像が同時に取得される、請求項3に記載のカメラシステム。
5. 前記ターゲットシーンから前記第2の検出器上に光を収束するよう構成される光学素子の第2のセットをさらに備え、光学素子の前記第1のセットは、前記ターゲットシーンから前記第1の検出器上に光を収束するよう構成される、請求項3に記載のカメラシステム。
6. 前記ターゲットシーンが動いており、前記第1の検出器および前記第2の検出器が静止状態であり、前記第2の画像が、前記第1の画像と異なる時点で取得される、請求項5に記載のカメラシステム。
7. 前記第1の検出器および前記第2の検出器が動いており、前記ターゲットシーンが静止状態であり、前記第2の画像が、前記第1の画像と異なる時点で取得される、請求項1に記載のカメラシステム。
8. 前記第1の検出器および前記第2の検出器上に光を屈折するよう構成されるプリズムをさらに備える、請求項1に記載のカメラシステム。
9. 前記第1の検出器および前記第2の検出器が、前記プリズムに対して動くようさらに構成される、請求項8に記載のカメラシステム。
10. 前記第1のピッチは、前記ターゲットシーンに対する前記第1の検出器の位置を備え、前記第2のピッチは、前記ターゲットシーンに対する前記第2の検出器の位置を備え、前記第1の検出器および前記第2の検出器は、同じピクセルサイズを有する、請求項1に記載のカメラシステム。
11. 前記第1の画像と前記第2の画像とを、単一の画像に結合するよう構成される処理ユニットをさらに備える請求項1に記載のカメラシステム。

Images