JP5908599B2 - マルチスペクトル撮像システム - Google Patents

Description

本開示は、マルチスペクトル撮像のためのシステムおよび方法に関する。特に、本開示は、近赤外線（ＮＩＲ）画像を可視画像に位置合わせするためのシステムおよび方法に関する。

スマートフォンまたはタブレットコンピューティングデバイスなどのモバイルデバイスは、ますます、広範な応用をユーザに提供するための多数のデバイスおよびソフトウェアモジュールを含むように設計されている。例えば、カメラは、モバイルデバイスの重要な特徴となりつつあり、モバイルデバイスに搭載されたカメラの画像品質と機能の両方を改善する要求が高まっている。例えば、品質を高めることを目的としてか、または立体撮像の応用などの開発されている新しい特徴のためかのどちらかで、カメラがより豊富な画像情報を取り込むことができることが望ましい。

通常、モバイルデバイスのカメラは、可視撮像センサーを使用して静止画または動画を取り込むために使用されている。改善された色の品質およびより高い信号対雑音比（ＳＮＲ）を実現するために、撮像センサーは、通常、可視光スペクトルのみを取り込むように設計される。テクノロジーが進んだので、一部の可搬型電子デバイスは、立体画像も取り込むことができる。デバイスの製造業者は、この能力をサポートするためのデジタル画像処理を組み込み、単一のまたは複数のデジタル撮像センサーを利用するデバイスを導入することによって対応してきた。モバイル無線通信デバイス、タブレットコンピューティングデバイス、携帯情報端末（ＰＤＡ）、個人用音楽システム、デジタルカメラ、デジタル記録デバイス、テレビ会議システムなどを含む広範な電子デバイスが、それらの電子デバイスのユーザにさまざまな能力および特徴を提供するために立体撮像能力を利用する。これらは、立体（３Ｄ）写真および動画などの３Ｄ撮像の応用を含む。

１つの実装において、近赤外線（ＮＩＲ）撮像センサーおよび可視撮像センサーを含むシステムでＮＩＲ画像を可視画像に位置合わせするための電子的方法が、開示される。方法は、ＮＩＲ撮像センサーからＮＩＲ画像を受信することと、可視撮像センサーから可視画像を受信することとを備える可能性がある。方法は、ＮＩＲ画像中の複数のピクセルを可視画像中の複数のピクセルとマッチングして複数のマッチングされたピクセルの対を形成することをさらに含む可能性がある。さらに、方法は、それぞれのマッチングされたピクセルの対に関するピクセル視差（pixel disparity）を計算することを含む可能性がある。方法は、それぞれのマッチングされたピクセルの対に関する計算されたピクセル視差に少なくとも部分的に基づいてそれぞれのマッチングされたピクセルの対に重みを割り当てる可能性もある。方法は、割り当てられた複数の重みに少なくとも部分的に基づいてＮＩＲ画像を可視画像に位置合わせする可能性がある。

別の実装において、マルチスペクトル撮像システムが、開示される。撮像システムは、近赤外線（ＮＩＲ）画像を取り込むように構成されたＮＩＲ撮像センサーと、可視光画像を取り込むように構成された可視光撮像センサーとを含む可能性がある。加えて、システムは、ＮＩＲ画像中の複数のピクセルを可視光画像中の複数のピクセルとマッチングして複数のマッチングされたピクセルの対を形成するようにプログラムされた密(dense)マッチングモジュールを含む可能性がある。システムは、それぞれのマッチングされたピクセルの対に関するピクセル視差を計算するようにプログラムされた疎(sparse)マッチングモジュールも含む可能性がある。疎マッチングモジュールは、それぞれのマッチングされたピクセルの対に関する計算されたピクセル視差に少なくとも部分的に基づいてそれぞれのマッチングされたピクセルの対に重みを割り当てるようにプログラムされる可能性もある。位置合わせされた画像形成モジュールが、割り当てられた複数の重みに少なくとも部分的に基づいてＮＩＲ画像を可視画像に位置合わせするようにプログラムされる可能性がある。ストレージモジュールが、位置合わせされた画像をシステムに記憶するようにプログラムされる可能性がある。

別の実装において、撮像システムが、開示される。撮像システムは、ＮＩＲ撮像センサーからＮＩＲ画像を受信するための手段と、可視撮像センサーから可視画像を受信するための手段とを含む可能性がある。システムは、ＮＩＲ画像中の複数のピクセルを可視画像中の複数のピクセルとマッチングして複数のマッチングされたピクセルの対を形成するための手段も含む可能性がある。さらに、システムは、それぞれのマッチングされたピクセルの対に関するピクセル視差を計算するための手段を含む可能性がある。システムは、それぞれのマッチングされたピクセルの対に関する計算されたピクセル視差に少なくとも部分的に基づいてそれぞれのマッチングされたピクセルの対に重みを割り当てるための手段も含む可能性がある。システムは、割り当てられた複数の重みに少なくとも部分的に基づいてＮＩＲ画像を可視画像に位置合わせするための手段も含む可能性がある。

さらに別の実装において、非一時的コンピュータ可読媒体が、開示される。非一時的コンピュータ可読媒体は、実行されるときに、コンピュータによって実施される方法を実行するコードを記憶している可能性がある。コンピュータによって実施される方法は、ＮＩＲ撮像センサーからＮＩＲ画像を受信することと、可視撮像センサーから可視画像を受信することとを含む可能性がある。非一時的コンピュータ可読媒体に記憶されるコードは、実行されるときに、ＮＩＲ画像中の複数のピクセルを可視画像中の複数のピクセルとマッチングして複数のマッチングされたピクセルの対を形成することをさらに含む方法を実行する可能性がある。コンピュータによって実施される方法は、それぞれのマッチングされたピクセルの対に関するピクセル視差を計算することも含む可能性がある。さらに、非一時的コンピュータ可読媒体に記憶されるコードは、実行されるときに、それぞれのマッチングされたピクセルの対に関する計算されたピクセル視差に少なくとも部分的に基づいてそれぞれのマッチングされたピクセルの対に重みを割り当てることをさらに含む方法を実行する可能性がある。コンピュータによって実施される方法は、割り当てられた複数の重みに少なくとも部分的に基づいてＮＩＲ画像を可視画像に位置合わせすることも含む可能性がある。

本明細書に記載の対象の１つまたは複数の実装の詳細が、添付の図面および以下の説明に記載されている。その他の特徴、態様、および利点は、それらの説明、図面、および特許請求の範囲から明らかになるであろう。以下の図面の相対的な寸法は正確な縮尺で描かれていない可能性があることに留意されたい。

以降、本発明の特定の実装が、限定ではなく例として与えられる以下の図面を参照して説明される。

対象のシーンのマルチスペクトル画像データを取り込むように構成されるマルチスペクトル撮像システムを有するモバイルデバイスの一実施形態の斜視図。 一実施形態によるマルチスペクトル撮像システムの概略ブロック図。 一実施形態による特定のシーンのマルチスペクトル画像データを取り込むための方法の流れ図。 図３の実装によるＮＩＲ画像と可視光画像とを位置合わせするための方法の流れ図。 図４の実装によるＮＩＲ画像中の複数のピクセルを可視光画像中の複数のピクセルとマッチングするための方法の流れ図。 図２のマルチスペクトル撮像システムによって取り込まれた画像を示す概略図。 図２のマルチスペクトル撮像システムによって取り込まれた画像を示す概略図。 図２のマルチスペクトル撮像システムによって取り込まれた画像を示す概略図。 図２のマルチスペクトル撮像システムによって取り込まれた画像を示す概略図。 図４の実装によるそれぞれのマッチングされたピクセルの対に重みを割り当てるための方法の流れ図。 図３の実装による画像データを処理するための方法の流れ図。 １つの実装による画像位置合わせプロセスのさまざまな段階の例示的な画像を示す図。 １つの実装による画像位置合わせプロセスのさまざまな段階の例示的な画像を示す図。 １つの実装による画像位置合わせプロセスのさまざまな段階の例示的な画像を示す図。

本明細書において開示される実装は、２つの異なる種類の撮像センサー、例えば、ＮＩＲセンサーおよび可視光センサーを使用して画像を撮影するためのシステム、方法、および装置を提供する。この種のマルチスペクトル撮像は、例えば、可視光センサーのみによって取り込まれる画像よりも優れたコントラストを有する画像を生成するのに有用である可能性がある。一実施形態において、可視光センサーで受信される光は、シーンの詳細を豊富に伝えることができ、一方、ＮＩＲセンサーによって取り込まれる光は、画像のコントラストを高めるか、または画像の霞除去（de-hazing）を実行するために使用され得る。例えば、ＮＩＲ画像および可視画像は、平均のおよび詳細なウェーブレットサブバンドに分解される可能性がある。明るさおよびテクスチャ（texture）の詳細が、取り込まれた可視光画像の品質を改善するためにヒストグラムマッチング（histogram-matching）技術を使用してＮＩＲ画像から可視画像に移される可能性がある。

別の実施形態は、ＮＩＲセンサーおよび可視光センサーを使用して画像を改善するシステムである。この実施形態においては、ＮＩＲ画像からのコントラストおよびテクスチャデータが、重み付けされた領域マスクを使用して可視画像に移され、ウェーブレット変換が実行される。次いで、ヒストグラムマッチング技術が、可視画像およびＮＩＲ画像の低周波数サブバンドを使用してコントラストデータを計算するために使用される可能性がある。可視画像とＮＩＲ画像の両方の高周波数サブバンドは、テクスチャデータを計算するために使用される。もちろん、当業者が認めるであろうように、これらのコントラストおよびテクスチャの改善方法は、マルチスペクトル撮像システムでコントラストを改善するいくつかの方法であるに過ぎない。その他の好適な方法が、開示された撮像システムで使用され得る。

別の実施形態においては、ＮＩＲセンサーが、低光量条件で取り込まれた画像を改善するために使用される。例えば、これまでの低光量システムにおいては、可視フラッシュシステムが、撮像されるべき被写体を照らすために使用されることが多い。しかし、そのような人工的な光は、画像の雰囲気を台無しにする可能性があり、赤目、望ましくない反射、および陰のような不要なアーティファクト（artifact）をもたらす可能性がある。この方法においては、可視フラッシュの代わりにＮＩＲフラッシュランプが使用され、（ＲＧＢカラーＣＣＤなどの）通常の可視撮像センサーが画像を取り込む。ＮＩＲフラッシュ画像は、可視フラッシュのように雑音によって悪影響を受けず、低光量条件によって引き起こされる雑音を可視（例えば、ＲＧＢ）画像から取り除くために（加重最小自乗平滑化（weighted least squares smoothing）技術などの）雑音除去技術と併せて使用され得る。もちろん、当業者が認めるであろうように、この雑音低減方法は、撮像システムで雑音を低減する１つの方法であるに過ぎない。その他の好適な方法が、開示された撮像システムで使用され得る。

さらにその他の実施形態においては、開示されるハイブリッド撮像システムが、美肌補正の応用で使用される可能性がある。人物写真の撮影においては、しわ、そばかす、およびにきびなどの特定の望ましくない肌の特徴が、画像に取り込まれる可能性がある。開示されるマルチスペクトル撮像システムは、多くの異なる方法でこれらの望ましくない特徴を除去または平滑化するために使用され得る。

さまざまな実装において、ＮＩＲ画像を可視画像に位置合わせするためのシステムおよび方法が、開示される。例えば、本明細書において説明されるように、マルチスペクトル撮像システムは、それぞれの撮像センサーの波長で取り込まれた画像データを利用することができる。ＮＩＲ−可視マルチスペクトル撮像システムにおいては、ＮＩＲ画像データおよび可視画像データが、例えば、画像品質を改善し、ハイブリッドおよび／または立体撮像の応用を可能にするために使用され得る。ＮＩＲ−可視マルチスペクトル撮像の応用の恩恵を利用するためには、画像処理が行われる前にＮＩＲ画像データが可視画像データに位置合わせされていることを確実にすることが重要である可能性がある。

本明細書において開示されるさまざまな実装は、ＮＩＲ画像と可視画像との位置合わせを改善するシステムおよび方法を提供する。例えば、１つの実装においては、ＮＩＲセンサーおよび可視光センサーが、事前較正手順において並べて位置決めされ、垂直方向に位置合わせされる。入力画像は、ＮＩＲセンサーおよび可視光センサーによって取り込まれる。マルチスペクトル撮像システムは、ＮＩＲ画像と可視画像とを基本的にピクセル毎にマッチングする最初の密なマッチング手順を実行することができる。システムは、ピクセルのより大きなブロックの一致を検出する後続の疎なマッチング手順をさらに実行することができ、ＮＩＲ画像および可視画像のパースペクティブ（perspective）の間のホモグラフィ的制約（homographic constraint）を確立することができる。システムは、疎なマッチングの結果を密なマッチングの結果に伝搬させて位置合わせされた画像を得ることができる。当業者は、開示される実施形態がハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実装され得ることを認めるであろう。

以下の説明においては、例を完全に理解できるように特定の詳細が与えられる。しかし、例がこれらの特定の詳細なしに実施され得ることは、当業者によって理解されるであろう。例えば、電気的な構成要素／デバイスは、不必要に詳細にして例を曖昧にしないためにブロック図で示される可能性がある。その他の場合、そのような構成要素、その他の構造および技術は、例をさらに説明するために詳細に示される可能性がある。

例は、流れ図、フロー図、有限状態図、構造図、またはブロック図として描かれるプロセスとして示される可能性があることも留意される。流れ図は、動作を連続的なプロセスとして示す可能性があるが、動作の多くは、並列にまたは同時に実行される可能性があり、プロセスは、繰り返される可能性がある。加えて、動作の順序は、再編成され得る。プロセスは、そのプロセスの動作が完了するときに終了させられる。プロセスは、メソッド、関数、プロシージャ、サブルーチン、サブプログラムなどに対応する可能性がある。プロセスがソフトウェアの関数に対応するとき、そのプロセスの終了は、関数が呼び出し元の関数もしくはｍａｉｎ関数に戻ること、またはサブルーチンもしくは同様の機能の同様の完了に対応する可能性がある。

当業者は、情報および信号がさまざまな異なるテクノロジーおよび技術のうちのいずれかを使用して表され得ることを理解するであろう。例えば、上の説明の全体を通じて参照される可能性があるデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場もしくは磁気的粒子、光場もしくは光学的粒子、またはそれらの任意の組み合わせで表される可能性がある。

図１は、シーンのマルチスペクトル画像データを取り込むように構成されるマルチスペクトル撮像システム１０の３Ｄ斜視図である。図１に示されたように、マルチスペクトル撮像システム１０は、木２を含むシーンのマルチスペクトル画像データを取り込むようにユーザによって動作させられる可能性がある。マルチスペクトル撮像システム１０は、それぞれ可視光およびＮＩＲ光を取り込むように構成される可視光センサー５およびＮＩＲセンサー７を含む。さまざまな実装において、例えば、可視光センサー５は、赤、緑、および青色可視光を感知するＲＧＢセンサーとして構成された撮像センサーである。

有利なことに、マルチスペクトル撮像システム１０は、ユーザによって容易に操作され得るようにモバイルデバイス（例えば、携帯電話またはその他のモバイルコンピューティングデバイス）と統合される可能性がある。マルチスペクトル撮像システム１０が可視スペクトルとＮＩＲスペクトルの両方からの光を取り込むことができるので、ユーザは、撮像される木２の詳細を非常に細かく見ることができる可能性がある。さらに、撮像センサーが静止画像および動画を取り込むように構成される場合、ユーザは、本発明において説明されるように、大幅にぼけを除去される動画像データを見ることができる。その上、２つのセンサーが使用されるので、可視光センサー５およびＮＩＲセンサー７によって取り込まれたマルチスペクトル画像データが、さまざまな立体撮像手順を使用することによって木２の三次元（３Ｄ）パースペクティブをレンダリングするために使用され得る。当業者は、図１に開示されたマルチスペクトル撮像システム１０によってさらにその他の応用があり得る可能性があることを理解するであろう。

図２は、マルチスペクトル撮像システム１０の概略ブロック図である。マルチスペクトル撮像システム１０は、マルチスペクトル撮像装置１を含み得る。マルチスペクトル撮像装置１は、少なくとも可視光波長および近赤外線（ＮＩＲ）光波長を含む広い帯域の波長を感知することができる１つまたは複数のマルチスペクトル撮像センサーを含むように構成される可能性がある。例えば、マルチスペクトル撮像装置１は、約３９０ｎｍから約１４００ｎｍまでの間の波長の光を検出するように構成される可能性がある。もちろん、撮像装置１は、さらにずっと広い範囲の波長を検出するように構成される可能性もある。一部の実装においては、電荷結合素子（ＣＣＤ）が、（１つまたは複数の）マルチスペクトル撮像センサーとして使用される可能性がある。その他の実装においては、ＣＭＯＳ撮像センサーが、（１つまたは複数の）マルチスペクトル撮像センサーとして使用される可能性がある。加えて、フラッシュモジュール８および／またはその他のアクセサリが、シーンを照らすのを支援するためにマルチスペクトル撮像装置１に含まれる可能性がある。さまざまな実装において、フラッシュモジュール８は、可視フラッシュデバイスおよび／またはＮＩＲフラッシュデバイスを含み得る。

図２に示された実装において、マルチスペクトル撮像装置１は、単一のマルチスペクトル撮像センサーの代わりに２つの別々のセンサーを含む。この実装において、マルチスペクトル撮像装置１は、可視光センサー５および別のＮＩＲセンサー７を含む。例えば、マルチスペクトル撮像装置１は、少なくとも約３９０ｎｍから約８００ｎｍまでの間の範囲の可視光を検出することができるＣＣＤ／ＣＭＯＳセンサーなどの第１の、可視センサー５を有する。マルチスペクトル撮像装置１は、約８００ｎｍから約１４００ｎｍまでの間の範囲のＮＩＲ光を検出することができるＣＣＤ／ＣＭＯＳセンサーなどの第２の、ＮＩＲセンサー７をさらに含む。一部の実装において、可視センサーおよびＮＩＲセンサーの波長範囲は、重なる可能性があり、またはおおむね同じである可能性さえある。一部の実装においては、ＮＩＲ通過フィルタなどの撮像フィルタが、ＮＩＲデータのみを検出するために好適なＣＣＤ／ＣＭＯＳで使用される可能性がある。１つの実装においては、例えば、可視光センサー５とＮＩＲセンサー７の両方が、Ｓａｍｓｕｍｇ（登録商標）Ｓ５Ｋ４Ｅ１ＧＸ ＱＳＸＧＡ ＣＭＯＳセンサーで実装される可能性がある。ＮＩＲセンサー７は、センサーがＮＩＲ光を受信することを可能にするためにＩＲ遮断フィルタを外すことによって実装される可能性がある。修正されたＮＩＲセンサー７は、比較的短い波長、例えば、約８００ｎｍ未満の波長を除去するためのＩＲフィルタによってさらに蔽われる可能性がある。例えば、Ｋｏｄａｋ（登録商標）Ｗｒａｔｔｅｎ ＩＲフィルタ（＃８７Ｃ）が、ＮＩＲセンサー７を蔽って適用される可能性がある。当業者は、その他の種類のセンサーがあり得ることを理解するであろう。当業者は、さまざまなその他のセンサーまたはそれらの組み合わせが可視画像データおよびＮＩＲ画像データを取り込むために使用され得ることを理解するであろう。

マルチスペクトル撮像システム１０は、互いにデータ通信し、撮像装置１とデータ通信するプロセッサ１１およびメモリ１３をさらに含む。プロセッサ１１およびメモリ１３は、撮像装置１によって取り込まれた画像を処理し、記憶するために使用され得る。加えて、マルチスペクトル撮像システム１０は、ユーザに入力／出力（Ｉ／Ｏ）操作を提供するように構成されたユーザインターフェース（ＵＩ）（図示せず）を含み得る。例えば、ＵＩは、さまざまなアイコンをユーザに対して提示するディスプレイを含む可能性がある。ＵＩは、キーボード、タッチスクリーン入力、マウス、ローラーボール、データ入力（例えば、ＵＳＢもしくは無線）、および／または任意のその他の好適な種類の入力デバイスなどのさまざまな入力デバイスをさらに含み得る。ＵＩは、ユーザが、画像データを操作し、および／またはユーザが使用したい撮像モードを選択することを可能にするようにプログラムされる可能性がある。ＵＩは、マルチスペクトル画像データを取り込むためのコントロールをさらに含み得る。

さらに、プロセッサ１１およびメモリ１３は、画像処理モジュール２０のソフトウェアモジュールとして記憶されるプロセスを実施するように構成され、マルチスペクトル撮像装置１によって取り込まれたマルチスペクトル画像データを処理するように構成される可能性がある。画像処理モジュール２０は、非一時的ストレージ媒体などの任意の好適なコンピュータ可読ストレージ媒体で実装される可能性がある。画像処理モジュール２０は、任意の数のソフトウェアモジュールを有する可能性がある。例えば、通信モジュール２１が、画像処理モジュール２０で実装される可能性がある。通信モジュール２１は、マルチスペクトル撮像システム１０の構成要素の間のデータのフローを管理するコンピュータで実施される命令を備える可能性がある。例えば、通信モジュール２１は、マルチスペクトル撮像装置１からの画像データの受信を管理する命令を含む可能性がある。画像処理モジュール２０は、さまざまな種類のデータ、ソースコード、および／または実行ファイルを記憶するように構成されたストレージモジュール１２をさらに含む。例えば、ストレージモジュール１２は、撮像装置１によって受信された画像データおよび／または画像処理モジュール２０によって処理された画像データを記憶するようにプログラムされる可能性がある。

画像処理モジュール２０は、さまざまなマルチスペクトル撮像アプリケーションを実装するようにプログラムされるさまざまなモジュールをさらに含み得る。例えば、画像処理モジュール２０は、ＮＩＲ画像および可視画像から計算された深度マップに基づいて３次元（３Ｄ）画像をレンダリングするようにプログラムされる立体撮像モジュール２３を含む。本明細書において説明されるように、可視光センサー５およびＮＩＲセンサー７は、知られている距離だけ離間される可能性がある。立体撮像モジュール２３は、可視光センサー５とＮＩＲセンサー７との間の知られている離間を利用してユーザに対する３Ｄ可視化効果を生み出すことができる。

加えて、画像処理モジュール２０は、ハイブリッド撮像モジュール２５を含む。ハイブリッド撮像モジュール２５は、撮像装置１によって取り込まれた静止画と動画の両方を処理するようにプログラムされる可能性がある。例えば、ハイブリッド撮像モジュール２５は、可視光センサー５からの静止画像データおよびＮＩＲセンサー７からの動画像データ、またはその逆を処理するようにプログラムされる可能性がある。静止画像データおよび動画像データは、一部の構成においてはそれぞれのセンサーによって同時に取り込まれる可能性があり、その他の構成においては、静止画像データおよび動画像データは、別々の時間に取り込まれる可能性がある。さまざまな実装において、静止画像データは、シーンの画像内のモーションブラー（motion blur）を低減するために動画像データよりも高い解像度で取り込まれる可能性がある。

画像処理モジュール２０は、マルチスペクトル情報処理モジュール２７をさらに含む。マルチスペクトル情報処理モジュール２７は、可視光センサー５から取り込まれた可視画像データのコントラストを改善するためにＮＩＲセンサー７から取り込まれたＮＩＲ画像データを処理するようにプログラムされ得る。さまざまな実装において、マルチスペクトル情報処理モジュール２７は、画像から霞を除去し、および／または画像内のテクスチャ情報を改善するようにプログラムされ得る。マルチスペクトル情報処理モジュール２７は、ＮＩＲフラッシュデバイス８を使用して可視画像内の雑音を低減するようにさらにプログラムされ得る。さらにその他の実装においては、マルチスペクトル情報処理モジュール２７は、取り込まれた画像の肌の欠点を平滑化するようにプログラムされ得る。

上述のように、一実施形態において、ＮＩＲ画像および可視画像は、画像がさまざまなマルチスペクトル撮像の応用のいずれかのために処理される前に位置合わせされる。したがって、画像処理モジュール２０は、画像位置合わせモジュール２２をさらに含む可能性がある。画像位置合わせモジュール２２は、例えば、可視光センサー５およびＮＩＲセンサー７が垂直方向に位置合わせされていることを確認するなど、ＮＩＲ画像および可視画像に対する任意の予備的操作を実行するようにプログラムされた前処理モジュール２４を含む可能性がある。画像位置合わせモジュール２２は、ＮＩＲ画像中の複数のピクセルを可視画像中の複数のピクセルとマッチングして複数のマッチングされたピクセルの対を形成するようにプログラムされた密マッチングモジュール２６をさらに含む可能性がある。密マッチングモジュール２６は、それによって、各画像に関する画像記述子（image descriptor）に基づいてＮＩＲ画像および可視画像の最初のピクセル毎の位置合わせを行うことができる。本明細書において説明されるように、画像記述子は、それぞれの画像において測定された画像勾配（image gradient）に部分的に基づく可能性がある。

画像位置合わせモジュール２２は、ＮＩＲ画像および可視画像の疎な部分を大まかに位置合わせするようにプログラムされた疎マッチングモジュール２８をさらに含む。例えば、本明細書において説明されるように、疎マッチングモジュール２８は、それぞれのマッチングされたピクセルの対に関するピクセル視差を計算するようにプログラムされる可能性がある。さまざまな実装において、ピクセル視差は、それぞれのマッチングされたピクセルの対に関するピクセルの分離距離（separation distance）に基づく可能性がある。疎マッチングモジュール２８は、それぞれのマッチングされたピクセルの対に関する計算されたピクセル視差に少なくとも部分的に基づいてそれぞれのマッチングされたピクセルの対に重みを割り当てるようにプログラムされる可能性がある。重みが割り当てられると、さまざまな実装において、比較的重い重みを有する一致が残される一方、比較的軽い重みを有する一致は破棄される。可視画像とＮＩＲ画像との間の区分的なホモグラフィ的制約が、推定される可能性があり、ホモグラフィ的制約を満たす一致が、その後の位置合わせ処理のために残される可能性がある。

さらに、画像位置合わせモジュール２２は、割り当てられた複数の重みに少なくとも部分的に基づいてＮＩＲ画像を可視画像に位置合わせするようにプログラムされた位置合わせされた画像形成モジュール２９を含み得る。例えば、画像位置合わせモジュール２２は、例えば、疎マッチングモジュール２８によって割り当てられた複数の重みなどの強度の類似性（intensity similarity）の値および／または信頼性マップ（confidence map）に基づいて疎なマッチングの結果を密なマッチングの結果に伝搬させることができる。一部の態様においては、画像の位置合わせが正確であることを確実にするためにＮＩＲ画像が可視画像のパースペクティブに、またはその逆にワーピングされる可能性がある。

プロセスの概要
図３は、一実施形態による特定のシーンのマルチスペクトル画像データを取り込むための方法３０の流れ図である。図示された方法３０は、ＮＩＲ光センサーおよび可視光センサーが有効化されるブロック３１で始まる。例えば、図１および２を参照すると、ユーザが、撮像システム１０を始動および／または起動して、センサーがシーンを取り込むことを可能にする可能性がある。さまざまな実装においては、モバイルデバイス上のアイコンが、ＮＩＲ光センサー５および可視光センサー７を有効化するために使用される可能性がある。次に、方法はブロック３３に移り、ブロック３３において、可視光画像が可視光センサーによって取り込まれ、ＮＩＲ画像がＮＩＲセンサーによって取り込まれる。さまざまな構成において、フラッシュ（例えば、可視フラッシュおよび／またはＮＩＲフラッシュ）が、シーンを照らすために使用される可能性がある。シーンの可視光画像およびＮＩＲ画像を取り込んだ後、プロセス３０はブロック３５に移り、ブロック３５において、取り込まれた画像が、ストレージモジュール１２などのストレージモジュールに記憶される。

ブロック３５において画像が記憶されると、プロセスのブロック３７において、ＮＩＲ画像および可視画像がプロセス３０によって位置合わせされ得る。画像を正確に位置合わせすることによって、位置合わせの不良によって引き起こされる画像のアーティファクトが削減または除去され得る。次いで、プロセス３０は、プロセスのブロック３９に移って、位置合わせされた画像を処理する。マルチスペクトル撮像の応用および／またはユーザのプリファレンスに応じて、さまざまな種類のマルチスペクトル撮像手順が、処理ブロック３９で実行される可能性がある。例えば、立体撮像モジュール２３が、ユーザに対して３Ｄパースペクティブをレンダリングする手順を実行する可能性がある。その他の態様においては、ハイブリッド撮像モジュール２５が、静止画データと動画像データの両方を処理するためのコンピュータで実施される命令を実行する可能性がある。さらに、マルチスペクトル情報処理モジュール２７が、可視画像および／またはＮＩＲ画像の画像品質を改善することができる。当業者は、さまざまなその他のマルチスペクトル画像処理技術がブロック３９において実行され得ることを理解するであろう。

次に、プロセス３０は、判定ブロック３２に移って、追加の画像が処理されるべきかどうかを判定する。判定ブロック３２において、追加の画像が処理されるべきであるとの判定がなされる場合、方法３０はブロック３３に戻って、追加のＮＩＲ画像データおよび可視光画像データを取り込む。判定ブロック３２において、追加の画像が処理されるべきでないとの判定がなされる場合、方法３０は終了する。

画像の位置合わせの概要
図４は、図３の実装によるＮＩＲ画像と可視光画像とを位置合わせするためのプロセスのブロック３７に示された方法の流れ図である。方法３７は、ＮＩＲ画像が受信されるブロック４１で始まる。例えば、図２の画像位置合わせモジュール２０が、マルチスペクトル撮像装置１からＮＩＲ画像を受信することができる。方法３７は、ブロック４３に進んで可視画像を受信する可能性がある。本明細書において説明されるように、画像位置合わせモジュール２０が、マルチスペクトル撮像装置１（図２）から可視画像を受信することができる。

次に、方法３７は、プロセスのブロック４５に移り、ＮＩＲ画像中の複数のピクセルを可視画像中の複数のピクセルとマッチングする。上で図２に関連して説明されたように、密マッチングモジュール２６が、ＮＩＲ画像および可視画像の最初のピクセル毎の位置合わせを行うために複数のマッチングされたピクセルの対を形成することができる。図５および６Ａ〜６Ｂに関連して下で説明されるように、ＮＩＲ画像および可視画像のマッチングされたピクセルの対は、それぞれの画像における画像勾配に基づいて画像記述子を計算することによって形成され得る。画像のうちの一方（ＮＩＲ画像または可視画像）の各ピクセルに関して、画像位置合わせモジュール２２は、他方の画像内でそのピクセルの最も近い近隣のピクセルを探索する可能性がある。例えば、ＮＩＲ画像内の特定のピクセルに関して、その特定のピクセル、またはその特定のピクセルを含む領域に関する画像記述子は、当該ピクセルにおける、または当該ピクセルの近くの画像勾配に基づいて計算され得る。

画像位置合わせモジュール２２は、ＮＩＲ画像内のその特定のピクセルの最も近い近隣のピクセルである可能性がある、他方の画像、例えば、可視画像内の１組の候補ピクセルを生成することができる。画像位置合わせモジュール２２は、ＮＩＲ画像内の特定のピクセルに関する記述子と、可視画像内のピクセルの候補の組の中の各ピクセルに関する記述子との間のユークリッド距離をさらに計算する可能性がある。そして、画像記述子間の最小のユークリッド距離を有する可視画像内のピクセルが、マッチングされたピクセルの対を形成するためにＮＩＲ画像内の特定のピクセルと対にされる。プロセスのブロック４５において決定されたマッチングされたピクセルの対は、したがって、取り込まれたシーンの同じ部分に関連するＮＩＲ画像および可視画像のそれぞれのピクセルを表す可能性がある。よって、ピクセルＡおよびＢがマッチングされたピクセルの対である場合、ＮＩＲ画像中の複数のピクセルＡは、対応する可視画像においてピクセルＢが表す撮像されたシーンまたは被写体の同じ部分を表す可能性がある。プロセスのブロック４５で行われるプロセスのさらなる詳細は、図５および６Ａ〜６Ｂに関連して本明細書において説明される。本明細書において説明されるように、ピクセルの対に関する画像記述子の間のユークリッド距離を計算することは、２つのピクセルに関連するマッチングのコストを計算する１つの方法である。しかし、ＮＩＲ画像中の複数のピクセルと可視画像中の複数のピクセルとの間のマッチングのコストを計算するその他の方法が存在することを理解されたい。当業者は、２つの記述子のベクトルを比較するためのその他の方法がさまざまな実装に好適である可能性があることを理解するであろう。

次いで、方法３７は、ブロック４７に移って、それぞれのマッチングされたピクセルの対に関するピクセル視差を計算する。ピクセル視差は、シーン内の被写体の特定の部分を表す画像データを表示する画像平面内のピクセルのずれを指す可能性がある。例えば、マッチングされたピクセルのペアの第１のピクセル、ピクセルＡは、ＮＩＲ画像内の第１の位置にある可能性があり、一方、マッチングされたピクセルのペアの第２のピクセル、ピクセルＢは、可視画像内の第２の位置にある可能性がある。ＮＩＲ画像および可視画像は別々の画像である可能性があるが、それぞれの画像内のピクセルが共通の基準系に関連して参照されるかまたは位置を特定され得るように、共通の座標系が両方の画像に割り当てられ得ることに留意されたい。よって、ＮＩＲ画像中の複数のピクセルＡの第１の位置が可視画像中の複数のピクセルＢの第２の位置からある距離だけ分離されている場合、ピクセルＡおよびＢは、ＮＩＲ画像および可視画像において共通の基準系から測定されるピクセル視差、例えば、画像平面内のピクセルを隔てる距離を有すると見なされ得る。ピクセル視差のさらなる例は、図６Ａ〜６Ｂに関連して本明細書において説明される。

次に、方法３７は、プロセスのブロック４９に進んで、それぞれのマッチングされたピクセルの対に重みを割り当てる可能性がある。図７に関連して本明細書において説明されるように、画像およびマッチングされたピクセルの対は、より大きなブロックへと分割または区分けされる可能性があり、それぞれのマッチングされたピクセルの対は、ブロック４７において計算されたピクセル視差に少なくとも部分的に基づき、それぞれのマッチングされた対のピクセルの間の色視差（color disparity）に部分的に基づく重みを割り当てられ得る。本明細書において説明されるように、重みは、それぞれのマッチングされたピクセルの対に関する画像記述子の間のユークリッド距離に基づいて計算される距離の比に基づく可能性もある。比較的重い重みを有するブロック内の一致（例えば、上位５０％の重みを有するマッチングされた対）が、ＮＩＲ画像および可視画像の幾何学的配置を関連付けるホモグラフィ的制約を推定するために使用され得る。概して、ホモグラフィ的制約は、２つの画像のパースペクティブを関連付けるために使用され得る幾何学変換である。ＮＩＲ画像および可視画像に関するホモグラフィ的制約を満たす一致が、位置合わせされたＮＩＲ画像および可視画像を形成するために使用され得る。プロセスのブロック４９のさらなる詳細は、図７に関連して本明細書において説明される。

したがって、概して、プロセスのブロック４９で担われる方法は、撮像されている被写体の同じ表面または部分に属するブロック内のピクセルを発見するために実施される可能性がある。例えば、プロセスのブロック４５の密なピクセルマッチングプロセスは、ピクセル毎にピクセルをマッチングするために実施され得る。一方、（ブロック４７のステップも含む可能性がある）プロセスのブロック４９の疎なマッチングプロセスは、画像の視差のある部分が大まかに位置合わせされることを保証するために実施され得る。したがって、ピクセルがブロック４５においてピクセル毎にマッチングされる可能性があるとしても、これは、マッチングされたピクセルが画像全体でシーン内の同じ被写体に関連するピクセルに対応することを必ずしも意味しない。

プロセスのブロック４９で担われるプロセスは、プロセスのブロック４５で密にマッチングされたピクセルが画像全体にわたって（１つまたは複数の）同じ被写体に確かに対応することを確実にし、例えば、画像が疎および密に位置合わせされていることを保証するために実行される。実際は、ホモグラフィ的制約を計算するために重い重みを選択することが、特定のブロック内のマッチングされた対が正確に位置合わせされているという高い信頼性があることを保証する可能性がある。さらに、ピクセル視差（例えば、マッチングされた対のピクセルの分離距離）と（例えば、マッチングされた対の色の差に関連する）色視差の両方を考慮することによって、プロセスのブロック４９の方法は、例えば、可視画像とＮＩＲ画像とを位置合わせするときに被写体のテクスチャおよびその他の表面の特徴が考慮されることを保証するのに役立つ可能性がある。

次に、方法３７は、ブロック４２に移り、ＮＩＲ画像を可視画像に位置合わせする。ブロック４２において、例えば、プロセスのブロック４９で実行された疎なマッチングが、プロセスのブロック４５で実行された密なマッチングに伝搬させられる可能性がある。伝搬処理は、焦点がぼけた画像から深さ情報を取り出すための知られている方法を使用して実行され得る。例えば、ブロック４２において画像を位置合わせするための１つの通常の方法は、疎なマッチングと密なマッチングとを関連付けるコスト関数を生成し、疎なマップ（sparse map）を密なマップ（dense map）に伝搬させるためにコスト関数を数値的に最小化することである。１つの例示的な伝搬プロセスが、例えば、あらゆる目的でその全体が参照により本明細書に援用されるＳｈａｏｊｉｅ ＺｈｕｏおよびＴｅｒｅｎｃｅ Ｓｉｍ、「Ｒｅｃｏｖｅｒｉｎｇ Ｄｅｐｔｈ ｆｒｏｍ ａ Ｓｉｎｇｌｅ Ｄｅｆｏｃｕｓｅｄ Ｉｍａｇｅ」、Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、第４４巻、第９号、１８５２〜１８５８ページ（２０１１年）に開示されている。当業者は、疎な画像マップを密なマップに伝搬させるさまざまな方法が存在することを理解するであろう。さらに、ＮＩＲ画像が、ＮＩＲ画像および可視画像が十分に位置合わせされているか否かを視覚的に確認するために、プロセスのブロック４５の密なマッチングプロセスに基づいて可視画像のパースペクティブにワーピングされる可能性がある。

有利なことに、本明細書において開示される実装は、プロセスのブロック４９において計算された重みと、強度の類似性の値の両方の組み合わせを利用してコスト関数を生成し、ブロック４２において画像を位置合わせすることができる。例えば、強度の類似性の値を計算するために、例えば、ピクセルと、取り込まれた可視画像またはＮＩＲ画像の対応する位置の近くのまたは近隣のピクセルとの間の強度の差を計算することによるなどして、視差マップ（disparity map）の各ピクセルに関して強度の差が推定され得る。さらに、プロセスのブロック４９で割り当てられた複数の重みが、比較的重い重みを有する一致のみが疎なマッチングの結果を伝搬させるために使用されるようにフィルタリングされる可能性がある。一部の実装においては、上位５０％の重みを有する一致のみが使用される可能性がある。（信頼性マップとして機能することができる）重みおよび／または強度の類似性の値の両方が、より正確な伝搬が得られるように位置合わせにおいて使用され得る。信頼性マップ（例えば、重み）および／または強度の類似性の値を組み込んだ結果として、ＮＩＲ画像と可視画像との位置合わせが改善され得る。

次いで、方法３７は、ブロック４４に進んで、位置合わせされた画像を、例えば、ストレージモジュール１２によってシステムに記憶する。それから、プロセス３７は、判定ブロック４６に進んで、追加の画像が位置合わせされるべきかどうかを判定する。追加の画像が位置合わせされるべきであるという判定がなされる場合、方法３７は、ブロック４１に戻ってＮＩＲ画像を受信する。位置合わせすべき追加の画像がないとの判定がなされる場合、方法３７は終了する。

密なマッチングプロセス
図５は、図４の実装によるＮＩＲ画像中の複数のピクセルを可視光画像中の複数のピクセルとマッチングするための方法４５の流れ図である。開示されたピクセル毎のプロセスは、例えば、密マッチングモジュール２６によって実行される可能性がある。方法４５は、ＮＩＲ画像および可視画像の各ピクセルに関する画像記述子を計算するブロック５１で始まる。概して、画像記述子は、画像の部分またはピクセルに関する局所的な画像勾配に基づく可能性がある。局所的な画像勾配は、特定のピクセルまたは画像の部分の周りの複数の方向または向きの画像データの変化率を測ることができる。各ピクセル（または画像の部分）において、ピクセルまたは画像の部分を取り囲む領域における局所的な画像勾配は、方向ヒストグラム（orientation histogram）へと累算される可能性がある。

特定のピクセルまたは画像の部分を取り囲む領域に関する方向ヒストグラムは、ｎ×１画像記述子ベクトル

へと変換される可能性があり、ここで、ｎは、記述子の推定に使用される向きの数および取り囲む画像の領域の数に基づく。例えば、取り囲むピクセルまたは画像の領域の４×４配列が記述子を計算するために使用される場合、および８つの向きが使用される場合、記述子ベクトル

は、１２８×１ベクトル（例えば、４×４×８）である可能性がある。当業者は、局所的な画像勾配に基づいて画像記述子を決定するためのその他の技術があり得ることを理解するであろう。例えば、画像記述子を形成するための１つの技術が、あらゆる目的でその全体が参照により本明細書に援用されるＤａｖｉｄ Ｇ．Ｌｏｗｅ、「Ｄｉｓｔｉｎｃｔｉｖｅ Ｉｍａｇｅ Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｋｅｙｐｏｉｎｔｓ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、９１〜１００ページ（２００４年）に示されている。

図６Ａ−１、６Ａ−２、６Ｂ−１、および６Ｂ−２は、図２のマルチスペクトル撮像システム１０によって取り込まれた木２の２枚の画像を示す概略図である。特に、図６Ａ−１は、左の撮像センサーによって取り込まれた左の画像を示し、図６Ａ−２は、撮像システム１０の右の撮像センサーによって取り込まれた右の画像を示す。図６Ａ−１の左の画像は、ＮＩＲ撮像センサー７によって取り込まれた画像に対応する可能性があり、図６Ａ−２の右の画像は、可視撮像センサー５によって取り込まれた画像に対応する可能性があり、またはその逆である可能性がある。示されたように、図６Ａ−１および６Ａ−２の取り込まれた画像は、それぞれ、ｘ方向およびｙ方向に沿って距離をピクセルで測る共通の座標系Ｒを共有する。さまざまな実装において、図６Ａ−１および６Ａ−２の画像は、ピクセルの行が垂直方向に実質的に位置合わせされるように事前較正ステップの間に垂直方向に位置合わせされ得ることを理解されたい。図６Ａ−１は、選択されたエリア６０を含み、図６Ａ−２は、選択されたエリア６２を含む。

図６Ｂ−１および６Ｂ−２の画像は、それぞれ、図６Ａ−１および６Ａ−２からの木２の選択されたエリア６０、６２の拡大された部分の概略図である。したがって、図６Ｂ−１および６Ｂ−２に示された拡大された画像の部分は、図６Ａ−１および６Ａ−２の破線で示された四角によって境界を決められた画像の部分６０および６２に対応する。例えば、両方の画像の四角は、共通の座標系Ｒのｘ方向に０からｘ₁までに及び、ｙ方向にｙ₁からｙ₂に及ぶ可能性がある。図６Ｂ−１および６Ｂ−２に示されたように、これらの画像は、複数のピクセル、図６Ｂ−１の画像に関して

および図６Ｂ−２の画像に関して

に分割される可能性がある。下付き文字ｉは、ｙ方向に関するインデックスを指す可能性があり、下付き文字ｊは、ｘ方向に関するインデックスを指す可能性がある。図６Ｂ−１および６Ｂ−２のピクセルのサイズは例示を目的として誇張されている可能性があることに留意されたい。

図６Ｂ−１および６Ｂ−２においては、画像記述子が、それぞれの画像のあらゆるピクセルに関して計算される可能性がある。例えば、図６Ｂ−１のピクセル

においては、画像記述子

が、本明細書において説明されるように計算され得る。方向ヒストグラムがピクセル

に関してのみ示されているが、概して、局所的な画像勾配に関する方向ヒストグラムは、画像内のすべてのピクセルまたは画像の領域に関してやはり計算され得ることに留意されたい。加えて、図６Ｂ−２のピクセル

において、画像記述子

が計算され得る。図６Ｂ−１と同様に、ピクセル

における局所的な画像勾配に関する方向ヒストグラムが、単なる例として示される。

ここで図５を参照すると、方法４５は、ブロック５３に移って、ＮＩＲ画像の画像記述子を可視画像の画像記述子とマッチングする。さまざまな実装において、密マッチングモジュール２６は、他方の画像内でそれぞれの画像記述子の最も近い近隣の画像記述子

を探索することができる。例えば、図６Ｂ−１の元ピクセル

およびその元ピクセルの関連する画像記述子

を考える。ブロック５３において、方法４５は、図６Ｂ−１の特定の元ピクセル

に関連する画像記述子

から最小のユークリッド距離にある（または上で説明されたマッチングコストの別の尺度に関連する最小値にある）画像記述子

を有する図６Ｂ−２内の目標ピクセルを探索する。図６Ｂ−１および６Ｂ−２は事前較正ステップ中に垂直方向に位置合わせされる可能性があるので、蜜マッチングモジュール２６は、図６Ｂ−２内のピクセル

に対する最も近い近隣のピクセルが、おそらく、ピクセルの同じ行、例えば、行４に沿って存在すると推測する可能性がある。しかし、事前較正ステップがない場合、または事前較正ステップが不正確である場合、密マッチングモジュール２６は、代わりに、図６Ｂ−１のピクセル

を通る図６Ｂ−２のエピポーラ線に沿ってピクセルを探索する可能性がある。

図６Ｂ−１および６Ｂ−２が垂直方向に正確に位置合わせされていると仮定すると、方法４５は、図６Ｂ−１内の元ピクセル

とマッチングするための候補である可能性がある図６Ｂ−２内の目標ピクセルのサブセットを選択することができる。例えば、一例において、方法４５は、図６Ｂ−２のピクセル

、および

が図６Ｂ−１内のピクセル

の位置に空間的に近いので、それらのピクセルを、図６Ｂ−１内のピクセル

に対する候補目標ピクセルの一致として選択する可能性がある。もちろん、方法４５は、代わりに、すべてのピクセルを含む図６Ｂ−２内の目標ピクセルのより大きな組を探索する可能性があるが、そのようなより多くの探索は、不利なことに、処理時間を増やす可能性がある。したがって、方法４５は、例えば、図６Ｂ−２内の１組の候補ピクセルの各ピクセルに関して

を計算することによってユークリッド距離ｄを計算する可能性がある。最小のユークリッド距離ｄ_minに関連する図６Ｂ−２の１組の候補ピクセルの中の目標ピクセル

が、図６Ｂ−１の元ピクセル

とマッチングされて、マッチングされたピクセルの対を形成する可能性がある。例えば、図６Ｂ−１および６Ｂ−２においては、図６Ｂ−１のピクセル

および図６Ｂ−２のピクセル

が、それらのピクセルのそれぞれの画像記述子

と

との間のユークリッド距離が図６Ｂ−２からの１組の候補ピクセルに関して最小のユークリッド距離ｄ_minである場合、マッチングされたピクセルの対を形成する可能性がある。

図６Ａ−１、６Ａ−２、６Ｂ−１、および６Ｂ−２に関連して上で説明された例においては、元ピクセルが、図６Ｂ−１から選択され、１組の候補の目標の一致が、図６Ｂ−２内で探索された。さまざまな実装において、方法４５は、図６Ｂ−２の元ピクセルから開始して、図６Ｂ−１内の１組の目標ピクセルの中で最も近い近隣のピクセルを探索することによって左右の整合性の検査を実行する可能性がある。両方向に最も近い近隣のピクセルの探索を実行することによって、方法４５は、マッチングされたピクセルの対が正確に割り当てられることを保証する可能性がある。

方法４５は、判定ブロック５５に移って、マッチングされたピクセルの対が曖昧であるかどうか、例えば、それぞれのマッチングされたピクセルの対に高い信頼性があるか否かを判定する。さまざまな実装において、方法４５は、最小のユークリッド距離ｄ_minと１組の候補目標ピクセルの中のｎ個の次に小さいユークリッド距離ｄ_iとを比較する距離の比ｒを確定する可能性がある。例えば、一部の実装においては、ｍ番目のマッチングされたピクセルの対に関する距離の比ｒ_mが、

によって計算される可能性がある。

大きな距離の比ｒ_m、例えば、１に近い比は、その他の近隣の記述子が元の記述子から似た距離ｄ_iにあるので、区別可能でない一致を反映する可能性がある。より小さな値、例えば、約０．９５未満の距離の比は、より信頼性のある一致をもたらす可能性がある。したがって、ｍ番目のマッチングされた対に関する距離の比ｒ_mが特定の閾値を超える場合、方法４５は、ブロック５５において、曖昧な一致が存在すると判定する可能性がある。曖昧な一致が存在すると判定される場合、方法４５は、ブロック５７に移って、曖昧な結果を破棄するために、さらなる処理から曖昧なマッチングされたピクセルの対を削除する。しかし、ｍ番目のマッチングされた対に関する距離の比ｒ_mが特定の閾値未満である場合、方法４５は、ブロック５５において、曖昧な一致が存在しないと判定する可能性がある。曖昧な一致が存在しないと判定される場合、方法４５は終了する。

図７は、図４の実装によるそれぞれのマッチングされたピクセルの対に重みを割り当てるための方法４９の流れ図である。方法４９は、マッチングされたピクセルの対を複数のブロックに区分けするブロック７１で始まる。ブロックは、画像をピクセルの複数のグループに大まかに分割することができる。例えば、画像は、例えば、ピクセルのブロックの４×４、８×８、または１０×１０配列などの任意の好適な数のブロックに区分けされる可能性がある。

方法４９は、ブロック７３に進んで、マッチングされたピクセルの対に関する視差類似性値（disparity-similarity value）を計算する。図４に関連して上で説明されたように、ピクセル視差ｑ_mは、マッチングされたピクセルの対のピクセルの間の可視画像およびＮＩＲ画像におけるピクセルの分離距離を指す可能性がある。例えば、図６Ｂ−１および６Ｂ−２の例に戻ると、ピクセル

および

のマッチングされた対は、図６Ｂ−１および６Ｂ−２に示された共通の座標系Ｒにおける距離だけ隔てられている。特に、この例のピクセル

および

のマッチングされた対に関するピクセル視差ｑ_mは、２つのピクセルが水平方向に３ピクセルだけ隔てられ、垂直方向に０ピクセル隔てられているので３ピクセルである。

ブロック７３において、方法４９は、ｍ番目のマッチングされた対の視差ｑ_mがｍ番目のマッチングされたペアを含むブロック内の最も頻度の高い視差（または最頻視差）ｑ₀にどれだけ近いかを決定する視差類似性値を計算する。したがって、特定のブロックに関して、画像の視差ｑの５がそのブロック内で最も頻度の高い視差である場合、最頻視差ｑ₀は５ピクセルである。さまざまな実装において、視差類似性値ｓ_d（ｍ）は、

によって定義される可能性があり、ここで、σ_dは、さまざまな実装において１である可能性がある分散因子である。したがって、視差類似性値ｓ_d（ｍ）は、特定の一致の視差がブロック内の最も頻度の高い視差にどれだけ近いかを比較する可能性がある。

次いで、方法４９は、マッチングされたピクセルの対に関する色類似性値（color-similarity value）Ｓ_c（ｍ）を計算するブロック７５に移る。その結果、色類似性値は、マッチングされたピクセルの対の色値ｃ_mが、そのマッチングされたピクセルの対を含むブロックの最頻ピクセル視差ｑ₀に近いまたは近接しているピクセル視差ｑ_mを有するマッチングされたピクセルの対の平均色値にどれだけ近いかを判定するために使用され得る。例えば、平均色値ｃ₀は、最頻視差ｑ₀から所定の数のピクセルｔ（例えば、一部の構成においてはｔ＝２ピクセル）以内の視差ｑ_lを有するｌ個のピクセルに関して計算される可能性がある。したがって、平均の色ｃ₀は、

のように計算され得る。

平均色値ｃ₀が与えられると、色類似性値Ｓ_c（ｍ）は、

によって計算される可能性があり、ここで、σ_cは、さまざまな実装において１である可能性がある分散因子である。

次に、方法４９は、マッチングされたピクセルの対に重みｗ（ｍ）を割り当てるブロック７７に進む。さまざまな構成において、割り当てられる重みｗ（ｍ）は、視差類似性値Ｓ_d（ｍ）および色類似性値ｓ_c（ｍ）に部分的に基づく可能性がある。一部の実装において、それぞれのマッチングされた対に関する重みｗ（ｍ）は、さらに、図５のブロック５５において上で計算された距離の比ｒ_mに基づく可能性がある。例えば、さまざまな実装において、ｍ番目の一致に関して割り当てられる重みｗ（ｍ）は、計算

に基づいて割り当てられる可能性がある。

したがって、小さな距離の比ｒ_mを有する一致は、概して、大きな距離の比を有する一致よりも重い重みを有する可能性がある。加えて、色類似性値および視差類似性値が増加するにつれて、割り当てられる重みも増加する可能性がある。さまざまな実装においては、特定の閾値を超えるか、または最大の重みである重みｗ（ｍ）のみが、ＮＩＲ画像と可視画像とを位置合わせするときに含められる可能性がある。例えば、特定のブロック内で、上位５０％の重みが選択されるかまたは残される可能性がある。比較的重い重みｗ（ｍ）のみを残すことによって、方法４９は、同様の視差および／または色もしくは強度を有する一致のみを残す可能性がある。図４に関連して上で説明されたように、比較的重い重みに関連するマッチングされた対が、ＮＩＲ画像と可視画像との間のホモグラフィ的制約を推定するために使用される可能性があり、そのホモグラフィを満たすすべてのマッチングされた対が、図４の位置合わせステップ４２で残される可能性がある。

次に、方法４９は、追加のマッチングされたピクセルの対が存在するかどうかを判定する判定ブロック７９に進む。追加のマッチングされたピクセルの対が存在するという判定がなされる場合、方法４９は、ブロック７３に戻って、マッチングされたピクセルの対に関する視差類似性値を計算する。しかし、追加のピクセルの対が存在しないという判定がなされる場合、方法４９は終了する。

図４に関連して上で説明されたように、ＮＩＲ画像および可視画像がブロック４２において位置合わせされる可能性があり、位置合わせされた画像が記憶される可能性がある。

マルチスペクトル撮像の応用
図８は、図３の実装による画像データを処理するための方法３９の流れ図である。ＮＩＲ画像と可視画像とが位置合わせされると、さまざまなマルチスペクトル撮像プロセスが、位置合わせされた画像に対して実行され得る。例えば、方法３９は、図３のステップ３７で位置合わせされた位置合わせされたＮＩＲ画像および可視画像を含む可能性がある位置合わせされた画像データを受信するブロック８１で始まる。

次いで、方法３９は、判定ブロック８２に移って、ユーザが立体撮像の応用を望むかどうかを判定する。立体撮像が望まれているという判定がなされる場合、方法３９は、ユーザに対して３Ｄ画像をレンダリングするために図２の立体撮像モジュール２３に位置合わせされた画像データに送信するブロック８３に移る。立体撮像の応用は、有利なことに、ユーザに対して３Ｄ画像を提示することができる。立体視の応用は、３Ｄ動画製作および／または距離測定の応用のために使用され得る。例えば、深度マップが、本明細書において説明されたように撮像の視差に基づいて計算され得る。動画出力の解像度に合わせるために、深度マップは、既存の超解像の方法を使用してより精細な解像度を得るように補完される可能性がある。当業者は、さまざまな立体撮像手順が使用され得ることを理解するであろう。

立体撮像および／またはレンダリングが望まれていないという判定がブロック８２においてなされる場合、方法３９は、ハイブリッド撮像が望まれているか否かを判定する判定ブロック８４に進む。ハイブリッド撮像が望まれている場合、方法３９は、位置合わせされた画像データをハイブリッド撮像モジュール２５に送信するブロック８５に移る。本明細書において説明されるように、ハイブリッド撮像プロセスは、高解像度での静止画像データおよび低解像度での動画データを利用するために使用され得る。ハイブリッド撮像は、例えば、雑音の除去、ぼけの除去、超解像などを含むさまざまな応用で使用され得る。開示されたマルチスペクトル撮像システム１０は、上述のように、ＮＩＲセンサー７がシーンのより低い解像度での動画を撮影する一方、可視光センサー５が高解像度での静止写真を撮影することができるように構成される可能性がある。もちろん、その代わりに、可視光センサー５が動画を撮影する一方、ＮＩＲセンサー７が静止写真を撮影する可能性がある。

そのようなハイブリッドシステムにおいては、さまざまな方法が、カメラが画像を取り込むためにかかる時間の間のカメラとシーンとの相対的な動きによって引き起こされるモーションブラーを削減するために使用される可能性がある。２つの可視センサーを扱う１つのそのような方法が、あらゆる目的でその全体が参照により本明細書に援用されるＭ．Ｂｅｎ−ＥｚｒａおよびＳ．Ｋ．Ｎａｙａｒ、「Ｍｏｔｉｏｎ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｄｅｂｌｕｒｒｉｎｇ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、２００４年に開示されている。この方法においては、高解像度の可視（例えば、ＲＧＢ）センサーが、画像を取り込み、（ビデオカメラなどの）低解像度の可視（例えば、ＲＧＢ）モーションセンサーが、特定のシーンの画像を取り込む。低解像度ビデオカメラは、カメラに対するシーンの動きを表す連続点拡がり関数（continuous point spread function）を計算するために使用される。デコンボリューション（deconvolution）の手法が、高解像度での画像のぼけを除去するために使用される。もちろん、当業者が認めるであろうように、これらの方法は、画像内のモーションブラーを低減するいくつかの方法であるに過ぎない。その他の好適な方法が、開示された撮像システムで使用され得る。

ハイブリッド撮像が望まれていないという判定がブロック８４においてなされる場合、方法３９は、マルチスペクトル情報処理が望まれているかどうかを判定する判定ブロック８６に移る。本明細書において説明されるように、開示されたＮＩＲ−可視マルチスペクトル撮像システム１０などのマルチスペクトル撮像システムは、光の広い帯域幅に含まれる豊富な詳細を利用することができる。マルチスペクトル情報処理が望まれているという判定がブロック８６においてなされる場合、方法３９は、以下で説明されるさまざまなマルチスペクトル処理技術で使用するためにマルチスペクトル情報処理モジュール２７に位置合わせされた画像データを送信するブロック８７に移る。

概して、ＮＩＲ光は、可視光よりも優れたコントラストをもたらす可能性があり、コントラストを高めることおよび画像の霞除去などの画像品質の改善の大きな潜在性を生む豊富な詳細を運ぶ。例えば、一部の実装においては、あらゆる目的でその全体が参照により本明細書に援用されるＸ．Ｐ．Ｚｈａｎｇ、Ｔ．Ｓｉｍ、Ｘ．Ｐ．Ｍｉａｏ、「Ｅｎｈａｎｃｉｎｇ Ｐｈｏｔｏｇｒａｐｈｓ ｗｉｔｈ Ｎｅａｒ Ｉｎｆｒａｒｅｄ Ｉｍａｇｅｓ」、ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ２００８、Ａｎｃｈｏｒａｇｅ、ＵＳに開示された方法によって、開示されたシステム１０を使用して画像のコントラストが高められる可能性がある。この特定の方法において、ＮＩＲ画像および可視画像は、平均のおよび詳細なウェーブレットサブバンドに分解される可能性がある。明るさおよびテクスチャの詳細が、ヒストグラムマッチング技術を使用してＮＩＲ画像から可視画像に移される可能性がある。

コントラストおよびテクスチャを高めるさらなる方法が、あらゆる目的でその全体が参照により本明細書に援用される、「Ｅｎｈａｎｃｉｎｇ Ｐｈｏｔｏｇｒａｐｈ Ｖｉｓｕａｌ Ｑｕａｌｉｔｙ Ｕｓｉｎｇ Ｔｅｘｔｕｒｅ ａｎｄ Ｃｏｎｔｒａｓｔ Ｄａｔａ ｆｒｏｍ Ｎｅａｒ Ｉｎｆｒａ−ｒｅｄ Ｉｍａｇｅ」と題された、２０１０年５月１３日に出願された（２０１０年１１月１８日に公開された）米国特許出願公開第２０１０／０２９０７０３号に開示されている。公開第‘７０３号に開示された方法においては、可視（例えば、ＲＧＢ）画像からの重み領域マスク（weight region mask）が計算される。ＮＩＲ画像からのコントラストおよびテクスチャデータが、重み付けされた領域マスクを使用して可視画像に移され、ウェーブレット変換が実行される。ヒストグラムマッチング技術が、可視画像およびＮＩＲ画像の低周波数サブバンドを使用してコントラストデータを計算するために使用される。可視画像とＮＩＲ画像の両方の高周波数サブバンドが、テクスチャデータを計算するために使用される。もちろん、当業者が認めるであろうように、これらのコントラストおよびテクスチャの改善方法は、マルチスペクトル撮像システムでコントラストを高めるいくつかの方法であるに過ぎない。その他の好適な方法が、開示された撮像システムで使用され得る。

低光量条件において、本明細書で開示されたマルチスペクトル撮像システム１０は、低い光量のレベルの結果として生じる可視（例えば、ＲＧＢ）画像内の雑音を低減するために使用され得る。これまでの低光量システムにおいては、可視フラッシュシステムが、撮像されるべき被写体を照らすために使用されることが多い。しかし、そのような人工的な光は、画像の雰囲気を台無しにする可能性があり、赤目、望ましくない反射、および陰のような不要なアーティファクトをもたらす可能性がある。可視光フラッシュに関連する問題を最小化しながら低光量条件での雑音を低減するための１つの方法が、あらゆる目的でその全体が参照により本明細書に援用されるＳｈａｏｊｉｅ Ｚｈｕｏ、Ｘｉａｏｐｅｎｇ Ｚｈａｎｇ、Ｘｉａｏｐｉｎｇ Ｍｉａｏ、およびＴｅｒｅｎｃｅ Ｓｉｍ、「Ｅｎｈａｎｃｉｎｇ Ｌｏｗ Ｌｉｇｈｔ Ｉｍａｇｅｓ Ｕｓｉｎｇ Ｎｅａｒ Ｉｎｆｒａｒｅｄ Ｆｌａｓｈ Ｉｍａｇｅｓ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ２０１０、Ｈｏｎｇ Ｋｏｎｇに開示されている。この方法においては、可視フラッシュの代わりにＮＩＲフラッシュランプが使用され、（ＲＧＢカラーＣＣＤなどの）通常の可視撮像センサーが画像を取り込む。ＮＩＲフラッシュ画像は、可視フラッシュのように雑音によって悪影響を受けず、低光量条件によって引き起こされる雑音を可視（例えば、ＲＧＢ）画像から取り除くために（加重最小自乗平滑化技術などの）雑音除去技術と併せて使用され得る。もちろん、当業者が認めるであろうように、この雑音低減方法は、撮像システムで雑音を低減する１つの方法であるに過ぎない。その他の好適な方法が、開示された撮像システムで使用され得る。

その他の場合、マルチスペクトル撮像システム１０は、画像の霞を除去するために使用される可能性がある。例えば、風景写真内の遠くの被写体は、大気中でのレイリー散乱が原因で霞んで見える可能性がある。画像の霞を除去する１つの手法が、あらゆる目的でその全体が参照により本明細書に援用されるＬ．Ｓｃｈａｕｌ、Ｃ．Ｆｒｅｄｅｍｂａｃｈ、およびＳ．Ｓｕｓｓｔｒｕｎｋ、「Ｃｏｌｏｒ Ｉｍａｇｅ Ｄｅｈａｚｉｎｇ ｕｓｉｎｇ ｔｈｅ Ｎｅａｒ−Ｉｎｆｒａｒｅｄ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ２００９、Ｃａｉｒｏ、Ｅｇｙｐｔに開示されている。この方法においては、特定のシーンの可視画像およびＮＩＲ画像が融合されられる。エッジ保存フィルタリングを使用する複数解像度の手法が、霞を低減するために使用される。もちろん、当業者が認めるであろうように、この方法は、画像の霞を除去する１つの方法に過ぎない。その他の好適な方法が、開示された撮像システムで使用され得る。

さらにその他の実施形態においては、開示されたハイブリッド撮像システムが、美肌補正の応用で使用される可能性がある。人物写真の撮影においては、しわ、そばかす、およびにきびなどの特定の望ましくない肌の特徴が、画像に取り込まれる可能性がある。開示されたマルチスペクトル撮像システム１０は、多くの異なる方法でこれらの望ましくない特徴を除去または平滑化するために使用され得る。いくつかのそのような方法は、あらゆる目的でその全体が参照により本明細書に援用されるＣ．Ｆｒｅｄｅｍｂａｃｈ、Ｎ．Ｂａｒｂｕｓｃｉａ、およびＳ．Ｓｕｓｓｔｒｕｎｋ、「Ｃｏｍｂｉｎｉｎｇ ｖｉｓｉｂｌｅ ａｎｄ ｎｅａｒ−ｉｎｆｒａｒｅｄ ｉｍａｇｅｓ ｆｏｒ ｒｅａｌｉｓｔｉｃ ｓｋｉｎ ｓｍｏｏｔｈｉｎｇ」、ＩＳ＆Ｔ／ＳＩＤ １７ｔｈ Ｃｏｌｏｒ Ｉｍａｇｉｎｇ Ｃｏｎｆｅｒｅｎｃｅに開示されている。Ｆｒｅｄｅｍｂａｃｈらは、ＮＩＲを使用して肌の特徴を改善する３つの方法を開示する。第１の方法では、ＲＧＢ画像の輝度が、単純にＮＩＲデータによって置き換えられる可能性がある。Ｆｒｅｄｅｍｂａｃｈの第２の方法では、ＮＩＲ画像とＲＧＢ画像とが、ウェーブレット分解を用いて融合させられる可能性がある。最後に、第３の方法では、相互的なエッジ認識空間フィルタ（bilateral, edge-aware spatial filter）が、画像を基底層（base layer）と詳細層（detail layer）とに分解し、ＮＩＲ画像の詳細層を可視の輝度の基底層と融合させ、クロミナンス（chrominance）情報を追加し、最後に、結果として得られた画像をＲＧＢ可視画像に変換して戻すために使用される可能性がある。もちろん、当業者が認めるであろうように、これらの方法は、画像で肌を平滑化するいくつかの方法であるに過ぎない。その他の好適な方法が、本発明の精神から逸脱することなく、開示された撮像システムで使用され得ることを認識されたい。

図８の方法３９に戻って、マルチスペクトル情報処理が望まれていないという判定がブロック８６においてなされる場合、方法３９は終了する。したがって、図８の方法３９は、開示されたシステム１０で使用され得るさまざまなマルチスペクトル画像処理技術および応用の概要を示す。

位置合わせプロセスの例示的な実装
図９Ａ〜９Ｃは、１つの実装による画像位置合わせプロセスのさまざまな段階の例示的な画像である。図９Ａ〜９Ｃの実験は、Ｓａｍｓｕｎｇ Ｓ５Ｋ４Ｅ１ＧＸ ＱＳＸＧＡ ＣＭＯＳセンサーの対を使用して取り込まれた。ＮＩＲセンサーに関しては、Ｋｏｄａｋ Ｗｒａｔｔｅｎ ＩＲフィルタ（＃８７Ｃ）が、センサーを蔽って適用された。図９Ａは、テーブルの上のマネキンならびに背景の椅子およびソファを含むシーンの取り込まれた画像の対を示す。入力ＮＩＲ画像は、左側に示され、入力可視（例えば、ＲＧＢ）画像は、右側に示されている。図９Ｂは、図４のステップ４５で開示された密なマッチングプロセスの後の結果を示し、図９Ｃは、図４のステップ４４において画像が位置合わせされた後の結果を示す。図９Ｃに示されたように、ＮＩＲ画像は、密なマッチングの結果に基づいて可視画像のパースペクティブにワーピングされた。さまざまな画像のアーティファクト９１が、図９Ｃのワーピングされた画像に見られる可能性がある。アーティファクト９１は、位置合わせプロセスの不完全さが原因である視野のずれを表す可能性がある。加えて、アーティファクト９１は、例えば、一方の撮像センサーが見ることができるシーンの部分を他方の撮像センサーが見ることができないときのさまざまな遮蔽（occlusion）が原因で起こる可能性がある。しかし、図９Ｃに示されたように、開示されたシステムおよび方法の結果は、ＮＩＲ画像および可視画像が正確に位置合わせされ得ることを示す。

用語に関する説明
さらに、当業者は、本明細書において開示された実装に関連して説明されたさまざまな例示的な論理ブロック、モジュール、回路、およびプロセスのステップが、電子的なハードウェア、コンピュータソフトウェア、またはそれら両方の組み合わせとして実装され得ることを理解するであろう。ハードウェアとソフトウェアとのこの互換性を明確に示すために、さまざまな例示的な構成要素、ブロック、モジュール、回路、およびステップが、概してそれらの機能の観点で上で説明された。そのような機能がハードウェアで実装されるか、またはソフトウェアで実装されるかは、システム全体に課された特定の用途および設計の制約による。当業者は、説明された機能をそれぞれの特定の用途のためにさまざまな方法で実装することができるが、そのような実装の判断は本発明の範囲からの逸脱をもたらすものと解釈されるべきでない。当業者は、部分または一部が、全体に満たないかまたは全体に等しい何かを備える可能性があることを認めるであろう。例えば、ピクセルの集合の部分は、それらのピクセルの部分集合を指す可能性がある。

本明細書において開示された実装に関連して説明されたさまざまな例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくはその他のプログラマブルロジックデバイス、離散的なゲートもしくはトランジスタ論理、離散的なハードウェア構成要素、または本明細書において説明された機能を実行するように設計されたそれらの任意の組み合わせを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサである可能性があるが、別法として、プロセッサは、任意の通常のプロセッサ、コントローラ、マイクロコントローラ、または状態機械である可能性がある。プロセッサは、コンピューティングデバイスの組み合わせ、例えばＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つもしくは複数のマイクロプロセッサ、または任意のその他のそのような構成として実装される可能性もある。

本明細書において開示された実装に関連して説明された方法またはプロセスのステップは、直接ハードウェアで、プロセッサによって実行されるソフトウェアモジュールで、またはこれら２つの組み合わせで具現化される可能性がある。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、または当技術分野で知られている任意のその他の形態の非一時的ストレージ媒体に存在する可能性がある。例示的なコンピュータ可読ストレージ媒体は、プロセッサがコンピュータ可読ストレージ媒体から情報を読むことができ、コンピュータ可読ストレージ媒体に情報を書き込むことができるようにプロセッサに結合される。別法として、ストレージ媒体は、プロセッサに一体化される可能性がある。プロセッサおよびストレージ媒体は、ＡＳＩＣ内に存在する可能性がある。ＡＳＩＣは、ユーザ端末、カメラ、またはその他のデバイス内に存在する可能性がある。別法として、プロセッサおよびストレージ媒体は、ユーザ端末、カメラ、またはその他のデバイス内の別個の構成要素として存在する可能性がある。

参照のため、およびさまざまな節を見つけやすくするために本明細書に見出しが含められている。これらの見出しは、これらの見出しに関連して説明される概念の範囲を限定するように意図されていない。そのような概念は、明細書全体を通して当てはまる可能性がある。

開示された実装の上記の説明は、当業者が本発明を作製または使用することを可能にするために提供される。これらの実装に対するさまざまな修正が当業者には容易に明らかとなり、本明細書において定義された包括的な原理は、本発明の精神または範囲を逸脱することなくその他の実装に適用され得る。したがって、本発明は、本明細書において示された実装に限定されるように意図されておらず、本明細書において開示された原理および新規性のある特徴に合致する最も広い範囲を与えられるべきである。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
近赤外線（ＮＩＲ）撮像センサーおよび可視撮像センサーを含むシステムでＮＩＲ画像を可視画像に位置合わせするための電子的方法であって、
前記ＮＩＲ撮像センサーからＮＩＲ画像を受信することと、
前記可視撮像センサーから可視画像を受信することと、
前記ＮＩＲ画像中の複数のピクセルを前記可視画像中のピクセルとマッチングして複数のマッチングされたピクセルの対を形成することと、
それぞれのマッチングされたピクセルの対に関するピクセル視差を計算することと、
それぞれのマッチングされたピクセルの対に関する計算されたピクセル視差に少なくとも部分的に基づいてそれぞれのマッチングされたピクセルの対に重みを割り当てることと、
割り当てられた複数の重みに少なくとも部分的に基づいて前記ＮＩＲ画像を前記可視画像に位置合わせすることとを備える、方法。
［Ｃ２］
前記ＮＩＲ画像中のピクセルをマッチングすることが、前記ＮＩＲ画像および前記可視画像の画像勾配に少なくとも部分的に基づいて前記ＮＩＲ画像および前記可視画像のそれぞれのピクセルに関する画像記述子を計算することを備えるＣ１に記載の方法。
［Ｃ３］
それぞれのマッチングされたピクセルの対に関する前記ピクセル視差を計算することが、前記マッチングされたピクセルの対中の前記複数のピクセルの間の前記可視画像および前記ＮＩＲ画像中の複数のピクセルの分離距離を計算することを含むＣ１に記載の方法。
［Ｃ４］
マッチングされたピクセルのそれぞれの対に重みを割り当てることが、前記マッチングされたピクセルの対を複数のブロックに区分けし、それぞれのマッチングされたピクセルの対に関する色類似性値及び視差類似性値を計算することを備えるＣ１に記載の方法。
［Ｃ５］
前記ＮＩＲ画像を前記可視画像に位置合わせすることが、前記ＮＩＲ画像と前記可視画像との間の強度の差に少なくとも部分的に基づくＣ１に記載の方法。
［Ｃ６］
前記複数のマッチングされたピクセルの対に少なくとも部分的に基づいて前記ＮＩＲ画像および前記可視画像のうちの一方を前記ＮＩＲ画像および前記可視画像のうちの他方のパースペクティブにワーピングすることをさらに備えるＣ５に記載の方法。
［Ｃ７］
前記ＮＩＲ画像を前記可視画像に位置合わせすることが、前記ＮＩＲ画像および可視画像のホモグラフィ的制約を満たす前記割り当てられた複数の重みに少なくとも部分的に基づくＣ１に記載の方法。
［Ｃ８］
下記を備えるマルチスペクトル撮像システム、 近赤外線（ＮＩＲ）画像を取り込むように構成されたＮＩＲ撮像センサーと、
可視光画像を取り込むように構成された可視光撮像センサーと、
前記ＮＩＲ画像中のの複数のピクセルを前記可視光画像中の複数のピクセルとマッチングして複数のマッチングされたピクセルの対を形成するようにプログラムされた密マッチングモジュールと、
それぞれのマッチングされたピクセルの対に関するピクセル視差を計算し、それぞれのマッチングされたピクセルの対に関する計算されたピクセル視差に少なくとも部分的に基づいてそれぞれのマッチングされたピクセルの対に重みを割り当てるようにプログラムされた疎マッチングモジュールと、
割り当てられた複数の重みに少なくとも部分的に基づいて前記ＮＩＲ画像を前記可視画像に位置合わせするようにプログラムされた位置合わせされた画像形成モジュールと、
位置合わせされた画像を前記システムに記憶するようにプログラムされたストレージモジュール。
［Ｃ９］
前記密マッチングモジュールが、前記ＮＩＲ画像および前記可視画像の画像勾配に少なくとも部分的に基づいて前記ＮＩＲ画像および前記可視画像のそれぞれのピクセルに関する画像記述子を計算するようにさらにプログラムされるＣ８に記載のシステム。
［Ｃ１０］
前記密マッチングモジュールが、前記ＮＩＲ画像の画像記述子を前記可視画像の画像記述子とマッチングして前記複数のマッチングされたピクセルの対を形成するように構成されるＣ９に記載のシステム。
［Ｃ１１］
前記疎マッチングモジュールが、前記マッチングされたピクセルの対を複数のブロックに区分けし、それぞれのマッチングされたピクセルの対に関する色類似性値および視差類似性値を計算するようにプログラムされるＣ８に記載のシステム。
［Ｃ１２］
前記位置合わせれた画像形成モジュールが、前記ＮＩＲ画像と前記可視画像との間の強度の差に少なくとも部分的に基づいて前記ＮＩＲ画像を前記可視画像に位置合わせするようにプログラムされるＣ８に記載のシステム。
［Ｃ１３］
前記位置合わせされた画像形成モジュールが、前記ＮＩＲ画像および可視画像のホモグラフィ的制約を満たす前記割り当てられた複数の重みに少なくとも部分的に基づいて前記ＮＩＲ画像を前記可視画像に位置合わせするようにプログラムされるＣ８に記載のシステム。
［Ｃ１４］
前記ＮＩＲ画像および前記可視画像から計算された深度マップに少なくとも部分的に基づいて３次元画像をレンダリングするようにプログラムされた立体撮像モジュールをさらに備えるＣ８に記載のシステム。
［Ｃ１５］
第１の解像度での前記可視撮像センサーからの静止画像データと、第２の解像度での前記ＮＩＲ撮像センサーからの動画像データとを処理するようにプログラムされたハイブリッド撮像モジュールをさらに備え、前記第２の解像度は前記第１の解像度未満であるＣ８に記載のシステム。
［Ｃ１６］
前記システムが、セルラ電話であるＣ８に記載のシステム。
［Ｃ１７］
前記可視撮像センサーから取り込まれた可視画像データ中のコントラストを高めるするために前記ＮＩＲ撮像センサーから取り込まれたＮＩＲ画像データを処理するようにプログラムされたマルチスペクトル情報処理モジュールをさらに備えるＣ８に記載のシステム。
［Ｃ１８］
ＮＩＲ撮像センサーからＮＩＲ画像を受信するための手段と、
可視撮像センサーから可視画像を受信するための手段と、
前記ＮＩＲ画像中の複数のピクセルを前記可視画像中の複数のピクセルとマッチングして複数のマッチングされたピクセルの対を形成するための手段と、
それぞれのマッチングされたピクセルの対に関するピクセル視差を計算するための手段と、
それぞれのマッチングされたピクセルの対に関する計算されたピクセル視差に少なくとも部分的に基づいてそれぞれのマッチングされたピクセルの対に重みを割り当てるための手段と、
割り当てられた複数の重みに少なくとも部分的に基づいて前記ＮＩＲ画像を前記可視画像に位置合わせするための手段とを備える撮像システム。
［Ｃ１９］
前記ＮＩＲ画像を受信するための前記手段および前記可視画像を受信するための前記手段が、通信モジュールを含むＣ１８に記載の撮像システム。
［Ｃ２０］
前記ピクセルをマッチングする手段が、密マッチングモジュールを含むＣ１８に記載の撮像システム。
［Ｃ２１］
前記ピクセル視差を計算する手段が、疎マッチングモジュールを含むＣ１８に記載の撮像システム。
［Ｃ２２］
前記疎マッチングモジュールが、前記重みを割り当てる手段をさらに含むＣ２１に記載の撮像システム。
［Ｃ２３］
前記位置合わせする手段が、位置合わせされた画像形成モジュールを含むＣ１８に記載の撮像システム。
［Ｃ２４］
実行されるときに、
ＮＩＲ撮像センサーからＮＩＲ画像を受信することと、
可視撮像センサーから可視画像を受信することと、
前記ＮＩＲ画像中の複数のピクセルを前記可視画像中の複数のピクセルとマッチングして複数のマッチングされたピクセルの対を形成することと、
それぞれのマッチングされたピクセルの対に関するピクセル視差を計算することと、
それぞれのマッチングされたピクセルの対に関する計算されたピクセル視差に少なくとも部分的に基づいてそれぞれのマッチングされたピクセルの対に重みを割り当てることと、
割り当てられた複数の重みに少なくとも部分的に基づいて前記ＮＩＲ画像を前記可視画像に位置合わせすることとを備える方法を実行するコードを記憶している非一時的コンピュータ可読媒体。

Claims (22)

1. 近赤外線（ＮＩＲ）撮像センサーおよび可視光撮像センサーを含むシステムでＮＩＲ画像を可視光画像に位置合わせするための電子的方法であって、
   前記ＮＩＲ撮像センサーからＮＩＲ画像を受信することと、
   前記可視光撮像センサーから可視光画像を受信することと、
   前記ＮＩＲ画像中の複数のピクセルを前記可視光画像中のピクセルとマッチングして複数のマッチングされたピクセルの対を形成することと、
   それぞれのマッチングされたピクセルの対に関するピクセル視差を計算することと、
   それぞれのマッチングされたピクセルの対に関する計算されたピクセル視差に少なくとも部分的に基づいてそれぞれのマッチングされたピクセルの対に重みを割り当てることと、
   ここにおいて、マッチングされたピクセルのそれぞれの対に重みを割り当てることは、前記マッチングされたピクセルの対を複数のブロックに区分けし、それぞれのマッチングされたピクセルの対に関する色類似性値および視差類似性値を計算することを備える、
   ここにおいて、視差類似性値は、マッチングされたピクセルの対の視差が、該マッチングされたペアの対を含むブロック内の最も頻度の高い視差にどれだけ近いかを決定する値であり、および色類似性値は、マッチングされたピクセルの対の色値が、そのマッチングされたピクセルの対を含むブロックの最頻ピクセル視差に近いまたは近接しているピクセル視差を有するマッチングされたピクセルの対の平均色値にどれだけ近いかを判定する値である、
   割り当てられた複数の重みに少なくとも部分的に基づいて前記ＮＩＲ画像を前記可視光画像に位置合わせすることとを備える、方法。
2. 前記ＮＩＲ画像中のピクセルをマッチングすることが、前記ＮＩＲ画像および前記可視光画像の画像勾配に少なくとも部分的に基づいて前記ＮＩＲ画像および前記可視光画像のそれぞれのピクセルに関する画像記述子を計算することを備える請求項１に記載の方法。
3. それぞれのマッチングされたピクセルの対に関する前記ピクセル視差を計算することが、前記マッチングされたピクセルの対中の前記複数のピクセルの間の前記可視光画像および前記ＮＩＲ画像中のピクセルの分離距離を計算することを含む請求項１に記載の方法。
4. 前記ＮＩＲ画像を前記可視光画像に位置合わせすることが、前記ＮＩＲ画像と前記可視光画像との間の強度の差に少なくとも部分的に基づく請求項１に記載の方法。
5. 前記複数のマッチングされたピクセルの対に少なくとも部分的に基づいて前記ＮＩＲ画像および前記可視光画像のうちの一方を前記ＮＩＲ画像および前記可視光画像のうちの他方のパースペクティブにワーピングすることをさらに備える請求項４に記載の方法。
6. 前記ＮＩＲ画像を前記可視光画像に位置合わせすることが、前記ＮＩＲ画像および可視光画像のホモグラフィ的制約を満たす前記割り当てられた複数の重みに少なくとも部分的に基づく請求項１に記載の方法。
7. 下記を備えるマルチスペクトル撮像システム、
   近赤外線（ＮＩＲ）画像を取り込むように構成されたＮＩＲ撮像センサーと、
   可視光画像を取り込むように構成された可視光撮像センサーと、
   前記ＮＩＲ画像中の複数のピクセルを前記可視光画像中の複数のピクセルとマッチングして複数のマッチングされたピクセルの対を形成するようにプログラムされた密マッチングモジュールと、
   それぞれのマッチングされたピクセルの対に関するピクセル視差を計算し、それぞれのマッチングされたピクセルの対に関する計算されたピクセル視差に少なくとも部分的に基づいてそれぞれのマッチングされたピクセルの対に重みを割り当てるようにプログラムされた疎マッチングモジュールと、
   ここにおいて、前記疎マッチングモジュールは、マッチングされたピクセルのそれぞれの対に重みを割り当てるために、前記マッチングされたピクセルの対を複数のブロックに区分けし、それぞれのマッチングされたピクセルの対に関する色類似性値および視差類似性値を計算するようにプログラムされる、
   ここにおいて、視差類似性値は、マッチングされたピクセルの対の視差が、該マッチングされたペアの対を含むブロック内の最も頻度の高い視差にどれだけ近いかを決定する値であり、および色類似性値は、マッチングされたピクセルの対の色値が、そのマッチングされたピクセルの対を含むブロックの最頻ピクセル視差に近いまたは近接しているピクセル視差を有するマッチングされたピクセルの対の平均色値にどれだけ近いかを判定する値である、
   割り当てられた複数の重みに少なくとも部分的に基づいて前記ＮＩＲ画像を前記可視光画像に位置合わせするようにプログラムされた位置合わせされた画像形成モジュールと、
   位置合わせされた画像を前記システムに記憶するようにプログラムされたストレージモジュール。
8. 前記密マッチングモジュールが、前記ＮＩＲ画像および前記可視光画像の画像勾配に少なくとも部分的に基づいて前記ＮＩＲ画像および前記可視光画像のそれぞれのピクセルに関する画像記述子を計算するようにさらにプログラムされる請求項７に記載のシステム。
9. 前記密マッチングモジュールが、前記ＮＩＲ画像の画像記述子を前記可視光画像の画像記述子とマッチングして前記複数のマッチングされたピクセルの対を形成するように構成される請求項８に記載のシステム。
10. 前記位置合わせされた画像形成モジュールが、前記ＮＩＲ画像と前記可視光画像との間の強度の差に少なくとも部分的に基づいて前記ＮＩＲ画像を前記可視光画像に位置合わせするようにプログラムされる請求項７に記載のシステム。
11. 前記位置合わせされた画像形成モジュールが、前記ＮＩＲ画像および可視光画像のホモグラフィ的制約を満たす前記割り当てられた複数の重みに少なくとも部分的に基づいて前記ＮＩＲ画像を前記可視光画像に位置合わせするようにプログラムされる請求項７に記載のシステム。
12. 前記ＮＩＲ画像および前記可視光画像から計算された深度マップに少なくとも部分的に基づいて３次元画像をレンダリングするようにプログラムされた立体撮像モジュールをさらに備える請求項７に記載のシステム。
13. 第１の解像度での前記可視光撮像センサーからの静止画像データと、第２の解像度での前記ＮＩＲ撮像センサーからの動画像データとを処理するようにプログラムされたハイブリッド撮像モジュールをさらに備え、前記第２の解像度は前記第１の解像度未満である請求項７に記載のシステム。
14. 前記システムが、セルラ電話である請求項７に記載のシステム。
15. 前記可視光撮像センサーから取り込まれた可視光画像データ中のコントラストを高めるために前記ＮＩＲ撮像センサーから取り込まれたＮＩＲ画像データを処理するようにプログラムされたマルチスペクトル情報処理モジュールをさらに備える請求項７に記載のシステム。
16. ＮＩＲ撮像センサーからＮＩＲ画像を受信するための手段と、
    可視光撮像センサーから可視光画像を受信するための手段と、
    前記ＮＩＲ画像中の複数のピクセルを前記可視光画像中の複数のピクセルとマッチングして複数のマッチングされたピクセルの対を形成するための手段と、
    それぞれのマッチングされたピクセルの対に関するピクセル視差を計算するための手段と、
    それぞれのマッチングされたピクセルの対に関する計算されたピクセル視差に少なくとも部分的に基づいてそれぞれのマッチングされたピクセルの対に重みを割り当てるための手段と、
    ここにおいて、マッチングされたピクセルのそれぞれの対に重みを割り当てることは、前記マッチングされたピクセルの対を複数のブロックに区分けし、それぞれのマッチングされたピクセルの対に関する色類似性値および視差類似性値を計算することを備える、
    ここにおいて、視差類似性値は、マッチングされたピクセルの対の視差が、該マッチングされたペアの対を含むブロック内の最も頻度の高い視差にどれだけ近いかを決定する値であり、および色類似性値は、マッチングされたピクセルの対の色値が、そのマッチングされたピクセルの対を含むブロックの最頻ピクセル視差に近いまたは近接しているピクセル視差を有するマッチングされたピクセルの対の平均色値にどれだけ近いかを判定する値である。
    割り当てられた複数の重みに少なくとも部分的に基づいて前記ＮＩＲ画像を前記可視光画像に位置合わせするための手段とを備える撮像システム。
17. 前記ＮＩＲ画像を受信するための前記手段および前記可視光画像を受信するための前記手段が、通信モジュールを含む請求項１６に記載の撮像システム。
18. 前記ピクセルをマッチングする手段が、前記ＮＩＲ画像中の複数のピクセルを前記可視光画像中の複数のピクセルとマッチングして複数のマッチングされたピクセルの対を形成するようにプログラムされた密マッチングモジュールを含む請求項１６に記載の撮像システム。
19. 前記ピクセル視差を計算する手段が、それぞれのマッチングされたピクセルの対に関するピクセル視差を計算し、それぞれのマッチングされたピクセルの対に関する計算されたピクセル視差に少なくとも部分的に基づいてそれぞれのマッチングされたピクセルの対に重みを割り当てるようにプログラムされた疎マッチングモジュールを含む請求項１６に記載の撮像システム。
20. 前記疎マッチングモジュールが、前記重みを割り当てる手段をさらに含む請求項１９に記載の撮像システム。
21. 前記位置合わせする手段が、位置合わせされた画像を形成する形成モジュールを含む請求項１６に記載の撮像システム。
22. 実行されるときに、
    ＮＩＲ撮像センサーからＮＩＲ画像を受信することと、
    可視光撮像センサーから可視光画像を受信することと、
    前記ＮＩＲ画像中の複数のピクセルを前記可視光画像中の複数のピクセルとマッチングして複数のマッチングされたピクセルの対を形成することと、
    それぞれのマッチングされたピクセルの対に関するピクセル視差を計算することと、
    それぞれのマッチングされたピクセルの対に関する計算されたピクセル視差に少なくとも部分的に基づいてそれぞれのマッチングされたピクセルの対に重みを割り当てることと、
    ここにおいて、マッチングされたピクセルのそれぞれの対に重みを割り当てることは、前記マッチングされたピクセルの対を複数のブロックに区分けし、それぞれのマッチングされたピクセルの対に関する色類似性値および視差類似性値を計算することを備える、
    ここにおいて、視差類似性値は、マッチングされたピクセルの対の視差が、該マッチングされたペアの対を含むブロック内の最も頻度の高い視差にどれだけ近いかを決定する値であり、および色類似性値は、マッチングされたピクセルの対の色値が、そのマッチングされたピクセルの対を含むブロックの最頻ピクセル視差に近いまたは近接しているピクセル視差を有するマッチングされたピクセルの対の平均色値にどれだけ近いかを判定する値である、
    割り当てられた複数の重みに少なくとも部分的に基づいて前記ＮＩＲ画像を前記可視光画像に位置合わせすることとを備える方法を実行するコードを記憶している非一時的コンピュータ可読媒体。