JP5486017B2 - イメージングシステムの被写界深度の改善 - Google Patents

Description

本発明は、イメージングシステムの被写界深度の改善に係り、特に、改善された被写界深度を有する画像を撮る方法、及びそのような方法を用いたイメージングシステムに関するが、それに限られるものではない。

今日カメラにおいて用いられる全ての光学システムに存在する制限は、アパーチャと被写界深度（ＤＯＦ，ｄｅｐｔｈ ｏｆ ｆｉｅｌｄ）との間のトレードオフである。アパーチャは、カメラに入射する光量を決定し、ＤＯＦは、画像が撮られた際に焦点内にあるカメラの距離範囲を決定する。アパーチャが広くなるほど（より多くの光が受光されるほど）、ＤＯＦはより制限される。

多くの応用において、アパーチャとＤＯＦとの間のトレードオフが顕在化している。例えば、大抵の携帯電話は、固定焦点レンズを有するので、限られた範囲内の対象のみが焦点内にある。また、カメラのアパーチャ設定に対しては、可能な限り多くの対象が焦点内にあることを保証するためにカメラが比較的小さなアパーチャを有しなければならないという制約も課される。このトレードオフは、微光状況におけるカメラの性能を減じて、典型的にはシャッタスピードを４乃至８倍減じる。

更に、微光での応用では、広いアパーチャが必要とされ、ＤＯＦが失われる。複数の対象がカメラから異なる距離にある写真では、フォーカシングレンズを用いても、対象のうちいくつかが焦点外となる。広いアパーチャのレンズは、光学性能に対してより高い精度を必要とするので、高価である。

ＤＯＦを増大させる方法は従来技術において知られている。“フォーカススタッキング”と称される一方法では、連続する時点において異なる焦点距離で撮られた複数の画像を組み合わせて、個々のソース画像のどれよりも大きな被写界深度（ＤＯＦ）を有する画像を生成する。フォーカススタッキングの実施は、カメラの電子機器の適合、及び比較的多量の画像データの実質的な（非線形）処理及び画像解析を必要とする。更に、フォーカススタッキングは、連続的な時点において撮られた複数の画像を必要とするので、この方法は、動きのぼけに敏感である。

他の方法は、非特許文献１に記載されている。この文献では、異なるアパーチャサイズで複数の画像を同時に撮るシステムを用いてＤＯＦを改善することが提案されている。そのシステムは、中心ディスク及び一組の同心円リングにアパーチャを分割するアパーチャ分割ミラーを使用する。しかしながら、アパーチャ分割ミラーは、製造が複雑で、高い光学収差を生じさせる。更に、カメラにおけるこのような分割ミラーの実施は、正確な整列を要求する比較的複雑な光学システムを必要とする。

米国特許第３９７１０６５号明細書 国際公開第２００７／１０４８２９号 米国特許出願公開第２００７／０１４５２７３号明細書 国際公開第２００７／０１５９８２号

Ｇｒｅｅｎ他、"Ｍｕｌｔｉ−ａｐｅｒｔｕｒｅ ｐｈｏｔｏｇｒａｐｈｙ"、ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ、２００７年７月、第２６巻、第３号、ｐ．６８：１−６８：７ Ｍａｎｄｚｙ他、"Ｐｏｌｙｍｅｒ ｎａｎｏｃｏｍｐｏｓｉｔｅ ｔｈｉｎ ｆｉｌｍ ｍｉｒｒｏｒ ｆｏｒ ｔｈｅ ｉｎｆｒａ−ｒｅｄ ｒｅｇｉｏｎｓ"、２００７年５月、ケンタッキー大学のプレプリント Ａｌｍａｒｓｉ他、"Ｔｕｎａｂｌｅ ｉｎｆｒａｒｅｄ ｆｉｌｔｅｒ ｂａｓｅｄ ｏｎ ｅｌａｓｔｉｃ ｐｏｌｙｍｅｒ ｓｐｒｉｎｇｓ"、ＳＰＩＥ、（米国サンディエゴ）、２００５年３月、第５７７０巻、ｐ．１９０−１９８

従って、従来技術においては、イメージングシステムの被写界深度を改善するための単純で安価な方法及びシステムが必要とされている。

本発明の一目的は、従来技術において知られている欠点を少なくとも一つ低減又は排除することであり、本発明の第一の側面においては、画像を撮る方法を提供する。本方法は、第一のアパーチャを用いて電磁スペクトルの第一の部分からの放射と、第一のアパーチャとは異なるサイズを有する第二のアパーチャを用いてスペクトルの第二の部分からの放射とに画像センサを露光するステップと、スペクトルの第一の部分からの放射によって生成された第一の画像データと、スペクトルの第二の部分からの放射によって生成された第二の画像データとに基づいて、画像を形成するステップとを備える。

二つの異なるアパーチャからの放射に画像センサを露光することによって、光学システムのＤＯＦを非常に簡単な方法で改善することができる。本方法は、固定焦点レンズが比較的広いアパーチャを有することを可能にして、微光状況において効果的に動作することを可能にするのと同時に、より鮮明な写真をもたらすより大きなＤＯＦを提供する。更に、本方法は、レンズの光学性能を効果的に増大させて、同じ性能を達成するのに必要なレンズのコストを下げる。

一実施形態では、画像センサは、第一及び第二のアパーチャからの放射によって同時に露光される。画像センサの一回の露光によって、小さなアパーチャ及び大きなアパーチャの画像情報の両方を十分に撮ることができて、フォーカススタッキング等の従来の方法を用いた際に生じる動きのぼけの効果を減じることができる。

他の実施形態では、本方法は、第一の画像データをハイパスフィルタに晒すステップと、第一の画像データのフィルタリングされた高周波成分を第二の画像データに加えるステップとを更に備える。この実施形態を用いて、小さなアパーチャの画像データによって生成される高周波情報を介して、鮮明な画像情報に容易にアクセスすることができる。

更に他の実施形態では、第一のアパーチャは、赤外線スペクトルの一部分からの放射の露光を制御するように構成されて、第二のアパーチャは、可視光スペクトルの一部分からの放射に対する露光を制御するように構成される。更に、一実施形態では、第二のアパーチャが、赤外線放射を反射して可視光放射を透過させるフィルタで基板を部分的に覆うことによって形成される。アパーチャシステムの光学特性は、光学システムに使用される画像センサ及び／又は光学レンズシステムの種類に応じて、容易に修正及び最適化可能である。一実施形態では、赤外線放射に対するシリコン画像センサの感度が採用される。

更なる実施形態では、本方法に使用される画像センサが、フィルタアレイに結合された画素アレイを備え、そのフィルタアレイの各フィルタは、スペクトルの一部分の放射を通過させるように構成されていて、フィルタアレイは、カラー帯域の放射を通過させるように構成された一つ以上のカラーフィルタ、及び／又は、可視光放射を反射して赤外線放射を透過させるように構成された一つ以上の赤外線フィルタを備える。フィルタアレイは、特定のアパーチャ構成用に容易に最適化可能である。

更なる実施形態では、本方法は、一つ以上の赤外線帯域の放射に対して応答する画素からの第一の画像データを決定するステップと、一つ以上のカラー帯域の放射に応答する画素からの第二の画像データを決定するステップと、第一の画像データを高周波フィルタに晒すステップと、第一の画像データのフィルタリングされた高周波成分を、第二の画像データ、好ましくは第二の画像データの色成分に加えるステップとを備える。

他の側面では、本発明は、放射に対して画像センサの露光を制御するためのアパーチャシステムに関する。アパーチャシステムは、スペクトルの第一の部分からの放射に対して画像センサの露光を制御するための少なくとも一つの第一のアパーチャと、スペクトルの第二の部分からの放射に対して露光を制御するための少なくとも一つの第二のアパーチャとを備え、第一のアパーチャと第二のアパーチャはサイズが異なる。

一実施形態では、アパーチャシステムは、透明基板を備え、その基板は、第一のアパーチャを形成する開口を備え、基板は、第二のアパーチャを形成するフィルタ、好ましくは薄膜フィルタを備える。他の実施形態では、アパーチャシステムは透明基板を備え、基板の第一の部分は、第一のアパーチャを形成する第一の薄膜フィルタによって覆われて、基板の第二の部分は、第二のアパーチャを形成する第二の薄膜フィルタで覆われる。

薄膜技術によって、アパーチャシステムの光学特性を容易に適合させることができる。一実施形態では、フィルタのうち少なくとも一枚は、ポリマー層の間に配置された複数の誘電体層を備えた調節可能フィルタとして構成されて、そのポリマー層は、弾性バネとして機能して、誘電体層の間の厚さは、多層システムに電圧を印加することによって制御される。他の実施形態では、アパーチャシステムの少なくとも一つのアパーチャが、調整可能アパーチャとして構成されて、その調整可能アパーチャは、電気活性材料のシート内に孔を備え、その孔のサイズ（直径）が、シートに電圧を印加することによって制御される。

更に他の側面では、本発明は、上述のようなアパーチャシステムと共に使用される画像センサに関する。画像センサは、画素アレイ（好ましくは二次元画素アレイであり、各画素が少なくとも一つの感光性素子を備える）と、画素アレイに結合されたフィルタアレイを備え、フィルタアレイは、画素フィルタのブロックを備え、各ブロックは、一つ以上のカラーフィルタ（各カラーフィルタはカラー帯域の放射を通過させるように構成される）と、可視光スペクトルの放射を反射して赤外線帯域の放射を通過させるように構成された一つ以上の赤外線パスフィルタとを備える。

更に、本発明は、画像センサと、画像センサ上に放射を合焦させるためのレンズシステムと、上述のアパーチャシステムとを備えたイメージングシステムに関する。

本発明については、本発明に係る実施形態を概略的に示す添付図面を参照して、更に説明する。本発明が、それらの特定の実施形態に限定されるものではないことは理解されたい。

本発明の一実施形態に係るイメージングシステムを示す。 本発明の一実施形態に係るアパーチャシステムを示す。 本発明の一実施形態に係るアパーチャシステムを示す。 本発明の一実施形態に係る方法の流れ図を示す。 本発明の一実施形態に係る画像センサ用のフィルタアレイ構成を示す。 本発明の一実施形態に係る画像センサ用のフィルタアレイ構成を示す。

図１は、本発明の一実施形態に係るイメージングシステム１００を示す。イメージングシステムは、画像センサ１０２と、画像センサのイメージング面上にシーン中の対象の焦点を合わせるレンズシステム１０４と、シャッタ１０６と、イメージングシステム内への放射を許容する二つ以上のアパーチャを備えたアパーチャシステム１０８とを備える。イメージングシステムは、デジタルカメラの一部であるか、又は携帯電話、ウェブカメラ、画像取り込み機能性を必要とする他のマルチメディアデバイスに集積されたものであり得る。

シャッタは機械シャッタであり得て、又は代わりに、シャッタは、画像センサに集積された電子シャッタであり得る。画像センサは、感光性サイト（画素）の行及び列を備えて、二次元画素アレイを形成している。イメージセンサは、ＣＭＯＳ（Ｃｏｍｐｌｉｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）アクティブ画素センサ、又はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）画像センサであり得る。

レンズシステムによって放射が画像センサ上に投影されると、各画素は、当該画素に入射する電磁放射（エネルギー）に比例した電気信号を生成する。画素から受光された信号は、サンプリング及び量子化されて、一つ以上のアナログ・デジタル（Ａ／Ｄ）変換器１１０を用いてデジタルフォーマットの言語に変換される。アナログ・デジタル変換器１１０は、画像センサのチップに集積され得る。デジタル化画像データは、画像センサに結合されたデジタル信号プロセッサ（ＤＳＰ，ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）１１２によって処理される。ＤＳＰは、補間、ホワイトバランス、輝度補正、データ圧縮（例えば、ＭＰＥＧやＪＰＥＧ型）等の信号処理機能を果たすように構成されている。ＤＳＰは、中央プロセッサ１１４、撮った画像を保存するためのストレージメモリ１１６、及びプログラムメモリ１１８（ＥＥＰＲＯＭや、他のタイプの不揮発性メモリであり、画像データを処理するためにＤＳＰによって使用される、又はイメージングシステムの動作を管理するために中央プロセッサによって使用される一以上のソフトウェアプログラムを備える）に結合されている。

色情報を得て、画像の色成分を分離するために、カラーフィルタアレイ（ＣＦＡ，ｃｏｌｏｒ ｆｉｌｔｅｒ ａｒｒａｙ）１２０が、レンズと画像センサとの間に挿入される。典型的には、カラーフィルタアレイは、画像センサに集積されて、画像センサの各画素が、対応する画素フィルタを有するようになる。各カラーフィルタは、所定のカラー帯域の放射を画素内に通過させるように構成されている。一般的には、レッド、グリーン及びブルー（ＲＧＢ）のフィルタの組み合わせを用いるが、他のフィルタ方式も可能であり、例えば、ＣＹＧＭ（シアン、イエロー、グリーン、マゼンタ）、ＲＧＢＥ（レッド、グリーン、ブルー、エメラルド）等が挙げられる。

一般的に使用されるＣＦＡは、ベイヤカラーフィルタである。ベイヤＣＦＡのカラー画素フィルタの性質は、本願に参照として組み込まれる特許文献１に記載されている。ベイヤＣＦＡは、四つの画素フィルタのブロックに分割され、各ブロックは、一つの青色画素フィルタ、一つの赤色画素フィルタ、及び二つの緑色画素フィルタを備える。ベイヤＣＦＡを用いて生成される画像からカラー画像を再構築するため、各画素から抜けている追加の二色を、隣接する画素から補間する。このカラー画像再構築プロセスは、デモザイキングと称され、当該分野では周知の方法である。

露光された画像センサの各画素は、その画素に関係するカラーフィルタを通過した電磁放射に比例した電気信号を生成する。従って、画素のアレイは、カラーフィルタアレイを通過した電磁エネルギー（放射）の空間分布を表す画像データ（フレーム）を発生させる。後述の理由のため、イメージングシステム１００は、赤外線放射、又は、赤外線放射の少なくとも一部をイメージングシステムに入射させる。結果として、イメージングシステムは、赤外線放射を完全にブロックするレンズシステムの前方においてフィルタを使用しない。従って、レンズシステムを介してイメージングシステムに入射する電磁放射１２２は、光スペクトルの可視及び赤外線部分の両方からの放射となり得る。放射に対して特定の露光時間で画像センサを露光することは、少なくとも一つの画像フレームをもたらす。

画像センサの露光は、シャッタ及びアパーチャシステムの二つ以上のアパーチャによって制御される。シャッタが開くと、アパーチャは、放射の量、及び画像センサを露光している放射のコリメーションの程度を制御する。一実施形態では、イメージングシステムは、二つのアパーチャを備えたアパーチャシステムを備える。この二重アパーチャシステムが、図２Ａに概略的に示されている。一実施形態では、二重アパーチャシステムは、中央部に開口２０２（つまり、円形の孔）を備えた基板２００を備える。基板の材料は、少なくとも可視光放射に対して透明であり得て、また、誘電体フィルタ等の薄膜フィルタ材料２０４でコーティングされ得る。一実施形態では、基板は、赤外線スペクトルの放射を反射して可視光スペクトルの放射を透過させるダイクロイックフィルタでコーティングされる。ダイクロイックフィルタは干渉フィルタとも称され、当該分野では周知であり、典型的には、赤外線放射（例えば略７５０から１２５０ナノメートルの間の波長を有する放射）を反射してスペクトルの可視光部分の放射を透過させるように構成された特定の厚さの複数の薄膜誘電体層を備える。

更なる実施形態では、フィルタは、赤外線領域用のポリマーナノ複合材薄膜ミラーを備え得る。このようなポリマーベースの薄膜ミラーは、例えば非特許文献２に記載されている。ポリマーナノ複合材ミラーは、赤外線放射を反射する一方で可視光放射を透過させ、アクリレートポリマーの連続的なマトリクス内に狭いサイズ分布で分散させた実質的に球形の金属酸化物ナノ粒子（例えばチタン酸化物）を備える。こうしたフィルタは、低コストの製造方法で製造可能であり、プラスチック及び／又はフレキシブル基板に特に適している。

基板は、不透明材料のホルダ２０６を用いてイメージング内のレンズの前方に配置され得る。ホルダは、円形の開口２０８を備えて、基板の開口がホルダの円形の開口の中心に配置されるように基板を収容し位置決めする。ホルダの開口の直径が基板の開口の直径よりも大きいので、フィルタでコーティングされた基板の一部分が、レンズを介してイメージングシステムに入射する放射によって露光される。露光部分は、基板の孔の周りに同心円リング２１０を形成する。

可視光スペクトル及び不可視の赤外線スペクトルの放射は、アパーチャシステムを介してイメージングシステムに入射する。アパーチャシステムに使用されているダイクロイック赤外線遮断フィルタは可視光に対して透明であるので、イメージングシステムに入射する可視光スペクトルの放射の量は、ホルダの開口の直径によって制御される。他方、フィルタは赤外線放射を遮断するので、イメージングシステムに入射する赤外線スペクトルの放射の量は、基板の開口の直径（ホルダの開口の直径よりも小さい）によって制御される。従って、単一のアパーチャを使用する従来のイメージングシステム（通常、赤外線放射を遮断するための赤外線フィルタと組み合わせられる）とは対照的に、本発明に係るイメージングシステムは、画像センサを露光するスペクトルの異なる帯域の放射の量及びコリメーションを制御するために、異なるサイズの二つ以上のアパーチャを備えたアパーチャシステムを使用する。従って、本発明は、典型的にはｆナンバーが７（例えば焦点距離が７ｍｍで、直径が１ｍｍ）の単純な携帯電話のカメラが、第二のアパーチャを介してそのＤＯＦを改善させることを可能にし、その第二のアパーチャは、例えば直径０．５ｍｍに対する１４から、０．２ｍｍ以下の直径に対する最大７０以上で変化するｆナンバーを有し、そのｆナンバーは、焦点距離ｆとアパーチャの有効直径との比によって定義される。

本発明の好ましい実施形態は、近くの対象の鮮明さを増大させるための略２から４の可視光放射用のｆナンバーを、遠くの対象の鮮明さを増大させるための略１６から２２の赤外線アパーチャ用のｆナンバーと組み合わせて有する光学システムを含む。

更なる実施形態では、アパーチャシステムは、二つの異なる薄膜フィルタを備えた透明基板を備える。基板の中央の第一の円形の薄膜フィルタは、第一のスペクトル帯域の放射を透過させる第一のアパーチャを形成し、第一のフィルタの周りに形成された（例えば同心円リング状で）第二の薄膜フィルタは、第二のスペクトル帯域の放射を透過させる。第一のフィルタは、可視光及び赤外線の両方の放射を透過させるように構成され得て、第二のフィルタは、赤外線放射を反射して可視光放射を透過させるように構成され得る。外側の同心円リングの外径は、不透明なアパーチャホルダの開口によって定められ得て、又は代わりに、赤外線及び可視光の両方の放射を遮断する基板上に堆積させた不透明な薄膜層に形成された開口によって定められ得る。

更に他の実施形態では、アパーチャ素子は、開口又は円形の薄膜フィルタの周りの同心円リングとして形成される複数の薄膜フィルタアパーチャを備え得る。各薄膜フィルタのリングは、アパーチャを形成し、画像センサ上への特定のスペクトル帯域の放射の量及びコリメーションを制御するように構成され得る。例えば、３アパーチャシステムを、可視光及び赤外線の両方の放射に対して透明な第一の円形のフィルタと、第一のフィルタの周りに形成され赤外線放射を反射して可視光放射を透過させる第二のフィルタと、第二のフィルタの周りに形成され赤色放射及び赤外線放射を反射して緑色及び青色の放射を透過させる第三のフィルタによって形成し得る。他の実施形態は、近赤外線（ＮＩＲ，ｎｅａｒ ｉｎｆｒａ−ｒｅｄ）、中赤外線（ＭＩＲ，ｍｉｄ ｉｎｆｒａ−ｒｅｄ）、及び／又は遠赤外線（ＦＩＲ，ｆａｒ ｉｎｆｒａ−ｒｅｄ）用のフィルタを含む。

更なる変形例では、アパーチャを形成するのに使用されるフィルタが、所定の光学特性を更に制御し得る。例えば、光学システムに入射する放射の偏光は、アパーチャシステムを形成するために使用される一つ以上のフィルタによって制御され得る。一実施形態では、ダイクロイックフィルタは、偏光赤外線フィルタであり得る。

更なる実施形態では、アパーチャシステムに使用される一つ以上のフィルタが、調節可能赤外線フィルタを備え得る。このような調節可能フィルタは、ポリマー層の間に複数の誘電体層を備え得て、それらポリマー層は、弾性バネとして機能して、誘電体層の間の厚さを、多層システムに電圧を印加することによって制御できるようにする。調節可能赤外線システムの一例は、非特許文献３に記載されている。

更なる実施形態では、アパーチャシステムは、調整可能アパーチャを備え得る。調整可能アパーチャは特許文献２により知られていて、電気活性材料（例えば、透明な電気抵抗性ポリマーシート）によって形成される。その電気活性材料は、孔を備え、二つの透明電極の間に配置される。ポリマーシートは、上述のようなポリマーナノ複合材薄膜フィルタを備え得て、赤外線を反射して可視光を透過させる。電極に電圧を印加すると、電場がシートを変形（つまり、膨張及び／又は収縮）させることによって、シートの孔（アパーチャ）のサイズを、電極に印加される電圧によって制御することができる。

本発明に係るマルチアパーチャは、複数の別々のアパーチャ素子を用いることによって形成され得て、例えば、第一の円形フィルタコーティングを備えた第一の透明基板は、第二の円形フィルタを備えた第二の基板と、光学システムの一つ以上のレンズと光学的に整列することによって、図２Ａに関して説明されるような二重アパーチャシステムと同じ効果を効果的に提供する。代わりに、アパーチャシステムは、そのアパーチャシステムを形成する第一及び第二のフィルタコーティング用の基板としてレンズを用いることによって、レンズに集積され得る。

本発明が、二つ以上のレンズシステムを備えた光学システムへと容易に拡張され得ることは理解されたい。例えば、関係する第一のアパーチャシステムを備えた第一のレンズシステムと、関係する第二のアパーチャシステムを備えた第二のレンズシステムが挙げられる。

図２Ａに示されるような二重アパーチャシステムは、イメージングシステムのＤＯＦを改善するのに使用され得る。その様子は図２Ｂに概略的に示される。可視光及び赤外線スペクトルの放射は、所定の直径の円形の孔２０２を備えたフィルタコーティングされた透明基板２００を備えた二重アパーチャシステムを介して、イメージングシステムに入射する。フィルタ２０４は、可視光放射を透過させて、赤外線放射を反射する。不透明カバー２０６は、孔２０２の直径よりも大きな直径の円形の開口を備える。カバーは、赤外線及び可視光の両方の放射を反射する薄膜コーティングであるか、又は光学システムの基板２００を保持及び位置決めするホルダの一部分であり得る。可視光及び赤外線スペクトルの放射は、アパーチャシステムを通り、その後、レンズ２１２によって画像センサのイメージング面２１４上に投影される。従って、画像センサの画素は、大きなＤＯＦの第二の小さなアパーチャの赤外線放射画像信号２１８を覆う制限されたＤＯＦの第一の（相対的に）広いアパーチャの可視光放射画像信号２１６を受信する。よって、レンズの焦点面ｆに近い対象２１４が、可視光放射によって比較的小さなピンぼけで画像面上に投影される一方、焦点面から遠くに位置する対象２１６は、赤外線放射によって比較的小さなピンぼけで画像平面上に投影される。露光の際に、画像センサは、一画像フレームにおいて、可視光及び赤外線の両方の画像信号を撮る。その後、画像フレームの複数の異なる撮られた色成分及び赤外線成分が、分離されて、ＤＳＰによって処理され得る。（可視光）色成分を（不可視）赤外線成分と組み合わせることによって、ＤＯＦの改善された画像が生成され得る。図２Ａに示される原理は、画像センサの画像面上に小さなピンぼけで焦点面からの多様な距離に対象を投影するように構成可能な多重アパーチャシステムに容易に拡張可能である。

例えば図１に関連して上述したようなベイヤカラーフィルタアレイを備えた従来のカラー画像センサを用いる場合、画像センサによって受光される赤外線放射は、赤色画素フィルタによって主に透過される。従って、撮られた画像フレームの赤色成分は、高振幅の可視光赤色信号及び鋭くて低振幅の不可視の赤外線信号の両方を備える。典型的には、赤外線成分は、可視光の赤色成分よりも８から１６倍低い。赤色バランスは、赤外線の存在によって生じる僅かな歪を補償するように調整され得る。

撮られた画像の画像処理が、図３の流れ図に概略的に示されている。第一のステップ３００では、ベイヤフィルタリングされた生の画像データが撮られる。その後、ＤＳＰが、赤色画素によって生成された信号のコピーを発生させ、それらの信号をハイパスフィルタを介して通過させて（ステップ３０２）、赤外線画像の鮮明さの情報を備えた赤外線画像信号の高周波成分を抽出する。比較的小さなサイズの赤外線アパーチャは、比較的小さな赤外線画像信号を生成するので、フィルタリングされた高周波成分が、赤外線アパーチャに対する相対的な可視光アパーチャの比に比例して増幅される（ステップ３０４）。

比較的小さなサイズの赤外線アパーチャの効果は、赤色画素によって撮られた赤外線放射の帯域が、赤色放射の帯域よりも略四倍広いという事実（典型的に、デジタル赤外線カメラは、可視光カメラの四倍以上の感度を有する）によって部分的に補償される。

増幅後には、赤外線画像信号から導出された増幅高周波成分が、ベイヤフィルタリングされた生の画像データの各色成分に追加（ブレンド）される（ステップ３０６）。その後、組み合わされた画像データが、当該分野において周知のデモザイキングアルゴリズムを用いてフルＲＧＢカラー画像に変換され得る（ステップ３０８）。

一変形例（図示せず）では、ベイヤフィルタリングされた生の画像データが、まずＲＧＢカラー画像にデモザイキングされて、続いて、追加（ブレンド）によって増幅高周波成分と組み合わせられる。

この方法は、固定焦点レンズを備えたイメージングシステムが、広いアパーチャを有すること、従って微光状況において効果的に動作することを可能にするのと同時に、より鮮明な写真をもたらすより大きなＤＯＦを有することを可能にする。更に、本方法は、レンズの光学性能を効果的に増大させて、同じ性能を得るのに必要なレンズのコストを下げる。

他の実施形態では、ベイヤフィルタリングされた生の画像データが、まずＲＧＢカラー画像にデモザイキングされて、次に、適切な色空間（例えば、国際照明委員会によって定義されて適切な人間の視覚に対してデザインされたＣＩＥ１９３１ＸＹＺ色空間に基づいたＬＡＢ色空間）に変換される。その後、高周波赤外線成分が、ＬＡＢカラー画像のＬ（明度コントラスト）成分に加えられる。

本発明に係るＤＯＦを改善する方法は、ベイヤ型カラーセンサ以外の画像センサの構成にも適用可能である。一実施形態では、多重アパーチャ素子が、特許文献３や特許文献４に記載されるようなＣＦＡを備えた画像センサと組み合わせて使用され得る。これらのＣＦＡは、レッド、グリーン、ブルー（ＲＧＢ）の画素を可視光スペクトル全体に対して、又は可視光スペクトル及び不可視（赤外線）スペクトルに対して感度を有する一つ以上のモノクローム画素と組み合わせることによって、カラー画像センサの感度を増大させるようにデザインされる。

このようなモノクローム画素を使用したＣＦＡ方式は、本発明に係る多重アパーチャシステムと組み合わせて、使用可能である。例えば、図２Ａ及び図２Ｂに関して説明したような二重アパーチャシステムを使用する場合、鋭くて小さなアパーチャの赤外線画像信号は、赤色画素及びモノクローム画素によって撮られる。その信号はハイパスフィルタリングされて、可視光画像信号の色成分に加えられる。

他の実施形態では、イメージングシステムは、多重アパーチャ素子と共に使用されるように最適化された画像センサを使用し得る。この変形例では、画像センサは、一つ以上の赤外線（Ｉ）画素と組み合わせて、可視光カラー画素（例えば、ＲＧＢ、ＣＹＧＭ等）を備える。ＣＦＡは、画素のブロック（例えば２×２の画素）を備え得て、各ブロックは、赤色、緑色、青色、及び赤外線の画素を備える。このようなＲＢＧＩブロックの一例が、図４Ａに示されている。赤外線画素は、赤外線（Ｉ）パスフィルタに接続された画素によって形成される。このようなフィルタは、可視光放射を反射する一方で赤外線放射を透過させるように構成された誘電体フィルタであり得る。鋭くて小さなアパーチャの赤外線画像信号は、赤色画素及び赤外線画素の信号のハイパスフィルタリングされた成分から得られ得る。この信号は、ＤＯＦを増大させるのに使用可能である。赤外線画素によって生成された赤外線画像信号は、カラー画像信号の各色成分からその信号を引くことによって、赤外線放射によって生じるカラー画素の色の歪を効率的に排除するのに使用可能である。このように最適化されたＲＧＢＩフィルタアレイを備えた画像センサを、多重アパーチャシステムと組み合わせて使用することによって、ＤＯＦ、ＳＮＲ及びカラーバランスの改善されたカラー画像を発生させることができる。

更なる実施形態では、赤外線に対する画像センサの感度を、ブロック内の赤外線画素の数を増やすことによって、増大させ得る。一構成では、画像センサフィルタアレイは、１６個の画素のブロックを備え得て、４個のカラー画素ＲＧＧＢと、１２個の赤外線画素である。このようなＲＧＢＩブロックの好ましい実施形態が図４Ｂに示されている。

いずれかの実施形態に関して説明されたあらゆる特徴が、単独でも使用可能であるし、説明された他の特徴と組み合わせて使用可能であるし、他の実施形態又は他の実施形態の組み合わせの一つ以上の特徴と組み合わせても使用可能である点を理解されたい。更に、上述していない等価物及び変形も、添付の特許請求の範囲によって定められる本発明の範囲から逸脱することなく、採用可能である。

１００ イメージングシステム
１０４ レンズシステム
１０６ シャッタ
１０８ アパーチャシステム
１１０ Ａ／Ｄ変換器
１１２ ＤＳＰ
１１４ 中央プロセッサ
１１６ ストレージメモリ
１１８ プログラムメモリ
１２０ ＣＦＡ

Claims (15)

1. 画像を撮る方法であって、
   少なくとも一つの第一のアパーチャを用いて電磁スペクトルの第一の部分からの放射と、前記第一のアパーチャとは異なるサイズを有する少なくとも一つの第二のアパーチャを用いて電磁スペクトルの第二の部分からの放射とに、画像センサを露光するステップと、
   前記電磁スペクトルの第一の部分からの放射によって前記画像センサにより生成された第一の画像データと、前記電磁スペクトルの第二の部分からの放射によって前記画像センサにより生成された第二の画像データとに基づいて、１つの画像を形成するステップとを備えた方法。
2. 前記画像センサが、前記第一のアパーチャ及び前記第二のアパーチャからの放射に同時に露光される、請求項１に記載の方法。
3. 前記第一の画像データをハイパスフィルタに晒すステップと、
   前記第一の画像データのフィルタリングされた高周波成分を前記第二の画像データに加えるステップとを更に備えた請求項１又は２に記載の方法。
4. 前記第一のアパーチャが、前記電磁スペクトルの第一の部分、好ましくは赤外線スペクトルの部分からの放射の露光を制御するように構成されていて、前記第二のアパーチャが、前記電磁スペクトルの第二の部分、好ましくは可視光スペクトルの部分からの放射の露光を制御するように構成されている、請求項１から３のいずれか一項に記載の方法。
5. 前記第一のアパーチャが、基板内の開口によって形成されているか、又は前記電磁スペクトルの第一の部分の放射を反射して前記電磁スペクトルの第二の部分の放射を透過させるフィルタで基板を部分的に覆うことによって形成されている、請求項１から４のいずれか一項に記載の方法。
6. 前記第二のアパーチャが、前記電磁スペクトルの第一の部分、好ましくは赤外線の部分を反射して前記電磁スペクトルの第二の部分、好ましくは可視光の部分を透過させるフィルタで基板を部分的に覆うことによって形成されている、請求項１から５のいずれか一項に記載の方法。
7. 前記画像センサが、フィルタアレイに結合された画素アレイを備え、前記フィルタアレイの各フィルタが、前記電磁スペクトルの一部分の放射を通過させるように構成されている、請求項１から６のいずれか一項に記載の方法。
8. 前記フィルタアレイが、カラー帯域の放射を通過させるように構成された一つ以上のカラーフィルタ、及び／又は、可視光放射を反射して赤外線放射を透過させるように構成された一つ以上の赤外線フィルタを備える、請求項７に記載の方法。
9. 一つ以上の赤外線帯域の放射に応答する画素からの第一の画像データを決定するステップと、
   一つ以上のカラー帯域の放射に応答する画素からの第二の画像データを決定するステップと、
   前記第一の画像データを高周波フィルタに晒すステップと、
   前記第一の画像データのフィルタリングされた高周波成分を、前記第二の画像データ、好ましくは前記第二の画像データの色成分とブレンドするステップとを更に備えた請求項８に記載の方法。
10. イメージングシステムであって、
    画像センサと、
    前記画像センサ上に放射を合焦するためのレンズシステムと、
    放射に対する前記画像センサの露光を制御するためのアパーチャシステムであって、
    スペクトルの第一の部分からの放射に対して前記画像センサの露光を制御するための少なくとも一つの第一のアパーチャと、
    スペクトルの第二の部分からの放射に対して露光を制御するための少なくとも一つの第二のアパーチャとを備え、
    前記第一のアパーチャと前記第二のアパーチャとのサイズが異なるアパーチャシステムと、
    前記スペクトルの第一の部分からの放射によって前記画像センサにより生成された第一の画像データと、前記スペクトルの第二の部分からの放射によって前記画像センサにより生成された第二の画像データとに基づいて、１つの画像を形成するように構成されたデジタル信号プロセッサと、を備える、イメージングシステム。
11. 前記アパーチャシステムが透明基板を備え、前記透明基板が前記第一のアパーチャを形成する開口を備え、前記透明基板が前記第二のアパーチャを形成するフィルタ、好ましくは薄膜フィルタを備える、請求項１０に記載のイメージングシステム。
12. 前記アパーチャシステムが透明基板を備え、前記透明基板の第一の部分が、前記第一のアパーチャを形成する第一の薄膜フィルタによって覆われていて、前記透明基板の第二の部分が、前記第二のアパーチャを形成する第二の薄膜フィルタによって覆われている、請求項１０に記載のイメージングシステム。
13. 前記第一の薄膜フィルタが、前記透明基板の中央に位置していて、前記第二の薄膜フィルタが、前記第一の薄膜フィルタの周り、好ましくは同心円のリング状に前記第一の薄膜フィルタの周りに形成されている、請求項１２に記載のイメージングシステム。
14. 請求項１０から１３のいずれか一項に記載のイメージングシステムであって、
    画素アレイ、好ましくは二次元画素アレイであって、各画素が少なくとも一つの感光性素子を備える、画素アレイと、
    前記画素アレイに結合され、画素フィルタのブロックを備えるフィルタアレイであって、各ブロックが、カラー帯域の放射を通過させるように構成された一つ以上のカラーフィルタと、可視光スペクトルの放射を反射して赤外線帯域の放射を通過させるように構成された一つ以上の赤外線パスフィルタとを備えるイメージングシステム。
15. 前記アパーチャシステムの第一のアパーチャ及び第二のアパーチャからの放射に対して同時に前記画像センサを露光するように構成されている請求項１０から１４のいずれか一項に記載のイメージングシステム。

Images