JP6803355B2 - カラー画像の拡張方法並びにその方法の実行機構 - Google Patents

Description

本発明は、画像からの赤外線成分の寄与の除去に関し、該画像は、赤外線と可視光の両方から発せられる記録信号を有する。本発明は、また、その方法を実行するように構成された装置に関する。

カメラ用の赤外光フィルタの使用は、特にデジタルカメラに関連して技術的によく知られている。要するに、カメラのイメージセンサは、赤外線内の無視できない成分を有するスペクトル応答を含む。これにより、チャンスとチャレンジが生じる。チャンスは、低照度条件において、赤外光成分は、画像化されたシーンに関する有用な情報を提供し、該情報は、赤外光光源によって更に拡張される。チャレンジは、昼間のイメージングの間に見つけられ、赤外光成分の追加は、画像のカラーバランスを歪ませ、イメージセンサを完全に飽和させる。

それほど有益でない効果を抑制しながら、有益な効果を維持する方法は、イメージセンサの前のビーム経路に、可動赤外光カットフィルタを追加することである。このようにして、赤外光（カット）フィルタを昼光状態で使用して、カラー画像の取得を可能にする。アプリケーション全体を通して、「赤外光カットフィルタ」および「赤外光フィルタ」は、互換的に使用されてもよく、明示的に述べられていない限り、「赤外光フィルタ」は、本文脈では、赤外光カットフィルタに対応する。イメージセンサのピクセルは、第１の方法で動作し、入射光は色に分割され、個々の光検知器上の電荷として検出され、それによって色分解を可能にする。夜間または低照度条件において、赤外光フィルタを除去することができ、スペクトルの赤外光部分からの入射放射線の結果としての増加が使用される。赤外光放射は、色情報を含まず、色分解を実行する代わりに、唯一のパラメータは、入射放射線の強度であり、これは、黒および白の強度画像（または任意の望ましい色スケール）として提示され得る。赤外光光源の追加は、画像を更に拡張する。

しかしながら、真のカラー画像を生成する目的で、赤外光寄与をその様な画像から除去することが望ましい場合がある。本発明は、そのような除去を実行する方法と、そのような方法を実行するように構成された装置を提供する。

シーンが、赤外光放射と可視光の両方を含んでいる場合のイメージングを改善するための努力の一環として、本発明は、可視光と赤外光放射に露光されたイメージセンサによって撮像されたシーンのカラー画像を生成するための方法を提供する。方法は、赤外光カットフィルタによって覆われた第１の割合の開口部を有する第１の画像を撮像することと、第１の画像内に取り込まれた第１の放射線量を決定することと、赤外光カットフィルタによって覆われた第２の割合の開口部を有する第２の画像を撮像することと、第２の画像内に取り込まれた第２の放射線量を決定することとを含む。これらの測定の後、撮影された放射線の第１の量、撮影された放射線の第２の量、第１の赤外光カットフィルタの割合、および第２の赤外光カットフィルタの割合に基づいて、シーン内の赤外光放射の割合が計算される。この計算の後に、赤外光放射の計算された割合を使用して、赤外光寄与は、画像から除去されてもよい。このようにして、仮に、画像化されたシーンがイメージセンサにより撮像された赤外光放射を含んでいるとしても、真の色表現を得ることができる。

１つ以上の実施形態において、計算は、単一の画像測定に基づいている一方、他の実施形態において、いくつかの画像フレームの平均値が計算され、統計値が改善される。

１つまたはいくつかの実施形態において、第１の赤外光カットフィルタの割合から第２の赤外光カットフィルタの割合への変更は、開口部のサイズを変更することによって行われ、それは、割合を変える簡単でシンプルな方法である。表示または記録されたビデオに、可視光効果がほとんど無い、または全くない状態で、少なくともいくつかのユースケースでは、変更および測定は、迅速に実行されてもよい。他の実施形態において、測定中に影響を受ける画像フレームを隠すことが好ましい。更なる利点として、開口部のサイズが変更される実施形態では、本方法を実行するカメラに、付加的な可動メカニックを追加する必要がない。

更に他の実施形態において、第１の赤外光カットフィルタの割合から第２の赤外光カットフィルタの割合への変更は、開口部の一部に赤外光カットフィルタを挿入または除去することによって行われる。赤外光フィルタによって覆われた部分を変更することにより、いくつかの実施形態による方法を終了するのに必要な測定データを迅速に得ることができる。

更に他の実施形態において、赤外光カットフィルタは、液晶フィルタ（ＬＣフィルタ）であってもよく、第１の赤外光カットフィルタの割合から第２の赤外光カットフィルタの割合への変更は、ＬＣフィルタを第１の状態から第２の状態へ切り替えることによって行われる。ＬＣフィルタの使用により、可動部分の導入無しに、高度に制御可能な機能が導入される。ＬＣフィルタの使用は、他の実施形態と同様に、詳細な説明において、もっと徹底的に議論される。

１つまたは任意の実施形態において、赤外光放射の計算された割合を使用して、赤外光寄与は、第１の画像、第２の画像、または第３の取得画像から除去される。基本的には、真の色情報を得るために、赤外光寄与の除去は行われるべきである。このことは、これらの画像は、寄与を計算する際に使用される画像であるため、第１の画像または第２の画像を使用する際にはささいなことである。しかしながら、仮に、計算が第１および第２の画像に対して実行されたとしても、赤外光寄与が迅速に変化しない限り、赤外光寄与は、同様に良好に、第３の画像から除去することができる。仮に、平均値が、計算に使用される場合、第１および第２の画像は、画像の第１および第２のセットに対応してもよい。重要なことに、必要な処理は、計算が各画像対に対して行われることを防止しないが、ほとんどのアプリケーションでは、これは必要でないため、避けることができる。いくつかの実施形態において、画像化されたシーンにおいて変更が検出されない限り、同じ赤外光寄与がいくつかの連続する画像から除去されてもよい。

いずれの実施形態においても、画像内の赤外光割合の計算は、個々のピクセルまたは画像のピクセルの個々のグループのレベルで実行されてもよい。このようにして、１つ以上の赤外光寄与源が配置され、この知識に基づいて、イメージングを改善するための対策が講じられる。１つ以上の実施形態において、局所化された赤外光源の結果、補償（赤外光寄与の除去）は、関連領域に分離される一方、小さいあるいは非常に小さい赤外光寄与を有する領域は、影響を受けない。これにより、処理能力が節約され、この方法の適用がノイズのレベルを上昇させる実施形態において、そのような不必要な上昇は回避される。知識は、多重露光の使用が適切であることを決定するために使用されてもよく、露光は、より長い露光時間を含む少なくとも１つおよびより短い露光時間を含む少なくとも１つを有し、赤外光の強いソースがあっても、色情報の検索を可能にし、そのような強いソースまたは赤外光の場所にあるピクセルの飽和を回避する。

任意の実施形態の赤外光カットフィルタを絞り開口に配置し、アイリス絞りのすぐ近くに配置することには、実際的な利点がある。「絞り開口」は、実際には、「物理的に可能な限り、絞り開口に近く」と読む。仮に、アイリス絞りが、絞り開口に配置されており、赤外光カットフィルタがアイリス絞りの直接的な部分でない場合、絞り開口にすぐ隣接する位置が最良の解決策である。

別の発明概念によれば、本発明は、機構に関し、機構は、カメラ、カメラコントローラ、カメラレンズ、およびカメラのイメージセンサに到達する放射線量を制御するための絞り機構を含み、赤外光カットフィルタは、絞り機構に組み込まれている。機構は、上記または下記の記載に従って、方法を実行するように構成されている。特に、本発明の機構は、単一の実施形態において、すべての方法を実行する必要はなく、少なくとも本発明の方法に関連する実施形態と同じくらい多くの実施形態により提示される。

その一例として、１つ以上の実施形態において、機構の開口部は、少なくとも２つの絞り羽根を含むことができ、赤外光カットフィルタは、絞り羽根の少なくとも１つに配置されてもよい。

少なくとも１つの実施形態において、赤外光カットフィルタは、開口部に隣接して配置されてもよく、中心部分の半径方向外側ではなく、その中心部分に赤外光カット特性を有することができる。この実施形態は、付加的な可動要素を追加することなく、本発明の方法が実行されることを可能にする。

前の実施形態の直接反対は、赤外光カットフィルタがその表面にわたって変化する赤外光カット特性を有し、赤外光カットフィルタがダイアフラムに隣接して移動可能に配置される機構によって実現されてもよい。赤外光カットフィルタを動かすと、効果が効果的に達成される。

１つ以上の他の実施形態において赤外光カットフィルタは、第１の状態および第２の状態を有するＬＣフィルタであってもよく、赤外光カットフィルタが回転可能に配置される。これら２つの実施形態の分岐のうち、ＬＣフィルタは、既に開示された利点を与えるが、回転可能に配置されたフィルタはたの利点をもたらしてもよい。

１つまたは任意の実施形態において、本発明の方法の実施形態に関して説明したように、赤外光カットフィルタは、絞り開口にまたは絞り開口のすぐ近くに配置することができる。

本発明の第３の態様によれば、本発明は、カメラプロセッサに任意の実施形態の方法を実行させるプログラム命令を含むコンピュータ可読媒体に関する。

本発明の適用範囲は、以下の詳細な説明から明らかになるであろう。しかしながら、詳細な説明から、本発明の範囲内の様々な変更および修正が当業者には明らかになるため、詳細な説明および特定の実施例は、本発明の好ましい実施形態を示しているが、説明のみのために与えられていることを理解すべきである。したがって、その様な装置および方法は様々であるため、本発明は、記載された装置の特定の構成要素部分または記載された方法のステップに限定されないことを理解されたい。本明細書で使用する用語は、特定の実施形態のみを説明するためのものであり、限定することを意図するものではないことも理解されたい。本明細書および添付の特許請求の範囲で使用されるように、文脈上明確に別段の指示がない限り、冠詞「ａ」、「ａｎ」、「ｔｈｅ」および「ｓａｉｄ」は、１つ以上の要素が存在することを意味することを意図している。したがって、例えば、「単一のセンサ」または「該センサ」への言及は、いくつかのセンサなどを含み得る。さらに、「含む」という単語は、他の要素またはステップを排除するものではない。

カメラセットアップの概略図である。 本発明の実施形態で使用されるダイアフラムの概略図である。 本発明の１つ以上の実施形態による本発明の主なステップを概説するフローチャートである。 図３の方法における実際のステップを示す組合せ図である。 図３の方法における実際のステップを示す組合せ図である。 図３の方法における実際のステップを示す組合せ図である。 図３の方法における実際のステップを示す組合せ図である。 本発明を可能にするために使用されるダイアフラム／フィルタの組み合わせの図である。 本発明を可能にするために使用されるダイアフラム／フィルタの組み合わせの図である。 更なる実施形態による本発明を可能にするために使用されるダイアフラム／フィルタの組み合わせの図である。 更なる実施形態による本発明を可能にするために使用されるダイアフラム／フィルタの組み合わせの図である。 更なる実施形態による本発明を可能にするために使用されるダイアフラム／フィルタの組み合わせの図である。 更なる実施形態による本発明を可能にすることができる別のダイアフラム／フィルタの組み合わせの図である。 イメージセンサのカラー画素のスペクトル応答を模式的に示すグラフである。

図１は、本発明の構成および方法が一部を形成できるセットアップを示す概略図である。図示されているのは、イメージセンサ１０２およびカメラレンズハウジング１０４を有するビデオカメラ等のカメラ１００である。図示された例のカメラレンズハウジング１０４は、レンズシステム１０６およびダイアフラム１０８、例えばアイリス絞りを有する標準レイアウトを含む。これはカメラレンズハウジングの非常に簡単な説明であるが、本出願のために充分に考えられている。

ダイアフラム１０８は、レンズシステム１０６の絞り開口に配置される（または、物理的に可能な限り開口面の近くに）。理想的な単レンズシステムのために、絞り開口は、レンズの中央に、光軸に垂直に配置される。既に述べたことに加えて、絞り開口の特徴は、ダイアフラムのサイズが、実際の画像ではなくて、イメージセンサ１０２に到達する光の量にのみ影響することを意味する。より具体的には、それはシャドーイング、類似の効果、またはアーチファクトを画像平面、即ち、イメージセンサの平面に生成しない。このため、ダイアフラム（開口部）を絞り開口に配置するのが標準的な方法である。本発明の説明の文脈内では、「開口部」は、ダイアフラム、例えば、絞り開口にまたは絞り開口の近くに配置されたアイリス絞りに対応してもよいが、必ずしも対応している必要はない。いずれにしても、本発明の方法または装置を使用することによって、ダイアフラムを通過する放射のスペクトルの組成が変化する。

開口部の開口のサイズを制御することにより、センサに到達する放射線量を制御することが可能であり、もちろん、カメラに使用される通常の虹彩絞りからよく知られている。

第１の実施形態で使用することができるアイリス絞り２１０が図２に示されており、実際の設計は大幅に異なるが、図２は、機能を充分に示していると考えられる。アイリス絞り２１０は、それぞれが三角形の切欠き２１４を有する２つの絞り羽根２１２を有する。各ブレードの矢印は、それらがどのように前後に、好ましくは、同期して移動できるかを示し、その結果、三角形の切欠きによって画定されたアイリス絞りのサイズが変化する。

本発明の第１の実施形態によれば、赤外光フィルタ２１６が、各三角形の切欠きの頂点に配置されている。図示された実施形態において、フィルタは正方形だが、形状は異なっていてもよい。更に、切欠き２１４の形状が異なっていてもよい。ある程度、切欠きの形状は、非常に自由に設計され、異なる製造業者は異なる形状を提供する。共通の特徴は、望ましくない影響をもたらす可能性があるため、アイリス絞り羽根が閉じるときに、スリット状の開口部の形成を回避することである。フィルタ（単数）またはフィルタ（複数）の形状は、明らかに、対応する切欠きの形状に適合される。赤外光フィルタに戻ると、赤外光フィルタは、赤外光カットフィルタであり、赤外線の透過を回避しながら、可視光の透過を可能にする。アイリス絞りが、図２に示す程度にまで開いている場合、可視光と赤外光放射の両方が開口を通過することは明らかである。アイリス絞りのサイズが小さくなるにつれて、開口部が赤外光フィルタによって完全に覆われる点に到達し、それにより可視光の透過のみが可能になることは容易に理解される。この点から下方に（即ち、より小さい開口部に向かって）、赤外光フィルタは、開口部を完全に覆い、範囲は周囲光が豊富な状態、例えば、昼間に適している。

切欠きの組み合わせによって画定された全領域が可視光の透過を可能にし、赤外光放射の透過は、全領域からフィルタが占める領域を引いたものによって定義されると考える。その結果、有効開口サイズは、２つの波長領域で変化する。より具体的には、赤外光カットフィルタが占有する領域は、一定であり（図示された実施形態における重複を無視）、可視光と赤外光放射との間の比率は、アイリス絞りのブレードの位置、即ち、アイリス絞りのサイズにより変化する。透過された可視光と赤外光放射の両方は、開口部のサイズに比例して変化するが、異なる有効開口を有するため、異なる速度で変化し、その結果、赤外光放射と視覚放射との比率は変化する。

仮に、送信された放射線が完全にスペクトル分解された場合、その割合を監視し、評価することは容易に可能であるが、一般に、イメージセンサおよび関連するコンポーネントは、赤色成分、緑色成分および青色成分への入射放射線を最も多く分類することに留意するべきであり各色成分は、赤外光成分を含み（図９に示されている）、カラー画像を再生でき、一般に、赤外線成分を分離することは全く不可能である。そのようなスペクトル分解能を可能にするイメージセンサは、特許文献に開示されており、ＮＩＲピクセルを含むが、そのようなイメージセンサのコストは現在かなり高価である。更に、ＮＩＲピクセルは、解像度の損失を犠牲にして、センサに含まれ、ほとんどの場合、緑色成分である。

赤外光カットフィルタを開口面に配置する一方、他のフィルタをセンサの前、またはレンズの前に配置してもよいが、その１つの理由は、ある種のフィルタが、周囲光の状態および効果に応じて変更されるか、（典型的には、フィルタがレンズの前に配置されているか、またはフィルタに取り付けられている）、フィルタが除去または交換されないと考えられるか、または、別個のアクチュエータによって制御が行われる（イメージセンサの直前に配置されたフィルタの場合）ことである。

図２に戻って、本実施形態のアイリス絞り２１０が、赤外光放射が完全に遮断された純粋な日モードと、イメージセンサへの赤外光放射の透過が許可される夜間モードとの間でどのようにシフトするかが明らかである。例えば、シーンに存在する赤外光の量を推定するために、昼間モードと夜間モード両方において、どのように開口部のサイズが変化したかを認識することも簡単でなければならない。

従来の解決策において、可動赤外光カットフィルタは、昼間モードでイメージセンサの前に配置され、夜間モードでビーム経路から除去される。従来の解決策において、実際の状況では、ダイアフラムは、夜間モードに完全に開放されるが、その機能は、フィルタの機能から分離されているので、絞り開口は、等しい範囲にわたって、昼間モードおよび夜間モード両方において変化し得る。対照的に、本実施形態において、赤外光放射が絞り開口を通って伝達され始める前に、フィルタ２１６のサイズは、ダイアフラムがどれだけ開いているかに影響をおよぼす。このため、本発明の実施形態は、従来の解決策の場合よりも早く、夜間モードに切り替えなければならず、即ち、白黒画像を生成する必要がある。

その理由は、赤外光放射をイメージセンサに導入すると、カメラコントローラによって実行される色補正が歪められるからであり、赤外光放射は、全てのピクセルに影響を与えるので（図９を参照）、真の色表現を提供できるためには、赤外光フィルタは必要である。したがって、夜間モードは、一般に、白黒のみで提示される（スペクトル情報でなく、強度情報を表示するのみ）。本発明のいくつかの実施形態によると、昼間モードと夜間モードとの間には、中間状態の範囲が存在する。仮に、表示された色が歪んでいても、これらの中間状態において、色補正アルゴリズムが維持される。真の昼間モードまたは真の夜間モードへの切り替えが実行される場合、ユーザは、許容可能と考えられる歪みの量を選択してもよい。仮に色が歪んでいるとしても、色の違いの情報は、監視状況に応じて、ユーザに有益である。本出願の明細書において、適切な補償が実行されるよう、画像強度に対する赤外光寄与をどのように抽出するかが記載される。このようにして、イメージセンサに到達する放射線が、可視光と赤外線の両方を含んでいるとしても、真のカラー画像を達成することができる。

これまで、本発明を可能にするセットアップのみが記載されてきた。以下の段落では、図３、４および５を参照して、第１の実施形態による方法が記載される。図３は、方法のフローチャートであり、図４および５は、２つのダイアフラムの設定および関連する透過放射線を波長の関数として示す図である。グラフは、定量的でなく定性的である。

図４は、純粋な日モードから開始する場合の方法の一部を示しており、視覚的波長のみが第１の設定でアイリス絞りを通過することが許可されており、図５は、夜間モードから開始する場合の方法の一部を示しており、可視光および赤外光波長の混合物が開始位置を通過することを許可される。

第１のステップ３１８において、方法が開始される。開始は、自動的にまたはユーザ要求に基づいて行われてもよい。可能性のある状況としては、ユーザは、ある表示モードを選択し、表示モードのフレームワーク内で方法が実行されることである。

第２のステップ３２０において、別個の開口部でもよいアイリス絞りは、所定量だけ開き（図４ｂの下部）、その結果、図４ｂのグラフに示すように、送信された放射線は、赤外波長領域に波長を含むようになる。第１の画像では（図４ａに示すように、アイリス絞りが第１の位置にあるときに撮られた画像）赤外光寄与は全くない。

第３のステップ３２２において、所定の開口の効果が評価される。所定の開口の効果を評価することにより、可視光および赤外光放射の寄与をそれぞれ推定することが可能になる。この実施形態および任意の実施形態のために、評価は、個々のピクセルまたはピクセルのグループから画像フレームのより大きな部分または画像フレーム全体にわたる画像の任意のレベルの解像度で実行されてもよい。評価は、単一フレームに基づくこともできるが、評価が実行される前に、平均値を形成するために、より良い統計値のために、各設定に対して多数の画像フレームを組み合わせることができる。これは、本実施形態に当てはまるが、本明細書に記載され、添付の特許請求の範囲に定義される本発明の全ての他の実施形態にも当てはまる。

評価に続いて、寄与を可視波長および赤外線波長から分離して、第５のステップにおいて、それに応じて結果としての画像を補償することが可能である。

スペクトル的に解決された情報は利用できず、イメージセンサは強度のみを検出することに留意されたい。イメージセンサ全体にわたる平均値または合計値は、より信頼性の高い統計値を提供し得るが、強度は、空間的に解決することができ、最小および最大の強度を見出すことにより、重要な情報が提供される。ダイアフラムの特性を知ることにより、可視光を透過する領域するがどれだけ増加したか、および赤外光放射を透過する領域がどのくらい増加したかが分かる（基本的に図４の例では０から何かに）。

図５を参照すると、最初の画像に赤外光寄与が含まれている点で違いがある。第１の位置において、ダイアフラムはほぼ完全に開き、赤外光および可視光の透過を可能にする。それとは別に、図５の状況に対する本発明の適用は、図４を参照して記載した適用に類似する。

開始に続いて、アイリス絞りは、第２のステップにおいて、図５ｂの下部に示される第１の所定の状態に閉じられていてもよい（もちろん、所定の状態に開かれていてもよい）。この時点で、透過された赤外光放射の量は、図５ｂのグラフで明らかな比率のシフトで示された可視光の量よりも大幅に低減されるであろう。赤外光透過ダイアフラム領域および視覚透過ダイアフラム領域がどのくらい変化したかを知ることにより、視覚および赤外線それぞれの２つの波長領域からの寄与を推定することができる。続いて、補償または訂正を行うことができる。

図６ａおよび６ｂは、虹彩およびフィルタのいくつかの代替の実施形態の図である。図６ａにおいて、三角形の断面を有するフィルタ６１６ａが各ブレード上に配置され、フィルタを重複させることなく完全な赤外光ブロックを可能にし、図６ｂにおいて、１つのブレード上に配置された単一のフィルタ６１６ｂがあり、赤外光ブロックを可能にして、フィルタを重複させることなく開口サイズを変える。

図７ａは、絞り羽根に赤外光カットフィルタを含む代わりに、すなわち、表面にわたって変化する分光透過率を有する赤外光カットフィルタ７１６を有する。図示された例において、赤外光カットフィルタは、中心部分７２４の真の赤外光カットフィルタのみであり、フィルタ７１６の残りは、可視光および赤外光放射の両方を透過する。そのような赤外光カットフィルタをダイアフラムの平面、またはその近くに固定し配置することにより、既に記載した実施形態による方法の使用が可能になる。赤外光カットフィルタが絞り羽根ではなく、ダイアフラム構造に含まれる実施形態は、より精巧なダイアフラム構造の使用を可能にする。一例は、図７ｂに示すように、虹彩絞り７１２ｂとの組み合わせである。図７ｃは、更なる実施形態、又は、実際には２つのフィルタ構成を示す。共通点は、赤外光カット７２４フィルタが回転するように配置されていることである。また、赤外光カットフィルタを含む構成要素は、フィルタ無しの領域、即ち、赤外光放射と可視光の両方を透過する領域を含む。更に、構成要素の一部分は、アイリス絞りに延在し、構成要素の回転により、赤外光カットフィルタによって覆われたアイリス絞りの領域を変化させることができる。左の構成では、構成要素は２つの領域を含み、そのうちの斜線領域は、赤外光カットフィルタに対応し、非充填領域は、フィルタの少ない領域に対応する。右の構成では、４つの領域がある。単一の実施形態において、構成要素のうちの１つだけが使用され、フィルタの形状および設計は大幅に変化し得るが、請求項によって定義される本発明の適用を可能にすることに留意されたい。回転は、電動アクチュエータで行うことができる。異なる設計とは別に、図７ｃの実施形態は、１つまたは任意の実施形態による本発明の実現を可能にする。この枝路における実施形態の推敲は、回転可能なフィルタを偏心的に配置し（または偏心した形状のフィルタを有する）、フィルタを制御し、開口部のサイズを制御することにより、フィルタによって覆われる領域を変化させることができる。

図８は、本発明の更なる実施形態を示す。実施形態において、赤外光カットフィルタは、液晶フィルタ（ＬＣフィルタ）８１６に統合されている。ＬＣフィルタは、可視光を透過し、赤外光放射をブロックする状態と、可視光および赤外光放射両方をブロックする状態を切り替えるように構成される。ＬＣフィルタは、赤外光フィルタに重畳される。したがって、ＬＣフィルタが第１の状態にあるとき、可視光は、結合フィルタを通過することができるが、赤外光放射はブロックされ、第２の状態において、可視光および赤外光放射の両方がブロックされる。この構成を使用することにより、付加的な機械的部品無しで、本発明の方法を非常に便利な方法で実行することができる。ＬＣフィルタは、絞り羽根８１２に配置されてもよいが、絞り開口の近傍または絞り開口に静的に配置されてもよい。可動部品の数が最小化されるため、絞り開口の位置または絞り開口の近傍に静的に配置する後者は、大部分の実施形態において好ましい代替案である。他の実施形態において、ＬＣフィルタは、第１の状態で、全ての波長を透過するように配置され（少なくとも視覚およびＮＩＲ、イメージセンサが非怠慢応答を有する波長）第２の状態で、視覚のみを透過するように配置することができる。そのような実施形態において、ＬＣフィルタを赤外光フィルタに重畳する必要はない。

ＬＣフィルタは状態間で非常に迅速にシフトするが、各遷移は、ある時間スケールで勾配を有する。例えば、全ての放射線をほぼ瞬間的にブロックする状態にシフトする一方、部分的に透過状態に戻る遷移は遅い。仮に使用されるイメージセンサがローリングシャッタで動作する場合、個々の行は異なる影響を受け、画像にアーチファクトが生じる。しかしながら、挙動は、予測可能であり、アーチファクトの補償は簡単な方法で実行されてもよく、方法が実行されている間、画像の連続ストリームが提供されてもよい。そのようなアーチファクトを補正することは、回転フィルタを使用する実施形態ではより困難になり得るので、測定中に取得された画像フレームが表示されるのを回避することが好ましい。代替手段として、デジタルビデオでは、現在あまり使用されていないが、まだ一般的なグローバルシャッターを使用する方法がある。

ＬＣフィルタが開口部の全領域Ａの一部Ａｖを覆い、ＬＣフィルタが赤外光フィルタに重畳される一例において、開示された実施形態の例を使用して、以下の方法で赤外光寄与を計算することができる。

Ｉｖ： 視覚範囲における強度
Ｉｎ： 近赤外領域の強度
Ａｖ： 赤外光カットフィルタにより覆われた領域
Ａ： 全領域
Ｐ１： ＬＣフィルタ送信時のピクセルからの読み出し
Ｐ２： ＬＣフィルタがブロックされた時のピクセルからの読み出し

入力として使用される実際の式およびパラメータは、もとろん、セットアップに応じて異なるが、式の右辺の全てのパラメータは、測定の後、特定のセットアップのルックアップテーブルから既知であることに留意されたい。また、フィルタが絞り開口に、または絞り開口の近くに配置されるという条件で、式は、単一ピクセルまたはピクセルのグループから画像全体にわたる画像のすべての部分に適用可能であることに留意されたい。

この実施形態の効果は、状態の１つにおいて、赤外光カットフィルタが、アイリス絞りの一部に配置される一方、他の状態では、アイリス絞りの一部が赤外光放射および可視光をブロックすることである。しかしながら、各状態について、覆われている虹彩の寸法も、覆われていない虹彩の寸法も知られているので、計算は、既に記載した実施形態と同じくらい簡単である。

図８の実施形態において、ＬＣフィルタの構成は、図２の構成および類似の実施形態を模倣しているが、図７ａおよび７ｂの実施形態および類似の実施形態に対応する方法で配置されてもよく、これは、赤外光カットフィルタのアクティブ領域が、フルフィルタの（より小さい）部分に対応し得ること、フィルタが静的に配置されること、またはそれらの組み合わせを意味する。上述したように、調整可能なバンドパスＬＣフィルタを使用してもよく、調整可能なバンドパスＬＣフィルタは、１つの状態では、視覚、光、および赤外光放射を送信し、別の状態では、可視光を送信するが、赤外光放射をブロックする。そのようなフィルタでは、フィルタでアイリス絞り全体を覆い、ＬＣフィルタを調整することにより、開口部を通過する赤外光放射の割合を変化させることが考えられる。しかしながら、ＬＣフィルタが完全に「開」かないため、可視光および赤外光放射両方の透過が可能な状態であっても、そのようなアプローチの欠点は、いくぶんかの光強度が常に失われることである。

図面を通して、同様の構成要素には、同様の参照符号が付されており、図面の番号に関する識別子が異なるだけである。図面間の類似性により、読者は容易に異なる図面を理解することができ、参照符号の過剰な使用が余分になる。

記載された実施形態における、絞り機構の挙動の共通の特徴は、構成を透過する赤外光放射と可視光との間の比率が、可能な絞り開放の範囲にわたって変化することである。開口が小さければ小さいほど、（即ち、視覚部分が増加する）、赤外光放射が本質的に透過しない点までの比率が小さくなり（赤外光カットフィルタの特性により、減衰が制限される）、比率は、基本的にゼロである。絞り開放のサイズとともに比率は、増加するが、絞り開放の一部が、常に赤外光カットフィルタによって覆われているため、比率が１に到達することはない。絞り開放は、本質的に赤外光が存在しない領域を有するため、比率が一定である全閉位置に近い間隔が存在する。この間隔のサイズは、赤外光カットフィルタのサイズの影響を受ける。

本発明の方法は、イメージセンサ全体からの信号の合計を単に使用することにより達成することができる。原画像と、開口部の別の割合が赤外光カットフィルタで覆われている画像との比率を形成することにより、連立方程式を形成することができる。連立方程式の解は簡単であり、イメージセンサにより取得された画像に対する異なる波長領域の寄与の予測を可能にするパラメータを明らかにする。

Claims (16)

1. 可視光と赤外光放射に露光されたイメージセンサによって撮像されたシーンのカラー画像を生成するための方法であって、
   赤外光カットフィルタによって覆われた第１の割合の開口部を有する第１の画像を撮像することと、
   前記第１の画像内に取り込まれた第１の放射線量を決定することと、
   前記赤外光カットフィルタによって覆われた第２の割合の前記開口部を有する第２の画像を撮像することと、
   前記第２の画像内に取り込まれた第２の放射線量を決定することと、
   撮影された放射線の前記第１の量、撮影された放射線の前記第２の量、前記第１の赤外光カットフィルタの割合、および前記第２の赤外光カットフィルタの割合に基づいて、前記シーン内の赤外光放射の割合を計算することと、
   赤外光放射の前記計算された割合を使用して、画像から赤外光寄与を除去することとを含む方法。
2. 前記第１の赤外光カットフィルタの割合から前記第２の赤外光カットフィルタの割合への変更は、前記開口部のサイズを変更することによって行われる請求項１に記載の方法。
3. 前記第１の赤外光カットフィルタの割合から前記第２の赤外光カットフィルタの割合への変更は、前記開口部の一部に、赤外光カットフィルタを挿入または除去することによって行われる請求項１に記載の方法。
4. 前記赤外光カットフィルタは、液晶フィルタであり、前記第１の赤外光カットフィルタの割合から前記第２の赤外光カットフィルタの割合への変更は、ＬＣフィルタを第１の状態から第２の状態へ切り替えることによって行われる請求項１に記載の方法。
5. 赤外光放射線の前記計算された割合を使用することにより、前記赤外光寄与は、前記第１の画像、前記第２の画像、または第３の取得画像から除去される請求項１に記載の方法。
6. 前記画像内の前記赤外光割合の前記計算は、前記画像の個々のピクセルまたは個々のピクセルのグループのレベルで実行される請求項１に記載の方法。
7. 前記画像上の赤外光割合を比較することにより、赤外光放射線の量が上昇した前記画像の領域をローカライズすることをさらに含む請求項６に記載の方法。
8. 前記第１の画像および第２の画像のうちの少なくとも１つは、多重露光の結果であり、前記多重露光は少なくとも１つの露光はより長い露光時間を有し、少なくとも１つの露光はより短い露光時間を有する請求項１に記載の方法。
9. 前記赤外光カットフィルタは、開口絞りに、アイリス絞りのすぐ近くに配置される請求項１に記載の方法。
10. イメージセンサを有するカメラ、
    カメラコントローラ、
    カメラレンズ、および
    前記カメラの前記イメージセンサに到達する放射線量を制御するように構成された開口部配置を備え、
    前記開口部配置は開口部と赤外光カットフィルタとを含み、
    前記カメラコントローラは、
    前記赤外光カットフィルタによって覆われた前記開口部の第１の割合で第１の画像の捕捉を制御し、
    前記第１の画像に捕捉された第１の放射線量を決定し、
    前記赤外光カットフィルタによって覆われた前記開口部の第２の割合で第２の画像を捕捉し、
    前記第２の画像に捕捉された第２の放射線量を決定するよう制御し、
    前記第１の捕捉された放射線量、前記第２の捕捉された放射線量、前記第１の赤外光カットフィルタの割合、および前記第２の赤外光カットフィルタの割合に基づいて、シーンにある赤外光放射線の割合を計算し、および前記計算された赤外光放射線の割合を使用することによって、画像から赤外光寄与を除去するように構成されることを含む機構。
11. 前記開口部は、少なくとも２つの絞り羽根を有し、前記赤外光カットフィルタは、前記少なくとも２つの絞り羽根の少なくとも１つに配置される請求項１０に記載の機構。
12. 前記赤外光カットフィルタは、前記開口部に隣接して配置され、中心部分の半径方向外側ではなく、前記中心部分には赤外光カット特性を有する請求項１０に記載の機構。
13. 前記赤外光カットフィルタは、その表面にわたって変化する赤外光カット特性を有し、前記開口部に隣接して移動可能に配置される請求項１０に記載の機構。
14. 前記赤外光カットフィルタは、第１の状態および第２の状態を有するＬＣフィルタである請求項１０に記載の機構。
15. 前記赤外光カットフィルタは、回転可能に配置される請求項１０に記載の機構。
16. 前記赤外光カットフィルタは、前記開口部の開口絞りに、または開口絞りのすぐ近くに配置される請求項１０に記載の機構。

Images