JP7447041B2 - 夜間モード画像取得中に周囲光を評価するための方法 - Google Patents

Description

本発明は、夜間モード画像取得中に周囲光の尺度を評価するための、ビデオカメラにおける方法に関する。本発明は、ビデオカメラにおいて、夜間モード動作から日中モード動作への切り換えのタイミングをとるための方法にも関する。

カメラ用のＩＲ（赤外線）フィルターの使用は、当技術分野で、特にデジタルカメラに関連してよく知られている。簡潔に述べると、カメラの画像センサは、赤外線の無視できない成分にスペクトル応答を有し、結果として、好機と課題をもたらす。好機は、低照明条件において、ＩＲ成分が、撮像されるシーンに関するさらなる有用な情報、ＩＲ光源によってさらに一層向上する場合がある情報を提供することが可能なことである。課題は、昼間の撮像中に見出され、ＩＲ成分の付加は、画像内のカラーバランスを歪ませることになり、また、画像センサを飽和させる場合もある。さらに、カメラは放射を検出することになるため、露出設定などのパラメータは、表示される画像にとって有害であるように影響を受ける場合がある。

有益でない効果を抑えながら有益な効果を維持する方法は、日中モード動作中に画像センサの前のビーム経路内に可動ＩＲカットフィルターを付加することである。こうして、ＩＲフィルターは、日中条件中に使用することができ、カラー画像の取得を可能にする。本出願全体を通して、「ＩＲカットフィルター（ＩＲ－ｃｕｔ ｆｉｌｔｅｒ）」および「ＩＲフィルター（ＩＲ－ｆｉｌｔｅｒ）」は、交換可能に使用することができ、明示的に述べない限り、「ＩＲフィルター」は、本文脈において、ＩＲカットフィルターに対応することになる。日中モード動作中に、画像センサのピクセルは、第１の方法で働くことになり、第１の方法において、入射光は、個々の光検出器上の電荷として検出され、各光検出器は、主にレッド、主にグリーン、または主にブルー放射を受け取るためのフィルターを備え、したがって、カラー分離を可能にする。夜間モード動作中に、例えば、低照明条件において、ＩＲカットフィルターを除去することができる。これは、スペクトルのＩＲ部分から放出する到来光（または放射）の増加、カラー撮像を難しくまたは不可能にするという対価を伴うが、画像品質を改善するために使用することができる増加が存在することになることを意味する。ＩＲカットフィルターがない状態で、ＩＲ放射は、全てのカラーチャネルにおいて強度を付加することになる。なぜならば、全てのカラーチャネルがＩＲ領域における応答を有するからである。これは、各カラーチャネルにおける未知因子の付加によってカラー情報を歪ませることになる。したがって、夜間モード動作中にカラー分離を実施する代わりに、維持される唯一のパラメータは、各ピクセルについての到来放射の全強度であり、全強度は、グレースケール強度画像として（または任意の所望のカラースケールで）提示することができる。ＩＲ光源の付加は、画像をさらに一層向上させることができる。

簡単な解決策において、ＩＲカットフィルターはセンサの前に配置され、アクチュエータは、フィルターがセンサを完全に覆う位置（「日中モード（ｄａｙ ｍｏｄｅ）」）と、フィルターが、画像センサを覆い隠すことから完全に除去される位置（「夜間モード（ｎｉｇｈｔ ｍｏｄｅ）」）との間でフィルターを移動させるために使用される。夜間モードおよび引っ込められたフィルターから始めて、ＩＲカットフィルターが挿入されると、画像センサは、周囲光の量が十分であるか否かを推測することができる。十分でない場合、カメラは、夜間モードに戻るように切り換わることになる。夜間モードから日中モードに切り換わると、ＩＲフィルターがビーム経路内にある状態で光レベルが低すぎること、および、夜間モードに戻る切り換えが必要であることが珍しくなく、夜間モードと日中モードとの間での切り換え（ｂａｃｋ－ａｎｄ－ｆｏｒｔｈ）による揺らぎ（ｆｌｉｃｋｅｒｉｎｇ）をもたらす。これは、目につく画像のちらつき（ｆｌｉｃｋｅｒｉｎｇ）およびアクチュエータに対するかなりの摩耗をもたらす。その結果、交互の切り換えは、ユーザー体験にとって有益でなく、したがって、日中モードへの切り換えが賢明であることを確信するために、シーン内の可視光の量を撮像ユニットが推測しようと試みる、切り換え前の評価が存在する場合がある。

そのため、補助光センサが、ＩＲセンサをいつ挿入するかおよびいつ除去するかを制御するために使用することができ、それにより、周囲光のレベルが低過ぎると、カメラは、ＩＲフィルターを除去することによって、および任意選択で、カメラによって保持されるかまたはカメラに組み込まれる、あるいは、カメラの外部に配置されるＩＲ光源を使用して、夜間モードに切り換え、また、周囲光レベルが十分に高いと、日中モードへの切り換えを実施することができる。多くの用途について、この解決策は、受け入れられる結果を提供する、しかし、さらなるコンポーネントを付加することは最終製品のコストおよび複雑さを付加する。同様に、ほとんどの光センサは、全体の周囲光レベルを測定するだけであり、それは、撮像されるシーン内の光レベルの局所的変動を考慮することができないことをもたらす。

カメラシステムにおいて日中モードと夜間モードとの間でいつ切り換えるかを決定するための異なる手法を使用する種々の他の方法が知られている。例えば、米国特許出願第２０１１／０１９３９６７号は、夜間モードと日中モードとの間で画像デバイスを切り換える制御ユニットを開示する。夜間モードから日中モードに移行するプロセスにおいて、利得が最初に低減され、次のステップにて、ＩＲ照明が徐々にゼロに低減される。最後のステージにおいて、切り換えが行われようとすると、利得がさらに低減され、閾値レベルに達すると、日中モードへの実際の切り換えが実施される。

国際公開第２０１９／１５７０９６号は、監視カメラを対象とし、夜間モードまたは日中モードの選択が、カメラの全体的な利得設定、シャッター速度、およびアイリス設定の分析と共に、レッド、ブルー、及びグリーン利得の比の分析に基づくことを開示する。

米国特許出願第２０１１／０２２１３５０号は、照明制御システムにおける周囲光センサのための自動較正法を開示する。周囲光の少なくとも３つのレベルおよび対応する周囲光レベル閾値は、異なるレベル間で制御ユニットをいつ切り換えるべきかを示すときに使用するために決定される。その文書は、測定に基づいて閾値を決定することによってどのようにシステムを構成するかを論じる。本発明は、特に、夜間モードで動作するときに、周囲光レベルの尺度を取得するための改良型方法の装備によるＩＲフィルター制御の改善に主に関する。

ＩＲフィルター制御の改善を提供しようとして、本発明は、本発明の第１の態様に従って、ビデオカメラによるビデオ取得中に周囲光レベルを評価するための方法を提供する。ビデオカメラは、ＩＲ照明器に動作可能に接続され、ＩＲカットフィルターが画像センサの前に配置される動作日中モードおよびＩＲカットフィルターが画像センサの前に配置されない動作夜間モードを有するように構成される。方法は、ＩＲ照明器が第１の照明出力レベルを有する状態で、夜間モードにおいてビデオカメラによって画像のストリームを取得すること、及びその後、画像ストリーム内の所定の数の連続する画像フレームのシーケンスの取得中にＩＲ照明器の出力レベルを所定の照明出力レベルまで減少させることであって、ＩＲ照明の出力レベルの減少は突然の変化である、減少させることを含む。画像取得に続いて、方法は、画像フレームのシーケンスの評価から周囲光レベルを表す尺度を評価すること、および、評価された尺度を、ＩＲカットフィルター用のコントローラへの入力として使用して、かつ、評価された尺度が閾値をパスする場合、ビデオカメラを日中モード動作に切り換えることをさらに含む。

本発明の方法は、周囲光レベルの簡単でかつ迅速な評価を可能にし、画像フレームのシーケンスの長さは、特定の状況またはカメラが評価時に動作しているモードに適合することができる。さらに、ビデオカメラの画像センサ全体は、幾つかの有利な効果を有する周囲光センサとして使用することができる。

さらなる実施形態において、ＩＲ照明器の出力は、減少に続いて、好ましくは、減少の前にＩＲ照明器が有していた元の照明出力レベルまで再び増加することができる。こうして、評価は、少なくとも取得されるビデオを観察するオペレータにとって、ほぼ知覚できないように実施することができる。

周囲光レベルを表す尺度は、現在の露出の尺度、信号対雑音比の尺度、および光強度の尺度、またはその任意の組み合わせを含む群から選択することができる。任意の実施形態において、カメラにおいていずれにしても推測される尺度を使用することが有益であることになる。なぜならば、これが、必要なさらなる処理パワーならびに高速処理を最小にすることを保証することになるからである。

述べたように、方法は、評価された光レベルを、ＩＲカットフィルター用のコントローラへの入力として使用して、かつ、評価された光レベルが閾値をパスする場合、ビデオカメラを日中モード動作に切り換えることを含む。これは、夜間モード動作から日中モード動作への切り換えのタイミングをとるための信頼性のある方法をもたらす。どの尺度が使用されるかに応じて、切り換えは、実際の値が所定の値を下回るときにまたは実際の値が所定の値を超えて増加するときに実施することができるが、いずれにしても、切り換えは、周囲光レベルが特定の所定のレベルに達したかまたはそれを超えたことをやはり示すことになる。

本発明の方法の邪魔になるいずれの影響も低減しようとして、方法は、本発明の１つまたは複数の実施形態において、減少したＩＲ照明によって取得される画像フレームのシーケンスを処理することであって、それにより、画像フレームの輝度は周囲フレームの輝度に類似する、処理することを含むことができる。こうして、減少したＩＲ照明によって取得されるフレームのシーケンスは、例えば、結果として得られるビデオ素材（ライブのまたは記録データからの）をオペレータが観察するのを邪魔することなく、画像ストリーム内に維持することができる。ビデオカメラのエンコーダーにおいてフレームをエンコードする前にフレームを調整することが好ましい場合があり、それは、以下でかつ詳細な説明において詳述される。画像フレームのシーケンスについて露出時間を調整することは、１つのさらなるオプションであるとすることができ、別のオプションは、画像フレームの評価に基づいてまたは統計データに基づいて、利得（アナログまたはデジタル）またはオンザフライ（ｏｎ ｔｈｅ ｆｌｙ）で調整することが適度にシンプルであると思われる（すなわち、それが、ビデオストリームの邪魔にならないほどに十分に速いという意味で）任意の他のパラメータを増加させることである場合がある。簡単な例は、調整を行うために、メタデータであって、例えば、特定の画像フレームを取得するときに使用されるカメラパラメータについての設定に関するフレーム固有の情報である、メタデータを使用することであると思われる。（より低いＩＲ照明の結果としての）より暗い画像フレームは、比較的容易に補償することができ、また、雑音レベルが増加する可能性があるが、画像の（例えば、３０ｆｐｓ画像ストリーム内の単一画像フレームとしての）全体的な視覚的印象は重要でない場合がある。もちろん、組み合わせ、例えば、露出時間を変更することならびに利得（または他のパラメータ）を変更することの両方を適用することもできる。

画像フレームのシーケンスが示されないことが決定される実施形態において、画像フレームは、使用されるコーディング規格（示唆的にｈ．２６４またはｈ．２６５であるが、それらに決して限定されない）にとっていずれが最も容易であっても、画像ストリームから除去するかあるいは「表示なし（ｎｏ－ｄｉｓｐｌａｙ）」または「スキップフレーム（ｓｋｉｐ ｄｉｓｐｌａｙ）」としてマーク付けすることができる。他の実施形態において、シーケンスの画像フレームは、周囲光評価を実施するために必要とされる分析以外の分析からも除去される。こうして、普通なら体験にネガティブに影響を及ぼす可能性があるシーケンスからの画像フレームは、ホワイトバランス、露出設定、ノイズフィルター等のような撮像パラメータの評価および制御に影響を及ぼさないことになる。

１つまたは複数の実施形態において、ＩＲ照明器からの出力は、日中モード動作への考えられる切り換えに続く、予想される周囲光レベルに関する即座のフィードバックを与えるために、ゼロに減少し、一方、他の実施形態において、出力は、ゼロより大きい値に、例えば、１０％、２０％、…、５０％等に減少する。

特に好ましい実施形態において、フレームのシーケンスは単一画像フレームのみを含む。特定の実施形態において、単一フレームは、好ましくは、画像ストリーム内に表示されることから外され、画像フレームの処理は、周囲光評価以外で、画像データを処理するために実施されない。理論的に、やはり最も好ましいわけではないが、この実施形態は、画像フレームが表示から外されない任意の他の実施形態と組み合わせることができる。単一の暗いフレームの出現が、例えば、３０ｆｐｓ画像ストリームにおいてそれほど邪魔にならない事例が存在する場合がある。カメラパラメータ（露出時間または利得等）または表示パラメータ（ホワイトバランス等）を制御するために単一フレームからの画像データを使用しないことがやはり賢明であると思われる。なぜならば、その画像データが、幾つかの連続するフレームに影響を及ぼす可能性があり、また、その画像データがより目につくからである。

１つまたは複数の実施形態において、ＩＲ照明器は幾つかの異なるＩＲ－ＬＥＤを備えることができる。そのようなセットアップにおいて、出力の制御は、ＬＥＤの選択に関して実施することができる。全てのＬＥＤに関して出力を５０％まで減少させる代わりに、ＬＥＤの半分をゼロまで減少させる可能性があり、残りを、不変の状態に維持する可能性がある。同じ手法は、他の減少比について使用することができる。この実施形態の利益は、シーンの全てのＩＲ照明を除去しないという利点をやはり有しながら、１から１の何分の１かに切り換えるよりも１から０に切り換えることがより容易で、より速く、より信頼性がある場合があることである。

本発明の方法は、本発明の任意の実施形態に従って、タイマーからの入力に基づいて、例えば、特定の日時に始動することができる。タイマーは、多少進歩しているとすることができ、適切な時間に方法を始動するために（また、結果が完全に予測可能であるときに評価を行うことを試みないために）、地理的位置、天気予報、前の日からの統計量等を考慮することができる。１つの例は、方法が、夜間の間、全く実施されず、一方、予想される夜明け時に、方法が、一定間隔（５分ごとまたは１０分ごと等）で周囲光をチェックすることである可能性がある。他の実施形態において、方法は、或る期間の間に特定の頻度で、および、他の期間の間に別のより高い頻度で等で実施することができる。

他の実施形態において、始動は、輝度の変化等の、撮像されるシーン内の事象、または、評価する価値がある可能性がある周囲光レベルの変化が存在することを示すことができる別の外部事象によってトリガーすることができる。

さらなる実施形態において、方法は、カメラの動作モードをチェックすることを含むことができ、ＩＲ照明器の調整は、カメラの動作モードに基づいて延期することができる。幾つかの異なるシナリオにおいて、画像取得中に、例えば、追跡中に等で、撮像モードを変更することが好ましくない場合がある。一方で、変更することは、継続中のプロセスに影響を及ぼす可能性があり、他方で、継続中のプロセスは、周囲光評価のために必要とされる処理パワーを占有することができる。さらなる例は、カメラが、パン、チルト、またはズーム動作中等の運動中である状況、または、シーンがほぼ安定していない他の状況を含む。シーンが変化しており、評価を、確実性を乏しくさせる場合、これは、本発明の方法を、多数の連続する回数、実施し、方法が、日中モードに実際に切り換わることに進むための頑健な評価を要求することによって対処することができる。

１つまたは複数の実施形態において、周囲光レベルは、シーケンスの各画像フレームの特定のエリア内で評価される。この実施形態は、詳細な説明においてより詳細に論じられ、しかし、この実施形態は、本発明の可能性を完全に利用することを意図して、評価のために或る部分を選択することに基本的に対応する。この実施形態は、或る部分を、例えば、その部分が、撮像されるシーンを全体として表すかまたはそれに関連すると考えられないことに基づいて、評価されることから外すことに対応する可能性もある。

別の態様によれば、本発明は、本発明の方法を実施するためのビデオカメラを提供し、ビデオカメラは、画像センサと、日中モードにおいて画像センサの前に配置され、夜間モードにおいて画像センサの前に配置されないＩＲカットフォルタと、ＩＲ照明器とを備え、上記ＩＲ照明器に接続可能である。ビデオカメラは、ＩＲ照明器のための制御回路をさらに備える。上記制御回路は、画像センサからの出力トリガー信号を読み取り、画像センサ読み出し動作に対してＩＲ照明器の制御のタイミングをとるためのトリガーユニットを備える。

さらに別の態様によれば、本発明は、プログラム命令を含むコンピュータ可読媒体に関し、プログラム命令は、カメラのプロセッサに、述べた実施形態のうちの任意の実施形態の方法を実施させるためのものである。

本開示の適用性のさらなる範囲は、以下で示す詳細な説明から明らかになるであろう。しかしながら、本発明の範囲内の種々の変更および修正が、この詳細な説明から当業者に明らかになるため、詳細な説明および特定の例が、本発明の好ましい実施形態を示しながら、例証としてのみ示されることが理解されるべきである。したがって、本発明が、述べるデバイスの特定のコンポーネント部品または述べる方法のステップに限定されず、なぜならば、そのようなデバイスおよび方法が変動する場合があるからであることが理解される。本明細書で使用される用語が特定の実施形態を述べるためのものに過ぎず、制限的であることを意図されないことも理解される。本明細書および添付特許請求の範囲で使用するとき、冠詞「１つの（ａ）」、「１つの（ａｎ）」、「その（ｔｈｅ）」、および「前記（ｓａｉｄ）」が、別段に文脈が明確に指示しない限り、要素の１つまたは複数が存在することを意味することを意図されることが留意されなければならない。そのため、例えば、「１つのセンサ（ａ ｓｅｎｓｏｒ）」または「そのセンサ（ｔｈｅ ｓｅｎｓｏｒ）」に対する言及は、幾つかのセンサおよび同様なものを含むことができる。さらに、「備えている（ｃｏｍｐｒｉｓｉｎｇ）」では、他の要素またはステップを排除しない。

本発明の一般的な実施形態による、カメラセットアップの概略図である。 標準的なセンサチップのスペクトル応答を示す概略図である。 本発明の１つまたは複数の実施形態による、本発明の主要なステップを概説するフローチャートである。

図１は、本発明の種々の実施形態による、本発明を実施するために準備されたカメラセットアップを示す。監視カメラ１０は、画像センサ１２および撮像光学部品１４を有し、ＩＲカットフィルター１６は画像センサ１２の前に配置される。ＩＲカットフィルター１６は、アクチュエータ内に配置されるため、ＩＲカットフィルター１６を、画像センサ１２の前に挿入し、その位置から引っ込めることができ、それは、日中モード動作と夜間モード動作との間で切り換えるときに行われることである。

簡潔に図２を参照すると、フィルターが日中モード動作中にセンサの前に配置されると、スペクトルのＩＲ部分全体が除去され、レッド、グリーン、およびブルーチャネルによってそれぞれ測定される信号を、分解しカラー画像に変換することができることを意味する。入射光は、画像センサの前に配置されたまたはさらに画像センサと組み合わされたカラーフィルターレイの使用によって異なるカラーチャネルに分離される。ベイヤーフィルター（ｂａｙｅｒ ｆｉｌｔｅｒ）は、このために一般に使用されるカラーフィルターである。特に、図２に示すように、各カラーチャネルは、ＮＩＲスペクトル領域内にスペクトル応答を有し、ＩＲカットフィルターが画像センサから除去されると、スペクトルのこの部分（ｐａｒｔ）も、画像センサに入射することになる。これは、スペクトル分解能を失うという代償を払って、収集される放射の量を著しく増加させることになり、それは、夜間モード撮像においてグレースケール表現を使用することが一般的な慣行であるからである。画像品質は、所望の効果を有するが、人間の目にとってやはり見えないかまたは邪魔にならない「目に見えない（ｉｎｖｉｓｉｂｌｅ）」照明を提供するＩＲ照明源を配置することによってさらに増加することができる。

図１を参照すると、ビデオカメラはハウジング１８を有する。図１において、ハウジングは長方形である、しかし、カメラハウジングが多くの異なる形態をとることができ、また、本発明のために、任意の知られている形態（未知の形態が本発明を実現することを不可能にしない限り、未知の形態を排除しない）を使用することができることが留意されるべきである。さらに、カメラによって実施される機能は、異なるユニットで達成することができ、それにより、画像は、１つの物理的場所で収集され、有線で（または無線で）処理のために別のユニットに転送される。そのような手法は、カメラの画像収集部分ができる限り小さく維持されることが利点である用途において珍しくない。画像プロセッサまたはビデオプロセッサ２０（またはその組み合わせ）は、画像センサによって収集される画像データを処理し、それをエンコーダー３０に給送するために配置される。中央処理ユニット２２は、プロセスを制御するために配置される。ほとんどの場合、カメラ（または、上記テキストを参照すると、ユニットのうちの１つのユニット）は、カメラの制約を超える通信のためのネットワークインタフェース２４も備えることになる。上記説明は、当然のことながら、最新のビデオカメラについての非常に簡略化した説明であり、より詳細な知識について、関心のある読者は、本出願人の製品ポートフォリオに目を向けることができる。全体的なフローは、画像センサ１２からエンコーダー３０およびネットワークインタフェース２４に向かう方向を明白に有する、しかし、逆方向に向かうフィードバック機構も存在する。

さらに、図１のビデオカメラはＩＲ照明源２６を備える。示す実施形態において、ＩＲ照明源はハウジング１８上に配置される、しかし、ＩＲ照明源は、他の実施形態において、カメラに接続されかつカメラによって制御される別個のデバイス、または、カメラの態様を同様の制御する外部コントローラとして設けることができる。概略的な表現は、ＩＲ照明源が幾つかのＩＲ照明器のアレイである実施形態もカバーする。必要とされる場合、さらなる制御ユニット（マイクロコントローラユニットＭＣＵ２８で例示される）を、ＩＲ照明源を制御するために付加することができるが、このコントロールは、中央処理ユニットにも含むことができる、または、中央処理ユニットにも含まれると言うことができる。さらに、さらなるドライバーユニット（図示せず）は、本発明のために適切な方法で、ＩＲ照明源に電力を供給するために、またはむしろ、ＬＥＤに供給される電力を供給し制御するために配置することができる。ドライバーユニットは、普通ならＣＰＵまたはＭＣＵによって提供されるコントロールを提供する可能性もある。適切なＩＲ照明源の例は、市販であるタイプであるＬＥＤタイプの大電力赤外線放出器であることになる。ＬＥＤは、有利には、ＤＣモードでならびにバーストモードで電力供給することが可能であるとすることができる。有利である別の特徴は、ＩＲ照明器が、安定しかつ再現可能な照明出力を有するため、周囲光レベルの評価が、他のプロセスの性能に影響を及ぼさない、または、評価において使用されるフレームのシーケンスの直後に取得される画像フレームにおいて目に見えるようになることである。以下から明らかになるように、本発明は、ＩＲ放出器の性能に幾つかの要件を課すことになる、しかし、これらの要件は、市販の幾つかの放出器によって満たされる。やはり、ビデオカメラ（ＩＰカメラまたは監視カメラ）の述べるレイアウトが、特定の詳細レベルに関して、当技術分野で知られているものを超えて拡張しないことが留意されるべきである。市販のＬＥＤは、現在の設置で使用されると、出力強度が、０．５ミリ秒未満で１％～９９％にシフトするような応答時間を有し、そのことは、３０ｆｐｓまたは６０ｆｐｓが、使用される一般的なフレームレートである本発明の将来の適用エリアに適する。周囲光レベルの評価を、影響ができる限り小さい状態で実施することができることを保証するために、画像取得とＩＲ源の制御との間に微妙なタイミングを有することが好ましいことになる。そのため、トリガーユニットを必要とすることができる。トリガーユニットは、物理的ユニットであるとすることができるが、実際の用途では、トリガーユニットは、むしろ、画像センサから出力トリガー信号を発する、ビデオカメラ内の異なるユニットによって実施される機能についての要約項であることになる。１つの例として、評価を始動させる信号は、中央処理ユニット２２によって生成することができ、中央処理ユニット２２は、画像フレームがいつ取得されるかに関する、画像センサ１２（またはその制御）からの出力トリガー信号を受信して、ＩＲ照明器２６の制御とタイミングをとることを可能にすることができる。そのような実施形態において、トリガーユニットは、中央処理ユニット２２ならびに画像センサ１２およびＩＲ照明器制御ユニットとの中央処理ユニット２２の協働に対応する可能性がある。他の実施形態において、そのような出力トリガー信号は、同様にまたは代わりに、ラグを低減し制御を改善するために、ＭＣＵ２８またはＩＲ照明器を制御する他のドライバーユニット（図示せず）に直接送信することができ、その場合、トリガーユニットは、基本的に、画像センサおよびＭＣＵまたはドライバーユニットとの画像センサの協働に対応することになる。実際のセットアップは、異なるビデオカメラの間で異なる可能性がある、しかし、トリガー機能の実現は、当業者にとってやはり簡単な仕事であることになる。

本発明は、主に制御方法に属するため、ここで、図３が参照される。

図３は、本発明の１つの実施形態による本発明の方法を示すフローチャートである。本発明の１つの目標は、夜間モード動作から日中モード動作への移行をいつ実施するかを決定するための信頼性がありかつ改善された方法を提供することである。方法は、ステップＳ０１にて、カメラが夜間モードで動作することから始まる。再び繰り返すが、このモードでは、ＩＲカットフィルターは画像センサから引っ込められ、画像センサのスペクトル感度は、単なる制限因子である。同様に、このとき、ＩＲ照明源はアクティブであり、センサによって登録される任意のＩＲ光の主要部分が、ＩＲ照明源から発すると仮定することが妥当である。この夜間モードにおいて、画像フレームは、画像センサによって取得することができる。

連続するステップＳ０２として、ＩＲ照明源からの出力は、画像フレームのシーケンスが取得されている期間中に減少し、その後、ステップＳ０３にて、ＩＲ照明は、その以前の設定まで回復することができる。ＩＲ照明源からの出力の減少に続いて、ステップＳ０４にて行われる周囲光レベルを評価することについて利用可能な画像データが存在する。理論的には、プロセスは簡単である：ＩＲ照明源は、出力を、既知レベル、例えば５０％まで減少させるように制御され、したがって、撮像光学部品および画像センサによって収集されるＩＲ照明の量は、対応するまたは少なくとも相関する量だけ減少することになり、一方、可視光の量は、不変であると考えることができる。異なりかつ既知の量のＩＲ照明を用いて画像または画像のシーケンスを評価することによって、実際のＩＲ寄与の尺度を推測することが可能であることになる。ＩＲ寄与を知ると、可視光の寄与を推測することが可能であり、したがって、可視光の量を評価し、日中モード動作へ成功裏に移行するためにこの量が十分であることになるか否かに関して評価を行うことが可能であることになる。使用される尺度に応じて、ＩＲ照明は、元の照明の何分の１かまで減少するかまたはゼロまで減少することができる。これは、使用される可能性がある、考えられる幾つかの尺度を例示するときに、本出願において後で詳述される。

周囲光レベルの量の評価のために必要とされる実際の画像データが収集されると、計算は、本出願人の他の特許出願に提示される計算と同様である。それらの出願は、ＩＲカットフィルターの性能の変動に言及するが、その結果は、同じタイプの決定のために使用することができる。ＩＲ照明が完全にオフされる実施形態の場合、単独で画像フレームのシーケンスのために、論じた尺度のうちの任意の尺度を使用して、周囲光レベルを評価することで十分であるとすることができる。処理の速度に応じて、評価を、ＩＲ照明器出力を回復する前に実施することができ、その場合、Ｓ０３とＳ０４の順序は反転することになる。さらに、同様に、評価の処理速度に応じて、決定が、日中モード撮像への切り換えが好ましいということである場合、照明は、回復される必要がない場合がある。本文脈で、ステップＳ０４の「周囲光レベル（ａｍｂｉｅｎｔ ｌｉｇｈｔ ｌｅｖｅｌ）」は、ＩＲ照明源２６からの放射の使用がない状態で利用可能な光レベルと解釈されるべきである。ステップＳ０５にて、周囲光レベルの評価は、夜間モード動作から日中モード動作に移行するか否かを決定するときに使用される。決定が「切り換え（ｓｗｉｔｃｈ）」である場合、ＩＲ照明源をオフすることができ（または、状況に応じて、再びオンすることができず）、ＩＲカットフィルターは、画像センサの前に挿入される。そうでない場合、ＩＲ照明はオンのままであることになり、フィルター制御は次の評価を待つことになり、そのタイミングは、説明の他の所で論じられる。

シーン内の周囲光レベルを評価するために使用される幾つかの尺度が存在し、本発明は、任意の特定の尺度にもっぱら焦点を絞らない。使用される値は、任意の既存の画像処理アルゴリズムから生じる値であるとすることができ、重要なことは、その値が特定のカメラセットアップについて頑健でかつ信頼性があることである。

上記定義内で、ＩＲ照明源２６が幾つかのＩＲ源のアレイである可能性があることを留意することができる。例示すると、監視カメラのレンズの周りに配置された多数のＩＲ源を有することが一般的な解決策である。強度の減少は、その後、アレイ内のＩＲ源の選択物の出力を変動させることによって達成することができる。１つの例として、５０％だけ出力を減少させることが所望される場合、アレイ内のＩＲ源の半分をオフすることができ、一方、他のものは、それらの元の出力に維持される。これは、簡単でかつ最も可能性のある代替法、すなわち、単一ＩＲ源の駆動特定をまたは並列に多数のＩＲ源の駆動特性を調整することと対照的である。

さらに論じる幾つかのパラメータが存在する。第１のパラメータはＩＲ照明器出力の電力減少である。出力の減少傾向（ｒｅｄｕｃｔｉｏｎ）を知ることが、ゼロであって、周囲光レベルの定義を本出願人が見出す所である、ゼロまで出力を減少させる効果を外挿することを可能にすることが容易に理解される。減少が大きければ大きいほど、周囲光レベルの評価を行うために外挿することがより容易になる。しかしながら、減少が大きければ大きいほど、オペレータにとって、および、その問題についての入力としてピクセル強度を使用する任意のアルゴリズムにとって、減少がより目につくことになる。これは、さらなる議論のための別のパラメータであるフレームのシーケンスの長さが、強度減少が増加するにつれて低減されるべきであることを示唆する可能性がある。１つの実施形態によれば、フレームの上記シーケンスは、１つのフレームのみを含み、オペレータの邪魔になることなく減少を実施することができることを本質的にもたらす。なぜならば、その継続時間が短か過ぎて、人間の目につかない、からである。これは、ＩＲ照明出力がゼロまで減少し、取得された画像が、オペレータに表示するために画像ストリームの残りと共に転送されるときに特に有益であるが、それは、オペレータに示されるビデオデータにおける視覚効果をもたらさないほどに十分に出力が減少する他の場合にも十分に使用することができる。

ＩＲ照明が減少したまたは除去された状態で取得される画像フレームのシーケンスは、周囲画像フレーム（そのシーケンスの前および後の画像フレーム）と比較して異常を示すことになる。状況に応じて、そのような異常は何らかの有害な効果を有する場合がある。最も明白な効果は、突然の輝度減少がちらつきをもたらす場合があることであることになり、ちらつきは、補償されない場合、オペレータがディスプレイを介してシーンを観察するのを邪魔する場合がある。シーケンスの長さを単一フレームまたは少数のフレームまで最小にすることは、この効果に対処するための十分な対策（ｍｅａｓｕｒｅ）であるとすることができる。別の問題は、突然の輝度変化が動作検出器をトリガーすることができ、したがって、シーン内の偽りの動き検出を生成することである場合がある。これは、ＩＲ照明出力が減少した状態で取得されるフレームに、カメラからのビデオストリームからそれらを保留するために、または単に、それらが示されないかまたは評価において使用されないようにそれらにマーク付けするために等で、中央処理ユニット２２または画像／ビデオプロセッサ２０がタグ付けするようにさせることにとって解決することができ、タグ付けは、ｈ．２６４およびｈ．２６５等の本エンコーディング規格において容易に利用可能であるオプションである。その結果、中央処理ユニット２２は、周囲光の評価に直接関連しないアルゴリズムによるフレームのシーケンスの評価を保留することができ、カメラによってモニターされるシーン内の偽りの動き検出、または、ホワイトバランス等の誤った調整を、ピクセル強度の考えられる変動がもたらさないことを意味する。ビデオがちらつく場合がある第１の効果に関して、これは、他の対策によって対処することもできる。フレームのシーケンスがオペレータに示され、かつ、効果が目に見えると考えられる場合、利得が、シーケンスの画像フレームに適用されて、その画像フレームの全体輝度を周囲画像フレームの全体輝度に似させることができる。そのような補正は、デジタル画像ストリームを扱う画像プロセッサによって自動的に実施することができる。代替的にまたは付加的に、露出（すなわち、露出時間および利得）は、全体輝度が周囲フレームの全体輝度により近くなるように、シーケンス内のフレームについて変更することができる。露出の変化は、出力が１００％より小さい割合だけ減少する実施形態とＩＲ照明器の１００％減少が存在する実施形態の両方について、周囲光の評価において容易に考慮することができる。

本発明の効果は、本発明の幾つかの実施形態によれば、画像センサ全体が光センサとして使用することができることである。周囲光レベルの評価において、強度は、単一値として、または、例えば、一部のまたは全てのピクセル値の平均をとり、露出時間および利得によって正規化することによって、一部のまたは全てのピクセル強度の処理された和として測定することができる。他の実施形態において、画像センサによって現在使用されている全分解能および全視野を使用することができる。さらに他の実施形態において、撮像されるシーンにわたる或る程度の空間分解能をやはり可能にしながら処理要件を低減するために、種々のダウンスケールされた分解能を使用することができる。画像センサ全体を周囲光レベルの評価において使用することができるため、１つまたは幾つかの実施形態において、空間分解能を有利に使用することができる。空間分解能は、例えば、或るエリアが特に重要である場合、評価のためにシーンの画像内のエリアを選択することを可能にし、このエリア内の周囲光レベルが重要因子として選択される。そのエリアは、カメラビューの中央のエリア、または、例えば、通常の露出ゾーンと同様の、撮像されるエリア内に（すなわち、画像センサにわたって）分布する多数のより小さいエリア等のプリセットエリアであるとすることができる。逆のこと、すなわち、或るエリアを無視することも可能にされる。その１つの例は、特定のエリアが、ＩＲ源を含むかまたは特に暗く、したがって、シーンそれ自体を表さないことであることになる。特定のエリアは、例えば、飽和したピクセルを含む場合、排除することもできる。いずれにしても、画像センサが、データを収集するコンポーネントであるため、画像センサデータと周囲光センサデータとの間に完全なオーバーラップがデフォルトで存在することになる。その効果は、デジタルズームが使用されるときに特に有用であるとすることができる。なぜならば、（フル画像センサの徐々に小さい部分が使用されるため）デジタルズームが増大するにつれて、周囲光レベル全体が、益々重要でなくなるとすることができるからである。これの１つの例は、非常に大きい視野を有するフィッシュアイレンズを使用してシーンが観察される状況である可能性がある。そのような状況では、デジタルズームは、シーンのかなり小さい部分を見るために使用することができ、センサ全体によって検出される周囲光レベルは、デジタルズームを使用して選択されたより小さい視野において示すことができない。そのような例において、デジタルズーム（およびパンおよびチルト）のパラメータは、例えば、現在のビューのみが評価のために使用されるように、方法において考慮することができる。

実用的な状況において、日中モードへの切り換えに対する決定のための基礎は、１００％である可能性がある既知の割合だけ外部ＩＲ照明が減少する、すなわち、ＩＲ照明を完全にオフすることができるフレームのシーケンスである（単一フレームである可能性もある）。同様に、評価のために選択されるセンサエリアが定義されるべきである。このエリアは、光学ズームおよび全視野が使用され、センサ全体がシーンを撮像するために使用されることを意味する状況の場合に重要であるとすることができる全センサエリア、または、デジタルズームまたは或る包含／排除エリアが使用されるときに重要であるとすることができるフルセンサエリアの一部に対応することができる。

周囲光レベルは、そのエリアにおいて、信頼性がありかつ再現可能な尺度を得るために、利得および露出時間を使用して正規化することができ、その後、周囲光レベルは、閾値と比較することができる。閾値は、履歴データに基づいて計算することができる。提案される手法は、夜間モードが始動された直前に、例えば、前日の晩にアンカーポイント（ａｎｃｈｏｒ ｐｏｉｎｔ）として記録された光レベル値を使用することである。これは、時間的に近くかつ同じセットアップ（例えば、同じカメラ）によって測定される状況からの真の測定値であることになる。提案されるこの手法は、カメラが設置される特定の環境に対して十分に調整されるという見込みが大きい。実際の閾値は、その真の測定値に厳密に対応することができるのではなく、入力としてのその真の測定値によって少なくとも設定することができる。しかしながら、他の方法を、それだけでまたは現在の状況に応じて異なる代替法として使用することもできることが明らかであるべきである。適切な閾値は、カメラが較正されるときに、出荷前の工場において、または設置に関連する較正フェーズ中に、既に表にすることができる。そのような較正は、その後、特定の状況について利得および露出時間の変化に関して補償されることになる。

特に、周囲光レベルそれ自体の直接尺度を使用する代わりに、同様にまたは代わりに、他の尺度を、信号対雑音比、コントラスト等のような光レベルについての指標として使用することができる。基本的に、周囲光レベルによって影響を受ける任意のパラメータは、使用するための候補であることになる。ＩＲ照明が減少した状態の実施形態において内挿または外挿を行うために十分に確実に、全ての尺度がスケーリングされなくても、評価中に外部ＩＲ照明が完全にオフされる実施形態の場合、そのような尺度は、「十分な周囲光が存在するか否か（ｉｓ ｔｈｅｒｅ ｅｎｏｕｇｈ ａｍｂｉｅｎｔ ｌｉｇｈｔ ｏｒ ｎｏｔ）」という質問に答えるときに簡単であるとすることができる。実用的な観点からの特に適する間接尺度は、現在の露出、すなわち、露出時間に利得を掛けた値、特定の画像フレームについての最適設定として自動露出アルゴリズムによって生成される尺度であり、その尺度は、通常の状況では、後続の画像フレームに適用されることになる。このまたは同様の尺度／パラメータは、ほとんどの自動露出アルゴリズムによって生成され、したがって、それらは、迅速にかつさらなる処理パワーなしで生成することができる。このタイプのパラメータを使用すると、閾値に、より動的な特徴を与えることができる。露出時間の増加が受け入れられるシナリオの場合、周囲光レベルについての閾値は、撮像されるシーンにおけるｆｐｓ設定または動きが、より短い露出時間（したがって、成功裏の撮像のためにより高い周囲光レベル）を必要とする状況と比較して、より低いとすることができる。本発明のほとんどの実施形態について、現在の露出は、本発明の評価中に取得される画像フレームのシーケンスから評価されると、後続の画像フレームに適用されない。

周囲可視光レベルを表す尺度の評価に続いて、シーンの一部分においてまたは全シーンにおいて、決定を行うことができ、適切であることが見出される場合、ＩＲカットフィルターを挿入することができ、カメラは、日中モードで動作し始めることができる。評価自身は、多量の計算パワーまたは電力を消費しない、しかし、評価が連続して実施される必要性は存在せず、それは、種々の実施形態のセットに道を開く。これらの実施形態は、種々の方法で組み合わすことができる。１つの実施形態によれば、評価は、数分（１分、２分、３分、…、１０分、２０分等）ごとに等、一定間隔で実施される。太陽光が唯一の周囲光源である室外設置の場合、評価は、日の出と同期することができ、それにより、評価は、太陽光が存在しないときは全く実施されず、日中モード動作の場合に十分な周囲太陽光の見込みが存在するときに開始する。時間は、きわめて予測可能な方法で季節と共に変動することができ、予測可能性が低い方法で現在の気象状況と共に変動することもできる。そのような実施形態において、適切な時間に関するデータは、（実際の時間の設定によって、または、現在時間およびカメラのおおよその地理的位置を設定することによって等で）ユーザーインタフェースにおいてカメラに給送することができる。時間は、統計ベース決定であるとすることができ、適切な時間がいつであるかを、前の日からの決定に基づいてカメラが学習することができることを意味する。室内設置の場合、太陽光は、制御にとって無関係であるとすることができ、そのような状況では、その場所が使用されるとき（すなわち、室内照明が通常起動されるとき）の作業時間または履歴を、対応する方法で使用することができる。さらに他の実施形態において、評価のタイミングは、シーン内の事象によってトリガーすることができる。誰かが、カメラが配置される室内場所に入り、電灯をつける場合、シーンの画像内の検出可能な輝度変化が存在することになる。そのような変化は、評価のためのトリガーとして使用することができる。室外設置の同様の手法は、特に、人工照明が設置される場所で使用することもできる。

Claims (15)

1. ビデオカメラ（１０）によるビデオ取得中に周囲光レベルを評価するための方法において、前記ビデオカメラ（１０）は、ＩＲ照明器（２６）に動作可能に接続され、ＩＲカットフィルター（１６）が画像センサ（１２）の前に配置される日中モードおよび前記ＩＲカットフィルター（１６）が前記画像センサ（１２）の前に配置されない夜間モードを有する、方法であって、
   前記ＩＲ照明器（２６）が第１の照明出力レベルを有する状態で、夜間モードにおいて前記ビデオカメラ（１０）によって画像ストリームを取得すること、及びその後、
   前記画像ストリーム内の所定の数の連続する画像フレームのシーケンスの取得中に前記ＩＲ照明器（２６）の出力レベルを所定の照明出力レベルまで減少させることであって、ＩＲ照明の前記出力レベルの減少は突然の変化である、減少させること、
   を特徴とし、
   前記方法はさらに、
   画像フレームの前記シーケンスの評価から周囲光レベルを表す尺度を評価すること、および、
   評価された前記尺度を、前記ＩＲカットフィルター（１６）のためのコントローラへの入力として使用して、かつ、評価された前記尺度が閾値をパスする場合、前記ビデオカメラ（１０）を日中モード動作に切り換えること
   を含む、方法。
2. 前記出力レベルの前記減少に続いて前記ＩＲ照明器の前記出力レベルを増加させることをさらに含む、請求項１に記載の方法。
3. 前記周囲光レベルを表す前記尺度は、現在の露出の尺度、信号対雑音比の尺度、および光強度の尺度、またはその任意の組み合わせを含む群から選択される、請求項１または２に記載の方法。
4. 減少したＩＲ照明によって取集された画像フレームの前記シーケンスを処理することであって、それにより、前記画像フレームの輝度は周囲フレームの輝度に類似する、処理することを含む、請求項１から３のいずれか一項に記載の方法。
5. 画像フレームの前記シーケンスは、前記ビデオカメラに関連するエンコーダーを出る前に、前記画像ストリームから除去される、請求項１から４のいずれか一項に記載の方法。
6. フレームの前記シーケンス内の各フレームは、前記画像ストリームの後の表示において示されないようにマーク付けされる、請求項１から５のいずれか一項に記載の方法。
7. 前記所定の照明出力レベルは前記第１の照明出力レベルの０％と１００％との間のレベルである、請求項１から６のいずれか一項に記載の方法。
8. 前記所定の照明出力レベルは前記ＩＲ照明器からのゼロ出力に対応する、請求項７に記載の方法。
9. フレームの前記シーケンスは単一画像フレームである、請求項１から８のいずれか一項に記載の方法。
10. 前記ＩＲ照明器は幾つかの異なるＩＲ－ＬＥＤを備え、ＬＥＤの選択に関して制御が実施される、請求項１から９のいずれか一項に記載の方法。
11. 前記方法は、過去の日からの開始時間決定に基づき統計を使用して開始するようにタイミングをとられる、請求項１から１０のいずれか一項に記載の方法。
12. 前記ビデオカメラの動作モードをチェックするステップをさらに含み、前記ＩＲ照明器の調整は、前記ビデオカメラの前記動作モードに基づいて延期することができる、請求項１から１１のいずれか一項に記載の方法。
13. 前記評価は、画像フレームの前記シーケンス内のサブセクションに対して、すなわち、前記シーケンス内の各画像フレームの特定のエリア内で実施される、請求項１から１２のいずれか一項に記載の方法。
14. 請求項１に記載の方法を実施するように構成されるビデオカメラ（１０）であって、
    画像センサ（１２）と、
    日中モードにおいて前記画像センサ（１２）の前に配置され、夜間モードにおいて前記画像センサ（１２）の前に配置されないＩＲカットフィルター（１６）と、
    ＩＲ照明器（２６）と、
    前記ＩＲ照明器（２６）のための制御回路であって、前記制御回路は、前記画像センサからの出力トリガー信号を読み取り、前記画像センサの読み出し動作に対して前記ＩＲ照明器（２６）の制御のタイミングをとるためのトリガーユニットを備える、制御回路と、
    を備える、ビデオカメラ（１０）。
15. ビデオカメラ（１０）及びＩＲ照明器（２６）を備え、請求項１に記載の方法を実施するように構成されるシステムであって、前記ビデオカメラが、
    画像センサ（１２）と、
    日中モードにおいて前記画像センサ（１２）の前に配置され、夜間モードにおいて前記画像センサ（１２）の前に配置されないＩＲカットフィルター（１６）と
    を備え、前記ビデオカメラ（１０）が、ＩＲ照明器（２６）に接続され、かつ、前記ＩＲ照明器（２６）のための制御回路を備え、前記制御回路は、前記画像センサ（１２）からの出力トリガー信号を読み取り、前記画像センサの読み出し動作に対して前記ＩＲ照明器（２６）の制御のタイミングをとるためのトリガーユニットを備える、システム。

Images