JP7121832B2 - ビデオカメラの性能を向上させるための方法 - Google Patents

ビデオカメラの性能を向上させるための方法 Download PDF

Info

Publication number
JP7121832B2
JP7121832B2 JP2021101363A JP2021101363A JP7121832B2 JP 7121832 B2 JP7121832 B2 JP 7121832B2 JP 2021101363 A JP2021101363 A JP 2021101363A JP 2021101363 A JP2021101363 A JP 2021101363A JP 7121832 B2 JP7121832 B2 JP 7121832B2
Authority
JP
Japan
Prior art keywords
filter
video camera
images
image sensor
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021101363A
Other languages
English (en)
Other versions
JP2022008186A5 (ja
JP2022008186A (ja
Inventor
アクセル スレッソン,
イムラン イクバル,
マーカス ディットマー ウェンナーマルク,
Original Assignee
アクシス アーベー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アクシス アーベー filed Critical アクシス アーベー
Publication of JP2022008186A publication Critical patent/JP2022008186A/ja
Publication of JP2022008186A5 publication Critical patent/JP2022008186A5/ja
Application granted granted Critical
Publication of JP7121832B2 publication Critical patent/JP7121832B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)

Description

本発明は、夜間モード画像取得中に周囲光の尺度を評価するための、ビデオカメラにおける方法に関する。本発明はまた、ビデオカメラにおいて、夜間モード動作から日中モード動作への切り換えのタイミングをとるための方法にも関する。
カメラ用のIR(赤外線)フィルターの使用は、当技術分野で、特にデジタルカメラに関連してよく知られている。簡潔に述べると、カメラの画像センサは、機会ならびに課題をもたらす赤外線の無視できない成分を有するスペクトル応答を有する。機会は、低照明条件において、IR成分が、撮像されるシーンに関するさらなる有用な情報、IR光源によってさらに一層向上する場合がある情報を提供することができることである。課題は、昼間の撮像中に見出され、IR成分の付加は、画像内のカラーバランスを歪ませることになり、また、画像センサを飽和させる場合もある。さらに、カメラは放射を検出することになるため、露出設定などのパラメータは、表示される画像にとって有害であるように影響を受ける場合がある。
有益でない影響を抑えながら有益な影響を維持する方法は、日中モード動作中に画像センサの前のビーム経路内に可動IRカットフィルターを付加することである。こうして、IRフィルターは、日中条件中に使用することができ、カラー画像の取得を可能にする。本出願全体を通して、「IRカットフィルター(IR-cut filter)」および「IRフィルター(IR-filter)」は、交換可能に使用することができ、明示的に述べない限り、「IRフィルター」は、本文脈において、IRカットフィルターに対応することになる。日中モード動作中に、画像センサのピクセルは、第1の方法で働くことになり、第1の方法において、入射光は、個々の光検出器上の電荷として検出され、各光検出器は、主にレッド、主にグリーン、または主にブルー放射を受け取るためのフィルターを備え、したがって、カラー分離を可能にする。夜間モード動作中に、例えば、低照明条件において、IRカットフィルターを除去することができる。これは、スペクトルのIR部分から放出する到来光(または放射)の増加、カラー撮像を難しくまたは不可能にするという対価を伴うが、画像品質を改善するために使用することができる増加が存在することになることを意味する。IRカットフィルターがない状態で、IR放射は、全てのカラーチャネルにおいて強度を付加することになる。なぜならば、全てのカラーチャネルがIR領域における応答を有するからである。これは、各カラーチャネルにおける未知因子の付加によってカラー情報を歪ませることになる。したがって、夜間モード動作中にカラー分離を実施する代わりに、維持される唯一のパラメータは、各ピクセルについての到来放射の全強度であり、全強度は、グレースケール強度画像として(または任意の所望のカラースケールで)提示することができる。IR光源の付加は、画像をさらに一層向上させることができる。
簡単な解決策において、IRカットフィルターはセンサの前に配置され、アクチュエータは、フィルターがセンサを完全に覆う位置(「日中モード(day mode)」)と、フィルターが、画像センサを覆い隠すことから完全に除去される位置(「夜間モード(night mode)」)との間でフィルターを移動させるために使用される。夜間モードおよび引っ込められたフィルターから始めて、IRカットフィルターが挿入されると、画像センサは、周囲光の量が十分であるか否かを推測することができる。十分でない場合、カメラは、夜間モードに戻るように切り換わることになる。夜間モードから日中モードに切り換わると、IRフィルターがビーム経路内にある状態で光レベルが低すぎること、および、夜間モードに戻る切り換えが必要であることが珍しくなく、夜間モードと日中モードとの間の交互の揺れをもたらす。これは、目につく画像のちらつきおよびアクチュエータに対するかなりの摩耗をもたらす。その結果、交互の切り換えは、ユーザー体験にとって有益でなく、したがって、日中モードへの切り換えが賢明であることを確信するために、シーン内の可視光の量を撮像ユニットが推測しようと試みる、切り換え前の評価が存在する場合がある。
そのため、IR放射を阻止しながら、可視光のレベルを検出する補助光センサが、IRセンサをいつ挿入するかおよびいつ除去するかを制御するために使用することができ、それにより、周囲光のレベルが低過ぎると、カメラは、IRフィルターを除去することによって、および任意選択で、カメラによって保持されるかまたはカメラに組み込まれる、あるいは、カメラの外部に配置されるIR光源を使用して、夜間モードに切り換え、また、周囲光レベルが十分に高いと、日中モードへの切り換えを実施することができる。多くの用途について、この解決策は、受け入れられる結果を提供する、しかし、さらなるコンポーネントを付加することは最終製品のコストおよび複雑さを付加する。同様に、ほとんどの光センサは、全体の周囲光レベルを測定するだけであり、それは、撮像されるシーン内の光レベルの局所的変動を考慮することができないことをもたらす。
本発明は、特に、夜間モードで動作しているときに、周囲光レベルの尺度を取得するための改良型方法の装備による、IRフィルター制御における改善に関する。
別の態様によれば、夜間モード動作と日中モード動作との間で切り換えることが可能なビデオカメラの性能を向上させるための方法を提供する。方法は、ビデオカメラの画像センサの前に配置された第2のフィルターセットアップがない状態で、ビデオカメラを用いて画像の第1のシーケンスを取得すること、ビデオカメラの画像センサの前に第2のフィルターセットアップがある状態で、ビデオカメラを用いて画像の第2のシーケンスを取得することを含む。第2のフィルターセットアップは、既知の透過特性のものであり、30%を超えるIR領域における透過を有するIR透過フィルターを備える。画像の第1および第2のシーケンスは、画像の第1のシーケンスまたは画像の第2のシーケンス内の画像に対する可視光からの寄与および/またはIR放射の寄与を計算するために使用される。さらに、計算された寄与は、それがIR光からのものであれ、可視光からのものであれ、計算された寄与の評価が、ビデオカメラを夜間モード動作から日中モードにまたはその逆に切り換えることによって、ビデオカメラの性能を改善するために、または、画像センサに対するIR放射の全体的または部分的透過によって取得される画像に対してカラー情報を推測し付加するために使用することができる。
本発明の方法は、ビデオカメラを制御するまたはビデオカメラの性能を向上させる簡単な方法を可能にする。なぜならば、可視光からの寄与およびIR放射の寄与の計算された尺度が幾つかの異なる方法で使用することができるからである。方法が、夜間モード動作から開始して実施される場合、利用可能な可視光の評価は、日中モード動作への切り換えが賢明であるか否かを推測するために使用することができる。切り換えが賢明でない場合、計算された値は、普通なら、カラーではなくグレースケールまたは強度を示す他のスケールで提示される、夜間モード動作中に取得される画像に対してカラー情報を付加するためにやはり使用することができる。方法が、日中モード動作から開始して実施される場合、カラー情報は、画像センサの前にIR透過フィルターがある状態で取得された画像にやはり付加することができる。方法を、IR透過の差が存在する限り、第1のIR透過を有するフィルターおよび第2のIR透過を有するフィルターが使用される状況において、実施し利用することもできる。全ピクセル応答(強度の値に関する)は、IR放射および可視光から出ることになるため、いずれが本評価のためのターゲットであるかによらず、一方が分かっている場合、他方が分かることになる。まだ十分に明確でない場合、これは、詳細な説明および特にそこで述べる方程式系を検討することから容易に理解されることになる。計算および評価から、シーン内で利用可能な可視(またはIR)光の全体量を評価すること、すなわち、任意の透過のフィルターがセンサの前に挿入される場合の推定応答を、特に、スペクトル範囲の「可視(visual)」および「赤外(infraed)」への大雑把な分割によって、推定することが可能である。なぜならば、これが、特定の用途のための関連する分割であるからである。第1および第2のシーケンスは、連続的シーケンスであるとすることができる、しかし、用途に応じてインターリーブすることもできる。ビデオカメラは、CCDまたはCMOSセンサあるいは任意のタイプの利用可能なセンサを使用する通常のデジタルビデオカメラ、および特に、モニタリングまたは監視のために利用されるデジタルビデオカメラであるとすることができる
その結果、さらに指定するために、1つまたは複数の実施形態において、画像の第1のシーケンスは、画像センサの前に配置されたIRカットフィルターを備えるフィルターセットアップを用いて、すなわち、カメラが日中モードで動作する状態で取得され、一方、他の実施形態において、画像の第1のシーケンスは、画像センサの前に配置されたIRカットフィルターがない状態で、すなわち、カメラが夜間モードで動作する状態で取得される。これに加えて、画像の第1のシーケンスが、第2のフィルターセットアップで使用されるものと異なるIR透過フィルターを含むフィルターセットアップを用いて取得される中間モード―または混合モード―の実施形態を予見することもできる。混合モードは、詳細な説明においてさらに論じられる。
1つまたは幾つかの実施形態において、評価は、普通なら、IR寄与によって歪んだカラー情報を有する画像の所定の部分に対してカラー情報を付加するために使用することができる。カラー情報がなぜ歪む場合があるかに対する理由は、本説明の他の所で論じられる、しかし、本発明の方法は、歪んだそのような情報を補正するために必要とされるデータを推測する好都合な方法を提供する。
本方法を実施するとき、物理的または機械的切り換えの発生が存在する。これは、IRカットフィルターが画像の前に挿入されるかまたは画像の前の位置から除去されることによる、日中モード撮像と夜間モード撮像との間での切り換えが一般的な慣行であるビデオカメラにおいて珍しくない。やはり、切り換えは、画像内にわずかのノイズおよびちらつきを生成する場合があり、それは、切り換えが、なぜ絶えずまたはあまりに頻繁に実施されないかに対する1つの理由である。本発明の実施形態において、IR透過フォルターの透過は、取得された画像における目につく効果または少なくとも少なく目につく効果を生成しないように選択することができるが、やはり、フィルター切り換えは、あまりに頻繁に実施することができない。このような訳で、方法が、動きのあるエリアおよび動きのないエリアへの画像のセグメント化をさらに含むことが、1つまたは複数の実施形態において好ましいとすることができ、カラー情報の付加は動きのないエリア内で適用される。こうして、方法の最後の作動中にそれについてカラー情報が取得されなかった移動オブジェクトに対して偽りのカラー情報を付加するリスクが少なくなる。実際のセグメント化は、多くの方法のうちの1つの方法で実施することができ、使用される実際の技法またはアルゴリズムは、本発明の目的にとって中心ではない。通常の動作検出アルゴリズムは、移動オブジェクトまたは動きエリアを検出し位置特定するために、移動オブジェクトを含むエリアを規定するために、そして、規定されたエリア内でカラーを付加するのを控えるために使用することができる。そのエリアは、オブジェクト輪郭に高精度で追従する、あるいは、わずかに大きいエリアまたはさらにオブジェクト全体を含む長方形を含むことができる。いずれにしても、バックグラウンドの付加カラーは、オペレータが、現在のシーンのよりよい理解を得るのを支援することができる。典型的な夜間シーンにおいて、小さいエリア内でのカラーの欠如は、目立たない場合さえあり、いずれにしても、移動オブジェクトは、単に移動していることによって、バックグラウンドから目立つことになる。
上記で示したように、本発明の幾つかの実施形態によれば、画像の第1および第2のシーケンスは、一定間隔でまたは事象の結果として実施され、それにより、カラー情報は、ビデオカメラのfpsより低いレートで更新される。実施形態のこれらのセットは特定の用途に依存するとすることができる。室外設置において、光レベルは、時間(および地理的場所)から予測可能であるとすることができ、一方、室内設置において、光レベルは、予測可能でないかまたは作業時間等によって予測可能であるとすることができる。カメラが方法を実施する頻度は、これらのパラメータと共に変動することができる。一例として、暗闇が予想される冬の夜中に方法を頻繁に実施する必要性は存在しないとすることができ、一方、夜明けが近づくと、頻度は増加するとすることができる。シーン内に検出可能な事象が存在する場合、これは、光レベルの迅速変化の効果である可能性があり、したがって、そのような事象を、方法を実施するトリガーとして利用することは価値があるとすることができる。
1つまたは複数の実施形態において、カメラは、画像センサの前に配置されたIR透過フィルターがある状態の動作に、すなわち、混合モード(純粋な夜間モードでもなく、純粋な日中モードでもない)に維持することができる。そのような動作についての理由は、画像センサに達する放射の全体量が混合モードよりよりよいことであるとすることができる。他の実施形態において、第1の画像シーケンスが、画像センサの前に配置されたIRカットフィルターがある状態で取得された実施形態の場合、カメラは、評価に続いて、夜間動作モードに切り換えられる。
したがって、本発明の1つの利点は、光(または放射)センサとして画像センサを使用することによって、さらなる光センサがシステムに含まれる必要性が存在しないことである。さらに、ビデオカメラによって提供される視野と光が評価されるエリアとの間に完全なオーバーラップが存在することができる。さらに、1つまたは複数の実施形態において、評価は、ピクセルの群の分解能において実施され、画像は、複数のピクセルの群に分割され、それは、光センサとしての画像センサの使用によって同様に使用可能にされる特徴である。
1つまたは複数の実施形態において、画像の種々の領域は、評価において種々の重みを有する。そのような実施形態は、1つまたは複数の領域が残りの部分から目立つ場合に、特に、そのまたはそれらの領域が、関心が低い場合に利点を有することができる。そして、例えば、モード間の切り換えが、そのまたはそれらの特定の領域についてそれが有利でない場合でも実施されるように、これらの領域により低い重みを与えることが賢明である場合がある。1つまたは複数の領域が、唯一の関心領域であり、他の領域を無視すると考えられることは、逆に働く場合もある。別の用途において、より大きい重みを、露出窓内のピクセル(例えば、焦点アルゴリズムおよび露出アルゴリズム等のカメラの他のアルゴリズムによって優先順位をつけられるエリア)に与えることができる。
別の態様によれば、本発明は、請求項1の方法を実施するためのビデオカメラ配置構成を提供し、ビデオカメラは、IR透過フィルターを有する少なくとも1つのフィルターセットアップであって、IR透過フィルターは、既知の透過特性および30%を超えるIR領域における透過を有する、少なくとも1つのフィルターセットアップ、および、フィルターを画像センサの前の位置まで/から移送するための少なくとも1つの作動機構を備える。この特定のビデオカメラ配置構成は、夜間モードが含まれる実施形態による本発明の方法を実施するための適切なプラットフォームを提供することになる。1つまたは幾つかのさらなる実施形態において、ビデオカメラは、IRカットフィルターを有するフィルターセットアップを同様に備え、IRカットフィルターを画像センサの前の位置まで/から移送するための作動機構を有する。こうして、日中モードが含まれる方法の実施形態を、実施することもできる。
1つまたは幾つかの実施形態において、2つ以上のフィルター、例えば、上記で述べたフィルターセットアップの両方が、同じ作動機構上に配置される。2つ以上のフィルターが画像センサの前に配置される必要性が存在しないため、同じ作動機構の使用は、空間効率的であると共にコスト効率的である。同様に、移動コンポーネントおよび機構の数の低減は、機械的エラーのリスクを減じることになる。幾つかの実施形態において、IRカットフィルターおよびIR透過フィルターは並んで配置することができるため、作動機構は、並進または回転運動によって、IRカットフィルターおよびIR透過フィルターを画像センサの前の位置まで/から移送することができる。
任意の実施形態において、IR透過フィルターは、30%、40%、50%、60%、70%、80%、または90%を超えるIR領域における透過を有することができる。この複数の例は、方法についての種々の使用の効果を示す、または、効果である。セットアップが夜間モードから開始する場合、おそらく、好ましい透過が、70%を超える、またはさらに、80%または90%を超える領域内にあるとすることができるであろう、一方、日中モードから開始するセットアップの場合、さらなる利益が、20%または30%程度の低い透過を有するフィルターを有することから得ることができる。語「付加利益(added benefit)」に留意されたい。なぜならば、夜間モードから開始するセットアップの場合と同じフィルターの使用が、利益を同様に有することになるからである。その結果、それは、一方のセットアップまたは他のセットアップの状況ではなく、両方が、組み合わされ、同じフィルターセットアップを用いて使用され、その形態の従来技術と比べて利点を提供することができる。
さらに別の態様によれば、本発明は、プログラム命令を含むコンピュータ可読媒体に関し、プログラム命令は、カメラのプロセッサに、述べた実施形態のうちの任意の実施形態の方法を実施させるためのものである。
本開示の適用性のさらなる範囲は、以下で示す詳細な説明から明らかになるであろう。しかしながら、本発明の範囲内の種々の変更および修正が、この詳細な説明から当業者に明らかになるため、詳細な説明および特定の例が、本発明の好ましい実施形態を示しながら、例証としてのみ示されることが理解されるべきである。したがって、本発明が、述べるデバイスの特定のコンポーネント部品または述べる方法のステップに限定されず、なぜならば、そのようなデバイスおよび方法が変動する場合があるからであることが理解される。本明細書で使用される用語が特定の実施形態を述べるためのものに過ぎず、制限的であることを意図されないことも理解される。本明細書および添付特許請求の範囲で使用するとき、冠詞「1つの(a)」、「1つの(an)」、「その(the)」、および「(said)」が、別段に文脈が明確に指示しない限り、要素の1つまたは複数が存在することを意味することを意図されることが留意されなければならない。そのため、例えば、「1つのセンサ(a sensor)」または「そのセンサ(the sensor)」に対する参照は、幾つかのセンサおよび同様なものを含むことができる。さらに、語「備えている(comprising)」は、他の要素またはステップを排除しない。
本発明の一般化された実施形態による、カメラセットアップの概略図である。 標準的なセンサチップのスペクトル応答を示す概略ダイアグラムである。 本発明の1つまたは複数の実施形態による、本発明の主要なステップを概説するフローチャートである。
図1は、本発明の種々の実施形態による本発明を実施するために準備されたカメラセットアップを示す。監視カメラ10は、画像センサ12および結像光学部品14を有する。スペクトルフィルターは、画像センサ12の前に配置可能であり、各フィルターは、画像センサがフィルターによって覆われる位置と、画像センサが覆われない位置との間で切り換えることができる。こうして、画像センサ12に達する光(または、任意のUVまたはIRが透過される場合、放射)のスペクトル領域を制御することが可能である。スペクトルフィルターは、画像センサ12に達する任意の赤外放射を除去するIRカットフィルター16、および、IR放射の明確に規定された透過を可能にする1つのIR透過フィルター18を備える。IR透過フィルターについてのIR領域内の透過は、論じられる理由のために、示唆的に約80%であるとすることができる。しかしながら、より低い透過率を、幾つかの実施形態について使用することができ、30%程度の低い値さえも考えられる可能性があると共に、より高い値が考えられる可能性がある。任意の実施形態において、フィルターが、そのアクティブエリアにわたって空間的に均一な透過を有するため、画像センサ12の各ピクセルが同様に影響を受けることになることが好ましい。デジタル画像処理において、基本的に任意の補償を実施することができるため、不均一空間的透過プロファイルが補償される可能性があるが、均一な透過を有することは、本発明の計算と理解の両方を単純にする。各スペクトルフィルターは、画像センサ12の前に挿入され、その位置から引っ込められるように、アクチュエータ(図示せず)内に配置され、それは、日中モード動作と夜間モード動作との間で切り換えるとき、ならびに、本発明の実施形態の方法を実施するときに行われることである。各フィルターは、実用的な理由で適切である場合、別個のアクチュエータ内に配置することができる(同じ制御機構が、フィルター切り換えのために、通常使用されるように使用することができる)。本発明のために、単一アクチュエータを使用することもできる。なぜならば、一度にフィルターのうちの1つのフィルターのみが画像センサの前に配置されるからである。フィルターは、互いに取り付けることができ、アクチュエータは、並進または回転運動によって、関連するフィルターを、画像センサの前に挿入する(または、両方のフィルターを画像センサの前の位置から除去する)ことができる。
簡潔に図2を参照すると、IRカットフィルターが、日中モード動作中にセンサの前に配置されると、スペクトルのIR部分全体は除去され、レッド、グリーン、およびブルーチャネルによってそれぞれ測定される信号を、分解し、カラー画像に変換することができることを意味する。入射光は、画像センサの前に配置されたまたはさらに画像センサと組み合わされたカラーフィルターアレイの使用によって種々のカラーチャネルに分離される。ベイヤーフィルターは、このために一般に使用されるカラーフィルターである。
特に、図2に示すように、各カラーチャネルは、NIRスペクトル領域内にスペクトル応答を有し、IRカットフィルターが画像センサから除去されると、スペクトルのこの部分も、画像センサに入射することになる。これは、スペクトル分解能を失うという代償を払って、収集される放射の量を著しく増加させることになり、それは、夜間モード撮像においてグレースケール表現を使用することが一般的な慣行であるからである)。画像品質は、所望の効果を有するが、人間の目にとってやはり見えないかまたは邪魔にならない「目に見えない(invisible)」照明を提供するIR照明源を配置することによってさらに増加することができる。
IRカットフィルター16が除去されるため、IR透過フィルター18は、「向上モード(enhanced mode)」とも呼ばれる混合モード動作で、取って代わることができる。IR透過フィルター18は、IR領域内の明確に規定された透過および可視領域内の全透過を有することになる。
上記の3つのモード、日中モード、夜間モード、および混合モードは、ビデオカメラ動作におけるさらなる改良版に道を開き、そのうちの1つのブランチは夜間モード動作から開始し、1つのブランチは日中モード動作から開始する。
図3を参照すると、第1のブランチ、すなわち、夜間モード動作から開始するブランチが述べられる。夜間モードで動作するときの課題は、日中モード動作に切り換えるための適切な時間を見出すことである。これに関連する問題は、本説明の背景セクションで述べられた。本発明による方法のこの第1の実施形態において、画像の第1のシーケンスは、画像センサの前に配置されたフィルターがない状態で取得される(カメラが夜間モードで動作しているため、この取得は途切れなく行われる)。第2のステップにて、IR透過フィルター18は、画像センサの前に配置され、画像センサに透過されるIR放射の対応する低減をもたらし、画像の第2のシーケンスが取得される。この実施形態の場合、IR透過が、適度に良好な夜間モード動作を可能にするのに十分に高く維持されることが好ましく、したがって、約80%のIR透過が提案される。90%透過は、よりよい夜間モード動作を明白に与えることになる、しかし、後続の評価の品質は、悪影響を受ける場合がある。後続の評価は、一方で、50%透過から利益を受けることになる、しかし、それは、夜間モード動作に悪影響を及ぼす可能性がある。なぜならば、画像センサに達する放射の全体量が劇的に減少することになるからである。これらのまたは他の透過レベルは、本発明の実施形態で利用されることから排除されるべきでなく、むしろ、ほとんどの適切な透過は、特定の用途と共に変動するとすることができる。このような訳で、多数の異なるIR透過フィルターを、フィルターセットアップ内に含むことができる。画像の第2のシーケンスの取得に続いて、IR透過フィルター18を、その位置から除去するかまたは所定の場所に維持することができる。周囲光レベルが、混合モードの動作のために低過ぎると思われる場合、または単に、夜間モードで提供される向上した画像品質を維持することが好ましい場合があるため、IR透過フィルター18は除去される。評価が、日中モードへの切り換えが適切であると思われるようなレベルにあると、周囲光レベルの評価が結論付ける場合、これは、実施されることになる。IR透過フィルターは、例えば、可視光レベルが、日中モードへの切り換えには低過ぎるが、適切な撮像を可能にするのに十分に高い場合、所定場所に維持される可能性がある。多数の異なるIR透過フィルターが利用可能である実施形態において、徐々に低い透過率を有する透過フィルターへの切り換えが実施される可能性がある。特に、IR透過フィルターが引っ込められるか引っ込められないかによらず、提供されるカラー情報(以下を参照)は、グレースケール夜間モード画像の着色(「向上(enhancement)」)を可能にすることができる。
ここで、次のステップならびに述べた計算および評価を参照する。IR透過フィルターの挿入に続いて、画像データの第2のシーケンスの取得が、評価を実施するために利用可能である。画像の第1のシーケンスは、全可視スペクトルおよび全IRスペクトルの情報(画像センサのスペクトル応答ならびに本発明の実施形態に関連して述べられない結像光学部品およびフィルターの透過特性によって、明らかに制限される)を含む、一方、画像の第2のシーケンスは、全可視およびIRの既知の割合の情報を含む。それにより、2つの未知数―IR寄与および可視寄与―を含む方程式系、および、2つの方程式―第1の画像シーケンスおよび第2の画像シーケンスをセットアップすることが可能である。それにより、可視光からの寄与とIR放射からの寄与との間の比の尺度の評価を実施することが可能になる。方程式は、
=VIS+IR
=VIS+f・IR
であり、ここで、Iは、全可視スペクトル(VIS)および全IRスペクトル(IR)の情報を含む画像の第1のシーケンスであり、Iは、全可視およびIRの既知の割合(f)の情報を含む画像の第2のシーケンスである。この方程式系は、容易に解くことができ、IR寄与の量および可視寄与の量に関する尺度を、
IR=(I-I)/(1-f)
VIS=(I-I・f)/(1-f)
と推測することができる。
簡略化した説明において、IR/可視寄与の評価は非常に簡単である。2つの値が各ピクセルについてまたはピクセルの各群について収集される。2つの値とは、全可視寄与および100%IR寄与(夜間モードから開始するときの値であり、IR寄与は日中モードから開始すると0%であることになる)を有する強度の読み取りである。例えば、この値が200であるとする。次に、全可視寄与および80%IR寄与(IR透過フィルターが導入されるため)を有する同じエリアの読み取り。例えば、この読み取りが180であるとする。これらの2つの読み取りから、全可視寄与は100であり、全IR寄与は100であると、上記方程式を使用することによって結論付けることができる。可視寄与を知ることは、カラー情報が、各カラーチャネルについて、かつ、通常の日中モード動作においてカラー画像が強度データから生成されるのと同じ方法で抽出されることを同様に可能にする。評価は、両方の画像シーケンスが、画像センサの前に配置されたIR透過フィルターがある状態で取得される場合に同じように働くことになる。ただし、透過率の差が存在する場合に限る。
上記は、簡略化した状況を述べる。使用時、露出設定(露出時間、利得)を変更すること、平均値についての良好な統計量を生成するために幾つかの露出から値を取得すること等が好まれる場合がある。そのような対策は、もちろん、可能であると共に賢明であり、評価は、これを補償しなければならないことになる。さらに、IR透過フィルター18は、フィルターの制限によって、一部の可視光を除去する場合もある。したがって、方程式のより拡張したセットは、
=VIS+IR
・露出/露出=g・VIS+f・IR
であり、ここで、露出=露出時間・利得は、画像のシーケンスIについての露出であり、露出は画像のシーケンスIについての露出であり、gは、IR透過フィルター18によって透過される可視光の既知の割合である。
次のステップにて、この情報は、日中モード撮像への切り換えが賢明であるか否かを決定するために使用することができる。そのような決定は、例えば、周囲光レベルに関する所定の閾値に基づくとすることができ、所定の閾値は、明確に、現在使用されているカメラの性能によって左右されるとすることができる。この客観的決定理由とは別に、閾値は、ユーザー選好に応じて調整することができる。一例として、客観的決定は、夜間モードを維持することである、しかし、ユーザーは、完全ではないが一部のカラー情報を、したがって、早期シフトについてのオプションを有することをやはり好む場合がある。それが当てはまる場合、IRカットフィルター16は、IR透過フィルター18に取って代わることができる(IR透過フィルターが、第2の画像シーケンスの取得に続いて、まだ除去されていない場合、IRカットフィルター16は、フィルターがそこに配置されていない代わりに、画像センサの前に単に挿入される)。
情報および現在の閾値設定が、夜間モードが維持されるべきであるという決定をもたらす場合、IR透過フィルター18は、画像センサの前に依然として配置されている場合、より多くのIR放射が透過されるために、好ましくは除去することができる。
日中モードに切り換えないことが決定される状況において、すなわち、夜間モードまたは混合モードが維持される場合、可視光の量に関する情報は、夜間モード動作からのグレースケール画像にカラー情報を付加するために使用することができる。これは、個々のピクセルまたはピクセルの群のレベルに対して評価を行うことができるため、達成することが可能である。このモードにおいて、方法ステップの上記シーケンスは一定間隔で反復することができ、それは、日中モードに切り換えるか否かに関する決定を再確認するために、または、夜間モード画像に付加されるカラー情報を更新するために使用することができる。この混合モードで動作して、周囲光レベル(可視スペクトル内)が、非常に低い(日中モード動作にとって低過ぎる)とすることができるとき、動作は、IR透過フィルターが画像センサの前に配置されるため、露出時間または露出回数が増加するように調整されて、評価の品質を改善するため画像センサによって収集される可視光の量を増加させる。
カラー情報をグレースケール画像に融合するための幾つかの技法が存在し、2つの(または3つ以上の)画像間に完全なオーバーラップが存在するため、技法を簡略化することができる。単純な手法において、強度成分(例えば、ルマ、輝度)はIRを含む画像から採取され、一方、カラー成分(例えば、クロミナンス)は、上記で述べたように、IRを含まない画像から、または、いろいろなIR寄与を有する画像を比較することによって推測される計算されたカラー成分からフェッチされる。
図3はまた、初期状態が日中モード動作である第2のブランチを示す。日中モードから開始すると、夜間モードに切り換えるか否かの決定は、その逆と比べて複雑でない。簡単に、周囲光レベルが日中モード動作にとって低過ぎるとき、夜間モード動作への切り換えが実施され、結果は予測可能であり、画像センサに達するIRスペクトルから出る放射の増加を伴う。これは、現在の画像が良好である夜間モードから切り替えるときと比較される可能性があり、未知数は、切り換えに続いて現在の画像がどの程度良好であることになるかである。日中モードから切り換えるとき、これは、通常、現在の画像が劣化した(ノイズレベル、強度、または、現在のビデオ統計量の何らかの他の評価によって判定される)ことによって、および、IRカットフィルターが除去されるため、収集される強度が増加することになるという知識を用いて始動される。実施される実際の動作の場合、ステップは同様である、しかし、画像の第1のシーケンスは、画像センサ12の前に配置されたIRカットフィルター16ある状態で取得され、一方、第2のシーケンスは、画像センサ12の前に配置されたIR透過フィルター18がある状態で取得される-第1のブランチに関して述べた。この場合、本発明のセットアップは、より低いレベルのカラー画像を提供するために主に使用される。上記で論じた方程式系と全く類似して、可視光およびIR放射からの寄与をそれぞれ推測することが可能であることになり、これは、画像センサの前に配置されたIR透過フィルターがある状態で取得された画像シーケンスにカラー情報を付加するために使用することができる。特に、日中モード動作に由来し、IRカットフィルターを付加するとき、既に利用可能な真のカラー情報が存在し、このカラー情報を、画像センサの前に配置されたIRカットフィルターのIR透過が有る状態で取得された画像に付加することができる。上記ブランチについて、IR対可視の評価および計算は、ここで更新され、現れるかまたは消えるオブジェクトあるいは周囲光レベルの変化等の被撮像シーン内の変化を、再び考慮しなければならない場合がある。本発明が、できる限り「目に見えない」ように実施されることは、本発明の実施形態の第2の目的である。これは、日中モードにカメラを切り換えることによってカラー情報が容易に取得される場合でも、これが望ましい行為でない場合があり、なぜならば、それが、画像センサに達する放射量に著しい影響を及ぼすことになり、そのことによって、それが、オペレータにとって目に見え(すなわち、邪魔し)、おそらくは、(上記で述べたように)有害な方法で評価アルゴリズムに影響を及ぼすことであることになるからであることを意味する。特に、実施形態のこのブランチの場合、種々のIR透過比を有するさらなるIR透過フィルターの付加は、望ましいとすることができ、それにより、全夜間モードに切り換える前に徐々の変化を導入することができる。
2つのブランチのいずれのブランチの場合も、より信頼性のある値を得るために、方法を実施する前に、任意のIR照明器の出力を、例えば、ゼロ出力に減少させることが有利である場合がある。出力は、そのままになるかまたはゼロの代わりに1の何分の1かに減少することもできる。付加されたカラー情報が履歴的であるとき、それは、シーンに入る新しいオブジェクトを考慮することができず、少なくとも最適な方法で考慮することができない。したがって、それは、好ましくは、移動オブジェクトの着色を保留することである場合があり、移動オブジェクトの着色は、利用可能な任意のオブジェクト検出アルゴリズムのうちの任意のアルゴリズムからの入力を使用して容易に行われる。一例において、簡単な動作検出アルゴリズムは、移動オブジェクトを検出するために使用される。人工着色が実施されるため、それは、バックグラウンドエリアのみに、すなわち、動きがないエリアに適用することができる。動作検出アルゴリズムの精度に応じて、オブジェクトの周りのエリアのサイズは、ほぼ完全な輪郭から実際のオブジェクトより大きい長方形に及ぶことができる。そのため、結果は、着色の観点から完全ではないことになる、しかし、カラー情報は、シーンの理解を促進することができる。さらに、カラー情報についてのデータを収集するとき、ビデオカメラは、その撮像パラメータをより長い露出時間、より高い利得に変更する、または、信号対ノイズ比を改善するために(時間分解能の減少という代償を払って)画像の全シーケンスからの情報を単に収集することができる。移動オブジェクトが異なるように扱われる実施形態において、移動オブジェクトが、静止オブジェクトでありかつバックグラウンドに含まれると、いつ考えられるかを決定するタイマーが存在することができる。一例は、駐車場がモニターされる状況である可能性がある。駐車場に入る自動車は、明白に移動オブジェクトであるが、駐車すると、バックグラウンドに含まれるのに十分に長く静止状態である可能性がある。そのような状況において、例えば、どれだけの期間、ピクセル値が不変のままであった(閾値内にあった)か、または、どれだけの期間、被検出オブジェクトが静止状態にあったかを追跡するタイマーは、エリアが、いつバックグラウンドからフォアグラウンドに変換されるべきかに関する決定をサポートするために使用することができる。その逆は、バックグラウンドとして分類されるのに十分に長く静止状態にあった後に、駐車場の自動車が移動し始めるときであることである。そのような状況において、動きは、瞬間的に検出することができ、着色を、移動エリアから除去することができる。そのような状況で対処されなければならないことになる問題は、自動車で直前に覆われたエリアをどう扱うかであり、その問題についての幾つかのオプションが存在する。1つのオプションは、そのようなデータが存在する場合、直前に保存されたカラーデータを使用することである。別のオプションは、そのエリア内にカラーを付加せず、カラー情報の次の更新を単に待つことである。
図1を参照すると、ビデオカメラはハウジング10を有する。図1において、ハウジングは長方形である、しかし、カメラハウジングが多くの異なる形態をとることができ、また、本発明のために、任意の知られている形態(未知の形態が本発明を実現することを不可能にしない限り、未知の形態を排除しない)を使用することができることが留意されるべきである。さらに、カメラによって実施される機能は、種々のユニットで行うことができ、それにより、画像は、1つの物理的場所で収集され、有線で(または無線で)処理のために別のユニットに転送される。そのような手法は、カメラの画像収集部分ができる限り小さく維持されることが利点である用途において珍しくない。画像プロセッサまたはビデオプロセッサ20(またはその組み合わせ)は、画像センサ12によって収集される画像データを処理し、それをエンコーダー30に給送するために配置される。中央処理ユニット22は、プロセスを制御するために配置され、図1において、中央処理ユニット22は、カメラの全ての制御ユニットを示すが、実用的な設置において、処理コントロールを、種々のユニットに分散することができる。ほとんどの場合、カメラ(または、上記テキストを参照すると、ユニットのうちの1つのユニット)は、カメラの制約を超える通信のためのネットワークインタフェース24も備えることになる。上記説明は、当然のことながら、最新のビデオカメラについての非常に簡略化した説明であり、より詳細な知識について、関心のある読者は、本出願人の製品ポートフォリオに目を向けることができる。全体的なフローは、画像センサ12からエンコーダー30およびネットワークインタフェース24に向かう方向を明白に有する、しかし、逆方向に向かうフィードバック機構も存在する。
さらに、図1のビデオカメラはIR照明源26を備える。示す実施形態において、IR照明源14はビデオカメラ10のハウジング上に配置される、しかし、IR照明源は、他の実施形態において、カメラに接続されかつカメラによって制御される別個のデバイス、または、カメラの態様を同様に制御する外部コントローラとして設けることができる。概略的な表現は、IR照明源14が幾つかのIR照明器のアレイである実施形態もカバーする。必要とされる場合、さらなる制御ユニットを、IR照明源14を制御するために付加することができるが、このコントロールは、中央処理ユニット22にも含むことができる、または、中央処理ユニットにも含まれると言うことができる。さらに、さらなるドライバーユニット(図示せず)は、特定の動作モードのために適切な方法で、IR照明源14に電力を供給するために、またはむしろ、LEDに供給される電力を供給し制御するために配置することができる。ドライバーユニットは、設置される場合、普通ならCPUまたはMCU22によって提供されるコントロールを提供する可能性もある。
画像センサの前に配置されたIR透過フィルターがある状態で取得される画像フレームのシーケンスは、周囲の画像フレーム(シーケンスの前と後の画像フレーム)と比較すると異常を示すことになる。状況に応じて、そのような異常は、何らかの有害な効果を有する場合がある。最も明白な効果は、突然の強度の減少が、ちらつきをもたらす場合があることであることになり、ちらつきは、補償されない場合、オペレータがディスプレイを介してシーンを観察するのを邪魔する場合がある。同様に、強度の迅速変化は、動作センサまたはフォアグラウンド/バックグラウンド検出アルゴリズムをトリガーする可能性がり、被追跡オブジェクトを見失ったことまたはシーン全体がフォアグラウンドとして分類されることをもたらす可能性がある。シーケンスの長さを単一のまたは少数のフレームまで最小にすることは、この効果に対処するための十分な対策であるとすることができる。なぜならば、オペレータが、単一フレーム内の差に気づくことができず、アナリティクス(analytics)が不注意に反応しないように、意図されるスローネス(slownwss)を有することができるからである。別の問題は、強度の突然の変化が、動作検出器をトリガーする場合があり、シーン内の運動(movement)の偽りの検出を生成することである場合がある。別の問題は、突然の強度変化が動作検出器をトリガーすることができ、したがって、シーン内の偽りの動き検出を生成することである場合がある。これは、IR透過フィルター18を用いて取得されるフレームに対して、カメラからのビデオストリームからそれらを保留するために、または単に、それらが示されないかまたは評価において使用されないようにそれらにマーク付けするために等で、中央処理ユニット22または画像/ビデオプロセッサ20がタグ付けするようにさせることにとって解決することができる。タグ付けは、h.264およびh.265等の本エンコーディング規格において容易に利用可能であるオプションである。その結果、中央処理ユニット22は、周囲光の評価に直接関連しないアルゴリズムによるフレームのシーケンスの評価を保留することができ、カメラによってモニターされるシーン内の偽りの動き検出、または、ホワイトバランス等の誤った調整を、ピクセル強度の考えられる変動がもたらさないことを意味する。ビデオがちらつく場合がある第1の効果に関して、これは、他の対策によって対処することもできる。フレームのシーケンスがオペレータに示され、かつ、効果が目に見えると考えられる場合、利得が、シーケンスの画像フレームに適用されて、その画像フレームの全体輝度を周囲画像フレームの全体輝度に似させることができる。そのような補正は、デジタル画像ストリームを扱う画像プロセッサによって自動的に実施することができる。代替的にまたは付加的に、露出(すなわち、露出時間および利得)は、全体強度が周囲フレームの全体強度により近くなるように、シーケンス内のフレームについて変更することができる。露出の変化は、可視光対IR放射の評価において容易に考慮することができる。
本発明の効果は、本発明の幾つかの実施形態によれば、画像センサ全体を周囲光センサとして使用することができ、空間的に分解された周囲光評価をユーザーが有することを可能にすることである。周囲光レベルの評価において、強度は、単一値として、または、例えば、一部のまたは全てのピクセル値の平均をとり、露出時間および利得によって正規化することによって、一部のまたは全てのピクセル強度の処理された和として測定することができる。他の実施形態において、画像センサによって現在使用されている全分解能および全視野を使用することができる。さらに他の実施形態において、撮像されるシーンにわたる或る程度の空間分解能をやはり可能にしながら処理要件を低減するために、種々のダウンスケールされた分解能を使用することができる。画像センサ全体を周囲光レベルの評価において使用することができるため、1つまたは幾つかの実施形態において、空間分解能を有利に使用することができる。空間分解能は、例えば、或るエリアが特に重要である場合、評価のためにシーンの画像内のエリアを選択することを可能にし、このエリア内の周囲光レベルが重要因子として選択される。そのエリアは、カメラビューの中央のエリア、または、例えば、通常の露出ゾーンと同様の、被撮像エリア内に(すなわち、画像センサにわたって)分布する多数のより小さいエリア等のプリセットエリアであるとすることができる。逆のこと、すなわち、或るエリアを無視することも可能にされる。その1つの例は、特定のエリアが、IR源を含むかまたは特に暗く、したがって、シーンそれ自体を表さないことであることになる。特定のエリアは、例えば、飽和したピクセルを含む場合、排除することもできる。いずれにしても、画像センサが、データを収集するコンポーネントであるため、画像センサデータと周囲光センサデータとの間に完全なオーバーラップがデフォルトで存在することになる。その効果は、デジタルズームが使用されるときに特に有用であるとすることができる。なぜならば、(フル画像センサの徐々に小さい部分が使用されるため)デジタルズームが増大するにつれて、周囲光レベル全体が、益々重要でなくなるとすることができるからである。これの1つの例は、非常に大きい視野を有するフィッシュアイレンズを使用してシーンが観察される状況である可能性がある。そのような状況では、デジタルズームは、シーンのかなり小さい部分を見るために使用することができ、センサ全体によって検出される周囲光レベルは、デジタルズームを使用して選択されたより小さい視野において示すことができない。そのような例において、デジタルズーム(およびパンおよびチルト)のパラメータは、例えば、現在のビューのみが評価のために使用されるように、方法において考慮することができる。
周囲可視光レベルを表す尺度の評価に続いて、シーンの一部分においてまたは全シーンにおいて、決定を行うことができ、適切であることが見出される場合、IRカットフィルターを挿入することができ、カメラは、日中モードで動作し始めることができる。評価自身は、多量の計算パワーまたは電力を消費しない、しかし、評価が連続して実施される必要性は存在せず、それは、種々の実施形態のセットに道を開く。これらの実施形態は、種々の方法で組み合わすことができる。1つの実施形態によれば、評価は、数分(1分、2分、3分、…、10分、20分等)ごとに等、一定間隔で実施される。太陽光が唯一の周囲光源である室外設置の場合、評価は、日の出と同期することができ、それにより、評価は、太陽光が存在しないときは全く実施されず、日中モード動作の場合に十分な周囲太陽光の見込みが存在するときに開始する。時間は、きわめて予測可能な方法で季節と共に変動することができ、予測可能性が低い方法で現在の気象状況と共に変動することもできる。そのような実施形態において、適切な時間に関するデータは、(実際の時間の設定によって、または、現在時間およびカメラのおおよその地理的位置を設定することによって等で)ユーザーインタフェースにおいてカメラに給送することができる。時間は、統計ベース決定であるとすることもでき、適切な時間がいつであるかを、前の日からの決定に基づいてカメラが学習することができることを意味する。室内設置の場合、太陽光は、制御にとって無関係であるとすることができ、そのような状況では、その場所が使用されるとき(すなわち、室内照明が通常起動されるとき)の作業時間または履歴を、対応する方法で使用することができる。さらに他の実施形態において、評価のタイミングは、シーン内の事象によってトリガーすることができる。誰かが、カメラが配置される室内場所に入り、電灯をつける場合、シーンの画像内の検出可能な強度変化が存在することになる。そのような変化は、評価のためのトリガーとして使用することができる。室外設置の同様の手法は、特に、人工照明が設置される場所で使用することもできる。

Claims (11)

  1. 夜間モード動作と日中モード動作との間で切り換えることが可能なビデオカメラ(10)の性能を向上させるための方法であって、
    前記ビデオカメラの画像センサの前に配置された第2のフィルターセットアップがない状態、且つ前記画像センサ(12)の前に配置されたIRカットフィルター(16)がない状態、つまり前記ビデオカメラ(10)が夜間モードで動作している状態で、前記ビデオカメラ(10)を用いて画像の第1のシーケンスを取得すること、
    前記ビデオカメラの前記画像センサの前に前記第2のフィルターセットアップがある状態で、前記ビデオカメラを用いて画像の第2のシーケンスを取得すること、ここで、前記第2のフィルターセットアップは、IR透過フィルター(18)を備え当該IR透過フィルターは、既知の透過特性のものであり、30%を超えて100%より低いIR領域における透過および前記画像センサの全てのピクセルが均一に影響を受けるようにIR透過フィルターのアクティブエリアにわたって空間的に均一な透過を有し、前記第2のフィルターセットアップは100%の可視光の透過を有し、画像の前記第1のシーケンスおよび前記第2のシーケンスは連続または不連続であり
    画像の前記第1のシーケンスおよび前記第2のシーケンス内の画像における可視光の寄与を計算するために、画像の前記第1のシーケンスおよび前記第2のシーケンスを使用すること、ならびに
    画像の前記第1のシーケンスおよび前記第2のシーケンス内の前記画像における可視光の寄与に基づいて、前記ビデオカメラを夜間モードから日中モードにまたはその逆に切り換えることによって、前記ビデオカメラ(10)の前記性能を改善するために、または、画像の前記第1のシーケンスおよび前記第2のシーケンス内の前記画像における可視光の寄与に基づいて、前記画像センサ(12)に対するIR放射の全体的透過あるいは部分的透過によって取得される画像に対してカラー情報を推測し付加するために、計算された前記寄与の評価を利用すること
    を含む、方法。
  2. 前記評価は、IR寄与によって歪んだカラー情報を有する前記画像の部分に対してカラー情報を付加するために使用される、請求項1に記載の方法。
  3. 動きのあるエリアおよび動きのないエリアへの画像のセグメント化をさらに含み、カラー情報の前記付加は、動きのないエリア内に適用される、請求項に記載の方法。
  4. 画像の前記第1のシーケンスおよび前記第2のシーケンスの前記取得は、カラー情報が前記ビデオカメラ(10)の現在のフレームレートより低いレートで更新されるように、一定間隔でまたは事象の結果として実施され、請求項1からのいずれか一項に記載の方法。
  5. 前記評価は、ピクセルの群の分解能において実施され、前記画像は、複数のピクセルの群に分割される、請求項1からのいずれか一項に記載の方法。
  6. 前記画像の異なる領域は、前記計算された寄与の評価において異なる重みを有する、請求項1からのいずれか一項に記載の方法。
  7. 請求項1に記載の方法を実施するためのビデオカメラ配置構成(10)であって、前記ビデオカメラは、IR透過フィルター(18)を有する少なくとも1つのフィルターセットアップと、前記フィルターを前記画像センサ(12)の前の位置まで/から移送するための少なくとも1つの作動機構とを備え、前記IR透過フィルターは、既知の透過特性および30%を超えて100%より低いIR領域における透過および前記画像センサの全てのピクセルが均一に影響を受けるようにIR透過フィルターのアクティブエリアにわたって空間的に均一な透過を有し、前記少なくとも1つのフィルターセットアップは100%の可視光の透過を有する、ビデオカメラ配置構成。
  8. 前記ビデオカメラが、IRカットフィルター(16)を有するフィルターセットアップをさらに備え、前記IRカットフィルターを前記画像センサの前の位置まで/から移送するための作動機構を有する、請求項に記載のビデオカメラ配置構成。
  9. 同じ作動機構が両方のフィルター(16,18)のために使用される、請求項に記載のビデオカメラ配置構成
  10. 前記IRカットフィルター(16)および前記IR透過フィルター(18)は並んで配置されるため、前記作動機構は、並進または回転運動によって、前記IRカットフィルターおよび前記IR透過フィルターを前記画像センサ(12)の前の位置まで/から移送することができる、請求項または請求項に記載のビデオカメラ配置構成
  11. 前記IR透過フィルター(18)、40%、50%、60%、70%、80%、または90%を超える前記IR領域における透過を有する、請求項1から10のいずれか一項に記載の方法またはビデオカメラ配置構成。
JP2021101363A 2020-06-25 2021-06-18 ビデオカメラの性能を向上させるための方法 Active JP7121832B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20182334 2020-06-25
EP20182334.1A EP3930307B1 (en) 2020-06-25 2020-06-25 A method for enhancing the performance of a video camera

Publications (3)

Publication Number Publication Date
JP2022008186A JP2022008186A (ja) 2022-01-13
JP2022008186A5 JP2022008186A5 (ja) 2022-06-29
JP7121832B2 true JP7121832B2 (ja) 2022-08-18

Family

ID=71170327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021101363A Active JP7121832B2 (ja) 2020-06-25 2021-06-18 ビデオカメラの性能を向上させるための方法

Country Status (4)

Country Link
US (1) US11457147B2 (ja)
EP (1) EP3930307B1 (ja)
JP (1) JP7121832B2 (ja)
CN (1) CN113938600B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114827479B (zh) * 2022-06-29 2022-09-27 深圳比特微电子科技有限公司 一种监控设备的工作模式切换方法和装置
CN116260962B (zh) * 2023-01-29 2024-04-26 电信科学技术仪表研究所有限公司 一种监控摄像机传感器的耐辐射检测装置及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017017593A (ja) 2015-07-02 2017-01-19 キヤノン株式会社 撮像装置
JP2018173620A (ja) 2016-12-28 2018-11-08 アクシス アーベー 赤外線フィルタを逐次制御するための方法、及び該方法を実行するアセンブリ
JP2019012267A (ja) 2017-06-29 2019-01-24 アクシス アーベー カラー画像の拡張方法並びにその方法の実行機構

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
KR101926487B1 (ko) 2012-10-12 2018-12-07 한화테크윈 주식회사 감시 시스템의 제어 방법, 및 이 방법을 채용한 감시 시스템
WO2015118911A1 (ja) * 2014-02-06 2015-08-13 株式会社Jvcケンウッド 撮像装置及び撮像装置の制御方法、並びに、撮像システム及び撮像システムの制御方法
US10586351B1 (en) * 2017-06-20 2020-03-10 Amazon Technologies, Inc. Ambient light estimation for camera device in infrared channel
JP7057221B2 (ja) * 2018-05-24 2022-04-19 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
WO2020112442A1 (en) * 2018-11-27 2020-06-04 Google Llc Methods and systems for colorizing infrared images
US10834319B2 (en) * 2018-12-06 2020-11-10 Getac Technology Corporation Image capturing device and control method therefor
CN110225257B (zh) * 2019-07-09 2021-09-17 浙江大华技术股份有限公司 日夜模式切换方法及装置、摄像装置和存储介质
TWI740316B (zh) * 2019-12-20 2021-09-21 晶睿通訊股份有限公司 日夜模式切換方法及其監控攝影設備
US20230336847A1 (en) * 2020-02-12 2023-10-19 Axon Enterprise, Inc. Dual mode camera and quasi-bandpass filter

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017017593A (ja) 2015-07-02 2017-01-19 キヤノン株式会社 撮像装置
JP2018173620A (ja) 2016-12-28 2018-11-08 アクシス アーベー 赤外線フィルタを逐次制御するための方法、及び該方法を実行するアセンブリ
JP2019012267A (ja) 2017-06-29 2019-01-24 アクシス アーベー カラー画像の拡張方法並びにその方法の実行機構

Also Published As

Publication number Publication date
US20210409599A1 (en) 2021-12-30
US11457147B2 (en) 2022-09-27
EP3930307A1 (en) 2021-12-29
EP3930307B1 (en) 2022-06-01
JP2022008186A (ja) 2022-01-13
CN113938600A (zh) 2022-01-14
CN113938600B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
KR102612365B1 (ko) 야간 모드 이미지 획득 시 주변 광을 평가하기 위한 방법
US10033944B2 (en) Time spaced infrared image enhancement
EP2936799B1 (en) Time spaced infrared image enhancement
US9635285B2 (en) Infrared imaging enhancement with fusion
KR101640875B1 (ko) 물체 검출 장치
JP7121832B2 (ja) ビデオカメラの性能を向上させるための方法
JP6606231B2 (ja) 色画像を生成するカメラおよび方法
US7885535B2 (en) Methods and systems for estimation of visible light amount in a light source
KR101005769B1 (ko) 하이 다이나믹 레인지 상황에 대응하는 자동 노출 제어 및 자동 화이트밸런스 방법
KR101840754B1 (ko) 밝기 구간별 화질 보상 시스템 및 방법
JP2020091453A (ja) 制御装置、撮像装置及びその制御方法
JP2004229034A (ja) 赤外線照明内蔵型デイナイトカメラ
JP2010250140A (ja) 映像信号処理装置及び映像信号処理プログラム
JP6504892B2 (ja) 撮像装置
JP4889225B2 (ja) 電子カメラ
JP4677924B2 (ja) 撮影システム、動画像処理方法および動画像処理装置
US10567713B2 (en) Camera and method of producing color images
KR101498992B1 (ko) 저 조도시 컬러 제어기능을 갖는 cctv 시스템 및 cctv 시스템의 저 조도시 컬러 제어방법
KR20160056409A (ko) 저 조도 cctv 시스템

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220621

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220621

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220805

R150 Certificate of patent or registration of utility model

Ref document number: 7121832

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150