JP4435704B2

JP4435704B2 - 撮像用照明の判定方法

Info

Publication number: JP4435704B2
Application number: JP2005050444A
Authority: JP
Inventors: 哲也渡辺; 雅光小栗
Original assignee: Ikegami Tsushinki Co Ltd
Current assignee: Ikegami Tsushinki Co Ltd
Priority date: 2005-02-25
Filing date: 2005-02-25
Publication date: 2010-03-24
Anticipated expiration: 2025-02-25
Also published as: JP2006238114A

Description

本発明は、監視用カメラとしてＣＣＤなどの固体撮像素子を用いたカメラを使用し、撮像対象とする領域の照明状態に応じてカラーの可視光用カメラまたはモノクロ（白黒）の近赤外用カメラとして切り換え使用するようにした画像監視システムにおける撮像用照明の判定方法に関するものである。

ＣＣＤなどの固体撮像素子は、可視光領域から近赤外領域まで広い範囲にわたって受光感度を有する。そのため、例えばＣＣＤカメラを防犯などの監視用カメラとして使用する場合、明るい昼間はカラーの可視光用カメラとして使用し、暗い夜間はモノクロの近赤外用カメラとして切り換え使用する場合がある。

従来、このような分野の技術として特許文献１に記載された技術が知られている。この特許文献１に記載の技術は、画像信号（輝度信号）の信号レベルを検知し、信号レベルが規定レベル以上であればカラー画像信号として出力し、所定レベル未満の場合にはノイズを減らすためにモノクロ画像信号に切り換え、明るさの足りない夜間などにはＳ／Ｎ比に優れたモノクロ画像信号として出力するようにしたものである。

また、可視光領域での撮像の場合、カメラのカラーバランスを抽出するのに不必要な赤外領域をカットするため、ＣＣＤの前に光学赤外カットフィルタを配置し、カラー映像信号として出力し、近赤外領域まで使用して撮像する場合、近赤外領域の光がカットされることを避けるため、光学赤外カットフィルタを使わずにモノクロ映像信号として出力し、さらに、可視光領域および可視光領域から近赤外領域までの両方で使用する場合には、使用する領域に応じて光学赤外カットフィルタの有無を切り換え可能とし、カラーまたはモノクロのいずれかの映像信号で出力することも知られている。

上記カラーまたはモノクロの切換は、周囲の明るさに合わせて、撮像素子の出力信号を処理して得られる輝度信号の信号レベルに応じて行っている。前記特許文献１にも記載されているように、輝度信号の信号レベルが規定レベルよりも大きい場合には、可視光領域の映像信号としてカラー映像信号を出力し、規定レベルよりも小さい場合には、可視光領域から近赤外領域までの映像信号としてモノクロ映像信号を出力するようにしている。

特開平６−１６９４６１号公報（全頁、全図）

上記のように、従来においてもカラーとモノクロの切換は自動的に行われているが、輝度信号のみを用いた切換制御の場合、カメラがモノクロ画像状態（光学赤外カットフィルタが無しの状態）において近赤外照明を使用すると、近赤外光のためにカメラ内部で生成される輝度信号の信号レベルが上昇してしまい、人の目には見えない近赤外光であるにもかかわらず、周囲が明るくなったものと誤判定し、モノクロ画像からカラー画像状態に切り替わってしまう。

誤判定によってカラー画像状態になると、自動的に光学赤外カットフィルタが挿入され、近赤外領域の輝度信号がカットされる。このため、再び輝度信号の信号レベルが下がり、カラー画像状態からモノクロ画像状態に切り換えられ、モノクロ映像信号が出力される。モノクロ画像状態になると、近赤外光を利用するために再び光学赤外カットフィルタが外され、輝度信号の信号レベルが上がり、再びカラー画像状態となり、この切換動作を繰り返す。すなわち、輝度信号のみを用いた切換制御において、近赤外照明を使用した場合、モノクロ画像とカラー画像の状態が一定時間ごとに交互に繰り返される、いわゆるハンチングが発生する。

この問題を回避するため、色信号成分を判定基準として用いたカメラもあるが、近赤外照明によるモノクロ画像時には被写体が暗部という条件により色成分信号の信号レベルが小さい場合も多く、カラー／モノクロ切換型のカメラを近赤外用カメラとして切り換え使用する場合には、使用条件に合わせた個別の設定を必要とするという煩雑さがあった。

本発明は、上記問題を解決するためになされたもので、カラー／モノクロ切換型のカメラを近赤外用カメラとして切り換え使用する場合に、個別の設定を必要とせず、さらに、近赤外照明を使用した場合でも、可視光領域の撮像信号か近赤外領域までの撮像信号かを的確に判定し、ハンチングの発生を防止することを目的とするものである。

まず、本発明の判定原理について説明する。
図３は、固体撮像素子の代表例であるＣＣＤの受光感度特性である。図より、Ｒ信号（赤色成分信号）は６００ｎｍ付近、Ｇ信号（緑色成分信号）は５３０ｎｍ付近、Ｂ信号（青色成分信号）は４５０ｎｍ付近にそれぞれピーク点を有する。近赤外は７００〜１３００ｎｍまでをその範囲とするものであるが、この近赤外領域では、Ｒ信号はＧ信号やＢ信号に比べて信号レベルの低下が少ない。また、Ｂ信号とＧ信号を比較すると、Ｂ信号はＲ信号から波長が離れているためにＧ信号よりも信号レベルの低下が大きい。

いま、Ｒ信号の信号レベルをＥ_Ｒ、Ｇ信号の信号レベルをＥ_Ｇ、Ｂ信号の信号レベルをＥ_Ｂ、Ｙ信号（輝度信号）の信号レベルをＥ_Ｙとすると、Ｙ信号の信号レベルＥ_Ｙは、
Ｅ_Ｙ＝０．３０Ｅ_Ｒ＋０．５９Ｅ_Ｇ＋０．１１Ｅ_Ｂ
の式で表され、Ｇ信号の比率が半分以上となる。

上式から明らかなように、Ｙ信号は可視光領域を主流とするＧ信号を中心に構成されている。それ故、原理的には、Ｙ信号の信号レベルを監視すれば、撮像対象とする領域の照明が可視光照明なのか近赤外照明なのかを判定することが可能である。

しかしながら、前述したように、Ｙ信号のみを用いて判定したただけでは誤検出を生じやすく、最悪の場合には前述したようにハンチングを発生するおそれがある。そこで、本発明者らは、実際に可視光照明と近赤外照明を用いて複数の色紙（いろがみ）を撮像し、ＣＣＤカメラの出力する色信号と各色信号の差分信号について測定実験を行った。その結果、Ｒ信号と（Ｒ−Ｇ）信号（赤色成分信号と緑色成分信号の差分信号）が、可視光照明の場合と近赤外照明の場合とでその信号レベルが大きく変化することが分かった。

本発明者らは、上記事実に基づいて実験と検討を重ねた結果、撮影対象とする領域の照明が可視光照明か近赤外照明かを正確に判定するには、従来より用いられているＹ信号に加え、Ｒ信号と（Ｒ−Ｇ）信号も測定対象信号として用い、これら３種類の信号の信号レベルを監視すれば、極めて良好な結果を得られることを見い出した。本発明は、これらの知見に基づいてなされたものである。

すなわち、請求項１に係る発明は、監視用カメラとして固体撮像素子を用いたカメラを使用し、撮像対象とする領域の照明状態に応じてカラーの可視光用カメラまたはモノクロの近赤外用カメラとして切り換え使用するようにした画像監視システムにおいて、前記固体撮像素子の出力する撮像信号を処理して得られるＹ信号、Ｒ信号および（Ｒ−Ｇ）信号の信号レベルを、予め設定した輝度信号用判定しきい値、赤色成分信号用判定しきい値および差分信号用判定しきい値とそれぞれ比較し、前記Ｙ信号の信号レベルが輝度信号用判定しきい値以上で、前記Ｒ信号の信号レベルが赤色成分信号用判定しきい値以下で、前記（Ｒ−Ｇ）信号の信号レベルが差分信号用判定しきい値以下で、かつ、該信号レベル状態が所定時間継続したときに、撮像対象とする領域の照明状態を可視光照明と判定するようにしたものである。

また、請求項２に係る発明は、前記請求項１に係る発明において、前記所定時間を１０秒としたものである。

請求項１に係る発明によれば、ＣＣＤなどの個体撮像素子から出力される撮像信号から得られるＹ信号、Ｒ信号および（Ｒ−Ｇ）信号の信号レベルを各判定しきい値と比較し、所定の信号レベル状態が所定の時間以上にわたって継続したときに、撮像対象とする領域の照明状態を可視光照明と判定するようにしたので、撮影対象とする領域の照明状態を正確に判定することができる。このため、可視光照明と近赤外照明を切換使用して撮像する場合でも誤判定するようなことがなく、従来のようにハンチングを起こすこともないので、画像監視システムの信頼性が向上する。また、使用条件によって個別の設定を必要としないため、製品の均一化が可能となり、メンテナンスもしやすくなるという長所を有する。

さらに、判定に使用する信号もこの種のカメラにおいて映像信号処理上で一般的に用いているＹ信号、Ｒ信号、（Ｒ−Ｇ）信号であるので、特別な追加回路を必要としない。このため、現在使われている画像監視システムにも適用することができる。

請求項２に係る発明によれば、前記所定時間を１０秒と長く設定しているので、誤判定をより確実に防止することができ、画像監視システムの信頼性をさらに向上することができる。

以下、本発明の実施の形態について図面を参照して説明する。
図１は本発明方法を適用して構成したＣＣＤカメラのブロック図である。なお、この図３に示したＣＣＤカメラは、単板のカラーＣＣＤカメラであって、本発明に関係するところのみを図示し、それ以外の部分は省略した。

図１において、１は撮影レンズ、２は光学赤外カットフィルタ、３は固体撮像素子たるＣＣＤ、４は信号処理回路、５は判定回路、６は映像信号の出力端子、７は近赤外照明装置である。

光学赤外カットフィルタ２は、使用する照明に応じて光路内への挿入・離脱を切換可能とされている。その切換は判定回路５によって制御され、図示を略したモータを駆動することにより行われる。信号処理回路４は、単板のカラーＣＣＤカメラにおいて採用されている一般的な処理回路であり、図示は略したが、ＡＧＣ／ＣＤＳ回路、プロセス回路、輝度信号処理回路、色信号処理回路、エンコーダなどから構成され、カラーまたはモノクロ映像信号を出力端子６から選択的に出力するとともに、Ｙ信号、Ｒ信号、（Ｒ−Ｇ）信号を判定回路５へ送出するものである。

判定回路５は、例えば、マイクロプロセッサ（ＭＰＵ）やＲＯＭ、ＲＡＭなどを用いて構成されており、信号処理回路４から送られてくるＹ信号、Ｒ信号、（Ｒ−Ｇ）信号の各信号レベルを予め設定した判定しきい値（Ref1）（Ref2）（Ref3）と比較し、Ｙ信号の信号レベルが輝度信号用判定しきい値（Ref1）よりも大きく、Ｒ信号の信号レベルが赤色成分信号用判定しきい値（Ref2）よりも小さく、（Ｒ−Ｇ）信号の信号レベルが差分信号用判定しきい値（Ref3）よりも小さく、かつ、該信号レベル状態が所定時間継続した場合にのみ、可視光照明と判定し、それ以外の場合は近赤外照明と判定するものである。

さらに、判定回路５は、可視光照明と判定した場合、近赤外照明装置７に対しては近赤外照明を消灯するオフ制御、光学赤外カットフィルタ２に対しては光路内へのフィルタの挿入制御、信号処理回路４に対してはカラー映像信号を出力するように制御する。また、近赤外照明と判定した場合には、近赤外照明装置７に対しては近赤外照明を点灯するオン制御、光学赤外カットフィルタ２に対しては光路からのフィルタの離脱制御、信号処理回路４に対してはモノクロ映像信号を出力するように制御するものである。

次に、判定回路５の処理動作について、図２のフローチャートを参照して説明する。なお、この図２のフローチャートは、可視光照明と判定するための信号レベルの継続定時間を１０秒に設定した場合の例である。

処理が開始されると、判定回路５は、ステップＳ１において、内部タイマーに対してカウント時間１０秒をセットし、カウントを開始する（ステップＳ１）。

次いで、判定回路５は、信号処理回路４からＹ信号、Ｒ信号、（Ｒ−Ｇ）信号が送られてくると、ステップＳ２において、Ｙ信号の信号レベルが輝度信号用判定しきい値（Ref1）よりも大きいか否かを判定する。大きい場合にはステップＳ３へ進み、小さい場合には近赤外照明であるとしてステップＳ８へ進む。

ステップＳ３では、Ｒ信号の信号レベルが赤色成分信号用判定しきい値（Ref2）よりも小さいか否かを判定する。小さい場合にはステップＳ４へ進み、大きい場合には近赤外照明であるとしてステップＳ８へ進む。

ステップＳ４では、（Ｒ−Ｇ）信号の信号レベルが差分信号用判定しきい値（Ref3）よりも小さいか否かを判定する。小さい場合にはステップＳ５へ進み、大きい場合には近赤外照明であるとしてステップＳ８へ進む。

ステップＳ５ではタイマーチェックを行ない、ステップＳ６において１０秒経過したか否かを判定する。１０秒経過した場合には可視光照明であると判定し、ステップＳ７へ進む。１０秒経過していない場合にはステップＳ２へ戻り、上記処理動作を繰り返す。

ステップ６において可視光照明と判定され、ステップＳ７に進むと、判定回路５は、近赤外照明装置７に対してオフ信号を送り、近赤外照明を消灯制御する。また、光学赤外カットフィルタ２に対してフィルタの挿入信号を送り、光学赤外カットフィルタ２を光路内に挿入し、近赤外領域の光をカットする。これによって近赤外光の影響を阻止し、色再現性に優れたカラー映像信号を生成することができる。さらに、信号処理回路４に対してはカラー映像信号の選択信号を出力し、これによって信号処理回路４は出力端子６からカラー映像信号を出力する。

一方、ステップＳ２，Ｓ３，Ｓ４においてノー（Ｎ）と判定され、ステップＳ８へ進んだ場合には、判定回路５は、近赤外照明装置７に対してオン信号を送り、近赤外照明を点灯制御する。また、光学赤外カットフィルタ２に対して離脱信号を送り、光学赤外カットフィルタ２を光路内から離脱させ、近赤外光もＣＣＤに入射するようにする。これによってＹ信号の信号レベルが上がり、Ｓ／Ｎ比のよいモノクロ映像信号を生成することができる。さらに、信号処理回路４に対してはモノクロ映像信号の選択信号を出力し、これによって信号処理回路４は出力端子６からＳ／Ｎ比に優れたモノクロ映像信号を出力する。

なお、上記ステップＳ２，Ｓ３，Ｓ４で用いている各判定しきい値（Ref1）（Ref2）（Ref3）は、ＣＣＤカメラの回路構成の違いによって異なるものとなるため、具体的な数値を個々に挙げることはできないが、次のようにして決定すればよい。

すなわち、信号処理回路４から出力されるＹ信号、Ｒ信号、（Ｒ−Ｇ）信号について、光学赤外カットフィルタ２を使用して可視光照明下で撮像した場合と、光学赤外カットフィルタ２を外して近赤外照明下で撮像した場合のデータを測定し、Ｙ信号、Ｒ信号、（Ｒ−Ｇ）信号のそれぞれについて、可視光照明の場合と近赤外照明の場合とを顕著に分離できる信号レベル値を選択し、該選択した信号レベル値をそれぞれの判定しきい値（Ref1）（Ref2）（Ref3）として設定すればよい。

上記実施の形態は、単板カメラの場合を例示したが、三板等のテレビカメラでも、信号処理回路においてＹ信号、Ｒ信号および（Ｒ−Ｇ）信号が得られれば、適用することができる。

また、上記実施の形態は、ＣＣＤなどの固体撮像素子の出力する撮像信号から得られるＹ信号、Ｒ信号および（Ｒ−Ｇ）信号を直接用いて判定する場合の例を示したが、信号処理回路中でホワイトバランス回路を使用するような場合には、ホワイトバランス回路を構成する増幅器の各信号に対する増幅率から判定することもできる。

例えば、白い紙などの被写体を撮像したときに得られる輝度信号、Ｒ信号および（Ｒ−Ｇ）信号を用いてホワイトバランスを取るように制御する場合、ホワイトバランスに使用する各信号についての増幅器の増幅率をマイクロプロセッサ（ＭＰＵ）などで読み出し、その増幅率をしきい値と比較することにより、可視光照明か近赤外照明かを判定することも可能である。すなわち、ホワイトバランスのための補正データは既知であり、得られた増幅率から逆算すれば基となる輝度信号、Ｒ信号および（Ｒ−Ｇ）信号の信号レベルを把握することができるため、増幅率で判定することも可能である。

以上、本発明の実施の形態について述べたが、本発明は上記実施の形態に限定されるものではなく、その目的の範囲内において処理プログラムや回路を変形することが可能である。

本発明方法を適用して構成したＣＣＤカメラの一実施の形態を示すブロック図である。判定回路の処理動作のフローチャートである。ＣＣＤの受光特性図である。

符号の説明

１撮影レンズ
２光学赤外カットフィルタ
３ＣＣＤ（固体撮像素子）
４信号処理回路
５判定回路
６映像信号の出力端子
７近赤外照明装置

Claims

監視用カメラとして固体撮像素子を用いたカメラを使用し、撮像対象とする領域の照明状態に応じてカラーの可視光用カメラまたはモノクロの近赤外用カメラとして切り換え使用するようにした画像監視システムにおいて、
前記固体撮像素子の出力する撮像信号を処理して得られる輝度信号、赤色成分信号および赤色成分と緑色成分の差分信号の信号レベルを、予め設定した輝度信号用判定しきい値、赤色成分信号用判定しきい値および差分信号用判定しきい値とそれぞれ比較し、
前記輝度信号の信号レベルが輝度信号用判定しきい値以上で、
前記赤色成分信号の信号レベルが赤色成分信号用判定しきい値以下で、
前記赤色成分と緑色成分の差分信号の信号レベルが差分信号用判定しきい値以下で、
かつ、該信号レベル状態が所定時間継続したときに、
撮像対象とする領域の照明状態を可視光照明と判定することを特徴とする撮像用照明の判定方法。
前記所定時間を１０秒としたことを特徴とする請求項１記載の撮像用照明の判定方法。