JP4091234B2 - 画像センサ - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は画像センサに関し、特に撮像カメラの前面に設けられた窓部材の傷などの障害の検出に関する。
【０００２】
【従来の技術】
画像センサは、防犯用途をはじめ、各種の用途に用いられている。防犯用の画像センサは、例えば、天井や壁に設置され、監視領域の撮像によって侵入者などが検出される。
【０００３】
従来の画像センサにおいては、撮像カメラの前面側（撮像側）には、カメラの隠蔽や保護のために、例えば赤外線に対して透明な窓部材（カバー）が設けられる。つまり、そのような窓部材を介して監視カメラにて対象像の撮像が行われる。このため窓部材の性状（つまり適正な透過性）を常に確認しておくことは防犯上重要な事項である。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の一般的な画像センサは、撮像画像を主として肉眼で観察することを目的としているため、窓部材の表面（外表面）に生じる傷やそれに付着した埃などの「障害」を検出する機能は備わっていない。そのような状態を放置しておくと、誤報や失報が危惧される。一方、仮に窓部材の外表面上の少々の障害によって異常を判定するのでは、監視に支障がない場合でも発報となり、画像センサの管理側に負担が生じる。なお、窓部材の表面上の傷は、定期的な清掃により生じる場合が多いが、画策により傷が生じた場合にも対処すべきである。
【０００５】
本発明は、上記従来の課題に鑑みなされたものであり、その目的は、窓部材の表面に生じた障害（特に監視に支障を及ぼすような傷など）を検出することにある。
【０００６】
本発明の他の目的は、窓部材上への昆虫などの付着を傷と弁別し、障害判定精度を高めることにある。
【０００７】
【課題を解決するための手段】
（１）上記目的を達成するために、本発明は、撮像手段と、前記撮像手段の前面側に設けられた窓部材と、前記窓部材に対して所定光を照射する照射手段と、前記所定光の照射時における前記窓部材の光学的性質に基づいて、前記窓部材に生じた障害を判定する判定手段と、を含むことを特徴とする。
【０００８】
上記構成によれば、窓部材に対して所定光が照射され、窓部材に障害が生じている場合、その障害による窓部材の光学的性質の変化に基づいて、当該障害が判定される。よって、例えば、窓部材表面上の傷、埃などの障害を的確に判定可能である。よって、失報などを防止し、画像センサの信頼性を向上可能である。
【０００９】
障害の有無を判定するためには、後述のように、所定光の照射時の画像と非照射時の画像とを比較するのが望ましいが、障害の程度や性質によっては、照射時画像それ単独でも当該障害を判定可能である。例えば、障害としての傷が顕著な光散乱を生じる場合、その光散乱を撮像画像の画像処理によって特定してもよい。また、それは夜間の監視場所が暗い状態で行ってもよい。また、実際に非照射時画像の取得を行うことなく、初期登録された基準画像に対して、現在の照射時画像との比較を行うようにしてもよい。
【００１０】
一般的には、上記の所定光として、本来の撮像対象に対して実質的な照明が行われず、かつ、窓部材に対して照明が行われる微弱光量をもった光が利用される。つまり、撮像対象まで明るく照らされると、障害による変化か撮像対象自体の変化か一般に弁別困難になるからである。
【００１１】
望ましくは、上記構成において、前記照射手段により前記窓部材の外表面が前記所定光で照らされ、前記判定手段は前記窓部材における光散乱に基づいて前記監視窓部材の外表面に生じた障害を判定する。
【００１２】
上記の照射手段は、所定光として例えば近赤外光を照射するものであってもよい。その照射手段を窓部材内に配置し、そこからの所定光を外部に導いて、窓部材の外表面を外部から照らすようにしてもよい。あるいは、照射手段を窓部材の外部に設け、そこからの所定光で直接的に窓部材の外表面を照らすようにしてもよい。窓部材の外表面に所定光を照射すれば、傷などの障害により光散乱が生じ、例えば、その部分が撮像画像上で高輝度になる。その現象を利用して、傷などの判定を行える。なお、障害による光吸収を利用して、当該障害の判定を行うようにしてもよい。
【００１３】
（２）また、上記目的を達成するために、本発明は、撮像手段と、前記撮像手段の前面側に設けられた窓部材と、前記窓部材に対して所定光を照射する照射手段と、前記所定光の照射時において前記監視手段によって撮像された照射時画像と、前記所定光の非照射時において前記監視手段によって撮像された非照射時画像の差分を演算する差分演算手段と、前記差分に基づいて前記窓部材に生じた障害を判定する判定手段と、を含むことを特徴とする。
【００１４】
上記構成によれば、窓部材に傷などの障害が生じると、照射時画像と非照射時画像との間で、障害部分における輝度差がそれ以外の正常部分における輝度差よりも顕著になるため、その現象を利用して、当該障害を判定可能である。２つの画像の取込みを時間的に近接させれば、外乱による誤判定を防止できる。
【００１５】
ここで、監視に支障が生じる一定程度以上の障害を判定するように判定条件を設定しておくのが望ましい。このような構成によれば、監視を阻害しないような低度の障害を判定対象から除外し、頻繁な報知あるいは誤報を防止することが可能となる。上記の差分の演算に当たっては、差分の一方極性側を求めてもよく、あるいは、差分の絶対値を求めてもよい。いずれにしても、目的とする障害の性質に応じて、演算条件、判定条件を定めるのが望ましい。
【００１６】
望ましくは、上記構成において、前記判定手段は、一定値を超える差分が生じた範囲の大きさ及び一定値を超える差分が生じた期間の長さの少なくとも一方に基づいて、前記窓部材に生じた障害を判定する。
【００１７】
差分範囲を考慮すれば、障害が及んでいる程度に応じた判断を行える。また、差分期間を考慮すれば、虫などが一時的に窓部材に付着している場合に誤報を排除できる。それらの一方のみを考慮してもよいが両者を併せて考慮するのが望ましい。
【００１８】
望ましくは、上記構成において、前記判定手段は、撮像画像における部分領域について、前記障害を判定する。撮像画像内において、特に注目すべき領域があれば、その領域についてだけ障害を判定して、合理的な判定を行える。
【００１９】
（３）また、上記目的を達成するために、本発明は、撮像手段と、前記撮像手段の前面側に設けられた窓部材と、前記窓部材の外表面に生じた傷の光散乱を利用し、当該傷を検知する傷検知手段と、を含むことを特徴とする。
【００２０】
上記構成においては、傷の光散乱を背景と分離するために、例えば、窓部材の内側からその外表面にあるいは窓部材の外側からその外表面に微弱光を照射し、画像解析によって、当該傷の特定を行うようにしてもよい。監視に支障が生じる程度の傷だけを判定対象にすれば、清掃などによる少々の傷による誤報を防止できる。その判定条件は、画像センサの設置状況、時間帯、要求判定精度などに応じて、手作業で又は自動的に可変設定されるようにするのが望ましい。
【００２１】
【発明の実施の形態】
以下、本発明の好適な実施形態を図面に基づいて説明する。
【００２２】
図１には、本発明に係る画像センサを有する監視システムの全体構成が概念的に示されている。この監視システムは、大別して、警備センタ８と、それに公衆電話回線あるいは専用回線からなる通信網１１を介して接続される１又は複数の監視部１０とで構成される。警備センタ８は、各監視部１０を外部において集中管理する設備である。
【００２３】
監視部１０は、例えば、警備を行うビルあるいはそのフロアごとに設置されるものである。監視部１０は、本発明に係る複数の画像センサ１２を備える。各画像センサ１２は、警備の必要な箇所に設置され、具体的には天井、壁、エレベータ内などに設置される。コントローラ１４は、各画像センサからの画像情報や報知信号などを受信し、それを通信網１１を介して、警備センタ８に送信する。また、コントローラ１４は、各画像センサの管理を行うとともに、火災センサ１６や非常ボタン１８などからの信号を処理し、それに基づいて各種の制御を実行する。コントローラ１４には必要に応じて、電話機２０やモニタ（図示せず）、その他の付帯設備が接続される。
【００２４】
以上の構成は従来の監視システムでも同様であるが、本実施形態においては、各画像センサ１２がその動作信頼性を確保するための各種の機能を有しており、以下、画像センサ１２について詳述する。
【００２５】
図２には、画像センサ１２の各機能がブロック図として示されている。演算処理部２２は例えばマイコンで構成され、その演算処理部２２には照射制御部３０を介して第１照射器２６及び第２照射器２８が接続されている。ここで、照射制御部３０は、演算処理部２２からの指令に基づいて、第１照射器２６及び第２照射器２８の動作を制御している。ここで、その動作のオンオフ制御の他、環境光レベルに従った光量制御を行うようにしてもよい。
【００２６】
後述するように、第１照射器２６は、夜間における撮像を行うために、比較的強度の赤外光（近赤外光）を監視エリアへ照射する装置である。第２照射器２８は、本実施形態において、窓部材（監視窓部材）１３に関連して生じる各種の監視阻害要因を検知するために、微弱の赤外光（近赤外光）を照射する装置である。なお照射する光は、赤外光が好ましいが可視光を用いることもできる。その微弱赤外光は窓部材１３を透過して撮像側へ放射されているが、後に図３に示すように、導光部材（プリズムないし拡散部材）によって、その外部へ出る赤外光の一部又は全部が窓部材１３の中央部１３ａに折り返されている。つまり、少なくとも中央部１３ａが微弱赤外光によって照射される。
【００２７】
撮像部２４は、赤外光に感度を有するＣＣＤカメラなどによって構成されるものであり、その撮像部２４は撮像制御部３２を介して演算処理部２２によって制御されている。また、撮像部２４で撮像された画像は、撮像制御部３２を介して、演算処理部２２に送られている。
【００２８】
演算処理部２２における画像出力部４０は、撮像された画像を図１に示したコントローラ１４へ出力する回路である。通信部３８は図１に示したコントローラ１４との間で各種の通信を行う回路である。
【００２９】
メモリ３４には、上記の微弱赤外光を照射した状態で取得された照射時画像と、その照射を行わない状態で取得された非照射時画像とが格納される。図２においては、その格納エリアが照射時画像記憶部及び非照射時画像記憶部として概念的に示されている。
【００３０】
本実施形態において、画像演算部３６は、照射時画像と非照射時画像の差分（差分画像）を演算し、その差分画像に基づいて障害の有無を判断する機能を有する。その判断結果、特に障害発生の判断は、通信部３８を介して外部へ出力される。演算処理部２２の具体的な動作例は後にフローチャートを用いて詳述する。
【００３１】
本実施形態の主たる特徴事項を概説すると、窓部材１３の外表面を赤外光で照射した場合、その表面上に傷などの障害があれば、そこで光散乱（光反射、光屈折、光吸収を含む）が生じ、つまり窓部材１３の光学的性質に何らかの変化が生じる。そこで、そのような変化を特定することにより、傷などの障害の有無を検知可能である。特に、照射時画像と非照射時画像とを比較すれば、傷などの障害によって、差分画像間に違いが生じるので、それ故当該障害の有無を判定可能である。
【００３２】
図３には、図２に示した符合１００の部分に相当する構造が概念的に示されている。監視窓１３内には、撮像部２４を中心として、その周囲に、複数の発光素子２６ａからなる第１照射器２６、及び、複数の発光素子からなる第２照射器２８が設けられている。また、窓部材１３の外表面における中央部１３ａの周囲には、導光部材４２が設けられ、それによって第２照射器２８からの赤外光が中央部１３ａ側へ折り返されている。つまり、この導光部材４２によって、微弱の赤外光が屈折され、これにより中央部１３ａ自体及びその近傍空間に微弱の赤外光が照射される。ここで、第２照射器２８を窓部材１３の外側に設けてもよい。
【００３３】
なお、図３において、符号１０２は撮像部２４の視野角を示し、符号１０４は第１照射器２６の照射範囲を示している。符号１０６は、導光部材４２により、導かれる光の光路の一例を示している。
【００３４】
図４及び図５には、障害の代表例としての傷が示されている。図４（Ａ）に示す正常状態では、窓部材１３を介してカメラ２４によって監視エリアが適正に撮像される。一方、図４（Ｂ）に示すように、例えば清掃や画策などによって窓部材１３にある程度の傷が形成されると、監視に支障が生じる。つまり、侵入者や異常状況が正しく見えなくなる。これは、図５に示す可動タイプの撮像センサ１２’においても同様である。窓部材１３’に傷が付くと、カメラ２４’による監視が適正に行えない可能性がある。そこで、本実施形態では、図６に示すプロセス（傷検知ロジック）によって、上記のような窓部材に生じる障害が判定されている。
【００３５】
図６において、このプロセスは演算処理部２２によって例えば３０分おきに繰り返し実行されるが、その時間間隔は自在に設定可能である。Ｓ１０１では、第２照射器２８によって窓部材１３の外表面が微弱光によって照らされ（第１照射器２６は消灯状態で）、その状態において、カメラ２４によって照射時画像（照射画像Ａ）が取得される。次に、Ｓ１０２では、いずれの照射も行わない状態において、上記同様に非照射時画像（無光量画像Ｂ）が取得される。それらの画像は、図２に示したメモリ３４に一旦格納される。なお、Ｓ１０１とＳ１０２の順序は逆であってもよいが、監視エリア自体の変化による影響を避けるためには、両者を時間的に近接させておくのが望ましい。
【００３６】
Ｓ１０３では、各画素ごとに画像Ａと画像Ｂの輝度値の差分の絶対値が演算される。この場合、差分のプラス側だけを演算してもよい。Ｓ１０４では、その差分とＴＨ１（第１閾値）とを比較し、差分がＴＨ１を超える画素数Ｐが演算される。
【００３７】
Ｓ１０５では、画素数ＰとＴＨ２（第２閾値）とが比較される。ここで、ＴＨ２は画像全体に対する一定割合（％）である。Ｓ１０５の条件が満たされれば、Ｓ１０６において、画像演算部１６内の傷カウントタイマ（図示せず）がカウントアップ（１つのインクリメント）され、一方、Ｓ１０５の条件が満たされなければ、Ｓ１０７において、傷カウントタイマがゼロにクリアされる。なお、システム立ち上げ時に、傷カウントタイマはゼロにリセットされる。以上の構成により、一定以上の程度の傷が一定割合の面積に生じている状態がどのくらい継続したかを判断可能である。
【００３８】
Ｓ１０８では、その傷カウントタイマの値がＮ秒（第３閾値）以上であれば、Ｓ１０９において、異常が判定され、アラームが外部に出力される。一方、傷カウントタイマの値がＮ秒より小さければ、Ｓ１１０において、正常が判定される。
【００３９】
よって、以上の構成によれば、傷程度、傷範囲を考慮できるので、監視に障害があるレベルの傷だけを判定対象にできる。しかも、傷の時間的連続性を考慮しているので、突発的な障害、例えば虫の一時付着やハレーションなどによる誤報を防止可能である。
【００４０】
上記のＴＨ１は画像Ａと画像Ｂとの輝度差から、傷などのある箇所を判定するための閾値である。この閾値は第２照射器２８の照射強度やカメラ２４の感度などに基づいて実験的に決定するのが望ましい。なお、カメラ２４の近くの壁や窓などを傷と判定すると誤報要因となる。そこで、壁などの物体は検知せず、窓部材１３上の一定以上の傷を検知するように、ＴＨ１の値を設定するようにするのが望ましい。例えば、輝度差がとりうる値が０〜２５５として、ＴＨ１として５０が設定される。
【００４１】
上記のＴＨ２は、傷のある箇所が画面全体の何割存在すれば、傷と判断するかどうかの閾値である。この値が小さいと、ちょっとした傷や窓部材にとまった小さい虫でも傷と判定してしまい、誤報要因となる。一方、その値が大きすぎると、侵入者や異常状況を適切に判定できない。そこで、それらを考慮して適宜その値を設定するのが望ましい。例えば、ＴＨ２は６０％である。
【００４２】
上記のＮは、傷の形成状態の継続時間を評価するための閾値である。この値は、清掃時や虫の一時的な付着による誤報を除外するための適切な値に設定するのが望ましい。例えば、１８００秒に設定される。
【００４３】
上記の傷判定プロセスによれば、図７に示すように、傷が生じていない場合には、画像Ａ（１Ａ参照）と画像Ｂ（１Ｂ参照）との差分によって、差分画像Ｃ（１Ｃ参照）が取得され、その場合に輝度差（差分値）は小さい。一方、傷が生じている場合には、画像Ａ（２Ａ参照）と画像Ｂ（２Ｂ参照）との差分によって、差分画像Ｃ（２Ｃ参照）が取得され、その場合に傷などがある障害箇所についてそれ以外よりも大きな輝度差が生じる。このような原理によって、傷などの障害の判定を行える。
【００４４】
次に、図８を用いて、他の傷判定ロジックについて説明する。このプロセスも所定時間ごとに実行されるものである。
【００４５】
Ｓ２０１〜Ｓ２０３は、上記Ｓ１０１〜Ｓ１０３と同じ工程である。Ｓ２０４では、撮像画像を構成する各画素ごとに、輝度差とＴＨ１（第４閾値）とを比較し、ＴＨ１以上の輝度差がある画素を特定する。その場合、輝度差の絶対値又はそのプラス側の値を利用してもよい。
【００４６】
Ｓ２０５では、傷蓄積画像（継続性判定用の画像）Ｄの各画素ごとに、ＴＨ１以上の輝度差がある画素については、その画素に対応する所定の画素値（蓄積値）が１つインクリメントされ、ＴＨ１以上の輝度差がない画素については、その画素に対応する所定の画素値がゼロにリセットされる。なお、システム立ち上げ時には、傷蓄積画像Ｄの各画素がゼロにリセットされる。
【００４７】
Ｓ２０６では、傷蓄積画像Ｄの各画素の画素値を参照し、画素値がＭ（第５閾値）を超える画素数Ｑが演算され、Ｓ２０７では、その画素数ＱとＴＨ２（％）（第６閾値）とが比較される。Ｑが画像全画素数のＴＨ２％以上であればＳ２０８において傷異常としてアラームが出力され、一方、ＱがＴＨ２より小さければＳ２０９において正常状態が判定される。そして、上記工程が一定サイクルで繰り返し実行される。
【００４８】
上記のＴＨ１及びＴＨ２の値は、図６の説明と同様に、例えばそれぞれ５０及び６０％に設定される。上記のＭは傷らしい状態の連続回数（画素値）と比較されるものであり、カメラの視野を遮るような傷や埃あるいは虫がどの程度継続していたら異常を判定するかの閾値である。例えば経験的に３０分相当の値と設定される。
【００４９】
上記の図８に示したプロセスによれば、例えば、図９に示すように、ある時刻Ｔでは、画像Ａ（１Ａ参照）と画像Ｂ（１Ｂ参照）の差分画像Ｃに対して、傷蓄積画像Ｄ（１Ｄ参照）が取得される。画像Ｃでは虫と傷について差分が生じ、画像Ｄにそれらの輝度差による画素値が蓄積される。その後の時刻Ｔ＋１では、画像Ａ（２Ａ参照）と画像Ｂ（２Ｂ参照）の差分画像Ｃに対して、傷蓄積画像Ｄ（２Ｄ参照）が形成される。その場合に、差分画像Ｃにおいては、虫と傷の両者に輝度差が生じているが、傷蓄積画像Ｄにおいては、静的な傷についての画素値の増大が図られ、動的な虫については、過去の画素値がクリアされつつ、現在の位置に画素値が蓄積される。つまり、傷についてのみ蓄積値を上昇させることができ、その結果、虫と傷とを弁別し、傷のみについて異常の判定を行える。もちろん、長時間虫が滞在するような場合、異常と判定されるが、その場合には監視に障害が生じているため、むしろそのような異常判定を行うのが望ましい。
【００５０】
なお、上記の各手法においては、撮像画像全体を探索対象としたが、あらかじめ画像中における特定領域をユーザー選択できるようにし、その特定領域についてのみ判定を行うようにしてもよい。その場合、セキュリティ上特に重要な箇所について特定領域を設定するのが望ましい。
【００５１】
以上説明したように、本実施形態によれば、照明時の画像と非照明時の画像の一定以上の差分が一定領域以上かつ一定時間以上継続して生じた場合に異常を判定できるので、誤報や失報を防止し、画像センサの信頼性を向上できる。特に、窓部材の性状をその光学的な性質（散乱、反射、屈折など）を利用して検出できるので、高精度の判定を行えるという利点がある。
【００５２】
上記の手法と従来から採用されている各種の手法を組み合わせれば、より防犯性及び信頼性の高いシステムを構築できる。
【００５３】
当該上記の手法と従来から採用されている各種の手法の組み合わせの一例として、監視窓部材の表面に生じた監視に支障を及ぼすような傷を検知し、該傷領域を検出すると、該傷領域を監視対象から除外し監視に支障のない領域に限定して、従来から採用されている画像認識処理による侵入者検知手法を組み合わせて、侵入者検知の信頼性を大幅に向上することができる。ここで、該傷領域を監視対象から除外するには、例えば、該傷領域では２値化閾値を大きく（高く）設定すればよく、該傷以外の領域では変化を抽出できるように２値化閾値を小さく（低く）設定すればよい。
【００５４】
また、上記の手法と従来から採用されている各種の手法の他の例を組み合わせてもよい。
【００５５】
【発明の効果】
以上説明したように、本発明によれば、窓部材の表面に生じた障害（特に監視に支障を及ぼすような傷）を検出することができ、その場合に誤報や失報を効果的に防止することができるという利点がある。よって、本発明によれば、障害判定精度を高めてシステムの信頼性を向上できるという利点がある。
【図面の簡単な説明】
【図１】 本実施形態に係る画像センサを備えたシステムの概略構成を示す図である。
【図２】 本実施形態に係る画像センサの構成を示すブロック図である。
【図３】 画像センサにおける要部構成を示す概略構成図である。
【図４】 窓部材の表面に傷がつけられた状態の一例を示す図である。
【図５】 窓部材の表面に傷がつけられた状態の他の例を示す図である。
【図６】 傷検知ロジックの第１例を示すフローチャートである。
【図７】 傷検知ロジックの第１例による傷の判定を説明するための図である。
【図８】 傷検知ロジックの第２例を示すフローチャートである。
【図９】 傷検知ロジックの第２例による傷の判定を説明するための図である。
【符号の説明】
８ 警備センタ、１０ 監視部、１２ 画像センサ、１３ 窓部材（監視窓）、１４ コントローラ、２２ 演算処理部、２４ 撮像部（カメラ）、２６ 第１照射器、２８ 第２照射器、３０ 照射制御部、３２ 撮像制御部、３４ メモリ、３６ 画像演算部。

Claims (2)

1. 撮像手段と、
   前記撮像手段の前面側に設けられた窓部材と、
   前記窓部材に対して所定光を照射する照射手段と、
   前記所定光の照射時において前記撮像手段によって撮像された照射時画像と、前記所定光の非照射時において前記撮像手段によって撮像された非照射時画像の差分を演算する差分演算手段と、
   前記差分が一定時間以上継続して生じた場合に前記窓部材に生じた障害を判定する判定手段と、
   を含むことを特徴とする画像センサ。
2. 請求項１記載の画像センサにおいて、
   前記判定手段は、撮像画像における部分領域について、前記障害を判定することを特徴とする画像センサ。

Images