以下、本発明の実施の形態(以下実施形態という)について、図面に基づいて説明する。
図1は、実施形態に係る監視カメラ装置1の概略の構成を示す模式図である。監視カメラ装置1は、撮像部2、カラーセンサ4、近接センサ6、制御部8、通信部10及び記憶部12を備える。
監視カメラ装置1は基本的にはカラーカメラとして動作し、監視対象空間への人の侵入や危険などの異常の発生を監視する。撮像部2により撮影された画像は、通信部10により通信回線などを介して監視センタ(図示せず)へ伝送することができる。例えば、伝送された画像は、監視センタにて監視員が異常発生を確認するために利用される。また、撮像部2により撮影された画像は、記憶部12に記録することができる。例えば、記録された画像は、監視センタからの要求に応じて伝送される。また、監視カメラ装置1は、画策異常を検知した場合には、通信部10により監視センタに通知する。
撮像部2は、レンズなどの光学系、及びCCDイメージセンサやCMOSイメージセンサなどの撮像素子を備える。また、撮像部2は、カメラの利得制御を自動で行うゲインコントロールアンプ回路(automatic gain control:AGC)、アナログ信号をデジタル信号へと変換を行うAD変換部を備える。また、撮像部2は、デジタルシグナルプロセッサ(digital signal processor:DSP)などから構成された画像信号処理部を含み、当該画像信号処理部にてガンマ処理等の所定の画像処理を行った画像データを制御部8へ出力する。
カラーセンサ4は撮像部2の近傍に設置され、周囲光の複数の色成分の強度を計測し出力する。例えば、カラーセンサ4はそれぞれ赤(R)、緑(G)、青(B)の光に感度を有する3つの受光部を一体に構成したセンサ素子である。カラーセンサ4における或る色の受光部は、当該色の光を選択的に透過するカラーフィルタとフォトダイオードとで構成することができる。カラーセンサ4はRGB受光部により周囲光のRGBの各成分を計測し、例えばRGB比に応じて、周囲光の色を検出することができる。本実施形態では、色変化検出手段はカラーセンサ4の出力に基づいて、環境光の色の変化度合いを検出する。但し、色変化検出手段はこれに限定されない。
近接センサ6は、受光部として赤外光領域にのみ感度を有するフォトダイオードを備え、また発光部として赤外線を発する発光ダイオード(light emitting diode:LED)を備える。近接センサ6はLEDの非発光状態でフォトダイオードに入射する光量とLEDの発光状態でフォトダイオードに入射する光量とを交互に周期的に繰り返し測定しそれらの差分値を所定期間にて積分した値を出力する。例えば、近接物体が存在する場合にはLED光に対する近接物体での反射光がフォトダイオードで受光されることから、フォトダイオード出力の大きさに基づいて近接物体の有無を検知できる。本実施形態では監視カメラ装置1は近接センサ6を複数備え、それら近接センサ6は撮像部2の近傍の複数箇所における近接物体を検知する。本実施形態では4つの近接センサ6-1〜6-4を備えた例を説明する。なお、近接センサ6が1つだけである構成とすることもできる。
カラーセンサ4及び近接センサ6は小型のパッケージに一体に形成された1つのセンサ素子とすることができる。カラーセンサ4と近接センサ6とを一体化したカラー・近接センサを用いることで、監視カメラ装置1の小型化、低コスト化を図ることができる。例えば、複数の近接センサ6-1〜6-4を1つのパッケージとしたカラー・近接センサを用い、近接物体の検知を行う撮像部2近傍の複数箇所それぞれと、当該箇所に対応する近接センサ6との間を光導管で結合した構成とすることができる。
制御部8は、マイクロプロセッサ(MPU)等を用いて構成され、実行されるプログラムに応じて各種の動作を行う。例えば、制御部8は、基準値取得手段20、飽和判定手段22、色変化度判定手段24及び画策異常判定手段26として機能する。
基準値取得手段20は、所定のタイミングで近接異常判定のための基準値の設定・更新を行う。具体的には、基準値取得手段20は、監視カメラ装置1の動作開始に際して、視野が妨害されていない期間での近接センサ6の出力に基づいて基準値を設定する。例えば、この基準値の初期設定では、近接センサ6の出力が飽和状態でなければ視野妨害は生じていないとすることができる。また、ユーザが撮像部2に対し視野妨害がされていないことを確認した上で基準値の初期設定を行うこともできる。また、基準値取得手段20は、環境の時間変化に対応して基準値を更新する基準値更新手段としての機能を有する。この処理についてはさらに後述する。
飽和判定手段22は近接センサ6について所定以上の光が受光され、その出力が飽和状態であることを判定する。
画策異常判定手段26はカラーセンサ4及び近接センサ6の出力に基づいて、撮像部2を視野妨害する画策異常を判定する。
通信部10は撮像部2で撮影された画像を通信回線で接続された遠隔の監視センタ等に送信する。また、画策異常を検知すると監視センタ等に異常警報を送信する。
記憶部12は、制御部8で用いられるプログラム、基準値などのデータ、監視カメラの識別情報等の各種情報を記憶する。また、記憶部12は、撮像部2で撮影された画像を記憶する。なお、画像の記憶容量は予め設定した上限内とし、蓄積された画像の容量が当該上限に達すると古い画像を順次消去して新たな画像を記憶する構成とすることができる。
図2は監視カメラ装置1の概略の動作を説明するフロー図である。
制御部8はカラーセンサ4及び近接センサ6の計測値を取得する(ステップS001)。具体的には制御部8はカラーセンサ4のレジスタから所定の時間間隔で、RGB各色成分の強度値を取得する。また、制御部8は近接センサ6-1〜6-4それぞれから所定の時間間隔で、近接センサ6の発光部の非発光状態及び発光状態それぞれでの受光部出力の差分の積分値を近接センサの出力として取得する。
飽和判定手段22は近接センサ6の出力が飽和状態であるか否かを判定する(ステップS002)。例えば、近接センサ6ごとに飽和フラグを設け、飽和判定手段22は、4つの近接センサ6-1〜6-4のいずれかについて、発光部の発光状態での受光部出力が近接センサ6の仕様等で与えられる上限値に達している場合、当該近接センサ6は飽和状態であると判断し、当該近接センサ6の飽和フラグをオン状態に設定する。
飽和判定S002にてオン状態に設定された飽和フラグが存在しない場合(ステップS003にて「No」の場合)、近接センサ6の基準値を含む各種パラメータの値の初期化処理を行う(ステップS004)。一方、オン状態の飽和フラグが存在する場合には(ステップS003にて「Yes」の場合)、飽和状態にて初期化を行うと近接センサ6の基準値等に正常でない値が設定される可能性があるため、ステップS001に戻り、飽和状態が解消するまでステップS001〜S003の処理を繰り返す。
初期化処理S004では、基準値取得手段20が、近接センサ6の出力の基準値の初期設定を行う。当該基準値は、画策異常ではないときの複数の近接センサ6-1〜6-4の出力の合計値である。この基準値は、近接異常判定の際に近接センサ6全体の出力の変動を除去するための値であり、当該変動を除去することで誤報の抑制を図ることができる。なお、近接センサ6を1つだけとする構成では、当該基準値は1つの近接センサ6の出力により与えられる。
上述のように各近接センサ6の出力は、発光部の発光時と非発光時とでの受光部の赤外線受光量の差分値を所定時間にわたり積分した値として得られ、各近接センサ6の当該出力を合計して複数の近接センサ6の出力の合計値が求められる。
基準値取得手段20は、近接センサ6の出力に関する基準値を近接センサ6の1回の出力に基づいて算出することもできるが、本実施形態では、当該基準値として、画策異常と判定されていない期間での当該出力の平均値を算出する。平均値を用いることで、一時的なノイズ等の影響を受けにくくすることができる。
具体的には、ステップS003にて全ての近接センサ6の飽和フラグがオフ状態であることが確認された場合、画策異常は生じていないとして、制御部8は画策異常の有無を示す画策異常フラグをオフ状態に設定する。そして、基準値取得手段20は、所定の期間内にて周期的に繰り返して得られる近接センサ6の出力に基づいて、上述の出力の合計値の平均値を算出し、基準値に設定する。
また、基準値取得手段20は、個々の近接センサ6の出力に関するオフセット値について初期値を取得する。近接センサ6のオフセット値は基本的に近接物体が存在しない状態での近接センサ6の出力で与えられる。なお、当該出力は上述のように発光部の非発光状態での受光部出力に対する発光状態での受光部出力の差分の積分値である。例えば、近接センサ6ごとに光導管の伝達効率などに差異が存在し得、オフセット値は当該差異の影響を補正、除去するために近接センサ6ごとに設定する。本実施形態では、出力のばらつきの影響を低減するために、所定期間内にて近接センサ6の出力を繰り返し取得してその平均値を算出し、これをオフセット値とする。初期化処理S004では、監視カメラ装置1の動作開始前における所定期間での平均値を求めてオフセット値の初期値とする。
また、制御部8は初期化処理S004にて例えば、画策異常判定に用いる近接異常判定回数を初期値である0に設定し、色変化判定に用いるカラーセンサ4の出力値として現在の値を保存する。また、後述する処理で使用する各種の状態値なども初期値に設定される。例えば、カラーセンサ変動フラグがオフ状態に設定される。
初期化処理S004後、監視カメラ装置1は画策異常の検知を行いつつ、監視対象空間の画像監視を行う。画像監視中は、制御部8は基準値取得手段20により、近接センサ6の出力の基準値を更新する処理を行い(ステップS005)、またステップS001と同様に、カラーセンサ4及び近接センサ6の計測値を取得する(ステップS006)。
制御部8は飽和判定手段22により、近接センサ6が飽和状態であるかの判定を行う(ステップS007)。当該判定はステップS002と同様に行われ、いずれかの近接センサ6が飽和していれば当該近接センサ6の飽和フラグがオン状態に設定される。
飽和フラグがオン状態とされていない場合(ステップS008にて「No」の場合)、制御部8は色変化度判定手段24による色変化判定処理を行い(ステップS009)、しかる後、画策異常判定手段26による画策異常判定処理を行う(ステップS010)。画策異常判定処理S010にて画策異常フラグがオフ状態に維持された場合には(ステップS011にて「No」の場合)、制御部8は処理をステップS005に戻し、初期化処理S004よりも後の処理を繰り返す。
一方、画策異常フラグがオン状態に設定された場合(ステップS011にて「Yes」の場合)、制御部8は通信部10を介して監視センタ等へ異常通報を送信し、画策異常が検出されたことを外部通知する(ステップS012)。この場合は、制御部8は、監視センタ等の対処・レスポンスに要する時間を考慮して設定された所定時間の経過を待ってから(ステップS013)、ステップS001に戻り、初期化処理S004を含めた処理を繰り返す。
飽和フラグがオン状態であった場合は(ステップS008にて「Yes」の場合)、制御部8はステップS006に戻る。つまり、飽和状態では近接センサ6の基準値は適切に設定されない可能性があるため、基準値更新処理S005は行わずに、基本的に、飽和状態が解消するまでステップS006〜S008の処理を繰り返す。
図3は基準値取得手段20による近接センサ6の出力の基準値の更新処理(図2のステップS005)の概略のフロー図である。
基準値取得手段20は、所定時間間隔で近接センサ6から得られる出力に基づいて、基準値更新処理用に用意した所定サイズのバッファメモリに、基準値の算出に用いるデータを順次記憶し蓄積する。蓄積データ量がバッファメモリの容量上限に達すると、古いデータから順に消去して新たなデータを記憶する。
具体的には、基準値更新処理S005では、近接センサ6から新たな出力値が得られると、それに基づくデータをバッファメモリに追加し(ステップS101)、基準値更新カウントをインクリメントする(ステップS102)。ここで、バッファメモリに記憶されるデータは、4つの近接センサ6それぞれの出力値及びそれらの合計値を含む。なお、基準値更新カウンタは例えば、監視カメラ装置1の起動時には0に初期設定される。
基準値更新カウントが所定の更新閾値未満である間は、基準値の更新は保留され、処理は図2のステップS006に進む(ステップS103にて「No」の場合)。ここで、更新閾値は、基準値を更新する所望の時間間隔に基づいてユーザが設定することができる。
基準値更新カウントが更新閾値に達した場合には(ステップS103にて「Yes」の場合)、基準値更新フラグがオン状態であれば(ステップS104にて「Yes」の場合)、基準値が更新される(ステップS105)。ここで、基準値更新フラグは、画策異常が生じているおそれがある場合に、基準値の更新を抑制するためのものであり、当該フラグがオフ状態である場合には(ステップS104にて「No」の場合)、基準値更新処理S105は行われない。
基準値の更新処理S105では、近接センサ6の出力の基準値及び個々の近接センサ6の出力のオフセット値が更新される。近接センサ6全体の基準値は、初期化処理S004で説明したように、本実施形態では複数の近接センサ6-1〜6-4の合計出力に関する基準値である。更新処理S105では基準値更新フラグはオン状態であり、近接センサ6からは画策異常ではない状態での出力が得られる。よって、更新処理S105にて基準値取得手段20は、画策異常ではない期間での近接センサ6の合計出力の平均値を求め、当該平均値で近接センサ6の出力の基準値を更新する。なお、本実施形態では、上述したように、近接センサ6の出力は、発光部の発光時の赤外線受光量から非発光時の赤外線受光量を引いた差分値の所定時間内における積分値として得られるので、近接センサ6の合計出力は各近接センサ6の当該出力値の合計により求める。
また、基準値取得手段20は近接センサ6の出力のオフセット値を、初期化処理S004と同様にして求めて更新する。
上述のように、基準値更新フラグがオンであれば更新処理S105が実行され、一方、オフであれば更新処理S105は実行されないが、いずれの場合も基準値更新カウントがクリアされる(ステップS106)。つまり、基準値更新カウントが更新閾値に達した場合には(ステップS103にて「Yes」の場合)、基準値取得手段20は、基準値の更新処理S105の実行の有無にかかわらず基準値更新カウントを0にリセットして処理を図2のステップS006に進める。
図4は色変化度判定手段24による色変化判定処理(図2のステップS009)の概略のフロー図である。色変化度判定手段24は現在のカラーセンサ4の出力を取得する(ステップS201)。具体的には、カラーセンサ4が検知するRGB各成分の強度値を取得する。
色変化度判定手段24は、ステップS201で取得した現在のカラーセンサ4の出力と、前回処理時のカラーセンサ4の出力とに基づいて、カラーセンサ4の出力の変動を評価し、当該変動が所定の閾値以上である場合(ステップS202にて「Yes」の場合)、カラーセンサ変動フラグをオン状態に設定する(ステップS203)。色変化度判定手段24は例えば、RGB成分のいずれかの値について現在と前回との差が閾値以上であれば、カラーセンサ4の出力の変動が閾値以上であると判断することができる。また、色変化度判定手段24は、RGB値を色相・彩度・明度などを用いる他の表色系の座標値に変換し、当該座標値の変化量に基づいて、カラーセンサ4の出力の変動を判断することもできる。
一方、カラーセンサ4の出力の変動が閾値未満である場合(ステップS202にて「No」の場合)、ステップS203はスキップされ、カラーセンサ変動フラグは初期化処理S004で設定されたオフ状態に保たれる。
色変化度判定手段24は上述の処理を行うと、現在のカラーセンサ4の出力データを次回の処理のために前回処理時のカラーセンサ4の出力データとして保存した後(ステップS204)、図2のステップS010に処理が進む。なお、初回の色変化判定処理S009における出力の変動の評価処理S202では、色変化度判定手段24は、前回のカラーセンサ4の出力データとして、初期化処理S004で保存したデータを用いる。
図5は画策異常判定手段26による画策異常判定処理(図2のステップS010)の概略のフロー図である。画策異常判定手段26は、近接センサ6の出力が所定の第1閾値以上であることを第1の判定基準とする。例えば、撮像部2の視野を遮る材料が近接センサ6が発する赤外光を十分に反射する物である場合に第1の判定基準が満たされ得る。また、画策異常判定手段26は、近接センサ6の出力が第1閾値より低い所定の第2閾値以上であり、かつ、色の変化度合いが所定の色変化閾値以上であることを第2の判定基準とする。例えば、撮像部2の視野を遮る材料が近接センサ6が発する赤外光に対し半透過性や吸光性を有するものである場合、第1の判定基準を満たさないことが起こり得る。第2の判定基準はこのような場合のマスク画策を検出するためのものである。
まず、画策異常判定手段26は近接センサ6の出力が第1の判定基準を満たすか否かを判断する(ステップS301)。本実施形態では、画策異常判定手段26は、近接センサ6-1〜6-4の出力の合計値を算出し、当該合計値が第1の判定基準を満たすか否かを判断する。その際、本実施形態では、ステップS105で求めた近接センサ6全体の基準値を考慮することができ、例えば、近接センサ6-1〜6-4の出力の合計値と当該基準値との差の絶対値を第1閾値と比較する。
第1の判定基準を満たす場合は(ステップS301にて「Yes」の場合)、撮像部2に対する視野妨害がされている可能性があり、画策異常が生じているおそれがある状態とすることができる。
一方、画策異常判定手段26は第1の判定基準が満たされない場合には(ステップS302にて「No」の場合)、第2の判定基準が満たされるかを調べる。つまり、画策異常判定手段26は、第2の判定基準に関し、カラーセンサ変動フラグがオン状態であるという条件(ステップS302)と、近接センサ6の出力が第1閾値より低い所定の第2閾値以上であるという条件(ステップS303)とを判断し、両条件が満たされる場合(ステップS302及びS303にて「Yes」の場合)、第2の判定基準を満たすとする。この場合も撮像部2に対する視野妨害がされている可能性があり、画策異常が生じているおそれがある状態とすることができる。なお、ステップS303における近接センサ6の出力は上述したステップS301のものと同様に定義される。
画策異常判定手段26は、第1の判定基準を満たす場合(ステップS301にて「Yes」の場合)、及び第2の判定基準を満たす場合(ステップS302及びS303にて「Yes」の場合)を直ちに画策異常とは判定せず、暫定的に近接センサ6が異常を検知している状態(近接異常状態)として扱い、当該近接異常状態が所定期間継続した場合に画策異常と判定する。近接異常状態の継続期間を測るために近接異常判定回数が用いられ、画策異常判定手段26は第1又は第2の判定基準が満たされている場合に近接異常判定回数をインクリメントする(ステップS304)。
画策異常判定手段26は、近接異常判定回数が所定回数(画策異常プレ閾値)以上であると(ステップS305にて「Yes」の場合)、基準値更新フラグをオフ状態に設定する(ステップS306)。これにより、近接異常検知中における基準値の更新処理(図2のS105)が抑制される。画策異常プレ閾値は例えば1に設定することができる。
さらに、近接異常判定回数が画策異常閾値以上である場合(ステップS307にて「Yes」の場合)、画策異常判定手段26は画策異常フラグをオン状態に設定して(ステップS308)、処理を図2のステップS011に進める。
一方、第1の判定基準及び第2の判定基準のいずれも満たされない場合(ステップS302又はS303にて「No」の場合)、画策異常判定手段26は近接異常判定回数を0にリセットし(ステップS309)、また、カラーセンサ変動フラグがオンである場合にはそれをオフ状態にリセットして(ステップS310)、処理を図2のステップS011に進める。ちなみにこの場合、画策異常フラグは初期設定されたオフ状態に保たれる。
近接異常判定回数が画策異常プレ閾値未満である場合(ステップS305にて「No」の場合)、画策異常判定手段26は、基準値更新フラグを初期設定されたオン状態に維持したまま、処理を図2のステップS011に進める。ちなみにこの場合、画策異常フラグは初期設定されたオフの状態である。
近接異常判定回数が画策異常閾値未満である場合(ステップS307にて「No」の場合)、画策異常判定手段26は、画策異常フラグを初期設定されたオフ状態に維持したまま、処理を図2のステップS011に進める。ちなみにこの場合、基準値更新フラグはステップS306にてオフ状態に設定されている。
ここで、近接センサ6を複数備える本実施形態では、複数の近接センサ6のうち、第1閾値より低く設定された第3閾値以上の出力を有するものの個数が予め定めた複数個以上であることを第3の判定基準として、第1の判定基準に代えて第1及び第3の判定基準が満たされた場合を画策異常が生じているおそれがある状態とし、また第2の判定基準に代えて第2及び第3の判定基準が満たされた場合を画策異常が生じているおそれがある状態とする構成としてもよい。
ステップS301又はS303における近接センサ6の全体の出力が閾値以上となる事象は、虫や雨粒などにより撮像部2の視野の一部分が遮られる場合でも生じ得る。この点、撮像部2の近傍の複数箇所にて近接センサ6の出力が増大したが検知されれば、広い視野が遮られていることが推定され、虫や雨粒などの画策に関する誤報事象を排除することが可能である。第3の判定基準はこの観点での判定基準である。例えば、本実施形態では、第3閾値以上の出力を有する近接センサ6の個数を4とする。つまり、4つの近接センサ6の全てが第3閾値以上の出力を有することを第3の判定基準とすることができる。
また、第3の判定基準において近接センサ6の出力を第2閾値と比較する際に、本実施形態では、ステップS105で求めた当該近接センサ6の出力のオフセット値を考慮する。具体的には、近接センサ6の出力から当該近接センサ6のオフセット値を減算した結果を、予め設定された第3閾値と比較する。なお、複数の近接センサ6同士で出力にずれが存在することを考慮して第3閾値は近接センサ6ごとに設定することができるが、本実施形態のように近接センサ6ごとのオフセット値を減算した出力を用いる場合には、第3閾値は複数の近接センサ6にて共通とすることもできる。
なお、ステップS301及びS303にて近接センサ6の出力は近接センサ6-1〜6-4の合計としたが、近接センサ6を1つだけとする構成では、ステップS301及びS303は当該1つの近接センサ6の出力に基づいて判定される。
上述したように、監視カメラ装置1は、近接センサ6が発する赤外光の一部強度を透過したり吸収したりする材料で撮像部2の視野が遮られた場合でも、当該材料の有無で生じ得る撮像部2の画像の色の変化をカラーセンサ4で検知することで、マスク画策行為を好適に検知できる。
なお、本実施形態では近接センサ6は赤外光を投受光するものとしたが、音波(超音波を含む)、マイクロ波、ミリ波を送受信して近接物体を検知するものであってもよい。
さらに、監視カメラ装置1にて近接センサ6を省略した構成とすることもできる。すなわち、上述の実施形態におけるカラーセンサ4及び近接センサ6のうちカラーセンサ4のみを用い、画策異常判定手段26は、カラーセンサ4の出力に基づいて、撮像部2の画像における色の変化度合いが所定の色変化閾値以上であることに基づいてマスク画策行為がされた異常を判定する構成とすることができる。