JP4629090B2 - カメラ・タンパリング検出 - Google Patents

Description

本発明はカメラ・タンパリング（ｔａｍｐｅｒｉｎｇ）を検出する方法、カメラ・タンパリングを検出するモジュール、および、監視カメラのタンパリングを検出する監視カメラに関するものである。

建物や特に関心のある地域やプロセスを監視するためのカメラを含む監視システムは、関心のある画像視界からの頻繁に更新される画像を与えるのに、すなわち、関心のある環境のビデオ・シーケンスを与えるのに広く用いられる。カメラを用いて監視するときの１つの問題は、カメラからの画像視界が覆われたり、何らかの他の方法で邪魔されたり変えられたりすることである。例えば、カメラのレンズが、ペンキ、粉末、水蒸気、布切れなどにより故意にまたは故意でなく覆われたり、またはカメラの向きが故意にまたは故意でなく変えられて関心のないカメラ視界が現われたり、カメラが除去されたり、カメラがひどく焦点ぼけしたりすることがある。特に監視を行う場合にはカメラのタンパリングは好ましくなく、例えば、破壊行為や、犯罪の準備や、単なる不注意の結果になる可能性がある。どちらにしても、タンパリングされると監視カメラの用途が制限されることがある。

このようにいろいろな方法でカメラ視界が邪魔されまたはタンパリングされると、カメラは関心のないビデオ・シーケンスを送ったり重要な事象を隠したりする。したがって、カメラが邪魔されたりタンパリングされたりしたときに自動的に警告しまた警報を発することが重要である。

カメラの機能障害を検出する１つの方法が、Ｈａｒａｓｓｅ Ｓ．他の「自動的なカメラ機能障害の検出（Ａｕｔｏｍａｔｅｄ Ｃａｍｅｒａ Ｄｙｓｆｕｎｃｔｉｏｎ Ｄｅｔｅｃｔｉｏｎ）」、画像分析および解釈に関するシンポジウム、２００４（Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ ａｎｄ Ｉｎｔｅｒｐｒｅｔａｔｉｏｎ，２００４）、６ｔｈ ＩＥＥＥ Ｓｏｕｔｈｗｅｓｔ，２００４年３月、ｐｐ３６−４０、に記述されている。この文献によると、カメラの機能障害はカメラの位置ずれ、妨害、または焦点ぼけを検出することにより検出される。カメラの機能障害を検出するプロセスは、Ｔフレームの画像シーケンスの各フレームからの強いエッジをプレアキュミュレータ内に蓄積することを含む。次に、Ｎプレアキュミュレータを生成して記憶する。このＮプレアキュミュレータから一時的アキュミュレータを生成する。一時的アキュミュレータを更新するには、新しいプレアキュミュレータを生成し、最も古いプレアキュミュレータを一時的アキュミュレータから除き、新しいプレアキュミュレータを一時的アキュミュレータに追加する。カメラの位置ずれを検出するには、一時的アキュミュレータと同様にして生成された基準アキュミュレータと現在のアキュミュレータとを、ブロック・マッチング・アルゴリズムを用いて付き合わせる。このアルゴリズムは２つのアキュミュレータの間の正規化された相関を最大にし、基準アキュミュレータと現在のアキュミュレータとの相対的なずれを識別する。障害物の検出は、画像空間を複数のブロックに分割し、エントロピーを測定して各ブロック内の情報の量を推定することにより行う。焦点の変化は、安定なエッジがあるところだけの勾配エネルギーを計算することにより検出する。

上記の機能障害検出法では、画像フレームおよび種々のタイプのアキュミュレータを記憶するために大量のメモリが必要である。また、検出には大量の処理容量が必要でありまた複雑である。

本発明の目的はカメラ視野のタンパリングの識別を改善することである。
この目的は、請求項１に記載のカメラ視界のタンパリングの可能性を識別する方法と、請求項１２に記載のカメラのタンパリングの可能性を識別するモジュールと、請求項２１に記載の前記モジュールを含む監視カメラと、請求項２２に記載の前記方法を実行する監視カメラと、請求項２５に記載のコンピュータ・プログラムとにより達成される。本発明の別の実施の形態は従属クレームに開示されている。

詳しく述べると、本発明の第１の態様の１つの実施の形態では、カメラ視界のタンパリングの可能性を識別する方法は、分析のための画像を画像シーケンスから受け、受けた画像をエッジ画像に変換し、このエッジ画像と基準エッジ画像との類似性のレベルを示す類似性値を生成することを含む。この方法は更に、類似性値が所定のタンパリング範囲内にある場合はカメラ視界のタンパリングの可能性があることを示し、予め決められた数の連続して分析した画像の１つ１つがタンパリングの可能性を示さない場合は最近分析したエッジ画像と基準エッジ画像とを結合することにより基準エッジ画像を更新することを含む。

本発明の第２の態様の１つの実施の形態では、カメラ・タンパリングの可能性を識別するモジュールは、分析のための画像を画像シーケンスから受ける手段と、受けた画像をエッジ画像に変換するエッジ画像発生器とを備える。このモジュールは更に、このエッジ画像と基準エッジ画像との類似性のレベルを示す類似性値を生成しまたこの類似性値が所定のタンパリング範囲内にある場合はカメラ視界のタンパリングの可能性があることを示す相関評価器と、予め決められた数の連続して分析した画像の１つ１つがタンパリングの可能性を示さない場合は最近分析したエッジ画像と基準エッジ画像とを結合することにより基準エッジ画像を更新する基準エッジ画像更新器とを備える。

上記の方法およびモジュールの利点は、両者が必要とするメモリの量が共に小さいこと、両者が共に簡単であること、および両者が必要とする処理容量が共に小さいことである。別の利点は、上記の方法およびモジュールがイメージ・センサからの画像の全ては分析する必要がないことであり、また画像シーケンスの２つの分析画像の間に一定数のフレームがあることも必要でないことである。これにより上記の方法およびモジュールは強くなり、また他の重要なタスクを優先させるかも知れないシステム内で使用することができる。
上記の方法およびモジュールの別の利点は、任意の時点にメモリ内に記憶する必要があるのは上記の方法およびモジュールが用いる２つの画像だけであることである。

本発明の第１の態様の別の実施の形態では、エッジ画像に変換する画像の解像度を下げる。本発明の第２の態様では、これをスケーリング手段により行う。
解像度を下げることにより得られる利点は、振動やミラーの動きに対してタンパリング検出の感度が低くなり、タンパリング検出に必要な処理容量が小さくなり、また必要なメモリの量が更に小さくなることである。

更に別の実施の形態では、この方法は、画像シーケンスの少なくとも１つの連続した画像を分析のために選択しなかった後にだけ、新しい画像を分析のために選択することを含む。このため、タンパリングの識別に用いる処理容量は更に小さくなる。
別の実施の形態では、この方法は、カメラ視界のタンパリングの可能性の前記表示によりカウンタｎ_ptがカウントすることを更に含む。
更に別の実施の形態では、この方法は、カウンタｎ_ptが予め決められた警報限界に達した場合は警報信号を生成することを更に含む。警報を発する前に複数のカメラ・タンパリングの可能性の表示が必要なので、監視カメラのタンパリングの結果ではない時々発生する障害に対するこのシステムの感度は低くなる。

別の実施の形態では、この方法は、前記類似性値が前記タンパリング範囲内にないときはカウンタｎ_ntがカウントし、また現在分析した画像によりカウンタｎ_ntがカウントしかつ前に分析した画像によりカウンタｎ_ptがカウントした場合はカウンタｎ_ptをリセットすることを更に含む。分析の結果タンパリングがないと示されたときに、タンパリングの可能性がある分析画像をカウントするカウンタｎ_ptをリセットするので、予め決められた数の連続して分析した画像がタンパリングの可能性を示す場合にだけ警報をトリガする。この方法の利点は、複数の時々発生する障害が２度以上起こりかつ時々発生する障害の間はカメラ視界が邪魔されなかった場合は、感度が低くなることである。

別の実施の形態では、現在分析した画像によりカウンタｎ_ptがカウントしかつ前に分析した画像によりカウンタｎ_ntがカウントした場合は、カウンタｎ_ntをリセットする。
更に別の実施の形態では、カウンタｎ_ntが予め決められた更新限界を超えてカウントした場合は基準エッジ画像の前記更新を行う。基準エッジ画像を更新すると強くかつ安定になるので、これは都合がよい。
別の実施の形態では、最近分析したエッジ画像と基準エッジ画像とを結合することにより基準エッジ画像を更新することは、最近分析したエッジ画像に第１の係数を掛けたものと基準エッジ画像に第２の係数を掛けたものとを結合することを含む。この機能も基準エッジ画像を安定させるかも知れない。なぜなら、新しい基準画像は更新に用いるエッジ画像により部分的に影響を受けるだけだからである。

更に別の実施の形態では、第１の係数の値は１より小さく、第２の係数の値は１から第１の係数を引いた値に対応する値である。
本発明の別の態様では、本発明の方法またはモジュールは監視カメラに用いてよい。本発明に係る方法またはモジュールは制限された資源を用いる環境で動作してよく、したがって監視カメラで実現するとよい。

本発明の他の機能および利点は、添付の図面を参照して好ましい実施の形態の以下の詳細な説明を読めば明らかになる。
本発明が適用可能な別の範囲は以下に述べる詳細な説明から明らかになる。しかし理解すべきであるが、この詳細な説明および特定の例は本発明の好ましい実施の形態を示すものではあるが単なる例示である。なぜなら、この詳細な説明から本発明の精神および範囲内の種々の変更および修正が当業者に明らかになるからである。

本発明の１つの実施の形態では、カメラ・タンパリングの可能性の検出は監視カメラが生成する画像シーケンスからの画像の分析に基づく。図１に示すように、監視カメラ１０，２０は、ネットワーク１２を介して監視センタ１４、クライアント・コンピュータ１６、および／またはビデオ・サーバ１８に接続される。この図は監視カメラ１０と相互作用してよい種々の手段を単に示すためのものである。監視カメラ１０は画像シーケンスを生成することができる任意のディジタル・カメラ１０でよく、また監視カメラ２０は画像シーケンスを生成しかつ変換器２２に接続される任意のアナログ・カメラ２０でよい。変換器２２はアナログ画像情報をディジタル画像データに変換してディジタル画像データをネットワーク１２に与える。以下の説明では監視カメラ１０だけを参照するが、監視カメラ１０は、任意の１つのディジタル・カメラ１０か、またはアナログ・カメラ２０と変換器２２とを結合したものであると理解していただきたい。監視カメラがアナログ・カメラの場合は、カメラ・タンパリング検出は変換器内で行う。

１つの実施の形態では、カメラはネットワーク１２を介して転送する画像シーケンスを生成する監視カメラである。例えば、監視カメラ１０はコンピュータ・ネットワークを介して画像シーケンスを送ることができるディジタル・カメラでよい。監視カメラ１０は、特定のクライアント・コンピュータ１６、監視センタ１４、またはビデオ・サーバ１８と直接通信するように配置してよい。ビデオ・サーバ１８は監視カメラからの画像シーケンスを記憶し、処理し、および／または中継するためのサーバでよい。したがって、ビデオ・サーバ１８は監視カメラ１０からの情報を監視センタ１４および／またはクライアント・コンピュータ１６に与えてよい。

本発明のカメラ・タンパリング検出は監視カメラ１０が捕らえた画像シーケンスからの画像の分析に基づく。前記画像の分析は監視カメラ１０内で、監視センタ１４内で、クライアント・コンピュータ１６内で、またはビデオ・サーバ１８内で行ってよい。しかし、タンパリング検出は監視カメラ内で行うのが都合がよい。なぜなら、多くの帯域幅を用いるトラッヒックをネットワークにロードせずにカメラ・タンパリング検出を行うからである。したがって、ユーザが画像シーケンスを連続して受けることに関心のない応用に、例えば、カメラ視界内で何かが起こった場合にだけユーザが画像シーケンスを受けるという応用に、この利点は特に関連がある。帯域幅を節約しまたはシステムの拡張性を容易にするには、画像シーケンスを無差別に送らないシステムを用いるとよい。なぜなら、かかるシステムに別の監視カメラを追加するのは容易だからである。
以下の説明では、カメラ・タンパリング検出を主として監視カメラ内で行うものとして述べる。しかし、本発明はかかる実施の形態に限定されるものではない。

図２は本発明を実現するディジタル監視カメラ５０の略図を示す。本発明を理解しやすくするため、監視カメラの本発明に関係のない標準機能については説明しない。監視カメラ５０は、イメージ・センサ５２（例えば、入射光を記録するための電荷結合素子（ＣＣＤ）、ＣＭＯＳセンサまたは同等物）、画像処理手段５４、カメラ・タンパリング検出モジュール６０、メモリ８０、カメラ・コントローラ８２、およびネットワーク・インターフェース８４を含む。

画像処理手段５４は記録された光に関する情報を受け、Ａ／Ｄ変換器および信号処理手段５６によりこの情報を処理する。これは当業者に周知である。或る実施の形態（例えば、イメージ・センサ５２がＣＭＯＳセンサ）では、イメージ・センサ５２がＡ／Ｄ変換器を含むので画像処理手段５４内にＡ／Ｄ変換器は必要ない。Ａ／Ｄ変換器および信号処理手段５６からの結果はディジタル画像データである。１つの実施の形態では、このデータをスケーリング・ユニット５７で処理した後、エンコーダ５８で処理する。スケーリング・ユニット５７はディジタル画像データを処理して特定のサイズの少なくとも１つの画像を生成する。しかし、異なるサイズの複数の画像で、全てがＡ／Ｄ変換器および信号処理手段５６から与えられる同じ画像／フレームを表す画像を生成してもよい。別の実施の形態では、スケーリング・ユニットの機能はエンコーダが行ってよい。また更に別の実施の形態では、イメージ・センサからの画像のスケーリングまたはサイズ変更は一切行う必要がない。

エンコーダ５８はディジタル画像データを符号化して、連続ビデオ・シーケンス用の、限定されたビデオ・シーケンス用の、静止画像用の、またはストリーミング画像／ビデオ用の、複数の周知のフォーマットの任意の１つを生成してよい。例えば、画像情報を符号化して、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４、ＪＰＥＧ、ビットマップなどを生成してよい。

カメラ・タンパリング検出は、ハードウエアまたはソフトウエアで実現されるカメラ・タンパリング検出モジュール６０で実現してよい。カメラ・タンパリング検出モジュールは、エッジ画像発生器６２、相関評価器６４、タンパリングされた可能性のある画像視界を表すと決定されたエッジ画像をカウントするカウンタ６６、タンパリングされない画像視界を表すエッジ画像をカウントするカウンタ６８、警報発生器７０、および基準エッジ画像更新器７２を含む。カメラ・タンパリング検出モジュール６０のエッジ画像発生器６２は画像データをスケーリング・ユニット５７から受ける。または、画像データのスケーリングをどこで行うかに従って、エッジ画像発生器６２は画像データを、スケーリング・ユニット５７、エンコーダ５８、またはＡ／Ｄ変換器および信号処理手段５６から受けてよい。カメラ・タンパリング検出モジュール６０が監視カメラ５０内に埋め込まれない場合は、エッジ画像発生器６２は図示していないネットワーク接続から画像データを受けてよい。また、エッジ画像発生器６２は検索した画像（すなわち、分析する画像）のエッジ画像（すなわち、輪郭が強化された画像）を生成する。検索した画像を処理する前に、検索した画像の解像度は下げてある。これはスケーリング・ユニット５７、エンコーダ５８、またはエッジ画像発生器６２により行ってよい。次に、生成したエッジ画像をメモリ８０内に一時的に記憶する。

また相関評価器６４は、メモリ８０内に記憶されている前記生成したエッジ画像およびメモリ８０内に記憶されている基準エッジ画像に相関操作を行う。相関操作を行うと類似性値が生成される。また相関評価器６４は類似性値および予め決められた類似性のレベルに基づいて、生成したエッジ画像が表す画像視界がタンパリングされた監視カメラのものかタンパリングされない監視カメラのものかを決定する。

また相関評価器６４は、恐らくタンパリングされた画像視界を表す分析エッジ画像をカウンタ６６にカウントさせ、またタンパリングされない画像を表す分析エッジ画像をカウンタ６８にカウントさせる。これは、前記決定に従って相関評価器６４がカウント信号を関係するカウンタ６６または６８に送ることにより行ってよい。カウンタは、恐らくタンパリングされた画像視界を表す分析エッジ画像およびタンパリングされない画像視界を表す分析エッジ画像のそれぞれの連続した発生回数をカウントする。したがって相関評価器６４は、現在分析したエッジ画像が前に分析したエッジ画像と異なると決定される度にカウンタ６６，６８をリセットする。

警報発生器７０は、カウンタ６６が予め決められたカウント数に達するかまたは超えると、カメラ・タンパリングの可能性があることを示す信号を生成する。これに従って、予め決められた数の連続して分析した画像の１つ１つが恐らくタンパリングされたカメラ視界を表すと決定された場合にだけ、カメラ・タンパリングの可能性があることを示す信号を生成する。警報信号はカメラ・コントローラに送られて監視カメラ上に表示され、またはかかる警報を監視する人または本部に送られる。警報は、例えば、監視センタに、クライアント・コンピュータに、または携帯電話に送られる。

基準エッジ画像更新器７２は、カウンタ６８が予め決められたカウント数に達するかまたは超えると基準エッジ画像を更新する。したがって、予め決められた数の連続して分析した画像の１つ１つがタンパリングされないカメラ視界を表すと決定された場合にだけ、基準エッジ画像を更新する。

監視カメラは更に、カメラ・コントローラ８２およびネットワーク・インターフェース８４を備える。カメラ・コントローラは監視カメラの一般的な機能性を制御し、またネットワーク・インターフェース８４を介して送る情報を調整する。カメラ・タンパリングの可能性を示す信号を警報発生器７０が生成すると、カメラ・コントローラ８２はカメラ・タンパリングの可能性の表示を、ネットワークに接続される装置に転送してよい。前記表示は、クライアント・コンピュータ、監視センタ、ビデオ・サーバ、またはこの表示をユーザに示すための任意の他の装置に転送してよい。

図３は可能性のあるカメラ・タンパリングを検出する方法の１つの実施の形態を記述する。ステップ１０２で、画像シーケンスを形成する画像は監視カメラのイメージ・センサにより連続的に捕らえられ、監視カメラの画像処理手段に与えられる。ステップ１０４で、分析する画像の解像度を下げる。画像の解像度を下げるには当業者に周知の任意の方法を用いてよい。解像度を下げる１つの方法は、ｎｘｍブロックの画素を単一の画素に置き換えることである。ただし、ｎおよびｍは望ましい解像度を与えるよう選択する。また、ｎとｍとは同じでよい。単一の画素はブロックの画素の平均値を表してよい。別の方法は、ＪＰＥＧ標準に従って符号化された画像の各ＪＰＥＧブロックから平均値を取り出して、各ＪＰＥＧを単一の画素で表すことである。

画像の解像度を下げることの１つの利点は、監視カメラの小さな動き（例えば振動や風などによる）に対してこの検出法が強くなることである。別の利点は、この検出法が必要とするメモリおよび処理パワーが小さくなることである。
ステップ１０６で、分析する画像内の物体のエッジを検出する。言い換えると、分析する画像内の輪郭を識別する。次に分析する画像からエッジ画像Ｉ₁を生成する。すなわち、画像Ｉ₁は、分析する画像内の輪郭を実質的に増幅した画像である。画像内のエッジを検出する方法またエッジ画像を生成する方法は当業者に周知であり、ディジタル画像処理（Ｄｉｇｉｔａｌ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ）、第２版（Ｇｏｎｚａｌｅｚ，Ｒ．Ｃ，およびＷｏｏｄｓ，Ｒ．Ｅ．）、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ，２００２年、に記述されている。

次にステップ１０８で、生成したエッジ画像Ｉ₁と基準エッジ画像Ｉ₂とを相関させて相関値Ｃ（Ｉ₁，Ｉ₂）を得る。相関は当業者に周知の複数の相関法の任意の１つにより行ってよい。１つの可能な方法は次の方程式、

による正規化された相関を用いることである。

次にステップ１１０で、相関値Ｃ（Ｉ₁，Ｉ₂）と相関しきい値Ｃ_Tとを比較する。相関しきい値Ｃ_Tはタンパリングの可能性のある画像視界を示す値に設定する。
相関値Ｃ（Ｉ₁，Ｉ₂）が相関しきい値Ｃ_Tより小さい場合は、プロセスはステップ１１２に進む。この結果は、エッジ画像Ｉ₁と基準エッジ画像Ｉ₂との相関が小さくて２つの画像の類似性が小さいかまたは存在しないことを意味する。この実施の形態では、かかる結果はカメラ視界のタンパリングの可能性があることを示す。

相関値Ｃ（Ｉ₁，Ｉ₂）が相関しきい値Ｃ_Tより大きいかまたは等しい場合は、プロセスはステップ１１４に進む。この結果は、エッジ画像Ｉ₁と基準エッジ画像Ｉ₂との相関が大きくて２つの画像の類似性が大きいかまたは完全であることを意味する。この実施の形態では、かかる結果はカメラ視界のタンパリングがないことを示す。
したがって、ステップ１１０で相関値Ｃ（Ｉ₁，Ｉ₂）がタンパリングの可能性を示す場合は、プロセスはステップ１１２に進み、その前の相関値がタンパリングのない画像視界を示すかどうか、すなわちその前のＣ（Ｉ₁，Ｉ₂）≧Ｃ_Tかどうかチェックする。

ステップ１１２で、その前に分析したエッジ画像の分析からの相関値Ｃ’（Ｉ₁，Ｉ₂）がタンパリングのない画像を示した場合は、ステップ１１６で、連続して分析したタンパリングのない画像の数をカウントするカウンタｎ_ntをリセットする。この実施の形態では、リセットするにはカウンタｎ_ntをゼロにセットする、すなわちｎ_nt＝０にする。タンパリングの可能性があることを相関値が示すとカウンタｎ_ntをリセットするので、このカウンタは、タンパリングのない視界を表すと決定された連続して分析した画像の中断されないシーケンスだけをカウントすることが保証される。カウンタｎ_ntをリセットすると、プロセスはステップ１１８に進む。これについては後で説明する。

ステップ１１２で、現在の相関値Ｃ（Ｉ₁，Ｉ₂）だけでなくその前の相関値Ｃ’（Ｉ₁，Ｉ₂）も分析画像のカメラ・タンパリングの可能性があることを示す場合は、プロセスはステップ１１８に直接進み、タンパリングの可能性がある画像である連続して分析した画像の数をカウントするカウンタｎ_ptは、現在分析した画像をタンパリングの可能性がある画像としてカウントする。この実施の形態では、カウンタｎ_ptを単に１だけ増やす、すなわち、ｎ_pt＝ｎ_pt＋１。

したがって、現在の相関値Ｃ（Ｉ₁，Ｉ₂）がカメラ・タンパリングの可能性があることを示すと、カウンタｎ_ptは必ずカウントする。しかし現在の相関値Ｃ（Ｉ₁，Ｉ₂）がカメラ・タンパリングの可能性があることを示す相関値Ｃ（Ｉ₁，Ｉ₂）を有する分析画像の可能なシーケンスの最初の値である場合は、プロセスは、画像視界のタンパリングがないことを示す分析結果をカウントするカウンタｎ_ntをリセットするという追加のステップを含む。

ステップ１１８でカウンタｎ_ptが現在の分析結果をカウントした後、ステップ１２０で、カウンタｎ_ptの得られた値としきい値Ｌ_tamperingとを比較する。カメラ・タンパリングの可能性があることを示す連続して分析した画像の数が予め決められた値（この実施の形態ではしきい値Ｌ_tampering）に達した場合は、ステップ１２１でカウンタｎ_ptをリセットし、画像視界のタンパリングの可能性の表示をセットする。またタンパリングの可能性の表示を用いて、警報を監視センタに、クライアント・コンピュータに、または携帯電話などに送ってよい。カメラ・タンパリングの可能性があることを示す連続して分析した画像の数が予め決められた値より小さい場合は、プロセスはステップ１０２に戻って他の画像を分析する。

ここでステップ１１０に戻って、相関値Ｃ（Ｉ₁，Ｉ₂）がタンパリングの可能性を示すかどうかチェックする。タンパリングがないことを相関値Ｃ（Ｉ₁，Ｉ₂）が示す場合は、プロセスはステップ１１４に進んで、その前の相関値が画像視界のタンパリングの可能性があることを示すかどうか、すなわち、その前のＣ（Ｉ₁，Ｉ₂）＜Ｃ_Tかどうかチェックする。

その前に分析した画像の分析からの相関値が画像視界のタンパリングの可能性があることを示す場合は、ステップ１２４で、連続して分析したタンパリングの可能性がある画像の数をカウントするカウンタｎ_ptをリセットする。この実施の形態では、リセットするにはカウンタｎ_ptをゼロにセットする、すなわち、ｎ_pt＝０にする。画像視界のタンパリングがないことを相関値が示すときにカウンタｎ_ptをリセットするので、このカウンタは、タンパリングの可能性があると決定された分析画像の中断されないシーケンスだけをカウントすることが保証される。カウンタｎ_ptをリセットすると、プロセスはステップ１２６に進む。これについては後で説明する。

ステップ１１４で、現在の相関値Ｃ（Ｉ₁，Ｉ₂）だけでなくその前の相関値Ｃ’（Ｉ₁，Ｉ₂）も分析画像のカメラ・タンパリングの可能性があることを示す場合は、プロセスはステップ１２６に直接進み、タンパリングのない画像である連続して分析した画像の数をカウントするカウンタｎ_ntは、現在分析した画像をタンパリングのない画像としてカウントする。この実施の形態では、カウンタｎ_ntを単に１だけ増やす、すなわち、ｎ_nt＝ｎ_nt＋１。

したがって、現在の相関値Ｃ（Ｉ₁，Ｉ₂）が監視カメラのカメラ・タンパリングがないことを示すと、カウンタｎ_ntは必ずカウントする。しかし現在の相関値Ｃ（Ｉ₁，Ｉ₂）が監視カメラのタンパリングがないことを示す相関値Ｃ（Ｉ₁，Ｉ₂）を有する分析画像の可能なシーケンスの最初の値である場合は、プロセスはカウンタｎ_ptをリセットするという追加のステップを含む。

ステップ１２６でカウンタｎ_ntが現在の分析結果をカウントした後、ステップ１２８で、カウンタｎ_ntの得られた値としきい値Ｌ_updateとを比較する。監視カメラのタンパリングがないことを示す連続して分析した画像の数が予め決められたしきい値Ｌ_updateに達した場合は、ステップ１２９でカウンタｎ_ntをリセットし、ステップ１３０で基準エッジ画像を更新し、プロセスはステップ１０２に戻って他の画像を分析する。カメラ視界のタンパリングがないことを示す連続して分析した画像の数が予め決められた値に達しない場合は、プロセスはステップ１０２に戻って他の画像を分析する。

別の実施の形態では、図３のステップ１１２を除いてよく、またカウンタｎ_ntをリセットするステップ１１６は画像視界のタンパリングの可能性があることを示す分析画像をカウンタｎ_ptがカウントするときいつでも行ってよい。これに対応して、ステップ１１４を除いてよく、またカウンタｎ_ptをリセットするステップ１２４は画像視界のタンパリングがないことを示す分析画像をカウンタｎ_ntがカウントするときいつでも行ってよい。
更に、カウンタｎ_ntおよびｎ_ptは前記Ｌ_updateおよびＬ_tamperingにそれぞれ対応する値からカウントダウンしてよい。かかる実施の形態では、基準エッジ画像を更新するステップ１３０および画像視界のタンパリングの可能性があることを示すステップ１２２は、各カウンタがゼロに達した場合に行う。

上記の方法では、警報をセットする前またはタンパリングの可能性があることを示す前に、多数の連続して分析した画像がタンパリングの可能性があることを示している必要がある。これによりこの方法は、人が一時的に監視カメラの近くに立っているなどの一時的な「タンパリング」すなわち偽の表示に対して強くなる。監視カメラの応用（すなわち、監視カメラの環境および目的）および画像を分析する頻度に従って、しきい値Ｌ_tamperingは変えてよい。例えば、バスの内部などを監視するとき人々が監視カメラの近くに来て一箇所に比較的長時間留まることがあるが、この場合のしきい値は約３０分の間の分析画像の数に対応してよい。廊下を監視する例では監視カメラは人々から遠いところに置かれて人々は通り過ぎるだけであることが多いが、この場合のしきい値は約３０秒の間の分析画像の数に対応してよい。

図３のステップ１３０で実行する基準エッジ画像の更新は、現在分析したエッジ画像に第１の係数αを掛けたものに基準エッジ画像に第２の係数βを掛けたものを加えることを含んでよい。このようにして、カメラ視界の領域内の長期の変化に対して基準エッジ画像を調整する。また、現在のエッジ画像が基準エッジ画像に与える影響を制限すれば、例えば係数αを係数βより小さい値にセットすれば、画像視界を時々占める物体の影響は小さくなる。更に、この更新方法ではメモリの使用量が比較的小さくなる。なぜなら、必要なのは、とにかく記憶しなければならない基準エッジ画像の記憶と、分析のためにとにかく一時的に記憶しなければならない現在のエッジ画像の一時的記憶とだけだからである。このように、この方法によりメモリを効率的に使用することができる。

１つの実施の形態では、係数βの値は１−αである。新しい基準エッジ画像を

で表し、現在の基準エッジ画像を

で表し、現在のエッジ画像をＩ_presで表すと、この実施の形態に係る基準エッジ画像の更新は次の方程式で記述してよい。

応用および動作環境に従って、係数αの値は０．０５−０．２５の範囲にセットしてよい。環境の変化を基準エッジ画像内に迅速に示したい場合はこの値を高く設定してよいが、望ましくない物体が基準エッジ画像内に入る恐れがある。他方でこの値を非常に低くセットした場合は、環境が長期に変化し続ける場合に基準エッジ画像の調整が非常に遅くなることがある。

初期基準エッジ画像は、第１のエッジ画像と第２のエッジ画像とを上の方程式に従って結合することにより生成してよい。次に、この結合したエッジ画像と追加のエッジ画像とを同じ方法で結合する。この手続きを複数の画像について繰り返す。画像の数は予め設定してよい。予め設定した数の画像をこのようにして結合した後、カメラ・タンパリング検出プロセスを開始し、このようにして取得したエッジ画像をカメラ・タンパリング検出プロセスに用いる基準エッジ画像にする。

１つの実施の形態では、図４に示すように、監視カメラを起動するときに初期基準エッジ画像を設定する。この実施の形態に係る初期基準エッジ画像を設定するプロセスでは、ステップ２００でイメージ・センサが捕らえた画像を画像処理手段に転送し、ステップ２０２で画像の解像度を下げる。ステップ２０４で、解像度を下げた画像からエッジ画像を生成する。初期基準エッジ画像の更新は、エッジ画像と現在の基準画像のデータとを、基準画像を更新するのに用いた方程式に従って結合することにより行う。初期基準エッジ画像を更新した後、ステップ２０８でカウンタｍがカウントする。カウンタが限度Ｌ_initiateに達したかまたは超えた場合は、初期基準画像が完成したと判断してカウンタｍをリセットし、プロセスは図３のカメラ・タンパリング検出プロセスを続ける。そうでない場合は、プロセスはステップ２００に戻り、初期基準エッジ画像のための別の画像を受ける。初期基準エッジ画像を形成するのに用いる画像は捕らえた各画像でよい。しかし１つの実施の形態では、捕らえた画像の全ては用いない。画像の選択はカメラ・タンパリング検出プロセスにおいて分析する画像を選択するのと同じ方法で行ってよい。

図３のカメラ・タンパリング検出プロセスで警報が示されると、監視カメラはプロセスを図４のステップ２００に戻して新しい初期基準エッジ画像を形成する。
監視カメラは、予め決められたフレーム速度で画像シーケンスまたはストリーミング・ビデオを生成して関心のあるカメラ視界を示す。フレーム速度は画像シーケンス内の毎秒のフレーム数を指定する。特定の監視応用に用いるフレーム速度は得られる画像シーケンスの品質要求を考慮して選択することが多い。一般に毎秒１０−３０フレームの高いフレーム速度が必要である。したがって、毎秒１０−３０画像を処理しなければならない。更に、多くの他の分析および画像処理を同時に行う必要があるかも知れない。多くの処理および分析を監視カメラで行う実施の形態では、優先順位を決められることが重要である。

本発明の１つの実施の形態では、監視カメラが提供する全ての画像をカメラ・タンパリング・モジュール内で分析するわけではない。すなわち、分析のために画像シーケンスから１つの画像を選択した後、画像シーケンスの少なくとも１つの連続した画像を分析のために選択せずに通した後、その画像シーケンスの中の次の画像を分析のために選択する。

更に別の実施の形態では、分析のために選択した画像の間の、分析のために選択しない画像シーケンスの画像の数は画像シーケンスの間に変ってよい。カメラ・タンパリング検出モジュールは画像シーケンス内の画像の全ては分析のために選択しないので、カメラ・タンパリング検出に要する処理パワーは小さくなり、したがって、限られた処理パワーやメモリなどを備えることが多い監視カメラ内でカメラ・タンパリング検出法を実現できる可能性が高くなる。更に、このタンパリング検出法では分析する画像の間の時間的距離は同じである必要はない。分析のために選択する画像の間の画像の数は、カメラ・タンパリング検出法を走らせるシステムの負荷に従って変えてよい。この方法のこの特性は、装置の動作中の空いた処理容量を予測することが不可能または困難な装置の場合に都合がよい。また前記特性は、分析する予定の画像を全て分析することは保証できない装置またはプロセスで都合がよい。更に、しばしば限られた資源を備える埋込み装置において都合がよい。このような場合は、本発明のカメラ・タンパリング法は画像の分析を或る期間飛ばし、その後、装置の処理負荷が減少したときに画像の分析に戻ってよい。

考えられる監視ネットワークの概要を示す。 本発明の或る実施の形態に係るディジタル監視カメラの概要図である。 本発明の或る実施の形態に係る方法の流れ図である。 カメラ・タンパリングを示す警報をセットする場合の基準エッジ画像の生成と監視カメラの動作とに関する流れ図である。

符号の説明

５０ 監視カメラ
５２ イメージ・センサ
５４ 画像処理手段
６０ カメラ・タンパリング検出モジュール
８０ メモリ
８２ カメラ・コントローラ
８４ ネットワーク・インターフェース

Claims (25)

1. カメラ視界のタンパリングの可能性を識別する方法であって、
   分析のための画像を画像シーケンスから受け、
   前記受けた画像をエッジ画像に変換し、
   前記エッジ画像と基準エッジ画像との類似性のレベルを示す類似性値を生成し、
   前記類似性値が所定のタンパリング範囲内にある場合はカメラ視界のタンパリングの可能性があることを示し、
   予め決められた数の連続して分析した画像の１つ１つがタンパリングの可能性を示さない場合は最近分析したエッジ画像と前記基準エッジ画像とを結合することにより前記基準エッジ画像を更新し、
   タンパリングの可能性を示す連続して分析した画像の数をカウントし、
   １より大きい予め決められた数の連続して分析した画像の１つ１つがタンパリングの可能性を示す場合は警報信号を生成する、
   ことを含む、カメラ・タンパリングの可能性を識別する方法。
2. エッジ画像に変換する画像の解像度を下げる活動を更に含む、請求項１記載のカメラ・タンパリングの可能性を識別する方法。
3. 前記画像シーケンスの少なくとも１つの連続した画像を分析のために選択せずに通過させた後に分析のための新しい画像を選択することを更に含む、請求項２記載のカメラ・タンパリングの可能性を識別する方法。
4. 連続して分析した画像がタンパリングの可能性を示す結果となる数をカウンタｎ_ptがカウントすることを更に含む、請求項１−３のいずれか一項記載のカメラ・タンパリングの可能性を識別する方法。
5. カウンタｎ_ptが予め決められた警報限界に達した場合は警報信号を生成することを更に含む、請求項４記載のカメラ・タンパリングの可能性を識別する方法。
6. 前記類似性値が前記タンパリング範囲内にないときカウンタｎ_ntがカウントし、また現在分析した画像によりカウンタｎ_ntがカウントしかつその前に分析した画像によりカウンタｎ_ptがカウントした場合はカウンタｎ_ptをリセットすることを更に含む、請求項４−５のいずれか一項記載のカメラ・タンパリングの可能性を識別する方法。
7. 前記現在分析した画像によりカウンタｎ_ptがカウントしかつその前に分析した画像によりカウンタｎ_ntがカウントした場合はカウンタｎ_ntをリセットすることを更に含む、請求項６記載のカメラ・タンパリングの可能性を識別する方法。
8. カウンタｎ_ntが予め決められた更新限界を超えてカウントした場合は前記基準エッジ画像の前記更新を行う、請求項６−７のいずれか一項記載のカメラ・タンパリングの可能性を識別する方法。
9. 最近分析したエッジ画像と前記基準エッジ画像とを結合することにより前記基準エッジ画像を更新することは、前記最近分析したエッジ画像に第１の係数を掛けたものと基準エッジ画像に第２の係数を掛けたものとを結合することを含む、請求項１−８のいずれか一項記載のカメラ・タンパリングの可能性を識別する方法。
10. 前記第１の係数の値は１より小さく、また前記第２の係数の値は１から前記第１の係数を引いた値に対応する値である、請求項９記載のカメラ・タンパリングの可能性を識別する方法。
11. 前記方法が任意のときに用いるために１つのエッジ画像および１つの基準エッジ画像だけをメモリ内に記憶する、請求項１−１０のいずれか一項記載のカメラ・タンパリングの可能性を識別する方法。
12. カメラ・タンパリングの可能性を識別するモジュールであって、
    分析のための画像を画像シーケンスから受ける手段と、
    前記受けた画像をエッジ画像に変換するエッジ画像発生器と、
    を備えるモジュールであって、
    前記エッジ画像と基準エッジ画像との類似性のレベルを示す類似性値を生成し、前記類似性値が所定のタンパリング範囲内にある場合はカメラ視界のタンパリングの可能性があることを示す相関評価器と、
    予め決められた数の連続して分析した画像の１つ１つがタンパリングの可能性を示さない場合は最近分析したエッジ画像と前記基準エッジ画像とを結合することにより前記基準エッジ画像を更新する基準エッジ画像更新器と、
    タンパリングの可能性を示す連続して分析した画像の数をカウントするカウンタと、
    １より大きい予め決められた数の連続して分析した画像の１つ１つがタンパリングの可能性を示す場合は警報信号を生成する警報信号発生器と、
    を特徴とする、カメラ・タンパリングの可能性を識別するモジュール。
13. エッジ画像に変換する画像の解像度を下げるスケーリング手段を更に備える、請求項１２記載のカメラ・タンパリングの可能性を識別するモジュール。
14. 連続して分析した画像がタンパリングの可能性を示す結果となる数をカウントするカウンタｎ_ptを更に備える、請求項１２−１３のいずれか一項記載のカメラ・タンパリングの可能性を識別するモジュール。
15. カウンタｎ_ptが予め決められた警報限界に達した場合は警報信号を生成する警報発生器を更に備える、請求項１４記載のカメラ・タンパリングの可能性を識別するモジュール。
16. 前記タンパリング範囲内にないと決定された分析画像をカウントするカウンタｎ_ntを更に含み、また前記現在分析した画像によりカウンタｎ_ntがカウントしかつその前に分析した画像によりカウンタｎ_ptがカウントした場合は、前記相関評価器は更にカウンタｎ_ptをリセットする、請求項１４−１５のいずれか一項記載のカメラ・タンパリングの可能性を識別するモジュール。
17. 前記現在分析した画像によりカウンタｎ_ptがカウントしかつその前に分析した画像によりカウンタｎ_ntがカウントした場合は、前記相関評価器は更にカウンタｎ_ntをリセットすることを含む、請求項１６記載のカメラ・タンパリングの可能性を識別するモジュール。
18. カウンタｎ_ntが予め決められた更新限界を超えてカウントした場合は、前記基準エッジ画像更新器は前記基準エッジ画像の前記更新を行う、請求項１６−１７のいずれか一項記載のカメラ・タンパリングの可能性を識別するモジュール。
19. 前記基準エッジ画像更新器は、前記最近分析したエッジ画像に第１の係数を掛けたものと前記基準エッジ画像に第２の係数を掛けたものとを結合することにより前記最近分析したエッジ画像と前記基準エッジ画像とを結合する、請求項１２−１８のいずれか一項記載のカメラ・タンパリングの可能性を識別するモジュール。
20. 前記第１の係数の値は１より小さく、また前記第２の係数の値は１から前記第１の係数を引いた値に対応する値である、請求項１９記載のカメラ・タンパリングの可能性を識別するモジュール。
21. 請求項１２−２０のいずれか一項記載のモジュールを含む監視カメラ。
22. 請求項１−１１のいずれか一項記載の方法を実行する監視カメラ。
23. 請求項１２−２０のいずれか一項記載のモジュールを含むビデオ・サーバ。
24. 請求項１−１１のいずれか一項記載の方法を実行するビデオ・サーバ。
25. コンピュータが請求項１−１１のいずれか一項記載のステップを行うためのコンピュータ読取り可能なプログラム手段を含む、コンピュータ使用可能な媒体上に記憶されたコンピュータ・プログラム製品。

Images