JP4618965B2 - 防犯カメラの自動スクリーニングシステム - Google Patents

防犯カメラの自動スクリーニングシステム Download PDF

Info

Publication number
JP4618965B2
JP4618965B2 JP2001556967A JP2001556967A JP4618965B2 JP 4618965 B2 JP4618965 B2 JP 4618965B2 JP 2001556967 A JP2001556967 A JP 2001556967A JP 2001556967 A JP2001556967 A JP 2001556967A JP 4618965 B2 JP4618965 B2 JP 4618965B2
Authority
JP
Japan
Prior art keywords
video
pixel
frame
target
cctv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001556967A
Other languages
English (en)
Other versions
JP2003521860A (ja
Inventor
ガルート、マウリス
Original Assignee
セルニウム コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US18032300P priority Critical
Priority to US60/180,323 priority
Priority to US09/773,475 priority patent/US6940998B2/en
Priority to US09/773,475 priority
Application filed by セルニウム コーポレーション filed Critical セルニウム コーポレーション
Priority to PCT/US2001/003639 priority patent/WO2001057787A1/en
Publication of JP2003521860A publication Critical patent/JP2003521860A/ja
Application granted granted Critical
Publication of JP4618965B2 publication Critical patent/JP4618965B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed circuit television systems, i.e. systems in which the signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00771Recognising scenes under surveillance, e.g. with Markovian modelling of scene activity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed circuit television systems, i.e. systems in which the signal is not broadcast
    • H04N7/181Closed circuit television systems, i.e. systems in which the signal is not broadcast for receiving images from a plurality of remote sources

Description

【0001】
関連特許出願
本出願は、2000年2月4日出願の仮特許出願第60/180,323号「防犯カメラの自動スクリーニングのためのシステム」及び2001年2月2日の同じ発明の名称の米国特許出願(要一致)に基づく。上述の仮特許出願の内容は本明細書に参照のためその全文が組込まれ、従ってその継続維持を要求するものである。
【0002】
発明の分野
本発明は、防犯システムに関し、特に、大規模な防犯CCTV(閉回路テレビジョン)システムなど、防犯カメラの自動スクリーニングの方法及び装置を含む有利な新システムに関する。
【0003】
従来技術
例えば、駐車場で使用されるような防犯システムは、所有者が設置した防犯技術をフルに活用する必要があると思うような場所の一つに設置される。防犯システムを設置すると、信頼できるシステムをフル活用しなければならない必要性があることを、暗に認めることになる。システムが存在することで、公衆はシステムに保護されていることに気付く。システムが適切に完全に機能すれば、防止できたはずの損失や怪我が起きた場合、所有者は自己弁護の困難な損害請求に直面する可能性がある。
【0004】
駐車場は公衆の車両に駐車施設を提供することにより、公衆に価値ある利益と非常に望ましいか又は必要なサービスを提供している。しかしながら、利用する公衆にはリスクが伴うこともある。駐車場で起きた窃盗犯罪には、自動車を破壊する行為と自動車への窃盗行為が含まれ、駐車場で起きる人に対する犯罪にはひったくり、武器を使用する強盗及び、時には、暴力と誘拐が含まれる。料金所のある複数階の有料駐車場は入場に制限があり、出口で料金所を通過しなければならないので、犯罪を抑止する効果がある。しかし、このような設備の整った駐車場においても、これらの駐車場が高速道路入口車線や主要街路などの簡単に逃げられる場所に隣接している場合は、自動車の盗難及び自動車への窃盗の対象となるリスクは増す。
【0005】
CCTVシステムは、駐車場の運営者が起こるかもしれない犯罪や、その他の損失あるいは怪我を回避する義務を有する建物の防犯システムの一部分として、適切に設置され運営される場合には、有効な防犯装置となる。特に、駐車場は人が単独でいることが多く、交通量のより多い場所に比べて被害を受けやすいので、CCTVでの防犯に適している。CCTVシステムの能力を完全に発揮させるには、警備員が常時システムのカメラ監視をしなければならない。
【0006】
従来、駐車場内の多重ビデオカメラのCCTVシステムは、どのカメラをディスプレイ・モニターで見るべきかについて知的な判断を下す補助システムを持っていない。しかし、本開示に基づき、どのカメラを監視すべきか、及びどれを無視すべきかについての決定を代りにビデオの内容に基づいて行うこと、また一つ以上の選択したディスプレイ・モニターでどのカメラを見るべきかについて知的な判断を行うのに電子式付属装置を用いることを提案する。さらに、この知的システムは既存のCCTVシステムと互換性がある。
【0007】
ここでは駐車場を上げたが、駐車場はそこで、その中で、又はそこと連絡している建物の一例に過ぎず、構内防犯システムはそのような場所で犯罪、損失、怪我あるいは他の望ましくない出来事を回避するために使用される。望ましくない出来事(事件とも言える)の一例として無許可の侵入があり、また無許可の侵入の代表的な例として車両及び歩行者が不適切な方向へ又は無許可で入口、空間、車線や道を通って移動することが上げられる。建物が商業用、政府、公共団体あるいは民間のものかに関わらず、本発明の防犯システム、防犯器具又は装置が使用されうる全ての建物をここでは安全な建物と称する。
【0008】
小規模の防犯システム
小さいCCTVシステムは、例えば数台のカメラと各カメラに1台のディスプレイ・モニターを有する。1人の防犯オペレータが全モニターを連続的に見渡すことができるので、オペレータが少なくともモニターを注意深く監視していれば、モニターを監視して数秒で異常事態と判断できる。だが、小さいシステムであっても、1人が連続的に同じ一つの又は複数の映像を監視するのは困難又は不可能である。同じ場面を数分も見ていれば、注意力疲労というべき現象が起こる。勤務について数時間後には、警備員にとってモニターは雑然とした背景の一部でしかなくなる。このように、オペレータの集中力と、モニター表示から明白な望ましくない出来事を判別する能力は、減少するか失われる。
【0009】
大規模の防犯システム
何百ものカメラをもつ大規模CCTVシステムでは、相応に多数のディスプレイ・モニターを観察しなければならない警備員にとって疲労要因は非常に大きい。カメラを順番にモニターに配列する能力を備えた従来型のCCTV制御システムが提案されている。これは、オペレータに妥当な数のモニターでシステム内全てのカメラを定期的に見ることを可能にする。
【0010】
例えば、車庫内に約300台のCCTVカメラを持つ大型の精密な大都市型システムでは、オペレータ1人が10秒毎にモニター4台を切替えることのできる既知の順位付けシステムを使用する場合でも、各カメラ・モニターを1分毎に1回見るのに13人の警備員が必要となる。斯かるシステムでは、ディスプレイ・モニターに1分毎に一つの画面を表示してもオペレータには財布すりなどあっという間に起きる事態に気付くことはできない。13人の警備員を1日24時間稼動させるには、全体として約65人の要員確保を必要とする。その結果、生じる要員確保に必要な高い費用を負担できたとしても、警備員は8時間交代勤務中に約11,520の異なる映像がディスプレイ・モニターに表示されるため、事象を正しく判別する高い注意力レベルを十分に維持するとは実際には期待できない。
【0011】
大量のCCTVカメラを取扱うもう一つの既知の方法は、“モニターの壁”を作ることである。床上3フィートの高さから始まり床上9フィートの高さまで広がる、それぞれ19インチタイプのモニター約300台のCCTVシステムを使用すると、モニターの壁を作るには長さ約137フィートの線形の壁スペースが必要になる。あるいは、部屋の周囲の壁沿いに配置する場合、モニターは14フィート×60フィートの部屋の全体を囲むことになる。オペレータが壁(又は複数の壁)沿いに20フィートおきに配置されるとすれば、全カメラの視野を少なくとも8人の警備員がディスプレイ・モニターで見ることができる。しかしながら、長さ137フィートのモニターの壁を用いると、何らかの犯罪、その他起きている出来事が外から見えるとは考えにくい。
【0012】
図1は、この多数のCCTVディスプレイ・モニターの結果として起こるいわゆるモニターの壁の外観と相対的規模をシミュレーションするため、304台のモニターを支える装置ラック76個の列の一端に立つ身長6フィートの男性の姿を表わす。人物像は縮尺で描かれていないが、モニター壁の操作監視状況又は要件は容易に想像でき、また大量のモニターは実際的でないことが簡単に理解できる。より小さいディスプレイ・モニターはより少ないスペースしか必要としないが、その場合、警備員は各映像を判別するため、より近い距離からそのより小さいディスプレイ・モニターを見なければならない。
【0013】
既知のビデオ動き検出器をCCTV切替え制御用の電子装置と組合せて使用することにより、大型のCCTVを装備した防犯システムのディスプレイ・モニターを監視する警備オペレータの人数を削減できることを前提とする。しかしながら、既知のビデオ動き検出技術を使用する大型の防犯システムを備えた車庫内のある種のレベルの活動については、ビデオのある種の検出可能な動きのないカメラは切替えシーケンスから外される。カメラの視野に入った1台の自動車が動いているのをビデオ動き検出器が検出することで、そのカメラはシーケンスに組み込まれるのに対して、駐車場所を捜している人の運転する同じ自動車が何台かのカメラを通過しても、オペレータの呼出し画面には各カメラからの視野が順番に表示される。
【0014】
全カメラに動き検出又はシーケンス内のカメラを動きを伴うものに制限するカスタムソフトウェアを追加して、カメラを監視するのに必要な要員数を大幅に削減できる。正確なデータは知られていないが、オペレータ負荷ともいうべきオペレータの必要注意力は、動きのあるカメラをシステムのオペレータに提示しさえすれば、1/2に減少するであろう。オペレータ負荷を半分に減少したとしても、1日に1交代勤務として、勤務につく6人のオペレータを必要とし、合計で約30人のオペレータ要員を必要とすることになる。防犯に関する予算がオペレータ要員として30人分の給与の支払いが可能だとしても、監視業務はシフト勤務中に極端な注意力疲労をオペレータに引き起こす。
【0015】
空港の駐車場用として以前提案されたCCTVシステムは、各ビデオカメラにビデオ動き検出機能を備え、且つ警備オペレータに見えるように動きのあるビデオ出力を供給するカメラのみ、電子的に選択制御するためのソフトウェアを使用することが前提とされた。提案されたシステムのカメラ数は、増加するという前提に立つと、単純な動き検出の弱点が明らかになる。斯かるシステムの商業的に入手可能な動き検出器は、自動車と人物を区別不可能であることが分かっている。よって、例えば、カメラを通過する全ての自動車にシステムの動き検出器が反応する可能性がある。車両が通路を走るとき何台かのカメラを通過するので、複数のディスプレイ・モニター上に同じ車両の複数の映像が表示されることになる。1日に約6人のオペレータが勤務につく必要があり、また1台の車両が多数のカメラを通過する同じ映像の繰り返しは、極端な倦怠感を引起し、結果として注意力の欠如をもたらす。
【0016】
一つの既知の映像監視方法には、ロス(Ross)の米国特許第5,880,775号明細書がある、これは個々のフレームの画素を比較して差分値を生成し、その値が事前設定した閾値を超えると録画用のVCR(ビデオ・カセット・レコーダー)を起動する。もう一つの方法は、ウィンター(Winter)等の米国特許第5,875,305号明細書であって、これはビデオデータを分析してサイズ、速度、形状、又はクロミナンス変化などターゲットの特徴及びビデオ圧縮記憶量に基づき所定の特徴を検出する。動き検出、火災検出、安全目的の後続のシステム操作を伴うその他の事象検出の方法は数多くあり、この分野では良く知られている。しかしながら、既知の技術はオペレータの負荷と疲労を低減する複数の入力に基づく知的なカメラ選択の必要性には充分取組んでいない。加えて、既知の技術はオペレータ監視用のCCTV切替え制御を行わない。シオタ(Shiota)等による米国特許第4,943,854号明細書は複数のカメラから信号を選択できるマルチビデオ・レコーダーを開示しているが、但し、画像解析がまったくなく、また主として動き検出センサーに基づく。その上、既知の技術の検出方法は、以下に於いてより完全に説明する知的なカメラ選択に関する本発明の独特な画像解析技術を用いていない。
【0017】
従って、この技術に於いては、格段により単純化された画像解析技術が必要性とされる。単純化された画像解析技術により、リアルタイムの画像解析及びより確固たる防犯カメラ・スクリーニング・システムを可能にする。
【0018】
ビデオ記録
防犯及びその他のシステムに於けるビデオ録画技術の現状は、ハードディスクへの全時間デジタル・ビデオ記録である。また、いくつかのシステムでは、長期保存用にデジタル化したビデオをテープに保管する。
【0019】
デジタル・ビデオ記録システムの基本的問題は、記憶スペースとビデオ画質との間の矛盾である。全色、VGA解像度、及び実時間フレーム速度の圧縮されないビデオ・ストリームは、ビデオ1時間当り約93ギガバイト(GB)の記憶量を必要とする。(即ち、3バイト/画素*640画素/行/フレーム *480画素/列/フレーム*30フレーム/秒*60秒/分*60分/時間)
一般的には93GBより小さいPCハードディスクに数日分のビデオを保存することが要求される。ディスク・スペースを確保するため空間解像度を少なくし、フレーム速度を低くし、且つJPEGやウェーブレットなどの圧縮が使用される。
【0020】
空間解像度の低下は低下量の平方根ずつ記憶容量を少なくする。即ち、640×480のフレーム・サイズの320×240への2分の1の減少は必要な記憶容量を4分の1に低減させる。
フレーム速度の減少は、減少量に線形に記憶量を少なくする。即ち、30FPSから5FPSへのフレーム速度の減少は、記憶容量を6分の1に減少させる。フレーム速度が減少するにつれて、ビデオは“断続的”に見えるようになる。
【0021】
圧縮による記憶容量の低減は、高い圧縮レベルでは解像度損失を引き起す。例えば、JPEGを使用して50分の1への低減は結果として不鮮明だが使用可能な画像を生成する。
種々の記憶容量の削減方法は付加的なものである。上述の3方法を使用して必要な記憶容量を78MB/時間まで1200分の1(4*6*50)に減らすことができる。
【0022】
ビデオ中で何らかの動きを伴うフレームのみをセーブするため、動き検出を使用することも知られている。動きの原因は分析されない。よって、各フレーム全体が事前設定の圧縮時に記憶されねばならない。必要な記憶容量への動き検出の影響はビデオの活動に依存する。半分の時間に何らかの動きがあるのであれば、必要な記憶容量は2分の1に減少する。
【0023】
発明の目的と概要
発明のいくつかの目的、特徴及び利点のうち注目すべきは、記述された防犯カメラの自動スクリーニング用の新しく高度に有利な方法と装置、特に下記のような方法と装置を使用する新しく有利な防犯システムの提供である。
あらゆる比較され得る以前のCCTVシステムより費用効率がよく、
全能力で稼動する従来の大型CCTVシステムと連動して使用可能であり、
CCTVシステムによるオペレータ疲労の顕著な減少を達成し、
駐車区域と車庫、及び車両及び/又は歩行者交通のあるその他の建物内の防犯性を改善し、
オペレータが観察する論理的妥当性のある何かが存在するときにのみ1台又はそれ以上のビデオ・ディスプレイ・モニターにビデオ・カメラ出力を導く能力を備えたいわゆる知的電子システムとして機能し、
多数のCCTVディスプレイ・モニターそれぞれについて視野の知的電子選択をすることにより、ビデオ・カメラの視野内容が人間的レベルの分析を要求するのに充分な妥当性があるときにCCTVモニターの視野をオペレータに提示させるのに効果的であり、
防犯システムのCCTVカメラから光景を監視するためにディスプレイ・モニターをオペレータが使用する際の上述の問題に対して解決法を提供し、
オペレータによるシステムのディスプレイ・モニターの観察がCCTVシステムのこれまでの特徴よりも格段に退屈又は疲労が少ないことにおいて、CCTVシステムに機能的な運転上の利点をもたらし、
オペレータの注意持続時間及び事件識別力の増加をもたらし、
比較的低い費用で建物に高度の安全性を達成し、
CCTV防犯システムにおいて、システム及びその機能から能力に対し、今まで経験されなかった程の高レベルの依存可能な信頼性を達成し、
本発明の一形態において、知的カメラ選択、即ち、電子的論理プロトコルに従いディスプレイ・モニターに表示するための自動電子制御の選択をすることが、別の複数のアクセス制御された区域をカバーする複数のCCTVカメラを備えた統合防犯システムにより実施される。一つの事件の偶発又は発生、例えば倒れた人物がいれば、その出来事を視野に捕らえたカメラが自動的に選択される。即ち、そのビデオ出力が選択されて、相当するディスプレイを提供するか、又はオペレータのディスプレイ・モニター上にそのカメラの視野を呼出す。そのカメラの視野の選択及び呼出しはまた、その音声通知も含むことができる。判断すべき事件の発生がなければ、ディスプレイ・モニターは空白である。斯かる自動カメラ呼出しは事件の発生に対応して機能するので、オペレータ負荷はシステム内のカメラ数を問わず、事件の活動に依存する。
【0024】
本発明の第一の目的、特徴及び利点は、本教示に基づく防犯システムが、CCTVカメラの選択を制御するために、防犯システム全体の主要部分として働くプロセッサ制御選択制御システム(“PCSシステム”)を構成する本発明の電子サブシステムの他の特徴と組合せて、ビデオ動き検出器の使用によるように、それぞれの当該カメラのビデオ内容に基づき、どのビデオ・カメラを監視すべきか、そしてどれを無視すべきかについて自動的に決定できることにある。PCSシステムは、どのカメラの視野がCCTVシステムのディスプレイ・モニターに表示され、且つ監視職員により監視されるべきか、及びどのビデオカメラの視野が無視されるべきかについて、全てCCTVシステム内の少なくとも1グループのビデオ・カメラのそれぞれから入手可能なビデオ内容のプロセッサの実施する解釈に基づき、自動的に決定することを可能にするために導入される。
【0025】
車両及び歩行者の存在及び活動に基づき、オペレータがどのカメラを見るべきかについて、システムが決定することを可能にする新しい画像解析技術が、本PCSシステムの一部として含まれる。事件は車両と歩行者の両方に関連付けられ、単独の歩行者、複数の歩行者、速い歩行者、倒れた歩行者、潜んでいる歩行者、不規則な動きをする歩行者、集合する歩行者等、単独の車両、複数の車両、急速な車両、及び急停車する車両が含まれるが、これに限定されない。
【0026】
画像解析技術はまた、背景画像をトラッキングし、また移動するターゲットを分割することにより車両の通行と歩行者の通行とを区別することもできる。車両に比較した歩行者の動きの特徴、即ち、歩行者は移動するときその手足を動かすが、車両は移動するとき同じ形状を維持することを含む多数の要因に基づいて車両は歩行者から区別される。他の要因には、例えば、歩行者は車両より身長が高いことや、車両は歩行者より滑らかであることなど、縦横比と滑らかさが含まれる。
【0027】
本発明の主要な画像解析技術は画像解析報告の解析に基づく。一般的に、画像解析報告はビデオ・フレームの単一パスから生成され、その結果としてビデオ内容に関する特徴的情報を与える。画像解析報告は入力バッファ内の画素の2×2カーネルのそれぞれに基づく特徴的情報を元にファイルを生成し、これは2×2カーネルを取り巻く4×4カーネル内の16画素毎の関係を描写する6バイトのデータを含んでいる。
【0028】
画像解析報告で生成されたビデオの情報内容が本発明の全ての画像解析技術の基礎であり、その結果としてさらなる画像解析用のいくつかのパラメータを生成する。このパラメータには、(1)平均高度、(2)勾配度、(3)勾配方向、(4)水平の滑らかさ、(5)垂直の滑らかさ、(6)ジャギー度、(7)色度、及び(8)色方向、が含まれる。
【0029】
平均高度
“平均高度”パラメータは、中央の2×2カーネル内の4画素の平均値を計算する。
勾配度
“勾配度”パラメータは、平均高度により計算された最高平均値と最低平均値との間の絶対値をパーセントで計算する。
勾配方向
“勾配方向”パラメータは、平均高度により計算された最高と最低平均値に基づいて勾配の方向を計算する。
【0030】
水平の滑らかさ
“水平の滑らかさ”は、最低画素から最高画素までの水平方向の変化の一貫性を計算する。
垂直の滑らかさ
水平の滑らかさと同様に、“垂直の滑らかさ”は、最低画素から最高画素までの垂直方向の変化の一貫性を計算する。
ジャギー度
“ジャギー度”パラメータは、ビデオ・フレームから分割された特定のターゲットについて奇数及び偶数フィールド間の画素の補正値を測定する。補正値はその後、ターゲットの移動速度及びターゲットの移動方向の決定に使用される。一般的に、ジャギー度はビデオ・フレームの奇数及び偶数フィールド間の動きにより引き起こされたインタレース・ディストーション量の尺度である。
【0031】
色度
“色度”は、一般的にその色がグレー・スケールからどれだけ離れているかを測定する。ゼロは完全な白か又は完全な黒に相当し、また255は完全な一色に相当する。
色方向
“色方向”は、2次元、(B−RとG−R)の色分析に基づく色相と同様に色空間を計算する。2次元分析は、色相演算又は3次元RGB演算の浮動小数点演算の数を著しく削減し、且つ実時間演算の実施における一つの要因である。一般的に、色方向は色調の尺度である。
追加の画像解析機能、具体的には“背景の維持”は、移動するターゲットを含まないフレームの諸部分を平均化することにより移動するターゲットから背景を分離する。移動するターゲットはさらに車両(又はその他)の通行を歩行者の通行から区別するために解析される。
【0032】
PCSシステムは6個の一次ソフトウェア・コンポーネントを含んでおり、全てがビジュアル・ベーシックとC++ソフトウェア・プログラミング言語を含め、マイクロソフトとインテルのツールで構築されている。6個のコンポーネントには、
(1)アナリシス・ワーカー(Analysis Worker(s))、
(2)ビデオ・スーパーバイザー(Video Supervisor(s))、
(3)ビデオ・ワーカー(Video Worker(s))、
(4)ノード・マネージャー(Node Manager(s))、
(5)ルール設定GUI(グラフィカル・ユーザ・インタフェース)、及び
(6)アービトレーター(Arbitrator)
が含まれる。
【0033】
防犯カメラからのビデオ入力は、まず、ビデオのフレームを捕らえ(フレーム・グラバー)且つビデオ・スーパーバイザーとの通信を容易にする種々の特性、方法及び事象を持つビデオ・ワーカーに送られる。各フレーム・グラバーに対して1個のビデオ・スーパーバイザーがある。アナリシス・ワーカーはビデオ・ワーカーにより捕えられたビデオ・フレームに対して画像解析を行い、それからビデオ・スーパーバイザーに活動を報告する。同様に、アナリシス・ワーカーはビデオ・スーパーバイザーとの通信を容易にする種々の特性、方法及び事象を持つ。ビデオ・スーパーバイザーはビデオ・ワーカーからいつフレームを入手できるか及びアナリシス・ワーカーがいつ別のフレームのために準備できるかを常に把握し、またそれに従ってデータフローを方向付ける。次いで、ビデオ・スーパーバイザーはデータをノード・マネージャーに送り、今度はこれが複数のビデオ・スーパーバイザーからアービトレーターへの通信を一点に集め、それによってアービトレーターへのデータフロー全体を管理し且つ減少させる。
【0034】
ルール設定GUIは、例えば、複数の人々のいる情景の滞留時間を変更したり、あるカメラ・グループからビデオを受取るオペレータ・コンソールを変更したりして、どのビデオをどのモニターに表示するかについてのシステム・ルールの変更を可能にする。次いで、アービトレーターがどんな活動がシステム内に存在するかについて、ノード・マネージャーからデータを受取り、またどの活動をどのモニターに表示するべきかについて、ルール設定GUIからルールを受取り、またそれに伴って使用可能なモニターと待機中の活動との間のコンフリクトを仲裁する。システム・カメラはまた、PTZ(パン−チルト−ズーム)制御機器を使用してオペレータが制御することもできる。PCSシステムにはまた、中央CCTVスイッチからアナログ・ビデオを受取る四倍分配器も含まれており、複数のビデオ情景を1個のオペレータ・コンソールに提供する。
【0035】
PCSシステムはアービトレーターとCCTVシステムのポート・サーバー間のインタフェースを通じて既設の従来型CCTVシステムとインタフェースする。アービトレーターからポート・サーバーへのデータフローはシリアル・リンクを介し、またポート・サーバーからアービトレーターへのデータフローは、ソフトウェア・コンポーネントがネットワーク上で直接通信できるようにするプロトコルであるプロセス間DCOM(分散コンポーネント・オブジェクト・モデル)を介する。PCSシステムからCCTVシステムのポート・サーバーへのプロセス間データには、次に選択するカメラ番号、次のカメラ選択の出力送り先、カメラからモニターへのルートを設定するコマンド、及びインタフェースを変更せずに将来の拡張を可能にするメッセージ・ストリングが含まれる。CCTVシステムのポート・サーバーからPCSシステムへのプロセス間データには、別のモニターを見るためにオペレータが選択したカメラ番号、オペレータがパン、チルト、又はズーム(PTZ)用に選択したカメラ番号、及びインタフェースを変更せずに将来の拡張を可能にするメッセージ・ストリングが含まれる。
【0036】
防犯カメラとビデオ・ワーカーの間、ならびに四倍分配器とユーザ・インタフェース間のデータフローはアナログ・ビデオである。PCSシステムのコンポーネント間のデータフローは、ビデオ・ワーカーからビデオ・スーパーバイザーへのフローと同様にプロセス間DCOMであり、またルール・データベースからアービトレーターへのフローはバイナリー・ソフトウェア・コンポーネントからのアプリケーションの構築を可能にするソフトウェア・アーキテクチャであるプロセス内COM(COM)である。
【0037】
本発明の既知の実施態様では、3個のノード・マネージャーが存在し、それぞれがビデオ・スーパーバイザーからデータを受取り、次にこれがビデオ・ワーカー1個とアナリシス・ワーカー4個の間のデータフローを方向付ける。一つのルール設定GUIがあり、またシステム当り1個のみのアービトレーターしか存在しない可能性がある。
【0038】
従って、本発明に基づき、相乗的に機能するPCS及びCCTVサブシステムの両方を備えている複合防犯システムと呼ぶことのできる、新しく有利な防犯システムが提供されていることが理解されるであろう。
既設のCCTVシステム内に組込むことができ、よってまたそれとともに使用することができ、且つ当該CCTVシステム内の付属システムとなる本プロセッサ制御選択制御システム(“PCSシステム”)の特徴を、それ自体に属する及び対する一つのシステムとして提供することもまた本発明の範囲内である。
【0039】
本発明の追加の目的、新しい特徴、及び利点は、本分野で通常の技術を有する者にとってはより明白になるであろうし、以下の詳細説明においてより詳細に例示される。
【0040】
発明の上述及びその他の特徴と目的、及びそれらを達成する方法は、添付図面と関連付けられた下記の発明の実施形態の説明を参照することによってより明白になり、且つ発明自体もより良く理解されるであろう。
図面は本発明の実施形態を表すが、これらの図面は必ずしも正確な縮尺ではなく、本発明をより良く図示し説明するために一部の特徴が誇張されている可能性がある。
【0041】
本発明の詳細な説明
図面、また特に図2を参照して、プロセッサ制御選択制御システム(PCS)10のソフトウェアの構成要素は、ダッシュ−点破線の領域内に含まれるように右上区域のボックス内に示されている。図中の他の構成要素は、発明のシステム構成に基づくソフトウェア駆動の構成要素を含む電子装置構成と一緒に使用されるCCTVサブシステム12のブロック図を表わす。電子装置サブシステムのソフトウェア駆動の構成要素はCCTVサブシステムのビデオ・カメラからの出力を、オペレータ用の1台又はそれ以上のビデオ・ディスプレイ・コンソールに選択的に供給されるビデオにより、ディスプレイ・モニターを監視する警備員がカメラの視野を見ることができる、CCTVシステムのディスプレイ・モニターに自動的且つ選択的に使用可能にされるようにする。
【0042】
既存のCCTVシステム
新しいシステムを説明する目的により、上記の例にあるように、新しいシステムは一つの又はいくつもの車庫あるいは複合式車庫に配置された数百台のCCTVカメラを含むと仮定する。CCTV車庫カメラ14のそれぞれは3個のCCTVスイッチ(2個の分散CCTVスイッチ16、及び1個の中央CCTVスイッチ18)の一つに直接接続される。分散CCTVスイッチ16はCCTV車庫カメラ14からのビデオを中央CCTVスイッチ18に向けて送る。中央CCTVスイッチ18は既知の技術に基づき中央スイッチ・キーボード20により操作されるように構成されており、CCTV車庫カメラ14からのビデオをオペレータ・コンソール22に向けて送る。分散CCTVスイッチ16と中央CCTVスイッチ18はCCTV車庫カメラ14からアナログ・ビデオを受取り、それからアナログ・ビデオをオペレータ・コンソール22に送る。分散スイッチ16と中央スイッチ18は商業的在庫(COTS)装置である。このシステムに他の斯かるCCTVスイッチもあり得ると理解されるであろう。
【0043】
中央CCTVスイッチ18には種々の可能なタイプのビデオ入力を備えることができる。斯かる入力は、例えば、分散CCTVスイッチ16からのビデオ、他のCCTVスイッチ、及びCCTV車庫カメラ14からのビデオを含んでもよい。
【0044】
中央CCTVスイッチ18は既知の技術に基づき中央スイッチ・キーボード20により操作されるように構成される。中央CCTVスイッチ18はCCTV車庫カメラ14からのビデオをオペレータ・コンソール22に向けて送る。オペレータ・コンソール22は4倍ビデオ分配器26を備えることのできるGUIワークステーション24からなる。4倍ビデオ分配器26はビデオ画像を2対2フォーマットに分割して単一のディスプレイ・モニターに4つのビデオシーンを表示する分配器の代表的なものである。ここに示すシステム実施態様では、オペレータ・コンソール22のうち2つには車庫カメラの監視及び一つのディスプレイ・モニターに転送するカメラの視野を選択する4倍ビデオ分配器26が装備されている。
【0045】
システムの設定及び/又は操作変更用にカメラの視野を使用可能にする方法を説明するため、4倍ビデオ分配器26からのアナログ・ビデオ出力はGUIワークステーション24に相互接続した状態で示されている。
【0046】
プロセッサ制御選択制御システム(PCS)
図2に示すPCSシステム10の6個のソフトウェア・モジュールは、アナリシス・ワーカー30、ビデオ・スーパーバイザー32、ビデオ・ワーカー34、ノード・マネージャー36、ルール設定GUI(グラフィック・ユーザ・インタフェース)38、及びアービトレーター40を含んでいる。ソフトウェア・モジュールそれぞれの機能と相互関係を以下に説明する。
【0047】
アナリシス・ワーカー
アナリシス・ワーカー30は画像解析に当たるアクティブX(登録商標) EXEモジュールである。アクティブX(登録商標)制御装置はCOM技術を使用し、他のタイプのCOMコンポーネント及びサービスとの相互運用性をもつ多くのタイプのコンポーネントの一つである。アナリシス・ワーカー30は1台のカメラからビデオを解析して、対応するビデオ・スーパーバイザー32に活動を報告する。ビデオ・スーパーバイザー32の指示により、新しいフレームが共有メモリから得られる。アナリシス・ワーカー30はビデオ・スーパーバイザー32との通信を行い、またビデオ活動について上位の意思決定を行うVB(ビジュアル・ベーシック)シェルである。画像処理機能への低レベルの呼出しは、実行可能な機能又はデータのライブラリーであるDLL(ダイナミック・リンク・ライブラリー)が実行する。PCS10内の全てのアナリシス・ワーカー30はそのDLLを共有し、全てのDLLへの呼出しはアナリシス・ワーカー30により行われる。
【0048】
アナリシス・ワーカー30はまたビデオ・スーパーバイザー32へのサーバーを代行する。全ての画像データ操作がDLLのC++機能内で実行される。DLLには本発明の画像解析方法を裏付ける機能がある。下記に詳細に述べる。
【0049】
画像解析ダイナミック・リンク・ライブラリー(DLL)
画像データを操作する全ての機能が高レベルDLL内にある。高レベルDDLは画像データに費やす努力を最小限にしてビジュアル・ベーシックから画像解析プログラムを迅速に作成できる。DLLは画像データを処理して、ビジュアル・ベーシック呼出しプログラム、即ち実行可能なアナリシス・ワーカーに記号データを戻す。本発明の望ましい実施態様では、DLL機能は以下の3つのソース・コード・モジュール内に存在する。
1)ユーティリティーズ機能( .Cpp −ファイルからの読取やメモリ割当/解放など、全てのユーティリティ機能を含む。
2)画像処理機能( .Cpp −背景維持など、画像処理機能を含む。
3)画像解析機能( .Cpp −前分割の必要な画像解析機能を含む。
【0050】
本発明のDLLにおいては、ビデオ内容中のターゲットやオブジェクトを追跡するのにアレーを用いる。一つのアレーはターゲットに関するデータ(ターゲット・データ)を含み、また別のアレーはターゲットの履歴に関するデータ(ターゲット履歴)を含んでいる。ターゲットに関する記号データが収集されると、そのデータは2次元構造のアレーの要素内に記憶される。1次元は追跡するフレームの番号用で、他の次元は各フレーム内の最大の大域変数までのターゲットの番号用である。例えば、ターゲット履歴アレー内の要素“Name[3][9]”は行3に記憶されたフレーム・データの9番目のオブジェクトに関するデータを保持する。
ターゲットが自動車か人物かについて決定を下す記号データはターゲット・データアレー内に記憶される。従って、ターゲット・データアレーは、ターゲットの性質について決定を下すのに必要な一般的に大域変数で表わされる行数を保持する。本発明の望ましい実施態様ではターゲット・データアレー内で10行を使用する。
【0051】
同様に、ある期間内のターゲットの行動を解釈するのに必要な記号データは、ターゲット履歴アレーに記憶される。ターゲット履歴アレーは数秒間ターゲットを追跡し、また大域変数で表わされた行数を用いる。本発明の望ましい実施態様では、ターゲット履歴アレーに100行使用する。
各ターゲット・データとターゲット履歴アレーは、各フレーム内にはターゲットの最大数の大域変数で定義される数と同数のターゲットを追跡する同数の列を有する。本発明の望ましい実施態様ではそのターゲット数を追跡するのに64列を使用する。
【0052】
ターゲット・データとターゲット履歴アレーの最初の4要素は、同じ要素を含み、またターゲット履歴アレーはターゲット・データアレーより長い。例えば、ターゲット・データアレーの10フレーム内で追跡される10ターゲットは、ターゲット履歴アレーの最新の10フレーム内で追跡されるのと同じターゲットである。結果として、ターゲット・データアレーの10行内のデータは、ターゲット履歴アレー内の最新の10行で常に位置付けることができる。
【0053】
ターゲット・データとターゲット履歴アレーの両方の第1次元は、リングとして用いられて、最新のデータ行の変数が解析される次のフレームに使用されるターゲット・データのアレーの行を示す。最新のデータ行変数は各フレームが解析されるたびに増分され、そして最大行数の大域変数に達すると、最新のデータ行変数は1に設定される。
【0054】
同様に、最新履歴行の変数が解析される次のフレームに使用されるターゲット履歴アレーの行を示し、最新履歴行変数は各フレームが解析されるたびに増分される。最大履歴行数用の大域変数に達すると、最新履歴行変数は1に設定される。
各フレームでターゲットがカウントされ認識されると、ターゲット履歴アレーの要素は対応する要素に配置される。例えば、ターゲット履歴アレーの列9はラベル・ターゲット機能により全画素を9に設定したターゲットについてのデータを保持する。
【0055】
さらなる画像解析機能は、カメラの動きを示すレジストレーション・マークのそれである。レジストレーション・マーク機能は近接する画像解析報告にあるコーナーよりも勾配度が高く勾配方向が様々なコーナー用の画像解析報告を走査する。
以下は、画像データを操作する画像解析DLLのさらなる機能のより詳細な説明である。
【0056】
アレーメモリの割当て
ターゲット、ターゲット・データ行、及びターゲット履歴行の最大数の大域変数で特定される大きさのターゲット・データ及びターゲット履歴アレー用のメモリを割当てる機能。列数は両アレーについて常に同じであるが行数は異なり得る。列数はDLL内の定数により決定され、最大数のターゲットに関する大域変数内に置かれる。
【0057】
バッファの割当て
特定タイプのバッファを使用する特定サイズのバッファを割当てるのに必要なあらゆるコードをカプセル化する機能。
画像解析報告用バッファの割当て
画像解析報告用バッファを割当てるのに必要なコードをカプセル化する機能。行と列を決める引数ごとに行バッファを割当てる。
【0058】
レジストレーション・マーク用のリストの割当て
レジストレーション・マーク機能用の2次元アレーにメモリを割当て且つポインターを返す機能。使用する構造のタイプは画素当りビット数の大域変数により決定され、行数はマーク数の大域変数により決定され、また列数はマーク当りの要素数の大域変数により決定される。
単色画像解析報告用バッファの割当て
画像解析報告用バッファ割当て機能と同様に、単色の画像解析報告用のバッファを割当てるのに必要なコードをカプセル化する機能が使用される。
【0059】
ターゲット解析:種々の引数により特定されるターゲット履歴アレーの要素に記号データを出力するターゲット解析を行う一般的機能。本発明の望ましい実施態様に基づく引数は、ターゲットが、頭がある、背が高い、武器を持つ、脚がある、スピードを出して移動している、特定方向に移動している、車輪を持つ、歩行者か車か、ターゲットが最後に動いた時間が含まれるが、それに制限されるものではない。
【0060】
ターゲットに頭があるかどうかを決めるには、境界四辺形の最上部1/5のパーセントフィルを境界四辺形の最上部1/5から2番目のパーセントフィルと比較する。値が同じなら、ターゲットには頭がない。最上部が2番目の25%より少なければ、ターゲットは頭があることになる。
ターゲットの背が高いかを決定するには、ターゲットの高さと幅に基づいて縦横比を計算する。縦横比が幅より3倍高ければ、そのターゲットは背が高い。
【0061】
図3を参照して、ターゲットが武器を持つかどうかの決定にはターゲット49上の一連の境界四辺形48が関係する。5区域(上端から下端)の2番目と3番目の行をそのターゲットの前フレームからの境界四辺形の2番目と3番目の行と比較する。前フレームと現在のフレームでの画素レベルの変化によりターゲットが武器を持つかどうかを決定する。
同様に、ターゲットが脚を持つかどうかの決定には現在の境界四辺形の下部2/5とそのターゲットの前フレームからの境界四辺形の下部2/5との比較が関係する。
【0062】
スピードは、ターゲット履歴アレー内のデータから幅の秒速と高さの秒速を測定することにより決定する。
ターゲットの方向は、ターゲットが認識された最後のフレームと現在のフレームとの間の画素の変化を単純に比較して決定する。
【0063】
ターゲットが歩行者か車両かの分類は、車両に比べた歩行者特有の動き、即ち、歩行者は移動するとき手足を動かすのに対して車両は移動しても形は変化しないことを含む、多数の要因に基づいて分類される。他の要因には、例えば、歩行者は車両より背が高くまた車両は歩行者より滑らかであるなど、縦横比と滑らかさが上げられる。ターゲットが最後に動いたのはいつかを決定するには、閾値を用いてその値に対するターゲットの動きを比較する。ターゲットが最後のフレーム以降にその閾値を超えて動いたら、最後の動きの大域変数がゼロに設定される。ターゲットが動いていなければ、大域変数は増分される。
【0064】
本発明の望ましい実施態様には、2つのターゲットを比較し、異なるフレーム内にあるそのターゲットが同じ物体であるかどうかの確率を得るためのさらなる機能が存在する。引数が基準及びテストターゲットを特定し、個々のターゲットを追跡するため隣接フレームでターゲットを比較するさらなる機能をサポートする。さらに、引数は同じフレーム内のターゲット又は負定数分離れたフレームにある複数のターゲットを特定することができる。引数は一致の確率をパーセントで戻し、この場合点数100%は画素対画素の完全な一致に相当する。
【0065】
単色画像解析報告を比較する付加機能も二つの画像解析報告を比較するのに必要なセグメント分割を行うのに備えられている。セグメント分割は移動するオブジェクトを背景から区別するのに必要である。2×2カーネル1個が分割される前の標高差に関する限界を決める引数が用いられるが、それは他の画像解析の特徴の類似性や、2×2カーネル1個を分割するのに他の画像解析の特徴にどれだけ違いがなければならないか―背景とテスト高度が同じ場合でも―とは関係なく用いられる。個々の画像解析の特徴の差の絶対値を合計し且つ分割するには画像解析の特徴にどれだけの差がなければならないかを決定する引数と比較する。テスト地図の5つの値が背景バッファ内の5つの値に対して充分な差があれば、結果バッファの対応画素が255に設定され、その2×2カーネルが分割されるべきことを意味する。
【0066】
同様に、色画像解析報告を比較するための機能も本発明は検討している。前記引数は上述の単色画像解析報告を比較する引数と同様に2つの画像解析報告の比較によるセグメント分割を実行し且つさらに方向の色分け含んでいる。低い色度では、その色の方向には重みゼロが与えられる。
カメラのぶれを補正するために追加の機能が使用される。画素の補正値を求め、フレームを互いに相殺して背景を再構成する画像解析報告構造の数を示す。
【0067】
レジストレーション・マークを確認する機能は、レジストレーション・マークの位置を探す機能が発見したコーナーを探しながら画像解析報告を走査する。一般的に、レジストレーション・マークは背景画像上にあり、またテスト画像上で確認される。カメラが動いていなければ、マークは同じ位置にあるはずである。マークのいくつかがテスト画像中のターゲットに覆われたとしても、充分な数が生成されていれば他のものは依然として可視である。
【0068】
カメラが動いた場合、レジストレーション・マークを確認する機能は新しいコーナーが見つかるか又は最大閾値に達するまで、元々の条件から外側に螺旋状にコーナーの新しい位置を捜す。同じ補正値で1個又はそれ以上のコーナーの位置がわかると、これらの補正値はxとy補正値の大域変数に置かれ、またこれらの補正値で発見されたコーナーの数が戻される。リスト内に如何なるコーナーもみつからなければ、この機能はゼロに戻る。xとy補正値の大域変数のしるしは、カメラがぶれた後、現在のバッファを背景バッファ位置に合せて調整されるべき方向に適用される。例えば、xとy補正値が両方とも−3であれば、現在のバッファは整列する残りの画像に合せるために3画素下方及び左に調整されねばならない。
【0069】
さらなるアレーはレジストレーション・マークのリストを含み、各レジストレーション・マークに1行及びマークの各画像解析報告構造に1列の2次元構造のアレーである。従って、マークの数の及びマーク当りの要素の大域変数が用いられる。マーク数は画像解析報告内で確認すべきレジストレーション・マーク数を決定し、また整数の平方倍である。マーク当りの要素はレジストレーション・マークを定義する隣接する画像解析報告構造の数を決定する。さらに、画像解析報告のサイズは大域サイズ変数により求められる。
【0070】
さらなる機能は特徴の問合わせを行い、特定の特徴が呼出し前に裏付けされているかを調べるための呼出しプロセス用の手段を提供する。この機能は各ケースがサポートされた特徴である切替ステートメントである。切替ステートメントは以下のような特徴名を認識するためプログラムの進行につれて作成される。
“HasArms(武器有り)”
“HasLegs(脚有り)”
“HasHead(頭有り)”
“IsTall(背が高い)”
“CheckSpeed(速度チェック)”
“CheckDirection(方向チェック)”
“RemoveGlare(グレア除去)”
“RemoveShadow(影除去)”
“StopShaking(ぶれ停止)”
“CheckSmoothness(滑らかさチェック)”
“ClassificationMatching(マッチング分類)”
“TemplateMatching(テンプレート・マッチング)”
【0071】
ターゲットは、物体ON背景OFFで二進法(ハイライト表示)に変換された画像を走査する機能を使用してラベル表示される。接続された画素は第1ターゲットの全接続画素を1にまた第2ターゲットの全接続画素を2に、同様に255ターゲットまで設定して結果バッファ内でラベル表示される。最小サイズ画素より小さいか又は最大サイズ画素より大きいものあるいは最低の高さより小さいか又は最大の幅より小さいものを持つターゲットは削除される。ターゲットのラベル表示機能はノイズを消去するがターゲットを接続することはない。
【0072】
レジストレーション・マークは、隣接する画像解析報告構造内の異なる勾配方向を持つ勾配度の高い勾配で示されるコーナーを求める引数の画像解析報告を走査する機能を使用して位置がわかる。マーク当りの要素数は整数の平方倍であり明瞭なコーナーを見つけるに足りる小さい数である。各マークは地図の平方エリアからなる、例えば、マークの数の引数である3×3は9つのマークに等しい。勾配度及び勾配方向差の閾値はテストにより決定され又はド・コード化される。図4に示すように、9個のレジストレーション・マーク50は3×3グリッドでハイライト表示されている。
【0073】
位置付け機能により発見された各レジストレーション・マーク50について、対応する画像解析報告構造の値がそのレジストレーション・マークのリストを持つアレーの要素にコピーされ、また画像解析報告の関連する行と列がそのレジストレーション・マーク構造に含まれる。
別のフレームとのターゲット・マッチングの識別はターゲット・データアレーの2行の要素を通じてループ計算を制御する機能で実行される。この機能は最後のフレームであると仮定される別のフレームと一致するものを捜すが、但し、別のフレームは前のどのフレームであってもよい。より新しいフレーム内の全てのターゲットがより古いフレーム内の全てのターゲットと2段階比較を用いてマッチングテストされる。まず、高速比較を実行して2つのターゲットが同様であるかどうかを見、そうであれば、ターゲットを比較する機能を呼出す。それから点数が生成され、一致が見つかったかどうかを示す必要点数の引数と比較される。
【0074】
背景を維持する機能を備え、該当するターゲットから背景画像データを除く。一般的に、この機能は移動するターゲットを含まないフレーム部分を平均することにより移動するターゲットから背景を分離する。
前述したように、単色画像解析報告を作成する機能も備えられている。入力バッファの画素の各2×2カーネルについて、画像解析報告はその2×2カーネルを囲む4×4カーネル内の16画素の関係を表す6バイトのデータで描かれる。図5に示すように、四分区画は各四分区画内の画素のように番号付けられる。以下は、単色画像解析報告作成機能で使用される要素である。
【0075】
平均高度:中央の2×2カーネル内の4画素の平均値。
勾配度:4×4カーネル内の4つの2×2四分区画の最高平均値と最低平均値のパーセントでの絶対差。
勾配方向:勾配度を定義するのに使用された最高と最低の四分区画の勾配方向。勾配の方向は図6に基づくルールにより決定される。それらの値は360が8ビットを要する場合に4ビット内に120を入れることのできる度数の3分の1である。
【0076】
水平の滑らかさ:最低の画素から最高の画素まで水平方向に画素が如何に安定的に変化するかの測度。
垂直の滑らかさ:最低の画素から最高の画素まで垂直方向に画素がどのくらい安定的に変化するかの測度。
ジャギー度:フレームの奇数と偶数フィールドの間の動きによりどれほどのインタレースの歪みが起こったかの測度。
【0077】
得られた画像解析報告は行−列順に構造の一面に記憶される。この構造のタイプは画像解析データ用のアレーであり、また各画像解析の特徴ごとに一つの要素を有する。画像解析報告バッファ用のバッファはSizeX/2* SizeY/2構造を持ち、またバッファ・サイズは画像解析のデータのSizeX/2* SizeY/2*サイズである。画像解析報告バッファの第1要素は、発見された第1の2×2カーネルである入力バッファの最初の2行それぞれ内の最初の2画素に関するデータを含んでいる。この画像解析報告は未加工であり、従ってサイズを供給するヘッダーがないのでこの機能は大域変数SizeXとSizeYが送られたバッファに場合に適用可能であると仮定する。
【0078】
画像バッファの最上部、底部、左端及び右端の境界画素は、定義上、カーネルの中心にはあり得ないため、第1行の第1パスからのデータは中央画素としてではなく最上部の2画素として使用される。第2パスは第1パスより1行下がって該当する画素をカーネルの中央に配置する。続く行パスは最終行まで2増分され、該当する4画素カーネルを中央に保持する。最終行では増分が1なり、最後の行パスは最下行のデータを得るのに用いられる。入力マップ・バッファは必要なサイズに割当てられると仮定する。
同様に、色画像解析報告を作成する機能がアナリシス・ワーカー内に備えられる。入力バッファ内の画素の各2×2カーネルについて、画像解析報告がその2×2カーネルを囲む4×4カーネルにある16画素の3色それぞれの関係を表す6バイトのデータで描かれる。
【0079】
四分区画と画素は単色画像解析報告を作成する機能においてと同様に番号付けられる。色地図は以下に詳述するが、同一の要素及び色の方向と色度に関する追加の2要素を持つ3枚の単色地図に似ている。以下は色画像解析報告を作成する機能で使用される要素である。
平均標高:中央2×2カーネル内の4画素の平均値。
勾配度:4×4カーネル内の4の2×2四分区画の最高平均値と最低平均値のパーセントでの絶対差。
【0080】
勾配方向:勾配度を定義するために使用された最高と最低四分区画の間の勾配の方向。勾配方向は図6に示すように決定され、ここで値は360が8ビットを要する場合に4ビットに120入れることのできる度数の3分の1である。
水平の滑らかさ:最低の画素から最高の画素まで水平方向に画素が如何に安定的に変化するかの測度。
垂直の滑らかさ:最低の画素から最高の画素まで垂直方向に画素が如何に安定的に変化するかの測度。
【0081】
ジャギー度:フレームの奇数と偶数フィールドの間の動きによりどれほどのインタレースの歪み(ジャギー度)が引き起こされたかの測度。
色度:その色がグレースケールからどれだけ遠いかの測度。色度は完全な白や完全な黒でゼロであり、完全な色で255である。
色方向:色合いの測度。従来技術で知られたカラーマップでは、黄色はゼロ度であり、時計の針と逆方向に進んで、赤が45度、深紅色が90度、青が180度、及び緑が270度である。方向は内部的に0から127として記憶される。
【0082】
色空間
色の違いに基づくセグメント分割を用いる従来の画像解析は異なる色を表わす数字が色と色の間の感覚差に比例する数字上の差を持つ測定を必要とする。各RGB集合に対して3つの数字があり、赤、緑及び青を種々の組合せで混合して同じ色を生成することができるので、原RBG(赤緑青)の値はセグメント分割には使用できない。
【0083】
RGBの値は3軸が赤、緑及び青である3次元空間に両方のRGB集合をプロッティングすることにより比較できる。図7に示すように、全ての値がゼロの立方体の原点は完全な黒であり、また全ての値が255である逆の対角のコーナーは白である。黒いコーナーと白いコーナーを結ぶ線は中立軸である。全てのグレースケール(0、0、0から255、255、255まで)が中立軸上にある。中立軸からの距離が彩度の測度である。中立軸上で、R、G、及びBは全て等しくグレースケールで彩度なしの結果を生じる。中立軸から最大距離で、(図2示す255)、少なくともRGB集合の一つはゼロまた少なくとも一集合は255であり、結果として完全な純色となる。
【0084】
中立軸からの角変位は色相の測定である。等しい色相は中立軸と立方体表面の一点とで描かれる表面と定義される。等しい色相は異なる条件で“同じ色”と認知されることに相当する。中立軸に最も近い区域はより色あせているか又はパステルカラーであり、また軸から最も遠い区域はより鮮やかである。軸の黒い端に最も近い区域は薄暗い照明下と感じられ、また白い端に最も近い区域は明るい照明下と感じられる。
【0085】
セグメント分割にこのRGB立方体を使用して、中立軸からほぼ同じ角変位を持つRGB集合はほぼ同じ色であり、また中立軸からほぼ同じ距離にあるRGB集合はほぼ同じ彩度である。相応に、3元演算は計算上費用がかかり、色相と彩度によるセグメント分割に使用するより多くの結果を生む。
【0086】
3次元で色空間を計算する従来の技術に対して、本発明の画像解析技術は2次元しか、即ち緑−赤と青−赤しか使用しない。各軸は−2555から+255の目盛りをつける。差のみがプロットされるため、R、G、及びB値の各バランス用のプロットに一つの位置が結果として生じる。RGB立方体内の256グレースケールの全てがプロットの0、0原点で単一の点に集約される。プロッティング(又は演算)の結果はセグメント分割にとって必要な値のみで、この新しい2次元の色空間は195,075の位置数のみで16,772,216のRGB組合せの全てをプロットする。
【0087】
この新しい色空間では、色の方向は色相に相当し、またプロット原点周りの角変位により測定される。色度は彩度に相当し、また原点からの距離により測定される。完全な黒から完全な白までグレースケールの全てが色空間内の同じ位置、セグメント分割で使用する色情報のない原点でプロットすることに注意されたい。
【0088】
図8に示すように、青を赤と緑の中間にして、2点が同じカラー・バランスでプロットされる。緑マイナス赤はあるケースでは100、別のケースでは200である。両点とも同じカラー・バランスを持つので、これらは同じ色方向にプロットされる(27度)。緑−赤が200である点はRGBコンポーネントでより大きな差を持つので、これはより高い色度を持つ(111に比較して223)。
【0089】
G−R=100及びB−R=50の例の場合155の明度レベルがあるが、緑は100から255で変動するためこれは色空間内で同じ位置にプロットされる。これらの明度レベルは全て同じ色相と彩度を持つ。明度は色空間では単純に(R+G+B)/3として取扱われる。
【0090】
図9に示すカラーマップでは、例の2点は原点から外周上の1点を結ぶ線上の青緑と緑のほぼ中間に来る。検査では、これは原点と外周上の任意の1点とを結ぶ任意の線が同じ色相の多くの彩度レベルを通過すると見られる可能性がある。色分割に使用の比較的単純な2D演算で算定上より費用のかかる3D演算と同じ結果を生む。本発明の望ましい実施態様ではさらなる機能を持ち、ビデオ・フレームからすでに分割された与えられたターゲットの奇数と偶数フィールドの間の画素内の補正値を測定する。一つの境界四辺形を決定し、一つのターゲット・マスクを作成するが、このターゲット・マスクはこの機能への入力である。さらにジャギー・パターンが存在するかどうかを決定する機能を持つ。図10に示すように、凹凸は奇数と偶数フィールドの比較により、ターゲットの移動する早さとターゲットの方向を決定するのに画素内の補正値を使用するときに描かれる。奇数走査線用に1個と偶数走査線用に1個の2つのバッファが割当てられ、ジャギー度機能により解放される。この2バッファは最良適合にテンプレート照合され、また必要な補正値が引数ポインターに設置される。
【0091】
本発明のさらなる機能はターゲット・データアレーの引数行と列により与えられるテスト画像の境界四辺形を利用して影とグレアを除去する。境界四辺形は画素の5×5カーネルで走査される。カーネル内の全画素が分割されたバッファ内でターゲット画素としてマークされると、それらが25のグループの影又はグレアであるかどうかを見るためテストされる。このカーネルが影又はグレアと考えられると、分割された画像内の25画素の全てがゼロに設定される。以下は影又はグレアのテストである。25要素の差アレー(背景−テスト)が全て正(影)か又は負(グレア)のいずれかでなければならない。差(背景−テスト)カーネルは背景かテスト画像のいずれか内の相当する25画素より滑らかでなければならない。粗さは1画素から次の画素へと差を追加して計算される。テスト、背景及び差カーネル用の粗さ数を計算後、その差は影又はグレアと判断されるように最低の粗さ(最高の滑らかさ)を持たねばならない。画素が分割された画像から除去されると、境界四辺形を再設定する。影とグレアの除去機能は受取ったヘッダー次第で色付き又は単色のいずれでも使用することができる。
【0092】
もう一つの機能は行によりラベル表示されたフレーム内のターゲットを走査し、また以下についてターゲット高さの各1/5について各ターゲットに関する統計をとる。
滑らかさ:ターゲット内の走査された各画素について、原画像内の対応する画素が隣接する画素に比較してどう変化したかについて調べる。原画像内の各画素の全てがその隣接する画素と異なっている場合、滑らかさは0%である。原画像内の全画素が同じ値である場合、滑らかさは100%である。滑らかさ数はターゲット高さの各1/5ごとに統計を取る。
【0093】
パーセント・ギャップ:ターゲットの断片間にある背景の画素をカウントする。最上部から最底部まで境界四辺形の各1/5についてカウントが行われ、脚又は車輪の存在を演繹するために使用される。図11に示すように、パーセント・ギャップは斜線区域内の画素数をカウントする。
パーセント充填:ラベル表示された画素を持つ境界四辺形のパーセント。
パーセント・ジャギー:閾値を超えるジャギー度を持つターゲット画像解析報告構造のパーセント。
【0094】
各ターゲットを走査中、1個の完全に黒のバッファが境界四辺形のサイズに応じて割当てられる。走査中、全ての対応する画素が輪郭外線の内部にある原画像からターゲット・マスクに転送される。結果として、図12に示すように背景なしのターゲットだけの画像が作成される。原画像が色付きであれば、明度レベル(R+G+B/3)のみが転送される。
【0095】
アナリシス・ワーカー30の各インスタンスは1アレー内のオブジェクトとしてビデオ・スーパーバイザー32により取扱われる。ビデオ・スーパーバイザー32が取扱えるアナリシス・ワーカー30の数については恣意的な制限は存在しない。全てのアナリシス・ワーカー30がビデオ・スーパーバイザー32と同じ処理スペースで作動するビデオ・ワーカー34と共有のメモリ内にある画像データ上で稼動するため、ビデオ・スーパーバイザー32はアナリシス・ワーカー30と同じマシーン内になければならない。
【0096】
ビデオ・スーパーバイザー32とアナリシス・ワーカー30間の全ての通信はアナリシス・ワーカー30の特性、方法及びイベントに基づき処理される。さらにアナリシス・ワーカー30の追加の機能、特性、方法及びイベントをモーション・セントリーDLLに追加して上述の画像解析技術を及び下述のビデオ・スーパーバイザー と通信をサポートしてもよい。
【0097】
ビデオ・スーパーバイザー
ビデオ・スーパーバイザー32モジュールはノード・マネージャーに対してサーバーとして働くアクティブX DCOMのコンポーネントである。各フレーム・グラバーに付き1個のビデオ・スーパーバイザー32がある。ビデオ・ワーカー34はビデオ・スーパーバイザー32に差込まれるOCX制御装置であり、同じプロセスで実行する。ある既知の実施態様では、OCX制御装置はメテオIIフレーム・グラバー・カード専用となる。メテオIIフレーム・グラバー・カードは同じデジタイザーに多重化された4つのカメラ入力を持つ。PCSシステムはフレーム・グラバー・カードに互換性を持たせるように構成されている。
【0098】
ビデオ・ワーカー34は共有メモリ内に各カメラに1個ずつ4個のカレント・フレームを維持する。ビデオ・スーパーバイザー32はフレームがいつ使用可能かアナリシス・ワーカー30が別のフレームに対応できるかを追跡し、それに基づいてトラヒックを方向付ける。アナリシス・ワーカー34とビデオ・スーパーバイザー32の間のインタフェースは総体的である。メテオIIフレーム・グラバー・カードが取り替えられると、ビデオ・ワーカー34制御のみがさらに展開される。アナリシス・ワーカー30はビデオ・スーパーバイザー32のオブジェクトのアレーとして取扱われる。1個のビデオ・スーパーバイザー32が取扱えるアナリシ・ワーカー30の数については恣意的な制限は存在しない。
【0099】
ビデオ・スーパーバイザー32はノード・マネージャー36に対するサーバーとして働く。フレーム・グラバーDLLへの全ての呼出しは、ビデオ・スーパーバイザー32に差込まれ且つ同じアドレス・スペースで作動するビデオ・ワーカー34が行う。フレーム・グラバーと関連するビデオ・バッファを扱う呼出しの全ては、フレーム・グラバーDLLを通る。結果として、種々のフレーム・グラバー・カードをDLLの変更のみで使用することができる。
【0100】
一般的に、フレーム・グラバーDLLはビデオ・フレーム用バッファの割当て、稼動中チャンネルの変更、1バッファから別のバッファへの内容のコピー、フレーム・メモリの割当てと解放、使用可能フレームの取得、ビデオの次のフレームの取込、ビデオ・カードの初期化、及び初期構成の設定と関連する制御装置の設定の機能を含んでいる。
【0101】
ビデオ・スーパーバイザー32はフレーム・グラビングとフレーム解析との調整を行う。各ビデオ・スーパーバイザー32は1個のフレーム・グラバーを1個又はそれ以上の使用済み入力及び使用済みビデオ入力と同数のアナリシス・ワーカー30のインスタンスを制御する。入力間のフレーム・グラビングはデジタライザーが1個しかないので同期しなければならない。図13はビデオ・スーパーバイザー32とアナリシス・ワーカー30との間のグラブ/解析同期を示す。異なる映像の異なるターゲットでは処理時間が異なる可能性があるため、フレーム解析は非同期で行うことができる。
【0102】
処理がスタートすると、ビデオ・スーパーバイザー32はDOループ、フレーム・グラビング及びチャンネル変更をスタートする。一つのスレッドのみがグラビングに使用可能である。単一のコンピュータで複数のフレーム・グラバーが必要な場合は、ビデオ・スーパーバイザー32の複数のインスタンスがスタートする。アナリシス・ワーカー30の各インスタンスは、それぞれが別のプロセスであるため、それ自身のスレッド内で作動する。アナリシス・ワーカー30とビデオ・スーパーバイザー32の間の通信はアナリシス・ワーカー30内の特性を設定しビデオ・スーパーバイザー32へ非同期コールバックすることにより行われる。グラビング・スレッドと処理間の通信は、一般的にフレームが準備できたとき、フレームが要求されているとき、及びアナリシス・ワーカー30が使用中であるときに提供される大域アレーにより行われる。
【0103】
ビデオ・スーパーバイザー32の各インスタンスはアレー内のオブジェクトとしてノード・マネージャー36が処理する。ノード・マネージャー36が扱うビデオ・スーパーバイザー 32の数については恣意的な制限は存在しない。ビデオ・スーパーバイザー 32はノード・マネージャー36と同じマシーン内にあってもよいが、但し、プログラム構造はネットワーク接続されDCOM標準で通信するものと仮定する。
【0104】
ビデオ・スーパーバイザー32とノード・マネージャー36間の通信は全てスーパー・コントロール・クラスモジュールの特性、方法、及びイベントにより行われる。一般的に特性はワーカーズを起動、ワーカーズを停止、処理を開始、処理を停止、及び終了するコマンドを含んでいる。スーパー・コントロール・クラスモジュールの相当する方法は非同期コールバック用にノード・マネージャー36からオブジェクト・リファレンスを追加及び削除する。
【0105】
ビデオ・スーパーバイザー32に対して行われるコールバックはワーカーズ・レポート・クラスモジュールの特性と方法に基づく。ワーカーズ・レポート・クラスモジュールの方法は、一般的に、アナリシス・ワーカー30が無作動後にオンラインに留まっていることを確認するため、またアナリシス・ワーカー 30が次のフレームを処理する態勢にあることをビデオ・スーパーバイザー32に通知するため、使用中ブロックに関する条項が含まれている。
【0106】
さらにビデオ・スーパーバイザー32の追加の機能、特性、方法及びイベントをフレーム・グラバーDLLに追加して上述のフレーム・グラビング技術及び他のPCSシステム・コンポーネントとの通信をサポートすることができる。
【0107】
ビデオ・ワーカー
ビデオ・ワーカー34はビデオ・スーパーバイザー32にプラグ接続されるアクティブX制御(OCX)装置である。フレーム・グラバーDLL内のC++機能への全ての呼出しがビデオ・ワーカー34内で宣言され行われる。ビデオ・スーパーバイザー32とビデオ・ワーカー34間の全ての通信がアクティブX制御の高レベル特性、方法、及びイベントの限定的な集合を通して行われる。ビデオ・ワーカー34の特性は、一般的に、メモリ・ブロックを図化する条項を含み、ビデオ・カードを初期化し、フレーム・グラバー・カードの稼動中チャンネルを設定するか又は戻し、非制限的に以下を含むコマンドを実行する。
【0108】
Clean Up (掃除)−共有メモリの解放及びフレーム・グラバーの停止など、あらゆる浄化オペレーションを実行する。
Grab (取込)−現在のフレームが終了したときに取込を開始する。
Grab Frame and Share (フレーム取込と共有)−フレームを取込み共有メモリ内に置く。
Grab and Show (取込と表示)−フレームを取込みビデオ・ワーカー形式で表示する。
Hide Video Form (ビデオ形式を隠す)−ビデオ・ワーカー形式を隠す。
Show Video Form (ビデオ形式を表示)−ビデオ・ワーカー形式を表示する。
Start Video (ビデオをスタートする)−フレーム・グラバーを初期化し、5フレームを割当て、また初期条件を設定する。
【0109】
ノード・マネージャー
ノード・マネージャー36はビデオ・スーパーバイザー32に対するクライアントとして及びアービトレーター40に対するサーバーとして働くActiveX、DCOMコンポーネントである。ノード・マネージャー36の主目的は多くのビデオ・スーパーバイザー32からの通信を集約し、またアービトレーター40が扱う総トラヒック量を減らすことである。ビデオ・スーパーバイザー32付きのコンピュータのラックごとにノード・マネージャー36が一つある。ノード・マネージャー6はオブジェクトのアレーとしてビデオ・スーパーバイザー32を扱う。ビデオ・スーパーバイザー32サーバーの数には恣意的な制限は存在しない。ノード・マネージャー36はカメラが映した出来事及びまたルール設定GUIに基づき設定された値によりカメラの点数を計算する。
【0110】
ルール設定GUI
ルール設定GUI38はどのビデオをどのモニターに表示するかについてシステム・ルールを変更できるようにするアクティブX、DCOMコンポーネントである。システム・ルールは図2に示すようにルール・データベース41記憶される。例えば、複数の人々の映像の滞留時間の変更や、駐車場構造物でカメラのグループからビデオを受け取るオペレータ・コンソールの変更などである。
【0111】
アービトレーター
アービトレーター40はノード・マネージャー36に対するクライアントである。アービトレーター40はシステム内にどんな活動が存在するかについてノード・マネージャー36からデータを受取り、そしてどのモニターにどの活動を表示するべきかに関するデータベースを読み取る。使用可能なモニターと待機中の活動との間のコンフリクトは優先ルールに基づいて仲裁され、またコンソールからグループ割当てルールに基づいてカメラが呼出される。
【0112】
追加のシステム・コンポーネント
図14を参照して、標準CCTVシステム以上の追加のハードウェアには、カメラ4台に一つのフレーム・グラバーを有するビデオ活動処理プロセッサCPU、各ラック設置場所に1台のノード・マネージャーコンピュータ、及びビデオ活動プロセッサとノード・マネージャープロセッサそれぞれのローカル・エリア・ネットワーク上の一つのポートが含まれる。アービトレータープロセッサはCCTVシステムのメイン・コンピュータを共有し、またルール設定GUIの1コピーがCCTVコンソール3台のそれぞれ内のGUIワークステーション上に常にある。
【0113】
新しいシステムのスペースの限度に応じて、また使用可能なスペースに余裕があるなら、ビデオ活動プロセッサは従来型のラック取付式プロセッサでもよい。これらのプロセッサとして、システムはインテル社のペンティアム(登録商標)クラスのプロセッサ、又はその他高性能のボード搭載コンピュータを使用してそれぞれ少なくとも8台のビデオ・カメラを担当する、即ち、カメラからのビデオ出力の取得を制御してもよい。一例として、デュアル・オンボード・コンピュータを使用して197台のカメラを担当するプロセッサを備えたシステムは26台のプロセッサを必要とし、それぞれがラック取付けとすれば、高さが7インチで182インチものラックスペース(約3台のラック分)を要し且つモニターも含まれなければならない。
【0114】
より密に構成して設置する場合、ビデオ活動プロセッサとしてこれまで工業用に使用されてきた市販のシングルボード・コンピュータ(“SBCs”)を代りに使ってもよい、それによって、例えば、1シャーシーに8台のプロセッサが32台のカメラを担当することができる。複雑な命令設定(CISC)か又は縮小命令設定(RISC)ソフトウェアのいずれかを使用する他の適切なコンピュータ構成及びタイプを採用することも可能である。
【0115】
PCSシステム10のCCTVサブシステム12へのインタフェースは、別途既存のCCTVシステムとのコンピュータ・インタフェースを提供する1台のプロセッサにより実施され、またアービトレーター40をCCTVサブシステム12のポート・サーバーに接続するのにセントリー・コネクタが使用される。このように、図2を参照して、4台のCCTV車庫カメラ14のそれぞれとビデオ・ワーカー34モジュールとの間の接続が確立され、次にこのモジュールがビデオ・スーパーバイザー32に接続され、ビデオ・スーパーバイザー32はノード・マネージャー36に接続される。
【0116】
CCTV車庫カメラ14は防犯システムのCCTVサブシステム12に用いられる可能な多くのビデオ・カメラの代表的なものに過ぎない。例えば、上述の例のように、そのようなカメラは何百台もある。新システムは何百台のカメラで代表されるような大規模のCCTVシステムに特に適しているが、一方でずっとカメラの数の少ない小規模のCCTVシステムにも使用可能である。但し、その場合はPCSシステム10が電子解析とカメラ・ビデオ表示を制御する監視を実施する必要がある。
【0117】
CCTV車庫カメラ14(ならびにシステムの他のビデオ・カメラ)それぞれの視野を表わすビデオ信号はCCTVシステム12にも供給される。図では分散CCTVスイッチ16に接続され、分散CCTVスイッチ16は図示した以外のカメラからビデオを供給されている。全てのビデオ・カメラからのビデオ出力が同時にPCSシステム10とCCTVサブシステム12に供給されるものとする。
【0118】
PCSシステムという用語は本発明を説明するため任意に使用されており、別の用語を使っても良い。コンピュータを使用してカメラを事前に選別することにより、オペレータにとって興味のあるイベントの映像だ怪我呼出しモニターに選択される。
【0119】
システムオペレーション
2システム、即ち、PCSシステム10とCCTVサブシステム12の間のコンピュータ・インタフェースは図2に示すように、以下のように機能する。PCSシステム10がGUIワークステーション24の下に示された4分配器26への入力の一つにカメラ呼出しを要求する。(このインタフェース矢印は下向き)
【0120】
PCSシステム10の画像解析はカメラ・ビデオが独立して両システムにアクセスするため、CCTV切替えシステムに依存せずにカメラの事前スクリーニングを行うことが可能である。CCTV切替えシステムはPCSシステム10に依存せずにオペレータ・コンソール20の最下部に描かれている4つの4面モニター(16視野)にビデオを表示する。
【0121】
CCTVサブシステム12は、それが通常のオペレーション用に構成され且つテストされていれば、PCSシステム10なしでも従来通りに機能できるので、アービトレーター40とGSISポート・サーバー間のインタフェースはPCSシステム10のオペレーションをテストするために起動することができる。CCTV切替えシステムが運転可能で、且つPCSシステム10が運転可能であれば、車庫の監視用に使われているようなビデオカメラ用の自動ビデオ呼出しにより、GUIワークステーションへのビデオ入力によって表示される4面モニター上にカメラの視野を表示することができる。
【0122】
PCSシステム10は必要な要員数を削減し且つ(退屈さを減らす)新システムが設置されている車庫など、建物の安全性を高めるためにビデオ画像解析を提供する。PCSシステム10は人物を車両から区別することのできる画像解析能力を備えたソフトウェア・ベースのシステムである。各カメラの設置場所、及びどのような出来事をカメラが映しているかについてシステムに情報があるので、呼出しは優先ルール・設定に基づいて行われる。例えば、これらのルールは複合式車庫に設置された場合、本発明の防犯システムのために以下のようなオペレーションを確立することができる。入っている車庫により特定のコンソールへのカメラを選択できるように、各カメラに位置識別子を割当てる。
【0123】
各カメラを静かな通路、入口通路、又はエレベータ・ロビーなど論理的タイプのグループに割当てる。
イベントの優先順位を下記の状態など各論理的グループに割当てる。
異なる出発点から集束しつつある2人ないしそれ以上の人物が視野にいる。
普通より早く移動している1人ないしそれ以上の人物が視野にいる。
集束していない2人ないしそれ以上の人物が視野にいる。
1人で歩いている人物がいる。
位置識別子と論理的グループの組合せを使用して、各コンソールでのカメラ呼出しをオペレータ負荷を制御するためにカスタマイズすることができる。車庫は昼間は個々のコンソールに割当て、夜間は全車庫を一つのコンソールに割当てることもできる。乗用車などの車両は、通常、数時間のオペレーションの間無視されることもがあるが、ビデオ監視をする必要がなく特に退屈なシフト勤務の間は、車両を優先リストに追加し、モニター呼出し頻度を増加させることもできる。
【0124】
カメラ呼出しルールを設定できるように、ルール設定GUIを各オペレータ・コンソール20に入れることができる。望ましくは、ルール設定GUIへのアクセスをパスワード許可に従属させる。
PCSシステム10用に呼出す事象を追加しグレードアップして提供することができる。情報が画像解析から入手可能であれば、以下を含め、他のより込み入った事象も利用可能である。
【0125】
1人の人が倒れた。
自動車を“下見して”いたり又は迷った場合に起こるように、1人の人が不規則に歩いている。
1人の人が自動車に入るのに余りにも長い時間かかつている。これは侵入しようとしているのかもしれない。
自動車が近い過去のある時間に同じカメラ視野内で他の自動車の事前設定された割合(例:95%)より速いスピードで移動している。
【0126】
各オペレータ・コンソール20は好ましくは4台のカメラ表示付きの呼出しモニターを備えている。小型“サムネイル”バージョンの4面カメラの視野をGUI ワークステーション24に表示する。カメラ呼出しは自動である。選択された各カメラの視野はユーザが選択しルールに入力される滞留期間コンソール上に留まる。オペレータが特定のカメラの視野を継続して見たい場合、GUIワークステーション24のサムネイル画像の四分区画をクリックすれば、その選択されたカメラを別の大型モニターに切替えることができる。例えば、オペレータは2人の走っている人物を大型モニターに表示するよう選択できる。
【0127】
内容重視の記録
本システムはこれらのカメラからのビデオの記号の内容について内部知識を持っているので、より関心の高いレベル(例:人物対車両)のビデオ内のターゲットのみを記憶して高い圧縮度を達成することができる。現在のシステム実施態様では、ビデオ記憶は以下のような記号ルールに基づいている。
50:1の圧縮(不鮮明だが使用可能)で分当り1回だけ背景をセーブする。
50:1の圧縮(不鮮明だが使用可能)車のビデオをセーブする。
20:1の圧縮(よい鮮明な画像)で人々の画像をセーブする。
【0128】
再生では、自動車と人々の画像はそれらが記録された位置で背景の上に映し出される。システムの必要な記憶容量はその場面で何が行われているかに依存する。車庫の静かな場所での一般的なカメラの例として、10パーセントの時間中、視野に1台自動車があり、また10パーセントの時間中、人物1人が視野に居る。その場面で人物又は自動車の平均サイズは代表的には視野の高さの4分の1で視野の幅の4分の1である。
【0129】
この例では、秒当り5フレームで自動車と人間のビデオデータを記憶する。
背景:3*320*240*60*1/50=276,480バイト/時間
自動車:3*80*60*5*60*60*1/10*1/50=518,400バイト/時間
人々:3*80*60*5*60*60*1/10*1/20=1,296,000バイト/時間
合計記憶容量:2,090,880バイト/時間(2.04MB/Hr)
【0130】
この例では、人物のビデオが車両のビデオより関心レベルが高く、必要な記憶容量は従来の圧縮より良く、39分の1(78MB/Hrに比較して)に低減される一方、人の画像に用いるにはより低いビデオ圧縮が必要であり、より良い再生解像度を提供できる。
【0131】
前述の本発明と実施態様の説明に照らして、本発明のいくつかの目的が達成されており且つ他の利点が得られたことが分かる。実施態様と例は発明の原理をよりよく説明するために選ばれ記述されたもので、それによりその実際的応用は他業種の人々に様々な実施形態に於いて、また今後検討される特殊な用途に適した種々の修正とともに本発明を最大限利用することを可能にする。
【0132】
本書に記述され且つ発明の範囲を逸脱することなく図示された構成と方法には様々の修正を加えることができるので、前述の説明に含まれるか又は添付図面に示された全ての事柄は限定するものではなく、説明のための記述と解釈されねばならない。
本発明の広がりと範囲は上述の如何なる模範的実施態様によっても制限されることはなく、出願の請求範囲とそれらの等価物に基づいてのみ定義されるべきである。
【図面の簡単な説明】
【図1】 既知の技術に基づく“壁”の一端に位置付けられた人物像の描写を添えた、いわゆるCCTVディスプレイ・モニターの壁の透視図である。よって、この図面は“既知の技術”と標示される。人物像は尺度通りに図示されていない。
【図2】 1個のビデオ・ディスプレイ・コンソール又はそれ以上の当該コンソールに選択的に供給されるビデオにより、ディスプレイ・モニターを観察する警備員がカメラの視野を見ることのできるCCTVシステムのディスプレイ・モニターに、システムのビデオ・カメラからのビデオ出力が自動選択的に使用可能にされるようにする、ソフトウェア駆動のコンポーネントを含むCCTVサブシステム・コンポーネントと電子サブシステム機能を持つ、本発明に基づき且つそれを具現する防犯システムのブロック図である。このブロック図には、考えられ得る多数のオペレータ・コンソール位置の代表的なユニットのみが示されている。
【図3】 本発明に基づく画像解析に使用される画像領域の図である。
【図4】 本発明に基づく3×3グリッドに強調されたレジストレーション・マークを描写した図である。
【図5】 本発明に基づく画像解析報告作成用の4つの2×2四分区画及び各四分区画内の画素番号を添えた基準4×4カーネルの図である。
【図6】 本発明に基づく120度を4ビットに収めることのできる勾配方向の決定を示す図である。
【図7】 従来の技術に基づく画像解析演算に使用される3次元の色空間の略図である。
【図8】 本発明に基づく画像解析演算に使用される2次元の色空間の略図である。
【図9】 本発明に基づく2次元の色空間を示すカラーマップである。
【図10】 本発明に基づきビデオ・フレームから既に分割された特定のターゲット用の奇数及び偶数フィールド間の画素の補正値の図である。
【図11】 本発明に基づく画素をカウントするための画像解析機能により使用される斜線区域を示す図である。
【図12】 本発明に基づく画像解析機能で使用される背景なしのターゲットのみの画像を示す図である。
【図13】 本発明に基づくスーパーバイザーとアナリシス・ワーカーの間の取り込みと分析同期を示すフローチャートである。
【図14】 本発明に基づくハードウェア・ブロック図である。

Claims (17)

  1. 各画素値がビデオ画像のフレームの一部分内における一つの画素に関連付けられている、複数の画素値を受け取る工程と、
    複数の前記画素値を用いて、前記フレームの一部分内に含まれる画素グループ毎に画素値の平均値を算出し、各画素グループの平均高度パラメータを決定する工程と、
    前記平均高度パラメータが最も高い画素グループの平均高度パラメータと、前記平均高度パラメータが最も低い画素グループの平均高度パラメータとの差を算出し、前記フレームの一部分について勾配度パラメータを決定する工程と
    を備えることを特徴とする方法。
  2. 請求項1の方法において、少なくともビデオ画像データのフレームを通じて単一パスを実行する工程をさらに備えることを特徴とする方法。
  3. 請求項1の方法において、前記平均高度パラメータが最も高い画素グループの前記フレームの一部分内における位置と、前記平均高度パラメータが最も低い画素グループの前記フレームの一部分内における位置とに基づいて、勾配方向パラメータを算出する工程とをさらに備えることを特徴とする方法。
  4. 請求項1の方法において、複数の前記画素値の水平方向の変化の一貫性を決定する工程をさらに備えることを特徴とする方法。
  5. 請求項1の方法において、複数の前記画素値の垂直方向の変化の一貫性を決定する工程をさらに備えることを特徴とする方法。
  6. 請求項1の方法において、前記ビデオ画像のフレームから、インタレース方式の偶数フィールドと奇数フィールドとを有するターゲットを分割する工程と、
    前記ターゲットについて、複数の前記画素値から、奇数フィールド及び偶数フィールド間の画素内の補正値を示すシャギー度パラメータを算出する工程とをさらに備えることを特徴とする方法。
  7. 各画素値がビデオ画像のフレームの一部分内における一つの画素に関連付けられている、複数の画素値を受け取る工程と、
    複数の前記画素値を用いて、前記フレームの一部分内に含まれる画素グループ毎に画素値の平均値を算出し、各画素グループの平均高度パラメータを決定する工程と、
    前記平均高度パラメータが最も高い画素グループの前記フレームの一部分内における位置と、前記平均高度パラメータが最も低い画素グループの前記フレームの一部分内における位置とに基づいて、勾配方向パラメータを算出する工程と
    を備えることを特徴とする方法。
  8. 請求項7の方法において、少なくともビデオ画像データのフレームを通じて単一パスを実行する工程をさらに備えることを特徴とする方法。
  9. 請求項7の方法において、複数の前記画素値の水平方向の変化の一貫性を決定する工程をさらに備えることを特徴とする方法。
  10. 請求項7の方法において、複数の前記画素値の垂直方向の変化の一貫性を決定する工程をさらに備えることを特徴とする方法。
  11. 請求項7の方法において、前記ビデオ画像のフレームから、インタレース方式の偶数フィールドと奇数フィールドとを有するターゲットを分割する工程と、
    前記ターゲットについて、複数の前記画素値に基づいて、奇数フィールド及び偶数フィールド間の画素内の補正値を示すシャギー度パラメータを算出する工程とをさらに備えることを特徴とする方法。
  12. 各画素値がビデオ画像のフレームの一部分内における一つの画素に関連付けられている、複数の画素値を受け取る工程と、
    複数の前記画素値を用いて、前記ビデオ画像の動くターゲットから背景を分割する際に用いられる少なくとも一つのパラメータを生成する工程と、
    少なくとも一つの前記パラメータを用いて、前記動くターゲットを解析し、前記動くターゲットが車両であるか歩行者であるかを区別する工程とをさらに備えることを特徴とする方法。
  13. 請求項12の方法において、前記解析は、歩行者の動きの特徴と前記動くターゲットの動きとを比較する工程と、
    車両の動きの特徴と前記動くターゲットの動きとを比較する工程とを含むことを特徴とする方法。
  14. 請求項12の方法において、少なくとも一つの前記パラメータは、前記動くターゲットの奇数フィールド及び偶数フィールド間の画素内の補正値を示すシャギー度パラメータを含むことを特徴とする方法。
  15. 請求項12の方法において、少なくとも一つの前記パラメータは、前記動くターゲットの奇数フィールド及び偶数フィールド間の画素内の補正値を示すシャギー度パラメータを含み、前記シャギー度パラメータは、前記動くターゲットの移動速度及び移動方向の決定に用いられることを特徴とする方法。
  16. 請求項12の方法において、複数の前記画素値の水平方向の変化の一貫性を決定する工程をさらに備えることを特徴とする方法。
  17. 請求項12の方法において、複数の前記画素値の垂直方向の変化の一貫性を決定する工程をさらに備えることを特徴とする方法。
JP2001556967A 2000-02-04 2001-02-05 防犯カメラの自動スクリーニングシステム Expired - Fee Related JP4618965B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US18032300P true 2000-02-04 2000-02-04
US60/180,323 2000-02-04
US09/773,475 US6940998B2 (en) 2000-02-04 2001-02-01 System for automated screening of security cameras
US09/773,475 2001-02-02
PCT/US2001/003639 WO2001057787A1 (en) 2000-02-04 2001-02-05 System for automated screening of security cameras

Publications (2)

Publication Number Publication Date
JP2003521860A JP2003521860A (ja) 2003-07-15
JP4618965B2 true JP4618965B2 (ja) 2011-01-26

Family

ID=26876193

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001556967A Expired - Fee Related JP4618965B2 (ja) 2000-02-04 2001-02-05 防犯カメラの自動スクリーニングシステム

Country Status (9)

Country Link
US (4) US6940998B2 (ja)
EP (1) EP1266345B1 (ja)
JP (1) JP4618965B2 (ja)
AT (1) AT381073T (ja)
AU (2) AU2001238024B2 (ja)
CA (1) CA2399106C (ja)
DE (1) DE60131840T2 (ja)
IL (2) IL151004D0 (ja)
WO (1) WO2001057787A1 (ja)

Families Citing this family (135)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6720990B1 (en) * 1998-12-28 2004-04-13 Walker Digital, Llc Internet surveillance system and method
US6940998B2 (en) 2000-02-04 2005-09-06 Cernium, Inc. System for automated screening of security cameras
US7006950B1 (en) * 2000-06-12 2006-02-28 Siemens Corporate Research, Inc. Statistical modeling and performance characterization of a real-time dual camera surveillance system
US8392552B2 (en) 2000-09-28 2013-03-05 Vig Acquisitions Ltd., L.L.C. System and method for providing configurable security monitoring utilizing an integrated information system
EP1323014A2 (en) * 2000-09-28 2003-07-02 Vigilos, Inc. Method and process for configuring a premises for monitoring
US20050146605A1 (en) 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
US9892606B2 (en) * 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US8564661B2 (en) * 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US20050162515A1 (en) * 2000-10-24 2005-07-28 Objectvideo, Inc. Video surveillance system
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US7868912B2 (en) * 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US7841533B2 (en) 2003-11-13 2010-11-30 Metrologic Instruments, Inc. Method of capturing and processing digital images of an object within the field of view (FOV) of a hand-supportable digitial image capture and processing system
US7708205B2 (en) 2003-11-13 2010-05-04 Metrologic Instruments, Inc. Digital image capture and processing system employing multi-layer software-based system architecture permitting modification and/or extension of system features and functions by way of third party code plug-ins
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
BR0209543A (pt) * 2001-05-11 2005-04-26 Detector Electronics Método e aparelho de detecção de fogo através de formação de imagem da chama
US20030004913A1 (en) * 2001-07-02 2003-01-02 Koninklijke Philips Electronics N.V. Vision-based method and apparatus for detecting an event requiring assistance or documentation
US7480715B1 (en) 2002-01-25 2009-01-20 Vig Acquisitions Ltd., L.L.C. System and method for performing a predictive threat assessment based on risk factors
US7292723B2 (en) 2003-02-26 2007-11-06 Walker Digital, Llc System for image analysis in a network that is structured with multiple layers and differentially weighted neurons
US20040186813A1 (en) * 2003-02-26 2004-09-23 Tedesco Daniel E. Image analysis method and apparatus in a network that is structured with multiple layers and differentially weighted neurons
US20100118049A1 (en) * 2003-11-05 2010-05-13 Bbn Technologies Corp. Motion-based visualization
US7464877B2 (en) 2003-11-13 2008-12-16 Metrologic Instruments, Inc. Digital imaging-based bar code symbol reading system employing image cropping pattern generator and automatic cropped image processor
FR2867864B1 (fr) * 2004-03-17 2007-03-02 Automatic Systems Procede et installation de detection de passage associe a une porte d'acces
AU2005227502A1 (en) * 2004-03-24 2005-10-13 Cernium Corporation Improvement in video analysis using segmentation gain by area
US20050225634A1 (en) * 2004-04-05 2005-10-13 Sam Brunetti Closed circuit TV security system
JP4559471B2 (ja) * 2004-05-06 2010-10-06 キヤノン株式会社 色処理装置およびその方法
US7103217B2 (en) * 2004-05-06 2006-09-05 Canon Kabushiki Kaisha Color appearance space to CMYK mapping
JP4140567B2 (ja) * 2004-07-14 2008-08-27 松下電器産業株式会社 物体追跡装置および物体追跡方法
JP4306557B2 (ja) * 2004-08-05 2009-08-05 コニカミノルタビジネステクノロジーズ株式会社 画像形成システム
EP1648181A1 (en) * 2004-10-12 2006-04-19 Dialog Semiconductor GmbH A multiple frame grabber
US7457433B2 (en) * 2005-01-20 2008-11-25 International Business Machines Corporation System and method for analyzing video from non-static camera
AU2006230361A1 (en) * 2005-03-30 2006-10-05 Cernium Corporation Intelligent video behavior recognition with multiple masks and configurable logic inference module
WO2006115676A2 (en) * 2005-03-30 2006-11-02 Cernium Corporation Video ghost detection by outline
US7760908B2 (en) * 2005-03-31 2010-07-20 Honeywell International Inc. Event packaged video sequence
US20060238616A1 (en) * 2005-03-31 2006-10-26 Honeywell International Inc. Video image processing appliance manager
TWI306715B (ja) * 2005-06-15 2009-02-21 Inventec Appliances Corp
US7822224B2 (en) * 2005-06-22 2010-10-26 Cernium Corporation Terrain map summary elements
WO2007014216A2 (en) 2005-07-22 2007-02-01 Cernium Corporation Directed attention digital video recordation
US20070071404A1 (en) * 2005-09-29 2007-03-29 Honeywell International Inc. Controlled video event presentation
US7822227B2 (en) * 2006-02-07 2010-10-26 International Business Machines Corporation Method and system for tracking images
EP2013817A2 (en) 2006-04-17 2009-01-14 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US7956735B2 (en) 2006-05-15 2011-06-07 Cernium Corporation Automated, remotely-verified alarm system with intrusion and video surveillance and digital video recording
US8035691B2 (en) * 2006-08-01 2011-10-11 Pelco, Inc. Method and apparatus for compensating for movement of a video surveillance camera
US8498497B2 (en) 2006-11-17 2013-07-30 Microsoft Corporation Swarm imaging
ES2320826B1 (es) * 2006-12-27 2010-02-25 Universidad Nacional De Educacion A Distancia (Uned) Procedimiento para describir el comportamiento geometrico de humanos en una escena captada por un sistema de vision artificial, basado en un modelo de bloques y, especial, orientado a la tarea de video-vigilancia.
CN101652999B (zh) * 2007-02-02 2016-12-28 霍尼韦尔国际公司 用于管理实况视频数据的系统和方法
CN101622652B (zh) 2007-02-08 2012-03-21 行为识别系统公司 行为识别系统
US8204955B2 (en) * 2007-04-25 2012-06-19 Miovision Technologies Incorporated Method and system for analyzing multimedia content
US7595815B2 (en) * 2007-05-08 2009-09-29 Kd Secure, Llc Apparatus, methods, and systems for intelligent security and safety
US8189905B2 (en) 2007-07-11 2012-05-29 Behavioral Recognition Systems, Inc. Cognitive model for a machine-learning engine in a video analysis system
WO2009012289A1 (en) 2007-07-16 2009-01-22 Cernium Corporation Apparatus and methods for video alarm verification
US8289326B2 (en) * 2007-08-16 2012-10-16 Southwest Research Institute Image analogy filters for terrain modeling
EP2191647A4 (en) * 2007-09-23 2012-08-01 Honeywell Int Inc Dynamic tracking of intruders across a plurality of associated video screens
US8175333B2 (en) * 2007-09-27 2012-05-08 Behavioral Recognition Systems, Inc. Estimator identifier component for behavioral recognition system
US8300924B2 (en) * 2007-09-27 2012-10-30 Behavioral Recognition Systems, Inc. Tracker component for behavioral recognition system
US8200011B2 (en) * 2007-09-27 2012-06-12 Behavioral Recognition Systems, Inc. Context processor for video analysis system
WO2009045218A1 (en) 2007-10-04 2009-04-09 Donovan John J A video surveillance, storage, and alerting system having network management, hierarchical data storage, video tip processing, and vehicle plate analysis
US8013738B2 (en) 2007-10-04 2011-09-06 Kd Secure, Llc Hierarchical storage manager (HSM) for intelligent storage of large volumes of data
US8204273B2 (en) * 2007-11-29 2012-06-19 Cernium Corporation Systems and methods for analysis of video content, event notification, and video content provision
US20090213123A1 (en) * 2007-12-08 2009-08-27 Dennis Allard Crow Method of using skeletal animation data to ascertain risk in a surveillance system
TWI353778B (en) * 2007-12-21 2011-12-01 Ind Tech Res Inst Moving object detection apparatus and method
US8390685B2 (en) * 2008-02-06 2013-03-05 International Business Machines Corporation Virtual fence
US8345097B2 (en) * 2008-02-15 2013-01-01 Harris Corporation Hybrid remote digital recording and acquisition system
TWI489394B (zh) * 2008-03-03 2015-06-21 Videoiq Inc 用於追蹤、索引及搜尋之物件匹配
US10341615B2 (en) * 2008-03-07 2019-07-02 Honeywell International Inc. System and method for mapping of text events from multiple sources with camera outputs
US8941680B2 (en) * 2008-07-09 2015-01-27 Raytheon Bbn Technologies Corp. Volumetric image motion-based visualization
US9633275B2 (en) 2008-09-11 2017-04-25 Wesley Kenneth Cobb Pixel-level based micro-feature extraction
US8229228B2 (en) * 2008-09-16 2012-07-24 Robert Bosch Gmbh Image analysis using a pre-calibrated pattern of radiation
WO2010057170A1 (en) * 2008-11-17 2010-05-20 Cernium Corporation Analytics-modulated coding of surveillance video
US9373055B2 (en) * 2008-12-16 2016-06-21 Behavioral Recognition Systems, Inc. Hierarchical sudden illumination change detection using radiance consistency within a spatial neighborhood
US8633984B2 (en) * 2008-12-18 2014-01-21 Honeywell International, Inc. Process of sequentially dubbing a camera for investigation and review
US8763038B2 (en) 2009-01-26 2014-06-24 Sony Corporation Capture of stylized TV table data via OCR
US8285046B2 (en) * 2009-02-18 2012-10-09 Behavioral Recognition Systems, Inc. Adaptive update of background pixel thresholds using sudden illumination change detection
WO2010144105A2 (en) * 2009-02-26 2010-12-16 Raytheon Company Integrated airport domain awareness response system, system for ground-based transportable defense of airports against manpads, and methods
WO2010099575A1 (en) 2009-03-04 2010-09-10 Honeywell International Inc. Systems and methods for managing video data
US8416296B2 (en) * 2009-04-14 2013-04-09 Behavioral Recognition Systems, Inc. Mapper component for multiple art networks in a video analysis system
WO2010124062A1 (en) 2009-04-22 2010-10-28 Cernium Corporation System and method for motion detection in a surveillance video
JP5272886B2 (ja) 2009-05-14 2013-08-28 ソニー株式会社 動体検出装置と動体検出方法およびコンピュータ・プログラム
US8379085B2 (en) * 2009-08-18 2013-02-19 Behavioral Recognition Systems, Inc. Intra-trajectory anomaly detection using adaptive voting experts in a video surveillance system
US8295591B2 (en) * 2009-08-18 2012-10-23 Behavioral Recognition Systems, Inc. Adaptive voting experts for incremental segmentation of sequences with prediction in a video surveillance system
US8280153B2 (en) * 2009-08-18 2012-10-02 Behavioral Recognition Systems Visualizing and updating learned trajectories in video surveillance systems
US20110043689A1 (en) * 2009-08-18 2011-02-24 Wesley Kenneth Cobb Field-of-view change detection
US8340352B2 (en) * 2009-08-18 2012-12-25 Behavioral Recognition Systems, Inc. Inter-trajectory anomaly detection using adaptive voting experts in a video surveillance system
US8493409B2 (en) * 2009-08-18 2013-07-23 Behavioral Recognition Systems, Inc. Visualizing and updating sequences and segments in a video surveillance system
US9805271B2 (en) 2009-08-18 2017-10-31 Omni Ai, Inc. Scene preset identification using quadtree decomposition analysis
US8358834B2 (en) 2009-08-18 2013-01-22 Behavioral Recognition Systems Background model for complex and dynamic scenes
US8625884B2 (en) * 2009-08-18 2014-01-07 Behavioral Recognition Systems, Inc. Visualizing and updating learned event maps in surveillance systems
US8285060B2 (en) * 2009-08-31 2012-10-09 Behavioral Recognition Systems, Inc. Detecting anomalous trajectories in a video surveillance system
US8270732B2 (en) * 2009-08-31 2012-09-18 Behavioral Recognition Systems, Inc. Clustering nodes in a self-organizing map using an adaptive resonance theory network
US8786702B2 (en) * 2009-08-31 2014-07-22 Behavioral Recognition Systems, Inc. Visualizing and updating long-term memory percepts in a video surveillance system
US8270733B2 (en) * 2009-08-31 2012-09-18 Behavioral Recognition Systems, Inc. Identifying anomalous object types during classification
US8167430B2 (en) * 2009-08-31 2012-05-01 Behavioral Recognition Systems, Inc. Unsupervised learning of temporal anomalies for a video surveillance system
US8797405B2 (en) * 2009-08-31 2014-08-05 Behavioral Recognition Systems, Inc. Visualizing and updating classifications in a video surveillance system
US8218819B2 (en) * 2009-09-01 2012-07-10 Behavioral Recognition Systems, Inc. Foreground object detection in a video surveillance system
US8218818B2 (en) * 2009-09-01 2012-07-10 Behavioral Recognition Systems, Inc. Foreground object tracking
US8180105B2 (en) 2009-09-17 2012-05-15 Behavioral Recognition Systems, Inc. Classifier anomalies for observed behaviors in a video surveillance system
US8170283B2 (en) * 2009-09-17 2012-05-01 Behavioral Recognition Systems Inc. Video surveillance system configured to analyze complex behaviors using alternating layers of clustering and sequencing
US20110234829A1 (en) * 2009-10-06 2011-09-29 Nikhil Gagvani Methods, systems and apparatus to configure an imaging device
US20120213404A1 (en) 2011-02-18 2012-08-23 Google Inc. Automatic event recognition and cross-user photo clustering
US8788228B1 (en) 2011-07-18 2014-07-22 Advanced Testing Technologies, Inc. Method and system for validating video waveforms and other electrical signals
US8655617B1 (en) 2011-07-18 2014-02-18 Advanced Testing Technologies, Inc. Method and system for validating video waveforms and other electrical signals
US9124783B2 (en) 2011-09-30 2015-09-01 Camiolog, Inc. Method and system for automated labeling at scale of motion-detected events in video surveillance
WO2013138719A1 (en) 2012-03-15 2013-09-19 Behavioral Recognition Systems, Inc. Alert directives and focused alert directives in a behavioral recognition system
US9391792B2 (en) 2012-06-27 2016-07-12 Google Inc. System and method for event content stream
US9317908B2 (en) 2012-06-29 2016-04-19 Behavioral Recognition System, Inc. Automatic gain control filter in a video analysis system
US9911043B2 (en) 2012-06-29 2018-03-06 Omni Ai, Inc. Anomalous object interaction detection and reporting
EP2867860A4 (en) 2012-06-29 2016-07-27 Behavioral Recognition Sys Inc Unsupervised learning of feature anomalies for a video surveillance system
US9723271B2 (en) 2012-06-29 2017-08-01 Omni Ai, Inc. Anomalous stationary object detection and reporting
US9111353B2 (en) 2012-06-29 2015-08-18 Behavioral Recognition Systems, Inc. Adaptive illuminance filter in a video analysis system
US9113143B2 (en) 2012-06-29 2015-08-18 Behavioral Recognition Systems, Inc. Detecting and responding to an out-of-focus camera in a video analytics system
WO2014031615A1 (en) 2012-08-20 2014-02-27 Behavioral Recognition Systems, Inc. Method and system for detecting sea-surface oil
US9418370B2 (en) 2012-10-23 2016-08-16 Google Inc. Obtaining event reviews
WO2014075022A1 (en) 2012-11-12 2014-05-15 Behavioral Recognition Systems, Inc. Image stabilization techniques for video surveillance systems
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
KR101405085B1 (ko) 2012-12-21 2014-06-19 (주)에이치아이디솔루션 차량녹화영상분석 방법 및 장치
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US8929603B1 (en) * 2013-03-15 2015-01-06 Puretech Systems, Inc. Autonomous lock-on target tracking with geospatial-aware PTZ cameras
US9294365B2 (en) 2013-05-08 2016-03-22 Vringo, Inc. Cognitive radio system and cognitive radio carrier device
US9614898B1 (en) * 2013-05-27 2017-04-04 Surround.IO Distributed event engine
EP3031004A4 (en) 2013-08-09 2016-08-24 Behavioral Recognition Sys Inc Cognitive information security using a behavior recognition system
US10523903B2 (en) * 2013-10-30 2019-12-31 Honeywell International Inc. Computer implemented systems frameworks and methods configured for enabling review of incident data
WO2015080557A1 (en) * 2013-11-28 2015-06-04 Mimos Berhad Video surveillance system and method
US9245183B2 (en) 2014-06-26 2016-01-26 International Business Machines Corporation Geographical area condition determination
WO2016032235A1 (ko) * 2014-08-29 2016-03-03 주식회사 경동원 월패드의 영상 움직임 감지를 이용한 댁내외 모니터링 시스템 및 방법
DE102014220777A1 (de) * 2014-10-06 2016-04-07 Mobotix Ag Verfahren zur Konfiguration von Kameras und dergleichen
DE102014117508A1 (de) * 2014-11-28 2016-06-02 Skidata Ag Verfahren zur Optimierung der Kundenunterstützung bei der Betätigung von Zugangskontroll- oder Bezahlvorrichtungen
US10409909B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Lexical analyzer for a neuro-linguistic behavior recognition system
US10409910B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Perceptual associative memory for a neuro-linguistic behavior recognition system
US9940524B2 (en) 2015-04-17 2018-04-10 General Electric Company Identifying and tracking vehicles in motion
US20160307048A1 (en) * 2015-04-17 2016-10-20 General Electric Company Simulating camera node output for parking policy management system
US10043307B2 (en) 2015-04-17 2018-08-07 General Electric Company Monitoring parking rule violations
JP6663229B2 (ja) * 2016-01-20 2020-03-11 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
US10679477B2 (en) 2016-05-09 2020-06-09 Herbert S Kobayashi Multicamera video alarm system for remote monitoring and method
US10432728B2 (en) 2017-05-17 2019-10-01 Google Llc Automatic image sharing with designated users over a communication network
US10482613B2 (en) 2017-07-06 2019-11-19 Wisconsin Alumni Research Foundation Movement monitoring system
US10405011B2 (en) * 2017-07-14 2019-09-03 Canon Kabushiki Kaisha Method, system, apparatus and readable medium for generating two video streams from a received video stream

Family Cites Families (156)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US545561A (en) * 1895-09-03 Pipe-hanger
US3988533A (en) * 1974-09-30 1976-10-26 Video Tek, Inc. Video-type universal motion and intrusion detection system
US4679077A (en) 1984-11-10 1987-07-07 Matsushita Electric Works, Ltd. Visual Image sensor system
US4623837A (en) 1985-06-14 1986-11-18 Discovision Associates Audio/video quality monitoring system
JP2528789B2 (ja) * 1985-06-26 1996-08-28 中央電子 株式会社 映像情報管理装置
GB2183878B (en) * 1985-10-11 1989-09-20 Matsushita Electric Works Ltd Abnormality supervising system
JPS633590A (en) * 1986-06-23 1988-01-08 Sony Corp Monitor device
JPS633384A (en) * 1986-06-24 1988-01-08 Toshiba Corp Image compression device
US4905296A (en) 1986-07-22 1990-02-27 Schlumberger Systems & Services, Inc. System for shape recognition
US4774570A (en) 1986-09-20 1988-09-27 Sony Corporation System for processing video signal for detecting changes in video data and security monitoring system utilizing the same
US4814869A (en) * 1987-04-27 1989-03-21 Oliver Jr Robert C Video surveillance system
US4857912A (en) 1988-07-27 1989-08-15 The United States Of America As Represented By The Secretary Of The Navy Intelligent security assessment system
US5033015A (en) 1988-08-12 1991-07-16 Hughes Aircraft Company Automated system for testing an imaging sensor
US5537483A (en) 1989-10-03 1996-07-16 Staplevision, Inc. Automated quality assurance image processing system
KR920005058B1 (ko) * 1989-12-15 1992-06-26 이헌조 4화면 분할 표시 장치
US5161107A (en) * 1990-10-25 1992-11-03 Mestech Creation Corporation Traffic surveillance system
CA2049273A1 (en) 1990-10-25 1992-04-26 Cindy E. Daniell Self adaptive hierarchical target identification and recognition neural network
JPH04195397A (en) 1990-11-27 1992-07-15 Matsushita Electric Ind Co Ltd Road trouble monitor device
US5142592A (en) 1990-12-17 1992-08-25 Moler Keith E Method and apparatus for detection of parallel edges in image processing
US5289275A (en) * 1991-07-12 1994-02-22 Hochiki Kabushiki Kaisha Surveillance monitor system using image processing for monitoring fires and thefts
JPH0564199A (ja) * 1991-08-29 1993-03-12 Pioneer Electron Corp 画像監視装置
EP0631683B1 (en) 1992-03-20 2001-08-01 Commonwealth Scientific And Industrial Research Organisation An object monitoring system
US5751844A (en) 1992-04-20 1998-05-12 International Business Machines Corporation Method and apparatus for image acquisition with adaptive compensation for image exposure variation
US7386372B2 (en) 1995-06-07 2008-06-10 Automotive Technologies International, Inc. Apparatus and method for determining presence of objects in a vehicle
US5446492A (en) 1993-01-19 1995-08-29 Wolf; Stephen Perception-based video quality measurement system
KR100292138B1 (ko) * 1993-07-12 2002-06-20 이데이 노부유끼 디지탈비디오신호용송신기및수신기
US5880775A (en) * 1993-08-16 1999-03-09 Videofaxx, Inc. Method and apparatus for detecting changes in a video display
US5519669A (en) 1993-08-19 1996-05-21 At&T Corp. Acoustically monitored site surveillance and security system for ATM machines and other facilities
US5836003A (en) 1993-08-26 1998-11-10 Visnet Ltd. Methods and means for image and voice compression
US5434927A (en) * 1993-12-08 1995-07-18 Minnesota Mining And Manufacturing Company Method and apparatus for machine vision classification and tracking
US5600574A (en) 1994-05-13 1997-02-04 Minnesota Mining And Manufacturing Company Automated image quality control
US5455561A (en) * 1994-08-02 1995-10-03 Brown; Russell R. Automatic security monitor reporter
US5734740A (en) 1994-10-31 1998-03-31 University Of Florida Method for automated radiographic quality assurance
KR960028217A (ko) * 1994-12-22 1996-07-22 엘리 웨이스 움직임 검출 카메라 시스템 및 방법
US5666157A (en) * 1995-01-03 1997-09-09 Arc Incorporated Abnormality detection and surveillance system
US6028626A (en) * 1995-01-03 2000-02-22 Arc Incorporated Abnormality detection and surveillance system
US5708423A (en) 1995-05-09 1998-01-13 Sensormatic Electronics Corporation Zone-Based asset tracking and control system
US5689443A (en) 1995-05-25 1997-11-18 Ramanathan; Naganathasastrigal Method and apparatus for evaluating scanners
US6181867B1 (en) 1995-06-07 2001-01-30 Intervu, Inc. Video storage and retrieval system
JP3461626B2 (ja) 1995-07-28 2003-10-27 シャープ株式会社 特定画像領域抽出方法及び特定画像領域抽出装置
KR0176157B1 (ko) * 1995-08-14 1999-05-01 김광호 개선된 검색기능을 갖는 cctv시스템 및 이에 적합한 검색방법
US5915044A (en) 1995-09-29 1999-06-22 Intel Corporation Encoding video images using foreground/background segmentation
JP3689946B2 (ja) * 1995-10-05 2005-08-31 ソニー株式会社 データ処理装置及び方法
US5872859A (en) 1995-11-02 1999-02-16 University Of Pittsburgh Training/optimization of computer aided detection schemes based on measures of overall image quality
US5969755A (en) 1996-02-05 1999-10-19 Texas Instruments Incorporated Motion based event detection system and method
CA2197031A1 (en) 1996-02-08 1997-08-09 Mark Jenkins Vehicle alarm and lot monitoring system
JP3288575B2 (ja) * 1996-03-27 2002-06-04 三菱電機株式会社 撮像画像を用いた監視装置とそのモデル作成方法および撮像装置制御方法
US5764803A (en) 1996-04-03 1998-06-09 Lucent Technologies Inc. Motion-adaptive modelling of scene content for very low bit rate model-assisted coding of video sequences
US6078619A (en) 1996-09-12 2000-06-20 University Of Bath Object-oriented video system
US6031573A (en) * 1996-10-31 2000-02-29 Sensormatic Electronics Corporation Intelligent video information management system performing multiple functions in parallel
US5875305A (en) * 1996-10-31 1999-02-23 Sensormatic Electronics Corporation Video information management system which provides intelligent responses to video data content features
EP1010315A4 (en) * 1996-10-31 2002-12-04 Sensormatic Electronics Corp Intelligent video information management system
US5731832A (en) 1996-11-05 1998-03-24 Prescient Systems Apparatus and method for detecting motion in a video signal
JPH10143659A (ja) * 1996-11-06 1998-05-29 Komatsu Ltd 物体検出装置
EP1010130A4 (en) 1996-12-23 2005-08-17 Esco Electronics Corp Low false alarm rate video security system using object classification
US5956424A (en) 1996-12-23 1999-09-21 Esco Electronics Corporation Low false alarm rate detection for a video image processing based security alarm system
WO1998044739A1 (en) 1997-03-31 1998-10-08 Sharp Kabushiki Kaisha Mosaic generation and sprite-based image coding with automatic foreground and background separation
US6130707A (en) 1997-04-14 2000-10-10 Philips Electronics N.A. Corp. Video motion detector with global insensitivity
JP3759280B2 (ja) 1997-04-15 2006-03-22 富士通株式会社 道路監視用事象検知装置
CA2290383A1 (en) * 1997-06-04 1998-12-10 Ascom Systec Ag Method for surveying a predetermined surveillance area
US5930379A (en) 1997-06-16 1999-07-27 Digital Equipment Corporation Method for detecting human body motion in frames of a video sequence
JP3870491B2 (ja) * 1997-07-02 2007-01-17 松下電器産業株式会社 画像間対応検出方法およびその装置
JP3192663B2 (ja) 1997-07-11 2001-07-30 三菱電機株式会社 動画収集装置
US6097429A (en) 1997-08-01 2000-08-01 Esco Electronics Corporation Site control unit for video security system
GB2329294B (en) 1997-09-11 2002-01-16 Hamlet Video Internat Ltd Signal monitoring apparatus
US5827942A (en) 1997-10-16 1998-10-27 Wisconsin Alumni Research Foundation System and method for testing imaging performance of ultrasound scanners and other medical imagers
GB9808712D0 (en) * 1997-11-05 1998-06-24 British Aerospace Automatic target recognition apparatus and process
US6396961B1 (en) 1997-11-12 2002-05-28 Sarnoff Corporation Method and apparatus for fixating a camera on a target point using image alignment
US6154133A (en) * 1998-01-22 2000-11-28 Ross & Baruzzini, Inc. Exit guard system
JP4048511B2 (ja) * 1998-03-13 2008-02-20 富士通株式会社 魚眼レンズカメラ装置及びその画像歪み補正方法
FR2776459B1 (fr) 1998-03-19 2000-04-28 France Telecom Procede de detection des objets en mouvement dans une sequence d'images video
JPH11283012A (ja) * 1998-03-31 1999-10-15 Hitachi Software Eng Co Ltd 陰の認識方法
JP3566546B2 (ja) 1998-04-01 2004-09-15 Kddi株式会社 画像の品質異常検出方法および装置
US6067373A (en) 1998-04-02 2000-05-23 Arch Development Corporation Method, system and computer readable medium for iterative image warping prior to temporal subtraction of chest radiographs in the detection of interval changes
DE69921237T2 (de) * 1998-04-30 2006-02-02 Texas Instruments Inc., Dallas Automatische Videoüberwachungsanlage
JP2000013608A (ja) * 1998-06-23 2000-01-14 Ricoh Co Ltd 画像処理方法
US6493041B1 (en) 1998-06-30 2002-12-10 Sun Microsystems, Inc. Method and apparatus for the detection of motion in video
JP2000032337A (ja) * 1998-07-14 2000-01-28 Sony Corp 画像合成装置
US6434265B1 (en) 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
NO984746D0 (no) 1998-10-09 1998-10-09 Fast Search & Transfer Asa Digital prosesseringsenhet
WO2000034919A1 (en) 1998-12-04 2000-06-15 Interval Research Corporation Background estimation and segmentation based on range and color
US6104831A (en) 1998-12-10 2000-08-15 Esco Electronics Corporation Method for rejection of flickering lights in an imaging system
US6366701B1 (en) 1999-01-28 2002-04-02 Sarnoff Corporation Apparatus and method for describing the motion parameters of an object in an image sequence
US6493022B1 (en) * 1999-03-05 2002-12-10 Biscom, Inc. Security system for notification of an undesired condition at a monitored area with minimized false alarms
US6493023B1 (en) 1999-03-12 2002-12-10 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Method and apparatus for evaluating the visual quality of processed digital video sequences
US6424741B1 (en) 1999-03-19 2002-07-23 Samsung Electronics Co., Ltd. Apparatus for analyzing image texture and method therefor
DK1175661T3 (da) 1999-04-21 2007-03-05 Spss Inc Computerfremgangsmåde og -apparat til frembringelse af synlig grafik ved brug af graf-algebra
US6502045B1 (en) 1999-05-19 2002-12-31 Ics Systems, Inc. Unified analog/digital waveform software analysis tool with video and audio signal analysis methods
US6370480B1 (en) 1999-05-21 2002-04-09 General Electric Company Quantitative analysis system and method for certifying ultrasound medical imaging equipment
JP4453119B2 (ja) 1999-06-08 2010-04-21 ソニー株式会社 カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ
US6687386B1 (en) * 1999-06-15 2004-02-03 Hitachi Denshi Kabushiki Kaisha Object tracking method and object tracking apparatus
US6591006B1 (en) * 1999-06-23 2003-07-08 Electronic Data Systems Corporation Intelligent image recording system and method
US7015806B2 (en) 1999-07-20 2006-03-21 @Security Broadband Corporation Distributed monitoring for a video security system
US6476858B1 (en) 1999-08-12 2002-11-05 Innovation Institute Video monitoring and security system
US6650774B1 (en) 1999-10-01 2003-11-18 Microsoft Corporation Locally adapted histogram equalization
US6424370B1 (en) 1999-10-08 2002-07-23 Texas Instruments Incorporated Motion based event detection system and method
US6707486B1 (en) * 1999-12-15 2004-03-16 Advanced Technology Video, Inc. Directional motion estimator
US6654483B1 (en) 1999-12-22 2003-11-25 Intel Corporation Motion detection using normal optical flow
JP3873554B2 (ja) 1999-12-27 2007-01-24 株式会社日立製作所 監視装置、監視プログラムが記録された記録媒体
US6690839B1 (en) 2000-01-17 2004-02-10 Tektronix, Inc. Efficient predictor of subjective video quality rating measures
US6940998B2 (en) 2000-02-04 2005-09-06 Cernium, Inc. System for automated screening of security cameras
US6577826B1 (en) 2000-03-24 2003-06-10 Fuji Xerox Co., Ltd. Image forming apparatus which sets parameters for the formation of paper
JP3603737B2 (ja) 2000-03-30 2004-12-22 日本電気株式会社 移動体追尾方法及びその装置
US6975220B1 (en) 2000-04-10 2005-12-13 Radia Technologies Corporation Internet based security, fire and emergency identification and communication system
US20050146605A1 (en) 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
US6763148B1 (en) 2000-11-13 2004-07-13 Visual Key, Inc. Image recognition methods
US6411209B1 (en) 2000-12-06 2002-06-25 Koninklijke Philips Electronics N.V. Method and apparatus to select the best video frame to transmit to a remote station for CCTV based residential security monitoring
GB0102355D0 (en) 2001-01-30 2001-03-14 Mygard Plc Security system
US6735337B2 (en) 2001-02-02 2004-05-11 Shih-Jong J. Lee Robust method for automatic reading of skewed, rotated or partially obscured characters
KR100404885B1 (ko) 2001-02-16 2003-11-10 삼성전자주식회사 휴대용 동화상 폰을 이용한 원격감시 장치
WO2002089344A2 (en) 2001-05-01 2002-11-07 Philips Electronics North America Corporation Composite objective video quality measurement
US7203620B2 (en) 2001-07-03 2007-04-10 Sharp Laboratories Of America, Inc. Summarization of video content
FR2827051B1 (fr) 2001-07-09 2003-10-24 Mediterranee Const Ind Procede et systeme de detection securisee par video pour la commande automatique d'un systeme mecanique tel qu'un trottoir roulant ou escalier mecanique
WO2003009216A1 (en) 2001-07-17 2003-01-30 Yesvideo, Inc. Automatic selection of a visual image based on quality
US20030023910A1 (en) 2001-07-25 2003-01-30 Myler Harley R. Method for monitoring and automatically correcting digital video quality by reverse frame prediction
US6577764B2 (en) 2001-08-01 2003-06-10 Teranex, Inc. Method for measuring and analyzing digital video quality
US7342489B1 (en) 2001-09-06 2008-03-11 Siemens Schweiz Ag Surveillance system control unit
US20050123815A1 (en) * 2001-09-26 2005-06-09 Tsepin Tsai Rechargeable and refuelable metal air electrochemical cell
US6696945B1 (en) 2001-10-09 2004-02-24 Diamondback Vision, Inc. Video tripwire
US7085401B2 (en) 2001-10-31 2006-08-01 Infowrap Systems Ltd. Automatic object extraction
US6810083B2 (en) 2001-11-16 2004-10-26 Koninklijke Philips Electronics N.V. Method and system for estimating objective quality of compressed video data
TW582168B (en) 2002-03-01 2004-04-01 Huper Lab Co Ltd Method for abstracting multiple moving objects
US7102667B2 (en) 2002-03-18 2006-09-05 Tektronix, Inc. Picture quality diagnostics for revealing cause of perceptible impairments
JP3689740B2 (ja) 2002-05-27 2005-08-31 国立大学法人広島大学 画像分割処理方法、画像分割処理装置、リアルタイム画像処理方法、リアルタイム画像処理装置及び画像処理集積化回路
US6985623B2 (en) 2002-06-10 2006-01-10 Pts Corporation Scene change detection by segmentation analysis
US7038710B2 (en) 2002-07-17 2006-05-02 Koninklijke Philips Electronics, N.V. Method and apparatus for measuring the quality of video data
AU2003278710A1 (en) 2002-08-15 2004-03-03 Lc Technologies, Inc. Motion clutter suppression for image-subtracting cameras
US7239311B2 (en) 2002-09-26 2007-07-03 The United States Government As Represented By The Secretary Of The Navy Global visualization process (GVP) and system for implementing a GVP
US7221775B2 (en) 2002-11-12 2007-05-22 Intellivid Corporation Method and apparatus for computerized image background analysis
US7136605B2 (en) 2002-12-24 2006-11-14 Ricoh Company, Ltd. Image forming apparatus, method of evaluating noise, and methods of manufacturing and modifying image forming apparatus
US7206449B2 (en) 2003-03-19 2007-04-17 Mitsubishi Electric Research Laboratories, Inc. Detecting silhouette edges in images
US7103227B2 (en) 2003-03-19 2006-09-05 Mitsubishi Electric Research Laboratories, Inc. Enhancing low quality images of naturally illuminated scenes
JP3938127B2 (ja) 2003-09-29 2007-06-27 ソニー株式会社 撮像装置
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US20050132414A1 (en) 2003-12-02 2005-06-16 Connexed, Inc. Networked video surveillance system
US7106193B2 (en) 2003-12-23 2006-09-12 Honeywell International, Inc. Integrated alarm detection and verification device
AU2005227502A1 (en) 2004-03-24 2005-10-13 Cernium Corporation Improvement in video analysis using segmentation gain by area
WO2005099281A2 (en) 2004-03-30 2005-10-20 Cernium, Inc. Quality analysis in imaging
US7486183B2 (en) 2004-05-24 2009-02-03 Eaton Corporation Home system and method for sending and displaying digital images
US7209035B2 (en) 2004-07-06 2007-04-24 Catcher, Inc. Portable handheld security device
US7612666B2 (en) 2004-07-27 2009-11-03 Wael Badawy Video based monitoring system
US7730406B2 (en) 2004-10-20 2010-06-01 Hewlett-Packard Development Company, L.P. Image processing system and method
US7359552B2 (en) 2004-12-15 2008-04-15 Mitsubishi Electric Research Laboratories, Inc. Foreground detection using intrinsic images
US7944469B2 (en) 2005-02-14 2011-05-17 Vigilos, Llc System and method for using self-learning rules to enable adaptive security monitoring
CN101129075A (zh) 2005-02-28 2008-02-20 韦斯泰克交互式安全有限公司 中央监视/管理的监察系统和方法
WO2006115676A2 (en) 2005-03-30 2006-11-02 Cernium Corporation Video ghost detection by outline
AU2006230361A1 (en) 2005-03-30 2006-10-05 Cernium Corporation Intelligent video behavior recognition with multiple masks and configurable logic inference module
US7822224B2 (en) 2005-06-22 2010-10-26 Cernium Corporation Terrain map summary elements
US7437755B2 (en) 2005-10-26 2008-10-14 Cisco Technology, Inc. Unified network and physical premises access control server
US7639891B2 (en) 2005-12-23 2009-12-29 Xerox Corporation Corner sharpening using look-up table edge pixel identification
US20070177800A1 (en) 2006-02-02 2007-08-02 International Business Machines Corporation Method and apparatus for maintaining a background image model in a background subtraction system using accumulated motion
TWI325124B (en) 2006-05-10 2010-05-21 Realtek Semiconductor Corp Motion detection method and related apparatus
US7956735B2 (en) 2006-05-15 2011-06-07 Cernium Corporation Automated, remotely-verified alarm system with intrusion and video surveillance and digital video recording
WO2009012289A1 (en) 2007-07-16 2009-01-22 Cernium Corporation Apparatus and methods for video alarm verification
US8204273B2 (en) 2007-11-29 2012-06-19 Cernium Corporation Systems and methods for analysis of video content, event notification, and video content provision
WO2010124062A1 (en) 2009-04-22 2010-10-28 Cernium Corporation System and method for motion detection in a surveillance video

Also Published As

Publication number Publication date
AU2001238024B2 (en) 2006-10-26
AT381073T (de) 2007-12-15
DE60131840T2 (de) 2008-11-27
EP1266345A4 (en) 2006-05-10
IL151004D0 (en) 2003-02-12
US20100074472A1 (en) 2010-03-25
EP1266345A1 (en) 2002-12-18
US20130293708A1 (en) 2013-11-07
JP2003521860A (ja) 2003-07-15
EP1266345B1 (en) 2007-12-12
US6940998B2 (en) 2005-09-06
IL151004A (en) 2010-11-30
US8682034B2 (en) 2014-03-25
WO2001057787A1 (en) 2001-08-09
CA2399106C (en) 2012-12-04
AU3802401A (en) 2001-08-14
DE60131840D1 (de) 2008-01-24
US20050259848A1 (en) 2005-11-24
CA2399106A1 (en) 2001-08-09
US8345923B2 (en) 2013-01-01
US7643653B2 (en) 2010-01-05
US20010033330A1 (en) 2001-10-25

Similar Documents

Publication Publication Date Title
US10275658B2 (en) Motion-validating remote monitoring system
US9936170B2 (en) View handling in video surveillance systems
CN104106260B (zh) 基于地理图的控制
US9805566B2 (en) Scanning camera-based video surveillance system
US9591267B2 (en) Video imagery-based sensor
US8200024B2 (en) Image monitoring system
CN103108159B (zh) 一种电力智能视频分析监控系统和方法
KR101085578B1 (ko) 비디오 트립와이어
US7221775B2 (en) Method and apparatus for computerized image background analysis
KR101337060B1 (ko) 화상 처리 장치 및 화상 처리 방법
US8964030B2 (en) Surveillance camera system having camera malfunction detection function to detect types of failure via block and entire image processing
DE3841387C2 (ja)
CN103069434B (zh) 用于多模式视频事件索引的方法和系统
Davies et al. Crowd monitoring using image processing
US5862508A (en) Moving object detection apparatus
AU2004303397B2 (en) Computerized method and apparatus for determining field-of-view relationships among multiple image sensors
US5554983A (en) Object recognition system and abnormality detection system using image processing
US7760908B2 (en) Event packaged video sequence
US6963658B2 (en) Method of detecting and measuring a moving object and apparatus therefor, and a recording medium for recording a program for detecting and measuring a moving object
US7583815B2 (en) Wide-area site-based video surveillance system
ES2534250T3 (es) Método de procesamiento de vídeo, medio legible por ordenador que contiene instrucciones que implementan dicho método y sistema de procesamiento de vídeo
US7280673B2 (en) System and method for searching for changes in surveillance video
CN103283226B (zh) 产生与视频帧关联的元数据的方法、视频摄像机系统及视频处理系统
KR101072950B1 (ko) 개체 검출기 및 동반 입장 검출 디바이스
EP1435170B1 (en) Video tripwire

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080204

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080501

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080501

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100202

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101019

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101026

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131105

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees