JP5641445B2 - 監視システム、監視方法、及び監視プログラム - Google Patents

監視システム、監視方法、及び監視プログラム Download PDF

Info

Publication number
JP5641445B2
JP5641445B2 JP2011551244A JP2011551244A JP5641445B2 JP 5641445 B2 JP5641445 B2 JP 5641445B2 JP 2011551244 A JP2011551244 A JP 2011551244A JP 2011551244 A JP2011551244 A JP 2011551244A JP 5641445 B2 JP5641445 B2 JP 5641445B2
Authority
JP
Japan
Prior art keywords
monitored
behavior
model
scoring
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011551244A
Other languages
English (en)
Other versions
JP2012518845A5 (ja
JP2012518845A (ja
Inventor
リー,クー,チュー
オズデミル,ハサン,ティムシン
ユー,ファン
シ,シャンギウン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JP2012518845A publication Critical patent/JP2012518845A/ja
Publication of JP2012518845A5 publication Critical patent/JP2012518845A5/ja
Application granted granted Critical
Publication of JP5641445B2 publication Critical patent/JP5641445B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19641Multiple cameras having overlapping views on a single scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Description

この開示は、監視システムに関し、より詳細に述べれば、ビデオ監視システム内における自動化された異常挙動検出の正確度および堅牢性を向上させるためのシステムおよび方法に関する。
(関連出願の相互参照)
この出願は、2009年7月2日に出願された米国特許出願第12/496,681号に対する優先権を主張し、かつ2009年2月19日に出願された米国特許仮出願第61/153,884号の恩典を主張する。これらの出願の全開示は、参照によってこれに援用される。
典型的な監視システムは、あらかじめ決定済みの条件に基づいてセキュリティ脅威についてのデータの収集および/またはモニタを行う複数のセンサを含む。例示のためにのみ述べるが、これらの複数のセンサは、ビデオ・カメラを含むことができる。典型的なビデオ監視システムは、大きな地理的エリアをモニタする複数のビデオ・カメラを含むことができる。例示のためにのみ述べるが、その大きな地理的エリアを倉庫とすることができる。複数のビデオ・カメラのそれぞれは、モニタされるエリアに対応するメタデータを収集できる。複数のビデオ・カメラからの複数のビデオ・フィードの同時モニタが人間のオペレータに求められることがあり、そのため、いくつかのセキュリティ脅威が検出されないことがあり得る。したがってビデオ監視システムが、あらかじめ決定済みの条件に基づいてエリアをモニタする自動化された検出システムを含むことがある。たとえば、そのあらかじめ決定済みの条件を『normal activity patterns』(非特許文献1参照)と呼ぶことができる。
たとえば、自動化された検出システムは、『異常な動きのパターン』を、収集したメタデータおよび正常な動きのパターンに基づいて検出できる(非特許文献1参照)。言換えると、自動化された検出システムは、異常挙動が検出されたときに人間のオペレータに対して潜在的なセキュリティ脅威を警告できる。オペレータは、その潜在的なセキュリティ脅威を分析してアラームを作動するべきか否かを選択できる。それに加えて自動検出システムは、オペレータへの通知を伴うことなくアラームを作動できる。さらにまたこの自動検出システムは、あらかじめ決定済みの条件の更新および/または潜在的なセキュリティ脅威の将来的な分析のために潜在的なセキュリティ脅威に対応するメタデータをストアできる。
例示のためにのみ述べるが、特許文献1は、規則ベースの推論および複数の仮説的スコア付けを使用し、物体の動きおよび物体によって起こされる事象に基づいてあらかじめ決定済みの物体の挙動を検出するビデオ監視システムを開示している。このシステムは、物体の動きパターンに基づいて警告条件を決定する。警告条件は、特定の事象の組合わせの発生によって定義できる。例示のためにのみ述べるが、これらの特定の事象は、人の出現、ドアへ向かう人の動き、または人によるカード・リーダでの物体のスワイプを含むことができる。システムは、特定の事象が生じたか否かを決定し、特定の事象のそれぞれについてタイムスタンプを決定できる。その後システムは、警告条件が生じたか否かをあらかじめ定義済みの規則に基づいて決定できる。
たとえば特許文献2は、あらかじめ決定済みのエリア内における活動および方向性のある動きを自動的にモニタするアラーム・システムを開示している。より詳細に述べれば、特定の方向におけるあらかじめ決定済みのスレッショルドより大きい動きをシステムが検出した場合および/またはビデオ・カメラによって検出された移動物体が特定のサイズのものである場合にのみアラームが生成される。それに代わるものとして、たとえば米国特許出願第11/676,127号の『Surveillance System and Methods』は、多くの規則構成を取除くべくメタデータから局在化された、オンラインの動きモデル評価を利用することによって異常な局所的動きを検出する監視システムを開示している。
しかしながらこのシステムは、全体の規則のセットがオペレータによって構成されることを必要とすると見られる。さらにまたこのシステムは、特定の事象が、それらの特定の事象の特定の順序に基づいていることを必要とするとも見られる。したがって、これらの要件が、中規模から大規模の規則セットのために異常挙動のモデルを完全に定義することを困難にしている。さらにまた、ビデオ動き検出および追跡から獲得されたメタデータが、たとえば光の変化、突然の背景の変化、影、静的掩蔽、自己掩蔽、合体する物体、分裂する物体等に起因して多様な誤差を含む。遠近視野を伴うカメラについては、動きのタイプに起因して、たとえば物体が遠視野からカメラへ、またはカメラから遠視野へ移動するときなどに誤差を生じることがある。物体の場所の誤差は、たとえばカルマン・フィルタをあらかじめ定義済みの動きのモデルとともに使用して補償できる。異常挙動検出のために物体の動きが評価されるとき、システムの目的にとって有害なものとなる偽アラームを防止するために正確な場所情報が重要である。
米国特許第7,088,846号明細書 米国特許第6,707,486号明細書
W.E.L Grimson,Chris Stauffer,Lily Lee,Raquel Romano著「Using Adaptive Tracking to Classify and Monitor Activities in a Site」,IEEE IEEE Conf. on Computer Vision and Pattern Recognition会報,pp.22‐31,1998年。
これらの潜在的な不正確な場所の示度を改善するために、異常挙動検出システムは、堅牢な異常な動き検出をサポートする必要がある。堅牢な追跡は、次の2つのレベルの誤差の取扱いを含むことができる。すなわち、評価された追跡誤差のための1つ、およびカメラのための1つであり、これは遠視野および近視野の位置といった検出誤差が異なるものとなり得るカメラ視野の異なる部分における位置検出誤差を捕らえる。先行技術の誤差分布を現在の誤差パターンとともにフィードバックとして使用すると、測定窓の動的な調整を提供して、移動物体の速度のより正確かつ堅牢な評価をもたらすことができる。それに加えて、移動物体の速度、速さ、加速度の決定のためのアルゴリズムおよびサンプリング窓を上記の位置検出誤差に基づいて調整できる。
ここに提供されている背景技術の記述は、開示の状況を概括的に呈示する目的のためである。現在のところ名前が挙げられている発明者の研究は、その研究がこの背景技術セクションの中で述べられている点をはじめ、そこで述べられなければ出願の時における先行技術(prior art)として見なされない記述の側面までも含めて、明示的にも、また暗示的にも、この開示に対する先行技術(prior art)として認められることがない。
このセクションでは、開示の一般的な概要を提供するが、それの完全な範囲もしくはそれの特徴のすべての包括的な開示ではない。
空間を通り抜ける物体の異常挙動を決定するための方法は、前記空間内における動きがモニタされている物体の軌跡情報を受取るステップであって、当該軌跡情報は、前記モニタされている物体の現在の位置を示すものであるステップと、前記モニタされている物体の前記現在の位置に対応する軌跡モデルを検索するステップであって、当該軌跡モデルは、前記現在の位置にある物体が移動することが可能な方向、および各可能な方向について前記現在の位置にある物体が対応する前記可能な方向へ移動するであろうとする尤度を定義するものであるステップと、前記モニタされている物体が或る方向へ移動している尤度を、前記軌跡モデルによって与えられる前記可能な方向のうちの2つまたはそれより多くの方向についての尤度の重み付け平均に基づいて計算するステップであって、当該2つまたはそれより多くの可能な方向は、前記モニタされている物体の前記方向に対してもっとも近い方向であるとするステップと、前記モニタされている物体の異常挙動を、前記計算された尤度に基づいて識別するステップと、を包含する。
空間を通り抜ける物体の異常挙動を決定するための方法が、前記空間内における動きがモニタされている物体の軌跡情報を受取るステップであって、当該軌跡情報は、前記モニタされている物体の現在の位置、および前記モニタされている物体が前記現在の位置から以前の期間の間に移動した距離を示すものとするステップと、前記モニタされている物体の前記現在の位置に対応する軌跡モデルを検索するステップであって、当該軌跡モデルは、前記現在の位置にある物体が前記現在の位置から前記以前の期間の間に移動したであろうとするスレッショルド距離を定義するものであるステップと、前記距離と前記スレッショルド距離とを比較するステップと、前記モニタされている物体の異常挙動を、前記比較に基づいて識別するステップと、を包含する。
空間を通り抜ける物体の異常挙動を決定するための方法が、前記空間内における動きがモニタされている物体の軌跡情報を受取るステップであって、当該軌跡情報は、前記モニタされている物体の現在の位置、前記モニタされている物体が移動している方向、および前記モニタされている物体の速度を示すものとするステップと、前記モニタされている物体の前記現在の位置に対応する軌跡モデルを検索するステップであって、当該軌跡モデルは、前記現在の位置にある物体が移動することが可能な方向、および各可能な方向について前記現在の位置にある前記物体が移動する速度となるであろうとする速度を定義するものであるステップと、前記モニタされている物体についての速度スレッショルドを、前記軌跡モデルによって与えられる前記可能な方向のうちの2つまたそれより多くの方向についての前記速度の重み付け平均に基づいて計算するステップであって、前記2つまたはそれより多くの可能な方向は、前記モニタされている物体の前記方向に対してもっとも近い方向であるとするステップと、前記モニタされている物体の異常挙動を、前記モニタされている物体の前記速度および前記計算された速度スレッショルドに基づいて識別するステップと、を含む。
空間を通り抜けるモニタされている物体の異常挙動の検出の正確度および堅牢性を向上させる監視システムが、メタデータ処理モジュール、モデル構築モジュール、および挙動評価モジュールを含む。メタデータ処理モジュールは、モニタされている物体に対応する軌跡情報を生成し、かつモニタされている物体の属性を複数の正常な動きのモデルのうちの少なくとも1つおよび動的時間窓(dynamic time window)に基づいて決定し、それにおいては当該属性が、モニタされている物体の評価済み速度、モニタされている物体がアウトライア(Outlier)であるか否か、および測定誤差の評価を含む。モデル構築モジュールは、複数の正常な動きのモデルの生成および更新のうちの少なくとも1つを、モニタされている物体の属性のうちの少なくとも1つおよびモニタされている物体に対応する異常性スコアに基づいて行なう。挙動評価モジュールは、モニタされている物体に対応する異常挙動スコアを、複数の異常挙動検出方法のうちの1つに基づいて生成する。
このほかの適用可能性の分野は、ここに提供されている説明から明らかとなるであろう。この概要の中の記述ならびに特定の例は、例示のための目的だけを意図しており、この開示の範囲を限定することは意図されていない。
この中で記述される図面は、すべての可能な実装ではなく、選択された実施態様の例示だけが目的とされており、この開示の範囲を限定することは意図されていない。
この開示に従った監視システムの機能ブロック図である。 この開示に従った例示的な検知デバイスの例示的な視野を図解した概略図である。 この開示に従った例示的な検知デバイスの例示的な視野を図解した概略図である。 この開示に従った異常挙動検出モジュールの機能ブロック図である。 この開示に従ったメタデータを処理する方法のフローチャートである。 この開示に従ったモデル構築モジュールの機能ブロック図である。 この開示に従った挙動評価モジュールの機能ブロック図である。 例示的な方向ならびに対応する尤度および例示的な方向とモニタされている物体の例示的な方向の間における角度差の図式表現である。 例示的な方向ならびに対応する尤度および例示的な方向とモニタされている物体の例示的な方向の間における角度差の図式表現である。 この開示に従った不正な方向の挙動を検出する方法のフローチャートである。 この開示に従ったうろつき挙動を検出する方法のフローチャートである。 この開示に従った速さ違反挙動を検出する方法のフローチャートである。 この開示に従った監視システムを運用する方法のフローチャートである。
対応する参照番号は、図面内のいくつかの図を通じて対応する部品を示す。
以下の記述は本質的に例示に過ぎず、いかなる形においても開示、それらの応用、または用途を限定することは意図されていない。明瞭性の目的のため、図面内においては、同一の参照番号を使用して類似の要素を識別する。ここで用いられる場合に、A、B、およびCのうちの少なくとも1つという表現は、非排他的論理和のORを使用した論理表現(A OR B OR C)の意味であると解釈されるものとする。理解される必要があるが、方法の中のステップは、この開示の原理を改変することなく異なる順序で実行され得る。
ここで使用されているモジュールという用語は、特定用途向け集積回路(ASIC)、電子回路、1つまたは複数のソフトウエアまたはファームウエア・プログラムを実行するプロセッサ(共有、専用、またはグループ)および/またはメモリ(共有、専用、またはグループ)、組合わせ論理回路、および/またはここに記述されている機能を提供するそのほかの適切な構成要素を指すこと、それらの部分とすること、またはそれらを含むことができる。
異常な動きの挙動の検出に使用される典型的なシステムおよび方法は、いくつかのファクタによって限定できる。より詳細に述べれば、ビデオ分析における作業の実質的な量が、ユーザ指定の『関心領域』(ROI)における動きデータの収集に集中される。収集された動きデータは、その後、ユーザ指定スレッショルドを使用して入力物体のための動きデータと比較できる。言換えると、モニタされている物体の動きの軌跡とユーザによって定義された動きパターンおよび距離スレッショルドを比較して、それらの動きパターンを検出できる。たとえば1つの限定ファクタを、すべてのエリアのためのスレッショルドおよびユーザ設定ならびにROIの追跡に関連付けされる困難性とすることができる。たとえば別の限定ファクタを、入力物体の動的に変化する挙動とすることができる。さらにまた別の制限ファクタを、非一様な地理的表面を伴うエリア内における予測不能な掩蔽および照明条件とすることができる。
3次元(3D)の物理的な軌跡への2次元(2D)ビデオの物体の動きの変換には、大量の作業が必要となり得る。より詳細に述べれば、実質的なカメラ較正および2D投影された視野内における物理的ジオメトリの実際の測定が必要となり得る。カメラ較正および物理的ジオメトリの実際の測定は、ともにセキュリティ・オペレータにとって困難なものになると見られ、したがっていずれも複数のタイプの誤差への傾向があり得る。たとえば、照明および掩蔽が、モニタされている物体の実際の位置、サイズ、および/または深度の測定において誤差を生じさせることがある。次に、たとえば地表面が平らでないときには、モニタされている物体の速度が実際の速度とは異なる速度で移動しているように見えるかも知れない。それに加えて、たとえば、モニタされている物体の場所の解像度および速度測定が、カメラの角度、およびモニタされている物体がカメラから離れていくか、またはカメラへ向かって移動するといったモニタされている物体の動きの方向によって影響されることがある。最後は、たとえば、カメラ視野内の異なる場所に対応する位置誤差が時間を経て変化し得ることである。
図1を参照すると、例示的なビデオ監視システム10が示されている。システムは、検知デバイス12a〜12n、異常挙動検出モジュール20、グラフィカル・ユーザ・インターフェース(GUI)22、聴覚/視覚(A/V)アラーム24、および記録ストレージ・モジュール26を含む。検知デバイス12a〜12nは、物体に関係する動きまたは画像データを記録する。検知デバイス12a〜12nは、それぞれ、メタデータ生成モジュール30を含むことができる。たとえばメタデータ生成モジュール30は、この分野で周知の方法に従って、記録した物体の動きに基づいてメタデータを生成できる。検知デバイス12a〜12nのそれぞれがメタデータ生成モジュール30を含むことが示されているが、ビデオ監視システム10が外部のメタデータ生成モジュール30を含むこと(すなわち、共有ネットワーク上に含むこと)はできる。さらに、異常挙動検出モジュール20もまた、メタデータ生成モジュール30を含むことができる。
検知デバイス12a〜12nは、メタデータを異常挙動検出モジュール20へ伝達する。異常挙動検出モジュール20は、受取ったメタデータに基づいて物体の挙動を分析できる。また異常挙動検出モジュール20は、GUI 22、聴覚/視覚A/Vアラーム24、および記録ストレージ・モジュール24のうちの少なくとも1つのためのアラーム・メッセージを生成することもできる。たとえば受取られるメタデータは、限定ではないが、カメラ識別子、視野識別子、物体識別子、タイムスタンプ、および/または視野内における物体の場所を含むことができる。物体の場所は、モニタされている物体によって占有される(画像内の)エリアを囲い込む矩形により記述できる。この矩形は、『最小バウンディング・ボックス(minimum bounding box)(MBB)』または『最小バウンディング矩形(minimum bounding rectangle)(MBR)』と呼ばれることがある。この矩形は、矩形の左上コーナの座標、その矩形の幅、およびその矩形の高さによって指定できる。物体の場所は、MBR内に定義され、かつモニタされている物体によっていずれのピクセルが占有されているかを示すバイナリ・マスクによって識別できる。メタデータは、さらに、モニタされている物体のオリジナル画像、および/またはモニタされている物体を表わすそのほかの見かけの特徴、たとえばモニタされている物体のカラー、形状、物体のタイプ、合体/分裂の事象等を含むことができる。
1つの実施態様においては、検知デバイス12a〜12nをビデオ・カメラまたは動きを取込むことができるそのほかのデバイス、たとえば赤外線カメラ、サーモ・カメラ、ソナー・デバイス、または動きセンサとすることができる。検知デバイス12a〜12nは、目標エリアまたはデバイスの視野内のグリッドに関して動きを記録するべく構成される。例示目的のために限るが、目標エリアおよびグリッドを図2A〜2Bに示し、以下においてそれを詳細に説明する。
ここで図2Aを参照すると、検知デバイス12a〜12nのうちの1つの例示的な視野201が示されている。視野201は、複数の目標エリア203Aおよび203Bを含む。目標エリア203Aは、(x1,y1)に位置する左上コーナの点205A、高さh、および/または幅wを含む。したがって、目標エリア203Aの中心は、点(x1,y1)、高さh、および幅wから演繹(derived)できる。さらにまた目標エリア203Bは、カメラID番号、視野ID番号、目標ID番号、および/または目標エリア(Target Area)の名前(たとえば、休憩室のドア)といった追加の情報を含む。たとえば目標エリア203Bをドアとし、エリア205Bをそのドアのハンドルとすることができる。
目標エリアに関係する追加の情報もまたストアできることは認識可能である。また、楕円、円等々といったこのほかの形状を目標エリアの記述に使用できることも認識可能である。目標エリア情報は、テーブル内にストアできる。目標エリアの定義をストアするための例示的なテーブルを次に示す。
Figure 0005641445
図2Bは、検知デバイス12a〜12nのうちの1つの別の例示的な視野201を図解している。視野201は、検知デバイス12a〜12nの視野201上に挿入されるグリッド207を含む。したがって、所定の時刻における物体の位置は、グリッド207に関するその物体の位置によって定義できる。たとえば、グリッド207が使用される場合には、物体の場所または動きに関係するデータを、データ・キューブ(data cube)として知られるデータ構造内にストアできる。1つの実施態様においては、データ・キューブ(data cube)を、(xの値,yの値,タイムスタンプ)等の画像データの時系列の記述に使用できる情報を含む3次元またはそれより多次元のデータ構造とすることができる。たとえば、データ・キューブ(data cube)は、グリッドの各セルについて正常な動きのモデルを含むことができる。グリッドにおいては、カメラの視野をセルに分解することができ、各セル内の観察(たとえばモニタされている物体の動き)を使用して、そのセル内の正常な動きのモデルを更新できる。モデルは、観察されている物体の特性の統計、たとえば期待される方向ならびに速度の大きさおよびそれの標準偏差等を取込む。時間間隔を含めて現場の利用度が時間に依存すること(すなわち時間ベースのモデリング)を表わすために第3の次元を追加できる。たとえば、モニタされている物体の動きの挙動は、朝の時間帯、昼食時間、午後、夜間、週末等に依存して変化し得る。
データ・キューブの集合は、軌跡モデル(trajectory model)と呼ぶことができる。以下においては軌跡モデルを正常な動きのモデルと呼ぶことがある。したがって、ある例示的な実施態様においては、正常な動きのデータ・モデル内の各データ・キューブが、目標エリアに関する場所およびタイムスタンプになる。各データ・キューブが、zの値、カラー情報、および/または物体識別タグ等の追加の情報を含み得ることは認識できる。
ここで図3を参照すると、例示的な異常挙動検出モジュール20がより詳細に示されている。例示的な異常挙動検出モジュール20は、メタデータ処理モジュール32、モデル構築モジュール34、挙動評価モジュール36、およびアラーム生成モジュール38を含む。言うまでもなく、記述されているモジュールは、単一のモジュールに結合すること、または複数の下位モジュールを含むことができる。
例示的なメタデータ処理モジュール32は、検知デバイス12a〜12nからメタデータを受取り、そのメタデータをデータ・ストレージ内にストアする。たとえばメタデータは、限定ではないが、ビデオ・カメラ識別子、物体識別子、タイムスタンプ、xの値、yの値、物体の幅の値、および物体の高さの値を含むことができる。1つの実施態様においては、メタデータ処理モジュール32が、検出された物体の位置がアウトライア(Outlier)であるか否かを決定すること、およびその検出された物体の位置がアウトライア(Outlier)である場合には、続いてそのモニタされている物体に対応する追加のメタデータを生成することができる。たとえばメタデータ処理モジュール32は、この分野で周知のテクニックを使用し、検出された物体の位置がアウトライア(Outlier)として分類されるか否かを、受取ったメタデータに基づいて決定できる。
メタデータ処理モジュール32は、また、データ・キューブに対応するフィードバックをモデル構築モジュール34から受取ることもできる。たとえばこのフィードバックは、複数の時間窓を伴うデータ・キューブのM×Nセル内の物体のセットの入力軌跡の線形予測子(たとえばカルマン・フィルタ、AR)の評価誤差の尤度を含むことができる。それに代わり、このフィードバックは、正常な物体の軌跡のセットから観察される物体属性の期待される統計を含むことができる。たとえば、(k×シグマ)を、各物体属性のためのスレッショルドの決定に使用できる(それを正規分布の統計的解釈に結びつける)。これらの統計は、その後、複数の時間窓とともにデータ・キューブのM×Nセル内に記録できる。
メタデータ処理モジュール32は、モニタされている物体についての軌跡を生成する。それに加えてメタデータ処理モジュール32は、メタデータを処理して物体属性とし、その物体属性をデータ・ストレージ内にストアできる。たとえばメタデータ処理モジュール32は、メタデータを処理してそのメタデータから演繹(derived)される属性を獲得するためのこの分野において周知のテクニックを使用できる。1つの実施態様においては、物体属性が、評価される速度ならびに動きの方向、動きのランダム性に対応する尤度(すなわち、確率)、およびモニタされている物体の評価された測定誤差を含むことができる。それに代わるものとして、例示的な物体属性は以下を含むことができる(ただしこれらに限定されない)。
軌跡の持続時間(たとえば、モニタされている物体がROI内において移動する期間)
モニタされている物体についての軌跡の境界エリア
モニタされている物体の(たとえば、カルマン・フィルタを介して)予測される位置
予測される位置に基づく対数尤度
評価された位置の測定誤差
動きの方向における変化
モニタされている物体についてのアウトライア(Outlier)の指標およびアウトライア(Outlier)のタイプ(すなわち、スレッショルドを超える異常性)
速度および方向
評価された位置(たとえば、正常挙動モデルの更新用)
動きのランダム性のレベル(すなわち、動きの方向における変化のレート)
正規化された速度(たとえば、速度と、正常挙動モデルに対応するデータ・キューブから取出される正常挙動モデルから評価された速度の間の比、カメラの遠視野および近視野における差異の補償に使用される)および/または
正規化された物体のサイズ(たとえば、正常挙動モデルからの平均物体サイズに対する物体のサイズの比)。
評価された速度、方向、および正規化された速さは、『偽陰性(false−negatives)』(すなわち、正しくない正常挙動検出)の低減に使用できる。それに加えて、アウトライア(Outlier)指標、動きの方向における変化、およびランダム性のレベルは、『偽陽性(false−positives)』(すなわち、正しくない異常挙動検出)の低減に使用できる。より詳細に述べれば、モニタされている物体がアウトライア(Outlier)であることをアウトライア(Outlier)指標が示す場合には、そのモニタされている物体(およびそれの対応する属性)が正常挙動モデルの更新に使用され得ないことがある。
メタデータ処理モジュール32は、モニタされている物体の現在の位置がアウトライア(Outlier)であることを4つの方法のうちの1つに従って決定できる。より詳細に述べれば、モニタされている物体(たとえば、ts(i),x(i),y(i),w(i),h(i))について、以下の方法の組合わせに基づいて観察iがアウトライア(Outlier)であるとしてマークされる。
第1に、サイズおよび/または形状における突然の変化は、そのモニタされている物体の現在の位置がアウトライア(Outlier)であるとしてマークされる結果をもたらし得る。たとえば、変化は、次式のとおりに決定できる。
Figure 0005641445
(式1)においてMBR(i).wおよびMBR(i‐1).wは、それぞれ観察iおよび(i‐1)におけるモニタされている物体の幅を表わし、MBR(i).hおよびMBR(i‐1).hは、それぞれ観察iおよび(i‐1)におけるモニタされている物体の高さを表わす。この変化があらかじめ決定済みの変化スレッショルドを超えるとき、そのときのモニタされている物体をアウトライア(Outlier)であるとしてマークできる。
第2に、モニタされている物体のサイズ比r(i)における突然の変化は、そのモニタされている物体の現在の位置がアウトライア(Outlier)であるとしてマークされる結果をもたらし得る。たとえば、サイズ比r(i)は、次式のとおりに決定できる。
Figure 0005641445
(式2)においてNumofPixels(i)は、観察iにおけるそのモニタされている物体のピクセル・サイズを表わす。サイズ比r(i)があらかじめ決定済みのサイズ比スレッショルドを超えるとき、そのときのモニタされている物体をアウトライア(Outlier)であるとしてマークできる。
第3に、モニタされている物体の速度および/または加速度における突然の変化は、そのモニタされている物体の現在の位置がアウトライア(Outlier)であるとしてマークされる結果をもたらし得る。言換えると、たとえば、モニタされている物体の速度および/または加速度があらかじめ決定済みの速度および/または加速度のスレッショルドを超えるとき、そのときのモニタされている物体をアウトライア(Outlier)であるとしてマークできる。
最後に、モニタされている物体の方向と速度の積における突然の変化は、そのモニタされている物体の現在の位置がアウトライア(Outlier)であるとしてマークされる結果をもたらし得る。言換えると、たとえば、モニタされている物体の方向と速度の積があらかじめ決定済みの積のスレッショルドを超えるとき、そのときのモニタされている物体をアウトライア(Outlier)であるとしてマークできる。たとえば、この積のスレッショルドは、複数の時間窓を伴うデータ・キューブ(data cube)のM×Nセル内の物体のセットの入力軌跡の線形予測子(たとえばカルマン・フィルタ、AR)の評価誤差の尤度と、正常な物体の軌跡のセットから観察される物体属性の期待される統計の組合わせに基づくことができる。たとえば、(k×シグマ)を、各物体属性のためのスレッショルドの決定に使用できる(すなわち、それを正規分布の統計的解釈に関係させる)。したがって、これらの統計を、その後、複数の時間窓とともにデータ・キューブ(data cube)のM×Nセル内に記録できる。
ここで図4を参照すると、メタデータ処理モジュール32によるメタデータの処理の1つの実施態様を図解したフローチャートがステップ40において開始している。ステップ41においては、メタデータ処理モジュール32がモニタされている物体の現在または過去の位置が、現在の位置(または以前の位置)におけるアウトライア(Outlier)であるか(または、アウトライア(Outlier)であったか)否かを決定する。モニタされている物体の現在の位置が、現在の位置におけるアウトライア(Outlier)である場合には、コントロールがステップ42へ進む。モニタされている物体が、以前の位置におけるアウトライア(Outlier)である場合には、コントロールがステップ43へ進む。モニタされている物体が、現在または以前の位置におけるアウトライア(Outlier)でない場合には、コントロールがステップ45へ進む。
ステップ42においては、現在の位置がアウトライア(Outlier)であることから現在の速度情報が存在せず、ステップ46においてコントロールを終了できる。言換えると、正常な動きのモデルは、アウトライア(Outlier)に対応する速度情報を含まない(すなわち、アウトライア(Outlier)がフィルタ・アウトされる)。メタデータ処理モジュール32は、速度および加速度等の正確な属性を獲得する上で必要な最小限度の変位における増加に適合するために、アウトライア(Outlier)取扱い機能を実装できる。アウトライア(Outlier)取扱い機能は、物体がアウトライア(Outlier)としてマークされている推定可能な原因を決定するべく、物体からより多くの特性を蓄積することもできる。たとえば、その物体を異なる物体と間違うことによってマークされたアウトライア(Outlier)について、アウトライア(Outlier)取扱い機能は、オリジナルの追跡されている物体からの属性の計算誤りを防止するべく指標(すなわちアウトライア(Outlier)指標)を出力できる。したがって、アウトライア(Outlier)取扱い機能が物体属性に基づいて同一の物体を検出すると、アウトライア(Outlier)取扱い機能は、より大きな最小限度変位を示すアウトライア(Outlier)位置を、したがってモニタされている物体の属性の計算に必要となるより多くの標本ポイントをマークできる。
ステップ43においてメタデータ処理モジュール32は、使用されるべき許容可能な以前の位置を決定する。より詳細に述べれば、メタデータ処理モジュール32は、モニタされている物体が現在の位置からあらかじめ決定済みの距離(すなわち最小距離)にあったとき、以前の位置を決定できる。ステップ44においてメタデータ処理モジュール32は、許容可能な以前の位置、現在の位置、および対応する期間に基づいてモニタされている物体の速度および/または方向を生成する。ステップ45においてメタデータ処理モジュール32は、動きの方向における変化および正規化された速さを、モニタされている物体の許容可能な以前の位置に基づいて生成できる。1つの実施態様においては、モニタされている物体の軌跡の中での最小限度変位距離の決定が不可能であった場合に、速度を計算せずにエラー・タイプを出力に示すことができる。
最小限度変位距離は、アウトライア(Outlier)およびそのほかの正常な追跡誤差を適応させるために使用できる。たとえば、アウトライア(Outlier)の場合であれば、最小限度変位をアウトライア(Outlier)の距離(すなわち、ジャンプ)の大きさの2倍に設定できる。したがって速度計算は、アウトライア(Outlier)によって生じたジャンプの中心から設定された最小限度変位内において、より低い分解能に順応することができ、かつその中の点について低い信頼度を提供する。コントロールは、その後ステップ46において終了できる。さらにまた、最小限度変位は、物体のサイズ変動、カメラの遠視野観察の量子化誤差、動きの方向、および移動物体の位置の尤度を確立する標本の最小限度の数に基づいて調整することもできる。
図3に戻って参照するが、モデル構築モジュール34がメタデータ処理モジュール32から物体属性を受取る。モデル構築モジュール34は、正常な動きのモデルを構築し、それらの正常な動きのモデルを正常モデル・データ・ストレージ28内にストアする。モデル構築モジュール34は、正常モデル・データ・ストレージ28内の既存の正常データ・モデルを、物体属性に基づいて更新することもできる。たとえば、モデル構築モジュール34は、観察がアウトライア(Outlier)としてマークされている場合には、データ・キューブ(data cube)内の正常な動きのモデルの更新の間に、モニタされている物体のメタデータを等閑視することができる。
正常な動きのモデルは物体の期待される動き、または物体の『安全な』動きの挙動に対応する。たとえば仕事場の環境においては、正常な動きのモデルが、作業エリアから休憩室へ安全な速さで歩いていく従業員を捕らえることができる。その逆に制限エリアまたは危険ゾーンを通って歩いている従業員は、安全でない挙動または動きを構成することがあり、したがって正常な動きのモデル内に含めることができないことがある。たとえば、データ・キューブ(data cube)は、グリッドの各セル内に正常な動きのモデルを含むことができる。グリッドにおいては、カメラの視野をセルに分解することができ、各セル内の観察(モニタされている物体の動き)を使用して、そのセル内の正常な動きのモデルを更新できる。モデルは、観察されている物体の特性の統計、たとえば期待される方向ならびに速度の大きさおよびそれの標準偏差等を取込む。時間間隔を含めて現場の利用度が時間に依存することを表わすために第3の次元を追加できる。それに加えて、モニタされている物体の動きの挙動は、朝の時間帯、昼食時間、午後、夜間、週末等に依存して変化し得る。
挙動評価モジュール36は、正常モデル・データ・ストレージ28から正常な動きのモデルを検索し、その正常な動きのモデルに基づいて受取ったメタデータを処理する。言換えると、挙動評価モジュール36は、受取ったモニタされている物体に対応するメタデータを分析し、そのモニタされている物体が正常な動きのモデルに従って活動しているか否かを決定する。
挙動評価モジュール36は、モニタされている物体に対応する異常性スコアを生成できる。異常性スコアは、正常な動きのモデルとモニタされている物体に対応するメタデータの間における差を計算する異常挙動モデルに従って生成される。異常挙動モデルは、不正な方向のモデル(wrong direction model)、うろつき(すなわち徘徊)モデル(wandering model)、および速さ違反モデル(speeding model)を含むことができる。
アラーム生成モジュール38は、異常性スコアが、正常(すなわち許容可能)挙動に対応するスレッショルドを超えるとき、少なくとも1つのデバイスをアクティブにする。そのデバイスは、GUI 22、A/Vアラーム24、および/または記録ストレージ・モジュール26とすることができる。さらにまたアラームは、追加のデバイスおよび/または近隣の警察署(補助を要請する)等の関係者、機械(オペレータへの危害を防止するために動力を遮断する)へ送信できる。
GUI 22は、スクリーン上に通知を表示して保安監視員またはそのほかのユーザの注意を惹くことができる。監視員は、その後その物体を観察して、A/Vアラーム24を有効にする等の何らかの追加の行動が取られるべきか否かを決定する。しかしながら、保安監視員がGUI 22を介してそのモニタされている物体の軌跡を正常挙動として分類することもあり、その場合にはその後、対応するメタデータを正常モデル・データ・ストレージ28内にストアできる。
A/Vアラーム24は、壁、床、乗り物、カメラ、および/または従業員によって携帯されるポータブル・デバイスに取付けられるライトおよび/またはサイレンを含むことができる。異常性スコアに基づいて異なるA/Vアラーム24が作動されることがある。たとえば、異常性スコアがスレッショルドより低いときにはライトの発光を行なうが、スコアがスレッショルドより高いときには複数のライトの発光を行い、かつサイレンを鳴らして異常挙動の深刻度レベルを示すことができる。
記録ストレージ・モジュール26は、作動されると検知デバイス12a〜12nからの画像データおよび/またはメタデータの記録を開始する。したがって記録ストレージ・モジュール26は、ビデオ監視システム10がすべての異常挙動を取込み、かつ記録することを、ビデオ監視システム10による無関係なデータの常時記録および/またはストアを必要とすることなく可能にする。
ここで図5を参照すると、モデル構築モジュール34がより詳細に示されている。モデル構築モジュール34は、モデル・ロード・モジュール50、正常モデル構築モジュール52、および正常モデル・データ・ストレージ28を含む。モデル構築モジュール34は、2つのモード、すなわち学習および運用のうちの1つで動作する。モデル構築モジュール34は、特定の量の標本が収集されるか、またはユーザが切換えを起動した後に学習モードから運用モードへ切り替わることができる。それに加えて、ユーザは、動的に(すなわち自動的に)運用モードへの切換えを行なった後にモデル適合を継続するか否かをコントロールできる。
学習モードにおいて正常モデル構築モジュール52は、受取ったメタデータに基づいて正常な動きのモデルを構築し、それらの正常な動きのモデルを正常モデル・データ・ストレージ28内にストアする。正常モデル構築モジュール52は、正常モデル・データ・ストレージ28内の既存の正常な動きのモデルを、受取ったメタデータを用いて更新することもできる。さらにまた、メタデータ、パラメータ、および/または全体のモデルが、オペレータにより、GUI 22およびモデル・ロード・モジュール50を介して正常モデル構築モジュール52内にロードされることもある。
運用モードにおいては、挙動評価モジュール36が、正常モデル・データ・ストレージ28内にストアされている正常な動きのモデルを、モニタされている物体の挙動評価のために検索する。挙動評価および/またはアラーム作動が完了した後、モデル構築モジュール34は、正常な動きのモデル・データベース内の既存の正常な動きのモデルを更新する(前述したとおり)。
次に図6を参照すると、挙動評価モジュール36がより詳細に示されている。挙動評価モジュール36は、モニタされている物体に対応するメタデータを受取る。また挙動評価モジュール36は、正常モデル・データ・ストレージ28からの正常な動きのモデルの検索も行なう。挙動評価モジュール36は、メタデータを処理し、モニタされている物体が異常な振る舞いをしているか否かを(すなわち、正常な動きのモデルによらずに)決定する。
挙動評価モジュール36は、フィルタリング・モジュール60、不正な方向の挙動のスコア付けモジュール62、うろつき挙動(wandering behavior)のスコア付けモジュール64、および速さ違反挙動(speeding behavior)のスコア付けモジュール66を含む。フィルタリング・モジュール60は、モニタされている物体に対応するメタデータのフィルタリングを行なう。
1つの実施態様においては、フィルタリング・モジュール60がアウトライア(Outlier)取扱い機能出力を生成できる。たとえば、アウトライア(Outlier)取扱い機能出力は、アウトライア(Outlier)のマーキング、アウトライア(Outlier)のタイプ、物体の特性、およびデータ・キューブを含むことができ、外部モジュールとのオープン・インターフェースによりスコア付けモジュールによる共有ができる。
別の実施態様においては、フィルタリング・モジュール60が、モニタされている物体が移動しなければならない最小距離を決定できる。たとえば、その最小移動距離は、検知デバイス12a〜12nのうちの1つに関連付けされるノイズ・レベルに対応することができる。言換えると、最小距離は、速度情報の生成のために不充分なものとし得る。
それに加えて、フィルタリング・モジュール60は、モニタされている物体の位置の誤差を評価できる。したがって、フィルタリング・モジュール60は、不適当な異常性スコアに起因する偽アラームを防止できる。フィルタリング・モジュール60によってM×Nマトリクス・モデルを実装することができ、それについてより詳しく次に述べる。
図2Bの中で前述したとおり、検知デバイス12a〜12nのうちの1つの視野201がセル207に分割される。言換えると、M×Nマトリクス・モデルは、検知デバイス12a〜12nのうちの1つの視野のM×N個のセルに対応する。M×N個のセルのそれぞれは、フィルタリング・モジュール60によって使用することができる誤差情報を含む。たとえば、M×N個のセルのそれぞれは、平均x軸位置誤差(aveXErr)、x軸位置誤差の標準偏差(aveXErrStd)、平均y軸位置誤差(aveYErr)、y軸位置誤差の標準偏差(aveYErrStd)、x軸の標本数(nx)、およびy軸の標本数(ny)を含むことができる。
M×N個のセルのそれぞれのための位置誤差モデルは、次のとおりに生成できる。最初に、オリジナルの軌跡がタイムスタンプに対応するx軸およびy軸位置によって定義される(たとえば、x,y,ts)。続いてその軌跡が、カルマン・フィルタ等のフィルタによってスムージングされる。次に、スムージング後の軌跡とオリジナルの軌跡の間の差が生成される。言換えると、フィルタリング・モジュール60は、各軌跡について、スムージング後のx軸位置xs(i)とオリジナルのx軸位置x(i)の間の差の絶対値(たとえば、εx(i)=|xs(i)‐x(i)|)およびスムージング後のy軸位置ys(i)とオリジナルのy軸位置y(i)の間の差の絶対値(たとえば、εy(i)=|ys(i)‐y(i)|)を生成する。
差を生成した後、フィルタリング・モジュール60は、M×N個のセルのうちの対応する1つについての位置誤差モデルを更新する。平均x軸位置誤差は、次式に基づいて更新できる。
Figure 0005641445
(式3)においてnは、x軸の標本数である。
x軸位置誤差の標準偏差は、次(式4)に基づいて更新できる。
Figure 0005641445
平均y軸位置誤差は、次(式5)に基づいて更新できる。
Figure 0005641445
(式5)においてnは、y軸の標本数である。
y軸位置誤差の標準偏差は、次(式6)に基づいて更新できる。
Figure 0005641445
最後にnおよびnを1つ分だけインクリメントすることができる。更新された位置誤差モデルは、フィルタリング・モジュール60によって、受取ったメタデータ内の誤差の訂正に使用される。フィルタリング・モジュール60は、その後、フィルタリング済みメタデータをデータ・ストレージまたはそのほかのモジュールに対して出力する。
不正な方向の挙動のスコア付け
不正な方向の挙動のスコア付けモジュール62は、モニタされている物体に対応するメタデータを処理し、モニタされている物体が正常な動きのモデルによって定義される正常な(すなわち安全な)方向へ移動しているか否かを決定する。
不正な方向の挙動のスコア付けモジュール62は、正常な動きのモデル・データベースから正常な動きのモデルを検索し、フィルタリング・モジュール60(または対応するデータ・ストレージ)からフィルタリング済みメタデータを検索する。不正な方向の挙動のスコア付けモジュール62は、モニタされている物体が不適当な方向へ移動しているとき異常性スコアを生成し、これについてより詳しく次に説明する。
不正な方向の挙動のスコア付けモジュール62は、特定の位置にある物体が特定の方向へ移動する尤度を生成し、かつ維持している。たとえば、不正な方向の挙動のスコア付けモジュール62は、8つの方向エリアのうちの1つの中を物体が移動する尤度を作成し、かつ維持できる。言換えると、例示のためにのみ述べるが、各方向エリアは、それぞれ45度に対応できる。例示的な正常挙動(すなわち、軌跡モデル)を次に示す。
Figure 0005641445
(表2)において、Areaは方向エリア(すなわち、45度のセクション)に対応し、Vxはx方向において期待される速度に対応し、Stdxは対応するエリア内のVxの標準偏差に対応し、Vyはy方向において期待される速度に対応し、Stdyは対応するエリア内のVyの標準偏差に対応し、Countは対応するArea内の標本の数に対応する。
言換えると、VxおよびVyは、対応するArea内のもっともありがちな方向に対応する。それに加えて、Countは、標本の総数(すなわち、Count列の合計、またはCount_total)と比較した対応する位置にある物体がAreaに対応する方向へ移動する尤度(すなわち確率)と関係する。
ここで図7Aおよび7Bを参照すると、尤度のテーブル(表2)の図式表現が示されている。図7Aは、8つの象限のそれぞれについて、物体が移動することがもっともありがちな方向を図解している。さらにまた、象限内のより長い矢印は、その象限に対応する方向において物体が移動する尤度がより高いことに対応する。
図6および7Bを参照すると、不正な方向の挙動のスコア付けモジュール62は、受取ったモニタされている物体に対応するメタデータに基づいて、モニタされている物体の方向を決定する。不正な方向の挙動のスコア付けモジュール62は、その後、モニタされている物体の決定済みの方向に対してK個のもっとも近い方向を決定する。Kは、あらかじめ決定済みとすること、またはGUI 22を介してオペレータによってセットされるものとすることができる。たとえば、図7Bに図解されているとおり、Kを3とすることができる。K=3個のもっとも近い方向は、それらの方向とモニタされている物体の方向の間における角度(θ)がもっとも小さい方向に対応する。図7Bに示されているとおり、これらの3つの最小角度をθ、θ、およびθとすることができる。
不正な方向の挙動のスコア付けモジュール62は、モニタされている物体の方向、K個のもっとも近い方向、およびそれらの対応する尤度に基づいて異常挙動スコアを生成する。不正な方向の挙動のスコア付けモジュール62は、次式のとおり、K個のもっとも近い方向の重み付け平均を生成できる。
Figure 0005641445
(式7)において、Lは、モニタされている物体の方向角とK個のもっとも近い方向のうちの1つの方向角の間における角度に対応する対応のθの(Count/Count_total)に対応する。
不正な方向の挙動のスコア付けモジュール62は、その後、次式のとおり、生の異常性スコアを生成する。
Figure 0005641445
(式8)において、L_meanは、対応する領域内のすべての方向の平均尤度である。
言換えると、スコアは、モニタされている物体が正しい(すなわち、もっともありがちな)方向へ移動しているとき、ゼロに近くなる。生のスコア(Score_raw)は、複数の時間窓にわたって平均して、期間にわたる平均の不正な方向の異常性スコアを決定できる。
うろつき挙動(wandering behavior)のスコア付け
うろつき挙動(wandering behavior)のスコア付けモジュール64は、モニタされている物体に対応するメタデータを処理し、そのモニタされている物体が、ある期間の間にわたって、正常な動きのモデルによって定義される正常な(すなわち、安全な)合計距離を移動しているか否かを決定する。
うろつき挙動(wandering behavior)のスコア付けモジュール64は、フィルタリング・モジュール60(または対応するデータ・ストレージ)から正常な動きのモデルおよびフィルタリング済みメタデータを検索する。うろつき挙動(wandering behavior)のスコア付けモジュール64は、2つの異なる方法に従って、モニタされている物体がうろついている(すなわち、徘徊している)場合に異常性スコアを生成できる。第1に、うろつき挙動(wandering behavior)のスコア付けモジュール64は、モニタされている物体が、次に述べるとおり、あらかじめ決定済みの数の標本にわたってあらかじめ決定済みのエリア内をうろついているとき、異常性スコアを生成できる。
標本の数(固定サンプリング・レート)
最初に、うろつき挙動(wandering behavior)のスコア付けモジュール64は、期待される最小の軌跡の長さ(expectedLen)を、その軌跡に対応する平均の長さ(aveLen)ならびに平均の長さの標準偏差(stdLen)に基づいて生成する。期待される最小の軌跡の長さexpectedLenは、平均の長さaveLenと標準偏差stdLenの和(expectedLen=aveLen+stdLen)とすることができる。言換えると、期待される最小の軌跡の長さexpectedLenは、うろつき(すなわち、徘徊)挙動(wandering behavior)を定義する移動の最小の長さに対応することができる。
次に、うろつき挙動(wandering behavior)のスコア付けモジュール64は、フィルタリング済みメタデータに基づいてモニタされている物体の平均の速さ(aveSpeed)を生成する。うろつき挙動(wandering behavior)のスコア付けモジュール64は、その後、うろつき(すなわち、徘徊)挙動(wandering behavior)に対応する標本の数(expectedNumofPoints)を決定する。標本の数expectedNumofPointsは、期待される軌跡の長さexpectedLenの3分の1(expectedNumofPoints=expectedLen/3)とすることができる。また標本の数expectedNumofPointsは、動的に調整して検知デバイス12a〜12nのうちの1つの遠視野内における物体の効果を打ち消すこともできる。言換えると、遠視野内の物体は、対応する実際の速度より低い速度で移動しているように現れることがある。
次にうろつき挙動(wandering behavior)のスコア付けモジュール64は、モニタされている物体の平均の速さaveSpeedおよび標本の数expectedNumofPointsに基づいて方形のうろつきエリアの幅(width)を決定する。この幅は、平均の速さaveSpeedと標本の数expectedNumofPointsの積(width=aveSpeed×expectedNumofPoints)とすることができる。
その後うろつき挙動(wandering behavior)のスコア付けモジュール64は、方形のうろつきエリア内におけるモニタされている物体の検出された標本の数(NumofPoints)をカウントするが、それにおいて方形のうろつきエリアは、そのモニタされている物体の現在の位置に中心が置かれる。
最後に、うろつき挙動(wandering behavior)のスコア付けモジュール64は、検出された標本の数NumofPointsおよび期待される標本の数expectedNumofPointsに基づいて異常性スコアを生成する。うろつき挙動(wandering behavior)のスコア付けモジュール64は、次式に従って異常性スコアを生成することができる。
Figure 0005641445
スコアは、検出された標本の数NumofPointsが、期待される標本の数expectedNumofPointsおよびゼロの両方より大きいか、または等しいときにゼロに等しくなる。
時間ベース(非固定サンプリング・レート)
上記に代えてうろつき挙動(wandering behavior)のスコア付けモジュール64は、モニタされている物体が、次に述べるとおり、あらかじめ決定済みの時間にわたってあらかじめ決定済みのエリア内をうろついているとき、異常性スコアを生成できる。
最初に、うろつき挙動(wandering behavior)のスコア付けモジュール64は、x軸位置の最小値ならびに最大値(xmin,xmax)およびy軸位置の最小値ならびに最大値(ymin,ymax)に基づいて、軌跡内の各点について軌跡の最小バウンディング・ボックス(MBR)を定義する。次にうろつき挙動(wandering behavior)のスコア付けモジュール64は、次式のとおり、2つの差およびMBR半径を生成する。
Figure 0005641445
うろつき挙動(wandering behavior)のスコア付けモジュール64は、続いて、瞬時速度のk個の標本に基づいてモニタされている物体の平均の速さ(ExpectedSpeed(i, j), j=1,2,...,k)を決定する。k個の瞬時速度は、サンプリング期間の間にわたって等しい1/kの間隔においてサンプリングされるものとすることができる。
次に、うろつき挙動(wandering behavior)のスコア付けモジュール64は、期待される最小うろつき時間(ExpectedMinWanderingTime)を、次式のとおり、区分関数に基づいて決定する。
Figure 0005641445
(式11)においてkは、構成可能とすることができる。たとえば、kが8に等しいときには、期待される最小うろつき時間が、軌跡を8つの線分に分割することによって評価される。
うろつき挙動(wandering behavior)のスコア付けモジュール64は、続いて、モニタされている物体のシルエット・サイズ(numPixels)および、モニタされている物体の平均シルエット・サイズavgPixelsおよび標準偏差(stdPixels)を追跡するシルエット・サイズ・モデルに基づいて信頼度ファクタ(CF)を生成する。補正後のシルエット・サイズz(i)は、次式のとおりに生成できる。
Figure 0005641445
その後、次式のとおり、補正後のシルエット・サイズz(i)に基づいて信頼度ファクタCFを決定できる。
Figure 0005641445
(式13)において、z(i)が1より小さいか、またはそれと等しいときにCFが1(すなわち、完全信頼度)に等しくなる。言換えると、これは、そのシルエット・サイズが平均シルエット・サイズの標準偏差内にあることから、シルエット・サイズ(すなわち、ぼんやりとした形のサイズ)が正常であることを示す。それ以外の場合にCFは、異常性のレベルを表わすべくz(i)に基づいて低減される(すなわち、信頼度が減少する)。
うろつき挙動(wandering behavior)のスコア付けモジュール64は、平均軌跡持続時間(avgTrajectorDuration)および軌跡持続時間の標準偏差(stdTrajectorDuration)に基づいて最小うろつき時間(minWanderingTime)を決定する。最小うろつき時間(minWanderingTime)は、平均軌跡持続時間avgTrajectorDurationに標準偏差stdTrajectoryDurationを2つ加えた値(minWanderingTime=avgTrajectoryDuration+2×stdTrajectoryDuration)とすることができる。スコア・ファクタ(scoreFactor(i))が、以下のとおり、この目的を記述するために定義される。軌跡時間が、平均軌跡時間より小さい場合には、scoreFactor(i)がゼロになり、そのほかの場合には次式のとおりとなる。
Figure 0005641445
より詳細に述べると、スコア・ファクタは、単調であり、軌跡時間に比例する。たとえば、軌跡持続時間が2つ分の標準偏差stdTrajectoryDurationを超えて平均軌跡持続時間avgTrajectorDurationより大きいとき、スコア・ファクタが1に近づく。それに代わり、たとえば、軌跡持続時間が2つ分の標準偏差stdTrajectoryDuration未満で平均軌跡持続時間avgTrajectorDurationを超える場合には、スコア・ファクタが指数関数的に減少する。
最後に、うろつき挙動(wandering behavior)のスコア付けモジュール64は、次式に基づいて異常性スコアを生成する。
Figure 0005641445
(式15)において、TrajectoryTime(i)は、モニタされている物体がうろつきエリア内にいた決定済みの時間に対応する。スコアは、TrajectoryTime(i)が最小うろつき時間minWanderingTimeより小さいか、またはそれと等しいときに0と等しくなる。
速さ違反挙動(speeding behavior)のスコア付け
速さ違反挙動(speeding behavior)のスコア付けモジュール66は、モニタされている物体に対応するメタデータを処理して、そのモニタされている物体が正常な動きのモデルによって定義される正常な(すなわち、安全な速さにおいて移動しているか否かを決定する。
速さ違反挙動(speeding behavior)のスコア付けモジュール66は、フィルタリング・モジュール60(または対応するデータ・ストレージ)から正常な動きのモデルおよびフィルタリング済みメタデータを検索する。速さ違反挙動(speeding behavior)のスコア付けモジュール66は、モニタされている物体が、次に述べるとおり、あらかじめ決定済みの速さスレッショルドを超える速さで移動しているとき、異常性スコアを生成する。
最初に、速さ違反挙動(speeding behavior)のスコア付けモジュール66は、モニタされている物体の瞬時的な速さおよびモニタされている物体の現在の方向を、現在の位置ならびに時刻(x(i),y(i),ts(i))および以前の位置ならびに時刻(x(i‐w),y(i‐w),ts(i‐w))に基づいて決定する。速さは、次式のとおりに決定できる。
Figure 0005641445
(式16)において、以前の位置(i‐w)は、所定の最小限度変位minDisを用いて、(i‐w)から(i)までの変位がminDisより大きくなるが、(i‐w+1)から(i)までの変位がminDisより小さくなるか、またはそれと等しくなるように決定される。最小限度変位minDisは、構成可能とすることもできる。たとえば、minDisを、少なくとも、外部の追跡アルゴリズムによって評価された物体のサイズとすることができる。
次に、速さ違反挙動(speeding behavior)のスコア付けモジュール66は、モニタされている物体の決定済みの方向に対してK個のもっとも近い方向を決定する。Kは、あらかじめ決定済みとすること、またはGUI 22を介してオペレータによってセットされるものとすることができる。たとえば、図7Bに示されており、かつ以前に述べたとおり、Kを3とすることができる。
速さ違反挙動(speeding behavior)のスコア付けモジュール66は、モニタされている物体の速さ、そのモニタされている物体の決定済みの方向に対してもっとも近い方向に対応するK個の平均の速さに基づいて異常挙動スコアを生成する。しかしながら、特定の方向において速度情報がまったく存在しなかった場合には(すなわち、図4参照)、その特定の方向のためのファクタ(isWeighted(i))をゼロにセットすることができる。それ以外であれば、速度情報が存在するときにファクタisWeighted(i)を1にセットし(すなわち、情報が存在する)、速さ違反挙動(speeding behavior)のスコア付けモジュール66は、K個のもっとも近い方向のうちの残りの方向について距離ファクタd(i)を生成できる。複数の方向への重み付けが、速さ違反挙動(speeding behavior)検出の正確度および堅牢性を増加させる。言換えると、重み付けなしでは、速度情報が利用できないことがあり、したがって結果としてエラーを生じることがある。
速さ違反挙動(speeding behavior)のスコア付けモジュール66は、モニタされている物体の方向角とK個のもっとも近い方向のうちの対応する1つの方向角の間における差(θ)に基づいて距離ファクタd(i)を生成する。たとえば、d(i)をcos(θ)に等しいとすることができる。速さ違反挙動(speeding behavior)のスコア付けモジュール66は、その後、K個のもっとも近い方向のそれぞれについての重みファクタw(i)を生成する。K=3であれば、重みファクタw(i)を次式のとおりに生成できる。
Figure 0005641445
さらにまた、重みファクタw(i)に基づいて総合重みファクタ(totalWeight)を生成し、重みの正規化に使用することができる。たとえば、総合重みファクタtotalWeightを、重みファクタw(i)の和(たとえば、totalWeight=w(1)+w(2)+w(3))とすることができる。速さ違反挙動(speeding behavior)のスコア付けモジュール66は、その後、モニタされている物体の現在の方向に対応する評価済み平均速度(vel_hat)および評価済み標準偏差(std_hat)を生成する。総合の重みtotalWeightが0に等しいときには、vel_hatおよびstd_hatの両方をゼロにセットすることができる。それ以外であれば、vel_hatおよびstd_hatを次式のとおりに生成できる。
Figure 0005641445
(式18)において、avgVel(i)はK個のもっとも近い方向の平均速度に対応し、avgStd(i)はK個のもっとも近い方向の平均標準偏差に対応する。vel_hatを通じて正規化された速さは、カメラの視野内の遠視野内および近視野内の速度を較正することになる。この正規化された速さに基づき、物体が同じ速度にあるが検知デバイス12a〜12nのうちの1つの視野内の異なる野の中にあるときに、速さ違反挙動(speeding behavior)のスコア付けモジュール66によって生成されるスコアを同じレベルにあるとすることができる。
速さ違反挙動(speeding behavior)のスコア付けモジュール66は、その後、現在の方向における平均の速さvel_hatに基づいて、次式のとおり、生の異常性スコアを生成する。
Figure 0005641445
(式19)において、lamdaは、物体がどの程度速く移動すれば異常な速さであるとして検出されるかということに基づいて構成可能であるとし得る。たとえば、平均の速さの3倍が有意である場合には、lamdaを1/3として定義できる。ランダム性(randomFactor)が、モニタされている物体の動きの方向における変化ならびに評価済みの測定誤差に基づいて評価される。たとえば、ランダム性を次式のとおりに生成できる。
Figure 0005641445
(式20)において、εは、カルマン・フィルタによって予測される評価済みの測定誤差である。
速さ違反挙動(speeding behavior)のスコア付けモジュール66は、その後、生の異常性スコアに基づいて異常性スコアを生成する。速さ違反挙動(speeding behavior)のスコア付けモジュール66は、あらかじめ決定済みの期間にわたる生の異常性スコアの中央値に基づいて異常性スコアを生成することもできる。あらかじめ決定済みの期間(すなわち、時間窓)はk秒とすることができるが、それにおいてkは、次式のとおりに定義される。
Figure 0005641445
(式21)において、colSizeおよびrowSizeは、ストアされた標本の数に対応する。たとえば、K=min(k,2)は、移動の時間窓が0.5から2秒まで変化することを示すことがある。
時間窓の動的な調整(すなわちコントロール)が、検知デバイス12a〜12nのうちの1つの遠視野内の物体に起因する誤差を低減できる。より詳細に述べれば、遠視野内の物体は、対応する実際の速度より低い速度において移動しているように現れることがある。したがって、時間窓を調整して遠視野の効果を打ち消すことができる。それに代えて、遠視野に対応する正規化された速度が、遠視野の効果を打ち消すことがある。
本発明の別の特徴においては、挙動評価モジュール36が、特定の異常挙動および特定の検知デバイス12a〜12nのための深刻度レベル割当てを向上させる、物体の異常挙動スコアを含むマップを生成できる。例示のためにのみ述べるが、そのマップを適応型偽アラーム低減マップ(AFARM)と呼ぶことができる。したがって、ビデオ監視システム10は、過剰なアラームへの傾注によってセキュリティ・オペレータを圧倒することなく、異常事象の深刻度に基づいてそれらを優先順位設定することができる。
挙動評価モジュール36モジュールは、スコアの正規化のために各異常挙動タイプについて物体の異常性スコアを収集する。たとえば、次に示すパラメータを決定できる。
AFARM[].aveScore=物体の平均異常挙動スコア
AFARM[].stdScore=異常挙動スコアの標準偏差
AFARM[].n=標本の数
AFARM[].minScore=最小異常性スコア値
各異常挙動検出器のためのAFARMは、以下のとおりに生成できる。最初に、平均異常挙動スコア(aveScore)が最小限度の値(minScore)にセットされる。たとえば、MinScoreを0.75とすることができる。次に、軌跡の標本の数が所定の数(n)にセットされる。たとえば、nを100とすることができる。
それに加えて、各物体の軌跡が処理された後、AFARM内の異常挙動タイプ(J)が、所定の異常挙動スコアSについて次のとおりに更新される。
newSample=AFARM[J].minScore
if S>AFARM[J].aveScore:
newSample=S;
end,
これにおいて、
Figure 0005641445
したがって、平均スコア(aveScore)は、所定の最小限度のスコアより上にとどまることができる。AFARMに基づいてビデオ監視システム10は、スコアを分散させ、正規化されたスコアに基づいて正常と異常の挙動を際だって見分ける。
ここで図8Aを参照すると、ステップ100において、不正な方向の異常性スコアを生成するための方法が開始する。ステップ102においては、異常挙動検出モジュール20が、学習モードであるか否かを決定する。イエスであれば、コントロールがステップ102へ戻ることができる。ノーであれば、コントロールがステップ104へ進むことができる。
ステップ104においては、異常挙動検出モジュール20が、モニタされている物体の方向に対してK個のもっとも近い方向を決定する。例示のためにのみ述べるが、K個のもっとも近い方向は、それらの方向角とモニタされている物体の方向角の間に最小の差を伴う方向であるとすることができる。
ステップ106においては、異常挙動検出モジュール20が、K個のもっとも近い方向の重み付け平均を生成する。より詳細に述べれば、異常挙動検出モジュール20は、K個のもっとも近い方向に対応するK個の角度およびK個の尤度に基づいて尤度を生成する。
ステップ108においては、異常挙動検出モジュール20が、重み付け平均およびK個の対応する尤度に基づいて生のスコアを生成する。ステップ110においては、異常挙動検出モジュール20が、生のスコアに基づいて異常性スコアを生成する。例示のためにのみ述べるが、異常挙動検出モジュール20は、あらかじめ決定済みの期間にわたる生のスコアの平均に基づいて異常性スコアを生成できる。その後ステップ112においてコントロールが終了する。
ここで図8Bを参照するが、うろつき異常性スコアを生成するための方法は、ステップ120において開始する。ステップ122においては、異常挙動検出モジュール20が、学習モードであるか否かを決定する。イエスであれば、コントロールがステップ122へ戻ることができる。ノーであれば、コントロールがステップ124へ進むことができる。
ステップ124においては、異常挙動検出モジュール20が、固定サンプリング・レートで動作しているか否かを決定する。イエスであれば、コントロールがステップ126へ進むことができる。ノーであれば、コントロールがステップ136へ進むことができる。
ステップ126においては、異常挙動検出モジュール20が、うろつきエリアに対応する最小軌跡長を生成する。ステップ128においては、異常挙動検出モジュール20が、モニタされている物体の平均の速さを決定できる。ステップ130においては、異常挙動検出モジュール20が、うろつき挙動(wandering behavior)に対応するうろつきエリア内の点の数の最小値を決定できる。
ステップ132においては、異常挙動検出モジュール20が、モニタされている物体がうろついていた標本の数をカウントする。言換えると異常挙動検出モジュール20は、モニタされている物体がうろつきエリア内にあるときの標本の数をカウントできる。ステップ134においては、異常挙動検出モジュール20が、カウントした標本の数に基づいて異常性スコアを生成できる。コントロールは、その後ステップ146において終了できる。
ステップ136においては、異常挙動検出モジュール20が、うろつきエリアに対応する最小バウンディング・ボックス(MBR)を生成するが、これは、radius(i)によって参照されることもある。ステップ138においては、異常挙動検出モジュール20が、モニタされている物体の平均の速さを決定できる。
ステップ140においては、異常挙動検出モジュール20が、最小うろつき時間(Minimum wandering time)を決定する。例示のためにのみ述べるが、最小うろつき時間(Minimum wandering time)は、モニタされている物体が対応するMBR内にある時間であって、うろつき挙動(wandering behavior)であるとして分類される期間に対応する。
ステップ142においては、異常挙動検出モジュール20が、モニタされている物体の平均および期待されるシルエット・サイズ(すなわち、ピクセル・サイズ)に基づいて信頼度ファクタCFを生成する。ステップ144においては、異常挙動検出モジュール20が、最小うろつき時間(Minimum wandering time)、モニタされている物体に対応する軌跡時間、および信頼度ファクタに基づいて異常性スコアを生成できる。コントロールは、その後ステップ146において終了できる。
ここで図8Cを参照するが、速さ違反異常性スコアを生成するための方法は、ステップ150において開始する。ステップ152においては、異常挙動検出モジュール20が、学習モードで動作しているか否かを決定する。イエスであれば、コントロールがステップ152へ戻ることができる。ノーであれば、コントロールがステップ154へ進むことができる。
ステップ154においては、異常挙動検出モジュール20が、モニタされている物体の速さおよび方向を決定する。ステップ156においては、異常挙動検出モジュール20が、モニタされている物体に対してK個のもっとも近い方向を決定できる。例示のためにのみ述べるが、K個のもっとも近い方向は、それらの方向角とモニタされている物体の方向角の間に最小の差を伴う方向であるとすることができる。
ステップ158においては、異常挙動検出モジュール20が、K個のもっとも近い方向のそれぞれについて、距離ファクタd(i)を生成する。例示のためにのみ述べるが、K個のもっとも近い方向のうちの対応する1つについて、速度情報が存在しないときは距離ファクタd(i)をゼロとすることができる。例示のためにのみ述べるが、距離ファクタd(i)は、対応する方向角とモニタされている物体の方向角の間における差に基づくことができる。
ステップ160においては、異常挙動検出モジュール20が、距離ファクタd(i)に基づいて重みファクタw(i)を生成する。ステップ162においては、異常挙動検出モジュール20が、総合重みファクタを生成する。例示のためにのみ述べるが、総合重みファクタは、重みファクタw(i)の和とすることができる。
ステップ162においては、異常挙動検出モジュール20が、現在の位置における物体の平均速度および標準偏差を推定(Estimate)する。ステップ164においては、異常挙動検出モジュール20が、モニタされている物体の平均速度および現在の位置における物体の平均速度に基づいて生のスコアを生成する。
ステップ166においては、異常挙動検出モジュール20が、生のスコアに基づいて異常性スコアを生成する。例示のためにのみ述べるが、異常挙動検出モジュール20は、あらかじめ決定済みの期間にわたる生のスコアの中央値に基づいて異常性スコアを生成できる。コントロールは、その後ステップ168において終了できる。
ここで図9を参照するが、ビデオ監視システム10を動作させるための方法は、ステップ170において開始する。ステップ172においては、異常挙動検出モジュール20が、検知デバイス12a〜12nから受取った画像データに基づいてメタデータを処理する。
ステップ174においては、異常挙動検出モジュール20が、学習モードで動作しているか否かを決定する。イエスであれば、コントロールがステップ176へ進むことができる。ノーであれば、コントロールがステップ178へ進むことができる。ステップ176においては、異常挙動検出モジュール20が、処理後のメタデータに基づいて正常な動きのモデルを更新(または生成)する。コントロールは、ステップ186において終了できる。
ステップ178においては、異常挙動検出モジュール20が、正常モデル・データ・ストレージ28からの正常な動きのモデルの検索を行なう。ステップ180においては、異常挙動検出モジュール180が、モニタされている物体に対応する異常性スコアを生成する。例示のためにのみ述べるが、異常性スコアは、1つまたは複数の正常な動きのモデル、およびモニタされている物体に対応する生成および/または前処理されたメタデータに基づくことができる。コントロールは、その後、ステップ176およびステップ182の両方へ進むことができる。言換えると、異常挙動検出モジュール20は、生成した異常性スコアに基づき、ステップ176において正常な動きのモデルを更新できる。
ステップ182においては、異常挙動検出モジュール20が、異常性スコアとあらかじめ決定済みの異常性スコア・スレッショルドを比較する。異常性スコアがあらかじめ決定済みの異常性スコア・スレッショルドより大きい場合には、コントロールがステップ184へ進むことができる。それ以外の場合には、コントロールがステップ186へ進み、コントロールを終了できる。
ステップ184においては、異常挙動検出モジュール20が、モニタされている物体の異常挙動に対応するアラーム信号を生成する。例示のためにのみ述べるが、アラーム信号は、GUI 22、A/Vアラーム24、および記録ストレージ・モジュール26のうちの少なくとも1つに渡すことができる。コントロールは、その後ステップ186において終了できる。
以上の実施態様の説明は、例示および説明の目的のために提供されてきた。それが網羅的であること、または本発明を限定することは意図されていない。特定の実施態様の個別の要素または特徴は、概してその特定の実施態様に限定されず、明確に示されていないか述べられていない場合であっても適用可能なときには相互交換可能であり、かつ選択された実施態様内において使用が可能である。同じことが、多くの形で多様なものになることもあり得る。その種の変形は、本発明からの逸脱とは見なされず、すべてのその種の修正は本発明の範囲内に含まれることが意図されている。
10 ビデオ監視システム
20 異常挙動検出モジュール
22 グラフィカル・ユーザ・インターフェース(GUI)
24 聴覚/視覚(A/V)アラーム
26 記録ストレージ・モジュール
28 正常モデル・データ・ストレージ
30 メタデータ生成モジュール
32 メタデータ処理モジュール
34 モデル構築モジュール
36 挙動評価モジュール
38 アラーム生成モジュール
50 モデル・ロード・モジュール
52 正常モデル構築モジュール
60 フィルタリング・モジュール
62 不正な方向の挙動のスコア付けモジュール
64 うろつき挙動(wandering behavior)のスコア付けモジュール
66 速さ違反挙動(speeding behavior)のスコア付けモジュール
201 視野
203A 目標エリア
203B 目標エリア
205A 左上コーナの点
205B エリア
207 グリッド、セル
12a〜12n 検知デバイス

Claims (6)

  1. 学習モードにおける物体の動きに関するメタデータを受け取り、検知物体の正常な動きのモデルを生成するモデル構築モジュールと、
    運用モードにおいてモニタされている物体の動きに関するメタデータと前記正常な動きのモデルを受け取って、前記モニタされている物体の不正な方向の挙動のスコア付けを行う挙動評価モジュールと、
    前記スコア付けに基づいてアラームを生成するアラーム生成モジュールと、
    を含む監視システムであって、
    前記モニタされている物体のメタデータは、少なくとも前記モニタされている物体の現在の位置と前記モニタされている物体の現在の方向に関する情報を含み、
    前記挙動評価モジュールは、特定の位置にある物体が特定の方向に移動する尤度を保持し、前記物体の現在の位置と物体の現在の方向に関する情報と、前記特定の位置にある物体が特定の方向に移動する尤度とに基づいて前記モニタされている物体の不正な方向の挙動のスコア付けをする、
    監視システム。
  2. 学習モードにおける物体の動きに関するメタデータを受け取り、検知物体の正常な動きのモデルを生成するモデル構築ステップと、
    運用モードにおいてモニタされている物体の動きに関するメタデータと前記正常な動きのモデルを受け取って、前記モニタされている物体の不正な方向の挙動のスコア付けを行う挙動評価ステップと、
    前記スコア付けに基づいてアラームを生成するアラーム生成ステップと、
    を含む監視方法であって、
    前記モニタされている物体のメタデータは、少なくとも前記モニタされている物体の現在の位置と前記モニタされている物体の現在の方向に関する情報を含み、
    前記挙動評価ステップは、特定の位置にある物体が特定の方向に移動する尤度を保持し、前記物体の現在の位置と物体の現在の方向に関する情報と、前記特定の位置にある物体が特定の方向に移動する尤度とに基づいて前記モニタされている物体の不正な方向の挙動のスコア付けをする、
    監視方法。
  3. 学習モードにおける物体の動きに関するメタデータを受け取り、検知物体の正常な動きのモデルを生成するモデル構築ステップと、
    運用モードにおいてモニタされている物体の動きに関するメタデータと前記正常な動きのモデルを受け取って、前記モニタされている物体の不正な方向の挙動のスコア付けを行う挙動評価ステップと、
    前記スコア付けに基づいてアラームを生成するアラーム生成ステップと、
    をコンピュータに実行させるための監視プログラムであって、
    前記モニタされている物体のメタデータは、少なくとも前記モニタされている物体の現在の位置と前記モニタされている物体の現在の方向に関する情報を含み、
    前記挙動評価ステップは、特定の位置にある物体が特定の方向に移動する尤度を保持し、前記物体の現在の位置と物体の現在の方向に関する情報と、前記特定の位置にある物体が特定の方向に移動する尤度とに基づいて前記モニタされている物体の不正な方向の挙動のスコア付けをする、
    監視プログラム。
  4. 学習モードにおける物体の動きに関するメタデータを受け取り、検知物体の正常な動きのモデルを生成するモデル構築モジュールと、
    運用モードにおいてモニタされている物体の動きに関するメタデータと前記正常な動きのモデルを受け取って、前記モニタされている物体の速さ違反挙動のスコア付けを行う挙動評価モジュールと、
    前記スコア付けに基づいてアラームを生成するアラーム生成モジュールと、
    を含む監視システムであって、
    前記モニタされている物体のメタデータは、少なくとも前記モニタされている物体の現在の位置と前記モニタされている物体の現在の方向と前記モニタされている物体の速度に関する情報を含み、
    前記挙動評価モジュールは、特定の位置にある物体が特定の方向に移動する速度スレッショルドを保持し、前記物体の現在の位置と物体の現在の方向と前記モニタされている物体の速度に関する情報と、特定の位置にある物体が特定の方向に移動する速度スレッショルドとに基づいて前記モニタされている物体の速さ違反挙動のスコア付けをする、
    監視システム。
  5. 学習モードにおける物体の動きに関するメタデータを受け取り、検知物体の正常な動きのモデルを生成するモデル構築ステップと、
    運用モードにおいてモニタされている物体の動きに関するメタデータと前記正常な動きのモデルを受け取って、前記モニタされている物体の速さ違反挙動のスコア付けを行う挙動評価ステップと、
    前記スコア付けに基づいてアラームを生成するアラーム生成ステップと、
    を含む監視方法であって、
    前記モニタされている物体のメタデータは、少なくとも前記モニタされている物体の現在の位置と前記モニタされている物体の現在の方向と前記モニタされている物体の速度に関する情報を含み、
    前記挙動評価ステップは、特定の位置にある物体が特定の方向に移動する速度スレッショルドを保持し、前記物体の現在の位置と物体の現在の方向と前記モニタされている物体の速度に関する情報と、特定の位置にある物体が特定の方向に移動する速度スレッショルドとに基づいて前記モニタされている物体の速さ違反挙動のスコア付けをする、
    監視方法。
  6. 学習モードにおける物体の動きに関するメタデータを受け取り、検知物体の正常な動きのモデルを生成するモデル構築ステップと、
    運用モードにおいてモニタされている物体の動きに関するメタデータと前記正常な動きのモデルを受け取って、前記モニタされている物体の速さ違反挙動のスコア付けを行う挙動評価ステップと、
    前記スコア付けに基づいてアラームを生成するアラーム生成ステップと、
    をコンピュータに実行させるための監視プログラムであって、
    前記モニタされている物体のメタデータは、少なくとも前記モニタされている物体の現在の位置と前記モニタされている物体の現在の方向と前記モニタされている物体の速度に関する情報を含み、
    前記挙動評価ステップは、特定の位置にある物体が特定の方向に移動する速度スレッショルドを保持し、前記物体の現在の位置と物体の現在の方向と前記モニタされている物体の速度に関する情報と、特定の位置にある物体が特定の方向に移動する速度スレッショルドとに基づいて前記モニタされている物体の速さ違反挙動のスコア付けをする、
    監視プログラム。
JP2011551244A 2009-02-19 2010-02-19 監視システム、監視方法、及び監視プログラム Active JP5641445B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US15388409P 2009-02-19 2009-02-19
US61/153,884 2009-02-19
US12/496,681 US20100208063A1 (en) 2009-02-19 2009-07-02 System and methods for improving accuracy and robustness of abnormal behavior detection
US12/496,681 2009-07-02
PCT/US2010/024707 WO2010141116A2 (en) 2009-02-19 2010-02-19 System and methods for improving accuracy and robustness of abnormal behavior detection

Publications (3)

Publication Number Publication Date
JP2012518845A JP2012518845A (ja) 2012-08-16
JP2012518845A5 JP2012518845A5 (ja) 2014-03-06
JP5641445B2 true JP5641445B2 (ja) 2014-12-17

Family

ID=42559543

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011551244A Active JP5641445B2 (ja) 2009-02-19 2010-02-19 監視システム、監視方法、及び監視プログラム

Country Status (6)

Country Link
US (2) US20100208063A1 (ja)
EP (1) EP2399224A2 (ja)
JP (1) JP5641445B2 (ja)
KR (1) KR20110133476A (ja)
CN (1) CN102326171A (ja)
WO (1) WO2010141116A2 (ja)

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011048547A (ja) * 2009-08-26 2011-03-10 Toshiba Corp 異常行動検知装置、監視システム及び異常行動検知方法
US20110316697A1 (en) * 2010-06-29 2011-12-29 General Electric Company System and method for monitoring an entity within an area
MY161490A (en) * 2010-12-01 2017-04-14 Mimos Berhad A system and method to detect human loitering activity using trajectory information
MY159290A (en) * 2010-12-02 2016-12-30 Mimos Berhad A system and a method for detecting a loitering event
US9226037B2 (en) * 2010-12-30 2015-12-29 Pelco, Inc. Inference engine for video analytics metadata-based event detection and forensic search
US9615064B2 (en) * 2010-12-30 2017-04-04 Pelco, Inc. Tracking moving objects using a camera network
US9158976B2 (en) 2011-05-18 2015-10-13 International Business Machines Corporation Efficient retrieval of anomalous events with priority learning
CN102831615A (zh) * 2011-06-13 2012-12-19 索尼公司 对象监控方法和装置,以及监控系统操作方法
US8798318B2 (en) * 2012-01-18 2014-08-05 Xerox Corporation System and method for video episode viewing and mining
DE102012203909A1 (de) * 2012-03-13 2013-09-19 Robert Bosch Gmbh Filterverfahren und Filtervorrichtung für Sensordaten
EP2826020A4 (en) * 2012-03-15 2016-06-15 Behavioral Recognition Sys Inc STANDARDIZING AN ALERT VOLUME IN A VIDEO SURVEILLANCE SYSTEM
US8712100B2 (en) * 2012-05-30 2014-04-29 International Business Machines Corporation Profiling activity through video surveillance
US9911043B2 (en) * 2012-06-29 2018-03-06 Omni Ai, Inc. Anomalous object interaction detection and reporting
US10289917B1 (en) * 2013-11-12 2019-05-14 Kuna Systems Corporation Sensor to characterize the behavior of a visitor or a notable event
JP2014134922A (ja) * 2013-01-09 2014-07-24 Sony Corp 情報処理装置、情報処理方法およびプログラム
CN103116959A (zh) * 2013-01-25 2013-05-22 上海博超科技有限公司 一种智能视频中异常行为的分析识别方法
EP2950862B1 (en) * 2013-01-29 2019-10-23 Koninklijke Philips N.V. Control of neonatal oxygen supply
KR102035184B1 (ko) 2013-02-25 2019-11-08 한화테크윈 주식회사 비정상 움직임 탐지 장치 및 방법
CN104424648B (zh) * 2013-08-20 2018-07-24 株式会社理光 对象跟踪方法和设备
CN103473533B (zh) * 2013-09-10 2017-03-15 上海大学 视频运动对象异常行为自动检测方法
JP6261266B2 (ja) * 2013-10-02 2018-01-17 東芝アルパイン・オートモティブテクノロジー株式会社 移動体検知装置
US9524426B2 (en) * 2014-03-19 2016-12-20 GM Global Technology Operations LLC Multi-view human detection using semi-exhaustive search
CL2014001085A1 (es) * 2014-04-25 2015-03-27 Cardenas Luis Fernando Alarcon Metodo y sistema de control de un sitio de trabajo, que permite analizar y gestionar las condiciones de trabajo, en que el metodo comprende registrar acciones de trabajo empleando medio de captura, almacenar la informacion en base de datos, consultar informacion almacenada, analizarla clasificando de acuerdo a categorias predefinidas, enlazar informacion y analizar en relacion a categorias, ubicacion temporal y/o eventual, permitir visualizacion de analisis e informacion
US10083233B2 (en) * 2014-09-09 2018-09-25 Microsoft Technology Licensing, Llc Video processing for motor task analysis
US10438277B1 (en) * 2014-12-23 2019-10-08 Amazon Technologies, Inc. Determining an item involved in an event
US9514636B2 (en) 2014-12-30 2016-12-06 Google Inc. Premises management system with prevention measures
US9881477B2 (en) * 2015-02-27 2018-01-30 Elwha Llc Device having a sensor for sensing an object and a communicator for coupling the sensor to a determiner for determining whether a subject may collide with the object
CN104680557A (zh) * 2015-03-10 2015-06-03 重庆邮电大学 视频序列图像中的异常行为智能检测方法
US9761099B1 (en) * 2015-03-13 2017-09-12 Alarm.Com Incorporated Configurable sensor
IL241863A0 (en) * 2015-10-06 2016-11-30 Agent Video Intelligence Ltd A method and system for classifying objects from a sequence of images
EP3168711A1 (en) * 2015-11-11 2017-05-17 ams AG Method, optical sensor arrangement and computer program product for passive optical motion detection
US10248839B2 (en) * 2015-11-30 2019-04-02 Intel Corporation Locating objects within depth images
CN106128053A (zh) * 2016-07-18 2016-11-16 四川君逸数码科技股份有限公司 一种智慧金睛识别人员逗留徘徊报警方法和装置
US20180070212A1 (en) * 2016-09-02 2018-03-08 Athentek Innovations, Inc. Systems and methods to track movement of a device in an indoor environment
TWI624815B (zh) * 2016-11-23 2018-05-21 財團法人資訊工業策進會 行為偵測系統及其方法
US10445565B2 (en) * 2016-12-06 2019-10-15 General Electric Company Crowd analytics via one shot learning
US11295224B1 (en) * 2016-12-08 2022-04-05 Amazon Technologies, Inc. Metrics prediction using dynamic confidence coefficients
CN108664478B (zh) * 2017-03-27 2021-07-20 华为技术有限公司 目标物检索方法及装置
US10417484B2 (en) * 2017-05-30 2019-09-17 Wipro Limited Method and system for determining an intent of a subject using behavioural pattern
US10304207B2 (en) * 2017-07-07 2019-05-28 Samsung Electronics Co., Ltd. System and method for optical tracking
JP2019036872A (ja) * 2017-08-17 2019-03-07 パナソニックIpマネジメント株式会社 捜査支援装置、捜査支援方法及び捜査支援システム
JP6859907B2 (ja) * 2017-09-08 2021-04-14 トヨタ自動車株式会社 車両制御装置
CN107944475B (zh) * 2017-11-09 2021-05-14 安徽师范大学 基于公共分片子序列的轨迹离群点检测方法
DE112018005879T5 (de) 2017-11-16 2020-08-20 Intel Corporation Verteilte softwaredefinierte industrielle Systeme
WO2019130548A1 (en) * 2017-12-28 2019-07-04 Nec Corporation Information processing apparatus, method, and program
JP6704543B2 (ja) * 2018-02-06 2020-06-03 三菱電機株式会社 系列データ解析装置、系列データ解析方法および系列データ解析プログラム
KR102222324B1 (ko) * 2018-03-26 2021-03-03 한국전자통신연구원 영상 분석 기반의 취객 감지 장치 및 방법
CN108804539B (zh) * 2018-05-08 2022-03-18 山西大学 一种时间与空间双视角下的轨迹异常检测方法
CN108921403A (zh) * 2018-06-15 2018-11-30 杭州后博科技有限公司 一种共享单车无使用记录时被骑行识别方法及系统
CN110738827A (zh) * 2018-07-20 2020-01-31 珠海格力电器股份有限公司 电器的异常预警方法、系统、装置及存储介质
KR101996212B1 (ko) 2018-10-10 2019-10-01 한국과학기술정보연구원 배회 감지 서버 및 이를 이용한 배회 감지 방법
JP6685619B1 (ja) * 2018-12-10 2020-04-22 三菱電機株式会社 物体認識装置および物体認識方法
US10942833B2 (en) * 2019-01-11 2021-03-09 International Business Machines Corporation Monitoring routines and providing reminders
CN110135359A (zh) * 2019-05-17 2019-08-16 深圳市熠摄科技有限公司 一种基于声源定位的监控视频评估行为分析处理方法
US11410522B2 (en) * 2019-06-06 2022-08-09 Cisco Technology, Inc. Updating object inverse kinematics from multiple radio signals
US11164047B2 (en) * 2019-07-22 2021-11-02 International Business Machines Corporation Object detection optimization
TWI749364B (zh) * 2019-09-06 2021-12-11 瑞昱半導體股份有限公司 移動偵測方法及移動偵測系統
US11557151B2 (en) 2019-10-24 2023-01-17 Deere & Company Object identification on a mobile work machine
US10842415B1 (en) * 2019-10-25 2020-11-24 Plethy, Inc. Devices, systems, and methods for monitoring and assessing gait, stability, and/or balance of a user
CN111263116B (zh) * 2020-02-17 2021-07-02 深圳龙安电力科技有限公司 一种基于视觉距离的智能监控系统
GB2593209A (en) 2020-03-20 2021-09-22 Tj Morris Ltd Security System
JP7440332B2 (ja) * 2020-04-21 2024-02-28 株式会社日立製作所 事象解析システムおよび事象解析方法
US11831664B2 (en) * 2020-06-03 2023-11-28 Netskope, Inc. Systems and methods for anomaly detection
US11210775B1 (en) 2020-09-18 2021-12-28 International Business Machines Corporation Gradient-embedded video anomaly detection
CN112613361B (zh) * 2020-12-09 2023-07-11 安徽中电光达通信技术有限公司 一种安防监控用的智能化行为分析系统
CN112633133A (zh) * 2020-12-18 2021-04-09 江苏省苏力环境科技有限责任公司 基于ai的智慧水站运维的方法、系统、终端及存储介质
CN112633150A (zh) * 2020-12-22 2021-04-09 中国华戎科技集团有限公司 一种基于目标轨迹分析的滞留徘徊行为识别方法和系统
US20230177934A1 (en) * 2021-12-03 2023-06-08 Honeywell International Inc. Surveillance system for data centers and other secure areas
CN116358562B (zh) * 2023-05-31 2023-08-01 氧乐互动(天津)科技有限公司 消毒操作轨迹检测方法、装置、设备和存储介质
CN117315421A (zh) * 2023-09-26 2023-12-29 中国人民解放军91977 部队 海上目标的航迹预测方法及装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6707486B1 (en) * 1999-12-15 2004-03-16 Advanced Technology Video, Inc. Directional motion estimator
US7868912B2 (en) * 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
JP3888055B2 (ja) * 2000-12-26 2007-02-28 財団法人鉄道総合技術研究所 オプティカルフローを利用した列車前方異常検出装置
US7123126B2 (en) * 2002-03-26 2006-10-17 Kabushiki Kaisha Toshiba Method of and computer program product for monitoring person's movements
US7088846B2 (en) * 2003-11-17 2006-08-08 Vidient Systems, Inc. Video surveillance system that detects predefined behaviors based on predetermined patterns of movement through zones
US7127083B2 (en) * 2003-11-17 2006-10-24 Vidient Systems, Inc. Video surveillance system with object detection and probability scoring based on object class
JP4507243B2 (ja) * 2004-03-25 2010-07-21 独立行政法人理化学研究所 行動分析方法及びシステム
US20050285937A1 (en) * 2004-06-28 2005-12-29 Porikli Fatih M Unusual event detection in a video using object and frame features
US7263472B2 (en) * 2004-06-28 2007-08-28 Mitsubishi Electric Research Laboratories, Inc. Hidden markov model based object tracking and similarity metrics
US8724891B2 (en) * 2004-08-31 2014-05-13 Ramot At Tel-Aviv University Ltd. Apparatus and methods for the detection of abnormal motion in a video stream
US7418113B2 (en) * 2005-04-01 2008-08-26 Porikli Fatih M Tracking objects in low frame rate videos
US8009193B2 (en) * 2006-06-05 2011-08-30 Fuji Xerox Co., Ltd. Unusual event detection via collaborative video mining
JP4215781B2 (ja) * 2006-06-16 2009-01-28 独立行政法人産業技術総合研究所 異常動作検出装置および異常動作検出方法
JP4686663B2 (ja) * 2006-07-10 2011-05-25 国立大学法人京都大学 歩行者トラッキング方法及び歩行者トラッキング装置
US20080031491A1 (en) * 2006-08-03 2008-02-07 Honeywell International Inc. Anomaly detection in a video system
KR101260847B1 (ko) * 2007-02-08 2013-05-06 비헤이버럴 레코그니션 시스템즈, 인코포레이티드 행동 인식 시스템
CN100487739C (zh) * 2007-06-01 2009-05-13 北京汇大通业科技有限公司 基于智能视频监控的多层次实时预警系统
US8169481B2 (en) * 2008-05-05 2012-05-01 Panasonic Corporation System architecture and process for assessing multi-perspective multi-context abnormal behavior
AU2009243442B2 (en) * 2009-11-30 2013-06-13 Canon Kabushiki Kaisha Detection of abnormal behaviour in video objects

Also Published As

Publication number Publication date
CN102326171A (zh) 2012-01-18
US20100208063A1 (en) 2010-08-19
US20140119608A1 (en) 2014-05-01
WO2010141116A2 (en) 2010-12-09
KR20110133476A (ko) 2011-12-12
JP2012518845A (ja) 2012-08-16
WO2010141116A3 (en) 2011-06-03
EP2399224A2 (en) 2011-12-28

Similar Documents

Publication Publication Date Title
JP5641445B2 (ja) 監視システム、監視方法、及び監視プログラム
US8253564B2 (en) Predicting a future location of a moving object observed by a surveillance device
Kim et al. Vision-based object-centric safety assessment using fuzzy inference: Monitoring struck-by accidents with moving objects
CN110494861B (zh) 基于图像的异常检测方法和系统
US8169481B2 (en) System architecture and process for assessing multi-perspective multi-context abnormal behavior
KR101788269B1 (ko) 이상 상황을 감지하는 장치 및 방법
US20110050878A1 (en) Vision System for Monitoring Humans in Dynamic Environments
US11917333B2 (en) Systems and methods for personnel location at a drilling site
WO2008103206A1 (en) Surveillance systems and methods
CN111723633B (zh) 一种基于深度数据的人员行为模式分析方法和系统
JP2013131159A (ja) エリアモニタリングシステム
US7295106B1 (en) Systems and methods for classifying objects within a monitored zone using multiple surveillance devices
US11676291B1 (en) Adaptive multimodal safety systems and methods
CN114218992B (zh) 异常对象的检测方法及相关装置
Li et al. Collaborative fall detection using smart phone and Kinect
JP2006221379A (ja) 行動認識システム
JP7282186B2 (ja) 状況認識監視
CN106371435B (zh) 一种热源移动机器人、热源搜索系统及方法
JP2019180024A (ja) 監視装置
JP2012088861A (ja) 侵入物体検出装置
CN207530963U (zh) 一种基于视频监控的非法越界报警系统
KR101709701B1 (ko) 객체 추적 기반 통합 안전 서비스 시스템 및 방법
WO2011025359A1 (en) System and method to determine suspicious behavior
WO2010123342A2 (en) Method to generate an analytical path deviation model
JP2020021110A (ja) 警報システム、警報制御装置及び警報方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140116

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140930

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141016

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250