JP6088541B2 - クラウドベースの映像監視管理システム - Google Patents

クラウドベースの映像監視管理システム Download PDF

Info

Publication number
JP6088541B2
JP6088541B2 JP2014549045A JP2014549045A JP6088541B2 JP 6088541 B2 JP6088541 B2 JP 6088541B2 JP 2014549045 A JP2014549045 A JP 2014549045A JP 2014549045 A JP2014549045 A JP 2014549045A JP 6088541 B2 JP6088541 B2 JP 6088541B2
Authority
JP
Japan
Prior art keywords
metadata
video
network device
video content
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014549045A
Other languages
English (en)
Other versions
JP2015508591A (ja
Inventor
レイ ワーン
レイ ワーン
ホーンウエイ ジュウ
ホーンウエイ ジュウ
アグダシ ファルジン
アグダシ ファルジン
ミラー グレッグ
ミラー グレッグ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pelco Inc
Original Assignee
Pelco Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pelco Inc filed Critical Pelco Inc
Publication of JP2015508591A publication Critical patent/JP2015508591A/ja
Application granted granted Critical
Publication of JP6088541B2 publication Critical patent/JP6088541B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19671Addition of non-video data, i.e. metadata, to video stream
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19641Multiple cameras having overlapping views on a single scene
    • G08B13/19643Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19645Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654Details concerning communication with a camera
    • G08B13/19656Network used to communicate with a camera, e.g. WAN, LAN, Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4828End-user interface for program selection for searching program descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Description

監視カメラは、一般に屋内及び屋外を監視することに使用される。監視カメラのネットワークは、所定の領域を監視することに使用されうる。例えば、大学のキャンパス区域の映像入力を提供するために、数百台のカメラが使用されうる。監視カメラのネットワークに含まれるカメラは、通常システム内における自らの位置、又はシステム内の他のカメラの存在やその位置を認識していない。そのため、監視カメラにより提供された映像入力を監視するユーザは、手動で映像入力を分析及び処理することによって、監視領域内の対象を追跡し、その位置を決定する。さらに、従来の監視カメラのネットワークは閉システムとして動作し、ネットワークで結ばれた監視カメラは単一の地理データに映像入力を提供し、ユーザは、映像入力を監視して、同一の地理的領域に位置する固定位置ユーザ端末からネットワークを操作する。
本開示における映像監視システムの管理方法の一例は、複数のネットワークデバイスから映像コンテンツ及び当該映像コンテンツに関するメタデータを取得するステップと、1つ以上の基準に従って前記メタデータをフィルタリングして、フィルタリングされた一連のメタデータを取得するステップと、前記フィルタリングされた一連のメタデータのそれぞれの第1の部分に関する、前記映像コンテンツの映像の一部を取り出すステップと、少なくとも前記フィルタリングされた一連のメタデータの一部又は前記取り出された映像の一部を、クラウドコンピューティングサービスに提供するステップとを含む。
この方法の実施形態は、次の特徴の1つ以上を含んでもよい。少なくとも1つのカメラ又は映像エンコーダを備える。前記ネットワークデバイスのそれぞれは、ローカルネットワークにそれぞれ関連付けられ、前記ローカルネットワークのそれぞれは、それぞれ異なる地理的な位置に関連付けられる。前記フィルタリングは、前記1つ以上の基準に従って前記メタデータの品質を評価するステップと、閾値を下回る品質を有する、前記メタデータの第2の部分を、ノイズのメタデータとして分類するステップと、前記ノイズのメタデータを、前記フィルタリングされた一連のメタデータから除外するステップとを含む。この方法は、重複する地理的領域のメタデータを継続的に保有する少なくとも第1のネットワークデバイス及び第2のネットワークデバイスから、前記メタデータを取得するステップを含む。前記フィルタリングは、前記第1のネットワークデバイス及び前記第2のネットワークデバイスがメタデータを保有する領域に対応する、第1のネットワークデバイスから取得したメタデータ要素を特定するステップと、対応するメタデータ要素が前記第2のネットワークデバイスから取得されたか否かを決定するステップと、前記対応するメタデータ要素が前記第2のネットワークデバイスから取得されていない場合に、前記メタデータ要素をノイズとして分類するステップとを含む。前記フィルタリングは、少なくとも前記メタデータに対応する映像コンテンツ内の空間的関係又は前記メタデータに対応する映像コンテンツ内の時間的関係のいずれかに基づいて前記メタデータの前記品質を評価するステップを含む。前記フィルタリングは、ネットワークデバイスにより検出された対象に関連付けられたメタデータ要素を特定するステップと、前記対象が、現れてから時間の閾値内に消えた場合、又は、対象が、移動方向、大きさ若しくは移動速度に関する変化の閾値の度合を示した場合、前記メタデータをノイズとして分類するステップとを含む。前記メタデータは、少なくとも前記映像監視システム内で追跡される対象又は前記映像監視システム内の事象のいずれかに対応する。この方法は、前記映像コンテンツを処理して、1つ以上の補助的なメタデータ要素を生成するステップを含む。この方法は、少なくとも前記メタデータ又は前記映像コンテンツの1つのクエリを受信するステップと、1つ以上の所定の規則に従って、前記クエリを処理するステップとを含む。
本開示における映像監視システムの一例は、複数のネットワークデバイスから映像コンテンツ及び当該映像コンテンツに関するメタデータを取得するように構成されたゲートウェイと、前記ゲートウェイに通信可能に接続されるとともに、1つ以上の基準に従って前記メタデータをフィルタリングして、フィルタリングされた一連のメタデータを取得するように構成されたメタデータ処理モジュールと、前記ゲートウェイ及び前記メタデータ処理モジュールに通信可能に接続されるとともに、前記フィルタリングされた一連のメタデータのそれぞれの第1の部分に関する、前記映像コンテンツの映像の一部を取り出すように構成された映像処理モジュールと、前記ゲートウェイ、前記メタデータ処理モジュール及び前記映像処理モジュールに通信可能に接続されるとともに、少なくとも前記フィルタリングされた一連のメタデータの一部又は前記取り出された映像の一部を、クラウドコンピューティングサービスに提供するように構成されたクラウドサービスインタフェース(86)とを備える。
このシステムの実施形態は、次の特徴の1つ以上を含んでもよい。前記ネットワークデバイスは、少なくとも1つのカメラ又は映像エンコーダを備える。前記メタデータ処理モジュールは、さらに、前記1つ以上の基準に従って前記メタデータの品質を評価し、閾値を下回る品質を有する、前記メタデータの第2の部分のそれぞれを、ノイズのメタデータとして分類し、前記ノイズのメタデータを、前記フィルタリングされた一連のメタデータから除外するように構成される。前記ゲートウェイは、さらに、重複する地理的領域のメタデータを継続的に保有する少なくとも第1のネットワークデバイス及び第2のネットワークデバイスから、前記メタデータを取得するように構成され、前記メタデータ処理モジュールは、さらに、前記第1のネットワークデバイス及び前記第2のネットワークデバイスがメタデータを保有する領域に対応する、第1のネットワークデバイスから取得したメタデータ要素を特定し、対応するメタデータ要素が前記第2のネットワークデバイスから取得されたか否かを決定し、前記対応するメタデータ要素が前記第2のネットワークデバイスから取得されていない場合に、前記メタデータ要素をノイズとして分類するように構成される。前記メタデータ処理モジュールは、さらに、少なくとも前記メタデータに対応する映像コンテンツ内の空間的関係又は前記メタデータに対応する映像コンテンツ内の時間的関係のいずれかに基づいて前記メタデータの前記品質を評価するように構成される。前記メタデータ処理モジュールは、さらに、ネットワークデバイスにより検出された対象に関連付けられたメタデータ要素を特定し、前記対象が、現れてから時間の閾値内に消えた場合、又は、対象が、移動方向、大きさ若しくは移動速度に関する変化の閾値の度合を示した場合、前記メタデータをノイズとして分類するように構成される。前記メタデータは、少なくとも前記映像監視システム内で追跡される対象又は前記映像監視システム内の事象のいずれかに対応する。前記映像処理モジュールは、さらに、前記映像コンテンツに基づいて、1つ以上の補助的なメタデータ要素を生成するように構成される。前記ゲートウェイ、前記メタデータ処理モジュール及び前記映像処理モジュールに通信可能に接続されるとともに、少なくとも前記メタデータ又は前記映像コンテンツの1つのクエリを受信し、1つ以上の所定の規則に従って、前記クエリを処理するように構成された規則エンジンをさらに備える。
本開示における映像監視システムの他の一例は、複数のネットワークデバイスから映像コンテンツ及び前記映像コンテンツに関するメタデータを取得するネットワークインタフェース手段と、前記ネットワークインタフェース手段に通信可能に接続されるとともに、1つ以上の基準に従って前記メタデータをフィルタリングして、フィルタリングされた一連のメタデータを取得するメタデータ処理手段と、前記ネットワークインタフェース手段及び前記メタデータ処理手段に通信可能に接続されるとともに、前記フィルタリングされた一連のメタデータのそれぞれの第1の部分に関する、前記映像コンテンツの映像の一部を取り出す映像処理手段とを備え、前記ネットワークインタフェース手段は、少なくとも前記フィルタリングされた一連のメタデータの一部又は前記取り出された映像の一部を、クラウドコンピューティングサービスに提供する手段を有する。
このシステムの実施形態は、次の特徴の1つ以上を含んでもよい。前記ネットワークデバイスは、少なくとも1つのカメラ又は映像エンコーダを備える。前記メタデータ処理手段は、前記1つ以上の基準に従って前記メタデータの品質を評価し、閾値を下回る品質を有する前記メタデータの第2の部分を、ノイズのメタデータとして分類し、前記ノイズのメタデータを、前記フィルタリングされた一連のメタデータから除外する手段を有する。前記メタデータは、少なくとも前記映像監視システム内で追跡される対象又は前記映像監視システム内の事象のいずれかに対応する。前記映像処理手段は、前記映像コンテンツに基づいて、1つ以上の補助的なメタデータ要素を生成する手段を有する。このシステムは、前記ネットワークインタフェース手段、前記メタデータ処理手段及び前記映像処理手段に通信可能に接続されるとともに、少なくとも前記メタデータ又は前記映像コンテンツの1つのクエリを受信し、1つ以上の所定の規則に従って、前記クエリを処理するクエリ処理手段をさらに備える。
本開示におけるコンピュータプログラム製品の一例は、プロセッサ実行可能コンピュータ記憶媒体が備えるコンピュータプログラム製品であって、複数のネットワークデバイスから映像コンテンツ及び前記映像コンテンツに関するメタデータを取得するステップと、1つ以上の基準に従って前記メタデータをフィルタリングして、フィルタリングされた一連のメタデータを取得するステップと、前記フィルタリングされた一連のメタデータのそれぞれの第1の部分に関する、前記映像コンテンツの映像の一部を取り出すステップと、少なくとも前記フィルタリングされた一連のメタデータの一部又は前記取り出された映像の一部を、クラウドコンピューティングサービスに提供するステップとをプロセッサに実行させるように構成される。
このコンピュータプログラム製品の実施形態は、次の特徴の1つ以上を含んでもよい。前記ネットワークデバイスは、少なくとも1つのカメラ又は映像エンコーダを備える。前記プロセッサに、フィルタリングを実行させるように構成された前記命令は、さらに、前記1つ以上の基準に従って前記メタデータの品質を評価するステップと、閾値を下回る品質を有する、前記メタデータの第2の部分を、ノイズのメタデータとして分類するステップと、前記ノイズのメタデータを、前記フィルタリングされた一連のメタデータから除外するステップとを前記プロセッサに実行させるように構成される。前記メタデータは、少なくとも前記映像監視システム内で追跡される対象又は前記映像監視システム内の事象のいずれかに対応する。コンピュータプログラム製品は、少なくとも前記メタデータ又は前記映像コンテンツの1つのクエリを受信するステップと、1つ以上の所定の規則に従って、前記クエリを処理するステップとを前記プロセッサに実行させるように構成されたプロセッサ実行可能命令をさらに有する。
本明細書に記載された項目及び/又は技術は、以下の機能の1つ以上及び言及されていない他の機能を提供する。映像コンテンツ及びメタデータは、クラウドベースサービスに提供され、クラウドベースサービスにより処理され、監視カメラネットワークから離れた位置を含む、任意の位置からの管理カメラネットワークによる監視及び制御を可能にする。クラウドベース監視カメラネットワーク管理サービスは、異なる地理的領域の複数の監視カメラネットワークの監視及び制御のために単一に統合されたインタフェースを使用可能にする。クラウドストレージ設備に提供された映像コンテンツ及びメタデータは、自動制御で選択され、データ送信に関連する費用を大きく削減する。ネットワーク映像及びメタデータ処理アルゴリズムは、管理された監視カメラネットワークのシステム内のカメラ同士の関係を使用することにより、改善された映像分析を提供する。規則エンジンは、改善されたクエリの実行と、クラウドベースサービスに提供されたデータの検索とを提供するように構成される。他の機能も提供され、開示に基づく全ての実施形態が、説明される任意の機能(もちろん全ての機能も含む)を提供しなければならないわけではない。さらに、上述の効果は、上述の手段以外の手段により達成され、上述の項目/技術が、必ずしも上述の効果を生じるとは限らない。
監視カメラのネットワークのブロック図である。 クラウドに基づく3階層の映像監視管理システムを示す図である。 図2の映像監視管理システムにより提供される高度な機能を示す図である。 一連の映像監視ネットワークを管理するシステムのブロック図である。 クラウドベースの映像監視管理システムにより提供されるクラウドコンピューティングサービスを示す図である。 映像監視システムに結び付けられた情報からネットワーク管理サービスへの送信を管理する処理のフローチャートである。 映像監視システムに結び付けられた情報からネットワーク管理サービスへの送信を管理する処理のフローチャートである。 コンピュータシステムの実施形態のブロック図を示す。
本明細書には、クラウドベースの自動制御映像監視管理システムを実装するシステム及び動作する方法が記載されている。映像監視管理システムは、別々のカメラ及び他の関連デバイスから、システムに提供されたメタデータを抽出するために、映像分析を使用する。そして、映像コンテンツ及びメタデータは、事象及びアラームの管理及び決定の支援等の映像管理動作を支援することに使用される。
カメラのネットワークの各カメラは、互いに関連する視点及び視野を有する。視点は、カメラがある物理的領域を見る位置及び遠近感をいう。視野は、カメラがフレーム内に撮像する物理的領域をいう。各カメラは、相補型金属酸化膜半導体(CMOS:Complementary metal-oxide-semiconductor)デバイス及び/又は受光した光から画像を生成する他の手段により実行される撮像モジュールと共に、所定の速度(例えば、1秒当たり30枚の画像等)で所定の解像度の画像を撮像し、光学圧縮アルゴリズムを使用して画像データを圧縮し、ローカル接続により圧縮したデータを送信する計算エンジンを備える。カメラは、デジタルシグナルプロセッサ(DSP:Digital signal processor)及びカメラの動作を管理する関連したソフトウェアを、さらに備えるか、又はこれらに関連付けられる。カメラが起動された場合、DSPは上述の機能モジュールを使用して画像を撮像する。カメラの視野の各画素において、DSPは、特定の画素において予想される動作を記述する数学的モデルを継続的に保有する。例えば、駐車場の画像を撮像するように設置されたカメラにおいて、カメラにより撮像された画像内の1つの画素の位置は、駐車場の表面のアスファルトに対応しうる。画素は、騒音及び証明の変化等により時間の経過と共に変化する静的デジタル値を有する。DPSは、これらの時間経過による変化を、例えば所定の平均値及び標準偏差のガウス分布としてモデリングする。DSPは、例えば、風で動く木の枝により不明瞭となることがあるビルの側面の位置に対応する画素のような、より複雑な方法で変化する画素に対し、類似するモデルを生成する。
カメラ画像の各画素の背景モデルに基づいて、DSPは、フレームを処理し、視野内に移動している対象が存在するか否かを決定する。カメラは、メタデータを、移動している対象(以下、単に「対象」という)の画像に関連付ける。これらのメタデータは、対象の様々な特徴を決定する。例えば、メタデータは、カメラの視野内における対象の位置、対象の画像の幅及び高さ(例えば、画素数により測定される)、対象の画像が移動方向、対象の画像の速度、対象の色、及び/又は対象の種類を決定する。これらは、対象の画像に関連付けられためたデータ内に存在しうる情報であり、他のメタデータも決定することが可能である。対象の種類は、対象の他の特徴に基づいて所属すると決定される種類である。例えば、種類は、人、動物、車、小型トラック、大型トラック及び/又はSUV(Sport-utility vehicle:スポーツ用多目的車)を含む。また、移動対象に関連する事象に係るメタデータは、カメラからホストコンピュータシステムに送信される。かかる事象メタデータは、対象がカメラの視野に入ること、対象がカメラの視野から外れること、カメラが破壊されること、対象が期間の閾値以上カメラの視野内に留まり続けること(例えば、所定の期間の閾値以上ある領域内を歩き回ること)、複数の移動対象が結合すること(例えば、走っている人が走行中の車両に跳び乗ること)、移動対象が複数の移動対象に分裂すること(例えば、人が車両から降りること)、対象が関心領域(例えば、対象の移動が監視されることが好ましい所定の領域)に入ること、対象が所定の領域から離れること、対象が仕掛け線を横切ること、対象がある領域又は仕掛け線に向かう所定の禁止された方向に対応する方向に移動すること、対象の集計、(例えば、対象が所定の期間以上留まり、その対象の大きさが所定の領域の大部分よりも大きい場合に)対象を除去すること、(例えば、対象が所定の期間以上留まり、その対象の大きさが所定の領域の大部分よりも小さい場合に)対象を放棄すること、及び滞在時間計測(例えば、対象が、所定の滞在時間以上、所定の領域内に留まるか、又はほとんど動かないこと)である。
各カメラは、移動対象の画像に関連するメタデータをホストコンピュータシステムに送信する。また、各カメラは、映像入力のフレームを、可能であれば圧縮して、ホストコンピュータシステムに送信する。ホストコンピュータシステムは、ユーザに、映像コンテンツ及びメタデータを閲覧及び分析可能にする。例えば、ホストコンピュータシステムは、複数のカメラから取得されたメタデータを使用して、異なるカメラの視野に(同時又は異なる時間に)現れた移動対象の画像が同一の対象を表すか否かを決定する。ユーザが、この対象を追跡することを決定した場合、ホストコンピュータシステムは、対象の好ましい視点を有すると決定されたカメラからの映像入力のフレームをユーザに表示する。この追跡は、過去のある時点における対象の移動を示す映像入力の蓄積を示す履歴映像入力を使用して行うこともできる。他の一例として、ユーザは、1つ以上の基準を設け、その応答として、ホストコンピュータシステムが、設けられた基準に適合する映像コンテンツ及び/又はメタデータを返送してもよい。例えば、ユーザは、所定の時間範囲内において監視カメラネットワークにより撮像された、特定の色の対象を含む全ての映像クリップを要求できる。ユーザは、他の基準を設けることも可能である。
図1は、現地監視カメラネットワーク10のブロック図を示す。監視カメラネットワーク10は、固定位置カメラ12、PRZ(Pan-Tilt-Zoom)カメラ14、スレーブカメラ16等を含む映像カメラを有する。監視カメラネットワークは、ネットワークが1つ以上のカメラを有していれば、各種類のカメラを0、1又はそれ以上有していてもよい。例えば、図1に示されるように、監視カメラネットワーク10は、2つの固定位置カメラ12と、1つのPTZカメラ14と、1つのスレーブカメラ16とを有する。他の数量及び/又は構成のカメラを使用することもできる。
監視カメラネットワーク10は、ルータ20も含む。固定位置カメラ12、PZTカメラ14及びスレーブカメラ16は、有線接続(例えば、ローカルエリアネットワーク(LAN)接続)又は無線接続を使用して、ルータ20と通信する。ルータ20は、例えばホストコンピュータシステム30等のコンピュータシステムと通信する。ルータ20は、LAN接続等の有線接続又は無線接続を使用してホストコンピュータシステム30と通信する。いくつかの構成において、ホストコンピュータシステム30は、単一のコンピュータデバイス及び/又は(例えば、分散コンピュータシステムのように)複数のコンピュータデバイスに配置される。
固定位置カメラ12は固定位置に据え付けられ、例えば、建物の非常口の映像入力を撮像するために建物の軒に据え付けられる。かかる固定位置カメラの視野は、何らかの外力によりカメラが移動されたり調整されたりしない限り変化しない。固定位置カメラ12は、デジタルシグナルプロセッサ(DSP)、及び/又は、固定位置カメラ12により撮像された画像を圧縮、処理及び/又は分析する1つ以上の他の処理部を有する。例えば、固定位置カメラ12の視野のフレームが撮像されたとき、これらのフレームは、固定位置カメラ12に関連するデジタルシグナルプロセッサにより処理され、1つ以上の移動対象があるか否かが決定される。例えば、移動対象の画像を含む前景を、例えば木、建物及び道路等の静止対象を含む背景から分離するために、ガウス混合モデルが使用される。これらの移動対象の画像は、その後処理され、移動対象の画像の様々な特徴が特定される。
それぞれ検出された対象の画像を使用して、固定位置カメラ12は、各対象の画像に関連するメタデータを生成する。対象に関連付けられ又は結合されたメタデータは、対象の画像の様々な特徴に関する情報を含む。例えば、メタデータは、対象の位置、対象の高さ、対象の幅、対象の移動方向、対象の移動速度、対象の色、及び/又は対象の明確な分類等の、特徴に関する情報を含む。また、メタデータは、移動対象に関する事象に係る情報を含んでいてもよい。
対象の位置について、メタデータ内の対象の位置は、固定位置カメラ12に関連した二次元座標系の二次元座標として表現される。これらの二次元座標は、固定位置カメラ12により撮像されたフレーム内において、対象の画像の位置に関連付けられている。対象の二次元座標は、固定位置カメラ12により撮像されるフレーム内の位置により決定されてもよい。いくつかの構成において、対象の位置の座標は、対象の最下部の中央部として決定されてもよい(例えば、対象が起立している人の場合、位置は人の足の間である)。二次元座標は、x及びy成分を有するが、第3の成分を有さない。いくつかの構成において、x及びy成分は、画素数により測定される。例えば、位置{613、427}は、固定位置カメラ12の視野において、対象の最下部の中央部がx軸に沿った613画素で、y軸に沿った427画素であることを意味する。対象が移動すると、対象の位置に関連付けられた座標も変化しうる。さらに、この座標系は固定位置カメラ12に関連しているため、同一の対象が1つ以上の他のカメラの視野内においても見える場合、他のカメラにより決定される対象の位置の座標は、異なることが想定される。
対象の高さも、メタデータ内に含まれ、画素数で表現される。対象の高さは、対象の画像の底部から対象の画像の頂部の画素数として定義される。そのため、対象が固定位置カメラ12に近接する場合、測定される高さは、対象が固定位置カメラ12から遠い場合よりも大きくなる。同様に、対象の幅は画素数で表現される。対象の幅は、対象の幅の平均、又は対象の画像内で対象の幅が最も広い位置における幅に基づいて決定される。同様に、対象の速度及び方向も、画素により測定される。
固定位置カメラ12により決定されるメタデータは、ルータ20を介してホストコンピュータシステム30に送信される。メタデータをホストコンピュータシステム30に送信することに加え、固定位置カメラ12は、フレームの映像入力をホストコンピュータシステム30に送信する。固定位置カメラ12により撮像されたフレームは、圧縮されてもよく、圧縮されなくてもよい。圧縮後、フレームは、ルータ20を介してホストコンピュータシステム30に送信される。
さらに、図1に示されるように、監視カメラネットワーク10は、上述のカメラと実質的に同じように機能する複数の固定位置カメラ12を含んでいてもよい。固定位置カメラ12は、互いに異なる位置に配置されたとすると、異なる視点及び視野を有する。そのため、複数の固定位置カメラ12により同一の瞬間に同一の対象が観察されたとしても、認識される位置、並びに対象の幅及び高さは、それぞれのカメラ間で異なる。
監視カメラネットワーク10は、PTZカメラ14も有する。PTZカメラ14は、パン、チルト、及びズームを行うことができる。固定位置カメラ12のように、PTZカメラ14は、デジタルシグナルプロセッサ及び/又は他の処理デバイスを有する。PTZカメラ14がそれぞれの関心対象を特定するために、PTZカメラ14は、背景を分析して移動対象を含む前景を、静止対象を含む背景から区別できる、所定の視点を有していてもよい。ホストコンピュータシステム30を使用するユーザは、PTZカメラ14の動作及びズームを制御できる。PTZカメラ14を制御するコマンドは、ホストコンピュータシステム30からルータ20を介してPTZカメラ14に送信される。いくつかの構成において、PTZカメラ14は、ホストコンピュータシステム30からのコマンドにより中断されない限り、一連のパン、チルト及びズームのパターンに従う。
スレーブカメラ16は、ルータ20を介してホストコンピュータシステム30と通信を行う。スレーブカメラ16は、固定位置カメラ又はPTZカメラのいずれかであってもよい。スレーブカメラ16は、画像を撮像するようにのみ構成され、撮像した画像内の対象を特定できない。代わりに、スレーブカメラ16は、映像入力の未加工のフレーム又は映像入力の圧縮されたフレーム(例えば、画像圧縮器により処理される)のいずれかを、ルータ20を介してホストコンピュータシステム30に送信する。ホストコンピュータシステム30は、スレーブカメラ16から取得したフレームを処理し、スレーブカメラ16から取得したフレーム内の移動対象を特定及び追跡する。
ホストコンピュータシステム30は、ルータ20を介してカメラ12−16により取得された情報を処理するように構成される。例えば、ホストコンピュータシステム30は、各カメラ12−16及び/又は監視カメラネットワーク10内の他のデバイスの位置を取得及び記憶する位置サーバとして動作する。ホストコンピュータシステム30は、ユーザ及び/又はデバイス磁針から取得された情報に基づいて、監視カメネットワーク10内のデバイスの位置を計算し、又は、他の方法として、監視カメラネットワーク10内のデバイスは、自らの位置を計算し、これらの位置をホストコンピュータシステム30に提示する。また、ホストコンピュータシステム30は、カメラ12−16により監視される各対象の位置を特定及び追跡する。
上述のように、ホストコンピュータシステム30は、圧縮された及び/又は圧縮されていないカメラ12−16からの映像を取得及び格納する。また、ホストコンピュータシステム30は、カメラ12−16から取得したメタデータを取得、格納及び分析する。ホストコンピュータシステム30は、警備員等のユーザが、カメラから取得された映像入力のフレーム及び映像入力に関連した任意の生成されたメタデータと相互に通信できるユーザ端末又は他の機構をユーザに提供する。ホストコンピュータシステム30におけるユーザ端末は、1つ以上の映像入力を同時にユーザに表示できる。ユーザは、ユーザ端末を使用して追跡する対象を選択する。例えば、ユーザが固定位置カメラ12からの映像入力のフレームを見ており、ユーザが追跡を希望する対象が固定位置カメラ12の視野に現れた場合、ユーザは、対象の画像を選択できる。ホストコンピュータシステム30は、監視カメラネットワーク10のカメラ12−16の位置を利用して、カメラ12−16の視野の間を移動する対象を追跡できる。対象が複数のカメラの視野内に見られる場合には、所定の規則に基づいて、ホストコンピュータシステム30により好ましい視野が選択される。ユーザは、ホストコンピュータシステム30を使用してPTZカメラ14を制御することもできる。
いくつかの実施形態において、ホストコンピュータシステム30は、1つのコンピュータデバイス又は複数のコンピュータデバイスにより実行されうる。例えば、1つのコンピュータデバイスは、ユーザ端末としてのデバイスの位置、映像、及び機能を処理及び格納できる。他の方法として、第1のコンピュータデバイスは、ユーザ端末として機能し、位置データ、映像コンテンツ及び/又はメタデータを処理する第2のコンピュータデバイスと、(例えばルータ20を介して)相互に通信できる。
現地監視カメラネットワーク10は、いくつかの制限を有する。例えば、監視カメラネットワーク10は、映像の移動性を提供しない。すなわち、映像コンテンツ及び関連するデータは、一般に、カメラ12−16が配置される領域と同一の領域内の現地の制御室に物理的に配置されるホストコンピュータシステム30のみにおいて利用可能である。さらに、監視カメラネットワーク10は、孤立したシステムとして動作し、映像コンテンツ、又は現地監視カメラネットワーク10の外部のエンティティに対応する他の情報を受信又は利用するように構成されない。監視カメラネットワーク10内で、ホストコンピュータシステム30は、複数のカメラ12−16に関連する情報の分析を行うこともできない。その代わりに、ホストコンピュータシステム30は、監視カメラネットワーク10の操作者が複数のカメラ12−16に関連するデータを手動で調査及び分析できるようにするユーザインタフェースのみを提供する。
映像監視ネットワークの移動性及び汎用性を向上し、少なくとも上述の欠点を低減するために、映像監視ネットワークは、多層構造を使用して、改善された機能性及び移動性のために、クラウドベースの分析及び管理サービスを利用するように設計されうる。クラウドベースのサービスは、クラウドコンピューティングを介して、ネットワークのサービスプロバイダにより提供及びアクセスされるコンピューティングサービスをいう。図2は、自動制御の映像監視システム管理における3階層のクラウドベースのシステムを示す。システムにおける第1の層40は、ルータ20、自動制御エンコーダ及び映像分析アルゴリズムが組み込まれた自動制御カメラ42等の末端デバイスを含む。図2のカメラ42は、図1のカメラ12−16と同様に動作する。システムの第1の層40は、1つ以上のLAN32を介してシステムの第2の層50に接続される。システムの第2の層50は、監視システムのゲートウェイであり、詳細については後述のように動作する1つ以上のゲートウェイデバイス52を含む。システムの第2の層50は、インターネット34を介して第3の層60に接続され、第3の層60は、クラウドコンピューティングサーバ62及び/又は他のエンティティを介して提供されるクラウドコンピューティングサービスを含む。図2にさらに示されるように、コンピュータシステム64は、LAN32及び/又はインターネット34を介してシステムに関連する情報にアクセスできるように構成されうる。コンピュータシステム64は、ユーザインタフェース(UI)と共に、操作者が、自動制御によりシステムに関連するデータのクエリ、処理及び閲覧を行うことを可能にする様々な機能モジュールを含む。システムは、クラウドベースであり、インターネットを介して動作するので、コンピュータシステム64は、任意の適切な場所に配置され、システムに関連する任意の特定の末端デバイス又はゲートウェイと同一の場所に配置される必要がない。
図2に示されるシステムの機能性における多様な側面は、図3の概略図により示される。自動制御のカメラ/エンコーダ内において、映像分析アルゴリズムは場面分析器として使用され、場面内の対象を検出及び追跡し、対象及びその対象に関する事象を描写するメタデータを生成する。場面分析器は、背景消去に基づくアルゴリズムとして動作する。場面分析器は、対象を、色、場面における位置、タイムスタンプ、速度、大きさ、移動方向などによって描写できる。場面分析器は、例えば、領域又は仕掛け線の侵害、集計、カメラの破壊、対象の結合、対象の分裂、静止対象、対象の徘徊等の所定のメタデータ事象を誘発することもできる。対象及び事象メタデータは、末端デバイスにより生成された任意の他のメタデータと共に、ゲートウェイ52に送信される。
ゲートウェイ52は、ローカルネットワークにおける記憶及び処理デバイスであり、映像及びメタデータのコンテンツを記憶する。ゲートウェイは、その全体又は一部が、ネットワーク映像レコーダ又は独立したサーバとして実行されうる。上述のように、末端デバイスから生成されたメタデータは、それぞれ対応するゲートウェイ52に提供される。続いて、ゲートウェイ52は、記憶、表示及び調査のためにカメラ42から撮像された映像をクラウドコンピューティングサーバ62にアップロードする。カメラ42により撮像された映像の量は、極めて多いため、カメラ42に関連する全ての映像コンテンツをアップロードすることは、費用及び帯域幅の観点において極めて膨大となる。そのため、ゲートウェイ52は、後述するように、クラウドコンピューティングサーバ62に送信される映像の量を減らすように利用される。メタデータのフィルタリング及び後述する他の動作により、ゲートウェイ52からクラウドコンピューティングサーバ62に送信される情報の量は、大きく(例えば、システムが全ての情報を連続的に送信する場合にクラウドコンピューティングサーバ62に送信されるであろう情報の数パーセントまで)低減されうる。費用及び帯域幅の削減の他、この低減は、システムの拡張性を改善し、クラウドコンピューティングサーバ62を介して単一のコンピュータシステム64から地理的領域の大部分にわたって、監視ネットワークを監視及び分析する共通のプラットホームが使用可能になる。
末端デバイスにより提供されるメタデータは、ゲートウェイ52において処理され、ノイズを除去し、重複する対象を除去する。末端デバイスから取得された映像コンテンツのキーフレームは、メタデータのタイムスタンプ及び/又は映像に関連する他の情報に基づいて抽出され、処理後の静止画として記憶される。記録された映像及び静止画は、さらに分析され、ゲートウェイ52における改善された映像分析アルゴリズムを使用して、末端デバイスから取得されていない情報を抽出する。例えば、顔検出/認識及びナンバープレートなどを認識するアルゴリズムは、ゲートウェイ52で実行され、関連するカメラ42からの動き検出の結果に基づいて情報を抽出する。改善された場面分析器は、ゲートウェイ52において実行されることもでき、高解像度の映像コンテンツの処理に使用され、より優れた対象の特徴を抽出する。
ノイズを含むメタデータをフィルタリングすることにより、ゲートウェイ52は、クラウドコンピューティングサーバ62にアップデートするデータの量を減らす。反対に、ゲートウェイ52における場面分析器が正確に構成されていなければ、多くのノイズが対象として検出され、メタデータとして送信される。例えば、木の葉、旗並びにいくつかの陰及びグレアは、末端デバイスにおいて、存在しない対象を生成しうる。これらの末端デバイスが、このようなノイズをリアルタイムで検出及び除去することは、従来から困難である。しかしながら、ゲートウェイ52は、全てのカメラ42及び現地監視ネットワークの他の末端デバイスにわたる時間的及び空間的な情報を利用して、これらのノイズによる対象を、より簡単にフィルタにかける。ノイズフィルタリングは、様々な基準に基づいた対象ごとに実行される。例えば、現れた後すぐに消えた場合、移動方向、大きさ及び/又は移動速度が変わった場合、突然現れてそのまま留まった場合等に、対象はノイズとして分類される。2つのカメラが重複する領域を撮像し、(例えば、共通の地図において)互いに登録されている場合、1つのカメラで特定された対象は、他のカメラの位置の周辺の領域で発見されなければ、ノイズとして特定される。他の基準が使用されてもよい。上述のように実行されるノイズのメタデータの方向は、所定の閾値に基づいていてもよい。例えば、現れてから所定の時間の閾値内に消えた場合、又は、方向、大きさ及び/若しくは速度が閾値の変化を超えた場合、対象は、ノイズとして分類される。
上述のように対象をノイズとして分類することにより、ゲートウェイ52は、クラウドに送信する前に、末端デバイスにより提供された偽りの動きの情報のほとんどを除去できる。例えば、システムは、ゲートウェイ52において、透視変換により、地図上にカメラ42を登録でき、場面の特徴点は、地図上の対応する位置に登録される。この方法により、システムは、クロスカメラ監視モニタシステムとして機能する。対象は、カメラ42が重複する領域において、複数のカメラ42により検出されるため、この情報を使用してメタデータの対象からノイズを除去できる。
他の一例として、ゲートウェイ52は、末端デバイスにより監視される場面における対象同士の間の時間的な関係を使用して、対象検出における整合性を確保し、誤検出を減らすことができる。再び駐車場を監視するカメラの例について説明すると、末端デバイスは、駐車場を歩いて横切る人に対応するメタデータを生成できる。カメラにおいて人の全体が見える場合、カメラは、人の身長に対応するメタデータを生成する。しかしながら、その後、人が駐車場内の車の列の間を歩くことにより、人の下半身が車により遮られた場合、カメラは、人の見えている部分のみの高さに対応する新たなメタデータを生成する。ゲートウェイ52は、カメラにより観察された対象を自動制御で分析できるため、観察された対象間における時間的な関係、並びに予め定められた性能及び特徴の連続性に関する規則を利用して、対象の様々な部分が遮られた場合であっても対象を追跡する。
ノイズを含むメタデータの対象をフィルタリングし、上述のように改善された映像分析を実行した後、残されたメタデータの対象及び関連する映像コンテンツは、ゲートウェイ52により、クラウドコンピューティングサービスにアップロードされる。ゲートウェイ52における処理の結果として、メタデータに関連する映像クリップのみがクラウドにアップデートされる。これは、送信されるデータの量を大きく(例えば、90%又はそれ以上)減らすことができる。未加工の映像及びゲートウェイ52により処理されるメタデータは、バックアップとしてゲートウェイ52にローカルに記憶されうる。ゲートウェイ52は、映像コンテンツ及び/又はメタデータの表示を、コンテンツ又はメタデータ自身に代わり、又はコンテンツ又はメタデータ自身に加えて、送信してもよい。例えば、追跡される対象に関する、ゲートウェイ52からクラウドに送信される情報の量をさらに減らすために、ゲートウェイ52は、対象の座標又は地図の表示(例えば、アバター又は地図に対応する他の標識)を、実際の映像コンテンツ及び/又はメタデータに代わって送信してもよい。
クラウドコンピューティングサーバ62にアップロードされた映像は、より低い解像度及び/又はフレーム率にコード変換され、大きなカメラネットワークに対して、インターネット34の映像帯域幅を減らすことができる。例えば、ゲートウェイ52は、映像圧縮標準によりコード化された高解像度の映像を、クラウドにアップロードするデータの量を減らすために、低帯域幅の映像形式に変換する。
クラウドコンピューティングサービスを使用することにより、システムに関連するユーザは、任意の適切な固定式又は携帯用コンピュータデバイス64において提供されるユーザインタフェースを介して、如何なる場所でも如何なるときでもシステムに関連する映像を監視又は調査できる。ユーザインタフェースは、ウェブベースであり(例えば、HTML5、Flash、Java等により実行される)、ウェブブラウザにより実行され、又は、他の手段として、ユーザインタフェースは、1つ以上のコンピューティングプラットフォーム上の専用のアプリケーションとして提供されうる。コンピュータデバイス64は、デスクトップ型又はノート型のコンピュータ、タブレットコンピュータ、スマートフォン、携帯情報端末(PDA)及び/又は任意の適切なデバイスとしてもよい。
さらに、クラウドコンピューティングサービスを使用することにより、改善された拡張性がシステムに提供される。例えば、システムは、例えば企業体の物理的な異なる支店に対応する、監視システムの広範なネットワークを統合することに使用されうる。システムにより、ユーザは、単一のコンピュータデバイス64によって、任意の関連する場予からクラウドサービスにアップロードされた映像を監視及び調査できる。さらに、システムオペレータが、長期間にわたって多くのカメラを調査することを希望する場合、クラウドサービスは、コンピュータクラスタ上で同時に調査を行い、調査の速度を上げられる。クラウドコンピューティングサーバ62は、フォレンジック調査サービス、操作映像サービス、リアルタイム検出サービス、カメラネットワークサービス等の広範なサービスを効率的に提供できる。
図4は、本明細書に記載の技術によって、一連の現地映像監視ネットワーク70を管理するシステムを示す。現地監視ネットワーク70は、それぞれ、上述したカメラ42、ルータ20又は同種の末端デバイスを含む。現地監視ネットワーク70は、それぞれ、映像コンテンツ及び関連するメタデータを、ローカルネットワーク接続を介してゲートウェイ52に提供する。ゲートウェイ52は、映像処理モジュール80及びメタデータ処理モジュール82を使用し、これらは、上述したように、現地監視ネットワーク70に関連するメタデータを分析、フィルタ及び/又は生成するように動作する。自動制御のメタデータ及び映像分析に提供するために、ゲートウェイ52は、様々な現地監視ネットワーク70及び所定の現地管理ネットワーク70内の端末デバイスから取得したデータを統合するネットワーク統合サブシステム84を使用する。ゲートウェイ52は、クラウドサービスインタフェース86をさらに使用し、映像コンテンツ及びメタデータを選択的に、上述のようにクラウドサービス90にアップロードする。
ユーザは、クラウドサービス90に情報をアップロードするとすぐに、遠隔端末92を介してアップロードしたデータと相互に通信できる。クラウドサービス90の集中型の機能は、改善された分析及び調査動作を実行できる。例えば、ユーザは、様々な基準に基づき、遠隔端末92を介して映像フォレンジック調査を実行できる。一例として、ユーザは、所定の日の午後3時から午後5時の間において、身長6フィートで、青いジーンズを及び赤いシャツを着た男性に対応する、現地監視ネットワーク70により検出された対象に関するクエリをクラウドサービス90に行える。クエリに応答して、クラウドサービス90は、記憶されたメタデータを調査して、クエリに一致する対象を探す。一致する対象が発見されれば、クラウドサービス90は、対象に関連するデータ及び/又は対象に対応する選択された映像クリップを送信する。
クラウドサービス90は、現地監視ネットワーク70において、現地システムと共同して動作できる。例えば、上述の例では、現地監視ネットワーク70は、クラウドサービス90において利用可能な情報以上の追加情報を要求するユーザが、所定の現地監視ネットワーク70に関連する現地制御端末72から、より詳細な情報にアクセスできるように、映像及びメタデータの全体を記憶できる。図4には示されていないが、現地制御ターミナル72は、ゲートウェイ52の分析的な機能のいくつか又は全てと相互に通信し、及び/又はゲートウェイ52の分析的な機能のいくつか又は全てを含み、現地監視ネットワーク70又は他の現地監視ネットワーク70内の様々な末端デバイスについての詳細な映像及び/又はメタデータの分析を実行できる。
図5は、規則エンジン120に基づいてクラウドサービス90により使用される機能的階層を示す。図5により図示された機能性は、クラウドサービス90の機能実装の一例であり、他の実装も可能である。上述のように、クラウドサービス90は、フォレンジック調査サービス110、リアルタイム検出サービス112、運用サービス114、カメラネットワーク監視サービス116等の1つ以上のサービスを実行できる。クラウドサービス90は、関連する映像データベース(VDB)102及び/又は1つ以上の関連するメタデータデータベース(MDB)122に関する1つ以上の動作を実行する。
規則エンジン120は、ユーザにより定義される規則を処理する。ユーザにより定義される規則は、視覚的な特徴、時間、位置、移動方向、対象の関係、及び関連するデータベースに問い合わせる他の基準を使用できる。規則エンジン120は、複数の単純な規則を組み合わせて、より複雑な規則を構成した論理式を使用できる。例えば、規則は、人が、所定の第1の関心領域に接触した所定の第2の関心領域を5秒以内に横切った場合に、アラームを発生させるように規定できる。入力された特徴は、調査されるそれぞれの特徴の幅を有していてもよい。
クラウドサービス90内で実行されるサービス110−116は、標準のアプリケーションプログラミングインタフェース(API)を使用して、規則エンジン120と通信できる。フォレンジック調査サービス110において、規則エンジン120は、調査及びソートによりクラウドに記憶され、索引が付された、MDB122からの所定のクエリに最も良く一致するメタデータを決定する。これらの調査及びソート操作は、拡張可能であり、階層的である。例えば、現地調査及びソートは、所定の分散されたデータセットにより、異なるサーバ上で実行され、選択された結果は、結合され、より高い階層のサーバ上で再びソートされる。この処理は、最上階層のサーバまで継続して行われ、最後の結果をソートすることにより、最終的な結果が与えられる。フォレンジック調査サービス110は、規則エンジン120と通信して、クエリの結果を取得し、キーフレーム及び映像クリップに対応して検索を行い、結果をユーザに配信する。
リアルタイム検出サービス112において、規則エンジン120は、リアルタイムに関連するメタデータを確認し、所定の規則に適合する事象が現在発生しているか否かを決定する。この場合、リアルタイム検出サービス112は、検出された特定の種類の事象のアラームを発生させる。運用サービス114において、規則エンジン120は、統計データの結果(例えば、所定の期間内に、デパート内の通路等の特定の場所を訪れた対象の平均的な回数の一覧表)を提供することを支援する。カメラネットワーク監視サービス116において、規則エンジン120は、ユーザにより選択された又はシステムが特定した対象を自動的に表示することを支援する。カメラネットワーク監視サービス116は、監視エリアが重複する又は重複しない複数のカメラを管理する。画面上の映像は、容疑者及び/又は他の関心対象を追跡して、自動的に切り替えられる。さらに、移動対象は、カメラの場面に登録された地図上において標識化される。
次に図6を参照すると、図1から図5にさらに関連して、映像監視システムに関連する情報の、クラウドサービス90等のネットワーク管理サービスへの送信管理のプロセス130は、図示されたステップを含む。しかしながら、プロセス130は一例であり、これに限られるものではない。プロセス130は、例えば、ステップを付加、削除、再配列、結合及び/又は同時に実行することにより、変更される。プロセス130に対して、図示又は記載されていないさらに他の変更も可能である。プロセス130は、クラウドサービス90及び現地監視システム70の間のゲートウェイ52等の、多層監視管理システムに関連する1つ以上のエンティティにより実行されうる。プロセス130に記載された操作の1つ以上は、ハードウェア及び/又はソフトウェアにより実行される。
プロセス130は、ステップ132から開始され、ステップ132では、映像コンテンツ及び関連するメタデータが複数のネットワークデバイス(例えば、ルータ20、カメラ42、エンコーダ等の末端デバイス)から取得される。ステップ134において、取得されたメタデータは、分析及び処理され、ノイズのメタデータが特定される。「ノイズの」メタデータは、ネットワークデバイスにより生成された、実際の事象又は対象に対応しない任意のメタデータとして定義される。これらは、例えば、背景画像のノイズによりネットワークデバイスにより特定された誤検出、カメラ間の分析の実行時にゲートウェイ52により外部要因として特定されたメタデータ、又は一時的な関係処理等を含むことができる。ノイズのメタデータは、例えば、上述の基準の1つ以上によりメタデータの品質を評価し、ノイズのメタデータとしての所定の閾値を下回る品質を有するメタデータの部分を分類することにより特定される。ステップ136において、ステップ132で取得されたメタデータからステップ134で特定されるノイズのメタデータを除去することにより、フィルタがかけられた一連のメタデータが生成される。
ステップ138において、ステップ132で取得された映像コンテンツから、ステップ136で生成された、フィルタリングされたメタデータの第1の部分に関する、映像の一部が取り出される。ステップ140において、ステップ138で取り出された映像の一部分及びそれらの関連するメタデータが、(例えば、クラウドサービス90に関連する)ネットワーク記憶エンティティにアップロードされる。
図7を参照すると、図1から図5にさらに関連して、映像監視システムに関連する情報の、ネットワーク管理サービスへの送信管理の第2のプロセス150は、図示されたステップを含む。しかしながら、プロセス150は一例であり、これに限られるものではない。プロセス150は、例えば、ステップを付加、削除、再配列、結合及び/又は同時に実行することにより、変更される。プロセス150に対して、図示又は記載されていないさらに他の変更も可能である。プロセス150は、プロセス130と同様に、クラウドサービス90及び現地監視システム70の間のゲートウェイ52等の、多層監視管理システムに関連する1つ以上のエンティティにより実行されうる。プロセス150に記載された操作の1つ以上は、ハードウェア及び/又はソフトウェアにより実行される。
プロセス150は、ステップ152から開始され、映像コンテンツ及び関連するメタデータが、重複する撮像領域を有する少なくとも2つのネットワークデバイス(例えば、カメラ42、エンコーダ等)から取得される。ステップ154において、ステップ152で取得されたメタデータに表れる対象又は事象が特定される。ステップ156において、対象又は事象が、1つ以上の隣接するデバイスであって、当該対象又は事象の領域を撮像範囲に含むデバイスのメタデータに表れるか否かが決定される。対象又は事象がこれら飲めたデータに現れない場合、対象又は事象は、ステップ160において、ノイズとして分類される。そうでない場合には、ステップ158において、対象又は事象が、(例えば、デバイスと関連するメタデータとの間の空間的/時間的な関係等に基づいて)誤検出であるか否かがさらに決定される。対象又は事象は、誤検出が発見された場合には、ステップ160でノイズとして分類され、そうでなければ、対象又は事象に対応する、改善されたメタデータが生成される。改善されたメタデータは、上述のようにゲートウェイ52に関連する1つ以上のサービスを使用して生成される。
ステップ164において、ステップ162で生成される改善されたメタデータ及び関連する映像コンテンツが、(例えばクラウドサービス90に関連した)ネットワーク記憶エンティティにアップロードされる。一度情報がネットワーク記憶エンティティにアップロードされると、1つ以上のクラウドサービス(例えば、クラウドサービス110から116及び/又は規則エンジン120)は、ステップ162で生成された、改善されたメタデータに加え、又は改善されたメタデータに変わって、改善されたメタデータを生成するために使用されうる。
ホストコンピュータシステム30、ゲートウェイ52、コンピュータシステム64、遠隔端末92、クラウドサービス90の様々な要素、又は他の任意の上述したコンピュータ制御のシステムの動作を実行するために、図8に示されるコンピュータシステムが使用される。図8は、様々な他の構成により提供される方法を実行でき、並びに/又は、ホストコンピュータシステム、遠隔のキオスク/端末、販売時点管理デバイス、携帯デバイス、及び/若しくはコンピュータシステムとして機能できるコンピュータシステム200の概略図である。図8は、様々な構成要素の汎用的な図を提供するものであり、そのいずれか又は全てを適宜使用できる。従って、図8は、個々のシステムの要素が、相対的に分離又は相対的により統合された状態でどのように実行されるかを、広く示すものである。
バス205を介して電気的に接続された(又は、そうでなければ、適宜通信した)ハードウェアの構成要素を含むコンピュータシステム200が示されている。ハードウェアの構成要素は、これに限られるものではないが、1つ以上の汎用プロセッサ及び/又は1つ以上の特定用途のプロセッサ(例えば、デジタルシグナルプロセッシングチップ、グラフィックス高速化プロセッサ、及び/又は同様のもの)を含む、1つ以上のプロセッサ210、これに限られるものではないが、マウス、キーボード及び/又は同様のものを含む、1つ以上の入力デバイス215、並びに、これに限られるものではないが、表示デバイス、プリンタ及び/又は同様のものを含む、1つ以上の出力デバイス220を含む。
コンピュータシステム200は、さらに、これに限られるものではないが、ローカル及び/若しくはネットワークにアクセス可能な記憶装置を含む、並びに/又はこれに限られるものではないが、プログラムで制御され、フラッシュ更新可能で、及び/若しくは同様の、ディスクドライブ、ドライブアレイ、光学記憶装置、ランダムアクセスメモリ(「RAM」)及び/又は読み取り専用メモリ(「ROM」)等のソリッドステート記憶装置を含む、1つ以上の非一時的な記憶デバイス225を含む(及び/又はこれらと通信する)。このような記憶デバイスは、これに限られるものではないが、様々なファイルシステム、データベース構造、及び/又は同様のものを含む、任意の適切なデータストアを実装するように構成されていてもよい。
コンピュータシステム200は、通信サブシステム230を含んでいてもよく、通信サブシステムは、これらに限られるものではないが、モデム、ネットワークカード(無線又は有線)、赤外線通信デバイス、無線通信デバイス及び/若しくはチップセット(ブルートゥース(登録商標)デバイス、802.11デバイス、Wi−Fiデバイス、Wimaxデバイス、移動体通信用設備等)、並びに/又は同様のものを含むことができる。通信サブシステム230により、ネットワーク(一例として、後述するネットワーク)、他のコンピュータシステム及び/又は本明細書に記載の任意の他のデバイスと、データを交換できる。多くの構成において、コンピュータシステム200は、ワーキングメモリ235をさらに含み、ワーキングメモリ235は、上述のようにRAM又はROMを含むことができる。
コンピュータシステム200は、ワーキングメモリ235内に配置されるように示された、ソフトウェア要素も含むことができ、ソフトウェア要素は、オペレーティングシステム240、デバイスドライバ、実行可能ライブラリ及び/又は1つ以上のアプリケーションプログラム245等の他のコードを含む。アプリケーションプログラム245は、本明細書に記載されているように、様々な構成により提供されるコンピュータプログラムを含んでもよく、且つ/又は、他の構成により提供されるメソッドを実装し及び/又はシステムを構築するように構成される。単なる一例として、上述の方法について記載された1つ以上の手段は、コンピュータ(及び/又はコンピュータ内のプロセッサ)により実行されるコード及び/又は命令として実装され、一態様では、かかるコード及び/又は命令は、汎用のコンピュータ(又は他のデバイス)に記載された方法に従って1つ以上の動作を実行するように構成及び/又は適応させることに使用される。
これらの一連の命令及び/又はコードは、上述の記憶デバイス225等のコンピュータ可読記憶媒体に記憶される。いくつかの場合において、記憶媒体は、システム200等のコンピュータシステムに組み込まれる。他の構成では、記憶媒体はコンピュータシステムから分離され(例えば、コンパクトディスク等の取り出し可能な媒体)、又はインストールパッケージにおいて提供され、記憶媒体は、記憶した命令/コードを汎用コンピュータにプログラム、構成及び/又は適応させることに使用される。これらの命令は、コンピュータシステム200により実行可能な実行コードの形態をとり、且つ/又は、(例えば、任意の多様な、一般に利用可能なコンパイラ、インストールプログラム、圧縮/解凍ツール等を使用して)コンピュータシステム200にコンパイル及び/又はインストールすると実行可能なコードの形態をとるようになるソース及び/又は実装可能なコードの形態をとる。
特定の要件に従い、上述の構成に対して実質的な変更が行われる。例えば、カスタマイズされたハードウェアも使用され、且つ/又は特定の要素がハードウェア、ソフトウェア(アプレット等の高移植性ソフトウェア等を含む)又はその双方に実装される。さらに、ネットワーク入力/出力デバイス等の他のコンピュータデバイスへの接続が使用されてもよい。
上述したように、一態様において、いくつかの構成では、コンピュータシステム(例えばコンピュータシステム200)が、本発明の様々な構成に従って方法を実行する。一連の構成において、かかる方法の手順の一部又は全部は、ワーキングメモリ235に含まれる1つ以上の命令(オペレーティングシステム240及び/又はアプリケーションプログラム245等の他のコードに組み込まれる)の1つ以上のシーケンスを実行するプロセッサ210に応じて、コンピュータシステム200により実行される。かかる命令は、1つ以上の記憶デバイス225等の他のコンピュータ可読媒体から、ワーキングメモリ235に読み込まれる。単なる一例として、ワーキングメモリ235に含まれる命令のシーケンスを実行すると、プロセッサ210が、本明細書に記載された方法の1つ以上の手順を実行する。
本明細書で使用される「機械可読媒体」という用語及び「コンピュータ可読媒体」という用語は、機械を特定の方法で動作させるデータの提供に関係する任意の媒体をいう。コンピュータシステム200を使用して実行される一実施形態において、様々なコンピュータ可読媒体は、命令/コードの実行されるプロセッサ210への提供に関係し、且つ/又は、かかる命令/コードを(例えば信号として)記憶及び/又は実行することに使用される。多くの実施形態において、コンピュータ可読媒体は、物理及び/又は有形記憶媒体である。かかる媒体は、これらに限られるものではないが、不揮発性媒体、揮発性媒体及び伝送媒体を含む、多くの形態をとることができる。不揮発性媒体は、例えば、記憶デバイス225等の光学及び/又は磁気ディスクを含む。揮発性媒体は、ワーキングメモリ235等の動的メモリを含むが、これらに限られない。伝送媒体は、バス205を含むワイヤを含む、同軸ケーブル、銅線及び光ファイバ、並びに様々な通信サブシステム230(及び/又は通信サブシステム230が他のデバイスに通信を提供するメディア)の構成要素を含むが、これらに限られない。従って、伝送媒体は、波(電波及び赤外線データ通信の間に生成される、電波、音波及び/又は光波を含むが、これらに限られない)の形態を取ることもできる。
物理的及び/又は有形のコンピュータ可読媒体の一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、若しくは任意の他の磁気媒体、CD−ROM、任意の他の光学媒体、パンチカード、穿孔テープ、任意の他の穴のパターンを有する物理媒体、RAM、PROM、EPROM、FLASH−EPROM、任意の他のメモリチップ若しくはメモリカートリッジ、後述する搬送波、又は、コンピュータが命令及び/若しくはコードを読むことができる任意の他の媒体を含む。
コンピュータ可読媒体の様々な形態は、1つ以上の命令の1つ以上のシーケンスの実行されるプロセッサ210への伝送に関係する。単なる一例として、命令は、最初は、遠隔コンピュータの磁気ディスク及び/又は光ディスクで伝送される。遠隔コンピュータは、動的メモリに命令を有し、コンピュータシステム200により受信及び/または実行されるように、命令を信号として伝送媒体を介して送信する。これらの信号は、電磁信号、音響信号、光信号及び/又は同様のものの形態であり、全て、本発明の多様な構成に従った、命令が符号化された搬送波の例である。
通信サブシステム230(及び/又はその構成要素)が一般に信号を受信し、次いで、バス205が信号(及び/又は信号により搬送されるデータ、命令等)をワーキングメモリ235に搬送し、プロセッサ210がワーキングメモリ235から命令を読み出して実行する。ワーキングメモリ235により受信される命令は、必要に応じて、プロセッサ210により実行される前又は実行された後に、記憶デバイス225に記憶される。
上述の方法、システム及びデバイスは例示である。様々な代替構造は、適宜、様々な手順又は構成要素を削除、代用又は付加してもよい。例えば、代替の方法において、各ステップは、上述とは異なる順で実行され、様々なステップが付加、削除又は結合されてもよい。また、特定の構成に関して記載された特徴は、様々な他の構成と結合されてもよい。構成における異なる態様及び構成要素が、同様の方法で結合されうる。また、技術は発達するため、多くの構成要素は例示であり、開示又は特許請求の範囲に限定されるものではない。
例示的な構成(実施形態を含む)の完全な理解を提供するため、説明において具体的な詳細が示された。しかし、構成は、これらの具体的な詳細によらず実行されうる。例えば、周知の回路、処理、アルゴリズム、構造、及び技術は、構成を不明瞭にすることを避けるために、不要な細部を除いて示した。この説明は、例示的な構成のみを提供するものであり、特許請求の範囲、適用性又は構成を限定するものではない。むしろ、構成についての上述の記載は、上記時術の実行を可能にする記載を当業者に提供するものである。開示の要旨又は範囲から離れることなく、構成要素の機能及び配置について様々な変更が可能である。
さらに、上述の説明は、監視カメラシステムに関する技術を詳述するものである。しかし、本明細書に記載されたシステム及び方法は、他の形態のカメラシステムにも適用されうる。
また、構成は、フローチャート又はブロック図として示された処理として記載されている。それぞれ一連の処理として動作を記載したものであるが、多くの動作は、平行して又は同時に実行されうる。加えて、動作の順序は再配置されうる。処理は、図に含まれていない追加のステップを含んでいてもよい。さらに、方法の例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組合せにより実行されうる。ソフトウェア、ファームウェア、ミドルウェア、又はマイクロコードにおいて実行される場合、必要な処理を実行するプログラムコード又はコードセグメントは、記憶媒体等の不揮発性コンピュータ可読媒体に記憶されうる。プロセッサは、記述された処理を実行する。
特許請求の範囲を含め、本明細書で使用されるように、「少なくとも」による前置きが付された、項目の列挙に使用される「又は」は、離接的な列挙を示し、例えば、「少なくともA、B又はCのいずれか」は、A若しくはB若しくはC又はAB若しくはAC若しくはBC又はABC(つまりA及びB及びC)、又は1つ以上の組合せ(例えば、AA、AAB、ABBC等)を含む。
いくつかの例示的な構成を記載したが、様々な修正、代替的な構成、及び均等部が、開示の要旨を離れることなく使用されうる。例えば、上記要素は、他の規則が優先される、より大きなシステムの構成要素となり、そうでなければ、発明の適用が修正される。また、いくつかのステップは、上記要素が実行される前、間又は後に実行される。従って、上記説明は、特許請求の範囲を束縛するものではない。

Claims (30)

  1. 映像監視システムの管理方法であって、
    複数のネットワークデバイス(20、42)から映像コンテンツ及び当該映像コンテンツに関するメタデータを取得するステップと、
    1つ以上の基準に従っ前記メタデータフィルタリングを行って、フィルタリングされた一連のメタデータを取得するステップであって、
    前記1つ以上の基準に従った前記メタデータのフィルタリングは、
    前記1つ以上の基準に従って前記メタデータの品質を評価するステップと、
    閾値を下回る品質を有するメタデータの第2の部分をノイズのメタデータとして分類するステップと、
    前記ノイズのメタデータを、前記フィルタリングされた一連のメタデータから除外するステップと、を含む、
    ステップと、
    前記フィルタリングされた一連のメタデータのそれぞれの第1の部分に関する、前記映像コンテンツの映像の一部を取り出すステップと、
    少なくとも前記フィルタリングされた一連のメタデータの一部又は前記取り出された映像の一部を、クラウドコンピューティングサービス(90)に提供するステップと
    を含む方法。
  2. 前記複数のネットワークデバイス(20、42)は、少なくとも1つのカメラ又は映像エンコーダを備える、請求項1に記載の方法。
  3. 前記複数のネットワークデバイスのそれぞれは、複数のローカルネットワーク(70)の1つにそれぞれ関連付けられ、前記複数のローカルネットワーク(70)のそれぞれは、それぞれ異なる地理的な位置に関連付けられる、請求項1に記載の方法。
  4. 前記メタデータのフィルタリングは、
    各対象又は事象が発生する領域を撮像するネットワークデバイスであって、前記複数のネットワークデバイスから少なくとも2つの隣接するネットワークデバイスからの、ビデオデータにおける複数のメタデータ要素に表れる対象又は事象にそれぞれ対応する、1つ以上のメタデータ要素を、前記フィルタリングされた一連のメタデータに含めるように、特定するステップと、
    前記特定された1つ以上のメタデータ要素を含む前記フィルタリングされた一連のメタデータから除外するステップであって、それぞれ前記少なくとも2つの隣接するネットワークデバイスからの前記ビデオデータ内の対象又は事象に対応し、前記少なくとも1つの対象が現れてから時間の閾値内に消えた場合、又は、前記少なくとも1つの対象が、移動方向、大きさ若しくは移動速度に関する変化の閾値の度合いを示した場合に、少なくとも1つの対象における少なくとも1つのメタデータ要素は、ノイズとして分類される、ステップと、
    さらに含む、請求項1に記載の方法。
  5. 前記メタデータを取得するステップは、重複する地理的領域の少なくともいくつかのメタデータ要素を継続的に保有する少なくとも第1のネットワークデバイス及び第2のネットワークデバイスから、前記メタデータを取得するステップをさらに含み、
    1つ以上のメタデータ要素を特定するステップは、
    前記第1のネットワークデバイス及び前記第2のネットワークデバイスがメタデータを保有する領域に対応する、第1のネットワークデバイスから取得した前記少なくともいくつかのメタデータ要素を特定するステップと、
    対応するメタデータ要素が前記第2のネットワークデバイスから取得されたか否かを決定するステップと、
    前記対応するメタデータ要素が前記第2のネットワークデバイスから取得されていない場合に、前記メタデータ要素をノイズとして分類するステップと
    をさらに含む、請求項4に記載の方法。
  6. 前記メタデータのフィルタリングは、少なくとも前記メタデータに対応する映像コンテンツ内の空間的関係又は前記メタデータに対応する映像コンテンツ内の時間的関係のいずれかに基づいて前記メタデータの前記品質を評価するステップをさらに含む、請求項4に記載の方法。
  7. 前記フィルタリングは、
    ネットワークデバイスにより検出された対象に関連付けられたメタデータ要素を特定するステップと、
    前記対象が、現れてから時間の閾値内に消えた場合、又は、対象が、移動方向、大きさ若しくは移動速度に関する変化の閾値の度合を示した場合、前記メタデータをノイズとして分類するステップと
    をさらに含む、請求項6に記載の方法。
  8. 前記メタデータは、少なくとも前記映像監視システム内で追跡される対象又は前記映像監視システム内の事象のいずれかに対応する、請求項1に記載の方法。
  9. 前記映像コンテンツを処理して、1つ以上の補助的なメタデータ要素を生成するステップをさらに含む、請求項1に記載の方法。
  10. 少なくとも前記メタデータ又は前記映像コンテンツの1つのクエリを受信するステップと、
    1つ以上の所定の規則に従って、前記クエリを処理するステップと
    をさらに含む、請求項1に記載の方法。
  11. 複数のネットワークデバイス(20、42)から映像コンテンツ及び当該映像コンテンツに関するメタデータを取得するように構成されたゲートウェイ(52)と、
    前記ゲートウェイ(52)に通信可能に接続されるとともに、1つ以上の基準に従って前記メタデータをフィルタリングして、フィルタリングされた一連のメタデータを取得するように構成されたメタデータ処理モジュール(82)であって、前記1つ以上の基準に従って前記メタデータの品質を評価し、閾値を下回る品質を有するメタデータの第2の部分をノイズのメタデータとして分類し、前記ノイズのメタデータを、前記フィルタリングされた一連のメタデータから除外するように構成されたメタデータ処理モジュール(82)と、
    前記ゲートウェイ(52)及び前記メタデータ処理モジュール(82)に通信可能に接続されるとともに、前記フィルタリングされた一連のメタデータのそれぞれの第1の部分に関する、前記映像コンテンツの映像の一部を取り出すように構成された映像処理モジュール(80)と、
    前記ゲートウェイ(52)、前記メタデータ処理モジュール(82)及び前記映像処理モジュール(80)に通信可能に接続されるとともに、少なくとも前記フィルタリングされた一連のメタデータの一部又は前記取り出された映像の一部を、クラウドコンピューティングサービス(90)に提供するように構成されたクラウドサービスインタフェース(86)と
    を備える映像監視管理システム。
  12. 前記複数のネットワークデバイス(20、42)は、少なくとも1つのカメラ又は映像エンコーダを備える、請求項11に記載のシステム。
  13. 前記メタデータ処理モジュール(82)は、
    各対象又は事象が発生する領域を撮像するネットワークデバイスであって、前記複数のネットワークデバイスから少なくとも2つの隣接するネットワークデバイスからの、ビデオデータにおける複数のメタデータ要素に表れる対象又は事象にそれぞれ対応する、1つ以上のメタデータ要素を、前記フィルタリングされた一連のメタデータに含めるように、特定し、
    前記特定された1つ以上のメタデータ要素を含む前記フィルタリングされた一連のメタデータから除外し、それぞれ前記少なくとも2つの隣接するネットワークデバイスからの前記ビデオデータ内の対象又は事象に対応し、前記少なくとも1つの対象が現れてから時間の閾値内に消えた場合、又は、前記少なくとも1つの対象が、移動方向、大きさ若しくは移動速度に関する変化の閾値の度合いを示した場合に、少なくとも1つの対象における少なくとも1つのメタデータ要素は、ノイズとして分類される
    ように構成された、請求項11に記載のシステム。
  14. 前記ゲートウェイ(52)は、さらに、重複する地理的領域の少なくともいくつかのメタデータ要素を継続的に保有する少なくとも第1のネットワークデバイス及び第2のネットワークデバイスから、前記メタデータを取得するように構成され、
    前記1つ以上のメタデータ要素を特定するように構成された前記メタデータ処理モジュール(82)は、前記第1のネットワークデバイス及び前記第2のネットワークデバイスが前記少なくともいくつかのメタデータ要素を保有する領域に対応する、第1のネットワークデバイスから取得したメタデータ要素を特定し、対応するメタデータ要素が前記第2のネットワークデバイスから取得されたか否かを決定し、前記対応するメタデータ要素が前記第2のネットワークデバイスから取得されていない場合に、前記メタデータ要素をノイズとして分類するように構成された、
    請求項13に記載のシステム。
  15. 前記メタデータをフィルタリングするように構成された前記メタデータ処理モジュール(82)は、少なくとも前記メタデータに対応する映像コンテンツ内の空間的関係又は前記メタデータに対応する映像コンテンツ内の時間的関係のいずれかに基づいて前記メタデータの前記品質を評価するように構成された、請求項13に記載のシステム。
  16. 前記メタデータは、少なくとも前記映像監視システム内で追跡される対象又は前記映像監視システム内の事象のいずれかに対応する、請求項11に記載のシステム。
  17. 前記映像処理モジュール(80)は、さらに、前記映像コンテンツに基づいて、1つ以上の補助的なメタデータ要素を生成するように構成された、請求項11に記載のシステム。
  18. 前記ゲートウェイ(52)、前記メタデータ処理モジュール(82)及び前記映像処理モジュール(80)に通信可能に接続されるとともに、少なくとも前記メタデータ又は前記映像コンテンツの1つのクエリを受信し、1つ以上の所定の規則に従って、前記クエリを処理するように構成された規則エンジン(120)をさらに備える、請求項11に記載のシステム。
  19. 複数のネットワークデバイス(20、42)から映像コンテンツ及び前記映像コンテンツに関するメタデータを取得するネットワークインタフェース手段(52)と、
    前記ネットワークインタフェース手段(52)に通信可能に接続されるとともに、1つ以上の基準に従って前記メタデータをフィルタリングして、フィルタリングされた一連のメタデータを取得するメタデータ処理手段(82)であって、前記1つ以上の基準に従って前記メタデータの品質を評価する手段と、閾値を下回る品質を有するメタデータの第2の部分をノイズのメタデータとして分類する手段と、前記ノイズのメタデータを、前記フィルタリングされた一連のメタデータから除外する手段とを含むメタデータ処理手段(82)と、
    前記ネットワークインタフェース手段(52)及び前記メタデータ処理手段(82)に通信可能に接続されるとともに、前記フィルタリングされた一連のメタデータのそれぞれの第1の部分に関する、前記映像コンテンツの映像の一部を取り出す映像処理手段(80)とを備え、
    前記ネットワークインタフェース手段(52)は、少なくとも前記フィルタリングされた一連のメタデータの一部又は前記取り出された映像の一部を、クラウドコンピューティングサービス(90)に提供する手段(86)を有する、
    映像監視管理システム。
  20. 前記複数のネットワークデバイス(20、42)は、少なくとも1つのカメラ又は映像エンコーダを備える、請求項19に記載のシステム。
  21. 前記メタデータ処理手段(82)は、
    各対象又は事象が発生する領域を撮像するネットワークデバイスであって、前記複数のネットワークデバイスから少なくとも2つの隣接するネットワークデバイスからの、ビデオデータにおける複数のメタデータ要素に表れる対象又は事象にそれぞれ対応する、1つ以上のメタデータ要素を、前記フィルタリングされた一連のメタデータに含めるように、特定する手段と、
    前記特定された1つ以上のメタデータ要素を含む前記フィルタリングされた一連のメタデータから除外する手段であって、それぞれ前記少なくとも2つの隣接するネットワークデバイスからの前記ビデオデータ内の対象又は事象に対応し、前記少なくとも1つの対象が現れてから時間の閾値内に消えた場合、又は、前記少なくとも1つの対象が、移動方向、大きさ若しくは移動速度に関する変化の閾値の度合いを示した場合に、少なくとも1つの対象における少なくとも1つのメタデータ要素は、ノイズとして分類される、手段と、
    さらに有する、請求項19に記載のシステム。
  22. 前記メタデータは、少なくとも前記映像監視システム内で追跡される対象又は前記映像監視システム内の事象のいずれかに対応する、請求項19に記載のシステム。
  23. 前記映像処理手段(80)は、前記映像コンテンツに基づいて、1つ以上の補助的なメタデータ要素を生成する手段を有する、請求項19に記載のシステム。
  24. 前記ネットワークインタフェース手段(52)、前記メタデータ処理手段(82)及び前記映像処理手段(80)に通信可能に接続されるとともに、少なくとも前記メタデータ又は前記映像コンテンツの1つのクエリを受信し、1つ以上の所定の規則に従って、前記クエリを処理するクエリ処理手段(120)をさらに備える、請求項19に記載のシステム。
  25. 前記映像コンテンツ及び前記映像コンテンツに関するメタデータを取得する前記ネットワークインタフェース手段(52)は、
    少なくとも第1のネットワークデバイス及び第2のネットワークデバイスから前記メタデータを取得する手段であって、前記第1のネットワークデバイス及び前記第2のネットワークデバイスは、少なくともいくつかの重複する地理的領域のメタデータ要素を保有する、手段を有し
    前記1つ以上のメタデータ要素を特定する手段は、
    前記第1のネットワークデバイス及び前記第2のネットワークデバイスが前記少なくともいくつかのメタデータ要素を保有する前記領域に対応するメタデータ要素であって、前記第1のネットワークデバイスから取得したメタデータ要素を特定する手段と、
    対応するメタデータ要素が前記第2のネットワークデバイスから取得されているか否かを決定する手段と、
    前記対応するメタデータ要素が前記第2ネットワークデバイスから取得されていない場合に、前記メタデータ要素をノイズとして分類する手段と、
    を有する、請求項19に記載のシステム。
  26. プロセッサが実行可能な一連の命令を格納するコンピュータ可読の記憶媒体であって、前記命令は、
    複数のネットワークデバイスから映像コンテンツ及び前記映像コンテンツに関するメタデータを取得するステップと、
    1つ以上の基準に従っ前記メタデータフィルタリングを行って、フィルタリングされた一連のメタデータを取得するステップであって、
    前記1つ以上の基準に従った前記メタデータのフィルタリングは、
    前記1つ以上の基準に従って前記メタデータの品質を評価するステップと、
    閾値を下回る品質を有するメタデータの第2の部分をノイズのメタデータとして分類するステップと、
    前記ノイズのメタデータを、前記フィルタリングされた一連のメタデータから除外するステップと、を含む、
    ステップと、
    前記フィルタリングされた一連のメタデータのそれぞれの第1の部分に関する、前記映像コンテンツの映像の一部を取り出すステップと、
    少なくとも前記フィルタリングされた一連のメタデータの一部又は前記取り出された映像の一部を、クラウドコンピューティングサービスに提供するステップと
    を実行させるコンピュータ可読の記憶媒体
  27. 前記複数のネットワークデバイスは、少なくとも1つのカメラ又は映像エンコーダを備える、請求項26に記載のコンピュータ可読の記憶媒体
  28. 前記メタデータのフィルタリングは、
    各対象又は事象が発生する領域を撮像するネットワークデバイスであって、前記複数のネットワークデバイスから少なくとも2つの隣接するネットワークデバイスからの、ビデオデータにおける複数のメタデータ要素に表れる対象又は事象にそれぞれ対応する、1つ以上のメタデータ要素を、前記フィルタリングされた一連のメタデータに含めるように、特定するステップと、
    前記特定された1つ以上のメタデータ要素を含む前記フィルタリングされた一連のメタデータから除外するステップであって、それぞれ前記少なくとも2つの隣接するネットワークデバイスからの前記ビデオデータ内の対象又は事象に対応し、前記少なくとも1つの対象が現れてから時間の閾値内に消えた場合、又は、前記少なくとも1つの対象が、移動方向、大きさ若しくは移動速度に関する変化の閾値の度合いを示した場合に、少なくとも1つの対象における少なくとも1つのメタデータ要素は、ノイズとして分類される、ステップと、
    をさらに含む、請求項26に記載のコンピュータ可読の記憶媒体
  29. 前記メタデータは、少なくとも前記映像監視システム内で追跡される対象又は前記映像監視システム内の事象のいずれかに対応する、請求項26に記載のコンピュータ可読の記憶媒体
  30. 前記命令は、
    少なくとも前記メタデータ又は前記映像コンテンツの1つのクエリを受信するステップと、
    1つ以上の所定の規則に従って、前記クエリを処理するステップと
    さらに有する、請求項26に記載のコンピュータ可読の記憶媒体


JP2014549045A 2011-12-22 2012-10-26 クラウドベースの映像監視管理システム Active JP6088541B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/335,591 US10769913B2 (en) 2011-12-22 2011-12-22 Cloud-based video surveillance management system
US13/335,591 2011-12-22
PCT/US2012/062114 WO2013095773A1 (en) 2011-12-22 2012-10-26 Cloud-based video surveillance management system

Publications (2)

Publication Number Publication Date
JP2015508591A JP2015508591A (ja) 2015-03-19
JP6088541B2 true JP6088541B2 (ja) 2017-03-01

Family

ID=48655657

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014549045A Active JP6088541B2 (ja) 2011-12-22 2012-10-26 クラウドベースの映像監視管理システム

Country Status (6)

Country Link
US (1) US10769913B2 (ja)
EP (1) EP2795600B1 (ja)
JP (1) JP6088541B2 (ja)
CN (1) CN104040601B (ja)
AU (1) AU2012355879B2 (ja)
WO (1) WO2013095773A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10929961B2 (en) 2018-02-09 2021-02-23 Samsung Electronics Co., Ltd. Electronic device and method for correcting images using external electronic device

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8830327B2 (en) * 2010-05-13 2014-09-09 Honeywell International Inc. Surveillance system with direct database server storage
US9552648B1 (en) * 2012-01-23 2017-01-24 Hrl Laboratories, Llc Object tracking with integrated motion-based object detection (MogS) and enhanced kalman-type filtering
US8768142B1 (en) 2012-01-26 2014-07-01 Ambarella, Inc. Video editing with connected high-resolution video camera and video cloud server
US20140022391A1 (en) * 2012-07-19 2014-01-23 Saankhya Labs Private Limited System and method for enabling control of ptz cameras
US9213781B1 (en) 2012-09-19 2015-12-15 Placemeter LLC System and method for processing image data
US20140247941A1 (en) * 2013-03-01 2014-09-04 Oplink Communications, Inc. Self-configuring wireless network
US9277255B1 (en) * 2013-03-15 2016-03-01 Google Inc. Metering of internet protocol video streams
US20150019621A1 (en) * 2013-07-10 2015-01-15 Afreey Inc. Cross-Platform System for Remote-Controlling Network Camera
US20150022666A1 (en) * 2013-07-22 2015-01-22 Intellivision Technologies Corp. System and method for scalable video cloud services
US10482738B2 (en) 2013-08-13 2019-11-19 Sensormatic Electronics, LLC System and method for video/audio and event dispatch using positioning system
DE102013110306A1 (de) * 2013-09-18 2015-03-19 Sheng-Fu Chang Videospeichersystem
FR3011428B1 (fr) * 2013-09-30 2016-12-09 Rizze Systeme de videosurveillance permettant de suivre le deplacement des personnes a l'interieur et a l'exterieur d'un batiment
US20150112832A1 (en) * 2013-10-23 2015-04-23 Wal-Mart Stores, Inc. Employing a portable computerized device to estimate a total expenditure in a retail environment
FR3012713B1 (fr) * 2013-10-24 2016-12-16 Rizze Systeme de surveillance urbaine de terrain unifie et automatise permettant l’identification des vehicules voles ou en infraction via suivi par lunettes a realite augmentee.
US9953386B2 (en) 2013-11-16 2018-04-24 At&T Intellectual Property I, L.P. Method and system for controlling distribution of composite data of user by aggregation server
US20150142587A1 (en) * 2013-11-20 2015-05-21 Honeywell International Inc. System and Method of Dynamic Correlation View for Cloud Based Incident Analysis and Pattern Detection
FR3015093A1 (fr) * 2013-12-12 2015-06-19 Rizze Systeme et procede de controle de flux d'entree et de sortie des personnes dans des espaces fermes
EP3084621A4 (en) * 2013-12-18 2017-08-16 Pelco, Inc. Sharing video in a cloud video service
CN106031165B (zh) * 2013-12-23 2019-11-05 派尔高公司 管理视频监视系统的方法、系统和计算机可读介质
US9584570B2 (en) * 2014-03-28 2017-02-28 Pelco, Inc. Dynamic media transcoding for P2P communications
US10217003B2 (en) 2014-04-10 2019-02-26 Sensormatic Electronics, LLC Systems and methods for automated analytics for security surveillance in operation areas
US10057546B2 (en) 2014-04-10 2018-08-21 Sensormatic Electronics, LLC Systems and methods for automated cloud-based analytics for security and/or surveillance
US10084995B2 (en) 2014-04-10 2018-09-25 Sensormatic Electronics, LLC Systems and methods for an automated cloud-based video surveillance system
US9426428B2 (en) 2014-04-10 2016-08-23 Smartvue Corporation Systems and methods for automated cloud-based analytics and 3-dimensional (3D) display for surveillance systems in retail stores
US20160110972A1 (en) * 2014-04-10 2016-04-21 Smartvue Corporation Systems and methods for automated cloud-based analytics for surveillance systems
US20150381417A1 (en) * 2014-04-10 2015-12-31 Smartvue Corporation Systems and Methods for an Automated Cloud-Based Video Surveillance System
US9407879B2 (en) 2014-04-10 2016-08-02 Smartvue Corporation Systems and methods for automated cloud-based analytics and 3-dimensional (3D) playback for surveillance systems
US11120274B2 (en) * 2014-04-10 2021-09-14 Sensormatic Electronics, LLC Systems and methods for automated analytics for security surveillance in operation areas
US9407880B2 (en) 2014-04-10 2016-08-02 Smartvue Corporation Systems and methods for automated 3-dimensional (3D) cloud-based analytics for security surveillance in operation areas
US9686514B2 (en) 2014-04-10 2017-06-20 Kip Smrt P1 Lp Systems and methods for an automated cloud-based video surveillance system
US9405979B2 (en) 2014-04-10 2016-08-02 Smartvue Corporation Systems and methods for automated cloud-based analytics and 3-dimensional (3D) display for surveillance systems
US9420238B2 (en) 2014-04-10 2016-08-16 Smartvue Corporation Systems and methods for automated cloud-based 3-dimensional (3D) analytics for surveillance systems
US11093545B2 (en) * 2014-04-10 2021-08-17 Sensormatic Electronics, LLC Systems and methods for an automated cloud-based video surveillance system
US9888266B2 (en) 2014-04-22 2018-02-06 Vivint, Inc. Pushing video to panels and sending metadata tag to cloud
WO2015184440A2 (en) * 2014-05-30 2015-12-03 Placemeter Inc. System and method for activity monitoring using video data
US9887886B2 (en) * 2014-07-15 2018-02-06 Sap Se Forensic software investigation
CN105450679B (zh) * 2014-08-06 2019-06-28 杭州海康威视系统技术有限公司 进行数据云存储的方法及系统
CN105898207B (zh) * 2015-01-26 2019-05-10 杭州海康威视数字技术股份有限公司 视频数据的智能处理方法及系统
US10587844B2 (en) * 2015-02-17 2020-03-10 Innodep Co., Ltd. Image analysis system for analyzing dynamically allocated camera image, integrated control system including same, and operation method therefor
US10055672B2 (en) 2015-03-11 2018-08-21 Microsoft Technology Licensing, Llc Methods and systems for low-energy image classification
US10268886B2 (en) 2015-03-11 2019-04-23 Microsoft Technology Licensing, Llc Context-awareness through biased on-device image classifiers
US11024136B2 (en) * 2015-04-02 2021-06-01 Techcam, Llc Method and apparatus for remote surveillance
US10043078B2 (en) 2015-04-21 2018-08-07 Placemeter LLC Virtual turnstile system and method
US10380431B2 (en) 2015-06-01 2019-08-13 Placemeter LLC Systems and methods for processing video streams
WO2017035536A1 (en) * 2015-08-27 2017-03-02 FogHorn Systems, Inc. Edge intelligence platform, and internet of things sensor streams system
US10616465B2 (en) * 2015-09-16 2020-04-07 Microsoft Technology Licensing, Llc Bandwidth efficient video surveillance system
US10410059B2 (en) * 2016-01-21 2019-09-10 Wizr Llc Cloud platform with multi camera synchronization
CN108885686B (zh) * 2016-02-19 2022-10-14 开利公司 用于视频分析的基于云的主动调试系统
US10585824B2 (en) 2016-02-26 2020-03-10 Nec Corporation Transmission control preventing transmission of similar commands in overlapping manner
US10733863B2 (en) 2016-03-04 2020-08-04 Irisity Ab (Publ) System and method for incident handling
US11601583B2 (en) * 2016-03-22 2023-03-07 Johnson Controls Tyco IP Holdings LLP System and method for controlling surveillance cameras
US10764539B2 (en) * 2016-03-22 2020-09-01 Sensormatic Electronics, LLC System and method for using mobile device of zone and correlated motion detection
US9965680B2 (en) 2016-03-22 2018-05-08 Sensormatic Electronics, LLC Method and system for conveying data from monitored scene via surveillance cameras
US10665071B2 (en) 2016-03-22 2020-05-26 Sensormatic Electronics, LLC System and method for deadzone detection in surveillance camera network
US10733231B2 (en) 2016-03-22 2020-08-04 Sensormatic Electronics, LLC Method and system for modeling image of interest to users
US11216847B2 (en) 2016-03-22 2022-01-04 Sensormatic Electronics, LLC System and method for retail customer tracking in surveillance camera network
US10475315B2 (en) 2016-03-22 2019-11-12 Sensormatic Electronics, LLC System and method for configuring surveillance cameras using mobile computing devices
US10347102B2 (en) 2016-03-22 2019-07-09 Sensormatic Electronics, LLC Method and system for surveillance camera arbitration of uplink consumption
EP3249651B1 (en) 2016-05-23 2018-08-29 Axis AB Generating a summary video sequence from a source video sequence
US10410097B2 (en) 2016-06-06 2019-09-10 Mutualink, Inc. System and method for distributed intelligent pattern recognition
WO2017211421A1 (en) * 2016-06-09 2017-12-14 Huawei Technologies Co., Ltd. Multi-tiered, cloud based, file system for devices with unstable network connection
RU2634225C1 (ru) 2016-06-20 2017-10-24 Общество с ограниченной ответственностью "САТЕЛЛИТ ИННОВАЦИЯ" (ООО "САТЕЛЛИТ") Способы и системы поиска объекта в видеопотоке
US9848380B1 (en) * 2016-06-21 2017-12-19 International Business Machines Corporation Context-based coordinated data retrieval for mobile devices
US20170374395A1 (en) * 2016-06-28 2017-12-28 The United States Of America As Represented By The Secretary Of The Navy Video management systems (vms)
EP3485471B1 (en) * 2016-07-14 2023-11-22 Carrier Corporation Remote monitoring system
GB201613138D0 (en) * 2016-07-29 2016-09-14 Unifai Holdings Ltd Computer vision systems
US10609338B1 (en) * 2016-09-02 2020-03-31 Western Digital Technologies, Inc. Surveillance systems and methods thereof
KR102506581B1 (ko) 2016-09-29 2023-03-06 한화테크윈 주식회사 광각 영상 처리 방법 및 이를 위한 장치
JP6975416B2 (ja) 2016-10-25 2021-12-01 アウル カメラズ, インコーポレイテッドOwl Cameras, Inc. ビデオベースのデータ収集、画像のキャプチャおよび解析構成
CN106686299A (zh) * 2016-11-30 2017-05-17 陈德成 一种电子控制的电子监控装置
CN110036385B (zh) 2016-12-02 2023-08-08 开利公司 混合模式云内部部署(on-premise)安全通信
US10095933B2 (en) * 2016-12-05 2018-10-09 Google Llc Systems and methods for locating image data for selected regions of interest
CN108205468A (zh) * 2016-12-16 2018-06-26 上海仪电(集团)有限公司中央研究院 一种面向海量视频图像的分布式系统及实现方法
JP6423023B2 (ja) * 2017-01-12 2018-11-14 三菱電機インフォメーションシステムズ株式会社 映像ストリーム処理装置、映像ストリーム処理プログラムおよび映像監視システム
KR20180086662A (ko) 2017-01-23 2018-08-01 한화에어로스페이스 주식회사 모니터링 장치 및 시스템
KR101884611B1 (ko) * 2017-02-23 2018-08-02 이노뎁 주식회사 이동객체의 메타데이터 필터링을 이용한 cctv 영상의 관심객체 추출 방법
CN107516074B (zh) * 2017-08-01 2020-07-24 广州杰赛科技股份有限公司 一种认证识别方法及系统
US10769808B2 (en) * 2017-10-20 2020-09-08 Microsoft Technology Licensing, Llc Apparatus and methods of automated tracking and counting of objects on a resource-constrained device
US10621838B2 (en) * 2017-12-15 2020-04-14 Google Llc External video clip distribution with metadata from a smart-home environment
EP3502952B1 (en) 2017-12-19 2020-10-14 Axis AB Method, device and system for detecting a loitering event
US10594953B2 (en) * 2017-12-26 2020-03-17 Sling Media Pvt Ltd Camera identification in video production system
JP6845172B2 (ja) * 2018-03-15 2021-03-17 株式会社日立製作所 データ収集システムおよびデータ収集方法
CN109117152B (zh) * 2018-07-26 2022-02-25 新华三大数据技术有限公司 服务生成系统及方法
CN110868564B (zh) * 2018-08-28 2021-06-04 杭州海康威视系统技术有限公司 一种存储任务分配方法、云存储系统及电子设备
CN109104617B (zh) * 2018-09-05 2021-04-27 杭州领智云画科技有限公司 视频请求响应方法和系统
CN110266987B (zh) * 2019-07-25 2021-05-11 深圳金三立视频科技股份有限公司 被动式录像方法及计算机可读存储介质
KR20210058589A (ko) * 2019-11-14 2021-05-24 한국전자기술연구원 영상 보안 이벤트 충돌 처리 장치 및 그 방법
US11503381B2 (en) * 2020-06-29 2022-11-15 Seagate Technology Llc Distributed surveillance system with abstracted functional layers
US11463739B2 (en) 2020-06-29 2022-10-04 Seagate Technology Llc Parameter based load balancing in a distributed surveillance system
US11474799B2 (en) * 2020-07-31 2022-10-18 Snowflake Inc. Providing code translation related to resilient distributed datasets in database systems
US11710392B2 (en) 2020-09-11 2023-07-25 IDEMIA National Security Solutions LLC Targeted video surveillance processing
US11671567B2 (en) * 2021-07-08 2023-06-06 Controlled Electronic Management Systems Limited In-band video communication
US11736373B2 (en) * 2021-09-29 2023-08-22 Forescout Technologies, Inc. Agentless network traffic mapping
US11546232B1 (en) * 2022-01-27 2023-01-03 Hitachi, Ltd. Video analysis and data delivery method

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3641257A (en) * 1970-01-16 1972-02-08 Hughes Aircraft Co Noise suppressor for surveillance and intrusion-detecting system
GB8518803D0 (en) * 1985-07-25 1985-08-29 Rca Corp Locating target patterns within images
US6069655A (en) * 1997-08-01 2000-05-30 Wells Fargo Alarm Services, Inc. Advanced video security system
US20040075738A1 (en) * 1999-05-12 2004-04-22 Sean Burke Spherical surveillance system architecture
US6698021B1 (en) * 1999-10-12 2004-02-24 Vigilos, Inc. System and method for remote control of surveillance devices
US6301440B1 (en) 2000-04-13 2001-10-09 International Business Machines Corp. System and method for automatically setting image acquisition controls
JP2003317168A (ja) * 2002-04-22 2003-11-07 Ikeno Tsuken Kk 違法行為、不法行為等の情報収集方法
AU2003237579A1 (en) * 2002-07-05 2004-01-23 Aspectus Ltd A method and system for effectively performing event detection in a large number of concurrent image sequences
JP2004357206A (ja) * 2003-05-30 2004-12-16 Fujitsu General Ltd ネットワークカメラシステムの制御方法
US7280673B2 (en) * 2003-10-10 2007-10-09 Intellivid Corporation System and method for searching for changes in surveillance video
JP4478510B2 (ja) 2004-06-03 2010-06-09 キヤノン株式会社 カメラシステム、カメラ、及びカメラの制御方法
US7391907B1 (en) * 2004-10-01 2008-06-24 Objectvideo, Inc. Spurious object detection in a video surveillance system
US20060190419A1 (en) 2005-02-22 2006-08-24 Bunn Frank E Video surveillance data analysis algorithms, with local and network-shared communications for facial, physical condition, and intoxication recognition, fuzzy logic intelligent camera system
US7205520B1 (en) * 2005-03-02 2007-04-17 United States Of America As Represented By The Secretary Of The Navy Portable air defense ground based launch detection system
JP4321541B2 (ja) 2006-04-03 2009-08-26 ソニー株式会社 監視装置と監視方法
JP2007324809A (ja) * 2006-05-31 2007-12-13 Victor Co Of Japan Ltd ネットワークカメラ装置
US7873982B2 (en) 2006-06-22 2011-01-18 Tivo Inc. Method and apparatus for creating and viewing customized multimedia segments
JP5228290B2 (ja) 2006-06-30 2013-07-03 ソニー株式会社 監視システム、監視装置及び監視方法
JP4363421B2 (ja) 2006-06-30 2009-11-11 ソニー株式会社 監視システム、監視システム用サーバ及び監視方法
JP4453684B2 (ja) 2006-06-30 2010-04-21 ソニー株式会社 監視システム、監視装置、検索方法及び検索プログラム
JP4201025B2 (ja) 2006-06-30 2008-12-24 ソニー株式会社 監視装置、監視システム及びフィルタ設定方法、並びに監視プログラム
JP2008035095A (ja) 2006-07-27 2008-02-14 Sony Corp 監視装置、監視システム、監視方法及びプログラム
JP4148285B2 (ja) 2006-07-27 2008-09-10 ソニー株式会社 監視装置、フィルタ較正方法及びフィルタ較正プログラム
US20080046925A1 (en) 2006-08-17 2008-02-21 Microsoft Corporation Temporal and spatial in-video marking, indexing, and searching
US20080184245A1 (en) 2007-01-30 2008-07-31 March Networks Corporation Method and system for task-based video analytics processing
US8593517B2 (en) 2007-03-26 2013-11-26 Pelco, Inc. Method and apparatus for configuring a video surveillance source
US8013738B2 (en) * 2007-10-04 2011-09-06 Kd Secure, Llc Hierarchical storage manager (HSM) for intelligent storage of large volumes of data
US7382244B1 (en) 2007-10-04 2008-06-03 Kd Secure Video surveillance, storage, and alerting system having network management, hierarchical data storage, video tip processing, and vehicle plate analysis
US8872940B2 (en) 2008-03-03 2014-10-28 Videoiq, Inc. Content aware storage of video data
JP2010009134A (ja) 2008-06-24 2010-01-14 Sony Corp 画像処理システム及び画像処理方法、並びに、プログラム
US8558888B2 (en) 2009-02-27 2013-10-15 Third Iris Corp. Bandwidth shaping client to capture, transform, cache, and upload images from a remote point of recordation to a network service
US20100246669A1 (en) * 2009-03-25 2010-09-30 Syclipse Technologies, Inc. System and method for bandwidth optimization in data transmission using a surveillance device
EP2425299A2 (en) * 2009-05-01 2012-03-07 Koninklijke Philips Electronics N.V. Systems and apparatus for image-based lighting control and security control
WO2010144566A1 (en) * 2009-06-09 2010-12-16 Wayne State University Automated video surveillance systems
US20110109742A1 (en) 2009-10-07 2011-05-12 Robert Laganiere Broker mediated video analytics method and system
US9788017B2 (en) 2009-10-07 2017-10-10 Robert Laganiere Video analytics with pre-processing at the source end
CN101778260B (zh) 2009-12-29 2012-01-04 公安部第三研究所 一种基于结构化描述的视频监控管理方法及系统
US8527549B2 (en) 2010-02-22 2013-09-03 Sookasa Inc. Cloud based operating and virtual file system
US8503539B2 (en) 2010-02-26 2013-08-06 Bao Tran High definition personal computer (PC) cam
US8830327B2 (en) 2010-05-13 2014-09-09 Honeywell International Inc. Surveillance system with direct database server storage
CN201957067U (zh) 2011-03-22 2011-08-31 北京视博云科技有限公司 一种门户提供装置和视频云计算系统
KR101703931B1 (ko) * 2011-05-24 2017-02-07 한화테크윈 주식회사 감시 시스템
US9749594B2 (en) * 2011-12-22 2017-08-29 Pelco, Inc. Transformation between image and map coordinates
US9162606B2 (en) * 2011-12-28 2015-10-20 Intel Corporation Multi-vehicle surveillance system
US11165994B2 (en) * 2013-05-13 2021-11-02 Texas Instruments Incorporated Analytics-driven summary views for surveillance networks
US20150022666A1 (en) * 2013-07-22 2015-01-22 Intellivision Technologies Corp. System and method for scalable video cloud services

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10929961B2 (en) 2018-02-09 2021-02-23 Samsung Electronics Co., Ltd. Electronic device and method for correcting images using external electronic device

Also Published As

Publication number Publication date
EP2795600B1 (en) 2016-12-07
EP2795600A4 (en) 2015-10-07
US10769913B2 (en) 2020-09-08
US20130166711A1 (en) 2013-06-27
WO2013095773A1 (en) 2013-06-27
AU2012355879A1 (en) 2014-06-05
EP2795600A1 (en) 2014-10-29
JP2015508591A (ja) 2015-03-19
CN104040601A (zh) 2014-09-10
CN104040601B (zh) 2016-11-16
AU2012355879B2 (en) 2016-04-14

Similar Documents

Publication Publication Date Title
JP6088541B2 (ja) クラウドベースの映像監視管理システム
US11082668B2 (en) System and method for electronic surveillance
AU2012340862B2 (en) Geographic map based control
CN101918989B (zh) 带有对象跟踪和检索的视频监控系统
CN108665476B (zh) 一种行人跟踪方法以及电子设备
KR101964683B1 (ko) 스마트 영상처리장치 및 그 장치의 구동방법
KR101570339B1 (ko) 영상분석 서버를 통한 미래 발생범죄 예측 시스템
SG191954A1 (en) An integrated intelligent server based system and method/systems adapted to facilitate fail-safe integration and /or optimized utilization of various sensory inputs
US20190370559A1 (en) Auto-segmentation with rule assignment
WO2021180004A1 (zh) 视频分析方法、视频分析的管理方法及相关设备
WO2013131189A1 (en) Cloud-based video analytics with post-processing at the video source-end
CN111010547A (zh) 目标对象的追踪方法及装置、存储介质、电子装置
KR102187376B1 (ko) 딥러닝 이미지 분석과 연동하는 신택스 기반의 선별 관제 제공 방법
KR101547255B1 (ko) 지능형 감시 시스템의 객체기반 검색방법
KR101485512B1 (ko) 객체 행동패턴의 해마 신경망 학습을 이용한 미래범죄 발생확률 우선순위 이벤트 cctv 영상처리 방법
KR102080456B1 (ko) 압축영상에 대한 신택스 기반의 ptz 카메라의 객체 추적 제어 방법
KR101453386B1 (ko) 차량 지능형 검색 시스템 및 그 동작방법
CN115909161A (zh) 一种智慧景区用监控信息集成方法和系统
KR20030064668A (ko) 객체식별이 가능한 영상처리 디지탈녹화시스템
KR20190074900A (ko) 압축영상에 대한 신택스 기반의 객체 추적 방법
WO2008094029A1 (en) Surveillance method and system using optimized object based rule checking
KR20230089558A (ko) 영상 전송 장치 및 방법, 그리고 영상 수신 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170203

R150 Certificate of patent or registration of utility model

Ref document number: 6088541

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250