JP4601868B2 - ネットワーク化した監視/管制システム及び方法 - Google Patents

ネットワーク化した監視/管制システム及び方法 Download PDF

Info

Publication number
JP4601868B2
JP4601868B2 JP2001194713A JP2001194713A JP4601868B2 JP 4601868 B2 JP4601868 B2 JP 4601868B2 JP 2001194713 A JP2001194713 A JP 2001194713A JP 2001194713 A JP2001194713 A JP 2001194713A JP 4601868 B2 JP4601868 B2 JP 4601868B2
Authority
JP
Japan
Prior art keywords
control system
monitoring
video signal
digital video
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001194713A
Other languages
English (en)
Other versions
JP2002112253A (ja
Inventor
ポール・ダグラカ
アンソニー・ヴェトロ
アジェイ・ディヴァカラン
ハイファン・スン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Research Laboratories Inc
Original Assignee
Mitsubishi Electric Research Laboratories Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Research Laboratories Inc filed Critical Mitsubishi Electric Research Laboratories Inc
Publication of JP2002112253A publication Critical patent/JP2002112253A/ja
Application granted granted Critical
Publication of JP4601868B2 publication Critical patent/JP4601868B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/738Presentation of query results
    • G06F16/739Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/7854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using shape
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/7864Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using domain-transform features, e.g. DCT or wavelet transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389Multiplex stream processing, e.g. multiplex stream encrypting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385Multiplex stream processing, e.g. multiplex stream decrypting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、一般に、監視システムに関し、特にセキュリティイベントに関する情報を捕捉し且つ記憶し、ネットワークを用いてこれらイベントに応答する監視システムに関する。なお、本願は、2000年5月17日付けで出願された米国特許願Ser.No.09/573−467の一部継続出願である。
【0002】
【従来の技術】
動画圧縮標準化グループMPEG(Moving Picture Expert Group)は、画像(ビデオ)及び音声(オーディオ)情報をデジタル圧縮フォーマットで高い品質且つ効率の良い符号化を行う際に用いられる標準規格群である。例えば、静止画像の符号化のためのMPEG−1、動画像(ビデオ)の符号化のためのMPEG−2、マルチメディア符号化に関するMPEG−4のような幾つかのMPEG規格が存在する。
【0003】
コンテンツの記述
MPEG委員会により極く最近行われている規格化は、正式名では「マルチメディアコンテント記述インタフェース(Multimedia Content Description Interface)」と称するMPEG−7である。この規格、即ち、MPEG−7においては、種々な種類もしくは形式のマルチメディアコンテンツを記述するのに使用することができる記述子及び記述スキーム(DS)の集まりを具現化することが計画されている。なお、ここで言う記述子及び記述スキームは、特定のユーザにとって関心のある内容の高速且つ効率的な検索を可能にするものである。
【0004】
なお、これと関連して肝要なのは、MPEG−7規格は従来の符号化規格に取って代わるものではなく、従来の規格表現上に構築されるものであることを念頭に置かれることである。また、この規格は、コンテンツが記憶されるフォーマットには関与しない。
【0005】
MPEG−7の主たる用途は、サーチ及び検索での使用であると期待される。単純な用途もしくはアプリケーション環境においては、ユーザは特定のオブジェクトの幾つかの属性を指定する。この低レベルの表示においては、これら属性は、上記特定のオブジェクトのテクスチャ、動きもしくは運動及び形状を記述する記述子を含むことができる。一層高レベルの表示を得るためには、幾つかの低レベル記述子を組合せた手の混んだ記述スキームが考えられ得る。
【0006】
従来の受信部100が図1に示してある。受信及び復号は2つの基本的な段階で行われる。第1の段階においては、圧縮されたビデオデータから特徴が抽出され、第2の段階では、抽出された特徴を用いてビデオの再構築もしくは再編成が行われる。
【0007】
第1の復号段階では、デマルチプレクサ(demux)110が圧縮されたビットストリーム101を受ける。該デマルチプレクサは、受信したビットストリームのパケットに同期し、ビットストリームのビデオ部分、オーディオ部分及びデータ部分を一次ビットストリーム102に分離する。この時点では依然として圧縮されている1次ビットストリームはメモリコントローラ130を用いて共有メモリ装置120に送られる。フロントエンド パーサ140は、圧縮されたビットストリームをパース(解析)する。このパーサ140は、ビットストリームの高レベルのシンタックス(構文)、例えば、MPEG−2規格でスライスレイヤより上のシンタックスを抽出する機能を有する。
【0008】
上記レベルより低いレイヤーもしくはレベルのビットはシンボル プロセッサ150に転送される。このシンボル プロセッサ150は主に、可変長復号(VLD)動作を行う。MPEGビットストリームでは、例えば、運動ベクトル及び離散コサイン変換(DCT)係数が可変長コードによって、マクロブロックコード等のような他の情報と共に符号化されている。
【0009】
第2の復号段階において、付加的なブロックを取り込んでビデオ信号を再編成する。シンボルプロセッサから、抽出されたマクロブロック及び運動ベクトル情報がアドレス発生部160に送られ、DCT情報は、逆離散コサイン変換部、即ちIDCT部170に送られる。
【0010】
アドレス発生器160は、メモリ装置120にビデオデータを書き込んだり該メモリ装置120からデータを読み取ったりするためのメモリアドレスを発生する機能を有する。該アドレス発生器は、予測モード、現在ブロック位置及び運動ベクトル値のような情報に大きく依存する。これら情報の幾つかは、運動補償装置180に転送され、該運動補償装置180はメモリ装置から読み出されたデータとIDCT部170から受け取ったデータとを結合する機能を有する。
【0011】
モード内予測(intra mode prediction)の場合には、メモリから読み取られるデータは予測情報であるので、メモリから読み出すデータが無い場合が有り得る。再編成されたデータは、運動補償装置180からメモリ120に書き込まれる。このデータを表示すべき時点になると、表示プロセッサ190が当該データを読み込んで必要となり得る付加的な処理を行う。ユーザインタフェース195はメモリコントローラ130との相互作用で、限定された位置アクセスを実現する。
【0012】
ネットワーク化
今や、コンピュータ技術は、家庭や企業を通し多くのインテリジェントな電子デバイスをネットワーク化することができる程充分に低コストで実現できる。現在ではまた、ワールド ワイド ウェブ(World Wide Web:WWW)を利用してデバイス間でディジタルデータをオーディオ、画像及びビデオの形態で転送したり、相互にデータ情報を共有することも可能である。
【0013】
ユニバーサル プラグ アンド プレイ(Universal Plug and Play:UPNP)が、ネットワーク化されるデバイスに対し使用が容易で汎用性があり規格に基づく接続を実現する上でイニシアティブを取っている。UPNPは、パーソナルコンピュータ、即ちPC、ディジタル装置及び無線装置をネットワーク化するための構成要素である。UPNPは、家庭、企業並びにウエブ(Web)接続が可能なあらゆる箇所でネットワーク化されたデバイス間でのデータの制御及び転送を行うためにTCP/IP及び上記 Web 或るいはその他の単純な制御プロトコル(Simple Control Protocol:SCP)を用いる。
【0014】
UPNPは、特別なコンフィギュレーション要することなくネットワーク内で動作するように企図されている。即ち、UPNPは、ネットワークを動的に結合したり、インターネットプロトコル(Internet Protocol:IP)アドレスを得たり、要求に応じ当該UPNP自体及びその能力を公示したり、ネットワーク内の他のデバイスの存在及び能力に関し学習したりすることができるデバイスである。また、このUPNPは、ネットワークの結合に加え、不所望な状態を何ら残すことなくネットワークから離脱することができるデバイスである。
【0015】
セキュリティ システム(安全保護システム)
従来の殆どの監視システムにおいては、屋内及び屋外の場面もしくはシーンについてのビデオを得るのに閉回路テレビジョン(CCTV)方式を採用している。この種のセキュリティ システムにおいては、典型的に、保安作業員が同時に観察可能なようにビデオをモニタ上に表示したり、後で再生して観察するために微速度モードでビデオを記録したりする。
【0016】
このような方法には由々しい制限が存在する。第1に、人間がビデオ監視のような作業において処理することができる可視情報の量には限界がある。時間が経てば、有意味なセキュリティ イベントが容易に見過ごされ得る。また、多数のビデオを観察しなければならない場合には、監視の有効性が低減する。事後的に分析するために記録されたビデオでは実時間ベースでの関与が不可能である。加えて、ビデオ記録の容量には限界があり、更に故障の可能性がある。
【0017】
一般に、ビデオは、組織化もしくは体系化されておらず、またインデックスも付けられていない。有意味なセキュリティイベントを探知するための効果的な手段無しでは、保安作業員が総ての稼動中のカメラからの出力を監視したり或るいは記録することはコスト的に見合わない。セキュリティイベントを大雑把に検出するためにビデオ運動検出を利用することができる。例えば、保安領域内でのあらゆる運動を有意味なイベントと見做すことができる。しかしながら、複雑な場面、即ちシーンにおいては、非常に単純な運動検出スキームでは不充分である。
【0018】
米国特許第5,594,842号明細書には、群運動ベクトルを用いてイベントを検出する監視システムが記述されている。また、米国特許第6,031,582号明細書には、運動ベクトルに対応する信号強度差を用いてイベントを検出する監視システムが記述されている。
【0019】
米国特許第6,064,303号明細書には、疑わしい或るいは特色を表していないイベントを検出するために周囲環境を監視するパーソナルコンピュータ(PC)ベースの家庭用セキュリティシステム(保安システム)が記述されている。或る閾イベントが検出されると、このシステムは付加的なイベントに対し緻密な監視を行う。このようにして、累積された検出イベントが或る閾値を越えると、セキュリティシステムは適当な対処活動を行う。このシステムは、パターン認識により音響及びビデオイベントを検出する。音響イベントは、予め記録されているファイルを用い、高速フーリエ変換で処理され、時間の関数として種々な離散的な特性周波数を有する振幅に変換され、他方、検出されたビデオイベントは、運動(大きさ及び持続期間)、光のコントラストの変化及び明暗の変化で表される。個々のイベントは、関連の重大度を有する。応答は、予め記録されているメッセージを用い関連の番号の電話設備を用いて行われる。
【0020】
米国特許第5,666,157号明細書には、或る領域の実像を、第1の解像レベルの電子的ビデオ信号に変換するためのビデオカメラを有する異常検出/監視システムが記述されている。このシステムは、上記領域内に存在する個々人の運動を標本化するための手段を備えている。標本化された運動のビデオ信号は、犯罪意図を有する人物を表す既知の運動特性と電子的に比較される。その上で、犯罪意図のレベルを決定し、適当な警報信号を発生する。
【0021】
MPEG−7文書ISO/IEC JTC1/SC29/WG11/N2861、「MPEG−7 Applications Document v.9」(1999年7月発行)には、カメラが要注意領域を監視し何らかのイベントが生じた場合に活動をトリガする監視システムが開示されている。このシステムでは、情報を有していない或るいは限られた情報しか有していないデータベースを構築し、時間の経過と共にビデオデータベース及びメタデータを形成する。(「エンコーダ」側での)メタコンテンツの抽出及び(「デコーダ」側での)メタデータの利用においては同じデータベースを用いるものとしている。
【0022】
しかしながら、多くの安全保護用途においては、実時間ベースでのイベントの解析が要求される。上記のMPEG−7 Applications Document では、どのようにして実時間パフォーマンスを達成するかに関する情報は与えられていない。更にまた、高速で信頼性があり且つ正確なイベント検出を達成するために抽出しなければならない実際のメタデータについては規定がない。最後に、この文書には、抽出装置及び他のネットワーク化したデバイスの動作に関し何ら言うべきものがない。
【0023】
従って、上述のようにビデオ符号化及びネットワーク化技術を利用する改良された監視システムを実現することが望ましい。
【0024】
【発明の概要】
本発明は、圧縮されたディジタルビデオ信号から抽出された運動ベクトル及びDCT係数に基づいて、低レベルの特徴を抽出する特徴抽出装置と、上記特徴抽出装置に接続されて上記低レベルの特徴をコンテンツ記述子として符号化する記述エンコーダを含む監視/管制システムを提供するものである。上記システムはまた、上記記述エンコーダに接続されて、上記コンテンツ記述子からセキュリティイベントを検出するためのイベント検出器と、上記イベント検出器に接続されて、セキュリティイベントの検出に応答し制御信号を発生するための制御信号プロセッサとを含む。
【0025】
本システムは、更に、互いにネットワークにより接続された電話器、パーソナルコンピュータ及びビデオレコーダを含む。該ネットワークは、上記制御信号を搬送するための低周波帯域幅のネットワークと、上記圧縮されたディジタルビデオ信号及び上記コンテンツ記述子を搬送するための高周波帯域幅のネットワークとを含む。メモリ装置は、上記圧縮されたディジタルビデオ信号、上記コンテンツ記述子、上記制御信号、ユーザ入力及びユーザのコンフィギュレーション オプションを記憶する。
【0026】
本監視/管制システムは、更に、上記特徴抽出装置に接続されて上記圧縮ディジタルビデオ信号から運動ベクトル並びにマクロブロック及びDCT係数を抽出するシンボルプロセッサを具備すると共に上記メモリ装置に接続されて、上記圧縮されたディジタルビデオ信号及び上記コンテンツ記述子を含む圧縮された出力ディジタルビデオ信号を発生するためのビットストリームプロセッサを具備する。
【0027】
【発明の実施の形態】
ネットワーク化した監視/管制システム
図2は、本発明による監視/管制システム300を備えたネットワーク200を示す。このシステムは、1個または複数個のディジタルビデオカメラ201乃至202、モニタ(テレビジョン:TV)203及びリモートコントローラ203’、ビデオレコーダ(VCR)204、電話器205、無線電話器206、記憶装置(HDD)207、パーソナルコンピュータ208、汎用ディスク装置(DVD−RW)209及び遠隔場所のパーソナルコンピュータ(PC)210から構成されている。上記装置201乃至210及び監視/管制システム300は、ネットワークを介して相互に通信することができる。ここで、ネットワークは、例えば、ローカルインタネット211及び広域インタネット212並びに無線区間213を含むことができる。
【0028】
ネットワークの動作
動作中、ネットワークは、低周波帯域幅の制御信号及び高周波帯域幅のデータメッセージ或るいはビデオコンテンツを搬送する。
【0029】
制御信号
制御信号は、UPNP、電力線、家庭用プラグ、電話回線或るいは他の何らかのプロトコルを用いて装置間で転送することができる。これら制御信号は、両立性のある異なった装置をして他の装置の制御を可能にすると共に、これら制御信号は、装置間で共有したり通信したりすることができる。例えば、制御信号を用いてカメラ201乃至202をオン/オフ制御したり、カメラを(上下或るいは左右に)動かしてズームイン或るいはズームアウトすることができる。メッセージは自動的に発生したり或るいはユーザによって発生することができる。例えば、カメラを周期的にオン/オフすることができるし、或るいはユーザがリモートコントローラ203’、PC(ローカルコンピュータ208或るいは遠隔コンピュータ209)、VCR204、DVD209或るいはTVを用いてカメラを制御することができる。同様にして、パーソナルコンピュータ(PC)或るいは電話器を用いて制御信号を他の装置や消費者の電子デバイス、例えばVCRやDVDに送ることができる。
【0030】
ビデオ信号
ビデオ信号は、ネットワーク211を介しIEEE−394規格に従い伝送することができる。カメラがオン状態にある時には、ビデオをモニタ上にフルウインドウ或るいは映像内映像(PIP)ウインドウとして表示することができる。該ビデオはまた、VCR、DVD或るいはHDD(ハードディスクドライブ)で記録することも可能である。ビデオ情報は、将来の操作及び観察の目的で、例えば、MPEG−7コンテンツベースの記述子のような高レベルのメタデータを含むように符号化される。この符号化は、カメラ内で行うこともできるし、或るいはパーソナルコンピュータもしくはPCまたは監視/管制システム300で行うことも可能である。PCはまたコード変換を行うことができる。即ち、該PCは、ビデオ情報をMPEG−2またはMPEG−4から、可能ならば低いビットレート、低い空間解像度或るいはNTSCフォーマットで他のより望ましい符号化された情報に変換することができる。符号化されたビデオ情報は、VCR、DVD或るいはHDDに記録することができる。符号化に就いては追って詳細に説明する。
【0031】
ユーザは、記録後、記録されているセキュリティイベントに高速且つ効率的にアクセスするために、ビデオブラウザ(閲覧ソフトウエア)を用いてビデオを点検することができる。例えば、ユーザが一週間留守にして家のビデオを記録して置いた場合には、ユーザは家に近付く人物を含む場面のみを観察するだけで良く、その他の有意味なセキュリティイベントを含まない何百時間分ものビデオを観察する必要はない。
【0032】
セキュリティイベントの検出に応答して、本システムは、電話器に対する制御信号を用い、警察、消防署或るいは緊急機関のような適切な非常対処機関にダイヤルすることができる。本システムはまた、イベントの性質に依存し他の任意適当な電話番号を選択することも可能である。更にまた、第3世代(3G)のセル方式電話器(携帯電話)が利用可能である場合には、カメラの出力をそのまま、3G電話器と通信可能な電話設備に送ることができる。
【0033】
監視/管制システムの概要
図3は、監視/管制システム(以降、SCSとも称する)300の主たる構成要素を示す。本監視/管制システムもしくはSCSは、記述エンコーダ320及びイベント検出器330に接続されたビデオ受信/復号/表示器(「デコーダ」)を備えている。また、追って詳細に説明するように、記述エンコーダ320及びイベント検出器330は相互に接続されている。制御信号プロセッサ340がイベント検出器の出力端に接続されている。復号器、即ちデコーダはユーザ入力305を受け付けてSCSのコンフィギュレーションを設定する。ここで、受け付けることができる入力の種類並びにSCSの動作に対する該入力の影響について詳細に説明する。図1に示したシステムの場合と同様に、圧縮されたディジタル入力ビットストリーム301は、ビデオデコーダ310により受け取られる。SCSの出力309は、表示可能なビデオデータストリーム、制御信号及び増補もしくは拡張ビットストリームを含むことができる。制御信号発生器は、検出されたセキュリティイベントに応答して制御信号341を発生する。この場合の1つの利点は、増補もしくは拡張ビットストリームがセキュリティイベントを検出するのに有用な情報を含んでいることである。
【0034】
ネットワーク化した装置201乃至210が改良されたセキュリティ動作を行うのを可能にするために、本発明のシステムは、記述エンコーダ320を用いて特徴の抽出を行う。記述エンコーダは、出力ビットストリームを拡張(増補)するためにコンテンツの記述を発生する。増補もしくは拡張ビットストリームは元の入力ビットストリーム301を含むことができる。
【0035】
イベント検出器330は、抽出された特徴を用いて、高レベルのコンテンツを発生し、デコーダ310にセキュリティイベントを表す信号を供給する。制御信号プロセッサ340は、セキュリティイベントに応答して制御信号を発生し、この制御信号は、ネットワーク装置201乃至210に伝送される。
【0036】
図4は、監視/管制システム、即ちSCS300をより詳細に示す図である。本発明のSCSは、図1の再生システムとは、内部動作及び出力に関して異なる。図4に示してある点線は、従来のビデオ再生システムには存在しない構成要素に対する接続を示している。
【0037】
SCS300は、多重分離器もしくはデマルチプレクサ(demux)410と、メモリ装置500及びメモリコントローラ430と、フロントエンドパーサ440と、シンボル(記号)プロセッサ450とを含んでいる。これらシステム構成要素は、第1段階の復号中、特徴の抽出455に用いられる。
【0038】
また、本システムは、アドレス発生器460、逆離散コサイン変換部、即ち逆DCT(IDCT)470、運動補償装置480及び表示プロセッサ490を備えている。これら構成要素は、第2段階の復号中にイメージもしくは像の再編成(再生)及び表示402を発生するのに用いられる。尚、後述する或る種の動作モードにおいては、従来の受信部とは対照的に、第2段階の復号中に用いられる叙上の構成要素をオフにして全メモリ帯域幅及び処理優先度を特徴の抽出及び第1段階の復号に割当てることができる。
【0039】
内部動作への切り換えは、特徴抽出装置410及びMPEG−7記述エンコーダ320の動作の結果として行われる。特徴抽出装置455は本明細書で説明する動的特徴抽出を実行する。運動ベクトル情報、DCT係数及び形状情報を含む低レベルのデータはシンボル(記号)プロセッサ450から特徴抽出装置455に転送される。
【0040】
後述するように、この低レベルデータは、サーチ及び検索に有用であるMPEG−7記述子に写像することができる。この写像(マッピング)は、記述エンコーダ320によって行われる。また、該エンコーダは、フロント エンド パーサ440及びシステム デマルチプレクサ410から情報を受けることができる。
【0041】
好適な実施の形態においては、エンコーダは、選択された規格、例えば、MPEG−7規格に従って記述スキームを実体化(instantiate)する。尚、他の規格に応じて他の形式のエンコーダもを使用可能であることは理解されたい。規格に従っての符号化で、装置201乃至210間の相互動作が可能になる。記述スキームはイベント検出器330に転送される。抽出されたデータも、メモリコントローラ430を介してメインメモリ装置500に転送することができる。
【0042】
イベント検出器330は、セキュリティイベントを検出し、検出されたイベントをシステムの他の構成要素、特に、制御信号プロセッサ340に信号で報知する。ユーザ入力305は、個人情報及びオプション入力305に対しシステムのコンフィギュレーションを設定するのに用いられる。ここで個人情報には、例えば、職場、携帯電話、ページャ、e−メイルアドレス、警察署、消防署、救急機関のような接触先電話番号、接触の優先度、即ち、e−メイルを先に送り、特定の時間内に応答がない場合には警察署に電話するとか或るいは総ての接触先に報知する等の接触優先順位、日/時のカストマイズ、例えば、VCR、DVD、TV、PC、モニタ等のビデオ出力を送るための作業場所を呼出して6pm以前にはe−メイルを送り、6pm以後には携帯電話を呼出す等の日/時カストマイズ情報を含む。
【0043】
図5に示すように、本発明のセキュリティシステムのメモリ500は、4種類のビデオデータ、即ち、元の圧縮されたビットストリーム(BS)510の総てもしくは一部分、関心のあるビデオを再編成したり、その概要を作成するために選択されたフレーム(セキュリティフレーム)520、記述スキーム(DS)530及びユーザ入力(UI)540を記憶する。このメモリはまたイベント検出器により出力される制御信号(CS)501並びに上述したようコンフィギュレーションに関するユーザオプション(UP)502を記憶する。
【0044】
本発明のシステムはまた、特徴抽出能力を有することに加えて、ビットストリームプロセッサ491を介し拡張ビットストリーム401を出力することができる。該ビットストリームプロセッサは、このデータを、メモリコントローラを介してメイン メモリ装置から受け取る。出力ビットストリームは、圧縮されたコンテンツ、即ち、元のビットストリーム301、コンテンツのサマリ(要約)及びコンテンツの記述を含むことができる。ビットストリームプロセッサは、この情報をコンテンツが存在する場所から遠隔のユーザに対し伝送したりネットワークを介して記録装置に電送するのに適した仕方でフォーマット化する。
【0045】
コンテンツ及び(または)その対応の記述を出力する目的は、ユーザに対して、信号で伝送されたセキュリティイベントを遡及的に追跡するのを容易にする情報を提供するためである。上記の記述は、コンテンツ内のキーポイントの高速検索に使用することができる。
【0046】
ネットワークを介して伝送される実際の制御信号341は、制御信号プロセッサ340によって発生される。該制御信号プロセッサは、イベント検出器からセキュリティイベントが検出された旨の報告を受け、ユーザのオプション情報を参照し、対応のネットワーク装置に適切な制御信号を発生する機能を有する。
【0047】
制御信号の種類は、3つの範疇、即ち、(i)ユーザ入力として与えられる保安接触情報、(ii)カメラの運動、切換及び操作並びに記録、電話発呼のような活動データ等の装置制御パラメータ及び(iii)例えば、HDD207に対する拡張ビットストリーム401の伝送及び電話器205或るいはPC210への適切な電話番号の送出等のルーチング(経過指定)情報に分類することができる。
【0048】
システム動作
本発明の監視/管制システム、即ちSCS300は、圧縮されたディジタル ビデオ信号から動的に特徴、即ち特徴を抽出する。これら特徴を用いてセキュリティイベントを検出し、対処活動もしくはアクションを自動的に開始することができる。
【0049】
本システムの1つの大きな特徴は、他の装置との動作両立性にある。この動作両立性は、ビデオのコンテンツを配送し再生するのに標準の圧縮技術を用い且つコンテンツを記述し、検索しアクセスするのに標準の記述スキーム(DS)を用いることにより実現することができる。本発明のSCSはイベントのステータスに依存し、数多の異なったモードで動作可能である。
【0050】
部分復号−出力を伴わないイベントのサーチ
第1のモードにおいては、受信した圧縮ビットストリームは本発明の監視/管制システム、即ちSCSによりパース(解析)されて部分的に復号される。この「部分復号」とは、第1段階の復号動作を含むだけの復号と定義される。このモードにおいては、ビデオを再編成するための第2段階の復号は不能である。換言するならば、この部分復号モードにおいては、従来の受信システムとは異なり、アドレスの発生も行わなければ逆DCTの計算も行われず、また運動補償も行わなければ、勿論のこと表示も行われない。即ち、第2段の復号化は側路されるのである。このモードにおけるSCSの主たる目的は、圧縮されたビデオ信号から抽出された特徴によりセキュリティイベントをサーチすることである。
【0051】
表示が行われないので、全メモリ帯域幅を、部分復号並びに特徴の抽出、符号化及びイベントの検出専用に割り当てることができる。その結果、このモードにおいて、本システムは、圧縮された入力ビットストリームの選択された要素(エレメンツ)を効率良く処理してコンテンツについての低レベル及び高レベルの情報を抽出することが可能である。部分復号で、比較的短時間内に有意味な特徴を抽出できる。例えば、数時間分のビデオを、数分或いはそれより短い時間内で処理することが可能である。
【0052】
この目的に有用である抽出されたビットストリーム要素の例としては、ビットストリーム内の運動ベクトル、DCT係数及び映像/マクロブロック符号が挙げられる。これら要素はシンボル プロセッサ450及びフロントエンドパーサ440から出力される。更に、副ビットストリームから情報を抽出することも可能である。この種の情報はシステムのデマルチプレクサ(demux)410から出力される。この種のデータの一例として、MPEG−7メタデータがあり、日時スタンプ情報のようなコンテンツに関する注釈情報を含むことができる。
【0053】
ビットストリームを部分的に復号して情報を抽出することにより得られる利点は、比較的短い時間内に特徴を収集しセキュリティイベントを検出することができる点にある。この部分復号モードは、特記すべきイベントが未だ検出されていない場合の受動的監視に対して最も良好に適用可能である。
【0054】
全復号−イベントの検出または連続表示出力
第1段階の部分復号モードとは対照的に、第2のモードは、分析中のビデオを再編成してローカル表示装置に出力する点で第1のモードと異なる。この全復号モードにおいては、部分復号モードについて述べたのと同じ仕方で特徴を抽出しコンテンツ記述子として符号化する。しかしながら、この特徴抽出はビデオデータの表示と同時に行われる。言い換えるならば、ビデオを再生しながらであるので、特徴の抽出及び符号化は動的、即ちダイナミックであると言える。
【0055】
この動作モードは、単一または複数のカメラを備え単一または複数のビットストリームがSCSに入力され常に信号が表示されるシステムに対して適用可能である。表示装置は単一であっても或いは複数であっても良い。多数のカメラを用い然も表示装置が少数である場合には、本SCSは、ビットストリームを再編成し、再編成したビットストリームを表示するように制御を行うことができる。主要な点は、ビデオを再編成し且つ表示しながら圧縮されたビデオ信号を分析することである。
カメラ及び表示装置がそれぞれ1台しか設けられていない特殊事例においては、本SCSは、セキュリティイベントの検出で全符号化モードに入ることができる。
【0056】
混成複合
第3のモードにおいては、圧縮されたビットストリームを可能最高のビットレートで受信し処理しつつ、ビットストリームの部分復号が行われる。部分的に復号されたビットストリームは、メモリ装置500に格納される。同時に、ビデオを表示することができるように、メモリ装置に格納されている復号されたビットストリームから第2段階の再編成が行われる。特徴を抽出し符号化イベントを検出するのに要する期間中、フレーム レートを例えば毎秒15フレーム或るいはそれ以下に減少して、より多くのシステムリソース(資源)が特徴抽出、符号化及びイベント検出に利用可能になるようにすることができる。
【0057】
このモードの典型的な応用例においては、ビデオから特徴を連続的に抽出する。セキュリティイベントが検出されると、該イベントの分析のためにより多くのシステムリソースが必要となり得る。この場合には、復号用リソースには低い優先度が与えられ、それにより、充分ではあるが低い時間的解像度のビデオ信号を表示したり記録したり或いは伝送するのに充分なリソースを与えることができる。
【0058】
これらモードの何れにおいても重要な点は、選択された規格に従うメタデータが利用可能な圧縮データから抽出されることである。ここで、利用可能なデータは、圧縮されたビットストリームから抽出される低レベルの特徴或るいは副データストリームからの情報だけあっても良く、完全な或るいは完全ではない何らかのMPEG−7メタデータを含んでいる。このようにして他の装置との動作両立性が達成される。
【0059】
特徴の抽出
圧縮されたビットストリームからの特徴の抽出は、多くの文献に報告されている。この種の抽出の主たる利点は、デマルチプレクサ、パーサ及びシンボルプロセッサの出力に依拠することにより逆DCTの計算を回避できるという理由から計算が単純であるという点に見られる。シンボルプロセッサの出力には、運動ベクトル情報及びDCT係数が含まれる。
【0060】
このような抽出に最も応じ易い特徴は、色、輝度(ルミナンス)及び運動である。また、特徴抽出装置455の出力は、記述子の値を実体化する記述エンコーダ320にも送られる点に留意されたい。実体化された記述子(description instantiations)は、次いで、イベント検出器330で用いられる。
【0061】
ルミナンス及びカラー:I−フレームでは、シンボルプロセッサ450の出力には、ブロックのルミナンス及びクロミナンスの「dc(直流)」値が含まれていることに注目されたい。従って、I−フレームの「dc画像」は、シンボルプロセッサ450の出力を用いて容易に構成することができる。dc画像を用いて場面の変化を如何に検出するかに関しては周知である。また、dc画像から、主たるカラー(主色)、カラーヒストグラム、コンパクトカラー、GOF/GOPカラーヒストグラム、カラー組成ヒストグラム、カラーのレイアウト等々のようなカラー記述子を決定することも可能である。例えば、下に掲げた表1における主色記述子のバイナリ構文を参照されたい。
【0062】
【表1】
Figure 0004601868
Figure 0004601868
【0063】
MPEG圧縮ビデオ信号では、YUVまたはYcrCb、カラー量子化、即ち、ビンの数、色閾値の初期値等々に対する色空間デフォルト値は、主カラー数もしくは主色数の場合と同様に特徴抽出装置自体によって決定され点に留意されるべきである。その場合、信頼度、色値及び百分率は、マクロブロックの色のdc値を用いて、当該マクロブロックに属するそれぞれのピクセルの色と同様に画像自体から決定される。このことから、主色をシンボルプロセッサ450の出力からどのようにして決定できるかがおおよそ理解されるであろう。
【0064】
P−フレームからdc画像を得るためには、シンボルプロセッサの出力を異なった仕方で処理しなければならない。この処理は、マクロブロックが通常予測的に符号化されているために異なってくる。dc成分を得るために、DCT領域で運動の補償を行う方法、例えば、米国特許願第08/742,124号明細書「Digital video decoder and method of decoding a video signal」に記載されている方法のような方法を用いることができる。この場合の計算オーバヘッドは、逆DCTの計算に要するオーバヘッドよりも相当に低い。
【0065】
運動: 圧縮された領域で運動の特徴は、比較的容易に抽出することができる。その理由は、運動について補償が行われたフレームの場合、シンボルプロセッサの出力には、各マクロブロック毎に運動ベクトルが含まれているからである。運動ベクトルからの特徴抽出には幾つかの試みが提案されている。例えば、米国特許願第09/236,838号明細書「Method of feature extraction of video sequences」を参照されたい。
【0066】
圧縮領域において決定することができるMPEG−7運動記述子には、運動アクティビティ(活動度)、カメラの運動、運動軌跡及びパラメトリック運動が含まれる。下に掲げる表2に示すような運動活動度記述子のバイナリ表示構文を参照されたい。
【0067】
【表2】
Figure 0004601868
【0068】
上に示した総ての欄のパラメータは、シンボルプロセッサから出力される運動ベクトルから容易に算出することができる。例えば、強度パラメータは、運動ベクトルの大きさの標準偏差を最初に計算し次いで該標準偏差を3ビット値に量子化することにより算出される。
【0069】
メタデータ符号化器
MPEG−2またはMPEG−4には、取り扱い易いビットストリームを発生するのに使用しなければならない良好に規格化されたエンコーダ構造がある。適合点は、プロフィル/レベル定義に基づいている。即ち、MPEG−2Main Profile@High Level(MP@HL)エンコーダは、映像のサイズ、データ レート等々の点で制限されている。しかしながら、運動の評価を行わなければならない幾つかのブロック、DCTを行う必要のあるブロック等々が存在することが知られている。ベース及びエンハンスメント レイヤを符号化しなければならないスケーラビリティ プロフィルの1つで動作している場合には、エンコーダの構造をどのように変更する必要があるかは知られている。これは、規格により明瞭に定義されている。
【0070】
MPEG−7において、実体化記述スキームはMPEG−7エンコーダと同様である。しかしながら、多くの異なった型式のメタデータには広汎な記述スキームが所属する。各種のデータを如何に作成するかは特殊であり、規格によって特定されていない。MPEG−7にとっては、記述スキームをどのように実体化するかに関して特定するのは恐らく無理であり、然もこれは規格の規範的な部分であるので、MPEG−7エンコーダについての構造規格は存在しないと言える。従って、各DSはケースバイケースで実体化しなければならず、特定のアプリケーションの範囲内で有意味になることができる。
【0071】
ここで重要な点は、汎用のMPEG−7エンコーダは、特定の目的或るいは用途が念頭に無い場合には有意味でないことである。ここで、目的とするところは、改良されたコンテンツベースでのアクセスを達成することであり、従って、本発明のSCSが実体化する記述スキーム並びに本システムに独特な実体化方法(instantiation method)について以下に説明する。
【0072】
ここで、明らかにしておきたいもう1つの点は、本発明のセキュリティシステムは他の装置との動作両立性を達成するためにメタデータを符号化することである。この他の装置との動作両立性が必要なければ、MPEG−7規格に従ってメタデータを符号化する必要はない。即ち、システムは単に、それ自身が所有する内部的で且つ該特定のシステムだけが理解する記述子及び記述スキームを使用するだけで良い。この場合には、増補もしくは拡張ビットストリームをも出力する必要はない。
【0073】
記述スキームインスタンシエータ(記述スキーム実体化モジュール)の詳細
記述スキーム(DS)は、記述子の容器と考えることができる。また、記述スキームは、各種の記述子を組織化するデータ構造であると見ることもできる。これと関連して、MPEG−7マルチメディア記述スキーム ワーキング ドラフト(Multimedia Description Scheme Working draft)から抜粋した付録Aに記述されているMPEG−7ビデオセグメント記述スキーム(DS)の用語上の意味について参照されたい。
【0074】
記述子に関する箇所で述べている色(カラー)及び運動記述子がビデオセグメントDS(VideoSegment DS)でどのように取り上げられているかについて述べておき度い。この場合、記述スキームは、先に述べたように構成記述子の各々を決定することにより実体化(instantiate)することができる。ビデオセグメントDS(VideoSegment DS)は、圧縮領域もしくは定義域での特徴の抽出により実体化することが可能であることに留意されたい。このように、ビデオセグメントDSは、個々の記述子をそれ自体で使用することを可能にすると共に、ここで述べている監視アプリケーションを可能にする他の記述子と組合せて使用することを許容する。
【0075】
ビデオセグメントDSは、コンテンツの構造上の特性を記述するMPEG−7規格のDSの一例である。他のこの種のDSには、セグメントDS及びその子供、例えば運動領域DS(Moving Region DS)等々が含まれる。他のDSには、要約DS(Summary DS)により可能化される要約(summarization)のようなアプリケーションを強調するDSがある。
【0076】
ウエイトDS(Weight DS)は、記述スキームにおける各種記述子の相対重み付けを表す。従って、相対重み付けは、要求に応じMPEG−7DSインスタンシエータで実体化することができる。エンティティ関連グラフDS(Entity-Relation Graph DS)は、異なったエンティティ間における関係を表現する。シンボルプロセッサの出力は、「よりアクティブである」、「最もアクティブである」、「より高速である」、「より大きい」、「より新しい」等々のような関係の同定もしくは識別を可能にする。従って、このクラスの対応のエンティティ関係グラフは圧縮された定義域において実体化することができる。
【0077】
時間DS(Time DS)、メディア ロケータDS(Media Locator DS)、グリッド(Grids)及びヒストグラム(Histograms)のような基本的なDSがある。これらDSは総てのDSに適用可能であり、従って基本的に重要である。エンコーダ320に組み込まれているシンボル プロセッサ450の出力を処理することで、これら記述子スキームの総てを複製することができる。例えば、圧縮されたビットストリーム内に存在するタイム スタンプ情報を用いて、監視アプリケーションに対し非常に重要な特徴である時間DS(Time DS)を副次的に生成する、即ち複製することができる。
【0078】
MPEG−7はまた、テキスト記述(注釈DS)、概念上のアスペクト(例えば、意味論的記述スキーム)、コンテンツの本来的性質(例えば、モデルDS)を表現する「高レベル」のDSをも含む。
【0079】
要するに、システム デマルチプレクサ110、フロントエンドパーサ440及びシンボル プロセッサ450が提供する情報を用いて強力な記述スキームの部分集合をインスタンシエート(instantiate)、即ち実体化することが可能である。
【0080】
セキュリティイベントの検出
自動的なセキュリティイベントの検出には、低レベル情報からの高レベル情報の推測が行われる。と言うのは、直接且つ自動的に得ることができるのは低レベルの情報だけだからである。単純な例として、保安領域に侵入する侵入者の検出について考察してみる。保安領域を監視している観察者は、当該領域のセマンチックな、即ち高レベルの特徴における変化に注目することにより侵入者を直ちに検出し得ることは言うまでもない。他方、本発明の自動セキュリティイベント検出システムは、排他的にカメラによって捕捉されるオーディオ−ビデオ情報の自動処理に依拠する。カメラからのオーディオ−ビデオ情報(信号)は、色、運動、音量等々のような低レベルの特徴しか含んでおらず、標識の付いた保安領域や侵入者のような意味論的情報は含んでいない。しかしながら、一般に、侵入者の侵入のような意味論的イベントは、カメラにより捕捉されるオーディオ−ビデオシーンの低レベルの特徴に対し直接的なインパクトを与える。
【0081】
上述の単純な例においては、保安領域の運動アクテビティ(活動度)は、侵入者が存在しない場合は零である。と言うのは、このシーンもしくは場面には運動する客体、即ちオブジェクトが存在しないからである。侵入者が侵入すると直ちに、運動アクテビティが急激に増加する。侵入者が去ると、運動アクテビティは再び通常の低レベルに戻り、この低レベルに留どまる。この場合には、オーディオ−ビデオシーンの運動特徴だけで、侵入の開始及び終わりを検出するのに充分である。同様に、侵入者の顔が捕らえられると、場面のテクスチャに変化が生じ、場面に顔の存在が表示される。また、この場合には、侵入により音量を大きくすることができよう。
【0082】
キーポイント、即ち重要な点は、捕捉されたオーディオ−ビデオ情報の低レベルの特徴における変化で屡々、場面の意味論的内容に変化が生ずることである。なお、保安領域内への侵入者の侵入は、イベントの単なる一例であることは言うまでもない。本発明のシステムは、このような単純なイベントに制限されるものではなく、低レベルの特徴を用いて検出することできるあらゆるイベントに適用可能である。
【0083】
本発明のシステムはまた、予め記録されているオーディオ−ビデオ情報からイベントを検出することも可能である。このような「事後的」監視も保安システムにおいては有価値である。
【0084】
イベント検出器330における低レベル特徴の他の特定の利用例として、イベントが終了したこと(例えば、侵入者がカメラの視野から去ったこと)を観察し、このようなイベントを生起せしめた客体もしくはオブジェクトのパラメトリックな運動を抽出することである。ここでパラメトリックな運動とは、MPEG−7によって採用されているビデオ記述子である。このパラメトリック運動を用いて、カメラ201乃至202の位置を自動的にイベントを追跡するよう調節することができる。イベントを検出したのと同じカメラで、当該イベントを追跡し続けることが不可能である場合には、パラメトリック運動を用いて他の要所要所に配置されたカメラを選択することもできる。
【0085】
最も広い意味において、本発明の監視システムの目的は、正常な状態から異常な状態を識別することにある。侵入者の例をとれば、状態の変化が音響及び運動の活動度、即ちアクテビティにより識別され、この場合正常な状態のオーディオ−ビデオ特徴は実質的に零である。しかしながら、殆どの実際上の保安用途において、正常の状態は零ではない。これを、便宜上、非零正常状態(NZ−NS)監視と称する。
【0086】
非零正常状態監視もしくはNZ−NS監視を説明するための第1の例として、静止していたり運動している人々、自転車に乗っている者、自動車、バス及びトラック並びに非常に複雑なオーディオもしくは音響信号が存在する交通領域を観察するために取り付けられているカメラを考える。MPEG−7記述子を用いデータの学習で、事故、暴行、交通違反等々のようなセキュリティイベントを抽出することが可能である。NZ−NS監視はまた、混雑している商店等で万引きの検出や誤魔化しの検出に使用することもできる。本システムはまた、自動化された製造設備でコンベアベルト上の不合格部品を検出したり何らかの機械から出る煙りや奇妙な雑音を検出するのにも有用である。
【0087】
制御信号プロセッサ
制御信号プロセッサ、即ちCSP340は、イベント検出器330からの割込みを受けて、図2のネットワークに接続されている他の装置に対し適当な制御信号を発生する。このような制御信号で、セキュリティイベントを検出している場合にはテレビジョン上に現れるPIPウインドウを発生したり、電話番号をダイヤルしたりまた予め記録されているメッセージを再生したり、或るいはe−メイルを送ったり、或るいはパーソナルコンピュータ上にウインドウを立ち上がらせてカメラの1つからの映像を表示したりすることができる。また、このような制御信号はユーザの選択したオプションに従いカストマイズすることが可能である。更にまた、応答活動の順序に優先度を割り当てることもできる。
【0088】
応用シナリオ例
ローカルな監視用途においては、SCS300はモニタ/TV及び記録装置にビデオ内容を供給する。これによりイベントが検出され、警報が起動され、電話設備を介して関連の人に接触が取られる。ユーザはまた、リモートコントローラのような他の両立性のある装置を介してカメラを制御することもできる。遠隔監視用途例においては、SCS300は上述のローカル(局所的)監視システムの総ての活動行うと共にそれに加えて外部監視をも行う。この外部監視及び管制は遠隔パーソナルコンピュータ210を用いて行うことができる。
【0089】
商業上の用途においては、本システムを採用することにより、20の異なった領域を観察するのに20個のモニタを設ける必要性を効果的に排除することができる。即ち、CSP340は、検出されたイベントに依存し監視すべき場面もしくはシーンを自動的に選択することができる。加えて、記録すべきビデオの量を、異常なイベントだけを記録することにより大きく減少することが可能である。
【0090】
以上、本発明を単なる例として好適な実施例と関連し説明したが、本発明の精神及び範囲内で種々な他の適応や変更が可能であることは理解されるべきである。このような変更は、本発明の範囲に包摂されるものであることを付記する。
【図面の簡単な説明】
【図1】 従来のビデオ受信器のブロックダイヤグラムである。
【図2】 本発明の監視/管制システムを含むネットワークのブロックダイヤグラムである。
【図3】 圧縮されたビデオ信号からセキュリティイベントを検出し信号で報知するための監視/管制システムの概略ブロックダイヤグラムである。
【図4】 図3に示した監視/管制システムの詳細ブロックダイヤグラムである。
【図5】 図4に示した監視/管制システムのメモリ装置のブロックダイヤグラムである。

Claims (15)

  1. 監視/管制システムにおいて、 圧縮されたディジタルビデオ信号から抽出された運動ベクトル及びDCT係数に基づいて、低レベルの特徴を抽出する特徴抽出装置と、 前記特徴抽出装置に接続されて前記低レベルの特徴をコンテンツ記述子として符号化する記述エンコーダと、
    前記記述エンコーダに接続されて、前記コンテンツ記述子からセキュリティイベントを検出するためのイベント検出器と、 前記イベント検出器に接続されて、セキュリティイベントの検出に応答し制御信号を発生するための制御信号プロセッサとを含むことを特徴とする監視/管制システム。
  2. 請求項1に記載の監視/管制システムにおいて、更に、互いにネットワークにより接続された電話器、パーソナルコンピュータ及びビデオレコーダを含むことを特徴とする監視/管制システム。
  3. 請求項1に記載の監視/管制システムにおいて、前記ネットワークが、前記制御信号を搬送するための低周波帯域幅のネットワークと、前記圧縮されたディジタルビデオ信号及び前記コンテンツ記述子を搬送するための高周波帯域幅のネットワークとを含むことを特徴とする監視/管制システム。
  4. 請求項1に記載の監視/管制システムにおいて、更に、前記圧縮されたディジタルビデオ信号、前記コンテンツ記述子、前記制御信号、ユーザ入力及びユーザのコンフィギュレーション オプションを記憶するメモリ装置を含むことを特徴とする監視/管制システム。
  5. 請求項1に記載の監視/管制システムにおいて、更に、前記特徴抽出装置に接続されて前記圧縮ディジタルビデオ信号から運動ベクトル並びにマクロブロック及びDCT係数を抽出するシンボルプロセッサを具備していることを特徴とする監視/管制システム。
  6. 請求項4に記載の監視/管制システムにおいて、更に、前記メモリ装置に接続されて、前記圧縮されたディジタルビデオ信号及び前記コンテンツ記述子を含む圧縮された出力ディジタルビデオ信号を発生するためのビットストリームプロセッサを含むことを特徴とする監視/管制システム。
  7. 請求項6に記載の監視/管制システムにおいて、前記圧縮された出力ディジタルビデオ信号がネットワークを介し遠隔ビデオ受信部に伝送されることを特徴とする監視/管制システム。
  8. 請求項1に記載の監視/管制システムにおいて、コンテンツ記述子がビデオ符号化規格に従って符号化されることを特徴とする監視/管制システム。
  9. 請求項1に記載の監視/管制システムにおいて、エンコーダが、コンテンツ記述子に従い、圧縮された入力ディジタルビデオ信号の要約を生成することを特徴とする監視/管制システム。
  10. 請求項9に記載の監視/管制システムにおいて、圧縮入力ディジタルビデオ信号の前記要約がメモリ装置に記憶されることを特徴とする監視/管制システム。
  11. 請求項1に記載の監視/管制システムにおいて、前記コンテンツ記述子が、前記圧縮入力ディジタルビデオ信号における運動活動度に準拠することを特徴とする監視/管制システム。
  12. 請求項1に記載の監視/管制システムにおいて、更に、少なくとも1つのカメラ、モニタ、ビデオレコーダ、電話器、記憶装置、パーソナルコンピュータ、汎用ディスク(DVD)及び遠隔パーソナルコンピュータとを含み、前記総ての装置がネットワークにより互いに接続されて制御信号により操作されることを特徴とする監視/管制システム。
  13. 請求項1に記載の監視/管制システムにおいて、前記制御信号が保安関連情報、装置制御パラメータ及びルーチング情報を含むことを特徴とする監視/管制システム。
  14. 請求項1に記載の監視/管制システムにおいて、前記圧縮されたディジタルビデオ信号における正常な非零状態を異常非零状態から識別しセキュリティイベントを検出することを特徴とする監視/管制システム。
  15. 請求項1に記載の監視/管制システムにおいて、制御信号がそれぞれ優先度を有することを特徴とする監視/管制システム。
JP2001194713A 2000-07-10 2001-06-27 ネットワーク化した監視/管制システム及び方法 Expired - Lifetime JP4601868B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/612,876 US6646676B1 (en) 2000-05-17 2000-07-10 Networked surveillance and control system
US09/612876 2000-07-10

Publications (2)

Publication Number Publication Date
JP2002112253A JP2002112253A (ja) 2002-04-12
JP4601868B2 true JP4601868B2 (ja) 2010-12-22

Family

ID=24454971

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001194713A Expired - Lifetime JP4601868B2 (ja) 2000-07-10 2001-06-27 ネットワーク化した監視/管制システム及び方法

Country Status (6)

Country Link
US (1) US6646676B1 (ja)
EP (1) EP1173020B1 (ja)
JP (1) JP4601868B2 (ja)
CN (1) CN1338873A (ja)
DE (1) DE60102627D1 (ja)
HK (1) HK1041754A1 (ja)

Families Citing this family (161)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1068752A4 (en) * 1998-01-12 2002-09-18 David A Monroe APPARATUS AND METHOD FOR SELECTING CIRCUITS IN A MULTI-CIRCUIT TELECOMMUNICATIONS DEVICE
US7023913B1 (en) 2000-06-14 2006-04-04 Monroe David A Digital security multimedia sensor
US6853302B2 (en) 2001-10-10 2005-02-08 David A. Monroe Networked personal security system
US7131136B2 (en) 2002-07-10 2006-10-31 E-Watch, Inc. Comprehensive multi-media surveillance and response system for aircraft, operations centers, airports and other commercial transports, centers and terminals
US7057647B1 (en) 2000-06-14 2006-06-06 E-Watch, Inc. Dual-mode camera system for day/night or variable zoom operation
US20030067542A1 (en) 2000-10-13 2003-04-10 Monroe David A. Apparatus for and method of collecting and distributing event data to strategic security personnel and response vehicles
US20080201505A1 (en) * 2003-01-08 2008-08-21 Monroe David A Multimedia data collection device for a host with a single available input port
US7228429B2 (en) 2001-09-21 2007-06-05 E-Watch Multimedia network appliances for security and surveillance applications
US6970183B1 (en) * 2000-06-14 2005-11-29 E-Watch, Inc. Multimedia surveillance and monitoring system including network configuration
US7634662B2 (en) 2002-11-21 2009-12-15 Monroe David A Method for incorporating facial recognition technology in a multimedia surveillance system
US6545601B1 (en) 1999-02-25 2003-04-08 David A. Monroe Ground based security surveillance system for aircraft and other commercial vehicles
US6518881B2 (en) * 1999-02-25 2003-02-11 David A. Monroe Digital communication system for law enforcement use
US6461872B1 (en) * 1999-11-17 2002-10-08 General Electric Company Poly(1,4-ethylene-2-piperazone) composition, method for production of a poly(1,4-ethylene-2-piperazone) composition, TCE-detecting method and sensor
JP3677192B2 (ja) * 2000-04-19 2005-07-27 シャープ株式会社 画像処理装置
US20020120780A1 (en) * 2000-07-11 2002-08-29 Sony Corporation Two-staged mapping for application specific markup and binary encoding
JP4405146B2 (ja) * 2000-10-17 2010-01-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Mpeg−7インスタンス用の二進フォーマット
US7398275B2 (en) * 2000-10-20 2008-07-08 Sony Corporation Efficient binary coding scheme for multimedia content descriptions
US20050146605A1 (en) 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US7868912B2 (en) 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US7698450B2 (en) 2000-11-17 2010-04-13 Monroe David A Method and apparatus for distributing digitized streaming video over a network
US7839926B1 (en) 2000-11-17 2010-11-23 Metzger Raymond R Bandwidth management and control
WO2002045434A1 (en) * 2000-12-01 2002-06-06 Vigilos, Inc. System and method for processing video data utilizing motion detection and subdivided video fields
US20020080238A1 (en) * 2000-12-27 2002-06-27 Nikon Corporation Watching system
US7681032B2 (en) 2001-03-12 2010-03-16 Portauthority Technologies Inc. System and method for monitoring unauthorized transport of digital content
US20050025291A1 (en) * 2001-03-12 2005-02-03 Vidius Inc. Method and system for information distribution management
US8478824B2 (en) * 2002-02-05 2013-07-02 Portauthority Technologies Inc. Apparatus and method for controlling unauthorized dissemination of electronic mail
US20020171734A1 (en) * 2001-05-16 2002-11-21 Hiroshi Arakawa Remote monitoring system
JP2003087772A (ja) * 2001-09-10 2003-03-20 Fujitsu Ltd 画像制御装置
US20030071902A1 (en) * 2001-10-11 2003-04-17 Allen Paul G. System, devices, and methods for switching between video cameras
EP1311124A1 (en) * 2001-11-13 2003-05-14 Matsushita Electric Industrial Co., Ltd. Selective protection method for images transmission
US20030110297A1 (en) * 2001-12-12 2003-06-12 Tabatabai Ali J. Transforming multimedia data for delivery to multiple heterogeneous devices
EP2202978A1 (en) * 2002-04-12 2010-06-30 Mitsubishi Denki Kabushiki Kaisha Hint information describing method for manipulating metadata
EP1459544B1 (en) 2002-07-05 2007-06-06 Agent Video Intelligence Ltd A method and system for effectively performing event detection in a large number of concurrent image sequences
US7453906B2 (en) * 2002-09-19 2008-11-18 Microsoft Corporation Systems and methods for providing automatic network optimization with application variables
US7257644B2 (en) * 2002-09-19 2007-08-14 Microsoft Corporation Systems and methods for providing presence tracking in a distributed computing system
US20040086152A1 (en) * 2002-10-30 2004-05-06 Ramakrishna Kakarala Event detection for video surveillance systems using transform coefficients of compressed images
US20040135879A1 (en) * 2003-01-03 2004-07-15 Stacy Marco A. Portable wireless indoor/outdoor camera
US20050134685A1 (en) * 2003-12-22 2005-06-23 Objectvideo, Inc. Master-slave automated video-based surveillance system
US7005981B1 (en) * 2003-05-27 2006-02-28 The United States Of America As Represented By The Secretary Of The Army Method and apparatus for the extraction and compression of surveillance information to facilitate high performance data fusion in distributed sensor systems
US7577199B1 (en) * 2003-06-19 2009-08-18 Nvidia Corporation Apparatus and method for performing surveillance using motion vectors
US7339493B2 (en) * 2003-07-10 2008-03-04 University Of Florida Research Foundation, Inc. Multimedia controller
KR100941139B1 (ko) 2003-09-15 2010-02-09 엘지전자 주식회사 유피엔피(UPnP) 기반 네트워크의 미디어 스트리밍 파라미터 설정 방법
KR101015811B1 (ko) * 2003-09-23 2011-02-22 엘지전자 주식회사 UPnP 기반의 미디어 콘텐츠 재생을 제어하는 전자기기 및 그 방법
GB2408882A (en) * 2003-12-03 2005-06-08 Safehouse Internat Inc Highlighting an event of interest to an operator
US7664292B2 (en) * 2003-12-03 2010-02-16 Safehouse International, Inc. Monitoring an output from a camera
AU2004233453B2 (en) * 2003-12-03 2011-02-17 Envysion, Inc. Recording a sequence of images
US20050163345A1 (en) * 2003-12-03 2005-07-28 Safehouse International Limited Analysing image data
NZ536913A (en) * 2003-12-03 2006-09-29 Safehouse Internat Inc Displaying graphical output representing the topographical relationship of detectors and their alert status
US20050151846A1 (en) * 2004-01-14 2005-07-14 William Thornhill Traffic surveillance method and system
KR20050077672A (ko) * 2004-01-30 2005-08-03 엘지전자 주식회사 미디어 파일 중계 서비스 방법 및 시스템
US7664183B2 (en) * 2004-03-16 2010-02-16 3Vr Security, Inc. Correlation processing among multiple analyzers of video streams at stages of a pipeline architecture
US7672370B1 (en) 2004-03-16 2010-03-02 3Vr Security, Inc. Deep frame analysis of multiple video streams in a pipeline architecture
US7697026B2 (en) * 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
US7663661B2 (en) * 2004-03-16 2010-02-16 3Vr Security, Inc. Feed-customized processing of multiple video streams in a pipeline architecture
US7616782B2 (en) * 2004-05-07 2009-11-10 Intelliview Technologies Inc. Mesh based frame processing and applications
US7933333B2 (en) 2004-06-30 2011-04-26 Pelco, Inc Method and apparatus for detecting motion in MPEG video streams
GB0416667D0 (en) * 2004-07-27 2004-08-25 Crimelocator Ltd Apparatus and method for capturing and transmitting images of a scene
DE102004040941A1 (de) * 2004-08-24 2006-03-09 Macrosystem Digital Video Ag Bildgebende Sicherheitsüberwachungsvorrichtung
US20060044394A1 (en) * 2004-08-24 2006-03-02 Sony Corporation Method and apparatus for a computer controlled digital camera
AR048477A1 (es) * 2004-11-19 2006-05-03 Alusud Argentina S R L Pico vertedor del tipo empleado en botellas contenedoras de sustancias liquidas con grado de viscosidad variable
US9082456B2 (en) 2005-01-31 2015-07-14 The Invention Science Fund I Llc Shared image device designation
US20060184553A1 (en) * 2005-02-15 2006-08-17 Matsushita Electric Industrial Co., Ltd. Distributed MPEG-7 based surveillance servers for digital surveillance applications
US20060236375A1 (en) * 2005-04-15 2006-10-19 Tarik Hammadou Method and system for configurable security and surveillance systems
DE102005019153A1 (de) * 2005-04-25 2007-06-06 Robert Bosch Gmbh Verfahren und System zum Verarbeiten von Daten
US9076208B2 (en) 2006-02-28 2015-07-07 The Invention Science Fund I, Llc Imagery processing
US9621749B2 (en) 2005-06-02 2017-04-11 Invention Science Fund I, Llc Capturing selected image objects
US8681225B2 (en) 2005-06-02 2014-03-25 Royce A. Levien Storage access technique for captured data
US8253821B2 (en) 2005-10-31 2012-08-28 The Invention Science Fund I, Llc Degradation/preservation management of captured data
US8233042B2 (en) * 2005-10-31 2012-07-31 The Invention Science Fund I, Llc Preservation and/or degradation of a video/audio data stream
US9191611B2 (en) 2005-06-02 2015-11-17 Invention Science Fund I, Llc Conditional alteration of a saved image
US9942511B2 (en) 2005-10-31 2018-04-10 Invention Science Fund I, Llc Preservation/degradation of video/audio aspects of a data stream
US9167195B2 (en) 2005-10-31 2015-10-20 Invention Science Fund I, Llc Preservation/degradation of video/audio aspects of a data stream
US20070222865A1 (en) 2006-03-15 2007-09-27 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Enhanced video/still image correlation
US8964054B2 (en) 2006-08-18 2015-02-24 The Invention Science Fund I, Llc Capturing selected image objects
US9967424B2 (en) 2005-06-02 2018-05-08 Invention Science Fund I, Llc Data storage usage protocol
US9451200B2 (en) 2005-06-02 2016-09-20 Invention Science Fund I, Llc Storage access technique for captured data
US20070090972A1 (en) * 2005-06-10 2007-04-26 Monroe David A Airborne digital video recorder
US8508607B2 (en) * 2005-09-06 2013-08-13 Its-7 Method and system for a programmable camera for configurable security and surveillance systems
US20070058717A1 (en) * 2005-09-09 2007-03-15 Objectvideo, Inc. Enhanced processing for scanning video
US20070150565A1 (en) * 2005-12-22 2007-06-28 Arun Ayyagari Surveillance network system
JP4730663B2 (ja) * 2006-03-20 2011-07-20 富士フイルム株式会社 遠隔制御装置、遠隔制御システムおよび遠隔制御方法
JP4742394B2 (ja) * 2006-03-24 2011-08-10 富士フイルム株式会社 遠隔制御装置、方法、プログラムおよびシステム
US8131696B2 (en) * 2006-05-19 2012-03-06 Oracle International Corporation Sequence event processing using append-only tables
US8762395B2 (en) 2006-05-19 2014-06-24 Oracle International Corporation Evaluating event-generated data using append-only tables
US7961088B2 (en) * 2006-08-18 2011-06-14 Cattail Technologies, Inc. Asset monitoring system and portable security system therefor
CN101287091B (zh) * 2007-04-10 2010-11-24 华为技术有限公司 一种实现因特网协议电视业务的系统、装置和方法
TW200924534A (en) * 2007-06-04 2009-06-01 Objectvideo Inc Intelligent video network protocol
US8249141B1 (en) 2007-07-13 2012-08-21 Sprint Spectrum L.P. Method and system for managing bandwidth based on intraframes
US8428360B2 (en) * 2007-11-01 2013-04-23 International Business Machines Corporation System and method for real-time new event detection on video streams
US20100153146A1 (en) * 2008-12-11 2010-06-17 International Business Machines Corporation Generating Generalized Risk Cohorts
US20090195382A1 (en) * 2008-01-31 2009-08-06 Sensormatic Electronics Corporation Video sensor and alarm system and method with object and event classification
US8922659B2 (en) 2008-06-03 2014-12-30 Thales Dynamically reconfigurable intelligent video surveillance system
FR2932054B1 (fr) * 2008-06-03 2010-08-13 Thales Sa Systeme de videosurveillance intelligent reconfigurable dynamiquement
US8013730B2 (en) * 2008-07-29 2011-09-06 Honeywell International Inc. Customization of personal emergency features for security systems
US9141862B2 (en) * 2008-09-26 2015-09-22 Harris Corporation Unattended surveillance device and associated methods
US8301443B2 (en) * 2008-11-21 2012-10-30 International Business Machines Corporation Identifying and generating audio cohorts based on audio data input
US8041516B2 (en) * 2008-11-24 2011-10-18 International Business Machines Corporation Identifying and generating olfactory cohorts based on olfactory sensor input
US8749570B2 (en) 2008-12-11 2014-06-10 International Business Machines Corporation Identifying and generating color and texture video cohorts based on video input
US8417035B2 (en) * 2008-12-12 2013-04-09 International Business Machines Corporation Generating cohorts based on attributes of objects identified using video input
US20100153174A1 (en) * 2008-12-12 2010-06-17 International Business Machines Corporation Generating Retail Cohorts From Retail Data
US20100153147A1 (en) * 2008-12-12 2010-06-17 International Business Machines Corporation Generating Specific Risk Cohorts
US8190544B2 (en) * 2008-12-12 2012-05-29 International Business Machines Corporation Identifying and generating biometric cohorts based on biometric sensor input
US20100153597A1 (en) * 2008-12-15 2010-06-17 International Business Machines Corporation Generating Furtive Glance Cohorts from Video Data
US20100153180A1 (en) * 2008-12-16 2010-06-17 International Business Machines Corporation Generating Receptivity Cohorts
US8219554B2 (en) * 2008-12-16 2012-07-10 International Business Machines Corporation Generating receptivity scores for cohorts
US20100153133A1 (en) * 2008-12-16 2010-06-17 International Business Machines Corporation Generating Never-Event Cohorts from Patient Care Data
US11145393B2 (en) 2008-12-16 2021-10-12 International Business Machines Corporation Controlling equipment in a patient care facility based on never-event cohorts from patient care data
US8493216B2 (en) * 2008-12-16 2013-07-23 International Business Machines Corporation Generating deportment and comportment cohorts
US9544379B2 (en) 2009-08-03 2017-01-10 Wolfram K. Gauglitz Systems and methods for event networking and media sharing
US10574614B2 (en) 2009-08-03 2020-02-25 Picpocket Labs, Inc. Geofencing of obvious geographic locations and events
US20110135170A1 (en) * 2009-12-09 2011-06-09 Capso Vision, Inc. System and method for display speed control of capsule images
KR101776809B1 (ko) * 2010-03-09 2017-09-08 스프레드트럼 커뮤니케이션즈 (상하이) 컴퍼니 리미티드 적응적 비디오 디코딩 회로망 및 기술들
US10318877B2 (en) 2010-10-19 2019-06-11 International Business Machines Corporation Cohort-based prediction of a future event
US9258564B2 (en) * 2012-02-07 2016-02-09 Stmicroelectronics S.R.L. Visual search system architectures based on compressed or compact feature descriptors
CN103297666B (zh) * 2012-02-24 2018-07-31 中兴通讯股份有限公司 基于通用即插即用实现视频监控的方法、装置及系统
US9344724B2 (en) 2012-06-25 2016-05-17 Verint Americas Inc. System and method for improved video operations
US10373470B2 (en) 2013-04-29 2019-08-06 Intelliview Technologies, Inc. Object detection
KR102192704B1 (ko) * 2013-10-22 2020-12-17 엘지전자 주식회사 영상 출력 장치
US9900177B2 (en) 2013-12-11 2018-02-20 Echostar Technologies International Corporation Maintaining up-to-date home automation models
US9772612B2 (en) 2013-12-11 2017-09-26 Echostar Technologies International Corporation Home monitoring and control
US9769522B2 (en) 2013-12-16 2017-09-19 Echostar Technologies L.L.C. Methods and systems for location specific operations
US9723393B2 (en) 2014-03-28 2017-08-01 Echostar Technologies L.L.C. Methods to conserve remote batteries
CA2847707C (en) 2014-03-28 2021-03-30 Intelliview Technologies Inc. Leak detection
US10943357B2 (en) 2014-08-19 2021-03-09 Intelliview Technologies Inc. Video based indoor leak detection
US9824578B2 (en) 2014-09-03 2017-11-21 Echostar Technologies International Corporation Home automation control using context sensitive menus
US9989507B2 (en) 2014-09-25 2018-06-05 Echostar Technologies International Corporation Detection and prevention of toxic gas
US9511259B2 (en) 2014-10-30 2016-12-06 Echostar Uk Holdings Limited Fitness overlay and incorporation for home automation system
US9983011B2 (en) 2014-10-30 2018-05-29 Echostar Technologies International Corporation Mapping and facilitating evacuation routes in emergency situations
WO2016077468A1 (en) * 2014-11-12 2016-05-19 Covar Applied Technologies, Inc. System and method for inhibiting or causing automated actions based on person locations estimated from multiple video sources
CA2967774C (en) 2014-11-12 2023-03-28 Covar Applied Technologies, Inc. System and method for measuring characteristics of cuttings and fluid front location during drilling operations with computer vision
US20160182249A1 (en) * 2014-12-19 2016-06-23 EchoStar Technologies, L.L.C. Event-based audio/video feed selection
US9967614B2 (en) 2014-12-29 2018-05-08 Echostar Technologies International Corporation Alert suspension for home automation system
WO2016112052A1 (en) 2015-01-05 2016-07-14 Picpocket, Inc. Use of a dynamic geofence to control media sharing and aggregation associated with a mobile target
US9729989B2 (en) 2015-03-27 2017-08-08 Echostar Technologies L.L.C. Home automation sound detection and positioning
US9946857B2 (en) 2015-05-12 2018-04-17 Echostar Technologies International Corporation Restricted access for home automation system
US9948477B2 (en) 2015-05-12 2018-04-17 Echostar Technologies International Corporation Home automation weather detection
US9960980B2 (en) 2015-08-21 2018-05-01 Echostar Technologies International Corporation Location monitor and device cloning
US10984363B2 (en) * 2015-09-04 2021-04-20 International Business Machines Corporation Summarization of a recording for quality control
US9996066B2 (en) 2015-11-25 2018-06-12 Echostar Technologies International Corporation System and method for HVAC health monitoring using a television receiver
US10101717B2 (en) 2015-12-15 2018-10-16 Echostar Technologies International Corporation Home automation data storage system and methods
US9798309B2 (en) 2015-12-18 2017-10-24 Echostar Technologies International Corporation Home automation control based on individual profiling using audio sensor data
US10091017B2 (en) 2015-12-30 2018-10-02 Echostar Technologies International Corporation Personalized home automation control based on individualized profiling
US10073428B2 (en) 2015-12-31 2018-09-11 Echostar Technologies International Corporation Methods and systems for control of home automation activity based on user characteristics
US10060644B2 (en) 2015-12-31 2018-08-28 Echostar Technologies International Corporation Methods and systems for control of home automation activity based on user preferences
US10685542B2 (en) 2016-04-26 2020-06-16 Sensormatic Electronics, LLC System and method for monitoring a premises based on parsed codec data
US9882736B2 (en) 2016-06-09 2018-01-30 Echostar Technologies International Corporation Remote sound generation for a home automation system
US10294600B2 (en) 2016-08-05 2019-05-21 Echostar Technologies International Corporation Remote detection of washer/dryer operation/fault condition
US10049515B2 (en) 2016-08-24 2018-08-14 Echostar Technologies International Corporation Trusted user identification and management for home automation systems
US11025942B2 (en) 2018-02-08 2021-06-01 Samsung Electronics Co., Ltd. Progressive compressed domain computer vision and deep learning systems
US10897627B2 (en) * 2019-01-11 2021-01-19 Western Digital Technologies, Inc. Non-volatile memory system including a partial decoder and event detector for video streams
US11064194B2 (en) 2019-10-31 2021-07-13 Western Digital Technologies, Inc. Encoding digital videos using controllers of data storage devices
US11622091B2 (en) * 2019-10-31 2023-04-04 Genetec Inc. Facilitating video monitoring of at least one location
US10841645B1 (en) 2019-12-09 2020-11-17 Western Digital Technologies, Inc. Storage system and method for video frame segregation to optimize storage
US11562018B2 (en) 2020-02-04 2023-01-24 Western Digital Technologies, Inc. Storage system and method for optimized surveillance search
US11301705B2 (en) 2020-02-27 2022-04-12 Western Digital Technologies, Inc. Object detection using multiple neural network configurations
US11328511B2 (en) 2020-03-13 2022-05-10 Western Digital Technologies, Inc. Storage system and method for improved playback analysis
CN112082915B (zh) * 2020-08-28 2024-05-03 西安科技大学 一种即插即用型大气颗粒物浓度检测装置及检测方法
US11069225B1 (en) 2020-11-30 2021-07-20 Motorola Solutions, Inc. System and method for delaying an alert based on suspicious activity detection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08194714A (ja) * 1995-01-13 1996-07-30 Matsushita Electric Ind Co Ltd 圧縮動画像の検索方法および装置
JP2000069442A (ja) * 1998-08-24 2000-03-03 Sharp Corp 動画システム
JP2000078563A (ja) * 1998-09-03 2000-03-14 Sony Corp 被写体認識装置及び自動追尾装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9206651D0 (en) 1992-03-26 1992-05-06 Solid State Logic Ltd Video processing
US5666157A (en) 1995-01-03 1997-09-09 Arc Incorporated Abnormality detection and surveillance system
US5684715A (en) * 1995-06-07 1997-11-04 Canon Information Systems, Inc. Interactive video system with dynamic video object descriptors
US5969755A (en) * 1996-02-05 1999-10-19 Texas Instruments Incorporated Motion based event detection system and method
JP3631868B2 (ja) 1996-12-20 2005-03-23 株式会社東芝 動きベクトル検出装置および方法
JPH10276359A (ja) * 1997-03-31 1998-10-13 Sony Corp 追尾装置および追尾方法
US6097429A (en) * 1997-08-01 2000-08-01 Esco Electronics Corporation Site control unit for video security system
US6064303A (en) 1997-11-25 2000-05-16 Micron Electronics, Inc. Personal computer-based home security system
US6618507B1 (en) * 1999-01-25 2003-09-09 Mitsubishi Electric Research Laboratories, Inc Methods of feature extraction of video sequences
US6424370B1 (en) * 1999-10-08 2002-07-23 Texas Instruments Incorporated Motion based event detection system and method
US6570496B2 (en) * 2000-04-04 2003-05-27 Rick A. Britton Networks and circuits for alarm system operations
JP2001333389A (ja) * 2000-05-17 2001-11-30 Mitsubishi Electric Research Laboratories Inc ビデオ再生システムおよびビデオ信号処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08194714A (ja) * 1995-01-13 1996-07-30 Matsushita Electric Ind Co Ltd 圧縮動画像の検索方法および装置
JP2000069442A (ja) * 1998-08-24 2000-03-03 Sharp Corp 動画システム
JP2000078563A (ja) * 1998-09-03 2000-03-14 Sony Corp 被写体認識装置及び自動追尾装置

Also Published As

Publication number Publication date
JP2002112253A (ja) 2002-04-12
EP1173020A3 (en) 2002-07-31
CN1338873A (zh) 2002-03-06
HK1041754A1 (zh) 2002-07-19
DE60102627D1 (de) 2004-05-13
EP1173020B1 (en) 2004-04-07
US6646676B1 (en) 2003-11-11
EP1173020A2 (en) 2002-01-16

Similar Documents

Publication Publication Date Title
JP4601868B2 (ja) ネットワーク化した監視/管制システム及び方法
US10127452B2 (en) Relevant image detection in a camera, recorder, or video streaming device
JP3738631B2 (ja) 画像検索システムおよび画像検索方法
US20060013495A1 (en) Method and apparatus for processing image data
US20120195363A1 (en) Video analytics with pre-processing at the source end
WO2007128234A1 (fr) Procédé et noeud de filtrage de flux vidéo
JP2008505562A (ja) Mpegビデオストリーム内の動きを検出する方法及び装置
JP4456867B2 (ja) ビデオ中の異常イベントを検出する方法およびシステム
CN101448146A (zh) 视频监控系统中的前端设备及前端设备中的信号处理方法
CN104935886A (zh) 一种基于sopc的室内智能视频监控系统
CN111277800A (zh) 监控视频编码及播放方法、装置、电子设备及存储介质
US7451473B2 (en) Video distribution method and video distribution system
JP4770875B2 (ja) 画像特徴データ生成装置、画像特徴判定装置および画像検索システム
KR20150011051A (ko) 영상 감시 시스템에서 모니터링 채널 결정 방법 및 장치
JP2007180970A (ja) 映像処理装置及び監視カメラシステム
JP2002133558A (ja) 監視用信号の通信方法、及び監視用信号通信装置
CN113194275B (zh) 一种监控图像预览系统
Tsifouti et al. A methodology to evaluate the effect of video compression on the performance of analytics systems
JP2004145564A (ja) 映像検索装置
JP2004326762A (ja) 映像配信システムおよび映像配信方法
Georis et al. IP-distributed computer-aided video-surveillance system
JP2006018831A (ja) 画像検索システムおよび画像検索方法
US20050041734A1 (en) Video coding
Desurmont et al. A generic flexible and robust approach for intelligent real-time video-surveillance systems
Wang et al. An effective communication model for collaborative commerce of web-based surveillance services

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080523

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100928

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100929

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131008

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4601868

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term