JP7036579B2 - イベントを検出するための方法、および、イベントを検出するための装置 - Google Patents

イベントを検出するための方法、および、イベントを検出するための装置 Download PDF

Info

Publication number
JP7036579B2
JP7036579B2 JP2017231465A JP2017231465A JP7036579B2 JP 7036579 B2 JP7036579 B2 JP 7036579B2 JP 2017231465 A JP2017231465 A JP 2017231465A JP 2017231465 A JP2017231465 A JP 2017231465A JP 7036579 B2 JP7036579 B2 JP 7036579B2
Authority
JP
Japan
Prior art keywords
data
event
camera
time
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017231465A
Other languages
English (en)
Other versions
JP2018125846A (ja
JP2018125846A5 (ja
Inventor
ヴィクトル エドパルム，
エーリク アンデション，
Original Assignee
アクシス アーベー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アクシス アーベー filed Critical アクシス アーベー
Publication of JP2018125846A publication Critical patent/JP2018125846A/ja
Publication of JP2018125846A5 publication Critical patent/JP2018125846A5/ja
Application granted granted Critical
Publication of JP7036579B2 publication Critical patent/JP7036579B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Holo Graphy (AREA)

Description

本発明は、キャプチャされたビデオからのイベント検出に関する。より詳しくは、本発明は、イベントを、キャプチャされたビデオ内で検出するための方法および装置に関する。
今日の監視、モニタリング、およびセキュリティシステムの大半は、ビデオをキャプチャおよび生成するデバイスを含む。キャプチャされたビデオはしばしば、特定イベントの発生を検出するために分析される。そのようなイベントの例は、モーション検出、物体検出、不法侵入の検出である。これらのタイプのイベントの検出は、多量の処理パワーを要する。そのような高い処理パワーの要件は、ビデオをキャプチャする低い処理パワーのカメラでイベント検出を提供する可能性を制限し得る。より少ない処理パワーのカメラを使用する理由の１つは、高い処理パワー備えたカメラの価格が高めであることであり得る。別の理由は、高い処理パワーを有するカメラは、より少ない処理パワーを有するカメラよりも多くの電力を要し、その量の電力をそのカメラの位置に提供できない場合があることであり得る。ゆえに、イベント検出が要するコンピューティングパワーをより少なくするための方法が所望される。
本発明の１つの目的は、イベント検出が要する処理パワーをより少なくすることである。
その目的は、請求項１による、イベントを検出するための方法により達成される。本発明のさらなる実施形態は、従属請求項で提示される。
より詳しくは、本発明の一部の実施形態による、イベントを検出するための方法は、シーンからのビデオを時間的圧縮により符号化している符号化器により生成されたデータの量を指示する値を反復して登録することと、符号化されたビデオにより表されるシーン内で特定のイベントが発生したかどうかを、登録された値の特性をあらかじめ決定された特性と比較することにより決定することと、イベント発生が決定されるのに応答してイベント信号を生成することとを含む。ビデオの符号化で生成されるデータの量を登録すること、および次いで、このデータを、イベントが、キャプチャされるビデオ内で発生したかどうかを決定するために使用することにより、処理パワーは、すべての画像データの重い分析を処理することなく決定が実行され得るという事実に起因して節約され得る。さらには、より少ないデータが決定に対して要されるという事実において、さらなる利点が存し得るものであり、すなわち、分析のためのデータの転送が、より少ないネットワーク負荷、データの記憶を結果的に生じさせ得るものであり、なぜかといえば、イベントが発生したかどうか、または、特定のイベントが発生したかどうかの決定を可能とすることは、より少ない記憶容量を要し得るからである。
さらなる実施形態では、特定のイベントが発生したかどうかを決定することの行為で比較される特性は、登録された値が、第１のあらかじめ決定されたしきい値より高いレートで増大すること、少なくとも１つの登録された値が、第２のあらかじめ決定されたしきい値より高いこと、登録された値が、第３のあらかじめ決定されたしきい値より大きいレートで減少すること、および、時間期間にわたる値の積算が、第４のあらかじめ決定されたしきい値を上回ることを含む、特性の群から取られる任意の特性または特性の任意の組み合わせであり得る。これらの特性の任意のものに関する利点は、それらの特性が、符号化器により生成されるデータの量を指示する、登録された値から算出されるために、多量の処理パワーまたはメモリを要さないことである。
その上、特定のイベントは、決定および識別されることが、登録された値のシーケンスを表す特性を、あらかじめ決定されたイベント特性と、対応する値のシーケンスを表す記述に基づいてマッチングすることにより行われ得る。登録された値のシーケンスをマッチングすることの利点は、より特定的なイベント、および／または、より複雑なイベントが、検出および識別され得るということであり得る。
なおもさらなる実施形態では、イベントは、登録された値のシーケンスを表す特性を、通常状態を表す記述と比較することにより決定され、そのようなイベントは、登録された値のシーケンスが、通常状態と、あらかじめ決定された値より大きい程度で異なるならば、発生したと決定される。特性が通常状態特性と異なるならばイベントが発生したと決定することの利点は、決定が、多くのイベントの検出の際に非常に効果的であり得るものであり、予期されないイベントまたは未知のイベントでさえ、数個の特性との比較により検出され得るということである。
さらなる実施形態によれば、符号化器により生成されるデータの量を指示する、反復して登録された各値は、以前に登録された値の時間から、符号化器により生成されるデータを含む、転送されるデータの量を測定することにより到達される。その上、転送されるデータの測定は、最後の登録された値の時間から実行され得る。
一部の実施形態は、登録された値をデータベースに記憶することをさらに含んでよく、特定のイベントが発生したかどうかを決定する行為は、データベースに登録された値に対して実行される。
なおも他の実施形態は、登録された値を、ネットワークを介してクライアントに転送することをさらに含んでよく、特定のイベントが発生したかどうかを決定する行為は、クライアントにより実行される。
一部の実施形態では、時間に伴う値の増大を表す、登録された値の特性は、符号化されたビデオ内のシーンに進入する物体を指示する。この特徴の利点は、より複雑なイベントの特性を決定することが可能になることである。
さらなる実施形態では、登録された値の特性はその値自体であり、登録された値を、あらかじめ決定された第１のしきい値と比較することにより、シーンを通って動く第１の物体タイプが識別され、登録された値を、あらかじめ決定された第２のしきい値と比較することにより、シーンを通って動く第２の物体タイプが識別される。
一部の実施形態によれば、特定のイベントが発生したかどうかを決定する行為は、あらかじめ決定されたしきい値より大きい、登録された値に対してのみ実行され、この決定スキームの利点は、非常に単純であり、動作するために要する処理パワーが非常に低いことである。
一部の実施形態では、時間的に符号化されない画像フレームを含むデータを表す値は、特定のイベントが発生したかどうかを決定する行為では使用されない。時間的に符号化されない画像フレームに基づいてイベントを決定しないことの利点は、決定の精度を減少することなく、一層のさらなる処理パワーが節約されることであり、なぜならば、時間的に符号化されないフレームは、ビデオ内の動きに関係する何らの情報も搬送しないからである。
追加的な実施形態では、方法は、特定のイベントの発生が決定されるたびにカウンタをインクリメントすることをさらに含む。このことの利点は、要する処理パワーが低いカウンタ、例えば、人カウンタ、車両カウンタ、一般的な物体カウンタが実現され得るということである。そのようなカウンタは、実例として、制限された資源を伴うカメラ、または、制限された資源、もしくは、少なくとも制限された予備資源を伴う別のデバイスで実現され得る。一部の実施形態では、方法は、特定のイベントに関係付けられるカウンタを、その特定のイベントの発生が決定されるたびにインクリメントすることをさらに含む。ゆえに、特定的なイベントに対するカウンタが配置構成され、このことは、異なる物体、例えば、人、動物、車両、その他に対して、または、異なるイベント、例えば、走ること、歩くこと、物体を追い抜くこと、その他に対して、別々のカウンタが配置構成されるということを結果的に生じさせ得る。
本発明の利用可能性のさらなる範囲が、下記で与えられる詳細な説明から明らかになろう。しかしながら、詳細な説明および具体例は、本発明の好ましい実施形態を指示するが、単に例示的に与えられるものであり、というのは、当業者には、本発明の範囲の中での様々な変更および修正がこの詳細な説明から明らかになるためであるということが理解されるべきである。ゆえに、この発明は、説明されるデバイスの特定の構成要素部分、または、説明される方法のステップに制限されず、なぜならば、そのようなデバイスおよび方法は変動し得るためであることが理解されるべきである。さらには、本明細書で使用される技術用語は、単に特定の実施形態を説明することを目的とし、制限的であることは意図されないことが理解されるべきである。本明細書、および、添付される特許請求の範囲で使用される際に、冠詞「ある（ａ）」、「ある（ａｎ）」、「その（ｔｈｅ）」、および「前記」は、文脈で別段に明確に規定しない限り、要素の１つまたは複数が存することを意味することが意図されるということが注目されなければならない。かくして例えば、「あるセンサ」または「そのセンサ」への言及は、いくつかのセンサ、および類するものを含み得る。なおその上に、単語「含む」は、他の要素またはステップを排除しない。
本発明の、他の特徴および利点が、付随する図面への参照によって、現在好ましい実施形態の以下の詳細な説明から明らかになろう。
本発明の実施形態の実現形態を含み得るシステムの概略線図である。 本発明の実施形態によるカメラのブロック図である。 本発明の実施形態において使用され得るグラフの特徴を示す、時間に伴うデータレートを表すグラフである。 本発明の実施形態による、イベント信号を生成するプロセスのフローチャートである。
さらに図では、類似する参照符号は、いくつかの図の全体を通して、類似する、または対応する部分を指定する。
本発明は、イベント検出システムに、および、イベントを検出するための方法に関する。イベント検出システムは、複数のモニタリングカメラ１２ａ～ｃと、通信ネットワーク１４と、システム管理デバイス１６ａ～ｂと、データ記憶デバイス１８とを備えるシステムであり得るものであり、図１を参照されたい。モニタリングカメラ１２ａ～ｃは、モーションビデオをキャプチャすることを可能とされた、任意のタイプのネットワーク化されたモニタリングカメラであり得る。通信ネットワーク１４は、任意の有線もしくは無線通信ネットワークであり得るものであり、または、様々な有線および／もしくは無線ネットワークの任意の組み合わせであり得るものであり、例えば、ＬＡＮ、ＷＡＮ、インターネット、セルラネットワーク、Ｗｉ－Ｆｉ、その他である。システム管理デバイス１６ａ～ｂは、オペレータが、システム内のデバイスと対話すること、または、イベント検出に関係する情報を受信することを可能とする、ディスプレイを有する任意のコンピューティングデバイスであり得る。データ記憶デバイス１８は、ネットワークアタッチトストレージユニット（ＮＡＳ）、ファイルサーバ、ビデオサーバ、または、任意の他のデータ記憶ユニットであり得る。
ここで図２を参照すると、システムで使用されるモニタリングカメラ１２は、シーンのモーションビデオをデジタルデータとしてキャプチャするように配置構成される。それゆえにモニタリングカメラ１２は、シーンからの光を画像センサ４２上に方向設定する、少なくとも１つのレンズ４０を含む。画像センサ４２および画像プロセッサ４４は、光を、キャプチャされる画像を表すデジタルデータに変換する。さらにカメラ１２は、モーションビデオを生成するためのデータを提供するために、複数の画像をキャプチャするように配置構成される。モーションビデオを表すデータは次いで、符号化器４６で符号化され、その符号化器４６は、モーションビデオを、時間的圧縮スキームを使用して符号化している。カメラは、可視光をキャプチャするカメラ、ＩＲカメラ、ＴｏＦカメラ（飛行時間カメラ）、その他であり得る。
時間的圧縮スキームは、各々のフレームを、別々の完全な画像として符号化しないことにより、圧縮されるビデオサイズを低減するスキームである。完全に符号化されるフレームは、現在符号化される画像フレーム内の情報に基づいて全体が符号化されるため、イントラフレームと呼ばれる。ビデオ内のすべての他のフレームは、最後のフレームからの変化を明示するデータにより表され、すなわち、これらのフレームを表すデータは、他のフレームからの差を表す。これらのフレームは、他のフレーム内のデータに依存しているため、デルタインターフレームと呼ばれる。インターフレームは、以前のフレームに関係付けられ、一部の符号化スキームではＰフレームと呼称されることがあるが、代替的には、以前および未来のフレームに関係付けられ、Ｂフレームと呼称されることもある。
符号化器４６でのモーションビデオの符号化は、モーションビデオを表すことになるデータの量を減少する。符号化器４６で使用される符号化スキームの例は、Ｈ．２６４、Ｈ．２６５、ＭＰＥＧ－２パート２、ＭＰＥＧ－４パート２、その他である。一部のカメラ１２では、モーションビデオは、モーションビデオの符号化の前および／または後に、一層多く分析および／または処理される。そのようなカメラ１２では、処理ユニット４８が、そのタイプの分析および／または処理のために配置構成され得る。カメラ１２の多くはさらには、プログラムの動作およびデータの記憶のために、揮発性メモリ５０および／または不揮発性メモリ５２を要する。
モーションビデオがネットワーク１４を介して送信される前に、ビデオデータは、通信プロトコルにより管理され、次いで、カメラに接続されるネットワークに物理的に適合させられる。図２でのネットワークインターフェイス５４は、これらの動作を当業者に知られている任意の方式で実行するデバイスまたはモジュールとみなされ得る。カメラ内のデバイスおよびモジュールの間の通信は、直接の個々の物理的接続、またはデータバス、または両方の組み合わせにより実現され得るものであり、これらの通信実現形態は、図２で、内部通信経路５６により表象化されている。
本発明のイベント検出システムは、イベントを検出するためにビデオストリームのすべてのピクセルを分析するシステムよりも少ない処理パワーを使用して、イベントを検出するように設計される。イベントを、記憶されたデータ、すなわち、より古い記録内容を表す記憶されたデータ内で検出しようとする場合、より長い時間期間を表すデータ内のイベント検出は、イベントを検出するためにビデオストリームのすべてのピクセルを分析するシステムを使用するときより迅速であることになる。これらの利点は、イベント検出が所望されるシーンのモーションビデオをキャプチャしているカメラ１２の、時間的に圧縮するビデオ符号化器４６により生成されるデータの量を分析することによりもたらされる。符号化器４６により生成されるデータの量は、連続的にキャプチャされる画像フレームの間の変化の量に依存する。例えば、動く物体を本質的に有さないシーンの画像シーケンスは、多量の動きを有するシーンの画像シーケンスより少ない符号化されるデータを結果的に生じさせることになる。ゆえに、符号化ステップの後のデータの量は、連続的にキャプチャされる画像の変動に重く依存する。このことはさらには、符号化器４６により生成されている、符号化される画像データの量は、シーン内の動きにより影響を及ぼされる画像センサ上のピクセルの数に依存的であると説明され得る。実例として、カメラに近い物体、または、シーン内の大型の物体は、カメラから遠い物体、または小さい物体よりも、画像センサ上の多くのピクセルへの影響力を有することになる。したがって、データの量は、画像情報の時間的圧縮の影響結果である。
本発明の実施形態によれば、モニタリングされるシーンのモーションビデオを含むデータストリーム内の、時間の単位あたりのデータの量を表す複数のデータレートが、順次、測定および登録される。そのことにより、時間に伴うデータレートの変動を表すデータセットが登録される。データレートは、システム内の様々な所から、測定され得る、または取り出され得る。例えばデータレートは、カメラの符号化器４６で、カメラのネットワークインターフェイス５４で、ネットワーク１４内のスイッチもしくはルータで、システム管理デバイス１６ａ～ｂ内のネットワークインターフェイスもしくは復号器で、または、ネットワーク化された記憶デバイス１８内のネットワークインターフェイスもしくは復号器で、測定され得る、または取り出され得る。データレートは、画像ストリームを表すストリームに対して直接測定され得るが、さらには、モーションビデオを送信するネットワークパケットのデータレートを測定することにより測定され得る。データストリームまたは任意のデータ送信のデータレートを測定するプロセスは、当業者によく知られている。時間に伴うデータレートを表すデータセットは、特に、モーションビデオストリームを表すために要されるデータと比較して、非常に低い量のデータを使用して表され得る。例えば、時間に伴うデータレートの変動を表すデータセットに、画像ストリーム内の各々の画像を表す際に使用されるデータの量を表す値またはデータエントリを含めることを考える。カメラが１０メガピクセルカメラであるならば、イントラフレーム、すなわち、空間的に符号化されるイントラフレームのサイズは、標準符号化器のいずれを使用しても、約２．５ＭＢになる。無損失コーディングスキームを使用して符号化されている１０メガピクセルフレームでさえ、１０ＭＢよりはるかに大型のサイズを有さないことになる。０ＭＢ～１０ＭＢの間のあらゆるサイズを表す値またはデータエントリを登録するには、３バイトのみを必要とすることになり、なぜならば、３バイトは、１６００万を超える値を表す能力があるためである。データレートの分解能がそれほど重要ではない事例では、データレートを、２バイトまたは１バイトを使用して表すことさえ可能であり得る。いずれにしても、データセット内のデータレートを表すために必要とされるデータは、おそらくは、１つのイントラフレームを表すために使用されるデータのほぼ１００万分の１であり得る。ストリーミングビデオでは、インターフレームは時間的に符号化されるので、フレームあたりで使用されるデータは、当然ながらより小さくなる。しかしながら、使用されるデータセットは、あらゆるフレームのサイズを含むことを必要としないことがあり、むしろ、あらかじめ決定された時間期間にわたる累積データ量を表し得る。１つの実施形態では、フレームサイズが、データレートの表現として登録される。フレームサイズは、フレームを符号化するために必要とされるデータの量を指示する。フレームサイズは、４バイト（３２ビット）を使用して登録され、フレームサイズは、各々のフレームに対して登録される。フレームは、秒あたり３０フレームでキャプチャされ、したがって、イベントの検出のために本発明により使用されるデータは、この実施形態では０．１２Ｋｂ／ｓであり得る。これは、６０００Ｋｂ／ｓの通常モーションビデオストリームのデータレートよりもはるかに低い。
画像ストリーム内の画像の符号化と、データセット内の各々の値またはデータエントリを表すためにデータセットで使用される分解能、すなわちバイト数の厳密な実現形態とに関係なく、画像ストリームの画像の代わりにデータレートデータセットが使用され得るときに処理しなければならないデータ量の差は巨大である。別の多大な利得は、データの小部分だけが記憶されれば済むため、記憶に関してもたらされる。例えば、モニタリングシステムは、関心のあるイベントが発生した時間期間のみに対するモーションビデオデータを記憶し、モニタリングされる時間期間全体に対するデータレート値を記憶し得る。記憶されたデータレート値は次いで、特定のイベントをフィルタリングで取り除くために、探索および／または分析され得る。次いでデータレート値はさらには、イベントが、モーションビデオが記憶されなかった時間期間の間発生しなかったということを確かめるために使用され得る。その上、一般的に、記憶されたデータレートデータセットが、記録されたビデオ内で関心のビデオシーケンスを探索するために使用され得ることは利点である。データレートセットを分析することのなおも別の利点は、シーン内のイベントが、シーン内に存在する人物の完全性を損なうことなく分析され得るということである。
図３では、データセットの例が、データレートを時間に対してプロットすることにより例示される。図のデータセットは、カメラによりキャプチャされたビデオストリーム内の各々の画像フレームを表すデータの量を登録することによりもたらされる。本データセットでは、イントラフレームの影響結果は、イントラフレームを表す各々の値を単に除去することにより除去されている。イントラフレームの除去は、代替的には、最大しきい値の値より上のすべてのデータ値を除去することとして実現され得る。イントラフレームを除去することの利点は、各々のイントラフレームに対するデータレートでのピークを考える必要がないときに、データレートがより簡単に分析できるようになることである。ことに、なぜならば、イントラフレームは、空間的に符号化され、時間的に符号化されないので、イントラフレームは、フレームの間の動きまたは変化に関係する情報については寄与しないからである。この方式では、データセットは、インターフレームの固有の動き指示を、イントラフレームの高いデータ量値からの干渉なしに、時間的符号化器内で利用することになる。
図３のグラフを結果的に生じさせる、モニタリングされるシーンは道路であり、カメラは、道路の長手方向に、道路より上からビデオをキャプチャするように配置構成される。様々なイベントが、単にグラフを調べることにより識別され得る。実例として、各々のピークの高さは、車両がカメラのそばを最も近い点で通過するときの車両のサイズ、少なくとも車両の相対的なサイズを識別する。ゆえに、グラフ内のピーク値への単純な着目により、カメラのそばを通過する車両のサイズに対する結論を引き出すことが可能である。その上、ピークの各々の側部に関するグラフの急峻さが、車両の進行方向を明白にする。グラフの急峻な一部分は、車両のカメラ符号化ビデオの結果であり、その車両は、カメラに近い点でシーンを去り、またはシーンに到達し、すなわち、車両のキャプチャされる画像が大型であるときにシーンを去り、またはシーンに到達し、そのことが、車両に起因して、短い量の時間内に変化する多量のピクセルを結果的に生じさせる。ピークの他方の側部に関する、グラフのより急峻でない一部分は、キャプチャされるシーン内で遠く離れた所からカメラに向かって進行する、または、シーン内でカメラから離れる方向に運転される車両の結果である。このことは、車両が相対的に長い時間の間シーン内にあり、カメラから遠く離れるほど小さくなるように徐々に知覚されることの結果である。
ここで、図３でのグラフ１０４を参照すると、第１のピーク１０６は、上記の論拠から、カメラに向かって運転される、大きい車、例えばバンまたはトラックを表す。このことは、グラフの見かけから推論されるものであり、そのグラフでは、ピーク１０６まで至るグラフ１０８の一部分が、カメラに近い位置に達するまでシーン内を長い時間進行し、その結果より急峻でないグラフを生じさせる車両を表すと識別される。グラフ１０８のうちより急峻でない一部分がグラフのピーク１０６の頂部よりも前に登録されるという事実は、車両がシーン内でカメラに向かって進行していることを指示する。したがって、ピークの後ろ側にあるグラフ１１０の一部分は急峻であり、そのことは、上記で論考されたように、車両がカメラに近いシーンを去りつつあるということを指示する。
第２のピーク１１２は、シーン内でカメラから離れる方向に運転される車を表す。ピーク１１２の高さにより表される車のサイズ、および、ピーク１１２にまで至るグラフ１１４の急峻な一部分を有することにより識別される進行方向、および、ピークの後のグラフ１１６の、より急峻でない一部分。ピーク１１８は、カメラから離れる方向に進行する別の大きい車両を表し、一方で、ピーク１２０および１２２は各々、おそらくは、カメラから離れる方向に進行する車を表す。
グラフ１０４の最後のピーク１２４は大きい車両を表すピークより高く、ピーク１２４の各々の側部に関するグラフ１２６、１２８の一部分の急峻さを調べると、両方の一部分がより急峻でないことが分かる。これらの指示は、ピークが、互いの反対方向に進行している２つの車両を表すと結論付けることを可能にする。
したがって、時間的に符号化されたビデオデータのデータレートを表すグラフ１０４の特徴は、特定のイベントを識別する、または、少なくとも指示するために使用され得る。例えばしきい値の値は、シーン内の動きに類するイベントを指示するためにセットアップされ得るものであり、例えばイベントは、データレートがしきい値を上回るならばトリガされる。カメラに向かって、または、カメラから離れる方向に進行する物体を表すイベントは、ピークの各々の側部に関するグラフの一部分の微分係数を分析すること、すなわち、上記で解説されたような、グラフのこれらの一部分の急峻さを算出することにより識別され得る。そのような急峻さの値、例えば勾配はさらには、速度イベントを指示するために使用され得るものであり、例えば、物体のスピードが、グラフの急峻さに基づいて算出されてもよい。グラフの下側の面積がさらには、イベントを分析することで使用され得る。面積は、車両のスピード、車両のサイズ、および、沢山の他のものを決定するために使用され得る。
なおも別の代替形態は、時間に対するデータレートを表すグラフ内で識別可能である様々なイベントを表すモデルを生成し、次いでこれらのモデルを使用することにより特定のイベントを識別するものである。そのようなモデルは、特定のイベントを表すグラフの一部分の特定の特性の組み合わせを識別および登録することにより、または、典型的なイベントを登録し、登録されたグラフが、登録された典型的なグラフからあらかじめ決定された量より多く外れないならば、イベントをそのイベントと識別することにより形成され得る。モデルはさらには、深層学習を使用することにより、例えば、ニューラルネットワークを、時間的に符号化されたビデオのデータレートの入力により特定的なイベントを識別するように訓練することにより形成され得る。
なおも別の応用例は、通常はシーン内で発生すべきであるイベントを表すモデルを創出し、次いで、登録されたデータレートがこのモデルから外れるときにアラームをトリガすることである。例えばシステムは、鉄道軌道を監視するために使用され得る。軌道上の通過する列車を表すモデルは、グラフの特性を分析することによるか、または、ニューラルネットワーク手法を使用してシステムを訓練することによるかのいずれかで形成される。次いでシステムは、モデルに当てはまらないイベントが検出されるときに指示するようにセットアップされ得る。ゆえに、このことは、軌道上の動物または人を検出するために使用されてもよく、なぜならば、軌道上の動物または人間に類するイベントのデータレートグラフは、列車を表すモデルから有意に異なる公算が非常に大きいからである。
イベントの検出のためのデータレート分析は、多くの用途で使用され得る。上記で述べられたように、その分析は、交通監視で、および、列車軌道のモニタリングで使用され得る。使用の他の領域は、工場内のプロセスのモニタリング、例えば、コンベヤベルト上の製品を計数するものであり、データレートの連続、すなわち時間に伴うデータレートの一部もしくは複数の特性、または、そのようなデータレートの連続のセクションもしくは複数個のセクションが、「通常の」特性またはセクションと異なるならば、アラームを生成するものであり、アラームは例えば意図されるプロセスからの矛盾などを指示する。上記で述べられたように、特性は、特定的なデータ点、例えばデータレート値、勾配、面積により表され得るものであり、セクションは、その時間期間にわたるグラフの形状により表され得る。さらに、イベントを検出する方法は、不審な活動および／または危険な活動を検出するために、ビルディングまたは土地建物の監視で使用され得る。イベントを検出するこの方法は、さらには、照明、暖房、換気、その他などのビルディングオートメーションシステムを制御するために使用され得る。
上記の使用事例は、カメラまたは複数個のカメラからの生のデータレートを使用して提示される。しかしながら、データレートデータは、さらには有利には、より後の分析のために記憶され得る。このデータは、あまり多くの記憶域を要さず、特定のイベントに対する時間点を、そのイベントのビデオを調査するために見つけたい状況では、非常に有用であり得る。この特定の事例では、ビデオは利用可能であろうが、データレートデータは、分析するのにはるかに少ないデータであるため、イベントの探索にははるかに効率的である。それゆえに、後に使用するためにデータレート情報を記憶および使用することは、多大な利点である。
ここで、本発明の実施形態のプロセス２００を描写する、図４のフローチャートを参照する。このプロセスは、特定の時点からのデータレートを各々が指示する、連続的な値を登録すること（ステップ２０２）を含む。これらの値は、カメラ内の符号化器により提供される情報、符号化器から出力されるデータの量を測定することによりもたらされる値、ネットワークインターフェイスにより提供される値、例えばネットワークトラフィック、その他に基づくものであり得る。各々の値、および／または、値の連続は、上記の例で提示されたような、登録された値の特性を表し、少なくとも１つのイベントを表す、対応するあらかじめ決定された特性と比較される（ステップ２０４）。比較が、値、または、値の連続がイベントを表すことを指示するならば（ステップ２０６）、イベント信号が生成され（ステップ２０８）、次いでプロセスは、符号化器により生成されるデータのデータレートを指示する追加的な値を登録するために、ステップ２０２に戻る。イベント信号は、内部信号、または、他のシステムもしくはデバイスに送信される信号であり得る。実例として、信号が、物体の検出を表すイベントを指示する場合、この信号は、物体の数を計数するために、カウンタに内部的に送出され得る。その上イベント信号は、イベントのデータ、例えば、中間サイズの車両が西の方向に６０ｋｍ／ｈで通過したことを搬送する信号であり得る。さらにイベント信号は、アラーム信号であり得る。当業者は、イベント信号の多数の変形を認識されよう。比較が、イベントの何らの発生も指示しないならば（ステップ２０６）、プロセスはその後、符号化器により生成されるデータのデータレートを指示する追加的な値を登録するために、ステップ２０２内に直接戻る。このプロセスは、生のデータに対して、例えば、データが生み出され、値が生成される際に実行され得るものであり、またはそのプロセスは、記憶されたデータに対して実行され得るものであり、例えばデータは何らかの記憶デバイスに記憶され、記憶されたデータ内でイベントを検出するためにパースされる。
ステップ２０４での比較は、図３のデータレートグラフとのつながりで論考された特性の任意の１つ、または、それらの特性の任意の組み合わせを含み得る。例えば、比較される特性は、モーションイベントをトリガするためにシーンの十分な変化が存するかどうかを指示するしきい値と比較されているデータレートの値であってよい。特性は、グラフ内の、単一のデータエントリ、または、複数の連続的なデータレート値に関係付けられた変化の、微分係数、すなわち急峻さであり得る。そのような微分係数は、イベントを指示するために、あらかじめ決定されたしきい値と比較され得る。比較され得る別の特性は、データレートの値の積分、すなわち、グラフの下側の面積である。そのような面積は、データレートがしきい値を上回る２つの時間点の間で、または単にあらかじめ決定された時間フレームにわたって測定され得る。比較は、特性のセットを、特性のあらかじめ決定されたセット、例えば、上記で述べられた特性の任意の組み合わせと比較することを含み得る。その上、特性のセットは、異なる時点からの複数の特性を含んでもよい。例えば、車がカメラに向かって、またはカメラから離れる方向に運転されていることを指示するイベントは、第１の微分係数を、次いでピーク値を、最後に第２の微分係数を検出することにより検出され得る。特性値のこのセットは、次いで、あらかじめ決定された特性のセットと比較され得る。
その上システムは、システムのすべての機能性をカメラ内に配置構成することにより実現され得るものであり、すなわちカメラは、本発明の実施形態によるプロセスを実行するための手段を含む。例えばカメラ１２は、データレート値を、符号化器４６から、ネットワークインターフェイスから、または、カメラ内の任意の他のデータレート抽出点から取り出し、データレート値をメモリ５０、５２に記憶して、イベントを生で、または履歴データレートから検出するためにカメラにより遂行されるプログラムに設定された特性セットと比較する。カメラは次いで、イベント検出に応答してイベント識別子を送信し得る。
代替的には、システムは、ネットワークを経てカメラに接続されてストリーミングモーションビデオを受信するデバイスの任意のもので実現され得る。そのようなデバイス、例えば、システム管理デバイス１６ａ～ｂ、データ記憶デバイス１８、その他は、モーションビデオストリームで受信されるデータの量を測定し、プロセスを独力で遂行し得る。デバイスはさらには、記憶するために受信されたデータに測定を行うことから取り出されるデータレート、または、別の場所で取り出されるデータレートを記憶するように配置構成された、ファイルサーバ、ＮＡＳ、その他などの記憶デバイスであってよい。
さらなる代替形態では、システムの動作は、様々なデバイスに分散される。例えばカメラ１２は、データレート値を測定および生成し、それらの値を、記憶のために記憶デバイス１８に、および、生のイベント検出のためにシステム管理デバイス１６ａ～ｂに送出し得る。システム管理デバイス１６ａ～ｂは次いで、さらには、記憶デバイスで記憶される履歴データレート値を取り出し、それらの値をイベント検出のために分析するように配置構成され得る。
シーン内で発生するイベントを表す、データレート値およびデータレート値の連続の特性は、カメラによりキャプチャされる視点、例えば、カメラが道路もしくは通路の上から、かつ道路もしくは通路の長手方向に方向設定されるかどうか、または、カメラが、通行人が画像内で左から右に進行しているシーンをキャプチャするように装着されるかどうかに、非常に依存的であり得る。したがって、カメラの視点は、検出することが可能なイベントのタイプを規定し得る。
上記の例はすべて、固定カメラとの関係で与えられるものであるが、カメラは移動カメラでもあり得る。実例として、カメラは、ドローンもしくはＵＡＶ（無人航空機）内に装着されてよく、または、カメラは車両内のダッシュボードカメラであってよい。
その上イベント検出は、人のプライバシーを保護するためにプライバシーマスクが配置構成されるシステムで使用され得る。本発明によるイベント検出器は、何らの個人的に識別可能な情報も漏らすことなくイベントを生成するために、シーン全体を分析することができる。
１２ モニタリングカメラ、カメラ
１２ａ～ｃ モニタリングカメラ
１４ 通信ネットワーク、ネットワーク
１６ａ～ｂ システム管理デバイス
１８ データ記憶デバイス、ネットワーク化された記憶デバイス、記憶デバイス
４０ レンズ
４２ 画像センサ
４４ 画像プロセッサ
４６ 符号化器
４８ 処理ユニット
５０ 揮発性メモリ、メモリ
５２ 不揮発性メモリ、メモリ
５４ ネットワークインターフェイス
５６ 内部通信経路
１０４ グラフ
１０６ 第１のピーク、ピーク
１０８ グラフ
１１０ グラフ
１１２ 第２のピーク、ピーク
１１４ グラフ
１１６ グラフ
１１８ ピーク
１２０ ピーク
１２２ ピーク
１２４ 最後のピーク、ピーク
１２６ グラフ
１２８ グラフ
２００ プロセス

Claims (8)

  1. イベントを検出するための方法であって、
    シーンからのビデオを時間的圧縮により符号化している符号化器により生成されたデータストリーム内の、時間単位あたりのデータの量を指示する値を反復して登録し、それにより、時間に伴うデータレートの変動を表すデータセットが登録されることと、
    前記データセットの時間に対する前記データレートの表現のピークの両側における部分の微分係数を分析することによって、前記シーンをキャプチャするために使用されるカメラに向かって、または、カメラから離れる方向に進行する物体を表すイベントを検出することと
    を含む、方法。
  2. 前記データセットをデータベースに記憶することをさらに含み、前記イベントを検出する行為は、前記データベースに記憶された前記データセットに対して実行される、請求項１に記載の方法。
  3. 前記データセットを、ネットワークを介してクライアントに転送することをさらに含み、前記イベントを検出する行為は、前記クライアントにより実行される、請求項１または２に記載の方法。
  4. イベントの検出をトリガする物体の速度を、前記データセットの時間に対する前記データレートの前記表現の前記部分の急峻さを分析することにより指示することをさらに含む、請求項１から３のいずれか一項に記載の方法。
  5. イベントの検出をトリガする物体のサイズを、前記ピークの高さを分析することにより指示することをさらに含む、請求項１から４のいずれか一項に記載の方法。
  6. 時間的に符号化されない画像フレームを含むデータを表す値は、前記データセットに含まれない、請求項１から５のいずれか一項に記載の方法。
  7. イベントの発生が検出されるたびにカウンタをインクリメントすることをさらに含む、請求項１から６のいずれか一項に記載の方法。
  8. 特定のイベントに関係付けられたカウンタを、前記特定のイベントの発生が識別されるたびにインクリメントすることをさらに含む、請求項１から６のいずれか一項に記載の方法。
JP2017231465A 2016-12-21 2017-12-01 イベントを検出するための方法、および、イベントを検出するための装置 Active JP7036579B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16205867.1A EP3340105A1 (en) 2016-12-21 2016-12-21 Method for and apparatus for detecting events
EP16205867.1 2016-12-21

Publications (3)

Publication Number Publication Date
JP2018125846A JP2018125846A (ja) 2018-08-09
JP2018125846A5 JP2018125846A5 (ja) 2021-01-21
JP7036579B2 true JP7036579B2 (ja) 2022-03-15

Family

ID=57755013

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017231465A Active JP7036579B2 (ja) 2016-12-21 2017-12-01 イベントを検出するための方法、および、イベントを検出するための装置

Country Status (6)

Country Link
US (1) US11055856B2 (ja)
EP (1) EP3340105A1 (ja)
JP (1) JP7036579B2 (ja)
KR (1) KR102386804B1 (ja)
CN (1) CN108235017B (ja)
TW (1) TWI767950B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522451B (zh) * 2018-12-13 2024-02-27 连尚（新昌）网络科技有限公司 重复视频检测方法和装置
US10904637B2 (en) * 2018-12-17 2021-01-26 Qualcomm Incorporated Embedded rendering engine for media data
US10867201B2 (en) * 2019-01-15 2020-12-15 Waymo Llc Detecting sensor occlusion with compressed image data
CN111105581B (zh) * 2019-12-20 2022-03-15 上海寒武纪信息科技有限公司 智能预警方法及相关产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008131611A (ja) 2006-11-27 2008-06-05 Victor Co Of Japan Ltd 監視装置、監視画像の記録方法、監視画像の送信方法、監視画像の記録制御プログラム、及び監視画像の送信制御プログラム
WO2009012297A1 (en) 2007-07-16 2009-01-22 Telchemy, Incorporated Method and system for content estimation of packet video streams
US20130300940A1 (en) 2011-01-21 2013-11-14 Peter Amon Method for processing a compressed video stream
JP2015170874A (ja) 2014-03-05 2015-09-28 日本電気株式会社 映像解析装置、監視装置、監視システムおよび映像解析方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0491589A (ja) 1990-08-06 1992-03-25 Sharp Corp 移動物体検知装置
JP3206386B2 (ja) * 1994-12-29 2001-09-10 日本ビクター株式会社 ビデオ記録装置
JPH10197543A (ja) 1997-01-10 1998-07-31 Nippon Telegr & Teleph Corp <Ntt> 時系列画像動き計測方法および装置
US6574279B1 (en) * 2000-02-02 2003-06-03 Mitsubishi Electric Research Laboratories, Inc. Video transcoding using syntactic and semantic clues
US7006666B2 (en) * 2001-11-21 2006-02-28 Etreppid Technologies, Llc Method and apparatus for detecting and reacting to occurrence of an event
US20030108334A1 (en) * 2001-12-06 2003-06-12 Koninklijke Philips Elecronics N.V. Adaptive environment system and method of providing an adaptive environment
JP2004032551A (ja) 2002-06-27 2004-01-29 Seiko Epson Corp 画像処理方法、画像処理装置及びプロジェクタ
KR20050082442A (ko) * 2002-07-05 2005-08-23 아스펙터스 엘티디 다수의 병렬 연속 영상에서 사건 감지를 효과적으로 수행하는 방법 및 시스템
KR100838816B1 (ko) * 2002-08-24 2008-06-17 엘지전자 주식회사 동영상 검색 방법
WO2005039181A1 (ja) 2003-10-21 2005-04-28 Matsushita Electric Industrial Co., Ltd. 監視装置
JP4232114B2 (ja) 2006-02-17 2009-03-04 ソニー株式会社 データ処理装置およびデータ処理方法、並びにプログラム
KR20080073844A (ko) * 2007-02-07 2008-08-12 주식회사 엠아이비전 통계적인 기법을 적용한 영상 검색 방법
US8472715B2 (en) 2007-10-26 2013-06-25 Panasonic Corporation Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus
JP2009118332A (ja) * 2007-11-08 2009-05-28 Nippon Hoso Kyokai <Nhk> トリガ信号発生装置
JP4982472B2 (ja) 2008-12-15 2012-07-25 日本電信電話株式会社 映像監視システム、映像監視方法および映像監視プログラム
EP2407943B1 (en) * 2010-07-16 2016-09-28 Axis AB Method for event initiated video capturing and a video camera for capture event initiated video
CN102136195B (zh) 2011-03-28 2013-05-01 长安大学 一种基于图像纹理检测道路交通状况的方法
CN102395030B (zh) 2011-11-18 2014-05-07 杭州海康威视数字技术股份有限公司 基于视频压缩码流的运动分析方法、码流转换方法及其装置
CN105027550B (zh) * 2012-11-06 2018-04-06 阿尔卡特朗讯公司 用于处理视觉信息以检测事件的系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008131611A (ja) 2006-11-27 2008-06-05 Victor Co Of Japan Ltd 監視装置、監視画像の記録方法、監視画像の送信方法、監視画像の記録制御プログラム、及び監視画像の送信制御プログラム
WO2009012297A1 (en) 2007-07-16 2009-01-22 Telchemy, Incorporated Method and system for content estimation of packet video streams
US20130300940A1 (en) 2011-01-21 2013-11-14 Peter Amon Method for processing a compressed video stream
JP2015170874A (ja) 2014-03-05 2015-09-28 日本電気株式会社 映像解析装置、監視装置、監視システムおよび映像解析方法

Also Published As

Publication number Publication date
CN108235017A (zh) 2018-06-29
EP3340105A1 (en) 2018-06-27
KR102386804B1 (ko) 2022-04-14
TWI767950B (zh) 2022-06-21
CN108235017B (zh) 2022-12-30
JP2018125846A (ja) 2018-08-09
TW201840187A (zh) 2018-11-01
US20180174306A1 (en) 2018-06-21
KR20180072547A (ko) 2018-06-29
US11055856B2 (en) 2021-07-06

Similar Documents

Publication Publication Date Title
JP7036579B2 (ja) イベントを検出するための方法、および、イベントを検出するための装置
KR102156818B1 (ko) 비디오 시퀀스에서 동작 인식
CN108229333B (zh) 用于识别运动视频中的事件的方法
US10986338B2 (en) Thermal-image based video compression systems and methods
CA2967495C (en) System and method for compressing video data
US9424747B2 (en) Vehicle counting methods and systems utilizing compressed video streams
CN107358160A (zh) 终端监控视频处理方法、监控终端以及服务器
JP5047382B2 (ja) ビデオ監視時に移動物体を分類するシステムおよび方法
US11200683B2 (en) Image processing device and image processing method
JP6915219B2 (ja) コンピュータ実施方法、撮像システム、及び画像処理システム
Gasparini et al. Anomaly detection, localization and classification for railway inspection
US20130162834A1 (en) Integrated video quantization
KR20190078688A (ko) 인공지능을 이용한 주차 인식 장치
CN201142737Y (zh) 用于ip网络视频监控系统的前端监控装置
KR101459103B1 (ko) 효율적인 cctv 모니터링 구현을 위한 영상 감시 시스템을 이용한 영상 감시 방법
US20200164509A1 (en) Systems and methods for enhanced review of automated robotic systems
US11468688B2 (en) Vehicle sensor data sharing
JPWO2022162753A5 (ja)

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220303

R150 Certificate of patent or registration of utility model

Ref document number: 7036579

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150