KR20180072547A - 이벤트들을 검출하기 위한 방법 및 장치 - Google Patents

이벤트들을 검출하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20180072547A
KR20180072547A KR1020170167701A KR20170167701A KR20180072547A KR 20180072547 A KR20180072547 A KR 20180072547A KR 1020170167701 A KR1020170167701 A KR 1020170167701A KR 20170167701 A KR20170167701 A KR 20170167701A KR 20180072547 A KR20180072547 A KR 20180072547A
Authority
KR
South Korea
Prior art keywords
data
events
event
data rate
representation
Prior art date
Application number
KR1020170167701A
Other languages
English (en)
Other versions
KR102386804B1 (ko
Inventor
빅토르 에드팜
에릭 안데르쏜
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20180072547A publication Critical patent/KR20180072547A/ko
Application granted granted Critical
Publication of KR102386804B1 publication Critical patent/KR102386804B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Holo Graphy (AREA)

Abstract

본 발명은 이벤트들을 검출하는 방법에 관한 것이다. 상기 방법은 시간 압축에 의해 장면으로부터 비디오를 인코딩하는 인코더에 의해 생성된 데이터의 양을 나타내는 값을 반복적으로 등록하는 단계, 상기 등록된 값들의 특성들과 미리 결정된 특성들을 비교함으로써 상기 인코딩된 비디오에 의해 표현되는 상기 장면에서 특정 이벤트가 발생했는지를 결정하는 단계, 및 이벤트 발생이 결정되는 것에 응답하여 이벤트 신호를 생성하는 단계를 포함한다.

Description

이벤트들을 검출하기 위한 방법 및 장치{METHOD FOR AND APPARATUS FOR DETECTING EVENTS}
본 발명은 캡처된 비디오로부터의 이벤트 검출에 관한 것이다. 보다 상세하게는, 본 발명은 캡처된 비디오에서 이벤트들을 검출하는 방법 및 장치에 관한 것이다.
오늘날의 대부분의 감시, 모니터링 및 보안 시스템들은 비디오를 캡처하고 그리고 생성하는 디바이스들을 포함한다. 캡처된 비디오는 종종 특정 이벤트들의 발생을 검출하기 위해 분석된다. 그와 같은 이벤트들의 예들은 모션 검출, 객체 검출, 무단 침입의 검출이다. 이러한 유형들의 이벤트들을 검출하려면 많은 처리 능력을 요구한다. 이러한 높은 처리 능력의 요구들은, 비디오를 캡처하는 낮은 처리 능력의 카메라들에서 이벤트 검출을 제공할 가능성을 제한할 수 있다. 처리 능력이 낮은 카메라들을 사용하는 한 가지 이유는 높은 처리 능력을 갖춘 카메라의 가격이 높기 때문일 수 있다. 또 다른 이유는, 높은 처리 능력을 갖는 카메라가 낮은 처리 능력을 갖는 카메라보다 더 많은 전력을 필요로 하고, 카메라의 위치에 전력량을 제공할 수 없을 수도 있기 때문이다. 따라서, 보다 적은 컴퓨팅 전력을 요구하면서 이벤트 검출을 생성하는 방법이 필요하다.
본 발명의 하나의 목적은 더 적은 처리 능력으로 이벤트를 검출하는 것이다.
상기 목적은 청구항 1에 따른 이벤트들을 검출하기 위한 방법에 의해 달성된다. 본 발명의 다른 실시 예들은 종속항들에 제시된다.
구체적으로, 본 발명의 일부 실시예들에 따라, 이벤트들을 검출하는 방법은, 시간적 압축에 의해 장면으로부터 비디오를 인코딩하는 인코더에 의해 생성된 데이터 양을 나타내는 값을 반복적으로 등록하는 단계, 상기 등록된 값들의 특성들을 미리 결정된 특성들과 비교함으로써 상기 인코딩된 비디오에 의해 표현되는 장면에서 특정 이벤트가 발생했는지를 결정하는 단계, 및 이벤트 발생이 결정되는 것에 응답하여 이벤트 신호를 생성하는 단계를 포함한다. 비디오의 인코딩에서 생성된 데이터의 양을 등록하고, 이후, 캡처된 비디오에서 이벤트가 발생했는지를 결정하기 위해 이러한 데이터를 사용함으로써, 모든 이미지 데이터의 강한 분석을 수행하지 않고도 판정이 수행될 수 있기 때문에 처리 능력이 절약될 수 있다. 또한, 결정에 필요한 데이터가 더 적다는 사실에 더 많은 이점이 있을 수 있다. 즉, 분석을 위한 데이터의 전송은 네트워크 로드를 감소시키거나, 이벤트가 발생했는지 또는 특정 이벤트가 발생했는지 여부를 결정할 수 있는 데이터의 저장이 더 적은 저장 용량을 요구할 수 있다.
다른 실시예들에서, 특정 이벤트가 발생했는지를 결정하는 행위에서 비교되는 특성들은, 등록된 값들이 제1 미리 결정된 임계값보다 높은 레이트로 증가하고, 적어도 하나의 등록된 값이 제2 미리 결정된 임계값보다 높고, 등록된 값들이 제3 미리결정된 임계값보다 큰 레이트로 감소하며, 일정 기간에 걸친 값들의 적분은 제4 미리 결정된 임계 값을 초과하는 것을 포함하는 특성들의 그룹으로부터의 임의의 특성 또는 임의의 특성들의 조합일 수 있다. 이러한 특성들 중 하나의 장점은, 인코더에 의해 생성된 데이터의 양을 나타내는 등록된 값들로부터 계산되기 위해 많은 처리 능력 또는 메모리를 필요로하지 않는다는 것이다.
더욱이, 특정 이벤트는, 등록된 값들의 시퀀스를 나타내는 특성을 대응하는 값들의 시퀀스를 나타내는 서술에 기초하여 미리 결정된 이벤트 특성과 매칭시킴으로써 결정되고 그리고 식별될 수 있다. 등록된 값들의 매칭 시퀀스들의 이점은, 더 특정한 이벤트들 및/또는 더 복잡한 이벤트들이 검출되고 식별될 수 있다는 점일 수 있다.
또 다른 실시예들에서, 이벤트는, 등록된 값들의 시퀀스를 나타내는 특성들을 정상 상태를 나타내는 서술과 비교함으로써 결정되고, 그리고 그와 같은 이벤트는 상기 등록된 값들의 시퀀스가 미리 결정된 값보다 큰 정도에서 상기 정상 상태와 상이한 경우 발생하는 것으로 판단된다. 특성들이 정상 상태 특성들과 다른 경우 이벤트가 발생했는지 결정하는 이점은, 예기치 않은 이벤트 또는 알려지지 않은 이벤트와 같은 많은 이벤트들의 검출이 몇 가지 특성과 비교하여 검출될 수 있기 때문에, 상기 결정이 매우 효과적일 수 있다.
다른 실시예들에 따르면, 인코더에 의해 생성된 데이터의 양을 나타내는 각각의 반복하여 등록된 값은 이전에 등록된 값의 시간으로부터 인코더에 의해 생성된 데이터를 포함하는 전송된 데이터의 양을 측정함으로써 도달된다. 더욱이, 전송된 데이터의 측정은 마지막으로 등록된 값의 시간부터 수행될 수 있다.
일부 실시예들은 등록된 값들을 데이터베이스에 저장하는 것을 더 포함할 수 있으며, 특정 이벤트가 발생했는지 여부를 결정하는 동작은 데이터베이스에 등록 된 값들에 대해 수행된다.
또 다른 실시예들은 등록된 값들을 네트워크를 통해 클라이언트에 전송하는 것을 더 포함할 수 있으며, 특정 이벤트가 발생했는지 여부를 결정하는 동작은 클라이언트에 의해 수행된다.
일부 실시예들에서, 시간에 따른 값의 증가를 나타내는 등록된 값들의 특성은 인코딩된 비디오에서 장면에 들어가는 객체를 지시한다. 이 특징의 장점은 보다 복잡한 이벤트들의 특성들을 결정할 수 있다는 것이다.
다른 실시예들에서, 상기 등록된 값들의 특성은 값 그 자체이고, 상기 장면을 통해 이동하는 제1 객체 유형은 상기 등록된 값을 미리 결정된 제1 임계값과 비교함으로써 식별되며, 그리고 상기 장면을 통해 이동하는 제2 객체 유형은 등록된 값을 미리결정된 제2 임계값과 비교함으로써 식별된다.
일부 실시예들에 따르면, 특정 이벤트가 발생했는지를 결정하는 동작은 미리 결정된 임계값보다 큰 등록된 값들에 대해서만 수행되며, 이러한 결정 방식의 이점은 매우 간단하고 조작하기 위해 매우 낮은 처리 능력을 필요로 한다는 것이다.
일부 실시예들에서, 시간적으로 인코딩되지 않은 이미지 프레임을 포함하는 데이터를 나타내는 값들은 특정 이벤트가 발생했는지 여부를 결정하는 동작에서 사용되지 않는다. 비-시간적으로 인코딩된 이미지 프레임들에 기초하여 이벤트들을 결정하지 않는 이점은, 비-시간적으로 인코딩된 프레임들이 비디오에서의 움직임과 관련하여 어떠한 정보도 운반하지 않기 때문에, 결정들의 정밀도를 감소시키지 않고 더 많은 처리 능력이 절약된다는 것이다.
추가의 실시예들에서, 이 방법은 특정 이벤트의 발생이 결정될 때마다 카운터를 증가시키는 단계를 더 포함한다. 이러한 것의 장점은, 낮은 처리 능력을 요구하는 카운터, 예를 들어, 사람의 카운터, 차량의 카운터, 일반 객체의 카운터가 구현될 수 있다. 그와 같은 카운터는 예를 들어 제한된 리소스들을 갖는 카메라 또는 제한된 리소스들 또는 적어도 제한된 예비 리소스들을 갖는 다른 디바이스에서 구현될 수 있다. 일부 실시예들에서, 상기 방법은, 특정 이벤트의 발생이 결정될 때마다 특정 이벤트와 관련된 카운터를 증가시키는 단계를 더 포함한다. 따라서, 특정 이벤트들에 대한 카운터가 배치되고, 이는 상이한 카운터들이 상이한 객체들, 예를 들어, 사람, 동물들, 차량 등, 또는 상이한 이벤트들, 예를 들어, 달리기, 걷기, 객체들을 남겨두기 등을 위해 배치될 수 있다.
본 발명의 또 다른 적용 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나, 본 발명의 범위 내의 다양한 변경 및 수정이 이 상세한 설명으로부터 당업자에게 명백해질 것이기 때문에, 본 발명의 바람직한 실시예들을 나타내는 상세한 설명 및 특정예들은 단지 예시로서 주어졌음을 알 수 있다. 따라서, 본 발명은, 서술된 디바이스의 특정 컴포넌트 부분들 또는 서술된 방법들의 단계들로 제한되지 않는 것으로 이해되어야 하고, 이는 그러한 디바이스 및 방법은 변할 수 있기 때문이다. 또한, 본 명세서에서 사용된 용어는 특정 실시예들을 설명하기 위한 것일 뿐이며, 제한하려는 것은 아니다. 명세서 및 첨부된 청구 범위에서 사용된 바와 같이, "하나" 및 "상기"라는 용어는, 문맥에서 명확하게 다르게 지시하지 않으면 하나 이상의 요소들이 존재하는 것을 나타내도록 의도됨을 알 수 있다. 따라서, 예를 들어, "센서" 또는 "상기 센서"에 대한 언급은 여러 센서들 등을 포함할 수 있다. 또한, 단어 "포함하는"은 다른 요소들 또는 단계들을 배제하지 않는다.
본 발명의 다른 특징들 및 이점들은, 첨부된 도면들을 참조하여 현재 바람직한 실시예의 다음의 상세한 설명으로부터 명백해질 것이다.
도 1은 본 발명의 일 실시예를 포함할 수 있는 시스템의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 카메라의 블록도이다.
도 3은 본 발명의 일 실시예에 사용될 수 있는 그래프의 피처들을 보여주는 시간에 따른 데이터 레이트를 나타내는 그래프이다.
도 4는 본 발명의 일 실시예에 따른 이벤트 신호들을 생성하는 프로세스의 흐름도이다.
또한, 도면들에서 동일한 도면 부호는 여러 도면들 전체에 걸쳐 동일하거나 대응하는 부분들을 나타낸다.
본 발명은 이벤트 검출 시스템 및 이벤트 검출 방법에 관한 것이다. 이벤트 검출 시스템은, 복수의 모니터링 카메라들(12a 내지 12c), 통신 네트워크(14), 시스템 관리 디바이스들(16a 내지 16b) 및 데이터 저장 디바이스(18)를 포함하는 시스템일 수 있다(도 1 참조). 모니터링 카메라들(12a 내지 12c)은 모션 비디오를 캡처할 수 있는 임의의 유형의 네트워크 모니터링 카메라일 수 있다. 통신 네트워크(14)는 임의의 유선 또는 무선 통신 네트워크일 수 있거나 또는 다양한 유선 및/또는 무선 네트워크, 예를 들어, LAN, WAN, 인터넷, 셀룰러 네트워크, Wi-Fi 등의 조합일 수 있다. 시스템 관리 디바이스들(16a 내지 16b)은, 운영자가 시스템 내의 디바이스와 상호 작용하거나 이벤트 검출과 관련된 정보를 수신할 수 있게 하는 디스플레이를 갖는 임의의 컴퓨팅 디바이스일 수 있다. 데이터 저장 디바이스(18)는 네트워크 부착 저장 유닛(NAS), 파일 서버, 비디오 서버, 또는 임의의 다른 데이터 저장 유닛일 수 있다.
이제, 도 2를 참조하면, 시스템에 사용되는 모니터링 카메라(12)는 장면의 모션 비디오를 디지털 데이터로서 캡처하도록 구성된다. 따라서, 모니터링 카메라(12)는 장면으로부터 이미지 센서(42) 상으로 광을 향하게하는 적어도 하나의 렌즈(40)를 포함한다. 이미지 센서(42) 및 이미지 프로세서(44)는 광을 캡처된 이미지를 나타내는 디지털 데이터로 변환한다. 또한, 카메라(12)는 모션 비디오를 생성하기 위한 데이터를 제공하기 위해 복수의 이미지들을 캡처하도록 구성된다. 그 다음, 모션 비디오를 나타내는 데이터는, 시간 압축 방식을 사용하여 모션 비디오를 인코딩하는 인코더(46)에서 인코딩된다. 카메라는 가시광선을 캡처하는 카메라, IR 카메라, ToF 카메라(비행 시간 카메라) 등일 수 있다.
시간 압축 방식은 각 프레임을 별도의 완전한 이미지로 인코딩하지 않음으로써 압축된 비디오 크기를 줄이는 방식이다. 완전히 인코딩된 프레임들은, 현재 인코딩된 이미지 프레임의 정보를 기반으로 완전히 인코딩되므로 인트라 프레임들로 언급된다. 비디오 내의 다른 모든 프레임들은 최종 프레임 이후의 변화를 지정하는 데이터로 표현된다. 즉, 이들 프레임을 나타내는 데이터는 다른 프레임들과의 차이들을 나타낸다. 이러한 프레임들은 다른 프레임들의 데이터에 따라 달라지므로 델타 인터 프레임들로 언급된다. 인터 프레임들은, 몇몇 인코딩 방식들에서 P 프레임으로 지칭되는 이전 프레임과 관련될 수 있지만, 대안적으로, B 프레임들로서 지칭되는 이전 및 미래 프레임들에 관련될 수 있다.
인코더(46)에서의 모션 비디오의 인코딩은 모션 비디오를 표현할 데이터의 양을 감소시킨다. 인코더(46)에서 사용되는 인코딩 방식들의 예는 H.264, H.265, MPEG-2 파트 2, MPEG-4 파트 2 등이다. 일부 카메라들(12)에서, 모션 비디오는 모션 비디오의 인코딩 이전 및/또는 이후에 훨씬 더 분석 및/또는 처리된다. 이러한 카메라들(12)에서, 프로세싱 유닛(48)은 이러한 유형의 분석 및/또는 처리를 위해 배치될 수 있다. 많은 카메라들(12)은 또한 프로그램들의 동작 및 데이터의 저장을 위해 휘발성 메모리(50) 및/또는 비-휘발성 메모리(52)를 필요로 한다.
모션 비디오가 네트워크(14)를 통해 전송되기 전에, 비디오 데이터는 통신 프로토콜에 의해 관리되고 그 다음 카메라에 연결된 네트워크에 물리적으로 적응된다. 도 2의 네트워크 인터페이스(54)는 통상의 기술자에게 알려진 임의의 방식으로 이러한 동작들을 수행하는 디바이스 또는 모듈로 볼 수 있다. 카메라 내의 디바이스들과 모듈들 간의 통신은 직접적인 개별적인 물리적 접속들 또는 데이터 버스 또는 이들의 조합에 의해 구현될 수 있고, 이들 통신 구현들은 내부 통신 경로(56)에 의해 도 2에서 상징화된다.
본 발명의 이벤트 검출 시스템은 이벤트를 검출하기 위해 비디오 스트림의 모든 픽셀들을 분석하는 시스템보다 적은 처리 능력을 사용하여 이벤트를 검출하도록 설계된다. 저장된 데이터의 이벤트들을 검출할 때, 즉 오래된 리코딩들을 나타내는 경우, 이벤트들을 검출하기 위해 비디오 스트림의 모든 픽셀들을 분석하는 시스템을 사용할 때보다 긴 기간을 나타내는 데이터의 이벤트 검출은 더 빠를 것이다. 이러한 장점들은, 이벤트 검출이 요구되는 장면의 모션 비디오를 캡처하고 있는 카메라(12)의 일시적으로 압축하는 비디오 인코더(46)에 의해 생성된 데이터의 양을 분석함으로써 달성된다. 인코더(46)에 의해 생성된 데이터의 양은 연속적으로 캡처된 이미지 프레임들 간의 변화량에 의존한다. 예를 들어, 본질적으로 움직이는 물체들을 갖지 않는 장면의 이미지 시퀀스는 많은 움직임을 갖는 장면의 이미지 시퀀스보다 적은 인코딩된 데이터를 초래할 것이다. 따라서, 인코딩 단계 이후의 데이터 양은 연속적으로 캡처된 이미지들의 변형들에 크게 의존한다. 이는, 또한, 인코더(46)에 의해 생성되는 인코딩된 이미지 데이터의 양이 장면에서의 움직임들에 의해 영향을 받는 이미지 센서 상의 픽셀의 수에 의존하는 것으로 서술될 수 있다. 예를 들어, 카메라 또는 큰 객체와 가까이 있는 객체는 카메라 또는 작은 객체에서 멀리 떨어진 객체들보다 이미지 센서 상의 더 많은 픽셀들에 영향을 미친다. 따라서, 데이터 양은 이미지 정보의 일시적인 압축의 효과이다.
본 발명의 실시예들에 따르면, 모니터링된 장면의 모션 비디오를 포함하는 데이터 스트림에서 단위 시간당 데이터의 양을 나타내는 복수의 데이터 레이트들이 연속적으로 측정되고 등록된다. 이로써, 시간에 따른 데이터 레이트의 변화를 나타내는 데이터 세트가 등록된다. 데이터 레이트는 시스템의 여러 위치들에서 측정되거나 또는 검색될 수 있다. 예를 들어, 데이터 레이트는, 카메라의 인코더(46), 카메라의 네트워크 인터페이스(54), 네트워크(14)의 스위치 또는 라우터, 시스템 관리 디바이스(16a 내지 16b)의 네트워크 인터페이스 또는 디코더, 또는 네트워크 저장 디바이스(18)의 네트워크 인터페이스 또는 디코더에서 특정되거나 또는 검색될 수 있다. 데이터 레이트는 이미지 스트림을 나타내는 스트림상에서 직접 측정될 수 있지만, 또한 모션 비디오를 전송하는 네트워크 패킷들의 데이터 레이트를 측정함으로써 측정될 수 있다. 데이터 스트림 또는 임의의 데이터 전송의 데이터 레이트를 측정하는 프로세스는 통상의 기술자에게 잘 알려져 있다. 시간 경과에 따른 데이터 레이트를 나타내는 데이터 세트는, 특히, 모션 비디오 스트림을 표현하는데 필요한 데이터와 비교하여 매우 적은 양의 데이터를 사용하여 표현될 수 있다. 예를 들어, 시간 경과에 따른 데이터 레이트의 변화를 나타내는 데이터 세트에 이미지 스트림의 각 이미지를 표현하는데 사용되는 데이터의 양을 나타내는 값 또는 데이터 엔트리를 포함시키는 것을 고려해야 한다. 카메라가 10 메가픽셀 카메라인 경우, 즉 공간적으로 인코딩된 인트라 프레임의 크기는, 표준 인코더들 중 임의의 것을 사용하여 약 2.5 MB가 될 것이다. 무손실 코딩 방식을 사용하여 인코딩되는 10 메가픽셀 프레임조차도 10 MB보다 훨씬 큰 크기를 가지지 않는다. 0MB 내지 10MB 사이의 모든 크기를 나타내는 값이나 데이터 항목을 등록하기 위해, 3 바이트 만을 필요로하는데, 이는 3 바이트 만 있으면 1600만 개 이상의 값을 나타낼 수 있기 때문이다. 데이터 레이트의 분해능이 그다지 중요하지 않은 경우, 2 또는 1 바이트를 사용하여 데이터 전송률을 나타낼 수도 있다. 어쨌든, 데이터 세트에서 데이터 레이트를 나타내는 데 필요한 데이터는 하나의 인트라 프레임을 표현하는 데 사용되는 데이터보다 거의 백만 배 정도 작다. 스트리밍 비디오에서 인터 프레임이 시간적으로 인코딩되므로 프레임 당 사용되는 데이터는 물론 더 작아진다. 그러나, 사용되는 데이터 세트는 모든 프레임의 크기를 포함할 필요는 없지만, 미리 결정된 기간에 걸친 누적된 데이터 양을 나타낼 수 있다. 일 실시예에서, 프레임 크기는 데이터 레이트의 표현으로서 등록된다. 프레임 크기는 프레임을 인코딩하는 데 필요한 데이터의 양을 나타낸다. 프레임 크기는 4 바이트들(32 비트들)을 사용하여 등록되며 프레임 크기는 각 프레임에 대해 등록된다. 프레임들은 초당 30 프레임들로 캡처되고, 따라서 이벤트들의 검출을 위해 본 발명에 사용된 데이터는 이 실시예에서는 0.12 Kb/s이다. 이는 6000 Kb/s의 표준 모션 비디오 스트림의 데이터 레이트보다 훨씬 낮다.
이미지 스트림의 이미지 인코딩과 데이터 세트의 각 값 또는 데이터 항목을 나타내기 위해 데이터 세트에 사용된 해상도, 즉 바이트들의 수와는 별도로, 이미지 스트림의 이미지들 대신에 데이터 레이트 데이터 세트가 사용될 수 있을 때 처리되어야 하는 데이터의 양의 차이는 엄청나다. 데이터의 일부만 저장할 필요가 있기에, 스토리지 측면에서 큰 이점이 있다. 예를 들어, 모니터링 시스템은, 흥미있는 이벤트들이 발생한 기간 동안 만 모션 비디오 데이터를 저장할 수 있고 그리고 전체 모니터링된 기간 동안 데이터 레이트 값을 저장할 수 있다. 저장된 데이터 레이트 값들은 특정 이벤트들을 필터링하기 위해 검색 및/또는 분석될 수 있다. 그 다음, 데이터 레이트 값들은, 어떤 모션 비디오도 저장되지 않은 기간 동안 어떠한 이벤트도 발생하지 않았음을 확인하기 위해 또한 사용될 수 있다. 또한, 일반적으로, 관심있는 비디오 시퀀스들에 대해 기록된 비디오를 검색하기 위해 저장된 데이터 레이트 데이터 세트가 사용될 수 있는 장점이 있다. 데이터 레이트 세트를 분석하는 또 다른 장점은, 장면에 있는 사람의 무결성을 손상시키지 않으면서 장면의 이벤트를 분석할 수 있다는 것이다.
도 3에서, 데이터 세트의 일례가 시간에 대해 데이터 레이트를 플로팅함으로써 도시된다. 도면의 데이터 세트는, 카메라로 캡처한 비디오 스트림에 각 이미지 프레임을 나타내는 데이터의 양을 등록함으로써 얻을 수 있다. 현재 데이터 세트에서 인트라 프레임들의 효과는, 단순히 인트라 프레임을 나타내는 각 값을 제거함으로써 제거되었다. 인트라-프레임들의 제거는 대안적으로 최대 임계값을 넘는 모든 데이터 값들을 제거하는 것으로 구현될 수 있다. 인트라 프레임들을 제거할 때의 이점은, 각 인트라-프레임의 데이터 레이트에서 피크를 고려할 필요가 없을 때 데이터 레이트들이 더 간단하게 분석될 수 있다는 것이다. 특히, 인트라 프레임은 공간적으로 인코딩되고 시간적으로 인코딩되지 않기 때문에, 인트라 프레임은 프레임들 간의 이동 또는 변화들에 관한 정보로 기여하지 않는다. 이러한 방식으로, 데이터 세트는 인트라-프레임들의 높은 데이터 량의 값으로부터의 간섭없이 시간 인코더들에서 인터-프레임들의 고유한 이동 표시를 이용할 것이다.
도 3의 그래프에서 나타내는 모니터링된 장면은 도로이고 그리고 카메라는 도로의 종 방향에서 도로의 위에서 비디오를 캡처하도록 배열된다. 단순히 그래프를 보면서 다양한 이벤트들을 식별할 수 있다. 예를 들어, 각 피크의 높이는, 가장 가까운 지점에서 카메라를 통과할 때 차량의 크기, 적어도 차량의 상대적 크기를 나타낸다. 따라서, 그래프의 피크 값들에 단순히 초점을 맞춤으로써 카메라를 지나가는 차량들의 크기에 대한 결론들을 도출할 수 있다. 더욱이, 피크의 각 측면에서의 그래프들의 급경사는 차량의 주행 방향을 나타낸다. 그래프의 가파른 부분은 장면을 떠나거나 카메라에 가까운 지점에서 장면에 도달하는 차량의 비디오를 인코딩하는 카메라의 결과이다. 즉, 장면을 떠나거나 또는 도달할 때, 차량의 캡처된 이미지가 크면, 차량으로 인해 많은 픽셀들이 짧은 시간에서 변하게 된다. 피크의 다른 쪽에 있는 그래프의 덜 가파른 부분은 캡처된 장면에서 멀리 떨어져 있는 카메라쪽으로 이동하는 차량의 결과 또는 상기 장면에서 카메라에서 멀어지도록 운전하는 차량의 결과이다. 이것은 차량이 비교적 오랜 시간 동안 장면에 있었기 때문에 천천히 카메라에서 멀어 질수록 점점 더 작아지는 것으로 인식된다.
이제, 도 3의 그래프(104)를 참조하면, 상기 추론으로부터, 제1 피크(106)는 카메라 쪽으로 운전하는 대형 차, 예를 들어, 밴 또는 트럭을 나타낼 것이다. 이는, 피크(106)까지 이어지는 그래프(108)의 부분이 카메라에 가까운 위치에 도달 할 때까지 장면에서 장시간 이동하는 차량을 나타내는 것으로 식별될 수 있으며, 그로 인해 덜 가파른 그래프의 모습으로부터 추론된다. 그래프(108)의 덜 가파른 부분이 그래프의 피크(106)의 상단 전에 등록된다는 사실은, 차량이 카메라쪽으로 장면에서 이동하고 있음을 나타낸다. 따라서, 피크의 후속 측면에 있는 그래프 (110)의 부분은 전술한 바와 같이 차량이 카메라에 가까운 장면을 떠나는 것을 나타내는 급경사이다.
제2 피크(112)는 장면에서 카메라로부터 멀어지도록 운전하는 차를 나타낸다. 차의 크기는 피크(112)의 높이로 표시되고 그리고 이동 방향은 피크(112)로 이어지는 그래프의 급경사 부분(114) 및 피크 이후의 그래프의 덜 가파른 부분(116)을 가짐으로써 식별된다. 피크(118)는 카메라로부터 멀어지는 다른 대형 차량을 나타내는 반면, 피크들(120 및 122)은 카메라로부터 멀어지게 이동하는 차량을 각각 나타낸다.
그래프(104)의 최종 피크(124)는 큰 차량들을 나타내는 피크보다 높고, 피크 (124)의 각 측면 상의 그래프(126, 128)의 부분들의 경사를 볼 때, 두 부분들 모두 덜 가파른 것을 알 수 있다. 이러한 표시들은, 피크가 서로 반대 방향으로 이동하는 두 대의 차량들을 나타내는 것이라고 결론 내릴 수 있다.
따라서, 시간적으로 인코딩된 비디오 데이터의 데이터 레이트를 나타내는 그래프(104)의 피처들은 특정 이벤트들을 식별하거나 적어도 나타내기 위해 사용될 수 있다. 예를 들어, 임계값은 장면에서의 움직임과 같은 이벤트를 나타내기 위해 설정될 수 있다. 데이터 레이트가 임계 값을 초과하면 이벤트가 촉발(trigger)된다. 카메라를 향해 또는 카메라로부터 멀어지는 방향으로 이동하는 객체들을 나타내는 이벤트는 피크의 각 측면에 있는 그래프들의 부분들의 미분을 분석함으로써, 즉 전술한 바와 같이 그래프의 이들 부분들의 급경사를 계산함으로써 식별될 수 있다. 그러한 경사값, 예를 들어, 기울기는 또한 속도 이벤트를 나타내기 위해 사용될 수 있다. 예를 들어, 객체의 속도는 그래프의 경사에 기초하여 계산될 수 있다. 그래프 아래의 영역은 이벤트들의 분석에도 사용될 수 있다. 이 지역은 차량의 속도, 차량의 크기 및 다른 많은 것들을 결정하는 데 사용될 수 있다.
또 다른 대안은, 시간에 대한 데이터 레이트를 나타내는 그래프에서 식별 가능한 다양한 이벤트를 나타내는 모델들을 생성한 다음 이러한 모델들을 사용하여 특정 이벤트를 식별하는 것이다. 이러한 모델들은, 특정 이벤트를 나타내는 그래프의 일부분의 특정 특성들의 조합을 식별 및 등록함으로써 형성될 수 있거나, 또는 등록된 그래프가 등록된 전형적인 그래프로부터 미리결정된 양 이상 벗어나지 않는 경우, 전형적인 이벤트를 등록하고 이벤트를 이 이벤트로서 식별함으로써 형성될 수 있다. 상기 모델들은, 또한, 딥 러닝을 사용하여, 예를 들어, 시간적으로 인코딩된 비디오의 데이터 레이트의 입력에 의해 특정 이벤트들을 식별하는 신경 네트워크를 트레이닝함으로써 수행될 수 있다.
또 다른 응용예는, 일반적으로 장면에서 발생해야 하는 이벤트들을 나타내는 모델을 생성한 다음 등록된 데이터 레이트가 이 모델에서 벗어날 때 알람을 촉발하는 것이다. 예를 들어, 이 시스템은 철도 트랙을 측량하는 데 사용될 수 있다. 트랙 위를 지나가는 열차들을 나타내는 모델은, 그래프의 특성들을 분석하거나 신경망 접근법을 사용하여 시스템을 트레이닝함으로써 형성된다. 그후, 모델에 맞지 않는 이벤트가 감지될 때를 나타내기 위해 시스템이 설정될 수 있다. 따라서, 트랙 상의 동물들 또는 사람들과 같은 이벤트들의 데이터 레이트 그래프가 열차들을 나타내는 모델과 크게 다를 가능성이 있기 때문에 트랙 상에서 동물들이나 사람들을 감지하는 데 사용할 수 있다.
이벤트들의 감지를 위한 데이터 레이트 분석은 많은 어플리케이션들에서 사용될 수 있다. 위에서 언급했듯이, 상기 이벤트들의 감지를 위한 데이터 레이트 분석은 교통 감시 및 열차 트랙들의 모니터링에 사용될 수 있다. 다른 사용 영역들은 공장들에서의 공정 모니터링이다. 예를 들어, 컨베이어 벨트들 상에서 제품들을 카운팅하는 것은, 데이터 레이트 계열들, 즉, 시간 경과에 따른 데이터 레이트의 일부 또는 복수의 특성들 또는 그와 같은 데이터 레이트 계열들의 하나의 섹션 또는 복수의 섹션들이 "정상적인(normal)" 특성 또는 섹션과 다른 경우, 예를 들어, 의도된 프로세스와 불일치함을 나타내는 경우 알람을 발생시킨다. 전술한 바와 같이, 특성들은 특정 데이터 포인트들, 예컨대, 데이터 레이트 값, 기울기, 영역에 의해 표시될 수 있고, 그리고 섹션은 그 기간에 걸친 그래프의 모양으로 표시될 수 있다. 또한, 사건들을 탐지하는 방법은 의심스러운 활동이나 위험한 활동을 검출하기 위한 건물 또는 건물의 감시에 사용될 수 있다. 이러한 이벤트들의 검출 방법은 조명, 난방, 환기 등과 같은 빌딩 자동화 시스템들을 제어하는 데 사용될 수도 있다.
위의 사용 사례들은 카메라 또는 카메라들의 실시간 데이터 레이트들을 사용하여 제공된다. 하지만, 데이터 레이트 데이터는 유리하게도 나중에 분석을 위해 저장될 수 있다. 데이터는 많은 저장 공간을 요구하지 않으며 그리고 해당 이벤트의 비디오를 연구하기 위해 특정 이벤트에 대한 시점을 찾고자 할 때 매우 유용할 수 있다. 이 특별한 경우에는 비디오를 사용할 수 있지만, 분석할 데이터가 훨씬 적기 때문에 데이터 레이트 데이터가 이벤트 검색에 훨씬 효율적이다. 따라서, 나중에 사용하기 위해 데이터 레이트 정보를 저장하고 사용하는 것이 큰 이점이다.
이제, 도 4의 흐름도를 참조하여, 본 발명의 실시예들의 프로세스(200)를 도시한다. 이 프로세스는 특정 시점으로부터의 데이터 레이트를 각각 나타내는 연속적인 값들을 등록하는 단계(단계 202)를 포함한다. 이들 값들은 카메라의 인코더에 의해 제공된 정보, 인코더로부터 출력된 데이터의 양을 측정함으로써 얻어진 값들, 네트워크 인터페이스, 예를 들어, 네트워크 트래픽에 의해 제공되는 값들에 기초할 수 있다. 각각의 값 및/또는 일련의 값들은 상기 예들에서 제시된 바와 같이 등록된 값들의 특성을 나타내고, 그리고 적어도 하나의 이벤트를 나타내는 대응하는 미리결정된 특성들과 비교된다(단계 204). 비교가 값 또는 일련의 값들이 이벤트를 나타내는 것으로 표시되면(단계 206), 이벤트 신호가 생성되고(단계 208), 그리고 이후, 상기 프로세스는 인코더에 의해 생성된 데이터의 데이터 레이트를 나타내는 추가 값들을 등록하는 단계 202로 리턴한다. 이벤트 신호는 내부 신호이거나 다른 시스템들 또는 디바이스들로 전송된 신호일 수 있다. 예를 들어, 신호는 객체의 검출을 나타내는 이벤트를 나타낼 수 있으며, 이 신호는 객체들의 수를 카운트하기 위해 카운터에 내부적으로 전송될 수 있다. 더욱이, 이벤트 신호는 이벤트, 예를 들어, 서쪽 방향으로 60km/h로 지나가는 중간 크기의 차량의 데이터를 운반하는 신호일 수 있다. 또한, 상기 이벤트 신호는 알람 신호일 수 있다. 통상의 기술자는 다수의 이벤트 신호들의 변동들을 인식할 것이다. 비교가 이벤트의 임의의 발생을 나타내지 않으면(단계 206), 프로세스는 인코더에 의해 생성된 데이터의 데이터 레이트를 나타내는 추가적인 값들을 등록하기 위해 단계(202)로 직접 리턴한다. 이러한 프로세스는, 예를 들어, 데이터가 생성되고 값들이 생성되기 때문에, 실제 데이터 상에서 수행되 수 있거나 저장된 데이터 상에서 수행될 수 있다. 예를 들어, 데이터는 일부 저장 디바이스에 저장되고 저장된 데이터의 이벤트들을 감지하기 위해 구문 분석된다.
단계 204에서의 비교는, 도 3의 데이터 레이트 그래프와 관련하여 논의된 특성들 중 임의의 하나 또는 임의의 조합을 포함할 수 있다. 예를 들어, 모션 이벤트를 촉발하기 위해 장면에서 충분한 변화가 있는지 여부를 나타내는 임계치와 비교되는 데이터 레이트의 값이 비교된 특성일 수 있다. 특성은 단일 데이터 입력 또는 그래프 내의 복수의 연속적인 데이터 레이트 값들과 관련된 변화들의 미분, 즉, 경사도일 수 있다. 이러한 미분은 이벤트를 나타내기 위해 미리 결정된 임계값과 비교될 수 있다. 비교될 수 있는 또 다른 특성은 데이터 레이트 값들의 정수, 즉 그래프 아래 영역이다. 그와 같은 영역은 데이터 레이트가 임계치를 초과하는 2개의 시간 포인트들 사이에서 또는 미리 결정된 시간 프레임을 통해 간단히 측정될 수 있다. 상기 비교는 한 세트의 특성들을 미리 결정된 특성들의 세트, 예를 들어, 위에서 언급한 특성들의 임의의 조합과 비교하는 것을 포함할 수 있다. 더욱이, 한 세트의 특성들은 상이한 시점으로부터의 복수의 특성들을 포함할 수 있다. 예를 들어, 자동차가 카메라쪽으로 또는 카메라로부터 멀어지고 있다는 것을 나타내는 이벤트는 1차 미분을 검출하고, 이후 피크 값을 검출하고 마지막으로 2차 미분을 검출함으로써 검출될 수 있다. 이러한 특성 값들의 세트는 미리결정된 특성 세트와 비교될 수 있다.
더욱이, 시스템은 카메라의 시스템의 모든 기능을 배열함으로써 구현될 수 있다. 즉, 카메라는 본 발명의 실시예들에 따른 프로세스를 수행하기 위한 수단을 포함한다. 예를 들어, 카메라(12)는 인코더(46)로부터, 네트워크 인터페이스로부터, 또는 카메라의 임의의 다른 데이터 레이트 추출 포인트로부터 데이터 레이트 값들을 검색하고, 그리고 라이브인 이벤트들을 검출하기 위해 또는 과거 데이터 레이트들로부터 이벤트들을 검출하기 위해 카메라에 의해 실행되는 프로그램에 설정된 특성들과 비교하기 위해 메모리(50, 52)에 데이터 레이트 값들을 저장한다. 이후, 카메라는 이벤트 감지에 응답하여 이벤트 식별자를 전송할 수 있다.
대안으로, 시스템은 네트워크를 통해 카메라에 접속되고 그리고 스트리밍 모션 비디오를 수신하는 임의의 디바이스들에 구현될 수 있다. 그와 같은 디바이스, 예를 들어, 시스템 관리 디바이스(16a 내지 16b), 데이터 저장 디바이스(18) 등은 모션 비디오 스트림에서 수신된 데이터의 양을 측정할 수 있고 그리고 자체적으로 프로세스를 실행할 수 있다. 상기 디바이스는 또한 저장을 위해 수신된 데이터 또는 다른 위치에서 검색된 데이터 레이터들에 대한 측정으로부터 검색된 데이터 레이트를 저장하도록 구성된 파일 서버, NAS 등과 같은 저장 디바이스일 수 있다.
또 다른 대안으로서, 시스템의 동작은 다양한 디바이스들에 분산된다. 예를 들어, 카메라(12)는 데이터 레이트 값들을 측정 및 생성할 수 있고, 상기 데이터 레이트 값들을 저장을 위해 저장 장치(18)로, 라이브 이벤트 검출을 위해 시스템 관리 디바이스(16a 내지 16b)로 보낼 수 있다. 이후, 시스템 관리 디바이스(16a 내지 16b)는 또한 저장 디바이스에 저장된 이력 데이터 레이트 값들을 검색하고 그리고 이벤트 검출을 위해 이력 데이터 레이트 값들을 분석하도록 배열될 수 있다.
장면에서 발생하는 이벤트들을 나타내는 데이터 레이트 값들 및 데이터 레이트 값들의 시리즈의 특성은, 예를 들어, 카메라가 위를 향하거나 또는 도로 또는 경로의 길이 방향으로 향하는 경우 또는 카메라가 설치되어 지나가는 사람이 이미지에서 왼쪽에서 오른쪽으로 이동하는 장면을 캡처하는 경우, 카메라에 의해 캡처된 관점에 매우 의존적 일 수 있다. 따라서 카메라의 관점은 감지할 수 있는 이벤트들의 유형을 지시할 수 있다.
위의 예들은, 모두 고정 카메라와 관련하여 제공되지만 카메라는 모바일 카메라일 수도 있다. 예를 들어, 카메라를 드론 또는 UAV(Unmanned Aerial Vehicle)에 장착하거나 차량의 대시 보드 카메라로 사용할 수 있다.
또한, 이벤트 검출은 사람들의 프라이버시를 보호하기 위해 프라이버시 마스크가 배열된 시스템들에서 사용될 수 있다. 본 발명에 따른 이벤트 검출기는 어떠한 개인적으로 식별 가능한 정보도 제공하지 않고 이벤트들을 생성하기 위해 전체 장면을 분석할 수 있다.

Claims (15)

  1. 이벤트들을 검출하는 방법으로서,
    시간적 압축에 의해 장면으로부터 비디오를 인코딩하는 인코더에 의해 생성 된 데이터 스트림에서 단위 시간당 데이터 양을 나타내는 값을 반복적으로 등록하는 단계 - 상기 등록하는 단계를 통해 시간에 따른 데이터 레이트의 변화를 나타내는 데이터 세트가 등록되며 - 와;
    상기 데이터 세트의 시간에 대한 상기 데이터 레이트의 표현을 분석하여 상기 표현의 특징들을 발견하는 단계와; 그리고
    상기 표현의 발견된 특징들에 기초하여 이벤트들을 검출하는 단계를 포함하는 것을 특징으로 하는
    이벤트들을 검출하는 방법.
  2. 제1항에 있어서,
    상기 표현을 분석하는 단계는,
    상기 데이터 세트의 시간에 대한 상기 데이터 레이트의 표현에서 피크의 높이를 분석하는 단계, 상기 데이터 세트의 시간에 대한 상기 데이터 레이트의 표현의 일부의 도함수(derivative)를 분석하는 단계, 및 상기 데이터 세트의 시간에 대한 상기 데이터 레이트의 표현의 플롯 부분 아래의 영역을 분석하는 단계 중 적어도 하나를 포함하는 것을 특징으로 하는
    이벤트들을 검출하는 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 데이터 세트의 시간에 대한 상기 데이터 레이트의 표현에서 식별 가능한 특정 이벤트들을 나타내는 모델들을 생성하는 단계와; 그리고
    이러한 모델들을 사용하여 특정 이벤트들을 식별하는 단계를 포함하는 것을 특징으로 하는
    이벤트들을 검출하는 방법.
  4. 제3항에 있어서,
    상기 모델들 중 하나 이상은 특정 이벤트를 나타내는 상기 데이터 세트의 시간에 대한 상기 데이터 레이트 표현의 일부분의 특정한 특징들의 조합을 식별하고 그리고 등록함으로써 형성되는 것을 특징으로 하는
    이벤트들을 검출하는 방법.
  5. 제4항에 있어서,
    특정 이벤트를 식별하는 단계는,
    상기 데이터 세트의 시간에 대한 상기 데이터 레이트의 등록된 표현이 미리 결정된 양보다 많은 상기 모델로부터 전환되지 않으면 이벤트를 상기 특정 이벤트로서 식별하는 단계를 포함하는 것을 특징으로 하는
    이벤트들을 검출하는 방법.
  6. 제3항에 있어서,
    상기 모델들은 신경망을 특정 이벤트들을 식별하도록 트레이닝함으로써 형성되는 것을 특징으로 하는
    이벤트들을 검출하는 방법.
  7. 제1항에 있어서,
    상기 데이터 세트를 데이터베이스에 저장하는 단계를 더 포함하고,
    상기 표현을 분석하는 단계 및 상기 이벤트들을 검출하는 단계는 상기 데이터베이스에 저장된 상기 데이터 세트 상에서 수행되는 것을 특징으로 하는
    이벤트들을 검출하는 방법.
  8. 제1항에 있어서,
    상기 데이터 세트를 네트워크를 통해 클라이언트로 전송하는 단계를 더 포함하고, 상기 표현을 분석하는 단계 및 상기 이벤트들을 검출하는 단계는 상기 클라이언트에 의해 수행되는 것을 특징으로 하는
    이벤트들을 검출하는 방법.
  9. 제1항에 있어서,
    상기 데이터 세트의 시간에 대한 상기 데이터 레이트의 표현의 피크의 기울기(gradient)를 분석함으로써 이벤트의 검출을 촉발(trigger)하는 객체의 이동 방향을 결정하는 단계를 더 포함하는 것을 특징으로 하는
    이벤트들을 검출하는 방법.
  10. 제1항에 있어서,
    상기 데이터 세트의 시간에 대한 상기 데이터 레이트의 표현의 피크의 기울기를 분석함으로써 이벤트의 검출을 촉발하는 객체의 속도를 결정하는 단계를 더 포함하는 것을 특징으로 하는
    이벤트들을 검출하는 방법.
  11. 제1항에 있어서,
    상기 데이터 세트의 시간에 대한 상기 데이터 레이트의 표현의 플롯 부분 아래 영역을 분석함으로써 이벤트의 검출을 촉발하는 객체의 속도를 결정하는 단계를 더 포함하는 것을 특징으로 하는
    이벤트들을 검출하는 방법.
  12. 제1항에 있어서,
    상기 데이터 세트의 시간에 대한 상기 데이터 레이트의 표현의 플롯 부분 아래 영역을 분석함으로써 이벤트의 검출을 촉발하는 객체의 크기를 결정하는 단계를 더 포함하는 것을 특징으로 하는
    이벤트들을 검출하는 방법.
  13. 제1항에 있어서,
    시간적으로 인코딩되지 않은 이미지 프레임들을 포함하는 데이터를 나타내는 값들은 상기 데이터 세트에 포함되지 않는 것을 특징으로 하는
    이벤트들을 검출하는 방법.
  14. 제1항에 있어서,
    이벤트의 발생이 검출될 때마다 카운터를 증가시키는 단계를 더 포함하는 것을 특징으로 하는
    이벤트들을 검출하는 방법.
  15. 제3항에 있어서,
    상기 특정 이벤트의 발생이 식별될 때마다 특정 이벤트와 관련된 카운터를 증가시키는 단계를 더 포함하는 것을 특징으로 하는
    이벤트들을 검출하는 방법.
KR1020170167701A 2016-12-21 2017-12-07 이벤트들을 검출하기 위한 방법 및 장치 KR102386804B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16205867.1 2016-12-21
EP16205867.1A EP3340105A1 (en) 2016-12-21 2016-12-21 Method for and apparatus for detecting events

Publications (2)

Publication Number Publication Date
KR20180072547A true KR20180072547A (ko) 2018-06-29
KR102386804B1 KR102386804B1 (ko) 2022-04-14

Family

ID=57755013

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170167701A KR102386804B1 (ko) 2016-12-21 2017-12-07 이벤트들을 검출하기 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US11055856B2 (ko)
EP (1) EP3340105A1 (ko)
JP (1) JP7036579B2 (ko)
KR (1) KR102386804B1 (ko)
CN (1) CN108235017B (ko)
TW (1) TWI767950B (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522451B (zh) * 2018-12-13 2024-02-27 连尚（新昌）网络科技有限公司 重复视频检测方法和装置
US10904637B2 (en) * 2018-12-17 2021-01-26 Qualcomm Incorporated Embedded rendering engine for media data
US10867201B2 (en) * 2019-01-15 2020-12-15 Waymo Llc Detecting sensor occlusion with compressed image data
CN111105581B (zh) * 2019-12-20 2022-03-15 上海寒武纪信息科技有限公司 智能预警方法及相关产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030095686A1 (en) * 2001-11-21 2003-05-22 Montgomery Dennis L. Method and apparatus for detecting and reacting to occurrence of an event
KR20080073844A (ko) * 2007-02-07 2008-08-12 주식회사 엠아이비전 통계적인 기법을 적용한 영상 검색 방법
JP2009118332A (ja) * 2007-11-08 2009-05-28 Nippon Hoso Kyokai <Nhk> トリガ信号発生装置
US20130300940A1 (en) * 2011-01-21 2013-11-14 Peter Amon Method for processing a compressed video stream

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0491589A (ja) 1990-08-06 1992-03-25 Sharp Corp 移動物体検知装置
JP3206386B2 (ja) * 1994-12-29 2001-09-10 日本ビクター株式会社 ビデオ記録装置
JPH10197543A (ja) 1997-01-10 1998-07-31 Nippon Telegr & Teleph Corp <Ntt> 時系列画像動き計測方法および装置
US6574279B1 (en) * 2000-02-02 2003-06-03 Mitsubishi Electric Research Laboratories, Inc. Video transcoding using syntactic and semantic clues
US20030108334A1 (en) * 2001-12-06 2003-06-12 Koninklijke Philips Elecronics N.V. Adaptive environment system and method of providing an adaptive environment
JP2004032551A (ja) 2002-06-27 2004-01-29 Seiko Epson Corp 画像処理方法、画像処理装置及びプロジェクタ
DE60314223D1 (de) * 2002-07-05 2007-07-19 Agent Video Intelligence Ltd Verfahren und system zur effektiven ereigniserkennung in einer grossen anzahl simultaner bildfolgen
KR100838816B1 (ko) * 2002-08-24 2008-06-17 엘지전자 주식회사 동영상 검색 방법
WO2005039181A1 (ja) 2003-10-21 2005-04-28 Matsushita Electric Industrial Co., Ltd. 監視装置
JP4232114B2 (ja) 2006-02-17 2009-03-04 ソニー株式会社 データ処理装置およびデータ処理方法、並びにプログラム
JP2008131611A (ja) * 2006-11-27 2008-06-05 Victor Co Of Japan Ltd 監視装置、監視画像の記録方法、監視画像の送信方法、監視画像の記録制御プログラム、及び監視画像の送信制御プログラム
EP2213000B1 (en) * 2007-07-16 2014-04-02 Telchemy, Incorporated Method and system for content estimation of packet video streams
WO2009054119A1 (ja) 2007-10-26 2009-04-30 Panasonic Corporation 状況判定装置、状況判定方法、状況判定プログラム、異常判定装置、異常判定方法、異常判定プログラムおよび混雑推定装置
JP4982472B2 (ja) 2008-12-15 2012-07-25 日本電信電話株式会社 映像監視システム、映像監視方法および映像監視プログラム
EP2407943B1 (en) * 2010-07-16 2016-09-28 Axis AB Method for event initiated video capturing and a video camera for capture event initiated video
CN102136195B (zh) 2011-03-28 2013-05-01 长安大学 一种基于图像纹理检测道路交通状况的方法
CN102395030B (zh) 2011-11-18 2014-05-07 杭州海康威视数字技术股份有限公司 基于视频压缩码流的运动分析方法、码流转换方法及其装置
CN105027550B (zh) * 2012-11-06 2018-04-06 阿尔卡特朗讯公司 用于处理视觉信息以检测事件的系统和方法
JP6421422B2 (ja) * 2014-03-05 2018-11-14 日本電気株式会社 映像解析装置、監視装置、監視システムおよび映像解析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030095686A1 (en) * 2001-11-21 2003-05-22 Montgomery Dennis L. Method and apparatus for detecting and reacting to occurrence of an event
KR20080073844A (ko) * 2007-02-07 2008-08-12 주식회사 엠아이비전 통계적인 기법을 적용한 영상 검색 방법
JP2009118332A (ja) * 2007-11-08 2009-05-28 Nippon Hoso Kyokai <Nhk> トリガ信号発生装置
US20130300940A1 (en) * 2011-01-21 2013-11-14 Peter Amon Method for processing a compressed video stream

Also Published As

Publication number Publication date
TWI767950B (zh) 2022-06-21
TW201840187A (zh) 2018-11-01
CN108235017B (zh) 2022-12-30
JP2018125846A (ja) 2018-08-09
CN108235017A (zh) 2018-06-29
KR102386804B1 (ko) 2022-04-14
US11055856B2 (en) 2021-07-06
US20180174306A1 (en) 2018-06-21
JP7036579B2 (ja) 2022-03-15
EP3340105A1 (en) 2018-06-27

Similar Documents

Publication Publication Date Title
KR102386804B1 (ko) 이벤트들을 검출하기 위한 방법 및 장치
KR102156818B1 (ko) 비디오 시퀀스에서 동작 인식
US10824872B2 (en) Method for identifying events in a motion video
US10986338B2 (en) Thermal-image based video compression systems and methods
US9424747B2 (en) Vehicle counting methods and systems utilizing compressed video streams
US20140362230A1 (en) Method and systems of classifying a vehicle using motion vectors
US11200683B2 (en) Image processing device and image processing method
KR101949676B1 (ko) 압축영상에 대한 신택스 기반의 객체 침입 감지 방법
JP6915219B2 (ja) コンピュータ実施方法、撮像システム、及び画像処理システム
CN103150899B (zh) 监测道路交通信息的方法、装置及系统
KR102187376B1 (ko) 딥러닝 이미지 분석과 연동하는 신택스 기반의 선별 관제 제공 방법
CN201142737Y (zh) 用于ip网络视频监控系统的前端监控装置
KR102177494B1 (ko) 모션벡터의 궤적 및 패턴을 이용한 압축영상의 이상모션 객체 식별 방법
CN102469305A (zh) 发送装置及发送方法
US10769907B2 (en) Counter-flow detection in compressed video
Savcı et al. Fire detection in H. 264 compressed video
JP2002112242A (ja) 差分カメラ端末

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant