KR20080005404A - 비디오 프리미티브를 사용하는 비디오 감시 시스템 - Google Patents

비디오 프리미티브를 사용하는 비디오 감시 시스템 Download PDF

Info

Publication number
KR20080005404A
KR20080005404A KR1020077025590A KR20077025590A KR20080005404A KR 20080005404 A KR20080005404 A KR 20080005404A KR 1020077025590 A KR1020077025590 A KR 1020077025590A KR 20077025590 A KR20077025590 A KR 20077025590A KR 20080005404 A KR20080005404 A KR 20080005404A
Authority
KR
South Korea
Prior art keywords
video
event
primitives
module
primitive
Prior art date
Application number
KR1020077025590A
Other languages
English (en)
Inventor
피터 엘 베네시아너
알랜 제이 립톤
앤드류 제이 초삭
매튜 에프 프레이져
닐스 해링
게리 마이어스
웨이홍 인
종 장
Original Assignee
오브젝트비디오 인코퍼레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=37074050&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20080005404(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 오브젝트비디오 인코퍼레이티드 filed Critical 오브젝트비디오 인코퍼레이티드
Publication of KR20080005404A publication Critical patent/KR20080005404A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7343—Query language or query format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G08B13/19615—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion wherein said pattern is defined by the user
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19652—Systems using zones in a single scene defined for different treatment, e.g. outer zone gives pre-alarm, inner zone gives alarm
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19667—Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19669—Event triggers storage or change of storage policy
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • G08B13/19673—Addition of time stamp, i.e. time metadata, to video stream
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/1968—Interfaces for setting up or customising the system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19684—Portable terminal, e.g. mobile phone, used for viewing video remotely
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19695—Arrangements wherein non-video detectors start video recording or forwarding but do not generate an alarm themselves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 이벤트 식별자를 사용하여 비디오 프리미티브로부터 이벤트 발생(event occurrence)을 추출하고 비디오 프리미티브를 추출하는 비디오 시스템에 관한 것이다.
비디오, 감시 시스템, 비디오 프리미티브

Description

비디오 프리미티브를 사용하는 비디오 감시 시스템{VIDEO SURVEILLANCE SYSTEM EMPLOYING VIDEO PRIMITIVES}
본 발명은 비디오 프리미티브를 사용하는 자동 비디오 감시 시스템에 관한 것이다.
공공장소의 비디오 감시는 매우 널리 보급되어 있고, 일반 대중에 의해 사용된다. 불행하게도 종래의 비디오 감시 시스템은 너무 막대한 양의 데이터를 만들어 비디오 감시 데이터의 분석을 매우 어렵게 한다.
비디오 감시 데이터의 분석이 가능하도록 비디오 감시 데이터의 양을 줄일 필요가 있다.
비디오 감시 데이터에서 원하는 부분을 식별하도록 비디오 감시 데이터를 필터링할 필요가 있다.
[참조문헌]
독자의 편의를 위하여, 이하 명세서에서 언급되는 참조문헌을 나열한다. 본 명세서에서 괄호 안의 숫자는 각각의 참조문헌을 나타낸다. 나열된 참조문헌들은 본 명세서에서의 참조로 본 명세서에 포함되어 있다.
아래 참조문헌들은 움직이는 타겟의 검출을 설명한다.
{1} A. Lipton, H. Fujiyoshi and R. S. Patil, "Moving Target Detection and Classification from Real-Time Video," Proceedings of IEEE WACV '98, Princeton, NJ, 1998, pp. 8-14.
{2} W.E.L. Grimson, et al., "Using Adaptive Tracking to Classify and Monitor Activities in a Site", CVPR , pp. 22-29, June 1998.
{3} A.J. Lipton, H. Fujiyoshi, R.S. Patil, "Moving Target Classification and Tracking from Real-time Video.", IUW , pp. 129-136, 1998.
{4} T.J. Olson and F.Z. Brill, "Moving Object Detection and Event Recognition Algorithm for Smart Cameras," IUW , pp. 159-175, May 1997.
다음의 참조문헌은 사람 검출 및 추적을 설명한다.
{5} A. J. Lipton, "Local Application of Optical Flow to Analyse Rigid Versus Non- Rigid Motion," International Conference on Computer Vision , Corfu, Greece, September 1999.
{6} F. Bartolini, V. Cappellini, and A. Mecocci, "Counting people getting in and out of a bus by real-time image-sequence processing," IVC , 12(1):36-41, January 1994.
{7} M. Rossi and A. Bozzoli, "Tracking and counting moving people," ICIP94, pp. 212- 216, 1994:
{8} C.R. Wren, A. Azarbayejani, T. Darrell, and A. Pentland, "Pfinder: Real-time tracking of the human body," Vismod , 1995.
{9} L. Khoudour, L. Duvieubourg, J.P. Deparis, "Real-Time Pedestrian Counting by Active Linear Cameras," JEI, 5(4):452-459, October 1996.
{10} S. Ioffe, D.A. Forsyth, "Probabilistic Methods for Finding People," IJCV , 43(l):45-68, June 2001.
{11} M. Isard and J. MacCormick, "BraMBLe: A Bayesian Multiple-Blob Tracker," ICCV , 2001.
다음의 참조문헌은 블랍 분석을 설명한다.
{12} D.M. Gavrila, "The Visual Analysis of Human Movement: A Survey," CVIU, 73(l):82-98, January 1999.
{13} Niels Haering and Niels da Vitoria Lobo, "Visual Event Detection," Video Computing Series, Editor Mubarak Shah, 2001.
다음의 참조문헌은 트럭, 자동차, 및 사람의 블랍 분석을 설명한다.
{14} Collins, Lipton, Kanade, Fujiyoshi, Duggins, Tsin, Tolliver, Enomoto, and Hasegawa, "A System for Video Surveillance and Monitoring: VSAM Final Report," Technical Report CMU-RI-TR-OO- 12, Robotics Institute, Carnegie Mellon University, May 2000.
{15} Lipton, Fujiyoshi, and Patil, "Moving Target Classification and Tracking from Real-time Video," 98 Darpa IUW , Nov. 20-23, 1998.
다음의 참조문헌은 한 개의 사람 블랍 및 그것의 윤곽(contour) 분석을 설명한다.
{16} C.R. Wren, A. Azarbayejani, T. Darrell, and A.P. Pentland. "Pf[iota]nder: Real-Time Tracking of the Human Body," PAMI , vol 19, pp. 780-784, 1997.
다음의 참조문헌은 어떤 움직임에 기초한 세그먼트(motion-based segmentation)를 포함하는 블랍의 내부 움직임을 설명한다.
{17} M. Allmen and C. Dyer, "Long-Range Spatiotemporal Motion Understanding Using Spatiotemporal Flow Curves," Proc . IEEE CVPR , Lahaina, Maui, Hawaii, pp. 303-309, 1991.
{18} L. Wixson, "Detecting Salient Motion by Accumulating Directionally Consistent Flow", IEEE Trans. Pattern Anal. Mach. Intell., vol. 22, pp. 774-781, Aug, 2000.
[요약]
본 발명의 목적은 비디오 감시 데이터의 양을 감소시켜서 비디오 감시 데이터의 분석이 가능하도록 하는 것이다.
본 발명의 목적은 비디오 감시 데이터에서 원하는 부분을 식별하도록 비디오 감시 데이터를 필터링하는 것이다.
본 발명의 목적은 비디오 감시 데이터로부터의 이벤트 자동 검출에 기초하여 실시간 경고(real time alarm)를 생성하는 것이다.
본 발명의 목적은 탐색 능력을 향상시키기 위하여 비디오 이외의 감시 센서로부터 데이터를 수집하는 것이다.
본 발명의 목적은 이벤트 검출 능력을 향상시키기 위하여 비디오 이외의 감시 센서로부터 데이터를 수집하는 것이다.
본 발명은 제조물(article of manufacture), 방법, 시스템, 비디오 감시 장치를 포함한다.
본 발명의 제조물은 비디오 감시 시스템을 위한 소프트웨어를 포함하는 컴퓨터 판독가능 매체를 포함하고, 비디오 프리미티브에 기초하여 비디오 감시시스템을 작동하기 위한 코드 세그먼트(code segment)를 포함한다.
본 발명의 제조물은 비디오 감시 시스템을 위한 소프트웨어를 포함하는 컴퓨터 판독가능 매체를 포함하고, 보관된 비디오 프리미티브에 액세스하기 위한 코드 세그먼트(code segment), 및 액세스된 보관된 비디오 프리미티드로부터 이벤트 발생(occurrence)을 추출하기 위한 코드 세그먼트를 포함한다.
본 발명의 시스템은 본 발명에 따라 컴퓨터를 작동하기 위한 소프트웨어가 수록된 컴퓨터 판독가능 매체를 구비하는 컴퓨터 시스템을 포함한다.
본 발명의 장치는 본 발명에 따라 컴퓨터를 작동하기 위한 소프트웨어를 갖는 컴퓨터 판독가능 매체를 구비하는 컴퓨터를 포함한다.
본 발명의 제조물은 본 발명에 따라 컴퓨터를 작동하기 위한 소프트웨어를 갖는 컴퓨터 판독가능 매체를 포함한다.
또한, 본 발명의 전술한 목적과 이점은 본 발명에 의해 성취될 수 있는 것들의 예시이며, 모든 것을 망라하지는 않는다. 따라서 본 발명의 전술한 목적 및 이점과 다른 목적 및 이점은 본 명세서에서 구체화되며, 또한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명백한 소정의 변형에 의한 변경도 발명의 상세한 설명으로부터 명백할 것이다.
[정의]
"비디오"는 아날로그 및/또는 디지털 형식으로 표현되는 동영상(motion picture)을 말한다. 비디오의 예는 텔레비전, 영화, 비디오 카메라 또는 다른 관측기로부터의 이미지 시퀀스(image sequence), 및 컴퓨터로 생성된 이미지 시퀀스를 포함한다.
"프레임"은 비디오 내의 특정 이미지 또는 비디오 내의 다른 이산 유닛(discrete unit)을 말한다.
"오브젝트"는 비디오에서 관심 대상인 아이템을 말한다. 오브젝트의 예시는 사람, 차량, 동물, 및 물리적 대상(physical subject)을 포함한다.
"액티비티"는 하나 또는 그 이상의 액션 및/또는 하나 또는 그 이상의 오브젝트의 행동의 하나 또는 그 이상의 조합을 말한다. 액티비티의 예시는 입장, 퇴장, 존재, 정지, 움직임, 상승, 하강, 성장, 축소를 포함한다.
"위치"는 액티비티가 일어날 수 있는 장소를 말한다. 위치는 예를 들어 화면에 기초하거나 이미지에 기초할 수 있다. 화면에 기초한 위치의 예시는 공공 장소, 상점, 소매점, 사무실, 창고, 호텔방, 호텔 로비, 빌딩의 로비, 카지노, 버스 정류장, 기차역, 공항, 항구, 버스, 기차, 비행기, 및 배를 포함한다. 이미지에 기초한 위치의 예시는 비디오 이미지, 비디오 이미지에서의 선; 비디오 이미지에서의 영역; 비디오 이미지의 직사각형 섹션; 및 비디오 이미지의 다각형 섹션(polygonal section)을 포함한다.
"이벤트"는 액티비티에 관여되는 하나 또는 그 이상의 오브젝트를 말한다. 이벤트는 위치 및/또는 시간과 관련해서 참조될 수 있다.
"컴퓨터"는 구조화된 입력을 받아들일 수 있고, 구조화된 입력을 규정된 규칙에 따라 처리하고, 처리의 결과를 출력으로서 생성할 수 있는 모든 장치를 말한다. 컴퓨터의 예시는 컴퓨터, 범용 컴퓨터, 슈퍼컴퓨터, 메인프레임, 슈퍼 미니-컴퓨터, 미니-컴퓨터, 워크스테이션, 마이크로-컴퓨터, 서버, 대화식 텔레비전(interactive television), 컴퓨터와 대화식 컴퓨터의 하이브리드적 결합, 및 컴퓨터 및/또는 소프트웨어를 대리 실행하는 주문형 하드웨어(application-specific hardware)를 포함한다. 컴퓨터는 하나의 프로세서 또는 다수의 프로세서를 가질 수 있다. 프로세서는 병렬로 및/또는 병렬이 아닌 상태로 동작할 수 있다. 컴퓨터는 또한 컴퓨터 간에 정보를 전송하거나 수신하기 위해 네트워크를 통해 서로 연결된 둘 또는 그 이상의 컴퓨터를 말한다. 이러한 컴퓨터의 예시는 네트워크에 의해 연결된 컴퓨터들을 통해 정보를 처리하기 위한 분산된 컴퓨터 시스템을 포함한다.
"컴퓨터 판독가능 매체"는 컴퓨터에 의해 액세스 가능한 데이터를 저장하는데 사용되는 소정의 저장 장치를 말한다. 컴퓨터 판독가능 매체의 예시는 자기 하드 디스크, 플로피 디스크, CD-ROM 및 DVD와 같은 광학 디스크, 자기 테이프, 메모리 칩, 및 이메일의 전송과 수신 또는 네트워크 액세스에서 사용되는 것과 같은 컴퓨터 판독가능 전기적 데이터를 전달하기 위해 사용되는 캐리어를 포함한다.
"소프트웨어"는 컴퓨터를 작동하기 위해 규정된 규칙을 말한다. 소프트웨어의 예시는 소프트웨어, 코드 세그먼트, 명령어, 컴퓨터 프로그램, 및 프로그램 된 로직을 포함한다.
"컴퓨터 시스템"은 컴퓨터를 작동하기 위한 소프트웨어가 내장된 컴퓨터 판독가능 매체를 포함하는 컴퓨터를 갖는 시스템을 말한다.
"네트워크"는 통신 시설에 의해 연결되는 다수의 컴퓨터 및 관련 장치를 의미한다. 네트워크는 케이블처럼 영구적인 연결 또는 전화, 무선 또는 다른 통신 링크로 만들어진 것 같은 일시적인 연결을 포함한다. 네트워크의 예로는 인터넷과 같은 인터넷, 인트라넷, LAN(local area network), WAN(wide area network), 그리고 인터넷과 인트라넷 같은 네트워크의 조합이 있다.
본 발명의 실시예는 다음의 도면을 통하여 더욱 상세히 설명된다. 동일한 참조번호는 동일한 피쳐(feature)를 의미한다.
도 1은 본 발명의 비디오 감시 시스템의 평면도를 설명한다.
도 2는 본 발명의 비디오 감시 시스템의 흐름도이다.
도 3은 비디오 감시 시스템을 태스킹(tasking)하기 위한 흐름도이다.
도 4는 비디오 감시 시스템을 동작하기 위한 흐름도이다.
도 5는 비디오 감시 시스템에서 비디오 프리미티브를 추출하기 위한 흐름도이다.
도 6은 비디오 감시 시스템에서 액션을 취하기 위한 흐름도이다.
도 7은 비디오 감시 시스템의 반자동 교정(semi-automatic calibration)의 흐름도이다.
도 8은 비디오 감시 시스템의 자동 교정(automatic calibration)의 흐름도이다.
도 9는 본 발명의 비디오 감시 시스템의 추가적인 흐름도이다.
도 10 내지 도 15는 본 발명의 비디오 감시 시스템이 식료품점 모니터링에 적용된 실시예를 설명하는 도면이다.
도 16a는 본 발명의 일실시예에 의한 비디오 분석 서브시스템의 흐름도이다.
도 16b는 본 발명의 일실시예에 의한 이벤트 발생 검출 및 응답 서브시스템의 흐름도이다.
도 17은 바람직한 데이터베이스 질문을 나타내는 도면이다.
도 18a는 본 발명의 실시예에 의한 바람직한 액티비티 검출자가 트립와이어 크로싱(tripwire crossing)을 검출하는 것을 도시하는 도면이다.
도 18b는 본 발명의 실시예에 의한 바람직한 액티비티 검출자가 로이터링(loitering)을 검출하는 것을 도시하는 도면이다.
도 18c는 본 발명의 실시예에 의한 바람직한 액티비티 검출자가 절도(theft)를 검출하는 것을 도시하는 도면이다.
도 19는 본 발명의 일실시예에 의한 액티비티 검출자 질문을 나타내는 도면이다.
도 20은 본 발명의 일실시예에 의한 액티비티 검출자 및 변경자(modifier)와 함께 논리 연산자(Boolean operator)를 사용하는 바람직한 질문을 나타낸다.
도 21a 및 도 21b는 결합자(combinator), 액티비티 검출자, 및 특성 질문(property query)의 다중 레벨을 사용하는 바람직한 질문을 나타낸다.
도 22는 본 발명의 일 실시예에 의한 비디오 감시 시스템의 바람직한 구성을 나타낸다.
도 23은 본 발명의 일 실시예에 의한 비디오 감시 시스템의 다른 바람직한 구성을 나타낸다.
도 24는 본 발명의 일 실시예에 의한 비디오 감시 시스템의 다른 바람직한 구성을 나타낸다.
도 25는 본 발명의 일 실시예에 의한 바람직한 구성에서 사용될 수 있는 네 트워크를 나타낸다.
본 발명의 자동 비디오 감시 시스템은 예를 들어, 시장 조사(market research) 또는 보안 목적으로 어떤 위치를 모니터링하기 위한 것이다. 시스템은 특별히 만들어진 감시 컴포넌트(purpose-built surveillance component)가 있는 비디오 감시 설비일 수도 있고, 또는 시스템은 감시 비디오 피드(surveillance video feed)를 피기백 오프(piggyback off)하는 장치로 기존의 비디오 감시 장치를 개장한 시스템일 수 있다. 시스템은 라이브 소스나 기록 매체로부터의 비디오 데이터를 분석할 수 있다. 시스템은 실시간으로 비디오 데이터를 처리할 수 있고, 또는 추출된 비디오 프리미티브를 저장하여 후에 매우 빠른 속도로 범죄 수사 이벤트 검출을 할 수 있다. 시스템은 분석에 대하여 레코드 데이터와 같이 소정의 응답을 가질 수 있고, 경고 메커니즘을 활성화하거나 다른 센서 시스템을 활성화할 수 있다. 시스템은 또한 다른 감시 시스템 컴포넌트와 통합될 수 있다. 시스템은 예를 들어, 보안 또는 시장조사 리포트를 생성하기 위해 사용할 수 있는데, 이 리포트는 옵션으로 오퍼레이터의 요구에 따라 만들어질 수 있고, 상호작용하는 웹 기반 인터페이스, 또는 다른 보고 메커니즘에 의해 표현될 수 있다.
오퍼레이터는 이벤트 식별자를 사용하여 시스템을 구성함에 있어 최대의 유연성을 제공받는다. 이벤트 식별자는 하나 또는 그 이상의 선택적인 공간 특성 및/또는 하나 또는 그 이상의 선택적인 시간적 특성에 따라 하나 또는 그 이상의 오브 젝트(오브젝트의 설명은 비디오 프리미티브에 기초함)로 식별된다. 예를 들어, 오퍼레이터는 이벤트 식별자(이 예에서는 "로이터링(loiterung) 이벤트라고 불림)를 "사람" 오브젝트로서 "현금 자동 입출금기" 공간에서 "15분 이상" 및 "오후 10시와 오전 6시 사이"와 같이 정의할 수 있다. 이벤트 식별자는 변경된 논리 연산자(Boolean operator)와 결합되어 더 복잡한 질문을 형성할 수 있다.
비록 본 발명의 비디오 감시 시스템은 공지 기술로부터 잘 알려진 컴퓨터 시각 기술에 기인하지만 본 발명의 비디오 감시 시스템은 현재 볼 수 없는 몇 개의 독특하고 새로운 특징을 갖고 있다. 예를 들어, 현재의 비디오 감시 시스템은 대량의 비디오 상(imagery)을 정보 교환의 첫 번째 필수품으로 사용한다. 본 발명의 시스템은 비디오 프리미티브를 첫번째 필수품으로 사용하고, 대표적인 비디오 상을 부차적인 증거로 사용한다. 본 발명의 시스템은 또한 수동적으로, 반자동적으로, 또는 자동적으로 교정될 수 있고, 그 후 자동적으로 비디오 상으로부터 비디오 프리미티브를 도출할 수 있다. 시스템은 또한 비디오 전체를 다시 처리할 필요 없이 이전에 처리된 비디오를 분석할 수 있다. 이전에 처리된 비디오를 분석함으로써, 시스템은 이전에 기록된 비디오 프리미티브에 기초하여 추론 분석을 할 수 있으므로 컴퓨터 시스템의 분석 속도를 크게 향상시킬 수 있다.
비디오 프리미티브의 사용은 또한 비디오의 저장 요구를 상당히 줄일 수 있다. 이것은 이벤트 검출 및 응답 서브시스템이 오직 검출을 예시하기 위해서만 비디오를 사용되기 때문이다. 결과적으로 비디오는 낮은 품질로 저장되거나 전송될 수 있다. 가능한 실시예에서, 비디오는 항상이 아니라, 오직 액티비티가 검출된 경 우에만 저장되거나 전송될 수 있다. 다른 가능한 실시예에서, 저장되거나 전송된 비디오의 품질은 액티비티가 검출되었는지에 따라 종속된다. 여기서 비디오는 액티비티가 검출되는 경우 높은 품질(더 높은 프레임률(frame-rate) 및/또는 비트율(beat-rate))로 저장되거나 전송될 수 있고, 그 외의 경우에는 낮은 품질로 저장되거나 전송될 수 있다. 또 다른 바람직한 실시예로서 비디오 스토리지와 데이터 베이스는 예를 들어, 디지털 비디오 레코더(DVR)에 의해 분리되어 다루어질 수 있고, 비디오 처리 서브시스템은 단지 데이터가 저장되었는지와 어떠한 품질인지를 제어할 수 있다. 다른 실시예로서 비디오 감시 시스템(또는 그것의 컴포넌트)은 디지털 비디오 카메라, 네트워크 비디오 서버, DVR, 또는 네트워크 비디오 레코더(NVR)와 같은 비디오 매니지먼트 장치를 탑재한 처리 장치(범용 프로세서, DSP, 마이크로 제어 장치(microcontroller), ASIC, FPGA, 또는 다른 장치와 같은 것)에 있을 수 있고, 그 장치로부터 스트리밍 된 비디오의 대여폭은 시스템에 의해 변경될 수 있다. 높은 품질의 비디오(높은 비트율 또는 프레임률)는 오직 관심있는 액티비티가 검출되는 때에, 오직 IP 비디오 네트워크를 통해 전송될 필요가 있다. 이 실시예에서는 물리적으로 상이한 위치에서 하나의 카메라 네트워크가 분산된 처리를 통해 다양한 목적의 어플리케이션을 제공하는 것이 가능하도록 하여, 지능형 장치(intelligence-enabled device)로부터의 프리미티브는 네트워크를 통해 다양한 액티비티 추출 어플리케이션으로 방송될 수 있다.
도 22는 비디오 감시 시스템의 실시예의 하나의 구성을 보여준다. 블록(221)은 가공되지 않은(압축되지 않은) 디지털 비디오 입력을 표현한다. 이것은 예를 들 어, 아날로그 비디오 신호의 아날로그에서 디지털로의 캡쳐 또는 디지털 비디오 신호의 디코딩을 통해 얻어진다. 블록(222)은 비디오 감시 시스템(비디오 콘텐츠 분석 블록(225) 및 액티비티 추출 블록(226))의 주요 컴포넌트를 하우징하는 하드웨어 플랫폼을 표현한다. 하드웨어 플랫폼은 오퍼레이팅 시스템(223); 비디오 스트리밍을 위해 가공되지 않은 디지털 비디오를 압축하거나, 어떤 가능한 압축 스킴(JPEG, MJPEG, MPEG1, MPEG2, MPEG4, H.263, H.264, 웨이브릿(Wavelet), 또는 어떤 다른 압축 기술)을 사용하여 저장하는 비디오 인코더(224); 예를 들어, 하드 디스크, 탑재된 RAM, 탑재된 FLASH memory, 또는 다른 저장 매체와 같은 저장 장치인 비디오, 압축된 비디오, 경고, 및 비디오 프리미티브와 같은 데이터를 유지하기 위한 스토리지 메커니즘(227); 및 예를 들어, 통신 채널(블록229)를 통해 전송하기 위해 데이터를 패킷화(packetize) 및/또는 디지털화하는 통신 레이어(블록 228)와 같은 다른 컴포넌트를 포함할 수 있다.
계산형 플랫폼(computational platform)에 상주하는 다른 소프트웨어 컴포넌트가 통신 채널(229)이 연결된 네트워크의 다른 노드에 있을 수 있다. 블록(2210)은 비디오 감시 규칙을 만들기 위한 유저 인터페이스인 규칙 관리 도구(rule management tool)를 나타낸다. 블록(2211)은 경고를 디스플레이하고, 유저에게 보고하기 위한 경고 콘솔(alert console)을 나타낸다. 블록(2212)은 경고, 프리미티브, 및 사건 이후(after-the-fact)의 처리를 위해 비디오를 저장하는 저장 장치(DVR, NVR, 또는 PC와 같은 저장 장치)를 말한다.
하드웨어 플랫폼(222)의 컴포넌트는 비디오 카메라, 디지털 비디오 카메라, IP 비디오 카메라, IP 비디오 서버, 디지털 비디오 레코더(DVR), 네트워크 비디오 레코더(NVR), PC, 랩톱(laptop), 또는 다른 장치와 같은 어떤 비디오 캡쳐, 프로세싱, 또는 매니지먼트 장치의 어떤 프로세싱 하드웨어(범용 프로세서, 제어장치, DSP, ASIC, FPGA, 또는 다른 프로세싱 장치) 상에서 실행될 수 있다. 이러한 구성에 있어서, 수많은 다른 모드의 작동이 가능하다.
하나의 모드에서, 시스템은 특정한 이벤트를 찾도록 프로그램 된다. 그러한 이벤트가 발생하면, 통신 채널(229)을 통해 경고가 다른 시스템으로 전송된다.
다른 모드에서, 비디오 장치가 비디오 데이터를 분석하는 동안 비디오 장치로부터 비디오가 스트리밍된다. 이벤트가 발생하면, 통신 채널(229)을 통해 경고가 전송된다.
다른 모드에서, 콘텐츠 분석 및 액티비티 추출에 의해 비디오 인코딩 및 스트리밍이 변경된다. 현존하는 액티비티가 없으면(프리미티브가 생성되지 않음), 비디오(또는 낮은 품질, 비트율, 프레임률, 해상도)가 스트리밍되지 않는다. 약간의 액티비티가 존재하면(프리미티브가 생성되고 있으면), 높은 품질, 비트율, 프레임률, 해상도의 비디오가 스트리밍 된다. 이벤트 추출에 의해 관심있는 이벤트가 검출되면, 아주 높은 품질, 비트율, 프레임률, 해상도의 비디오가 스트리밍 된다.
다른 동작 모드에서, 정보는 탑재된 저장 장치(227)에 저장된다. 저장된 데이터는 (가공되지 않은 또는 압축된) 디지털 비디오, 비디오 프리미티브, 경고, 또는 다른 정보를 포함할 수 있다. 또한 저장된 비디오 품질은 프리미티브 또는 경고의 존재에 의해 제어될 수 있다. 프리미티브 및 경고가 있으면 더 높은 품질, 비트 율, 프레임률, 해상도의 비디오가 저장될 수 있다.
도 23은 비디오 감시 시스템의 실시예의 다른 구성을 나타낸다. 블록(231)은 가공되지 않은(압축되지 않은) 디지털 비디오 입력을 나타낸다. 이것은 예를 들어, 아날로그 비디오 시그널을 아날로그에서 디지털로 캡쳐하거나, 또는 디지털 비디오 신호를 디코딩하여 얻어질 수 있다. 블록(232)은 비디오 감시시스템(235)의 분석 컴포넌트를 하우징하는 하드웨어 플랫폼을 나타낸다. 하드웨어 플랫폼은 오퍼레이팅 시스템(233); 비디오 스트리밍, 또는 어떤 가능한 압축 스킴(JPEG, MJPEG, MPEG1, MPEG2, MPEG4, H.263, H.264, 웨이브릿(wavelet)을 사용하는 스토리지를 위하여 가공되지 않은 디지털 비디오를 압축하는 비디오 인코더(234); 예를 들어, 하드-디스크, 탑재된 RAM, 탑재된 FLASH 메모리, 또는 다른 저장 매체와 같은 저장 매체인 비디오, 압축된 비디오, 경고, 및 비디오 프리미트와 같은 데이터를 유지하기 위한 저장 매커니즘(236); 및 예를 들어, 통신 채널(238)을 통해 전송하기 위해 데이터를 패킷화(packetize) 및/또는 디지털화(digitize)할 수 있는 통신 레이어(블록 237)와 같은 다른 컴포넌트를 포함할 수 있다. 도 23에 도시되는 본 발명의 실시예에서, 액티비티 추출 컴포넌트(2311)는 통신 채널(238)이 연결하는 네트워크에 연결된 분리된 하드웨어 컴포넌트(239) 상에 도시된다.
또한, 이 네트워크(239)의 다른 노드에서 계산형 플랫폼에 상주하는 다른 소프트웨어 컴포넌트도 있을 수 있다. 블록(2310)은 비디오 감시 규칙을 만들기 위한 유저 인터페이스인 규칙 관리 도구를 나타낸다. 블록(2312)는 경고를 디스플레이하고, 유저에게 보고하기 위한 경고 콘솔을 나타낸다. 블록(2313)은 물리적으로 동일 한 하드웨어 플랫폼(예를 들어, 하드 디스크, 플로피 디스크, 다른 자기 디스크, CD, DVD, 다른 광학 디스크, MD, 또는 다른 광자기 디스크, RAM 또는 FLASH RAM과 같은 반도체(solid state) 저장 장치, 또는 다른 저장 장치)에 위치하거나 또는 분리된 저장 장치(예를 들어, 외부 디스크 드라이브, PC, 랩톱, DVR, NVR, 또는 다른 저장 장치)에 위치할 수 있는 저장 장치를 나타낸다.
하드웨어 플랫폼(222) 상의 컴포넌트는 비디오 카메라, 디지털 비디오 카메라, IP 비디오 카메라, IP 비디오 서버, 디지털 비디오 레코더(DVR), 네트워크 비디오 레코더(NVR), PC, 랩톱, 또는 다른 장치와 같은 어떤 비디오 캡쳐, 프로세싱, 또는 관리 장치에서의 어떤 프로세싱 플랫폼(범용 프로세서, 마이크로 제어 장치, DSP, FPGA, ASIC, 또는 어떤 다른 프로세싱 플랫폼) 상에서 실행될 수 있다. 백-앤드 하드웨어 플랫폼(back-end hardware platform) 상의 컴포넌트는 PC, 랩톱, 싱글-보드 컴퓨터(single board computer), DVR, NVR, 비디오 서버, 네트워크 라우터(router), 핸드-핼드 장치(비디오 폰, 호출기, 또는 PDA와 같은 것)와 같은 프로세싱 장치에서의 어떤 프로세싱 하드웨어(범용 프로세서, 마이크로 제어 장치, DSP, FPGA, ASIC, 또는 어떤 다른 장치)에서 실행될 수 있다. 이러한 구성에 있어서, 수많은 다른 모드의 작동이 가능하다.
하나의 모드에서는 특정 이벤트를 찾도록 백-앤드 장치(또는 백-앤드 장치에 연결된 어떤 다른 장치)에 시스템이 프로그램 되어 있다. 비디오 프로세싱 플랫폼(232) 상의 콘텐츠 분석 모듈(235)은 백-앤드 프로세싱 플랫폼(239)으로 전송되는 프리미티브를 생성한다. 이벤트 추출 모듈(2311)은 규칙이 위반되었는지를 판단 하고, 경고 콘솔(2312)에 디스플레이 되거나 이후의 분석을 위해 저장 장치(2313)에 저장될 수 있는 경고를 생성한다.
다른 모드에서, 비디오 프리미티브 및 비디오는 이후의 분석을 위해 백-앤드 플랫폼(2313) 상에 저장될 수 있다.
다른 모드에서, 저장되는 비디오의 품질, 비트율, 프레임률, 해상도는 경고에 의해 변경될 수 있다. 경고가 있을 때 비디오는 높은 품질, 비트율, 프레임 률, 해상도로 저장될 수 있다.
다른 모드에서, 비디오 프리미티브는 이후의 분석을 위하여 통신 채널을 통해 비디오 프로세싱 장치(232 내의 236)에 저장될 수 있다.
다른 모드에서, 비디오 프로세싱 장치(232 내의 236)에 저장된 비디오의 품질은 프리미티브의 존재에 의해 변경될 수 있다. 프리미티브가 존재하면(무엇인가 일어난 경우) 저장되는 비디오의 품질, 비트율, 프레임률, 해상도가 증가할 수 있다.
다른 모드에서, 비디오는 비디오 프로세서로부터 인코더(234)를 경유하여 네트워크상의 다른 장치로 통신 채널(238)을 통해서 스트리밍 될 수 있다.
다른 모드에서, 비디오 품질은 콘텐츠 분석 모듈(235)에 의해 변경될 수 있다. 프리미티브가 없으면(아무일도 일어나지 않으면), 비디오가 스트리밍되지 않는다(또는 낮은 품질, 비트율, 프레임률, 화상도의 비디오가 스트리밍 된다). 액티비티가 있으면 더 높은 품질, 비트율, 프레임률, 해상도의 비디오가 스트리밍 된다.
다른 모드에서, 스트리밍되는 비디오의 품질, 비트율, 프레임률, 해상도는 경고의 존재에 의해 변경될 수 있다. 백앤드 이벤트 추출 모듈(2311)이 관심있는 이벤트를 검출하면, 그것은 비디오 프로세싱 컴포넌트(232)에 비디오(또는 더 높은 품질, 비트율, 프레임률, 해상도의 비디오)를 요청하는 명령어 또는 신호를 전송할 수 있다. 이러한 요청이 받아들여지면 비디오 압축 컴포넌트(234) 및 통신 레이어(블록 237)는 압축 및 스트리밍 파라미터를 변경할 수 있다.
다른 모드에서, 탑재된 비디오 프로세싱 장치(232 내의 236)에 저장된 비디오의 품질은 경고의 존재에 의해 변경될 수 있다. 백 앤드 프로세서(239)에서 이벤트 추출 모듈(2311)에 의해 경고가 생성되면, 그것은 통신 채널(238)을 경유하여 비디오 프로세서 하드웨어(232)로 메시지를 보내서, 탑재된 저장 장치(238)에 저장되는 비디오의 품질, 비트율, 프레임률, 해상도를 증가시킬 수 있다.
도 24는 도 23에서 설명된 구성의 확장을 도시한다. 비디오 콘텐츠 분석과 백 앤드 액티비티 추출의 기능성을 분리함으로써, 최근의 어플리케이션 바인딩(late application binding) 프로세스를 통한 다양한 목적의 지능형 비디오 감시 시스템이 가능해진다. 지능형 카메라의 하나의 네트워크는 (물리적으로 상이한 위치에 있는)조직의 상이한 부분에 있는 분리된 백-앤드 어플리케이션으로 비디오 프리미티브의 싱글 스트리밍 방송을 할 수 있고, 다양한 기능을 수행할 수 있다. 이는 프리미티브 스트림이 화면(scene)에서 일어나는 모든 일에 대한 정보를 포함하고, 특정 어플리케이션 영역에 속박되지 않기 때문에 가능하다. 도 24에서 설명하는 예시는 소매 환경과 관련되지만, 일반적인 원리로 설명될 수 있고, 어떤 다른 어플리케이션 영역 및 어떤 다른 감시 기능성에도 적용될 수 있다. 블록(241)은 시 설 내 또는 다수의 시설 간의 하나 또는 그 이상의 비디오 카메라의 지능형 네트워크를 설명한다. 콘텐츠 분석 컴포넌트 또는 컴포넌트들은 카메라의 내부, 비디오 서버, 네트워크 라우터, DVR, NVR, PC, 랩톱 또는 네트워크에 연결된 어떤 다른 비디오 프로세싱 장치 내의 프로세싱 장치에 있을 수 있다. 이러한 콘텐츠 분석 컴포넌트들로부터, 스탠다드 네트워크를 경유하여, 다른 목적으로 사용되는 물리적으로 다른 영역들에 있는 백 앤드 프로세서(242 내지 245) 상의 액티비티 추출 모듈로 프리미티브 스트림은 방송된다. 백 앤드 프로세서는 컴퓨터, 랩톱, DVR, NVR, 네터워크 라우터, 핸드헬드 장치(전화, 호출기, PDA), 또는 다른 계산형 장치에 있을 수 있다. 이러한 분산에 의하면, 모든 가능한 어플리케이션의 모든 프로세싱을 하도록 프로그램 되어야만 하는 집중형 프로세싱 어플리케이션(central processing application)을 할 필요가 없다는 이점이 있다. 다른 이점은 조직의 한 부분은 로컬적으로 저장된 규칙에 의해 액티비티 추출을 수행할 수 있으며 따라서, 네트워크의 어느 누구도 그 정보에 액세스를 갖지 않게 되는 보안성이다.
블록(242)에서 지능형 카메라 네트워크로부터의 프리미티브 스트림은 물리적 보안 어플리케이션을 위해 분석된다. 보안 어플리케이션은 혹시 경계 침입(perimeter breach), 만행(vandalism)이 있었는지를 판단하고, 중요한 자산을 보호한다. 물론 이러한 어플리케이션은 단지 바람직한 것이고, 다른 어떤 어플리케이션도 가능하다.
블록(243)에서 지능형 카메라 네트워크로부터의 프리미티브 스트림은 손실 예방 어플리케이션(loss prevention application)을 위해 분석된다. 손실 예방 어 플리케이션은 짐을 싣는 곳(loading dock)을 모니터링하거나, 손님 또는 사원 절도(employee theft)를 감시하거나, 창고를 모니터링하거나, 가축을 추적(track a stock)한다. 물론 이러한 어플리케이션은 단지 바람직한 것이고 다른 어떤 어플리케이션도 가능하다.
블록(244)에서 지능형 카메라 네트워크로부터의 프리미티브 스트림은 공공 안전 및 책임 어플리케이션(liability application)을 위해 분석된다. 공공 안전 및 책임 어플리케이션은 주차장에서 사람 또는 차량의 움직임이 지나치게 빠른지를 모니터링하거나, 사람의 미끄러짐 및 추락을 감시하거나 시설 내부 및 주변의 군중을 모니터링한다. 물론 이러한 어플리케이션은 단지 바람직한 것이고 다른 어떤 어플리케이션도 가능하다.
블록(245)에서 지능형 카메라 네트워크로부터의 프리미티브 스트림은 비즈니스 정보 어플리케이션을 위해 분석된다. 비즈니스 정보 어플리케이션은 큐우(queue)의 길이 감시, 손님의 행동 추적, 행동의 패턴 학습, 현재 사람이 없을 때 조명 및 난방 제어와 같은 빌딩 관리 업무를 수행한다. 물론 이러한 어플리케이션은 단지 바람직한 것이고 다른 어떤 어플리케이션도 가능하다.
도 25는 다수의 지능형 장치(potential intelligence-enabled device)가 연결된 네트워크(251)를 나타낸다. 블록(252)은 콘텐츠 분석 컴포넌트가 탑재된 IP 카메라로서, 네트워크 상에 프리미티브를 스트리밍 할 수 있다. 블록(253)은 콘텐츠 분석 및 액티비티 추출 컴포넌트가 둘 다 탑재된 IP 카메라로서, 규칙에 따라 직접 프로그램 될 수 있고, 직접 네트워크 경고를 생성할 것이다. 블록(254)은 지 능형 컴포넌트가 탑재되어 있지 않은 스탠다드 아날로그 카메라이다. 하지만 그것은 IP 비디오 관리 플랫폼(256)에 연결되어 콘텐츠 분석 및 액티비티 추출 뿐만이 아니라 비디오 디지털화 및 압축을 수행한다. 그것은 뷰-특정 규칙(view-specific rule)과 함께 프로그램될 수 있고, 프리미티브 스트림을 전송할 수 있으며, 네트워크를 통해 경고를 할 수 있다. 블록(255)은 액티비티 추출 컴포넌트가 있는 DVR 이고, 다른 장치로부터 프리미티브 스트림을 받아들이고, 경고를 생성할 수 있다. 블록(257)은 무선 네트워크 통신이 가능한 핸드헬드(handheld) PDA로서, 액티비티 추출 알고리즘이 탑재되어 있고, 네트워크로부터 비디오 프리미티브를 받아들일 수 있고, 경고를 디스플레이 할 수 있다. 블록(258)은 완전한 지능형 비디오 분석 시스템(complete intelligent video system)으로 아날로그 또는 디지털 비디오 스트림을 받아들일 수 있고, 콘텐츠 분석 및 액티비티 추출을 수행할 수 있고, 일련의 경고 콘솔에서 경고를 디스플레이 할 수 있다.
다른 예시로서, 본 발명의 시스템은 독창적인 시스템 태스킹(system tasking)을 제공한다. 현재의 비디오 시스템은 장치 제어 지시어(equipment control directives)를 사용하여 유저가 비디오 센서를 위치시킬 수 있도록 하고, 몇몇 복잡한 종래의 시스템(some sophiscated conventional system)에서는 관심있는 또는 관심없는 영역을 마스크할 수 있도록 한다. 장치 제어 지시어는 위치, 방위, 및 비디오 카메라의 초점을 조절하기 위한 명령어(instruction)이다. 본 발명의 시스템은 장치 제어 지시 대신에 1차 태스킹 메커니즘(primary tasking mechanism)으로서 비디오 프리미티브에 기초한 이벤트 식별자(event discriminator)를 사용한다. 종래의 시스템(conventional system)을 통해 그 시스템으로부터 유용한 정보를 추출하기 위해 이벤트 식별자 및 비디오 프리미티브와 함께 더 많은 직관적 접근법(intuitive approach)이 운영자에게 제공된다. " 카메라 A는 좌측으로 45도 회전(pan)한다"와 같은 장치 제어 지시어에 의해 시스템을 태스킹하는 것과 달리, 본 발명의 시스템은 "사람이 제한된 구역 A에 진입한다"와 같은 비디오 프리미티브에 기초한 하나 또는 그 이상의 이벤트 식별자로 사람의 직관적 방식에 의해 태스킹 될 수 있다.
시장 조사에 본 발명을 이용할 때, 본 발명에 의해 수행될 수 있는 비디오 감시 타입의 예시로는 가게 내의 사람 수를 카운팅 하는 것, 가게의 일부분의 사람 수를 카운팅 하는 것, 가게에서 특정 구역에 멈춰있는 사람의 수를 카운팅 하는 것, 사람들이 가게 내에 얼마나 머무르는지를 측정하는 것, 가게 내의 줄의 길이를 측정하는 것이 있다.
보안에 본 발명을 이용할 때, 본 발명에 의해 수행될 수 있는 비디오 감시 타입의 예시로는 어떤 사람이 금지된 구역에 언제 들어가는지를 판단하고, 관련 이미지를 저장하는 것, 드문 시간에 사람이 구역에 들어가는 때를 판단하는 것, 선반 공간 및 저장 공간에 허락 없이 변경이 있는 때를 판단하는 것, 비행기에 탑승한 승객이 조종실에 접근할 때를 판단하는 것, 사람이 보안 포털(security portal)을 통해 테일게이트(tailgate)하는 때를 판단하는 것, 공항에 내버려 둔 가방이 있는지를 판단하는 것, 자산 절도가 있는지를 판단하는 것이 있다.
바람직한 어플리케이션 영역은 예를 들어, 사람이 담장을 기어오르는지, 또 는 금지된 구역에 들어가는지를 검출하는 것, 어떤 사람이 잘못된 방향으로 움직이는지(예를 들어, 공항에서 출구를 통해 보안 구역으로 들어가는지)를 검출하는 것, 관심 영역에서 검출된 다수의 오브젝트가 RFID 태그 또는 출입을 위한 카드-스와이프(card-swipe)에 기초하여 예상되는 수와 매치되지 않는지(허가받지 않은 사람의 존재를 나타냄) 여부를 판단하는 것을 포함한 액세스 제어일 수 있다. 이는 거주지 어플리케이션에도 유용할 수 있는데, 비디오 감시 시스템은 사람 및 애완동물의 움직임을 구별하여 대부분의 잘못된 경고를 제거할 수 있다. 많은 거주지 어플리케이션에서 사생활은 고려의 대상임을 주시해야 한다. 예를 들어, 집 주인은 다른 사람이 자신의 집을 원격으로 모니터링하고, 집 안에 무엇이 있고, 집 안에 무슨 일이 일어나는지를 볼 수 있는 것을 원하지 않을 수 있다. 따라서 이러한 어플리케이션에서 사용되는 어떤 실시예들은 비디오 프로세싱이 로컬적으로 수행될 수 있고, 오직 필요한 경우(예를 들어, 범죄 액티비티 또는 다른 위험한 상황의 검출을 말하지만 이에 한정되지는 않음)에 하나 또는 그 이상의 원격 모니터링 스테이션으로 선택적 비디오 또는 스냅샷이 보내질 수 있다.
다른 바람직한 어플리케이션 영역은 자산 모니터링일 수 있다. 이는 예를 들어, 유물이 박물관에서 사라지는 것과 같이 오브젝트가 화면으로부터 사라지는지를 검출하는 것을 의미할 수 있다. 소매 환경(retail environment)에서 자산 모니터링은 그것에 대해 여러 양상을 가질 수 있으며 예를 들어, 한 명의 사람이 의심스럽게 많은 양의 기븐 아이템(given item)을 가져가는 것을 검출하는 것, 사람이 입구를 통해 나가고 특히, 쇼핑카트를 밀면서 그런 행동을 하는지를 결정, 사람이 매칭 되지 않는 가격표를 물건에 적용시키는지(예를 들어, 덜 비싼 타입의 가격표를 사용하여 가장 비싼 종류의 커피를 봉지에 담는 지)를 결정하는 것, 또는 사람이 커다란 상자를 갖고 로딩 도크(loading dock)를 떠나는지를 검출하는 것을 포함할 수 있다.
다른 바람직한 어플리케이션 영역은 안전 목적일 수 있다. 이것은 예를 들어, 사람이 예를 들어, 가게 또는 주차장에서 미끄러지거나 넘어지는 것을 검출하는 것, 주차장에서 자동차가 너무 빨리 주행하는지를 검출하는 것, 역에 기차가 없을 때 기차 또는 지하철 플랫폼의 가장자리에서 사람이 너무 가까이 있는지를 검출하는 것, 사람이 레일 위에 있는지를 검출하는 것, 기차가 움직이기 시작할 때 사람이 문에 끼어있는지를 검출하는 것, 또는 시설에 들어오거나 나가는 사람의 수를 카운팅하여, 위급상황에서 매우 중요할 수 있는 정확한 머릿수를 유지하는 것을 포함할 수 있다.
다른 바람직한 어플리케이션 영역은 교통 모니터링이 될 수 있다. 이것은 차량이 특히 다리 또는 터널 같은 장소에서 차량이 정지하는지를 검출, 또는 차량이 주차할 수 없는 곳에 주차되어있는지를 검출하는 것을 포함할 수 있다.
다른 바람직한 어플리케이션 영역으로는 테러방지가 있을 수 있다. 앞에서 언급한 어플리케이션의 일부에 추가하여 오브젝트가 공항 중앙 홀에 남겨져 있는지, 오브젝트가 담장 너머에 던져져 있는지, 또는 오브젝트가 레일 트랙에 남겨져 있는지를 검출하는 것, 중요한 기간시설 주변에서 사람이 배회하거나 또는 차량이 맴도는 것을 검출하는 것, 또는 항구 또는 공해(open water)에서 배에 접근하는 고 속 보트를 검출하는 것을 포함할 수 있다.
다른 바람직한 어플리케이션 영역은 (집에서 조차도) 병자 및 노인을 돌보는 것일 수 있다. 이것은 예를 들어, 사람이 넘어지는지를 검출하는 것, 또는 사람이 장기간 동안 부엌에 들어가지 않는 것과 같은 비정상적인 행동 검출하는 것을 포함할 수 있다.
도 1은 본 발명의 비디오 감시 시스템의 평면도이다. 컴퓨터 시스템(11)은 본 발명에 따라 컴퓨터(12)를 작동하기 위한 소프트웨어가 수록된 컴퓨터 판독가능 매체(13)를 갖는 컴퓨터(12)를 포함한다. 컴퓨터 시스템(11)은 하나 또는 그 이상의 비디오 센서(14), 하나 또는 그 이상의 비디오 레코더(15), 및 하나 또는 그 이상의 입력/출력(I/O) 장치(16)와 연결된다. 비디오 센서(14)는 또한 비디오 감시 데이터의 직접 기록을 지시하기 위하여 선택적으로 비디오 레코더(15)와 연결될 수 있다. 컴퓨터 시스템은 선택적으로 다른 센서(17)와 연결된다.
비디오 센서(14)는 컴퓨터 시스템(11)로 소스 비디오를 제공한다. 각각의 비디오 센서(4)는 예를 들어, 직접 연결(예를 들어, 파이어와이어 디지털 카메라 인터페이스(firewire digital camera interface)) 또는 네트워크를 사용하여 컴퓨터 시스템(11)로 연결될 수 있다. 비디오 센서(14)는 본 발명의 설치 이전에 존재할 수 있고, 또는 본 발명의 일부로서 설치될 수 있다. 비디오 센서(14)의 예는 비디오 카메라, 디지털 비디오 카메라, 칼라 카메라, 흑백 카메라, 카메라, 캠코더, PC 카메라, 웹캠, 적외선 비디오 카메라(infra-red video camera), 및 CCTV 카메라를 포함한다.
비디오 레코더(15)는 기록을 위해 컴퓨터 시스템(11)으로부터 비디오 감시 데이터를 수신하고/수신하거나 컴퓨터 시스템(11)에 소스 비디오를 제공한다. 각각의 비디오 레코더(15)는 예를 들어, 직접 연결 또는 네트워크를 사용하여 컴퓨터 시스템(11)에 연결될 수 있다. 비디오 레코더(15)는 본 발명의 설치 이전에 존재할 수 있고, 또는 본 발명의 일부로서 설치될 수 있다. 컴퓨터 시스템(11)에서의 비디오 감시 시스템은 언제 그리고 어떤 품질로 비디오 레코더(15)가 비디오를 기록할 것인지 세팅하는 것을 제어할 수 있다. 비디오 레코더(15)의 예는 비디오 테이프 레코더, 디지털 비디오 레코더, 네트워크 비디오 레코더, 비디오 디스크, DVD, 및 컴퓨터 판독가능 매체를 포함한다. 시스템은 또한 비디오 인코더 및 스트리밍 프로토콜의 제어에 의해 네트워크 상에서 스트리밍 된 비디오의 품질 및 대여폭을 변경할 수 있다. 관심있는 액티비티가 검출되면, 더 높은 비트율, 프레임률, 또는 해상도의 상(imagery)이 인코딩 및 스트리밍 될 수 있다.
I/O 장치(16)는 컴퓨터 시스템(11)로부터 출력을 수신하거나, 컴퓨터 시스템(11)으로 입력을 제공한다. I/O 장치(16)는 컴퓨터 시스템(11)의 태스킹 및 컴퓨터 시스템으로부터의 리포트 생성에 사용될 수 있다. I/O 장치(16)의 예는 키보드, 마우스, 스타일러스(stylus), 모니터, 프린터, 다른 컴퓨터 시스템, 네트워크, 및 경고 장치를 포함한다.
다른 센서(17)는 컴퓨터 시스템(11)에 추가적인 입력을 제공한다. 각각의 다른 센서(17)는 예를 들어, 직접 연결 또는 네트워크를 사용하여 컴퓨터 시스템에 연결될 수 있다. 다른 센서(17)는 본 발명의 설치 이전에 존재할 수 있고, 또는 본 발명의 일부로서 설치될 수 있다. 다른 센서(17)의 예는 움직임 센서, 광학 트립와이어(optical tripwire), 생체 센서(biometric sensor), 및 카드 기반 또는 키패드 기반의 인증 시스템을 포함하지만 이에 한정되지는 않는다. 다른 센서(17)의 출력은 컴퓨터 시스템(11), 레코딩 장치, 및/또는 레코딩 시스템에 의해 기록될 수 있다.
도 2는 본 발명의 비디오 감시 시스템의 흐름도이다. 본 발명의 다양한 측면의 실시예가 도 10 내지 도 15를 참조하여 설명되어 있고, 이들은 본 발명의 비디오 감시 시스템이 식료품 가게 모니터링에 적용된 예를 설명한다.
블록(21)에서, 비디오 감시 시스템은 도 1에서 설명한 바와 같이 셋업되어 있다. 각각의 비디오 센서(14)는 비디오 감시를 위한 어떤 위치를 향한다. 컴퓨터 시스템(11)은 비디오 장치(14, 15)로부터의 비디오 피드(feed)에 연결된다. 비디오 감시 시스템은 기존의 장치를 사용하여 구현되거나 또는 그 위치에 새롭게 설치된 장치를 사용하여 구현될 수 있다.
블록(22)에서 비디오 감시 시스템이 교정된다. 일단 비디오 감시 시스템이 블록(21)로부터 제자리에 놓이면, 교정이 발생한다. 블록(22)의 결과는 비디오 감시 시스템이 비디오 센서에 의해 제공되는 비디오 이미지에서 다양한 장소에서의 특정 오브젝트(예를 들어, 사람)의 대략적인 절대적 사이즈 및 속력를 판단할 수 있는 능력이다. 시스템은 수동 교정, 반자동 교정, 및 자동 교정을 사용하여 교정될 수 있다. 교정은 블록(24)에 대한 논의 이후에 추가로 설명된다.
도 2의 블록(23)에서 비디오 감시 시스템의 태스크가 실행된다. 태스크 실행 은 블록(22)에서의 교정 이후에 일어나며 선택적이다. 비디오 감시 시스템의 태스크를 실행하는 것은 하나 또는 그 이상의 이벤트 식별자를 특정하는 것을 포함한다. 태스크 실행이 없으면 비디오 감시 시스템은 도 4의 블록(45)에서처럼 어떠한 액션을 취하지 않고, 비디오 프리미티브 및 관련된 비디오 상(video imagery)을 검출 및 보관함으로써 동작한다.
도 3은 비디오 감시 시스템이 이벤트 식별자를 결정하도록 태스킹하는 흐름도이다. 이벤트 식별자는 하나 또는 그 이상의 오브젝트를 말하는데, 이 오브젝트는 하나 또는 그 이상의 공간적 속성(spatial attribute) 및/또는 하나 또는 그 이상의 시간적 속성(temporal attribute)과 선택적으로 상호작용한다. 이벤트 식별자는 비디오 프리미티브(또한 액티비티 기술 메타 데이터로 불림)의 용어로 기술된다. 어떤 비디오 프리미티브 설계 기준(video primitive design criteria)은 실시간으로 비디오 스트림으로부터 추출될 수 있는 능력, 비디오로부터의 모든 관련 정보 포함, 및 표현의 간결함을 포함한다.
비디오 스트림으로부터 비디오 프리미티브를 실시간 추출하는 것은 시스템의 실시간 경고 생성을 가능하도록 하기 위해 바람직하며, 이를 위해, 시스템이 지연될 수 없다.
비디오 프리미티브가 추출되는 시점에는 사용자가 시스템에 정의한 규칙을 알지 못하기 때문에, 비디오 프리미티브는 또한 비디오로부터의 모든 관련 정보를 포함하여야 한다. 따라서, 비디오 프리미티브는 비디오로 되돌아 가서 다시 그것을 분석할 필요가 없도록 사용자에 의해 특정된 어떤 이벤트도 검출할 수 있도록 정보 를 포함해야 한다.
다양한 이유로 간결한 표현이 또한 요구된다. 제안된 발명의 하나의 목표는 감시 시스템의 스토리지 사이클 시간(storage recycle time)을 확장하는 것 일 수 있다. 이것은 앞에서 설명한 바와 같이 항상 높은 품질의 비디오를 저장하는 것을, 현재 액티비티에 따른 품질의 비디오 및 액티비티 기술 메타 데이터(activity description meta-data)를 저장하는 것으로 대체함으로써 성취될 수 있다. 그러므로 더욱 간략한 비디오 프리미티브에 의해 더욱 많은 데이터를 저장할 수 있다. 또한, 더욱 간략한 비디오 프리미티브 표현은 더 빠른 데이터 액세스를 가능하게 하고, 이는 범죄 수사의 속도를 향상시킬 수 있다.
비디오 프리미티브의 정확한 콘텐츠는 관심있는 잠재적 이벤트 및 어플리케이션에 의존할 수 있다. 몇몇의 바람직한 실시예가 이하 설명된다.
비디오 프리미티브의 바람직한 실시예는 전체 화면 및 비디오를 기술하는 화면/비디오 기술자(descriptor)를 포함할 수 있다. 일반적으로 이는 화면 모습의 상세한 설명 예를 들어, 하늘의 위치, 잎, 인공 오브젝트(man-made object), 물 등, 및/또는 기상학적 상태 예를 들어, 안개, 강수의 존재/부재 등을 포함할 수 있다. 비디오 감시 어플리케이션에서 예를 들어, 전체 뷰(view)의 변경은 중요할 수 있다. 바람직한 기술자(descriptor)는 갑작스런 조명의 변경을 기술할 수 있고; 카메라의 움직임, 특히 카메라가 움직이기 시작했거나 또는 멈춘 사실, 그리고 후자의 경우에는 카메라가 이전의 뷰로 복귀하는지 또는 적어도 전에 알았던 뷰로 돌아가는지 여부를 나타낼 수 있고; 그들은 비디오 피드의 품질의 변경 예를 들어, 잠재 적으로 비디오 피드의 변경을 나타내는, 갑자기 소란스러워지거나 또는 어두워졌는지 여부 나타낼 수 있고; 또는 수역(body of water)에 따른 수위(water line)의 변경을 보여줄 수 있다. (이러한 후자의 문제점에 대한 구체적인 접근에 대한 더 많은 정보는 예를 들어, 2004년 10월 1일에 출원되어 아직 진행중인 미국 특허 출원 제 10/954,479호 및 참조에 의해 본 명세서에 통합된 것을 통해 고려될 수 있다.)
비디오 프리미티브의 다른 바람직한 실시예는 비디오 피드(video feed)에서 보이는 오브젝트의 관찰 가능 속성을 나타내는 오브젝트 기술자(object descriptor)를 포함할 수 있다. 오브젝트에 대하여 어떤 정보가 저장되었는지는 적용 영역(application area) 및 가능한 프로세싱 능력에 따른다. 바람직한 오브젝트 기술자는 크기, 모양, 경계(perimeter), 위치, 경로, 속도, 움직임의 방향, 움직임의 현저함(motion salience) 및 그것의 특징, 색깔, 단단함, 질감(texture), 및/또는 분류를 포함하는 일반적 속성을 포함할 수 있지만 이에 한정되지는 않는다. 오브젝트 기술자는 또한 추가적인 어플리케이션 및 타입 특유 정보(type specific information)를 포함할 수 있다. 즉, 사람은 스킨 톤 존재 및 비율, 성별 및 인종 정보, 사람의 형상과 포즈를 설명하는 어떤 인체 모델을 포함할 수 있고, 또는 차량에서는 종류(예를 들어, 트럭, SUV, 세단, 자전거 등), 제작법(make), 모델, 자동차 번호판을 포함할 수 있다. 오브젝트 기술자는 또한 오브젝트 전달, 달리기, 걷기, 서기, 또는 팔을 들기를 포함하는 액티비티를 포함할 수 있지만 이에 한정되지는 않는다. 말하기, 싸우기, 또는 충돌하기와 같은 어떤 액티비티는 또한 다른 오브젝트에 대해 언급할 수 있다. 오브젝트 기술자는 또한 얼굴 또는 걸음걸 이(gait)를 포함하는 식별 정보를 포함할 수 있지만 이에 한정되지는 않는다.
비디오 프리미티브의 다른 바람직한 실시예는 비디오의 모든 영역에서의 움직임의 방향을 묘사하는 플로우 기술자(flow descriptor)를 포함할 수 있다. 이러한 기술자는 예를 들어, 금지된 방향에서의 어떤 움직임을 감지하여, 패스백(pass back) 이벤트를 검출하는데 사용될 수 있다(이러한 후자의 문제에 대한 특정 접근법에 대한 추가 정보는 예를 들어, 2004년 1월 30일에 출원되고 아직 진행중인 미국 특허 출원 제 10/766,949 호 및 참조에 의해 본 명세서에 통합된 것을 통해 고려될 수 있다.).
프리미티브는 또한 오디오 센서, 열 센서, 압력 센서, 카드 리더기, RFID 태그, 생체 센서 등과 같은 넌-비디오 소스(non-video source)로부터 도출될 수도 있다.
분류(classification)는 특정 카테고리 또는 클래스에 속하는 것으로서 오브젝트의 식별을 말한다. 분류의 예는 사람, 개, 차량, 경찰차, 개인, 및 오브젝트의 특정 타입을 포함한다.
크기는 오브젝트의 치수 속성(dimensional attribute)을 말한다. 크기의 예는 대형, 중형, 소형, 플랫(flat), 6피트보다 큼, 1피트보다 작음, 3피트보다 두꺼움, 4피트보다 얇음, 사람 크기 정도, 사람보다 큼, 사람보다 작음, 자동차 정도의 크기, 픽셀에서 대략적인 치수를 갖는 이미지에서의 직사각형, 및 이미지 픽셀의 수를 포함한다.
위치는 오브젝트의 공간적 속성을 말한다. 위치는 예를 들어, 픽셀 좌표에서 의 이미지 위치, 어떤 세계 좌표계(world coordinate system)에서의 절대 실제- 세계 위치(real-world position), 또는 경계표(landmark)나 다른 오브젝트에 대한 상대적인 위치일 수 있다.
색깔은 오브젝트의 색채 속성을 말한다. 색깔의 예는 흰색, 검정, 회색, 적색, HSV 값들의 범위, YUV 값들의 범위, RGB 값들의 범위, 평균 RGB 값, 평균 YUV 값, 및 RGB 값들의 히스토그램(histogram)을 포함한다.
단단함(rigidity)은 오브젝트의 외형의 견고함을 말한다. 단단하지 않은 오브젝트(예를 들어, 사람 또는 동물)의 외형은 프레임들 간에 달라질 수 있는 반면, 단단한 오브젝트(예를 들어, 차량 또는 주택)는 프레임들 간에 크게 달라지지 않은 채 있을 수 있다(회전에 의해 약간의 변화가 있을 수 있다는 것은 제외함).
질감(texture)은 오브젝트의 패턴 속성을 말한다. 질감 특징의 예는 자기-유사성(self-similarity), 스펙트럼 전력(spectral power), 선형성(linearity), 및 거침(coarsness)을 포함한다.
내부 움직임은 오브젝트의 단단함의 측정을 말한다. 비교적 단단한 오브젝트의 예는 많은 양의 내부 움직임이 보이지 않는 자동차가 있다. 비교적 단단하지 않은 오브젝트의 예는 많은 양의 내부 움직임을 보이는 팔 및 다리를 흔들고 있는 사람이 있다.
움직임은 자동적으로 검출될 수 있는 어떤 움직임을 말한다. 움직임의 예는 오브젝트의 출현, 오브젝트의 사라짐, 오브젝트의 수직적 움직임, 오브젝트의 수평적 움직임, 및 오브젝트의 주기적 움직임을 포함한다.
현저한 움직임(salient motion)의 특징은 현저한 움직임의 특성을 말한다. 현저한 움직임의 특징의 예로는 경로(trajectory), 이미지 공간(image space)에서의 경로의 길이, 주변 환경의 3차원 표현에서의 경로의 근사 길이, 시간함수로서의 이미지 공간에서의 오브젝트의 위치, 시간함수로서의 주변 환경의 3차원 표현에서의 오브젝트의 근사 위치, 경로의 지속, 이미지 공간에서의 속도(예를 들어, 속력 및 방향), 주변 환경의 3차원 표현에서의 근사 속도(예를 들어, 속력 및 방향), 속도에서의 지속 시간, 이미지 공간에서의 속도의 변화, 환경의 3차원 표현에서의 속도의 대략적 변화, 속도의 변경의 지속, 움직임의 정지, 움직임의 정지의 지속을 포함한다. 속도는 특정한 시간의 오브젝트의 속력 및 방향을 말한다. 경로는 오브젝트가 추적 될 수 있는 동안 또는 어떤 시간 주기(time period) 동안의 오브젝트에 대한 (위치, 속도) 쌍들의 일 세트를 말한다.
화면 변경(scene change)은 어떤 시간 주기 동안의 변화로서 검출될 수 있는 화면의 어떤 영역을 말한다. 화면 변경의 예는 정지된 오브젝트가 화면을 떠남, 오브젝트가 화면에 들어오고 정적으로 됨, 오브젝트가 화면에서 위치를 바꿈, 및 오브젝트가 외형(예를 들어, 색깔, 모양, 또는 크기)을 바꿈을 포함한다.
화면 변경의 특징은 화면 변경의 특성을 말한다. 화면 변경의 특징의 예는 이미지 공간에서의 화면 변경의 크기, 환경의 3차원 표현에서의 화면 변경의 근사 크기, 화면 변경이 발생하는 시간, 이미지 공간에서의 화면 변경의 위치, 및 주변 환경의 3차원 표현에서의 화면 변경의 근사 위치를 포함한다.
미리 정의된 모델은 사전에 알려진 오브젝트의 모델(priori known model of object)을 말한다. 미리 정의된 모델의 예는 성인, 어린이, 차량, 및 준-트레일러(semi-trailer)를 포함할 수 있다.
도 16a는 본 발명의 일 실시예에 따른 비디오 감시 시스템에서의 바람직한 비디오 분석 부분을 보여준다. 도 16a는 비디오 센서(예를 들어, 비디오 카메라를 말하지만 이에 한정되지는 않음)(1601)는 비디오 분석 서브시스템(1603)에 비디오 스트림(1602)를 제공할 수 있다. 비디오 분석 시스템(1603)은 그 다음에 비디오 프리미티브를 도출하기 위해 비디오 스트림(1602)의 분석을 수행할 수 있다. 비디오 프리미티브는 프리미티브 스토리지(1605)에 저장될 수 있다. 프리미티브 스토리지(1605)는 또한 넌-비디오 프리미티브(non-video primitive)를 저장하기 위해 사용될 수 있다. 비디오 분석 서브시스템(1603)은 또한 전술한 바와 같이 비디오 스토리지(1604)에서의 전체 또는 일부분의 비디오 스트림(1602)의 저장 예를 들어, 비디오의 품질 및/또는 양을 제어할 수 있다.
이제 도 16b를 참조하여, 일단은 비디오, 그리고 만약 다른 센서가 있다면 넌-비디오 프리미티브(161)가 가능하고, 시스템은 이벤트를 검출할 수 있다. 유저는 규칙 및 응답 정의 인터페이스(162)를 사용하여 규칙(163) 및 대응되는 응답(164)을 정의하여 시스템이 태스킹를 수행하도록 한다. 규칙은 이벤트 식별자로 번역되고, 시스템은 대응되는 이벤트 발생(165)을 추출한다. 검출된 이벤트 발생(166)은 유저 정의 응답(167)을 트리거한다. 응답은 비디오 스토리지(도 16a의 비디오 스토리지(1604)와 같을 수도 같지 않을 수도 있음)(168)로부터 검출된 이벤트의 비디오의 스냅샷을 포함할 수 있다. 비디오 스토리지(168)는 비디오 감시 시 스템의 일부분이거나, 또는 분리된 레코딩 장치(15)일 수 있다. 응답의 예는 시스템 디스플레이 상의 시각적 및/또는 청각적 경고의 활성화, 어떤 위치에서 시각적 및/또는 청각적 경고 시스템의 활성화; 무성 경고(silent alarm)의 활성화, 신속한 응답 메커니즘의 활성화, 문 잠그기, 보안 서비스에 접촉, 데이터(예를 들어, 이미지 데이터, 비디오 데이터, 비디오 프리미티브, 및/또는 분석된 데이터)를 인터넷과 같은 그러나 이에 한정되지는 않는 네트워크를 통해 다른 컴퓨터 시스템으로 전달 또는 스트리밍, 이러한 데이터를 지정된 컴퓨터 판독가능 매체에 저장, 어떤 다른 센서 또는 감시 시스템을 활성화, 컴퓨터 시스템(11) 및/또는 다른 컴퓨터 시스템의 태스크 실행, 및/또는 컴퓨터 시스템(11) 및/또는 다른 컴퓨터 시스템 디렉팅(directing)을 포함할 수 있지만 이에 필수적으로 한정되지는 않는다.
프리미티브 데이터는 데이터베이스에 저장된 데이터처럼 생각될 수 있다. 그것에서 이벤트 발생을 검출하기 위해서는 효율적인 질문 언어가 필요하다. 본 발명의 시스템의 실시예는 이하 설명되는 액티비티 추출 언어를 포함할 수 있다.
종래의 관계형 데이터베이스 질문 스키마(relational database queries schemas)은 종종 불 이진 트리구조(boolean binary tree structure)를 따라 유저가 다양한 타입의 저장된 데이터를 통해 유연한 질문을 만들도록 한다. 리프 노드(leaf node)는 보통 "특성 관계 값(property relationship value)" 형식이다. 여기서, 특성은 데이터(예를 들어, 시간 또는 이름)의 어떤 중요한 특징이고, 관계는 보통 숫자 연산자(">", "<", "=" 등)이며, 값은 그 특성에 대해 유효한 상태이다. 분기 노드(branch node)는 보통 "논리곱(and)", "논리합(or)", 및 "부정(not)"과 같은 일진 또는 이진 불 논리 연산자(unary or binary Boolean logic operator)를 표현한다.
이것은 본 발명의 실시예에서와 같이 액티비티 질문 공식 스키마(activity query formulation schema)의 기본을 형성할 수 있다. 비디오 감시 어플리케이션의 경우 특성은 크기, 속력, 색깔, 분류(사람, 차량)와 같은 비디오 스트림에서 검출된 오브젝트의 특징이거나, 또는 특성은 화면 변경 특성일 수 있다. 도 17은 이러한 질문을 사용하는 예를 보여준다. 도 17a에서 질문 "소정의 적색 차량을 보여줄 것"(171)을 한다. 이 질문은 두 개의 "특성 관계 값"(또는 간단히 "특성") 질문으로 분해될 수 있고, 오브젝트의 분류가 차량(173)인지, 그리고 색깔이 현저하게 적색(174)인지를 테스트한다. 이러한 두 개의 서브-질문은 불 연산자 "논리곱"(172)로 결합될 수 있다. 유사하게도 도 17b에서 질문 "카메라가 움지이기 시작/정지할 때를 보여줄 것"은 특성 서브 질문인 "카메라가 움직이기 시작"(177) 및 카메라가 움직임을 정지"(178)의 불 연산자 "또는"(176)을 사용한 결합으로 표현될 수 있다.
본 발명의 실시예는 이러한 타입의 데이터베이스 질문 스키마를 두가지 바람직한 방법을 통해 확장할 수 있다. 즉, (1) 기본 리프 노드(leaf node)는 화면에서 공간 액티비티를 설명하는 액티비티 검출자로 확대될 수 있다. (2) 불 연산자 분기 노드(branch node)는 공간적, 시간적 및 오브젝트 내부관계를 특정하는 변경자(modifier)로 확장될 수 있다.
액티비티 검출자는 비디오 화면의 일 영역에 관련된 행동에 대응한다. 이들은 오브젝트가 화면에서의 일 위치와 어떻게 상호작용하는지를 기술한다. 도 18은 3개의 바람직한 액티비티 검출자를 설명한다. 도 18a는 버츄얼 비디오 트립와이어(virtual video tripwire)를 사용하여 특정한 방향에서 경계를 교차하는 동작을 표현한다(이러한 버츄얼 비디오 트립와이어가 어떻게 실행되는지에 대한 저 자세한 정보는 예를 들어, 2003년 1월 30일에 출원된 미국 특허 제 10/331,778호, "Video Scene Background Maintenance - Change Detection ＆ Classification,"에서 참조될 수 있다). 도 18b는 철도 궤도에서 일정 시간 동안 머무는(loitering) 동작을 표현한다. 도 18c는 벽의 섹션으로부터 무엇을 가져오는 동작(taking something away from a section of wall)을 표현한다(이것이 어떻게 이루어지는지의 바람직한 접근은 2003년 1월 30일에 출원된 미국 특허 출원 No.10/331,778 "Video Scene Background Maintenance - Change Detection & Classification,"에서 참조될 수 있다.). 다른 바람직한 액티비티 검출자는 사람이 넘어지는 것을 검출하는 것, 사람이 방향 또는 속력을 변경하는 것을 검출하는 것, 사람이 구역에 들어가는 것을 검출하는 것, 또는 사람이 잘못된 방향으로 가는 것을 검출하는 것을 포함할 수 있다.
도 19는 적색 차량이 비디오 트립와이어(191)를 교차하는지 여부를 검출하기 위하여 액티비티 검출자 리프 노드(여기서는 트립와이어 교차)가 간단한 특성 질문과 어떻게 결합될 수 있는지의 예를 설명한다. 특성 질문(172,173,174)과 액티비티 검출자(193)는 논리 연산자 "논리곱"(192)으로 결합된다.
변경된 불 연산자(결합자)와 함께 결합 질문은 유연성을 더 할 수 있다. 바람직한 변경자는 공간적, 시간적, 오브젝트 및 카운터 변경자를 포함한다.
공간적 변경자는 오직 화면 내에서 근사/근사하지 않은 차일드 액티비티(child activity)(즉, 예를 들어, 도 19에서 불 연산자로 아래 도시된 바와 같은, 불 연산자의 인수들(arguments))에 대해서만 불 연산자가 동작하도록 할 수 있다. 예를 들어, "논리곱 - 50 픽셀 내에서의"는 액티비티 사이의 거리가 50 픽셀 이하인 경우에만 "논리곱"이 적용된다는 것을 의미하기 위해 사용될 수 있다.
시간적 변경자는 상호 특정 시간 동안에, 그러한 소정의 시간 외, 또는 소정의 시간 내에서 일어나는 차일드 액티비티에 대해서만 불 연산자가 동작하도록 할 수 있다. 이벤트의 시간 순서 또한 특정될 수 있다. 예를 들어, "논리곱 - 두 번째의 10초 내의 첫 번째"는 1차 차일드 액티비티 이후로부터 10초가 넘기 전에 2차 차일드 액티비티가 발생한 경우에만 "논리곱"이 적용된다 것을 의미하기 위해 사용될 수 있다.
오브젝트 변경자는 동일하거나 상이한 오브젝트를 포함하여 발생하고, 차일드 액티비티에 대해서만 불 연산자가 동작하도록 할 수 있다. 예를 들어, "논리곱 - 동일한 오브젝트를 포함"은 두 개의 차일드 액티비티가 동일한 특정 오브젝트를 포함하는 경우에만 "논리곱"이 적용된다는 것을 의미하기 위해 사용될 수 있다.
카운터 변경자는 오직 조건(들)이 규정된 수의 횟수(times)를 충족시키는 경우에만 불 연산자가 트리거되도록 할 수 있다. 카운터 변경자는 일반적으로 "적어도 n번", "정확히 n번", "최대 n번" 등과 같은 수의 관계를 포함할 수 있다. 예를 들어, "논리합 - 적어도 두 개"은 "논리합" 연산자의 적어도 두 개의 서브 질문이 참이어야 하는 것을 의미하기 위해 사용될 수 있다. 카운터 변경자의 다른 용도는 "만약 동일한 사람이 선반으로부터 적어도 다섯 개의 아이템을 가져가는 경우 경고를 할 것"과 같은 규칙을 수행하는 것일 수 있다.
도 20은 결합자(combinator) 사용의 예를 설명한다. 여기서, 요구되는 액티비티 질문은 "불법 좌회전을 하는 소정의 적색 자동차를 찾을 것"이다. 불법 좌회전은 액티비티 기술자 및 변경된 불 연산자의 결합을 통해 캡쳐될 수 있다. 하나의 버츄얼 트립와이어는 옆길(193)에서 나오는 오브젝트를 검출하는데 사용될 수 있고, 다른 버츄얼 트립와이어는 도로(205)를 따라 좌측으로 주행하는 오브젝트를 검출하는데 사용될 수 있다. 이들은 변경된 "논리곱" 연산자(202)에 의하여 결합될 수 있다. 표준 불 "논리곱" 연산자는 액티비티(193) 및 액티비티(205)가 둘 다 검출되어야 한다는 것을 확실히 한다. 오브젝트 변경자(203)는 동일 오브젝트가 트립와이어를 둘 다 크로스 한 것을 체크한다. 시간적 변경자(203)는 상하(bottom-to-top) 트립와이어(193)가 먼저 크로스 되고, 이어서 10초 이내로 좌우(right-to-left) 트립 와이어(205)가 크로스 되는 것을 체크한다.
이러한 예는 또한 결합자의 능력을 나타낸다. 이론적으로 간단한 액티비티 검출자 및 결합자에 의존하지 않고, 좌회전에 대하여 분리된 액티비티 검출자를 정의하는 것이 가능하다. 하지만, 그러한 검출자는 유연할 수 없고, 임의의 회전각 및 방향에 대해 적응하는 것이 어렵다. 또한 모든 잠재적 이벤트에 대하여 분리된 검출자를 쓰는 것은 부담이 될 수 있다. 반대로 결합자 및 간단한 검출자를 쓰면 대단히 유연해진다.
더 간단한 액티비티의 결합으로 검출될 수 있는 복잡한 액티비티의 다른 예 는 자동차가 주차되고, 사람이 차에서 내리거나 많은 사람이 그룹을 만들고 테일게이팅(tailgating)을 하는 것을 포함할 수 있다. 이러한 결합자들은 또한 상이한 타입 및 소스의 프리미티브를 결합할 수 있다. 예는 "불이 꺼지기 전에 방 안에 있는 사람을 보여줄 것", "먼저 카드를 긁지 않고(without a preceding card-swipe) 문에 들어가는 사람을 보여줄 것", 또는 "관심 지역에 RFID 태그 리더에 의해 예상되는 것보다 많은 오브젝트가 있는 경우 보여줄 것"(즉, RFID 태그가 없는 비합법적인 오브젝트가 그 영역에 있는 경우를 말한다.)과 같은 규칙을 포함할 수 있다.
결합자는 소정 개수의 서브질문도 결합할 수 있고, 다른 결합자와도 어느 정도까지 결합할 수 있다. 도 21a 및 도 21b에 설명되어 있는 예는 차량이 좌회전(2101)을 하고, 그 후에 우회전(2104)을 하는지를 검출하는 규칙이 될 수 있다. 좌회전(2101)은 방향 트립와이어(2102 및 2103)로 검출될 수 있고, 우회전(2104)은 방향 트립와이어(2105 및 2106)로 검출될 수 있다. 좌회전은 트립와이어(2102 및 2103)에 대응하는 트립와이어 액티비티 검출자(2112 및 2113)로 표현될 수 있고, 각각은 오브젝트 변경자 "동일"(2117) 및 시간적 변경자 "2113 전에 2112"(2118)와 함께 "논리곱" 결합자(2111)로 연결된다. 유사하게 우회전은 트립와이어(2105 및 2106)에 대응하는 트립와이어 액티비티(2115 및 2116)로 표현될 수 있고, 각각은 오브젝트 변경자 "동일"(2119) 및 시간적 변경자 "2116 전에 2115"(2120)와 함께 "그리고" 결합자(2114)로 연결된다. 먼저 좌회전을 하고 이후에 우회전을 하는 동일한 오브젝트를 검출하기 위하여 좌회전 검출자(2111) 및 우회전 검출자(2114)는 오브젝트 변경자 "동일"(2122) 및 시간적 변경자 "2114 이전에 2111"(2123)와 함께 " 논리곱" 결합자(2121)로 연결된다. 마지막으로 검출된 오브젝트가 차량임을 확실히 하기 위해 논리 연산자 "논리곱"(2125)는 좌회전 및 우회전 검출자(2121)와 특성 질문(2124)을 결합하도록 사용된다.
이러한 모든 검출자는 선택적으로 시간적 속성과 결합될 수 있다. 시간적 속성의 예는 매 15분마다, 오후 9시에서 오전 6시 30분 사이, 5분 미만, 30초 이상, 및 주말 동안을 포함할 수 있다.
도 2의 블록(24)에서 비디오 감시 시스템이 동작된다. 본 발명의 비디오 감시 시스템은 자동으로 동작되고, 화면에서 오브젝트의 비디오 프리미티브를 검출 및 보관하고, 이벤트 식별자를 이용하여 실시간으로 이벤트 발생을 검출한다. 또한, 실시간으로 경고의 활성화, 리포트 생성, 및 출력 생성과 같은 적절한 액션이 취해진다. 리포트 및 출력은 로컬적으로 시스템에 또는 인터넷과 같은 네트워크를 통해 다른 곳에 저장 및/또는 디스플레이 될 수 있다. 도 4는 비디오 감시 시스템을 동작하기 위한 흐름도를 나타낸다.
블록(41)에서 컴퓨터 시스템(11)은 비디오 센서(14) 및/또는 비디오 레코더(15)로부터 소스 비디오를 획득한다.
블록(42)에서 소스 비디오로부터 실시간으로 비디오 프리미티브가 추출된다. 선택적으로 넌-비디오 프리미티브는 하나 또는 그 이상의 다른 센서(17)로부터 획득 및/또는 추출될 수 있고, 본 발명에서 사용될 수 있다. 비디오 프리미티브의 추출은 도 5에 설명되어 있다.
도 5는 비디오 감시 시스템에서 비디오 프리미티브를 추출하는 흐름도를 나 타낸다. 블록(51) 및 블록(52)은 병렬로 동작하고, 소정의 순서로 또는 동시에 수행될 수 있다. 블록(51)에서 오브젝트는 움직임을 통해 검출된다. 이 블록에서는 픽셀 레벨에서 프레임 사이의 움직임을 검출하는 어떤 움직임 검출 알고리즘도 사용될 수 있다. 예로 {1}에서 논의된 3가지 프레임 구별 기술(three frame differencing technique)이 사용될 수 있다. 검출된 오브젝트는 블록(53)으로 전달된다.
블록(52)에서 오브젝트는 변경을 통해 검출된다. 이 블록에서는 배경 모델로부터 변경을 검출하는 어떤 변경 검출 알고리즘도 사용될 수 있다. 픽셀은 프레임의 배경 모델을 따르지 않기 때문에, 만약 프레임에서의 하나 또는 그 이상의 픽셀이 프레임의 전경(foreground) 내에 있는 것으로 간주되면, 이 블록에서 오브젝트가 검출된다. 예로, 동적 적응 배경 감법(dynamically adaptive background subtraction)과 같은 확률 배경 모델링 기술(stochastic background modeling technique)이 사용될 수 있다. 이는 {1} 및 2000년 10월 24일에 출원된 미국 특허 출원 제 09/694,712호 에서 설명되었다. 검출된 오브젝트는 블록(53)으로 전달된다.
블록(51)에서의 움직임 검출 기술 및 블록(52)에서의 변경 검출 기술은 상호보완적인 기술이고, 각 기술은 다른 기술의 결함을 유리하게 어드레스한다. 옵션으로 추가 및/또는 대안 검출 스킴(additional and/or alternative detection scheme)이 블록(51) 및 블록(52)에서 논의된 기술에 대해서 사용될 수 있다. 추가 및/또는 대안 검출 스킴의 예는 {8}에서 설명된, 사람을 찾기 위한 검출 스 킴(Pfinder detection scheme), 스킨 톤 검출 스킴, 얼굴 검출 스킴, 및 모델에 기초한 검출 스킴을 포함한다. 이러한 추가 및/또는 대안 검출 스킴의 결과는 블록(53)에 제공된다.
옵션으로, 만약 비디오 센서(14)에 움직임(예를 들어, 비디오 카메라가 스위프(sweep), 줌, 및/또는 이동)이 있으면, 추가 블록이 블록(51)과 블록(52) 사이의 블록들 앞에 삽입되어, 비디오 안정화를 위해 블록(51) 및 블록(52)에 입력을 제공할 수 있다. 비디오 안정화는 아핀 또는 투영 글로벌 움직임 보상(affine or projective global motion compensation)에 의해 성취될 수 있다. 예를 들어, 본 명세서에서 참조로 포함되어 있는 2000년 7월 3일에 출원된 미국특허출원 제09/609,919호 - 현재 미국 특허 제 6,738,424호 - 에서 설명하는 이미지 정렬(image alignment)은 비디오 안정화를 획득하기 위해 사용될 수 있다.
블록(53)에서는 블랍들(blobs)이 생성된다. 일반적으로 블랍은 프레임 내의 소정의 오브젝트를 말한다. 블랍의 예는 사람 또는 차량 같은 움직이는 오브젝트; 가구, 의류 아이템, 또는 소매점 선반의 아이템과 같은 소비자 제품을 포함한다. 블랍은 블록(32) 및 블록(33)으로부터 검출된 오브젝트를 이용하여 생성된다. 블랍을 생성하는 어떤 기술도 이 블록에서 사용될 수 있다. 움직임 검출 및 변경 검출로부터 블랍을 생성하는 바람직한 기술은 연결형 컴포넌트 스킴(connected component scheme)을 사용한다. 예를 들어, {1}에서 설명된 형태학(morphology) 및 연결형 컴포넌트 알고리즘이 사용될 수 있다.
블록(54)에서 블랍이 추적된다. 블랍을 추적하는 어떤 기술도 이 블록에서 사용될 수 있다. 예를 들어, 칼만 필터링(kalman filtering) 또는 CONDENSATION 알고리즘이 사용될 수 있다. 다른 예로, {1}에서 설명된 것과 같은 템플릿 매칭 기술(template matching technique)이 사용될 수 있다. 다른 예로, {5}에서 설명한 멀티 가설 칼만 추적기(multi-hypothesis Kalman tracker)가 사용될 수 있다. 또한 다른 예로, 2000년 10월 24일에 출원된 미국특허출원 제09/694호에서 설명된 프레임들 간 추적 기술(frame-to-frame tracking technique)이 사용될 수 있다. 위치의 예가 식료품점인 예의 경우, 추적될 수 있는 오브젝트의 예로는 움직이는 사람, 재고품 아이템, 및 쇼핑 카트 또는 손수레와 같은 움직이는 기구(moving appliance)를 포함한다.
옵션으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 알려진 바와 같이, 블록(51) 내지 블록(54)는 어떤 검출 또는 추적 스킴으로 대체될 수 있다. 이러한 검출 및 추적 스킴의 예는 {11}에서 설명되어 있다.
블록(55)에서 추적된 오브젝트의 각 경로는 경로가 현저한지 여부를 판단하기 위해 분석된다. 만약 경로가 현저하지 않다면(insalient), 그 경로는 오브젝트가 불안정한 움직임을 보이는 것을 표현하거나, 불안정한 크기 또는 색깔의 오브젝트, 그리고 대응되는 오브젝트가 거절되어 더 이상 시스템에 의해 분석되지 않는 것을 표현한다. 만약 그 경로가 현저하면, 그 경로는 잠정적으로 관심있는 오브젝트를 표현한다. 경로에 현저함 측정(salience mesasure)을 적용하여, 경로가 현저한지 현저하지 않은지를 판단한다. 경로가 현저한지 또는 현저하지 않은지를 판단하는 기술은 {13} 및 {18}에 설명되어 있다.
블록(56)에서 각 오브젝트가 분류된다. 각 오브젝트의 일반적인 타입은 그 오브젝트의 분류로서 결정된다. 분류는 여러 기술에 의해 수행될 수 있는데, 이러한 기술의 예는 신경 네트워크 분류기(neural network classifier){14}를 사용하는 것과, 선형 판별 분류기(linear discriminatant classifier) {14}를 사용하는 것을 포함한다. 분류의 예는 블록(23)에서 논의된 것과 동일하다.
블록(57)에서는, 블록(51) 내지 블록(56)로부터의 정보와 필요한 추가 처리를 정보를 사용하여 비디오 프리미티브가 식별된다. 식별된 비디오 프리미티브의 예는 블록(23)에서 논의된 것과 동일하다. 예로, 크기에 있어서 시스템은 블록(22)에서의 교정으로부터 얻어진 정보를 비디오 프리미티브로 사용할 수 있다. 시스템은 교정으로부터 오브젝트의 대략적인 크기를 결정하는데 충분한 정보를 갖게 된다. 다른 예로, 시스템은 블록(54)로부터 측정된 속도를 프리미티브로 사용할 수 있다.
블록(43)에서 블록(42)로부터의 비디오 프리미티브가 보관된다. 비디오 프리미티브는 컴퓨터 판독가능 매체(13), 또는 다른 컴퓨터 판독가능 매체에 기록될 수 있다. 비디오 프리미티브와 함께 소스 비디오로부터의 비디오 상 또는 연결된 프레임이 보관될 수 있다. 이러한 보관 단계는 선택적이고, 만약 시스템이 오직 실시간 이벤트 검출을 위해 사용되는 것이라면 기록 단계는 건너뛸 수 있다.
블록(44)에서는 이벤트 식별자를 사용하여 비디오 프리미티브로부터 이벤트 발생을 추출한다. 비디오 프리미티브는 블록(42)에서 결정되고, 이벤트 식별자는 블록(23)에서 시스템의 태스크를 수행하는 것으로부터 결정된다. 이벤트 식별자는 어떤 이벤트 발생이 발생하였는지를 판단하도록 비디오 프리미티브를 필터링하기 위해 사용된다. 예를 들어, 이벤트 식별자는 "잘못된 길"로 이동하여 오전 9시와 오후 5시 사이에 소정의 영역으로 진입하는 사람으로 정의된 "잘못된 길" 이벤트를 찾을 수 있다. 이벤트 식별자는 도 5에 따라 생성된 모든 비디오 프리미티브를 체크하고, 오전 9시와 오후 5시 사이의 타임스탬프(timestamp), "사람" 또는 "사람의 그룹"의 분류, 영역 안의 위치, 및 "잘못된" 방향의 움직임 특성을 갖는 어떤 비디오 프리미티브가 존재하는지를 결정한다. 이벤트 식별자는 또한 앞에서 설명한 다른 타입의 비디오 프리미티브를 사용할 수 있다. 및/또는 다수의 비디오 소스로부터 이벤트 발생을 검출하기 위해 비디오 프리미티브를 결합할 수 있다.
블록(45)에서는 블록(44)에서 추출된 각 이벤트 발생에 대해 적절한 액션이 취해진다. 도 6은 비디오 감시 시스템에서 액션을 취하기 위한 흐름도를 설명한다.
블록(61)에서는 이벤트 발생을 검출한 이벤트 식별자에 의해 지시된 응답이 수행된다. 응답은 하나라도, 블록(34)에서의 각 이벤트 식별자에 대해 식별된다.
블록(62)에서는 발생된 각각의 이벤트 발생에 대해 액티비티 기록이 생성된다. 액티비티 기록은 예를 들어 오브젝트 경로의 디테일, 오브젝트 검출 시간, 오브젝트 검출의 위치, 및 사용된 이벤트 식별자의 정의 또는 설명을 포함한다. 액티비티 기록은 이벤트 식별자에 의해 필요한 비디오 프리미티브와 같은 정보를 포함할 수 있다. 액티비티 기록은 또한 이벤트 발생에 포함된 오브젝트(들) 그리고/ 또는 영역(들)의 스틸 이미지 또는 대표 비디오를 포함할 수 있다. 액티비티 기록은 컴퓨터 판독가능 매체에 저장된다.
블록(63)에서는 출력이 생성된다. 출력은 블록(44)에서 추출된 이벤트 발생 및 블록(41)로부터의 소스 비디오의 직접 피드(direct feed)에 기초한다. 출력은 컴퓨터 판독가능 매체에 저장되고, 컴퓨터 시스템(11) 또는 다른 컴퓨터 시스템에 디스플레이 되거나, 또는 다른 컴퓨터 시스템에 전달된다. 시스템이 동작하면 이벤트 발생에 관한 정보가 수집되고, 오퍼레이터는 그 정보를 실시간을 포함하여 언제든지 볼 수 있다. 정보를 수신하는 포맷의 예는 컴퓨터 시스템의 모니터에 디스플레이, 하드 카피, 컴퓨터 판독가능 매체, 및 상호 작용하는 웹 페이지(interactive web page)를 포함한다.
출력은 아날로그 비디오 전송 수단을 경유하거나 또는 네트워크 비디오 스트리밍을 경유하여 전송된, 블록(41)로부터의 소스 비디오의 직접 피드로부터의 디스플레이를 포함할 수 있다. 예를 들어, 소스 비디오는 컴퓨터 시스템의 모니터 또는 폐쇄 회로 모니터의 윈도우에 디스플레이될 수 있다. 또한, 출력은 이벤트 발생에 관련된 오브젝트 및/또는 영역을 하이라이트하기 위해 그래픽이 추가된 소스 비디오를 포함할 수 있다. 만약 시스템이 범죄 수사 분석 모드에서 동작되는 경우에는 비디오는 비디오 레코더로부터 올 수 있다.
출력은 오퍼레이터의 요구 조건 및/또는 이벤트 발생에 기초한 오퍼레이터에 대한 하나 또는 그 이상의 리포트를 포함할 수 있다. 리포트의 예는 발생된 이벤트 발생의 수, 이벤트 발생이 발생한 화면에서의 위치, 이벤트 발생이 발생된 시간, 각 이벤트 발생의 대표 상(imagery), 각 이벤트 발생의 대표 비디오, 가공되지 않은 통계 데이터, 이벤트 발생의 통계(예를 들어, 얼마나 많이, 얼마나 자주, 어디 서, 그리고 언제), 및/또는 사람 판독가능 그래픽 디스플레이를 포함한다.
도 13 및 도 14는 도 15에서의 식료품 가게 내의 통로에 대한 바람직한 리포트를 보여준다. 도 13 및 도 14에서의 각 영역은 블록(22)에서 확인되고, 그에 따라 이미지에서 라벨링된다. 도 13에서의 영역들은 도 12에서의 영역들과 매칭되고, 도 14에서의 영역들은 다른 영역들이다. 시스템은 이 영역 내에서 정지한 사람을 찾기 위한 태스크를 수행한다.
도 13에서, 바람직한 리포트는 라벨, 그래픽, 통계 정보, 및 통계 정보의 분석을 포함하도록 추가된 비디오로부터의 이미지이다. 예를 들어, 커피로서 식별된 영역은 그 영역에 있었던 손님의 평균수가 시간당 2명이고, 그 영역에서 머문 평균 시간이 5초인 통계 정보를 갖는다. 시스템은 이 영역을 이 지역에서 상업적 액티비티가 많지 않음을 의미하는 "차가운(cold)" 지역으로 정한다. 다른 예로, 소다로서 식별된 영역은 그 영역에 있었던 손님의 평균수가 시간 당 15명이고, 그 영역에서 머문 평균 시간이 22초인 통계 정보를 갖는다. 시스템은 이 영역을 이 지역에서 많은 양의 상업적 액티비티가 있음을 의미하는 "뜨거운" 지역으로 정한다.
도 14에서, 바람직한 리포트는 라벨, 그래픽, 통계 정보, 및 통계 정보의 분석을 포함하도록 추가된 비디오로부터의 이미지이다. 예를 들어, 통로 뒤의 영역은 손님의 평균 수가 시간당 14명이고, 트래픽이 적다고 판단된다. 다른 예로, 통로 앞의 영역은 손님의 평균 수가 시간당 83명이고, 트래픽이 많다고 결정된다.
도 13 또는 도 14 중 어느 하나에 있어서, 만약 오퍼레이터가 어떤 특정 영역에 대하여 더 많은 정보를 원하면, 포인트 클릭 인터페이스(point-click interface)는 시스템이 검출 및 기록한 액티비티 및/또는 지역의 대표 스틸 및 비디오 상을 통해 오퍼레이터가 네비게이트 하도록 한다.
도 15는 식료품점에서의 통로에 대한 다른 바람직한 리포트를 설명한다. 바람직한 리포트는 라벨, 경로 지시 및 추가된 이미지를 설명하는 텍스트를 포함하여 추가된 비디오로부터의 이미지를 포함한다. 예의 시스템은 여러 영역에 대하여 오브젝트의 경로의 시간, 길이 및 위치; 오브젝트가 정지한 위치 및 시간; 오퍼레이터에 의해 특정된 영역과 경로의 상관관계; 및 사람이 아닌, 한 명, 두 명, 그리고 세 명 또는 더 많은 사람 오브젝트의 분류를 조사하면서 태스크를 수행한다.
도 15의 비디오 이미지는 경로가 기록된 소정의 시간으로부터 나온다. 3개의 오브젝트에 있어서, 두 오브젝트의 각각은 한 명의 사람으로 분류되고, 하나의 오브젝트는 사람이 아닌 것으로 분류된다. 각 오브젝트는 라벨 즉, 사람 ID(1032), 사람 ID(1033), 및 오브젝트 ID(32001)로 라벨이 부여된다. 사람 ID(1032)에서 시스템은 사람이 영역에서 52초를, 원으로 표시된 위치에서 18초를 보냈다고 판단한다. 사람 ID(1033)에서 시스템은 사람이 영역에서 1분 8초를, 원으로 표시된 위치에서 12초를 보냈다고 판단한다. 사람 ID(1032) 및 사람 ID(1033)의 경로는 추가된 이미지로 포함된다. 오브젝트 ID(32001)에서 시스템은 오브젝트를 더 이상 분석하지 않고, 그 오브젝트의 위치를 X로 표시한다.
도 2의 블록(22)으로 돌아가서, 교정(calibration)은 (1)수동일 수 있고, (2)비디오 센서 또는 비디오 레코더로부터의 상을 이용하는 반자동일 수 있고, 또는 (3) 비디오 센서 또는 비디오 레코더로부터 오는 상을 이용하는 자동일 수 있 다. 만약 상이 요구되면, 컴퓨터 시스템(11)에 의해 분석되는 소스 비디오가 비디오 센서로부터 온다. 여기서 획득된 소스 비디오는 교정을 위해 사용된다.
수동식 교정에서 오퍼레이터는 컴퓨터 시스템(11)에 각 비디오 센서들(14)의 각각에 대한 방향과 내부 파라미터, 그 위치에 대한 각 비디오 센서(14)의 배치를 제공한다. 컴퓨터 시스템(11)은 선택적으로 위치의 지도(map)를 보유할 수 있고, 그 지도 위에 비디오 센서(14)의 배치를 표시할 수 있다. 지도는 주변 환경의 이차원(2D) 또는 삼차원(3D) 표현일 수 있다. 또한, 수동식 교정은 오브젝트의 근사 크기 및 상대적 위치를 결정하는데 충분한 정보를 시스템에 제공한다.
대안적으로 수동식 교정에서 오퍼레이터는 사람과 같은 알려진 크기의 오브젝트의 외관을 표현하는 그래픽을 센서로부터 비디오 이미지에 추가할 수 있다. 만약 오퍼레이터가 적어도 2 곳의 상이한 위치에 이미지를 추가할 수 있으면, 시스템은 근사 카메라 교정 정보를 추출할 수 있다.
반자동 및 자동 교정에서는 카메라 파라미터 또는 화면의 기하학적 배열(geometry)에 관한 지식이 필요 없다. 반자동 및 자동 교정으로부터 화면의 각 영역에서의 오브젝트의 대략적인 크기를 구하기 위한 룩업 테이블이 생성되거나, 또는 카메라의 내부 및 외부 카메라 교정 파라미터가 추출된다.
반자동 교정에서 비디오 감시 시스템은 오퍼레이터로부터의 입력과 결합된 비디오 소스를 사용하여 교정된다. 한 명의 사람이 반자동 교정을 위해 비디오 센서의 시야에 위치된다. 컴퓨터 시스템(11)은 한 명의 사람에 대한 소스 비디오를 수신하고, 자동으로 이 데이터에 기초하여 사람의 크기를 추출한다. 비디오 센서의 시야에서 사람이 보이는 위치의 수가 증가할수록, 비디오 센서의 시야에서 사람이 보이는 시간이 증가할수록, 반자동 교정의 정확도가 증가한다.
도 7은 비디오 감시 시스템의 반자동 교정의 흐름도를 보여준다. 전형적 오브젝트가 화면에서 여러 경로로 움직이는 것을 제외하고는 블록(71)은 블록(41)과 동일하다. 전형적인 오브젝트는 다양한 속도를 가질 수 있고, 여러 위치에서 정지할 수 있다. 예를 들어, 전형적 오브젝트는 비디오 센서로 가능한 가까이 움직인 다음에, 비디오 센서로부터 가능한 멀리 움직인다. 이러한 전형적 오브젝트에 의한 움직임은 필요에 따라 반복될 수 있다.
블록(72) 내지 블록(75)은 블록(51) 내지 블록(54)에 대해 각각 동일하다.
블록(76)에서 전형적 오브젝트는 화면을 통해 모니터링 된다. 여기서 추적되는 오브젝트에서 오직(또는 적어도 가장) 안정적인 것만이 화면에서 교정 오브젝트이다(즉, 전형적인 오브젝트가 화면을 통해 움직인다.). 안정적인 오브젝트의 크기는 화면에서 관찰되는 모든 포인트에서 수집되고, 이 정보는 교정 정보를 생성하기 위해 사용된다.
블록(77)에서, 화면 전체에 걸쳐서 상이한 영역들에 대해 전형적 오브젝트의 크기가 식별된다. 전형적 오브젝트의 크기는 화면의 각 영역에서 유사한 오브젝트의 대략적인 크기를 결정하기 위하여 사용된다. 이 정보를 통해 이미지의 다양한 영역들에서 전형적 오브젝트의 대표적인 외견상의 크기를 매칭하는 룩업 테이블이 생성되거나, 또는 내부 및 외부 카메라 교정 파라미터가 추출된다. 샘플 출력으로서, 이미지의 다양한 영역들에서의 스틱-크기의 형상(stick-sized figure)의 디스 플레이는 시스템이 적절한 높이라고 결정한 것을 나타낸다. 이러한 스틱-크기의 형상은 도 11에 도시되어 있다.
각 비디오 센서의 시야에서 위치에 관한 정보를 판단하는 컴퓨터 시스템(11)에서 자동 교정을 위한 학습 단계가 진행된다. 자동 교정 동안, 컴퓨터 시스템(11)은 대표 시간(예를 들어, 분, 시간, 일) 동안의 어느 위치의 소스 비디오를 수신한다. 여기서, 대표 시간은 화면에서 대표적인 오브젝트의 통계적으로 중요한 샘플링이 얻어지는데 충분한 시간을 말하고, 따라서 대표적인 외견상의 크기 및 위치를 추출할 수 있다.
도 8은 비디오 감시 시스템의 자동 교정의 흐름도를 나타낸다. 블록(81) 내지 블록(86)은 도 7에서의 블록(71) 내지 블록(76)과 동일하다.
블록(87)에서 비디오 센서의 시야에서 추적 가능한 지역이 식별된다. 추적 가능한 지역은 오브젝트가 쉽게 및/또는 정확하게 추적되는 비디오 센서의 시야에서의 지역을 말한다. 추적할 수 없는 지역은 오브젝트가 쉽게 및/또는 정확하게 추적되지 않고, 및/또는 추적하기 어려운 비디오 센서의 시야의 지역을 말한다. 추적할 수 없는 지역은 불안정 또는 현저하지 않은 지역이라고 말할 수 있다. 오브젝트가 너무 작거나(예를 들어, 소정의 임계값보다 작거나), 너무 짧은 시간 동안 (예를 들어, 소정의 임계값보다 짧게)나타나거나, 또는 현저하지 않은 움직임을 나타내는 경우(예를 들어, 중요한 것이 아님), 오브젝트는 추적하기 어려울 수 있다. 추적할 수 있는 지역은 예를 들어, {13}에서 설명한 기술을 사용하여 식별될 수 있다.
도 10은 식료품점의 통로에서 결정된 추적 가능한 지역을 보여준다. 통로의 먼 끝은 이 영역에서 너무 많은 혼동자(confuser)가 나타나기 때문에 현저하지 않다고 결정된다. 혼동자는 비디오에서 추적 스킴을 혼란스럽게 하는 것을 말한다. 혼동자의 예는 바람에 날리는 나뭇잎, 비, 부분적으로 차단된 오브젝트, 및 정확하게 추적하기에는 너무 짧은 시간 동안 나타나는 오브젝트를 포함한다. 대조적으로, 통로의 가까운 영역은 이 영역에 대해 추적이 양호하다고 결정되기 때문에 현저하다고 판별된다.
블록(88)에서, 오브젝트의 크기는 화면 전체에 걸쳐서 상이한 영역들에 대해 식별된다. 오브젝트의 크기는 화면에서의 여러 영역에서 유사한 오브젝트의 대략적인 크기를 판단하는데 사용된다. 히스토그램 또는 통계 중앙치를 이용하는 것과 같은 기술이 화면에서의 위치 함수로서 오브젝트의 전형적인 외견상 높이 및 폭을 판단하는데 사용된다. 화면 이미지의 일부에서, 전형적 오브젝트는 전형적인 외견상 높이 및 폭을 가질 수 있다. 이러한 정보를 통해, 이미지 내의 여러 영역에서의 오브젝트의 대표적이고 명백한 크기에 매칭되는 룩업 테이블이 생성되거나, 또는 내부 및 외부 카메라 교정 파라미터가 추출될 수 있다.
도 11은 도 10으로부터의 식료품점의 통로에서 전형적인 오브젝트의 전형적인 크기를 식별하는 것을 도시하고 있다. 전형적인 오브젝트는 사람인 것으로 가정되고, 이에 따라 라벨에 의해 식별된다. 사람의 전형적인 크기는 현저한 영역에서 검출된 사람에 대한 평균 신장 및 평균 폭의 도표를 통해 판단된다. 예를 들어, 도표 A는 평균적인 사람의 평균 신장에 대해 판단되고, 도표 B는 한 사람, 두 사람 및 세 사람에 대한 평균 폭에 대해 판단된다.
도표 A에서, x축은 픽셀에서의 블랍의 높이를 나타내고, y축은 x축에서 식별된 것과 같이 특정 높이의, 발생한 인스턴스(instances)의 수를 나타낸다. 도표 A에서의 선의 피크는 화면의 지정된 영역에서의 블랍의 가장 공통적인 높이에 대응하고, 이러한 예에 있어서 피크는 지정된 영역에 서있는 사람의 평균 신장에 대응한다.
느슨하게 짜여진 그룹에서 사람이 움직인다고 가정하면, 도표 A와 유사한 그래프가 도표 B와 같은 폭으로 생성된다. 도표 B에서, x축은 픽셀에서의 블랍의 폭을 나타내고, y축은 x축 상에서 식별된 것과 같이 특정 폭의, 발생한 인스턴스의 수를 나타낸다. 도표 B에서의 선의 피크는 다수의 블랍의 평균 폭에 대응한다. 대부분의 그룹이 오직 한 사람을 포함한다고 가정하면, 가장 큰 피크가 가장 공통적인 폭에 대응되고, 이것은 지정된 영역에서의 한 사람의 평균 폭에 대응한다. 유사하게, 두 번째로 큰 피크는 지정된 영역에서의 두 사람의 평균 폭에 대응하고, 세 번째로 큰 피크는 지정된 영역에서의 세 사람의 평균 폭에 대응한다.
도 9는 본 발명의 비디오 감시 시스템에 대한 추가적인 흐름도를 도시한다. 이 추가 실시예에서, 시스템은 이벤트 식별자를 통해 기록된 비디오 프리미티브를 분석함으로써 예를 들어, 전체 소스 비디오를 리뷰할 필요 없이 추가적인 리포트를 생성한다. 비디오 소스가 본 발명에 따라 처리된 후 언제든지, 소스 비디오에 대한 비디오 프리미티브는 도 4의 블록(43)에 기록된다. 오직 비디오 프리미티브만이 리뷰되고 비디오 소스는 재처리되지 않으므로, 비디오 콘텐츠는 추가 실시예에 의해 비교적 짧은 시간 내에 재분석될 수 있다. 비디오 이미지 데이터의 처리는 계산상으로 상당한 비싸지만, 비디오로부터 추출된 작은 크기의 비디오 프리미티브를 분석하는 것은 계산상으로 상당히 저렴하므로, 이를 통해 현재의 최신 시스템(current state-of-the-art system)에 상당한 효율성의 향상을 제공한다. 예를 들어, "지난 두 달 동안 A 영역에서 10분 이상 정지한 사람의 수"라는 이벤트 식별자가 생성될 수 있다. 추가 실시예를 통해, 지난 두 달 동안의 소스 비디오는 리뷰될 필요가 없다. 대신 상당히 더 효율적인 처리로 오직 지난 두 달 동안의 비디오 프리미티브를 리뷰하면 된다.
블록(91)은 도 2의 블록(23)과 동일하다.
블록(92)에서, 기록된 비디오 프리미티브가 액세스된다. 비디오 프리미티브는 도 4의 블록(43)에 기록된다.
블록(93) 및 블록(94)은 도 4의 블록(44) 및 블록(45)와 동일하다.
바람직한 응용으로서, 본 발명은 소매 디스플레이(retail display)의 효과를 측정함으로써, 소매 시장 장소를 분석하는데 사용될 수 있다. 디스플레이 된 아이템 및 부가 아이템 모두의 판매 촉진을 위해 가능한 한 눈길을 끌기 위한 노력으로 많은 양의 돈이 소매 디스플레이로 유입된다. 본 발명의 비디오 감시 시스템은 이러한 소매 디스플레이의 효과를 측정하도록 구성될 수 있다.
이러한 바람직한 적용을 위해, 비디오 감시 시스템은 비디오 센서의 시야가 원하는 소매 디스플레이 주변의 공간을 향하도록 셋업된다. 태스크 실행 동안, 오퍼레이터는 요구된 소매 디스플레이 주변의 공간을 대표하는 영역을 선택한다. 식 별자로서, 오퍼레이터는 그 또는 그녀가 모니터링하고자 하는 영역에 들어오고, 속도의 뚜렷한 감소를 나타내거나 상당한 시간 동안 정지하는, 사람 크기의 오브젝트를 정의한다.
어떤 주기의 시간 동안의 동작 후에, 비디오 감시 시스템은 시장 분석을 위한 리포트를 제공할 수 있다. 리포트는 소매 디스플레이 주변에서 속도를 늦춘 사람의 수, 소매 디스플레이에서 정지한 사람의 수, 주말 동안 얼마나 많은 사람이 관심을 가졌는지 또는 저녁 동안 얼마나 많은 사람이 관심을 가졌는지와 같은 시간 함수로 소매 디스플레이에 관심을 가진 사람에 대한 분석, 및 소매 디스플레이에 관심을 보인 사람의 비디오 스냅샷을 포함할 수 있다. 비디오 감시 시스템으로부터 얻어진 시장 조사 정보는 상점으로부터의 판매 정보 및 고객 기록과 결합되어, 소매 디스플레이의 효과 분석 이해를 향상시킬 수 있다.
본 명세서에서 논의된 실시예 및 예들은 한정적이지 않다.
본 발명은 앞에서 설명한 실시예과 관련해서 상세히 기재하고 있고, 이를 통해 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명 및 보다 넓은 범위에서 본 발명으로부터 벗어나지 않는 한 변경 및 수정이 이루어질 수 있다는 것은 명백하다. 따라서 청구항에서 정의되는 것은 본 발명의 사상 내에서 이러한 모든 변경 및 수정을 포괄하고자 하는 것이다.
본 발명의 비디오 감시 시스템은 보안 어플리케이션, 소매 시장 분석 등에 사용될 수 있다.

Claims (26)

  1. 비디오 시퀀스(ivideo sequence) 입력을 분석하고, 적어도 하나의 비디오 프리미티브(video primitive)를 도출하는 비디오 콘텐츠 분석 모듈, 및
    상기 비디오 시퀀스 입력을 수신하고, 압축된 비디오(compressed video)를 출력하는 비디오 인코더를
    포함하는 것을 특징으로 하는 비디오 처리 장치.
  2. 제 1 항에 있어서,
    상기 비디오 콘텐츠 분석 모듈에 연결되고, 비디오 프리미티브와 적어도 하나의 비디오 프레임을 포함하는 적어도 하나의 그룹을 저장하는 스토리지 모듈을
    더 포함하는 것을 특징으로 하는 비디오 처리 장치.
  3. 제 1 항에 있어서,
    상기 비디오 콘텐츠 분석 모듈과 상기 비디오 인코더에 연결되며,
    상기 압축된 비디오 및 적어도 하나의 비디오 프리미티브를 포함하는 적어도 하나의 상기 그룹의 통신을 촉진하도록 하는 통신 모듈을
    더 포함하는 것을 특징으로 하는 비디오 처리 장치.
  4. 제 1 항에 있어서,
    상기 비디오 콘텐츠 분석 모듈에 연결되고, 적어도 하나의 이벤트를 검출하는 이벤트 추출 모듈을 더 포함하는 것을 특징으로 하는 비디오 처리 장치.
  5. 제 4 항에 있어서,
    상기 이벤트 추출 모듈은 적어도 하나의 경고를 또한 생성하는 것을
    특징으로 하는 비디오 처리 장치.
  6. 제 5 항에 있어서,
    상기 비디오 인코더와 상기 이벤트 추출 모듈에 연결되며,
    상기 압축된 비디오와 적어도 하나의 경고를 포함하는 적어도 하나의 상기 그룹의 통신을 촉진하는 통신 모듈을
    더 포함하는 것을 특징으로 하는 비디오 처리 장치.
  7. 제 4 항에 있어서,
    상기 비디오 인코더와 상기 이벤트 추출 모듈(event inference module)에 연 결되고, 상기 압축된 비디오의 통신을 촉진하는 통신 모듈을
    더 포함하는 것을 특징으로 하는 비디오 처리 장치.
  8. 제 4 항에 있어서,
    상기 이벤트 추출 모듈에 연결되고,
    적어도 하나의 이벤트 규칙(event rule)을 수신하고,
    상기 적어도 하나의 이벤트 규칙을 상기 이벤트 추출 모듈로 제공하는
    통신 모듈을
    더 포함하는 것을 특징으로 하는 비디오 처리 장치.
  9. 제 4 항에 의한 장치; 및
    상기 장치로부터 원격에 위치되고, 상기 장치에 연결되어 적어도 하나의 이벤트 규칙을 상기 이벤트 추출 모듈에 제공하는 규칙 관리 도구(rule management tool)를 포함하는 것을 특징으로 하는 비디오 분석 시스템.
  10. 제 9 항에 있어서,
    상기 장치로부터 원격에 위치되고, 압축된 비디오와 경고를 포함하는 적어도 하나의 그룹을 수신하도록 연결되는 경고 유닛을
    더 포함하는 것을 특징으로 하는 비디오 분석 시스템.
  11. 제 9 항에 있어서,
    상기 장치로부터 원격에 위치되고, 압축된 비디오, 비디오 프리미티브, 및 경고를 포함하는 적어도 하나의 상기 그룹을 수신하도록 연결되는 스토리지 모듈을
    더 포함하는 것을 특징으로 하는 비디오 분석 시스템.
  12. 제 1 항에 의한 장치; 및
    상기 장치로부터 원격에 위치되고, 상기 장치에 연결되는 이벤트 추출 유닛(event inference unit)을 포함하고,
    상기 이벤트 추출 유닛은 상기 장치에 의하여 생성된 상기 적어도 하나의 비디오 프리미티브에 기초하여 적어도 하나의 이벤트를 검출하는 것을
    특징으로 하는 비디오 분석 시스템.
  13. 제 12 항에 있어서,
    상기 장치로부터 원격에 위치되고, 상기 이벤트 추출 모듈에 연결되어 적어 도 하나의 이벤트 규칙을 상기 이벤트 추출 모듈로 전달하는 규칙 관리 도구를
    더 포함하는 것을 특징으로 하는 비디오 분석 시스템.
  14. 제 12 항에 있어서,
    상기 장치로부터 원격에 위치되고, 압축된 비디오 및 경고를 포함하는 적어도 하나의 상기 그룹을 수신하도록 연결되는 경고 유닛을
    더 포함하는 것을 특징으로 하는 비디오 분석 시스템.
  15. 제 12 항에 있어서,
    상기 장치로부터 원격에 위치되고, 압축된 비디오, 비디오 프리미티브 및 경고를 포함하는 적어도 하나의 상기 그룹을 수신하도록 연결되는 스토리지 모듈을
    더 포함하는 것을 특징으로 하는 비디오 분석 시스템.
  16. 적어도 두 개의 제 1 항에 의한 장치 - 여기서, 상기 장치의 각각의 상기 적어도 하나의 비디오 프리미티브는 하나의 비디오 프리미티브 스트림(single video primitive stream)에 결합됨 -; 및
    상기 장치로부터 원격에 위치된 적어도 두 개의 이벤트 추출 유닛 - 여기서, 상기 이벤트 추출 유닛의 각각은 상기 하나의 비디오 프리미티브 스트림을 수신하도록 상기 장치에 연결되고, 상기 이벤트 추출 유닛의 각각은 상기 하나의 비디오 프리미티브에 기초하여 적어도 하나의 이벤트를 검출함 - 을
    포함하는 것을 특징으로 하는 비디오 분석 시스템.
  17. 제 16 항에 있어서,
    상기 적어도 두 개의 이벤트 추출 유닛의 각각은 상이한 타입의 이벤트를 검출하도록 조절되는 것을 특징으로 하는 비디오 분석 시스템.
  18. 비디오 시퀀스 내에 하나 또는 그 이상의 액티비티(activity)가 존재하는지 여부를 검출하는 단계;
    인코딩 된 비디오를 획득하기 위하여 비디오 시퀀스를 인코딩하는 단계; 및
    상기 인코딩 된 비디오를 전송하는 단계를 포함하고,
    상기 인코딩 단계 및 상기 전송 단계를 포함하는 적어도 하나의 그룹은 적어도 하나의 상기 검출 단계의 결과에 따르는 것을
    특징으로 하는 비디오 처리 방법.
  19. 제 18 항에 있어서,
    상기 검출 단계는
    비디오 프리미티브 및 검출된 비디오 이벤트를 포함하는 적어도 하나의 상기 그룹을 획득하기 위하여 상기 비디오 시퀀스를 분석하는 단계를
    포함하는 것을 특징으로 하는 비디오 처리 방법.
  20. 제 18 항에 있어서,
    상기 전송 단계는
    상기 검출 단계에서 상기 비디오 시퀀스 내에 적어도 하나의 액티비티가 존재한다고 판단되는 경우에만 수행되는 것을
    특징으로 하는 비디오 처리 방법.
  21. 제 20 항에 있어서,
    상기 인코딩 단계는
    상기 검출하는 단계에서 상기 비디오 시퀀스 내에 적어도 하나의 액티비티가 존재한다고 판단되는 경우에만 수행되는 것을
    특징으로 하는 비디오 처리 방법.
  22. 제 18 항에 있어서,
    상기 인코딩 단계의 파라미터는 상기 검출 단계의 적어도 하나의 결과에 기초하여 조정되는 것을 특징으로 하는 비디오 처리 방법.
  23. 제 18 항에 있어서,
    상기 전송 단계의 파라미터는 상기 검출 단계의 적어도 하나의 결과에 기초하여 조정되는 것을 특징으로 하는 비디오 처리 방법.
  24. 제 18 항에 있어서,
    상기 검출 단계의 적어도 하나의 결과에 기초하여
    상기 인코딩 단계의 비트율(bit-rate), 상기 인코딩 단계의 프레임률(frame-rate); 상기 전송 단계의 비트율, 상기 전송 단계의 프레임률, 상기 인코딩 단계의 해상도(resolution), 및 상기 전송 단계의 해상도로 구성되는 적어도 하나의 상기 그룹이 조정되는 것을
    특징으로 하는 비디오 처리 방법.
  25. 컴퓨터 시스템에 의해 실행되는 경우
    상기 컴퓨터 시스템이 제 18 항에 의한 방법을 실행하도록 하는 명령어(instruction)가 포함된 것을
    특징으로 하는 컴퓨터 판독가능 매체(computer-readable medium).
  26. 제 25 항에 의한 컴퓨터 판독가능 매체; 및
    상기 컴퓨터 판독가능 매체에 연결되고, 상기 컴퓨터 판독가능 매체에 포함된 명령어를 실행하는 컴퓨터를
    포함하는 것을 특징으로 하는 비디오 처리 시스템.
KR1020077025590A 2005-04-05 2006-04-05 비디오 프리미티브를 사용하는 비디오 감시 시스템 KR20080005404A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/098,385 2005-04-05
US11/098,385 US7868912B2 (en) 2000-10-24 2005-04-05 Video surveillance system employing video primitives

Publications (1)

Publication Number Publication Date
KR20080005404A true KR20080005404A (ko) 2008-01-11

Family

ID=37074050

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077025590A KR20080005404A (ko) 2005-04-05 2006-04-05 비디오 프리미티브를 사용하는 비디오 감시 시스템

Country Status (20)

Country Link
US (1) US7868912B2 (ko)
EP (2) EP1872583B1 (ko)
JP (1) JP2008538870A (ko)
KR (1) KR20080005404A (ko)
CN (2) CN101405779A (ko)
CA (1) CA2604875A1 (ko)
CY (1) CY1116257T1 (ko)
DK (1) DK1872583T3 (ko)
ES (1) ES2534250T3 (ko)
HK (2) HK1116969A1 (ko)
HR (1) HRP20150172T1 (ko)
IL (1) IL186455A0 (ko)
ME (1) ME02112B (ko)
MX (1) MX2007012431A (ko)
PL (1) PL1872583T3 (ko)
PT (1) PT1872583E (ko)
RS (1) RS53833B1 (ko)
SI (1) SI1872583T1 (ko)
TW (1) TW200715859A (ko)
WO (1) WO2006107997A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101359332B1 (ko) * 2013-12-05 2014-02-24 (주)엔토스정보통신 불법 주정차 단속을 위한 자동차 번호판 추적 및 인식 방법

Families Citing this family (291)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US20050146605A1 (en) 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
JP2002190043A (ja) * 2000-12-07 2002-07-05 Lg Electronics Inc Ｄｓｒｃ方式を利用した駐車料金の精算装置及びその方法
US6625310B2 (en) * 2001-03-23 2003-09-23 Diamondback Vision, Inc. Video segmentation using statistical pixel modeling
US7424175B2 (en) * 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
EP1303147A1 (en) * 2001-10-12 2003-04-16 CSEM Centre Suisse d'Electronique et de Microtechnique SA Method for calibration of an electronic camera
US10271017B2 (en) * 2012-09-13 2019-04-23 General Electric Company System and method for generating an activity summary of a person
CN1846428A (zh) * 2003-09-02 2006-10-11 弗雷多姆泰尔有限公司 呼叫管理系统
US7975062B2 (en) * 2004-06-07 2011-07-05 Sling Media, Inc. Capturing and sharing media content
JPWO2005125215A1 (ja) * 2004-06-18 2008-04-17 富士通株式会社 画像データ符号化装置、および符号化方法
US20060067562A1 (en) * 2004-09-30 2006-03-30 The Regents Of The University Of California Detection of moving objects in a video
US7627138B2 (en) 2005-01-03 2009-12-01 Orb Networks, Inc. System and method for remotely monitoring and/or viewing images from a camera or video device
US20060170956A1 (en) 2005-01-31 2006-08-03 Jung Edward K Shared image devices
US9124729B2 (en) 2005-01-31 2015-09-01 The Invention Science Fund I, Llc Shared image device synchronization or designation
US9489717B2 (en) 2005-01-31 2016-11-08 Invention Science Fund I, Llc Shared image device
US9082456B2 (en) 2005-01-31 2015-07-14 The Invention Science Fund I Llc Shared image device designation
US9910341B2 (en) 2005-01-31 2018-03-06 The Invention Science Fund I, Llc Shared image device designation
US8902320B2 (en) 2005-01-31 2014-12-02 The Invention Science Fund I, Llc Shared image device synchronization or designation
US7982795B2 (en) * 2005-04-11 2011-07-19 Panayotis B. SPATHARIS Image acquisition and exploitation camera system and methods therefore
US20060233461A1 (en) * 2005-04-19 2006-10-19 Honeywell International Inc. Systems and methods for transforming 2d image domain data into a 3d dense range map
US9819490B2 (en) 2005-05-04 2017-11-14 Invention Science Fund I, Llc Regional proximity for shared image device(s)
US10003762B2 (en) 2005-04-26 2018-06-19 Invention Science Fund I, Llc Shared image devices
US9621749B2 (en) 2005-06-02 2017-04-11 Invention Science Fund I, Llc Capturing selected image objects
US9942511B2 (en) 2005-10-31 2018-04-10 Invention Science Fund I, Llc Preservation/degradation of video/audio aspects of a data stream
US9191611B2 (en) * 2005-06-02 2015-11-17 Invention Science Fund I, Llc Conditional alteration of a saved image
US8253821B2 (en) 2005-10-31 2012-08-28 The Invention Science Fund I, Llc Degradation/preservation management of captured data
US8964054B2 (en) 2006-08-18 2015-02-24 The Invention Science Fund I, Llc Capturing selected image objects
US9167195B2 (en) 2005-10-31 2015-10-20 Invention Science Fund I, Llc Preservation/degradation of video/audio aspects of a data stream
US9967424B2 (en) 2005-06-02 2018-05-08 Invention Science Fund I, Llc Data storage usage protocol
US9076208B2 (en) 2006-02-28 2015-07-07 The Invention Science Fund I, Llc Imagery processing
US20070222865A1 (en) 2006-03-15 2007-09-27 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Enhanced video/still image correlation
US9451200B2 (en) 2005-06-02 2016-09-20 Invention Science Fund I, Llc Storage access technique for captured data
US9001215B2 (en) 2005-06-02 2015-04-07 The Invention Science Fund I, Llc Estimating shared image device operational capabilities or resources
US8233042B2 (en) * 2005-10-31 2012-07-31 The Invention Science Fund I, Llc Preservation and/or degradation of a video/audio data stream
US20070122000A1 (en) * 2005-11-29 2007-05-31 Objectvideo, Inc. Detection of stationary objects in video
EP1900260A4 (en) * 2005-06-02 2014-06-25 Hyo-Goo Kim DETECTION SYSTEM FOR DETECTING THE DIRECTION OF A BODY WHICH MOVES
US7796780B2 (en) * 2005-06-24 2010-09-14 Objectvideo, Inc. Target detection and tracking from overhead video streams
US7801330B2 (en) * 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
JP4717073B2 (ja) * 2005-09-07 2011-07-06 パイオニア株式会社 風景解析装置及び方法
US20070058040A1 (en) * 2005-09-09 2007-03-15 Objectvideo, Inc. Video surveillance using spatial-temporal motion analysis
US20070120980A1 (en) 2005-10-31 2007-05-31 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Preservation/degradation of video/audio aspects of a data stream
US10878646B2 (en) 2005-12-08 2020-12-29 Smartdrive Systems, Inc. Vehicle event recorder systems
FR2894700B1 (fr) * 2005-12-09 2009-10-02 Eurecam Sarl Dispositif et installation de comptage d'objets mobiles
US20080100705A1 (en) * 2005-12-13 2008-05-01 Kister Thomas F Method and apparatus for notifying one or more networked surveillance cameras that another networked camera has begun recording
US20070217761A1 (en) 2006-03-07 2007-09-20 Coban Research And Technologies, Inc. Method for video/audio recording using unrestricted pre-event/post-event buffering with multiple bit and frame rates buffer files
US8996240B2 (en) 2006-03-16 2015-03-31 Smartdrive Systems, Inc. Vehicle event recorders with integrated web server
US9201842B2 (en) 2006-03-16 2015-12-01 Smartdrive Systems, Inc. Vehicle event recorder systems and networks having integrated cellular wireless communications systems
JP4321541B2 (ja) * 2006-04-03 2009-08-26 ソニー株式会社 監視装置と監視方法
US7636033B2 (en) 2006-04-05 2009-12-22 Larry Golden Multi sensor detection, stall to stop and lock disabling system
KR101392294B1 (ko) 2006-04-17 2014-05-27 오브젝트비디오 인코퍼레이티드 통계적인 픽셀 모델링을 이용한 비디오 분할
WO2007139658A2 (en) * 2006-05-24 2007-12-06 Objectvideo, Inc. Intelligent imagery-based sensor
TW200817929A (en) 2006-05-25 2008-04-16 Objectvideo Inc Intelligent video verification of point of sale (POS) transactions
WO2008002128A1 (en) * 2006-06-30 2008-01-03 Ultrawaves Design Holding B.V. Surveillance method and system using object based rule checking
JP4201025B2 (ja) * 2006-06-30 2008-12-24 ソニー株式会社 監視装置、監視システム及びフィルタ設定方法、並びに監視プログラム
JP4453684B2 (ja) * 2006-06-30 2010-04-21 ソニー株式会社 監視システム、監視装置、検索方法及び検索プログラム
JP4363421B2 (ja) 2006-06-30 2009-11-11 ソニー株式会社 監視システム、監視システム用サーバ及び監視方法
WO2008008505A2 (en) * 2006-07-14 2008-01-17 Objectvideo, Inc. Video analytics for retail business process monitoring
JP4148285B2 (ja) * 2006-07-27 2008-09-10 ソニー株式会社 監視装置、フィルタ較正方法及びフィルタ較正プログラム
US20080062009A1 (en) * 2006-08-30 2008-03-13 Marton Keith J Method and system to improve traffic flow
DE102006043231A1 (de) * 2006-09-14 2008-03-27 Siemens Ag Österreich Informationssystem auf Basis von digitalem Fernsehen
DE102006044298B3 (de) * 2006-09-20 2008-01-31 Siemens Ag Verfahren zur Überwachung von Personenansammlungen
US20080074496A1 (en) * 2006-09-22 2008-03-27 Object Video, Inc. Video analytics for banking business process monitoring
US8989959B2 (en) 2006-11-07 2015-03-24 Smartdrive Systems, Inc. Vehicle operator performance history recording, scoring and reporting systems
US8649933B2 (en) 2006-11-07 2014-02-11 Smartdrive Systems Inc. Power management systems for automotive video event recorders
US8868288B2 (en) 2006-11-09 2014-10-21 Smartdrive Systems, Inc. Vehicle exception event management systems
WO2008058296A2 (en) * 2006-11-10 2008-05-15 Verificon Corporation Method and apparatus for analyzing activity in a space
US20080170121A1 (en) * 2007-01-12 2008-07-17 Cwell Vision Corporation Vandal-Proof Rack Structure for Surveillance Monitors
US8218821B2 (en) * 2007-01-23 2012-07-10 Pips Technology, Inc. Video preprocessing of image information for character recognition
EP2115698A1 (en) * 2007-01-31 2009-11-11 Ultrawaves design holding B. V. Surveillance method and system using optimized object based rule checking
ES2522589T3 (es) 2007-02-08 2014-11-17 Behavioral Recognition Systems, Inc. Sistema de reconocimiento conductual
US20080273754A1 (en) * 2007-05-04 2008-11-06 Leviton Manufacturing Co., Inc. Apparatus and method for defining an area of interest for image sensing
US8239092B2 (en) 2007-05-08 2012-08-07 Smartdrive Systems Inc. Distributed vehicle event recorder systems having a portable memory data transfer system
US8218822B2 (en) * 2007-05-14 2012-07-10 Pips Technology, Inc. Apparatus and method for recognizing the state of origin of a vehicle license plate
WO2008147874A2 (en) * 2007-05-22 2008-12-04 Vidsys, Inc. Event capture, cross device event correlation, and responsive actions
US8411935B2 (en) 2007-07-11 2013-04-02 Behavioral Recognition Systems, Inc. Semantic representation module of a machine-learning engine in a video analysis system
DE102007034010A1 (de) 2007-07-20 2009-01-22 Dallmeier Electronic Gmbh & Co. Kg Verfahren und Vorrichtung zur Bearbeitung von Videodaten
US8175333B2 (en) * 2007-09-27 2012-05-08 Behavioral Recognition Systems, Inc. Estimator identifier component for behavioral recognition system
US8300924B2 (en) * 2007-09-27 2012-10-30 Behavioral Recognition Systems, Inc. Tracker component for behavioral recognition system
US8200011B2 (en) 2007-09-27 2012-06-12 Behavioral Recognition Systems, Inc. Context processor for video analysis system
WO2009045218A1 (en) 2007-10-04 2009-04-09 Donovan John J A video surveillance, storage, and alerting system having network management, hierarchical data storage, video tip processing, and vehicle plate analysis
US8013738B2 (en) 2007-10-04 2011-09-06 Kd Secure, Llc Hierarchical storage manager (HSM) for intelligent storage of large volumes of data
US20100153146A1 (en) * 2008-12-11 2010-06-17 International Business Machines Corporation Generating Generalized Risk Cohorts
AU2008200926B2 (en) * 2008-02-28 2011-09-29 Canon Kabushiki Kaisha On-camera summarisation of object relationships
US9325951B2 (en) * 2008-03-03 2016-04-26 Avigilon Patent Holding 2 Corporation Content-aware computer networking devices with video analytics for reducing video storage and video communication bandwidth requirements of a video surveillance network camera system
US8427552B2 (en) * 2008-03-03 2013-04-23 Videoiq, Inc. Extending the operational lifetime of a hard-disk drive used in video data storage applications
JP5264582B2 (ja) * 2008-04-04 2013-08-14 キヤノン株式会社 監視装置、監視方法、プログラム、及び記憶媒体
JP5517417B2 (ja) * 2008-04-18 2014-06-11 キヤノン株式会社 監視装置及びその制御方法、並びに、プログラム
US8169481B2 (en) * 2008-05-05 2012-05-01 Panasonic Corporation System architecture and process for assessing multi-perspective multi-context abnormal behavior
US20100030804A1 (en) * 2008-07-31 2010-02-04 International Business Machines Corporation Synchronization of Locations in Real and Virtual Worlds
US8502869B1 (en) * 2008-09-03 2013-08-06 Target Brands Inc. End cap analytic monitoring method and apparatus
US8126833B2 (en) * 2008-09-11 2012-02-28 Behavioral Recognition Systems, Inc. Detecting anomalous events using a long-term memory in a video analysis system
US9633275B2 (en) * 2008-09-11 2017-04-25 Wesley Kenneth Cobb Pixel-level based micro-feature extraction
US9520040B2 (en) * 2008-11-21 2016-12-13 Raytheon Company System and method for real-time 3-D object tracking and alerting via networked sensors
US8301443B2 (en) 2008-11-21 2012-10-30 International Business Machines Corporation Identifying and generating audio cohorts based on audio data input
US8749570B2 (en) * 2008-12-11 2014-06-10 International Business Machines Corporation Identifying and generating color and texture video cohorts based on video input
US20100153147A1 (en) * 2008-12-12 2010-06-17 International Business Machines Corporation Generating Specific Risk Cohorts
US8417035B2 (en) * 2008-12-12 2013-04-09 International Business Machines Corporation Generating cohorts based on attributes of objects identified using video input
US8190544B2 (en) * 2008-12-12 2012-05-29 International Business Machines Corporation Identifying and generating biometric cohorts based on biometric sensor input
US20100153174A1 (en) * 2008-12-12 2010-06-17 International Business Machines Corporation Generating Retail Cohorts From Retail Data
US20100153597A1 (en) * 2008-12-15 2010-06-17 International Business Machines Corporation Generating Furtive Glance Cohorts from Video Data
US20100153390A1 (en) * 2008-12-16 2010-06-17 International Business Machines Corporation Scoring Deportment and Comportment Cohorts
US8493216B2 (en) 2008-12-16 2013-07-23 International Business Machines Corporation Generating deportment and comportment cohorts
US8219554B2 (en) 2008-12-16 2012-07-10 International Business Machines Corporation Generating receptivity scores for cohorts
US20100153180A1 (en) * 2008-12-16 2010-06-17 International Business Machines Corporation Generating Receptivity Cohorts
US9373055B2 (en) * 2008-12-16 2016-06-21 Behavioral Recognition Systems, Inc. Hierarchical sudden illumination change detection using radiance consistency within a spatial neighborhood
US11145393B2 (en) 2008-12-16 2021-10-12 International Business Machines Corporation Controlling equipment in a patient care facility based on never-event cohorts from patient care data
US20100153133A1 (en) * 2008-12-16 2010-06-17 International Business Machines Corporation Generating Never-Event Cohorts from Patient Care Data
US8970654B1 (en) * 2008-12-22 2015-03-03 Verint Systems Inc. System and method for selecting portions of video data for high quality feed while continuing a low quality feed
US8451909B1 (en) * 2008-12-23 2013-05-28 Verint Americas, Inc. System and method for dynamically changing quality levels among a plurality of video scenes
US9704177B2 (en) 2008-12-23 2017-07-11 International Business Machines Corporation Identifying spam avatars in a virtual universe (VU) based upon turing tests
US9697535B2 (en) 2008-12-23 2017-07-04 International Business Machines Corporation System and method in a virtual universe for identifying spam avatars based upon avatar multimedia characteristics
US8285046B2 (en) * 2009-02-18 2012-10-09 Behavioral Recognition Systems, Inc. Adaptive update of background pixel thresholds using sudden illumination change detection
US20100208063A1 (en) * 2009-02-19 2010-08-19 Panasonic Corporation System and methods for improving accuracy and robustness of abnormal behavior detection
JP4748250B2 (ja) * 2009-02-27 2011-08-17 ソニー株式会社 画像処理装置、画像処理システム、カメラ装置、画像処理方法、およびプログラム
US8537219B2 (en) * 2009-03-19 2013-09-17 International Business Machines Corporation Identifying spatial locations of events within video image data
US8553778B2 (en) 2009-03-19 2013-10-08 International Business Machines Corporation Coding scheme for identifying spatial locations of events within video image data
KR101023275B1 (ko) * 2009-04-06 2011-03-18 삼성전기주식회사 차량용 카메라 시스템의 캘리브레이션 방법 및 장치, 차량용 카메라 시스템의 각도상 오정렬을 판단하는 방법 및 이를 수행하는 전자 제어 유닛
US8416296B2 (en) * 2009-04-14 2013-04-09 Behavioral Recognition Systems, Inc. Mapper component for multiple art networks in a video analysis system
US8351766B2 (en) * 2009-04-30 2013-01-08 Honeywell International Inc. Multi DVR video packaging for incident forensics
US8656476B2 (en) 2009-05-28 2014-02-18 International Business Machines Corporation Providing notification of spam avatars
US11004093B1 (en) * 2009-06-29 2021-05-11 Videomining Corporation Method and system for detecting shopping groups based on trajectory dynamics
US8295591B2 (en) * 2009-08-18 2012-10-23 Behavioral Recognition Systems, Inc. Adaptive voting experts for incremental segmentation of sequences with prediction in a video surveillance system
US9805271B2 (en) 2009-08-18 2017-10-31 Omni Ai, Inc. Scene preset identification using quadtree decomposition analysis
US8280153B2 (en) * 2009-08-18 2012-10-02 Behavioral Recognition Systems Visualizing and updating learned trajectories in video surveillance systems
US8625884B2 (en) * 2009-08-18 2014-01-07 Behavioral Recognition Systems, Inc. Visualizing and updating learned event maps in surveillance systems
US8493409B2 (en) * 2009-08-18 2013-07-23 Behavioral Recognition Systems, Inc. Visualizing and updating sequences and segments in a video surveillance system
US20110043689A1 (en) * 2009-08-18 2011-02-24 Wesley Kenneth Cobb Field-of-view change detection
US8358834B2 (en) 2009-08-18 2013-01-22 Behavioral Recognition Systems Background model for complex and dynamic scenes
US8340352B2 (en) * 2009-08-18 2012-12-25 Behavioral Recognition Systems, Inc. Inter-trajectory anomaly detection using adaptive voting experts in a video surveillance system
US8379085B2 (en) * 2009-08-18 2013-02-19 Behavioral Recognition Systems, Inc. Intra-trajectory anomaly detection using adaptive voting experts in a video surveillance system
US8270733B2 (en) * 2009-08-31 2012-09-18 Behavioral Recognition Systems, Inc. Identifying anomalous object types during classification
US8285060B2 (en) * 2009-08-31 2012-10-09 Behavioral Recognition Systems, Inc. Detecting anomalous trajectories in a video surveillance system
US8270732B2 (en) * 2009-08-31 2012-09-18 Behavioral Recognition Systems, Inc. Clustering nodes in a self-organizing map using an adaptive resonance theory network
US8167430B2 (en) * 2009-08-31 2012-05-01 Behavioral Recognition Systems, Inc. Unsupervised learning of temporal anomalies for a video surveillance system
US8786702B2 (en) 2009-08-31 2014-07-22 Behavioral Recognition Systems, Inc. Visualizing and updating long-term memory percepts in a video surveillance system
US8797405B2 (en) * 2009-08-31 2014-08-05 Behavioral Recognition Systems, Inc. Visualizing and updating classifications in a video surveillance system
US8218818B2 (en) * 2009-09-01 2012-07-10 Behavioral Recognition Systems, Inc. Foreground object tracking
US8218819B2 (en) * 2009-09-01 2012-07-10 Behavioral Recognition Systems, Inc. Foreground object detection in a video surveillance system
US8180105B2 (en) * 2009-09-17 2012-05-15 Behavioral Recognition Systems, Inc. Classifier anomalies for observed behaviors in a video surveillance system
US8170283B2 (en) * 2009-09-17 2012-05-01 Behavioral Recognition Systems Inc. Video surveillance system configured to analyze complex behaviors using alternating layers of clustering and sequencing
US20110153582A1 (en) * 2009-12-22 2011-06-23 Daniel Buchmann Handling of classification data by a search engine
IT1398953B1 (it) * 2010-03-22 2013-03-28 Vislab S R L Sistema per il controllo di porte automatiche
US8457354B1 (en) * 2010-07-09 2013-06-04 Target Brands, Inc. Movement timestamping and analytics
IT1401301B1 (it) * 2010-07-19 2013-07-18 Vislab S R L Sistema per il controllo di cancelli automatici
US20120057629A1 (en) 2010-09-02 2012-03-08 Fang Shi Rho-domain Metrics
WO2012027893A1 (en) * 2010-09-02 2012-03-08 Intersil Americas Inc. Systems and methods for video content analysis
US10318877B2 (en) 2010-10-19 2019-06-11 International Business Machines Corporation Cohort-based prediction of a future event
AU2010241260B2 (en) * 2010-10-29 2013-12-19 Canon Kabushiki Kaisha Foreground background separation in a scene with unstable textures
US10560621B2 (en) * 2010-11-19 2020-02-11 Symbol Technologies, Llc Methods and apparatus for controlling a networked camera
US9226037B2 (en) * 2010-12-30 2015-12-29 Pelco, Inc. Inference engine for video analytics metadata-based event detection and forensic search
US10313635B2 (en) * 2011-05-12 2019-06-04 Solink Corporation Video analytics system for automated teller machine
KR101543712B1 (ko) * 2011-08-25 2015-08-12 한국전자통신연구원 증강현실을 이용한 보안 감시 장치 및 방법
US9014493B2 (en) 2011-09-06 2015-04-21 Intel Corporation Analytics assisted encoding
US9269243B2 (en) * 2011-10-07 2016-02-23 Siemens Aktiengesellschaft Method and user interface for forensic video search
US11470814B2 (en) 2011-12-05 2022-10-18 Radio Systems Corporation Piezoelectric detection coupling of a bark collar
US11553692B2 (en) 2011-12-05 2023-01-17 Radio Systems Corporation Piezoelectric detection coupling of a bark collar
US10674709B2 (en) 2011-12-05 2020-06-09 Radio Systems Corporation Piezoelectric detection coupling of a bark collar
TWI450207B (zh) 2011-12-26 2014-08-21 Ind Tech Res Inst 物件追蹤的方法、系統、電腦程式產品與記錄媒體
US9530060B2 (en) 2012-01-17 2016-12-27 Avigilon Fortress Corporation System and method for building automation using video content analysis with depth sensing
EP2826020A4 (en) 2012-03-15 2016-06-15 Behavioral Recognition Sys Inc STANDARDIZING AN ALERT VOLUME IN A VIDEO SURVEILLANCE SYSTEM
US9911043B2 (en) 2012-06-29 2018-03-06 Omni Ai, Inc. Anomalous object interaction detection and reporting
US9111353B2 (en) 2012-06-29 2015-08-18 Behavioral Recognition Systems, Inc. Adaptive illuminance filter in a video analysis system
US9317908B2 (en) 2012-06-29 2016-04-19 Behavioral Recognition System, Inc. Automatic gain control filter in a video analysis system
US9113143B2 (en) 2012-06-29 2015-08-18 Behavioral Recognition Systems, Inc. Detecting and responding to an out-of-focus camera in a video analytics system
US9723271B2 (en) 2012-06-29 2017-08-01 Omni Ai, Inc. Anomalous stationary object detection and reporting
EP2867860A4 (en) 2012-06-29 2016-07-27 Behavioral Recognition Sys Inc UNWINDED LEARNING OF FUNCTIONAL ANALYSIS FOR A VIDEO SURVEILLANCE SYSTEM
US9728228B2 (en) 2012-08-10 2017-08-08 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
US10289917B1 (en) 2013-11-12 2019-05-14 Kuna Systems Corporation Sensor to characterize the behavior of a visitor or a notable event
WO2014031615A1 (en) 2012-08-20 2014-02-27 Behavioral Recognition Systems, Inc. Method and system for detecting sea-surface oil
US9311645B2 (en) * 2012-08-31 2016-04-12 Ncr Corporation Techniques for checkout security using video surveillance
US9639760B2 (en) 2012-09-07 2017-05-02 Siemens Schweiz Ag Methods and apparatus for establishing exit/entry criteria for a secure location
US9582671B2 (en) 2014-03-06 2017-02-28 Sensity Systems Inc. Security and data privacy for lighting sensory networks
US9165190B2 (en) 2012-09-12 2015-10-20 Avigilon Fortress Corporation 3D human pose and shape modeling
US9374870B2 (en) 2012-09-12 2016-06-21 Sensity Systems Inc. Networked lighting infrastructure for sensing applications
US9213781B1 (en) 2012-09-19 2015-12-15 Placemeter LLC System and method for processing image data
US9232140B2 (en) 2012-11-12 2016-01-05 Behavioral Recognition Systems, Inc. Image stabilization techniques for video surveillance systems
CN102968802A (zh) * 2012-11-28 2013-03-13 无锡港湾网络科技有限公司 一种基于视频监控的运动目标分析跟踪方法及系统
US10657755B2 (en) * 2013-03-15 2020-05-19 James Carey Investigation generation in an observation and surveillance system
CA3091605A1 (en) 2013-03-15 2014-09-15 James Carey Investigation generation in an observation and surveillance system
US9933297B2 (en) 2013-03-26 2018-04-03 Sensity Systems Inc. System and method for planning and monitoring a light sensory network
EP2976856B1 (en) 2013-03-26 2019-08-14 Sensity Systems Inc. Sensor nodes with multicast transmissions in lighting sensory network
US9565462B1 (en) * 2013-04-26 2017-02-07 SportXast, LLC System, apparatus and method for creating, storing and transmitting sensory data triggered by an event
US9792951B2 (en) * 2013-05-08 2017-10-17 Vieu Labs, Inc. Systems and methods for identifying potentially interesting events in extended recordings
US9412245B2 (en) * 2013-08-08 2016-08-09 Honeywell International Inc. System and method for visualization of history of events using BIM model
WO2015021485A1 (en) 2013-08-09 2015-02-12 Behavioral Recognition Systems, Inc. A cognitive neuro-linguistic behavior recognition system for multi-sensor data fusion
US20150077548A1 (en) * 2013-09-13 2015-03-19 At&T Mobility Ii Llc Mobile device intermediary for content analysis
US9501878B2 (en) 2013-10-16 2016-11-22 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
US9610955B2 (en) 2013-11-11 2017-04-04 Smartdrive Systems, Inc. Vehicle fuel consumption monitor and feedback systems
JP6512410B2 (ja) 2013-11-20 2019-05-15 日本電気株式会社 ヘルメット着用判定方法、ヘルメット着用判定システム、ヘルメット着用判定装置及びプログラム
US20150154463A1 (en) * 2013-12-04 2015-06-04 Irida Labs S.A. System and a method for the detection of multiple number-plates of moving cars in a series of 2-d images
KR101804383B1 (ko) 2014-01-14 2017-12-04 한화테크윈 주식회사 요약 영상 브라우징 시스템 및 방법
US8892310B1 (en) 2014-02-21 2014-11-18 Smartdrive Systems, Inc. System and method to detect execution of driving maneuvers
US9746370B2 (en) 2014-02-26 2017-08-29 Sensity Systems Inc. Method and apparatus for measuring illumination characteristics of a luminaire
AU2015226201B2 (en) 2014-03-03 2019-07-04 Vsk Electronics Nv Intrusion detection with directional sensing
US10417570B2 (en) 2014-03-06 2019-09-17 Verizon Patent And Licensing Inc. Systems and methods for probabilistic semantic sensing in a sensory network
US10362112B2 (en) 2014-03-06 2019-07-23 Verizon Patent And Licensing Inc. Application environment for lighting sensory networks
US20150288928A1 (en) * 2014-04-08 2015-10-08 Sony Corporation Security camera system use of object location tracking data
US10552713B2 (en) * 2014-04-28 2020-02-04 Nec Corporation Image analysis system, image analysis method, and storage medium
EP3149909A4 (en) 2014-05-30 2018-03-07 Placemeter Inc. System and method for activity monitoring using video data
US9420331B2 (en) * 2014-07-07 2016-08-16 Google Inc. Method and system for categorizing detected motion events
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US9477877B2 (en) * 2014-07-31 2016-10-25 Landis+Gyr Innovations, Inc. Asset security management system
US9225527B1 (en) 2014-08-29 2015-12-29 Coban Technologies, Inc. Hidden plug-in storage drive for data integrity
US9307317B2 (en) 2014-08-29 2016-04-05 Coban Technologies, Inc. Wireless programmable microphone apparatus and system for integrated surveillance system devices
JP2016062131A (ja) * 2014-09-16 2016-04-25 日本電気株式会社 映像監視装置
US10733565B1 (en) 2014-09-30 2020-08-04 Amazon Technologies, Inc. Interactive data processing system
US9406294B2 (en) * 2014-10-01 2016-08-02 Shout to Me, LLC Information-sharing system
KR102282465B1 (ko) * 2014-10-27 2021-07-27 한화테크윈 주식회사 로이터링 시각화 장치 및 방법
CN104360599B (zh) * 2014-11-10 2018-10-26 生迪光电科技股份有限公司 基于led照明装置的智能家庭控制方法、设备及系统
US10084609B2 (en) * 2014-11-10 2018-09-25 Sengled Optoelectronics Co., Ltd. Method, apparatus, and system for controlling smart home environment using LED lighting device
US11069257B2 (en) 2014-11-13 2021-07-20 Smartdrive Systems, Inc. System and method for detecting a vehicle event and generating review criteria
US10687022B2 (en) 2014-12-05 2020-06-16 Avigilon Fortress Corporation Systems and methods for automated visual surveillance
US10409910B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Perceptual associative memory for a neuro-linguistic behavior recognition system
US10409909B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Lexical analyzer for a neuro-linguistic behavior recognition system
US9990587B2 (en) * 2015-01-22 2018-06-05 Preferred Networks, Inc. Machine learning heterogeneous edge device, method, and system
US10387794B2 (en) 2015-01-22 2019-08-20 Preferred Networks, Inc. Machine learning with model filtering and model mixing for edge devices in a heterogeneous environment
WO2016136748A1 (ja) * 2015-02-24 2016-09-01 博司 青山 管理システム、サーバ、管理装置、および、管理方法
US11080977B2 (en) 2015-02-24 2021-08-03 Hiroshi Aoyama Management system, server, management device, and management method
US9760792B2 (en) 2015-03-20 2017-09-12 Netra, Inc. Object detection and classification
US9922271B2 (en) 2015-03-20 2018-03-20 Netra, Inc. Object detection and classification
US9578261B1 (en) 2015-03-24 2017-02-21 Phillip Flagg Rockwell Portable security surveillance device
US9679420B2 (en) * 2015-04-01 2017-06-13 Smartdrive Systems, Inc. Vehicle event recording system and method
JP5915960B1 (ja) * 2015-04-17 2016-05-11 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
US10043078B2 (en) 2015-04-21 2018-08-07 Placemeter LLC Virtual turnstile system and method
US11334751B2 (en) 2015-04-21 2022-05-17 Placemeter Inc. Systems and methods for processing video data for activity monitoring
US10997428B2 (en) 2015-06-01 2021-05-04 Placemeter Inc. Automated detection of building entrances
US9361011B1 (en) * 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
US10231440B2 (en) 2015-06-16 2019-03-19 Radio Systems Corporation RF beacon proximity determination enhancement
US10645908B2 (en) 2015-06-16 2020-05-12 Radio Systems Corporation Systems and methods for providing a sound masking environment
CN107949866A (zh) * 2015-09-15 2018-04-20 三菱电机株式会社 图像处理装置、图像处理系统和图像处理方法
TWI557691B (zh) * 2015-09-23 2016-11-11 睿緻科技股份有限公司 監視攝影裝置及其使用的區域式移動偵測方法
US20180314886A1 (en) * 2015-10-15 2018-11-01 Pixel Velocity, Inc. System and method for automated analytic characterization of scene image data
JP6558579B2 (ja) 2015-12-24 2019-08-14 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
JP2017116840A (ja) * 2015-12-25 2017-06-29 オリンパス株式会社 撮像装置
US20180376051A9 (en) * 2015-12-31 2018-12-27 Ground Zero at Center Stage LLC Surface integrated camera mesh for semi-automated video capture
US10165171B2 (en) 2016-01-22 2018-12-25 Coban Technologies, Inc. Systems, apparatuses, and methods for controlling audiovisual apparatuses
WO2017129804A1 (en) * 2016-01-29 2017-08-03 Kiwisecurity Software Gmbh Methods and apparatus for using video analytics to detect regions for privacy protection within images from moving cameras
US10290194B2 (en) 2016-02-29 2019-05-14 Analog Devices Global Occupancy sensor
CN105704570B (zh) * 2016-03-08 2019-05-07 上海小蚁科技有限公司 用于产生视频的一个或多个预览帧的方法和装置
US10789840B2 (en) 2016-05-09 2020-09-29 Coban Technologies, Inc. Systems, apparatuses and methods for detecting driving behavior and triggering actions based on detected driving behavior
US10370102B2 (en) 2016-05-09 2019-08-06 Coban Technologies, Inc. Systems, apparatuses and methods for unmanned aerial vehicle
US10152858B2 (en) 2016-05-09 2018-12-11 Coban Technologies, Inc. Systems, apparatuses and methods for triggering actions based on data capture and characterization
US10497130B2 (en) 2016-05-10 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Moving information analyzing system and moving information analyzing method
DE102016108969A1 (de) 2016-05-13 2017-11-16 Dallmeier Electronic Gmbh & Co. Kg System und Verfahren zur Erfassung und Analyse von Videodaten betreffend den Spielverlauf auf einem Glückspieltisch in Kasinos
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
CN109219956B (zh) * 2016-06-08 2020-09-18 三菱电机株式会社 监视装置
US10957171B2 (en) 2016-07-11 2021-03-23 Google Llc Methods and systems for providing event alerts
US10268220B2 (en) 2016-07-14 2019-04-23 Radio Systems Corporation Apparatus, systems and methods for generating voltage excitation waveforms
KR102249498B1 (ko) * 2016-08-17 2021-05-11 한화테크윈 주식회사 이벤트 검색 장치 및 시스템
US10158902B2 (en) * 2016-09-26 2018-12-18 Amazon Technologies, Inc. Streaming and storing video for audio/video recording and communication devices
EP3301656A3 (en) * 2016-09-29 2018-08-01 Essence Security International Ltd. System and method for an alarm system
US10891839B2 (en) * 2016-10-26 2021-01-12 Amazon Technologies, Inc. Customizable intrusion zones associated with security systems
WO2018081328A1 (en) 2016-10-26 2018-05-03 Ring Inc. Customizable intrusion zones for audio/video recording and communication devices
US10223911B2 (en) 2016-10-31 2019-03-05 Echelon Corporation Video data and GIS mapping for traffic monitoring, event detection and change prediction
WO2018080536A1 (en) * 2016-10-31 2018-05-03 Empire Technology Development Llc Venue monitoring through sentiment analysis
GB2556923B (en) * 2016-11-25 2020-04-15 Canon Kk Generation of VCA Reference results for VCA Auto-setting
TWI672628B (zh) 2016-12-08 2019-09-21 日商摩如富股份有限公司 影像處理裝置、方法以及電腦可讀取的記錄媒體
US10438071B2 (en) 2017-01-25 2019-10-08 Echelon Corporation Distributed system for mining, correlating, and analyzing locally obtained traffic data including video
AU2018224313B2 (en) 2017-02-27 2023-10-12 Radio Systems Corporation Threshold barrier system
US10489654B1 (en) * 2017-08-04 2019-11-26 Amazon Technologies, Inc. Video analysis method and system
TWI672666B (zh) * 2017-08-09 2019-09-21 宏碁股份有限公司 圖像資料處理的方法及其裝置
TWI658728B (zh) * 2017-10-13 2019-05-01 中華電信股份有限公司 智慧型影像辨識防竊告警之系統及方法
US11394196B2 (en) 2017-11-10 2022-07-19 Radio Systems Corporation Interactive application to protect pet containment systems from external surge damage
US10986813B2 (en) 2017-12-12 2021-04-27 Radio Systems Corporation Method and apparatus for applying, monitoring, and adjusting a stimulus to a pet
US10842128B2 (en) 2017-12-12 2020-11-24 Radio Systems Corporation Method and apparatus for applying, monitoring, and adjusting a stimulus to a pet
US10514439B2 (en) 2017-12-15 2019-12-24 Radio Systems Corporation Location based wireless pet containment system using single base unit
US11372077B2 (en) 2017-12-15 2022-06-28 Radio Systems Corporation Location based wireless pet containment system using single base unit
TWI679886B (zh) * 2017-12-18 2019-12-11 大猩猩科技股份有限公司 一種影像分析系統與方法
US11206375B2 (en) 2018-03-28 2021-12-21 Gal Zuckerman Analyzing past events by utilizing imagery data captured by a plurality of on-road vehicles
US10510239B1 (en) 2018-06-14 2019-12-17 Honeywell International Inc. Systems and methods for managing alert notifications from a secured area
GB2575282A (en) * 2018-07-04 2020-01-08 Arm Ip Ltd Event entity monitoring network and method
EP3598764B1 (en) * 2018-07-17 2021-01-20 IDEMIA Identity & Security Germany AG Supplementing video material
US11138418B2 (en) 2018-08-06 2021-10-05 Gal Zuckerman Systems and methods for tracking persons by utilizing imagery data captured by on-road vehicles
US10878255B2 (en) 2018-10-05 2020-12-29 International Business Machines Corporation Providing automatic responsive actions to biometrically detected events
US11312594B2 (en) 2018-11-09 2022-04-26 Otis Elevator Company Conveyance system video analytics
US11179064B2 (en) * 2018-12-30 2021-11-23 Altum View Systems Inc. Method and system for privacy-preserving fall detection
US10635906B1 (en) * 2019-02-21 2020-04-28 Motorola Solutions, Inc. Video annotation
DE102019204359A1 (de) 2019-03-28 2020-10-01 Airbus Operations Gmbh Situationserkennungseinrichtung, flugzeugpassagierabteil und verfahren zur überwachung von flugzeugpassagierabteilen
KR102656963B1 (ko) * 2019-04-03 2024-04-16 삼성전자 주식회사 전자 장치 및 전자 장치의 제어 방법
CN110264522B (zh) * 2019-06-24 2021-07-13 北京百度网讯科技有限公司 物品操作者的检测方法、装置、设备和存储介质
US11238889B2 (en) 2019-07-25 2022-02-01 Radio Systems Corporation Systems and methods for remote multi-directional bark deterrence
US11037571B2 (en) 2019-10-04 2021-06-15 Motorola Solutions, Inc. Speech-based two-way radio assistant
US11388487B2 (en) * 2019-10-14 2022-07-12 Palantir Technologies Inc. Systems and methods for generating, analyzing, and storing data snippets
US11490597B2 (en) 2020-07-04 2022-11-08 Radio Systems Corporation Systems, methods, and apparatus for establishing keep out zones within wireless containment regions
CN112002048B (zh) * 2020-10-30 2021-02-05 江苏未睐科技有限公司 一种来客智能登记系统及方法
FR3122268B1 (fr) * 2021-04-26 2023-12-22 Oberthur Fiduciaire Sas Dispositif et procédé de surveillance d’une installation de manipulation et de conditionnement d’objets de valeur
US11810350B2 (en) * 2021-05-21 2023-11-07 Western Digital Technologies, Inc. Processing of surveillance video streams using image classification and object detection
CN115083211B (zh) * 2022-06-30 2024-03-29 同济大学 一种基于多目立体视觉的分布式船舶高度检测系统
US11900778B1 (en) * 2023-03-29 2024-02-13 Micro Apps Group Inventions, LLC System for improving safety in schools

Family Cites Families (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3812287A (en) 1969-05-12 1974-05-21 J Lemelson Video detection system
CA1116286A (en) 1979-02-20 1982-01-12 Control Data Canada, Ltd. Perimeter surveillance system
US4257063A (en) 1979-03-23 1981-03-17 Ham Industries, Inc. Video monitoring system and method
FR2550388B1 (fr) * 1983-08-03 1985-12-27 Gipelec Matiere active positive pour generateurs electrochimiques et generateurs electrochimiques en faisant application
GB2183878B (en) 1985-10-11 1989-09-20 Matsushita Electric Works Ltd Abnormality supervising system
JP2508439B2 (ja) 1987-05-29 1996-06-19 ソニー株式会社 高能率符号化装置
JPH0695008B2 (ja) 1987-12-11 1994-11-24 株式会社東芝 監視装置
US5610653A (en) 1992-02-07 1997-03-11 Abecassis; Max Method and system for automatically tracking a zoomed video image
WO1994003014A1 (en) 1992-07-24 1994-02-03 Koz Mark C Low power video security monitoring system
US5331417A (en) 1992-09-15 1994-07-19 Digital Pictures, Inc. System and method of displaying a plurality of digital video images
US5987211A (en) 1993-01-11 1999-11-16 Abecassis; Max Seamless transmission of non-sequential video segments
US5696503A (en) 1993-07-23 1997-12-09 Condition Monitoring Systems, Inc. Wide area traffic surveillance using a multisensor tracking system
US5801943A (en) 1993-07-23 1998-09-01 Condition Monitoring Systems Traffic surveillance and simulation apparatus
US7301536B2 (en) 1993-09-10 2007-11-27 Geovector Corporation Electro-optic vision systems
US7859551B2 (en) 1993-10-15 2010-12-28 Bulman Richard L Object customization and presentation system
US6351265B1 (en) 1993-10-15 2002-02-26 Personalized Online Photo Llc Method and apparatus for producing an electronic image
US5515453A (en) 1994-01-21 1996-05-07 Beacon System, Inc. Apparatus and method for image processing in symbolic space
US5491511A (en) 1994-02-04 1996-02-13 Odle; James A. Multimedia capture and audit system for a video surveillance network
IL113434A0 (en) 1994-04-25 1995-07-31 Katz Barry Surveillance system and method for asynchronously recording digital data with respect to video data
US5802361A (en) 1994-09-30 1998-09-01 Apple Computer, Inc. Method and system for searching graphic images and videos
US6014461A (en) 1994-11-30 2000-01-11 Texas Instruments Incorporated Apparatus and method for automatic knowlege-based object identification
US5666157A (en) * 1995-01-03 1997-09-09 Arc Incorporated Abnormality detection and surveillance system
US5623249A (en) 1995-01-26 1997-04-22 New Product Development, Inc. Video monitor motion sensor
US5872865A (en) 1995-02-08 1999-02-16 Apple Computer, Inc. Method and system for automatic classification of video images
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US5860086A (en) 1995-06-07 1999-01-12 International Business Machines Corporation Video processor with serialization FIFO
US5912980A (en) * 1995-07-13 1999-06-15 Hunke; H. Martin Target acquisition and tracking
US5926210A (en) 1995-07-28 1999-07-20 Kalatel, Inc. Mobile, ground-based platform security system which transmits images that were taken prior to the generation of an input signal
US5999189A (en) 1995-08-04 1999-12-07 Microsoft Corporation Image compression to reduce pixel and texture memory requirements in a real-time image generator
US5886701A (en) 1995-08-04 1999-03-23 Microsoft Corporation Graphics rendering device and method for operating same
US5864342A (en) 1995-08-04 1999-01-26 Microsoft Corporation Method and system for rendering graphical objects to image chunks
US5969755A (en) 1996-02-05 1999-10-19 Texas Instruments Incorporated Motion based event detection system and method
US5959690A (en) 1996-02-20 1999-09-28 Sas Institute, Inc. Method and apparatus for transitions and other special effects in digital motion video
JPH09247654A (ja) * 1996-03-07 1997-09-19 Fujitsu General Ltd 監視カメラシステム
US5956081A (en) 1996-10-23 1999-09-21 Katz; Barry Surveillance system having graphic video integration controller and full motion video switcher
KR100501902B1 (ko) 1996-09-25 2005-10-10 주식회사 팬택앤큐리텔 영상정보부호화/복호화장치및방법
KR100211055B1 (ko) * 1996-10-28 1999-07-15 정선종 내용기반으로 분할된 영상객체들의 스케러블 전송방법
US6031573A (en) 1996-10-31 2000-02-29 Sensormatic Electronics Corporation Intelligent video information management system performing multiple functions in parallel
US6088484A (en) 1996-11-08 2000-07-11 Hughes Electronics Corporation Downloading of personalization layers for symbolically compressed objects
US5963203A (en) 1997-07-03 1999-10-05 Obvious Technology, Inc. Interactive video icon with designated viewing position
US5983147A (en) 1997-02-06 1999-11-09 Sandia Corporation Video occupant detection and classification
GB9702849D0 (en) 1997-02-12 1997-04-02 Trafficmaster Plc Traffic monitoring
US6256115B1 (en) 1997-02-21 2001-07-03 Worldquest Network, Inc. Facsimile network
US6115420A (en) 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
US5963202A (en) 1997-04-14 1999-10-05 Instant Video Technologies, Inc. System and method for distributing and managing digital video information in a video distribution network
US6727938B1 (en) 1997-04-14 2004-04-27 Robert Bosch Gmbh Security system with maskable motion detection and camera with an adjustable field of view
JPH10290449A (ja) 1997-04-14 1998-10-27 Shimizu Corp 映像監視システム
EP0878965A3 (en) 1997-05-14 2000-01-12 Hitachi Denshi Kabushiki Kaisha Method for tracking entering object and apparatus for tracking and monitoring entering object
US6573907B1 (en) 1997-07-03 2003-06-03 Obvious Technology Network distribution and management of interactive video and multi-media containers
KR100251051B1 (ko) 1997-07-14 2000-04-15 윤종용 임의 형상 부호화 방법
EP0893923A1 (en) 1997-07-23 1999-01-27 Texas Instruments France Video communication system
JP3223246B2 (ja) 1997-07-25 2001-10-29 東レ・ダウコーニング・シリコーン株式会社 半導体装置
US6091771A (en) 1997-08-01 2000-07-18 Wells Fargo Alarm Services, Inc. Workstation for video security system
US6097429A (en) * 1997-08-01 2000-08-01 Esco Electronics Corporation Site control unit for video security system
US6360234B2 (en) * 1997-08-14 2002-03-19 Virage, Inc. Video cataloger system with synchronized encoders
GB2329542B (en) 1997-09-17 2002-03-27 Sony Uk Ltd Security control system and method of operation
GB9808712D0 (en) 1997-11-05 1998-06-24 British Aerospace Automatic target recognition apparatus and process
US6166744A (en) 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
US6724915B1 (en) 1998-03-13 2004-04-20 Siemens Corporate Research, Inc. Method for tracking a video object in a time-ordered sequence of image frames
KR100281463B1 (ko) 1998-03-14 2001-02-01 전주범 물체 기반 부호화 시스템의 보조 정보 부호화 장치
KR100281464B1 (ko) 1998-03-14 2001-02-01 전주범 물체 기반 부호화 시스템의 보조 정보 부호화 장치
US7023469B1 (en) 1998-04-30 2006-04-04 Texas Instruments Incorporated Automatic video monitoring system which selectively saves information
EP0967584B1 (en) 1998-04-30 2004-10-20 Texas Instruments Incorporated Automatic video monitoring system
US6816184B1 (en) 1998-04-30 2004-11-09 Texas Instruments Incorporated Method and apparatus for mapping a location from a video image to a map
AU4223399A (en) 1998-06-01 1999-12-20 Robert Jeff Scaman Secure, vehicle mounted, incident recording system
US6144375A (en) 1998-08-14 2000-11-07 Praja Inc. Multi-perspective viewer for content-based interactivity
US6628835B1 (en) 1998-08-31 2003-09-30 Texas Instruments Incorporated Method and system for defining and recognizing complex events in a video sequence
US6570608B1 (en) 1998-09-30 2003-05-27 Texas Instruments Incorporated System and method for detecting interactions of people and vehicles
US6721454B1 (en) * 1998-10-09 2004-04-13 Sharp Laboratories Of America, Inc. Method for automatic extraction of semantically significant events from video
GB9822956D0 (en) 1998-10-20 1998-12-16 Vsd Limited Smoke detection
JP2000175174A (ja) 1998-12-07 2000-06-23 Mitsubishi Electric Corp 監視用画像処理装置
US6226388B1 (en) 1999-01-05 2001-05-01 Sharp Labs Of America, Inc. Method and apparatus for object tracking for automatic controls in video devices
JP3826598B2 (ja) 1999-01-29 2006-09-27 株式会社日立製作所 画像監視装置及び記録媒体
US6924801B1 (en) 1999-02-09 2005-08-02 Microsoft Corporation Method and apparatus for early culling of occluded objects
US6201473B1 (en) 1999-04-23 2001-03-13 Sensormatic Electronics Corporation Surveillance system for observing shopping carts
JP2000339923A (ja) 1999-05-27 2000-12-08 Mitsubishi Electric Corp 映像収集装置および映像収集方法
US6754664B1 (en) 1999-07-02 2004-06-22 Microsoft Corporation Schema-based computer system health monitoring
US6411724B1 (en) 1999-07-02 2002-06-25 Koninklijke Philips Electronics N.V. Using meta-descriptors to represent multimedia information
US7356830B1 (en) * 1999-07-09 2008-04-08 Koninklijke Philips Electronics N.V. Method and apparatus for linking a video segment to another segment or information source
US6123123A (en) 1999-08-03 2000-09-26 M. Carder Industries, Incorporated Non-stretch breakaway hose particularly for fuel dispenser
US6424370B1 (en) 1999-10-08 2002-07-23 Texas Instruments Incorporated Motion based event detection system and method
US6297844B1 (en) 1999-11-24 2001-10-02 Cognex Corporation Video safety curtain
JP2001175868A (ja) 1999-12-22 2001-06-29 Nec Corp 人物検出方法及び装置
US6774905B2 (en) 1999-12-23 2004-08-10 Wespot Ab Image data processing
US7479980B2 (en) 1999-12-23 2009-01-20 Wespot Technologies Ab Monitoring system
SE519700C2 (sv) * 1999-12-23 2003-04-01 Wespot Ab Bilddatabehandling
US6738424B1 (en) 1999-12-27 2004-05-18 Objectvideo, Inc. Scene model generation from video for use in video processing
US6542840B2 (en) 2000-01-27 2003-04-01 Matsushita Electric Industrial Co., Ltd. Calibration system, target apparatus and calibration method
JP3387911B2 (ja) 2000-01-27 2003-03-17 松下電器産業株式会社 キャリブレーションシステムおよびキャリブレーション方法
US6940998B2 (en) 2000-02-04 2005-09-06 Cernium, Inc. System for automated screening of security cameras
US6812835B2 (en) 2000-02-28 2004-11-02 Hitachi Kokusai Electric Inc. Intruding object monitoring method and intruding object monitoring system
US7522186B2 (en) 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
AU2001240100A1 (en) 2000-03-10 2001-09-24 Sensormatic Electronics Corporation Method and apparatus for video surveillance with defined zones
US6829371B1 (en) 2000-04-29 2004-12-07 Cognex Corporation Auto-setup of a video safety curtain system
US6646676B1 (en) 2000-05-17 2003-11-11 Mitsubishi Electric Research Laboratories, Inc. Networked surveillance and control system
US6504479B1 (en) 2000-09-07 2003-01-07 Comtrak Technologies Llc Integrated security system
US7215795B2 (en) 2000-09-28 2007-05-08 Hitachi Kokusai Electric Inc. Intruding object detecting method and intruding object monitoring apparatus employing the method
US6542075B2 (en) 2000-09-28 2003-04-01 Vigilos, Inc. System and method for providing configurable security monitoring utilizing an integrated information portal
US6801662B1 (en) 2000-10-10 2004-10-05 Hrl Laboratories, Llc Sensor fusion architecture for vision-based occupant detection
US6954498B1 (en) 2000-10-24 2005-10-11 Objectvideo, Inc. Interactive video manipulation
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US20050162515A1 (en) 2000-10-24 2005-07-28 Objectvideo, Inc. Video surveillance system
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US20050146605A1 (en) 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
US20020082769A1 (en) 2000-11-21 2002-06-27 Gary Church Airport auditing and information system
US20020191851A1 (en) 2001-05-01 2002-12-19 Giora Keinan Efficient encoding of video frames using pre-encoded primitives
US6525658B2 (en) 2001-06-11 2003-02-25 Ensco, Inc. Method and device for event detection utilizing data from a multiplicity of sensor sources
US20030053659A1 (en) 2001-06-29 2003-03-20 Honeywell International Inc. Moving object assessment system and method
GB2378339A (en) * 2001-07-31 2003-02-05 Hewlett Packard Co Predictive control of multiple image capture devices.
WO2003028358A2 (en) * 2001-09-24 2003-04-03 Nice Systems Ltd. System and method for the automatic control of video frame rate
US6696945B1 (en) 2001-10-09 2004-02-24 Diamondback Vision, Inc. Video tripwire
EP1457050A1 (en) * 2001-11-21 2004-09-15 Etreppid Technologies, LLC. Method and apparatus for storing digital video content provided from a plurality of cameras
US7167519B2 (en) 2001-12-20 2007-01-23 Siemens Corporate Research, Inc. Real-time video object generation for smart cameras
KR100465244B1 (ko) 2002-02-05 2005-01-13 삼성전자주식회사 영상 데이터의 움직임 감지장치 및 방법
EP1472869A4 (en) * 2002-02-06 2008-07-30 Nice Systems Ltd SYSTEM AND METHOD FOR DETECTION, MONITORING AND ALARM MANAGEMENT BASED ON VIDEO CONTENT ANALYSIS
US7436887B2 (en) 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US7456875B2 (en) * 2002-03-14 2008-11-25 Sony Corporation Image pickup apparatus and method, signal processing apparatus and method, and wearable signal processing apparatus
US7197072B1 (en) * 2002-05-30 2007-03-27 Intervideo, Inc. Systems and methods for resetting rate control state variables upon the detection of a scene change within a group of pictures
US8752197B2 (en) * 2002-06-18 2014-06-10 International Business Machines Corporation Application independent system, method, and architecture for privacy protection, enhancement, control, and accountability in imaging service systems
CA2525690C (en) 2002-07-05 2014-12-02 Aspectus Ltd. A method and system for effectively performing event detection in a large number of concurrent image sequences
US7227893B1 (en) * 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
US20040113933A1 (en) 2002-10-08 2004-06-17 Northrop Grumman Corporation Split and merge behavior analysis and understanding using Hidden Markov Models
US6987883B2 (en) 2002-12-31 2006-01-17 Objectvideo, Inc. Video scene background maintenance using statistical pixel modeling
US7660439B1 (en) * 2003-12-16 2010-02-09 Verificon Corporation Method and system for flow detection and motion analysis
US8558892B2 (en) 2004-01-20 2013-10-15 Honeywell International Inc. Object blocking zones to reduce false alarms in video surveillance systems
US7646401B2 (en) 2004-01-30 2010-01-12 ObjectVideo, Inc Video-based passback event detection
US7447331B2 (en) * 2004-02-24 2008-11-04 International Business Machines Corporation System and method for generating a viewable video index for low bandwidth applications
WO2006012645A2 (en) * 2004-07-28 2006-02-02 Sarnoff Corporation Method and apparatus for total situational awareness and monitoring
US20070002141A1 (en) 2005-04-19 2007-01-04 Objectvideo, Inc. Video-based human, non-human, and/or motion verification system and method
US20060232673A1 (en) 2005-04-19 2006-10-19 Objectvideo, Inc. Video-based human verification system and method
US7801330B2 (en) 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
US9363487B2 (en) 2005-09-08 2016-06-07 Avigilon Fortress Corporation Scanning camera-based video surveillance system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101359332B1 (ko) * 2013-12-05 2014-02-24 (주)엔토스정보통신 불법 주정차 단속을 위한 자동차 번호판 추적 및 인식 방법

Also Published As

Publication number Publication date
DK1872583T3 (en) 2015-02-23
WO2006107997A3 (en) 2008-10-02
SI1872583T1 (sl) 2015-03-31
JP2008538870A (ja) 2008-11-06
CA2604875A1 (en) 2006-10-12
IL186455A0 (en) 2008-01-20
EP2863372A1 (en) 2015-04-22
HK1209889A1 (en) 2016-04-08
EP1872583B1 (en) 2014-11-19
PT1872583E (pt) 2015-02-27
HK1116969A1 (en) 2009-01-02
CY1116257T1 (el) 2017-02-08
US20050169367A1 (en) 2005-08-04
EP1872583A4 (en) 2010-05-19
HRP20150172T1 (hr) 2015-04-10
CN101405779A (zh) 2009-04-08
CN105391990A (zh) 2016-03-09
TW200715859A (en) 2007-04-16
ME02112B (me) 2015-10-20
RS53833B1 (en) 2015-06-30
ES2534250T3 (es) 2015-04-21
EP1872583A2 (en) 2008-01-02
WO2006107997A2 (en) 2006-10-12
US7868912B2 (en) 2011-01-11
MX2007012431A (es) 2007-12-13
PL1872583T3 (pl) 2015-06-30

Similar Documents

Publication Publication Date Title
US10347101B2 (en) Video surveillance system employing video primitives
EP1872583B1 (en) Method of video processing, computer readable medium containing instructions implementing said method and video processing system.
US9892606B2 (en) Video surveillance system employing video primitives
US10645350B2 (en) Video analytic rule detection system and method
US7932923B2 (en) Video surveillance system employing video primitives
US20050162515A1 (en) Video surveillance system

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid