KR20080024541A - 비디오 프리미티브를 채용하는 비디오 감시 시스템 - Google Patents

Abstract

비디오 감시 시스템은, 비디오 프리미티브를 추출하고, 이벤트 식별자를 이용하여 상기 비디오 프리미티브로부터 이벤트 발생을 추출한다. 상기 시스템은 추출된 이벤트 발생을 기반으로 알람과 같은 응답을 착수할 수 있다.

비디오 감시 시스템, 비디오 프리미티브

Description

비디오 프리미티브를 채용하는 비디오 감시 시스템{VIDEO SURVEILLANCE SYSTEM EMPLOYING VIDEO PRIMITIVES}

본 발명은 비디오 프리미티브를 채용하는 자동 비디오 감시를 위한 시스템에 관한 것이다.

참조문헌

독자의 편의를 위하여, 이하 본 명세서에서 참조된 참조문헌이 열거된다. 발명의 상세한 설명에 있어서, 괄호 안의 번호는 각각의 참조문헌을 나타낸다. 열거된 참조문헌은 본 명세서에 참조로서 포함된다.

다음의 참조문헌은 이동 타겟 검출을 기재하고 있다:

{1} A. Lipton, H. Fujiyoshi and R. S. Patil, "Moving Target Detection and Classification from Real-Time Video," Proceedings of IEEE WACV '98, Princeton, NJ, 1998, pp. 8-14.

{2} W.E.L. Grimson, et al., "Using Adaptive Tracking to Classify and Monitor Activities in a Site", CVPR , pp. 22-29, June 1998.

{3} A.J. Lipton, H. Fujiyoshi, R.S. Patil, "Moving Target Classification and Tracking from Real-time Video," IUW , pp. 129-136, 1998.

{4} T.J. Olson and F.Z. Brill, "Moving Object Detection and Event Recognition Algorithm for Smart Cameras," IUW , pp. 159-175, May 1997.

다음의 참조문헌은 인간을 검출 및 추적하는 것을 기재하고 있다:

{5} A. J. Lipton, "Local Application of Optical Flow to Analyse Rigid Versus Non-Rigid Motion," International Conference on Computer Vision, Corfu, Greece, September 1999.

{6} F. Bartolini, V. Cappellini, and A. Mecocci, "Counting people getting in and out of a bus by real-time image-sequence processing," IVC , 12(1):36-41, January 1994.

{7} M. Rossi and A. Bozzoli, "Tracking and counting moving people," ICIP94, pp. 212-216, 1994.

{8} C.R. Wren, A. Azarbayejani, T. Darrell, and A. Pentland, "Pfinder: Realtime tracking of the human body," Vismod , 1995.

{9} L. Khoudour, L. Duvieubourg, J.P. Deparis, "Real-Time Pedestrian Counting by Active Linear Cameras," JEI , 5(4):452-459, October 1996.

{10} S. Ioffe, D.A. Forsyth, "Probabilistic Methods for Finding People," IJCV , 43(l):45-68, June 2001.

{11} M. Isard and J. MacCormick, "BraMBLe: A Bayesian Multiple-Blob Tracker," ICCV , 2001.

다음의 참조문헌은 블롭 분석(blob analysis)을 기재하고 있다:

{12} D.M. Gavrila, "The Visual Analysis of Human Movement: A Survey," CVIU , 73(l):82-98, January 1999.

{13} Niels Haering and Niels da Vitoria Lobo, "Visual Event Detection," Video Computing Series , Editor Mubarak Shah, 2001.

다음의 참조문헌은 트럭, 자동차, 사람에 대한 블롭 분석을 기재하고 있다:

{14} Collins, Lipton, Kanade, Fujiyoshi, Duggins, Tsin, Tolliver, Enomoto, and Hasegawa, "A System for Video Surveillance and Monitoring; VSAM Final Report," Technical Report CMU-RI-TR-00-12, Robotics Institute, Carnegie Mellon University, May 2000.

{15} Lipton, Fujiyoshi, and Patil, "Moving Target Classification and Tracking from Real-time Video," 98 Darpa IUW , Nov. 20-23, 1998.

다음의 참조문헌은 각 개인의 블롭과 그것의 윤곽선을 분석하는 것을 기재하고 있다:

{16} C.R. Wren, A. Azarbayejani, T. Darrell, and A.P. Pentland. "Pfinder: Real-Time Tracking of the Human Body," PAMI , vol 19, pp. 780-784, 1997.

다음의 참조문헌은 임의의 모션-기반 분할을 포함하는 블롭의 내부 모션을 기재하고 있다:

{17} M. Allmen and C. Dyer, "Long-Range Spatiotemporal Motion Understanding Using Spatiotemporal Flow Curves," Proc . IEEE CVPR , Lahaina, Maui, Hawaii, pp. 303-309, 1991.

{18} L. Wixson, "Detecting Salient Motion by Accumulating Directionally Consistent Flow", IEEE Trans. Pattern Anal. Mach. Intell., vol. 22, pp. 774-781, Aug, 2000.

배경 기술

공공 장소의 비디오 감시는 매우 광범위하게 되었으며, 일반 대중에 의해 수용되었다. 불행하게도, 종래의 비디오 감시 시스템은 비디오 감시 데이터의 분석에 있어서 난제(intractable problem)가 야기되는 대량의 데이터를 생성한다.

비디오 감시 데이터의 분석이 수행될 수 있도록 비디오 감시 데이터의 양을 감소시킬 필요성이 존재한다.

비디오 감시 데이터의 희망하는 부분을 식별하기 위하여 비디오 감시 데이터를 필터링할 필요성이 존재한다.

본 발명의 목적은, 비디오 감시 데이터의 분석이 수행될 수 있도록 비디오 감시 데이터의 양을 감소시키는 것이다.

본 발명의 목적은, 비디오 감시 데이터의 희망하는 부분을 식별하기 위하여 비디오 감시 데이터를 필터링하는 것이다.

본 발명의 목적은, 비디오 감시 데이터로부터의 이벤트의 자동 검출을 기반으로 실시간 알람을 생성하는 것이다.

본 발명의 목적은, 개선된 탐색 능력을 위하여 비디오 이외의 감시 센서로부터의 데이터를 통합하는 것이다.

본 발명의 목적은, 개선된 이벤트 검출 능력을 위하여 비디오 이외의 감시 센서로부터의 데이터를 통합하는 것이다.

본 발명은 비디오 감시를 위한 제조 물품, 방법, 시스템 및 장치를 포함한다.

본 발명의 제조 물품은, 비디오 프리미티브를 기반으로 비디오 감시 시스템을 동작시키기 위한 코드 세그먼트를 포함하는 비디오 감시 시스템을 위한 소프트웨어를 갖는 컴퓨터-판독가능 매체를 포함한다.

본 발명의 제조 물품은, 아카이브(archive)된 비디오 프리미티브에 액세스하기 위한 코드 세그먼트, 및 액세스되는 아카이브된 비디오 프리미티브로부터 이벤트 발생(event occurrences)을 추출하기 위한 코드 세그먼트를 포함하는 비디오 감시 시스템을 위한 소프트웨어를 갖는 컴퓨터-판독가능 매체를 포함한다.

본 발명의 시스템은, 본 발명에 따라 컴퓨터를 동작시키기 위한 소프트웨어를 갖는 컴퓨터-판독가능 매체를 구비한 컴퓨터 시스템을 포함한다.

본 발명의 장치는, 본 발명에 따라 컴퓨터를 동작시키기 위한 소프트웨어를 갖는 컴퓨터-판독가능 매체를 구비하는 컴퓨터를 포함한다.

본 발명의 제조 물품은, 본 발명에 따라 컴퓨터를 동작시키기 위한 소프트웨어를 갖는 컴퓨터-판독가능 매체를 포함한다.

또한, 본 발명의 전술한 목적과 이점은 예시적이고, 모든 것을 망라한 것은 아니며, 본 발명에 의해 달성될 수 있다. 따라서, 본 발명의 전술한 목적과 이점 및 다른 목적과 이점은, 본 명세서에서 구체화되고 또한 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명백한 임의의 변형을 고려하여 변경되는 바와 같이, 발명의 상세한 설명으로부터 명백해질 것이다.

이하, 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하며, 여기서 동일한 참조부호는 동일한 특징을 언급한다.

도 1은 본 발명의 비디오 감시 시스템의 평면도를 예시한다.

도 2는 본 발명의 비디오 감시 시스템에 대한 흐름도를 예시한다.

도 3은 비디오 감시 시스템에 작업을 부과하는 흐름도를 예시한다.

도 4는 비디오 감시 시스템을 동작시키는 흐름도를 예시한다.

도 5는 비디오 감시 시스템에 대한 비디오 프리미티브를 추출하는 흐름도를 예시한다.

도 6은 비디오 감시 시스템에 의해 조치를 취하는 흐름도를 예시한다.

도 7은 비디오 감시 시스템의 반자동 교정(semi-automatic calibration)에 대한 흐름도를 예시한다.

도 8은 비디오 감시 시스템의 자동 교정(automatic calibration)에 대한 흐름도를 예시한다.

도 9는 본 발명의 비디오 감시 시스템에 대한 부가적인 흐름도를 예시한다.

도 10 내지 15는 식료품점을 모니터링하는데 적용되는 본 발명의 비디오 감시 시스템의 예를 예시한다.

도 16a는 본 발명의 일 실시예에 따른 비디오 분석 서브시스템의 흐름도를 나타낸다.

도 16b는 본 발명의 일 실시예에 따른 이벤트 발생 검출 및 응답 서브시스템의 흐름도를 나타내는 도면이다.

도 17은 예시적인 데이터베이스 질의를 나타내는 도면이다.

도 18은 본 발명의 다양한 실시예에 따른 트립와이어 교차(tripwire crossings)(도 18a), 배회(loitering)(도 18b), 및 절도(theft)(도 18c)를 검출하는 3개의 예시적인 액티비티 검출자(activity detector)를 나타내는 도면이다.

도 19는 본 발명의 실시예에 따른 액티비티 검출자 질의를 나타내는 도면이다.

도 20은 본 발명의 일 실시예에 따라, 변경자(modifier)를 갖는 부울 연산자와 액티비티 검출자를 이용하는 예시적인 질의를 나타내는 도면이다.

도 21a 및 21b는 다양한 레벨의 결합자(combinator), 액티비티 검출자, 및 속성 질의를 이용한 예시적인 질의를 나타내는 도면이다.

도 22는 본 발명의 일 실시예에 따른 비디오 감시 시스템의 예시적인 구성을 나타내는 도면이다.

도 23은 본 발명의 일 실시예에 따른 비디오 감시 시스템의 또 다른 예시적인 구성을 나타내는 도면이다.

도 24는 본 발명의 일 실시예에 따른 비디오 감시 시스템의 또 다른 예시적인 구성을 나타내는 도면이다.

도 25는 본 발명의 실시예의 예시적인 구성에서 이용될 수 있는 네트워크를 나타내는 도면이다.

도 26은 본 발명의 일 실시예에 따른 비디오 감시 시스템의 예시적인 구성을 나타내는 도면이다.

도 27은 본 발명의 일 실시예에 따른 비디오 감시 시스템의 예시적인 구성을 나타내는 도면이다.

도 28은 본 발명의 일 실시예에 따른 비디오 감시 시스템의 예시적인 구성을 나타내는 도면이다.

정의

"비디오"는 아날로그 및/또는 디지털 형태로 표현된 동영상(motion pictures)을 나타낸다. 비디오의 예는 텔레비전, 영화, 비디오 카메라 또는 다른 관측기(observer)로부터의 영상 시퀀스(image sequences) 및 컴퓨터-생성 영상 시퀀스를 포함한다.

"프레임"은 비디오 내의 특정 이미지 또는 다른 이산 유닛을 나타낸다.

"객체"는 비디오에서 관심 대상인 아이템을 나타낸다. 객체의 예는 사람, 차량, 동물, 및 물리적 대상을 포함한다.

"액티비티(activity)"는 하나 또는 그 이상의 액션(action) 및/또는 하나 또는 그 이상의 객체의 액션의 하나 또는 그 이상의 합성을 나타낸다. 액티비티의 예는 입장, 퇴장, 정지, 이동, 상승, 하강, 성장, 및 축소를 포함한다.

"위치"는 액티비티가 발생할 수도 있는 장소를 나타낸다. 예를 들어, 위치는 장면-기반 또는 이미지-기반일 수 있다. 장면-기반 위치의 예는 공공 장소, 상점, 소매 공간(retail space), 사무실, 도매점, 호텔 룸, 호텔 로비, 빌딩 로비, 카지노, 버스 정류장, 기차역, 공항, 항구, 버스, 기차, 비행기, 및 배를 포함한다. 이미지-기반 위치의 예는 비디오 이미지, 비디오 이미지에서의 라인, 비디오 이미지에서의 영역; 비디오 이미지의 직사각형 섹션, 및 비디오 이미지의 다각형 섹션을 포함한다.

"이벤트"는 액티비티에 관여되는 하나 또는 그 이상의 객체를 나타낸다. 이벤트는 위치 및/또는 시간에 관하여 참조될 수 있다.

"컴퓨터"는 구조화된 입력을 수용하고, 규정된 규칙에 따라 구조화된 입력을 처리하며, 처리 결과를 출력으로서 생성할 수 있는 소정의 장치를 나타낸다. 컴퓨터의 예는 컴퓨터, 범용 컴퓨터, 슈퍼컴퓨터, 메인프레임, 슈퍼 미니컴퓨터, 미니컴퓨터, 워크스테이션, 마이크로컴퓨터, 서버, 대화형 텔레비전, 컴퓨터와 대화형 텔레비전의 하이브리드 결합, 및 컴퓨터 및/또는 소프트웨어를 에뮬레이 트(emulate)하기 위한 주문형 하드웨어를 포함한다. 컴퓨터는 단일 프로세서 또는 다중 프로세서를 가질 수 있으며, 이것은 병렬로 동작하거나 및/또는 병렬로 동작하지 않을 수도 있다. 또한, 컴퓨터는 컴퓨터들 사이에 정보를 송신하거나 수신하기 위한 네트워크를 통해 함께 접속된 2 또는 그 이상의 컴퓨터들을 나타낸다. 이러한 컴퓨터의 예는 네트워크에 의해 연결된 컴퓨터들을 통해 정보를 처리하기 위한 분산형 컴퓨터 시스템을 포함한다.

"컴퓨터-판독가능 매체"는 컴퓨터에 의해 액세스가능한 데이터를 저장하기 위해 이용되는 소정의 저장 장치를 나타낸다. 컴퓨터-판독가능 매체의 예는 자기 하드 디스크, 플로피 디스크, CD-ROM 및 DVD와 같은 광학 디스크, 자기 테이프, 메모리 칩, 및 e-메일을 송수신하거나 네트워크에 액세스하는데 이용되는 것과 같은 컴퓨터-판독가능 전자 데이터를 운반하는데 이용되는 반송파를 포함한다.

"소프트웨어"는 컴퓨터를 동작시키기 위한 규정된 규칙을 나타낸다. 소프트웨어의 예는 소프트웨어, 코드 세그먼트(code segment), 명령어, 컴퓨터 프로그램, 및 프로그램된 로직을 포함한다.

"컴퓨터 시스템"은 컴퓨터를 갖는 시스템을 나타내며, 여기서 컴퓨터는 컴퓨터를 동작시키기 위한 소프트웨어를 포함하는 컴퓨터-판독가능 매체를 포함한다.

"네트워크"는 통신 설비에 의해 접속되는 다수의 컴퓨터 및 관련 디바이스를 나타낸다. 네트워크는 케이블과 같은 영구적 접속(permanent connections), 또는 전화 또는 다른 통신 링크를 통해 이루어지는 것과 같은 일시적 접속(temporary connections)을 포함한다. 네트워크의 예는, Internet과 같은 인터넷, 인트라넷, 근거리 네트워크(LAN: Local Area Network), 광역 네트워크(WAN: Wide Area Network), 및 인터넷 및 인트라넷과 같은 네트워크들의 결합을 포함한다.

발명의 상세한 설명

본 발명의 자동 비디오 감시 시스템은 예를 들어, 시장 조사 또는 보안을 위하여 위치를 모니터링하기 위한 것이다. 시스템은 특정 목적으로 만들어진(purpose-built) 감시 구성요소를 갖는 전용 비디오 감시 설비일 수도 있고, 또는 시스템은 감시 비디오 피드(video feeds)를 외부로 피기백(piggyback) 방식으로 수송하는 기존의 비디오 감시 장비에 대한 개량된 장치(retrofit)일 수도 있다. 시스템은 라이브 소스 또는 기록된 매체로부터의 비디오 데이터를 분석할 수 있다. 시스템은 실시간으로 비디오 데이터를 처리할 수도 있고, 이후에 고속의 과학 수사 이벤트(forensic event) 검출을 허용하기 위하여 추출된 비디오 프리미티브를 저장할 수 있다. 시스템은 레코드 데이터와 같이 분석에 대해 규정된 응답을 가질 수 있고, 알람 메커니즘을 구동시키거나 또 다른 센서 시스템을 구동시킬 수 있다. 또한, 시스템은 다른 감시 시스템 구성요소와 통합할 수도 있다. 시스템은 예를 들어, 오퍼레이터의 요구에 따라 맞춤화될 수 있으며, 옵션으로서 대화형 웹-기반의 인터페이스 또는 다른 보고 메커니즘을 통해 제공될 수 있는 보안 또는 시장 조사 리포트를 생성하는데 이용될 수 있다.

이벤트 식별자(event descriminators)를 이용함으로써 시스템을 구성하는데 있어서 오퍼레이터에게 최대 융통성이 제공된다. 이벤트 식별자는 하나 또는 그 이 상의 선택적인 공간적 속성, 및/또는 하나 또는 그 이상의 선택적인 시간적 속성과 함께, (비디오 프리미티브를 기반으로 기술되어 있는) 하나 또는 그 이상의 객체와 동일시된다. 예를 들어, 오퍼레이터는 "오후 10:00 및 오전 6:00 사이"에 "15 분 이상" 동안 "금융 자동화 기기(automatic teller machine)" 공간에 있는 "사람" 객체로서 이벤트 식별자(본 예에서 "배회" 이벤트로 지칭됨)를 정의할 수 있다. 이벤트 식별자는 보다 많은 복합 질의를 형성하기 위하여 변형된 부울 연산자(Boolean operator)와 결합될 수 있다.

비록 본 발명의 비디오 감시 시스템이 공공 영역으로부터 잘 알려진 컴퓨터 비전(computer vision) 기술에 기반하였음에도 불구하고, 본 발명의 비디오 감시 시스템은 현재에 이용 가능하지 않은 몇몇의 유일하고 새로운 특징들을 갖는다. 예를 들어, 현재의 비디오 감시 시스템은 정보 교환의 1차 상품(primary commodity)으로서 대량의 비디오 영상을 이용한다. 본 발명의 시스템은 2차 물증(collateral evidence)으로서 이용되고 있는 대표적인 비디오 영상과 함께 1차 상품으로서 비디오 프리미티브를 이용한다. 또한, 본 발명의 시스템은 (수동으로, 반자동으로, 또는 자동으로) 교정될 수 있고, 그 이후에 비디오 영상으로부터 비디오 프리미티브를 자동으로 추론할 수 있다. 또한, 시스템은 비디오를 완전히 재처리할 필요 없이, 이전에 처리된 비디오를 분석할 수 있다. 이전에 처리된 비디오를 분석함으로써, 시스템은 이전에 기록된 비디오 프리미티브를 기반으로 추론 분석(inference analysis)을 수행할 수 있는데, 이것은 컴퓨터 시스템의 분석 속도를 크게 향상시킨다.

또한, 비디오 프리미티브의 이용은 비디오에 대한 저장 요건을 현저히 감소시킬 수도 있다. 이것은 이벤트 검출 및 응답 서브시스템이 검출을 예증하기 위해서만 비디오를 이용하기 때문이다. 그 결과, 비디오는 보다 낮은 품질로 저장되거나 송신될 수 있다. 가능성 있는 실시예에서, 비디오는 항상 저장되거나 송신되는 것이 아니라, 액티비티가 검출될 시에만 저장되거나 송신될 수 있다. 또 다른 가능성 있는 실시예에서, 저장되거나 송신된 비디오의 품질은 액티비티가 검출되는지의 여부에 종속될 수도 있는데, 여기서 비디오는 액티비티가 검출될 경우에는 보다 높은 품질(보다 높은 프레임-레이트(frame-rate) 및/또는 비트-레이트(bit-rate))로 저장되거나 송신될 수 있으며 그 외의 경우에는 보다 낮은 품질로 저장되거나 송신될 수 있다. 또 다른 예시적인 실시예에서, 비디오 저장장치 및 데이터베이스는 예를 들어, 디지털 비디오 레코더(DVR: Digital Video Recorder)에 의해 별도로 취급될 수 있고, 비디오 처리 서브시스템은 단지 데이터 저장 여부와 어떠한 품질인지를 제어할 수 있다. 또 다른 실시예에서, 비디오 감시 시스템(또는 비디오 감시 시스템의 구성요소)은 디지털 비디오 카메라, 네트워크 비디오 서버, DVR, 또는 네트워크 비디오 레코더(NVR: Network Video Recorder)와 같은 비디오 관리 장치에 탑재되는 (범용 프로세서, DSP, 마이크로컨트롤러, ASIC, FPGA, 또는 그 밖의 장치와 같은) 처리 장치상에 있을 수 있으며, 상기 장치로부터 스트리밍된 비디오의 대역폭은 시스템에 의해 변조될 수 있다. 높은 품질의 비디오(높은 비트-레이트 또는 프레임-레이트)는 관심 대상의 액티비티가 검출될 시에만 IP 비디오 네트워크를 통해 송신되기만 할 필요가 있다. 이러한 실시예에서, 단일 카메라 네트워크가 분산 화된 처리를 통해 다목적 애플리케이션을 제공할 수 있도록, 지능형(intelligence-enabled) 장치로부터의 프리미티브는 네트워크를 통해 물리적으로 상이한 위치의 다중 액티비티 추론 애플리케이션으로 방송(broadcast)될 수 있다.

도 22는 비디오 감시 시스템의 구현예의 하나의 구성을 나타낸다. 블록(221)은 원래의(비압축된) 디지털 비디오 입력부를 나타낸다. 디지털 비디오 입력은 예를 들어, 아날로그 비디오 신호의 아날로그-디지털 캡쳐 또는 디지털 비디오 신호의 디코딩을 통하여 얻어질 수 있다. 블록(222)은 비디오 감시 시스템의 주요 구성요소(비디오 컨텐츠 분석부(블록(225)) 및 액티비티 추론부(블록 (226))를 실장하는 하드웨어 플랫폼을 나타낸다. 하드웨어 플랫폼은 운영체제(OS)(블록(223)), 소정의 이용가능한 압축 방식(JPEG, MJPEG, MPEG1, MPEG2, MPEG4, H.263, H.264, 웨이브릿(Wavelet) 또는 임의의 다른 방식)을 이용하는 비디오 스트리밍 또는 저장을 위한 원래의 디지털 비디오를 압축하는 비디오 인코더(블록(224)), 비디오, 압축된 비디오, 경고 및 비디오 프리미티브와 같은 데이터를 유지하는 저장 메커니즘(블록(227))-이 저장 장치는, 예를 들어 하드-디스크, 온-보드(on-board) RAM, 온-보드 플래시 메모리, 또는 다른 저장 매체가 될 수 있음-, 및 예를 들어, 통신 채널(블록(229))을 통한 송신을 위해 데이터를 패킷화 및/또는 디지털화할 수 있는 통신 레이어(블록(228))와 같은 다른 구성요소들을 포함할 수 있다.

통신 채널(229)이 접속하는 네트워크의 다른 노드에서 계산 플랫폼상에 상주하는 다른 소프트웨어 구성요소들이 있을 수도 있다. 블록(2210)은 비디오 감시 규칙을 생성하기 위한 사용자 인터페이스인 규칙 관리 툴(rule management tool)을 나타낸다. 블록(2211)은 사용자에게 경고 및 보고를 디스플레이하는 경고 콘솔을 나타낸다. 블록(2212)은 또 다른 사후(after-the-fact) 처리를 위한 경고, 프리미티브 및 비디오를 저장하기 위한 (DVR, NVR, 또는 PC와 같은) 저장 장치를 나타낸다.

하드웨어 플랫폼(블록(222)) 상의 구성요소들은, 비디오 카메라, 디지털 비디오 카메라, IP 비디오 카메라, IP 비디오 서버, 디지털 비디오 레코더(DVR), 네트워크 비디오 레코더(NVR), PC, 랩톱(laptop), 또는 다른 장치와 같은 임의의 비디오 캡쳐, 처리, 또는 관리 장치상의 소정의 처리 하드웨어(범용 프로세서, 마이크로컨트롤러, DSP, ASIC, FPGA, 또는 다른 처리 장치) 상에서 구현될 수 있다. 이러한 구성에 대해 다수의 서로 다른 가능한 동작 모드들이 존재한다.

하나의 모드에서, 시스템은 특정 이벤트를 검색하도록 프로그래밍된다. 그러한 이벤트가 발생할 경우, 경고는 통신 채널(블록(229))을 통해 다른 시스템으로 송신된다.

또 다른 모드에서, 비디오 장치가 비디오 데이터를 분석하는 동안 비디오는 비디오 장치로부터 스트리밍된다. 이벤트가 발생할 경우, 경고는 통신 채널(블록(229))을 통해 송신된다.

또 다른 모드에서, 비디오 인코딩 및 스트리밍은 컨텐츠 분석 및 액티비티 추론에 의해 변조된다. 액티비티가 존재하지 않을 경우(프리미티브가 생성되지 않을 경우), 비디오는 스트리밍되지 않는다(또는 낮은 품질, 비트-레이트, 프레임 레이트, 해상도의 비디오가 스트리밍된다). 일부 액티비티가 존재하는 경우(프리미티 브가 생성될 경우)에는 더 높은 품질, 비트-레이트, 프레임 레이트, 해상도의 비디오가 스트리밍된다. 이벤트 추론에 의해 관심 대상의 이벤트가 검출될 경우에는 매우 높은 품질, 비트-레이트, 프레임 레이트, 해상도의 비디오가 스트리밍된다.

또 다른 동작 모드에서, 정보는 온-보드 저장 장치(블록(227))에 저장된다. 저장된 데이터는 (원래의 또는 압축된) 디지털 비디오, 비디오 프리미티브, 경고, 또는 그 외의 정보로 구성될 수도 있다. 또한, 저장된 비디오의 품질은 프리미티브 또는 경고의 존재에 의해 제어될 수도 있다. 프리미티브 및 경고가 존재할 경우, 보다 높은 품질, 비트-레이트, 프레임 레이트, 해상도의 비디오가 저장될 수도 있다.

도 23은 비디오 감시 시스템의 구현예의 또 다른 구성을 나타낸다. 블록(231)은 원래의(비압축된) 디지털 비디오 입력부를 나타낸다. 디지털 비디오 입력은 예를 들어, 아날로그 비디오 신호의 아날로그-디지털 캡쳐 또는 디지털 비디오 신호의 디코딩을 통하여 얻어질 수 있다. 블록(232)은 비디오 감시 시스템(블록(235))의 분석 구성요소를 실장하는 하드웨어 플랫폼을 나타낸다. 하드웨어 플랫폼은 운영체제(OS)(블록(233)), 소정의 이용가능한 압축 방식(JPEG, MJPEG, MPEG1, MPEG2, MPEG4, H.263, H.264, 웨이블릿, 또는 임의의 다른 방식)을 이용하는 비디오 스트리밍 또는 저장을 위한 원래의 디지털 비디오를 압축하는 비디오 인코더(블록(234)), 비디오, 압축된 비디오, 경고, 및 비디오 프리미티브와 같은 데이터를 유지하기 위한 저장 메커니즘(블록(236))-이 저장 장치는, 예를 들어, 하드-디스크, 온-보드 RAM, 온-보드 플래시 메모리, 또는 다른 저장 매체가 될 수 있음-, 및 예를 들어, 통신 채널(블록(238))을 통한 송신을 위해 데이터를 패킷화 및/또는 디지털화할 수 있는 통신 레이어(블록(237))와 같은 다른 구성요소들을 포함할 수 있다. 도 23에 도시된 본 발명의 실시예에서, 액티비티 추론 구성요소(블록(2311))는 통신 채널(238)이 접속하는 네트워크에 접속된 별도의 하드웨어 구성요소(블록(239)) 상에 도시되어 있다.

또한, 이러한 네트워크의 다른 노드(블록(239))에서 계산 플랫폼에 상주하는 다른 소프트웨어 구성요소들이 있을 수도 있다. 블록(2310)은 규칙 관리 툴을 나타내며, 규칙 관리 툴은 비디오 감시 규칙을 생성하기 위한 사용자 인터페이스이다. 블록(2312)은 사용자에게 경고 및 보고를 디스플레이하기 위한 경고 콘솔(alert console)을 나타낸다. 블록(2313)은, (하드 디스크, 플로피 디스크, 다른 자기 디스크, CD, DVD, 다른 광학 디스크, MD 또는 다른 광자기 디스크, RAM 또는 플래시 RAM과 같은 고체 상태 저장 장치, 또는 다른 저장 장치와 같은) 동일한 하드웨어 플랫폼상에 물리적으로 위치할 수 있거나, 또는 (외부 디스크 드라이브, PC, 랩톱, DVR, NVR, 또는 다른 저장 장치와 같은) 별도의 저장 장치일 수도 있는 저장 장치를 나타낸다.

하드웨어 플랫폼(블록(222)) 상의 구성요소들은 비디오 카메라, 디지털 비디오 카메라, IP 비디오 카메라, IP 비디오 서버, 디지털 비디오 레코더(DVR), 네트워크 비디오 레코더(NVR), PC, 랩톱, 또는 다른 장치와 같은 임의의 비디오 캡쳐, 처리, 또는 관리 장치상의 소정의 처리 플랫폼(범용 프로세서, 마이크로콘트롤러, DSP, FPGA, ASIC, 또는 임의의 다른 처리 플랫폼) 상에서 구현될 수 있다. 백-엔드 하드웨어 플랫폼(back-end hardware platform)(블록(239)) 상의 구성요소들은 PC, 랩톱, 단일-보드 컴퓨터(single-board computer), DVR, NVR, 비디오 서버, 네트워크 라우터, (영상 전화기, 호출기, 또는 PDA와 같은) 핸드-헬드 장치(hand-held device)와 같은 임의의 처리 장치상의 소정의 처리 하드웨어(범용 프로세서, 마이크로컨트롤러, DSP, FPGA, ASIC, 또는 임의의 다른 장치) 상에서 구현될 수 있다. 이러한 구성에 대해 다수의 서로 다른 가능한 동작 모드들이 존재한다.

하나의 모드에서, 시스템은 특정 이벤트를 검색하도록 백-엔드 장치(또는 백-엔드 장치에 접속된 임의의 다른 장치) 상에서 프로그래밍된다. 비디오 처리 플랫폼(블록(232)) 상의 컨텐츠 분석 모듈(블록(235))은 백-엔드 처리 플랫폼(블록(239))으로 송신되는 프리미티브를 생성한다. 이벤트 추론 모듈(블록(2311))은 규칙이 위반되었는지의 여부를 판정하고, 경고 콘솔(블록(2312)) 상에 디스플레이되거나 이후의 분석을 위해 저장 장치(블록(2313))에 저장될 수 있는 경고를 생성한다.

또 다른 모드에서, 비디오 프리미티브 및 비디오는 이후의 분석을 위해 백-엔드 플랫폼(2313) 상의 저장 장치에 저장될 수 있다.

또 다른 모드에서, 저장된 비디오 품질, 비트-레이트, 프레임 레이트, 해상도는 경고들에 의해 변조될 수 있다. 경고가 존재할 경우, 비디오는 보다 높은 품질, 비트-레이트, 프레임 레이트, 해상도로 저장될 수 있다.

또 다른 모드에서, 비디오 프리미티브는 통신 채널을 통한 이후의 분석을 위해 비디오 처리 장치(블록(232)의 블록(236)) 상에 저장될 수 있다.

또 다른 모드에서, 비디오 처리 장치(블록(232)의 블록(236)) 상에 저장된 비디오의 품질은 프리미티브의 존재에 의해 변조될 수 있다. 프리미티브가 존재할 경우(무엇인가가 발생할 경우), 저장된 비디오의 품질, 비트-레이트, 프레임 레이트, 해상도는 증가될 수 있다.

또 다른 모드에서, 비디오는 비디오 프로세서로부터 인코더(234)를 경유하여, 통신 채널(238)을 통해 네트워크상의 다른 장치들로 스트리밍될 수 있다.

또 다른 모드에서, 비디오 품질은 컨텐츠 분석 모듈(235)에 의해 변조될 수 있다. 프리미티브가 존재하지 않을 경우(아무 것도 발생하지 않을 경우), 비디오는 스트리밍되지 않는다(또는 낮은 품질, 비트-레이트, 프레임 레이트, 해상도의 비디오가 스트리밍된다). 액티비티가 존재할 경우, 보다 높은 품질, 비트-레이트, 프레임 레이트, 해상도의 비디오가 스트리밍된다.

또 다른 모드에서, 스트리밍된 비디오 품질, 비트-레이트, 프레임 레이트, 해상도는 경고의 존재에 의해 변조될 수 있다. 백 엔드 이벤트 추론 모듈(블록(2311))이 관심 대상의 이벤트를 검출할 시에, 백 엔드 이벤트 추론 모듈(블록(2311))은 비디오(또는 보다 높은 품질, 비트-레이트, 프레임 레이트, 해상도의 비디오)를 요구하는 비디오 처리 구성요소(블록(232))에 신호 또는 명령을 전송할 수 있다. 이러한 요구가 수신될 경우, 비디오 압축 구성요소(블록(234)) 및 통신 레이어(블록(237))은 압축 및 스트리밍 파라미터를 변경할 수 있다.

또 다른 모드에서, 온 보드의 비디오 처리 장치(블록(232)의 블록(236))에 저장된 비디오의 품질은 경고의 존재에 의해 변조될 수 있다. 백 엔드 프로세서(블 록(239)) 상의 이벤트 추론 모듈(블록(2311))에 의해 경고가 생성될 경우, 이벤트 추론 모듈(블록(2311))은 온 보드 저장 장치(238)에 저장된 비디오의 품질, 비트-레이트, 프레임 레이트, 해상도를 증가시키기 위하여 통신 채널(블록(238))을 통하여 비디오 프로세서 하드웨어(블록(232))로 메시지를 전달할 수 있다.

도 24는 도 23에서 설명된 구성의 확장예를 나타낸다. 비디오 컨텐츠 분석 및 백 엔드 액티비티 추론의 기능을 분리함으로써, 최근 애플리케이션 바인딩의 처리를 통하여 다목적 지능형 비디오 감시 시스템을 동작시키는 것이 가능하다. 지능형 카메라(intelligence-enabled cameras)의 단일 네트워크는 조직(organization)의 서로 상이한 부분에서(서로 다른 물리적 위치에서) 백-엔드 애플리케이션을 분리하고 복수의 기능을 완수할 수 있도록 비디오 프리미티브의 단일 스트림을 방송할 수 있다. 이것은 프리미티브 스트림이 장면에서 발생되고 있는 모든 것에 대한 정보를 포함하고 특정 애플리케이션 영역에 의존하지 않기 때문일 수도 있다. 도 24에 도시된 예는 세부 환경에 종속하지만, 일반적으로 주요한 예시이며, 소정의 다른 애플리케이션 영역 및 소정의 다른 감시 기능에 적용할 수도 있다. 블록(241)은 하나의 장치(facility) 내에서 또는 복수의 장치들에 걸쳐서 하나 또는 그 이상의 비디오 카메라의 지능형 네트워크를 나타낸다. 컨텐츠 분석 구성요소 또는 구성요소들은 카메라 내의 처리 장치상에, 비디오 서버 내에, 네트워크 라우터 내에, DVR 상에, NVR 상에, PC 상에, 랩톱 또는 네트워크에 접속된 소정의 다른 비디오 처리 장치상에 상주할 수 있다. 이러한 컨텐츠 분석 구성요소로부터, 프리미티브의 스트림은 표준 네트워크를 통하여, 서로 다른 목적을 위해 이용되는 물리적으로 상 이한 영역에 상주하는 백 엔드 프로세서(블록(242-245)) 상의 액티비티 추론 모듈로 방송된다. 백 엔드 프로세서는 컴퓨터, 랩톱, DVR, NVR, 네트워크 라우터, 핸드헬드 장치(전화기, 호출기, PDA) 또는 다른 컴퓨팅 장치 내에 있을 수 있다. 이러한 분산의 하나의 이점은 모든 가능한 애플리케이션에 대한 모든 처리를 수행하도록 프로그래밍 되어야 하는 중앙 처리 애플리케이션이 필요하지 않다는 것이다. 또 다른 이점은 보안이며, 이는 조직(organization)의 일부분이 지역적으로 저장되어 네트워크 내의 어느 누구도 그 정보에 액세스할 수 없다는 규칙에 따라 액티비티 추론을 수행할 수 있도록 한다.

블록(242)에서, 지능형 카메라 네트워크로부터의 프리미티브 스트림은 물리적 보안 애플리케이션을 위하여 분석되어, 주변 침해(perimeter breach), 파괴(vandalism)가 있었는지를 판별하고, 중요한 자산을 지킨다. 물론, 이러한 애플리케이션들은 단지 예시일 뿐이며, 그 외의 다른 애플리케이션이 가능하다.

블록(243)에서, 지능형 카메라 네트워크로부터의 프리미티브 스트림은 손실 방지 애플리케이션을 위하여 분석되어, 로딩 도크(loading dock)를 모니터링하고, 고객 또는 직원의 절도를 관찰하고, 창고를 모니터링하며, 저장품(stock)을 추적한다. 물론, 이러한 애플리케이션들은 단지 예시일 뿐이며, 그 외의 다른 애플리케이션이 가능하다.

블록(244)에서, 지능형 카메라 네트워크로부터의 프리미티브 스트림은 공공 안전 및 책임의 애플리케이션을 위하여 분석되어, 주차장에서 지나치게 빠르게 이동하는 사람들 또는 차량을 모니터링하고, 미끄러지고 넘어지는 사람들을 관찰하 며, 시설 주변 및 시설 내의 군중들을 모니터링한다. 물론, 이러한 애플리케이션들은 단지 예시일 뿐이며, 그 외의 다른 애플리케이션이 가능하다.

블록(245)에서, 지능형 카메라 네트워크로부터의 프리미티브 스트림은 비즈니스 지능화 애플리케이션을 위하여 분석되어, 큐(queue)의 길이를 관찰하고, 고객의 행동을 추적하며, 행동의 패턴을 습득하고, 사람들이 존재하지 않을 시에 조명 및 난방을 조절하는 것과 같은 빌딩 관리 작업을 수행한다. 물론, 이러한 애플리케이션들은 단지 예시일 뿐이며, 그 외의 다른 애플리케이션이 가능하다.

도 25는 네트워크(블록(251))에 접속되는 다수의 잠재적인 지능형 장치를 갖는 네트워크를 나타낸다. 블록(252)은 네트워크를 통해 프리미티브를 스트리밍할 수 있는 온 보드의 컨텐츠 분석 구성요소를 갖는 IP 카메라이다. 블록(253)은 규칙에 의해 직접 프로그래밍될 수 있고 네트워크 경고를 직접 생성할 수 있는 온 보드의 컨텐츠 분석 및 액티비티 추론 구성요소를 모두 갖는 IP 카메라이다. 블록(254)은 온 보드의 지능형 구성요소를 가지지 않는 표준 아날로그 카메라이지만, 블록(254)은 컨텐츠 분석 및 액티비티 추론뿐만 아니라 비디오 디지털화 및 압축도 수행하는 IP 비디오 관리 플랫폼(블록(256))에 접속된다. 그것은 특정 뷰 규칙(view-specific rules)을 이용하여 프로그래밍될 수 있고, 네트워크를 통해 프리미티브 스트림 및 경고를 송신할 수 있다. 블록(255)은 다른 장치로부터 프리미티브 스트림을 수집하고 경고를 생성할 수 있는 액티비티 추론 컴포넌트를 갖는 DVR이다. 블록(257)은 온 보드의 액티비티 추론 알고리즘을 가지며 네트워크로부터 비디오 프리미티브를 수용하고 경고를 디스플레이할 수 있는 무선 네트워크 통신을 이용하여 작동되는 핸드헬드 PDA이다. 블록(258)은 아날로그 또는 디지털 비디오 스트림을 수용하고 컨텐츠 분석 및 액티비티 추론을 수행하며 일련의 경고 콘솔에서 경고를 디스플레이할 수 있는 완전한 지능 비디오 분석 시스템이다.

도 26은 비디오 감시 시스템의 구현예의 또 다른 구성을 나타낸다. 블록(2601)은 부가적인 처리 및 인터페이싱 구성요소뿐만 아니라, 비디오 감시 시스템의 주요 구성요소를 실장할 수 있는 하드웨어 플랫폼을 나타낸다. 블록(2602)은 비디오 감시 시스템의 주요 구성요소(비디오 컨텐츠 분석부(블록(2603)) 및 액티비티 추론부(블록(2604)))를 실장하는 하드웨어 서브-플랫폼을 나타내고, 이러한 구성요소와의 인터페이싱을 위해 애플리케이션 프로그래밍 인터페이스(API: Application Programming Interface) 즉, 블록(2605)을 포함할 수도 있다. 원래의(비압축된) 디지털 비디오 입력은 예를 들어, 블록(2607)에서, 아날로그 비디오 신호의 아날로그-디지털 캡쳐 또는 디지털 비디오 신호의 디코딩을 통하여 얻어질 수 있다. 하드웨어 플랫폼(2601)은 하나 또는 그 이상의 주요 디지털 신호 처리(DSP: Digital Signal Processing) 애플리케이션(블록(2606)), 소정의 이용가능한 압축 방식(JPEG, MJPEG, MPEG1, MPEG2, MPEG4, H.263, H.264, 웨이브릿(Wavelet) 또는 임의의 다른 방식)을 이용하는 비디오 스트리밍 또는 저장을 위한 원래의 디지털 비디오를 압축하는데 이용될 수 있는 비디오 인코더(블록(2609)), 비디오, 압축된 비디오, 경고, 및 비디오 프리미티브와 같은 데이터를 유지하는 저장 메커니즘(도면에 도시되지 않음)-이 저장 장치는, 예를 들어, 하드-디스크, 온-보드 RAM, 온-보드 플래시 메모리, 또는 다른 저장 매체가 될 수 있음-, 및 예를 들어, 통신 채 널을 통한 송신을 위해 데이터를 패킷화 및/또는 디지털화할 수 있는, 도 26에서 TCP/IP 스택(2608)으로 도시된 통신 레이어와 같은 다른 구성요소들을 포함할 수 있다.

하드웨어 플랫폼(2601)은 센서(2610)에 접속될 수 있다. 센서(2610)는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합으로 구현될 수 있다. 센서(2610)는 하드웨어 플랫폼(2601) 및 네트워크(2611) 간의 인터페이스로서 동작할 수 있다. 센서(2610)는 서버 레이어를 포함할 수도 있고, 또는 서버 레이어는 다른 장소, 예를 들어, 센서(2610) 및 네트워크(2611) 사이 또는 네트워크(2611)의 일부로서 구현될 수도 있다.

네트워크(2611)의 다른 노드에서 계산 플랫폼상에 상주하는 다른 소프트웨어 구성요소들이 있을 수도 있다. 블록(2612)은 규칙 관리 툴을 나타내는데, 여기서, 규칙 관리 툴은 비디오 감시 규칙을 생성하는 사용자 인터페이스이다. 블록(2613)은 사용자에게 경고 및 보고를 디스플레이하기 위한 경고 콘솔을 나타낸다.

하드웨어 플랫폼(블록(2601)) 상의 구성요소들은, 비디오 카메라, 디지털 비디오 카메라, IP 비디오 카메라, IP 비디오 서버, 디지털 비디오 레코더(DVR), 네트워크 비디오 레코더(NVR), PC, 랩톱, 또는 다른 장치와 같은 임의의 비디오 캡쳐, 처리, 또는 관리 장치상의 소정의 처리 하드웨어(범용 프로세서, 마이크로컨트롤러, DSP, ASIC, FPGA, 또는 다른 처리 장치) 상에서 구현될 수 있다. 전술한 바와 같이, 이러한 구성에 대해 다수의 서로 다른 가능한 동작 모드들이 존재한다.

도 26의 구성에 있어서, 경고는 DSP 레벨에서 취급될 수 있고, API 프레임워 크(framework)(2605)는 경고 API 지원기능(API support)을 포함할 수 있다. 이것은 장치 내의 다양한 명령 및 제어 기능에 대한 경고의 이용을 지원할 수 있다.

예를 들어, 본 발명의 일부 실시예에서, 주요 DSP 애플리케이션(2606)은 경고를 받아, 하드웨어 플랫폼(2601) 상에서 실행되는 또 다른 알고리즘에 경고를 송신할 수 있다. 이것은, 예를 들어, 트리거되는 사람-기반의 규칙 상에서 실행될 수 있는 얼굴 인식 알고리즘일 수 있다. 이러한 경우에, 객체 타입이 사람임을 지시하는 객체 필드를 경고가 포함하면 핸드오프(handoff)가 이루어질 수 있다.

본 발명의 일부 실시예에서 구현될 수 있는 또 다른 예는 경고를 이용하여 비디오 압축 및/또는 스트리밍을 제어하는 것이다. 이것은, 예를 들어, 단순한 on/off 제어, 해상도 제어 등이 될 수 있지만, 본 발명은 이러한 예들에 한정될 필요는 없다. 이러한 제어는, 예를 들어, 경고의 존재 및/또는 경고의 세부 사항에 기반할 수도 있다.

일반적으로, 경고는 다양한 명령 및 제어 기능을 위해 이용될 수 있는데, 명령 및 제어 기능은 영상 개선 소프트웨어를 제어하고, 팬-틸트-줌(PTZ: Pan-Tilt-Zoom) 기능을 제어하며, 다른 센서들을 제어하는 것을 더 포함할 수 있지만, 이에 한정되지 않는다.

도 27은 비디오 감시 시스템의 구현예의 또 다른 구성을 나타낸다. 블록(2701)은 부가적인 처리 및 인터페이싱 구성요소뿐만 아니라, 비디오 감시 시스템의 주요 구성요소를 실장할 수 있는 하드웨어 플랫폼을 나타낸다. 블록(2702)은 비디오 감시 시스템의 주요 구성요소(비디오 컨텐츠 분석부(블록(2703)) 및 액티비 티 추론부(블록(2704)))를 실장하는 하드웨어 서브-플랫폼을 나타내고, 이러한 구성요소와의 인터페이싱을 위해 애플리케이션 프로그래밍 인터페이스(API) 즉, 블록(2705)을 포함할 수도 있다. 원래의(비압축된) 디지털 비디오 입력은 예를 들어, 블록(2707)에서, 아날로그 비디오 신호의 아날로그-디지털 캡쳐 또는 디지털 비디오 신호의 디코딩을 통하여 얻어질 수 있다. 하드웨어 플랫폼(2701)은 하나 또는 그 이상의 주요 디지털 신호 처리(DSP) 애플리케이션(블록(2706)), 소정의 이용가능한 압축 방식(JPEG, MJPEG, MPEG1, MPEG2, MPEG4, H.263, H.264, 웨이브릿(Wavelet) 또는 임의의 다른 방식)을 이용하는 비디오 스트리밍 또는 저장을 위해 원래의 디지털 비디오를 압축하는데 이용될 수 있는 비디오 인코더(블록(2709)), 비디오, 압축된 비디오, 경고, 및 비디오 프리미티브와 같은 데이터를 유지하는 저장 메커니즘(도면에 도시되지 않음)-이 저장 장치는, 예를 들어, 하드-디스크, 온-보드 RAM, 온-보드 플래시 메모리, 또는 다른 저장 매체가 될 수 있음-, 및 예를 들어, 통신 채널을 통한 송신을 위해 데이터를 패킷화 및/또는 디지털화할 수 있는, 도 27에서 TCP/IP 스택(2708)으로 도시된 통신 레이어와 같은 다른 구성요소들을 포함할 수 있다.

하드웨어 플랫폼(2701)은 센서(2710)에 접속될 수 있다. 센서(2710)는 하드웨어, 펌웨어, 소프트웨어, 또는 그들의 결합으로 구현될 수 있다. 센서(2710)는 하드웨어 플랫폼(2701) 및 네트워크(2711) 간의 인터페이스로서 동작할 수 있다. 센서(2710)는 서버 레이어를 포함할 수도 있고, 또는 서버 레이어는 다른 장소 예를 들어, 센서(2610) 및 네트워크(2711) 사이 또는 네트워크(2711)의 일부로서 구 현될 수도 있다.

전술한 바와 같이, 네트워크(2711)의 다른 노드에서 계산 플랫폼에 상주하는 다른 소프트웨어 구성요소들이 있을 수도 있다. 블록(2715)은 사용자에게 경고 및 보고를 디스플레이하기 위한 경고 콘솔을 나타낸다. 블록(2712)은 파트너 규칙 사용자 인터페이스를 나타내며, 규칙 소프트웨어 개발 키트(SDK: Software Development Kit)(2713) 및 SDK(2713)에 적합한 센서 지지부(2714)에 연결된다. 센서 지지부(2714)는 (바로 이전 단락에서 논의된 바와 같이) 서버에의 의존성을 제거시킬 수 있고, 그에 따라 독립형 SDK 능력을 허용할 수 있다.

구성요소(2712-2714)는 사용자 또는 제조자로 하여금 시스템에 대한 규칙을 생성할 수 있도록 허용하는데 이용될 수 있고, 상기 규칙은 도시된 바와 같이, 이벤트 추론 모듈(2704)로 전송될 수 있다. 구성요소(2712-2714)는 예를 들어, 컴퓨터, 랩톱 컴퓨터 등과 같은 원격 장치상에 호스팅될 수 있다.

규칙 SDK(2713)는 실제 적어도 2개의 상이한 형태를 가질 수 있다. 제1 형태에서, 규칙 SDK(2713)는 예를 들어, "사람이 트립와이어(tripwire)를 지나간다"와 같은 완전히 형성된 규칙을 사용자에게 노출시킬 수 있다. 이러한 경우, 사용자는 이와 같은 규칙에 더하여 사용자 인터페이스(UI: User Interface)를 생성할 필요가 있을 수 있다.

제2 형태에서, SDK(2713)는 기본적인 규칙 언어 및/또는 프리미티브 정의를 사용자에게 노출시킬 수 있다. 이러한 경우, 사용자는 자신의 규칙 요소를 생성할 수 있다. 예를 들어, 이러한 규칙 언어 및 프리미티브 정의는 객체 분류(예를 들 어, "트럭" 또는 "동물"), 비디오 트립와이어의 새로운 타입(비디오 트립와이어는 아래에서 더욱 논의됨), 또는 관심 대상 영역의 새로운 타입을 정의하도록 결합될 수 있다.

하드웨어 플랫폼(블록(2701)) 상의 구성요소들은, 비디오 카메라, 디지털 비디오 카메라, IP 비디오 카메라, IP 비디오 서버, 디지털 비디오 레코더(DVR), 네트워크 비디오 레코더(NVR), PC, 랩톱, 또는 다른 장치와 같은 임의의 비디오 캡쳐, 처리 또는 관리 장치상의 소정의 처리 하드웨어(범용 프로세서, 마이크로컨트롤러, DSP, ASIC, FPGA, 또는 다른 처리 장치) 상에서 구현될 수 있다. 전술한 바와 같이, 이러한 구성에 대해 다수의 서로 다른 가능한 동작 모드들이 존재한다.

도 28은 비디오 감시 시스템의 구현예의 또 다른 구성을 나타낸다. 도 28에 도시된 구성은 시스템으로 하여금 인터넷을 통해 원격 장치와 인터페이스를 할 수 있도록 허용하는데 이용될 수 있다. 일반적으로, 도 28의 구성은 소정의 변경에 의해 이전에 논의된 구성과 유사할 수 있다. 블록(2801)은 부가적인 처리 및 인터페이싱 구성요소뿐만 아니라, 비디오 감시 시스템의 주요 구성요소를 실장할 수 있는 하드웨어 플랫폼을 나타낸다. 블록(2802)은 비디오 감시 시스템의 주요 구성요소(비디오 컨텐츠 분석부(블록(2803)) 및 액티비티 추론부(블록(2804)))를 실장하는 하드웨어 서브-플랫폼을 나타내고, 이러한 구성요소와의 인터페이싱을 위해 애플리케이션 프로그래밍 인터페이스(API) 즉, 블록(2805)을 포함할 수도 있다. 블록(2802)은 규칙 SDK(2806)을 더 포함하여, 이벤트 추론 모듈(2804)에 대한 새로운 규칙의 생성을 허용할 수도 있다. 원래의(비압축된) 디지털 비디오 입력은 예를 들 어, 블록(2809)에서, 아날로그 비디오 신호의 아날로그-디지털 캡쳐 또는 디지털 비디오 신호의 디코딩을 통하여 얻어질 수 있다. 하드웨어 플랫폼(2801)은, 하나 또는 그 이상의 주요 디지털 신호 처리(DSP) 애플리케이션(블록(2807)), 소정의 이용가능한 압축 방식(JPEG, MJPEG, MPEG1, MPEG2, MPEG4, H.263, H.264, 웨이브릿(Wavelet) 또는 임의의 다른 방식)을 이용하는 비디오 스트리밍 또는 저장을 위해 원래의 디지털 비디오를 압축하는데 이용될 수 있는 비디오 인코더(블록(2811)), 비디오, 압축된 비디오, 경고, 및 비디오 프리미티브와 같은 데이터를 유지하는 저장 메커니즘(도면에 도시되지 않음)-이 저장 장치는, 예를 들어, 하드디스크, 온-보드 RAM, 온-보드 플래시 메모리, 또는 다른 저장 매체가 될 수 있음-, 및 예를 들어, 통신 채널을 통한 송신을 위해 데이터를 패킷화 및/또는 디지털화할 수 있는, 도 28에서 TCP/IP 스택(2810)으로 도시된 통신 레이어와 같은 다른 구성요소들을 포함할 수 있다. 도 28의 구성에서, 하드웨어 플랫폼(2801)은 TCP/IP 스택(2810)을 통하여 인터넷-기반의 장치와의 통신을 용이하게 하는데 이용될 수 있는 하이퍼텍스트 전송 프로토콜(HTTP: Hypertext Transport Protocol) 웹 서비스 모듈(2808)을 더 포함할 수 있다.

하드웨어 플랫폼(블록(2801)) 상의 구성요소들은, 비디오 카메라, 디지털 비디오 카메라, IP 비디오 카메라, IP 비디오 서버, 디지털 비디오 레코더(DVR), 네트워크 비디오 레코더(NVR), PC, 랩톱, 또는 다른 장치와 같은 임의의 비디오 캡쳐, 처리, 또는 관리 장치상의 소정의 처리 하드웨어(범용 프로세서, 마이크로컨트롤러, DSP, ASIC, FPGA, 또는 다른 처리 장치) 상에서 구현될 수 있다. 전술한 바 와 같이, 이러한 구성에 대해 다수의 서로 다른 가능한 동작 모드들이 존재한다.

상기 논의된 바와 같이, 도 28의 구성은 인터넷을 통하여 원격 장치와 시스템의 상호작용을 허용하도록 설계된다. 이러한 원격 장치가 이에 한정되는 것은 아니지만, 도 28은 웹 브라우저(2812)를 나타내고, 웹 브라우저(2812)는 이러한 원격 장치상에서 호스팅될 수 있다. 사용자는 웹 브라우저(2812)를 통해 시스템과 통신하여, 규칙 SDK(2806)를 이용하는 새로운 규칙을 생성할 수 있다. 경고는 시스템에 의해 생성되고, 하나 또는 그 이상의 외부 장치(도면에 도시되지 않음)로 전달될 수 있으며, 이것은 인터넷 및/또는 소정의 다른 통신 네트워크 또는 채널을 통하여 이루어질 수 있다.

또 다른 예로서, 본 발명의 시스템은 고유한 시스템 작업 부과 기능을 제공한다. 장치 제어 지시어를 이용하여, 현재의 비디오 시스템은 사용자가 비디오 센서를 위치시킬 수 있도록 하고, 몇몇의 복잡한 종래 시스템에서는 사용자가 관심 대상인 또는 관심 대상이 아닌 영역을 마스킹할 수 있도록 한다. 장비 제어 지시어는 비디오 카메라의 위치, 방위, 및 초점을 제어하기 위한 명령어이다. 본 발명의 시스템은 제1 작업 부과 메커니즘으로서 장치 제어 지시어 대신에, 비디오 프리미티브를 기반으로 한 이벤트 식별자를 이용한다. 이벤트 식별자 및 비디오 프리미티브에 의해, 시스템으로부터 유용한 정보를 추출하는 종래의 시스템에 대한 훨씬 더 직관적 방법이 오퍼레이터에게 제공된다. "카메라 A는 좌측으로 45°회전한다"와 같이, 장치 제어 지시어로 시스템에 작업을 부과하는 것보다는 오히려, "사람이 제한 영역 A에 진입한다"와 같이, 비디오 프리미티브를 기반으로 한 하나 또는 그 이 상의 이벤트 식별자에 의해 본 발명의 시스템은 인간-직관적 방법(human-intuitive manner)으로 작업이 부과될 수 있다.

시장 조사에 본 발명을 이용하면, 상점 내의 사람들 카운팅, 상점의 일부분 내의 사람들 카운팅, 상점 내 특정 위치에 정지하는 사람들 카운팅, 상점 내에서 사람들이 얼마나 긴 시간을 소비하는지 측정, 상점의 일부분에서 사람들이 얼마나 긴 시간을 소비하는지 측정, 및 상점 내의 라인의 길이 측정과 같이, 본 발명에 의해 수행될 수 있는 비디오 감시 타입의 예가 있다.

보안에 본 발명을 이용하면, 누군가 제한 영역에 진입하는 때의 판별 및 연관된 영상 저장, 이례적인 시간에 사람이 소정의 영역에 진입하는 때의 판별, 권한이 부여되지 않은 선반 공간 및 저장 공간에 변화가 발생하는 때의 판별, 비행기 탑승객이 조종석에 접근하는 때의 판별, 사람들이 보안 포털을 통하여 테일게이팅(tailgating)하는 때의 판별, 공항에 방치된 가방이 있는지 여부의 판별, 및 자산의 도난이 있는지 여부의 판별과 같이, 본 발명에 의해 수행될 수 있는 비디오 감시 타입의 예가 있다.

예시적인 애플리케이션 영역은 액세스 제어일 수 있는데, 액세스 제어는, 예를 들어, 사람이 울타리를 타고 넘거나 금지 영역에 입장하는지의 여부 검출, 누군가가 잘못된 방향으로 이동하는지(예를 들어, 공항에서, 출구를 통하여 보안 영역으로 진입하는지)의 검출, 관심 대상의 영역에서 검출된 객체의 수가, 입장을 위한 RFID 태그 또는 스와이프 카드(card-swipes) 기반의 기대 수치와 일치하지 않는지 여부, 즉 권한이 없는 사람의 존재를 나타내는지를 판별하는 것을 포함할 수 있다. 또한, 이것은 주거 애플리케이션에 유용할 수 있는데, 여기서 비디오 감시 시스템은 사람과 애완동물의 모션을 구별할 수 있을 수도 있고, 그에 따라 대부분의 잘못된 경보를 제거할 수 있다. 다수의 주거 애플리케이션에 있어서 프라이버시는 중요할 수 있다는 것에 주목하라. 예를 들어, 자택 소유자는 또 다른 사람이 원격으로 자택을 모니터링하는 것을 원하지 않을 수 있고, 자신의 집에 무엇이 있는지와 무엇이 발생하고 있는지를 볼 수 있는 것을 원하지 않을 수 있다. 따라서, 이러한 애플리케이션에 이용되는 몇몇 실시예에 있어서, 비디오 처리가 국부적으로 수행될 수 있고, 필요할 경우(이에 한정되지 않지만, 예를 들어, 범죄 액티비티 또는 다른 위험한 상황의 검출)에만 선택적인 비디오 또는 스냅샷이 하나 또는 그 이상의 원격 모니터링 스테이션 으로 송신될 수 있다.

또 다른 예시적인 애플리케이션 영역은 자산 모니터링일 수 있다. 이것은, 객체가 장면에서 사라지는지 여부, 예를 들어, 박물관으로부터 가공품이 제거되는지 여부의 검출을 의미할 수 있다. 세부 환경에서, 자산 모니터링은 그것에 대한 몇몇 형태를 가질 수 있고, 예를 들어, 한 사람이 의심스럽게 많은 수의 주어진 물품들을 가져가는지 여부의 검출, 사람이 입구를 통해 퇴장하는지, 특히 쇼핑카트를 밀면서 입구를 통해 퇴장하는지의 여부 판별, 예를 들어, 값비싼 타입의 커피로 가방을 채우지만 덜 비싼 타입의 가격표를 이용하는 경우와 같이 사람이 일치하지 않는 가격표를 물품에 부착하는지 여부의 판별, 또는 사람이 큰 박스가 담긴 로딩 도크를 남겨두는지 여부의 검출을 포함할 수 있다.

또 다른 예시적인 애플리케이션 영역은 안전을 위한 것일 수 있다. 이것은 예를 들어, 사람이 상점이나 주차장에서 미끄러지며 넘어지는지 여부의 검출, 자동차가 주차장 내에서 너무 빠르게 주행하는지 여부의 검출, 기차가 없는 기차역이나 지하철역에서 사람이 플랫폼의 가장자리에 너무 근접하는지 여부의 검출, 사람이 레일에 있는지 여부의 검출, 기차가 이동하기 시작할 때 사람이 기차의 문에 끼여 있는지 여부의 검출, 또는 시설에 진입하고 떠나는 사람들의 수를 카운팅하여 비상시에 매우 중요할 수 있는 정확한 인원수를 기록하는 것을 포함할 수 있다.

또 다른 예시적인 애플리케이션 영역은 트래픽 모니터링일 수도 있다. 이것은 특히, 다리 또는 터널과 같은 장소에서 차량이 정지하였는지 여부의 검출, 또는 차량이 주차 지역이 아닌 곳에 주차하는지 여부의 검출을 포함할 수도 있다.

또 다른 예시적인 애플리케이션 영역은 테러리즘 방지일 수 있다. 이것은 몇몇의 전술한 애플리케이션에 부가하여, 공항의 중앙홀에서 객체가 뒤에 남겨져 있는지 여부, 객체가 울타리를 넘어 던져지는지 여부, 또는 레일 트랙에 객체가 남겨져 있는지 여부의 검출, 중요한 사회기반 시설(critical infrastructure) 주위에 사람의 배회 또는 차량의 선회 검출, 또는 항구 또는 개빙 구역(open waters)에서 배에 접근하는 고속의 보트 검출을 포함할 수 있다.

또 다른 예시적인 애플리케이션 영역은 심지어 집안에 있는, 병자 및 중장년층을 위한 보호일 수도 있다. 이것은 예를 들어, 사람이 쓰러지는지 여부의 검출, 또는 장기간 동안 주방에 진입하지 않는 것과 같이, 이례적인 행위의 검출을 포함할 수 있다.

도 1은 본 발명의 비디오 감시 시스템의 평면도를 예시한다. 컴퓨터 시스 템(11)은 본 발명에 따른 컴퓨터(12)를 동작시키기 위한 소프트웨어를 포함하는 컴퓨터-판독가능 매체(13)를 갖는 컴퓨터(12)를 포함한다. 컴퓨터 시스템(11)은 하나 또는 그 이상의 비디오 센서(14), 하나 또는 그 이상의 비디오 레코더(15) 및 하나 또는 그 이상의 입력/출력(I/O) 장치(16)에 연결된다. 또한, 비디오 센서(14)는 비디오 감시 데이터의 직접 레코딩을 위하여 비디오 레코더(15)에 선택적으로 연결될 수도 있다. 컴퓨터 시스템은 다른 센서(17)에 선택적으로 연결된다.

비디오 센서(14)는 컴퓨터 시스템으로 소스 비디오를 제공한다. 각각의 비디오 센서(14)는 예를 들어, 직접 접속(예를 들어, 파이어와이어(firewire) 디지털 카메라 인터페이스) 또는 네트워크를 이용하여 컴퓨터 시스템(11)에 연결될 수 있다. 비디오 센서(14)는 본 발명의 설치 이전에 존재할 수도 있고, 또는 본 발명의 일부분으로 설치될 수도 있다. 비디오 센서(14)의 예는, 비디오 카메라, 디지털 비디오 카메라, 컬러 카메라, 흑백 카메라, 카메라, 캠코더, PC 카메라, 웹캠, 적외선 비디오 카메라, 및 CCTV 카메라를 포함한다.

비디오 레코더(15)는 레코딩을 위하여 컴퓨터 시스템(11)으로부터 비디오 감시 데이터를 수신하고, 및/또는 컴퓨터 시스템(11)으로 소스 비디오를 제공한다. 각 비디오 레코더(15)는 예를 들어, 직접 접속 또는 네트워크를 이용하여 컴퓨터 시스템(11)에 연결될 수 있다. 비디오 레코더(15)는 본 발명의 설치 이전에 존재할 수도 있고, 또는 본 발명의 일부분으로 설치될 수도 있다. 컴퓨터 시스템(11)의 비디오 감시 시스템은 언제, 어떠한 품질로 비디오 레코더(15)가 비디오를 레코딩할 것인지의 셋팅을 제어할 수 있다. 비디오 레코더(15)의 예는, 비디오 테이프 레코 더, 디지털 비디오 레코더, 네트워크 비디오 레코더, 비디오 디스크, DVD, 및 컴퓨터-판독가능 매체를 포함한다. 또한, 시스템은 비디오 인코더 및 스트리밍 프로토콜을 제어함으로써, 네트워크를 통해 스트리밍된 비디오의 품질 및 대역폭을 변조할 수 있다. 관심 대상의 액티비티가 검출될 경우, 보다 높은 비트-레이트, 프레임-레이트, 또는 해상도의 영상이 인코딩 및 스트리밍될 수 있다.

I/O 장치(16)는 컴퓨터 시스템(11)으로 입력을 제공하고, 컴퓨터 시스템(11)으로부터 출력을 수신한다. I/O 장치(16)는 컴퓨터 시스템(11)에 작업을 부과하고, 컴퓨터 시스템(11)으로부터 보고를 생성하는데 이용될 수 있다. I/O 장치(16)의 예는, 키보드, 마우스, 스타일러스(stylus), 모니터, 프린터, 또 다른 컴퓨터 시스템, 네트워크 및 알람을 포함한다.

다른 센서(17)는 컴퓨터 시스템(11)으로 부가적인 입력을 제공한다. 각각의 다른 센서(17)는 예를 들어, 직접 접속 또는 네트워크를 이용하여 컴퓨터 시스템(11)에 연결될 수 있다. 다른 센서(17)는 본 발명의 설치 이전에 존재할 수도 있고, 또는 본 발명의 일부분으로 설치될 수도 있다. 또 다른 센서(17)의 예는, 모션 센서, 광학 트립와이어, 생체 계측 센서, RFID 센서, 및 카드 기반 또는 키패드 기반의 인증 시스템을 포함하지만, 이에 한정되지 않는다. 다른 센서(17)의 출력은 컴퓨터 시스템(11), 레코딩 장치, 및/또는 레코딩 시스템에 의해 레코딩될 수 있다.

도 2는 본 발명의 비디오 감시 시스템에 대한 흐름도를 예시한다. 본 발명의 다양한 형태는 도 10 내지 15를 참조하여 예시되는데, 도 10 내지 15는 식료품점을 모니터링하는데 적용되는 본 발명의 비디오 감시 시스템의 예를 나타낸다.

블록(21)에서, 비디오 감시 시스템은 도 1에 대해 논의된 바와 같이 설정된다. 각각의 비디오 센서(14)는 비디오 감시를 위한 위치로 방향을 맞춘다. 컴퓨터 시스템(11)은 비디오 장비(14 및 15)로부터의 비디오 피드부에 접속된다. 비디오 감시 시스템은 위치에 대한 기존의 장비 또는 새로이 설치된 장비를 이용하여 구현될 수 있다.

블록(22)에서, 비디오 감시 시스템은 교정된다. 일단, 블록(21)로부터 비디오 감시 시스템이 위치되면, 교정이 발생한다. 블록(22)의 결과는, 비디오 센서에 의해 제공되는 비디오 이미지에서 각종 위치의 특정 객체(예를 들어, 사람)의 속력 및 근사 절대 크기(approximate absolute size)를 결정하기 위한 비디오 감시 시스템의 능력이다. 시스템은 수동 교정, 반자동 교정, 및 자동 교정을 이용하여 교정될 수 있다. 교정은 블록(24)의 설명 이후에 추가 설명된다.

도 2의 블록(23)에서, 비디오 감시 시스템에는 직업이 부과된다. 작업 부과는 블록(22)에서 교정 이후 발생하고, 선택가능하다. 비디오 감시 시스템에 작업을 부과하는 것은 하나 또는 그 이상의 식별자를 특정하는 것을 포함한다. 도 4의 블록(45)에서와 같이, 작업 부과 없이, 임의의 액션을 취하지 않고 비디오 프리미티브 및 연관된 비디오 영상을 검출 및 아카이브함으로써, 비디오 감시 시스템은 동작한다.

도 3은 이벤트 식별자를 결정하기 위한 비디오 감시 시스템에 작업을 부과하는 흐름도를 예시한다. 이벤트 식별자는 하나 또는 그 이상의 공간적 속성 및/또는 하나 또는 그 이상의 시간적 속성과 선택적으로 상호작용하는 하나 또는 그 이상의 객체를 나타낸다. 이벤트 식별자는 (액티비티 기술 메타데이터(activity description meta-data)라고도 지칭되는) 비디오 프리미티브에 관하여 기술된다. 몇몇의 비디오 프리미티브 설계 기준은 비디오 스트림으로부터 실시간으로 추출되는 능력, 비디오로부터의 모든 관련 정보의 포괄(inclusion), 및 표현의 간결함을 포함한다.

비디오 스트림으로부터의 비디오 프리미티브의 실시간 추출은 시스템이 실시간 경고를 생성할 수 있도록 하기에 바람직하고, 이렇게 하면, 비디오가 연속적인 입력 스트림을 제공하기 때문에, 시스템은 뒤떨어질 수 없다.

비디오 프리미티브를 추출할 시에 사용자-정의 규칙이 시스템으로 공지되지 않기 때문에, 비디오 프리미티브는 비디오로부터의 모든 관련 정보도 포함하여야 한다. 따라서, 비디오 프리미티브는, 비디오로 되돌려서 그것을 재분석할 필요 없이, 사용자에 의해 특정된 소정의 이벤트를 검출할 수 있는 정보를 포함하여야 한다.

또한, 다수의 이유로 인하여 간결한 표현이 바람직하다. 제안된 발명의 하나의 목적은 감시 시스템의 저장 리사이클 시간을 연장하는 것일 수 있다. 전술한 바와 같이, 항상 양호한 품질의 비디오를 저장하는 것을, 액티비티 기술 메타-데이터 및 액티비티의 존재에 종속하는 품질을 갖는 비디오를 저장하는 것으로 대체함으로써, 저장 리사이클 시간 연장이 달성될 수 있다. 따라서, 비디오 프리미티브가 보다 간결해짐에 따라, 보다 많은 데이터가 저장될 수 있다. 게다가, 비디오 프리미 티브의 표현이 보다 간결해짐에 따라, 데이터 액세스가 더 빨라지며, 이것은 차례로 과학 수사 검색의 속도를 높일 수도 있다.

비디오 프리미티브의 추출 컨텐츠는 관심 대상의 잠재적인 이벤트 및 애플리케이션에 종속할 수 있다. 몇몇의 예시적인 실시예들은 아래에서 설명된다.

비디오 프리미티브의 예시적인 실시예는 전체 장면 및 비디오를 기술하는 장면/비디오 기술자(descriptor)를 포함할 수 있다. 일반적으로, 이것은 장면 출현의 상세 기술 예를 들어, 하늘, 나뭇잎, 인공 객체, 물 등의 위치 및/또는 기상 상태 예를 들어, 강수, 안개 등의 존재/부재를 포함할 수도 있다. 비디오 감시 애플리케이션에 대하여, 예를 들어, 전체 뷰에서의 변화는 중요할 수도 있다. 예시적인 기술자는 갑작스러운 조명의 변화를 기술할 수 있는데, 그것들은 카메라 모션, 특히 카메라가 이동하기 시작하거나 정지한 사실과, 후자의 경우에 그것을 이전의 뷰 또는 적어도 이전의 공지된 뷰로 복귀하였는지의 여부를 지시할 수 있고, 그것들은 비디오 피드를 갖는 템퍼링(tempering)을 잠재적으로 지시하는, 예를 들어, 갑자기 더 소란스러워지거나 어두워졌을 경우에 비디오 피드의 품질에서의 변화를 지시하며, 또는 그것들은 수역(body of water)을 따라 수위를 변경하는 것을 보여줄 수 있다(이러한 후자의 문제점으로의 특정 접근법에 관한 추가 정보에 대하여, 예를 들어, 본 명세서에 참조로서 포함되며, 2004년 10월 1일자로 출원되어 계류 중인 미국특허출원 제10/954,479호를 참조할 수도 있다).

비디오 프리미티브의 또 다른 예시적인 실시예는 비디오 피드에서 보여지는 객체의 식별가능한 속성을 나타내는 객체 기술자를 포함할 수 있다. 정보가 객체에 대하여 저장되는 것은 애플리케이션 영역 및 이용가능한 처리 능력에 종속할 수 있다. 예시적인 객체 기술자는 크기, 형상, 경계(perimeter), 위치, 궤도(trajectory), 모션의 방향 및 속력, 모션 돌출(salience) 및 그 특징 , 컬러, 강도(rigidity), 텍스쳐(texture), 및/또한 분류를 포함하는 일반적인 속성을 포함할 수 있지만, 이에 한정되지 않는다. 또한, 객체 기술자는 보다 많은 애플리케이션 및 타입 특정 정보를 포함할 수 있는데, 인간에 대하여, 이것은 피부톤의 비율 및 존재, 성별 및 인종 정보, 인간의 형상 및 자세를 기술하는 몇몇 사람의 인체 모델을 포함할 수도 있고, 또는 차량에 대하여, 그것은 타입(예를 들어, 트럭, SUV, 세단, 자전거, 등), 구조, 모델, 차번호판 허가를 포함할 수도 있다. 또한, 객체 기술자는 객체 운반, 달리기, 걷기, 일어서기, 또는 팔 들어올리기를 포함하는 액티비티를 포함할 수 있지만, 이에 한정되지 않는다. 말하기, 싸움 또는 충돌과 같은 몇몇의 액티비티는 다른 객체를 나타낼 수도 있다. 객체 기술자는 안면 또는 걸음걸이를 포함하는 식별 정보를 포함할 수도 있지만, 이에 한정되지 않는다.

비디오 프리미티브의 또 다른 예시적인 실시예는 비디오의 모든 영역의 모션의 방향을 기술하는 흐름 기술자를 포함할 수 있다. 이러한 기술자는 예를 들어, 금지된 방향으로의 소정의 모션을 검출함으로써, 패스백(passback) 이벤트를 검출하는데 이용될 수 있다(이러한 후자의 문제점으로의 특정 접근법에 관한 추가 정보에 대하여, 예를 들어, 본 명세서에 참조로서 포함되며, 2004년 1월 30일자로 출원되어 계류 중인 미국특허출원 제10/766,949호를 참조할 수도 있다).

또한, 프리미티브는 오디오 센서, 열 센서, 압력 센서, 카드 리더기, RFID 태그, 생체 인식 센서 등과 같은 넌-비디오(non-video) 소스로부터 유래될 수 있다.

분류는 객체의 식별을 특정 카테고리 또는 클래스에 속하는 것으로 나타낸다. 분류의 예는, 사람, 개, 차량, 경찰차, 개인, 및 특정 타입의 객체를 포함한다.

크기는 객체의 치수(dimensional) 속성을 나타낸다. 크기의 예는, 커다란 것, 중간의 것, 작은 것, 평평한 것, 6 피트보다 긴 것, 1 피트보다 짧은 것, 3 피트보다 넓은 것, 4 피트보다 얇은 것, 인간의 크기 정도인 것, 인간보다 큰 것, 인간보다 작은 것, 자동차의 크기 정도인 것, 픽셀에서 근사 차수를 갖는 이미지 내의 사각형, 및 다수의 이미지 픽셀을 포함한다.

위치는 객체의 공간적 속성을 나타낸다. 위치는, 예를 들어, 픽셀 좌표에서의 이미지 위치, 몇몇의 세계 좌표계(world coordinate system)에서의 절대 실세계 위치, 또는 랜드마크 또는 또 다른 객체와의 상대적인 위치일 수 있다.

컬러는 객체의 색채 속성을 나타낸다. 컬러의 예는, 백색, 흑색, 회색, 붉은색, HSV 값의 범위, YUV 값의 범위, RGB 값의 범위, RGB 값의 평균값, YUV 값의 평균값, RGB 값들의 히스토그램을 포함한다.

강도는 객체의 형상 경도(consistency) 속성을 나타낸다. 비-강체(non-rigid) 객체(예를 들어, 사람 또는 동물)의 형상은 프레임마다 변경시킬 수 있는 반면, 강체 객체(예를 들어, 차량 또는 집)는 (아마도, 회전(turning)으로 인해 약간 변경시킬 수 있는 것을 제외하고는) 프레임마다 크게 변경시킬 수 없다.

텍스쳐는 객체의 패턴 속성을 나타낸다. 텍스쳐 특징의 예는, 자기-유사성(self-similarity), 스펙트럼 전력, 선형성, 및 조도(coarseness)를 포함한다.

내부 모션은 객체 강도의 측정을 나타낸다. 상당한 강체 객체의 예는 자동차인데, 자동차는 상당한 양의 내부 모션을 보여주지 않는다. 상당한 비-강체 객체의 예는 흔들리는 팔과 다리를 가진 사람인데, 사람은 상당한 양의 내부 모션을 보여준다.

모션은 자동적으로 검출될 수 있는 소정의 모션을 나타낸다. 모션의 예는, 객체의 출현, 객체의 사라짐, 객체의 수평 이동, 객체의 수직 이동, 및 객체의 주기적 이동을 포함한다.

돌출 모션(salient motion)은 자동으로 검출될 수 있으며, 얼마간의 시간 동안 추적될 수 있는 소정의 모션을 나타낸다. 이러한 이동 객체는 명백한 목적이 있는 모션을 나타낸다. 돌출 모션의 예는, 한 장소로부터 또 다른 장소로의 이동, 및 또 다른 객체와 상호작용하기 위한 이동을 포함한다.

돌출 모션의 특징은 돌출 모션의 속성을 나타낸다. 돌출 모션의 특징의 예는, 궤도, 이미지 공간에서의 궤도의 길이, 환경의 3차원 표현에서의 궤도의 근사 길이, 시간의 함수인 이미지 공간에서의 객체의 위치, 시간의 함수인 환경의 3차원 표현에서의 객체의 근사 위치, 궤도의 지속 기간(duration), 이미지 공간에서의 속도(예를 들어, 속력 및 방향), 환경의 3차원 표현에서의 근사 속도(예를 들어, 속력 및 방향), 소정의 속도에서의 시간의 지속 기간, 이미지 공간에서의 속도의 변화, 환경의 3차원 표현에서의 속도의 근사 변화, 속도 변화의 지속 기간, 모션의 중지, 및 모션 중지의 지속 기간을 포함한다. 속도는 특정 시간에서의 객체의 속력 및 방향을 나타낸다. 궤도는 물체가 추적될 수 있는 시간 동안, 또는 소정의 시간 주기 동안 객체에 대한 (위치, 속도) 쌍의 세트를 나타낸다.

장면 변화는, 소정의 시간에 걸친 변화에 따라 검출될 수 있는 장면의 소정의 영역을 나타낸다. 장면 변화의 예는, 장면을 떠나는 고정 객체, 장면에 등장하여 고정되는 객체, 장면에서 위치를 변경하는 객체, 및 외관(예를 들어, 컬러, 형상, 또는 크기)을 변경하는 객체를 포함한다.

장면 변화의 특징은 장면 변화의 속성을 나타낸다. 장면 변화의 특징의 예는, 이미지 공간에서의 장면 변화의 크기, 환경의 3차원 표현에서의 장면 변화의 근사 크기, 장면 변화가 발생한 시간, 이미지 공간에서의 장면 변화의 위치, 및 환경의 3차원 표현에서의 장면 변화의 근사 위치를 포함한다.

사전정의된 모델은 객체의 선험적 공지 모델(a priori known model)을 나타낸다. 사전정의된 모델의 예는, 성인, 아이, 차량, 및 세미-트레일러를 포함한다.

도 16a은 본 발명의 일 실시예에 따른 비디오 감시 시스템의 예시적인 비디오 분석부를 나타낸다. 도 16a에서, 비디오 센서(예를 들어, 비디오 카메라를 포함하지만, 이에 한정되지 않음)(1601)는 비디오 스트림(1602)을 비디오 분석 서브시스템(1603)으로 제공할 수 있다. 그 후, 비디오 분석 서브시스템(1603)은 비디오 스트림(1602)의 분석을 수행하여, 비디오 프리미티브를 얻을 수 있는데, 여기서 비디오 프리미티브는 프리미티브 저장부(1605)에 저장될 수 있다. 프리미티브 저장부(1605)는 넌-비디오 프리미티브를 저장하는데도 이용될 수 있다. 전술한 바와 같 이, 비디오 분석 시스템(1603)은 비디오 저장부(1604) 내의 비디오 스트림(1602)의 전부 또는 일부의 저장(예를 들어, 비디오의 품질 및/또는 양)을 제어할 수도 있다.

이하, 도 16b를 참조하면, 일단 비디오와, 다른 센서들이 있는 경우, 넌-비디오 프리미티브(161)가 이용가능하면, 시스템은 이벤트를 검출할 수 있다. 사용자는 규칙 및 응답 정의 인터페이스(162)를 이용하여 규칙(163) 및 대응 응답(164)을 정의함으로써 시스템에 작업을 부과한다. 규칙이 이벤트 식별자로 번역되고, 시스템은 대응 이벤트 발생(occurrence)을 추출한다(165). 검출된 이벤트 발생(166)은 사용자 정의된 응답(167)을 트리거한다. 응답은 (도 16a의 비디오 저장부(1604)와 동일하거나 동일하지 않을 수 있는) 비디오 저장부(168)로부터 검출된 이벤트의 비디오의 스냅샷을 포함할 수도 있다. 비디오 저장부(168)는 비디오 감시 시스템의 일부일 수도 있고, 또는 별도의 레코딩 장치(15)일 수도 있다. 응답의 예는, 시스템 디스플레이 상에 비주얼 및/또는 오디오 경고를 구동시키는 것, 소정의 위치에 비주얼 및/또는 오디오 알람 시스템을 구동시키는 것, 무성 알람(silent alarm)을 구동시키는 것, 신속한 응답 메커니즘을 구동시키는 것, 문을 잠그는 것, 보안 서비스에 접속하는 것, 이에 한정되지 않지만, 인터넷과 같은 네트워크를 통해 또 다른 컴퓨터 시스템으로 데이터(예를 들어, 이미지 데이터, 비디오 데이터, 비디오 프리미티브 및/또는 분석 데이터)를 포워딩 또는 스트리밍하는 것, 이러한 데이터를 지정된 컴퓨터-판독가능 매체에 저장하는 것, 몇몇 다른 센서 또는 감시 시스템을 구동시키는 것, 컴퓨터 시스템(11) 및/또는 또 다른 컴퓨터 시스템에 작업을 부 과하는 것, 및/또는 컴퓨터 시스템(11) 및/또는 또 다른 컴퓨터 시스템에 지시를 보내는 것을 포함할 수 있지만, 이에 한정될 필요는 없다.

프리미티브 데이터는 데이터베이스에 저장된 데이터로서 고려될 수 있다. 데이터베이스에서 이벤트 발생을 검출하기 위해서는, 효율적인 질의 언어가 요구된다. 본 발명의 시스템의 실시예는 액티비티 추론 언어(activity inferencing language)를 포함할 수 있는데, 이는 아래에서 설명될 것이다.

종래의 관계 데이터베이스 질의 스키마(schema)는 종종, 사용자가 다양한 타입의 저장된 데이터에 대한 유연한 질의를 생성하도록 하기 위하여, 부울 2진 트리 구조를 따른다. 리프 노드(leaf node)는 일반적으로 "속성 관계 값(property relationship value)"의 형태인데, 여기서, 속성은 (시간 또는 명칭과 같은) 데이터의 몇몇 중요한 특징이고, 관계는 일반적으로 수치 연산자(">", "<", "=", 등)이며, 값은 그 속성에 대한 유효 상태이다. 가지 노드(branch node)는 일반적으로, "and", "or", 및 "not"과 같은 1진 또는 2진 부울 논리 연산자를 나타낸다.

본 발명의 실시예에서와 같이, 이것은 액티비티 질의 공식 스키마의 기초를 형성할 수 있다. 비디오 감시 애플리케이션의 경우, 속성은 크기, 속력, 컬러, 분류(인간, 차량)와 같이, 비디오 스트림에서 검출된 객체의 특징일 수도 있고, 또는 장면 변화 속성일 수도 있다. 도 17은 이러한 질의를 이용하는 예를 제시한다. 도 17a에서, "소정의 붉은색 차량을 보여주세요"라는 질의(171)가 제기된다. 이것은 객체의 분류가 차량(173)인지 여부 및 그것의 컬러가 아주 붉은색인지(174) 여부를 테스팅하는, 2개의 "속성 관계 값"(또는 단순히 "속성") 질의로 분해될 수 있다. 이 2개의 서브-질의들은 부울 연산자 "and"(172)와 결합될 수 있다. 유사하게, 도 17b에서, "카메라 이동하기 시작하거나 정지할 때에 나에게 보여주세요"라는 질의는, 속성 서브-질의 즉, "카메라가 이동을 시작하였다"(177)와 "카메라가 이동을 정지하였다"(178)의 부울 "or"(176) 결합으로서 표현될 수 있다.

본 발명의 실시예는 이러한 타입의 데이터베이스 질의 스키마를 2개의 예시적인 방식, 즉 (1) 기초 리프 노드는 장면 내의 공간적 액티비티를 기술하는 액티비티 검출자로 인하여 확대될 수 있고, (2) 부울 연산자 가지 노드는 공간적, 시간적 및 객체 상호관계를 특정하는 변경자로 인하여 확대될 수 있는 방식으로 연장할 수 있다.

액티비티 검출자는 비디오 장면 영역과 관련된 행위에 대응한다. 액티비티 검출자는 객체가 장면 내의 위치와 어떻게 상호작용할 수 있는지를 기술한다. 도 18은 3개의 예시적인 액티비티 검출자를 예시한다. 도 18a는 가상 비디오 트립와이어를 이용하여 특정 방향에서 경계를 교차하는 행위를 나타낸다(이러한 가상 비디오 트립와이어가 어떻게 구현될 수 있는지에 대한 추가 정보에 대하여, 예를 들어, 미국특허 제6,696,945호를 참조할 수 있다). 도 18b는 레일 트랙에서 소정의 시간 동안 배회하는 행위를 나타낸다. 도 18c는 벽의 한 섹션으로부터 무엇인가를 가져가는 행위를 나타낸다(이것이 어떻게 수행될 수 있는지에 대한 예시적인 접근법에 대하여, 2003년 1월 30일자로 출원된, "Video Scene Background Maintenance-Change Detection & Classification"이란 명칭의 미국특허출원 제10/331,778호를 참조할 수 있다). 다른 예시적인 액티비티 검출자는 넘어지는 사람 검출, 방향 또 는 속력을 변경하는 사람 검출, 소정의 영역에 진입하는 사람 검출, 또는 잘못된 방향으로 가는 사람 검출을 포함할 수 있다.

도 19는 액티비티 검출자 리프 노드가 붉은색 차량이 비디오 트립와이어를 교차하는지 여부를 검출하기 위한 단순한 속성 질의(191)와 어떻게 결합될 수 있는지의 예를 예시한다. 속성 질의(172, 173, 174) 및 액티비티 검출자(193)는 부울 "and" 연산자(192)와 결합된다.

변경된 부울 연산자(결합자)와 질의를 결합하는 것은 유연성을 더 추가할 수 있다. 예시적인 변경자는 공간적, 시간적, 객체 및 카운터 변경자(counter modifier)를 포함한다.

공간적 변경자는 부울 연산자로 하여금 장면 내의 근사적/비근사적인 자식 액티비티(child activity)(즉, 예를 들어, 도 19에서 부울 연산자 아래에 도시된 바와 같이, 부울 연산자의 변수(argument)) 상에서만 동작하도록 할 수 있다. 예를 들어, "50 픽셀 이내의 and"는, 액티비티들 사이의 거리가 50 픽셀보다 짧을 시에 "and"만 적용된다는 것을 의미하는데 이용될 수 있다.

시간적 변경자는 부울 연산자로 하여금 서로의 특정된 시간, 이러한 시간 주기 이외의 시간, 또는 시간의 범위 내에 발생하는 자식 액티비티 상에서만 동작하도록 할 수 있다. 또한, 이벤트의 시간 순서는 특정될 수도 있다. 예를 들어, "두 번째의 10 초 이내의 첫 번째 and"는 제2 자식 액티비티가 제1 자식 액티비티 이후의 10 초 이내에 발생할 시에 "and"만 적용된다는 것을 의미하는데 이용될 수 있다.

객체 변경자는 부울 연산자로 하여금 동일한 또는 상이한 객체의 포함을 발생시키는 자식 액티비티 상에서만 동작하도록 할 수 있다. 예를 들어, "동일한 객체를 포함하는 and"는 2개의 자식 액티비티들이 동일한 특정 객체를 포함할 시에 "and"만 적용된다는 것을 의미하는데 이용될 수 있다.

카운터 변경자는 부울 연산자로 하여금 그 조건(들)이 규정된 횟수를 충족할 시에만 트리거되도록 할 수 있다. 일반적으로, 카운터 변경자는 "적어도 n번", "정확히 n번", "많아야 n번" 등과 같이, 수치 관계를 포함할 수 있다. 예를 들어, "적어도 2번의 or"은 적어도 2개의 "or" 연산자 서브-질의의가 사실이어야 한다는 것을 의미하는데 이용될 수 있다. 카운터 변경자의 또 다른 이용은 "동일한 사람이 선반에서 적어도 5개의 물품을 가져갈 경우에 경고하라"와 같은 규칙을 구현하는 것일 수 있다.

도 20은 결합자의 이용의 예를 예시한다. 여기서, 요구된 액티비티 질의는 "불법 좌회전하는 붉은색 차량을 찾아라"(201)이다. 불법 좌회전은 액티비티 기술자와 변경된 부울 연산자의 결합을 통해 캡쳐될 수 있다. 하나의 가상 트립와이어는 옆길(193)에서 나오는 객체를 검출(193)하는데 이용될 수 있고, 또 다른 가상 트립와이어는 도로를 따라 좌측으로 이동하는 객체를 검출(205)하는데 이용될 수 있다. 이것들은 변경된 "and" 연산자(202)에 의해 결합될 수 있다. 표준 부울 "and" 연산자는 액티비티들(193 및 205) 모두가 검출되어야 한다는 것을 보증한다. 객체 변경자(203)는 동일한 객체가 트립와이어 모두를 교차하는 것을 확인하는 한편, 시간적 변경자(204)는 객체가 첫 번째로 하부-상부 트립와이어(193)가 교차되고, 그 이후 10 초 이내에 우측-좌측 트립와이어의 교차가 수반되는 것을 확인한다.

또한, 이러한 예는 결합자의 전원도 지시한다. 이론적으로, 좌회전에 대한 별도의 액티비티 검출자를 정의하는 것은 단순 액티비티 검출자 및 결합자에 종속하지 않고도 가능하다. 하지만, 그 검출자는 유연성이 없어, 임의의 회전 각 및 방향을 적합하게 하는 것을 어렵게 할 수 있으며, 또한 모든 잠재적인 이벤트에 대해 별도의 검출자를 기록하는 것은 성가실 수 있다. 이에 비해, 결합자와 단순 검출자를 이용하는 것은 큰 유연성을 제공한다.

보다 단순한 결합으로서 검출될 수 있는 복잡한 액티비티의 다른 예는, 그룹을 형성하고, 테일게이팅하는 자동차 또는 다수의 사람들로부터 벗어나는 사람, 및 주차하는 자동차를 포함할 수 있다. 또한, 이러한 결합자들은 상이한 타입 및 소스의 프리미티브들을 결합할 수도 있다. 예들은, "전등이 꺼지기 전에 방 안에 있는 사람을 보여주세요", "이전의 카드-스와이프(card-swipe) 없이 문에 진입하는 사람을 보여주세요" 또는 "관심 대상의 영역이 RFID 태그 리더기에 의해 예상된 것보다 더 많은 객체를 가지는지 여부(즉, 불법 객체가 RFID 태그가 없이 해당 영역 내에 있는지 여부)를 보여주세요"와 같은 규칙을 포함할 수 있다.

결합자는 임의의 수의 서브-질의들을 결합시킬 수 있으며, 심지어 다른 결합자를 임의의 깊이로 결합시킬 수도 있다. 도 21a 및 도 21b에서 예시된 예는, 자동차가 죄회전(2101)하고, 그 후 우회전(2104)하는 경우를 검출하는 규칙일 수 있다. 좌회전(2101)은 방향 트립와이어(directional tripwire)(2102 및 2103)에 의해 검출될 수 있는 반면에, 우회전(2104)은 방향 트립와이어(2105 및 2106)에 의해 검출 될 수 있다. 좌회전은, 트립와이어(2102 및 2103)와 각각 대응하는 트립와이어 액티비티 검출자(2112 및 2113)로서 표현될 수 있으며, 객체 변경자(2117) "동일" 및 시간적 변경자(2118) "2113하기 이전의 2112"를 갖는 "and" 결합자(2111)에 결합된다. 이와 유사하게, 우회전은, 트립와이어(2105 및 2106)에 각각 대응하는 트립와이어 액티비티 검출자(2115 및 2116)로서 표현될 수 있으며, 객체 변경자(2119) "동일" 및 시간적 변경자(2120) "2116하기 이전의 2115"를 갖는 "and" 결합자(2114)에 결합된다. 첫 번째 좌회전한 후 우회전한 동일 객체를 검출하기 위하여, 좌회전 검출자(2111) 및 우회전 검출자(2114)는 객체 변경자(2122) "동일" 및 시간적 변경자(2123) "2114하기 이전의 2111"를 갖는 "and 결합자(2121)에 결합된다. 마지막으로, 검출된 객체가 차량인지를 보증하기 위하여, 부울 "and" 연산자(2125)는 좌우회전 검출자(2121) 및 속성 질의(2124)를 결합하는데 이용된다.

이 모든 검출자들은 시간적 속성들과 선택적으로 결합될 수 있다. 시간적 속성의 예는, 매 15분 마다, 오후 9:00 및 오전 6:30 사이, 5분 이내, 30초 이상, 및 주말 내내를 포함한다.

도 2의 블록(24)에서는, 비디오 감시 시스템이 동작한다. 본 발명의 비디오 감시 시스템은 자동으로 동작하고, 소정의 장면 내의 객체의 비디오 프리미티브를 검출 및 아카이브하며, 이벤트 식별자를 이용하여 실시간으로 이벤트 발생을 검출한다. 또한, 액션은, 알람 구동, 보고 생성, 출력 생성과 같이, 실시간으로 적절하게 행해진다. 보고 및 출력은 인터넷과 같은 네트워크를 통해 시스템 또는 그 외 장소에 국부적으로 저장 및/또는 디스플레이될 수 있다. 도 4는 비디오 감시 시스 템을 동작시키는 흐름도를 예시한다.

블록(41)에서, 컴퓨터 시스템(11)은 비디오 센서(14) 및/또는 비디오 레코더(15)로부터 소스 비디오를 얻는다.

블록(42)에서, 비디오 프리미티브는 상기 소스 비디오로부터 실시간으로 추출된다. 선택적으로, 넌-비디오 프리미티브는 하나 또는 그 이상의 다른 센서들(17)로부터 추출 및/또는 얻을 수 있고, 본 발명에서 이용될 수 있다. 비디오 프리미티브의 추출은 도 5에 예시된다.

도 5는 비디오 감시 시스템에 대한 비디오 프리미티브를 추출하는 흐름도를 예시한다. 블록(51) 및 블록(52)는 병렬로 동작하며, 임의의 순서로 또는 동시에 수행될 수 있다. 블록(51)에서, 객체는 이동을 통해 검출된다. 픽셀 레벨에서의 프레임들 사이의 이동을 검출하는 소정의 모션 검출 알고리즘은 이 블록에서 이용될 수 있다. 일예로, 3개의 프레임 감산 기술이 이용될 수 있는데, 이것은 {1}에서 논의된다. 검출된 객체는 블록(53)으로 포워딩된다.

블록(52)에서, 객체는 변화를 통해 검출된다. 배경 모델로부터 변화를 검출하는 소정의 변화 검출 알고리즘이 이 블록에서 이용될 수 있다. 픽셀이 한 프레임의 배경 모델에 순응하지 않기 때문에, 한 프레임 내의 하나 또는 그 이상의 픽셀이 상기 프레임의 전경에 있을 수 있는 경우, 객체는 이 블록에서 검출된다. 일예로, 동적 적응 배경 제거(background subtraction)와 같은 확률적(stochastic) 배경 모델링 기술이 이용될 수 있는데, 이것은 2000년 10월 24일자로 출원된 미국특허출원 제09/694,712호 및 {1}에서 논의된다. 검출된 객체는 블록(53)으로 포워딩 된다.

블록(51)의 모션 검출 기술 및 블록(52)의 변화 검출 기술은 상보 기술(complimentary technique)이고, 여기서 각각의 기술은 다른 기술에서의 결점을 해결하기에 유리하다. 선택적으로, 부가적 및/또는 대안적 검출 방식은 블록(51) 및 블록(52)에 대해 논의된 기술에 이용될 수 있다. 부가적 및/또는 대안적 검출 방식의 예는, {8}에서 논의된 바와 같은 사람들을 검색하는 사람 검색자(Pfinder) 검출 방식, 피부톤 검출 방식, 안면 검출 방식, 및 모델-기반의 검출 방식을 포함한다. 이러한 부가적 및/또는 대안적 검출 방식의 결과는 블록(53)으로 제공된다.

선택적으로, 비디오 센서(14)가 모션을 가질 경우(예를 들어, 스윕, 줌 및/또는 병진 이동(translate)하는 비디오 카메라), 부가적 블록은 비디오 안정화를 위하여 블록(51) 및 블록(52)에 입력을 제공하기 위해서 블록(51) 및 블록(52) 사이의 블록 앞에 삽입될 수 있다. 비디오 안정화는 아핀(affine)의 또는 투영(projective) 전역 모션 보상에 의해 달성될 수 있다. 예를 들어, 본 명세서에 참조로서 포함된 2000년 7월 3일자로 출원된 미국특허출원 제09/609,919호이며, 현재 등록된 미국특허 제6,738,424호에서 설명된 이미지 정렬은 비디오 안정화를 얻는데 이용될 수 있다.

블록(53)에서, 블롭(blob)이 생성된다. 일반적으로, 블롭은 하나의 프레임 내의 임의의 객체이다. 블롭의 예는, 사람 또는 차량과 같은 이동 객체, 및 하나의 가구, 옷, 또는 소매 선반과 같은 소비자 제품을 포함한다. 블롭은 블록(32) 및 블록(33)으로부터 검출된 객체를 이용하여 생성된다. 블롭을 생성하는 소정의 기술은 이 블록에 이용될 수 있다. 모션 검출 및 변화 검출로부터 블롭을 생성하는 예시적인 기술은 접속된 구성요소 방식을 이용한다. 예를 들어, 형태론 및 접속된 컴포넌트 알고리즘이 이용될 수 있는데, 이것은 {1}에서 논의된다.

블록(54)에서, 블롭이 추적된다. 블롭을 추적하는 소정의 기술은 이 블록에 이용될 수 있다. 예를 들어, 칼먼 필터링(Kalman filtering) 또는 응축 알고리즘(CONDENSATION algorithm)이 이용될 수 있다. 또 다른 예로, {1}에서 논의된 바과 같은 템플릿 매칭 기술이 이용될 수 있다. 또 다른 일예로, 다차원 칼먼 트래커(multi-hypothesis Kalman tracker)가 이용될 수 있는데, 이것은 {5}에서 논의된다. 한편, 또 다른 일예로, 2000년 10월 24일자로 출원된 미국특허출원 제09/694,712호에 설명된 프레임-프레임 추적 기술이 이용될 수 있다. 식료품점일 수 있는 장소의 예에 대하여, 추적될 수 있는 객체의 예들은 쇼핑 카트 또는 트롤리(trolley)와 같은, 이동 발명 기구, 발명품, 및 이동하는 사람들을 포함한다.

하나의 선택 사항으로서, 당업자에게 공지된 바와 같이, 블록(51-54)은 소정의 검출 및 추적 방식으로 대체될 수 있다. 이러한 검출 및 추적 기술의 예는 {11}에서 설명된다.

블록(55)에서, 추적된 객체의 각 궤도는 상기 궤도가 돌출하는지 여부를 판정하기 위하여 분석된다. 궤도가 돌출하지 않을 경우, 궤도는 불안정한 모션을 나타내는 객체, 또는 불안정한 크기 또는 컬러의 객체를 나타내며, 해당 객체는 거절되어 시스템에 의해 더 이상 분석되지 않는다. 궤도가 돌출할 경우, 궤도는 관심 대상일 수 있는 객체를 나타낸다. 궤도에 돌출 측정을 적용함으로써, 궤도가 돌출 되는지 또는 돌출되지 않는지 판정된다. 궤도가 돌출되는지 또는 돌출되지 않는지를 판정하는 기술은 {13} 및 {18}에서 설명된다.

블록(56)에서, 각 객체는 분류된다. 각 객체의 일반적인 타입은 객체의 분류에 따라 결정된다. 분류는 다수의 기술에 의해 수행될 수 있는데, 이러한 기술의 예는, 신경망 분류기 {14} 이용 및 선형 식별 분류기 {14} 이용을 포함한다. 분류의 예는 블록(23)에 대해 논의된 것과 동일한 것이다.

블록(57)에서, 비디오 프리미티브는 필요에 따라 부가적인 처리 및 블록(51-56)으로부터의 정보를 이용하여 식별된다. 식별된 비디오 프리미티브의 예는 블록(23)에 대해 논의된 것과 동일한 것이다. 일예로, 크기에 대하여, 시스템은 블록(22)에서의 교정으로부터 얻은 정보를 비디오 프리미티브로서 이용할 수 있다. 교정으로부터, 시스템은 객체의 근사 크기를 결정하기 위한 충분한 정보를 가지고 있다. 또 다른 예로, 시스템은 블록(54)으로부터 측정된 바와 같은 속도를 비디오 프리미티브로서 이용할 수 있다.

블록(43)에서, 블록(42)으로부터의 비디오 프리미티브는 아카이브된다. 비디오 프리미티브는 컴퓨터-판독가능 매체(13) 또는 또 다른 컴퓨터-판독가능 매체에서 아카이브될 수 있다. 비디오 프리미티브와 함께, 소스 비디오로부터의 비디오 이미지 또는 연관된 프레임은 아카이브될 수 있다. 이 아카이빙 단계는 선택적이며, 시스템이 실시간 이벤트 검출에만 이용되는 것일 경우, 아카이빙 단계는 건너뛸 수 있다.

블록(44)에서, 이벤트 발생은 이벤트 식별자를 이용하여 비디오 프리미트브 로부터 추출된다. 비디오 프리미티브는 블록(42)에서 결정되고, 이벤트 식별자는 블록(23)에서 시스템에 작업을 부과하는 것으로부터 결정된다. 이벤트 식별자는 소정의 이벤트 발생이 일어났는지 여부를 판정하기 위하여, 비디오 프리미티브를 필터링하는데 이용된다. 예를 들어, 이벤트 식별자는, 오전 9:00 및 오후 5:00 사이의 영역으로의 "잘못된 방향"으로 이동하는 사람에 의해 정의된 바와 같은 "잘못된 방향" 이벤트를 검색할 수 있다. 이벤트 식별자는 도 5에 따라 생성되는 모든 비디오 프리미티브를 확인하고, 오전 9:00 및 오후 5:00 사이의 타임스탬프, "사람" 또는 "사람들의 그룹"의 분류, 그 영역 내의 위치, 및 "잘못된" 모션의 방향과 같은 속성을 가진 소정의 이벤트 프리미티브가 존재하는지 여부를 판정한다. 이벤트 식별자는 이벤트 발생을 검출하기 위하여 다른 타입의 프리미티브를 이용할 수 있고, 및/또는 전술한 바와 같이 다양한 비디오 소스로부터의 비디오 프리미티브를 결합할 수도 있다.

블록(45)에서, 액션은 블록(44)에서 추출된 각 이벤트 발생에 대해 적절하게 취해진다. 도 6은 비디오 감시 시스템에 액션을 취하는 흐름도를 예시한다.

블록(61)에서, 응답은 이벤트 발생을 검출한 이벤트 식별자에 의해 지시된 바와 같이 착수된다. 응답이 있다면, 응답은 블록(34)의 각 이벤트 식별자에 대하여 식별된다.

블록(62)에서, 액티비티 레코드는 발생된 각 이벤트 발생에 대하여 생성된다. 액티비티 레코드는, 예를 들어, 객체 궤도의 상세한 내용, 객체 검출의 시간, 객체 검출의 위치, 및 채용된 이벤트 식별자의 정의 및 기술을 포함한다. 액티비티 레코드는 이벤트 식별자에 의해 요구된, 비디오 프리미티브와 같은 정보를 포함할 수 있다. 또한, 액티비티 레코드는 객체(들)의 대표 비디오 또는 스틸 영상 및/또는 이벤트 발생에 포함되는 영역(들)도 포함할 수 있다. 액티비티 레코드는 컴퓨터-판독가능 매체 상에 저장된다.

블록(63)에서는, 출력이 생성된다. 출력은 블록(44)에서 추출된 이벤트 발생 및 블록(41)으로부터의 소스 비디오의 직접 피드를 기반으로 한다. 출력은 컴퓨터-판독가능 매체상에 저장되고, 컴퓨터 시스템(11) 또는 또 다른 컴퓨터 시스템상에 디스플레이되거나, 또 다른 컴퓨터 시스템으로 포워딩된다. 시스템이 동작함에 따라, 이벤트 발생에 관한 정보가 수집되고, 상기 정보는 오퍼레이터에 의해 실시간을 포함한 소정의 시간에 보여질 수 있다. 상기 정보를 수신하는 포맷의 예는, 컴퓨터 시스템의 모니터상의 디스플레이, 하드 카피(hard copy), 컴퓨터-판독가능 매체, 및 대화형 웹 페이지를 포함한다.

출력은, 아날로그 비디오 전송 수단 또는 네트워크 비디오 스트림 중의 하나를 통하여 전송된 블록(41)으로부터의 소스 비디오의 직접 피드로부터의 디스플레이를 포함할 수 있다. 예를 들어, 소스 비디오는 컴퓨터 시스템의 모니터의 윈도우 또는 폐회로 모니터상에 디스플레이될 수 있다. 또한, 출력은 이벤트 발생에 포함되는 영역 및/또는 객체를 강조하는 그래픽으로 표시된 소스 비디오를 포함할 수도 있다. 시스템이 과학 수사 분석 모드에서 동작하고 있을 경우, 비디오는 비디오 레코더로부터 도출될 수 있다.

출력은 오퍼레이터의 요건 및/또는 이벤트 발생에 기반하여 오퍼레이터에 대 한 하나 또는 그 이상의 보고를 포함할 수 있다. 보고의 예는, 발생한 이벤트 발생의 수, 장면에서 이벤트 발생이 일어난 위치, 이벤트 발생이 일어난 시간, 각 이벤트 발생의 대표 영상, 각 이벤트 발생의 대표 비디오, 원래의 통계 데이터, 이벤트 발생의 통계(예를 들어, 얼마나 많이, 얼마나 자주, 어디서, 또는 언제), 및/또는 인간-판독가능 그래픽 디스플레이를 포함한다.

도 13 및 도 14는 도 15의 식료품점 내의 복도에 대한 예시적인 보고를 예시한다. 도 13 및 14에서, 몇몇의 영역들은 블록(22)에서 식별되고, 이에 대응하여 이미지에 라벨이 붙여진다. 도 13 내의 영역들은 도 12 내의 영역들과 일치하고, 도 14 내의 영역들은 상이한 영역들이다. 시스템은 영역 내에 정지한 사람들을 검색하도록 작업이 부과된다.

도 13에서, 예시적인 보고는, 라벨, 그래픽, 통계 정보, 및 통계 정보의 분석을 포함하도록 표시된 비디오로부터의 이미지이다. 예를 들어, 커피로서 식별된 영역은 시간당 2명이라는 해당 영역의 평균 고객의 수 및 5 초와 같은 해당 영역의 평균 체류 시간(dwell time)의 통계 정보를 가진다. 시스템은 이 영역을 "콜드(cold)" 영역으로 결정하였는데, 이것은 이 영역을 통한 상업적 액티비티가 많지 않다는 것을 의미한다. 또 다른 예로, 소다(soda)로서 식별된 영역은 시간당 15명이라는 해당 영역의 평균 고객의 수 및 22 초와 같은 해당 영역의 평균 체류 시간의 통계 정보를 가진다. 시스템은 이 영역을 "핫(hot)" 영역으로 결정하였는데, 이것은 이 영역에서 많은 양의 상업적 액티비티가 있다는 것을 의미한다.

도 14에서, 바람직한 보고는, 라벨, 그래픽, 통계 정보 및 통계 정보의 분석 을 포함하도록 표시된 비디오로부터의 이미지이다. 예를 들어, 복도 뒤의 영역은 시간당 14명이라는 평균 고객의 수를 가지며, 낮은 트래픽을 가지는 것으로 판정된다. 또 다른 예로, 복도 앞의 영역은 시간당 83명이라는 평균 고객의 수를 가지며, 높은 트래픽을 가지는 것으로 판정된다.

도 13 및 도 14에서, 오퍼레이터가 임의의 특정 영역에 대한 보다 많은 정보 또는 임의의 특정 영역을 희망할 경우, 포인트-클릭(point-and-click) 인터페이스는 오퍼레이터로 하여금 영역의 대표 스틸 및 비디오 이미지 및/또는 시스템이 검출하고 아카이브한 액티비티를 통과시키도록 한다.

도 15는 식료품점 내의 복도에 대한 또 다른 예시적인 보고를 예시한다. 예시적인 보고는 라벨, 궤도 지시, 표시된 이미지를 설명하는 텍스트를 포함하도록 표시된 비디오로부터의 이미지를 포함한다. 상기 예의 시스템은, 객체 궤도의 길이, 위치, 및 시간, 객체가 고정되어 있는 위치 및 시간, 오퍼레이터에 의해 특정된 바와 같이 궤도와 영역의 상관관계, 및 사람이 아닌 객체, 1명의 사람, 2명의 사람들 및 3명 또는 그 이상의 사람들의 분류와 같은 다수의 영역을 탐색하도록 작업이 부과된다.

도 15의 비디오 이미지는 상기 궤도가 레코딩된 시간 주기로부터 도출된다. 3개의 객체 중 2개의 객체는 1명의 사람으로서 각각 분류되는데, 여기서 하나의 객체는 사람이 아닌 것으로 분류된다. 각 객체는 라벨 즉, Person ID 1032, Person ID 1033, Object ID 32001로 할당된다. Person ID 1032에 대하여, 시스템은 그 사람이 해당 영역에서 52 초를 소비하였고, 원에 의해 지정된 위치에서 18 초를 소비 한 것으로 판정하였다. Person ID 1033에 대하여, 시스템은 그 사람이 해당 영역에서 1분 8초를 소비하였고, 원에 의해 지정된 위치에서 12 초를 소비한 것으로 판정하였다. Person ID 1032 및 Person ID 1033에 대한 궤도는 표시된 이미지 내에 포함된다. 또한, Object ID 32001에 대하여, 시스템은 객체를 더 분석하지 않았으며, 해당 객체의 위치를 X로 지시하였다.

도 2의 블록(22)을 다시 참조하면, 교정은, (1) 수동, (2) 비디오 센서 또는 비디오 레코더로부터의 영상을 이용하는 반자동, (3) 비디오 센서 또는 비디오 레코더로부터의 영상을 이용하는 자동일 수 있다. 영상이 요구될 경우, 컴퓨터 시스템(11)에 의해 분석될 소스 비디오는 교정에 이용되는 소스 비디오를 얻은 비디오 센서로부터 도출되는 것으로 가정된다.

수동 교정을 위하여, 오퍼레이터는 각각의 비디오 센서(14)에 대한 방위 및 내부 파라미터와, 위치에 관한 각각의 비디오 센서(14)의 배치를 컴퓨터 시스템(11)으로 제공한다. 컴퓨터 시스템(11)은 위치 맵을 선택적으로 유지할 수 있으며, 비디오 센서(14)의 배치는 상기 맵 상에 지시될 수 있다. 맵은 환경의 2차원 또는 3차원 표현일 수 있다. 또한, 수동 교정은 충분한 정보를 시스템으로 제공하여, 객체의 상대적인 위치 및 근사 크기를 결정한다.

대안적으로, 수동 교정을 위하여, 오퍼레이터는 센서로부터의 비디오 이미지를 사람과 같은 공지된 크기의 객체의 외관을 나타내는 그래픽으로 표시할 수 있다. 오퍼레이터가 적어도 2개의 상이한 위치에서 이미지를 표시할 수 있을 경우, 시스템은 근사 카메라 교정 정보를 추론할 수 있다.

반자동 및 자동 교정을 위하여, 카메라 파라미터 또는 장면 기하학의 정보는 요구되지 않는다. 반자동 및 자동 교정으로부터, 장면 내의 다양한 영역에서 객체의 크기를 근사화하도록 룩업 테이블(lookup table)이 생성되거나, 카메라의 내부 및 외부 카메라 교정 파라미터가 추론된다.

반자동 교정을 위하여, 비디오 감시 시스템은 오퍼레이터로부터의 입력과 결합된 비디오 소스를 이용하여 교정된다. 한 사람은 반자동 교정되기 위하여 비디오 센서의 뷰(view)의 필드에 배치된다. 컴퓨터 시스템(11)은 한 사람에 관한 소스 비디오를 수신하여, 이러한 데이터를 기반으로 사람의 크기를 자동으로 추론한다. 사람이 보여지는 비디오 센서의 뷰의 필드에서의 위치의 수가 증가하고, 비디오 센서의 뷰의 필드에서 사람이 보여지는 소정의 시간이 증가함에 따라, 반자동 교정의 정확성은 증가한다.

도 7은 비디오 감시 시스템의 반자동 교정을 위한 흐름도를 예시한다. 통상적인 객체가 다양한 궤도에서의 장면을 통하여 이동하는 것을 제외하고는, 블록(71)은 블록(41)과 동일하다. 통상적인 객체는 다양한 속도를 가지고, 다양한 위치에서 고정되어 있을 수 있다. 예를 들어, 통상적인 객체는 비디오 센서에 가능한 한 근접하게 이동하고, 그 다음 비디오 센서로부터 가능한 한 멀리 이동한다. 통상적인 객체에 의한 이러한 모션은 필요에 따라 반복될 수 있다.

블록(72-75)은 블록(51-54)과 각각 동일하다.

블록(76)에서, 통상적인 객체는 장면을 통하여 모니터링된다. 추적된 유일한(또는 적어도 가장) 안정된 객체는 장면 내의 교정 객체(즉, 장면을 통하여 이동 하는 통상적인 객체)인 것으로 간주된다. 안정된 객체의 크기는 그것이 관찰되는 장면 내의 모든 포인트에 대해 수집될 수 있고, 이 정보는 교정 정보를 생성하는데 이용된다.

블록(77)에서, 통상적인 객체의 크기는 장면을 통하여 상이한 영역으로 식별된다. 통상적인 객체의 크기는 장면 내의 다양한 영역에서 유사 객체의 근사 크기를 결정하는데 이용된다. 이러한 정보에 의해, 룩업 테이블(lookup table)이 이미지 내의 다양한 영역에서 통상적인 객체의 통상적인 명백한 크기와 일치시키도록 생성되거나, 또는 내부 및 외부 카메라 교정 파라미터들이 추론된다. 샘플 출력으로서, 이미지의 다양한 영역에서 스틱-크기의 특징(stick-sized feagure)의 디스플레이는 시스템이 적절한 높이로서 결정한 것을 지시한다. 이러한 스틱-크기의 특징은 도 11에 예시된다.

자동 교정을 위하여, 학습 단계(learning phase)는 컴퓨터 시스템(11)이 각 비디오 센서의 뷰의 필드 내의 위치에 관한 정보를 결정할 경우에 수행된다. 자동 교정 중에, 컴퓨터 시스템(11)은 장면에 통상적인 객체들의 통계적으로 충분한 샘플링을 얻고 그에 따라 통상적인 명백한 크기 및 위치를 추론하는데 충분한 대표 시간 주기(예를 들어, 분, 시 또는 일) 동안 위치의 소스 비디오를 수신한다.

도 8은 비디오 감시 시스템의 자동 교정에 대한 흐름도를 예시한다. 블록(81-86)은 도 7의 블록(71-76)과 동일하다.

블록(87)에서, 비디오 센서의 뷰의 필드 내의 추적가능한 영역이 식별된다. 추적가능한 영역은 객체가 용이하게 및/또는 정확하게 추적될 수 있는 비디오 센서 의 뷰의 필드 내 영역을 나타낸다. 추적 불가능한 영역은 객체가 용이하게 및/또는 정확하게 추적되지 않고 및/또는 추적하기가 어려운 비디오 센서의 뷰의 필드 내 영역을 나타낸다. 추적 불가능한 영역은 불안정한 또는 비돌출한 영역으로서 나타날 수 있다. 객체가 너무 작거나(예를 들어, 사전결정된 임계값보다 더 작거나), 너무 짧은(예를 들어, 사전결정된 임계값보다 더 짧은) 시간 동안 출현하거나, 또는 돌출되지 않은(예를 들어, 목적이 아닌) 모션을 나타내기 때문에, 객체는 추적하기가 어려울 수 있다. 추적가능한 영역은 예를 들어 {13}에서 설명된 기술을 이용하여 식별될 수 있다.

도 10은 식료품점 내의 복도로 결정된 추적가능한 영역을 예시한다. 너무 많은 컨퓨저(confuser)가 복도 끝의 영역에 나타나기 때문에, 해당 복도 끝의 영역은 비돌출된 것으로 판정된다. 컨퓨저는 추적 방식을 혼동시키는 비디오에서의 무언가를 나타낸다. 컨퓨저의 예는, 나뭇잎 날림, 비, 부분적으로 폐색된 객체, 및 정확하게 추적되기에 너무 짧은 시간 동안 출현하는 객체를 포함한다. 이에 비해, 복도 끝에 근접한 영역은 돌출한 것으로 판정되는데, 이것은 양호한 추적이 이 영역에 대해 결정되기 때문이다.

블록(88)에서, 객체의 크기는 장면 전반에 걸쳐 상이한 영역으로 식별된다. 객체의 크기는 장면 내의 다양한 영역에서 유사 객체의 근사 크기를 결정하는데 이용된다. 히스토그램 또는 통계적인 메디안(median)을 이용하는 것과 같은 기술은 객체의 통상적인 명백한 높이 및 폭을 장면 내 위치의 함수로서 결정하는데 이용된다. 장면의 이미지의 일부분에서, 통상적인 객체는 통상적인 명백한 높이 및 폭을 가질 수 있다. 이러한 정보에 의해, 룩업 테이블이 이미지 내의 다양한 영역에서 객체의 통상적인 명백한 크기를 일치시키도록 생성되거나, 또는 내부 및 외부의 카메라 교정 파라미터들이 추론될 수 있다.

도 11은 도 10으로부터 식료품점의 복도 내의 통상적인 객체에 대한 통상적인 크기를 식별하는 방법을 예시한다. 통상적인 객체는 사람들일 것으로 간주되며, 이에 대응하여 라벨에 의해 식별된다. 사람들의 통상적인 크기는 돌출 영역에서 검출된 사람들에 대한 평균 신장과 평균 폭의 플롯(plot)을 통해 결정된다. 예로서, 플롯 A는 보통 사람의 평균 신장으로 결정되고, 플롯 B는 1명의 사람, 2명의 사람들, 및 3명의 사람들에 대한 평균 폭으로 결정된다.

플롯 A에서, x-축은 픽셀 내의 블롭의 높이를 도시하고, y-축은 x-축에서 식별된 바와 같이, 발생한 특정 높이의 인스턴스(instance)의 수를 도시한다. 플롯 A에 대한 라인의 피크는 장면의 지정된 영역 내의 블롭의 가장 공통적인 높이에 대응하고, 이 예에 대해 피크는 지정된 영역 내에 서있는 사람의 평균 신장에 대응한다.

사람들이 느슨하게 결합된 그룹(loosely knit groups)에서 이동한다고 가정하면, 플롯 A에 유사한 그래프가 플롯 B와 같은 폭에 대하여 생성된다. 플롯 B에 대해, x-축은 픽셀 내에 블롭의 폭을 도시하고, y-축은 x-축에서 식별된 바와 같이, 발생한 특정 폭의 인스턴스의 수를 도시한다. 플롯 B에 대한 라인의 피크는 다수의 블롭의 평균 폭에 대응한다. 대부분의 그룹이 단지 1명의 사람만을 포함한다고 가정하면, 가장 큰 피크는 가장 공통적인 폭에 대응하는데, 이것은 지정된 영역 내의 한 사람의 평균 폭에 대응한다. 유사하게, 두 번째로 큰 피크는 지정된 영역 내의 2명의 사람들의 평균 폭에 대응하고, 세 번째로 큰 피크는 지정된 영역 내의 3명의 사람들의 평균 폭에 대응한다.

도 9는 본 발명의 비디오 감시 시스템에 대한 부가적인 흐름도를 예시한다. 이 부가적인 실시예에서, 시스템은 이벤트 식별자를 갖는 아카이브된 비디오 프리미티브를 분석하여, 예를 들어, 전체 소스 비디오를 검토할 필요없이도, 부가적인 보고를 생성한다. 본 발명에 따라 비디오 소스가 처리된 이후의 언제라도, 소스 비디오에 대한 비디오 프리미티브는 도 4의 블록(43)에 아카이브된다. 비디오 컨텐츠는 상대적으로 단시간 내에 부가적인 실시예를 이용하여 재분석될 수 있는데, 그 이유는 비디오 프리미티브만이 검토되고 비디오 소스는 재처리되지 않기 때문이다. 이것은 현재의 최신식 시스템(current state-of-the-art systmes)에 높은 효율성 개선을 제공하는데, 그 이유는 비디오 영상 데이터를 처리하는 것은 계산상 극도로 고가인 반면, 비디오로부터 추출된 작은-크기의 비디오 프리미티브를 분석하는 것은 계산상 극도로 저가이기 때문이다. 일예로, "최근 2개월 내에 영역 A에서 10분 이상 정지한 사람들의 수."와 같은 이벤트 식별자가 생성될 수 있다. 부가적인 실시예에 의해, 최근 2개월의 소스 비디오는 검토될 필요가 없다. 대신에, 최근 2개월의 비디오 프리미티브만 리뷰될 필요가 있는데, 이것이 상당히 더 효율적인 처리이다.

블록(91)은 도 2의 블록(23)과 동일하다.

블록(92)에서, 아카이브된 비디오 프리미티브가 액세스된다. 비디오 프리미 티브는 도 4의 블록(43)에서 아카이브된다.

블록(93) 및 블록(94)은 도 4의 블록(44) 및 블록(45)과 동일하다.

예시적인 애플리케이션으로서, 본 발명은 소매점 디스플레이(retail display)의 효능을 측정함으로써, 소매 시장 공간을 분석하는데 이용될 수 있다. 디스플레이 상의 물품들과 부속 물품들 모두의 판매를 촉진하기 위하여, 가능한 한 눈길을 끌도록 하는 노력의 일환으로 많은 합계 금액이 소매점 디스플레이에 투입된다. 본 발명의 비디오 감시 시스템은 이러한 소매점 디스플레이의 유효성을 측정하도록 구성될 수 있다.

이러한 예시적인 애플리케이션에 대하여, 비디오 감시 시스템은 비디오 센서의 뷰의 필드를 희망하는 소매점 디스플레이 주위의 공간으로 향하게 함으로써 설정된다. 작업 부과 도중에, 오퍼레이터는 희망하는 소매점 디스플레이 주위의 공간을 나타내는 영역을 선택한다. 식별자로서, 오퍼레이터는, 해당 영역으로 진입하여, 감지할 수 있을 정도의 시간 동안 속도의 측정가능한 감소 또는 정지를 나타내는 사람-크기의 객체를 모니터링하기를 희망한다고 정의한다.

소정의 시간 동안 동작한 이후, 비디오 감시 시스템은 시장 분석에 대한 보고를 제공할 수 있다. 상기 보고는 소매점 디스플레이 주위에서 서행하였던 사람들의 수, 소매점 디스플레이에서 정지하였던 사람들의 수, 주말에 얼마나 많이 관심을 가졌는지 및 저녁에 얼마나 많이 관심을 가졌는지와 같이, 시간의 함수로서 소매점 디스플레이에 관심을 가졌던 사람들의 내역(breakdown), 및 소매점 디스플레이에 관심을 보였던 사람들의 비디오 스냅샷을 포함할 수 있다. 비디오 감시 시스 템으로부터 얻은 시장 조사 정보는, 소매점 디스플레이의 효능에 대한 분석자의 이해를 개선시키기 위하여, 상점으로부터의 판매 정보 및 상점으로부터의 고객 레코드와 결합될 수 있다.

본 명세서의 실시예 및 예시는 비-한정적인 예시이다.

본 발명은 바람직한 실시예에 대하여 상세하게 기재하고 있고, 전술한 설명으로부터, 보다 광범위한 양태에 있어서 본 발명을 벗어나지 않고 변형 및 변경이 이루어질 수도 있다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명백해질 것이고, 그러므로 특허청구범위에 정의된 바와 같이 본 발명은 본 발명의 사상 내에서 이러한 모든 변형 및 변경을 커버하는 것으로 의도된다.

Claims (25)

1. 비디오 처리 장치에 있어서,

   입력 비디오 시퀀스를 분석하여 적어도 하나의 비디오 프리미티브를 얻기 위한 비디오 컨텐츠 분석 모듈;

   상기 비디오 컨텐츠 분석 모듈에 연결되어, 하나 또는 그 이상의 규칙을 기반으로 하여 적어도 하나의 이벤트를 검출하기 위한 이벤트 추론 모듈; 및

   상기 이벤트 추론 모듈에 연결되어, 사용자로 하여금 상기 이벤트 추론 모듈에 대한 규칙을 정의할 수 있도록 허용하기 위한 애플리케이션 프로그래밍 인터페이스(API: Application Programming interface) 프레임워크

   를 포함하는 것을 특징으로 하는 비디오 처리 장치.
2. 제 1 항에 있어서,

   상기 API 프레임워크에 연결되어, 상기 장치의 외부 디바이스와 상기 API 프레임워크 간의 통신을 용이하게 하기 위한 통신 모듈을 더 포함하는 것을 특징으로 하는 비디오 처리 장치.
3. 제 2 항에 있어서,

   상기 통신 모듈은 인터넷을 통한 통신을 용이하게 하도록 구성되는 것을 특징으로 하는 비디오 처리 장치.
4. 제 1 항에 있어서,

   상기 비디오 컨텐츠 분석 모듈, 상기 이벤트 추론 모듈, 및 상기 API 프레임워크는 처리 서브시스템상에서 호스팅되고,

   상기 장치는 상기 처리 서브시스템에 연결된 주 처리 시스템을 더 포함하고,

   상기 주 처리 시스템은,

   상기 비디오 컨텐츠 분석 모듈, 상기 이벤트 추론 모듈, 상기 API 프레임워크에 의해 제공되는 애플리케이션들과는 상이한 적어도 하나의 주 처리 애플리케이션; 및

   상기 장치의 외부 디바이스와 상기 장치 간의 통신을 용이하게 하도록 연결된 통신 모듈

   을 포함하는 것을 특징으로 하는 비디오 처리 장치.
5. 제 4 항에 있어서,

   상기 처리 서브시스템은,

   상기 API 프레임워크에 연결되어, 사용자로 하여금 상기 이벤트 추론 모듈에 대한 규칙을 생성하도록 허용하기 위한 규칙 소프트웨어 개발 키트(SDK: Software Development Kit)를 더 포함하는 것을 특징으로 하는 비디오 처리 장치.
6. 제 5 항에 있어서,

   상기 규칙 SDK는 적어도 하나의 완전히 형성된 사전결정된 규칙을 상기 사용자에게 노출하는 것을 특징으로 하는 비디오 처리 장치.
7. 제 5 항에 있어서,

   상기 규칙 SDK는 규칙 언어 및 하나 또는 그 이상의 사전결정된 프리미티브 정의를 상기 사용자에게 노출하는 것을 특징으로 하는 비디오 처리 장치.
8. 제 4 항에 있어서,

   상기 주 처리 시스템은,

   상기 통신 모듈에 연결된 웹 서비스 모듈을 더 포함하는 것을 특징으로 하는 비디오 처리 장치.
9. 제 4 항에 있어서,

   상기 적어도 하나의 주 처리 애플리케이션은 상기 이벤트 추론 모듈로부터 경고를 수신하도록 구성되는 것을 특징으로 하는 비디오 처리 장치.
10. 제 9 항에 있어서,

    상기 주 처리 애플리케이션은 상기 경고에 응답하여 상기 장치의 적어도 하나의 기능을 제어하도록 구성되는 것을 특징으로 하는 비디오 처리 장치.
11. 제 4 항에 있어서,

    상기 주 처리 시스템 및 상기 처리 서브시스템은 공통적인 하드웨어 플랫폼상에서 호스팅되는 것을 특징으로 하는 비디오 처리 장치.
12. 제 4 항에 있어서,

    상기 주 처리 시스템 및 상기 처리 서브시스템은 별도의 하드웨어 플랫폼상에서 호스팅되는 것을 특징으로 하는 비디오 처리 장치.
13. 제 12 항에 있어서,

    상기 별도의 하드웨어 플랫폼은 전기적으로 서로 연결된 것을 특징으로 하는 비디오 처리 장치.
14. 청구항 제 2 항에 기재된 장치; 및

    상기 통신 모듈과 연결되어, 통신 네트워크와의 인터페이스를 제공하기 위한 센서

    를 포함하는 것을 특징으로 하는 비디오 분석 시스템.
15. 제 14 항에 있어서,

    상기 장치로부터 원격으로 위치하고 상기 네트워크에 연결되며, 압축된 비디오 및 경고로 구성되는 그룹 중에서 적어도 하나를 수신하는 경고 유닛을 더 포함하는 것을 특징으로 하는 비디오 분석 시스템.
16. 제 14 항에 있어서,

    상기 네트워크에 연결되며, 적어도 하나의 규칙을 상기 이벤트 추론 모듈에 제공하는 규칙 관리 툴을 더 포함하는 것을 특징으로 하는 비디오 분석 시스템.
17. 제 14 항에 있어서,

    사용자로 하여금 상기 이벤트 추론 모듈이 이용하기 위한 규칙을 개발할 수 있도록 허용하는 규칙 사용자 인터페이스; 및

    상기 규칙 사용자 인터페이스에 연결되며, 상기 네트워크를 통해 상기 센서와의 통신을 용이하게 하도록 하기 위한 지원기능을 갖는 규칙 SDK

    를 더 포함하는 것을 특징으로 하는 비디오 분석 시스템.
18. 제 17 항에 있어서,

    상기 규칙 SDK는 적어도 하나의 완전히 형성된 사전결정된 규칙을 상기 사용자에게 노출하는 것을 특징으로 하는 비디오 분석 시스템.
19. 제 17 항에 있어서,

    상기 규칙 SDK는 규칙 언어 및 하나 또는 그 이상의 사전결정된 프리미티브 정의를 상기 사용자에게 노출하는 것을 특징으로 하는 비디오 분석 시스템.
20. 청구항 제 8 항에 기재된 장치; 및

    인터넷을 통해 상기 장치에 연결되며, 사용자로 하여금 상기 이벤트 추론 모듈에 대한 규칙을 생성할 수 있도록 하는 장치

    를 포함하는 것을 특징으로 하는 비디오 분석 시스템.
21. 비디오 처리 방법에 있어서,

    적어도 하나의 검출된 비디오 프리미티브를 기반으로, 비디오 시퀀스의 적어도 하나의 액티비티를 검출하기 위한 적어도 하나의 규칙을 생성하는 단계; 및

    상기 적어도 하나의 규칙을 기반으로, 상기 비디오 시퀀스에 상기 적어도 하나의 액티비티가 있는지 여부를 검출하는 단계

    를 포함하는 것을 특징으로 하는 비디오 처리 방법.
22. 제 21 항에 있어서,

    상기 검출하는 단계가 상기 적어도 하나의 액티비티를 검출할 경우 적어도 하나의 경고를 생성하는 단계를 더 포함하는 것을 특징으로 하는 비디오 처리 방법.
23. 제 21 항에 있어서,

    상기 생성하는 단계는,

    장치가 적어도 하나의 액티비티를 검출하기 위하여 규칙과 명령으로 구성되는 그룹 중의 적어도 하나를 통신하는 단계를 포함하고,

    상기 명령은 상기 장치의 외부 디바이스로부터 생성되고 상기 장치가 상기 적어도 하나의 액티비티를 검출하도록 하는 규칙을 생성하는 것을 특징으로 하는 비디오 처리 방법.
24. 컴퓨터 시스템에 의해 실행될 경우에, 상기 컴퓨터 시스템으로 하여금 청구항 제 21 항에 기재된 방법을 이행하도록 하는 명령을 포함하는 것을 특징으로 하는 컴퓨터-판독가능 매체.
25. 비디오 처리 시스템에 있어서,

    청구항 제 24 항에 기재된 컴퓨터-판독가능 매체; 및

    상기 컴퓨터-판독가능 매체에 연결되어, 상기 컴퓨터-판독가능 매체에 포함된 명령을 실행시키는 컴퓨터

    를 포함하는 것을 특징으로 하는 비디오 처리 시스템.

Images