KR20040070289A - 비동기적으로 멀티플렉스된 비디오를 처리할 수 있는비디오 모니터링 및 감시 시스템들 - Google Patents

비동기적으로 멀티플렉스된 비디오를 처리할 수 있는비디오 모니터링 및 감시 시스템들 Download PDF

Info

Publication number
KR20040070289A
KR20040070289A KR10-2004-7010228A KR20047010228A KR20040070289A KR 20040070289 A KR20040070289 A KR 20040070289A KR 20047010228 A KR20047010228 A KR 20047010228A KR 20040070289 A KR20040070289 A KR 20040070289A
Authority
KR
South Korea
Prior art keywords
input image
state
states
image information
images
Prior art date
Application number
KR10-2004-7010228A
Other languages
English (en)
Inventor
콜메나레즈안토니오
구타스리니바스브이.알.
트라즈코빅미로슬라프
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20040070289A publication Critical patent/KR20040070289A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/1961—Movement detection not involving frame subtraction, e.g. motion detection on the basis of luminance changes in the image
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 양상들은 다수의 상이한 카메라들로부터의 이미지를 포함하는 비동기적으로 멀티플렉스된 비디오 신호를 디멀티플렉스하도록 구성될 수 있다. 입력 이미지들에 상태들을 할당하기 이해 이미지 매칭 기술들이 사용된다. 일정 기간 이후, 상태들의 수는 일반적으로 입력 카메라들의 수와 동일하게 될 것이다. 이 상태들은 히스토그램 분석, 클러스터링 및 은닉 마코프 모델 분석과 같은 임의의 수의 기술들을 통해 모델화될 수 있다. 입력 이미지들은 상태들에 할당되고, 입력 이미지들은 상태들과 관련되어 출력된다. 존 감시는 하나 이상의 상태들로부터의 일련의 이미지들에 대해 수행될 수 있다. 발생하는 어떠한 이벤트들도 구별될 수 있고 보고될 수 있다.

Description

비동기적으로 멀티플렉스된 비디오를 처리할 수 있는 비디오 모니터링 및 감시 시스템들{Video monitoring and surveillance systems capable of handling asynchronously multiplexed video}
컴퓨터 비젼 모니터링 및 감시 시스템들은 통상적으로 단일 카메라로부터의 이미지들을 처리할 수 있는 알고리즘들을 사용하여 구현된다. 이들 시스템들에 있어서, 한 카메라로부터의 비디오는 비디오 감시 시스템으로 제공되고, 상기 시스템은 비디오 이미지들에서 이벤트들을 결정하기 위해 컴퓨터 비젼 알고리즘을 사용한다. 이러한 이벤트들은, 예를 들면, 한 영역 내의 비인가된 인원, 너무 긴 대기열(queue), 열려져 있는 문, 켜져 있는 불들, 또는 연기를 포함할 수 있다.
모니터링 시스템들에 기초한 다중-카메라 컴퓨터-비젼도 존재한다. 이들 다중-카메라 셋업들은 (ⅰ) 독립적으로 처리되는 다수의 비디오 입력들, 또는 (ⅱ) 임의의 소정의 시간에 알고리즘에 전송될 비디오 입력 피드(video input feed)를, 여러 카메라들 중에서, 독립적으로 선택하는 컴퓨터 제어 가능 멀티플렉서를 포함한다. 일반적으로, 컴퓨터에 의해 제어될 수 있는 프레임이 정확한 멀티플렉서들(frame-accurate multiplexers)(본원에서는 소위 "동기적" 멀티플렉서들로 칭함)은 한 카메라에서 다음 카메라로 비동기적으로 전환하는 멀티플렉서들보다는 훨씬 더 비싸다.
그러나, 비동기적 비디오 멀티플렉서들은 그들의 전환을 미리 알 수 없다는 문제점을 갖는다. 다시 말하면, 동기적 비디오 멀티플렉서는 멀티플렉서가 전환을 시작하기 이전에 카메라가 결정될 수 있는 수단으로 또는 컴퓨터 인터페이스의 사용을 통해 카메라가 설정될 수 있는 수단으로 카메라 사이를 전환할 것이다. 비동기적 비디오 멀티플렉서는 공지의 수단으로 카메라 사이를 전환하지 않을 것이며 일반적으로 프로그램 가능하지도 않다. 비디오 모니터링 시스템에 조작자를 고용하면, 디스플레이가 멀티플렉스된 비디오의 스트림 중 한 카메라로부터의 비디오의 소정 수의 프레임들만을 나타내더라도, 어느 방이 비디오 디스플레이에 의해 디스플레이되고 있는지를 조작자가 판정할 수 있기 때문에, 비동기적 비디오 멀티플렉서를 사용하는 것이 큰 문제가 되지는 않는다. 각 방에서 어떠한 이벤트들이 발생하고 있는지를 조작자가 판정하는 것도 상대적으로 용이하다.
역으로, 현재의 컴퓨터 비젼 알고리즘들은 비동기적 비디오 멀티플렉서로부터의 비디오를 분석하지 않는다. 결과적으로, 비동기적 비디오 멀티플렉서들의 사용을 가능하게 하며 또한 다수의 카메라 피드들 각각에 대한 이벤트들을 충분히 감시하는 것을 가능하게 하는 비디오 모니터링 및 감시 시스템들에 대한 요구가 존재한다.
본 발명은 비디오 감시 시스템들(video surveillance systems)에 관한 것으로, 특히, 다수의 카메라들로부터 비동기적으로 멀티플렉스된 비디오를 처리할 수 있는 비디오 모니터링 및 감시 시스템들에 관한 것이다.
도 1은 본 발명의 바람직한 실시예에 따른 예시적인 비디오 모니터링 시스템을 도시하는 도면.
도 2는 본 발명의 바람직한 실시예에 따라 동작하는 것으로 도시된 도 1의 예시적인 비디오 모니터링 시스템의 구조적인 블록도.
도 3은 본 발명의 바람직한 실시예에 따른 카메라 디멀티플렉싱을 위한 예시적인 방법을 설명하는 순서도.
도 4는 본 발명의 바람직한 실시예에 따른 카메라 뷰를 모델화하는 예시적인 상태도.
도 5는 본 발명의 바람직한 실시예에 따른 예시적인 상태 정보 메모리 영역의 블록도.
일반적으로, 본 발명은 다수의 카메라들로부터의 비동기적으로 멀티플렉스된 비디오를 처리할 수 있는 비디오 모니터링 및 감시 시스템을 제공한다. 본 발명의 양상들은 다수의 상이한 카메라들로부터의 이미지들을 포함하는 비동기적으로 멀티플렉스된 비디오 신호를 디멀티플렉스하도록 구성될 수 있다.
본 발명의 제 1 양상에 있어서, 입력 이미지가 받아들여지고 다수의 상태들과 비교된다. 입력 이미지는 다수의 상이한 카메라들로부터의 다수의 이미지들을 포함하는 신호에서 기원한다. 입력 이미지가 상태와 매칭(match)할 때 이미지는 한 상태에 할당된다. 일반적으로, 매칭은 입력 이미지로부터 입력 이미지 정보를 생성하고 입력 이미지 정보를 상태들 각각으로부터의 상태 이미지 정보와 비교함으로써 수행된다. 상태들은, 은닉 마코프 모델들(Hidden Markov Models), 히스토그램들, 또는 클러스터링과 같은, 임의의 수의 공지의 기술들을 통해 모델화될 수 있다.
본 발명의 제 2의 양상에 있어서, 각 입력 이미지는 비동기적으로 멀티플렉스된 비디오 신호로부터 결정된다. 이 양상에 있어서, 각 상태는, 일정한 시간 이후, 입력 카메라에 대응해야만 한다. 각 입력 이미지는 한 상태와 매칭해야만 하고, 입력 이미지가 속하는 상태가 결정되어야만 한다. 일단 입력 이미지가 한 상태와 매칭하면, 입력 이미지는 그 상태에 할당될 수 있고 이 상태에 속하는 것으로서 출력된다. 결과적으로, 임의적으로 카메라가 선택될 수 있고 선택된 카메라로부터의 이미지는 한 상태에 할당될 수 있다. 상태가 선택된 카메라에 대응하기 때문에, 이미지는 비동기적으로 멀티플렉스된 비디오 신호로부터 디멀티플렉스되고, 이 디멀티플렉싱(demultiplexing)은 이미지들이 비동기적으로 멀티플렉스된 비디오 신호에 어떻게 위치되는지에 대한 사전 지식 없이도 발생한다.
본 발명의 제 3의 양상에 있어서, 각 상태에 대한 존 이벤트들(zone events)을 결정하기 위해 여러가지 출력 이미지들이 분석된다. 얼마간의 기간 이후, 존 이벤트들은 입력 카메라에 대해 독특해야만 한다. 이러한 이벤트들은 화재 또는 연기와 같은 비상 사태 이벤트들과, 비인가된 출입, 및 대기열(queue) 관리를 포함한다.
본 발명의 제 4의 양상에 있어서, 현재 상태와 매칭하지 않는 이미지들이 입력될 때 새로운 상태들이 부가된다. 결과적으로, 본 발명의 이 양상는 상태를 갖지 않고 시작하고, 시간이 흐른 후, 다수의 상태들로 전개할 것이다. 일정한 시간 이후, 상태들의 수는 입력 카메라들의 수와 동일해야만 한다. 또한, 상태들은 제거될 수도 있다.
본 발명의 제 5의 양상에 있어서, 상태들은 은닉 마코프 모델(HMM)을 통해 모델화된다. HMM은 상태들이 결정되는 것을 가능하게 할 뿐만 아니라, 상태들 사이의 천이들(transitions)이 결정되는 것을 가능하게 한다. 트레이닝 기간 이후, HMM은 입력 카메라마다 하나의 상태를 생성해야만 하고, 또한 상태들 사이의 천이들을 생성해야만 한다. 천이들은 비동기 비디오 멀티플렉서가 카메라들 사이에서 어떻게 전환하는지를 모델화하고 입력 이미지가 어느 카메라에 속하는지를 더 잘 평가하기 위해 사용될 수 있을 것이다.
하기의 상세한 설명과 도면들을 참조하여 본 발명과, 본 발명의 보다 완전한 이해 뿐만 아니라 그 이상의 특징 및 이점을 얻을 것이다.
도 1을 참조하면, 본 발명의 바람직한 실시예에 따라 동작하는 예시적인 비디오 모니터링 시스템(100)의 블록도가 도시되어 있다. 비디오 모니터링 시스템(100)은 카메라들(110-1 내지 110-N)(전체적으로, "카메라들(110)"), 카메라 피드들(115-1 내지 115-N)(전체적으로, "카메라 피드들(115)"), 및 비동기적 비디오 멀티플렉서(120), 멀티플렉스된 카메라 출력(multiplexed camera output; 125), 및 비디오 감시 시스템(130)을 포함한다. 비디오 감시 시스템(130)은 디지털 다기능 디스크(DVD)(135) 및 네트워크와 상호작용하는 것으로 도시되어 있다.
비디오 감시 시스템(130)은 프로세서(140) 및 메모리(145)를 포함한다. 메모리(145)는 이미지 그래버(image grabber; 145), 현재 이미지(155), 카메라 디멀티플렉싱 프로세스(300), 이미지 정보(165), 상태 정보(170), 존 감시 프로세스(175), 및 존 이벤트들(180)을 포함한다.
비동기 비디오 멀티플렉서(120)는 카메라들(110)과 그들의 관련 카메라 피드들(115) 사이에서 비동기적으로 전환하는 비디오 멀티플렉서이다. "비동기적"은, 카메라들(110) 사이에서 비동기적 비디오 멀티플렉서(120)가 전환하는 순서가 알려지지 않거나 또는 그 순서가 프로그램될 수 없는 것을 의미한다. 비동기적 비디오 멀티플렉서(120)는 카메라 피드(115)로부터의 이미지를 포함하는 멀티플렉스된 카메라 출력(125)을 생성한다. 각 카메라로부터 완전한 이미지들(또는 프레임들)이 취해지도록 비동기적 비디오 멀티플렉서(120)가 카메라 피드들(115) 사이에서 전환할 것이라는 것이 예상된다.
이와 같이 비동기적 비디오 멀티플렉서(120)는 상이한 카메라들(110)로부터의 다수의 이미지들을 갖는 비디오 스트림(즉, 멀티플렉스된 카메라 출력(125))을 생성한다. 이들 이미지들은 선정된 순서(predetermined order)로 되어 있지 않다. 예를 들면, 비동기적 비디오 멀티플렉서(120)가 네 개의 카메라(즉, N=4)를 갖는 시스템(110)에서 사용될 수 있다. 소정의 기간동안, 비동기 비디오 멀티플렉서(120)는 카메라들(110-1, 110-4, 110-2, 110-1, 110-4, 110-3, 및 110-1)로부터 이 순서로 이미지를 선택할 수 있다. 다른 기간 동안, 여기서 두 기간은동일한 길이를 갖는다, 비동기적 비디오 멀티플렉서(120)는 카메라들(110-4, 110-3, 110-2, 110-1, 및 110-4)로부터 이미지들을 선택할 수 있다.
본 발명의 양상들은 비동기적 비디오 멀티플렉서(120)가 카메라들 사이에서 어떻게 전환할 것인지의 제한된 지식을 고려한다. 카메라 전환이 언제 발생할 것이고 얼마나 오랫동안 멀티플렉서가 카메라 상에 남아 있을 것인지의 완전한 설명을 필요로 하는 대신, 본 발명은 다수의 상태들을 생성 및 개선하고(refining), 이미지들을 이들 상태들에 할당하는 것에 의해 이 설명을 결정한다. 일단 본 발명이 잠시 동안 트레이닝되고, 각 카메라가 온되어 적절한 광량으로 한 위치를 비추면, 본 발명은 각 카메라에 대해 한 상태를 생성할 것이다. 따라서, 멀티플렉서(120)가 어떻게 전환하는지에 무관하게, 본 발명은 멀티플렉스된 비디오 신호를 개별적인 카메라 뷰로 디멀티플렉스할 수 있을 것이다.
디멀티플렉싱의 프로세스를 시작하는 한 방법은 단일 카메라로부터의 단일 이미지로 작업하는 것이다. 이미지 그래버(150)는, 당업자에게 공지된 기술을 통해, 멀티플렉스된 카메라 출력(125)으로부터 한 이미지를 그래브한다. 이미지 그래버는 단일 이미지를 그래브하고, 이 이미지를 현재의 이미지(155)로서 카메라 디멀티플렉싱 프로세스에 이용가능하도록 한다. 또한, 이미지 그래버(150)는, 아날로그 디지털 변환의 단계가 다른 곳에서 이미 수행되지 않았다면, 아날로그 비디오를 디지털 이미지들로 변환할 수 있다.
카메라 디멀티플렉싱 프로세스(300)는 현재의 이미지(155)로부터 이미지 정보(165)를 추출한다. 넓게는, 카메라 디멀티플렉싱 프로세스(300)는 현재의 이미지(155)를 각각의 저장된 이미지가 한 상태에 대응하는 저장된 이미지들과 매칭시키기 위해 이미지 매칭 기술들을 사용한다. 예를 들면, 카메라 디멀티플렉싱 프로세스(300)는, 하기에 상세히 설명될 이미지 매칭 기술들을 사용하여, 현재의 이미지(155)를 상태 정보(170)에 저장된 다수의 상태의 각각에 대한 이미지 정보와 비교한다. 만약 매칭한다면, 현재의 이미지(155)는 매칭 상태로 할당되고, 카메라 디멀티플렉싱 프로세스(300)는 매칭 상태로부터 나오는 것으로 현재의 이미지(155)를 출력한다.
그 다음, 존 감시 프로세스(175)는 어느 존에 상태가 속하는지를 결정하고 현재의 이미지(155)를 처리한다. 존 감시 프로세스(175)는 현재의 이미지(155) 대신 또는 현재의 이미지(155)에 관련하여 이미지 정보(165)상에서 동작할 수도 있음을 주지해야 한다. 존 감시 프로세스(175)는, 예를 들면, 얼마나 많은 사람이 대기열(예를 들면, 은행 출납 라인)에 있는지, 불이 꺼진 상태인지 켜진 상태인지, 하나 이상의 사람이 비인가 영역에 있는지, 또는 연기 또는 화재가 있는지를 판정할 수 있다. 존 감시 프로세스(175)는 위험의 경고들, 이상 징후, 대기열 크기 또는 그에 관련된 경고, 또는 다른 정보를 포함하는 존 이벤트들(180)을 생성하도록 구성될 수 있다.
존 감시 프로세스(175)는 카메라 디멀티플렉싱 프로세스(300)의 출력들을 조정하여 카메라들(110)을 더 잘 맞추도록 조작자에 의해 조정될 수 있다. 이것은 도 2를 참조로 더 상세히 설명될 것이다.
앞서 설명한 바와 같이, 카메라 디멀티플렉싱 프로세스(300)는 현재의 이미지(155)를 상태 정보(170)의 상태들과 관련된 이미지들과 매칭시키기 위해 이미지 매칭 기술을 사용한다. 이미지들 그 자체가 비교를 위해 사용될 수 있지만, 만약 전부가 아니라면, 대부분의 경우, 이미지 매칭 방법들은 이미지들로부터 정보를 추출하고 추출된 정보를 매칭을 위해 사용한다.
예를 들면, 이미지 매칭을 위한 하나의 상대적으로 간단한 기술은 히스토그램들을 사용한다. 히스토그램은 얼마나 많은 픽셀이 특정한 값을 갖는지의 계수이다. 간단한 히스토그램들은 이미지의 2차원적 표현인 그레이스케일(greyscale)을 사용한다. 보다 복작한 히스토그램들은, 색조(Hue), 채도(Saturation), 및 세기(Intensity) 히스토그램(HSI histogram)을 사용하는 것과 같이, 3차원 이상의 차원을 사용한다. 히스토그램에 기초한 프로세스들을 위해, 이미지 정보(165)는 히스토그램일 것이다. 이 히스토그램은 상태 정보(170)의 다른 히스토그램들과 비교되는데, 각각의 상태는 적어도 하나의 히스토그램과 관련된다. 히스토그램들이 유사하면 매칭이 결정되는데, 메트릭(metric)에 의해 결정된다. 한 가능한 메트릭은 히스토그램 인터섹션 메트릭(histogram intersection metric)인데, 본원의 참고 문헌으로 포함된, International Journal computer Vision 7:1, 11-32(1991)의 M. Swain 및 D. Ballard에 의한 "Color Indexing"에서 보다 상세히 설명된다. 예시적인 상태도(state diagram)를 도 4를 참조로 설명하고 예시적인 상태 정보 메모리(170)를 도 5를 참조로 설명한다.
현재 이미지(155)가 상태 정보(170)의 한 상태와 매칭하지 않으면, 카메라 디멀티플렉싱 프로세스(300)는 새로운 상태를 생성하고 새로운 상태에 대한 이미지정보(165)를 저장할 수 있다. 카메라 디멀티플렉싱 프로세스(300)의 부가적인 특징이 하기에 설명된다.
부가적인 매칭 방법들이 사용될 수 있다. 예를 들면, 많은 이미지 프로세스 시스템들은 이미지의 특징들을 결정한다. 이러한 특징들은 이산 코사인 변환(Discrete Cosine Transforms; DCTs) 및 그로부터의 계수들, 픽셀값들의 평균, 코배리언스들(covariances), 및 다른 수학적 장치들을 포함한다. 부가적으로, 이미지들은 고유의 애스펙트들(unique aspects)에 대해 검사될 수도 있다. 예를 들면, 한 카메라는 다수의 코너들과, 그림들, 텔레비젼들, 또는 다른 시각적으로 중요한 아이템들을 구비한 방을 비출 수 있을 것이다. 이들 영역들은 이미지들 사이를 차별화하기 위해 사용될 수 있다.
일단 특징들이 결정되면, 이미지 정보(165)가 이들 특징들을 설명할 것이다. 현재의 이미지(155)로부터의 특징들은 상태 정보(170) 내의 다수의 상태들 각각의 저장된 특징들과 비교된다. 상이한 특징들은 특징 공간을 정의한다. 특징 공간을 정돈된 세그먼트들로 어떻게 분할할 것인지를 결정하기 위한 한 기술을 클러스터링(clustering)이라 칭한다. 클러스터링에 있어서, 많은 특징들의 세트들로부터 일정한 클래스들이 결정된다. 이들 클래스들은 본원에서 상태들로 사용될 수 있다. 일단 클래스들이 결정되면, 그 다음 미지의 특징들의 세트가 클래스들의 하나에 할당될 수 있고, 또는 다른 클래스들이 생성될 수 있다.
특징 공간들을 일반적으로 사용하는 다른 기술은 은닉 마코프 모델들(HMMs)이다. HMM은 상태들을 포함하고, 상태들은 확률을 통해 결정된다. 또한, HMMs는일반적으로 각 상태 사이의 천이를 또한 포함한다. 클러스터링과 HMMs를 포함하는 패턴 인식에 대한 입문은 본원에서 참고 문헌으로 포함된 Donald O. Tanguay에 의한 "Hidden Markov Models for Gesture Recognition"(1995)(MIT의 미공개 박사 논문)에서 제공된다. HMMs의 이점은 이들 모델들이 클러스터링을 제공할뿐만 아니라 클러스터들과 관련하는 천이들을 제공한다는 것이다.
비디오 감시 시스템(130)은 메모리(150)에 도시된 각 장치를 포함할 필요는 없다는 것을 주지해야 한다. 예를 들면, 이미지 그래버(150)는 현재의 이미지(155)를 비디오 감시 시스템(130)에 제공하는 단독 장치일 수 있다. 유사하게, 존 감시 프로세스(175)와 존 정보(180)는 비디오 감시 시스템(130)으로부터 또한 분리될 수 있다. 도 1에 도시된 비디오 감시 시스템(130)과 비디오 모니터링 시스템(100)은 단지 예시적인 것이다.
종래 기술에서 알려진 바와 같이, 본원에서 논의된 방법들과 장치는 상기 실시된 컴퓨터 판독 가능 코드 수단들이 구체화된 컴퓨터 판독 가능 매체를 자체로서 포함하는 제조 품목으로서 배포될 수 있을 것이다. 컴퓨터 판독 가능 프로그램 코드 수단은 방법들을 수행하는 단계 전체 또는 일부를 수행하거나 또는 본원에서 논의된 장치들을 생성하기 위해, 비디오 모니터링 시스템(100)과 같은 컴퓨터 시스템과 관련되어 동작 가능하다. 컴퓨터 판독 가능 매체는 기록가능 매체(예를 들면, 플로피디스크, 하드드라이브, DVD(135)와 같은 컴팩트디스크, 또는 메모리 카드)일 수도 있고 또한 전송 매체(예를 들면, 광섬유를 포함하는 네트워크, 월드와이드웹, 케이블들, 또는 시분할 다중 액세스, 코드 분할 다중 액세스, 또는 다른 무선 주파수 채널을 사용하는 무선 채널)일 수도 있다. 컴퓨터 시스템과 함께 사용하는데 적합한, 정보를 저장할 수 있는 공지의 또는 개발된 임의의 매체가 사용될 수 있다. 컴퓨터 판독 가능 코드 수단은, 자기 매체 상의 자기 변화 또는 DVD(135)와 같은 컴팩트디스크의 표면 상의 높이 변화와 같은, 데이터 및 명령어들을 컴퓨터가 판독할 수 있도록 하는 임의의 메커니즘이다.
메모리(145)는 본원에서 개시된 방법들, 단계들, 및 기능들을 구현하기 위한 프로세서(140)를 구성할 것이다. 메모리(145)는 분포되거나 또는 좁은 지역에 한정될 수 있고 프로세서(140)는 분포되거나 또는 단독일 수 있다. 메모리(145)는 전기, 자기 또는 광학 메모리, 또는 이들의 조합 또는 다른 형태의 기억 장치들로서 구현될 수 있다. "메모리"라는 용어는 프로세스(140)에 의해 액세스되는 어드레스로 끄집어 낼 수 있는 공간(addressable space)의 어드레스로부터 판독되거나 또는 여기에 기록될 수 있는 임의의 정보를 포괄하도록 충분히 넓게 이해되어야 한다. 이러한 정의를 통해, 네트워크 상의 정보는, 프로세서(145)가 네트워크로부터 정보를 검색할 수 있기 때문에, 여전히 비디오 모니터링 시스템(100)의 메모리(145) 내에 있다. 비디오 모니터링 시스템(100)의 전체 또는 일부는 집적 회로 또는 프로그램 가능한 논리 회로와 같은 다른 유사한 장치로 만들어질 수 있음을 또한 주지해야 한다.
도 2를 참조하면, 본 발명의 바람직한 실시예에 따라 동작하는 도 1의 예시적인 비디오 모니터링 시스템(100)의 구조적인 블록도(200)가 도시되어 있다. 각 카메라(110)는 비동기적 비디오 멀티플렉서(120)로 제공되는 카메라 피드들(camerafeed; 115)를 생성한다. 비동기적 비디오 멀티플렉서(120)는 각 카메라로부터의 이미지들을 멀티플렉스된 카메라 출력(125)으로 멀티플렉스한다. 이미지들은 비동기적으로 멀티플렉스되기 때문에, 카메라 피드들(115)의 샘플링과 이들 피드로부터의 이미지들의 캡쳐의 시퀀스를 미리 알 수가 없게 된다.
이미지 그래버(150)는 멀티플렉스된 카메라 출력(125)으로부터 단일의 이미지들을 결정한다. 여기서, 이미지 그래버(150)는 비동기적 비디오 멀티플렉서(120)로부터의 부분적인 이미지들을 무시할 수 있고, 비동기적 비디오 멀티플렉서(120)는 부분 이미지들을 생성해야만 한다는 것을 주지해야 한다. 다르게는, 선정된 수의 액티브 픽셀들을 갖는 부분 이미지들은 현재의 이미지 메모리 위치에 위치될 것이다. 도 1 및 도 2의 예들에 있어서, 현재의 이미지(155)는 이미지 그래버(150)에 의해 생성된다.
카메라 디멀티플렉싱 프로세스(300)는 현재의 이미지(155)를 처리하고, 현재의 이미지(155)로부터 이미지 정보(165)를 생성한다. 상기에 설명되고 하기에 상세히 더욱 상세히 설명된 바와 같이, 이미지 정보는 히스토그램 정보 또는 다수의 이산 코사인 변환(DCT) 계수들, 평균, 코배리언스, 및 당업자에게 알려진 다른 특징들과 같은 다수의 특징들일 수 있다.
카메라 디멀티플렉싱 프로세스(300)는 또한 상태 정보(170)를 제어 및 결정하는데, 그 구조적인 예는 도 4를 참조로 설명된다. 상태 정보(170)는 일반적으로 다수의 상태들을 포함하며, 각 상태는 그 고유의 이미지 정보를 갖는다. 카메라 디멀티플렉싱 프로세스(300)는 이미지 정보(165)를 상태 정보(170) 내의 상태들 각각에 대한 이미지 정보와 비교하고, 매칭이 있는지를 판정한다. 매칭이 있다면, 현재의 이미지는 특정한 상태에 할당되고 그 상태에 속하는 것으로서 출력된다. 도 2의 예에 있어서, 카메라 디멀티플렉싱 프로세스(300)는 출력들(215-1 내지 215-M; 전체적으로 215)을 생성한다. 각 출력은 한 상태에 대응한다. 따라서, 만약, 예를 들어, 현재의 이미지(155)가 상태 2에 할당되면, 현재의 이미지(155)는 출력(215-2) 상에서 출력될 것이다.
현재의 이미지(155)가 어떠한 상태에도 대응하지 않으면, 이미지 정보(165)가 사용되어 상태 정보(170) 내에 부가적인 상태를 생성하고 부가적인 출력(215)을 생성한다.
시간이 흐름에 따라, 출력들(215)의 수(즉, M)는 카메라 피드들(115)의 수(즉, N)와 일치할 것으로 예상된다. 그러나, 이것은 어떤 상황들에서는 맞지 않을 수도 있다. 예를 들면, 두 카메라들이 상이한 암흑 영역(pitch black area)들을 비추면, 이들 두 카메라들로부터의 이미지들은 한 상태로 결합될 것이다.
존 감시 프로세스(175)는 존 이벤트들(180)에 대한 각 출력(215)을 검사한다. 이러한 이벤트들(180)은 대기열 길이, 특정 영역의 비인가된 직원의 경고, 켜져 있는 또는 꺼져 있는 불들을 포함할 수 있다. 존 감시 프로세스(175)는 상태들의 카메라들(110)로의 매핑을 또한 포함할 수 있다. 예를 들면, 조작자는 상태 2가 5번 카메라에 속한다는 것을 판정하고 상태 2에 할당된 이미지들에 5번 카메라로부터 유래된 것으로 존 감시 프로세스(175)가 라벨을 붙이도록 프로그램할 수 있다. 또한, 존 감시 프로세스(175)는 이 상태 또는 이미지들 상에 존 이벤트들을갖는 상태로부터의 이미지들로 단순히 전환하여 디스플레이 할 수 있다. 이것은 조작자가 어느 카메라(110), 결론적으로 어느 존이 존 이벤트를 갖는지를 결정하는 것을 가능하게 할 것이다.
도 3을 참조하면, 본 발명의 바람직한 실시예에 따른, 카메라 디멀티플렉싱을 위한 방법(300)이 도시된다. 방법(300)은 다양한 카메라들로부터의 이미지들을 포함하는 멀티플렉스된 카메라 신호를 디멀티플렉스하기 위해 시스템에 의해 사용된다. 멀티플렉스된 카메라 신호는 카메라들로부터 동기적으로 결정된 일련의 이미지들을 포함할 수 있다. 이것은 카메라 로테이션 스케쥴과 각 카메라를 보는데 걸리는 시간이 알려져 있다는 것을 의미한다. 그러나, 일반적으로, 멀티플렉스된 카메라 신호는 카메라들로부터 비동기적으로 결정된 일련의 이미지들을 포함할 것이다. 이것은 카메라 로테이션 스케쥴 또는 각 카메라를 보는데 걸리는 시간 중 어느 하나 또는 둘 다를 모른다는 것을 의미한다. 방법(300)은 멀티플렉스된 카메라 신호로부터 각 카메라 피드의 재생성을 시도한다.
입력 이미지 정보가 입력 이미지로부터 결정되면, 방법(300)은 단계 310에서 시작한다. 입력 이미지 정보는 히스토그램 데이터일 수 있다. 입력 이미지 정보는 DCT 계수들, 평균값들, 코배리언스 측정치들(covariance measurements)과 같은 특징들, 또는 당업자에게 공지된 다른 특징들일 수 있다. 테니스 선수 모션을 묘사하기 위한 특징 추출은 본원에서 참고 문헌으로 포함된 Int'l Conf. on Visualization, Imaging and Image Proc., Marbella, Spain(Sept. 2001)의 Petkovic 등에 의한 "Recognizing Strokes in Tennis Videos Using Hidden MarkovModels"에서 논의되어 있다. 다른 가능한 특정 추출은 각 이미지에 대한 압축 색도 시그니쳐(compressed chromaticity signatures)이다. 비디오 데이터의 프레임들을 표현하기 위해 압축 색도 시그니쳐를 사용하는 것을 설명하는 문헌은 본원에서 참고 문헌으로 포함된 ACM Multimedia, Ottawa, Canada(Sept.-Oct. 2001)의 Lu 등에 의한 "Classification of Summarized Video Using Hidden Markov Models on Compressed Chromaticity Signatures"이다.
단계 315에서, 임의의 현존하는 상태들이 존재하는지가 판정된다. 현존하는 상태들이 없다면(단계 315=NO), 이미지 정보는 초기 상태와 관련되고 초기 상태가 생성된다(단계 325). 본 방법은 그 후 다음 이미지가 분석을 위해 준비될 때까지 종료한다.
현존하는 상태들이 존재한다면(단계 315=YES), 공지의 기술들을 통해 이미지 매칭이 수행된다. 예를 들면, 입력 이미지 정보로서 히스토그램이 결정될 수 있다(단계 310). 그 후, 이 히스토그램은 여러 상태들의 다른 저장된 히스토그램과 비교되어(단계 320) 매칭을 판정하게 된다.
클러스터링이 사용되면, 입력 이미지 정보는 일반적으로 선정된 수의 특징들일 것이다. 이들 특징들은 일반적으로 특징 벡터로 칭해지는 벡터에 위치된다. 클러스터링은 일반적으로 특징 공간의 어느 곳에 특정 클러스터가 위치하는지에 대한 판정을 포함한다. 다시 말하면, 일정량의 특징 공간이 한 클러스터에 할당될 것이다. 입력 이미지의 특징들이 클러스터를 이 양의 특징 공간에 위치시키면, 입력 이미지는 이 클러스터에 할당될 것이다.
예를 들면, 두 특징들이 존재한다면, 특징 공간은 평면일 것이다. 클러스터는 이 평면의 일정 영역에 할당될 것이다. 두 특징들의 값들은 입력 이미지에 대해 결정되고 입력 이미지 정보로서 사용될 것이다. 기본적으로, 두 특징들에 의해 설명되는 위치에서 점이 평면 상에 위치될 것이다. 만약 점이 클러스터에 할당된 영역 내에 있다면, 이미지는 이 특정 클러스터에 할당된다. 얼마나 많은 특징 공간이 클러스터에 할당되었는지 그리고 클러스터가 어디에 위치되었는지를 결정하는 것은 일반적으로 클러스터링으로 칭해지고, 미지의 벡터를 클러스터와 관련시키는 것은 일반적으로 분류(classification)라고 칭해진다.
K-평균 알고리즘과 같이, 클러스터를 결정하기 위해 사용되는 다수의 기술들이 존재한다. K-평균 알고리즘은 상기에 참증으로 통합된 Tanguay에 의한 문헌에서 상세히 설명되어 있다. 일반적으로, 트레이닝 동안, 특정 클러스터를 생성하기 위해 어느 특징 벡터들이 서로 클러스터되어야 하는지를 결정하기 위해서 몇 몇 형태의 메트릭이 사용된다.
이미지 매칭에 적합한 다른 기술은 HMMs를 사용하는 것이다. 일반적으로, HMMs는 클러스터링과 유사한 기술을 사용할 수 있다. 사실, HMMs는 클러스터링 및 분류를 위해 종종 사용된다. 따라서, 특징 벡터들이 클러스터링과 HMMs 둘 다를 위해 사용될 수 있다. 그러나, HMMs의 기본 원리는 확률이지만, 클러스터링에 대한 기본 원리는 일반적으로 평균 또는 간격 측정(distance measures)이다. 예를 들면, HMM에서의 상태는 이벤트(예를 들면, 특정한 특징 벡터)가 발생할 확률을 모델로 한다. 천이 확률들은 한 상태에서 다른 상태로의 천이가 얼마나 예상되는지를 모델로 한다. 예시적인 HMM은 도 4에 도시되어 있다.
단계 330에서, 입력 이미지가 한 상태와 매칭하는지를 판정한다. 이 단계는 어떻게 이미지들이 표현되는지에 의존한다. 만약 히스토그램이 사용되면, 입력 이미지 정보와 각 상태들에 대한 이미지 정보 사이의 히스토그램을 비교하고 그 개별의 값이 입력 이미지 히스토그램의 개별의 값들과 비교될 때, 선정된 값 내에 있는 에러로 귀결되는 상태 히스토그램을 찾음으로써 적절한 메트릭이 결정된다. 클러스터링과 HMMs는, 종래 기술에서 알려진 바와 같이, 특징 벡터들에 기초하여 유사한 메트릭들을 사용할 수 있다.
입력 이미지가 한 상태와 매칭하면(단계 330=YES), 이미지는 그 상태에 할당되고 그 상태에 할당된 것으로서 출력된다(단계 345). 한편, 입력 이미지가 한 상태와 일치하지 않으면(단계 335=NO), 입력 이미지 정보를 사용하여, 새로운 상태가 부가된다(단계 335). 새로운 클러스터에 할당된 특징 공간의 영역과 같은, 클러스터링 정보는 이 때 할당될 수 있다. 또한, 임의의 다른 필요한 정보가 초기화되고 할당될 수 있다.
HMMs가 사용되면, 새로운 상태에 대해 상태 천이들이 생성된다(단계 340). 이들 천이들은 단계 340 동안 값을 할당받을 수 있다.
단계 350은 단계 345 또는 단계 340 중 어느 하나가 수행되면 수행된다. 단계 350에서 상태 정보는 업데이트된다. 예를 들면, 상태 확률들과 마찬가지로, 천이 확률들이 이 단계에서 업데이트될 수 있다. 클러스터링을 위해, 최신의 특징 벡터를 사용하는 것에 의해 클러스터의 또 다른 정의가 제공될 수 있다. 예를 들면, 클러스터는 평균과 코배리언스를 갖는 다차원의 가우스 분포(multi-dimensional Gaussian distribution)에 의해 표현될 수 있다. 평균과 코배리언스는 최신의 특징 벡터를 사용하는 것에 의해 업데이트될 수 있다.
단계 355에서, 방법(300)은 한 상태가 삭제되어야 하는지를 판정한다. 예를 들면, 카메라가 오프되거나 또는 방의 불이 꺼지거나 하여 카메라가 구분가능한 이미지를 생성할 정도로 충분한 빛을 더 이상 갖지 못하게 되면, 상태들은 삭제될 수 있다. 이들 경우들에 있어서, 원래의 상태는 삭제될 수 있을 것이다. 후자의 경우에 있어서는, 불이 꺼지면, 새로운 상태가 생성되고 이전 상태가 삭제될 수도 있다.
만약 어떤 한 상태가 삭제되어야 한다면(단계 355=YES), 그 상태는 단계 360에서 삭제된다. 만약 어떤 한 상태가 삭제되지 않아야 한다면(단계 355=NO), 방법(300)은 종료한다.
여기서, 만약 HMMs가 본 발명에서 사용되는 경우에, 본원에서 참고 문헌으로 포함된 2000년 11월 6일자 출원된 발명의 명칭이 "Method and Apparatus for Determining a Number of States for a Hidden Markov Model in a Signal Processing System"인 Colmenarez 및 Gutta의 미국 특허출원 제 09/706,668호는 HMM 상태들의 부가 및 제거를 설명함을 주목해야 한다. Colmenarez 및 Gutta의 문헌에서 설명되는 기술들은 HMM 상태를 부가 및 제거하기 위해 본원에서 사용될 수도 있다.
여기서, 방법(300)은, 필요에 따라, 트레이닝을 수용하도록 수정될 수 있음을 또한 주목해야 한다. 예를 들면, 트레이닝 데이터에 대해 클러스터링이 종종 수행되는데, 여기서는 특징 벡터들과 벡터들과 관련된 클래스들이 공지되며 시스템으로 입력된다.
도 4를 참조하면, 본 발명의 바람직한 실시예에 따라, 카메라 뷰를 모델화하는 예시적인 상태도(400)가 도시되어 있다. 상태도(400)는 세 상태들(410, 420, 및 430)과, 상태 천이들(416, 417, 418, 426, 427, 436, 438, 및 439)을 포함한다. 만약 카메라 이미지들을 모델화하기 위해 HMMs이 사용되면, 상태 천이들(416, 417, 418, 426, 427, 436, 438, 및 439)이 사용될 것이다. 일반적으로, 상태 천이들은 다른 스킴들(schemes)을 위해서는 사용되지 않는다.
각 상태 천이는 시스템이 현재 상태에 있다는 가정하에서 다른 상태로의 옮겨가는 확률을 모델화한다. 다시 말하면, 천이(416)는 상태(410)에서 상태(410)으로의 이동 확률을 모델화한다. 유사하게, 천이(417)는 상태(410)에서 상태(420)으로의 이동 확률을 모델화한다.
본 발명에 있어서, HMMs는 카메라들로부터 유래하는 이미지들뿐만 아니라 비디오 멀티플렉서가 특정 카메라로부터의 이미지를 얼마나 오랫동안 캡쳐하고 비디오 멀티플렉서에 의한 어떤 시퀀스가 카메라를 선택하기 위한 것인지를 모델화한다.
초기에는, 상태도(400)는 일반적으로 어떠한 상태들도 포함하지 않을 것이다. 그러나, 상태도(400)가 카메라들의 수와 동등한 수의 상태들을 가지고 시작할 수 있다. 후자는 조작자가 적절한 수의 상태들을 갖는 상태도(400)를 구성하면 발생할 수 있다. 상태도가 어떻게 시작하는지에 무관하게, 가장 첫 번째 입력 이미지는 일반적으로 상태 410에 할당될 것이다. 시간이 진행함에 따라, 상이한 카메라들로부터의 이미지들이 입력이고, 각 상태 천이와 각 상태에 대한 확률들이 결정될 것이다. 이들 형태들의 분석들은 당업자에게 잘 알려져 있다. 예를 들면, 이미지들에 적용되는 HMM 분석은 Colmenarez 및 Gutta와 Tanguay, Lu, 및 Petkovic의 문헌들에서 논의되는데, 이들 각각은 본원에서 참고 문헌으로 포함된다.
도 5를 참조하면, 본 발명의 바람직한 실시예에 따른, 예시적인 상태 정보 메모리 영역(170)이 도시되어 있다. 상태 정보 영역(170)은 HMM 상태들에 대한 데이터를 저장하기 위해 사용되는 것으로 도시되어 있다. 이 예시적인 상태 정보 영역(170)은 상태들(410, 420, 및 430)에 각각 대응하는 상태 정보(510, 520, 및 530)와 코드북(540)을 포함한다. 각 상태 정보(510, 520, 및 530)는, 이미지 정보(511, 521, 및 531), 천이 정보(512, 522, 및 532), 및 통계(513, 523, 및 533)를 포함한다. 이미지 정보(511, 521, 및 531)는 이미지들을 비교하는데 사용되는 정보를 포함한다. 상기 설명된 바와 같이, 이 정보는 히스토그램, 확률 밀도들, 클러스터 영역들, 특징 벡터들, 또는 당업자에게 공지된 다른 정보를 포함한다. 천이 정보(512, 522, 532)는 상태 천이들에 관한 데이터를 포함한다. 예를 들면, 천이 정보(512)는, 각 천이가 종료하는 상태, 천이가 발생한 횟수, 및 전체 천이들의 횟수와 같은, 천이들(416, 417, 및 418) 각각에 관한 정보를 포함한다(도 4 참조).
통계 정보(513, 523, 및 533)는 각 상태에 관한 데이터를 포함한다. 예를들면, 통계 정보(513)는 상태가 발생한 횟수, 발생한 상태들의 전체 수, 및 상태들의 전체 수를 포함한다. 실례로서, 세 상태가 존재하고, 그 중 상태 1이 10번 발생하고 모든 상태가 30번 발생할 수 있다. 상태 1을 가질 확률은 1/3이다.
코드북(540)은, 당업자에게 알려진 바와 같이, 일반적으로 벡터의 형태로 저장된 입력 이미지 정보를 HMM의 상태들 중 하나로 매핑시키고 각 상태에 대한 확률들을 제공하는 디바이스이다. 일반적으로, 확률들은 다차원의 가우스 함수로부터 유도되고 트레이닝 동안 결정된다.
도 4 및 도 5는, 히스토그램 방법들 또는 클러스터링과 같이, 다른 형태들의 이미지 양자화 기술들을 사용할 때 적절히 수정될 수 있을 것이다.
본원에서 도시되고 설명된 실시예와 변형예는 본 발명의 원리를 단지 설명하기 위한 것으로, 본 발명의 취지와 범위를 벗어나지 않으면서 여러가지 수정예가 당업자에 의해 구현될 수 있을 것이다.

Claims (16)

  1. 입력 이미지(155)를 복수의 스테이트들(예를 들어 410) 중 하나와 매칭하는 단계로서, 복수의 카메라들(125)로부터의 이미지들을 포함하는 신호로부터 결정된 상기 입력 이미지(155)를 포함하는, 상기 매칭 단계; 및
    상기 입력 이미지(155)가 상기 하나의 스테이트(예를 들어 410)와 매칭할 때 상기 입력 이미지(155)를 상기 스테이트들(예를 들어 410) 중 하나에 할당하는 단계를 포함하는 방법.
  2. 제 1 항에 있어서,
    다수의 카메라들(125)로부터의 이미지들을 포함하는 신호로부터 입력 이미지(155)를 결정하는 단계; 및
    상기 입력 이미지(155)로부터 입력 이미지 정보(165)를 결정하는 단계를 더 포함하고,
    상기 매칭 단계는, 상기 입력 이미지 정보(165)를 적어도 하나의 상태들 각각(예를 들면, 410)에 대응하는 상태 이미지 정보(170)와 비교하는 단계를 더 포함하고,
    상기 할당 단계는, 상기 입력 이미지 정보(165)가 상기 한 상태(예를 들면, 410)의 상태 이미지 정보(170)와 매칭할 때, 상기 상태들의 하나(예를 들면, 410)에 상기 입력 이미지(155)를 할당하는 단계를 더 포함하는, 방법.
  3. 제 2 항에 있어서,
    적어도 하나의 상태(예를 들면, 410)가 존재하는지를 판정하는 단계; 및
    적어도 하나의 상태(예를 들면, 410)가 존재하지 않을 때 상기 입력 이미지(155)에 대응하는 새로운 상태(예를 들면, 410)를 부가하는 단계를 포함하는, 상기 비교 단계;
    상기 입력 이미지(155)를 상기 새로운 상태(예를 들면, 410)에 할당하는 단계를 포함하는, 상기 할당 단계를 포함하는, 방법.
  4. 제 2 항에 있어서,
    상기 입력 이미지 정보(165)가 상기 적어도 한 상태들(예를 들면, 410) 각각에 대한 어떠한 상기 정보와도 매칭하지 않을 때, 상기 입력 이미지(155)에 대응하는 새로운 상태(예를 들면, 410)를 부가하는 단계를 포함하는, 상기 비교 단계.
    상기 새로운 상태(예를 들면, 410)에 상기 입력 이미지(155)를 할당하는 단계를 포함하는, 상기 할당 단계를 포함하는, 방법.
  5. 제 2 항에 있어서,
    상기 적어도 하나의 상태(예를 들면 410)는 다수의 상태들(예를 들면, 410)을 포함하고 상기 방법은 상기 다수의 상태들(예를 들면, 410)을 결정하기 위한 트레이닝을 수행하는 단계를 더 포함하는, 방법.
  6. 제 2 항에 있어서,
    상기 입력 이미지(155)를 출력하는 단계를 더 포함하고, 상기 입력 이미지 출력은 상기 하나의 상태(예를 들면, 410)와 관련되는, 방법.
  7. 제 2 항에 있어서,
    상기 신호(125) 상의 이미지들은 비동기적으로 결정되는, 방법.
  8. 제 7 항에 있어서,
    상기 이미지들을 상기 신호(125) 상으로 멀티플렉싱하는 단계를 더 포함하고, 상기 멀티플렉싱 단계는 카메라들 사이의 전환 시퀀스가 미리 결정되지 않고 수행되는, 방법.
  9. 제 2 항에 있어서,
    상기 신호(125) 상의 이미지들은 동기적으로 결정되는, 방법.
  10. 제 2 항에 있어서,
    상기 입력 이미지(155)를 출력하는 단계로서, 상기 입력 이미지(155)를 상기 하나의 상태와 관련시키는, 상기 출력 단계를 포함하고;
    상기 입력 이미지(155) 상에서 이벤트가 발생하는지를 판정하는 단계로서,상기 하나의 상태(예를 들면, 410)와 관련된 이전의 이미지들을 현재의 이미지와 비교하는, 상기 판정 단계를 더 포함하는, 방법.
  11. 제 2 항에 있어서,
    상기 입력 정보(165)는, 상기 한 상태의 상태 이미지 정보(170)와 상기 입력 이미지 정보(165)를 비교하는 메트릭이 선정된(predetermined) 값 내에 있을 때, 상기 한 상태의 상태 이미지 정보(170)와 매칭하는, 방법.
  12. 제 2 항에 있어서,
    상기 입력 이미지(155)로부터 입력 이미지 정보(165)를 결정하는 상기 단계는 상기 입력 이미지(155)로부터 히스토그램을 결정하는 단계를 포함하고;
    상기 비교 단계는 상기 입력 이미지(155)의 상기 히스토그램을 적어도 하나의 상태들 각각에 대응하는 히스토그램들과 비교하는 단계를 포함하고;
    상기 할당 단계는, 상기 입력 이미지(155)의 상기 히스토그램이 선정된 에러 내에서 상기 하나의 상태의 상기 히스토그램과 매칭할 때, 상기 상태들 중 하나에 상기 입력 이미지(155)를 할당하는 단계를 포함하는, 방법.
  13. 제 2 항에 있어서,
    상기 입력 이미지(155)로부터 입력 이미지 정보(165)를 결정하는 상기 단계는 상기 입력 이미지(155)로부터 다수의 특징들을 결정하는 단계를 포함하고;
    상기 비교 단계는, 상기 입력 이미지(155)의 상기 특징들을 상기 적어도 하나의 상태들(예를 들면, 410)에 대응하는 다수의 특징들 각각과 비교하는 단계를 포함하고;
    상기 할당 단계는, 상기 입력 이미지(155)의 상기 특징들이 선정된 에러 내에서 상기 하나의 상태(예를 들면, 410)의 상기 특징들과 매칭할 때, 상기 상태들 중 하나(예를 들면, 410)에 상기 입력 이미지(155)를 할당하는 단계를 포함하는, 방법.
  14. 제 13 항에 있어서,
    상기 상태들 각각(예를 들면, 410)은 은닉 마코프 모델(HMM)의 상태(예를 들면, 410)를 포함하는, 방법.
  15. 컴퓨터 판독 가능 코드를 저장하는 메모리(145); 및
    상기 메모리(145)에 동작이 가능하게 연결된 프로세서(140)로서, 상기 컴퓨터 판독 가능 코드를 구현하도록 구성되는, 상기 프로세서(140)를 포함하고,
    다수의 카메라들(125)로부터의 이미지들을 포함하는 신호로부터 입력 이미지(155)를 결정하고;
    상기 입력 이미지(155)로부터 입력 이미지 정보(165)를 결정하고;
    상기 입력 이미지 정보(165)를 적어도 하나의 상태들 각각(예를 들면, 410)에 대응하는 상태 이미지 정보(170)와 비교하고; 및
    상기 입력 이미지 정보(165)가 상기 한 상태(예를 들면, 410)의 상태 이미지 정보(170)와 매칭할 때 상기 상태들 중 하나(예를 들면, 410)에 상기 입력 이미지(155)를 할당하도록 구성되는, 상기 컴퓨터 판독 가능 코드를 포함하는 시스템.
  16. 컴퓨터 판독 가능 프로그램 코드 수단을 포함하는 컴퓨터 판독 가능 매체를 포함하는 제조 아티클(article)에 있어서,
    상기 컴퓨터 판독 가능 프로그램 코드 수단은,
    다수의 카메라들(125)로부터의 이미지들을 포함하는 신호로부터 입력 이미지(155)를 결정하기 위한 단계;
    상기 입력 이미지(155)로부터 입력 이미지 정보(165)를 결정하기 위한 단계;
    상기 입력 이미지 정보(165)를 적어도 하나의 상태들 각각(예를 들면, 410)에 대응하는 상태 이미지 정보(170)와 비교하기 위한 단계;
    상기 입력 이미지 정보(165)가 상기 한 상태(예를 들면, 410)의 상태 이미지 정보(170)와 매칭할 때 상기 상태들 중 하나(예를 들면, 410)에 상기 입력 이미지(155)를 할당하기 위한 단계를 포함하는, 제조 아티클.
KR10-2004-7010228A 2001-12-28 2002-12-12 비동기적으로 멀티플렉스된 비디오를 처리할 수 있는비디오 모니터링 및 감시 시스템들 KR20040070289A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/034,670 2001-12-28
US10/034,670 US6999613B2 (en) 2001-12-28 2001-12-28 Video monitoring and surveillance systems capable of handling asynchronously multiplexed video
PCT/IB2002/005392 WO2003056527A1 (en) 2001-12-28 2002-12-12 Video monitoring and surveillance systems capable of handling asynchronously multiplexed video

Publications (1)

Publication Number Publication Date
KR20040070289A true KR20040070289A (ko) 2004-08-06

Family

ID=21877860

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7010228A KR20040070289A (ko) 2001-12-28 2002-12-12 비동기적으로 멀티플렉스된 비디오를 처리할 수 있는비디오 모니터링 및 감시 시스템들

Country Status (9)

Country Link
US (1) US6999613B2 (ko)
EP (1) EP1461788B1 (ko)
JP (1) JP2005513939A (ko)
KR (1) KR20040070289A (ko)
CN (1) CN1610929A (ko)
AT (1) ATE320641T1 (ko)
AU (1) AU2002367222A1 (ko)
DE (1) DE60209945T2 (ko)
WO (1) WO2003056527A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8392552B2 (en) 2000-09-28 2013-03-05 Vig Acquisitions Ltd., L.L.C. System and method for providing configurable security monitoring utilizing an integrated information system
AU2002336445B2 (en) 2001-09-07 2007-11-01 Intergraph Software Technologies Company Image stabilization using color matching
US6965645B2 (en) * 2001-09-25 2005-11-15 Microsoft Corporation Content-based characterization of video frame sequences
US7480715B1 (en) 2002-01-25 2009-01-20 Vig Acquisitions Ltd., L.L.C. System and method for performing a predictive threat assessment based on risk factors
US20030206172A1 (en) * 2002-03-05 2003-11-06 Vigilos, Inc. System and method for the asynchronous collection and management of video data
US20040148518A1 (en) * 2003-01-27 2004-07-29 John Grundback Distributed surveillance system
US20040189871A1 (en) * 2003-03-31 2004-09-30 Canon Kabushiki Kaisha Method of generating moving picture information
US7817716B2 (en) * 2003-05-29 2010-10-19 Lsi Corporation Method and/or apparatus for analyzing the content of a surveillance image
US7697026B2 (en) * 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
JP2005267389A (ja) * 2004-03-19 2005-09-29 Fujitsu Ltd 動画像解析システム及びその装置
US7433820B2 (en) * 2004-05-12 2008-10-07 International Business Machines Corporation Asynchronous Hidden Markov Model method and system
US8724891B2 (en) * 2004-08-31 2014-05-13 Ramot At Tel-Aviv University Ltd. Apparatus and methods for the detection of abnormal motion in a video stream
US8130285B2 (en) * 2005-04-05 2012-03-06 3Vr Security, Inc. Automated searching for probable matches in a video surveillance system
US7646895B2 (en) * 2005-04-05 2010-01-12 3Vr Security, Inc. Grouping items in video stream images into events
US8335345B2 (en) * 2007-03-05 2012-12-18 Sportvision, Inc. Tracking an object with multiple asynchronous cameras
US8432449B2 (en) * 2007-08-13 2013-04-30 Fuji Xerox Co., Ltd. Hidden markov model for camera handoff
US8443413B2 (en) * 2007-12-14 2013-05-14 Texas Instruments Incorporated Low-latency multichannel video port aggregator
CN102438153B (zh) * 2010-09-29 2015-11-25 华为终端有限公司 多摄像机图像校正方法和设备
GB201511334D0 (en) * 2015-06-29 2015-08-12 Nokia Technologies Oy A method, apparatus, computer and system for image analysis
WO2022008981A1 (en) * 2020-07-09 2022-01-13 Google Llc Systems and methods for multiplexing and de-multiplexing data events of a publishing platform
US20230308611A1 (en) * 2022-03-28 2023-09-28 Haier Us Appliance Solutions, Inc. Multi-camera vision system in a refrigerator appliance

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5243418A (en) * 1990-11-27 1993-09-07 Kabushiki Kaisha Toshiba Display monitoring system for detecting and tracking an intruder in a monitor area
DE4207688C1 (ko) * 1992-03-11 1993-06-03 Grundig E.M.V. Elektro-Mechanische Versuchsanstalt Max Grundig Hollaend. Stiftung & Co Kg, 8510 Fuerth, De
US6317160B1 (en) * 1997-11-28 2001-11-13 U.S. Philips Corporation Frame conversion for asynchronous input image signals
US6751354B2 (en) * 1999-03-11 2004-06-15 Fuji Xerox Co., Ltd Methods and apparatuses for video segmentation, classification, and retrieval using image class statistical models
DE10011411C2 (de) * 2000-03-09 2003-08-14 Bosch Gmbh Robert Bildgebender Brandmelder
JP3982605B2 (ja) * 2000-09-29 2007-09-26 カシオ計算機株式会社 撮影画像管理装置、撮影画像管理方法及び撮影画像管理プログラム
US6801656B1 (en) * 2000-11-06 2004-10-05 Koninklijke Philips Electronics N.V. Method and apparatus for determining a number of states for a hidden Markov model in a signal processing system
US6731805B2 (en) * 2001-03-28 2004-05-04 Koninklijke Philips Electronics N.V. Method and apparatus to distinguish deposit and removal in surveillance video
US6865295B2 (en) * 2001-05-11 2005-03-08 Koninklijke Philips Electronics N.V. Palette-based histogram matching with recursive histogram vector generation

Also Published As

Publication number Publication date
JP2005513939A (ja) 2005-05-12
CN1610929A (zh) 2005-04-27
DE60209945T2 (de) 2006-09-21
US6999613B2 (en) 2006-02-14
EP1461788B1 (en) 2006-03-15
WO2003056527A1 (en) 2003-07-10
DE60209945D1 (de) 2006-05-11
AU2002367222A1 (en) 2003-07-15
EP1461788A1 (en) 2004-09-29
US20030123702A1 (en) 2003-07-03
ATE320641T1 (de) 2006-04-15

Similar Documents

Publication Publication Date Title
KR20040070289A (ko) 비동기적으로 멀티플렉스된 비디오를 처리할 수 있는비디오 모니터링 및 감시 시스템들
KR101942808B1 (ko) 객체 이미지 인식 dcnn 기반 cctv 영상분석장치
KR102194499B1 (ko) 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 및 그 장치의 구동방법
EP3518145A1 (en) Cognitive indexing of images in digital video content
Martel-Brisson et al. Learning and removing cast shadows through a multidistribution approach
Lupatini et al. Scene break detection: a comparison
EP2224357A1 (en) Video segmentation
JP4777059B2 (ja) 画像検索装置および画像検索方法
US7796786B2 (en) Image processing device, method, and program
US20060159370A1 (en) Video retrieval system and video retrieval method
JP2001022792A (ja) キーフレーム選択のための候補フレームを選択する方法
JP2000215318A (ja) 入力ベクトルをクラスタリングする方法
US7813527B2 (en) Method and system for object detection in an image plane
AU2005298492A1 (en) A method and system for processing video data
JPH11234670A (ja) ビデオセグメント化方法、ビデオセグメント化モデルトレーニング方法、ビデオの状態へのセグメント化装置、及びデータ構造
JP2007325277A (ja) 協調フレームワークのサポートシステム、監視ビデオのマイニングのサポート方法、及びプログラム
WO2001041064A2 (en) Program classification using object tracking
US20040183825A1 (en) Method for identification of tokens in video sequences
WO2007007693A1 (en) Dynamic generative process modeling
Zhao et al. Background subtraction based on deep pixel distribution learning
KR101773127B1 (ko) 효율적인 영상 분석 및 검색이 가능한 영상 분석 시스템, 이를 포함하는 통합 관제 시스템 및 그 동작방법
US7212669B2 (en) Automatic perception method and device
Avrithis et al. Broadcast news parsing using visual cues: A robust face detection approach
Komagal et al. Real time background subtraction techniques for detection of moving objects in video surveillance system
KR20040068987A (ko) 비디오내의 추적된 오브젝트들의 궤적을 효과적으로저장하는 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid