KR20090006851A - 통계적인 픽셀 모델링을 이용한 비디오 분할 - Google Patents

통계적인 픽셀 모델링을 이용한 비디오 분할 Download PDF

Info

Publication number
KR20090006851A
KR20090006851A KR1020087027794A KR20087027794A KR20090006851A KR 20090006851 A KR20090006851 A KR 20090006851A KR 1020087027794 A KR1020087027794 A KR 1020087027794A KR 20087027794 A KR20087027794 A KR 20087027794A KR 20090006851 A KR20090006851 A KR 20090006851A
Authority
KR
South Korea
Prior art keywords
statistical model
region
value
background
frame
Prior art date
Application number
KR1020087027794A
Other languages
English (en)
Other versions
KR101392294B1 (ko
Inventor
알랜 제이 립톤
닐스 해링
지샨 라쉬드
오마 제이브드
종 장
웨이홍 인
피터 엘 베네시아너
게리 더블유 마이어스
Original Assignee
오브젝트비디오 인코퍼레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오브젝트비디오 인코퍼레이티드 filed Critical 오브젝트비디오 인코퍼레이티드
Publication of KR20090006851A publication Critical patent/KR20090006851A/ko
Application granted granted Critical
Publication of KR101392294B1 publication Critical patent/KR101392294B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

전경 및 배경(324) 부분으로 비디오 데이터를 분할하기 위한 방법은 픽셀의 통계적 모델링을 이용한다. 배경의 A 통계적 모델은 각각의 픽셀에 대해 형성되고, 입력되는 비디오 프레임 내의 각각의 픽셀은 그 픽셀에 대한 배경 통계적 모델과 비교된다(326). 픽셀은 그 비교에 기초하여 전경 또는 배경이 되는 것으로 결정된다. 비디오 데이터를 분할하기 위한 방법은 지능형 비디오 감시 시스템을 구현하기 위한 방법으로 더 통합될 수 있다. 비디오 데이터를 분할하기 위한 방법은 하드웨어 내에서 구현될 수 있다.
Figure P1020087027794
지능형 비디오 감시 시스템, 비디오 데이터 분할, 픽셀 통계적 모델링, 배경 통계적 모델, 전경 통계적 모델

Description

통계적인 픽셀 모델링을 이용한 비디오 분할{VIDEO SEGMENTATION USING STATISTICAL PIXEL MODELING}
본 발명은 비디오 프로세싱 시스템(video processing system) 예를 들어, 보안, 감시, 이와 관련된 국가 보안 및 반테러리즘(anti-terrorism) 시스템에 이용되는 폐쇄 회로 텔레비젼 시스템(Closed Circuit Television System : CCTV)과 관련하여 또는 그 일부로서 이용되는 지능형 비디오 감시(intelligent video surveilliance : IVS) 시스템과, 시장 조사를 위한 상점 내의 인간 행동 경향(in-store human behavior trend)을 수립하기 위하여 소매 시설(retail establishment) 내의 감시 비디오를 프로세싱하는 IVS 시스템과, 잘못된 방향으로의 통행(wrong-way traffic), 고장 차량, 사고 및 도로 차단물(road blockage)을 검출하기 위하여 차량의 통행을 모니터링하는 IVS 시스템과, 비디오 압축 시스템에서의 이용을 위한 비디오 프레임의 프로세싱에 관한 것이다. IVS 시스템은, 전경 객체(foreground object)가 동물, 차량 또는 그 밖의 움직이지만 분류되지 않은 객체와 같이 일반적인 부류로서 분류될 수 있고, 또는 인간, 작거나 큰 비인간 동물(non-human animal), 자동차, 항공기, 보트, 트럭, 나무, 플래그(flag) 또는 수변 지역(water region)으로서 보다 구체적인 부류로 분류될 수 있는 객체 분류를 수행하기 위하여 비디오 분할 단계 이후의 비디오를 더 프로세싱하는 시스템이다. IVS 시스템에서, 이러한 비디오 분할 및 분류가 발생하면, 검출된 객체는 그 위치, 움직임 및 행동이 사용자 정의된 가상 비디오 트립와이어(virtual video tripwire) 및 대상의 가상 영역(여기서 대상 영역은 장면(scene) 또는 시야(view)의 전체 필드일 수 있음)에 어떻게 관련되어 있는지를 결정하기 위하여 프로세싱된다. 발생하는 사용자 정의된 이벤트는, 그 후 경호원 또는 전문가(professional)에게 근무 중에 전달될 대상 이벤트로서 플래그(flag)될 것이다. 이러한 이벤트의 예는 가상 비디오 트립와이어를 가로지르는 인간 또는 차량, 장면 또는 대상의 가상 영역에 들어가거나 배회(loiter)하는 사람 또는 차량, 또는 가상 영역 또는 장면에 잔류하거나 그로부터 멀어지는 객체를 포함한다. 특히, 본 발명은 비디오 프레임을 포함하는 영역의 통계적 특성을 이용하여 비디오 프레임을 그 구성요소 부분으로 분할하는 방식을 다룬다.
비디오 객체를 검출 및 추적하기 위한 객체 기반의 비디오 압축, 비디오 분할 뿐만 아니라, 다른 타입의 객체 지향 비디오 프로세싱에서, 입력 비디오는 2개의 스트림으로 분리된다. 하나의 스트림은 정지한 배경 정보를 나타내는 정보를 포함하고, 나머지 하나의 스트림은 전경 정보로서 나타낼 비디오의 움직이는 부분을 나타내는 정보를 포함한다. 배경 정보는 장면 모델 즉, 예를 들어, 비디오 프레임의 시퀀스에서 발견하는 것과 같은 일련의 관련 이미지로부터 구성된 복합 이미지 를 포함하는 배경 모델로서 나타내고, 배경 모델은 추가 모델 및 모델링 정보를 포함할 수도 있다. (예를 들어, 포인트(point) 및/또는 영역을 매칭시켜서) 이미지들을 정렬(align)시키고, 그들 사이의 오버랩(overlap)을 결정함으로써 장면 모델이 생성된다. 효율적인 송신 또는 저장 방식에서, 전경 정보는 각각의 프레임마다 송신되는 반면, 장면 모델은 한 번만 송신되면 된다. 예를 들어, 팬(pan), 틸트(tilt), 롤(roll) 및 줌(zoom) 타입의 모션(motion)만을 겪은 관측기(즉, 비디오 소스인, 카메라 등)의 경우, 관측기 모션에 기초한 명확한 방식인 경우를 제외하고 장면 모델의 외형(apprearance)이 프레임으로부터 프레임으로 변화하지 않으므로, 장면 모델은 한 번만 송신될 필요가 있고, 모션 파라미터를 송신함으로써 이것은 용이하게 설명될 수 있다. 이러한 기술은 팬, 틸트, 롤 및 줌 이외에도 다른 형태의 모션의 경우에도 적용할 수 있다는 점에 유의하여야 한다. IVS 시스템에서, 배경 픽셀이 카메라의 팬, 틸트 및 줌 모션으로 인하여 식별할 수 있는 모션을 겪을 수 있는 경우에도, 별개의 움직이는 전경 및 배경 객체의 생성은 시스템이 움직이는 대상의 객체에 대한 분류를 시도하도록 한다.
자동 객체 지향 비디오 프로세싱을 실행할 수 있도록 하기 위해서는, 움직이거나 변화하는 비디오 시퀀스 내의 영역을 구별하고, 정지한 배경 영역으로부터 그들을 분리(즉, 분할)할 수 있는 것이 필요하다. 이 분할은 예를 들어, 팬, 틸트, 롤 및/또는 줌하는 관측기에 의해 (또는 실제 관측기 모션을 포함하는, 다른 모션 관련 현상으로 인해) 야기되는 것과 같이, 식별할 수 있는 모션이 존재하는 경우에 수행되어야 한다. 이 모션을 설명하기 위하여, 이미지는 먼저 정렬되고 즉, 이미지 내의 대응하는 위치(즉, 프레임)가 전술한 바와 같이 결정된다. 이 정렬 이후에, 정지한 배경에 대해 실제로 움직이거나 변화하는 객체는 장면 내의 정지한 객체로부터 분할될 수 있다. 그 후, 정지한 영역은 장면 모델을 생성(또는 업데이트)하기 위하여 이용되고, 움직이는 전경 객체는 각각의 프레임마다 식별된다.
전술한 바와 같이, 특히 관측기 모션이 존재하는 경우, 움직이는 전경 및 정지한 배경인 비디오 객체들 사이의 식별 및 자동 구별이 용이한 것은 아니다. 또한, 다른 비디오 프로세싱 기술의 최대 정교도(fineness) 또는 정확도, 또는 최대 압축 정도를 제공하기 위해서는, 가능한 한 정교하게 전경 객체를 분할하는 것이 바람직하고, 이것은 예를 들어, 연속적인 비디오 프레임들 사이의 평활도(smoothness) 및 개별 프레임들 내의 선명도(crispness)를 지속할 수 있게 한다. 그러나, 공지된 기술은 작은 전경 객체가 부정확하고 그것을 이용하기 어렵다는 것을 증명하고, 과도한 프로세싱 능력 및 메모리를 요구한다. 따라서, 종래 기술을 한정하지 않고, 전경과 배경 정보 사이의 정확한 분할, 전경 객체의 정확하고 선명한 표시를 가능하게 하는 기술을 가지는 것이 바람직할 것이다.
본 발명은 소스 비디오의 통계적 특성에 기초하여, 비디오를 전경 정보 및 배경 정보로 분할하기 위한 방법에 관한 것이다. 보다 구체적으로, 상기 방법은 통계적 정보에 기초한 비디오 영역(즉, 전경 또는 배경)의 레이블링(labeling) 및 비디오 영역의 특징에 관계된 통계적 정보를 생성 및 업데이트하는데 기초한다. 예를 들어, 하나의 실시예에서, 영역은 픽셀이고, 특징은 채도(chromatic intensity)이다. 명백해질 것과 같이, 다수의 다른 가능성이 존재한다. 보다 특별한 실시예에서, 본 발명은 지능형 비디오 감시 시스템을 구현하기 위하여, 발명의 비디오 분할 방법을 이용하는 방법에 관한 것이다.
본 발명의 실시예에서, 배경 모델은 적어도 2개의 구성요소를 포함하도록 전개된다. 제1 구성요소는 장면 모델이고, 이것은 예를 들어, 전술한 미국특허출원에서 설명된 바와 같이 형성 및 업데이트될 수 있다. 제2 구성요소는 배경 통계적 모델이다.
제1 실시예에서, 본 발명의 방법은 비디오 분할의 투패스 프로세스(two-pass process)를 포함한다. 실시예의 2개의 패스는 배경 통계적 모델이 형성 및 업데이트되는 제1 패스와, 프레임 내의 영역이 분할되는 제2 패스를 포함한다. 제1 패스의 실시예는 장면 모델과 각각의 비디오 프레임을 정렬시키는 단계 및 정렬된 프레임 데이터에 기초하여 배경 통계적 모델을 업데이트하는 단계를 포함한다. 제2 패스의 실시예는 각각의 프레임에 대하여, 프레임 영역을 레이블링하는 단계 및 공간 필터링을 수행하는 단계를 포함한다.
제2 실시예에서, 본 발명의 방법은 비디오 분할의 원패스 프로세스(one-pass process)를 포함한다. 단일 패스는 비디오 스트림의 프레임 시퀀스 내의 각각의 프레임에 대하여, 장면 모델과 프레임을 정렬시키는 단계, 배경 통계적 모델을 형성하는 단계, 프레임 영역을 레이블링하는 단계 및 공간/시간 필터링을 수행하는 단계를 포함한다.
또 다른 실시예에서, 본 발명의 방법은 전술한 비디오 분할의 원패스 프로세스의 변경된 버전을 포함한다. 이 실시예는 배경 통계적 모델을 형성하는 단계가 배경 통계적 모델 및 2차 통계적 모델을 형성하는 단계로 대체되는 것을 제외하고는 이전 실시예와 유사하다.
제4 실시예에서, 본 발명의 방법은 비디오 분할의 원패스 프로세스를 포함한다. 단일 패스는 실시간 비디오 스트림 내의 각각의 프레임에 대하여, 프레임 내의 픽셀을 레이블링하는 단계하고, 프레임 내의 픽셀의 공간/시간 필터링을 수행하는 단계, 선택적으로, 픽셀 레이블링을 정제(refine)하는 단계, 배경 및 전경 통계적 모델(들)을 형성/업데이트하는 단계 및 배경 통계적 모델에 객체를 삽입하는 단계를 포함한다.
이러한 각각의 실시예는 그 단계들을 실행시키는 소프트웨어를 작동시키는 컴퓨터 시스템과, 그 단계들을 나타내는 소프트웨어를 포함하는 컴퓨터 판독가능 매체의 형태로 실시될 수 있다.
이러한 각각의 실시예는 하드웨어 장치의 형태로 실시될 수 있다.
정의
본 발명을 설명함에 있어서, 다음의 정의는 (상기 설명을 포함하여) 전반에 걸쳐 적용할 수 있다.
"컴퓨터"는 구조화된 입력을 수용하고, 미리 정해진 규칙에 따라 구조화된 입력을 프로세싱하며, 프로세싱의 결과를 출력으로서 생성할 수 있는 임의의 장치를 나타낸다. 컴퓨터의 예는 컴퓨터, 범용 컴퓨터, 슈퍼컴퓨터, 메인프레임(mainframe), 슈퍼 미니컴퓨터(super mini-computer), 미니컴퓨터, 워크스테이션(workstation), 마이크로컴퓨터(micro-computer), 서버, 대화형 텔레비젼, 컴퓨터 및 대화형 텔레비젼의 복합 결합 및 컴퓨터 및/또는 소프트웨어를 에뮬레이트하는 주문형 하드웨어(application-specific hardware)를 포함한다. 컴퓨터는 단일 프로세서 또는 다중 프로세서를 가질 수 있고, 이것은 병렬로 동작하거나, 및/또는 병렬로 동작하지 않을 수 있다. 또한, 컴퓨터는 컴퓨터들 사이의 정보를 송신 또는 수신하기 위한 네트워크를 통해 함께 접속되는 둘 이상의 컴퓨터를 나타낸다. 이러한 컴퓨터의 일례는 네트워크에 의해 링크된 컴퓨터를 통해 정보를 프로세싱하기 위한 분산 컴퓨터 시스템을 포함한다.
"컴퓨터 판독가능 매체"는 컴퓨터에 의해 접근 가능한 데이터를 저장하는데 이용되는 임의의 저장 디바이스를 나타낸다. 컴퓨터 판독가능 매체의 예는 자기 하드디스크(magnetic hard disk), 플로피 디스크, CD-ROM 또는 DVD와 같은 광 디스크, 자기 테이프 및 메모리 칩을 포함한다.
"소프트웨어"는 컴퓨터를 동작시키기 위한 미리 정해진 규칙을 나타낸다. 소프트웨어의 예는 소프트웨어, 코드 세그먼트(code segment), 명령, 컴퓨터 프로그램 및 프로그래밍된 로직(logic)을 포함한다.
"컴퓨터 시스템"은 컴퓨터를 가지는 시스템을 나타내고 여기서, 컴퓨터는 컴퓨터를 동작시키기 위한 소프트웨어를 포함하는 컴퓨터 판독가능 매체를 포함한다.
"네트워크"는 통신 장비(communication facility)에 의해 접속되는 관련 디바이스 및 다수의 컴퓨터를 나타낸다. 네트워크는 케이블과 같은 영구적 접속(permanent connection) 또는 전화 또는 다른 통신 링크를 통해 이루어진 것과 같은 일시적 접속(temporary connection)을 포함한다. 네트워크의 예는 Internet과 같은 인터넷(internet), 인트라넷, 근거리 통신망(local area network : LAN), 원거리 통신망(wide area network : WAN) 및 인터넷 및 인트라넷과 같은 네트워크의 결합을 포함한다.
"비디오"는 아날로그 및/또는 디지털 형태로 나타낸 모션 영상을 나타낸다. 비디오의 예는 보안 장치인 CCTV 시스템으로부터의 비디오 피드(video feed), 감시 및 반테러리즘 어플리케이션, 텔레비젼, 영화, 카메라 또는 다른 관측기로부터의 이미지 시퀀스 및 컴퓨터에 의해 생성된 이미지 시퀀스를 포함한다. 이것은 예를 들어, 유선 또는 무선 라이브 피드(live feed), 저장 디바이스, 파이어와이어 인터페이스(firewire interface), 비디오 디지타이저, 비디오 스트리밍 서버, 디바이스 또는 소프트웨어 구성요소, 컴퓨터 그래픽 엔진 또는 네트워크 접속으로부터 획득될 수 있다.
"비디오 프로세싱"은 예를 들어, 압축 및 편집을 포함하는 비디오의 임의의 조작(manipulation)을 나타낸다.
"프레임"은 비디오 내의 특정 이미지 또는 다른 개별 단위(discrete unit)를 나타낸다.
"비디오 카메라"는 시각적 레코딩(visual recording)을 위한 장치를 나타낼 수 있다. 비디오 카메라의 예는 비디오 카메라, 디지털 비디오 카메라, 컬러 카메라, 흑백 카메라, 카메라, 캠코더, PC 카메라, 웹카메라, 적외선(IR) 비디오 카메라, 저조도 비디오 카메라(low-light video camera), 열 비디오 카메라(thermal video camera), 폐쇄회로 텔레비젼(CCTV) 카메라, 팬, 틸트, 줌(PTZ) 카메라 및 비디오 센싱 디바이스 중 하나 이상을 포함할 수 있다. 비디오 카메라는 대상 영역의 감시를 수행하도록 배치될 수 있다.
이하, 본 발명은 첨부된 도면과 관련하여 보다 상세하게 설명될 것이다.
도 1은 본 발명의 제1 실시예의 구현예에 대응하는 흐름도를 도시한다.
도 2a 및 2b는 도 1의 흐름도 내의 레이블링 단계의 2개의 또 다른 실시예에 대응하는 흐름도를 도시한다.
도 3a 및 3b는 도 1의 흐름도 내의 공간/시간 필터링 단계의 구현예에 대응하는 흐름도를 도시한다.
도 4는 본 발명의 제2 실시예의 구현예에 대응하는 흐름도를 도시한다.
도 5는 도 4의 흐름도 내의 단계들 중의 하나의 구현예에 대응하는 흐름도를 도시한다.
도 6a 및 6b는 도 4의 흐름도 내의 단계들 중 또 다른 하나의 구현예에 대응하는 흐름도를 함께 도시한다.
도 7은 본 발명의 제3 실시예의 구현예에 대응하는 흐름도를 도시한다.
도 8a 및 8b는 도 7의 흐름도 내의 단계들 중 하나의 구현예에 대응하는 흐 름도를 함께 도시한다.
도 9는 컴퓨터 시스템의 부분일 수 있는 컴퓨터 판독가능 매체 상에 포함되는 소프트웨어의 형태로 본 발명의 실시예를 도시한다.
도 10은 본 발명의 실시예에 따라 지능형 비디오 감시 시스템을 구현하는 방법의 흐름도를 도시한다.
도 11은 본 발명의 제4 실시예의 구현예에 대응하는 흐름도를 도시한다.
도 12는 도 11의 흐름도 내의 블럭들 중의 하나의 구현예에 대응하는 흐름도를 도시한다.
도 13은 도 11의 흐름도 내의 블럭들 중의 하나의 구현예에 대응하는 흐름도를 도시한다.
도 14는 도 12 및 13의 흐름도 내의 블럭들 중의 하나의 구현예에 대응하는 흐름도를 도시한다.
도 15는 도 11의 흐름도 내의 블럭도들 중의 하나의 구현예에 대응하는 흐름도를 도시한다.
동일한 대상물은 그것을 포함하는 모든 도면에서 동일한 참조 번호에 의해 표기된다는 점에 유의하여야 한다.
전술한 바와 같이, 본 발명은 움직이는 객체에 대응하는 전경 정보와 비디오의 정지한 부분에 대응하는 배경 정보로 비디오 스트림을 분할하는 것에 관한 것이 다. 본 발명은 다수의 방식으로 실시될 수 있고, 그것의 4가지 특정 방식은 이하에서 설명된다. 이러한 실시예는 한정이 아니라 예시를 의도한 것이다.
다음의 설명은 "픽셀" 및 "채도"를 나타내지만, 본 발명의 방법은 이에 한정되지 않는다. 오히려, 프로세싱은 하나의 픽셀만이 아닌, (다중 픽셀을 포함하는 영역을 포함하는) 임의의 타입의 영역을 포함할 수 있고, 채도만이 아닌, 이러한 영역에 관계되거나 이에 대하여 측정된 임의의 타입의 특징을 이용할 수 있다.
1. 제1 실시예 - 투패스 분할
본 발명의 제1 실시예는 도 1에 도시되어 있으며, 분할의 투패스 방법에 대응한다. 도 1에 도시된 바와 같이, 이 방법은 비디오 스트림(단계(1))으로부터 프레임(또는 비디오) 시퀀스를 획득함으로써 시작한다. 프레임 시퀀스는 비디오 스트림의 둘 이상의 프레임을 포함하는 것이 바람직하다. 프레임 시퀀스는 예를 들어, 비디오 스트림의 일부 또는 전체 비디오 스트림일 수 있다. 비디오 스트림의 일부로서, 프레임 시퀀스는 예를 들어, 비디오 스트림의 프레임의 하나의 연속 시퀀스, 또는 비디오 스트림의 프레임의 둘 이상의 불연속 시퀀스일 수 있다. 또한, 정렬 단계의 부분으로서, 장면 모델이 형성 및 업데이트된다.
단계(1)의 이후, 단계(2)에서, 모든 프레임이 프로세싱되었는지의 여부가 결정된다. 모든 프레임이 프로세싱되지 않은 경우, 다음 프레임이 행해지고, 비디오 스트림의 기초적인 장면 모델(underlying scene model)과 정렬되며(단계(3)), 이러한 정렬은 다수의 다른 참조 문헌에서 뿐만 아니라, 상기에서 설명되었다.
본 발명의 방법은 통계적 모델링의 이용에 기초하여, 특정 픽셀이 전경 객체 또는 그의 일부로서, 또는 배경 또는 그의 일부로서 분류되어야 하는지의 여부를 결정한다. 단계(4)는 단계(3)에 정렬된 각각의 프레임을 이용하여, 배경의 통계적 모델의 형성 및 업데이트를 다룬다.
본 발명의 통계적 모델은 1차 및 2차 통계를 포함한다. 다음의 설명에서, 평균 및 표준 편차는 이러한 1차 및 2차 통계로서 이용될 것이지만, 이것은 이용될 수 있는 통계의 예시만을 의도한 것이다.
일반적으로, N개의 샘플의 평균,
Figure 112008078502611-PCT00001
은, 샘플의 합을 취하고 그것을 N에 의해 분배함으로써 즉,
Figure 112008078502611-PCT00002
(1)
으로 계산된다. 여기서,
Figure 112008078502611-PCT00003
는 주어진 픽셀(또는 영역)에 대응하는 특정 샘플이고, 이 경우에 이것은 예를 들어, 주어진 픽셀(또는 영역)에 대응하는 i번째 샘플의 측정된 채도일 수 있다. 그 후, 이 상태에서, 이러한 평균은 각각의 픽셀 또는 영역에 대해 계산될 것이다.
방정식(1)은 샘플 평균에 대한 일반적인 공식을 제공하지만, 이 공식을 이용하는 것이 항상 최적일 수는 없다. 비디오 프로세싱 어플리케이션에서, 객체가 픽 셀을 통해 움직일 경우, 픽셀의 샘플 값은 과격하게 변화할 수 있고, 움직이는 객체가 더 이상 그 픽셀 내에 속하지 않음에 따라, 그 이전 값의 주변의 값으로 (과격하게) 되돌아갈 수 있다. 이러한 타입의 고려 사항을 다루기 위하여, 본 발명은 이전 값이 현재 값보다 훨씬 더 가중되는 가중 평균(weighted average)을 이용한다. 특히, 다음의 방정식이 이용될 수 있다.
Figure 112008078502611-PCT00004
(2)
여기서,
Figure 112008078502611-PCT00005
는 이전 값의 가중치이고,
Figure 112008078502611-PCT00006
은 가장 최근 값에 할당된 가중치이다. 추가적으로,
Figure 112008078502611-PCT00007
는 J 샘플에 대한 가중 평균이고,
Figure 112008078502611-PCT00008
는 K번째 샘플을 나타낸다. 이전 값이 가장 최근 값보다 훨씬 더 가중됨을 보장하기 위하여,
Figure 112008078502611-PCT00009
및
Figure 112008078502611-PCT00010
은 그 합계가 1이 되고
Figure 112008078502611-PCT00011
<
Figure 112008078502611-PCT00012
가 되도록, 0과 1 사이의 임의의 쌍의 값으로 설정될 수 있다. 일례로서, 발명자는
Figure 112008078502611-PCT00013
= 0.9 및
Figure 112008078502611-PCT00014
= 0.1을 성공적으로 이용한다.
표준 편차,
Figure 112008078502611-PCT00015
는 고려 중인 값의 분산(variance),
Figure 112008078502611-PCT00016
의 제곱근으로서 결정된다. 일반적으로, 분산은 다음의 공식에 의해 결정된다.
Figure 112008078502611-PCT00017
(3)
여기서,
Figure 112008078502611-PCT00018
는
Figure 112008078502611-PCT00019
의 평균을 나타내고 그에 따라, 표준 편차는 다음과 같이 주어진다.
Figure 112008078502611-PCT00020
(4)
본 발명의 방법이 통계를 실행하는 단계를 이용하므로, 이것은 다음과 같이 된다.
Figure 112008078502611-PCT00021
(4a)
여기서,
Figure 112008078502611-PCT00022
은 상기 방정식(2)에서 정의되고,
Figure 112008078502611-PCT00023
는 N번째 샘플을 통해 샘플의 제곱 값의 가중 평균으로서 정의되고, 다음과 같이 주어진다.
Figure 112008078502611-PCT00024
(5)
샘플 값의 가중 평균의 경우에서와 같이, 가중치는 이전 값이 현재 값보다 훨씬 더 가중된다는 점을 보장하기 위하여 이용된다.
이것이 주어지면, 단계(4)는 각각의 프레임에 대하여, 각 픽셀에 대한 방정식(4a)의 값을 계산함으로써 통계적 모델을 생성 및 업데이트하도록 동작한다. 또한, 단계(4)에서, 픽셀에 대한 값은 (그것이 수신된 방식 즉, 프레임 × 프레임 기반과는 대조적으로서) 픽셀 × 픽셀 기반으로 저장되고, 즉, 값의 어레이(array)는 프레임의 시퀀스의 각각의 픽셀에 대하여 컴파일(compile)된다. 또 다른 실시예에서, 단계(4)는 이러한 값의 저장만을 수행한다는 점에 유의하여야 한다.
단계(4)의 이후, 이 방법은 모든 프레임이 프로세싱되었는지의 여부를 확인하기 위해 단계(2)로 되돌아간다. 모든 프레임이 프로세싱된 경우, 이 방법은 단계(5)로 진행하고, 이것은 실시예의 제2 패스를 시작한다.
단계(5)에서, 통계적 배경 모델이 최종 결정된다. 이것은 각각의 픽셀에 대한 저장된 값을 이용하고, 가장 자주 발생하는 값인 그 모드를 결정함으로써 행해진다. 이것은 예를 들어, 저장된 값의 히스토그램을 취하고, 히스토그램이 가장 높은 값을 가지는 값을 선택함으로써 이루어질 수 있다. 그 후, 각 픽셀의 모드는 그 픽셀에 대한 배경 통계적 모델의 값으로서 할당된다.
단계(5)의 이후, 이 방법은 모든 프레임이 프로세싱되었는지의 여부를 결정하는 단계(6)로 진행한다. 모든 프레임이 프로세싱되지 않은 경우, 이 방법은 프레임 내의 각각의 픽셀을 전경(FG) 픽셀 또는 배경(BG) 픽셀로서 레이블링하는 단계(7)로 진행한다. 이 단계의 동작의 2개의 또 다른 실시예는 도 2a 및 2b의 흐름 도에 도시된다.
도 2a는 2개의 판정 레벨 방법을 도시한다. 도 2a에서, 픽셀 레이블링 단계(7)는 프레임 내의 모든 픽셀이 프로세싱되었는지의 여부를 결정하는 단계(71)로 시작한다. 모든 픽셀이 프로세싱되지 않은 경우, 이 방법은 다음 픽셀을 검토하기 위해 단계(72)로 진행한다. 단계(72)는 픽셀이 배경 통계적 모델과 일치하는지의 여부 즉, 픽셀의 값이 그 픽셀에 대한 모델과 일치하는지의 여부를 결정한다. 이것은 픽셀(즉, 모드)에 대한 배경 통계적 모델의 값과 픽셀 값 사이의 절대차를 취하고, 그것을 스레숄드(threshold)와 비교함으로써 수행된다. 즉,
Figure 112008078502611-PCT00025
(6)
은 스레숄드 θ와 비교된다. 방정식(6)에서,
Figure 112008078502611-PCT00026
은 픽셀의 값을 나타내지만,
Figure 112008078502611-PCT00027
은 그 픽셀에 대한 통계적 배경 모델의 값을 나타낸다.
스레숄드 θ는 여러 가지 방식으로 결정될 수 있다. 예를 들어, (주어진 픽셀의) 표준 편차의 함수,
Figure 112008078502611-PCT00028
로 취해질 수 있다. 특정한 대표적인 실시예에서,
Figure 112008078502611-PCT00029
이고, 또 다른 실시예에서,
Figure 112008078502611-PCT00030
이며 여기서, K는 사용자에 의해 선택된다. 또 다른 예로서, θ는 (다시, 각각의 픽셀에 대한) 미리 결정된 값 또는 사용자에 의해 선택된 값으로 할당될 수 있다.
Figure 112008078502611-PCT00031
인 경우, 픽셀 값은 배경 통계적 모델과 일치하도록 고려된다. 이 경 우, 픽셀은 단계(73)에서 배경(BG)으로서 레이블링되고, 알고리즘은 단계(71)로 되돌아간다. 그렇지 않으면,
Figure 112008078502611-PCT00032
인 경우, 픽셀 값은 배경 통계적 모델과 일치하지 않도록 고려되고, 픽셀은 단계(74)에서 전경(FG)으로서 레이블링된다. 다시, 알고리즘은 단계(71)로 진행한다. 단계(71)가 (프레임 내의) 모든 픽셀이 프로세싱되었다고 결정하면, 단계(7)은 종료된다.
도 2b는 7'로 표기된 3개의 판정 레벨 방법을 도시한다. 도 2b에서, 프로세스는 다시 한번, 모든 픽셀이 프로세싱되었는지의 여부를 결정하는 단계(71)로 시작한다. 모든 픽셀이 프로세싱되지 않은 경우, 프로세스는 다음 픽셀이 프로세싱되도록 고려하고, 프로세싱된 픽셀이 배경 통계적 모델과 일치하는지의 여부를 결정하는 단계(72)를 실행시키며, 이것은 도 2a에서와 동일한 방식으로 행해진다. 응답이 '예'인 경우, 픽셀은 BG로서 레이블링되고(단계(73)), 프로세스는 단계(71)로 되돌아간다. 그렇지 않으면, 프로세스는 단계(75)로 진행하고, 이것은 도 2b의 프로세스가 도 2a의 프로세스와 구별되는 점이다.
단계(75)에서, 프로세스는 고려 중인 픽셀이 배경 통계적 모델과 일치하는 것과 거리가 먼지의 여부를 결정한다. 이것은 단지 단계(75)에서, 단계(72)와 유사한 스레숄드 테스트를 통해 이루어지고, θ는 더 큰 값으로 주어진다. 단계(72)에서와 같이, θ는 사용자 할당되거나, 미리 결정될 수 있다. 하나의 실시예에서,
Figure 112008078502611-PCT00033
이고 여기서, N은 미리 결정된 또는 사용자 설정된 수 N > K 중의 하나이다. 또 다른 실시예에서, N = 6 이다.
단계(75)의 결과가
Figure 112008078502611-PCT00034
인 경우, 픽셀은 FG로서 레이블링된다(단계(74)). 그렇지 않으면, 픽셀은 단계(76)에서 한정된 전경(DFG)으로서 레이블링된다. 각각의 경우에, 프로세스는 단계(71)로 되돌아간다. 단계(71)가 프레임 내의 모든 픽셀이 프로세싱되었다고 결정하면, 단계(7')는 완료된다.
도 1로 돌아가서, 프레임의 모든 픽셀이 레이블링되었으면, 프로세스는 공간/시간 필터링을 수행하는 단계(8)로 진행한다. 도 1에서는 연속하는 단계로서 도시되지만, 단계(8)는 단계(7)와 동시에 선택적으로 수행될 수 있다. 단계(8)의 상세 설명은 도 3a 및 3b의 흐름도에 도시된다.
도 3a에서, 단계(8)는 프레임의 모든 픽셀이 프로세싱되었는지의 여부에 관한 테스트로 시작한다(단계(81)). 프레임의 모든 픽셀이 프로세싱되지 않은 경우, 단계(85)에서 알고리즘은 프로세싱을 위해 다음 픽셀
Figure 112008078502611-PCT00035
을 선택하고, 픽셀이 BG로서 레이블링되는지의 여부를 결정하는 단계(82)로 진행한다. 픽셀이 BG로서 레이블링되는 경우, 프로세스는 단계(81)로 되돌아간다. 그렇지 않으면, 픽셀은 단계(83 및 84)에서 더 프로세싱된다.
단계(83)에서, 네이버후드 필터링(neighborhood filtering)은 이미지가 정렬될 경우 비정렬(misalignment)에 대하여 교정을 하기 위해 이용된다. 현재 이미지가 성장하는 배경 통계적 모델(growing background statistical model)과 약간 비정렬되는 경우, 특히 강한 에지 근처에서, 발명의 분할 절차는 배경 통계적 모델을 이용하여 전경으로서 픽셀을 레이블링할 것이다. 네이버후드 필터링은 이것에 대하 여 교정할 것이다. 단계(83)의 실시예는 도 3b의 흐름도에서 도시된다.
도 3b에서, 단계(83)는
Figure 112008078502611-PCT00036
에 대응하는 장면 모델 위치,
Figure 112008078502611-PCT00037
를 결정하는 단계(831)로 시작한다. 그 다음, 장면 모델 내의
Figure 112008078502611-PCT00038
을 둘러싸는 픽셀,
Figure 112008078502611-PCT00039
을 포함하는 네이버후드가 선택된다(단계(832)). 그 다음, 단계(833)는 네이버후드 내의 모든 픽셀이 프로세싱되었는지의 여부를 결정한다. 응답이 '예'인 경우, 단계(83)는 완료되어
Figure 112008078502611-PCT00040
의 레이블은 그대로이고, 그렇지 않으면, 프로세스는 단계(834)로 진행하고 여기서, 다음 네이버후드 픽셀
Figure 112008078502611-PCT00041
이 고려된다. 그 후, 단계(835)는
Figure 112008078502611-PCT00042
가
Figure 112008078502611-PCT00043
과 일치하는지의 여부를 결정하기 위해 테스트한다. 이 일치 테스트는 고려 중인 픽셀로서
Figure 112008078502611-PCT00044
를 이용하고, "대응하는" 배경 통계적 모델 포인트로서의
Figure 112008078502611-PCT00045
을 이용하여, 변경된 방식으로 레이블링 단계(단계(7 또는 7'))를 실행시킴으로써 이루어진다. 레이블링 단계가 FG 또는 DFG의 레이블을 반환하는 경우에는 일치하지 않는 반면, 그것이 BG의 레이블을 반환하는 경우에는 일치한다. 일치하지 않는 경우 프로세스는 단계(833)로 되돌아가고, 일치하는 경우 이것은
Figure 112008078502611-PCT00046
가 비레이블링(mislabel)될 수 있음을 나타내어 프로세스는 단계(836)로 계속 진행한다. 단계(836)에서, 프레임 내의
Figure 112008078502611-PCT00047
를 둘러싸는 픽셀,
Figure 112008078502611-PCT00048
을 포함하는 네이버후드가 선택되고, 유사한 프로세스가 수행된다. 즉, 단계(833)에서, 네이버후드 내의 모든 픽셀,
Figure 112008078502611-PCT00049
이 고려되었는지의 여부가 결정된다. 응답이 '예'인 경우, 단계(83)는 완료되어
Figure 112008078502611-PCT00050
의 레이블은 그대로이고, 그렇지 않으면, 프로세스는 단계(838)로 진 행하고 여기서, 다음 네이버후드 픽셀,
Figure 112008078502611-PCT00051
이 고려된다. 단계(839)는
Figure 112008078502611-PCT00052
이
Figure 112008078502611-PCT00053
와 일치하는지의 여부를 결정하기 위해 테스트하고, 이것은 고려되는 픽셀로서 이용되는 고려 중인
Figure 112008078502611-PCT00054
및 그 "대응하는" 배경 통계적 모델 포인트로서
Figure 112008078502611-PCT00055
을 이용하여, 단계(833)와 유사하게 수행된다.
Figure 112008078502611-PCT00056
이
Figure 112008078502611-PCT00057
와 일치하지 않는 경우, 프로세스는 단계(837)로 되돌아가고,
Figure 112008078502611-PCT00058
이
Figure 112008078502611-PCT00059
와 일치하는 경우,
Figure 112008078502611-PCT00060
는 BG로서 다시 레이블링되어 단계(83)가 완료된다.
도 3a로 돌아가서, 단계(83)의 이후, 형태학적 침식(morphological erosion) 및 확장(dilation)을 수행하는 단계(84)가 실행된다. 먼저, 부정확하게 레이블링된 전경을 제거하기 위해 미리 결정된 수, n번의 침식이 수행된다. 픽셀 레이블링된 DFG는 그것이 거의 확실히 전경인 픽셀을 나타내므로, 침식되지 않을 수 있다는 것에 유의하여야 한다. 이 이후에 n번의 확장이 행해지며, 확장은 전경으로서 정확하게 레이블링되었지만 침식된 픽셀을 복구한다. 마지막으로, 전경 객체 내의 홀(hole)을 채우기 위해 제2 미리 결정된 수, m번의 확장이 수행된다. 침식 및 확장은 종래의 침식 및 확장 기술을 이용하여 수행되고, 사용자 지정 파라미터에 따라 적용되며, 픽셀 레이블링된 DFG가 침식되지 않도록, 전술한 바와 같이 변경될 수 있다.
또 다른 실시예에서, 단계(84)는 형태학적 침식 및 확장 이외에 또는 그에 더하여 필터링 기술을 포함할 수 있다. 일반적으로, 단계(84)는 임의의 형태 또는 공간 및/또는 시간 필터링의 형태를 채용할 수 있다.
도 1로 돌아가서, 단계(8)의 이후, 알고리즘은 모든 프레임이 프로세싱되었는지의 여부를 결정하기 위해 단계(6)으로 되돌아간다. 응답이 '예'인 경우, 프레임 시퀀스의 프로세싱은 완료되고, 프로세스는 종료된다(단계(9)).
이 투패스 실시예는 상대적인 단순함(simplicity)의 이점을 가지고, 그것은 즉시 프로세싱(immediate processing) 또는 저지연 프로세싱(low-latency processing)을 요구하지 않는 어플리케이션에 대한 수용가능 방법이다. 이러한 어플리케이션의 예는 보안 및 감시 비디오의 법정상의 프로세싱(forensic processing), 비선형 비디오 편집, 및 오프라인(off-line) 비디오 압축을 포함한다. 한편, 적시의 이벤트 보고(event reporting)가 중요한 비디오 보안 및 감시와 같은 다양한 다른 어플리케이션은 이러한 요구조건을 가지고, 후술될 실시예는 이러한 요구조건을 다루는 것에 맞추어져 있다.
2. 제2 실시예 - 원패스 분할
도 4는 본 발명의 제2 실시예에 따른, 원패스 분할 프로세스의 흐름도를 도시한다. 도 1(제1 실시예)과 도 4를 비교하면, 제2 실시예는 각각의 프레임 시퀀스에 대하여 단일 패스의 프로세싱만이 존재한다는 점이 상이하다. 도 4의 단계(2, 3, 31, 32, 8)에 도시된 바와 같이, 이 단일 패스는 후술할 것과 같이 변경된 형태이기는 하지만, 제1 패스(도 1의 단계(2-4))와 제2 패스(도 1의 단계(5-8))의 프로세스를 통합시킨다.
제1 실시예의 경우와 같이, 도 4에 도시된 제2 실시예(원패스 프로세스)는 프레임 시퀀스를 획득함으로써 시작한다(단계(1)). 그 후, 제1 실시예에서와 같이, 프로세스는 모든 프레임이 프로세싱되었는지의 여부를 결정하기 위해 테스트를 수행한다(단계(2)). 또한, 제1 실시예에서와 같이, 응답이 '아니오'인 경우, 프로세싱될 다음 프레임은 장면 모델과 정렬된다(단계(3)). 전술한 바와 같이, 배경 모델의 장면 모델 구성요소는 단계(3)의 부분으로서 형성 및 업데이트되어, 각각의 위치에서 배경 모델 내의 결정론적으로 결정된 값(deterministically determined value)이 적어도 항상 존재한다.
이러한 점에서, 프로세스는 배경 통계적 모델을 형성하는 단계를 포함한다(단계(31)). 이것은 도 1의 단계(4)와는 상이하며, 도 5에서 보다 상세하게 도시된다. 프로세스는 프로세싱된 프레임 내의 모든 픽셀이 프로세싱되었는지의 여부를 결정하는 단계로 시작한다(단계 311). 모든 픽셀이 프로세싱되지 않은 경우, 프로세스는 배경 통계적 모델이 "완성"(단계(312)) 및 "안정"(단계(313)) 되었는지의 여부를 결정한다.
단계(312 및 313)에 대한 이유는 픽셀의 특성에 관하여 정확하게 판정하기 위해 통계적 배경 모델이 초기에 충분히 전개되지 않을 것이기 때문이다. 이것을 극복하기 위해, 다수의 프레임은 픽셀이 레이블링되기 전에 프로세싱되어야 하고(즉, 배경 통계적 모델이 "완성"되어야 함), 본 발명의 하나의 실시예에서, 이것은 사용자 정의된 파라미터이다. 이것은 "룩 어헤드(look-ahead)" 절차로서 구현될 수 있고 여기서, 픽셀 레이블링 전에 배경 통계적 모델을 축척하기 위해 한정된 수의 프레임이 이용된다(도 4의 단계(32)).
사용자 정의된 수의 프레임을 단순히 프로세싱하는 단계는 완성된 통계적 모델을 제공하기에 충분할 수 있지만, 안정도는 두 번째로 중요하고(단계(313)), 그것은 배경 통계적 모델의 표준 편차에 의존한다. 특히, 후술할 것과 같이, 통계적 배경 모델은 각각의 픽셀에 대한 표준 편차를 포함한다. 그 분산(또는 동등하게, 그 표준 편차)이 알맞게 작은 경우, (특정 픽셀에 대한) 통계적 모델은 "안정된" 것으로서 정의된다. 본 발명의 실시예에서, 단계(313)는 사용자 정의된 스레숄드 파라미터와 표준 편차를 비교함으로써 이것을 결정하고, 표준 편차가 이 스레숄드보다 적을 경우, (그 픽셀에 대한) 통계적 배경 모델은 안정된 것으로 결정된다.
단계(31)의 흐름에 관하여, 도 5에서, 배경 통계적 모델이 완성된 것으로 결정될 경우(단계(312)), 배경 통계적 모델이 안정되어 있는지의 여부가 결정된다(단계(313)). 이러한 테스트(단계(312 및 313)) 중의 하나가 실패할 경우, 프로세스는 프로세싱된 픽셀의 배경 통계적 모델을 그 픽셀의 현재 값을 이용하여 업데이트하는 단계(315)로 진행한다. 단계(315)는 이하에서 더 설명될 것이다.
(단계(312 및 313)에서) 배경 통계적 모델이 완성 및 안정된 것으로 결정된 경우, 프로세스는 프로세싱된 픽셀이 배경 통계적 모델과 일치하는지의 여부를 결정하는 단계(314)로 진행한다. 응답이 '예'인 경우, 배경 통계적 모델은 현재 픽셀 값을 이용하여 업데이트되고(단계(315)), 응답이 '아니오'인 경우, 프로세스는 프레임 내의 모든 픽셀이 프로세싱되었는지의 여부를 결정하기 위해 단계(311)로 되돌아간다.
단계(314)는 현재 픽셀 값이 현재 배경 통계적 모델에 따른 픽셀의 평균 값 의 어떤 범위 내에 속하는지의 여부를 결정함으로써 동작한다. 본 발명의 하나의 실시예에서, 이 범위는 사용자 정의된 범위이다. 또 다른 실시예에서, 사용자 정의된 수의 표준 편차인 것으로 결정된다. 즉,
Figure 112008078502611-PCT00061
(7)
일 경우, 픽셀 값,
Figure 112008078502611-PCT00062
는 배경 통계적 모델과 일치하고 여기서, K는 사용자 정의된 수의 표준 편차,
Figure 112008078502611-PCT00063
이고,
Figure 112008078502611-PCT00064
은 현재 픽셀 값이며,
Figure 112008078502611-PCT00065
은 배경 통계적 모델 내의 현재 픽셀의 평균 값이다. 단계(314)를 수행하는 목적은 배경 통계적 모델을 전개 및 업데이트하기 위해 배경 픽셀만이 이용된다는 것을 가능한 정도까지 보장하기 위한 것이다.
단계(315)에서, 배경 통계적 모델은 업데이트된다. 이러한 실시예에서, 배경 통계적 모델은 (프레임의 시퀀스 상의) 각각의 픽셀에 대한 값의 평균 및 표준 편차로 구성된다. 이것은 상기의 방정식(2 및 4a)에 따라 계산된다.
단계(315)의 이후, 프로세스는 (현재 프레임 내의) 모든 픽셀이 프로세싱되었는지의 여부를 결정하기 위해, 단계(311)로 되돌아간다. 모든 픽셀이 프로세싱되었으면, 프로세스는 배경 통계적 모델을 최종 결정하는 단계(316)로 진행한다. 이 최종 결정은 각각의 픽셀에 그 현재 평균 값 및 표준 편차(즉, 그 점에 따라 모든 프레임을 프로세싱한 결과)를 할당하는 단계로 구성된다.
주어진 픽셀에 대한 배경 통계적 모델이 안정화되는 것이 가능하지 않다는 점에 유의하여야 한다. 일반적으로, 이것은 특정 픽셀이 프레임의 시퀀스 내의 배경 픽셀이 아님을 나타냄에 따라, 그것에 배경 통계적 모델을 위한 값을 할당할 필요는 없다. 전술한 바와 같이, 장면 모델도 형성 및 업데이트되고, 배경 모델 내의 각각의 픽셀에 관련된 결정론적으로 결정된 값이 적어도 항상 존재한다는 점에 유의하여야 한다.
단계(316)의 이후, 도 4에 도시된 바와 같이, 프로세스는 프레임 내의 픽셀을 그 타입(즉, 한정된 전경, 전경 또는 배경)에 따라 레이블링하는 단계(32)로 진행한다. 단계(32)는 도 6a 및 6b의 흐름도에 보다 상세하게 도시된다.
다음의 개념은 후술될 단계(32)의 설명에서 실시된다. 이론적으로는, 배경 통계적 모델 내의 그 대응점에 대하여 각각의 픽셀을 테스트함으로써 레이블링이 항상 행해지지만, 이것이 항상 가능한 것은 아니다. 배경 통계적 모델이 프로세싱된 프레임 수에 기초하여 이용할 준비가 되지 않은 경우(즉, "완성"되지 않은 경우), 프로세스는 장면 모델 내의 대응점에 대하여 테스트하는 것에 의존하여야 한다. 배경 통계적 모델이 이용할 준비가 되었지만, 진정되지 않은("안정"되지 않은) 경우, 이것은 픽셀이 변하고 전경으로서 레이블링되어야 한다는 표시이다. 어떤 이유(즉, 그것이 장면 모델과 일치하지 않거나, 그것이 다시 불안정함)로 인하여, 배경 통계적 모델이 쓸모없게 되는 경우, 프로세스는 장면 모델에 대하여 테스트하는 것에 다시 한번 의존하여야 한다.
도 6a에 도시된 바와 같이, 단계(32)는 (현재 프레임 내의) 모든 픽셀이 프 로세싱되었는지의 여부를 결정하는 단계(321)로 시작한다. 응답이 '예'인 경우, 단계(32)는 완료되고, 그렇지 않으면, 다음 픽셀은 단계(322)에서 프로세싱된다(이하 참조).
단계(322)는 배경 통계적 모델이 완성되었는지의 여부를 결정한다. 전술한 도 5의 단계(312)와 동일한 방식으로 행해진다. 그렇지 않으면, 프로세스는 픽셀이 장면 모델의 대응점의 배경 색채 데이터(background chromatic data)와 일치하는지의 여부를 결정하는 단계(323)로 진행한다.
주어진 픽셀이 배경 색채 데이터 값의 어떤 범위 내에 속하는지의 여부를 결정하기 위해 테스트를 수행함으로써, 단계(323)가 수행된다. 이것은 도 5의 단계(314)와 유사하며, 통계적 평균 대신에 배경 색채 데이터 값을 이용한다. 스레숄드는 (미리 결정된, 사용자 결정된 등의) 동일한 방식으로 결정될 수 있다.
단계(323)가 픽셀이 배경 색채 데이터와 일치한다고 결정하면, 픽셀은 (커넥터(A)를 따라) 도 6b의 단계(329)에서 BG로서 레이블링된다. 단계(329)로부터, 프로세스는 (커넥터(D)를 통해) 단계(321)로 되돌아간다.
단계(323)가 픽셀이 배경 색채 데이터와 일치하지 않는다고 결정하면, 픽셀은 (커넥터(B)를 따라) 도 6b의 단계(3210)에서 FG로서 레이블링된다. 단계(3210)로부터, 프로세스는 (커넥터(D)를 통해) 단계(321)로 되돌아간다.
단계(322)가 배경 통계적 모델이 완성되었다고 결정하면, 프로세싱은 배경 통계적 모델이 안정되어 있는지의 여부를 결정하는 단계(324)로 진행한다. 단계(324)는 전술한 도 5의 단계(313)와 동일한 방식으로 이 태스크를 수행한다. 배 경 통계적 모델이 안정되어 있지 않은 경우, 프로세스는 배경 통계적 모델이 안정되었던 적이 있는지의 여부(즉, 이전에 안정되었지만 현재 불안정한지의 여부)를 결정하는 단계(325)로 진행한다. 응답이 '예'인 경우, 프로세스는 단계(323)로 분기(branch)하고, 프로세스는 전술한 바와 같이 그곳에서부터 진행한다. 응답이 '아니오'인 경우, 픽셀은 (커넥터(C)를 따라) 도 6b의 단계(3211)에서 DFG로서 레이블링되고, 이 이후에 프로세스는 (커넥터(D)를 통해) 단계(321)로 되돌아간다.
단계(324)가 배경 통계적 모델이 안정되어 있다고 결정하면, 프로세스는 단계(326)로 진행한다. 단계(326)는 배경 통계적 모델이 배경 색채 데이터와 일치하는지의 여부를 테스트한다. 상기 이전의 일치 테스트와 유사하게, 이 테스트는 픽셀에 대한 (즉, 장면 모델의) 배경 색채 데이터와 픽셀에 대한 배경 통계적 모델의 값(즉, 평균) 사이의 절대차를 취한다. 그 후, 이 절대차는 상기와 같은 (미리 결정된, 사용자 결정된 등의) 어떤 스레숄드 값과 비교된다.
단계(326)가 배경 통계적 모델과 배경 색채 데이터 사이에서 일치하지 않는다고 결정하면, 프로세스는 단계(323)로 분기하고 여기서, 프로세싱은 전술한 바와 동일한 방식으로 진행한다. 한편, 단계(326)가 일치한다고 결정하면, 프로세스는 단계(327)로 계속 진행한다.
단계(327)는 현재 픽셀이 배경 통계적 모델과 일치하는지의 여부를 결정한다. 전술한 바와 같이, 이 단계는 도 5의 단계(314)와 동일한 방식으로 수행된다. 현재 픽셀이 일치하는 경우(이것은 전술한 바와 같이, 현재 픽셀에 대응하는 평균 값과 그것을 비교함으로써 결정됨), 픽셀은 (커넥터(A)를 따라) 도 6b의 단계(329) 에서 BG로서 레이블링되고, 그 후 프로세스는 (커넥터(D)를 통해) 단계(321)로 되돌아간다. 현재 픽셀이 일치하지 않는 경우, 단계(328)에서 추가적인 테스트가 수행된다.
현재 픽셀 값이 BG 픽셀을 반영하지 않는 것으로 주어지면, 단계(328)는 현재 픽셀 값이 FG 픽셀 또는 DFG 픽셀을 반영하는지의 여부를 결정한다. 이것은 픽셀 값이 배경 통계적 모델과 일치하는 것과 거리가 먼지의 여부를 결정함으로써 행해진다. 전술한 바와 같이, FG 픽셀은 그 값이 특정한 양 예를 들어, 소정의 수의 표준 편차(방정식(7) 참조) 이상 평균과 상이한지의 여부를 결정함으로써, (단계(325)에서의) BG 픽셀과 구별된다. 단계(328)는 동일한 테스트를 적용시키지만, 보다 큰 범위를 이용한다. 다시, 스레숄드는 미리 결정된 파라미터로서, 계산된 파라미터로서 또는 사용자 정의된 파라미터로서 설정될 수 있고, 그것은 평균으로부터의 소정의 수의 표준 편차에 관하여 주어질 수 있고, 즉,
Figure 112008078502611-PCT00066
(8)
이며, 여기서, N은 방정식(7)의 K보다 더 큰 수이다. 픽셀 값이 예를 들어, 방정식(8)에 의해 정의된 범위 밖에 있는 경우, 그것은 (커넥터(C)를 따라) 도 6b의 단계(3211)에서 DFG로서 레이블링되고, 프로세스는 (커넥터(D)를 통해) 단계(321)로 되돌아간다. 그것이 그 범위 내에 있는 경우, 픽셀은 (커넥터(B)를 따 라) 도 6b의 단계(3210)에서 FG로서 레이블링되고, 프로세스는 (커넥터(D)를 통해) 단계(321)로 진행한다.
도 4에 도시된 바와 같이, 단계(32)가 완료된 후에, 프로세스는 프레임 내의 픽셀에서 공간/시간 필터링을 수행하는 단계(8)로 진행한다. 이러한 본 발명의 실시예에서, 단계(8)는 (투패스 실시예에 이용된 픽셀 레이블링 알고리즘과 대조적으로서) 도 6a 및 6b의 픽셀 레이블링 알고리즘이 단계(83)의 단계(833 및 837)에 이용되는 것을 제외하고, 투패스 실시예에 대해 구현된 바와 동일한 방식으로 구현된다. 단계(8)의 이후, 프로세스는 단계(2)로 되돌아가며, 모든 프레임이 프로세싱된 경우, 프로세스가 종료된다.
본 명세서에 있는 것과 같이, 단일 패스 방법은 제2 패스를 요구하지 않고, 그에 따라 프로세스에 관련된 지연을 감소시키는 이점을 가진다. 이것은 고지연(high latency)이 손해인 어플리케이션 예를 들어, 비디오 원격지간 회의(video teleconferencing), 웹캐스팅(webcasting), 실시간 게임(real-time gaming) 등에 유용하다.
3. 제3 실시예 - 변경된 원패스 분할
전술한 원패스 방법은 투패스 방법보다 더 낮은 지연을 가지지만, 그것은 배경 통계적 모델에 대한 이점을 가진다. 특히, 본 발명의 원패스 실시예에 이용된 누적 통계적 모델링 방법(cumulative statistical modeling approach)은 구성요소(즉, 픽셀, 영역 등, 즉 어떤 크기의 구성요소든지 고려 중임)에 대한 비표시 통계 적 모델(non-representive statistical model)에서 안정화될 수 있다. 비디오 장면의 특정 구성요소에 대응하는 프레임 구성요소의 값(예를 들어, 색채 값)이 기본적으로 변할 경우(즉, 비디오를 변화시키는 어떤 것이 발생함 예를 들어, 주차된 자동차의 주행, 움직이는 자동차의 주차, 조명이 변화함 등), 장면 모델 구성요소는 더 이상 실제 장면을 정확하게 나타내지 않을 것이다. 이것은, 임의의 주어진 시간에 그것이 비디오에서 묘사된 장면의 실제 특성을 정확하게 나타내도록, 배경 통계적 모델을 동적으로 업데이트하기 위한 메커니즘을 이용함으로써 다루어질 수 있다. 이러한 메커니즘은 도 7에 도시된 본 발명의 실시예에서 묘사된다.
도 7에서, 단계(1 - 3, 32, 8 및 9)는 상기 원패스 실시예에서 설명한 바와 같다. 도 7의 실시예는 주어진 프레임이 장면 모델과 정렬된 (단계(3)) 이후의 단계에서 도 4의 실시예와 상이하며, 프로세스는 배경 통계적 모델 및 이와 동시에 2차 배경 통계적 모델을 형성하는 단계(310)를 실행시킨다. 단계(310)는 도 8a 및 8b와 함께 보다 충분히 설명된다.
도 8a에 도시된 바와 같이, 단계(310)는 (동일한 참조 번호를 이용하여 도시된) 도 5의 단계(31)에 도시된 모든 단계를 포함하고, 모든 픽셀이 프로세싱되었는지의 여부를 결정하는 단계로 시작한다(단계(311)). 모든 픽셀이 프로세싱되지 않은 경우, 단계(312)로 진행함으로써 다음 픽셀이 프로세싱된다. 단계(312)에서, 배경 통계적 모델이 완성되었는지의 여부가 결정된다. 배경 통계적 모델이 완성되지 않은 경우, 프로세스는 단계(315)로 분기되고 여기서, 픽셀은 배경 통계적 모델을 업데이트하기 위해 이용된다. 단계(315)의 이후, 프로세스는 단계(311)로 되돌아간 다.
단계(312)가 배경 통계적 모델이 완성되었다고 결정하면, 프로세스는 배경 통계적 모델이 안정되어 있는지의 여부를 결정하는 단계(313)로 진행한다. 배경 통계적 모델이 안정되어 있지 않은 경우, 단계(312)에서의 부정적 결정의 경우와 같이, 프로세스는 단계(315)로 분기(및 그 후 단계(311)로 되돌아감)한다. 그렇지 않으면, 프로세스는 단계(314)로 진행한다.
단계(314)에서, 고려 중인 픽셀이 배경 통계적 모델과 일치하는지의 여부가 결정된다. 픽셀이 배경 통계적 모델과 일치하는 경우, 프로세스는 단계(315)로 진행(및 그 후, 단계(311)로 되돌아감)하고, 그렇지 않으면, 프로세스는 2차 배경 통계적 모델을 형성 및 업데이트하는 도 8b에 도시된 단계들을 실행시킨다. 도 8b에 반영된 바와 같이, 2차 배경 통계적 모델은 배경 통계적 모델과 동시에 형성되고, 배경 통계적 모델을 형성 및 업데이트하기 위해 이용된 바와 동일한 절차를 이용하며, 배경 통계적 모델과 일치하지 않는 픽셀 값을 나타낸다.
단계(314)에서의 부정적 결정 이후, 프로세스는 2차 배경 통계적 모델이 완성되었는지의 여부에 관하여 결정한다(단계(3107)). 이 결정은 단계(313)에서와 동일한 방식으로 이루어진다. 2차 배경 통계적 모델이 완성되지 않은 경우, 프로세스는 배경 통계적 모델과 동일한 절차(단계(315))를 이용하여 2차 배경 통계적 모델을 업데이트하는 단계(3109)로 분기한다. (도 8a에서) 단계(3109)로부터, 프로세스는 단계(311)로 되돌아간다.
단계(3107)가 2차 배경 통계적 모델이 완성되었다고 결정하면, 프로세스는 (단계(314)에서와 동일한 절차를 이용하여) 2차 배경 통계적 모델이 안정되어 있는지의 여부를 결정하는 단계(3108)로 진행한다. 2차 배경 통계적 모델이 안정되어 있지 않는 경우, 프로세스는 단계(3109)(및 그곳에서부터 단계(311))로 진행한다. 응답이 '예'인 경우, 프로세스는 배경 통계적 모델을 2차 배경 통계적 모델로 대체하는 단계(31010)로 분기하고, 이 이후에 프로세스는 단계(311)로 되돌아간다. 추가적으로, 단계(31010)에서 2차 배경 통계적 모델에 의한 배경 통계적 모델의 대체와 동시에, 장면 모델 데이터가 2차 통계적 모델의 평균 값으로 대체된다. 이러한 점에서, 2차 배경 통계적 모델은 0으로 리셋되고, 그 다음의 데이터를 이용하여 새로운 것이 형성될 것이다.
이러한 변경된 원패스 실시예는 원패스 실시예에 대한 향상된 통계적 정확도의 이점을 가지고, 배경 이미지를 변화시키는 잠재적인 문제를 해결한다. 이것은 여전히 투패스 실시예에 비해 향상된 지연 시간을 유지시키지만, 단지 원패스 실시예와 비교된 프로세싱 속도의 무시할 수 있는 정도를 감소시킨다.
4. 제4 실시예: 실시간 비디오 스트림 원패스 분할
제1, 제2 및 제3 대표적인 실시예의 초점은 압축 어플리케이션을 위한 분할이다. 압축 어플리케이션에 대하여, 그 사상(idea)은 비디오 시퀀스를 나타내는 통계적 배경 모델 또는 비디오 시퀀스의 섹션을 유지하기 위한 것이다. 따라서, 그 사상은 배경 모델을 생성한 후, 비디오 시퀀스를 분할하는 동안의 소정의 시간 동안 배경 모델을 일정하게 유지하기 위한 것이다.
감시 어플리케이션에서, 프로세싱은 일반적으로 비디오 시퀀스(즉, 비디오 프레임의 유한 세트)에서 수행되지 않지만, 실시간 비디오 스트림(예를 들어, 식별 가능한 엔드 포인트(end-point)를 가지고 있지 않은 비디오 프레임의 연속적인 세트)에서 수행된다. 그 결과, 일반적으로 2가지의 이유로 인하여 비디오 장면을 나타내기 위해 배경 모델을 생성하는 것은 불가능하다. 먼저, 장면은 조명 조건 및 기상 조건으로 인하여(예를 들어, 비, 그림자, 구름, 낮/밤의 변화 등으로 인하여) 동적으로 변화하고, 둘째로, 장면 내의 구성요소가 변화한다(예를 들어, 장면 내에서 객체가 움직이거나, 제거 또는 추가되고, 자동차가 주차됨 등). 실시간 감시 어플리케이션에서의 이러한 조건을 수용하기 위해, 원패스 알고리즘에 대한 6개의 변경이 이 실시예에 실시된다 즉, (1) 하나 이상의 전경 모델이 배경 모델(들)에 더하여 추가되고, (2) "완성된" 배경 또는 전경 모델의 개념이 제거되고, (3) 자동 이득 제어(automatic gain control : AGC) 보상이 추가되고, (4) 객체 삽입 메커니즘이 추가되고, (5) 프로세싱 순서가 실시간 프로세싱 요구조건을 설명하는 것과 상이하고, (6) 마스킹 피쳐(masking feature)가 프로세싱이 필요한 픽셀의 수를 감소시키기 위해 이용된다.
6개의 차이에 관하여, 첫째로, 전경으로서 레이블링된 영역을 묘사하기 위해 배경 모델(들)에 더하여 전경 모델(들)이 이용된다. 전술한 제3 실시예에서, 1차 배경이 "완성된" 이후에 발생 장면하는 배경에서의 변화를 모델링하기 위해 2차 배경 모델이 이용된다. 제4 실시예에서, 전경으로서 검출된 픽셀(또는 객체)을 묘사하기 위해 하나(또는 그 이상)의 전경 모델이 이용된다. 하나 이상의 전경 모델을 생성하는 이유는 전경 객체(예를 들어, 자동차)가 장면 영역에서 정지할 경우를 커버링(cover)하기 위함이다. 이러한 경우, 객체 검출(예를 들어, 자동차가 주차하고, 자동차 앞에서 사람이 걷는 것)을 위해 전경 객체를 배경으로서 취급하기 시작하는 것이 바람직하다. 전경 모델은 배경 모델과 정확히 동일한 방식으로 유지 및 생성되지만, "전경"으로서 레이브링된 픽셀에 적용된다. 서로 맞물리는 다중 객체를 묘사하기 위해 다중 전경 모델을 가지는 것이 가능하다. 예를 들어, 자동차가 주차하고 하나의 전경 모델에 의해 모델링된다. 그 다음, 또 다른 차는 제1 자동차의 앞에 주차하고, 제2 전경 모델에 의해 모델링된다.
둘째로, 완성된 모델의 개념은 제4 실시예로부터 제거된다. 비디오 시퀀스라기 보다는 비디오 스트림이 프로세싱되는 이러한 실시예에 대하여, 모델이 완성되지 않을 것 대신에, 예를 들어, 태양의 움직임에 따른 그림자 단축(shadows shortening) 및 연장(lengthening), 구름에 의해 태양이 맞물려지거나, 맞물림으로부터 나옴, 장면 내의 비, 눈 또는 안개 발생 또는 정지, 장면 내의 낮 및 밤의 변화와 같은 느린 환경 변화를 수용하기 위해 연속적으로 및 동적으로 변화할 것으로 가정된다. 이러한 실시예에서, (전경 모델 뿐만 아니라) 배경 모델(들)은, 이전에 생성되었고 훨씬 이전 생성되었을 수 있는 완성된 모델에서라기 보다는 배경의 "현재" 상태를 모델이 최적으로 반영하도록, 프레임 × 프레임 및 픽셀 × 픽셀 기반으로 연속적으로 변경된다.
셋째로, AGC 보상은 제4 실시예에서 실시된다. AGC는 프로세스이며, 이 프로세스에 의해 비디오 이미저(video imager)는 전체 이미지의 밝기 및 대비를 자동으 로 조절하여, 이미지의 동적 범위를 시험 및 최적화한다. 프로세스는 아주 신속하게 발생할 수 있고, 실제로 전경 객체가 존재하지 않을 경우, 배경 픽셀이 전경 픽셀로서 나타나도록 배경 픽셀의 명암도(intensity)를 변화시킬 수 있다. 그 결과로, 비디오 이미지 내에서의 AGC 조절인 경우, 배경 모델을 변경하기 위해 AGC 보상 구성요소가 추가된다.
넷째로, 외부 신호가 배경 모델 내의 객체의 삽입을 제어하도록 하기 위해 제4 실시예에 객체 삽입 메커니즘이 추가된다. 본 발명의 사상은 예를 들어, 장면 내에서 자동차가 주차할 경우, 그 자동차를 나타내는 모든 픽셀에 대한 전경 모델이 존재할 것이라는 것이다. 외부 프로세스는 이 픽셀이 자동차를 나타내고, 자동차가 실제 주차되어 있다고 결정할 것이다. 이러한 결정이 이루어지면, 외부 프로세스는 전경 모델이 배경 모델에 추가(예를 들어, "번인(burned in)")되어야 함을 나타내는 통지를 제공한다. 전경 모델은 분할을 위해 배경의 부분으로서 취급된다.
다섯째로, 실시간 프로세싱에서는, (지연이 있는 오프라인 프로세싱 또는 프로세싱에서의 경우에 따라) 프레임이 프로세싱된 이후에, 픽셀 레이블링을 되돌리고 향상시킬 시간이 없다. 그 결과로, 실시간 알고리즘 단계의 순서가 상이하다. 초기에, 새로운 프레임이 들어오면, 기존의 배경 모델은 픽셀을 레이블링하는데 이용된다. 그 다음, (예를 들어, 공간-시간 필터링과 같은) 다양한 다른 프로세스가 레이블링을 정제하기 위해 이용되고, 그 후 모델이 업데이트된다. 이러한 순서는 실시간 프로세싱에서 각각의 프레임에 대한 보다 나은 분할 결과를 제공한다.
여섯째로, 무시될 픽셀을 지정하기 위해 제4 실시예에서 마스크(mask)가 추 가된다. 분할이 적용되어서는 안되는 비디오 이미지 영역을 설정하기 위한 능력이 추가된다. 이것을 이행하는 이유는 실시간 성능을 유지하도록 자원을 프로세싱하는 것을 유지하기 위함이다. 이와 같이, 분할이 요구되지 않는 priori(소위 "비대상(disinterest) 영역")로 알려져 있는 비디오 장면의 영역이 존재할 경우, 이 픽셀은 마스킹될 수 있다. (교대로, "대상 영역"이 정의될 수 있다). 또한, 분할을 적용시킬 필요가 없는 비대상 영역을 결정하기 위해 자동화된 알고리즘이 채용될 수 있다. 카메라가 실제 이미지 데이터가 존재하지 않는 비디오 프레임 에지 주변의 다양한 "비사용된" 픽셀을 생성하므로, 이러한 비대상 영역이 존재할 수 있다. 이러한 비대상 영역은 프로세싱을 희망하지 않거나, 프로세싱이 매우 잘 동작하지 않는 (예를 들어, 하늘과 같은) 장면의 영역에서 존재할 수도 있다.
도 11은 본 발명의 대표적인 제4 실시예에 대한 흐름도를 예시한다. 블럭(1101)에서, 비디오 프레임은 실시간 비디오 스트림으로부터 추출된다.
(블럭의 선택적 특성이 점선에 의해 나타나는) 선택적 블럭(1102)에서, 추출된 프레임은 카메라 모션(예를 들어, 팬, 틸트, 줌 또는 병진 모션(translational motion)과 같은 신중한 모션(deliberate motion) 또는 지터(jitter) 중의 하나)에 대해 수용하기 위해 장면 모델과 정렬될 수 있다.
블럭(1103)에서, 프레임 내의 각각의 픽셀은 배경, 전경 또는 한정된 전경(또는 희망하는 바와 같은 더 이상의 레벨의 세밀한 입상(granularity))으로서 레이블링된다. 이것은 배경 및 전경 구성요소로 프레임의 분할을 구성한다. 하나의 실시예에서, 배경 통계적 모델을 이용하는, 도 2b에 대해 설명된 기술은 블 럭(1103)에 이용될 수 있다. 하나의 실시예에서, 배경 통계적 모델 및/또는 전경 통계적 모델이 이용될 수 있다.
블럭(8)에서, 그 결과를 향상시키기 위하여 분할에 대해 공간-시간 필터링이 수행된다.
선택적인 블럭(1104)에서, 분할을 정제하거나 그에 영향을 미치는 추가적인 프로세스가 포함될 수 있다. 예를 들어, 블럭(1104)에서 객체 추적 및 분류가 포함될 수 있다. 또 다른 예로서, 블럭(1104)에서 정지한 타깃(target) 검출이 포함될 수 있다.
블럭(1105)에서, 분할은 각각의 픽셀에 대한 배경 및 전경 통계적 모델을 형성 및/또는 업데이트하기 위해 이용된다.
블럭(1106)에서, 객체는 배경 통계적 모델에 삽입된다. 선택적으로, 블럭(1107)으로부터의 외부 프로세스는 삽입이 수행되어야 함을 판정할 수 있다.
선택적인 블럭(1107)에서, 정지한 타깃 검출자(stationary target detector)는 픽셀의 특정 그룹 또는 그룹들이 장면으로 이동하여 정지한 객체(예를 들어, 장면 내에서 자동차가 이동하여 주차함)를 나타낸다고 결정할 수 있다. (이 픽셀에 정지된 객체가 존재한다고 결정되므로) 프로세스는 앞으로 이 픽셀이 배경으로서 취급되어야 함을 판정할 수 있다.
도 2는 도 11의 블럭(1103)에 대한 흐름도를 예시한다. 블럭(1201)에서, 각각의 프레임은 적절히 프로세싱된다.
선택적인 블럭(1202)에서, AGC에 대한 보상(또는 다른 전역 조명(global lighting) 변화)이 수행된다.
블럭(1203)에서, 프레임 내의 각각의 픽셀은 적절히 프로세싱된다.
블럭(1204)에서, 프레임 내의 각각의 픽셀이 분석될 경우, 흐름은 블럭(1214)으로 진행하고, 그렇지 않으면, 흐름은 블럭(1205)로 진행한다.
선택적 블럭(1205)에서, 대상 영역 내에 픽셀이 존재하는지의 여부가 결정된다. 대상 영역 내의 픽셀은 레이블링되지만, 대상 영역 밖의 픽셀은 레이블링되지 않는다. 대상 영역 내에 픽셀이 존재하는지의 여부에 대한 결정은 (선택적인 블럭(1213)으로부터의) 마스크 또는 임의의 다른 메커니즘으로 수행될 수 있다. 마스크는 (선택적 블럭(1211)에서와 같이) 대상 영역이 프레임 내에서 어디에 존재할 수 있는지를 결정하는 자동적인 프로세스에 의해, 또는 (선택적 블럭(1212)에서와 같이) 수동으로 생성될 수 있다. 대상 영역은 프레임에 걸쳐 연속 또는 불연속적일 수 있고, 프레임 내의 픽셀의 하나 이상의 그룹을 포함할 수 있다. 픽셀이 대상 영역 내에 존재할 경우, 흐름은 블럭(1206)으로 진행하고, 그렇지 않으면, 흐름은 블럭(1203)으로 되돌아간다.
블럭(1206 내지 1210)은 이전의 다른 실시예의 것과 유사한 방식으로 픽셀의 레이블링을 수행한다. 블럭(1206)에서, 픽셀의 명암도 값이 배경 통계적 모델 내의 픽셀에 대한 평균에 충분히 근접할 경우, 픽셀은 블럭(1209)에서 배경으로서 레이블링된다. 블럭(1207)에서, 픽셀의 명암도 값이 배경 통계적 모델 내의 픽셀에 대한 평균으로부터 더 멀리 떨어질 경우, 픽셀은 블럭(1210)에서 전경으로서 레이블링된다. 블럭(1208)에서 픽셀의 명암도 값이 배경 통계적 모델 내의 픽셀에 대한 평균으로부터 멀리 떨어질 경우, 픽셀은 한정된 전경으로서 레이블링된다. 블럭(1208, 1209 및 1210)의 이후, 흐름은 블럭(1203)으로 되돌아간다.
수학적으로, 블럭(1206 내지 1210)은 다음과 같이 요약될 수 있다. 블럭(1206 및 1209)에 대하여,
Figure 112008078502611-PCT00067
일 경우, 픽셀
Figure 112008078502611-PCT00068
는 배경으로서 레이블링되고 여기서,
Figure 112008078502611-PCT00069
는 위치
Figure 112008078502611-PCT00070
에서의 픽셀 명암도이고,
Figure 112008078502611-PCT00071
는 위치
Figure 112008078502611-PCT00072
에서의 배경 통계적 모델 평균의 평균이며,
Figure 112008078502611-PCT00073
는 스레숄드이고,
Figure 112008078502611-PCT00074
는 위치
Figure 112008078502611-PCT00075
에서의 배경 통계적 모델의 표준 편차이다. 블럭(1207 및 1210)에 대하여,
Figure 112008078502611-PCT00076
일 경우, 픽셀
Figure 112008078502611-PCT00077
는 전경으로서 레이블링되고, 여기서,
Figure 112008078502611-PCT00078
는
Figure 112008078502611-PCT00079
보다 더 높은 스레숄드이다. 블럭(1207 및 1208)에 대하여,
Figure 112008078502611-PCT00080
일 경우, 픽셀
Figure 112008078502611-PCT00081
는 한정된 전경으로서 레이블링된다.
도 13은 도 11의 블럭(1105)에 대한 흐름도를 예시한다. 블럭(1301)에서, 각각의 프레임은 적절히 프로세싱된다.
선택적인 블럭(1202)에서, AGC에 대한 보상(또는 다른 전역 조명 변화)이 수행된다.
블럭(1303)에서, 프레임 내의 각각의 픽셀은 적절히 프로세싱된다.
블럭(1304)에서, 프레임 내의 각각의 픽셀이 분석될 경우, 흐름은 블럭(1318)으로 진행하고, 그렇지 않으면 흐름은 블럭(1305)로 진행한다.
선택적 블럭(1305)에서, 대상 영역 내에 픽셀이 존재하는지의 여부가 결정된다. 대상 영역 내의 픽셀은 레이블링되지만, 대상 영역 밖의 픽셀은 레이블링되지 않는다. 대상 영역 내에 픽셀이 존재하는지의 여부에 대한 결정은 (선택적인 블럭(1313)으로부터의) 마스크 또는 임의의 다른 메커니즘으로 수행될 수 있다. 마스크는 (선택적 블럭(1311)에서와 같이) 대상 영역이 프레임 내에서 어디에 존재할 수 있는지를 결정하는 자동적인 프로세스에 의해, 또는 (선택적 블럭(1313)에서와 같이) 수동으로 생성될 수 있다. 대상 영역은 프레임에 걸쳐 연속 또는 불연속적일 수 있고, 프레임 내의 픽셀의 하나 이상의 그룹을 포함할 수 있다. 픽셀이 대상 영역 내에 존재할 경우, 흐름은 블럭(1306)으로 진행하고, 그렇지 않으면, 흐름은 블럭(1303)으로 되돌아간다.
그 다음, 배경 및 전경 통계적 모델을 업데이트하기 위해, 도 11의 블럭(1103, 8 및 1104)에서 생성된 전경 마스크가 필터로서 이용된다. 블럭(1316)에서, 전경 마스크가 획득된다.
선택적 블럭(1317)에서, 전경 마스크는 전경 객체의 에지 상의 픽셀이 배경 모델을 손상(corrupt)시키지 않음을 확신하기 위해, 확장과 같은 어떤 형태에 의해 필터링될 수 있다.
블럭(1306)에서, 픽셀이 전경 또는 한정된 전경 픽셀이 아닐 경우, 흐름은 블럭(1307)으로 진행하고, 그렇지 않으면 흐름은 블럭(1308)으로 진행한다.
블럭(1307)에서, 배경 통계적 모델의 평균 및 분산은 그 픽셀 위치에서 현재 프레임으로부터의 정보로 업데이트된다. 배경 통계적 모델이 존재하지 않을 경우, 배경 통계적 모델은 이전의 실시예의 설명에 기초하여 형성될 수 있다.
블럭(1308)에서, 픽셀은 전경 또는 한정된 전경 픽셀이다. 전경 모델이 존재할 경우, 흐름은 블럭(1309)으로 진행하고, 그렇지 않으면, 흐름은 블럭(1312)으로 진행한다.
블럭(1312)에서, 전경 통계적 모델은 그 픽셀의 위치에 존재하지 않아, 새로운 전경 통계적 모델이 생성된다. 모델은 형태
Figure 112008078502611-PCT00082
,
Figure 112008078502611-PCT00083
를 가지며 여기서,
Figure 112008078502611-PCT00084
는 픽셀 위치
Figure 112008078502611-PCT00085
에서 전경 통계적 모델의 평균을 나타내고,
Figure 112008078502611-PCT00086
는 픽셀 위치
Figure 112008078502611-PCT00087
에서 전경 통계적 모델의 표준 편차를 나타내며, D는 디폴트 값이다.
블럭(1309)에서, 전경 통계적 모델은 이 위치에서 존재하고, 현재 픽셀로부터의 데이터로 업데이트된다.
블럭(1310)에서, 픽셀이 소정의 긴 시간 동안 전경 상태 내에 존재하였을 경우, 흐름은 블럭(1311)으로 진행하고, 그렇지 않으면, 흐름은 블럭(1303)으로 진행한다.
블럭(1311)에서, 픽셀이 소정의 긴 시간 동안 전경 상태 내에 존재하여, 배경으로서 고려되기 시작할 수 있다. 분할에서의 이러한 시프트(shift)는 이 위치에서 다음과 같이 배경 모델을 전경 모델로 대체함으로써 이루어질 수 있다.
Figure 112008078502611-PCT00088
,
Figure 112008078502611-PCT00089
제4 실시예에서는, 이전의 3개의 실시예에서와 같지 않게, 블럭(1307 및 1309)의 배경 및 전경 모델을 업데이트하는 단계가 상이할 수 있다. 이전의 실시예에서는, 이동(running) 평균 및 표준 편차가 이용된다. (예를 들어, 낮이 밤이 되고, 밤이 낮이 되는 것과 같이) 배경이 연속적으로 급격한 변화를 겪을 수 있는 이러한 실시예에 대하여 실시간인 경우, 이동 평균 및 표준 편차는 정확하지 않을 수 있는 통계적 모델을 제공할 것이다. 이러한 실시간 실시예에서, 현재 평균 및 표준 편차는 실시간으로 배경을 나타내어야 한다. 따라서, 오래된 정보보다 최근 정보에 더 비중을 두어야 한다. 이러한 이유로 인하여, 배경 및 전경 모델을 업데이트하기 위해, 예를 들어, 무한 임펄스 응답(infinite impulse response : IIR) 필터와 같이 이전의 통계 값을 고려하는 필터가 이용되어야 한다. 필터는 다음과 같이 적용될 수 있다.
Figure 112008078502611-PCT00090
여기서,
Figure 112008078502611-PCT00091
는 블렌딩 상수(blending constant)이다. 블렌딩 상수
Figure 112008078502611-PCT00092
는 표준 블렌딩 시간 상수에 매핑(map)될 수 있다.
도 14는 도 12 및 13의 블럭(1202)에 대한 흐름도를 예시한다. 블럭(1401)에서, 각각의 프레임이 적절히 프로세싱된다.
선택적 블럭(1402)에서, 대상 영역 내의 각각의 픽셀이 적절히 프로세싱된다. 대상 영역은 선택적 블럭(1408)에 의해 제공될 수 있다.
블럭(1403)에서, 각각의 배경 픽셀이 적절히 프로세싱된다. 배경 픽셀은 블럭(1409)에 의해 제공된 전경 마스크 내에 존재하지 않는 것으로 결정될 수 있다.
블럭(1404)에서, 차 히스토그램(difference histogram)은 블럭(1411)으로부터의 배경 모델과 블럭(1410)으로부터의 현재 프레임 사이에서 생성된다. 차 히스토그램은 배경 모델과 배경 모델 내의 각각의 픽셀 명암도 값에 대한 현재 프레임 사이에 존재하는 차의 양(amount)을 측정한다. 일례로서, 명암도 값 10을 가지는 배경 모델 내의 픽셀에 대하여, 이 픽셀과 현재 프레임 내의 그 대응하는 픽셀 사이의 평균 명암도 차는 5 그레이 레벨(grey level)으로서 나타낼 수 있다. 명암도 값 100을 가지는 픽셀에 대하여, 평균 차는 30 그레이 레벨일 수 있다.
블럭(1405)에서, 프레임은 임의의 전역 AGC 효과를 검출하기 위해 분석된다. 히스토그램 값의 평균을 검토함으로써 프레임이 분석된다. 히스토그램 값이 모두 아주 낮을 경우, 이것은 명암도에 관하여, 배경 픽셀이 현재 프레임 픽셀과 기본적으로 일치한다는 것을 의미할 수 있다. 히스토그램 값이 모두 아주 높을 경우, 이것은 현재 프레임과 배경 모델 사이의 명암도의 큰 차가 평균적으로 존재한다는 것을 의미할 수 있고, 그에 따라 프레임 내에 전역 AGC 효과(또는 전역 조명 차이)가 존재할 수 있다. 전역 AGC 효과가 프레임 내에서 검출될 경우, 흐름은 블럭(1406)으로 진행하고, 그렇지 않으면 흐름은 블럭(1401)으로 되돌아간다.
블럭(1406)에서, AGC 효과가 검출되고, 배경 모델이 업데이트된다. 블럭(1404)으로부터의 차 히스토그램을 룩업 테이블(lookup table)로서 이용함으로써 배경 모델이 업데이트된다. 배경 모델 내의 각각의 픽셀의 평균 값은 (배경 평균 명암도의 이러한 값에 대한) 배경 모델 명암도 데이터와 현재 프레임 명암도 데이터 사이의 평균 차에 의해 조절된다. 이것은 다음과 같이 요약될 수 있다.
Figure 112008078502611-PCT00093
여기서,
Figure 112008078502611-PCT00094
는 현재 프레임 내의 그 대응하는 픽셀과 배경 모델 내의 명암도
Figure 112008078502611-PCT00095
의 픽셀 사이의 평균 명암도 차이다.
블럭(1407)에서, 모델 파라미터는 AGC의 존재로 인하여 조절된다. 예를 들어, AGC가 검출될 경우, 도 13 내의 블럭(1307 및 1309)에서의 업데이트에 이용되는 블렌딩 상수
Figure 112008078502611-PCT00096
가 감소될 수 있다. 블렌딩 상수
Figure 112008078502611-PCT00097
를 감소시킴으로써, 배경 및 전경 모델이 블럭(1307 및 1309)에서 각각 업데이트될 경우 모델이 더 신속하게 업데이트하고 전역 명암도 변화에 덜 민감하도록, 현재 프레임으로부터의 데이터에 더 비중을 둔다. AGC가 검출되지 않을 경우,
Figure 112008078502611-PCT00098
는 증가하고, 이것은 모델이 블럭(1307 및 1309)에서의 프로세스를 명암도 변화에 더 민감하도록 업데이트하게 한 다.
도 5는 도 11 내의 블럭(1106)에 대한 흐름도를 예시한다. 일례로서, 객체가 검출 및 추적되어, 정지하는 것(예를 들어, 주차하는 자동차)으로 결정될 경우, 배경 모델이 그 영역 내의 전경을 계속 검출할 수 있도록, 이 객체를 배경 모델로 버닝(burn)하는 것이 바람직할 수 있다.
블럭(1502)에서, 객체를 배경 모델에 삽입할지의 여부가 결정된다. 선택적으로, (선택적 블럭(1107)으로부터의) 외부 프로세스는 객체가 배경 모델 내에 삽입되어야 한다고 결정할 수 있다. 객체가 삽입될 경우, 흐름은 블럭(1503)으로 진행하고, 그렇지 않으면, 흐름은 블럭(1505)으로 진행하여 종료한다.
블럭(1503)에서, 객체 내의 각각의 픽셀에 대하여, 흐름이 적절히 진행한다. (선택적 블럭(1506)으로부터의) 선택적 객체 마스크 또는 임의의 다른 메커니즘에 의해 객체가 묘사될 수 있다.
블럭(1504)에서, 마스크 내의 각각의 픽셀에 대하여, (블럭(1507)으로부터의) 그 위치에서의 배경 모델(들)은 (블럭(1508)으로부터의) 그 위치에서의 전경 모델(들)로 대체되어, 한번에 배경 내에 모두 삽입되는 전체 객체가 되게 된다.
5. 추가적인 실시예 및 의견
상기 설명은 2 레벨 및 3 레벨 픽셀 레이블링 알고리즘을 고려하지만, 이 실시예는 이 경우에만 한정되지 않는다. 실제로, 상이한 범위(즉, 스레숄드 값)에 대응하는 임의의 수의 판정 레벨이 이용될 수 있다는 점이 고려된다. 이러한 경우, 분할 프로세스의 다음 단계에서 판정하기 위해 퍼지(fuzzy) 또는 연판정(soft-decision) 이론이 이용될 것이다.
상기 설명은 주로 (RGB, YUV, 명암도 등일 수 있는) 색채 값 및 픽셀을 설명하지만, 전술한 바와 같이, 본 발명은 이러한 수량(quantity)에 한정되지 않는다. 픽셀 이외의 영역이 이용될 수 있으며, 색채 값 이외의 수량이 이용될 수 있다.
전술한 바와 같이, 이전 섹션에서 설명된 모든 실시예를 포함하는 본 발명은, 컴퓨터 시스템의 형태 또는 본 발명을 구현하는 소프트웨어를 포함하는 컴퓨터 판독가능 매체의 형태로 실시될 수 있다. 이것은 본 발명을 위한 컴퓨터 시스템에 대한 평면도를 도시하는 도 9에 도시된다. 컴퓨터(91)는 본 발명을 구현하기 위한 소프트웨어 및/또는 본 발명에 따라 컴퓨터(91)를 동작시키는 소프트웨어를 예시하는 컴퓨터 판독가능 매체(92)를 포함한다. 도시된 바와 같이, 컴퓨터(91)는 비디오 스트림을 수신하고, 분할된 비디오를 출력한다. 이와 달리, 분할된 비디오는 컴퓨터 내에서 더 프로세싱될 수 있다.
컴퓨터 및 소프트웨어로써 본 발명에 설명된 모든 실시예를 구현하는 것에 더하여, 본 발명에 설명된 모든 실시예는 회로 및/또는 하드웨어 내에서 구현될 수도 있다. 회로는 예를 들어, 디지털 신호 프로세서(digital signal processor : DSP), 범용 전처리기(general purpose preprocessor : GPP), 또는 다른 프로세싱 디바이스에 연결되거나 그들 상의 하드웨어 액셀러레이터(hardware accelerator), 주문형 반도체(application specific integrated circuit : ASIC) 또는 필드 프로그래머블 게이트 어레이(field programmable gate array : FPGA)를 포함할 수 있 다. 회로는 예를 들어, 칩, 칩들 및/또는 칩 셋(chip set)으로 구현될 수 있다. 회로는 예를 들어, 인쇄 회로 기판, 에드온 카드(add-on card), 및/또는 에드온 슬롯(add-on slot)에 위치될 수 있다. 회로는 예를 들어, 비디오 카메라, 비디오 라우터, 비디오 인코더 및/또는 디지털 비디오 레코더(digital video recorder : DVR) 내에 위치될 수 있다. 다른 회로 기반 및/또는 하드웨어 기반의 구현예는 당업자에게 명백해 질 것이다.
또한, 전술한 바와 같이, 전술한 방법을 모델링하는 통계적 픽셀은 지능형 비디오 감시 시스템을 구현하는 방법으로 통합될 수 있다. 도 10은 이러한 방법의 실시예를 도시한다. 특히, 예를 들어, 전술한 바와 같이, 블럭(1001)은 통계적 픽셀 모델링의 이용을 나타낸다. 통계적 픽셀 모델링이 완료되면, 블럭(1002)은 그 결과를 이용하여 객체를 식별 및 분류한다. 블럭(1002)은 예를 들어, 이러한 식별 및 분류를 수행하기 위한 통계적 또는 템플릿 지향 방법을 이용할 수 있다. 식별 및 분류를 수행하는 단계에서, 주어진 객체가 대상 객체인지의 여부가 결정되고, 예를 들어, 그것은 감시 중인 영역을 통해 사람의 움직임을 추적하는데 관계할 수 있고, 이것은 사람을 "대상 객체"로 할 것이다. 블럭(1003)에서, 대상 객체의 행동이 분석되고, 예를 들어, 사람이 제한된 영역에 들어가는지의 여부가 결정될 수 있다. 마지막으로, 블럭(1004)에서, 희망할 경우, 다양한 통지가 송달되거나 다른 적절한 동작이 취해질 수 있다.
본 발명은 바람직한 실시예에 관하여 상세하게 설명되며, 본 발명을 벗어나지 않고 더 폭넓은 형태로 변화 및 변경이 이루어질 수 있다는 것이 전술한 설명으 로부터 당업자에게 명백해질 것이다. 따라서, 첨부된 청구 범위에서 정의되는 바와 같이, 본 발명은 이러한 변화 및 변경을 본 발명의 실제 사상의 범위 내에 속하는 것과 같이 모두 포함하기 위한 것이다.

Claims (76)

  1. 비디오 전경과 배경 부분 사이를 구별하기 위한 비디오 분할의 투패스 방법을 수행하도록 구성된 회로에 있어서,
    상기 방법은,
    입력 비디오 스트림으로부터 프레임 시퀀스를 획득하는 단계;
    상기 프레임 시퀀스의 각각의 프레임에 대한 제1 패스 방법을 실행시키는 단계; 및
    상기 프레임 시퀀스의 각각의 프레임에 대한 제2 패스 방법을 실행시키는 단계를 포함하고,
    상기 제1 패스 방법은,
    장면 모델과 상기 프레임을 정렬시키는 단계;
    배경 통계적 모델을 업데이트하는 단계; 및
    상기 배경 통계적 모델을 최종 결정하는 단계를 포함하고,
    상기 제2 패스 방법은,
    상기 프레임의 각각의 영역을 레이블링하는 단계; 및
    상기 프레임 영역의 공간/시간 필터링을 수행하는 단계를 포함하는
    비디오 분할의 투패스 방법을 수행하도록 구성된 회로.
  2. 제 1 항에 있어서,
    상기 배경 통계적 모델을 업데이트하는 단계는,
    상기 프레임 영역에 대응하는 값을 컴파일하는 단계; 및
    상기 프레임의 각각의 영역에 대한 표준 편차를 계산하는 단계를 포함하는
    비디오 분할의 투패스 방법을 수행하도록 구성된 회로.
  3. 제 1 항에 있어서,
    상기 배경 통계적 모델을 최종 결정하는 단계는,
    상기 프레임의 각각의 영역에 대하여, 상기 컴파일된 값에 기초하여 통계적 모드를 결정하는 단계; 및
    상기 각각의 영역의 통계적 모드를 상기 배경 통계적 모델 내의 그 값으로서 할당하는 단계를 포함하는
    비디오 분할의 투패스 방법을 수행하도록 구성된 회로.
  4. 제 1 항에 있어서,
    상기 프레임의 각각의 영역을 레이블링하는 단계는,
    상기 영역이 상기 배경 통계적 모델과 일치하는지의 여부를 결정하는 단계; 및
    상기 결정 단계의 결과에 기초하여 레이블을 할당하는 단계를 포함하는
    비디오 분할의 투패스 방법을 수행하도록 구성된 회로.
  5. 제 4 항에 있어서,
    상기 결정 단계는 상기 배경 통계적 모델 내의 영역의 대응하는 값에 대한 어떤 범위 내에 상기 프레임 영역의 값이 속하는지의 여부를 결정하는 단계를 포함하고,
    상기 레이블을 할당하는 단계는,
    상기 프레임의 영역의 값이 상기 범위 내에 속하는 경우, 제1 레이블을 할당하는 단계; 및
    상기 프레임 영역의 값이 상기 범위 내에 속하지 않을 경우, 제2 레이블을 할당하는 단계를 포함하는
    비디오 분할의 투패스 방법을 수행하도록 구성된 회로.
  6. 제 5 항에 있어서,
    상기 제1 레이블은 배경이고,
    상기 제2 레이블은 전경인
    비디오 분할의 투패스 방법을 수행하도록 구성된 회로.
  7. 제 4 항에 있어서,
    상기 결정 단계는,
    상기 배경 통계적 모델 내의 영역의 대응하는 값에 대한 제1 범위 내에 상기 프레임 영역의 값이 속하는지의 여부를 결정하는 단계; 및
    상기 프레임 영역의 값이 상기 제1 범위 내에 속하지 않을 경우, 상기 배경 통계적 모델 내의 영역의 상기 대응하는 값에 대한 제2 범위 내에 상기 프레임 영역의 값이 속하는지의 여부를 결정하는 단계를 포함하고,
    상기 레이블을 할당하는 단계는,
    상기 프레임 영역의 값이 상기 제1 범위 내에 속하는 경우, 제1 레이블을 할당하는 단계;
    상기 프레임 영역의 값이 상기 제1 범위 내에 속하지 않고, 상기 제2 범위 내에 존재하는 경우, 제2 레이블을 할당하는 단계; 및
    상기 프레임 영역의 값이 상기 제2 범위 내에 속하지 않을 경우, 제3 레이블을 할당하는 단계를 포함하는
    비디오 분할의 투패스 방법을 수행하도록 구성된 회로.
  8. 제 7 항에 있어서,
    상기 제1 레이블은 배경이고,
    상기 제2 레이블은 전경이고,
    상기 제3 레이블은 한정된 전경인
    비디오 분할의 투패스 방법을 수행하도록 구성된 회로.
  9. 제 1 항에 있어서,
    상기 프레임의 각각의 영역을 레이블링하는 단계는,
    상기 배경 통계적 모델 내의 영역의 대응하는 값에 대한 임의의 수의 각각의 범위 내에 상기 프레임 영역의 값이 속하는지의 여부에 관하여 결정을 수행하는 단계를 포함하고, 상기 영역이 상기 배경 통계적 모델과 일치하는지의 여부를 결정하는 단계; 및
    상기 결정 단계의 결과에 기초한 레이블을 할당하는 단계를 포함하는
    비디오 분할의 투패스 방법을 수행하도록 구성된 회로.
  10. 제 1 항에 있어서,
    상기 공간/시간 필터링의 단계는, 상기 프레임의 각각의 영역에 대하여,
    네이버후드 필터링(neighborhood filtering)을 수행하는 단계; 및
    공간 필터링, 시간 필터링 또는 그 조합을 수행하는 단계를 포함하는
    비디오 분할의 투패스 방법을 수행하도록 구성된 회로.
  11. 제 10 항에 있어서,
    공간 필터링, 시간 필터링 또는 그 조합을 수행하는 상기 단계는, 형태학적 침식 및 확장을 수행하는 단계를 포함하고,
    상기 형태학적 침식 및 확장은 2차원 또는 3차원으로 수행되는
    비디오 분할의 투패스 방법을 수행하도록 구성된 회로.
  12. 제 11 항에 있어서,
    상기 형태학적 침식 및 확장을 수행하는 단계는,
    임의의 수인 n번의 침식을 수행하는 단계 - 여기서, 한정된 전경으로서 레이블링된 임의의 영역은 침식되지 않음 - ;
    상기 n번의 침식을 수행하는 단계 이후에, n번의 확장을 수행하는 단계; 및
    상기 n번의 확장을 수행하는 단계 이후에, 제2의 수인 m번의 확장을 수행하는 단계를 포함하는
    비디오 분할의 투패스 방법을 수행하도록 구성된 회로.
  13. 제 10 항에 있어서,
    상기 네이버후드 필터링을 수행하는 단계는, 배경으로서 레이블링되지 않은 프레임 Pi 의 각각의 영역에 대하여,
    Pi 에 대응하는 장면 모델 내의 위치 Pm 을 결정하는 단계;
    Pm 주변의 영역 P'm 의 네이버후드를 결정하는 단계;
    임의의 P'm 이 Pi 와 일치하는지의 여부를 결정하는 단계;
    임의의 P'm 이 Pi 와 일치할 경우, Pi 주변의 영역 P'i 의 네이버후드를 결정하는 단계;
    임의의 P'i 가 Pm 과 일치하는지의 여부를 결정하는 단계; 및
    임의의 P'm 이 Pi 와 일치할 경우, Pi 를 배경으로서 다시 레이블링하는 단계를 포함하는
    비디오 분할의 투패스 방법을 수행하도록 구성된 회로.
  14. 비디오 전경과 배경 부분 사이를 구별하기 위한 비디오 분할의 원패스 방법을 수행하도록 구성된 회로에 있어서,
    상기 방법은,
    비디오 스트림으로부터 프레임 시퀀스를 획득하는 단계; 및
    상기 프레임 시퀀스 내의 각각의 프레임에 대하여,
    장면 모델과 상기 프레임을 정렬시키는 단계;
    배경 통계적 모델을 형성하는 단계;
    상기 프레임 영역을 레이블링하는 단계; 및
    공간/시간 필터링을 수행하는 단계
    를 수행하는 단계를 포함하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  15. 제 14 항에 있어서,
    상기 공간/시간 필터링 단계는, 상기 프레임의 각각의 영역에 대하여,
    네이버후드 필터링을 수행하는 단계; 및
    공간 필터링, 시간 필터링 또는 그 조합을 수행하는 단계를 포함하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  16. 제 15 항에 있어서,
    상기 공간 필터링, 시간 필터링 또는 그 조합을 수행하는 단계는, 형태학적 침식 및 확장을 수행하는 단계를 포함하고,
    상기 형태학적 침식 및 확장은 2차원 또는 3차원으로 수행되는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  17. 제 16 항에 있어서,
    상기 형태학적 침식 및 확장을 수행하는 단계는,
    임의의 수인 n번의 침식을 수행하는 단계 - 여기서, 한정된 전경으로서 레이블링된 임의의 영역은 침식되지 않음 - ;
    상기 n번의 침식을 수행하는 단계 이후에, n번의 확장을 수행하는 단계; 및
    상기 n번의 확장을 수행하는 단계 이후에, 제2의 수인 m번의 확장을 수행하는 단계를 포함하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  18. 제 15 항에 있어서,
    상기 네이버후드 필터링을 수행하는 단계는, 배경으로서 레이블링되지 않은 프레임 Pi 의 각각의 영역에 대하여,
    Pi 에 대응하는 장면 모델 내의 위치 Pm 을 결정하는 단계;
    Pm 주변의 영역 P'm 의 네이버후드를 결정하는 단계;
    임의의 P'm 이 Pi 와 일치하는지의 여부를 결정하는 단계;
    임의의 P'm 이 Pi 와 일치할 경우, Pi 주변의 영역 P'i 의 네이버후드를 결정하는 단계;
    임의의 P'i 가 Pm 과 일치하는지의 여부를 결정하는 단계; 및
    임의의 P'm 이 Pi 와 일치할 경우, Pi 를 배경으로서 다시 레이블링하는 단계를 포함하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  19. 제 14 항에 있어서,
    상기 배경 통계적 모델을 형성하는 단계는,
    상기 프레임의 각각의 영역에 대하여,
    상기 배경 통계적 모델이 완성 및 안정되어 있는지의 여부를 결정하는 단계;
    상기 배경 통계적 모델이 완성 및 안정되어 있을 경우, 상기 배경 통계적 모델의 대응하는 값과 상기 영역의 값이 일치하는지의 여부를 결정하는 단계; 및
    상기 배경 통계적 모델의 값과 상기 영역의 값이 일치할 경우, 상기 영역의 값을 이용하여 상기 배경 통계적 모델을 업데이트하는 단계
    를 수행하는 단계를 포함하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  20. 제 19 항에 있어서,
    상기 배경 통계적 모델이 완성 및 안정되어 있는지의 여부를 결정하는 단계는,
    상기 배경 통계적 모델이 완성되었는지의 여부를 결정하고, 완성되지 않았을 경우, 상기 영역의 값을 이용하여 상기 배경 통계적 모델을 업데이트하는 단계;
    상기 배경 통계적 모델이 완성된 것으로 결정될 경우, 상기 배경 통계적 모델이 안정되어 있는지의 여부를 결정하는 단계;
    상기 배경 통계적 모델이 안정되어 있지 않은 것으로 결정될 경우, 상기 영역의 값을 이용하여 상기 배경 통계적 모델을 업데이트하는 단계를 포함하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  21. 제 20 항에 있어서,
    상기 영역의 값을 이용하여 상기 배경 통계적 모델을 업데이트하는 각각의 단계는,
    상기 영역에 대한 이동 평균 값(running mean value)을 업데이트하는 단계; 및
    상기 영역에 대한 이동 표준 편차 값(running standard deviation value)을 업데이트하는 단계를 포함하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  22. 제 19 항에 있어서,
    상기 영역의 값을 이용하여 배경 통계적 모델을 업데이트하는 단계는,
    상기 영역에 대한 이동 평균 값을 업데이트하는 단계; 및
    상기 영역에 대한 이동 표준 편차 값을 업데이트하는 단계를 포함하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  23. 제 19 항에 있어서,
    상기 배경 통계적 모델을 형성하는 단계는,
    상기 배경 통계적 모델을 최종 결정하는 단계를 더 포함하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  24. 제 14 항에 있어서,
    상기 프레임 영역을 레이블링하는 단계는, 상기 프레임의 각각의 영역에 대 하여,
    상기 영역에 대한 배경 통계적 모델의 완성도 및 안정도에 관하여 결정하는 단계;
    상기 영역에 대한 장면 모델의 값과 상기 영역에 대한 배경 통계적 모델의 값이 일치하는지의 여부를 결정하는 단계;
    상기 영역에 대한 장면 모델의 값과 상기 영역의 값이 일치하는지의 여부를 결정하는 단계; 및
    상기 영역에 대한 배경 통계적 모델의 값과 상기 영역의 값이 어느 정도까지 일치하는지를 결정하는 단계를 포함하고,
    상기 결정하는 단계들의 결과에 기초하여, 레이블이 상기 영역에 할당되는
    방법.
  25. 제 24 항에 있어서,
    상기 배경 통계적 모델의 완성도 및 안정도에 관하여 결정하는 단계는,
    상기 배경 통계적 모델이 완성되었는지의 여부를 결정하는 단계;
    상기 배경 통계적 모델이 안정되어 있는지의 여부를 결정하는 단계; 및
    상기 배경 통계적 모델이 안정되어 있지 않을 경우, 그것이 이전에 안정되었던 적이 있었는지의 여부를 결정하는 단계를 포함하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  26. 제 25 항에 있어서,
    상기 배경 통계적 모델이 안정되어 있는지의 여부를 결정하는 단계는, 상기 배경 통계적 모델이 완성된 것으로 결정될 경우에만 실행되고,
    상기 배경 통계적 모델이 완성되지 않은 것으로 결정될 경우, 상기 영역에 대한 장면 모델의 값과 상기 영역의 값이 일치하는지의 여부를 결정하는 단계가 실행되는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  27. 제 25 항에 있어서,
    상기 배경 통계적 모델이 안정된 것으로 결정될 경우, 상기 영역에 대한 장면 모델의 값과 상기 영역에 대한 배경 통계적 모델의 값이 일치하는지의 여부를 결정하는 단계가 실행되는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  28. 제 25 항에 있어서,
    상기 배경 통계적 모델이 이전에 안정되었던 적이 있었는지의 여부를 결정하 는 단계가 긍정적 결과를 반환하는 경우, 상기 영역에 대한 장면 모델의 값과 상기 영역의 값이 일치하는지의 여부를 결정하는 단계가 실행되고,
    상기 배경 통계적 모델이 이전에 안정된 적이 있었는지의 여부를 결정하는 단계가 부정적 결과를 반환하는 경우, 상기 영역은 한정적 전경으로서 레이블링되는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  29. 제 24 항에 있어서,
    상기 영역에 대한 장면 모델의 값과 상기 영역의 값이 일치하는지의 여부를 결정하는 단계가 긍정적 결과를 반환하는 경우, 상기 영역은 배경으로서 레이블링되고,
    상기 단계가 부정적 결과를 반환하는 경우, 상기 영역은 전경으로서 레이블링되는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  30. 제 24 항에 있어서,
    상기 영역에 대한 장면 모델의 값과 상기 영역에 대한 배경 통계적 모델의 값이 일치하는지의 여부를 결정하는 단계가 긍정적 결과를 반환하는 경우, 상기 영 역에 대한 배경 통계적 모델의 값과 상기 영역에 대한 값이 어느 정도까지 일치하는지를 결정하는 단계가 실행되고,
    상기 영역에 대한 장면 모델의 값과 상기 영역에 대한 배경 통계적 모델의 값이 일치하는지의 여부를 결정하는 단계가 부정적 결과를 반환하는 경우, 상기 영역에 대한 장면 모델의 값과 상기 영역의 값이 일치하는지의 여부를 결정하는 단계가 실행되는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  31. 제 24 항에 있어서,
    상기 영역에 대한 배경 통계적 모델의 값과 상기 영역의 값이 어느 정도까지 일치하는지를 결정하는 상기 단계는,
    상기 영역에 대한 배경 통계적 모델의 값과 상기 영역의 값이 일치하는지의 여부를 결정하는 단계;
    상기 영역에 대한 배경 통계적 모델의 값과 상기 영역의 값이 일치하는지의 여부를 결정하는 단계의 경우, 상기 영역을 배경으로서 레이블링하는 단계; 및
    상기 영역에 대한 배경 통계적 모델의 값과 상기 영역의 값이 일치하는지의 여부를 결정하는 단계가 부정적 결과를 반환하는 경우, 상기 영역의 값이 상기 배경 통계적 모델에서 멀리 떨어져 속하는지의 여부를 결정하는 단계를 포함하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  32. 제 31 항에 있어서,
    상기 영역의 값이 상기 배경 통계적 모델에서 멀리 떨어져 속하는지의 여부를 결정하는 단계는, 스레숄드 비교를 수행하는 단계를 포함하고,
    상기 영역의 값이 상기 배경 통계적 모델에서 멀리 떨어져 속하는지의 여부를 결정하는 단계가 긍정적 결과를 반환하는 경우, 상기 영역을 한정된 전경으로서 레이블링하는 단계, 및
    상기 영역의 값이 상기 배경 통계적 모델에서 멀리 떨어져 속하는지의 여부를 결정하는 단계가 부정적 결과를 반환하는 경우, 상기 영역을 전경으로서 레이블링하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  33. 비디오 전경과 배경 부분 사이를 구별하기 위한 비디오 분할의 원패스 방법을 수행하도록 구성된 회로에 있어서,
    상기 방법은,
    비디오 스트림으로부터 프레임 시퀀스를 획득하는 단계; 및
    상기 프레임 시퀀스 내의 각각의 프레임에 대하여,
    장면 모델과 상기 프레임을 정렬시키는 단계;
    배경 통계적 모델 및 2차 통계적 모델을 형성하는 단계;
    상기 프레임 영역을 레이블링하는 단계; 및
    공간/시간 필터링을 수행하는 단계
    를 수행하는 단계를 포함하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  34. 제 33 항에 있어서,
    상기 공간/시간 필터링 단계는, 상기 프레임의 각각의 영역에 대하여,
    네이버후드 필터링을 수행하는 단계; 및
    공간 필터링, 시간 필터링 또는 그 조합을 수행하는 단계를 포함하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  35. 제 34 항에 있어서,
    상기 공간 필터링, 시간 필터링 또는 그 조합을 수행하는 단계는, 형태학적 침식 및 확장을 수행하는 단계를 포함하고,
    상기 형태학적 침식 및 확장은 2차원 또는 3차원으로 수행되는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  36. 제 35 항에 있어서,
    상기 형태학적 침식 및 확장을 수행하는 단계는,
    임의의 수인 n번의 침식을 수행하는 단계 - 여기서, 한정된 전경으로서 레이블링된 임의의 영역은 침식되지 않음 - ;
    상기 n번의 침식을 수행하는 단계 이후에, n번의 확장을 수행하는 단계; 및
    상기 n번의 확장을 수행하는 단계 이후에, 제2의 수인 m번의 확장을 수행하는 단계를 포함하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  37. 제 34 항에 있어서,
    상기 네이버후드 필터링을 수행하는 단계는, 배경으로서 레이블링되지 않은 프레임 Pi 의 각각의 영역에 대하여,
    Pi 에 대응하는 장면 모델 내의 위치 Pm 을 결정하는 단계;
    Pm 주변의 영역 P'm 의 네이버후드를 결정하는 단계;
    임의의 P'm 이 Pi 와 일치하는지의 여부를 결정하는 단계;
    임의의 P'm 이 Pi 와 일치할 경우, Pi 주변의 영역 P'i 의 네이버후드를 결정 하는 단계;
    임의의 P'i 가 Pm 과 일치하는지의 여부를 결정하는 단계; 및
    임의의 P'm 이 Pi 와 일치할 경우, Pi 를 배경으로서 다시 레이블링하는 단계를 포함하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  38. 제 33 항에 있어서,
    상기 배경 통계적 모델을 형성하는 단계는,
    상기 프레임의 각각의 영역에 대하여,
    상기 배경 통계적 모델이 완성 및 안정되어 있는지의 여부를 결정하는 단계;
    상기 배경 통계적 모델이 완성 및 안정되어 있을 경우, 상기 배경 통계적 모델의 대응하는 값과 상기 영역의 값이 일치하는지의 여부를 결정하는 단계;
    상기 배경 통계적 모델의 값과 상기 영역의 값이 일치할 경우, 상기 영역의 값을 이용하여 상기 배경 통계적 모델을 업데이트하는 단계; 및
    상기 배경 통계적 모델의 값과 상기 영역의 값이 일치하지 않을 경우, 상기 영역의 값을 이용하여 상기 2차 통계적 모델을 업데이트하는 단계
    를 수행하는 단계를 포함하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  39. 제 38 항에 있어서,
    상기 배경 통계적 모델이 완성 및 안정되어 있는지의 여부를 결정하는 단계는,
    상기 배경 통계적 모델이 완성되었는지의 여부를 결정하고, 완성되지 않았을 경우, 상기 영역의 값을 이용하여 상기 배경 통계적 모델을 업데이트하는 단계;
    상기 배경 통계적 모델이 완성된 것으로 결정될 경우, 상기 배경 통계적 모델이 안정되어 있는지의 여부를 결정하는 단계;
    상기 배경 통계적 모델이 안정되어 있지 않은 것으로 결정될 경우, 상기 영역의 값을 이용하여 상기 배경 통계적 모델을 업데이트하는 단계를 포함하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  40. 제 39 항에 있어서,
    상기 영역의 값을 이용하여 상기 배경 통계적 모델을 업데이트하는 각각의 단계는,
    상기 영역에 대한 이동 평균 값을 업데이트하는 단계; 및
    상기 영역에 대한 이동 표준 편차 값을 업데이트하는 단계를 포함하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  41. 제 38 항에 있어서,
    상기 영역의 값을 이용하여 배경 통계적 모델을 업데이트하는 단계는,
    상기 영역에 대한 이동 평균 값을 업데이트하는 단계; 및
    상기 영역에 대한 이동 표준 편차 값을 업데이트하는 단계를 포함하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  42. 제 38 항에 있어서,
    상기 2차 통계적 모델을 업데이트하는 단계는,
    상기 2차 통계적 모델이 완성되었는지의 여부를 결정하는 단계;
    상기 2차 통계적 모델이 완성되지 않았을 경우, 상기 영역의 값을 이용하여 상기 2차 통계적 모델을 업데이트하는 단계;
    상기 2차 통계적 모델이 완성되었을 경우, 상기 2차 통계적 모델이 안정되어 있는지의 여부를 결정하는 단계;
    상기 2차 통계적 모델이 안정되어 있지 않을 경우, 상기 영역의 값을 이용하여 상기 2차 통계적 모델을 업데이트하는 단계; 및
    상기 2차 통계적 모델이 안정되어 있을 경우, 상기 영역에 대한 배경 통계적 모델을 상기 영역에 대한 2차 통계적 모델로 대체하는 단계를 포함하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  43. 제 38 항에 있어서,
    상기 배경 통계적 모델을 형성하는 단계는, 상기 배경 통계적 모델을 최종 결정하는 단계를 더 포함하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  44. 제 33 항에 있어서,
    상기 프레임 영역을 레이블링하는 단계는, 상기 프레임의 각각의 영역에 대하여,
    상기 영역에 대한 배경 통계적 모델의 완성도 및 안정도에 관하여 결정하는 단계;
    상기 영역에 대한 장면 모델의 값과 상기 영역에 대한 배경 통계적 모델의 값이 일치하는지의 여부를 결정하는 단계;
    상기 영역에 대한 장면 모델의 값과 상기 영역의 값이 일치하는지의 여부를 결정하는 단계; 및
    상기 영역에 대한 배경 통계적 모델의 값과 상기 영역의 값이 어느 정도까지 일치하는지를 결정하는 단계를 포함하고,
    상기 결정하는 단계들의 결과에 기초하여, 레이블이 상기 영역에 할당되는
    방법.
  45. 제 44 항에 있어서,
    상기 배경 통계적 모델의 완성도 및 안정도에 관하여 결정하는 단계는,
    상기 배경 통계적 모델이 완성되었는지의 여부를 결정하는 단계;
    상기 배경 통계적 모델이 안정되어 있는지의 여부를 결정하는 단계; 및
    상기 배경 통계적 모델이 안정되어 있지 않을 경우, 상기 배경 통계적 모델이 이전에 안정되었던 적이 있었는지의 여부를 결정하는 단계를 포함하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  46. 제 45 항에 있어서,
    상기 배경 통계적 모델이 안정되어 있는지의 여부를 결정하는 단계는, 상기 배경 통계적 모델이 완성된 것으로 결정될 경우에만 실행되고,
    상기 배경 통계적 모델이 완성되지 않은 것으로 결정될 경우, 상기 영역에 대한 장면 모델의 값과 상기 영역의 값이 일치하는지의 여부를 결정하는 단계가 실 행되는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  47. 제 45 항에 있어서,
    상기 배경 통계적 모델이 안정된 것으로 결정될 경우, 상기 영역에 대한 장면 모델의 값과 상기 영역에 대한 배경 통계적 모델의 값이 일치하는지의 여부를 결정하는 단계가 실행되는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  48. 제 45 항에 있어서,
    상기 배경 통계적 모델이 이전에 안정되었던 적이 있었는지의 여부를 결정하는 단계가 긍정적 결과를 반환하는 경우, 상기 영역에 대한 장면 모델의 값과 상기 영역의 값이 일치하는지의 여부를 결정하는 단계가 실행되고,
    상기 배경 통계적 모델이 이전에 안정된 적이 있었는지의 여부를 결정하는 단계가 부정적 결과를 반환하는 경우, 상기 영역은 한정적 전경으로서 레이블링되는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  49. 제 44 항에 있어서,
    상기 영역에 대한 장면 모델의 값과 상기 영역의 값이 일치하는지의 여부를 결정하는 단계가 긍정적 결과를 반환하는 경우, 상기 영역은 배경으로서 레이블링되고,
    상기 단계가 부정적 결과를 반환하는 경우, 상기 영역은 전경으로서 레이블링되는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  50. 제 44 항에 있어서,
    상기 영역에 대한 장면 모델의 값과 상기 영역에 대한 배경 통계적 모델의 값이 일치하는지의 여부를 결정하는 단계가 긍정적 결과를 반환하는 경우, 상기 영역에 대한 배경 통계적 모델의 값과 상기 영역에 대한 값이 어느 정도까지 일치하는지를 결정하는 단계가 실행되고,
    상기 영역에 대한 장면 모델의 값과 상기 영역에 대한 배경 통계적 모델의 값이 일치하는지의 여부를 결정하는 단계가 부정적 결과를 반환하는 경우, 상기 영역에 대한 장면 모델의 값과 상기 영역의 값이 일치하는지의 여부를 결정하는 단계가 실행되는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  51. 제 44 항에 있어서,
    상기 영역에 대한 배경 통계적 모델의 값과 상기 영역의 값이 어느 정도까지 일치하는지를 결정하는 상기 단계는,
    상기 영역에 대한 배경 통계적 모델의 값과 상기 영역의 값이 일치하는지의 여부를 결정하는 단계;
    상기 영역에 대한 배경 통계적 모델의 값과 상기 영역의 값이 일치하는지의 여부를 결정하는 단계의 경우, 상기 영역을 배경으로서 레이블링하는 단계; 및
    상기 영역에 대한 배경 통계적 모델의 값과 상기 영역의 값이 일치하는지의 여부를 결정하는 단계가 부정적 결과를 반환하는 경우, 상기 영역의 값이 상기 배경 통계적 모델에서 멀리 떨어져 속하는지의 여부를 결정하는 단계를 포함하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  52. 제 51 항에 있어서,
    상기 영역의 값이 상기 배경 통계적 모델에서 멀리 떨어져 속하는지의 여부를 결정하는 단계는, 스레숄드 비교를 수행하는 단계를 포함하고,
    상기 영역의 값이 상기 배경 통계적 모델에서 멀리 떨어져 속하는지의 여부를 결정하는 단계가 긍정적 결과를 반환하는 경우, 상기 영역을 한정된 전경으로서 레이블링하는 단계, 및
    상기 영역의 값이 상기 배경 통계적 모델에서 멀리 떨어져 속하는지의 여부를 결정하는 단계가 부정적 결과를 반환하는 경우, 상기 영역을 전경으로서 레이블링하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  53. 비디오 전경과 배경 부분 사이를 구별하기 위한 비디오 분할의 투패스 방법을 수행하도록 구성된 회로에 있어서,
    상기 방법은,
    입력 비디오 스트림으로부터 프레임 시퀀스를 획득하는 단계;
    상기 프레임 시퀀스의 각각의 프레임에 대한 제1 패스 방법을 실행시키는 단계; 및
    상기 프레임 시퀀스의 각각의 프레임에 대한 제2 패스 방법을 실행시키는 단계를 포함하고,
    상기 제1 패스 방법은,
    장면 모델과 상기 프레임을 정렬시키는 단계;
    배경 통계적 모델을 업데이트하는 단계; 및
    상기 배경 통계적 모델을 최종 결정하는 단계를 포함하고,
    상기 배경 통계적 모델은 상기 영역에 대한 분산 및 프레임 시퀀스의 프레임 영역에 대응하는 값을 포함하고,
    상기 제2 패스 방법은,
    상기 프레임의 각각의 영역을 레이블링하는 단계; 및
    상기 프레임 영역의 공간/시간 필터링을 수행하는 단계를 포함하는
    비디오 분할의 투패스 방법을 수행하도록 구성된 회로.
  54. 비디오 전경과 배경 부분 사이를 구별하기 위한 비디오 분할의 원패스 방법을 수행하도록 구성된 회로에 있어서,
    상기 방법은,
    비디오 스트림으로부터 프레임 시퀀스를 획득하는 단계; 및
    상기 프레임 시퀀스 내의 각각의 프레임에 대하여,
    장면 모델과 상기 프레임을 정렬시키는 단계;
    배경 통계적 모델을 형성하는 단계;
    상기 프레임 영역을 레이블링하는 단계; 및
    공간/시간 필터링을 수행하는 단계
    를 수행하는 단계를 포함하고,
    상기 배경 통계적 모델은 상기 영역에 대한 분산 및 프레임 시퀀스의 프레임 영역에 대응하는 값을 포함하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  55. 비디오 전경과 배경 부분 사이를 구별하기 위한 비디오 분할의 원패스 방법에 있어서,
    실시간 비디오 스트림을 획득하는 단계; 및
    상기 실시간 프레임 스트림 내의 각각의 프레임에 대하여,
    상기 프레임 내의 픽셀을 레이블링하는 단계;
    공간/시간 필터링을 수행하는 단계;
    상기 픽셀이 레이블링된 이후에, 배경 통계적 모델을 업데이트하는 단계; 및
    상기 픽셀이 레이블링된 이후에, 적어도 하나의 전경 통계적 모델을 형성 및/또는 업데이트하는 단계
    를 수행하는 단계를 포함하는
    비디오 분할의 원패스 방법.
  56. 제 55 항에 있어서,
    상기 실시간 프레임 스트림 내의 각각의 프레임에 대하여,
    상기 배경 통계적 모델에 객체를 삽입하는 단계를 더 수행하는
    비디오 분할의 원패스 방법.
  57. 제 55 항에 있어서,
    상기 프레임 내의 픽셀을 레이블링하는 단계는,
    상기 프레임에 대한 전역 조명 변화를 보상하는 단계를 포함하는
    비디오 분할의 원패스 방법.
  58. 제 55 항에 있어서,
    상기 배경 통계적 모델 및 상기 전경 통계적 모델을 업데이트하는 단계는,
    상기 프레임에 대한 전역 조명 변화를 보상하는 단계를 포함하는
    비디오 분할의 원패스 방법.
  59. 제 55 항에 있어서,
    상기 프레임 내의 대상 영역에 대한 프레임 내에 픽셀이 레이블링되는
    비디오 분할의 원패스 방법.
  60. 제 55 항에 있어서,
    상기 배경 통계적 모델 및 전경 통계적 모델 픽셀은,
    상기 프레임 내의 대상 영역에 대하여 형성 및/또는 업데이트되는
    비디오 분할의 원패스 방법.
  61. 제 55 항에 있어서,
    상기 배경 통계적 모델은,
    상기 배경 통계적 모델의 이전 통계적 값에 기초하여 업데이트되는
    비디오 분할의 원패스 방법.
  62. 제 61 항에 있어서,
    상기 배경 통계적 모델은,
    상기 배경 통계적 모델의 이전 통계적 값에 적용되는 무한 임펄스 응답 필터(infinite impulse response)에 기초하여 업데이트되는
    비디오 분할의 원패스 방법.
  63. 제 55 항에 있어서,
    상기 전경 통계적 모델은,
    상기 전경 통계적 모델의 이전 통계적 값에 기초하여 업데이트되는
    비디오 분할의 원패스 방법.
  64. 제 63 항에 있어서,
    상기 전경 통계적 모델은,
    상기 전경 통계적 모델의 이전 통계적 값에 적용되는 무한 임펄스 응답 필터에 기초하여 업데이트되는
    비디오 분할의 원패스 방법.
  65. 컴퓨터 시스템에 있어서,
    컴퓨터; 및
    제 55 항에 기재된 방법을 구현하는 소프트웨어를 포함하는 컴퓨터 판독가능 매체를 포함하는
    컴퓨터 시스템.
  66. 제 1 항에 기재된 방법을 구현하는 소프트웨어를 포함하는 컴퓨터 판독가능 매체.
  67. 비디오 전경과 배경 부분 사이를 구별하기 위한 비디오 분할의 원패스 방법을 수행하도록 구성된 회로에 있어서,
    상기 방법은,
    실시간 비디오 스트림을 획득하는 단계; 및
    상기 실시간 프레임 스트림 내의 각각의 프레임에 대하여,
    상기 프레임 내의 픽셀을 레이블링하는 단계;
    공간/시간 필터링을 수행하는 단계;
    상기 픽셀이 레이블링된 이후에, 배경 통계적 모델을 업데이트하는 단계; 및
    상기 픽셀이 레이블링된 이후에, 적어도 하나의 전경 통계적 모델을 형성 및/또는 업데이트하는 단계
    를 수행하는 단계를 포함하는
    비디오 분할의 원패스 방법을 수행하도록 구성된 회로.
  68. 제 67 항에 있어서,
    상기 실시간 프레임 스트림 내의 각각의 프레임에 대하여,
    상기 배경 통계적 모델에 객체를 삽입하는 단계를 더 수행하는
    방법.
  69. 제 67 항에 있어서,
    상기 프레임 내의 픽셀을 레이블링하는 단계는,
    상기 프레임에 대한 전역 조명 변화를 보상하는 단계를 포함하는
    방법.
  70. 제 67 항에 있어서,
    상기 배경 통계적 모델 및 상기 전경 통계적 모델을 업데이트하는 단계는,
    상기 프레임에 대한 전역 조명 변화를 보상하는 단계를 포함하는
    방법.
  71. 제 67 항에 있어서,
    상기 프레임 내의 대상 영역에 대한 프레임 내에 픽셀이 레이블링되는
    방법.
  72. 제 67 항에 있어서,
    상기 배경 통계적 모델 및 전경 통계적 모델 픽셀은,
    상기 프레임 내의 대상 영역에 대하여 형성 및/또는 업데이트되는
    방법.
  73. 제 67 항에 있어서,
    상기 배경 통계적 모델은,
    상기 배경 통계적 모델의 이전 통계적 값에 기초하여 업데이트되는
    방법.
  74. 제 73 항에 있어서,
    상기 배경 통계적 모델은,
    상기 배경 통계적 모델의 이전 통계적 값에 적용되는 무한 임펄스 응답 필터에 기초하여 업데이트되는
    방법.
  75. 제 67 항에 있어서,
    상기 전경 통계적 모델은,
    상기 전경 통계적 모델의 이전 통계적 값에 기초하여 업데이트되는
    방법.
  76. 제 75 항에 있어서,
    상기 전경 통계적 모델은,
    상기 전경 통계적 모델의 이전 통계적 값에 적용되는 무한 임펄스 응답 필터에 기초하여 업데이트되는
    방법.
KR1020087027794A 2006-04-17 2007-03-01 통계적인 픽셀 모델링을 이용한 비디오 분할 KR101392294B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US79231306P 2006-04-17 2006-04-17
US60/792,313 2006-04-17
PCT/US2007/005238 WO2007126525A2 (en) 2006-04-17 2007-03-01 Video segmentation using statistical pixel modeling

Publications (2)

Publication Number Publication Date
KR20090006851A true KR20090006851A (ko) 2009-01-15
KR101392294B1 KR101392294B1 (ko) 2014-05-27

Family

ID=38655966

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087027794A KR101392294B1 (ko) 2006-04-17 2007-03-01 통계적인 픽셀 모델링을 이용한 비디오 분할

Country Status (9)

Country Link
US (1) US8457401B2 (ko)
EP (1) EP2013817A2 (ko)
JP (1) JP2009533778A (ko)
KR (1) KR101392294B1 (ko)
CN (1) CN101443789B (ko)
CA (1) CA2649389A1 (ko)
IL (1) IL194797A0 (ko)
TW (1) TW200802187A (ko)
WO (1) WO2007126525A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8355568B2 (en) 2009-11-10 2013-01-15 Samsung Electronics Co., Ltd. Image processing apparatus, method and computer-readable medium

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7424175B2 (en) * 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
KR101260847B1 (ko) 2007-02-08 2013-05-06 비헤이버럴 레코그니션 시스템즈, 인코포레이티드 행동 인식 시스템
US8411935B2 (en) 2007-07-11 2013-04-02 Behavioral Recognition Systems, Inc. Semantic representation module of a machine-learning engine in a video analysis system
WO2009032922A1 (en) 2007-09-04 2009-03-12 Objectvideo, Inc. Stationary target detection by exploiting changes in background model
US8200011B2 (en) * 2007-09-27 2012-06-12 Behavioral Recognition Systems, Inc. Context processor for video analysis system
US8300924B2 (en) * 2007-09-27 2012-10-30 Behavioral Recognition Systems, Inc. Tracker component for behavioral recognition system
US8175333B2 (en) * 2007-09-27 2012-05-08 Behavioral Recognition Systems, Inc. Estimator identifier component for behavioral recognition system
ATE512423T1 (de) * 2007-12-20 2011-06-15 Nxp Bv Bildfilterung
KR100925794B1 (ko) * 2008-02-28 2009-11-11 숭실대학교산학협력단 영상의 지역 명암대비 개선을 통한 전역 명암대비 향상 방법
US9019381B2 (en) 2008-05-09 2015-04-28 Intuvision Inc. Video tracking systems and methods employing cognitive vision
US9633275B2 (en) * 2008-09-11 2017-04-25 Wesley Kenneth Cobb Pixel-level based micro-feature extraction
US8548258B2 (en) * 2008-10-24 2013-10-01 Extreme Reality Ltd. Method system and associated modules and software components for providing image sensor based human machine interfacing
US9373055B2 (en) * 2008-12-16 2016-06-21 Behavioral Recognition Systems, Inc. Hierarchical sudden illumination change detection using radiance consistency within a spatial neighborhood
US20100158379A1 (en) * 2008-12-18 2010-06-24 Microsoft Corporation Image background removal
US8285046B2 (en) * 2009-02-18 2012-10-09 Behavioral Recognition Systems, Inc. Adaptive update of background pixel thresholds using sudden illumination change detection
US8416296B2 (en) * 2009-04-14 2013-04-09 Behavioral Recognition Systems, Inc. Mapper component for multiple art networks in a video analysis system
US9258531B2 (en) * 2009-07-27 2016-02-09 Utc Fire & Security Corporation System and method for video-quality enhancement
US8358834B2 (en) 2009-08-18 2013-01-22 Behavioral Recognition Systems Background model for complex and dynamic scenes
US8295591B2 (en) * 2009-08-18 2012-10-23 Behavioral Recognition Systems, Inc. Adaptive voting experts for incremental segmentation of sequences with prediction in a video surveillance system
US8625884B2 (en) * 2009-08-18 2014-01-07 Behavioral Recognition Systems, Inc. Visualizing and updating learned event maps in surveillance systems
US8379085B2 (en) * 2009-08-18 2013-02-19 Behavioral Recognition Systems, Inc. Intra-trajectory anomaly detection using adaptive voting experts in a video surveillance system
US9805271B2 (en) 2009-08-18 2017-10-31 Omni Ai, Inc. Scene preset identification using quadtree decomposition analysis
US8340352B2 (en) * 2009-08-18 2012-12-25 Behavioral Recognition Systems, Inc. Inter-trajectory anomaly detection using adaptive voting experts in a video surveillance system
US8280153B2 (en) * 2009-08-18 2012-10-02 Behavioral Recognition Systems Visualizing and updating learned trajectories in video surveillance systems
US8493409B2 (en) * 2009-08-18 2013-07-23 Behavioral Recognition Systems, Inc. Visualizing and updating sequences and segments in a video surveillance system
US20110043689A1 (en) * 2009-08-18 2011-02-24 Wesley Kenneth Cobb Field-of-view change detection
US8167430B2 (en) * 2009-08-31 2012-05-01 Behavioral Recognition Systems, Inc. Unsupervised learning of temporal anomalies for a video surveillance system
US8270733B2 (en) * 2009-08-31 2012-09-18 Behavioral Recognition Systems, Inc. Identifying anomalous object types during classification
US8786702B2 (en) * 2009-08-31 2014-07-22 Behavioral Recognition Systems, Inc. Visualizing and updating long-term memory percepts in a video surveillance system
US8797405B2 (en) * 2009-08-31 2014-08-05 Behavioral Recognition Systems, Inc. Visualizing and updating classifications in a video surveillance system
US8285060B2 (en) * 2009-08-31 2012-10-09 Behavioral Recognition Systems, Inc. Detecting anomalous trajectories in a video surveillance system
US8270732B2 (en) * 2009-08-31 2012-09-18 Behavioral Recognition Systems, Inc. Clustering nodes in a self-organizing map using an adaptive resonance theory network
US8218819B2 (en) * 2009-09-01 2012-07-10 Behavioral Recognition Systems, Inc. Foreground object detection in a video surveillance system
US8218818B2 (en) * 2009-09-01 2012-07-10 Behavioral Recognition Systems, Inc. Foreground object tracking
US8170283B2 (en) * 2009-09-17 2012-05-01 Behavioral Recognition Systems Inc. Video surveillance system configured to analyze complex behaviors using alternating layers of clustering and sequencing
US8180105B2 (en) * 2009-09-17 2012-05-15 Behavioral Recognition Systems, Inc. Classifier anomalies for observed behaviors in a video surveillance system
WO2011090789A1 (en) * 2010-01-22 2011-07-28 Thomson Licensing Method and apparatus for video object segmentation
US8594482B2 (en) 2010-05-13 2013-11-26 International Business Machines Corporation Auditing video analytics through essence generation
US8771064B2 (en) 2010-05-26 2014-07-08 Aristocrat Technologies Australia Pty Limited Gaming system and a method of gaming
US8548203B2 (en) 2010-07-12 2013-10-01 International Business Machines Corporation Sequential event detection from video
US8648873B1 (en) * 2010-11-19 2014-02-11 Exelis, Inc. Spatially variant dynamic range adjustment for still frames and videos
US9582928B2 (en) 2011-01-13 2017-02-28 Samsung Electronics Co., Ltd. Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
US9268996B1 (en) 2011-01-20 2016-02-23 Verint Systems Inc. Evaluation of models generated from objects in video
US8824823B1 (en) * 2011-01-20 2014-09-02 Verint Americas Inc. Increased quality of image objects based on depth in scene
US8824791B2 (en) 2011-04-29 2014-09-02 International Business Machine Corporation Color correction for static cameras
US8743205B2 (en) * 2011-08-10 2014-06-03 Nice Systems Ltd. System and method for semantic video content analysis
US8942913B2 (en) * 2011-09-20 2015-01-27 Infosys Limited System and method for on-road traffic density analytics using video stream mining and statistical techniques
US9672609B1 (en) * 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
JP2013186819A (ja) * 2012-03-09 2013-09-19 Omron Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP5948983B2 (ja) * 2012-03-09 2016-07-06 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5948984B2 (ja) * 2012-03-09 2016-07-06 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
EP2826020A4 (en) 2012-03-15 2016-06-15 Behavioral Recognition Sys Inc STANDARDIZING AN ALERT VOLUME IN A VIDEO SURVEILLANCE SYSTEM
TWI559236B (zh) * 2012-06-20 2016-11-21 原相科技股份有限公司 適用於影像處理的更新背景方法
US9113143B2 (en) 2012-06-29 2015-08-18 Behavioral Recognition Systems, Inc. Detecting and responding to an out-of-focus camera in a video analytics system
WO2014004901A1 (en) 2012-06-29 2014-01-03 Behavioral Recognition Systems, Inc. Unsupervised learning of feature anomalies for a video surveillance system
US9111353B2 (en) 2012-06-29 2015-08-18 Behavioral Recognition Systems, Inc. Adaptive illuminance filter in a video analysis system
US9317908B2 (en) 2012-06-29 2016-04-19 Behavioral Recognition System, Inc. Automatic gain control filter in a video analysis system
US9911043B2 (en) 2012-06-29 2018-03-06 Omni Ai, Inc. Anomalous object interaction detection and reporting
US9723271B2 (en) 2012-06-29 2017-08-01 Omni Ai, Inc. Anomalous stationary object detection and reporting
EP2885766A4 (en) 2012-08-20 2017-04-26 Behavioral Recognition Systems, Inc. Method and system for detecting sea-surface oil
US9213781B1 (en) 2012-09-19 2015-12-15 Placemeter LLC System and method for processing image data
KR102032173B1 (ko) 2012-09-28 2019-10-15 삼성전자주식회사 영상 분할 장치 및 그 제어 방법
IN2015DN03877A (ko) 2012-11-12 2015-10-02 Behavioral Recognition Sys Inc
CN103116987B (zh) * 2013-01-22 2014-10-29 华中科技大学 一种基于监控视频处理的车流统计和违规检测的方法
WO2014130815A2 (en) * 2013-02-22 2014-08-28 Ohio University Reduction of sensor captured data streamed to an operator
KR101438451B1 (ko) 2013-04-17 2014-09-12 서울대학교산학협력단 비고정 카메라 영상에 대한 이중모드 ｓｇｍ 기반의 이동체 고속 검출 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
EP3030981A4 (en) 2013-08-09 2016-09-07 Behavioral Recognition Sys Inc SYSTEM FOR DETECTING A COGNITIVE NEUROLINGUISTIC BEHAVIOR FOR FUSING DATA OF MULTIPLE SENSORS
JP5683663B1 (ja) * 2013-09-27 2015-03-11 パナソニックＩｐマネジメント株式会社 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法
RU2014110361A (ru) * 2014-03-18 2015-09-27 ЭлЭсАй Корпорейшн Процессор изображений, сконфигурированный для эффективной оценки и устранения информации переднего плана на изображениях
TWI518437B (zh) * 2014-05-12 2016-01-21 晶睿通訊股份有限公司 動態對焦調整系統及其動態對焦調整方法
JP2017525064A (ja) 2014-05-30 2017-08-31 プレイスメーター インコーポレイテッドＰｌａｃｅｍｅｔｅｒ Ｉｎｃ． ビデオデータを用いた活動モニタリングのためのシステム及び方法
US9460522B2 (en) 2014-10-29 2016-10-04 Behavioral Recognition Systems, Inc. Incremental update for background model thresholds
US9349054B1 (en) 2014-10-29 2016-05-24 Behavioral Recognition Systems, Inc. Foreground detector for video analytics system
US9471844B2 (en) 2014-10-29 2016-10-18 Behavioral Recognition Systems, Inc. Dynamic absorption window for foreground background detector
US10424341B2 (en) 2014-11-12 2019-09-24 Massachusetts Institute Of Technology Dynamic video summarization
US10409909B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Lexical analyzer for a neuro-linguistic behavior recognition system
US10409910B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Perceptual associative memory for a neuro-linguistic behavior recognition system
US11334751B2 (en) 2015-04-21 2022-05-17 Placemeter Inc. Systems and methods for processing video data for activity monitoring
US10043078B2 (en) 2015-04-21 2018-08-07 Placemeter LLC Virtual turnstile system and method
US10997428B2 (en) 2015-06-01 2021-05-04 Placemeter Inc. Automated detection of building entrances
US20170083790A1 (en) * 2015-09-23 2017-03-23 Behavioral Recognition Systems, Inc. Detected object tracker for a video analytics system
US11670147B2 (en) 2016-02-26 2023-06-06 Iomniscient Pty Ltd Method and apparatus for conducting surveillance
CN107134006B (zh) * 2016-02-29 2020-11-24 株式会社理光 创建物理场景模型的方法和装置、辅助驾驶的方法和装置
CN108289191B (zh) 2017-02-15 2020-01-10 腾讯科技（深圳）有限公司 图像识别方法及装置
US10438072B2 (en) * 2017-02-27 2019-10-08 Echelon Corporation Video data background tracking and subtraction with multiple layers of stationary foreground and background regions
US10373320B2 (en) * 2017-03-17 2019-08-06 Uurmi Systems PVT, LTD Method for detecting moving objects in a video having non-stationary background
CN108921086A (zh) * 2018-06-29 2018-11-30 Oppo广东移动通信有限公司 图像处理方法和装置、存储介质、电子设备
CN109996046A (zh) * 2019-05-07 2019-07-09 广东省农业科学院茶叶研究所 基于图像识别的茶树萎芽病定位系统、方法、介质和设备
CN110766633B (zh) * 2019-10-22 2022-06-28 北京数衍科技有限公司 视频数据滤波方法和装置
CN111160356A (zh) * 2020-01-02 2020-05-15 博奥生物集团有限公司 一种图像分割分类方法和装置

Family Cites Families (237)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3812287A (en) * 1969-05-12 1974-05-21 J Lemelson Video detection system
US3812278A (en) * 1972-02-01 1974-05-21 Kustom Electronics Special effect amplifier for electrical musical instruments
US3988533A (en) 1974-09-30 1976-10-26 Video Tek, Inc. Video-type universal motion and intrusion detection system
DE2617111C3 (de) 1976-04-17 1986-02-20 Robert Bosch Gmbh, 7000 Stuttgart Verfahren zum Feststellen einer Bewegung im Überwachungsbereich einer Fernsehkamera
DE2715083C3 (de) * 1977-04-04 1983-02-24 Robert Bosch Gmbh, 7000 Stuttgart System zur Diskrimination eines Videosignals
US4257063A (en) * 1979-03-23 1981-03-17 Ham Industries, Inc. Video monitoring system and method
JPS6360960B2 (ko) 1980-10-22 1988-11-25
US4429207A (en) * 1981-12-30 1984-01-31 Southern Pacific Transportation Company Method for welding railroad rails and means therefor
IT1172823B (it) * 1983-02-16 1987-06-18 Veltronic Spa Apparecchiatura di telesegnalazione, particolarmente adatta per funzioni di telesorveglianza
JP2528789B2 (ja) 1985-06-26 1996-08-28 中央電子 株式会社 映像情報管理装置
US4764971A (en) 1985-11-25 1988-08-16 Eastman Kodak Company Image processing method including image segmentation
US4941182A (en) 1987-07-29 1990-07-10 Phoenix Software Development Co. Vision system and method for automated painting equipment
US4949389A (en) 1987-10-09 1990-08-14 The United States Of America As Represented By The United States Department Of Energy Optical ranked-order filtering using threshold decomposition
US4857912A (en) 1988-07-27 1989-08-15 The United States Of America As Represented By The Secretary Of The Navy Intelligent security assessment system
JP2865697B2 (ja) 1989-03-20 1999-03-08 株式会社日立製作所 エクスチャ分離方法
US5099322A (en) * 1990-02-27 1992-03-24 Texas Instruments Incorporated Scene change detection system and method
US5048095A (en) 1990-03-30 1991-09-10 Honeywell Inc. Adaptive image segmentation system
US5091780A (en) * 1990-05-09 1992-02-25 Carnegie-Mellon University A trainable security system emthod for the same
JP3222456B2 (ja) 1990-07-30 2001-10-29 株式会社東芝 映像監視システム、送信装置、受信装置、および映像監視方法
US5161107A (en) 1990-10-25 1992-11-03 Mestech Creation Corporation Traffic surveillance system
US5321396A (en) * 1991-02-07 1994-06-14 Xerox Corporation Indexing of audio/video data
US5296852A (en) * 1991-02-27 1994-03-22 Rathi Rajendra P Method and apparatus for monitoring traffic flow
US5159647A (en) 1991-03-04 1992-10-27 David Sarnoff Research Center, Inc. Fast and efficient search method for graphical data
US5576972A (en) 1992-05-08 1996-11-19 Harrison; Dana C. Intelligent area monitoring system
JP2894113B2 (ja) * 1992-11-04 1999-05-24 松下電器産業株式会社 画像クラスタリング装置
US6167143A (en) 1993-05-03 2000-12-26 U.S. Philips Corporation Monitoring system
WO1994027408A1 (en) 1993-05-14 1994-11-24 Rct Systems, Inc. Video traffic monitor for retail establishments and the like
FR2706652B1 (fr) * 1993-06-09 1995-08-18 Alsthom Cge Alcatel Dispositif de détection d'intrusions et d'usagers suspects pour ensemble informatique et système de sécurité comportant un tel dispositif.
US5801943A (en) 1993-07-23 1998-09-01 Condition Monitoring Systems Traffic surveillance and simulation apparatus
US5696503A (en) 1993-07-23 1997-12-09 Condition Monitoring Systems, Inc. Wide area traffic surveillance using a multisensor tracking system
US5983251A (en) 1993-09-08 1999-11-09 Idt, Inc. Method and apparatus for data analysis
WO1995010915A1 (en) 1993-10-12 1995-04-20 Orad, Inc. Sports event video
US5586200A (en) 1994-01-07 1996-12-17 Panasonic Technologies, Inc. Segmentation based image compression system
US5491511A (en) * 1994-02-04 1996-02-13 Odle; James A. Multimedia capture and audit system for a video surveillance network
DE4407528C2 (de) 1994-03-07 1998-04-09 Sq Services Ag Bewegungsmelder und Verfahren zur Bewegungsmeldung
IL113434A0 (en) * 1994-04-25 1995-07-31 Katz Barry Surveillance system and method for asynchronously recording digital data with respect to video data
US5521634A (en) * 1994-06-17 1996-05-28 Harris Corporation Automatic detection and prioritized image transmission system and method
US5526133A (en) * 1994-06-28 1996-06-11 Sensormatic Electronics Corporation System and method for logging and retrieving information on video cassettes in a computer controlled surveillance system
US5774569A (en) * 1994-07-25 1998-06-30 Waldenmaier; H. Eugene W. Surveillance system
US5671294A (en) 1994-09-15 1997-09-23 The United States Of America As Represented By The Secretary Of The Navy System and method for incorporating segmentation boundaries into the calculation of fractal dimension features for texture discrimination
DE69518128T2 (de) 1994-09-21 2001-03-29 Toshiba Kawasaki Kk Bilddatenverarbeitungsvorrichtung mit Bilddatenteilungsfunktion und Verfahren zur Verarbeitung von Bilddaten
KR960028217A (ko) * 1994-12-22 1996-07-22 엘리 웨이스 움직임 검출 카메라 시스템 및 방법
US5485611A (en) * 1994-12-30 1996-01-16 Intel Corporation Video database indexing and method of presenting video database index to a user
US5666157A (en) 1995-01-03 1997-09-09 Arc Incorporated Abnormality detection and surveillance system
US6044166A (en) * 1995-01-17 2000-03-28 Sarnoff Corporation Parallel-pipelined image processing system
US5623249A (en) * 1995-01-26 1997-04-22 New Product Development, Inc. Video monitor motion sensor
US5708767A (en) * 1995-02-03 1998-01-13 The Trustees Of Princeton University Method and apparatus for video browsing based on content and structure
JP3569992B2 (ja) * 1995-02-17 2004-09-29 株式会社日立製作所 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム
US5724456A (en) * 1995-03-31 1998-03-03 Polaroid Corporation Brightness adjustment of images using digital scene analysis
US5802203A (en) 1995-06-07 1998-09-01 Xerox Corporation Image segmentation using robust mixture models
US7076102B2 (en) * 2001-09-27 2006-07-11 Koninklijke Philips Electronics N.V. Video monitoring system employing hierarchical hidden markov model (HMM) event learning and classification
US5684715A (en) 1995-06-07 1997-11-04 Canon Information Systems, Inc. Interactive video system with dynamic video object descriptors
US5926210A (en) 1995-07-28 1999-07-20 Kalatel, Inc. Mobile, ground-based platform security system which transmits images that were taken prior to the generation of an input signal
JPH0954883A (ja) 1995-08-11 1997-02-25 Toshiba Corp 既知物体の進入検出方法およびその進入検出装置
JP3055438B2 (ja) 1995-09-27 2000-06-26 日本電気株式会社 ３次元画像符号化装置
US5768413A (en) * 1995-10-04 1998-06-16 Arch Development Corp. Method and apparatus for segmenting images using stochastically deformable contours
US5969755A (en) 1996-02-05 1999-10-19 Texas Instruments Incorporated Motion based event detection system and method
US6049363A (en) * 1996-02-05 2000-04-11 Texas Instruments Incorporated Object detection method and system for scene change analysis in TV and IR data
US5956081A (en) 1996-10-23 1999-09-21 Katz; Barry Surveillance system having graphic video integration controller and full motion video switcher
JP3435623B2 (ja) 1996-05-15 2003-08-11 株式会社日立製作所 交通流監視装置
JP3279479B2 (ja) 1996-05-31 2002-04-30 株式会社日立国際電気 映像監視方法及び装置
US6205239B1 (en) * 1996-05-31 2001-03-20 Texas Instruments Incorporated System and method for circuit repair
US6091846A (en) 1996-05-31 2000-07-18 Texas Instruments Incorporated Method and system for anomaly detection
US6084912A (en) 1996-06-28 2000-07-04 Sarnoff Corporation Very low bit rate video coding/decoding method and apparatus
GB9614837D0 (en) * 1996-07-12 1996-09-04 Rank Xerox Ltd Interactive desktop system with multiple image capture and display modes
US6078619A (en) * 1996-09-12 2000-06-20 University Of Bath Object-oriented video system
JPH10150656A (ja) 1996-09-20 1998-06-02 Hitachi Ltd 画像処理装置及び侵入者監視装置
US5875304A (en) * 1996-10-31 1999-02-23 Sensormatic Electronics Corporation User-settable features of an intelligent video information management system
US5875305A (en) * 1996-10-31 1999-02-23 Sensormatic Electronics Corporation Video information management system which provides intelligent responses to video data content features
US5937092A (en) 1996-12-23 1999-08-10 Esco Electronics Rejection of light intrusion false alarms in a video security system
TR199700058A3 (tr) * 1997-01-29 1998-08-21 Onural Levent Kurallara dayali hareketli nesne bölütlemesi.
GB9702849D0 (en) * 1997-02-12 1997-04-02 Trafficmaster Plc Traffic monitoring
US6008865A (en) 1997-02-14 1999-12-28 Eastman Kodak Company Segmentation-based method for motion-compensated frame interpolation
US5764306A (en) * 1997-03-18 1998-06-09 The Metaphor Group Real-time method of digitally altering a video data stream to remove portions of the original image and substitute elements to create a new image
US6249613B1 (en) * 1997-03-31 2001-06-19 Sharp Laboratories Of America, Inc. Mosaic generation and sprite-based coding with automatic foreground and background separation
JP3812985B2 (ja) 1997-04-04 2006-08-23 富士通株式会社 自動監視装置
EP0878965A3 (en) * 1997-05-14 2000-01-12 Hitachi Denshi Kabushiki Kaisha Method for tracking entering object and apparatus for tracking and monitoring entering object
US6456320B2 (en) 1997-05-27 2002-09-24 Sanyo Electric Co., Ltd. Monitoring system and imaging system
CA2290383A1 (en) 1997-06-04 1998-12-10 Ascom Systec Ag Method for surveying a predetermined surveillance area
US6195458B1 (en) * 1997-07-29 2001-02-27 Eastman Kodak Company Method for content-based temporal segmentation of video
US6069655A (en) * 1997-08-01 2000-05-30 Wells Fargo Alarm Services, Inc. Advanced video security system
US6091771A (en) 1997-08-01 2000-07-18 Wells Fargo Alarm Services, Inc. Workstation for video security system
US6097429A (en) 1997-08-01 2000-08-01 Esco Electronics Corporation Site control unit for video security system
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
FR2766946B1 (fr) * 1997-08-04 2000-08-11 Thomson Multimedia Sa Procede et dispositif de pretraitement pour estimation de mouvement
US6188381B1 (en) * 1997-09-08 2001-02-13 Sarnoff Corporation Modular parallel-pipelined vision system for real-time video processing
US6058210A (en) * 1997-09-15 2000-05-02 Xerox Corporation Using encoding cost data for segmentation of compressed image sequences
US6570610B1 (en) * 1997-09-15 2003-05-27 Alan Kipust Security system with proximity sensing for an electronic device
GB2329542B (en) * 1997-09-17 2002-03-27 Sony Uk Ltd Security control system and method of operation
US5990955A (en) 1997-10-03 1999-11-23 Innovacom Inc. Dual encoding/compression method and system for picture quality/data density enhancement
JP3567066B2 (ja) 1997-10-31 2004-09-15 株式会社日立製作所 移動体組合せ検出装置および方法
US6349113B1 (en) * 1997-11-03 2002-02-19 At&T Corp. Method for detecting moving cast shadows object segmentation
US6304669B1 (en) 1997-11-10 2001-10-16 Asahi Kogaku Kogyo Kabushiki Kaisha Photogrammetric analytical measurement system
US6396961B1 (en) * 1997-11-12 2002-05-28 Sarnoff Corporation Method and apparatus for fixating a camera on a target point using image alignment
KR100248374B1 (ko) 1997-11-25 2000-03-15 정선종 증강현실 시스템에서 카메라와 트랙커간의 오차 보정방법
US6182022B1 (en) * 1998-01-26 2001-01-30 Hewlett-Packard Company Automated adaptive baselining and thresholding method and system
US6697103B1 (en) * 1998-03-19 2004-02-24 Dennis Sunga Fernandez Integrated network for monitoring remote objects
US6411734B1 (en) 1998-04-03 2002-06-25 Cognex Corporation Object image search using validated sub-model poses
US6393054B1 (en) * 1998-04-20 2002-05-21 Hewlett-Packard Company System and method for automatically detecting shot boundary and key frame from a compressed video data
DE69921237T2 (de) 1998-04-30 2006-02-02 Texas Instruments Inc., Dallas Automatische Videoüberwachungsanlage
US6385772B1 (en) * 1998-04-30 2002-05-07 Texas Instruments Incorporated Monitoring system having wireless remote viewing and control
US6201476B1 (en) * 1998-05-06 2001-03-13 Csem-Centre Suisse D'electronique Et De Microtechnique S.A. Device for monitoring the activity of a person and/or detecting a fall, in particular with a view to providing help in the event of an incident hazardous to life or limb
GB2337146B (en) 1998-05-08 2000-07-19 Primary Image Limited Method and apparatus for detecting motion across a surveillance area
US6278466B1 (en) 1998-06-11 2001-08-21 Presenter.Com, Inc. Creating animation from a video
EP0971242A1 (en) * 1998-07-10 2000-01-12 Cambridge Consultants Limited Sensor signal processing
US20030025599A1 (en) * 2001-05-11 2003-02-06 Monroe David A. Method and apparatus for collecting, sending, archiving and retrieving motion video and still images and notification of detected events
US6628835B1 (en) 1998-08-31 2003-09-30 Texas Instruments Incorporated Method and system for defining and recognizing complex events in a video sequence
JP2000090277A (ja) * 1998-09-10 2000-03-31 Hitachi Denshi Ltd 基準背景画像更新方法及び侵入物体検出方法並びに侵入物体検出装置
DE19848490B4 (de) 1998-10-21 2012-02-02 Robert Bosch Gmbh Bildinformationsübertragungsverfahren und -vorrichtung
US6226388B1 (en) * 1999-01-05 2001-05-01 Sharp Labs Of America, Inc. Method and apparatus for object tracking for automatic controls in video devices
JP2000207664A (ja) 1999-01-18 2000-07-28 Matsushita Electric Works Ltd 転倒検知装置
JP3900726B2 (ja) 1999-01-18 2007-04-04 松下電工株式会社 転倒検知装置
US6490370B1 (en) 1999-01-28 2002-12-03 Koninklijke Philips Electronics N.V. System and method for describing multimedia content
DE60002374T2 (de) * 1999-02-11 2004-02-26 Société de Technologie Michelin Verbesserung der Lebensdauer eines Radialluftreifen durch Verwendung von bestimmten kohäsiven Zusammensetzungen mit geringer Hysterese
US6396535B1 (en) * 1999-02-16 2002-05-28 Mitsubishi Electric Research Laboratories, Inc. Situation awareness system
JP2000253382A (ja) 1999-02-25 2000-09-14 Matsushita Electric Works Ltd 転倒検知装置
US6404925B1 (en) 1999-03-11 2002-06-11 Fuji Xerox Co., Ltd. Methods and apparatuses for segmenting an audio-visual recording using image similarity searching and audio speaker recognition
JP2000285223A (ja) 1999-03-30 2000-10-13 Matsushita Electric Works Ltd 転倒検知装置
JP3588564B2 (ja) 1999-03-31 2004-11-10 株式会社東芝 映像データ記録装置
JP2000295600A (ja) 1999-04-08 2000-10-20 Toshiba Corp 監視装置
US6201473B1 (en) * 1999-04-23 2001-03-13 Sensormatic Electronics Corporation Surveillance system for observing shopping carts
SG89282A1 (en) 1999-05-28 2002-06-18 Kent Ridge Digital Labs Motion information extraction system
US6437819B1 (en) 1999-06-25 2002-08-20 Rohan Christopher Loveland Automated video person tracking system
US6411724B1 (en) 1999-07-02 2002-06-25 Koninklijke Philips Electronics N.V. Using meta-descriptors to represent multimedia information
JP2001045465A (ja) 1999-07-29 2001-02-16 Nec Eng Ltd 遠隔監視方式
US6545706B1 (en) * 1999-07-30 2003-04-08 Electric Planet, Inc. System, method and article of manufacture for tracking a head of a camera-generated image of a person
GB2352859A (en) * 1999-07-31 2001-02-07 Ibm Automatic zone monitoring using two or more cameras
US6539396B1 (en) * 1999-08-31 2003-03-25 Accenture Llp Multi-object identifier system and method for information service pattern environment
JP3738631B2 (ja) * 1999-09-27 2006-01-25 三菱電機株式会社 画像検索システムおよび画像検索方法
US6754367B1 (en) 1999-09-30 2004-06-22 Hitachi Denshi Kabushiki Kaisha Method and apparatus for automatically detecting intrusion object into view of image pickup device
US6424370B1 (en) 1999-10-08 2002-07-23 Texas Instruments Incorporated Motion based event detection system and method
US6954859B1 (en) 1999-10-08 2005-10-11 Axcess, Inc. Networked digital security system and methods
US6698021B1 (en) * 1999-10-12 2004-02-24 Vigilos, Inc. System and method for remote control of surveillance devices
JP3785880B2 (ja) 1999-11-18 2006-06-14 株式会社明電舎 映像監視システムおよび映像監視方法
US6297844B1 (en) 1999-11-24 2001-10-02 Cognex Corporation Video safety curtain
US6658136B1 (en) 1999-12-06 2003-12-02 Microsoft Corporation System and process for locating and tracking a person or object in a scene using a series of range images
US6707486B1 (en) * 1999-12-15 2004-03-16 Advanced Technology Video, Inc. Directional motion estimator
JP2001175868A (ja) 1999-12-22 2001-06-29 Nec Corp 人物検出方法及び装置
US6738424B1 (en) * 1999-12-27 2004-05-18 Objectvideo, Inc. Scene model generation from video for use in video processing
JP2001189925A (ja) 1999-12-28 2001-07-10 Glowing Shinko:Kk 移動物体監視システム
US6697104B1 (en) * 2000-01-13 2004-02-24 Countwise, Llc Video based system and method for detecting and counting persons traversing an area being monitored
JP4140159B2 (ja) 2000-01-19 2008-08-27 株式会社明電舎 監視カメラの監視エリア設定装置及びその方法
US6940998B2 (en) * 2000-02-04 2005-09-06 Cernium, Inc. System for automated screening of security cameras
US6509926B1 (en) * 2000-02-17 2003-01-21 Sensormatic Electronics Corporation Surveillance apparatus for camera surveillance system
AU2001250802A1 (en) * 2000-03-07 2001-09-17 Sarnoff Corporation Camera pose estimation
WO2001069536A2 (en) * 2000-03-10 2001-09-20 Sarnoff Corporation Method and apparatus for qualitative spatiotemporal data processing
AU2001240100A1 (en) * 2000-03-10 2001-09-24 Sensormatic Electronics Corporation Method and apparatus for video surveillance with defined zones
JP2001266131A (ja) 2000-03-23 2001-09-28 Minolta Co Ltd 監視システム
US6570496B2 (en) * 2000-04-04 2003-05-27 Rick A. Britton Networks and circuits for alarm system operations
US6975220B1 (en) 2000-04-10 2005-12-13 Radia Technologies Corporation Internet based security, fire and emergency identification and communication system
AUPQ684600A0 (en) 2000-04-11 2000-05-11 Safehouse International Limited An object monitoring system
US7167575B1 (en) * 2000-04-29 2007-01-23 Cognex Corporation Video safety detector with projected pattern
US6469734B1 (en) 2000-04-29 2002-10-22 Cognex Corporation Video safety detector with shadow elimination
US20020063154A1 (en) * 2000-05-26 2002-05-30 Hector Hoyos Security system database management
US6807361B1 (en) 2000-07-18 2004-10-19 Fuji Xerox Co., Ltd. Interactive custom video creation system
JP2004510363A (ja) * 2000-08-31 2004-04-02 ライテック　コーポレイション センサおよびイメージングシステム
US7082209B2 (en) 2000-08-31 2006-07-25 Hitachi Kokusai Electric, Inc. Object detecting method and object detecting apparatus and intruding object monitoring apparatus employing the object detecting method
US7734724B2 (en) 2000-09-06 2010-06-08 Xanboo Inc. Automated upload of content based on captured event
JP3828349B2 (ja) * 2000-09-27 2006-10-04 株式会社日立製作所 移動体検出測定方法、その装置および移動体検出測定プログラムを記録した記録媒体
US6792319B1 (en) 2000-10-19 2004-09-14 Destiny Networks, Inc. Home automation system and method
US20050146605A1 (en) 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
US6954498B1 (en) 2000-10-24 2005-10-11 Objectvideo, Inc. Interactive video manipulation
US7868912B2 (en) 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US7035430B2 (en) * 2000-10-31 2006-04-25 Hitachi Kokusai Electric Inc. Intruding object detection method and intruding object monitor apparatus which automatically set a threshold for object detection
US20020082769A1 (en) * 2000-11-21 2002-06-27 Gary Church Airport auditing and information system
US6411209B1 (en) 2000-12-06 2002-06-25 Koninklijke Philips Electronics N.V. Method and apparatus to select the best video frame to transmit to a remote station for CCTV based residential security monitoring
US6930689B1 (en) 2000-12-26 2005-08-16 Texas Instruments Incorporated Hardware extensions for image and video processing
US6525663B2 (en) * 2001-03-15 2003-02-25 Koninklijke Philips Electronics N.V. Automatic system for monitoring persons entering and leaving changing room
US6625310B2 (en) * 2001-03-23 2003-09-23 Diamondback Vision, Inc. Video segmentation using statistical pixel modeling
US7424175B2 (en) * 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
JP2002298142A (ja) 2001-03-29 2002-10-11 Minolta Co Ltd 人物画像検出方法、この方法を実行するためのプログラムを記録した記録媒体、人物画像検出装置及びこの装置を備えた撮影装置
US20020171546A1 (en) 2001-04-18 2002-11-21 Evans Thomas P. Universal, customizable security system for computers and other devices
US20020163577A1 (en) 2001-05-07 2002-11-07 Comtrak Technologies, Inc. Event detection in a video recording system
US7423666B2 (en) 2001-05-25 2008-09-09 Minolta Co., Ltd. Image pickup system employing a three-dimensional reference object
US7768549B2 (en) 2001-06-08 2010-08-03 Honeywell International Inc. Machine safety system with mutual exclusion zone
US20030058111A1 (en) * 2001-09-27 2003-03-27 Koninklijke Philips Electronics N.V. Computer vision based elderly care monitoring system
US7110569B2 (en) * 2001-09-27 2006-09-19 Koninklijke Philips Electronics N.V. Video based detection of fall-down and other events
US6696945B1 (en) * 2001-10-09 2004-02-24 Diamondback Vision, Inc. Video tripwire
US6970083B2 (en) 2001-10-09 2005-11-29 Objectvideo, Inc. Video tripwire
DE10153484B4 (de) 2001-10-22 2007-07-19 Robert Bosch Gmbh Video-/Audio-System und Auswertungsverfahren für Video-/Audio-Daten
US7650058B1 (en) * 2001-11-08 2010-01-19 Cernium Corporation Object selective video recording
US6859803B2 (en) * 2001-11-13 2005-02-22 Koninklijke Philips Electronics N.V. Apparatus and method for program selection utilizing exclusive and inclusive metadata searches
CN100476153C (zh) 2001-12-10 2009-04-08 欧姆龙株式会社 物体探测装置及控制装置
US20030126622A1 (en) 2001-12-27 2003-07-03 Koninklijke Philips Electronics N.V. Method for efficiently storing the trajectory of tracked objects in video
AU2002361483A1 (en) 2002-02-06 2003-09-02 Nice Systems Ltd. System and method for video content analysis-based detection, surveillance and alarm management
US6975346B2 (en) 2002-06-27 2005-12-13 International Business Machines Corporation Method for suspect identification using scanning of surveillance media
AU2003237579A1 (en) 2002-07-05 2004-01-23 Aspectus Ltd A method and system for effectively performing event detection in a large number of concurrent image sequences
US20030010345A1 (en) * 2002-08-02 2003-01-16 Arthur Koblasz Patient monitoring devices and methods
US7227893B1 (en) 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
US7602413B2 (en) 2002-10-18 2009-10-13 Sony Corporation Information processing system and method, information processing apparatus, image-capturing device and method, recording medium, and program
US20040143602A1 (en) 2002-10-18 2004-07-22 Antonio Ruiz Apparatus, system and method for automated and adaptive digital image/video surveillance for events and configurations using a rich multimedia relational database
DE60330898D1 (de) 2002-11-12 2010-02-25 Intellivid Corp Verfahren und system zur verfolgung und verhaltensüberwachung von mehreren objekten, die sich durch mehrere sichtfelder bewegen
DE10252731A1 (de) 2002-11-13 2004-05-27 Robert Bosch Gmbh Verfahren zur Überwachung einer Szene mit wenigstens einem bildgebenden Sensor
SE0203483D0 (sv) 2002-11-21 2002-11-21 Wespot Ab Method and device for fall detection
US7184777B2 (en) * 2002-11-27 2007-02-27 Cognio, Inc. Server and multiple sensor system for monitoring activity in a shared radio frequency band
US6987451B2 (en) 2002-12-03 2006-01-17 3Rd Millennium Solutions. Ltd. Surveillance system with identification correlation
US7400344B2 (en) 2002-12-19 2008-07-15 Hitachi Kokusai Electric Inc. Object tracking method and object tracking apparatus
US6999600B2 (en) * 2003-01-30 2006-02-14 Objectvideo, Inc. Video scene background maintenance using change detection and classification
US6940397B1 (en) 2003-03-07 2005-09-06 Benjamin E Le Mire Vehicle surveillance system
WO2004088592A2 (en) * 2003-03-25 2004-10-14 General Electric Company Methods for processing color image data employing a chroma, hue, and intensity color representation
US7224735B2 (en) 2003-05-21 2007-05-29 Mitsubishi Electronic Research Laboratories, Inc. Adaptive background image updating
US7817716B2 (en) 2003-05-29 2010-10-19 Lsi Corporation Method and/or apparatus for analyzing the content of a surveillance image
JP2007525068A (ja) 2003-06-19 2007-08-30 エル３ コミュニケーションズ コーポレイション 拡張可能なマルチカメラ分散ビデオ処理および可視化監視システムを提供する方法および装置
US7310442B2 (en) * 2003-07-02 2007-12-18 Lockheed Martin Corporation Scene analysis surveillance system
JP2005092740A (ja) 2003-09-19 2005-04-07 Sony Corp 監視システム、情報処理装置および方法、記録媒体、並びにプログラム
CN1228984C (zh) * 2003-09-29 2005-11-23 上海交通大学 基于运动检测的视频对象分割方法
WO2005076852A2 (en) * 2004-02-04 2005-08-25 Perseus Wireless, Inc. Method and system for providing information to remote clients
US7447331B2 (en) 2004-02-24 2008-11-04 International Business Machines Corporation System and method for generating a viewable video index for low bandwidth applications
JP2007531121A (ja) * 2004-03-24 2007-11-01 セルニウム コーポレイション エリアごとの分割ゲインの使用によるビデオ分析の改良
CN100337249C (zh) * 2004-04-23 2007-09-12 中国科学院计算技术研究所 一种视频运动对象分割方法
US20050275549A1 (en) 2004-06-14 2005-12-15 Barclay Deborah L Network support for emergency smoke detector/motion detector
US7733369B2 (en) * 2004-09-28 2010-06-08 Objectvideo, Inc. View handling in video surveillance systems
US7424167B1 (en) 2004-10-01 2008-09-09 Objectvideo, Inc. Tide filtering for video surveillance system
US7583815B2 (en) 2005-04-05 2009-09-01 Objectvideo Inc. Wide-area site-based video surveillance system
US20080291278A1 (en) 2005-04-05 2008-11-27 Objectvideo, Inc. Wide-area site-based video surveillance system
US20070122000A1 (en) * 2005-11-29 2007-05-31 Objectvideo, Inc. Detection of stationary objects in video
US7825954B2 (en) 2005-05-31 2010-11-02 Objectvideo, Inc. Multi-state target tracking
US20090041297A1 (en) * 2005-05-31 2009-02-12 Objectvideo, Inc. Human detection and tracking for security applications
US7623677B2 (en) 2005-06-17 2009-11-24 Fuji Xerox Co., Ltd. Methods and interfaces for visualizing activity across video frames in an action keyframe
US7822224B2 (en) 2005-06-22 2010-10-26 Cernium Corporation Terrain map summary elements
US7796780B2 (en) 2005-06-24 2010-09-14 Objectvideo, Inc. Target detection and tracking from overhead video streams
WO2007014216A2 (en) * 2005-07-22 2007-02-01 Cernium Corporation Directed attention digital video recordation
US9036028B2 (en) 2005-09-02 2015-05-19 Sensormatic Electronics, LLC Object tracking and alerts
US7884849B2 (en) * 2005-09-26 2011-02-08 Objectvideo, Inc. Video surveillance system with omni-directional camera
US7956735B2 (en) 2006-05-15 2011-06-07 Cernium Corporation Automated, remotely-verified alarm system with intrusion and video surveillance and digital video recording
US7468662B2 (en) 2006-06-16 2008-12-23 International Business Machines Corporation Method for spatio-temporal event detection using composite definitions for camera systems
DE102006047892A1 (de) 2006-10-10 2008-04-17 Atlas Elektronik Gmbh Verfahren zur Überwachung eines Sicherungsbereichs
US7595815B2 (en) 2007-05-08 2009-09-29 Kd Secure, Llc Apparatus, methods, and systems for intelligent security and safety
US20080294588A1 (en) 2007-05-22 2008-11-27 Stephen Jeffrey Morris Event capture, cross device event correlation, and responsive actions
GB2450478A (en) 2007-06-20 2008-12-31 Sony Uk Ltd A security device and system
US7382244B1 (en) 2007-10-04 2008-06-03 Kd Secure Video surveillance, storage, and alerting system having network management, hierarchical data storage, video tip processing, and vehicle plate analysis
GB2492246B (en) 2008-03-03 2013-04-10 Videoiq Inc Dynamic object classification
WO2009120616A1 (en) 2008-03-25 2009-10-01 Wms Gaming, Inc. Generating casino floor maps
US8325228B2 (en) * 2008-07-25 2012-12-04 International Business Machines Corporation Performing real-time analytics using a network processing solution able to directly ingest IP camera video streams
EP2204783A1 (en) 2008-12-31 2010-07-07 Thales Security system comprising sensors in a corridor for uncovering hazardous items
FR2944934B1 (fr) 2009-04-27 2012-06-01 Scutum Procede et systeme de surveillance
IL201200A0 (en) 2009-09-24 2011-07-31 Elbit Systems Ltd System and method for long-range surveillance of a scene and alerting of predetermined unusual activity

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8355568B2 (en) 2009-11-10 2013-01-15 Samsung Electronics Co., Ltd. Image processing apparatus, method and computer-readable medium

Also Published As

Publication number Publication date
CN101443789A (zh) 2009-05-27
WO2007126525B1 (en) 2008-11-27
US20090297023A1 (en) 2009-12-03
CA2649389A1 (en) 2007-11-08
CN101443789B (zh) 2011-12-28
WO2007126525A2 (en) 2007-11-08
IL194797A0 (en) 2009-09-22
EP2013817A2 (en) 2009-01-14
WO2007126525A3 (en) 2008-07-24
JP2009533778A (ja) 2009-09-17
KR101392294B1 (ko) 2014-05-27
US8457401B2 (en) 2013-06-04
TW200802187A (en) 2008-01-01

Similar Documents

Publication Publication Date Title
KR101392294B1 (ko) 통계적인 픽셀 모델링을 이용한 비디오 분할
US9020261B2 (en) Video segmentation using statistical pixel modeling
US7224852B2 (en) Video segmentation using statistical pixel modeling
US8045761B2 (en) Detection of environmental conditions in a sequence of images
JP4971191B2 (ja) 映像フレーム内におけるスプリアス領域の識別
US9323991B2 (en) Method and system for video-based vehicle tracking adaptable to traffic conditions
Zang et al. Robust background subtraction and maintenance
Varghese Sample-based integrated background subtraction and shadow detection
US9111353B2 (en) Adaptive illuminance filter in a video analysis system
AU2008200967B2 (en) Spatio-activity based mode matching
KR100834550B1 (ko) 불법 주정차 무인 자동 단속방법 및 그 시스템
KR101062225B1 (ko) 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템
Zhang et al. Moving vehicles segmentation based on Bayesian framework for Gaussian motion model
Roy et al. A comprehensive survey on computer vision based approaches for moving object detection
Socek et al. A hybrid color-based foreground object detection method for automated marine surveillance
US8223835B2 (en) Categorizing moving objects into familiar colors in video
CN106485713B (zh) 视频前景检测方法
UKINKAR et al. Object detection in dynamic background using image segmentation: A review
KR20150055481A (ko) 영상 내 그림자 화소 제거를 위한 배경 기반 방법
Aarthi et al. Automatic isolation and classification of vehicles in a traffic video
Landabaso et al. Hierarchical representation of scenes using activity information
KR100818334B1 (ko) 불법 주정차와 방범용 폐쇄회로 텔레비전 기능을 갖는 무인자동 단속방법 및 그 시스템
Rahman Motion detection for video surveillance
Moulay et al. A Novel Background Subtraction Algorithm for Person Tracking Based on K-NN
Veeraraghavan et al. Managing suburban intersections through sensing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170414

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190412

Year of fee payment: 6