KR20070043726A - 비디오 플래쉬라이트/시각 경보 시스템 및 방법 - Google Patents

Abstract

본 발명의 일 양상에 따르면, 이머시브 사이트 감시를 제공하는 시스템은 복수의 카메라들을 포함하며, 각 카메라는 그 사이트의 각 부분에 대한 각각의 원(raw) 데이터를 생성한다. 처리 컴포넌트는 카메라들로부터 이러한 원 비디오를 수신하고, 이로부터 처리된 비디오를 생성한다. 시각화 엔진은 처리 시스템에 연결되어, 처리된 비디오를 수신한다. 시각화 엔진은 그 사이트 관측에 대응하는 실제 이미지를 만들고, 여기서 처리된 비디오의 적어도 일부는 그 지점의 컴퓨터 모델에 기반한 이미지 렌더링(rendering) 상에서 오버레이된다. 시각화 엔진은 실시간으로 관측자에게 이미지를 디스플레이한다. 처리 컴포넌트는 제1 및 제2 필터 모듈들을 포함한다. 제2 필터 모듈은 제1 필터 모듈로부터 출력으로부터 수신된 처리된 비디오를 처리한다. 제어기 컴포넌트는 제1 및 제2 필터 모듈들 사이의 데이터 및 비디오의 모든 전송을 제어한다.

Description

비디오 플래쉬라이트/시각 경보 시스템 및 방법{VIDEO FLASHLIGHT/VISION ALERT}

본 발명은 이미지 처리에 관한 것으로서, 특히 감시를 제공하는 방법 및 시스템에 관한 것으로서, 여기서 특정 사이트 또는 환경에서 다수의 카메라 또는 센서들로부터의 비디오 데이터들은 감시하에 있는 사이트의 2D 또는 3D 모델 상에서 이러한 카메라들로부터의 비디오를 오버레이(overlay)함으로써 관리된다.

공항, 핵 발전소, 및 다른 보안 위치들에서 효과적인 감시 및 보안이 요구된다. 비디오 감시는 공항들 및 민감한 사이트들에서 많이 사용된다. 실제적인 상황에서 효과를 보기 위해서, 비디오 감시는 효율적인 장면 이해를 필요로 한다. 전형적인 감시 및 보안 시스템에서, 다수의 모니터들 또는 텔레비젼 스크린들이 사용되고, 각각의 스크린은 하나의 카메라 장면에 대한 관측을 제공한다. 이러한 예시적인 시스템은 도1A에 도시된다. 이러한 시스템의 동작은 많은 공간 및 감시인들을 필요로 한다.

신뢰성있는 장면 이해를 사용하는 경우, 도1A에 도시된 바와 같은(많은 모니터들 및 감시인들) 전형적인 보안 셋업 또는 시스템은 도1B에 도시된 바와 같이 단지 하나의 디스플레이 및 운영자에 의해 대체될 수 있다. 제시된 감시 시스템은 VIDEO FLASHLIGHT^TM로 알려지며, 2003년 5월 8일에 공개된 미국 공개 공보 2003/0085992에 제시되어 있으며, 이는 본 명세서에서 참조된다. 일반적으로 자동화된 알고리즘은 인입되는 비디오를 분석하여 경계가 침범되거나, 움직임이 탐지되거나, 또는 다른 동작들이 보고되는 시점을 운영자에게 알려준다. 상황 인지 시스템에서, 카메라 위치들, 분석 결과, 및 경보들의 시각적인 융합(fusion)은 운영자에게 전체 사이트에 대한 전체적인 관측을 제공한다. 이러한 셋업을 통해, 운영자는 잠재적인 위협들을 신속하게 평가 및 대처할 수 있다.

이러한 시스템은 한 사이트에서 보안 카메라들 시스템에 대한 관측을 제공하고, 보안 카메라들의 수는 많을 수 있다. 이머시브(immersive) 시스템에서 카메라들의 비디오 출력은 그 사이트의 렌더링된 컴퓨터 모델과 결합된다. 미국 공개 공보 2003/0085992DP 제시된 시스템과 같은 이러한 시스템들은 사용자가 가상 모델을 통해 이동하도록 하여주고, 그 사이트의 컴퓨터 2D 또는 3D 모델로부터 렌더링된 이미지들 상에서 오버레이되는 카메라들로부터의 실제 비디오 피드들을 포함하는 이머시브 가상 환경에 자동적으로 존재하는 관련 비디오를 관측하도록 하여준다. 이는 카메라들로부터의 다수의 비디오 피드들로부터 비디오를 검토하는 뛰어난 방법을 제공한다.

그러나, 동시에 데이터를 생성하는 비디오 카메라들의 수를 증가시키는 것이 감시를 보다 완전하게 하고, 또는 보다 넓은 영역을 감시하는 것과 같은 상황에서 바람직하다. 불행히도, 기존 감시 시스템들은 그들이 처리하는 데이터량을 광범위 하게 확장하도록 설계되지 않는다. 따라서, 보다 많은 수의 카메라들 또는 다른 센서들로 확장될 수 있고, 레이더, 팬스 센서, 및 액세스 제어 시스템들을 포함하는 다른 센서 타입들을 포함하도록 확장될 수 있으며, 위협 상태를 식별하기 위해서 이러한 센서들에 대한 행동을 해석하는 등가의 성능 레벨을 유지하는 시스템을 갖는 것이 바람직하다.

또한, 컴포넌트들이 시스템으로부터 제거, 추가, 또는 대체될 필요가 있는 경우, 컴포넌트들 사이의 모듈화(modularity)를 제공하는 시스템을 갖는 것이 바람직하다.

본 발명의 목적은 보다 증가된 수의 카메라들로 즉시 확장될 수 있는 시스템, 특히 상술한 비디오 플래쉬라이트 시스템을 제공하는 것이다.

또한 본 발명의 목적은 이머시브 감시 시스템을 제공하는 것이며, 여기서 소프트웨어는 모듈들로 조직되어, 기존의 모듈들이 시스템 기능을 향상시키기 위해 모듈러 방식으로 필요에 따라 새로운 것들로 변경되거나 교환될 수 있다.

본 발명은 하나의 환경에서 모듈러 컴포넌트들을 통합하기 위한 시스템 및 방법에 관한 것이다.

본 발명의 일 양상에 따르면, 이머시브 사이트 감시를 제공하는 시스템은 복수의 카메라들을 포함하며, 각 카메라는 그 사이트의 각 부분에 대한 각각의 원(raw) 데이터를 생성한다. 처리 컴포넌트는 카메라들로부터 이러한 원 비디오를 수신하고, 이로부터 처리된 비디오를 생성한다. 시각화 엔진은 처리 시스템에 연결되어, 처리된 비디오를 수신한다. 시각화 엔진은 그 사이트 관측에 대응하는 실제 이미지를 만들고, 여기서 처리된 비디오의 적어도 일부는 그 지점의 컴퓨터 모델에 기반한 이미지 렌더링(rendering) 상에서 오버레이된다. 시각화 엔진은 실시간으로 관측자에게 이미지를 디스플레이한다. 처리 컴포넌트는 제1 및 제2 필터 모듈들을 포함한다. 제2 필터 모듈은 제1 필터 모듈로부터 출력으로서 수신된 처리된 비디오를 처리한다. 제어기 컴포넌트는 제1 및 제2 필터 모듈들 사이의 데이터 및 비디오의 모든 전송을 제어한다.

본 발명의 또 다른 양상에 따르면, 사이트에 대한 이머시브 감시 시스템에서 비디오를 처리하는 방법은 복수의 비디오 카메라들로부터 원 비디오를 수신하는 단계를 포함한다. 원 비디오는 처리된 비디오를 생성하기 위해서 처리된다. 처리된 비디오는 시각화 엔진으로 전송되고, 시각화 엔진은 처리된 비디오의 적어도 일부를 그 사이트의 컴퓨터 모델에 기반한 이미지 렌더링 상에 인가하거나, 또는 컴퓨터 접속가능한 데이터베이스에 처리된 비디오를 저장하는 데이터베이스 저장 모듈에 인가한다. 렌더링된 이미지는 사용자에게 오버레이된 상기 비디오로 디스플레이된다. 처리된 비디오를 위한 원 비디오의 처리는 적어도 2개의 필터 모듈들에 의한 적어도 2개의 이산(discrete) 필터 단계들에서 수행된다. 하나의 필터는 다른 필터 모듈의 출력을 처리한다. 마스터 제어기는 2개의 필터 모듈들 사이의 모든 비디오 및 데이터 전송을 제어한다.

본 발명의 다른 장점 및 특징들은 아래에서 설명될 것이다.

도1A는 다수의 모니터 및 카메라 동작을 갖는 기존 시스템을 보여주는 도이다.

도1B는 VIDEO FLASHLIGHT^TM 관측 선택 시스템의 동작 모델을 보여주는 도이다.

도2는 VIDEO FLASHLIGHT^TM 의 시스템 구조에 대한 구성 다이아그램을 보여주는 도이다.

도3은 본 발명의 실시예에 다른 시스템의 다이아그램을 보여주는 도이다.

본 발명의 상술한 특징들은 하기 도면을 참조하여, 실시예를 통해 설명된다. 그러나, 여기서 제시되는 도면 및 실시예는 단지 이해를 돕기 위한 것일 뿐, 본 발명이 이들로 제한되지 않음을 주목하여야 한다.

적절한 장면 이해가 필요한 경우, 시스템 구조에서 웹 서비스들에 의해 연결되는 한 세트 이상의 소프트웨어 컴포넌트들이 존재하여야 한다. 효과적인 장면 분석을 위해서, 시스템 구조(architecture) 컴포넌트들이 실시간으로 프레임 동기 방식으로 비디오 샘플들(화소들)과 상호작용하는 것이 필수적이다. 다른 컴포넌트들의 통합(integration)을 인에이블하기 위해서, 즉 다른 컴포넌트들 및 필터 처리들이 보다 쉽게 시스템 내로 플러그(plug) 되도록 하기 위해서 개방 구조가 요구되는 경우 이러한 요구조건은 종종 어려운데, 왜냐하면 다수의 데이터 소스들이 동기화되어야 하기 때문이다. 그러나, 본 발명의 시스템 구조는 동기화 문제를 야기함 이 없이 간단한 플러그 인에 대한 이러한 특징들을 제공하고, 본 발명에 따른 시스템 구조는 새롭고 신규한 장면 분석 알고리즘에 대한 플러그 인을 위한 기초를 제공한다. 이는 레이더, 팬스 센서, 및 액세스 제어 시스템들과 같은 다른 양식들을 포함하기 위해서, 그리고 위협 조건들 파악하기 위해서 이러한 양식들에 대한 행동들을 해석하도록 확장가능하다.

VIDEO FLASHLIGHT^TM 과 같은 시스템은 진보된 시각-기반 검출 플랫폼, 예를 들면 소위 VISIONALERT^TM 플랫폼을 레코딩 및 인-콘텍스트(in-context) 시각화 및 위협 평가와 통합한다. VISONALERT^TM 플랫폼은 움직임 카메라로부터 장면상의 움직임을 효과적으로 검출하고, 동일한 카메라로부터 움직이는 물체를 트랙킹하며, 나무의 움직임, 바람의 움직임, 및 조명 변경과 같은 거짓 움직임들을 거절한다. 이는 어슬렁거림(loitering) 및 주변 침범과 같은 활동들을 검출하고나, 또는 무인 물체가 장면 상에서 사라지는 경우 경보음을 발생한다. 이러한 분석적인 처리는 수신된 비디오 처리에 크게 의존하고, 이러한 수신된 비디오는 피드가 아날로그인 경우 아날로그에서 디지털로 변환되어야 하고, 그 프레임들은 동기화되어야 한다.

VIDEO FLASHLIGHT^TM 와 같은 시스템들은 다수의 비디오 피드들을 융합하고, 이들을 3D 모델 또는 지형 맵상에 오버레이한다. 이러한 시스템들은 DVR(디지털 비디오 레코더)들을 통합하여 시간상에서 앞뒤로 끊김없이 이동하여, 고속 검시 위협 분석을 제공한다. 이들은 또한 다수의 팬-틸트-줌 카메라 유닛들을 통합하여, 정확한 PTZ 시점을 제어 및 선택하기 위해 직관적인 맵/3D 모델 기반 인터페이스를 제공할 수 있다.

도2는 이러한 시스템들에서 사용되는 시스템 구조의 일 예를 보여주는 도이다. 비디오에는 다수의 소스들로부터 시간 코드들이 제공되며, 다수의 소스들은 여기서 제시되지 않는다. 비디오는 움직이는 물체를 트랙킹하기 위한 트랙킹 시스템, 움직임 및 사라진 객체 검출부, 포즈(pose) 생성기, 및 경보 변환기를 포함하는 다수의 비디오 프론트 엔드 프로그램들에 의해 처리되며, 이들 모두는 비디오 또는 경보 출력들을 처리하여 사이트 감시에 관련된 데이터를 획득하며, 이들은 디스플레이에서 포함되기 위해, 또는 경보과 같은 다른 출력을 위해 VIDEO FLASHLIGHT^TM 이머시브 디스플레이로 전송된다. 기록된 비디오 및 경보 데이터는 또는 재생되어 사용자에게 이머시브 디스플레이를 위한 사용을 위해 VIDEO FLASHLIGHT^TM 스테이션으로 전송된다.

본 발명에서, 감시 시스템은 CCTV-중심 맞춤형 감시 및 보안 시스템을 고속으로 전개하기 위한 범용 플랫폼을 포함한다. 보안 장치, 알고리즘 및 디스플레이 스테이션들과 같은 다수의 컴포넌트들은 하나의 환경에서 통합될 수 있다. 이러한 시스템 구조는 필터들 사이에서 스트림 데이터에 상호연결된 모듈러 필터들 집합(collection)을 포함한다. "필터" 및 "스트림"이라는 표현은 여기서 광범위하게 사용된다. 일반적으로 말하면, 필터들은 데이터를 생성, 변환, 또는 처리하는 프로세서이다. 스트리밍은 네트워크상에서의 데이터 스트리밍만을 한정하는 것이 아 니라, 동일한 컴퓨터 시스템의 프로그램 모듈들 사이의 잠재적인 전송들을 포함한다. 아래에서 도3을 참조하여 상세히 설명되는 바와 같이, 이러한 스트리밍은 통합기(intergrator)가 데이터 흐름을 유지하는 다수의 PC 시스템들 상에서 동작하는 시스템을 구현하도록 하여준다.

본 발명의 목적은 도3에 제시된 시스템 구조를 사용하여 달성되며, 도3은 본 발명의 실시예에 따른 시스템 구조를 보여준다. 이러한 환경에서, 시스템은 바람직하게는 멀티-프로세서 및 멀티-컴퓨터 시스템이며, 여기서 이산 머신들이 다양한 처리들에 관여한다.

본 시스템은 RAM 및/또는 ROM 메모리 및 자기 디스크 또는 CD-ROM과 같은 다른 적절한 저장 장치를 갖는, 다수의 CPU 또는 네트워크/통신 인터페이스에 의해 링크되는 개별 컴퓨터 시스템을 포함하는 일반적인 컴퓨터 컴포넌트들을 포함한다.

도3을 참조하면, 본 시스템 구조(10)는 계층적인 필터 그래프에 기반하고, 이러한 계층적인 필터 그래프는 시스템의 모든 링크된 컴포넌트들의 컴퓨팅 활동을 기능적으로 제시한다.

처리들이 상이한 머신들에서 수행될 수 있는 모듈러 시스템을 형성하기 위해서, 이전 시스템들에서 이머시브 모델에 적용하기 위해서, 또는 데이터베이스에 저장하기 위해서 원 데이터를 준비하기 위해서 사용되던 처리들은 개별 컴포넌트 동작들로 분할되었고, 여기서 "필터"로 지칭된다. 각각의 필터는 시스템의 다른 경로들에서 진행하는 계산들에 대한, 또는 다른 필터들에 의해 수행되는 계산들에 대한 관여(intrusion) 없이 그 자신 상에서 처리를 수행할 수 있다. 유사하게, 각각 의 필터는 상이한 컴퓨터 시스템상에서 수행될 수 있다.

필터 그래프는 모듈러 필터들 사이의 스트림 데이터에 상호 연결될 수 있는 모듈러 필터들로 구성된다. 필터들은 본질적으로 3개의 타입들 중 하나일 수 있다; 소스 필터(비디오 캡쳐 장치, PTZ 통신기, 데이터베이스 판독기 등), 변환 필터(움직임 검출기 또는 트랙커(tracker)와 같은 알고리즘 모듈), 또는 싱크 필터(렌더링 엔진, 데이터 베이스 기록기 등). 이러한 필터들은 다수의 컴포넌트들이 병렬적으로 실행될 수 있도록 하여주는 고유한 스래딩(threading) 성능을 가지고 구축되며, 이는 시스템이 멀티-프로세서 플랫폼들에서 가용한 자원들을 최적으로 이용할 수 있도록 하여준다. 즉, 데이터 판독기/컨버터들은 데이터 융합 모듈들 및 모듈들을 처리하는 컴포넌트와 동시에 실행될 수 있다.

또한, 충분한 소프트웨어 구성(construct)들이 버퍼링, 스트림 동기화, 및 멀티플렉싱을 위해 제공된다.

필터는 계층적인 방식으로 동작하여, 저-레벨 처리 동작들의 출력(예를 들면, 변경 검출, 블로브 정보)은 상위-레벨 필터들(분류기, 인식기, 융합)로 제공된다. 도3에 제시된 실시예에서, 필터들은 실시간 데이터 판독기/컨버터(11), 컴포넌트 처리 모듈(13), 및 데이터 융합 모듈(15)이다. 센서 장치로부터의 원 데이터 스트림들은 실시간 데이터 판독기/컨버터(11)로 제공되고, 실시간 데이터 판독기/컨버터(11)는 원 비디오를 시스템의 다른 비디오와 공통되는 포맷을 갖는 비디오로 컨버팅한다. 데이터 판독기(11)로부터의 컨버팅된 데이터는 컴포넌트 처리 모듈(13)에 의해 처리되고, 컴포넌트 처리 모듈(13)은 비디오 표준화에서의 다른 단계 이다. 그리고 나서, 처리된 데이터는 예를 들면 데이터 융합 모듈에 의해 PTZ 카메라의 줌 및 방향을 표시하는 메타 데이터와 같은 데이터와 융합된다. 데이터 융합은 일반적으로 동기화 장치와 커플링되어, 융합된 데이터는 비디오 프레임 등과 동일한 시간 인스턴스를 갖는다.

비록 이것이 이머시브 감시 시스템에서 비디오 처리 단계들에 대한 병렬 처리를 허용하는 필터 스레드를 생성하는 일 방법이지만, 시스템에 의해 수신되는 비디오 처리를 분할하는 다른 방법이 존재할 수 있다. 중요한 것은 각 필터가 다른 필터들로부터, 또는 다른 필터들로 데이터를 수신 및/또는 송신하는 것을 제외하고, 다른 필터들과 효과적으로 이격된다는 것이다.

바람직한 실시예가 멀티-프로세서, 멀티-머신 환경을 보여주지만, 본 발명의 장점은 특히 둘 이상의 프로세서가 존재하는 단일 머신 환경에서 달성될 수 있음을 이해하여야 한다.

시스템 구조(10)는 보다 복잡한 추론 및 위협 평가를 위해 데이터 융합 모듈(16)로부터의 이러한 기본적인 정보 패킷뿐만 아니라, 특정 행동들을 고속으로 프로토타입화하기 위해서 룰 엔진(18)을 제공한다. 룰 엔진(18)은 룰 엔진(18)에 의한 처리기간 동안 데이터베이스/아카이브(20)로부터 데이터를 수신한다. 룰 엔진(18)으로부터 시각화 엔진(22)으로 제공되는 데이터는 적절한 사이즈를 갖는 디스플레이와 같이, 사용자 인터페이스(24)에 의한 디스플레이를 위해 장면 정보를 생성한다. 마스터 컴포넌트 제어기/컨피규레이터(26)는 필터들(12,14,16) 및 데이터베이스/아카이브(20), 룰 엔진(18), 및 시각화 엔진(22)과 통신하고, 이들의 동작 을 제어한다.

룰 엔진(18)은 데이터베이스/아카이브(20)와 같은 분산된 데이터베이스 세트를 통해 동작한다. 결과적으로, 룰 엔진(18)은 시스템이 크게 확장되는 경우에도 크게 확장된 상태에서 정상적으로 계속 동작할 것이다. 이는 데이터베이스/아카이브(20)에 자동적으로 질의하고 이러한 필드들에 대한 추론(reasoning)에 기반하여 복잡한 룰들을 셋업하기 위해서 운영자에게 가용한 상이한 필드들을 만든다. 룰 엔진(18)은 감시인이 프리뷰(preview)하는 경보 스테이션 상에서 통합될 수 있다.

데이터베이스/아카이브(20)는 영속하는(persistent) 데이터베이스 내로 스트리밍 데이터(미처리 또는 처리된 데이터)를 아카이브하기 위해서 제공된다. 이러한 데이터베이스는 운영자가 다수의 메타 데이터 스트림들을 동시에 기록 및 재생하도록 하여 주는 DVR과 같은 인터페이스에 래핑(wrap)된다. 데이터베이스/아카이브(20) 모듈에 인터페이싱함으로써(웹 인터페이스 또는 소프트 인터페이스가 비록 선호됨), 시스템의 재생 행동을 제어할 수 있다. 이러한 인터페이스는 비-실시간 컴포넌트 및 룰-기반 엔진들이 데이터를 처리하는 일 방법을 제공한다. 이는 또한 룰 기반 엔진(아래에서 설명됨)이 이러한 데이터베이스뿐만 아니라, 복잡한 인터페이스들을 질의 또는 전개할 수 있도록 하여준다.

마스터 컴포넌트(26)는 사용자 인터페이스로부터의 명령들에 의해 또는 물체를 따라가는 것과 같이 시스템에 의해 자동적으로 이동될 수 있는 예를 들어, 팬/틸트/줌 카메라와 같이, 시스템의 센서 장치들을 제어하는 장치 제어기(28)를 포함한다.

각 필터(12,14,16)는 XML 기반 구성 파일을 갖는다. 상호연결 및 데이터 흐름은 XML 파일들 내에서 구성된다. 필터들의 행동들을 제어하기 위해 XML 파일들에 액세스하기 위해서, HTTP 명령은 그 필터에 대해 할당된 IP 어드레스들과 함께 사용된다. HTTP 요청은 사용자 브라우저에 의해 어드레스된다. 따라서, 브라우저는 XML 문서를 수신하고, 파서(parser) 프로그램을 사용하여 디스플레이 또는 관측을 위해 HTML 포맷으로 XML을 변환한다. 바람직한 실시예에 따르면, 운영자는 필터를 변경할 수 있다. 필터들의 데이터 변경들은 네트워크 인터페이스를 통해 XML 스트림으로서 전송, 즉 스트리밍될 것이다. 이러한 스트림들은 SOAP(simple object access protocol) 또는 CORBA(Common Object Request Broker Architecture) 인터페이스를 통해 액세스될 수 있다. SOAP 메시지는 특정 필터에 대한 HTTP 요청에 내장된다. 이러한 방식으로, 새로운 컴포넌트가 임의의 소프트웨어 편집 없이 시스템으로부터 제거, 수정, 추가될 수 있다. 일부 경우에 있어서, 필터 그래프는 동적이고 적응적인 모듈 처리 어셈블리를 허용하기 위해서 실행시에 수정될 수 있다.

요약하면, 시스템 구조(10)는 다음과 같은 중요한 특성들을 갖는다.

시스템 확장성: 상기 구조는 다수의 프로세서 및 다수의 머신들에 걸쳐 컴포넌트들을 통합할 수 있다. 하나의 머신 내에서, 상호연결되고 스레딩되는 필터 컴포넌트들은 연결성을 제공한다. 한 쌍의 필터들은 RPC-기반 전달 계층을 통해 PC 들 사이에서 연결성을 제공한다.

컴포넌트 모듈화: 상기 구조는 컴포넌트들 사이에서 데이터를 스트리밍하는 머신을 갖는, 소프트웨어 모듈들 사이에서 명확한 이격을 유지한다. 각각의 모듈은 필터들 사이에서 데이터를 스트리밍하기 위한 공통 인터페이스를 갖는 필터로서 정의될 것이다. 필터는 통합을 위해 즉시 이용가능한 처리 컴포넌트들을 알고리즘 개발자가 즉시 개발할 수 있도록 하여 주는 편리한 래퍼(wrapper)를 제공한다. 상기 구조는 어떠한 코드 재기록 없이 필터 모듈들의 고속 어셈블리를 인에이블한다. 이는 필터 단계들의 스레드 내의 처리들의 분할에 의해 달성되는 모듈화의 장점이다.

컴포넌트 업그레이드 성능: 나머지 시스템 인프라에 영향을 미치지 않고 시스템 컴포넌트를 대체하는 것이 용이하다. 각각의 필터는 XML 기반 구성 파일에 기반하여 인스턴스화(instantiate)된다. 상호 연결성 및 데이터 흐름은 XML 파일 내에서 구성된다. 이는 어떠한 소프트웨어 편집 없이 새로운 컴포넌트가 시스템으로부터 제거, 수정, 또는 추가될 수 있도록 하여준다. 일부 경우들에서, 필터 그래프는 처리 모듈들의 동적이고 적응적인 어셈블리를 허용하기 위해서 실행시에 수정될 수 있다.

데이터 스트리밍 구조: 여기서 제시되는 본 시스템 구조는 시스템 내의 모듈들 사이에서 데이터를 스트리밍하기 위한 메커니즘을 제공한다. 이는 시스템에 걸친 시간의 일관된 이해를 제공한다. 특별 필터는 다수의 데이터 소스들에 대한 동기화를 제공하고, 다수의 데이터 스트림들을 결합하는데 필요한 융합 필터들이 지원된다. 새로운 데이터 스트림은 인프라 내로 플러그하기 위해 몇몇 추가적인 방법들을 구현함으로써 추가된다. 데이터 스트리밍의 또 다른 중요한 양상은 메모리 사용, 데이터 카피, 및 적절한 메모리 클린업(cleanup)이다. 이러한 구조는 데이터가 다시 카피할 필요없이 시스템을 통해 데이터가 흐를 때, 데이터를 추적하기 위해서 참조-카운트(reference-counted) 포인터들로서 스트리밍 데이터를 구현한다.

데이터 저장 구조: 여기서 제시되는 본 시스템 구조는 영속적인 데이터베이스 내로 스트리밍 데이터(미처리 또는 처리된 데이터)를 아카이브하기 위해서 인터페이스를 제공한다. 데이터베이스는 사용자가 동시에 다수의 메타-데이터 스트림들을 기록 및 재생할 수 있도록 하기 위해서 DVR와 유사한 인터페이스에서 래핑(wrap)된다. 데이터베이스/아카이브(20) 모듈에 인터페이싱함으로써(웹 인터페이스 또는 소프트 인터페이스가 비록 선호됨), 시스템의 재생 행동을 제어할 수 있다. 이러한 인터페이스는 비-실시간 컴포넌트 및 룰-기반 엔진들이 데이터를 처리하는 일 방법을 제공한다. 이는 또한 룰 기반 엔진이 이러한 데이터베이스뿐만 아니라, 복잡한 인터페이스들을 질의 또는 전개할 수 있도록 하여준다.

룰-기반 질의 엔진: 룰 기반 엔진은 위에서 규정된 데이터베이스의 분산된 세트에 걸쳐 동작한다. 이는 확장성(scalability) 견지에서 장점이 된다. 이는 데이터베이스에 자동적으로 질의하고, 상이한 필드들에 대한 추론에 기반하여 복잡한 룰들을 셋업하기 위해서 사용자에게 가용한 상이한 필드들을 제공한다. 이러한 엔진은 감시인이 프리뷰 경보 스테이션 상에서 통합될 수 있다.

개방 구조: 여기서 제시되는 본 시스템 구조는 다수의 상호작용 레벨에서 시스템 내로 개방 인터페이스들을 지원한다. 가장 간단한 레벨에서, 모든 필터들에 대한 HTTP 인터페이스들이 그들의 행동을 제어하기 위해서 제공될 것이다. 데이터는 네트워크 인터페이스들을 통해 XML 스트림들로 스트리밍될 것이다. 이러한 것들은 COBRA 또는 SOAP 인터페이스를 통해 액세스될 수 있다. 또한, 데이터베이스에 대한 소프트웨어 인터페이스들이 공개되어 사용자는 데이터베이스 정보를 직접 통합할 수 있게 된다. 소프트웨어 레벨에서, 애플리케이션 위저드(wizard)들이 제공되어 알고리즘을 통합하기 위한 소스 코드 필터 쉘(shell)들을 자동적으로 생성한다. 이는 비-프로그래머가 그들의 환경에서 장면 이해를 위해 맞춤화된 복합적인 필터 그래프를 어셈블리할 수 있도록 하여준다.

상술한 내용은 본 발명의 일 예로서 설명되었다. 즉, 본 발명은 상술한 실시예로 제한되지 않으면 다양한 변형이 가능하다. 상기 실시예는 당업자가 본 발명의 보다 용이하게 이해할 수 있도록 하기 위함이다. 다라서, 본 발명의 보호범위는 청구항 및 그 등가물에 의해서 정의되어야 한다.

Claims (20)

1. 사이트(site)에 대한 이머시브(immersive) 감시를 제공하기 위한 시스템으로서, 상기 시스템은

   상기 사이트들의 각 부분에 대한 각각의 원(raw) 비디오를 각각 생성하는 복수의 카메라들;

   상기 카메라들로부터 상기 원 비디오를 수신하여 이로부터 처리된 비디오를 생성하는 처리 컴포넌트;

   상기 처리 시스템에 연결되어, 상기 처리된 비디오를 수신하는 시각화 엔진으로서, 상기 시각화 엔진은 상기 사이트의 관측에 대응하는 실시간 이미지를 렌더링(render)하고, 여기서 상기 처리된 비디오의 적어도 일부는 상기 사이트의 컴퓨터 모델에 기반하여 상기 이미지의 렌더링 상에서 오버레이되며, 상기 시각화 엔진은 상기 이미지를 실시간으로 관측자에게 디스플레이하는, 시각화 엔진; 및

   제1 및 제2 필터모듈 사이에서 데이터 및 비디오의 모든 전송을 제어하는 제어 컴포넌트를 포함하며,

   상기 처리 컴포넌트는 상기 제1 및 제2 필터 모듈을 포함하며, 상기 제2 필터 모듈은 상기 제1 필터 모듈로부터의 출력으로서 수신되는 비디오를 처리하는 시스템.
2. 제1항에 있어서,

   상기 제1 및 제2 필터 모듈은 개별 컴퓨터에서 실행되는 소프트웨어 제어된 처리들인 시스템.
3. 제1항에 있어서,

   상기 제1 모듈은 복수의 카메라들로부터의 원 비디오를 판독하여, 이를 추가적인 처리에 적합한 포맷을 갖는 컨버팅된 비디오로 컨버팅하는 데이터 판독 및 컨버팅 모듈을 포함하는 시스템.
4. 제3항에 있어서,

   상기 제2 필터 모듈은 상기 데이터 판독 및 컨버팅 모듈에 연결되어 이로부터 컨버팅된 비디오 출력을 수신하고, 메타-데이터와의 융합을 위해 데이터 융합 준비된 데이터로 상기 컨버팅된 비디오를 추가로 처리하는 비디오 처리 모듈을 포함하는 시스템.
5. 제4항에 있어서,

   상기 처리 컴포넌트는 상기 제2 필터 모듈로부터 데이터 융합 준비된 데이터를 수신하는 제3 필터 모듈을 포함하며, 상기 제어기 컴포넌트는 상기 제2 및 제3 필터 모듈들 사이의 모든 데이터 및 비디오의 전송을 제어하는 시스템.
6. 제6항에 있어서,

   상기 제3 필터 모듈은 상기 처리된 비디오를 생성하기 위해서 상기 융합 준비된 비디오에 대한 데이터 융합을 수행하는 시스템.
7. 제6항에 있어서,

   상기 제2 및 제3 필터 모듈들은 각각 상이한 컴퓨터들에서 실행되는 처리들인 시스템.
8. 제6항에 있어서,

   상기 제3 필터 모듈에 연결되는 룰 엔진을 더 포함하는 시스템.
9. 제1항에 있어서, 데이터 저장 모듈을 사용하여 처리된 비디오를 저장하는 수단을 더 포함하는 시스템.
10. 제1항에 있어서,

    컴퓨터 모델은 사이트에 대한 3-D 모델인 시스템.
11. 사이트에 대한 이머시브 감시 시스템에서 비디오를 처리하는 방법으로서,

    상기 방법은

    복수의 비디오 카메라들로부터 원 비디오를 수신하는 단계;

    처리된 비디오를 생성하기 위해서 상기 원 비디오를 처리하는 단계;

    상기 사이트의 컴퓨터 모델에 기반하여 이미지 렌더링 상으로 상기 처리된 비디오의 적어도 일부를 적용하는 시각화 엔진, 또는 컴퓨터 액세스가능한 데이터베이스에 상기 처리된 비디오를 저장하는 데이터베이스 저장 모듈로 상기 처리된 비디오를 전송하는 단계; 및

    사용자에게 오버레이된 상기 비디오를 갖는 랜더링된 이미지를 디스플레이하는 단계; 및

    2개의 필터 모듈들 사이에서 모든 비디오 및 데이터의 전송을 마스터 제어기를 사용하여 제어하는 단계를 포함하며,

    상기 원 비디오 처리 단계는 적어도 상기 2개의 필터 모듈들에 의한 적어도 2개의 이산 필터 단계들에서 수행되며, 하나의 필터 모듈은 다른 필터 모듈의 출력을 처리하는 방법.
12. 제11항에 있어서,

    상기 제1 및 제2 필터 처리들은 상이한 컴퓨터들에서 수행되는 방법.
13. 제11항에 있어서,

    상기 필터 모듈들 중 하나의 처리는 데이터 판독 또는 원 비디오 컨버팅을 포함하는 방법.
14. 제11항에 있어서,

    상기 필터 모듈들 중 하나의 처리는 메타 데이터와의 데이터 융합을 위해 비디오를 준비하는 것을 포함하는 방법.
15. 제11항에 있어서,

    상기 필터 모듈들 중 하나의 처리는 메타 데이터를 상기 비디오와 융합하는 것을 포함하는 방법.
16. 제11항에 있어서,

    상기 원 비디오를 처리하는 단계는 2개의 필터 모듈들 및 제3 필터 모듈에 의해 적어도 3개의 이산 필터 단계들에서 수행되며, 이들 사이의 모든 데이터 전송은 상기 제어기에 의해 제어되는 방법.
17. 제16항에 있어서,

    상기 필터 단계들은 각각 데이터 판독/컨버팅; 컴포넌트 처리; 및 데이터 융합인 방법.
18. 제11항에 있어서,

    제2 처리 단계가 상기 제2 필터 모듈에 의해 수행되는 동안, 상기 제1 필터 모듈은 뒤이어 수신된 원 비디오 상에서 제1 필터 단계를 수행하는 방법.
19. 제11항에 있어서,

    상기 처리된 비디오는 상기 시각화 엔진으로 전송되는 방법.
20. 제11항에 있어서,

    상기 필터 모듈은 XML 파일들에 기반하여 인스턴스화(instantiate)되며, 상기 필터 모듈들 사이의 데이터 전송은 상기 XML 파일들에 의해 구현되는 방법.

Images