KR20070041492A - 비디오 플래시 라이트를 수행하기 위한 방법 및 시스템 - Google Patents

Abstract

몰입형 감시 시스템에서, 다수의 카메라들 및 다른 센서들로부터의 비디오들 또는 다른 데이터는 렌더링된 장면의 2D 또는 3D 모델 내에 데이터를 오버레이하는 비디오 처리 시스템에 의해 관리 및 표시된다. 시스템은 사용자가 사이트를 보기위해 뷰 포인트를 선택적으로 확인하도록 구성된 뷰 포인트 선택기를 갖는다. 비디오 제어 시스템은 뷰 포인트를 확인하는 데이터를 수신하고, 뷰 포인트에 기초하여 뷰 포인트로부터의 뷰와 관련된 비디오를 발생하는 다수의 카메라들의 서브세트를 자동으로 선택하며, 비디오 처리 시스템으로 전송될 카메라들의 서브세트로부터 비디오를 발생한다. 뷰 포인트가 변화함에 따라, 비디오 프로세서와 통신하는 카메라들은 새로운 위치에서 관련된 비디오를 발생하는 카메라들로 핸드오프하도록 변경된다. 몰입형 환경에서의 재생은 비디오의 시간 스탬핑된 기록들의 동기화에 의해 제공된다. 모델 또는 맵-기반의 네비게이션에서 제한된 경로들에서의 뷰 포인트의 네비게이션 또한 제공된다.

Description

비디오 플래시 라이트를 수행하기 위한 방법 및 시스템{METHOD AND SYSTEM FOR PERFORMING VIDEO FLASHLIGHT}

관련된 출원

본 출원은 2004년 6월 1일자로 제출된 "비디오 플래시 라이트를 수행하기 위한 방법 및 시스템"이라는 명칭의 미국 임시 연속 출원 60/575,895, 2004년 6월 1일자로 제출된 "광대역 보안 모니터링, 센서 관리 및 상황 인식을 위한 방법 및 시스템"이라는 명칭의 미국 임시 연속 출원 60/576,894 및 2004년 6월 1일자로 제출된 "비디오 플래시 라이트/비전 경고"라는 명칭의 미국 임시 연속 출원 60/576,050의 우선권을 청구한다.

본 발명은 일반적으로 이미지 프로세싱에 관한 것이며, 특히 특정 위치 또는 환경의 다수의 카메라들로부터의 비디오들이 상기 카메라들로부터의 비디오를 2D 또는 3D 장면 모델에 오버레이함으로써 관리되는 몰입형 감시(immersive surveillance)를 제공하기 위한 방법 및 시스템에 관한 것이다.

몰입형 감시 시스템들은 한 장소에서의 보안 카메라들의 시스템을 보는 것을 제공한다. 몰입형 시스템의 카메라들의 비디오 출력은 그 장소의 렌더링된 컴퓨터 모델과 결합된다. 상기 시스템들은 사용자가 가상 모델에서 이동하고, 카메라들로 부터의 실시간 비디오 입력들을 포함하는 몰입형 가상 환경에서 자동으로 제공되는 관련된 비디오를 보도록 한다. 상기 시스템의 일 예는 2003년 5월 8일에 공개된 미국 공개 특허 출원 2003/0085992에 개시된 VIDEO FLASHLIGHT™ 시스템이며, 본 명세서에서 참조로서 통합된다.

상기와 같은 종류의 시스템들은 통신 대역폭 문제를 유발한다. 몰입형 감시 시스템은 동시에 비디오를 생성하는 수십, 수백 또는 심지어 수천 개의 카메라들로 구성될 수 있다. 시스템의 통신 네트워크를 통해 출력되거나 중앙 관측 스테이션에 전송될 때, 몰입형 시스템이 보여지는 단말기 또는 다른 디스플레이 유니트는 공동으로 다량의 출력 데이터를 형성한다. 상기 대량의 데이터를 수용하기 위해, 다수의 케이블들 또는 다량의 대역폭을 구비한 다른 접속 시스템이 모든 데이터를 전달하는데 제공되어야 하지만, 그렇지 않으면 상기 시스템은 데이터 전송 레이트를 제한해야 하는 문제점을 유발할 수 있는데, 이는 가능하다면 보안 요원이 필요한 몇몇 비디오가 관측 스테이션 또는 디스플레이용 단말기에서 사용될 수 없으며, 따라서 감시 효율이 감소되는 것을 의미한다.

또한, 종래의 몰입형 시스템은 시스템의 비디오의 몰입형 재생을 제공하는 것이 아니라 사용자가 카메라로부터의 현재 비디오를 보게 하거나 위치를 변경할 권한 없이 이전에 디스플레이된 몰입형 영상을 재생하도록 한다.

또한 상기 시스템에서, 사용자는 마우스 또는 조이스틱으로 그 또는 그녀의 뷰 포인트를 조절함으로써 제한 없이 네비게이팅하고 있다. 이는 사용자의 네비게이팅 및 이동에 있어서 큰 자유로움을 제공하지만, 사용자가 보여지는 장면에서 놓 친 부분을 찾아야하며, 사용가능한 위치로 뷰 포인트를 다시 이동하기 어렵다.

따라서, 본원 발명의 목적은 상기 영역들에서 시스템을 개선하는 몰입형 비디오 시스템 및 상기 시스템을 위한 방법을 제공하는 것이다.

일 실시예에서, 본 발명은 특히 미국 공개 특허 출원 2003/0085992에 개시된 시스템과 같이 다수의 비디오들을 2D 또는 3D 장면 모델에 오버레이하여 관리하기 위한 시스템 및 상기 시스템을 제공하는 방법에 관한 것이며, 상기 개시된 시스템은 본 명세서에서 참조로서 통합된다.

본 발명의 일 양상에 따라, 하나의 장소에 대한 감시 시스템은 각각 상기 장소의 개별 부분의 개별 비디오를 발생하는 다수의 카메라들을 포함한다. 뷰 포인트 선택기는 상기 장소 또는 그 일부를 보기 위해 사용자가 상기 장소 내의 뷰 포인트를 선택적으로 확인하도록 구성된다. 비디오 프로세싱 시스템은 상기 뷰 포인트 선택기에 접속되어 상기 뷰 포인트를 표시하는 데이터를 수신하고, 상기 다수의 카메라들과 접속되어 상기 다수의 카메라들로부터 상기 비디오들을 수신한다. 비디오 프로세싱 시스템은 상기 장소의 컴퓨터 모델에 접속한다. 비디오 프로세싱 시스템은 상기 뷰 포인트로부터의 상기 장소의 시계에 상응하여 상기 컴퓨터 모델로부터 실시간 이미지들을 렌더링하며, 상기 비디오 프로세서 내에서 상기 비디오들 중 적어도 하나의 적어도 일부분은 상기 컴퓨터 모델에 오버레이된다. 비디오 프로세싱 시스템은 뷰어에 실시간으로 이미지들을 디스플레이 한다. 비디오 제어 시스템은 상기 뷰 포인트에 기초하여 상기 비디오 프로세서에 의해 렌더링된 상기 뷰 포인트로부터 상기 장소의 시계와 관련된 비디오를 발생하는 상기 다수의 카메라들의 서브세트를 자동으로 선택하고, 상기 카메라들의 서브세트로부터의 비디오가 상기 비디오 프로세서에 전송되도록 한다.

본 발명의 또다른 양상에 따라, 하나의 장소에 대한 감시 시스템 각각 개별 데이터 스트림을 발생하는 다수의 카메라들을 포함한다. 각각의 데이터 스트림은 상기 장소의 일부분의 실시간 이미지에 상응하는 비디오 프레임들의 시리즈를 포함하고, 각각의 프레임은 상기 실시간 이미지가 연관된 카메라에 의해 형성될 때 시간을 표시하는 시간 스탬프를 갖는다. 레코더 시스템은 카메라들로부터의 데이터 스트림들을 수신하여 기록한다. 비디오 프로세싱 시스템은 상기 레코더에 접속되어 상기 기록된 데이터 스트림들의 재생을 제공한다. 비디오 프로세싱 시스템은 상기 기록된 데이터 스트림들의 재생 동안 상기 장소의 모델의 재생 뷰 포인트로부터 뷰를 위한 이미지들을 렌더링하고, 거기에 상기 뷰와 연관된 카메라들 중 적어도 두 개의 카메라들로부터 상기 기록된 데이터 스트림을 적용하는 렌더러를 구비한다. 비디오 프로세싱 시스템은 재생 동안 상기 레코더 시스템으로부터 상기 기록된 데이터 스트림들을 수신하는 동기화기를 포함한다. 동기화기는 상기 기록된 데이터 스트림들을 동기화된 형태로 상기 렌더러에 분포시켜 각각의 이미지가 모두 동시에 선택되는 비디오 프레임들로 렌더링 되도록 한다.

본 발명의 또다른 양상에 따라, 몰입형 감시 시스템은 각각 하나의 장소의 개별 위치에 대한 개별 비디오를 발생하는 다수의 카메라들을 포함한다. 이미지 프로세서는 상기 다수의 카메라들에 접속되어 상기 비디오를 수신한다. 이미지 프로세서는 상기 장소의 모델에 기초한 뷰 포인트에 대하여 렌더링되고 상기 뷰 포인트와 연관된 상기 다수의 비디오들과 결합되는 이미지를 발생한다. 디스플레이 디바이스는 상기 이미지 프로세서에 접속되어 상기 렌더링된 이미지를 디스플레이한다. 뷰 제어기는 상기 이미지 프로세서에 접속되어 디스플레이될 뷰 포인트를 한정하는 데이터를 제공한다. 뷰 제어기는 사용자가 상기 뷰 포인트를 선택적으로 변경하도록 하는 대화형 네비게이션 구성요소에 접속되어 입력을 수신한다.

본 발명의 또다른 양상에 따라, 한 방법은 감시 시스템내의 다수의 카메라들로부터의 비디오 중 적어도 몇몇을 보기 위해 뷰 포인트 및 시계의 선택을 표시하는 데이터를 입력 디바이스로부터 수신하는 단계를 포함한다. 상기 카메라들 중 하나 또는 그 이상의 서브 그룹이 그들의 카메라들이 상기 시계와 관련된 비디오를 발생할 수 있는 위치들에 있는지가 확인된다. 상기 카메라들의 서브 그룹으로부터의 비디오는 비디오 프로세서에 전송된다. 비디오 디스플레이는 상기 비디오 프로세서를 사용하여 상기 장소의 컴퓨터 모델로부터 이미지들을 렌더링함으로써 발생되며, 상기 이미지들은 상기 비디오들 중 적어도 하나의 적어도 일부분이 상기 컴퓨터 모델에 오버레이되는 장소의 뷰 포인트로부터의 시계에 해당한다. 이미지들은 뷰어에 디스플레이되고, 상기 서브 그룹내에 있지 않은 상기 카메라들 중 몇몇으로부터의 비디오는 상기 비디오 렌더링 시스템에 전송되지 않고 상기 비디오 프로세서에 전송된 데이터량을 감소한다.

본 발명의 또다른 양상에 따라, 감시 시스템을 위한 방법은 상기 카메라들의 상기 데이터 스트림들을 하나 또는 그 이상의 레코더들에 기록하는 단계를 포함한다. 상기 데이터 스트림들은 동기화된 포맷으로 함께 기록되며, 각각의 프레임은 상기 실시간 이미지가 상기 연관된 카메라에 의해 형성된 시간을 표시하는 시간 스탬프를 갖는다. 레코더들은 상기 카메라들의 상기 기록된 데이터 스트림들을 비디오 프로세서에 전송하도록 하기 위해 상기 레코더들과 통신한다. 기록된 데이터 스트림들은 수신되어 상기 프레임들을 상기 시간 스탬프에 기초하여 동기화된다. 데이터는 상기 카메라들로부터의 상기 비디오 중 적어도 몇몇을 보기 위해 뷰 포인트 및 시계의 선택을 표시하고, 입력 데이터로부터 수신된다. 비디오 디스플레이는 비디오 프로세서와 함께 상기 장소의 컴퓨터 모델로부터의 이미지들을 렌더링하여 발생되며, 상기 이미지들은 상기 비디오들 중 적어도 두개의 적어도 일부분이 상기 컴퓨터 모델에 오버레이되는 장소의 뷰 포인트로부터의 시계에 상응한다. 각각의 이미지에 대하여 상기 오버레이된 영상은 모두 동일한 시간 주기를 표시하는 시간 스탬프들을 가지는 프레임들로부터 렌더링된다.

본 발명의 또다른 방법에 따라, 카메라들의 기록된 데이터 스트림들은 비디오 프로세서에 전송된다. 데이터는 상기 카메라들로부터의 상기 비디오 중 적어도 몇몇을 보기 위해 뷰 포인트 및 시계의 선택을 표시하고, 입력 디바이스로부터 수신된다. 비디오 디스플레이는 상기 비디오 프로세서와 함께 상기 장소의 컴퓨터 모델로부터의 이미지들을 렌더링함으로써 발생된다. 이미지들은 상기 비디오들 중 적어도 두 개의 적어도 일부분이 상기 컴퓨터 모델에 오버레이되는 장소의 상기 뷰 포인트로부터의 상기 시계에 상응한다. 이미지들은 뷰어에 디스플레이된다. 뷰 포인트 및/또는 시계의 변경을 표시하는 입력이 수신된다. 상기 입력은 운영자가 모든 가능한 변경들의 제한된 서브세트인 상기 시계 또는 뷰 포인트의 새로운 뷰 포인트로의 변경들을 입력할 수 있도록 제한된다. 제한된 서브세트는 상기 장소를 통한 경로에 상응한다.

도 1은 글로벌 멀티-카메라 가시화 및 효과적인 위반 처리를 위해 비디오 제어 룸에서의 종래의 운영 모드가 가상 환경으로 변화되는 방법을 설명하는 다이어그램을 도시한다.

도 2는 위험을 평가하기 위한 종합 도구 세트를 제공하는 모듈을 도시한다.

도 3은 제어 인터페이스들을 가지는 고해상도 스크린에서 DVR 및 PTZ 유니트들에 표시되는 비디오 오버레이를 도시한다.

도 4는 맵 디스플레이에서 강조된 아이콘들 및 원문 리스트 뷰로서 사용자에게 표시되는 정보를 도시한다.

도 5는 경고가 활성화되는지를 표시하도록 채색된 영역들을 도시한다.

도 6은 비디오 카메라 시스템의 수개의 카메라들 또는 수백 개의 카메라들의 통합을 위한 조정가능한 시스템 구조를 도시한다.

도 7은 본 발명의 뷰 선택 시스템을 도시한다.

도 8는 본 발명의 시스템에서 동기화된 데이터 캡처, 재생 및 디스플레이를 도시한다.

도 9는 상기 시스템에서 데이터 통합기 및 디스플레이를 도시한다.

도 10은 몰입형 비디오 시스템과 함께 사용되는 맵-기반 디스플레이를 도시 한다.

도 11는 시스템의 소프트웨어 구조를 도시한다.

이해를 용이하게 하기 위해, 동일한 도면 부호들은 도면들에서 공통인 구성요소들을 표시하는데 사용된다.

효율적인 감시 및 보안 군사 시설 및 다른 보안 위치들에 대한 요구는 더 강조되고 있다. 효율적인 일상의 운영들은 한계 위반들에 대한 신뢰할만한 보안 및 효율적인 응답을 유지하면서 제어 위반들에 접근해야 한다. 비디오-기반의 운영들 및 감시는 군사 기지들 및 다른 민감한 위치들에서 증가하면서 배치되고 있다.

예를 들어, 독일 하이델베르그의 Campbell Barracks에는 54개의 카메라들이 설치되고, 인접한 Mark Twain Village 군사 진영에는 수백 개의 카메라들이 존재한다. 현재의 비디오 운영 모드는 글로벌 3D 환경 내용의 인식 없이 종래의 TV 모니터상의 비디오 관찰 모드들을 허용한다. 또한, 비디오-기반의 위반 검출은 일반적으로 존재하지 않으며, 비디오 가시화는 위반 검출 시스템에 직접 접속되지 않는다.

VIDEO FLASHLIGHT™ 평가(VFA), 경고 평가(AA) 및 영상-기반 경고(VBA) 기술들은 (i) 예를 들어, 다수의 비디오들을 3D 환경 모델에 정확하게 멀티플렉싱함으로써 경계 영역의 종합적인 가시화를 제공하고, (ii) 물체가 떠나거나 상기 위치들에서 검출이 지체될 때 경계 위반과 같은 견고한 움직임 검출 및 다른 지능적인 경고들을 제공하는데 사용될 수 있다.

본 출원에서, 본 발명이 유리하게 적용되는 환경의 예인 VIDEO FLASHLIGHT™ 라는 명칭의 몰입형 감시 시스템이 참조되지만, 본 발명은 VIDEO FLASHLIGHT™과는 다르지만 유사한 장점들을 가지는 시스템들에서 사용될 수 있음이 이해되어야 한다. VIDEO FLASHLIGHT™는 실시간 비디오가 한 위치의 2D 또는 3D 컴퓨터 모델로 맵핑되어 결합되는 시스템이며, 운영자는 장면을 통해 뷰 포인트를 이동할 수 있고, 결합된 렌더링된 영상 및 장면 공간 내의 다수의 뷰 포인트들로부터 적절하게 적용된 실시간 비디오를 볼 수 있다.

상기 형태의 감시 시스템에서, 카메라들은 관심있는 영역의 포괄적인 커버리지를 제공할 수 있다. 비디오들은 연속하여 기록된다. 비디오들은 공항 및 다른 위치의 3D 모델에 정확하게 렌더링되어 전역의 상황 가시화를 제공한다. 자동 비디오-기반 경고들은 예를 들면, 게이트들 및 펜스들에서 보안의 위반들을 검출할 수 있다. 비디오 카메라 블랭킷(BVC) 시스템은 신뢰할만한 개인의 연속적인 트래킹을 수행하며, 보안 요원이 시간 및 공간에서 몰입하여 네비게이팅하여 보안 위반의 이동을 되돌리고 개인이 현재 순간까지 뒤따르도록 시간상 앞지른다. 도 1은 비디오 제어 룸내의 종래의 동작 모드가 글로벌 멀티-카메라 가시화 및 효율적인 위반 처리를 위한 가시화 환경으로 변환되는 방식을 도시한다.

요약하면, BVC 시스템은 하기의 능력들을 제공한다. 단일화된 디스플레이는 3D 환경 모델과 관련하여 정확하게 렌더링된 실시간 비디오들을 도시한다. 사용자는 3D 모델과 관련하여 다수의 카메라들로부터 비디오들을 보면서 환경을 자유롭게 네비게이팅할 수 있다. 사용자는 시간상 신속하고 직관적으로 되돌아가며, 이전에 발생된 이벤트들을 검토한다. 사용자는 하나 또는 그 이상의 팬/틸트/줌 카메라들을 상기 위치로 조종하기 위해 모델을 간단히 클릭함으로써 이벤트의 고해상도 비디오를 신속하게 획득할 수 있다.

시스템은 운영자가 보안 위반을 검출하도록 하며, 운영자는 다수의 카메라들을 사용하여 트래킹함으로써 개인(들)을 뒤따를 수 있다. 시스템은 또한 보안 요원이 현재의 위치를 관찰하고, FA 디스플레이를 통하거나 수행된 비디오 클립들로서 경고 이벤트를 관찰하도록 한다.

VIDEO FLASHLIGHT™ 및 장면-기반의 경고 모듈들

VIDEO FLASHLIGHT™ 및 장면-기반의 경고 시스템은 4개의 서로다른 모듈들을 포함한다:

비디오 평가(VIDEO FLASHLIGHT™ 렌더링) 모듈

장면 경고 모듈

경고 평가 모듈

시스템 상태 정보 모듈

비디오 평가 모듈(VIDEO FLASHLIGHT™)은 3D 모델에 제공된 비디오를 관찰하기 위해 통합된 인터페이스를 제공한다. 상기 인터페이스는 보안 요원이 큰 위치를 통해 정확하게 네비게이팅하도록 하고, 큰 영역 내에서 발생하는 임의의 위협들을 고속으로 평가한다. 다른 명령 및 제어 시스템 중 어느 것도 비디오 오버레이 성능을 갖지 않는다. 고정된 카메라들 및 PTZ 카메라들로부터의 시스템 오버레이 비디오는 이벤트들을 기록 및 재생하기 위해 DVR(디지털 비디오 레코더)를 사용한 다.

도 2에 도시된 것과 같이, 상기 모듈은 위협을 평가하기 위해 포괄적인 도구 세트를 제공한다. 경고 상황은 3가지 부분으로 분류된다:

사전-평가: 경고가 발생하고, 상기 경로를 유도하는 이벤트들을 평가해야 한다. 경쟁 기술은 경고로부터의 정보를 저장하기 위해 사전-경고 버퍼 또는 DVR 디바이스들을 사용한다. 그러나, 사전-경고 버퍼들은 매우 작고 DVR 디바이스들이 복잡한 제어 인터페이스들을 사용하여 하나의 특정 카메라로부터의 비디오를 관찰한다. 다시 말해서, 비디오 평가 모듈은 즉각적인 GUI를 사용하여 임의의 순간에 모든 비디오 스트림들을 몰입하여 동시에 보도록 한다.

실시간-평가: 경고가 발생중이고, 상기 경고를 보여주는 실시간 비디오를 빠르게 위치시키고, 상황을 평가하여 빠르게 응답한다. 또한, 추가의 동작을 검사하기 위해 경고들을 동시에 둘러싸는 영역들을 모니터해야 한다. 대부분의 현존하는 시스템들은 개별 모니터들의 뱅크를 사용하여 장면의 뷰들을 제공하며, 둘러싸는 영역들을 발견하기 위해 카메라 뷰들 사이를 스위칭하는데 시간이 걸리고, 장면에 정통해야 한다.

사후-평가: 경고 상황이 종료되고, 관심있는 포인트는 고정된 카메라들의 시계 밖으로 이동한다. 장면을 통해 관심있는 포인트를 따라야 한다. VIDEO FLASHLIGHT™ 모듈은 3D 모델에서 즉각적인 마우스 클릭 제어를 사용하는 간단하고 신속한 PTZ 카메라들의 제어를 허용한다. 비디오 오버레이는 제어 인터페이스들을 구비한 고해상도 스크린을 통해 도 3에 도시된 것과 같이 DVR 및 PTZ 유니트들에 제공된다.

입력들 및 출력들

VIDEO FLASHLIGHT™ 비디오 평가 모듈은 컴퓨터 메모리에 공지된 포맷으로 입력된 이미지 데이터 및 센서 데이터를 획득하고, 초기 모델 형성 동안 계산된 포즈 추정치들을 획득하여 3D 모델로 구성한다. 요약하면, 비디오 평가 모듈로의 입력들 및 출력들은:

입력들:

공지된 위치에 공지된 포맷으로 배치된 고정된 카메라들로부터의 비디오;

PTZ 카메라들의 위치로부터의 비디오 및 위치 정보;

모델과 관련된 각각의 카메라의 3D 포즈들(상기 3D 포즈들은 시스템 셋업 동안 조종 방법들을 사용하여 복원됨);

장면의 3D 모델(상기 3D 모델은 현존하는 3D 모델, 상업적인 3D 모델 형성 방법들, 또는 임의의 다른 컴퓨터-모델 형성 방법들을 사용하여 복원됨);

조이스틱 또는 키보드를 사용하여 운영자에 의해 주어지거나, 사용자에 의해 형성된 경고에 의해 자동으로 제어되는 원하는 뷰.

출력들:

원하는 뷰로부터의 플래시라이트 뷰를 보여주는 메모리내의 영상.

PTZ 위치들을 제어하라는 PTZ 명령들

과거의 이벤트들로 돌아가서 미리보기 하라는 DVR 제어들.

비디오 평가 시스템의 주요 특징들은 다음과 같다:

다수의 3D 내용을 제공하기 위한 3D 위치 모델의 가시화(공간 네비게이션).

비디오 기반의 평가를 제공하기 위한 3D 모델을 통한 실시간 비디오의 오버레이.

3D 모델로 비디오를 정확히 네비게이팅 및 오버레이하기 위한 다수의 DVR 유니트들의 동시 제어(시간 네비게이션).

3D 모델에서 간단한 마우스 클릭으로 인한 PTZ 비디오의 제어 및 오버레이가 제공된다. PTZ 유니트들을 이동하기 위해 보안 요원에 의해 카메라가 요구되는 경우에 대한 특별한 지식은 제공되지 않는다. 시스템은 어떤 PTZ 유니트가 관심있는 영역을 보는데 적합한지를 자동으로 결정한다.

선택된 뷰 포인트에 기초한 비디오의 자동 선택은 시스템이 다수의 카메라들로의 가상 접속을 제공하기 위해 비디오 매트릭스 스위치들을 통합하도록 한다.

상세 레벨 렌더링 엔진은 매우 많은 3D 사이트들에 대한 정확한 네비게이션을 제공한다.

비디오 평가를 위한 사용자 인터페이스(VIDEO FLASHLIGHT™)

가시화: 비디오 평가 모듈에서 사용자에게 2가지 뷰들이 제공되며, (a) 3D 표시 뷰 및 (b) 맵 인셋 뷰 이다. 3D 표시 뷰는 3D 공간에 위치된 비디오 오버레이들 및 비디오 게시판들로 위치 모델을 디스플레이한다. 이는 위치의 세부 정보를 제공한다. 맵 인셋 뷰는 카메라 풋프린트 오버레이들로 위치의 하향식 뷰(top down view) 이다. 상기 뷰는 위치의 전체 내용을 제공한다.

네비게이션 :

원하는 뷰 포인트들을 통한 네비게이팅 : 위치의 네비게이션은 원하는 뷰 포인트들의 사이클을 사용하여 제공된다. 좌측 및 우측 화살표 키들은 사용자가 상기 키 뷰 포인트들 사이를 이동하게 한다. 서로다른 세부 레벨(뷰 포인트에서의 서로다른 줌 레벨들)에서 정의된 뷰 포인트 사이클들이 다수 제공된다. 상향 및 하향 화살표 키들은 상기 줌 레벨들에서 네비게이팅하는데 사용된다.

마우스를 사용한 네비게이션 : 사용자는 원하는 뷰 포인트를 지시하는 센터로의 비디오 오버레이들 중 몇몇을 좌측 클릭할 수 있다. 이는 사용자가 오버랩핑하는 카메라들의 시계를 통해 이동하는 이동중인 물체를 쉽게 추적하도록 한다. 사용자는 원하는 오버레이 뷰 포인트로의 변화를 위해 비디오 게시판들을 좌측 클릭할 수 있다.

맵 인셋을 통한 네비게이션 : 사용자는 특정 카메라에 대하여 원하는 뷰 포인트로 이동하기 위해 맵 인셋의 풋 프린트들을 좌측 클릭할 수 있다. 사용자는 또한 마우스를 좌측 클릭 및 드래그하여 원하는 줌 아웃된 위치의 뷰를 획득하기 위한 풋 프린트들의 세트를 식별한다.

PTZ 제어장치들:

마우스를 이용하여 PTZ 을 이동: 사용자는 PTZ 유니트들을 특정 위치로 이동시키기 위해 모델 또는 맵 인셋 뷰를 쉬프트-좌측 클릭할 수 있다. 시스템은 어떤 PTZ 유니트들이 상기 포인트를 보는데 적합한지를 자동으로 결정하고, 이에 따라 상기 위치를 보기 위해 PTZ들을 이동한다. 쉬프트 버튼을 누르는 동안, 사용자는 시스템이 이전에 선택된 경우에 정규 줌을 줌 인 또는 줌 아웃하기 위해 마우스 휠을 회전할 수 있다. PTZ 비디오를 볼 때, 시스템은 주요 PTZ 뷰 포인트에 뷰를 집중할 것이다.

PTZ 들 사이의 이동: 다수의 PTZ 유니트들이 특정 포인트를 볼 때, 원하는 뷰는 상기 포인트에 최인접한 PTZ 유니트에 할당될 것이다. 사용자는 좌측 및 우측 화살표 키들을 사용하여 상기 포인트를 보는 다른 PTZ 유니트들로 원하는 뷰를 스위칭할 수 있다.

버즈 -아이- 뷰(Birds-Eye-View)로부터의 PTZ 의 제어: 상기 모드에서, 사용자는 모든 고정된 카메라 뷰들 및 캠퍼스의 버즈 아이 뷰를 보면서 PTZ을 제어할 수 있다. 상향 및 하향 화살표 키들을 사용할 때, 보안 요원은 버즈-아이-뷰 사이를 이동할 수 있고, PTZ 비디오의 뷰들을 줌 인할 수 있다. PTZ의 제어는 전술된 것과 같이 위치 또는 인셋 맵을 쉬프트 클릭하여 수행된다.

DVR 제어장치들:

DVR 제어 패널을 선택: 사용자는 시스템내의 DVR 유니트들을 제어하기 위한 패널을 획득하기 위해 ctrl-v를 누를 수 있다.

DVR 재생 제어장치들: 디폴트에 의해 DVR 서브 시스템은 비디오 평가 스테이션, 즉 몰입형 디스플레이가 사용자에게 도시되는 비디오 스테이션에 실시간 비디오를 출력한다. 사용자는 시간상 현재 포인트에서 비디오를 중단하기 위해 일시 중지 버튼을 선택할 수 있다. 사용자는 DVR 모드로 스위칭한다. DVR 모드에서, 사용자는 기록된 비디오가 한계에 도달할 때까지 시간상으로 선행하는 재생 또는 이전 재생을 동시에 수행할 수 있다. 비디오가 DVR 모드에서 재생하는 동안, 사용자는 전술된 네비게이션 선택에 개시된 것과 같이, 위치를 네비게이팅할 수 있다.

DVR 탐색 제어장치들: 사용자는 사용자가 이동하고자 하는 관심있는 시간을 특정함으로써 시간상 주어진 포인트에서 모든 DVR 제되는 비디오들을 탐색할 수 있다. 시스템은 모든 비디오를 시간상 상기 포인트로 이동하고, 사용자가 또다른 DVR 명령을 선택할 때까지 일시 중지한다.

경고 평가 모듈

맵-기반의 브라우저 - 개요

맵-기반의 브라우저는 넓은 영역들에 대한 가시화 도구이다. 상기 브라우저의 제 1 구성 요소는 센서들(고정된 카메라들, ptz 카메라들, 펜스 센서들) 및 심볼 정보(텍스트, 시스템 수명, 경계선들, 물체의 시간에 따른 이동)을 표시하기 위한 서로다른 구성요소들을 포함하는 스크롤 가능하고 줌 가능한 직교형 맵이다.

상기 뷰를 수용하는 것은 그 목적이 넓은 뷰에 대한 시계를 표시하고, 넓은 뷰의 시계에서 구성요소들의 상태를 표시하고, 넓은 뷰의 뷰 포트를 변경하기 위한 또다른 방법을 제공하는 것이며 스크롤과 줌이 불가능한 맵의 경우로 축소된다.

맵-기반의 디스플레이 내의 구성요소들은 가시화 애플리케이션에 기초한 서로다른 동작들 및 기능들을 가질 수 있다. 경고 평가를 위해, 구성 요소들은 시각적인 구성요소가 표시하는 센서의 경고 상태에 기초하여 컬러를 변경하고 깜박일 수 있다. 센서에서 확인되지 않은 경고가 존재할 때, 이는 맵 기반의 디스플레이에 적색으로 표시되고 깜박일 수 있다. 센서에 대한 모든 경고들이 확인될 때, 구 성요소는 적색으로 표시되지만 더이상 깜박이지 않을 것이다. 센서들에 대한 모든 경고들이 안전하게 되면, 구성요소는 정상적인 녹색으로 복귀한다. 센서들은 맵-기반의 구성요소를 통해 디스에이블되면 다시 인에이블될 때까지 황색으로 표시된다.

다른 모듈들은 API(애플리케이션 프로그램 인터페이스)를 통해 이벤트들을 전송함으로써 맵 디스플레이 내의 구성요소들에 접근할 수 있다. 경고 리스트는 다수의 경고 스테이션들을 통해 경고들을 통합하여 사용자에게 경고 평가를 위해 문서 리스트로 표시하는 모듈이다. 상기 API를 사용할 때, 경고 리스트는 맵-기반의 구성요소들의 상태들을 변경할 수 있고, 상기 변경의 결과로 구성요소들은 컬러를 변경하고 깜박일 것이다. 경고 리스트는 시간, 우선순위, 센서 명칭 또는 경고 타입에 의해 경고들을 분류할 수 있다. 이는 경고 시점에 발생되는 비디오를 보기 위해 비디오 플래시 라이트들을 제어할 수 있다. 비디오-기반의 경고를 위해, 경고 리스트는 비디오 관찰 윈도우 내에서 경고를 발생하는 비디오를 디스플레이하고, 경로를 발생한 비디오를 디스크로 저장할 수 있다.

맵-기반의 브라우저의 비디오 플래시 라이트들과의 상호작용

맵-기반의 브라우저 내의 구성요소들은 맵-기반의 브라우저 내의 구성요소들은 가상 뷰 및 TCP/IP 접속을 통해 부과된 API를 통한 비디오 플래시 라이트 디스플레이로의 비디오 제공을 제어하는 능력을 갖는다. 이는 사용자에게 비디오 플래시 라이트에서 3D 장면을 네비게이팅하는 또다른 방법을 제공한다. 가상 뷰를 변경하는데 부가하여, 맵-기반의 디스플레이내의 구성요소들은 DVR들을 제어하고, 특 정 시간이 경과된 후에 카메라가 그 위치를 변화시키는 가상 투어를 발생할 수 있다. 상기 최종 기능은 비디오플래시 라이트들이 3D 장면을 사람이 뒤따르도록 하는 개인용 투어들을 발생한다.

맵-기반의 브라우저 디스플레이

경고 평가 스테이션은 다수의 기계들을 통한 다수의 경고들을 통합하여 이를 보안 요원에게 표시한다. 맵 디스플레이를 통해 강조되는 아니콘들 및 문서 리스트 뷰(도 4)로서 정보가 사용자에게 제공된다. 맵 뷰는 보안 요원이 정확한 공간 내용에서 위험을 식별하도록 한다. 이는 또한 관심있는 영역에서 보기 위한 비디오를 작동하기 위해 비디오-평가 스테이션을 제어하는 하이퍼-링크로서 동작한다. 리스트 뷰는 사용자가 경고를 경고 타입, 경고 시간으로 평가하고, 임의의 경고에 대하여 주석으로 제공되는 비디오 클립들을 보도록 한다.

키 특징들 및 명세들

AA 스테이션의 키 특징들은 다음과 같다:

상기 스테이션은 사용자에게 시각 경고 스테이션들로부터의 경고들, 드라이 컨택 입력들(dry contact inputs), 및 시스템에 통합된 다른 고객 경고들을 제공한다.

심볼 정보는 경고가 발생하는 내용을 제공하기 위해 2D 위치 맵에 오버레이된다.

문서 정보는 임의의 경고에서 상세 정보를 획득하기 위해 시간 또는 우선순위에 의해 분류되어 디스플레이된다.

사용자 입력에 의해 가이드되는 경고용 뷰 포인트를 자동으로 네비게이팅하기 위해 VIDEO FLASHLIGHT™를 작동한다.

실제 경고들의 표시된 비디오 클립들을 미리 보기 한다.

이후 사용을 위해 비디오 클립들을 저장한다.

사용자는 경고들을 확인함으로써 경고들을 관리할 수 있고, 경고 상황이 분석되면, 경고를 재발생한다. 사용자는 또한 경고 없이 발생하는 것으로 미리 계획된 동작을 인에이블하기 위해 특정 경고들을 디스에이블 할 수 있다.

경고 평가 모듈에 대한 사용자 인터페이스

가시화:

경고 리스트 뷰는 모든 시각 경고 스테이션들에 대한 경고들 및 외부 경고 소스들 또는 시스템 실패들을 단일 리스트로 통합한다. 상기 리스트는 실시간으로 업데이트된다. 리스트는 시간 또는 경고 우선순위들에 의해 분류될 수 있다.

맵 뷰는 맵들에 경고들이 발생하는 장소를 도시한다. 사용자는 맵 주위를 스크롤하거나 인셋 맵을 사용하여 영역들을 선택할 수 있다. 맵 뷰는 경고들을 표시된 심볼 영역들에 할당하여 경고가 발생하는 위치를 표시한다. 상기 영역들은 컬러 코딩되어 도 5에 도시된 것과 같이 경고가 활성인지 또는 아닌지를 표시한다. 경고 심볼들에 대한 바람직한 컬러-코딩은 (a) 적색: 갑작스런 행동으로 인한 비보안 활성 경고, (b) 회색: 시스템의 오작동으로 인한 경고, (c) 황색: 비디오 보안 디에이블 및 (d) 녹색: 모두 소거, 비활성 경고이다.

비디오 미리 보기: 비디오기반의 경고들에 대하여, 동작의 미리보기 클립이 사용가능하다. 상기경고들은 비디오 클립 윈도우에서 미리 보기 될 수 있다.

경고 확인:

리스트 뷰에서, 사용자는 그가 관찰하는 것을 표시하기 위해 경고들을 확인할 수 있다. 사용자는 개별적으로 경고들을 확인할 수 있거나, 팝업 메뉴를 획득하기 위해 우측 클릭하거나 확인을 선택함으로서 맵 뷰로부터의 특정 센서에서 모든 경고들을 확인할 수 있다.

만약 경고 조건이 분석된다면, 사용자는 리스트 뷰에서 보안 옵션을 선택함으로써 이를 표시할 수 있다. 경고가 확인되면, 리스트 뷰로부터 제거될 것이다. 사용자는 팝업 메뉴를 획득하기 위해 영역에서 우측 클릭하고, 보안 옵션을 선택함으로써 특정 센서에 대한 모든 경고들을 확인할 수 있다. 이는 리스트 뷰에서 상기 센서에 대한 모든 경고들을 소거할 것이다.

또한, 사용자는 팝업 메뉴를 사용하고, 디스에이블 옵션을 선택함으로써 임의의 센서로부터 경고들을 디스에이블할 수 있다. 임의의 새로운 경고는 자동으로 확인되고, 모든 디스에이블된 소스들에 대하여 확인될 것이다.

비디오 평가 스테이션 제어:

사용자는 특정 센서에 대하여 표시된 영역을 좌측 클릭함으로써 맵 뷰로부터 원하는 뷰로 비디오 평가 스테이션을 이동시킬 수 있다. 맵 뷰 제어장치는 상기 스테이션의 이동을 위해 네비게이션 명령을 비디오 평가 스테이션으로 전송할 것이다. 사용자는 일반적으로 비디오 평가 모듈을 사용하여 상황을 평가하기 위해 활성 경고 영역을 클릭할 것이다.

비디오 플래시 라이트 시스템 구조 및 하드웨어 구현

조종가능한 시스템 구조는 비디오 카메라 시스템의 블랭킷을 위해 몇몇 카메라들 또는 수백 개의 카메라들을 빠르게 발전시켰다(도 6). 그 발명은 모듈러 필터들을 가지는데 기반하며, 상기 필터들은 그들 사이에서 데이터를 출력하기 위해 상호 접속될 수 있다. 상기 필터들은 소스들(비디오 포착 디바이스들, PTZ 통신자들, 데이터 베이스 판독기들 등등), 변환기들(움직임 검출기들, 추적기들과 같은 알고리즘 모듈들) 또는 싱크들(렌더링 엔진들, 데이터 베이스 기록기들과 같은)이 될 수 있다. 이는 다수의 구성요소들이 동시에 동작하도록 하는 고유의 자체 능력으로 형성된다. 이는 시스템이 다중-프로세서 플랫폼들에서 사용가능한 자원들을 선택적으로 사용하도록 한다.

상기 구조는 네트워크를 통해 출력중인 데이터를 전송 및 수신할 수 있는 소스들 및 싱크들을 제공한다. 이는 시스템이 간단한 구성의 변경들만으로 다수의 PC 워크스테이션들을 통해 쉽게 분산되도록 한다.

필터 모듈들은 간단한 XML 기반의 구성 파일들에 기초하여 구동 시간에 동적으로 로딩된다. 이들은 모듈들 사이의 접속의 정의하고, 각각의 필터들에 특정 동작들을 한정한다. 이는 적분기가 임의의 코드를 변경하지 않고 다수의 기계들을 통해 제공하는 다양한 서로다른 최종 사용자 애플리케이션들을 신속하게 구성하도록 한다.

시스템 구조의 키 특징들은 다음과 같다:

시스템 조종능력: 다수의 프로세서들, 다수의 기계들을 통한 접속 능력.

구성요소 모듈 방식: 모듈러 구조는 소프트웨어 모듈들 사이에서 데이터 출력 메카니즘을 사용하여 모듈들의 명확한 구분을 유지한다. 각각의 모듈은 그들 사이에서 데이터를 출력하기 위한 공통 인터페이스를 가지는 필터로서 정의된다.

구성요소 업그레이드 능력: 시스템 인프라구조를 정지시키지 않고 시스템의 구성요소들을 대체할 수 있다.

데이터 출력 구조: 시스템내의 모듈들 사이에서 데이터를 출력하는데 기초한다. 시스템을 통한 시간의 고유한 이해를 수행하고 다수의 소스들로부터 데이터를 동기화 및 합병할 수 있다.

데이터 저장 구조: 프로세서마다 다수의 메타-데이터 스트림들을 동시에 기록 및 재생하는 능력. 각각의 노드에서 탐색 및 검토 능력들을 제공하며, 이는 맵/모델 기반 디스플레이 및 다른 클라이언트들에 의해 구동될 수 있다. 백-엔드(back-end) SQL 데이터 베이스 엔진에 의해 전력이 제공된다.

본 발명의 시스템은 시스템의 센서들과의 효율적인 통신을 제공하며, 상기 센서들은 일반적으로 카메라들이지만, 연기 또는 화재 검출기들, 움직임 검출기, 문 개방 센서들, 또는 임의의 다양한 보안 센서들과 같은 다른 형태의 센서들이 될 수 있다. 유사하게, 센서들로부터의 데이터는 일반적으로 비디오가 될 수 있지만, 검출된 움직임 또는 지시, 화재 또는 임의의 다른 센서 데이터의 경고 표시들과 같은 다른 종류의 데이터가 될 수 있다.

감시 시스템의 키 요구조건은 임의의 주어진 시간에 관찰된 데이터를 선택할 수 있어야 하는 것이다. 비디오 카메라들은 수십, 수백 또는 수천 비디오 시퀀스 들을 출력한다. 뷰 선택 시스템은 본 명세서에서 상기 비디오 데이터 뿐만 아니라 다른 센서들로부터의 데이터를 가시화, 관리, 저장, 재생, 및 분석하기 위한 수단이다.

뷰 선택 시스템

도 7는 비디오에 대한 선택 기준을 도시한다. 개별 센서 카메라 번호들(예를 들면, 카메라 1, 카메라 2, 카메라 3 등등)를 입력하는 것보다, 감시 데이터의 디스플레이는 선택된 가상-카메라 위치 또는 뷰 포인트를 제공하는 뷰-포인트 선택기(3) 에 기초하며, 상기 가상-카메라 위치 또는 뷰 포인트는 디스플레이될 감시 데이터의 적절한 실시간 뷰를 표시하기 위해 하나의 포인트 및 상기 포인트로부터의 시계를 시스템에 한정하는 데이터의 세트를 의미한다. 가상-카메라 위치는 조이스틱과 같은 입력 디바이스를 사용한 상호작용 스테이션 또는 경고 센서의 출력으로부터 수신된 전자 데이터와 같은 운영자 입력으로부터 운영자에 의해 제어되지 않고 이벤트에 자동화된 응답으로서 유도될 수 있다.

뷰 포인트가 선택되면, 시스템은 특정 뷰 포인트에 대한 시계를 위해 어떤 센서들이 관련되는지를 자동으로 계산한다. 바람직한 실시예에서, 시스템은 시스템 센서들 중 어떤 서브세트가 비디오 우선순위 결정기/선택기(5)와 관련된 비디오 오버레이 영역의 시계를 나타내는지 계산하며, 상기 비디오 우선순위 결정기/선택기(5)는 뷰 포인트 선택기(3)와 접속되어 가상-카메라 뷰 포인트를 한정하는 데이터를 수신한다. 시스템은 비디오 우선순위 결정기/선택기(5)를 통해 선택된 센서들, 즉 관련된 센서들의 서브세트로 동적으로 스위칭하며, 비디오 스위치(7)의 제 어에 의해 시스템의 다른 센서들로 스위칭하는 것을 방지한다. 비디오 스위치(7)는 시스템 내의 모든 센서들(카메라들을 포함)의 입력들에 접속되며, 상기 입력들은 다수의 비디오 또는 데이터 공급들(9)을 발생한다. 선택기(5)로부터의 제어에 기초하여, 스위치(7)는 통신 링크를 통해 관련된 센서들의 서브세트로부터의 데이터 공급들을 전달하고 다른 센서들로부터 데이터 공급들의 전송을 방지하도록 스위칭하며, 이는 비디오 오버레이 스테이션(13)에 선택된 가상-카메라 뷰 포인트와 관련된 데이터 공급들(11)의 감소된 서브세트만을 전송하기 위함이다.

바람직한 실시예에 따라, 스위치(7)는 원래의 큰 세트(9)로부터의 소수의 비디오 공급들(11)을 비디오 오버레이 스테이션(13)으로 스위칭하기 위해 비디오 우선순위 결정기/선택기(5)에 의해 제어되는 아날로그 매트릭스 스위치이다. 상기 시스템은 특히 상기 공급들이 제한된 유선 라인 세트를 통해 디스플레이하기 위해 비디오 평가 스테이션에 전송된 아날로그 비디오일 때 사용된다. 상기 시스템에서, 현재의 시계와 관련없는 비디오 카메라들로부터의 아날로그 신호들의 흐름은 스위치 오프되어 비디오 평가 스테이션에 정보를 입력하지 않도록 하고, 관련된 카메라들로부터의 비디오 공급들은 그들의 접속중인 전선들을 통화하기 위해 물리적으로 스위치 온 된다.

선택적으로, 비디오 카메라들은 디지털 비디오를 발생하며, 이는 비디오 평가 스테이션과 결합된 로컬 영역 네트워크에 접속된 디지털 비디오 서버들로 전송되어 디지털 비디오가 네트워크를 통해 비디오 평가 스테이션에 출력되도록 한다. 상기 시스템에서, 비디오 스위치는 비디오 평가 스테이션의 일부이며, 이는 네트워 크를 통해 개별 디지털 비디오 서버와 통신한다. 서버가 관련된 카메라를 가지면, 스위치는 서버가 상기 비디오를 비디오 평가 스테이션에 출력하도록 지시한다. 비디오가 관련된 것이 아니면, 스위치는 비디오를 전송하지 말라는 명령을 비디오 서버로 전송한다. 그 결과 네트워크에서의 트래픽이 감소하고, 디스플레이를 위해 관련된 정보를 비디오 스테이션에 전송하는데 있어 효율이 증가한다.

비디오는 장면의 2D 또는 3D 모델의 상부, 즉 미국 공개 특허 출원 2003/0085992에 개시된 것과 같은 몰입형 비디오 시스템에 렌더링되는 것으로 도시된다. 비디오 오버레이 스테이션(13)은 관련된 데이터 공급들(11), 특히 비디오 영상을 시스템의 사이트의 2D 또는 바람직하게 3D 모델을 사용하여 렌더링 시스템에 의해 발생된 뷰들의 실시간 렌더링된 이미지들과 결합하여 실시간 몰입형 감시 시스템 디스플레이를 구성하는 비디오를 발생하며, 상기 모델은 또한 일반적으로 통계적 정보라 지칭될 수 있고, 바람직하게 비디오 오버레이 스테이션(13)의 렌더링 구성요소에 접속가능한 데이터 저장 디바이스(15)에 저장된다. 각각의 장면 이미지에 렌더링 되는 것으로 도시될 관련된 통계적 정보는 뷰 포인트 선택기(3)에 의해 결정된다.

비디오 오버레이 스테이션(13)은 관련된 비디오 영상을 예를 들면 문서로 적용함으로써 디스플레이 비디오의 각각의 이미지를 시계의 적절한 부분들에서의 렌더링된 이미지와 비교한다. 부가적으로, 통계적 정보가 동일한 방식으로 선택된다. 뷰 포인트 선택기는 어떤 통계적 정보가 도시되는지를 결정한다.

디스플레이를 위한 비디오가 렌더링되어 관련된 센서 데이터 스트림들과 결 합되면, 운영자에게 디스플레이되도록 디스플레이 디바이스로 전송된다.

상기 4개의 블럭들, 비디오 센서(3), 비디오 우선순위 결정기/선택기(5), 비디오 스위치(7) 및 비디오 오버레이 스테이션(13)은 잠정적으로 수천개의 카메라 뷰들의 디스플레이를 처리하기 위해 제공된다.

당업자는 상기 기능들이 소프트웨어에 의해 수행되는 기능들을 가지는 단일의 컴퓨터 시스템에서 지원될 수 있거나, 개별 작업들을 수행하는 컴퓨터 구성요소들로 분산되는 것을 이해할 것이다. 시스템이 비디오를 비디오 스테이션에 전송하기 위한 네트워크에 의존하는 경우에, 뷰 포인트 선택기(3), 비디오 선택기(5), 비디오 스위치(7) 및 비디오 오버레이 및 렌더링 스테이션 모두가 각각에 대한 소프트웨어 모듈들을 사용하여 비디오 스테이션 컴퓨터에 제공되는 것은 바람직하다.

만약 시스템이 하드웨어 비디오 공급들 및 네트워킹 되지 않거나 아날로그 통신에 더 의존한다면, 구성요소들은 개별 회로들이 되며, 비디오 스위치는 비디오가 선택된 시계와 연관되지 않을 때 턴 오프되고 대역폭을 저장하는 비디오 소스 근처의 실제 물리적 스위치에 유선으로 결합된다.

동기화된 데이터 포착, 재생 및 디스플레이

수천 개의 센서들로부터 실시간 데이터를 가시화하는 능력을 가질 때, 데이터가 실시간이었다고 해도 바로 재생되도록 하는 방식으로 데이터를 저장해야 한다.

대부분의 디지털 비디오 시스템들은 각각의 카메라로부터 데이터를 개별적으로 저장한다. 그러나, 바람직한 실시예에 따라, 시스템은 비디오 데이터를 동기식 으로 기록하고, 다시 동기식으로 판독하며, 몰입형 감시(바람직하게, VIDEO FLASHLIGHT™) 디스플레이에 디스플레이하도록 구성된다.

도 2는 동기화된 데이터를 VIDEO FLASHLIGHT™에서 포착, 재생 및 디스플레이하는 블럭 다이어그램을 도시한다. 레코더 제어기(17)는 모든 데이터의 기록을 동기화하며, 저장된 데이터의 각각의 프레임은 데이터, 즉 데이터가 발생된 시간을 확인하는 시간 스탬프를 포함한다. 바람직한 실시예에서, 상기 동기화된 기록은 DVR 디바이스들(19, 21)의 이더넷 제어에 의해 수행된다.

레코더 제어기(17)는 DVR 디바이스들의 재생을 제어하고, 레코드 및 재생 시간들이 정확히 동시에 초기화되는 것을 보장한다. 재생시, 레코더 제어기(17)는 DVR 디바이스들이 시간상 운영자에 의해 선택된 포인트로부터 시작하여 선택된 가상 카메라 뷰 포인트에 관련된 비디오를 재생하도록 한다. 데이터는 로컬 네트워크를 통해 데이터 동기화기(23)에 출력되며, 상기 데이터 동기화기(23)는 데이터 판독의 임의의 실시간 차이를 처리하기 위해 배생된 데이터를 저장하고, 다수의 데이터 스트림들을 정확히 동기화하기 위해 시간 스탬프들과 같은 정보를 판독하여 다수의 기록된 데이터 스트림들의 모든 프레임들이 동일한 시간 주기로부터 존재하도록 하며, 동기화된 데이터를 예를 들어 VIDEO FLASHLIGHT™와 같은 몰입형 감시 디스플레이 시스템 및 렌더링 구성요소, 프로세싱 구성요소 및 일반적으로 27로 표시된 데이터 통합 구성요소들과 같은 시스템 내의 임의의 다른 구성요소들에 분포시킨다.

유사한 실시예에서, 카메라들로부터의 유사한 비디오는 회로 랙(rack)에 제 공되어 분리된다. 비디오의 일부분은 전술된 것과 같은 맵 뷰어 스테이션에 제공된다. 다른 부분은 3개의 다른 카메라 비디오와 함께 코드 박스를 통해 레코더로 제공되어 동기화된 방식으로 모두 4개의 비디오 공급들을 저장한다. 비디오는 기록되고, 또한 현재 뷰 포인트와 연관되는 경우에 VIDEO FLASHLIGHT™에 의한 몰입형 디스플레이로 렌더링하기 위해 유선을 통해 비디오 스테이션으로 전송된다.

더 많은 디지털 환경에서, 약 4개 내지 12개의 카메라들에 각각 부착된 다수의 디지털 비디오 서버들이 제공된다. 카메라들은 감시 시스템의 네트워크에 접속된 디지털 비디오 서버에 접속된다. 디지털 비디오 서버는 동일한 물리적 위치에서 카메라들로부터 비디오를 저장하는 디지털 비디오 레코더(DVR)에 접속된다. 서버는 관련되는 경우에 몰입형 디스플레이를 위해 렌더링된 이미지들로의 애플리케이션을 위한 비디오 스테이션에 비디오를 출력하며, 전술된 비디오 스위치가 지시하지 않는 경우에 비디오를 전송하지 않는다.

실시간 비디오 데이터가 전술된 것과 같은 몰입형 감시 디스플레이에 적용되는 것과 동일한 방식으로, 기록된 동기화된 데이터는 운영자에게 디스플레이되는 실시간 몰입형 감시 재생 디스플레이에 통합된다. 운영자는 장면 모델을 통해 이동하고 그가 선택한 뷰 포인트로부터 렌더링된 장면을 보도록 인에이블되며, 관심있는 주기로부터 비디오 또는 다른 데이터를 사용한다.

레코더 제어기 및 데이터 동기화기는 바람직하게 각각의 지정된 컴퓨터 시스템이지만, 하나 또는 그 이상의 컴퓨터 시스템들 또는 전자 구성요소들에서 지원될 수 있고, 그 기능들은 당업자가 용이하게 이해하는 것과 같이 그들의 시스템들 내 부의 하드웨어 및/또는 소프트웨어에 의해 수행될 수 있다.

데이터 통합기 및 디스플레이

비디오 센서들, 즉 카메라들 이외에, 시스템 내에 수천 개의 비-비디오 기반 센서들 중 수백 개가 존재할 수 있다. 상기 센서들의 가시화 및 관리는 매우 중요하다.

도 3에 도시된 것과 같이, 심볼 데이터 통합기(27)는 서로다른 메타 데이터 소스(비디오 경고들, 액세스 제어 경고들, 물체 트랙들과 같은)로부터 데이터를 실시간으로 종합한다. 규칙 엔진(29)은 다수의 정보 조각들을 결합하여 복잡한 상황 결정들을 발생하며, 서로다른 메타 데이터 입력들의 세트들 및 그에 제공되는 미리결정된 응답 규칙들에 따라 자동화된 응답 사항으로서 다양한 결정들을 수행한다. 규칙들은 예를 들면 센서들의 지리적 위치에 기초할 수 있고 동적 운영자 입력에 기초할 수 있다.

심볼 정보 뷰어(31)는 사용자에게 규칙 엔진(29)의 결정들을 제공하는 방법(예를 들면, 컬러/아이콘)을 결정한다. 규칙 엔진 결정들의 결과들은 그후 적절한 경우에 뷰 제어 인터페이스를 통해 비디오 평가 스테이션의 뷰 포인트를 제어하는데 사용된다. 예를 들어, 특정 형태의 경고는 운영자에게 자동으로 경고하며, 운영자의 디스플레이 디바이스가 경고 조건을 확인하는 메타 데이터를 전송하는 센서의 위치를 네비게이팅하는 가상 카메라 뷰 포인트로부터 몰입형 감시 디스플레이 뷰를 즉시 디스플레이하도록 한다.

상기 시스템의 구성요소들은 개별 전자 하드웨어가 될 수 있지만, 운영자 디 스플레이 단말기에서 또는 상기 단말기와 공유되는 컴퓨터 시스템의 적절한 소프트웨어 구성요소들을 사용하여 구성될 수 있다.

제한된 네비게이션

몰입형 감시 디스플레이 시스템은 공간 및 시간 네비게이팅하기 위한 제한 없는 수단들을 제공한다. 그러나, 매일 사용하는 경우에, 시간 및 공간의 특정 위치들만이 바로 애플리케이션과 관련된다. 본 발명의 시스템은 VIDEO FLASHLIGHT™ 시스템에 제한된 공간 및 시간 네비게이션을 적용한다. 차량과 기차 사이에 유사성이 발견될 수 있는데, 기차는 공간상 특정 경로들을 따라서만 이동할 수 있는 반면, 차량은 임의의 수의 경로들에서 이동할 수 있다.

상기와 같은 구현의 일 예는 센서 커버리지가 제공되지 않는 위치들의 용이한 관찰을 제한하는 것이다. 이는 운영자가 조이스틱 또는 컴퓨터 스크린상의 마우스 클릭과 같은 입력 디바이스를 사용하여 원하는 뷰 포인트를 분석함으로써 실행된다. 시스템은 스크린에서 클릭된 포인트에 집중하는 3D 광찰 위치에서의 변경을 계산함으로써 원하는 뷰 포인트를 계산한다. 시스템은 뷰 포인트가 가시화되거나 일시적으로 가시화될 수 있는 임의의 센서들을 포함하는지의 여부를 결정하고, 센서가 존재한다는 결정에 응답하여 뷰 포인트를 변경하는 반면, 센서가 존재하지 않는다는 결정에 응답하여 뷰 포인트를 변경하지 않을 것이다.

제한된 동작들의 계층들은 하기에 기술되는 것과 같이 발전된다.

맵 또는 이벤트-기반의 네비게이션

디스플레이 내의 포인트들에 대한 마우스 클릭들 또는 조이스틱 등에 의해서 와 같이 몰입형 비디오 디스플레이 자체 내에서 네비게이팅하는 것뿐만 아니라, 시스템은 운영자가 외부에서 지시되는 이벤트들을 사용하여 네비게이팅하도록 한다.

예를 들면, 도 4의 스크린 샷에 도시되는 것과 같이, VIDEO FLASHLIGHT™ 디스플레이는 렌더링된 몰입형 비디오 디스플레이(39)에 부가하여 맵 디스플레이(37)를 포함한다. 맵 디스플레이는 경고들의 리스트(41) 뿐만 아니라 영역의 맵을 도시한다. 리스트된 경고 또는 맵을 간단히 클릭함으로써, 뷰 포인트는 그 위치에 해당하는 새로운 뷰 포인트로 즉시 변경되며, VIDEO FLASHLIGHT™ 디스플레이는 새로운 뷰 포인트에 대하여 렌더링된다.

맵 디스플레이(37)는 컬러를 변경하거나, 아이콘은 도 4에 도시된 것과 같이 센서 이벤트를 표시하며, 벽 위반(wall breach)이 검출된다. 운영자는 맵 디스플레이(370상의 표시자를 클릭할 수 있고, 몰입형 디스플레이(39)에 대한 뷰의 포인트는 디스플레이될 센서 이벤트에 대하여 미리 프로그래밍된 뷰 포인트로 변경될 것이다.

PTZ 제어

이미지 처리 시스템은 모든 카메라 센서 뿐만 아니라 3D 모델에서 모든 픽셀의 (x,y,z) 워드 좌표들을 알고 있다. 사용자가 마우스를 사용하여 2D 또는 3D 몰입형 비디오 모델의 디스플레이 상의 포인트를 클릭하면, 시스템은 상기 포인트로 집중된 시계를 보기 위한 최적의 카메라를 식별한다.

몇몇 경우들에서, 위치를 보기 위해 최적으로 위치된 팬-틸트-줌 카메라(PTZ)이며, 원하는 위치를 보는데 필요한 방향과 다른 방향에서 지시될 수 있다. 상기 경우에, 시스템은 위치 파라미터(예를 들면, 지시된 팬, 틸트, 센서의 기계적인 팬, 틸트, 줌 앵글들)을 계산하고, 네트워크를 통해 카메라에 적절한 전기적 제어 신호들을 전송함으로써 PTZ에 상기 위치를 지시하며, 몰입형 감시 디스플레이로 입력되는 PTZ 비디오를 수신한다.

PTZ 핸드 - 오프

전술된 것과 같이, 시스템은 3D 모델에서 뿐만 아니라 모든 카메라 센서의 모든 픽셀의 (x,y,z) 워드 좌표들을 알고 있다. 카메라 센서의 위치가 공지되기 때문에, 시스템은 원하는 관찰 요구조건들에 기초하여 사용하기 위한 센서를 선택할 수 있다. 예를 들면, 바람직한 실시예에서, 장면이 하나 이상의 PTZ 카메라를 포함할 때 시스템은 PTZ 위치들 및 관심있는 포인트의 지면에 영사된 2D(예를 들면, 이후에 긴) 또는 3D 좌표들에 전체적으로 또는 부분적으로 기초하여 하나 또는 그이상의 PTZ들을 자동으로 선택한다.

바람직한 실시예에서, 시스템은 각각의 PTZ으로부터 그들의 2D 또는 3D 좌표들에 기초하여 물체로의 거리를 계산하며, 상기 물체를 보기 위해 물체에 최인접한 PTZ을 사용할 것을 선택한다. 추가의 규칙들은 장면 내에 모델링된 3D 물체들로부터의 차단들 뿐만 아니라 팬, 틸트, 줌 값들을 위한 비-진행(no-go) 영역들을 설명하는 것을 포함하며, 상기 규칙들은 상기 위치에서 특정 선택된 포인트를 보기 위해 어떤 카메라가 최적인지의 결정에 부가된다.

PTZ 조정

PTZ들은 3D 장면에 대한 조정을 필요로 한다. 상기 조정은 PTZ로부터 가시 화될 수 있는 VIDEO FLASHLIGHT™ 모델 내의 3D(x, y, z) 포인트들을 선택함으로써 수행된다. PTZ는 상기 위치에 지시되고, 기계적인 팬, 틸트, 줌 값들이 판독되어 저장된다. 이는 PTZ 카메라의 위치 주위에 분포된 모델 내의 몇몇 서로다른 포인트들에서 반복된다. 선형 피트(fit)는 팬, 틸트 및 줌 공간들에서의 각각의 포인트들에 수행된다. 줌 공간은 때때로 비선형이고, 제작자들 또는 경험적인 네비게이팅은 피팅(fitting) 이전에 수행될 수 있다. 선형 피트는 PTZ이 이동하도록 요구될 때마다 동적으로 수행된다. PTZ이 3D 위치에서 지시하도록 요구될 때, 모델 공간(파이, 세타)에서의 팬 및 틸트 각도들은 PTZ 위치와 관련하여 원하는 위치에 대하여 계산된다. 파이 및 세타는 PTZ 위치와 관련하여 모든 조정 포인트들에 대하여 계산된다. 선형 피트들은 그 후에 원하는 위치에 해당하는 파이 및 세타와 인접한 조정 파이들 및 세타들을 더 강하게 가중하는 가중된 최소 제곱들을 사용하여 조정 시간으로부터 저장된 기계적인 팬, 틸트 및 줌 값들에 각각 수행된다.

최소 제곱 피트는 조정 파이들 및 세타들을 x 좌표 입력들로 사용하고 PTZ로부터 측정된 팬, 틸트 및 줌 값들을 y 좌표 값들로 사용한다. 최소 제곱 피트는 주어진 입력 'x'값에 대한 출력 'y'값을 제공하는 파라미터들을 복원한다. 원하는 포인트에 상응하는 파이 및 세타는 파라미터화된 식('x' 값)을 표현하는 컴퓨터 프로그램에 제공되며, 그후에 PTZ 카메라에 대한 기계적인 포인팅 팬(및 틸트, 줌)으로 복귀한다. 상기 결정된 값들은 이후에 PTZ 유니트에 그 위치, 방향 및 줌을 제어하기 위해 전송할 적절한 전기적 제어 신호들을 결정하는데 사용된다.

몰입형 감시 디스플레이 인덱싱

VIDEO FLASHLIGHT™ 시스템에서 비디오 및 다른 정보를 통합하는 장점은 데이터가 이전에 불가능한 방식에서 인덱싱될 수 있다는 것이다. 예를 들어, 만약 VIDEO FLASHLIGHT™ 시스템이 다수의 체크 포인트들에 설치된 장서 표 판독 시스템에 접속되면, VIDEO FLASHLIGHT™ 시스템의 단일 질문(전술된 규칙 기반 시스템을 사용하는)은 상기 차량의 모든 경우들의 영상을 순간적으로 도시할 수 있다. 일반적으로, 상기 작업은 매우 힘든 작업이다.

VIDEO FLASHLIGHT™는 센서의 "운영 시스템" 이다. 센서들의 공간적 및 알고리즘 결합은 감시 형태의 애플리케이션에서 타겟의 정확한 식별 가능성 및 검출 가능성을 개선한다. 상기 센서들은 비디오, 음향, 진동, 자기장, IR 등등을 포함하는 수동 또는 능동형태가 될 수 있다.

도 5는 시스템의 소프트웨어 구조를 도시한다. 본질적으로 모든 센서 정보는 센서 드라이버들을 통해 시스템으로 제공되고, 이는 도면의 하부에 도시된다. 보조 센서들(45)은 전술된 것과 같이 하나의 위치에서 효율적인 감시를 수행하기 위한 임의의 능동/수동 센서들이다. 상기 모든 센서들로부터의 관련된 정보와 고정된 PTZ 카메라들(47 및 49)로부터의 실시간 비디오는 상기 모든 정보를 통합하는 메타-데이터 관리자(51)에 제공된다.

시스템의 기본적인 인공 지능을 정의하는 상기 레벨(51)에서 규칙-기반의 처리가 수행된다. 규칙들은 메타-데이터 관리자(51)에서 임의의 디바이스들(45, 47, 49)을 제어하는 능력을 가지며, "복도 A에서 임의의 문이 열릴 때만 비디오를 기록", "존 B에서 임의의 물체를 PTZ 카메라로 트래킹", 또는 "VIDEO FLASHLIGHT™이 프로파일 또는 조리개-기준과 매칭되는 사람으로 접근하여 줌하도록 함"와 같은 규칙들이 될 수 있다.

상기 규칙들은 3D 렌더링 엔진(53; 메타-데이타 관리자의 상부에서 디스플레이를 위해 데이터를 수신함)에 의해 렌더링되는 뷰에 직접 시퀀스들을 가지며, 이는 일반적으로 시각 정보가 나중에 증명되기 때문이고, 사용자들/보안 요원들은 관심있는 물체로 접근하여 줌하고, 시스템에 의해 제공되는 시각적 피드백으로 그 상황을 추가 평가한다.

전술된 모든 능력들은 사용가능한 TCP/IP 서비스들과 함께 원격으로 사용될 수 있다. 상기 모듈(55)은 물리적으로 기기를 구비하지 않지만 서비스들을 사용하기 원하는 원격 사이트들에 API를 부과한다. 원격 사용자들은 로컬 사용자가 수행하는 것과 같이 애플리케이션의 출력을 보는 능력을 가지며, 이는 렌더링된 이미지가 원격 사이트에 실시간으로 전송되기 때문이다.

이는 모든 정보(비디오 센서들, 보조 센서들 및 공간 정보)를 하나의 소형 포맷, 즉 렌더링된 실시간 프로그램 출력으로 압축하는 수단이며, 그 이유는 사용자가 키보드와 같은 임의의 종류의 입력 디바이스 및 스크린을 제외한 임의의 장비를 가지지 않고 국부적으로 수행하는 것처럼 모든 상기 정보를 원격으로 평가할 수 있기 때문이다. 일 예는 휴대용 컴퓨터를 사용하여 상기 모든 정보에 접속하는 것이다.

시스템은 도 6에 도시된 것과 같이 시스템의 다양한 디스플레이 구성요소들이 사용자에게 디스플레이되는 디스플레이 단말기를 갖는다. 디스플레이 디바이스 는 특히 렌더링된 비디오 감시 및 운영자 선택된 뷰 포인트에 대한 데이터를 디스플레이하는 그래픽 사용자 인터페이스(GUI)를 포함하며, 마우스, 조이스틱 또는 다른 입력들에 접속하여 뷰 포인트를 변경하거나 시스템을 감독한다.

뷰 포인트 네비게이션 제어

몰입형 감시 시스템들의 이전 설계들에서, 사용자는 뷰 포인트에 대한 제약이 없는 3D 환경에서 자유롭게 네비게이팅하였다. 현재의 설계에서, 사용자들의 임시적인 뷰 포인트들에 제약들이 제공되며, 따라서 시각 품질을 증가하고, 사용자 상호작용의 복잡도를 감소시킨다.

완전히 자유인 네비게이션의 단점들 중 하나는 사용자가 3D 제어들(일반적으로 위치(x,y,z), 회전(피치각, 방위각, 회전각) 및 시계를 포함하는 7개 이상의 제어할 파라미터들이 존재하기 때문에 쉬운 작업은 아니다)에 친숙하지 않을 경우에 뷰 포인트들을 손실하거나 불만족스런 뷰 포인트들을 발생하기 쉽다는 것이다. 이는 시스템이 완벽한 뷰 포인트를 생성하는 것을 지원하는 이유이며, 이는 비디오 영사들이 연속하는 환경의 개별 부분들 내에 있고, 상기 부분들이 가능한 한 최적의 방식으로 가시화될 수 있기 때문이다. 원조는 운영자 콘솔, 뷰 포인트 계층들, 클릭 및 줌에 의한 회전 및 맵 기반의 네비게이션 등을 통해 제공하는 형태가 될 수 있다.

뷰 포인트 계층

뷰 포인트 계층 네비게이션은 비디오 영사들의 개별 특성을 이용하여 사용자 상호작용의 복잡성을 애플리케이션에 따라 7+ 크기들로부터 4 또는 그 미만으로 감 소시킨다. 상기 계층을 발생하는 한가지 가능한 방식은 다음과 같다; 최저 레벨 계층은 뷰 포인트들이 더 많은 내용을 획득하기 위해 더 큰 시계를 가지는 장면내에 카메라 위치들 및 방위들과 정확히 등가인 뷰 포인트들을 표시한다. 더 높은 레벨의 뷰 포인트들은 더 많은 카메라 클러스터들을 도시하며 계층의 최상위 노드는 장면내의 모든 카메라 영사들을 보여주는 뷰 포인트를 표시한다.

상기 계층이 형성되면, 위치 및 방위와 같은 절대 파라미터들을 제어하는 대신에, 사용자는 장면 내의 어느 곳을 볼 것인지의 간단한 결정을 수행하며, 시스템은 계층을 사용하여 사용자에게 최적인 뷰를 결정 및 생성한다. 사용자는 또한 계층을 업 또는 다운하거나 피어 노드들로 이동할 수 있으며, 즉 뷰 포인트들은 계층 내의 동일한 레벨에서 측면으로 이격된다.

모든 노드들이 고객의 요구들 및 위치에 대한 카메라 구성에 따라 이전에 조심스럽게 선택된 완벽한 뷰 포인트들이기 때문에, 사용자는 낮은 레벨의 복잡성의 간단한 선택으로 하나의 뷰로부터 또다른 뷰로 이동함으로써 장면 내에서 네비게이팅할 수 있고, 시각 품질은 항상 전술된 몇몇 제어된 임계치이다.

클릭 및 줌에 의한 회전

상기 네비게이션 방식은 시스템에 대한 사용자 인터페이스 디바이스로서 불필요한 조이스틱을 실행하며, 마우스는 바람직한 입력 디바이스이다.

사용자가 뷰 포인트로부터 하나의 뷰로 디스플레이된 장면을 조사할 때, 3S 장면 내의 관심있는 물체를 클릭함으로써 뷰 포인트를 제어할 수 있다. 상기 입력은 뷰 포인트 파라미터들에서 변경을 유발하여 뷰가 회전되도록 하고, 클릭된 물체 는 뷰의 중심에 위치한다. 물체가 중심에 위치되면, 줌은 마우스를 사용하는 추가 입력에 의해 수행될 수 있다. 상기 물체-중심 네비게이션은 네비게이션이 훨씬 더 즉각적일 수 있게 한다.

맵-기반 뷰 및 네비게이션

사용자가 세계의 일부분을 볼 때, "큰 그림"을 보고, 더 많은 내용을 가져야 하며, 즉 위치의 맵을 보아야 한다. 이는 특히 사용자가 경고 발생에 응답하여 3D 장면의 또다른 부분으로 스위칭하기를 원하는 경우에 유용하다.

VIDEO FLASHLIGHT™ 시스템에서, 사용자는 장면의 수직 맵-뷰에 접속할 수 있다. 상기 뷰에서, 장면내의 모든 자원들은 다양한 센서들을 포함하고, 현재 상태와 함께 표시된다. 그중 비디오 센서들이 존재하며, 사용자는 그들의 디스플레이된 풋프린트들을 선택함으로써 상기 맵-뷰에서 하나 또는 그 이상의 비디오 센서들을 선택하여 3D 장면에서 그가 원하는 최적의 뷰를 생성할 수 있고, 시스템은 모든 센서들을 보여주는 뷰 프린트를 자동으로 네비게이팅함으로써 이에 응답한다.

PTZ 네비게이션 제어

팬, 틸트, 줌(PTZ) 카메라들은 일반적으로 하나의 위치에 고정되며, 회전 및 줌할 수 있다. PTZ 카메라들은 전술된 것과 같이 3D 환경으로 조정될 수 있다.

회전 및 줌 파라미터들의 유도

조정이 수행되면, 영상은 3D 환경의 임의의 포인트에 대하여 발생될 수 있는데, 이는 상기 포인트 및 PTZ의 위치가 유일한 팬/틸트/줌 조합을 형성하는 라인을 발생하기 때문이다. 여기에서, 줌는 특정 크기(사람(~2m), 차량(~5m), 트럭(~15m) 등등)를 "트래킹"하도록 조절될 수 있고, 따라서 PTZ으로부터 포인트의 거리에 따라 줌을 조절한다. 줌는 상황에 따라 추가로 조절될 수 있다.

PTZ 및 사용자 상호작용의 제어

VIDEO FLASHLIGHT™ 시스템에서, PTZ을 사용하는 영역을 조사하기 위해, 사용자는 3D 환경의 렌더링된 이미지 내의 지점(spot)을 클릭한다. 상기 위치는 회전 각도들과 초기 줌을 발생하기 위해 소프트웨어에 의해 사용된다. 상기 파라미터들은 PTZ 제어기 유니트에 전송된다. PTZ은 포인트를 향해 줌한다. 그동안에, PTZ 유니트는 직접적인 팬, 틸트, 줌 파라미터들 및 비디오 공급을 다시 전송한다. 상기 파라미터들은 VIDEO FLASHLIGHT™ 조정 시스템에서 다시 변환되어 비디오를 우측 지점에 영사하고 진행하는 비디오는 영사된 이미지로서 사용된다. 따라서, 하나의 지점으로부터 또다른 지점으로 회전하는 PTZ는 3D 모델에 영사된 실시간 이미지를 가시화한다.

한가지 대안은 3D 모델을 사용하지 않고 키보드 스트로크들 또는 임의의 다른 입력 디바이스를 사용하여 PTZ 팬/틸트/줌을 제어하는 것이다. 이는 사람을 추적하는 동안 팬/틸트와 같은 파생적인 움직임들에 유용한 것으로 증명되며, 상기 경우에 사람이 계속하여 클릭하는 대신에 사용자가 사전 설정된 키들을 클릭한다. (예를 들면, 화살표 키들 좌측/우측/상/하/쉬프트-업/쉬프트-다운은 팬-레프트/팬-라이트/틸트-업/틸트-다운/줌-아웃으로 맵핑된다).

PTZ 을 제어하는 동안 장면의 가시화

3D 모델을 클릭함에 따른 PTZ의 제어 및 회전하는 PTZ 카메라의 가시화는 전 술되었다. 그러나, 상기 결과를 가시화하기 위해서는 뷰 포인트가 중요할 수 있다. 한가지 이상적인 방법은 PTZ에 "고정된" 뷰 포인트를 가지는 것이며, 상기 경우에 사용자가 장면을 보는 뷰 포인트는 PTZ 카메라와 동일한 위치를 가지며, PTZ이 회전함에 따라 회전한다. 시계(field-of-view)는 사용자에게 전후 상황(context)을 제공하기 위해 실제 카메라보다 더 크다.

또다른 사용가능한 PTZ 가시화는 뷰 포인트 계층(뷰 포인트 계층 참조)에서 더 높은 레벨로 뷰 포인트를 선택하는 것이다. 상기 방식은 다양하게 결정되며, PTZ 카메라들은 하나의 뷰 포인트로부터 가시화될 수 있다.

다수의 PTZ 들

장면내에 다수의 PTZ들이 존재할 때, PTZ이 사용할 장소 및 어떤 상황을 위해 시스템에 규칙들이 부과될 수 있다. 상기 규칙들은 거리-맵들, 팬/틸트/줌 도면들 등등의 형태가 될 수 있다. 만약 뷰가 장면내의 특정 포인트에 대하여 요구되면, 상기 포인트에 대한 모든 테스트들을 통과사키는 PTZ-세트는 VIDEO FLASHLIGHT™에 그들을 나타내거나 비디오 매트릭스 뷰어로 전송하는 것과 같은 결과적인 프로세스들을 위해 사용된다.

3D-2D 게시판

VIDEO FLASHLIGHT™ 의 렌더링 엔진은 일반적으로 가시화를 위한 3D 장면에 비디오를 영사한다. 그러나, 특히 카메라의 시계가 너무 작거나 관찰 포인트가 카메라와 너무 다른 경우에, 비디오가 3D 환경에 영사될 때 많은 왜곡이 존재한다. 비디오를 보여주고 공간적인 전후 상황을 유지하기 위해, 장면 상에 비디오 공급을 보여주기 위한 방식으로서 게시판이 제공된다. 카메라 커버리지 영역은 게시판에 도시되고 접속된다.

왜곡은 원래의 이미지와 영사된 이미지 사이의 형상의 형태, 영상 크기 차이 등등을 포함하는 다수의 측정치들에 의해 검출될 수 있다.

각각의 게시판은 뷰어의 시선과 직각인 몰입형 영상에 전시하는 스크린으로서 디스플레이되며, 비디오는 카메라로부터 그 위에 몰입형 환경에서 왜곡되는 것과 같이 디스플레이된다. 게시판들은 3D 물체들이기 뷰 포인트로부터 추가의 카메라, 더 작은 게시판, 따라서 공간 전후 상황이 양호하게 유지된다.

수 백대의 카메라들이 제공되는 응용 예에서, 게시판은 여전히 실제로 유효한 것으로 증명된다. 1600×1200 스크린에서, 약 100×75의 평균 크기의 +250 이상의 게시판들이 한 번의 샷에 보여질 수 있다. 물론, 상기 크기에서, 게시판들은 전체 장면에 대한 실제 배경들로서 작용할 것이다.

앞서 설명들이 본 발명의 실시예들을 위한 것이지만, 본 발명의 다른 추가의 실시예들이 그들의 기본 사상을 벗어나지 않고 고안될 수 있으며, 그 사상은 하기의 청구항들에 의해 결정된다.

Claims (28)

1. 하나의 장소에 대한 감시 시스템으로서,

   각각 상기 장소의 개별 부분의 개별 비디오를 발생하는 다수의 카메라들;

   상기 장소 또는 그 일부를 보기 위해 사용자가 상기 장소 내의 뷰 포인트를 선택적으로 확인하도록 구성된 뷰 포인트 선택기;

   상기 다수의 카메라들과 접속되어 상기 다수의 카메라들로부터 상기 비디오들을 수신하기 위한 비디오 프로세서 - 상기 비디오 프로세서는 상기 장소의 컴퓨터 모델에 접속하고, 상기 뷰 포인트로부터의 상기 장소의 시계(field of view)에 상응하여 상기 컴퓨터 모델로부터 실시간 이미지들을 렌더링하며, 상기 비디오 프로세서 내에서 상기 비디오들 중 적어도 하나의 적어도 일부분은 상기 컴퓨터 모델에 오버레이되며, 상기 비디오 프로세서는 상기 이미지들이 사용자에게 실시간으로 보여지도록 디스플레이함 - ; 및

   상기 뷰 포인트에 기초하여 상기 비디오 프로세서에 의해 렌더링된 상기 뷰 포인트로부터 상기 장소의 시계와 관련된 비디오를 발생하는 상기 다수의 카메라들의 서브세트를 자동으로 선택하고, 상기 카메라들의 서브세트로부터의 비디오가 상기 비디오 프로세서에 전송되도록 하는 비디오 제어 시스템을 포함하는 감시 시스템.
2. 제 1항에 있어서,

   상기 비디오 제어 시스템은 상기 뷰와 관련된 것으로 선택된 상기 카메라들의 서브세트로부터 상기 비디오의 비디오 프로세서로의 전송을 허용하고, 상기 카메라의 서브세트 내에 있지 않은 상기 다수의 카메라들 중 적어도 몇몇 카메라들로부터 상기 비디오의 상기 비디오 프로세서로의 전송을 차단하는 비디오 스위치를 포함하는 것을 특징으로 하는 몰입형 감시 시스템.
3. 제 2항에 있어서,

   상기 카메라들은 하나 또는 그 이상의 서버들에 걸친 네트워크를 통해 상기 비디오 프로세서에 상기 비디오를 출력하며, 상기 비디오 스위치는 상기 서버들과 통신하여 상기 카메라들의 서브세트 내에 있지 않은 카메라들의 비디오들 중 적어도 몇몇을 네트워크를 통해 출력하는 것을 차단하는 것을 특징으로 하는 몰입형 감시 시스템.
4. 제 2항에 있어서,

   상기 카메라는 통신 라인들을 통해 상기 비디오 프로세서에 상기 비디오를 전송하며, 상기 비디오 스위치는 상기 카메라들의 서브세트 내에 있지 않은 카메라들의 비디오들 중 적어도 몇몇의 상기 통신 라인들을 통한 흐름을 스위치 오프 하는 것을 특징으로 하는 몰입형 감시 시스템.
5. 제 1항에 있어서,

   상기 비디오 제어 시스템은 상기 뷰 포인트와 상기 다수의 카메라들의 각각의 사이의 거리를 결정하며, 상기 뷰 포인트로의 최단 거리를 가지는 카메라를 포함하기 위해 상기 카메라들의 서브세트를 선택하는 것을 특징으로 하는 몰입형 감시 시스템.
6. 제 1항에 있어서,

   상기 뷰 포인트 선택기는 상기 사용자가 디스플레이 디바이스에서 상기 이미지들을 보면서 상기 컴퓨터 모델 내의 상기 뷰 포인트를 식별할 수 있는 컴퓨터 스테이션에서의 대화형 디스플레이인 것을 특징으로 하는 몰입형 감시 시스템.
7. 제 1항에 있어서,

   상기 컴퓨터 모델은 상기 장소의 3D 모델인 것을 특징으로 하는 몰입형 감시 시스템.
8. 제 1항에 있어서,

   상기 뷰 포인트 선택기는 이벤트에 응답하여 운영자 입력 또는 자동 신호를 수신하고, 이에 응답하여 상기 뷰 포인트를 제 2 뷰 포인트로 변경하며, 상기 비디오 제어 시스템은 상기 제 2 뷰 포인트에 기초하여 상기 비디오 프로세서에 의해 렌더링되는 상기 제 2 뷰 포인트로부터의 사이트의 뷰와 관련된 비디오를 발생하고, 카메라들의 서로 다른 서브세트로부터의 비디오가 상기 비디오 프로세서에 전 송되도록 하는 상기 다수의 카메라들의 제 2 서브세트를 자동으로 선택하는 것을 특징으로 하는 몰입형 감시 시스템.
9. 제 8항에 있어서,

   상기 뷰 포인트 선택기는 상기 뷰 포인트를 변경하기 위한 운영자 입력을 수신하며, 상기 변경은 상기 뷰 포인트의 상기 제 2 뷰 포인트로의 연속하는 이동이며, 상기 연속하는 이동은 상기 뷰 포인트 선택기에 의해 허용된 관찰 경로에 제한되어 상기 관찰 경로 밖으로의 이동이 상기 이동을 지시하는 임의의 운영자 입력에도 불구하고 금지되도록 하는 것을 특징으로 하는 몰입형 감시 시스템.
10. 제 1항에 있어서,

    상기 카메라들 중 적어도 하나는 제어가능한 방향 또는 줌 파라미터들을 가지는 PTZ 카메라이고, 상기 비디오 제어 시스템은 제어 신호를 상기 PTZ 카메라로 전송하여 상기 카메라가 상기 PTZ 카메라의 상기 방향 또는 줌 파라미터들을 조정하고, 따라서 상기 PTZ 카메라가 시계와 연관된 데이터를 제공하도록 하는 것을 특징으로 하는 몰입형 감시 시스템.
11. 하나의 장소에 대한 감시 시스템으로서,

    각각 개별 데이터 스트림 - 각각의 데이터 스트림은 상기 장소의 일부분의 실시간 이미지에 상응하는 비디오 프레임들의 시리즈를 포함하고, 각각의 프레임은 상기 실시간 이미지가 연관된 카메라에 의해 형성될 때 시간을 표시하는 시간 스탬프를 가짐 - 을 발생하는 다수의 카메라들;

    상기 카메라들로부터의 데이터 스트림들을 수신하여 기록하는 레코더; 및

    상기 레코더에 접속되어 상기 기록된 데이터 스트림들의 재생을 제공하고, 상기 기록된 데이터 스트림들의 재생 동안 상기 장소의 모델의 재생 뷰 포인트로부터 뷰를 위한 이미지들을 렌더링하고, 거기에 상기 뷰와 연관된 카메라들 중 적어도 두개의 카메라들로부터 상기 기록된 데이터 스트림을 적용하는 렌더러를 구비하는 비디오 프로세싱 시스템을 포함하며,

    상기 비디오 프로세싱 시스템은 재생 동안 상기 레코더 시스템으로부터 상기 기록된 데이터 스트림들을 수신하는 동기화기를 포함하며, 상기 동기화기는 상기 기록된 데이터 스트림들을 동기화된 형태로 상기 렌더러에 분포시켜 각각의 이미지가 모두 동시에 선택되는 비디오 프레임들로 렌더링 되도록 하는 몰입형 감시 시스템.
12. 제 11항에 있어서,

    상기 동기화기는 상기 비디오 프레임들의 상기 시간 스탬프들에 기초하여 상기 데이터 스트림들을 동기화하는 것을 특징으로 하는 몰입형 감시 시스템.
13. 제 12항에 있어서,

    상기 레코더는 제어기에 접속되며, 상기 제어기는 상기 레코더가 동기화된 포맷으로 상기 다수의 데이터 스트림들을 저장하도록 하고, 동기화를 인에이블 하기 위해 상기 다수의 데이터 스트림들의 상기 시간 스탬프들을 판독하는 것을 특징으로 하는 몰입형 감시 시스템.
14. 제 11항에 있어서,

    상기 모델은 3D 모델인 것을 특징으로 하는 몰입형 감시 시스템.
15. 몰입형 감시 시스템으로서,

    각각 하나의 장소의 개별 위치에 대한 개별 비디오를 발생하는 다수의 카메라들;

    상기 다수의 카메라들에 접속되어 상기 비디오를 수신하고, 상기 장소의 모델에 기초한 뷰 포인트에 대하여 렌더링되고 상기 뷰 포인트와 연관된 상기 다수의 비디오들과 결합되는 이미지를 발생하는 이미지 프로세서;

    상기 이미지 프로세서에 접속되어 상기 렌더링된 이미지를 디스플레이하는 디스플레이 디바이스; 및

    상기 이미지 프로세서에 접속되어 디스플레이될 뷰 포인트를 한정하는 데이터를 제공하고, 사용자가 상기 뷰 포인트를 선택적으로 변경하도록 하는 대화형 네비게이션 구성요소에 접속되어 입력을 수신하는 뷰 제어기를 포함하며,

    상기 네비게이션 구성 요소는 상기 뷰 포인트의 미리 선택된 뷰 포인트들의 세트로의 변경을 제한하는 몰입형 감시 시스템.
16. 제 15항에 있어서,

    상기 뷰 제어기는 상기 포인트의 관찰 위치에서의 변경을 계산하는 것을 특징으로 하는 몰입형 감시 시스템.
17. 제 15항에 있어서,

    상기 사용자가 상기 뷰 포인트를 제 2 뷰 포인트로 변경할 때, 상기 뷰 제어기는 상기 제 1 뷰 포인트와 연관된 비디오에 추가로 임의의 비디오가 상기 제 2 뷰 포인트와 연관되는지의 여부를 결정하며, 제 2 이미지는 상기 뷰 제어기에 의해 상기 제 2 뷰 포인트와 연관되는 것으로 확인된 임의의 추가의 비디오를 사용하여 상기 제 2 비디오를 위해 렌더링되는 것을 특징으로 하는 몰입형 감시 시스템.
18. 각각 한 장소의 개별 부분의 개별 비디오를 발생하는 다수의 카메라를 구비한 몰입형 감시 시스템 및 사용자에 의해 관찰될 이미지들을 디스플레이하는 디스플레이 디바이스를 구비한 관찰 스테이션을 위한 방법으로서,

    입력 디바이스로부터 상기 카메라로부터의 비디오 중 적어도 몇몇을 보기 위해 뷰 포인트 및 시계의 선택을 표시하는 데이터를 수신하는 단계;

    상기 카메라들 중 하나 또는 그 이상의 서브 그룹이 그들의 카메라들이 상기 시계와 관련된 비디오를 발생할 수 있는 위치들에 있는지를 확인하는 단계;

    상기 카메라들의 서브 그룹으로부터의 비디오를 비디오 프로세서에 전송하는 단계;

    상기 비디오 프로세서를 사용하여 상기 장소의 컴퓨터 모델로부터 이미지들 - 상기 이미지들은 상기 비디오들 중 적어도 하나의 적어도 일부분이 상기 컴퓨터 모델에 오버레이되는 장소의 뷰 포인트로부터의 시계에 해당함 - 을 렌더링함으로써 비디오 디스플레이를 발생하는 단계;

    상기 이미지들을 뷰어에 디스플레이하는 단계; 및

    상기 서브 그룹내에 있지 않은 상기 카메라들 중 몇몇으로부터의 비디오가 상기 비디오 렌더링 시스템에 전송되지 않도록 하여 상기 비디오 프로세서에 전송된 데이터량을 감소하는 단계를 포함하는 방법.
19. 제 18항에 있어서,

    상기 카메라들의 서브 그룹으로부터의 비디오는 네트워크를 통해 상기 카메라들과 접속된 서브들을 통해 상기 비디오 프로세서로 전송되고, 상기 비디오가 전송되지 않도록 하는 단계는 상기 네트워크를 통해 상기 카메라의 서브 그룹 내에 있지 않은 상기 카메라들 중 적어도 하나와 연관된 적어도 하나의 서버와 통신함으로써 수행되며, 따라서 상기 서버는 상기 적어도 하나의 카메라의 상기 비디오를 전송하지 않는 것을 특징으로 하는 방법.
20. 제 18항에 있어서,

    새로운 시계 및/또는 새로운 뷰 포인트가 정의되도록 하기 위해 상기 뷰 포 인트 및/또는 상기 시계의 변경을 표시하는 입력을 수신하는 단계;

    상기 새로운 시계 또는 새로운 뷰 포인트와 연관된 비디오를 발생할 수 있는 상기 카메라들의 제 2 서브 그룹을 발생하는 단계; 및

    상기 카메라들의 상기 제 2 서브 그룹으로부터의 비디오가 상기 비디오 프로세서에 전송되도록 하는 단계를 더 포함하며,

    상기 비디오 프로세서는 상기 새로운 시계 또는 상기 새로운 뷰 포인트에 대한 새로운 이미지들을 렌더링하기 위해 상기 컴퓨터 모델 및 상기 수신된 비디오를 사용하며,

    상기 제 2 그룹 내에 있지 않은 상기 카메라들 중 적어도 몇몇으로부터의 비디오는 상기 비디오 프로세서에 전송되지 않는 것을 특징으로 하는 방법.
21. 제 20항에 있어서,

    상기 제 1 및 제 2 그룹들은 공통적으로 상기 카메라들 중 적어도 하나를 가지며, 각각의 서브 그룹은 다른 서브 그룹 내에 있지 않는 적어도 하나의 카메라를 가지는 것을 특징으로 하는 방법.
22. 제 20항에 있어서,

    상기 서브 그룹들은 각각 내부에 상기 카메라들 중 개별 카메라를 구비하는 것을 특징으로 하는 방법.
23. 제 18항에 있어서,

    상기 서브 그룹 내의 상기 카메라들 중 하나는 제어가능한 방향 또는 줌을 가지는 카메라이며, 상기 방법은 상기 카메라가 상기 방향 또는 줌을 조절하기 위한 제어 신호를 상기 카메라에 전송하는 단계를 더 포함하는 것을 특징으로 하는 방법.
24. 각각 하나의 장소의 일부분에 대한 실시간 이미지에 상응하는 비디오 프레임들의 시리즈의 개별 데이터 스트림을 각각 발생하는 다수의 카메라들을 구비한, 하나의 장소에 대한 감시 시스템을 위한 방법으로서,

    상기 카메라들의 상기 데이터 스트림들 - 상기 데이터 스트림들은 동기화된 포맷으로 함께 기록되며, 각각의 프레임은 상기 실시간 이미지가 상기 연관된 카메라에 의해 형성된 시간을 표시하는 시간 스탬프를 가짐 - 을 하나 또는 그이상의 레코더들에 기록하는 단계;

    상기 레코더들이 상기 카메라들의 상기 기록된 데이터 스트림들을 비디오 프로세서에 전송하도록 하기 위해 상기 레코더들과 통신하는 단계;

    상기 기록된 데이터 스트림들을 수신하여 상기 프레임들을 상기 시간 스탬프에 기초하여 동기화하는 단계;

    상기 카메라들로부터의 상기 비디오 중 적어도 몇몇을 보기 위해 뷰 포인트 및 시계의 선택을 표시하는 데이터를 입력 데이터로부터 수신하는 단계;

    상기 비디오 프로세서와 함께 상기 장소의 컴퓨터 모델로부터의 이미지들을 렌더링하여비디오 디스플레이를 발생하는 단계를 포함하는데, 상기 이미지들은 상기 비디오들 중 적어도 두개의 적어도 일부분이 상기 컴퓨터 모델에 오버레이되는 장소의 뷰 포인트로부터의 시계에 상응하고, 각각의 이미지에 대하여 상기 오버레이된 영상은 모두 동일한 시간 주기를 표시하는 시간 스탬프들을 가지는 프레임들로부터 렌더링되며,

    상기 이미지들을 뷰어에 디스플레이하는 단계를 포함하는 방법.
25. 제 24항에 있어서,

    상기 비디오로부터 수신된 입력에 대한 응답은 선택적으로 선행 및 후행 재생되는 것을 특징으로 하는 방법.
26. 제 25항에 있어서,

    상기 재생은 상기 레코더들에 명령 신호들을 전송함으로써 상기 비디오 프로세서 위치로부터 제어되는 것을 특징으로 하는 방법.
27. 제 24항에 있어서,

    시계 및/또는 뷰 포인트의 새로운 시계로의 변경을 지시하는 입력을 수신하는 단계를 더 포함하며,

    상기 비디오 프로세서는 상기 컴퓨터 모델로부터의 이미지들 및 상기 새로운 뷰 포인트 및/또는 시계에 대한 비디오를 발생하는 것을 특징으로 하는 방법.
28. 각각 하나의 장소의 일부분에 대한 실시간 이미지에 상응하는 비디오 프레임들의 시리즈의 개별 데이터 스트림을 각각 발생하는 다수의 카메라들을 가지는 하나의 장소에 대한 감시 시스템을 위한 방법으로서,

    상기 카메라들의 상기 기록된 데이터 스트림들을 비디오 프로세서에 전송하는 단계;

    상기 카메라들로부터의 상기 비디오 중 적어도 몇몇을 보기 위해 뷰 포인트 및 시계의 선택을 표시하는 데이터를 입력 디바이스로부터 수신하는 단계;

    상기 비디오 프로세서와 함께 상기 장소의 컴퓨터 모델로부터의 이미지들을 렌더링함으로써 비디오 디스플레이를 발생하는 단계를 포함하며, 상기 이미지들은 상기 비디오들 중 적어도 두 개의 적어도 일부분이 상기 컴퓨터 모델에 오버레이되는 장소의 상기 뷰 포인트로부터의 상기 시계에 상응하며,

    상기 이미지들을 뷰어에 디스플레이하는 단계; 및

    상기 뷰 포인트 및/또는 시계의 변경을 표시하는 입력을 수신하는 단계를 포함하는데, 상기 입력은 운영자가 모든 가능한 변경들의 제한된 서브세트인 상기 시계 또는 뷰 포인트의 새로운 뷰 포인트로의 변경들을 입력할 수 있도록 제한되며, 상기 제한된 서브세트는 상기 장소를 통한 경로에 상응하는 것을 특징으로 하는 방법.

Images