KR20040053257A - 몰입형 감시를 제공하기 위한 방법 및 장치 - Google Patents

몰입형 감시를 제공하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20040053257A
KR20040053257A KR10-2004-7006666A KR20047006666A KR20040053257A KR 20040053257 A KR20040053257 A KR 20040053257A KR 20047006666 A KR20047006666 A KR 20047006666A KR 20040053257 A KR20040053257 A KR 20040053257A
Authority
KR
South Korea
Prior art keywords
scene
view
model
camera
image
Prior art date
Application number
KR10-2004-7006666A
Other languages
English (en)
Other versions
KR100940142B1 (ko
Inventor
아이딘 아르파
케이쓰 한나
라케쉬 쿠마르
슈펀 사마라세케라
하프리트 샤니
마노즈 애가왈
데이비드 니스터
스티븐 슈
Original Assignee
사르노프 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 사르노프 코포레이션 filed Critical 사르노프 코포레이션
Publication of KR20040053257A publication Critical patent/KR20040053257A/ko
Application granted granted Critical
Publication of KR100940142B1 publication Critical patent/KR100940142B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G08B13/19693—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound using multiple video sources viewed on a single or compound screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

몰입형 감시를 제공하기 위한 방법 및 장치(102)로서, 원격의 경비인(122)이 장면의 3차원 개념적 뷰를 제공하기 위하여 모델 상으로 랜더링되는 여러 이미지 소스들(108, 110, 112, 114)을 사용하여 장면을 모니터할 수 있다. 뷰 선택기(120)를 사용하여, 상기 경비원은 동적으로 개념적 모델상으로 디스플레이되어질 카메라 뷰를 선택할 수 있고, 장면의 여기저기를 돌아다닐 수 있으며, 이동하는 객체들을 식별하고 그 이동 객체들에 대한 가장 좋은 뷰를 선택할 수 있다.

Description

몰입형 감시를 제공하기 위한 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING IMMERSIVE SURVEILLANCE}
감시 또는 시각화 디스플레이의 목적은 통상적으로 사용자로 하여금 장면(scene)내에서 상황을 완전히 인식하면서 그 장면을 모니터하고 관찰하는 것이다. 통상적인 감시 또는 시각화 시스템들은 단일의 디스플레이상에서 사용자에게 1이상의 카메라로부터의 비디오를 제공한다. 그러한 디스플레이는 사용자로 하여금 장면의 다른 부분을 관찰할 수 있게 하거나 또는 서로 다른 시점에서부터의, 장면의 동일한 부분을 관찰할 수 있게 한다. 예를 들어, 통상적인 감시 디스플레이는 모니터 상의 4×4 그리드(grid)로 나타나는 장면의 16개 비디오를 갖는다. 이미지를 식별하기 위하여, 통상적으로 비디오 세그먼트 아래에 디스플레이되는 고정 텍스트 주석에 의하여 각 비디오에 라벨이 붙여진다. 예를 들어, 텍스트 "로비" 또는 "현관"이 나타날 수 있다. 만일 관심을 가질만한 사건이 하나의 특정 비디오에서 관찰되면, 상기 라벨이 그 장면에서의 움직임(activity)의 위치를 알아내는 데 사용될 수 있다.
감시 및 시각화를 위한 이러한 접근은 수년 동안 널리 사용되어 왔다. 그러나, 이러한 접근에 대하여는 소정의 기본적인 문제점들이 있다.
첫째로, 관심가질 만한 사건이 하나의 특정 비디오에서 발생한 경우, 사용자는 장면의 맵 또는 3D 모델을 참조하거나 기억하지 않고서는 어떻게 장면에서 그 움직임이 그 장면의 다른 장소들과 관련되는지를 알 수 없다. 예를 들어, 어떤 움직임이 "엘리베이터 1" 근처에서 관찰되고 사용자가 경비원이 현재 "계단통 5"에 있음을 알고 있다면, 맵 또는 3D 모델 없이는 사용자는 경비원이 개입하기에 그 움직임으로부터 매우 가까이에 있는지 또는 멀리에 있는지 알 수 없을 것이다. 문서 또는 컴퓨터 상에서 맵 또는 3D 모델을 참조하는 과정은 카메라 뷰(view)를 맵 또는 모델에 관련시키는 것에 사람이 관여하기 때문에 통상적으로 시간 낭비적이며 에러가 생기기 쉽다. 맵 또는 3D 모델을 상기하는 과정 역시 에러가 생기기 쉬우며, 다수의 카메라가 사용되거나 현장이 넓은 경우에는 통상적으로 불가능하다.
둘째로, 만일 관심가질 만한 사건이 어떤 비디오에서 발생한 다음 움직임이 그 비디오의 시야에서부터 하나의 특정 방향으로 빠져나간다면, 사용자가 상기 움직임의 새로운 장소를 예측할 수 있는 방법이 단 2개 뿐이다. 첫째로, 사용자가 고정 좌표계(예를 들어, 나침반 방향(compass direction))에 대한 카메라의 방향(가리키는 방향)을 기억할 수 있다. 둘째로, 사용자가 비디오내의 표지를 인식할 수 있고 장면의 맵 또는 3D 모델을 기억하거나 참조함으로써 고정 좌표계에 대한 카메라의 대략적인 방향을 결정하는 데에 그 표지를 사용할 수 있다. 움직임의 새로운 장소를 예측하는 이러한 2개의 방법들은 에러가 생기기 쉬운 바, 이는 통상적으로 각 카메라가 설치시에 어떻게 장착되었는가에 따라 카메라별로 매우 다양하고 서로 다른 다수의 임의의 좌표계들에 대하여 카메라들로부터 뷰들이 보여지기 때문이다. 보다 많은 카메라들이 시스템에 추가될수록, 사용자가 카메라들의 방향을 기억하거나 장면에서 표지를 인식하기가 더욱 어려워진다. 또한, 장면 중 소정의 부분들은 특징적인 표지를 포함하지 않을 수도 있다.
셋째로, 보다 많은 비디오들이 스크린에 디스플레이될수록, 그 비디오들을 디스플레이에 맞추기 위하여는 각 비디오의 해상도가 낮추어져야 한다. 이는 비디오내에서 관심가질 만한 임의의 사건의 세부사항들을 관찰하기 어렵게 만든다. 이 문제점에 대한 현재의 해결책은 하나의 선택된 비디오를 고해상도로 보여주는 추가적인 디스플레이를 구비하거나, 또는 다수의 저해상도 비디오들을 보여주는 뷰와 고해상도로 1개의 비디오를 보여주는 뷰 사이에서 디스플레이를 전환하는 것이다. 그러나, 이러한 접근의 문제점은 비디오들이 1개의 고해상도 비디오에 집중하고 있는 동안에는 사용자가 다른 비디오들에서 발생하는 임의의 움직임을 놓칠 것이라는 점이다.
따라서, 당업계에서는 사용자에게 장면에 대한 3차원 전후관계 뷰(contextual view)를 제공하는 몰입형 감시 시스템을 제공하기 위한 방법 및 장치에 대한 요구가 있다.
본 발명은 일반적으로 감시 시스템(surveillance system), 보다 자세하게는 몰입형 감시를 제공하기 위한 방법 및 장치에 관한 것이다.
도 1은 본 발명의 높은 레벨의 블록 다이어그램을 도시한다;
도 2는 본 발명에 따른 감시 시스템에 대한 상세한 블록 다이어그램을 도시한다;
도 3은 본 발명의 작동에 대한 플로우 차트(flow chart)를 도시한다;
도 4는 본 발명에 따라, 이동 객체들을 식별하기 위한 프로세스을 도시한다;
도 5는 본 발명에 따라, 이동 객체들에 아이콘들을 할당하기 위한 프로세스를 도시한다;
도 6은 본 발명을 모니터될 수 있는 장면 내에서의 설명적인 복도구조에 대한 조감도이다;
도 7은 도 6의 복도구조 내에서 이동 객체들을 모델링하기 위하여 사용되는 디스플레이의 예들을 도시한다;
도 8은 본 발명에 의하여 식별된 이동 객체의 합성 뷰에 대한 디스플레이를 도시한다;
도 9는 본 발명의 대안적인 실시예에 대한 블록 다이어그램을 도시한다;
도 10은 도 9의 실시예의 방법에 대한 플로우 차트를 도시한다;
도 11A, 11B, 11C 그리고 11D는 도 9의 실시예의 작동예를 도시한다.
본 발명은 몰입형 감시를 제공하기 위한 방법 및 장치인 바, 장면에 대한 3차원 전후관계 뷰를 제공하기 위하여 3차원 모델 상에 랜더링되는(rendered) 다양한 이미지 소스들을 사용하여 원거리의 사용자가 장면을 모니터할 수 있다. 감시 시스템은 비디오를 제공하는 다수의 카메라 및 그 비디오를 장면에 대한 3차원(3D) 모델로 적용시키기 위한 이미지 프로세서를 포함한다. 랜더링된 모델/비디오 결합은 사용자가 몰입될 수 있는, 장면에 대한 3D 전후관계 뷰를 제공한다. 뷰 선택기(view selector)를 사용하면, 사용자는 디스플레이되어질 특정 뷰를 전후관계 모델로부터 동적으로 선택할 수 있으며, 장면에 대한 가상 워크 쓰루(walk through)를 수행할 수 있으며, 이동 객체들을 식별하고 그 이동 객체들에 대한 최선의 뷰를 선택할 수 있다.
위에서 인용된 본 발명의 특징들이 얻어지고 상세하게 이해될 수 있도록 하는 방법으로, 첨부 도면에서 도시되는 실시예들을 참조하여, 위에서 간략히 요약된 본 발명에 대하여 보다 자세한 설명이 이루어질 것이다.
그러나, 첨부 도면은 단지 본 발명의 전형적인 실시예들만을 도시하며 따라서 본 발명의 보호범위를 제한하는 것으로 고려되지 않는 바, 이는 본 발명이 균등하게 효과적인 다른 실시예들을 허용할 수 있기 때문이다.
도 1은 간단한 복도 장면(100)에서 움직임을 모니터하기 위하여 적용된 경우 감시 시스템(102)에 대한 블록 다이어그램을 도시한다. 복도 장면(100)은 교차하여 "T"형태를 형성하는 제 1 복도(104) 및 제 2 복도(106)를 포함한다. 복도 구조(100)는 4개의 카메라들(108, 110, 112 및 114)에 의하여 모니터된다. 이러한 카메라들은 이미지 프로세서(116)에 결합된다. 그 이미지 프로세서는 이미지 디스플레이(118)(예를 들어, 비디오 모니터)상에 디스플레이를 위한 이미지를 생성하기 위하여 카메라들(108, 110, 112 및 114)로부터의 이미지를 프로세싱한다. 여러 카메라들로부터 랜더링된 특정 뷰는 뷰 선택기(120)를 사용하여 선택가능하다. 일반적으로 사용자, 예를 들어 경비원(122)은 장면(100)을 포함하는 시설(facility)에 위치할 수도 있고 장면(100)으로부터 멀리 떨어진 곳에 위치할 수도 있다. 이하에서 설명되겠지만, 장면은 3차원 컴퓨터 모델로서 모델링되고 카메라들(108, 110, 112 및 114)로부터의 이미지는 복도 장면(100)에 대한 3차원 복합 뷰를 경비원(122)에게 제공하기 위하여 모델상에 오버레이(overlay)된다. 경비원은 뷰 선택기를 조정함으로써 장면에 대해 가상 순찰을 할 수 있고, 장면 내에서 이동하는 객체들을 식별하고 분리할 수 있으며, 카메라 위치들에서 또는 카메라들 사이의 가상 시점(virtual viewpoint)에서 장면을 관찰할 수 있고, 장면내에서 이동하는 객체들 또는 관찰될 다른 위치들을 식별하기 위하여 조감(bird's eye)의 시점에서 장면을 관찰할 수 있다.
도 6은 도 1의 장면(100)에 대한 조감도를 도시한다. 장면, 특히 복도연결부가 카메라들의 다수의 뷰들에 의하여 커버되도록 카메라들이 위치된다. 각 카메라(108, 110, 112 및 114)는 각자 특정 관찰영역(602, 604, 606 및 608)을 갖는다. 이하에서 설명되겠지만, 감시 상황에 경비원을 몰입시키는, 장면의 전후관계 모델을 경비원이 관찰하도록 구조(100)에 대한 3차원 모델이 각 카메라들(108, 110, 112 및 114)로부터 수집된 이미지로 "드레이프(drape)"될 것이다. 일반적으로 카메라들(108, 110, 112 및 114)은 장면의 가능한 많은 부분을 커버하도록 위치되며, 모델이 여러 이미지들을 서로에 대해 정렬할 수 있도록 카메라 뷰들이 약간 겹친다. 그러나, 본 발명의 감시 시스템은 카메라 뷰들의 겹침이 불필요하도록 장면에 대한 모든 이미지들을 정렬하기 위한 좌표계로서 장면의 모델을 사용한다.
도 2는 본 발명의 감시 시스템(102)에 대한 블록 다이어그램을 도시한다. 시스템(102)는 카메라 어셈블리(212), 이미지 프로세서(116), 모델 업데이트 소스( model update source)(200), 뷰 선택기(120) 그리고 이미지 디스플레이(118)를 포함한다. 카메라 어셈블리는 멀티플렉서(202)에 결합된 다수의 카메라들(108, 110, 112 및 114)을 포함한다. 카메라 어셈블리(212)는 감시될 빌딩들이나 영역들 전체를 커버할 수 있도록 임의의 개수의 카메라들이 사용될 수 있으며 다수의 멀티플렉서들에 결합될 수 있다. 멀티플렉서(202)는 스크린을 4개의 사분면을 분할하고 각 사분면에 하나의 스트림을 인서팅함으로써 예를 들어, 4개의 카메라들로부터의 비디오 스트림(video stream)들을 결합시킨다. 비디오 프레임들의 스트림은 이미지 프로세서(116)에 결합된다. 이미지 프로세서(116)는 프레임 캡쳐 회로(frame capture circuit)(204), 프레임 스플리터(frame splitter)(206), 이미지 랜더링 프로세서(208) 및 3D 모델 생성기(210)을 포함한다. 본 발명에 따른 이미지 프로세서로 사용될 수 있는 컴퓨터 시스템의 한 예로서, 듀얼 프로세서(dual processor), 듀얼 PCI 버스, 3개의 펜티엄 4 프로세서, INVIDIA GeForce3 GPU 기반 비디오 카드 및 4개의 프레임 캡쳐 회로들를 포함하는 범용 컴퓨터 등이 있다.
프레임 캡쳐 회로(204)는 공지된 방법으로 비디오의 각 프레임을 캡쳐하고 일시적으로 메모리에 그 정보를 저장한다. 프레임 스플리터(206)는 각 카메라로부터의 비디오 신호가 독립적으로 프로세싱되고 저장될 수 있도록 비디오 스트림들을 디먹스(demux)하는 데에 사용된다. 3D 모델 생성기(210)와 이미지 랜더링 프로세서(208)은 장면에 대한 복합 뷰를 생성하기 위하여 협력한다. 장면(100)에 대한3D 모델은 연역적으로 와이어 프레임(wire frame) 또는 평면 컴퓨터 모델로서 생성된다. 랜더링되어질 모델의 뷰는 뷰 선택기(120)에 의하여 식별된다. 통상적으로, 뷰 선택기는 경비원이 장면 내의 특정 객체들을 줌인 또는 줌아웃할 수 있을 뿐만 아니라 장면을 순찰할 수 있고, 필요하다면 장면에 대한 여러 뷰를 선택할 수 있도록 조이스틱(joy stick), 마우스 포인터(mouse pointer), 그리고 줌 콘트롤(zoom control)을 포함한다. 일단 모델의 뷰가 생성되면, 그 모델은 이미지 랜더링 프로세서에 결합되는 바, 상기 랜더링 프로세서에서는 카메라들로부터의 여러 비디오 이미지들이 상기 모델들에 정렬되도록 변형되고 상기 모델상으로 랜더링되고 드레이프(drape)된다. 상기 뷰를 포함하는 모델의 특정 뷰가 디스플레이된다.
모델의 좌표계는 비디오 이미지를 정렬하기 위하여 사용된다. 사용자가 맵 또는 장면의 3D 모델을 참조하거나 기억하지 않고도 용이하게 어떻게 어느 한 비디오에서의 움직임을 다른 비디오에서의 움직임과 관련시킬 것인가를 결정할 수 있도록 비디오 이미지들은 공통 좌표계에 밀접하게 정렬된다. 예를 들어, 관심가질 만한 사건이 하나의 카메라 뷰로부터의 비디오에서 발생한 후, 움직임이 그 카메라의 뷰 범위에서부터 하나의 특정 방향으로 빠져나간다면, 사용자는 용이하게 다른 카메라의 뷰 내에서 움직임의 새로운 위치를 예상할 수 있다. 카메라들로부터의 모든 비디오가 정렬되기 때문에 사용자는 카메라의 방향을 기억하지 않고도 이를 행할 수 있다. 예를 들어, 움직임이 어느 한 카메라 뷰로부터 오른쪽으로 빠져나간다면, 사용자는 제 1 뷰의 오른쪽에 디스플레이되는 뷰들을 갖는 카메라들로부터움직임이 다시 캡쳐되는 것을 보는 것을 기대할 수 있다. 3D 모델로부터 공통의 좌표계를 사용함으로써, 카메라들로부터의 비디오 이미지의 다수의, 비겹침(non overlapping) 부분들이 모델에 정렬될 수 있다. 본 발명의 감시 시스템에 의하여 사용될 수 있고 이미지를 3D 모델에 랜더링하기 위한 하나의 특정 프로세스는 2001년 3월 7일에 출원된 미국 특허출원 제09/800,550호(Attorney docket SAR 13825)에서 설명되며 참조문으로 여기에 통합된다. 이미지를 3D 모델에 랜더링하는 다른 프로세스가 사용될 수 있다.
도 3은 프로세스(300)의 플로우 다이어그램(300)을 도시하는 바, 상기 프로세스에 의하여 본 발명의 감시 시스템(102)이 작동한다. 단계(302)에서, 카메라들로부터의 입력 이미지는 이미지 프로세서에 결합된다. 단계(304)에서, 사용자는 장면의 뷰를 선택하고, 그 뷰 정보는 모델 생성 단계(306)에 결합되는데, 상기 단계(306)는 뷰 선택 단계(304)에서 선택된 위치로부터 보여지는 모델을 묘사한다. 장면에 대한 전체 모델은 연역적으로 여러 공지된 모델링 기술을 사용하여 랜더링된다. 모델 생성 단계(306)는 선택된 관점에서부터 모델을 생성하는데 사용된다. 모델을 생성시키기 위하여, 장소 또는 빌딩의 아웃라인이 3D 디지털 포맷으로 인코딩된다. 아웃라인 모델은 장소 또는 빌딩의 경계 및 복도들, 거리들, 빌딩들 등과 같은 중요 지역의 아웃라인을 포함한다. 또한 아웃라인 모델은 방 번호들과 같은, 장소에 대한 간단한 부속물들을 포함할 수 있다. 아웃라인 모델을 위한 소스는 단순한 측정치들로부터 수동으로 기록될 수 있으며, 그 후, Alias/Wavefront OBJ, Open Inventor, VRML 등과 같은 당업계에서 공지된 3D 포맷들 중 하나로 인코딩된다.
기술자들은 장면에 대한 아웃라인 모델상에 각 카메라의 위치를 표시한다. 기술자는 방 번호, 빌딩 형태 또는 다른 특징적인 표지들과 같은 주변 영역들로부터의 정보를 사용하여 카메라의 위치를 아웃라인 모델에 수동으로 대응시킴으로써 이 프로세스를 수행한다. 또한 기술자는 높이와 방향과 같은 카메라 파라미터(parameter)들을 정의한다. 카메라 방향은 장면에 의하여 정의되는 전체 좌표계에 대한 카메라들의 팬(pan), 틸트(tilt), 롤(roll)을 포함한다. 당업계에는 카메라의 팬, 틸트, 롤을 측정하기 위한 많은 공지된 방법들이 있는 바, 그 방법들 중 어떠한 방법도 장면에 대한 모델을 구축하는데 유효하다. 카메라 파라미터를 정의하기 위한 프로세스의 결과는 장면에 대한 전체 아웃라인 모델에 대한 각 카메라의 위치, 높이, 팬, 틸트, 롤을 한정하는 파라미터들의 세트이다.
이어서, 장면에 대한 아웃라인 모델의 평면 표면들은 공지된 3D형 모델링 기술들을 사용하여 모델링된다. 예를 들어, 장면내에서 다면체(polygon)들을 복원하기 위한 방법은 설치 기술자가 캡쳐된 이미지와 장면의 3D 형태에 대한 지식을 사용하여 단순한 모델 구축(model building)을 실행하는 것이다. 기술자는 각 카메라 뷰로부터의 단일 이미지를 디스플레이에 부여한다. 그 후, 기술자는 벽과 같이, 장면에서 단일 평면 표면의 경계들을 규정하는, 이미지내의 한 세트의 점들을 선택한다. 표면은 전체적으로 평면일 필요는 없으며, 히터들과 같이 표면에 부착된 객체들은 단일 평면에 속하는 것으로 정의될 수 있다. 그 다음, 기술자는 평면이 대략적으로 수직인지, 수평인지 또는 미리 결정된 임의의 다른 방향인지를 기록한다. 다음으로, 기술자는 장면에서의 다른 평면 표면들 및 각 카메라 뷰에 대하여 프로세스를 반복한다. 또한, 기술자는 여러층의 빌딩에서 각 카메라가 위치하는 층을 기록한다. 상기 프로세스의 결과는 이미지들의 좌표계에서의 한 세트의 점들, 3D에서 표면들의 방향을 정하는 한 세트의 플래그(flag)들 그리고 각 카메라가 위치하는 층을 정하는 한 세트의 숫자들이다.
다른 모델링 기술들이 장면에 대한 완전한 3D 모델을 생성시키는데 사용될 수 있다. 랜더링 프로세스 도중에 비디오로 드레이프되지 않는, 장면내의 벽들, 층들 및 다른 객체들은 사용자에게 명확한 텍스처(texture)를 가지도록 추가적인 텍스처가 3D 모델 상으로 맵핑될 수 있다.
단계(308)에서, 경비원에 의하여 지시되는 경우 선택된 시점에서부터의 모델과 입력 이미지가 장면의 뷰를 랜더링하기 위하여 결합된다. 여기에서 설명되는 예에서, 카메라 위치는 고정된 것으로 가정되었으나 다음의 설명에서부터 카메라들은 동적으로 패닝하고 틸트할 수 있으며 이미지는 팬과 틸트 동작을 반영하기 위하여 동적으로 업데이트됨이 명백할 것이다. 이 시점에서는, 랜더링된 장면의 뷰는 이동 객체들을 포함하지 않는다. 상기 랜더링 프로세스는 2001년 3월 7일에 출원된 미국 특허 출원 제09/800,550호(Attorney Docket No. SAR 13825)에서 설명된 바와 같이 또는 이와 유사한 랜더링 프로세스처럼 수행된다. 요약하면, 각 카메라부터의 비디오는 모델에 대해 정렬되고 위치내로 변형(warp)된다. 각 카메라부터의 변형된 비디오는 모델이 적용되고 장면에 대한 복합 뷰를 형성하기 위하여 결합된다. 이 방법으로, 장면(100)의 복도 구조는 카메라들로부터의 비디오 이미지로 표현되는 벽들을 포함할 것이다. 사용자에는 장면(100)에 대한 "실제" 3D 뷰가 제공된다.
장면내에서 이동하는 객체들은 단계(310)에서 프로세싱된다. 입력 이미지는 이동 객체들을 식별하기 위하여 프로세싱되고, 그 다음 경비원이 장면내에서의 움직임을 식별할 수 있도록 랜더링된 뷰내로 삽입되는 아이콘들을 생성한다. 움직임을 식별하기 위한 프로세스는 도 4와 관련하여 설명되며 동작을 나타내기 위한 아이콘들을 생성하기 위한 프로세스는 이하에서 도 5와 관련하여 설명된다. 단계(314)에서 아이콘들은 랜더링된 이미지내로 삽입된다. 단계(316)에서, 프로세스(300)는 랜더링된 이미지가 저장되어야 하는지에 대하여 질문한다. 만일 단계(316)에서의 질문에 대해 긍정으로 응답되면 이미지는 단계(318)에서 비디오 테이프상에 또는 디지털 메모리에 저장된다. 요구된다면 경비원에 의하여 모델과 그 구성요소인 비디오가 "되감기" 또는 "재생"되는 것을 가능하게 된다. 단계(320)에서 랜더링된 이미지와 아이콘들이 경비원을 위하여 디스플레이된다. 단계(322)에서 프로세스(300)는 경비원에 의하여 새로운 뷰가 선택되는지 여부를 질문한다. 새로운 뷰가 선택되지 않는다면, 프로세스는 단계(302)로 돌아가서 추가적으로 카메라들로부터의 비디오 스트림들을 프로세싱한다. 새로운 뷰가 선택되었다면, 새로운 이미지를 새로운 모델의 뷰에 적용할 뿐만 아니라 새로운 뷰에 대한 새로운 모델을 생성하기 위하여 프로세스는 양 단계(302 및 304)들로 돌아간다.
비디오를 생성하기 위하여 사용된 카메라들이 팬/틸트/줌(PTZ) 특징들을 갖는다면, 장면의 뷰를 랜더링할 때 이 카메라의 동작이 수용되어야 한다. 카메라의PTZ 방향이 카메라상에서 인코더들에 의하여 캡쳐되면, 시스템은 카메라로부터 직접 이 정보를 읽을 수 있다. 그 후, 시스템은 장면의 기하구조내에서 주어진 PTZ 값에 대한 카메라의 포즈(pose)를 찾기 위하여 순람표(look-up table)를 호출한다. 상기 포즈는 디스플레이를 랜더링하는데 사용된다.
포즈 순람표를 만들기 위하여, 교정(calibration) 프로세스가 수행되어야 한다. 카메라는 장면에서의 특정 위치로 지향되며 사용자는 이미지에서의 점들과 3D 모델에서의 대응 점들을 식별한다(통상적으로 마우스 포인터를 가리키고 클릭함으로써). 그 후, 시스템은 특정 세트의 PTZ 값에 대한 포즈의 회전부분을 계산한다. 이 절차는 카메라가 여러 방향으로 지향되는 경우의 여러 이미지들에 대하여 반복된다. 캡쳐된 PTZ 값들과 각 방향에 대하여 계산된 포즈는 포즈 순람표에 저장된다. 그 후, 포즈 순람표를 완전히 채우기 위하여 보간연산(interpolation algorithm)이 측정된 값들 사이에서 PTZ 및 포즈값들을 계산한다.
앞서의 인코더 기반 접근이 비디오와 모델의 정렬을 가능하게 하는데 충분하게 정확하지 않다면, 또는 인코더들이 카메라의 PTZ값들을 생성하는데 유효하지 않다면, 모델에 대하여 매치시키고 PTZ값 없이 또는 부정확한 PTZ값들로 정렬을 획득하는 것에 대하여 이미지 정보가 사용될 수 있다.
하나의 절차가 비디오를 직접 3D 모델에 정렬시킨다. 이 절차는 2001년 3월 7일에 출원된 미국 특허 출원 제09/800,550호(Attorney Docket No. SAR 13825)에서 설명된다. 이 정렬 절차는 장면 조도(illumination)가 변할때 이미지 정렬을 향상시키기 위하여 텍스쳐 맵(texture map)들과 이미지 필터링(image filtering)를 사용하는 1998년 5월 8일에 출원된 미국 특허 출원 제09/075,462호(Attorney Docket No. SAR 12426)의 내용으로 보강될 수 있다.
제 2 기술이 자체로 3D 모델에 정렬된(아마도 수동으로) 구형(spherical) 이미지 모자이크에 비디오를 정렬시킨다. 이는 이미지 대 모델 정렬보다는 이미지 대 이미지 정렬이 수행되기 때문에 강력한 기술이다. 구형 이미지 모자이크는 연역적으로 PTZ 특징들을 갖는 각 카메라들에 대하여 통상적인 방법으로 생성된다. 이러한 모자이크는 3D 모델에 정렬되고 저장된다. 카메라들로부터의 이후의 이미지들은 3D 모델에 대한 현재 이미지들의 정확한 정렬을 제공하기 위하여 모자이크에 정렬된다. 정렬 에러들이 장면의 조도가 변하는 동안 발생하지 않는 것을 확실히 하기 위하여, 각 카메라에 대한 다중 모자이크들이 다양한 조명도(light level)들에서 생성될 수 있거나 또는 1998년 5월 8일에 출원되었으며 본 명세서에 참조로서 통합된 미국 특허 출원 제09/075,462호(Attorney Docket No. SAR 12426)에서 개시된 기술들이 여러 조도에 대하여 이미지들을 정렬하는 데 사용될 수 있다.
도 4는 장면내에서 이동 객체들을 식별하기 위한 프로세스(401)(도 3의 단계(310)에서 수행된)를 도시한다. 단계(400)에서, 이미지 시퀀스(image sequence)가 프로세스에 입력된다. 이미지 시퀀스는 2차원(2D) 모듈(418)과 3차원(3D) 모듈(420) 모두에 의하여 프로세싱된다. 2D 모듈(418)은 고정 배경 장면으로부터 전경인 객체(foreground object)들을 분리한다. 3D 모듈(420)은 깊이(depth)와 형태(shape)의 복원을 수행하여 프로세스(401)가 장면내에 이동하는 객체의 형태를 식별하는 것을 가능하게 한다. 단계(402)에서, 전경의 동작을 비디오 시퀀스(video sequence)로부터 제거하는 공지된 필터링 기술을 사용하여 장면내의 고정 배경 정보(기준 이미지)가 이미지 시퀀스로부터 추출된다. 그러한 방법 중 하나는 유럽 특허 공보 번호 EP 1045591에서 개시된다. 그 후, 장면에서 움직이는 각각의 객체에 대한 2차원(2D) 객체 실루엣(silhouette)을 생성시키기 위하여 기준 이미지가 단계(404)에서 최초 이미지 시퀀스에서부터 공제된다. 모든 이동 객체들은 단계(406)에서 실루엣으로서 나타날 것이다.
3D 장면에서 이동하는 객체들을 정확히 식별하기 위해서는, 실제 이동하는 객체들과 카메라 움직임, 그림자들 등에 의하여 외관상으로 이동하는 객체들을 식별하고 분리하기 위하여 3차원 정보가 필요한다. 그러한 3차원 프로세싱은 단계들(408, 410, 412 및 414)을 포함하는 3D 모듈에서 수행된다. 단계(순람표)에서, 깊이 정보가 이미지 시퀀스로부터 계산된다. 단계(410)에서 배경 깊이 정보가 계산되거나 결정되며, 단계(412)에서는, 전경인 객체의 깊이 정보만을 생성하기 위하여 이미지 시퀀스로부터 수집된 배경 깊이 정보가 공제된다. 단계(416)에서 3차원 객체 실루엣들을 생성하기 위하여 단계(414)에서는 전경 깊이 정보를 객체 실루엣 정보와 결합시킨다. 2D 및 3D 객체 실루엣 정보를 결함시킴으로써, 이제 카메라의 움직임 또는 그림자에 의하여 외관상 움직이는 전경인 객체들이 움직이지 않는 객체들로 식별가능하다. 그로써, 단계(416)에서 생성된 객체 실루엣들이 정확하게 장면내에서 움직이는 전경인 객체들을 묘사한다.
일단 전경인 객체들이 분리되고 그들의 깊이와 형태들이 복구된 후에는, 3차원에서 이러한 객체들을 모델링하는 것이 가능하다. 각 객체 실루엣이 3차원 모델로 랜더링된다면, 그 모델이 아이콘으로서 장면에 대한 랜더링된 이미지내에 삽입될 때 전경인 객체가 여러 시점들에서부터 시각화될 수 있으며 장면내에서 기하학적으로 정확하게 나타내어질 수 있다.
도 5는 장면내에서 이동하는 객체들의 3차원 모델들인 아이콘들을 생성하기 위한 프로세스(501)(도 3의 단계(312)에서 수행된)의 플로우 다이어그램을 도시한다. 단계(500)에서, 도 4의 프로세스(401)로부터의 2D 및/또는 3D 객체 실루엣들은 프로세스(501)로 입력된다. 객체 실루엣들은 일반적으로 색채와 광도와 같은 표면정보(textual information) 뿐만 아니라 깊이 추정 모듈로부터의 깊이 및/또는 형태 정보 양자 모두를 포함한다. 예를 들어, 현저한 깊이 불연속성들에 밀접한 현저한 표면 불연속성이 객체의 윤곽 또는 실루엣의 일부로 분류될 수 있다. 단계(502)에서 객체 실루엣이 분류된다. 이러한 분류 단계의 목적은 전경인 객체에 맞추어져야 하는 모델 유형을 식별하는 것이다. 분류는 객체의 속성들을 분석함으로써 수행된다. 속성들의 예에는 실루엣의 크기와 형태가 포함된다. 객체의 속성들을 복원할 수 있는 방법의 예가 모멘트 분석(moment analysis)이다. 전경인 객체에 대하여 계산된 제 1 및 제 2 차 모멘트들이 그 객체가 가는지(slender) 여부를 결정하는 것에 사용될 수 있다. 가는 객체는 인간으로 분류될 수 있으며, 가늘지 않은 객체는 차량과 같은 다른 유형의 객체로 분류될 수 있다. 분류에 따라서, 객체에 대한 다른 모델들이 호출(invoke)될 수 있다. 예를 들어, 단계(504)에서 인간이 한 세트의 구체들에 의하여 모델링될 수 있으며, 단계(506)에서 차량이 상자로 모델링될 수 있다. 다른 객체들이 단계들(508, 510)에서 여러 유형들로 모델링될 것이다. 이러한 아이콘들(객체 모델들)은 위에서 설명된 바와 같이 랜더링된 이미지내로 삽입된다.
도 7은 감시원에 의하여 관찰될 수도 있는 설명적인 디스플레이 스크린을 도시한다. 뷰 스크린(700)은 영역(710)에서 모니터된 장면의 조감도를 도시하며, 영역(712)에서 4개의 카메라들(108, 110, 112, 114) 각각으로부터의 4개의 라이브 카메라 뷰들을 도시한다. 이동 객체 검출 프로세스(401)에 의하여 식별되며 이동 객체 아이콘 생성기(501)에 의하여 아이콘으로서 랜더링되는 이동 객체들을 포함하는 도 1의 복도구조(100)에 대한 랜더링이 영역(710)내에 있다. 아이콘들(702, 704 및 706)은 일반적으로 객체의 이동을 캡쳐하는 카메라에 따라 다른 색깔의 "점들(dots)"로 도시된다. 예를 들어, 아이콘(702)은 적색으로 도시될 수 있으며 이동을 캡쳐하는 아이콘 카메라(카메라(110))(716) 역시 적색으로 도시될 것이다. 마찬가지로, 카메라 아이콘(714)이 청색으로 도시될 수 있으며 객체(704) 역시 청색일 것이다. 객체의 이동에 대한 식별을 강화하기 위하여, 객체가 장면을 통하여 이동할 때, 그 이동 객체의 이전 위치들을 도시하기 위하여 추적궤적(trailing shadow)이 사용될 수 있다. 객체 아이콘(706)은 복도(104)에 따른 객체의 움직임을 도시하기 위하여 궤적추적(708)을 포함한다. 그로써, 경비원은 장면을 통한 이상하고 특이한 이동으로부터 추가적인 정보를 얻을 수 있다. 경비원이 보다 근접하여 보기를 원하는 객체를 식별하자마자, 경비원이 그 객체를 선택하기 위하여 마우스 포인터를 그 객체상에 위치시킬 수 있거나 또는 더블클릭할 수 있다. 선택한 후에는, 감시 시스템은 특정 카메라 위치 또는 합성 카메라(synthetic) 위치에서부터, 장면을 관찰하는 다중 카메라들로부터 랜더링된 그 객체에 대한 뷰를 생성시킨다.
도 8은 복도(106)에서의 어떤 위치로부터 객체(702)의 합성 뷰(synthetic view)를 도시한다. 이 합성 뷰는 객체에 대하여 줌 인/아웃하는 줌 콘트롤을 사용하여 조정될 수 있으며, 또는 객체 및 그 목적지에 대한 보다 좋은 뷰를 얻기 위하여 장면내에서 움직이기 위해 조이 스틱을 사용할 수 있다. 또한, 경비원은 항상 현재 객체를 이미지화하고 있는 카메라부터 얻어지는, 장면에 대한 라이브 뷰(live view)를 선택할 수 있다. 랜더링된 뷰(702)는 복도(106)를 따라 걷고있는 사람에 대한 구체 기반 모델을 보여준다. 여러 위치로부터 생성되는 합성 뷰를 위하여 카메라 각도가 패닝되고(panned) 틸트됨(tilted)에 따라 3차원 구형 모델은 복도를 걸어가는 사람을 랜더링할 것이다. 합성 뷰가 실제의 장면에 대한 카메라 뷰같이 정확하도록 랜더링된 이미지의 벽들과 바닥들이 카메라들에 의하여 생성되는 비디오들로부터 텍스처된다. 이동 객체를 식별하고 그 후 장면내의 그 객체에 대하여 전체 장면 중 일부분의 특정 이미지를 랜더링하는 것은 "플래시라이트 모드(flashlight mode)" 작동으로 알려진다. 플래시라이트 모드 이미지를 랜더링하는데 사용되는 프로세스는 2001년 3월 7일에 출원된 미국 특허 출원 제 09/800,550호에서 설명된다.
본 시스템은 시점 및 장면에 대한 비디오 랜더링에 관하여 실질적인 융통성을 갖는다. 예를 들어, 뷰 선택기는 작동자가 정기적으로 점검하는 특정 고-투-포인츠(go to points)를 포함할 수 있다. 뷰 선택기은 경비원이 공급된 라이브 뷰들로부터 어떤 뷰들이 유용한가를 정확하게 알 수 있도록 카메라 아이콘들을 포함할 수 있다. 도 7에서 도시된 바와 같이 동작에 대한 최상위 뷰가 유용하다. 경비원은 이미지 사이를 날아다니며 원격 위치에서부터 장면 사이를 가상 산책할 수 있으며, 경비원이 장면에서 이미지의 전 해상도(full resolution) 뷰를 선택할 수 있도록 언제라도 각각의 카메라들로부터 전해상도 비디오를 얻을 수 있다.
더욱이, 장면 또는 객체 식별과 관련된 위치 정보를 보여주기 위하여 마우스 포인터가 장면내의 소정의 위치들을 가리킬 때, 이미지에는 주석이 달린다. 예를 들어, 어떤 사람이 경비 체크포인트를 통해 들어왔다면, 그 사람의 아이콘이 장면에서 식별될 때 그 사람의 이름과 ID 번호가 스크린상에 나타날 것이다. 그와 같이, 그 사람이 경비구역을 통과하여 이동하는 동안 추적된다. 또는, 어떤 사람이 특정 위치에서 관찰될 수 있고, 사용자가 식별을 요구하면 그 사람을 식별하기 위한 얼굴 인식 시스템(face recognition system)에 의하여 전 해상도가 샘플링될 수 있다. 그 후, 그 사람의 식별에 대한 주석이 장면의 3차원 복합 뷰 상에 나타날 수 있다. 그 후, 사용자는 그 사람이 시설을 통하여 이동할 때 추적될 수 있다. 그 사람이 식별될 수 없다면, 그 신원이 식별되지 않은 사람을 잡기위하여 경비원이 급파될 수 있다.
본 발명의 또하나의 실시예가 도 9에서 도시되는 바, 암시적 3D 모델(implicit 3D model)이 이미지 시퀀스들을 상호연결하는 직관적 맵(intuituve map)을 제공하기 위하여 사용된다. 시스템(900)은 다수의 비디오 시퀀스들을 생성시키는 다수의 비디오 카메라들 또는 다른 이미지 소스들(902, 904, 906 및 908)을포함한다. 비디오 시퀀스들은 암시적 3D 모델(918)을 포함하는 이미지 프로세서(912)에 결합된다. 모델(918)은 모델 업데이트 소스(914)를 사용하여 생성될 수 있다. 뷰 선택기(910)은 이미지 프로세서(912)에 결합된다. 카메라들(902, 904, 906, 908)에 의하여 얻어진 이미지 뷰들이 이미지 디스플레이(916)상에 디스플레이되도록 사용자에 의하여 뷰 선택기(910)가 조정된다.
모델 업데이트 소스(914)는 연역적인 방법으로 암시적 3D 모델을 생성시키기 위하여 사용자에 의해 사용된다. 카메라에 의해 이미지화되는 장면을 통하여 객체가 움직일 때, 스크린상의 마우스 포인터를 사용하여 뷰를 간단히 선택하는 것으로서 선택된 이미지 영역의 가장 양호한 뷰가 자동적으로 디스플레이되도록, 본질적으로, 암시적 3D 모델이 여러 카메라들의 뷰들을 상호연결하는 맵를 생성시킨다.
맵(암시적 모델)는 비디오 시퀀스들 사이의 상호연결을 식별한다. 한 실시예에서, 맵는 각 비디오 시퀀스에 대하여 전이영역(transition region)과 그 전이영역과 관련된 비디오 시퀀스를 포함하는 순람표(look-up table)이다. 전이영역은 단일 화소(single pixel)일 수도 있고 화소 영역일 수도 있다. 각 비디오 시퀀스에는 고유 식별 번호가 주어진다. 고유 식별 번호들은 1이상의 전이영역들과 관련될 수 있다. 일단 관계가 형성되면, 사용자는 디스플레이된 비디오 시퀀스들에서 전이영역을 선택할 수 있으며 그 영역과 관련된 비디오 시퀀스가 디스플레이될 것이다.
한 예에서, 각 시퀀스는 이미지의 좌표계에 대하여 0, 90, 180, 270도에서전이영역을 갖는다. 이러한 영역들은 이미지의 위, 아래, 좌, 우 에지들에 위치된다. 다른 위치들도 사용될 수 있다. 4개의 위치를 사용하여, 사용자는 객체에 대한 보다 적절한 뷰가 디스플레이되도록 객체가 이동해 들어가는 전이영역을 선택할 수 있다.
카메라들이 고정위치에 있다면, 암시적 맵는 단지 한번만 생성되면 된다. 맵을 생성시키기 위하여, 사용자는 카메라들에 의하여 생성되는 비디오의 겹침들만을 알 필요가 있으며, 그 후 맵은 사용자가 어느 카메라들이 다른 카메라와 서로 겹치는지 또는 서로 거의 겹치는지를 식별하도록 생성될 수 있다. 이미지들간에 명백한 겹침이 있을 필요가 없음을 주목해야 한다. 타겟이 특정 방향으로 움직이는 경우, 사용자는 단지 어느 카메라 뷰가 다음에 보여져야 할 것인지를 식별할 필요가 있다. 겹치거나 또는 거의 겹치는 각 카메라에 대하여, 사용자는 이미지내에서 직사각형 또는 다른 형태의 관심영역을 그리고, 객체가 그 영역내에서 특정 방향으로 움직이는 경우 어느 카메라가 디스플레이되어야 하는지를 입력한다.
도 11D는 3개의 카메라들(1104, 1106 및 1108)을 갖는 예시적인 장면을 도시한다. 각 이미지에 대한 좌표계는 스케일(1150)에서 도시된다. 각 카메라는 각 카메라들에 의하여 이미지화되는 특정 영역(1114, 1112 및 1110)을 커버한다. 표 1은 도 11D에서의 카메라 배열에 대한 3차원 암시적 모델(맵)을 식별한다.
카메라 1 카메라 2 카메라 3
2, 270° 1, 90° 2. 0°
3, 0° 2, 180°
3, 180°
표 1
첫번째 열에서, 카메라 1은 객체가 270도의 영역에서 움직일 때 카메라 2에 대한 단지 1개의 이용가능한 전이를 갖는다. 카메라 2는 90도에서 카메라 1로, 0도에서 카메라 3으로 그리고 180도에서도 역시 카메라 3으로 전이되고, 마지막으로 카메라 3은 0도에서 카메라 2로 그리고 180도에서도 다시 카메라 2로 전이된다.
도 11A, 11B 그리고 11C는 객체가 도 11D에서 도시된 경로(1102)를 따르는 경우 카메라들(1104, 1106 그리고 1108)로부터의 3개의 뷰들을 도시한다. 객체는 위치(1116)에서 시작되어 카메라(1104)의 뷰에서 도 11A의 오른쪽에서 왼쪽으로 이동한다. 객체가 왼쪽 측면의 영역(1118)내에 도달할 때, 커서(1120)가 새로운 뷰를 선택하기 위하여 그 객체상에 또는 영역(1118)내에 위치될 수 있다. 그 시점에서, 표 1에서 정의된 바와 같은 전이들이 270도 영역에서 객체에 대한 가장 좋은 뷰를 위한 다음 카메라로서 카메라 2를 식별할 것이다. 도 11B는 카메라 2의 뷰 내에서 왼쪽에서부터 0도 영역(1128)으로 이동하는 객체를 도시한다. 객체가 영역(1128)안으로 이동할 때, 커서(1120)가 그 영역상에 위치될 수 있고 선택될 수 있으며, 그 후, 이동 객체에 대한 가장 좋은 이미지를 위해, 장면에 대한 다음 뷰를 식별하는데 상기 표가 다시 사용된다. 객체가 위치(1130)에서 시작되어 위치(1132)로 이동할 때 제 3 카메라(1108)가 선택된다. 그 후, 객체는 위치(1130)에서 위치(1132)로 이동한다. 그 후, 객체는 장면 밖으로 전이된다. 이러한 방법으로 암시적 3D 모델이 용이하게 생성되어, 사용자로 하여금 암시적 3차원 모델을 획득하기 위하여 사용되어왔던 임의의 개수의 카메라들을 통한 장면 사이를 이동하는 객체를 신속하게 따라갈 수 있게 한다.
도 10은 본 발명의 대안적 실시예의 방법이다. 상기 방법(1000)은 단계(1002)에서 카메라들로부터의 다수의 비디오 시퀀스들의 입력으로 시작한다. 단계(1004)에서, 사용자가 전이되어질 카메라를 식별하는 영역들을 선택함으로써 정의되는 바와 같이 비디오 시퀀스들이 암시적 관계 모델(implicit relationship model)에 기록된다. 단계(1010)에서 장면의 뷰는 마우스, 트랙 패드(track pad), 트랙 볼(track ball) 등과 같은 입력 디바이스를 사용하여 선택된다. 단계(1006)에서, 위에서 설명한 바와 같이 커서의 위치에 기초하여, 단계(1010)에서 식별된 바와 같이 디스플레이되도록 시퀀스가 선택된다. 그 후, 선택된 비디오 시퀀스는 단계(1008)에서 디스플레이된다. 이러한 시스템은 사용자가 장면에서 객체를 따라가도록 하는 직관적이고 간단한 방법을 제공한다. 작동자는 특정 비디오 프레임내의 전이영역내에 커서를 위치시키고 그 영역을 선택함으로써 용이하게 장면의 여기저기를 돌아다닐 수 있다. 만일 작동자가 빌딩 모퉁이 주변을 보고싶다면, 작동자는 그 모퉁이 영역을 선택할 수 있으며 그 모퉁이 주변에 대한 가장 좋은 뷰가 디스플레이될 것이다.
앞서 본 본 발명의 실시예들에서, 뷰 선택기는 사용자가 장면의 뷰를 선택하도록 사용자에 의하여 조정되는 것으로 설명되었다. 그러나, 뷰 선택기는 자동화될 수 있다. 예를 들어, 동작이 장면내에서 검출될 때(또는 특정 유형의 동작이 검출될 때), 뷰 선택기는 그 동작을 포함하는 장면 영역을 가장 잘 디스플레이하는 뷰를 자동적으로 선택할 수 있다. 많은 다른 표준들이 뷰 선택을 자동화하는데 사용될 수 있음을 당업자는 이해할 것이다.
지금까지 본 발명의 바람직한 실시예에 대하여 설명된 반면, 본 발명의 기타 추가적인 실시예가 본 발명의 기본적인 보호범위를 벗어나지 않으면서 고안될 수 있고, 본 발명의 보호범위는 이하의 청구범위에 의하여 결정된다.

Claims (10)

  1. 장면을 모니터하기 위한 감시 시스템으로서,
    상기 장면을 캡쳐하는 비디오를 생성시키는 다수의 카메라들;
    상기 다수의 카메라들에 결합되며, 상기 각각의 비디오를 상기 장면의 모델에 적용하기 위한 이미지 프로세서 수단;
    상기 이미지 프로세서에 결합되며, 상기 비디오들과 상기 모델의 결합(combination)을 디스플레이하기 위한 디스플레이 수단; 그리고
    상기 이미지 프로세서에 결합되며, 디스플레이될 상기 비디오들과 모델의 결합의 뷰들을 선택하기 위한 뷰 제어 수단(view controller means)을 포함하는, 감시 시스템.
  2. 제 1 항에 있어서, 상기 이미지 프로세서 수단은
    3차원 모델 생성기; 그리고
    이미지 랜더링 프로세서를 추가적으로 포함하는, 감시 시스템.
  3. 제 2 항에 있어서, 상기 이미지 프로세서 수단은
    상기 비디오들 각각에서 이동하는 객체들을 식별하기 위한 수단;
    상기 식별된, 이동하는 객체들 각각을 나타내는 아이콘을 생성하기 위한 수단; 그리고
    상기 아이콘을 상기 결합에 삽입하기 위한 수단을 추가적으로 포함하는, 감시 시스템.
  4. 제 3 항에 있어서, 상기 감시 시스템은
    이동하는 객체로서의 사람을 식별하기 위한 수단; 그리고
    상기 디스플레이에 상기 사람에 대한 설명으로 주석을 붙이기 위한 수단을 추가적으로 포함하는, 감시 시스템.
  5. 장면의 감시를 제공하기 위한 방법으로서,
    장면에 대한 다수의 비디오들을 생성시키는 단계;
    상기 장면에 대한 3차원 모델을 생성시키는 단계;
    상기 3차원 모델에 대한 시점(viewpoint)을 선택하는 단계;
    상기 3차원에 상기 다수의 비디오들을 정렬시키는 단계;
    결합 뷰(combination view)를 형성하기 위하여 상기 3차원 모델상으로 상기 다수의 비디오들을 랜더링하는 단계; 그리고
    상기 결합 뷰를 디스플레이하는 단계를 포함하는, 장면 감시 방법.
  6. 제 5 항에 있어서, 상기 선택된 시점은 조감의 시점(bird's eye view)인, 장면 감시 방법.
  7. 제 5 항에 있어서,
    상기 결합 뷰내에서 위치를 선택하는 단계; 그리고
    상기 선택된 위치로부터 장면의 뷰를 생성시키는 단계를 추가적으로 포함하는, 장면 감시 방법.
  8. 제 5 항에 있어서,
    상기 비디오들내에서 이동하는 객체들을 식별하는 단계;
    상기 각 이동 객체를 나타내는 아이콘을 생성하는 단계; 그리고
    상기 아이콘을 상기 결합 뷰에 삽입하는 단계를 추가적으로 포함하는, 장면 감시 방법.
  9. 제 5 항에 있어서,
    재생(replay)을 위하여 상기 결합 뷰를 저장하는 단계를 추가적으로 포함하는, 장면 감시 방법.
  10. 제 8 항에 있어서, 상기 식별단계는
    사람으로서의 객체를 식별하는 단계; 그리고
    상기 결합 뷰에 상기 사람의 신원을 나타내는 텍스트로 주석을 붙이는 단계를 추가적으로 포함하는, 장면 감시 방법.
KR1020047006666A 2001-11-02 2002-10-31 몰입형 감시를 제공하기 위한 방법 및 장치 KR100940142B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US33972601P 2001-11-02 2001-11-02
US60/339,726 2001-11-02
US10/202,546 US7522186B2 (en) 2000-03-07 2002-07-24 Method and apparatus for providing immersive surveillance
US10/202,546 2002-07-24
PCT/US2002/034913 WO2003067537A2 (en) 2001-11-02 2002-10-31 Method and apparatus for providing immersive surveillance

Publications (2)

Publication Number Publication Date
KR20040053257A true KR20040053257A (ko) 2004-06-23
KR100940142B1 KR100940142B1 (ko) 2010-02-03

Family

ID=26897783

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047006666A KR100940142B1 (ko) 2001-11-02 2002-10-31 몰입형 감시를 제공하기 위한 방법 및 장치

Country Status (7)

Country Link
US (2) US7522186B2 (ko)
EP (1) EP1449180A4 (ko)
JP (1) JP2005517253A (ko)
KR (1) KR100940142B1 (ko)
CA (1) CA2466085A1 (ko)
IL (1) IL161400A0 (ko)
WO (1) WO2003067537A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101383997B1 (ko) * 2013-03-08 2014-04-10 홍익대학교 산학협력단 실시간 동영상 합병 방법 및 시스템, 실시간 동영상 합병을 이용한 영상 감시 시스템 및 가상 영상 투어 시스템
KR102152319B1 (ko) * 2019-08-09 2020-09-04 주식회사 벡터시스 3d 공간상에서 객체의 위치와 크기를 계산하는 방법 및 이를 이용한 영상관제시스템

Families Citing this family (185)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7522186B2 (en) * 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
US9892606B2 (en) * 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US7868912B2 (en) * 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US20050146605A1 (en) * 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
JP2004072349A (ja) * 2002-08-05 2004-03-04 Canon Inc 撮像装置、及びその制御方法
AU2003277240A1 (en) * 2002-10-15 2004-06-07 University Of Southern California Augmented virtual environments
US20040075741A1 (en) * 2002-10-17 2004-04-22 Berkey Thomas F. Multiple camera image multiplexer
JP3700707B2 (ja) * 2003-03-13 2005-09-28 コニカミノルタホールディングス株式会社 計測システム
US20040223054A1 (en) * 2003-05-06 2004-11-11 Rotholtz Ben Aaron Multi-purpose video surveillance
US7577636B2 (en) * 2003-05-28 2009-08-18 Fernandez Dennis S Network-extensible reconfigurable media appliance
US7633520B2 (en) * 2003-06-19 2009-12-15 L-3 Communications Corporation Method and apparatus for providing a scalable multi-camera distributed video processing and visualization surveillance system
US7259778B2 (en) * 2003-07-01 2007-08-21 L-3 Communications Corporation Method and apparatus for placing sensors using 3D models
AU2004306552A1 (en) * 2003-10-09 2005-04-21 De Beers Consolidated Mines Limited Augmented video surveillance system
US20070222894A1 (en) * 2003-10-09 2007-09-27 Gregory Cox Enhanced Video Based Surveillance System
GB2408879A (en) 2003-12-03 2005-06-08 Safehouse Internat Inc Storing data recorded over a period of time
US7428314B2 (en) * 2003-12-03 2008-09-23 Safehouse International Inc. Monitoring an environment
DE10358017A1 (de) * 2003-12-11 2005-07-21 Siemens Ag 3D Kamerasteuerung
JP4424031B2 (ja) * 2004-03-30 2010-03-03 株式会社日立製作所 画像生成装置、システムまたは画像合成方法。
US8055100B2 (en) * 2004-04-02 2011-11-08 The Boeing Company Method and system for image registration quality confirmation and improvement
US7773799B2 (en) * 2004-04-02 2010-08-10 The Boeing Company Method for automatic stereo measurement of a point of interest in a scene
US20070226616A1 (en) * 2004-06-01 2007-09-27 L-3 Communications Corporation Method and System For Wide Area Security Monitoring, Sensor Management and Situational Awareness
US8063936B2 (en) * 2004-06-01 2011-11-22 L-3 Communications Corporation Modular immersive surveillance processing system and method
US7813525B2 (en) * 2004-06-01 2010-10-12 Sarnoff Corporation Method and apparatus for detecting suspicious activities
AU2005251371A1 (en) * 2004-06-01 2005-12-15 L-3 Communications Corporation Method and apparatus for video surveillance system
US8289390B2 (en) * 2004-07-28 2012-10-16 Sri International Method and apparatus for total situational awareness and monitoring
US7639840B2 (en) * 2004-07-28 2009-12-29 Sarnoff Corporation Method and apparatus for improved video surveillance through classification of detected objects
JP4368767B2 (ja) * 2004-09-08 2009-11-18 独立行政法人産業技術総合研究所 異常動作検出装置および異常動作検出方法
WO2006034135A2 (en) 2004-09-17 2006-03-30 Proximex Adaptive multi-modal integrated biometric identification detection and surveillance system
SE528330C2 (sv) * 2004-11-11 2006-10-24 Totalfoersvarets Forskningsins Metod för övervakning av ett geografiskt område
WO2006074161A2 (en) * 2005-01-03 2006-07-13 Vumii, Inc. Systems and methods for night time surveillance
EP1867167A4 (en) * 2005-04-03 2009-05-06 Nice Systems Ltd DEVICE AND METHOD FOR SEMI-AUTOMATIC TRACKING AND INVESTIGATION OF AN OBJECT OR EVENT AT A MONITORED LOCATION
US20080291278A1 (en) * 2005-04-05 2008-11-27 Objectvideo, Inc. Wide-area site-based video surveillance system
US7583815B2 (en) * 2005-04-05 2009-09-01 Objectvideo Inc. Wide-area site-based video surveillance system
US20060233461A1 (en) * 2005-04-19 2006-10-19 Honeywell International Inc. Systems and methods for transforming 2d image domain data into a 3d dense range map
US7945938B2 (en) * 2005-05-11 2011-05-17 Canon Kabushiki Kaisha Network camera system and control method therefore
US7720257B2 (en) * 2005-06-16 2010-05-18 Honeywell International Inc. Object tracking system
JP4909991B2 (ja) * 2005-09-12 2012-04-04 タパング，カルロス フレーム毎かつピクセル毎コンピュータ映像用カメラフレーム合致モデル生成グラフィックス画像
EP1941719A4 (en) * 2005-10-04 2010-12-22 Eugene J Alexander SYSTEM AND METHOD FOR CALIBRATING A SET OF PICTURE DEVICES AND CALCULATING THE 3D COORDINATES OF ELEMENTS DISCOVERED IN A LABORATORY COORDINATE SYSTEM
EP1946567A4 (en) * 2005-10-04 2009-02-18 Eugene J Alexander DEVICE FOR GENERATING THREE-DIMENSIONAL SURFACE MODELS OF MOBILE OBJECTS
US7702131B2 (en) * 2005-10-13 2010-04-20 Fujifilm Corporation Segmenting images and simulating motion blur using an image sequence
US7697850B2 (en) * 2005-10-31 2010-04-13 Infoprint Solutions Company, Llc Image-based printer system monitoring
WO2007058900A2 (en) * 2005-11-10 2007-05-24 Alexander Eugene J Calibrating an imaging device for generating three dimensional suface models of moving objects
CA2640834C (en) * 2005-11-15 2014-08-19 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for producing a video synopsis
US8949235B2 (en) 2005-11-15 2015-02-03 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Methods and systems for producing a video synopsis using clustering
US7768527B2 (en) * 2006-05-31 2010-08-03 Beihang University Hardware-in-the-loop simulation system and method for computer vision
WO2008094172A2 (en) * 2006-06-01 2008-08-07 University Of Florida Research Foundation, Inc. Radar microsensor for detection, tracking, and classification
JP4603512B2 (ja) * 2006-06-16 2010-12-22 独立行政法人産業技術総合研究所 異常領域検出装置および異常領域検出方法
JP4215781B2 (ja) * 2006-06-16 2009-01-28 独立行政法人産業技術総合研究所 異常動作検出装置および異常動作検出方法
JP5145664B2 (ja) * 2006-07-18 2013-02-20 富士ゼロックス株式会社 遠隔指示システム
US20080036864A1 (en) * 2006-08-09 2008-02-14 Mccubbrey David System and method for capturing and transmitting image data streams
JP4429298B2 (ja) * 2006-08-17 2010-03-10 独立行政法人産業技術総合研究所 対象個数検出装置および対象個数検出方法
US8121356B2 (en) * 2006-09-15 2012-02-21 Identix Incorporated Long distance multimodal biometric system and method
US20080074494A1 (en) * 2006-09-26 2008-03-27 Harris Corporation Video Surveillance System Providing Tracking of a Moving Object in a Geospatial Model and Related Methods
US8482609B1 (en) * 2006-11-22 2013-07-09 Sightlogix, Inc. Methods and apparatus related to surveillance system marketing, planning and/or integration
US9544563B1 (en) 2007-03-23 2017-01-10 Proximex Corporation Multi-video navigation system
US7777783B1 (en) * 2007-03-23 2010-08-17 Proximex Corporation Multi-video navigation
US8929645B2 (en) 2007-04-24 2015-01-06 21 Ct, Inc. Method and system for fast dense stereoscopic ranging
US8467628B2 (en) * 2007-04-24 2013-06-18 21 Ct, Inc. Method and system for fast dense stereoscopic ranging
JP5538667B2 (ja) * 2007-04-26 2014-07-02 キヤノン株式会社 位置姿勢計測装置及びその制御方法
ITMI20071016A1 (it) * 2007-05-19 2008-11-20 Videotec Spa Metodo e sistema per sorvegliare un ambiente
WO2009032366A2 (en) * 2007-05-22 2009-03-12 Vidsys, Inc. Optimal routing of audio, video, and control data through heterogeneous networks
US7965865B2 (en) * 2007-05-31 2011-06-21 International Business Machines Corporation Method, system, and program product for presenting electronic surveillance data
US9305401B1 (en) * 2007-06-06 2016-04-05 Cognitech, Inc. Real-time 3-D video-security
US8009178B2 (en) * 2007-06-29 2011-08-30 Microsoft Corporation Augmenting images for panoramic display
US8542872B2 (en) * 2007-07-03 2013-09-24 Pivotal Vision, Llc Motion-validating remote monitoring system
JP5224142B2 (ja) * 2007-11-01 2013-07-03 コニカミノルタホールディングス株式会社 撮像装置
RU2498408C2 (ru) * 2007-12-10 2013-11-10 Абб Рисерч Лтд Реализуемые компьютером способ и система для дистанционного контроля производственного процесса
GB2457707A (en) * 2008-02-22 2009-08-26 Crockford Christopher Neil Joh Integration of video information
FR2932351B1 (fr) * 2008-06-06 2012-12-14 Thales Sa Procede d'observation de scenes couvertes au moins partiellement par un ensemble de cameras et visualisables sur un nombre reduit d'ecrans
US8311275B1 (en) 2008-06-10 2012-11-13 Mindmancer AB Selective viewing of a scene
TW200952486A (en) * 2008-06-13 2009-12-16 Ind Tech Res Inst Video surveillance system, module and method for annotation and de-annotation thereof
US9071626B2 (en) 2008-10-03 2015-06-30 Vidsys, Inc. Method and apparatus for surveillance system peering
US20100194861A1 (en) * 2009-01-30 2010-08-05 Reuben Hoppenstein Advance in Transmission and Display of Multi-Dimensional Images for Digital Monitors and Television Receivers using a virtual lens
JP2010206475A (ja) * 2009-03-03 2010-09-16 Fujitsu Ltd 監視支援装置、その方法、及びプログラム
US8862987B2 (en) * 2009-03-31 2014-10-14 Intel Corporation Capture and display of digital images based on related metadata
WO2010116364A1 (en) * 2009-04-05 2010-10-14 Tadsec Advanced Homeland Security Technologies Ltd A security management system and method
CN101527046B (zh) * 2009-04-28 2012-09-05 青岛海信数字多媒体技术国家重点实验室有限公司 一种运动检测方法、装置和系统
US8639046B2 (en) * 2009-05-04 2014-01-28 Mamigo Inc Method and system for scalable multi-user interactive visualization
US20120188333A1 (en) * 2009-05-27 2012-07-26 The Ohio State University Spherical view point controller and method for navigating a network of sensors
US10188295B2 (en) * 2009-06-01 2019-01-29 The Curators Of The University Of Missouri Integrated sensor network methods and systems
FR2946440B1 (fr) * 2009-06-05 2012-01-13 Thales Sa Dispositif de simulation d'un environnement d'un systeme de supervision d'une infrastructure
US20110317017A1 (en) * 2009-08-20 2011-12-29 Olympus Corporation Predictive duty cycle adaptation scheme for event-driven wireless sensor networks
CN101635840B (zh) * 2009-08-26 2011-04-20 中兴通讯股份有限公司 一种视频监控场景切换方法及视频监控系统
CN102055901B (zh) * 2009-11-05 2014-01-22 鸿富锦精密工业（深圳）有限公司 Ptz摄影机及其ptz控制方法
US20110110557A1 (en) * 2009-11-06 2011-05-12 Nicholas Clark Geo-locating an Object from Images or Videos
WO2011059193A2 (en) * 2009-11-10 2011-05-19 Lg Electronics Inc. Method of recording and replaying video data, and display device using the same
EP2499827A4 (en) * 2009-11-13 2018-01-03 Pixel Velocity, Inc. Method for tracking an object through an environment across multiple cameras
KR20110079164A (ko) * 2009-12-31 2011-07-07 삼성테크윈 주식회사 촬영장치 핸드오프 방법 및 이를 적용한 감시 장치
MX2012011118A (es) * 2010-03-26 2013-04-03 Fortem Solutions Inc Navegacion sin esfuerzo a traves de camaras y control cooperativo de camaras.
DE102010003336A1 (de) * 2010-03-26 2011-09-29 Robert Bosch Gmbh Verfahren zur Visualisierung von Aktivitätsschwerpunkten in Überwachungsszenen
CN102223473A (zh) * 2010-04-16 2011-10-19 鸿富锦精密工业（深圳）有限公司 摄像装置及利用其动态追踪特定物体的方法
US9569442B2 (en) * 2010-04-27 2017-02-14 The Radiant Group, Inc. Geo-location video archive system and method
US9635251B2 (en) * 2010-05-21 2017-04-25 Qualcomm Incorporated Visual tracking using panoramas on mobile devices
US8933986B2 (en) 2010-05-28 2015-01-13 Qualcomm Incorporated North centered orientation tracking in uninformed environments
US8531504B2 (en) 2010-06-11 2013-09-10 Intel Corporation System and method for 3D video stabilization by fusing orientation sensor readings and image alignment estimates
TW201215078A (en) * 2010-09-21 2012-04-01 Hon Hai Prec Ind Co Ltd Handheld device and method for changing an image source using the handheld device
IL208910A0 (en) * 2010-10-24 2011-02-28 Rafael Advanced Defense Sys Tracking and identification of a moving object from a moving sensor using a 3d model
US20120105581A1 (en) * 2010-10-29 2012-05-03 Sony Corporation 2d to 3d image and video conversion using gps and dsm
US9185388B2 (en) * 2010-11-03 2015-11-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
US8193909B1 (en) * 2010-11-15 2012-06-05 Intergraph Technologies Company System and method for camera control in a surveillance system
EP2641236A1 (en) * 2010-11-17 2013-09-25 Omron Scientific Technologies, Inc. A method and apparatus for monitoring zones
KR20120065817A (ko) * 2010-12-13 2012-06-21 한국전자통신연구원 지능형 출입 감시 방법 및 시스템, 지능형 출입 감시를 위한 출입 감시 장치, 지능형 출입 감시를 위한 프로그램이 기록된 기록매체
US8971641B2 (en) * 2010-12-16 2015-03-03 Microsoft Technology Licensing, Llc Spatial image index and associated updating functionality
MY171846A (en) * 2010-12-27 2019-11-04 Mimos Berhad System and method for navigation and visualization
US9746988B2 (en) * 2011-05-23 2017-08-29 The Boeing Company Multi-sensor surveillance system with a common operating picture
KR101302803B1 (ko) * 2011-05-26 2013-09-02 주식회사 엘지씨엔에스 네트워크 카메라를 이용한 지능형 감시 방법 및 시스템
US20120300020A1 (en) * 2011-05-27 2012-11-29 Qualcomm Incorporated Real-time self-localization from panoramic images
FR2976107B1 (fr) 2011-05-30 2014-01-03 Commissariat Energie Atomique Procede de localisation d'une camera et de reconstruction 3d dans un environnement partiellement connu
US8368690B1 (en) 2011-07-05 2013-02-05 3-D Virtual Lens Technologies, Inc. Calibrator for autostereoscopic image display
US8817067B1 (en) * 2011-07-29 2014-08-26 Google Inc. Interface for applying a photogrammetry algorithm to panoramic photographic images
US9129400B1 (en) * 2011-09-23 2015-09-08 Amazon Technologies, Inc. Movement prediction for image capture
EP2791909A4 (en) * 2011-12-16 2015-06-24 Thomson Licensing METHOD AND DEVICE FOR PRODUCING 3D CONTENTS WITH FREE VIEWPOINT
US20130208123A1 (en) * 2012-02-13 2013-08-15 Honeywell International Inc. Method and System for Collecting Evidence in a Security System
US9195883B2 (en) 2012-04-09 2015-11-24 Avigilon Fortress Corporation Object tracking and best shot detection system
US9597016B2 (en) 2012-04-27 2017-03-21 The Curators Of The University Of Missouri Activity analysis, fall detection and risk assessment systems and methods
US9408561B2 (en) 2012-04-27 2016-08-09 The Curators Of The University Of Missouri Activity analysis, fall detection and risk assessment systems and methods
US9767598B2 (en) 2012-05-31 2017-09-19 Microsoft Technology Licensing, Llc Smoothing and robust normal estimation for 3D point clouds
US20130321564A1 (en) 2012-05-31 2013-12-05 Microsoft Corporation Perspective-correct communication window with motion parallax
US9846960B2 (en) 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
EP2860970A4 (en) * 2012-06-08 2016-03-30 Sony Corp INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING, PROGRAM AND MONITORING CAMERA SYSTEM
US9087386B2 (en) 2012-11-30 2015-07-21 Vidsys, Inc. Tracking people and objects using multiple live and recorded surveillance camera video feeds
US10084994B2 (en) * 2012-12-12 2018-09-25 Verint Systems Ltd. Live streaming video over 3D
US9648075B1 (en) * 2012-12-18 2017-05-09 Google Inc. Systems and methods for providing an event map
JP6171374B2 (ja) * 2013-02-06 2017-08-02 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
KR101491324B1 (ko) * 2013-10-08 2015-02-06 현대자동차주식회사 차량용 영상 획득 장치
US9613448B1 (en) 2014-03-14 2017-04-04 Google Inc. Augmented display of information in a device view of a display screen
JP6357023B2 (ja) * 2014-06-06 2018-07-11 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理装置の制御方法および情報処理システム
US10089785B2 (en) * 2014-07-25 2018-10-02 mindHIVE Inc. Real-time immersive mediated reality experiences
US10412594B2 (en) 2014-07-31 2019-09-10 At&T Intellectual Property I, L.P. Network planning tool support for 3D data
EP3016382B1 (en) 2014-10-27 2016-11-30 Axis AB Monitoring methods and devices
SG10201407100PA (en) 2014-10-30 2016-05-30 Nec Asia Pacific Pte Ltd System For Monitoring Event Related Data
KR102282456B1 (ko) * 2014-12-05 2021-07-28 한화테크윈 주식회사 평면도에 히트맵을 표시하는 장치 및 방법
US10147210B1 (en) * 2015-03-13 2018-12-04 Amazon Technologies, Inc. Data visualization system
US10206630B2 (en) 2015-08-28 2019-02-19 Foresite Healthcare, Llc Systems for automatic assessment of fall risk
US11864926B2 (en) 2015-08-28 2024-01-09 Foresite Healthcare, Llc Systems and methods for detecting attempted bed exit
US9681111B1 (en) 2015-10-22 2017-06-13 Gopro, Inc. Apparatus and methods for embedding metadata into video stream
US10033928B1 (en) 2015-10-29 2018-07-24 Gopro, Inc. Apparatus and methods for rolling shutter compensation for multi-camera systems
US9792709B1 (en) 2015-11-23 2017-10-17 Gopro, Inc. Apparatus and methods for image alignment
US9973696B1 (en) 2015-11-23 2018-05-15 Gopro, Inc. Apparatus and methods for image alignment
US9848132B2 (en) 2015-11-24 2017-12-19 Gopro, Inc. Multi-camera time synchronization
US9667859B1 (en) 2015-12-28 2017-05-30 Gopro, Inc. Systems and methods for determining preferences for capture settings of an image capturing device
US9922387B1 (en) 2016-01-19 2018-03-20 Gopro, Inc. Storage of metadata and images
US9967457B1 (en) 2016-01-22 2018-05-08 Gopro, Inc. Systems and methods for determining preferences for capture settings of an image capturing device
US9665098B1 (en) 2016-02-16 2017-05-30 Gopro, Inc. Systems and methods for determining preferences for flight control settings of an unmanned aerial vehicle
US9973746B2 (en) 2016-02-17 2018-05-15 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US9602795B1 (en) 2016-02-22 2017-03-21 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US9743060B1 (en) 2016-02-22 2017-08-22 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US10043058B2 (en) * 2016-03-09 2018-08-07 International Business Machines Corporation Face detection, representation, and recognition
US10764539B2 (en) 2016-03-22 2020-09-01 Sensormatic Electronics, LLC System and method for using mobile device of zone and correlated motion detection
US11216847B2 (en) 2016-03-22 2022-01-04 Sensormatic Electronics, LLC System and method for retail customer tracking in surveillance camera network
US10665071B2 (en) 2016-03-22 2020-05-26 Sensormatic Electronics, LLC System and method for deadzone detection in surveillance camera network
US10733231B2 (en) 2016-03-22 2020-08-04 Sensormatic Electronics, LLC Method and system for modeling image of interest to users
US10192414B2 (en) * 2016-03-22 2019-01-29 Sensormatic Electronics, LLC System and method for overlap detection in surveillance camera network
US9965680B2 (en) 2016-03-22 2018-05-08 Sensormatic Electronics, LLC Method and system for conveying data from monitored scene via surveillance cameras
US11601583B2 (en) 2016-03-22 2023-03-07 Johnson Controls Tyco IP Holdings LLP System and method for controlling surveillance cameras
US10347102B2 (en) 2016-03-22 2019-07-09 Sensormatic Electronics, LLC Method and system for surveillance camera arbitration of uplink consumption
US10475315B2 (en) 2016-03-22 2019-11-12 Sensormatic Electronics, LLC System and method for configuring surveillance cameras using mobile computing devices
US10318836B2 (en) * 2016-03-22 2019-06-11 Sensormatic Electronics, LLC System and method for designating surveillance camera regions of interest
EP3236440B1 (de) * 2016-04-18 2021-03-03 Hesotech GmbH automatisieren - visualisieren Vorrichtung, system und verfahren zur markierungsfreien hangüberwachung und/oder bauüberwachung
CA3030850C (en) 2016-06-28 2023-12-05 Foresite Healthcare, Llc Systems and methods for use in detecting falls utilizing thermal sensing
US9934758B1 (en) 2016-09-21 2018-04-03 Gopro, Inc. Systems and methods for simulating adaptation of eyes to changes in lighting conditions
US10268896B1 (en) 2016-10-05 2019-04-23 Gopro, Inc. Systems and methods for determining video highlight based on conveyance positions of video content capture
US9973792B1 (en) 2016-10-27 2018-05-15 Gopro, Inc. Systems and methods for presenting visual information during presentation of a video segment
KR20180092163A (ko) * 2017-02-08 2018-08-17 삼성전자주식회사 비디오 재생을 위한 전자 장치 및 서버
US10194101B1 (en) 2017-02-22 2019-01-29 Gopro, Inc. Systems and methods for rolling shutter compensation using iterative process
US10187607B1 (en) 2017-04-04 2019-01-22 Gopro, Inc. Systems and methods for using a variable capture frame rate for video capture
JP6871801B2 (ja) * 2017-05-11 2021-05-12 キヤノン株式会社 画像処理装置、画像処理方法、情報処理装置、撮像装置および画像処理システム
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
JP7119425B2 (ja) * 2018-03-01 2022-08-17 ソニーグループ株式会社 画像処理装置、符号化装置、復号化装置、画像処理方法、プログラム、符号化方法及び復号化方法
JP6828708B2 (ja) * 2018-03-29 2021-02-10 京セラドキュメントソリューションズ株式会社 制御装置、監視システム、及び監視カメラ制御方法
US10902680B2 (en) * 2018-04-03 2021-01-26 Saeed Eslami Augmented reality application system and method
US10574975B1 (en) 2018-08-08 2020-02-25 At&T Intellectual Property I, L.P. Method and apparatus for navigating through panoramic content
US11196968B1 (en) * 2018-08-08 2021-12-07 Alarm.Com Incorporated System for generating drone video feed overlays based on property monitoring system data
JP2020086700A (ja) * 2018-11-20 2020-06-04 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び、表示装置
US10902685B2 (en) * 2018-12-13 2021-01-26 John T. Daly Augmented reality remote authoring and social media platform and system
JP2022028091A (ja) * 2018-12-19 2022-02-15 ソニーグループ株式会社 画像処理装置、画像処理方法、及び、プログラム
US11587420B2 (en) * 2019-03-14 2023-02-21 Johnson Controls Tyco IP Holdings LLP Systems and methods of combining RFID and VMS for people tracking and intrusion detection
WO2020213426A1 (ja) * 2019-04-18 2020-10-22 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
TWI726536B (zh) 2019-12-16 2021-05-01 財團法人工業技術研究院 影像擷取方法及影像擷取設備
CN111526328B (zh) * 2020-03-18 2022-01-04 深圳市华橙数字科技有限公司 视频监控巡视方法、装置、终端及存储介质
DE102020213288A1 (de) * 2020-10-21 2022-04-21 Robert Bosch Gesellschaft mit beschränkter Haftung Anzeigevorrichtung für ein Videoüberwachungssystem, Videoüberwachungssystem sowie Verfahren
CN112584060A (zh) * 2020-12-15 2021-03-30 北京京航计算通讯研究所 一种视频融合系统
CN112584120A (zh) * 2020-12-15 2021-03-30 北京京航计算通讯研究所 一种视频融合方法

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US526785A (en) * 1894-10-02 Theodore g
US529471A (en) * 1894-11-20 Filter
US3018349A (en) * 1960-04-08 1962-01-23 Rt & E Corp Fuse construction
KR920010745B1 (ko) * 1989-11-21 1992-12-14 주식회사 금성사 부재중 비상사태 원격감시시스템 및 화상 송,수신 처리방법
US5276785A (en) 1990-08-02 1994-01-04 Xerox Corporation Moving viewpoint with respect to a target in a three-dimensional workspace
US5182641A (en) * 1991-06-17 1993-01-26 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Composite video and graphics display for camera viewing systems in robotics and teleoperation
GB2257598B (en) 1991-07-12 1994-11-30 Hochiki Co Surveillance monitor system using image processing
JPH0628132A (ja) 1992-07-09 1994-02-04 Mitsubishi Heavy Ind Ltd 監視装置
JPH07325934A (ja) * 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
WO1996003839A1 (en) * 1994-07-26 1996-02-08 Maxpro Systems Pty. Ltd. A video security system
US5714997A (en) * 1995-01-06 1998-02-03 Anderson; David P. Virtual reality television system
CA2211079A1 (en) 1995-01-17 1996-07-25 David Sarnoff Research Center, Inc. Method and apparatus for detecting object movement within an image sequence
JPH08287288A (ja) * 1995-03-24 1996-11-01 Internatl Business Mach Corp <Ibm> 対話式三次元グラフィックスにおける複数側面アノテーション及びホットリンク
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US5963664A (en) * 1995-06-22 1999-10-05 Sarnoff Corporation Method and system for image combination using a parallax-based technique
DE69635347T2 (de) * 1995-07-10 2006-07-13 Sarnoff Corp. Verfahren und system zum wiedergeben und kombinieren von bildern
JP3365182B2 (ja) 1995-12-27 2003-01-08 三菱電機株式会社 映像監視装置
WO1997037494A1 (en) 1996-03-29 1997-10-09 Barry Katz Surveillance system having graphic video integration controller and full motion video switcher
US5850469A (en) * 1996-07-09 1998-12-15 General Electric Company Real time tracking of camera pose
US6031573A (en) * 1996-10-31 2000-02-29 Sensormatic Electronics Corporation Intelligent video information management system performing multiple functions in parallel
JP3718579B2 (ja) * 1996-11-19 2005-11-24 住友電気工業株式会社 映像監視システム
JPH10188183A (ja) 1996-12-26 1998-07-21 Matsushita Electric Works Ltd 自火報設備用表示操作装置
JPH10210546A (ja) 1997-01-17 1998-08-07 Sony Corp 無線通信システム及び固定局装置並びに移動局装置
JPH10240908A (ja) * 1997-02-27 1998-09-11 Hitachi Ltd 映像合成方法
US6512857B1 (en) 1997-05-09 2003-01-28 Sarnoff Corporation Method and apparatus for performing geo-spatial registration
US6018349A (en) 1997-08-01 2000-01-25 Microsoft Corporation Patch-based alignment method and apparatus for construction of image mosaics
US6009190A (en) * 1997-08-01 1999-12-28 Microsoft Corporation Texture map construction method and apparatus for displaying panoramic image mosaics
DE69823116D1 (de) * 1997-08-05 2004-05-19 Canon Kk Bildverarbeitungsverfahren und -gerät
US6108437A (en) * 1997-11-14 2000-08-22 Seiko Epson Corporation Face recognition apparatus, method, system and computer readable medium thereof
US6144375A (en) * 1998-08-14 2000-11-07 Praja Inc. Multi-perspective viewer for content-based interactivity
WO2000016243A1 (en) 1998-09-10 2000-03-23 Mate - Media Access Technologies Ltd. Method of face indexing for efficient browsing and searching ofp eople in video
US7124427B1 (en) * 1999-04-30 2006-10-17 Touch Technologies, Inc. Method and apparatus for surveillance using an image server
US6424370B1 (en) * 1999-10-08 2002-07-23 Texas Instruments Incorporated Motion based event detection system and method
JP2001202531A (ja) * 1999-10-15 2001-07-27 Hitachi Kokusai Electric Inc 動画像編集方法
JP4564117B2 (ja) 1999-10-20 2010-10-20 綜合警備保障株式会社 警備システム
US6985620B2 (en) * 2000-03-07 2006-01-10 Sarnoff Corporation Method of pose estimation and model refinement for video representation of a three dimensional scene
US7522186B2 (en) 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
IL136080A0 (en) * 2000-05-11 2001-05-20 Yeda Res & Dev Sequence-to-sequence alignment
AU2001280071A1 (en) 2000-08-16 2002-02-25 Sagarmatha Ltd. Method and system for automatically producing optimized personalized offers
US20020097798A1 (en) * 2000-11-17 2002-07-25 Yehuda Manor System and method for coding and decoding
WO2002047031A2 (en) * 2000-12-05 2002-06-13 Yeda Research And Development Co. Ltd. Apparatus and method for alignment of spatial or temporal non-overlapping image sequences
US6987512B2 (en) * 2001-03-29 2006-01-17 Microsoft Corporation 3D navigation techniques
IL159537A0 (en) * 2001-06-28 2004-06-01 Omnivee Inc Method and apparatus for control and processing of video images
US7509241B2 (en) * 2001-07-06 2009-03-24 Sarnoff Corporation Method and apparatus for automatically generating a site model
US6989745B1 (en) * 2001-09-06 2006-01-24 Vistascape Security Systems Corp. Sensor device for use in surveillance system
US7428019B2 (en) * 2001-12-26 2008-09-23 Yeda Research And Development Co. Ltd. System and method for increasing space or time resolution in video
US20040240562A1 (en) * 2003-05-28 2004-12-02 Microsoft Corporation Process and system for identifying a position in video using content-based video timelines
US7633520B2 (en) * 2003-06-19 2009-12-15 L-3 Communications Corporation Method and apparatus for providing a scalable multi-camera distributed video processing and visualization surveillance system
US7599696B2 (en) * 2004-06-25 2009-10-06 Searete, Llc Frequency reuse techniques in mote-appropriate networks
US20060007308A1 (en) 2004-07-12 2006-01-12 Ide Curtis E Environmentally aware, intelligent surveillance device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101383997B1 (ko) * 2013-03-08 2014-04-10 홍익대학교 산학협력단 실시간 동영상 합병 방법 및 시스템, 실시간 동영상 합병을 이용한 영상 감시 시스템 및 가상 영상 투어 시스템
KR102152319B1 (ko) * 2019-08-09 2020-09-04 주식회사 벡터시스 3d 공간상에서 객체의 위치와 크기를 계산하는 방법 및 이를 이용한 영상관제시스템

Also Published As

Publication number Publication date
EP1449180A2 (en) 2004-08-25
IL161400A0 (en) 2004-09-27
US20090237508A1 (en) 2009-09-24
WO2003067537A3 (en) 2003-11-20
KR100940142B1 (ko) 2010-02-03
US7522186B2 (en) 2009-04-21
WO2003067537A2 (en) 2003-08-14
EP1449180A4 (en) 2008-05-14
JP2005517253A (ja) 2005-06-09
CA2466085A1 (en) 2003-08-14
US20030085992A1 (en) 2003-05-08

Similar Documents

Publication Publication Date Title
KR100940142B1 (ko) 몰입형 감시를 제공하기 위한 방법 및 장치
KR100271384B1 (ko) 패턴 키 삽입 기법을 이용하는 비디오 합성방법 및 장치
CN101542538B (zh) 用来对光进行建模的方法与系统
US20030012410A1 (en) Tracking and pose estimation for augmented reality using real features
US9756277B2 (en) System for filming a video movie
GB2429131A (en) Virtual mask for use in autotracking video camera images
JP2010504711A (ja) 地理空間モデルにおいて移動しているオブジェクトを追跡する映像監視システム及びその方法
JP2002259976A (ja) 特定点検出方法及び装置
JP2004525437A (ja) 一群の実際のビデオおよび／または静止画像から新規ビデオおよび／または静止画像を合成する方法および装置
CA2534747A1 (en) Method and apparatus for placing sensors using 3d models
Côté et al. Live mobile panoramic high accuracy augmented reality for engineering and construction
US9008361B2 (en) Method for visualizing zones of higher activity in surveillance scenes
JP2001319218A (ja) 画像監視装置
Böhm Multi-image fusion for occlusion-free façade texturing
JP2023546739A (ja) シーンの３次元モデルを生成するための方法、装置、およびシステム
JP5213883B2 (ja) 合成表示装置
JP2003319388A (ja) 画像処理方法及び装置
WO2021160476A1 (en) A camera system with multiple cameras
JP7479793B2 (ja) 画像処理装置、仮想視点映像を生成するシステム、画像処理装置の制御方法及びプログラム
JP2004030408A (ja) 三次元画像表示装置及び表示方法
CN111970434A (zh) 多摄像机多目标的运动员跟踪拍摄视频生成系统及方法
Benedek et al. An integrated 4D vision and visualisation system
GB2352899A (en) Tracking moving objects
Chen et al. A 3-D surveillance system using multiple integrated cameras
CN107093193B (zh) 用于借助摄像机构建深度图的方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130125

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140121

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141114

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee