KR20090073140A - 지리공간 모델에서의 이동 객체 추적을 제공하는 비디오 감시 시스템 및 관련 방법 - Google Patents

지리공간 모델에서의 이동 객체 추적을 제공하는 비디오 감시 시스템 및 관련 방법 Download PDF

Info

Publication number
KR20090073140A
KR20090073140A KR1020097007168A KR20097007168A KR20090073140A KR 20090073140 A KR20090073140 A KR 20090073140A KR 1020097007168 A KR1020097007168 A KR 1020097007168A KR 20097007168 A KR20097007168 A KR 20097007168A KR 20090073140 A KR20090073140 A KR 20090073140A
Authority
KR
South Korea
Prior art keywords
video
surveillance
moving object
scene
video surveillance
Prior art date
Application number
KR1020097007168A
Other languages
English (en)
Inventor
조셉 엠. 네메시
티모시 비. 폴크너
토마스 제이. 아폴로니
조셉 에이. 베네지아
Original Assignee
해리스 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 해리스 코포레이션 filed Critical 해리스 코포레이션
Publication of KR20090073140A publication Critical patent/KR20090073140A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

비디오 감시 시스템(20)은 장면의 지리공간 모델(22)을 저장하는 지리공간 모델 데이터베이스(21), 장면 내에서 이동하는 객체의 비디오를 포착하는 적어도 하나의 비디오 감시 카메라(24), 및 비디오 감시 디스플레이(26)를 구비할 수 있다. 상기 시스템은 지리공간 모델(22)로 이동하는 객체의 포착 비디오를 지상 좌표화하고, 상기 지리공간 모델의 장면(23) 내에 포개지는 이동하는 객체의 포착 비디오와 결합된 삽입물(30)을 포함하는 지상 좌표화된 감시 비디오를 비디오 감시 디스플레이(26) 상에 생성하는 비디오 감시 처리기(25)를 더 구비할 수 있다.
Figure P1020097007168
비디오 감시, 삽입물, 객체 포착, 지리공간 모델, 좌표화

Description

지리공간 모델에서의 이동 객체 추적을 제공하는 비디오 감시 시스템 및 관련 방법{VIDEO SURVEILLANCE SYSTEM PROVIDING TRACKING OF A MOVING OBJECT IN A GEOSPATIAL MODEL AND RELATED METHODS}
본 발명은 감시 시스템의 분야에 관한 것이며, 더 상세하게는 비디오 감시 시스템 및 관련 방법에 관한 것이다.
비디오 감시는 보안 감시 동작의 중요한 측면이다. 비디오 감시가 개인 자산 및 빌딩을 감시하는데 사용되는 동안, 훨씬 방대해진 지리공간 영역들을 보안하는 데 있어 이의 사용이 더욱 중요해지고 있다. 예를 들어, 비디오 감시는 항구들, 도시들 등의 법률적 환경 감시의 매우 중요한 요소가 될 수 있다.
아직, 관심대상인 방대한 지리공간 영역들의 비디오 감시와 관련한 하나의 어려움은 실시간, 선행적인 보안을 제공하기 위해 감시되어야만 하는 많은 비디오 카메라가 공급되어야 한다는 것이다. 전형적인 대형의 보안 시스템에서, 각각의 카메라는 개별적인 비디오 모니터에 공급되거나 또는 여러 개의 비디오 카메라들로부터의 공급이 소수의 모니터들에 선택적으로 다중 송신된다. 그러나, 상대적으로 큰 영역에 대해서는, 10개 또는 심지어 수백 개의 비디오 감시 카메라들이 요구될 수 있다. 이는 대응 수의 보안 모니터들을 수용하는데 필요한 공간의 문제만이 아니 라, 이러한 다수의 비디오 공급을 감시하기 위한 보안 담당자의 수가 제한되기 때문에 곤란하다.
상기 시스템들로 인한 다른 문제점들은 이들이 통상 카메라의 시각 분야에서 2차원적 시각을 제공한다는 것이며, 이는 때때로 작동자가 시각 분야(특히, 화상 축소할 때)에서 객체의 위치를 소망하는 정확도 수준으로 정확하게 접근하는 것을 어렵게 한다. 또한, 객체가 상이한 카메라 범위들의 시야에서 이동을 지속하여, 서로 직접적으로 인접하지 않을 수 있는 상이한 모니터들 상에 나타남에 따라, 관심대상의 지리공간 영역에 걸쳐 이동하는 객체의 위치를 추적하는 것이 어려워진다.
비디오 감시를 용이하게 하기 위한 다양한 선행기술의 접근법들이 개발되어 왔다. 실시예의 방법으로, 미국특허번호 제6,295,367호는 제1 및 제2 대응 그래프들을 사용하여 비디오 프레임 스트림으로부터의 일 장면에서 객체의 이동을 추적하는 시스템을 개시한다. 객체 대응 그래프로 일컬어지는 제1 대응 그래프는 추적될 가설 객체인 상기 장면의 영역 클러스터(region clusters)를 나타내는 복수의 노드들, 및 복수의 트랙들을 포함한다. 각 트랙은 상기 장면을 통해 객체의 트랙부분을 나타내는 연속적인 비디오 프레임에 일 순서열의 노드들을 포함한다. 트랙 대응 그래프로 일컬어지는 제2 대응 그래프는 각 노드가 제1 대응 그래프에서 적어도 하나의 트랙에 대응하는, 복수의 노드들을 포함한다. 제2 대응 그래프에서 일 순서열의 노드들을 포함하는 트랙은 장면을 통하는 객체의 경로를 나타낸다. 상기 장면에서, 사람과 같은, 객체의 정보를 추적하는 것은 제1 대응 그래프 및 제2 대응 그래프에 기초하여 추적된다.
미국특허번호 제6,512,857호는 다른 시스템을 설명한다. 이 특허는 카메라 좌표들과 지리공간 표시로서 일컬어지는 지구 좌표들 간을 정확하게 맵핑하는 시스템을 가리키고 있다. 상기 시스템은 지리학적으로 측정된 참조 이미지를 예를 들어, 동적 생성된 비디오 이미지와 같은 입력 이미지와 함께 정렬시키기 위해 지리공간 데이터베이스에 내포된 이미지 및 영역 정보를 활용하며, 장면 내에서 위치들의 식별을 이룬다. 비디오 카메라와 같은 센서가 지리공간 데이터베이스에 내포된 장면을 이미지화할 때, 상기 시스템은 상기 이미지화된 장면에 속한 참조 이미지를 재현한다(recall). 이러한 참조 이미지는 매개 변환을 사용하여 센서의 이미지들로 정렬된다. 이후에, 상기 참조 이미지와 관련한 다른 정보가 상기 센서 이미지상에 포개지거나 또는 상기 센서 이미지와 결합될 수 있다.
상기 시스템에 의해 제공되는 이점들에도, 관심대상인 상대적으로 큰 지리공간 영역을 감시하고, 상기 영역에서 이동하는 객체를 추적하는데 사용되는 시스템을 위한 더 많은 제어 및/또는 추적 특징들을 갖는 것이 바람직하다.
전술한 배경을 볼 때에, 본 발명의 목적은 강화된 감시 특징들 및 관련 방법들을 제공하는 비디오 감시 시스템을 제공하는 것이다.
상기 및 기타 목적, 특징 및 이점들은 장면의 지리공간적 모델을 저장하는 지리공간 모델 데이터베이스, 상기 장면에서 이동하는 객체의 비디오를 포착하는 적어도 하나의 비디오 감시 카메라, 및 비디오 감시 디스플레이를 포함할 수 있는 비디오 감시 시스템에 의해 제공된다. 상기 시스템은 지리공간 모델로 이동하는 객체의 포착 비디오를 지상 좌표화하고, 상기 지리공간 모델의 장면 내에 포개지는 이동 객체의 포착 비디오와 결합된 삽입물을 포함하는 지상 좌표화된 감시 비디오를 비디오 감시 디스플레이 상에 생성하는 비디오 감시 처리기(processor)를 더 구비할 수 있다.
상기 처리기는 지상 좌표화된 감시 비디오에서 사용자 선택의 관찰위치(viewpoint)를 가능하게 할 수 있다. 또한, 적어도 하나의 비디오 카메라는 하나 이상의 고정 또는 이동 비디오 카메라들을 포함할 수 있다. 특히, 상기 적어도 하나의 비디오 감시 카메라는 이동 객체의 3차원적(3D) 비디오를 포착하는 복수의 공간 이격한 비디오 감시 카메라들을 포함할 수 있다.
상기 삽입물은 포착된 이동하는 객체의 3D 비디오 삽입물을 포함할 수 있다. 상기 삽입물은 이동 객체를 나타내는 아이콘을 더 포함하거나 대안적으로 포함할 수 있다. 또한, 처리기는 장면 내의 일시적인 은폐(obscuration)에도, 식별 플래그 및/또는 투영 경로를 감시를 위한 이동 객체와 결합시킬 수도 있다. 실시예의 방법으로, 상기 적어도 하나의 비디오 카메라는 광학 비디오 카메라, 인프라 비디오 카메라, 및 주사 개구 레이더(SAR) 중의 적어도 하나일 수 있다. 또한, 상기 지리공간 모델은 예를 들어, 수치표고모델(DEM)과 같은 3차원적(3D) 모델일 수 있다.
비디오 감시 방법의 일 측면은 지리공간 모델 데이터베이스에 일 장면의 지리공간 모델을 저장하고, 적어도 하나의 비디오 감시 카메라를 사용하여 상기 장면에서 이동하는 객체의 비디오를 획득하고, 상기 지리공간 모델로 이동하는 객체의 포착 비디오를 지상 좌표화하는 것을 포함할 수 있다. 상기 방법은 지리공간 모델의 장면에 포개지는 이동 객체의 포착 비디오와 결합된 삽입물을 포함하는 지상 좌표화된 감시 비디오를 상기 비디오 감시 디스플레이 상에 생성하는 것을 더 포함할 수 있다.
본 발명은 지금 첨부 도면과 관련하여 이후에 더 충분히 기술될 것이며, 상기 도면들은 본 발명의 예시적인 실시형태들을 나타낸다. 그러나, 이 발명은 다수의 상이한 형태들에 포함될 수 있으며, 여기 설명한 실시형태에 제한된 것으로서 해석되어서는 아니 된다. 그보다는, 이들 실시형태들은 이러한 개시가 면밀하고 완전할 수 있으며, 본 기술분야의 당업자에게 범위를 완전히 전달할 수 있게 제공된다. 전반에 걸쳐 동일 부재에 대해서는 동일 부호로 나타내며, 프라임 표시(prime notation)는 대안적인 실시형태들에서 유사 부재를 가리키는데 사용된다.
도 1은 본 발명에 따른 비디오 감시 시스템의 개략적인 블록도이다.
도 2 및 도 3은 본 발명에 따른 지리공간 모델 및 상기 지리공간 모델에 포개지는 이동 객체의 포착 비디오와 결합된 삽입물을 포함하는 지상 좌표화된 감시 비디오의 스크린 프린트이다.
도 4 및 도 5는 이동 객체를 은폐하며, 도 1의 시스템에 있어서의 객체 추적 특징들을 도시하는 빌딩들의 개략적인 블록도이다.
도 6은 본 발명에 따른 비디오 감시 방법의 흐름도이다.
도 7은 본 발명이 비디오 감시 방법 측면들을 도시하는 흐름도이다.
도 1을 처음으로 참조하면, 비디오 감시 시스템(20)은 장면(23)의 3차원적(3D) 수치표고모델(DEM)과 같은 지리공간 모델(22)을 저장하는 지리공간 모델 데이터베이스(21)를 예시적으로 구비한다. 하나 이상의 비디오 감시 카메라들(24)은 상기 장면(23)에서 이동하는 객체(29)의 비디오를 포착하기 위한 것이다. 예시적인 실시형태에서, 상기 이동 객체(29)는 소형의 비행기이지만, 상기 시스템(20)을 사용하여 다른 유형의 이동 객체들이 마찬가지로 추적될 수 있다. 예를 들어, 광학 비디오 카메라, 인프라 비디오 카메라, 및/또는 주사 개구 레이더(SAR)와 같은 다양한 형태의 비디오 카메라들이 사용될 수 있다. 여기 사용된 상기 용어 "비디오"는 실시간 변화하는 이미지들의 연속을 나타낸다.
상기 시스템(20)은 비디오 감시 처리기(25) 및 비디오 감시 디스플레이(26)를 예시적으로 더 구비한다. 실시예의 방법으로, 상기 비디오 감시 처리기(25)는 예를 들어, PC, 맥(Mac), 또는 다른 컴퓨터 사용 워크 스테이션의 중앙처리부(CPU)일 수 있다. 일반적으로 말하자면, 상기 비디오 감시 처리기(25)는 지리공간 모델(22)로 이동하는 객체의 포착 비디오를 지상 좌표화하고, 상기 지리공간 모델의 장면(23)에 포개지는 이동 객체의 포착 이미지와 결합된 삽입물(30)을 포함하는 지상 좌표화된 감시 비디오를 상기 비디오 감시 디스플레이(26) 상에 생성하기 위한 것이다.
예시된 실시형태에서, 상기 삽입물(30)은 장면(23) 내에서 이동 객체(29)의 위치에 대응하는 위치의 지리공간 모델(22)에 포개지는 아이콘(즉, 삼각형 또는 플래그)이다. 특히, 카메라(24)의 위치는 이가 고정 위치에 있기 때문에 일반적으로 알려져 있을 것이며, 또는 이동 카메라의 경우 그와 함께 결합되는 위치확인장치(예를 들면, GPS)를 가질 것이다. 또한, 전형적인 비디오 감시 카메라는 이가 장면에서 이동 화소의 그룹만을 출력하도록, 관련 처리 회로를 구비하게 구성되거나 또는 조정될 수 있다. 또한, 상기 카메라는 이가 이동 객체(29)로의 범위 및 베어링(bearing)을 제공하도록, 관련 처리 회로를 구비하게 구성되거나 또는 조정될 수 있다. 그에 의해 상기 처리기(25)는 예를 들면, 위도/경도/상승 좌표에 의하여 이동 객체(29)의 위치를 판별할 수 있으며, 지리공간 모델(22) 내의 적절한 위도/경도/상승 위치에 삽입물(30)을 포갤 수 있으며, 이는 본 기술분야의 당업자에 의해 인정될 수 있는 것이다.
상기 처리 동작들의 부분은 도 1에 예시된 단일 CPU의 외부에서 실행될 것이다. 즉, 상기 처리기(29)에 의해 수행되는 여기 기재된 처리 동작들은 카메라(들)(24)와 결합된 처리기/처리 모듈을 포함한, 여러 개의 상이한 처리기 또는 처리 모듈들 중에서 분배될 수 있다.
도 2 및 도 3에 예시된 대안적인 실시형태를 지금 참조하면, 삽입물(30')은 카메라(24)로부터의 이동 객체의 실제 포착 비디오 삽입물일 수 있다. 상기 예시적인 실시형태에서, 장면은 항구 영역이며, 이동 객체는 상기 항구의 수면상에서 이동하는 배이다. 복수의 공간 이격한 비디오 감시 카메라들(24)이 사용되는 경우, 상기 이동 객체의 3D 비디오가 포착되어 상기 삽입물(30')로서 디스플레이될 수 있다. 상기 삽입물은 도시된 비디오 "칩(chip)"으로서 박스에 프레임될 수 있고, 또는 일부 실시형태들에서는 상기 이동 객체를 둘러싼 비디오 화소보다 느리게 보이 는 것도 가능하며, 이는 본 기술분야의 당업자에 의해 인정될 수 있는 것이다.
이동 객체의 실제 비디오 삽입물을 볼 수 있는 것 외에도, 특히 다른 이점이 본 실시형태에 도시되며, 즉 사용자가 관찰위치(viewpoint)를 변경할 수 있는 것이다. 즉, 상기 처리기(14)는 이롭게도 지상 좌표된 감시 비디오에서 사용자 선택의 관찰위치를 가능하게 할 수 있다. 여기, 상기 지상 좌표화된 감시 비디오의 바닥에서의 좌표들에 의해 도시된 바와 같이, 도 2에서 관찰위치는 제1 위치로부터이고, 도 3에서 관찰위치는 제2의, 상기 제1위치와 다른 위치로부터이다.
또한, 사용자는 또한 상기 지상 좌표화된 감시 비디오의 줌 배율(zoom ratio)을 변경할 수도 있다. 도 3에 보여진 바와 같이, 상기 삽입물(30')은 더 큰 줌 배율이 사용되었기 때문에, 도 2에서보다 크게 나타난다. 사용자는 상기 처리기(25)에 접속되는(유선 또는 유선접속의) 키보드(27), 마우스(28), 조작용 손잡이(도시되지 않음) 등과 같은 입력 장치를 사용하여 이미지의 관찰위치 또는 줌 배율을 변경할 수 있으며, 이는 본 기술분야의 당업자에 의해 인정될 수 있다.
도 4 및 도 5로 넘어가서, 지상 좌표화된 감시 비디오를 디스플레이하는 다른 특징들이 지금 기술된다. 특히, 이들 특징들은 시스템(20)의 작동자 또는 사용자에게 상기 장면에서 다른 객체에 의해 가려질 수 있는 이동 객체를 추적할 수 있는 능력을 제공하는 것에 관련한다. 예를 들어, 상기 처리기(25)는 삽입물이 빌딩과 같은 지리공간 모델의 객체(36") 후면을 지나갈 때에 상기 삽입물(30")과 실제 경로 또는 투영 경로(35")를 결합시킬 수 있다. 환언하자면, 이동 객체에 대한 상기 카메라 각도는 가려지지 않지만, 상기 이동 객체는 상기 장면의 현재 관찰위치 때문에 시야로부터 가려지게 된다.
상기 처리기(25)에 의해 표시되는 투영 경로(35") 외에도, 또는 대신에, 비디오 삽입물(30")은 장면 내의 일시적인 은폐에도, 감시를 위한 이동 객체와 결합되는 식별 플래그/아이콘으로서 디스플레이될 수 있다. 도 5에 예시된 실시예에서, 상기 이동 객체(즉, 항공기)가 빌딩(36'")으로 사라질 때, 상기 삽입물(30'")은 객체가 빌딩 후면에 있다는 것을 표시하기 위해 도 4에 나타난 실제 포착된 비디오 삽입물로부터 도 5에 점선으로 나타난 플래그로 변경될 수 있다.
도 6에 예시된 다른 이로운 측면에 의하여, 상기 처리기(25)는 비디오 카메라(24)로부터 이동 객체의 일시적인 은폐에도, 삽입물(30"" )(예, 플래그/아이콘)을 디스플레이할 수 있다. 즉, 상기 비디오 카메라(24)는 도 6에 점선의 직사각형(37"")로 도시되는, 이동 객체에 대한 시야의 은폐선을 가진다. 상기 경우, 실제 도는 투영 경로는 상술한 바와 같이 여전히 사용될 수 있다. 또한, 상술한 기술들은 카메라 또는 빌딩 등 모두의 은폐가 일어나는 곳에 사용될 수 있으며, 이는 본 기술분야의 당업자에 의해 인정될 것이다.
다른 가능한 이점은 상기 삽입물(30)에 대한 라벨들을 생성할 수 있다는 것이다. 더 상세하게는, 상기 라벨들은 라디오 식별 신호 등에 기반하여 판별될 수 있는 공지된(예, 해병순찰선 등), 상기 장면 내의 이동 객체들(29)을 위해 처리기(25)를 통해 자동 생성되거나 또는 디스플레이될 수 있다. 한편, 상기 처리기(25)는 상기와 같은 식별되지 않은 객체들을 라벨로 나타내며(label), 객체의 속도, 안전지대에 상대적인 객체의 위치 등과 같은 요인들에 기반하여 다른 라벨들 또는 경고들을 생성할 수 있다. 게다가, 사용자는 키보드(27)와 같은 입력장치를 사용하여 이동 객체들을 라벨로 나타내는 능력을 가질 수 있다.
비디오 감시 방법의 일 측면이 도 7과 관련하여 지금 기술된다. 블록(60)에서 시작하여, 상기 장면(23)의 지리공간 모델(22)이 블록(61)의 지리공간 모델 데이터베이스(21)에 저장된다. 상기 지리공간 모델(예, DEM)은 일부 실시형태들에서 상기 처리기(25)에 의해 생성될 수 있거나 또는 다른 곳에서 생성되어 추가 처리를 위해 데이터베이스(21)에 저장될 수 있다. 더하여, 상기 데이터베이스(21) 및 처리기(25)가 도시를 명백하게 하기 위해 도 1에 개별적으로 나타나는 반면, 이들 구성요소들은 예를 들어, 동일한 컴퓨터 또는 서버에서 실행될 수 있다.
상기 방법은 블록(62)에서 하나 이상의 고정/이동 비디오 감시 카메라들(24)을 사용하여 장면(23) 내에서 이동하는 객체의 비디오를 포착하는 것을 예시적으로 포함한다. 또한, 상기 이동 객체(29)의 포착 비디오는 블록(63)에서 지리공간 모델(22)에 대해 지상 좌표화된다. 더하여, 지상 좌표화된 감시 비디오는 상술한 바와 같이, 블록(64)에서 지리공간 모델(22)의 장면에 포개지는 이동 객체(29)의 포착 비디오와 결합된 삽입물(30)을 포함하는 비디오 감시 디스플레이 상에 생성되며, 이에 따라 상기 예시 방법을 완결한다(블록(65)).
상술한 동작들은 모두가 특허 양도인 해리스 코포레이션으로부터 제작된 RealSite®와 같은 3D 사이트 모형 제품 및/또는 InReality®와 같은 3D 시각화 툴을 사용하여 실행될 수 있다. RealSite®는 관심대상인 지리공간 영역의 중복 이미지 들, 및 스테레오 및 네이더 뷰(nadir view) 기술들을 사용하여 정밀한 고분해능의 DEM들을 표시하는데 사용될 수 있다. RealSite®는 정밀한 조직 및 구조 경계들을 가지는 도시들을 포함한, 지리공간 영역들의 3차원적(3D) 지형상 모델들을 제조하는 반 자동화된 프로세스를 제공한다. 더욱이, RealSite® 모델들은 지리공간적으로 정밀하다. 즉, 상기 모델 내의 어떠한 소정 지점에서의 위치는 매우 높은 정밀도로 상기 지리공간 영역의 실제 위치에 상응한다. RealSite® 모델들을 생성하기 위해 사용되는 데이터는 항공 및 위성 촬영, 전기-광학, 인프라, 및 광 검출 및 레인징(LIDAR)을 포함할 수 있다. 더욱이, InReality®는 3-D 가상 장면에서 정교한 상호작용을 제공한다. 이는 사용자가 일 장면의 어느 위치에서도 투입할 수 있는 능력으로 지리공간적으로 정밀한 가상 환경을 통해 쉽게 이동가능하게 한다.
따라서, 상술한 시스템 및 방법은 이롭게도, 감시의 목적으로 단일 관찰위치를 생성하는 비디오 카메라(들)로부터 이동하는 객체들을 추적하기 위해 고 분해능의 3D 지리공간 모델을 사용한다. 또한, 여러 개의 상이한 비디오 감시 카메라들로부터의 삽입물들은, 상기 삽입물들을 실시간 또는 실시간 가까이 업데이트함으로 지상 좌표화된 감시 비디오에 포개질 수 있다.

Claims (10)

  1. 비디오 감시 시스템으로서, 상기 시스템은,
    장면의 지리공간 모델을 저장하는 지리공간 모델 데이터베이스와,
    상기 장면 내에서 이동하는 객체의 비디오를 포착하는 적어도 하나의 비디오 감시 카메라와,
    비디오 감시 디스플레이와,
    상기 지리공간 모델로 이동하는 객체의 포착 비디오를 지상 좌표화하고, 상기 지리공간 모델의 장면에 포개지는 이동 객체의 포착 비디오와 결합된 삽입물을 포함하는 지상 좌표화된 감시 비디오를 상기 비디오 감시 디스플레이 상에 생성하는 비디오 감시 처리기를 포함하는 비디오 감시 시스템.
  2. 제 1항에 있어서,
    상기 처리기는 상기 좌표화된 감시 비디오에서 사용자가 관찰위치(viewpoint)를 선택할 수 있게 하는 비디오 감시 시스템.
  3. 제 1항에 있어서,
    상기 적어도 하나의 비디오 감시 카메라는 이동 객체의 3차원적(3D) 비디오를 포착하도록 공간상 이격한 복수의 비디오 감시 카메라를 포함하는 비디오 감시 시스템.
  4. 제 3항에 있어서,
    상기 삽입물은 이동 객체의 상기 포착된 3D 비디오 삽입물을 포함하는 비디오 감시 시스템.
  5. 제 1항에 있어서,
    상기 삽입물은 상기 이동 객체를 나타내는 아이콘을 포함하는 비디오 감시 시스템.
  6. 비디오 감시 방법으로서, 상기 방법은,
    지리공간 모델의 데이터베이스에 장면의 지리공간 모델을 저장하고,
    적어도 하나의 비디오 감시 카메라를 사용하여 상기 장면에서 이동하는 객체의 비디오를 획득하고,
    상기 지리공간 모델로 이동하는 객체의 포착 비디오를 지상 좌표화하며,
    상기 지리공간 모델의 장면에 포개지는 이동하는 객체의 포착 비디오와 결합된 삽입물을 포함한 지상 좌표화된 감시 비디오를 상기 비디오 감시 디스플레이 상에 생성하는 것을 포함하는 비디오 감시 방법.
  7. 제 6항에 있어서,
    상기 적어도 하나의 비디오 감시 카메라는 이동 객체의 3차원적(3D) 비디오 를 포착하도록 공간상 이격한 복수의 비디오 감시 카메라를 포함하는 비디오 감시 방법.
  8. 제 6항에 있어서,
    상기 삽입물은 포착된 상기 이동 객체의 3D 비디오 삽입물과 상기 이동 객체를 나타내는 아이콘 중에 적어도 하나를 포함하는 비디오 감시 방법.
  9. 제 6항에 있어서,
    상기 처리기는 장면 내에 일시적으로 은폐되어도 식별 플래그와 투영 경로 중의 적어도 하나를, 감시를 위해 이동 객체와 결합시키는 비디오 감시 방법.
  10. 제 6항에 있어서,
    상기 지리공간 모델 데이터베이스는 수치표고모델(DEM) 데이터베이스를 포함하는 비디오 감시 방법.
KR1020097007168A 2006-09-26 2007-09-25 지리공간 모델에서의 이동 객체 추적을 제공하는 비디오 감시 시스템 및 관련 방법 KR20090073140A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/535,243 2006-09-26
US11/535,243 US20080074494A1 (en) 2006-09-26 2006-09-26 Video Surveillance System Providing Tracking of a Moving Object in a Geospatial Model and Related Methods

Publications (1)

Publication Number Publication Date
KR20090073140A true KR20090073140A (ko) 2009-07-02

Family

ID=39224478

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097007168A KR20090073140A (ko) 2006-09-26 2007-09-25 지리공간 모델에서의 이동 객체 추적을 제공하는 비디오 감시 시스템 및 관련 방법

Country Status (9)

Country Link
US (1) US20080074494A1 (ko)
EP (1) EP2074440A2 (ko)
JP (1) JP2010504711A (ko)
KR (1) KR20090073140A (ko)
CN (1) CN101517431A (ko)
BR (1) BRPI0715235A2 (ko)
CA (1) CA2664374A1 (ko)
TW (1) TW200821612A (ko)
WO (1) WO2008105935A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102001594B1 (ko) 2018-10-11 2019-07-17 (주)와이즈콘 비가시공간 투시 레이더-카메라 융합형 재난 추적 시스템 및 방법

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7073158B2 (en) * 2002-05-17 2006-07-04 Pixel Velocity, Inc. Automated system for designing and developing field programmable gate arrays
CN1788188B (zh) * 2003-06-20 2012-02-29 三菱电机株式会社 拍摄图像显示方法及拍摄图像显示装置
TWI277912B (en) * 2005-01-11 2007-04-01 Huper Lab Co Ltd Method for calculating a transform coordinate on a second video of an object having an object coordinate on a first video and related operation process and video surveillance system
US20080151049A1 (en) * 2006-12-14 2008-06-26 Mccubbrey David L Gaming surveillance system and method of extracting metadata from multiple synchronized cameras
WO2008103850A2 (en) * 2007-02-21 2008-08-28 Pixel Velocity, Inc. Scalable system for wide area surveillance
US8542872B2 (en) 2007-07-03 2013-09-24 Pivotal Vision, Llc Motion-validating remote monitoring system
US20090086023A1 (en) * 2007-07-18 2009-04-02 Mccubbrey David L Sensor system including a configuration of the sensor as a virtual sensor device
US20090027417A1 (en) * 2007-07-24 2009-01-29 Horsfall Joseph B Method and apparatus for registration and overlay of sensor imagery onto synthetic terrain
TWI383680B (zh) * 2008-04-10 2013-01-21 Univ Nat Chiao Tung 整合式影像監視系統及其方法
FR2932351B1 (fr) * 2008-06-06 2012-12-14 Thales Sa Procede d'observation de scenes couvertes au moins partiellement par un ensemble de cameras et visualisables sur un nombre reduit d'ecrans
JP5634266B2 (ja) * 2008-10-17 2014-12-03 パナソニック株式会社 動線作成システム、動線作成装置及び動線作成方法
EP2192546A1 (en) * 2008-12-01 2010-06-02 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO Method for recognizing objects in a set of images recorded by one or more cameras
JP5163564B2 (ja) * 2009-03-18 2013-03-13 富士通株式会社 表示装置、表示方法および表示プログラム
CN101702245B (zh) * 2009-11-03 2012-09-19 北京大学 一种可扩展通用三维地景仿真系统
EP2499827A4 (en) * 2009-11-13 2018-01-03 Pixel Velocity, Inc. Method for tracking an object through an environment across multiple cameras
US8577083B2 (en) 2009-11-25 2013-11-05 Honeywell International Inc. Geolocating objects of interest in an area of interest with an imaging system
US8717436B2 (en) * 2009-12-10 2014-05-06 Harris Corporation Video processing system providing correlation between objects in different georeferenced video feeds and related methods
US8933961B2 (en) * 2009-12-10 2015-01-13 Harris Corporation Video processing system generating corrected geospatial metadata for a plurality of georeferenced video feeds and related methods
US8970694B2 (en) * 2009-12-10 2015-03-03 Harris Corporation Video processing system providing overlay of selected geospatially-tagged metadata relating to a geolocation outside viewable area and related methods
US8363109B2 (en) * 2009-12-10 2013-01-29 Harris Corporation Video processing system providing enhanced tracking features for moving objects outside of a viewable window and related methods
US9160938B2 (en) * 2010-04-12 2015-10-13 Wsi Corporation System and method for generating three dimensional presentations
IL208910A0 (en) * 2010-10-24 2011-02-28 Rafael Advanced Defense Sys Tracking and identification of a moving object from a moving sensor using a 3d model
KR20120058770A (ko) * 2010-11-30 2012-06-08 한국전자통신연구원 지능형 감시 시스템에서의 이벤트 정보 생성 장치 및 그 방법과 이벤트 정보 검색 장치 및 그 방법
US10114451B2 (en) 2011-03-22 2018-10-30 Fmr Llc Augmented reality in a virtual tour through a financial portfolio
US10455089B2 (en) 2011-03-22 2019-10-22 Fmr Llc Augmented reality system for product selection
US8644673B2 (en) 2011-03-22 2014-02-04 Fmr Llc Augmented reality system for re-casting a seminar with private calculations
US8842036B2 (en) * 2011-04-27 2014-09-23 Lockheed Martin Corporation Automated registration of synthetic aperture radar imagery with high resolution digital elevation models
DE102012200573A1 (de) * 2012-01-17 2013-07-18 Robert Bosch Gmbh Verfahren und Einrichtung zum Bestimmen und Einstellen eines durch eine Videokamera zu überwachenden Bereichs
US9851877B2 (en) * 2012-02-29 2017-12-26 JVC Kenwood Corporation Image processing apparatus, image processing method, and computer program product
KR20140098959A (ko) * 2013-01-31 2014-08-11 한국전자통신연구원 증거 영상 생성 장치 및 방법
WO2014182898A1 (en) * 2013-05-09 2014-11-13 Siemens Aktiengesellschaft User interface for effective video surveillance
WO2015006369A1 (en) * 2013-07-08 2015-01-15 Truestream Kk Real-time analytics, collaboration, from multiple video sources
JP6183703B2 (ja) 2013-09-17 2017-08-23 日本電気株式会社 物体検出装置、物体検出方法および物体検出システム
CN103544852B (zh) * 2013-10-18 2015-08-05 中国民用航空总局第二研究所 一种在机场场面监视视频中实现飞机自动挂标牌的方法
US9210544B2 (en) * 2014-03-26 2015-12-08 AthenTek Incorporated Tracking device and tracking device control method
EP3016382B1 (en) 2014-10-27 2016-11-30 Axis AB Monitoring methods and devices
CN105704433B (zh) * 2014-11-27 2019-01-29 英业达科技有限公司 建立空间模型以解析事件发生位置的监控方法及系统
US20160255271A1 (en) * 2015-02-27 2016-09-01 International Business Machines Corporation Interactive surveillance overlay
US20170041557A1 (en) * 2015-08-04 2017-02-09 DataFoxTrot, LLC Generation of data-enriched video feeds
US9767564B2 (en) 2015-08-14 2017-09-19 International Business Machines Corporation Monitoring of object impressions and viewing patterns
TW201722136A (zh) 2015-11-18 2017-06-16 喬格 提爾克林 保全系統及方法
JP7101331B2 (ja) * 2016-11-22 2022-07-15 サン電子株式会社 管理装置及び管理システム
AU2018230677B2 (en) * 2017-03-06 2021-02-04 Innovative Signal Analysis, Inc. Target detection and mapping
CN107087152B (zh) * 2017-05-09 2018-08-14 成都陌云科技有限公司 三维成像信息通信系统
CN116527877B (zh) * 2023-07-04 2023-09-29 广州思涵信息科技有限公司 设备检测方法、装置、设备及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9706839D0 (en) * 1997-04-04 1997-05-21 Orad Hi Tec Systems Ltd Graphical video systems
US6512857B1 (en) * 1997-05-09 2003-01-28 Sarnoff Corporation Method and apparatus for performing geo-spatial registration
US6597818B2 (en) * 1997-05-09 2003-07-22 Sarnoff Corporation Method and apparatus for performing geo-spatial registration of imagery
US6295367B1 (en) * 1997-06-19 2001-09-25 Emtera Corporation System and method for tracking movement of objects in a scene using correspondence graphs
JP3665212B2 (ja) * 1999-01-19 2005-06-29 沖電気工業株式会社 遠隔監視装置および遠隔監視方法
US7522186B2 (en) * 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
JP3655832B2 (ja) * 2001-02-15 2005-06-02 日本電信電話株式会社 動画像送信方法、動画像送信処理用プログラム及びそのプログラムを記録したコンピュータ読取可能な記録媒体
JP2003348569A (ja) * 2002-05-28 2003-12-05 Toshiba Lighting & Technology Corp 監視カメラシステム
US6833811B2 (en) * 2002-10-07 2004-12-21 Harris Corporation System and method for highly accurate real time tracking and location in three dimensions
US7385626B2 (en) * 2002-10-21 2008-06-10 Sarnoff Corporation Method and system for performing surveillance
US7394916B2 (en) * 2003-02-10 2008-07-01 Activeye, Inc. Linking tracked objects that undergo temporary occlusion
JP4451730B2 (ja) * 2003-09-25 2010-04-14 富士フイルム株式会社 動画生成装置、方法及びプログラム
AU2005322596A1 (en) * 2004-06-01 2006-07-06 L-3 Communications Corporation Method and system for wide area security monitoring, sensor management and situational awareness
US20060007308A1 (en) * 2004-07-12 2006-01-12 Ide Curtis E Environmentally aware, intelligent surveillance device
US7804981B2 (en) * 2005-01-13 2010-09-28 Sensis Corporation Method and system for tracking position of an object using imaging and non-imaging surveillance devices
JP4828359B2 (ja) * 2006-09-05 2011-11-30 三菱電機株式会社 監視装置及び監視プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102001594B1 (ko) 2018-10-11 2019-07-17 (주)와이즈콘 비가시공간 투시 레이더-카메라 융합형 재난 추적 시스템 및 방법

Also Published As

Publication number Publication date
TW200821612A (en) 2008-05-16
JP2010504711A (ja) 2010-02-12
EP2074440A2 (en) 2009-07-01
CA2664374A1 (en) 2008-09-04
WO2008105935A3 (en) 2008-10-30
BRPI0715235A2 (pt) 2013-06-25
US20080074494A1 (en) 2008-03-27
CN101517431A (zh) 2009-08-26
WO2008105935A2 (en) 2008-09-04

Similar Documents

Publication Publication Date Title
KR20090073140A (ko) 지리공간 모델에서의 이동 객체 추적을 제공하는 비디오 감시 시스템 및 관련 방법
US10352703B2 (en) System and method for effectuating presentation of a terrain around a vehicle on a display in the vehicle
US10061486B2 (en) Area monitoring system implementing a virtual environment
US8180107B2 (en) Active coordinated tracking for multi-camera systems
US7583275B2 (en) Modeling and video projection for augmented virtual environments
US20170094227A1 (en) Three-dimensional spatial-awareness vision system
Milosavljević et al. Integration of GIS and video surveillance
US11403822B2 (en) System and methods for data transmission and rendering of virtual objects for display
US20030210832A1 (en) Interacting augmented reality and virtual reality
EP2212858A1 (en) Method and apparatus of taking aerial surveys
US8982245B2 (en) Method and system for sequential viewing of two video streams
Abidi et al. Survey and analysis of multimodal sensor planning and integration for wide area surveillance
Bradley et al. Image-based navigation in real environments using panoramas
Chandaria et al. Realtime camera tracking in the MATRIS project
EP3430591A1 (en) System for georeferenced, geo-oriented real time video streams
GB2457707A (en) Integration of video information
Neumann et al. Visualizing reality in an augmented virtual environment
Thomas et al. GPU-based orthorectification of digital airborne camera images in real time
EP1796048A2 (en) Augmented virtual environments
You et al. V-Sentinel: a novel framework for situational awareness and surveillance
Sorensen et al. A virtual reality framework for multimodal imagery for vessels in polar regions
Noirfalise et al. Real-time Registration for Image Moisaicing.
Robson et al. OpTag-a combined panoramic photogrammetric and radio frequency tagging system for monitoring passenger movements in airports
Zhu et al. Automatic Geo-Correction of Video Mosaics for Environmental Monitoring
Ai et al. Mixed Reality on a Virtual Globe

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application