KR20120038990A - 자동 비디오 감시 시스템 및 방법 - Google Patents

자동 비디오 감시 시스템 및 방법 Download PDF

Info

Publication number
KR20120038990A
KR20120038990A KR1020127002703A KR20127002703A KR20120038990A KR 20120038990 A KR20120038990 A KR 20120038990A KR 1020127002703 A KR1020127002703 A KR 1020127002703A KR 20127002703 A KR20127002703 A KR 20127002703A KR 20120038990 A KR20120038990 A KR 20120038990A
Authority
KR
South Korea
Prior art keywords
interest
region
video camera
features
platform
Prior art date
Application number
KR1020127002703A
Other languages
English (en)
Inventor
아비 메이단
세라 란 바
Original Assignee
엘비트 시스템스 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘비트 시스템스 엘티디. filed Critical 엘비트 시스템스 엘티디.
Publication of KR20120038990A publication Critical patent/KR20120038990A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle
    • G08B13/1965—Systems specially adapted for intrusion detection in or around a vehicle the vehicle being an aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19652—Systems using zones in a single scene defined for different treatment, e.g. outer zone gives pre-alarm, inner zone gives alarm
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19689—Remote control of cameras, e.g. remote orientation or image zooming control for a PTZ camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

비디오 영상 장치를 사용하여 하나 또는 그 이상의 관심 영역을 갖는 모니터링되는 구역의 자동 감시 장치 및 방법이 개시된다. 자동 감시 방법은 상기 하나 또는 그 이상의 관심 영역 및 관심 영역의 하나 또는 그 이상의 특징을 규정하는 데이터를 수신하는 단계, 상기 하나 또는 그 이상의 관심 영역으로부터 선택되는 관심 영역에서 상기 영상 장치의 시선을 포인트 지정하는 단계, 상기 선택된 관심 영역을 자동으로 스캔하여 상기 관심 대상의 상기 하나 또는 그 이상의 특징을 검출하고, 검출 시, 경보를 발령하는 단계, 및 상기 하나 또는 그 이상의 관심 영역이 하나 또는 그 이상의 관심 영역을 포함하는 경우, 상기 영상 장치의 시선을 포인트 지정하는 단계를 반복하고 상기 관심 영역의 자동 결정된 관측 순서를 자동으로 스캔하고, 상기 관심 대상의 상기 하나 또는 그 이상의 특성을 검출 시, 각각의 관심 영역에 대한 경보를 발령하는 단계를 포함한다.

Description

자동 비디오 감시 시스템 및 방법{AUTOMATIC VIDEO SURVEILLANCE SYSTEM AND METHOD}
본 발명은 비디오 감시에 관한 것이다. 특히, 본 발명은 자동 비디오 감시 시스템 및 방법에 관한 것이다.
확장된 구역을 모니터링하거나 정찰 데이터를 확보하기 위해, 비디오 영상 장치(이하, 비디오 카메라라고 한다)가 승강식 슬랫폼 상에 장착될 수 있다. 플랫폼은 비디오 카메라가 장착될 수 있는, 파일럿 탑승 항공기, 무인 항공기(UAV), 자유-비행선, 줄에 묶인 풍선, 타워, 또는 기타 승강식 플랫폼일 수 있다. 지형학적 또는 기타 조건이 허용하는 경우, 플랫폼은 승강되지 않는 유인 또는 무인 지상 차량, 보트, 또는 기타 형태의 플랫폼이 될 수 있다. 비디오 카메라는 예를 들면, 일련의 연속 프레임을 기록하는 비디오 카메라 또는 일정한 간격의 개별 프레임을 기록하는 비디오 카메라와 같은 연속 또는 분절 비디오 공급을 제공할 수 있는 모든 영상 장치일 수 있다. 비디오 카메라는 가시광, 적외선, 또는 기타 스펙트럼 범위 내의 방사선에 의해 형성되는 이미지를 획득할 수 있다. 비디오 카메라는 획득한 이미지 데이터를 원격 또는 국부 수신기 및 디스플레이로 전송할 수 있다.
모든 주어진 순간에, 비디오 카메라는 비디오 카메라의 시야(FOV)에 들어오는 모니터링되는 구역 내의 장면의 이미지를 획득할 수 있다. 비디오 카메라는 그 장면에서의 포인팅으로서 설명된다. 비디오 카메라 FOV는 비디오 카메라 구조 및 그의 렌즈의 특성에 의해 제한된다. 모니터링되는 구역 내의 각각 다른 장면의 이미지를 획득하기 위해, 비디오 카메라는 각각 다른 장면에서의 포인트를 지정하기 위해 재-배향된다. 각각 다른 장면은 그 후 비디오 카메라 FOV 내에 들어간다. 이 때문에, 비디오 카메라는 넓은 범위의 방향으로의 배치를 허용하는 방식으로 장착된다. 비디오 카메라의 방향은 종종 그의 팬(pan) 및 경사 각도, 또는 그의 시선(LOS)의 방향에 의해 규정된다.
원격지에서의 비디오 카메라 작업자는 원격-제어 콘솔에 의해 비디오 카메라를 작동한다. 선택적으로, 비디오 카메라는 자동화 시스템에 이해 작동될 수 있다. 비디오 카메라 작업자는 또한 원격-제어 콘솔과 관련되는 디스플레이에서 비디오 카메라 이미지 출력을 관측한다. 일반적으로, 비디오 카메라 작업자는 모니터링을 필요로 하는 다양한 장면에서 비디오 카메라의 포인트를 정한다. 이러한 영역의 예는 길, 경계선, 사업장 주변 구역, 숲 지역 및 기타 관심 지역을 포함한다. 비디오 카메라 작업자는 이들 장면을 모니터링하도록 비디오 카메라 출력 이미지를 관측한다. 장면을 모니터링하는 동안, 비디오 카메라 작업자는 더욱 주의를 필요로 하는 장면의 출력 이미지의 특징을 확인할 수 있다. 비디오 카메라 작업자는 또한 특정 타입의 특징이 추가의 주의를 필요로 하는 구역과 이러한 특징이 관심을 끌지 못하는 각각 다른 구역 사이를 구별할 수 있다. 예를 들면, 경계선에 인접한 또는 야간에 인접한 사업장의 주차장 내에서의 차량 통행은 더욱 주의를 필요로 하는 반면, 도시간 도로에서의 차량 통행은 그렇지 않을 수 있다. 최고 속도 한계를 갖는 도로 상에서의 고속으로의 차량 이동은 더욱 주의를 필요로 하지만, 각각 다른 속도 한계를 갖는 도로 상에서의 유사한 속도로의 차량 이동은 그렇지 않을 수 있다. 마찬가지로, 숲 지역에서의 또는 넓은 지역을 포괄하는 화재는 더욱 주의를 필요로 하지만, 지정된 캠핑장 내의 좁은 구역을 포괄하는 화재는 그렇지 않을 수 있다. 특징부에 대한 추가의 주의는 연장된 기간 동안의 특징부에 비디오 카메라의 포인트를 정하거나 인접한 범위로부터 특징부를 관측하도록 관측자를 보냄으로써 원격 비디오 카메라를 통한 특징부의 추가 시험을 포함할 수 있다.
일반적으로, 비디오 감시 시스템을 작동하는 것은 지루하며 눈이 피로한 작업이다. 비디오 카메라를 작동하는 경우, 인간 작업자는 관심 대상을 계속해서 찾고, 긴 시간 동안 모니터를 응시해야만 한다. 작업자는 종종 디스플레이 내의 특징부를 찾아서 비디오 카메라가 정말로 의도하는 장면 또는 관심 영역을 겨냥하고 있는지 확인하여야 한다. 일반적으로, 분명하고 확실한 가시적 단서가 없는 경우, 이러한 확인은 지루하며 사간이 많이 걸릴 수 있다.
모니터링되는 구역이 비디오 카메라의 FOV보다 훨씬 큰 경우, 작업자는 모니터링되는 구역 내의 다양한 위치에서 비디오 카메라의 LOS를 재-배향하고 포인트를 지정하여야 한다. 이들 위치는 모니터링되는 전체 구역을 포괄할 수 있거나, 별개의 격리된 관심 영역을 포함할 수 있다.
선택적으로, 비디오 카메라 포인팅은 자동화 시스템에 의해 제어될 수 있다. 자동화 비디오 카메라 포인팅 시스템은 일반적으로 단순하며 반복적인 이동을 기반으로 한다. 예를 들면, 푸시브룸(pushbroom) 시스템에 있어서, 비디오 카메라는 고정 방향으로 지정되며, 이때, 플랫폼의 이동은 비디오 카메라의 시야(FOV)가 플랫폼의 이동 방향과 평행한 모니터링되는 구역을 가로질러 스캔하도록 한다. 스위핑(sweeping) 시스템에 있어서, 비디오 카메라는 주기적으로 옆으로 회전하게 되어, 플랫폼의 이동 방향을 측방향으로 가로질러 전체를 포괄한다. 이러한 자동화 시스템에 따라, 비디오 카메라 FOV에 의한 모니터링되는 구역의 포괄은 구역을 포괄하는 필요 또는 관심과 관련되지 않는다. 그에 따라, 이러한 시스템의 사용은 관심이 적거나 없는 모니터링 영역의 대부분을 소비함으로써 시간의 불충분한 사용을 초래할 수 있다.
유사하거나 반복되는 장면의 계속되는 모니터링은 인간 작업자에게는 지루하고 단순한 작업이 되게 된다. 일반적으로, 더욱 주의를 필요로 하는 특징부는 상대적으로 흔하지 않아서, 장면의 모니터링이 일정 기간 후 작업자의 주의를 끌지 못할 수도 있다. 작업자는 피로하게 되어 덜 경계하게 되고, 그 결과, 모니터링이 요구되는 장면에 카메라의 포인트를 정하지 못하게 될 수 있다. 피로한 작업자는 더욱 주의를 요하는 특징부를 식별하지 못할 수도 있다. 게다가, 복잡한 장면 또는 간헐적으로 보여지는 장면의 이미지에 있어서, 작업자는 더욱 주의를 요할 수도 있는 느리거나 점차적으로 움직이거나 순간적인 변화 또는 작은 변화를 검출하는데 어려움을 겪을 수 있다. 더욱이, 스캐닝 작업이 통상 몇몇 혼란스런 장면을 모니터링하는 것을 포함함에 따라, 작업자는 또한, 사전-규정된 재방문 스케줄을 따르는 모든 요구되는 위치를 모니터링하기 위해, 스캐닝 작업을 관리하고 장면에서 장면으로 비디오 카메라의 LOS을 재-배향하도록 요구된다. 작업자의 피로가 증가함에 따라, 효율적인 방식으로 충분하게 모든 각각 다른 구역을 모니터링하는 그의 능력은 시간이 가면서 감소한다.
그에 따라, 원격 모니터링 프로세스를 자동화하고, 관심 영역에서 비디오 카메라의 LOS를 자동으로 효과적으로 포인팅하고, 더욱 주의를 요하는 모니터링되는 구역 내의 이들 특징을 찾고 검출하도록 작업자를 보조하는 시스템이 필요하게 된다.
본 발명의 목적은 UAV 또는 기타 플랫폼 상에 장착되는 비디오 카메라의 포인팅을 자동화함으로써 비디오 카메라 작업자를 보조할 수 있는 자동 감시 시스템 및 방법을 제공하는 데 있다. 본 발명의 다른 목적은 더욱 주의를 요하는 비디오 카메라 출력 내의 특징부의 검출을 자동화함으로써 작업자를 보조하는 데 있다.
본 발명의 다른 목적 및 장점은 명세서을 판독하고 및 첨부 도면을 참조한 후 더욱 명료하게 될 것이다.
본 발명의 몇몇 실시예에 따르면, 비디오 영상 장치를 사용하여 하나 또는 그 이상의 관심 영역을 갖는 모니터링되는 구역을 자동 감시하는 방법을 제공하는바, 본 방법은,
상기 하나 또는 그 이상의 관심 영역 및 관심 영역의 하나 또는 그 이상의 특징을 규정하는 데이터를 수신하는 단계;
상기 하나 또는 그 이상의 관심 영역으로부터 선택되는 관심 영역에서 상기 영상 장치의 시선을 포인트 지정하는 단계;
상기 선택된 관심 영역을 자동으로 스캔하여 상기 관심 대상의 상기 하나 또는 그 이상의 특징을 검출하고, 검출 시, 경보를 발령하는 단계; 및
상기 하나 또는 그 이상의 관심 영역이 하나 또는 그 이상의 관심 영역을 포함하는 경우, 상기 영상 장치의 시선을 포인트 지정하는 단계를 반복하고 상기 관심 영역의 자동 결정된 관측 순서를 자동으로 스캔하고, 상기 관심 대상의 상기 하나 또는 그 이상의 특성을 검출 시, 각각의 관심 영역에 대한 경보를 발령하는 단계를 포함한다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 소정의 관측 순서가 최적화된다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 영상 장치는 비디오 카메라를 포함하고 있다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 관심 영역의 상기 하나 또는 그 이상의 특징을 검출하도록 상기 선택된 관심 영역을 자동으로 스캔하는 단계는 비디오 이동 검출을 포함한다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 관심 대상의 상기 적어도 하나 또는 그 이상의 특징을 검출하도록 상기 선택된 검출 영역을 자동으로 스캔하는 단계는 상기 관심 영역의 스티치 이미지를 구성하는 단계를 포함한다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 관심 대상의 상기 적어도 하나 또는 그 이상의 특징은 형상, 치수, 질감, 색, 휘도, 방향, 위치, 기타 알려진 물체에 대한 상대 위치, 이동의 검출, 이동의 방향 및 속도로 이루어지는 대상 특성의 군으로부터 선택된다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 경보는 상기 검출된 대상의 정지 영상을 디스플레이, 상기 관심 대상에서의 상기 영상 장치의 시선을 포인트 지정, 디스플레이된 이미지 상에 상기 검출된 대상을 마킹, 작업자에게 표시를 제공, 및 정보를 제공하는 것으로 이루어지는 경보의 군으로부터 선택되는 것이다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 영상 장치는 승강식 플랫폼 상에 장착된다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 플랫폼은 무인 항공기, 유인 항공기, 타워, 포스트, 및 끈에 묶인 풍선으로 이루어지는 일 군의 플랫폼으로부터 선택되는 플랫폼을 포함한다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 선택된 관심 영역을 자동으로 스캔하는 단계는 상기 플랫폼 상에서 수행되는 것이다.
또한, 본 발명의 몇몇 실시예에 따르면, 하나 또는 그 이상의 관심 영역을 갖는 모니터링되는 구역의 자동 감시 장치를 제공하는바, 상기 장치는,
비디오 영상 장치;
상기 비디오 영상 장치를 포인트 지정하도록 적용된 플랫폼; 및
상기 하나 또는 그 이상의 관심 영역 및 관심 영역의 하나 또는 그 이상의 특징의 위치 데이터를 수신하고, 상기 하나 또는 그 이상의 관심 영역으로부터 선택되는 관심 영역에서 상기 영상 장치의 시선을 포인트 지정하고, 상기 관심 대상의 상기 하나 또는 그 이상의 특징을 검출하도록 상기 선택된 관심 대상을 자동으로 스캔하고 검출 시 경보를 발령하고, 상기 하나 또는 그 이상의 관심 영역이 하나 이상의 관심 영역을 포함하는 경우, 상기 영상 장치의 시선을 포인트 지정하고 상기 관심 영역의 자동으로 결정된 관측 순서대로 자동으로 스캔하고, 상기 관심 대상의 상기 하나 또는 그 이상의 특징의 검출 시 각각의 상기 관심 대상에 대해 경보를 발령하도록 구성되는 프로세서를 포함한다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 소정의 관측 순서가 최적화된다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 영상 장치는 비디오 카메라를 포함한다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 프로세서는 비디오 이동 검출을 사용하여 상기 관심 대상의 상기 하나 또는 그 이상의 특징을 검출하기 위해 상기 선택된 관심 대상을 자동으로 스캔하도록 구성되어 있다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 프로세서는 상기 관심 영역의 스티치 이미지를 구성하도록 적용되어 있다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 관심 대상의 상기 하나 또는 그 이상의 특징은 형상, 치수, 질감, 색, 휘도, 방향, 위치, 기타 알려진 물체에 대한 상대 위치, 이동의 검출, 이동의 방향 및 속도로 이루어지는 대상 특성의 군으로부터 선택된다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 경보는 상기 검출된 대상의 정지 영상을 디스플레이, 상기 관심 대상에서의 상기 영상 장치의 시선을 포인트 지정, 디스플레이된 이미지 상에 상기 검출된 대상을 마킹, 작업자에게 표시를 제공, 및 정보를 제공하는 것으로 이루어지는 경보의 군으로부터 선택된다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 영상 장치는 승강식 플랫폼 상에 장착되는 것이다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 플랫폼은 무인 항공기, 유인 항공기, 타워, 포스트, 및 끈에 묶인 풍선으로 이루어지는 일 군의 플랫폼으로부터 선택되는 플랫폼을 포함한다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 관심 대상의 상기 하나 또는 그 이상의 특징을 검출하기 위해 상기 선택된 관심 대상을 자동으로 스캔하도록 구성되는 상기 프로세서의 구성요소는 상기 플랫폼 상에 장착된다.
본 발명과 그것의 실용적 용도를 더욱 잘 이해하기 위해서, 하기 도면들을 제공하며, 이하에서 참조한다. 도면들은 예시 목적으로만 주어지는 것이며, 어떠한 방식으로도 본 발명의 범위를 제한하여서는 안 된다. 유사한 구성요소들은 유사한 참조 번호들로 나타내어진다.
도 1은 본 발명의 실시예들에 따른 자동 비디오 감시 시스템에 대한 개략도이다.
도 2는 본 발명의 실시예들에 따른 자동 비디오 감시 시스템에 대한 블록 다이아그램이다.
도 3은 비디오 카메라의 시야에 의해 커버되는 영역보다 큰, 모니터링된 지리적 영역에 대한 개략도이다.
도 4는 본 발명의 실시예들에 따른 자동 비디오 감시 방법의 순서도이다.
본 발명의 실시예에 따라, 자동 비디오 카메라-포인팅 시스템 및 방법이 제공되어 모니터링 작업 중인 비디오 카메라 또는 기타 화상 장치의 원격 작업자를 보조한다. 각각의 비디오 카메라가 다양한 장면에서 합동으로 또는 별개로 포인트 지정되는 플랫폼 상에 하나 또는 그 이상의 비디오 카메라가 장착된다는 것으로 가정한다. 비디오 카메라는 비디오 또는 이미지 데이터를 비디오 카메라 작업자에 의해 모니터링되는 원격 콘솔로 전송한다.
플랫폼은 타워, 포스트, 또는 끈에 묶인 풍선과 같은 고정형일 수도 있고, 무인 항공기(UAV) 또는 비행선, 또는 유인 항공기와 같은 이동형일 수도 있다. 이동형 플랫폼에 의한 경로는 미리 결정될 수도 있고, 비행 중에 비디오 카메라 작업자의 연속 제어 하에 있지 않을 수도 있다.
본 발명의 실시예에 따른 자동 비디오 감시 시스템은 모니터링될 지정 구역을 모니터링하는데 사용된다. 모니터링되는 구역은 하나 또는 그 이상의 관심 영역을 포함하며, 각각은 자동 감시 시스템에 의해 관측될 것이다.
위치 정보, 관측 정보 및 기타 변수 및 제한 사항은 시스템 내에 입력된다. 관측 변수는, 그 중에서도, 검출 및 식별될 관심 대상의 특징을 포함한다. 본 발명의 실시예에 따라, 자동 비디오 감시 시스템은 관심 대상의 특징과 일치하는 특성을 갖는 대상의 자동 검출을 포함한다.
카메라 FOV에 의해 포괄되는 구역보다 넓은 관심 영역을 관측하는 경우, 카메라 LOS는 관심 영역을 스캔하도록 재-배향된다. 스캐닝은 소정의 방식으로 수행된다. 소정의 스캐닝 방식은 예를 들면 (짐벌(gimbal) 시스템에 있어서의 한계와 같은) 카메라 포인팅 시스템의 능력 및 관심 영역의 형상과 같은 인자에 종속할 수도 있다. 스캐닝 방식은 스캐닝 시간을 최적화하고 관심 영역의 전체 구역이 영상화되는 것을 보장하도록 선택될 수 있다.
소정의 스캐닝 방식은 미션의 개시 전 또는 그에 인접하여 작업자에 의해 입력되는 데이터를 토대로 작업, 미션 또는 비행의 개시 시점에 계산될 수 있다. 소정의 스캔 방식은 작업자에 의해 제공되는 갱신된 데이터를 토대로 미션 도중에, 또는 플랫폼 및 관심 영역의 상대 위치의 변화, 타겟 내의 검출된 변화 또는 사건의 식별과 같은 변화하는 조건을 토대로 자체적으로 변경될 수 있다.
카메라 FOV는 관심 영역 내의 장면을 포괄한다. 상기 장면은 스캔되고, 비디오 데이터는 관심 대상을 검출하기 위해, 시스템의 일부인, 비디오 처리 유닛에 의해 처리된다.
관심 대상 또는 관심 사건이 검출되고 나면, 시스템은 경보를 발령한다. 경보는, 예를 들면, 시각 또는 청각 알람, 대상의 검출 시간 및 장소를 포함하는 관심 대상에 대한 정보를 표시 또는 전송, 검출된 대상이 있는 정지 영상(바람직하게는, 이미지 상에 표시 또는 다른 구별 지시가 된)의 표시 및 전송, 또는 검출된 대상의 있는 장면의 비디오 공급 클립을 생성하는, 작업자 또는 다른 시스템 또는 시스템 모듈에 통지하는 모든 방법을 포함할 수 있다. 정보는 메인 모니터 스크린 또는 다른 스크린 상에 표시될 수 있다. 작업자는 그 후 검출된 대상을 검사하고 그것이 정말 더욱 주의를 요하거나 적절한 조치를 필요로 하는 관심 대상인가의 여부를 확인한다.
본 발명의 실시예에 따른 자동 비디오 감시 시스템의 플랫폼은 온-보드 용량을 사용하는 이벤트를 검출하는 처리 용량을 구비할 수 있다. 이러한 플랫폼에 있어서, 상기 플랫폼은 관심 대상이 검출되는 경우에만 데이터를 원격 콘솔로 전송하도록 구성되는 프로세서의 구성요소를 포함할 수 있다. 이러한 구조에 따라, 데이터는 플랫폼으로부터 원격 콘솔까지, 연속적이 아니라, 간헐적으로 전송될 수 있다. 데이터가 연속적으로 전송되지 않으므로, 플랫폼과 원격 콘솔 사이의 통신 자원이 더욱 효율적으로 활용될 수 있으며 추가 플랫폼 사이의 통신을 수용하는 것이 가능할 수도 있다.
자동화 검출은 단순한 특징(예를 들면, 형상, 치수, 방향, 질감, 밝기 또는 휘도, 색), 또는 보다 복잡한 특징(예를 들면, 위치, 기타 알려진 대상에 대한 상대 위치, 이동의 검출, 이동 방향, 속도)을 식별하는 것을 토대로, 및 그에 따라 관심 대상을 관측하는 작업자의 가능성을 현저하게 감소시키는, 이미지 내의 대상을 확인하는 공지된 이미지 처리 기술을 활용할 수 있다.
본 발명의 실시예에 따른 자동 비디오 감시 시스템은 입력 정보를 토대로 관심 영역 및 기타 관측 사항을 관측하는 순서를 결정한다. 제한 사항은 관측의 유지 최소 각도, 장면 관측의 최소 기간, 및 기타 제한 사항을 포함할 수 있다.
입력 변수는 원격 제어 콘솔을 사용하는 시스템에 제공될 수 있다. 이러한 변수는 모니터링될 관심 구역의 위치 및 경계선의 정의, 각각의 관심 구역이 모니터링될 주기 또는 기간을 규정하는 기준, 최적화 기준, 및 기타 기준을 포함할 수 있다.
그래픽 유저 인터페이스는, 관심 영역이 표시되는 지도 상에 도표로 표시되도록 하여, 사용될 수 있다. 선택적으로, 지리적 좌표는 수치 데이터로서 입력될 수 있다. 변수는 또한 각각의 장면의 중요도 또는 우선권의 순위 또는 등급을 포함할 수 있다. 변수는 또한 장면의 이미지의 요구되는 해상도, 장면이 관측될 주기, 또는 장면이 관측 되어야만 하는 시간을 포함할 수 있다. 변수는 또한 최적화 기준 및 이동형 플랫폼의 비행 경로를 포함할 수 있다. 변수는 작업자에 의해 입력될 수도 있고 작업자에 의해 선택되는 저장된 데이터 파일로부터 추출될 수도 있다.
입력 변수를 토대로, 시스템은 비디오 카메라 LOS를 포인팅하기 위한 일련의 지시사항을 생성한다. 비디오 카메라를 포인팅하는 지시사항은 모니터링되는 구역 내의 관심 영역에 대한 위치 정보, 관심 영역을 관측하는 순서, 추가 제한 사항, 예를 들면, 특정 시간 또는 간격에서 특정 관심 영역을 관측, 또는 기타 제한 사항 또는 변수를 포함할 수 있다. 카메라 포인팅 지시 사항은 비디오 카메라 플랫폼으로 전송된다. 비디오 카메라는 전송된 지시 사항에 따라 포인트가 지정된다.
본 발명의 실시예에 따른 자동 비디오 감시 시스템은 각각의 관심 영역에서 비디오 카메라를 연속적으로 포인트 지정하는 순서를 계산한다. 자동 비디오 감시 시스템은 관심 영역에서 비디오 카메라의 포인트를 지정하기 위해 비디오 카메라의 방향을 자동으로 제어한다. 이동형 플랫폼의 경우, 자동 비디오 감시 시스템은 모니터링되는 구역 및 관심 영역에 대한 플랫폼의 지리적 위치 및 방향에 관한 내비게이션 데이터를 활용하며, 비디오 카메라 내비게이션 데이터는 이동형 플랫폼 상의 내비게이션 장치에 의해 시스템으로 전송되어 카메라의 포인팅 방향을 계산하는데 고려될 수 있다. 비디오 카메라 및 장면의 상대적인 위치를 토대로, 자동 비디오 카메라-포인팅 시스템은 관심 영역에 대한 비디오 카메라 시선(LOS)의 앙각/내림각 및 방위각을 계산한다. 시스템은 또한 원하는 해상도 및 비디오 카메라로부터 관심 영역까지의 거리를 토대로 비디오 카메라의 원하는 줌을 계산할 수 있다. 본 발명의 실시예에 따른 자동 비디오 감시 시스템은 그 후 제어 명령을 비디오 카메라 플랫폼에 전송한다. 제어 명령에 응답하여, 비디오 카메라 시선(LOS)은 규정된 관심 영역에서 비디오 카메라의 포인트를 지정하도록 조절된다.
본 발명의 실시예에 따른 자동 비디오 카메라-포인팅 시스템은 규정된 관심 영역을 관측하는 순서를 결정하는 최적화 알고리즘을 사용할 수 있다. 최적화 알고리즘은 다양한 장면의 지리적 위치, 비행 플랫폼의 비행 경로, 다양한 관심 영역의 중요도에 대한 상대적 가중치, 각각의 관심 영역이 관측될 시간의 양 등과 같은 변수를 고려할 수 있다. 최적화는 양(quantity)의 최대화 또는 최소화 또는 양의 조합으로서 정의될 수 있다. 예를 들면, 순서는 관심 영역 사이의 LOS의 평균 변화를 최소화하도록 결정되어, 주어진 기간 내에 이미지가 형성되는 각각 다른 관심 영역의 숫자를 최대화한다. 이는 모니터링의 효율, 즉, 관심 영역 사이의 카메라 LOS를 이동하는데 소요되는 시간의 분절을 증가시킬 것이다. 최적화 기준의 다른 예는 관심 영역의 중요도에 관련되는 주기에서 각각의 관심 영역의 영상, 영역에서 영역으로의 줌 변화 최소화, 각기 다른 영역의 커버리지의 균등화, 또는 전력의 소비 최소화를 포함할 수 있다. 최적화 알고리즘은 또한 비디오 카메라 플랫폼의 현재 위치로부터 영역의 가시성을 고려할 수 있다. 예를 들면, 알고리즘은 주어진 영역이 비디오 카메라 플랫폼이 현재 위치로부터 최적으로 보여질 수 없다는 것을 결정할 수 있다. 예를 들면, 영역에 대한 LOS는 바닥으로부터 멀어서(예를 들면, 30° 이상), 영역 내의 대상의 충분한 가시성을 방해할 수 있다. 이러한 경우, 이미지 형성 자원의 효율적인 활용을 최대화하기 위해, 알고리즘은 플랫폼이 더 좋은 관측 위치에 있게 될 때까지 그 영역의 이미지를 형성하는 것을 건너뛸 수 도 있고 소모되는 이미지 형성을 감소시킬 수도 있다.
비디오 카메라의 FOV에 의해 포괄되는 장면은 관측될 관심 영역(ROI)보다 통상적으로 더 작다. 이는 장면이 높은 공간 해상도로 관측될 경우 특별히 사실일 수 있다. 일반적으로, 공간 해상도가 증가하는 경우 비디오 카메라의 FOV의 각도 크기는 감소한다. 자동 포인팅 시스템은 그 후 FOV용 LOS 방향의 순서를 계산한다. 최적화된 순서는 비디오 카메라의 FOV가 최소량의 시간 내에 요구되는 해상도에서 전체 ROI를 자동으로 포괄하게 할 수 있다.
본 발명의 실시예에 따른 자동 비디오 감시 시스템은 자동 검출 시스템과 일체화될 수 있다. 이러한 자동 검출 시스템은 비디오 모션 검출(VMD)을 포함할 수 있다. 자동 검출 시스템은 관심 대상을 자동으로 검출하기 위해 비디오 이미지의 몇몇 프레임만을 필요로 할 수 있는 반면, 인간 작업자는 이러한 짧은 기간 동안 보여지는 경우 대상을 관측하게 되기 쉽거나 충분히 더 긴 검출 기간을 필요로 한다. 이러한 높은 검출률에서, 자동 비디오 감시 시스템은 그에 따라, 그것이 장면 상에서 적절하게 작동하도록 자동 검출 시스템에 대해 필요한 한, 그 장면에서 비디오 카메라의 포인트를 지정할 수 있다. 이러한 방식에 있어서, 몇몇 장면은 최소량의 시간 내에 잦은 간격으로 최적의 방식으로 이미지가 형성될 수 있다. 한편, 인간 작업자는 이러한 적절한 방식으로 비디오 카메라를 정확하게 포인팅하는데 어려움을 겪을 수 있다. 선택적으로, 자동 비디오 감시 시스템은 장면이 검출에 충분하게 이미지 형성되었다는 것을 지시하는 자동 검출 시스템으로부터 신호를 접수하도록 구성될 수 있다.
자동 비디오 감시 시스템에 의한 포인팅은 인간 비디오 카메라 작업자보다 정확하고, 재생 가능하며 빠를 수 있다. 비디오 카메라의 정확하며 재생 가능한 포인팅은 각기 다른 시간에 이루어지는 주어진 장면의 두 가지 이미지 사이에 증가한 유사성을 유발할 것이다. 증가한 유사성은 자동 검출 시스템이 각기 다른 시기에 획득되는 이미지들을 자동으로 비교할 수 있게 할 수도 있다.
본 발명의 실시예에 따른 자동 비디오 감시 시스템은 자유-비행 플랫폼의 이동과 같은 변화하는 조건에 응답하여 비디오 카메라의 포인팅을 일정하게 조절할 필요로부터 비디오 카메라 작업자를 적어도 부분적으로 구제한다. 이는 또한 장면에서 비디오 카메라를 정확하게 포인트 지정하고 모니터링되는 구역의 적절한 커버리지를 제공하는 비디오 카메라 작업자의 능력에 따라 감소한다. 종종, 관측되는 장면은 작업자가 빠르고, 정확하고 재생 가능하게 비디오 카메라를 그 장면에 겨냥하도록 주변 구역과 충분히 구별 가능하지 않을 수 있다. 비디오 카메라 작업자의 능력에 대한 감소하는 종속성은 작업자의 피로가 관측에 역효과를 낼 수 있는 가능성을 감소시킨다. 자동 검출 시스템과 결합하여 채용되는 본 발명의 실시예에 따른 자동 비디오 감시 시스템은 작업자의 피로가 모니터링되는 구역 내의 비-검출 특징부를 유발할 가능성을 감소시킨다.
본 발명의 실시예들은 더욱 주의를 요하는 이미지 내의 관심 대상 또는 특징부를 발견하고 식별함으로써 작업자를 더 도울 수 있다. 더욱 주의를 요구하는 특징부는, 예를 들면, 특정 크기, 형상, 방향, 온도, 질감, 휘도, 또는 색을 갖는 이미지 내의 대상을 포함할 수 있다. 특징부는 또한 장면의 내용 내의 대상의 이동 또는 기타 변화를 포함할 수 있다. 예를 들면, 이러한 특징부는 규정된 최대치를 초과하는 속도로 이동하는 차량-크기의 물체, 차량 통행에 근접한 구역 내에서 이동하는 모든 차량, 또는 숲 구역 내의 고온 구역을 포함할 수 있다. 특징부 검출에 대한 기준은 속도, 크기, 온도, 색 또는 형상을 포함할 수 있다. 시스템은 전송된 이미지 프레임을 분석하는 이미지 분석 소프트웨어 또는 비디오 스트림 내의 연속 프레임의 조합을 채용할 수 있고, 규정된 기준과 일치하는 특징부를 식별할 수 있다. 관심 대상을 식별하는 것에 응답하여, 시스템은 이미지 상의 관심 대상에 마킹하고 그 이미지를 작업자에 표시할 수 있다. 특징부 마킹은, 예를 들면, 다른 색깔로 특징부를 강조하기, 표시된 경계선으로 특징부를 둘러싸기, 및 특징부를 설명하는 하나 또는 그 이상의 양(quantity)의 값을 표시하기를 포함할 수 있다. 또한, 규정된 기준과 일치하는 특징부의 식별시, 시스템은 특징부에 대한 비디오 카메라 작업자에게 경보를 발령하도록 가청, 가시 또는 기타 형태의 알람을 보낼 수 있다. 관심 대상을 표시하는 이미지가 비디오 카메라 작업자에 표시되는 동안, 시스템은 모니터링되는 구역 내의 기타 포인트에서 비디오 카메라의 포인트를 지정하는 것을 계속하고 관심 대상을 체크하는 것을 계속한다. 선택적으로, 시스템은 다른 것이 비디오 카메라 작업자에 의해 지시될 때까지 검출된 관심 대상에서 비디오 카메라를 겨누는 것을 계속할 수 있다.
자동 특징부 검출은 공지되어 있으며, 자동 특징부 검출용 시스템은 전술된 바 있다. 자동 검출 시스템은 전술한 바와 같은 비디오 모션 검출(VMD)을 포함할 수 있다. VMD는 비디오 이미지 내의 이동을 자동으로 식별한다. 변수 또는 변수의 조합은 VMD 시스템에 입력된다. 변수는 VMD 시스템이 검출될 이동의 타입을 규정한다. 이러한 변수는 검출될 이동 물체의 크기, 속도 범위, 이동 방향 및 VMD에 포함 또는 배제될 모니터링되는 구역의 영역을 포함할 수 있다. 예를 들면, 모니터링되는 구역은 관심 밖인 도시간 교통을 담당하는 도로를 포함할 수 있다. 이러한 경우, 입력 변수는 VMD가 적용될 구역으로부터 도로를 배제할 수 있다. 다른 예에 있어서, 입력 변수는 경계선과 평행한 이동의 검출을 배제할 수 있지만, 경계선을 가로지르는 방향의 이동을 포함할 수 있다.
일반적으로, VMD는 이동을 표시하는 프레임 사이의 차이를 검출하기 위해 주어진 장면의 둘 또는 그 이상의 연속적인 획득된 비디오 프레임을 비교함으로써 작동한다. VMD는 그 후 검출될 이동의 타입에 대응하는 플레임 사이의 이들 차이를 식별한다. 이동하는 물체는 작업자에게 표시되는 이미지 상에 지시될 수 있다. 디스플레이는 또한 이동의 속도 및 방향을 지시할 수 있다.
이동을 검출하도록 요구되는 프레임의 숫자는 그의 속도를 포함하는 이동의 특성에 종속할 수 있다. 더 느린 이동은 이동을 검출하도록 더 많은 프레임을 필요로 할 것이다. 그에 따라, 비디오 카메라가 장면에 포인트 지정되는 시간의 양은 검출될 이동의 타입 또는 기타 특징부에 적절하여야 한다.
자동 특징 검출은 고-해상도 이미지의 세부 사항에 대한 일정한 주의를 기울일 필요성의 일부로부터 비디오 카메라 작업자를 구제한다. 몇몇 경우에 있어서, 자동 특징 검출은 획득된 이미지의 해상도를 감소시키는 것을 가능하게 할 수 있다. 몇몇 경우에 있어서, 자동 검출 시스템은 해상도가 너무 낮아서 인간 관측자가 동일한 특징부를 검출할 수 없도록 하는 이미지 내의 특징부를 검출할 수 있다. 원하는 해상도를 감소시키는 것은 더 낮은 해상도 및 더 넓은 FOV로 이지미의 획득을 가능하게 한다. 더 넓은 FOV 이미지는 주어진 기간 내의 더 큰 커버리지의 장면 및 차후의 모니터링되는 구역을 감안할 것이다.
이하에서는 첨부 도면을 참조하여 설명한다. 도 1은 본 발명의 실시예에 따른 자동 비디오 감시 시스템의 개략도이다. 시스템의 목적은 모니터링되는 구역(21) 내의 물체 및 활동을 모니터링하는 것이다. 비디오 카메라 플랫폼(10), 예를 들면, 소정의 비행 경로(24)를 따라 비행하는 UAV는 비디오 카메라 페이로드(12, 페이로드)를 구비한다. 선택적으로, 비디오 카메라 플랫폼은 유인 항공기, 소정의 경로를 따라 비행하는 자유-비행 비행선, 끈에 묶인 풍선, 이동하는 또는 고정된 차량 상의 마스트(mast), 고정 타워, 유인 또는 무인 지상 차량, 또는 기동 장착식 비디오 카메라 또는 비디오 카메라 페이로드의 형태일 수 있다. 비디오 카메라 페이로드(12)는 모니터링되는 구역(21) 내의 장면(20, 20a 및 20b)과 같은 관심 영역에서 비디오 카메라(26)의 포인팅을 가능하게 하도록 장착되는 비디오 카메라(26)를 포함한다. 비디오 카메라 페이로드(12)는, 비행기와 관련이 되든 안되든, 모든 원격 제어식 비디오 카메라 장착 및 조준 시스템을 대표할 수 있다. 비디오 카메라(26)는 서로 독립적으로 포인트 지정되는 몇 개의 비디오 카메라 중 하나를 대표할 수 있다. 비디오 카메라(26)는 또한 공동-장착되는 일 군의 비디오 카메라를 대표하여 그 그룹의 모든 비디오 카메라가 단일 장면에 포인트 지정되도록 할 수 있다. 주어진 순간에, 비디오 카메라(26)는 이미지 형성된 장면(18)을 향해 포인트 지정된다. 비디오 카메라(26)의 방향이 변화함에 따라, 이미지 형성된 구역(18)의 위치도 변화한다. 도 1에 도시된 상태에서, 이미지 형성된 장면(18)은 관심 영역(20) 내에 들어간다. 관측되는 이미지 형성된 장면(18)의 크기 및 형상은 비디오 카메라(26)의 FOV에 대응한다. 통신 인터페이스(13)는 비디오 카메라 페이로드(12)와 관련된다. 통신 인터페이스(13)는 통신 링크(16)를 통해 원격 수신/송신 유닛(28)로부터 원격 제어 명령을 수신하고 데이터 및 이미지를 그로 전송한다. 통신 링크(16)는 라디오, 마이크로웨이브, 광학 또는 기타 무선 통신 캐리어, 유선, 광섬유, 또는 기타 적절한 원격 장치간 통신 매체를 포함할 수 있다. 비디오 카메라 페이로드(12)와 관련되는 것은 또한 페이로드(12)의 지리적 위치 및 방향을 결정하기 위한 내비게이션 장치(15)일 수 있다. 내비게이션 장치는, 예를 들면, 글로벌 포지셔닝 시스템(GPS) 수신기, 관성 유도 시스템(INS), 레이더, 컴퍼스, 자이로스코프, 가속기, 또는 고도계, 및 페이로드(12)의 현재 위치 및 코스를 결정하는 데 도움을 줄 수 있는 기타 장치를 포함할 수 있다.
비디오 카메라(26)의 포인팅 및 작동은 원격 명령에 의해 제어된다. 원격 명령은 원격 제어 콘솔(14)에 의해 발령된다. 원격 제어 콘솔(14)은 몇몇 통신 장치를 포함할 수 있다. 이러한 장치는 관련 데이터 저장 및 처리 능력을 갖는 디지털 컴퓨터, 데이터 입력 장치, 및 이미지 및 기타 데이터를 표시하는 모니터를 포함할 수 있다. 원격 명령은 프로그램된 지시사항을 토대로, 또는 제어 유닛(22)으로의 작업자 입력을 토대로 원격 제어 콘솔(14)에 의해 생성될 수 있다. 제어 정보는 원격 제어 콘솔(14)에 직접 입력될 수 있다. 제어 콘솔(14)에의 입력은 입력된 텍스트 형태일 수도 있고 메뉴로부터 옵션을 선택하는 형태일 수도 있다. 원격 제어 콘솔(14)은 수신/송신 유닛(28)과 통신한다. 수신/송신 유닛(28)은 통신 링크(16)를 통해 비디오 카메라 페이로드(12)에 제어 명령을 전송한다. 전송된 제어 명령에 응답하여, 비디오 카메라 페이로드(12)는 적절한 기간 동안 적적한 비율로 비디오 카메라(26)의 LOS를 변화시킬 수 있다. 비디오 카메라(26)의 LOS를 변화시키면, 이미지 형성된 장면(18)의 위치가 이동된다. 비디오 카메라(26)는 관측되는 이미지 형성된 장면(18)의 이미지 데이터를 획득한다. 비디오 카메라 페이로드(12)는 획득된 이미지 데이터를 통신 링크(16)를 통해 원격 제어 콘솔(14)과 통신하는 수신/송신 유닛(28)으로 전송한다. 원격 제어 콘솔(14)은 그 후 획득된 데이터를, 비디오 카메라 작업자에 의해 관측될 수 있는, 이미지로 표시한다. 획득된 데이터를 표시하기 전에, 원격 제어 콘솔(14), 또는 다른 위치에 있는 프로세서는 획득된 데이터를 처리할 수 있다. 이러한 처리는 자동 특징 검출 또는 스티치(stitched) 이미지의 생성을 포함할 수 있다. 프로세서는 다양한 곳에 위치되는 몇 개의 프로세서를 포함할 수 있다. 각각의 프로세서는 나머지 프로세서의 기능과 별개의 기능을 수행하도록 구성될 수도 있고, 프로세서들이 단일 기능을 수행하도록 협동할 수도 있다. 특히, 프로세서는 비디오 카메라 플랫폼(10) 상에 위치될 수도 있고, 그와 관련지어질 수도 있다.
도 2는 본 발명의 실시예에 따른 자동 비디오 감시 시스템의 블록 다이어그램이다. 작업자 스테이션(82)은 비디오 카메라 플랫폼(84)과 통신한다. 통신은 스테이션 프로세서(64)에 연결되는 스테이션 송수신기(70) 및 플랫폼 프로세서(74)에 연결되는 플랫폼 송수신기(72)를 통해 수행된다. 스테이션 송수신기(70) 및 플랫폼 송수신기(72) 사이의 통신 링크(71)는 비디오 카메라 플랫폼(84)의 특성에 따라 무선 또는 유선일 수 있다. 작업자는 작업자 인터페이스(60)를 통해 스테이션 프로세서(64)에 지시 사항을 입력할 수 있다. 작업자는 또한 작업자 인터페이스(60)를 통해 스테이션 프로세서(64)로부터 정보를 수신할 수 있다. 스테이션 프로세서(64)는 프로그램된 지시사항 및 작업자 인터페이스(60)를 통해 작업자에 의해 제공되는 입력에 따라 작동한다. 스테이션 프로세서(64)는 포인팅 모듈(68) 및 검출 모듈(66)을 포함한다. 포인팅 모듈(68) 및 검출 모듈(66)은 스테이션 프로세서(64)의 프로그램된 지시 사항 내의 소프트웨어의 블록을 포함할 수 있다. 선택적으로, 포인팅 모듈(68) 또는 검출 모듈(66)은 스테이션 프로세서(64)와 통신하는 특수 하드웨어 구성요소를 포함할 수 있다. 선택적으로, 포인팅 모듈(68) 또는 검출 모듈(66)의 하드웨어 또는 소프트웨어 구성요소의 전부 또는 일부는 비디오 카메라 플랫폼(84) 상에 위치될 수도 있고 다른 곳에 위치될 수도 있다.
포인팅 모듈(68)은, 비디오 카메라 플랫폼(84)으로부터 통신된 데이터, 작업자 인터페이스(60)를 통해 작업자에 의해 제공되는 입력, 및 프로그램된 지시 사항을 토대로, 비디오 카메라 플랫폼(84) 상에 장착되는 하나 또는 그 이상의 비디오 카메라의 포인트를 정하는 방향을 계산한다. 포인팅 모듈(68)은 또한 비디오 카메라 플랫폼(84) 상에 장착되는 하나 또는 그 이상의 비디오 카메라용 스캐닝 패턴을 계산할 수 있다. 비디오 카메라 플랫폼으로부터 통신되는 데이터는 내비게이션 모듈(76)에 의해 생성되는 위치, 이동 및 방향 데이터를 포함할 수 있다. 비디오 카메라 플랫폼으로부터 통신되는 데이터는 또한 카메라 포인트/스캔 제어(78)에 의해 생성되는 비디오 카메라의 LOS의 현재 방향에 관한 정보를 포함할 수 있다. 비디오 카메라의 포인트를 정하는 방향을 계산할 때, 계산의 결과는 스테이션 프로세서(64)에 의해 플랫폼 프로세서(74)까지 통신된다. 플랫폼 프로세서(74)는 그 후 포인트/스캔 제어(78)에 적절한 지시 사항을 발령하여 포인트/스캔 제어(78)가 원하는 방향의 비디오 카메라의 LOS의 포인트를 지정하도록 한다. 필요시, 발령된 지시 사항은 포인트/스캔 제어(78)가 원하는 패턴에 따라 LOS를 스캔하도록 할 수 있다.
비디오 카메라(80)에 의해 획득되는 비디오 이미지 데이터는 플랫폼 프로세서(74)에 의해 스테이션 프로세서(64)까지 전송된다. 비디오 이미지 데이터는 그 후 검출 모듈(66)에 의해 처리된다. 검출 모듈(66)은 작업자 인터페이스(60)를 통해 작업자에 의해 제공되는 입력 및 프로그램된 지시 사항을 토대로 비디오 이미지 데이터를 처리한다. 처리의 목적은 비디오 이미지 데이터가 관심 대상을 결정하는 소정의 기준에 부합하는 특징을 포함하는가의 여부를 결정하는 것이다. 비디오 이미지 데이터의 특징이 소정의 기준에 부합하는 경우, 스테이션 프로세서(64)는 비디오 이미지 데이터가 이미지 디스플레이(62) 상에 디스플레이되도록 할 수 있다. 또한, 스테이션 프로세서(64)는 작업자 인터페이스(60)를 통해 작업자에게 적절한 경보를 보낼 수 있다.
본 발명의 실시예에 따라, 표시된 이미지는 관심 영역 전체의 스티치 이미지를 포함할 수도 있다. 이러한 이미지는 관심 영역이 스캔됨에 따라 획득되는 개별 이미지 장면의 이미지들의 조합일 수 있다. 스티치 방법 또한 공지되어 있다.
도 3은 단일 이미지 구역보다 큰 지리적 영역의 개략도이다. 비디오 카메라 플랫폼은 지리적 영역(30)에 대해 위치되어, 비디오 카메라가, 비디오 카메라 플랫폼의 변위 없이, LOS를 변화시킴으로써 지리적 영역(30)의 모든 부분을 관측할 수 있도록 한다. 이러한 경우, 본 발명의 실시예에 따른 자동 비디오 감시 시스템은 상대적으로 짧은 기간 내에 지리적 영역(30)을 스캔할 수 있다. 스캔 중에, 비디오 카메라는 32로 통칭되는 관측된 장면(32a 내지 32c)과 같은 도 3의 작은 정사각형에 의해 표시되는 다양한 관측 장면에서 연속적으로 포인트를 정하도록 스캔된다. 예를 들면, 카메라는 수직인 방향을 따라 또는 사선으로 플랫폼의 이동 방향으로 스캔될 수 있다. 이러한 방식에 있어서, 지리적 영역(30)은 스트립(34, strip)과 같은 일련의 스트립에 의해 커버될 수 잇다. 플랫폼의 이동 방향은 화살표로 지시된다. 스트립(34)의 폭은 충분히 넓어서 각각의 관측된 장면(32)이 충분한 양의 시간 동안 이미지 형성되는 것을 보장한다. 각각의 스트립(34)의 길이는 바닥에 가까운 관측 각도까지 제한된다. 바닥으로부터 너무 큰 각도(예를 들면, 대략 45° 이상)에서의 LOS는 장면 내의 요소가 서로를 방해하는 이미지를 유발할 수 있다. 넓은 지리적 영역(30)의 이미지를 형성하기 위해, 플랫폼은 영역을 한 번 이상 통과하여야 할 것이다. 관측된 장면(32)은 서로 부분적으로 중첩할 수 있다. 각각의 관측된 장면에서 포인트가 정해지는 경우, 비디오 카메라는 하나 또는 그 이상의 이미지 프레임의 관측된 장면을 획득한다. 스캔 결과, 관측된 장면(32)은 지리적 영역(30)의 경계선 내의 전체 구역을 포괄한다. 관측된 구역의 개별적으로 획득된 이미지는 등록을 허용하도록 처리되고, 그 후, 지리적 영역(30)의 단일 스티치 이미지를 구성하도록 조합된다. 단일 스티치 이미지의 스캐닝 및 구성 프로세스는 주기적으로 반복될 수 있다. 개별 이미지에 따라, 단일 스티치 이미지는 관심 대상을 검출하도록 자동 검출 시스템에 의해 처리되거나 작동될 수 있다. 각기 다른 시간에 획득 및 구성되는 스티치 이미지는 지리적 영역 내의 변화를 검출하도록 비교될 수 있다.
지리적 영역(30)을 규정하는 변수는 작업자에 의해 입력될 수 있다. 입력 변수는 영역(30)의 경계선을 규정한다. 본 발명의 실시예에 있어서, 지리적 영역의 경계선은, 표시되는 지도와 같은, 영역에 인접한 그래픽 표시 상에 도식적으로 규정될 수 있다. 선택적으로, 경계선은 수치 데이터로 입력되는 좌표로 규정될 수 있다. 기타 입력 변수는 영역이 스캔될 주기, 및 자동 검출 시스템에 의해 검출될 특징을 규정하는 변수를 포함할 수 있다.
스캔 영역은 도로의 섹션, 벽, 강 또는 경계선과 같은 긴 지리적 특징부를 포괄하도록 규정될 수 있다. 지리적 영역(30)은 긴 지리적 특징과 같은 예이다. 이러한 경우, 스캔 영역은 영역의 길이 치수 및 영역의 폭을 따라 포인트의 좌표에 의해 충분히 규정될 수 있다. 선택적으로, 선형 지리적 특징의 표시가 시스템 내에 이미 존재하는 경우, 이는 엔드 포인트 및 영역의 폭윽 규정하는데 충분할 수 있다.
지리적 영역이 일단 규정되고 나면, 본 발명의 실시예에 따른 자동 비디오 감시 시스템은 비디오 카메라 LOS를 포인트 지정하는 방법 및 전체 지리적 영역(30)의 완전한 포괄을 최적의 방식으로 성공적으로 완수하기 위한 프레임의 비디오 순서를 개별적으로 획득하는 시기를 결정한다. 시스템은 획득된 이미지에 대한 등록 작업을 수행할 수 있다. 예를 들면, 시스템은 획득된 비디오 데이터를 정사사진(orthophotograph)로 변환할 수 있다. 등록 작업은 관점, 범위, 프레임에서 프레임으로의 플랫폼 이동에 있어서의 차이를 보상한다. 등록은 개별 프레임에 대한 스캔 영역의 단일, 테두리 없는, 스티치 이미지로의 조합 또는 스티칭을 가능하게 한다. 이러한 스티치 이미지는 작업자에게 디스플레이될 수 있다.
개별 이미지 프레임의 조합으로부터 형성되는 스캔 영역의 단일 무-테두리 이미지는 각각의 개별 이미지 프레임과 동일한 해상도를 갖는다. 대개는, 장면의 광각 이미지를 생성하기 위해, 비디오 카메라와 이미지 장면 사이의 거리가 증가하거나, 비디오 카메라 렌즈의 유효 초점 거리가 증가한다. 이러한 경우, 이미지의 해상도, 즉, 이미지 내에서 구별될 장면의 특징의 최소 크기는 작아진다. 개별 고해상도 프레임을 단일 스티치로 조합하는 방법은, 본질적으로, 스캔 영역의 고해상도 광각 이미지를 생성한다.
개별 이미지 프레임을 갖는 경우에 있어서, 각기 다른 시간에 획득된 스티치 이미지는 서로 비교되어 이미지 형성된 지리적 영역 내의 느린 이동의 검출 또는 기타 느린 변화를 검출하는데 도움이 될 수 있다.
도 4는 본 발명의 실시예에 따른 자동 비디오 감시 방법의 순서도이다. 도 1에 도시된 구성요소가 참조된다. 데이터는 시스템 내로 입력된다(단계 40). 입력 데이터는, 모니터링되는 구역 내의 관심 영역(ROI)를 포함하는, 모니터링될 지리적 구역을 규정한다. 추가의 데이터는 모니터링되는 구역 및 관심 영역을 관측하는 방식에 영향을 미치는 변수를 추가로 제공할 수 있다. 이러한 데이터는, 예를 들면, ROI의 좌표, 각각의 ROI를 모니터링하는 중요도의 암시, 및 최적화 기준을 포함할 수 있다. 또한, 데이터가 입력되어 관심 대상의 특성, 또는 자동 비디오 카메라-포인팅 시스템과 관련되는 자동 검출 시스템에 의해 검출될 기타 특징을 특성화한다. 이동형 비디오 카메라 플랫폼의 경우에 있어서, 데이터는 플랫폼의 계획된 루트에 관해 입력될 수 있다. 입력 데이터는 원격 제어 콘솔을 통해 작업자에 의해 입력될 수도 있고, 시스템의 메모리 내에 저장되는 데이터로부터 선택될 수도 있다.
입력 데이터를 토대로, 자동 비디오 감시 시스템은 다양한 ROI를 관측하는 최적화된 순서를 생성한다(단계 42). ROI가 비디오 카메라의 FOV보다 큰 경우, 자동 비디오 감시 시스템은 또한 ROI 내의 스캐닝을 위한 최적화된 스캐닝 패턴을 생성한다. 스캐닝 패턴은, 예를 들면, 스캐닝 방향 및 스캐닝 폭에 의해 변수화될 수 있다. 최적화된 스캐닝 패턴은 자동 비디오 감시 시스템이 ROI를 최적의 방식으로 스캔할 수 있도록 한다. 최적화된 순서 및 패턴은, 이들이 포인트 지정되는 경우, 비디오 카메라의 LOS가 포인트 지정되는 방향을 규정한다.
비디오 카메라는 그 후 생성된 순서(단계 44)에 따라 선택되는 제 1 ROI에서 포인트 지정된다. 비디오 카메라는 장면의 일련의 이미지 프레임을 획득함으로써 ROI를 관측한다. ROI가 비디오 카메라 FOV보다 큰 경우, 비디오 카메라 FOV는 ROI를 가로질러 스캔된다(단계 46). 획득된 이미지 프레임은 VMD과 같은 도구를 사용하여 자동 검출 시스템에 의해 처리된다. 자동 검출 시스템은 단계(40) 중에 입력되는 기준과 일치하는 대상 및 특징을 검색한다(단계 48). 여기서, 시스템은 스티치 이미지의 생성과 같은 기타 타입의 이미지 프로세싱을 수행할 수 있다. 관심 대상이 검출되는 경우, 작업자에게 경보가 발령된다(단계 50). 관심 대상을 보여주는 것을 포함하는 이미지는 작업자의 관측을 위해 디스플레이된다. 여기서, 프로그램된 지시 사항 또는 입력 기준에 따라, 또는 작업자의 조치 (단계 51)시, 자동 비디오 감시 시스템은 작업자에 의해 연속하도록 지지될 때까지 자동 작동을 멈춘다(단계 56). 그렇지 않으면, 자동 비디오 감시 시스템은 작동을 계속할 수 있다(단계 52로부터).
관심 대상이 검출되지 않는 경우, 자동 비디오 감시 시스템은 작동을 계속한다(단계 52). 비디오 카메라는 ROI를 관측 또는 스캔, 획득된 이미지 프레임을 처리, 및 관심 대상의 검색을 계속한다(단계 46로 복귀). ROI가 충분히 관측 또는 스캔된 경우, 입력 기준에 의해 결정되는 바와 같이, 자동 비디오 감시 시스템은 최적화된 순서 내의 다음 ROI에서 비디오 카메라의 포인트를 지정한다(단계 54). ROI는 그 후 관측 및 스캔되고, 획득된 이미지 프레임은 처리된다(단계 46로 복귀).
본 명세서에 개시된 실시예 및 첨부 도면에 대한 설명이 본 발명을 그의 범주를 제한하지 않고도, 더 잘 이해할 수 있도록 한다는 것을 알 수 있을 것이다.
또한, 본 기술 분야에 통상의 지식을 가진 자라면, 본 명세서를 읽은 후, 여전히 본 발명에 의해 포괄될, 첨부한 도면 및 전술한 실시예에 대한 조정 및 보정을 가능하게 한다는 것을 알 수 있을 것이다.
10: 비디오 카메라 플랫폼 12: 비디오 카메라 페이로드
16: 통신 링크 18: 장면
20: 관심 영역 21: 모니터링된 구역
24: 비행 경로 26: 비디오 카메라

Claims (19)

  1. 비디오 영상 장치를 사용하여 하나 또는 그 이상의 관심 영역을 갖는 모니터링되는 구역을 자동 감시하는 방법에 있어서,
    상기 하나 또는 그 이상의 관심 영역 및 관심 영역의 하나 또는 그 이상의 특징을 규정하는 데이터를 수신하는 단계;
    상기 하나 또는 그 이상의 관심 영역으로부터 선택되는 관심 영역에서 상기 영상 장치의 시선을 포인트 지정하는 단계;
    상기 선택된 관심 영역을 자동으로 스캔하여 상기 관심 대상의 상기 하나 또는 그 이상의 특징을 검출하고, 검출 시, 경보를 발령하는 단계; 및
    상기 하나 또는 그 이상의 관심 영역이 하나 또는 그 이상의 관심 영역을 포함하는 경우, 상기 영상 장치의 시선을 포인트 지정하는 단계를 반복하고 상기 관심 영역의 자동 결정된 관측 순서를 자동으로 스캔하고, 상기 관심 대상의 상기 하나 또는 그 이상의 특성을 검출 시, 각각의 관심 영역에 대한 경보를 발령하는 단계를 포함하는 방법.
  2. 제 1 항에 있어서, 상기 소정의 관측 순서가 최적화되는 방법.
  3. 제 1 항에 있어서, 상기 관심 영역의 상기 하나 또는 그 이상의 특징을 검출하도록 상기 선택된 관심 영역을 자동으로 스캔하는 단계는 비디오 이동 검출을 포함하는 방법.
  4. 제 1 항에 있어서, 상기 관심 대상의 상기 적어도 하나 또는 그 이상의 특징을 검출하도록 상기 선택된 검출 영역을 자동으로 스캔하는 단계는 상기 관심 영역의 스티치 이미지를 구성하는 단계를 포함하는 방법.
  5. 제 1 항에 있어서, 상기 관심 대상의 상기 적어도 하나 또는 그 이상의 특징은 형상, 치수, 질감, 색, 휘도, 방향, 위치, 기타 알려진 물체에 대한 상대 위치, 이동의 검출, 이동의 방향 및 속도로 이루어지는 대상 특성의 군으로부터 선택되는 방법.
  6. 제 1 항에 있어서, 상기 경보는 상기 검출된 대상의 정지 영상을 디스플레이, 상기 관심 대상에서의 상기 영상 장치의 시선을 포인트 지정, 디스플레이된 이미지 상에 상기 검출된 대상을 마킹, 작업자에게 표시를 제공, 및 정보를 제공하는 것으로 이루어지는 경보의 군으로부터 선택되는 방법.
  7. 제 1 항에 있어서, 상기 영상 장치는 승강식 플랫폼 상에 장착되는 방법.
  8. 제 7 항에 있어서, 상기 플랫폼은 무인 항공기, 유인 항공기, 타워, 포스트, 및 끈에 묶인 풍선으로 이루어지는 일 군의 플랫폼으로부터 선택되는 플랫폼을 포함하는 방법.
  9. 제 7 항에 있어서, 상기 선택된 관심 영역을 자동으로 스캔하는 단계는 상기 플랫폼 상에서 수행되는 방법.
  10. 하나 또는 그 이상의 관심 영역을 갖는 모니터링되는 구역의 자동 감시 장치에 있어서,
    비디오 영상 장치;
    상기 비디오 영상 장치의 시선의 방향을 제어하도록 적용되는 포인팅 메커니즘; 및
    상기 하나 또는 그 이상의 관심 영역 및 관심 영역의 하나 또는 그 이상의 특징의 위치 데이터를 수신하고, 상기 하나 또는 그 이상의 관심 영역으로부터 선택되는 관심 영역에서 상기 영상 장치의 시선을 포인트 지정하고, 상기 관심 대상의 상기 하나 또는 그 이상의 특징을 검출하도록 상기 선택된 관심 대상을 자동으로 스캔하고 검출 시 경보를 발령하고, 상기 하나 또는 그 이상의 관심 영역이 하나 이상의 관심 영역을 포함하는 경우, 상기 영상 장치의 시선을 포인트 지정하고 상기 관심 영역의 자동으로 결정된 관측 순서대로 자동으로 스캔하고, 상기 관심 대상의 상기 하나 또는 그 이상의 특징의 검출 시 각각의 상기 관심 대상에 대해 경보를 발령하도록 구성되는 프로세서를 포함하는 장치.
  11. 제 10 항에 있어서, 상기 소정의 관측 순서가 최적화되는 장치.
  12. 제 10 항에 있어서, 상기 영상 장치는 비디오 카메라를 포함하는 장치.
  13. 제 10 항에 있어서, 상기 프로세서는 비디오 이동 검출을 사용하여 상기 관심 대상의 상기 하나 또는 그 이상의 특징을 검출하기 위해 상기 선택된 관심 대상을 자동으로 스캔하도록 구성되는 장치.
  14. 제 10 항에 있어서, 상기 프로세서는 상기 관심 영역의 스티치 이미지를 구성하도록 적용되는 장치.
  15. 제 10 항에 있어서, 상기 관심 대상의 상기 하나 또는 그 이상의 특징은 형상, 치수, 질감, 색, 휘도, 방향, 위치, 기타 알려진 물체에 대한 상대 위치, 이동의 검출, 이동의 방향 및 속도로 이루어지는 대상 특성의 군으로부터 선택되는 장치.
  16. 제 10 항에 있어서, 상기 경보는 상기 검출된 대상의 정지 영상을 디스플레이, 상기 관심 대상에서의 상기 영상 장치의 시선을 포인트 지정, 디스플레이된 이미지 상에 상기 검출된 대상을 마킹, 작업자에게 표시를 제공, 및 정보를 제공하는 것으로 이루어지는 경보의 군으로부터 선택되는 장치.
  17. 제 10 항에 있어서, 상기 영상 장치는 승강식 플랫폼 상에 장착되는 장치.
  18. 제 17 항에 있어서, 상기 플랫폼은 무인 항공기, 유인 항공기, 타워, 포스트, 및 끈에 묶인 풍선으로 이루어지는 일 군의 플랫폼으로부터 선택되는 플랫폼을 포함하는 장치.
  19. 제 17 항에 있어서, 상기 관심 대상의 상기 하나 또는 그 이상의 특징을 검출하기 위해 상기 선택된 관심 대상을 자동으로 스캔하도록 구성되는 상기 프로세서의 구성요소는 상기 플랫폼 상에 장착되는 장치.
KR1020127002703A 2009-07-08 2010-06-13 자동 비디오 감시 시스템 및 방법 KR20120038990A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IL199763A IL199763B (en) 2009-07-08 2009-07-08 Automatic contractual system and method for observation
IL199763 2009-07-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020177003254A Division KR101747180B1 (ko) 2009-07-08 2010-06-13 자동 비디오 감시 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20120038990A true KR20120038990A (ko) 2012-04-24

Family

ID=42263758

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177003254A KR101747180B1 (ko) 2009-07-08 2010-06-13 자동 비디오 감시 시스템 및 방법
KR1020127002703A KR20120038990A (ko) 2009-07-08 2010-06-13 자동 비디오 감시 시스템 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177003254A KR101747180B1 (ko) 2009-07-08 2010-06-13 자동 비디오 감시 시스템 및 방법

Country Status (8)

Country Link
US (1) US9253453B2 (ko)
EP (1) EP2452490A1 (ko)
KR (2) KR101747180B1 (ko)
CA (1) CA2767312C (ko)
CL (1) CL2012000018A1 (ko)
IL (1) IL199763B (ko)
SG (2) SG10201403923RA (ko)
WO (1) WO2011004358A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140037998A (ko) * 2012-09-19 2014-03-28 한국전력공사 구조물 점검용 비행 장치
KR20160086621A (ko) * 2015-01-12 2016-07-20 주식회사 아이티스테이션 무인 항공기를 이용한 작업 차량 운행 관리 시스템

Families Citing this family (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
US9041898B1 (en) * 2007-10-15 2015-05-26 Arete Associates Apparatus and method for simultaneous plural-view image sequences from a single image sensor
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
US9335604B2 (en) 2013-12-11 2016-05-10 Milan Momcilo Popovich Holographic waveguide display
US11320571B2 (en) 2012-11-16 2022-05-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view with uniform light extraction
US11300795B1 (en) 2009-09-30 2022-04-12 Digilens Inc. Systems for and methods of using fold gratings coordinated with output couplers for dual axis expansion
US8233204B1 (en) 2009-09-30 2012-07-31 Rockwell Collins, Inc. Optical displays
US10795160B1 (en) 2014-09-25 2020-10-06 Rockwell Collins, Inc. Systems for and methods of using fold gratings for dual axis expansion
US8659826B1 (en) 2010-02-04 2014-02-25 Rockwell Collins, Inc. Worn display system and method without requiring real time tracking for boresight precision
US8527445B2 (en) * 2010-12-02 2013-09-03 Pukoa Scientific, Llc Apparatus, system, and method for object detection and identification
AU2012215185B2 (en) 2011-02-10 2015-07-30 Bae Systems Plc Image capturing
EP2673591B1 (en) 2011-02-10 2014-12-03 BAE Systems PLC Image capturing
US9274349B2 (en) 2011-04-07 2016-03-01 Digilens Inc. Laser despeckler based on angular diversity
US8844896B2 (en) 2011-06-07 2014-09-30 Flir Systems, Inc. Gimbal system with linear mount
US8711223B2 (en) * 2011-06-21 2014-04-29 Flir Systems, Inc. Vehicle-mounted camera stabilized passively by vibration isolators
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
EP2748670B1 (en) 2011-08-24 2015-11-18 Rockwell Collins, Inc. Wearable data display
WO2013033954A1 (zh) 2011-09-09 2013-03-14 深圳市大疆创新科技有限公司 陀螺式动态自平衡云台
US8634139B1 (en) 2011-09-30 2014-01-21 Rockwell Collins, Inc. System for and method of catadioptric collimation in a compact head up display (HUD)
US9715067B1 (en) 2011-09-30 2017-07-25 Rockwell Collins, Inc. Ultra-compact HUD utilizing waveguide pupil expander with surface relief gratings in high refractive index materials
US9599813B1 (en) 2011-09-30 2017-03-21 Rockwell Collins, Inc. Waveguide combiner system and method with less susceptibility to glare
US9366864B1 (en) 2011-09-30 2016-06-14 Rockwell Collins, Inc. System for and method of displaying information without need for a combiner alignment detector
TW201326874A (zh) * 2011-12-26 2013-07-01 Hon Hai Prec Ind Co Ltd 飛行探測系統
US20150010265A1 (en) 2012-01-06 2015-01-08 Milan, Momcilo POPOVICH Contact image sensor using switchable bragg gratings
US9523852B1 (en) 2012-03-28 2016-12-20 Rockwell Collins, Inc. Micro collimator system and method for a head up display (HUD)
EP2645713A1 (en) * 2012-03-30 2013-10-02 Alcatel Lucent Method and apparatus for encoding a selected spatial portion of a video stream
TWI438728B (zh) * 2012-04-25 2014-05-21 Hon Hai Prec Ind Co Ltd 交通流量管控系統及方法
CN106125308B (zh) 2012-04-25 2019-10-25 罗克韦尔柯林斯公司 用于显示图像的装置和方法
US9639760B2 (en) 2012-09-07 2017-05-02 Siemens Schweiz Ag Methods and apparatus for establishing exit/entry criteria for a secure location
US9933684B2 (en) * 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
US9674413B1 (en) 2013-04-17 2017-06-06 Rockwell Collins, Inc. Vision system and method having improved performance and solar mitigation
IL226696A (en) * 2013-06-02 2015-11-30 Elbit Systems Ltd A method and system for determining an area of interest for a device-based imaging system imaging device
US8922348B2 (en) * 2013-06-03 2014-12-30 The Boeing Company Radio frequency identification notification system
FR3007176B1 (fr) * 2013-06-18 2016-10-28 Airbus Operations Sas Dispositif, systeme et procede d’escorte pour un aeronef au sol
WO2015015138A1 (en) 2013-07-31 2015-02-05 Milan Momcilo Popovich Method and apparatus for contact image sensing
US8903568B1 (en) 2013-07-31 2014-12-02 SZ DJI Technology Co., Ltd Remote control method and terminal
US9774829B2 (en) * 2013-08-09 2017-09-26 The Boeing Company Demand based field of view (FOV) allocation for remote sensing systems
KR20150029380A (ko) * 2013-09-10 2015-03-18 주식회사 케이엠더블유 옥외 주차장용 엘이디 조명기구
US9244281B1 (en) 2013-09-26 2016-01-26 Rockwell Collins, Inc. Display system and method using a detached combiner
JP2016541026A (ja) 2013-10-08 2016-12-28 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 安定化と振動低減のための装置および方法
SG11201603140WA (en) * 2013-10-31 2016-05-30 Aerovironment Inc Interactive weapon targeting system displaying remote sensed image of target area
US20150130936A1 (en) 2013-11-08 2015-05-14 Dow Agrosciences Llc Crop monitoring system
US9158304B2 (en) * 2013-11-10 2015-10-13 Google Inc. Methods and systems for alerting and aiding an emergency situation
US10732407B1 (en) 2014-01-10 2020-08-04 Rockwell Collins, Inc. Near eye head up display system and method with fixed combiner
US9519089B1 (en) 2014-01-30 2016-12-13 Rockwell Collins, Inc. High performance volume phase gratings
US9244280B1 (en) 2014-03-25 2016-01-26 Rockwell Collins, Inc. Near eye display system and method for display enhancement or redundancy
EP3169974A2 (en) * 2014-07-18 2017-05-24 Altec S.p.A. Image and/or radio signals capturing platform
US10359736B2 (en) 2014-08-08 2019-07-23 Digilens Inc. Method for holographic mastering and replication
US10241330B2 (en) 2014-09-19 2019-03-26 Digilens, Inc. Method and apparatus for generating input images for holographic waveguide displays
US10088675B1 (en) 2015-05-18 2018-10-02 Rockwell Collins, Inc. Turning light pipe for a pupil expansion system and method
US9715110B1 (en) 2014-09-25 2017-07-25 Rockwell Collins, Inc. Automotive head up display (HUD)
EP3245444B1 (en) 2015-01-12 2021-09-08 DigiLens Inc. Environmentally isolated waveguide display
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
US10247943B1 (en) 2015-05-18 2019-04-02 Rockwell Collins, Inc. Head up display (HUD) using a light pipe
US11366316B2 (en) 2015-05-18 2022-06-21 Rockwell Collins, Inc. Head up display (HUD) using a light pipe
US10126552B2 (en) 2015-05-18 2018-11-13 Rockwell Collins, Inc. Micro collimator system and method for a head up display (HUD)
GB2539027B (en) * 2015-06-04 2019-04-17 Thales Holdings Uk Plc Video compression with increased fidelity near horizon
US10108010B2 (en) 2015-06-29 2018-10-23 Rockwell Collins, Inc. System for and method of integrating head up displays and head down displays
EP3359999A1 (en) 2015-10-05 2018-08-15 Popovich, Milan Momcilo Waveguide display
CA2952484A1 (en) * 2015-12-23 2017-06-23 Wal-Mart Stores, Inc. Apparatus and method for monitoring premises
US10598932B1 (en) 2016-01-06 2020-03-24 Rockwell Collins, Inc. Head up display for integrating views of conformally mapped symbols and a fixed image source
US11032473B2 (en) * 2016-03-02 2021-06-08 Minuteman Security Technologies, Inc. Surveillance and monitoring system
JP6418181B2 (ja) * 2016-03-04 2018-11-07 トヨタ自動車株式会社 遠隔操作システム、車両及び遠隔操作装置
EP3433659A1 (en) 2016-03-24 2019-01-30 DigiLens, Inc. Method and apparatus for providing a polarization selective holographic waveguide device
JP6734933B2 (ja) 2016-04-11 2020-08-05 ディジレンズ インコーポレイテッド 構造化光投影のためのホログラフィック導波管装置
US9977429B2 (en) * 2016-05-04 2018-05-22 Motorola Solutions, Inc. Methods and systems for positioning a camera in an incident area
CN105991977A (zh) * 2016-06-28 2016-10-05 齐鲁工业大学 一种路况空中探测装置
CN108021141B (zh) * 2016-10-31 2021-07-16 武汉众宇动力系统科技有限公司 无人机控制终端及无人机动力监控系统操作界面显示方法
CN106506951A (zh) * 2016-10-31 2017-03-15 易瓦特科技股份公司 用于无人机的成像控制方法和设备
CN106355805A (zh) * 2016-11-10 2017-01-25 广东容祺智能科技有限公司 一种基于无人机的大数据变电站监控系统及其检测方法
US10198841B2 (en) 2016-11-30 2019-02-05 Gopro, Inc. Map view
WO2018102834A2 (en) 2016-12-02 2018-06-07 Digilens, Inc. Waveguide device with uniform output illumination
KR20180068411A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 무인 비행 전자 장치의 운행 제어 방법 및 이를 지원하는 전자 장치
US10545346B2 (en) 2017-01-05 2020-01-28 Digilens Inc. Wearable heads up displays
US10295824B2 (en) 2017-01-26 2019-05-21 Rockwell Collins, Inc. Head up display with an angled light pipe
CN110268224A (zh) 2017-02-10 2019-09-20 深圳市大疆创新科技有限公司 用于无人机实时位置跟踪的系统和方法
US20180231379A1 (en) * 2017-02-14 2018-08-16 Honeywell International Inc. Image processing system
US10354163B2 (en) * 2017-06-19 2019-07-16 Honeywell International Inc. Enhanced computer vision using object location information
CN111386495B (zh) 2017-10-16 2022-12-09 迪吉伦斯公司 用于倍增像素化显示器的图像分辨率的系统和方法
CN107564224A (zh) * 2017-10-24 2018-01-09 成都思唯奇科技有限公司 基于物联网的无线安防系统
US10732569B2 (en) 2018-01-08 2020-08-04 Digilens Inc. Systems and methods for high-throughput recording of holographic gratings in waveguide cells
WO2019136476A1 (en) 2018-01-08 2019-07-11 Digilens, Inc. Waveguide architectures and related methods of manufacturing
US11402801B2 (en) 2018-07-25 2022-08-02 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
CN108982521A (zh) * 2018-08-04 2018-12-11 石修英 可视化土壤健康水平检测设备
CN109146862A (zh) * 2018-08-04 2019-01-04 石修英 土壤修复状态智能化检测设备
JP7229698B2 (ja) * 2018-08-20 2023-02-28 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10931863B2 (en) * 2018-09-13 2021-02-23 Genetec Inc. Camera control system and method of controlling a set of cameras
TWI693829B (zh) * 2018-12-24 2020-05-11 緯創資通股份有限公司 電子裝置及其影像測距方法
CN113692544A (zh) 2019-02-15 2021-11-23 迪吉伦斯公司 使用集成光栅提供全息波导显示的方法和装置
KR20210134763A (ko) 2019-03-12 2021-11-10 디지렌즈 인코포레이티드. 홀로그래픽 도파관 백라이트 및 관련된 제조 방법
WO2020237565A1 (zh) * 2019-05-30 2020-12-03 深圳市大疆创新科技有限公司 一种目标追踪方法、装置、可移动平台及存储介质
KR20220016990A (ko) 2019-06-07 2022-02-10 디지렌즈 인코포레이티드. 투과 및 반사 격자를 통합하는 도파관 및 관련 제조 방법
GB2584717B (en) * 2019-06-13 2023-10-25 Thales Holdings Uk Plc Autonomous search and track using a wide FOV
CN112217966B (zh) * 2019-07-12 2022-04-26 杭州海康威视数字技术股份有限公司 监控装置
EP4004646A4 (en) 2019-07-29 2023-09-06 Digilens Inc. METHODS AND APPARATUS FOR MULTIPLYING THE IMAGE RESOLUTION AND FIELD OF VIEW OF A PIXELATED DISPLAY SCREEN
EP4022370A4 (en) 2019-08-29 2023-08-30 Digilens Inc. VACUUM BRAGG GRATINGS AND METHODS OF MANUFACTURING
CN111583692A (zh) * 2020-04-27 2020-08-25 新石器慧通（北京）科技有限公司 一种基于自动驾驶的远程视野获取方法、装置及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1455525A1 (de) 2003-03-05 2004-09-08 TELCAST Media Group GmbH Verfahren und Vorrichtung zur Aufnahme von Videodaten
JP4342355B2 (ja) 2004-03-19 2009-10-14 中国電力株式会社 無人飛行体を利用した公衆への告知システム
US8102423B2 (en) * 2004-08-10 2012-01-24 Sri International Method and system for performing adaptive image acquisition
WO2006067547A1 (en) 2004-12-23 2006-06-29 Nokia Corporation Method for extracting of multiple sub-windows of a scanning area by means of a digital video camera
US20060238617A1 (en) * 2005-01-03 2006-10-26 Michael Tamir Systems and methods for night time surveillance
US20070126867A1 (en) 2005-12-02 2007-06-07 Mccutchen David High resolution surveillance camera
US8581981B2 (en) 2006-04-28 2013-11-12 Southwest Research Institute Optical imaging system for unmanned aerial vehicle
US20080068151A1 (en) 2006-09-13 2008-03-20 Dror Ouzana Surveillance system and method for optimizing coverage of a region of interest by a sensor
US8320615B2 (en) * 2008-02-27 2012-11-27 Honeywell International Inc. Systems and methods for recognizing a target from a moving platform

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140037998A (ko) * 2012-09-19 2014-03-28 한국전력공사 구조물 점검용 비행 장치
KR20160086621A (ko) * 2015-01-12 2016-07-20 주식회사 아이티스테이션 무인 항공기를 이용한 작업 차량 운행 관리 시스템

Also Published As

Publication number Publication date
SG10201403923RA (en) 2014-10-30
EP2452490A1 (en) 2012-05-16
CA2767312A1 (en) 2011-01-13
US9253453B2 (en) 2016-02-02
IL199763A0 (en) 2010-04-29
CA2767312C (en) 2018-03-20
KR101747180B1 (ko) 2017-06-14
CL2012000018A1 (es) 2014-03-21
KR20170026623A (ko) 2017-03-08
US20120105634A1 (en) 2012-05-03
WO2011004358A1 (en) 2011-01-13
IL199763B (en) 2018-07-31
SG177491A1 (en) 2012-02-28

Similar Documents

Publication Publication Date Title
KR101747180B1 (ko) 자동 비디오 감시 시스템 및 방법
US11550315B2 (en) Unmanned aerial vehicle inspection system
US11794890B2 (en) Unmanned aerial vehicle inspection system
US20210064024A1 (en) Scanning environments and tracking unmanned aerial vehicles
US10139819B2 (en) Video enabled inspection using unmanned aerial vehicles
KR101692781B1 (ko) 드론 및 모니터링 센서 연동 기반의 재난 관리 시스템
AU2011314338B2 (en) Real-time moving platform management system
KR20210066875A (ko) 표적 항공 차량을 무력화하기 위한 대책을 갖는 항공 차량
US20140207365A1 (en) Methods for determining a flight path
US20100286859A1 (en) Methods for generating a flight plan for an unmanned aerial vehicle based on a predicted camera path
JP2006027448A (ja) 無人飛行体を利用した空撮方法及びその装置
CN110673650B (zh) 无人机控制方法
KR20140030610A (ko) 지상 감시장비와 연동된 무인기를 이용한 감시 방법
CN106210675A (zh) 一种输电线路山火监测方法、装置和系统
Hawkins Using a drone and photogrammetry software to create orthomosaic images and 3D models of aircraft accident sites
US9979934B1 (en) Automated weather sensing system and method using cameras
US20220390940A1 (en) Interfaces And Control Of Aerial Vehicle For Automated Multidimensional Volume Scanning
EP2873947B1 (en) System and method of automatic monitoring of linear ground objectives for a remotely piloted aircraft
KR102181809B1 (ko) 시설물 점검 장치 및 방법
Ułanowicz et al. Unmanned aerial vehicles supporting imagery intelligence using the structured light technology.
CN220323539U (zh) 一种路侧感知设备
JP2023138423A (ja) データ収集装置及びセンサの姿勢を決定するための方法
WO2022234574A1 (en) Multi-drone beyond visual line of sight (bvlos) operation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application