KR102400452B1 - 이동 경로 메타데이터를 이용한 항공 사진/비디오에서의 상황 인식 객체 검출 - Google Patents

이동 경로 메타데이터를 이용한 항공 사진/비디오에서의 상황 인식 객체 검출 Download PDF

Info

Publication number
KR102400452B1
KR102400452B1 KR1020150043202A KR20150043202A KR102400452B1 KR 102400452 B1 KR102400452 B1 KR 102400452B1 KR 1020150043202 A KR1020150043202 A KR 1020150043202A KR 20150043202 A KR20150043202 A KR 20150043202A KR 102400452 B1 KR102400452 B1 KR 102400452B1
Authority
KR
South Korea
Prior art keywords
real
time detection
moving object
movement path
moving
Prior art date
Application number
KR1020150043202A
Other languages
English (en)
Other versions
KR20150116777A (ko
Inventor
아트로 플로레스
경남 김
유리 오웨치코
Original Assignee
더 보잉 컴파니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 보잉 컴파니 filed Critical 더 보잉 컴파니
Publication of KR20150116777A publication Critical patent/KR20150116777A/ko
Application granted granted Critical
Publication of KR102400452B1 publication Critical patent/KR102400452B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

지리적 영역에서 이동 경로 상의 움직이는 객체의 실시간 검출을 위한 시스템 및 방법이 제공된다. 시스템 및 방법은 실시간으로 이러한 움직이는 객체를 트래킹하기 위해 또한 사용될 수 있다. 이 시스템은, 지리적 영역의 연속적인 이미지들을 캡쳐링하기 위한 이미지 캡쳐링 디바이스, 지리적 영역의 상황 정보를 포함하는 지리적 기준 맵 및 이동 경로 상의 움직이는 객체를 실시간으로 검출하기 위해 연속적인 이미지들 사이의 차이들을 계산하도록 구성되는 프로세서를 포함한다. 이 방법은, 이미지 캡쳐링 디바이스를 이용하여 지리적 영역의 연속적인 이미지들을 캡쳐링하는 단계, 지리적 기준 맵에 대해 연속적인 이미지들의 적어도 일부를 지오-레지스터링하는 단계 및 객체를 실시간으로 검출하기 위해 연속적인 이미지들 사이의 차이들을 계산하는 단계를 포함한다.

Description

이동 경로 메타데이터를 이용한 항공 사진/비디오에서의 상황 인식 객체 검출{CONTEXT-AWARE OBJECT DETECTION IN AERIAL PHOTOGRAPHS/VIDEOS USING TRAVEL PATH METADATA}
본 발명은 이동 경로 상의 움직이는 관심 객체(object of interest)의 실시간 검출 및 오경보들 및 검출 누락(missed detection)들을 감소시키는 것에 관한 것이다. 본 발명은 또한 실시간으로 이러한 움직이는 객체를 트래킹하는데 사용될 수 있다.
비디오 트래킹을 이용하여, 경로, 이를테면 이동 경로 상에서 이동하는 관심 객체를 검출 및 트래킹하기 위한 선행 기술의 시스템들이 알려져 있다. 그러나 이들 시스템들 중 상당수가, 관심 객체에 대한 발광 현상들로부터 초래되는 이미지 품질 및 환경적 아티팩트들로 인해 객체를 실시간으로 검출하는, 시스템들의 정확도에서 제한을 받는다. 그 결과, 현재 시스템들은, 어떤 환경들에서는 관심 객체를 적절하게 트래킹하지 못할 수 있다.
지리적 영역에서 이동 경로 상의 움직이는 객체의 실시간 검출을 위한 시스템 및 방법이 제공된다. 시스템 및 방법은 또한 이러한 움직이는 객체를 실시간으로 트래킹하기 위해 사용될 수 있다. 시스템은, 지리적 영역의 연속적인 이미지들을 캡쳐링하기 위한 이미지 캡쳐링 디바이스, 지리적 영역의 상황 정보를 포함하는 지리적 기준 맵 및 이동 경로 상의 움직이는 객체를 실시간으로 검출하기 위해 연속적인 이미지들 사이의 차이들을 계산하도록 구성되는 프로세서를 포함한다. 방법은, 이미지 캡쳐링 디바이스를 이용하여 지리적 영역의 연속적인 이미지들을 캡쳐링하는 단계, 지리적 기준 맵에 대해 연속적인 이미지들의 적어도 일부를 지오-레지스터링(geo-register)하는 단계 및 객체를 실시간으로 검출하기 위해 연속적인 이미지들 사이의 차이들을 계산하는 단계를 포함한다.
게다가, 본 개시는 이하의 항목들에 따른 실시예들을 포함한다.
항목 1.
객체의 실시간 검출을 위한 방법으로서,
이미지 캡쳐링 디바이스를 이용하여 적어도 하나의 이동 경로를 포함하는 지리적 영역의 연속적인 이미지들을 캡쳐링하는 단계;
지리적 기준 맵에 대해 연속적인 이미지들 중 적어도 일부를 지오-레지스터링하는 단계 ― 지리적 기준 맵은 지리적 영역의 상황 정보를 포함함―; 및
실시간으로 객체를 검출하기 위해 연속적인 이미지들 사이의 차이들을 계산하는 단계를 포함한다.
항목 2.
항목 1의 방법에 있어서,
연속적인 이미지들 중 제 1 이미지는 수동으로 지오-레지스터링된다.
항목 3.
항목 1의 방법은,
이동 경로를 포함하는 지리적 영역의 이미지들을 획득하는 단계를 더 포함한다.
항목 4.
항목 1의 방법에 있어서,
상황 정보는 이동 경로 메타데이터이다.
항목 5.
항목 1의 방법에 있어서,
이동 경로는 도로이다.
항목 6.
항목 1의 방법에 있어서,
이미지 캡쳐링 디바이스는 항공기에 포지셔닝된다.
항목 7.
항목 1의 방법에 있어서,
연속적인 이미지들은 지리적 영역의 적어도 하나의 비디오 시퀀스를 캡쳐링함으로써 생성되며,
항목 1의 방법은 비디오 시퀀스를 연속적인 이미지들로 분리하는 단계를 더 포함한다.
항목 8.
항목 1의 방법에 있어서, 그래피는 기준 맵 상에서 연속적인 이미지들을 서로에 대해 지오-레지스터링하도록 사용되는, 객체의 실시간 검출을 위한 방법.
항목 9.
항목 1의 방법은,
이동 경로 밖의 움직이는 객체들의 오검출들을 억제하기 위해 상황 정보를 사용하는 단계를 더 포함한다.
항목 10.
항목 1의 방법은,
이동 경로 상의 움직이는 객체를 검출하기 위해 상황 정보를 사용하는 단계를 더 포함한다.
항목 11.
항목 1의 방법은,
기준 맵에 대해 연속적인 이미지들 중 하나의 이미지의 추가적인 지오-레지스터링을 부가함으로써 지오-레지스터링에서 에러들을 감소시키는 단계를 더 포함한다.
항목 12.
항목 1의 방법은,
움직이는 객체의 포지션을 트래킹하는 단계를 더 포함한다.
항목 13.
지리적 영역의 이동 경로 상의 움직이는 객체의 실시간 검출을 위한 시스템으로서,
지리적 영역의 연속적인 이미지들을 캡쳐링하기 위한 이미지 캡쳐링 디바이스;
지리적 영역의 상황 정보를 포함하는 지리적 기준 맵; 및
이동 경로 상의 움직이는 객체를 실시간으로 검출하기 위해 연속적인 이미지들 사이의 차이들을 계산하도록 구성되는 프로세서를 포함한다.
항목 14.
항목 13의 시스템에 있어서,
이미지 캡쳐링 디바이스는 비디오 카메라이다.
항목 15.
항목 14의 시스템에 있어서,
지리적 기준 맵은 메타데이터를 포함하는 맵이다.
항목 16.
항목 14의 시스템에 있어서,
움직이는 객체는 차량이며, 이동 경로는 도로이다.
항목 17.
항목 13의 시스템에 있어서,
이미지 캡쳐링 디바이스는 항공 운송 수단(airborne vehicle) 상의 공중 플랫폼에 장착된다.
항목 18.
항목 17의 시스템에 있어서,
항공 운송 수단은 무인 방식이다.
항목 19.
항목 13의 시스템에 있어서,
지리적 기준 맵은 프로세서와 떨어져 있는 서버에 보관된다.
항목 20.
항목 13의 시스템에 있어서,
프로세서는 움직이는 객체의 포지션을 트래킹하도록 추가로 구성된다.
본 발명의 범위는 첨부된 청구항들에 의해서만 한정되며, 이러한 발명의 개요의 표현에 의해 영향받지 않는다.
본 발명은 이하의 도면들 및 설명을 참조하여 더 잘 이해될 수 있다. 도면들의 컴포넌트들이 반드시 실척에 맞는 것은 아니며, 대신에 본 발명의 원리들을 설명할 때 강조된다.
도 1은 본 발명의 피쳐들을 포함하는 시스템의 블록도이다.
도 2는 본 발명의 시스템에서 사용되는 이미지 캡쳐링 디바이스의 블록도이다.
도 3은 본 발명의 시스템에서 사용되는 프로세서의 블록도이다.
도 4a-4d는 본 발명의 시스템에서 이미지 캡쳐링 디바이스에 의해 촬영된 이미지들 및 기준 맵을 도시하는 선화(line drawing)들이다.
도 5는 본 발명의 시스템에서, 이미지들이 평면 호모그래피를 이용하여 기준 맵에 어떻게 지오-레지스터링(geo-registered)되는 지를 도시하는 선화들이다.
도 6a 및 6b는 본 발명의 방법에 사용되는 단계들을 도시하는 관련된 흐름도들을 가진 선화들이다.
도 7a-7c는 본 발명의 움직이는 객체 검출의 예를 도시한다.
도 8a는 이동 경로 메타데이터를 사용하지 않는, 움직이는 객체 검출을 도시한다.
도 8b는 본 발명의 방법에 따라, 이동 경로 메타데이터를 사용하는, 움직이는 객체 검출을 도시한다.
본 발명이 상이한 형태의 실시예를 허용할 수 있지만, 본 발명의 개시가 본 발명의 원리들의 예시로 고려되고 본 발명을 본 명세서에서 도시되고 설명된 발명으로 제한하려고 의도하지 않는다는 전제로, 공중 구조물, 이를테면 무인 항공기(UAV), 공중 플랫폼 또는 조종된(piloted) 항공기에 장착된 이미지 캡쳐링 디바이스를 사용하여 이동 경로 상의 움직이는 관심 객체를 검출하기 위한 특정 실시예가 도면들에 도시되고 본 명세서에서 상세하게 설명될 것이다. 따라서, 다르게 언급되지 않으면, 본 명세서에 개시된 피쳐들은 추가의 결합들을 형성하기 위해 서로 결합될 수 있으며, 추가의 결합들은 간략화를 위해 달리 도시되지 않았다.
오경보들 및 검출 누락들을 감소시키고, 이동 경로 상의 움직이는 객체의 검출을 향상시키기 위해 공중 위치로부터 촬영된 이미지들을 사용하여 이동 경로를 따르는 상황 인식 움직이는 객체 검출 및 지오-레지스터링을 위한 시스템 및 방법이 설명된다. 시스템 및 방법은 또한 이러한 움직이는 객체를 트래킹하기 위해 사용될 수 있다. 이 방법은 실시간으로 수행될 수 있다. 글로벌 맵핑 시스템에 의해 제공된 이동 경로 메타데이터와 지오-레지스터링 정보를 결합함으로써, 시스템의 정확도가 선행 기술에 비해 향상될 수 있다.
도 1의 블록도에 의해 도시된 바와 같이, 시스템은, 적어도 하나의 이동 경로를 포함할 수 있는 지리적 영역의 디지털 이미지들을 생성하기 위한, 카메라와 같은 이미지 캡쳐링 디바이스(20), 이미지 캡쳐링 디바이스(20)를 장착하기 위한, 무인 항공기(UAV) 상의 또는 헬리콥터와 같은 조종된 항공기 상의 플랫폼 같은 공중 구조물(22), 이미지 캡쳐링 디바이스(20)와 통신하고 이미지 캡쳐링 디바이스(20)로부터의 이미지들을 프로세싱할 수 있는, 소프트웨어를 포함한 프로세서(24), 프로세서(24)와 통신하는 사용자 인터페이스(26) 및 글로벌 맵핑 시스템으로부터의 이동 경로 메타데이터를 보관하고 프로세서(24)와 통신하는 서버(28)를 포함한다.
이미지 캡쳐링 디바이스(20)는 이미지 캡쳐링 디바이스(20)의 시야 내에 배치된 빌딩들, 초목 및 차량들 등과 같은 객체들의 사진들 또는 비디오 같은 디지털 이미지들을 캡쳐링하도록 구성된다. 이미지 캡쳐링 디바이스(20)는 프로세서(24)에 통신가능하게 접속된다. 이미지 캡쳐링 디바이스(20)는 이미지 캡쳐링 디바이스 옵틱들(30), 이미지 캡쳐링 유닛(32) 및 통신 인터페이스(34)를 포함한다. 이미지 캡쳐링 디바이스 옵틱들(30)은 렌즈들 및 다른 옵틱 컴포넌트들을 포함하고, 이미지 캡쳐링 유닛(32)과 통신가능하게 커플링된다. 이미지 캡쳐링 유닛(32)은 통신 인터페이스(34)에 이미지들을 전달하고, 그 다음 통신 인터페이스는 이미지들을 프로세서(24)로 전달한다.
프로세서(24) 및 서버(28)는 서로 간에 정보를 전송하기 위해 서로 커플링된다. 정보는, 예를 들어, 통신 네트워크 이를테면, 로컬 영역 네트워크, 광역 네트워크, 유선 네트워크 및/또는 무선 네트워크 등을 통해 서버(28)로 전송되거나 서버로부터 수신된다. 서버(28)는 공중 구조물(22)에 온보드될 수 있거나, 지상 기반일 수 있다.
프로세서(24)는 공중 구조물(22)에 온보드될 수 있거나, 지상 기반일 수 있다. 프로세서(24)가 지상에 있는 경우, 이미지 캡쳐링 디바이스(20)는 무선 신호들을 통해 프로세서(24)로 이미지를 전송할 수 있다. 프로세서(24)는 이미지 캡쳐링 디바이스(20) 및 서버(28)로부터의 이미지 정보를 프로세싱하고, 중앙 프로세싱 유닛(CPU) 또는 디지털 신호 프로세서(DSP)(36), 및 메모리(38)를 포함한다. CPU/DSP(36)는 랜덤 액세스 메모리(RAM) 및 판독 전용 메모리(ROM)를 포함하는 메모리(38)에 커플링된다. 메모리(38)는 비일시적이며, 실행될 때, CPU/DSP(36)로 하여금 본 명세서에 설명된 다양한 기능들을 수행하도록 구성되는 명령들을 포함하는 기계 판독가능, 기계 실행가능 소프트웨어 코드(40)를 저장한다. 프로세서(24)는 이미지 캡쳐링 유닛(32)으로부터의 정보를 분석하여 사용자 인터페이스(26)의 디스플레이 상에 디스플레이될 수 있고, 사용자 인터페이스(26)의 프린터를 이용하여 프린팅되어 사용자에 의해 분석될 수 있는 이미지들을 생성한다.
사용자 인터페이스(26)는, 시각 및 청각 정보를 사용자에게 제공하고 사용자가 프로세서(24)에 파라미터들을 입력하는 것을 허용하기 위해 입력 디바이스, 이를테면, 키보드, 디스플레이 및 스피커를 포함한다. 사용자 인터페이스(26)는 또한 시스템에 의해 캡쳐링된 이미지들을 프린팅하기 위한 프린터를 포함할 수 있다.
글로벌 맵핑 시스템들, 예를 들어, 구글 맵들(Google Maps), 빙 맵들(Bing Maps) 또는 지리적 포지셔닝 정보를 사용하는 임의의 다른 적절한 글로벌 맵핑 시스템은 제 3자들에 의한 이용을 위해 대량의 이동 경로 메타데이터를 제공한다. 이동 경로 메타데이터는, 다른 아이템들 가운데서도, 도로, 수로 및/또는 산책로와 같은 이동 경로들, 및 이동 경로들 부근의 빌딩들, 초목 및 다른 잠재적으로 방해하는 객체들 같은 구조물들의 위치에 관한 상황 정보를 제공한다. 이러한 이동 경로 메타데이터는 제 3자들에게 기준 맵들로서 제공될 수 있다. 이러한 기준 맵(42)의 예시적인 선화가 도 4a에 도시되어 있으며, 도 4a는 지리적 영역에서의 이동 경로들, 예를 들어, 이 특정 기준 맵에서 도로들을 도시한다. 이동 경로들이 도 4b에서 음영선들로 도시된다. 맵핑 정보는 예를 들어, 인터넷 접속을 통해 온라인으로 획득될 수 있고, 그리고/또는 예를 들어, 저장 매체(예를 들어, 전기적, 자기적 또는 광학적 디스크)를 통해 오프라인으로 획득될 수 있다. 이러한 이동 경로 메타데이터 및 이것의 관련된 기준 맵들이 서버(28)에 보관될 수 있다. 대안적으로, 이러한 이동 경로 메타데이터 및 그것의 관련된 기준 맵들이 프로세서(24)에 보관될 수 있다.
복수의 디지털 이미지들, 이를테면 사진들 또는 비디오 시퀀스가 이미지 캡쳐링 디바이스(20)에 의해 촬영될 수 있다. 그 다음, 이미지들은 프로세싱을 위해 프로세서(24)로 송신될 수 있다. 사진들이 촬영되는 실시예에서, 프로세서(24)는 사진들을 개별 이미지들(44a, 44b, 44c 등)로 분리하도록 구성될 수 있다. 비디오가 촬영되는 실시예에서, 프로세서(24)는 비디오 시퀀스를 개별 이미지들(44a, 44b, 44c 등)로 분리하도록 구성될 수 있다.
프로세서(24)는 지오-레지스터링 정보를 포함하는 적절한 기준 맵(42)(도 4a 참조)을 획득하기 위해 서버(28)에 액세스하도록 구성될 수 있다. 프로세서(24)는 이미지 캡쳐링 디바이스(20)로부터의 이미지들을 기준 맵(42)과 비교하도록 구성될 수 있다. 그 다음, 프로세서(24)는, 이미지 피쳐들 및 평면 호모그래피의 매칭을 이용하여 이미지들을 기준 맵에 지오-레지스터링할 수 있다.
지오-레지스터링 프로세스 동안, 사용자가 사용자 인터페이스(26)를 통해 레지스터링 정보를 프로세서(24)로 입력함으로써, 제 1 이미지(44a)가 기준 맵(42)에 수동으로 레지스터링될 수 있다. 대안적으로, 프로세서(24)는, 이미지 캡쳐링 디바이스(20)에 내장된 GPS 및/또는 관성 센서들과 같은 입력들을 사용함으로써 자동화된 방식으로 제 1 이미지(44a)를 기준 맵(42)에 레지스터링하도록 구성될 수 있다. 본 발명의 시스템 및 방법에서, 기준 맵(42)과 이미지들(44a, 44b, 44c 등) 상에 두드러진 면(dominant plane)이 존재한다고 가정되며, 따라서 프로세서(24)는 이미지들(44a, 44b, 44c 등)을 기준 맵(42)에 정렬하기 위해 평면 호모그래피를 이용하도록 구성될 수 있다.
이하에서, HO,M은 제 1 이미지(44a)를 기준 맵(42)에 정렬하는 호모그래피이다. 제 1 이미지(44a)가 레지스터링되면, 다음 이미지들(44b, 44c...)이 다음과 같이 지오-레지스터링된다. It는 시간 t에서 이미지 캡쳐링 디바이스에 의해 캡쳐링된 이미지로서 정의되며, It+1은 다음 이미지로서 정의된다. 도 6a에 도시된 바와 같이, 이미지 투 이미지 레지스터링이, 두 이미지들(분석되고 있는 현재 이미지와 이미 분석된 이전 이미지)의 이미지들로부터 크기 불변 피쳐 변환(SIFT) 서술자들 또는 다른 알려진 서술자들을 추출함으로써 알려진 방식으로 수행된다. 대응들의 초기 세트는 유클리드 공간(Euclidean Space)에서 두 이미지들의 이미지들로부터의 SIFT 서술자들을 이들의 가장 근접한 이웃을 통해 매칭시킴으로써 획득된다. 이러한 추정되는 대응들은 많은 부정확한 매칭들을 포함하며, 부정확한 매칭들은, 아웃라이어(outlier)들을 포함하고 또한 Ht+1,t를 제공하는, 관측된 데이터의 세트로부터 수학적 모델의 파라미터들을 추정하기 위해, 알려진 방법들, 이를테면 Fischler 및 Bolles에 의해 기술된 RANSAC(random sample consensus)(Comm. of the ACM, Vol. 24, pp. 381-395, 1981) 또는 다른 방법을 통해 제거되며, Ht+1,t는 It+1을 It에 대해 정렬하는 호모그래피이다. 그 결과, 다음 이미지(It+1)는 이하의 곱 Ht +1,t Ht,t-1 Ht -1t-2 ... H1,0 H0 ,M 또는 더 간단히
Figure 112015030424687-pat00001
을 통해 지오-레지스터링된다. 프로세서(24)는 각각의 연속적인 이미지를 지오-레지스터링하도록 구성될 수 있거나, 이미지들 중 결정된 이미지들(예를 들어, 일부 연속적인 이미지들은 스킵됨)을 지오-레지스터링하도록 구성될 수 있다.
전술한 방법은 각각의 호모그래피 계산에서 작은 에러들을 유발할 수 있으며, 이 작은 에러들은 시간이 흐르면서 축적되고 일정 시간 이후 오정렬된 이미지들을 초래할 수 있다. 이러한 에러들은 추가의 이미지 투 기준 맵 레지스터링을 이용하여 이미지 투 이미지 레지스터링을 개선함으로써 경감된다. 시간 t에서, 지오-레지스터링될 이미지(It)가 작은 에러 범위 내에 있다고 가정된다. 지오-레지스터링은 이미지 패치(patch)들의 상호 정보를 통해, It의 관심 포인트들을 기준 맵(42)과 매칭시킴으로써 개선된다. 상호 정보는, 하나의 신호의 지식 중 얼마나 많은 지식이 제 2 신호의 지식을 제공할 수 있는지, 또는 두 신호들 사이의 정보 오버랩의 척도이다. 상호 정보는 강력하고 유용한데, 왜냐하면 상호 정보는 하나의 신호가, 다른 신호가 변화하지 않을 때 변화하는 지에만 민감하고 이들의 상대적인 값들에는 민감하지 않기 때문이다. 기준 맵(42) 및 분석되고 있는 이미지가 상이한 시간들에 촬영되었기 때문에, 분석되고 있는 이미지가 기준 맵(42)의 이미지와 상이한 각도로 촬영되었을 수 있다는 사실과 함께, 복잡한 팩터들, 이를테면 하루 중의 상이한 시간, 상이한 날씨 조건들 등이 존재할 수 있다. 상호 정보는 이러한 복잡한 팩터들을 경감시키는데 도움을 준다. 그 결과, 에러들의 축적 및 지오-레지스터링 "드리프트"가 무효화 된다.
지오-레지스터링된 비디오 시퀀스의 예를 도 4a-4d에서 볼 수 있다. 도 4a는 기준 맵(42)을 도시한다. 도 4b는 기준 맵(42)에 레지스터링된 제 1 이미지(44a)를 도시한다. 도 4c 및 4d는 기준 맵(42)에 레지스터링된 다음 이미지들(44b, 44c)을 도시한다. 이동 경로들이 기준 맵(42)으로부터 획득된 이동 경로 메타데이터를 이용하여 음영선으로 도시된다.
일단 이미지들 등이 지오-레지스터링되면, 프로세서(24)는 이미지들(44a, 44b, 44c 등)에서 움직이는 관심 객체(46), 예를 들어, 차량을 검출하기 위한 추가의 상황으로서 기준 맵(42)으로부터의 이동 경로 메타데이터를 이용하도록 구성될 수 있다. 움직이는 객체 검출은, 알려진 방식으로 단순 배경 분리(coarse background subtraction)를 이용하여 연이은 이미지들(예를 들어, 44a 및 44b)이 기준 이미지(42)에 지오-레지스터링된 후, 연이은 이미지들에서 차이들을 계산함으로써 프로세서(24)에 의해 수행된다. It는 기준 이미지(42)로서 정의되고, 그 다음, 이미지들(It-k, It-(k-1),... It-1, It+2,... , It+k)이, 기준 좌표 시스템으로서 It를 이용하여 레지스터링된다. 그 다음, 픽셀 제곱 차이가 기준 이미지(42)와 모든 다른 이미지들(44a, 44b, 44c) 사이에 축적되는데, 다시 말해서,
Figure 112015030424687-pat00002
, 전형적으로 k=2. 모든 이미지들(44a, 44b, 44c)이 기준 이미지(42)에 레지스터링되기 때문에, 정지된 객체들 및 배경은 제곱 차이 연산에서 서로를 상쇄시킬 것인 반면, 움직이는 객체(46)는 두드러질 것임이 가정된다. 민감도 임계치(T)가 축적된 차이 이미지에 적용되어 바이너리 이미지(B)를 생성하며, 여기서,
Figure 112015030424687-pat00003
이다.
도 6b에서, 일단 차이 이미지가 계산되면, 프로세서(24)는 라벨링된 맵 구역들에 기초하여 축적된 차이 이미지에 대해 이진화 연산(thresholding operation)을 수행하도록 구성되어, 배경에 관해 특정 속도보다 빠르게 움직이는 객체들을 나타내는 세그먼팅된 이미지 구역들을 초래한다. 임계치(T)를 변화시킴으로써, 움직임에 대한 민감도는 세그먼팅된 이미지 구역들을 포함하는 라벨링된 맵 구역에 종속적이게 될 수 있다. 예를 들어, 더 낮은 민감도 임계치가, 이동 경로 밖의 움직이는 후보 객체와 비교해서 이동 경로에서 움직이는 후보 객체에 사용된다. 다음으로, 프로세서(24)는 구역 크기, 형태 및 라벨링된 맵 구역들에 기초한 가변 결정 임계치를 갖는 동적 특성들에 기초하여 세그먼팅된 이미지 구역들을 객체들로서 검출하도록 구성될 수 있다. 그 후, 프로세서(24)는, 예를 들어, 알려진 방식으로 칼만 필터를 이용하거나, 다른 적절한 알려진 트랙커를 이용함으로써 트랙들을 형성하도록 구성될 수 있다. 최종 단계로, 프로세서(24)는 객체 검출들 및 트랙들을 사용자에게 출력하도록 구성될 수 있다.
움직이는 객체 검출 및 트래킹 프로세스의 예는 도 7a-7c에 제공된다. 도 7a는 축적된 차이 이미지를 도시한다. 도 7b는 예를 들어, 이진화 연산 및 모폴로지(morphological) 연산을 이용하여, 도 7a의 축적된 차이 이미지를 프로세싱한 이후, 세그먼팅된 구역들을 도시한다. 이러한 모폴로지 연산들은 기술 분야에 잘 알려져 있다. 도 7c는 객체 트래킹 결과들을 도시한다. 각각의 트래킹된 관심 객체(46)는 피팅된 타원, 예를 들어, 특정 컬러의 타원으로 표현될 수 있다. 트래킹된 관심 객체(46)의 이전 위치들의 이력은 동일한 컬러의 트레일링(trailing) 점들로 도시될 수 있다.
추가로, 일단 이미지들 등이 지오-레지스터링되면, 프로세서(24)는, 이동 경로에 있지 않은 검출들에 대한 오경보들을 억제하기 위해 이동 경로 메타데이터를 사용하도록 구성될 수 있다. 일단 움직이는 관심 객체(46)가 검출되면, 방법은 도 6b의 단계들을 수행하며, 이 방법은 오경보들을 제거하고 검출 누락들을 개선하기 위해 이동 경로 메타데이터를 이용한다. 오경보 레이트는 이동 경로 메타데이터만을 이용함(탐색 영역을 감소시킴)으로써 감소되는데, 그 이유는 이미지 당 오경보들의 횟수가 대략적으로 탐색 영역에 비례하기 때문이다. 탐색 영역이 이동 경로 메타데이터를 이용하여 감소되면, 움직이는 객체의 검출 레이트가 변화하지 않게 유지되면서 오경보 레이트가 감소할 것이다. 민감도 임계치가 낮아지면, 움직이는 객체의 검출 레이트가 증가할 것이고, 오경보 레이트는 자신이 이동 경로 메타데이터를 이용하여 낮아졌던 값으로부터 또한 증가할 것이다. 예를 들어, 민감도 임계치는, 오경보 레이트가 메타데이터 없는 경우의 레이트로부터 변경되지 않도록 낮아질 수 있다. 그 다음, 검출 레이트는 더 낮은 민감도 임계값으로 인해 더 높아질 것이다. 오경보 레이트는 민감도 임계치를 낮춤으로써 그리고 탐색 영역을 감소시킴으로써 일정하게 유지될 수 있다. 이 방법에서, 축적된 차이 이미지가 이진화(thresholded)되어 바이너리 이미지로 변환된다. 탐색 영역이 감소되면, 오경보 레이트는 민감도 임계치를 낮춤으로써 일정하게 유지된다.
사용자는 관심 객체(46)의 검출을 위해 프로세서(24)의 민감도 임계치(T)를 설정한다. 민감도 임계치(T)는, 예를 들어, 움직이는 객체와 움직이는 객체가 위치한 구조물 사이의 이미지들의 콘트라스트의 미리 결정된 레벨을 사용자가 설정함으로써 설정되거나, 예를 들어, 사용자가 움직이는 객체에 대한 미리 결정된 픽셀 카운트를 설정함으로써 설정될 수 있다. 민감도 임계치(T)는, 이동 경로가 위치되는 구역들(이 구역들은 기준 맵(42)으로부터 알려짐)에서 낮게 설정될 수 있고, 임의의 비 이동 경로 구역에서 높게 설정될 수 있다. 예를 들어, 프로세서(24)는, 움직이는 객체가 이미지들의 빌딩들 또는 이동 경로보다 짙은 색이라는 것을 인식하도록 구성될 수 있고, 그리고/또는 프로세서(24)는 움직이는 객체가 빌딩들 또는 이미지들의 이동 경로보다 옅은 색이라는 것을 인식하도록 구성될 수 있다. 또는, 예를 들어, 프로세서(24)는 움직이는 객체가 이동 경로보다 더 높은 픽셀 카운트를 갖는다는 것을 인식하도록 구성될 수 있다. 그러나 사용자가 민감도 임계치(T)를 너무 낮게 설정하면(움직이는 객체와 움직이는 객체가 위치한 구조물 사이에서 픽셀 카운트에서의 작은 차이 또는 작은 양의 콘트라스트를 필요로 함), 이는 용인할 수 없는 횟수의 오경보들을 초래할 수 있는데, 그 이유는 많은 객체들이 이러한 설정을 충족할 것이기 때문이다. 그러나 사용자가 민감도 임계치(T)를 너무 높게 설정하면(움직이는 객체와 움직이는 객체가 위치한 구조물 사이에서 픽셀 카운트에서의 큰 차이 또는 큰 양의 콘트라스트를 필요로 함), 이는 검출 누락들을 초래할 수 있는데, 그 이유는, 빌딩의 그림자에 있는 객체들이, 움직이는 객체와 이동 경로 사이에서 높은 레벨의 콘트라스트 또는 픽셀 카운트에서의 큰 차이를 보이지 않을 것이기 때문이다. 본 발명에서, 이동 경로 메타데이터가 프로세서(24)에 의해 상황으로서 사용되기 때문에, 이동 경로 밖의 영역들에서의 오경보들이 억제된다. 동시에, 이동 경로 상의 검출 누락들이 감소되는데, 그 이유는 더 낮은 민감도 임계치가 이동 경로에서의 움직이는 객체 검출 프로세스에 사용되기 때문이다. 더 낮은 민감도 임계치는 움직이는 객체 검출 프로세스의 민감도를 효율적으로 부스팅한다. 도 7a 내지 8b에 도시된 예들에서, 검출될 움직이는 관심 객체(46)는 전형적으로 이동 경로 상에 위치하고, 전형적으로 이동 경로를 벗어나지 않는 차량이라고 가정한다.
도 8a 및 8b는 도시 환경에서 촬영된 이미지들(44a, 44b, 44c)을 프로세싱할 때 직면할 수 있는 어려움들 중 일부를 설명한다. 큰 빌딩들과 초목은 지면에 있지 않고, 결국 평면 호모그래피를 이용하여 정렬될 수 없다. 그 결과, 제곱 차이 연산은 도 8a에서 볼 수 있는 것들과 같은 오경보들 및 검출 누락들을 유발할 수 있다. 오경보는, 이동 경로 상에 있지 않은, 이미지들에서의 움직이는 객체로부터 초래될 수 있다. 검출 누락은, 움직이는 관심 객체가 큰 빌딩의 그림자에 있고 이미지 캡쳐링 디바이스(20) 및 프로세서(24)에 의해 쉽게 검출되지 않을 때 발생할 수 있다. 추가 상황으로서 이동 경로 메타데이터를 이용함으로써, 이러한 오경보들 및 검출 누락은 도 6b의 방법을 이용하여 경감될 수 있다.
전술한 바와 같이, 이동 경로 메타데이터는 또한 이동 경로 내의 영역들에서의 움직이는 객체 검출 프로세스의 민감도를 증가시키기 위해 또한 사용될 수 있다. 도 8a에 도시된 바와 같이, 큰 빌딩의 그림자 내의 움직이는 차량은 검출되지 않는다. 이는 그 영역 내의 이미지의 낮은 콘트라스트 때문이다. 이동 경로가 위치한 구역들에서 검출 프로세스의 민감도 임계치를 함께 낮춤으로써, 이러한 움직이는 차량이 검출된다.
일단 움직이는 관심 객체(46)가 검출되면, 프로세서(24)는 시간의 흐름에 따라 움직이는 관심 객체(46)의 위치를 트래킹하도록 구성될 수 있다. 대안적으로, 일단 움직이는 관심 객체(46)가 검출되면, 사용자는 이 움직이는 특정 관심 객체(46)를 트래킹하기 위해 사용자 인터페이스(26)를 통해 프로세서(24)로 명령들을 입력할 수 있다. 프로세서(24)는 외관, 위치, 속도 등에 의해, 연속적인 이미지들(44a, 44b, 44c)에서 움직이는 관심 객체(46)를 검출하도록 구성될 수 있다.
이미지들(44a, 44b, 44c)이 지오-레지스터링되기 때문에, 검출되는 움직이는 관심 객체(46)는 정확한 지리적-좌표들을 갖는다. 이는 사용자가 움직이는 관심 객체(46)를 용이하게 검출 및 트래킹할 수 있게 한다.
본 발명은 이미지들(44a, 44b, 44c)에서 다수의 움직이는 관심 객체들을 검출 및 트래킹하기 위해 사용될 수 있다. 이러한 다수의 움직이는 관심 객체들은 이미지들(44a, 44b, 44c)에서 동일한 이동 경로에 있을 수 있다. 대안적으로, 다수의 움직이는 관심 객체들 중 하나 또는 둘 이상이 이미지들(44a, 44b, 44c)에서 하나의 이동 경로에 있을 수 있고, 다수의 움직이는 관심 객체들 중 다른 하나 또는 둘 이상이 이미지들(44a, 44b, 44c 등)에서 다른 이동 경로에 있을 수 있다.
본 명세서에 설명된 본 발명의 요지의 특정 양상들이 도시되고 설명되었지만, 본 명세서의 교시들에 기초하여, 변화들 및 변경들이 본 명세서에 설명된 요지 및 그 광범위한 양상들을 벗어나지 않고 행해질 수 있으며, 따라서 첨부된 청구항들이, 본 명세서에 설명된 요지의 진정한 사상 및 범위 내에 있는 모든 이러한 변화들 및 변경들을 청구항들의 범위 내에 포함할 것임이 당업자에게 명백할 것이다. 게다가, 본 발명이 첨부된 청구항들에 의해 정의되는 것이 이해되어야 한다. 따라서, 본 발명은 첨부된 청구항들 및 이들의 등가물들을 고려하는 것을 제외하고서 제한되지 않아야 한다.

Claims (20)

  1. 객체의 실시간 검출을 위한 방법으로서,
    이미지 캡쳐링 디바이스를 이용하여, 적어도 하나의 이동 경로를 포함하는 지리적 영역의 연속적인 이미지들을 캡쳐링하는 단계;
    지리적 기준 맵에 대해 상기 연속적인 이미지들의 적어도 일부를 지오-레지스터링(geo-register)하는 단계 ― 상기 지리적 기준 맵은 상기 지리적 영역의 상황 정보를 포함하고, 상기 상황 정보는 상기 적어도 하나의 이동 경로와 연관된 이동 경로 메타데이터를 포함함 ―;
    상기 연속적인 이미지들 사이의 차이들을 계산하여 실시간으로 후보 객체를 검출하는 단계;
    검출된 상기 후보 객체에 대한 추가의 상황으로서 상기 이동 경로 메타데이터를 이용하여, 상기 지리적 기준 맵과 상기 연속적인 이미지들 사이의 축적된 픽셀 제곱 차이 이미지를 계산하는 단계;
    미리 정의된 민감도 임계치를 상기 축적된 픽셀 제곱 차이 이미지에 적용하여 바이너리 이미지를 생성하는 단계; 및
    상기 바이너리 이미지에 기초하여 상기 객체를 검출하는 단계를 포함하는,
    객체의 실시간 검출을 위한 방법.
  2. 제 1 항에 있어서,
    사용자 인터페이스를 통해 등록(registration) 정보를 수신하는 단계를 더 포함하고,
    수신된 상기 등록 정보를 이용하여, 상기 연속적인 이미지들 중 제 1 이미지가 수동으로 지오-레지스터링되는,
    객체의 실시간 검출을 위한 방법.
  3. 제 1 항에 있어서,
    상기 적어도 하나의 이동 경로를 포함하는 상기 지리적 영역의 이미지들을 획득함으로써 상기 지리적 기준 맵을 획득하는 단계를 더 포함하는,
    객체의 실시간 검출을 위한 방법.
  4. 제 1 항에 있어서,
    상기 적어도 하나의 이동 경로는 도로를 포함하는,
    객체의 실시간 검출을 위한 방법.
  5. 제 1 항에 있어서,
    상기 이미지 캡쳐링 디바이스는 공중 구조물에 포지셔닝되는, 객체의 실시간 검출을 위한 방법.
  6. 제 1 항에 있어서,
    상기 지리적 영역의 연속적인 이미지들을 캡쳐링하는 단계는:
    상기 지리적 영역을 포함하는 적어도 하나의 비디오 시퀀스를 캡쳐링하는 단계; 및
    상기 비디오 시퀀스를 상기 연속적인 이미지들로 분리하는 단계를 더 포함하는,
    객체의 실시간 검출을 위한 방법.
  7. 제 1 항에 있어서,
    상기 지리적 기준 맵에 대해 상기 연속적인 이미지들의 적어도 일부를 지오-레지스터링하는 단계는 평면 호모그래피를 사용하여 수행되는,
    객체의 실시간 검출을 위한 방법.
  8. 제 1 항에 있어서,
    상기 적어도 하나의 이동 경로 밖의 하나 이상의 움직이는 객체들의 오검출들을 억제하기 위해 상기 상황 정보를 사용하는 단계를 더 포함하는,
    객체의 실시간 검출을 위한 방법.
  9. 제 1 항에 있어서,
    상기 적어도 하나의 이동 경로 상의 움직이는 객체를 검출하기 위해 상기 상황 정보를 사용하는 단계를 더 포함하는,
    객체의 실시간 검출을 위한 방법.
  10. 제 1 항에 있어서,
    상기 지리적 기준 맵에 대해 상기 연속적인 이미지들의 적어도 일부를 지오-레지스터링하는 단계는:
    상기 연속적인 이미지들의 적어도 일부 사이에 제 1 지오-레지스터링을 수행하는 단계;
    상기 기준 맵에 대해 상기 연속적인 이미지들의 적어도 일부 중 적어도 하나의 이미지 사이에 제 2 지오-레지스터링을 수행하는 단계를 포함하고,
    상기 제 2 지오-레지스터링은 상기 제 1 지오-레지스터링 동안 유발된 에러들을 감소시키도록 동작하는,
    객체의 실시간 검출을 위한 방법.
  11. 제 1 항에 있어서,
    검출된 상기 객체는 움직이는 객체를 포함하고,
    상기 방법은, 상기 움직이는 객체의 포지션을 트래킹하는 단계를 더 포함하는,
    객체의 실시간 검출을 위한 방법.
  12. 지리적 영역의 이동 경로 상의 움직이는 객체의 실시간 검출을 위한 시스템으로서,
    상기 지리적 영역의 연속적인 이미지들을 캡쳐링하기 위한 이미지 캡쳐링 디바이스;
    상기 지리적 영역의 상황 정보를 포함하는 지리적 기준 맵 ― 상기 상황 정보는 상기 이동 경로와 연관된 이동 경로 메타데이터를 포함함 ―; 및
    프로세서를 포함하며,
    상기 프로세서는:
    상기 연속적인 이미지들 사이의 차이들을 계산하여 상기 이동 경로 상의 움직이는 후보 객체를 실시간으로 검출하고,
    검출된 상기 움직이는 후보 객체에 대한 추가의 상황으로서 상기 이동 경로 메타데이터를 이용하여, 상기 지리적 기준 맵과 상기 연속적인 이미지들 사이의 축적된 픽셀 제곱 차이 이미지를 계산하고,
    미리 정의된 민감도 임계치를 상기 축적된 픽셀 제곱 차이 이미지에 적용하여 바이너리 이미지를 생성하고, 그리고
    상기 바이너리 이미지에 기초하여 상기 움직이는 객체를 검출하도록 구성되는,
    지리적 영역의 이동 경로 상의 움직이는 객체의 실시간 검출을 위한 시스템.
  13. 제 12 항에 있어서,
    상기 이미지 캡쳐링 디바이스는 비디오 카메라인,
    지리적 영역의 이동 경로 상의 움직이는 객체의 실시간 검출을 위한 시스템.
  14. 제 13 항에 있어서,
    검출된 상기 움직이는 객체는 차량이며, 상기 이동 경로는 도로인,
    지리적 영역의 이동 경로 상의 움직이는 객체의 실시간 검출을 위한 시스템.
  15. 제 12 항에 있어서,
    상기 이미지 캡쳐링 디바이스는 공중 구조물에 장착되는,
    지리적 영역의 이동 경로 상의 움직이는 객체의 실시간 검출을 위한 시스템.
  16. 제 15 항에 있어서,
    상기 공중 구조물은 무인 비행체(unmanned vehicle) 상의 공중 플랫폼을 포함하는,
    지리적 영역의 이동 경로 상의 움직이는 객체의 실시간 검출을 위한 시스템.
  17. 제 12 항에 있어서,
    상기 지리적 기준 맵은 상기 프로세서와 떨어져 있는 서버에 보관되는,
    지리적 영역의 이동 경로 상의 움직이는 객체의 실시간 검출을 위한 시스템.
  18. 제 12 항에 있어서,
    상기 프로세서는 검출된 상기 움직이는 객체의 포지션을 트래킹하도록 추가로 구성되는,
    지리적 영역의 이동 경로 상의 움직이는 객체의 실시간 검출을 위한 시스템.
  19. 움직이는 객체의 실시간 검출을 위한 방법으로서,
    이미지 캡쳐링 디바이스를 이용하여, 이동 경로를 포함하는 지리적 영역의 복수의 연속적인 이미지들을 캡쳐링하는 단계;
    지리적 기준 맵을 사용하여 상기 복수의 연속적인 이미지들의 적어도 일부를 지오-레지스터링하는 단계 ― 상기 지리적 기준 맵은 상기 지리적 영역과 연관된 상황 정보를 포함하고, 상기 상황 정보는 상기 이동 경로와 연관된 이동 경로 메타데이터를 포함함 ―;
    상기 복수의 연속적인 이미지들 사이의 차이들을 계산하여 움직이는 후보 객체를 실시간으로 검출하는 단계;
    검출된 상기 움직이는 후보 객체가 상기 이동 경로 내에 있는 것으로 결정되는지 여부에 기초하여 민감도 임계값을 선택하는 단계; 및
    상기 움직이는 객체를 검출하기 위해 검출된 상기 움직이는 후보 객체에 대해 상기 민감도 임계값을 사용하는 단계를 포함하고,
    검출된 상기 움직이는 객체가 상기 이동 경로 내에 있을 때, 더 작은 민감도 임계값이 선택되고,
    검출된 상기 움직이는 객체가 상기 이동 경로 밖에 있을 때, 더 큰 민감도 임계값이 선택되며,
    상기 민감도 임계값은, 미리 결정된 오경보 레이트를 제공하기 위해 선택되는,
    움직이는 객체의 실시간 검출을 위한 방법.
  20. 삭제
KR1020150043202A 2014-04-08 2015-03-27 이동 경로 메타데이터를 이용한 항공 사진/비디오에서의 상황 인식 객체 검출 KR102400452B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/247,398 2014-04-08
US14/247,398 US9734399B2 (en) 2014-04-08 2014-04-08 Context-aware object detection in aerial photographs/videos using travel path metadata

Publications (2)

Publication Number Publication Date
KR20150116777A KR20150116777A (ko) 2015-10-16
KR102400452B1 true KR102400452B1 (ko) 2022-05-19

Family

ID=52462808

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150043202A KR102400452B1 (ko) 2014-04-08 2015-03-27 이동 경로 메타데이터를 이용한 항공 사진/비디오에서의 상황 인식 객체 검출

Country Status (6)

Country Link
US (1) US9734399B2 (ko)
EP (1) EP2930686B1 (ko)
JP (1) JP6726932B2 (ko)
KR (1) KR102400452B1 (ko)
CN (1) CN104978390B (ko)
BR (1) BR102015003962B1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106878742B (zh) 2011-01-12 2020-01-07 太阳专利托管公司 动态图像编解码装置
JP5358746B2 (ja) 2011-03-03 2013-12-04 パナソニック株式会社 動画像符号化方法、動画像符号化装置及びプログラム
JP2013055569A (ja) * 2011-09-06 2013-03-21 Sony Corp 撮像装置、情報処理装置、それらの制御方法、および、プログラム
US11080765B2 (en) * 2013-03-14 2021-08-03 Igor Gershteyn Method and system for data structure creation, organization and searching using basic atomic units of information
BR112018009108B1 (pt) * 2015-11-08 2023-10-24 Agrowing Ltd Método para a aquisição e análise de imagens aéreas
US10248839B2 (en) * 2015-11-30 2019-04-02 Intel Corporation Locating objects within depth images
EP3835912A1 (en) 2015-12-09 2021-06-16 SZ DJI Technology Co., Ltd. Systems and methods for auto-return
CN105512685B (zh) * 2015-12-10 2019-12-03 小米科技有限责任公司 物体识别方法和装置
US10670418B2 (en) * 2016-05-04 2020-06-02 International Business Machines Corporation Video based route recognition
US10054445B2 (en) * 2016-05-16 2018-08-21 Northrop Grumman Systems Corporation Vision-aided aerial navigation
IL248749B (en) * 2016-11-03 2019-08-29 Dan El Eglick A system for looking at using several databases
US10560666B2 (en) 2017-01-21 2020-02-11 Microsoft Technology Licensing, Llc Low-cost, long-term aerial imagery
US10209089B2 (en) 2017-04-03 2019-02-19 Robert Bosch Gmbh Automated image labeling for vehicles based on maps
CN108176049B (zh) * 2017-12-28 2021-05-25 珠海豹好玩科技有限公司 一种信息提示方法、装置、终端和计算机可读存储介质
US10445913B2 (en) * 2018-03-05 2019-10-15 Faro Technologies, Inc. System and method of scanning and editing two dimensional floorplans
US11195324B1 (en) 2018-08-14 2021-12-07 Certainteed Llc Systems and methods for visualization of building structures
CN110349173B (zh) * 2019-07-15 2020-07-24 长光卫星技术有限公司 基于高分辨率遥感影像的地物变化监测方法
US11200671B2 (en) * 2019-12-31 2021-12-14 International Business Machines Corporation Reference image guided object detection in medical image processing
CN111619584B (zh) * 2020-05-27 2021-09-21 北京经纬恒润科技股份有限公司 一种无人驾驶汽车的状态监管方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7424133B2 (en) * 2002-11-08 2008-09-09 Pictometry International Corporation Method and apparatus for capturing, geolocating and measuring oblique images
KR100489890B1 (ko) * 2002-11-22 2005-05-17 한국전자통신연구원 스테레오 비디오 또는/및 지리객체의 상세정보 제공 장치및 그방법
EP2294811B1 (en) * 2008-06-26 2015-09-30 Lynntech, Inc. Method of searching for a thermal target
WO2011133845A2 (en) * 2010-04-22 2011-10-27 Bae Systems Information And Electronic Systems Integration Inc. Situational awareness integrated network and system for tactical information and communications
US10645344B2 (en) 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
US9746988B2 (en) * 2011-05-23 2017-08-29 The Boeing Company Multi-sensor surveillance system with a common operating picture
US20130021475A1 (en) * 2011-07-21 2013-01-24 Canant Ross L Systems and methods for sensor control
US8958945B2 (en) * 2012-02-07 2015-02-17 Ge Aviation Systems Llc System and methods for maintaining and operating an aircraft
US9904852B2 (en) * 2013-05-23 2018-02-27 Sri International Real-time object detection, tracking and occlusion reasoning

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
J. Xiao et al., ‘Vehicle Detection and Tracking in Wide Field-of-View Aerial Video,’ 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Francisco, CA, USA, 2010, pp.679-684 (2010.06.13.) 1부.*
S. Huang et al., ‘Image Registration among UAV Image Sequence and Google Satellite Image Under Quality Mismatch,’ 2012 12th International Conference on ITS Telecommunications, Taipei, Taiwan, 2012, pp.311-315 (2012.11.05.) 1부.*

Also Published As

Publication number Publication date
KR20150116777A (ko) 2015-10-16
JP2015201183A (ja) 2015-11-12
BR102015003962A2 (pt) 2016-07-26
EP2930686A1 (en) 2015-10-14
BR102015003962B1 (pt) 2021-06-01
CN104978390A (zh) 2015-10-14
US20150286868A1 (en) 2015-10-08
CN104978390B (zh) 2020-11-03
US9734399B2 (en) 2017-08-15
EP2930686B1 (en) 2020-09-02
JP6726932B2 (ja) 2020-07-22

Similar Documents

Publication Publication Date Title
KR102400452B1 (ko) 이동 경로 메타데이터를 이용한 항공 사진/비디오에서의 상황 인식 객체 검출
US11042755B2 (en) Method for foreign object debris detection
Ahmadi et al. Moving vehicle detection, tracking and traffic parameter estimation from a satellite video: A perspective on a smarter city
US10970871B2 (en) Estimating two-dimensional object bounding box information based on bird's-eye view point cloud
Brunner et al. Selective combination of visual and thermal imaging for resilient localization in adverse conditions: Day and night, smoke and fire
WO2018104563A3 (en) Method and system for video-based positioning and mapping
CN110264495B (zh) 一种目标跟踪方法及装置
US11361457B2 (en) Annotation cross-labeling for autonomous control systems
JP2018124787A (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
CN112166459A (zh) 基于多相机卷积器系统的三维环境建模
KR101261409B1 (ko) 영상 내 노면표시 인식시스템
US9165361B1 (en) Video tracking with jitter, slewing, or zoom
JP6524529B2 (ja) 建築限界判定装置
JP5904069B2 (ja) 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム
JP6997057B2 (ja) 不動物体情報から端末位置を推定する装置、プログラム及び方法
CN114419165B (zh) 相机外参校正方法、装置、电子设备和存储介质
JP2016085602A (ja) センサ情報統合方法、及びその装置
KR102491638B1 (ko) 영상 처리 장치 및 영상 처리 방법
Jing et al. Efficient point cloud corrections for mobile monitoring applications using road/rail-side infrastructure
Brunner et al. Combining multiple sensor modalities for a localisation robust to smoke
CN111553342B (zh) 一种视觉定位方法、装置、计算机设备和存储介质
KR102195040B1 (ko) 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
KR20160108979A (ko) 표적 추적 방법 및 장치
CN117347996A (zh) 一种连续雷达区域的目标接力方法、系统及设备
US11741631B2 (en) Real-time alignment of multiple point clouds to video capture

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant