KR20230026916A - 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법 - Google Patents

드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법 Download PDF

Info

Publication number
KR20230026916A
KR20230026916A KR1020210109406A KR20210109406A KR20230026916A KR 20230026916 A KR20230026916 A KR 20230026916A KR 1020210109406 A KR1020210109406 A KR 1020210109406A KR 20210109406 A KR20210109406 A KR 20210109406A KR 20230026916 A KR20230026916 A KR 20230026916A
Authority
KR
South Korea
Prior art keywords
map
drone
image
image data
series information
Prior art date
Application number
KR1020210109406A
Other languages
English (en)
Other versions
KR102587445B1 (ko
Inventor
이재영
Original Assignee
이재영
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이재영 filed Critical 이재영
Priority to KR1020210109406A priority Critical patent/KR102587445B1/ko
Publication of KR20230026916A publication Critical patent/KR20230026916A/ko
Application granted granted Critical
Publication of KR102587445B1 publication Critical patent/KR102587445B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/004—Map manufacture or repair; Tear or ink or water resistant maps; Long-life maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법에 관한 것으로, 드론을 이용하여 지도제작영역이 촬영된 드론영상데이터를 수집하는 단계; 상기 지도제작영역이 촬영된 위성영상데이터를 수집하는 단계; 상기 드론영상데이터 및 위성영상데이터를 이용하여 상기 지도제작영역에 대한 영상 정합을 수행하는 단계; 상기 영상 정합을 통해 수득된 정합영상의 모델링을 통해 정사영상을 구축하여 현재시점의 3차원 지도를 제작하는 단계; 기 저장된 이전시점의 3차원 지도를 추출하는 단계; 인공신경망을 이용하여 상기 추출된 이전시점의 3차원 지도와 상기 현재시점의 3차원 지도를 비교하여 변경객체를 검출하는 단계; 및 상기 검출된 변경객체에 대응하는 시계열정보를 생성하여 상기 현재시점의 3차원 지도에 반영하는 단계;를 포함함으로써, 원하는 지역의 이전시점에서 변경된 시계열정보를 정확하게 표현할 수 있을 뿐만 아니라 시계열정보를 포함하는 3차원 지형 정보를 효과적으로 획득할 수 있다.

Description

드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법{3D MAPPING METHOD WITH TIME SERIES INFORMATION USING DRONE}
본 발명은 지도제작영역에 대한 드론영상데이터와 위성영상데이터를 수집하고, 드론영상데이터 및 위성영상데이터를 이용하여 지도제작영역에 대한 영상 정합을 수행하고, 정합영상의 모델링을 통해 정사영상을 구축하여 현재시점의 3차원 지도를 제작한 후에, 인공신경망을 이용하여 기 저장된 이전시점의 3차원 지도와 현재시점의 3차원 지도를 비교하여 변경된 시계열정보를 검출하며, 검출된 시계열정보를 현재시점의 3차원 지도에 반영하여 제공함으로써, 원하는 지역의 이전시점에서 변경된 시계열정보를 정확하게 표현할 수 있을 뿐만 아니라 시계열정보를 포함하는 3차원 지형 정보를 효과적으로 획득할 수 있는 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법에 관한 것이다.
잘 알려진 바와 같이, 무인항공기(UAV : unmanned aerial vehicle)는 조종사를 태우지 않고, 공기역학적 힘에 의해 부양하여 자율적으로 또는 원격조종으로 비행을 하며, 무기 또는 일반화물을 실을 수 있는 일회용 또는 재사용할 수 있는 동력 비행체로 정의될 수 있는데, 이러한 무인항공기 체계는 드론(drone)으로 지칭되기도 한다.
상술한 바와 같은 드론 기술의 발달에 따라 드론을 이용한 다양한 기술들이 여러 형태로 연구 개발되고 있는데, 드론은 초기에 주로 군사용으로 개발되었지만, 점차 활용 분야가 확대되어 최근에는 시설물 관리, 해안 감시, 환경 감시, 대형 건축물 감시, 산불 감시, 산림 감시, 야간 무인 순찰, 무인 택배 서비스, 농약살포기, 범죄 색출, 범죄 추적, 작전 수행, 익스트림 스포츠 촬영, 지형 모델링, 구조물 모델링 등과 같은 다양한 용도로 사용되고 있으며 드라마, 예능, 관광지 촬영 등에도 사용되고 있다.
한편, 고해상도 위성영상이 촬영 및 제공되고, GIS(geographic information system) 기술의 비약적인 발달로 인하여 다양한 지형정보를 취득하여 이를 체계적으로 관리할 수 있는 여건이 조성되고 있다.
특히, 인공위성 중 IKONOS, QuickBird, SPOT, KOMSAT 등과 같은 고중해상도 광학위성을 통한 지리정보 기반 데이터인 수치지형도 제작 및 영상지도 제작과 능동적 센서를 탑재한 RADARSAT을 이용한 도시지형정보 및 재해정보를 취득하여 도시관리, 각종 건설관리, 자원관리, 환경관리 등에 활용이 급증하고 있다.
또한, 지형공간정보자료를 GIS와 연계시켜 다양한 용도의 정보체계를 구축하는 것이 필요하게 되었고, 중저해상도의 위성영상자료를 이용하여 취득된 각종 정보와 고해상 영상자료와의 통합 및 다중센서 자료들의 통합은 영상정보의 활용성을 다양화시키기 위한 다양한 연구 및 발명이 진행되고 있다.
상술한 바와 같이 드론을 이용하여 촬영된 드론영상과 고해상도 위성영상을 이용하여 3차원 지도를 제작하고 있는데, 최근 도로, 건물, 교량, 학교, 아파트, 주택, 상업건물 등 다양한 건축물들은 재개발, 재건축 등의 이유로 매우 빈번하게 설치되거나, 혹은 폐쇄 및 해체하여 제거되고 있기 때문에 시계열정보를 함께 제공하는 3차원 지도의 제공을 위한 다양한 기법들이 연구 개발되고 있는 실정이다.
한국공개특허공보 제10-2011-0082903호(2011-07.20.공개)
본 발명은 지도제작영역에 대한 드론영상데이터와 위성영상데이터를 수집하고, 드론영상데이터 및 위성영상데이터를 이용하여 지도제작영역에 대한 영상 정합을 수행하고, 정합영상의 모델링을 통해 정사영상을 구축하여 현재시점의 3차원 지도를 제작한 후에, 인공신경망을 이용하여 기 저장된 이전시점의 3차원 지도와 현재시점의 3차원 지도를 비교하여 변경된 시계열정보를 검출하며, 검출된 시계열정보를 현재시점의 3차원 지도에 반영하여 제공함으로써, 원하는 지역의 이전시점에서 변경된 시계열정보를 정확하게 표현할 수 있을 뿐만 아니라 시계열정보를 포함하는 3차원 지형 정보를 효과적으로 획득할 수 있는 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법의 제공을 일 목적으로 한다.
본 발명의 실시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따르면, 드론을 이용하여 지도제작영역이 촬영된 드론영상데이터를 수집하는 단계; 상기 지도제작영역이 촬영된 위성영상데이터를 수집하는 단계; 상기 드론영상데이터 및 위성영상데이터를 이용하여 상기 지도제작영역에 대한 영상 정합을 수행하는 단계; 상기 영상 정합을 통해 수득된 정합영상의 모델링을 통해 정사영상을 구축하여 현재시점의 3차원 지도를 제작하는 단계; 기 저장된 이전시점의 3차원 지도를 추출하는 단계; 인공신경망을 이용하여 상기 추출된 이전시점의 3차원 지도와 상기 현재시점의 3차원 지도를 비교하여 변경객체를 검출하는 단계; 및 상기 검출된 변경객체에 대응하는 시계열정보를 생성하여 상기 현재시점의 3차원 지도에 반영하는 단계;를 포함하는 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법이 제공될 수 있다.
또한, 본 발명의 실시예에 따르면, 상기 변경객체를 검출하는 단계는, 상기 인경신경망으로 CNN(convolutional neural network) 계열을 이용하여 수행되는 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법이 제공될 수 있다.
또한, 본 발명의 실시예에 따르면, 상기 현재시점의 3차원 지도에 반영하는 단계는, 상기 변경객체에 대응하는 객체명, 이전객체명, 변경날짜 및 버전날짜를 포함하여 상기 시계열정보를 생성하고, 상기 변경객체에 대한 팝업창 방식으로 상기 현재시점의 3차원 지도에 반영하는 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법이 제공될 수 있다.
또한, 본 발명의 실시예에 따르면, 상기 영상 정합을 수행하는 단계는, 상기 드론영상데이터에서 복수의 제 1 지상기준점을 검출하고, 상기 위성영상데이터에서 복수의 제 2 지상기준점을 검출한 후에, 상기 복수의 제 1 지상기준점 및 복수의 제 2 지상기준점을 이용하여 상기 영상 정합을 수행하는 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법이 제공될 수 있다.
또한, 본 발명의 실시예에 따르면, 상기 복수의 제 1 지상기준점은, 상기 드론영상데이터를 서브 샘플링하여 제 1 서브샘플링영상을 획득한 후에, 상기 제 1 서브샘플링영상에서 크기변화, 회전 및 이동에 불변하는 특징점을 검출하는 방식으로 각각 검출되는 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법이 제공될 수 있다.
또한, 본 발명의 실시예에 따르면, 상기 복수의 제 2 지상기준점은, 상기 위성영상데이터를 서브 샘플링하여 제 2 서브샘플링영상을 획득한 후에, 상기 제 2 서브샘플링영상에서 크기변화, 회전 및 이동에 불변하는 특징점을 검출하는 방식으로 각각 검출되는 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법이 제공될 수 있다.
또한, 본 발명의 실시예에 따르면, 상기 3차원 지도를 제작하는 단계는, 상기 정합영상이 포인트 클라우드 형태 또는 메시 형태로 모델링되는 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법이 제공될 수 있다.
또한, 본 발명의 실시예에 따르면, 상기 3차원 지도를 제작하는 단계는, 상기 포인트 클라우드 형태로 모델링되는 경우 수치표면모델(DSM : digital surface model), 수치표고모델(DEM : digital elevation model) 및 수치지형모델(DTM : digital terrain model) 중에서 선택된 적어도 하나를 이용하여 모델링되는 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법이 제공될 수 있다.
본 발명은 지도제작영역에 대한 드론영상데이터와 위성영상데이터를 수집하고, 론영상데이터 및 위성영상데이터를 이용하여 지도제작영역에 대한 영상 정합을 수행하고, 정합영상의 모델링을 통해 정사영상을 구축하여 현재시점의 3차원 지도를 제작한 후에, 인공신경망을 이용하여 기 저장된 이전시점의 3차원 지도와 현재시점의 3차원 지도를 비교하여 변경된 시계열정보를 검출하며, 검출된 시계열정보를 현재시점의 3차원 지도에 반영하여 제공함으로써, 원하는 지역의 이전시점에서 변경된 시계열정보를 정확하게 표현할 수 있을 뿐만 아니라 시계열정보를 포함하는 3차원 지형 정보를 효과적으로 획득할 수 있다.
도 1은 본 발명의 실시예에 따라 드론을 이용하여 시계열정보가 포함된 3차원 지도를 제작하는 과정을 나타낸 플로우차트이고,
도 2는 본 발명의 실시예에 따른 드론을 이용하여 시계열정보가 포함된 3차원 지도를 제작하는 3차원 지도 제작 시스템을 예시한 도면이며,
도 3 내지 도 5는 본 발명의 실시예에 따라 드론영상데이터의 원근 왜곡을 보정하는 것을 설명하기 위한 도면이고,
도 6은 본 발명의 실시예에 따라 위성영상데이터의 그림자 왜곡을 보정하는 것을 설명하기 위한 도면이며,
도 7 내지 도 9는 본 발명의 실시예에 따라 복수의 제 1 지상기준점을 결정하는 것을 설명하기 위한 도면이고,
도 10 내지 도 12는 본 발명의 실시예에 따라 정사영상의 모델링, 보정 및 생성을 설명하기 위한 도면이며,
도 13 및 도 14는 본 발명의 실시예에 따라 CNN 계열의 인공신경망을 설명하기 위한 도면이다.
본 발명의 실시예들에 대한 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따라 드론을 이용하여 시계열정보가 포함된 3차원 지도를 제작하는 과정을 나타낸 플로우차트이고, 도 2는 본 발명의 실시예에 따른 드론을 이용하여 시계열정보가 포함된 3차원 지도를 제작하는 3차원 지도 제작 시스템을 예시한 도면이며, 도 3 내지 도 5는 본 발명의 실시예에 따라 드론영상데이터의 원근 왜곡을 보정하는 것을 설명하기 위한 도면이고, 도 6은 본 발명의 실시예에 따라 위성영상데이터의 그림자 왜곡을 보정하는 것을 설명하기 위한 도면이며, 도 7 내지 도 9는 본 발명의 실시예에 따라 복수의 제 1 지상기준점을 결정하는 것을 설명하기 위한 도면이고, 도 10 내지 도 12는 본 발명의 실시예에 따라 정사영상의 모델링, 보정 및 생성을 설명하기 위한 도면이며, 도 13 및 도 14는 본 발명의 실시예에 따라 CNN 계열의 인공신경망을 설명하기 위한 도면이다.
도 1 내지 도 14를 참조하면, 드론(10)을 이용하여 지도제작영역이 촬영된 드론영상데이터를 수집할 수 있다(단계110).
이러한 드론영상데이터를 수집하는 단계(110)에서는 지도제작영역에서 측량된 지상기준점의 좌표에 따라 드론(10)을 비행시켜 수집할 수 있다.
예를 들면, 드론(10)은 드론 본체에 비행수단, 촬영수단, 무선통신모듈, GPS수신기, 압력센서, 자이로센서 등을 포함하여 무선 제어에 따라 원하는 지역에 무인으로 비행하고, 그 지역을 촬영하여 드론영상데이터를 무선으로 지도제작을 위한 지도제작장치(30)로 전송할 수 있다. 이러한 지도제작장치(30)는 드론(10)의 무선 제어를 수행하는 제어센터에 구비되거나, 혹은 그 제어센터를 포함하여 구비될 수 있다.
여기에서, 드론 본체에는 드론(10)의 작동 및 제어를 위한 다양한 구성부가 구비될 수 있는데, 추진모터, 프로펠러 등을 포함하는 비행수단을 이용하여 무인 비행하고자 하는 지역을 기 설정된 경로 또는 무선 제어된 경로에 따라 비행할 수 있고, 촬영수단을 이용하여 3차원 지도 제작 작업을 위한 드론영상데이터를 획득할 수 있다.
그리고, 드론(10)은 무선통신모듈을 이용하여 제어센터로부터 송출되는 좌표 신호를 수신할 수 있고, GPS 수신기를 이용하여 위성영상수집장치(20)에 구비된 위성항법시스템(GPS)으로부터 GPS 신호를 수신할 수 있으며, 압력센서를 이용하여 드론 본체의 고도를 검출하기 위해 주변의 기압을 실시간 측정할 수 있고, 자이로센서를 이용하여 드론 본체의 상하 반전을 감지하기 위해 구비될 수 있다.
여기에서, 드론(10)은 위치정보와 관련된 각종 위성정보를 위성영상수집장치(20)의 위성항법시스템(GPS : global positioning system) 및 관성항법시스템(INS : inertial navigation system)을 통해 획득할 수 있다.
상술한 바와 같은 구성을 갖는 드론(10)은 지도제작영역을 무인 비행하기 위해 지상기준점을 측량하여 지상기준점의 좌표를 획득하고, 지도제작영역에서 측량된 지상기준점의 좌표에 따라 비행경로를 결정하며, 결정된 비행경로에 따라 측량된 지상기준점의 좌표를 참조하여 드론(10)을 비행시켜 해당 영역을 촬영한 후, 촬영된 드론영상데이터를 수집할 수 있다.
상기 단계(110)에서 수집된 드론영상데이터는 드론영상데이터의 깊이정보를 이용하여 원근 왜곡을 보정할 수 있는데, 드론영상데이터를 이용하여 깊이정보를 생성하고, 생성된 깊이정보를 이용하여 각 화소의 좌표위치를 획득하며, 각각의 화소에서 주변의 화소의 위치정보를 통해 국소적 법선벡터를 계산한 후에, 이를 기반으로 평면의 법선벡터를 계산하고, 계산된 평면의 법선벡터를 통해 회전변환에 사용할 회전축과 회전각도를 계산하고, 각각의 화소에 대한 회전변환을 수행하여 매핑위치를 획득하는 방식으로 원근 왜곡을 보정할 수 있다.
예를 들면, 드론영상데이터는 스테레오 영상데이터를 포함할 수 있고, 이 스테레오 영상을 평행 시각 스테레오 모델로 하여 변이정보를 획득한 후에, 변이정보를 이용하여 영상의 깊이정보를 생성할 수 있다.
여기에서, 변이정보를 이용하여 변이영상을 생성할 수 있는데, 카메라의 시각오차를 보상하는 영상보정과, 좌측영상 및 우측영상의 화소별 정합점을 찾는 스테레오정합을 포함하는 전처리를 수행한 후에, 좌측영상 및 우측영상의 수평변이에 의한 화소별 대응점의 거리를 영상으로 표현할 수 있는데, 이 변이영상은 영역기반스테레오 정합 알고리즘 중 에피폴라선 상에 있는 대응점의 이웃화소의 합의 차를 계산하여 최소화되는 화소와 정합점을 검출하는 방식으로 생성할 수 있다.
상술한 바와 같이 생성된 깊이정보를 각 화소의 카메라 좌표계 내에서의 좌표위치를 획득할 수 있는데, 깊이정보는 영상에서의 화소의 위치와 그 화소에서의 깊이값을 포함할 수 있고, 영상의 원근 왜곡 보정을 위해 깊이정보와 카메라인자를 이용하여 카메라초점을 원점으로 하여 카메라의 정면 광학축 방향을 Z축으로 하는 카메라 좌표계로 변환할 수 있다.
여기에서, 깊이정보는 카메라 좌표계 내에서 Z축의 거리가 되며, 영상 좌표계 내에서의 좌표를 영상 중앙이 되는 좌표계 상의 위치정보로 변환될 수 있는데, 도 3은 촬영영상 (a)에서 원점을 중앙으로 하는 좌표계 (b)로 영상의 좌표를 변환하는 것을 나타낸다.
그리고, 카메라의 시야각과 해상도를 이용하여 영상이 투영되는 뷰포트까지의 거리(f)를 다음의 수학식 1 또는 수학식 2를 이용하여 산출할 수 있다.
Figure pat00001
Figure pat00002
이 때, 수학식 1은 카메라의 수직시야각 fovv와 카메라의 수직해상도 h를 통해 f를 산출하는 것이고, 수학식 2는 카메라의 수평시야각 fovh와 카메라의 수직해상도 w를 통해 f를 산출하는 것으로, 두 식의 계산결과는 동일하다.
상술한 바와 같이 산출된 거리(f)를 적용하여 도 4에 도시한 바와 같이 핀홀카메라 모델에 적용하여 유도되는 아래의 수학식 3을 통해 카메라 좌표계에서의 위치(Pc(x,y)=(xc,yc,zc))로 변환할 수 있다.
Figure pat00003
이러한 과정을 통해 도 3의 (c)에 도시한 바와 같은 카메라 좌표계에서의 위치정보를 획득할 수 있다.
다음에, 평면 영상을 이루고 있는 각각의 화소에서 한 화소의 주변 화소를 통해 그 화소에 속한 평면에 대해 국소적인 법선벡터를 구할 수 있는데, 도 5에 도시한 바와 같이 P(x,y)에서의 주변 화소간의 공간적인 관계는 카메라 좌표계를 이용하여 나타낼 수 있다.
예를 들면, 영상 좌표계에서의 위치 P(x,y)에 대응하는 카메라 좌표계에서의 위치를 Pc(x,y)라고 할 경우, 화소의 상하에 위치한 점들의 카메라 좌표계에서의 위치정보 Pc(x,y+1), Pc(x,y-1)와 좌우에 우치한 점들의 카메라 좌표계에서의 위치정보 Pc(x+1,y), Pc(x-1,y)를 이용하여 다음의 수학식 4와 같이 두 개의 베터를 생성할 수 있다.
Figure pat00004
이 후, 두 벡터의 외적으로 생성된 벡터는 그 두 벡터와 수직이라는 것을 이용하여 다음의 수학식 5를 통해 두 벡터의 외적을 구하여 화소 P(x,y)에서의 국소적인 법선벡터 Nxy를 구할 수 있다.
Figure pat00005
상술한 바와 같이 구해진 각 화소의 국소적 법선벡터를 합산할 경우 평면영역에서의 법선벡터 N을 구할 수 있고, 스테레오영상을 회전변환을 통해 평면영역의 법선벡터를 Z축에 평행하게 하면, 평면영상은 xy평면에 평행한 영상으로 보정되어 원근 왜곡을 제거할 수 있다. 이 때, 회전변환을 수행한 평면 법선벡터의 단위벡터는 N'(0.0,1)이 된다.
그리고, 법선벡터가 N인 평면으로부터 법선벡터가 N'인 평면으로 회전변화는 하는 회전변환행렬 R은 회전축이 되는 단위벡터 u와 회전각 θ를 구하여 다음의 수학식 6을 통해 구할 수 있다.
Figure pat00006
이 때, 회전변화의 축이 되는 단위벡터 u는 두 법선벡터의 외적을 통해 두 법선벡터가 이루는 평면과 수직이 되는 정규벡터를 다음의 수학식 7과 같이 산출할 수 있고, 회전각 θ는 두 법선벡터가 이루는 사이각을 다음의 수학식 8과 같이 산출한 것을 이용할 수 있다.
Figure pat00007
Figure pat00008
상술한 바와 같은 변환행렬을 통해 각 화소의 카메라좌표계에서의 위치 Pc(i,j)를 다음의 수학식 9를 통해 회전변환을 수행할 경우 회전변환 후의 위치 P'c(i,j)=(x'c, y'c, z'c)를 산출할 수 있다.
Figure pat00009
이 때, P'은 카메라 좌표계 상의 좌표이므로 이를 영상처리에 이용하기 위해서 다시 영상 좌표계로 변환해주어야 하며, 다음의 수학식 10을 통해 원점이 화면 중심에 존재하는 영상 좌표계에서의 위치 P'v(x'v, y'v)로 변환한 후에, 원점을 다시 원래대로 설정하여 보정 변환 시 화소 P(x,y)에 대응되는 화소 P'(x',y')를 구할 수 있다.
Figure pat00010
상술한 바와 같이 드론영상데이터를 이용하여 깊이정보를 생성하고, 생성된 깊이정보를 이용하여 각 화소의 좌표위치를 획득하며, 각각의 화소에서 주변의 화소의 위치정보를 통해 국소적 법선벡터를 계산한 후에, 이를 기반으로 평면의 법선벡터를 계산하고, 계산된 평면의 법선벡터를 통해 회전변환에 사용할 회전축과 회전각도를 계산하고, 각각의 화소에 대한 회전변환을 수행하여 매핑위치를 획득(예를 들어, 회전변환을 통해 카메라 좌표계의 위치 획득, 영상 좌표계로의 변환, 원접 보정 등) 하는 방식으로 원근 왜곡을 보정할 수 있다.
다음에, 위성영상수집장치(20)에서는 지도제작영역이 촬영된 위성영상데이터를 수집할 수 있다(단계120).
이러한 위성영상데이터를 수집하는 단계(120)에서는 위성영상수집장치(20)로서, 위성항법시스템(GPS) 및 관성항법시스템(INS)을 이용하여 수집할 수 있다.
예를 들면, 위성영상수집장치(20)는 위성항법시스템(GPS) 및 관성항법시스템(INS)을 포함할 수 있는데, 위성항법시스템(GPS)은 적어도 24개 이상의 GPS 위성으로 이루어지며, GPS 위성들 각각의 고유 신호와 궤도 파라미터를 이용하여 각 GPS 위성의 정밀한 위치를 산출할 수 있고, 드론(10) 또는 지도제작장치(30)에 구비된 GPS 수신기를 이용하여 산출된 GPS 위성들의 각 위치정보와 삼변측량을 통해 드론(10) 또는 지도제작장치(30)의 정확한 위치를 산출할 수 있다.
또한, 관성항법시스템(INS)은 관성센서 역할을 하는 자이로와 가속도계를 포함하여 드론(10)의 회전과 위치 이동을 계산 및 제어하여 원하는 위치로 비행하도록 도와주는 시스템으로, 위성항법시스템(GPS) 및 관성항법시스템(INS)을 통해 촬영된 고해상도 위성영상데이터를 수신 및 수집할 수 있다.
상술한 바와 같은 위성항법시스템(GPS) 및 관성항법시스템(INS)은 통합시스템으로 하여 위성영상수집장치(20)로 구축될 수 있다.
상술한 바와 같이 위성항법시스템(GPS) 및 관성항법시스템(INS)을 포함하는 위성영상수집장치(20)에서 제공되는 각종 위성정보들은 드론(10) 및 지도제작장치(30)로 제공될 수 있다.
상기 단계(120)에서 수집된 위성영상데이터는 그림자 왜곡의 보정을 위한 그림자샘플을 생성하고, 생성된 그림자샘플을 이용하여 보정대상범위를 선정한 후에, 보정대상범위에 대한 화소정보에 따라 그림자왜곡보정영상을 생성하는 방식으로 그림자 왜곡을 보정할 수 있다.
좀더 구체적으로 설명하면, 첫째, 그림자샘플을 생성하는 것은, 도 6에 도시한 바와 같이 그림자를 통해 왜곡된 정보를 갖는 도로영역(S1영역)과 그림자 영향을 받지 않은 도로영역(S2영역)에 속하는 화소들을 추출하여 각각 생성되었는데, 영역확장(region growing) 기법을 이용하여 그림자샘플을 생성하기 위해 분광거리(spectral distance)를 선정(예를 들면, 임의의 분광거리로부터 생성된 각각의 그림자샘플 결과를 비교하여 수행함)하였고, 결정된 최적의 분광거리를 사용하여 보정대상이 되는 그림자샘플1과 기준대상이 되는 그림자샘플2를 포함하는 각 그림자샘플을 생성할 수 있다.
예를 들면, 영역확장 기법을 이용하여 그림자 영역을 대상으로 보정대상 그림자샘플1을 생성하고, 그림자 영향을 받지 않은 영역을 대상으로 기준대상 그림자샘플2를 생성할 수 있다. 여기에서, 각 샘플들은 보정대상 화소들에 대해 대표성을 갖는 화소의 군집을 추출하여 생성될 수 있다.
상술한 바와 같은 영역확장 기법은 기 설정된 씨앗화소(seed pixel)와 분광거리를 기반으로 그림자샘플을 생성할 수 있는데, 도로상에 발생한 건물의 그림자임이 분명한 화소(즉, S1영역 화소)와 그림자가 생기지 않은 도로임이 분명한 화소(즉, S2영역 화소)를 영상판독을 통해 S1영역과 S2영역의 샘플 생성에 필요한 씨앗화소로 각각 선정할 수 있다.
그리고, 분광거리의 경우 씨앗화소의 화소값 영향하에서 군집을 이룬 화소들로 샘플이 생성되어야 하기 때문에, 분광거리에 따른 표본의 특성을 고려하여 최종분광거리값을 선정할 수 있고, 이를 위해 임의의 수치를 분광거리값으로 사용하여 생성된 샘플들을 비교한 후에, 씨앗화소의 영향으로 생성된 샘플들 중에서 최종샘플을 선정할 수 있다. 여기에서, 임의의 수치는 10의 간격으로 20에서 120까지의 11단계의 값이며, 이는 S1영역의 그림자샘플1을 생성하는 경우와 S2영역의 그림자샘플2를 생성하는 경우 모두 동일하게 적용할 수 있다.
둘째, 보정대상범위를 선정하는 것은, 그림자샘플1의 화소값 범위에 속하는 모든 화소는 보정대상으로 고려되지만, 그 왜곡정도에 따라 상이한 수준으로 보정할 수 있는데, 도 6에 도시한 바와 같이 S1영역의 그림자샘플1과 S2영역의 그림자샘플2를 분석하여 그림자샘플1의 화소값 범위를 제 1 보정수준, 제 2 보정수준 및 제 3 보정수준으로 구분하여 보정대상범위를 선정할 수 있다.
여기에서, 제 1 보정수준은 순수한 S1영역은 상대적으로 큰 왜곡을 받은 화소값 범위로 S1영역의 최소값에서 S2영역의 최소값까지의 범위에 속하는 화소들을 포함하고, 제 2 보정수준은 제 1 보정수준보다 상대적으로 낮은 왜곡을 받는 영역(즉, S1>S2)에 대응하여 S2영역의 최소값에서 S1영역과 S2영역의 샘플히스토그램이 교차하는 지점의 화소값까지의 범위에 속하는 화소들을 포함하며, 제 3 보정수준은 보정이 필요하지 않은 영역(즉, S1<S2)에 대응하여 S1영역과 S2영역의 샘플히스토그램이 교차하는 지점의 화소값에서부터 S1영역의 최대값까지의 범위에 속하는 화소들을 포함할 수 있다.
예를 들면, S1영역의 그림자샘플1과 S2영역의 그림자샘플2를 사용하여 전영상에 존재하는 보정대상 화소들의 값을 기준대상 화소들의 값과 유사해지도록 보정하는 연산을 수립할 수 있는데, S1영역의 그림자샘플1은 그림자로 인해 왜곡된 정보를 지닌 화소들을 포함하므로 왜곡되지 않은 S2영역의 그림자샘플2의 화소 범위에 포함되도록 변환될 수 있다. 즉, 그림자샘플1의 화소값을 그림자샘플2의 ㅗ하소값에 최대한 유사해지도록 변환할 수 있다.
이러한 화소값 변환 과정을 제 1 보정수준, 제 2 보정수준 및 제 3 보정수준에 따라 수행할 수 있는데, 이는 그림자 영역의 화소일 경우에도 각각 받은 그림자 효과의 정도는 서로 다를 수 있기 때문이다. 여기에서, 화소값 변환은 그림자샘플2의 평균화소값을 기준으로 수행될 수 있다.
그리고, 보정대상으로 추출된 화소들은 도 6에 도시한 바와 같이 세영역으로 구분되어 보정될 수 있는데, ①은 S2영역과 전혀 중복되지 않아 S1영역에만 속하는 것으로 판단되는 화소값들의 범위로서, S2영역의 평균화소값을 기준으로 큰 왜곡을 받은 지역이므로 상대적으로 큰 폭의 수치로 보정되어야 하는 영역이고, ②는 S1영역과 S2영역의 화소값이 중첩되는 범위로서, S1영역의 비율이 S2영역의 비율보다 상대적으로 더 큰 영역으로, ①보다 S2영역의 평균화소값에 더 가까이 위치하기 때문에 작은 폭의 수치만으로도 S2영역의 평균화소값을 향한 보정이 가능하며, ③은 S1영역에 속할 수도 있는 화소이지만 S2영역에 속하는 화소일 확률이 더 크기 때문에 화소값을 S2영역의 평균화소값 중심으로 이동시키지 않아도 전체 보정 결과에 큰 영향을 미치지 않기 때문에, 수치변환을 하지 않고 본래의 값을 유지시킬 수 있다.
한편, S1영역의 그림자샘플1과 S2영역의 그림자샘플2는 그림자 왜곡을 보정하는 보정모델을 구축하기 위한 기초변수들(즉, 도 6에서 각 영역을 구분하는 지표가 되는 지점의 값으로, S1영역의 최소값, S2영역의 최소값, S1영역과 S2영역의 교차값, S1영역의 최대값 등을 포함함)에 대한 정보를 제공할 수 있으며, 이로부터 S1영역의 화소값 보정수준을 결정할 수 있다.
셋째, 그림자왜곡보정영상을 생성하는 것은, 도 6에 도시한 바와 같이 S1영역에 속하는 화소값들은 S2영역의 평균화소값을 중심으로 하는 범위 내로 최대한 이동시키는 수치적 변환을 수행할 수 있는데, 그림자샘플에서 추출한 S1영역의 최소값과, S2영역의 최소값과, 두 그룹이 교차하는 지점의 화소값들을 입력함으로써 그림자 왜곡이 보정된 영상(즉, 보정 위성영상데이터)을 제공할 수 있다.
예를 들면, 보정 대상 화소들은 제 1 보정수준, 제 2 보정수준 및 제 3 보정수준에 각각 대응하는 보정 과정을 수행할 수 있는데, 각 보정 수준의 화소값 범위는 S1영역의 그림자샘플1과 S2영역의 그림자샘플2에서 추출한 수치를 참조하여 결정될 수 있다.
이러한 보정영상은 S1영역의 최소값, S2영역의 최소값, S1영역과 S2영역의 교차값, S1영역의 최대값 등을 포함하는 기초변수들의 입력과 이들의 연산을 통해 수치변환을 수행할 수 있는데, 예를 들면, SML(spatial model language) 등을 이용하여 보정연산을 수행할 수 있다.
여기에서, 보정연산은 도 6에 도시한 바와 같은 세영역(즉, ①, ②, ③)에 대해 개별적 및 순차적으로 수행될 수 있는데, S1영역의 비율이 S2영역의 비율보다 상대적으로 큰 ②영역을 먼저 수행하고, 순수한 S1영역으로 구성된 ①영역에 적용할 수 있다. 그 이유는 보정 ①영역의 화소값이 ②영역의 화소값보다 상대적으로 작기 때문에, ①영역의 화소값을 먼저 변환할 경우 보정 ②영역에 다시 포함되어 동일화소에 대한 중복변환이 발생하기 때문이다. 이 때, ③영역은 원래의 값을 유지할 수 있다.
상술한 바와 같은 과정을 통해 그림자 왜곡의 보정을 위한 그림자샘플을 생성하고, 생성된 그림자샘플을 이용하여 보정대상범위를 선정한 후에, 보정대상범위에 대한 화소정보에 따라 그림자왜곡보정영상(즉, 보정 위성영상데이터)을 생성할 수 있다.
다음에, 지도제작장치(30)에서는 드론영상데이터 및 위성영상데이터를 이용하여 지도제작영역에 대한 영상 정합을 수행할 수 있다(단계130).
상기 단계(130)에서 지도제작장치(30)는 드론영상데이터에서 복수의 제 1 지상기준점을 검출하고, 위성영상데이터에서 복수의 제 2 지상기준점을 검출한 후에, 복수의 제 1 지상기준점 및 복수의 제 2 지상기준점을 이용하여 영상 정합을 수행할 수 있다.
여기에서, 복수의 제 1 지상기준점은 드론영상데이터를 서브 샘플링하여 제 1 서브샘플링영상을 획득한 후에, 상기 제 1 서브샘플링영상에서 크기변화, 회전 및 이동에 불변하는 특징점을 검출하는 방식으로 각각 검출될 수 있는데, 특징점의 검출, 객체영상의 검출 등과 같은 검출 과정의 처리속도를 향상시키기 위해서 원래의 드론영상데이터를 압축하여 크기를 감소시키기 위한 서브 샘플링을 수행할 수 있다.
예를 들면, RGB 색공간의 드론영상데이터는 쌍선형 보간법, 쌍입방 보간법 등으로 서브 샘플링됨으로써, 특징점의 검출, 객체영상의 검출 등과 같은 검출 과정을 수행하기 위한 제 1 서브샘플링영상을 획득할 수 있다.
이러한 제 1 서브샘플링영상을 이용할 경우 검출될 수 있는 특징점의 수를 감소시켜 특징점의 검출, 객체영상의 검출 등의 영상 정합 속도를 향상시킬 수 있다.
그리고, 제 1 서브샘플링영상에서 크기변화, 회전 및 이동에 불변하는 복수의 제 1 특징점을 검출할 수 있는데, 아래의 수학식 11에 나타낸 바와 같은 헤시안 행렬(Hessian matrix)을 이용하여 복수의 제 1 특징점을 검출할 수 있다.
Figure pat00011
상기 수학식 1은 영상의 각 점
Figure pat00012
에서 스케일(scale) σ에서의 헤시안 행렬을 의미하며,
Figure pat00013
는 영상의 각 점에서 가우스 2차 미분
Figure pat00014
과 영상과의 컨벌루션(convolution)이고,
Figure pat00015
과
Figure pat00016
도 유사하게 동작할 수 있다.
그리고, 2차 가우스 미분은 도 7에 도시한 바와 같이 공간필터(즉, y방향과 xy방향의 가우스 2차 편미분 필터)로 나타낼 수 있으며, 고속 처리를 위해 도 8에 도시한 바와 같이 근사화(즉, 단순화)하여 적분영상을 이용하여 계산할 수 있다.
상술한 바와 같은 헤시안 행렬의 결정자는 다음의 수학식 12와 같이 산출될 수 있으며, 산출된 값을 기 설정된 임계값과 비교한 후, 산출된 값이 기 설정된 임계값을 초과할 경우 특징점 후보로 검출할 수 있다.
Figure pat00017
그리고, 추출된 특징점 후보들은 특징벡터로 표현될 수 있는데, 특징서술자인 SIFT(scale invariant feature transform)를 이용하여 특징점 후보들을 각각 특징벡터로 표현할 수 있다.
즉, 도 9에 도시한 바와 같이 특징점 주변에 대해 영상의 기울기(gradient)의 크기와 방향을 구할 수 있고, 방향 불변 특징을 획득하기 위해 서술자의 좌표와 기울기 방향들은 특징점의 방향에 대해 상대적인 회전을 구할 수 있으며, 이들을 4개의 영역으로 구분한 후 방향 히스토그램에 따라 누적시켜 방향 히스토그램을 구할 수 있다.
상술한 바와 같은 과정을 통해 복수의 제 1 특징점(즉, 복수의 제 1 지상기준점)을 검출할 수 있다.
한편, 복수의 제 2 지상기준점은 위성영상데이터를 서브 샘플링하여 제 2 서브샘플링영상을 획득한 후에, 제 2 서브샘플링영상에서 크기변화, 회전 및 이동에 불변하는 특징점을 검출하는 방식으로 각각 검출될 수 있는데, 이러한 구체적인 과정은 복수의 제 1 지상기준점의 검출 과정과 유사하므로 그 구체적인 설명은 생략하기로 한다.
상술한 바와 같이 검출된 복수의 제 1 지상기준점과 복수의 제 2 지상기준점을 이용하여 드론영상데이터와 위성영상데이터에 대한 영상 정합을 수행할 수 있는데, 복수의 제 1 지상기준점과 복수의 제 2 지상기준점에 대응하는 각 특징벡터들의 유클리드 거리가 최소인 정합포인트를 결정하고, 복수의 제 1 지상기준점과 복수의 제 2 지상기준점의 정합을 통해 영상 정합을 수행할 수 있다.
여기에서, 복수의 제 1 지상기준점에 대응하는 각 특징벡터들과 복수의 제 2 지상기준점에 대응하는 각 특징벡터들의 유클리드 거리가 최소인 특징점은 최인접특징점(nearest neighbor)을 의미하며, 복수의 제 1 지상기준점 및 복수의 제 2 지상기준점을 서로 비교하여 서로 대응되는 최인접특징점들을 검출할 수 있다.
상술한 바와 같이 검출된 최인접특징점들을 이용하여 복수의 제 1 지상기준점 및 복수의 제 2 지상기준점의 정합과 함께 드론영상데이터 및 위성영상데이터의 영상 정합을 수행할 수 있다.
한편, 상기 단계(130)에서는 복수의 제 1 지상기준점 및 복수의 제 2 지상기준점을 특징점 강도에 따라 필터링할 수 있는데, 복수의 제 1 특징점과 복수의 제 2 특징점의 정합에서 특징점들의 수가 많으면 많을수록 특징점들의 정합에 소요되는 처리시간이 증가하기 때문에, 특징점 강도를 산출하여 강도가 기 설정된 기준값 보다 낮은 경우 필터링하여 제거할 수 있다.
다음에, 지도제작장치(30)에서는 영상 정합을 통해 수득된 정합영상의 모델링을 통해 정사영상을 구축하여 현재시점의 3차원 지도를 제작할 수 있다(단계140).
상기 단계(140)에서는 정합영상이 포인트 클라우드 형태 또는 메시 형태로 모델링될 수 있는데, 포인트 클라우드 형태로 모델링되는 경우 수치표면모델(DSM : digital surface model), 수치표고모델(DEM : digital elevation model) 및 수치지형모델(DTM : digital terrain model) 중에서 선택된 적어도 하나를 이용하여 모델링될 수 있다.
여기에서, 수치표면모델(DSM)은 수목, 건물 등의 인공지물을 모두 포함하는 지표면 정보로서, 항공 LiDAR(light detection and ranging) 시스템을 이용하여 변하는 표고(elevation)값으로 채워진 포인트 클라우드(point cloud)의 집합체를 도출할 수 있다. 여기에서, 건물 지붕, 수목 상부, 전력선 및 다른 형상 표고도 포함할 있다.
그리고, 수치표고모델(DEM)은 수목 등과 같은 자연지물과 건물 등의 인공지물을 포함하지 않는 지표면 자료로서, 아무것도 안 덮인 지표면의 표면을 X, Y의 함수로 표현한 것으로, 지형을 일정한 크기의 격자로 나누어 표고갑을 격자형으로 표현한 래스터 방식(raster)과, 불규칙삼각망으로 나누어 지표면을 표현한 TIN(triangular irregular network) 방식이 있는데, 다리와 도로 같은 지표면이 아닌 점들을 제거하여 부드러운 수치표고모델을 획득할 수 있다.
또한, 수치지형모델(DTM)은 정당한 밀도로 분포하는 지점들의 위치 및 표고의 수치 정보로서, 아무것도 안 덮인 지표지형의 선형특징(linear features)을 포함하며, 스테레오 사진 측량을 통해 획득할 수 있고, 일정 간격의 점분포와 등고선으로부터 보간법을 통해 수치표고모델을 도출할 수 있다.
한편, 정합영상이 메시 형태로 모델링될 경우 정합영상의 이미지로부터 깊이 정보를 계산하고, 계산된 깊이 정보를 기초로 지도제작영역의 메시(mesh) 이미지를 형성할 수 있으며, 드론영상데이터를 기초로 생성된 텍스처를 영상좌표에 따라 재배열하여 지도제작영역의 메시 이미지에 매핑시키는 방식으로 정사영상을 구축할 수 있다.
그리고, 상기 단계(140)에서는 정합영상을 모델링한 후에, 고도차이에 따른 편위를 보정하고, 영상 좌표에 따라 영상재배열을 수행할 수 있다.
예를 들면, 정합영상에 대한 전처리를 수행하여 건물과 순수지표면을 분류하고, 분류된 건물포인트를 이용하여 3차원 건물벡터를 추출하여 수치건물모델(DBM : digital building model)을 생성하고, 순수지표면을 이용하여 1*1 격자의 수치표고모델(DEM)을 생성한 후에, 병합하여 정합영상에 대한 지도제작영역의 수치표면모델(DSM)을 도 10에 도시한 바와 같이 생성할 수 있다.
그리고, 생성된 수치표면모델(DSM)에 대한 고도차이에 따른 편위 보정, 영상재배열 등의 기하학적인 보정을 수행할 수 있는데, 대상물의 높이에 따라 발생되는 기복변위를 보정하는 수치미분편위수정은 직접법과 간접법이 있으며, 간접법의 경우 영상의 광선이 수치지형모델상에 재투영되는 영상재배열 과정을 통해 수행되기 때문에 영상재배열 보간법 및 화소 간격에 따라 수치표면모델(DSM)을 보정하여 정사영상을 구축할 수 있다.
여기에서, 영상재배열 보간법은 공일차보간법 등을 이용하여 영상재배열 화소 간격을 2화소 간격 또는 4화소 간격으로 정사영상을 생성할 수 있다.
상술한 바와 같이 대상물의 높이에 따라 발생하는 기복변위를 보정하는 편위수정과정은 지형모델 정확도와 영상재배열 보간법 및 화소 간격에 따라 좌우되는데, 정사영상의 수평위치오차는 보간법보다 화소 간격에 영향이 크게 나타날 수 있고, 영상재배열은 수치미분편위수정을 통해 보정된 화소의 위치를 재배열함으로써, 정사영상을 구축할 수 있다.
다음에, 상기 단계(140)에서는 영상재배열을 수행한 후에, 폐색영역(이중잔상영역, occlusion area)을 검출하여 보정할 수 있다.
예를 들면, 정사영상을 생성하기 위한 수치미분편위수정 과정에서 기복변위에 의해 왜곡된 구조물의 영상이 나타나는 이중 도면화 영역을 폐색영역이라고 하는데, 도 11에 도시한 바와 같이 영상은 투영중심으로 획득되기 때문에, 지형에 경사와 기복이 있고, 주점에서 거리가 멀어질수록 대상물의 비고가 높을수록 폐색영역의 범위가 커지게 되는 특성이 있기 때문에, 폐색영역 검출 및 보정 등의 방사학적 보정을 수행할 수 있다.
여기에서, 폐색영역은 태양에 의한 어떤 물체의 그림자영역으로 어떤 시점에서는 보이지 않은 영역으로 정의할 수 있고, 건물의 폐색영역은 점 P0, P1, P2, P3, P4, P'0, P'1, P'2, P'3, P'4로 이루어진 영역이며, P'i는 기복변위와 투영중심을 이용하여 계산할 수 있다.
즉, 수치표면모델(DSM)으로 건물의 각 꼭지점인 P0, P1, P2, P3, P4와 투영중심을 잇는 직선방정식을 구성하고, 직선의 기울기가 최대 및 최소가 되는 꼭지점을 결정하여 꼭지점의 시작점과 끝점을 결정할 수 있는데, 각 꼭지점의 기복변위량을 계산하고, 기복변위량에 따라 새로운 꼭지점인 P'0, P'1, P'2, P'3, P'4를 결정한 후에, 건물의 각 꼭지점인 P0, P1, P2, P3, P4와 새로운 꼭지점인 P'0, P'1, P'2, P'3, P'4를 서로 각각 연결하여 폴리곤을 형성함으로써, 편위수정된 정사사진영상에서 폐색영역을 설정(검출)할 수 있다.
상술한 바와 같이 폐색영역이 검출될 경우 해당 영역에 대한 보정을 수행할 수 있는데, 검출된 폐색영역의 화소 밝기값 또는 칼라값을 조정하여 단색으로 표현하는 기법, 검출된 폐색영역의 영역만큼의 영상을 인접하는 정사영상으로부터 절취하여 원영상에 접합하는 기법 등을 이용하여 폐색영역을 보정할 수 있으며, 이에 따라 정사영상을 획득할 수 있다.
상술한 바와 같은 고도차이에 따른 편위 보정, 영상 좌표에 따른 재배열, 폐색영역 검출 및 보정 등은 필요에 따라 선택하여 수행하거나, 혹은 전체 과정을 모두 수행할 수 있음은 물론이다.
다음에, 상기 단계(140)에서는 정사영상에서 인접영상을 결합하되, 접합선을 생성하고, 생성된 접합선을 이용하여 정사영상을 재단 및 접합할 수 있는데, 인접하는 정사영상을 결합하여 하나의 큰 정사영상을 제작할 수 있고, 이를 이용하여 3차원 지도 제작을 수행할 수 있다. 여기에서, 인접하는 정사영상을 결합하는 과정에서 접합경계에 인접영상 간의 밝기값 및 칼라값, 지형지물의 영향 등으로 이질감이 존재할 수 있는데, 이에 대한 보정을 수행해야만 한다.
예를 들면, 먼저 정사영상의 칼라 명도를 밸런싱(balancing)하기 위한 방사적 영상 처리 작업인 도징(dodging) 처리를 수행한 후에, 각 정사영상에 대한 접합선을 생성할 수 있다. 이러한 접합선 생성은 소규모 지역, 대규모 지역, 고해상도 영상, 저해상도 영상 등의 조건에 따라 영상 매칭 기법을 이용한 자동 생성과 수동 생성을 포함할 수 있다.
그리고, 정사영상의 칼라매칭을 수행할 수 있는데, 큰 정사영상을 생성하기 위해 기준 정사영상으로부터 인접 정사영상에 대한 화소의 밝기값 및 칼라값을 조정을 수행할 수 있다. 예를 들어, 접합선의 생성 전에 상술한 바와 같은 도징 처리를 수행하고, 접합선을 이용하여 정사영상을 재단 및 접합할 경우 기준 정사영상과 인접된 정사영상의 색조를 조정하는 톤매칭(tone matching) 처리를 수행할 수 있다.
예를 들면, 각각의 정사사진에 대한 접합선을 각각 생성하고, 인접 정사영상에서 불일치하는 도로, 철도, 하천, 능선 등을 일치시키는 접합선 처리를 수행한 후에, 기준 정사영상으로부터 인접 정사영상에 대한 화소의 밝기값(칼라값)을 조정하여 복수의 정사영상이 접합된 큰 정사영상을 획득할 수 있으며, 이러한 과정을 통해 수치표면모델(DSM)에 대응하는 정사영상을 도 12에 도시한 바와 같이 구축할 수 있다.
다음에, 지도제작장치(30)에서는 기 저장된 이전시점의 3차원 지도를 추출할 수 있다(단계150).
상기 단계(150)에서 지도제작장치(30)는 내부저장장치(예를 들면, 하드디스크 등)에 저장된 이전시점의 3차원 지도를 추출할 수 있는데, 이전시점의 3차원 지도는 상술한 바와 같은 단계110 내지 단계140에 따라 이전시점에 제작된 3차원 지도를 포함할 수 있다.
여기에서, 이전시점의 3차원 지도는 현재시점에서 바로 전에 제작된 하나의 3차원 지도를 사용할 수 있으며, 적어도 2개 이상의 이전시점 3차원 지도를 사용할 수도 있고, 현재시점에서 기 설정된 기간(예를 들면, 1년 전까지 등)의 이전시점 3차원 지도를 사용할 수 있다.
상술한 바와 같은 이전시점의 3차원 지도와 관련된 데이터는 내부저장장치에 저장된 것으로 하여 설명하였지만, 별도의 지도데이터서버에서 데이터베이스화하여 저장 및 관리될 수 있으며, 지도제작장치(30)에서 지도데이터서버에 접속하여 이전시점의 3차원 지도를 다운받아 사용할 수 있음은 물론이다.
다음에, 지도제작장치(30)에서는 인공신경망을 이용하여 추출된 이전시점의 3차원 지도와 현재시점의 3차원 지도를 비교하여 변경객체를 검출할 수 있다(단계160).
상기 단계(160)에서는 인경신경망으로 CNN(convolutional neural network) 계열을 이용하여 수행될 수 있는데, 예를 들면, R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN 등을 포함할 수 있다.
여기에서, 인공신경망은 완전결합층(FCL : fully connected layer)으로 구성되어 1차원 형태의 데이터를 입력할 수 있는데, 영상은 픽셀의 위치정보와 픽셀에 저장된 밝기값으로 이루어진 3차원 배열이기 때문에, 영상을 완전결합층(FCL)에 입력시키기 위해 1차원으로 변환해야만 한다.
이 경우 공간정보가 손상되어 영상으로부터 위치를 보존하면서 특징점을 추출할 수 없기 때문에 학습이 비효율적이고, 이러한 문제점을 해결하기 위해 영상의 공간적 특성을 유지한 상태에서 학습할 수 있는 CNN 계열의 인공신경망을 사용할 수 있다.
이러한 CNN 계열 중에서 R-CNN은 영상으로부터 객체를 탐지하고, 객체들을 종류(또는 특성)별로 분류하며, 객체들의 위치(또는 영역)을 결정하는 모델로서, 신경망 학습에 의해 수행되는 객체 탐지는 슬라이딩 윈도우(sliding window) 방식, 리전 프로포설(region proposal) 방식 등을 포함할 수 있다.
여기에서, 슬라이딩 윈도우 방식은 객체가 존재할 수 있는 모든 크기의 탐색 영역(search window)을 설정하고, 모든 픽셀에 대한 분류를 수행하는 방식으로, 탐색해야할 영역의 수가 많아 연산시간이 많이 소요되는 문제점이 있으며, 이를 해결하기 위해 제안된 리전 프로포설 방식은 모든 픽셀에 대해 탐색하지 않고, 객체가 존재할 가능성이 높은 영역에 대해 탐색하는 방식으로 성능과 속도를 향상시킬 수 있다.
그리고, 객체가 존재할 가능성이 있는 영역을 결정하기 위해 리전 프로포설 방식을 적용할 경우 객체가 존재하는 영역에 사각형을 형성하고, 이러한 영역을 탐지하기 위한 선택적 탐색 알고리즘(selective search algorism)을 적용할 수 있다.
이러한 선택적 탐색 알고리즘은 영상의 색조 및 밝기값을 포함하는 특징이 유사한 인접 픽셀들을 그룹핑하는 방식으로, 이 선택적 탐색 알고리즘의 결과를 CNN 모델에 입력할 수 있고, 객체가 존재하는 영역을 나타내는 바운딩박스(bounding box)의 위치 정확도를 향상시키기 위해 선형회귀를 수행할 수 있다.
다음에, Fast R-CNN은 R-CNN의 학습속도를 향상시키는 모델로, 복잡하고 많은 시간이 소요되는 학습과 검증과정을 통합하여 속도와 정확도를 향상시킬 수 있는데, R-CNN에서 객체가 존재하는 영역인 모든 바운딩박스를 모델에 입력하고 분류해야하는 학습의 비효율성을 해결할 수 있다.
여기에서, 서로 근접한 위치의 객체들에 형성된 바운딩박스들은 겹쳐질 수 있는데, 중복된 바운딩박스들을 개별적으로 학습시키지 않고, ROIPool(region of interest pooling) 기법을 도입하여 바운딩박스 정보를 모델에 입력하여 생성된 특성맵으로부터 해당 영역을 추출하여 풀링하는 방식으로 수행될 수 있다.
따라서, Fast R-CNN은 CNN, 분류기(classifier)와 바운딩박스 회귀자(bounding box regressor)를 단일 네트워크로 구성한 통학 학습 체계로서, 바운딩박스를 모델에 입력하는 R-CNN보다 학습에 소요되는 시간을 단축할 수 있는 장점이 있고, 최종 출력층에 다음의 수학식 13에 나타낸 softmax 함수를 배치하여 영상을 분류하는데 사용할 수 있다.
Figure pat00018
이러한 softmax 함수는 지수함수를 이용하여 입력값들을 정규화하여 출력할 수 있는데, 입력된 값을 0과 1 사이의 값으로 변환(즉, 정규화)하고, 출력값들의 합이 1이 되도록 한다.
다음에, Faster R-CNN은 Fast R-CNN의 속도를 향상시키기 위한 모델로서, 많은 시간이 소요되는 바운딩박스 생성 방식을 개선하여 RPN(region proposal network)를 모델 내부에 통합하여 속도를 더욱 향상시킴으로써, 실시간에 근접한 객체 탐지를 수행할 수 있다.
여기에서, RPN의 역할은 입력영상에서 사각형의 객체의 존재를 표시하는 바운딩박스의 위치와 객체 존재에 대한 순위를 부여하여 어떤 영역이 객체가 존재할 확률이 높은지 결정할 수 있는데, RPN은 슬라이딩 윈도우를 설정하여 탐색 영역을 이동시키면서 객체가 존재할 가능성이 높은 위치, 즉 바운딩박스가 생성된 후보 지역에 앵커박스(anchor box)를 생성할 수 있다.
따라서, Faster R-CNN은 영상 또는 특성맵에 대해 피라미드를 생성할 필요가 없으며, 필터의 크기도 변경하지 않아도 되기 때문에, 효율적으로 객체를 탐지할 수 있는데, 예를 들어 도 13에 도시한 바와 같이 3가지 크기(즉, 128*128, 256*256, 512*512)와 3개의 비율(1:1, 2:1 및 1:2)의 앵커박스들을 사전에 정의하고, 총 9개의 앵커박스들을 적용하여 객체를 탐지할 수 있다.
다음에, 도 14에 도시한 바와 같이 Mask R-CNN은 분할된 영상을 마스킹(masking)하는 모델로서, 픽셀 단위 수준까지 분할하기 위해서 Faster R-CNN을 확장 개선하는 모델인데, 객체를 탐지하여 객체의 영역을 정의하는 바운딩박스의 위치뿐만 아니라 바운딩박스 내에 존재하는 객체를 픽셀 수준까지 정확하게 결정할 수 있다.
즉, Faster R-CNN에서는 각 후보 객체에 대해 클래스 라벨(class label)과 바운딩박스를 출력하지만, Mask R-CNN에서는 객체마스크(object mask)를 생성하는 과정이 추가되었는데, 객체마스크에서 출력되는 값은 클래스와 바운딩박스이며, 이를 통해 Faster R-CNN보다 정교한 객체의 윤곽을 추출할 수 있도록 한다.
따라서, Fast R-CNN와 Faster R-CNN에서는 수행하자 못했던 픽셀 단위까지 조정이 가능하고, 이를 위해 Mask R-CNN에서는 각각의 픽셀이 객체에 해당하는지를 판단하는 바이너리마스크(binary mask)를 생성하는 과정이 추가되었으며, 픽셀의 정확한 위치를 추출하기 위해서 ROIAlign(region of interest align) 기법을 이용할 수 있다.
여기에서, ROIAlign은 Fast R-CNN의 ROIPool 기법을 개선하여 영역의 위치에 발생하는 오차를 2D 선형보간법을 적용하여 감소시킬 수 있다.
상술한 바와 같이 이전시점의 3차원 지도와 현재시점의 3차원 지도를 비교하여 변경객체를 검출하는 과정에서 CNN 계열의 인공신경망(예를 들면, R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN 등)을 이용하여 학습을 통해 정확하고 효과적으로 이전시점에서 변경된 현재시점의 변경객체를 탐지 및 검출할 수 있다.
상술한 바와 같은 CNN 계열의 인공신경망을 이용하여 검출되는 변경객체는 예를 들면, 도로, 건물, 교량, 학교, 아파트, 주택, 상업건물 등 다양한 건축물들을 모두 포함할 수 있으며, 홍수, 가뭄, 산불, 지진, 산사태 등과 같은 재난재해로 인한 다양한 변경형상(예를 들면, 강줄기형상, 저수형상, 산림형상, 산기슭형상 등)을 포함할 수도 있다.
다음에, 검출된 변경객체에 대응하는 시계열정보를 생성하여 현재시점의 3차원 지도에 반영할 수 있다(단계170).
상기 단계(170)에서는, 변경객체에 대응하는 객체명, 이전객체명, 변경날짜 및 버전날짜를 포함하고, 주소, 층수, 용도 및 공시지가 중에서 선택된 적어도 하나를 더 포함하여 시계열정보를 생성하고, 변경객체에 대한 팝업창 방식으로 현재시점의 3차원 지도에 반영할 수 있다.
예를 들면, 시계열정보는 변경객체에 대응하여 **아파트, **빌딩 등과 같은 객체명, 2020.12.01. 등과 같은 변경날짜, VER.2108 등과 같은 버전날짜를 포함할 수 있으며, 추가적으로 이전객체명, 주소, 층수, 용도 및 공시지가 중에서 선택된 적어도 하나를 더 포함하여 시계열정보를 생성할 수 있으며, 이들은 테이블화되어 팝업창 방식으로 표시하도록 해당 변경객체에 연동되도록 함으로써, 해당 변경객체를 클릭하거나, 혹은 변경객체의 상부에 커서가 위치하는 경우, 혹은 먼저 시계열정보가 있음을 나타내는 표시(예를 들면, 빨간색 표시 등)를 한 후 해당 변경객체를 클릭할 경우 팝업창이 디스플레이되는 방식으로 시계열정보를 제공할 수 있다.
또한, 시계열정보는 테이블화된 변경객체의 정보뿐만 아니라 홍수, 가뭄, 산불, 지진, 산사태 등과 같은 재난재해로 인한 다양한 변경형상(예를 들면, 강줄기형상, 저수형상, 산림형상, 산기슭형상 등)에 대응하는 이전시점의 형상(예를 들면, 빨간색 라인 등)과 현재시점의 형상(예를 들면, 파란색 라인 등)을 함께 표시할 수 있다.
상술한 바와 같은 시계열정보를 디스플레이는 디지털데이터인 경우에 한해 설명하였지만, 3차원 지도를 인쇄할 경우 시계열정보의 표시 설정을 통해 기간별(예를 들면, 6개월, 1년 등), 객체별(예를 들면, 도로, 건물, 교량, 학교, 아파트, 주택, 상업건물 등), 지역별(예를 들면, 도시, 강, 산림 등) 등에 따라 해당 시계열정보가 디스플레이된 상태로 인쇄될 수 있다.
따라서, 본 발명의 실시예에 따르면, 지도제작영역에 대한 드론영상데이터와 위성영상데이터를 수집하고, 드론영상데이터 및 위성영상데이터를 이용하여 지도제작영역에 대한 영상 정합을 수행하고, 정합영상의 모델링을 통해 정사영상을 구축하여 현재시점의 3차원 지도를 제작한 후에, 인공신경망을 이용하여 기 저장된 이전시점의 3차원 지도와 현재시점의 3차원 지도를 비교하여 변경된 시계열정보를 검출하며, 검출된 시계열정보를 현재시점의 3차원 지도에 반영하여 제공함으로써, 원하는 지역의 이전시점에서 변경된 시계열정보를 정확하게 표현할 수 있을 뿐만 아니라 시계열정보를 포함하는 3차원 지형 정보를 효과적으로 획득할 수 있다.
이상의 설명에서는 본 발명의 다양한 실시예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다.
10 : 드론
20 : 위성영상수집장치
30 : 지도제작장치

Claims (8)

  1. 드론을 이용하여 지도제작영역이 촬영된 드론영상데이터를 수집하는 단계;
    상기 지도제작영역이 촬영된 위성영상데이터를 수집하는 단계;
    상기 드론영상데이터 및 위성영상데이터를 이용하여 상기 지도제작영역에 대한 영상 정합을 수행하는 단계;
    상기 영상 정합을 통해 수득된 정합영상의 모델링을 통해 정사영상을 구축하여 현재시점의 3차원 지도를 제작하는 단계;
    기 저장된 이전시점의 3차원 지도를 추출하는 단계;
    인공신경망을 이용하여 상기 추출된 이전시점의 3차원 지도와 상기 현재시점의 3차원 지도를 비교하여 변경객체를 검출하는 단계; 및
    상기 검출된 변경객체에 대응하는 시계열정보를 생성하여 상기 현재시점의 3차원 지도에 반영하는 단계;를 포함하는 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법.
  2. 청구항 1에 있어서,
    상기 변경객체를 검출하는 단계는, 상기 인경신경망으로 CNN(convolutional neural network) 계열을 이용하여 수행되는 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법.
  3. 청구항 2에 있어서,
    상기 현재시점의 3차원 지도에 반영하는 단계는, 상기 변경객체에 대응하는 객체명, 이전객체명, 변경날짜 및 버전날짜를 포함하여 상기 시계열정보를 생성하고, 상기 변경객체에 대한 팝업창 방식으로 상기 현재시점의 3차원 지도에 반영하는 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법.
  4. 청구항 3에 있어서,
    상기 영상 정합을 수행하는 단계는, 상기 드론영상데이터에서 복수의 제 1 지상기준점을 검출하고, 상기 위성영상데이터에서 복수의 제 2 지상기준점을 검출한 후에, 상기 복수의 제 1 지상기준점 및 복수의 제 2 지상기준점을 이용하여 상기 영상 정합을 수행하는 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법.
  5. 청구항 4에 있어서,
    상기 복수의 제 1 지상기준점은, 상기 드론영상데이터를 서브 샘플링하여 제 1 서브샘플링영상을 획득한 후에, 상기 제 1 서브샘플링영상에서 크기변화, 회전 및 이동에 불변하는 특징점을 검출하는 방식으로 각각 검출되는 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법.
  6. 청구항 5에 있어서,
    상기 복수의 제 2 지상기준점은, 상기 위성영상데이터를 서브 샘플링하여 제 2 서브샘플링영상을 획득한 후에, 상기 제 2 서브샘플링영상에서 크기변화, 회전 및 이동에 불변하는 특징점을 검출하는 방식으로 각각 검출되는 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법.
  7. 청구항 1 내지 청구항 6 중 어느 한 항에 있어서,
    상기 3차원 지도를 제작하는 단계는, 상기 정합영상이 포인트 클라우드 형태 또는 메시 형태로 모델링되는 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법.
  8. 청구항 7에 있어서,
    상기 3차원 지도를 제작하는 단계는, 상기 포인트 클라우드 형태로 모델링되는 경우 수치표면모델(DSM : digital surface model), 수치표고모델(DEM : digital elevation model) 및 수치지형모델(DTM : digital terrain model) 중에서 선택된 적어도 하나를 이용하여 모델링되는 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법.
KR1020210109406A 2021-08-18 2021-08-18 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법 KR102587445B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210109406A KR102587445B1 (ko) 2021-08-18 2021-08-18 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210109406A KR102587445B1 (ko) 2021-08-18 2021-08-18 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법

Publications (2)

Publication Number Publication Date
KR20230026916A true KR20230026916A (ko) 2023-02-27
KR102587445B1 KR102587445B1 (ko) 2023-10-10

Family

ID=85329300

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210109406A KR102587445B1 (ko) 2021-08-18 2021-08-18 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법

Country Status (1)

Country Link
KR (1) KR102587445B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197361A (zh) * 2023-11-06 2023-12-08 四川省地质调查研究院测绘地理信息中心 实景三维数据库构建方法、电子设备和计算机可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002157576A (ja) * 2000-11-22 2002-05-31 Nec Corp ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体
KR20090064679A (ko) * 2007-12-17 2009-06-22 한국전자통신연구원 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치
KR20110082903A (ko) 2010-01-12 2011-07-20 (주) 충청에스엔지 항공사진의 정사보정 및 최적화된 정사영상 제작 방법
US20170076438A1 (en) * 2015-08-31 2017-03-16 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
KR20190057885A (ko) * 2017-11-21 2019-05-29 한국전자통신연구원 3차원 복원 지형 정합 방법 및 그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002157576A (ja) * 2000-11-22 2002-05-31 Nec Corp ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体
KR20090064679A (ko) * 2007-12-17 2009-06-22 한국전자통신연구원 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치
KR20110082903A (ko) 2010-01-12 2011-07-20 (주) 충청에스엔지 항공사진의 정사보정 및 최적화된 정사영상 제작 방법
US20170076438A1 (en) * 2015-08-31 2017-03-16 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
KR20190057885A (ko) * 2017-11-21 2019-05-29 한국전자통신연구원 3차원 복원 지형 정합 방법 및 그 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Ahmed, et al., A Deep CNN-Based Framework For Enhanced Aerial Imagery Registration with Applications to UAV Geolocalization, IEEE Conference on CVPR 2018 workshop(2018)* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197361A (zh) * 2023-11-06 2023-12-08 四川省地质调查研究院测绘地理信息中心 实景三维数据库构建方法、电子设备和计算机可读介质
CN117197361B (zh) * 2023-11-06 2024-01-26 四川省地质调查研究院测绘地理信息中心 实景三维数据库构建方法、电子设备和计算机可读介质

Also Published As

Publication number Publication date
KR102587445B1 (ko) 2023-10-10

Similar Documents

Publication Publication Date Title
CN111599001B (zh) 基于图像三维重建技术的无人机导航地图构建系统及方法
CN107194989B (zh) 基于无人机飞机航拍的交通事故现场三维重建系统及方法
KR102557775B1 (ko) 드론을 이용한 3차원 지도 제작 방법
KR102567800B1 (ko) 드론을 이용한 3차원 지도 제작 방법
Xing et al. Multi-UAV cooperative system for search and rescue based on YOLOv5
CN110648389A (zh) 基于无人机和边缘车辆协同的城市街景3d重建方法和系统
Barazzetti et al. True-orthophoto generation from UAV images: Implementation of a combined photogrammetric and computer vision approach
CN104091369A (zh) 一种无人机遥感影像建筑物三维损毁检测方法
KR102567799B1 (ko) 드론을 이용한 3차원 지도 제작 방법
CN118857243B (zh) 一种基于倾斜摄影三维测图的空天地一体化测图方法
Zietara Creating Digital Elevation Model (DEM) based on ground points extracted from classified aerial images obtained from Unmanned Aerial Vehicle (UAV)
Cilek et al. Generation of high-resolution 3-D maps for landscape planning and design using UAV technologies
Axelsson et al. Roof type classification using deep convolutional neural networks on low resolution photogrammetric point clouds from aerial imagery
CN207068060U (zh) 基于无人机飞机航拍的交通事故现场三维重建系统
Comert et al. Rapid mapping of forested landslide from ultra-high resolution unmanned aerial vehicle data
KR102488553B1 (ko) 드론을 이용한 3차원 지도 제작 방법
KR102587445B1 (ko) 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법
MOKRANE et al. DEM generation based on UAV photogrammetry
Ahmed et al. High-quality building information models (BIMs) using geospatial datasets
Zhu A pipeline of 3D scene reconstruction from point clouds
Wang et al. Grid algorithm for large-scale topographic oblique photogrammetry precision enhancement in vegetation coverage areas
Ahmed et al. Delineating planner surfaces from correlation-based DEMS
Radford Best Practices when Using Multi-Rotor Consumer UAVs for Photogrammetric Mapping: Limitations and Possible Solutions
Martínez-Carranza et al. An Open-Source-Based Software to Capture Aerial Images and Video Using Drones
Djenaliev et al. Unmanned Aerial Systems for Building Footprint Extraction in Urban Area.

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20210818

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230424

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20231004

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20231005

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20231005

End annual number: 3

Start annual number: 1

PG1601 Publication of registration