KR20220169342A - 드론을 이용한 3차원 지도 제작 방법 - Google Patents
드론을 이용한 3차원 지도 제작 방법 Download PDFInfo
- Publication number
- KR20220169342A KR20220169342A KR1020210079975A KR20210079975A KR20220169342A KR 20220169342 A KR20220169342 A KR 20220169342A KR 1020210079975 A KR1020210079975 A KR 1020210079975A KR 20210079975 A KR20210079975 A KR 20210079975A KR 20220169342 A KR20220169342 A KR 20220169342A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- drone
- map
- neural network
- image data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000013507 mapping Methods 0.000 title claims abstract description 19
- 238000004519 manufacturing process Methods 0.000 claims abstract description 44
- 238000013528 artificial neural network Methods 0.000 claims abstract description 41
- 238000013527 convolutional neural network Methods 0.000 claims description 57
- 230000008859 change Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 27
- 238000001514 detection method Methods 0.000 description 13
- 239000013598 vector Substances 0.000 description 12
- 238000012937 correction Methods 0.000 description 10
- 230000008707 rearrangement Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000010845 search algorithm Methods 0.000 description 3
- 206010047571 Visual impairment Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000009430 construction management Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
- G09B29/003—Maps
- G09B29/004—Map manufacture or repair; Tear or ink or water resistant maps; Long-life maps
-
- B64C2201/127—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Geometry (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 드론을 이용한 3차원 지도 제작 방법에 관한 것으로, 드론을 이용하여 지도제작영역이 촬영된 드론영상데이터를 수집하는 단계; 상기 지도제작영역이 촬영된 위성영상데이터를 수집하는 단계; 상기 드론영상데이터에서 인공신경망을 이용하여 복수의 제 1 지상기준점을 결정하는 단계; 상기 위성영상데이터에서 상기 인공신경망을 이용하여 제 2 지상기준점을 결정하는 단계; 상기 제 1 지상기준점 및 제 2 지상기준점을 이용하여 상기 지도제작영역에 대한 영상 정합을 수행하는 단계; 및 상기 영상 정합을 통해 수득된 정합영상의 모델링을 통해 정사영상을 구축하여 3차원 지도를 제작하는 단계;를 포함함으로써, 원하는 지역의 실제 상황을 정확하게 표현할 수 있을 뿐만 아니라 3차원 지형 정보를 효과적으로 획득할 수 있다.
Description
본 발명은 드론을 이용한 3차원 지도 제작 방법에 관한 것으로, 구체적으로, 지도제작영역에 대한 드론영상데이터와 위성영상데이터를 수집하고, 인공신경망을 이용하여 드론영상데이터 및 위성영상데이터에서 각각의 지상기준점을 결정한 후에, 결정된 각각의 지상기준점을 이용하여 지도제작영역에 대한 영상 정합을 수행하고, 정합영상의 모델링을 통해 정사영상을 구축하여 3차원 지도를 제작함으로써, 원하는 지역의 실제 상황을 정확하게 표현할 수 있을 뿐만 아니라 3차원 지형 정보를 효과적으로 획득할 수 있는 드론을 이용한 3차원 지도 제작 방법에 관한 것이다.
잘 알려진 바와 같이, 무인항공기(UAV : unmanned aerial vehicle)는 조종사를 태우지 않고, 공기역학적 힘에 의해 부양하여 자율적으로 또는 원격조종으로 비행을 하며, 무기 또는 일반화물을 실을 수 있는 일회용 또는 재사용할 수 있는 동력 비행체로 정의될 수 있는데, 이러한 무인항공기 체계는 드론(drone)으로 지칭되기도 한다.
상술한 바와 같은 드론 기술의 발달에 따라 드론을 이용한 다양한 기술들이 여러 형태로 연구 개발되고 있는데, 드론은 초기에 주로 군사용으로 개발되었지만, 점차 활용 분야가 확대되어 최근에는 시설물 관리, 해안 감시, 환경 감시, 대형 건축물 감시, 산불 감시, 산림 감시, 야간 무인 순찰, 무인 택배 서비스, 농약살포기, 범죄 색출, 범죄 추적, 작전 수행, 익스트림 스포츠 촬영, 지형 모델링, 구조물 모델링 등과 같은 다양한 용도로 사용되고 있으며 드라마, 예능, 관광지 촬영 등에도 사용되고 있다.
한편, 고해상도 위성영상이 촬영 및 제공되고, GIS(geographic information system) 기술의 비약적인 발달로 인하여 다양한 지형정보를 취득하여 이를 체계적으로 관리할 수 있는 여건이 조성되고 있다.
특히, 인공위성 중 IKONOS, QuickBird, SPOT, KOMSAT 등과 같은 고중해상도 광학위성을 통한 지리정보 기반 데이터인 수치지형도 제작 및 영상지도 제작과 능동적 센서를 탑재한 RADARSAT을 이용한 도시지형정보 및 재해정보를 취득하여 도시관리, 각종 건설관리, 자원관리, 환경관리 등에 활용이 급증하고 있다.
또한, 지형공간정보자료를 GIS와 연계시켜 다양한 용도의 정보체계를 구축하는 것이 필요하게 되었고, 중저해상도의 위성영상자료를 이용하여 취득된 각종 정보와 고해상 영상자료와의 통합 및 다중센서 자료들의 통합은 영상정보의 활용성을 다양화시키기 위한 다양한 연구 및 발명이 진행되고 있다.
상술한 바와 같은 드론을 이용하여 촬영된 드론촬영역상과, 위성영상자료 등을 활용하여 원하는 지역의 실제 상황을 정확하게 표현하는 수치정사영상과 3차원 지도의 제작을 위한 다양한 기법들이 연구 개발되고 있는 실정이다.
본 발명은 지도제작영역에 대한 드론영상데이터와 위성영상데이터를 수집하고, 인공신경망을 이용하여 드론영상데이터 및 위성영상데이터에서 각각의 지상기준점을 결정한 후에, 결정된 각각의 지상기준점을 이용하여 지도제작영역에 대한 영상 정합을 수행하고, 정합영상의 모델링을 통해 정사영상을 구축하여 3차원 지도를 제작함으로써, 원하는 지역의 실제 상황을 정확하게 표현할 수 있을 뿐만 아니라 3차원 지형 정보를 효과적으로 획득할 수 있는 드론을 이용한 3차원 지도 제작 방법을 제공하려는 것이다.
또한, 본 발명은 드론영상데이터 및 위성영상데이터를 서브 샘플링한 후에, 드론영상데이터에 대응하는 제 1 특징점과 위성영상데이터에 대응하는 제 2 특징점 중에 인공신경망을 이용하여 검출된 객체영상의 특징점을 비교하여 제 1 지상기준점과 제 2 지상기준점을 결정함으로써, 3차원 지형 정보를 정밀하게 표현할 수 있는 3차원 지도를 제작하기 위한 지상기준점을 효과적으로 결정할 수 있는 드론을 이용한 3차원 지도 제작 방법을 제공하려는 것이다.
본 발명의 실시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따르면, 드론을 이용하여 지도제작영역이 촬영된 드론영상데이터를 수집하는 단계; 상기 지도제작영역이 촬영된 위성영상데이터를 수집하는 단계; 상기 드론영상데이터에서 인공신경망을 이용하여 복수의 제 1 지상기준점을 결정하는 단계; 상기 위성영상데이터에서 상기 인공신경망을 이용하여 제 2 지상기준점을 결정하는 단계; 상기 제 1 지상기준점 및 제 2 지상기준점을 이용하여 상기 지도제작영역에 대한 영상 정합을 수행하는 단계; 및 상기 영상 정합을 통해 수득된 정합영상의 모델링을 통해 정사영상을 구축하여 3차원 지도를 제작하는 단계;를 포함하는 드론을 이용한 3차원 지도 제작 방법이 제공될 수 있다.
또한, 본 발명의 실시예에 따르면, 상기 제 1 지상기준점을 결정하는 단계는, 상기 드론영상데이터를 서브 샘플링하여 제 1 서브샘플링영상을 획득한 후에, 상기 제 1 서브샘플링영상에서 크기변화, 회전 및 이동에 불변하는 복수의 제 1 특징점을 검출하고, 상기 제 2 서브샘플링영상에서 상기 인공신경망을 이용하여 제 1 배경이 제거된 제 1 객체영상을 검출하며, 상기 복수의 제 1 특징점 중에서 상기 제 1 객체영상의 제 1 객체특징점에 대응하는 것으로 하여 상기 제 1 지상기준점을 결정하는 드론을 이용한 3차원 지도 제작 방법이 제공될 수 있다.
또한, 본 발명의 실시예에 따르면, 상기 제 1 객체영상은, 상기 제 1 서브샘플링영상을 중복되게 분할하여 복수의 제 1 분할영상을 획득한 후에, 상기 복수의 제 1 분할영상에서 상기 인공신경망을 이용하여 상기 제 1 배경과 제 1 객체를 각각 분할하고, 중복되게 하나의 영상으로 합성하여 검출되는 드론을 이용한 3차원 지도 제작 방법이 제공될 수 있다.
또한, 본 발명의 실시예에 따르면, 상기 제 2 지상기준점을 결정하는 단계는, 상기 위성영상데이터를 서브 샘플링하여 제 2 서브샘플링영상을 획득한 후에, 상기 제 2 서브샘플링영상에서 크기변화, 회전 및 이동에 불변하는 복수의 제 2 특징점을 검출하고, 상기 제 2 서브샘플링영상에서 상기 인공신경망을 이용하여 제 2 배경이 제거된 제 2 객체영상을 검출하며, 상기 복수의 제 2 특징점 중에서 상기 제 2 객체영상의 제 2 객체특징점에 대응하는 것으로 하여 상기 제 2 지상기준점을 결정하는 드론을 이용한 3차원 지도 제작 방법이 제공될 수 있다.
또한, 본 발명의 실시예에 따르면, 상기 제 2 객체영상은, 상기 제 2 서브샘플링영상을 중복되게 분할하여 복수의 제 2 분할영상을 획득한 후에, 상기 복수의 제 2 분할영상에서 상기 인공신경망을 이용하여 상기 제 2 배경과 제 2 객체를 각각 분할하고, 중복되게 하나의 영상으로 합성하여 검출되는 드론을 이용한 3차원 지도 제작 방법이 제공될 수 있다.
또한, 본 발명의 실시예에 따르면, 상기 인공신경망은, CNN(convolutional neural network) 계열을 포함하는 드론을 이용한 3차원 지도 제작 방법이 제공될 수 있다.
또한, 본 발명의 실시예에 따르면, 상기 3차원 지도를 제작하는 단계는, 상기 정합영상이 포인트 클라우드 형태 또는 메시 형태로 모델링되는 드론을 이용한 3차원 지도 제작 방법이 제공될 수 있다.
또한, 본 발명의 실시예에 따르면, 상기 3차원 지도를 제작하는 단계는, 상기 포인트 클라우드 형태로 모델링되는 경우 수치표면모델(DSM : digital surface model), 수치표고모델(DEM : digital elevation model) 및 수치지형모델(DTM : digital terrain model) 중에서 선택된 적어도 하나를 이용하여 모델링되는 드론을 이용한 3차원 지도 제작 방법이 제공될 수 있다.
본 발명은 지도제작영역에 대한 드론영상데이터와 위성영상데이터를 수집하고, 인공신경망을 이용하여 드론영상데이터 및 위성영상데이터에서 각각의 지상기준점을 결정한 후에, 결정된 각각의 지상기준점을 이용하여 지도제작영역에 대한 영상 정합을 수행하고, 정합영상의 모델링을 통해 정사영상을 구축하여 3차원 지도를 제작함으로써, 원하는 지역의 실제 상황을 정확하게 표현할 수 있을 뿐만 아니라 3차원 지형 정보를 효과적으로 획득할 수 있다.
또한, 본 발명은 드론영상데이터 및 위성영상데이터를 서브 샘플링한 후에, 드론영상데이터에 대응하는 제 1 특징점과 위성영상데이터에 대응하는 제 2 특징점 중에 인공신경망을 이용하여 검출된 객체영상의 특징점을 비교하여 제 1 지상기준점과 제 2 지상기준점을 결정함으로써, 3차원 지형 정보를 정밀하게 표현할 수 있는 3차원 지도를 제작하기 위한 지상기준점을 효과적으로 결정할 수 있다.
도 1은 본 발명의 실시예에 따라 드론을 이용하여 3차원 지도를 제작하는 과정을 나타낸 플로우차트이고,
도 2는 본 발명의 실시예에 따른 드론을 이용한 3차원 지도 제작 시스템을 예시한 도면이며,
도 3 내지 도 9는 본 발명의 실시예에 따라 복수의 제 1 지상기준점을 결정하는 것을 설명하기 위한 도면이고,
도 10 내지 도 12는 본 발명의 실시예에 따라 정사영상의 모델링, 보정 및 생성을 설명하기 위한 도면이며,
도 13 및 도 14는 본 발명의 실시예에 따라 CNN 계열의 인공신경망을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 드론을 이용한 3차원 지도 제작 시스템을 예시한 도면이며,
도 3 내지 도 9는 본 발명의 실시예에 따라 복수의 제 1 지상기준점을 결정하는 것을 설명하기 위한 도면이고,
도 10 내지 도 12는 본 발명의 실시예에 따라 정사영상의 모델링, 보정 및 생성을 설명하기 위한 도면이며,
도 13 및 도 14는 본 발명의 실시예에 따라 CNN 계열의 인공신경망을 설명하기 위한 도면이다.
본 발명의 실시예들에 대한 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따라 드론을 이용하여 3차원 지도를 제작하는 과정을 나타낸 플로우차트이고, 도 2는 본 발명의 실시예에 따른 드론을 이용한 3차원 지도 제작 시스템을 예시한 도면이며, 도 3 내지 도 9는 본 발명의 실시예에 따라 복수의 제 1 지상기준점을 결정하는 것을 설명하기 위한 도면이고, 도 10 내지 도 12는 본 발명의 실시예에 따라 정사영상의 모델링, 보정 및 생성을 설명하기 위한 도면이다.
도 1 내지 도 12를 참조하면, 드론(10)을 이용하여 지도제작영역이 촬영된 드론영상데이터를 수집할 수 있다(단계110).
이러한 드론영상데이터를 수집하는 단계(110)에서는 지도제작영역에서 측량된 지상기준점의 좌표에 따라 드론(10)을 비행시켜 수집할 수 있다.
예를 들면, 드론(10)은 드론 본체에 비행수단, 촬영수단, 무선통신모듈, GPS 수신기, 압력센서, 자이로센서 등을 포함하여 무선 제어에 따라 원하는 지역에 무인으로 비행하고, 그 지역을 촬영하여 드론영상데이터를 무선으로 지도제작을 위한 지도제작장치(30)로 전송할 수 있다. 이러한 지도제작장치(30)는 드론(10)의 무선제어를 수행하는 제어센터에 구비되거나, 혹은 그 제어센터를 포함하여 구비될 수 있다.
여기에서, 드론 본체에는 드론(10)의 작동 및 제어를 위한 다양한 구성부가 구비될 수 있는데, 추진모터, 프로펠러 등을 포함하는 비행수단을 이용하여 무인 비행하고자 하는 지역을 기 설정된 경로 또는 무선 제어된 경로에 따라 비행할 수 있고, 촬영수단을 이용하여 3차원 지도 제작 작업을 위한 드론영상데이터를 획득할 수 있다.
그리고, 드론(10)은 무선통신모듈을 이용하여 제어센터로부터 송출되는 좌표신호를 수신할 수 있고, GPS 수신기를 이용하여 위성영상수집장치(20)에 구비된 위성항법시스템(GPS)으로부터 GPS 신호를 수신할 수 있으며, 압력센서를 이용하여 드론 본체의 고도를 검출하기 위해 주변의 기압을 실시간 측정할 수 있고, 자이로센서를 이용하여 드론 본체의 상하 반전을 감지하기 위해 구비될 수 있다.
여기에서, 드론(10)은 위치정보와 관련된 각종 위성정보를 위성영상수집장치(20)의 위성항법시스템(GPS : global positioning system) 및 관성항법시스템(INS : inertial navigation system)을 통해 획득할 수 있다.
상술한 바와 같은 구성을 갖는 드론(10)은 지도제작영역을 무인 비행하기 위해 지상기준점을 측량하여 지상기준점의 좌표를 획득하고, 지도제작영역에서 측량된 지상기준점의 좌표에 따라 비행경로를 결정하며, 결정된 비행경로에 따라 측량된 지상기준점의 좌표를 참조하여 드론(10)을 비행시켜 해당 영역을 촬영한 후, 촬영된 드론영상데이터를 수집할 수 있다.
다음에, 위성영상수집장치(20)에서는 지도제작영역이 촬영된 위성영상데이터를 수집할 수 있다(단계120).
이러한 위성영상데이터를 수집하는 단계(120)에서는 위성영상수집장치(20)로서, 위성항법시스템(GPS) 및 관성항법시스템(INS)을 이용하여 수집할 수 있다.
예를 들면, 위성영상수집장치(20)는 위성항법시스템(GPS) 및 관성항법시스템(INS)을 포함할 수 있는데, 위성항법시스템(GPS)은 적어도 24개 이상의 GPS 위성으로 이루어지며, GPS 위성들 각각의 고유 신호와 궤도 파라미터를 이용하여 각 GPS 위성의 정밀한 위치를 산출할 수 있고, 드론(10) 또는 지도제작장치(30)에 구비된 GPS 수신기를 이용하여 산출된 GPS 위성들의 각 위치정보와 삼변측량을 통해 드론(10) 또는 지도제작장치(30)의 정확한 위치를 산출할 수 있다.
또한, 관성항법시스템(INS)은 관성센서 역할을 하는 자이로와 가속도계를 포함하여 드론(10)의 회전과 위치 이동을 계산 및 제어하여 원하는 위치로 비행하도록 도와주는 시스템으로, 위성항법시스템(GPS) 및 관성항법시스템(INS)을 통해 촬영된 고해상도 위성영상데이터를 수신 및 수집할 수 있다.
상술한 바와 같은 위성항법시스템(GPS) 및 관성항법시스템(INS)은 통합시스템으로 하여 위성영상수집장치(20)로 구축될 수 있다.
상술한 바와 같이 위성항법시스템(GPS) 및 관성항법시스템(INS)을 포함하는 위성영상수집장치(20)에서 제공되는 각종 위성정보들은 드론(10) 및 지도제작장치(30)로 제공될 수 있다.
다음에, 드론영상데이터에서 인공신경망을 이용하여 복수의 제 1 지상기준점을 결정할 수 있다(단계130).
이러한 제 1 지상기준점을 결정하는 단계(130)에서는 드론영상데이터를 서브 샘플링하여 제 1 서브샘플링영상을 획득한 후에, 제 1 서브샘플링영상에서 크기변화, 회전 및 이동에 불변하는 복수의 제 1 특징점을 검출하고, 제 2 서브샘플링영상에서 인공신경망을 이용하여 제 1 배경이 제거된 제 1 객체영상을 검출하며, 복수의 제 1 특징점 중에서 제 1 객체영상의 제 1 객체특징점에 대응하는 것으로 하여 제 1 지상기준점을 결정할 수 있다.
또한, 인공신경망(ANN : artificial neural network)은 CNN(convolutional neural network) 계열을 이용할 수 있는데, 예를 들면, R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN 등을 포함할 수 있다. 이러한 R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN 등에 대한 구체적인 설명은 후술하기로 한다.
상술한 바와 같은 제 1 지상기준점의 결정 과정에 대해 구체적으로 설명하면, 드론영상데이터를 서브 샘플링하여 제 1 서브샘플링영상을 획득할 수 있는데, 특징점의 검출, 객체영상의 검출 등과 같은 검출 과정의 처리속도를 향상시키기 위해서 원래의 드론영상데이터를 압축하여 크기를 감소시키기 위한 서브 샘플링을 수행할 수 있다.
예를 들면, RGB 색공간의 드론영상데이터는 쌍선형 보간법, 쌍입방 보간법 등으로 서브 샘플링됨으로써, 특징점의 검출, 객체영상의 검출 등과 같은 검출 과정을 수행하기 위한 제 1 서브샘플링영상을 획득할 수 있다.
이러한 제 1 서브샘플링영상을 이용할 경우 검출될 수 있는 특징점의 수를 감소시켜 특징점의 검출, 객체영상의 검출 등의 영상 정합 속도를 향상시킬 수 있다.
그리고, 제 1 서브샘플링영상에서 크기변화, 회전 및 이동에 불변하는 복수의 제 1 특징점을 검출할 수 있는데, 아래의 수학식 1에 나타낸 바와 같은 헤시안 행렬(Hessian matrix)을 이용하여 복수의 제 1 특징점을 검출할 수 있다.
상기 수학식 1은 영상의 각 점 
에서 스케일(scale) σ에서의 헤시안 행렬을 의미하며, 
는 영상의 각 점에서 가우스 2차 미분 
과 영상과의 컨벌루션(convolution)이고, 
과 
도 유사하게 동작할 수 있다.
그리고, 2차 가우스 미분은 도 3에 도시한 바와 같이 공간필터(즉, y방향과 xy방향의 가우스 2차 편미분 필터)로 나타낼 수 있으며, 고속 처리를 위해 도 4에 도시한 바와 같이 근사화(즉, 단순화)하여 적분영상을 이용하여 계산할 수 있다.
상술한 바와 같은 헤시안 행렬의 결정자는 다음의 수학식 2와 같이 산출될 수 있으며, 산출된 값을 기 설정된 임계값과 비교한 후, 산출된 값이 기 설정된 임계값을 초과할 경우 특징점 후보로 검출할 수 있다.
그리고, 추출된 특징점 후보들은 특징벡터로 표현될 수 있는데, 특징서술자인 SIFT(scale invariant feature transform)를 이용하여 특징점 후보들을 각각 특징벡터로 표현할 수 있다.
즉, 도 5에 도시한 바와 같이 특징점 주변에 대해 영상의 기울기(gradient)의 크기와 방향을 구할 수 있고, 방향 불변 특징을 획득하기 위해 서술자의 좌표와 기울기 방향들은 특징점의 방향에 대해 상대적인 회전을 구할 수 있으며, 이들을 4개의 영역으로 구분한 후 방향 히스토그램에 따라 누적시켜 방향 히스토그램을 구할 수 있다.
상술한 바와 같은 과정을 통해 복수의 제 1 특징점을 검출할 수 있다.
다음에, 제 1 서브샘플링영상에서 인공신경망을 이용하여 제 1 배경이 제거된 제 1 객체영상을 검출할 수 있는데, 예를 들면, R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN 등을 포함하는 CNN 계열의 인공신경망을 이용하여 도 6의 (a)에 도시한 바와 같은 제 1 서브샘플링영상을 도 6의 (b)에 도시한 바와 같은 이진영상으로 변환한 후에, 제 1 서브샘플링영상과의 요소곱을 통해 제 1 배경을 제거하여 도 6의 (c)에 도시한 바와 같은 제 1 객체영상을 검출할 수 있다.
여기에서, 제 1 객체영상에서의 객체는 예를 들어 건물, 도로 등을 포함하는 각종 구조물을 나타낸다.
상술한 바와 같은 제 1 객체영상은 제 1 서브샘플링영상을 중복되게 분할하여 복수의 제 1 분할영상을 획득한 후에, 복수의 제 1 분할영상에서 인공신경망을 이용하여 제 1 배경과 제 1 객체를 각각 분할하고, 중복되게 하나의 영상으로 합성하여 검출될 수 있다.
예를 들면, CNN 계열의 인공신경망을 이용하여 제 1 객체영상을 검출하기 위해 제 1 서브샘플링영상을 패치단위로 영상을 복수개로 분할하고, 분할된 복수개의 영상에서 제 1 객체와 제 1 배경을 분리하여 제 1 배경을 제거한 후에, 다시 분할된 영상을 하나로 결합시켜야 하는데, 이 경우 경계부분에서 큰 잡음이 발생하는 문제점이 발생할 수 있다.
이러한 문제점을 해결하기 위해서 도 7에 도시한 바와 같이 제 1 서브샘플링영상을 패치단위로 분할할 경우 각각의 패치가 50%씩 중복되도록 패치를 커팅(좌측 도면)하고, 제 1 배경의 제거 후에 다시 분할된 영상을 하나로 결합시키는 과정에서 각 패치를 원래의 위치에 배치한 상태에서 각 패치의 전체영역 중 중복되는 중심영역 25%만을 사용하여 다시 하나의 영상으로 결합(우측 도면)시킬 수 있다.
상술한 바와 같은 중복영역분할과 중복영역결합을 통해 분할된 각 패치의 경계부분에서의 잡음을 효과적으로 제거함으로써, 제 1 객체를 포함하는 제 1 객체영상을 효과적으로 검출할 수 있다.
그리고, 복수의 제 1 특징점 중에서 제 1 객체영상의 제 1 객체특징점에 대응하는 것으로 하여 제 1 지상기준점을 결정할 수 있는데, 제 1 배경이 제거된 제 1 객체영상에서 복수의 제 1 객체에 대응하는 제 1 객체특징점을 상술한 바와 같은 복수의 제 1 특징점의 검출 방식으로 검출한 후에, 검출된 복수의 제 1 객체특징점에 대응하는 특징벡터로 각각 서술할 수 있다.
그리고, 도 8에 도시한 바와 같이 검출된 복수의 제 1 특징점(상측)과 검출된 복수의 제 1 객체특징점(하측)에 대해 동일한 위치에서 생성된 특징벡터(keypoint descriptor)의 일치 여부를 판단하고, 일치할 경우 해당 특징점을 제 1 지상기준점으로 보존하며, 일치하지 않은 경우 제거(특징점의 필터링)할 수 있다.
상술한 바와 같은 특징점의 필터링 과정에서 제 1 객체의 내부 경계와 인접한 위치에서 검출되는 제 1 객체특징점의 경우 특징벡터로 서술하는 과정에서 그 범위가 제 1 객체의 범위를 벗어나 영상이 제거된 제 1 배경의 영역까지 포함될 수 있는데, 이 특징점은 제 1 객체에서 검출되는 제 1 객체특징점이지만, 특징벡터를 비교하는 과정에서 동일한 위치에서 검출된 제 1 특징점의 특징벡터와 일치하지 않는 문제점이 발생할 수 있다.
예를 들면, 도 9의 (a)에 도시한 바와 같이 녹색박스영역은 제 1 특징점이 있는 위치로 제 1 객체에 대응하여 검출되는 제 1 객체특징점이 존재하는 위치지만, 제 1 배경이 제거된 영역에 포함되기 때문에 필터링되어 제거될 수 있다.
이러한 문제를 해결하기 위해 제 1 객체영상에서 제 1 객체의 경계를 확장시킬 수 있도록 영상팽창을 수행할 수 있는데, 제 1 객체특징점이 제 1 객체의 경계에서 검출되는 경우까지 고려하여 특징벡터의 절반 크기만큼의 영상팽창을 수행할 수 있고, 영상팽창으로 인해 확대될 잡음을 고려하여 침식(erosion)을 먼저 적용한 후 영상팽창을 수행할 수 있다.
예를 들면, SIFT의 특징벡터의 크기가 16*16이기 때문에, 소수점 오차를 고려하여 5*5 크기만큼의 침식을 적용한 후에, 23*23 크기만큼의 영상팽창을 수행함으로써, 도 9의 (b)에 도시한 바와 같이 제 1 객체의 경계에서 검출되는 녹색박스 영역의 제 1 객체특징점도 제거되지 않고 보존될 수 있음을 확인할 수 있다.
다음에, 위성영상데이터에서 인공신경망을 이용하여 제 2 지상기준점을 결정할 수 있다(단계140).
이러한 제 2 지상기준점을 결정하는 단계(140)에서는 위성영상데이터를 서브 샘플링하여 제 2 서브샘플링영상을 획득한 후에, 제 2 서브샘플링영상에서 크기변화, 회전 및 이동에 불변하는 복수의 제 2 특징점을 검출하고, 제 2 서브샘플링영상에서 인공신경망을 이용하여 제 2 배경이 제거된 제 2 객체영상을 검출하며, 복수의 제 2 특징점 중에서 제 2 객체영상의 제 2 객체특징점에 대응하는 것으로 하여 제 2 지상기준점을 결정할 수 있다.
여기에서, 제 2 객체영상은 제 2 서브샘플링영상을 중복되게 분할하여 복수의 제 2 분할영상을 획득한 후에, 복수의 제 2 분할영상에서 인공신경망을 이용하여 제 2 배경과 제 2 객체를 각각 분할하고, 중복되게 하나의 영상으로 합성하여 검출될 수 있다.
또한, 인공신경망은 CNN(convolutional neural network) 계열을 이용할 수 있는데, 예를 들면, R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN 등을 포함할 수 있다.
상술한 바와 같은 제 2 지상기준점의 결정 과정은 상술한 바와 같은 제 1 지상기준점의 결정 과정과 유사하므로 그 구체적인 설명은 생략하기로 한다.
다음에, 제 1 지상기준점 및 제 2 지상기준점을 이용하여 지도제작영역에 대한 영상 정합을 수행할 수 있다(단계150).
이러한 영상 정합을 수행하는 단계(150)에서는 상기 130 단계에서 결정된 복수의 제 1 지상기준점과 상기 140 단계에서 결정된 복수의 제 2 지상기준점에 대응하는 각 특징벡터들의 유클리드 거리가 최소인 정합포인트를 결정할 수 있는데, 복수의 제 1 지상기준점과 복수의 제 2 지상기준점의 정합을 통해 영상 정합을 수행할 수 있다.
여기에서, 복수의 제 1 지상기준점에 대응하는 각 특징벡터들과 복수의 제 2 지상기준점에 대응하는 각 특징벡터들의 유클리드 거리가 최소인 특징점은 최인접 특징점(nearest neighbor)을 의미하며, 복수의 제 1 지상기준점 및 복수의 제 2 지상기준점을 서로 비교하여 서로 대응되는 최인접특징점들을 검출할 수 있다.
상술한 바와 같이 검출된 최인접특징점들을 이용하여 복수의 제 1 지상기준점 및 복수의 제 2 지상기준점의 정합과 함께 드론영상데이터 및 위성영상데이터의 영상 정합을 수행할 수 있다.
한편, 영상 정합을 수행하는 단계(150)에서는 복수의 제 1 지상기준점 및 복수의 제 2 지상기준점을 특징점 강도에 따라 필터링할 수 있는데, 복수의 제 1 특징점과 복수의 제 2 특징점의 정합에서 특징점들의 수가 많으면 많을수록 특징점들의 정합에 소요되는 처리시간이 증가하기 때문에, 특징점 강도를 산출하여 강도가 기 설정된 기준값보다 낮은 경우 필터링하여 제거할 수 있다.
다음에, 지도제작장치(30)에서는 영상 정합을 통해 수득된 정합영상의 모델링을 통해 정사영상을 구축하여 3차원 지도를 제작할 수 있다(단계160).
이러한 3차원 지도를 제작하는 단계(160)에서는 정합영상이 포인트 클라우드 형태 또는 메시 형태로 모델링될 수 있는데, 포인트 클라우드 형태로 모델링되는 경우 수치표면모델(DSM : digital surface model), 수치표고모델(DEM : digital elevation model) 및 수치지형모델(DTM : digital terrain model) 중에서 선택된 적어도 하나를 이용하여 모델링될 수 있다.
여기에서, 수치표면모델(DSM)은 수목, 건물 등의 인공지물을 모두 포함하는 지표면 정보로서, 항공 LiDAR(light detection and ranging) 시스템을 이용하여 변하는 표고(elevation)값으로 채워진 포인트 클라우드(point cloud)의 집합체를 도출할 수 있다. 여기에서, 건물 지붕, 수목 상부, 전력선 및 다른 형상 표고도 포함할 있다.
그리고, 수치표고모델(DEM)은 수목 등과 같은 자연지물과 건물 등의 인공지물을 포함하지 않는 지표면 자료로서, 아무것도 안 덮인 지표면의 표면을 X, Y의 함수로 표현한 것으로, 지형을 일정한 크기의 격자로 나누어 표고갑을 격자형으로 표현한 래스터 방식(raster)과, 불규칙삼각망으로 나누어 지표면을 표현한 TIN(triangular irregular network) 방식이 있는데, 다리와 도로 같은 지표면이 아닌 점들을 제거하여 부드러운 수치표고모델을 획득할 수 있다.
또한, 수치지형모델(DTM)은 정당한 밀도로 분포하는 지점들의 위치 및 표고의 수치 정보로서, 아무것도 안 덮인 지표지형의 선형특징(linear features)을 포함하며, 스테레오 사진 측량을 통해 획득할 수 있고, 일정 간격의 점분포와 등고선으로부터 보간법을 통해 수치표고모델을 도출할 수 있다.
한편, 정합영상이 메시 형태로 모델링될 경우 정합영상의 이미지로부터 깊이 정보를 계산하고, 계산된 깊이 정보를 기초로 지도제작영역의 메시(mesh) 이미지를 형성할 수 있으며, 드론영상데이터를 기초로 생성된 텍스처를 영상좌표에 따라 재배열하여 지도제작영역의 메시 이미지에 매핑시키는 방식으로 정사영상을 구축할 수 있다.
상술한 바와 같은 3차원 지도를 제작하는 단계(160)에서는 정합영상을 모델링한 후에, 고도차이에 따른 편위를 보정하고, 영상 좌표에 따라 영상재배열을 수행할 수 있다.
예를 들면, 정합영상에 대한 전처리를 수행하여 건물과 순수지표면을 분류하고, 분류된 건물포인트를 이용하여 3차원 건물벡터를 추출하여 수치건물모델(DBM : digital building model)을 생성하고, 순수지표면을 이용하여 1*1 격자의 수치표고모델(DEM)을 생성한 후에, 병합하여 정합영상에 대한 지도제작영역의 수치표면모델(DSM)을 도 10에 도시한 바와 같이 생성할 수 있다.
그리고, 생성된 수치표면모델(DSM)에 대한 고도차이에 따른 편위 보정, 영상재배열 등의 기하학적인 보정을 수행할 수 있는데, 대상물의 높이에 따라 발생되는 기복변위를 보정하는 수치미분편위수정은 직접법과 간접법이 있으며, 간접법의 경우 영상의 광선이 수치지형모델상에 재투영되는 영상재배열 과정을 통해 수행되기 때문에 영상재배열 보간법 및 화소 간격에 따라 수치표면모델(DSM)을 보정하여 정사영상을 구축할 수 있다.
여기에서, 영상재배열 보간법은 공일차보간법 등을 이용하여 영상재배열 화소 간격을 2화소 간격 또는 4화소 간격으로 정사영상을 생성할 수 있다.
상술한 바와 같이 대상물의 높이에 따라 발생하는 기복변위를 보정하는 편위수정과정은 지형모델 정확도와 영상재배열 보간법 및 화소 간격에 따라 좌우되는데, 정사영상의 수평위치오차는 보간법보다 화소 간격에 영향이 크게 나타날 수 있고, 영상재배열은 수치미분편위수정을 통해 보정된 화소의 위치를 재배열함으로써, 정사영상을 구축할 수 있다.
다음에, 3차원 지도를 제작하는 단계(160)에서는 영상재배열을 수행한 후에, 폐색영역(이중잔상영역, occlusion area)을 검출하여 보정할 수 있다.
예를 들면, 정사영상을 생성하기 위한 수치미분편위수정 과정에서 기복변위에 의해 왜곡된 구조물의 영상이 나타나는 이중 도면화 영역을 폐색영역이라고 하는데, 도 11에 도시한 바와 같이 영상은 투영중심으로 획득되기 때문에, 지형에 경사와 기복이 있고, 주점에서 거리가 멀어질수록 대상물의 비고가 높을수록 폐색영역의 범위가 커지게 되는 특성이 있기 때문에, 폐색영역 검출 및 보정 등의 방사학적 보정을 수행할 수 있다.
여기에서, 폐색영역은 태양에 의한 어떤 물체의 그림자영역으로 어떤 시점에서는 보이지 않은 영역으로 정의할 수 있고, 건물의 폐색영역은 점 P0, P1, P2, P3, P4, P'0, P'1, P'2, P'3, P'4로 이루어진 영역이며, P'i는 기복변위와 투영중심을 이용하여 계산할 수 있다.
즉, 수치표면모델(DSM)으로 건물의 각 꼭지점인 P0, P1, P2, P3, P4와 투영중심을 잇는 직선방정식을 구성하고, 직선의 기울기가 최대 및 최소가 되는 꼭지점을 결정하여 꼭지점의 시작점과 끝점을 결정할 수 있는데, 각 꼭지점의 기복변위량을 계산하고, 기복변위량에 따라 새로운 꼭지점인 P'0, P'1, P'2, P'3, P'4를 결정한 후에, 건물의 각 꼭지점인 P0, P1, P2, P3, P4와 새로운 꼭지점인 P'0, P'1, P'2, P'3, P'4를 서로 각각 연결하여 폴리곤을 형성함으로써, 편위수정된 정사사진영상에서 폐색영역을 설정(검출)할 수 있다.
상술한 바와 같이 폐색영역이 검출될 경우 해당 영역에 대한 보정을 수행할 수 있는데, 검출된 폐색영역의 화소 밝기값 또는 칼라값을 조정하여 단색으로 표현하는 기법, 검출된 폐색영역의 영역만큼의 영상을 인접하는 정사영상으로부터 절취하여 원영상에 접합하는 기법 등을 이용하여 폐색영역을 보정할 수 있으며, 이에 따라 정사영상을 획득할 수 있다.
상술한 바와 같은 고도차이에 따른 편위 보정, 영상 좌표에 따른 재배열, 폐색영역 검출 및 보정 등은 필요에 따라 선택하여 수행하거나, 혹은 전체 과정을 모두 수행할 수 있음은 물론이다.
다음에, 3차원 지도를 제작하는 단계(160)에서는 정사영상에서 인접영상을 결합하되, 접합선을 생성하고, 생성된 접합선을 이용하여 정사영상을 재단 및 접합할 수 있는데, 인접하는 정사영상을 결합하여 하나의 큰 정사영상을 제작할 수 있고, 이를 이용하여 3차원 지도 제작을 수행할 수 있다. 여기에서, 인접하는 정사영상을 결합하는 과정에서 접합경계에 인접영상 간의 밝기값 및 칼라값, 지형지물의 영향 등으로 이질감이 존재할 수 있는데, 이에 대한 보정을 수행해야만 한다.
예를 들면, 먼저 정사영상의 칼라 명도를 밸런싱(balancing)하기 위한 방사적 영상 처리 작업인 도징(dodging) 처리를 수행한 후에, 각 정사영상에 대한 접합선을 생성할 수 있다. 이러한 접합선 생성은 소규모 지역, 대규모 지역, 고해상도 영상, 저해상도 영상 등의 조건에 따라 영상 매칭 기법을 이용한 자동 생성과 수동 생성을 포함할 수 있다.
그리고, 정사영상의 칼라매칭을 수행할 수 있는데, 큰 정사영상을 생성하기 위해 기준 정사영상으로부터 인접 정사영상에 대한 화소의 밝기값 및 칼라값을 조정을 수행할 수 있다. 예를 들어, 접합선의 생성 전에 상술한 바와 같은 도징 처리를 수행하고, 접합선을 이용하여 정사영상을 재단 및 접합할 경우 기준 정사영상과 인접된 정사영상의 색조를 조정하는 톤매칭(tone matching) 처리를 수행할 수 있다.
예를 들면, 각각의 정사사진에 대한 접합선을 각각 생성하고, 인접 정사영상에서 불일치하는 도로, 철도, 하천, 능선 등을 일치시키는 접합선 처리를 수행한 후에, 기준 정사영상으로부터 인접 정사영상에 대한 화소의 밝기값(칼라값)을 조정하여 복수의 정사영상이 접합된 큰 정사영상을 획득할 수 있으며, 이러한 과정을 통해 수치표면모델(DSM)에 대응하는 정사영상을 도 12에 도시한 바와 같이 구축할 수 있다.
따라서, 본 발명의 실시예에서는 지도제작영역에 대한 드론영상데이터와 위성영상데이터를 수집하고, 인공신경망을 이용하여 드론영상데이터 및 위성영상데이터에서 각각의 지상기준점을 결정한 후에, 결정된 각각의 지상기준점을 이용하여 지도제작영역에 대한 영상 정합을 수행하고, 정합영상의 모델링을 통해 정사영상을 구축하여 3차원 지도를 제작함으로써, 원하는 지역의 실제 상황을 정확하게 표현할 수 있을 뿐만 아니라 3차원 지형 정보를 효과적으로 획득할 수 있다.
또한, 본 발명의 실시예에서는 드론영상데이터 및 위성영상데이터를 서브 샘플링한 후에, 드론영상데이터에 대응하는 제 1 특징점과 위성영상데이터에 대응하는 제 2 특징점 중에 인공신경망을 이용하여 검출된 객체영상의 특징점을 비교하여 제 1 지상기준점과 제 2 지상기준점을 결정함으로써, 3차원 지형 정보를 정밀하게 표현할 수 있는 3차원 지도를 제작하기 위한 지상기준점을 효과적으로 결정할 수 있다.
한편, 상술한 바와 같은 복수의 제 1 지상기준점의 결정 과정과 복수의 제 2 지상기준점의 결정 과정에서 이용되는 인공신경망은 예를 들면, R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN 등을 포함할 수 있으며, 그 구체적인 설명을 이하에서 하기로 한다.
먼저, 일반적인 인공신경망은 완전결합층(FCL : fully connected layer)으로 구성되어 1차원 형태의 데이터를 입력할 수 있는데, 영상은 픽셀의 위치정보와 픽셀에 저장된 밝기값으로 이루어진 3차원 배열이기 때문에, 영상을 완전결합층(FCL)에 입력시키기 위해 1차원으로 변환해야만 한다.
이 경우 공간정보가 손상되어 영상으로부터 위치를 보존하면서 특징점을 추출할 수 없기 때문에 학습이 비효율적이고, 이러한 문제점을 해결하기 위해 영상의 공간적 특성을 유지한 상태에서 학습할 수 있는 CNN 계열의 인공신경망을 사용할 수 있다.
이러한 CNN 계열 중에서 R-CNN은 영상으로부터 객체를 탐지하고, 객체들을 종류(또는 특성)별로 분류하며, 객체들의 위치(또는 영역)을 결정하는 모델로서, 신경망 학습에 의해 수행되는 객체 탐지는 슬라이딩 윈도우(sliding window) 방식, 리전 프로포설(region proposal) 방식 등을 포함할 수 있다.
여기에서, 슬라이딩 윈도우 방식은 객체가 존재할 수 있는 모든 크기의 탐색 영역(search window)을 설정하고, 모든 픽셀에 대한 분류를 수행하는 방식으로, 탐색해야할 영역의 수가 많아 연산시간이 많이 소요되는 문제점이 있으며, 이를 해결하기 위해 제안된 리전 프로포설 방식은 모든 픽셀에 대해 탐색하지 않고, 객체가 존재할 가능성이 높은 영역에 대해 탐색하는 방식으로 성능과 속도를 향상시킬 수 있다.
그리고, 객체가 존재할 가능성이 있는 영역을 결정하기 위해 리전 프로포설 방식을 적용할 경우 객체가 존재하는 영역에 사각형을 형성하고, 이러한 영역을 탐지하기 위한 선택적 탐색 알고리즘(selective search algorism)을 적용할 수 있다.
이러한 선택적 탐색 알고리즘은 영상의 색조 및 밝기값을 포함하는 특징이 유사한 인접 픽셀들을 그룹핑하는 방식으로, 이 선택적 탐색 알고리즘의 결과를 CNN 모델에 입력할 수 있고, 객체가 존재하는 영역을 나타내는 바운딩박스(bounding box)의 위치 정확도를 향상시키기 위해 선형회귀를 수행할 수 있다.
다음에, Fast R-CNN은 R-CNN의 학습속도를 향상시키는 모델로, 복잡하고 많은 시간이 소요되는 학습과 검증과정을 통합하여 속도와 정확도를 향상시킬 수 있는데, R-CNN에서 객체가 존재하는 영역인 모든 바운딩박스를 모델에 입력하고 분류해야하는 학습의 비효율성을 해결할 수 있다.
여기에서, 서로 근접한 위치의 객체들에 형성된 바운딩박스들은 겹쳐질 수 있는데, 중복된 바운딩박스들을 개별적으로 학습시키지 않고, ROIPool(region of interest pooling) 기법을 도입하여 바운딩박스 정보를 모델에 입력하여 생성된 특성맵으로부터 해당 영역을 추출하여 풀링하는 방식으로 수행될 수 있다.
따라서, Fast R-CNN은 CNN, 분류기(classifier)와 바운딩박스 회귀자(bounding box regressor)를 단일 네트워크로 구성한 통학 학습 체계로서, 바운딩박스를 모델에 입력하는 R-CNN보다 학습에 소요되는 시간을 단축할 수 있는 장점이 있고, 최종 출력층에 다음의 수학식 3에 나타낸 softmax 함수를 배치하여 영상을 분류하는데 사용할 수 있다.
where z is input value, and
K
denotes number of inputs.
이러한 softmax 함수는 지수함수를 이용하여 입력값들을 정규화하여 출력할 수 있는데, 입력된 값을 0과 1 사이의 값으로 변환(즉, 정규화)하고, 출력값들의 합이 1이 되도록 한다.
다음에, Faster R-CNN은 Fast R-CNN의 속도를 향상시키기 위한 모델로서, 많은 시간이 소요되는 바운딩박스 생성 방식을 개선하여 RPN(region proposal network)를 모델 내부에 통합하여 속도를 더욱 향상시킴으로써, 실시간에 근접한 객체 탐지를 수행할 수 있다.
여기에서, RPN의 역할은 입력영상에서 사각형의 객체의 존재를 표시하는 바운딩박스의 위치와 객체 존재에 대한 순위를 부여하여 어떤 영역이 객체가 존재할 확률이 높은지 결정할 수 있는데, RPN은 슬라이딩 윈도우를 설정하여 탐색 영역을 이동시키면서 객체가 존재할 가능성이 높은 위치, 즉 바운딩박스가 생성된 후보 지역에 앵커박스(anchor box)를 생성할 수 있다.
따라서, Faster R-CNN은 영상 또는 특성맵에 대해 피라미드를 생성할 필요가 없으며, 필터의 크기도 변경하지 않아도 되기 때문에, 효율적으로 객체를 탐지할 수 있는데, 예를 들어 도 13에 도시한 바와 같이 3가지 크기(즉, 128*128, 256*256, 512*512)와 3개의 비율(1:1, 2:1 및 1:2)의 앵커박스들을 사전에 정의하고, 총 9개의 앵커박스들을 적용하여 객체를 탐지할 수 있다.
다음에, 도 14에 도시한 바와 같이 Mask R-CNN은 분할된 영상을 마스킹(masking)하는 모델로서, 픽셀 단위 수준까지 분할하기 위해서 Faster R-CNN을 확장 개선하는 모델인데, 객체를 탐지하여 객체의 영역을 정의하는 바운딩박스의 위치뿐만 아니라 바운딩박스 내에 존재하는 객체를 픽셀 수준까지 정확하게 결정할 수 있다.
즉, Faster R-CNN에서는 각 후보 객체에 대해 클래스 라벨(class label)과 바운딩박스를 출력하지만, Mask R-CNN에서는 객체마스크(object mask)를 생성하는 과정이 추가되었는데, 객체마스크에서 출력되는 값은 클래스와 바운딩박스이며, 이를 통해 Faster R-CNN보다 정교한 객체의 윤곽을 추출할 수 있도록 한다.
따라서, Fast R-CNN와 Faster R-CNN에서는 수행하자 못했던 픽셀 단위까지 조정이 가능하고, 이를 위해 Mask R-CNN에서는 각각의 픽셀이 객체에 해당하는지를 판단하는 바이너리마스크(binary mask)를 생성하는 과정이 추가되었으며, 픽셀의 정확한 위치를 추출하기 위해서 ROIAlign(region of interest align) 기법을 이용할 수 있다.
여기에서, ROIAlign은 Fast R-CNN의 ROIPool 기법을 개선하여 영역의 위치에 발생하는 오차를 2D 선형보간법을 적용하여 감소시킬 수 있다.
상술한 바와 같이 제 1 지상기준점의 결정을 위한 제 1 객체영상의 검출 과정과 제 2 지상기준점의 결정을 위한 제 2 객체영상의 검출 과정에서 CNN 계열의 인공신경망(예를 들면, R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN 등)을 이용하여 학습을 통해 정확하고 효과적으로 객체를 탐지 및 검출함으로써, 객체(예를 들면, 건물, 도로 등을 포함하는 구조물)를 검출하여 그 검출객체를 표현하는 객체 영상을 효과적으로 검출할 수 있다.
이상의 설명에서는 본 발명의 다양한 실시예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다.
10 : 드론
20 : 위성영상수집장치
30 : 지도제작장치
20 : 위성영상수집장치
30 : 지도제작장치
Claims (8)
- 드론을 이용하여 지도제작영역이 촬영된 드론영상데이터를 수집하는 단계;
상기 지도제작영역이 촬영된 위성영상데이터를 수집하는 단계;
상기 드론영상데이터에서 인공신경망을 이용하여 복수의 제 1 지상기준점을 결정하는 단계;
상기 위성영상데이터에서 상기 인공신경망을 이용하여 제 2 지상기준점을 결정하는 단계;
상기 제 1 지상기준점 및 제 2 지상기준점을 이용하여 상기 지도제작영역에 대한 영상 정합을 수행하는 단계; 및
상기 영상 정합을 통해 수득된 정합영상의 모델링을 통해 정사영상을 구축하여 3차원 지도를 제작하는 단계;를 포함하는 드론을 이용한 3차원 지도 제작 방법. - 청구항 1에 있어서,
상기 제 1 지상기준점을 결정하는 단계는, 상기 드론영상데이터를 서브 샘플링하여 제 1 서브샘플링영상을 획득한 후에, 상기 제 1 서브샘플링영상에서 크기변화, 회전 및 이동에 불변하는 복수의 제 1 특징점을 검출하고, 상기 제 1 서브샘플링영상에서 상기 인공신경망을 이용하여 제 1 배경이 제거된 제 1 객체영상을 검출하며, 상기 복수의 제 1 특징점 중에서 상기 제 1 객체영상의 제 1 객체특징점에 대응하는 것으로 하여 상기 제 1 지상기준점을 결정하는 드론을 이용한 3차원 지도 제작 방법. - 청구항 2에 있어서,
상기 제 1 객체영상은, 상기 제 1 서브샘플링영상을 중복되게 분할하여 복수의 제 1 분할영상을 획득한 후에, 상기 복수의 제 1 분할영상에서 상기 인공신경망을 이용하여 상기 제 1 배경과 제 1 객체를 각각 분할하고, 중복되게 하나의 영상으로 합성하여 검출되는 드론을 이용한 3차원 지도 제작 방법. - 청구항 3에 있어서,
상기 제 2 지상기준점을 결정하는 단계는, 상기 위성영상데이터를 서브 샘플링하여 제 2 서브샘플링영상을 획득한 후에, 상기 제 2 서브샘플링영상에서 크기변화, 회전 및 이동에 불변하는 복수의 제 2 특징점을 검출하고, 상기 제 2 서브샘플링영상에서 상기 인공신경망을 이용하여 제 2 배경이 제거된 제 2 객체영상을 검출하며, 상기 복수의 제 2 특징점 중에서 상기 제 2 객체영상의 제 2 객체특징점에 대응하는 것으로 하여 상기 제 2 지상기준점을 결정하는 드론을 이용한 3차원 지도 제작 방법. - 청구항 4에 있어서,
상기 제 2 객체영상은, 상기 제 2 서브샘플링영상을 중복되게 분할하여 복수의 제 2 분할영상을 획득한 후에, 상기 복수의 제 2 분할영상에서 상기 인공신경망을 이용하여 상기 제 2 배경과 제 2 객체를 각각 분할하고, 중복되게 하나의 영상으로 합성하여 검출되는 드론을 이용한 3차원 지도 제작 방법. - 청구항 5에 있어서,
상기 인공신경망은, CNN(convolutional neural network) 계열을 이용하는 드론을 이용한 3차원 지도 제작 방법. - 청구항 1 내지 청구항 6 중 어느 한 항에 있어서,
상기 3차원 지도를 제작하는 단계는, 상기 정합영상이 포인트 클라우드 형태 또는 메시 형태로 모델링되는 드론을 이용한 3차원 지도 제작 방법. - 청구항 7에 있어서,
상기 3차원 지도를 제작하는 단계는, 상기 포인트 클라우드 형태로 모델링되는 경우 수치표면모델(DSM : digital surface model), 수치표고모델(DEM : digital elevation model) 및 수치지형모델(DTM : digital terrain model) 중에서 선택된 적어도 하나를 이용하여 모델링되는 드론을 이용한 3차원 지도 제작 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210079975A KR102567799B1 (ko) | 2021-06-18 | 2021-06-18 | 드론을 이용한 3차원 지도 제작 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210079975A KR102567799B1 (ko) | 2021-06-18 | 2021-06-18 | 드론을 이용한 3차원 지도 제작 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220169342A true KR20220169342A (ko) | 2022-12-27 |
| KR102567799B1 KR102567799B1 (ko) | 2023-08-16 |
Family
ID=84567990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210079975A KR102567799B1 (ko) | 2021-06-18 | 2021-06-18 | 드론을 이용한 3차원 지도 제작 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102567799B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036629A (zh) * | 2023-08-07 | 2023-11-10 | 自然资源部重庆测绘院 | 卫星联合生产dsm方法、装置、系统和计算机可读存储介质 |
| CN117907242A (zh) * | 2024-03-15 | 2024-04-19 | 贵州省第一测绘院(贵州省北斗导航位置服务中心) | 基于动态遥感技术的国土测绘方法、系统及存储介质 |
| CN118505919A (zh) * | 2024-06-21 | 2024-08-16 | 深圳维清知识产权服务有限公司 | 基于多源信息融合的地图重建方法及其系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090064679A (ko) * | 2007-12-17 | 2009-06-22 | 한국전자통신연구원 | 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치 |
| KR20110082903A (ko) | 2010-01-12 | 2011-07-20 | (주) 충청에스엔지 | 항공사진의 정사보정 및 최적화된 정사영상 제작 방법 |
| US20170076438A1 (en) * | 2015-08-31 | 2017-03-16 | Cape Analytics, Inc. | Systems and methods for analyzing remote sensing imagery |
| KR20180094702A (ko) * | 2017-02-16 | 2018-08-24 | 목포대학교산학협력단 | 드론을 활용한 갯벌 지역에서의 갯골 정보 추출 장치 및 방법 |
| KR20190057885A (ko) * | 2017-11-21 | 2019-05-29 | 한국전자통신연구원 | 3차원 복원 지형 정합 방법 및 그 장치 |
| KR102154950B1 (ko) * | 2020-01-30 | 2020-09-10 | 주식회사 디지털커브 | 무인 비행체에 의해 촬영된 이미지를 지도, 도면 또는 위성 사진에 대해 매칭시키는 방법 및 장치 |
| KR102195051B1 (ko) * | 2020-09-25 | 2020-12-24 | 김화경 | 드론의 영상 정보를 이용한 공간 정보 생성 시스템 및 방법과, 이를 위한 컴퓨터 프로그램 |
| KR102239562B1 (ko) * | 2019-12-10 | 2021-04-13 | 주식회사 스트리스 | 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템 |
-
2021
- 2021-06-18 KR KR1020210079975A patent/KR102567799B1/ko active IP Right Grant
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090064679A (ko) * | 2007-12-17 | 2009-06-22 | 한국전자통신연구원 | 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치 |
| KR20110082903A (ko) | 2010-01-12 | 2011-07-20 | (주) 충청에스엔지 | 항공사진의 정사보정 및 최적화된 정사영상 제작 방법 |
| US20170076438A1 (en) * | 2015-08-31 | 2017-03-16 | Cape Analytics, Inc. | Systems and methods for analyzing remote sensing imagery |
| KR20180094702A (ko) * | 2017-02-16 | 2018-08-24 | 목포대학교산학협력단 | 드론을 활용한 갯벌 지역에서의 갯골 정보 추출 장치 및 방법 |
| KR20190057885A (ko) * | 2017-11-21 | 2019-05-29 | 한국전자통신연구원 | 3차원 복원 지형 정합 방법 및 그 장치 |
| KR102239562B1 (ko) * | 2019-12-10 | 2021-04-13 | 주식회사 스트리스 | 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템 |
| KR102154950B1 (ko) * | 2020-01-30 | 2020-09-10 | 주식회사 디지털커브 | 무인 비행체에 의해 촬영된 이미지를 지도, 도면 또는 위성 사진에 대해 매칭시키는 방법 및 장치 |
| KR102195051B1 (ko) * | 2020-09-25 | 2020-12-24 | 김화경 | 드론의 영상 정보를 이용한 공간 정보 생성 시스템 및 방법과, 이를 위한 컴퓨터 프로그램 |
Non-Patent Citations (1)
| Title |
|---|
| 김형기, 권혁재, 무인항공 촬영 영상분석 기술의 수자원기술 분야 적용, J. Korea Water Resour. Assoc. Vol.53, No.6(2020)* * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036629A (zh) * | 2023-08-07 | 2023-11-10 | 自然资源部重庆测绘院 | 卫星联合生产dsm方法、装置、系统和计算机可读存储介质 |
| CN117907242A (zh) * | 2024-03-15 | 2024-04-19 | 贵州省第一测绘院(贵州省北斗导航位置服务中心) | 基于动态遥感技术的国土测绘方法、系统及存储介质 |
| CN118505919A (zh) * | 2024-06-21 | 2024-08-16 | 深圳维清知识产权服务有限公司 | 基于多源信息融合的地图重建方法及其系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102567799B1 (ko) | 2023-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102567800B1 (ko) | 드론을 이용한 3차원 지도 제작 방법 | |
| CN111599001B (zh) | 基于图像三维重建技术的无人机导航地图构建系统及方法 | |
| KR102557775B1 (ko) | 드론을 이용한 3차원 지도 제작 방법 | |
| KR102567799B1 (ko) | 드론을 이용한 3차원 지도 제작 방법 | |
| CN104484668B (zh) | 一种无人机多重叠遥感影像的建筑物轮廓线提取方法 | |
| US11763522B2 (en) | 3D reconstruction method based on on-site edge-cloud collaboration for cultivated land | |
| JP2024105411A (ja) | ビデオベースの位置決め及びマッピングの方法及びシステム | |
| KR102007567B1 (ko) | 스테레오 드론 및 이를 이용하는 무기준점 토공량 산출 방법과 시스템 | |
| CN110648389A (zh) | 基于无人机和边缘车辆协同的城市街景3d重建方法和系统 | |
| JP2022520019A (ja) | 画像処理方法、装置、移動可能なプラットフォーム、プログラム | |
| KR102525281B1 (ko) | 이미지 기반 측위 방법 및 시스템 | |
| Barazzetti et al. | True-orthophoto generation from UAV images: Implementation of a combined photogrammetric and computer vision approach | |
| CN113359782B (zh) | 一种融合lidar点云与图像数据的无人机自主选址降落方法 | |
| CN104091369A (zh) | 一种无人机遥感影像建筑物三维损毁检测方法 | |
| KR100948099B1 (ko) | 항공 레이저 측량을 이용한 식생의 면적 산출 시스템 및 방법 | |
| CN118857243B (zh) | 一种基于倾斜摄影三维测图的空天地一体化测图方法 | |
| CN109492606A (zh) | 多光谱矢量图获取方法及系统、三维单体化方法及系统 | |
| Axelsson et al. | Roof type classification using deep convolutional neural networks on low resolution photogrammetric point clouds from aerial imagery | |
| KR102488553B1 (ko) | 드론을 이용한 3차원 지도 제작 방법 | |
| KR102525519B1 (ko) | 드론을 이용한 3차원 지도 제작 방법 | |
| KR102587445B1 (ko) | 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법 | |
| CN118212361A (zh) | 水电站的三维建模方法及装置、存储介质及电子装置 | |
| Javanmardi et al. | 3D building map reconstruction in dense urban areas by integrating airborne laser point cloud with 2D boundary map | |
| Ahmed et al. | Delineating planner surfaces from correlation-based DEMS | |
| Radford | Best Practices when Using Multi-Rotor Consumer UAVs for Photogrammetric Mapping: Limitations and Possible Solutions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20210618 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20230306 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20230810 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20230811 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20230811 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |