KR102275572B1 - 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법 및 장치 - Google Patents

이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법 및 장치 Download PDF

Info

Publication number
KR102275572B1
KR102275572B1 KR1020180167509A KR20180167509A KR102275572B1 KR 102275572 B1 KR102275572 B1 KR 102275572B1 KR 1020180167509 A KR1020180167509 A KR 1020180167509A KR 20180167509 A KR20180167509 A KR 20180167509A KR 102275572 B1 KR102275572 B1 KR 102275572B1
Authority
KR
South Korea
Prior art keywords
altitude
numerical model
low
matching
altitude numerical
Prior art date
Application number
KR1020180167509A
Other languages
English (en)
Other versions
KR20200078013A (ko
Inventor
유정재
강경규
김혜선
박창준
반윤지
유동완
이만희
추창우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180167509A priority Critical patent/KR102275572B1/ko
Priority to US16/664,517 priority patent/US10991157B2/en
Publication of KR20200078013A publication Critical patent/KR20200078013A/ko
Application granted granted Critical
Publication of KR102275572B1 publication Critical patent/KR102275572B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

사전 측량된 지상기준점 데이터가 없는 상태에서 이종 고도 항공영상기반 3차원 지형정보간의 융합 및 연동 활용이 가능한 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법 및 장치가 개시된다. 이를 위해, 본 발명의 일 실시예에 따른 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법은 특정 고도에서 촬영된 고고도 지형촬영 영상을 기초로 고고도 수치모델을 입력받는 단계; 특정 고도보다 낮은 고도에서 촬영된 저고도 지형촬영 영상을 기초로 생성된 저고도 3차원 지형정보를 입력받는 단계; 저고도 3차원 지형정보를 고고도 수치모델과 같은 형식의 수치모델로 변환하여 저고도 수치모델을 생성하는 단계; 고고도 수치모델과 저고도 수치모델의 상호상관도를 측정하여 고고도 수치모델과 저고도 수치모델이 정합되는 정합변수를 산출하는 단계; 및 정합변수에 기초하여 저고도 3차원 지형정보의 공간좌표를 조정하여 고고도 수치표면모델과 동일한 좌표계에서 지오레퍼런싱(Geo-referencing)된 3차원 지형정보를 출력하는 단계를 포함한다.

Description

이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법 및 장치{METHOD AND APPARATUS FOR MATCHING 3-DIMENSIONAL GEOGRAPHIC INFORMATION USING HETEROGENEOUS ALTITUDE AERIAL IMAGES}
본 발명은 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법 및 장치에 관한 것으로, 특히 사전 측량된 지상기준점 데이터가 없는 상태에서 이종 고도 항공영상기반 3차원 지형정보간의 융합 및 연동 활용이 가능한 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법 및 장치에 관한 것이다.
위성, 항공영상 및 항공 LiDAR 데이터 등을 입력으로, 지형 및 지물의 높이, 형태를 포함하는 3차원 지형정보를 생성 가능하다. 항공 LiDAR 데이터를 입력으로 받을 경우, 측량된 지점에서의 고도 정보들을 연결하여 넓은 지역에 3차원 지형정보를 생성 가능하다. 또한 항공 LiDAR가 아닌 위성, 항공영상등을 입력으로 할 경우에도, 입력영상에서의 특징정보 매칭 및 삼각측량에 기반한 3차원 복원기술을 통하여 3차원 지형정보를 생성 가능하다.
위성 및 고고도 항공영상 등을 입력으로 영상매칭 및 깊이정보 추정을 수행할 경우 넓은 지역에 대해서 지형, 지물의 높낮이를 포함하는 수치표면모델(DSM; Digital Surface Model) 또는 수치표고모델(DEM; Digital Elevation Model) 형태의 3차원 지형정보를 생성 가능하다.
그리고 상대적으로 낮은 고도에서 UAV등을 이용하여 촬영된 영상을 입력으로 3차원 복원을 수행할 경우, 지형의 높낮이 정보뿐 아니라, 대상체의 다각도의 3차원 형태까지 표현하는 3D Dense Point Cloud 형태의 3차원 지형정보를 생성 가능하다. 위성 및 고고도 항공영상을 입력으로 생성하는 지형정보의 경우 넓은 지역에 대해서 지형 형태를 복원하기 용이하다는 장점이 있으나, 저고도에서 촬영한 영상에 비해 상대적으로 GSD(Ground Sampling Distance)가 낮아 복원한 3차원 지형정보에서 건물, 수목 등의 자세한 부분과 건물 처마 밑 등을 표현하는 것이 기술적으로 어렵다는 단점을 갖는다.
UAV 등을 이용하여 촬영한 저고도 영상의 경우, 촬영 고도를 조절하여 다양한 해상도의 영상을 획득할 수 있고, 필요에 따라 고해상도의 영상을 획득하여 건물의 자세한 복원이 가능하며, 좁은 관심지역에 대하여 다양한 각도로 촬영할 수 있기 때문에 지상 객체의 옆면의 형태까지 포함하는 3차원 복원이 가능하다. 하지만 위성 및 고고도 항공영상에 비하여 상대적으로 좁은 지역의 3차원 지형복원에 적합하여, 넓은 지역에 대하여 저고도 영상을 입력으로 3차원 지형복원을 시도할 경우 촬영 및 복원연산에서 더 많은 시간과 비용이 소요된다.
이러한 고도차이에 따른 실사기반 3차원 지형정보간의 차이를 고려할 때, 광역 지역에 대하여 다양한 목적으로 활용 가능한 3차원 가상 환경을 구축하기 위해서는 다양한 고도에서 촬영된 항공영상을 입력으로 복원된 3차원 지형정보를 융합 또는 연동하여 활용하는 것이 필요하다. 예를 들어 실사영상 기반의 VR 항공훈련에서 높은 고도에서 가상비행을 할 때는 위성, 고고도 항공영상을 입력으로 복원된 3차원 지형정보 기반의 가상환경을 가시화하고, 이착륙시에는 실제 공항을 저고도 촬영하여 정밀 복원한 3차원 지형정보 기반의 가상환경을 가시화하는 활용을 생각할 수 있다.
이와 같은 다고도 항공영상기반 3차원 지형정보간의 융합 활용을 위해서는 이종 고도 항공영상기반 3차원 지형정보간의 상대적인 기하관계(위치, 방향, 크기)가 정밀하게 정합되어 있어야 가능하다. 실사영상을 입력으로 3차원 지형정보를 복원할 때는 위성, 항공기, UAV등에서 측정된 GPS, 관성센서 등의 메타 데이터와 영상 특징정보 매칭 데이터를 이용하여 촬영카메라와 3차원 지형정보의 위치, 방향 정보를 추정한다. 이때 각각의 데이터가 갖는 오차성분으로 인하여 추정된 위치, 방향 정보에서 오차가 발생하며, 특히 이종의 장비를 활용하여 이종 고도에서 촬영한 영상을 입력으로 복원된 3차원 지형정보간에는 그 차이가 더 크게 발생한다. 즉 동일 건물이 저고도 영상을 입력으로 복원된 지형정보에서의 위치와, 고고도 영상을 입력으로 복원된 지형정보에서의 위치가 서로 상이하게 산출되는 일이 가능하다. 이때 각 영상에서 공통되게 보이는 지상기준점(GCP; Ground Control Point)의 정밀좌표 측량 데이터를 활용하면 3차원 지형정보간의 정밀한 정합이 가능하나, 넓은 지역에 대하여 균등하게 분포하는 지상기준점 측량은 많은 시간과 비용을 필요로 한다. 또한 각각의 지형정보 형태를 육안으로 식별하고, 작업자가 수작업으로 조정하여 정합하는 방법도 있으나, 대상지역이 넓어질 경우 매우 긴 시간과 노력을 필요로 하며 그 정확성 역시 신뢰할 수 없다. 그렇기 때문에 지상기준점 데이터가 부재한 상황에서는, 이종 고도 항공영상기반 3차원 지형정보들을 형태 비교를 통한 수치화된 최적화 방식으로 자동으로 정합하는 기술이 필요하다.
관련하여 한국공개특허 제2005-0061857호는 "공간정보를 이용한 3차원 공간모델링 장치 및 그 방법"을 개시한다.
본 발명의 목적은 이종 고도에서 촬영된 영상을 입력으로 복원된 3차원 지형정보간의 상대적인 기하관계를 정밀하게 정합하는 것이다. 보다 구체적으로, 본 발명은 위성/항공촬영 등의 방식으로 획득한 고고도 영상 기반의 수치표면모델(DSM; Digital Surface Model)과 UAV 촬영 등의 방식으로 획득한 저고도 영상 기반의 3차원 지형정보간에 위치, 크기, 방향 등이 제대로 정합되지 않은 상태에서, 지상기준점(GCP: Ground Control Point)없이 정밀하게 정합되도록 3차원 지형정보의 좌표를 자동 조정 가능케 하는 것을 목적으로 한다.
그리고 본 발명의 목적은 저고도 UAV 영상과 고고도 항공영상, 위성영상 등 촬영고도가 극단적으로 다른 입력 데이터를 기반으로 복원한 3차원 지형정보간의 유기적인 연동 및 각각의 데이터를 통합한 융합 지형모델 생성을 가능케 하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법은 특정 고도에서 촬영된 고고도 지형촬영 영상을 기초로 고고도 수치모델을 입력받는 단계; 상기 특정 고도보다 낮은 고도에서 촬영된 저고도 지형촬영 영상을 기초로 생성된 저고도 3차원 지형정보를 입력받는 단계; 상기 저고도 3차원 지형정보를 상기 고고도 수치모델과 같은 형식의 수치모델로 변환하여 저고도 수치모델을 생성하는 단계; 상기 고고도 수치모델과 상기 저고도 수치모델의 상호상관도를 측정하여 상기 고고도 수치모델과 상기 저고도 수치모델이 정합되는 정합변수를 산출하는 단계; 및 상기 정합변수에 기초하여 상기 저고도 3차원 지형정보의 공간좌표를 조정하여 상기 고고도 수치표면모델과 동일한 좌표계에서 지오레퍼런싱(Geo-referencing)된 3차원 지형정보를 출력하는 단계를 포함한다.
이 때, 상기 정합변수를 산출하는 단계에서는, 상기 저고도 수치모델 및 상기 고고도 수치모델 각각을 계층화된 피라미드 데이터로 변환하고 계층별 단계적인 정합을 판단할 수 있다.
이 때, 상기 정합변수를 산출하는 단계는, 상기 계층화된 피라미드 데이터의 최상위 레벨을 결정하는 단계; 상기 저고도 수치모델 및 상기 고고도 수치모델의 최상위 레벨 피라미드 데이터에서는 모든 위치에서의 상호상관도를 계산하여 가장 상호상관도가 높은 위치 영역을 추출하는 단계; 및 상기 저고도 수치모델 및 상기 고고도 수치모델의 차순위 레벨 피라미드 데이터에서는 상기 위치 영역에 대응하는 영역에 한정하여 상호상관도를 측정하는 단계를 포함할 수 있다.
이 때, 상기 최상위 레벨을 결정하는 단계에서는, 상기 저고도 수치모델을 2의 배수로 다운사이징 가능한 모든 범위에서 피라미드 후보 데이터를 생성하고, 상기 피라미드 후보 데이터의 자기상관도 함수를 계산 후 기 설정한 상관도 임계값을 기초로 상기 계층화된 피라미드 데이터의 최상위 레벨을 결정할 수 있다.
이 때, 상기 최상위 레벨을 결정하는 단계는, 상기 저고도 수치모델을 2의 배수로 다운사이징 가능한 모든 범위에서 상기 저고도 수치모델과 상기 고고도 수치모델의 피라미드 후보 데이터를 생성하는 단계; 상기 저고도 수치모델 및 상기 고고도 수치모델의 최상위 레벨 피라미드 데이터부터 차례대로 상기 저고도 수치모델 및 상기 고고도 수치모델의 상호상관도를 계산하여 최대 상호상관도와 그 다음으로 높은 상호상관도를 갖는 제2 상호상관도를 탐색하는 단계; 상기 최대 상호상관도 대비 상기 제2 상호상관도의 비율이 기 설정된 비율을 넘기 시작한 상기 피라미드 후보 데이터 중의 레벨을 상기 계층화된 피라미드 데이터의 최상위 레벨로 결정하는 단계를 포함할 수 있다.
이 때, 상기 정합변수를 산출하는 단계에서는, 상기 저고도 수치모델에 대한 이동, 회전 및 크기 변화 중 적어도 하나를 포함하는 유클리드 변환(Euclidean Transform)을 적용하여 상기 고고도 수치모델과 각각의 위치에서 가장 유사도가 높은 위치를 탐색하여, 상기 고고도 수치모델과 상기 저고도 수치모델의 정합을 판단할 수 있다.
이 때, 상기 고고도 수치모델은, 수치표면모델(DSM; Digital Surface Model) 또는 수치표고모델(DEM; Digital Elevation Model) 형식의 수치모델일 수 있다.
이 때, 상기 저고도 3차원 지형정보는, UAV 촬영 영상을 입력으로 생성된 저고도 3차원 지형정보일 수 있다.
이 때, 상기 저고도 3차원 지형정보는 3D Dense Point Cloud 또는 3D 메쉬 형태의 지형과 지상 구조물의 정보를 포함하는 3차원 지형정보일 수 있다.
그리고, 상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이종 고도 항공영상을 이용한 3차원 지형정보 정합 장치는 특정 고도에서 촬영된 고고도 지형촬영 영상을 기초로 고고도 수치모델을 입력받는 고고도 수치모델 입력부; 상기 특정 고도보다 낮은 고도에서 촬영된 저고도 지형촬영 영상을 기초로 생성된 저고도 3차원 지형정보를 입력받는 저고도 3차원 지형정보 입력부; 상기 저고도 3차원 지형정보를 상기 고고도 수치모델과 같은 형식의 수치모델로 변환하여 저고도 수치모델을 생성하는 저고도 수치모델 생성부; 상기 고고도 수치모델과 상기 저고도 수치모델의 상호상관도를 측정하여 상기 고고도 수치모델과 상기 저고도 수치모델이 정합되는 정합변수를 산출하는 정합변수 산출부; 및 상기 정합변수에 기초하여 상기 저고도 3차원 지형정보의 공간좌표를 조정하여 상기 고고도 수치표면모델과 동일한 좌표계에서 지오레퍼런싱(Geo-referencing)된 3차원 지형정보를 출력하는 지형정보 정합부를 포함한다.
이 때, 상기 정합변수 산출부는, 상기 저고도 수치모델 및 상기 고고도 수치모델 각각을 계층화된 피라미드 데이터로 변환하고 계층별 단계적인 정합을 판단할 수 있다.
이 때, 상기 정합변수 산출부는, 상기 계층화된 피라미드 데이터의 최상위 레벨을 결정하고, 상기 저고도 수치모델 및 상기 고고도 수치모델의 최상위 레벨 피라미드 데이터에서는 모든 위치에서의 상호상관도를 계산하여 가장 상호상관도가 높은 위치 영역을 추출하며, 상기 저고도 수치모델 및 상기 고고도 수치모델의 차순위 레벨 피라미드 데이터에서는 상기 위치 영역에 대응하는 영역에 한정하여 상호상관도를 측정할 수 있다.
이 때, 상기 정합변수 산출부는 상기 계층화된 피라미드 데이터의 최상위 레벨을 결정할 때, 상기 저고도 수치모델을 2의 배수로 다운사이징 가능한 모든 범위에서 피라미드 후보 데이터를 생성하고, 상기 피라미드 후보 데이터의 자기상관도 함수를 계산 후 기 설정한 상관도 임계값을 기초로 상기 계층화된 피라미드 데이터의 최상위 레벨을 결정할 수 있다.
이 때, 상기 정합변수 산출부는 상기 계층화된 피라미드 데이터의 최상위 레벨을 결정할 때, 상기 저고도 수치모델을 2의 배수로 다운사이징 가능한 모든 범위에서 상기 저고도 수치모델과 상기 고고도 수치모델의 피라미드 후보 데이터를 생성하고, 상기 저고도 수치모델 및 상기 고고도 수치모델의 최상위 레벨 피라미드 데이터부터 차례대로 상기 저고도 수치모델 및 상기 고고도 수치모델의 상호상관도를 계산하여 최대 상호상관도와 그 다음으로 높은 상호상관도를 갖는 제2 상호상관도를 탐색하며, 상기 최대 상호상관도 대비 상기 제2 상호상관도의 비율이 기 설정된 비율을 넘기 시작한 상기 피라미드 후보 데이터 중의 레벨을 상기 계층화된 피라미드 데이터의 최상위 레벨로 결정할 수 있다.
이 때, 상기 정합변수 산출부는, 상기 저고도 수치모델에 대한 이동, 회전 및 크기 변화 중 적어도 하나를 포함하는 유클리드 변환(Euclidean Transform)을 적용하여 상기 고고도 수치모델과 각각의 위치에서 가장 유사도가 높은 위치를 탐색하여, 상기 고고도 수치모델과 상기 저고도 수치모델의 정합을 판단할 수 있다.
이 때, 상기 고고도 수치모델은, 수치표면모델(DSM; Digital Surface Model) 또는 수치표고모델(DEM; Digital Elevation Model) 형식의 수치모델일 수 있다.
이 때, 상기 저고도 3차원 지형정보는, UAV 촬영 영상을 입력으로 생성된 저고도 3차원 지형정보일 수 있다.
이 때, 상기 저고도 3차원 지형정보는 3D Dense Point Cloud 또는 3D 메쉬 형태의 지형과 지상 구조물의 정보를 포함하는 3차원 지형정보일 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명에 다른 실시예에 따른 이종 고도 항공영상을 이용한 3차원 지형정보 정합 장치는 특정 고도에서 촬영된 고고도 지형촬영 영상을 기초로 고고도 수치모델을 입력받는 고고도 수치모델 입력부; 상기 특정 고도보다 낮은 고도에서 촬영된 저고도 지형촬영 영상을 기초로 저고도 수치모델을 생성하는 저고도 수치모델 생성부; 상기 고고도 수치모델과 상기 저고도 수치모델의 상호상관도를 측정하여 상기 고고도 수치모델과 상기 저고도 수치모델이 정합되는 정합변수를 산출하는 정합변수 산출부; 및 상기 정합변수에 기초하여 상기 고고도 지형촬영 영상과 상기 저고도 지형촬영 영상의 정합 결과를 출력하는 지형정보 정합부를 포함한다.
이 때, 상기 고고도 수치모델 및 상기 저고도 수치모델은, 수치표면모델(DSM; Digital Surface Model) 또는 수치표고모델(DEM; Digital Elevation Model) 형식의 수치모델일 수 있다.
본 발명에 따르면, 이종 고도에서 촬영된 영상을 입력으로 복원된 3차원 지형정보간의 상대적인 기하관계를 정밀하게 정합할 수 있다. 보다 구체적으로, 본 발명은 위성/항공촬영 등의 방식으로 획득한 고고도 영상 기반의 수치표면모델(DSM; Digital Surface Model)과 UAV 촬영등의 방식으로 획득한 저고도 영상 기반의 3차원 지형정보간에 위치, 크기, 방향 등이 제대로 정합되지 않은 상태에서, 지상기준점(GCP: Ground Control Point)없이 정밀하게 정합되도록 3차원 지형정보의 좌표를 자동 조정 가능하다.
그리고 본 발명은 저고도 UAV 영상과 고고도 항공영상, 위성영상 등 촬영고도가 극단적으로 다른 입력 데이터를 기반으로 복원한 3차원 지형정보간의 유기적인 연동 및 각각의 데이터를 통합한 융합 지형모델 생성을 가능케 한다.
도 1은 본 발명의 일 실시예에 따른 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법을 설명하기 위한 동작흐름도이다.
도 2 내지 도 4는 본 발명의 일 실시예에 따른 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법 중 최상의 피라미드 레벨 결정을 위한 후보 레벨별 자기상관도 그래프이다.
도 5는 본 발명의 일 실시예에 따른 이종 고도 항공영상을 이용한 3차원 지형정보 정합 장치를 설명하기 위한 블록도이다.
도 6은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법을 설명하기 위한 동작흐름도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법은 먼저, 특정 고도에서 촬영된 고고도 지형촬영 영상을 기초로 고고도 수치모델을 입력받는다(S110). 이 때, 고고도 수치모델은, 수치표면모델(DSM; Digital Surface Model) 또는 수치표고모델(DEM; Digital Elevation Model) 형식의 수치모델일 수 있다.
그리고, 특정 고도보다 낮은 고도에서 촬영된 저고도 지형촬영 영상을 기초로 생성된 저고도 3차원 지형정보를 입력받는다(S120). 이 때, 저고도 3차원 지형정보는, UAV 촬영 영상을 입력으로 생성된 저고도 3차원 지형정보일 수 있다. 또한, 저고도 3차원 지형정보는, 3D Dense Point Cloud 또는 3D 메쉬 형태의 지형과 지상 구조물의 정보를 포함하는 3차원 지형정보일 수 있다.
이 후 S120 단계에서 입력받은 저고도 3차원 지형정보를 고고도 수치모델과 같은 형식의 수치모델로 변환하여 저고도 수치모델을 생성한다(S130). S130 단계에서, 저고도 3차원 지형정보의 고고도 수치모델과 같은 형식의 수치모델로 변환의 구체적인 방법은 여러가지 방법이 활용될 수 있으며, 그 한가지 예는 다음과 같다. 저고도 3차원 지형정보로서 3D Dense Point Cloud가 입력된 경우, 대상공간을 고고도 수치표면모델의 고도데이터 격자와 동일 간격으로 분할하고, 각각의 격자 간격안에 포함되는 3D Point들의 고도값들 중 중간선별(Median Filtering)방식으로 한 개의 값을 취하여 해당 격자의 고도값으로 매핑 가능하며, 이러한 과정을 모든 격자에 대하여 반복하여 3D Dense Point Cloud 데이터를 수치표면모델로 변환 가능하다.
또한, 고고도 수치모델과 저고도 수치모델의 상호상관도를 측정하여 고고도 수치모델과 저고도 수치모델이 정합되는 정합변수를 산출한다(S140). 이러한, S140 단계에서는 저고도 수치모델에 대한 이동, 회전 및 크기 변화 중 적어도 하나를 포함하는 유클리드 변환(Euclidean Transform)을 적용하여 고고도 수치모델과 각각의 위치에서 가장 유사도가 높은 위치를 탐색하여, 고고도 수치모델과 저고도 수치모델의 정합을 판단할 수 있다. 기본원리는 저고도 수치모델을 고고도 수치모델 영역에서 필요한 탐색 범위 안에서 움직이면서, 각각의 위치에서 상호상관도(Cross Correlation)와 같은 유사도를 측정하여, 두 수치모델간에 가장 유사도가 높은 위치를 탐색한다. 이때 수치모델의 데이터 크기가 크거나 탐색범위가 넓을 경우, 모든 위치에서 수치모델 자체를 그대로 비교하는 것이 많은 연산량을 필요로 하기 때문에, 두 수치모델을 계층화된 피라미드 형태의 데이터로 변환하여 단계적인 정합을 수행한다.
이와 같이, S140 단계에서는 저고도 수치모델 및 고고도 수치모델 각각을 계층화된 피라미드 데이터로 변환하고 계층별 단계적인 정합을 판단할 수 있다. 구체적으로, S140 단계는 상기 계층화된 피라미드 데이터의 최상위 레벨을 결정하는 단계, 저고도 수치모델 및 고고도 수치모델의 최상위 레벨 피라미드 데이터에서는 모든 위치에서의 상호상관도를 계산하여 가장 상호상관도가 높은 위치 영역을 추출하는 단계 및 저고도 수치모델 및 고고도 수치모델의 차순위 레벨 피라미드 데이터에서는 위치 영역에 대응하는 영역에 한정하여 상호상관도를 측정하는 단계를 포함하여 수행될 수 있다.
이 때, 상기 최상위 레벨을 결정하는 단계에서는, 저고도 수치모델을 2의 배수로 다운사이징 가능한 모든 범위에서 피라미드 후보 데이터를 생성하고, 각 레벨에서의 피라미드 후보 데이터의 자기상관도 함수를 계산 후 최상위 레벨에서의 자기상관도 값이 기 설정한 상관도 임계값 이상이 되도록 피라미드 데이터의 최상위 레벨을 결정할 수 있다.
또는, 상기 최상위 레벨을 결정하는 단계에서는, 상기 저고도 수치모델을 2의 배수로 다운사이징 가능한 모든 범위에서 상기 저고도 수치모델과 상기 고고도 수치모델의 피라미드 후보 데이터를 생성하는 단계, 상기 저고도 수치모델 및 상기 고고도 수치모델의 최상위 레벨 피라미드 데이터부터 차례대로 상기 저고도 수치모델 및 상기 고고도 수치모델의 상호상관도를 계산하여 최대 상호상관도와 그 다음으로 높은 상호상관도를 갖는 제2 상호상관도를 탐색하는 단계, 상기 최대 상호상관도 대비 상기 제2 상호상관도의 비율이 기 설정된 비율을 넘기 시작한 상기 피라미드 후보 데이터 중의 레벨을 상기 계층화된 피라미드 데이터의 최상위 레벨로 결정하는 단계를 포함할 수 있다.
보다 구체적으로, 수치표면모델간의 정합을 위하여 구성할 피라미드 데이터의 최적의 레벨을 연산속도와 정확도를 모두 고려하여 결정하고, 결정된 최상위 레벨에 따라 저고도, 고고도 수치모델의 피라미드 데이터를 생성하고 계층적 정합을 수행한다. 계층적 정합은 피라미드 정합 방법에 따라 최상위 레벨에서는 탐색 범위안의 모든 위치에서 두 수치모델간의 상호상관도를 계산하고, 그 이후 아래 레벨에서는 상위 레벨의 최대 상호상관도 위치에 대응하는 위치 주변 영역에 한정하여 상호상관도를 계산한다. 그러므로 속도측면에서는 피라미드 데이터의 최고 레벨이 높을수록 계층적 정합은 연산속도가 향상되는 효과를 얻는다. 저고도 수치모델의 격자 범위가 1024*1024일 경우 이론적으로 최대 10 레벨까지의 피라미드 데이터 구성이 가능하며, 이 경우 최상위 레벨에서 저고도 수치모델은 2*2 크기가 된다. 하지만 이처럼 과도하게 높은 피라미드 데이터를 구성할 경우 연산속도는 향상되지만, 정합의 정확도가 저하될 우려가 있으며, 결과적으로 선택되는 저고도 수치표면모델의 정합 정보는 잘못된 결과가 산출될 위험이 있다. 그러므로 속도와 정확성을 모두 고려하여 최적의 피라미드 데이터 레벨을 결정해야 한다.
본 발명의 실시예에서는 최적의 피라미드 데이터 레벨을 선택하기 위해서 고려해야 할 두가지 조건을 확인하는 방법을 제안한다. 두 가지 조건을 모두 만족하는 레벨을 선택할 수도 있고, 입력데이터의 특성 및 활용 목적에 따라 한가지 조건만을 선택, 또는 다른 기타 조건을 함께 고려하여 레벨을 결정하는 방법도 가능하다.
첫 번째 최상위 레벨 결정 방법은 다음과 같다. 우선 저고도 수치모델만을 2의 배수로 다운사이징 가능한 모든 범위에서 피라미드 후보 데이터를 생성한다. 그리고 가장 낮은 레벨에서부터 해당 레벨의 저고도 수치표면모델을 가로축으로 1 격자씩 이동(shift)시키며 자기상관도(Auto Correlation)을 계산한다. 이와 같은 방식으로 생성된 모든 피라미드 레벨 데이터에서 저고도 수치모델의 자기상관도 함수를 계산한다. 그리고 아래 수학식1에 따라 상관도 임계값, ACth이상의 자기상관도 값이 계산되는 이동간격 s가 이동 임계값, Sth 이상이 되는 최대 레벨, Lmax을 결정한다. 아래 수식에서 DSML(x)는 피라미드 데이터 L레벨에서, 평면축에서 다운사이징된 저고도 수치모델을 의미하며, DSML(x-s)는 피라미드 데이터 L 레벨에서의 저고도 수치모델을 수평방향으로 s 간격만큼 순환-이동(shift)시킨 데이터를 의미한다. opConv은 대응하는 원소끼리 곱하여 합산하는 Convolution 연산을 의미한다. 본 발명의 실시 예에서는 ACth으로 0.7을 사용하였고, Sth 으로 1을 사용하였다.
[수학식1]
Lmax = max(L: max(s: opConv(DSML(x), DSML(x-s)) > ACth) > Sth)
도 2 내지 도 4는 피라미드 데이터의 최상위 레벨을 결정할 때 활용되는 각 피라미드 데이터 레벨에서의 자기상관도(Auto-Correlation) 그래프의 예를 보여준다. 가로, 세로 격자개수가 1024인 저고도 수치표면모델이 입력된 경우, 2100의 최저 레벨이 0레벨에서 원본 수치표면모델의 자기상관도 그래프이며, 2200과 2300은 각각 32배, 64배로 다운사이징된 5레벨, 7레벨에서의 자기 상관도 그래프를 보여준다. 가로축에서의 시작위치 1은 이동(shift)=0인 상태를 의미하며, 세로축은 자기상관도 값을 의미한다. 2110, 2210, 2310은 각 레벨의 자기상관도 그래프에서 점진적으로 수치가 낮아지는 구간을 도시하며, 2120, 2220, 2320은 정합이 의미없을 만큼 자기상관도가 낮은 구간을 의미한다. 2300을 보면 최초 시작위치 1(shift=0)에서만 자기상관도가 1.0이고, shift=1만 발생하여도 자기상관도가 0.14로 급격히 하락한다. 그러므로 레벨 7과 같이 과도하게 다운사이징된 레벨에서는 수치표면모델간의 잡음효과에 민감하게 반응하여 부정확한 정합이 발생할 수 있다. 위의 수학식1에서 ACth으로 0.7을 사용하였고, Sth 으로 1을 사용할 경우, Lmax는 레벨 5으로 결정된다.
두 번째 최상위 레벨 결정 방법은 다음과 같다. 저고도 수치모델을 2의 배수로 다운사이징 가능한 모든 범위에서, 저고도 수치모델과 고고도 수치모델의 피라미드 후보 데이터를 모두 생성한다. 그리고 이번에는 가장 높은 레벨에서부터 해당 레벨의 저고도 수치모델을 고고도 수치표면모델의 탐색범위 안의 모든 위치에서 상호상관도(Cross Correlation)을 계산하고, 최대 상호상관도, CCmax1를 갖는 위치를 탐색한다. 그리고 최대 상호상관도 위치 주변의 일정 범위(실시예에서는 저고도 수치표면모델의 가로, 세로 폭 범위 활용)를 제외한 위치에서, 두 번째로 큰 상호상관도, CCmax2를 갖는 위치를 탐색한다. 그렇게 선택된 첫 번째, 두 번째 최대 상호상관도간의 비율 CCmax1/ CCmax2이 일정비율(실시예에서는 1.5) 이상이면 현재의 레벨을 최상의 피라미드 레벨로 선택한다. 만약 CCmax1/ CCmax2이 일정비율 이하이면 레벨을 한 단계 낮춰서 위의 과정을 반복한다.
결정된 최상위 레벨에 따라 저고도, 고고도 수치표면모델의 피라미드 데이터를 각각 생성하고 피라미드 정합을 수행한다. 본 발명에서 계층적 정합과 피라미드 정합은 같은 의미로 사용된다. 이 경우 상기 설명 예에서와 같이 최적의 최상위 레벨이 5로 결정된 경우(최저레벨 0), 저고도 수치표면모델과 고고도 수치표면모델에 대하여 원본 데이터인 0 레벨부터, 2배 간격으로 다운사이징을 5회 반복한 5레벨까지, 총 6단계의 피라미드 데이터를 생성한다. 그리고 생성된 저고도 수치모델, 고고도 수치모델의 피라미드 데이터간에 피라미드 정합을 수행한다. 최상위 레벨에서는 저고도 수치표면모델을 고고도 수치표면모델의 배치 가능한 범위안의 모든 위치, 회전, 크기와 같은 정합변수를 변화시키며 상호상관도를 계산하여, 최대 상호상관도를 갖는 정합변수를 결정한다. 이후 아래 레벨로 내려가서 상위레벨의 최대 상호상관도 정합변수를 레벨 변화에 대응하도록 변환시킨 정합변수에서 일정 범위 안에서 변화시키며 상호상관도를 계산하는 과정을 반복하며, 최종적으로 원본 데이터에 해당하는 0 레벨에서 저고도 수치모델이 고고도 수치모델에 가장 최적으로 정합되는 정합변수를 산출된다. 최적화되는 정합변수는 수치모델간의 위치, 회전, 크기 변화를 모두 포함할 수도 있으며, 필요에 따라 일부 변수만을 포함할 수도 있다.
그리고, 정합변수에 기초하여 저고도 3차원 지형정보의 공간좌표를 조정하여 고고도 수치표면모델과 동일한 좌표계에서 지오레퍼런싱(Geo-referencing)된 3차원 지형정보를 출력한다(S150).
도 5는 본 발명의 일 실시예에 따른 이종 고도 항공영상을 이용한 3차원 지형정보 정합 장치를 설명하기 위한 블록도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 이종 고도 항공영상을 이용한 3차원 지형정보 정합 장치(500)는 고고도 수치모델 입력부(510), 저고도 3차원 지형정보 입력부(520), 저고도 수치모델 생성부(530), 정합변수 산출부(540) 및 지형정보 정합부(550)를 포함한다.
고고도 수치모델 입력부(510)는 특정 고도에서 촬영된 고고도 지형촬영 영상을 기초로 고고도 수치모델을 입력받는다. 이 때, 고고도 수치모델은, 수치표면모델(DSM; Digital Surface Model) 또는 수치표고모델(DEM; Digital Elevation Model) 형식의 수치모델일 수 있다.
저고도 3차원 지형정보 입력부(520)는 특정 고도보다 낮은 고도에서 촬영된 저고도 지형촬영 영상을 기초로 생성된 저고도 3차원 지형정보를 입력받는다. 이 때, 저고도 3차원 지형정보는, UAV 촬영 영상을 입력으로 생성된 저고도 3차원 지형정보일 수 있다.
저고도 수치모델 생성부(530)는 저고도 3차원 지형정보를 고고도 수치모델과 같은 형식의 수치모델로 변환하여 저고도 수치모델을 생성한다. 이 때, 저고도 3차원 지형정보는 3D Dense Point Cloud 또는 3D 메쉬 형태의 지형과 지상 구조물의 정보를 포함하는 3차원 지형정보일 수 있다. 추가로, 저고도 수치모델 생성부(530)는 상기 특정 고도보다 낮은 고도에서 촬영된 저고도 지형촬영 영상을 기초로 저고도 수치모델을 생성할 수도 있다. 이 때, 고고도 수치모델 및 저고도 수치모델은 같은 형식의 수치모델로, 수치표면모델(DSM; Digital Surface Model) 또는 수치표고모델(DEM; Digital Elevation Model) 형식일 수 있다.
정합변수 산출부(540)는 고고도 수치모델과 저고도 수치모델의 상호상관도를 측정하여 고고도 수치모델과 저고도 수치모델이 정합되는 정합변수를 산출한다. 이 러한, 정합변수 산출부(540)는 저고도 수치모델 및 고고도 수치모델 각각을 계층화된 피라미드 데이터로 변환하고 계층별 단계적인 정합을 판단할 수 있다. 또한 정합변수 산출부(540)는 저고도 수치모델에 대한 이동, 회전 및 크기 변화 중 적어도 하나를 포함하는 유클리드 변환(Euclidean Transform)을 적용하여 고고도 수치모델과 각각의 위치에서 가장 유사도가 높은 위치를 탐색하여, 고고도 수치모델과 상기 저고도 수치모델의 정합을 판단할 수 있다.
그리고, 정합변수 산출부(540)는 계층화된 피라미드 데이터의 최상위 레벨을 결정하고, 저고도 수치모델 및 고고도 수치모델의 최상위 레벨 피라미드 데이터에서는 모든 위치에서의 상호상관도를 계산하여 가장 상호상관도가 높은 위치 영역을 추출하며, 저고도 수치모델 및 고고도 수치모델의 차순위 레벨 피라미드 데이터에서는 상기 위치 영역에 대응하는 영역에 한정하여 상호상관도를 측정할 수 있다.
이 때, 정합변수 산출부(540)는 상기 계층화된 피라미드 데이터의 최상위 레벨을 결정할 때, 저고도 수치모델을 2의 배수로 다운사이징 가능한 모든 범위에서 피라미드 후보 데이터를 생성하고, 피라미드 후보 데이터의 자기상관도 함수를 계산 후 기 설정한 상관도 임계값을 기초로 계층화된 피라미드 데이터의 최상위 레벨을 결정할 수 있다.
또는, 정합변수 산출부(540)는 계층화된 피라미드 데이터의 최상위 레벨을 결정할 때, 저고도 수치모델을 2의 배수로 다운사이징 가능한 모든 범위에서 저고도 수치모델과 고고도 수치모델의 피라미드 후보 데이터를 생성하고, 저고도 수치모델 및 고고도 수치모델의 최상위 레벨 피라미드 데이터부터 차례대로 저고도 수치모델 및 고고도 수치모델의 상호상관도를 계산하여 최대 상호상관도와 그 다음으로 높은 상호상관도를 갖는 제2 상호상관도를 탐색하며, 최대 상호상관도 대비 제2 상호상관도의 비율이 기 설정된 비율을 넘기 시작한 피라미드 후보 데이터 중의 레벨을 계층화된 피라미드 데이터의 최상위 레벨로 결정할 수 있다.
지형정보 정합부(550)는 정합변수에 기초하여 저고도 3차원 지형정보의 공간좌표를 조정하여 고고도 수치표면모델과 동일한 좌표계에서 지오레퍼런싱(Geo-referencing)된 3차원 지형정보를 출력한다.
도 6은 본 발명의 일 실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
본 발명의 이종 고도 항공영상을 이용한 3차원 지형정보 정합 장치 또는 이를 이루는 구성요소들 중 일부는 컴퓨터 시스템(1100)에서 구현될 수 있다.
도 6을 참조하면, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 인터페이스 입력 장치(1140), 사용자 인터페이스 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.
이상에서와 같이 본 발명에 따른 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법 및 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
500; 이종 고도 항공영상을 이용한 3차원 지형정보 정합 장치
510; 고고도 수치모델 입력부
520; 저고도 3차원 지형정보 입력부
530; 저고도 수치모델 생성부
540; 정합변수 산출부
550; 지형정보 정합부

Claims (20)

  1. 특정 고도에서 촬영된 고고도 지형촬영 영상을 기초로 고고도 수치모델을 입력받는 단계;
    상기 특정 고도보다 낮은 고도에서 촬영된 저고도 지형촬영 영상을 기초로 생성된 저고도 3차원 지형정보를 입력받는 단계;
    상기 저고도 3차원 지형정보를 상기 고고도 수치모델과 같은 형식의 수치모델로 변환하여 저고도 수치모델을 생성하는 단계;
    상기 고고도 수치모델과 상기 저고도 수치모델의 상호상관도를 측정하여 상기 고고도 수치모델과 상기 저고도 수치모델이 정합되는 정합변수를 산출하는 단계; 및
    상기 정합변수에 기초하여 상기 저고도 3차원 지형정보의 공간좌표를 조정하여 상기 고고도 수치모델과 동일한 좌표계에서 지오레퍼런싱(Geo-referencing)된 3차원 지형정보를 출력하는 단계를 포함하고,
    상기 정합변수를 산출하는 단계는,
    상기 저고도 수치모델 및 상기 고고도 수치모델 각각을 계층화된 피라미드 데이터로 변환하고 계층별 단계적인 정합을 판단하되,
    상기 계층화된 피라미드 데이터의 최상위 레벨을 결정하는 단계;
    상기 저고도 수치모델 및 상기 고고도 수치모델의 최상위 레벨 피라미드 데이터에서는 모든 위치에서의 상호상관도를 계산하여 가장 상호상관도가 높은 위치 영역을 추출하는 단계; 및
    상기 저고도 수치모델 및 상기 고고도 수치모델의 차순위 레벨 피라미드 데이터에서는 상기 위치 영역에 대응하는 영역에 한정하여 상호상관도를 측정하는 단계를 포함하는 것을 특징으로 하는 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 최상위 레벨을 결정하는 단계에서는,
    상기 저고도 수치모델을 2의 배수로 다운사이징 가능한 모든 범위에서 피라미드 후보 데이터를 생성하고, 상기 피라미드 후보 데이터의 자기상관도 함수를 계산 후 기 설정한 상관도 임계값을 기초로 상기 계층화된 피라미드 데이터의 최상위 레벨을 결정하는 것을 특징으로 하는 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법.
  5. 청구항 1에 있어서,
    상기 최상위 레벨을 결정하는 단계는,
    상기 저고도 수치모델을 2의 배수로 다운사이징 가능한 모든 범위에서 상기 저고도 수치모델과 상기 고고도 수치모델의 피라미드 후보 데이터를 생성하는 단계;
    상기 저고도 수치모델 및 상기 고고도 수치모델의 최상위 레벨 피라미드 데이터부터 차례대로 상기 저고도 수치모델 및 상기 고고도 수치모델의 상호상관도를 계산하여 최대 상호상관도와 그 다음으로 높은 상호상관도를 갖는 제2 상호상관도를 탐색하는 단계;
    상기 최대 상호상관도 대비 상기 제2 상호상관도의 비율이 기 설정된 비율을 넘기 시작한 상기 피라미드 후보 데이터 중의 레벨을 상기 계층화된 피라미드 데이터의 최상위 레벨로 결정하는 단계를 포함하는 것을 특징으로 하는 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법.
  6. 청구항 1에 있어서,
    상기 정합변수를 산출하는 단계에서는,
    상기 저고도 수치모델에 대한 이동, 회전 및 크기 변화 중 적어도 하나를 포함하는 유클리드 변환(Euclidean Transform)을 적용하여 상기 고고도 수치모델과 각각의 위치에서 가장 유사도가 높은 위치를 탐색하여, 상기 고고도 수치모델과 상기 저고도 수치모델의 정합을 판단하는 것을 특징으로 하는 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법.
  7. 청구항 1에 있어서,
    상기 고고도 수치모델은,
    수치표면모델(DSM; Digital Surface Model) 또는 수치표고모델(DEM; Digital Elevation Model) 형식의 수치모델인 것을 특징으로 하는 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법.
  8. 청구항 1에 있어서,
    상기 저고도 3차원 지형정보는,
    UAV 촬영 영상을 입력으로 생성된 저고도 3차원 지형정보인 것을 특징으로 하는 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법.
  9. 청구항 1에 있어서,
    상기 저고도 3차원 지형정보는,
    3D Dense Point Cloud 또는 3D 메쉬 형태의 지형과 지상 구조물의 정보를 포함하는 3차원 지형정보인 것을 특징으로 하는 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법.
  10. 특정 고도에서 촬영된 고고도 지형촬영 영상을 기초로 고고도 수치모델을 입력받는 고고도 수치모델 입력부;
    상기 특정 고도보다 낮은 고도에서 촬영된 저고도 지형촬영 영상을 기초로 생성된 저고도 3차원 지형정보를 입력받는 저고도 3차원 지형정보 입력부;
    상기 저고도 3차원 지형정보를 상기 고고도 수치모델과 같은 형식의 수치모델로 변환하여 저고도 수치모델을 생성하는 저고도 수치모델 생성부;
    상기 고고도 수치모델과 상기 저고도 수치모델의 상호상관도를 측정하여 상기 고고도 수치모델과 상기 저고도 수치모델이 정합되는 정합변수를 산출하는 정합변수 산출부; 및
    상기 정합변수에 기초하여 상기 저고도 3차원 지형정보의 공간좌표를 조정하여 상기 고고도 수치모델과 동일한 좌표계에서 지오레퍼런싱(Geo-referencing)된 3차원 지형정보를 출력하는 지형정보 정합부를 포함하고,
    상기 정합변수 산출부는,
    상기 저고도 수치모델 및 상기 고고도 수치모델 각각을 계층화된 피라미드 데이터로 변환하고 계층별 단계적인 정합을 판단하되,
    상기 계층화된 피라미드 데이터의 최상위 레벨을 결정하고,
    상기 저고도 수치모델 및 상기 고고도 수치모델의 최상위 레벨 피라미드 데이터에서는 모든 위치에서의 상호상관도를 계산하여 가장 상호상관도가 높은 위치 영역을 추출하며,
    상기 저고도 수치모델 및 상기 고고도 수치모델의 차순위 레벨 피라미드 데이터에서는 상기 위치 영역에 대응하는 영역에 한정하여 상호상관도를 측정하는 것을 특징으로 하는 이종 고도 항공영상을 이용한 3차원 지형정보 정합 장치.
  11. 삭제
  12. 삭제
  13. 청구항 10에 있어서,
    상기 정합변수 산출부는 상기 계층화된 피라미드 데이터의 최상위 레벨을 결정할 때,
    상기 저고도 수치모델을 2의 배수로 다운사이징 가능한 모든 범위에서 피라미드 후보 데이터를 생성하고, 상기 피라미드 후보 데이터의 자기상관도 함수를 계산 후 기 설정한 상관도 임계값을 기초로 상기 계층화된 피라미드 데이터의 최상위 레벨을 결정하는 것을 특징으로 하는 이종 고도 항공영상을 이용한 3차원 지형정보 정합 장치.
  14. 청구항 10에 있어서,
    상기 정합변수 산출부는 상기 계층화된 피라미드 데이터의 최상위 레벨을 결정할 때,
    상기 저고도 수치모델을 2의 배수로 다운사이징 가능한 모든 범위에서 상기 저고도 수치모델과 상기 고고도 수치모델의 피라미드 후보 데이터를 생성하고,
    상기 저고도 수치모델 및 상기 고고도 수치모델의 최상위 레벨 피라미드 데이터부터 차례대로 상기 저고도 수치모델 및 상기 고고도 수치모델의 상호상관도를 계산하여 최대 상호상관도와 그 다음으로 높은 상호상관도를 갖는 제2 상호상관도를 탐색하며,
    상기 최대 상호상관도 대비 상기 제2 상호상관도의 비율이 기 설정된 비율을 넘기 시작한 상기 피라미드 후보 데이터 중의 레벨을 상기 계층화된 피라미드 데이터의 최상위 레벨로 결정하는 것을 특징으로 하는 이종 고도 항공영상을 이용한 3차원 지형정보 정합 장치.
  15. 청구항 10에 있어서,
    상기 정합변수 산출부는,
    상기 저고도 수치모델에 대한 이동, 회전 및 크기 변화 중 적어도 하나를 포함하는 유클리드 변환(Euclidean Transform)을 적용하여 상기 고고도 수치모델과 각각의 위치에서 가장 유사도가 높은 위치를 탐색하여, 상기 고고도 수치모델과 상기 저고도 수치모델의 정합을 판단하는 것을 특징으로 하는 이종 고도 항공영상을 이용한 3차원 지형정보 정합 장치.
  16. 청구항 10에 있어서,
    상기 고고도 수치모델은,
    수치표면모델(DSM; Digital Surface Model) 또는 수치표고모델(DEM; Digital Elevation Model) 형식의 수치모델인 것을 특징으로 하는 이종 고도 항공영상을 이용한 3차원 지형정보 정합 장치.
  17. 청구항 10에 있어서,
    상기 저고도 3차원 지형정보는,
    UAV 촬영 영상을 입력으로 생성된 저고도 3차원 지형정보인 것을 특징으로 하는 이종 고도 항공영상을 이용한 3차원 지형정보 정합 장치.
  18. 청구항 10에 있어서,
    상기 저고도 3차원 지형정보는
    3D Dense Point Cloud 또는 3D 메쉬 형태의 지형과 지상 구조물의 정보를 포함하는 3차원 지형정보인 것을 특징으로 하는 이종 고도 항공영상을 이용한 3차원 지형정보 정합 장치.
  19. 특정 고도에서 촬영된 고고도 지형촬영 영상을 기초로 고고도 수치모델을 입력받는 고고도 수치모델 입력부;
    상기 특정 고도보다 낮은 고도에서 촬영된 저고도 지형촬영 영상을 기초로 저고도 수치모델을 생성하는 저고도 수치모델 생성부;
    상기 고고도 수치모델과 상기 저고도 수치모델의 상호상관도를 측정하여 상기 고고도 수치모델과 상기 저고도 수치모델이 정합되는 정합변수를 산출하는 정합변수 산출부; 및
    상기 정합변수에 기초하여 상기 고고도 지형촬영 영상과 상기 저고도 지형촬영 영상의 정합 결과를 출력하는 지형정보 정합부를 포함하고,
    상기 정합변수 산출부는,
    상기 저고도 수치모델 및 상기 고고도 수치모델 각각을 계층화된 피라미드 데이터로 변환하고 계층별 단계적인 정합을 판단하되,
    상기 계층화된 피라미드 데이터의 최상위 레벨을 결정하고,
    상기 저고도 수치모델 및 상기 고고도 수치모델의 최상위 레벨 피라미드 데이터에서는 모든 위치에서의 상호상관도를 계산하여 가장 상호상관도가 높은 위치 영역을 추출하며,
    상기 저고도 수치모델 및 상기 고고도 수치모델의 차순위 레벨 피라미드 데이터에서는 상기 위치 영역에 대응하는 영역에 한정하여 상호상관도를 측정하는 것을 특징으로 하는 이종 고도 항공영상을 이용한 3차원 지형정보 정합 장치.
  20. 청구항 19에 있어서,
    상기 고고도 수치모델 및 상기 저고도 수치모델은,
    수치표면모델(DSM; Digital Surface Model) 또는 수치표고모델(DEM; Digital Elevation Model) 형식의 수치모델인 것을 특징으로 하는 이종 고도 항공영상을 이용한 3차원 지형정보 정합 장치.
KR1020180167509A 2018-12-21 2018-12-21 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법 및 장치 KR102275572B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180167509A KR102275572B1 (ko) 2018-12-21 2018-12-21 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법 및 장치
US16/664,517 US10991157B2 (en) 2018-12-21 2019-10-25 Method and apparatus for matching 3-dimensional terrain information using heterogeneous altitude aerial images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180167509A KR102275572B1 (ko) 2018-12-21 2018-12-21 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200078013A KR20200078013A (ko) 2020-07-01
KR102275572B1 true KR102275572B1 (ko) 2021-07-09

Family

ID=71098733

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180167509A KR102275572B1 (ko) 2018-12-21 2018-12-21 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법 및 장치

Country Status (2)

Country Link
US (1) US10991157B2 (ko)
KR (1) KR102275572B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230076731A (ko) * 2021-11-24 2023-05-31 한국전자통신연구원 3차원 일체형 모델에서 지형 모델 및 지물 모델을 분리하는 방법 및 이를 수행하는 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599583B (zh) * 2019-07-26 2022-03-18 深圳眸瞳科技有限公司 无人机飞行轨迹生成方法、装置、计算机设备和存储介质
FR3107359B1 (fr) * 2020-02-18 2022-02-25 Thales Sa Procede et dispositif de determination d'obstacles d'altitude
CN112734929B (zh) * 2020-12-28 2022-06-03 三峡大学 基于网格细分算法的土石坝复杂土料场开挖方量计算方法
CN113240743B (zh) * 2021-05-18 2022-03-25 浙江大学 基于神经网络的异构图像位姿估计及配准方法、装置及介质
US20230122535A1 (en) * 2021-10-19 2023-04-20 Wing Aviation Llc Processes for Generating and Updating Flyable Airspace for Unmanned Aerial Vehicles
CN115358356B (zh) * 2022-10-24 2023-02-03 中国电子科技集团公司第十研究所 一种地面设备匹配方法、电子设备及存储介质
KR20240071697A (ko) * 2022-11-16 2024-05-23 네이버랩스 주식회사 빌딩 컨트롤 포인트 자동 취득 방법 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170200309A1 (en) * 2015-12-16 2017-07-13 Objectvideo, Inc. Using satellite imagery to enhance a 3d surface model of a real world cityscape
US20180157911A1 (en) * 2016-12-02 2018-06-07 GEOSAT Aerospace & Technology Methods and systems for automatic object detection from aerial imagery

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6587601B1 (en) * 1999-06-29 2003-07-01 Sarnoff Corporation Method and apparatus for performing geo-spatial registration using a Euclidean representation
KR100500898B1 (ko) 2003-12-18 2005-07-18 한국전자통신연구원 공간정보를 이용한 3차원 공간모델링 장치 및 그 방법
JP2005308553A (ja) * 2004-04-21 2005-11-04 Topcon Corp 三次元画像計測装置及び方法
KR100912715B1 (ko) 2007-12-17 2009-08-19 한국전자통신연구원 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치
KR100973052B1 (ko) 2009-04-24 2010-07-30 서울시립대학교 산학협력단 라이다데이터를 이용한 디지털 항공영상의 자동 정합기법
US8963943B2 (en) 2009-12-18 2015-02-24 Electronics And Telecommunications Research Institute Three-dimensional urban modeling apparatus and method
KR101006729B1 (ko) 2010-07-23 2011-01-10 (주)동광지엔티 수치 표고모델 제작 방법 및 시스템
KR20120067757A (ko) 2010-12-16 2012-06-26 한국전자통신연구원 항공 영상 간 대응 관계 추출 장치 및 그 방법
US10515458B1 (en) * 2017-09-06 2019-12-24 The United States Of America, As Represented By The Secretary Of The Navy Image-matching navigation method and apparatus for aerial vehicles

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170200309A1 (en) * 2015-12-16 2017-07-13 Objectvideo, Inc. Using satellite imagery to enhance a 3d surface model of a real world cityscape
US20180157911A1 (en) * 2016-12-02 2018-06-07 GEOSAT Aerospace & Technology Methods and systems for automatic object detection from aerial imagery

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230076731A (ko) * 2021-11-24 2023-05-31 한국전자통신연구원 3차원 일체형 모델에서 지형 모델 및 지물 모델을 분리하는 방법 및 이를 수행하는 장치
KR102611535B1 (ko) * 2021-11-24 2023-12-08 한국전자통신연구원 3차원 일체형 모델에서 지형 모델 및 지물 모델을 분리하는 방법 및 이를 수행하는 장치

Also Published As

Publication number Publication date
KR20200078013A (ko) 2020-07-01
US10991157B2 (en) 2021-04-27
US20200202616A1 (en) 2020-06-25

Similar Documents

Publication Publication Date Title
KR102275572B1 (ko) 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법 및 장치
Nouwakpo et al. Assessing the performance of structure‐from‐motion photogrammetry and terrestrial LiDAR for reconstructing soil surface microtopography of naturally vegetated plots
KR102007567B1 (ko) 스테레오 드론 및 이를 이용하는 무기준점 토공량 산출 방법과 시스템
KR100912715B1 (ko) 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치
Piermattei et al. Suitability of ground-based SfM–MVS for monitoring glacial and periglacial processes
KR102567800B1 (ko) 드론을 이용한 3차원 지도 제작 방법
KR102557775B1 (ko) 드론을 이용한 3차원 지도 제작 방법
KR102318522B1 (ko) 수치표고모델을 이용한 3차원 가상 환경 저작 시스템 및 그것의 동작 방법
KR100948099B1 (ko) 항공 레이저 측량을 이용한 식생의 면적 산출 시스템 및 방법
Polat et al. DTM generation with UAV based photogrammetric point cloud
Alobeid et al. Comparison of matching algorithms for DSM generation in urban areas from Ikonos imagery
CN111324952A (zh) 基于多源遥感数据获取水位的冰湖体积估算方法
JP2017201261A (ja) 形状情報生成システム
JP2015125092A (ja) 計測結果の整合性判定方法、及び計測結果の整合性判定装置
Nasir et al. Accuracy assessment of digital elevation model generated from pleiades tri stereo-pair
Starek et al. Small-scale UAS for geoinformatics applications on an island campus
EP2772801A1 (en) Matching procedure and device for the digital modelling of objects by stereoscopic images
MOKRANE et al. DEM generation based on UAV photogrammetry
JP2019148436A (ja) 森林地域での立木の評価方法、及びこの評価方法における評価対象エリアの特定に適した境界線測量方法
Eckert et al. Comparison of automatic DSM generation modules by processing IKONOS stereo data of an urban area
Wang et al. Lidar ground filtering algorithm for urban areas using scan line based segmentation
Barnhart et al. Topographic change detection at Chalk Cliffs, Colorado, USA, using airborne lidar and UAS-based structure-from-motion photogrammetry
Eisank et al. Semi-Global Matching of Pléiades tri-stereo imagery to generate detailed digital topography for high-alpine regions
KR102587445B1 (ko) 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법
JP6282940B2 (ja) 林相解析装置及びプログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181221

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20191220

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20181221

Comment text: Patent Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210209

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210614

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210705

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210706

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240625

Start annual number: 4

End annual number: 4