KR20230064380A - Apparatus and method for generating 3D DSM using multi-view and multi-time satellite images - Google Patents

Apparatus and method for generating 3D DSM using multi-view and multi-time satellite images Download PDF

Info

Publication number
KR20230064380A
KR20230064380A KR1020210149902A KR20210149902A KR20230064380A KR 20230064380 A KR20230064380 A KR 20230064380A KR 1020210149902 A KR1020210149902 A KR 1020210149902A KR 20210149902 A KR20210149902 A KR 20210149902A KR 20230064380 A KR20230064380 A KR 20230064380A
Authority
KR
South Korea
Prior art keywords
satellite
surface model
numerical surface
space
view
Prior art date
Application number
KR1020210149902A
Other languages
Korean (ko)
Inventor
박순용
이민재
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020210149902A priority Critical patent/KR20230064380A/en
Priority to PCT/KR2022/005243 priority patent/WO2023080359A1/en
Publication of KR20230064380A publication Critical patent/KR20230064380A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

Disclosed are a device and method for generating a 3D digital surface model (DSM) using multi-view satellite images, which may not provide a rational polynomial coefficient (RPC), and may use satellite images which can be easily obtained, so as to generate a 3D DSM of land surface objects.

Description

다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치 및 방법{Apparatus and method for generating 3D DSM using multi-view and multi-time satellite images}Apparatus and method for generating 3D DSM using multi-view and multi-time satellite images}

본 발명은 3차원 수치표면 모델 생성 장치 및 방법에 관한 것으로, 보다 상세하게는 RPC(Rational Polynomial Coefficient)가 제공되지 않으며 쉽게 확보할 수 있는 위성 영상을 이용하여 지표면 물체의 3차원 수치표면 모델(Digital Surface Model, DSM)을 생성할 수 있는 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for generating a 3D numerical surface model, and more particularly, to a 3D numerical surface model (digital It relates to an apparatus and method for generating a 3D numerical surface model using multi-view satellite images capable of generating a surface model (DSM).

일반적으로, 수치표면 모델(Digital Surface Model, DSM)은 지표면 물체의 3차원 형상을 수치로 표현한 것으로, 지표면의 3차원 형상 정보이기 때문에 다중 위성 영상을 이용해야 한다. 예를 들어, 다중 위성 영상과 함께 다중 위성 영상과 관련된 비례 다항 계수(Rational Polynomial Coefficient, RPC)를 제공받는 경우, 지표면 물체에 대한 3차원 수치표면 모델(Digital Surface Model, DSM)의 생성이 가능하다.In general, a digital surface model (DSM) is a numerical representation of the 3D shape of an object on the ground, and since it is 3D shape information on the ground surface, multi-satellite images must be used. For example, when a multi-satellite image and a proportional polynomial coefficient (RPC) related to the multi-satellite image are provided, it is possible to create a 3-dimensional digital surface model (DSM) for a ground object. .

그러나, 지표면의 일정 지역에 대하여 고해상도 위성영상을 확보하는 것은 위성 영상의 판권을 가진 회사를 통하여 구입해야 하기에 큰 비용이 발생한다. 또한 기존의 위성 영상 판매기업에서는 지구의 특정 위치에 대한 다시점 영상을 확보하고 있지 않기 때문에 위성 보유 기업에 직접 촬영을 요청하거나 RPC 정보를 요청해야 하며, 이로 인해 3차원 수치표면 모델을 생성하는데 많은 비용이 발생하게 된다.However, securing a high-resolution satellite image for a certain area of the earth's surface is expensive because it must be purchased through a company that holds the copyright of the satellite image. In addition, existing satellite image sales companies do not have multi-viewpoint images for a specific location on the earth, so they must directly request shooting or request RPC information from satellite holding companies, resulting in high costs in generating a 3D numerical surface model. this will happen

본 발명은 RPC(Rational Polynomial Coefficient)가 제공되지 않으며 쉽게 확보할 수 있는 위성 영상을 이용하여 지표면 물체의 3차원 수치표면 모델(Digital Surface Model, DSM)을 생성할 수 있는 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치 및 방법을 제공하기 위한 것이다.The present invention does not provide RPC (Rational Polynomial Coefficient) and uses a satellite image that can be easily obtained to generate a 3D digital surface model (Digital Surface Model, DSM) of a ground object using a multi-view satellite image. It is to provide a device and method for generating a 3D numerical surface model using

본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 방법은 RPC(Rational Polynomial Coefficient)가 제공되지 않는 위성 영상을 이용하여 지표면 물체의 3차원 형상을 수치로 표현한 수치표면 모델을 생성하는 방법으로서, 자세 추정부에 의해, 촬영 일시가 다르고 위성 카메라의 시점이 다른 하나 이상의 다시점-다일시 위성 영상을 이용하여 상기 다시점-다일시 위성 영상을 촬영한 추정 위성 카메라의 자세 정보를 추정하는 단계; 제1 수치표면모델 복원부에 의해, 상기 추정 위성 카메라의 자세 정보와 상기 다시점-다일시 위성 영상을 이용하여 다시점 스테레오 정합에 의해 상기 추정 위성 카메라의 제1 3차원 수치표면 모델을 복원하는 단계; 3차원 호모그래피 산출부에 의해, 상기 추정 위성 카메라의 3차원 수치표면 모델 공간의 다수의 모서리점과, 지표면 물체의 수직 상공에 위치하는 것으로 상정된 가상 위성 카메라의 3차원 수치표면 모델 공간의 다수의 모서리점을 이용하여 3차원 호모그래피를 산출하는 단계; 및 제2 수치표면모델 복원부에 의해, 상기 3차원 호모그래피를 이용하여 상기 추정 위성 카메라의 제1 3차원 수치표면 모델 공간의 점들을 가상 위성 카메라 공간으로 변형하여 왜곡이 없는 제2 3차원 수치표면 모델을 생성하는 단계를 포함한다.The method for generating a 3D numerical surface model using multi-view satellite images according to an embodiment of the present invention is a numerical representation of the 3D shape of an object on the ground using satellite images for which RPC (Rational Polynomial Coefficient) is not provided. As a method for generating a surface model, an estimation satellite camera in which a multi-view satellite image is captured using at least one multi-view satellite image with a different shooting date and time and a viewpoint of the satellite camera is different by a posture estimation unit. estimating attitude information of; Restoring, by a first numerical surface model restoration unit, a first 3D numerical surface model of the estimated satellite camera by multi-view stereo matching using the position information of the estimated satellite camera and the multi-view satellite image step; By the 3D homography calculation unit, a plurality of corner points of the 3D numerical surface model space of the estimated satellite camera and a plurality of 3D numerical surface model spaces of the virtual satellite camera assumed to be located vertically above the ground object Calculating 3D homography using corner points of ; and a second numerical surface model restoring unit transforming the points in the first 3D numerical surface model space of the estimated satellite camera into a virtual satellite camera space using the 3D homography to obtain a second 3D numerical value without distortion. Creating a surface model.

본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 방법은 수치표면모델 합성부에 의해, 상기 다시점-다일시 위성 영상과 대응되는 각 다시점에서 복원한 모든 제2 3차원 수치표면 모델을 합성하여 제3 3차원 수치표면 모델을 생성하는 단계를 더 포함할 수 있다.In the method of generating a 3D numerical surface model using multi-view satellite images according to an embodiment of the present invention, by a numerical surface model synthesis unit, all the restored images from each multi-view corresponding to the multi-view satellite images are displayed. The method may further include generating a third 3-dimensional numerical surface model by synthesizing the second 3-dimensional numerical surface model.

상기 제1 3차원 수치표면 모델을 복원하는 단계는 역깊이 공간을 사용하는 다시점 스테레오 정합 처리를 수행하여 역깊이 영상을 생성하고, 상기 역깊이 영상의 깊이 값을 이용하여 상기 제1 3차원 수치표면 모델을 복원하는 단계를 포함할 수 있다.In the step of restoring the first 3D numerical surface model, a multi-view stereo matching process using an inverse depth space is performed to generate an inverse depth image, and the first 3D numerical surface model is obtained by using a depth value of the inverse depth image. It may include restoring the surface model.

상기 제1 3차원 수치표면 모델을 복원하는 단계는 각 추정 위성 카메라의 자세 정보와 상기 다시점-다일시 위성 영상을 이용하여 3차원 역깊이 공간을 정의하고 상기 3차원 역깊이 공간에서 다시점 스테레오 정합비용을 산출하는 단계; 상기 다시점 스테레오 정합 비용이 최소가 되는 최소 정합 비용 좌표를 구하고, 상기 최소 정합 비용 좌표를 지표면의 물체점으로 결정하여 상기 역깊이 영상을 생성하는 단계; 및 상기 역깊이 영상의 깊이 값과 상기 추정 위성 카메라의 자세 정보를 이용하여 상기 지표면 물체까지의 실제 깊이 값을 산출함으로써 상기 추정 위성 카메라의 3차원 수치표면 모델을 복원하는 단계를 포함할 수 있다.In the step of restoring the first 3D numerical surface model, a 3D inverse depth space is defined using attitude information of each estimation satellite camera and the multi-view satellite image, and multi-view stereo is obtained in the 3D inverse depth space. Calculating a matching cost; generating the inverse depth image by obtaining a minimum matching cost coordinate at which the multi-view stereo matching cost is minimized and determining the minimum matching cost coordinate as an object point on the ground surface; and restoring a 3D numerical surface model of the estimated satellite camera by calculating an actual depth value to the ground surface object using the depth value of the inverse depth image and attitude information of the estimated satellite camera.

상기 3차원 호모그래피를 산출하는 단계는 상기 추정 위성 카메라의 역깊이 영상에서 복원되어 비대칭 육면체 공간으로 왜곡된 상기 제1 3차원 수치표면 모델 공간의 8개 모서리점과, 상기 가상 위성 카메라의 직육면체 공간인 상기 제2 3차원 수치표면 모델 공간의 8개 모서리점을 이용하여 상기 3차원 호모그래피를 계산하는 단계를 포함할 수 있다.The step of calculating the 3D homography includes eight corner points of the first 3D numerical surface model space, which are restored from the inverse depth image of the estimated satellite camera and distorted to an asymmetric hexahedral space, and the cuboid space of the virtual satellite camera. and calculating the 3D homography using eight corner points of the second 3D numerical surface model space.

본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 방법은 위성 영상 수집부에 의해, 구글어스 데이터베이스로부터 상기 지표면 물체에 대한 위성 영상의 화면을 캡쳐함으로써 RPC가 제공되지 않는 상기 다시점-다일시 위성 영상을 수집하는 단계를 더 포함할 수 있다.In the method of generating a 3D numerical surface model using multi-view satellite images according to an embodiment of the present invention, the RPC is provided by capturing the screen of the satellite image of the ground surface object from the Google Earth database by the satellite image collection unit. The method may further include collecting the multi-view satellite images that do not become available.

본 발명의 실시예에 따르면, 자세 추정부에 의해, 지표면 물체에 대해 획득된 하나 이상의 위성 영상을 이용하여 상기 위성 영상을 촬영한 추정 위성 카메라의 자세 정보를 추정하는 단계; 3차원 호모그래피 산출부에 의해, 상기 추정 위성 카메라의 왜곡된 3차원 수치표면 모델 공간의 다수의 모서리점과, 가상 위성 카메라의 왜곡되지 않은 3차원 수치표면 모델 공간의 다수의 모서리점을 이용하여 3차원 호모그래피를 산출하는 단계; 및 제1 수치표면모델 복원부에 의해 상기 위성 영상을 이용하여 다시점 스테레오 정합에 의해 복원된 상기 추정 위성 카메라의 제1 3차원 수치표면 모델 공간의 점들을, 제2 수치표면모델 복원부에 의해 상기 3차원 호모그래피를 이용하여 가상 위성 카메라 공간으로 변형하여 상기 지표면 물체에 대해 왜곡이 없는 3차원 수치표면 모델을 생성하는 단계를 포함한다.According to an embodiment of the present invention, estimating attitude information of an estimated satellite camera that has taken the satellite image using at least one satellite image obtained for a ground object by a posture estimating unit; The 3D homography calculation unit uses a plurality of corner points of the distorted 3D numerical surface model space of the estimated satellite camera and a plurality of corner points of the undistorted 3D numerical surface model space of the virtual satellite camera. Calculating 3D homography; and points in the first 3D numerical surface model space of the estimated satellite camera restored by multi-view stereo matching using the satellite image by the first numerical surface model restoring unit, by the second numerical surface model restoring unit. and generating a distortion-free 3D numerical surface model of the ground surface object by transforming it into a virtual satellite camera space using the 3D homography.

본 발명의 실시예에 따르면, 상기 방법을 실행시키도록 컴퓨터로 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램이 제공된다.According to an embodiment of the present invention, a computer program recorded on a computer-readable recording medium to execute the method is provided.

본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치는 RPC(Rational Polynomial Coefficient)가 제공되지 않는 위성 영상을 이용하여 지표면 물체의 3차원 형상을 수치로 표현한 수치표면 모델을 생성하기 위한 장치로서, 촬영 일시가 다르고 위성 카메라의 시점이 다른 하나 이상의 다시점-다일시 위성 영상을 이용하여 상기 다시점-다일시 위성 영상을 촬영한 추정 위성 카메라의 자세 정보를 추정하도록 구성되는 자세 추정부; 상기 추정 위성 카메라의 자세 정보와 상기 다시점-다일시 위성 영상을 이용하여 다시점 스테레오 정합에 의해 상기 추정 위성 카메라의 제1 3차원 수치표면 모델을 복원하도록 구성되는 제1 수치표면모델 복원부; 상기 추정 위성 카메라의 3차원 수치표면 모델 공간의 다수의 모서리점과, 지표면 물체의 수직 상공에 위치하는 것으로 상정된 가상 위성 카메라의 3차원 수치표면 모델 공간의 다수의 모서리점을 이용하여 3차원 호모그래피를 산출하도록 구성되는 3차원 호모그래피 산출부; 및 상기 3차원 호모그래피를 이용하여 상기 추정 위성 카메라의 제1 3차원 수치표면 모델 공간의 점들을 가상 위성 카메라 공간으로 변형하여 왜곡이 없는 제2 3차원 수치표면 모델을 생성하도록 구성되는 제2 수치표면모델 복원부를 포함한다.An apparatus for generating a 3D numerical surface model using multi-view satellite images according to an embodiment of the present invention is a numerical expression of a 3D shape of an object on the ground using a satellite image for which RPC (Rational Polynomial Coefficient) is not provided. An apparatus for generating a surface model, wherein at least one multi-view satellite image with a different shooting date and time and a viewpoint of the satellite camera is used to estimate attitude information of an estimated satellite camera that has captured the multi-view satellite image. a posture estimation unit configured to; a first numerical surface model restoring unit configured to restore a first 3D numerical surface model of the estimated satellite camera by multi-view stereo matching using attitude information of the estimated satellite camera and the multi-view satellite image; Using a plurality of corner points of the 3D numerical surface model space of the estimation satellite camera and a plurality of corner points of the 3D numerical surface model space of the virtual satellite camera assumed to be located vertically above the ground object, the 3D homogeneous a 3D homography calculator configured to calculate a graph; and a second numerical value configured to generate a distortion-free second 3D numerical surface model by transforming points in a first 3D numerical surface model space of the estimation satellite camera into a virtual satellite camera space using the 3D homography. Includes a surface model restoration unit.

본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치는 상기 다시점-다일시 위성 영상과 대응되는 각 다시점에서 복원한 모든 제2 3차원 수치표면 모델을 합성하여 제3 3차원 수치표면 모델을 생성하도록 구성되는 수치표면모델 합성부를 더 포함할 수 있다.An apparatus for generating a 3D numerical surface model using a multi-view satellite image according to an embodiment of the present invention generates all second 3-dimensional numerical surface models reconstructed from each multi-view point corresponding to the multi-view satellite image. It may further include a numerical surface model synthesis unit configured to synthesize and generate a third 3-dimensional numerical surface model.

상기 제1 수치표면모델 복원부는 역깊이 공간을 사용하는 다시점 스테레오 정합 처리를 수행하여 역깊이 영상을 생성하고, 상기 역깊이 영상의 깊이 값을 이용하여 상기 제1 3차원 수치표면 모델을 복원하도록 구성될 수 있다.The first numerical surface model reconstruction unit performs multi-view stereo matching processing using an inverse depth space to generate an inverse depth image, and restores the first 3-dimensional numerical surface model using a depth value of the inverse depth image. can be configured.

상기 제1 수치표면모델 복원부는 각 추정 위성 카메라의 자세 정보와 상기 다시점-다일시 위성 영상을 이용하여 3차원 역깊이 공간을 정의하고, 상기 3차원 역깊이 공간에서 다시점 스테레오 정합비용을 산출하고; 상기 다시점 스테레오 정합 비용이 최소가 되는 최소 정합 비용 좌표를 구하고, 상기 최소 정합 비용 좌표를 지표면의 물체점으로 결정하여 상기 역깊이 영상을 생성하고; 그리고 상기 역깊이 영상의 깊이 값과 상기 추정 위성 카메라의 자세 정보를 이용하여 상기 지표면 물체까지의 실제 깊이 값을 산출함으로써 상기 추정 위성 카메라의 3차원 수치표면 모델을 복원하도록 구성될 수 있다.The first numerical surface model reconstruction unit defines a 3-dimensional inverse depth space using the position information of each estimated satellite camera and the multi-view satellite image, and calculates a multi-view stereo matching cost in the 3-dimensional inverse depth space do; obtaining a minimum matching cost coordinate at which the multi-view stereo matching cost is minimized, and determining the minimum matching cost coordinate as an object point on the ground surface to generate the inverse depth image; In addition, a 3D numerical surface model of the estimated satellite camera may be restored by calculating an actual depth value to the ground surface object using the depth value of the inverse depth image and attitude information of the estimated satellite camera.

상기 3차원 호모그래피 산출부는 상기 추정 위성 카메라의 역깊이 영상에서 복원되어 비대칭 육면체 공간으로 왜곡된 상기 제1 3차원 수치표면 모델 공간의 8개 모서리점과, 상기 가상 위성 카메라의 직육면체 공간인 상기 제2 3차원 수치표면 모델 공간의 8개 모서리점을 이용하여 상기 3차원 호모그래피를 계산하도록 구성될 수 있다.The 3D homography calculation unit restores eight corner points of the first 3D numerical surface model space distorted into an asymmetrical hexahedron space by restoring from the inverse depth image of the estimated satellite camera, and the first cuboid space of the virtual satellite camera. 2 may be configured to calculate the 3D homography using 8 corner points of a 3D numerical surface model space.

본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치는 구글어스 데이터베이스로부터 상기 지표면 물체에 대한 위성 영상의 화면을 캡쳐함으로써 RPC가 제공되지 않는 상기 다시점-다일시 위성 영상을 수집하도록 구성되는 위성 영상 수집부를 더 포함할 수 있다.An apparatus for generating a 3D numerical surface model using a multi-view-multi-view satellite image according to an embodiment of the present invention captures a screen of a satellite image of a ground-surface object from a Google Earth database, so that the multi-view-multipoint RPC is not provided. A satellite image collecting unit configured to collect temporary satellite images may be further included.

본 발명의 실시예에 의하면, RPC(Rational Polynomial Coefficient)가 제공되지 않으며 쉽게 확보할 수 있는 위성 영상을 이용하여 지표면 물체의 3차원 수치표면 모델(Digital Surface Model, DSM)을 생성할 수 있는 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치 및 방법이 제공된다.According to an embodiment of the present invention, RPC (Rational Polynomial Coefficient) is not provided and a multi-viewpoint capable of generating a 3D digital surface model (DSM) of a ground object using a satellite image that can be easily obtained - An apparatus and method for generating a 3D numerical surface model using satellite imagery is provided.

도 1은 본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 방법의 순서도이다.
도 2는 본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치의 구성도이다.
도 3 및 도 4는 본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 방법을 설명하기 위한 개념도이다.
도 5는 도 1의 단계 S20을 구체적으로 나타낸 순서도이다.
도 6은 도 1의 단계 S20을 설명하기 위한 개념도이다.
도 7은 본 발명의 실시예에 따라 생성된 3차원 역깊이 공간의 예시도이다.
도 8 및 도 9는 추정 위성 카메라의 제1 3차원 수치표면모델 공간이 가상 위성 카메라의 3차원 제2 수치표면모델 공간으로부터 왜곡된 것을 나타낸 개념도이다.
도 10은 추정 위성 카메라의 제1 3차원 DSM 공간을 나타낸 예시도이다. 도 11은 가상 위성 카메라의 제2 3차원 DSM 공간을 나타낸 예시도이다.1 is a flowchart of a method for generating a 3D numerical surface model using multi-view satellite images according to an embodiment of the present invention.
2 is a block diagram of an apparatus for generating a 3D numerical surface model using multi-view satellite images according to an embodiment of the present invention.
3 and 4 are conceptual diagrams for explaining a method for generating a 3D numerical surface model using multi-view satellite images according to an embodiment of the present invention.
5 is a flowchart showing step S20 of FIG. 1 in detail.
FIG. 6 is a conceptual diagram for explaining step S20 of FIG. 1 .
7 is an exemplary diagram of a 3D inverse depth space created according to an embodiment of the present invention.
8 and 9 are conceptual diagrams showing that the first 3D numerical surface model space of the estimated satellite camera is distorted from the 3D second numerical surface model space of the virtual satellite camera.
10 is an exemplary diagram illustrating a first 3-dimensional DSM space of an estimated satellite camera. 11 is an exemplary diagram illustrating a second 3D DSM space of a virtual satellite camera.

본 명세서에서 사용되는 용어와 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것이므로, 본 발명이 용어와 도면에 의해 한정되는 것은 아니다. 본 발명에 이용되는 기술 중 본 발명의 사상과 밀접한 관련이 없는 공지의 기술에 관한 자세한 설명은 생략한다. 아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 또한, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Since the terms used in this specification and the accompanying drawings are for easily describing the present invention, the present invention is not limited by the terms and drawings. Among the technologies used in the present invention, a detailed description of known technologies that are not closely related to the spirit of the present invention will be omitted. Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily carry out the present invention. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein. In addition, in describing preferred embodiments of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and actions.

어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 구체적으로, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.'Including' a certain component means that other components may be further included, rather than excluding other components unless otherwise stated. Specifically, terms such as "comprise" or "having" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features or It should be understood that the presence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded. Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In addition, shapes and sizes of elements in the drawings may be exaggerated for clearer description.

본 명세서 전체에서 사용되는 '~부' 및 '~모듈' 은 적어도 하나의 기능이나 동작을 처리하는 단위로서, 예를 들어 소프트웨어, FPGA, ASIC, 하나 이상의 프로세서와 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부' 및 '~모듈'이 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부' 및 '~모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 일 예로서 '~부' 및 '~모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터구조들, 테이블들, 어레이들 및 변수들을 포함할 수 있다. 구성요소와 '~부' 및 '~모듈'에서 제공하는 기능은 복수의 구성요소 및 '~부' 및 '~모듈'들에 의해 분리되어 수행될 수도 있고, 다른 추가적인 구성요소와 통합될 수도 있다.'~ unit' and '~ module' used throughout this specification are units that process at least one function or operation, and may mean, for example, hardware components such as software, FPGA, ASIC, or one or more processors. . However, '~ unit' and '~ module' are not meant to be limited to software or hardware. '~unit' and '~module' may be configured to reside in an addressable storage medium and may be configured to reproduce one or more processors. As an example, '~unit' and '~module' are components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, may include procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, datastructures, tables, arrays and variables. Functions provided by components, '~units' and '~modules' may be performed separately by a plurality of components, '~units' and '~modules', or may be integrated with other additional components. .

도 1은 본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 방법의 순서도이다. 도 2는 본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치의 구성도이다. 도 3 및 도 4는 본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 방법을 설명하기 위한 개념도이다.1 is a flowchart of a method for generating a 3D numerical surface model using multi-view satellite images according to an embodiment of the present invention. 2 is a block diagram of an apparatus for generating a 3D numerical surface model using multi-view satellite images according to an embodiment of the present invention. 3 and 4 are conceptual diagrams for explaining a method for generating a 3D numerical surface model using multi-view satellite images according to an embodiment of the present invention.

도 3은 다수의 다시점-다일시 위성 영상을 이용하여 지표면 물체에 대한 3차원 수치표면 모델을 생성하는 과정을 나타낸 것이고, 도 4는 다시점-다일시 위성 영상에서 한 장의 영상을 기준(reference) 영상으로 정하여 기준 영상만을 처리하여 지표면 물체에 대한 3차원 수치표면 모델을 생성하는 과정을 나타낸 것이다.3 shows a process of generating a 3D numerical surface model for a surface object using a plurality of multi-view-multi-view satellite images, and FIG. 4 shows a reference image from a multi-view-multi-view satellite image. ) image and process only the reference image to create a 3D numerical surface model for the surface object.

도 1 내지 도 4를 참조하면, 본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 방법은 예를 들어 구글어스(google earth)와 같이 비례 다항 계수(Rational Polynomial Coefficient, RPC)가 제공되지 않으며 누구나 접근하여 확보할 수 있는 위성 영상을 이용하여 지표면 물체의 3차원 형상을 수치로 표현한 수치표면 모델(Digital Surface Model, DSM)을 생성하기 위해 제공된다.1 to 4, a method for generating a 3D numerical surface model using a multi-view satellite image according to an embodiment of the present invention is a proportional polynomial coefficient (Rational Polynomial Coefficient, RPC) is not provided, and it is provided to create a Digital Surface Model (DSM) that numerically expresses the 3D shape of a ground object using satellite images that anyone can access and secure.

본 발명의 실시예에 따른 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치(100)는 위성 영상 수집부(110), 자세 추정부(120), 제1 수치표면모델 복원부(130), 3차원 호모그래피 산출부(140), 제2 수치표면모델 복원부(150), 및 수치표면모델 합성부(160)를 포함할 수 있다.The apparatus 100 for generating a 3D numerical surface model using multi-view satellite images according to an embodiment of the present invention includes a satellite image collection unit 110, a posture estimation unit 120, and a first numerical surface model restoration unit ( 130), a 3D homography calculation unit 140, a second numerical surface model restoration unit 150, and a numerical surface model synthesis unit 160.

위성 영상 수집부(110)는 누구나 접근할 수 있는 구글어스 등의 위성 영상 데이터베이스로부터 지표면 물체에 대해 획득된 다수의 다시점-다일시 위성 영상을 수집할 수 있다. 위성영상 판매기업을 통해 구입한 영상은 RPC가 같이 제공되기 때문에 다시점 위성영상 사이의 일치하는 영상점 좌표와 RPC를 이용하여 영상점의 3차원 표면 정보를 구할 수 있다. 그러나, 구글어스와 같이 인터넷에 공개된 다시점-다일시 위성 영상의 경우, RPC가 제공되지 않기 때문에 다시점 2차원 영상 사이에 일치하는 영상점의 좌표를 구하더라도 3차원 좌표를 구하는 것이 불가능하다.The satellite image collection unit 110 may collect a plurality of multi-view satellite images obtained for a ground-surface object from a satellite image database such as Google Earth accessible to anyone. Since images purchased through satellite image sales companies are provided together with RPC, 3D surface information of image points can be obtained by using image point coordinates and RPC that match between multi-view satellite images. However, in the case of multi-view satellite images published on the Internet such as Google Earth, since RPC is not provided, it is impossible to obtain 3-dimensional coordinates even if coordinates of image points that match between multi-view 2-dimensional images are obtained. .

본 발명은 RPC가 제공되지 않는 다시점-다일시 위성 영상을 이용하여 3차원 수치표면 모델을 생성하기 위한 방안을 제시한다. 먼저, 구글어스 다시점-다일시 위성 영상의 특성에 대해 설명하면, 구글어스에서는 WGS84 좌표계를 기준으로 지표면의 영상을 제공하고 있다. 구글어스에서는 위성 카메라가 지표면을 수직으로 내려보고 있다고 가정하고 정사영상(Ortho-image)에 해당하는 지표면 영상을 제공한다. 그러나 실제로 지표면 영상을 획득한 위성은 대부분 지표면의 바로 수직 상공에 있지 않고 일정한 각도로 비스듬한 방향으로 지표면에 대한 위성 영상을 촬영한다.The present invention proposes a method for generating a 3D numerical surface model using multi-view satellite images for which RPC is not provided. First, describing the characteristics of Google Earth multi-view satellite images, Google Earth provides images of the ground surface based on the WGS84 coordinate system. In Google Earth, it is assumed that the satellite camera is looking down at the ground surface vertically and provides an ortho-image of the ground surface. However, most satellites that actually acquire ground surface images do not lie directly above the ground surface, but take satellite images of the ground surface in an oblique direction at a constant angle.

위성에 장착된 카메라는 수직 아래의 지표면의 영상만을 획득하는 것이 아니고, 위성에서 보이는 다른 각도의 지표면의 영상을 촬영하도록 카메라의 시점을 이동하여 영상을 획득한다. 따라서 구글어스의 영상에서는 고도가 0에 가까운 지표면의 물체는 WGS84 좌표계와 최대한 일치하도록 조정되어 거의 동일한 영상 좌표를 가지고 있는 반면, 고도가 있는 물체의 경우 도 3에 도시된 다시점-다일시 위성 영상(10)과 같이 카메라의 촬영 각도 때문에 물체의 형상이 기울어지게 보이는 것을 확인할 수 있다.A camera mounted on a satellite not only acquires an image of the ground surface vertically below it, but acquires an image by moving the viewpoint of the camera to capture an image of the ground surface at a different angle seen from the satellite. Therefore, in the image of Google Earth, objects on the surface with altitudes close to 0 are adjusted to match the WGS84 coordinate system as much as possible and have almost the same image coordinates, whereas objects with altitudes have multi-view satellite images shown in FIG. As shown in (10), it can be confirmed that the shape of the object looks tilted due to the shooting angle of the camera.

예를 들어, 도 3에 도시된 다수의 다시점-다일시 위성 영상(10)에서 피라미드의 꼭대기는 고도가 높기 때문에 위성 카메라의 촬영 각도로 인하여 서로 다른 각도로 기울어진 형상으로 나타난다. 이는 위성이 동일 지역을 촬영하더라도 촬영 일시에 따라 위성 카메라의 시점이 변화하여 위성 영상을 촬영한 시점의 위성 카메라의 자세(위치 및 회전)가 서로 다르기 때문에 발생하는 현상으로, 이와 같이 여러 자세에서 위성 카메라에 의해 획득되는 위성 영상을 다시점-다일시 위성 영상으로 간주할 수 있다. 구글어스에서는 이와 같이 촬영 일시가 다르고 위성 카메라의 시점이 다른 다시점-다일시 위성 영상(10)을 쉽게 확보할 수 있다.For example, in the multi-view-multi-view satellite image 10 shown in FIG. 3, since the top of the pyramid has a high altitude, it appears inclined at different angles due to the shooting angle of the satellite camera. This is a phenomenon that occurs because the position (position and rotation) of the satellite camera at the time of capturing the satellite image is different from each other because the viewpoint of the satellite camera changes according to the shooting date and time even if the satellite captures the same area. A satellite image obtained by a camera may be regarded as a multi-view satellite image. In Google Earth, it is possible to easily secure multi-view satellite images 10 with different shooting dates and times and different viewpoints of satellite cameras.

도 3의 다시점-다일시 위성 영상(10)은 위성 영상 수집부(110)에 의해 구글어스에서 동일한 지표면 영역(직사각형)을 캡쳐하여 획득된 위성 영상이다. 위성 영상 수집부(110)는 구글어스와 같은 위성 영상 데이터베이스에서 위성 카메라의 촬영일시를 변경하여 화면 캡쳐 등의 방법으로 여러장(대략 10장 내외)의 다시점-다일시 위성 영상(10)을 획득할 수 있다.The multi-view-multi-view satellite image 10 of FIG. 3 is a satellite image obtained by capturing the same land surface area (rectangular shape) in Google Earth by the satellite image collecting unit 110 . The satellite image collecting unit 110 changes the shooting date and time of a satellite camera in a satellite image database such as Google Earth, and captures multiple (approximately 10 or so) multi-view satellite images 10 by a method such as screen capture. can be obtained

자세 추정부(120)는 촬영 일시가 다르고 위성 카메라의 시점이 다른 다수의 다시점-다일시 위성 영상(10)을 이용하여, 다시점-다일시 위성 영상(10)을 촬영한 원근투영 카메라 모델을 가진 추정 위성 카메라의 자세 정보(내부 자세 정보 및 외주 자세 정보)를 추정할 수 있다(S10). 자세 추정부(120)는 가상의 3차원 공간좌표(직교 좌표계)에서 각 추정 위성 카메라의 외부 자세, 즉 상대적인 회전 정보(R) 및 이동 정보(t)를 [R|t] 변환 행렬로 저장할 수 있다.The attitude estimator 120 is a perspective projection camera model that captures the multi-view satellite image 10 using a plurality of multi-view-multi-date satellite images 10 with different capture dates and viewpoints of satellite cameras. It is possible to estimate the attitude information (internal attitude information and outer attitude information) of the estimation satellite camera having (S10). The attitude estimator 120 may store the external attitude of each estimated satellite camera, that is, the relative rotation information (R) and movement information (t), as a [R|t] transformation matrix in virtual three-dimensional space coordinates (Cartesian coordinate system). there is.

다시점-다일시 위성 영상의 RPC 정보가 없기 때문에 위성 영상을 획득한 실제 위성 카메라의 외부 자세를 정확히 알기는 어려우므로, 우선 다시점-다일시 위성 영상(10)을 이용하여 SFM(shape from motion) 알고리즘의 최적화 방법을 기반으로 실제 위성 카메라의 외부 자세를 추정하는 과정이 수행될 수 있다. 위성 카메라의 내부 자세는 원근투영모델(Perspective Projection model)을 따르도록 설정되거나 SFM 알고리즘의 추정값이 적용될 수 있다.Since there is no RPC information of the multi-view satellite image, it is difficult to accurately know the external attitude of the actual satellite camera that acquired the satellite image. ), the process of estimating the external attitude of the actual satellite camera can be performed based on the optimization method of the algorithm. The internal attitude of the satellite camera may be set to follow a perspective projection model or an estimated value of an SFM algorithm may be applied.

제1 수치표면모델 복원부(130)는 자세 추정부(120)에 의해 추정된 위성 카메라(추정 위성 카메라)의 자세 정보와, 다시점-다일시 위성 영상을 이용하여 다시점 스테레오 정합에 의해 추정 위성 카메라의 제1 3차원 수치표면 모델(40)을 복원할 수 있다(S20). 실시예에서, 제1 수치표면모델 복원부(130)는 역깊이 공간(inverse depth volume)(20)을 사용하는 다시점 스테레오 정합 알고리즘을 이용하여 역깊이 영상(30)을 생성하고, 추정 위성 카메라의 내부 및 외부 자세 정보를 사용하여 역깊이 영상(30)으로부터 제1 3차원 수치표면 모델(40)을 복원할 수 있다.The first numerical surface model restoration unit 130 is estimated by multi-view stereo matching using the attitude information of the satellite camera (estimation satellite camera) estimated by the attitude estimation unit 120 and the multi-view satellite image. The first 3D numerical surface model 40 of the satellite camera may be restored (S20). In an embodiment, the first numerical surface model restoration unit 130 generates an inverse depth image 30 using a multi-view stereo matching algorithm using an inverse depth volume 20, and the estimated satellite camera The first 3D numerical surface model 40 may be reconstructed from the inverse depth image 30 using internal and external posture information of .

도 5는 도 1의 단계 S20을 구체적으로 나타낸 순서도이다. 도 6은 도 1의 단계 S20을 설명하기 위한 개념도이다. 도 1 내지 도 6을 참조하면, 제1 수치표면모델 복원부(130)는 정합비용 산출부(132), 역깊이 영상 생성부(134), 및 3차원 수치표면모델 복원부(136)를 포함할 수 있다.5 is a flowchart showing step S20 of FIG. 1 in detail. FIG. 6 is a conceptual diagram for explaining step S20 of FIG. 1 . 1 to 6, the first numerical surface model restoration unit 130 includes a matching cost calculation unit 132, an inverse depth image generation unit 134, and a 3D numerical surface model restoration unit 136. can do.

정합비용 산출부(132)는 자세 추정부(120)에 의해 획득된 각 추정 위성 카메라의 자세 정보와 다시점-다일시 위성 영상(10)을 이용하여 3차원 역깊이 공간(20)을 정의하고, 3차원 역깊이 공간(20)에서 다시점 스테레오 정합비용을 산출할 수 있다(S22).The matching cost calculation unit 132 defines a 3D inverse depth space 20 using the attitude information of each estimated satellite camera acquired by the attitude estimation unit 120 and the multi-view satellite image 10, , a multi-view stereo matching cost can be calculated in the 3D inverse depth space 20 (S22).

도 6의 실시예는 MVS(multi-view stereo matching) 기술 중의 하나인 EnSoft3D 방법으로 n장의 다시점-다일시 영상을 입력으로 n개의 역깊이 공간을 이용하여 스테레오 정합 비용을 구하고, 그 결과로 n장의 역깊이 영상을 생성하는 과정을 나타낸 것이다. MVS 기술을 사용할 때 각 시점 간의 일치점의 좌표 변환 과정은 다시점 위성 카메라 사이의 카메라 자세 정보를 활용하여 수행될 수 있다.The embodiment of FIG. 6 calculates the stereo matching cost by using n inverse depth spaces with n multi-view images as input using the EnSoft3D method, which is one of multi-view stereo matching (MVS) technologies, and as a result n It shows the process of generating an inverse depth image of the intestine. When using the MVS technology, the process of converting the coordinates of the coincidence points between viewpoints can be performed using camera attitude information between multi-viewpoint satellite cameras.

도 7은 본 발명의 실시예에 따라 생성된 3차원 역깊이 공간의 예시도이다. 도 1 내지 도 7을 참조하면, 역깊이 공간(20, 90)은 영상의 x 축 및 y 축과, 역깊이 (inverse depth)를 나타내는 d 축으로 구성될 수 있다. 여기서 x 축 및 y 축의 해상도는 위성 영상의 픽셀 해상도와 동일하며, d 축은 깊이를 어떤 해상도로 구분할 것이지에 따라서 Nd 해상도를 가질 수 있다. 역깊이 공간(20, 90)의 바닥면은 지표면(92)에 해당한다.7 is an exemplary diagram of a 3D inverse depth space created according to an embodiment of the present invention. Referring to FIGS. 1 to 7 , the inverse depth spaces 20 and 90 may include an x-axis and a y-axis of an image and a d-axis representing an inverse depth. Here, the resolution of the x-axis and the y-axis is the same as the pixel resolution of the satellite image, and the d-axis may have Nd resolution depending on which resolution is used to classify the depth. Bottom surfaces of the inverse depth spaces 20 and 90 correspond to the ground surface 92 .

역깊이 공간(20, 90)의 점은 (x,y,d)로 표현할 수 있으며, (x,y,d)를 실제 깊이 공간으로 변환하는 과정에서 추정 위성 카메라의 내부 및 외부 자세 정보가 이용될 수 있다. 다시점 2차원 영상들 사이에서 동일한 물체점의 (x,y) 좌표를 찾는 것은 다시점 스테레오 정합(multi-view stereo matching, MVS) 문제와 동일하며, 깊이 공간(20, 90)의 다시점 스테레오 정합 비용이 최소인 (x,y,d)를 지표면의 물체점으로 결정할 수 있다.Points in the inverse depth space (20, 90) can be expressed as (x, y, d), and in the process of converting (x, y, d) to real depth space, the internal and external attitude information of the estimated satellite camera is used. It can be. Finding the (x,y) coordinates of the same object point among multi-view 2D images is the same as the multi-view stereo matching (MVS) problem, and the multi-view stereo (x,y,d) with the minimum matching cost can be determined as the object point on the ground.

역깊이 영상 생성부(134)는 정합비용 산출부(132)에 의해 산출되는 3차원 역깊이 공간(20)에서의 다시점 스테레오 정합 비용이 최소가 되는 최소 정합 비용 좌표 (x,y,d)를 구하고, 최소 정합 비용 좌표 (x,y,d)를 지표면의 물체점으로 결정하여 역깊이 영상(30)을 생성할 수 있다(S24).The inverse depth image generator 134 calculates the minimum matching cost coordinates (x, y, d) at which the multi-view stereo matching cost in the 3-dimensional inverse depth space 20 calculated by the matching cost calculator 132 is minimized. The inverse depth image 30 may be generated by obtaining and determining the minimum matching cost coordinates (x, y, d) as an object point on the ground surface (S24).

3차원 수치표면모델 복원부(136)는 역깊이 영상 생성부(134)에 의해 생성된 역깊이 영상(30)의 깊이 값(d 값)과, 추정 위성 카메라의 자세 정보를 이용하여 추정 위성 카메라에서 지표면 물체까지의 실제 깊이 값을 산출함으로써 추정 위성 카메라의 제1 3차원 수치표면 모델(40)을 복원할 수 있다(S26). 이때, 추정 위성 카메라에서 지표면 물체까지의 실제 깊이 값은 하기 수학식 1에 따라 산출될 수 있다.The 3D numerical surface model restoration unit 136 uses the depth value (d value) of the inverse depth image 30 generated by the inverse depth image generator 134 and the attitude information of the estimated satellite camera to obtain an estimated satellite camera. The first 3D numerical surface model 40 of the estimation satellite camera may be restored by calculating the actual depth value from to the ground surface object (S26). In this case, the actual depth value from the estimation satellite camera to the ground surface object may be calculated according to Equation 1 below.

[수학식 1][Equation 1]

Figure pat00001
Figure pat00001

수학식 1에서, B는 임의의 기초선(baseline) 값, fx, fy, Ox, Oy는 추정 위성 카메라의 내부 자세 정보(추정 위성 카메라의 초점 및 기준 좌표), x, y, d는 역깊이 공간의 최소 정합 비용 좌표이다. 각 깊이 정보는 추정 위성 카메라의 좌표 공간에서 3차원 점 (x,y,z)으로 표현될 수 있다.In Equation 1, B is an arbitrary baseline value, fx, fy, Ox, Oy are internal attitude information (focus and reference coordinates of the estimated satellite camera) of the estimated satellite camera, and x, y, and d are inverse depths is the least matched cost coordinate in space. Each depth information can be expressed as a 3D point (x,y,z) in the coordinate space of the estimated satellite camera.

앞서 설명한 바와 같이, 구글어스 등의 인터넷에 공개된 위성 영상은 대부분 RPC가 제공되지 않는다. 추정 위성 카메라는 지표면의 수직 방향에 있지 않은 경우가 대부분이므로, RPC가 없는 다시점-다일시 위성 영상으로부터 MVS 알고리즘으로 위성 영상들 간의 일치점을 구하여 추정 위성 카메라의 좌표계를 기준으로 복원한 제1 3차원 수치표면모델은 실제 지표면 물체의 형상으로부터 왜곡(변형)이 발생한다. 이하에서는 왜곡된 제1 3차원 수치표면모델을 지표면의 수직 상공에 있는 것으로 상정되는 가상 위성 카메라의 좌표계로 변환하여 왜곡이 없는 정확한 제2 3차원 수치표면모델을 구하는 방법에 대해 설명한다.As described above, most satellite images published on the Internet such as Google Earth do not provide RPC. Since the estimation satellite camera is not in the vertical direction of the ground surface in most cases, first and third restorations based on the coordinate system of the estimation satellite camera are obtained by obtaining coincidence points between the satellite images using the MVS algorithm from the multi-view satellite image without RPC. In the dimensional numerical surface model, distortion (deformation) occurs from the shape of the actual ground surface object. Hereinafter, a method for obtaining an accurate second 3D numerical surface model without distortion by converting the distorted first 3D numerical surface model into the coordinate system of a virtual satellite camera assumed to be located vertically above the earth's surface will be described.

먼저, 추정 위성 카메라의 좌표계를 기준으로 생성된 제1 3차원 수치표면모델의 왜곡 발생 이유에 대해 보다 구체적으로 설명한다. 도 8 및 도 9는 추정 위성 카메라의 제1 3차원 수치표면모델 공간이 가상 위성 카메라의 3차원 제2 수치표면모델 공간으로부터 왜곡된 것을 나타낸 개념도이다.First, the reason for the distortion of the first 3D numerical surface model generated based on the coordinate system of the estimation satellite camera will be described in more detail. 8 and 9 are conceptual diagrams showing that the first 3D numerical surface model space of the estimated satellite camera is distorted from the 3D second numerical surface model space of the virtual satellite camera.

전술한 바와 같이, 각 위성 영상의 역깊이 공간 (x,y,d)을 추정 위성 카메라 좌표계를 기준으로 3차원 좌표 (X,Y,Z)로 변환하면 제1 3차원 수치표면모델이 복원되는데, 이때 3차원 역깊이 공간을 추정 위성 카메라 좌표계로 변환한 공간을 제1 3차원 수치표면모델 공간(66, 72)이라고 칭하기로 한다.As described above, when the inverse depth space (x, y, d) of each satellite image is converted into 3-dimensional coordinates (X, Y, Z) based on the estimated satellite camera coordinate system, the first 3-dimensional numerical surface model is restored. , At this time, the spaces obtained by converting the 3D inverse depth space into the estimated satellite camera coordinate system will be referred to as first 3D numerical surface model spaces 66 and 72.

도 8 및 도 9에는 추정 위성 카메라(62)의 제1 3차원 수치표면모델 공간(66, 72)과, 지표면 수직 상공에 있는 것으로 상정된 가상 위성 카메라(64)의 제2 3차원 수치표면모델 공간(68, 74)이 도시되어 있다. 이러한 수치표면모델 공간(66, 68, 72, 74)은 카메라 좌표계를 기준으로 표현된다.8 and 9 show the first 3-dimensional numerical surface model spaces 66 and 72 of the estimated satellite camera 62 and the second 3-dimensional numerical surface model of the virtual satellite camera 64 assumed to be in the vertical space above the earth's surface. Spaces 68 and 74 are shown. These numerical surface model spaces 66, 68, 72, and 74 are expressed based on the camera coordinate system.

가상 위성 카메라(64)는 지표면의 DSM 공간의 높이에 비하여 고도가 매우 높고, 구글어스 등의 위성 영상은 원근투영(perspective projection) 왜곡이 없는 정사영상(ortho-image)을 가정하기 때문에 카메라 모델을 직교투영(othographic projection) 모델로 간주할 수 있다.The virtual satellite camera 64 has a very high altitude compared to the height of the DSM space on the ground, and since satellite images such as Google Earth assume an ortho-image without perspective projection distortion, the camera model It can be considered as an othographic projection model.

따라서 가상 위성 카메라(64)를 기준으로 보면 역깊이 공간을 복원한 제2 3차원 DSM 공간은 직육면체 공간이 되지만, 실제 지표면 물체를 촬영한 것으로 추정되는 추정 위성 카메라는 SFM 알고리즘을 사용하여 카메라의 내부 및 외부 자세 정보를 구하기 때문에 원근투영(perspective projection) 모델을 가정한다. 이와 같이 추정 위성 카메라는 원근투영 모델을 가지는 것으로 가정되므로, 역깊이 공간으로부터 복원된 제1 3차원 DSM 공간은 직육면체가 되지 못하고 왜곡이 있는 비대칭 육면체 공간이 된다.Therefore, when looking at the virtual satellite camera 64 as a standard, the second 3-dimensional DSM space in which the inverse depth space is restored becomes a cuboid space, but the estimated satellite camera estimated to have photographed the actual ground surface object uses the SFM algorithm to And since external posture information is obtained, a perspective projection model is assumed. As such, since the estimated satellite camera is assumed to have a perspective projection model, the first 3D DSM space restored from the inverse depth space does not become a rectangular parallelepiped and becomes an asymmetric hexahedron space with distortion.

도 8 및 도 9에서 제1 3차원 DSM 공간(66, 72)과 제2 3차원 DMS 공간(68, 74)의 각 모서리는 동일한 물체점이지만, 추정 위성 카메라의 DSM 공간 왜곡으로 인하여 지표면의 4점을 제외한 고도를 가진 공중에 뜬 4개의 모서리점은 서로 다른 좌표값을 가지게 되고, 이로 인하여 추정 위성 카메라(62)의 좌표계를 기준으로 복원된 제1 3차원 DSM은 그 형상에 왜곡이 발생하는 것이다.8 and 9, each corner of the first 3-dimensional DSM space 66, 72 and the second 3-dimensional DMS space 68, 74 is the same object point, but due to the DSM space distortion of the estimated satellite camera, 4 of the ground surface The four corner points floating in the air with altitudes other than the points have different coordinate values, and as a result, the first 3-dimensional DSM restored based on the coordinate system of the estimated satellite camera 62 causes distortion of the shape will be.

비대칭 육면체로 왜곡되게 복원된 제1 3차원 DSM 공간(66, 72)을 직육면체 공간으로 변형하여 왜곡이 없는 가상 위성 카메라 좌표계의 제2 3차원 DSM 공간(68, 74)으로 복원하기 위하여, 3차원 호모그래피 산출부(140)는 추정 위성 카메라(62)의 제1 3차원 수치표면 모델 공간(66, 72)의 다수의 모서리점과, 지표면 물체의 수직 상공에 위치하는 가상 위성 카메라(64)의 제2 3차원 수치표면 모델 공간(68, 74)의 다수의 모서리점을 이용하여 3차원 호모그래피(3D Homography)를 산출할 수 있다(S30).In order to transform the first 3-dimensional DSM space 66 and 72 distorted into an asymmetric hexahedron into a cuboid space and restore it to the second 3-dimensional DSM space 68 and 74 of the virtual satellite camera coordinate system without distortion, The homography calculator 140 calculates the number of corner points of the first 3D numerical surface model spaces 66 and 72 of the estimated satellite camera 62 and the virtual satellite camera 64 located vertically above the ground object. 3D homography may be calculated using a plurality of corner points of the second 3D numerical surface model spaces 68 and 74 (S30).

제2 수치표면모델 복원부(150)는 3차원 호모그래피 산출부(140)에 의해 산출된 3차원 호모그래피를 이용하여 추정 위성 카메라의 제1 3차원 수치표면 모델 공간(66, 72)의 점들을 가상 위성 카메라 공간으로 변형하여 왜곡이 없는 제2 3차원 수치표면 모델(50)을 생성할 수 있다(S40).The second numerical surface model restoration unit 150 uses the 3D homography calculated by the 3D homography calculation unit 140 to determine the points of the first 3D numerical surface model space 66 and 72 of the estimated satellite camera. It is possible to generate a distortion-free second 3D numerical surface model 50 by transforming them into a virtual satellite camera space (S40).

도 10은 추정 위성 카메라의 제1 3차원 DSM 공간을 나타낸 예시도이다. 도 11은 가상 위성 카메라의 제2 3차원 DSM 공간을 나타낸 예시도이다. 제1 3차원 DSM 공간으로부터 제2 3차원 수치표면 모델 공간으로의 3차원 공간 변형은 투영 카메라 모델과 직교 카메라 모델 간의 변형이므로, 15개의 미지수를 가진 3차원 호모그래피가 필요하다.10 is an exemplary diagram illustrating a first 3-dimensional DSM space of an estimated satellite camera. 11 is an exemplary diagram illustrating a second 3D DSM space of a virtual satellite camera. Since the 3D spatial transformation from the first 3D DSM space to the second 3D numerical surface model space is the transformation between the projection camera model and the orthogonal camera model, 3D homography with 15 unknowns is required.

추정 위성 카메라(62)에서 가상 위성 카메라(64)로의 좌표계 변환은 역깊이 공간(20)의 8개의 모서리점의 좌표값을 이용하여 3차원 호모그래피를 적용하여 수행될 수 있다. 추정 위성 카메라 좌표계 기준으로 표현된 제1 3차원 DSM의 3차원 모서리점(84)을 X라 하고, 가상 위성카메라 좌표계 기준으로 표현된 DSM의 3차원 모서리점(88)을 X'라 하면, X와 X'의 관계는 3차원 호모그래피 관계에 있으므로 하기 수학식 2와 같이 나타낼 수 있다.The conversion of the coordinate system from the estimated satellite camera 62 to the virtual satellite camera 64 may be performed by applying 3D homography using coordinate values of eight corner points of the inverse depth space 20 . If the 3D corner point 84 of the first 3D DSM expressed based on the estimated satellite camera coordinate system is X and the 3D corner point 88 of the DSM expressed based on the virtual satellite camera coordinate system is X', X Since the relationship between and X' is in a three-dimensional homography relationship, it can be expressed as in Equation 2 below.

[수학식 2][Equation 2]

Figure pat00002
Figure pat00002

수학식 2에서,

Figure pat00003
는 가상 위성 카메라 좌표계 기준으로 표현된 DSM의 3차원 호모그래피 좌표로서, 하기 수학식 3과 같이 나타낼 수 있다.In Equation 2,
Figure pat00003
Is the 3D homography coordinates of the DSM expressed based on the virtual satellite camera coordinate system, and can be expressed as in Equation 3 below.

[수학식 3][Equation 3]

Figure pat00004
Figure pat00004

수학식 3에서, M은 15개의 미지수(m1 내지 m15)를 가지는 3차원 호모그래피이다. X'와

Figure pat00005
의 관계는 하기 수학식 4와 같이 나타낼 수 있다.In Equation 3, M is a 3D homography having 15 unknowns (m 1 to m 15 ). X' and
Figure pat00005
The relationship of can be expressed as in Equation 4 below.

[수학식 4][Equation 4]

Figure pat00006
Figure pat00006

Figure pat00007
와 X의 관계와, 두 DSM 공간의 동일한 모서리점 X와 X'의 좌표를 이용하여 하기 수학식 5 내지 수학식 7과 같은 연립방정식들을 구할 수 있다.
Figure pat00007
Simultaneous equations such as Equations 5 to 7 can be obtained using the relationship between and X and the coordinates of the same corner points X and X' of the two DSM spaces.

[수학식 5][Equation 5]

Figure pat00008
Figure pat00008

[수학식 6][Equation 6]

Figure pat00009
Figure pat00009

[수학식 7][Equation 7]

Figure pat00010
Figure pat00010

수학식 5 내지 수학식 7의 연립방정식들은 두 DSM 공간의 동일한 모서리점에서 구할 수 있다. DSM 공간은 8개의 모서리점으로 구성되므로, 각 모서리를 Xi와 Xi'로 표현하면 하기 수학식 8과 같이 24×15 행렬을 이용하여 AM = b 형태의 선형방정식을 구할 수 있다.The simultaneous equations of Equations 5 to 7 can be obtained at the same corner point of the two DSM spaces. Since the DSM space is composed of 8 corner points, if each corner is expressed as X i and X i ', a linear equation of the form AM = b can be obtained using a 24 × 15 matrix as shown in Equation 8 below.

[수학식 8][Equation 8]

Figure pat00011
Figure pat00011

수학식 8과 같은 AM = b 형태의 선형방정식은 선형함수이므로 일반적인 수학툴을 이용하여 구할 수 있다. 3차원 호모그래피 행렬 M을 구한 후, 제1 수치표면모델 복원부(130)에 의해 단계 S20 과정에서 얻어진 제1 3차원 수치표면 모델(40, 82)의 모든 점들을 변환하면 지표면 수직 상공에 있는 가상 위성 카메라에서 획득한 것과 같은 정확한 DSM인 제2 3차원 수치표면 모델(50, 86)을 구할 수 있다.A linear equation in the form of AM = b as shown in Equation 8 is a linear function and can be obtained using a general mathematical tool. After obtaining the 3D homography matrix M, by converting all the points of the first 3D numerical surface model (40, 82) obtained in step S20 by the first numerical surface model restoration unit 130, Second three-dimensional numerical surface models 50 and 86, which are accurate DSMs as obtained from virtual satellite cameras, can be obtained.

즉, 각 추정 위성 카메라의 역깊이 영상에서 복원한 왜곡이 있는 제1 3차원 DSM 공간(비대칭 육면체 공간)의 8개 모서리점과, 가상 위성 카메라의 제2 3차원 DSM 공간(직육면체 공간)의 8개 모서리점을 이용하여 3차원 호모그래피를 계산하고, 계산된 3차원 호모그래피를 이용하여 추정 위성 카메라에서 복원한 왜곡된 제1 3차원 DSM(40, 82)의 모든 점들을 가상 위성 카메라 공간으로 3차원 변환하는 과정을 통해 왜곡이 없는 제2 3차원 DSM(50, 86)을 생성할 수 있다.That is, 8 corner points of the first 3-dimensional DSM space (asymmetric hexahedron space) with distortion restored from the inverse depth image of each estimated satellite camera and 8 corner points of the 2 3-dimensional DSM space (cuboid space) of the virtual satellite camera 3D homography is calculated using the four corner points, and all points of the distorted 1st 3D DSM (40, 82) restored from the estimated satellite camera using the calculated 3D homography are transferred to the virtual satellite camera space. Through the process of 3D transformation, the second 3D DSMs 50 and 86 without distortion can be generated.

수치표면모델 합성부(160)는 각 다시점-다일시 위성 영상으로부터 가상 위성 카메라 좌표계로 변환되어 복원된 모든 왜곡이 없는 제2 3차원 DSM(50, 86)을 합성하여 최종적으로 하나 이상의 다시점-다일시 위성 영상으로부터 하나의 조밀하고 정밀한 제3 3차원 DSM(60)을 생성할 수 있다(S50). 이때, 수치표면모델 합성부(160)는 다수의 제2 3차원 DSM(50, 86)을 평균하거나 점군(point cloud)를 더하는 등의 방식으로 제3 3차원 DSM(60)을 생성할 수 있다.The numerical surface model synthesis unit 160 synthesizes the second 3D DSMs 50 and 86 without all distortions restored by converting each multi-view satellite image into a virtual satellite camera coordinate system and finally combining one or more multi-viewpoints. - One dense and precise third 3D DSM 60 can be generated from multi-time satellite images (S50). At this time, the numerical surface model synthesis unit 160 may generate a third 3-dimensional DSM 60 by averaging a plurality of second 3-dimensional DSMs 50 and 86 or adding a point cloud. .

한편, 도 4에 도시된 바와 같이 다시점-다일시 위성 영상 중 기준 영상을 이용한 역깊이 공간의 정합 비용의 계산은 앞서 설명한 바와 같은 MVS 알고리즘을 사용하여 동일하게 수행될 수 있다. MVS 알고리즘을 사용하여 역깊이 공간에서 정합 비용이 최소인 (x,y,d)를 지표면 물체점으로 결정하여 역깊이 영상을 획득하고 3차원 DSM을 복원한 후, 가상 위성 카메라 좌표계로 변환하는 과정은 다수의 다시점-다일시 위성 영상을 이용하여 3차원 DSM을 복원하는 과정과 동일하다.Meanwhile, as shown in FIG. 4 , the calculation of the matching cost of the inverse depth space using the reference image among the multi-view-multi-view satellite images can be performed in the same way using the MVS algorithm as described above. The process of obtaining an inverse depth image by determining (x,y,d), which has the minimum matching cost, as the surface object point in the inverse depth space using the MVS algorithm, restoring the 3D DSM, and then converting it to the virtual satellite camera coordinate system is the same as the process of restoring a 3D DSM using multiple multi-view satellite images.

상술한 바와 같은 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치 및 방법은 누구나 구할 수 있는 공개 위성 영상을 이용하여 지표면의 3차원 수치모델을 생성하는데 활용될 수 있으며, 특히 원격 탐사나 군사 시설 탐사, 자율주행을 위한 도로 지형 탐사 등의 다양한 목적 및 용도로 활용될 수 있다.The apparatus and method for generating a 3D numerical surface model using multi-view satellite images as described above can be used to generate a 3D numerical model of the surface using public satellite images that anyone can obtain, and in particular, remote sensing. It can be used for various purposes and purposes, such as exploration of military facilities and road terrain exploration for autonomous driving.

이상의 실시 예들은 본 발명의 이해를 돕기 위하여 제시된 것으로, 본 발명의 범위를 제한하지 않으며, 이로부터 다양한 변형 가능한 실시 예들도 본 발명의 범위에 속하는 것임을 이해하여야 한다. 본 발명의 기술적 보호범위는 특허청구범위의 기술적 사상에 의해 정해져야 할 것이며, 본 발명의 기술적 보호범위는 특허청구범위의 문언적 기재 그 자체로 한정되는 것이 아니라 실질적으로는 기술적 가치가 균등한 범주의 발명까지 미치는 것임을 이해하여야 한다.It should be understood that the above embodiments are presented to aid understanding of the present invention, do not limit the scope of the present invention, and various deformable embodiments also fall within the scope of the present invention. The scope of technical protection of the present invention should be determined by the technical spirit of the claims, and the scope of technical protection of the present invention is not limited to the literal description of the claims themselves, but is substantially equal to the scope of technical value. It should be understood that it extends to the invention of

10 : 다시점-다일시 위성 영상
20 : 역깊이 공간
30 : 역깊이 영상
40 : 제1 3차원 수치표면 모델
50 : 제2 3차원 수치표면 모델
60 : 제3 3차원 수치표면 모델
100 : 다시점-다일시 위성 영상을 이용한 3차원 수치표면 모델 생성 장치
110 : 위성 영상 수집부
120 : 자세 추정부
130 : 제1 수치표면모델 복원부
132 : 정합비용 산출부
134 : 역깊이 영상 생성부
136 : 3차원 수치표면모델 복원부
140 : 3차원 호모그래피 산출부
150 : 제2 수치표면모델 복원부
160 : 수치표면모델 합성부10: multi-view-multi-view satellite image
20: inverse depth space
30: reverse depth image
40: first 3-dimensional numerical surface model
50: second three-dimensional numerical surface model
60: third three-dimensional numerical surface model
100: 3D numerical surface model generation device using multi-view satellite image
110: satellite image collection unit
120: posture estimation unit
130: first numerical surface model restoration unit
132: matching cost calculator
134: inverse depth image generator
136: 3D numerical surface model restoration unit
140: 3D homography calculation unit
150: second numerical surface model restoration unit
160: numerical surface model synthesis unit

Claims (15)

RPC(Rational Polynomial Coefficient)가 제공되지 않는 위성 영상을 이용하여 지표면 물체의 3차원 형상을 수치로 표현한 수치표면 모델을 생성하는 방법으로서,
자세 추정부에 의해, 촬영 일시가 다르고 위성 카메라의 시점이 다른 하나 이상의 다시점-다일시 위성 영상을 이용하여 상기 다시점-다일시 위성 영상을 촬영한 추정 위성 카메라의 자세 정보를 추정하는 단계;
제1 수치표면모델 복원부에 의해, 상기 추정 위성 카메라의 자세 정보와 상기 다시점-다일시 위성 영상을 이용하여 다시점 스테레오 정합에 의해 상기 추정 위성 카메라의 제1 3차원 수치표면 모델을 복원하는 단계;
3차원 호모그래피 산출부에 의해, 상기 추정 위성 카메라의 3차원 수치표면 모델 공간의 다수의 모서리점과, 지표면 물체의 수직 상공에 위치하는 것으로 상정된 가상 위성 카메라의 3차원 수치표면 모델 공간의 다수의 모서리점을 이용하여 3차원 호모그래피를 산출하는 단계; 및
제2 수치표면모델 복원부에 의해, 상기 3차원 호모그래피를 이용하여 상기 추정 위성 카메라의 제1 3차원 수치표면 모델 공간의 점들을 가상 위성 카메라 공간으로 변형하여 왜곡이 없는 제2 3차원 수치표면 모델을 생성하는 단계를 포함하는 방법.As a method of generating a numerical surface model that numerically expresses the three-dimensional shape of a surface object using satellite images for which RPC (Rational Polynomial Coefficient) is not provided,
estimating, by an attitude estimator, attitude information of an estimated satellite camera that captures the multi-view satellite image using one or more multi-view-multi-date satellite images with different capture dates and viewpoints;
Restoring a first 3D numerical surface model of the estimated satellite camera by multi-view stereo matching using the position information of the estimated satellite camera and the multi-view satellite image by a first numerical surface model restoration unit step;
By the 3D homography calculation unit, a plurality of corner points of the 3D numerical surface model space of the estimated satellite camera and a plurality of 3D numerical surface model spaces of the virtual satellite camera assumed to be located vertically above the ground object Calculating 3D homography using corner points of ; and
The second numerical surface model restoration unit transforms points in the first 3-dimensional numerical surface model space of the estimation satellite camera into a virtual satellite camera space using the 3-dimensional homography to obtain a second 3-dimensional numerical surface without distortion. A method comprising generating a model. 청구항 1에 있어서,
수치표면모델 합성부에 의해, 상기 다시점-다일시 위성 영상과 대응되는 각 다시점에서 복원한 모든 제2 3차원 수치표면 모델을 합성하여 제3 3차원 수치표면 모델을 생성하는 단계를 더 포함하는 방법.The method of claim 1,
Further comprising generating a third 3-dimensional numerical surface model by synthesizing all the second 3-dimensional numerical surface models restored from each multi-view point corresponding to the multi-view satellite image at the multi-view-multi-view satellite image by the numerical surface model synthesis unit. How to. 청구항 1에 있어서,
상기 제1 3차원 수치표면 모델을 복원하는 단계는 역깊이 공간을 사용하는 다시점 스테레오 정합 처리를 수행하여 역깊이 영상을 생성하고, 상기 역깊이 영상의 깊이 값을 이용하여 상기 제1 3차원 수치표면 모델을 복원하는 단계를 포함하는 방법.The method of claim 1,
In the step of restoring the first 3D numerical surface model, a multi-view stereo matching process using an inverse depth space is performed to generate an inverse depth image, and the first 3D numerical surface model is obtained by using a depth value of the inverse depth image. A method comprising restoring a surface model. 청구항 3에 있어서,
상기 제1 3차원 수치표면 모델을 복원하는 단계는:
각 추정 위성 카메라의 자세 정보와 상기 다시점-다일시 위성 영상을 이용하여 3차원 역깊이 공간을 정의하고 상기 3차원 역깊이 공간에서 다시점 스테레오 정합비용을 산출하는 단계;
상기 다시점 스테레오 정합 비용이 최소가 되는 최소 정합 비용 좌표를 구하고, 상기 최소 정합 비용 좌표를 지표면의 물체점으로 결정하여 상기 역깊이 영상을 생성하는 단계; 및
상기 역깊이 영상의 깊이 값과 상기 추정 위성 카메라의 자세 정보를 이용하여 상기 지표면 물체까지의 실제 깊이 값을 산출함으로써 상기 추정 위성 카메라의 3차원 수치표면 모델을 복원하는 단계를 포함하는 방법.The method of claim 3,
The step of restoring the first 3-dimensional numerical surface model is:
defining a 3-dimensional inverse depth space using attitude information of each estimation satellite camera and the multi-view satellite image, and calculating a multi-view stereo matching cost in the 3-dimensional inverse depth space;
generating the inverse depth image by obtaining a minimum matching cost coordinate at which the multi-view stereo matching cost is minimized and determining the minimum matching cost coordinate as an object point on the ground surface; and
and restoring a 3D numerical surface model of the estimated satellite camera by calculating an actual depth value to the ground surface object using the depth value of the inverse depth image and attitude information of the estimated satellite camera. 청구항 4에 있어서,
상기 3차원 호모그래피를 산출하는 단계는:
상기 추정 위성 카메라의 역깊이 영상에서 복원되어 비대칭 육면체 공간으로 왜곡된 상기 제1 3차원 수치표면 모델 공간의 8개 모서리점과, 상기 가상 위성 카메라의 직육면체 공간인 상기 제2 3차원 수치표면 모델 공간의 8개 모서리점을 이용하여 상기 3차원 호모그래피를 계산하는 단계를 포함하는 방법.The method of claim 4,
The step of calculating the 3D homography is:
Eight corner points of the first 3D numerical surface model space restored from the inverse depth image of the estimated satellite camera and distorted into an asymmetric hexahedron space, and the second 3D numerical surface model space, which is a rectangular parallelepiped space of the virtual satellite camera Comprising the step of calculating the 3-dimensional homography using eight corner points of. 청구항 1에 있어서,
위성 영상 수집부에 의해, 구글어스 데이터베이스로부터 상기 지표면 물체에 대한 위성 영상의 화면을 캡쳐함으로써 RPC가 제공되지 않는 상기 다시점-다일시 위성 영상을 수집하는 단계를 더 포함하는 방법.The method of claim 1,
The method further comprising collecting, by a satellite image collection unit, the multi-view satellite image for which RPC is not provided by capturing a screen of the satellite image of the ground surface object from a Google Earth database. 청구항 1에 있어서,
상기 지표면 물체와 관련된 다수의 위성 영상으로부터 하나 이상의 기준 영상을 생성하고, 상기 기준 영상에 해당하는 상기 다시점-다일시 위성 영상으로부터 상기 3차원 수치표면 모델을 생성하는 방법.The method of claim 1,
A method of generating one or more reference images from a plurality of satellite images related to the ground-surface object, and generating the three-dimensional numerical surface model from the multi-view-multi-time satellite images corresponding to the reference images. 자세 추정부에 의해, 지표면 물체에 대해 획득된 하나 이상의 위성 영상을 이용하여 상기 위성 영상을 촬영한 추정 위성 카메라의 자세 정보를 추정하는 단계;
3차원 호모그래피 산출부에 의해, 상기 추정 위성 카메라의 왜곡된 3차원 수치표면 모델 공간의 다수의 모서리점과, 가상 위성 카메라의 왜곡되지 않은 3차원 수치표면 모델 공간의 다수의 모서리점을 이용하여 3차원 호모그래피를 산출하는 단계; 및
제1 수치표면모델 복원부에 의해 상기 위성 영상을 이용하여 다시점 스테레오 정합에 의해 복원된 상기 추정 위성 카메라의 제1 3차원 수치표면 모델 공간의 점들을, 제2 수치표면모델 복원부에 의해 상기 3차원 호모그래피를 이용하여 가상 위성 카메라 공간으로 변형하여 상기 지표면 물체에 대해 왜곡이 없는 3차원 수치표면 모델을 생성하는 단계를 포함하는 방법.estimating, by a posture estimator, attitude information of an estimated satellite camera that has captured the satellite image using at least one satellite image obtained for a ground object;
The 3D homography calculation unit uses a plurality of corner points of the distorted 3D numerical surface model space of the estimated satellite camera and a plurality of corner points of the undistorted 3D numerical surface model space of the virtual satellite camera. Calculating 3D homography; and
Points in the first 3D numerical surface model space of the estimated satellite camera restored by multi-view stereo matching using the satellite image by the first numerical surface model restoring unit are reconstructed by the second numerical surface model restoring unit. A method comprising generating a distortion-free three-dimensional numerical surface model of the ground surface object by transforming it into a virtual satellite camera space using three-dimensional homography. 청구항 1 내지 청구항 8 중 어느 한 항의 방법을 실행시키도록 컴퓨터로 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램.A computer program recorded on a computer-readable recording medium to execute the method of any one of claims 1 to 8. RPC(Rational Polynomial Coefficient)가 제공되지 않는 위성 영상을 이용하여 지표면 물체의 3차원 형상을 수치로 표현한 수치표면 모델을 생성하기 위한 장치로서,
촬영 일시가 다르고 위성 카메라의 시점이 다른 하나 이상의 다시점-다일시 위성 영상을 이용하여 상기 다시점-다일시 위성 영상을 촬영한 추정 위성 카메라의 자세 정보를 추정하도록 구성되는 자세 추정부;
상기 추정 위성 카메라의 자세 정보와 상기 다시점-다일시 위성 영상을 이용하여 다시점 스테레오 정합에 의해 상기 추정 위성 카메라의 제1 3차원 수치표면 모델을 복원하도록 구성되는 제1 수치표면모델 복원부;
상기 추정 위성 카메라의 3차원 수치표면 모델 공간의 다수의 모서리점과, 지표면 물체의 수직 상공에 위치하는 것으로 상정된 가상 위성 카메라의 3차원 수치표면 모델 공간의 다수의 모서리점을 이용하여 3차원 호모그래피를 산출하도록 구성되는 3차원 호모그래피 산출부; 및
상기 3차원 호모그래피를 이용하여 상기 추정 위성 카메라의 제1 3차원 수치표면 모델 공간의 점들을 가상 위성 카메라 공간으로 변형하여 왜곡이 없는 제2 3차원 수치표면 모델을 생성하도록 구성되는 제2 수치표면모델 복원부를 포함하는 장치.An apparatus for generating a numerical surface model that numerically expresses the three-dimensional shape of a surface object using satellite images for which RPC (Rational Polynomial Coefficient) is not provided,
an attitude estimator configured to estimate attitude information of an estimated satellite camera that has captured the multi-view satellite image by using at least one multi-view satellite image with a different shooting date and time and a viewpoint of the satellite camera;
a first numerical surface model restoring unit configured to restore a first 3D numerical surface model of the estimated satellite camera by multi-view stereo matching using attitude information of the estimated satellite camera and the multi-view satellite image;
Using a plurality of corner points of the 3D numerical surface model space of the estimation satellite camera and a plurality of corner points of the 3D numerical surface model space of the virtual satellite camera assumed to be located vertically above the ground object, the 3D homogeneous a 3D homography calculator configured to calculate a graph; and
A second numerical surface configured to transform points in a first 3-dimensional numerical surface model space of the estimated satellite camera into a virtual satellite camera space using the 3-dimensional homography to generate a second 3-dimensional numerical surface model without distortion. A device comprising a model restoration unit. 청구항 10에 있어서,
상기 다시점-다일시 위성 영상과 대응되는 각 다시점에서 복원한 모든 제2 3차원 수치표면 모델을 합성하여 제3 3차원 수치표면 모델을 생성하도록 구성되는 수치표면모델 합성부를 더 포함하는 장치.The method of claim 10,
The device further comprises a numerical surface model synthesis unit configured to generate a third 3-dimensional numerical surface model by synthesizing all the second 3-dimensional numerical surface models restored from each multi-view point corresponding to the multi-view satellite image. 청구항 10에 있어서,
상기 제1 수치표면모델 복원부는 역깊이 공간을 사용하는 다시점 스테레오 정합 처리를 수행하여 역깊이 영상을 생성하고, 상기 역깊이 영상의 깊이 값을 이용하여 상기 제1 3차원 수치표면 모델을 복원하도록 구성되는 장치.The method of claim 10,
The first numerical surface model reconstruction unit performs multi-view stereo matching processing using an inverse depth space to generate an inverse depth image, and restores the first 3-dimensional numerical surface model using a depth value of the inverse depth image. device to be configured. 청구항 12에 있어서,
상기 제1 수치표면모델 복원부는:
각 추정 위성 카메라의 자세 정보와 상기 다시점-다일시 위성 영상을 이용하여 3차원 역깊이 공간을 정의하고, 상기 3차원 역깊이 공간에서 다시점 스테레오 정합비용을 산출하고;
상기 다시점 스테레오 정합 비용이 최소가 되는 최소 정합 비용 좌표를 구하고, 상기 최소 정합 비용 좌표를 지표면의 물체점으로 결정하여 상기 역깊이 영상을 생성하고; 그리고
상기 역깊이 영상의 깊이 값과 상기 추정 위성 카메라의 자세 정보를 이용하여 상기 지표면 물체까지의 실제 깊이 값을 산출함으로써 상기 추정 위성 카메라의 3차원 수치표면 모델을 복원하도록 구성되는 장치.The method of claim 12,
The first numerical surface model restoration unit:
defining a 3-dimensional inverse depth space using attitude information of each estimation satellite camera and the multi-view satellite image, and calculating a multi-view stereo matching cost in the 3-dimensional inverse depth space;
obtaining a minimum matching cost coordinate at which the multi-view stereo matching cost is minimized, and determining the minimum matching cost coordinate as an object point on the ground surface to generate the inverse depth image; and
Apparatus configured to restore a 3D numerical surface model of the estimated satellite camera by calculating an actual depth value to the ground surface object using the depth value of the inverse depth image and attitude information of the estimated satellite camera. 청구항 13에 있어서,
상기 3차원 호모그래피 산출부는:
상기 추정 위성 카메라의 역깊이 영상에서 복원되어 비대칭 육면체 공간으로 왜곡된 상기 제1 3차원 수치표면 모델 공간의 8개 모서리점과, 상기 가상 위성 카메라의 직육면체 공간인 상기 제2 3차원 수치표면 모델 공간의 8개 모서리점을 이용하여 상기 3차원 호모그래피를 계산하도록 구성되는 장치.The method of claim 13,
The 3D homography calculator:
Eight corner points of the first 3D numerical surface model space restored from the inverse depth image of the estimated satellite camera and distorted into an asymmetric hexahedron space, and the second 3D numerical surface model space, which is a rectangular parallelepiped space of the virtual satellite camera Device configured to calculate the three-dimensional homography using the eight corner points of. 청구항 10에 있어서,
구글어스 데이터베이스로부터 상기 지표면 물체에 대한 위성 영상의 화면을 캡쳐함으로써 RPC가 제공되지 않는 상기 다시점-다일시 위성 영상을 수집하도록 구성되는 위성 영상 수집부를 더 포함하는 장치.The method of claim 10,
The device further comprises a satellite image collection unit configured to collect the multi-view satellite image for which RPC is not provided by capturing a screen of the satellite image of the ground surface object from the Google Earth database.
KR1020210149902A 2021-11-03 2021-11-03 Apparatus and method for generating 3D DSM using multi-view and multi-time satellite images KR20230064380A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210149902A KR20230064380A (en) 2021-11-03 2021-11-03 Apparatus and method for generating 3D DSM using multi-view and multi-time satellite images
PCT/KR2022/005243 WO2023080359A1 (en) 2021-11-03 2022-04-12 Device and method for generating three-dimensional digital surface model by using multi-view and multi-date and time satellite image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210149902A KR20230064380A (en) 2021-11-03 2021-11-03 Apparatus and method for generating 3D DSM using multi-view and multi-time satellite images

Publications (1)

Publication Number Publication Date
KR20230064380A true KR20230064380A (en) 2023-05-10

Family

ID=86241187

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210149902A KR20230064380A (en) 2021-11-03 2021-11-03 Apparatus and method for generating 3D DSM using multi-view and multi-time satellite images

Country Status (2)

Country Link
KR (1) KR20230064380A (en)
WO (1) WO2023080359A1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005292882A (en) * 2004-03-31 2005-10-20 Remoto Sensing Technology Center Of Japan Image correction processing system
JP3874363B1 (en) * 2005-10-14 2007-01-31 三菱電機株式会社 Position rating device, position rating method, and position rating program
US10430961B2 (en) * 2015-12-16 2019-10-01 Objectvideo Labs, Llc Using satellite imagery to enhance a 3D surface model of a real world cityscape
JP2020008802A (en) * 2018-07-12 2020-01-16 株式会社日立製作所 Three-dimensional map generation device and three-dimensional map generation method
KR102610989B1 (en) * 2019-12-26 2023-12-08 한국전자통신연구원 Method and apparatus of generating digital surface model using satellite imagery

Also Published As

Publication number Publication date
WO2023080359A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
JP6483075B2 (en) Method of 3D panoramic mosaicing of scenes
US5821943A (en) Apparatus and method for recreating and manipulating a 3D object based on a 2D projection thereof
EP2656309B1 (en) Method for determining a parameter set designed for determining the pose of a camera and for determining a three-dimensional structure of the at least one real object
JP4839237B2 (en) 3D shape restoration method, 3D shape restoration device, 3D shape restoration program implementing the method, and recording medium recording the program
CN110246221A (en) True orthophoto preparation method and device
US20170223338A1 (en) Three dimensional scanning system and framework
KR19990028281A (en) Image Combination Method and System Using Parallax-based Technology
Bagheri et al. A framework for SAR-optical stereogrammetry over urban areas
JP2016057092A (en) Method for forming three-dimensional topographic map from sar diagram
JP7502440B2 (en) Method for measuring the topography of an environment - Patents.com
JP2020008802A (en) Three-dimensional map generation device and three-dimensional map generation method
US10346949B1 (en) Image registration
JP4354708B2 (en) Multi-view camera system
WO1996034365A1 (en) Apparatus and method for recreating and manipulating a 3d object based on a 2d projection thereof
Ono et al. Digital mapping using high resolution satellite imagery based on 2D affine projection model
KR20230064380A (en) Apparatus and method for generating 3D DSM using multi-view and multi-time satellite images
Bastanlar et al. 3D reconstruction for a cultural heritage virtual tour system
US11790606B2 (en) Determining camera rotations based on known translations
Maimone et al. A taxonomy for stereo computer vision experiments
Kim et al. Free-viewpoint based high-resolution 3D data acquisition and generation technology for the construction and diffusion of digital cultural assets
Hu et al. Precision 3D surface reconstruction from LRO NAC images using semi-global matching with coupled epipolar rectification
Ding et al. 3D georegistration of wide area motion imagery by combining SFM and chamfer alignment of vehicle detections to vector roadmaps
Ahmadabadian Photogrammetric multi-view stereo and imaging network design
Sarti et al. Image-based surface modeling: a multi-resolution approach
JP3901552B2 (en) Omnidirectional camera viewpoint movement and object shape restoration method, apparatus, omnidirectional camera viewpoint movement and object shape restoration program, and recording medium recording the program

Legal Events

Date Code Title Description
E902 Notification of reason for refusal