KR100973052B1 - Automatic matching method of digital aerial images using lidar data - Google Patents

Automatic matching method of digital aerial images using lidar data Download PDF

Info

Publication number
KR100973052B1
KR100973052B1 KR1020090036171A KR20090036171A KR100973052B1 KR 100973052 B1 KR100973052 B1 KR 100973052B1 KR 1020090036171 A KR1020090036171 A KR 1020090036171A KR 20090036171 A KR20090036171 A KR 20090036171A KR 100973052 B1 KR100973052 B1 KR 100973052B1
Authority
KR
South Korea
Prior art keywords
point
lidar data
image
conjugate point
ground
Prior art date
Application number
KR1020090036171A
Other languages
Korean (ko)
Inventor
이임평
홍주석
오태완
Original Assignee
서울시립대학교 산학협력단
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울시립대학교 산학협력단, 인하대학교 산학협력단 filed Critical 서울시립대학교 산학협력단
Priority to KR1020090036171A priority Critical patent/KR100973052B1/en
Application granted granted Critical
Publication of KR100973052B1 publication Critical patent/KR100973052B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Image Processing (AREA)

Abstract

PURPOSE: An automatic matching method of digital aerial Images using LIDAR data is provided to supply high accurate 3D spatial information by generating a DSM through an accurate ground point of a radiator and the ground point extracted from an image-matched aerial image. CONSTITUTION: An image point indicating a ground point is detected from a duplicated aerial image, and the accuracy of image matching is improved by using virtual LIDAR(Light Detection And Ranging). Through the extraction of vertical error of the ground point, the image matching is verified(S60). Through the matched aerial images and LIDAR data, a DSM(Digital Surface Model) is created(S30). The radiator is collected(S40), and the DSM is updated(S50).

Description

라이다데이터를 이용한 디지털 항공영상의 자동 정합기법{Automatic matching method of digital aerial Images using LIDAR data} Automatic matching method of digital aerial images using LIDAR data

본 발명은 라이다데이터를 이용한 디지털 항공영상의 자동 정합기법에 관한 것으로서, 보다 상세하게는 라이다데이터를 이용하여 정합을 위한 대응 공액점 초기값 추출의 정밀도를 높이고, 대응 공액점 참값의 수렴 속도를 높여 고속이면서 신뢰성 또한 정합기법이며, 또한 영상 정합 전에 라이다데이터를 이용하여 각 항공영상의 외부표정요소를 보정하여 영상 정합의 신뢰성을 한 차원 더 높인 라이다데이터를 이용한 디지털 항공영상의 자동 정합기법에 관한 것이다. The present invention relates to an automatic matching technique for digital aerial imagery using lidar data, and more particularly, to increase the precision of extracting the corresponding conjugate point initial value for matching using the lidar data and to increase the convergence speed of the corresponding conjugate point true value. It is a high-speed and reliable matching technique. Also, it is applied to the automatic matching technique of digital aerial image using LiDAR data, which raises the reliability of image matching by further correcting the external marking elements of each aerial image using LiDAR data before image matching. It is about.

최근 지상에서 발생하는 자연재해나 긴급한 재난 상황에 효과적이고 빠르게 대처하기 위해서 대상지역에 대한 고해상도의 3차원 공간정보, 즉 DSM(Digital Surface Model)이나 정사영상의 수요가 증가하고 있다.Recently, in order to effectively and quickly cope with natural and urgent disasters occurring on the ground, the demand for high-resolution three-dimensional spatial information about the target area, that is, DSM (Digital Surface Model) or orthoimage is increasing.

이러한 고해상도의 3차원 공간정보를 신속하고 고신뢰도로 제공하기 위해서 는 항공영상들 간의 정합이 정밀해야하고, 신속하야 한다. In order to provide such high-resolution three-dimensional spatial information quickly and with high reliability, the matching between aerial images must be precise and rapid.

영상 정합 방법에 관하여 현재까지 여러 방안이 제시되었지만 아직까지 고속이면서 신뢰성 또한 방법은 개발되지 못하였다. Several methods have been proposed to date for image matching methods, but high speed and reliability methods have not been developed.

이는 기본적으로 항공영상을 취득하는데 사용되는 장비들 자체의 오차나, 장비들의 상호 관계에서 오는 오차와, 취득한 영상들 간의 오차 등, 즉, 기하학적 오차와, 항공영상이 촬영된 지역의 경사나 기복 등의 원인에 의해 정밀도, 즉 신뢰도가 떨어지고, 최소제곱정합방법으로 정합시 대응 공액점의 초기값 추출의 부정확성과 수렴과정이 반복회수가 많음에서 기인한다. This is basically because of the errors of the equipments used to acquire aerial images, the errors coming from the interrelationship of the equipments, and the errors between the acquired images, that is, geometrical errors and the slope or ups and downs of the area where the aerial images are taken. The accuracy, i.e., the reliability, is lowered due to the reason, and the inaccuracy and the convergence process of the initial value extraction of the corresponding conjugate point when matching by the least-squares matching method are caused by the large number of iterations.

그런데 현재까지 이러한 문제를 해결하여 신속하고 신뢰도 높은 항공영상의 정합기법에 관한 것이 제시되지 못하고 있다. However, until now, it has not been suggested to solve these problems and to provide fast and reliable aerial image matching technique.

본 발명은 상기와 같은 문제점을 해소하기 위해 안출된 것으로서, 라이다데이터를 이용하여 기하학적 불일치(오차)를 최소화하고, 공액점 추출의 정확성과 반복횟수의 최소화하여 신속하면서도 신뢰도가 높은 라이다데이터를 이용한 디지털 항공영상의 자동 정합기법을 제공함을 목적으로 한다. The present invention has been made to solve the above problems, using the lidar data to minimize the geometric inconsistency (error), and by using the rapid and reliable lidar data by minimizing the accuracy and number of repetition of the conjugate point extraction The purpose of this paper is to provide an automatic matching technique for digital aerial imagery.

이와 같은 목적을 달성하기 위한 본 발명의 라이다데이터를 이용한 디지털 항공영상의 자동 정합기법은In order to achieve the above object, the automatic matching technique of digital aerial image using LiDAR data of the present invention

특정지역에 대한 라이다데이터를 이용하여 상기 특정지역을 촬영한 디지털 항공영상들을 정합하는 방법에 있어서,In the method of matching the digital aerial images of the specific region by using the LiDAR data for the specific region,

상기 라이다데이터를 이용하여 기준영상의 공액점에 대한 정합영상의 대응 공액점에 대한 초기값을 추출하는 단계;Extracting an initial value of a corresponding conjugate point of a matched image with respect to a conjugate point of a reference image using the LiDAR data;

추출된 초기값의 대응 공액점을 점진적으로 변화시켜 상기 대응 공액점의 참값을 추출는 단계;를 포함하여 이루어지는 것을 특징으로 한다.And gradually extracting the true value of the corresponding conjugate point by gradually changing the corresponding conjugate point of the extracted initial value.

그리고 상기 대응 공액점에 대한 초기값을 추출하는 단계는 And extracting an initial value for the corresponding conjugate point

상기 라이다데이터의 불규칙한 3차원 지상점들을 상호 연결하는 다수의 평면패치를 생성하는 평면패치 생성단계와,A plane patch generation step of generating a plurality of plane patches interconnecting irregular three-dimensional ground points of the LiDAR data;

상기 기준영상의 공액점이 상기 평면패치 상으로 투영되는 투영점을 추출하는 투영점 추출단계와, A projection point extraction step of extracting a projection point at which the conjugate point of the reference image is projected onto the plane patch;

추출된 투영점이 상기 정합영상으로 투영되는 대응 공액점을 추출하는 대응 공액점 초기값 추출단계를 포함하여 이루어지는 것을 특징으로 하고,And extracting a corresponding conjugate point initial value extracting a corresponding conjugate point to which the extracted projection point is projected onto the registration image.

상기 대응 공액점의 참값을 추출하는 단계는Extracting the true value of the corresponding conjugate point

최소제곱정합방법을 이용하여 상기 설정된 초기값의 대응 공액점을 점진적으로 변화시켜 상기 대응 공액점의 참값을 추출한 것을 특징으로 하고,The true value of the corresponding conjugate point is extracted by gradually changing the corresponding conjugate point of the set initial value using a least square matching method.

상기 대응 공액점에 대한 초기값을 추출하는 단계 이전에Before extracting the initial value for the corresponding conjugate point

특정지역에 대한 항공영상들과 라이다데이터의 기하학적 정합을 통한 각 항공영상의 외부표정요소를 보정하는 기하학적 정합단계;를 포함하는 것을 특징으로 하고,And a geometric matching step of correcting an external expression element of each aerial image by geometric matching of aerial images and rider data for a specific region.

상기 기하학적 정합단계는The geometric matching step

두 항공영상에서 공액점과 대응 공액점을 각각 선택하고, 선택된 공액점과 대응 공액점의 좌표와 외부표정요소를 공선조건식에 대입하여 해당하는 지상점을 추출하는 지상점 추출단계와,A ground point extraction step of selecting a conjugate point and a corresponding conjugate point in each of the two aerial images, and extracting a corresponding ground point by substituting coordinates and external expression elements of the selected conjugate point and corresponding conjugate point in a collinear condition equation;

상기 라이다데이터의 불규칙한 3차원 점들을 상호 연결하는 다수의 평면패치를 생성하는 평면패치 생성단계와,A plane patch generation step of generating a plurality of plane patches interconnecting irregular three-dimensional points of the LiDAR data;

추출된 상기 지상점에 인접한 평면패치를 선택하고, 상기 지상점이 선택된 상기 평면패치 상에 위치하도록 상기 두 항공영상의 외부표정요소를 점진적으로 변화시켜 외부표정요소를 보정하는 외부표정요소 보정단계를 포함하여 이루어지는 것을 특징으로 하고,Selecting an external planar patch adjacent to the extracted ground point, and correcting the external expression element by gradually changing the external expression elements of the two aerial images such that the ground point is located on the selected plane patch. Characterized in that made,

상기 두 항공영상의 [공액점-대응 공액점] 다수를 선택하여 보정된 외부표정요소 다수를 추출하고, 추출된 외부표정요소들의 평균을 해당 항공영상의 외부표정요소로 최종 보정하는 것을 특징으로 하고,And selecting a plurality of conjugated points-corresponding conjugate points of the two aerial images to extract a plurality of corrected external expression elements, and finally correcting the average of the extracted external expression elements to the external expression elements of the corresponding aerial image.

상기 외부표정요소 보정단계에서In the external expression element correction step

추출된 상기 지상점과 선택된 상기 평면패치가 일정거리 내에 있는 [공액점-대응 공액점]에 대하여만 외부표정요소를 보정하는 것을 특징으로 한다.It is characterized in that the external expression element is corrected only for the [conjugated point-corresponding conjugated point] in which the extracted ground point and the selected planar patch are within a certain distance.

상기한 바와 같은 구성을 갖는 본 발명은 라이다데이터를 이용하여 항공영상들의 기하왜곡(외부표정요소의 오차)을 보정하고, 기하왜곡이 보정된 항공영상들의 영상 정합이 가상의 수평면이 아닌 라이다데이터로부터 생성된 평면패치를 이용하여 영상 정합되어 영상 정합의 정밀도가 높고, 정밀하게 영상 정합된 항공영상들로부터 추출된 지상점과 라이다데이터의 정밀한 지상점 모두를 이용하여 DSM 생성하므로, 본 발명에 의해 생성된 DSM은 고밀도, 고정밀을 갖는 3차원 공간정보를 제공한다.According to the present invention having the above-described configuration, the geometric distortion (error of an external expression element) of aerial images is corrected using lidar data, and the image registration of the aerial images whose geometric distortion is corrected is not a virtual horizontal plane. Since the image is matched using the plane patch generated from the data, the image matching is high, and the DSM is generated using both the ground point extracted from the precisely matched aerial images and the precise ground point of the LiDAR data. The DSM generated by the DSM provides three-dimensional spatial information with high density and high precision.

이하에서는 도면을 참조하여 본 발명을 보다 구체적으로 설명한다. Hereinafter, with reference to the drawings will be described the present invention in more detail.

도1은 본 발명에 따른 항공영상과 라이다데이터를 이용한 DSM 생성방법의 절차도를 도시한 것으로서, 1 is a flowchart illustrating a method of generating a DSM using aerial video and lidar data according to the present invention.

도면에서 보는 바와 같이 대별하면, 기하학적 정합단계(S10), 영상 정합단계(S20), DSM 생성단계(S30)로 이루어지고, 라이다데이터 보정단계(S40)와 DSM 갱신단계(S50)를 더 포함할 수 있다. As shown in the figure, the geometric matching step (S10), the image matching step (S20), the DSM generation step (S30), and further comprises a LiDAR data correction step (S40) and DSM update step (S50). can do.

상기 기하학적 정합단계(S10)는 항공영상과 라이다데이터의 기하학적 불일치(오차)를 최소화하는 단계이다. 보다 구체적으로는 항공영상들의 외부표정요소를 보정하여 항공영상에 관련된 장비와 라이다데이터에 관련된 장비의 기하학적 오차를 줄이는 것이다. The geometric matching step S10 is a step of minimizing geometric inconsistency (error) between the aerial image and the lidar data. More specifically, by correcting the external expression elements of aerial images, geometric errors of equipment related to aerial imagery and equipment related to lidar data are reduced.

기하학적 정합은 항공영상과 라이더 데이터 간의 정합을 말한다. 이를 위해서는 정합요소가 필요하다. 영상의 정합요소는 공액점이고, 라이다 데이터의 정합요소는 평면패치이다.Geometric matching refers to matching between aerial imagery and rider data. This requires a matching element. The registration element of the image is the conjugate point, and the registration element of the LiDAR data is a plane patch.

일반적으로 유인 또는 무인 항공기에 디지털카메라, 레이저스캐너, GPS, INS(또는 IMU)를 함께 장착하여 항공영상과 라이더데이터를 함께 취득한다. 상기 디지털카메라는 지상을 촬영하여 항공영상을 취득하고, 레이저스캐너는 지상으로 레이저를 조사하고 반사되는 레이저를 받아 라이다데이터를 취득하고, 상기 GPS와 INS(또는 IMU)는 디지털카메라와 레이저스캐너의 위치와 자세(좔영방향과 조사방향)에 대한 정보를 취득하는데 사용된다. Generally, digital cameras, laser scanners, GPS, and INS (or IMU) are attached to manned or unmanned aerial vehicles to acquire aerial images and rider data. The digital camera photographs the ground to acquire an aerial image, the laser scanner irradiates the laser to the ground and receives the reflected laser to acquire the rider data. The GPS and the INS (or IMU) are used for the digital camera and the laser scanner. It is used to obtain information about position and posture (shooting direction and irradiation direction).

이들 네 장비의 개별적인 오차나 네 장비의 상호 관계에 따른 오차 등에 의해 항공영상들 상호간과 항공영상들과 라이더데이터간에 기하학적 불일치가 발생된다. 따라서 이들 간의 기하학적 불일치를 최소화하여 항공영상간의 정합의 정밀도를 높이고, 정합된 영상들로부터 보다 정밀한 지상점들의 좌표가 얻어지도록 할 필요가 있다. The geometrical inconsistency between the aerial images and between the aerial images and the rider data is caused by the individual errors of the four equipments or the errors caused by the interrelationships of the four equipments. Therefore, it is necessary to minimize the geometric inconsistency between them to increase the accuracy of matching between aerial images and to obtain more precise coordinates of ground points from the matched images.

라이다데이터는 고정밀도의 지상점 좌표이므로, 항공영상의 내부표정요소(카메라 렌즈의 초점거리, 렌즈와 CD의 정열 불일치 정도)와 외부표정요소(카메라의 위치좌표, 카메라의 자세(촬영방향)좌표)를 보정하여 이들의 기하학적 불일치가 최소화되도록 하는 것이 바람직하다. 특히, 외부표정요소의 보정이 중요하다. Since the Lidar data is a high-precision ground point coordinate, the internal focusing elements (the focal length of the camera lens, the alignment misalignment between the lens and the CD) and the external marking elements (the positional coordinates of the camera and the attitude of the camera) are taken. Coordinates) so that their geometric inconsistency is minimized. In particular, the correction of external expression factors is important.

외부표정요소의 보정, 즉 기하학적 정합단계(S10)는 항공영상으로부터 지상점 추출단계(S12), 라이다데이터로부터 평면패치 생성단계(S13), 외부표정요소를 점진적으로 변화(보정)하는 단계(S15)를 포함하여 이루어진다. Correction of the external expression element, that is, geometric matching step (S10) is the ground point extraction step (S12) from the aerial image, the plane patch generation step (S13) from the rider data, the step of gradually changing (correcting) the external expression element ( S15) is made.

지상점을 추출하기 위해, 두 항공영상의 중첨되는 부분에서 공액점과 대응 공액점을 각각 선택(S11)한다. 여기서, 공액점과 대응 공액점은 각각 두 영상이 지상의 같은 지점을 촬영한 해당 항공영상의 픽셀 좌표이고, 공액점과 대응 공액점은 항공영상에서 다른 부분과 쉽게 식별되는 점을 선택한다. 쉽게 식별되는 점, 즉 부각되는 점을 [공액점-대응 공액점]으로 선택함으로써 이들의 정합(매칭)이 2,3픽셀을 벗어나지 않아 추출되는 지상점의 좌표가 보다 정확해진다. 그리고 [공액점-대응 공액점]은 하나만 선택할 수도 있지만, 여러 개를 선택하여 그 이후의 단계를 수행하여 보다 정밀한 외부표정요소의 보정이 행해지도록 하는 것이 바람직할 수 있다. 그리고 [공액점-대응 공액점]의 선택은 수작업으로 할 수도 있지만, 신속성을 위해 특정 픽셀이 주위의 다른 픽셀과 비교하여 RGB 또는 Gray 값의 현격히 차이가 나는 경우나 그 밖의 다른 요인에 의해 현격히 구별되는 경우 그 픽셀을 공액 점과 대응 공액점으로 자동 선택되도록 할 수도 있다. In order to extract the ground point, the conjugate point and the corresponding conjugate point are respectively selected in the overlapped portions of the two aerial images (S11). Here, the conjugate point and the corresponding conjugate point are pixel coordinates of the aerial image in which the two images photograph the same point on the ground, and the conjugate point and the corresponding conjugate point select a point that is easily distinguished from other parts of the aerial image. By selecting a point that is easily identified, that is, an embossed point as a [conjugated point-corresponding conjugated point], the matching (matching) of these points does not deviate a few pixels, so that the coordinates of the ground point extracted are more accurate. And although only one [conjugated point-corresponding conjugated point] may be selected, it may be desirable to select several and perform subsequent steps so that more accurate correction of the external expression element is performed. And you can choose the Conjugated-corresponding conjugate point by hand, but for the sake of speed, if one pixel is noticeably different in RGB or Gray values compared to other pixels around it, or is clearly distinguished by other factors The pixel may be automatically selected as a conjugate point and a corresponding conjugate point.

항공영상으로부터 [공액점-대응 공액점]을 선택(S11)한 후에는 이들의 해당 항공영상의 좌표와 외부표정요소를 공선조건식에 대입하여 해당하는 지상의 지상점을 추출(S12)한다.After selecting [conjugated point-corresponding conjugate point] from the aerial image (S11), the ground point of the ground level is extracted by substituting the coordinates and external expression elements of the corresponding aerial image into the collinear condition equation.

지상점을 추출한 후 또는 추출 전 또는 동시에 라이다데이터로부터 다수의 평면패치를 생성(S13)한다. 여기서, 상기 평면패치는 라이다데이터를 구성하는 불규칙한 3차원 지상점들이 상호 연결되어 형성하는 평면을 의미한다. After the ground point is extracted or before or simultaneously with the extraction, a plurality of plane patches are generated from the LiDAR data (S13). Here, the planar patch means a plane formed by interconnecting irregular three-dimensional ground points constituting LiDAR data.

불규칙하게 분포되어 있는 라이다데이터의 지상점들의 인접성을 설정하고, 군집해 있는 몇 개의 지상점들로부터 초기의 작은 평면패치를 생성한 후에 점진적으로 주위의 지상점들을 포함시켜 가면서 나머지 평면패치들을 생성한다. 각각의 평면패치는 상호 중첩되지 아니하고, 경계는 다른 평면패치와 접하며, 평면은 평면근사오차를 갖는다. 가장 단순한 평명패치는 세 지상점을 연결하는 삼각형의 평면(즉,평면패치)들이 일정 각도를 이루며 연속적으로 연결되는 형태이다. Set up the adjacency of irregularly distributed ground points, create an initial small plane patch from a few clustered ground points, and gradually include the surrounding ground points to create the remaining plane patches. do. Each planar patch does not overlap with each other, the boundaries abut other planar patches, and the planes have plane approximation errors. The simplest flat patch is a form in which triangular planes (ie, flat patches) connecting three ground points are connected at an angle to each other in series.

지상점을 추출(S12)하고 평면패치를 생성(S13)한 후에는 추출된 지상점에 가장 인접한 평면패치를 선택(S14)하고, 선택된 평면패치 상에 지상점이 위치되도록 상기 두 항공영상의 외부표정요소를 점진적으로 변화시켜 외부표정요소를 보정(S15)한다. After the ground point is extracted (S12) and the plane patch is generated (S13), the plane patch closest to the extracted ground point is selected (S14), and the external expression of the two aerial images is positioned on the selected plane patch. The external expression element is corrected (S15) by gradually changing the element.

이를 보다 구체적으로 설명하면, In more detail,

이상적인 경우(즉, 기하학적 불일치가 없고, 지상에 경사나 기복이 없고, 대응점의 선택이 정확하고, 평면패치가 지상과 일치하는 경우)에는 추출된 지상점은 평면패치 상에 정확하게 위치할 것이나, 이상적일수 없으므로 도2에서 보는 바와 같이 추출한 지상점은 평면패치에서 벗어나 있게 된다. 그래서 추출되는 지상점이 평면패치 상에 위치하도록 두 항공영상의 외부표정요소를 점진적으로 조정하여 기하학적 불일치를 줄이는 것이다. In ideal cases (i.e. no geometric inconsistency, no inclination or undulation on the ground, the selection of corresponding points is correct, and the planar patch coincides with the ground) the extracted ground point will be located exactly on the planar patch. Since it can not be as shown in Figure 2 the extracted ground point is out of the plane patch. Thus, the geometric inconsistency is reduced by gradually adjusting the external expression elements of the two aerial images so that the extracted ground point is located on the plane patch.

외부표정요소의 점진적 조정(변화)은 지상점과 항공영상의 좌표(즉, 공액점)의 관계를 나타내는 공선조건식과 지상점은 평면패치 상에 존재한다는 제약조건을 주고 수렴방정식을 통해 조정한다. 수렴방정식에 관한 일례는 영상 정합단계(S20)에서 최소제공정합방법에 사용되는 관측방정식이다. The gradual adjustment (change) of the external expression elements is controlled by the convergence equation, giving the constraint that the ground point and the ground point exist on the plane patch, indicating the relationship between the ground point and the coordinates (ie, conjugate point) of the aerial image. An example of the convergence equation is an observation equation used for the minimal manufacturing method in the image matching step (S20).

수렴방정식을 통한 외부표정요소의 조정을 간단히 설명하면, 두 항공영상의 초기 외부표정요소를 수렴방정식에 대응하여 새로운 외부표정요소를 구하고, 구해진 외부표정요소를 다시 수렴방정식에 대입하여 새로운 외부표정요소를 다시 구하는 식으로 반복하여, 수렴방정식의 어느 한 파라미터가 특정 값으로 수렴할 때 얻어진 외부표정요소를 최종 보정(조정)된 외부표정요소로 하는 것이다.Briefly explaining the adjustment of external expression elements through convergence equations, the new external expression elements are obtained by substituting the initial external expression elements of the two aerial images corresponding to the convergence equation, and substituting the obtained external expression elements into the convergence equation again. It is repeated to find again, so that the external expression element obtained when one parameter of the convergence equation converges to a specific value is the final corrected (adjusted) external expression element.

그리고 어느 한 [공액점-대응 공액점]만을 선택하여 외부표정요소를 보정하는 것보다, 여러 [공액점-대응 공액점]을 선택하여 보정된 외부표정요소 여럿을 구하고, 이들의 평균을 해당 항공영상의 최종 보정된 외부표정요소로 하는 것이 보다 바람직할 수 있다. 그리고 여러 [공액점-대응 공액점]을 선택하여 보정된 외부표정요소 다수 중에서 표준편차를 적용하여 임계치를 벗어나는 외부표정요소들은 제외 하여 평균을 구하는 것이 바람직할 수 있고, 외부표정요소의 보정(S15) 전에 추출된 지상점과 선택된 평면패치의 거리가 일정범위를 벗어나는 경우에는 [공액점-대응 공액점]의 선택에 커다란 오류가 있거나, 평면패치를 형성하는 라이다데이터의 지상점에 커다란 오류가 있는 것으로 취급하여 외부표정요소의 보정을 행하지 않는 것이 바람직할 수 있다. Rather than selecting only one [conjugated-corresponding conjugated point] to calibrate an external expression element, select multiple [conjugated-corresponding conjugated points] to obtain a number of corrected external-expressed elements, and average the final correction of the corresponding aerial image. It may be more desirable to use an external expression element. In addition, it may be desirable to obtain an average of the external expression elements that deviate from the threshold by applying a standard deviation among a plurality of external expression elements corrected by selecting several [conjugated points-corresponding conjugate points], and before correction of the external expression elements (S15). If the distance between the extracted ground point and the selected plane patch is out of a certain range, there is a big error in the selection of [conjugated point-corresponding conjugate point] or a large error in the ground point of the rider data forming the plane patch. It may be desirable not to correct the external expression element.

상기 영상 정합단계(S20)는 중첩되는 항공영상들로부터 동일한 지상점을 나타내는 영상점(즉, 공액점)을 찾아내는 과정으로서, 라이다데이터는 건물의 모서리나 코너부분의 정보를 정확하게 얻기 힘들다는 반사특성을 보완하기 위해 필요한 조밀한 3차원 지상좌표(즉, DSM)를 얻기 위한 과정이다. The image matching step (S20) is a process of finding an image point (that is, a conjugate point) representing the same ground point from overlapping aerial images. Lidar data has a reflection characteristic that it is difficult to accurately obtain information on a corner or corner of a building. It is a process to obtain dense three-dimensional ground coordinates (ie, DSM) that are necessary to complement the problem.

영상정합은 국부영역에 대한 밝기값의 유사성에 기반하는 영역기반방법(Aerial Based Matching), 추출된 선형객체들 간의 모양의 유사성에 기반하는 형상기반방법(Feature Based Matching), 추출된 객체들 사이의 관계까지 고려하는 관계기반방법(Relational Matching) 등으로 분류되는 많은 방법론이 제시되었다.Image matching is based on the similarity of the brightness values to the local area (Aerial Based Matching), the shape based method based on the similarity of the shape between the extracted linear objects (Feature Based Matching), between the extracted objects Many methodologies have been proposed, which are classified as Relational Matching.

그러나 아직까지 실시간 공간정보 생성에 적합한, 즉, 고속이면서 신뢰성 또한 높은 방법은 아직 개발되지 못하고 있다. 이는 제시된 방법론들은 주로 다수의 영상만을 입력으로 고려하였기 때문인데, 동일한 지역에 대해 취득한 영상이라도 관측지점의 차이나 지표의 경사나 기복에 의해 영상에 투영된 형상이 상당히 달라지기 때문에 영상만으로는 동일저점을 정확히 찾아내기 어렵기 때문이다. However, a method suitable for real-time spatial information generation, that is, a high speed and high reliability has not yet been developed. This is because the proposed methodologies mainly consider only multiple images as inputs, but even if the images were acquired for the same area, the projected images on the images could be changed by the difference of observation point or the slope or undulation of the surface. Because it is difficult to find.

상기 영역기반방법은 상관관계정합(Correlation Matching)이나 최소제곱정합(Least Squares Matching)으로 대표되는데, 신속하고 신뢰성 높은 정합결과를 얻기 위해서는 정합대상점(즉, 대응 공액점)을 찾기 위한 검색범위를 최대한 줄여야하고, 검색을 위한 초기 위치를 실제 정합위치와 2,3픽셀 이내로 근접하게 설정해야 한다. The domain-based method is represented by correlation matching or least squares matching, and in order to obtain a fast and reliable matching result, the search range for finding a matching target point (that is, corresponding conjugate point) is maximized. You should reduce it and set the initial position for the search to be within 2 or 3 pixels of the actual registration position.

상기 최소제곱정합방법은 하나의 영상(즉, 기준영상)에서 선택된 정합대상객체(즉, 공액점)의 중심을 기준으로 한 일정한 크기의 기준영역과 다른 영상(즉, 정합영상)으로 기준영역을 복사학적 및 기하학적으로 변환하여 생성된 정합영역 간의 밝기값 차이의 제곱의 합이 최소가 되도록 변환계수를 추정하는 방법이다. 본 발명은 정합방법으로 상기 최소제곱정합방법을 이용하였으며, 라이다데이터를 이용하였다. The least square matching method copies a reference region from one image (i.e., reference image) to a reference region of a constant size based on the center of the selected matching object (i.e., conjugate point) and another image (i.e., registration image). It is a method of estimating a transformation coefficient such that the sum of squares of the difference in brightness values between the matched regions generated by the mathematical and geometric transformation is minimized. In the present invention, the least square matching method is used as the matching method, and Lidar data is used.

최소제곱정합방법의 기본원리를 통해 기하학적변환모델(

Figure 112009025159386-pat00001
)과 복사학적 변환모델(
Figure 112009025159386-pat00002
)에 포함되는 각각의 미지수
Figure 112009025159386-pat00003
Figure 112009025159386-pat00004
을 추정하기 위해 수립되는 관측방정식은 수식1과 같다. 이는 하나의 영상(t)에서 i,j에 위치한 하나의 픽셀의 밝기값t(i,j)은 두 번째 영상(m)에서 이에 대한 기하학적 변환을 통해 대응되는 위치
Figure 112009025159386-pat00005
(i,j)의 픽셀의 밝기값 m(
Figure 112009025159386-pat00006
(i,j))을 복사학적 변환을 통해 변환한 밝기값
Figure 112009025159386-pat00007
(m(
Figure 112009025159386-pat00008
(i,j)))과 동일해야 한다는 것을 바탕으로 관측방정식으로 수립한 것이다. 여기서, e(i,j)는 밝기값의 차이를 나타내는 오차로, 이를 최소화하도록 최소제법을 적용한다. Based on the basic principle of least square matching,
Figure 112009025159386-pat00001
) And the radiological transformation model (
Figure 112009025159386-pat00002
) Each unknown in
Figure 112009025159386-pat00003
Wow
Figure 112009025159386-pat00004
The observation equation established to estimate is This means that the brightness value t (i, j) of one pixel located at i, j in one image t corresponds to the position of the second image m through geometric transformation thereof.
Figure 112009025159386-pat00005
The brightness value m of the pixel of (i, j)
Figure 112009025159386-pat00006
Brightness value converted from (i, j)) by radiological conversion
Figure 112009025159386-pat00007
(m (
Figure 112009025159386-pat00008
It is based on the fact that (i, j))) must be the same. Here, e (i, j) is an error representing the difference in brightness values, and a minimum method is applied to minimize this.

[수식1][Equation 1]

Figure 112009025159386-pat00009
Figure 112009025159386-pat00009

수식1과 같은 관측방정식은 일반적으로 비선형이기 때문에, 최소제곱법을 적용하기 위해서는 각각의 미지수에 대한 선형화가 이루어져야 한다. 선형화를 위해서는 미지수에 대한 초기값이 필요하며, 초기값을 참값에 가깝게 설정할수록 최소제곱법을 통해 수렴된 미지수에 대한 추정값이 실제의 참값에 가까워진다. 따라서 최소제곱정합에서 초기치를 구하는 과정은 정합결과에 상당한 영향을 미치는 아주 중용한 과정이다. Since observation equations such as Equation 1 are generally nonlinear, the linearization of each unknown is required to apply the least square method. For linearization, an initial value for the unknown is required, and the closer the initial value is set to the true value, the closer the estimated value for the unknown converged by the least square method is to the true value. Therefore, the process of finding the initial value in the least-squares matching is a very important process that has a significant effect on the matching result.

수식2는 수식1을 선형화한 관측방정식이고, 여기서

Figure 112009025159386-pat00010
Figure 112009025159386-pat00011
는 각각 미지수
Figure 112009025159386-pat00012
Figure 112009025159386-pat00013
에 대한 초기값을 의미하고,
Figure 112009025159386-pat00014
이고,
Figure 112009025159386-pat00015
이다. 또한, 미분값
Figure 112009025159386-pat00016
는 chain rule에 따라서 수식3처럼 계산된다. Equation 2 is an observation equation linearized with Equation 1, where
Figure 112009025159386-pat00010
Wow
Figure 112009025159386-pat00011
Are each unknown
Figure 112009025159386-pat00012
Wow
Figure 112009025159386-pat00013
The initial value for,
Figure 112009025159386-pat00014
ego,
Figure 112009025159386-pat00015
to be. In addition, the derivative value
Figure 112009025159386-pat00016
Is calculated as Eq. 3 according to the chain rule.

[수식2][Equation 2]

Figure 112009025159386-pat00017
Figure 112009025159386-pat00017

[수식3][Equation 3]

Figure 112009025159386-pat00018
Figure 112009025159386-pat00018

기준영역내의 개별 픽셀에 대해서 수식2와 같은 하나의 관측방정식을 수립할 수 있으며, 모든 픽셀에 대한 관측방정식을 모아서 하나의 벡터식으로 표면하면 수식4와 같다. 여기서, y는 모든 픽셀에 대한 수식2의 좌변을 하나의 벡터로 표현한 것이고, A는 모든 픽셀에 대한 수식2의 미분값을 하나의 행렬로 표현한 것이며, e는 모든 픽셀의 밝기값의 차이를 하나의 벡터로 표현한 것이고,

Figure 112009025159386-pat00019
Figure 112009025159386-pat00020
로서 미지수와 미지수에 대한 초기값의 차이를 나타낸다. One observation equation such as Equation 2 can be established for individual pixels in the reference area. Equation 4 is obtained by collecting observation equations for all pixels and surface them as a vector equation. Here, y represents the left side of Equation 2 for all pixels as a vector, A represents the derivative of Equation 2 for all pixels as a matrix, and e represents the difference in brightness values of all pixels. Expressed as a vector of
Figure 112009025159386-pat00019
Is
Figure 112009025159386-pat00020
As the difference between the unknown and the initial value for the unknown.

[수식4][Equation 4]

Figure 112009025159386-pat00021
Figure 112009025159386-pat00021

수식4에 최소제곱법을 적용하여

Figure 112009025159386-pat00022
에 대한 추정값 d
Figure 112009025159386-pat00023
를 수식5처럼 계산하고, 이를
Figure 112009025159386-pat00024
에 더하여 수식6처럼
Figure 112009025159386-pat00025
에 대한 추정값을 구한다. 추정값
Figure 112009025159386-pat00026
를 다시 초기값으로 설정하고, 이에 대해 선화화해서 수식5 및 수식6의 과정을
Figure 112009025159386-pat00027
이 수렴될때까지 반복적으로 수행한다. Applying least square method to Equation 4
Figure 112009025159386-pat00022
Estimate d for
Figure 112009025159386-pat00023
Is calculated like Equation 5, and
Figure 112009025159386-pat00024
In addition to Equation 6
Figure 112009025159386-pat00025
Obtain an estimate for. Estimate
Figure 112009025159386-pat00026
Is set to the initial value again, and the linearization is performed to repeat the process of Equation 5 and Equation 6.
Figure 112009025159386-pat00027
Iterate until it converges.

[수식5][Equation 5]

Figure 112009025159386-pat00028
Figure 112009025159386-pat00028

[수식6][Equation 6]

Figure 112009025159386-pat00029
Figure 112009025159386-pat00029

최소제곱정합방법의 미지수는 기하학적 변환과 관련된 계수와, 복사학적 변환과 관련된 계수로 구성되는데, 일반적으로 복사학적 변환은 밝기값의 선형화변환모델을 사용하며, 이와 관련된 계수는 두 영상의 전체적인 밝기값의 차이를 비교하여 결정한다. 많은 경우에 결정된 선형변환모델을 통해 전처리를 통해 복사학적인 원인으로 인한 밝기값의 차이를 최소로 조정하고 실제 최소제곱정합방법을 통해 복사변환모델의 계수를 개별적으로 추정하지 않는다. 결국, 기하학적 변환과 관련된 계수를 미지수로 놓고 최소제곱정합방법론을 통해 추정한다. The unknown of the least-squares matching method consists of coefficients related to geometric transformations and coefficients related to radiative transformations. In general, radiative transformations use a linearized transformation model of brightness values, and the associated coefficients are the overall brightness values of two images. Determine by comparing the difference. In many cases, the linear transformation model determined by the preprocessing minimizes the difference in brightness due to radiological causes and does not estimate the coefficients of the radiation transformation model individually through the least squares matching method. Finally, the coefficients related to geometric transformations are unknown and estimated using the least-squares matching methodology.

그렇다면 기하학적 변환과 관련된 미지수에 대한 초기값은 최대한 정확하게 설정해서 앞서 언급한 것처럼 변환을 통해 계산된 대응 공액점의 초기 위치가 참값의 2,3픽셀 이내로 들어오도록 해야 한다. If so, the initial values for the unknowns associated with the geometric transformation should be set as precisely as possible so that the initial position of the corresponding conjugate point calculated by the transformation falls within a few pixels of the true value.

대응 공액점의 초기값을 결정하는 기존의 방법은 일반적으로 대상지역에 대한 평균고도를 갖는 수평면으로 지면을 가정하는 것이다. 그런데 이 가정된 수평면은 실제와 많은 오차를 갖고 있기 때문에 많은 대응 공액점의 초기값이 참값으로 수렴해갈 수 있는 2,3픽셀 이내의 범위를 벗어나게 된다.The existing method of determining the initial value of the corresponding conjugate point is generally to assume the ground as a horizontal plane with an average elevation for the target area. However, since this assumed horizontal plane has a lot of errors from the real world, the initial value of many corresponding conjugate points is out of the range of 2 or 3 pixels that can converge to the true value.

이에 본 발명은 영상 정합단계(S20)에서 가상의 수평면 대신 라이다데이터를 이용함으로써, 대응 공액점의 초기값과 실제 참값의 차이를 현저히 줄여 영상정합의 성공률(정밀도)를 높였다. 이하 이에 대해 보다 구체적으로 설명한다. Accordingly, in the image matching step (S20), by using the LiDAR data instead of the virtual horizontal plane, the difference between the initial value and the true value of the corresponding conjugate point significantly reduced the success rate (precision) of the image registration. This will be described in more detail below.

우선, 항공영상에서 기준영상과 이에 중첩되는 정합영상을 선정한다. 도3은 본 발명에 따른 영상 정합방법의 원리를 도시한 것이다. First, a reference image and a matched image overlapping the reference image are selected from the aerial image. 3 illustrates the principle of an image registration method according to the present invention.

기준영상에서 중첩된 부분의 픽셀들 각각(즉, 공액점들)을 순차적으로 상기 라이다데이터의 평면패치로 투영하여 투영점을 추출(S21)한다. 이때 투영점의 추출은 ray tracing 알고리즘을 이용한다. 상기 ray tracing 알고리즘은 본 기술분야에는 주지되어 있는 알고리즘이므로 이에 대한 구체적인 설명은 생략한다. Projection points are extracted by sequentially projecting each of the pixels (ie, conjugate points) of the overlapped portion of the reference image to the planar patch of the LiDAR data (S21). At this time, the extraction of the projection point uses a ray tracing algorithm. Since the ray tracing algorithm is well known in the art, a detailed description thereof will be omitted.

그리고 투영점을 추출할 때 기준영상의 외부표정요소(즉, 카메라의 위치와 카메라의 촬영방향)가 보정되어 있으므로 추출되는 투영점은 보다 정확하다.When the projection point is extracted, the external reflection elements (that is, the position of the camera and the photographing direction of the camera) of the reference image are corrected, so that the extracted projection point is more accurate.

평면패치로의 투영점을 추출(S21)한 후에는 투영점을 다시 정합영상으로 투영하여 대응 공액점의 초기값을 추출(S22)한다. 대응 공액점의 추출은 공선조건식에 추출된 투영점의 좌표와 정합영상의 보정된 외부표정요소를 대입하여 구한다. After extracting the projection point to the plane patch (S21), the projection point is projected again to the registration image to extract the initial value of the corresponding conjugate point (S22). The extraction of the corresponding conjugate point is obtained by substituting the coordinates of the projection point extracted in the collinear condition equation and the corrected external expression element of the registered image.

대응 공액점의 초기값을 추출(S23)한 후에는 상기 최소제곱정합방법의 관측방정식에 추출된 대응 공액점의 초기값을 대입하여 새로운 대응 공액점을 추출하고, 새롭게 추출된 대응 공액점을 다시 초기값으로 하여 관측방정식에 대입하여 다 시 새로운 대응 공액점을 추출한다. 이처럼 반복해서 새로운 대응 공액점을 점진적으로 조정해나가 참값을 추출(S25)한다. After extracting the initial value of the corresponding conjugate point (S23), a new corresponding conjugate point is extracted by substituting the initial value of the corresponding conjugate point extracted into the observation equation of the least square matching method, and the newly extracted corresponding conjugate point is set again as the initial value. Substitute the observation equations and extract new corresponding conjugate points. Repeat this step to gradually adjust the new corresponding conjugate point to extract the true value (S25).

이와 같은 과정을 중첨되는 부분의 기준영상 모든 픽셀에 적용하여 항공영상들을 영상 정합한다.This process is applied to all pixels of the reference image of the overlapped portion to match the aerial images.

이상의 과정을 통해 얻은 영상정합의 결과는 여러 가지 원인으로 인해 항상 성공적이지 않다. 그러므로 영상정합결과의 품질을 검증하여 정합을 통해 생성된 각각의 공액점에 대응하는 대응 공액접이 올바르게 선택되었는지 확인하는 정합검증단계(S60)가 필요하다. The result of image registration obtained through the above process is not always successful due to various causes. Therefore, a matching verification step (S60) is required to verify the quality of the image matching result to confirm that the corresponding conjugate contact corresponding to each conjugate point generated through matching is correctly selected.

영상정합 결과의 품질을 검증하는 방법으로는 최소제곱정합법을 이용하여 대응 공액점의 초기값이 참값으로 수렴하는 과정이 얼마나 빨리 진행되었는지, 즉, 반복회수가 얼마나되는지를 비교하는 방법과, 공액점과 대응 공액점 주변의 국부영역의 밝기값의 평균적인 차이를 나타내는 분산요소의 추정값을 비교하는 방법과, 대응 공액점 추정값(초기값)의 표준편차를 비교하는 방법이 사용된다. As a method of verifying the quality of the image registration result, the method of comparing the initial process of the corresponding conjugate point to the true value using the least square matching method, that is, how many times the repetition is performed, A method of comparing the estimated values of the variance elements representing the average difference in brightness values of the local areas around the corresponding conjugate points and a method of comparing the standard deviation of the corresponding conjugate point estimates (initial values) are used.

본 발명에서는 위의 3가지 방법 이외에 공액점과 대응 공액점의 초기값으로부터 구해지는 지상점과 라이다데이터 평면패치의 수직거리로 품질을 검사하는 방법을 더 제안한다. In addition to the above three methods, the present invention further proposes a method for inspecting the quality of the ground point and the vertical distance of the Lidar data plane patch obtained from the initial values of the conjugate point and the corresponding conjugate point.

기하학적 정합(즉, 외부표정요소의 보정)과 영상 정합이 정밀하다면 공액점과 대응 공액점의 초기값으로 구해진 지상점은 평편패치에 매우 근접해 있을 것이 다. 라이다데이터와 보정된 외부표정요소에 포함된 오차가 크지 않다고 가정하면, 지상점의 수직오차는 결국 정합 결과의 신뢰도를 직접적으로 나타낸다고 볼 수 있기 때문에 영상정합 결과의 품질 검증에 이용될 수 있다. If the geometric registration (ie correction of external expression elements) and image registration are accurate, the ground point obtained as the initial value of the conjugate point and the corresponding conjugate point will be very close to the flat patch. Assuming that the errors included in the LiDAR data and the corrected external expression elements are not large, the vertical error of the ground point can be used to verify the quality of the image registration result because it can be seen that it directly represents the reliability of the registration result.

수직거리오차로 품직을 검증하는 정합검증단계(S60)는 공액점과 대응 공액점의 초기값광 외부표정요소를 공선조건식에 대입하여 해당하는 지상점을 추출하는 단계(S61)와, 상기 라이다데이터의 평면패치 다수에서 추출된 지상점에 근접한 평면패치를 선택하는 단계(S62)와, 추출된 지상점과 선택된 평면패치 간의 수직거리를 추출하는 단계(S63)를 포함하여 이루어진다. 모든 공액점에 대해 수직거리를 추출한 후에 수직거리가 기준거리를 벗어나는 공액점이 얼마나 되는지에 따라 정합의 품질이 결정된다. In the registration verification step (S60) of verifying the work due to the vertical distance error, a step of extracting a corresponding ground point by substituting the initial value light external expression element of the conjugate point and the corresponding conjugate point into the collinear condition equation (S61) and the plane of the lidar data Selecting a plane patch close to the ground point extracted from a plurality of patches (S62), and extracting the vertical distance between the extracted ground point and the selected plane patch (S63). After extracting the vertical distance for all conjugate points, the quality of the match is determined by how many conjugate points the vertical distance goes beyond the reference distance.

도4의 a,b,c는 제주시가지의 라이다데이터, 항공영상 기준영상, 정합영상이고, A, b, and c of FIG. 4 are Lidar data, aerial image reference image, and registration image of Jeju city,

도5는 도4를 가지고 기존의 일반적인 가상의 수평면으로 영상정합을 한 결과와, 본 발명에 의해 라이다데이터를 이용하여 영상정합을 한 결과의 비교 그래프로서, 도5a는 대응 공액점의 참값을 구하기 위해 수렴 반복횟수를 비교한 것이고, 도5b는 분산용소의 추정값을 비교한 것이고, 도5c와 도5d는 각각 대응 공액점 추정값의 x방향과 y방향의 표준편차를 비교한 것이고, 도5e는 추출된 지상점과 가상 수평면/평면패치의 수직거리를 비교한 것이다. FIG. 5 is a comparison graph of a result of image registration using a conventional general virtual horizontal plane with FIG. 4 and a result of image registration using LiDAR data according to the present invention, and FIG. 5A is a graph showing a true value of a corresponding conjugate point. 5b is a comparison of the estimates of the distribution components, and FIGS. 5c and 5d are comparisons of standard deviations in the x and y directions of the corresponding conjugate point estimates, respectively. The vertical distance between the ground point and the virtual horizontal plane / plane patch is compared.

도5a에서 보는 바와 같이 본 발명은 빠른 속도로 수렴하나 기존방법은 수렴 속도가 느릴뿐만 아니라 100번의 반복에도 수렴되지 않는 경우도 22개의 대상점 중에 6개나 관측되고, 도5b,c,d에서 보는 바와 같이 본 발명이 기존 방법에 비해 분산요소의 추정값과 추정값의 표준편차가 낮아 결과(품질)가 좋음을 알 수 있고, 도5e에서 보는 바와 같이 본 발명은 모든 대상점이 2m 이하로 우수한 결과를 보이지만, 기존 방법은 22개 대상점 가운데 6개만 좋은 결과를 보이고 나머지는 정합이 실패하였음을 알 수 있다. As shown in FIG. 5A, the present invention converges at a high speed, but the existing method is not only slow in convergence but also 6 times out of 22 target points when not converged in 100 iterations, as shown in FIGS. 5B, C, and D. As shown in FIG. 5E, the present invention shows a good result (quality) because the standard deviation of the estimated value and the estimated value of the variance factor is lower than that of the conventional method. In the previous method, only 6 out of 22 target points showed good results, and the rest failed matching.

영상 정합단계(S20)가 마무리된 후에는 정합된 항공영상들과 라이다데이터를 이용하여 해당지역(즉, 특정지역)에 대한 3차원 공간좌표인 수치표고자료(DSM)를 생성(S30)한다. After the image matching step S20 is completed, a digital elevation data (DSM), which is a three-dimensional spatial coordinate of a corresponding region (ie, a specific region) is generated using the matched aerial images and the LiDAR data (S30). .

상기 DSM 생성단계(S30)는 지상점 추출단계(S31), 격자생성단계(S32), 격자별 고도값 추출단계(S33), 고도값 보정단계(S34)를 포함하여 이루어진다. The DSM generation step S30 includes a ground point extraction step S31, a grid generation step S32, an altitude value extraction step S33, and an altitude value correction step S34.

상기 지상점 추출단계(S31)는 기준영상의 공액점과 추출된 정합영상의 대응 공액점 최종값의 영상 좌표와 보정된 외부표정요소를 공선조건식에 대입하여 해당하는 지상점을 추출하는 것으로서, DSM을 생성하고자하는 특정지역 전체에 대한 항공영상들 모두에 대해 지상점을 추출한다. The ground point extraction step (S31) extracts the ground point by substituting the conjugate point of the reference image and the coordinate of the final value of the corresponding conjugate point of the extracted registration image and the corrected external expression element in the collinear condition equation. The ground points are extracted for all aerial images of the entire specific area.

상기 격자생성단계(S32)는 상기 특정지역을 일정간격으로 구획하는 것으로서, 추출된 지상점들과 라이다데이터의 불규칙 지상점들 모두가 포함되되 모든 격자에는 하나 이상의 지상점이 할당 되어야 한다. 그리고 격자의 간격은 지상점들의 점밀도를 고려하여 적절히 설정한다. The grid generation step (S32) divides the specific area at a predetermined interval, and includes both extracted ground points and irregular ground points of LiDAR data, and all grids should be assigned one or more ground points. And the spacing of the grid is appropriately set in consideration of the point density of the ground points.

상기 격자별 고도값 추출단계(S33)는 각 격자의 중심에서 일정거리 이내에 존재하는 지상점들에 대한 고도값의 평균을 구하여 그 격자에 고도값으로 할당한다. 여기서, 상기 일정거리는 격자 길이의 반 이상으로 할 것이고, 최대 격자 길이의 네배가 넘지 않는 것이 바람직하다. The altitude value extracting step (S33) for each lattice obtains an average of altitude values for ground points existing within a predetermined distance from the center of each lattice, and assigns the altitude value to the lattice. Here, the predetermined distance will be at least half of the lattice length, preferably not more than four times the maximum lattice length.

상기 고도값 보정단계(S34)는 각 격자의 추출된 고도값과 해당 지상점들의 고도값으로부터 표준편차를 구하여 임계치를 벗어나는 지상점은 제거하고, 남은 지상점들로부터 해당 격자의 고도값을 다시 추출한다. 그리하여 고도값의 정밀도를 높인다. In the altitude correction step (S34), a standard deviation is obtained from the extracted altitude values of the respective grids and the altitude values of the corresponding ground points to remove ground points outside the threshold, and the altitude values of the grids are extracted again from the remaining ground points. do. Thus, the precision of the altitude value is increased.

각 격자에 고도값이 할당되는 여기까지의 과정을 통해 특정지역에 대한 DSM은 생성된다. 즉, 각 격자는 평면의 위치좌표를 갖고, 또한 고도값이 할당되어 있으므로 3차원 공간좌표 (X, Y, Z)를 갖는다. 그리고 여기까지에서 생성된 DSM은 상당한 정밀도를 갖는다. Through this process, the altitude value is assigned to each grid, and a DSM for a specific area is generated. That is, each lattice has a planar positional coordinate and a three-dimensional spatial coordinate (X, Y, Z) since the altitude value is assigned. And the DSM generated up to this point has considerable precision.

하지만, 라이다데이터의 지상점들의 좌표가 정밀하다고 하나 라이다데이터는 불규칙하게 분포된 3차원 지상점들로 구성되므로, 일정거리 이내에 지상점이 하나도 존재하지 않는 지점은 멀리 떨어진 지상점들로부터 그 고도가 추청되는 것이므로 부정확하여 그 한계를 갖는다. However, since the coordinates of the ground points of the LiDAR data are precise, the LiDAR data is composed of three-dimensional ground points distributed irregularly. Is inaccurate and has limitations.

이에 본 발명은 라이다데이터를 보정하는 단계(S40)와 DSM을 갱신하는 단계(S50)를 더 포함한다.Accordingly, the present invention further includes the step of correcting the lidar data (S40) and the step of updating the DSM (S50).

(S30)단계에서 생성된 DSM은 고밀도와 고정밀의 위치좌표와 고도값을 가지므 로, 라이다데이터에서 일정거리 이내에 지상점이 없는 지역에 상기 DSM의 지상점을 부여(S40)한다. 이때 너무 많은 지상점의 부여는 라이다데이터의 왜곡을 가져올 수 있으므로 주의하여야 할 것이다. Since the DSM generated in step S30 has high-density and high-precision position coordinates and an altitude value, the ground point of the DSM is given to an area in which there is no ground point within a predetermined distance from the Lidar data (S40). Attention should be given to the provision of too many ground points, which can lead to distortion of LiDAR data.

그리고 보정된 라이다데이터로 새롭게 평면패치를 생성(S13)한 후에 S10~S30 단계를 실행하여 DSM을 갱신(S50)하여 보다 고정밀, 고밀도의 DSM을 최종적으로 생성한다. After the plane patch is newly generated with the corrected LiDAR data (S13), steps S10 to S30 are performed to update the DSM (S50) to finally generate a higher precision and higher density DSM.

이상에서 본 발명을 설명함에 있어 첨부된 도면을 참조하여 특정 절차를 갖는 라이다데이터를 이용한 디지털 항공영상의 자동 정합기법에 대해 설명하였으나 본 발명은 당업자에 의하여 다양한 변형 및 변경이 가능하고, 이러한 변형 및 변경은 본 발명의 보호범위에 속하는 것으로 해석되어야 한다.In the above description of the present invention has been described with respect to the automatic matching technique of the digital aerial image using the lidar data having a specific procedure with reference to the accompanying drawings, the present invention can be variously modified and changed by those skilled in the art, such modifications And modifications should be construed as falling within the protection scope of the present invention.

도 1 은 본 발명에 따른 정합기법의 절차 흐름도. 1 is a process flow diagram of a matching technique in accordance with the present invention.

도 2 는 라이다데이터를 이용하여 외부표정요소의 보정방법을 보여주는 도면.2 is a view showing a method of correcting an external expression element using lidar data.

도 3 은 라이다데이터를 이용하여 두 항공영상의 정합방법을 보여주는 도면.3 is a view showing a method of matching two aerial images using LiDAR data.

도 4 a,b,c는 제주시가지의 라이다데이터와 두 항공영상의 도면.4 a, b, and c are rider data of Jeju city and two aerial images.

도 5 a,b,c,d,e는 도4를 가지고 기존방법과 본발명에 의해 정합된 영상의 품질을 비교한 도면.5 a, b, c, d, and e is a diagram comparing the quality of the image matched by the existing method and the present invention with FIG.

<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>

S10 : 기하학적 정합단계 S20 : 영상 정합단계S10: geometric matching step S20: image matching step

S30 : DSM 생성방법 S40 : 라이다데이터보정단계S30: DSM generation method S40: Lidar data correction step

S50 : DSM갱신단계 S60 : 정합검증단계S50: DSM update step S60: Registration verification step

Claims (7)

특정지역에 대한 라이다데이터를 이용하여 상기 특정지역을 촬영한 디지털 항공영상들을 정합하는 방법에 있어서,In the method of matching the digital aerial images of the specific region by using the LiDAR data for the specific region, 상기 라이다데이터를 이용하여 기준영상의 공액점에 대한 정합영상의 대응 공액점에 대한 초기값을 추출하는 단계;Extracting an initial value of a corresponding conjugate point of a matched image with respect to a conjugate point of a reference image using the LiDAR data; 추출된 초기값의 대응 공액점을 점진적으로 변화시켜 상기 대응 공액점의 참값을 추출는 단계;를 포함하여 이루어지는 것을 특징으로 하는 라이다데이터를 이용한 디지털 항공영상의 자동 정합기법. Gradually changing the corresponding conjugate point of the extracted initial value to extract the true value of the corresponding conjugate point; and automatic matching technique for the digital aerial image using Lidar data. 제 1 항에 있어서, 상기 대응 공액점에 대한 초기값을 추출하는 단계는 The method of claim 1, wherein extracting an initial value for the corresponding conjugate point 상기 라이다데이터의 불규칙한 3차원 지상점들을 상호 연결하는 다수의 평면패치를 생성하는 평면패치 생성단계와,A plane patch generation step of generating a plurality of plane patches interconnecting irregular three-dimensional ground points of the LiDAR data; 상기 기준영상의 공액점이 상기 평면패치 상으로 투영되는 투영점을 추출하는 투영점 추출단계와, A projection point extraction step of extracting a projection point at which the conjugate point of the reference image is projected onto the plane patch; 추출된 투영점이 상기 정합영상으로 투영되는 대응 공액점을 추출하는 대응 공액점 초기값 추출단계를 포함하여 이루어지는 것을 특징으로 하는 라이다데이터를 이용한 디지털 항공영상의 자동 정합기법.And a corresponding conjugate point initial value extracting step of extracting a corresponding conjugate point from which the extracted projection point is projected onto the registration image. 제 1 항에 있어서, 상기 대응 공액점의 참값을 추출하는 단계는The method of claim 1, wherein extracting the true value of the corresponding conjugate point 최소제곱정합방법을 이용하여 상기 설정된 초기값의 대응 공액점을 점진적으로 변화시켜 상기 대응 공액점의 참값을 추출한 것을 특징으로 하는 라이다데이터를 이용한 디지털 항공영상의 자동 정합기법.And a true value of the corresponding conjugate point is extracted by gradually changing the corresponding conjugate point of the set initial value using a least square matching method. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 대응 공액점에 대한 초기값을 추출하는 단계 이전에4. A method according to any one of the preceding claims, wherein prior to the step of extracting an initial value for the corresponding conjugate point. 특정지역에 대한 항공영상들과 라이다데이터의 기하학적 정합을 통한 각 항공영상의 외부표정요소를 보정하는 기하학적 정합단계;를 포함하는 것을 특징으로 하는 라이다데이터를 이용한 디지털 항공영상의 자동 정합기법. And a geometric matching step of correcting an external expression element of each aerial image by geometric matching of aerial imagery and lidar data for a specific region. 제 4 항에 있어서, 상기 기하학적 정합단계는The method of claim 4, wherein the geometric matching step 두 항공영상에서 공액점과 대응 공액점을 각각 선택하고, 선택된 공액점과 대응 공액점의 좌표와 외부표정요소를 공선조건식에 대입하여 해당하는 지상점을 추출하는 지상점 추출단계와,A ground point extraction step of selecting a conjugate point and a corresponding conjugate point in each of the two aerial images, and extracting a corresponding ground point by substituting coordinates and external expression elements of the selected conjugate point and corresponding conjugate point in a collinear condition equation; 상기 라이다데이터의 불규칙한 3차원 점들을 상호 연결하는 다수의 평면패치를 생성하는 평면패치 생성단계와,A plane patch generation step of generating a plurality of plane patches interconnecting irregular three-dimensional points of the LiDAR data; 추출된 상기 지상점에 인접한 평면패치를 선택하고, 상기 지상점이 선택된 상기 평면패치 상에 위치하도록 상기 두 항공영상의 외부표정요소를 점진적으로 변화시켜 외부표정요소를 보정하는 외부표정요소 보정단계를 포함하여 이루어지는 것을 특징으로 하는 라이다데이터를 이용한 디지털 항공영상의 자동 정합기법.Selecting an external planar patch adjacent to the extracted ground point, and correcting the external expression element by gradually changing the external expression elements of the two aerial images such that the ground point is located on the selected plane patch. Automatic matching method of digital aerial image using Lidar data, characterized in that is made. 제 5 항에 있어서,The method of claim 5, 상기 지상점 추출단계는 두 항공영상에서 공액점과 대응 공액점(이하 '[공액점-대응 공액점]'으로 표현)을 다수 선택하여 각각의 [공액점-대응 공액점]에 해당하는 지상점 다수를 추출하고, In the ground point extraction step, a plurality of ground points corresponding to each [conjugation point-corresponding conjugate point] are extracted by selecting a plurality of conjugate points and corresponding conjugate points (hereinafter, referred to as '[conjugation point-corresponding conjugate point]') in two aerial images. 상기 외부표정요소 보정단계는 상기 지상점 추출단계에서 추출된 각각의 지상점을 이용하여 외부표정요소를 보정하고, 각각의 지상점에 의해 보정된 외부표정요소들의 평균을 해당 항공영상의 외부표정요소로 보정하는 것을 특징으로 하는 라이다데이터를 디지털 항공영상의 자동 정합기법.The external expression element correction step corrects the external expression element by using each ground point extracted in the ground point extraction step, and averages the external expression elements corrected by each ground point. Automatic matching technique for digital aerial imagery of Lidar data, characterized in that for correcting. 제 6 항에 있어서, 상기 외부표정요소 보정단계에서The method of claim 6, wherein the external expression element correction step 추출된 상기 지상점과 선택된 상기 평면패치가 일정거리 내에 있는 [공액점-대응 공액점]에 대하여만 외부표정요소를 보정하는 것을 특징으로 하는 라이다데이터를 이용한 디지털 항공영상의 자동 정합기법.An automatic matching method of digital aerial image using Lidar data, characterized in that the external expression element is corrected only for the extracted conjugate point and the selected plane patch within a predetermined distance.
KR1020090036171A 2009-04-24 2009-04-24 Automatic matching method of digital aerial images using lidar data KR100973052B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090036171A KR100973052B1 (en) 2009-04-24 2009-04-24 Automatic matching method of digital aerial images using lidar data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090036171A KR100973052B1 (en) 2009-04-24 2009-04-24 Automatic matching method of digital aerial images using lidar data

Publications (1)

Publication Number Publication Date
KR100973052B1 true KR100973052B1 (en) 2010-07-30

Family

ID=42646154

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090036171A KR100973052B1 (en) 2009-04-24 2009-04-24 Automatic matching method of digital aerial images using lidar data

Country Status (1)

Country Link
KR (1) KR100973052B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190114523A (en) * 2018-03-30 2019-10-10 서울시립대학교 산학협력단 Method, system and computer program for topographical change detection using LiDAR data
CN112233056A (en) * 2020-10-16 2021-01-15 北京恒华伟业科技股份有限公司 Point cloud fusion method and device for multi-source data and storage medium
US10991157B2 (en) 2018-12-21 2021-04-27 Electronics And Telecommunications Research Institute Method and apparatus for matching 3-dimensional terrain information using heterogeneous altitude aerial images
CN114119995A (en) * 2021-11-08 2022-03-01 山东科技大学 Air-ground image matching method based on object space surface element
CN115690380A (en) * 2022-11-11 2023-02-03 重庆数字城市科技有限公司 Registration method and system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040017604A (en) * 2002-08-22 2004-02-27 한국과학기술원 Image Processing Method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040017604A (en) * 2002-08-22 2004-02-27 한국과학기술원 Image Processing Method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190114523A (en) * 2018-03-30 2019-10-10 서울시립대학교 산학협력단 Method, system and computer program for topographical change detection using LiDAR data
KR102078254B1 (en) * 2018-03-30 2020-02-17 서울시립대학교 산학협력단 Method, system and computer program for topographical change detection using LiDAR data
US10991157B2 (en) 2018-12-21 2021-04-27 Electronics And Telecommunications Research Institute Method and apparatus for matching 3-dimensional terrain information using heterogeneous altitude aerial images
CN112233056A (en) * 2020-10-16 2021-01-15 北京恒华伟业科技股份有限公司 Point cloud fusion method and device for multi-source data and storage medium
CN112233056B (en) * 2020-10-16 2024-03-12 北京恒华伟业科技股份有限公司 Point cloud fusion method and device for multi-source data and storage medium
CN114119995A (en) * 2021-11-08 2022-03-01 山东科技大学 Air-ground image matching method based on object space surface element
CN114119995B (en) * 2021-11-08 2024-03-15 山东科技大学 Space-to-ground image matching method based on object space element
CN115690380A (en) * 2022-11-11 2023-02-03 重庆数字城市科技有限公司 Registration method and system

Similar Documents

Publication Publication Date Title
KR101942063B1 (en) Image inspection system searching failure points automatically on images and updating the points
KR101497659B1 (en) Method and apparatus for correcting depth image
US8315425B2 (en) Method for comparison of 3D computer model and as-built situation of an industrial plant
KR100973052B1 (en) Automatic matching method of digital aerial images using lidar data
CN105046251B (en) A kind of automatic ortho-rectification method based on environment No.1 satellite remote-sensing image
KR101105361B1 (en) The method for geometric registration for images data and lidar data and the apparatus thereof
CN104484648A (en) Variable-viewing angle obstacle detection method for robot based on outline recognition
Rumpler et al. Automated end-to-end workflow for precise and geo-accurate reconstructions using fiducial markers
KR20110116325A (en) Image processing apparatus and method
CN112785655A (en) Method, device and equipment for automatically calibrating external parameters of all-round camera based on lane line detection and computer storage medium
CN112288848A (en) Method for calculating engineering quantity through three-dimensional modeling of unmanned aerial vehicle aerial photography
CN112270698A (en) Non-rigid geometric registration method based on nearest curved surface
CN113298947A (en) Multi-source data fusion-based three-dimensional modeling method medium and system for transformer substation
Liu et al. A novel adjustment model for mosaicking low-overlap sweeping images
KR100973051B1 (en) Dsm generation method using lidar and aerial images data
CN106488204B (en) Have the depth camera of self-aligning and self-aligning method
Salach SAPC–application for adapting scanned analogue photographs to use them in structure from motion technology
Choi et al. Precise geometric registration of aerial imagery and LIDAR data
Gao et al. Automatic geo-referencing mobile laser scanning data to UAV images
Lindenthal et al. Airborne LIDAR: A fully-automated self-calibration procedure
CN113379648B (en) High-resolution seven-number and resource three-number stereoscopic image joint adjustment method
CN110956668A (en) Focusing stack imaging system preset position calibration method based on focusing measure
CN111768448A (en) Spatial coordinate system calibration method based on multi-camera detection
Fritsch et al. Photogrammetric point cloud collection with multi-camera systems
Cavegn et al. Robust and accurate image-based georeferencing exploiting relative orientation constraints

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130709

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140701

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150717

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160719

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180710

Year of fee payment: 9