KR100973051B1 - Dsm generation method using lidar and aerial images data - Google Patents
Dsm generation method using lidar and aerial images data Download PDFInfo
- Publication number
- KR100973051B1 KR100973051B1 KR1020090036081A KR20090036081A KR100973051B1 KR 100973051 B1 KR100973051 B1 KR 100973051B1 KR 1020090036081 A KR1020090036081 A KR 1020090036081A KR 20090036081 A KR20090036081 A KR 20090036081A KR 100973051 B1 KR100973051 B1 KR 100973051B1
- Authority
- KR
- South Korea
- Prior art keywords
- point
- ground
- image
- lidar data
- dsm
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 항공영상과 라이다데이터를 이용한 DSM 생성방법에 관한 것으로서, 보다 상세하게는 라이다데이터를 이용하여 각 항공영상의 외부표정요소를 보정, 항공영상들의 정합 정밀화, 그리고 지상점들의 고밀도화를 실현하여 특정지역에 대한 고밀도, 고정밀의 3차원 수치표고자료(DSM; Digital Surface Model)의 보다 신속하게 생성할 수 있는 항공영상과 라이다데이터를 이용한 DSM 생성방법에 관한 것이다. The present invention relates to a method for generating a DSM using aerial image and lidar data. More specifically, the external expression element of each aerial image is corrected using lidar data, the matching precision of the aerial images, and the densification of the ground points are improved. The present invention relates to a method of generating a DSM using aerial imagery and lidar data that can generate high-density, high-precision three-dimensional digital elevation data (DSM) for a specific area more quickly.
최근 지상에서 발생하는 자연재해나 긴급한 재난 상황에 효과적이고 빠르게 대처하기 위해서 대상지역에 대한 고해상도의 3차원 공간정보, 즉 DSM(Digital Surface Model)이나 정사영상의 수요가 증가하고 있다.Recently, in order to effectively and quickly cope with natural and urgent disasters occurring on the ground, the demand for high-resolution three-dimensional spatial information about the target area, that is, DSM (Digital Surface Model) or orthoimage is increasing.
일반적으로 DSM은 특정지역을 촬영한 항공영상들을 상호 정합(Image matching)시킨 후에, 정합된 항공영상들의 공액점과 외부표정요소를 공선조건식에 대입하여 해당되는 지상점들의 좌표(위도, 경도, 고도)를 구하여 생성한다. In general, after DSM image matching aerial images of a specific area, the coordinates (latitude, longitude, altitude) of the corresponding ground points are assigned by substituting the conjugate point and the external expression element of the matched aerial image into the collinear condition equation. Obtain and generate.
이처럼 항공영상들을 이용하여 생성된 DSM은 추출되는 지상점들의 밀도는 높지만, 외부표정요소의 왜곡과 항공영상 간의 정합의 부정확성으로 인해 추출되는 지상점들 좌표가 부정확하고, 그에 따라 생성된 DSM 역시 정밀도가 떨어진다. The DSMs generated using aerial images have a high density of extracted ground points, but the coordinates of the ground points extracted due to distortion of external expression elements and inaccuracy of matching between aerial images are inaccurate, and the DSM generated accordingly is also accurate. Falls.
이에 최근에는 고정밀도의 지상점 좌표를 갖는 라이다데이터로부터 DSM을 생성하기도 한다. Recently, a DSM is generated from LiDAR data having high-precision ground point coordinates.
그런데 라이다데이터는 레이저스캐너를 이용하여 반사되는 레이저로부터 지상점을 추출한 것으로서, 지상점의 좌표는 정밀하지만 지상점들의 분포가 불규칙하고, 지상점들의 밀도가 낮고, 건물의 코너나 모서리와 같이 레이저의 반사가 어려운 부분이 있어, 라이다데이터로 제작된 DSM 역시 정밀도가 그리 높지 않다. However, LiDAR data is a ground point extracted from the laser reflected by the laser scanner. The ground point coordinates are precise but the distribution of the ground points is irregular, the density of the ground points is low, and the laser like the corner or the edge of the building Because of the difficult reflection, the DSM made of Lidar data is not very accurate.
본 발명은 상기와 같은 문제점을 해소하기 위해 안출된 것으로서, 라이다데이터를 이용하여 항공영상들의 기하학적 왜곡의 보정(즉, 외부표정요소의 보정)과 항공영상들의 영상 정합의 정밀도를 높여 지상점의 보다 정확한 좌표를 추출하고, 항공영상으로부터 추출한 지상점과 라이다데이터의 지상점 모두를 이용하여 보다 고밀도, 고정밀의 3차원 공간정보를 갖는 DSM을 생성하는 방법을 제공함을 목적으 로 한다. The present invention has been made to solve the above problems, by using the LiDAR data to correct the geometric distortion of the aerial images (that is, the correction of the external expression element) and to increase the accuracy of the image registration of the aerial image of the ground point It is an object of the present invention to provide a method of generating a DSM having more high-density and high-precision three-dimensional spatial information by using more accurate coordinates and using both ground points extracted from aerial images and ground points of LiDAR data.
이와 같은 목적을 달성하기 위한 본 발명의 항공영상과 라이다데이터를 이용한 DSM 생성방법은DSM generation method using aerial image and lidar data of the present invention for achieving the above object is
특정지역에 대한 항공영상들과 라이다데이터의 기하학적 정합을 통한 각 항공영상의 외부표정요소를 보정하는 기하학적 정합단계;A geometric matching step of correcting an external expression element of each aerial image by geometric matching of aerial images and lidar data for a specific region;
상기 라이다데이터를 이용하여 기준영상의 공액점에 대한 정합영상의 대응 공액점에 대한 초기값을 설정하고, 설정된 초기값의 대응 공액점을 점진적으로 변화시켜 상기 대응 공액점의 참값을 추출하는 방식으로 상기 항공영상들을 영상 정합하는 영상 정합단계;The aerial image is extracted by setting the initial value of the corresponding conjugate point of the matched image to the conjugate point of the reference image using the LiDAR data, and gradually changing the corresponding conjugate point of the set initial value to extract the true value of the corresponding conjugate point. An image registration step of image matching;
영상 정합된 상기 항공영상들로부터 추출되는 특정지역에 대한 지상점들의 좌표와 상기 라이다데이터의 특정지역에 대한 지상점들의 좌표로부터 수치표고자료(DSM)를 생성하는 DSM 생성단계;를 포함하여 이루어진다. And generating a digital elevation data (DSM) from the coordinates of the ground points for the specific region extracted from the image-matched aerial images and the coordinates of the ground points for the specific region of the LiDAR data. .
그리고 상기 기하학적 정합단계는And the geometric matching step
두 항공영상에서 공액점과 대응 공액점을 각각 선택하고, 선택된 공액점과 대응 공액점의 좌표와 외부표정요소를 공선조건식에 대입하여 해당하는 지상점을 추출하는 지상점 추출단계와,A ground point extraction step of selecting a conjugate point and a corresponding conjugate point in each of the two aerial images, and extracting a corresponding ground point by substituting coordinates and external expression elements of the selected conjugate point and corresponding conjugate point in a collinear condition equation;
상기 라이다데이터의 불규칙한 3차원 점들을 상호 연결하는 다수의 평면패치 를 생성하는 평면패치 생성단계와,A plane patch generation step of generating a plurality of plane patches interconnecting irregular three-dimensional points of the LiDAR data;
추출된 상기 지상점에 인접한 평면패치를 선택하고, 상기 지상점이 선택된 상기 평면패치 상에 위치하도록 상기 두 항공영상의 외부표정요소를 점진적으로 변화시켜 외부표정요소를 보정하는 외부표정요소 보정단계를 포함하여 이루어지는 것을 특징으로 하고, Selecting an external planar patch adjacent to the extracted ground point, and correcting the external expression element by gradually changing the external expression elements of the two aerial images such that the ground point is located on the selected plane patch. Characterized in that made,
상기 영상 정합단계는The image matching step
상기 라이다데이터의 불규칙한 3차원 지상점들을 상호 연결하는 다수의 평면패치를 생성하는 평면패치 생성단계와,A plane patch generation step of generating a plurality of plane patches interconnecting irregular three-dimensional ground points of the LiDAR data;
상기 기준영상의 공액점이 상기 평면패치 상으로 투영되는 투영점을 추출하는 투영점 추출단계와, A projection point extraction step of extracting a projection point at which the conjugate point of the reference image is projected onto the plane patch;
추출된 투영점이 상기 정합영상으로 투영되는 대응 공액점을 추출하는 대응 공액점 초기값 추출단계와,A corresponding conjugate point initial value extraction step of extracting a corresponding conjugate point at which the extracted projection point is projected onto the registration image;
상기 기준영상의 공액점과 초기값으로 추출된 상기 대응 공액점의 좌표와 보정된 외부표정요소를 공선조건식에 대입하여 해당하는 지상점을 추출하는 지상점 추출단계와, A ground point extraction step of extracting a corresponding ground point by substituting the coordinates of the corresponding conjugate point and the corrected external expression element extracted as the conjugate point and the initial value of the reference image into a collinear condition equation;
추출된 상기 지상점에 인접한 평면패치를 선택하고, 상기 지상점이 선택된 상기 평면패치에 위치하도록 상기 정합영상의 대응 공액점을 점진적으로 변화시켜 대응 공액점의 참값을 추출하는 대응 공액점 참값 추출단계를 포함하여 이루어지는 것을 특징으로 하고,And selecting a corresponding conjugate point true value extraction step of extracting the true value of the corresponding conjugate point by gradually changing the corresponding conjugate point of the registration image so as to select the extracted plane patch adjacent to the extracted ground point. Characterized in that,
상기 DSM 생성단계는The DSM generation step
영상 정합된 상기 항공영상들로부터 특정지역에 대한 지상점들을 추출하는 지상점 추출단계와,A ground point extraction step of extracting ground points for a specific region from the matched aerial images;
추출된 상기 지상점들과 상기 라이다데이터의 지상점들 중 하나 이상의 지상점이 격자 내에 포함되도록 상기 특정지역에 대하여 격자들을 생성하는 격자생성단계와,A grid generation step of generating grids for the specific area so that one or more ground points of the extracted ground points and ground points of the LiDAR data are included in a grid;
각 격자 중심에서 일정거리 내에 존재하는 상기 지상점들의 고도값 평균을 구하여 해당 격자에 할당하는 고도값 추출단계를 포함하여 이루어지는 것을 특징으로 하고,And an altitude value extraction step of obtaining an average of altitude values of the ground points existing within a predetermined distance from each lattice center and assigning them to the corresponding lattice.
상기 영상 정합단계는 최소제곱정합방법을 이용하여 상기 설정된 초기값의 대응 공액점을 점진적으로 변화시켜 상기 대응 공액점의 참값을 추출한 것을 특징으로 하고,In the image matching step, a true value of the corresponding conjugate point is extracted by gradually changing the corresponding conjugate point of the set initial value by using a least square matching method.
상기 DSM 생성단계 이후에After the DSM creation step
상기 라이다 데이터의 어느 한 지상점의 일정거리 이내에 다른 지상점이 존재하도록 생성된 DSM의 지상점을 라이다데이터에 부여하는 라이다데이터 보정단계;와A lidar data correction step of giving a lidar data a ground point of the DSM generated so that another ground point exists within a predetermined distance of any one ground point of the lidar data; and
보정된 라이다데이터를 상기 기하학적 정합단계, 영상 정합단계 및 DSM 생성 단계에 적용하여 DSM을 갱신하는 DSM 갱신단계;를 더 포함하는 것을 특징으로 하고,And updating the DSM by applying the corrected LiDAR data to the geometric matching step, the image matching step, and the DSM generating step.
상기 두 항공영상의 [공액점-대응 공액점] 다수를 선택하여 보정된 외부표정요소 다수를 추출하고, 추출된 외부표정요소들의 평균을 해당 항공영상의 외부표정요소로 최종 보정하는 것을 특징으로 하고,And selecting a plurality of conjugated points-corresponding conjugate points of the two aerial images to extract a plurality of corrected external expression elements, and finally correcting the average of the extracted external expression elements to the external expression elements of the corresponding aerial image.
상기 외부표정요소 보정단계에서In the external expression element correction step
추출된 상기 지상점과 선택된 상기 평면패치가 일정거리 내에 있는 [공액점-대응 공액점]에 대하여만 외부표정요소를 보정하는 것을 특징으로 하고,Characterized in that the external expression element is corrected only for the [conjugated point-corresponding conjugated point] in which the extracted ground point and the selected planar patch are within a predetermined distance.
상기 고도값 추출단계 이후에After the altitude value extraction step
추출된 고도값과 해당 지상점들의 고도값으로부터 표준편차를 구하여 임계치를 벗어나는 지상점은 제거하고, 남은 지상점들로부터 해당 격자의 고도값을 다시 추출하는 고도값 보정단계를 더 포함하는 것을 특징으로 한다.The method further includes an altitude correction step of removing a ground point outside the threshold by obtaining a standard deviation from the extracted altitude value and the altitude value of the ground points, and extracting the altitude value of the grid from the remaining ground points. do.
상기한 바와 같은 구성을 갖는 본 발명은 라이다데이터를 이용하여 항공영상들의 기하왜곡(외부표정요소의 오차)을 보정하고, 기하왜곡이 보정된 항공영상들의 영상 정합이 가상의 수평면이 아닌 라이다데이터로부터 생성된 평면패치를 이용하 여 영상 정합되어 영상 정합의 정밀도가 높고, 정밀하게 영상 정합된 항공영상들로부터 추출된 지상점과 라이다데이터의 정밀한 지상점 모두를 이용하여 DSM 생성하므로, 본 발명에 의해 생성된 DSM은 고밀도, 고정밀을 갖는 3차원 공간정보를 제공한다.According to the present invention having the above-described configuration, the geometric distortion (error of an external expression element) of aerial images is corrected using lidar data, and the image registration of the aerial images whose geometric distortion is corrected is not a virtual horizontal plane. Since the image is matched using the plane patch generated from the data, the accuracy of the image matching is high, and the DSM is generated using both the ground point extracted from the precisely matched aerial images and the precise ground point of the LiDAR data. The DSM generated by the DSM provides three-dimensional spatial information with high density and high precision.
이하에서는 도면을 참조하여 본 발명을 보다 구체적으로 설명한다. Hereinafter, with reference to the drawings will be described the present invention in more detail.
도1은 본 발명에 따른 항공영상과 라이다데이터를 이용한 DSM 생성방법의 절차도를 도시한 것으로서, 1 is a flowchart illustrating a method of generating a DSM using aerial video and lidar data according to the present invention.
도면에서 보는 바와 같이 대별하면, 기하학적 정합단계(S10), 영상 정합단계(S20), DSM 생성단계(S30)로 이루어지고, 라이다데이터 보정단계(S40)와 DSM 갱신단계(S50)를 더 포함할 수 있다. As shown in the figure, the geometric matching step (S10), the image matching step (S20), the DSM generation step (S30), and further comprises a LiDAR data correction step (S40) and DSM update step (S50). can do.
상기 기하학적 정합단계(S10)는 항공영상과 라이다데이터의 기하학적 불일치(오차)를 최소화하는 단계이다. 보다 구체적으로는 항공영상들의 외부표정요소를 보정하여 항공영상에 관련된 장비와 라이다데이터에 관련된 장비의 기하학적 오차를 줄이는 것이다. The geometric matching step S10 is a step of minimizing geometric inconsistency (error) between the aerial image and the lidar data. More specifically, by correcting the external expression elements of aerial images, geometric errors of equipment related to aerial imagery and equipment related to lidar data are reduced.
기하학적 정합은 항공영상과 라이더 데이터 간의 정합을 말한다. 이를 위해서는 정합요소가 필요하다. 영상의 정합요소는 공액점이고, 라이다 데이터의 정합요소는 평면패치이다.Geometric matching refers to matching between aerial imagery and rider data. This requires a matching element. The registration element of the image is the conjugate point, and the registration element of the LiDAR data is a plane patch.
일반적으로 유인 또는 무인 항공기에 디지털카메라, 레이저스캐너, GPS, INS(또는 IMU)를 함께 장착하여 항공영상과 라이더데이터를 함께 취득한다. 상기 디지털카메라는 지상을 촬영하여 항공영상을 취득하고, 레이저스캐너는 지상으로 레이저를 조사하고 반사되는 레이저를 받아 라이다데이터를 취득하고, 상기 GPS와 INS(또는 IMU)는 디지털카메라와 레이저스캐너의 위치와 자세(좔영방향과 조사방향)에 대한 정보를 취득하는데 사용된다. Generally, digital cameras, laser scanners, GPS, and INS (or IMU) are attached to manned or unmanned aerial vehicles to acquire aerial images and rider data. The digital camera photographs the ground to acquire an aerial image, the laser scanner irradiates the laser to the ground and receives the reflected laser to acquire the rider data. The GPS and the INS (or IMU) are used for the digital camera and the laser scanner. It is used to obtain information about position and posture (shooting direction and irradiation direction).
이들 네 장비의 개별적인 오차나 네 장비의 상호 관계에 따른 오차 등에 의해 항공영상들 상호간과 항공영상들과 라이더데이터간에 기하학적 불일치가 발생된다. 따라서 이들 간의 기하학적 불일치를 최소화하여 항공영상간의 정합의 정밀도를 높이고, 정합된 영상들로부터 보다 정밀한 지상점들의 좌표가 얻어지도록 할 필요가 있다. The geometrical inconsistency between the aerial images and between the aerial images and the rider data is caused by the individual errors of the four equipments or the errors caused by the interrelationships of the four equipments. Therefore, it is necessary to minimize the geometric inconsistency between them to increase the accuracy of matching between aerial images and to obtain more precise coordinates of ground points from the matched images.
라이다데이터는 고정밀도의 지상점 좌표이므로, 항공영상의 내부표정요소(카메라 렌즈의 초점거리, 렌즈와 CD의 정열 불일치 정도)와 외부표정요소(카메라의 위치좌표, 카메라의 자세(촬영방향)좌표)를 보정하여 이들의 기하학적 불일치가 최소화되도록 하는 것이 바람직하다. 특히, 외부표정요소의 보정이 중요하다. Since the Lidar data is a high-precision ground point coordinate, the internal focusing elements (the focal length of the camera lens, the alignment misalignment between the lens and the CD) and the external marking elements (the positional coordinates of the camera and the attitude of the camera) are taken. Coordinates) so that their geometric inconsistency is minimized. In particular, the correction of external expression factors is important.
외부표정요소의 보정, 즉 기하학적 정합단계(S10)는 항공영상으로부터 지상점 추출단계(S12), 라이다데이터로부터 평면패치 생성단계(S13), 외부표정요소를 점진적으로 변화(보정)하는 단계(S15)를 포함하여 이루어진다. Correction of the external expression element, that is, geometric matching step (S10) is the ground point extraction step (S12) from the aerial image, the plane patch generation step (S13) from the rider data, the step of gradually changing (correcting) the external expression element ( S15) is made.
지상점을 추출하기 위해, 두 항공영상의 중첨되는 부분에서 공액점과 대응 공액점을 각각 선택(S11)한다. 여기서, 공액점과 대응 공액점은 각각 두 영상이 지상의 같은 지점을 촬영한 해당 항공영상의 픽셀 좌표이고, 공액점과 대응 공액점은 항공영상에서 다른 부분과 쉽게 식별되는 점을 선택한다. 쉽게 식별되는 점, 즉 부각되는 점을 [공액점-대응 공액점]으로 선택함으로써 이들의 정합(매칭)이 2,3픽셀을 벗어나지 않아 추출되는 지상점의 좌표가 보다 정확해진다. 그리고 [공액점-대응 공액점]은 하나만 선택할 수도 있지만, 여러 개를 선택하여 그 이후의 단계를 수행하여 보다 정밀한 외부표정요소의 보정이 행해지도록 하는 것이 바람직할 수 있다. 그리고 [공액점-대응 공액점]의 선택은 수작업으로 할 수도 있지만, 신속성을 위해 특정 픽셀이 주위의 다른 픽셀과 비교하여 RGB 또는 Gray 값의 현격히 차이가 나는 경우나 그 밖의 다른 요인에 의해 현격히 구별되는 경우 그 픽셀을 공액점과 대응 공액점으로 자동 선택되도록 할 수도 있다. In order to extract the ground point, the conjugate point and the corresponding conjugate point are respectively selected in the overlapped portions of the two aerial images (S11). Here, the conjugate point and the corresponding conjugate point are pixel coordinates of the aerial image in which the two images photograph the same point on the ground, and the conjugate point and the corresponding conjugate point select a point that is easily distinguished from other parts of the aerial image. By selecting a point that is easily identified, that is, an embossed point as a [conjugated point-corresponding conjugated point], the matching (matching) of these points does not deviate a few pixels, so that the coordinates of the ground point extracted are more accurate. And although only one [conjugated point-corresponding conjugated point] may be selected, it may be desirable to select several and perform subsequent steps so that more accurate correction of the external expression element is performed. And you can choose the Conjugated-corresponding conjugate point by hand, but for the sake of speed, if one pixel is noticeably different in RGB or Gray values compared to other pixels around it, or is clearly distinguished by other factors The pixel may be automatically selected as the conjugate point and the corresponding conjugate point.
항공영상으로부터 [공액점-대응 공액점]을 선택(S11)한 후에는 이들의 해당 항공영상의 좌표와 외부표정요소를 공선조건식에 대입하여 해당하는 지상의 지상점을 추출(S12)한다.After selecting [conjugated point-corresponding conjugate point] from the aerial image (S11), the ground point of the ground level is extracted by substituting the coordinates and external expression elements of the corresponding aerial image into the collinear condition equation.
지상점을 추출한 후 또는 추출 전 또는 동시에 라이다데이터로부터 다수의 평면패치를 생성(S13)한다. 여기서, 상기 평면패치는 라이다데이터를 구성하는 불규칙한 3차원 지상점들이 상호 연결되어 형성하는 평면을 의미한다. After the ground point is extracted or before or simultaneously with the extraction, a plurality of plane patches are generated from the LiDAR data (S13). Here, the planar patch means a plane formed by interconnecting irregular three-dimensional ground points constituting LiDAR data.
불규칙하게 분포되어 있는 라이다데이터의 지상점들의 인접성을 설정하고, 군집해 있는 몇 개의 지상점들로부터 초기의 작은 평면패치를 생성한 후에 점진적으로 주위의 지상점들을 포함시켜 가면서 나머지 평면패치들을 생성한다. 각각의 평면패치는 상호 중첩되지 아니하고, 경계는 다른 평면패치와 접하며, 평면은 평면근사오차를 갖는다. 가장 단순한 평명패치는 세 지상점을 연결하는 삼각형의 평면(즉,평면패치)들이 일정 각도를 이루며 연속적으로 연결되는 형태이다. Set up the adjacency of irregularly distributed ground points, create an initial small plane patch from a few clustered ground points, and gradually include the surrounding ground points to create the remaining plane patches. do. Each planar patch does not overlap with each other, the boundaries abut other planar patches, and the planes have plane approximation errors. The simplest flat patch is a form in which triangular planes (ie, flat patches) connecting three ground points are connected at an angle to each other in series.
지상점을 추출(S12)하고 평면패치를 생성(S13)한 후에는 추출된 지상점에 가장 인접한 평면패치를 선택(S14)하고, 선택된 평면패치 상에 지상점이 위치되도록 상기 두 항공영상의 외부표정요소를 점진적으로 변화시켜 외부표정요소를 보정(S15)한다. After the ground point is extracted (S12) and the plane patch is generated (S13), the plane patch closest to the extracted ground point is selected (S14), and the external expression of the two aerial images is positioned on the selected plane patch. The external expression element is corrected (S15) by gradually changing the element.
이를 보다 구체적으로 설명하면, In more detail,
이상적인 경우(즉, 기하학적 불일치가 없고, 지상에 경사나 기복이 없고, 대응점의 선택이 정확하고, 평면패치가 지상과 일치하는 경우)에는 추출된 지상점은 평면패치 상에 정확하게 위치할 것이나, 이상적일수 없으므로 도2에서 보는 바와 같이 추출한 지상점은 평면패치에서 벗어나 있게 된다. 그래서 추출되는 지상점이 평면패치 상에 위치하도록 두 항공영상의 외부표정요소를 점진적으로 조정하여 기하학적 불일치를 줄이는 것이다. In ideal cases (i.e. no geometric inconsistency, no inclination or undulation on the ground, the selection of corresponding points is correct, and the planar patch coincides with the ground) the extracted ground point will be located exactly on the planar patch. Since it can not be as shown in Figure 2 the extracted ground point is out of the plane patch. Thus, the geometric inconsistency is reduced by gradually adjusting the external expression elements of the two aerial images so that the extracted ground point is located on the plane patch.
외부표정요소의 점진적 조정(변화)은 지상점과 항공영상의 좌표(즉, 공액점)의 관계를 나타내는 공선조건식과 지상점은 평면패치 상에 존재한다는 제약조건을 주고 수렴방정식을 통해 조정한다. 수렴방정식에 관한 일례는 영상 정합단계(S20)에서 최소제공정합방법에 사용되는 관측방정식이다. The gradual adjustment (change) of the external expression elements is controlled by the convergence equation, giving the constraint that the ground point and the ground point exist on the plane patch, indicating the relationship between the ground point and the coordinates (ie, conjugate point) of the aerial image. An example of the convergence equation is an observation equation used for the minimal manufacturing method in the image matching step (S20).
수렴방정식을 통한 외부표정요소의 조정을 간단히 설명하면, 두 항공영상의 초기 외부표정요소를 수렴방정식에 대응하여 새로운 외부표정요소를 구하고, 구해진 외부표정요소를 다시 수렴방정식에 대입하여 새로운 외부표정요소를 다시 구하는 식으로 반복하여, 수렴방정식의 어느 한 파라미터가 특정 값으로 수렴할 때 얻어진 외부표정요소를 최종 보정(조정)된 외부표정요소로 하는 것이다.Briefly explaining the adjustment of external expression elements through convergence equations, the new external expression elements are obtained by substituting the initial external expression elements of the two aerial images corresponding to the convergence equation, and substituting the obtained external expression elements into the convergence equation again. It is repeated to find again, so that the external expression element obtained when one parameter of the convergence equation converges to a specific value is the final corrected (adjusted) external expression element.
그리고 어느 한 [공액점-대응 공액점]만을 선택하여 외부표정요소를 보정하는 것보다, 여러 [공액점-대응 공액점]을 선택하여 보정된 외부표정요소 여럿을 구하고, 이들의 평균을 해당 항공영상의 최종 보정된 외부표정요소로 하는 것이 보다 바람직할 수 있다. 그리고 여러 [공액점-대응 공액점]을 선택하여 보정된 외부표정요소 다수 중에서 표준편차를 적용하여 임계치를 벗어나는 외부표정요소들은 제외하여 평균을 구하는 것이 바람직할 수 있고, 외부표정요소의 보정(S15) 전에 추출된 지상점과 선택된 평면패치의 거리가 일정범위를 벗어나는 경우에는 [공액점-대응 공액점]의 선택에 커다란 오류가 있거나, 평면패치를 형성하는 라이다데이터의 지상점에 커다란 오류가 있는 것으로 취급하여 외부표정요소의 보정을 행하지 않는 것이 바람직할 수 있다. Rather than selecting only one [conjugated-corresponding conjugated point] to calibrate an external expression element, select multiple [conjugated-corresponding conjugated points] to obtain a number of corrected external-expressed elements, and average the final correction of the corresponding aerial image. It may be more desirable to use an external expression element. In addition, it may be desirable to obtain an average by excluding external expression elements that deviate from a threshold by applying a standard deviation among a plurality of external expression elements corrected by selecting several [conjugated points-corresponding conjugate points], before correction of external expression elements (S15). If the distance between the extracted ground point and the selected plane patch is out of a certain range, there is a big error in the selection of [conjugated point-corresponding conjugate point] or a large error in the ground point of the rider data forming the plane patch. It may be desirable not to correct the external expression element.
상기 영상 정합단계(S20)는 중첩되는 항공영상들로부터 동일한 지상점을 나타내는 영상점(즉, 공액점)을 찾아내는 과정으로서, 라이다데이터는 건물의 모서리 나 코너부분의 정보를 정확하게 얻기 힘들다는 반사특성을 보완하기 위해 필요한 조밀한 3차원 지상좌표(즉, DSM)를 얻기 위한 과정이다. The image matching step (S20) is a process of finding an image point (that is, a conjugate point) representing the same ground point from overlapping aerial images. Lidar data is a reflection characteristic that it is difficult to accurately obtain information on corners or corners of a building. It is a process to obtain dense three-dimensional ground coordinates (ie, DSM) that are necessary to complement the problem.
영상정합은 국부영역에 대한 밝기값의 유사성에 기반하는 영역기반방법(Aerial Based Matching), 추출된 선형객체들 간의 모양의 유사성에 기반하는 형상기반방법(Feature Based Matching), 추출된 객체들 사이의 관계까지 고려하는 관계기반방법(Relational Matching) 등으로 분류되는 많은 방법론이 제시되었다.Image matching is based on the similarity of the brightness values to the local area (Aerial Based Matching), the shape based method based on the similarity of the shape between the extracted linear objects (Feature Based Matching), between the extracted objects Many methodologies have been proposed, which are classified as Relational Matching.
그러나 아직까지 실시간 공간정보 생성에 적합한, 즉, 고속이면서 신뢰성 또한 높은 방법은 아직 개발되지 못하고 있다. 이는 제시된 방법론들은 주로 다수의 영상만을 입력으로 고려하였기 때문인데, 동일한 지역에 대해 취득한 영상이라도 관측지점의 차이나 지표의 경사나 기복에 의해 영상에 투영된 형상이 상당히 달라지기 때문에 영상만으로는 동일저점을 정확히 찾아내기 어렵기 때문이다. However, a method suitable for real-time spatial information generation, that is, a high speed and high reliability has not yet been developed. This is because the proposed methodologies mainly consider only multiple images as inputs, but even if the images were acquired for the same area, the projected images on the images could be changed by the difference of observation point or the slope or undulation of the surface. Because it is difficult to find.
상기 영역기반방법은 상관관계정합(Correlation Matching)이나 최소제곱정합(Least Squares Matching)으로 대표되는데, 신속하고 신뢰성 높은 정합결과를 얻기 위해서는 정합대상점(즉, 대응 공액점)을 찾기 위한 검색범위를 최대한 줄여야하고, 검색을 위한 초기 위치를 실제 정합위치와 2,3픽셀 이내로 근접하게 설정해야 한다. The domain-based method is represented by correlation matching or least squares matching, and in order to obtain a fast and reliable matching result, the search range for finding a matching target point (that is, corresponding conjugate point) is maximized. You should reduce it and set the initial position for the search to be within 2 or 3 pixels of the actual registration position.
상기 최소제곱정합방법은 하나의 영상(즉, 기준영상)에서 선택된 정합대상객체(즉, 공액점)의 중심을 기준으로 한 일정한 크기의 기준영역과 다른 영상(즉, 정합영상)으로 기준영역을 복사학적 및 기하학적으로 변환하여 생성된 정합영역 간의 밝기값 차이의 제곱의 합이 최소가 되도록 변환계수를 추정하는 방법이다. 본 발명은 정합방법으로 상기 최소제곱정합방법을 이용하였으며, 라이다데이터를 이용하였다. The least square matching method copies a reference region from one image (i.e., reference image) to a reference region of a constant size based on the center of the selected matching object (i.e., conjugate point) and another image (i.e., registration image). It is a method of estimating a transformation coefficient such that the sum of squares of the difference in brightness values between the matched regions generated by the mathematical and geometric transformation is minimized. In the present invention, the least square matching method is used as the matching method, and Lidar data is used.
최소제곱정합방법의 기본원리를 통해 기하학적변환모델()과 복사학적 변환모델()에 포함되는 각각의 미지수 와 을 추정하기 위해 수립되는 관측방정식은 수식1과 같다. 이는 하나의 영상(t)에서 i,j에 위치한 하나의 픽셀의 밝기값t(i,j)은 두 번째 영상(m)에서 이에 대한 기하학적 변환을 통해 대응되는 위치 (i,j)의 픽셀의 밝기값 m((i,j))을 복사학적 변환을 통해 변환한 밝기값 (m((i,j)))과 동일해야 한다는 것을 바탕으로 관측방정식으로 수립한 것이다. 여기서, e(i,j)는 밝기값의 차이를 나타내는 오차로, 이를 최소화하도록 최소제법을 적용한다. Based on the basic principle of least square matching, ) And the radiological transformation model ( ) Each unknown in Wow The observation equation established to estimate is This means that the brightness value t (i, j) of one pixel located at i, j in one image t corresponds to the position of the second image m through geometric transformation thereof. The brightness value m of the pixel of (i, j) Brightness value converted from (i, j)) by radiological conversion (m ( It is based on the fact that (i, j))) must be the same. Here, e (i, j) is an error representing the difference in brightness values, and a minimum method is applied to minimize this.
[수식1][Equation 1]
수식1과 같은 관측방정식은 일반적으로 비선형이기 때문에, 최소제곱법을 적용하기 위해서는 각각의 미지수에 대한 선형화가 이루어져야 한다. 선형화를 위해서는 미지수에 대한 초기값이 필요하며, 초기값을 참값에 가깝게 설정할수록 최소 제곱법을 통해 수렴된 미지수에 대한 추정값이 실제의 참값에 가까워진다. 따라서 최소제곱정합에서 초기치를 구하는 과정은 정합결과에 상당한 영향을 미치는 아주 중용한 과정이다. Since observation equations such as
수식2는 수식1을 선형화한 관측방정식이고, 여기서 와 는 각각 미지수 와 에 대한 초기값을 의미하고, 이고, 이다. 또한, 미분값 는 chain rule에 따라서 수식3처럼 계산된다.
[수식2][Equation 2]
[수식3][Equation 3]
기준영역내의 개별 픽셀에 대해서 수식2와 같은 하나의 관측방정식을 수립할 수 있으며, 모든 픽셀에 대한 관측방정식을 모아서 하나의 벡터식으로 표면하면 수식4와 같다. 여기서, y는 모든 픽셀에 대한 수식2의 좌변을 하나의 벡터로 표현한 것이고, A는 모든 픽셀에 대한 수식2의 미분값을 하나의 행렬로 표현한 것이며, e 는 모든 픽셀의 밝기값의 차이를 하나의 벡터로 표현한 것이고, 는 로서 미지수와 미지수에 대한 초기값의 차이를 나타낸다. One observation equation such as
[수식4][Equation 4]
수식4에 최소제곱법을 적용하여 에 대한 추정값 d를 수식5처럼 계산하고, 이를 에 더하여 수식6처럼 에 대한 추정값을 구한다. 추정값 를 다시 초기값으로 설정하고, 이에 대해 선화화해서 수식5 및 수식6의 과정을 이 수렴될때까지 반복적으로 수행한다. Applying least square method to Equation 4 Estimate d for Is calculated like
[수식5][Equation 5]
[수식6][Equation 6]
최소제곱정합방법의 미지수는 기하학적 변환과 관련된 계수와, 복사학적 변환과 관련된 계수로 구성되는데, 일반적으로 복사학적 변환은 밝기값의 선형화변환모델을 사용하며, 이와 관련된 계수는 두 영상의 전체적인 밝기값의 차이를 비교하 여 결정한다. 많은 경우에 결정된 선형변환모델을 통해 전처리를 통해 복사학적인 원인으로 인한 밝기값의 차이를 최소로 조정하고 실제 최소제곱정합방법을 통해 복사변환모델의 계수를 개별적으로 추정하지 않는다. 결국, 기하학적 변환과 관련된 계수를 미지수로 놓고 최소제곱정합방법론을 통해 추정한다. The unknown of the least-squares matching method consists of coefficients related to geometric transformations and coefficients related to radiative transformations. In general, radiative transformations use a linearized transformation model of brightness values, and the associated coefficients are the overall brightness values of two images. Determine by comparing the difference. In many cases, the linear transformation model determined by the preprocessing minimizes the difference in brightness due to radiological causes and does not estimate the coefficients of the radiation transformation model individually through the least squares matching method. Finally, the coefficients related to geometric transformations are unknown and estimated using the least-squares matching methodology.
그렇다면 기하학적 변환과 관련된 미지수에 대한 초기값은 최대한 정확하게 설정해서 앞서 언급한 것처럼 변환을 통해 계산된 대응 공액점의 초기 위치가 참값의 2,3픽셀 이내로 들어오도록 해야 한다. If so, the initial values for the unknowns associated with the geometric transformation should be set as precisely as possible so that the initial position of the corresponding conjugate point calculated by the transformation falls within a few pixels of the true value.
대응 공액점의 초기값을 결정하는 기존의 방법은 일반적으로 대상지역에 대한 평균고도를 갖는 수평면으로 지면을 가정하는 것이다. 그런데 이 가정된 수평면은 실제와 많은 오차를 갖고 있기 때문에 많은 대응 공액점의 초기값이 참값으로 수렴해갈 수 있는 2,3픽셀 이내의 범위를 벗어나게 된다.The existing method of determining the initial value of the corresponding conjugate point is generally to assume the ground as a horizontal plane with an average elevation for the target area. However, since this assumed horizontal plane has a lot of errors from the real world, the initial value of many corresponding conjugate points is out of the range of 2 or 3 pixels that can converge to the true value.
이에 본 발명은 영상 정합단계(S20)에서 가상의 수평면 대신 라이다데이터를 이용함으로써, 대응 공액점의 초기값과 실제 참값의 차이를 현저히 줄여 영상정합의 성공률(정밀도)를 높였다. 이하 이에 대해 보다 구체적으로 설명한다. Accordingly, in the image matching step (S20), by using the LiDAR data instead of the virtual horizontal plane, the difference between the initial value and the true value of the corresponding conjugate point significantly reduced the success rate (precision) of the image registration. This will be described in more detail below.
우선, 항공영상에서 기준영상과 이에 중첩되는 정합영상을 선정한다. 도3은 본 발명에 따른 영상 정합방법의 원리를 도시한 것이다. First, a reference image and a matched image overlapping the reference image are selected from the aerial image. 3 illustrates the principle of an image registration method according to the present invention.
기준영상에서 중첩된 부분의 픽셀들 각각(즉, 공액점들)을 순차적으로 상기 라이다데이터의 평면패치로 투영하여 투영점을 추출(S21)한다. 이때 투영점의 추출은 ray tracing 알고리즘을 이용한다. 상기 ray tracing 알고리즘은 본 기술분야에 는 주지되어 있는 알고리즘이므로 이에 대한 구체적인 설명은 생략한다. Projection points are extracted by sequentially projecting each of the pixels (ie, conjugate points) of the overlapped portion of the reference image to the planar patch of the LiDAR data (S21). At this time, the extraction of the projection point uses a ray tracing algorithm. Since the ray tracing algorithm is well known in the art, a detailed description thereof will be omitted.
그리고 투영점을 추출할 때 기준영상의 외부표정요소(즉, 카메라의 위치와 카메라의 촬영방향)가 보정되어 있으므로 추출되는 투영점은 보다 정확하다.When the projection point is extracted, the external reflection elements (that is, the position of the camera and the photographing direction of the camera) of the reference image are corrected, so that the extracted projection point is more accurate.
평면패치로의 투영점을 추출(S21)한 후에는 투영점을 다시 정합영상으로 투영하여 대응 공액점의 초기값을 추출(S22)한다. 대응 공액점의 추출은 공선조건식에 추출된 투영점의 좌표와 정합영상의 보정된 외부표정요소를 대입하여 구한다. After extracting the projection point to the plane patch (S21), the projection point is projected again to the registration image to extract the initial value of the corresponding conjugate point (S22). The extraction of the corresponding conjugate point is obtained by substituting the coordinates of the projection point extracted in the collinear condition equation and the corrected external expression element of the registered image.
대응 공액점의 초기값을 추출(S23)한 후에는 상기 최소제곱정합방법의 관측방정식에 추출된 대응 공액점의 초기값을 대입하여 새로운 대응 공액점을 추출하고, 새롭게 추출된 대응 공액점을 다시 초기값으로 하여 관측방정식에 대입하여 다시 새로운 대응 공액점을 추출한다. 이처럼 반복해서 새로운 대응 공액점을 점진적으로 조정해나가 참값을 추출(S25)한다. After extracting the initial value of the corresponding conjugate point (S23), a new corresponding conjugate point is extracted by substituting the initial value of the corresponding conjugate point extracted into the observation equation of the least square matching method, and the newly extracted corresponding conjugate point is set again as the initial value. Substitute the observation equation and extract a new corresponding conjugate point. Repeat this step to gradually adjust the new corresponding conjugate point to extract the true value (S25).
이와 같은 과정을 중첨되는 부분의 기준영상 모든 픽셀에 적용하여 항공영상들을 영상 정합한다.This process is applied to all pixels of the reference image of the overlapped portion to match the aerial images.
이상의 과정을 통해 얻은 영상정합의 결과는 여러 가지 원인으로 인해 항상 성공적이지 않다. 그러므로 영상정합결과의 품질을 검증하여 정합을 통해 생성된 각각의 공액점에 대응하는 대응 공액접이 올바르게 선택되었는지 확인하는 정합검증단계(S60)가 필요하다. The result of image registration obtained through the above process is not always successful due to various causes. Therefore, a matching verification step (S60) is required to verify the quality of the image matching result to confirm that the corresponding conjugate contact corresponding to each conjugate point generated through matching is correctly selected.
영상정합 결과의 품질을 검증하는 방법으로는 최소제곱정합법을 이용하여 대응 공액점의 초기값이 참값으로 수렴하는 과정이 얼마나 빨리 진행되었는지, 즉, 반복회수가 얼마나되는지를 비교하는 방법과, 공액점과 대응 공액점 주변의 국부영역의 밝기값의 평균적인 차이를 나타내는 분산요소의 추정값을 비교하는 방법과, 대응 공액점 추정값(초기값)의 표준편차를 비교하는 방법이 사용된다. As a method of verifying the quality of the image registration result, the method of comparing the initial process of the corresponding conjugate point to the true value using the least square matching method, that is, how many times the repetition is performed, A method of comparing the estimated values of the variance elements representing the average difference in brightness values of the local areas around the corresponding conjugate points and a method of comparing the standard deviation of the corresponding conjugate point estimates (initial values) are used.
본 발명에서는 위의 3가지 방법 이외에 공액점과 대응 공액점의 초기값으로부터 구해지는 지상점과 라이다데이터 평면패치의 수직거리로 품질을 검사하는 방법을 더 제안한다. In addition to the above three methods, the present invention further proposes a method for inspecting the quality of the ground point and the vertical distance of the Lidar data plane patch obtained from the initial values of the conjugate point and the corresponding conjugate point.
기하학적 정합(즉, 외부표정요소의 보정)과 영상 정합이 정밀하다면 공액점과 대응 공액점의 초기값으로 구해진 지상점은 평편패치에 매우 근접해 있을 것이다. 라이다데이터와 보정된 외부표정요소에 포함된 오차가 크지 않다고 가정하면, 지상점의 수직오차는 결국 정합 결과의 신뢰도를 직접적으로 나타낸다고 볼 수 있기 때문에 영상정합 결과의 품질 검증에 이용될 수 있다. If the geometric registration (ie correction of external expression elements) and image registration are accurate, the ground point obtained as the initial value of the conjugate point and the corresponding conjugate point will be very close to the flat patch. Assuming that the errors included in the LiDAR data and the corrected external expression elements are not large, the vertical error of the ground point can be used to verify the quality of the image registration result because it can be seen that it directly represents the reliability of the registration result.
수직거리오차로 품직을 검증하는 정합검증단계(S60)는 공액점과 대응 공액점의 초기값광 외부표정요소를 공선조건식에 대입하여 해당하는 지상점을 추출하는 단계(S61)와, 상기 라이다데이터의 평면패치 다수에서 추출된 지상점에 근접한 평면패치를 선택하는 단계(S62)와, 추출된 지상점과 선택된 평면패치 간의 수직거리를 추출하는 단계(S63)를 포함하여 이루어진다. 모든 공액점에 대해 수직거리를 추출한 후에 수직거리가 기준거리를 벗어나는 공액점이 얼마나 되는지에 따라 정합의 품질이 결정된다. In the registration verification step (S60) of verifying the work due to the vertical distance error, a step of extracting a corresponding ground point by substituting the initial value light external expression element of the conjugate point and the corresponding conjugate point into the collinear condition equation (S61) and the plane of the lidar data Selecting a plane patch close to the ground point extracted from a plurality of patches (S62), and extracting the vertical distance between the extracted ground point and the selected plane patch (S63). After extracting the vertical distance for all conjugate points, the quality of the match is determined by how many conjugate points the vertical distance goes beyond the reference distance.
도4의 a,b,c는 제주시가지의 라이다데이터, 항공영상 기준영상, 정합영상이고, A, b, and c of FIG. 4 are Lidar data, aerial image reference image, and registration image of Jeju city,
도5는 도4를 가지고 기존의 일반적인 가상의 수평면으로 영상정합을 한 결과와, 본 발명에 의해 라이다데이터를 이용하여 영상정합을 한 결과의 비교 그래프로서, 도5a는 대응 공액점의 참값을 구하기 위해 수렴 반복횟수를 비교한 것이고, 도5b는 분산용소의 추정값을 비교한 것이고, 도5c와 도5d는 각각 대응 공액점 추정값의 x방향과 y방향의 표준편차를 비교한 것이고, 도5e는 추출된 지상점과 가상 수평면/평면패치의 수직거리를 비교한 것이다. FIG. 5 is a comparison graph of a result of image registration using a conventional general virtual horizontal plane with FIG. 4 and a result of image registration using LiDAR data according to the present invention, and FIG. 5A is a graph showing a true value of a corresponding conjugate point. 5b is a comparison of the estimates of the distribution components, and FIGS. 5c and 5d are comparisons of standard deviations in the x and y directions of the corresponding conjugate point estimates, respectively. The vertical distance between the ground point and the virtual horizontal plane / plane patch is compared.
도5a에서 보는 바와 같이 본 발명은 빠른 속도로 수렴하나 기존방법은 수렴속도가 느릴뿐만 아니라 100번의 반복에도 수렴되지 않는 경우도 22개의 대상점 중에 6개나 관측되고, 도5b,c,d에서 보는 바와 같이 본 발명이 기존 방법에 비해 분산요소의 추정값과 추정값의 표준편차가 낮아 결과(품질)가 좋음을 알 수 있고, 도5e에서 보는 바와 같이 본 발명은 모든 대상점이 2m 이하로 우수한 결과를 보이지만, 기존 방법은 22개 대상점 가운데 6개만 좋은 결과를 보이고 나머지는 정합이 실패하였음을 알 수 있다. As shown in FIG. 5A, the present invention converges at a high speed, but the existing method is observed 6 out of 22 target points even when the convergence speed is not only slow but also converged at 100 iterations, as shown in FIGS. 5B, C, and D. As shown in FIG. 5E, the present invention shows a good result (quality) because the standard deviation of the estimated value and the estimated value of the variance factor is lower than that of the conventional method. In the previous method, only 6 out of 22 target points showed good results, and the rest failed matching.
영상 정합단계(S20)가 마무리된 후에는 정합된 항공영상들과 라이다데이터를 이용하여 해당지역(즉, 특정지역)에 대한 3차원 공간좌표인 수치표고자료(DSM)를 생성(S30)한다. After the image matching step S20 is completed, a digital elevation data (DSM), which is a three-dimensional spatial coordinate of a corresponding region (ie, a specific region) is generated using the matched aerial images and the LiDAR data (S30). .
상기 DSM 생성단계(S30)는 지상점 추출단계(S31), 격자생성단계(S32), 격자별 고도값 추출단계(S33), 고도값 보정단계(S34)를 포함하여 이루어진다. The DSM generation step S30 includes a ground point extraction step S31, a grid generation step S32, an altitude value extraction step S33, and an altitude value correction step S34.
상기 지상점 추출단계(S31)는 기준영상의 공액점과 추출된 정합영상의 대응 공액점 최종값의 영상 좌표와 보정된 외부표정요소를 공선조건식에 대입하여 해당하는 지상점을 추출하는 것으로서, DSM을 생성하고자하는 특정지역 전체에 대한 항공영상들 모두에 대해 지상점을 추출한다. The ground point extraction step (S31) extracts the ground point by substituting the conjugate point of the reference image and the coordinate of the final value of the corresponding conjugate point of the extracted registration image and the corrected external expression element in the collinear condition equation. The ground points are extracted for all aerial images of the entire specific area.
상기 격자생성단계(S32)는 상기 특정지역을 일정간격으로 구획하는 것으로서, 추출된 지상점들과 라이다데이터의 불규칙 지상점들 모두가 포함되되 모든 격자에는 하나 이상의 지상점이 할당 되어야 한다. 그리고 격자의 간격은 지상점들의 점밀도를 고려하여 적절히 설정한다. The grid generation step (S32) divides the specific area at a predetermined interval, and includes both extracted ground points and irregular ground points of LiDAR data, and all grids should be assigned one or more ground points. And the spacing of the grid is appropriately set in consideration of the point density of the ground points.
상기 격자별 고도값 추출단계(S33)는 각 격자의 중심에서 일정거리 이내에 존재하는 지상점들에 대한 고도값의 평균을 구하여 그 격자에 고도값으로 할당한다. 여기서, 상기 일정거리는 격자 길이의 반 이상으로 할 것이고, 최대 격자 길이의 네배가 넘지 않는 것이 바람직하다. The altitude value extracting step (S33) for each lattice obtains an average of altitude values for ground points existing within a predetermined distance from the center of each lattice, and assigns the altitude value to the lattice. Here, the predetermined distance will be at least half of the lattice length, preferably not more than four times the maximum lattice length.
상기 고도값 보정단계(S34)는 각 격자의 추출된 고도값과 해당 지상점들의 고도값으로부터 표준편차를 구하여 임계치를 벗어나는 지상점은 제거하고, 남은 지상점들로부터 해당 격자의 고도값을 다시 추출한다. 그리하여 고도값의 정밀도를 높인다. In the altitude correction step (S34), a standard deviation is obtained from the extracted altitude values of the respective grids and the altitude values of the corresponding ground points to remove ground points outside the threshold, and the altitude values of the grids are extracted again from the remaining ground points. do. Thus, the precision of the altitude value is increased.
각 격자에 고도값이 할당되는 여기까지의 과정을 통해 특정지역에 대한 DSM은 생성된다. 즉, 각 격자는 평면의 위치좌표를 갖고, 또한 고도값이 할당되어 있으므로 3차원 공간좌표 (X, Y, Z)를 갖는다. 그리고 여기까지에서 생성된 DSM은 상당한 정밀도를 갖는다. Through this process, the altitude value is assigned to each grid, and a DSM for a specific area is generated. That is, each lattice has a planar positional coordinate and a three-dimensional spatial coordinate (X, Y, Z) since the altitude value is assigned. And the DSM generated up to this point has considerable precision.
하지만, 라이다데이터의 지상점들의 좌표가 정밀하다고 하나 라이다데이터는 불규칙하게 분포된 3차원 지상점들로 구성되므로, 일정거리 이내에 지상점이 하나도 존재하지 않는 지점은 멀리 떨어진 지상점들로부터 그 고도가 추청되는 것이므로 부정확하여 그 한계를 갖는다. However, since the coordinates of the ground points of the LiDAR data are precise, the LiDAR data is composed of three-dimensional ground points distributed irregularly. Is inaccurate and has limitations.
이에 본 발명은 라이다데이터를 보정하는 단계(S40)와 DSM을 갱신하는 단계(S50)를 더 포함한다.Accordingly, the present invention further includes the step of correcting the lidar data (S40) and the step of updating the DSM (S50).
(S30)단계에서 생성된 DSM은 고밀도와 고정밀의 위치좌표와 고도값을 가지므로, 라이다데이터에서 일정거리 이내에 지상점이 없는 지역에 상기 DSM의 지상점을 부여(S40)한다. 이때 너무 많은 지상점의 부여는 라이다데이터의 왜곡을 가져올 수 있으므로 주의하여야 할 것이다. Since the DSM generated in step S30 has high-density and high-precision position coordinates and an altitude value, the ground point of the DSM is given to an area in which there is no ground point within a certain distance from the Lidar data (S40). Attention should be given to the provision of too many ground points, which can lead to distortion of LiDAR data.
그리고 보정된 라이다데이터로 새롭게 평면패치를 생성(S13)한 후에 S10~S30 단계를 실행하여 DSM을 갱신(S50)하여 보다 고정밀, 고밀도의 DSM을 최종적으로 생성한다. After the plane patch is newly generated with the corrected LiDAR data (S13), steps S10 to S30 are performed to update the DSM (S50) to finally generate a higher precision and higher density DSM.
이상에서 본 발명을 설명함에 있어 첨부된 도면을 참조하여 특정 절차를 갖는 항공영상과 라이다데이터를 이용한 DSM 생성방법에 대해 설명하였으나 본 발명 은 당업자에 의하여 다양한 변형 및 변경이 가능하고, 이러한 변형 및 변경은 본 발명의 보호범위에 속하는 것으로 해석되어야 한다.In the above description of the present invention, a method for generating a DSM using aerial images and lidar data having a specific procedure is described with reference to the accompanying drawings, but the present invention can be variously modified and changed by those skilled in the art. Changes should be construed as falling within the protection scope of the present invention.
도 1 은 본 발명에 따른 DSM 생성방법의 절차 흐름도. 1 is a flow chart of a method of generating a DSM according to the present invention.
도 2 는 라이다데이터를 이용하여 외부표정요소의 보정방법을 보여주는 도면.2 is a view showing a method of correcting an external expression element using lidar data.
도 3 은 라이다데이터를 이용하여 두 항공영상의 정합방법을 보여주는 도면.3 is a view showing a method of matching two aerial images using LiDAR data.
도 4 a,b,c는 제주시가지의 라이다데이터와 두 항공영상의 도면.4 a, b, and c are rider data of Jeju city and two aerial images.
도 5 a,b,c,d,e는 도4를 가지고 기존방법과 본발명에 의해 정합된 영상의 품질을 비교한 도면.5 a, b, c, d, and e is a diagram comparing the quality of the image matched by the existing method and the present invention with FIG.
<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>
S10 : 기하학적 정합단계 S20 : 영상 정합단계S10: geometric matching step S20: image matching step
S30 : DSM 생성방법 S40 : 라이다데이터보정단계S30: DSM generation method S40: Lidar data correction step
S50 : DSM갱신단계 S60 : 정합검증단계S50: DSM update step S60: Registration verification step
Claims (9)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090036081A KR100973051B1 (en) | 2009-04-24 | 2009-04-24 | Dsm generation method using lidar and aerial images data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090036081A KR100973051B1 (en) | 2009-04-24 | 2009-04-24 | Dsm generation method using lidar and aerial images data |
Publications (1)
Publication Number | Publication Date |
---|---|
KR100973051B1 true KR100973051B1 (en) | 2010-07-30 |
Family
ID=42646153
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090036081A KR100973051B1 (en) | 2009-04-24 | 2009-04-24 | Dsm generation method using lidar and aerial images data |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100973051B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101181742B1 (en) | 2012-03-14 | 2012-09-10 | (주)신한항업 | Apparatus and method for land-use map renewel |
CN102915558A (en) * | 2011-08-01 | 2013-02-06 | 李慧盈 | Method for quickly extracting building three-dimensional outline information in onboard LiDAR (light detection and ranging) data |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010000443A (en) * | 2000-09-29 | 2001-01-05 | 서정헌 | Media that can record computer program sources for extracting building by fusion with photogrammetric image and lidar data, and system and method thereof |
KR100860767B1 (en) | 2008-04-22 | 2008-09-29 | (주)신한항업 | Apparatus and method for digital mapping manufacture using airborne laser surveying data |
-
2009
- 2009-04-24 KR KR1020090036081A patent/KR100973051B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010000443A (en) * | 2000-09-29 | 2001-01-05 | 서정헌 | Media that can record computer program sources for extracting building by fusion with photogrammetric image and lidar data, and system and method thereof |
KR100860767B1 (en) | 2008-04-22 | 2008-09-29 | (주)신한항업 | Apparatus and method for digital mapping manufacture using airborne laser surveying data |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102915558A (en) * | 2011-08-01 | 2013-02-06 | 李慧盈 | Method for quickly extracting building three-dimensional outline information in onboard LiDAR (light detection and ranging) data |
KR101181742B1 (en) | 2012-03-14 | 2012-09-10 | (주)신한항업 | Apparatus and method for land-use map renewel |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101942063B1 (en) | Image inspection system searching failure points automatically on images and updating the points | |
CN105046251B (en) | A kind of automatic ortho-rectification method based on environment No.1 satellite remote-sensing image | |
KR101497659B1 (en) | Method and apparatus for correcting depth image | |
KR100973052B1 (en) | Automatic matching method of digital aerial images using lidar data | |
US8577139B2 (en) | Method of orthoimage color correction using multiple aerial images | |
KR101105361B1 (en) | The method for geometric registration for images data and lidar data and the apparatus thereof | |
Rumpler et al. | Automated end-to-end workflow for precise and geo-accurate reconstructions using fiducial markers | |
KR102078229B1 (en) | Apparatus and Method for Interpolating Occluded Regions in Scanning Data Using Camera Images | |
Ozcanli et al. | A comparison of stereo and multiview 3-D reconstruction using cross-sensor satellite imagery | |
CN113298947A (en) | Multi-source data fusion-based three-dimensional modeling method medium and system for transformer substation | |
Fiorillo et al. | Testing GoPro for 3D model reconstruction in narrow spaces | |
Liu et al. | A novel adjustment model for mosaicking low-overlap sweeping images | |
Salach | SAPC–application for adapting scanned analogue photographs to use them in structure from motion technology | |
KR100973051B1 (en) | Dsm generation method using lidar and aerial images data | |
Choi et al. | Precise geometric registration of aerial imagery and LIDAR data | |
JP2014126537A (en) | Coordinate correction device, coordinate correction program, and coordinate correction method | |
Gao et al. | Automatic geo-referencing mobile laser scanning data to UAV images | |
CN113379648B (en) | High-resolution seven-number and resource three-number stereoscopic image joint adjustment method | |
Lindenthal et al. | Airborne LIDAR: A fully-automated self-calibration procedure | |
CN111768448A (en) | Spatial coordinate system calibration method based on multi-camera detection | |
Fritsch et al. | Photogrammetric point cloud collection with multi-camera systems | |
Toschi et al. | Validation tests of open-source procedures for digital camera calibration and 3D image-based modelling | |
Previtali et al. | An automatic multi-image procedure for accurate 3D object reconstruction | |
Zhang et al. | Precise orthoimage generation of Dunhuang wall painting | |
Poli et al. | Evaluation of Worldview-1 stereo scenes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130709 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20140701 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20150717 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20160719 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20170629 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20180710 Year of fee payment: 9 |