KR101941878B1 - System for unmanned aircraft image auto geometric correction - Google Patents

System for unmanned aircraft image auto geometric correction Download PDF

Info

Publication number
KR101941878B1
KR101941878B1 KR1020170061471A KR20170061471A KR101941878B1 KR 101941878 B1 KR101941878 B1 KR 101941878B1 KR 1020170061471 A KR1020170061471 A KR 1020170061471A KR 20170061471 A KR20170061471 A KR 20170061471A KR 101941878 B1 KR101941878 B1 KR 101941878B1
Authority
KR
South Korea
Prior art keywords
image
unit
data
processing unit
feature point
Prior art date
Application number
KR1020170061471A
Other languages
Korean (ko)
Other versions
KR20180127567A (en
Inventor
최명진
김태영
김민재
이민섭
고형균
이용태
신원재
Original Assignee
(주)인스페이스
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)인스페이스, 한국전자통신연구원 filed Critical (주)인스페이스
Priority to KR1020170061471A priority Critical patent/KR101941878B1/en
Publication of KR20180127567A publication Critical patent/KR20180127567A/en
Application granted granted Critical
Publication of KR101941878B1 publication Critical patent/KR101941878B1/en

Links

Images

Classifications

    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/006—Geometric correction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G06K9/4609—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Abstract

본 발명의 무인항공기 영상 자동 기하보정을 위한 처리 시스템은 데이터 값을 입력하는 데이터 입력부; 상기 데이터 입력부에서 입력된 데이터를 가공하는 1차 데이터 처리부; 상기 1차 데이터 처리부에서 가공된 데이터를 2차적으로 가공시키는 2차 데이터 처리부; 및 상기 2차 데이터 처리부에서 가공된 데이터를 출력하는 출력부;를 포함하는 것을 특징으로 한다.A processing system for image automatic geometry correction of an unmanned aerial vehicle of the present invention includes a data input unit for inputting a data value; A primary data processing unit for processing data inputted from the data input unit; A secondary data processing unit for processing the processed data in the primary data processing unit; And an output unit for outputting the processed data in the secondary data processing unit.

Description

무인항공기 영상 자동 기하보정을 위한 처리시스템{SYSTEM FOR UNMANNED AIRCRAFT IMAGE AUTO GEOMETRIC CORRECTION}TECHNICAL FIELD [0001] The present invention relates to a system for automatically correcting an image of an unmanned aerial vehicle,

본 발명은 영상 자동 처리시스템에 관한 것으로, 더욱 상세하게는 무인기 영상을 자동으로 기하보정하기 위한 무인항공기 영상 자동 기하보정을 위한 처리 시스템에 관한 것이다.The present invention relates to an image automatic processing system, and more particularly, to a processing system for automatic image geometry correction of an unmanned aerial vehicle for automatic geometric correction of an unmanned aerial image.

일반적으로 최근 접근불능지역의 관측이 가능하고 광역지역의 공간적 자료를 쉽게 수집할 원격탐사를 위한 자료획득 플랫폼으로 대표적으로 다양한 모니터링 기법이 연구되고 있다. 이 중 무인항공기의 경우 다른 플랫폼에 비해 경제성, 상시성, 적시성이 좋기 때문에 최근에는 무인항공기를 활용한 다양한 모니터링 시스템을 구축하는 기법이 연구되고 있다,In general, a variety of monitoring techniques are being studied as a data acquisition platform for remote sensing, which is capable of observing recently inaccessible areas and easily collecting spatial data in a wide area. Among them, unmanned airplanes are more economical, steady, and timely than other platforms. Recently, various monitoring systems using unmanned airplanes have been studied.

이러한 원격탐사 플랫폼을 이용한 모니터링 시스템은 수집영상의 과학적 분석을 위해 전처리 과정을 거친 영상을 사용한다.The monitoring system using the remote exploration platform uses a preprocessed image for scientific analysis of the collected images.

그러나 현재 무인기를 이용한 모니터링의 경우 과학적 분석자료를 산출할 수 있는 무인기 기반 모니터링 시스템이 아닌 사람이 직접 눈으로 보기만 하는 단순한 모니터링에 그치고 있다.However, in the case of monitoring using UAV, it is not merely a UAV-based monitoring system that can produce scientific analysis data, but it is merely a simple monitoring by a person.

따라서 무인기 기반의 모니터링 시스템 구축을 위한 자동 무인항공기 영상처리시스템 개발이 필요하다.Therefore, it is necessary to develop an image processing system for automatic unmanned aerial vehicle for building a monitoring system based on UAV.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 무인기를 통해 수집한 영상을 과학적 분석 및 매핑이 가능한 영상으로 산출하는 자동 기하보정 시스템을 구축하기 위한 무인항공기 영상 자동 기하보정을 위한 처리시스템을 제공하는 데 있다.In order to solve the above problems, an object of the present invention is to provide a processing system for automatic image geometry correction of an unmanned aerial vehicle for constructing an automatic geometric correction system for calculating an image obtained through a UAV by scientific analysis and mapping I have to.

상기 목적을 달성하기 위한 본 발명의 무인 항공기 영상 자동 기하보정을 위한 처리시스템은 데이터 값을 입력하는 데이터 입력부; 상기 데이터 입력부에서 입력된 데이터를 가공하는 1차 데이터 처리부; 상기 1차 데이터 처리부에서 가공된 데이터를 2차적으로 가공시키는 2차 데이터 처리부; 및 상기 2차 데이터 처리부에서 가공된 데이터를 출력하는 출력부;를 제공한다.According to an aspect of the present invention, there is provided a processing system for automatic image geometry correction of a UAV, comprising: a data input unit for inputting a data value; A primary data processing unit for processing data inputted from the data input unit; A secondary data processing unit for processing the processed data in the primary data processing unit; And an output unit for outputting the processed data in the secondary data processing unit.

상기 데이터 입력부는 무인항공기에서 촬영한 이미지와, 기본적인 전처리가 완료된 기존의 항공영상을 입력할 수 있다.The data input unit may input an image taken by an unmanned aerial vehicle and an existing aerial image having been subjected to a basic preprocessing.

상기 1차 데이터처리부는 입력된 무인항공기 영상과 래퍼런스 영상의 특징점, 즉 같은 위치의 픽셀을 찾는 특징점 추출부, 상기 특징점 추출부에서 검출된 특징점을 기반으로 래퍼런스영상에서 무인항공기 영상이 차지하는 영역을 찾게되며 영상을 대조하여 영상간 매칭을 수행하는 특징점 매칭부, 상기 특징점 매칭부에서 산출된 GCP 정보를 기반으로 원본영상의 모든 픽셀을 대상으로 실제지리좌표정보를 입력하는 기하정보 입력부, 상기 기하정보 입력부에서 기하보정이 완료된 영상 및 게산된 GCP정보를 산출하는 기하정보 출력부 및 상기 데이터 입력부에서 인가받은 데이터를 분석하는 데이터 분석부를 더 포함할 수 있다.The primary data processing unit searches for an area occupied by the unmanned airplane image in the reference image based on the feature points detected by the feature point extracting unit and a feature point extracting unit that finds feature points of the input unmanned airplane image and the reference image, A geometry information input unit for inputting actual geographical coordinate information on all pixels of the original image based on the GCP information calculated by the feature point matching unit, A geometry information output unit for calculating the geometrically corrected image and the calculated GCP information, and a data analysis unit for analyzing the data received from the data input unit.

상기 2차 데이터처리부는 1차 데이터처리부에서 처리된 영상의 네임과 분석된 자료의 네임을 비교하여 서로 일치하는 영상의 GCP 정보를 그대로 적용하여 분석영상의 기하보정을 수행할 수 있다.The secondary data processing unit may perform geometric correction of the analyzed image by comparing the name of the image processed in the primary data processing unit with the name of the analyzed data and applying the GCP information of the coinciding image as it is.

이러한 특징에 따르면, 본 발명의 무인항공기 영상 자동 기하보정을 위한 처리시스템을 통해 과학적 분석이 가능한 기초 자료를 제공할 수 있는 장점이 있다.According to this aspect, there is an advantage that the basic data that can be analyzed by the scientific method can be provided through the processing system for automatic automatic geometric correction of the UAV of the present invention.

도 1은 본 발명의 일 실시예에 따른 무인항공기 영상 자동 기하보정을 위한 처리시스템의 블록도이다.1 is a block diagram of a processing system for automatic image geometry correction of an unmanned aerial vehicle according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

그러면 첨부한 도면을 참고로 하여 본 발명의 일 실시예에 따른 무인항공기영상 자동 기하보정을 위한 처리시스템에 대하여 설명한다.A processing system for automatic image geometry correction of an unmanned aerial vehicle according to an embodiment of the present invention will now be described with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 무인항공기영상 자동 기하보정을 위한 처리시스템의 블록도이다.1 is a block diagram of a processing system for automatic image geometry correction of an unmanned aerial vehicle according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 무인항공기영상 자동 기하보정을 위한 처리시스템은 데이터 값을 입력하는 데이터 입력부(10), 상기 데이터 입력부(10)에서 입력된 데이터를 가공하는 1차 데이터 처리부(20), 상기 1차 데이터 처리부(20)에서 가공된 데이터를 2차적으로 가공시키는 2차 데이터 처리부(30) 및 상기 2차 데이터 처리부(30)에서 가공된 데이터를 출력하는 출력부(40)를 포함하여 구성하고 있다.1, the processing system for automatic image geometry correction of an unmanned aerial vehicle according to the present invention includes a data input unit 10 for inputting data values, a primary data processing unit 20 for processing data input from the data input unit 10, A secondary data processing unit 30 for processing the processed data in the primary data processing unit 20 and an output unit 40 for outputting the processed data in the secondary data processing unit 30 Respectively.

상기 데이터 입력부(10)는 무인항공기에서 촬영한 이미지와, 기본적인 전처리가 완료된 기존의 항공영상(이하 래퍼런스 영상)을 입력한다.The data input unit 10 inputs an image taken by an unmanned airplane and an existing aerial image (hereinafter referred to as a reference image) in which basic preprocessing has been completed.

상기 1차 데이터처리부(20)는 입력된 무인항공기 영상과 래퍼런스 영상의 특징점, 즉 같은 위치의 픽셀을 찾는 특징점 추출부(21), 상기 특징점 추출부(21)에서 검출된 특징점을 기반으로 래퍼런스영상에서 무인항공기 영상이 차지하는 영역을 찾게되며 영상을 대조하여 영상간 매칭을 수행하는 특징점 매칭부(22), 상기 특징점 매칭부(22)에서 산출된 GCP 정보를 기반으로 원본영상의 모든 픽셀을 대상으로 실제지리좌표정보를 입력하는 기하정보 입력부(23), 상기 기하정보 입력부(23)에서 기하보정이 완료된 영상 및 게산된 GCP정보를 산출하는 기하정보 출력부(24) 및 상기 데이터 입력부(10)에서 인가받은 데이터를 분석하는 데이터 분석부(25)를 포함하여 구성하고 있다.The primary data processing unit 20 includes a feature point extracting unit 21 for finding feature points of the input unmanned airplane image and the reference image, that is, pixels at the same position, a reference image extracting unit 21, A feature point matching unit 22 that finds an area occupied by the image of the unmanned aerial vehicle and performs matching between images based on the GCP information calculated by the feature point matching unit 22, A geometry information input unit 23 for inputting actual geographical coordinate information, a geometry information output unit 24 for calculating a geometrically corrected image and the obtained GCP information in the geometry information input unit 23, And a data analysis unit 25 for analyzing the authorized data.

상기 1차 데이터 처리부(20)에서 자료의 처리가 어떻게 이루어 지는지 상세하게 설명한다.How data is processed in the primary data processing unit 20 will be described in detail.

상기 특징점 추출부(21)에서 특징점을 찾는 알고리즘은 SURF(Speed Up Robust Features)알고리즘을 사용한다. SURF 알고리즘은 다중스케일공간정리를 기반하며, 특징점검출은 헤시안행렬을 기반으로 한다. 행렬을 구하기 이전에 빠른 계산을 위해 영상을 적분영상으로 변환하게 되며 적분영상 변환은 다음과 같다.The feature point extracting unit 21 uses the SURF (Speed Up Robust Features) algorithm to find the feature point. The SURF algorithm is based on multi-scale space theorem, and the feature point detection is based on the Hessian matrix. Before the matrix is computed, the image is transformed into an integral image for fast computation.

Figure 112017047281767-pat00001
Figure 112017047281767-pat00001

여기서 ∏는 적분영상, (x,y)는 적분영상에서의 픽셀위치, Ⅰ는 원본영상, (i,j)는 원본영상에서의 픽셀위치이다. 적분영상이란 다음 필셀에 이전 픽셀까지의 값이 더해진 영상으로 특정 영역의 픽셀 값의 총합을 쉽게 구할 수 있다.(X, y) is the pixel position in the integral image, I is the original image, and (i, j) is the pixel position in the original image. The integral image is an image obtained by adding a value up to the previous pixel to the next pixel, so that the sum of pixel values of a specific area can be easily obtained.

적분영상 제작 이후 헤시안 행렬 기반의 검출기를 사용하여 특징점을 검출하며, 알고리즘은 다음과 같다.After the integral image is generated, feature points are detected using a Hessian matrix based detector, and the algorithm is as follows.

Figure 112017047281767-pat00002
Figure 112017047281767-pat00002

여기서 H (x,y,σ)는 영상에서 주어진 점(x,y)에 대해 σ스케일을 갖는 헤시안행렬을 의미하며, σ는 필터사이즈, D xx(x,y, σ)는 영상의 (x,y)위치에서 가우시안필터의 2차 파생된 콘볼루션을 의미한다. 나머지 것들도 동일한 방식으로 계산한다.Where H (x, y, σ) indicates the Hessian matrix with σ scale for the given points in the image (x, y), σ is the filter size, and D xx (x, y, σ) is the image of the ( x, y) position of the Gaussian filter. The others are calculated in the same way.

특징점 검출 시 옥타브별로 서로 다른 스케일의 영상을 뽑아낸 후 비최대억제법(Non-Maximal Suppression)을 이용하여 이웃한 점들과 비교하여 중심점이 가장 클 경우 특징점으로 지정한다.When the feature points are detected, images of different scales are extracted for each octave, and compared with neighboring points using non-maximal suppression method, the feature points are designated when the center point is the largest.

상기 특징점 매칭부(22)는 검출된 특징점을 기반을 래퍼런스영상에서 무인항공기영상이 차지하는 영역을 찾게되며 영상의 대조를 이용하여 영상간 매칭을 수행한다. 이를 위해서 먼저 특징점의 Orientation을 할당한다. Orientation은 검출된 특징점을 중심으로 6s 원안의 이웃들에게 s,y 방향의 Haar wavelet response를 계산하여 response의 합을 벡터로 나타내 벡터길이가 가장 긴 방향으로 Orientation을 할당한다. 할당된 Orientation 방향정보를 기반으로 Descriptor를 생성하며 헤시안 행렬에서 계산한 라플라시안의 부호와 Descriptor값을 비교하여 매칭을 수행한다. 두 특징에 해당하는 값이 하나는 양수 하나는 음수라면, 서로 다른 특징으로 간주하여 계산하지 않으며 부호가 같을 경우 유클리드 거리게산을 통해 죄근접 이웃을 탐색한 후 RANSAC(Random Sample Consensus)을 이용하여 매칭포인트를 추출한다.The feature point matching unit 22 finds an area occupied by the unmanned aerial vehicle image on the reference image based on the detected feature points, and performs matching between images using the image contrast. To do this, we first assign the orientation of the minutiae. Orientation computes Haar wavelet response in s and y directions for neighbors of 6s original around the detected feature points and assigns the orientation to the direction with the longest vector length as the sum of the responses. A Descriptor is generated based on the information of the Orientation direction assigned, and matching is performed by comparing Descriptor values of the Laplacian calculated in the Hessian matrix. If the two values are positive and negative, they are not regarded as different characteristics. If the signs are the same, they are searched through the Euclidean distance mountain and then matching using RANSAC (Random Sample Consensus) Points are extracted.

추출한 매칭포인트를 기반으로 원본영상을 래퍼런스영상에 투영시켜 매핑영역을 산출하고 코너점을 검출한다. 코너점 검출을 위해 호모그래피를 이용한 투영방법을 사용한다. Based on the extracted matching points, an original image is projected on a reference image to calculate a mapping area and a corner point is detected. A homography projection method is used to detect corner points.

상기 호모그래피란 하나의 이미지를 다른 이미지에 투영시켰을 때 대응점 사이의 일정한 변환관계를 의미하며 호모그래피를 이용한 투영방법은 샘플링된 영상좌표들에 대해 대응하는 지면좌표를 구한 수 여기서 얻어진 좌표들의 변환관계를 다른 경우에도 일반화하여 적용하는 방법이다.The homography means a constant transformation relation between corresponding points when one image is projected on another image. The projection method using homography is a number obtained by obtaining corresponding ground coordinates with respect to sampled image coordinates. Here, Is applied in general to other cases.

래퍼런스영상의 매칭포인트와 원본영상의 매칭포인트 사이의 상관관계는 호모그래피 행렬로 산출될 수 있으며, 원본영상을 2D이미지에서 3D이미지로 투영시켜 기하정보를 향상시킨다. 호모그래피 행렬은 3x3 행렬로 일반식은 다음과 같다.The correlation between the matching point of the reference image and the matching point of the original image can be calculated by a homography matrix and the original image is projected from the 2D image to the 3D image to improve the geometry information. The homography matrix is a 3x3 matrix, and the general formula is as follows.

Figure 112017047281767-pat00003
Figure 112017047281767-pat00003

Figure 112017047281767-pat00004
Figure 112017047281767-pat00004

여기서 X와 X‘는각각 래퍼런스영상과 원본영상의 매칭점이고 H와 X와 X‘의관계를 나타내는 호모그래피 행렬이다. 호모그래피를 통해 원본영상을 래퍼런스영상에 투영시켜 원본영상이 래퍼런스영상에서 차지하는 영역을 매핑한 후 매핑된 영역의 각 코너점의 위치를 산출한다.Here, X and X 'are matching points of the reference image and the original image, respectively, and are a homography matrix representing the relationship between H and X and X'. The original image is projected on the reference image through homography, and the area occupied by the original image in the reference image is mapped, and the position of each corner point of the mapped area is calculated.

검출된 코너점의 위치를 래퍼런스 영상의 좌표정보와 매칭하여 GCP를 생성한다. GCP생성공식은 Pixel to latitude, longitude 변환을 사용하며 수식은 다음과 같다.And the GCP is generated by matching the position of the detected corner point with the coordinate information of the reference image. The GCP creation formula uses the Pixel to latitude, longitude transformation, and the formula is:

Figure 112017047281767-pat00005
Figure 112017047281767-pat00005

Figure 112017047281767-pat00006
Figure 112017047281767-pat00006

여기서 x, y는 GCP정보를, x‘, y‘는 산출된 코너점을, TLx_ref, TLy_ref는 래퍼런스 영상의 Top_Left 좌표정보를, Rx, Ry는 래퍼런스영상의 해상도이다. Pixel to latitude, longitude 변환 방법은 래퍼런스 영상의 Top_Left 좌표정보를 원점으로 하여 코너점의 좌표정보를 찾는 방법으로 GCP x를 구하기 위해 원점으로부터 x축방향의 픽셀개수만큼 x축 래퍼런스영상 해상도를 offset으로 계산하여 GCP x의 좌표정보를 산출한다. GCP y의 산출방법도 동일하게 진행한다.Here, x and y are GCP information, x 'and y' are calculated corner points, TLx_ref and TLy_ref are Top_Left coordinate information of the reference image, and Rx and Ry are the resolution of the reference image. The Pixel to latitude and longitude conversion method is to find the coordinate information of the corner point with the Top_Left coordinate information of the reference image as the origin. To obtain GCP x, calculate the x-axis reference image resolution by the number of pixels in the x-axis direction from the origin. And calculates the coordinate information of GCP x. GCP y is calculated in the same manner.

상기 데이터 분석부(25)는 사용자의 목적에 맞는 다양한 고부가 영상산출모듈을 적용한다.The data analysis unit 25 applies various high-value-added image calculation modules to suit the user's purpose.

상기 기하정보 입력부(30)는 산출된 GCP정보를 기반으로 원본영상의 모든 픽셀을 대상으로 실제지리좌표정보를 입력하여 기하보정을 완료한다. 기하보정방법은 RPC 기법을 이용하여 GCP 좌표를 기반으로 원본영상을 매핑했을 때 GCP중 Top_Left 좌표를 원점으로 하여 나머지 GCP들의 방향에 따라 내부 픽셀들의 실제 지리좌표 입력 방식을 결정한다.The geometry information input unit 30 inputs the actual geographical coordinate information to all the pixels of the original image based on the calculated GCP information, and completes the geometric correction. When the original image is mapped based on the GCP coordinates using the RPC technique, the geometric correction method determines the actual geographical coordinate input method of the internal pixels according to the directions of the remaining GCPs, with the Top_Left coordinates as the origin.

기하정보 출력부(24)에서는 기하보정이 완료된 영상 및 계산된 GCP 정보를 산출한다. The geometry information outputting section 24 calculates the geometry-corrected image and the calculated GCP information.

산출된 GCP 정보는 2차 데이터처리부(30)에서 고부가분석영상의 기하보정에 사용한다.The calculated GCP information is used for geometric correction of the high value-added analysis image in the secondary data processing unit 30.

상기 2차 데이터처리부(30)는 1차 데이터처리부(20)에서 산출된 GCP 정보를 이용하여 자료분석부(25)에서 산출된 고부가영상의 기하보정을 수행한다. 상기 2차 데이터처리부(30)에서 처리된 영상의 네임과 분석된 자료의 네임을 비교하여 서로 일치하는 영상의 GCP 정보를 그대로 적용하여 분석영상의 기하보정을 수행한다.The secondary data processing unit 30 performs the geometric correction of the high value image calculated by the data analysis unit 25 using the GCP information calculated by the primary data processing unit 20. [ The secondary data processor 30 compares the name of the processed image with the name of the analyzed data and applies the GCP information of the coinciding image as it is to perform geometric correction of the analyzed image.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

10: 데이터 입력부 20: 1차 데이터 처리부
21: 특징점 추출부 22: 특징점 매칭부
23: 기하정보 입력부 24: 기하정보 출력부
30: 2차 데이터처리부 40: 출력부10: data input unit 20: primary data processing unit
21: feature point extracting unit 22:
23: Geometric information input unit 24: Geometric information output unit
30: Secondary data processing unit 40: Output unit

Claims (4)

무인항공기에서 촬영한 이미지와 전처리가 완료된 래퍼런스 영상을 입력하는 데이터 입력부;
상기 데이터 입력부에서 입력된 데이터를 가공하는 1차 데이터 처리부;
상기 1차 데이터 처리부에서 가공된 데이터를 2차적으로 가공시키는 2차 데이터 처리부; 및
상기 2차 데이터 처리부에서 가공된 데이터를 출력하는 출력부;를 포함하되,
상기 데이터 입력부는 무인항공기에서 촬영한 이미지와, 기본적인 전처리가 완료된 기존의 항공영상을 입력하며,
상기 1차 데이터처리부는,
입력된 무인항공기 이미지와 래퍼런스 영상의 특징점과 같은 위치의 픽셀을 찾는 특징점 추출부;
상기 특징점 추출부에서 검출된 특징점을 기반으로 래퍼런스영상에서 무인항공기 영상이 차지하는 영역을 찾게되며 영상을 대조하여 영상간 매칭을 수행하는 특징점 매칭부;
상기 특징점 매칭부에서 영상간 매칭을 수행하여 래퍼런스 영상의 모든 픽셀을 대상으로 실제지리좌표정보를 입력하는 기하정보 입력부;
상기 기하정보 입력부에서 실제지리좌표정보를 입력한 영상 및 계산된 GCP정보를 산출하는 기하정보 출력부; 및
상기 데이터 입력부에서 인가받은 데이터를 분석하는 데이터 분석부;를 포함하는 것을 특징으로 하는 무인항공기 영상 자동 기하보정을 위한 처리시스템.A data input unit for inputting an image photographed by the unmanned airplane and a reference image that has been preprocessed;
A primary data processing unit for processing data inputted from the data input unit;
A secondary data processing unit for processing the processed data in the primary data processing unit; And
And an output unit for outputting the processed data in the secondary data processing unit,
Wherein the data input unit inputs an image taken by an unmanned air vehicle and an existing aerial image in which basic pre-processing is completed,
Wherein the primary data processing unit comprises:
A feature point extracting unit for finding a pixel at the same position as the feature point of the input image of the UAV and the reference image;
A feature point matching unit that finds an area occupied by the image of the UAV on the reference image based on the feature points detected by the feature point extracting unit and performs matching between images to perform matching between images;
A geometry information input unit for performing actual matching between images in the feature point matching unit and inputting actual geographical coordinate information on all pixels of the reference image;
A geometry information output unit for calculating the image and the calculated GCP information in which the geographical coordinate information is input in the geometry information input unit; And
And a data analyzer for analyzing the data received from the data input unit. 삭제delete 삭제delete 삭제delete
KR1020170061471A 2017-05-18 2017-05-18 System for unmanned aircraft image auto geometric correction KR101941878B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170061471A KR101941878B1 (en) 2017-05-18 2017-05-18 System for unmanned aircraft image auto geometric correction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170061471A KR101941878B1 (en) 2017-05-18 2017-05-18 System for unmanned aircraft image auto geometric correction

Publications (2)

Publication Number Publication Date
KR20180127567A KR20180127567A (en) 2018-11-29
KR101941878B1 true KR101941878B1 (en) 2019-01-28

Family

ID=64567180

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170061471A KR101941878B1 (en) 2017-05-18 2017-05-18 System for unmanned aircraft image auto geometric correction

Country Status (1)

Country Link
KR (1) KR101941878B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102182128B1 (en) * 2019-07-17 2020-11-23 주식회사 에프엠웍스 An apparatus and method of making aviation image based on real time position tracking
KR20210126865A (en) 2020-04-13 2021-10-21 한국항공우주산업 주식회사 Video sensor simulation driving system and method for unmanned aerial vehicle

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102003187B1 (en) * 2019-06-13 2019-07-23 주식회사 디지털커브 Method and apparatus for modeling resultant image to which each of ground control points including location information of survey site is matched using images captured by unmanned air vehicle
CN110555817B (en) * 2019-09-10 2022-06-24 中国科学院遥感与数字地球研究所 Geometric normalization method and device for remote sensing image
KR102610989B1 (en) * 2019-12-26 2023-12-08 한국전자통신연구원 Method and apparatus of generating digital surface model using satellite imagery

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101404640B1 (en) * 2012-12-11 2014-06-20 한국항공우주연구원 Method and system for image registration
KR101677230B1 (en) 2015-06-26 2016-11-18 (주)인스페이스 Apparatus and method for estimating quality of heterogenic image fusion algorithm

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101404640B1 (en) * 2012-12-11 2014-06-20 한국항공우주연구원 Method and system for image registration
KR101677230B1 (en) 2015-06-26 2016-11-18 (주)인스페이스 Apparatus and method for estimating quality of heterogenic image fusion algorithm

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102182128B1 (en) * 2019-07-17 2020-11-23 주식회사 에프엠웍스 An apparatus and method of making aviation image based on real time position tracking
KR20210126865A (en) 2020-04-13 2021-10-21 한국항공우주산업 주식회사 Video sensor simulation driving system and method for unmanned aerial vehicle

Also Published As

Publication number Publication date
KR20180127567A (en) 2018-11-29

Similar Documents

Publication Publication Date Title
KR101941878B1 (en) System for unmanned aircraft image auto geometric correction
CN111862126B (en) Non-cooperative target relative pose estimation method combining deep learning and geometric algorithm
US11244197B2 (en) Fast and robust multimodal remote sensing image matching method and system
CN107063228B (en) Target attitude calculation method based on binocular vision
US10043279B1 (en) Robust detection and classification of body parts in a depth map
CN105513119B (en) A kind of road and bridge three-dimensional rebuilding method and device based on unmanned plane
CN112883850B (en) Multi-view space remote sensing image matching method based on convolutional neural network
CN110569861B (en) Image matching positioning method based on point feature and contour feature fusion
US20100074473A1 (en) System and method of extracting plane features
CN114692720B (en) Image classification method, device, equipment and storage medium based on aerial view
CN110617802A (en) Satellite-borne moving target detection and speed estimation method
JP2023530449A (en) Systems and methods for air and ground alignment
CN109671109B (en) Dense point cloud generation method and system
CN113971697A (en) Air-ground cooperative vehicle positioning and orienting method
JP2020015416A (en) Image processing device
JP5928010B2 (en) Road marking detection apparatus and program
Koizumi et al. Development of attitude sensor using deep learning
Liu et al. Fast stitching of UAV images based on improved SURF algorithm
Lu et al. Autonomous vision-based safe area selection algorithm for UAV emergency forced landing
Tahoun et al. Satellite image matching and registration: A comparative study using invariant local features
CN114972451A (en) Rotation-invariant SuperGlue matching-based remote sensing image registration method
CN109690555A (en) Face detector based on curvature
Su Vanishing points in road recognition: A review
KR101775124B1 (en) System and method for automatic satellite image processing for improvement of location accuracy
Jin et al. A study on near-real-time geometric correction system of drones image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant