KR20200084972A - Method for acquisition of hyperspectral image using an unmanned aerial vehicle - Google Patents

Method for acquisition of hyperspectral image using an unmanned aerial vehicle Download PDF

Info

Publication number
KR20200084972A
KR20200084972A KR1020190000698A KR20190000698A KR20200084972A KR 20200084972 A KR20200084972 A KR 20200084972A KR 1020190000698 A KR1020190000698 A KR 1020190000698A KR 20190000698 A KR20190000698 A KR 20190000698A KR 20200084972 A KR20200084972 A KR 20200084972A
Authority
KR
South Korea
Prior art keywords
hyperspectral
image
coordinates
information
module
Prior art date
Application number
KR1020190000698A
Other languages
Korean (ko)
Other versions
KR102169687B1 (en
Inventor
김동수
유호준
Original Assignee
단국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 단국대학교 산학협력단 filed Critical 단국대학교 산학협력단
Priority to KR1020190000698A priority Critical patent/KR102169687B1/en
Publication of KR20200084972A publication Critical patent/KR20200084972A/en
Application granted granted Critical
Publication of KR102169687B1 publication Critical patent/KR102169687B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/006Geometric correction
    • G06T5/80
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image

Abstract

The present invention provides a method for acquiring a hyperspectral image. The method comprises: (a) a step of setting, by a flight path setting module (220), the flight path of an unmanned aerial vehicle (100) by using a collection area; (b) a step of acquiring, by the unmanned aerial vehicle (100), hyperspectral information for each preset image unit through line scanning by using a hyperspectral sensor (140) while flying along the set flight path; (c) a step of correcting, by a geometry correction module (250), the geometry of the hyperspectral information acquired for each image unit by using position information of each pixel; and (d) a step of acquiring, by an image matching module (260), a hyperspectral image of the collection area by matching the hyperspectral information acquired for each image unit, on which the geometric correction has been performed. Therefore, the method can solve a problem for which the accuracy of image matching is reduced by the characteristics of line scanning of the hyperspectral sensor.

Description

무인비행체를 이용한 초분광영상 획득 방법{Method for acquisition of hyperspectral image using an unmanned aerial vehicle}Method for acquisition of hyperspectral image using an unmanned aerial vehicle

본 발명은 무인비행체를 이용하여 초분광영상을 획득하는 방법에 관한 것이다. The present invention relates to a method of acquiring a hyperspectral image using an unmanned aerial vehicle.

카메라에 포함되는 일반적인 이미지 센서(image sensor)는 가시광영역의 정보만을 감지하는데 반하여, 초분광 센서(hyperspectral sensor)를 사용할 경우 자외선영역, 적외선영역을 더 포함하여 수백배에 이르는 많은 정보를 확보할 수 있다. 따라서, 초분광 센서가 포함된 카메라를 이용할 경우, 해당 영역의 다양한 정보를 포함한 초분광영상을 확보할 수 있어서, 토지피복, 식생, 수질 등을 정밀하게 식별할 수 있다. The general image sensor included in the camera detects only the information in the visible region, whereas when using a hyperspectral sensor, it can secure hundreds of times more information, including the ultraviolet region and infrared region. have. Therefore, when using a camera including a hyperspectral sensor, it is possible to secure a hyperspectral image including various information of a corresponding area, so that land cover, vegetation, and water quality can be accurately identified.

하지만, 기존의 초분광 센서를 이용한 영상 취득 방법에는 다양한 문제점이 있었다. However, there are various problems in the image acquisition method using the existing hyperspectral sensor.

넓은 영역의 초분광영상 확보를 위하여 유인비행체, 인공위성 등에서 촬영을 하는 것이 일반적인데, 이 경우 셀 사이즈가 10m 내지 50m 등으로 과다하게 커져서 정밀한 계측이 불가능하였다. 예를 들어, 수심을 측정할 경우 지표에서 100m2 단위로 측정되기에 정밀도가 감소하는 것이다. In order to secure a wide-spectrum hyperspectral image, it is common to shoot on manned vehicles, satellites, etc. In this case, the cell size is excessively large, such as 10 m to 50 m, to make precise measurement impossible. For example, when measuring the water depth, the precision decreases because it is measured in 100 m 2 units from the surface.

이를 해소하기 위하여 근거리에서 비행할 수 있는 드론과 같은 무인비행체에 초분광 센서를 탑재하는 시도가 있었다. 이 경우, 셀 사이즈가 작아져서 정밀도는 상승하나, 무인비행체가 갖고 있는 비행 중 흔들림 등의 문제로 정확도가 낮아지는 다른 문제가 발생하였다. 이를 방지하고자, 흔들림을 보정할 수 있는 고성능 짐벌의 탑재를 고려할 수 있지만, 고성능 짐벌의 무게가 상당히 크기에 드론의 비행 성능을 약화시켰다. To solve this, attempts were made to mount a hyperspectral sensor on an unmanned aerial vehicle such as a drone capable of flying at a short distance. In this case, the precision increases due to the small cell size, but another problem arises in that the accuracy decreases due to problems such as shaking during flight of the unmanned aerial vehicle. To prevent this, it is possible to consider the mounting of a high performance gimbal capable of correcting the shaking, but the weight of the high performance gimbal is considerably large, which has weakened the drone's flight performance.

한편, 초분광 센서는 기본적으로 라인 스캐닝(line scanning)을 하여 초분광정보를 확보하기에, 다수의 초분광정보를 정합하는 소프트웨어가 필수적이다. 하지만, 기존의 초분광정보 정합 소프트웨어는 그 정확도가 부족하여, 다수의 초분광정보를 정합한 영상이 실재 촬영 지점에서 다소 벗어난 지점의 정보를 제공하기도 하였다. On the other hand, since the hyperspectral sensor basically performs line scanning to secure hyperspectral information, software that matches a plurality of hyperspectral information is essential. However, the existing hyperspectral information matching software lacks its accuracy, and thus, it is possible to provide information at a point where a plurality of hyperspectral information-matched images are slightly deviated from the actual shooting point.

관련된 특허 문헌을 검토한다. Review related patent documents.

한국등록특허 제10-1619836호는 초분광영상 촬영을 위한 카메라를 짐벌과 완충장치를 이용한 드론을 개시한다. 드론의 흔들림을 보상한 영상이 확보된다는 점에서 장점이나, 라인 스캐닝에 의한 영상 정합 기술을 개시하지 못한다.Korean Patent Registration No. 10-1619836 discloses a drone using a gimbal and a shock absorber for a camera for ultra-spectral imaging. It is an advantage in that an image that compensates for the shaking of the drone is secured, but it does not disclose an image matching technique by line scanning.

한국등록특허 제10-1806488호는 초분광영상 센서를 드론에 탑재하여 암체를 식별하는 기술을 개시한다. 한국등록특허 제10-1744662호는 초분광영상을 이용하여 식물을 분류하는 기술을 개시한다. 이를 위해, 다양한 암체 내지 식물에 대한 초분광영상 표준자료가 미리 확보되어 있어야 하며, 촬영된 영상을 이와 비교함으로써, 피촬영 오브젝트를 식별한다. 하지만, 드론의 흔들림으로 인한 정확도 저하 문제, 영상 정합의 효율성을 상승시키는 문제 등 촬영 단계에서 확인되는 원천적인 문제를 해결하지 못한다. Korean Patent Registration No. 10-1806488 discloses a technique for identifying a cancer body by mounting a hyperspectral image sensor on a drone. Korean Registered Patent No. 10-1744662 discloses a technique for classifying plants using hyperspectral images. To this end, hyperspectral image standard data for various cancer bodies or plants should be secured in advance, and an object to be photographed is identified by comparing the captured image with this. However, it does not solve the original problems identified at the shooting stage, such as the problem of deterioration in accuracy due to the shaking of the drone and the problem of increasing the efficiency of image registration.

한국등록특허 제10-1689197호는 드론에 부착될 수 있는 짐벌 어셈블리를 개시한다. 여기에 개시된 어셈블리는 회전/역회전이 가능한 제1유닛과, 승강이 가능한 제2유닛과, 이들을 회동시키는 제3유닛으로 구성되어, 비행체의 흔들림을 보상한다. 하지만, 이와 같이 구성될 경우, 짐벌의 무게가 과다하게 증가하여, 드론의 비행 성능이 낮아진다는 문제가 발생할 것이다.Korean Patent Registration No. 10-1689197 discloses a gimbal assembly that can be attached to a drone. The assembly disclosed herein is composed of a first unit capable of rotation/reverse rotation, a second unit capable of elevation, and a third unit rotating them to compensate for the shaking of the vehicle. However, if it is configured as described above, the weight of the gimbal will increase excessively, resulting in a problem that the flying performance of the drone is lowered.

한국공개특허 제10-2014-0014819호는 초분광영상에서 확인된 데이터에 대하여 색인/질의 기법을 적용함으로써, 마치 인공지능 알고리즘과 같은 형태로, 데이터를 식별하는 방법을 개시한다. 이러한 방법 활용의 전제조건은 초분광영상의 정확도인데, 무인비행체와 같은 환경에서 촬영된 영상의 정확도를 상승시키는 방법까지 제시하지 못한다. Korean Patent Publication No. 10-2014-0014819 discloses a method of identifying data in the form of an artificial intelligence algorithm by applying an index/query technique to data identified in hyperspectral images. The prerequisite for the use of this method is the accuracy of hyperspectral images, but it does not even suggest a method of increasing the accuracy of images captured in an environment such as an unmanned aerial vehicle.

미국특허 제7,181,055호는 초분광영상을 정합하는 알고리즘을 제시한다. 여기에서는, 반사도 이미지를 활용하여 정합 정확도를 상승시킨다. U.S. Patent No. 7,181,055 proposes an algorithm for matching hyperspectral images. Here, the matching accuracy is increased by using a reflectivity image.

(특허문헌 1) 한국등록특허 제10-1619836호 (Patent Document 1) Korean Registered Patent No. 10-1619836

(특허문헌 2) 한국등록특허 제10-1806488호(Patent Document 2) Korean Registered Patent No. 10-1806488

(특허문헌 3) 한국등록특허 제10-1744662호(Patent Document 3) Korean Registered Patent No. 10-1744662

(특허문헌 4) 한국등록특허 제10-1689197호(Patent Document 4) Korean Registered Patent No. 10-1689197

(특허문헌 5) 한국공개특허 제10-2014-0014819호(Patent Document 5) Korean Patent Publication No. 10-2014-0014819

(특허문헌 6) 미국특허 제7,181,055호(Patent Document 6) U.S. Patent No. 7,181,055

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것이다. The present invention was devised to solve the above problems.

구체적으로, 라인 스캐닝되는 초분광 센서의 특성에 기인하여 영상 정합의 정확도가 낮아지는 문제를 해결하고, 무인비행체에서 촬영됨으로 인한 영상의 흔들림 문제를 해결하고자 한다. Specifically, to solve the problem that the accuracy of image registration is lowered due to the characteristics of the line-scanning hyperspectral sensor, and to solve the problem of image shaking due to being photographed on an unmanned aerial vehicle.

상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예는, (a) 비행경로 설정모듈(220)이, 수집영역을 이용하여 무인비행체(100)의 비행경로를 설정하는 단계; (b) 무인비행체(100)가, 상기 설정된 비행경로를 따라 비행하면서, 초분광 센서(140)를 이용하여, 라인 스캐닝을 통해, 기 설정된 영상 단위마다 초분광정보를 획득하는 단계; (c) 기하보정 수행모듈(250)이, 상기 각각의 영상 단위마다 획득된 초분광정보에 대하여 각 픽셀의 위치정보를 이용하여 기하보정을 수행하는 단계; 및 (d) 영상정합 수행모듈(260)이, 상기 기하보정이 수행된, 상기 각각의 영상 단위마다 획득된 초분광정보를 정합하여, 상기 수집영역의 초분광영상을 획득하는 단계를 포함하며, 상기 (d) 단계는, (d11) 대응점 확인 모듈(262)이, 상기 기하 보정이 수행된 각각의 영상 단위마다 획득된 어느 두 개의 초분광정보(A, B)에 있어서, 어느 하나의 초분광정보(A)의 어느 하나의 픽셀의 XY 좌표(x, y) 및 해당 좌표에서의 화소값(I(x, y))에 대하여, 다른 하나의 초분광정보(B)의 어느 하나의 픽셀의 XY 좌표(x', y') 및 해당 좌표에서의 화소값(I(x', y'))의 정규상관계수(normalized correlation)를 연산하되, 상기 어느 하나의 초분광정보(A)의 모든 픽셀 각각에 대하여 상기 다른 하나의 초분광정보(B)의 모든 픽셀 각각의 정규상관계수를 모두 연산함으로써, 정규상관계수의 값이 큰 지점의 XY좌표를 상기 두 개의 초분광정보(A, B)의 대응점으로 확인하는 단계; (d12) 상기 영상정합 수행모듈(260)이 상기 확인된 대응점을 기준으로 상기 두 개의 초분광정보(A, B)를 영상 정합하는 단계; 및 (d13) 상기 영상정합 수행모듈(260)이 상기 (d1) 내지 (d2) 단계를, 상기 (b) 단계에서 획득된 각각의 영상 단위마다의 초분광정보의 각 쌍마다 수행하여, 영상정합된 상기 수집영역의 초분광영상을 획득하는 단계를 포함하는, 초분광영상 획득 방법을 제공한다. One embodiment of the present invention for solving the above problems, (a) the flight path setting module 220, using the collection area to set the flight path of the unmanned air vehicle (100); (b) while the unmanned aerial vehicle 100 is flying along the set flight path, using the hyperspectral sensor 140, acquiring hyperspectral information for each preset image unit through line scanning; (c) a geometric correction module 250 performing geometric correction using location information of each pixel on the hyperspectral information acquired for each image unit; And (d) the image registration performing module 260, matching the hyperspectral information acquired for each image unit, in which the geometric correction has been performed, to obtain an ultraspectral image of the collection area, In the step (d), the (d11) correspondence point checking module 262 includes any one of the two hyperspectral information (A, B) acquired for each image unit in which the geometric correction has been performed. With respect to the XY coordinates (x, y) of one pixel of the information (A) and the pixel values (I(x, y)) at the coordinates, one pixel of the other hyperspectral information (B) The normalized correlation of the XY coordinates (x', y') and the pixel values (I(x', y')) at the coordinates is calculated, but all of the one of the hyperspectral information (A) is calculated. By calculating all the normal correlation coefficients of each of the pixels of the other hyperspectral information (B) for each pixel, the XY coordinates of the point where the value of the normal correlation coefficient is large are the two hyperspectral information (A, B). Checking with the corresponding point of; (d12) the image matching performing module 260 matching the two hyperspectral information (A, B) based on the identified corresponding point; And (d13) the image registration performing module 260 performs steps (d1) to (d2) for each pair of hyperspectral information for each image unit obtained in step (b), thereby matching the image. It provides a method for acquiring a hyperspectral image, comprising the step of acquiring a superspectral image of the collected area.

또한, 상기 (d11) 단계 이전에, (d21) 적분영상 연산모듈(261)이, 상기 기하 보정이 수행된 각각의 영상 단위마다 획득된 초분광정보에서, 각각의 픽셀마다, 어느 하나의 기준 좌표를 기준으로 하여 적분영상(integral image) 화소값을 연산하는 단계를 더 포함하며, 상기 (d11) 단계에서의 화소값은, 상기 (d21) 단계에서 연산된 적분영상 화소값인 것이 바람직하다.In addition, before the step (d11), the (d21) integral image calculation module 261, in the hyperspectral information obtained for each image unit in which the geometric correction is performed, for each pixel, one reference coordinate Further comprising the step of calculating the integral image (integral image) pixel value on the basis of, it is preferable that the pixel value in the step (d11) is the integral image pixel value calculated in the step (d21).

또한, 상기 (d21) 단계 이전에, (d31) 정규화 모듈(240)이, 어느 하나의 영상 단위의 초분광정보의 픽셀의 XY 좌표들을 정수의 순서쌍(x, y)으로 설정하고, 상기 설정된 XY 좌표들의 평균 좌표를 연산하고, 상기 연산된 평균 좌표를 원점(0, 0)으로 설정하여 각 정수의 순서쌍(x, y) 사이의 단위 거리가 √2가 되도록, 상기 XY 좌표(x, y)를 정규화된 XY 좌표(x', y')로 이동시킴으로써, 상기 어느 하나의 영상 단위의 초분광정보를 정규화하는 단계를 더 포함하는 것이 바람직하다.In addition, before the step (d21), the (d31) normalization module 240 sets the XY coordinates of the pixels of the hyperspectral information of any one image unit to an ordered pair (x, y) of the integer, and the set XY Calculate the average coordinates of the coordinates, and set the calculated average coordinates as the origin (0, 0) so that the unit distance between the sequence pairs (x, y) of each integer is √2, and the XY coordinates (x, y) It is preferable to further include the step of normalizing the hyperspectral information of any one of the above image units by moving X to normalized XY coordinates (x', y').

또한, 상기 (d31) 단계 이후, (d32) 상기 정규화 모듈(240)이 상기 어느 하나의 초분광정보의 정규화 전 XY 좌표(x, y)와 정규화된 이후의 XY 좌표(x', y')의 값을 이용하여, 매개변수를 포함한 행렬식인 호모그래피(homography)(H)를 연산하는 단계; 및 (d33) 상기 연산된 호모그래피(H)를 이용하여, 다른 하나의 초분광정보를 정규화하는 단계를 포함하는 것이 바람직하다.In addition, after the (d31) step, (d32) the normalization module 240 before normalization of any one of the hyperspectral information XY coordinates (x, y) and normalized XY coordinates (x', y') Calculating a homography (H) that is a determinant including parameters using the values of And (d33) using the calculated homography (H) to normalize the other hyperspectral information.

또한, 상기 (d32) 단계에서 동차좌표계(homogeneous coordinates)가 활용되어 정규화 전 XY 좌표는 (x, y, 1)로서 행렬식 A로 지칭되고, 정규화된 이후의 XY 좌표는 (x', y', 1)로서 행렬식 A'로 지칭되며, 다음의 수식을 이용하되 다수의 XY 좌표를 활용하여, 호모그래피(H)가 연산되며, 상기 (d33) 단계는, 다른 하나의 초분광정보를 행렬식 A에 대입하여, 정규화된 XY 좌표인 행렬식 A'가 연산되는 것이 바람직하다.In addition, in step (d32), homogeneous coordinates are utilized, and the XY coordinates before normalization are referred to as (x, y, 1) as determinant A, and the normalized XY coordinates are (x', y', 1) is referred to as determinant A', and using the following equation but utilizing a number of XY coordinates, homography (H) is calculated, and step (d33), the other hyperspectral information to the determinant A Substituting, it is preferable that the determinant A'which is the normalized XY coordinate is calculated.

또한, 상기 무인비행체(100)는 드론이며, 상기 드론은: 상기 초분광센서(140)가 탑재된 카메라(130); 짐벌(gimbal)(110); 상기 짐벌(110)과 상기 카메라(130) 사이에 구비된 완충기(damper)(120); 및 상기 카메라(130)와 전기적으로 연결된 통신부(150)를 포함하며, 상기 통신부(150)는 상기 카메라(130)의 촬영에 의해 상기 초분광센서(140)가 획득한 초분광정보를 외부에 전송하는 것이 바람직하다.In addition, the unmanned aerial vehicle 100 is a drone, and the drone includes: a camera 130 equipped with the hyperspectral sensor 140; Gimbal 110; A shock absorber 120 provided between the gimbal 110 and the camera 130; And a communication unit 150 electrically connected to the camera 130, wherein the communication unit 150 transmits the hyperspectral information acquired by the hyperspectral sensor 140 by photographing the camera 130 to the outside. It is desirable to do.

또한, 상기 통신부(150)는 통신모듈(210)을 통해 촬영영상 입력모듈(230)에 상기 초분광정보를 송신하고, 상기 촬영영상 입력모듈(230)은 상기 기하보정 수행모듈(250)에 상기 초분광정보를 송신하는 것이 바람직하다.In addition, the communication unit 150 transmits the hyperspectral information to the photographing image input module 230 through the communication module 210, and the photographing image input module 230 is transmitted to the geometric correction performing module 250. It is desirable to transmit the hyperspectral information.

상기와 같은 과제를 해결하기 위한 본 발명의 다른 실시예는, 컴퓨터 판독 가능한 기록 매체에 저장되어, 전술한 방법을 실행시키는 프로그램과, 그 코드가 기록된 컴퓨터 판독 가능한 기록 매체를 제공한다.Another embodiment of the present invention for solving the above problems is to provide a computer-readable recording medium in which the program is stored in a computer-readable recording medium to execute the above-described method and the code is recorded.

본 발명에 따른 방법은, 작은 영상 단위(라인 단위)로 확보되는 초분광정보를 높은 정확도로 정합함으로써, 정확도 및 정밀도가 모두 높은 우수한 초분광영상을 획득할 수 있다. 이렇게 확보된 영상은, 수심의 확인은 물론, 지형 내 각종 특성(식생, 지형 등)을 확인하는데 유용한 정보로 활용될 수 있다. According to the method of the present invention, by matching super spectral information secured in a small image unit (line unit) with high accuracy, it is possible to obtain an excellent super spectral image with high accuracy and precision. The image thus secured can be used as useful information for checking various characteristics (vegetation, topography, etc.) in the terrain, as well as checking the depth.

높은 중량의 고성능 짐벌을 사용하지 않고서도 무인비행체의 흔들림을 효과적으로 보정할 수 있다. 전술한 영상 정합 기술과 함께 사용되어, 높은 상승 효과로서 우수한 초분광영상을 획득하게 한다. It is possible to effectively correct the shaking of the unmanned aerial vehicle without using a high-performance, high-performance gimbal. Used in combination with the above-described image matching technology, it is possible to obtain an excellent hyperspectral image with high synergistic effect.

이러한 방법은, 컴퓨터 프로그램화되어, 다수의 지점의 관측값과 촬영된 초분광영상이 입력되면, 자동으로 회귀식이 결정될 수 있어서, 높은 정확도를 유지하면서도 신속한 회귀식 연산 및 이를 기반으로 한 대상 물체의 식별이 가능하다는 장점을 갖는다. 특히, 기존에는 다수의 프로그램을 오고 가며 복잡한 연산 및 데이터 전송을 수행하여야 하였으나, 이러한 문제점들이 모두 해소됨은 물론, 적분영상을 활용하여 수일에 걸리던 연산 시간을 약 50% 이상 감소시킬 수 있다. This method is computer-programmed, and when an observation value and a captured hyperspectral image of a plurality of points are input, a regression equation can be automatically determined, so that a fast regression calculation and a target object based thereon can be determined while maintaining high accuracy. It has the advantage of being identifiable. In particular, in the past, it was necessary to perform complicated calculations and data transfers to and from a large number of programs. However, all of these problems are solved, and an integral image can be used to reduce the calculation time that took several days by about 50% or more.

도 1은 본 발명에 따른 방법을 수행하기 위한 시스템을 도시한다.
도 2는 본 발명에 따른 방법을 설명하기 위한 순서도이다.
도 3은 본 발명에 따른 방법에서 사용되는 무인비행체의 예시를 설명하기 위한 사진이다.
도 4는 본 발명에 따른 방법에서 무인비행체가 초분광정보를 획득하는 방법을 설명하기 위한 개략도이다.
도 5는 본 발명에 따른 방법에서 기하보정을 설명하기 위한 개략도이다.
도 6은 본 발명에 따른 방법에서 영상정합을 설명하기 위한 개략도이다.
도 7은 본 발명에 따른 방법에서 영상정합을 위해 정규상관계수를 사용하는 방법을 설명하기 위한 개략도이다.
도 8은 본 발명에 따른 방법에서 영상정합시 적분영상을 활용하는 방법을 설명하기 위한 개략도이다.
도 9는 본 발명에 따른 방법에서 정규화 단계를 설명하기 위한 개략도이다.
1 shows a system for carrying out a method according to the invention.
2 is a flow chart for explaining the method according to the present invention.
3 is a photograph for explaining an example of an unmanned aerial vehicle used in the method according to the present invention.
Figure 4 is a schematic diagram for explaining a method for acquiring hyperspectral information by an unmanned aerial vehicle in the method according to the present invention.
5 is a schematic diagram for explaining geometric correction in the method according to the present invention.
6 is a schematic diagram for explaining image registration in the method according to the present invention.
7 is a schematic diagram for explaining a method of using a normal correlation coefficient for image registration in the method according to the present invention.
8 is a schematic diagram for explaining a method of using an integral image in image registration in the method according to the present invention.
9 is a schematic diagram for explaining the normalization step in the method according to the present invention.

이하에서, "영상 획득"은, 영상을 촬영, 가공, 전처리, 후처리, 제작 등 영상 정보를 이용하여 최종 영상을 얻기 위한 모든 과정 중 어느 하나 이상을 포함하는 개념으로 이해되어야 한다. Hereinafter, "image acquisition" should be understood as a concept including any one or more of all processes for obtaining a final image by using image information such as photographing, processing, pre-processing, post-processing, and production.

이하, 도면을 참조하여 본 발명을 보다 상세히 설명한다. Hereinafter, the present invention will be described in more detail with reference to the drawings.

시스템의 설명System Description

본 발명에 따른 방법이 수행되는 시스템은, 무인비행체(100)와 영상처리부(200)로 구분될 수 있다. 무인비행체(100)는 예를 들어 드론일 수 있으나, 지표면으로부터 근거리에서 비행하는 어떠한 형식의 비행체이어도 무방하다. The system in which the method according to the present invention is performed may be divided into an unmanned air vehicle 100 and an image processing unit 200. The unmanned air vehicle 100 may be, for example, a drone, but any type of air vehicle flying at a short distance from the ground surface may be used.

무인비행체(100)는, 자이로 센서와 가속도 센서가 있어 움직임의 반대 방향으로 카메라(130) 등을 이동시킬 수 있는 짐벌(110), 짐벌(110)에 구비되어 충격을 흡수하는 완충기(120), 초분광센서(140)가 탑재된 카메라(130), 및 초분광센서(140)에서 획득된 초분광정보를 영상처리부(200)에 전송할 수 있는 통신부(150)를 포함한다. The unmanned aerial vehicle 100 has a gyro sensor and an acceleration sensor, and is provided in the gimbal 110 and the gimbal 110 that can move the camera 130 in the opposite direction of movement, and the shock absorber 120 absorbing shock. It includes a camera 130 equipped with the hyperspectral sensor 140, and a communication unit 150 capable of transmitting the hyperspectral information obtained from the hyperspectral sensor 140 to the image processing unit 200.

짐벌(110)은 확보 가능한 어떠한 구조의 짐벌을 사용하여도 무방하나, 무게를 고려하여, 4축 또는 5축 짐벌보다는 1, 2, 3축 짐벌이 바람직하다. 다만, 1, 2, 3축 짐벌이 갖는 흔들림 보정의 한계는 완충기(120)의 보상으로 극복할 수 있다. The gimbal 110 may be a gimbal of any structure that can be secured, but considering the weight, a 1, 2, or 3 axis gimbal is preferable to a 4 or 5 axis gimbal. However, the limit of the shaking compensation of the 1, 2, and 3 axis gimbals can be overcome by the compensation of the shock absorber 120.

또한, 무인비행체(100)에는 위치 정보를 확인하기 위한 GPS 센서가 더 포함될 수 있다. In addition, the unmanned aerial vehicle 100 may further include a GPS sensor for checking location information.

이러한 무인비행체(100)의 예시가 도 3에 도시된다. An example of such an unmanned aerial vehicle 100 is shown in FIG. 3.

영상처리부(200)는 통신모듈(210), 비행경로 설정모듈(220), 촬영영상 입력모듈(230), 정규화 수행모듈(240), 기하보정 수행모듈(250), 영상정합 수행모듈(260) 및 초분광영상 출력 모듈(270)을 포함한다. The image processing unit 200 includes a communication module 210, a flight path setting module 220, a captured image input module 230, a normalization performing module 240, a geometric correction performing module 250, and a video matching performing module 260. And a hyperspectral image output module 270.

통신모듈(210)은 무인비행체(100)의 통신부(150)와 유선 또는 무선으로 통신하여, 촬영영상 입력모듈(230)이 초분광센서(140)에서 획득되는 초분광정보를 수신하도록 한다. 수신하는 정보에는, 위치 정보가 포함될 수도 있다. The communication module 210 communicates with the communication unit 150 of the unmanned air vehicle 100 by wire or wirelessly, so that the captured image input module 230 receives the hyperspectral information obtained from the hyperspectral sensor 140. The received information may include location information.

비행경로 설정모듈(220)은 초분광정보를 수집하고자 하는 수집영역을 기초로 하여, 그 영상을 확보하기 위한 무인비행체(100)의 비행경로를 설정하는 기능을 수행한다. The flight path setting module 220 performs a function of setting a flight path of the unmanned air vehicle 100 to secure the image based on a collection area for collecting hyperspectral information.

정규화 수행모듈(240)은, 확보된 초분광정보의 정규화 기능을 수행한다. 모든 기하학적 변환에서, 회전, 크기, 평행성 보존 등은 원점(0, 0)을 기준으로 발생하기에, 각 영상에 존재하는 XY 좌표의 각 순서쌍의 정규화가 필요하다. The normalization execution module 240 performs a normalization function of the secured hyperspectral information. In all geometric transformations, rotation, size, and preservation of parallelism occur based on the origin (0, 0), so normalization of each ordered pair of XY coordinates present in each image is required.

기하보정 수행모듈(250)은, 확보된 초분광정보에서 지면의 굴곡 등 기하학적 조건에 의한 왜곡을 보상하기 위한 기하보정을 수행한다.The geometric correction execution module 250 performs geometric correction to compensate for distortion caused by geometric conditions such as bending of the ground from the secured hyperspectral information.

영상정합 수행모듈(260)은, 확보된 다수의 초분광정보를 정합하는 기능을 수행한다. 이를 위하여, 적분영상 연산모듈(261) 및 대응점 확인모듈(262)이 구비된다.The image registration performing module 260 performs a function of matching a plurality of secured hyperspectral information. To this end, an integral image calculation module 261 and a corresponding point confirmation module 262 are provided.

초분광영상 출력 모듈(270)은, 정규화되고, 기하보정되고, 영상정합된 최종 결과물로서 획득된 초분광영상을 출력하는 기능을 수행한다.The hyperspectral image output module 270 performs a function of outputting the hyperspectral image obtained as the final result that is normalized, geometrically corrected, and image-matched.

각 모듈의 구체적인 기능 수행 방법은 후술한다.The method of performing a specific function of each module will be described later.

방법의 설명Description of the method

도 2 및 도 4 내지 도 9를 참조하여, 본 발명에 따른 초분광영상 획득 방법을 설명한다. Referring to FIGS. 2 and 4 to 9, a method for acquiring a hyperspectral image according to the present invention will be described.

먼저, 비행경로 설정모듈(220)이, 수집영역을 이용하여 무인비행체(100)의 비행경로를 설정한다(S110). 초분광센서(140)가 라인 스캐닝을 수행하는바, 도 4에 도시된 바와 같이, 초분광정보를 획득하고자 하는 대상인 수집영역(collection area)에 대하여, 무인비행체(100)의 화각(angle of view)을 고려하여, 무인비행체(100)의 비행 경로(flight path)가 설정된다. 그 설정 방법은, 종래 기술에 따른 어떠한 것이어도 무방한바, 구체적인 설명은 생략한다.First, the flight path setting module 220 sets a flight path of the unmanned air vehicle 100 using a collection area (S110). As the hyperspectral sensor 140 performs line scanning, as shown in FIG. 4, an angle of view of the unmanned air vehicle 100 with respect to a collection area that is an object to acquire hyperspectral information ), a flight path of the unmanned aerial vehicle 100 is established. The setting method may be any according to the prior art, and detailed description is omitted.

다음, 무인비행체(100)가, 상기 설정된 비행경로를 따라 비행하면서, 초분광 센서(140)를 이용하여, 라인 스캐닝을 통해, 기 설정된 영상 단위마다 초분광정보를 획득한다(S120). 여기서의 영상 단위는 카메라(130) 또는 초분광 센서(140)의 특성에 따라 제조사에서 미리 설정된 것으로, 각 특성에 따라 상이한 방식으로 초분광정보가 획득될 수 있다.Next, the unmanned aerial vehicle 100 acquires hyperspectral information for each preset image unit through line scanning using the hyperspectral sensor 140 while flying along the set flight path (S120). Here, the image unit is preset by a manufacturer according to the characteristics of the camera 130 or the hyperspectral sensor 140, and the hyperspectral information may be obtained in different ways according to each characteristic.

이와 같은 방법으로 확인된 초분광정보에 대하여, 기하보정이 이루어지고(S140), 영상정합이 이루어져서(S150), 최종 결과물인 초분광영상이 확보된다. With respect to the hyperspectral information identified in this way, geometric correction is performed (S140), and image registration is performed (S150), so that the final result, the hyperspectral image, is secured.

구체적인 방법을 설명한다. Explain the specific method.

먼저, 기하보정은, 기하보정 수행모듈(250)에 의하여 이루어진다(도 5 참조). 구체적으로, 각각의 영상 단위마다 획득된 초분광정보에 대하여 각 픽셀의 위치정보를 이용하여 기하보정이 수행된다. 종래 알려진 어떠한 방법이 적용되어도 무방하다. First, the geometric correction is performed by the geometric correction execution module 250 (see FIG. 5). Specifically, geometric correction is performed using the location information of each pixel on the hyperspectral information acquired for each image unit. Any conventionally known method may be applied.

다음 이루어지는 영상정합은, 다수의 초분광정보를 일정한 기준점을 이용하여 정합하는 과정이다(도 6 참조). 다수의 초분광정보 중 적어도 2개의 쌍이 상호 일부씩 중첩되도록 촬영되는데, 소정의 기준점을 찾고, 이러한 기준점을 기초로 2개의 쌍의 초분광정보를 중첩하고, 이러한 과정이 모든 초분광정보의 각 쌍에서 반복됨으로써, 최종 초분광영상이 획득된다. 즉, 영상정합의 기초는 2개의 초분광정보를 중첩하는 과정이다.The following image registration is a process of matching a plurality of hyperspectral information using a constant reference point (see FIG. 6). At least two pairs of a plurality of hyperspectral information are photographed so as to overlap each other, a predetermined reference point is found, and two pairs of hyperspectral information are superimposed based on these reference points, and this process is performed for each pair of all hyperspectral information. By repeating at, the final hyperspectral image is obtained. That is, the basis of image registration is a process of superimposing two hyperspectral information.

본 발명에서는, "대응점 추출 알고리즘"을 착안하여, 이에 따라 영상정합을 수행한다. 이는, 중첩하는 영역이 있는 2개의 초분광정보 중 어느 하나의 초분광정보에서 템플릿(template)을 추출하고, 추출된 템플릿을 다른 하나의 초분광정보에서 상관성(correlation)이 가장 높은 지점을 찾음으로써, 해당 지점을 중첩의 기준의 되는 점, 즉 대응점(matching point)로 설정하는 알고리즘이다. 이를 도 7에 도시하였다. In the present invention, the "correspondence point extraction algorithm" is devised, and image registration is performed accordingly. This is by extracting a template from one of the two hyperspectral information having overlapping regions and finding the highest correlation point in the other hyperspectral information from the extracted template. , It is an algorithm that sets the corresponding point as a reference point of overlap, that is, a matching point. This is illustrated in FIG. 7.

구체적으로, 중첩하는 영역이 있는 2개의 초분광정보(A, B)(도 7에서, image1과 image2로 표시)의 영상정합을 설명한다. Specifically, image registration of two hyperspectral information (A, B) having overlapping regions (indicated by image1 and image2 in FIG. 7) will be described.

먼저, 대응점 확인 모듈(262)이, 중첩하는 어느 두 개의 초분광정보(A, B)에 있어서, 어느 하나의 초분광정보(A)의 어느 하나의 픽셀의 XY 좌표(x, y) 및 해당 좌표에서의 화소값(I(x, y))에 대하여, 다른 하나의 초분광정보(B)의 어느 하나의 픽셀의 XY 좌표(x', y') 및 해당 좌표에서의 화소값(I(x', y'))의 정규상관계수(normalized correlation)를 연산한다. 이러한 과정은, 후술할 바와 같이, 초분광정보(A)의 템플릿의 모든 픽셀의 XY 좌표(x, y) 각각마다 다른 하나의 초분광정보(B)의 템플릿의 모든 픽셀의 XY 좌표(x', y')를 모두 대응시킴으로써 다수 회 이루어지게 된다. First, the XY coordinates (x, y) of one pixel of any one of the hyperspectral information (A) and the corresponding one of the two superspectral information (A, B) that the corresponding point confirmation module 262 overlaps With respect to the pixel values I(x, y) in the coordinates, the XY coordinates (x', y') of one pixel of the other hyperspectral information B and the pixel values I(( x', y')) to calculate the normalized correlation. This process, as will be described later, the XY coordinates (x') of all the pixels of the template of one of the hyperspectral information (A), each of the XY coordinates (x, y) of each pixel of the template of the hyperspectral information (A) , y').

일반적인 정규상관계수를 연산하는 식은 아래의 수학식 1과 같으나, 본 발명에서는 보다 높은 정확도를 확보하기 위하여, 화소값을 더 이용한 수학식 2를 사용한다. The equation for calculating the normal normal correlation coefficient is the same as Equation 1 below, but in the present invention, Equation 2 using a pixel value is further used to secure higher accuracy.

Figure pat00001
Figure pat00001

Figure pat00002
Figure pat00002

초분광정보(A)의 XY좌표는 (x, y)로 표현되고, 초분광정보(B)의 XY좌표는 (x', y')로 표현된다. 상부 바는 평균값을 의미한다(이는 이하의 모든 수식에서 동일하다). n은 총 화소의 수, I(x, y)는 XY 좌표 상 (x, y)에 해당하는 화소값이며, 초분광정보(A)의 화소값이 I1으로 표현되고 초분광정보(B)의 화소값이 I2로 표현된다. W는 템플릿의 가로 화소 크기, H는 템플릿의 세로 화소 크기이다. The XY coordinates of the hyperspectral information A are represented by (x, y), and the XY coordinates of the hyperspectral information B are represented by (x', y'). The upper bar means the average value (this is the same for all the formulas below). n is the total number of pixels, I(x, y) is the pixel value corresponding to (x, y) on the XY coordinates, the pixel value of the hyperspectral information (A) is represented by I 1 and the hyperspectral information (B) The pixel value of is represented by I 2 . W is the horizontal pixel size of the template, and H is the vertical pixel size of the template.

이와 같은 방식으로, 템플릿 상의 모든 픽셀 좌표마다 정규상관계수를 연산하고, 이를 XY좌표로 표현하면, 도 7의 우하단에 도시된 바와 같은 상관계수 맵(correlation map)을 산정할 수 있다. 상관계수 맵에서 최대값을 가지는 위치, 즉, 정규상관계수의 값이 큰 지점의 XY좌표를 상기 두 개의 초분광정보(A, B)의 대응점으로 확인하게 된다. In this way, if the normal correlation coefficient is calculated for every pixel coordinate on the template and expressed as XY coordinates, a correlation map as illustrated in the lower right of FIG. 7 can be calculated. The position having the maximum value in the correlation coefficient map, that is, the XY coordinate of the point where the value of the normal correlation coefficient is large is checked as a corresponding point of the two hyperspectral information (A, B).

이제, 영상정합 수행모듈(260)은 대응점을 기준으로 두 개의 초분광정보(A, B)를 영상 정합하게 된다. Now, the image registration performing module 260 matches the two hyperspectral information (A, B) based on the corresponding point.

영상정합 수행모듈(260)은 이러한 과정을 각각의 영상 단위마다의 모든 초분광정보의 각 쌍마다 수행하여 영상정합을 수행하며, 이를 통해 모든 촬영 영상들이 정합된 초분광영상이 획득된다. The image registration performing module 260 performs image matching by performing this process for each pair of all hyperspectral information for each image unit, thereby obtaining a superspectral image in which all the captured images are matched.

다만, 이 경우 상당히 많은 연산이 수행되는바, 영상처리부(200)의 성능에 따라 연산 속도가 늦어질 수 있다. 따라서, 본 발명의 다른 실시예에서는, 보다 빠른 연산 속도를 구현하기 위해, 적분영상을 사용하여 연산량을 크게 줄인 상태에서 영상정합을 수행할 수 있다. 적분영상은 기준 좌표를 설정하고, 이를 기준으로 한 방향성을 이용하여, 각 픽셀의 화소값을 모두 합산한 후 이를 수학식 2와 같이 정규상관계수 연산에 필요한 화소값으로 사용하는 것이다. However, in this case, since a large number of calculations are performed, the calculation speed may be slow depending on the performance of the image processing unit 200. Therefore, in another embodiment of the present invention, in order to realize a faster calculation speed, it is possible to perform image registration in a state in which the computation amount is greatly reduced by using an integral image. Integral image is to set the reference coordinates, use the directionality based on this, sum the pixel values of each pixel, and use it as the pixel value required for normal correlation calculation as in Equation (2).

도 8을 참조하여, 적분영상을 사용하는 개념을 설명한다. 좌측은 일반적인 영상을 도시한다. 각 픽셀마다 기록된 숫자는 화소값이다. 우측은 좌측 영상을 이용한 적분영상을 도시한다. 여기의 적분영상에서는 좌상단의 "2"를 기준 좌표로 설정한 후, 좌측 및 하측 방향으로 각 값을 합산함으로써 형성한 적분영상이다. 예를 들어, 2번째 줄, 3번째 열의 "13"은 2+1+5+0+3+2의 값이다. Referring to FIG. 8, the concept of using an integral image will be described. The left side shows a general image. The number recorded for each pixel is a pixel value. The right side shows the integral image using the left image. In the integral image here, it is an integral image formed by setting "2" in the upper left as reference coordinates and then summing each value in the left and bottom directions. For example, "13" in the second row and third row is a value of 2+1+5+0+3+2.

만약, 해당 영상에서 가운데의 9개의 픽셀의 화소값의 합을 구하고 싶다면, 좌측의 일반적인 영상에서는 총 9번의 연산을 수행하여야 한다. 하지만, 우측의 적분영상에서는 4번의 연산을 수행하면 족하다. 즉, 적분영상을 생성하여 둠으로써, 연산량을 50% 이하로 낮추는 것이다. If you want to get the sum of the pixel values of the 9 pixels in the middle of the image, you need to perform a total of 9 operations in the general image on the left. However, in the integral image on the right, four operations are sufficient. That is, by generating an integral image, the computation amount is reduced to 50% or less.

구체적으로, 초분광영상에서 적분영상을 활용하는 방법은 아래와 같다. 먼저, 수학식 3을 이용하여 각 픽셀마다 적분영상에 의한 새로운 화소값(II(x, y))을 설정한다. Specifically, the method of using the integral image in the hyperspectral image is as follows. First, a new pixel value II(x, y) by an integral image is set for each pixel using Equation (3).

Figure pat00003
Figure pat00003

각 기호는 수학식 2에서 밝힌 바와 같다. 이제 이를 이용하면, 수학식 2에서 설명한 정규상관계수는 수학식 4에 의하여 연산될 수 있다. Each symbol is as shown in equation (2). Now, using this, the normal correlation coefficient described in Equation 2 can be calculated by Equation 4.

Figure pat00004
Figure pat00004

여기서, 분모에 사용되는 표준편차 σ의 값은 수학식 5를 통해 연산될 수 있다. I가 화소값을 의미함은 앞에서 밝힌 바와 같다.Here, the value of the standard deviation σ used in the denominator can be calculated through Equation (5). As mentioned above, I means the pixel value.

Figure pat00005
Figure pat00005

이와 같이, 한 번 적분영상을 생성하여 두기만 하면, 수학식 3 내지 수학식 5를 이용함으로써, 매 연산마다 수학식 2의 많은 연산량을 사용할 필요가 없어지기에, 정규상관계수를 신속하게 연산할 수 있어서 바람직하다. In this way, once the integral image is generated and placed, by using Equations 3 to 5, it is no longer necessary to use a large amount of computation of Equation 2 for each operation, so that the normal correlation coefficient can be quickly calculated. It can be preferred.

한편, 전술한 바와 같이, 모든 기하학적 변환에서, 회전, 크기, 평행성 보존 등은 원점(0, 0)을 기준으로 발생하기에, 본 발명의 일 실시예에서는, 각 영상에 존재하는 XY 좌표의 각 순서쌍의 정규화를 수행한 후, 기하보정 및 영상정합이 이루어질 수 있다. Meanwhile, as described above, in all geometric transformations, rotation, size, and preservation of parallelism occur based on the origin (0, 0), and thus, in one embodiment of the present invention, the XY coordinates of each image are After normalization of each sequence pair, geometric correction and image registration may be performed.

구체적으로, 정규화 모듈(240)은, 어느 하나의 영상 단위의 초분광정보의 픽셀의 XY 좌표들을 정수의 순서쌍(x, y)으로 설정하고, 상기 설정된 XY 좌표들의 평균 좌표를 연산하고, 상기 연산된 평균 좌표를 원점(0, 0)으로 설정하여 각 정수의 순서쌍(x, y) 사이의 단위 거리가 √2가 되도록, 상기 XY 좌표(x, y)를 정규화된 XY 좌표(x', y')로 이동시킴으로써, 상기 어느 하나의 영상 단위의 초분광정보를 정규화한다. 이러한 개념이 도 9에 도시된다. Specifically, the normalization module 240 sets the XY coordinates of the pixels of the hyperspectral information of any one image unit as an ordered pair (x, y) of integers, calculates the average coordinates of the set XY coordinates, and performs the calculation The XY coordinates (x, y) are normalized XY coordinates (x', y) so that the unit distance between the ordered pairs (x, y) of each integer is √2 by setting the averaged coordinates as the origin (0, 0). By moving to'), the hyperspectral information of any one of the image units is normalized. This concept is illustrated in FIG. 9.

보다 구체적으로, 이러한 연산은 수학식 6을 이용할 수 있다. More specifically, Equation (6) can be used for this operation.

Figure pat00006
Figure pat00006

여기서, A는 정규화하고자 하는(즉, 정규화되지 않은) 초분광정보에서의 XY 좌표이고, A'는 정규화된 XY 좌표이다. 여기서의 좌표는, 후술하는 매개변수 연산을 위해, 동차좌표계를 이용하는 것이 바람직하다. 즉, XY 좌표는 (x, y, 1)로서 행렬식 A로 지칭되고, 정규화된 이후의 XY 좌표는 (x', y', 1)로서 행렬식 A'로 지칭된다. 일종의 벡터와 같이 표현한 것으로서, 달리 표현하면, 동차좌표계 안에서 (x, y)좌표는 무수히 많은 점으로 이루어진 선으로 이해할 수 있다.Here, A is the XY coordinate in the hyperspectral information to be normalized (ie, not normalized), and A'is the normalized XY coordinate. It is preferable that the coordinates here use a homogeneous coordinate system for parameter calculation described later. That is, the XY coordinates are referred to as determinant A as (x, y, 1), and the normalized XY coordinates are referred to as determinant A'as (x', y', 1). It is expressed as a kind of vector. In other words, the (x, y) coordinate in the homogeneous coordinate system can be understood as a line composed of countless points.

H는 정규화를 위한 매개변수(h11~h33)로 구성된 행렬인 호모그래피이다. 즉, 호모그래피(H)를 연산해두면, 모든 초분광정보를 손쉽게 정규화할 수 있다. H is homography, which is a matrix of parameters (h 11 to h 33 ) for normalization. That is, if the homography (H) is calculated, all hyperspectral information can be normalized easily.

호모그래피(H)의 연산을 위해서, 수학식 6을 이용하되, 어느 하나의 정규화된 값이 필요하다. 즉, 어느 하나의 초분광정보에 대해서는, 도 9를 참조하여 설명한 방법을 이용하여 별도로 정규화한 후, 그 값을 이용하여 호모그래피(H)를 연산하는 것이다. 예를 들어, 정규화되기 이전의 XY 좌표의 x 및 y의 순서쌍 4개를 알고, 해당 순서쌍 4개의 정규화된 값을 알 경우, 수학식 6을 이용하면, 수학식 7 및 수학식 8을 도출할 수 있으며, 이에 따라 각 매개변수(h11~h33)를 확인할 수 있다. For calculation of homography (H), Equation 6 is used, but any one normalized value is required. That is, any one of the hyperspectral information is separately normalized using the method described with reference to FIG. 9, and then the homography (H) is calculated using the value. For example, if four sequence pairs of x and y of the XY coordinates before normalization are known and the normalized values of the four sequence pairs are known, using Equation 6, Equation 7 and Equation 8 can be derived. Thereby, each parameter (h 11 ~h 33 ) can be confirmed accordingly.

Figure pat00007
Figure pat00007

Figure pat00008
Figure pat00008

수학식 8에 의하여 호모그래피(H)가 연산되면, 이제 모든 초분광영상의 모든 픽셀의 XY 좌표를 수학식 6에 대입함으로써, 별도로 정규화된 값을 연산할 필요도 없이, 작은 연산량만으로 정규화가 가능하다. When the homography (H) is calculated by Equation 8, XY coordinates of all pixels of all hyperspectral images are now substituted into Equation 6, so that it is possible to normalize with only a small amount of computation, without having to separately calculate the normalized value. Do.

이와 같이, 호모그래피(H)가 있다는 것은, 대응점 사이의 좌표 변화만 가능한 것뿐만 아니라 2개의 초분광정보의 좌표계에 존재하는 모든 점을 서로 변환 가능한 것을 의미한다. 따라서, 2개의 초분광정보 중 어느 하나의 초분광정보를 기준으로 나머지 다른 초분광정보를 정규화하여 좌표 변환을 실시하면 두 초분광영상은 동일 좌표계로 이동하게 된다. As described above, the presence of homography (H) means that not only only coordinate changes between corresponding points are possible, but also all points existing in the coordinate system of two hyperspectral information can be converted to each other. Accordingly, if the other hyperspectral information is normalized based on any one of the two hyperspectral information, and the coordinate transformation is performed, the two hyperspectral images are moved to the same coordinate system.

이상, 본 명세서에는 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 도면에 도시한 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당업자라면 본 발명의 실시예로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 보호범위는 특허청구범위에 의해서 정해져야 할 것이다.As described above, the present specification has been described with reference to the embodiments shown in the drawings so that those skilled in the art can easily understand and reproduce the present invention, but these are merely exemplary, and those skilled in the art can make various modifications and equivalents from the embodiments of the present invention. It will be understood that embodiments are possible. Therefore, the protection scope of the present invention should be defined by the claims.

100: 무인비행체
110: 짐벌
120: 완충기
130: 카메라
140: 초분광 센서
150: 통신부
200: 영상처리부
210: 통신모듈
220: 비행경로 설정모듈
230: 촬영영상 입력모듈
240: 정규화 수행모듈
250: 기하보정 수행모듈
260: 영상정합 수행모듈
261: 적분영상 연산모듈
262: 대응점 확인모듈
270: 초분광영상 출력모듈
100: unmanned air vehicle
110: gimbal
120: shock absorber
130: camera
140: hyperspectral sensor
150: communication unit
200: image processing unit
210: communication module
220: flight path setting module
230: video recording module
240: normalization execution module
250: geometric correction execution module
260: image registration module
261: Integral image calculation module
262: correspondence point confirmation module
270: hyperspectral image output module

Claims (9)

(a) 비행경로 설정모듈(220)이, 수집영역을 이용하여 무인비행체(100)의 비행경로를 설정하는 단계;
(b) 무인비행체(100)가, 상기 설정된 비행경로를 따라 비행하면서, 초분광 센서(140)를 이용하여, 라인 스캐닝(line scanning)을 통해, 기 설정된 영상 단위마다 초분광정보를 획득하는 단계;
(c) 기하보정 수행모듈(250)이, 상기 각각의 영상 단위마다 획득된 초분광정보에 대하여 각 픽셀의 위치정보를 이용하여 기하보정을 수행하는 단계; 및
(d) 영상정합 수행모듈(260)이, 상기 기하보정이 수행된, 상기 각각의 영상 단위마다 획득된 초분광정보를 정합하여, 상기 수집영역의 초분광영상을 획득하는 단계를 포함하며,
상기 (d) 단계는,
(d11) 대응점 확인 모듈(262)이, 상기 기하 보정이 수행된 각각의 영상 단위마다 획득된 어느 두 개의 초분광정보(A, B)에 있어서, 어느 하나의 초분광정보(A)의 어느 하나의 픽셀의 XY 좌표(x, y) 및 해당 좌표에서의 화소값(I(x, y))에 대하여, 다른 하나의 초분광정보(B)의 어느 하나의 픽셀의 XY 좌표(x', y') 및 해당 좌표에서의 화소값(I(x', y'))의 정규상관계수(normalized correlation)를 연산하되, 상기 어느 하나의 초분광정보(A)의 모든 픽셀 각각에 대하여 상기 다른 하나의 초분광정보(B)의 모든 픽셀 각각의 정규상관계수를 모두 연산함으로써, 정규상관계수의 값이 큰 지점의 XY좌표를 상기 두 개의 초분광정보(A, B)의 대응점으로 확인하는 단계;
(d12) 상기 영상정합 수행모듈(260)이 상기 확인된 대응점을 기준으로 상기 두 개의 초분광정보(A, B)를 영상 정합하는 단계; 및
(d13) 상기 영상정합 수행모듈(260)이 상기 (d11) 내지 (d12) 단계를, 상기 (b) 단계에서 획득된 각각의 영상 단위마다의 초분광정보의 각 쌍마다 수행하여, 영상정합된 상기 수집영역의 초분광영상을 획득하는 단계를 포함하는,
초분광영상 획득 방법.
(a) the flight path setting module 220, using the collection area to set the flight path of the unmanned air vehicle (100);
(b) the unmanned aerial vehicle 100 acquiring hyperspectral information for each preset image unit through line scanning using the hyperspectral sensor 140 while flying along the set flight path. ;
(c) a geometric correction module 250 performing geometric correction using location information of each pixel on the hyperspectral information acquired for each image unit; And
(d) the step of performing the image matching module 260, matching the hyperspectral information obtained for each image unit, in which the geometric correction has been performed, to obtain a superspectral image of the collection area,
Step (d) is,
(d11) The corresponding point confirmation module 262 in any two hyperspectral information (A, B) acquired for each image unit in which the geometric correction has been performed, any one of the hyperspectral information (A) The XY coordinates (x', y) of any one pixel of the other hyperspectral information (B) with respect to the XY coordinates (x, y) of the pixel and the pixel value (I(x, y)) of the corresponding coordinates ') and the normalized correlation of the pixel values (I(x', y')) at the corresponding coordinates are computed, but the other one for each pixel of any one of the hyperspectral information A Confirming the XY coordinates of the point where the value of the normal correlation coefficient is large as the corresponding point of the two hyperspectral information (A, B) by calculating all the normal correlation coefficients of each pixel of the hyperspectral information (B);
(d12) the image matching performing module 260 matching the two hyperspectral information (A, B) based on the identified corresponding point; And
(d13) The image registration performing module 260 performs steps (d11) to (d12) for each pair of hyperspectral information for each image unit obtained in step (b), and performs image registration. Acquiring a hyperspectral image of the collection area,
How to acquire hyperspectral images.
제 1 항에 있어서,
상기 (d11) 단계 이전에,
(d21) 적분영상 연산모듈(261)이, 상기 기하 보정이 수행된 각각의 영상 단위마다 획득된 초분광정보에서, 각각의 픽셀마다, 어느 하나의 기준 좌표를 기준으로 하여 적분영상(integral image) 화소값을 연산하는 단계를 더 포함하며,
상기 (d11) 단계에서의 화소값은, 상기 (d21) 단계에서 연산된 적분영상 화소값인,
초분광영상 획득 방법.
According to claim 1,
Before step (d11),
(d21) Integral image calculation module 261, in the hyperspectral information obtained for each image unit in which the geometric correction is performed, for each pixel, an integral image based on one reference coordinate. Further comprising the step of calculating the pixel value,
The pixel value in step (d11) is an integral image pixel value calculated in step (d21),
How to acquire hyperspectral images.
제 2 항에 있어서,
상기 (d21) 단계 이전에,
(d31) 정규화 모듈(240)이, 어느 하나의 영상 단위의 초분광정보의 픽셀의 XY 좌표들을 정수의 순서쌍(x, y)으로 설정하고, 상기 설정된 XY 좌표들의 평균 좌표를 연산하고, 상기 연산된 평균 좌표를 원점(0, 0)으로 설정하여 각 정수의 순서쌍(x, y) 사이의 단위 거리가 √2가 되도록, 상기 XY 좌표(x, y)를 정규화된 XY 좌표(x', y')로 이동시킴으로써, 상기 어느 하나의 영상 단위의 초분광정보를 정규화하는 단계를 더 포함하는,
초분광영상 획득 방법.
According to claim 2,
Before step (d21),
(d31) The normalization module 240 sets the XY coordinates of the pixels of the hyperspectral information of any one image unit as an ordered pair (x, y) of integers, calculates the average coordinates of the set XY coordinates, and calculates the The XY coordinates (x, y) are normalized XY coordinates (x', y) so that the unit distance between the ordered pairs (x, y) of each integer is √2 by setting the averaged coordinates as the origin (0, 0). By moving to'), further comprising the step of normalizing the hyperspectral information of any one of the image units,
How to acquire hyperspectral images.
제 3 항에 있어서,
상기 (d31) 단계 이후,
(d32) 상기 정규화 모듈(240)이 상기 어느 하나의 초분광정보의 정규화 전 XY 좌표(x, y)와 정규화된 이후의 XY 좌표(x', y')의 값을 이용하여, 매개변수를 포함한 행렬식인 호모그래피(homography)(H)를 연산하는 단계; 및
(d33) 상기 연산된 호모그래피(H)를 이용하여, 다른 하나의 초분광정보를 정규화하는 단계를 포함하는,
초분광영상 획득 방법.
The method of claim 3,
After step (d31),
(d32) The normalization module 240 uses the values of the XY coordinates (x, y) before normalization of any one of the hyperspectral information and the XY coordinates (x', y') after normalization. Calculating a contained determinant, homography (H); And
(d33) using the calculated homography (H), normalizing the other hyperspectral information,
How to acquire hyperspectral images.
제 4 항에 있어서,
상기 (d32) 단계에서 동차좌표계(homogeneous coordinates)가 활용되어 정규화 전 XY 좌표는 (x, y, 1)로서 행렬식 A로 지칭되고, 정규화된 이후의 XY 좌표는 (x', y', 1)로서 행렬식 A'로 지칭되며, 다음의 수식을 이용하되 다수의 XY 좌표를 활용하여, 호모그래피(H)가 연산되며,
Figure pat00009

상기 (d33) 단계는, 다른 하나의 초분광정보를 행렬식 A에 대입하여, 정규화된 XY 좌표인 행렬식 A'가 연산되는,
초분광영상 획득 방법.
The method of claim 4,
In step (d32), homogeneous coordinates are utilized, and the XY coordinates before normalization are referred to as determinant A as (x, y, 1), and the XY coordinates after normalization are (x', y', 1). It is referred to as determinant A', and uses the following formula, but utilizes multiple XY coordinates to calculate homography (H),
Figure pat00009

In the step (d33), another hyperspectral information is substituted into the determinant A, and the determinant A'which is the normalized XY coordinate is calculated.
How to acquire hyperspectral images.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 무인비행체(100)는 드론이며,
상기 드론은:
상기 초분광센서(140)가 탑재된 카메라(130);
짐벌(gimbal)(110);
상기 짐벌(110)과 상기 카메라(130) 사이에 구비된 완충기(damper)(120); 및
상기 카메라(130)와 전기적으로 연결된 통신부(150)를 포함하며,
상기 통신부(150)는 상기 카메라(130)의 촬영에 의해 상기 초분광센서(140)가 획득한 초분광정보를 외부에 전송하는,
초분광영상 획득 방법.
The method according to any one of claims 1 to 5,
The drone 100 is a drone,
The drone is:
A camera 130 equipped with the hyperspectral sensor 140;
Gimbal 110;
A shock absorber 120 provided between the gimbal 110 and the camera 130; And
It includes a communication unit 150 electrically connected to the camera 130,
The communication unit 150 transmits the hyperspectral information acquired by the hyperspectral sensor 140 to the outside by photographing the camera 130,
How to acquire hyperspectral images.
제 6 항에 있어서,
상기 통신부(150)는 통신모듈(210)을 통해 촬영영상 입력모듈(230)에 상기 초분광정보를 송신하고, 상기 촬영영상 입력모듈(230)은 상기 기하보정 수행모듈(250)에 상기 초분광정보를 송신하는,
초분광영상 획득 방법.
The method of claim 6,
The communication unit 150 transmits the hyperspectral information to the photographing image input module 230 through the communication module 210, and the photographing image input module 230 transmits the hyperspectral to the geometric correction performing module 250. Sending information,
How to acquire hyperspectral images.
컴퓨터 판독 가능한 기록 매체에 저장되어
제 1 항 내지 제 7 항 중 어느 한 항에 따른 방법을 실행시키는 프로그램.
Stored in a computer-readable recording medium
A program for executing the method according to claim 1.
제 1 항 내지 제 7 항 중 어느 한 항에 따른 방법을 실행하기 위한 프로그램 코드가 기록된 컴퓨터 판독 가능한 기록 매체. A computer-readable recording medium in which program code for executing a method according to any one of claims 1 to 7 is recorded.
KR1020190000698A 2019-01-03 2019-01-03 Method for acquisition of hyperspectral image using an unmanned aerial vehicle KR102169687B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190000698A KR102169687B1 (en) 2019-01-03 2019-01-03 Method for acquisition of hyperspectral image using an unmanned aerial vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190000698A KR102169687B1 (en) 2019-01-03 2019-01-03 Method for acquisition of hyperspectral image using an unmanned aerial vehicle

Publications (2)

Publication Number Publication Date
KR20200084972A true KR20200084972A (en) 2020-07-14
KR102169687B1 KR102169687B1 (en) 2020-10-26

Family

ID=71526825

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190000698A KR102169687B1 (en) 2019-01-03 2019-01-03 Method for acquisition of hyperspectral image using an unmanned aerial vehicle

Country Status (1)

Country Link
KR (1) KR102169687B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102220151B1 (en) * 2020-09-25 2021-02-24 서울대학교 산학협력단 Complementing device and method for data of the sky using aerial lidar data and program recording medium
CN113640232A (en) * 2021-07-07 2021-11-12 中国科学院新疆生态与地理研究所 Identification method for grassland toxic and harmful grass
KR20220065435A (en) * 2020-11-13 2022-05-20 단국대학교 산학협력단 Image Registration Technique of Hyperspectral Image using Optical Flow Algorithm
CN117058541A (en) * 2023-08-03 2023-11-14 国网吉林省电力有限公司通化供电公司 Insulator hyperspectral data acquisition system and method thereof

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033294A (en) * 2004-07-14 2006-02-02 Starlabo Corp Image processing apparatus
US20140133753A1 (en) * 2012-11-09 2014-05-15 Ge Aviation Systems Llc Spectral scene simplification through background subtraction
KR101619836B1 (en) * 2016-02-05 2016-05-11 (주)아세아항측 Hyperspectral Remote monitoring system using drone
KR101621354B1 (en) * 2016-03-31 2016-05-20 주식회사 지오스토리 Water column correction using airborne hyperspectral image
US20160334276A1 (en) * 2015-05-12 2016-11-17 BioSensing Systems, LLC Apparatuses and methods for bio-sensing using unmanned aerial vehicles
KR101863123B1 (en) * 2017-02-15 2018-06-01 한국건설기술연구원 System for mapping river water-bloom map using automatic driving unmanned air vehicle and unmanned floating body of moving type

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033294A (en) * 2004-07-14 2006-02-02 Starlabo Corp Image processing apparatus
US20140133753A1 (en) * 2012-11-09 2014-05-15 Ge Aviation Systems Llc Spectral scene simplification through background subtraction
US20160334276A1 (en) * 2015-05-12 2016-11-17 BioSensing Systems, LLC Apparatuses and methods for bio-sensing using unmanned aerial vehicles
WO2016183000A1 (en) * 2015-05-12 2016-11-17 BioSensing Systems, LLC Apparatuses and methods for bio-sensing using unmanned aerial vehicles
KR101619836B1 (en) * 2016-02-05 2016-05-11 (주)아세아항측 Hyperspectral Remote monitoring system using drone
KR101621354B1 (en) * 2016-03-31 2016-05-20 주식회사 지오스토리 Water column correction using airborne hyperspectral image
KR101863123B1 (en) * 2017-02-15 2018-06-01 한국건설기술연구원 System for mapping river water-bloom map using automatic driving unmanned air vehicle and unmanned floating body of moving type

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
김동수, and 유호준. "초분광 영상을 활용한 하천 수리량 측정 현황과 전망." 대한토목학회 학술대회 (2016) *
유호준, 김동수, and 김서준. "초분광영상의 분광특성을 활용한 특성 분류 기술 개발." 대한토목학회 학술대회 (2018) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102220151B1 (en) * 2020-09-25 2021-02-24 서울대학교 산학협력단 Complementing device and method for data of the sky using aerial lidar data and program recording medium
KR20220065435A (en) * 2020-11-13 2022-05-20 단국대학교 산학협력단 Image Registration Technique of Hyperspectral Image using Optical Flow Algorithm
CN113640232A (en) * 2021-07-07 2021-11-12 中国科学院新疆生态与地理研究所 Identification method for grassland toxic and harmful grass
CN117058541A (en) * 2023-08-03 2023-11-14 国网吉林省电力有限公司通化供电公司 Insulator hyperspectral data acquisition system and method thereof
CN117058541B (en) * 2023-08-03 2024-02-13 国网吉林省电力有限公司通化供电公司 Insulator hyperspectral data acquisition system and method thereof

Also Published As

Publication number Publication date
KR102169687B1 (en) 2020-10-26

Similar Documents

Publication Publication Date Title
US11897606B2 (en) System and methods for improved aerial mapping with aerial vehicles
KR102169687B1 (en) Method for acquisition of hyperspectral image using an unmanned aerial vehicle
US10515271B2 (en) Flight device and flight control method
WO2017080108A1 (en) Flying device, flying control system and method
KR102313438B1 (en) Method for estimation of river bed change rate using hyperspectral image
JP2006252473A (en) Obstacle detector, calibration device, calibration method and calibration program
CN112215860A (en) Unmanned aerial vehicle positioning method based on image processing
CN111510704B (en) Method for correcting camera dislocation and device using same
CN109214254B (en) Method and device for determining displacement of robot
CN110718137A (en) Method and device for constructing density distribution map of target object, terminal and mobile device
Jurado et al. An efficient method for generating UAV-based hyperspectral mosaics using push-broom sensors
WO2020114433A1 (en) Depth perception method and apparatus, and depth perception device
KR102313437B1 (en) Method for estimation of bathymetry using hyperspectral image
KR102164522B1 (en) Method for estimation of depth of water using hyperspectral image
US10453178B2 (en) Large scale image mosaic construction for agricultural applications
KR102142616B1 (en) Method for utilizing of hyperspectral image using optimal band ratio
KR101837403B1 (en) Method and Apparatus for Fast mosaicking of Unmanned Aerial Vehicle Images
US10553022B2 (en) Method of processing full motion video data for photogrammetric reconstruction
CN117665841B (en) Geographic space information acquisition mapping method and device
US20240013485A1 (en) System and methods for improved aerial mapping with aerial vehicles
JP6093226B2 (en) Plant position measuring apparatus and method
US20240132211A1 (en) System and methods for improved aerial mapping with aerial vehicles
WO2022208973A1 (en) Information processing device, information processing method, and program
JP2019020218A (en) Data thinning-out device, surveying device, surveying system, and data thinning-out method
KR20180076458A (en) Distance estimation using stereo camera based on marker in space environment

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant