KR102164522B1 - Method for estimation of depth of water using hyperspectral image - Google Patents

Method for estimation of depth of water using hyperspectral image Download PDF

Info

Publication number
KR102164522B1
KR102164522B1 KR1020190000700A KR20190000700A KR102164522B1 KR 102164522 B1 KR102164522 B1 KR 102164522B1 KR 1020190000700 A KR1020190000700 A KR 1020190000700A KR 20190000700 A KR20190000700 A KR 20190000700A KR 102164522 B1 KR102164522 B1 KR 102164522B1
Authority
KR
South Korea
Prior art keywords
hyperspectral
image
module
depth
coordinates
Prior art date
Application number
KR1020190000700A
Other languages
Korean (ko)
Other versions
KR20200084974A (en
Inventor
김동수
유호준
Original Assignee
단국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 단국대학교 산학협력단 filed Critical 단국대학교 산학협력단
Priority to KR1020190000700A priority Critical patent/KR102164522B1/en
Publication of KR20200084974A publication Critical patent/KR20200084974A/en
Application granted granted Critical
Publication of KR102164522B1 publication Critical patent/KR102164522B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G06T5/006
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

본 발명은 초분광영상을 이용하여 수심을 추정하는 방법에 관한 것으로, 구체적으로 무인비행체를 이용하여 초분광영상을 획득한 후, 밴드비를 활용하여 회귀식을 설정함으로써, 초분광영상만으로 높은 정확도로 수심을 추정할 수 있는 방법에 관한 것이다. The present invention relates to a method of estimating the depth of water using a hyperspectral image. Specifically, after acquiring a hyperspectral image using an unmanned aerial vehicle, by setting a regression equation using a band ratio, high accuracy with only the hyperspectral image It is about a method to estimate the depth of the water.

Description

초분광영상을 이용한 수심 추정 방법{Method for estimation of depth of water using hyperspectral image}Method for estimation of depth of water using hyperspectral image}

본 발명은 초분광영상을 이용하여 수심을 추정하는 방법에 관한 것으로, 구체적으로 무인비행체를 이용하여 초분광영상을 획득한 후, 밴드비를 활용하여 회귀식을 설정함으로써, 초분광영상만으로 높은 정확도로 수심을 추정할 수 있는 방법에 관한 것이다. The present invention relates to a method of estimating the depth of water using a hyperspectral image. Specifically, after acquiring a hyperspectral image using an unmanned aerial vehicle, by setting a regression equation using a band ratio, high accuracy with only the hyperspectral image It is about a method to estimate the depth of the water.

물 밖의 정보는 다양한 이미지 장비를 이용하여 3차원 모델링이 비교적 손쉽게 가능하지만, 물 안의 정보, 특히 넓은 범위의 수체 내 수심을 반영한 3차원 모델링은 매우 어려운 작업이다. 3D modeling of information outside the water is relatively easy using various imaging equipment, but 3D modeling that reflects information in the water, especially a wide range of water depths, is a very difficult task.

수심을 측정하는 가장 일반적인 방법은 초음파(ultrasound)를 활용하는 것이다. 하지만, 이 방법은 장애물로 인한 반사 등의 다양한 외부 요인으로 정밀도가 낮고 저수심에서는 불가능하다. 저수심에서는 사람이 직접 잠수하거나 줄자를 이용한 실측 방법이 주로 사용된다. 이 경우에도, 넓은 범위를 빠짐없이 측정하는 것은 현실적으로 불가능하다. The most common way to measure depth is to use ultrasound. However, this method has low precision due to various external factors such as reflection due to obstacles and is not possible at low depths. In low water depths, a human dive or measuring method using a tape measure is mainly used. Even in this case, it is practically impossible to measure a wide range.

이에 대한 대안으로, 수심을 측정하기 위해, 수체에 대한 초분광영상을 확보하여 이를 이용하는 방법이 거론되고 있다. 초분광 센서(hyperspectral sensor)를 사용할 경우, 가시광영역은 물론 자외선영역, 적외선영역을 포함하여, 일반적인 이미지 센서에서 촬영하는 것에 대비하여 수백배에 이르는 많은 정보를 확보할 수 있기 때문이다.As an alternative to this, in order to measure the depth of water, a method of securing a hyperspectral image of the water body and using it has been discussed. This is because when a hyperspectral sensor is used, it is possible to secure a lot of information up to several hundred times compared to photographing with a general image sensor, including the visible light region, as well as the ultraviolet region and the infrared region.

초분광정보를 이용하여 수심을 확인하기 위해, 실재의 파장별 밴드가 무엇을 의미하는지를 매칭시킨 데이터베이스가 필요하다. 예를 들어, 2010년에 발사된 천리안 해양관측 위성(Goestationary Ocean Color Imager, GOGI)에 의해여, 8개 밴드(412, 490, 512, 555, 660, 680, 765, 875nm)의 값을 알 경우, 각각의 값이 어떠한 해색(海色)을 의미하는지 여부에 대한 데이터베이스는 이미 확보되어 있는 상태이다. 따라서, 해양의 초분광영상을 촬영함으로써 지점별 초분광정보가 확인되면, 데이터베이스로부터 해당 파장에서의 값과 이에 매칭된 해색을 확인함으로써, 초분광영상만으로도 직접 관측 없이 해색을 추정하게 된다. 동일한 방법이 수심에 적용될 수 있는 것이다. In order to check the depth of water using hyperspectral information, a database is needed that matches what the actual bands by wavelength mean. For example, if you know the value of 8 bands (412, 490, 512, 555, 660, 680, 765, 875nm) by the Goestationary Ocean Color Imager (GOGI) launched in 2010 The database on whether or not each value represents a sea color (海色) is already secured. Therefore, when the hyperspectral information for each point is confirmed by photographing the superspectral image of the ocean, the sea color is estimated without direct observation by only the hyperspectral image by checking the value at the wavelength and the sea color matched thereto from the database. The same method can be applied to depth.

또한, 모든 지점에서의 파장별 관측값을 확인하고 데이터베이스화할 수 없기에, 회귀식이 사용된다. 즉, 다수의 데이터를 이용하여 회귀식을 구축하여 두면, 데이터베이스화되어 있지 않은 위치에서도, 회귀식을 이용하여, 초분광영상에서 확인되는 파장별 밴드를 이용하여 실재의 값을 추정할 수 있다. In addition, since observation values for each wavelength at all points cannot be confirmed and databaseized, a regression equation is used. That is, if a regression equation is constructed using a plurality of data, the actual value can be estimated by using the band for each wavelength identified in the hyperspectral image by using the regression equation even at a location that is not in a database.

이러한 방법들을 조합하면, 이론적으로 초분광영상만으로 수심의 추정이 가능하다. 초분광영상으로부터 특정 파장에 대한 값을 추출하면, 해당 값과 수심이 미리 매칭되어 저장된 데이터베이스을 이용하거나 회귀식에 대입함으로써, 수심을 추정할 수 있다. By combining these methods, it is theoretically possible to estimate the depth of water using only hyperspectral images. When a value for a specific wavelength is extracted from the hyperspectral image, the depth can be estimated by using a database that is previously matched with the water depth and stored, or by substituting it into a regression equation.

하지만, 이러한 방식으로 특정 파장의 촬영값을 이용하여 수심을 추정하는 방식은 일정 수준의 오차가 있는 것으로 알려져 있다. 이러한 오차의 원인으로서, 초분광정보 촬영 단계에서 발생하는 오차(예를 들어, 반사광의 영향으로 촬영값이 실재 위치의 값을 대변하지 못하는 상황), 영상 수정 단계에서 발생하는 오차(예를 들어, 기하 보정의 오류, 영상 정합의 오류 등), 데이터베이스의 오류(예를 들어, 촬영값은 정확하였지만 식별 정보가 잘못된 경우), 기타 외부요인 등이 제시된다. However, it is known that there is a certain level of error in the method of estimating the depth of water using a photographic value of a specific wavelength in this manner. As a cause of such errors, errors occurring in the hyperspectral information photographing step (for example, a situation in which the photographed value does not represent the actual position value due to the influence of reflected light), and errors occurring in the image correction step (for example, Errors in geometric correction, errors in image registration, etc.), errors in the database (for example, when the photographed value is correct but the identification information is incorrect), and other external factors are presented.

더욱이, 정확도가 낮은 값을 이용하여 구축한 회귀식을 통해 수심을 추정할 경우, 이러한 오차는 점차 커지게 된다.Moreover, when the water depth is estimated through a regression equation constructed using a value with low accuracy, this error gradually increases.

또한, 넓은 영역의 초분광영상 확보에도 어려움이 있다.In addition, it is difficult to secure a hyperspectral image of a wide area.

넓은 영역의 초분광영상 확보를 위하여 유인비행체, 인공위성 등에서 촬영을 하는 것이 일반적인데, 이 경우 셀 사이즈가 10m 내지 50m 등으로 과다하게 커져서 정밀한 계측이 불가능하다. 예를 들어, 수심을 측정할 경우 지표에서 100m2 단위로 측정되기에 정밀도가 감소하는 것이다. In order to secure a hyperspectral image of a wide area, it is common to shoot with a manned aircraft or an artificial satellite. In this case, the cell size becomes excessively large, such as 10m to 50m, making precise measurement impossible. For example, when measuring the depth of water, it is measured in units of 100m 2 on the surface, so the precision decreases.

이를 해소하기 위하여 근거리에서 비행할 수 있는 드론과 같은 무인비행체에 초분광 센서를 탑재하는 시도가 있었다. 이 경우, 셀 사이즈가 작아져서 정밀도는 상승하나, 무인비행체가 갖고 있는 비행 중 흔들림 등의 문제로 정확도가 낮아지는 다른 문제가 발생하였다. 이를 방지하고자, 흔들림을 보정할 수 있는 고성능 짐벌의 탑재를 고려할 수 있지만, 고성능 짐벌의 무게가 상당히 크기에 드론의 비행 성능을 약화시켰다. In order to solve this problem, attempts have been made to mount hyperspectral sensors on unmanned aerial vehicles such as drones that can fly at close range. In this case, the cell size is reduced, so that the accuracy is increased, but there is another problem that the accuracy is lowered due to problems such as shaking during flight that the unmanned aerial vehicle has. To prevent this, it is possible to consider installing a high-performance gimbal that can compensate for shake, but the weight of the high-performance gimbal is quite large, which weakens the drone's flight performance.

더욱이, 초분광 센서는 기본적으로 라인 스캐닝(line scanning)을 하여 초분광정보를 확보하기에, 다수의 초분광정보를 정합하는 소프트웨어가 필수적이다. 하지만, 기존의 초분광정보 정합 소프트웨어는 그 정확도가 부족하여, 다수의 초분광정보를 정합한 영상이 실재 촬영 지점에서 다소 벗어난 지점의 정보를 제공하기도 한다. Moreover, since the hyperspectral sensor basically performs line scanning to secure hyperspectral information, software for matching a plurality of hyperspectral information is essential. However, the existing hyperspectral information matching software lacks its accuracy, and thus, an image obtained by matching a plurality of hyperspectral information may provide information on a point slightly deviated from the actual photographing point.

이에, 오차를 줄여서 정확도를 높일 수 있는 새로운 방식의 수심 식별 방법에 대한 요구가 증가하는 추세이다. Accordingly, there is a trend of increasing demand for a new method of identifying depth that can reduce errors and improve accuracy.

관련된 특허 문헌을 검토한다. Review related patent documents.

한국등록특허 제10-1621354호는 초분광영상을 이용한 수심 측정 방법을 개시한다. 전술한 문제점들이 모두 포함되어 있어, 정확도가 낮다. Korean Patent Registration No. 10-1621354 discloses a depth measurement method using hyperspectral images. Since all of the above-described problems are included, the accuracy is low.

한국등록특허 제10-1463351호는 초분광영상에서 밴드비를 활용하여 특이영역을 검출하고, 초분광영상에서 검출된 영역을 제외함으로써 정보 연산의 속도를 상승시키는 기술을 개시한다. 후술하는 본 발명과 밴드비를 사용한다는 점만 공통될 뿐, 전체적인 발명의 목적, 구성 및 효과가 상이하다. Korean Patent Registration No. 10-1463351 discloses a technique for increasing the speed of information calculation by detecting a specific region in a hyperspectral image by using a band ratio and excluding the detected region in a hyperspectral image. The present invention described later and the use of a band ratio are common only, and the objects, configurations, and effects of the overall invention are different.

한국등록특허 제10-1619836호는 초분광영상 촬영을 위한 카메라를 짐벌과 완충장치를 이용한 드론을 개시한다. 드론의 흔들림을 보상한 영상이 확보된다는 점에서 장점이나, 라인 스캐닝에 의한 영상 정합 기술을 개시하지 못한다.Korean Patent Registration No. 10-1619836 discloses a drone using a gimbal and a shock absorber for a camera for shooting hyperspectral images. It is advantageous in that an image that compensates for the shaking of a drone is secured, but the image matching technology by line scanning cannot be disclosed.

한국등록특허 제10-1806488호는 초분광영상 센서를 드론에 탑재하여 암체를 식별하는 기술을 개시한다. 한국등록특허 제10-1744662호는 초분광영상을 이용하여 식물을 분류하는 기술을 개시한다. 이를 위해, 다양한 암체 내지 식물에 대한 초분광영상 표준자료가 미리 확보되어 있어야 하며, 촬영된 영상을 이와 비교함으로써, 피촬영 오브젝트를 식별한다. 하지만, 드론의 흔들림으로 인한 정확도 저하 문제, 영상 정합의 효율성을 상승시키는 문제 등 촬영 단계에서 확인되는 원천적인 문제를 해결하지 못한다. Korean Patent Registration No. 10-1806488 discloses a technology for identifying a dark body by mounting a hyperspectral image sensor on a drone. Korean Patent Registration No. 10-1744662 discloses a technology for classifying plants using hyperspectral images. To this end, standard data for hyperspectral images for various dark bodies or plants must be secured in advance, and the object to be photographed is identified by comparing the photographed images with them. However, it does not solve the fundamental problems found in the shooting stage, such as the problem of lowering accuracy due to the shaking of the drone and increasing the efficiency of image matching.

한국등록특허 제10-1689197호는 드론에 부착될 수 있는 짐벌 어셈블리를 개시한다. 여기에 개시된 어셈블리는 회전/역회전이 가능한 제1유닛과, 승강이 가능한 제2유닛과, 이들을 회동시키는 제3유닛으로 구성되어, 비행체의 흔들림을 보상한다. 하지만, 이와 같이 구성될 경우, 짐벌의 무게가 과다하게 증가하여, 드론의 비행 성능이 낮아진다는 문제가 발생할 것이다.Korean Patent Registration No. 10-1689197 discloses a gimbal assembly that can be attached to a drone. The assembly disclosed herein is composed of a first unit capable of rotation/reverse rotation, a second unit capable of elevating and descending, and a third unit that rotates them, thereby compensating for shaking of the aircraft. However, when configured in this way, the weight of the gimbal will increase excessively, resulting in a problem that the flying performance of the drone is degraded.

한국공개특허 제10-2014-0014819호는 초분광영상에서 확인된 데이터에 대하여 색인/질의 기법을 적용함으로써, 마치 인공지능 알고리즘과 같은 형태로, 데이터를 식별하는 방법을 개시한다. 이러한 방법 활용의 전제조건은 초분광영상의 정확도인데, 무인비행체와 같은 환경에서 촬영된 영상의 정확도를 상승시키는 방법까지 제시하지 못한다. Korean Patent Publication No. 10-2014-0014819 discloses a method of identifying data in the form of an artificial intelligence algorithm by applying an index/query technique to data identified in a hyperspectral image. The prerequisite for using this method is the accuracy of hyperspectral images, but it cannot even suggest a method to increase the accuracy of images captured in an environment such as an unmanned aerial vehicle.

미국특허 제7,181,055호는 초분광영상을 정합하는 알고리즘을 제시한다. 여기에서는, 반사도 이미지를 활용하여 정합 정확도를 상승시킨다. US Patent No. 7,181,055 proposes an algorithm for matching hyperspectral images. Here, the reflectivity image is utilized to increase the matching accuracy.

(특허문헌 1) 한국등록특허 제10-1463351호(Patent Document 1) Korean Patent Registration No. 10-1463351

(특허문헌 2) 한국등록특허 제10-1463351호 (Patent Document 2) Korean Patent Registration No. 10-1463351

(특허문헌 3) 한국등록특허 제10-1619836호 (Patent Document 3) Korean Patent Registration No. 10-1619836

(특허문헌 4) 한국등록특허 제10-1806488호(Patent Document 4) Korean Patent Registration No. 10-1806488

(특허문헌 5) 한국등록특허 제10-1744662호(Patent Document 5) Korean Patent Registration No. 10-1744662

(특허문헌 6) 한국등록특허 제10-1689197호(Patent Document 6) Korean Patent Registration No. 10-1689197

(특허문헌 7) 한국공개특허 제10-2014-0014819호(Patent Document 7) Korean Laid-Open Patent No. 10-2014-0014819

(특허문헌 8) 미국특허 제7,181,055호(Patent Document 8) US Patent No. 7,181,055

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것이다. 특히, 초분광영상을 이용하여 수심을 추정하고자 하는 경우, 발생할 수 있는 다양한 문제점을 해결하고자 한다.The present invention was devised to solve the above problems. In particular, in the case of estimating the depth of water using hyperspectral images, various problems that may occur are to be solved.

구체적으로, 라인 스캐닝되는 초분광 센서의 특성에 기인하여 영상 정합의 정확도가 낮아지는 문제를 해결하고, 무인비행체에서 촬영됨으로 인한 영상의 흔들림 문제를 해결하고자 한다. Specifically, it is intended to solve the problem that the accuracy of image matching is lowered due to the characteristic of the line-scanned hyperspectral sensor, and to solve the problem of image shaking caused by being photographed in an unmanned aerial vehicle.

또한, 정확한 초분광정보를 획득하여 특정 파장이 갖고 있는 촬영값이 정확함에도, 해당 촬영값에 대한 데이터베이스가 정확한 식별 정보를 반영하지 못하는 상황을 방지하기 위한, 신규한 초분광정보 식별 방법을 제안하고자 한다.In addition, to obtain accurate hyperspectral information and to propose a novel hyperspectral information identification method to prevent the situation in which the database for the corresponding captured value does not reflect accurate identification information even though the captured value of a specific wavelength is accurate. do.

상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예는, (a) 무인비행체(100)가, 설정된 비행경로를 따라 비행하면서, 초분광 센서(140)를 이용하여, 라인 스캐닝(line scanning)을 통해, 기 설정된 영상 단위마다 초분광정보를 획득하는 단계; (b) 기하보정 수행모듈(250)이, 상기 각각의 영상 단위마다 획득된 초분광정보에 대하여 각 픽셀의 위치정보를 이용하여 기하보정을 수행하는 단계; (c) 영상정합 수행모듈(260)이, 상기 기하보정이 수행된, 상기 각각의 영상 단위마다 획득된 초분광정보를 정합하여, 상기 수집영역의 초분광영상을 획득하는 단계; (d) 초분광 관측값 입력모듈(310)에 미리 결정된 다수의 지점 각각의 수심 관측값(Y)이 입력되는 단계; (e) 밴드비 연산모듈(320)이, 상기 미리 결정된 다수의 지점 각각에서, 상기 (c) 단계에서 획득된 초분광영상으로부터 다수의 파장(x)에 대한 화소값인 초분광 촬영값(I(x))을 확인하고, 초분광 촬영값에 포함된 다수의 파장(x) 중 임의의 2개의 파장의 쌍(λ1, λ2)을 선택하여, 각각에 대한 초분광 촬영값(I(λ1), I(λ2))을 확인하는 단계; (f) 상기 밴드비 연산모듈(320)이, 상기 확인된 2개의 초분광 촬영값(I(λ1), I(λ2))에서 어느 하나를 다른 하나로 나누어 밴드비(band ratio)(X)를 연산하는 단계; 및 (g) 회귀분석모듈(330)이, 상기 수심 관측값(Y)과 상기 연산된 밴드비(X)가 선형관계에 있음을 가정하고, 상기 다수의 지점에서의 상기 수심 관측값(Y)과 상기 연산된 밴드비(X)를 이용하여, 회귀식(Y=aX+b)의 a와 b를 연산함으로써, 회귀식(Y=aX+b)을 생성하는 단계를 포함하며, 상기 생성된 회귀식을 이용하여 초분광영상으로부터 수심을 추정하는, 초분광영상을 이용한 수심 추정 방법을 제공한다.An embodiment of the present invention for solving the above problems is, (a) while flying along the set flight path, using the hyperspectral sensor 140, line scanning (line scanning) Acquiring hyperspectral information for each preset image unit; (b) performing, by the geometric correction module 250, performing geometric correction on the hyperspectral information obtained for each image unit by using position information of each pixel; (c) obtaining, by the image matching module 260, a hyperspectral image of the collection area by matching the hyperspectral information obtained for each image unit on which the geometric correction has been performed; (d) inputting a depth observation value (Y) of each of a plurality of predetermined points into the hyperspectral observation value input module 310; (e) The band ratio calculation module 320, at each of the plurality of predetermined points, from the hyperspectral image obtained in step (c), the hyperspectral photographing value (I), which is a pixel value for a plurality of wavelengths (x). (x)), select an arbitrary pair of two wavelengths (λ 1 , λ 2 ) among a number of wavelengths (x) included in the hyperspectral photographing value, and select the hyperspectral photographing value (I( determining λ 1 ), I(λ 2 )); (f) The band ratio calculation module 320 divides any one of the identified two hyperspectral photographing values (I(λ 1 ), I(λ 2 )) into the other and divides the band ratio (X Calculating ); And (g) the regression analysis module 330 assumes that the depth observation value (Y) and the calculated band ratio (X) are in a linear relationship, and the depth observation value (Y) at the plurality of points. And generating a regression equation (Y=aX+b) by calculating a and b of a regression equation (Y=aX+b) using the calculated band ratio (X), and the generated A depth estimation method using hyperspectral images is provided, which estimates water depth from hyperspectral images using a regression equation.

또한, 상기 (g) 단계 이후, (h) 상기 회귀분석모듈(330)이, 상기 초분광 촬영값에 포함된 상기 다수의 파장 중 상기 (e) 단계에서의 2개의 파장의 쌍을 제외한 다른 임의의 파장을 선택하여, 이에 대한 초분광 촬영값을 확인하고, 상기 (f) 내지 (g) 단계를 반복함으로써, 다수의 2개의 파장의 쌍마다 각각 회귀식을 생성하는 단계; (i) 회귀식 결정모듈(340)이, 상기 생성된 다수의 회귀식 중 상관계수(correlation)가 가장 높은 회귀식을 선택하는 단계; 및 (j) 상기 회귀식 결정모듈(340)이, 상기 (g) 단계에서 선택된 회귀식에 사용된 밴드비(X)에 적용된 2개의 파장을, 최적 밴드비 파장의 쌍으로 결정하는 단계를 더 포함하는 것이 바람직하다.In addition, after the step (g), (h) the regression analysis module 330, of the plurality of wavelengths included in the hyperspectral photographing value, other than the pair of two wavelengths in the step (e) Generating a regression equation for each of a plurality of pairs of two wavelengths by selecting a wavelength of, confirming the hyperspectral photographing value for this, and repeating steps (f) to (g); (i) selecting, by the regression equation determination module 340, a regression equation having the highest correlation among the plurality of generated regression equations; And (j) determining, by the regression equation determination module 340, the two wavelengths applied to the band ratio (X) used in the regression equation selected in step (g) as a pair of optimal band ratio wavelengths. It is preferable to include.

또한, 상기 (j) 단계 이후, (k) 관측값 추정모듈(350)이, 상기 다수의 지점 이외의 지점의 초분광 촬영값에서, 상기 (j) 단계에서 결정된 최적 밴드비 파장의 쌍에 해당하는 2개의 초분광 촬영값을 확인하고, 어느 하나를 다른 하나로 나누어 해당 지점의 밴드비를 연산하는 단계; 및 (l) 상기 관측값 추정모듈(350)이, 상기 (i) 단계에서 선택된 회귀식에 상기 연산된 밴드비를 입력하여 해당 지점의 수심 관측값을 추정하는 단계를 더 포함하는 것이 바람직하다.In addition, after the step (j), (k) the observation value estimation module 350 corresponds to the pair of optimal band ratio wavelengths determined in step (j) from the hyperspectral photographing values of points other than the plurality of points. Checking the two hyperspectral photographing values, dividing one of them into the other and calculating a band ratio of the corresponding point; And (l) the observation value estimation module 350, inputting the calculated band ratio to the regression equation selected in step (i), and estimating the depth observation value of the corresponding point.

또한, 상기 (l) 단계는, 상기 관측값 추정모듈(350)이 초분광영상에서 근적외선에 해당하는 파장에 대한 빛의 세기를 이용하여 정규식생지수(NDWI)를 연산하는 단계; 및 상기 관측값 추정모듈(350)이 상기 연산된 정규식생지수(NDWI)가 0보다 작은 경우 수심을 0으로 출력하는 단계를 더 포함하는 것이 바람직하다.In addition, the step (l) may include calculating, by the observation value estimation module 350, a regular expression index (NDWI) using the intensity of light for a wavelength corresponding to near infrared rays in the hyperspectral image; And outputting, by the observation value estimation module 350, a water depth as 0 when the calculated regular vegetation index (NDWI) is less than 0.

또한, 상기 (i) 단계는, 상기 회귀식 결정모듈(340)이, 상기 생성된 다수의 회귀식에 대한 상관계수를 연산하여, 2개의 파장의 쌍에서 각각의 파장을 X축 및 Y축으로 하는 상관계수 맵을 생성하는 단계를 포함하고, 상기 (i) 단계는, 상기 회귀식 결정모듈(340)이, 상기 (i) 단계에서 생성된 상관계수 맵을 이용하여 상관계수가 가장 높은 지점을 결정하고, 해당 지점을 구성하는 각각의 파장을 상기 최적 밴드비 파장의 쌍으로 결정하는 단계를 포함하는 것이 바람직하다.In addition, in the step (i), the regression equation determination module 340 calculates correlation coefficients for the plurality of generated regression equations, so that each wavelength in the pair of two wavelengths is converted to the X axis and the Y axis. Generating a correlation coefficient map, wherein in step (i), the regression equation determination module 340 determines a point with the highest correlation coefficient using the correlation coefficient map generated in step (i). It is preferable to include the step of determining and determining each wavelength constituting the corresponding point as a pair of the optimal band ratio wavelengths.

또한, 상기 (c) 단계는, (c11) 대응점 확인 모듈(262)이, 상기 기하 보정이 수행된 각각의 영상 단위마다 획득된 어느 두 개의 초분광정보(A, B)에 있어서, 어느 하나의 초분광정보(A)의 어느 하나의 픽셀의 XY 좌표(x, y) 및 해당 좌표에서의 화소값(I(x, y))에 대하여, 다른 하나의 초분광정보(B)의 어느 하나의 픽셀의 XY 좌표(x', y') 및 해당 좌표에서의 화소값(I(x', y'))의 정규상관계수(normalized correlation)를 연산하되, 상기 어느 하나의 초분광정보(A)의 모든 픽셀 각각에 대하여 상기 다른 하나의 초분광정보(B)의 모든 픽셀 각각의 정규상관계수를 모두 연산함으로써, 정규상관계수의 값이 큰 지점의 XY좌표를 상기 두 개의 초분광정보(A, B)의 대응점으로 확인하는 단계; (c12) 상기 영상정합 수행모듈(260)이 상기 확인된 대응점을 기준으로 상기 두 개의 초분광정보(A, B)를 영상 정합하는 단계; 및 (c13) 상기 영상정합 수행모듈(260)이 상기 (c11) 내지 (c12) 단계를, 상기 (a) 단계에서 획득된 각각의 영상 단위마다의 초분광정보의 각 쌍마다 수행하여, 영상정합된 상기 수집영역의 초분광영상을 획득하는 단계를 포함하는 것이 바람직하다.In addition, in the step (c), (c11) the correspondence point confirmation module 262, in any two hyperspectral information (A, B) obtained for each image unit on which the geometric correction has been performed, With respect to the XY coordinates (x, y) of any one pixel of the hyperspectral information (A) and the pixel value (I(x, y)) at the corresponding coordinates, one of the other hyperspectral information (B) Calculate a normalized correlation of the XY coordinates (x', y') of the pixels and the pixel values (I(x', y')) at the corresponding coordinates, but any one of the hyperspectral information (A) By calculating all the normal correlation coefficients of each of the pixels of the other hyperspectral information (B) for each of all pixels of the two hyperspectral information (A, Confirming the corresponding point of B); (c12) image matching the two hyperspectral information (A, B) based on the identified corresponding point by the image matching module 260; And (c13) the image matching module 260 performs steps (c11) to (c12) for each pair of hyperspectral information for each image unit obtained in step (a), and image matching It is preferable to include the step of obtaining a hyperspectral image of the collected area.

또한, 상기 (c11) 단계 이전에, (c21) 적분영상 연산모듈(261)이, 상기 기하 보정이 수행된 각각의 영상 단위마다 획득된 초분광정보에서, 각각의 픽셀마다, 어느 하나의 기준 좌표를 기준으로 하여 적분영상(integral image) 화소값을 연산하는 단계를 더 포함하며, 상기 (c11) 단계에서의 화소값은, 상기 (c21) 단계에서 연산된 적분영상 화소값인 것이 바람직하다.In addition, before the step (c11), (c21) the integral image calculation module 261, in the hyperspectral information obtained for each image unit on which the geometric correction is performed, for each pixel, any one reference coordinate The method further includes calculating an integral image pixel value based on, wherein the pixel value in the step (c11) is preferably an integral image pixel value calculated in the step (c21).

또한, 상기 (c21) 단계 이전에, (c31) 정규화 모듈(240)이, 어느 하나의 영상 단위의 초분광정보의 픽셀의 XY 좌표들을 정수의 순서쌍(x, y)으로 설정하고, 상기 설정된 XY 좌표들의 평균 좌표를 연산하고, 상기 연산된 평균 좌표를 원점(0, 0)으로 설정하여 각 정수의 순서쌍(x, y) 사이의 단위 거리가 √2가 되도록, 상기 XY 좌표(x, y)를 정규화된 XY 좌표(x', y')로 이동시킴으로써, 상기 어느 하나의 영상 단위의 초분광정보를 정규화하는 단계를 더 포함하는 것이 바람직하다.In addition, before the step (c21), the (c31) normalization module 240 sets the XY coordinates of the pixels of the hyperspectral information of any one image unit as an integer order pair (x, y), and the set XY The XY coordinates (x, y) are calculated so that the unit distance between the ordered pairs (x, y) of each integer is √2 by calculating the average coordinates of the coordinates and setting the calculated average coordinates as the origin (0, 0). It is preferable to further include the step of normalizing the hyperspectral information of any one of the image units by moving to the normalized XY coordinates (x', y').

또한, 상기 (c31) 단계 이후, (c32) 상기 정규화 모듈(240)이 상기 어느 하나의 초분광정보의 정규화 전 XY 좌표(x, y)와 정규화된 이후의 XY 좌표(x', y')의 값을 이용하여, 매개변수를 포함한 행렬식인 호모그래피(homography)(H)를 연산하는 단계; 및 (c33) 상기 연산된 호모그래피(H)를 이용하여, 다른 하나의 초분광정보를 정규화하는 단계를 포함하는 것이 바람직하다.In addition, after the step (c31), (c32) the normalization module 240 performs XY coordinates (x, y) before normalization of any one of the hyperspectral information and XY coordinates (x', y') after normalization. Calculating homography (H), which is a determinant including a parameter, using the value of And (c33) normalizing the other hyperspectral information by using the calculated homography (H).

또한, 상기 (c32) 단계에서 동차좌표계(homogeneous coordinates)가 활용되어 정규화 전 XY 좌표는 (x, y, 1)로서 행렬식 A로 지칭되고, 정규화된 이후의 XY 좌표는 (x', y', 1)로서 행렬식 A'로 지칭되며, 다음의 수식을 이용하되 다수의 XY 좌표를 활용하여, 호모그래피(H)가 연산되며, 상기 (c33) 단계는, 다른 하나의 초분광정보를 행렬식 A에 대입하여, 정규화된 XY 좌표인 행렬식 A'가 연산되는 것이 바람직하다.In addition, in the step (c32), homogeneous coordinates are utilized so that the XY coordinates before normalization are (x, y, 1) and are referred to as determinant A, and the XY coordinates after normalization are (x', y', As 1), it is referred to as the determinant A', and the homography (H) is calculated using the following equation, but using a plurality of XY coordinates, and in step (c33), the other hyperspectral information is transferred to the determinant A. By substituting, it is preferable that the determinant A'which is a normalized XY coordinate is calculated.

상기와 같은 과제를 해결하기 위한 본 발명의 다른 실시예는, 컴퓨터 판독 가능한 기록 매체에 저장되어, 전술한 방법을 실행시키는 프로그램과, 그 코드가 기록된 컴퓨터 판독 가능한 기록 매체를 제공한다.Another embodiment of the present invention for solving the above problems provides a program that is stored in a computer-readable recording medium and executes the above-described method, and a computer-readable recording medium in which the code is recorded.

본 발명에 따른 방법은, 작은 영상 단위(라인 단위)로 확보되는 초분광정보를 높은 정확도로 정합함으로써, 정확도 및 정밀도가 모두 높은 우수한 초분광영상을 획득하고, 이를 토대로 높은 정확도 및 정밀도로 수심을 추정할 수 있다. 특히, 높은 중량의 고성능 짐벌을 사용하지 않고서도 무인비행체의 흔들림을 효과적으로 보정할 수 있다. 전술한 영상 정합 기술과 함께 사용되어, 높은 상승 효과로서 우수한 초분광영상을 획득하게 한다. The method according to the present invention obtains excellent hyperspectral images with high accuracy and precision by matching hyperspectral information secured in small image units (line units) with high accuracy, and based on this, the depth of water is determined with high accuracy and precision. Can be estimated. In particular, it is possible to effectively correct the shake of an unmanned aerial vehicle without using a high-weight, high-performance gimbal. Used in conjunction with the above-described image matching technology, it allows obtaining excellent hyperspectral images with high synergistic effects.

또한, 종래에는 실재 물체의 파장의 값과 가장 가까운 것으로 식별되는 값을 갖는 오직 1개의 파장만을 사용하기에, 해당 매칭이 부정확하거나 측정값에 오류가 있는 경우 실재 추정된 수심의 정확도가 낮다는 단점이 있었지만, 본 발명에 의하여, 실재 수심의 파장의 값과 가장 가까운 것으로 식별되는 파장의 촬영값이 분자로 사용되고, 실재 수심의 파장의 값과 가장 먼 것으로 식별의 촬영값이 분모로 사용함으로써, 단일 파장에 의한 매칭과 달리 이중의 매칭 과정을 통해 수심의 값을 추정하기에, 정확도를 높일 수 있는 것이다. In addition, conventionally, only one wavelength with a value identified as the closest to the wavelength value of an actual object is used, so if the matching is incorrect or there is an error in the measured value, the accuracy of the actual estimated depth is low. However, according to the present invention, the photographed value of the wavelength identified as the closest to the value of the wavelength of the actual water depth is used as the numerator, and the photographed value of the identification as the farthest from the value of the actual water depth is used as the denominator. Unlike matching by wavelength, since the depth value is estimated through a double matching process, accuracy can be improved.

또한, 이러한 방법은, 단 1개의 프로그램으로서 논스톱(non-stop) 개념으로 컴퓨터 프로그램화되어, 다수의 지점의 관측값인 수심과 촬영된 초분광영상이 입력되면, 초분광영상은 적절하게 전처리 및 후처리되고, 이를 기반으로 자동으로 회귀식이 결정되고, 자동으로 수심이 추정될 수 있다. In addition, this method is computer-programmed with a non-stop concept as a single program, and when the depth of observation of multiple points and the captured hyperspectral image are input, the hyperspectral image is appropriately preprocessed and After processing, the regression equation is automatically determined based on this, and the depth can be automatically estimated.

특히, 기존에는 다수의 프로그램을 오고 가며 복잡한 연산 및 데이터 전송을 수행하여야 하였으나, 이러한 문제점들이 모두 해소됨은 물론, 적분영상을 활용하여 수일에 걸리던 연산 시간을 약 50% 이상 감소시킬 수 있다.Particularly, in the past, it was necessary to perform complex calculations and data transmission while returning to and from a number of programs, but all of these problems are solved, and the computation time that took several days can be reduced by about 50% or more by using the integral image.

도 1은 본 발명에 따른 방법을 수행하기 위한 시스템을 도시한다.
도 2는 본 발명에 따른 방법 중 영상 처리 방법을 설명하기 위한 순서도이다.
도 3은 본 발명에 따른 방법 중 영상 분석 방법을 설명하기 위한 순서도이다.
도 4는 본 발명에 따른 방법에서 사용되는 무인비행체의 예시를 설명하기 위한 사진이다.
도 5는 본 발명에 따른 방법에서 무인비행체가 초분광정보를 획득하는 방법을 설명하기 위한 개략도이다.
도 6은 본 발명에 따른 방법 중 영상 처리 방법에서 기하보정을 설명하기 위한 개략도이다.
도 7은 본 발명에 따른 방법 중 영상 처리 방법에서 영상정합을 설명하기 위한 개략도이다.
도 8은 본 발명에 따른 방법 중 영상 처리 방법에서 영상정합을 위해 정규상관계수를 사용하는 방법을 설명하기 위한 개략도이다.
도 9는 본 발명에 따른 방법 중 영상 처리 방법에서 영상정합시 적분영상을 활용하는 방법을 설명하기 위한 개략도이다.
도 10은 본 발명에 따른 방법 중 영상 처리 방법에서 정규화 단계를 설명하기 위한 개략도이다.
도 11은 본 발명에 따른 방법 중 영상 분석 방법의 밴드비를 설명하기 위한 도면이다.
도 12는 본 발명에 따른 방법 중 영상 분석 방법에서 밴드비와 관측값인 수심을 이용하여 회귀분석이 수행되는 과정을 설명하기 위한 도면이다.
도 13은 본 발명에 따른 방법 중 영상 분석 방법에 의하여 설정된 상관관계 맵을 도시한다.
도 14는 본 발명에 따른 방법 중 영상 분석 방법에 의하여 상관관계 맵을 이용하여 회귀식을 선택하는 방법을 설명한다.
도 15는 본 발명에 따른 방법이 구현된 프로그램의 화면을 도시한다.
도 16은 본 발명에 따른 방법에서, 수체 판단 단계를 적용하여 수심 추정을 완성한 후 후보정을 통하여 최종 결과물이 출력되는 화면을 도시한다.
1 shows a system for carrying out the method according to the invention.
2 is a flow chart illustrating an image processing method among methods according to the present invention.
3 is a flow chart illustrating an image analysis method among methods according to the present invention.
4 is a photograph for explaining an example of an unmanned aerial vehicle used in the method according to the present invention.
5 is a schematic diagram illustrating a method of obtaining hyperspectral information by an unmanned aerial vehicle in the method according to the present invention.
6 is a schematic diagram for explaining geometric correction in an image processing method among methods according to the present invention.
7 is a schematic diagram for explaining image matching in an image processing method among methods according to the present invention.
8 is a schematic diagram for explaining a method of using a normal correlation coefficient for image matching in an image processing method among methods according to the present invention.
9 is a schematic diagram illustrating a method of using an integral image during image matching in an image processing method among methods according to the present invention.
10 is a schematic diagram illustrating a normalization step in an image processing method among methods according to the present invention.
11 is a diagram illustrating a band ratio of an image analysis method among methods according to the present invention.
12 is a diagram for explaining a process in which regression analysis is performed using a band ratio and an observed depth of water in an image analysis method according to the present invention.
13 shows a correlation map set by an image analysis method among methods according to the present invention.
14 illustrates a method of selecting a regression equation using a correlation map by an image analysis method among methods according to the present invention.
15 shows a screen of a program in which the method according to the present invention is implemented.
16 shows a screen in which a final result is output through candidate determination after completing the depth estimation by applying the water body determination step in the method according to the present invention.

이하, 도면을 참조하여 본 발명을 보다 상세히 설명한다. Hereinafter, the present invention will be described in more detail with reference to the drawings.

이하에서는, 초분광영상을 이용하여 실재 측정하지 않고도 높은 정확도로 관측값인 수심을 추정하는 방법을 설명한다. 다만, 아래에서 설명하고 청구범위에서 설명되는 방법의 개념이 적용된다면, 수심 이외의 다른 물체(예를 들어, 해색, 암체, 식생 등)에 대한 식별도 가능할 것이며, 이러한 과정이 동일하거나 균등한 범위 내의 개념에 따라 이루어진다면, 이에 대한 권리범위 역시, 아래의 청구범위에서 청구되는 본 발명의 범위 내에 포함될 수 있음을, 통상의 기술자는 이해할 수 있을 것이다. Hereinafter, a method of estimating depth, which is an observation value, with high accuracy without actually measuring by using hyperspectral images will be described. However, if the concept of the method described below and described in the claims is applied, it will be possible to identify objects other than the depth of water (for example, sea color, dark body, vegetation, etc.), and this process is the same or equal scope. If made according to the concept within, it will be understood by those of ordinary skill in the art that the scope of the rights thereto may also be included within the scope of the present invention as claimed in the claims below.

시스템의 설명Description of the system

본 발명에 따른 방법이 수행되는 시스템은, 초분광센서(140)가 탑재되어 초분광영상을 촬영하는 무인비행체(100)와, 촬영된 초분광영상의 정확도를 향상시키기 위한 처리가 수행되는 영상처리부(200)와, 처리된 초분광영상을 기초로 수심을 추정하는 기능이 수행되는 영상분석부(300)로 구분될 수 있다. The system in which the method according to the present invention is performed includes an unmanned aerial vehicle 100 equipped with a hyperspectral sensor 140 to capture an hyperspectral image, and an image processing unit that performs processing to improve the accuracy of the captured hyperspectral image. It may be divided into 200 and an image analysis unit 300 that performs a function of estimating water depth based on the processed hyperspectral image.

무인비행체(100)는 예를 들어 드론일 수 있으나, 지표면으로부터 근거리에서 비행하는 어떠한 형식의 비행체이어도 무방하다. The unmanned aerial vehicle 100 may be, for example, a drone, but may be any type of aircraft flying at a short distance from the surface.

무인비행체(100)는, 자이로 센서와 가속도 센서가 있어 움직임의 반대 방향으로 카메라(130) 등을 이동시킬 수 있는 짐벌(110), 짐벌(110)에 구비되어 충격을 흡수하는 완충기(120), 초분광센서(140)가 탑재된 카메라(130), 및 초분광센서(140)에서 획득된 초분광정보를 영상처리부(200)에 전송할 수 있는 통신부(150)를 포함한다. The unmanned aerial vehicle 100 includes a gimbal 110 that has a gyro sensor and an acceleration sensor to move the camera 130 in the opposite direction of movement, a shock absorber 120 provided in the gimbal 110 to absorb shock, It includes a camera 130 on which the hyperspectral sensor 140 is mounted, and a communication unit 150 capable of transmitting the hyperspectral information obtained from the hyperspectral sensor 140 to the image processing unit 200.

짐벌(110)은 확보 가능한 어떠한 구조의 짐벌을 사용하여도 무방하나, 무게를 고려하여, 4축 또는 5축 짐벌보다는 1, 2, 3축 짐벌이 바람직하다. 다만, 1, 2, 3축 짐벌이 갖는 흔들림 보정의 한계는 완충기(120)의 보상으로 극복할 수 있다. The gimbal 110 may use any structure that can be secured, but in consideration of weight, 1, 2, or 3 axis gimbal is preferable to a 4 axis or 5 axis gimbal. However, the limitation of shake correction of the 1st, 2nd, and 3rd axis gimbal can be overcome by compensation of the shock absorber 120.

또한, 무인비행체(100)에는 위치 정보를 확인하기 위한 GPS 센서가 더 포함될 수 있다. In addition, the unmanned aerial vehicle 100 may further include a GPS sensor for checking location information.

이러한 무인비행체(100)의 예시가 도 4에 도시된다. An example of such an unmanned aerial vehicle 100 is shown in FIG. 4.

영상처리부(200)는 통신모듈(210), 비행경로 설정모듈(220), 촬영영상 입력모듈(230), 정규화 수행모듈(240), 기하보정 수행모듈(250), 영상정합 수행모듈(260) 및 초분광영상 출력 모듈(270)을 포함한다. The image processing unit 200 includes a communication module 210, a flight path setting module 220, a photographed image input module 230, a normalization module 240, a geometric correction module 250, and an image matching module 260. And a hyperspectral image output module 270.

통신모듈(210)은 무인비행체(100)의 통신부(150)와 유선 또는 무선으로 통신하여, 촬영영상 입력모듈(230)이 초분광센서(140)에서 획득되는 초분광정보를 수신하도록 한다. 수신하는 정보에는, 위치 정보가 포함될 수도 있다. The communication module 210 communicates with the communication unit 150 of the unmanned aerial vehicle 100 by wire or wirelessly, so that the photographed image input module 230 receives the hyperspectral information obtained from the hyperspectral sensor 140. The information to be received may include location information.

비행경로 설정모듈(220)은 초분광정보를 수집하고자 하는 수집영역을 기초로 하여, 그 영상을 확보하기 위한 무인비행체(100)의 비행경로를 설정하는 기능을 수행한다. The flight path setting module 220 performs a function of setting the flight path of the unmanned aerial vehicle 100 to secure the image based on the collection area to which the hyperspectral information is to be collected.

정규화 수행모듈(240)은, 확보된 초분광정보의 정규화 기능을 수행한다. 모든 기하학적 변환에서, 회전, 크기, 평행성 보존 등은 원점(0, 0)을 기준으로 발생하기에, 각 영상에 존재하는 XY 좌표의 각 순서쌍의 정규화가 필요하다. The normalization execution module 240 performs a normalization function of the secured hyperspectral information. In all geometric transformations, rotation, size, and preservation of parallelism occur with respect to the origin (0, 0), so it is necessary to normalize each ordered pair of XY coordinates present in each image.

기하보정 수행모듈(250)은, 확보된 초분광정보에서 지면의 굴곡 등 기하학적 조건에 의한 왜곡을 보상하기 위한 기하보정을 수행한다.The geometric correction performance module 250 performs geometric correction to compensate for distortion caused by geometric conditions such as a curvature of the ground from the obtained hyperspectral information.

영상정합 수행모듈(260)은, 확보된 다수의 초분광정보를 정합하는 기능을 수행한다. 이를 위하여, 적분영상 연산모듈(261) 및 대응점 확인모듈(262)이 구비된다.The image matching module 260 performs a function of matching a plurality of secured hyperspectral information. To this end, an integral image calculation module 261 and a correspondence point confirmation module 262 are provided.

초분광영상 출력 모듈(270)은, 정규화되고, 기하보정되고, 영상정합된 최종 결과물로서 획득된 초분광영상을 출력하는 기능을 수행한다.The hyperspectral image output module 270 performs a function of outputting a hyperspectral image obtained as a normalized, geometrically corrected, and image-matched final result.

각 모듈의 구체적인 기능 수행 방법은 후술한다.A method of performing specific functions of each module will be described later.

영상분석부(300)는, 초분광 관측값 입력모듈(310), 밴드비 연산모듈(320), 회귀분석모듈(330), 회귀식 결정모듈(340) 및 관측값 추정모듈(350)을 포함한다. The image analysis unit 300 includes a hyperspectral observation value input module 310, a band ratio calculation module 320, a regression analysis module 330, a regression equation determination module 340, and an observation value estimation module 350. do.

초분광 관측값 입력모듈(310)은, 미리 결정된 다수의 지점에 대한 실재 초분광 관측값인 수심(이하, '수심 관측값'이라 지칭함)을 입력하는 기능을 수행한다. 즉, 초분광영상에서 확보되는 촬영값과 상관관계를 확인하기 위한 실재의 수심이 입력되는 것이다. The hyperspectral observation value input module 310 performs a function of inputting a depth (hereinafter referred to as “depth observation value”), which is an actual hyperspectral observation value for a plurality of predetermined points. That is, the actual depth of water to check the correlation with the photographed value secured in the hyperspectral image is input.

밴드비 연산모듈(320)은, 영상처리부(200)로부터의 초분광영상에서 확보되는 촬영값(예를 들어, 화소값)을 통해 밴드비를 연산한다. The band ratio calculation module 320 calculates a band ratio using a photographing value (eg, a pixel value) secured from the hyperspectral image from the image processing unit 200.

회귀분석모듈(330)은, 수심 관측값과 밴드비의 회귀분석을 수행하여 회귀식을 연산한다. The regression analysis module 330 calculates a regression equation by performing a regression analysis of the observed depth value and the band ratio.

회귀식 결정모듈(340)은, 다수의 회귀식이 상관관계를 연산하여, 가장 상관성이 높은 회귀식을 결정하고, 이를 통해 최적의 밴드비를 결정하는 기능을 수행한다. The regression equation determination module 340 performs a function of determining a regression equation having the highest correlation by calculating a correlation between a plurality of regression equations, and determining an optimal band ratio through this.

관측값 추정모듈(350)은, 회귀식 결정모듈(340)에서 결정된 회귀식을 이용하여, 특정 초분광영상이 입력된 경우(즉, 임의의 밴드비가 입력된 경우), 이를 기반으로 관측값인 실재 수심을 추정하고, 이를 토대로 실재 물체를 식별하는 기능을 수행한다.Observation value estimation module 350, using the regression equation determined in the regression equation determination module 340, when a specific hyperspectral image is input (that is, when an arbitrary band ratio is input), based on the observation value It estimates the actual depth and identifies the actual object based on this.

각 모듈의 구체적인 기능 수행 방법은 후술한다.A method of performing specific functions of each module will be described later.

방법의 설명Description of the method

본 발명에 따른 방법을 설명한다. 도 2를 참조한 영상 처리 방법과 도 3을 참조한 영상 분석 방법으로 구분하여 설명한다.The method according to the invention will be described. An image processing method with reference to FIG. 2 and an image analysis method with reference to FIG. 3 will be described.

먼저, 도 2 및 도 5 내지 도 10을 참조하여 영상 처리 방법을 설명한다. First, an image processing method will be described with reference to FIGS. 2 and 5 to 10.

비행경로 설정모듈(220)이, 수집영역을 이용하여 무인비행체(100)의 비행경로를 설정한다(S110). 수집영역은 수심을 추정하고자 하는 수체 및 그 주변의 영역일 것이다. 초분광센서(140)가 라인 스캐닝을 수행하는바, 도 5에 도시된 바와 같이, 초분광정보를 획득하고자 하는 대상인 수집영역(collection area)에 대하여, 무인비행체(100)의 화각(angle of view)을 고려하여, 무인비행체(100)의 비행 경로(flight path)가 설정된다. 그 설정 방법은, 종래 기술에 따른 어떠한 것이어도 무방한바, 구체적인 설명은 생략한다.The flight path setting module 220 sets the flight path of the unmanned aerial vehicle 100 using the collection area (S110). The collection area will be the water body for which the water depth is to be estimated and the area around it. When the hyperspectral sensor 140 performs line scanning, as shown in FIG. 5, the angle of view of the unmanned aerial vehicle 100 with respect to a collection area that is a target for obtaining hyperspectral information ) In consideration, the flight path of the unmanned aerial vehicle 100 is set. The setting method may be any according to the prior art, and a detailed description thereof will be omitted.

다음, 무인비행체(100)가, 상기 설정된 비행경로를 따라 비행하면서, 초분광 센서(140)를 이용하여, 라인 스캐닝을 통해, 기 설정된 영상 단위마다 초분광정보를 획득한다(S120). 여기서의 영상 단위는 카메라(130) 또는 초분광 센서(140)의 특성에 따라 제조사에서 미리 설정된 것으로, 각 특성에 따라 상이한 방식으로 초분광정보가 획득될 수 있다. Then, while flying along the set flight path, the unmanned aerial vehicle 100 acquires hyperspectral information for each preset image unit through line scanning using the hyperspectral sensor 140 (S120). Here, the image unit is preset by a manufacturer according to the characteristics of the camera 130 or the hyperspectral sensor 140, and hyperspectral information may be obtained in a different manner according to each feature.

이와 같은 방법으로 확인된 초분광정보에 대하여, 기하보정이 이루어지고(S140), 영상정합이 이루어져서(S150), 영상 분석 대상이 되는 초분광영상이 확보된다. With respect to the hyperspectral information identified in this way, geometric correction is performed (S140), and image matching is performed (S150), so that a hyperspectral image that is an image analysis target is secured.

구체적인 방법을 설명한다. Explain a specific method.

기하보정은, 기하보정 수행모듈(250)에 의하여 이루어진다(도 6 참조). 구체적으로, 각각의 영상 단위마다 획득된 초분광정보에 대하여 각 픽셀의 위치정보를 이용하여 기하보정이 수행된다. 종래 알려진 어떠한 방법이 적용되어도 무방하다. Geometric correction is made by the geometric correction performing module 250 (see FIG. 6). Specifically, geometric correction is performed using the location information of each pixel on the hyperspectral information obtained for each image unit. Any conventionally known method may be applied.

영상정합은, 다수의 초분광정보를 일정한 기준점을 이용하여 정합하는 과정이다(도 7 참조). 다수의 초분광정보 중 적어도 2개의 쌍이 상호 일부씩 중첩되도록 촬영되는데, 소정의 기준점을 찾고, 이러한 기준점을 기초로 2개의 쌍의 초분광정보를 중첩하고, 이러한 과정이 모든 초분광정보의 각 쌍에서 반복됨으로써, 초분광영상이 획득된다. 즉, 영상정합의 기초는 2개의 초분광정보를 중첩하는 과정이다.Image registration is a process of matching a plurality of hyperspectral information using a certain reference point (see FIG. 7 ). At least two pairs of a plurality of hyperspectral information are photographed so that they partially overlap each other.A predetermined reference point is found, and two pairs of hyperspectral information are superimposed based on this reference point, and this process is performed by each pair of all hyperspectral information. By repeating at, a hyperspectral image is obtained. That is, the basis of image registration is a process of superimposing two hyperspectral information.

본 발명에서는, "대응점 추출 알고리즘"을 착안하여, 이에 따라 영상정합을 수행한다. 이는, 중첩하는 영역이 있는 2개의 초분광정보 중 어느 하나의 초분광정보에서 템플릿(template)을 추출하고, 추출된 템플릿을 다른 하나의 초분광정보에서 상관성이 가장 높은 지점을 찾음으로써, 해당 지점을 중첩의 기준의 되는 점, 즉 대응점(matching point)로 설정하는 알고리즘이다. 이를 도 8에 도시하였다. In the present invention, focusing on the "correspondence point extraction algorithm", image matching is performed accordingly. This is achieved by extracting a template from one of the two hyperspectral information with overlapping regions, and finding the point with the highest correlation from the other hyperspectral information. It is an algorithm that sets as the reference point of overlap, that is, the matching point. This is shown in Figure 8.

구체적으로, 중첩하는 영역이 있는 2개의 초분광정보(A, B)(도 8에서, image1과 image2로 표시)의 영상정합을 설명한다. Specifically, image registration of two hyperspectral pieces of information A and B with overlapping regions (indicated by image1 and image2 in Fig. 8) will be described.

먼저, 대응점 확인 모듈(262)이, 중첩하는 어느 두 개의 초분광정보(A, B)에 있어서, 어느 하나의 초분광정보(A)의 어느 하나의 픽셀의 XY 좌표(x, y) 및 해당 좌표에서의 화소값(I(x, y))에 대하여, 다른 하나의 초분광정보(B)의 어느 하나의 픽셀의 XY 좌표(x', y') 및 해당 좌표에서의 화소값(I(x', y'))의 정규상관계수(normalized correlation)를 연산한다. 이러한 과정은, 후술할 바와 같이, 초분광정보(A)의 템플릿의 모든 픽셀의 XY 좌표(x, y) 각각마다 다른 하나의 초분광정보(B)의 템플릿의 모든 픽셀의 XY 좌표(x', y')를 모두 대응시킴으로써 다수 회 이루어지게 된다. First, the correspondence point identification module 262, in any two superspectral information (A, B) overlapping, the XY coordinates (x, y) of any one pixel of any one hyperspectral information (A), and the corresponding For the pixel value (I(x, y)) at the coordinates, the XY coordinates (x', y') of any one pixel of the other hyperspectral information (B) and the pixel value (I( Calculate the normalized correlation of x', y')). This process, as described later, is the XY coordinates (x') of all pixels of the template of the hyperspectral information (B), which are different for each of the XY coordinates (x, y) of all pixels of the template of the hyperspectral information (A). , y') are all matched to achieve multiple times.

일반적인 정규상관계수를 연산하는 식은 아래의 수학식 1과 같으나, 본 발명에서는 보다 높은 정확도를 확보하기 위하여, 화소값을 더 이용한 수학식 2를 사용한다. The general formula for calculating the normal correlation coefficient is the same as Equation 1 below, but in the present invention, in order to secure higher accuracy, Equation 2 using more pixel values is used.

Figure 112019000704476-pat00001
Figure 112019000704476-pat00001

Figure 112019000704476-pat00002
Figure 112019000704476-pat00002

초분광정보(A)의 XY좌표는 (x, y)로 표현되고, 초분광정보(B)의 XY좌표는 (x', y')로 표현된다. 상부 바는 평균값을 의미한다(이는 이하의 모든 수식에서 동일하다). n은 총 화소의 수, I(x, y)는 XY 좌표 상 (x, y)에 해당하는 화소값이며, 초분광정보(A)의 화소값이 I1으로 표현되고 초분광정보(B)의 화소값이 I2로 표현된다. W는 템플릿의 가로 화소 크기, H는 템플릿의 세로 화소 크기이다. The XY coordinates of the hyperspectral information (A) are expressed as (x, y), and the XY coordinates of the hyperspectral information (B) are expressed as (x', y'). The top bar means the average value (this is the same for all formulas below). n is the total number of pixels, I(x, y) is the pixel value corresponding to (x, y) in the XY coordinates, the pixel value of the hyperspectral information (A) is expressed as I 1 and the hyperspectral information (B) The pixel value of is represented by I 2 . W is the horizontal pixel size of the template, and H is the vertical pixel size of the template.

이와 같은 방식으로, 템플릿 상의 모든 픽셀 좌표마다 정규상관계수를 연산하고, 이를 XY좌표로 표현하면, 도 8의 우하단에 도시된 바와 같은 상관계수 맵(correlation map)을 산정할 수 있다. 상관계수 맵에서 최대값을 가지는 위치, 즉, 정규상관계수의 값이 큰 지점의 XY좌표를 상기 두 개의 초분광정보(A, B)의 대응점으로 확인하게 된다. In this way, if the normal correlation coefficient is calculated for every pixel coordinate on the template and expressed as XY coordinates, a correlation map as shown in the lower right corner of FIG. 8 can be calculated. In the correlation coefficient map, the XY coordinate of the location having the maximum value, that is, the point where the value of the normal correlation coefficient is large, is identified as the corresponding point of the two hyperspectral information (A, B).

이제, 영상정합 수행모듈(260)은 대응점을 기준으로 두 개의 초분광정보(A, B)를 영상 정합하게 된다. Now, the image matching module 260 performs image matching of the two hyperspectral information A and B based on the corresponding point.

영상정합 수행모듈(260)은 이러한 과정을 각각의 영상 단위마다의 모든 초분광정보의 각 쌍마다 수행하여 영상정합을 수행하며, 이를 통해 모든 촬영 영상들이 정합된 초분광영상이 획득된다. The image matching module 260 performs image registration by performing this process for each pair of all hyperspectral information for each image unit, and through this, a hyperspectral image in which all captured images are matched is obtained.

다만, 이 경우 상당히 많은 연산이 수행되는바, 영상처리부(200)의 성능에 따라 연산 속도가 늦어질 수 있다. 따라서, 본 발명의 다른 실시예에서는, 보다 빠른 연산 속도를 구현하기 위해, 적분영상을 사용하여 연산량을 크게 줄인 상태에서 영상정합을 수행할 수 있다. 적분영상은 기준 좌표를 설정하고, 이를 기준으로 한 방향성을 이용하여, 각 픽셀의 화소값을 모두 합산한 후 이를 수학식 2와 같이 정규상관계수 연산에 필요한 화소값으로 사용하는 것이다. However, in this case, since a considerable number of operations are performed, the operation speed may be slowed according to the performance of the image processing unit 200. Accordingly, in another embodiment of the present invention, in order to implement a faster operation speed, image matching may be performed in a state in which the amount of calculation is greatly reduced by using an integral image. In the integrated image, a reference coordinate is set, and all pixel values of each pixel are summed using a direction based on this, and then used as a pixel value required for a normal correlation coefficient calculation as shown in Equation 2.

도 9를 참조하여, 적분영상을 사용하는 개념을 설명한다. 좌측은 일반적인 영상을 도시한다. 각 픽셀마다 기록된 숫자는 화소값이다. 우측은 좌측 영상을 이용한 적분영상을 도시한다. 여기의 적분영상에서는 좌상단의 "2"를 기준 좌표로 설정한 후, 좌측 및 하측 방향으로 각 값을 합산함으로써 형성한 적분영상이다. 예를 들어, 2번째 줄, 3번째 열의 "13"은 2+1+5+0+3+2의 값이다. With reference to FIG. 9, the concept of using the integral image will be described. The left side shows a general image. The number recorded for each pixel is a pixel value. The right side shows an integral image using the left image. In the integral image here, after setting "2" in the upper left corner as a reference coordinate, it is an integral image formed by summing each value in the left and lower directions. For example, "13" in the 2nd line and 3rd column is a value of 2+1+5+0+3+2.

만약, 해당 영상에서 가운데의 9개의 픽셀의 화소값의 합을 구하고 싶다면, 좌측의 일반적인 영상에서는 총 9번의 연산을 수행하여야 한다. 하지만, 우측의 적분영상에서는 4번의 연산을 수행하면 족하다. 즉, 적분영상을 생성하여 둠으로써, 연산량을 50% 이하로 낮추는 것이다. If you want to obtain the sum of the pixel values of the nine center pixels in the corresponding image, the general image on the left must perform a total of nine operations. However, in the integral image on the right, it is sufficient to perform four operations. In other words, by generating an integral image, the amount of computation is reduced to 50% or less.

구체적으로, 초분광영상에서 적분영상을 활용하는 방법은 아래와 같다. 먼저, 수학식 3을 이용하여 각 픽셀마다 적분영상에 의한 새로운 화소값(II(x, y))을 설정한다. Specifically, the method of using the integral image in the hyperspectral image is as follows. First, a new pixel value (II(x, y)) according to the integral image is set for each pixel using Equation 3.

Figure 112019000704476-pat00003
Figure 112019000704476-pat00003

각 기호는 수학식 2에서 밝힌 바와 같다. 이제 이를 이용하면, 수학식 2에서 설명한 정규상관계수는 수학식 4에 의하여 연산될 수 있다. Each symbol is as indicated in Equation 2. Now using this, the normal correlation coefficient described in Equation 2 can be calculated by Equation 4.

Figure 112019000704476-pat00004
Figure 112019000704476-pat00004

여기서, 분모에 사용되는 표준편차 σ의 값은 수학식 5를 통해 연산될 수 있다. I가 화소값을 의미함은 앞에서 밝힌 바와 같다. Here, the value of the standard deviation σ used for the denominator can be calculated through Equation 5. As stated above, that I means the pixel value.

Figure 112019000704476-pat00005
Figure 112019000704476-pat00005

이와 같이, 한 번 적분영상을 생성하여 두기만 하면, 수학식 3 내지 수학식 5를 이용함으로써, 매 연산마다 수학식 2의 많은 연산량을 사용할 필요가 없어지기에, 정규상관계수를 신속하게 연산할 수 있어서 바람직하다. In this way, once the integral image is created and placed, the use of Equation 3 to Equation 5 eliminates the need to use a large amount of calculation of Equation 2 for each operation, so that the normal correlation coefficient can be quickly calculated. It is preferable because it can be.

한편, 전술한 바와 같이, 모든 기하학적 변환에서, 회전, 크기, 평행성 보존 등은 원점(0, 0)을 기준으로 발생하기에, 본 발명의 일 실시예에서는, 각 영상에 존재하는 XY 좌표의 각 순서쌍의 정규화를 수행한 후, 기하보정 및 영상정합이 이루어질 수 있다. Meanwhile, as described above, in all geometric transformations, since rotation, size, and preservation of parallelism occur based on the origin (0, 0), in an embodiment of the present invention, the XY coordinates present in each image After normalization of each ordered pair is performed, geometric correction and image matching may be performed.

구체적으로, 정규화 모듈(240)은, 어느 하나의 영상 단위의 초분광정보의 픽셀의 XY 좌표들을 정수의 순서쌍(x, y)으로 설정하고, 상기 설정된 XY 좌표들의 평균 좌표를 연산하고, 상기 연산된 평균 좌표를 원점(0, 0)으로 설정하여 각 정수의 순서쌍(x, y) 사이의 단위 거리가 √2가 되도록, 상기 XY 좌표(x, y)를 정규화된 XY 좌표(x', y')로 이동시킴으로써, 상기 어느 하나의 영상 단위의 초분광정보를 정규화한다. 이러한 개념이 도 10에 도시된다. Specifically, the normalization module 240 sets the XY coordinates of the pixels of the hyperspectral information of any one image unit as an integer order pair (x, y), calculates the average coordinates of the set XY coordinates, and the calculation The XY coordinates (x, y) are normalized to the XY coordinates (x', y) so that the unit distance between the ordered pairs (x, y) of each integer is √2 by setting the average coordinates as the origin (0, 0). By moving to'), the hyperspectral information of any one image unit is normalized. This concept is illustrated in FIG. 10.

보다 구체적으로, 이러한 연산은 수학식 6을 이용할 수 있다. More specifically, this operation may use Equation 6.

Figure 112019000704476-pat00006
Figure 112019000704476-pat00006

여기서, A는 정규화하고자 하는(즉, 정규화되지 않은) 초분광정보에서의 XY 좌표이고, A'는 정규화된 XY 좌표이다. 여기서의 좌표는, 후술하는 매개변수 연산을 위해, 동차좌표계를 이용하는 것이 바람직하다. 즉, XY 좌표는 (x, y, 1)로서 행렬식 A로 지칭되고, 정규화된 이후의 XY 좌표는 (x', y', 1)로서 행렬식 A'로 지칭된다. 일종의 벡터와 같이 표현한 것으로서, 달리 표현하면, 동차좌표계 안에서 (x, y)좌표는 무수히 많은 점으로 이루어진 선으로 이해할 수 있다. Here, A is an XY coordinate in hyperspectral information to be normalized (ie, not normalized), and A'is a normalized XY coordinate. As for the coordinates here, it is preferable to use a homogeneous coordinate system for parameter calculation to be described later. That is, the XY coordinates are referred to as the determinant A'as (x, y, 1), and the XY coordinates after normalization are referred to as the determinant A'as (x', y', 1). It is expressed as a kind of vector. In other words, in the homogeneous coordinate system, the (x, y) coordinate can be understood as a line made of countless points.

H는 정규화를 위한 매개변수(h11~h33)로 구성된 행렬인 호모그래피이다. 즉, 호모그래피(H)를 연산해두면, 모든 초분광정보를 손쉽게 정규화할 수 있다. H is a homography, a matrix composed of parameters for normalization (h 11 ~ h 33 ). That is, if homography (H) is calculated, all hyperspectral information can be easily normalized.

호모그래피(H)의 연산을 위해서, 수학식 6을 이용하되, 어느 하나의 정규화된 값이 필요하다. 즉, 어느 하나의 초분광정보에 대해서는, 도 10을 참조하여 설명한 방법을 이용하여 별도로 정규화한 후, 그 값을 이용하여 호모그래피(H)를 연산하는 것이다. 예를 들어, 정규화되기 이전의 XY 좌표의 x 및 y의 순서쌍 4개를 알고, 해당 순서쌍 4개의 정규화된 값을 알 경우, 수학식 6을 이용하면, 수학식 7 및 수학식 8을 도출할 수 있으며, 이에 따라 각 매개변수(h11~h33)를 확인할 수 있다. For the calculation of homography (H), Equation 6 is used, but any one normalized value is required. That is, for any one of the hyperspectral information, after normalizing separately using the method described with reference to FIG. 10, homography H is calculated using the value. For example, if you know four ordered pairs of x and y of the XY coordinates before normalization, and the normalized values of the four ordered pairs are known, Equation 7 and Equation 8 can be derived by using Equation 6 And, accordingly, each parameter (h 11 ~ h 33 ) can be checked.

Figure 112019000704476-pat00007
Figure 112019000704476-pat00007

Figure 112019000704476-pat00008
Figure 112019000704476-pat00008

수학식 8에 의하여 호모그래피(H)가 연산되면, 이제 모든 초분광영상의 모든 픽셀의 XY 좌표를 수학식 6에 대입함으로써, 별도로 정규화된 값을 연산할 필요도 없이, 작은 연산량만으로 정규화가 가능하다. When homography (H) is calculated by Equation 8, now, by substituting the XY coordinates of all pixels of all hyperspectral images into Equation 6, normalization can be performed with only a small amount of calculation without the need to separately calculate the normalized value. Do.

이와 같이, 호모그래피(H)가 있다는 것은, 대응점 사이의 좌표 변화만 가능한 것뿐만 아니라 2개의 초분광정보의 좌표계에 존재하는 모든 점을 서로 변환 가능한 것을 의미한다. 따라서, 2개의 초분광정보 중 어느 하나의 초분광정보를 기준으로 나머지 다른 초분광정보를 정규화하여 좌표 변환을 실시하면 두 초분광영상은 동일 좌표계로 이동하게 된다. In this way, the presence of homography H means that not only coordinate changes between corresponding points are possible, but also all points existing in the coordinate system of the two hyperspectral information can be converted to each other. Therefore, when coordinate transformation is performed by normalizing the other hyperspectral information based on any one of the two hyperspectral information, the two hyperspectral images are moved to the same coordinate system.

다음, 도 3 및 도 11 내지 도 16을 참조하여 영상 분석 방법을 설명한다. Next, an image analysis method will be described with reference to FIGS. 3 and 11 to 16.

전술한 영상 처리 방법이 수행된 초분광영상이 확보된 상태이다. 또한, 수심 추정을 위해, 미리 결정된 다수의 지점마다 각각의 초분광 관측값인 수심 관측값(Y)이 별도로 확인되어 있어야 한다(S210). 즉, 초분광 관측값 입력모듈(310)에 미리 결정된 다수의 지점 각각의 수심 관측값(Y)이 입력된 것이다. 여기서, 회귀분석의 정확도를 위하여, 수심 관측값(Y)이 확인되는 지점은 다수일수록 바람직하다.The hyperspectral image in which the above-described image processing method has been performed is secured. In addition, in order to estimate the depth, the depth observation value Y, which is each hyperspectral observation value, must be separately confirmed for each of a plurality of predetermined points (S210). That is, the depth observation value Y of each of a plurality of predetermined points is input to the hyperspectral observation value input module 310. Here, for the accuracy of the regression analysis, it is preferable that the number of points at which the observed depth value (Y) is confirmed is larger.

다음, 촬영영상 입력모듈(210)에는 초분광정보를 갖는 촬영영상이 입력되고, 수심 관측값이 입력되었던 미리 결정된 다수의 지점 각각에서 다수의 파장(x)에 대한 화소값인 초분광 촬영값(I(x))이 확인된다(S220). Next, a photographed image having hyperspectral information is input to the photographed image input module 210, and a hyperspectral photographing value (which is a pixel value for a plurality of wavelengths x) at each of a plurality of predetermined points where the depth observation value was inputted ( I(x)) is confirmed (S220).

다음, 밴드비 연산모듈(320)이, 초분광 촬영값에 포함된 다수의 파장(x) 중 임의의 2개의 파장의 쌍(λ1, λ2)을 선택하고, 각각에 대한 초분광 촬영값(I(λ1), I(λ2))을 확인한다(S230). 이 때에, 확인된 2개의 초분광 촬영값(I(λ1), I(λ2))에서 어느 하나를 다른 하나로 나누어 밴드비(X)를 연산한다(S240)(도 11 참조). 이를 수식으로 표현하면, 아래의 수학식 9와 같다. Next, the band ratio calculation module 320 selects a pair of arbitrary two wavelengths (λ 1 , λ 2 ) among a plurality of wavelengths (x) included in the hyperspectral photographing value, and hyperspectral photographing values for each (I(λ 1 ), I(λ 2 )) is checked (S230). At this time, the band ratio X is calculated by dividing any one of the identified two hyperspectral photographing values I(λ 1 ) and I(λ 2 ) by the other (S240) (see FIG. 11). If this is expressed by an equation, it is shown in Equation 9 below.

Figure 112019000704476-pat00009
Figure 112019000704476-pat00009

달리 표현하면, 어느 하나의 지점마다 밴드비가 연산되어 수심 관측값(Y)과 밴드비(X)가 확인되는데, 다수의 지점마다 각각 개별적으로 수행되는 것이다.In other words, the band ratio is calculated for each point to confirm the depth observation value (Y) and the band ratio (X), which are performed individually for each of the plurality of points.

다음, 회귀분석모듈(330)이, 수심 관측값(Y)과 연산된 밴드비(X)가 선형관계에 있음을 가정하고, 다수의 지점 각각에서 S210 단계에서 확인된 수심 관측값(Y)과 S240 단계에서 연산된 밴드비(X)를 이용함으로써, 회귀식(Y=aX+b)의 a와 b를 연산하여, 회귀식(Y=aX+b)을 생성한다(S250). 여기서 a를 연산하는 구체적인 수식은 아래의 수학식 10과 같으며, a의 값이 연산되면 b의 값은 당연히 연산된다. n은 수심 관측값의 개수이며, X는 밴드비이고, Y는 수심 관측값이다. Next, the regression analysis module 330 assumes that the observed depth value (Y) and the calculated band ratio (X) are in a linear relationship, and the observed depth value (Y) identified in step S210 at each of a plurality of points By using the band ratio X calculated in step S240, a and b of the regression equation (Y=aX+b) are calculated to generate a regression equation (Y=aX+b) (S250). Here, a specific formula for calculating a is the same as in Equation 10 below, and when the value of a is calculated, the value of b is naturally calculated. n is the number of depth observations, X is the band ratio, and Y is the depth observation.

Figure 112019000704476-pat00010
Figure 112019000704476-pat00010

도 12는 그 예시를 도시한다. 여기에는, 5개의 지점(P1, P2, P3, P4, P5)(즉,n=5)에서의 밴드비(X)와 수심 관측값(Y)을 이용하여 연산된 회귀식이 우측 하단에 도시된다.12 shows an example. Here, a regression equation calculated using the band ratio (X) at five points (P1, P2, P3, P4, P5) (i.e., n=5) and the observed depth value (Y) is shown in the lower right. .

한편, 이러한 과정은 S230 단계에서 선택된 2개의 파장을 변경하면서 각각의 쌍에 대하여 이루어질 수 있다. 미리 결정된 지점이 동일하고, 각 지점에서의 수심 관측값(Y)이 동일하더라도, 2개의 파장을 다르게 선택하면, 최종 연산되는 회귀식은 다르게 된다. Meanwhile, this process may be performed for each pair while changing the two wavelengths selected in step S230. Even if the predetermined points are the same and the observed depth values Y at each point are the same, if two wavelengths are selected differently, the final calculated regression equation is different.

구체적으로, 회귀분석모듈(330)이, 먼저 선택된 2개의 파장의 쌍을 제외한 다른 임의의 파장을 선택하여, 이에 대한 초분광 촬영값을 확인하고, S240 내지 S250 단계를 반복하여, 다수의 회귀식을 생성한다(S260).Specifically, the regression analysis module 330 first selects an arbitrary wavelength other than the selected pair of two wavelengths, checks the hyperspectral photographing value for this, and repeats the steps S240 to S250, a plurality of regression equations Generates (S260).

다음, 회귀식 결정모듈(340)이, 생성된 다수의 회귀식의 상관계수를 각각 연산하고, 그 중에서 상관계수가 가장 높은 회귀식을 선택한다(S270). 이 때에 선택된 회귀식에 사용된 밴드비(X)에 적용된 2개의 파장을, 최적 밴드비 파장의 쌍으로 결정된다. Next, the regression equation determination module 340 calculates the correlation coefficients of the plurality of generated regression equations, and selects a regression equation having the highest correlation coefficient among them (S270). At this time, the two wavelengths applied to the band ratio (X) used in the selected regression equation are determined as a pair of optimal band ratio wavelengths.

예를 들어, 초분광정보에 포함된 파장의 개수가 N개라면, 2개의 파장의 쌍의 개수는 그 조합(combination)에 의하여 NC2개이므로, 해당 개수만큼 회귀식과 상관계수가 연산되어, 최적의 회귀식과 밴드비와 그 파장이 연산될 것이다.For example, if the number of wavelengths included in the hyperspectral information is N, the number of pairs of two wavelengths is N C 2 due to the combination, so the regression equation and the correlation coefficient are calculated as much as the number, The optimal regression equation and band ratio and their wavelength will be calculated.

한편, 이러한 방식은 상관계수 맵을 이용하여 이루어질 수 있다. 상관계수 맵의 예시가 도 13에 도시된다(이는, 도 8에 설명된 영상 처리 방법의 상관계수 맵에 적용된 수치와 다른 개념이 적용된 것임에 주의한다). 여기에는, 회귀식 결정모듈(340)이, 생성된 다수의 회귀식에 대한 상관계수를 연산하되, 2개의 파장의 쌍에서 어느 하나의 파장을 X축으로 하고 다른 하나의 파장을 Y축으로 하여 생성한 상관계수 맵이 도시된다.Meanwhile, this method can be achieved using a correlation coefficient map. An example of the correlation coefficient map is shown in FIG. 13 (note that this is a concept different from the numerical value applied to the correlation coefficient map of the image processing method described in FIG. 8). Here, the regression equation determination module 340 calculates correlation coefficients for a plurality of generated regression equations, but in the pair of two wavelengths, one wavelength is the X axis and the other wavelength is the Y axis. The generated correlation coefficient map is shown.

다음, 회귀식 결정모듈(340)은 상관계수 맵을 이용하여 상관계수가 가장 높은 지점을 결정하고, 해당 지점을 구성하는 각각의 파장을 상기 최적 밴드비 파장의 쌍으로 결정하게 된다.Next, the regression equation determination module 340 determines a point having the highest correlation coefficient using the correlation coefficient map, and determines each wavelength constituting the point as a pair of the optimal band ratio wavelengths.

도 14에는 이러한 방식을 자동화하는 개념이 도시된다. 분광특성인 파장마다의 촬영값을 추출하고, 이를 통해 각각의 밴드비를 산정하고, 수심 관측값을 이용하여 회귀분석하면, 상관계수 맵이 생성되며, 각 파장의 쌍마다 상관계수를 연산함으로써, 최적 밴드비 파장과 최적 회귀식이 결정된다.Fig. 14 shows the concept of automating this approach. By extracting the photographed value for each wavelength, which is a spectral characteristic, each band ratio is calculated through this, and by regression analysis using the depth observation value, a correlation coefficient map is generated, and by calculating the correlation coefficient for each pair of wavelengths, The optimal band ratio wavelength and the optimal regression equation are determined.

도 15는 이를 구현한 프로그램의 출력 화면을 도시한다. 우측의 상관계수 맵이 도시되며, 그 아래에는 각 파장에 대한 상관계수 및 회귀식이 자동으로 연산됨을 확인할 수 있다. 15 shows an output screen of a program implementing this. The correlation coefficient map on the right is shown, and it can be seen that the correlation coefficient and regression equation for each wavelength are automatically calculated below it.

이와 같은 과정을 통하여, 최적의 회귀식과 최적의 밴드비가 결정되면, 수심 관측값이 없는 위치에서도 초분광영상에 포함된 초분광정보의 파장과 촬영값만으로도 수심 관측값을 추정할 수 있다. Through such a process, when the optimum regression equation and the optimum band ratio are determined, the depth observation value can be estimated using only the wavelength and photographing value of the hyperspectral information included in the hyperspectral image even at a position where there is no depth observation value.

예를 들어, 관측값 추정모듈(350)이, 초분광영상에 포함된 촬영값 중에서 최적 밴드비 파장의 쌍에 해당하는 2개의 초분광 촬영값을 확인하여 밴드비를 연산하면, 이를 최적의 회귀식에 입력하여 해당 지점의 수심 관측값을 높은 정확도로 추정할 수 있는 것이다.For example, when the observation value estimation module 350 calculates a band ratio by checking two hyperspectral photographing values corresponding to a pair of optimal band ratio wavelengths among photographed values included in the hyperspectral image, it is optimally regressed. By inputting it into the equation, you can estimate the depth observation at that point with high accuracy.

한편, 본 발명의 일 실시예에서는, 최종 결과물인 수심 관측값이 식생 등으로 인하여 왜곡되는 현상을 방지하기 위한 단계를 더 포함할 수 있다. 이를 위하여 관측값 추정모듈(350)이 초분광영상에서 근적외선(NIR)에 해당하는 파장에 대한 빛의 세기를 이용하여 정규식생지수(NDWI)를 연산하고, 연산된 정규식생지수(NDWI)가 0보다 작은 경우 수체로 판단하지 않는다(즉, 식생 등으로 판단한다). 이 경우, 프로그램 상에서 수심이 0인 것, 또는 수체가 아닌 것으로 출력할 수 있다. On the other hand, in an embodiment of the present invention, a step of preventing a phenomenon in which the depth observation value, which is the final result, is distorted due to vegetation or the like may be further included. To this end, the observation value estimation module 350 calculates a normal vegetation index (NDWI) by using the intensity of light for a wavelength corresponding to the near infrared (NIR) in the hyperspectral image, and the calculated normal vegetation index (NDWI) is 0. If it is smaller, it is not judged as a water body (ie, it is judged as vegetation, etc.). In this case, it is possible to output that the water depth is 0 or not the water body in the program.

정규식생지수(NDWI)는 아래의 수식으로 연산된다. 여기에서, NIR은 초분광영상의 초분광정보에 포함된 값 중 근적외선에 해당하는 파장에서의 빛의 세기이고, Green은 초분광영상의 초분광정보에 포함된 값 중 녹색에 해당하는 파장에서의 빛의 세기이다. The regular vegetation index (NDWI) is calculated by the following formula. Here, NIR is the intensity of light at a wavelength corresponding to near-infrared rays among the values included in the hyperspectral information of the hyperspectral image, and Green is the intensity at the wavelength corresponding to green among the values included in the hyperspectral information of the hyperspectral image. It is the intensity of light.

Figure 112019000704476-pat00011
Figure 112019000704476-pat00011

위의 수학식 11로 연산된 값인 정규식생지수(NDWI)는 -1 내지 1의 범위에서 값을 갖게 된다. 정규식생지수(NDWI)가 0 이상일 경우 수체로 판단하여, 앞선 단계에서 추정된 수심 관측값을 그대로 출력하면 되나, 0보다 작은 경우라면 수체가 아닌 것으로 판단하여 수심을 0으로 출력하거나 수체가 아닌 것으로 출력한다. 즉, 식생 등에 의한 왜곡으로 수심이 일정 부분 연산되었던 것을 보상하는 것이다.The regular expression index (NDWI), which is the value calculated by Equation 11 above, has a value in the range of -1 to 1. If the normal vegetation index (NDWI) is more than 0, it is determined as a water body, and the estimated depth observation value in the previous step can be output as it is, but if it is less than 0, it is determined that it is not a water body and the depth is output as 0 or is not a water body. Print. In other words, it compensates for the fact that the water depth was partially calculated due to distortion caused by vegetation and the like.

이러한 단계를 수행함으로써, 수심 관측값 추정 정확도가 더욱 상승할 수 있다. By performing these steps, the accuracy of estimating depth observation values can be further increased.

도 16의 좌측은 일반적인 카메라에 의하여 촬영된 영상을 도시하고, 우측은 본 발명에 따른 방법이 수행된 결과물을 도시한다. 정규식생지수(NDWI)의 활용으로 수체인 부분(청색 부분)과 아닌 부분이 구분되었으며, 수체인 부분에서는 회귀식을 이용한 추정 방법에 의하여, 높은 정확도로 각 지점들의 모든 수심이 빠짐없이 연산되었다. 이를 실재 데이터와 비교하여, 본 발명에 따른 방법의 정확도가 높음을 검증할 수 있었다. The left side of FIG. 16 shows an image captured by a general camera, and the right side shows the result of performing the method according to the present invention. By using the regular vegetation index (NDWI), the water chain part (blue part) and the non-water chain part were distinguished, and in the water chain part, all depths of each point were calculated with high accuracy by an estimation method using a regression equation. By comparing this with actual data, it was possible to verify that the accuracy of the method according to the present invention is high.

이상, 본 명세서에는 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 도면에 도시한 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당업자라면 본 발명의 실시예로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 보호범위는 특허청구범위에 의해서 정해져야 할 것이다.In the above, the present specification has been described with reference to the embodiments shown in the drawings so that those skilled in the art can easily understand and reproduce the present invention, but this is only exemplary, and those skilled in the art can use various modifications and equivalents from the embodiments of the present invention. It will be appreciated that embodiments are possible. Therefore, the scope of protection of the present invention should be determined by the claims.

100: 무인비행체
110: 짐벌
120: 완충기
130: 카메라
140: 초분광 센서
150: 통신부
200: 영상처리부
210: 통신모듈
220: 비행경로 설정모듈
230: 촬영영상 입력모듈
240: 정규화 수행모듈
250: 기하보정 수행모듈
260: 영상정합 수행모듈
261: 적분영상 연산모듈
262: 대응점 확인모듈
270: 초분광영상 출력모듈
300: 영상분석부
310: 초분광 관측값 입력모듈
320: 밴드비 연산모듈
330: 회귀분석모듈
340: 회귀식 결정모듈
350: 관측값 추정모듈
100: unmanned vehicle
110: Gimbal
120: shock absorber
130: camera
140: hyperspectral sensor
150: communication department
200: image processing unit
210: communication module
220: flight path setting module
230: photographed image input module
240: normalization execution module
250: geometric correction performance module
260: image matching module
261: integral image operation module
262: correspondence point confirmation module
270: hyperspectral image output module
300: image analysis unit
310: Hyperspectral observation value input module
320: band ratio calculation module
330: regression analysis module
340: regression determination module
350: observation value estimation module

Claims (13)

(a) 무인비행체(100)가, 설정된 비행경로를 따라 비행하면서, 초분광 센서(140)를 이용하여, 라인 스캐닝(line scanning)을 통해, 기 설정된 영상 단위마다 초분광정보를 획득하는 단계;
(b) 기하보정 수행모듈(250)이, 상기 각각의 영상 단위마다 획득된 초분광정보에 대하여 각 픽셀의 위치정보를 이용하여 기하보정을 수행하는 단계;
(c) 영상정합 수행모듈(260)이, 상기 기하보정이 수행된, 상기 각각의 영상 단위마다 획득된 초분광정보를 정합하여, 초분광정보를 획득하고자 하는 대상인 수집영역의 초분광영상을 획득하는 단계;
(d) 초분광 관측값 입력모듈(310)에 미리 결정된 다수의 지점 각각의 수심 관측값(Y)이 입력되는 단계;
(e) 밴드비 연산모듈(320)이, 상기 미리 결정된 다수의 지점 각각에서, 상기 (c) 단계에서 획득된 초분광영상으로부터 다수의 파장(x)에 대한 화소값인 초분광 촬영값(I(x))을 확인하고, 초분광 촬영값에 포함된 다수의 파장(x) 중 임의의 2개의 파장의 쌍(λ1, λ2)을 선택하여, 각각에 대한 초분광 촬영값(I(λ1), I(λ2))을 확인하는 단계;
(f) 상기 밴드비 연산모듈(320)이, 상기 확인된 2개의 초분광 촬영값(I(λ1), I(λ2))에서 어느 하나를 다른 하나로 나누어 밴드비(band ratio)(X)를 연산하는 단계; 및
(g) 회귀분석모듈(330)이, 상기 수심 관측값(Y)과 상기 연산된 밴드비(X)가 선형관계에 있음을 가정하고, 상기 다수의 지점에서의 상기 수심 관측값(Y)과 상기 연산된 밴드비(X)를 이용하여, 회귀식(Y=aX+b)의 a와 b를 연산함으로써, 회귀식(Y=aX+b)을 생성하는 단계를 포함하며,
상기 생성된 회귀식을 이용하여 초분광영상으로부터 수심을 추정하는,
초분광영상을 이용한 수심 추정 방법.
(a) the unmanned aerial vehicle 100, while flying along a set flight path, using the hyperspectral sensor 140 to obtain hyperspectral information for each preset image unit through line scanning;
(b) performing, by the geometric correction module 250, performing geometric correction on the hyperspectral information obtained for each image unit by using position information of each pixel;
(c) The image matching module 260 acquires a hyperspectral image of a collection area to which the hyperspectral information is to be acquired by matching the hyperspectral information obtained for each image unit on which the geometric correction has been performed. Step to do;
(d) inputting a depth observation value (Y) of each of a plurality of predetermined points into the hyperspectral observation value input module 310;
(e) The band ratio calculation module 320, at each of the plurality of predetermined points, from the hyperspectral image obtained in step (c), the hyperspectral photographing value (I), which is a pixel value for a plurality of wavelengths (x). (x)), select an arbitrary pair of two wavelengths (λ 1 , λ 2 ) among a number of wavelengths (x) included in the hyperspectral photographing value, and select the hyperspectral photographing value (I( determining λ 1 ), I(λ 2 ));
(f) The band ratio calculation module 320 divides any one of the identified two hyperspectral photographing values (I(λ 1 ), I(λ 2 )) into the other and divides the band ratio (X Calculating ); And
(g) The regression analysis module 330 assumes that the depth observation value (Y) and the calculated band ratio (X) are in a linear relationship, and the depth observation value (Y) at the plurality of points and And generating a regression equation (Y=aX+b) by calculating a and b of a regression equation (Y=aX+b) using the calculated band ratio (X),
Estimating the depth of water from the hyperspectral image using the generated regression equation,
Depth estimation method using hyperspectral images.
제 1 항에 있어서,
상기 (g) 단계 이후,
(h) 상기 회귀분석모듈(330)이, 상기 초분광 촬영값에 포함된 상기 다수의 파장 중 상기 (e) 단계에서의 2개의 파장의 쌍을 제외한 다른 임의의 파장을 선택하여, 이에 대한 초분광 촬영값을 확인하고, 상기 (f) 내지 (g) 단계를 반복함으로써, 다수의 2개의 파장의 쌍마다 각각 회귀식을 생성하는 단계;
(i) 회귀식 결정모듈(340)이, 상기 생성된 다수의 회귀식 중 상기 밴드비(X)와 상기 수심관측값(Y) 사이의 상관계수(correlation)가 가장 높은 회귀식을 선택하는 단계;
(j) 상기 회귀식 결정모듈(340)이, 상기 (g) 단계에서 선택된 회귀식에 사용된 밴드비(X)에 적용된 2개의 파장을, 최적 밴드비 파장의 쌍으로 결정하는 단계를 더 포함하며,
상기 선택된 회귀식을 이용하여 초분광영상으로부터 수심을 추정하는,
초분광영상을 이용한 수심 추정 방법.
The method of claim 1,
After the step (g),
(h) The regression analysis module 330 selects a wavelength other than the pair of two wavelengths in step (e) among the plurality of wavelengths included in the hyperspectral photographing value, Generating a regression equation for each of a plurality of pairs of two wavelengths by checking the spectroscopic image value and repeating steps (f) to (g);
(i) selecting, by the regression equation determination module 340, a regression equation having the highest correlation between the band ratio (X) and the depth observation value (Y) among the plurality of generated regression equations ;
(j) further comprising the step of determining, by the regression equation determination module 340, two wavelengths applied to the band ratio (X) used in the regression equation selected in step (g) as a pair of optimal band ratio wavelengths And
Estimating the depth of water from the hyperspectral image using the selected regression equation,
Depth estimation method using hyperspectral images.
제 2 항에 있어서,
상기 (j) 단계 이후,
(k) 관측값 추정모듈(350)이, 상기 다수의 지점 이외의 지점의 초분광 촬영값에서, 상기 (j) 단계에서 결정된 최적 밴드비 파장의 쌍에 해당하는 2개의 초분광 촬영값을 확인하고, 어느 하나를 다른 하나로 나누어 해당 지점의 밴드비를 연산하는 단계; 및
(l) 상기 관측값 추정모듈(350)이, 상기 (g) 단계에서 선택된 회귀식에 상기 연산된 밴드비를 입력하여 해당 지점의 수심 관측값을 추정하는 단계를 더 포함하는,
초분광영상을 이용한 수심 추정 방법.
The method of claim 2,
After step (j),
(k) The observation value estimation module 350 checks two hyperspectral photographing values corresponding to the pair of optimal band ratio wavelengths determined in step (j) from the hyperspectral photographing values of points other than the plurality of points. And calculating a band ratio of a corresponding point by dividing one of them into the other; And
(l) the observation value estimation module 350 further comprising the step of estimating the observed depth value of the corresponding point by inputting the calculated band ratio to the regression equation selected in step (g),
Depth estimation method using hyperspectral images.
제 3 항에 있어서,
상기 (l) 단계는,
상기 관측값 추정모듈(350)이 초분광영상에서 근적외선에 해당하는 파장에 대한 빛의 세기를 이용하여 정규식생지수(NDWI)를 연산하는 단계; 및
상기 관측값 추정모듈(350)이 상기 연산된 정규식생지수(NDWI)가 0보다 작은 경우 수심을 0으로 출력하는 단계를 더 포함하는,
초분광영상을 이용한 수심 추정 방법.
The method of claim 3,
The step (l),
Calculating, by the observation value estimation module 350, a regular vegetation index (NDWI) using the intensity of light for a wavelength corresponding to near-infrared rays in the hyperspectral image; And
Further comprising the step of outputting, by the observation value estimation module 350, a water depth as 0 when the calculated regular vegetation index (NDWI) is less than 0,
Depth estimation method using hyperspectral images.
제 4 항에 있어서,
상기 정규식생지수(NDWI)는 아래의 수식으로 연산되며,
Figure 112019000704476-pat00012

여기에서, NIR은 상기 초분광정보에 포함된 값 중 근적외선에 해당하는 파장에서의 빛의 세기이고, Green은 상기 초분광정보에 포함된 값 중 녹색에 해당하는 파장에서의 빛의 세기인,
초분광영상을 이용한 수심 추정 방법.
The method of claim 4,
The regular expression index (NDWI) is calculated by the following formula,
Figure 112019000704476-pat00012

Here, NIR is the intensity of light at a wavelength corresponding to near infrared rays among values included in the hyperspectral information, and Green is the intensity of light at a wavelength corresponding to green among values included in the hyperspectral information,
Depth estimation method using hyperspectral images.
제 3 항에 있어서,
상기 (i) 단계는,
상기 회귀식 결정모듈(340)이, 상기 생성된 다수의 회귀식에 대한 상기 상관계수를 연산하여, 2개의 파장의 쌍에서 각각의 파장을 X축 및 Y축으로 하는 상관계수 맵을 생성하는 단계를 포함하고,
상기 (j) 단계는,
상기 회귀식 결정모듈(340)이, 상기 (i) 단계에서 생성된 상관계수 맵을 이용하여 상관계수가 가장 높은 지점을 결정하고, 해당 지점을 구성하는 각각의 파장을 상기 최적 밴드비 파장의 쌍으로 결정하는 단계를 포함하는,
초분광영상을 이용한 수심 추정 방법.
The method of claim 3,
The step (i),
The regression equation determination module 340, by calculating the correlation coefficients for the plurality of generated regression equations, generating a correlation coefficient map in which each wavelength is an X-axis and a Y-axis in a pair of two wavelengths. Including,
Step (j),
The regression equation determination module 340 determines a point having the highest correlation coefficient using the correlation coefficient map generated in step (i), and sets each wavelength constituting the point to the optimal band ratio wavelength pair. Including the step of determining as,
Depth estimation method using hyperspectral images.
제 1 항에 있어서,
상기 (c) 단계는,
(c11) 대응점 확인 모듈(262)이, 상기 기하 보정이 수행된 각각의 영상 단위마다 획득된 어느 두 개의 초분광정보(A, B)에 있어서, 어느 하나의 초분광정보(A)의 어느 하나의 픽셀의 XY 좌표(x, y) 및 해당 좌표에서의 화소값(I(x, y))에 대하여, 다른 하나의 초분광정보(B)의 어느 하나의 픽셀의 XY 좌표(x', y') 및 해당 좌표에서의 화소값(I(x', y'))의 정규상관계수(normalized correlation)를 연산하되, 상기 어느 하나의 초분광정보(A)의 모든 픽셀 각각에 대하여 상기 다른 하나의 초분광정보(B)의 모든 픽셀 각각의 정규상관계수를 모두 연산함으로써, 정규상관계수의 값이 큰 지점의 XY좌표를 상기 두 개의 초분광정보(A, B)의 대응점으로 확인하는 단계;
(c12) 상기 영상정합 수행모듈(260)이 상기 확인된 대응점을 기준으로 상기 두 개의 초분광정보(A, B)를 영상 정합하는 단계; 및
(c13) 상기 영상정합 수행모듈(260)이 상기 (c11) 내지 (c12) 단계를, 상기 (a) 단계에서 획득된 각각의 영상 단위마다의 초분광정보의 각 쌍마다 수행하여, 영상정합된 상기 수집영역의 초분광영상을 획득하는 단계를 포함하는,
초분광영상을 이용한 수심 추정 방법.
The method of claim 1,
The step (c),
(c11) In any two hyperspectral information (A, B) obtained for each image unit on which the geometric correction has been performed, the corresponding point identification module 262 With respect to the XY coordinates (x, y) of the pixel of and the pixel value (I(x, y)) at that coordinate, the XY coordinates (x', y) of any one pixel of the other hyperspectral information (B) ') and the normalized correlation of the pixel values (I(x', y')) at the corresponding coordinates, but the other one for each of all pixels of the one hyperspectral information (A) By calculating all of the normal correlation coefficients of each of the pixels of the hyperspectral information (B) of, confirming the XY coordinates of the point where the value of the normal correlation coefficient is large as a corresponding point of the two hyperspectral information (A, B);
(c12) image matching the two hyperspectral information (A, B) based on the identified corresponding point by the image matching module 260; And
(c13) The image matching module 260 performs steps (c11) to (c12) for each pair of hyperspectral information for each image unit acquired in step (a), and image-matched Including the step of obtaining a hyperspectral image of the collection area,
Depth estimation method using hyperspectral images.
제 7 항에 있어서,
상기 (c11) 단계 이전에,
(c21) 적분영상 연산모듈(261)이, 상기 기하 보정이 수행된 각각의 영상 단위마다 획득된 초분광정보에서, 각각의 픽셀마다, 어느 하나의 기준 좌표를 기준으로 하여 적분영상(integral image) 화소값을 연산하는 단계를 더 포함하며,
상기 (c11) 단계에서의 화소값은, 상기 (c21) 단계에서 연산된 적분영상 화소값인,
초분광영상을 이용한 수심 추정 방법.
The method of claim 7,
Before step (c11),
(c21) The integral image calculation module 261, in the hyperspectral information obtained for each image unit on which the geometric correction is performed, for each pixel, an integral image based on any one reference coordinate. Further comprising the step of calculating the pixel value,
The pixel value in step (c11) is an integral image pixel value calculated in step (c21),
Depth estimation method using hyperspectral images.
제 8 항에 있어서,
상기 (c21) 단계 이전에,
(c31) 정규화 모듈(240)이, 어느 하나의 영상 단위의 초분광정보의 픽셀의 XY 좌표들을 정수의 순서쌍(x, y)으로 설정하고, 상기 설정된 XY 좌표들의 평균 좌표를 연산하고, 상기 연산된 평균 좌표를 원점(0, 0)으로 설정하여 각 정수의 순서쌍(x, y) 사이의 단위 거리가 √2가 되도록, 상기 XY 좌표(x, y)를 정규화된 XY 좌표(x', y')로 이동시킴으로써, 상기 어느 하나의 영상 단위의 초분광정보를 정규화하는 단계를 더 포함하는,
초분광영상을 이용한 수심 추정 방법.
The method of claim 8,
Before step (c21),
(c31) The normalization module 240 sets the XY coordinates of the pixels of the hyperspectral information of any one image unit as an integer order pair (x, y), calculates the average coordinates of the set XY coordinates, and the calculation The XY coordinates (x, y) are normalized to the XY coordinates (x', y) so that the unit distance between the ordered pairs (x, y) of each integer is √2 by setting the average coordinates as the origin (0, 0). '), further comprising the step of normalizing the hyperspectral information of any one image unit,
Depth estimation method using hyperspectral images.
제 9 항에 있어서,
상기 (c31) 단계 이후,
(c32) 상기 정규화 모듈(240)이 상기 어느 하나의 초분광정보의 정규화 전 XY 좌표(x, y)와 정규화된 이후의 XY 좌표(x', y')의 값을 이용하여, 매개변수를 포함한 행렬식인 호모그래피(homography)(H)를 연산하는 단계; 및
(c33) 상기 연산된 호모그래피(H)를 이용하여, 다른 하나의 초분광정보를 정규화하는 단계를 포함하는,
초분광영상을 이용한 수심 추정 방법.
The method of claim 9,
After the step (c31),
(c32) The normalization module 240 uses the values of the XY coordinates (x, y) before normalization of any one of the hyperspectral information and the XY coordinates (x', y') after normalization to determine the parameters. Calculating a homography (H) which is a determinant including; And
(c33) using the calculated homography (H), including the step of normalizing the other hyperspectral information,
Depth estimation method using hyperspectral images.
제 10 항에 있어서,
상기 (c32) 단계에서 동차좌표계(homogeneous coordinates)가 활용되어 정규화 전 XY 좌표는 (x, y, 1)로서 행렬식 A로 지칭되고, 정규화된 이후의 XY 좌표는 (x', y', 1)로서 행렬식 A'로 지칭되며, 다음의 수식을 이용하되 다수의 XY 좌표를 활용하여, 호모그래피(H)가 연산되며,
Figure 112019000704476-pat00013

상기 (c33) 단계는, 다른 하나의 초분광정보를 행렬식 A에 대입하여, 정규화된 XY 좌표인 행렬식 A'가 연산되는,
초분광영상을 이용한 수심 추정 방법.
The method of claim 10,
In the step (c32), homogeneous coordinates are utilized so that the XY coordinates before normalization are (x, y, 1) and are referred to as determinant A, and the XY coordinates after normalization are (x', y', 1). It is referred to as the determinant A', and homography (H) is calculated using the following formula, but using a number of XY coordinates,
Figure 112019000704476-pat00013

In the step (c33), by substituting the other hyperspectral information into the determinant A, the determinant A', which is a normalized XY coordinate, is calculated,
Depth estimation method using hyperspectral images.
컴퓨터 판독 가능한 기록 매체에 저장되어
제 1 항 내지 제 11 항 중 어느 한 항에 따른 방법을 실행시키는 프로그램.
Stored on a computer-readable recording medium
A program for executing the method according to any one of claims 1 to 11.
제 1 항 내지 제 11 항 중 어느 한 항에 따른 방법을 실행하기 위한 프로그램 코드가 기록된 컴퓨터 판독 가능한 기록 매체. A computer-readable recording medium on which a program code for executing the method according to any one of claims 1 to 11 is recorded.
KR1020190000700A 2019-01-03 2019-01-03 Method for estimation of depth of water using hyperspectral image KR102164522B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190000700A KR102164522B1 (en) 2019-01-03 2019-01-03 Method for estimation of depth of water using hyperspectral image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190000700A KR102164522B1 (en) 2019-01-03 2019-01-03 Method for estimation of depth of water using hyperspectral image

Publications (2)

Publication Number Publication Date
KR20200084974A KR20200084974A (en) 2020-07-14
KR102164522B1 true KR102164522B1 (en) 2020-10-13

Family

ID=71526821

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190000700A KR102164522B1 (en) 2019-01-03 2019-01-03 Method for estimation of depth of water using hyperspectral image

Country Status (1)

Country Link
KR (1) KR102164522B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102504280B1 (en) * 2020-11-13 2023-02-27 단국대학교 산학협력단 Image Registration Technique of Hyperspectral Image using Optical Flow Algorithm
CN114092534B (en) * 2021-11-19 2022-08-30 哈尔滨工业大学 Hyperspectral image and laser radar data registration method and registration system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033294A (en) 2004-07-14 2006-02-02 Starlabo Corp Image processing apparatus
KR101621354B1 (en) 2016-03-31 2016-05-20 주식회사 지오스토리 Water column correction using airborne hyperspectral image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033294A (en) 2004-07-14 2006-02-02 Starlabo Corp Image processing apparatus
KR101621354B1 (en) 2016-03-31 2016-05-20 주식회사 지오스토리 Water column correction using airborne hyperspectral image

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
신명식, et al. "연안 해저 재질 분석을 위한 초분광영상의 보정 방법." 한국지리정보학회지 19.2 (2016)
신정일, et al. "연안 해저 피복 분류를 위한 항공 초분광영상의 수심보정." 한국공간정보학회지 23.2 (2015)
유영화, 김윤수, and 이선구. "초분광 위성영상을 이용한 수심산정에 관한 연구." 항공우주기술 7.1 (2008)

Also Published As

Publication number Publication date
KR20200084974A (en) 2020-07-14

Similar Documents

Publication Publication Date Title
KR102313438B1 (en) Method for estimation of river bed change rate using hyperspectral image
KR102169687B1 (en) Method for acquisition of hyperspectral image using an unmanned aerial vehicle
US20230316555A1 (en) System and Method for Image-Based Remote Sensing of Crop Plants
US10234873B2 (en) Flight device, flight control system and method
Lim et al. Calculation of tree height and canopy crown from drone images using segmentation
KR102313437B1 (en) Method for estimation of bathymetry using hyperspectral image
US10687052B2 (en) Camera parameter calculation method, recording medium, camera parameter calculation apparatus, and camera parameter calculation system
US10769814B2 (en) Camera parameter calculation apparatus based on the average pixel values
US10497139B2 (en) Method and system for photogrammetric processing of images
CN112486207A (en) Unmanned aerial vehicle autonomous landing method based on visual identification
KR102164522B1 (en) Method for estimation of depth of water using hyperspectral image
CN110097498B (en) Multi-flight-zone image splicing and positioning method based on unmanned aerial vehicle flight path constraint
CN110998657B (en) Image processing apparatus, image processing method, and program
CN112005077A (en) Setting table, measurement method, measurement device, measurement system, and program for unmanned aerial vehicle
JP7170609B2 (en) IMAGE PROCESSING DEVICE, RANGING DEVICE, METHOD AND PROGRAM
Jurado et al. An efficient method for generating UAV-based hyperspectral mosaics using push-broom sensors
Ramirez‐Paredes et al. Low‐altitude Terrestrial Spectroscopy from a Pushbroom Sensor
CN107323677B (en) Unmanned aerial vehicle auxiliary landing method, device, equipment and storage medium
KR102142616B1 (en) Method for utilizing of hyperspectral image using optimal band ratio
JP2003083745A (en) Imaging apparatus mounted to aircraft, and aircraft imaging data processing apparatus
KR102295630B1 (en) Method for utilizing of hyperspectral image using optimal band index
WO2020116018A1 (en) Navigation apparatus, navigation parameter calculation method, and program
US20200141803A1 (en) Method of hyperspectral measurement
KR102295631B1 (en) Method for utilizing of hyperspectral image using optimal spectral characteristic index
CN113724311A (en) Depth map acquisition method, device and storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant