KR102504280B1 - Image Registration Technique of Hyperspectral Image using Optical Flow Algorithm - Google Patents
Image Registration Technique of Hyperspectral Image using Optical Flow Algorithm Download PDFInfo
- Publication number
- KR102504280B1 KR102504280B1 KR1020200151951A KR20200151951A KR102504280B1 KR 102504280 B1 KR102504280 B1 KR 102504280B1 KR 1020200151951 A KR1020200151951 A KR 1020200151951A KR 20200151951 A KR20200151951 A KR 20200151951A KR 102504280 B1 KR102504280 B1 KR 102504280B1
- Authority
- KR
- South Korea
- Prior art keywords
- singularity
- hyperspectral
- image
- point
- final
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 62
- 230000003287 optical effect Effects 0.000 title claims description 23
- 238000004364 calculation method Methods 0.000 claims abstract description 26
- 238000000701 chemical imaging Methods 0.000 claims abstract description 20
- 238000005259 measurement Methods 0.000 claims abstract description 4
- 238000001514 detection method Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000000513 principal component analysis Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 description 8
- 239000012634 fragment Substances 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000012634 optical imaging Methods 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/006—Geometric correction
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Abstract
본 발명은, 하천 유속측정 현장의 초분광영상을 획득하는 초분광촬영모듈(110)로서, 상기 초분광영상은 동일한 관측대상에 대해, n개의 밴드비를 갖는, 초분광촬영모듈(110); 상기 초분광촬영모듈(110)로부터 n개의 밴드비 각각에 대한 초분광영상을 전송받고, 상기 n개의 초분광영상 각각에 대해, 기설정된 방식으로 특이점검출을 수행하며, 특이점으로 판단된 지점의 위치정보를 특이점저장부(122)에 저장하는, 특이점연산모듈(120); 및 제1 내지 제n 초분광영상으로 구성된 상기 n개의 초분광영상을 이용하여 최종특이점을 결정하는 특이점결정모듈(130); 을 포함하며, 상기 특이점결정모듈(130)은, 상기 제n 초분광영상에서 특이점으로 결정된 지점의 위치정보에 대해, 상기 제1 내지 제n 초분광영상에서, 상기 위치정보를 특이점으로 중복 판단한 횟수를 카운팅하며, 상기 카운팅된 횟수를 이용하여 기설정된 방식으로 상기 위치정보를 최종특이점으로 결정하는, 영상정합 시스템을 제공한다. The present invention is a hyperspectral imaging module 110 that acquires a hyperspectral image of a river flow velocity measurement site, wherein the hyperspectral image has n band ratios for the same observation object, the hyperspectral imaging module 110; The hyperspectral imaging module 110 receives hyperspectral images for each of the n number of band ratios, detects a singular point in a predetermined manner for each of the n hyperspectral images, and performs the location of the point determined to be a singular point. a singularity calculation module 120 that stores information in the singularity storage unit 122; and a singularity point determination module 130 for determining a final singularity point using the n hyperspectral images composed of first to nth hyperspectral images; The number of times the singularity determination module 130 has repeatedly determined the location information as a singularity in the first to nth hyperspectral images with respect to the location information of the point determined as the singularity in the nth hyperspectral image. counting and determining the location information as the final singularity in a preset manner using the counted number of times.
Description
본 발명은 초분광영상의 후처리에 관한 것으로, 더욱 상세하게는 자동비행이 가능한 드론과 초분광 센서를 통해 취득된 초분광영상의 기하 보정에 따라 발생되는 공간적인 오차를 최소화시키는 영상정합 기술의 최적화된 방법에 관한 것이다. The present invention relates to post-processing of hyperspectral images, and more particularly, to image matching technology that minimizes spatial errors caused by geometric correction of hyperspectral images acquired through a drone capable of autonomous flight and a hyperspectral sensor. It is about the optimization method.
원격탐사는 관측하고자 하는 대상의 태양광에 의한 반사도를 측정하여 관측대상의 특성을 파악하는 학문이다. 원격탐사는 관측을 위한 센서와 센서를 탑재하여 이동하는 플랫폼으로 구성된다. 전통적으로 원격탐사에 사용되는 센서는 광학센서로 가시광선에 해당하는 적색, 청색, 녹색에 해당하는 영상을 측정하며, 플랫폼은 위성, 비행기를 활용하고 상대적으로 고도가 높은 곳에서 관측을 실시한다. 따라서 하천을 대상으로 원격탐사를 수행할 경우, 상대적으로 높은 고도에서 관측하여 하천에 대한 공간적인 해상도가 급격히 떨어지는 문제점이 있었다. 하지만 최근 드론기술이 발전함에 따라 하천에서 원격탐사를 수행하는 하천원격탐사 분야가 급격히 발달하기 시작하였다.Remote sensing is a study that identifies the characteristics of an object to be observed by measuring the reflectance by sunlight of the object to be observed. Remote sensing consists of a sensor for observation and a moving platform equipped with the sensor. Traditionally, sensors used in remote sensing are optical sensors that measure images corresponding to red, blue, and green corresponding to visible light, and platforms utilize satellites and airplanes to conduct observations at relatively high altitudes. Therefore, when remote sensing is performed on a river, there is a problem in that the spatial resolution of the river is rapidly reduced due to observation at a relatively high altitude. However, as drone technology has recently developed, the field of river remote sensing, which performs remote sensing in rivers, has begun to develop rapidly.
하지만, 기존의 높은 고도에서 수행되는 원격탐사 기법을 드론에 적용할 경우, 드론이나 센서에 탑재된 GPS의 공간적인 오차가 고고도에 비해 상대적으로 저고도에서 관측된 결과에 민감하게 발생한다. 영상을 구성하는 하나의 지점이 가지는 물리적 크기는 고도에 비례하기 때문에, 저고도에서 관측된 지점의 물리적인 크기 또한 작아져 GPS의 공간적인 오차에 의해 상대적으로 큰 오차율을 보이게 되는 것이다. 특히, 하천에서 관측되는 수심, 유속, 하상고 등의 하천특성은 일반적인 GPS와 같거나 더욱 정확한 공간정확도를 보여주기 때문에 하천원격탐사에서는 보다 정밀한 관측자료의 공간정확도를 요구한다. 즉 하천을 대상으로 하는 하천원격탐사의 경우, 더욱 정밀한 공간정확도가 요구되는 것이다.However, when the existing remote sensing technique performed at high altitude is applied to drones, the spatial error of the GPS mounted on the drone or sensor occurs more sensitively to the observed results at relatively lower altitudes than at high altitudes. Since the physical size of a point constituting an image is proportional to the altitude, the physical size of a point observed at a low altitude also decreases, resulting in a relatively large error rate due to the spatial error of GPS. In particular, since river characteristics such as water depth, current velocity, and river bed height observed in rivers show the same or more accurate spatial accuracy than general GPS, remote sensing of rivers requires more precise spatial accuracy of observation data. That is, in the case of river remote sensing for rivers, more precise spatial accuracy is required.
현재 하천원격탐사에서 주로 활용되는 센서는 광학센서로, 이를 통해 측정된 광학영상은 과거에 비해 수집하기 수월해졌으며, 발달된 컴퓨터 하드웨어 성능과 비전 기술 등을 통해 손쉽게 후처리가 가능해졌다. 하지만 광학영상은 적색, 녹색, 청색 광원의 3요소만 측정하기 때문에, 광학영상으로 원격탐사를 수행할 수 있는 영역과 범위가 제한적이다. 이에 태양광에 대한 반사도를 연속적인 파장별로 구분하여 촬영할 수 있는 초분광영상이 하천원격탐사에 도입되고 있다. 특히, 초분광영상은 일반광학영상에 비해 수십 배에 해당하는 파장으로 구성되어 있어, 단일 관측자료로 다수의 특성을 파악할 수 있는 것으로 알려져 있다.Currently, the sensor mainly used in river remote sensing is an optical sensor, and it is easier to collect optical images measured through this than in the past, and post-processing is possible through advanced computer hardware performance and vision technology. However, since optical imaging measures only three elements of red, green, and blue light sources, the area and range in which remote sensing can be performed with optical imaging are limited. Accordingly, hyperspectral imaging, which can take pictures by dividing the reflectivity of sunlight by successive wavelengths, has been introduced to river remote sensing. In particular, it is known that hyperspectral imaging is composed of wavelengths that are dozens of times larger than those of general optical imaging, and thus multiple characteristics can be identified with a single observation data.
하지만, 하천원격탐사에서 드론 기반의 초분광영상의 취득은 아직 도입초기에 머무르고 있으며, 초분광영상이 가지는 특성으로 인해 방대하고 분석하기 까다로운 자료구조로 인해 적용사례가 많지 않은 실정이다. 특히, 기존 원격탐사에서 적용되던 영상정합기술을 그대로 초분광영상에 적용하여 낮은 공간정확도를 보이고 있다. 하천원격탐사에서는 높은 수준의 공간정확도를 요구하기 때문에 기존의 영상정합 기술로는 높은 수준의 공간정확도를 요구하는 하천원격탐사에 초분광영상을 활용할 수 없다.However, the acquisition of drone-based hyperspectral images in river remote sensing is still at an early stage of introduction, and due to the characteristics of hyperspectral images, there are not many application cases due to the vast and difficult data structure to analyze. In particular, it shows low spatial accuracy by applying the image matching technology applied in the existing remote sensing to the hyperspectral image as it is. Since river remote sensing requires a high level of spatial accuracy, existing image matching technologies cannot utilize hyperspectral images for river remote sensing that requires a high level of spatial accuracy.
기존의 원격탐사에서 수행되는 영상정합 기술은 높은 수준의 공간정확도를 가지는 기초영상(base image)의 특이점을 찾아내고, 이 특이점이 영상정합을 적용하고자 하는 대상영상(target image)과 일치하는 위치를 찾아내는 기술이다. 영상정합에 주로 사용되는 알고리즘은 영상조각 일치법(Template Matching)이다. 영상조각 일치법은 매개변수로서 탐색영역(Search window)과 상관영역(Interrogation area)을 요구한다. 탐색영역과 상관영역이 주어지면, 탐색영역 내에서 상관영역의 위치를 이동 시켜 기초영상과 대상영상의 상호상관계수(Cross-correlation coefficient)를 산정한다. 산정된 상호상관계수는 탐색영역과 동일한 크기의 상관계수 지도(Correlation map)을 산출할 수 있으며, 상관계수 지도에서 가장 1과 가까운 위치가 기초영상의 특이점과 대응하는 대상영상의 특이점이 된다. 이를 통해 다수의 기초영상과 대응영상에 대한 특이점을 이용하여 기하하적인 관계를 구축하여 최종적으로 2차원 영상변환을 통해 영상정합이 마무리 된다.Image matching technology performed in existing remote sensing finds a singularity in a base image with a high level of spatial accuracy, and finds a location where this singularity coincides with a target image to which image matching is applied. It is a technique to find An algorithm mainly used for image matching is image fragment matching (Template Matching). The image fragment matching method requires a search window and an interrogation area as parameters. If the search area and the correlation area are given, the cross-correlation coefficient between the base image and the target image is calculated by moving the location of the correlation area within the search area. The calculated cross-correlation coefficient can produce a correlation map of the same size as the search area, and the position closest to 1 in the correlation coefficient map becomes the singularity of the target image corresponding to the singularity of the base image. Through this, a geometric relationship is established using singularities of a plurality of basic images and corresponding images, and image matching is finally completed through 2D image conversion.
이와 같은 종래의 영상정합 기술은 분석 과정이 복잡하고, 상관영역과 대상영역을 매개변수로 가지고 있어 사용자의 경험에 따라 그 결과가 상이하게 변하는 불확실성을 가지고 있기 때문에 자동분석에 큰 어려움이 있다. 특히, 드론 기반의 초분광영상의 경우 자료의 크기가 매우 크고 구조가 복잡하기 때문에 영상정합에 소요되는 시간이 증가되는 문제점이 있다. Such a conventional image matching technique has a great difficulty in automatic analysis because the analysis process is complicated, and the result has uncertainty that varies differently depending on the user's experience because it has a correlation region and a target region as parameters. In particular, in the case of drone-based hyperspectral imaging, there is a problem in that the time required for image matching increases because the size of the data is very large and the structure is complicated.
본 발명은 전술한 한계를 극복하기 위해 영상조각 일치법에 비해 계산속도가 빠르고, 상대적으로 자동화가 간편한 옵티컬 플로우 방법을 이용한 영상정합 방법을 제안하고자 한다. In order to overcome the above-mentioned limitations, the present invention proposes an image matching method using an optical flow method that is faster in calculation speed than the image fragment matching method and relatively easy to automate.
상기와 같은 과제를 해결하기 위한 본 발명은, 하천 유속측정 현장의 초분광영상을 획득하는 초분광촬영모듈(110)로서, 상기 초분광영상은 동일한 관측대상에 대해, n개의 밴드비를 갖는, 초분광촬영모듈(110); 상기 초분광촬영모듈(110)로부터 n개의 밴드비 각각에 대한 초분광영상을 전송받고, 상기 n개의 초분광영상 각각에 대해, 기설정된 방식으로 특이점검출을 수행하며, 특이점으로 판단된 지점의 위치정보를 특이점저장부(122)에 저장하는, 특이점연산모듈(120); 및 제1 내지 제n 초분광영상으로 구성된 상기 n개의 초분광영상을 이용하여 최종특이점을 결정하는 특이점결정모듈(130); 을 포함하며, 상기 특이점결정모듈(130)은, 상기 제n 초분광영상에서 특이점으로 결정된 지점의 위치정보에 대해, 상기 제1 내지 제n 초분광영상에서, 상기 위치정보를 특이점으로 중복 판단한 횟수를 카운팅하며, 상기 카운팅된 횟수를 이용하여 기설정된 방식으로 상기 위치정보를 최종특이점으로 결정하는, 영상정합 시스템을 제공한다. The present invention for solving the above problems is a
또한, 상기 특이점연산모듈(120)에서, 상기 기설정된 방식은 옵티컬 플로우(Optical Flow) 방식으로써, 분석대상인 상기 제n 초분광영상에 대해, 기설정된 형태의 탐색영역(Search Window)을 결정하며, 상기 탐색영역 내에서, 기설정된 형태의 상관영역(Interrogation Area)을 이동시키면서, 특이점검출을 수행할 수 있다. In addition, in the
또한, 상기 상관영역은, 기설정된 방식에 의해, 수평(Flat), 모서리(Edge) 및 코너(Corner) 중 적어도 어느 하나를 포함하는 상태로 구분되고, 상기 코너 상태가 존재할 경우, 상기 상관영역 내에 특이점이 있는 것으로 판단하되, 상기 특이점과 대응되는 위치정보를 상기 특이점에 매칭시킬 수 있다. In addition, the correlation region is divided into a state including at least one of a flat, an edge, and a corner by a predetermined method, and when the corner state exists, the correlation region It is determined that there is a singularity, but location information corresponding to the singularity may be matched to the singularity.
또한, 상기 기설정된 방식은 행렬식을 이용하는 방식으로, 상기 상관영역을 소정의 거리 만큼 이동시킬 경우 이동된 지점의 빛의 세기에 대한 상기 상관영역 내의 편차를 행렬식으로 표현하고, 상기 행렬식에서 상기 상관영역의 형상을 주성분 분석하여 두 고유값(Eigenvalue)을 산출하고, 상기 두 고유값의 크기를 이용하여 상기 수평, 상기 모서리 및 상기 코너 상태 중 적어도 어느 하나를 포함하는 상태로 구분하는 방식이다. In addition, the preset method is a method using a determinant, and when the correlation region is moved by a predetermined distance, a deviation in the correlation region for the intensity of light at a moved point is expressed as a determinant, and the correlation region is expressed in the determinant. Principal component analysis is performed on the shape of to calculate two eigenvalues, and the size of the two eigenvalues is used to classify the state into a state including at least one of the horizontal state, the corner state, and the corner state.
또한, 상기 특이점결정모듈(130)에서, 상기 카운팅된 횟수를 이용하는 기설정된 방식은, 총 n개 대비 상기 카운팅된 횟수의 비율값을 통해 결정하되, 상기 비율값이 기설정된 값 이상일 경우, 상기 제n 초분광영상에서 특이점으로 결정된 지점의 위치를 최종특이점으로 결정할 수 있다. In addition, in the singular
또한, 본 발명은 전술한 영상정합 시스템을 이용한 방법으로서, (a) 상기 초분광촬영모듈(110)을 통해, 제1 내지 제n 밴드비를 갖는 n개의 초분광영상을 각각 획득하는 단계(S110); (b) 상기 특이점연산모듈(120)로부터, 상기 n개의 초분광영상 각각에 대해, 기설정된 방식으로 특이점검출을 수행하는 단계로서, 상기 기설정된 방식은 옵티컬 플로우(Optical Flow) 방식으로써, 분석대상인 상기 제n 초분광영상에 대해, 기설정된 형태의 탐색영역(Search Window)을 결정하며, 상기 탐색영역 내에서, 기설정된 형태의 상관영역(Interrogation Area)을 이동시키면서, 특이점검출을 수행하는, 단계(S120); (c) 상기 특이점결정모듈(130)에서, 상기 제n 초분광영상에서 특이점으로 결정된 지점의 위치정보에 대해, 상기 제1 내지 제n 초분광영상에서, 상기 위치정보를 특이점으로 중복 판단한 횟수를 카운팅하는 단계(S130); 및 (d) 상기 (c) 단계에서, 상기 위치정보를 특이점으로 중복 판단한 횟수를 기설정된 방식으로 이용하여 상기 관측대상에 대한, 최종특이점을 결정하는 단계(S140); 를 포함하며, 상기 (d) 단계에서, 상기 기설정된 방식은, 총 n개 대비 상기 카운팅된 횟수의 비율값을 통해 결정하되, 상기 비율값이 기설정된 값 이상일 경우, 상기 제n 초분광영상에서 특이점으로 결정된 지점의 위치를 최종특이점으로 결정하는, 방법을 제공한다. In addition, the present invention is a method using the above-described image matching system, comprising the steps of (a) acquiring n hyperspectral images having first to nth band ratios through the hyperspectral imaging module 110 (S110). ); (b) performing singularity detection on each of the n hyperspectral images from the
또한, 상기 (a) 내지 (d) 단계는, 시간이 t1 및 t2에서 각각 수행되며, (e) 유속연산모듈에서, 시간이 t1에서의 최종특이점 및 시간이 t2에서의 상기 최종특이점의 위치변화를 확인하는 단계(S150); 및 (f) 상기 (e) 단계에서의 상기 최종특이점의 위치변화를 통해, x방향 및 y방향의 속도가 각각 연산되는 단계(S160); 를 더 포함할 수 있다. In addition, the steps (a) to (d) are performed at times t1 and t2, respectively, (e) in the flow rate calculation module, the final singularity at time t1 and the positional change of the final singularity at time t2 Checking (S150); and (f) calculating speeds in the x-direction and the y-direction, respectively, based on the location change of the final singularity in step (e) (S160); may further include.
또한, 상기 (e) 단계에서, 상기 유속연산모듈은, 제m 프레임에서의 최종특이점 및 제m+1 프레임에서의 최종특이점을 이용할 수 있다. In addition, in the step (e), the flow rate calculation module may use the final singularity in the mth frame and the last singularity in the m+1th frame.
본 발명은 다음과 같은 효과가 있다. The present invention has the following effects.
첫째, 하드웨어적인 드론기반의 초분광영상 취득시스템과 소프트웨어인 초분광영상 처리방법을 하나의 기술로 통합함으로서, 사용자에 관계없이 높은 품질의 균일한 자료의 수집이 가능한 효과를 발휘한다. First, by integrating the hardware drone-based hyperspectral image acquisition system and the software hyperspectral image processing method into one technology, it is possible to collect high-quality and uniform data regardless of the user.
둘째, 초분광영상을 활용한 장기적인 모니터링 수행할 수 있는 기반을 마련할 수 있고, 특히, 향후 드론 및 초분광센서 기술이 발달함에 따라 요구되는 자동화을 향상시킬 수 있다. Second, it is possible to prepare a basis for long-term monitoring using hyperspectral imaging, and in particular, it is possible to improve automation required as drone and hyperspectral sensor technology develops in the future.
셋째, RGB로 구성된 일반 광학영상과는 달리, 태양광에 대한 반사도를 연속적으로 파장별로 구분하여 촬영이 가능한 바, 단일 관측자료로 보다 정밀하고, 정확한 분석이 가능한 효과를 발휘한다. Third, unlike general optical images composed of RGB, it is possible to continuously classify the reflectivity of sunlight by wavelength and take pictures, so it is possible to perform more precise and accurate analysis with a single observation data.
도 1은 본 발명에 따른 영상정합 시스템의 전체 구성도이다.
도 2는 본 발명에 따른 영상정합 시스템을 이용한 방법의 순서도이다.
도 3은 본 발명에 사용되는 알고리즘이다.
도 4는 본 발명에서 사용되는 옵티컬 플로우 알고리즘이다.
도 5는 본 발명에서 적용한 특이점 검출 시 사용되는 해리스 코너 검출 알고리즘의 특이점 판단을 설명하는 모식도이다.
도 6은 본 발명에서 제시한 초분광영상에서 특이점 검출 과정을 나타낸다.
도 7은 본 발명에서 적용된 옵티컬 플로우 알고리즘 및 종래의 영상정합에 활용되는 영상조각 일치법 적용을 비교하는 모식도이다.
도 8은 본 발명에서 제시된 수정된 옵티컬 플로우와 종래의 옵티컬 플로우의 차이점을 설명하기 위한 사진이다.
도 9는 본 발명의 일 실시예에 따른 영상정합 시스템을 이용한 결과를 나타내는 사진이다. 1 is an overall configuration diagram of an image matching system according to the present invention.
2 is a flowchart of a method using an image matching system according to the present invention.
3 is an algorithm used in the present invention.
4 is an optical flow algorithm used in the present invention.
5 is a schematic diagram illustrating the singularity determination of the Harris corner detection algorithm used in detecting the singularity applied in the present invention.
6 shows a singular point detection process in the hyperspectral image presented in the present invention.
7 is a schematic diagram comparing the application of the optical flow algorithm applied in the present invention and the conventional image fragment matching method used for image matching.
8 is a photograph for explaining the difference between the modified optical flow proposed in the present invention and the conventional optical flow.
9 is a photograph showing the result of using the image matching system according to an embodiment of the present invention.
이하에서는 도면을 참조하여 본 발명에 따른 영상정합 시스템 및 이를 이용한 방법을 설명한다. Hereinafter, an image matching system and a method using the same according to the present invention will be described with reference to the drawings.
도 1을 참조하면, 영상정합 시스템은, 초분광촬영모듈(110), 특이점연산모듈(120) 및 특이점결정모듈(130)로 구성된다. Referring to FIG. 1 , the image matching system is composed of a
초분광촬영모듈(110)은 하천 유속측정 현장의 초분광영상을 획득하되, 초분광영상은 동일한 관측대상에 대해, n개의 밴드비를 갖도록 구성된다. 즉, 초분광촬영모듈(110)로부터 각각 상이한 밴드비를 갖는 n개의 초분광영상을 획득하도록 구성된다. The
특이점연산모듈(120)은 초분광촬영모듈(110)로부터 n개의 밴드비 각각에 대한 초분광영상을 전송받고, n개의 초분광영상 각각에 대해, 기설정된 방식으로 특이점검출을 수행하며, 특이점으로 판단된 지점의 위치정보를 특이점저장부(122)에 저장한다. 기설정된 방식은 옵티컬 플로우(Optical Flow) 방식으로써, 분석대상인 상기 제n 초분광영상에 대해, 기설정된 형태의 탐색영역(Search Window)을 결정하며, 상기 탐색영역 내에서, 기설정된 형태의 상관영역(Interrogation Area)을 이동시키면서, 특이점검출을 수행하도록 구성된다. The
도 7을 참조하여, 보다 구체적으로 설명하면, 영상정합에 주로 사용되는 영상조각 일치법(Template Matching)과 본 발명에서 적용한 옵티컬 플로우(Optical Flow)가 주어진 두 영상에서 움직임을 추적하는 방법을 나타내고 있다. 영상조각 일치법은 주어진 탐색영역에서 지정된 상관영역을 이동시키며 해당 위치의 상관계수를 산정함으로서 공간적인 상관계수 맵을 산출한다. 그 후 기초영상 상의 특이점과 대응하는 대상영상 상의 특이점 위치는 상관계수 맵 상의 가장 큰 위치를 확인함으로서 알 수 있다. 옵티컬 플로우는 주어진 상관영역에 대한 기초영상과 대상영상의 x, y, t(시간) 기울기 영상 산정을 통해 유속을 직접적으로 산출한다. More specifically, with reference to FIG. 7 , a method for tracking motion in two images given an image fragment matching method (Template Matching) mainly used for image matching and an optical flow applied in the present invention is shown. The image fragment matching method calculates a spatial correlation coefficient map by moving a specified correlation region in a given search region and calculating the correlation coefficient at the corresponding position. After that, the location of the singular point on the target image corresponding to the singular point on the base image can be known by checking the largest location on the correlation coefficient map. The optical flow directly calculates the flow velocity through the calculation of the x, y, t (time) gradient images of the base image and the target image for a given correlation region.
이와 같이, 탐색영역과 상관영역의 크기에 따라 영상조각 일치법은 계산량이 기하급수적으로 늘어나는 것에 비해, 옵티컬 플로우는 상관영역의 크기만을 매개변수로 활용하기 때문에, 상대적으로 계산량이 적게 들어 빠르게 결과를 도출할 수 있다. 즉, 영상조각 일치법에 비해 옵티컬 플로우가 적은 매개변수로 인한 사용자에 따른 불확실성을 감소, 빠른 계산속도, 자동화 가능성을 확보할 수 있다. In this way, the image fragment matching method exponentially increases the amount of calculation depending on the size of the search area and the correlation area, whereas the optical flow uses only the size of the correlation area as a parameter, so the result is obtained quickly with a relatively small amount of calculation. can do. That is, compared to the image fragment matching method, it is possible to reduce the uncertainty according to the user due to the parameter with less optical flow, to secure a fast calculation speed, and to secure the possibility of automation.
도 5를 참조하면, 상관영역은 기설정된 방식에 의해, 수평(Flat), 모서리(Edge) 및 코너(Corner) 중 적어도 어느 하나를 포함하는 상태로 구분되고, 코너 상태가 존재할 경우, 상기 상관영역 내에 특이점이 있는 것으로 판단하되, 상기 특이점과 대응되는 위치정보를 상기 특이점에 매칭하도록 구성된다. 여기서, 기설정된 방식은 기설정된 수식에 의해, 행렬식으로 변형하되, 상관영역의 형상을 주성분 분석을 통해, 상기 행렬식의 두 고유값(Eigenvalue)을 산출하며, 상기 두 고유값의 크기를 이용하여, 상기 수평, 모서리 및 코너 상태로 구분한다. Referring to FIG. 5, the correlation region is divided into a state including at least one of a flat, an edge, and a corner by a preset method, and when a corner state exists, the correlation region It is determined that there is a singularity within, and location information corresponding to the singularity is configured to match the singularity. Here, the preset method is transformed into a determinant by a preset formula, calculating two eigenvalues of the determinant through principal component analysis of the shape of the correlation region, and using the size of the two eigenvalues, It is divided into the horizontal, corner and corner states.
이와 관련하여, 본 발명은 분석지점을 중심으로 한 분석영역의 영상을 통해 픽셀유속을 산정하기 위하여 다음과 같은 픽셀 유속 산출 구성을 포함한다. 객체의 밝기 값은 짧은 시간이 지나도 변하지 않는다라는 가정과 각 영상의 움직임은 매우 작아서 픽셀 유속 산정을 위한 식을 수학식 1에서와 같이 정의할 수 있다. In this regard, the present invention includes the following pixel flow rate calculation configuration in order to calculate the pixel flow rate through the image of the analysis area centered on the analysis point. Assuming that the brightness value of the object does not change even after a short period of time and the movement of each image is very small, the equation for calculating the pixel flow rate can be defined as in
여기서, I는 영상의 픽셀값, 는 X방향 좌표, 는 Y방향 좌표, t는 시간이다. 수학식 1의 우항을 테일러 전개를 수행하고 다차항은 생략한다. Here, I is the pixel value of the image, is the X-direction coordinate, is the Y-direction coordinate, and t is the time. Taylor expansion is performed on the right-hand term of
수학식 1 및 2를 동시에 만족하기 위해, 수학식 2의 우항의 미분식의 합은 0이 되어야 한다. 따라서, 따라서, 특정 픽셀의 유속을 산정하기 위한 식은 수학식 4로 정의된다. In order to simultaneously satisfy
여기서, q n 은 픽셀, n은 영상의 픽셀 개수이다. X, Y방향 미분 및 시간 미분은 각각 수학식 6, 수학식 7, 수학식 8과 같다.Here, q n is a pixel and n is the number of pixels in the image. Differentiation in the X and Y directions and time differentiation are as shown in Equations 6, 7 and 8, respectively.
특이점 검출을 위한 세 가지 상태와 그 상태를 구분하기 위한 표로 구성되어 있다. 특이점 검출 시 세 가지 상태는 수평(Flat), 모서리(Edge), 코너(Corner)이다. 이러한 특이점 검출을 위해서 영상 내의 임의의 지점에 대하여, 상관영역(W)을 u, v만큼 이동시켰을 때의 지점 i의 빛에 세기에 대한 영역 내의 편차는 수학식 9와 같다. It consists of three states for outlier detection and a table to classify the states. When detecting a singularity, three states are flat, edge, and corner. In order to detect such a singular point, the deviation in the region of the light intensity of point i when the correlation region ( W ) is moved by u and v with respect to an arbitrary point in the image is as shown in Equation 9.
여기서, E는 상관영역(W) 내의 편차, I는 영상의 픽셀값, x는 X좌표, y는 Y좌표이다. 한편, 임의의 지점(xi, yi)와 상관영역(W)을 u,v 만큼 이동시켰을 때의 편차를 테일러 전개를 수행하고 다차항을 생략하면 수학식 10과 같다. Here, E is the deviation within the correlation region ( W ), I is the pixel value of the image, x is the X coordinate, and y is the Y coordinate. On the other hand, if a Taylor expansion is performed on the deviation when an arbitrary point (x i , y i ) and the correlation region ( W ) are moved by u,v and the polynomial term is omitted, Equation 10 is obtained.
따라서, 수학식 9는 수학식 11과 같이 표현할 수 있다. Therefore, Equation 9 can be expressed as Equation 11.
수학식 11을 정리하면 수학식 12와 같고, 이를 행렬식으로 표현하면 수학식 13와 같다. Equation 11 is the same as Equation 12 when Equation 11 is arranged, and Equation 13 is obtained when it is expressed as a determinant.
수학식 14와 같이 수학식 13의 2Х2 행렬을 M, 행렬 M의 고유값(Eigenvalue)을 각각 λ1, λ2라 할 때, λ1, λ2는 임의의 지점 에 대한 상관영역(W)의 형상을 주성분 분석을 통해 새로운 축으로 나타내고 각 축에 대한 크기를 나타내는 값이다. 행렬 M에 대한 두 고유값 λ1, λ2이 모두 작은 값이면 수평(Flat), 모두 큰 값이면 특이점(Corner), 둘 중 하나가 큰 값이면 모서리(Edge)로 판별할 수 있다. 이를 통해 특이점으로 판별된 임의의 지점인 (xi, yi)는 특이점으로 추출되어 향후 옵티컬 플로우를 분석할 위치로 주어진다. As shown in Equation 14, when the 2Х2 matrix of Equation 13 is M and the eigenvalues of matrix M are λ 1 and λ 2 , respectively, λ 1 and λ 2 are the correlation region ( W ) for an arbitrary point It is a value that represents the shape as a new axis through principal component analysis and represents the size for each axis. If the two eigenvalues λ 1 and λ 2 of the matrix M are both small values, it can be determined as a flat, if both are large values, as a corner, and if one of the two is a large value, it can be determined as an edge. Through this, (x i , y i ), which is an arbitrary point determined as a singular point, is extracted as a singular point and given as a position to analyze the optical flow in the future.
특이점결정모듈(130)은 제1 내지 제n 초분광영상으로 구성된 상기 n개의 초분광영상을 이용하여 최종특이점을 결정한다. 여기서, 특이점결정모듈(130)은, 제n 초분광영상에서 특이점으로 결정된 지점의 위치정보에 대해, 제1 내지 제n 초분광영상에서, 위치정보를 특이점으로 중복 판단한 횟수를 카운팅하며, 카운팅된 횟수를 이용하여 기설정된 방식으로 상기 위치정보를 최종특이점으로 결정한다. The singularity
일 예시로, 제1 내지 제n 초분광영상 각각의 특이점의 위치정보를 확인하고, 이들이 얼마나 중복되는지를 확인한다. 제1 초분광영상의 특이점 중 하나가 제1 위치정보(X1, Y1)인 경우, 상기 제1 위치정보(X1, Y1)는 나머지 초분광영상인 제2 내지 제n 초분광영상에 모두 포함되는 것이 가장 바람직하다. 즉, 밴드비에 따라, 특이점 결정여부가 달라지지 않아야 하나, 각각의 밴드비가 상이함에 따라, 이와 같은 결과를 얻기는 그리 쉽지 않다. 이에 따라, 총 n개 대비 상기 카운팅된 횟수의 비율값을 통해 결정하며, 비율값이 기설정된 값 이상일 경우, 상기의 제1 위치정보(X1, Y1)는 최종특이점으로 결정한다. 이 때, 상기 비율은 0.8로 설정되는 것이 바람직하다. 다만, 이는 사용자 내지 설계자의 선택에 따라 달라질 수 있고, 초분광영상의 해상도에 따라서도 달라질 수 있다. As an example, location information of singular points in each of the first to nth hyperspectral images is checked, and how much they overlap is checked. When one of the singularities of the first hyperspectral image is the first location information (X1, Y1), the first location information (X1, Y1) is included in all of the second to nth hyperspectral images, which are the remaining hyperspectral images. is most preferable That is, depending on the band ratio, whether or not the singular point is determined should not be different, but as each band ratio is different, it is not so easy to obtain such a result. Accordingly, it is determined through a ratio value of the counted number of times compared to a total of n, and when the ratio value is greater than or equal to a predetermined value, the first location information (X1, Y1) is determined as the final singularity point. At this time, the ratio is preferably set to 0.8. However, this may vary according to the user's or designer's choice, and may also vary according to the resolution of the hyperspectral image.
이하에서는 도 3을 참조하여, 본 발명에 따른 영상정합 시스템을 이용한 방법을 설명한다. Hereinafter, a method using the image matching system according to the present invention will be described with reference to FIG. 3 .
본 방법은 단계(S110) 내지 단계(S140)을 포함한다. The method includes steps S110 to S140.
단계(S110)은 초분광촬영모듈(110)을 통해, 제1 내지 제n 밴드비를 갖는 n개의 초분광영상을 각각 획득하는 단계이다. Step S110 is a step of acquiring n hyperspectral images having first through nth band ratios through the
단계(S120)은 특이점연산모듈(120)로부터, 상기 n개의 초분광영상 각각에 대해, 기설정된 방식으로 특이점검출을 수행하는 단계로서, 상기 기설정된 방식은 옵티컬 플로우(Optical Flow) 방식으로써, 분석대상인 상기 제n 초분광영상에 대해, 기설정된 형태의 탐색영역(Search Window)을 결정하며, 상기 탐색영역 내에서, 기설정된 형태의 상관영역(Interrogation Area)을 이동시키면서, 특이점검출을 수행하는, 단계이다. Step S120 is a step of performing singularity detection on each of the n hyperspectral images from the
단계(S130)은 특이점결정모듈(130)에서, 상기 제n 초분광영상에서 특이점으로 결정된 지점의 위치정보에 대해, 상기 제1 내지 제n 초분광영상에서, 상기 위치정보를 특이점으로 중복 판단한 횟수를 카운팅하는 단계이다. Step S130 is the number of times the
단계(S140)은 단계(S130)에서, 위치정보를 특이점으로 중복 판단한 횟수를 기설정된 방식으로 이용하여 상기 관측대상에 대한, 최종특이점을 결정하는 단계이다. 단계(S140)에서의 기설정된 방식은, 총 n개 대비 상기 카운팅된 횟수의 비율값을 통해 결정하되, 비율값이 기설정된 값 이상일 경우, 제n 초분광영상에서 특이점으로 결정된 지점의 위치를 최종특이점으로 결정한다. Step S140 is a step of determining the final singularity for the observation target by using the number of duplicate determinations of location information as singularity in step S130 in a predetermined manner. The predetermined method in step S140 is determined through a ratio value of the counted number of times compared to the total n, but if the ratio value is greater than or equal to the predetermined value, the location of the point determined as the singular point in the nth hyperspectral image is finally determined. determined by singularity.
또한, 본 방법은 단계(S150) 및 단계(S160)을 더 포함할 수 있다. In addition, the method may further include steps S150 and S160.
단계(S150)은 유속연산모듈(미도시)에서, 시간이 t1에서의 최종특이점 및 시간이 t2에서의 상기 최종특이점의 위치변화를 확인하는 단계이다. 이를 위해, 단계(S110) 내지 단계(S140)은 시간이 t1 및 t2에서 각각 반복하여 수행된다. Step S150 is a step of confirming the final singularity at time t1 and the positional change of the final singularity at time t2 in a flow rate calculation module (not shown). To this end, steps S110 to S140 are repeatedly performed at times t1 and t2, respectively.
단계(S160)은 단계(S150)에서의 최종특이점의 위치변화를 통해, x방향 및 y방향의 속도가 각각 연산되는 단계이다. 본 발명은 최종적으로, 속도(예로, 하천의 바닥속도(bed load velocity))를 구하기 위함인 바, 최종특이점의 위치변화를 이용하여 이들을 연산할 수 있으며, 단계(S150) 및 단계(S160)은 속도 연산과 관련된 단계이다. Step S160 is a step in which velocities in the x-direction and the y-direction are respectively calculated through the positional change of the final singularity in step S150. Since the present invention is to finally obtain the velocity (eg, bed load velocity), these can be calculated using the position change of the final singularity, and steps S150 and S160 are This is a step related to speed calculation.
한편, 단계(S150)에서, 유속연산모듈은, 제m 프레임에서의 최종특이점 및 제m+1 프레임에서의 최종특이점을 이용할 수 있다. 즉, 시간 단위로 연산을 하는 것이 아니라, 프레임 단위로 연산을 수행함으로써, 연산속도를 향상시킬 수 있다. Meanwhile, in step S150, the flow rate calculation module may use the final singularity in the mth frame and the last singularity in the m+1th frame. That is, the calculation speed can be improved by performing the calculation in units of frames instead of in units of time.
도 8을 참고하여 본 발명에서 제시하는 수정된 옵티컬 플로우에 대해 설명하면, 기존의 픽셀 유속을 산정할 경우, 각 방향 유속 성분의 분모가 dt임을 착안하여, 이를 1 Frame으로 전환해줄 경우, 옵티컬 플로우의 결과는 프레임당 변위로 환산할 수 있다. Referring to FIG. 8, the modified optical flow proposed in the present invention will be described. When calculating the existing pixel flow rate, considering that the denominator of the flow rate component in each direction is dt, and converting it to 1 frame, the optical flow The result of can be converted to displacement per frame.
이상, 본 명세서에는 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 도면에 도시한 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당업자라면 본 발명의 실시예로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 보호범위는 특허청구범위에 의해서 정해져야 할 것이다. In the above, the present specification has been described with reference to the embodiments shown in the drawings so that those skilled in the art can easily understand and reproduce the present invention, but this is only exemplary, and those skilled in the art can make various modifications and equivalents from the embodiments of the present invention. It will be appreciated that embodiments are possible. Therefore, the scope of protection of the present invention should be defined by the claims.
110: 초분광촬영모듈
120: 특이점연산모듈
130: 특이점결정모듈110: hyperspectral imaging module
120: singularity calculation module
130: singularity determination module
Claims (8)
상기 초분광촬영모듈(110)로부터 n개의 밴드비 각각에 대한 초분광영상을 전송받고, 상기 n개의 초분광영상 각각에 대해, 기설정된 방식으로 특이점검출을 수행하며, 특이점으로 판단된 지점의 위치정보를 특이점저장부(122)에 저장하는, 특이점연산모듈(120); 및
제1 내지 제n 초분광영상으로 구성된 상기 n개의 초분광영상을 이용하여 최종특이점을 결정하는 특이점결정모듈(130); 을 포함하며,
상기 특이점결정모듈(130)은,
상기 제n 초분광영상에서 특이점으로 결정된 지점의 위치정보에 대해, 상기 제1 내지 제n 초분광영상에서, 상기 위치정보를 특이점으로 중복 판단한 횟수를 카운팅하며, 상기 카운팅된 횟수를 이용하여 기설정된 방식으로 상기 위치정보를 최종특이점으로 결정하는,
영상정합 시스템.
A hyperspectral imaging module 110 that acquires a hyperspectral image of a river velocity measurement site, wherein the hyperspectral image has n band ratios for the same observation object;
The hyperspectral imaging module 110 receives hyperspectral images for each of the n number of band ratios, detects a singular point in a predetermined manner for each of the n hyperspectral images, and performs the location of the point determined to be a singular point. a singularity calculation module 120 that stores information in the singularity storage unit 122; and
a singularity point determination module 130 for determining a final singularity point using the n hyperspectral images composed of first to nth hyperspectral images; Including,
The singularity determination module 130,
For the location information of the point determined as a singular point in the nth hyperspectral image, counting the number of times the location information is repeatedly determined as a singular point in the first to nth hyperspectral images, and using the counted number of times, a predetermined determining the location information as the final singularity in a manner
image matching system.
상기 특이점연산모듈(120)에서,
상기 기설정된 방식은 옵티컬 플로우(Optical Flow) 방식으로써,
분석대상인 상기 제n 초분광영상에 대해, 기설정된 형태의 탐색영역(Search Window)을 결정하며, 상기 탐색영역 내에서, 기설정된 형태의 상관영역(Interrogation Area)을 이동시키면서, 특이점검출을 수행하는,
영상정합 시스템.
The method of claim 1,
In the singularity calculation module 120,
The preset method is an optical flow method,
For the n-th hyperspectral image to be analyzed, determining a search window of a preset shape, and performing singularity detection while moving an interrogation area of a preset shape within the search window ,
image matching system.
상기 상관영역은,
기설정된 방식에 의해, 수평(Flat), 모서리(Edge) 및 코너(Corner) 중 적어도 어느 하나를 포함하는 상태로 구분되고,
상기 코너 상태가 존재할 경우, 상기 상관영역 내에 특이점이 있는 것으로 판단하되, 상기 특이점과 대응되는 위치정보를 상기 특이점에 매칭시키는,
영상정합 시스템.
The method of claim 2,
The correlation region is
By a predetermined method, it is divided into a state including at least one of flat, edge, and corner,
When the corner state exists, it is determined that there is a singularity in the correlation region, and position information corresponding to the singularity is matched to the singularity.
image matching system.
상기 기설정된 방식은 행렬식을 이용하는 방식으로,
상기 상관영역을 소정의 거리 만큼 이동시킬 경우 이동된 지점의 빛의 세기에 대한 상기 상관영역 내의 편차를 행렬식으로 표현하고, 상기 행렬식에서 상기 상관영역의 형상을 주성분 분석하여 두 고유값(Eigenvalue)을 산출하고, 상기 두 고유값의 크기를 이용하여 상기 수평, 상기 모서리 및 상기 코너 상태 중 적어도 어느 하나를 포함하는 상태로 구분하는 방식인,
영상정합 시스템.
The method of claim 3,
The preset method is a method using a determinant,
When the correlation region is moved by a predetermined distance, the deviation in the correlation region for the light intensity of the moved point is expressed as a matrix equation, and two eigenvalues are obtained by principal component analysis of the shape of the correlation region in the matrix equation. A method of calculating and classifying into a state including at least one of the horizontal, the corner, and the corner state using the size of the two eigenvalues,
image matching system.
상기 특이점결정모듈(130)에서,
상기 카운팅된 횟수를 이용하는 기설정된 방식은,
총 n개 대비 상기 카운팅된 횟수의 비율값을 통해 결정하되, 상기 비율값이 기설정된 값 이상일 경우, 상기 제n 초분광영상에서 특이점으로 결정된 지점의 위치를 최종특이점으로 결정하는,
영상정합 시스템.
The method of claim 1,
In the singularity determination module 130,
A predetermined method using the counted number of times,
Determined through a ratio value of the counted number of times compared to the total n, but when the ratio value is greater than or equal to a preset value, the position of the point determined as the singularity in the nth hyperspectral image is determined as the final singularity,
image matching system.
(a) 상기 초분광촬영모듈(110)을 통해, 제1 내지 제n 밴드비를 갖는 n개의 초분광영상을 각각 획득하는 단계(S110);
(b) 상기 특이점연산모듈(120)로부터, 상기 n개의 초분광영상 각각에 대해, 기설정된 방식으로 특이점검출을 수행하는 단계로서,
상기 기설정된 방식은 옵티컬 플로우(Optical Flow) 방식으로써, 분석대상인 상기 제n 초분광영상에 대해, 기설정된 형태의 탐색영역(Search Window)을 결정하며, 상기 탐색영역 내에서, 기설정된 형태의 상관영역(Interrogation Area)을 이동시키면서, 특이점검출을 수행하는, 단계(S120);
(c) 상기 특이점결정모듈(130)에서, 상기 제n 초분광영상에서 특이점으로 결정된 지점의 위치정보에 대해, 상기 제1 내지 제n 초분광영상에서, 상기 위치정보를 특이점으로 중복 판단한 횟수를 카운팅하는 단계(S130); 및
(d) 상기 (c) 단계에서, 상기 위치정보를 특이점으로 중복 판단한 횟수를 기설정된 방식으로 이용하여 상기 관측대상에 대한, 최종특이점을 결정하는 단계(S140); 를 포함하며,
상기 (d) 단계에서, 상기 기설정된 방식은, 총 n개 대비 상기 카운팅된 횟수의 비율값을 통해 결정하되, 상기 비율값이 기설정된 값 이상일 경우, 상기 제n 초분광영상에서 특이점으로 결정된 지점의 위치를 최종특이점으로 결정하는,
방법.
A method using the image matching system according to claim 1,
(a) acquiring n hyperspectral images having first through nth band ratios through the hyperspectral imaging module 110 (S110);
(b) performing singularity detection on each of the n hyperspectral images from the singularity calculation module 120 in a predetermined manner,
The preset method is an optical flow method, which determines a search window of a preset form for the n-th hyperspectral image to be analyzed, and within the search region, a preset form of correlation Performing singularity detection while moving an interrogation area (S120);
(c) In the singular point determination module 130, for the location information of the point determined as a singular point in the n-th hyperspectral image, the number of times the location information is repeatedly determined as a singular point in the first to n-th hyperspectral images Counting (S130); and
(d) determining a final singular point for the observation object by using the number of overlapping determinations of location information as singular points in step (c) in a predetermined manner (S140); Including,
In the step (d), the predetermined method is determined through a ratio value of the number of times counted against a total of n, and when the ratio value is greater than or equal to a predetermined value, a point determined as a singularity in the nth hyperspectral image. Determines the position of as the final singularity,
method.
상기 (a) 내지 (d) 단계는, 시간이 t1 및 t2에서 각각 수행되며,
(e) 유속연산모듈에서, 시간이 t1에서의 최종특이점 및 시간이 t2에서의 상기 최종특이점의 위치변화를 확인하는 단계(S150); 및
(f) 상기 (e) 단계에서의 상기 최종특이점의 위치변화를 통해, x방향 및 y방향의 속도가 각각 연산되는 단계(S160); 를 더 포함하는,
방법.
The method of claim 6,
Steps (a) to (d) are performed at times t1 and t2, respectively,
(e) checking the final singularity at time t1 and the location change of the final singularity at time t2 in the flow rate calculation module (S150); and
(f) calculating speeds in the x-direction and the y-direction, respectively, through the positional change of the final singularity in step (e) (S160); Including more,
method.
상기 (e) 단계에서, 상기 유속연산모듈은, 제m 프레임에서의 최종특이점 및 제m+1 프레임에서의 최종특이점을 이용하는,
방법. The method of claim 7,
In the step (e), the flow rate calculation module uses the final singularity in the mth frame and the final singularity in the m+1th frame,
method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200151951A KR102504280B1 (en) | 2020-11-13 | 2020-11-13 | Image Registration Technique of Hyperspectral Image using Optical Flow Algorithm |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200151951A KR102504280B1 (en) | 2020-11-13 | 2020-11-13 | Image Registration Technique of Hyperspectral Image using Optical Flow Algorithm |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220065435A KR20220065435A (en) | 2022-05-20 |
| KR102504280B1 true KR102504280B1 (en) | 2023-02-27 |
Family
ID=81798541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200151951A KR102504280B1 (en) | 2020-11-13 | 2020-11-13 | Image Registration Technique of Hyperspectral Image using Optical Flow Algorithm |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102504280B1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101996992B1 (en) | 2018-11-13 | 2019-07-08 | 주식회사 하이드로셈 | Apparatus and Method for Measuring Flow Velocity of River using Optical Flow Image Processing |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5213212B2 (en) | 2006-08-17 | 2013-06-19 | 学校法人東京理科大学 | Flow rate calculation system, flow rate calculation program, and flow rate calculation method |
| KR102113791B1 (en) | 2018-12-26 | 2020-05-21 | 단국대학교 산학협력단 | Flow estimation method of streams based on non-uniform flow with remote sensed imagery |
| KR102169687B1 (en) * | 2019-01-03 | 2020-10-26 | 단국대학교 산학협력단 | Method for acquisition of hyperspectral image using an unmanned aerial vehicle |
| KR102164522B1 (en) * | 2019-01-03 | 2020-10-13 | 단국대학교 산학협력단 | Method for estimation of depth of water using hyperspectral image |
| KR102142616B1 (en) * | 2019-01-03 | 2020-08-10 | 단국대학교 산학협력단 | Method for utilizing of hyperspectral image using optimal band ratio |
-
2020
- 2020-11-13 KR KR1020200151951A patent/KR102504280B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101996992B1 (en) | 2018-11-13 | 2019-07-08 | 주식회사 하이드로셈 | Apparatus and Method for Measuring Flow Velocity of River using Optical Flow Image Processing |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220065435A (en) | 2022-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10733751B2 (en) | Displacement detecting apparatus and displacement detecting method | |
| RU2529594C1 (en) | Calibration device, distance measurement system, calibration method and calibration programme | |
| CN109559348B (en) | Bridge non-contact deformation measurement method based on feature point tracking | |
| CN108986070B (en) | Rock crack propagation experiment monitoring method based on high-speed video measurement | |
| US8718403B2 (en) | Positional measurement of a feature within an image | |
| JP2017215306A (en) | Displacement detection device and displacement detection method | |
| CN112798811B (en) | Speed measurement method, device and equipment | |
| EP2372652B1 (en) | Method for estimating a plane in a range image and range image camera | |
| CN107589069B (en) | Non-contact type measuring method for object collision recovery coefficient | |
| EP1459035B1 (en) | Method for determining corresponding points in stereoscopic three-dimensional measurements | |
| US10643338B2 (en) | Object detection device and object detection method | |
| CN113658241A (en) | Monocular structured light depth recovery method, electronic device and storage medium | |
| Depaola et al. | Uav navigation with computer vision–flight testing a novel visual odometry technique | |
| US9478032B2 (en) | Image monitoring apparatus for estimating size of singleton, and method therefor | |
| CN112418251B (en) | Infrared body temperature detection method and system | |
| KR102504280B1 (en) | Image Registration Technique of Hyperspectral Image using Optical Flow Algorithm | |
| CN112699748A (en) | Human-vehicle distance estimation method based on YOLO and RGB image | |
| CN109470269B (en) | Calibration method, calibration equipment and calibration system for space target measuring mechanism | |
| JP2010009236A (en) | Plane area estimation device and program | |
| CN114879168A (en) | Laser radar and IMU calibration method and system | |
| Podbreznik et al. | Influence of temperature variations on calibrated cameras | |
| CN114509018A (en) | Full-field real-time bridge deflection measurement method | |
| CN114266835A (en) | Deformation monitoring control method and system for non-measuring camera | |
| JP4674316B2 (en) | Position detection apparatus, position detection method, and position detection program | |
| CN112529936B (en) | Monocular sparse optical flow algorithm for outdoor unmanned aerial vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |