KR20220065435A - 옵티컬 플로우를 활용한 초분광영상의 영상정합 방법 - Google Patents

옵티컬 플로우를 활용한 초분광영상의 영상정합 방법 Download PDF

Info

Publication number
KR20220065435A
KR20220065435A KR1020200151951A KR20200151951A KR20220065435A KR 20220065435 A KR20220065435 A KR 20220065435A KR 1020200151951 A KR1020200151951 A KR 1020200151951A KR 20200151951 A KR20200151951 A KR 20200151951A KR 20220065435 A KR20220065435 A KR 20220065435A
Authority
KR
South Korea
Prior art keywords
singularity
hyperspectral
singular point
image
determined
Prior art date
Application number
KR1020200151951A
Other languages
English (en)
Other versions
KR102504280B1 (ko
Inventor
김동수
유호준
Original Assignee
단국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 단국대학교 산학협력단 filed Critical 단국대학교 산학협력단
Priority to KR1020200151951A priority Critical patent/KR102504280B1/ko
Publication of KR20220065435A publication Critical patent/KR20220065435A/ko
Application granted granted Critical
Publication of KR102504280B1 publication Critical patent/KR102504280B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은, 하천 유속측정 현장의 초분광영상을 획득하는 초분광촬영모듈(110)로서, 상기 초분광영상은 동일한 관측대상에 대해, n개의 밴드비를 갖는, 초분광촬영모듈(110); 상기 초분광촬영모듈(110)로부터 n개의 밴드비 각각에 대한 초분광영상을 전송받고, 상기 n개의 초분광영상 각각에 대해, 기설정된 방식으로 특이점검출을 수행하며, 특이점으로 판단된 지점의 위치정보를 특이점저장부(122)에 저장하는, 특이점연산모듈(120); 및 제1 내지 제n 초분광영상으로 구성된 상기 n개의 초분광영상을 이용하여 최종특이점을 결정하는 특이점결정모듈(130); 을 포함하며, 상기 특이점결정모듈(130)은, 상기 제n 초분광영상에서 특이점으로 결정된 지점의 위치정보에 대해, 상기 제1 내지 제n 초분광영상에서, 상기 위치정보를 특이점으로 중복 판단한 횟수를 카운팅하며, 상기 카운팅된 횟수를 이용하여 기설정된 방식으로 상기 위치정보를 최종특이점으로 결정하는, 영상정합 시스템을 제공한다.

Description

옵티컬 플로우를 활용한 초분광영상의 영상정합 방법{Image Registration Technique of Hyperspectral Image using Optical Flow Algorithm}
본 발명은 초분광영상의 후처리에 관한 것으로, 더욱 상세하게는 자동비행이 가능한 드론과 초분광 센서를 통해 취득된 초분광영상의 기하 보정에 따라 발생되는 공간적인 오차를 최소화시키는 영상정합 기술의 최적화된 방법에 관한 것이다.
원격탐사는 관측하고자 하는 대상의 태양광에 의한 반사도를 측정하여 관측대상의 특성을 파악하는 학문이다. 원격탐사는 관측을 위한 센서와 센서를 탑재하여 이동하는 플랫폼으로 구성된다. 전통적으로 원격탐사에 사용되는 센서는 광학센서로 가시광선에 해당하는 적색, 청색, 녹색에 해당하는 영상을 측정하며, 플랫폼은 위성, 비행기를 활용하고 상대적으로 고도가 높은 곳에서 관측을 실시한다. 따라서 하천을 대상으로 원격탐사를 수행할 경우, 상대적으로 높은 고도에서 관측하여 하천에 대한 공간적인 해상도가 급격히 떨어지는 문제점이 있었다. 하지만 최근 드론기술이 발전함에 따라 하천에서 원격탐사를 수행하는 하천원격탐사 분야가 급격히 발달하기 시작하였다.
하지만, 기존의 높은 고도에서 수행되는 원격탐사 기법을 드론에 적용할 경우, 드론이나 센서에 탑재된 GPS의 공간적인 오차가 고고도에 비해 상대적으로 저고도에서 관측된 결과에 민감하게 발생한다. 영상을 구성하는 하나의 지점이 가지는 물리적 크기는 고도에 비례하기 때문에, 저고도에서 관측된 지점의 물리적인 크기 또한 작아져 GPS의 공간적인 오차에 의해 상대적으로 큰 오차율을 보이게 되는 것이다. 특히, 하천에서 관측되는 수심, 유속, 하상고 등의 하천특성은 일반적인 GPS와 같거나 더욱 정확한 공간정확도를 보여주기 때문에 하천원격탐사에서는 보다 정밀한 관측자료의 공간정확도를 요구한다. 즉 하천을 대상으로 하는 하천원격탐사의 경우, 더욱 정밀한 공간정확도가 요구되는 것이다.
현재 하천원격탐사에서 주로 활용되는 센서는 광학센서로, 이를 통해 측정된 광학영상은 과거에 비해 수집하기 수월해졌으며, 발달된 컴퓨터 하드웨어 성능과 비전 기술 등을 통해 손쉽게 후처리가 가능해졌다. 하지만 광학영상은 적색, 녹색, 청색 광원의 3요소만 측정하기 때문에, 광학영상으로 원격탐사를 수행할 수 있는 영역과 범위가 제한적이다. 이에 태양광에 대한 반사도를 연속적인 파장별로 구분하여 촬영할 수 있는 초분광영상이 하천원격탐사에 도입되고 있다. 특히, 초분광영상은 일반광학영상에 비해 수십 배에 해당하는 파장으로 구성되어 있어, 단일 관측자료로 다수의 특성을 파악할 수 있는 것으로 알려져 있다.
하지만, 하천원격탐사에서 드론 기반의 초분광영상의 취득은 아직 도입초기에 머무르고 있으며, 초분광영상이 가지는 특성으로 인해 방대하고 분석하기 까다로운 자료구조로 인해 적용사례가 많지 않은 실정이다. 특히, 기존 원격탐사에서 적용되던 영상정합기술을 그대로 초분광영상에 적용하여 낮은 공간정확도를 보이고 있다. 하천원격탐사에서는 높은 수준의 공간정확도를 요구하기 때문에 기존의 영상정합 기술로는 높은 수준의 공간정확도를 요구하는 하천원격탐사에 초분광영상을 활용할 수 없다.
기존의 원격탐사에서 수행되는 영상정합 기술은 높은 수준의 공간정확도를 가지는 기초영상(base image)의 특이점을 찾아내고, 이 특이점이 영상정합을 적용하고자 하는 대상영상(target image)과 일치하는 위치를 찾아내는 기술이다. 영상정합에 주로 사용되는 알고리즘은 영상조각 일치법(Template Matching)이다. 영상조각 일치법은 매개변수로서 탐색영역(Search window)과 상관영역(Interrogation area)을 요구한다. 탐색영역과 상관영역이 주어지면, 탐색영역 내에서 상관영역의 위치를 이동 시켜 기초영상과 대상영상의 상호상관계수(Cross-correlation coefficient)를 산정한다. 산정된 상호상관계수는 탐색영역과 동일한 크기의 상관계수 지도(Correlation map)을 산출할 수 있으며, 상관계수 지도에서 가장 1과 가까운 위치가 기초영상의 특이점과 대응하는 대상영상의 특이점이 된다. 이를 통해 다수의 기초영상과 대응영상에 대한 특이점을 이용하여 기하하적인 관계를 구축하여 최종적으로 2차원 영상변환을 통해 영상정합이 마무리 된다.
이와 같은 종래의 영상정합 기술은 분석 과정이 복잡하고, 상관영역과 대상영역을 매개변수로 가지고 있어 사용자의 경험에 따라 그 결과가 상이하게 변하는 불확실성을 가지고 있기 때문에 자동분석에 큰 어려움이 있다. 특히, 드론 기반의 초분광영상의 경우 자료의 크기가 매우 크고 구조가 복잡하기 때문에 영상정합에 소요되는 시간이 증가되는 문제점이 있다.
KR 10-2113791 B1 JP 2008-46023 A
본 발명은 전술한 한계를 극복하기 위해 영상조각 일치법에 비해 계산속도가 빠르고, 상대적으로 자동화가 간편한 옵티컬 플로우 방법을 이용한 영상정합 방법을 제안하고자 한다.
상기와 같은 과제를 해결하기 위한 본 발명은, 하천 유속측정 현장의 초분광영상을 획득하는 초분광촬영모듈(110)로서, 상기 초분광영상은 동일한 관측대상에 대해, n개의 밴드비를 갖는, 초분광촬영모듈(110); 상기 초분광촬영모듈(110)로부터 n개의 밴드비 각각에 대한 초분광영상을 전송받고, 상기 n개의 초분광영상 각각에 대해, 기설정된 방식으로 특이점검출을 수행하며, 특이점으로 판단된 지점의 위치정보를 특이점저장부(122)에 저장하는, 특이점연산모듈(120); 및 제1 내지 제n 초분광영상으로 구성된 상기 n개의 초분광영상을 이용하여 최종특이점을 결정하는 특이점결정모듈(130); 을 포함하며, 상기 특이점결정모듈(130)은, 상기 제n 초분광영상에서 특이점으로 결정된 지점의 위치정보에 대해, 상기 제1 내지 제n 초분광영상에서, 상기 위치정보를 특이점으로 중복 판단한 횟수를 카운팅하며, 상기 카운팅된 횟수를 이용하여 기설정된 방식으로 상기 위치정보를 최종특이점으로 결정하는, 영상정합 시스템을 제공한다.
또한, 상기 특이점연산모듈(120)에서, 상기 기설정된 방식은 옵티컬 플로우(Optical Flow) 방식으로써, 분석대상인 상기 제n 초분광영상에 대해, 기설정된 형태의 탐색영역(Search Window)을 결정하며, 상기 탐색영역 내에서, 기설정된 형태의 상관영역(Interrogation Area)을 이동시키면서, 특이점검출을 수행할 수 있다.
또한, 상기 상관영역은, 기설정된 방식에 의해, 수평(Flat), 모서리(Edge) 및 코너(Corner) 중 적어도 어느 하나를 포함하는 상태로 구분되고, 상기 코너존 상태가 존재할 경우, 상기 상관영역 내에 특이점이 있는 것으로 판단하되, 상기 특이점과 대응되는 위치정보를 상기 특이점에 매칭시킬 수 있다.
또한, 상기 기설정된 방식은, 기설정된 수식에 의해, 행렬식으로 변형하되, 상기 상관영역의 형상을 주성분 분석을 통해, 상기 행렬식의 두 고유값(Eigenvalue)을 산출하며, 상기 두 고유값의 크기를 이용하여, 상기 수평존, 모서리존 및 코너존으로 구분할 수 있다.
또한, 상기 특이점결정모듈(130)에서, 상기 카운팅된 횟수를 이용하는 기설정된 방식은, 총 n개 대비 상기 카운팅된 횟수의 비율값을 통해 결정하되, 상기 비율값이 기설정된 값 이상일 경우, 상기 제n 초분광영상에서 특이점으로 결정된 지점의 위치를 최종특이점으로 결정할 수 있다.
또한, 본 발명은 전술한 영상정합 시스템을 이용한 방법으로서, (a) 상기 초분광촬영모듈(110)을 통해, 제1 내지 제n 밴드비를 갖는 n개의 초분광영상을 각각 획득하는 단계(S110); (b) 상기 특이점연산모듈(120)로부터, 상기 n개의 초분광영상 각각에 대해, 기설정된 방식으로 특이점검출을 수행하는 단계로서, 상기 기설정된 방식은 옵티컬 플로우(Optical Flow) 방식으로써, 분석대상인 상기 제n 초분광영상에 대해, 기설정된 형태의 탐색영역(Search Window)을 결정하며, 상기 탐색영역 내에서, 기설정된 형태의 상관영역(Interrogation Area)을 이동시키면서, 특이점검출을 수행하는, 단계(S120); (c) 상기 특이점결정모듈(130)에서, 상기 제n 초분광영상에서 특이점으로 결정된 지점의 위치정보에 대해, 상기 제1 내지 제n 초분광영상에서, 상기 위치정보를 특이점으로 중복 판단한 횟수를 카운팅하는 단계(S130); 및 (d) 상기 (c) 단계에서, 상기 위치정보를 특이점으로 중복 판단한 횟수를 기설정된 방식으로 이용하여 상기 관측대상에 대한, 최종특이점을 결정하는 단계(S140); 를 포함하며, 상기 (d) 단계에서, 상기 기설정된 방식은, 총 n개 대비 상기 카운팅된 횟수의 비율값을 통해 결정하되, 상기 비율값이 기설정된 값 이상일 경우, 상기 제n 초분광영상에서 특이점으로 결정된 지점의 위치를 최종특이점으로 결정하는, 방법을 제공한다.
또한, 상기 (a) 내지 (d) 단계는, 시간이 t1 및 t2에서 각각 수행되며, (e) 유속연산모듈에서, 시간이 t1에서의 최종특이점 및 시간이 t2에서의 상기 최종특이점의 위치변화를 확인하는 단계(S150); 및 (f) 상기 (e) 단계에서의 상기 최종특이점의 위치변화를 통해, x방향 및 y방향의 속도가 각각 연산되는 단계(S160); 를 더 포함할 수 있다.
또한, 상기 (e) 단계에서, 상기 유속연산모듈은, 제m 프레임에서의 최종특이점 및 제m+1 프레임에서의 최종특이점을 이용할 수 있다.
본 발명은 다음과 같은 효과가 있다.
첫째, 하드웨어적인 드론기반의 초분광영상 취득시스템과 소프트웨어인 초분광영상 처리방법을 하나의 기술로 통합함으로서, 사용자에 관계없이 높은 품질의 균일한 자료의 수집이 가능한 효과를 발휘한다.
둘째, 초분광영상을 활용한 장기적인 모니터링 수행할 수 있는 기반을 마련할 수 있고, 특히, 향후 드론 및 초분광센서 기술이 발달함에 따라 요구되는 자동화을 향상시킬 수 있다.
셋째, RGB로 구성된 일반 광학영상과는 달리, 태양광에 대한 반사도를 연속적으로 파장별로 구분하여 촬영이 가능한 바, 단일 관측자료로 보다 정밀하고, 정확한 분석이 가능한 효과를 발휘한다.
도 1은 본 발명에 따른 영상정합 시스템의 전체 구성도이다.
도 2는 본 발명에 따른 영상정합 시스템을 이용한 방법의 순서도이다.
도 3은 본 발명에 사용되는 알고리즘이다.
도 4는 본 발명에서 사용되는 옵티컬 플로우 알고리즘이다.
도 5는 본 발명에서 적용한 특이점 검출 시 사용되는 해리스 코너 검출 알고리즘의 특이점 판단을 설명하는 모식도이다.
도 6은 본 발명에서 제시한 초분광영상에서 특이점 검출 과정을 나타낸다.
도 7은 본 발명에서 적용된 옵티컬 플로우 알고리즘 및 종래의 영상정합에 활용되는 영상조각 일치법 적용을 비교하는 모식도이다.
도 8은 본 발명에서 제시된 수정된 옵티컬 플로우와 종래의 옵티컬 플로우의 차이점을 설명하기 위한 사진이다.
도 9는 본 발명의 일 실시예에 따른 영상정합 시스템을 이용한 결과를 나타내는 사진이다.
이하에서는 도면을 참조하여 본 발명에 따른 영상정합 시스템 및 이를 이용한 방법을 설명한다.
도 1을 참조하면, 영상정합 시스템은, 초분광촬영모듈(110), 특이점연산모듈(120) 및 특이점결정모듈(130)로 구성된다.
초분광촬영모듈(110)은 하천 유속측정 현장의 초분광영상을 획득하되, 초분광영상은 동일한 관측대상에 대해, n개의 밴드비를 갖도록 구성된다. 즉, 초분광촬영모듈(110)로부터 각각 상이한 밴드비를 갖는 n개의 초분광영상을 획득하도록 구성된다.
특이점연산모듈(120)은 초분광촬영모듈(110)로부터 n개의 밴드비 각각에 대한 초분광영상을 전송받고, n개의 초분광영상 각각에 대해, 기설정된 방식으로 특이점검출을 수행하며, 특이점으로 판단된 지점의 위치정보를 특이점저장부(122)에 저장한다. 기설정된 방식은 옵티컬 플로우(Optical Flow) 방식으로써, 분석대상인 상기 제n 초분광영상에 대해, 기설정된 형태의 탐색영역(Search Window)을 결정하며, 상기 탐색영역 내에서, 기설정된 형태의 상관영역(Interrogation Area)을 이동시키면서, 특이점검출을 수행하도록 구성된다.
도 7을 참조하여, 보다 구체적으로 설명하면, 영상정합에 주로 사용되는 영상조각 일치법(Template Matching)과 본 발명에서 적용한 옵티컬 플로우(Optical Flow)가 주어진 두 영상에서 움직임을 추적하는 방법을 나타내고 있다. 영상조각 일치법은 주어진 탐색영역에서 지정된 상관영역을 이동시키며 해당 위치의 상관계수를 산정함으로서 공간적인 상관계수 맵을 산출한다. 그 후 기초영상 상의 특이점과 대응하는 대상영상 상의 특이점 위치는 상관계수 맵 상의 가장 큰 위치를 확인함으로서 알 수 있다. 옵티컬 플로우는 주어진 상관영역에 대한 기초영상과 대상영상의 x, y, t(시간) 기울기 영상 산정을 통해 유속을 직접적으로 산출한다.
이와 같이, 탐색영역과 상관영역의 크기에 따라 영상조각 일치법은 계산량이 기하급수적으로 늘어나는 것에 비해, 옵티컬 플로우는 상관영역의 크기만을 매개변수로 활용하기 때문에, 상대적으로 계산량이 적게 들어 빠르게 결과를 도출할 수 있다. 즉, 영상조각 일치법에 비해 옵티컬 플로우가 적은 매개변수로 인한 사용자에 따른 불확실성을 감소, 빠른 계산속도, 자동화 가능성을 확보할 수 있다.
도 5를 참조하면, 상관영역은 기설정된 방식에 의해, 수평(Flat), 모서리(Edge) 및 코너(Corner) 중 적어도 어느 하나를 포함하는 상태로 구분되고, 코너존 상태가 존재할 경우, 상기 상관영역 내에 특이점이 있는 것으로 판단하되, 상기 특이점과 대응되는 위치정보를 상기 특이점에 매칭하도록 구성된다. 여기서, 기설정된 방식은 기설정된 수식에 의해, 행렬식으로 변형하되, 상관영역의 형상을 주성분 분석을 통해, 상기 행렬식의 두 고유값(Eigenvalue)을 산출하며, 상기 두 고유값의 크기를 이용하여, 상기 수평존, 모서리존 및 코너존으로 구분한다.
이와 관련하여, 본 발명은 분석지점을 중심으로 한 분석영역의 영상을 통해 픽셀유속을 산정하기 위하여 다음과 같은 픽셀 유속 산출 구성을 포함한다. 객체의 밝기 값은 짧은 시간이 지나도 변하지 않는다라는 가정과 각 영상의 움직임은 매우 작아서 픽셀 유속 산정을 위한 식을 수학식 1에서와 같이 정의할 수 있다.
Figure pat00001
여기서, I는 영상의 픽셀값, 는 X방향 좌표, 는 Y방향 좌표, t는 시간이다. 수학식 1의 우항을 테일러 전개를 수행하고 다차항은 생략한다.
Figure pat00002
Figure pat00003
수학식 1 및 2를 동시에 만족하기 위해, 수학식 2의 우항의 미분식의 합은 0이 되어야 한다. 따라서, 따라서, 특정 픽셀의 유속을 산정하기 위한 식은 수학식 4로 정의된다.
Figure pat00004
Figure pat00005
여기서, q n 은 픽셀, n은 영상의 픽셀 개수이다. X, Y방향 미분 및 시간 미분은 각각 수학식 6, 수학식 7, 수학식 8과 같다.
Figure pat00006
Figure pat00007
Figure pat00008
특이점 검출을 위한 세 가지 상태와 그 상태를 구분하기 위한 표로 구성되어 있다. 특이점 검출 시 세 가지 상태는 수평(Flat), 모서리(Edge), 코너(Corner)이다. 이러한 특이점 검출을 위해서 영상 내의 임의의 지점에 대하여, 상관영역(W)을 u, v만큼 이동시켰을 때의 지점 i의 빛에 세기에 대한 영역 내의 편차는 수학식 9와 같다.
Figure pat00009
여기서, E는 상관영역(W) 내의 편차, I는 영상의 픽셀값, x는 X좌표, y는 Y좌표이다. 한편, 임의의 지점(xi, yi)와 상관영역(W)을 u,v 만큼 이동시켰을 때의 편차를 테일러 전개를 수행하고 다차항을 생략하면 수학식 10과 같다.
Figure pat00010
따라서, 수학식 9는 수학식 11과 같이 표현할 수 있다.
Figure pat00011
수학식 11을 정리하면 수학식 12와 같고, 이를 행렬식으로 표현하면 수학식 13와 같다.
Figure pat00012
Figure pat00013
수학식 14와 같이 수학식 13의 2Х2 행렬을 M, 행렬 M의 고유값(Eigenvalue)을 각각 λ1, λ2라 할 때, λ1, λ2는 임의의 지점 에 대한 상관영역(W)의 형상을 주성분 분석을 통해 새로운 축으로 나타내고 각 축에 대한 크기를 나타내는 값이다. 행렬 M에 대한 두 고유값 λ1, λ2이 모두 작은 값이면 수평(Flat), 모두 큰 값이면 특이점(Corner), 둘 중 하나가 큰 값이면 모서리(Edge)로 판별할 수 있다. 이를 통해 특이점으로 판별된 임의의 지점인 (xi, yi)는 특이점으로 추출되어 향후 옵티컬 플로우를 분석할 위치로 주어진다.
Figure pat00014
특이점결정모듈(130)은 제1 내지 제n 초분광영상으로 구성된 상기 n개의 초분광영상을 이용하여 최종특이점을 결정한다. 여기서, 특이점결정모듈(130)은, 제n 초분광영상에서 특이점으로 결정된 지점의 위치정보에 대해, 제1 내지 제n 초분광영상에서, 위치정보를 특이점으로 중복 판단한 횟수를 카운팅하며, 카운팅된 횟수를 이용하여 기설정된 방식으로 상기 위치정보를 최종특이점으로 결정한다.
일 예시로, 제1 내지 제n 초분광영상 각각의 특이점의 위치정보를 확인하고, 이들이 얼마나 중복되는지를 확인한다. 제1 초분광영상의 특이점 중 하나가 제1 위치정보(X1, Y1)인 경우, 상기 제1 위치정보(X1, Y1)는 나머지 초분광영상인 제2 내지 제n 초분광영상에 모두 포함되는 것이 가장 바람직하다. 즉, 밴드비에 따라, 특이점 결정여부가 달라지지 않아야 하나, 각각의 밴드비가 상이함에 따라, 이와 같은 결과를 얻기는 그리 쉽지 않다. 이에 따라, 총 n개 대비 상기 카운팅된 횟수의 비율값을 통해 결정하며, 비율값이 기설정된 값 이상일 경우, 상기의 제1 위치정보(X1, Y1)는 최종특이점으로 결정한다. 이 때, 상기 비율은 0.8로 설정되는 것이 바람직하다. 다만, 이는 사용자 내지 설계자의 선택에 따라 달라질 수 있고, 초분광영상의 해상도에 따라서도 달라질 수 있다.
이하에서는 도 3을 참조하여, 본 발명에 따른 영상정합 시스템을 이용한 방법을 설명한다.
본 방법은 단계(S110) 내지 단계(S140)을 포함한다.
단계(S110)은 초분광촬영모듈(110)을 통해, 제1 내지 제n 밴드비를 갖는 n개의 초분광영상을 각각 획득하는 단계이다.
단계(S120)은 특이점연산모듈(120)로부터, 상기 n개의 초분광영상 각각에 대해, 기설정된 방식으로 특이점검출을 수행하는 단계로서, 상기 기설정된 방식은 옵티컬 플로우(Optical Flow) 방식으로써, 분석대상인 상기 제n 초분광영상에 대해, 기설정된 형태의 탐색영역(Search Window)을 결정하며, 상기 탐색영역 내에서, 기설정된 형태의 상관영역(Interrogation Area)을 이동시키면서, 특이점검출을 수행하는, 단계이다.
단계(S130)은 특이점결정모듈(130)에서, 상기 제n 초분광영상에서 특이점으로 결정된 지점의 위치정보에 대해, 상기 제1 내지 제n 초분광영상에서, 상기 위치정보를 특이점으로 중복 판단한 횟수를 카운팅하는 단계이다.
단계(S140)은 단계(S130)에서, 위치정보를 특이점으로 중복 판단한 횟수를 기설정된 방식으로 이용하여 상기 관측대상에 대한, 최종특이점을 결정하는 단계이다. 단계(S140)에서의 기설정된 방식은, 총 n개 대비 상기 카운팅된 횟수의 비율값을 통해 결정하되, 비율값이 기설정된 값 이상일 경우, 제n 초분광영상에서 특이점으로 결정된 지점의 위치를 최종특이점으로 결정한다.
또한, 본 방법은 단계(S150) 및 단계(S160)을 더 포함할 수 있다.
단계(S150)은 유속연산모듈(미도시)에서, 시간이 t1에서의 최종특이점 및 시간이 t2에서의 상기 최종특이점의 위치변화를 확인하는 단계이다. 이를 위해, 단계(S110) 내지 단계(S140)은 시간이 t1 및 t2에서 각각 반복하여 수행된다.
단계(S160)은 단계(S150)에서의 최종특이점의 위치변화를 통해, x방향 및 y방향의 속도가 각각 연산되는 단계이다. 본 발명은 최종적으로, 속도(예로, 하천의 바닥속도(bed load velocity))를 구하기 위함인 바, 최종특이점의 위치변화를 이용하여 이들을 연산할 수 있으며, 단계(S150) 및 단계(S160)은 속도 연산과 관련된 단계이다.
한편, 단계(S150)에서, 유속연산모듈은, 제m 프레임에서의 최종특이점 및 제m+1 프레임에서의 최종특이점을 이용할 수 있다. 즉, 시간 단위로 연산을 하는 것이 아니라, 프레임 단위로 연산을 수행함으로써, 연산속도를 향상시킬 수 있다.
도 8을 참고하여 본 발명에서 제시하는 수정된 옵티컬 플로우에 대해 설명하면, 기존의 픽셀 유속을 산정할 경우, 각 방향 유속 성분의 분모가 dt임을 착안하여, 이를 1 Frame으로 전환해줄 경우, 옵티컬 플로우의 결과는 프레임당 변위로 환산할 수 있다.
이상, 본 명세서에는 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 도면에 도시한 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당업자라면 본 발명의 실시예로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 보호범위는 특허청구범위에 의해서 정해져야 할 것이다.
110: 초분광촬영모듈
120: 특이점연산모듈
130: 특이점결정모듈

Claims (8)

  1. 하천 유속측정 현장의 초분광영상을 획득하는 초분광촬영모듈(110)로서, 상기 초분광영상은 동일한 관측대상에 대해, n개의 밴드비를 갖는, 초분광촬영모듈(110);
    상기 초분광촬영모듈(110)로부터 n개의 밴드비 각각에 대한 초분광영상을 전송받고, 상기 n개의 초분광영상 각각에 대해, 기설정된 방식으로 특이점검출을 수행하며, 특이점으로 판단된 지점의 위치정보를 특이점저장부(122)에 저장하는, 특이점연산모듈(120); 및
    제1 내지 제n 초분광영상으로 구성된 상기 n개의 초분광영상을 이용하여 최종특이점을 결정하는 특이점결정모듈(130); 을 포함하며,
    상기 특이점결정모듈(130)은,
    상기 제n 초분광영상에서 특이점으로 결정된 지점의 위치정보에 대해, 상기 제1 내지 제n 초분광영상에서, 상기 위치정보를 특이점으로 중복 판단한 횟수를 카운팅하며, 상기 카운팅된 횟수를 이용하여 기설정된 방식으로 상기 위치정보를 최종특이점으로 결정하는,
    영상정합 시스템.
  2. 청구항 1에 있어서,
    상기 특이점연산모듈(120)에서,
    상기 기설정된 방식은 옵티컬 플로우(Optical Flow) 방식으로써,
    분석대상인 상기 제n 초분광영상에 대해, 기설정된 형태의 탐색영역(Search Window)을 결정하며, 상기 탐색영역 내에서, 기설정된 형태의 상관영역(Interrogation Area)을 이동시키면서, 특이점검출을 수행하는,
    영상정합 시스템.
  3. 청구항 2에 있어서,
    상기 상관영역은,
    기설정된 방식에 의해, 수평(Flat), 모서리(Edge) 및 코너(Corner) 중 적어도 어느 하나를 포함하는 상태로 구분되고,
    상기 코너존 상태가 존재할 경우, 상기 상관영역 내에 특이점이 있는 것으로 판단하되, 상기 특이점과 대응되는 위치정보를 상기 특이점에 매칭시키는,
    영상정합 시스템.
  4. 청구항 3에 있어서,
    상기 기설정된 방식은,
    기설정된 수식에 의해, 행렬식으로 변형하되,
    상기 상관영역의 형상을 주성분 분석을 통해, 상기 행렬식의 두 고유값(Eigenvalue)을 산출하며, 상기 두 고유값의 크기를 이용하여, 상기 수평존, 모서리존 및 코너존으로 구분하는,
    영상정합 시스템.
  5. 청구항 1에 있어서,
    상기 특이점결정모듈(130)에서,
    상기 카운팅된 횟수를 이용하는 기설정된 방식은,
    총 n개 대비 상기 카운팅된 횟수의 비율값을 통해 결정하되, 상기 비율값이 기설정된 값 이상일 경우, 상기 제n 초분광영상에서 특이점으로 결정된 지점의 위치를 최종특이점으로 결정하는,
    영상정합 시스템.
  6. 청구항 1에 따른 영상정합 시스템을 이용한 방법으로서,
    (a) 상기 초분광촬영모듈(110)을 통해, 제1 내지 제n 밴드비를 갖는 n개의 초분광영상을 각각 획득하는 단계(S110);
    (b) 상기 특이점연산모듈(120)로부터, 상기 n개의 초분광영상 각각에 대해, 기설정된 방식으로 특이점검출을 수행하는 단계로서,
    상기 기설정된 방식은 옵티컬 플로우(Optical Flow) 방식으로써, 분석대상인 상기 제n 초분광영상에 대해, 기설정된 형태의 탐색영역(Search Window)을 결정하며, 상기 탐색영역 내에서, 기설정된 형태의 상관영역(Interrogation Area)을 이동시키면서, 특이점검출을 수행하는, 단계(S120);
    (c) 상기 특이점결정모듈(130)에서, 상기 제n 초분광영상에서 특이점으로 결정된 지점의 위치정보에 대해, 상기 제1 내지 제n 초분광영상에서, 상기 위치정보를 특이점으로 중복 판단한 횟수를 카운팅하는 단계(S130); 및
    (d) 상기 (c) 단계에서, 상기 위치정보를 특이점으로 중복 판단한 횟수를 기설정된 방식으로 이용하여 상기 관측대상에 대한, 최종특이점을 결정하는 단계(S140); 를 포함하며,
    상기 (d) 단계에서, 상기 기설정된 방식은, 총 n개 대비 상기 카운팅된 횟수의 비율값을 통해 결정하되, 상기 비율값이 기설정된 값 이상일 경우, 상기 제n 초분광영상에서 특이점으로 결정된 지점의 위치를 최종특이점으로 결정하는,
    방법.
  7. 청구항 6에 있어서,
    상기 (a) 내지 (d) 단계는, 시간이 t1 및 t2에서 각각 수행되며,
    (e) 유속연산모듈에서, 시간이 t1에서의 최종특이점 및 시간이 t2에서의 상기 최종특이점의 위치변화를 확인하는 단계(S150); 및
    (f) 상기 (e) 단계에서의 상기 최종특이점의 위치변화를 통해, x방향 및 y방향의 속도가 각각 연산되는 단계(S160); 를 더 포함하는,
    방법.
  8. 청구항 7에 있어서,
    상기 (e) 단계에서, 상기 유속연산모듈은, 제m 프레임에서의 최종특이점 및 제m+1 프레임에서의 최종특이점을 이용하는,
    방법.
KR1020200151951A 2020-11-13 2020-11-13 옵티컬 플로우를 활용한 초분광영상의 영상정합 방법 KR102504280B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200151951A KR102504280B1 (ko) 2020-11-13 2020-11-13 옵티컬 플로우를 활용한 초분광영상의 영상정합 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200151951A KR102504280B1 (ko) 2020-11-13 2020-11-13 옵티컬 플로우를 활용한 초분광영상의 영상정합 방법

Publications (2)

Publication Number Publication Date
KR20220065435A true KR20220065435A (ko) 2022-05-20
KR102504280B1 KR102504280B1 (ko) 2023-02-27

Family

ID=81798541

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200151951A KR102504280B1 (ko) 2020-11-13 2020-11-13 옵티컬 플로우를 활용한 초분광영상의 영상정합 방법

Country Status (1)

Country Link
KR (1) KR102504280B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008046023A (ja) 2006-08-17 2008-02-28 Tokyo Univ Of Science 流量算出装置、流量算出システム、流量算出プログラム及び流量算出方法
KR101996992B1 (ko) * 2018-11-13 2019-07-08 주식회사 하이드로셈 옵티컬 플로우 영상 처리를 이용하는 하천 유속 측정 장치 및 방법
KR102113791B1 (ko) 2018-12-26 2020-05-21 단국대학교 산학협력단 원격탐사 영상과 부등류분석을 기반으로 하는 하천의 유량연산방법
KR20200084973A (ko) * 2019-01-03 2020-07-14 단국대학교 산학협력단 밴드비를 이용한 초분광영상 활용 방법
KR20200084974A (ko) * 2019-01-03 2020-07-14 단국대학교 산학협력단 초분광영상을 이용한 수심 추정 방법
KR20200084972A (ko) * 2019-01-03 2020-07-14 단국대학교 산학협력단 무인비행체를 이용한 초분광영상 획득 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008046023A (ja) 2006-08-17 2008-02-28 Tokyo Univ Of Science 流量算出装置、流量算出システム、流量算出プログラム及び流量算出方法
KR101996992B1 (ko) * 2018-11-13 2019-07-08 주식회사 하이드로셈 옵티컬 플로우 영상 처리를 이용하는 하천 유속 측정 장치 및 방법
KR102113791B1 (ko) 2018-12-26 2020-05-21 단국대학교 산학협력단 원격탐사 영상과 부등류분석을 기반으로 하는 하천의 유량연산방법
KR20200084973A (ko) * 2019-01-03 2020-07-14 단국대학교 산학협력단 밴드비를 이용한 초분광영상 활용 방법
KR20200084974A (ko) * 2019-01-03 2020-07-14 단국대학교 산학협력단 초분광영상을 이용한 수심 추정 방법
KR20200084972A (ko) * 2019-01-03 2020-07-14 단국대학교 산학협력단 무인비행체를 이용한 초분광영상 획득 방법

Also Published As

Publication number Publication date
KR102504280B1 (ko) 2023-02-27

Similar Documents

Publication Publication Date Title
Beckman et al. Deep learning-based automatic volumetric damage quantification using depth camera
US10733751B2 (en) Displacement detecting apparatus and displacement detecting method
RU2529594C1 (ru) Устройство калибровки, система измерения расстояния, способ калибровки и программа калибровки
JP5671281B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム
EP3033875B1 (en) Image processing apparatus, image processing system, image processing method, and computer program
US8107714B2 (en) Methods for detecting and tagging scene changes
WO2014002849A1 (ja) ３次元測定方法、装置及びシステム、並びに画像処理装置
CN107862719A (zh) 相机外参的标定方法、装置、计算机设备和存储介质
CN112798811B (zh) 速度测量方法、装置和设备
CN107589069B (zh) 一种物体碰撞恢复系数的非接触式测量方法
CN111709985B (zh) 一种基于双目视觉的水下目标测距方法
CN108107462A (zh) Rtk与高速相机组合的交通标志杆姿态监测装置及方法
US20160292883A1 (en) Method of estimating the speed of displacement of a camera
CN105387847A (zh) 非接触式测量方法、测量设备及其测量系统
US10643338B2 (en) Object detection device and object detection method
CN113658241A (zh) 单目结构光的深度恢复方法、电子设备及存储介质
CN112699748B (zh) 基于yolo及rgb图像的人车距离估计方法
CN112418251B (zh) 红外体温检测方法及系统
Schweitzer et al. A method for analysis of spatial uncertainty in image based surface velocimetry
KR102504280B1 (ko) 옵티컬 플로우를 활용한 초분광영상의 영상정합 방법
JP2010009236A (ja) 平面領域推定装置及びプログラム
CN114266835A (zh) 一种非量测相机的变形监测控制方法与系统
US11669988B1 (en) System and method for three-dimensional box segmentation and measurement
CN114509018A (zh) 一种全场实时桥梁挠度测量方法
JP2015001791A (ja) 画像解析装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant