KR102462351B1 - 옵티컬 플로우를 활용한 상호상관법의 탐색영역 결정방법 - Google Patents

옵티컬 플로우를 활용한 상호상관법의 탐색영역 결정방법 Download PDF

Info

Publication number
KR102462351B1
KR102462351B1 KR1020200151952A KR20200151952A KR102462351B1 KR 102462351 B1 KR102462351 B1 KR 102462351B1 KR 1020200151952 A KR1020200151952 A KR 1020200151952A KR 20200151952 A KR20200151952 A KR 20200151952A KR 102462351 B1 KR102462351 B1 KR 102462351B1
Authority
KR
South Korea
Prior art keywords
search area
flow velocity
size
provisional
reference point
Prior art date
Application number
KR1020200151952A
Other languages
English (en)
Other versions
KR20220065436A (ko
Inventor
김동수
유호준
Original Assignee
단국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 단국대학교 산학협력단 filed Critical 단국대학교 산학협력단
Priority to KR1020200151952A priority Critical patent/KR102462351B1/ko
Publication of KR20220065436A publication Critical patent/KR20220065436A/ko
Application granted granted Critical
Publication of KR102462351B1 publication Critical patent/KR102462351B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P5/00—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft
    • G01P5/26—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft by measuring the direct influence of the streaming fluid on the properties of a detecting optical wave
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은, 옵티컬 플로우 방식에 적용되는, 탐색영역(Search Window)의 최적크기를 결정하는 방법으로서, (a) 영상촬영모듈(110)에 의해, 대상영상이 촬영되는 단계(S110); (b) 상기 대상영상이 영상전처리모듈(120)로 입력되는 단계로서, 상기 대상영상에 대해, 기설정된 방식으로 적어도 하나의 기준점이 설정되는 단계(S120); (c) 탐색영역연산모듈(130)에서, 상기 기준점에 가탐색영역을 설정한 후, 상기 가탐색영역 내에서, 기설정된 형태의 상관영역(Interrogation Area)을 이동시키면서, 상기 가탐색영역에서의 유속을 연산하는 단계(S130); (d) 상기 (c) 단계를 반복하여 수행하되, 상기 가탐색영역의 크기를 점점 증가시키면서, 상기 가탐색영역에서의 X방향 유속 수렴값 및 Y방향 유속 수렴값을 각각 연산하는 단계(S140); 및 (e) 상기 탐색영역결정모듈(140)에서, 상기 (d) 단계에서의 상기 X방향 유속 수렴값에 최초 도달하는 가탐색영역의 크기 및 상기 Y방향 유속 수렴값에 최초 도달하는 가탐색영역의 크기를 확인함으로써, 기설정된 방식에 의해, 상기 기준점에 대한 탐색영역의 최적크기를 결정하는, 단계(S150); 를 포함하는, 탐색영역 최적크기 결정방법을 제공하는 것이다.

Description

옵티컬 플로우를 활용한 상호상관법의 탐색영역 결정방법{Determination method of the searching window based on optical flow alogorithm}
본 발명은 표면유속 산정을 위해 LSPIV에서 주로 활용되는 상호상관법의 상관영역을 결정하는 방법에 관한 것으로, 더욱 상세하게는 LSPIV를 통해 표면유속을 측정할 때 활용되는 알고리즘인 상호상관법의 탐색영역을 자동으로 결정할 수 있도록 하여, 기존의 발생하는 탐색영역 결정과정에 걸리는 소요시간을 단축하고 이에 따른 불확도를 줄일 수 있는 방법에 관한 것이다.
일반적으로 하천에 흐르는 유수의 유속을 측정하기 위하여 평수시에는 프로펠러 유속계, 컵형 유속계, 또는 전자 유속계 등 검지기를 이용하는 방법들이, 홍수시에는 부자 관측법이 많이 이용되고 있다. 평수시 유속 측정에 이용되는 유속계들은 오직 한 점에서의 유속만을 측정할 수 있을 뿐으로, 와류의 형성이나 유향의 분석 등이 곤란한 문제를 지니고 있다. 따라서, 만일 하천의 전폭에 걸친 유속을 측정하고자 할 경우 많은 시간, 노력, 및 비용이 들게 된다. 한편, 하천에 홍수가 발생할 경우 유속이 빠르고 수심이 깊어 접근하는 데 많은 위험이 수반된다. 이 때문에 프로펠러 유속계나 전자 유속계 등 검지기를 수중에 넣어야 하는 종래의 유속계는 홍수 때에는 사용하기 어려운 단점이 있다.
반면에 홍수 때 많이 이용되는 부자 관측법은 인력의 문제, 기민성의 결여(첨두 유량 결측 가능성이 높은 점), 연속 관측이 불가능한 점, 부자가 흐름의 유속을 정확하게 따라가는가 하는 추수성(追隨性)의 문제, 부자 길이 선택의 문제 등에 의해, 고정확도의 관측을 기대할 수 없는 것이 현실이다. 특히, 소하천은 국가.지방하천과 달리 유역면적이 작고 경사가 급하여 첨두 도달시간이 매우 짧고 흐름동이 복잡해 부자를 이용한 계측방법은 신뢰도가 떨어진다. 더불어 소하천에서는 부자를 이용할 만한 일정길이의 직선구간과 계측을 위한 안전장소를 찾기가 어려워 소하천에서 활용 가능한 비접촉식 계측기술이 요구된다.
현재 우리나라에는 22,823개의 소하천이 전국 각지에 분포하고 있음에도 불구하고 이를 관리할 수 있는 공무원의 수는 절대적으로 부족한 실정이다. 이런 이유로 현재까지 정부가 직접 관리하는 국가하천에서만 계측이 이루어졌는데, 삶의 질 향상에 따른 지역공동체의 소하천 홍수피해저감 요구가 증가하고 있어 적은 인력으로도 계측이 가능한 자동화 계측기술이 요구된다.
따라서, 이러한 계측을 자동화하거나 손쉽게 하는 방법들이 다양하게 모색되어 왔다. 그 중에서 표면 영상 유속 측정법은 종래 방법들의 여러 문제점을 해소할 수 있는 가능성이 높은 방법이다. 표면 영상 유속 측정법이란 하천 표면을 촬영한 항공사진이나 비디오 영상 등에서 하천의 표면 영상을 추출하여 유속을 산정하는 것이다. 표면 영상 유속 측정법은 크게 영상조각 일치법(template pattern matching)을 이용하는 방법과 시공간 영상(STI, spatio-temporal image)을 이용하는 방법으로 나눌 수 있다.
영상조각 일치법은 입자 영상 유속계측법(PIV, Particle Image Velocimetry)에 기반하여, 한 쌍의 영상을 이용하여 하천 표면의 2차원 유속 분포를 계측하는 방법이다. 영상조각 일치법을 이용하는 구체적인 측정법에는 LSPIV(Large Scale Particle Image Velocimetry), 표면영상 유속계측법(SIV, Surface Image Velocimetry), 옵티컬 플로우(Optical Flow) 등이 있다.
한편, 시공간 영상 분석법은 여러 매의 연속된 영상(시공간 영상)을 한꺼번에 분석하여 그 시간 동안의 평균 유속을 분석하는 것이다. 시공간 영상을 이용하는 예로는 시공간영상유속계측법(STIV, Space-Time Image Velocimetry)을 들 수 있다. 다만, STIV는 실용성을 높이기 위해 계측 대상을 주류 방향 성분만으로 한정하여 유속의 횡단 분포를 계측하는 문제점을 지니고 있다.
이와 같은 종래 기술의 유속 측정 방법들은 영상 획득 및 영상 분석 과정이 복잡하고, 참조점 측량이 필요하여 실시간 자동 분석이 어렵다. 특히, 종래의 LSPIV에서 주로 활용되는 영상조각 일치법(template pattern matching)법은 탐색영역을 지정하여, 탐색영역내의 상관영역의 상관계수를 산정하는 방법을 채택하고 있으나, 탐색영역의 크기를 결정하는 기준이 없어 사용자 경험에 따라 그 결과가 달리 나타나는 문제점이 있다.
특히, 표면유속 산정에 경우 LSPIV 분석을 위한 카메라의 성능(해상도, 화소수), 최대유속에 따른 최적 탐색영역 및 상관영역 산정과정에 따라 결과에 불확도로 인해 분석에 소요되는 시간이 증가되고 자동화에 어려움이 있다.
KR 10-1996992 B1 KR 10-2019-0024553 A
본 발명은 표면유속 산정을 위한 LSPIV의 상호상관법 활용시 사용자 경험에 따라 상이한 결과, 자동화 및 불확도 증가 등의 문제점을 해결하는 것을 제안한다.
상기와 같은 과제를 해결하기 위한 본 발명은, 옵티컬 플로우 방식에 적용되는, 탐색영역(Search Window)의 최적크기를 결정하는 방법으로서, (a) 영상촬영모듈(110)에 의해, 대상영상이 촬영되는 단계(S110); (b) 상기 대상영상이 영상전처리모듈(120)로 입력되는 단계로서, 상기 대상영상에 대해, 기설정된 방식으로 적어도 하나의 기준점이 설정되는 단계(S120); (c) 탐색영역연산모듈(130)에서, 상기 기준점에 가탐색영역을 설정한 후, 상기 가탐색영역 내에서, 기설정된 형태의 상관영역(Interrogation Area)을 이동시키면서, 상기 가탐색영역에서의 유속을 연산하는 단계(S130); (d) 상기 (c) 단계를 반복하여 수행하되, 상기 가탐색영역의 크기를 점점 증가시키면서, 상기 가탐색영역에서의 X방향 유속 수렴값 및 Y방향 유속 수렴값을 각각 연산하는 단계(S140); 및 (e) 상기 탐색영역결정모듈(140)에서, 상기 (d) 단계에서의 상기 X방향 유속 수렴값에 최초 도달하는 가탐색영역의 크기 및 상기 Y방향 유속 수렴값에 최초 도달하는 가탐색영역의 크기를 확인함으로써, 기설정된 방식에 의해, 상기 기준점에 대한 탐색영역의 최적크기를 결정하는, 단계(S150); 를 포함하는, 탐색영역 최적크기 결정방법을 제공한다.
또한, 상기 (b) 단계에서, 상기 대상영상에 설정되는 상기 기준점은, 격자 형태로 구성되되, 상기 기준점 각각에 식별좌표가 부여되며, 상기 (c) 및 (d) 단계는, 상기 (b) 단계에서 설정된 모든 기준점에 대해 수행될 수 있다.
또한, 상기 (b) 단계에서, 임의의 기준점으로부터, X방향으로 이웃하는 기준점 사이의 거리 및 Y방향으로 이웃하는 기준점 사이의 거리는 단위거리로써 동일하게 형성될 수 있다.
또한, 상기 (c) 단계에서 설정된 상기 가탐색영역은, 상기 기준점을 중심으로 하는 정사각형 형태로써, 상기 단위거리의 배수만큼 더 크게 증가시키면서, 상기 탐색영역에서의 X방향 유속 수렴값 및 Y방향 유속 수렴값을 각각 연산할 수 있다.
또한, 상기 (e) 단계에서, 상기 기준점에 대한 탐색영역의 최적크기 중 X방향의 크기는, 상기 X방향 유속 수렴값에 최초 도달하는 가탐색영역의 크기로 결정하고, 상기 기준점에 대한 탐색영역의 최적크기 중 Y방향의 크기는, 상기 Y방향 유속 수렴값에 최초 도달하는 가탐색영역의 크기로 결정함으로써, 상기 탐색영역의 최적형태는 직사각형이 될 수 있다.
또한, 상기 (e) 단계에서, 상기 기준점에 대한 탐색영역의 최적크기는, 상기 X방향 유속 수렴값에 최초 도달하는 가탐색영역의 크기 및 상기 Y방향 유속 수렴값에 최초 도달하는 가탐색영역의 크기를 비교하되, 더 큰 값을 갖는 정사각형 형태로 결정할 수 있다.
또한, 상기 (c) 단계에서, 상기 가탐색영역에서의 연산된 유속은, 상기 가탐색영역 내에서 이동하면서 각각 연산된 상기 상관영역의 유속의 평균값으로 결정되며, 상기 유속은 X방향 및 Y방향으로 구분하여 연산될 수 있다.
또한, 상기 (e) 단계 이후, (f) 상기 기준점에 대한 유속을 실측한 후, 상기 기준점에 대한 탐색영역의 최적크기의 오류를 체크하는 단계(S160); 를 더 포함할 수 있다.
본 발명은 다음과 같은 효과가 있다.
첫째, 본 발명은 결과의 일관성 유지 및 불확도를 줄이기 위해 옵티컬 플로우 알고리즘 기반의 최대유속 추정과 다중 피라미드 옵티컬 플로우 알고리즘을 적용한 탐색영역 산정방법으로 구성되는 바, 영상조각 일치법(template pattern matching)과 옵티컬 플로우(optical flow)를 함께 사용하는 하이브리드 방법으로써, 양자의 장점만을 취할 수 있는 효과를 발휘한다.
둘째, 본 발명은 LSPIV를 실제 환경에서 적용함에 있어 촬영 조건 및 환경에 따라 불확도를 감소할 수 있는 토대를 마련할 뿐만 아니라, 사용자에 따른 오차 및 분석에 소요되는 시간을 감소시키는 효과를 발휘한다.
도 1은 본 발명에 따른 탐색영역 최적크기 결정방법의 설명을 위한 전체 구성도이다.
도 2는 본 발명에 따른 탐색영역 최적크기 결정방법의 설명을 위한 모식도이다.
도 3은 본 발명에 따른 탐색영역 최적크기 결정방법의 설명을 위한 순서도이다.
도 4는 본 발명에서 적용된 알고리즘을 나타낸다.
도 5는 본 발명에서 제시하는 다중 피라미드 옵티컬 플로우 알고리즘을 적용하여 특정 격자점의 이동속도를 산출하는 과정을 도시한 것이다.
도 6은 LSPIV에서 사용되는 일반적인 격자 구성과 격자를 구성하는 각 격자점에서 탐색영역(Searching window)과 상관영역(Interrogation area)의 구조를 나타낸 알고리즘이다.
도 7은 본 발명에서 적용된 다중 피라미드 옵티컬 플로우의 개념도이다.
도 8은 본 발명에서, 가탐색영역의 크기 변화와 x방향 및 y방향 속도의 상관성을 나타내는 그래프이다.
도 9는 초음파로 촬영된 하천의 바닥영상에 본 발명에서 제시한 기법을 적용하여 격자를 구성하는 각 격자점의 탐색영역의 크기와 위치를 도시화 한 것이다.
도 10은 본 발명에서 제시한 기법을 적용한 결과와 기존의 결과를 제시한 것이다.
이하에서는 도면을 참조하여 본 발명에 따른 탐색영역 최적크기 결정방법을 설명한다. 본 발명의 설명을 위해, 전제되는 시스템의 구성을 먼저 설명한다.
시스템은 영상촬영모듈(110), 영상전처리모듈(120), 탐색영역연산모듈(130) 및 탐색영역결정모듈(140)로 구성된다.
영상촬영모듈(110)은 드론(또는 무인비행체)에 영상촬영수단(미도시)이 결합된 상태로 대상영상을 촬영하도록 구성된다. 이하에서, 대상영상은 하천을 예로 들어 설명하나, 본 발명에 적용된 원리는 하천에 제한되는 것은 아니다. 영상촬영모듈(110)로부터 촬영된 대상영상은 실시간으로 전송될 수도 있으며, 영상저장부(미도시)에 저장되도록 구성될 수 있다.
영상전처리모듈(120)은 대상영상에 대해, 기준점을 설정하는 구성이며, 기준점은 격자로 형성되는 것이 바람직하다. 본원에서는 기준점과 격자를 혼용해서 사용할 수 있다. 영상전처리모듈(120)은 픽셀 단위로 구분되는 대상영상에 대해, 기준점을 설정한다.
탐색영역연산모듈(130)은 가탐색영역을 설정한 후, 가탐색영역 내에서, 기설정된 형태의 상관영역(Interrogation Area)을 이동시키면서, 가탐색영역에서의 유속을 연산하는 기능을 수행한다. 여기서, '가탐색영역'은 후술하는 '탐색영역'과 구분되는 개념으로써, 다양하게 변경될 수 있는 탐색영역을 가탐색영역이라 명명하고, 최적의 탐색영역으로 결정된 것을 탐색영역이라 명명한다.
탐색영역연산모듈(130)은 특정 기준점인 좌표(X1, Y1)를 중심으로 가탐색영역을 설정한다. 도 2를 참조하여, 구체적으로 설명하면, 좌표(X1, Y1)를 기준으로, 가탐색영역을 변경하는 것을 의미한다. 소정의 크기를 갖는 제1 내지 제M 가탐색영역 각각에 대해, 기설정된 형태의 상관영역을 이동시키면서, 각 상관영역을 통해, 개별 가탐색영역에 대한 유속을 결정한다. 가탐색영역의 크기는 최대로 구성할수록, 오차를 줄일 수 있는 효과를 발휘하긴 하나, 이렇게 될 경우, 상관영역이 검사를 해야되는 영역이 과도하게 확대되는 바, 연산에 있어서, 과부하가 걸리는 문제가 있다. 따라서, 오차 및 과부하 사이의 최적의 가탐색영역의 크기를 결정하는 것이 필요하다.
다만, 최적의 가탐색영역의 크기를 산출하기 위해, 탐색영역연산모듈(130)은 가탐색영역의 크기를 증가시키는 과정이 필요하다. 즉, 가탐색영역의 크기를 점점 증가시키면서, 가탐색영역에서의 X방향 유속 수렴값 및 Y방향 유속 수렴값을 각각 연산한다.
탐색영역결정모듈(140)은 X방향 유속 수렴값에 최초 도달하는 가탐색영역의 크기 및 Y방향 유속 수렴값에 최초 도달하는 가탐색영역의 크기를 확인함으로써, 기설정된 방식에 의해, 기준점에 대한 탐색영역의 최적크기를 결정하도록 구성된다. 탐색영역은 기준점(또는 격자) 각각에 할당된다.
설명을 위해, 도 8을 참조한다. 가탐색영역의 크기가 점차 커짐에 따라, X방향 유속 및 Y방향 유속은 각각 특정한 값으로 수렴한다. 이는 연산을 통해 산출된 값이며, 가탐색영역의 크기가 소정의 크기 이상일 경우, 크기에 따른 유속의 변화가 발생되지 않음을 의미한다.
이하에서는, 도 3을 참조하여, 본 발명에 따른 탐색영역 최적크기 결정방법을 설명한다.
본 방법은 단계(S110) 내지 단계(S150)을 포함한다.
단계(S110)은 영상촬영모듈(110)에 의해, 대상영상이 촬영되는 단계이다.
단계(S120)은 상기 대상영상이 영상전처리모듈(120)로 입력되는 단계로서, 상기 대상영상에 대해, 기설정된 방식으로 적어도 하나의 기준점이 설정되는 단계이다. 이 때, 대상영상에 설정되는 상기 기준점은, 격자 형태로 구성되되, 상기 기준점 각각에 식별좌표가 부여되는 것이 바람직하다. 가탐색영역은 기준점별로 연산된다. 여기서, 임의의 기준점으로부터, X방향으로 이웃하는 기준점 사이의 거리 및 Y방향으로 이웃하는 기준점 사이의 거리는 단위거리로써 동일하게 형성되는 것이 바람직하다. 도 5를 참조하면, 단위거리를 1로 설정하였다.
단계(S130)은 탐색영역연산모듈(130)에서, 상기 기준점에 가탐색영역을 설정한 후, 상기 가탐색영역 내에서, 기설정된 형태의 상관영역(Interrogation Area)을 이동시키면서, 상기 가탐색영역에서의 유속을 연산하는 단계이다. 단계(S130)에서 설정된 가탐색영역은, 기준점을 중심으로 하는 정사각형 형태로써, 단위거리의 배수만큼 더 크게 증가시키면서, 탐색영역에서의 X방향 유속 수렴값 및 Y방향 유속 수렴값을 각각 연산하도록 구성된다. 이는 연산의 편의를 위함이다.
전술한 바와 같이, 가탐색영역의 크기가 상대적으로 작은 경우에는, X방향 및 Y방향 유속의 변화가 크지만, 가탐색영역의 크기가 점차 커질 경우, 연산시, X방향 및 Y방향의 유속이 수렴하는 것을 이용한 것이다.
이 때, 가탐색영역에서의 연산된 유속은, 가탐색영역 내에서 이동하면서 각각 연산된 상기 상관영역의 유속의 평균값으로 결정되며, 상기 유속은 X방향 및 Y방향으로 구분하여 연산된다.
단계(S140)은 단계(S130)를 반복하여 수행하되, 상기 가탐색영역의 크기를 점점 증가시키면서, 상기 가탐색영역에서의 X방향 유속 수렴값 및 Y방향 유속 수렴값을 각각 연산하는 단계이다.
단계(S150)은 상기 탐색영역결정모듈(140)에서, 상기 단계(S140)에서의 상기 X방향 유속 수렴값에 최초 도달하는 가탐색영역의 크기 및 상기 Y방향 유속 수렴값에 최초 도달하는 가탐색영역의 크기를 확인함으로써, 기설정된 방식에 의해, 상기 기준점에 대한 탐색영역의 최적크기를 결정하는 단계이다.
이 때, 기준점에 대한 탐색영역의 최적크기 중 X방향의 크기는, X방향 유속 수렴값에 최초 도달하는 가탐색영역의 크기로 결정하고, 기준점에 대한 탐색영역의 최적크기 중 Y방향의 크기는, Y방향 유속 수렴값에 최초 도달하는 가탐색영역의 크기로 결정함으로써, 탐색영역의 최적형태는 직사각형이 될 수 있다. 즉, 탐색영역의 크기를 X축 및 Y축을 기준으로 상이하게 설정할 수 있다. 다만, 연산의 편의를 위해, 상기 X방향 유속 수렴값에 최초 도달하는 가탐색영역의 크기 및 상기 Y방향 유속 수렴값에 최초 도달하는 가탐색영역의 크기를 비교하되, 더 큰 값을 갖는 정사각형 형태로 결정할 수도 있다.
또한, 본 발명은 단계(S150) 이후, 단계(S160)을 더 포함하며, 단계(160)은 기준점에 대한 유속을 실측한 후, 상기 기준점에 대한 탐색영역의 최적크기의 오류를 체크하는 단계이다. 이를 위해, 대상영역 중 특정 샘플지점에서는 유속을 실측하는 것이 필요하다. 다만, 특정 샘플지점에서 본 방법 이외의 방식으로 유속을 연산하여 비교할 수도 있다. 이는 본 방법에 따른 탐색영역의 최적크기의 오류를 체크하기 위함이며, 실측값을 기준으로, 기설정된 범위를 벗어날 경우, 탐색영역의 최적크기는 보정될 수 있다.
이하에서는 본 발명에서 사용되는 옵티컬 플로우 알고리즘을 설명한다.
본 발명은 분석지점을 중심으로 한 분석영역의 영상을 통해 픽셀유속을 산정하기 위하여 다음과 같은 픽셀 유속 산출 구성을 포함한다. 객체의 밝기 값은 짧은 시간이 지나도 변하지 않는다라는 가정과 각 영상의 움직임은 매우 작아서 픽셀 유속 산정을 위한 식을 수학식 1에서와 같이 정의할 수 있다.
Figure 112020121828312-pat00001
여기서, I는 영상의 픽셀값, 는 X방향 좌표, 는 Y방향 좌표, t는 시간이다. 수학식 1의 우항을 테일러 전개를 수행하고 다차항은 생략한다.
Figure 112020121828312-pat00002
Figure 112020121828312-pat00003
수학식 1 및 2를 동시에 만족하기 위해, 수학식 2의 우항의 미분식의 합은 0이 되어야 한다. 따라서, 따라서, 특정 픽셀의 유속을 산정하기 위한 식은 수학식 4로 정의된다.
Figure 112020121828312-pat00004
Figure 112020121828312-pat00005
여기서, q n 은 픽셀, n은 영상의 픽셀 개수이다. X, Y방향 미분 및 시간 미분은 각각 수학식 6, 수학식 7, 수학식 8과 같다.
Figure 112020121828312-pat00006
Figure 112020121828312-pat00007
Figure 112020121828312-pat00008
도 5를 참조하여, 부연 설명하면, 본 발명은 격자를 구성하는 임의의 분석지점을 중심으로 추출된 영상을 통해 픽셀유속을 산정하기 위하여 다음과 같은 픽셀 유속 산출 구성을 포함한다. 여기서 가탐색영역의 크기(Size of Searching Window)는 좌(Left), 우(Right), 상(Top), 하(Bottom)의 크기가 최소인 1인 값을 초기값으로 가정한다.
도 8에서는, 가탐색영역의 크기 변화와 X방향 및 Y방향 속도의 상관성을 나타낸다. 도 8에 나타난 바와 같이, 이상적인 환경에서는 가탐색영역의 크기가 커질수록 영상이 움직이는 크기에 수렴하게 되므로, 가탐색영역의 증대를 통해 최적 탐색영역의 크기를 산출할 수 있는 것이다.
도 10을 참조하면, 기존 방법에서는 탐색영역의 일관적 적용 때문에 저유속 구간에서 큰 유속이 발생하고, 고유속 구간에서 정확한 유속을 산정하지 못하는 반면, 본 발명에서 제시한 기법은 지역별로 최적화된 탐색영역을 설정하여 상대적으로 정확한 결과를 도출함을 알 수 있다.
이상, 본 명세서에는 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 도면에 도시한 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당업자라면 본 발명의 실시예로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 보호범위는 특허청구범위에 의해서 정해져야 할 것이다.
110: 영상촬영모듈
120: 영상전처리모듈
130: 탐색영역연산모듈
140: 탐색영역결정모듈

Claims (8)

  1. 옵티컬 플로우 방식에 적용되는, 탐색영역(Search Window)의 최적크기를 결정하는 방법으로서,
    (a) 영상촬영모듈(110)에 의해, 대상영상이 촬영되는 단계(S110);
    (b) 상기 대상영상이 영상전처리모듈(120)로 입력되는 단계로서, 상기 대상영상에 대해, 기설정된 방식으로 적어도 하나의 기준점이 설정되는 단계(S120);
    (c) 탐색영역연산모듈(130)에서, 상기 기준점에 가탐색영역을 설정한 후, 상기 가탐색영역 내에서, 기설정된 형태의 상관영역(Interrogation Area)을 이동시키면서, 상기 가탐색영역에서의 유속을 연산하는 단계(S130);
    (d) 상기 탐색영역연산모듈(130)에서, 상기 (c) 단계를 반복하여 수행하되, 상기 가탐색영역의 크기를 점점 증가시키면서 X방향 유속 및 Y방향 유속을 각각 연산하고, 이를 이용하여 X방향 유속 수렴값 및 Y방향 유속 수렴값을 각각 연산하는 단계(S140); 및
    (e) 탐색영역결정모듈(140)에서, 상기 (d) 단계에서 연산된 상기 X방향 유속 수렴값에 최초 도달할 때의 가탐색영역의 크기 및 상기 Y방향 유속 수렴값에 최초 도달할 때의 가탐색영역의 크기를 확인함으로써, 기설정된 방식에 의해, 상기 기준점에 대한 탐색영역의 최적크기를 결정하는, 단계(S150); 를 포함하는,
    탐색영역 최적크기 결정방법.
  2. 청구항 1에 있어서,
    상기 (b) 단계에서, 상기 대상영상에 설정되는 상기 기준점은, 격자 형태로 구성되되, 상기 기준점 각각에 식별좌표가 부여되며,
    상기 (c) 및 (d) 단계는,
    상기 (b) 단계에서 설정된 모든 기준점에 대해 수행되는,
    탐색영역 최적크기 결정방법.
  3. 청구항 2에 있어서,
    상기 (b) 단계에서, 임의의 기준점으로부터, X방향으로 이웃하는 기준점 사이의 거리 및 Y방향으로 이웃하는 기준점 사이의 거리는 단위거리로써 동일하게 형성되는,
    탐색영역 최적크기 결정방법.
  4. 청구항 3에 있어서,
    상기 (c) 단계에서 설정된 상기 가탐색영역은,
    상기 기준점을 중심으로 하는 정사각형 형태로써, 상기 단위거리의 배수만큼 더 크게 증가시키면서, 상기 탐색영역에서의 X방향 유속 수렴값 및 Y방향 유속 수렴값을 각각 연산하는,
    탐색영역 최적크기 결정방법.
  5. 청구항 4에 있어서,
    상기 (e) 단계에서,
    상기 기준점에 대한 탐색영역의 최적크기 중 X방향의 크기는,
    상기 X방향 유속 수렴값에 최초 도달하는 가탐색영역의 크기로 결정하고,
    상기 기준점에 대한 탐색영역의 최적크기 중 Y방향의 크기는,
    상기 Y방향 유속 수렴값에 최초 도달하는 가탐색영역의 크기로 결정함으로써, 상기 탐색영역의 최적형태는 직사각형이 되는,
    탐색영역 최적크기 결정방법.
  6. 청구항 4에 있어서,
    상기 (e) 단계에서,
    상기 기준점에 대한 탐색영역의 최적크기는,
    상기 X방향 유속 수렴값에 최초 도달하는 가탐색영역의 크기 및 상기 Y방향 유속 수렴값에 최초 도달하는 가탐색영역의 크기를 비교하되, 더 큰 값을 갖는 정사각형 형태로 결정하는,
    탐색영역 최적크기 결정방법.
  7. 청구항 1에 있어서,
    상기 (c) 단계에서,
    상기 가탐색영역에서의 연산된 유속은,
    상기 가탐색영역 내에서 이동하면서 각각 연산된 상기 상관영역의 유속의 평균값으로 결정되며, 상기 유속은 X방향 및 Y방향으로 구분하여 연산되는,
    탐색영역 최적크기 결정방법.
  8. 청구항 1에 있어서,
    상기 (e) 단계 이후,
    (f) 상기 기준점에 대한 유속을 실측한 후, 상기 기준점에 대한 탐색영역의 최적크기의 오류를 체크하는 단계(S160); 를 더 포함하는,
    탐색영역 최적크기 결정방법.
KR1020200151952A 2020-11-13 2020-11-13 옵티컬 플로우를 활용한 상호상관법의 탐색영역 결정방법 KR102462351B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200151952A KR102462351B1 (ko) 2020-11-13 2020-11-13 옵티컬 플로우를 활용한 상호상관법의 탐색영역 결정방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200151952A KR102462351B1 (ko) 2020-11-13 2020-11-13 옵티컬 플로우를 활용한 상호상관법의 탐색영역 결정방법

Publications (2)

Publication Number Publication Date
KR20220065436A KR20220065436A (ko) 2022-05-20
KR102462351B1 true KR102462351B1 (ko) 2022-11-02

Family

ID=81801547

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200151952A KR102462351B1 (ko) 2020-11-13 2020-11-13 옵티컬 플로우를 활용한 상호상관법의 탐색영역 결정방법

Country Status (1)

Country Link
KR (1) KR102462351B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102630546B1 (ko) * 2023-11-20 2024-01-30 주식회사 윈스퍼트 하천의 영상 정보를 활용한 인공지능 기반의 하천 수위 및 유속 계측 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006258575A (ja) 2005-03-16 2006-09-28 Takuwa Corp 河川流速計測方法、河川流量計測方法、河川流速計測システム、及び河川流量計測システム
KR101659443B1 (ko) 2015-05-28 2016-09-23 서울대학교산학협력단 상관계수 및 옵티컬플로우 통합 방식을 이용한 고정밀 입자영상유속 측정방법
KR101996992B1 (ko) 2018-11-13 2019-07-08 주식회사 하이드로셈 옵티컬 플로우 영상 처리를 이용하는 하천 유속 측정 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102580910B1 (ko) 2017-08-29 2023-09-20 에스케이텔레콤 주식회사 양방향 옵티컬 플로우를 이용한 움직임 보상 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006258575A (ja) 2005-03-16 2006-09-28 Takuwa Corp 河川流速計測方法、河川流量計測方法、河川流速計測システム、及び河川流量計測システム
KR101659443B1 (ko) 2015-05-28 2016-09-23 서울대학교산학협력단 상관계수 및 옵티컬플로우 통합 방식을 이용한 고정밀 입자영상유속 측정방법
KR101996992B1 (ko) 2018-11-13 2019-07-08 주식회사 하이드로셈 옵티컬 플로우 영상 처리를 이용하는 하천 유속 측정 장치 및 방법

Also Published As

Publication number Publication date
KR20220065436A (ko) 2022-05-20

Similar Documents

Publication Publication Date Title
KR101996992B1 (ko) 옵티컬 플로우 영상 처리를 이용하는 하천 유속 측정 장치 및 방법
KR102523451B1 (ko) 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법
CN114627177B (zh) 一种基于图像分割的飞机蒙皮间隙与阶差测量方法
CN109840922B (zh) 基于双目光场相机的深度获取方法和系统
CN108615244A (zh) 一种基于cnn和深度滤波器的图像深度估计方法及系统
JP6858415B2 (ja) 海面計測システム、海面計測方法および海面計測プログラム
KR100817907B1 (ko) 표면 영상 분석에 의한 하천의 표면 유속 측정 방법
CN109900331A (zh) 基于深度相机特征跟踪的河流流量在线检测方法
CN109373908A (zh) 一种边坡地表位移监测系统和方法
KR101868483B1 (ko) 영상 대조에 따른 두개의 에지 블러 파라미터 예측 방법
KR102462351B1 (ko) 옵티컬 플로우를 활용한 상호상관법의 탐색영역 결정방법
CN106033614A (zh) 一种强视差下的移动相机运动目标检测方法
Junejo et al. Robust auto-calibration from pedestrians
CN113686314A (zh) 船载摄像头的单目水面目标分割及单目测距方法
CN110851978B (zh) 一种基于可见性的摄像机位置优化方法
CN104596484A (zh) 一种黄河凌汛期流凌密度测量方法
CN115326026A (zh) 基于非接触式测量-水动力融合同化获取水力特征的方法及装置
CN111964599A (zh) 基于倾斜摄影测量技术的公路高边坡表面变形监测及分析方法
CN109564118A (zh) 用于确定水道的流量的方法
Kuo et al. Implementation of inverse perspective mapping for camera-vision water-level measurements
Ito et al. Seeing farther than supervision: Self-supervised depth completion in challenging environments
KR101919958B1 (ko) 건축 구조물의 변형률 분포 시각화 장치 및 방법
CN109035335A (zh) 一种基于单目视觉的海底隧道渗水水位识别方法
JP6892134B2 (ja) 計測システム、計測方法および計測プログラム
Hong et al. Tilt Monitoring of Tower Based on Video-photogrammetry.

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right