KR102523451B1 - Devices and Methods for Measuring Flow Velocity of River Based on Drone Imaging - Google Patents

Devices and Methods for Measuring Flow Velocity of River Based on Drone Imaging Download PDF

Info

Publication number
KR102523451B1
KR102523451B1 KR1020200162738A KR20200162738A KR102523451B1 KR 102523451 B1 KR102523451 B1 KR 102523451B1 KR 1020200162738 A KR1020200162738 A KR 1020200162738A KR 20200162738 A KR20200162738 A KR 20200162738A KR 102523451 B1 KR102523451 B1 KR 102523451B1
Authority
KR
South Korea
Prior art keywords
image
river
drone
correlation
displacement
Prior art date
Application number
KR1020200162738A
Other languages
Korean (ko)
Other versions
KR20220074347A (en
Inventor
김서준
윤병만
이준형
이윤호
Original Assignee
주식회사 하이드로셈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 하이드로셈 filed Critical 주식회사 하이드로셈
Priority to KR1020200162738A priority Critical patent/KR102523451B1/en
Publication of KR20220074347A publication Critical patent/KR20220074347A/en
Application granted granted Critical
Publication of KR102523451B1 publication Critical patent/KR102523451B1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/0093Geometric image transformation in the plane of the image for image warping, i.e. transforming by individually repositioning each pixel
    • G06T3/18
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/60Rotation of a whole image or part thereof
    • G06T3/608Skewing or deskewing, e.g. by two-pass or three-pass rotation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/006Geometric correction
    • G06T5/80
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30Assessment of water resources

Abstract

본 발명은 두 영상 사이의 시간간격과 두 영상 내 추적자의 변위를 통해 유속을 산정하여 지상 참조점에 의존하지 않고 효율적인 유속 측정이 가능하도록 한 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법에 관한 것으로, 드론에 탑재되어 하천 표면 영상을 촬영하는 드론 하천 영상 촬영부;상기 드론 하천 영상 촬영부에서 촬영된 하천 표면 영상을 수신하는 드론 영상 수신부;2차원 투영 좌표 변환법(2-D projective coordinate transformation)을 이용한 영상 왜곡 보정을 하는 영상 변환 및 왜곡 보정부;드론 카메라 렌즈의 초점거리, 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리의 상호 관계를 이용하여 픽셀당 물리거리(GSD:Ground Sample Distance)를 계산하여 픽셀 변위를 실제 물리 변위로 변환하여 영상 내의 추적자의 실제 변위 및 속도를 계산하는 영상 추적자 변위 산출부;영상 추적자 변위 산출부에서 산출된 영상 내의 추적자의 실제 변위 및 속도를 이용하여 하천 유속을 산정하는 유속 산정부;를 포함하는 것이다.The present invention relates to a device and method for measuring the flow rate of a river based on a drone image, which enables efficient flow rate measurement without relying on a ground reference point by calculating the flow rate through the time interval between two images and the displacement of the tracker in the two images. A drone river image capturing unit mounted on a drone to capture a river surface image; a drone image receiving unit receiving a river surface image captured by the drone river image capturing unit; 2-D projective coordinate transformation Image conversion and distortion correction unit for image distortion correction using; Using the focal length of the drone camera lens, the pixel size (pixel size) and the correlation between the distance between the subject and the lens, physical distance per pixel (GSD: Ground Sample Distance) ) to convert the pixel displacement into actual physical displacement to calculate the actual displacement and speed of the tracker in the image; The river using the actual displacement and speed of the tracker in the image calculated by the image tracker displacement calculator It includes; a flow rate calculation unit for calculating the flow rate.

Description

드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법{Devices and Methods for Measuring Flow Velocity of River Based on Drone Imaging}Devices and Methods for Measuring Flow Velocity of River Based on Drone Imaging

본 발명은 하천 유속 측정에 관한 것으로, 구체적으로 두 영상 사이의 시간간격과 두 영상 내 추적자의 변위를 통해 유속을 산정하여 지상 참조점에 의존하지 않고 효율적인 유속 측정이 가능하도록 한 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법에 관한 것이다.The present invention relates to river flow velocity measurement, and specifically, a drone image-based river that enables efficient flow velocity measurement without relying on a ground reference point by calculating the velocity through the time interval between two images and the displacement of a tracker in the two images. It relates to an apparatus and method for measuring flow velocity.

표면영상유속계의 기초가 되는 입자영상유속계(PIV)는 유체 흐름에 대한 이해를 돕는데 효과적인 방법이어서 토목 분야뿐 아니라 유체를 다루는 모든 분야에서 다양하게 연구가 진행되어 왔으며 현재 많은 응용분야에서 사용하고 있다.Particle image velocimetry (PIV), which is the basis of surface image velocimetry, is an effective method to help understand fluid flow, so various studies have been conducted not only in the civil engineering field but also in all fields dealing with fluids, and it is currently used in many application fields.

이와 함께 레이저와 추적입자, CMOS 소자를 이용한 고속 카메라를 활용하여 액체 유동 단면의 유동장을 분석하는 입자영상유속계에 대한 연구가 진행되어 왔고, 별도의 추적자 없이 2차원 표면유속 측정을 위한 표면영상유속계(SIV)도 많은 연구가 진행되어 왔다.In addition, research has been conducted on a particle image velocimetry that analyzes the flow field of a liquid flow section using a high-speed camera using lasers, tracer particles, and CMOS devices. SIV) has also been studied extensively.

표면영상유속계를 이용한 하천 유속 측정 방법은 1990년대 중반에 일본에서 Fujita에 의해 처음으로 개발되었다(Fujita and Komura, 1994). Fujita and Komura(1994)는 하천에서의 연속적인 유속 분포 측정을 위한 비디오 이미지 분석 방법을 개발하였으며 Nagara 강에 적용하여 성공적으로 유속 분포를 얻어냈다. Aya et al.,(1995)는 비스듬한 각도로 촬영한 비디오 영상을 분석하여 유동장을 얻는 기법을 개발하였으며 하천 제방에서 획득한 영상을 이용하여 하천의 유속 분포를 얻어냈다. Fujita et al., (1997)은 홍수시에 표면영상유속계를 Yodo 강에 적용하여 하천 표면을 떠내려가는 나뭇조각과 기포를 통해 수표면의 유속장을 분석하였다. 그 결과 하천의 유속 분포를 효과적으로 얻을 수 있음과 영상과 화소의 크기에 따라 최대 7 %까지 유속 값에 차이가 남을 보였다. 또한 이를 토대로 표면영상유속계가 전체 대상 영역을 동시에 분석할 수 있고, 대상 영역의 규모에 상관없이 적용할 수 있음을 증명하였다. Ettema et al.,(1997)은 Mississippi강과 Missouri강 합류부에 대한 모형(수평방향 1:500, 수직방향 1:100) 실험의 유속 측정에 표면영상유속계를 이용하였다.A method for measuring river velocity using surface image velocimetry was first developed by Fujita in Japan in the mid-1990s (Fujita and Komura, 1994). Fujita and Komura (1994) developed a video image analysis method for continuous flow rate distribution measurement in rivers and applied it to the Nagara River and successfully obtained the flow rate distribution. Aya et al., (1995) developed a technique to obtain a flow field by analyzing video images taken at an oblique angle and obtained a flow velocity distribution of a river using images obtained from a river embankment. Fujita et al., (1997) applied surface image velocimetry to the Yodo River during a flood and analyzed the velocity field on the water surface through wood chips and air bubbles drifting along the river surface. As a result, it was shown that the flow velocity distribution of the river could be effectively obtained and that the velocity value remained different by up to 7% depending on the image and pixel size. Based on this, it was also proved that surface image velocimetry can analyze the entire target area simultaneously and can be applied regardless of the size of the target area. Ettema et al. (1997) used a surface image velocimetry to measure the velocity of a model (horizontal direction 1:500, vertical direction 1:100) at the confluence of the Mississippi and Missouri rivers.

Fujita et al.(1998b)은 옥수수 녹말로 만든 인공 추적자를 이용하여 Nagara 강의 유속장을 측정하였다. 이 연구에서는 추적자의 입자 크기 선정에 대해 논하였고, 하천 저수호안에 위치한 수제 사이의 유속장을 측정하였다. Muste et al.,(2000)은 생물분해성인 거품과 땅콩 등을 이용하여 Georgia의 Chattahoochee 강에 대한 수리모형실험의 유속장 측정에 표면영상유속계를 이용하였다. 또한 Muste et al.,(2002)은 추적자의 입자 크기와 입자 분포의 영향에 대한 연구를 수행하였다. 이 연구에서는 서로 다른 크기의 입자와 조밀도에 대해 실험을 하여 표면영상유속측정법으로 유속을 측정하고 유속 측정 결과를 ADV(Acoustic Doppler Velocimetry)와 비교하였다. 실험에는 크기가 큰 폴리에틸렌 입자, 크기가 작은 폴리에틸렌 입자 및 호두 껍질 등 세 가지의 서로 다른 추적자를 이용하였고, 크기가 작은 폴리에틸렌 입자를 이용한 실험에서는 세 가지의 조밀도(낮은, 중간, 높은)에 대한 실험을 병행하였다. 그 결과 작은 폴리에틸렌 입자를 추적자로 이용하였을 때가 ADV의 유속 측정값과 가장 잘 일치하는 것을 확인하였다. 또한 중간 정도의 조밀도로 입자를 분포시키는 것이 낮은 조밀도와 높은 조밀도의 입자 분포에 비해 정확한 것으로 나타났으며 유속장 측정에 있어 적절한 입자 분포가 필요하다고 하였다.Fujita et al. (1998b) measured the velocity field of the Nagara River using an artificial tracer made of cornstarch. In this study, the particle size selection of the tracer was discussed, and the velocity field between water bodies located in the river reservoir was measured. Muste et al. (2000) used surface image velocimetry to measure the flow field of a hydraulic model experiment on the Chattahoochee River in Georgia using biodegradable foam and peanuts. Also, Muste et al., (2002) conducted a study on the effect of tracer particle size and particle distribution. In this study, experiments were conducted on particles of different sizes and densities, and the flow velocity was measured by surface image velocimetry, and the velocity measurement results were compared with ADV (Acoustic Doppler Velocimetry). In the experiment, three different tracers were used: large polyethylene particles, small polyethylene particles, and walnut shells. experiments were run concurrently. As a result, it was confirmed that when small polyethylene particles were used as tracers, the best agreement with the ADV measured flow rate was obtained. In addition, it was found that the particle distribution with medium density was more accurate than the particle distribution with low and high density, and it was said that an appropriate particle distribution was needed for the measurement of the flow field.

국내에서는 윤병만 등(2002)이 표면영상유속계를 이용하여 곤지암천의 유속장을 성공적으로 측정하였고, 김영근 등(2004)은 유속검정용 활차를 이용하여 표면영상유속계의 적용성과 효율성을 검증하였다. 류권규 등(2008)은 기중기를 이용하여 높은 곳에서 영상을 촬영할 시 획득한 영상은 흔들림이 있어 분석이 어렵다고 하였으며, 이에 흔들리는 영상 분석을 위한 흔들림 보정 알고리즘을 개발하였다. 김서준(2007)은 표면영상유속계를 이용하여 하천 유량측정을 수행하였으며, 김서준 등(2011)은 폭이 넓은 하천의 유량 측정에 표면영상유속계를 적용하기 위해 다중카메라를 활용한 영상 획득 방법을 개발하였다. 또한 김서준(2013)은 인공영상을 이용하여 상관영역의 크기, 입자 밀도 및 입자 크기에 따른 표면영상유속계의 오차 분석을 수행하였다. 그 결과 상관영역의 크기가 커질수록, 입자 밀도가 커질수록, 입자 크기가 작아질수록 오차가 증가하는 것으로 나타났다.In Korea, Yun Byeong-man et al. (2002) successfully measured the velocity field of the Konjiam Stream using a surface image velocimetry, and Kim Young-geun et al. Ryu Kwon-kyu and others (2008) said that it was difficult to analyze the image obtained when taking a video from a high place using a crane because it had shaking, and thus developed a shake correction algorithm for analyzing the shaking image. Seojun Kim (2007) performed river flow measurement using surface image velocimetry, and Seojun Kim et al. (2011) developed an image acquisition method using multiple cameras to apply surface image velocimetry to flow rate measurement in wide rivers. . In addition, Seojun Kim (2013) performed an error analysis of surface image velocimetry according to the size of the correlation region, particle density, and particle size using artificial images. As a result, it was found that the error increased as the size of the correlation region increased, the particle density increased, and the particle size decreased.

지금까지 위에서 설명한 표면영상유속계를 이용한 연구에서는 2차원 또는 3차원 투영 좌표 변환법을 이용하여 영상 왜곡을 보정하였다. 하지만 하천의 수위는 수시로 변하기 때문에 수위에 따라 참조점을 다시 설정해주어야 한다는 번거로움이 있다.In studies using the surface image velocimetry described above, image distortion was corrected using a 2D or 3D projected coordinate transformation method. However, since the water level of the river changes frequently, it is inconvenient to set the reference point again according to the water level.

이에 Fujita and Aya (2000)는 수위 변화를 고려한 3차원 투영 좌표 변환법을 개발하였다. 3차원 투영 좌표 변환법은 수위보다 높은 6 개 이상의 참조점과 수표면의 임의의 3 개 이상의 점을 더하여, 변하는 수위에 따라 영상 왜곡을 보정할 수 있다. 하지만 3차원 투영 좌표 변환법은 2차원 투영 좌표 변환법에 비해 필요한 참조점이 많아 계산이 복잡하다.Accordingly, Fujita and Aya (2000) developed a 3D projection coordinate conversion method considering the change in water level. The 3D projection coordinate conversion method can correct image distortion according to the changing water level by adding 6 or more reference points higher than the water level and 3 or more arbitrary points on the water surface. However, the 3D projected coordinate transformation method is more complicated to calculate than the 2D projected coordinate transformation method because there are many reference points required.

또한 김희정(2018)은 수위 변화를 고려한 참조점 보정식을 제시하였다. 이 연구에서는 수위보다 높게 양측 제방에 설정된 참조점을 수면과 동일한 평면에 위치하도록 보정하는 방법을 사용하여 수위 변화에 따라 참조점을 재설정하는 방법을 제시하였다. 하지만 폭이 넓은 하천의 경우처럼 하천 양측 제방에 설치한 참조점을 영상에 담기 힘든 경우 수표면과 동일한 평면에 있는 참조점을 확보하기 힘든 실정이다.In addition, Kim Hee-jeong (2018) presented a reference point correction formula considering the change in water level. In this study, a method of resetting the reference point according to the change in water level was proposed by using a method of correcting the reference point set on both banks higher than the water level so that it is located on the same plane as the water surface. However, when it is difficult to capture the reference points installed on the banks on both sides of the river, such as in the case of a wide river, it is difficult to secure a reference point on the same plane as the water surface.

이에 이한승 등(2016)은 참조점이 필요 없는 표면영상유속계을 개발하였다. Accordingly, Hanseung Lee et al. (2016) developed a surface image velocimetry that does not require a reference point.

이 연구에서는 수표면에서부터 카메라까지의 높이와 카메라의 좌우각 및 전후각으로 참조점 없이 영상 좌표를 실제 좌표로 변환하였다. 실내 개수로 실험장치로 유속을 측정하여 참조점 유무에 대한 유속을 비교한 결과 평균 ±7 %의 오차가 발생하였다.In this study, the image coordinates were converted into actual coordinates without a reference point for the height from the water surface to the camera and the left and right angles and front and back angles of the camera. As a result of comparing the flow velocity with and without a reference point by measuring the flow velocity with an indoor open channel experimental device, an average error of ±7% occurred.

최근 항공기나 드론 영상을 활용한 하천 물리량 측정에 대한 연구가 활발히 진행 중이다. 이를 하천 원격탐사라고 하는데, 원격탐사란 관측 대상의 특성에 따라 플랫폼에 다양한 센서를 설치하여 관측 대상의 물리적 특징을 정성적, 정량적으로 분석하는 학문이며 이를 하천에 접목한 학문이 하천 원격탐사이다.Recently, studies on the measurement of physical quantities of rivers using images from aircraft or drones are being actively conducted. This is called river remote sensing. Remote sensing is a study that qualitatively and quantitatively analyzes the physical characteristics of an observation object by installing various sensors on the platform according to the characteristics of the observation object.

하천 원격탐사에 활용하는 플랫폼은 위성, 항공기, 드론 등이 있으며 여기에 다양한 센서를 설치하여 하천 환경 및 수리,수문학적 정보를 획득하는 기술이 발전하고 있다.Platforms used for river remote exploration include satellites, airplanes, and drones, and various sensors are installed on them to acquire river environment, hydraulic, and hydrological information.

국외에서는 Smith et al.,(1997)이 하천의 홍수범람도, 수위, 유량을 추정하는 연구를 진행하였으며, Brekke and Solberg(2005)은 기름 유출을 감지하고 위치를 추출하는 연구를 진행하는 등 하천의 정량적인 물리량 조사에 대한 연구가 상당히 진행된 상태이다.Abroad, Smith et al., (1997) conducted a study on estimating flood inundation, water level, and flow rate of a river, and Brekke and Solberg (2005) conducted a study on detecting oil spills and extracting their location. Research on the quantitative physical quantity investigation of is in progress.

국내에서도 1990년대 후반부터 본격적으로 원격탐사가 도입되어 식생 및 토지피복 분류와 같은 정성적인 분류 연구부터 최근에는 고해상도 카메라를 활용한 천해 수심 측량 연구(오찬영 등, 2017)나 초분광 영상을 이용한 하천 수심 계측 기술 개발(유호준, 2018) 등 하천의 정량적인 물리량 측정에 대한 연구까지 진행되었다.In Korea, remote sensing has been introduced in earnest since the late 1990s, and qualitative classification studies such as vegetation and land cover classification have recently been conducted in shallow water bathymetric surveys using high-resolution cameras (Oh Chan-young et al., 2017) and river depths using hyperspectral images. Research on quantitative physical quantity measurement of rivers, such as the development of measurement technology (Yoo Ho-jun, 2018), was conducted.

여러 플랫폼 가운데 특히 드론은 운용 난이도가 쉽고 시간과 공간에 대한 해상도가 높아 정량적인 하천의 물리량을 측정하는데 적합하다. 또한 드론은 하천 구조물 주변이나 보 월류부 등 직접 유속을 측정하거나 카메라로 촬영하기 힘든 곳에서 영상을 촬영해 분석할 수 있다. 게다가 다양한 물리량 측정을 위한 센서의 소형화로 드론에 설치 가능한 센서의 종류도 다양해짐에 따라서 기존 RGB 센서만을 이용한 영상에서 최근에는 열화상 카메라, 초분광 센서 등을 이용한 하천 물리량 측정이 가능해 드론의 하천 원격탐사에 대한 잠재력이 높다고 할 수 있다.Among various platforms, drones are particularly suitable for measuring quantitative physical quantities of rivers because they are easy to operate and have high resolution for time and space. In addition, drones can directly measure the current velocity, such as around river structures or overwaters, or take images and analyze them in places that are difficult to film with a camera. In addition, as the types of sensors that can be installed on drones are diversified due to the miniaturization of sensors for measuring various physical quantities, it is possible to measure physical quantities of rivers using thermal imaging cameras and hyperspectral sensors in recent years from images using only RGB sensors. The potential for exploration is high.

이에 따라 하천의 드론 영상을 활용하여 하천 유속을 측정하는 연구도 더불어 진행중이다.Accordingly, a study to measure the flow velocity of the river using drone images of the river is also in progress.

국외 연구의 경우 Tauro et al.,(2015a)는 드론의 안정적인 호버링에 대한 연구를 수행하였으며, 드론이 일정 시간동안 1 × 1 ㎡의 영역 위로 안정적으로 호버링할 수 있음을 보였다. Detert and Weitbrecht(2015)는 액션캠과 저비용 쿼드콥터로 대규모 유속장을 측정하는 유속계의 적용 가능성을 검토하였다. Detert et al.,(2016)은 Murg 강에서 드론 영상을 이용하여 하천의 유량을 산정하는 연구를 수행하였다. 측정한 순간 표면유속장으로 평균 표면유속장과 난류 지표에 의한 수심 추정치를 도출하는데 사용되었으며 산정한 유량은 ADCP와 비교하였을 때 10 % 이내의 오차를 보여 드론 영상을 이용한 하천 유량 측정이 가능함을 보였다.In the case of foreign studies, Tauro et al., (2015a) conducted a study on the stable hovering of drones and showed that the drone can hover stably over an area of 1 × 1 ㎡ for a certain period of time. Detert and Weitbrecht (2015) reviewed the applicability of velocimetry to measure large-scale flow fields with action cams and low-cost quadcopters. Detert et al., (2016) conducted a study on estimating the flow rate of the river using drone images in the Murg River. The measured instantaneous surface flow field was used to derive the water depth estimate by the average surface flow field and turbulence index, and the calculated flow rate showed an error of less than 10% when compared with ADCP, indicating that river flow rate measurement using drone images was possible. .

국내 연구의 경우 류권규와 황정근(2017)은 드론에 비디오카메라와 야간 영상 획득을 위한 원적외선 카메라를 장착하여 한국건설기술연구원 안동하천실험센터에서 표면유속측정 실험을 수행하였다. 이 연구에서는 드론 영상의 흔들림 보정을 위해 4 개의 참조점에 대해 형태정합(pattern matching) 기법을 사용하였으며 측정한 표면유속을 Flow Tracker로 측정한 표면유속과 비교하였다. 두 가지 방법으로 측정한 유속을 단면적과 곱하여 각각 유량으로 환산하여 비교한 결과 차이는 2 % 이하로 산정되었다.In the case of domestic research, Ryu Kwon-gyu and Hwang Jeong-geun (2017) installed a video camera and a far-infrared ray camera for night image acquisition on a drone and performed a surface velocity measurement experiment at the Andong River Experiment Center of the Korea Institute of Civil Engineering and Building Technology. In this study, a pattern matching technique was used for four reference points to compensate for the shaking of drone images, and the measured surface velocity was compared with the surface velocity measured with the Flow Tracker. The flow rate measured by the two methods was multiplied by the cross-sectional area and converted into flow rates, respectively. As a result, the difference was estimated to be less than 2%.

이와 같이 드론 영상을 활용하여 표면유속을 산정하는 연구가 다양하게 진행 중이지만 기존 연구에서는 모두 지상의 참조점을 이용하여 영상 보정을 수행하였기 때문에 유속 측정 영역이 달라질 경우 참조점을 수표면과 동일한 평면에 다시 설치하고 측량을 수행하여야 한다는 번거로움이 있다.As such, various studies on estimating the surface velocity using drone images are in progress, but in all previous studies, image correction was performed using reference points on the ground. There is the hassle of having to re-install and perform measurement.

또한 화각이 좁은 카메라를 사용하는 경우 참조점이 영상 밖으로 벗어나지 않게 하기 위하여 일정 비행 고도 이상을 확보하여야 하는데 이때 영상 분석에 어려움이 있을 정도로 영상의 공간해상도를 확보하지 못할 가능성도 있다. 이는 화각이 좁은 원적외선 카메라를 이용하는 경우에 자주 나타난다.In addition, when a camera with a narrow angle of view is used, a certain flight altitude or higher must be secured so that the reference point does not deviate from the image, but at this time, there is a possibility that the spatial resolution of the image may not be secured enough to make it difficult to analyze the image. This often occurs when a far-infrared camera with a narrow angle of view is used.

따라서, 지상 참조점에 의존하지 않고 효율적인 유속 측정이 가능하도록 하는 새로운 기술의 개발이 요구되고 있다.Therefore, there is a demand for the development of a new technology that enables efficient flow rate measurement without relying on a ground reference point.

대한민국 등록특허 제10-1863123호Republic of Korea Patent No. 10-1863123 대한민국 등록특허 제10-1512690호Republic of Korea Patent No. 10-1512690 대한민국 등록특허 제10-0817907호Republic of Korea Patent No. 10-0817907

본 발명은 종래 기술의 하천 유속 측정 기술의 문제점을 해결하기 위한 것으로, 두 영상 사이의 시간간격과 두 영상 내 추적자의 변위를 통해 유속을 산정하여 지상 참조점에 의존하지 않고 효율적인 유속 측정이 가능하도록 한 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention is to solve the problems of the prior art river flow rate measurement technology, and to calculate the flow rate through the time interval between two images and the displacement of the tracker in the two images to enable efficient flow rate measurement without relying on ground reference points. The purpose is to provide a device and method for measuring the flow rate of a river based on a drone image.

본 발명은 참조점에 의존하지 않고도 영상 내 위치를 자동적으로 찾아내 영상 보정을 하고 별도의 참조점 측량없이 영상 내 픽셀당 물리거리를 산정하여 하천 유속 측정에 이용하여 정확도를 높인 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention automatically finds the location in the image without relying on a reference point, corrects the image, calculates the physical distance per pixel in the image without measuring the reference point, and uses it to measure the flow rate of the river to increase the accuracy of the drone image-based river. Its purpose is to provide a device and method for measuring flow velocity.

본 발명은 드론 카메라 렌즈의 초점거리, 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리의 상호 관계를 이용하여 픽셀당 물리거리(GSD : Ground Sample Distance)를 계산하여 픽셀 변위를 실제 물리 변위로 변환하여 영상 내의 추적자의 실제 변위 및 속도를 계산할 수 있도록 한 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention calculates the physical distance per pixel (GSD: Ground Sample Distance) using the correlation between the focal length of the drone camera lens, the pixel size, and the distance between the subject and the lens, and converts the pixel displacement into actual physical displacement. The purpose of this study is to provide a device and method for measuring the flow rate of a river based on a drone image that can be converted to calculate the actual displacement and speed of the tracker in the image.

본 발명은 하천 유속 측정을 위한 영상 획득 수단으로 드론을 사용하여 하천 구조물 주변이나 보 월류부 등 직접 유속을 측정하거나 카메라로 촬영하기 힘든 곳에서 영상을 촬영해 분석할 수 있도록 한 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention is a drone image-based river that uses a drone as an image acquisition means for measuring river flow rate to measure the flow rate directly around a river structure or overwater, or to capture and analyze images in places that are difficult to film with a camera. Its purpose is to provide a device and method for measuring flow velocity.

본 발명은 효율적인 운용이 가능한 드론을 영상 획득 수단으로 사용하여 시간과 공간에 대한 해상도가 높아 정량적인 하천의 물리량을 측정할 수 있고, 원격 제어의 효율성을 높인 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention uses a drone that can be operated efficiently as an image acquisition means to measure the physical quantity of a quantitative river with high resolution for time and space, and a device for measuring the flow rate of a river based on drone images with improved remote control efficiency And to provide a method for that purpose.

본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Other objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned above will be clearly understood by those skilled in the art from the description below.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 장치는 드론에 탑재되어 하천 표면 영상을 촬영하는 드론 하천 영상 촬영부;상기 드론 하천 영상 촬영부에서 촬영된 하천 표면 영상을 수신하는 드론 영상 수신부;2차원 투영 좌표 변환법(2-D projective coordinate transformation)을 이용한 영상 왜곡 보정을 하는 영상 변환 및 왜곡 보정부;드론 카메라 렌즈의 초점거리, 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리의 상호 관계를 이용하여 픽셀당 물리거리(GSD:Ground Sample Distance)를 계산하여 픽셀 변위를 실제 물리 변위로 변환하여 영상 내의 추적자의 실제 변위 및 속도를 계산하는 영상 추적자 변위 산출부;영상 추적자 변위 산출부에서 산출된 영상 내의 추적자의 실제 변위 및 속도를 이용하여 하천 유속을 산정하는 유속 산정부;를 포함하는 것을 특징으로 한다.In order to achieve the above object, an apparatus for measuring river flow velocity based on drone images according to the present invention includes a drone river image capturing unit mounted on a drone and capturing a river surface image; a river surface captured by the drone river image capturing unit; Drone image receiving unit for receiving an image; Image conversion and distortion correction unit for image distortion correction using 2-D projective coordinate transformation; Focus distance, pixel size and subject of drone camera lenses An image tracker displacement calculation unit that calculates the actual displacement and speed of the tracker in the image by converting the pixel displacement into actual physical displacement by calculating the ground sample distance (GSD) using the correlation between the distance between the lens and the lens. It is characterized in that it includes; ; flow rate calculation unit that calculates the river flow velocity using the actual displacement and speed of the tracker in the image calculated by the image tracker displacement calculation unit.

다른 목적을 달성하기 위한 본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 방법은 드론 하천 영상 촬영부에서 하천 영상을 촬영하는 단계;드론 하천 영상 촬영부로부터 하천 표면 영상을 수신하여 영상 변환 및 왜곡 보정부에서 영상 변환 및 왜곡 보정을 수행하는 단계;영상 추적자 변위 산출부에서 드론 카메라 렌즈의 초점거리, 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리의 상호 관계를 이용하여 픽셀당 물리거리(GSD:Ground Sample Distance)를 계산하여 픽셀 변위를 실제 물리 변위로 변환하여 영상 내의 추적자의 실제 변위 및 속도를 계산하는 단계;영상 추적자 변위 산출부의 계산 결과를 이용하여 유속 산정부에서 하천 유속을 산정하는 단계;를 포함하는 것을 특징으로 한다.In order to achieve another object, a method for measuring river flow velocity based on drone images according to the present invention includes the steps of photographing a river image in a drone river image capture unit; receiving a river surface image from a drone river image capture unit to transform and distort an image; Performing image conversion and distortion correction in the correction unit; Physical distance per pixel (using the correlation between the focal length of the drone camera lens, the pixel size, and the distance between the subject and the lens in the image tracker displacement calculation unit) Calculating the actual displacement and speed of the tracker in the image by converting the pixel displacement into actual physical displacement by calculating GSD: Ground Sample Distance); Calculating the river flow velocity in the flow rate calculation unit using the calculation result of the image tracker displacement calculation unit It is characterized in that it comprises a; step.

이상에서 설명한 바와 같은 본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법은 다음과 같은 효과가 있다.As described above, the device and method for measuring the flow rate of a river based on a drone image according to the present invention have the following effects.

첫째, 두 영상 사이의 시간간격과 두 영상 내 추적자의 변위를 통해 유속을 산정하여 지상 참조점에 의존하지 않고 효율적인 유속 측정이 가능하도록 한다.First, the flow velocity is calculated through the time interval between the two images and the displacement of the tracker in the two images, so that the flow velocity can be measured efficiently without relying on the ground reference point.

둘째, 참조점에 의존하지 않고도 영상 내 위치를 자동적으로 찾아내 영상 보정을 하고 별도의 참조점 측량없이 영상 내 픽셀당 물리거리를 산정하여 하천 유속 측정에 이용하여 정확도를 높일 수 있다.Second, without relying on a reference point, the location in the image is automatically found, the image is corrected, and the physical distance per pixel in the image is calculated without a separate reference point survey, and the accuracy can be increased by using it to measure the river flow rate.

셋째, 드론 카메라 렌즈의 초점거리, 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리의 상호 관계를 이용하여 픽셀당 물리거리(GSD : Ground Sample Distance)를 계산하여 픽셀 변위를 실제 물리 변위로 변환하여 영상 내의 추적자의 실제 변위 및 속도를 계산할 수 있도록 한다.Third, the pixel displacement is converted into actual physical displacement by calculating the ground sample distance (GSD) using the correlation between the focal length of the drone camera lens, the pixel size, and the distance between the subject and the lens. to calculate the actual displacement and velocity of the tracer in the image.

넷째, 천 유속 측정을 위한 영상 획득 수단으로 드론을 사용하여 하천 구조물 주변이나 보 월류부 등 직접 유속을 측정하거나 카메라로 촬영하기 힘든 곳에서 영상을 촬영해 분석할 수 있도록 한다.Fourth, a drone is used as an image acquisition method for measuring stream flow rate so that the flow rate can be measured directly around river structures or overwater areas, or images can be taken and analyzed in places where it is difficult to film with a camera.

다섯째, 효율적인 운용이 가능한 드론을 영상 획득 수단으로 사용하여 시간과 공간에 대한 해상도가 높아 정량적인 하천의 물리량을 측정할 수 있고, 원격 제어의 효율성을 높인다.Fifth, by using a drone that can be operated efficiently as a means of image acquisition, it is possible to measure the quantitative physical quantity of the river with high resolution for time and space, and increase the efficiency of remote control.

도 1은 본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 장치의 구성도
도 2는 본 발명에 따른 영상 내의 추적자의 실제 변위 및 속도를 계산하는 구성을 나타낸 구성도
도 3은 본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 방법을 나타낸 플로우 차트
도 4는 본 발명에 따른 영상 변환 및 왜곡 보정 방법을 설명하기 위한 구성도
도 5는 영상 추적자 변위 산출에 따른 유속 산정 방법을 나타낸 플로우 차트
도 6은 두 정지 영상 사이의 이동 변위를 산정하는 방법을 나타낸 구성도
1 is a block diagram of a device for measuring the flow rate of a river based on drone images according to the present invention
Figure 2 is a block diagram showing a configuration for calculating the actual displacement and speed of the tracker in the image according to the present invention
Figure 3 is a flow chart showing a method for measuring the flow rate of a river based on drone images according to the present invention
Figure 4 is a configuration diagram for explaining the image conversion and distortion correction method according to the present invention
5 is a flow chart showing a flow rate calculation method according to image tracker displacement calculation
6 is a block diagram illustrating a method of calculating a movement displacement between two still images;

이하, 본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.Hereinafter, a preferred embodiment of a device and method for measuring river flow velocity based on drone images according to the present invention will be described in detail.

본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.Features and advantages of the device and method for measuring the flow rate of a river based on drone images according to the present invention will become clear through a detailed description of each embodiment below.

도 1은 본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 장치의 구성도이고, 도 2는 본 발명에 따른 영상 내의 추적자의 실제 변위 및 속도를 계산하는 구성을 나타낸 구성도이다.1 is a configuration diagram of a device for measuring river flow velocity based on a drone image according to the present invention, and FIG. 2 is a configuration diagram showing a configuration for calculating the actual displacement and speed of a tracker in an image according to the present invention.

본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법은 하천 유속 측정을 위한 영상 획득 수단으로 드론을 사용하여 하천 구조물 주변이나 보 월류부 등 직접 유속을 측정하거나 카메라로 촬영하기 힘든 곳에서 영상을 촬영해 분석할 수 있도록 한 것이다.The apparatus and method for measuring the flow rate of a river based on drone image according to the present invention uses a drone as an image acquisition means for measuring the flow rate of a river in a place where it is difficult to directly measure the flow rate or take a picture with a camera, such as around a river structure or a dam overflow. The video was filmed and analyzed.

본 발명은 효율적인 운용이 가능한 드론을 영상 획득 수단으로 사용하면서 두 영상 사이의 시간간격과 두 영상 내 추적자의 변위를 통해 유속을 산정하여 지상 참조점에 의존하지 않고 효율적인 유속 측정이 가능하도록 한 것이다.The present invention uses a drone capable of efficient operation as an image acquisition means, and calculates the flow velocity through the time interval between two images and the displacement of the tracker in the two images, enabling efficient flow velocity measurement without relying on a ground reference point.

이를 위하여 본 발명은 참조점에 의존하지 않고도 영상 내 위치를 자동적으로 찾아내 영상 보정을 하고 별도의 참조점 측량없이 영상 내 픽셀당 물리거리를 산정하여 하천 유속 측정에 이용하는 구성을 포함할 수 있다.To this end, the present invention may include a configuration that automatically finds a location in an image without relying on a reference point, corrects the image, calculates a physical distance per pixel in the image without measuring a separate reference point, and uses it to measure river flow velocity.

본 발명은 드론 카메라 렌즈의 초점거리, 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리의 상호 관계를 이용하여 픽셀당 물리거리(GSD : Ground Sample Distance)를 계산하여 픽셀 변위를 실제 물리 변위로 변환하여 영상 내의 추적자의 실제 변위 및 속도를 계산하는 구성을 포함할 수 있다.The present invention calculates the physical distance per pixel (GSD: Ground Sample Distance) using the correlation between the focal length of the drone camera lens, the pixel size, and the distance between the subject and the lens, and converts the pixel displacement into actual physical displacement. It may include a configuration for converting and calculating the actual displacement and speed of the tracker in the image.

본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 장치는 도 1에서와 같이, 드론에 탑재되어 하천 표면 영상을 촬영하는 드론 하천 영상 촬영부(10)와, 드론 하천 영상 촬영부(10)에서 촬영된 하천 표면 영상을 수신하는 드론 영상 수신부(20)와, 2차원 투영 좌표 변환법(2-D projective coordinate transformation)을 이용한 영상 왜곡 보정을 하는 영상 변환 및 왜곡 보정부(30)와, 드론 카메라 렌즈의 초점거리, 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리의 상호 관계를 이용하여 픽셀당 물리거리(GSD : Ground Sample Distance)를 계산하여 픽셀 변위를 실제 물리 변위로 변환하여 영상 내의 추적자의 실제 변위 및 속도를 계산하는 영상 추적자 변위 산출부(40)와, 영상 추적자 변위 산출부(40)에서 산출된 영상 내의 추적자의 실제 변위 및 속도를 이용하여 하천 유속을 산정하는 유속 산정부(50)를 포함한다.As shown in FIG. 1, the apparatus for measuring the flow rate of a river based on a drone image according to the present invention includes a drone river image capture unit 10 mounted on a drone and capturing a river surface image, and a drone river image capture unit 10. A drone image receiving unit 20 for receiving a captured river surface image, an image conversion and distortion correction unit 30 for image distortion correction using a 2-D projective coordinate transformation, and a drone camera lens By using the correlation between the focal length, pixel size, and distance between the subject and the lens, the physical distance per pixel (GSD: Ground Sample Distance) is calculated, and the pixel displacement is converted into the actual physical displacement. An image tracker displacement calculation unit 40 that calculates actual displacement and speed, and a flow rate calculation unit 50 that calculates the river flow velocity using the actual displacement and speed of the tracker in the image calculated by the image tracker displacement calculation unit 40 includes

하천의 표면유속은 단위시간동안 수표면을 흘러간 추적자의 변위로 계산할 수 있다. 마찬가지로 표면영상유속계를 이용한 표면유속 측정 시에는 두 영상 사이의 시간간격과 두 영상 내 어떠한 추적자의 변위를 통해 유속을 산정한다.The surface velocity of a stream can be calculated as the displacement of a tracer across the water surface per unit time. Similarly, when measuring surface velocity using a surface image velocimetry, the velocity is calculated through the time interval between two images and the displacement of a certain tracer in the two images.

여기서, 두 영상 사이의 시간 간격은 동영상으로 촬영되었을 경우 촬영된 동영상의 초당 프레임 수로, 연속 촬영의 경우 초당 촬영매수로 알 수 있으며 두 영상 내 어떠한 추적자의 변위는 각 영상에서 추적자의 영상 좌표의 차이를 이용하여 계산할 수 있다.Here, the time interval between the two images can be known as the number of frames per second of the captured video when it is captured as a video, or the number of shots per second in the case of continuous shooting, and the displacement of any tracer in the two images is the difference between the image coordinates of the tracer in each image. can be calculated using

이때 영상에서의 추적자의 변위는 영상 좌표의 단위로 계산된 픽셀 변위이다.At this time, the displacement of the tracker in the image is the pixel displacement calculated in units of image coordinates.

따라서, 해당 영상의 픽셀당 실제 물리거리를 안다면 픽셀 변위를 실제 물리 변위로 바꿀 수 있고, 영상 내의 추적자의 실제 변위 및 속도를 계산할 수 있다.Therefore, if the actual physical distance per pixel of the image is known, the pixel displacement can be converted into the actual physical displacement, and the actual displacement and speed of the tracker in the image can be calculated.

본 발명에서는 픽셀당 물리거리(GSD : Ground Sample Distance)를 계산하기 위해 드론 카메라 렌즈의 초점거리(

Figure 112020128402520-pat00001
), 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리(
Figure 112020128402520-pat00002
)의 상호 관계를 이용한다.In the present invention, in order to calculate the physical distance per pixel (GSD: Ground Sample Distance), the focal length of the drone camera lens (
Figure 112020128402520-pat00001
), pixel size and the distance between the subject and the lens (
Figure 112020128402520-pat00002
) is used.

여기서 픽셀 크기는 카메라의 이미지 센서 크기를 픽셀 수로 나눈 것이다. The pixel size here is the camera's image sensor size divided by the number of pixels.

이들 관계를 비례식으로 표시하면 수학식 1에서와 같다.If these relationships are expressed as a proportional expression, it is the same as in Equation 1.

Figure 112020128402520-pat00003
Figure 112020128402520-pat00003

수학식 1에서 수학식 2의 관계식을 유도할 수 있다.The relational expression of Equation 2 can be derived from Equation 1.

Figure 112020128402520-pat00004
Figure 112020128402520-pat00004

예를 들어 렌즈의 초점거리가 3.6 mm, 카메라의 이미지 센서 크기가 6.4 mm × 4.8 mm, 영상의 화소가 1920 × 1080 pixel, 렌즈와 물체 사이의 거리가 50 cm라고 하자. 픽셀 크기는 이미지 센서 크기를 화소 수로 나눈 0.00333 mm이고 비례식에 의해 GSD는 0.463 mm/pixel(0.00333 mm/pixel × 500 mm / 3.6 mm = 0.463 mm/pixel)이 된다.For example, suppose the focal length of the lens is 3.6 mm, the size of the image sensor of the camera is 6.4 mm × 4.8 mm, the pixels of the image are 1920 × 1080 pixels, and the distance between the lens and the object is 50 cm. The pixel size is 0.00333 mm by dividing the image sensor size by the number of pixels, and the GSD is 0.463 mm/pixel (0.00333 mm/pixel × 500 mm / 3.6 mm = 0.463 mm/pixel) by the proportional formula.

계산된 GSD는 영상의 각 픽셀이 정방형 픽셀일 경우 종방향 또는 횡방향 어느 방향에서든 유효하다.The calculated GSD is effective in either the longitudinal or lateral direction when each pixel of the image is a square pixel.

따라서, 영상에서 어떠한 물체의 길이는 영상에서 물체가 차지하는 픽셀 수에 GSD를 곱하여 구할 수 있다.Therefore, the length of an object in an image can be obtained by multiplying the number of pixels occupied by the object in the image by the GSD.

본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 방법을 구체적으로 설명하면 다음과 같다.The method for measuring the flow velocity of a river based on a drone image according to the present invention will be described in detail as follows.

도 3은 본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 방법을 나타낸 플로우 차트이다.3 is a flow chart showing a method for measuring river flow velocity based on drone images according to the present invention.

본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 방법은 도 3에서와 같이, 먼저 드론 하천 영상 촬영부(10)에서 하천 영상을 촬영한다.(S301)In the method for measuring the flow rate of a river based on a drone image according to the present invention, as shown in FIG. 3, first, a river image is captured by the drone river image capture unit 10 (S301).

이어, 드론 하천 영상 촬영부(10)로부터 하천 표면 영상을 수신하여 영상 변환 및 왜곡 보정부(30)에서 영상 변환 및 왜곡 보정을 수행한다.(S302)Subsequently, the river surface image is received from the drone river image capturing unit 10, and the image conversion and distortion correction are performed in the image conversion and distortion correction unit 30 (S302).

그리고 영상 추적자 변위 산출부(40)에서 드론 카메라 렌즈의 초점거리, 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리의 상호 관계를 이용하여 픽셀당 물리거리(GSD : Ground Sample Distance)를 계산하여 픽셀 변위를 실제 물리 변위로 변환하여 영상 내의 추적자의 실제 변위 및 속도를 계산한다.(S303)In addition, the image tracker displacement calculation unit 40 calculates the ground sample distance (GSD) per pixel using the focal length of the drone camera lens, the pixel size, and the correlation between the distance between the subject and the lens. Calculate the actual displacement and speed of the tracker in the image by converting the pixel displacement into actual physical displacement. (S303)

이어, 영상 추적자 변위 산출부(40)의 계산 결과를 이용하여 유속 산정부(50)에서 하천 유속을 산정한다.(S304)Subsequently, the flow rate of the river is calculated by the flow rate calculation unit 50 using the calculation result of the image tracker displacement calculation unit 40 (S304).

이하에서 영상 변환 및 왜곡 보정, 유속 산정에 관하여 구체적으로 설명하면 다음과 같다.Hereinafter, the image conversion, distortion correction, and flow rate calculation will be described in detail.

도 4는 본 발명에 따른 영상 변환 및 왜곡 보정 방법을 설명하기 위한 구성도이다.4 is a configuration diagram for explaining an image conversion and distortion correction method according to the present invention.

그리고 도 5는 영상 추적자 변위 산출에 따른 유속 산정 방법을 나타낸 플로우 차트이고, 도 6은 두 정지 영상 사이의 이동 변위를 산정하는 방법을 나타낸 구성도이다.5 is a flow chart showing a flow rate calculation method according to image tracker displacement calculation, and FIG. 6 is a configuration diagram showing a method for calculating movement displacement between two still images.

표면영상유속계(SIV; Surface Image Velocimetry)는 수표면을 촬영한 영상을 프레임 단위로 분할하여 연속된 정지 영상으로 만들어 두 정지 영상 사이의 입자의 이동 변위를 구한 뒤, 이동 변위를 두 영상 사이의 시간 간격으로 나누어 수표면의 유속을 측정하는 기법이다.Surface Image Velocimetry (SIV) divides an image of the water surface into frame units to make a continuous still image, calculates the movement displacement of particles between the two still images, and calculates the movement displacement as the time interval between the two images. It is a method of measuring the velocity of the water surface by dividing it into intervals.

표면영상유속계의 기본 원리는 입자영상유속계(PIV; Particle Image Velocimetry)의 영상 분석 기법을 바탕으로 하되 입자영상유속계와 다른 점은 넓은 하천을 대상으로 하고 별도의 입자 없이 수표면의 수면파문도 추적자로 사용할 수 있다는 점이다.The basic principle of surface image velocimetry is based on the image analysis technique of Particle Image Velocimetry (PIV). that it can be used.

표면영상유속계는 초기에 입자영상유속계와 유속 측정 원리를 같이 하며 넓은 범위의 유속을 측정한다는 의미에서 LSPIV(Large Scale Particle Image Velocimetry)라고 하였지만, 특별한 입자 없이 수면파문이나 부유입자가 있는 수표면을 촬영한 영상을 통해 하천의 유속을 측정하기 때문에 입자를 뜻하는 particle을 제외하고 표면영상유속계라 한다.Surface image velocimetry was initially called LSPIV (Large Scale Particle Image Velocimetry) in the sense that it shares the same flow velocity measurement principle as particle image velocimetry and measures the flow velocity in a wide range. Since the flow rate of a river is measured through an image, it is called a surface image velocimetry except for particle.

표면영상유속계를 이용하여 유속을 산정하는 과정은 영상 획득, 영상 왜곡 보정, 영상 분석, 유속 산정 및 후처리의 5단계로 이루어진다.The process of estimating the flow rate using the surface image velocimetry consists of five steps: image acquisition, image distortion correction, image analysis, flow rate calculation, and post-processing.

표면영상유속계를 통해 유속을 산정하기 위해서는 먼저 수표면의 흐름 영상을 촬영하여야 한다.In order to estimate the flow velocity through the surface image velocimetry, first, a flow image of the water surface must be taken.

일반적으로 영상은 흐름 양상과 영상 보정 및 좌표 변환을 위한 참조점을 모두 포함하도록 촬영하여야 하며 이를 위해 넓은 시야를 확보할 수 있는 제방이나 교각 위에서 촬영한다. 또한 영상은 고정된 위치에서 디지털카메라를 이용하여 촬영하며 영상 내 흐름의 이동거리에 따라 초당 프레임 수를 결정하여 촬영하여야 한다. In general, images should be captured to include both flow patterns and reference points for image correction and coordinate transformation. In addition, the video is taken using a digital camera at a fixed location, and the number of frames per second must be determined according to the moving distance of the flow in the video.

이와는 다르게 본 발명에서는 참조점에 의존하지 않고도 영상 내 위치를 자동적으로 찾아내 영상 보정을 하고 별도의 참조점 측량없이 영상 내 픽셀당 물리거리를 산정하여 하천 유속 측정에 이용하는 것으로, 하천 유속 측정을 위한 영상 획득 수단으로 드론을 사용하는 것이다.Unlike this, in the present invention, the location in the image is automatically found without relying on a reference point, the image is corrected, and the physical distance per pixel in the image is calculated without a separate reference point measurement and used for river flow velocity measurement. The use of drones as a means of acquiring images.

본 발명은 드론 카메라 렌즈의 초점거리, 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리의 상호 관계를 이용하여 픽셀당 물리거리(GSD : Ground Sample Distance)를 계산하여 픽셀 변위를 실제 물리 변위로 변환하여 영상 내의 추적자의 실제 변위 및 속도를 계산한다.The present invention calculates the physical distance per pixel (GSD: Ground Sample Distance) using the correlation between the focal length of the drone camera lens, the pixel size, and the distance between the subject and the lens, and converts the pixel displacement into actual physical displacement. Transform to calculate the actual displacement and velocity of the tracer in the image.

그리고 영상 내 입자의 이동거리가 작을 경우 영상유속계의 오차에 영향을 미치기 때문에 이를 유의하여야 한다.In addition, if the moving distance of the particles in the image is small, it should be noted that it affects the error of the image velocimetry.

또한, 하천의 넓은 영역을 촬영한 영상은 필연적으로 영상의 왜곡이 발생한다. 따라서 촬영한 영상을 통해 유속을 산정하기 위해서는 영상에서 발생하는 왜곡을 보정하여야 한다.In addition, image distortion inevitably occurs in the image of a wide area of the river. Therefore, in order to calculate the flow velocity through the captured image, distortion occurring in the image must be corrected.

일반적으로 고정된 영상의 경우 정사영 보정을 수행하며 흔들림이 있는 영상의 경우 흔들림 보정과 정사영 보정을 모두 수행한다.In general, orthographic correction is performed for a fixed image, and both shake correction and orthographic correction are performed for an image with shaking.

표면영상유속계는 정사영 보정을 위해 2차원 투영 좌표 변환법(2-D projective coordinate transformation)을 이용한 영상 왜곡 보정 방법을 사용한다.Surface image velocimetry uses an image distortion correction method using 2-D projective coordinate transformation for orthographic correction.

2차원 투영 좌표 변환법은 경사진 사진에서의 특정 좌표를 일정한 평면상의 실제 좌표로 계산하는데 가장 많이 사용된다.The two-dimensional projected coordinate conversion method is most often used to calculate specific coordinates in an inclined photo as actual coordinates on a certain plane.

2차원 투영 좌표 변환법에 의한 실제 좌표(X,Y)와 영상 좌표(x,y) 사이의 관계식은 수학식 3과 수학식 4에서와 같다.The relationship between the real coordinates (X, Y) and the image coordinates (x, y) by the two-dimensional projected coordinate conversion method is the same as in Equations 3 and 4.

Figure 112020128402520-pat00005
Figure 112020128402520-pat00005

Figure 112020128402520-pat00006
Figure 112020128402520-pat00006

여기서,

Figure 112020128402520-pat00007
는 회전 보정, 병진이동 보정, x-y좌표에 대한 직각 보정과 평행하지 않은 두 좌표계간의 좌표 보정을 위한 8 개의 맵핑계수이다.here,
Figure 112020128402520-pat00007
are 8 mapping coefficients for rotation correction, translational translation correction, orthogonal correction for xy coordinates, and coordinate correction between two non-parallel coordinate systems.

수학식 3과 수학식 4는 각각의 기준점에 대해 성립하며 총 8 개의 미지수를 가지고 있기 때문에 수표면과 같은 평면에 존재하는 최소 4 개의 참조점이 필요하다. 또한, 해석상의 오차를 줄이기 위해 4 개 이상의 참조점을 사용하는 것을 권장한다.Since Equations 3 and 4 hold for each reference point and have a total of 8 unknowns, at least 4 reference points existing on the same plane as the water surface are required. In addition, it is recommended to use 4 or more reference points to reduce errors in interpretation.

마지막으로 영상 왜곡 보정을 마친 영상을 분석하여 하천의 유속을 산정한다. 영상 분석을 통해 하천의 유속 벡터를 산정하는 원리 및 분석 결과는 도 5에서와 같다.Finally, the flow rate of the river is calculated by analyzing the image after image distortion correction. The principle and analysis result of calculating the flow velocity vector of the river through image analysis are the same as in FIG.

기본적으로 표면영상유속계는 두 정지 영상 내 입자 또는 입자군의 이동 변위를 시간 간격으로 나누어 유속을 산정하기 때문에 입자의 이동 변위를 정확하게 산정하는 것이 매우 중요하다.Basically, since the surface image velocimetry calculates the flow velocity by dividing the movement displacement of particles or groups of particles in two still images by the time interval, it is very important to accurately calculate the movement displacement of particles.

표면영상유속계에서는 연속되는 두 정지 영상 내 입자의 이동 변위 산정을 위해 상호상관(cross-correlation) 기법을 이용한다.In surface image velocimetry, a cross-correlation technique is used to calculate the movement displacement of particles in two consecutive still images.

상호상관 기법은 두 정지 영상을 비교하여 영상 내에 설정한 탐색영역(searching area)에서 상관영역(interrogation area)의 명암 등급 값을 비교한 뒤, 상관계수

Figure 112020128402520-pat00008
가 가장 큰 입자군을 동일 입자군으로 판별하는 것이다.The cross-correlation technique compares two still images, compares the intensity level values of the interrogation area in the search area set in the image, and then calculates the correlation coefficient.
Figure 112020128402520-pat00008
The particle group with the largest is discriminated as the same particle group.

여기서, 탐색영역은 두 정지 영상 중 두 번째 영상 내에서 첫 번째 영상의 어떠한 입자군과 동일한 입자군의 판별을 위한 검색 범위로, 이 영역 내에서 상관계수를 계산한다.Here, the search area is a search range for determining a particle group identical to a certain particle group of the first image in the second image of the two still images, and a correlation coefficient is calculated within this area.

탐색영역은 영상 내의 입자군의 이동을 고려하여 적절하게 설정해주어야 한다. 상관영역은 상관계수 계산을 위한 입자군의 크기를 의미하며, 이 크기를 기준으로 상관계수를 계산한다.The search area should be appropriately set in consideration of the movement of the particle group in the image. The correlation region means the size of the particle group for calculating the correlation coefficient, and the correlation coefficient is calculated based on this size.

영상 내 흐름 양상에 따라 상관영역의 크기를 적절히 조절하여야 하는데, 적정 상관영역의 크기는 상관영역 내 입자 밀도와 입자 크기에 따른 허용 오차를 고려한 최소 상관영역의 크기에서부터 전단 흐름과 회전 흐름에 따른 허용 오차를 고려한 최대 상관영역의 크기까지의 범위로 설정한다.The size of the correlation region must be appropriately adjusted according to the flow pattern in the image. The size of the appropriate correlation region ranges from the size of the minimum correlation region considering the particle density and tolerance according to the particle size in the correlation region to the tolerance according to the shear flow and rotational flow. It is set to the range up to the size of the maximum correlation region considering the error.

상관계수

Figure 112020128402520-pat00009
는 수학식 5에서와 같이 정의된다.correlation coefficient
Figure 112020128402520-pat00009
Is defined as in Equation 5.

Figure 112020128402520-pat00010
Figure 112020128402520-pat00010

여기서,

Figure 112020128402520-pat00011
Figure 112020128402520-pat00012
는 상관영역의 크기를 나타내며,
Figure 112020128402520-pat00013
는 두 정지 영상 중 첫 번째 정지 영상 내 상관영역의 픽셀에 대한
Figure 112020128402520-pat00014
열과
Figure 112020128402520-pat00015
행의 명암 등급값이고,
Figure 112020128402520-pat00016
는 두 번째 정지 영상 내의 명암값을 나타낸다. here,
Figure 112020128402520-pat00011
and
Figure 112020128402520-pat00012
represents the size of the correlation region,
Figure 112020128402520-pat00013
is for the pixel of the correlation region in the first still image of the two still images.
Figure 112020128402520-pat00014
heat and
Figure 112020128402520-pat00015
is the intensity level value of the row,
Figure 112020128402520-pat00016
represents a contrast value in the second still image.

Figure 112020128402520-pat00017
Figure 112020128402520-pat00018
는 상관영역 내의 모든 명암 등급값의 평균을 나타낸다.
Figure 112020128402520-pat00017
and
Figure 112020128402520-pat00018
represents the average of all intensity level values within the correlation region.

상관계수

Figure 112020128402520-pat00019
는 -1에서 +1까지의 값을 가지게 된다.correlation coefficient
Figure 112020128402520-pat00019
has a value from -1 to +1.

상관계수가 -1인 경우는 음의 완전 상관관계로 상관영역 내 모든 픽셀의 명암값이 완전한 음의 관계를 이룬다는 것을 의미하며, 상관계수가 +1인 경우는 두 정지 영상의 상관영역이 완벽한 상관을 이룬다는 것을 의미한다.If the correlation coefficient is -1, it means that the intensity values of all pixels in the correlation region form a perfect negative relationship with a perfect negative correlation, and if the correlation coefficient is +1, the correlation regions of the two still images are perfect. means to be correlated.

또한 상관계수가 0인 경우는 두 정지 영상의 상관영역에 대해 완전히 상관관계가 없음을 의미한다. 일반적으로 동일 입자군 판별을 위한 상관계수의 최소 기준값은 0.7을 사용하며, 상관계수가 이 값 이상일 경우 동일 입자군으로 판단한다. In addition, when the correlation coefficient is 0, it means that there is no correlation between the two still images in the correlation region. In general, 0.7 is used as the minimum reference value of the correlation coefficient for determining the same particle group, and if the correlation coefficient is greater than this value, it is determined as the same particle group.

하지만 탐색영역 입자군 중 상관계수가 제일 크더라도 0.7 이하이면 동일 입자군으로 간주하기 어렵다.However, even if the correlation coefficient is the largest among the particle groups in the search region, if it is 0.7 or less, it is difficult to regard them as the same particle group.

이와 같이 상호상관 기법을 통해 두 정지 영상에서 동일하다고 판별된 입자군을 특정한 다음 입자군의 두 정지 영상 사이의 이동 변위를 산정한다.In this way, through the cross-correlation technique, the particle group determined to be the same in the two still images is specified, and then the displacement between the two still images of the particle group is calculated.

이동 변위 산정은 도 6에서와 같다.The movement displacement calculation is the same as in FIG. 6 .

이동 변위를 두 정지 영상 사이의 시간 간격으로 나누어주면 수학식 6에서와 같이, 영상 내의 입자군의 유속을 산정할 수 있다.By dividing the movement displacement by the time interval between the two still images, the flow velocity of the particle group in the image can be calculated as shown in Equation 6.

Figure 112020128402520-pat00020
Figure 112020128402520-pat00020

여기서,

Figure 112020128402520-pat00021
Figure 112020128402520-pat00022
방향 유속,
Figure 112020128402520-pat00023
Figure 112020128402520-pat00024
방향 유속,
Figure 112020128402520-pat00025
는 영상 좌표와 실제 좌표 간의 변환계수,
Figure 112020128402520-pat00026
,
Figure 112020128402520-pat00027
은 첫 번째 영상에서 유속 산정을 위해 지정한 영상 좌표,
Figure 112020128402520-pat00028
,
Figure 112020128402520-pat00029
는 두 번째 영상에서 상관계수가 가장 높은 상관영역의 도심의 좌표,
Figure 112020128402520-pat00030
는 두 정지 영상 사이의 시간간격이다.here,
Figure 112020128402520-pat00021
Is
Figure 112020128402520-pat00022
direction flow rate,
Figure 112020128402520-pat00023
Is
Figure 112020128402520-pat00024
direction flow rate,
Figure 112020128402520-pat00025
is the conversion coefficient between image coordinates and real coordinates,
Figure 112020128402520-pat00026
,
Figure 112020128402520-pat00027
is the image coordinates specified for calculating the flow velocity in the first image,
Figure 112020128402520-pat00028
,
Figure 112020128402520-pat00029
are the coordinates of the centroid of the correlation region with the highest correlation coefficient in the second image,
Figure 112020128402520-pat00030
is the time interval between the two still images.

이상에서 설명한 본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법은 하천 유속 측정을 위한 영상 획득 수단으로 드론을 사용하고, 두 영상 사이의 시간간격과 두 영상 내 추적자의 변위를 통해 유속을 산정하여 지상 참조점에 의존하지 않고 효율적인 유속 측정이 가능하도록 한 것이다.The device and method for measuring the flow rate of a river based on drone images according to the present invention described above uses a drone as an image acquisition means for measuring the flow rate of a river, and measures the flow rate through the time interval between two images and the displacement of the tracker in the two images. is calculated to enable efficient flow velocity measurement without relying on ground reference points.

본 발명은 드론 카메라 렌즈의 초점거리, 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리의 상호 관계를 이용하여 픽셀당 물리거리(GSD : Ground Sample Distance)를 계산하여 픽셀 변위를 실제 물리 변위로 변환하여 영상 내의 추적자의 실제 변위 및 속도를 계산하여 하천 유속 산정을 할 수 있도록 한 것이다.The present invention calculates the physical distance per pixel (GSD: Ground Sample Distance) using the correlation between the focal length of the drone camera lens, the pixel size, and the distance between the subject and the lens, and converts the pixel displacement into actual physical displacement. By converting it, the actual displacement and velocity of the tracer in the image are calculated so that the river flow velocity can be calculated.

이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.As described above, it will be understood that the present invention is implemented in a modified form without departing from the essential characteristics of the present invention.

그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.Therefore, the specified embodiments should be considered from a descriptive point of view rather than a limiting point of view, and the scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the equivalent range are considered to be included in the present invention. will have to be interpreted

10. 드론 하천 영상 촬영부
20. 드론 영상 수신부
30. 영상 변환 및 왜곡 보정부
40. 영상 추적자 변위 산출부
50. 유속 산정부
10. Drone river imaging department
20. Drone video receiver
30. Image conversion and distortion correction unit
40. Image tracker displacement calculator
50. Flow rate calculator

Claims (13)

드론에 탑재되어 하천 표면 영상을 촬영하는 드론 하천 영상 촬영부;
상기 드론 하천 영상 촬영부에서 촬영된 하천 표면 영상을 수신하는 드론 영상 수신부;
2차원 투영 좌표 변환법(2-D projective coordinate transformation)을 이용한 영상 왜곡 보정을 하는 영상 변환 및 왜곡 보정부;
드론 카메라 렌즈의 초점거리, 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리의 상호 관계를 이용하여 픽셀당 물리거리(GSD:Ground Sample Distance)를 계산하여 픽셀 변위를 실제 물리 변위로 변환하여 영상 내의 추적자의 실제 변위 및 속도를 계산하는 영상 추적자 변위 산출부;
영상 추적자 변위 산출부에서 산출된 영상 내의 추적자의 실제 변위 및 속도를 이용하여 하천 유속을 산정하는 유속 산정부;를 포함하고,
영상 추적자 변위 산출부는 연속되는 두 정지 영상 내 추적자의 이동 변위 산정을 위해, 두 정지 영상을 비교하여 영상 내에 설정한 탐색영역(searching area)에서 상관영역(interrogation area)의 명암 등급 값을 비교한 뒤, 상관계수
Figure 112022142415959-pat00088
가 가장 큰 입자군을 동일 추적자로 판별하는 상호상관(cross-correlation) 기법을 이용하고, 상관계수
Figure 112022142415959-pat00089
가 가장 큰 입자군을 동일 추적자로 판별하고,
상관계수
Figure 112022142415959-pat00090
는,
Figure 112022142415959-pat00091

여기서,
Figure 112022142415959-pat00092
Figure 112022142415959-pat00093
는 상관영역의 크기를 나타내며,
Figure 112022142415959-pat00094
는 두 정지 영상 중 첫 번째 정지 영상 내 상관영역의 픽셀에 대한
Figure 112022142415959-pat00095
열과
Figure 112022142415959-pat00096
행의 명암 등급값이고,
Figure 112022142415959-pat00097
는 두 번째 정지 영상 내의 명암값이고,
Figure 112022142415959-pat00098
Figure 112022142415959-pat00099
는 상관영역 내의 모든 명암 등급값의 평균이고,
상관계수
Figure 112022142415959-pat00100
는 -1에서 +1까지의 값을 갖고, 상관계수가 -1인 경우는 음의 완전 상관관계로 상관영역 내 모든 픽셀의 명암값이 완전한 음의 관계를 이룬다는 것을 의미하며, 상관계수가 +1인 경우는 두 정지 영상의 상관영역이 완벽한 상관을 이룬다는 것을 의미하고, 상관계수가 0인 경우는 두 정지 영상의 상관영역에 대해 완전히 상관관계가 없음을 의미하는 것을 특징으로 하는 드론 영상 기반의 하천 유속 측정을 위한 장치.
A drone river image capture unit mounted on a drone to capture a river surface image;
a drone image receiving unit for receiving a river surface image captured by the drone river image capturing unit;
An image conversion and distortion correction unit performing image distortion correction using a 2-D projective coordinate transformation;
By using the correlation between the focal length of the drone camera lens, the pixel size, and the distance between the subject and the lens, the ground sample distance (GSD) is calculated, and the pixel displacement is converted into actual physical displacement. an image tracker displacement calculation unit that calculates the actual displacement and speed of the tracker within the tracker;
A flow rate calculation unit that calculates the river flow velocity using the actual displacement and speed of the tracer in the image calculated by the image tracker displacement calculation unit; includes,
The image tracker displacement calculation unit compares the two still images to calculate the movement displacement of the tracker in two consecutive still images, compares the contrast level value of the interrogation area in the search area set in the image, and then , the correlation coefficient
Figure 112022142415959-pat00088
A cross-correlation technique is used to determine the particle group with the largest as the same tracer, and the correlation coefficient
Figure 112022142415959-pat00089
Discriminates the particle group with the largest as the same tracer,
correlation coefficient
Figure 112022142415959-pat00090
Is,
Figure 112022142415959-pat00091

here,
Figure 112022142415959-pat00092
and
Figure 112022142415959-pat00093
represents the size of the correlation region,
Figure 112022142415959-pat00094
is for the pixel of the correlation region in the first still image of the two still images.
Figure 112022142415959-pat00095
heat and
Figure 112022142415959-pat00096
is the intensity level value of the row,
Figure 112022142415959-pat00097
is the intensity value in the second still image,
Figure 112022142415959-pat00098
and
Figure 112022142415959-pat00099
is the average of all intensity level values in the correlation region,
correlation coefficient
Figure 112022142415959-pat00100
has a value from -1 to +1, and if the correlation coefficient is -1, it means that the intensity values of all pixels in the correlation region form a perfect negative relationship with a perfect negative correlation, and the correlation coefficient is + A case of 1 means that the correlation regions of the two still images are perfectly correlated, and a case where the correlation coefficient is 0 means that the correlation regions of the two still images are completely uncorrelated. A device for measuring the flow rate of rivers.
제 1 항에 있어서, 드론 카메라 렌즈의 초점거리(
Figure 112020128402520-pat00031
), 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리(
Figure 112020128402520-pat00032
)의 상호 관계는,
Figure 112020128402520-pat00033
으로 정의되고,
픽셀당 물리거리(GSD:Ground Sample Distance)는
Figure 112020128402520-pat00034
으로 구하는 것을 특징으로 하는 드론 영상 기반의 하천 유속 측정을 위한 장치.
The method of claim 1, wherein the focal length of the drone camera lens (
Figure 112020128402520-pat00031
), pixel size and the distance between the subject and the lens (
Figure 112020128402520-pat00032
) The correlation of
Figure 112020128402520-pat00033
is defined as,
The physical distance per pixel (GSD: Ground Sample Distance) is
Figure 112020128402520-pat00034
Device for measuring drone image-based river flow rate, characterized in that obtained by.
제 1 항에 있어서, 영상 변환 및 왜곡 보정부에서,
2차원 투영 좌표 변환법에 의한 실제 좌표(X,Y)와 영상 좌표(x,y) 사이의 관계식은,
Figure 112020128402520-pat00035
,
Figure 112020128402520-pat00036
으로 정의하고,
여기서,
Figure 112020128402520-pat00037
는 회전 보정, 병진이동 보정, x-y좌표에 대한 직각 보정과 평행하지 않은 두 좌표계간의 좌표 보정을 위한 8 개의 맵핑계수인 것을 특징으로 하는 드론 영상 기반의 하천 유속 측정을 위한 장치.
The method of claim 1, wherein in the image conversion and distortion correction unit,
The relational expression between the real coordinates (X, Y) and the image coordinates (x, y) by the two-dimensional projected coordinate transformation method is,
Figure 112020128402520-pat00035
,
Figure 112020128402520-pat00036
defined as,
here,
Figure 112020128402520-pat00037
is 8 mapping coefficients for rotation correction, translational translation correction, orthogonal correction for xy coordinates and coordinate correction between two non-parallel coordinate systems.
삭제delete 삭제delete 삭제delete 제 1 항에 있어서, 동일 추적자 판별을 위한 상관계수의 최소 기준값은 0.7을 사용하며, 상관계수가 이 값 이상일 경우 동일 추적자로 판단하는 것을 특징으로 하는 드론 영상 기반의 하천 유속 측정을 위한 장치.According to claim 1, The minimum reference value of the correlation coefficient for determining the same tracker is 0.7, and if the correlation coefficient is greater than this value, the drone image-based river flow velocity measurement device is characterized in that it is determined as the same tracker. 제 1 항에 있어서, 유속 산정부는,
두 정지 영상에서 동일하다고 판별된 추적자를 특정한 다음, 추적자의 두 정지 영상 사이의 이동 변위를 산정하고,
Figure 112020128402520-pat00051
으로 이동 변위를 두 정지 영상 사이의 시간 간격으로 나누어 영상 내의 추적자의 유속을 산정하고,
여기서,
Figure 112020128402520-pat00052
Figure 112020128402520-pat00053
방향 유속,
Figure 112020128402520-pat00054
Figure 112020128402520-pat00055
방향 유속,
Figure 112020128402520-pat00056
는 영상 좌표와 실제 좌표 간의 변환계수,
Figure 112020128402520-pat00057
,
Figure 112020128402520-pat00058
은 첫 번째 영상에서 유속 산정을 위해 지정한 영상 좌표,
Figure 112020128402520-pat00059
,
Figure 112020128402520-pat00060
는 두 번째 영상에서 상관계수가 가장 높은 상관영역의 도심의 좌표,
Figure 112020128402520-pat00061
는 두 정지 영상 사이의 시간간격인 것을 특징으로 하는 드론 영상 기반의 하천 유속 측정을 위한 장치.
The method of claim 1, wherein the flow rate calculation unit,
After specifying the tracker determined to be the same in the two still images, calculating the movement displacement between the two still images of the tracker,
Figure 112020128402520-pat00051
Calculate the flow velocity of the tracer in the image by dividing the moving displacement by the time interval between the two still images,
here,
Figure 112020128402520-pat00052
Is
Figure 112020128402520-pat00053
direction flow rate,
Figure 112020128402520-pat00054
Is
Figure 112020128402520-pat00055
direction flow rate,
Figure 112020128402520-pat00056
is the conversion coefficient between image coordinates and real coordinates,
Figure 112020128402520-pat00057
,
Figure 112020128402520-pat00058
is the image coordinates specified for calculating the flow velocity in the first image,
Figure 112020128402520-pat00059
,
Figure 112020128402520-pat00060
are the coordinates of the centroid of the correlation region with the highest correlation coefficient in the second image,
Figure 112020128402520-pat00061
Is a time interval between two still images. A device for measuring the flow rate of a river based on drone images.
드론 하천 영상 촬영부에서 하천 영상을 촬영하는 단계;
드론 하천 영상 촬영부로부터 하천 표면 영상을 수신하여 영상 변환 및 왜곡 보정부에서 영상 변환 및 왜곡 보정을 수행하는 단계;
영상 추적자 변위 산출부에서 드론 카메라 렌즈의 초점거리, 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리의 상호 관계를 이용하여 픽셀당 물리거리(GSD:Ground Sample Distance)를 계산하여 픽셀 변위를 실제 물리 변위로 변환하여 영상 내의 추적자의 실제 변위 및 속도를 계산하는 단계;
영상 추적자 변위 산출부의 계산 결과를 이용하여 유속 산정부에서 하천 유속을 산정하는 단계;를 포함하고,
영상 내의 추적자의 실제 변위 및 속도를 계산하는 단계에서 연속되는 두 정지 영상 내 추적자의 이동 변위 산정을 위해,
두 정지 영상을 비교하여 영상 내에 설정한 탐색영역(searching area)에서 상관영역(interrogation area)의 명암 등급 값을 비교한 뒤, 상관계수
Figure 112022142415959-pat00101
가 가장 큰 입자군을 동일 추적자로 판별하는 상호상관(cross-correlation) 기법을 이용하고, 상관계수
Figure 112022142415959-pat00102
가 가장 큰 입자군을 동일 추적자로 판별하고,
상관계수
Figure 112022142415959-pat00103
는,
Figure 112022142415959-pat00104

여기서,
Figure 112022142415959-pat00105
Figure 112022142415959-pat00106
는 상관영역의 크기를 나타내며,
Figure 112022142415959-pat00107
는 두 정지 영상 중 첫 번째 정지 영상 내 상관영역의 픽셀에 대한
Figure 112022142415959-pat00108
열과
Figure 112022142415959-pat00109
행의 명암 등급값이고,
Figure 112022142415959-pat00110
는 두 번째 정지 영상 내의 명암값이고,
Figure 112022142415959-pat00111
Figure 112022142415959-pat00112
는 상관영역 내의 모든 명암 등급값의 평균이고,
상관계수
Figure 112022142415959-pat00113
는 -1에서 +1까지의 값을 갖고, 상관계수가 -1인 경우는 음의 완전 상관관계로 상관영역 내 모든 픽셀의 명암값이 완전한 음의 관계를 이룬다는 것을 의미하며, 상관계수가 +1인 경우는 두 정지 영상의 상관영역이 완벽한 상관을 이룬다는 것을 의미하고, 상관계수가 0인 경우는 두 정지 영상의 상관영역에 대해 완전히 상관관계가 없음을 의미하는 것을 특징으로 하는 드론 영상 기반의 하천 유속 측정을 위한 방법.
Taking a river image in a drone river image capture unit;
Receiving a river surface image from a drone river image capture unit and performing image conversion and distortion correction in an image conversion and distortion correction unit;
The image tracker displacement calculation unit calculates the physical distance per pixel (GSD: Ground Sample Distance) using the correlation between the focal length of the drone camera lens, the pixel size, and the distance between the subject and the lens to calculate the actual pixel displacement. Calculating the actual displacement and speed of the tracker in the image by converting it into physical displacement;
Calculating the river flow velocity in the flow velocity calculation unit using the calculation result of the image tracker displacement calculation unit; including,
In order to calculate the moving displacement of the tracker in two consecutive still images in the step of calculating the actual displacement and speed of the tracker in the image,
After comparing the two still images and comparing the contrast level values of the interrogation area in the search area set in the image, the correlation coefficient
Figure 112022142415959-pat00101
A cross-correlation technique is used to determine the particle group with the largest as the same tracer, and the correlation coefficient
Figure 112022142415959-pat00102
Discriminates the particle group with the largest as the same tracer,
correlation coefficient
Figure 112022142415959-pat00103
Is,
Figure 112022142415959-pat00104

here,
Figure 112022142415959-pat00105
and
Figure 112022142415959-pat00106
represents the size of the correlation region,
Figure 112022142415959-pat00107
is for the pixel of the correlation region in the first still image of the two still images.
Figure 112022142415959-pat00108
heat and
Figure 112022142415959-pat00109
is the intensity level value of the row,
Figure 112022142415959-pat00110
is the intensity value in the second still image,
Figure 112022142415959-pat00111
and
Figure 112022142415959-pat00112
is the average of all intensity level values in the correlation region,
correlation coefficient
Figure 112022142415959-pat00113
has a value from -1 to +1, and if the correlation coefficient is -1, it means that the intensity values of all pixels in the correlation region form a perfect negative relationship with a perfect negative correlation, and the correlation coefficient is + A case of 1 means that the correlation regions of the two still images are perfectly correlated, and a case where the correlation coefficient is 0 means that the correlation regions of the two still images are completely uncorrelated. A method for measuring the flow velocity of rivers.
제 9 항에 있어서, 드론 카메라 렌즈의 초점거리(
Figure 112020128402520-pat00062
), 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리(
Figure 112020128402520-pat00063
)의 상호 관계는,
Figure 112020128402520-pat00064
으로 정의되고,
픽셀당 물리거리(GSD:Ground Sample Distance)는
Figure 112020128402520-pat00065
으로 구하는 것을 특징으로 하는 드론 영상 기반의 하천 유속 측정을 위한 방법.
The method of claim 9, wherein the focal length of the drone camera lens (
Figure 112020128402520-pat00062
), pixel size and the distance between the subject and the lens (
Figure 112020128402520-pat00063
) The correlation of
Figure 112020128402520-pat00064
is defined as,
The physical distance per pixel (GSD: Ground Sample Distance) is
Figure 112020128402520-pat00065
A method for measuring the flow rate of a river based on drone images, characterized in that obtained by
제 9 항에 있어서, 영상 변환 및 왜곡 보정을 수행하는 단계에서,
2차원 투영 좌표 변환법에 의한 실제 좌표(X,Y)와 영상 좌표(x,y) 사이의 관계식은,
Figure 112020128402520-pat00066
,
Figure 112020128402520-pat00067
으로 정의하고,
여기서,
Figure 112020128402520-pat00068
는 회전 보정, 병진이동 보정, x-y좌표에 대한 직각 보정과 평행하지 않은 두 좌표계간의 좌표 보정을 위한 8 개의 맵핑계수인 것을 특징으로 하는 드론 영상 기반의 하천 유속 측정을 위한 방법.
The method of claim 9, wherein in the step of performing image conversion and distortion correction,
The relational expression between the real coordinates (X, Y) and the image coordinates (x, y) by the two-dimensional projected coordinate transformation method is,
Figure 112020128402520-pat00066
,
Figure 112020128402520-pat00067
defined as,
here,
Figure 112020128402520-pat00068
is 8 mapping coefficients for rotation correction, translational translation correction, orthogonal correction for xy coordinates, and coordinate correction between two non-parallel coordinate systems.
삭제delete 제 9 항에 있어서, 하천 유속을 산정하는 단계에서,
두 정지 영상에서 동일하다고 판별된 추적자를 특정한 다음, 추적자의 두 정지 영상 사이의 이동 변위를 산정하고,
Figure 112020128402520-pat00071
으로 이동 변위를 두 정지 영상 사이의 시간 간격으로 나누어 영상 내의 추적자의 유속을 산정하고,
여기서,
Figure 112020128402520-pat00072
Figure 112020128402520-pat00073
방향 유속,
Figure 112020128402520-pat00074
Figure 112020128402520-pat00075
방향 유속,
Figure 112020128402520-pat00076
는 영상 좌표와 실제 좌표 간의 변환계수,
Figure 112020128402520-pat00077
,
Figure 112020128402520-pat00078
은 첫 번째 영상에서 유속 산정을 위해 지정한 영상 좌표,
Figure 112020128402520-pat00079
,
Figure 112020128402520-pat00080
는 두 번째 영상에서 상관계수가 가장 높은 상관영역의 도심의 좌표,
Figure 112020128402520-pat00081
는 두 정지 영상 사이의 시간간격인 것을 특징으로 하는 드론 영상 기반의 하천 유속 측정을 위한 방법.

The method of claim 9, wherein in the step of estimating the river flow rate,
After specifying the tracker determined to be the same in the two still images, calculating the movement displacement between the two still images of the tracker,
Figure 112020128402520-pat00071
Calculate the flow velocity of the tracer in the image by dividing the moving displacement by the time interval between the two still images,
here,
Figure 112020128402520-pat00072
Is
Figure 112020128402520-pat00073
direction flow rate,
Figure 112020128402520-pat00074
Is
Figure 112020128402520-pat00075
direction flow rate,
Figure 112020128402520-pat00076
is the conversion coefficient between image coordinates and real coordinates,
Figure 112020128402520-pat00077
,
Figure 112020128402520-pat00078
is the image coordinates specified for calculating the flow velocity in the first image,
Figure 112020128402520-pat00079
,
Figure 112020128402520-pat00080
are the coordinates of the centroid of the correlation region with the highest correlation coefficient in the second image,
Figure 112020128402520-pat00081
A method for measuring the flow rate of a river based on drone images, characterized in that is the time interval between two still images.

KR1020200162738A 2020-11-27 2020-11-27 Devices and Methods for Measuring Flow Velocity of River Based on Drone Imaging KR102523451B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200162738A KR102523451B1 (en) 2020-11-27 2020-11-27 Devices and Methods for Measuring Flow Velocity of River Based on Drone Imaging

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200162738A KR102523451B1 (en) 2020-11-27 2020-11-27 Devices and Methods for Measuring Flow Velocity of River Based on Drone Imaging

Publications (2)

Publication Number Publication Date
KR20220074347A KR20220074347A (en) 2022-06-03
KR102523451B1 true KR102523451B1 (en) 2023-04-26

Family

ID=81982466

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200162738A KR102523451B1 (en) 2020-11-27 2020-11-27 Devices and Methods for Measuring Flow Velocity of River Based on Drone Imaging

Country Status (1)

Country Link
KR (1) KR102523451B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102614029B1 (en) * 2023-06-22 2023-12-13 정혜린 Small river smart prediction management system using accumulated data and its method

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102485817B1 (en) 2022-07-07 2023-01-09 주식회사 하이드로셈 System and Method for Correcting River Image Distortion Using 11 Variable Coordinate Transform
KR102519606B1 (en) 2022-08-31 2023-04-13 주식회사 하이드로셈 System and Method for Measuring Real Time River Discharge based on thermal image and multivariate coordinate transformation
KR102554764B1 (en) * 2022-10-28 2023-07-11 재단법인 한국수자원조사기술원 Integrated Drone Measurement System linked with Surface Velocity Meter using doppler radar
KR102533185B1 (en) * 2023-02-10 2023-05-17 주식회사 솔디아 General river safety management device using CCTV camera images
KR102631071B1 (en) * 2023-04-18 2024-01-30 주식회사 엔포텍디에스 Flow velocity and water level measuring device in a pipeline and a measuring method using the same
KR102632719B1 (en) * 2023-07-05 2024-02-02 재단법인 한국수자원조사기술원 Remote drone station system for disaster management of flood damage

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100817907B1 (en) 2006-07-27 2008-03-31 명지대학교 산학협력단 Method of measuring the drift of a current on the surface of rivers using large scale image velocimetry
KR101512690B1 (en) 2014-06-27 2015-04-17 동의대학교 산학협력단 Analysis method and portable instrument measuring water surface velocity using digital image processing
KR101863123B1 (en) 2017-02-15 2018-06-01 한국건설기술연구원 System for mapping river water-bloom map using automatic driving unmanned air vehicle and unmanned floating body of moving type
KR102267335B1 (en) * 2018-11-29 2021-06-22 주식회사 케이티앤씨 Method for detecting a speed employing difference of distance between an object and a monitoring camera

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102614029B1 (en) * 2023-06-22 2023-12-13 정혜린 Small river smart prediction management system using accumulated data and its method

Also Published As

Publication number Publication date
KR20220074347A (en) 2022-06-03

Similar Documents

Publication Publication Date Title
KR102523451B1 (en) Devices and Methods for Measuring Flow Velocity of River Based on Drone Imaging
Patalano et al. Rectification of Image Velocity Results (RIVeR): A simple and user-friendly toolbox for large scale water surface Particle Image Velocimetry (PIV) and Particle Tracking Velocimetry (PTV)
JP7120582B2 (en) River flow velocity measurement device and method using optical flow image processing
Eltner et al. Flow velocity and discharge measurement in rivers using terrestrial and unmanned-aerial-vehicle imagery
Sánchez-García et al. C-Pro: A coastal projector monitoring system using terrestrial photogrammetry with a geometric horizon constraint
CN111435081B (en) Sea surface measuring system, sea surface measuring method and storage medium
US20230083320A1 (en) Systems and Methods for Remote Sensing of River Velocity Using Video and an Optical Flow Algorithm
CN106033614A (en) Moving object detection method of mobile camera under high parallax
Alterman et al. Passive tomography of turbulence strength
CN107966137A (en) A kind of satellite platform flutter detection method based on TDICCD splice regions image
CN106908218B (en) The processing method of river surface flow field
JP4574657B2 (en) Method and apparatus for measuring water flow
Ahn et al. Shoreline change monitoring using high resolution digital photogrammetric technique
JP2019522185A (en) How to find water flow rate
Savelyev et al. Stereo thermal marking velocimetry
CN109781191A (en) A method of utilizing the unmanned plane image fast inversion discharge of river
US20170169576A1 (en) Crowd intelligence on flow velocity measurement
CN109029366B (en) Method for measuring horizontal drift rate of algae spots through aircraft shooting
JP7170485B2 (en) Image analysis device, image analysis method and image analysis program
KR20220065436A (en) Determination method of the searching window based on optical flow alogorithm
De Vries et al. Using stereo photogrammetry to measure coastal waves
RU2436040C2 (en) Method for determination of kinematic characteristics of sea waves by optical panoramas of sea surface
Le Coz et al. Video-based hydrometry: a Bayesian camera calibration method for uncertainty analysis
Sharif Measuring surface water flow velocities by a drone and large-scale particle image velocimetry (LSPIV)
CN111486820B (en) Measurement system, measurement method, and storage medium

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right