KR102523451B1 - Devices and Methods for Measuring Flow Velocity of River Based on Drone Imaging - Google Patents
Devices and Methods for Measuring Flow Velocity of River Based on Drone Imaging Download PDFInfo
- Publication number
- KR102523451B1 KR102523451B1 KR1020200162738A KR20200162738A KR102523451B1 KR 102523451 B1 KR102523451 B1 KR 102523451B1 KR 1020200162738 A KR1020200162738 A KR 1020200162738A KR 20200162738 A KR20200162738 A KR 20200162738A KR 102523451 B1 KR102523451 B1 KR 102523451B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- river
- drone
- correlation
- displacement
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000003384 imaging method Methods 0.000 title description 2
- 238000006073 displacement reaction Methods 0.000 claims abstract description 90
- 238000012937 correction Methods 0.000 claims abstract description 41
- 238000004364 calculation method Methods 0.000 claims abstract description 31
- 238000005259 measurement Methods 0.000 claims abstract description 23
- 238000006243 chemical reaction Methods 0.000 claims abstract description 22
- 230000009466 transformation Effects 0.000 claims abstract description 6
- 239000002245 particle Substances 0.000 claims description 41
- 239000000700 radioactive tracer Substances 0.000 claims description 18
- 238000011426 transformation method Methods 0.000 claims description 5
- 230000002596 correlated effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000000827 velocimetry Methods 0.000 description 25
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 22
- 238000010586 diagram Methods 0.000 description 8
- 238000000917 particle-image velocimetry Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 239000004698 Polyethylene Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- -1 polyethylene Polymers 0.000 description 3
- 229920000573 polyethylene Polymers 0.000 description 3
- 238000002379 ultrasonic velocimetry Methods 0.000 description 3
- 241001470257 Nagara Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 244000105624 Arachis hypogaea Species 0.000 description 1
- 244000289527 Cordyline terminalis Species 0.000 description 1
- 235000009091 Cordyline terminalis Nutrition 0.000 description 1
- 229920002261 Corn starch Polymers 0.000 description 1
- 240000007049 Juglans regia Species 0.000 description 1
- 235000009496 Juglans regia Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005888 antibody-dependent cellular phagocytosis Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000008120 corn starch Substances 0.000 description 1
- 229940099112 cornstarch Drugs 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- XMBWDFGMSWQBCA-UHFFFAOYSA-N hydrogen iodide Chemical group I XMBWDFGMSWQBCA-UHFFFAOYSA-N 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 235000020232 peanut Nutrition 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 235000020234 walnut Nutrition 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
- G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/0093—Geometric image transformation in the plane of the image for image warping, i.e. transforming by individually repositioning each pixel
-
- G06T3/18—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/60—Rotation of a whole image or part thereof
- G06T3/608—Skewing or deskewing, e.g. by two-pass or three-pass rotation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/006—Geometric correction
-
- G06T5/80—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Abstract
본 발명은 두 영상 사이의 시간간격과 두 영상 내 추적자의 변위를 통해 유속을 산정하여 지상 참조점에 의존하지 않고 효율적인 유속 측정이 가능하도록 한 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법에 관한 것으로, 드론에 탑재되어 하천 표면 영상을 촬영하는 드론 하천 영상 촬영부;상기 드론 하천 영상 촬영부에서 촬영된 하천 표면 영상을 수신하는 드론 영상 수신부;2차원 투영 좌표 변환법(2-D projective coordinate transformation)을 이용한 영상 왜곡 보정을 하는 영상 변환 및 왜곡 보정부;드론 카메라 렌즈의 초점거리, 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리의 상호 관계를 이용하여 픽셀당 물리거리(GSD:Ground Sample Distance)를 계산하여 픽셀 변위를 실제 물리 변위로 변환하여 영상 내의 추적자의 실제 변위 및 속도를 계산하는 영상 추적자 변위 산출부;영상 추적자 변위 산출부에서 산출된 영상 내의 추적자의 실제 변위 및 속도를 이용하여 하천 유속을 산정하는 유속 산정부;를 포함하는 것이다.The present invention relates to a device and method for measuring the flow rate of a river based on a drone image, which enables efficient flow rate measurement without relying on a ground reference point by calculating the flow rate through the time interval between two images and the displacement of the tracker in the two images. A drone river image capturing unit mounted on a drone to capture a river surface image; a drone image receiving unit receiving a river surface image captured by the drone river image capturing unit; 2-D projective coordinate transformation Image conversion and distortion correction unit for image distortion correction using; Using the focal length of the drone camera lens, the pixel size (pixel size) and the correlation between the distance between the subject and the lens, physical distance per pixel (GSD: Ground Sample Distance) ) to convert the pixel displacement into actual physical displacement to calculate the actual displacement and speed of the tracker in the image; The river using the actual displacement and speed of the tracker in the image calculated by the image tracker displacement calculator It includes; a flow rate calculation unit for calculating the flow rate.
Description
본 발명은 하천 유속 측정에 관한 것으로, 구체적으로 두 영상 사이의 시간간격과 두 영상 내 추적자의 변위를 통해 유속을 산정하여 지상 참조점에 의존하지 않고 효율적인 유속 측정이 가능하도록 한 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법에 관한 것이다.The present invention relates to river flow velocity measurement, and specifically, a drone image-based river that enables efficient flow velocity measurement without relying on a ground reference point by calculating the velocity through the time interval between two images and the displacement of a tracker in the two images. It relates to an apparatus and method for measuring flow velocity.
표면영상유속계의 기초가 되는 입자영상유속계(PIV)는 유체 흐름에 대한 이해를 돕는데 효과적인 방법이어서 토목 분야뿐 아니라 유체를 다루는 모든 분야에서 다양하게 연구가 진행되어 왔으며 현재 많은 응용분야에서 사용하고 있다.Particle image velocimetry (PIV), which is the basis of surface image velocimetry, is an effective method to help understand fluid flow, so various studies have been conducted not only in the civil engineering field but also in all fields dealing with fluids, and it is currently used in many application fields.
이와 함께 레이저와 추적입자, CMOS 소자를 이용한 고속 카메라를 활용하여 액체 유동 단면의 유동장을 분석하는 입자영상유속계에 대한 연구가 진행되어 왔고, 별도의 추적자 없이 2차원 표면유속 측정을 위한 표면영상유속계(SIV)도 많은 연구가 진행되어 왔다.In addition, research has been conducted on a particle image velocimetry that analyzes the flow field of a liquid flow section using a high-speed camera using lasers, tracer particles, and CMOS devices. SIV) has also been studied extensively.
표면영상유속계를 이용한 하천 유속 측정 방법은 1990년대 중반에 일본에서 Fujita에 의해 처음으로 개발되었다(Fujita and Komura, 1994). Fujita and Komura(1994)는 하천에서의 연속적인 유속 분포 측정을 위한 비디오 이미지 분석 방법을 개발하였으며 Nagara 강에 적용하여 성공적으로 유속 분포를 얻어냈다. Aya et al.,(1995)는 비스듬한 각도로 촬영한 비디오 영상을 분석하여 유동장을 얻는 기법을 개발하였으며 하천 제방에서 획득한 영상을 이용하여 하천의 유속 분포를 얻어냈다. Fujita et al., (1997)은 홍수시에 표면영상유속계를 Yodo 강에 적용하여 하천 표면을 떠내려가는 나뭇조각과 기포를 통해 수표면의 유속장을 분석하였다. 그 결과 하천의 유속 분포를 효과적으로 얻을 수 있음과 영상과 화소의 크기에 따라 최대 7 %까지 유속 값에 차이가 남을 보였다. 또한 이를 토대로 표면영상유속계가 전체 대상 영역을 동시에 분석할 수 있고, 대상 영역의 규모에 상관없이 적용할 수 있음을 증명하였다. Ettema et al.,(1997)은 Mississippi강과 Missouri강 합류부에 대한 모형(수평방향 1:500, 수직방향 1:100) 실험의 유속 측정에 표면영상유속계를 이용하였다.A method for measuring river velocity using surface image velocimetry was first developed by Fujita in Japan in the mid-1990s (Fujita and Komura, 1994). Fujita and Komura (1994) developed a video image analysis method for continuous flow rate distribution measurement in rivers and applied it to the Nagara River and successfully obtained the flow rate distribution. Aya et al., (1995) developed a technique to obtain a flow field by analyzing video images taken at an oblique angle and obtained a flow velocity distribution of a river using images obtained from a river embankment. Fujita et al., (1997) applied surface image velocimetry to the Yodo River during a flood and analyzed the velocity field on the water surface through wood chips and air bubbles drifting along the river surface. As a result, it was shown that the flow velocity distribution of the river could be effectively obtained and that the velocity value remained different by up to 7% depending on the image and pixel size. Based on this, it was also proved that surface image velocimetry can analyze the entire target area simultaneously and can be applied regardless of the size of the target area. Ettema et al. (1997) used a surface image velocimetry to measure the velocity of a model (horizontal direction 1:500, vertical direction 1:100) at the confluence of the Mississippi and Missouri rivers.
Fujita et al.(1998b)은 옥수수 녹말로 만든 인공 추적자를 이용하여 Nagara 강의 유속장을 측정하였다. 이 연구에서는 추적자의 입자 크기 선정에 대해 논하였고, 하천 저수호안에 위치한 수제 사이의 유속장을 측정하였다. Muste et al.,(2000)은 생물분해성인 거품과 땅콩 등을 이용하여 Georgia의 Chattahoochee 강에 대한 수리모형실험의 유속장 측정에 표면영상유속계를 이용하였다. 또한 Muste et al.,(2002)은 추적자의 입자 크기와 입자 분포의 영향에 대한 연구를 수행하였다. 이 연구에서는 서로 다른 크기의 입자와 조밀도에 대해 실험을 하여 표면영상유속측정법으로 유속을 측정하고 유속 측정 결과를 ADV(Acoustic Doppler Velocimetry)와 비교하였다. 실험에는 크기가 큰 폴리에틸렌 입자, 크기가 작은 폴리에틸렌 입자 및 호두 껍질 등 세 가지의 서로 다른 추적자를 이용하였고, 크기가 작은 폴리에틸렌 입자를 이용한 실험에서는 세 가지의 조밀도(낮은, 중간, 높은)에 대한 실험을 병행하였다. 그 결과 작은 폴리에틸렌 입자를 추적자로 이용하였을 때가 ADV의 유속 측정값과 가장 잘 일치하는 것을 확인하였다. 또한 중간 정도의 조밀도로 입자를 분포시키는 것이 낮은 조밀도와 높은 조밀도의 입자 분포에 비해 정확한 것으로 나타났으며 유속장 측정에 있어 적절한 입자 분포가 필요하다고 하였다.Fujita et al. (1998b) measured the velocity field of the Nagara River using an artificial tracer made of cornstarch. In this study, the particle size selection of the tracer was discussed, and the velocity field between water bodies located in the river reservoir was measured. Muste et al. (2000) used surface image velocimetry to measure the flow field of a hydraulic model experiment on the Chattahoochee River in Georgia using biodegradable foam and peanuts. Also, Muste et al., (2002) conducted a study on the effect of tracer particle size and particle distribution. In this study, experiments were conducted on particles of different sizes and densities, and the flow velocity was measured by surface image velocimetry, and the velocity measurement results were compared with ADV (Acoustic Doppler Velocimetry). In the experiment, three different tracers were used: large polyethylene particles, small polyethylene particles, and walnut shells. experiments were run concurrently. As a result, it was confirmed that when small polyethylene particles were used as tracers, the best agreement with the ADV measured flow rate was obtained. In addition, it was found that the particle distribution with medium density was more accurate than the particle distribution with low and high density, and it was said that an appropriate particle distribution was needed for the measurement of the flow field.
국내에서는 윤병만 등(2002)이 표면영상유속계를 이용하여 곤지암천의 유속장을 성공적으로 측정하였고, 김영근 등(2004)은 유속검정용 활차를 이용하여 표면영상유속계의 적용성과 효율성을 검증하였다. 류권규 등(2008)은 기중기를 이용하여 높은 곳에서 영상을 촬영할 시 획득한 영상은 흔들림이 있어 분석이 어렵다고 하였으며, 이에 흔들리는 영상 분석을 위한 흔들림 보정 알고리즘을 개발하였다. 김서준(2007)은 표면영상유속계를 이용하여 하천 유량측정을 수행하였으며, 김서준 등(2011)은 폭이 넓은 하천의 유량 측정에 표면영상유속계를 적용하기 위해 다중카메라를 활용한 영상 획득 방법을 개발하였다. 또한 김서준(2013)은 인공영상을 이용하여 상관영역의 크기, 입자 밀도 및 입자 크기에 따른 표면영상유속계의 오차 분석을 수행하였다. 그 결과 상관영역의 크기가 커질수록, 입자 밀도가 커질수록, 입자 크기가 작아질수록 오차가 증가하는 것으로 나타났다.In Korea, Yun Byeong-man et al. (2002) successfully measured the velocity field of the Konjiam Stream using a surface image velocimetry, and Kim Young-geun et al. Ryu Kwon-kyu and others (2008) said that it was difficult to analyze the image obtained when taking a video from a high place using a crane because it had shaking, and thus developed a shake correction algorithm for analyzing the shaking image. Seojun Kim (2007) performed river flow measurement using surface image velocimetry, and Seojun Kim et al. (2011) developed an image acquisition method using multiple cameras to apply surface image velocimetry to flow rate measurement in wide rivers. . In addition, Seojun Kim (2013) performed an error analysis of surface image velocimetry according to the size of the correlation region, particle density, and particle size using artificial images. As a result, it was found that the error increased as the size of the correlation region increased, the particle density increased, and the particle size decreased.
지금까지 위에서 설명한 표면영상유속계를 이용한 연구에서는 2차원 또는 3차원 투영 좌표 변환법을 이용하여 영상 왜곡을 보정하였다. 하지만 하천의 수위는 수시로 변하기 때문에 수위에 따라 참조점을 다시 설정해주어야 한다는 번거로움이 있다.In studies using the surface image velocimetry described above, image distortion was corrected using a 2D or 3D projected coordinate transformation method. However, since the water level of the river changes frequently, it is inconvenient to set the reference point again according to the water level.
이에 Fujita and Aya (2000)는 수위 변화를 고려한 3차원 투영 좌표 변환법을 개발하였다. 3차원 투영 좌표 변환법은 수위보다 높은 6 개 이상의 참조점과 수표면의 임의의 3 개 이상의 점을 더하여, 변하는 수위에 따라 영상 왜곡을 보정할 수 있다. 하지만 3차원 투영 좌표 변환법은 2차원 투영 좌표 변환법에 비해 필요한 참조점이 많아 계산이 복잡하다.Accordingly, Fujita and Aya (2000) developed a 3D projection coordinate conversion method considering the change in water level. The 3D projection coordinate conversion method can correct image distortion according to the changing water level by adding 6 or more reference points higher than the water level and 3 or more arbitrary points on the water surface. However, the 3D projected coordinate transformation method is more complicated to calculate than the 2D projected coordinate transformation method because there are many reference points required.
또한 김희정(2018)은 수위 변화를 고려한 참조점 보정식을 제시하였다. 이 연구에서는 수위보다 높게 양측 제방에 설정된 참조점을 수면과 동일한 평면에 위치하도록 보정하는 방법을 사용하여 수위 변화에 따라 참조점을 재설정하는 방법을 제시하였다. 하지만 폭이 넓은 하천의 경우처럼 하천 양측 제방에 설치한 참조점을 영상에 담기 힘든 경우 수표면과 동일한 평면에 있는 참조점을 확보하기 힘든 실정이다.In addition, Kim Hee-jeong (2018) presented a reference point correction formula considering the change in water level. In this study, a method of resetting the reference point according to the change in water level was proposed by using a method of correcting the reference point set on both banks higher than the water level so that it is located on the same plane as the water surface. However, when it is difficult to capture the reference points installed on the banks on both sides of the river, such as in the case of a wide river, it is difficult to secure a reference point on the same plane as the water surface.
이에 이한승 등(2016)은 참조점이 필요 없는 표면영상유속계을 개발하였다. Accordingly, Hanseung Lee et al. (2016) developed a surface image velocimetry that does not require a reference point.
이 연구에서는 수표면에서부터 카메라까지의 높이와 카메라의 좌우각 및 전후각으로 참조점 없이 영상 좌표를 실제 좌표로 변환하였다. 실내 개수로 실험장치로 유속을 측정하여 참조점 유무에 대한 유속을 비교한 결과 평균 ±7 %의 오차가 발생하였다.In this study, the image coordinates were converted into actual coordinates without a reference point for the height from the water surface to the camera and the left and right angles and front and back angles of the camera. As a result of comparing the flow velocity with and without a reference point by measuring the flow velocity with an indoor open channel experimental device, an average error of ±7% occurred.
최근 항공기나 드론 영상을 활용한 하천 물리량 측정에 대한 연구가 활발히 진행 중이다. 이를 하천 원격탐사라고 하는데, 원격탐사란 관측 대상의 특성에 따라 플랫폼에 다양한 센서를 설치하여 관측 대상의 물리적 특징을 정성적, 정량적으로 분석하는 학문이며 이를 하천에 접목한 학문이 하천 원격탐사이다.Recently, studies on the measurement of physical quantities of rivers using images from aircraft or drones are being actively conducted. This is called river remote sensing. Remote sensing is a study that qualitatively and quantitatively analyzes the physical characteristics of an observation object by installing various sensors on the platform according to the characteristics of the observation object.
하천 원격탐사에 활용하는 플랫폼은 위성, 항공기, 드론 등이 있으며 여기에 다양한 센서를 설치하여 하천 환경 및 수리,수문학적 정보를 획득하는 기술이 발전하고 있다.Platforms used for river remote exploration include satellites, airplanes, and drones, and various sensors are installed on them to acquire river environment, hydraulic, and hydrological information.
국외에서는 Smith et al.,(1997)이 하천의 홍수범람도, 수위, 유량을 추정하는 연구를 진행하였으며, Brekke and Solberg(2005)은 기름 유출을 감지하고 위치를 추출하는 연구를 진행하는 등 하천의 정량적인 물리량 조사에 대한 연구가 상당히 진행된 상태이다.Abroad, Smith et al., (1997) conducted a study on estimating flood inundation, water level, and flow rate of a river, and Brekke and Solberg (2005) conducted a study on detecting oil spills and extracting their location. Research on the quantitative physical quantity investigation of is in progress.
국내에서도 1990년대 후반부터 본격적으로 원격탐사가 도입되어 식생 및 토지피복 분류와 같은 정성적인 분류 연구부터 최근에는 고해상도 카메라를 활용한 천해 수심 측량 연구(오찬영 등, 2017)나 초분광 영상을 이용한 하천 수심 계측 기술 개발(유호준, 2018) 등 하천의 정량적인 물리량 측정에 대한 연구까지 진행되었다.In Korea, remote sensing has been introduced in earnest since the late 1990s, and qualitative classification studies such as vegetation and land cover classification have recently been conducted in shallow water bathymetric surveys using high-resolution cameras (Oh Chan-young et al., 2017) and river depths using hyperspectral images. Research on quantitative physical quantity measurement of rivers, such as the development of measurement technology (Yoo Ho-jun, 2018), was conducted.
여러 플랫폼 가운데 특히 드론은 운용 난이도가 쉽고 시간과 공간에 대한 해상도가 높아 정량적인 하천의 물리량을 측정하는데 적합하다. 또한 드론은 하천 구조물 주변이나 보 월류부 등 직접 유속을 측정하거나 카메라로 촬영하기 힘든 곳에서 영상을 촬영해 분석할 수 있다. 게다가 다양한 물리량 측정을 위한 센서의 소형화로 드론에 설치 가능한 센서의 종류도 다양해짐에 따라서 기존 RGB 센서만을 이용한 영상에서 최근에는 열화상 카메라, 초분광 센서 등을 이용한 하천 물리량 측정이 가능해 드론의 하천 원격탐사에 대한 잠재력이 높다고 할 수 있다.Among various platforms, drones are particularly suitable for measuring quantitative physical quantities of rivers because they are easy to operate and have high resolution for time and space. In addition, drones can directly measure the current velocity, such as around river structures or overwaters, or take images and analyze them in places that are difficult to film with a camera. In addition, as the types of sensors that can be installed on drones are diversified due to the miniaturization of sensors for measuring various physical quantities, it is possible to measure physical quantities of rivers using thermal imaging cameras and hyperspectral sensors in recent years from images using only RGB sensors. The potential for exploration is high.
이에 따라 하천의 드론 영상을 활용하여 하천 유속을 측정하는 연구도 더불어 진행중이다.Accordingly, a study to measure the flow velocity of the river using drone images of the river is also in progress.
국외 연구의 경우 Tauro et al.,(2015a)는 드론의 안정적인 호버링에 대한 연구를 수행하였으며, 드론이 일정 시간동안 1 × 1 ㎡의 영역 위로 안정적으로 호버링할 수 있음을 보였다. Detert and Weitbrecht(2015)는 액션캠과 저비용 쿼드콥터로 대규모 유속장을 측정하는 유속계의 적용 가능성을 검토하였다. Detert et al.,(2016)은 Murg 강에서 드론 영상을 이용하여 하천의 유량을 산정하는 연구를 수행하였다. 측정한 순간 표면유속장으로 평균 표면유속장과 난류 지표에 의한 수심 추정치를 도출하는데 사용되었으며 산정한 유량은 ADCP와 비교하였을 때 10 % 이내의 오차를 보여 드론 영상을 이용한 하천 유량 측정이 가능함을 보였다.In the case of foreign studies, Tauro et al., (2015a) conducted a study on the stable hovering of drones and showed that the drone can hover stably over an area of 1 × 1 ㎡ for a certain period of time. Detert and Weitbrecht (2015) reviewed the applicability of velocimetry to measure large-scale flow fields with action cams and low-cost quadcopters. Detert et al., (2016) conducted a study on estimating the flow rate of the river using drone images in the Murg River. The measured instantaneous surface flow field was used to derive the water depth estimate by the average surface flow field and turbulence index, and the calculated flow rate showed an error of less than 10% when compared with ADCP, indicating that river flow rate measurement using drone images was possible. .
국내 연구의 경우 류권규와 황정근(2017)은 드론에 비디오카메라와 야간 영상 획득을 위한 원적외선 카메라를 장착하여 한국건설기술연구원 안동하천실험센터에서 표면유속측정 실험을 수행하였다. 이 연구에서는 드론 영상의 흔들림 보정을 위해 4 개의 참조점에 대해 형태정합(pattern matching) 기법을 사용하였으며 측정한 표면유속을 Flow Tracker로 측정한 표면유속과 비교하였다. 두 가지 방법으로 측정한 유속을 단면적과 곱하여 각각 유량으로 환산하여 비교한 결과 차이는 2 % 이하로 산정되었다.In the case of domestic research, Ryu Kwon-gyu and Hwang Jeong-geun (2017) installed a video camera and a far-infrared ray camera for night image acquisition on a drone and performed a surface velocity measurement experiment at the Andong River Experiment Center of the Korea Institute of Civil Engineering and Building Technology. In this study, a pattern matching technique was used for four reference points to compensate for the shaking of drone images, and the measured surface velocity was compared with the surface velocity measured with the Flow Tracker. The flow rate measured by the two methods was multiplied by the cross-sectional area and converted into flow rates, respectively. As a result, the difference was estimated to be less than 2%.
이와 같이 드론 영상을 활용하여 표면유속을 산정하는 연구가 다양하게 진행 중이지만 기존 연구에서는 모두 지상의 참조점을 이용하여 영상 보정을 수행하였기 때문에 유속 측정 영역이 달라질 경우 참조점을 수표면과 동일한 평면에 다시 설치하고 측량을 수행하여야 한다는 번거로움이 있다.As such, various studies on estimating the surface velocity using drone images are in progress, but in all previous studies, image correction was performed using reference points on the ground. There is the hassle of having to re-install and perform measurement.
또한 화각이 좁은 카메라를 사용하는 경우 참조점이 영상 밖으로 벗어나지 않게 하기 위하여 일정 비행 고도 이상을 확보하여야 하는데 이때 영상 분석에 어려움이 있을 정도로 영상의 공간해상도를 확보하지 못할 가능성도 있다. 이는 화각이 좁은 원적외선 카메라를 이용하는 경우에 자주 나타난다.In addition, when a camera with a narrow angle of view is used, a certain flight altitude or higher must be secured so that the reference point does not deviate from the image, but at this time, there is a possibility that the spatial resolution of the image may not be secured enough to make it difficult to analyze the image. This often occurs when a far-infrared camera with a narrow angle of view is used.
따라서, 지상 참조점에 의존하지 않고 효율적인 유속 측정이 가능하도록 하는 새로운 기술의 개발이 요구되고 있다.Therefore, there is a demand for the development of a new technology that enables efficient flow rate measurement without relying on a ground reference point.
본 발명은 종래 기술의 하천 유속 측정 기술의 문제점을 해결하기 위한 것으로, 두 영상 사이의 시간간격과 두 영상 내 추적자의 변위를 통해 유속을 산정하여 지상 참조점에 의존하지 않고 효율적인 유속 측정이 가능하도록 한 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention is to solve the problems of the prior art river flow rate measurement technology, and to calculate the flow rate through the time interval between two images and the displacement of the tracker in the two images to enable efficient flow rate measurement without relying on ground reference points. The purpose is to provide a device and method for measuring the flow rate of a river based on a drone image.
본 발명은 참조점에 의존하지 않고도 영상 내 위치를 자동적으로 찾아내 영상 보정을 하고 별도의 참조점 측량없이 영상 내 픽셀당 물리거리를 산정하여 하천 유속 측정에 이용하여 정확도를 높인 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention automatically finds the location in the image without relying on a reference point, corrects the image, calculates the physical distance per pixel in the image without measuring the reference point, and uses it to measure the flow rate of the river to increase the accuracy of the drone image-based river. Its purpose is to provide a device and method for measuring flow velocity.
본 발명은 드론 카메라 렌즈의 초점거리, 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리의 상호 관계를 이용하여 픽셀당 물리거리(GSD : Ground Sample Distance)를 계산하여 픽셀 변위를 실제 물리 변위로 변환하여 영상 내의 추적자의 실제 변위 및 속도를 계산할 수 있도록 한 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention calculates the physical distance per pixel (GSD: Ground Sample Distance) using the correlation between the focal length of the drone camera lens, the pixel size, and the distance between the subject and the lens, and converts the pixel displacement into actual physical displacement. The purpose of this study is to provide a device and method for measuring the flow rate of a river based on a drone image that can be converted to calculate the actual displacement and speed of the tracker in the image.
본 발명은 하천 유속 측정을 위한 영상 획득 수단으로 드론을 사용하여 하천 구조물 주변이나 보 월류부 등 직접 유속을 측정하거나 카메라로 촬영하기 힘든 곳에서 영상을 촬영해 분석할 수 있도록 한 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention is a drone image-based river that uses a drone as an image acquisition means for measuring river flow rate to measure the flow rate directly around a river structure or overwater, or to capture and analyze images in places that are difficult to film with a camera. Its purpose is to provide a device and method for measuring flow velocity.
본 발명은 효율적인 운용이 가능한 드론을 영상 획득 수단으로 사용하여 시간과 공간에 대한 해상도가 높아 정량적인 하천의 물리량을 측정할 수 있고, 원격 제어의 효율성을 높인 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention uses a drone that can be operated efficiently as an image acquisition means to measure the physical quantity of a quantitative river with high resolution for time and space, and a device for measuring the flow rate of a river based on drone images with improved remote control efficiency And to provide a method for that purpose.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Other objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned above will be clearly understood by those skilled in the art from the description below.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 장치는 드론에 탑재되어 하천 표면 영상을 촬영하는 드론 하천 영상 촬영부;상기 드론 하천 영상 촬영부에서 촬영된 하천 표면 영상을 수신하는 드론 영상 수신부;2차원 투영 좌표 변환법(2-D projective coordinate transformation)을 이용한 영상 왜곡 보정을 하는 영상 변환 및 왜곡 보정부;드론 카메라 렌즈의 초점거리, 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리의 상호 관계를 이용하여 픽셀당 물리거리(GSD:Ground Sample Distance)를 계산하여 픽셀 변위를 실제 물리 변위로 변환하여 영상 내의 추적자의 실제 변위 및 속도를 계산하는 영상 추적자 변위 산출부;영상 추적자 변위 산출부에서 산출된 영상 내의 추적자의 실제 변위 및 속도를 이용하여 하천 유속을 산정하는 유속 산정부;를 포함하는 것을 특징으로 한다.In order to achieve the above object, an apparatus for measuring river flow velocity based on drone images according to the present invention includes a drone river image capturing unit mounted on a drone and capturing a river surface image; a river surface captured by the drone river image capturing unit; Drone image receiving unit for receiving an image; Image conversion and distortion correction unit for image distortion correction using 2-D projective coordinate transformation; Focus distance, pixel size and subject of drone camera lenses An image tracker displacement calculation unit that calculates the actual displacement and speed of the tracker in the image by converting the pixel displacement into actual physical displacement by calculating the ground sample distance (GSD) using the correlation between the distance between the lens and the lens. It is characterized in that it includes; ; flow rate calculation unit that calculates the river flow velocity using the actual displacement and speed of the tracker in the image calculated by the image tracker displacement calculation unit.
다른 목적을 달성하기 위한 본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 방법은 드론 하천 영상 촬영부에서 하천 영상을 촬영하는 단계;드론 하천 영상 촬영부로부터 하천 표면 영상을 수신하여 영상 변환 및 왜곡 보정부에서 영상 변환 및 왜곡 보정을 수행하는 단계;영상 추적자 변위 산출부에서 드론 카메라 렌즈의 초점거리, 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리의 상호 관계를 이용하여 픽셀당 물리거리(GSD:Ground Sample Distance)를 계산하여 픽셀 변위를 실제 물리 변위로 변환하여 영상 내의 추적자의 실제 변위 및 속도를 계산하는 단계;영상 추적자 변위 산출부의 계산 결과를 이용하여 유속 산정부에서 하천 유속을 산정하는 단계;를 포함하는 것을 특징으로 한다.In order to achieve another object, a method for measuring river flow velocity based on drone images according to the present invention includes the steps of photographing a river image in a drone river image capture unit; receiving a river surface image from a drone river image capture unit to transform and distort an image; Performing image conversion and distortion correction in the correction unit; Physical distance per pixel (using the correlation between the focal length of the drone camera lens, the pixel size, and the distance between the subject and the lens in the image tracker displacement calculation unit) Calculating the actual displacement and speed of the tracker in the image by converting the pixel displacement into actual physical displacement by calculating GSD: Ground Sample Distance); Calculating the river flow velocity in the flow rate calculation unit using the calculation result of the image tracker displacement calculation unit It is characterized in that it comprises a; step.
이상에서 설명한 바와 같은 본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법은 다음과 같은 효과가 있다.As described above, the device and method for measuring the flow rate of a river based on a drone image according to the present invention have the following effects.
첫째, 두 영상 사이의 시간간격과 두 영상 내 추적자의 변위를 통해 유속을 산정하여 지상 참조점에 의존하지 않고 효율적인 유속 측정이 가능하도록 한다.First, the flow velocity is calculated through the time interval between the two images and the displacement of the tracker in the two images, so that the flow velocity can be measured efficiently without relying on the ground reference point.
둘째, 참조점에 의존하지 않고도 영상 내 위치를 자동적으로 찾아내 영상 보정을 하고 별도의 참조점 측량없이 영상 내 픽셀당 물리거리를 산정하여 하천 유속 측정에 이용하여 정확도를 높일 수 있다.Second, without relying on a reference point, the location in the image is automatically found, the image is corrected, and the physical distance per pixel in the image is calculated without a separate reference point survey, and the accuracy can be increased by using it to measure the river flow rate.
셋째, 드론 카메라 렌즈의 초점거리, 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리의 상호 관계를 이용하여 픽셀당 물리거리(GSD : Ground Sample Distance)를 계산하여 픽셀 변위를 실제 물리 변위로 변환하여 영상 내의 추적자의 실제 변위 및 속도를 계산할 수 있도록 한다.Third, the pixel displacement is converted into actual physical displacement by calculating the ground sample distance (GSD) using the correlation between the focal length of the drone camera lens, the pixel size, and the distance between the subject and the lens. to calculate the actual displacement and velocity of the tracer in the image.
넷째, 천 유속 측정을 위한 영상 획득 수단으로 드론을 사용하여 하천 구조물 주변이나 보 월류부 등 직접 유속을 측정하거나 카메라로 촬영하기 힘든 곳에서 영상을 촬영해 분석할 수 있도록 한다.Fourth, a drone is used as an image acquisition method for measuring stream flow rate so that the flow rate can be measured directly around river structures or overwater areas, or images can be taken and analyzed in places where it is difficult to film with a camera.
다섯째, 효율적인 운용이 가능한 드론을 영상 획득 수단으로 사용하여 시간과 공간에 대한 해상도가 높아 정량적인 하천의 물리량을 측정할 수 있고, 원격 제어의 효율성을 높인다.Fifth, by using a drone that can be operated efficiently as a means of image acquisition, it is possible to measure the quantitative physical quantity of the river with high resolution for time and space, and increase the efficiency of remote control.
도 1은 본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 장치의 구성도
도 2는 본 발명에 따른 영상 내의 추적자의 실제 변위 및 속도를 계산하는 구성을 나타낸 구성도
도 3은 본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 방법을 나타낸 플로우 차트
도 4는 본 발명에 따른 영상 변환 및 왜곡 보정 방법을 설명하기 위한 구성도
도 5는 영상 추적자 변위 산출에 따른 유속 산정 방법을 나타낸 플로우 차트
도 6은 두 정지 영상 사이의 이동 변위를 산정하는 방법을 나타낸 구성도1 is a block diagram of a device for measuring the flow rate of a river based on drone images according to the present invention
Figure 2 is a block diagram showing a configuration for calculating the actual displacement and speed of the tracker in the image according to the present invention
Figure 3 is a flow chart showing a method for measuring the flow rate of a river based on drone images according to the present invention
Figure 4 is a configuration diagram for explaining the image conversion and distortion correction method according to the present invention
5 is a flow chart showing a flow rate calculation method according to image tracker displacement calculation
6 is a block diagram illustrating a method of calculating a movement displacement between two still images;
이하, 본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.Hereinafter, a preferred embodiment of a device and method for measuring river flow velocity based on drone images according to the present invention will be described in detail.
본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.Features and advantages of the device and method for measuring the flow rate of a river based on drone images according to the present invention will become clear through a detailed description of each embodiment below.
도 1은 본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 장치의 구성도이고, 도 2는 본 발명에 따른 영상 내의 추적자의 실제 변위 및 속도를 계산하는 구성을 나타낸 구성도이다.1 is a configuration diagram of a device for measuring river flow velocity based on a drone image according to the present invention, and FIG. 2 is a configuration diagram showing a configuration for calculating the actual displacement and speed of a tracker in an image according to the present invention.
본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법은 하천 유속 측정을 위한 영상 획득 수단으로 드론을 사용하여 하천 구조물 주변이나 보 월류부 등 직접 유속을 측정하거나 카메라로 촬영하기 힘든 곳에서 영상을 촬영해 분석할 수 있도록 한 것이다.The apparatus and method for measuring the flow rate of a river based on drone image according to the present invention uses a drone as an image acquisition means for measuring the flow rate of a river in a place where it is difficult to directly measure the flow rate or take a picture with a camera, such as around a river structure or a dam overflow. The video was filmed and analyzed.
본 발명은 효율적인 운용이 가능한 드론을 영상 획득 수단으로 사용하면서 두 영상 사이의 시간간격과 두 영상 내 추적자의 변위를 통해 유속을 산정하여 지상 참조점에 의존하지 않고 효율적인 유속 측정이 가능하도록 한 것이다.The present invention uses a drone capable of efficient operation as an image acquisition means, and calculates the flow velocity through the time interval between two images and the displacement of the tracker in the two images, enabling efficient flow velocity measurement without relying on a ground reference point.
이를 위하여 본 발명은 참조점에 의존하지 않고도 영상 내 위치를 자동적으로 찾아내 영상 보정을 하고 별도의 참조점 측량없이 영상 내 픽셀당 물리거리를 산정하여 하천 유속 측정에 이용하는 구성을 포함할 수 있다.To this end, the present invention may include a configuration that automatically finds a location in an image without relying on a reference point, corrects the image, calculates a physical distance per pixel in the image without measuring a separate reference point, and uses it to measure river flow velocity.
본 발명은 드론 카메라 렌즈의 초점거리, 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리의 상호 관계를 이용하여 픽셀당 물리거리(GSD : Ground Sample Distance)를 계산하여 픽셀 변위를 실제 물리 변위로 변환하여 영상 내의 추적자의 실제 변위 및 속도를 계산하는 구성을 포함할 수 있다.The present invention calculates the physical distance per pixel (GSD: Ground Sample Distance) using the correlation between the focal length of the drone camera lens, the pixel size, and the distance between the subject and the lens, and converts the pixel displacement into actual physical displacement. It may include a configuration for converting and calculating the actual displacement and speed of the tracker in the image.
본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 장치는 도 1에서와 같이, 드론에 탑재되어 하천 표면 영상을 촬영하는 드론 하천 영상 촬영부(10)와, 드론 하천 영상 촬영부(10)에서 촬영된 하천 표면 영상을 수신하는 드론 영상 수신부(20)와, 2차원 투영 좌표 변환법(2-D projective coordinate transformation)을 이용한 영상 왜곡 보정을 하는 영상 변환 및 왜곡 보정부(30)와, 드론 카메라 렌즈의 초점거리, 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리의 상호 관계를 이용하여 픽셀당 물리거리(GSD : Ground Sample Distance)를 계산하여 픽셀 변위를 실제 물리 변위로 변환하여 영상 내의 추적자의 실제 변위 및 속도를 계산하는 영상 추적자 변위 산출부(40)와, 영상 추적자 변위 산출부(40)에서 산출된 영상 내의 추적자의 실제 변위 및 속도를 이용하여 하천 유속을 산정하는 유속 산정부(50)를 포함한다.As shown in FIG. 1, the apparatus for measuring the flow rate of a river based on a drone image according to the present invention includes a drone river
하천의 표면유속은 단위시간동안 수표면을 흘러간 추적자의 변위로 계산할 수 있다. 마찬가지로 표면영상유속계를 이용한 표면유속 측정 시에는 두 영상 사이의 시간간격과 두 영상 내 어떠한 추적자의 변위를 통해 유속을 산정한다.The surface velocity of a stream can be calculated as the displacement of a tracer across the water surface per unit time. Similarly, when measuring surface velocity using a surface image velocimetry, the velocity is calculated through the time interval between two images and the displacement of a certain tracer in the two images.
여기서, 두 영상 사이의 시간 간격은 동영상으로 촬영되었을 경우 촬영된 동영상의 초당 프레임 수로, 연속 촬영의 경우 초당 촬영매수로 알 수 있으며 두 영상 내 어떠한 추적자의 변위는 각 영상에서 추적자의 영상 좌표의 차이를 이용하여 계산할 수 있다.Here, the time interval between the two images can be known as the number of frames per second of the captured video when it is captured as a video, or the number of shots per second in the case of continuous shooting, and the displacement of any tracer in the two images is the difference between the image coordinates of the tracer in each image. can be calculated using
이때 영상에서의 추적자의 변위는 영상 좌표의 단위로 계산된 픽셀 변위이다.At this time, the displacement of the tracker in the image is the pixel displacement calculated in units of image coordinates.
따라서, 해당 영상의 픽셀당 실제 물리거리를 안다면 픽셀 변위를 실제 물리 변위로 바꿀 수 있고, 영상 내의 추적자의 실제 변위 및 속도를 계산할 수 있다.Therefore, if the actual physical distance per pixel of the image is known, the pixel displacement can be converted into the actual physical displacement, and the actual displacement and speed of the tracker in the image can be calculated.
본 발명에서는 픽셀당 물리거리(GSD : Ground Sample Distance)를 계산하기 위해 드론 카메라 렌즈의 초점거리(), 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리()의 상호 관계를 이용한다.In the present invention, in order to calculate the physical distance per pixel (GSD: Ground Sample Distance), the focal length of the drone camera lens ( ), pixel size and the distance between the subject and the lens ( ) is used.
여기서 픽셀 크기는 카메라의 이미지 센서 크기를 픽셀 수로 나눈 것이다. The pixel size here is the camera's image sensor size divided by the number of pixels.
이들 관계를 비례식으로 표시하면 수학식 1에서와 같다.If these relationships are expressed as a proportional expression, it is the same as in
수학식 1에서 수학식 2의 관계식을 유도할 수 있다.The relational expression of Equation 2 can be derived from
예를 들어 렌즈의 초점거리가 3.6 mm, 카메라의 이미지 센서 크기가 6.4 mm × 4.8 mm, 영상의 화소가 1920 × 1080 pixel, 렌즈와 물체 사이의 거리가 50 cm라고 하자. 픽셀 크기는 이미지 센서 크기를 화소 수로 나눈 0.00333 mm이고 비례식에 의해 GSD는 0.463 mm/pixel(0.00333 mm/pixel × 500 mm / 3.6 mm = 0.463 mm/pixel)이 된다.For example, suppose the focal length of the lens is 3.6 mm, the size of the image sensor of the camera is 6.4 mm × 4.8 mm, the pixels of the image are 1920 × 1080 pixels, and the distance between the lens and the object is 50 cm. The pixel size is 0.00333 mm by dividing the image sensor size by the number of pixels, and the GSD is 0.463 mm/pixel (0.00333 mm/pixel × 500 mm / 3.6 mm = 0.463 mm/pixel) by the proportional formula.
계산된 GSD는 영상의 각 픽셀이 정방형 픽셀일 경우 종방향 또는 횡방향 어느 방향에서든 유효하다.The calculated GSD is effective in either the longitudinal or lateral direction when each pixel of the image is a square pixel.
따라서, 영상에서 어떠한 물체의 길이는 영상에서 물체가 차지하는 픽셀 수에 GSD를 곱하여 구할 수 있다.Therefore, the length of an object in an image can be obtained by multiplying the number of pixels occupied by the object in the image by the GSD.
본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 방법을 구체적으로 설명하면 다음과 같다.The method for measuring the flow velocity of a river based on a drone image according to the present invention will be described in detail as follows.
도 3은 본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 방법을 나타낸 플로우 차트이다.3 is a flow chart showing a method for measuring river flow velocity based on drone images according to the present invention.
본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 방법은 도 3에서와 같이, 먼저 드론 하천 영상 촬영부(10)에서 하천 영상을 촬영한다.(S301)In the method for measuring the flow rate of a river based on a drone image according to the present invention, as shown in FIG. 3, first, a river image is captured by the drone river image capture unit 10 (S301).
이어, 드론 하천 영상 촬영부(10)로부터 하천 표면 영상을 수신하여 영상 변환 및 왜곡 보정부(30)에서 영상 변환 및 왜곡 보정을 수행한다.(S302)Subsequently, the river surface image is received from the drone river
그리고 영상 추적자 변위 산출부(40)에서 드론 카메라 렌즈의 초점거리, 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리의 상호 관계를 이용하여 픽셀당 물리거리(GSD : Ground Sample Distance)를 계산하여 픽셀 변위를 실제 물리 변위로 변환하여 영상 내의 추적자의 실제 변위 및 속도를 계산한다.(S303)In addition, the image tracker
이어, 영상 추적자 변위 산출부(40)의 계산 결과를 이용하여 유속 산정부(50)에서 하천 유속을 산정한다.(S304)Subsequently, the flow rate of the river is calculated by the flow
이하에서 영상 변환 및 왜곡 보정, 유속 산정에 관하여 구체적으로 설명하면 다음과 같다.Hereinafter, the image conversion, distortion correction, and flow rate calculation will be described in detail.
도 4는 본 발명에 따른 영상 변환 및 왜곡 보정 방법을 설명하기 위한 구성도이다.4 is a configuration diagram for explaining an image conversion and distortion correction method according to the present invention.
그리고 도 5는 영상 추적자 변위 산출에 따른 유속 산정 방법을 나타낸 플로우 차트이고, 도 6은 두 정지 영상 사이의 이동 변위를 산정하는 방법을 나타낸 구성도이다.5 is a flow chart showing a flow rate calculation method according to image tracker displacement calculation, and FIG. 6 is a configuration diagram showing a method for calculating movement displacement between two still images.
표면영상유속계(SIV; Surface Image Velocimetry)는 수표면을 촬영한 영상을 프레임 단위로 분할하여 연속된 정지 영상으로 만들어 두 정지 영상 사이의 입자의 이동 변위를 구한 뒤, 이동 변위를 두 영상 사이의 시간 간격으로 나누어 수표면의 유속을 측정하는 기법이다.Surface Image Velocimetry (SIV) divides an image of the water surface into frame units to make a continuous still image, calculates the movement displacement of particles between the two still images, and calculates the movement displacement as the time interval between the two images. It is a method of measuring the velocity of the water surface by dividing it into intervals.
표면영상유속계의 기본 원리는 입자영상유속계(PIV; Particle Image Velocimetry)의 영상 분석 기법을 바탕으로 하되 입자영상유속계와 다른 점은 넓은 하천을 대상으로 하고 별도의 입자 없이 수표면의 수면파문도 추적자로 사용할 수 있다는 점이다.The basic principle of surface image velocimetry is based on the image analysis technique of Particle Image Velocimetry (PIV). that it can be used.
표면영상유속계는 초기에 입자영상유속계와 유속 측정 원리를 같이 하며 넓은 범위의 유속을 측정한다는 의미에서 LSPIV(Large Scale Particle Image Velocimetry)라고 하였지만, 특별한 입자 없이 수면파문이나 부유입자가 있는 수표면을 촬영한 영상을 통해 하천의 유속을 측정하기 때문에 입자를 뜻하는 particle을 제외하고 표면영상유속계라 한다.Surface image velocimetry was initially called LSPIV (Large Scale Particle Image Velocimetry) in the sense that it shares the same flow velocity measurement principle as particle image velocimetry and measures the flow velocity in a wide range. Since the flow rate of a river is measured through an image, it is called a surface image velocimetry except for particle.
표면영상유속계를 이용하여 유속을 산정하는 과정은 영상 획득, 영상 왜곡 보정, 영상 분석, 유속 산정 및 후처리의 5단계로 이루어진다.The process of estimating the flow rate using the surface image velocimetry consists of five steps: image acquisition, image distortion correction, image analysis, flow rate calculation, and post-processing.
표면영상유속계를 통해 유속을 산정하기 위해서는 먼저 수표면의 흐름 영상을 촬영하여야 한다.In order to estimate the flow velocity through the surface image velocimetry, first, a flow image of the water surface must be taken.
일반적으로 영상은 흐름 양상과 영상 보정 및 좌표 변환을 위한 참조점을 모두 포함하도록 촬영하여야 하며 이를 위해 넓은 시야를 확보할 수 있는 제방이나 교각 위에서 촬영한다. 또한 영상은 고정된 위치에서 디지털카메라를 이용하여 촬영하며 영상 내 흐름의 이동거리에 따라 초당 프레임 수를 결정하여 촬영하여야 한다. In general, images should be captured to include both flow patterns and reference points for image correction and coordinate transformation. In addition, the video is taken using a digital camera at a fixed location, and the number of frames per second must be determined according to the moving distance of the flow in the video.
이와는 다르게 본 발명에서는 참조점에 의존하지 않고도 영상 내 위치를 자동적으로 찾아내 영상 보정을 하고 별도의 참조점 측량없이 영상 내 픽셀당 물리거리를 산정하여 하천 유속 측정에 이용하는 것으로, 하천 유속 측정을 위한 영상 획득 수단으로 드론을 사용하는 것이다.Unlike this, in the present invention, the location in the image is automatically found without relying on a reference point, the image is corrected, and the physical distance per pixel in the image is calculated without a separate reference point measurement and used for river flow velocity measurement. The use of drones as a means of acquiring images.
본 발명은 드론 카메라 렌즈의 초점거리, 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리의 상호 관계를 이용하여 픽셀당 물리거리(GSD : Ground Sample Distance)를 계산하여 픽셀 변위를 실제 물리 변위로 변환하여 영상 내의 추적자의 실제 변위 및 속도를 계산한다.The present invention calculates the physical distance per pixel (GSD: Ground Sample Distance) using the correlation between the focal length of the drone camera lens, the pixel size, and the distance between the subject and the lens, and converts the pixel displacement into actual physical displacement. Transform to calculate the actual displacement and velocity of the tracer in the image.
그리고 영상 내 입자의 이동거리가 작을 경우 영상유속계의 오차에 영향을 미치기 때문에 이를 유의하여야 한다.In addition, if the moving distance of the particles in the image is small, it should be noted that it affects the error of the image velocimetry.
또한, 하천의 넓은 영역을 촬영한 영상은 필연적으로 영상의 왜곡이 발생한다. 따라서 촬영한 영상을 통해 유속을 산정하기 위해서는 영상에서 발생하는 왜곡을 보정하여야 한다.In addition, image distortion inevitably occurs in the image of a wide area of the river. Therefore, in order to calculate the flow velocity through the captured image, distortion occurring in the image must be corrected.
일반적으로 고정된 영상의 경우 정사영 보정을 수행하며 흔들림이 있는 영상의 경우 흔들림 보정과 정사영 보정을 모두 수행한다.In general, orthographic correction is performed for a fixed image, and both shake correction and orthographic correction are performed for an image with shaking.
표면영상유속계는 정사영 보정을 위해 2차원 투영 좌표 변환법(2-D projective coordinate transformation)을 이용한 영상 왜곡 보정 방법을 사용한다.Surface image velocimetry uses an image distortion correction method using 2-D projective coordinate transformation for orthographic correction.
2차원 투영 좌표 변환법은 경사진 사진에서의 특정 좌표를 일정한 평면상의 실제 좌표로 계산하는데 가장 많이 사용된다.The two-dimensional projected coordinate conversion method is most often used to calculate specific coordinates in an inclined photo as actual coordinates on a certain plane.
2차원 투영 좌표 변환법에 의한 실제 좌표(X,Y)와 영상 좌표(x,y) 사이의 관계식은 수학식 3과 수학식 4에서와 같다.The relationship between the real coordinates (X, Y) and the image coordinates (x, y) by the two-dimensional projected coordinate conversion method is the same as in
여기서, 는 회전 보정, 병진이동 보정, x-y좌표에 대한 직각 보정과 평행하지 않은 두 좌표계간의 좌표 보정을 위한 8 개의 맵핑계수이다.here, are 8 mapping coefficients for rotation correction, translational translation correction, orthogonal correction for xy coordinates, and coordinate correction between two non-parallel coordinate systems.
수학식 3과 수학식 4는 각각의 기준점에 대해 성립하며 총 8 개의 미지수를 가지고 있기 때문에 수표면과 같은 평면에 존재하는 최소 4 개의 참조점이 필요하다. 또한, 해석상의 오차를 줄이기 위해 4 개 이상의 참조점을 사용하는 것을 권장한다.Since
마지막으로 영상 왜곡 보정을 마친 영상을 분석하여 하천의 유속을 산정한다. 영상 분석을 통해 하천의 유속 벡터를 산정하는 원리 및 분석 결과는 도 5에서와 같다.Finally, the flow rate of the river is calculated by analyzing the image after image distortion correction. The principle and analysis result of calculating the flow velocity vector of the river through image analysis are the same as in FIG.
기본적으로 표면영상유속계는 두 정지 영상 내 입자 또는 입자군의 이동 변위를 시간 간격으로 나누어 유속을 산정하기 때문에 입자의 이동 변위를 정확하게 산정하는 것이 매우 중요하다.Basically, since the surface image velocimetry calculates the flow velocity by dividing the movement displacement of particles or groups of particles in two still images by the time interval, it is very important to accurately calculate the movement displacement of particles.
표면영상유속계에서는 연속되는 두 정지 영상 내 입자의 이동 변위 산정을 위해 상호상관(cross-correlation) 기법을 이용한다.In surface image velocimetry, a cross-correlation technique is used to calculate the movement displacement of particles in two consecutive still images.
상호상관 기법은 두 정지 영상을 비교하여 영상 내에 설정한 탐색영역(searching area)에서 상관영역(interrogation area)의 명암 등급 값을 비교한 뒤, 상관계수 가 가장 큰 입자군을 동일 입자군으로 판별하는 것이다.The cross-correlation technique compares two still images, compares the intensity level values of the interrogation area in the search area set in the image, and then calculates the correlation coefficient. The particle group with the largest is discriminated as the same particle group.
여기서, 탐색영역은 두 정지 영상 중 두 번째 영상 내에서 첫 번째 영상의 어떠한 입자군과 동일한 입자군의 판별을 위한 검색 범위로, 이 영역 내에서 상관계수를 계산한다.Here, the search area is a search range for determining a particle group identical to a certain particle group of the first image in the second image of the two still images, and a correlation coefficient is calculated within this area.
탐색영역은 영상 내의 입자군의 이동을 고려하여 적절하게 설정해주어야 한다. 상관영역은 상관계수 계산을 위한 입자군의 크기를 의미하며, 이 크기를 기준으로 상관계수를 계산한다.The search area should be appropriately set in consideration of the movement of the particle group in the image. The correlation region means the size of the particle group for calculating the correlation coefficient, and the correlation coefficient is calculated based on this size.
영상 내 흐름 양상에 따라 상관영역의 크기를 적절히 조절하여야 하는데, 적정 상관영역의 크기는 상관영역 내 입자 밀도와 입자 크기에 따른 허용 오차를 고려한 최소 상관영역의 크기에서부터 전단 흐름과 회전 흐름에 따른 허용 오차를 고려한 최대 상관영역의 크기까지의 범위로 설정한다.The size of the correlation region must be appropriately adjusted according to the flow pattern in the image. The size of the appropriate correlation region ranges from the size of the minimum correlation region considering the particle density and tolerance according to the particle size in the correlation region to the tolerance according to the shear flow and rotational flow. It is set to the range up to the size of the maximum correlation region considering the error.
상관계수 는 수학식 5에서와 같이 정의된다.correlation coefficient Is defined as in Equation 5.
여기서, 와 는 상관영역의 크기를 나타내며, 는 두 정지 영상 중 첫 번째 정지 영상 내 상관영역의 픽셀에 대한 열과 행의 명암 등급값이고, 는 두 번째 정지 영상 내의 명암값을 나타낸다. here, and represents the size of the correlation region, is for the pixel of the correlation region in the first still image of the two still images. heat and is the intensity level value of the row, represents a contrast value in the second still image.
와 는 상관영역 내의 모든 명암 등급값의 평균을 나타낸다. and represents the average of all intensity level values within the correlation region.
상관계수 는 -1에서 +1까지의 값을 가지게 된다.correlation coefficient has a value from -1 to +1.
상관계수가 -1인 경우는 음의 완전 상관관계로 상관영역 내 모든 픽셀의 명암값이 완전한 음의 관계를 이룬다는 것을 의미하며, 상관계수가 +1인 경우는 두 정지 영상의 상관영역이 완벽한 상관을 이룬다는 것을 의미한다.If the correlation coefficient is -1, it means that the intensity values of all pixels in the correlation region form a perfect negative relationship with a perfect negative correlation, and if the correlation coefficient is +1, the correlation regions of the two still images are perfect. means to be correlated.
또한 상관계수가 0인 경우는 두 정지 영상의 상관영역에 대해 완전히 상관관계가 없음을 의미한다. 일반적으로 동일 입자군 판별을 위한 상관계수의 최소 기준값은 0.7을 사용하며, 상관계수가 이 값 이상일 경우 동일 입자군으로 판단한다. In addition, when the correlation coefficient is 0, it means that there is no correlation between the two still images in the correlation region. In general, 0.7 is used as the minimum reference value of the correlation coefficient for determining the same particle group, and if the correlation coefficient is greater than this value, it is determined as the same particle group.
하지만 탐색영역 입자군 중 상관계수가 제일 크더라도 0.7 이하이면 동일 입자군으로 간주하기 어렵다.However, even if the correlation coefficient is the largest among the particle groups in the search region, if it is 0.7 or less, it is difficult to regard them as the same particle group.
이와 같이 상호상관 기법을 통해 두 정지 영상에서 동일하다고 판별된 입자군을 특정한 다음 입자군의 두 정지 영상 사이의 이동 변위를 산정한다.In this way, through the cross-correlation technique, the particle group determined to be the same in the two still images is specified, and then the displacement between the two still images of the particle group is calculated.
이동 변위 산정은 도 6에서와 같다.The movement displacement calculation is the same as in FIG. 6 .
이동 변위를 두 정지 영상 사이의 시간 간격으로 나누어주면 수학식 6에서와 같이, 영상 내의 입자군의 유속을 산정할 수 있다.By dividing the movement displacement by the time interval between the two still images, the flow velocity of the particle group in the image can be calculated as shown in Equation 6.
여기서, 는 방향 유속, 는 방향 유속, 는 영상 좌표와 실제 좌표 간의 변환계수, , 은 첫 번째 영상에서 유속 산정을 위해 지정한 영상 좌표, , 는 두 번째 영상에서 상관계수가 가장 높은 상관영역의 도심의 좌표, 는 두 정지 영상 사이의 시간간격이다.here, Is direction flow rate, Is direction flow rate, is the conversion coefficient between image coordinates and real coordinates, , is the image coordinates specified for calculating the flow velocity in the first image, , are the coordinates of the centroid of the correlation region with the highest correlation coefficient in the second image, is the time interval between the two still images.
이상에서 설명한 본 발명에 따른 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법은 하천 유속 측정을 위한 영상 획득 수단으로 드론을 사용하고, 두 영상 사이의 시간간격과 두 영상 내 추적자의 변위를 통해 유속을 산정하여 지상 참조점에 의존하지 않고 효율적인 유속 측정이 가능하도록 한 것이다.The device and method for measuring the flow rate of a river based on drone images according to the present invention described above uses a drone as an image acquisition means for measuring the flow rate of a river, and measures the flow rate through the time interval between two images and the displacement of the tracker in the two images. is calculated to enable efficient flow velocity measurement without relying on ground reference points.
본 발명은 드론 카메라 렌즈의 초점거리, 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리의 상호 관계를 이용하여 픽셀당 물리거리(GSD : Ground Sample Distance)를 계산하여 픽셀 변위를 실제 물리 변위로 변환하여 영상 내의 추적자의 실제 변위 및 속도를 계산하여 하천 유속 산정을 할 수 있도록 한 것이다.The present invention calculates the physical distance per pixel (GSD: Ground Sample Distance) using the correlation between the focal length of the drone camera lens, the pixel size, and the distance between the subject and the lens, and converts the pixel displacement into actual physical displacement. By converting it, the actual displacement and velocity of the tracer in the image are calculated so that the river flow velocity can be calculated.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.As described above, it will be understood that the present invention is implemented in a modified form without departing from the essential characteristics of the present invention.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.Therefore, the specified embodiments should be considered from a descriptive point of view rather than a limiting point of view, and the scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the equivalent range are considered to be included in the present invention. will have to be interpreted
10. 드론 하천 영상 촬영부
20. 드론 영상 수신부
30. 영상 변환 및 왜곡 보정부
40. 영상 추적자 변위 산출부
50. 유속 산정부10. Drone river imaging department
20. Drone video receiver
30. Image conversion and distortion correction unit
40. Image tracker displacement calculator
50. Flow rate calculator
Claims (13)
상기 드론 하천 영상 촬영부에서 촬영된 하천 표면 영상을 수신하는 드론 영상 수신부;
2차원 투영 좌표 변환법(2-D projective coordinate transformation)을 이용한 영상 왜곡 보정을 하는 영상 변환 및 왜곡 보정부;
드론 카메라 렌즈의 초점거리, 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리의 상호 관계를 이용하여 픽셀당 물리거리(GSD:Ground Sample Distance)를 계산하여 픽셀 변위를 실제 물리 변위로 변환하여 영상 내의 추적자의 실제 변위 및 속도를 계산하는 영상 추적자 변위 산출부;
영상 추적자 변위 산출부에서 산출된 영상 내의 추적자의 실제 변위 및 속도를 이용하여 하천 유속을 산정하는 유속 산정부;를 포함하고,
영상 추적자 변위 산출부는 연속되는 두 정지 영상 내 추적자의 이동 변위 산정을 위해, 두 정지 영상을 비교하여 영상 내에 설정한 탐색영역(searching area)에서 상관영역(interrogation area)의 명암 등급 값을 비교한 뒤, 상관계수 가 가장 큰 입자군을 동일 추적자로 판별하는 상호상관(cross-correlation) 기법을 이용하고, 상관계수 가 가장 큰 입자군을 동일 추적자로 판별하고,
상관계수 는,
여기서, 와 는 상관영역의 크기를 나타내며, 는 두 정지 영상 중 첫 번째 정지 영상 내 상관영역의 픽셀에 대한 열과 행의 명암 등급값이고, 는 두 번째 정지 영상 내의 명암값이고,와 는 상관영역 내의 모든 명암 등급값의 평균이고,
상관계수 는 -1에서 +1까지의 값을 갖고, 상관계수가 -1인 경우는 음의 완전 상관관계로 상관영역 내 모든 픽셀의 명암값이 완전한 음의 관계를 이룬다는 것을 의미하며, 상관계수가 +1인 경우는 두 정지 영상의 상관영역이 완벽한 상관을 이룬다는 것을 의미하고, 상관계수가 0인 경우는 두 정지 영상의 상관영역에 대해 완전히 상관관계가 없음을 의미하는 것을 특징으로 하는 드론 영상 기반의 하천 유속 측정을 위한 장치.A drone river image capture unit mounted on a drone to capture a river surface image;
a drone image receiving unit for receiving a river surface image captured by the drone river image capturing unit;
An image conversion and distortion correction unit performing image distortion correction using a 2-D projective coordinate transformation;
By using the correlation between the focal length of the drone camera lens, the pixel size, and the distance between the subject and the lens, the ground sample distance (GSD) is calculated, and the pixel displacement is converted into actual physical displacement. an image tracker displacement calculation unit that calculates the actual displacement and speed of the tracker within the tracker;
A flow rate calculation unit that calculates the river flow velocity using the actual displacement and speed of the tracer in the image calculated by the image tracker displacement calculation unit; includes,
The image tracker displacement calculation unit compares the two still images to calculate the movement displacement of the tracker in two consecutive still images, compares the contrast level value of the interrogation area in the search area set in the image, and then , the correlation coefficient A cross-correlation technique is used to determine the particle group with the largest as the same tracer, and the correlation coefficient Discriminates the particle group with the largest as the same tracer,
correlation coefficient Is,
here, and represents the size of the correlation region, is for the pixel of the correlation region in the first still image of the two still images. heat and is the intensity level value of the row, is the intensity value in the second still image, and is the average of all intensity level values in the correlation region,
correlation coefficient has a value from -1 to +1, and if the correlation coefficient is -1, it means that the intensity values of all pixels in the correlation region form a perfect negative relationship with a perfect negative correlation, and the correlation coefficient is + A case of 1 means that the correlation regions of the two still images are perfectly correlated, and a case where the correlation coefficient is 0 means that the correlation regions of the two still images are completely uncorrelated. A device for measuring the flow rate of rivers.
으로 정의되고,
픽셀당 물리거리(GSD:Ground Sample Distance)는으로 구하는 것을 특징으로 하는 드론 영상 기반의 하천 유속 측정을 위한 장치.The method of claim 1, wherein the focal length of the drone camera lens ( ), pixel size and the distance between the subject and the lens ( ) The correlation of
is defined as,
The physical distance per pixel (GSD: Ground Sample Distance) is Device for measuring drone image-based river flow rate, characterized in that obtained by.
2차원 투영 좌표 변환법에 의한 실제 좌표(X,Y)와 영상 좌표(x,y) 사이의 관계식은,
, 으로 정의하고,
여기서, 는 회전 보정, 병진이동 보정, x-y좌표에 대한 직각 보정과 평행하지 않은 두 좌표계간의 좌표 보정을 위한 8 개의 맵핑계수인 것을 특징으로 하는 드론 영상 기반의 하천 유속 측정을 위한 장치.The method of claim 1, wherein in the image conversion and distortion correction unit,
The relational expression between the real coordinates (X, Y) and the image coordinates (x, y) by the two-dimensional projected coordinate transformation method is,
, defined as,
here, is 8 mapping coefficients for rotation correction, translational translation correction, orthogonal correction for xy coordinates and coordinate correction between two non-parallel coordinate systems.
두 정지 영상에서 동일하다고 판별된 추적자를 특정한 다음, 추적자의 두 정지 영상 사이의 이동 변위를 산정하고,
으로 이동 변위를 두 정지 영상 사이의 시간 간격으로 나누어 영상 내의 추적자의 유속을 산정하고,
여기서, 는 방향 유속, 는 방향 유속, 는 영상 좌표와 실제 좌표 간의 변환계수, , 은 첫 번째 영상에서 유속 산정을 위해 지정한 영상 좌표, , 는 두 번째 영상에서 상관계수가 가장 높은 상관영역의 도심의 좌표, 는 두 정지 영상 사이의 시간간격인 것을 특징으로 하는 드론 영상 기반의 하천 유속 측정을 위한 장치.The method of claim 1, wherein the flow rate calculation unit,
After specifying the tracker determined to be the same in the two still images, calculating the movement displacement between the two still images of the tracker,
Calculate the flow velocity of the tracer in the image by dividing the moving displacement by the time interval between the two still images,
here, Is direction flow rate, Is direction flow rate, is the conversion coefficient between image coordinates and real coordinates, , is the image coordinates specified for calculating the flow velocity in the first image, , are the coordinates of the centroid of the correlation region with the highest correlation coefficient in the second image, Is a time interval between two still images. A device for measuring the flow rate of a river based on drone images.
드론 하천 영상 촬영부로부터 하천 표면 영상을 수신하여 영상 변환 및 왜곡 보정부에서 영상 변환 및 왜곡 보정을 수행하는 단계;
영상 추적자 변위 산출부에서 드론 카메라 렌즈의 초점거리, 픽셀 크기(pixel size) 및 피사체와 렌즈 사이의 거리의 상호 관계를 이용하여 픽셀당 물리거리(GSD:Ground Sample Distance)를 계산하여 픽셀 변위를 실제 물리 변위로 변환하여 영상 내의 추적자의 실제 변위 및 속도를 계산하는 단계;
영상 추적자 변위 산출부의 계산 결과를 이용하여 유속 산정부에서 하천 유속을 산정하는 단계;를 포함하고,
영상 내의 추적자의 실제 변위 및 속도를 계산하는 단계에서 연속되는 두 정지 영상 내 추적자의 이동 변위 산정을 위해,
두 정지 영상을 비교하여 영상 내에 설정한 탐색영역(searching area)에서 상관영역(interrogation area)의 명암 등급 값을 비교한 뒤, 상관계수 가 가장 큰 입자군을 동일 추적자로 판별하는 상호상관(cross-correlation) 기법을 이용하고, 상관계수 가 가장 큰 입자군을 동일 추적자로 판별하고,
상관계수 는,
여기서, 와 는 상관영역의 크기를 나타내며, 는 두 정지 영상 중 첫 번째 정지 영상 내 상관영역의 픽셀에 대한 열과 행의 명암 등급값이고, 는 두 번째 정지 영상 내의 명암값이고,와 는 상관영역 내의 모든 명암 등급값의 평균이고,
상관계수 는 -1에서 +1까지의 값을 갖고, 상관계수가 -1인 경우는 음의 완전 상관관계로 상관영역 내 모든 픽셀의 명암값이 완전한 음의 관계를 이룬다는 것을 의미하며, 상관계수가 +1인 경우는 두 정지 영상의 상관영역이 완벽한 상관을 이룬다는 것을 의미하고, 상관계수가 0인 경우는 두 정지 영상의 상관영역에 대해 완전히 상관관계가 없음을 의미하는 것을 특징으로 하는 드론 영상 기반의 하천 유속 측정을 위한 방법.Taking a river image in a drone river image capture unit;
Receiving a river surface image from a drone river image capture unit and performing image conversion and distortion correction in an image conversion and distortion correction unit;
The image tracker displacement calculation unit calculates the physical distance per pixel (GSD: Ground Sample Distance) using the correlation between the focal length of the drone camera lens, the pixel size, and the distance between the subject and the lens to calculate the actual pixel displacement. Calculating the actual displacement and speed of the tracker in the image by converting it into physical displacement;
Calculating the river flow velocity in the flow velocity calculation unit using the calculation result of the image tracker displacement calculation unit; including,
In order to calculate the moving displacement of the tracker in two consecutive still images in the step of calculating the actual displacement and speed of the tracker in the image,
After comparing the two still images and comparing the contrast level values of the interrogation area in the search area set in the image, the correlation coefficient A cross-correlation technique is used to determine the particle group with the largest as the same tracer, and the correlation coefficient Discriminates the particle group with the largest as the same tracer,
correlation coefficient Is,
here, and represents the size of the correlation region, is for the pixel of the correlation region in the first still image of the two still images. heat and is the intensity level value of the row, is the intensity value in the second still image, and is the average of all intensity level values in the correlation region,
correlation coefficient has a value from -1 to +1, and if the correlation coefficient is -1, it means that the intensity values of all pixels in the correlation region form a perfect negative relationship with a perfect negative correlation, and the correlation coefficient is + A case of 1 means that the correlation regions of the two still images are perfectly correlated, and a case where the correlation coefficient is 0 means that the correlation regions of the two still images are completely uncorrelated. A method for measuring the flow velocity of rivers.
으로 정의되고,
픽셀당 물리거리(GSD:Ground Sample Distance)는으로 구하는 것을 특징으로 하는 드론 영상 기반의 하천 유속 측정을 위한 방법.The method of claim 9, wherein the focal length of the drone camera lens ( ), pixel size and the distance between the subject and the lens ( ) The correlation of
is defined as,
The physical distance per pixel (GSD: Ground Sample Distance) is A method for measuring the flow rate of a river based on drone images, characterized in that obtained by
2차원 투영 좌표 변환법에 의한 실제 좌표(X,Y)와 영상 좌표(x,y) 사이의 관계식은,
, 으로 정의하고,
여기서, 는 회전 보정, 병진이동 보정, x-y좌표에 대한 직각 보정과 평행하지 않은 두 좌표계간의 좌표 보정을 위한 8 개의 맵핑계수인 것을 특징으로 하는 드론 영상 기반의 하천 유속 측정을 위한 방법.The method of claim 9, wherein in the step of performing image conversion and distortion correction,
The relational expression between the real coordinates (X, Y) and the image coordinates (x, y) by the two-dimensional projected coordinate transformation method is,
, defined as,
here, is 8 mapping coefficients for rotation correction, translational translation correction, orthogonal correction for xy coordinates, and coordinate correction between two non-parallel coordinate systems.
두 정지 영상에서 동일하다고 판별된 추적자를 특정한 다음, 추적자의 두 정지 영상 사이의 이동 변위를 산정하고,
으로 이동 변위를 두 정지 영상 사이의 시간 간격으로 나누어 영상 내의 추적자의 유속을 산정하고,
여기서, 는 방향 유속, 는 방향 유속, 는 영상 좌표와 실제 좌표 간의 변환계수, , 은 첫 번째 영상에서 유속 산정을 위해 지정한 영상 좌표, , 는 두 번째 영상에서 상관계수가 가장 높은 상관영역의 도심의 좌표, 는 두 정지 영상 사이의 시간간격인 것을 특징으로 하는 드론 영상 기반의 하천 유속 측정을 위한 방법.
The method of claim 9, wherein in the step of estimating the river flow rate,
After specifying the tracker determined to be the same in the two still images, calculating the movement displacement between the two still images of the tracker,
Calculate the flow velocity of the tracer in the image by dividing the moving displacement by the time interval between the two still images,
here, Is direction flow rate, Is direction flow rate, is the conversion coefficient between image coordinates and real coordinates, , is the image coordinates specified for calculating the flow velocity in the first image, , are the coordinates of the centroid of the correlation region with the highest correlation coefficient in the second image, A method for measuring the flow rate of a river based on drone images, characterized in that is the time interval between two still images.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200162738A KR102523451B1 (en) | 2020-11-27 | 2020-11-27 | Devices and Methods for Measuring Flow Velocity of River Based on Drone Imaging |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200162738A KR102523451B1 (en) | 2020-11-27 | 2020-11-27 | Devices and Methods for Measuring Flow Velocity of River Based on Drone Imaging |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220074347A KR20220074347A (en) | 2022-06-03 |
KR102523451B1 true KR102523451B1 (en) | 2023-04-26 |
Family
ID=81982466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200162738A KR102523451B1 (en) | 2020-11-27 | 2020-11-27 | Devices and Methods for Measuring Flow Velocity of River Based on Drone Imaging |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102523451B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102614029B1 (en) * | 2023-06-22 | 2023-12-13 | 정혜린 | Small river smart prediction management system using accumulated data and its method |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102485817B1 (en) | 2022-07-07 | 2023-01-09 | 주식회사 하이드로셈 | System and Method for Correcting River Image Distortion Using 11 Variable Coordinate Transform |
KR102519606B1 (en) | 2022-08-31 | 2023-04-13 | 주식회사 하이드로셈 | System and Method for Measuring Real Time River Discharge based on thermal image and multivariate coordinate transformation |
KR102554764B1 (en) * | 2022-10-28 | 2023-07-11 | 재단법인 한국수자원조사기술원 | Integrated Drone Measurement System linked with Surface Velocity Meter using doppler radar |
KR102533185B1 (en) * | 2023-02-10 | 2023-05-17 | 주식회사 솔디아 | General river safety management device using CCTV camera images |
KR102631071B1 (en) * | 2023-04-18 | 2024-01-30 | 주식회사 엔포텍디에스 | Flow velocity and water level measuring device in a pipeline and a measuring method using the same |
KR102632719B1 (en) * | 2023-07-05 | 2024-02-02 | 재단법인 한국수자원조사기술원 | Remote drone station system for disaster management of flood damage |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100817907B1 (en) | 2006-07-27 | 2008-03-31 | 명지대학교 산학협력단 | Method of measuring the drift of a current on the surface of rivers using large scale image velocimetry |
KR101512690B1 (en) | 2014-06-27 | 2015-04-17 | 동의대학교 산학협력단 | Analysis method and portable instrument measuring water surface velocity using digital image processing |
KR101863123B1 (en) | 2017-02-15 | 2018-06-01 | 한국건설기술연구원 | System for mapping river water-bloom map using automatic driving unmanned air vehicle and unmanned floating body of moving type |
KR102267335B1 (en) * | 2018-11-29 | 2021-06-22 | 주식회사 케이티앤씨 | Method for detecting a speed employing difference of distance between an object and a monitoring camera |
-
2020
- 2020-11-27 KR KR1020200162738A patent/KR102523451B1/en active IP Right Grant
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102614029B1 (en) * | 2023-06-22 | 2023-12-13 | 정혜린 | Small river smart prediction management system using accumulated data and its method |
Also Published As
Publication number | Publication date |
---|---|
KR20220074347A (en) | 2022-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102523451B1 (en) | Devices and Methods for Measuring Flow Velocity of River Based on Drone Imaging | |
Patalano et al. | Rectification of Image Velocity Results (RIVeR): A simple and user-friendly toolbox for large scale water surface Particle Image Velocimetry (PIV) and Particle Tracking Velocimetry (PTV) | |
JP7120582B2 (en) | River flow velocity measurement device and method using optical flow image processing | |
Eltner et al. | Flow velocity and discharge measurement in rivers using terrestrial and unmanned-aerial-vehicle imagery | |
Sánchez-García et al. | C-Pro: A coastal projector monitoring system using terrestrial photogrammetry with a geometric horizon constraint | |
CN111435081B (en) | Sea surface measuring system, sea surface measuring method and storage medium | |
US20230083320A1 (en) | Systems and Methods for Remote Sensing of River Velocity Using Video and an Optical Flow Algorithm | |
CN106033614A (en) | Moving object detection method of mobile camera under high parallax | |
Alterman et al. | Passive tomography of turbulence strength | |
CN107966137A (en) | A kind of satellite platform flutter detection method based on TDICCD splice regions image | |
CN106908218B (en) | The processing method of river surface flow field | |
JP4574657B2 (en) | Method and apparatus for measuring water flow | |
Ahn et al. | Shoreline change monitoring using high resolution digital photogrammetric technique | |
JP2019522185A (en) | How to find water flow rate | |
Savelyev et al. | Stereo thermal marking velocimetry | |
CN109781191A (en) | A method of utilizing the unmanned plane image fast inversion discharge of river | |
US20170169576A1 (en) | Crowd intelligence on flow velocity measurement | |
CN109029366B (en) | Method for measuring horizontal drift rate of algae spots through aircraft shooting | |
JP7170485B2 (en) | Image analysis device, image analysis method and image analysis program | |
KR20220065436A (en) | Determination method of the searching window based on optical flow alogorithm | |
De Vries et al. | Using stereo photogrammetry to measure coastal waves | |
RU2436040C2 (en) | Method for determination of kinematic characteristics of sea waves by optical panoramas of sea surface | |
Le Coz et al. | Video-based hydrometry: a Bayesian camera calibration method for uncertainty analysis | |
Sharif | Measuring surface water flow velocities by a drone and large-scale particle image velocimetry (LSPIV) | |
CN111486820B (en) | Measurement system, measurement method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |