JP7120582B2 - オプティカルフロー映像処理を利用する河川流速測定装置および方法 - Google Patents
オプティカルフロー映像処理を利用する河川流速測定装置および方法 Download PDFInfo
- Publication number
- JP7120582B2 JP7120582B2 JP2020565899A JP2020565899A JP7120582B2 JP 7120582 B2 JP7120582 B2 JP 7120582B2 JP 2020565899 A JP2020565899 A JP 2020565899A JP 2020565899 A JP2020565899 A JP 2020565899A JP 7120582 B2 JP7120582 B2 JP 7120582B2
- Authority
- JP
- Japan
- Prior art keywords
- velocity
- image
- pixel
- analysis
- river
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P5/00—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft
- G01P5/26—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft by measuring the direct influence of the streaming fluid on the properties of a detecting optical wave
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30192—Weather; Meteorology
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Algebra (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Aviation & Aerospace Engineering (AREA)
- Geometry (AREA)
- Indicating Or Recording The Presence, Absence, Or Direction Of Movement (AREA)
- Measuring Volume Flow (AREA)
- Image Analysis (AREA)
Description
ホモグラフィ(Homography)算定を具体的に説明すると次の通りである。
数学式1はホモジーニアス(Homogeneous)形態を示したものである。
引き続き、あらかじめ指定された格子設定を呼び出して(S302)分析する映像の個数(N)と分析結果を保存する配列(マトリックス)を宣言する。(S303)
そして、カメラを通じて映像を配列に保存する。(S304)
映像間分析を格子点の個数だけ繰り返して分析結果を配列に保存する。(S305)
そして、ピクセル流速算定段階は地点流速算定のために、図4でのように、映像と格子点変数宣言をし(S401)、格子点の位置から映像抽出をする。(S402)
引き続き、オプティカルフローピクセル流速算定アルゴリズムを適用し(S403)、格子点位置とピクセル流速、フィルタ係数変数宣言をして(S404)格子点位置とピクセル流速を実際流速に変換する。(S405)
算定された流速誤差がフィルタ係数より大きいとフィルタリングをし、そうでなければ流速算定結果を出力して地点流速算定の正確度を高める。(S406)
そして、図5は本発明に係るピクセル流速算定のための方法を示したフローチャートであり、図6と図7は本発明に係るピクセル流速算定時の微分関数を示したものである。
そして、X方向映像微分(S503)、Y方向映像微分(S504)、時間方向映像微分をして(S505)ピクセル流速を算定する。(S506)
このような構成を有する本発明に係るオプティカルフロー映像処理を利用する流速測定装置および方法は、河川の水位の変化を考慮した映像歪み補正のための方法を適用して、水位が変わってもカメラが見る参照点の映像座標が変わらないようにして、測量した実際の座標と変換結果の誤差が発生しないようにして正確な映像歪み補正を可能にする。
産業上利用の可能性
本発明は現場の断面情報、分析時間、分析間隔、分析領域に対してカメラが収集した連続映像からピクセル流速を算出し、これを実際の物理的な流速に換算して流速測定の効率性および正確性を高めた、オプティカルフロー映像処理を利用する河川流速測定装置および方法に関する。
Claims (18)
- 河川流速測定現場の連続映像を獲得する映像撮影部;
映像撮影部の映像データを正規化するために動的に連続映像のフレームを抽出し、抽出されたフレームを映像変換してホモグラフィ(Homography)算定をする映像変換分析部;
分析地点の分析領域を抽出する分析領域抽出部;
分析領域抽出部で抽出された分析地点の分析領域映像を通じてピクセル流速を算定するピクセル流速算定部;
ピクセル流速算定部で算定されたピクセル流速を実際流速に換算する実際流速算定部;を含み、
前記映像変換分析部は、
前記ホモグラフィ(Homography)算定のために、入力点の平均X座標とY座標を算定して該当座標を原点に移動させ、入力点と平均X座標とY座標間の距離を変換して映像データを正規化(Normalize)することを特徴とする、オプティカルフロー映像処理を利用する河川流速測定装置。 - ピクセル流速算定部はオプティカルフローを適用した表面流速場算定のために、
指定された格子設定を呼び出して分析する映像の個数(N)と分析結果を保存する配列宣言をして映像を配列に保存し、
映像間分析を格子点の個数だけ繰り返して表面流速場算定をすることを特徴とする、請求項1に記載のオプティカルフロー映像処理を利用する河川流速測定装置。 - ピクセル流速算定部は地点流速算定のために、
映像と格子点変数宣言をし、格子点の位置から映像抽出をしてピクセル流速算定をし、
格子点位置とピクセル流速、フィルタ係数変数を定めて、地点流速算定時に算定された誤差がフィルタ係数より大きいとフィルタリングをして地点流速算定をすることを特徴とする、請求項1に記載のオプティカルフロー映像処理を利用する河川流速測定装置。 - 映像撮影部で撮影される映像歪み補正のために、
水位が変わってもカメラが見る参照点の映像座標が変わらないように4個の参照点を堤防高さに設置し、
カメラの実際の座標(Xc、Yc、H)、カメラと水面までの高さ(H)および堤防上の参照点(A)の実際の座標(X0、Y0、Z0)を利用して水の表面と同じ高さの点A’の実際の座標(X’0、Y’0、Z’0)を求めることを特徴とする、請求項1に記載のオプティカルフロー映像処理を利用する河川流速測定装置。 - 河川流速測定現場の連続映像を獲得する映像撮影段階;
映像撮影段階で獲得された映像データを正規化するために動的に連続映像のフレームを抽出し、抽出されたフレームを映像変換してホモグラフィ(Homography)算定をする映像変換分析段階;
分析地点の分析領域を抽出する分析領域抽出段階;
分析領域抽出段階で抽出された分析地点の分析領域映像を通じてピクセル流速を算定するピクセル流速算定段階;
ピクセル流速算定段階で算定されたピクセル流速を実際流速に換算する実際流速算定段階;を含み、
前記映像変換分析段階は、
前記ホモグラフィ(Homography)算定のために、入力点の平均X座標とY座標を算定して該当座標を原点に移動させ、入力点と平均X座標とY座標間の距離を変換して映像データを正規化(Normalize)することを特徴とする、オプティカルフロー映像処理を利用する河川流速測定方法。 - ピクセル流速算定段階でオプティカルフローを適用した表面流速場算定のために、
M個の個数を有する分析する点で構成された格子変数を定義する段階と、
あらかじめ指定された格子設定を呼び出して分析する映像の個数(N)と分析結果を保存する配列を宣言する段階と、
カメラを通じて映像を配列に保存する段階と、
映像間分析を格子点の個数だけ繰り返して分析結果を配列に保存する段階を含むことを特徴とする、請求項5に記載のオプティカルフロー映像処理を利用する河川流速測定方法。 - ピクセル流速算定段階で地点流速算定のために、
映像と格子点変数宣言をし、格子点の位置から映像抽出をする段階と、
オプティカルフローピクセル流速算定アルゴリズムを適用して、格子点位置とピクセル流速、フィルタ係数変数宣言をして格子点位置とピクセル流速を実際流速に変換する段階と、
算定された流速誤差がフィルタ係数より大きいとフィルタリングをし、そうでなければ流速算定結果を出力する段階を含むことを特徴とする、請求項5に記載のオプティカルフロー映像処理を利用する河川流速測定方法。 - ピクセル流速算定段階に、
映像変数宣言をし、X方向、Y方向、時間微分変数宣言をする段階と、
X方向映像微分、Y方向映像微分、時間方向映像微分をしてピクセル流速を算定する段階を含むことを特徴とする、請求項5に記載のオプティカルフロー映像処理を利用する河川流速測定方法。 - 映像撮影段階で撮影される映像歪み補正のために、
水位が変わってもカメラが見る参照点の映像座標が変わらないように4個の参照点を堤防高さに設置してカメラの実際の座標(Xc、Yc、H)、カメラと水面までの高さ(H)および堤防上の参照点(A)の実際の座標(X0、Y0、Z0)を利用して水の表面と同じ高さの点A’の実際の座標(X’0、Y’0、Z’0)を求めることを特徴とする、請求項5に記載のオプティカルフロー映像処理を利用する河川流速測定方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2018-0139088 | 2018-11-13 | ||
KR1020180139088A KR101996992B1 (ko) | 2018-11-13 | 2018-11-13 | 옵티컬 플로우 영상 처리를 이용하는 하천 유속 측정 장치 및 방법 |
PCT/KR2018/014983 WO2020101103A1 (ko) | 2018-11-13 | 2018-11-29 | 옵티컬 플로우 영상 처리를 이용하는 하천 유속 측정 장치 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021531450A JP2021531450A (ja) | 2021-11-18 |
JP7120582B2 true JP7120582B2 (ja) | 2022-08-17 |
Family
ID=67255815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020565899A Active JP7120582B2 (ja) | 2018-11-13 | 2018-11-29 | オプティカルフロー映像処理を利用する河川流速測定装置および方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11200684B2 (ja) |
JP (1) | JP7120582B2 (ja) |
KR (1) | KR101996992B1 (ja) |
PH (1) | PH12020551777A1 (ja) |
WO (1) | WO2020101103A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021142441A1 (en) * | 2020-01-10 | 2021-07-15 | Marquette University | Systems and methods for remote sensing of river velocity using video and an optical flow algorithm |
CN111798386B (zh) * | 2020-06-24 | 2022-03-22 | 武汉大学 | 一种基于边缘识别与最大序列密度估计的河道流速测量方法 |
CN112242000B (zh) * | 2020-10-22 | 2022-07-26 | 上海交通大学 | 基于丝网探针的气液两相流场特征重构方法、系统及介质 |
KR102462351B1 (ko) | 2020-11-13 | 2022-11-02 | 단국대학교 산학협력단 | 옵티컬 플로우를 활용한 상호상관법의 탐색영역 결정방법 |
KR102504280B1 (ko) * | 2020-11-13 | 2023-02-27 | 단국대학교 산학협력단 | 옵티컬 플로우를 활용한 초분광영상의 영상정합 방법 |
CN113012195B (zh) * | 2021-03-04 | 2024-02-06 | 西安电子科技大学 | 基于光流计算的河流表面流速估计的方法和可读存储介质 |
KR102677913B1 (ko) | 2021-08-13 | 2024-06-26 | 재단법인 한국수자원조사기술원 | 드론을 이용한 tm 좌표 기반의 유량 측정 장치 및 방법 |
CN113781528A (zh) * | 2021-08-26 | 2021-12-10 | 山东新一代信息产业技术研究院有限公司 | 一种基于光流计算的河流表面流速测算方法 |
CN113804917A (zh) * | 2021-09-17 | 2021-12-17 | 山东新一代信息产业技术研究院有限公司 | 一种基于点扩散估计的河流表面流速测量方法 |
CN114034348B (zh) * | 2021-10-27 | 2022-07-12 | 中国水利水电科学研究院 | 一种基于多信源信息的生态流量监测系统及其监测方法 |
CN114885097B (zh) * | 2022-03-31 | 2024-02-06 | 浙江大华技术股份有限公司 | 一种智能相机监测水流的方法、装置及存储介质 |
KR102492866B1 (ko) * | 2022-04-27 | 2023-01-30 | 주식회사세오 | 3차원 모델링을 이용한 침수 표시 방법 및 시스템 |
KR102485817B1 (ko) * | 2022-07-07 | 2023-01-09 | 주식회사 하이드로셈 | 11변수 좌표변환 알고리즘을 이용한 하천 영상 왜곡 보정 시스템 및 방법 |
KR102614029B1 (ko) * | 2023-06-22 | 2023-12-13 | 정혜린 | 축적된 데이터를 활용한 소하천 스마트 예측 관리 시스템 및 그 방법 |
CN117074717B (zh) * | 2023-08-14 | 2024-09-24 | 北京科技大学 | 一种基于粒子识别的固液两相流图像测速方法和系统 |
CN116843725B (zh) * | 2023-08-30 | 2024-01-05 | 武汉大水云科技有限公司 | 一种基于深度学习光流法的河流表面流速测量方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004219179A (ja) | 2003-01-10 | 2004-08-05 | Public Works Research Institute | 非接触型流速計を用いた開水路流量観測方法及びその装置 |
JP2006258575A (ja) | 2005-03-16 | 2006-09-28 | Takuwa Corp | 河川流速計測方法、河川流量計測方法、河川流速計測システム、及び河川流量計測システム |
CN104297516A (zh) | 2014-11-06 | 2015-01-21 | 中国科学院、水利部成都山地灾害与环境研究所 | 一种流体表面二维流速场测量方法 |
JP2016169968A (ja) | 2015-03-11 | 2016-09-23 | 古野電気株式会社 | 表層潮流推定装置、レーダ装置、表層潮流推定方法、及び表層潮流推定プログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070280507A1 (en) * | 2006-06-01 | 2007-12-06 | Beddhu Murali | Apparatus and Upwind Methods for Optical Flow Velocity Estimation |
KR100817907B1 (ko) | 2006-07-27 | 2008-03-31 | 명지대학교 산학협력단 | 표면 영상 분석에 의한 하천의 표면 유속 측정 방법 |
JP2008058264A (ja) * | 2006-09-04 | 2008-03-13 | Kobe Univ | 実河川を対象とした流速観測装置、流速観測方法,および流速観測プログラム |
KR101305305B1 (ko) | 2012-06-12 | 2013-09-06 | 동의대학교 산학협력단 | 시공간 영상의 상관 분석을 이용한 표면 유속 측정 시스템 및 방법 |
KR101512690B1 (ko) | 2014-06-27 | 2015-04-17 | 동의대학교 산학협력단 | 영상 처리를 이용한 표면 유속 측정 방법 및 휴대용 측정 장치 |
KR20160100788A (ko) * | 2015-02-16 | 2016-08-24 | 한국전자통신연구원 | 이동체의 이동속도 측정장치 및 그 방법 |
KR101753360B1 (ko) * | 2015-12-04 | 2017-07-03 | 광운대학교 산학협력단 | 시점 변화에 강인한 특징점 정합 방법 |
KR101741501B1 (ko) * | 2016-02-01 | 2017-05-30 | 아주대학교산학협력단 | 카메라와 객체 간 거리 추정 장치 및 그 방법 |
KR101813244B1 (ko) | 2016-04-21 | 2017-12-29 | 동의대학교 산학협력단 | 열영상을 이용한 실시간 표면영상유속계 및 그의 측정 방법 |
-
2018
- 2018-11-13 KR KR1020180139088A patent/KR101996992B1/ko active IP Right Grant
- 2018-11-29 US US16/617,331 patent/US11200684B2/en active Active
- 2018-11-29 JP JP2020565899A patent/JP7120582B2/ja active Active
- 2018-11-29 WO PCT/KR2018/014983 patent/WO2020101103A1/ko active Application Filing
-
2020
- 2020-10-23 PH PH12020551777A patent/PH12020551777A1/en unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004219179A (ja) | 2003-01-10 | 2004-08-05 | Public Works Research Institute | 非接触型流速計を用いた開水路流量観測方法及びその装置 |
JP2006258575A (ja) | 2005-03-16 | 2006-09-28 | Takuwa Corp | 河川流速計測方法、河川流量計測方法、河川流速計測システム、及び河川流量計測システム |
CN104297516A (zh) | 2014-11-06 | 2015-01-21 | 中国科学院、水利部成都山地灾害与环境研究所 | 一种流体表面二维流速场测量方法 |
JP2016169968A (ja) | 2015-03-11 | 2016-09-23 | 古野電気株式会社 | 表層潮流推定装置、レーダ装置、表層潮流推定方法、及び表層潮流推定プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021531450A (ja) | 2021-11-18 |
US20210327075A1 (en) | 2021-10-21 |
PH12020551777A1 (en) | 2021-05-31 |
KR101996992B1 (ko) | 2019-07-08 |
WO2020101103A1 (ko) | 2020-05-22 |
US11200684B2 (en) | 2021-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7120582B2 (ja) | オプティカルフロー映像処理を利用する河川流速測定装置および方法 | |
JP7120581B2 (ja) | Cctv映像基盤のリアルタイム自動流量計側システムおよび方法 | |
KR102523451B1 (ko) | 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법 | |
KR100817907B1 (ko) | 표면 영상 분석에 의한 하천의 표면 유속 측정 방법 | |
CN111160210B (zh) | 一种基于视频的水流速检测方法及系统 | |
CN104297516B (zh) | 一种流体表面二维流速场测量方法 | |
KR101305305B1 (ko) | 시공간 영상의 상관 분석을 이용한 표면 유속 측정 시스템 및 방법 | |
KR101868483B1 (ko) | 영상 대조에 따른 두개의 에지 블러 파라미터 예측 방법 | |
CN116758136B (zh) | 一种货物体积实时在线识别方法、系统、设备以及介质 | |
JP6682409B2 (ja) | 河川監視装置、河川監視方法及びプログラム | |
CN115761563A (zh) | 一种基于光流测算的河流表面流速的计算方法及系统 | |
Chen et al. | A color-guided, region-adaptive and depth-selective unified framework for Kinect depth recovery | |
Boutelier | TecPIV—A MATLAB-based application for PIV-analysis of experimental tectonics | |
CN109781191A (zh) | 一种利用无人机影像快速反演河道流量的方法 | |
Huang et al. | A photogrammetry-based variational optimization method for river surface velocity measurement | |
Lv et al. | A point tracking method of TDDM for vibration measurement and large-scale rotational motion tracking | |
Hilgersom et al. | How image processing facilitates the rising bubble technique for discharge measurement | |
Lee et al. | The measurement of discharge using a commercial digital video camera in irrigation canals | |
Osorio-Cano et al. | A method for extracting surface flow velocities and discharge volumes from video images in laboratory | |
Cao et al. | River surface velocity estimation using optical flow velocimetry improved with attention mechanism and position encoding | |
Lenzano et al. | Detecting glacier surface motion by optical flow | |
KR102687641B1 (ko) | 하천 표면의 시공간 영상의 분석을 통한 유속 측정 방법 | |
KR102462351B1 (ko) | 옵티컬 플로우를 활용한 상호상관법의 탐색영역 결정방법 | |
KR101237128B1 (ko) | 토모그래픽 피티브이를 이용한 유동장 해석방법 | |
CN114757848A (zh) | 基于人工智能的相机果冻效应检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220727 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7120582 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |