JP4025161B2 - 流速分布計測システム、流速分布計測方法、流速分布計測プログラム、流量計測システム、流量計測方法及び流量計測プログラム - Google Patents

流速分布計測システム、流速分布計測方法、流速分布計測プログラム、流量計測システム、流量計測方法及び流量計測プログラム Download PDF

Info

Publication number
JP4025161B2
JP4025161B2 JP2002279605A JP2002279605A JP4025161B2 JP 4025161 B2 JP4025161 B2 JP 4025161B2 JP 2002279605 A JP2002279605 A JP 2002279605A JP 2002279605 A JP2002279605 A JP 2002279605A JP 4025161 B2 JP4025161 B2 JP 4025161B2
Authority
JP
Japan
Prior art keywords
water level
river
level data
image
flow velocity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002279605A
Other languages
English (en)
Other versions
JP2004117119A (ja
Inventor
範之 小林
達弥 金目
一郎 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Asia Air Survey Co Ltd
Original Assignee
Asia Air Survey Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asia Air Survey Co Ltd filed Critical Asia Air Survey Co Ltd
Priority to JP2002279605A priority Critical patent/JP4025161B2/ja
Publication of JP2004117119A publication Critical patent/JP2004117119A/ja
Application granted granted Critical
Publication of JP4025161B2 publication Critical patent/JP4025161B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30Assessment of water resources

Landscapes

  • Measuring Volume Flow (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、河川の平面流速分布や水量をリアルタイムに計測する流速分布計測システム、流速分布計測方法、流速分布計測プログラム、流量計測システム、流量計測方法及び流量計測プログラムに関する。
【0002】
【従来の技術】
台風、大雨、融雪等による大水の時の洪水対策のために河川の流量分布・流量観測が必要である。従来、河川の流速分布や流量観測には、浮子を用いる観測が行われてきた。
【0003】
【特許文献1】
特公平5−11909号公報
【0004】
【非特許文献1】
藤田一郎、河村三郎、「ビデオ画像解析による河川表面流計測の試み」、水工学論文集、Vol.38、pp733−738、1994年2月。
【0005】
【非特許文献2】
藤田一郎、椿涼太、「小俯角のビデオ画像に対応した河川表面流計測手法の開発」、河川技術論文集、第7巻、pp475−478、2001年6月。
【0006】
【発明が解決しようとする課題】
しかしながら、浮子による流速分布・流量観測は、大水の中でも観測地点に観測員が出向いて観測作業する必要があり、作業の安全性に問題があり、また精度的に不十分であり、さらにリアルタイムに継続的に流量を観測することも難しい問題点があった。
【0007】
近年、PIV(Particle Image Velocimetry)技術が開発され、これを河川表面流速解析に応用する技術も提案されるようになっている(藤田一郎、河村三郎、「ビデオ画像解析による河川表面流計測の試み」、水工学論文集、Vol.38、pp733−738、1994年2月。藤田一郎、椿涼太、「小俯角のビデオ画像に対応した河川表面流計測手法の開発」、河川技術論文集、第7巻、pp475−478、2001年6月)。
【0008】
この従来の技術は、河岸からビデオカメラで河川の表面水流を斜めに撮影し、この斜めビデオ画像を用い、パターンマッチングによる河川表面の濃淡分布の面的な移動ベクトルの追跡から、表面流速分布を求めるものである。そして、斜め画像のためにカメラから近距離の地点と遠方の地点とでは俯角の差により画像の歪み度合いに差が出るので、幾何変換補正により俯角による影響を打ち消し、川面を垂直に見た平面画像(垂直平面画像)に幾何変換した後、川幅の仮想的な横断線上の各区分についてPIV解析し、各区分毎の表面流速を算定する。
【0009】
ところが、このPIV手法を用いた河川表面流計測は、学術レベルの提案であって、ビデオカメラで撮影したビデオ画像を研究室に持ち帰り、コンピュータにより画像キャプチャーから幾何変換、PIV解析を行うものであったので、リアルタイムに河川の表面流速分布や水量を計測するということはできない。
【0010】
上述したように、台風、大雨、融雪等による大水の時には河川の表面流速分布や河川流量をリアルタイムに計測し、洪水対策を練る必要があるため、従来のPIV手法を用いた河川の表面流計測技術は大水、洪水時の流速分布や流量の計測に直接に利用することはできなかった。
【0011】
本発明はこのような従来の技術的課題に鑑みてなされたもので、ほぼリアルタイムに河川の表面流速分布を自動観測することができる流速分布計測技術を提供することを目的とする。
【0012】
本発明はまた、ほぼリアルタイムに河川流量を自動観測することができる流量計測技術を提供することを目的とする。
【0013】
【課題を解決するための手段】
請求項1の発明の流速分布計測システムは、河端に設置され、河川の表面水流を当該河川を横断するように斜め上方から撮影するビデオカメラと、前記河川の水位データを測定する水位計と、前記ビデオカメラの画像信号を伝送する画像伝送路と、前記水位計の測定した水位データを伝送する水位データ伝送路と、前記画像伝送路が伝送する画像信号と前記水位データ伝送路が伝送する水位データとを受信して入力し、これらの画像信号と水位データとを用いて前記河川の表面各部の流速分布を算定する解析装置とを備え、前記解析装置は、幾何変換のための標定条件パラメータを含み、当該装置の演算処理に必要な諸パラメータを設定登録するパラメータ設定部と、前記画像伝送路からの画像信号を受信して入力する画像信号取得部と、前記水位データ伝送路からの水位データを受信して入力する水位データ取得部と、前記水位データ取得部が受信して入力した水位データと前記幾何変換のための標定条件パラメータを演算パラメータとして用いて前記画像信号取得部が受信して入力した前記ビデオカメラからの斜め画像を垂直平面画像に幾何補正演算する幾何変換部と、前記幾何変換部の垂直平面画像を用いてPIV解析を実行し、前記河川の仮想横断線上の水面各部の流速データを算定するPIV解析部と、前記PIV解析部の算定した前記河川の仮想横断線上の水面各部の流速データを出力する出力部とを有して成るものである。
【0015】
請求項の発明の流速分布計測システムでは、ビデオカメラによって河川の表面水流を撮影し、同時に撮影時の河川の水位を検出し、これらの河川の表面水流の画像信号と水位データとを解析装置に取り込み、解析装置によって、予め設定されている標定条件パラメータと水位データを用いて、河川の表面水流の斜め画像を垂直平面画像に幾何補正し、幾何補正後の垂直平面画像に対してPIV解析を実施して河川の水面各部の流速分布を求める。これにより、観測員が河川内に入って流速を観測したりせずとも、本発明の流速分布計測システムによって観測対象河川の所定場所の表面流速分布を自動的に観測することができる。
【0016】
請求項の発明は、請求項の流速分布計測システムにおいて、前記画像伝送系に光ファイバーを用いたことを特徴とするものであり、河川の表面水流の撮影画像信号を高速に観測装置まで伝送することができ、河川の水流の撮影から表面各部の流速分布の算出結果の出力までの処理時間を短縮できる。
【0018】
請求項の発明の流速分布計測方法は、幾何変換のための標定条件パラメータを含み、解析装置の演算処理に必要な諸パラメータを設定登録するステップと、河端に設置されたビデオカメラによって河川の表面水流を当該河川を横断するように斜め上方から撮影し画像伝送路を通じて送信するステップと、水位計にて前記河川の水位データを測定し水位データ伝送路を通じて送信するステップと、前記河川の表面水流の画像信号と水位データとを受信して前記解析装置に入力するステップと、前記解析装置において、前記標定条件パラメータと受信した前記水位データを用いて、前記河川の表面水流の斜め画像を垂直平面画像に幾何補正し、幾何補正後の垂直平面画像に対してPIV解析を実施し、前記河川の仮想横断線上の水面各部の流速分布を求めるステップとを有することを特徴とするものである。
【0019】
請求項の発明の流速分布計測方法では、観測員が河川内に入って流速を観測したりせずとも、ビデオカメラ、水位計及び観測装置で構成される流速分布計測システムを用いて観測対象河川の所定場所の表面流速分布を自動観測することができる。
【0020】
請求項の発明の流速分布計測プログラムは、幾何変換のための標定条件パラメータを含み、演算処理に必要な諸パラメータを設定登録する処理と、画像伝送路を通じて送られてくる河川の表面水流の斜め画像信号を受信して入力する処理と、水位データ伝送路を通じて送られてくる水位データを受信して入力する処理と、前記標定条件パラメータと受信し入力された前記水位データを用いて、前記河川の表面水流の斜め画像を垂直平面画像に幾何補正する処理と、幾何補正後の垂直平面画像に対してPIV解析を実施し、前記河川の仮想横断線上の水面各部の流速分布を求める処理とをコンピュータに実行させることを特徴とするものである。
【0021】
請求項の発明の流速分布計測プログラムでは、これをコンピュータに実行させることによって、観測対象河川の表面水流の画像及び水位データを取り込んで、当該河川の表面流速分布をほぼリアルタイムに算定することができる。したがって、ビデオカメラ、水位計及び当該コンピュータによって流速分布計測システムを構成することができ、その流速分布計測システムを利用することによって、観測員が河川内に入って流速を観測したりせずとも、観測対象河川の所定場所の流速分布を自動観測することができる。
【0022】
請求項流量計測システムの発明は、河端に設置され、河川の表面水流を当該河川を横断するように斜め上方から撮影するビデオカメラと、前記河川の水位を測定する水位計と、前記ビデオカメラの画像信号を伝送する画像伝送路と、前記水位計の測定した水位データを伝送する水位データ伝送路と、前記画像伝送路が伝送する画像信号と前記水位データ伝送路が伝送する水位データとを受信して入力し、これらの画像信号と水位データとを用いて前記河川の流量を算定する解析装置とを備え、前記解析装置は、幾何変換のための標定条件パラメータを含み、当該装置の演算処理に必要な諸パラメータを設定登録するパラメータ設定部と、前記画像伝送路からの画像信号を受信して入力する画像信号取得部と、前記水位データ伝送路からの水位データを受信して入力する水位データ取得部と、前記水位データ取得部が受信して入力した水位データと前記標定条件パラメータを演算パラメータとして用いて前記画像信号取得部が受信して入力した前記ビデオカメラからの斜め画像を垂直平面画像に幾何補正演算する幾何変換部と、前記幾何変換部の垂直平面画像を用いてPIV解析を実行し、前記河川の仮想横断線上の各部の流速データを算定するPIV解析部と、予め登録されている河床データと平均流速算定のための更正係数、前記水位データ取得部が受信し入力した水位データ及び前記PIV解析部の求めた流速データを用いて前記仮想横断面を流れる流量を算出する流量計算部と、前記流量計算部の算出した流量を出力する出力部とを有して成ることを特徴とするものである。
【0024】
請求項の発明の流量計測システムでは、ビデオカメラによって河川の表面水流を撮影し、同時に撮影時の河川の水位を検出し、これらの河川の表面水流の画像信号と水位データとを解析装置に取り込み、解析装置によって、予め設定されている標定条件パラメータと水位データを用いて、河川の表面水流の斜め画像を垂直平面画像に幾何補正し、幾何補正後の垂直平面画像に対してPIV解析を実施して河川の仮想横断線上の各区分の表面流速分布を求め、さらに、予めパラメータとして設定されている平均流速の更正係数、河川の断面形状、水位計の計測した水位データ及び求めた河川の仮想横断線上の各区分の表面流速分布を用いて仮想横断面を流れる総流量を求める。これにより、観測員が河川内に入って流速を観測したりせずとも、本発明の流量計測システムによって観測対象河川の所定場所の流量を自動的に定点観測することができる。
【0025】
請求項の発明は、請求項の流量計測システムにおいて、前記画像伝送系に光ファイバーを用いたことを特徴とするものであり、河川の表面水流の撮影画像信号を高速に観測装置まで伝送することができ、河川水流の撮影から河川流量の算出結果の出力までの処理時間を短縮できる。
【0026】
請求項の発明は、請求項5又は6の流量計測システムにおいて、前記解析装置のパラメータ設定部は、繰返し測定周期を設定登録していて、前記ビデオカメラ、水位計及び解析装置は、前記パラメータ設定部に設定登録された繰返し測定周期毎に流量測定を実施することを特徴とするものであり、河川条件に応じて適切な計測条件を設定し、流量を連続的に計測することができる。
【0027】
請求項の発明の流量計測方法は、幾何変換のための標定条件パラメータを含み、解析装置の演算処理に必要な諸パラメータを設定登録するステップと、河端に設置されたビデオカメラによって河川の表面水流を当該河川を横断するように斜め上方から撮影し画像伝送路を通じて送信するステップと、水位計にて前記河川の水位データを測定し水位データ伝送路を通じて送信するステップと、前記河川の表面水流の画像信号と水位データとを受信して前記解析装置に入力するステップと、前記解析装置において、前記標定条件パラメータと受信した前記水位データを用いて、前記河川の表面水流の斜め画像を垂直平面画像に幾何補正し、幾何補正後の垂直平面画像に対してPIV解析を実施し、前記河川の仮想横断線上の各区分の表面流速分布を求め、予め設定されている前記各区分の平均流速の更正係数、前記河川の各区分の標準水深、前記水位データ及び前記河川の仮想横断線上の各区分の幅及び各区分の表面流速分布を用いて仮想横断面を流れる流量を求めるステップとを有することを特徴とするものである。
【0028】
請求項の発明の流量計測方法では、観測員が河川内に入って流速を観測したりせずとも、ビデオカメラ、水位計及び観測装置で構成される流量計測システムを用いて観測対象河川の所定場所の流量を自動的に定点観測することができる。
【0029】
請求項の発明の流量計測プログラムは、これをコンピュータに実行させることにより、幾何変換のための標定条件パラメータを含み、演算処理に必要な諸パラメータを設定登録する処理と、画像伝送路を通じて送られてくる河川の表面水流の斜め画像信号を受信して入力する処理と、水位データ伝送路を通じて送られてくる水位データを受信して入力する処理と、前記標定条件パラメータと受信し入力された前記水位データを用いて、前記河川の表面水流の斜め画像を垂直平面画像に幾何補正する処理と、幾何補正後の垂直平面画像に対してPIV解析を実施し、前記河川の仮想横断線上の各区分の表面流速分布を求める処理と、予め設定されている前記各区分の平均流速の更正係数、前記河川の各区分の標準水深、前記水位データ及び前記河川の仮想横断線上の各区分の幅及び各区分の表面流速分布を用いて仮想横断面を流れる流量を求める処理とを実行することを特徴とするものである。
【0030】
請求項の発明の流量計測プログラムでは、これをコンピュータに実行させることによって、観測対象河川の表面水流の画像及び水位データを取り込んで、当該河川の流量をほぼリアルタイムに算定することができる。したがって、ビデオカメラ、水位計及び当該コンピュータによって流量計測システムを構成することができ、その流量計測システムを利用することによって、観測員が河川内に入って流速を観測したりせずとも、観測対象河川の所定場所の流量を自動的に定点観測することができる。
【0031】
【発明の実施の形態】
以下、本発明の実施の形態を図に基づいて詳説する。図1は、本発明の1つの実施の形態の流速分布・流量計測システムのハードウェア構成を示している。本実施の形態の流速分布・流量計測システムは、観測対象となる渓流、河川の河岸に設置したビデオカメラ1A,1Bと、川中に設置した水位計2と、遠隔観測所あるいは河川等の近隣に設置した観測ハウス内に設置した解析装置3と、ビデオカメラ1A,1Bの画像信号、水位計2の水位信号それぞれを解析装置3まで伝送する伝送路4,5から構成される。なお、以下では、本実施の形態の流速分布・流量計測システムを観測対象として河川に設置し、流量計測を行う場合について説明するが、本システムは河川の構造物の周辺等の所定場所の表面流速分布を計測するためにも用いることができるものである。
【0032】
ビデオカメラ1A,1Bは観測対象となる河川等の川幅により一方の河岸に1台だけ、若しくは両岸それぞれに1台ずつ設置し、その俯角を適度に設定することにより、観測対象となる河川等を横断する仮想横断線6の全長を撮影する。ビデオカメラ1A,1Bが撮影した画像信号はNTSC方式の信号にして解析装置3に入力する。
【0033】
水位計2は、超音波式、圧力式、電波式、フロート式等、入手可能ないずれの測定方式のものであってもよい。水位計2からの信号はBCD信号であり、解析装置3に対してデジタル水位データとして入力される。
【0034】
伝送路4,5は別ケーブルであっても、多心ケーブルであってもよい。また後述するように光ファイバーケーブルであってもよい。
【0035】
解析装置3は、図2に示すハードウェア構成を有するコンピュータである。この解析装置には信号入力処理手段として、ビデオカメラ1A,1Bから伝送路4を経て送られてくるNTSC方式の画像信号を受信し、デジタル信号に変換して入力するための画像入力ボード31と、水位計2から伝送路5を経て送られてくる水位データを受信し、入力するデジタルIOボード32とが装着してある。解析装置3にはまた、ヒューマンマシンインタフェース(HMI)としてディスプレイ33、キーボード34、マウスその他のポインティングデバイス35が接続してある。解析用コンピュータ30はまた、プログラムやデータ記憶のためのハードディスク36、また画像データを保存し、持ち運べるようにするためのCD/DVD−R,CD/DVD−RWあるいはDVD−RAM,DVD+RW等、書込み可能なディスク型記憶装置37を備えている。
【0036】
解析装置3の機能構成は、図3に示すものであり、組み込まれている流速分布・流量解析プログラムを実行することによりその機能が発揮される。解析装置3は処理機能部として、当該装置の演算処理に必要な諸パラメータを設定登録するパラメータ設定部311と、ビデオカメラ1A,1Bの撮影した画像信号を取り込み、保持する画像信号取得部312と、水位計2の計測した水位データを取り込み、保持する水位データ取得部313と、画像信号と水位データとを用い、ビデオカメラ1A,1Bの撮影した河川の斜め画像を垂直平面画像に幾何補正する幾何変換部314と、幾何変換部314の求めた垂直平面画像を用いてPIV解析を実行し、河川の仮想横断線上の各区分の流速データを算定するPIV解析部315と、パラメータ設定部3111に予め登録されている河床データと平均流速算定のための更正係数、水位データ取得部313の取り込んだ水位データ及びPIV解析部315の求めた流速データを用いて河川の仮想横断面を流れる流量を算出する流量計算部316と、計算結果を出力する出力部317とを有している。
【0037】
次に、上記構成の流速分布・流量計測システムによる流量計測方法について、図4及び図5のフローチャートを用いて説明する。本実施の形態の流速分布・流量計測システムによる流量計測は、(1)パラメータ設定、(2)観測実行(画像及び水位データの入力、幾何変換、PIV解析、流量計算)、(3)計測結果出力の3段階に区分される。
【0038】
(1)パラメータ設定:図4のフローチャートにおけるパラメータ設定では、観測間隔や1回当たりの観測時間、画像キャプチャのタイミング設定、幾何補正のための標定条件の設定、計測エリアや計測ポイントの設定、河川断面の設定、表面流速から平均流速を求めるための更正係数の設定を行う(ステップS1)。
【0039】
観測間隔としては例えば、10分〜20分間隔とし、1回当たりの観測時間は例えば、10〜20秒に設定する。また幾何補正のための標定条件としては、カメラの設置高さ(標準水位からのもの)、角度等を入力する。河川断面については標準水位からの水深として所定区分毎の水深を設定する。また、表面流速から平均流速を求めるための更正係数は、一定値を設定する。例えば、表面流速×0.85を平均流速とするのである。なお、この更正係数については、本システムが定点観測システムであるので、長期の使用においてより実情に即する値に修正することができる。また、更正係数の設定は、水深段階に応じて、あるいは水深段階と表面流速段階との組合せに応じて設定することもできる。さらには、新しく実験によってより厳密な値が提案された場合にその値に修正設定することもできる。
【0040】
図5は、パラメータである幾何補正値の設定作業手順を示したものである。幾何補正値をパラメータ設定部311に設定登録するには、本システムの設置現場において、ビデオカメラ1A,1Bによって撮影できる位置に標識を設置し(ステップS101)、解析装置3には相応しい幾何補正用のパラメータを設定し(ステップS103)、本システム3による予備観測を実行する(ステップS105)。この観測処理については、本観測の説明として後述する。
【0041】
そして予備観測で撮影した標識の画像に対して、予め設定したパラメータを用いて幾何変換を実施し、得られた結果を既知点と照らして観測精度を確認する(ステップS107,S109)。そして、幾何補正用のパラメータの設定を終了し、実観測に移行する(ステップS111)。
【0042】
(2)観測実行:ビデオカメラ1A,1Bは24時間連続的に動作し、図6に示したように観測対象河川の仮想横断線6に沿った領域の表面水流を撮影し、NTSC方式の画像信号を伝送路4を通じて常時、解析装置3の画像入力ボード31まで送信している。同様に、水位計2も24時間連続的に動作し、河川の仮想横断線6の近隣の水位を計測してBCD信号にして伝送路5を通じてデジタルIOボード32まで送信している。
【0043】
そこで、解析装置3は、タイマ管理している観測間隔の到来毎に、1回当たりの観測時間分の画像を画像入力ボード31によってキャプチャし、同時にその観測開始時点での水位データをデジタルIOボード32で取り込む(ステップS3,S5,S7)。例えば、1回の観測で20秒間の画像をキャプチャする場合には、30フレーム/秒で、30×20=600フレームとなる。
【0044】
解析装置3は、画像と水位データを取得した後、斜め画像を垂直平面画像に幾何補正するために幾何変換処理を行う(ステップS9)。ビデオカメラを河川の川幅の中央上方に設置することは現実的ではなく、河岸や河岸近くの建造物上に設置するため、河川の表面水流の画像は斜め画像となり、カメラからの近点に比べて遠点側の画像が広がる特性がある。そこで、この斜め画像を垂直平面画像に補正するために実施されるのが幾何変換である。
【0045】
この幾何変換処理には、前掲した論文に記載された技術を利用するが、画像変換に必要なパラメータとしては、パラメータ設定時に入力したカメラの高さ、角度、そして水面からのカメラ高さを求めるために水位データも用いる。この幾何変換処理は、上記の1観測期間にキャプチャした画像フレーム数分実行する。
【0046】
次に、幾何変換した画像に対して、PIV解析を実施して仮想横断線6上の各区分毎の表面流速を算出する(ステップS11)。
【0047】
このPIV解析手法も、前述の論文等に記載されたものであり、ビデオ画像をキャプチャし、さらに幾何補正した1観測時間分の画像フレーム(複数)において、仮想横断線上の所定ピクセル数の区画毎の画像について、それに続く各フレームで同一パターンの区画の移動を追跡し、各区画毎に先のフレーム上の位置座標から後のフレーム上の位置までの移動距離を求め、その移動に要した時間で割ることによって移動速度を算定し、各区画毎の表面流速とするのである。このようにして算出した仮想横断線6上の各区画毎の表面流速データは、記憶装置36に逐次保存していく。図7は実機で求めた表面流速分布を示している。
【0048】
なお、PIV解析により得られる表面流速分布のベクトル群は必ずしも仮想横断線6に垂直な方向ではなく、区分によって仮想横断線6に対して斜めに交差する方向を向く場合が多い。そこで、PIV解析で求める流速の区分を流量算出に用いる区分よりも細かく設定し、流量算出の対象となる区分毎の流速としては、ベクトル和の仮想横断線6に垂直な方向のベクトル成分を求めて流量計算に用いることにより、精度の高い流速ベクトルが得られることになる。
【0049】
図8に示すように、PIV解析の後には、パラメータとして予め設定されている河川断面データと水位計2からの水位データとから仮想横断面の各区分毎の水深L1,L2,…を求め、該当区画の表面流速V1,V2,…に対して更正係数δを掛けることによって平均流速δV1,δV2,…を求め、各区分毎の面積S1,S2,…と平均流速δV1,δV2,…を掛け合わせて区分流量q1,q2,…を求める。そしてこの区間流量q1,q2,…を合計することによって河川の仮想横断面の総流量Qを求める(ステップS13)。
【0050】
求めた総流量Qは、前述の区画毎の表面流速V1,V2,…と共に記憶装置36に保存する(ステップS15)。
【0051】
このようにして得られた河川の流量データは、解析装置3においてディスプレイ33への出力設定がされてるならばデスプレイ33に所定の表示形態で表示出力する(ステップS17,S19)。ディスプレイ33に対する表示形式には、例えば、図9に示すような流速分布の解析結果の数値テーブル、図10に示すようなキャプチャー途中の画像の表示、図7に示すような河川の表面流速分布のベクトル表示がある。
【0052】
このようにして、所定周期毎に画像信号を一定時間ずつキャプチャし、水位計2の水位データも取り込み、予め設定登録されている諸パラメータとこれらの画像データ及び水位データを用いて、幾何変換、PIV解析及び流量計算を繰り返し実行し、得られた河川の所定周期毎の流量データを記憶装置36に逐次保存し、また出力要求がある場合にはディスプレイ33に表示する動作を繰り返す(ステップS21)。
【0053】
このようにして、第1の実施の形態の流速分布・流量計測システムによれば、台風や大雨、融雪等のために増水した河川の流量監視を自動化することができる。また、既知点の予備観測の実施によって幾何補正用のパラメータを最適なものに設定し、また定点観測を長期間にわたり継続的に行い、その間の取得データを用いてパラメータ設定をより現実のものに修正することができ、これにより、精度の高い流量データが取得でき、洪水の発生しやすい水域の洪水対策に有効に利用できるようになる。
【0054】
また、河川の手前側と向う側との両方の河岸にビデオカメラ1A,1Bを設置して川幅のほぼ半分ずつを撮影するようにしているので、それぞれのビデオカメラの俯角を大きくとることができ、精度の高い観測が期待できる。
【0055】
次に、図11を用いて、本発明の第2の実施の形態の流速分布・流量計測システムについて説明する。図1に示した第1の実施の形態の流速分布・流量計測システムでは、ビデオカメラ1A,1Bを河川の両岸それぞれに設置し、川幅のほぼ半分ずつの表面水流を撮影するようにしたが、第2の実施の形態の流速分布・流量計測システムは、ビデオカメラ1A,1Bを河川の一方の河岸に高さを異ならせて設置し、例えば低い位置に設置されたビデオカメラ1Aでは河川の手前側半分の表面水流を撮影し、高い位置に設置されたビデオカメラ1Bでは同じ河川の向こう側半分の表面水流を撮影する設定にしたこと、また伝送系に光ファイバー40を用いたことを特徴とする。なお、解析装置3のハードウェア構成及び機能構成は図2に示した第1の実施の形態のものと同様である。
【0056】
この第2の実施の形態のシステム構成にすれば、ビデオカメラ1A,1Bを同じ河岸に設置し、観測小屋内まで画像信号ケーブルと水位計の水位データケーブルを引いて来れるので、第1の実施の形態のシステムよりもケーブル長が短くできる利点があり、また光ファイバー40を利用することによって大容量の画像信号の高速伝送が可能であり、河川水流の撮影から河川流量の算出結果の出力までの処理時間を短縮できる。
【0057】
なお、光ファイバー40を伝送系に利用する技術は、図1に示した第1の実施の形態においても適用可能である。
【0058】
また第1、第2の実施の形態において観測装置3を構成するコンピュータシステムのハードウェア構成は特に図示のものに限定されるものでなく、ノートブックタイプ、デスクトップタイプのコンピュータに必要な周辺装置を接続し、またソフトウェアをインストールすることによって観測装置3を構成することができる。
【0059】
さらに、上記の両実施の形態の流速分布・流量計測システムは、リアルタイムな河川の流量観測だけではなく、河川に対して、ビデオカメラ1A,1Bの撮影範囲内の表面流速分布を求め、出力するために用いることもできる。例えば、河川において、橋桁等の構造物の周囲での水流を観測したり、ダムの水門近傍の水流を観測したりするために用いることができる。
【0060】
そしてこの流速分布観測の場合には、本流速分布・流量計測システムは流量演算をすることなく、PIV解析結果をベクトル図にして表示し、また印刷出力することになる。図12は、本実施の形態の流速分布・流量計測システムによる表面流速分布の計測結果を示している。
【0061】
なお、流速分布計測だけの単機能システムを構築するのであれば、流量計算部316は省略し、システム構成をより単純化して製品コストを低くすることができる。
【0062】
【発明の効果】
以上のように、請求項1及び2の発明の流速分布計測システムによれば、観測員が河川内に入って流速を観測したりせずとも、本発明の流速分布計測システムによって観測対象河川の所定場所の表面流速分布を自動的に観測することができる。
【0063】
請求項3の発明の流速分布計測システムによれば、河川の表面水流の撮影画像信号を光ファイバーによって高速に観測装置まで伝送することができ、河川の水流の撮影から表面各部の流速分布の算出結果の出力までの処理時間を短縮できる。
【0064】
請求項4の発明の流速分布計測システムによれば、予備観測において既知点を観測して幾何補正し、既知点との照合によって補正パラメータを設定することができ、流速分布計測の高精度化が図れる。
【0065】
請求項5の発明の流速分布計測方法によれば、観測員が河川内に入って流速を観測したりせずとも、ビデオカメラ、水位計及び観測装置で構成される流速分布計測システムを用いて観測対象河川の所定場所の表面流速分布を自動観測することができる。
【0066】
請求項6の発明の流速分布計測プログラムによれば、これをコンピュータに実行させることによって、観測対象河川の表面水流の画像及び水位データを取り込んで、当該河川の表面流速分布をほぼリアルタイムに算定することができ、したがって、ビデオカメラ、水位計及び当該コンピュータによって流速分布計測システムを構成することができ、その流速分布計測システムを利用することによって、観測員が河川内に入って流速を観測したりせずとも、観測対象河川の所定場所の流速分布を自動観測することができる。
【0067】
請求項7及び8の発明の流量計測システムによれば、観測員が河川内に入って流速を観測したりせずとも、観測対象河川の所定場所の流量を自動的に定点観測することができる。
【0068】
また、請求項9の発明の流量計測システムによれば、河川の表面水流の撮影画像信号を光ファイバーを用いて高速に観測装置まで伝送することができ、河川水流の撮影から河川流量の算出結果の出力までの処理時間を短縮できる。
【0069】
請求項10の発明の流量計測システムによれば、河川条件に応じて適切な計測条件を設定し、流量を連続的に計測することができる。
【0070】
請求項11の発明の流量計測方法によれば、観測員が河川内に入って流速を観測したりせずとも、ビデオカメラ、水位計及び観測装置で構成される流量計測システムを用いて観測対象河川の所定場所の流量を自動的に定点観測することができる。
【0071】
請求項12の発明の流量計測プログラムによれば、これをコンピュータに実行させることによって、観測対象河川の表面水流の画像及び水位データを取り込んで、当該河川の流量をほぼリアルタイムに算定することができ、したがって、ビデオカメラ、水位計及び当該コンピュータによって流量計測システムを構成することができ、その流量計測システムを利用することによって、観測員が河川内に入って流速を観測したりせずとも、観測対象河川の所定場所の流量を自動的に定点観測することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態の流速分布・流量計測システムのハードウェア構成のブロック図。
【図2】上記の実施の形態の流速分布・流量計測システムにおける観測装置のハードウェア構成のブロック図。
【図3】上記の実施の形態の流速分布・流量計測システムにおける観測装置の機能構成のブロック図。
【図4】上記の実施の形態の流速分布・流量計測システムによる流速分布・流量計測処理のフローチャート。
【図5】上記の実施の形態の流速分布・流量計測システムによる実観測前のパラメータ設定作業手順を示すフローチャート。
【図6】上記の実施の形態の流速分布・流量計測システムにより観測する河川の映像図。
【図7】上記の実施の形態の流速分布・流量計測システムにより計測した河川の表面流速分布図。
【図8】上記の実施の形態の流速分布・流量計測システムにより観測する河川の仮想横断面図。
【図9】上記の実施の形態の流速分布・流量計測システムにより計測した河川の表面流速分布の数値テーブル。
【図10】上記の実施の形態の流速分布・流量計測システムにおいて観測装置がビデオカメラから取り込んだ画像を示す画面表示図。
【図11】本発明の第2の実施の形態の流速分布・流量計測システムのハードウェア構成のブロック図。
【図12】上記の第1の実施の形態の流速分布・流量計測システムにより計測した平面流速分布の出力図。
【符号の説明】
1A,1B ビデオカメラ
2 水位計
3 観測装置
4 伝送路
5 伝送路
6 仮想横断線
31 画像入力ボード
32 デジタルIOボード
33 ディスプレイ
34 キーボード
35 マウス
36 ハードディスク記憶装置
37 ディスク型記憶装置
311 パラメータ設定部
312 画像信号取得部
313 水位データ取得部
314 幾何変換部
315 PIV解析部
316 流量計算部
317 出力部

Claims (9)

  1. 河端に設置され、河川の表面水流を当該河川を横断するように斜め上方から撮影するビデオカメラと、
    前記河川の水位データを測定する水位計と、
    前記ビデオカメラの画像信号を伝送する画像伝送路と、
    前記水位計の測定した水位データを伝送する水位データ伝送路と、
    前記画像伝送路が伝送する画像信号と前記水位データ伝送路が伝送する水位データとを受信して入力し、これらの画像信号と水位データとを用いて前記河川の表面各部の流速分布を算定する解析装置とを備え
    前記解析装置は、
    幾何変換のための標定条件パラメータを含み、当該装置の演算処理に必要な諸パラメータを設定登録するパラメータ設定部と、前記画像伝送路からの画像信号を受信して入力する画像信号取得部と、前記水位データ伝送路からの水位データを受信して入力する水位データ取得部と、前記水位データ取得部が受信して入力した水位データと前記幾何変換のための標定条件パラメータを演算パラメータとして用いて前記画像信号取得部が受信して入力した前記ビデオカメラからの斜め画像を垂直平面画像に幾何補正演算する幾何変換部と、前記幾何変換部の垂直平面画像を用いてPIV解析を実行し、前記河川の仮想横断線上の水面各部の流速データを算定するPIV解析部と、前記PIV解析部の算定した前記河川の仮想横断線上の水面各部の流速データを出力する出力部とを有して成ることを特徴とする流速分布計測システム。
  2. 前記画像伝送系に光ファイバーを用いたことを特徴とする請求項1に記載の流速分布計測システム。
  3. 幾何変換のための標定条件パラメータを含み、解析装置の演算処理に必要な諸パラメータを設定登録するステップと、
    河端に設置されたビデオカメラによって河川の表面水流を当該河川を横断するように斜め上方から撮影し画像伝送路を通じて送信するステップと、
    水位計にて前記河川の水位データを測定し水位データ伝送路を通じて送信するステップと、
    前記河川の表面水流の画像信号と水位データとを受信して前記解析装置に入力するステップと、
    前記解析装置において、前記標定条件パラメータと受信した前記水位データを用いて、前記河川の表面水流の斜め画像を垂直平面画像に幾何補正し、幾何補正後の垂直平面画像に対してPIV解析を実施し、前記河川の仮想横断線上の水面各部の流速分布を求めるステップとを有することを特徴とする流速分布計測方法。
  4. 幾何変換のための標定条件パラメータを含み、演算処理に必要な諸パラメータを設定登録する処理と、
    画像伝送路を通じて送られてくる河川の表面水流の斜め画像信号を受信して入力する処理と、
    水位データ伝送路を通じて送られてくる水位データを受信して入力する処理と、
    前記標定条件パラメータと受信し入力された前記水位データを用いて、前記河川の表面水流の斜め画像を垂直平面画像に幾何補正する処理と、
    幾何補正後の垂直平面画像に対してPIV解析を実施し、前記河川の仮想横断線上の水面各部の流速分布を求める処理とをコンピュータに実行させることを特徴とする流速分布計測プログラム。
  5. 河端に設置され、河川の表面水流を当該河川を横断するように斜め上方から撮影するビデオカメラと、
    前記河川の水位を測定する水位計と、
    前記ビデオカメラの画像信号を伝送する画像伝送路と、
    前記水位計の測定した水位データを伝送する水位データ伝送路と、
    前記画像伝送路が伝送する画像信号と前記水位データ伝送路が伝送する水位データとを受信して入力し、これらの画像信号と水位データとを用いて前記河川の流量を算定する解析装置とを備え
    前記解析装置は、
    幾何変換のための標定条件パラメータを含み、当該装置の演算処理に必要な諸パラメータを設定登録するパラメータ設定部と、
    前記画像伝送路からの画像信号を受信して入力する画像信号取得部と、
    前記水位データ伝送路からの水位データを受信して入力する水位データ取得部と、
    前記水位データ取得部が受信して入力した水位データと前記幾何変換のための標定条件パラメータを演算パラメータとして用いて前記画像信号取得部が受信して入力した前記ビデオカメラからの斜め画像を垂直平面画像に幾何補正演算する幾何変換部と、
    前記幾何変換部の垂直平面画像を用いてPIV解析を実行し、前記河川の仮想横断線上の各部の流速データを算定するPIV解析部と、
    予め登録されている河床データと平均流速算定のための更正係数、前記水位データ取得部が受信し入力した水位データ及び前記PIV解析部の求めた流速データを用いて前記仮想横断面を流れる流量を算出する流量計算部と、
    前記流量計算部の算出した流量を出力する出力部とを有して成ることを特徴とする流量計測システム。
  6. 前記画像伝送系に光ファイバーを用いたことを特徴とする請求項5に記載の流量計測システム。
  7. 前記解析装置のパラメータ設定部は、繰返し測定周期を設定登録していて、前記ビデオカメラ、水位計及び解析装置は、前記パラメータ設定部に設定登録された繰返し測定周期毎に流量測定を実施することを特徴とする請求項5又は6に記載の流量計測システム。
  8. 幾何変換のための標定条件パラメータを含み、解析装置の演算処理に必要な諸パラメータを設定登録するステップと、
    河端に設置されたビデオカメラによって河川の表面水流を当該河川を横断するように斜め上方から撮影し画像伝送路を通じて送信するステップと、
    水位計にて前記河川の水位データを測定し水位データ伝送路を通じて送信するステップと、
    前記河川の表面水流の画像信号と水位データとを受信して前記解析装置に入力するステップと、
    前記解析装置において、前記標定条件パラメータと受信した前記水位データを用いて、前記河川の表面水流の斜め画像を垂直平面画像に幾何補正し、幾何補正後の垂直平面画像に対してPIV解析を実施し、前記河川の仮想横断線上の各区分の表面流速分布を求め、予め設定されている前記各区分の平均流速の更正係数、前記河川の各区分の標準水深、前記水位データ及び前記河川の仮想横断線上の各区分の幅及び各区分の表面流速分布を用いて仮想横断面を流れる流量を求めるステップとを有することを特徴とする流量計測方法。
  9. 幾何変換のための標定条件パラメータを含み、演算処理に必要な諸パラメータを設定登録する処理と、
    画像伝送路を通じて送られてくる河川の表面水流の斜め画像信号を受信して入力する処理と、
    水位データ伝送路を通じて送られてくる水位データを受信して入力する処理と、
    前記標定条件パラメータと受信し入力された前記水位データを用いて、前記河川の表面水流の斜め画像を垂直平面画像に幾何補正する処理と、
    幾何補正後の垂直平面画像に対してPIV解析を実施し、前記河川の仮想横断線上の各区分の表面流速分布を求める処理と、
    予め設定されている前記各区分の平均流速の更正係数、前記河川の各区分の標準水深、前記水位データ及び前記河川の仮想横断線上の各区分の幅及び各区分の表面流速分布を用いて仮想横断面を流れる流量を求める処理とをコンピュータに実行させることを特徴とする流量計測プログラム。
JP2002279605A 2002-09-25 2002-09-25 流速分布計測システム、流速分布計測方法、流速分布計測プログラム、流量計測システム、流量計測方法及び流量計測プログラム Expired - Fee Related JP4025161B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002279605A JP4025161B2 (ja) 2002-09-25 2002-09-25 流速分布計測システム、流速分布計測方法、流速分布計測プログラム、流量計測システム、流量計測方法及び流量計測プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002279605A JP4025161B2 (ja) 2002-09-25 2002-09-25 流速分布計測システム、流速分布計測方法、流速分布計測プログラム、流量計測システム、流量計測方法及び流量計測プログラム

Publications (2)

Publication Number Publication Date
JP2004117119A JP2004117119A (ja) 2004-04-15
JP4025161B2 true JP4025161B2 (ja) 2007-12-19

Family

ID=32274554

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002279605A Expired - Fee Related JP4025161B2 (ja) 2002-09-25 2002-09-25 流速分布計測システム、流速分布計測方法、流速分布計測プログラム、流量計測システム、流量計測方法及び流量計測プログラム

Country Status (1)

Country Link
JP (1) JP4025161B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021189029A (ja) * 2020-05-29 2021-12-13 株式会社ハイドロ総合技術研究所 河川水流測定装置、該方法および該プログラムならびに記録媒体

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006258575A (ja) * 2005-03-16 2006-09-28 Takuwa Corp 河川流速計測方法、河川流量計測方法、河川流速計測システム、及び河川流量計測システム
JP5318328B2 (ja) * 2006-02-10 2013-10-16 三菱電機株式会社 流速計測装置
KR100817907B1 (ko) * 2006-07-27 2008-03-31 명지대학교 산학협력단 표면 영상 분석에 의한 하천의 표면 유속 측정 방법
JP5035606B2 (ja) * 2007-03-02 2012-09-26 東京電力株式会社 河川流量算出装置、河川流量算出方法およびコンピュータプログラム
DE102007041717A1 (de) * 2007-09-04 2009-03-05 Kölling, Christian, Dr.-Ing. Verfahren und Vorrichtung zur Bestimmung der Oberflächengeschwindigkeiten und der Durchflussmenge von Flüssigkeiten in Rohrleitungen, offenen oder geschlossenen Kanälen und Gewässern
CN104730286B (zh) * 2015-03-17 2017-08-25 北京理工大学 一种基于piv的通气空穴内部粒子撒布装置
CN107389139B (zh) * 2017-08-03 2023-01-24 尤立荣 微流量视觉测量装置及视觉测量方法
CN109489637B (zh) * 2018-11-08 2019-10-18 清华大学 水量变化监测方法、装置、计算机设备和存储介质
CN110530441B (zh) * 2019-08-21 2020-11-03 河海大学 一种全天候在线视频测流系统
CN113124941B (zh) * 2021-04-01 2022-10-21 长江水利委员会长江科学院 一种河道流量非接触式测量及精确计算方法
CN113295220A (zh) * 2021-05-21 2021-08-24 南京元和安全科技有限公司 一种测量量水堰含沙量的装置和方法
CN114441135B (zh) * 2022-01-28 2023-11-17 福建农林大学 一种测量坡面薄层水流深度的试验装置及其工作方法
CN114838709B (zh) * 2022-03-09 2023-01-24 广州翰南工程技术有限公司 一种尾矿库干滩长度自动化监测方法
CN117236573B (zh) * 2023-11-15 2024-04-12 广东广宇科技发展有限公司 一种基于河湖监测的河湖区域划分管理方法、系统及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021189029A (ja) * 2020-05-29 2021-12-13 株式会社ハイドロ総合技術研究所 河川水流測定装置、該方法および該プログラムならびに記録媒体

Also Published As

Publication number Publication date
JP2004117119A (ja) 2004-04-15

Similar Documents

Publication Publication Date Title
JP4025161B2 (ja) 流速分布計測システム、流速分布計測方法、流速分布計測プログラム、流量計測システム、流量計測方法及び流量計測プログラム
US11200684B2 (en) Apparatus and method for measuring flow velocity of stream using optical flow image processing
CN111798386B (zh) 一种基于边缘识别与最大序列密度估计的河道流速测量方法
KR101512690B1 (ko) 영상 처리를 이용한 표면 유속 측정 방법 및 휴대용 측정 장치
JP2008058264A (ja) 実河川を対象とした流速観測装置、流速観測方法,および流速観測プログラム
JP2013007624A (ja) 変位観測方法および変位観測システム
EP3748283A1 (en) Repair length determination method and repair length determination device
JP2006258575A (ja) 河川流速計測方法、河川流量計測方法、河川流速計測システム、及び河川流量計測システム
CN107631782A (zh) 一种基于Harris角点检测的水位检测方法
KR101793264B1 (ko) 균열의 발생 및 진행 분석 방법
KR101793262B1 (ko) 균열의 발생 및 진행 분석 시스템
CN113902725A (zh) 坍落度的测量方法、装置、设备及存储介质
CN113884011A (zh) 一种非接触式混凝土表观裂缝测量设备和方法
JP4574657B2 (ja) 水流の測定方法及び装置
CN105571572A (zh) 一种天空可视域的标准测量方法
Liu et al. Development of a three-axis accelerometer and large-scale particle image velocimetry (LSPIV) to enhance surface velocity measurements in rivers
CN110187142A (zh) 流速监测方法和系统
Li et al. Rotating box multi-objective visual tracking algorithm for vibration displacement measurement of large-span flexible bridges
JP7372616B2 (ja) 石礫検出システム、石礫検出方法及びプログラム
KR20060018910A (ko) 구조물 감시, 진단을 위한 이미지 프로세싱에 기반한구조물의 정적영상변위계측시스템
Zhao et al. Intelligent segmentation method for blurred cracks and 3D mapping of width nephograms in concrete dams using UAV photogrammetry
CN111445513A (zh) 基于深度图像的植株冠层体积获取方法、装置、计算机设备和存储介质
JP3686072B2 (ja) 標定方法及び標定プログラム
CN105046703A (zh) 一种图像解析大气能见度方法
JP3701859B2 (ja) 河川観測システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040507

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20040902

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20041108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050304

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050715

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050808

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20050826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071004

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101012

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101012

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111012

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111012

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121012

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131012

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees