JP6442641B2 - 水位計測システム及び水位計測方法 - Google Patents

Description

本発明は、水位計測システム及び水位計測方法に係り、特に、画像処理技術を用いた水位計測システム及び水位計測方法に関する。

一般的に用いられている水位計測方法として、水位計を使用する方法と画像処理で計測する２つの手法がある。水位計を用いる手法では、水中に設置した検出器が計測した圧力を中継器経由で計測盤に伝送し計算することで、高精度に水位を計測することができる。画像処理で計測する手法は、水位計を用いる手法に替わる技術として、各種の技術が提案されている（例えば、特許文献１参照）。図２は、画像処理による水位計測の概要を示す図である。河川ＲＶ側に設定された監視カメラ５００は、構造物ＯＢを含むように河川ＲＶの所定エリアＣＡを撮影する。画像処理を用いた計測手法では、監視カメラ５００の映像Ｂ０から水面Ｗとの境界ＷＬを画像処理によって検出することで水位を計測する。

防災システムでは、例えばこれらの手法によって河川の水位を常時計測し危険水位に達したと判断した場合、監視センターにアラーム通知を行い、通知を受けた監視センターが近隣の住民に避難指示を出すシステムが構築されている。

特開２００８−０５７９９４号

ところで、上述した２つの水位計測手法には、それぞれの課題がある。まず、水位計を使用する手法は、既に河川監視に導入されているが、大きく２つの課題がある。１つ目は、設置台数が少ないため河川の上流から下流にかけての細かい水位変動を観測することができない点である。そして、監視カメラと水位計の位置が離れていると、カメラに映る水位と水位計の計測値に誤差が発生する。この課題に関しては、水位計を増設することで解決することが可能だが、増設費用と保守費用が膨大となることが予測され、現実的ではない。２つ目は、監視員が水位計の計測値のみを確認する場合、現在の計測値のとき河川がどのような状況になっているのかをイメージしにくい点である。これにより、正確な判断ができず避難指示が遅れてしまうことが懸念される。

１つ目の課題は、既設の監視カメラを利用することで解決することができる。それは、国土交通省が管理する主要な河川には、短い間隔で監視カメラが設置されている場合が多いためである。このカメラ映像から水位計測が実現できれば、河川の詳細な水位変動を観測でき、機器の増設費用も最小限に抑えることができる。２つ目の課題は、カメラ映像上に現在の水位を描画することで解決できる。映像中に水位線が描画されることで視覚的に危険な状況を判断しやすくなり、迅速な避難指示が可能となる。これらのメリットから既設の監視カメラを利用した画像処理による水位計測の需要が高まっている。

しかし、画像処理による水位計測では、初期設定と計測精度に課題がある。まず、初期設定の課題は、画像処理を精度よく実施するには専門家による画角の設定が必要な点である。これは、導入時の作業工数が増える点と導入後に気軽に画角変更ができないというデメリットがある。そして、計測精度の課題は、計測対象エリアの環境により精度が低下する場合がある点である。精度が低下するのは、正確に水面を検出できない場合と水流以外の動きが悪影響を及ぼす場合である。画像処理による水位計測は水面と水面上部の橋脚等との境界線を見つけることで実現するため、正確に水面を検出できないと精度低下に繋がる。図２に、水面Ｗへの構造物ＯＢの映り込みＲがある画像Ｂ１の例を示す。水面Ｗに橋脚等の構造物ＯＢが写り込んでしまうと、水面Ｗをその構造物ＯＢと判断してしまう場合がある。これらことから、画像処理を用いて水位計測する新しい技術が求められていた。

本発明は、このような従来の事情に鑑みなされたもので、上記課題を解決することを目的とする。

本発明の水位計測システムは、水面と構造物とが写った画像を取得し、動き情報を算出するフロー処理部と、前記動き情報をもとに、グラフカット理論に基づき前記水面の領域を特定するグラフカット処理部と、前記水面の領域と他の領域との境界をもとに水位を算出する水位算出部と、を備える。
また、前記フロー処理部は、前記動き情報から水流フローを抽出し、前記グラフカット処理部は、抽出された前記水流フローをオブジェクト領域、フローのない領域を背景領域として自動でラベルづけすることにより前記水面の領域を抽出してもよい。
また、前記グラフカット処理部が特定した前記水面の領域と他の領域との境界付近のエッジを抽出し、抽出されたエッジから所定の特徴を満たすエッジを前記水位を算出するための境界とするエッジ抽出部を備えてもよい。
また、前記水面と前記構造物とが写った前記画像を撮影するカメラの画角を、画面上に表示される十字バーを操作し設定する設定部を備えてもよい。
本発明は、画像処理技術を用いて河川の水位を計測する水位計測方法であって、水面と構造物とが写った画像を取得し、動き情報（動きベクトル）を算出するフロー処理工程と、前記動き情報をもとに、グラフカット理論に基づき前記水面の領域を特定するグラフカット処理工程と、前記水面の領域と他の領域との境界をもとに水位を算出する水位算出工程と、を備える。
また、前記フロー処理工程は、前記動き情報から水流フローを抽出し、前記グラフカット処理工程は、抽出された前記水流フローをオブジェクト領域、フローのない領域を背景領域として自動でラベルづけすることにより前記水面の領域を抽出してもよい。
また、前記グラフカット処理工程が特定した前記水面の領域と他の領域との境界付近のエッジを抽出し、抽出されたエッジから所定の特徴を満たすエッジを前記水位を算出するための境界とするエッジ抽出工程を備えてもよい。

以上、本発明によると、動き情報（動きベクトル）に基づくグラフカット理論による画像処理技術により、精度よく水面を検出し、高精度な水位計測を実現することができる。

背景技術に係る、画像処理による水位計測の概要を示す図である。 背景技術に係る、水面への物体の映り込みの例を示した図である。 実施の形態に係る、水流以外の動き情報がある例を示した図である。 実施の形態に係る、河川監視カメラを利用した画像処理による水位計測システム１０の概要図である。 実施の形態に係る、画像処理装置の構成を示すブロック図である。 実施の形態に係る、水位計測システムの処理を示すフローチャートである。 実施の形態に係る、水位計測を行うための画像処理アルゴリズムのフローチャートである。 実施の形態に係る、画角設定の流れとインタフェースの例を示した図である。 実施の形態に係る、オプティカルフローの算出と水流以外のフローを削除する処理の流れを示した図である。 実施の形態に係る、ベクトルの方向と色の関係を示す色付けマップである。 実施の形態に係る、動き情報に基づくグラフカットの算出手順を示す図である。 実施の形態に係る、映り込みがある場合の動き情報に基づくグラフカットの算出手順を示す図である。 実施の形態に係る、エッジ抽出から水位計測結果を出力するまでの処理の流れを示した図である。 実施の形態に係る、水位計測結果を表示するインタフェースを示した図である。

次に、本発明を実施するための形態（以下、単に「実施形態」という）を、図面を参照して具体的に説明する。以下に説明する実施形態では、動き情報（動きベクトル）に基づくグラフカットという画像処理技術により、精度よく水面を検出し、水流以外の動き情報を検出し削除することで、高精度な水位計測を実現する。さらに、初期設定の際は、設定画面の十字バーを水面上部の橋脚等の中心となるように画角を設定するだけで適切な画角となるようなインタフェースを実現する。

動き情報に基づくグラフカットを用いる技術では、水流の動きを適切に判断する必要がある。図３は、水流以外の動き情報がある例を示した図である。動き情報を矢印で示している。図３（ａ）は、動き情報として水流（水面Ｗの動き）のみが示されている例を示している。図３（ｂ）は、更に草の領域Ｇや樹木Ｔに動き情報がある例を示している。図３（ｃ）は、更に橋脚等の構造物ＯＢに動き情報がある例を示している。この場合、一般には、カメラ自体の揺れ起因している。水面Ｗを見つけるために動き情報を利用する場合は、水流（水面Ｗの動き）以外の草木の動き（草の領域Ｇや樹木Ｔ）やカメラ自体の揺れによる動きによって精度が低下する場合がある。そこで、それらの余分な動き情報を適切に判別し取り除く必要がある。以下、河川監視技術について具体的に説明する。

図４は、河川監視カメラ３０を利用した画像処理による水位計測システム１０の概要図である。水位計測システム１０は、河川に設置された河川監視カメラ３０と、ネットワーク９０を介してそれらと接続される監視センター２０とを備える。監視センター２０とネットワーク９０の間には画像処理装置４０が配置される。河川監視カメラ３０として、ここでは、河川上流に設置される上流カメラ３１と、河川下流に設置される下流カメラ３２とが例示されている。上流カメラ３１と下流カメラ３２とを区別しない場合は、単に河川監視カメラ３０として説明する。

河川に設置された河川監視カメラ３０からの映像はネットワーク９０により監視センター２０に送られる。途中に配置されている画像処理装置４０は、画像処理により水位計測を実施し、監視センター２０のモニタ２１に水位計測結果を表示する。モニタ２１には、水位計測結果だけでなく、河川全体のマップに対してのカメラ位置と水位計測結果とが重畳され表示される。

監視センター２０では、このモニタ映像が監視され、責任者が危険と判断すると避難指示が発令される。その後、危険エリアに対しての避難放送及び避難指示車両などが出動し、近隣住民の避難を実施する。

図５は、画像処理装置４０の構成を示すブロック図である。画像処理装置４０は、監視センター２０や河川監視カメラ３０と接続するための通信インタフェース部４２と、設定部５０と、画像処理部６０とを備える。なお、画像処理装置４０の各構成要素は、例えば、ＭＰＵ等のＬＳＩやメモリで構成され、メモリに記憶されたプログラムが実行されることで、その機能が実現される。

画像処理部６０は、エリア設定処理部６１と、フロー処理部６２と、グラフカット処理部６３と、エッジ抽出処理部６４と、水位算出処理部６５とを備える。設定部５０や画像処理部６０の各要素の具体的な機能は、処理フローと共に説明する。

なお、本実施形態では、画像処理機能を有する画像処理装置４０を設けることで、既設の河川監視カメラ３０を活用する水位計測システム１０を記載した。しかし、例えば、河川監視カメラ３０に画像処理装置４０の機能を搭載する場合は、当然に、画像処理装置４０は不要となる。また、河川監視カメラ３０の種類は、可視光カメラ及び遠赤外線カメラが使用できる。

図６は、水位計測システム１０の処理を示すフローチャートである。まず、河川監視カメラ３０について、管理者等の操作等によって、設定部５０が初期設定として画角設定を行う（Ｓ１０）。その後、画像処理部６０が画像処理モードを実行する（Ｓ１１）。なお、画像処理モードや画角設定処理の詳細は図７〜図１４で後述する。

画像処理部６０が水位計測を常時実施し、その結果を受け、危険判定部７０は、あらかじめ設定された危険水位をオーバーしたとき（Ｓ１２のＹ）、アラームを発報する（Ｓ１５）。その後、責任者による危険判断が行われ（Ｓ１６）、責任者の避難指示が発令された場合（Ｓ１６のＮ）、近隣住民の避難指示が行われる（Ｓ１７）。ただし、アラームが発報しなくても、危険水位判定（Ｓ１２のＹ）と監視映像から責任者が危険と判断した場合は（Ｓ１３のＹ）、避難指示が発令される（Ｓ１４）。責任者が危険判断で避難指示が不要と判断すれば（Ｓ１３のＮ、Ｓ１６のＮ）、画像処理モードが継続する（Ｓ１１）。

図７は、画像処理部６０の動作、すなわち、水位計測を行う画像処理アルゴリズム（図６の画像処理モード（Ｓ１１））のフローチャートを示す。図６の画角設定の処理（Ｓ１０）の後、この画像処理モード（Ｓ１１）の処理が行われる。

まず、エリア設定処理部６１が、設定した画角の中心から任意の一定範囲を処理エリアとして設定する（Ｓ２１）。このとき、エリア設定処理部６１は、処理エリアは橋脚などの背景オブジェクトの範囲内となるように設定する。次に、フロー処理部６２が、処理エリアから動き情報（フロー）を算出し（Ｓ２２）、さらに、フローの方向も算出する（Ｓ２３）。

そして、フロー処理部６２は、このフローの密度を計算し、密度が高くかつフロー方向が近い領域を水流のフローと判定し、それ以外の方向のフローを削除する（Ｓ２４）。こうすることで、草木のフローやカメラ自体の揺れによるフローを削除することができる。

次に、グラフカット処理部６３は、このように絞り込んだ水流フローを用いて、グラフカット用のオブジェクトｓｅｅｄを作成する（Ｓ２５）。ここで、ｓｅｅｄとはラベルと同義として扱う。詳細は、後述する。

グラフカットは、初期設定として、オブジェクト内の一定画素と背景の一定画素をユーザが選択し、そのラベル情報に基づき、オブジェクトの切り出しを行う。そこで、グラフカット処理部６３は、水流フローがある領域をオブジェクトｓｅｅｄ、フローが少なく水流フローと一定距離離れている領域を背景ｓｅｅｄとする（Ｓ２６）。この処理で、グラフカットを自動化することができる。そして、グラフカット処理部６３は、自動グラフカットにより水面を検出する（Ｓ２７）。

つづいて、エッジ抽出処理部６４は、グラフカット処理部６３が検出した水面の上端付近からエッジ抽出を行う（Ｓ２８）。水位算出処理部６５は、抽出されたエッジのうち、一定の長さがあり、数フレーム安定して抽出できるエッジを水位線として決定し、水位計測結果を出力する（Ｓ２９）。出力したら、画像処理モードを終了し、危険判定部７０による危険水位判定処理（図６のＳ１２以降の処理）に進む。

図８は、画角設定の流れとインタフェースの例を示す図である。設定画面Ａ１１〜Ａ１３では、映像の中心に十字バーＣＢを表示する。この十字バーＣＢの中心（画角の中心）に、橋脚等のエッジ抽出に適した背景オブジェクトＯＢがくるように河川監視カメラ３０を操作することで適切な画角が設定できる。

図中の例では、図８（ａ）の設定画面Ａ１１に示すような初期画角のとき、まず、管理者等であるユーザは、図８（ｂ）の設定画面Ａ１２で示すように河川監視カメラ３０を上方向に動かし、次に図８（ｃ）の設定画面Ａ１３で示すように左方向に動かし、十字バーＣＢの中心に橋脚（背景オブジェクトＯＢ）がくるように設定している。このとき、水面Ｗの最低水位のときと、最高水位のときに水面Ｗが映るサイズでズームを調整する。画角設定が完了すると設定画面が終了し画面上の十字バーＣＢは表示されなくなる。そして、図８（ｄ）に示す様に、設定部５０は、破線で示す範囲内を処理エリアＰＡとして自動設定する。この処理エリアＰＡは、画角の中心から左右にαピクセルの範囲で定義されており、αピクセルの値は任意に設定することができる。設定部５０は、橋脚などの背景オブジェクトＯＢ内に収まるように、処理エリアＰＡを設定する。

つぎに、動き情報の算出及びフロー方向の算出について説明する。
動き情報（フロー）は、特徴点検出の後、オプティカルフローを算出することで算出する。特徴点検出にはＳＩＦＴ（Scale-Invariant Feature Transform）やＳＵＲＦ（Speeded Up Robust Features）等、オプティカルフローの算出にはブロックマッチング、濃度勾配法、Ｈｏｒｎ−Ｓｃｈｕｎｋ法、Ｌｕｃａｓ−Ｋａｎａｄｅ法等を用いることができる。本発明では、特徴点検出とオプティカルフローの算出が組み合わさったＫＬＴ（Kanade-Lucas-Tomasi） Ｔｒａｃｋｅｒ法を利用する。

オプティカルフローは、特徴点の動きベクトルを表しているため、そのベクトルから角度を求めることができる。ベクトルから求めた角度を任意の分解能で方向を定義し、フローの方向とする。

図９は、算出したオプティカルフローに方向毎に色付けし、水流以外のフローを削除する処理の流れを示す図である。また、図１０は、ベクトルの方向と色の関係を示す色付けマップである。本実施形態では、３６０度を８範囲に分類して、分類された範囲についてＣＯＬＯＲ１〜ＣＯＬＯＲ８までの８種類で色付けする。例えば、−２２．５度〜＋２２．５度の方向の場合は、ＣＯＬＯＲ１に定義されている色（例えば赤色）でベクトルが表示される。

オプティカルフローは、図９（ａ）の通り現在フレームＦ１と過去フレームＦ０を利用する。それら２フレーム間の特徴点の動きを追跡することで、図９（ｂ）のようにフローを算出し、図１０の色付けマップに従いフローに色を付ける。ここでは、ＣＯＬＯＲ１（ｃ１）、ＣＯＬＯＲ２（ｃ２）、ＣＯＬＯＲ３（ｃ３）、ＣＯＬＯＲ４（ｃ４）、ＣＯＬＯＲ５（ｃ５）の５種類の方向が示されている。

このフローの中から密度が高く方向が近いものを水流の方向とし、それ以外のフローを削除する。図９（ｃ）の例ではＣＯＬＯＲ１（ｃ１）以外のフローが削除されている。

つづいて、動き情報に基づくグラフカットについて説明する。当該処理は、グラフカット処理部６３が実行する。グラフカットとは、一枚の画像から対象の物体を切り出すセグメンテーション手法の一つである。グラフカットは、エネルギー最小化問題を解くことにより高精度に対象物体を切り出すことができるが、初期設定としてユーザがオブジェクト領域と背景領域にラベル（ｓｅｅｄ）を付ける必要がある。そこで、水流フローをオブジェクト領域、フローのない領域を背景領域として自動でラベルづけすることにより、グラフカットを自動化できることを提案する。なお、「ラベル付けをする」ことを、「ｓｅｅｄを与える」こととも言う。

図１１は、動き情報に基づくグラフカットの算出手順を示す図である。まず、図１１（ａ）で示す算出した水流のフローの画像に対し、図１１（ｂ）に示すように、フロー分布の中心に直線を引きオブジェクトｓｅｅｄ９８とする。そして、フローがなく、水流フローから一定距離離れている箇所に対しても同様の直線を引き背景ｓｅｅｄ９９とする。そして、これらｓｅｅｄに基づきグラフカットを実施することにより、図１１（ｃ）のように水面Ｗのみを抽出することができる。なお、水位は上下するため、ｓｅｅｄは一定間隔で更新する必要がある。

図１２は動き情報に基づくグラフカットの算出手順を示す図であって、水面Ｗに映り込みＲＯがある場合の例を示している。図１２（ａ）で示す算出した水流のフローの画像に対し、図１２（ｂ）に示すように、フロー分布の中心に直線を引きオブジェクトｓｅｅｄ９８とする。ここで、オブジェクトｓｅｅｄ９８の直線は、映り込みＲＯを横切ることになる。図１１と同様に、フローがなく、水流フローから一定距離離れている箇所に対しても同様の直線を引き背景ｓｅｅｄ９９とする。そして、これらｓｅｅｄに基づきグラフカットを実施することにより、図１２（ｃ）のように水面Ｗのみを抽出することができる。もし、水面Ｗに映り込みＲＯがありフローが算出できない領域があった場合でも、映り込みＲＯの部分がオブジェクトｓｅｅｄ９８として割り当てられれば水面Ｗのみを抽出することが可能である。

つぎに、エッジ抽出処理部６４によるエッジ抽出及び絞り込み処理について説明する。
図１３は、エッジ抽出から水位計測結果出力までの流れを示す図である。図１１や図１２の処理によって水面Ｗを検出した後、つまり、図１３（ａ）に示すように、水面エリアＷＥが特定された後、エッジ抽出処理部６４は、水面Ｗの上端付近からエッジ抽出を行う。Ｃａｎｎｙ、Ｓｏｂｅｌ、Ｌａｐｌａｃｉａｎ等を用いることで、エッジ抽出処理部６４は、図１３（ｂ）に示す様に、エッジＥＧを抽出する。

その後、図１３（ｃ）に示す様に、エッジ抽出処理部６４は、水面との距離やエッジの長さ、数フレーム安定して抽出できることなどの特徴を考慮してエッジＥＧ１を選定し、図１３（ｄ）に示す様に、そのエッジ位置を水位ＲＷＳとして計測結果を出力する。ここでは、エッジＥＧ１のうちエリア設定処理部６１が設定した処理エリアに含まれる部分を水位ＲＷＳとして表示している。

図１４は水位計測結果の表示インタフェースを示す図であって、図４のモニタ２１に表示されるものである。カメラ映像Ａ３１には、処理エリアＴＡと現在の水位ＷＬｃが表示される。さらに、別装置から水位の予測情報を取得できれば、未来の水位ＷＬｆも表示し、より危険判断に役立つ画面となる。

水位マップＡ３２には、計測した水位を色マップＣＭに従い描画し、一目で河川全体の水位状況が把握できるよう水位マップＭｃを表示する。例えば、水位は高い場合は赤、低い場合は青で表示され、図の例では下流の水位が高く、上流の水位が低くなっている。

そして、カメラ設置位置にはカメラアイコンＣＩが表示され、クリック等の操作でカメラ映像Ａ３１が切り替わる。計測結果から危険水位と判断された際はカメラアイコンＣＩの色を変えて表示し、避難が必要な危険エリアＤＡをマップ上に表示する。この危険エリアをクリックすることで、避難指示が必要な自治体等の情報を表示し、他の警報システムと連動することで、ワンクリックで避難指示を行うことができる。

以上、本実施形態によれば、正確な水位計測を行うことができ、既設の河川カメラに導入することで河川の詳細な水位変動を観測することができる。さらに、監視カメラ映像に水位を重畳することで、実際の水位と河川の状況をリンクして観測することができ、避難指示の判断に役立つシステムを構築することができる。また、ユーザにより初期設定ができるインタフェースを実現していることから、導入コストを最小限に抑え、導入後の画角変更も容易に実施することができる。

以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０ 水位計測システム
２０ 監視センター
２１ モニタ
３０ 河川監視カメラ
３１ 上流カメラ
３２ 下流カメラ
４０ 画像処理装置
４２ 通信インタフェース部
５０ 設定部
６０ 画像処理部
６１ エリア設定処理部
６２ フロー処理部
６３ グラフカット処理部
６４ エッジ抽出処理部
６５ 水位算出処理部
７０ 危険判定部
９０ ネットワーク

Claims (7)

1. 水面と構造物とが写った画像を取得し、動き情報（動きベクトル）を算出するフロー処理部と、
   前記動き情報をもとに、グラフカット理論に基づき前記水面の領域を特定するグラフカット処理部と、
   前記水面の領域と他の領域との境界をもとに水位を算出する水位算出部と、
   を備えることを特徴とする水位計測システム。
2. 前記フロー処理部は、前記動き情報から水流フローを抽出し、
   前記グラフカット処理部は、抽出された前記水流フローをオブジェクト領域、フローのない領域を背景領域として自動でラベルづけすることにより前記水面の領域を抽出することを特徴とする請求項１に記載の水位計測システム。
3. 前記グラフカット処理部が特定した前記水面の領域と他の領域との境界付近のエッジを抽出し、抽出されたエッジから所定の特徴を満たすエッジを前記水位を算出するための境界とするエッジ抽出部を備えることを特徴とする請求項２に記載の水位計測システム。
4. 前記水面と前記構造物とが写った前記画像を撮影するカメラの画角を、画面上に表示される十字バーを操作し設定する設定部を備えることを特徴とする請求項１に記載の水位計測システム。
5. 画像処理技術を用いて河川の水位を計測する水位計測方法であって、
   水面と構造物とが写った画像を取得し、動き情報（動きベクトル）を算出するフロー処理工程と、
   前記動き情報をもとに、グラフカット理論に基づき前記水面の領域を特定するグラフカット処理工程と、
   前記水面の領域と他の領域との境界をもとに水位を算出する水位算出工程と、
   を備えることを特徴とする水位計測方法。
6. 前記フロー処理工程は、前記動き情報から水流フローを抽出し、
   前記グラフカット処理工程は、抽出された前記水流フローをオブジェクト領域、フローのない領域を背景領域として自動でラベルづけすることにより前記水面の領域を抽出することを特徴とする請求項５に記載の水位計測方法。
7. 前記グラフカット処理工程が特定した前記水面の領域と他の領域との境界付近のエッジを抽出し、抽出されたエッジから所定の特徴を満たすエッジを前記水位を算出するための境界とするエッジ抽出工程を備えることを特徴とする請求項６に記載の水位計測方法。

Images