JP6946541B1 - 河川監視装置、河川監視システム - Google Patents

Abstract

【課題】異常の有る河川画像への適切な対処を促すこと。【解決手段】河川監視装置は、河川を監視する河川監視カメラと、河川監視カメラが撮像した河川画像において、河川の水面の変化に応じて撮像状態が変化する第１領域及び、当該第１領域とは異なる領域であって河川の水面が変化しても撮像状態が変わらない第２領域を検出する領域検出部と、第１領域及び第２領域に描写された被写体を検出する被写体検出部と、第１領域と第２領域のうち少なくとも一方に描写された被写体の状態に基づいて、河川画像の異常の有無を判断する異常判断部と、異常判断部が河川画像に異常が有ると判断した場合に、当該異常を通知する異常通知部と、を備える。【選択図】図１

Description

本発明は、カメラで撮像することにより河川を監視する河川監視装置及び河川監視システムに関する。

特許文献１に開示された河川監視装置が知られている。本河川監視装置では、画像処理部が、河川を監視する撮像部（カメラ）により取り込まれた映像信号から、河川以外を除いた画像処理対象の領域を切り出して、当該領域の輝度値に対する特徴量を抽出する。そして、データ処理部が、その特徴量に基づいて河川の浮遊物を検出すると、警報装置により警報を行う。

特開平７−８５３８５号公報

人がカメラにより撮像された河川画像を常時目視することは困難であるため、当該河川画像は一旦記憶部に記憶（保存）される。そして、管理者が定期的に記憶部から読み出して表示部に表示させた河川画像を目視することが一般的である。
例えばカメラ（撮像部）のレンズに汚れやごみ等の異物が付着したり、カメラの不具合で画質等が劣化したりすると、カメラにより撮像された河川画像を見た人に違和感を与えるような異常が当該河川画像に生じる。この場合、特許文献１の技術では、管理者が当該異常の有る河川画像を視認して適切に対処しない限り、当該異常の有る河川画像がカメラにより撮像され続けてしまう。このような異常の有る河川画像は、河川の監視画像としての機能を果たさないおそれがあり、管理者が当該異常の有る河川画像を目視しても、河川や河川の周辺の状況を把握し難くなったり、把握できなくなったりする。

そこで、本発明は上記問題点に鑑み、異常の有る河川画像への適切な対処を促すことを目的とする。

上記の技術的課題を解決するための本発明の技術的手段は、以下に示す点を特徴とする。
本発明の一態様にかかる河川監視装置は、河川を監視する河川監視カメラと、河川監視カメラが撮像した河川画像において、河川の水面の変化に応じて撮像状態が変化する第１領域及び、当該第１領域とは異なる領域であって河川の水面が変化しても撮像状態が変わらない第２領域を検出する領域検出部と、第１領域及び第２領域に描写された被写体を検出する被写体検出部と、第１領域と第２領域のうち少なくとも一方に描写された被写体の状態に基づいて、河川監視カメラによる河川の監視を妨害する河川画像の異常の有無を判断する異常判断部と、異常判断部が河川画像に異常が有ると判断した場合に、当該異常を通知する異常通知部と、を備え、異常判断部は、被写体検出部により第１領域で検出された河川の水面以外の被写体の大きさ又は変化に基づいて、河川画像の異常の有無を判断し、被写体検出部により第２領域で検出された構造物以外の被写体の大きさ又は変化に基づいて、河川画像の異常の有無を判断する。

また、本発明の一態様では、異常判断部は、被写体検出部により第１領域又は第２領域で所定時間以上継続して検出された被写体のうち、初期では被写体検出部により検出されなかった被写体の大きさが所定値以上である場合、又は当該被写体が大きくなるように変化した場合に、河川撮像に異常が有ると判断する。
また、本発明の一態様では、異常判断部は、被写体が河川の監視を妨害する所定の位置に在る場合、又は被写体が河川の水面の変化に関連しない変化をした場合に、河川撮像に
異常が有ると判断する。

また、本発明の一態様では、異常判断部は、河川画像の明暗、色相、彩度、及び明度のうち少なくとも１つを含んだ画像情報に基づいて、当該河川画像の異常の有無を判断する。
また、本発明の一態様では、領域検出部による第１領域及び第２領域の検出、被写体検出部による被写体の検出、及び異常判断部による河川画像の異常の判断は、所定の周期で実行される。

また、本発明の一態様では、異常通知部は、河川画像に異常が有ることを示す異常情報と、当該異常がある河川画像のデータとを、管理者が所有する端末装置に送信する。
また、本発明の一態様では、河川監視装置は、河川監視カメラが撮像した河川画像のデータを記憶する画像記憶部と、当該データに基づいて河川画像を表示する画像表示部と、を備える。

本発明の一態様による河川監視システムは、河川監視装置と、管理者が所有し且つ前記河川監視装置と通信可能な端末装置と、を含んでいる。
また、本発明の一態様では、河川監視装置は、河川を監視する河川監視カメラと、河川監視カメラが撮像した河川画像のデータを記憶する画像記憶部を有した河川画像管理装置と、河川画像のデータに基づいて河川画像を表示する画像表示部を有した表示装置と、を含み、河川画像管理装置は、河川監視カメラから河川画像のデータを受信して、当該データを画像記憶部に記憶し且つ当該データを表示装置に送信する。

さらに、本発明の一態様では、河川画像管理装置は、河川画像において、河川の水面の変化に応じて撮像状態が変化する第１領域及び、当該第１領域とは異なる領域であって河川の水面が変化しても撮像状態が変わらない第２領域を検出する領域検出部と、第１領域及び第２領域に描写された被写体を検出する被写体検出部と、第１領域と第２領域のうち少なくとも一方に描写された被写体の状態に基づいて、河川監視カメラによる河川の監視を妨害する河川画像の異常の有無を判断する異常判断部と、異常判断部が河川画像に異常が有ると判断した場合に、当該異常を通知する異常通知部と、のうち、少なくとも１つを有し、異常判断部は、被写体検出部により第１領域で検出された河川の水面以外の被写体の大きさ又は変化に基づいて、河川画像の異常の有無を判断し、被写体検出部により第２領域で検出された構造物以外の被写体の大きさ又は変化に基づいて、河川画像の異常の有無を判断する。

本発明によれば、異常の有る河川画像への適切な対処を促すことができる。

河川監視システムの構成図である。 河川画像管理装置の動作を示すフローチャートである。 河川画像管理装置の動作を示すフローチャートである。 初期の正常な河川画像の一例を示す図である。 運用時の正常な河川画像の一例を示す図である。 運用時の異常な河川画像の一例を示す図である。 運用時の異常な河川画像の他の例を示す図である。 運用時の異常な河川画像の他の例を示す図である。

以下、本発明の実施の形態を図面に基づいて説明する。
まず、本実施形態の河川監視システム１の構成を説明する。
図１は、河川監視システム１の構成図である。
河川監視システム１は、河川監視装置２と携帯端末６とを含んでいる。河川監視装置２は、河川監視カメラ３と河川画像管理装置４と表示装置５とを含んでいる。

河川監視カメラ３は、河川の監視対象箇所の近くに設置され、撮像することにより当該河川の監視対象箇所を監視する。河川監視カメラ３は、制御部３ａ、記憶部３ｂ、撮像部３ｃ、画像処理部３ｄ、及び通信部３ｅを備えている。制御部３ａは、ＣＰＵやメモリ等から構成されている。制御部３ａは、河川監視カメラ３の各部の動作を制御する。記憶部３ｂは、揮発性又は不揮発性のメモリ等から構成されている。

撮像部３ｃは、河川の監視対象箇所とこの周囲を撮像する。画像処理部３ｄは、撮像部３ｃから出力される河川画像のアナログ信号を処理して、デジタルのデータを生成する。
通信部３ｅは、河川画像管理装置４と通信するための通信モジュールから構成されている。制御部３ａは、撮像部３ｃにより撮像されて画像処理部３ｄにより処理された河川画像のデータを、通信部３ｅにより河川画像管理装置４に送信する。

河川画像管理装置４は、管理センタ（図示省略）に設置されたサーバ等である。河川画像管理装置４は、制御部４ａ、記憶部４ｂ、画像処理部４ｄ、及び通信部４ｅを備えている。制御部４ａは、ＣＰＵやメモリ等から構成されている。制御部４ａは、河川画像管理装置４の各部の動作を制御する。制御部４ａには、領域検出部４ｆ、被写体検出部４ｇ、異常判断部４ｈ、及び異常通知部４ｉが設けられている。領域検出部４ｆ、被写体検出部４ｇ、異常判断部４ｈ、及び異常通知部４ｉは、ソフトウェアプログラムにより構成されている。他の例として、これら各部４ｆ、４ｇ、４ｈ、４ｉをハードウェアで構成してもよい。記憶部４ｂは、メモリとハードディスク等から構成されている。

通信部４ｅは、河川監視カメラ３、表示装置５、及び携帯端末６と通信するための通信モジュールから構成されている。制御部４ａは、河川監視カメラ３から送信された河川画像のデータを通信部４ｅにより受信して、当該データを記憶部４ｂに記憶（保存）する。記憶部４ｂは、河川監視カメラ３で撮像された河川画像を記憶する画像記憶部である。画像処理部４ｄは、制御部４ａにより記憶部４ｂから読み出された河川画像のデータを再生処理する。制御部４ａは、記憶部４ｂに記憶された河川画像のデータを読み出して、当該データを表示装置５や携帯端末６に送信する。

領域検出部４ｆは、画像処理部４ｄにより画像処理されたデータに基づく河川画像において、河川の水面の変化に応じて撮像状態が変化する第１領域と、当該第１領域とは異なる領域であって、河川の水面が変化しても撮像状態が変わらない第２領域を検出する。被写体検出部４ｇは、第１領域及び第２領域に描写された被写体を検出する。第１領域に描写される被写体には、河川（監視対象箇所）、河川の水面、河川の周辺にある構造物、及びその他の異物等が含まれる。第２領域に描写される被写体には、河川の周辺にある構造物及びその他の異物等が含まれる。

なお、構造物とは、複数の材料や部材等から構成されて、基礎等により重量を支えられた構造で造作された物であって、例えばコンクリートで作られたコンクリート構造物や、主要な部材が鋼材から成る鋼構造物や、土を使用した堤防、盛土、土手等の土構造物等を含む。
異常判断部４ｈは、河川画像の第１領域と前記第２領域のうち少なくとも一方に描写された被写体の状態に基づいて、河川画像の異常の有無を判断する。異常通知部４ｉは、異常判断部４ｈが河川画像に異常が有ると判断した場合に、当該異常を通知する。具体的には、異常通知部４ｉは、河川画像に異常が有ることを示した異常情報を、通信部４ｅにより携帯端末６に送信する。他の例として、河川画像管理装置４から周辺にいる管理者に対して音や光や振動等により聴覚的、視覚的、又は触覚的に河川画像に異常が有ることを通知するように、異常通知部を構成してもよい。

表示装置５は、任意の場所に設置されたパーソナルコンピュータ等である。表示装置５は、制御部５ａ、記憶部５ｂ、表示部５ｃ、操作部５ｄ、及び通信部５ｅを備えている。制御部５ａは、ＣＰＵやメモリ等から構成されている。制御部５ａは、表示装置５の各部の動作を制御する。記憶部５ｂは、メモリ等から構成されている。表示部５ｃは、液晶等のディスプレイから構成されている。操作部５ｄは、操作キーやマウス等から構成されている。

通信部５ｅは、河川画像管理装置４と通信するための通信モジュールから構成されている。制御部５ａは、操作部５ｄにより入力された指示に基づいて、当該指示の内容を示す信号を通信部５ｅにより河川画像管理装置４に対して送信する。端末装置５から河川画像管理装置４に対して送信される信号には、例えば、河川画像の送信を指示する要求信号が含まれる。この要求信号に応答して、河川画像管理装置４から送信された河川画像のデータを通信部５ｅにより受信すると、制御部５ａは、当該データに基づいて河川画像を表示部５ｃに表示させる。表示部５ｃは、河川監視カメラ３で撮像された河川画像を表示する画像表示部である。

携帯端末６は、管理者が所有する携帯型のスマートフォンやタブレット機等の端末装置である。携帯端末６は、制御部６ａ、記憶部６ｂ、表示部操作部６ｃ、及び通信部６ｅを備えている。制御部６ａは、ＣＰＵやメモリ等から構成されている。制御部６ａは、携帯端末６の各部の動作を制御する。記憶部６ｂは、メモリ等から構成されている。表示操作部６ｃは、タッチパッド等から構成されている。

通信部６ｅは、河川画像管理装置４と通信するための通信モジュールから構成されている。制御部６ａは、表示操作部６ｃにより入力された指示に基づいて、当該指示の内容を示す信号を通信部６ｅにより河川画像管理装置４に対して送信する。また、制御部６ａは、河川画像管理装置４から送信された河川画像のデータを通信部６ｅにより受信して、当該データに基づいて河川画像を表示操作部６ｃに表示させる。

各装置３〜６の通信部３ｅ、４ｅ、５ｅ、６ｅは、例えば、通信規格であるＩＥＥＥ８０２．１１シリーズのＷｉ-Ｆｉ（Wireless Fidelity、登録商標）、ＢＬＥ（Bluetooth（登録商標）Low Energy）、ＬＰＷＡ(Low Power, Wide Area)、ＬＰＷＡＮ(Low-Power Wide-Area Network)等により無線で通信を行うことができる。
他の例として、インターネット、携帯電話通信網、又はその他のデータ通信網等の公衆通信網を介して、無線又は有線で通信可能に通信部３ｅ、４ｅ、５ｅ、６ｅを構成してもよい。また、図１では、各装置３〜６を１台ずつ示しているが、これに限らず、各装置３〜６を適宜数河川監視システム１に組み込んでもよい。

次に、河川監視システム１の動作を説明する。
図２Ａ及び図２Ｂは、河川画像管理装置４の動作を示すフローチャートである。図３〜図７は、河川監視カメラ３が撮像した河川画像の例を示す図である。詳しくは、図３は、河川監視システム１の初期（運用前）の正常な河川画像の一例を示し、図４は、河川監視システム１の運用時の正常な河川画像の一例を示し、図５〜図７は、運用時の異常な河川画像の一例や他の例を示している。

河川監視システム１の運用時に、河川監視カメラ３では、制御部３ａが撮像部３ｃにより河川を常時撮像して、撮像部３ｃから画像処理部３ｄを経由して入力される河川画像のデータを、通信部３ｅにより所定の周期で河川画像管理装置４に送信する。そして、河川画像管理装置４では、制御部４ａが河川監視カメラ３から送信された河川画像のデータを通信部４ｅにより受信して、当該データを記憶部４ｂに記憶（保存）させる（図２ＡのＳ１）。このとき、制御部４ａは、河川画像のデータに、当該河川画像が撮像された日時を関連付けて記憶部４ｂに記憶させる。

なお、河川監視システム１の初期（運用前）にも、上述したように河川監視カメラ３により撮像された河川画像が、河川画像管理装置４の記憶部４ｂに記憶（保存）される。この初期の河川画像は、正常な河川画像の例として、運用時の河川画像とは異なる記憶部４ｂの記憶領域に記憶される。
次に、河川画像管理装置４の制御部４ａは、内蔵するタイマの計時時間を参照する等して、所定の異常判断タイミングであるか否かを確認する。異常判断タイミングにならない間は（Ｓ２：ＮＯ）、制御部４ａは、河川監視カメラ３からの河川画像のデータの受信と記憶を繰り返す（Ｓ１）。そして、異常判断タイミングになると（Ｓ２：ＹＥＳ）、制御部４ａは、記憶部４ｂから所定時間に撮像された複数の河川画像のデータを読み出す（Ｓ３）。

処理Ｓ２で異常判断タイミングになるのを待つことで、以降の処理が所定の周期で実行される。処理Ｓ３では、制御部４ａは、例えば記憶部４ｂに記憶された最新の河川画像のデータからＮ回（Ｎ≧２）前に記憶された河川画像のデータまでの複数の河川画像のデータを読み出す。但し、記憶部４ｂに記憶された全ての河川画像のデータを読み出す必要は無い。

次に、制御部４ａは、記憶部４ｂから読み出した複数の河川画像のデータを画像処理部４ｄにより処理して、当該各データに基づく河川画像を再生する。そして、異常判断部４ｈが、各河川画像の明暗、色相、彩度、及び明度のうち少なくとも１つが含まれた画像情報を検出する（Ｓ４）。
次に、異常判断部４ｈは、画像情報が示す画像値（明暗、色相、彩度、又は明度等）が予め記憶された対応する所定の正常範囲内にあるか否かを確認する。画像値の正常範囲は、例えば、河川監視システム１の運用前に、河川監視カメラ３により１回以上撮像した河川画像から検出された画像値に基づいて設定されて、記憶部４ｂに記憶されている。

再生処理された各河川画像が、例えば図４に示すような正常な河川画像Ｇ１である場合、各河川画像の画像値（複数の画像値を検出している場合は、全ての画像値）が正常範囲内に入る（Ｓ５：ＹＥＳ）。この場合、領域検出部４ｆが、複数の河川画像のデータに基づいて、当該各河川画像において第１領域と第２領域とを検出する（Ｓ７）。
一方、いずれかの河川画像の明暗、色相、彩度、又は明度等の画像値が劣化していて、当該河川画像が、例えば図５に示すように、見た人に違和感（不鮮明感等）を与えるような異常な河川画像Ｇ２である場合、当該河川画像の画像値（複数の画像値を検出している場合は、いずれかの画像値）が正常範囲から外れる（Ｓ５：ＮＯ）。この場合、異常判断部４ｈが、当該画像値を検出した河川画像に異常が有ると判断して、その異常の内容を示す異常情報を記憶部４ｂに記録する（Ｓ６）。それから、領域検出部４ｆが、各河川画像において第１領域と第２領域とを検出する（Ｓ７）。

処理Ｓ７では、領域検出部４ｆは、河川画像において、河川の水面の変化に応じて撮像状態が変化する領域を第１領域として検出し、河川の水面が変化しても撮像状態が変わらない領域を第２領域として検出する。詳しくは、例えば、領域検出部４ｆは、記憶部４ｂに記憶された初期の正常な複数の河川画像のデータに基づいて、当該河川画像における初期の第１領域と第２領域とを前もって検出して記憶部４ｂに記憶させておく。そして、この初期の第１領域と第２領域とを参考にして、処理Ｓ３で読み出した河川画像における第１領域と第２領域とを検出する。

具体的には、例えば図４に示すような河川画像Ｇ１では、河川の水面Ｗの高さが変化し得る領域（水位表示器１３の最上部より下の領域）が第１領域Ｒ１（点線で囲った範囲内）として領域検出部４ｆにより検出され、それ以外の箇所が第２領域Ｒ２として領域検出部４ｆにより検出される（図３、図６、及び図７も同様）。なお、第１領域と第２領域は、すべての河川画像において位置が一定であってもよいし、又は河川画像によっては位置が変動してもよい。

次に、被写体検出部４ｇが、各河川画像の第１領域から、河川の水面と、河川の水面以外の第１被写体とを検出する（Ｓ８）。このとき、被写体検出部４ｇは、第１領域に所定時間以上描写され続けている河川の水面以外の被写体のうち、記憶部４ｂに記憶された初期の河川画像における第１領域で検出されなかった被写体を第１被写体として検出する。
また、被写体検出部４ｇは、各河川画像の第２領域から、構造物と、構造物以外の第２被写体とを検出する（Ｓ９）。このとき、被写体検出部４ｇは、第２領域に所定時間以上描写され続けている構造物以外の被写体のうち、記憶部４ｂに記憶された初期の河川画像における第２領域で検出されなかった被写体を第２被写体として検出する。

例えば、図４に示すような河川画像Ｇ１の場合、先ず、被写体検出部４ｇは、第１領域Ｒ１から被写体として、河川の水面Ｗ、金網１１、コンクリート壁１２、水位表示器１３、鋼材１４、及び落ち葉やゴミ等の異物１５を検出する。また、被写体検出部４ｇは、第２領域Ｒ２から被写体として、金網１１、コンクリート壁１２、１６、及び異物１７を検出する。次に、被写体検出部４ｇは、これらの被写体１１〜１７のうち、他の河川画像には描写されていない被写体を除外する。この除外処理により、河川画像に一時的に描写された被写体、即ち時間の経過と共に消えた被写体は、河川画像の異常の要因とはならない。

そして、残った第１領域Ｒ１の被写体１１〜１５のうち、図３に示すような初期の河川画像Ｇ０の第１領域Ｒ１で検出されなかった被写体（異物）１５を、被写体検出部４ｇが第１被写体として検出する。また、残った第２領域Ｒ２の被写体１１、１２、１６、１７のうち、初期の河川画像Ｇ０の第２領域Ｒ２でも検出された被写体１１、１２、１６を、被写体検出部４ｇが構造物として検出する。また、残った第２領域Ｒ２の被写体１１、１２、１６、１７のうち、初期の河川画像Ｇ０の第２領域Ｒ２で検出されなかった被写体（異物）１７を、被写体検出部４ｇが第２被写体として検出する。

また、例えば、河川監視カメラ３の撮像部３ｃのレンズの表面に汚れやゴミ等の異物１８が付着すると、図６に示すような、異物１８が描写された異常な河川画像Ｇ３が、河川監視カメラ３により撮像されて、記憶部４ｂに記憶される。この場合、被写体検出部４ｇは、第１領域Ｒ１から、河川の水面Ｗを検出するとともに、異物１８を第１被写体として検出する。また、被写体検出部４ｇは、第２領域Ｒ２から、構造物１１、１２、１６を検出だけを検出する。

また、例えば、撮像部３ｃのレンズの表面又は当該表面の直前に蜘蛛の巣１９が張られると、図７に示すように、蜘蛛の巣１９が描写された異常な河川画像Ｇ４が、河川監視カメラ３により撮像されて、記憶部４ｂに記憶される。この場合、被写体検出部４ｇは、第１領域Ｒ１から、河川の水面Ｗを検出するとともに、蜘蛛の巣（異物）１９を第１被写体として検出する。また、被写体検出部４ｇは、第２領域Ｒ２から、構造物１１、１２、１６を検出するが、蜘蛛の巣１９があまり第２領域Ｒ２におよんでいないため、第２被写体は検出しない。なお、蜘蛛の巣が大きくて第２領域Ｒ２の大半に及んでいる場合は、当該蜘蛛の巣が第２被写体として検出されることもある。

次に、異常判断部４ｈが、被写体検出部４ｇにより検出された第１被写体及び第２被写体の大きさと、予め記憶された対応する所定の閾値とを比較する。第１被写体及び第２被写体の大きさとは、例えば、河川画像の第１領域の描写面積（描写画素数）に対する第１被写体の描写面積（描写画素数）の割合、及び第２領域の描写面積に対する第２被写体の描写面積の割合のことである。第１被写体及び第２被写体の大きさと比較する閾値は、例えば、河川監視カメラ３による河川と河川の周辺の監視（撮像）を妨害するような描写面積に設定されている。

第１被写体と第２被写体のうち、少なくとも一方の被写体の大きさが閾値以上である場合（図２ＢのＳ１０：ＹＥＳ）、異常判断部４ｈは、当該被写体が描写された河川画像に異常が有ると判断して、その異常の内容を示す異常情報を記憶部４ｂに記録する（Ｓ１１）。例えば、図６に示す河川画像Ｇ３のように、第１被写体（異物）１８が第１領域Ｒ１に対して大きな割合（例えば２５％以上）に描写されている場合、第１被写体１８の大きさが閾値以上となり、異常判断部４ｈにより河川画像Ｇ３に異常が有ると判断される。それから、異常判断部４ｈが、被写体検出部４ｇにより検出された第１被写体と第２被写体の大きさの変化を確認する。

また、第１被写体と第２被写体の両方の大きさが閾値未満である場合（Ｓ１０：ＮＯ）、直ぐに異常判断部４ｈが、第１被写体と第２被写体の大きさの変化を確認する。例えば、図４に示す河川画像Ｇ１のように、第１被写体（異物）１５及び第２被写体（異物）１７が第１領域Ｒ１及び第２領域Ｒ２に対して小さな割合（例えば１０％未満）で描写されている場合、第１被写体１５及び第２被写体１７の大きさが閾値未満となる。

次に、第１被写体と第２被写体のうち、少なくとも一方の被写体が大きくなるように変化している（描写面積が拡大傾向にある）ことを、異常判断部４ｈが確認する（Ｓ１２：ＹＥＳ）。この場合、異常判断部４ｈは、当該被写体が描写された河川画像に異常が有ると判断して、その異常の内容を示す異常情報を記憶部４ｂに記録する（Ｓ１３）。例えば、図７に示す河川画像Ｇ４において、第１被写体である蜘蛛の巣１９が第１領域Ｒ１で広がって行った場合、異常判断部４ｈは、被写体１９が大きくなるように変化していることを確認して、河川画像Ｇ３に異常が有ると判断する。それから、異常判断部４ｈは、第１被写体と第２被写体の描写位置を検出する。

また、第１被写体と第２被写体の両方が大きくなるように変化していないことを、異常判断部４ｈが確認する（Ｓ１０：ＮＯ）。この場合、直ぐに異常判断部４ｈが、第１被写体と第２被写体の描写位置を検出する。
次に、第１被写体と第２被写体のうち、少なくとも一方の被写体が監視妨害位置に在ることを、異常判断部４ｈが確認する（Ｓ１４：ＹＥＳ）。この場合、異常判断部４ｈは、当該被写体が描写された河川画像に異常が有ると判断して、その異常の内容を示す異常情報を記憶部４ｂに記録する（Ｓ１５）。なお、監視妨害位置とは、例えば河川画像におい
て、河川の水面や当該水面の周辺に在る構造物や河川の水面の高さを示す水位表示器１３（図３〜図７）を隠す描写位置のことである。

例えば、図６や図７に示す河川画像Ｇ３、Ｇ４のように、第１被写体である異物１８、１９が河川の水面Ｗの大半や水位表示器１３を隠す描写位置に在る場合、異常判断部４ｈは、当該被写体１８、１９が監視妨害位置に在るため、河川画像Ｇ３、Ｇ４に異常が有ると判断する（Ｓ１５）。それから、異常判断部４ｈは、第１被写体と第２被写体の変化状態を検出する。

また、第１被写体と第２被写体の両方が監視妨害位置に無いことを、異常判断部４ｈが確認する（Ｓ１４：ＮＯ）。この場合、直ぐに異常判断部４ｈが、第１被写体と第２被写体の変化状態を検出する。例えば、図４に示す河川画像Ｇ１のように、第１被写体（異物）１５及び第２被写体（異物）１７が河川の水面Ｗや周辺の構造物１１〜１４や水位表示器１３を殆ど隠していない場合、当該被写体１５、１７が監視妨害位置に無いため、図２Ｂの処理Ｓ１５で、異常判断部４ｈにより河川画像Ｇ３に異常が有ると判断されることはない。

次に、第１被写体と第２被写体のうち、少なくとも一方の被写体が、河川の水面と異なる変化をしていることを、異常判断部４ｈが確認する（Ｓ１６：ＹＥＳ）。この場合、異常判断部４ｈは、当該被写体が描写された河川画像に異常が有ると判断して、その異常の内容を示す異常情報を記憶部４ｂに記録する（Ｓ１７）。なお、河川の水面の変化状態は、例えば、初期に取得した複数の河川画像のデータに基づいて、制御部４ａが検出して、記憶部４ｂに記憶させている。

例えば、図６や図７に示す被写体１８、１９は河川の水面Ｗと異なる変化（河川の水面Ｗより程度の大きな拡大や移動）をするため、異常判断部４ｈにより河川画像Ｇ３、Ｇ４に異常が有ると判断される。それから、異常通知部４ｉは、河川画像の異常を示す異常情報が記憶部４ｂに記録されているか否かを確認する。
また、第１被写体と第２被写体の両方が河川の水面と異なる変化をしていないことを、異常判断部４ｈが確認する（Ｓ１６：ＮＯ）。この場合、直ぐに異常通知部４ｉが異常情報の記録の有無を確認する。

異常通知部４ｉは、異常情報が記憶部４ｂに記録されていることを確認すると（Ｓ１８：ＹＥＳ）、異常情報と当該異常情報で異常の有ることが示された河川画像のデータとを、通信部４ｅにより携帯端末６に通知（送信）する（Ｓ１９）。この後、図２Ａの処理Ｓ１から以降の処理が繰り返される。また、異常情報が記憶部４ｂに記憶されていなければ（Ｓ１８：ＮＯ）、異常情報等が通知されずに、図２Ａの処理Ｓ１から以降の処理が繰り返される。

携帯端末６では、上述のように異常通知部４ｉにより通知された異常情報と異常の有る河川画像のデータとを通信部６ｅ（図１）により受信すると、制御部６ａが、当該データに基づいて異常の有る河川画像と異常情報とを表示操作部６ｃに表示させる。
河川の管理者は、通常、河川監視カメラ３により撮像された河川画像を表示装置５に定期的に表示させて、当該河川画像を監視（目視）する。然るに、河川画像に異常が生じた場合は、上述したように当該異常の内容を示す異常情報と異常の有る河川画像とが管理者の所有する携帯端末６に通知される。このため、管理者は、すぐさま携帯端末６により異常が生じた河川画像と当該異常の内容を確認して、異常の深刻さを認識することができる。そして、例えば河川監視カメラ３が設置されている現場に行って、異物１７〜１９を除去したり、河川監視カメラ３のメンテナンスを行ったりする等の適切な対処を行って、河川監視カメラ３により撮像される河川画像を正常な状態に復帰させることができる。

上述した実施形態では、図１に示したように、河川画像管理装置４に領域検出部４ｆ、被写体検出部４ｇ、異常判断部４ｈ、及び異常通知部４ｉを備えたが、これに代えて、河川監視カメラ３若しくは表示装置５に、領域検出部、被写体検出部、異常判断部、又は異常通知部を備えてもよい。また、河川画像を表示する画像表示部を、表示装置５の表示部５ｃに代えて、河川画像管理装置４に備えてもよい。

また、河川監視カメラ３、河川画像管理装置４、表示装置５、又は携帯端末６で扱われ
る河川画像は、静止画でもよいし、或いは動画でもよい。
また、例えば初期に河川監視カメラ３により撮像した複数の正常な河川画像のデータ、又は河川監視カメラ３により撮像した複数の異常な河川画像のデータを、河川画像フィルタとして予め記憶しておき、運用時に河川監視カメラ３により撮像した河川画像のデータを、当該河川画像フィルタと比較した結果に基づいて、当該河川画像の異常の有無を判断してもよい。

また、河川監視カメラ３の撮像部３ｃにより河川画像を撮像したときの撮像部３ｃの焦点位置を示す焦点情報に基づいて、河川画像の異常の有無を判断してもよい。撮像部３ｃは、通常河川の水面に焦点が合うように焦点位置を調整して、河川画像の撮像を行うが、例えば河川の水面より手前に被写体があったり、河川の水面より大きな被写体があったりした場合、当該被写体に焦点が合うように焦点位置を調整して、河川画像の撮像を行うことがある。この場合、撮像された河川画像では、河川の水面がいわゆるピンボケ状態で撮像されてしまう。これも異常な河川画像である。

上記のような河川画像の異常を判断するため、例えば、河川監視カメラ３では、制御部３ａが河川画像のデータと共に当該河川画像を撮像したときの撮像部３ｃの焦点位置を示す焦点情報を通信部３ｅにより河川画像管理装置４に送信する。そして、河川画像管理装置４では、異常判断部４ｈが、河川画像の焦点情報で示される焦点位置と、予め記憶された所定の焦点位置（例えば初期の撮像時に河川の水面に焦点が合ったときの焦点位置）との差を検出し、当該差が所定の閾値以上である場合に、河川画像に異常が有ると判断する。

また、上記の焦点位置に代えて、撮像部３ｃが焦点位置を調整するのに要した時間（焦点調整時間）と所定の閾値とに基づいて、河川画像の異常の有無を判断してもよい。さらに、上記の焦点位置又は焦点調整時間が閾値以上になった河川画像の数を計数し、当該河川画像の数が所定数以上である場合に、河川画像に異常が有ると判断して、当該異常の通知を行ってもよい。

また、人工知能（ＡＩ）を用いて、河川画像の異常の有無を判断してもよい。具体的には、例えば、河川画像管理装置４において、記憶部４ｂに記憶された複数の河川画像を読み出して、人工知能による深層学習を実行し、見た人に違和感を与えるような異常の有る河川画像の傾向を学習済みモデルとして構築する。この後、制御部４ａが、当該学習済みモデルと、河川監視カメラ３により撮像された河川画像とに基づいて、当該河川画像の異常の有無を判断する。

本実施形態の河川監視装置２及び河川監視システム１は、以下の効果を奏する。
本実施形態の河川監視装置２は、河川を監視する河川監視カメラ３と、河川監視カメラ３が撮像した河川画像において、河川の水面の変化に応じて撮像状態が変化する第１領域及び、当該第１領域とは異なる領域であって河川の水面が変化しても撮像状態が変わらない第２領域を検出する領域検出部４ｆと、第１領域及び第２領域に描写された被写体を検出する被写体検出部４ｇと、第１領域と第２領域のうち少なくとも一方に描写された被写体の状態に基づいて、河川画像の異常の有無を判断する異常判断部４ｈと、異常判断部が河川画像に異常が有ると判断した場合に、当該異常を通知する異常通知部４ｉと、を備える。

上記の構成によれば、河川監視カメラ３により撮像された河川画像の第１領域又は第２領域に描写された被写体の状態に基づいて、当該河川画像に異常が有ることを判断し、当該異常が通知されるので、管理者に適切な対処を促すことができる。
また、本実施形態では、異常判断部４ｈは、被写体検出部４ｇにより第１領域で検出された河川の水面以外の第１被写体の大きさ又は変化に基づいて、河川画像の異常の有無を判断する。これにより、河川の水面の監視（撮像）を妨害して、見た人に違和感を与えるような河川画像の異常があることを判断して、当該異常を通知することができる。

また、本実施形態では、異常判断部４ｈは、被写体検出部４ｇにより第２領域で検出された構造物以外の第２被写体の大きさ又は変化に基づいて、河川画像の異常の有無を判断する。これにより、河川の水面と当該水面の周辺にある構造物との境界の監視を妨害して
、見た人に違和感を与えるような河川画像の異常があることを判断して、当該異常を通知することができる。

また、本実施形態では、異常判断部４ｈは、被写体検出部４ｇにより第１領域又は第２領域で所定時間以上継続して検出された被写体のうち、初期では被写体検出部４ｇにより検出されなかった被写体の大きさが所定値以上である場合、又は当該被写体が大きくなるように変化した場合に、河川撮像に異常が有ると判断する。これにより、河川画像に突如現れた被写体であって、河川の水面や当該水面と周辺の構造物との境界の監視を妨害するような大きさを有した被写体が写り続けた河川画像の異常があることを判断して、当該異常を通知することができる。

また、本発明の一態様では、異常判断部４ｈは、被写体が河川の監視を妨害する所定の位置に在る場合、又は被写体が河川の水面の変化に関連しない変化をした場合に、河川撮像に異常が有ると判断する。これにより、河川の水面の監視を妨害するように変化する被写体が写り込んだ河川画像の異常があることを判断して、当該異常を通知することができる。

また、本実施形態では、異常判断部４ｈは、河川画像の明暗、色相、彩度、及び明度のうち少なくとも１つを含んだ画像情報に基づいて、当該河川画像の異常の有無を判断する。これにより、見た人に違和感を与え易い明るさや色味の異常が河川画像に有ることを判断して、当該異常を通知することができる。
また、本発明の一態様では、領域検出部４ｆによる第１領域及び第２領域の検出、被写体検出部４ｇによる被写体の検出、及び異常判断部４ｈによる河川画像の異常の判断は、所定の周期で実行される。これにより、領域検出部４ｆ、被写体検出部４ｇ、及び異常判断部４ｈがある程度河川画像を間引きして処理を行うため、各部４ｆ、４ｇ、４ｈの処理負荷を軽減し、異常の通知頻度も減少させることができる。

また、本実施形態では、異常通知部４ｉは、河川画像に異常が有ることを示す異常情報と、当該異常がある河川画像のデータとを、管理者が所有する端末装置（携帯端末）６に送信する。これにより、管理者が端末装置６により異常情報と異常の有る河川画像を確認して、より適切な対処を行うことができる。
また、本実施形態では、河川監視装置２は、河川監視カメラ３が撮像した河川画像のデータを記憶する画像記憶部４ｂと、当該データに基づいて河川画像を表示する画像表示部５ｃと、を備える。これにより、河川監視カメラ３が撮像した河川画像を保存して、当該河川画像を所望のタイミングで表示させることにより確認することができる。

本実施形態の河川監視システム１は、河川監視装置２と、管理者が所有し且つ河川監視装置２と通信可能な端末装置６と、を含んでいる。この構成によれば、河川監視装置２において、河川監視カメラ３により撮像された河川画像に異常が有ることを判断し、当該異常が端末装置６に通知されるので、管理者に適切な対処を促すことができる。
また、本実施形態では、河川監視装置２は、河川を監視する河川監視カメラ３と、河川監視カメラ３が撮像した河川画像のデータを記憶する画像記憶部４ｂを有した河川画像管理装置４と、河川画像のデータに基づいて河川画像を表示する画像表示部５ｃを有した表示装置５と、を含み、河川画像管理装置４は、河川監視カメラ３から河川画像のデータを受信して、当該データを画像記憶部４ｂに記憶し且つ当該データを表示装置５に送信する。これにより、河川監視カメラ３が撮像した河川画像を河川画像管理装置４で保存して、当該河川画像を所望のタイミングで表示装置により確認することができる。

さらに、本実施形態では、河川画像管理装置４は、河川画像において、河川の水面の変化に応じて撮像状態が変化する第１領域及び、当該第１領域とは異なる領域であって河川の水面が変化しても撮像状態が変わらない第２領域を検出する領域検出部４ｆと、第１領域及び第２領域に描写された被写体を検出する被写体検出部４ｇと、第１領域と第２領域のうち少なくとも一方に描写された被写体の状態に基づいて、河川画像の異常の有無を判断する異常判断部４ｈと、異常判断部が河川画像に異常が有ると判断した場合に、当該異常を通知する異常通知部４ｉと、のうち少なくとも１つを有する。

これにより、河川画像管理装置４に保存された河川画像の第１領域又は第２領域に描写
された被写体の状態に基づいて、当該河川画像に異常が有ることを判断し、当該異常が通知されるので、管理者に適切な対処を促すことができる。
以上、本発明について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ 河川監視システム
２ 河川監視装置
３ 河川監視カメラ
４ 河川画像管理装置
４ｂ 記憶部（画像記憶部）
４ｆ 領域検出部
４ｇ 被写体検出部
４ｈ 異常判断部
４ｉ 異常通知部
５ 表示装置
５ｃ 表示部（画像表示部）
６ 携帯端末（端末装置）
１１〜１４、１６ 構造物
１５、１７〜１９ 第１被写体、第２被写体
Ｇ０ 初期の河川画像
Ｇ１〜Ｇ４ 河川画像
Ｒ１ 第１領域
Ｒ２ 第２領域
Ｗ 河川の水面

Claims (10)

1. 河川を監視する河川監視カメラと、
   前記河川監視カメラが撮像した河川画像において、前記河川の水面の変化に応じて撮像状態が変化する第１領域及び、当該第１領域とは異なる領域であって前記河川の水面が変化しても撮像状態が変わらない第２領域を検出する領域検出部と、
   前記第１領域及び前記第２領域に描写された被写体を検出する被写体検出部と、
   前記第１領域と前記第２領域のうち少なくとも一方に描写された前記被写体の状態に基づいて、前記河川監視カメラによる前記河川の監視を妨害する前記河川画像の異常の有無を判断する異常判断部と、
   前記異常判断部が前記河川画像に異常が有ると判断した場合に、当該異常を通知する異常通知部と、を備え、
   前記異常判断部は、
   前記被写体検出部により前記第１領域で検出された前記河川の水面以外の被写体の大きさ又は変化に基づいて、前記河川画像の異常の有無を判断し、
   前記被写体検出部により前記第２領域で検出された構造物以外の被写体の大きさ又は変化に基づいて、前記河川画像の異常の有無を判断する河川監視装置。
2. 前記異常判断部は、前記被写体検出部により前記第１領域又は前記第２領域で所定時間以上継続して検出された前記被写体のうち、初期では前記被写体検出部により検出されなかった被写体の大きさが所定値以上である場合、又は当該被写体が大きくなるように変化した場合に、前記河川撮像に異常が有ると判断する請求項１に記載の河川監視装置。
3. 前記異常判断部は、前記被写体が前記河川の監視を妨害する所定の位置に在る場合、又は前記被写体が前記河川の水面の変化に関連しない変化をした場合に、前記河川撮像に異常が有ると判断する請求項２に記載の河川監視装置。
4. 前記異常判断部は、前記河川画像の明暗、色相、彩度、及び明度のうち少なくとも１つを含んだ画像情報に基づいて、当該河川画像の異常の有無を判断する請求項１〜３のいずれか１項に記載の河川監視装置。
5. 前記領域検出部による前記第１領域及び前記第２領域の検出、前記被写体検出部による前記被写体の検出、及び前記異常判断部による前記河川画像の異常判断は、所定の周期で実行される請求項１〜４のいずれか１項に記載の河川監視装置。
6. 前記異常通知部は、前記河川画像に異常が有ることを示す異常情報と、当該異常がある河川画像のデータとを、管理者が所有する端末装置に送信する請求項１〜５のいずれか１項に記載の河川監視装置。
7. 前記河川監視カメラが撮像した前記河川画像のデータを記憶する画像記憶部と、
   前記河川画像のデータに基づいて前記河川画像を表示する画像表示部と、を備えた請求項１〜６のいずれか１項に記載の河川監視装置。
8. 請求項１〜７のいずれか１項に記載の河川監視装置と、
   管理者が所有し且つ前記河川監視装置と通信可能な端末装置と、を含む河川監視システム。
9. 前記河川監視装置は、
   河川を監視する河川監視カメラと、
   前記河川監視カメラが撮像した河川画像のデータを記憶する画像記憶部を有した河川画像管理装置と、
   前記河川画像のデータに基づいて前記河川画像を表示する画像表示部を有した表示装置と、を含み、
   前記河川画像管理装置は、前記河川監視カメラから前記河川画像のデータを受信して、当該データを前記画像記憶部に記憶し且つ当該データを前記表示装置に送信する請求項８に記載の河川監視システム。
10. 前記河川画像管理装置は、
    前記河川画像において、前記河川の水面の変化に応じて撮像状態が変化する第１領域及び、当該第１領域とは異なる領域であって前記河川の水面が変化しても撮像状態が変わらない第２領域を検出する領域検出部と、
    前記第１領域及び前記第２領域に描写された被写体を検出する被写体検出部と、
    前記第１領域と前記第２領域のうち少なくとも一方に描写された前記被写体の状態に基づいて、前記河川監視カメラによる前記河川の監視を妨害する前記河川画像の異常の有無を判断する異常判断部と、
    前記異常判断部が前記河川画像に異常が有ると判断した場合に、当該異常を通知する異常通知部と、のうち少なくとも１つを有し、
    前記異常判断部は、
    前記被写体検出部により前記第１領域で検出された前記河川の水面以外の被写体の大きさ又は変化に基づいて、前記河川画像の異常の有無を判断し、
    前記被写体検出部により前記第２領域で検出された構造物以外の被写体の大きさ又は変化に基づいて、前記河川画像の異常の有無を判断する請求項９に記載の河川監視システム。

Images