JP6883699B1 - 流量推定システム、情報処理装置およびプログラム - Google Patents

Abstract

【課題】水流の画像から直接、水流の流量を推定するシステムを提供する。【解決手段】流量推定システムは、水流を撮影する撮影装置と、この撮影装置により撮影された画像に基づき水流の流量を推定する情報処理装置２００と、を備える。この流量推定システムにおいて、情報処理装置２００は、撮影装置から水流の画像を取得する画像取得部２２０と、取得した画像に基づき、水流の流量を推定する推定部２４０と、推定部２４０による推定結果を出力する出力部２６０と、を備える。【選択図】図２

Description

本発明は、流量推定システム、情報処理装置およびプログラムに関する。

従来、水流の流量は、種々の流量計により測定される。また、水流を撮影した動画を解析して流速を特定し、特定した流速に基づいて流量を算出することも行われている。

特許文献１には、流下する水の動画像に基づいて水の流速を算出し、流速と流量との既知の対応関係を用いて流速から流量を算出することが開示されている。

特許文献２には、液体表面の物体の速度の方向と値を光学的に測定し、液体表面の高さを測定し、物体の画像を自動認識して物体速度分布を計算すると共に、この結果に基づき液体の表面速度を計算し、実際の液体レベルの値に基づき液体流通面積を求め、液体の表面速度と液体流通面積から流量を算出することが開示されている。

特開平９−３３３０２号公報 特開２００９−６３５７８号公報

水流を直接計測する流量計は、経年劣化により計測精度が低下したり、故障が発生したりするため、保守作業を行う必要があった。また、水流の画像から流速を求め、得られた流速から流量を算出する方法は、装置構成が複雑であり、導入コストの増大を招いていた。また、流速を測定し得る態様の水流でなければ測定対象とすることができないという問題があった。

本発明は、水流の画像から直接、水流の流量を推定するシステムを提供することを目的とする。

上記の目的を達成する本発明は、水流を撮影する撮影装置と、この撮影装置により撮影された画像に基づき水流の流量を推定する情報処理装置と、を備える流量推定システムである。この流量推定システムにおいて、情報処理装置は、撮影装置から水流の画像を取得する取得手段と、取得した画像に基づき、水流の流量を推定する推定手段と、推定手段による推定結果を出力する出力手段と、を備える。
ここで、撮影装置は、近赤外線により水流を撮影することとしても良い。
また、情報処理装置は、撮影装置から取得した画像から、流量の推定を行う対象となる領域を抽出する画像処理手段をさらに備え、推定手段は、画像処理手段により抽出された領域の画像を対象として、水流の流量の推定を行うこととしても良い。
また、上記の目的を達成する他の本発明は、流量を推定する対象である水流を撮影した画像を取得する取得手段と、取得した画像に基づき、この画像に表された水流の流量を推定する推定手段と、この推定手段による推定結果を出力する出力手段と、を備える情報処理装置としても実現される。
また、上記の情報処理装置において、推定手段は、深層学習モデルにより構成されることとしても良い。
また、上記の目的を達成する他の本発明は、コンピュータを制御して、流量を推定する対象である水流を撮影した画像を取得する取得手段と、取得した画像に基づき、この画像に表された水流の流量を推定する推定手段と、この推定手段による推定結果を出力する出力手段として、機能させるプログラムとしても実現される。

本発明によれば、流量計を用いたり、流速を測定したりすることなく、水流の画像から直接、水流の流量を推定することができる。

本実施の形態による流量推定システムの全体構成を示す図である。 情報処理装置の機能構成を示す図である。 情報処理装置としてのコンピュータのハードウェア構成例を示す図である。 情報処理装置の動作を示すフローチャートである。 画像処理部による推定対象画像の抽出の様子を示す図であり、図５（Ａ）は撮影装置により撮影された画像の例を示す図、図５（Ｂ）は図５（Ａ）から抽出された推定対象画像の例を示す図である。 深層学習モデルであるＶＧＧ−１６の構成を示す図である。 種々の流量における水流の画像の例を示す図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
＜システム構成＞
図１は、本実施の形態による流量推定システムの全体構成を示す図である。図１に示す流量推定システムは、監視対象の水面を撮影する撮影装置１００と、情報処理装置２００とを備える。図１に示す例では、出水口３００から水が流出しており、この水の流れを撮影装置１００により撮影している。本実施の形態の流量推定システムは、撮影装置１００により撮影された画像を情報処理装置２００により解析し、流れる水の流量を推定する。図１に示す例では、出水口３００から流れ出る水の流量が推定される。

撮影装置１００は、流量の推定の対象である水流を撮影するカメラである。流量の推定は、静止画を用いて行われる。ただし、撮影装置１００により撮影される画像は、動画であっても静止画であっても良い。動画が撮影される場合、例えばフレームごとに静止画を切り出して処理対象とする。撮影装置１００として用いられるカメラは、特に限定しないが、例えば、ウェブカメラやＩＰカメラ等が用いられる。撮影装置１００に求められる解像度は、流量推定の精度とのトレードオフになるが、例えば、数十センチ四方〜１メートル四方程度の領域を撮影した画像を用いて流量推定を行う場合、２００万画素程度としても良い。

撮影装置１００には、近赤外線カメラを用いることが考えられる。近赤外線（０．８〜２．５μｍ程度）で撮影することにより、昼間、夜間、日陰などの撮影環境における明るさの影響を低減させることができる。また、流水の表面による反射の影響を低減させるため、偏光フィルタを用いても良い。

撮影装置１００は、撮影した画像をデジタルデータとして情報処理装置２００へ送信する送信機能を備える。画像のデータ形式は、情報処理装置２００で扱える形式であれば良く、特に限定しない。撮影装置１００から情報処理装置２００へのデータの転送は、ネットワーク接続によって行っても良いし、撮影装置１００と情報処理装置２００とをケーブル等により直接接続して行っても良い。また、撮影装置１００と情報処理装置２００とを接続する回線は、有線であっても無線であっても良い。

情報処理装置２００は、撮影装置１００により撮影された水流の画像を解析し、画像に示される水流の流量を推定する。本実施の形態では、流量を推定する手段として、深層学習によって得られた推定アルゴリズムを用いる。

＜情報処理装置２００の機能＞
図２は、情報処理装置２００の機能構成を示す図である。情報処理装置２００は、通信部２１０と、画像取得部２２０と、画像処理部２３０と、推定部２４０と、操作部２５０と、出力部２６０とを備える。

通信部２１０は、撮影装置１００と接続し、画像のデータを受信するための通信を行うインターフェイスである。情報処理装置２００から撮影装置１００を遠隔操作可能なシステム構成とする場合、通信部２１０は、撮影装置１００を制御するためのコマンドやデータを送信する機能を有していても良い。

画像取得部２２０は、通信部２１０を介して行われる撮影装置１００との通信により、撮影装置１００から画像のデータを取得する。画像取得部２２０は、取得手段の一例である。データは、例えば、画像処理ライブラリであるＯｐｅｎＣＶ（Open Source Computer Vision Library）を用いて読み込むことができる。ＯｐｅｎＣＶを用いることにより、一般的なＷｅｂカメラの規格であるＵＶＣ（USB Video Class）やＩＰカメラの規格ＯＮＶＩＦ（Open Network Video Interface Forum）などに対応したデータを読み込むことができ、読み込んだデータに対して画像処理を行うことができる。撮影装置１００から取得される画像は、水流（図１に示した例では、出水口３００から出る水の流れ）を、流量を推定しようとする特定の時刻で切りとった静止画である。撮影装置１００において動画が撮影されている場合、撮影装置１００から受信した動画のデータから、例えば、フレームごとに静止画として抽出される。

画像処理部２３０は、画像取得部２２０により取得された画像から流量の推定に用いる範囲を抽出する処理を行う。撮影装置１００により撮影された画像には、流量を推定する対象である水流の他、出水口３００や流れた水が溜まる水槽等が映り込む場合がある。そのような場合に、取得した画像をそのまま用いて流量の推定を行うと、精度が低下する可能性がある。そこで、ユーザによる範囲指定の操作を受け付けて、撮影された画像から流量の推定に用いる範囲を切り出す。以下、切り出された範囲の画像を「推定対象画像」と呼ぶ。流量の推定に用いる範囲の指定操作は、例えば、撮影装置１００により撮影された画像を表示装置に表示し、表示された画面上で、マウス等の操作デバイスを用いて行われる。具体的には、画面上の４点を指定することで、指定された４点を頂点とする四角形領域を特定し、推定対象画像として抽出するようにしても良い。

図５は、画像処理部２３０による推定対象画像の抽出の様子を示す図である。図５（Ａ）は撮影装置１００により撮影された画像の例を示す図、図５（Ｂ）は図５（Ａ）から抽出された推定対象画像の例を示す図である。図５（Ａ）に示す画像には、流量の推定対象である水流だけでなく、出水口３００や、出水口３００から流れ出た水が貯留される水槽が映り込んでいる。画像から水流の流量を推定するためには、画像に水流の部分だけがあれば良く、その他の表象は、流量を推定するのに必要ないだけでなく、ノイズとして推定精度の低下の原因となり得る。図５（Ｂ）に示す画像では、図５（Ａ）の画像から水流の部分が抽出されている。図５（Ｂ）に示すように水流の部分を抽出した推定対象画像を用いることにより、図５（Ａ）に示すような画像をそのまま用いる場合と比較して、流量の推定精度が向上することが期待される。

推定部２４０は、推定対象画像に基づいて、その画像が撮られた時点における水流の流量を推定する。本実施の形態では、水流の画像から流量を推定する手法として、深層学習によって得られた推定アルゴリズムを用いた推定を行う。深層学習によって得られた推定アルゴリズムおよび流量の推定の詳細については後述する。

操作部２５０は、ユーザが上記の各機能に対する入力操作を行うための操作デバイスである。具体的には、操作部２５０を用いて、画像処理部２３０において推定対象画像を切り出すための流量の推定に用いる領域を指定する操作等の各種の入力操作が行われる。操作部２５０は、上記の各機能における処理の実行に要するコマンドやデータを入力可能なデバイスであれば良く、特定のデバイスに限定されない。

出力部２６０は、推定部２４０により推定された水流の流量の情報を出力する。出力部２６０による情報の出力は、例えば、表示装置に情報を表示させることにより行われる。表示装置には、出力部２６０により出力された流量の情報の他、撮影装置１００により撮影された画像、上記各機能による処理の結果、操作部２５０を用いて行われた操作の結果等の種々の情報を表示しても良い。

＜情報処理装置２００のハードウェア構成＞
本実施の形態の情報処理装置２００は、コンピュータにより実現される。図３は、情報処理装置２００としてのコンピュータのハードウェア構成例を示す図である。情報処理装置２００を構成するコンピュータは、演算手段であるＣＰＵ（Central Processing Unit）２０１と、記憶手段であるＲＡＭ（Random Access Memory）２０２、ＲＯＭ（Read Only Memory）２０３、記憶装置２０４と、入力装置２０５と、表示装置２０６とを備える。ＲＡＭ２０２は、主記憶装置（メイン・メモリ）であり、ＣＰＵ２０１が演算処理を行う際の作業用メモリとして用いられる。ＲＯＭ２０３にはプログラムや予め用意された設定値等のデータが保持されており、ＣＰＵ２０１はＲＯＭ２０３から直接プログラムやデータを読み込んで処理を実行することができる。記憶装置２０４は、プログラムやデータの保存手段である。記憶装置２０４にはプログラムが記憶されており、ＣＰＵ２０１は記憶装置２０４に格納されたプログラムを主記憶装置に読み込んで実行する。また、記憶装置２０４には、ＣＰＵ２０１による処理の結果が格納され、保存される。記憶装置２０４としては、例えば磁気ディスク装置やＳＳＤ（Solid State Drive）等が用いられる。入力装置２０５は、ユーザがコマンドやデータを入力するために操作するデバイスであり、キーボードや、マウス（ポインティングデバイス）等が用いられる。表示装置２０６は、各種の画面を表示する装置であり、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等が用いられる。また、特に図示しないが、このコンピュータは、外部装置と接続してデータ通信を行うためのインターフェイスを備える。

情報処理装置２００を図３に示すコンピュータにより構成する場合、通信部２１０は、例えば、プログラム制御されたＣＰＵ２０１と、撮影装置１００に接続可能なインターフェイスとにより実現される。画像取得部２２０、画像処理部２３０および推定部２４０の各機能は、例えば、ＣＰＵがプログラムを実行することにより実現される。操作部２５０は、例えば、入力装置２０５により実現される。出力部２６０は、例えば、表示装置２０６により実現される。

＜情報処理装置２００の動作＞
図４は、情報処理装置２００の動作を示すフローチャートである。本実施の形態の流量推定システムでは、撮影装置１００により流量の推定対象である水流が撮影され、撮影された画像は直ちに情報処理装置２００へ転送される。情報処理装置２００は、画像取得部２２０により、撮影装置１００から受信した画像を読み込む（Ｓ４０１）。情報処理装置２００は、例えば、読み込んだ画像を表示装置に表示させる。

次に、情報処理装置２００は、画像処理部２３０により、ユーザによる画像の範囲指定を受け付けて、推定対象画像を抽出する（Ｓ４０２）。ここで、撮影装置１００から取得される画像は、撮影装置１００が固定されている限り、流量の推定対象の水流を決まった位置から決まった角度で撮影した画像となるので、推定対象画像の範囲指定は１回行えば良く、動画のフレームや取得される静止画ごとに行う必要は無い。

次に、情報処理装置２００は、推定部２４０により、推定対象画像における水流の流量を推定する（Ｓ４０３）。そして、情報処理装置２００は、出力部２６０により、推定結果である流量の情報を出力する（Ｓ４０４）。情報処理装置２００は、例えば、推定結果としての流量の値を表示装置に表示させる。

推定結果の出力方法は、本実施の形態の流量推定システムが適用されるシステムの仕様等に応じて設定しても良い。例えば、定期的に流量の推定を行って推定結果を出力するようにしても良いし、特定の事象が発生したことを条件として流量の推定を行い、推定結果を出力するようにしても良い。また、撮影装置１００により動画または一定時間間隔で連続的に静止画を撮影することとし、動画のフレームごとまたは撮影された静止画ごとに、順次流量の推定を行い、推定結果を時系列データとして継続的に出力するようにしても良い。

＜推定部２４０による流量の推定＞
推定部２４０は、深層学習によって得られた推定アルゴリズムを用いて、推定対象画像における水流の流量を推定する。本実施の形態で用いることができる深層学習のモデルとしては、例えば、ＶＧＧ−１６やＲｅｓＮｅｔ等がある。以下、ＶＧＧ−１６を用いた学習の例を説明する。

図６は、深層学習モデルであるＶＧＧ−１６の構成を示す図である。ＶＧＧ−１６は、畳み込み層が１３層、全結合層が３層、全体で１６層のニューラルネットワークである。図６に示す例では、畳み込み層の第１層〜第２層が２２４×２２４ユニット、第３層〜第４層が１１２×１１２ユニット、第５層〜第７層が５６×５６ユニット、第８層〜第１０層が２８×２８ユニット、第１１層〜第１３層が１４×１４ユニットであり、その後のプーリング層が７×７ユニットとなっている。そして、全結合層のうち前の２層が４０９６ユニットであり、クラス分類用の１層がＮユニットである。ここで、最後の１層のユニット数Ｎは、流量の分類数に応じて設定し得る。例えば、０Ｌ／ｍｉｎ（リットル毎分）から１５Ｌ／ｍｉｎまで、１Ｌ／ｍｉｎごとに分類するのであれば、Ｎ＝１６とすることができる。また、流量を大中小の３段階に分類するのであれば、水流の無い状態である０Ｌ／ｍｉｎを加えて、Ｎ＝４とすることができる。

深層学習モデルの学習は、教師あり学習により行われる。具体的には、撮影装置１００により撮影された画像から推定対象画像と同様に抽出された、流量が分かっている水流の画像を学習用データとして用い、深層学習モデルを学習させる。

図７は、種々の流量における水流の画像の例を示す図である。図７に示す画像は、撮影装置１００により撮影された画像から推定対象画像と同様に抽出された画像とする。図７に示す例では、０Ｌ／ｍｉｎから１５Ｌ／ｍｉｎまで、１Ｌ／ｍｉｎごとに流量が異なる１６種類の画像の例が示されている。なお、図７には、各流量の画像が一つずつ示されているが、深層学習モデルを学習させるには、流量ごとに多数の画像が用意されて、学習用データとして用いられる。

一例として、具体的な学習例を挙げる。学習用および精度検証用の画像として、図７に示した１６種類の画像を流量ごとに各々約１８枚準備する。このうち、各流量６枚ずつの画像を精度検証用の画像として使用する。そして、各流量の残りの約１２枚の画像を学習用の画像として使用する。ここで、学習用の画像は、回転や反転等の画像処理を行って１０倍に増幅した。これにより、学習用の画像は約２０００枚となった。

次に、上記のようにして学習した深層学習モデルを用い、精度検証用の画像から水流の流量を推定させる。ここでは、推定結果として、０Ｌ／ｍｉｎ〜１５Ｌ／ｍｉｎの何れかの流量を示す値が出力される。例えば、７Ｌ／ｍｉｎの画像を入力し、推定結果として出力された値が７Ｌ／ｍｉｎであれば正解とする。上記の学習を行った深層学習モデルでは、判定精度９３％が得られた。なお、ここでは深層学習モデルとしてＶＧＧ−１６を用いた例を説明したが、推定部２４０として用い得る深層学習モデルは、画像の分類に用いることができるモデルであれば良く、ＶＧＧ−１６や上述したＲｅｓＮｅｔ等に限定されない。

以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態には限定されない。例えば、本実施の形態では、情報処理装置２００による流量の推定結果として、推定された流量の値を表示装置に表示出力した。これに対し、情報処理装置２００の出力を外部装置に対する制御情報として出力する構成としても良い。例えば、図１に示した出水口３００から出る水流の流量を制御する制御装置を情報処理装置２００の出力により制御する構成が考えられる。この場合、出水口３００から出る水流を撮影装置１００により撮影し、撮影した水流の画像から情報処理装置２００により水流の流量を推定する。そして、流量の推定結果に応じて、出水口３００から出る水流が所望の流量となるように出水口３００の制御装置を制御する構成としても良い。

また、図１に示した出水口３００から出た水が水槽に貯留される場合、出水口３００から出る水流の流量を推定し、推定結果と出水が行われている時間とから水槽に貯留された水量を算出し、算出された貯留した水量に応じて出水口３００からの水流を制御することも考えられる。その他、本発明の技術思想の範囲から逸脱しない様々な変更や構成の代替は、本発明に含まれる。

１００…撮影装置、２００…情報処理装置、２１０…通信部、２２０…画像取得部、２３０…画像処理部、２４０…推定部、２５０…操作部、２６０…出力部、３００…出水口

Claims (7)

1. 水流を撮影する撮影装置と、
   前記撮影装置により撮影された画像に基づき前記水流の流量を推定する情報処理装置と、を備え、
   前記情報処理装置は、
   前記撮影装置から前記水流の画像を取得する取得手段と、
   取得した前記画像に基づき、一つの当該画像ごとに前記水流の流量を推定する推定手段と、
   前記推定手段による推定結果を出力する出力手段と、
   を備えることを特徴とする、流量推定システム。
2. 前記撮影装置は、近赤外線により前記水流を撮影することを特徴とする、請求項１に記載の流量推定システム。
3. 前記情報処理装置は、
   前記撮影装置から取得した画像から、流量の推定を行う対象となる領域を抽出する画像処理手段をさらに備え、
   前記推定手段は、前記画像処理手段により抽出された領域の画像を対象として、前記水流の流量の推定を行うことを特徴とする、請求項１または請求項２に記載の流量推定システム。
4. 前記推定手段は、深層学習モデルにより構成されることを特徴とする、請求項１乃至請求項３の何れかに記載の流量推定システム。
5. 流量を推定する対象である水流を撮影した画像を取得する取得手段と、
   取得した前記画像に基づき、一つの当該画像ごとに当該画像に表された前記水流の流量を推定する推定手段と、
   前記推定手段による推定結果を出力する出力手段と、
   を備えることを特徴とする、情報処理装置。
6. 前記推定手段は、深層学習モデルにより構成されることを特徴とする、請求項５に記載の情報処理装置。
7. コンピュータを制御して、
   流量を推定する対象である水流を撮影した画像を取得する取得手段と、
   取得した前記画像に基づき、一つの当該画像ごとに当該画像に表された前記水流の流量を推定する推定手段と、
   前記推定手段による推定結果を出力する出力手段として、
   機能させることを特徴とする、プログラム。

Images