JP6672673B2 - 情報処理装置、制御方法、及びプログラム - Google Patents

Description

本発明は、情報処理装置、制御方法、及びプログラムに関する。

種々の設備を管理するために、設備を管理する機器から計測値を読み取る作業が行われている。例えば、ガスメータや電力メータの読み取り作業が挙げられる。

このような機器の計測値の読み取り作業を容易にするための技術が開発されている。特許文献１は、メータを撮像した画像から、メータの計測値を表す文字列情報を抽出する技術を開示している。

特開２０１１−８１７１５号公報

特許文献１の発明は、メータの計測値を表す部分を特定するために、画像に対して種々の画像処理を適用している。そのため、メータの計測値を表す部分を画像から特定する処理に要する計算コストが多い。つまり、この処理に長い計算時間や多くの計算機資源を要する。

本発明は、上記課題に鑑みてなされたものである。本発明の目的は、画像から少ない計算コストでメータの計測値を表す画像を抽出する技術を提供することである。

本発明の情報処理装置は、１）画像を処理することにより、その画像に写っている機器の特徴量を算出する特徴量算出手段と、２）機器の種類ごとに、その種類の機器において、計測値を外部から視認可能に表示する表示部が配置されている機器上の位置を示す機器情報を記憶している機器情報記憶手段から、前記算出された特徴量に対応する種類の機器の機器情報を取得する機器情報取得手段と、３）前記取得された機器情報を用いて、前記画像から前記表示部を表す第１の部分画像を抽出する第１抽出手段と、を有する。

本発明の制御方法は、コンピュータによって実行される。当該制御方法は、１）画像を処理することにより、その画像に写っている機器の特徴量を算出する特徴量算出ステップと、２）機器の種類ごとに、その種類の機器において、計測値を外部から視認可能に表示する表示部が配置されている機器上の位置を示す機器情報を記憶している機器情報記憶手段から、前記算出された特徴量に対応する種類の機器の機器情報を取得する機器情報取得ステップと、３）前記取得された機器情報を用いて、前記画像から前記表示部を表す第１の部分画像を抽出する第１抽出ステップと、を有する。
本発明のプログラムは、コンピュータに、本発明の制御方法が有する各ステップを実行させる。

本発明によれば、画像から少ない計算コストでメータの計測値を表す画像を抽出する技術が提供される。

実施形態１に係る情報処理装置を例示するブロック図である。 情報処理装置の動作を概念的に説明するための図である。 情報処理装置を実現する計算機の構成を例示する図である。 実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。 機器情報をテーブル形式で例示する図である。 メータ領域を定める４つの値を説明するための図である。 １つの撮像画像から複数の部分画像を抽出する様子を例示する図である。 実施形態２に係る情報処理装置を例示するブロック図である。 抽出情報をテーブル形式で例示する図である。 メータ値特定部を有する実施形態２の情報処理装置を例示するブロック図である。 修正受付部を有する実施形態２の情報処理装置を例示する図である。 実施形態３に係る情報処理装置を例示するブロック図である。 実施形態３の情報処理装置の動作を概念的に説明するための図である。 本実施形態における機器情報を例示する図である。 第２部分画像に関する情報をさらに含む抽出情報を例示する図である。 識別子特定部を有する実施形態３の情報処理装置を例示するブロック図である。 実施例１の情報処理装置を実現する計算機を例示する図である。 ユーザの点検作業のスケジュールがタッチパネルに表示される様子を例示する図である。 点検場所の一覧がタッチパネルに表示される様子を例示する図である。 機器の一覧がタッチパネ４に表示される様子を例示する図である。 電気メータ１に関する情報がタッチパネルに表示される様子を例示する図である。 電気メータ１に関する情報が更新された様子を例示する図である。 実施例２における情報処理装置の利用方法を例示する図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

［実施形態１］
図１は、実施形態１に係る情報処理装置２０００を例示するブロック図である。図１において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

実施形態１の情報処理装置２０００は、特徴量算出部２０２０、機器情報取得部２０４０、及び第１抽出部２０６０を有する。特徴量算出部２０２０は、画像を処理することにより、その画像に写っている機器の特徴量を算出する。ここでいう機器は、設備などに関する種々の計測値（使用された電力、水、又はガスの量など）を外部から視認可能に表示するものである。情報処理装置２０００によって処理される画像は、機器を撮像したカメラによって生成される。以下、情報処理装置２０００によって処理される画像を、撮像画像と表記する。

機器情報取得部２０４０は、特徴量算出部２０２０によって算出された特徴量に対応する種類の機器に関する機器情報を取得する。機器情報は、機器の種類ごとに、その種類の機器においてメータが配置されている場所を表す。メータは、アナログメータであってもよいしデジタルメータであってもよい。ここでいうメータは、上述した機器全体のうち、計測値を外部から視認可能に表示している表示部を意味する。

第１抽出部２０６０は、機器情報取得部２０４０によって取得された機器情報を用いて、撮像画像から、メータが写っている第１の部分画像を抽出する。

図２は、情報処理装置２０００の動作を概念的に説明するための図である。撮像画像２２は、機器３０を撮像したカメラ２０によって生成された画像である。機器３０は、メータ３２を有している。情報処理装置２０００は、撮像画像２２から、メータ３２が含まれる領域であるメータ領域４０内の画像を、部分画像２４として抽出する。

ここで、機器３０のどこにメータ３２が配置されているかが事前に分かっていない場合、情報処理装置２０００は、部分画像２４を抽出するために、機器３０が写っている領域全体に対して画像処理を行ってメータ３２を表すメータ領域４０を特定しなければならない。そのため、部分画像２４の抽出に要する計算時間や計算機リソース量が多くなる。

これに対し、本実施形態の情報処理装置２０００は、まず撮像画像２２に写っている機器３０の形状などの特徴から算出される特徴量を用いて、機器３０の種類に対応する機器情報を取得する。この機器情報は、機器３０のどこにメータ３２が設けられているかを示す。そのため情報処理装置２０００は、機器情報を用いて容易にメータ領域４０を特定することができる。よって、本実施形態の情報処理装置２０００によれば、部分画像２４の抽出に要する計算時間を短くしたり、計算機リソース量を少なくしたりすることができるという利点がある。

なお、図２を用いて説明した情報処理装置２０００の動作は、以降で説明する情報処理装置２０００の詳細の理解を容易にするための例示であり、情報処理装置２０００の動作は上述の例に限定されるわけではない。情報処理装置２０００の動作の詳細やバリエーションについては、以降の記載で説明する。

＜情報処理装置２０００のハードウエア構成の例＞
情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

計算機１０００は、タブレット端末、スマートフォン、Personal Computer（PC）、又はサーバマシンなど、種々の計算機である。計算機１０００は、情報処理装置２０００を実現するために設計された種々の計算機であってもよいし、汎用の計算機であってもよい。

図３は、情報処理装置２０００を実現する計算機１０００の構成を例示する図である。計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、及び入出力インタフェース１１００を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、及びストレージ１０８０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などの演算処理装置である。メモリ１０６０は、RAM (Random Access Memory) や ROM (Read Only Memory) などのメモリである。ストレージ１０８０は、ハードディスク、SSD (Solid State Drive)、又はメモリカードなどの記憶装置である。また、ストレージ１０８０は、RAM や ROM などのメモリであってもよい。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。図３では、入出力インタフェース１１００に対してカメラ２０及びディスプレイ装置１３００が接続されている。カメラ２０は、機器３０の撮像に用いることができる任意のカメラである。ディスプレイ装置１３００は、ユーザに対して種々の情報を提示する装置であり、例えば液晶ディスプレイやタッチパネルなどである。

ここで、カメラ２０は、計算機１０００と一体として設けられていてもよいし、別体として設けられていてもよい。前者の場合、例えば計算機１０００はタブレット端末やスマートフォンであり、カメラ２０はこれらに搭載されているカメラである。後者の場合、例えばカメラ２０は汎用のデジタルカメラである。

ストレージ１０８０は情報処理装置２０００の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。ここでプロセッサ１０４０は、上記各モジュールを実行する際、これらのモジュールをメモリ１０６０上に読み出してから実行してもよいし、メモリ１０６０上に読み出さずに実行してもよい。

計算機１０００のハードウエア構成は図３に示した構成に限定されない。例えば、各プログラムモジュールはメモリ１０６０に格納されてもよい。この場合、計算機１０００は、ストレージ１０８０を備えていなくてもよい。

＜処理の流れ＞
図４は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。情報処理装置２０００は、撮像画像２２を取得する（Ｓ１０２）。特徴量算出部２０２０は、撮像画像２２を処理して、その撮像画像２２に写っている機器３０の特徴量を算出する（Ｓ１０４）。機器情報取得部２０４０は、特徴量算出部２０２０によって算出された特徴量を用いて、機器３０の種類に対応する機器情報を取得する（Ｓ１０６）。第１抽出部２０６０は、取得された機器情報を用いて、撮像画像２２から、メータ３２が写っている部分画像２４を抽出する（Ｓ１０８）。

＜撮像画像２２の取得方法＞
情報処理装置２０００は、撮像画像を取得する（Ｓ１０４）。情報処理装置２０００が撮像画像を取得する方法は様々である。例えば情報処理装置２０００は、カメラ２０から撮像画像を取得する。この場合、情報処理装置２０００とカメラ２０とは通信可能に接続されている。

また、カメラ２０が外部の記憶装置に撮像画像を記憶する場合、情報処理装置２０００は、この記憶装置から撮像画像を取得する。この場合、情報処理装置２０００は、この記憶装置と通信可能に接続されている。

＜特徴量算出部２０２０の詳細＞
特徴量算出部２０２０は、撮像画像２２に写っている機器３０の特徴量を算出する（Ｓ１０４）。例えば機器３０の特徴量は、機器３０の形態（形状、模様、若しくは色彩又はこれらの結合）の特徴を示す特徴量である。ここで、画像に写っているオブジェクトの特徴量を算出する技術は既知の技術であるため、機器３０の特徴量の算出方法に関する詳細な説明は省略する。

＜機器情報の詳細＞
機器情報は、機器の種類ごとに、その機器においてメータが設けられている場所を示す情報を含む。図５は、機器情報をテーブル形式で例示する図である。機器情報３００は、種類ＩＤ３０２、特徴量３０４、及びメータ領域３０６という３つの列を有する。種類ＩＤ３０２は、メータの種類ごとに定められている識別子（ID: Identifier）である。特徴量３０４は、種類ＩＤ３０２で特定される種類の機器の特徴量を表す。メータ領域３０６は、種類ＩＤ３０２で特定される種類の機器においてメータが配置されている領域を表す。

メータ領域３０６は、水平位置３０８、垂直位置３１０、幅３１２、及び高さ３１４という４つの値の組み合わせからなる。図６は、メータ領域３０６を定める４つの値を説明するための図である。水平位置３０８は、メータ領域３０６の左端の水平方向の位置（図６の x1）を表す。垂直位置３１０は、メータ領域３０６の上端の垂直方向の位置（図６の y1）を表す。なお、図６において水平位置３０８及び垂直位置３１０は、機器３０の上端を通る水平方向の線を Ｘ 軸とし、機器３０の左端を通る垂直方向の線を Ｙ 軸とし、機器３０の幅と高さをそれぞれ１とする相対位置で表されている。よって、x1 と y1 は１未満の値となる。

幅３１２はメータ領域３０６の幅（図６の w1）を表す。高さ３１４はメータ領域３０６の高さ（図６の h1）を表す。なお、図５において幅３１２と高さ３１４はそれぞれ、機器３０の幅と高さを１とした相対値で表されている。よって、w1 と h1 は１未満の値となる。

なお、メータ領域３０６を定める各値は、機器３０上におけるメータ領域４０の位置を特定できればよく、各値の定め方は上述した方法に限定されない。

ここで、特徴量３０４とメータ領域３０６に示す情報は、図６のように機器３０を正面から撮像した場合の情報に限定されない。例えば機器情報は、１つの種類の機器３０について、複数の角度から撮像した場合それぞれの特徴量３０４とメータ領域３０６を定めておいてもよい。こうすることで、カメラ２０が機器３０を正面以外の方向から撮像した場合でも、情報処理装置２０００は、その撮像方向に応じたメータ領域３０６を用いて、機器３０上のメータの位置を精度よく把握することができる。

＜機器情報取得部２０４０の詳細＞
機器情報取得部２０４０は、特徴量算出部２０２０によって算出された機器３０の特徴量を用いて、機器３０の種類に対応する機器情報を取得する（Ｓ１０６）。ここで、機器情報は、機器情報記憶部２０５０に記憶されている。機器情報記憶部２０５０は、情報処理装置２０００の内部に設けられてもよいし、外部に設けられてもよい。

機器情報取得部２０４０が特徴量を用いて取得すべき機器情報を特定する方法は様々である。例えば機器情報取得部２０４０は、特徴量算出部２０２０によって算出された特徴量との一致度合いが最も高い特徴量を示す機器情報を取得する。また例えば、機器情報取得部２０４０は、特徴量算出部２０２０によって算出された特徴量との一致度合いが所定値以上である機器情報を取得する。この場合、機器情報取得部２０４０は、複数の機器情報を取得してもよい。

なお、機器情報取得部２０４０は、特徴量算出部２０２０によって算出された特徴量との一致度合いが所定値以上である特徴量を示す機器情報が存在しない場合、その旨をユーザに報知してもよい。例えば機器情報取得部２０４０は、その旨を示す警告をディスプレイ装置１３００に出力する。こうすることで、ユーザに、再度機器３０をカメラ２０で撮像し直すことを促すことができる。

＜第１抽出部２０６０の詳細＞
第１抽出部２０６０は、取得された機器情報を用いて、撮像画像２２から、メータ３２が写っている部分画像２４を抽出する（Ｓ１０８）。具体的には、第１抽出部２０６０は、取得した機器情報を用いて、機器３０が写っている領域の中からメータ領域４０を特定する。そして、第１抽出部２０６０は、メータ領域４０を抽出することで部分画像２４を生成する。なお、画像の所定位置からその一部を抽出して新たな画像を生成する技術は既知の技術であるため、その具体的な説明は省略する。

＜複数の機器３０の扱い方＞
撮像画像２２には、複数の機器３０が写っていてもよい。この場合、特徴量算出部２０２０は、撮像画像２２に写っている各機器３０について特徴量を算出する。機器情報取得部２０４０は、各機器３０について機器情報を取得する。そして、第１抽出部２０６０は、各機器情報に基づいて、各機器３０について部分画像２４を生成する。

図７は、１つの撮像画像２２から複数の部分画像２４を抽出する様子を例示する図である。図７では、メータを管理する複数の機器３０が、壁面に並べて取り付けられている。このように、カメラ２０の撮像範囲内に複数の機器３０が設置されている場合がある。そのため、１つの撮像画像２２から複数の部分画像２４を抽出するようにすることで、複数のメータの画像を効率よく抽出することができる。

［実施形態２］
図８は、実施形態２に係る情報処理装置２０００を例示するブロック図である。図８において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。特に説明する場合を除き、実施形態２の情報処理装置２０００は、実施形態１の情報処理装置２０００と同様の機能を有する。

実施形態２の情報処理装置２０００は抽出情報生成部２０８０を有する。抽出情報生成部２０８０は抽出情報を生成する。抽出情報は、第１抽出部２０６０によって抽出された部分画像２４に関する情報である。具体的には、抽出情報は、部分画像２４に写っているメータが示す値（以下、メータ値）、撮像画像２２が生成された日時、撮像画像２２が生成された場所（撮像された機器３０が設置されている場所）、又は部分画像２４を含む。

図９は、抽出情報をテーブル形式で例示する図である。抽出情報２００は、メータ値２０２、日時２０４、場所２０６及び部分画像２０８という４つの列を有する。部分画像２０８には、部分画像２４そのもの（画像ファイル）や部分画像２４の識別子（画像ファイルのパス名など）が格納される。

＜メータ値２０２の設定方法＞
メータ値２０２は、ユーザによって手動で入力される値であってもよいし、情報処理装置２０００によって自動で設定される値であってもよい。前者の場合、情報処理装置２０００のユーザは、実際のメータ又は撮像画像２２に写っているメータから値を読み取って、読み取った値を手動で情報処理装置２０００に入力する。例えばユーザは、タッチパネルやキーボードなどを用いて情報処理装置２０００に対してメータの値を入力する。

一方、メータ値２０２を情報処理装置２０００が自動で設定する場合、情報処理装置２０００は、部分画像２４を用いてメータ値を特定する。そして、この特定したメータ値をメータ値２０２に設定する。部分画像２４を用いてメータ値を特定する機能構成部を、メータ値特定部２１００と呼ぶ。図１０は、メータ値特定部２１００を有する実施形態２の情報処理装置２０００を例示するブロック図である。

部分画像２４に写っているメータがアナログメータである場合、例えばメータ値特定部２１００は、部分画像２４を画像解析することで、メータの針の角度を割り出す。そして、メータ値特定部２１００は、その角度から、メータ値を特定する。針の角度とメータ値との対応関係は、例えば機器３０の種類ごとに、機器情報記憶部２０５０に記憶されている機器情報で予め定めておく。

部分画像２４に写っているメータがデジタルメータである場合、例えばメータ値特定部２１００は、部分画像２４に対して文字認識処理を行うことで、メータが示すデジタル値を特定する。ここで、メータ値特定部２１００は、部分画像２４に写っているメータの値を特定するための補助的な情報（以下、補助情報）を取得して利用してもよい。例えば補助情報は、デジタルメータの桁数を示す。また例えば、デジタルメータの値が小数点で区切られている値の場合、補助情報は小数点の位置を示す。

補助情報は、各機器の種類ごとに、機器情報３００に示されているものとする。メータ値特定部２１００は、機器情報取得部２０４０によって取得された機器情報３００に示されている補助情報を利用して、メータ値の特定を行う。補助情報を用いることにより、メータ値特定部２１００によるメータ値の特定の精度を向上させたり、メータ値特定部２１００が処理に要する時間を短くしたりすることができる。

＜日時２０４の設定方法＞
日時２０４には、例えば撮像画像２２の生成日時が設定される。撮像画像２２の生成日時は、例えば撮像画像２２のメタデータに含まれている。撮像画像２２のメタデータは、撮像画像２２を生成したカメラ２０によって撮像画像２２に設定される情報である。また、日時２０４は、ユーザによって手動で入力されてもよい。

＜場所２０６の設定方法＞
場所２０６には、機器３０が設置されている場所の部屋番号、建物名、部屋や建物内の区画に付けられた名称、住所、又は Global Positioning System（GPS）座標など、場所を表す任意の情報が設定される。例えば GPS 座標は、撮像画像２２のメタデータに含まれている。また例えば、抽出情報生成部２０８０は、撮像画像２２のメタデータに含まれている GPS 座標を、部屋番号、建物名、部屋や建物内の区画に付けられた名称、又は住所などに変換してもよい。この場合、GPS 座標と部屋番号等との対応関係が、情報処理装置２０００の内部又は外部の記憶装置に予め格納されているものとする。

＜抽出情報の修正＞
情報処理装置２０００は、生成した抽出情報をユーザに提示し、その修正を受け付ける機能を有してもよい。この機能を有する機能構成部を、修正受付部２１６０と呼ぶ。図１１は、修正受付部２１６０を有する実施形態２の情報処理装置２０００を例示する図である。

例えば修正受付部２１６０は、情報処理装置２０００を実現する計算機１０００に接続されているディスプレイ装置１３００に、抽出情報を示すウインドウを表示する。このウインドウを見たユーザは、例えば抽出情報の誤っている箇所を修正する入力を行う。例えばメータ値２０２が情報処理装置２０００によって自動で設定された場合に、この設定されたメータ値２０２に誤りがあったとする。この場合、ユーザは、正しいメータ値の入力を行う。

ユーザは、抽出情報に対して情報を追加する入力を行ってもよい。例えばユーザは、情報処理装置２０００によって建物名が自動で設定された場所２０６に対して、機器３０が設置されている場所の部屋番号や区画名などの情報を追加する入力を行う。

＜ハードウエア構成例＞
実施形態２の情報処理装置２０００は、実施形態１の情報処理装置２０００と同様に、計算機１０００で実現される。実施形態２の計算機１０００のストレージ１０８０は、上述した情報処理装置２０００の各機能を実現するプログラムモジュールをさらに有する。

＜作用・効果＞
本実施形態によれば、部分画像２４に写っているメータの値などを示す抽出情報２００が生成される。こうすることで、メータに関する情報を記憶したり、ユーザに提示したりすることができる。特に、メータ値特定部２１００によって部分画像２４からメータ値が自動で特定される場合、メータを読み取る作業に要するユーザの労力を軽減することができる。また、撮像画像２２に複数の機器３０が写っている場合、メータ値特定部２１００によって各機器３０のメータ値を自動で特定することにより、複数のメータの値を短い時間で把握できる。

さらに、情報処理装置２０００が修正受付部２１６０を有する場合、情報処理装置２０００によって自動で生成された抽出情報２００をユーザが修正したり、抽出情報２００に対してユーザが情報を追加したりすることができる。そのため、抽出情報２００が示す情報をより正確なものにすることができる。

［実施形態３］
図１２は、実施形態３に係る情報処理装置２０００を例示するブロック図である。図１２において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。特に説明する場合を除き、実施形態３の情報処理装置２０００は、実施形態１又は２の情報処理装置２０００と同様の機能を有する。図１２に示す情報処理装置２０００は、実施形態２と同様の機能を有する。

実施形態３の情報処理装置２０００は、撮像画像２２から、機器３０の識別子（ＩＤ）を表す部分画像（以下、第２部分画像）をさらに抽出する。図１３は、実施形態３の情報処理装置２０００の動作を概念的に説明するための図である。情報処理装置２０００は、撮像画像２２から、機器３０の識別子が表示されている領域（ＩＤ領域４２）内の画像を、第２部分画像２６として抽出する。

上述の機能を実現するために、本実施形態の機器情報は、機器の種類ごとに、ＩＤ領域４２の位置をさらに示す。また、実施形態３の情報処理装置２０００は第２抽出部２１２０をさらに有する。第２抽出部２１２０は、機器情報取得部２０４０によって取得された機器情報を用いて、撮像画像２２から、機器３０の識別子が写っている第２部分画像２６を抽出する。

図１４は、本実施形態における機器情報３００を例示する図である。本実施形態の機器情報３００は、ＩＤ領域３１６をさらに有する。また、ＩＤ領域３１６は、水平位置３１８、垂直位置３２０、幅３２２、及び高さ３２４で構成される。ＩＤ領域３１６を水平位置３１８、垂直位置３２０、幅３２２、及び高さ３２４で定める方法は、メータ領域３０６を水平位置３０８、垂直位置３１０、幅３１２、及び高さ３１４で定める方法と同様である。なお、ＩＤ領域３１６の定め方は、メータ領域３０６の定め方と同様に、水平位置３１８などを用いる方法に限定されない。

撮像画像２２に機器３０が複数写っている場合、第２抽出部２１２０は、複数の機器３０それぞれについて、第２部分画像２６を抽出する。

＜抽出情報２００について＞
本実施形態の情報処理装置２０００が抽出情報生成部２０８０を有する場合、抽出情報は、第２部分画像２６に関する情報をさらに含む。図１５は、第２部分画像２６に関する情報をさらに含む抽出情報２００を例示する図である。抽出情報２００は、機器ＩＤ２１０及び第２部分画像２１２という２つの列をさらに有する。

機器ＩＤ２１０は、メータ値２０２と同様に、手動で設定されてもよいし、自動で設定されてもよい。後者の場合、実施形態３の情報処理装置２０００は識別子特定部２１４０をさらに有する。図１６は、識別子特定部２１４０を有する実施形態３の情報処理装置２０００を例示するブロック図である。例えば識別子特定部２１４０は、第２部分画像２６に対して文字認識処理を行うことで、第２部分画像２６に写っている機器３０のＩＤを特定する。

ここで、識別子特定部２１４０は、第２部分画像２６に写っているＩＤを特定するための補助的な情報（以下、第２補助情報）を取得して利用してもよい。例えば第２補助情報は、機器３０のＩＤの桁数を示す。また例えば、第２補助情報は、機器３０のＩＤの各桁の文字の種類（数値、英字、又は固定文字など）を示す。機器３０のＩＤの各桁の文字の種類は、例えば正規表現を用いて表すことができる。

第２補助情報は、各機器の種類ごとに、機器情報３００に示されているものとする。識別子特定部２１４０は、機器情報取得部２０４０によって取得された機器情報３００に示されている第２補助情報を利用して、機器３０のＩＤの特定を行う。第２補助情報を用いることにより、識別子特定部２１４０による機器３０のＩＤの特定の精度を向上させたり、識別子特定部２１４０が処理に要する時間を短くしたりすることができる。

第２部分画像２１２は、部分画像２０８と同様に、第２部分画像２６そのもの又は第２部分画像２６のＩＤなどを示す。

本実施形態の情報処理装置２０００が修正受付部２１６０を有する場合、修正受付部２１６０は、機器ＩＤ２１０の修正をさらに受け付けてもよい。

＜ハードウエア構成例＞
実施形態３の情報処理装置２０００は、実施形態１の情報処理装置２０００と同様に、計算機１０００で実現される。実施形態３の計算機１０００のストレージ１０８０は、上述した情報処理装置２０００の各機能を実現するプログラムモジュールをさらに有する。

＜作用・効果＞
本実施形態の情報処理装置２０００によれば、実施形態１の情報処理装置２０００によってメータを表す部分画像２４の抽出に要する計算時間や計算機リソース量を少なくすることができる理由と同様の理由により、機器３０のＩＤを表す第２部分画像２６の抽出に要する計算時間や計算機リソース量を少なくすることができる。

また、識別子特定部２１４０によって部分画像２４から機器３０のＩＤが自動で特定される場合、機器３０のＩＤを読み取る作業に要するユーザの労力を軽減することができる。また、撮像画像２２に複数の機器３０が写っている場合、識別子特定部２１４０によって各機器３０のＩＤを自動で特定することにより、各機器３０のＩＤを短い時間で把握できる。

以下、情報処理装置２０００の具体的な利用方法を実施例として示す。以下の実施例は、あくまで情報処理装置２０００の具体的な利用形態の一例であり、情報処理装置２０００の利用形態を限定するものではない。

［実施例１］
図１７は、実施例１の情報処理装置２０００を実現する計算機を例示する図である。本実施例の情報処理装置２０００を実現する計算機はタブレット端末５０である。タブレット端末５０は、カメラ５２及びタッチパネル５４を備える。カメラ５２は、前述したカメラ２０に相当し、機器３０の撮像に利用される。タッチパネル５４は、ユーザに対する情報の表示、及びユーザによる入力操作の認識に利用される。

本実施例において、タブレット端末５０のユーザは、タブレット端末５０を操作しながら、建物に備えられている機器の点検を行う。タブレット端末５０には、機器３０の点検作業に用いるアプリケーション（以下、点検アプリケーション）がインストールされている。また、タブレット端末５０には、ユーザが行う検作業の一覧がスケジュールとして登録されている。以下、タブレット端末５０を用いた点検作業の手順を複数例示する。

＜点検作業の手順１＞
ユーザが点検アプリケーションを起動すると、ユーザの点検作業のスケジュールがタッチパネル５４に表示される。図１８は、ユーザの点検作業のスケジュールがタッチパネル５４に表示される様子を例示する図である。ユーザは、選択エリア６０をタッチすることで、これから行う点検作業を選択する。

ユーザが、物件ＡＢＣの点検作業を行うために、選択エリア６０の１行目を選択したとする。この結果、物件ＡＢＣにおける点検場所の一覧が表示される。図１９は、点検場所の一覧がタッチパネル５４に表示される様子を例示する図である。ユーザは、選択エリア６２をタップすることで、これから点検を行う場所を選択する。

ユーザが、エントランスに設置されている機器３０の点検を行うために、選択エリア６２の１行目を選択したとする。この結果、物件ＡＢＣのエントランスに設置されている機器３０の一覧が表示される。図２０は、機器３０の一覧がタッチパネル５４に表示される様子を例示する図である。ユーザは、選択エリア６４をタップすることで、点検を行う機器３０を選択する。

ユーザが、電気メータ１の点検を行うために、選択エリア６４の１行目を選択したとする。この結果、電気メータ１に関する情報がタッチパネル５４に表示される。図２１は、電気メータ１に関する情報がタッチパネル５４に表示される様子を例示する図である。図２１において、今回メータ値６６及び確証写真６８は空欄となっている。今回メータ値６６は、今回の点検作業で読み取るメータの値を示す欄である。確証写真６８は、機器３０のメータ部分の画像を示す欄である。

ユーザは、今回の点検作業における電気メータ１の状態を記憶するため、電気メータ１をカメラ５２で撮像する。すると、まず特徴量算出部２０２０が、カメラ５２が生成した撮像画像を用いて、電気メータ１の全体の形態の特徴量を算出する。そして、機器情報取得部２０４０が、算出した特徴量に基づいて、電気メータ１の種類に対応する機器情報を取得する。この機器情報は、電気メータ１について、メータ領域４０及びＩＤ領域４２を示す。

次に、第２抽出部２１２０は、機器情報が示すＩＤ領域４２を用いて、撮像画像から機器のＩＤが写っている第２部分画像を抽出する。そして、識別子特定部２１４０が、その第２部分画像を用いて、撮像画像に写っている機器のＩＤを特定する。

ここで、情報処理装置２０００は、上記特定したＩＤが、図２１に示されている電気メータ１のＩＤと一致するか否かを判定する。これらが一致しない場合、撮像画像に写っている機器３０は電気メータ１ではないため、ユーザが撮像対象を誤った可能性がある。そこで、情報処理装置２０００は、機器のＩＤが一致しない旨のエラーメッセージをタッチパネル５４に出力する。

一方、識別子特定部２１４０によって特定されたＩＤが電気メータ１のＩＤと一致する場合、第１抽出部２０６０は、機器情報が示すメータ領域４０を用いて、電気メータ１の撮像画像からメータ部分の部分画像を抽出する。さらに、メータ値特定部２１００は、メータ部分の抽出画像から、電気メータ１のメータ値を特定する。

上述した各処理の結果、タッチパネル５４に表示されている電気メータ１に関する情報が更新される。図２２は、電気メータ１に関する情報が更新された様子を例示する図である。図２２において、第１抽出部２０６０によって抽出された部分画像が、確証写真６８に表示されている。さらに、メータ値特定部２１００によって特定されたメータ値が、今回メータ値６６に表示されている。

ユーザは、今回メータ値６６と確証写真６８に写っているメータの部分画像とを比較して、今回メータ値６６の値が正しいか否かを判断する。もし今回メータ値６６の値が誤っている場合、ユーザは、今回メータ値６６をタップして、正しい値を入力する。

ここで、本実施例において、機器情報３００は、各実施形態で説明した種々の情報に加え、メータの種類ごとに、１）メータ値の単位、及び２）メータ値の正常値の範囲をさらに示している。図２２において、タブレット端末５０は、前回メータ値６５及び今回メータ値６６の欄に、メータ値に加え、メータ値の単位（kWh）を表示している。

またタブレット端末５０は、今回メータ値６６が、機器情報３００に示されているメータ値の正常値の範囲に含まれているか否かを判定する。ここで、機器情報３００に示されているメータ値の正常値の範囲が「前回メータ値６５と今回メータ値との差分が 3,000 以上 6,000 以下」であったとする。図２２に示されている例では、前回メータ値６５と今回メータ値６６との差分が 9,192 であるため、今回メータ値６６がメータ値の正常値の範囲に含まれていない。そのため、タブレット端末５０は、コメント欄７０に、「異常なメータ値です」というメッセージを自動で入力する。一方、今回メータ値６６がメータ値の正常値の範囲内であれば、タブレット端末５０は、コメント欄７０に「正常なメータ値です」というメッセージを自動で入力する。

なおユーザは、タブレット端末５０によって自動入力されるメッセージの他に、任意のコメントをコメント欄７０に入力することができる。

ユーザは、上述した方法と同様の方法で、他の機器３０についても点検を行う。

＜点検作業の流れ２＞
ユーザは、点検アプリケーションを起動する。次にユーザは、カメラ５２で点検対象の機器３０を撮像する。するとタブレット端末５０は、撮像された機器３０について、機器３０のＩＤの特定、機器３０のメータ部分の部分画像の抽出、及び機器３０のメータ値の特定などが行う。そして、タブレット端末５０は、特定した機器３０のＩＤに対応づけて、部分画像やメータ値を記憶する。つまりタブレット端末５０は、前述した抽出情報を生成して記憶する。

情報処理装置２０００によって自動で生成及び記憶された機器３０に関する情報を確認したい場合、例えばユーザは、図１９から図２１で示した画面を順にたどって、タッチパネル５４に、点検対象の機器３０に関する情報を表示させる。例えば点検対象の機器３０が電気メータ１である場合、図２２で例示した画面がタッチパネル５４に表示される。この画面を見ることで、ユーザは、点検対象の機器３０に関する情報が自動で生成されたことを確認する。

なおユーザは、点検アプリケーションを起動してすぐに機器３０を撮像するのではなく、点検対象の機器３０の候補の絞り込みを行ってから機器３０を撮像してもよい。例えばユーザは、タッチパネル５４でスケジュールや点検場所などを途中まで選択した後で機器３０を撮像する。例えばユーザは、図２０で点検場所を選択した後、機器３０の撮像を行う。こうすることで、点検対象の機器３０の候補が、選択された点検場所に設置されている機器３０に絞られる。そのため、機器情報取得部２０４０が機器３０の特徴量から機器の種類を特定する際に、その特徴量との一致度合いを計算しなければならない機器の種類の数を減らすことができる。

例えば機器情報記憶部２０５０に登録されている機器の種類が１００種類あっても、選択した点検対象の場所に設置されている機器の種類が３種類であれば、機器情報取得部２０４０は、算出された機器の特徴量と、この３種類の機器の特徴量との一致度合いをそれぞれ比較すればよい。そのため、機器の種類の特定に要する計算時間が短くなる。

点検対象の機器３０の候補の絞り込みは、上述した方法に限定されない。例えば、タブレット端末５０は、タブレット端末５０の位置情報（GPS 座標など）を用いて、点検対象の機器３０の候補を絞り込む。具体的には、タブレット端末５０は、点検対象の機器３０の候補を、タブレット端末５０との距離が所定値以下である機器３０に絞り込む。この場合、機器情報記憶部２０５０に記憶されている機器情報は、機器の種類ごとに、その種類の機器が設置されている場所を示す。或る種類の機器が複数の場所に設置されている場合、機器情報は、その種類に対応づけてそれら複数の場所を示す。

また例えば、タブレット端末５０は、点検対象の機器３０の候補を、点検作業を行っているユーザに基づいて絞り込んでもよい。例えば各ユーザが点検を担当する機器３０や点検場所が決まっている場合、タブレット端末５０は、点検対象の機器３０の候補を、現在点検作業を行っているユーザが担当している機器３０や、そのユーザが担当している点検場所に設置されている機器３０に絞り込む。

点検作業を行っているユーザを特定する方法は様々である。例えば点検アプリケーションやタブレット端末５０にログイン機能があるとする。この場合、タブレット端末５０は、点検作業を行っているユーザを、タブレット端末５０や上記アプリケーションにログインしているユーザとする。また、タブレット端末５０がユーザごとに用意されている場合、タブレット端末５０は、点検作業を行っているユーザを、タブレット端末５０の所有者とする。

［実施例２］
図２３は、実施例２における情報処理装置２０００の利用方法を例示する図である。実施例２において、機器３０は、監視カメラ８０によって撮像される。情報処理装置２０００は、この監視カメラ８０によって生成される撮像画像を取得して処理する。例えば情報処理装置２０００は、１つ又は複数の監視カメラ８０によって撮像された撮像画像を収集して処理するサーバ装置である。

上記監視カメラ８０は、１つ又は複数の機器３０を撮像できる場所に固定で設置される。なお、上記監視カメラ８０は、機器３０の撮像のみを行ってもよいし、機器３０の撮像に加えてその他の場所の撮像を行ってもよい。

情報処理装置２０００は、定期的又は不定期に、監視カメラ８０によって生成された撮像画像を取得する。そして情報処理装置２０００は、この撮像画像を対象として各実施形態で説明した処理を行うことにより、抽出情報の生成及び記憶を自動的に行う。こうすることで、機器３０を遠隔で監視することができるようになり、ユーザの点検作業の負担が軽減される。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、及び上記実施形態以外の様々な構成を採用することもできる。

以下、参考形態の例を付記する。
１． 画像を処理することにより、その画像に写っている機器の特徴量を算出する特徴量算出手段と、
機器の種類ごとに、その種類の機器においてメータが配置されている機器上の位置を示す機器情報を記憶している機器情報記憶手段から、前記算出された特徴量に対応する種類の機器の機器情報を取得する機器情報取得手段と、
前記取得された機器情報を用いて、前記画像からメータが写っている第１の部分画像を抽出する第１抽出手段と、を有する情報処理装置。
２． 前記特徴量算出手段は、前記画像に写っている機器の形態の特徴量を算出する、１．に記載の情報処理装置。
３． 前記抽出された第１の部分画像に写っているメータの値を特定するメータ値特定手段を有する、２．に記載の情報処理装置。
４． 前記メータの値と、前記画像が生成された日時又は場所を表す情報とを対応付けた抽出情報を生成する抽出情報生成手段を有する、１．乃至３．いずれか一つに記載の情報処理装置。
５． 前記機器情報はさらに、機器の種類ごとに、機器の識別子が表示されている機器上の位置を示し、
前記取得された機器情報を用いて、前記画像から機器の識別子が写っている第２の部分画像を抽出する第２抽出手段を有する、１．乃至４．いずれか一つに記載の情報処理装置。
６． 前記抽出された第２の部分画像に写っている識別子を特定する機器識別子特定手段を有する、５．に記載の情報処理装置。
７． 前記機器の識別子と、前記画像が生成された日時又は場所を表す情報とを対応付けた第２の抽出情報を生成する第２抽出情報生成手段を有する、５．又は６．に記載の情報処理装置。
８． コンピュータによって実行される制御方法であって、
画像を処理することにより、その画像に写っている機器の特徴量を算出する特徴量算出ステップと、
機器の種類ごとに、その種類の機器においてメータが配置されている機器上の位置を示す機器情報を記憶している機器情報記憶手段から、前記算出された特徴量に対応する種類の機器の機器情報を取得する機器情報取得ステップと、
前記取得された機器情報を用いて、前記画像からメータが写っている第１の部分画像を抽出する第１抽出ステップと、を有する制御方法。
９． 前記特徴量算出ステップは、前記画像に写っている機器の形態の特徴量を算出する、８．に記載の制御方法。
１０． 前記抽出された第１の部分画像に写っているメータの値を特定するメータ値特定ステップを有する、９．に記載の制御方法。
１１． 前記メータの値と、前記画像が生成された日時又は場所を表す情報とを対応付けた抽出情報を生成する抽出情報生成ステップを有する、８．至１０いずれか一つに記載の制御方法。
１２． 前記機器情報はさらに、機器の種類ごとに、機器の識別子が表示されている機器上の位置を示し、
前記取得された機器情報を用いて、前記画像から機器の識別子が写っている第２の部分画像を抽出する第２抽出ステップを有する、８．乃至１１．いずれか一つに記載の制御方法。
１３． 前記抽出された第２の部分画像に写っている識別子を特定する機器識別子特定ステップを有する、１２．に記載の制御方法。
１４． 前記機器の識別子と、前記画像が生成された日時又は場所を表す情報とを対応付けた第２の抽出情報を生成する第２抽出情報生成ステップを有する、１２．又は１３．に記載の制御方法。
１５． コンピュータに、８．乃至１４．いずれか一つに記載の制御方法が有する各ステップを実行させるプログラム。

２０ カメラ
２２ 撮像画像
２４ 部分画像
２６ 第２部分画像
３０ 機器
３２ メータ
４０ メータ領域
４２ ＩＤ領域
５０ タブレット端末
５２ カメラ
５４ タッチパネル
６０、６２、６４ 選択領域
６５ 前回メータ値
６６ 今回メータ値
６８ 確証写真
７０ コメント欄
８０ 監視カメラ
２００ 抽出情報
２０２ メータ値
２０４ 日時
２０６ 場所
２０８ 部分画像
２１０ 機器ＩＤ
２１２ 第２部分画像
３００ 機器情報
３０２ 種類ＩＤ
３０４ 特徴量
３０６ メータ領域
３０８ 水平位置
３１０ 垂直位置
３１２ 幅
３１４ 高さ
３１６ ＩＤ領域
３１８ 水平位置
３２０ 垂直位置
３２２ 幅
３２４ 高さ
１０００ 計算機
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージ
１１００ 入出力インタフェース
１３００ ディスプレイ装置
２０００ 情報処理装置
２０２０ 特徴量算出部
２０４０ 機器情報取得部
２０５０ 機器情報記憶部
２０６０ 第１抽出部
２０８０ 抽出情報生成部
２１００ メータ値特定部
２１２０ 第２抽出部
２１４０ 識別子特定部
２１６０ 修正受付部

Claims (9)

1. 画像を処理することにより、その画像に写っている機器の特徴量を算出する特徴量算出手段と、
   機器の種類ごとに、その種類の機器において、計測値を外部から視認可能に表示する表示部が配置されている機器上の位置を示す機器情報を記憶している機器情報記憶手段から、前記算出された特徴量に対応する種類の機器の機器情報を取得する機器情報取得手段と、
   前記取得された機器情報を用いて、前記画像から前記表示部を表す第１の部分画像を抽出する第１抽出手段と、を有する情報処理装置。
2. 前記特徴量算出手段は、前記画像に写っている機器の形態の特徴量を算出する、請求項１に記載の情報処理装置。
3. 前記抽出された第１の部分画像によって表される前記表示部の計測値を特定する計測値特定手段を有する、請求項２に記載の情報処理装置。
4. 前記表示部の計測値と、前記画像が生成された日時又は場所を表す情報とを対応付けた抽出情報を生成する抽出情報生成手段を有する、請求項１乃至３いずれか一項に記載の情報処理装置。
5. 前記機器情報はさらに、機器の種類ごとに、機器の識別子が表示されている機器上の位置を示し、
   前記取得された機器情報を用いて、前記画像から機器の識別子が写っている第２の部分画像を抽出する第２抽出手段を有する、請求項１乃至４いずれか一項に記載の情報処理装置。
6. 前記抽出された第２の部分画像に写っている識別子を特定する機器識別子特定手段を有する、請求項５に記載の情報処理装置。
7. 前記機器の識別子と、前記画像が生成された日時又は場所を表す情報とを対応付けた第２の抽出情報を生成する第２抽出情報生成手段を有する、請求項５又は６に記載の情報処理装置。
8. コンピュータによって実行される制御方法であって、
   画像を処理することにより、その画像に写っている機器の特徴量を算出する特徴量算出ステップと、
   機器の種類ごとに、その種類の機器において、計測値を外部から視認可能に表示する表示部が配置されている機器上の位置を示す機器情報を記憶している機器情報記憶手段から、前記算出された特徴量に対応する種類の機器の機器情報を取得する機器情報取得ステップと、
   前記取得された機器情報を用いて、前記画像から前記表示部を表す第１の部分画像を抽出する第１抽出ステップと、を有する制御方法。
9. コンピュータに、請求項８に記載の制御方法が有する各ステップを実行させるプログラム。

Images