JP6957679B1 - 情報処理装置およびコンピュータプログラム - Google Patents

Abstract

【課題】メータの計測値を機器で読み取る検針作業において、検針員の作業負荷を軽減することが可能な情報処理装置およびコンピュータプログラムを提供する。【解決手段】実施形態の情報処理装置は、検出部と、検針部とを備える。検出部は、画像データに基づいて、計測値を表示した部分の画像を検出し、検針部は、検出部が計測値を表示した部分の画像を検出した場合に、画像から計測値を求める。【選択図】 図３

Description

この発明の実施形態は、情報処理装置およびコンピュータプログラムに関する。

従来より、オフィスビルや工場、公共施設などに設置されている設備機器に対する検針業務として、点検員は、それら設備機器の稼働状態が示されているメータを検針し設備の保全を行っている。また近年は、人手による検針作業を不要とすべく、稼働状態を示す計測データをネットワークを介してサーバへ送信し、このサーバで保存・管理ができるシステムに対応した高性能な設備機器が投入されつつある。

しかし、このようなシステムに対応する設備機器は高価であることから普及するまでには至らず、未だに点検員による検針を行う設備機器は多数存在し、点検員の目視による検針作業は依然として行われている。また一般家屋のガス、電気、水道の検針作業にいたっては、検針員が個々に赴いて検針を行うのが一般的である。

近時、メータの検針作業を支援するサービスが提供されている。このサービスでは、AI（Artificial Intelligence）を活用してメータ値を機器で読み取るが、検針の作業現場において、点検員や検針員は、１）メータの撮影、２）AIによる画像認識、３）画像認識の結果の確認、４）帳票への入力を行う必要がある。

これらの作業ルーチンは、従前の紙帳票による検針よりも、時間がかかる場合がある。時間がかかると、例えば屋外での作業の場合、季節や天候によっては検針員への身体的負荷は大きくなるおそれがある。

特許第６５１４３９０号公報

本発明が解決しようとする課題は、メータの計測値を機器で読み取る検針作業において、検針員の作業負荷を軽減することが可能な情報処理装置およびコンピュータプログラムを提供することを目的とする。

実施形態の情報処理装置は、検出部と、検針部とを備える。検出部は、画像データに基づいて、計測値を表示した部分の画像を検出し、検針部は、検出部が計測値を表示した部分の画像を検出した場合に、画像から計測値を求める。

この発明に係わる情報処理装置を含む情報処理システムの概略を示す図。 図１に示した携帯型端末装置の構成を示す回路ブロック図。 図２に示した携帯型端末装置の動作を説明するためのフローチャート。 図２に示した動作の２次元バーコード読み取り時の表示例を示す図。 図２に示した動作の計測値の読み取り時の表示例を示す図。 図２に示した動作の２次元バーコード読み取り時の警告表示例を示す図。 図２に示した動作の計測値の読み取り時の表示例を示す図。 図２に示した動作の検針値の修正時の表示例を示す図。 図２に示した動作の帳票の入力時の表示例を示す図。

以下、図面を参照して、一実施形態について説明する。
図１は、一実施形態に係わる情報処理装置およびコンピュータプログラムを含む情報処理システムの構成を示すものでる。この情報処理システムは、メータが計測した値を読み取る検針にかかるものである。検針によって得られた検針値は、帳票の作成などに利用される。帳票は、例えば、利用料金の請求などに関わるものが考えられる。

なお、以下の説明では、上記情報処理装置およびコンピュータプログラムを、オフィスビルや工場、公共施設、一般家屋などに設置されたガス、電気、水道などのメータの検針作業に適用した場合を例に挙げて説明する。

この例では特に、検針員（あるいは点検員）が個々の家屋やビルディング、施設などを訪問し、それらもしくはそれらの近傍にそれぞれ設置された電気メータを検針する場合を例挙げてに説明する。以下、設置された場所を検針現場と称する。

この情報処理システムは、図１に示すように、携帯型端末装置１００、無線基地局２００、クライアント端末３００、サーバ４００、ネットワーク５００を備える。そして、サーバ４００が、携帯型端末装置１００あるいはクライアント端末３００と通信し、これらに代わって情報処理などを行って、メータの検針に関わるクラウドコンピューティングを実現する。このシステムでは、検針現場に設置されたメータＭＴ１〜ＭＴｎから得られる情報を処理し、例えば使用量の請求などに関わる帳票の作成を行う。

メータＭＴ１〜ＭＴｎは、例えば、電気の使用量、上水道の使用量、下水道への排水量、ガスの使用量などの数値やそれらを利用する機器の稼働状態を示す数値を計測し、表示する機器である。メータＭＴ１〜ＭＴｎは、インフラやライフラインに関する数値を計測するものが想定されるが、これら以外を計測するものであってもよい。

なお、以下の説明では、各メータＭＴ１〜ＭＴｎが計測した数値を計測値と称する。また、この計測値を検針員が携帯型端末装置１００を操作して読み取り、記録あるいは報告する値を、検針値と称する。すなわち、計測値と検針値は、実質的には同じ値になる。

また各メータは、計測値を表示する面あるいは近傍に、２次元バーコードが印刷されたシールが付与されている。この２次元バーコードは、付与されているメータを他のメータと区別するためのマスターコードを含んでいる。以下の説明では、２次元バーコードとして、ＱＲコード（登録商標）を適用した場合を例に説明する。

このマスターコードは、例えば複数の英数字であって、付与されるメータに固有のものであってもよいし、同一施設内の他のメータと区別するレベルで固有のものでもよいし、特定の地域（例えば、行政区画など）内で他のメータと区別するレベルで固有のものであってもよい。

その他、２次元バーコードには、属性（電気、ガス、水道、供給事業体、設置場所、製造日時、設置日時、性能を示す諸元など）を示す属性情報や、検針値を集計するために使用するアプリケーションソフトウェアや、そのアプリケーションソフトウェアが作成する集計表の入力欄を指定する入力指定情報などを含めるようにしてもよい。

また２次元バーコードは、所定のアルゴリズムによって解読されることで、上記マスターコードが得られる。なお、このマスターコードを示す文字列を、２次元バーコードとともに上記シールなどに印刷するようにしてもよい。

また各メータは、その表示部分において、回転式またはデジタル式のいずれの方式で計測値を示す。デジタル式の場合は、例えば、０〜９までの数字が表示される７セグメントディスプレイを複数使用し、前述した電気などの使用量や設備機器の稼働状態に応じて、数値（計測値）を示す構成が考えられる。回転式の場合は、例えば、０〜９までの数字が記載された数字車を複数用いたメカ式であって、使用量に応じて数字車が回転することで複数桁の数値（計測値）を示す直読式の構成が考えられる。

携帯型端末装置１００は、検針にあたって検針員が携帯し、検針現場に設置されたメータＭＴ１〜ＭＴｎの計測値を光学的に読み取って自動入力し、サーバ４００に送信するための情報処理装置である。詳細については、後述する。

無線基地局２００は、携帯型端末装置１００と無線通信し、携帯型端末装置１００をネットワーク５００に接続するものである。例えば、ネットワーク５００が事業所内に構築されたLANの場合、通信方式として無線LAN（IEEE802.11シリーズ）を採用したアクセスポイントである。またネットワーク５００が通信事業者の移動通信網の場合、３Ｇ、３．９Ｇ（ＬＴＥ（登録商標）など）、４Ｇ、５Ｇ等の規格に対応した無線通信を行う基地局装置である。

すなわち、無線LANや携帯電話網は例に過ぎず、携帯型端末装置１００を無線通信によりネットワーク５００に接続できるものであれば、これらの方式に限定されるものではなく、Bluetooth（登録商標）を含め、いずれの通信方式であっても適用可能である。また１つのネットワークに限らず、複数のネットワーク（例えば、構内ＬＡＮと移動通信網）が相互に接続されたものであってもよい。

クライアント端末３００は、当該システムの検針サービスの利用者の管理部門に設置され、その部門のオペレータが使用する端末であって、例えば、デスクトップ型あるいはラップトップ型のパーソナルコンピュータ等の情報処理装置である。

そして、クライアント端末３００は、携帯型端末装置１００によってサーバ４００にアップロードされたデータファイルをダウンロードし、参照・閲覧、編集・集計、データ変換・ファイル作成、帳票の発行などを行う機能を備える。

またクライアント端末３００は、携帯型端末装置１００の全ての機能または一部のデータ処理機能を備えて、携帯型端末装置１００と同様の処理を実行してもよい。すなわち、クライアント端末３００は、検針現場での撮影を除いて、携帯型端末装置１００でのデータ処理を代わりに行うように同様の機能を備えてもよい。

サーバ４００は、当該システムが提供するクラウドコンピューティングの中枢をなすものであって、携帯型端末装置１００やクライアント端末３００からアップロードされる情報の保存や管理、上記情報に所定のデータ処理を施したり、あるいはこの保存した情報やデータ処理した情報を携帯型端末装置１００やクライアント端末３００に提供（ダウンロード）し、システムの利用者間でのデータ共有を実現する。

また、サーバ４００は、携帯型端末装置１００やクライアント端末３００によるデータ処理の一部または全部を各装置に代わって担うことで、各装置のコンピュータ資源の節約を可能にする。そしてまたサーバ４００は、携帯型端末装置１００、クライアント端末３００が使用するOSやアプリケーションソフトウェアを各装置に提供したり、最新の情報にアップデートしてサービスを実現する。

したがって、サーバ４００のデータベースには、携帯型端末装置１００からアップロードされた検針データを保存し、携帯型端末装置１００やクライアント端末３００の各種プログラムが保存される。

サーバ４００によって提供されるサービスは、サービスの提供を受けるクライアントが所有する（あるいは貸与された）携帯型端末装置１００やクライアント端末３００に対して、サブスクリプション方式で提供することも考えられる。

次に、図２を参照して、携帯型端末装置１００について説明する。
携帯型端末装置１００は、メータの検針員が検針現場まで携帯し、オペレータとして使用する端末であって、スマートフォン、タブレット型コンピュータまたはラップトップ型のパーソナルコンピュータ等の携帯可能な情報処理装置である。

また携帯型端末装置１００は、図２に示すように、一般的なコンピュータと同様のハードウェア構成であり、バスで接続された、少なくとも通信部１０１、入力部１０２、表示部１０３、カメラ１０４、ＧＮＳＳ（Global Navigation Satellite System）受信部１０５、記憶部１０６、制御部１１０を備える。

通信部１０１は、無線基地局２００との間で無線通信リンクを確立して通信を行う無線通信インターフェースであって、無線基地局２００およびネットワーク５００を介して、サーバ４００と通信を行う。無線通信は、無線基地局２００の仕様に合わせた通信方式に対応する。この通信方式の例としては、無線LAN（IEEE802.11シリーズ）、３Ｇ、３．９Ｇ（ＬＴＥ（登録商標）など）、４Ｇ、５Ｇ、Bluetooth（登録商標）等、様々な規格が考えられるが、いずれでもかまわないし、これらに限定されるものでもない。

入力部１０２は、後述する表示部１０３上に載置されたタッチパネルや、携帯型端末装置の筐体上に設けられたキースイッチなどの入力デバイスを備え、検針員から種々の情報の入力や指示を検出する。上記タッチパネルは、尖筆（スタイラス）や指を使って入力が行えるものであり、静電容量方式や抵抗膜方式、投影型赤外線方式など種々の方式が適用可能である。

表示部１０３は、検針員に対して視覚的に情報を提供するものであり、例えば、情報の入力欄やソフトウェアキー、各種画像（写真、CG（コンピュータグラフィックス）画像）を表示する。

情報の入力欄やソフトウェアキーは、後述する制御部１１０の制御により、前述の入力部１０２に対する操作と対応するように表示がなされる。表示のために使用されるデバイスとしては、液晶パネルや有機EL（Electro Luminescence）パネル、電子ペーパーなど種々の表示デバイスが適用可能である。

カメラ１０４は、複数枚のレンズやこれらのレンズ間の距離を可変するズーム機構などを備えた光学系と、例えばCMOS（Complementary MOS）などのイメージセンサを備えた撮像部と、撮像部によって得られた撮像信号から所定の形式（例えば、JPEG（Joint Photographic Experts Group））の画像データを生成する信号処理部とを備えたデジタルカメラである。

なお、カメラ１０４によって得られた画像データには、上記時刻が撮影した日時や場所、撮影条件（シャッター速度や絞り値、画角、緯度や経度など）を示す付加情報（例えば、Exif（Exchangeable image file format）データ）が、制御部１１０によって付加されて記録される。

ＧＮＳＳ受信部１０５は、複数のＧＮＳＳ衛星や地上の基準局などから発射される信号を用いて位置測定（測位）を行ったり、現在時刻の受信などを行うものである。

記憶部１０６は、後述する制御部１１０のOS（Operating System）やアプリケーションソフトウェア、アプリケーションソフトウェアの運用に伴って生成されたデータ、各種パラメータ、検針員から入力されたデータ、カメラ１０４によって撮像された画像データ（メータＭＴ１〜ＭＴｎの計測値を撮影したものなど）、サーバ４００から取得（ダウンロード）したデータ、その他、情報処理のための一時的なデータなどを記憶するものであり、RAM（Random Access Memory）やROM（Read Only Memory）、SSD（Solid State Drive）などのフラッシュメモリ、HDD（Hard Disk Drive）などの記録デバイスがデータの特性に合わせて、組み合わせて設けられる。
また記憶部１０６は、帳票データ１０６ａと、設定情報データ１０６ｂと、メータ画像データ１０６ｃほか、様々なデータを記憶する。

帳票データ１０６ａは、所定の検針期間毎に、各メータの検針値を集計するために作成されるデータであって、新しいデータが作成されるとサーバ４００にアップロードされる。具体的には、帳票データ１０６ａは、検針現場ごとに作成されるデータである。帳票データ１０６ａは、メータ情報、メータ画像、今回の検針値、今回の使用量、前回の検針値、前回の使用量などの情報が対応付けられたデータであって、検針現場に複数のメータが設置されている場合には、各メータについて上記情報を含んでいる。

ここで、メータ情報は、メータを識別するためのマスターコード、メータが計測する対象を示す情報（テナント、駐車場、共有スペースなど）、種別（ガス、電気、水道など）を含む。メータ画像は、検針値の根拠となる画像、すなわち、検針の際に撮影した画像である。

今回の検針値は、今回の検針で読み取った値である。今回の使用量は、今回の検針値と前回の検針値の差分である。前回の検針値は、前回の検針で読み取った値である。前回の使用量は、前回の検針値と前々回の検針値の差分である。

設定情報データ１０６ｂは、各メータの検針値を集計するために必要な設定情報である。具体的には、帳票データ１０６ａと同様に、各検針現場の各メータ毎に作成されるものである。ここで、各メータ毎の設定情報データを、エントリデータと呼ぶことにする。

エントリデータは、そのメータのマスターコード、メータタイプ、メータの桁数、表示桁数、四捨五入の有無、小数点の位置、撮影条件（タイマの設定時間など）、使用すべき認識エンジンと解析エンジンの種別などを含む。

メータ画像データ１０６ｃは、検針のために、メータの検針値をカメラ１０４が撮影した画像データであり、実際に検針値を得るために使用された場合、その画像から計測値を表示する部分が切り取られ、メータ画像として上記帳票データ１０６ａに記録される。

制御部１１０は、CPU（Central Processing Unit）やGPU（Graphics Processing Unit）などのプロセッサ、チップセット、RAMやROMなどを備え、携帯型端末装置１００の各部を統括して制御する。

ROMは、ファームウェアや設定値（各種パラメータ）を記憶する。CPUは、上記ファームウェアにしたがって、記憶部１０６からOSやアプリケーションソフトウェアをRAMに読み込んで、OSやアプリケーションソフトウェアを実行し、またRAMをワークエリア（作業領域）として使用することで、各種制御機能を実現する。

制御部１１０は、OSやアプリケーションソフトウェアを実行することで、少なくとも以下の制御機能を実現する。すなわち、制御部１１０は、ソフトウェア（プログラム）を実行することにより、通信制御部１１１、入力制御部１１２、表示制御部１１３、画像処理部１１４、位置情報処理部１１５、検針データ集計処理部１１６として機能し、これらの機能が互いに連携して機能することができる。

なお、これらの各機能の一部または全部を他の機能と統合したり、あるいは１１１〜１１６の各機能を別の観点で複数の機能ブロックに切り分けて別の表現で説明することも可能である。

通信制御部１１１は、通信部１０１を制御して、所定の通信プロトコルに従って無線基地局２００と無線通信リンクを確立し、さらにネットワーク５００を通じてサーバ４００と通信を行うもので、例えば、サーバ４００からのデータダウンロードおよびサーバ４００へのデータアップロードを行う。

入力制御部１１２は、入力部１０２を制御し、入力部１０２が検出した結果から、入力部１０２に対する検針員の操作から検針員の要求を解釈したり、情報（文字列など）の入力、データの取り込みや紐づけの変更を受け付けたり、カメラ１０４によって撮像された画像データの取り込みなどを行う。

表示制御部１１３は、表示部１０３を制御して、文字や画像を含む種々の情報や、グラフィカルユーザインタフェイス（以下、GUI（Graphical User Interface））を表示させる。GUIの例としては、前述した情報の入力欄やソフトウェアキーであり、これらの表示は、入力部１０２のタッチパネルを通じた入力に対応している。その他、画像の取り込み位置を示したりするガイド表示を行う。

画像処理部１１４は、カメラ１０４によって撮像された画像データに対して画像処理を施すものであって、例えば、認識エンジンとしての機能と、解析エンジンとしての機能を備える。

認識エンジンは、カメラ１０４によって得られた画像データに対して、例えばＡＩ（Artificial Intelligence）などによるパターン認識によって、上記画像データに基づく画像から、ＱＲコードを検出したり、各種メータの計測値を表示する部分（以下、メータ部分と称する）に位置を検出する機能を備える。

一方、解析エンジンは、認識エンジンによって検出された部分の画像について、ＱＲコードの解読や、光学的文字認識などの文字認識処理（OCR（Optical Character Recognition））を実施する。解析エンジンは、文字認識処理については、複数種類が準備される。各解析エンジンは、特定のタイプのメータに対応し、それぞれの計測値の表示に合った解析アルゴリズムを用いて、表示される計測値をテキスト化する。

具体的には、メータによって、アラビア数字の書体が異なっていたり、数字と背景色の組み合わせが異なるため、それぞれのメータの表示に合った解析アルゴリズムを有する解析エンジンが準備されている。

位置情報処理部１１５は、加速度センサ、ジャイロセンサなどを備え、これらの検出結果と、ＧＮＳＳ受信部１０５による測位結果、および／または通信制御部１１１によって無線基地局２００から得た測位情報に基づいて、携帯型端末装置１００の位置を測位する。

検針データ集計処理部１１６は、検針データの集計に関わる種々の処理を統括して制御するものであって、帳票作成部１１６ａ、ＱＲコード処理部１１６ｂ、メータ検針部１１６ｃ、修正処理部１１６ｄを備える。

帳票作成部１１６ａは、検針によって得たデータに基づいて、帳票データ１０６ａを作成する処理を行う。
ＱＲコード処理部１１６ｂは、カメラ１０４によって得られた画像に含まれるＱＲコードを検出し、この検出したＱＲコードを解析する処理を行う。

メータ検針部１１６ｃは、ＱＲコード処理部１１６ｂの解析結果に基づいて、メータＭＴ１〜ＭＴｎの計測値を撮影し、画像解析により計測値をテキスト化して、検針値を得る処理を行う。
修正処理部１１６ｄは、メータ検針部１１６ｃによって得た検針値について、オペレータからの修正要求に応じて上記検針値を修正する処理を行う。

なお、特許請求の範囲の検出部、検針部、タイマ始動部は、メータ検針部１１６ｃに対応する。また、特許請求の範囲の表示制御部は、表示制御部１１３とメータ検針部１１６ｃに対応する。

次に、上記構成の情報処理システムの動作について説明する。以下の説明では、携帯型端末装置１００における処理のうち、特に、検針データの集計処理（以下、検針データ集計処理と称する）について説明する。

この検針データ集計処理は、検針データ集計処理部１１６によってなされ、検針員によるメータＭＴ１〜ＭＴｎに対する検針作業を支援し、メータＭＴ１〜ＭＴｎに表示される計測値を読み取って、これを集計した帳票データ１０６ａを作成するものである。

図３は、上記検針データ集計処理を説明するためのフローチャートである。この検針データ集計処理は、アプリケーションソフトウェア（プログラム）を実行した制御部１１０が検針データ集計処理部１１６として機能することにより実現される。なお、以下の説明では、１つのアプリケーションソフトウェアとして説明するが、複数のアプリケーションソフトウェアが連携、あるいは連続して動作することで実現するようにしてもよい。

アプリケーションソフトウェアが実行されると、ステップ３０１において帳票作成部１１６ａは、帳票データ１０６ａのひな形を表示して、ステップ３０２に移行する。具体的には、帳票作成部１１６ａは、記憶部１０６に記憶される帳票データ１０６ａのひな形データを読み出し、読み出したひな形データを表示制御部１１３に出力する。これに対して、表示制御部１１３は、上記ひな形データに基づいて、表示部１０３に帳票を表示する。

ステップ３０２において帳票作成部１１６ａは、オペレータから検針の要求が与えられたか、それ以外の要求が与えられたかを判定する。ここで、検針の要求が与えられた場合には、ステップ３０４に移行し、一方、それ以外の要求が与えられた場合には、ステップ３０３に移行して、要求に応じた他の処理を実行する。

具体的には、表示部１０３に表示される帳票の入力欄をオペレータがタッチすると、この操作を入力部１０２が検出して入力制御部１１２に通知する。入力制御部１１２は、タッチされた位置が入力欄であることより、オペレータが検針値の入力を要求していると判断する。そしてこの判断に応じて、帳票作成部１１６ａは、ＱＲコード処理部１１６ｂに検針の要求の発生を通知し、ステップ３０４に移行する。

ステップ３０４においてＱＲコード処理部１１６ｂは、カメラ１０４を起動し、ステップ３０５に移行する。起動されたカメラ１０４は、後述するステップ３２０に移行するまで、所定の周期で繰り返し撮影を行って、撮影によって得た画像データを画像処理部１１４に出力し続ける。

ステップ３０５においてＱＲコード処理部１１６ｂは、表示部１０３に、ＱＲコードの読み取りを促す案内表示を行い、ステップ３０６に移行する。

具体的には、ＱＲコード処理部１１６ｂは、表示制御部１１３に上記案内表示を行うように指示し、これを受けた表示制御部１１３が、表示部１０３に、例えば、図４に示すような読み取りを促すGUI（Graphical User Interface）を表示する。

図４の例では、撮影ガイド枠Ｆｑを表示するとともに、撮影ガイド枠Ｆｑ内は、カメラ１０４によって撮影された映像をそのまま表示し、撮影ガイド枠Ｆｑ外では、例えば透過率を下げたグレーのマスク表示を行うことで、操作する検針員に対して、ＱＲコードが撮影ガイド枠Ｆｑ内に入るように促している。これを見た検針員は、携帯型端末装置１００のカメラ１０４を、メータＭＴ１〜ＭＴｎ上に貼られたＱＲコードにかざしながら、前後、左右、上下に移動させて、撮影ガイド枠Ｆｑ内の構図に上記ＱＲコードが収まるように調整する。

なお、図４の例では、GUIとして、ズームキーＺと、ソフトウェアキーＳ１〜Ｓ４を設けている。ズームキーＺは、カメラ１０４によって撮影した画像データに対して、画像処理部１１４が拡大処理を施すための指示を受け付けるものである。

例えば、「１Ｘ」は拡大処理なし、「２Ｘ」は「１Ｘ」比で画角を２倍にする処理、「３Ｘ」は「１Ｘ」比で画角を３倍にする処理、「最大」は「１Ｘ」比で画角を性能上の最大にする処理に対応し、操作されたズームキーＺに応じた処理を画像処理部１１４が行って、カメラ１０４によって撮影した画像を表示する。

上記では、画像処理部１１４の画像処理によって画角を変えるデジタルズームを例に説明したが、カメラ１０４が備える光学的なズーミング機構を駆動制御して、操作されたソフトウェアキーに応じて画角を変更するようにしてもよいし、あるいは、画像処理部１１４によるデジタルズームと組み合わせるようにしてもよい。

また図４に示すソフトウェアキーＳ１の「帳票」は、例えばステップ３０１に移行するなどして、帳票を編集などするための処理に移行するためものである。ソフトウェアキーＳ２の「ＱＲ」は、例えばステップ３０３に移行するなどして、ＱＲコードを読み取るための処理に移行するためのものである。ステップ３０５の時点では、ＱＲコードを読み取るための処理の最中であるため、図４の例では、他のソフトウェアキーＳ１，Ｓ３，Ｓ４よりもＳ２を濃く表示して、現在アクティブであることを示している。

ソフトウェアキーＳ３の「再撮影」は、メータの計測値を一度読み取った後のステップ（例えば、後述するステップ３２０以降）において、例えばステップ３１２に移行するなどして、メータの計測値を再撮影するための処理に移行するためのものである。ソフトウェアキーＳ４の「登録」は、メータから読み取った計測値を検針値として帳票に入力するためのものである。

ステップ３０６においてＱＲコード処理部１１６ｂは、カメラ１０４によって撮影した画像データに含まれるＱＲコードの画像を探すトラッキング処理を行い、ステップ３０７に移行する。

具体的には、ＱＲコード処理部１１６ｂは、画像処理部１１４に、撮影ガイド枠Ｆｑ内に相当する画像データに対して、ＱＲコードを探す処理を実行するように指示を与える。これに対して、画像処理部１１４は、認識エンジンを利用して、撮影ガイド枠Ｆｑ内に相当する画像データに対してＱＲコードの探索を行う。

ステップ３０７においてＱＲコード処理部１１６ｂは、カメラ１０４によって撮影した画像データから、ＱＲコードが検出できたか否かを判定する。ここで、ＱＲコードが検出できた場合には、ステップ３０８に移行し、一方、検出できない場合には、ステップ３０６に移行して、再度、ＱＲコードの検出を試みる。

具体的には、ＱＲコード処理部１１６ｂは、画像処理部１１４によるＱＲコードの探索結果を待機する。これに対して、画像処理部１１４は、上記認識エンジンを利用して、撮影ガイド枠Ｆｑ内に相当する画像データからＱＲコードを検出すると、この旨をＱＲコード処理部１１６ｂに通知し、これに応じてＱＲコード処理部１１６ｂはステップ３０８に移行する。

一方、画像処理部１１４は、上記認識エンジンを利用して、撮影ガイド枠Ｆｑ内に相当する画像データからＱＲコードを検出できない場合には、この旨をＱＲコード処理部１１６ｂに通知し、これによりＱＲコード処理部１１６ｂはステップ３０６に移行する。

ステップ３０８においてＱＲコード処理部１１６ｂは、ステップ３０７で検出したＱＲコードからマスターコードを検出し、ステップ３０９に移行する。
具体的には、ＱＲコード処理部１１６ｂは、画像処理部１１４に対してＱＲコードの解析を行わせ、解析結果を待機する。これに対して、画像処理部１１４は、解析エンジンを利用して、認識エンジンがステップ３０７で検出したＱＲコードの画像に対して、ＱＲコードの解読を行い、ＱＲコードに含まれるマスターコードを検出する。

検出されたマスターコードは、画像処理部１１４からＱＲコード処理部１１６ｂに通知され、ＱＲコード処理部１１６ｂは、マスターコードが通知されたことにより、ステップ３０９に移行する。またステップ３０５で開始したＱＲコードの読み取り案内表示を終了し、例えば図５に示すような表示に切り替える。すなわち、カメラ１０４に撮影した画像を、そのまま表示する。

ステップ３０９においてＱＲコード処理部１１６ｂは、ステップ３０８で検出したマスターコードを含むエントリデータを設定情報データ１０６ｂから検出し、この検出したエントリデータを制御部１１０のワークエリアに読み出し、ステップ３１０に移行する。

ステップ３１０においてＱＲコード処理部１１６ｂは、ステップ３０８で検出したマスターコードに基づいて、上記ワークエリア内に別途保存されている検針履歴のデータを参照し、直近で同じメータについて検針済みか否かを判定する。ここで、検針済みの（検針履歴がある）場合には、ステップ３１１に移行し、一方、検針済みでない（検針履歴がない）場合には、メータ検針部１１６ｃに通知した後、ステップ３１２に移行する。

ステップ３１１においてＱＲコード処理部１１６ｂは、すでに検針を行ったメータのＱＲコードが読み込まれたことを説明する警告表示を行い、メータ検針部１１６ｃに通知した後、ステップ３１２に移行する。
具体的には、ＱＲコード処理部１１６ｂは、表示制御部１１３に対して、例えば図６に示すような警告表示Ａｌを表示部１０３に表示させる。

ステップ３１２では、ステップ３１０あるいはステップ３１１で通知を受けたメータ検針部１１６ｃが、ステップ３０９で検出したエントリデータに基づいて、カメラ１０４によって撮影した画像データの画像に含まれるメータ部分の画像を探す処理を開始し、ステップ３１３に移行する。

具体的には、メータ検針部１１６ｃは、ステップ３０９で検出したエントリデータを参照して、このエントリデータに含まれる、画像処理部１１４で用いる認識エンジンと解析エンジンの識別情報を画像処理部１１４に通知する。

これに対して、画像処理部１１４は、通知された識別情報に対応する認識エンジンを利用して、カメラ１０４によって撮影した画像データに基づく画像を解析し、この画像に含まれるメータ部分の画像を探索するメータ部分探索処理を開始する。

ここで開始されたメータ部分探索処理は、後述するステップ３２０に移行するまで、所定の周期で繰り返し実行される。すなわち、カメラ１０４によって撮影した画像データに基づいて、上記所定の周期毎にメータ部分の画像の範囲を示す座標が求められる。

なお、メータ部分は、メータの種類や機種などのタイプによって、形状や表記、配色などが多種多様で異なっており、その認識や解析には、メータのタイプに対応した認識エンジンと解析エンジンを利用する必要がある。このため、エントリデータには、前述したように、マスターコードに対応付けて、認識エンジンと解析エンジンの種別を示す識別情報が含まれている。

ステップ３１３においてメータ検針部１１６ｃは、カメラ１０４によって撮影した画像データから、メータ部分が検出できたか否かを判定する。ここで、メータ部分が検出できた場合には、ステップ３１４に移行し、一方、検出できない場合には、ステップ３１２に移行して、メータ部分の検出を継続する。

具体的には、メータ検針部１１６ｃは、画像処理部１１４によるメータ部分の探索結果を待機する。これに対して、画像処理部１１４は、上記認識エンジンを利用して、カメラ１０４によって撮影した画像データからメータ部分の位置（画像上の座標）を検出すると、この旨をメータ検針部１１６ｃに通知し、これに応じてメータ検針部１１６ｃはステップ３１４に移行する。

一方、画像処理部１１４は、上記認識エンジンを利用して、画像データからメータ部分を検出できない場合には、この旨をメータ検針部１１６ｃに通知し、これによりメータ検針部１１６ｃはステップ３１２に移行する。

ステップ３１４においてメータ検針部１１６ｃは、ステップ３１３で検出したメータ部分の位置を示す表示を、表示部１０３に表示しているメータの画像上に行うとともに、タイマを始動させ、ステップ３１５に移行する。

具体的には、メータ検針部１１６ｃは、画像処理部１１４から通知されたメータ部分の座標を表示制御部１１３に通知するとともに、タイマを始動する。これに対して表示制御部１１３は、メータ検針部１１６ｃから通知された座標の情報に基づいて、例えば図７に示すように、メータ部分の読み取り位置を示すメータ枠Ｆを表示する。これにより検針員は、携帯型端末装置１００が画像上のどの部分をメータ部分として読み取りを行うかを認識できる。

ステップ３１５においてメータ検針部１１６ｃは、カメラ１０４の焦点距離の自動調整（オートフォーカス調整）を開始し、ステップ３１６に移行する。
具体的には、メータ検針部１１６ｃは、カメラ１０４を制御して、カメラ１０４によって得られた画像データのうち、画像処理部１１４から通知されたメータ部分の座標について、焦点距離の調整や露出などの調整を開始する。

ステップ３１６においてメータ検針部１１６ｃは、ステップ３１４で始動したタイマが所定の時間Ｔを計時した（時間Ｔが経過した）か否かを判定する。ここで、所定の時間Ｔが経過した場合には、ステップ３２０に移行し、一方、経過していない場合には、ステップ３１７に移行する。

なお、この所定の時間Ｔは、検針員が予め任意に設定することができ、例えば、０．１秒、０．５秒、１秒、３秒のように複数から選択できる。あるいは、エントリデータに時間Ｔの設定を含ませるようにして、ステップ３１６で、その値に従うようにしてもよい。

ステップ３１７においてメータ検針部１１６ｃは、カメラ１０４によって得られた画像データのうち、メータ枠Ｆ内のメータ部分のピントが合った（焦点が合った）か否かを判定する。ここで、ピントが合った場合には、ステップ３２０に移行し、一方、ピントが合っていない場合には、ステップ３１８に移行する。

ステップ３１８においてメータ検針部１１６ｃは、検針員によって、シャッタ操作が行われたか否かを判定する。ここで、シャッタ操作が行われた場合には、ステップ３２０に移行し、一方、シャッタ操作が行われていない場合には、ステップ３１９に移行する。

具体的には、メータ検針部１１６ｃは、入力制御部１１２からの通知を監視する。入力部１０２に対して検針員がシャッタ操作を行うと、この操作を入力制御部１１２が検出し、メータ検針部１１６ｃに通知する。

ステップ３１９においてメータ検針部１１６ｃは、メータ部分を見失ったか否かを判定する。ここで、メータ部分を見失った場合には、ステップ３１２に移行して、再度、メータ部分の探索を開始する。一方、メータ部分を見失っていない場合には、ステップ３１６に移行して、前述したように、ステップ３１６のタイムアウト、ステップ３１７の合焦、ステップ３１８のシャッタ操作を順に監視する。

具体的には、メータ検針部１１６ｃは、画像処理部１１４の認識エンジンがメータ部分を見失った（検出できなくなった状態が所定時間続いた）か否かを判定する。見失った場合は、画像処理部１１４からメータ部分の座標の通知が停止するため、表示制御部１１３によるメータ枠Ｆの表示も停止される。

ステップ３２０においてメータ検針部１１６ｃは、ステップ３２０に移行した時点でカメラ１０４によって得られた最新の画像データを、計測値の読み取りの対象のデータ（メータ画像データ１０６ｃ）として、記憶部１０６に保存し、ステップ３２１に移行する。

具体的には、メータ検針部１１６ｃは、上記最新の画像データについて、この画像データの画像のうち、メータ枠Ｆに対応する部分の画像を画像処理部１１４の認識エンジンから通知された座標に基づいて切り取って、記憶部１０６にメータ画像データ１０６ｃとして保存する。

ステップ３２１においてメータ検針部１１６ｃは、ステップ３２０で保存したメータ画像データ１０６ｃに対して文字認識処理を実施し、メータ部分に表示された計測値を読み取って、テキスト化し、ステップ３２２に移行する。

具体的には、メータ検針部１１６ｃは、画像処理部１１４に対して、解析エンジンによる文字認識処理を実施するように指示する。これに対して画像処理部１１４は、ステップ３１２で決定した解析エンジンを利用して、メータ画像データ１０６ｃに対して文字認識処理を実施し、テキスト化した数字列を得る。この数字列は、メータ検針部１１６ｃに送られる。

ステップ３２２においてメータ検針部１１６ｃは、ステップ３０９で特定したエントリデータを参照し、ステップ３２１で求めた数字列に対して、小数点の位置を決定して、仮の検針値を生成する。この仮の検針値は、修正処理部１１６ｄに通知され、ステップ３２３に移行する。

具体的には、メータ検針部１１６ｃは、ステップ３０９で特定したエントリデータを参照し、このデータに含まれるメータの桁数、表示桁数、四捨五入の有無、小数点の位置の各情報に基づいて、ステップ３２１で求められた数字列に対して、必要に応じて四捨五入を行うとともに、小数点の位置を決定して、仮の検針値を生成する。

ステップ３２３において修正処理部１１６ｄは、表示部１０３に、仮の検針値を調整するためのGUIを表示し、ステップ３２４に移行する。
具体的には、修正処理部１１６ｄは、表示制御部１１３に、ステップ３２２で生成された仮の検針値を出力し、上記GUIを表示させる。このGUIでは、例えば図８に示すように、ステップ３２０で保存したメータ画像データ１０６ｃをメータ部分表示Ｐとして表示するとともに、この表示Ｐに桁が合うように並べて、仮の検針値を表示および修正するための修正ウインドウＭを表示する。

図８の例では、修正ウインドウＭは、実際のメータ部分の外観に似せて、仮想的に、各桁を回転式のリールで表示し、初期値としては、仮の検針値の値を表示する。そして、各リールの表示を指などで上あるいは下になぞることで仮想的に回転させた表示を行う。

このような、なぞる操作を入力部１０２を通じて入力制御部１１２が検出し、この検出結果に応じて表示制御部１１３がリールを回転表示させることで、検針員は、直感的な修正を行うことができる。

なお、修正ウインドウＭについて、複数種類の表示様式のデータを予め記憶部１０６に保存しておくようにする。また、マスターコードに対応付けて、上記表示様式を指定する様式コードをエントリデータに含めるようにする。そして、修正処理部１１６ｄが、エントリデータに含まれる様式コードの表示様式のデータを記憶部１０６から読み出して表示させることで、修正ウインドウＭの表示様式を、メータ画像データ１０６ｃに合ったものとすることができる。

ステップ３２４において修正処理部１１６ｄは、検針員からの操作に応じた処理に移行する。ここで、再撮影を求める操作（前述のソフトウェアキーＳ３への操作）があった場合には、ステップ３１２に移行し、仮の検針値を修正するための操作（前述の修正ウインドウＭへの操作）が行われた場合には、ステップ３２５に移行し、仮の検針値を検針値として確定することを求める操作（前述のソフトウェアキーＳ４への操作）があった場合には、ステップ３２６に移行する。具体的には、修正処理部１１６ｄは、入力制御部１１２から入力部１０２に対する操作の検出結果を待機し、通知される検出結果に応じた処理に移行する。

ステップ３２５において修正処理部１１６ｄは、検針員からの要求に応じて、仮の検針値の値を修正し、ステップ３２４に移行する。このとき、検針員は、メータ部分表示Ｐと修正ウインドウＭを表示部１０３上で対比しながら、修正する指示を入力することができる。

具体的には、図８の例では、修正ウインドウＭに仮想的に表示されるリールに対して、検針員が指などで回転させる操作を行うと、この操作を入力部１０２を通じて入力制御部１１２が検出し、この検出結果に応じて、表示制御部１１３が、操作されたリールを仮想的に回転させて表示する。

ステップ３２６において修正処理部１１６ｄは、修正ウインドウＭに表示されている数値を検針値として検出し、この値を、ステップ３０２で操作された帳票の入力欄に入力した帳票データ１０６ａを作成し、ステップ３０４に移行する。

具体的には、修正処理部１１６ｄは、図８の例では、修正ウインドウＭに仮想的に表示されるリールのうち、中心列に表示される値を、検針値として修正処理部１１６ｄが検出し、例えば、図９に示すように、帳票Ｘの入力欄（「今月」の「検針値」の欄）に上記検針値を入力する。またワークエリア内の検針の履歴を更新し、検針済みと保存する。

その他、修正処理部１１６ｄは、図９に示すように、「今月」の「増加量」の入力欄には「今月」の「検針値」の欄の値から、「前月」の「検針値」の欄の値を引いた値を計算して入力するとともに、「メータ画像」の欄には、メータ画像データ１０６ｃに基づく画像を表示する。

以後、検査作業の終了を要求する操作が入力部１０２を通じて検針員から行われると、図３には示さない割り込み処理によって、ワークエリア内の帳票データ１０６ａを記憶部１０６に保存し、当該処理を終了する。この保存された帳票データ１０６ａは、通信部１０１を通じて、所定のタイミングで、サーバ４００にアップロードされる。

以上のように、上記構成の情報処理システムでは、携帯型端末装置１００において、メータＭＴ１〜ＭＴｎのメータ部分を検出すると、以後は、その際に始動したタイマがタイムアウトしたり、あるいは、カメラ１０４のピントが合うと、シャッタ操作を行わなくても、カメラ１０４が撮像した画像からメータ部分を検出して、計測値を読み取るようにしている。

したがって、上記構成の情報処理システムによれば、検針員は、メータ部分が検出された後は、シャッタ操作を行わなくても、カメラ１０４が撮像した画像からメータ部分を読み取ることができる。このため、検針員は、メータ値を機器で読み取る検針作業の負荷を軽減することができる。

なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。

例えば、上記実施の形態では、ステップ３１３でメータ部分を検出した後、その部分をメータ枠Ｆで示し、始動したタイマがタイムアウトしたり、あるいは、カメラ１０４のピントが合うと、計測値を読み取るようにしたが、これに代わって例えば、ステップ３１３でメータ部分を検出した場合に、即座に、計測値を読み取るようにしてもよい。すなわち、ステップ３１３からステップ３２０に即座に移行するようにしてもよい。
その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[Ｃ１]
コンピュータを、
画像データに基づいて、計測値を表示した部分の画像を検出する検出部と、
前記検出部が前記計測値を表示した部分の画像を検出した場合に、画像から前記計測値を求める検針部と
して機能させることを特徴とするプログラム。
[Ｃ２]
前記検出部が前記計測値を表示した部分の画像を検出した場合に、タイマを始動するタイマ始動部として、さらにコンピュータを機能させ、
前記検針部は、前記タイマが所定時間を計時した場合に、画像から前記計測値を求めることを特徴とするＣ１に記載のプログラム。
[Ｃ３]
前記検針部は、前記検出部が前記計測値を表示した部分の画像を検出し、かつ、前記画像のフォーカスが合っている場合に、画像から前記計測値を求めることを特徴とするＣ１に記載のプログラム。
[Ｃ４]
前記画像データに基づく画像を表示するとともに、この表示した画像上で、前記検出部が検出した計測値を表示した部分の画像を識別するための表示を行う表示制御部として、さらにコンピュータを機能させることを特徴とするＣ１に記載のプログラム。
[Ｃ５]
画像データに基づいて、計測値を表示した部分の画像を検出する検出部と、
前記検出部が前記計測値を表示した部分の画像を検出した場合に、画像から前記計測値を求める検針部と
を備える情報処理装置。

１００…携帯型端末装置、１０１…通信部、１０２…入力部、１０３…表示部、１０４…カメラ、１０５…ＧＮＳＳ受信部、１０６…記憶部、１０６ａ…帳票データ、１０６ｂ…設定情報データ、１０６ｃ…メータ画像データ、１１０…制御部、１１１…通信制御部、１１２…入力制御部、１１３…表示制御部、１１４…画像処理部、１１５…位置情報処理部、１１６…検針データ集計処理部、１１６ａ…帳票作成部、１１６ｂ…ＱＲコード処理部、１１６ｃ…メータ検針部、１１６ｄ…修正処理部、２００…無線基地局、３００…クライアント端末、４００…サーバ、５００…ネットワーク、ＭＴ１〜ＭＴｎ…メータ。

Claims (4)

1. コンピュータを、
   画像を連続的に撮影する撮像部から取得した画像データに基づいて、計測値を表示した部分の画像を検出する検出部と、
   前記検出部が前記計測値を表示した部分の画像を検出した場合に、タイマの計時を始動するタイマ始動部と、
   前記タイマの計時により所定時間が経過した場合、前記撮像部から取得した画像データから前記計測値を求める検針部と
   して機能させることを特徴とするプログラム。
2. 前記検針部は、前記タイマの計時による前記所定時間が経過する前に、前記計測値を表示した部分の画像のフォーカスが合った場合には、前記撮像部から取得した画像データから前記計測値を求めることを特徴とする請求項１に記載のプログラム。
3. 前記画像データに基づく画像を表示するとともに、この表示した画像上で、前記検出部が検出した計測値を表示した部分の画像を識別するための表示を行う表示制御部として、さらにコンピュータを機能させることを特徴とする請求項１に記載のプログラム。
4. 画像を連続的に撮影する撮像部から取得した画像データに基づいて、計測値を表示した部分の画像を検出する検出部と、
   前記検出部が前記計測値を表示した部分の画像を検出した場合に、タイマの計時を始動するタイマ始動部と、
   前記タイマの計時により所定時間が経過した場合、前記撮像部から取得した画像データから前記計測値を求める検針部と
   を備える情報処理装置。

Images