JP2024002740A - メータ読み取り装置、メータ読み取り方法、およびプログラム - Google Patents

Abstract

【課題】 作業性を高め、読み取り精度の向上を図ること。【解決手段】 実施形態によれば、メータ読み取り装置は、ユーザインタフェースと、数値の表示枠を有するメータを撮像して複数の画像フレームデータを取得するカメラと、バッファエリアを有するメモリと、画像フレームデータを処理するプロセッサとを具備する。プロセッサは、画像処理部と、入力制御部と、出力制御部とを備える。画像処理部は、複数の画像フレームデータごとに表示枠内の文字を認識して読み取り結果を生成する。入力制御部は、画像フレームデータごとの読み取り結果をバッファエリアに一時記憶させる。出力制御部は、バッファエリアに記憶された読み取り結果を比較して、生成回数が既定の閾値を超えた読み取り結果に対応する数値をユーザインタフェースに出力する。【選択図】 図２

Description

この発明の実施形態は、メータ読み取り装置、メータ読み取り方法、およびプログラムに関する。

工場やビル・施設の機械室などに設置された種々の機器を保守・運用したり、使用料金の算定などのために、メータ値を定期的に読み取るという作業がある。この種の作業では、旧来から、点検作業員が目視読取りの結果を紙の帳票に記入し、集計してきた。

近年、タブレットを利用して設備点検を支援するサービスが提供されている。例えば、設備の状態を示すメータの検針作業を支援するサービスが知られている。この種のサービスでは、メータを撮影して得られた画像データ処理して数値に変換するソフトウェアを利用して、メータ値が読み取られる。メータ値を写真撮影するだけでなく、撮影した画像からコンピュータで値を読み取ることで、人による読み取りミスを防止できる。また、読み取られた値を数値として保存することで、記入ミスを防止し、記録の正確性を確保するとともに、グラフ化などの利便性の向上を図れる。

特許第６６７２６７３号公報

メータ値の表示の態様は、メータごとにさまざまに異なる。また、アナログメータ、デジタルメータ、角型メータ、あるいは丸型メータといったようにメータ自体も多種多様である。このような多様性に対応できるようにするためにも、メータに表示される情報の読み取りにかかる作業性の向上と、読み取り精度の向上が求められている。

そこで、目的は、作業性を高め、読み取り精度の向上を図ったメータ読み取り装置、メータ読み取り方法、およびプログラムを提供することにある。

実施形態によれば、メータ読み取り装置は、ユーザインタフェースと、数値の表示枠を有するメータを撮像して複数の画像フレームデータを取得するカメラと、バッファエリアを有するメモリと、画像フレームデータを処理するプロセッサとを具備する。プロセッサは、画像処理部と、入力制御部と、出力制御部とを備える。画像処理部は、複数の画像フレームデータごとに表示枠内の文字を認識して読み取り結果を生成する。入力制御部は、画像フレームデータごとの読み取り結果をバッファエリアに一時記憶させる。出力制御部は、バッファエリアに記憶された読み取り結果を比較して、生成回数が既定の閾値を超えた読み取り結果に対応する数値をユーザインタフェースに出力する。

図１は、実施形態に係わる設備点検支援サービスを提供するクラウドシステムの一例を示す図である。 図２は、モバイル端末１００の一例を示す機能ブロック図である。 図３は、モバイル端末１００の表示部１０３の表示例を示す図である。 図４は、［文字群が完全に一致する回数をカウントする方式］について説明するための図である。 図５は、［文字群が完全に一致する回数をカウントする方式］を複数のメータに適用することについて説明するための図である。 図６は、［各桁の最頻値を選び、各桁を組み合わせた結果を読み取り値とする方式］について説明するための図である。 図７は、数値読み取りに係わる処理手順の一例を示すフローチャートである。 図８は、数値読み取りに係わる処理手順の他の例を示すフローチャートである。 図９は、数値読み取りに係わる処理手順の他の例を示すフローチャートである。 図１０は、読み取り処理における処理手順の一例を示すフローチャートである。 図１１は、複数の画像フレームデータを用いて読み取りを行うことについて説明するための図である。 図１２は、メータ読み取り装置の機能を実装可能なコンピュータの一例を示すブロック図である。

以下、図面を参照して、一実施形態について説明する。
（構成）
図１は、実施形態に係わる設備点検支援サービスを提供するクラウドシステムの一例を示す図である。以下では、工場、事業所の設備、あるいは種々の計測器などで用いられるメータの検針作業への適用例について説明する。

図１に示されるクラウドシステムは、例えばインターネット１４に接続されたクラウドサーバ１３を中核とするシステムである。インターネット１４を経由して、モバイル端末１００、およびサイトＰＣ１１がクラウドサーバ１３にアクセスすることができる。

サイトＰＣ１１は、デスクトップ型、あるいはラップトップ型のパーソナルコンピュータである。サイトＰＣ１１は、例えば、検針サービスのベンダの管理部門に設置され、その部門のオペレータにより操作される。サイトＰＣ１１は、例えば、モバイル端末１００からクラウドサーバ１３にアップロードされたデータファイルを取得し、参照、閲覧、編集、集計、データ変換・ファイル作成、帳票の発行などを行う機能を備える。取得されたデータファイルは、外部メディア１２に保存されることもできる。

クラウドサーバ１３は、モバイル端末１００やサイトＰＣ１１からアップロードされるデータの保存、管理、データ処理、あるいは利用者間でのデータ共有等のサービスを提供する。基地局２００は、ゲートウェイ（ＧＷ）４００を介してインターネット１４に接続され、モバイル端末１００とインターネット１４とを通信可能に接続する。

モバイル端末１００は、スマートフォン、タブレット、あるいはノートパソコン等であって、メータの検針作業を行う点検作業員に携帯される、モバイル端末１００は、実施形態に係わる帳票作成支援アプリをインストールした状態で使用される。帳票作成支援アプリは、例えばメータ読み取りアプリケーションを含む。モバイル端末１００は、カメラを備え、現場に設置されたメータＭＴ１～ＭＴｎの計測値を光学的に読み取る。帳票作成支援アプリは、読み取られた計測値により帳票データを作成して、クラウドサーバ１３に送信する。

メータＭＴ１～ＭＴｎは、各種の設備や計測器に関わり、例えば、電流、電圧、気体や液体の圧力や流量などの計測値や、設備や機器の稼働状態を示す値を表示枠に表示する。表示する。メータＭＴ１～ＭＴｎには、数値メータと、アナログメータの２つのタイプがあり、点検作業員による検針の対象には、両タイプが混在し得る。

数値メータは、回転式、またはデジタル式で、計測値などを視覚的に表示する。デジタル式の数値メータは、例えば、０～９までの数字が表示される７セグメントディスプレイを複数使用して、数値を示す。回転式の数値メータは、例えば、０～９までの算用数字が記載された数字車を複数連ねて並べた機構を備え、数字車を回転させて数値を示す。

アナログメータは、算用数字や目盛りが記された表示盤上を移動する指針の位置により、数値を示す。つまり、数字や目盛りと指針との相対的な位置関係により、計測値などの数値がアナログ的に示される。

図２は、モバイル端末１００の一例を示す機能ブロック図である。メータ読み取り装置の一例としてのモバイル端末１００は、通信部１０１、入力部１０２、表示部１０３、カメラ１０４、ＧＮＳＳ（Global Navigation Satellite System）受信部１０５、ストレージ１０６、メモリ１０７、および、プロセッサ１１０を備える。すなわちモバイル端末は、プロセッサとメモリを備えるコンピュータである。

プロセッサ１１０は、モバイル端末１００の内部の制御をするとともに、メータ読み取り装置の外部との通信の制御も行う。
通信部１０１は、無線通信インタフェースであり、基地局２００との間に無線通信リンクを確立しインターネット１４経由でクラウドサーバ１３と通信する。また、通信部１０１は、パケットのヘッダ部の付加／除去などの、データ授受に必要なインタフェース処理を行う。

入力部１０２は、表示部１０３のタッチパネルや、モバイル端末１００の外装に設けられたキースイッチなどの入力デバイスを備え、点検作業員による入力操作や指示を受け付ける。
表示部１０３は、ユーザインタフェースであり、タッチパネルなどの表示デバイスにＧＵＩ（Graphical User Interface）環境を形成して、点検作業員に視覚的な情報を提供する。タッチパネルは、尖筆（スタイラス）や指などによる情報入力を受け付ける。静電容量方式や抵抗膜方式、投影型赤外線方式など種々の方式のタッチパネルがある。表示デバイスとしては、液晶パネルや有機ＥＬ（Electro Luminescence）パネル、電子ペーパーなどがある。

表示部１０３は、例えば、情報の入力欄やソフトキー、各種画像（写真、ＣＧ（コンピュータグラフィックス）画像）を表示デバイスに表示する。表示部１０３における情報の入力欄やソフトキーに関する表示は、入力部１０２に対する操作に対応するように、プロセッサ１１０により制御される。

カメラ１０４は、デジタルの画像データを生成するデジタルカメラである。カメラ１０４は、例えばメータＭＴ１～ＭＴｎ（図１）を撮影して、表記数字の画像などのデータを含む画像データを取得する。画像データは、複数の画像フレームデータを含む。ユーザが、撮影しようとするメータＭＴ１～ＭＴｎにモバイル端末１００をかざして（近づけて）、カメラ１０４がメータに対向した状態で既定の時間が経過すると、プロセッサ１１０は、カメラ１０４を起動する。これにより、画像フレームデータの取得が開始される。

カメラ１０４は、レンズを含む光学系、ＣＭＯＳ（Complementary MOS）などのイメージセンサを備えた撮像部、および、撮像部からの撮像信号から所定の形式（例えば、JPEG（Joint Photographic Experts Group））の画像データを生成する信号処理部を備える。画像フレームデータは、プロセッサ１１０により処理される。撮影した日時や場所、撮影条件（シャッター速度や絞り値、画角、緯度や経度など）を示すメタデータ（例えば、Ｅｘｉｆ（Exchangeable image file format）データ）をプロセッサ１１０が画像データに付加しても良い。

モバイル端末１００を各メータＭＴ１～ＭＴｎに近接させると、カメラ１０４がオンされて撮像が開始される。撮像により取得された画像データや、画像データの読み取り結果は、メモリ１０７のバッファエリア５に一時保存される。バッファエリアの容量は、例えば最大でＸ回分の読取り結果を保持できるサイズを確保できればよく、Ｘ回以降は古い情報から上書き更新される。

プロセッサ１１０は、カメラ１０４で撮像した画像データを処理し、数字などの文字を抽出する。数値読み取りには例えばＡＩ（Artificial Intelligence）を活用することができる。

プロセッサ１１０で処理された読み取り結果データは、バッファ５に保存される。撮像画像や読み取り結果データは、ストレージ１０６に保存される。あるいは外部メディア１２やクラウドサーバ１３でもよい。これらの保存先を用いる場合には、ネットワークリソースの節約のためデータを圧縮したり、いわばバッチ処理として、保存処理自体を定期的に実施しても良い。

ＧＮＳＳ受信部１０５は、ＧＰＳ（Global Positioning System）衛星に代表される複数のＧＮＳＳ衛星や、地上の基準局などから送信される測位信号を受信し、モバイル端末１００の位置を測定する。測位信号は時刻情報も含み、これを利用して現在時刻を知ることもできる。

ストレージ１０６は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）、ＳＳＤ（Solid State Drive）などのフラッシュメモリ、ＨＤＤ（Hard Disk Drive）などの記録デバイスである。取り扱うデータの特性に合わせて、異種の記録デバイスが組み合わせて設けられてもよい。

ストレージ１０６は、例えば、プロセッサ１１０の動作に伴って生成されたデータ、各種パラメータ、点検作業員から入力されたデータ、カメラ１０４で取得された画像データ（例えばメータＭＴ１～ＭＴｎの計測値を撮影した画像データ）、クラウドサーバ１３から取得（ダウンロード）したデータ、あるいは、情報処理のための一時的なデータ等を記憶する。
実施形態において、ストレージ１０６は、帳票データ１０６ａ、設定情報データ１０６ｂ、画像データ１０６ｃ、学習済みモデル１０６ｄ、およびプログラム１０６ｅを記憶する。

帳票データ１０６ａは、所定の検針期間毎に、各メータの指針値を集計して作成される。新たな帳票データ１０６ａが作成されると、ただちにクラウドサーバ１３にアップロードされる。帳票データ１０６ａは、例えば、検針現場ごとに作成されるデータで、「メータ情報」、「メータ画像」、「今回の検針値」、「前回との差」、「前回の検針値」、「前回に求めた差」などの情報を含む。検針現場に複数のメータが設置されている場合には、帳票データ１０６ａは、各メータについての上記情報を含む。

ここで、「メータ情報」は、メータを識別するためのマスターコード、メータが計測する対象（例えば、テナント、駐車場、共有スペースなど）を示す識別情報、種別（例えば、ガス、電気、水道など）を含む。「メータ画像」は、検針値の根拠となる画像、すなわち、検針の際に撮影した画像である。

「今回の検針値」は、今回の検針で読み取った値である。「前回との差」は、今回の検針値と前回の検針値の差分である。「前回の検針値」は、前回の検針で読み取った値である。「前回に求めた差」は、前回の検針値と前々回の検針値の差分である。

設定情報データ１０６ｂは、各メータの検針値を集計するために必要な設定情報である。設定情報データ１０６ｂは、帳票データ１０６ａと同様に、各検針現場のメータ毎に作成される。

画像データ１０６ｃは、検針値を示すメータをカメラ１０４で撮影して生成された画像データであり、証拠用のメータ画像として上記帳票データ１０６ａに記録される。その際、撮影直後の画像から、数値を含む必要な部分だけを選択し切り出してもよい。

学習済みモデル１０６ｄは、例えばＤＮＮ（Deep Neural Network）やＣＮＮ（Convolutional Neural Network）などのニューラルネットワークを機械学習させて生成される。例えば、数値の画像を含む数字画像データと、当該数字画像データに示される数値の傾きとを含む学習用データを上記ニューラルネットワークに繰り返し入力し、出力された傾きと正しい値との誤差を勾配降下法などで最小化する機械学習により、学習済みモデル１０６ｄを生成することができる。

ストレージ１０６の１０６ｅは、ＯＳ（Operating System）、ファームウェア、アプリケーションソフトウェア等を含み、実施形態に係わる諸機能をモバイル端末１００に実行させる。

プロセッサ１１０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサ、チップセット、ＲＡＭやＲＯＭなどを含み、モバイル端末１００の各部を制御する。ＲＯＭは、ファームウェアや設定値（各種パラメータ）などを記憶する。プロセッサ１１０は、ストレージ１０６のプログラム１０６ｅをＲＡＭに読み込み、また、ＲＡＭをワークエリア（作業領域）として使用して各種の機能を実現する。

ここで、実施の形態において用いる「プロセッサ」との文言は、例えば、ＣＰＵ、ＧＰＵ（Graphical Processing Unit）或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device:SPLD）、複合プログラマブル論理デバイス（Complex Programmable Logic Device:CPLD）、およびフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））の回路を意味する。

プロセッサ１１０は、ストレージ１０６に保存されたプログラム１０６ｅを読み出し実行することで、上記各部を実現する。なお、ストレージ１０６にプログラムを保存する代わりに、プロセッサ１１０の回路内にプログラムを直接組み込むよう構成してもよい。この場合、プロセッサ１１０は回路内に組み込まれたプログラムを読み出し実行することで、上記各部を実現する。

プロセッサ１１０は、プログラム１０６ｅに含まれる命令を実行して、少なくとも以下の機能を実現する。すなわち、プロセッサ１１０は、通信制御部１１１、入力制御部１１２、表示制御部１１３、画像処理部１１４、位置情報処理部１１５、および、検針データ集計処理部１１６として機能する。ここで、プログラム１０６ｅは、コンピュータとしてのモバイル端末１００を、ストレージ１０６、通信制御部１１１、入力制御部１１２、表示制御部１１３、画像処理部１１４、位置情報処理部１１５、および、検針データ集計処理部１１６として機能させるための命令を含む。

通信制御部１１１は、既定の通信プロトコルに従ってモバイル端末１００と基地局２００、インターネット１４、およびクラウドサーバ１３との通信を制御する。通信制御部１１１は、例えば、クラウドサーバ１３からのファイルやデータのダウンロード、およびクラウドサーバ１３へのデータのアップロードを行う。

画像処理部１１４は、カメラ１０４により撮像された画像データに対して画像処理を施す。すなわち画像処理部１１４は、複数の画像フレームデータごとに表示枠内の文字を認識して読み取り結果を生成する。画像処理部１１４は、例えば、認識エンジンとしての機能と、解析エンジンとしての機能を備える。

認識エンジンは、カメラ１０４で取得された画像データに基づく画像から、例えばＡＩを適用したパターン認識により、種々の情報を認識する。認識エンジンは、例えば、ＱＲコード（登録商標）を検出したり、画像に写るメータを数値メータかアナログメータか区別（判定）したり、そのメータの表示盤上の計測値を表示している部分を検出したり、また表示盤内のオブジェクト（数値メータの計測値の数字列、アナログメータの指針や表記数字など）やその配置（座標）を検出する機能を備える。

解析エンジンは、認識エンジンにより検出された情報を解析する処理を行うものである。解析エンジンは、例えば、メータ部分の画像について、ＱＲコード（登録商標）の解読や、光学的文字認識などの文字認識処理（ＯＣＲ：Optical Character Recognition）あるいはＡＩにより数値メータの計測値をテキスト化したり、アナログメータのメータ部分に記されたオブジェクトの位置関係から指針が示す値を検出する。

また、画像処理部１１４は、表示枠内における読み取り可能な文字列の文字間隔が既定の間隔以下であれば、当該文字列を同じ文字群として認識する。また画像処理部１１４は、表示枠内の文字を桁ごとに認識して、当該桁ごとの読み取り結果を生成する。

文字間隔が閾値以下で、１つの文字群として認識される条件下で、例えば、１２３４５の５桁すべてが一致する場合の撮像画像について、出現回数のカウント数をインクリメントする。この方法により、手振れなどのない安定した撮像状態にあることを確認でき、正しい値を読み取ることができる。

また、文字間隔が閾値以下で、１つの文字群として認識される条件下で、例えば、１２３４５の各桁の文字ごとの発生回数または発生頻度が最大の文字を組み合わせて、１つの文字群を新たに生成する。このようにすることで、安定した撮像状態にあることを確認でき、正しい値を読み取ることができる。

なお、文字認識処理については、複数種類の解析エンジンが予め準備される。それぞれの解析エンジンは、例えばメータの種類毎に対応し、それぞれ対応するメータの表記数字に合った解析アルゴリズムを用いて、表示される計測値をテキスト化する。つまり、メータにより算用数字の書体が異なっていたり、表記数字と背景色の組み合わせが異なるので、各メータの表示に合った解析アルゴリズムを有する解析エンジンが準備されている。

入力制御部１１２は、入力部１０２への操作から点検作業員の要求を解釈したり、情報（文字列など）の入力や、データの取り込み、データ間の対応付けの変更などを受け付ける。また、入力制御部１１２は、画像フレームデータごとの読み取り結果を、メモリ１０７のバッファエリア５に一時的に記憶させるか、もしくは、ストレージ１０６に一旦保存する。あるいは、読み取り結果だけでなく、入力制御部１１２は、複数の画像フレームデータをバッファエリア５に一時的に記憶させるようにしてもよい入力制御部１１２は、カメラ１０４で生成された画像データを取得し、ストレージ１０６に転送し、保存用の画像データ１０６ｃとして記憶させる。

出力制御部としての表示制御部１１３は、文字や画像を含む種々の情報や、各種アイコン、情報の入力欄やソフトキーなどを表示部１０３に表示する。また、表示制御部１１３は、画像の取り込み位置を示したりするガイド表示を行う。さらに、表示制御部１１３は、バッファエリア５に記憶された読み取り結果を比較して、生成回数が既定の閾値を超えた読み取り結果に対応する数値を、表示部１０３に出力する。
ここで、読み取り結果の生成回数は、生成頻度と読み替えても良い。つまり単位時間当たりの生成回数に基づいて閾値判定を行っても良い。

また、表示制御部１１３は、生成回数が閾値を超えた読み取り結果に対応する画像フレームデータを、表示部１０３に出力する。また、表示制御部１１３は、生成回数が閾値を超えてから撮像された画像フレームデータを、表示部１０３に出力する。

また、表示制御部１１３は、生成回数が閾値を超えたことを、表示部１０３から、点検作業員などのユーザに通知する。また、表示制御部１１３は、バッファエリア５に記憶された読み取り結果から認識された数値の生成回数が既定の閾値を超えたことを、表示部１０３からユーザに通知する。

また、表示制御部１１３は、画像処理部１１４で同じ文字群として認識された文字列の読み取り結果をカウントして、そのカウント値を、読み取り結果の生成回数とする。また、表示制御部１１３は、画像処理部１１４による読み取り結果を桁ごとに比較して、生成回数が既定の閾値を超えた読み取り結果を桁ごとに結合して得られた数値を、表示部１０３に出力する。

表示制御部１１３は、生成回数が前記閾値を超えた読み取り結果に対応する画像フレームデータをバッファエリア５もしくはストレージ１０６から読み出して、表示部１０３に表示する。

さらに、表示制御部１１３は、前記ユーザインタフェースに、表示枠の画像データを表示する欄と、読み取り結果に対応する数値を表示する欄と、読み取り結果に対応する数値を表示する欄に表示された数値を修正するための操作部とを、表示部１０３に表示する。

位置情報処理部１１５は、加速度センサ、ジャイロセンサなどを備え、これらの検出結果と、ＧＮＳＳ受信部１０５による測位結果、および／または通信制御部１１１により基地局２００から得た測位情報に基づいて、モバイル端末１００の位置を測位する。
検針データ集計処理部１１６は、検針データの集計に関わる種々の処理を統括して制御する。

図３は、モバイル端末１００の表示部１０３の表示例を示す図である。表示部１０３は、例えば図３に示されるような検針値入力画面を表示する。検針値入力画面は、「当月検針値の写真」領域６１と、「当月の検針値の入力欄」領域６２と、「当月検針値の音声入力結果」領域６３と、音声入力開始アイコン６４とを含む。

「当月検針値の写真」領域６１が、表示枠の画像データを表示する欄に対応する。「当月の検針値の入力欄」領域６２が、読み取り結果に対応する数値を表示する欄に対応する。さらに、「当月の検針値の入力欄」領域６２は、読み取り結果に対応する数値を表示する欄に表示された数値を修正するための操作部にも対応する。

領域６１は、検針対象のメータをカメラ１０４で撮影して得られた検針値の画像を表示する。領域６２は、点検作業員が検針値を入力するための欄である。点検作業員は、実際のメータＭＴ１～ＭＴｎを見て入力するか、領域６１の画像を見て入力するかの、２通りの方法で検針値を入力することができる。

領域６２は、数値の各桁に対応する数字車を表示する。点検作業員がＧＵＩで操作することで、数字車を上下方向に回転させることができる。すなわち点検作業員は、領域６２に表示されている各桁の数字車を操作することで、検針値を入力する。

領域６３は、点検作業員が、メータＭＴ１～ＭＴｎの検針値を読み上げることで音声入力した結果が表示される領域である。表示部１０３は、領域６３に音声入力結果の検針値を表示する。また、表示部１０３は、誤検針に対する警報を表示する領域である警報表示領域６５に「検針値を確認してください」という警報メッセージを表示する。これにより、モバイル端末１００は、点検作業員に対して、誤入力したかもしれない今回検針値が正しい値であるか再度確認するよう促すことができる。

音声入力開始アイコン６４は、点検作業員が、音声入力の開示時に押すアイコンである。点検作業員が、音声入力開始アイコン６４を押したことに応じて、入力制御部１１２（図２）は、モバイル端末１００の音声入力部２３２をイネーブル（能動化）する。

図３に示すように、カメラ１０４は、例えばモバイル端末１００の背面に設けられる。また、操作ボタン５３が、モバイル端末１００の表示部１０３の下部中央に設けられる。この操作ボタン５３は、入力部１０２（図２）に含まれてよい。

（作用）
次に、上記構成における作用を説明する。

［文字群が完全に一致する回数をカウントする方式］
図４は、［文字群が完全に一致する回数をカウントする方式］について説明するための図である。メータを撮影して得られた画像フレームデータから数値の表示枠が切り出され、さらに、例えばＡＩによる文字認識により、桁ごとの数字が文字として取り出される。画像処理部１１４は、桁ごとに読取りを行う。ここで、文字間の距離（文字間隔）が既定の閾値間隔以下であれば、画像処理部１１４は、表示枠内の文字を同じ１つの文字群として認識する。

図４では、数値「１３８６８」の出現回数がカウントされる。例えば、１０回のうち８回にわたって同じ数値が得られれば、（１）～（１０）のように、（図４（ａ）部分参照）、閾値を超えたとして、保存用の画像が自動で撮像される。次いで、数値「１３８６８」が読み取り値として記録される（図４（ｂ）を参照）。これが、数値単位での読み取り結果である。

画像処理部１１４は、画像から読み取ることのできる文字を抽出し、文字間の距離を求めることで、同一の文字列群に含まれる文字なのか、別な文字列群の一部として扱うかを判定する。この判定処理については後述する。

図５は、［文字群が完全に一致する回数をカウントする方式］を複数のメータに適用することについて説明するための図である。カメラ１０４の視野内に複数のメータが含まれる場合、プロセッサ１１０は、メモリ１０７にバッファエリア５を複数設定する。図中の、（１）～（１０）の組が２つあるのはそのためである（図５（ａ）、および図５（ｂ）を参照）。そして、それぞれのバッファエリア５に、メータごとの認識の結果を保持する。

図６は、［各桁の最頻値を選び、各桁を組み合わせた結果を読み取り値とする方式］について説明するための図である。メータを撮影して得られた画像フレームデータから数値の表示枠が切り出され、さらに、例えばＡＩによる文字認識により、桁ごとの数字が文字として取り出される。各桁の出現回数がカウントされる。例えば、一番左の桁には、（１）から（１０）まで、値１が読み取られている。したがって最頻値は１である。右隣の、一番左から２つ目の桁には、３が８回出現し、８が２回出現している。よって、読み取り値の最頻値は３となる。このようにして、各桁の最頻値を組み合わせ、「１３８６８」が得られる。

画像処理部１１４は、桁ごとに読取りを行い、各桁における数値の出現頻度をカウントする。そして、所定出現回数に達した数値を、その桁の確定結果とする。例えば図６では、各桁の最頻値が「１」、「３」、「８」、「６」、「８」であり、これを各桁の値とする。メータ読み取り値は、この各桁の最頻値を結合して得られた数値「１３８６８」となる。これを桁単位の読み取りとする。この数値「１３８６８」が表示部１０３に表示される。

ここで、カメラ１０４のシャッターが始動するタイミングは、ユーザにより操作ボタン５３が操作されたタイミングでもよいし、あるいは、タイマー設定で、カメラ１０４が起動されてから一定の時間が経過した時でもよい。説明では、読み取り回数を１０回としたが、回数については任意の値を設定することが可能である。

図７は、数値読み取りに係わる処理手順の一例を示すフローチャートである。図７において、例えばモバイル端末１００にインストールされたアプリからカメラ１０４を起動し（ステップＳ１０）、メータにかざして（ステップＳ１１）、対象となるメータが撮影できる距離までカメラ１０４を近づける。

次に、画像処理部１１４により文字の読み取りを行う（ステップＳ１２）。次に、所定の条件が達成されたか否かが判定される（ステップＳ１３）。Ｙｅｓであれば、条件達成として、カメラ１０４により最終的なメータ画像が撮像され（ステップＳ１４）、読み取られた数値とともにメータ画像が表示部１０３に表示される（ステップＳ１４）。

ステップＳ１３でＮｏであれば処理手順はステップＳ１２に戻る。そして、条件が達成されるまで読み取り処理がループされる。ここで、ステップＳ１３における条件とは、例えば、読み取った文字列（数字列）が完全に一致する頻度、または回数が既定の閾値を超えたか否かである。この達成条件が満足されると、数値単位、あるいは各桁の最頻値を読み取り値とした桁単位による読み取り結果が表示される。図７の処理手順では、条件を満たすまでループが繰り返され、撮影までの上限時間を定めるタイマーや、手動シャッターによる撮影などの設定がないケースが示される。

図８は、数値読み取りに係わる処理手順の他の例を示すフローチャートである。図８において、カメラ１０４を起動し（ステップＳ２０）、メータにかざして（ステップＳ２１）、対象となるメータが撮影できる距離までカメラ１０４を近づける。画像処理部１１４は、文字の読み取りを行う（ステップＳ２２）。

次に、プロセッサ１１０は、タイマー設定時間が経過したか否かを判定する（ステップＳ２３）。Ｎｏであれば、プロセッサ１１０は、手動でシャッター操作がなされたか、つまり操作ボタン５３が押されたか否かを判定する（ステップＳ２４）。ステップＳ２４でもＮｏであれば、条件が達成されるまで（ステップＳ２５でＹｅｓ）処理手順はステップＳ２２に戻り、文字の読み取り処理がループされる。

タイマー設定時間が経過したか、手動シャッターが押されると、割り込みによりループを抜ける。ループを抜けたか、ステップＳ２５の条件が達成されると、カメラ１０４により最終的なメータ画像が撮像され（ステップＳ２６）、読み取られた数値とともにメータ画像が表示部１０３に表示される（ステップＳ２７）。

図８の処理手順においては、ステップＳ２６の「撮像」とステップＳ２７の「数値出力（数値単位）」とが１つの経路で分岐がないため、常に対象文字群の完全一致により、判定をしていることになる。この処理手順は、主にリアルタイム性（先読み）を主眼とするものである。

図９は、数値読み取りに係わる処理手順の他の例を示すフローチャートである。図９において、カメラ１０４を起動し（ステップＳ３０）、メータにかざして（ステップＳ３１）、対象となるメータが撮影できる距離までカメラ１０４を近づける。画像処理部１１４は、文字の読み取りを行う（ステップＳ３２）。

次に、プロセッサ１１０は、読み取り開始の時点からタイマー設定時間が経過したか否かを判定する（ステップＳ３３）。Ｎｏであれば、プロセッサ１１０は、操作ボタン５３が押されたか否かを判定する（ステップＳ３４）。ステップＳ３４でもＮｏであれば、条件が達成されるまで（ステップＳ３５でＹｅｓ）処理手順はステップＳ３２に戻り、文字の読み取り処理がループされる。

ステップＳ３４では、ユーザが手動でカメラのシャッターを切ったか否かが判断される。モバイル端末１００が、タイマー設定時間を過ぎたか、または条件が達成されたなどで自動撮像を行うまえに、ユーザ側でシャッターを手動で切った場合の処理手順が示される。

ステップＳ３４で、シャッターが切れていればＹｅｓとなり、ステップ３８での「撮像」が行われる。カメラのシャッターが切れていなければＮｏとなり、次のステップ３５での判断が行われる。ステップＳ３５では、ステップＳ３２で読み取った文字（数字）が、規定の発生回数または頻度を超えていれば、閾値を超え、撮影条件が整ったとしてステップＳ３６に移る。ステップＳ３５でＮｏであれば、処理手順はステップＳ３２に戻る。

タイマー設定時間が経過したか、手動シャッターが押されると、割り込みによりループを抜ける。ループを抜けると処理手順はステップＳ３８に移行し、カメラ１０４により最終的なメータ画像が撮像される（ステップＳ３８）。これは、タイマー設定時間を超えるまで、撮像条件に達しなかったときの処理である。次に、桁単位での数値が出力され表示部１０３に表示される（ステップＳ３９）。ステップＳ３９においては、［各桁の最頻値を選び、各桁を組み合わせた結果を読み取り値とする方式］で示した、各桁での最頻値を組み合わせた読み取り結果が出力される。

一方、ステップＳ３５の条件が達成された場合にも、カメラ１０４により最終的なメータ画像が撮像される（ステップＳ３６）。メータ画像は、読み取られた数値とともに表示部１０３に表示される（ステップＳ３７）。

ステップＳ３７では、［文字群が完全に一致する回数をカウントする方式］と同様に、文字群の完全一致により撮像した画像が表示部１０３に表示される。ステップＳ３７では、「数値出力（数値単位）」は完全一致であり、閾値を超えるのは撮影条件を含めて難しい条件となる。対して、ステップＳ３９の「数値出力（桁単位）」では、各桁の閾値から結果としての読み取り値を得ることが容易である。例えば、文字群の桁数が増えると、「数値出力（数値単位）」の完全一致のほうが、条件達成に時間がかることも想定される。

なお、図７、図８および図９のフローチャートでは、読み取る対象を数値として説明した。これに限らず、他の文字が読み取り対象に含まれていてもよく、同様の処理手順が成立する。

図１０は、読み取り処理における処理手順の一例を示すフローチャートである。ステップＳ１２，Ｓ２２，およびＳ３２における処理の詳細が示される。図１０の読み取り処理にジャンプすると、プロセッサ１１０は、画像中の数値の表示枠を特定し、枠内の文字の読み取りを開始する（ステップＳ４０）。次に、プロセッサ１１０は、数値が表示されている表示枠を読み取れたかを判断する（ステップＳ４１）。Ｙｅｓであれば読み取りに成功して次のステップに移るが、読み取れていない場合はステップＳ４１でＮｏとなり、処理手順はステップＳ４０に戻る。

ステップＳ４１でＹｅｓであれば、プロセッサ１１０は、１つ目の文字列群または次の文字列群として認識できたかを判定する（ステップＳ４２）このステップでは、１文字ずつ読み取った後、文字どうしの間隔に基づいて、１つの文字群として認識するか否かが判断される。文字間隔が閾値より狭ければ１つの文字群として扱われ、Ｙｅｓとなる。そうすると、プロセッサ１１０は各文字列群の読取り結果をメモリ１０７に一時保存し（ステップＳ４４）、処理は呼び出し元にリターンする。

一方、文字間隔が閾値より広い場合は、別な文字群として認識されるので、ステップＳ４２でＮｏとなる。プロセッサ１１０は別の文字列群として認識し（ステップＳ４３）、処理は呼び出し元にリターンする。

図１１は、従来の読み取り方法と、複数の画像フレームデータを用いた場合との比較をするための図である。従来の読み取り方法を図中左側に示す（図１１の（ａ）を参照）。１枚の画像を撮像した後、値を読み取る。画像処理部１１４により、１枚の画像のコントラストを変えて、複数の画像を疑似的に作成して処理するようにしてもよい。カメラ１０４が起動され文字の読み取りが可能となった時刻から、画像フレームデータの取得、およびバッファエリア５への読み取り結果の格納が開始される。例えば１０枚の比較画像から、桁ごとに出現回数の多い数字を集計して出力し、数値の読み取り値を推定する。

従来の方法ではただ１枚の画像フレームから数値を読み取っていたところ、図１１の手法では画像の情報量を格段に多くできるので、読み取り率や読み取り精度はその分、向上する。図１１においては、最頻値を組み合わせた、１３８６８が読み取り値として得られる。そして、読み取り値が得られると、プロセッサ１１０はカメラ１０４を制御して、保存用、および表示部１０３に表示するための画像データを取得する。または、表示制御部１１３により、読み取り値に対応する画像フレームデータをバッファエリア５から読み出して表示部１０３に出力してもよい。

図１２は、メータ読み取り装置の機能を実装可能なコンピュータの一例を示すブロック図である。図１２において、汎用コンピュータとしての情報処理装置２０は、ＣＰＵ８６などの制御装置と、ＲＯＭ（Read Only Memory）８８やＲＡＭ（Random Access Memory）９０やＨＤＤ（ハードディスクドライブ）９２などの記憶装置と、各種機器とのインタフェースであるＩ／Ｆ部８２と、出力情報などの各種情報を出力する出力部８０と、ユーザによる操作を受付ける入力部９４と、各部を接続するバス９６とを備える。

上記構成において、ＣＰＵ８６が、ＲＯＭ８８からプログラムをＲＡＭ９０上に読み出して実行することにより、図２に示される各部が汎用のコンピュータ上で実現される。

なお、上記実施の形態の情報処理装置２０で実行される上記各処理を実行するためのプログラムは、ＨＤＤ９２に記憶されていてもよい。また、上記実施の形態の情報処理装置２０で実行される上記各処理を実行するためのプログラムは、ＲＯＭ８８に予め組み込まれて提供されていてもよい。

また、情報処理装置２０で実行される上記処理を実行するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、上記実施の形態の情報処理装置２０で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施の形態の情報処理装置２０で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワーク経由で提供または配布するようにしてもよい。

（効果）
以上述べたように、実施形態によれば、（１）検針対象のメータにモバイル端末１００を近接させ、カメラ１０４を起動する。（２）カメラ１０４をメータに向けてかざす。（３）操作ボタン５３をユーザが押す。（４）表示された画像とその読み取り値をユーザが確認する。（５）次のメータに移動する。という手順により、ユーザ（点検作業員）はメータのデータを収集していくことができる。

既存の手法では、撮像した１枚の画像から数値の読取りを行うだけなので、画像の状態により精度が大きく変わる。これに対して、実施形態では、カメラ１０４をメータにかざした時点からリアルタイムで撮像および読取りを行うことで、複数の読取り結果情報を得ることができる。

すなわち、「手振れがなくなり安定して撮影できる状態になったら、ユーザに通知する。通知により、ユーザは撮像するためのシャッターを切るか、自動撮影により撮像を行う。撮像結果、および値読取り結果を、画像表示によりユーザに伝える。」という操作性を実現できる。ユーザが慣れてくれば、「撮影画像からメータ値読取りが可能になった時刻を起点として、設定タイムまたは設定取得枚数を超えるとシャッターを自動で切り、撮影する。その後異なる撮影画像で同様に自動撮影していく。」という操作性を実現することもできる。

カメラ１０４による撮像画像の読み取り文字の一致率が閾値を超えるか、または、カメラ１０４の起動後から一定の時間が経過した時点で、自動撮影する設定とすれば、簡単でかつ高い精度が実現できるようになる。

すなわち、実施形態によれば、メータの数値の読取り精度が向上し、また撮影ボケや照明不足などのない、確実に読み取れる画像を保存画像とすることができる。また、モバイル端末をメータに近づけるだけで起動されているカメラの撮影読み取りが開始されるので、撮影時にシャッターを切る操作による手振れを防ぐことができる。また、同じ対象物を複数回にわたって自動撮影することにより、読み取り精度の向上が図られる。加えて、撮影ボケやメータ表示枠にある保護ガラスへの光の反射や撮影者自身、もしくは端末の映り込みなどのない、確実に読み取れる明るさや端末の位置、角度などを確認することができ、作業者の習熟を促す効果が期待できる。
実施形態により、作業にリズムが生じ、効率的な撮影と読取りができる一方、作業性と読取り精度の向上との両立が実現できる。さらに、設定したタイミングで撮影することを繰り返すことで、作業にリズムが生じ、効率的な撮影、読取りができる。

これらのことから、実施形態によれば、作業性を高められるとともに、読み取り精度の向上を図ったメータ読み取り装置、メータ読み取り方法、およびプログラムを提供することができる。

なお、この発明は上記実施の形態に限定されるものではない。例えば、適用例は、工場、事業所の設備、あるいは種々の計測器に限定されるものではない。例えば、メータＭＴ１～ＭＴｎは、電流、電圧、気体や液体の圧力や流量などの計測値、設備や機器の稼働状態に限らず、他の物理量や状態を示すものであってもよい。

また、図１に示されるインターネット１４をＬＡＮ（Local Area Network）に置き換え、オンプレミスサービスとしての実装も可能である。この場合、基地局２００は、無線ＬＡＮ（ＩＥＥＥ８０２．１１シリーズ）を実装するアクセスポイントであってよい。

あるいは、インターネット１４が公共あるいはローカルの移動通信網であれば、基地局２００は、３Ｇ、ＬＴＥ（登録商標）、４Ｇ、５Ｇ等の無線基地局である。また、図１のモバイル端末１００と基地局２００との間のエアインタフェースは、無線ＬＡＮ、４Ｇ、５Ｇ等に限定されるものではない。要するにモバイル端末１００を無線リンクでインターネット１４に接続することができれば、どのような無線通信方式を適用してもよい。

また、図２のプロセッサ１１０に含まれる各機能の一部または全部を他の機能と統合する、あるいは各機能を別の観点で複数の機能ブロックに切り分けて別の表現で説明することも可能である。また、学習済みモデル１０６ｄの基礎となるニューラルネットワークについてもＣＮＮやＤＮＮに限定されず、ＳＶＭ（Support Vector Machine）等の、形式の異なるニューラルネットワークを適宜使用することができる。

また、モバイル端末１００の全ての機能、または一部の機能をサイトＰＣ１１、またはクラウドサーバ１３に実装しても良い。例えば、モバイル端末１００で取得した画像をサイトＰＣ１１に転送し、画像処理、文字認識、数値認識等の処理をサイトＰＣ１１で実施しても良い。どこまでの処理をエッジ（モバイル端末１００）、およびクラウド（サイトＰＣ１１、クラウドサーバ１３）で分担するかはシステム要件に応じて柔軟に決めることが可能である。

さらに、クラウドサーバ１３により提供されるサービスは、サービスの提供を受けるクライアントが所有する（あるいは貸与された）モバイル端末１００やサイトＰＣ１１に対して、サブスクリプション方式で提供することも考えられる。

また、図３の「当月の検針値の入力欄」領域６２に表示されている各桁の数字車における検針値の入力方法は、上述した方法に限定されるものではない。例えば、各桁の数字車に触れると０～９までの数字を選択可能なプルダウンメニューが表示される入力方法や、各桁の数字車に触れると０～９までの数字を入力可能な枠が表示される入力方法であってもよい。「当月の検針値の入力欄」領域６２の入力欄における検針値の入力方法は、公知の数字入力に関する入力方法のいずれを用いてもよい。

本発明の実施形態を説明したが、この実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

５…バッファエリア、１１…サイトＰＣ、１２…外部メディア、１３…クラウドサーバ、１４…インターネット、２０…情報処理装置、５３…操作ボタン、６４…音声入力開始アイコン、６５…警報表示領域、８０…出力部、８２…Ｉ／Ｆ部、８６…ＣＰＵ、８８…ＲＯＭ、９０…ＲＡＭ、９４…入力部、９６…バス、１００…モバイル端末、１０１…通信部、１０２…入力部、１０３…表示部、１０４…カメラ、１０５…ＧＮＳＳ受信部、１０５…受信部、１０６…ストレージ、１０６ａ…帳票データ、１０６ｂ…設定情報データ、１０６ｃ…画像データ、１０６ｄ…学習済みモデル、１０６ｅ…プログラム、１０７…メモリ、１１０…プロセッサ、１１１…通信制御部、１１２…入力制御部、１１３…表示制御部、１１４…画像処理部、１１５…位置情報処理部、１１６…検針データ集計処理部、２００…基地局、２３２…音声入力部、４００…ゲートウェイ、ＬＡＮ…無線、ＭＴ１～ＭＴｎ…メータ。

Claims (13)

1. ユーザインタフェースと、
   数値の表示枠を有するメータを撮像して複数の画像フレームデータを取得するカメラと、
   バッファエリアを有するメモリと、
   前記画像フレームデータを処理するプロセッサとを具備し、
   前記プロセッサは、
   前記複数の画像フレームデータごとに前記表示枠内の文字を認識して読み取り結果を生成する画像処理部と、
   前記画像フレームデータごとの読み取り結果を前記バッファエリアに一時記憶させる入力制御部と、
   前記バッファエリアに記憶された読み取り結果を比較して、生成回数が既定の閾値を超えた読み取り結果に対応する数値を前記ユーザインタフェースに出力する出力制御部とを備える、メータ読み取り装置。
2. 前記出力制御部は、前記生成回数が前記閾値を超えた読み取り結果に対応する画像フレームデータを前記ユーザインタフェースに出力する、請求項１に記載のメータ読み取り装置。
3. 前記出力制御部は、前記生成回数が前記閾値を超えてから撮像された画像フレームデータを前記ユーザインタフェースに出力する、請求項１に記載のメータ読み取り装置。
4. 前記プロセッサは、前記メータに前記カメラが対向した状態で既定の時間が経過した場合に前記カメラを制御して、前記画像フレームデータの取得を開始する、請求項１に記載のメータ読み取り装置。
5. 前記出力制御部は、前記生成回数が前記閾値を超えたことを前記ユーザインタフェースからユーザに通知する、請求項１に記載のメータ読み取り装置。
6. 前記出力制御部は、前記バッファエリアに記憶された読み取り結果から認識された数値の生成回数が既定の閾値を超えたことを前記ユーザインタフェースからユーザに通知する、請求項１に記載のメータ読み取り装置。
7. 前記画像処理部は、
   前記表示枠内における読み取り可能な文字列の文字間の距離が既定の閾値間隔以下であれば、当該文字列を同じ文字群として認識する、請求項１に記載のメータ読み取り装置。
8. 前記出力制御部は、同じ文字群として認識された文字列の読み取り結果をカウントして前記生成回数とする、請求項７に記載のメータ読み取り装置。
9. 画像処理部は、前記表示枠内の文字を桁ごとに認識して、当該桁ごとの読み取り結果を生成し、
   前記出力制御部は、前記読み取り結果を桁ごとに比較して、生成回数が既定の閾値を超えた読み取り結果を桁ごとに結合して得られた数値を前記ユーザインタフェースに出力する、請求項１に記載のメータ読み取り装置。
10. 前記入力制御部は、前記複数の画像フレームデータを前記バッファエリアに一時記憶させ、
    前記出力制御部は、前記生成回数が前記閾値を超えた読み取り結果に対応する画像フレームデータを前記バッファエリアから読み出して前記ユーザインタフェースに出力する、請求項２に記載のメータ読み取り装置。
11. 前記出力制御部は、前記ユーザインタフェースに、
    前記表示枠の画像データを表示する欄と、
    前記読み取り結果に対応する数値を表示する欄と、
    前記読み取り結果に対応する数値を表示する欄に表示された数値を修正するための操作部とを表示する、請求項１に記載のメータ読み取り装置。
12. ユーザインタフェースと、カメラと、バッファエリアを有するメモリと、プロセッサとを具備するコンピュータの前記プロセッサによるメータ読み取り方法において、
    前記プロセッサが、数値の表示枠を有するメータを撮像して複数の画像フレームデータを取得する工程と、
    前記プロセッサが、前記複数の画像フレームデータごとに前記表示枠内の文字を認識して読み取り結果を生成する工程と、
    前記プロセッサが、前記画像フレームデータごとの読み取り結果を前記バッファエリアに一時記憶させる工程と、
    前記プロセッサが、前記バッファエリアに記憶された読み取り結果を比較して、生成回数が既定の閾値を超えた読み取り結果に対応する数値を前記ユーザインタフェースに出力する工程とを具備する、メータ読み取り方法。
13. ユーザインタフェースと、カメラと、バッファエリアを有するメモリと、プロセッサとを具備するコンピュータの前記プロセッサにより実行可能なプログラムであって、
    前記プロセッサに、数値の表示枠を有するメータを前記カメラにより撮像して複数の画像フレームデータを取得させる命令と、
    前記プロセッサを、前記複数の画像フレームデータごとに前記表示枠内の文字を認識して読み取り結果を生成する画像処理部として機能させる命令と、
    前記プロセッサを、前記画像フレームデータごとの読み取り結果を前記バッファエリアに一時記憶させる入力制御部として機能させる命令と、
    前記プロセッサを、前記バッファエリアに記憶された読み取り結果を比較して、生成回数が既定の閾値を超えた読み取り結果に対応する数値を前記ユーザインタフェースに出力する出力制御部として機能させる命令とを含む、プログラム。