JP4592311B2

JP4592311B2 - 指示値認識方法、指示値認識システム、指示値認識プログラム、指示値認識プログラムを記録した記録媒体

Info

Publication number: JP4592311B2
Application number: JP2004085146A
Authority: JP
Inventors: 秀雄石丸; 利男井上
Original assignee: Chugoku Electric Power Co Inc
Current assignee: Chugoku Electric Power Co Inc
Priority date: 2004-03-23
Filing date: 2004-03-23
Publication date: 2010-12-01
Anticipated expiration: 2024-03-23
Also published as: JP2005275590A

Description

この発明は、指示値認識方法、指示値認識システム、指示値認識プログラム、指示値認識プログラムを記録した記録媒体に関する。

例えば、指示値の発信機能が付いていない現字式のメータについて、その指示値画像を処理して指示値の電子化を図る手法が提案されてきた。例えば、複数桁からなる数字車の回転によって直接指示値を表示する現字形計器の指示値を、画像認識処理によって読み取る現字形計器認識処理装置であって、現字形計器の指示値表示部およびその周辺部を撮像し、画像データを取得する画像撮像手段を有し、イニシャル処理として、画像撮像手段で回転中の数字を連続的にとらえた複数の画像データを用いて、回転順に数字を縦に並べた照合用モデル画像を自動的に作成する照合用モデル画像作成手段を有し、また、認識処理として、画像撮像手段によって取得した画像データの中から、各桁について、数字表示枠の画像領域をそれぞれ個別に切り出す数字表示枠画像切り出し手段と、切り出した数字表示枠画像から数字部分を抽出し、その数字部分と、照合用モデル画像内の数字部分とを比較し、最も近似した形状を示す縦位置を検索する照合位置抽出手段と、照合位置抽出手段で求められた縦位置から、各桁について、それぞれ整数部および小数部からなる指示値を算出する桁単位指示値算出手段と、最下位桁を除いた全ての桁について、一つ下位桁の指示値の整数部および小数部ならびに最下位桁指示値の小数部を用いて整数値に補正した上で、複数桁からなる指示値を算出する読み取り値算出手段と、を有することを特徴とする現字形計器認識処理装置（特許文献１参照）などが提案されている。
特開２００３−２４２４４４号公報

しかしながら従来手法においては、指示値認識の基準パターンが固定的で、メータ種別や種々の状況変化に対応して確実に指示値認識を行うことが困難な状況が生じた。また、その指示値認識の確からしさ、つまり認識率の情報を利用者に提供して配慮を促すといったサービスを提供することもなかった。加えて、電力やガス、水道等の消費量以外にメータ故障等の表示を認識して処理結果に反映させるといったことも提案されていなかった。

そこで本発明の目的は、メータ種別や設置状況等に対応した効率的な指示値認識や指示値の２次利用を可能とし、また、指示値以外の表示についての認識処理も可能とする指示値認識方法、指示値認識システム、指示値認識プログラム、指示値認識プログラムを記録した記録媒体を提供することにある。

上記課題を解決する本発明の指示値認識方法は、電気使用量メータなどの各種メータの指示値の認識を、撮像装置により撮影された前記メータの指示値画像データとして、時刻、季節、天候の少なくともいずれかの事象における所定時機毎に撮影した指示値画像データを格納する画像データベースと、前記メータの種別情報を格納するメータ情報データベースと、を備えた情報処理装置により行う方法であって、前記画像データベースにおける指示値画像に写るメータの特定情報を入力インターフェイスより受け付けて、当該受け付けたメータ特定情報を前記メータ情報データベースに照合しメータ種別を特定し、前記画像データベースより、前記特定がなされたメータ種別に対応する指示値画像データを抽出して出力インターフェイスに出力すると共に、当該指示値画像データのうち認識対象となる指示値領域の指定を入力インターフェイスより受け付け、前記指示値画像データより、前記指示値領域に該当する領域の画像データを抽出すると共に、ここで抽出した画像データの画像認識処理を行って電子データとしての指示値情報を生成し、前記指示値情報を出力インターフェイスに出力し、前記特定がなされたメータ種別に対応する指示値画像データの前記指示値領域に該当する領域の画像データについて、前記いずれかの事象における所定時機毎の画像認識処理を実行し、指示値画像データからの指示値の認識率を各時機毎に算定し、前記認識率が所定の閾値より低い時機または事象の前記指示値画像データについて、前記メータ特定情報または前記指示値領域のいずれかの再設定要求の通知を出力インターフェイスに出力することを特徴とする（第１の発明）。

第２の発明は、第１の発明において、前記メータ情報データベースが、メータの種別情報として、メータ名称、文字盤回転の有無および回転方向、デジタル表示の有無、およびメータ会社名の少なくともいずれかの情報を含み、前記特定情報として、前記メータの種別情報のうちいずれかを入力インターフェイスより受け付けて、当該受け付けたメータ特定情報を前記メータ情報データベースに照合しメータ種別を特定することを特徴とする。

第３の発明は、第１または第２の発明において、前記指示値情報を生成すると共に、当該指示値情報の起源となった指示値画像データからの指示値の認識率を算定して信頼度情報を生成し、前記信頼度情報を出力インターフェイスに出力することを特徴とする。

第４の発明は、第１〜第３のいずれかの発明において、前記指示値画像データより、前記指示値画像データより前記指示値領域に該当する領域の画像データを抽出するに先立ち、当該指示値画像データのグレースケール変換を行うことを特徴とする。

第５の発明は、第１〜第４のいずれかの発明において、前記指示値画像データが、故障信号などメータ指示値以外の特定表示を行う特定表示器の画像を含み、前記メータ情報データベースが、前記特定表示器の種別情報と当該特定表示器における表示形態の種別情報とを格納するものであり、前記画像データベースにおける指示値画像に写る特定表示器の特定情報を入力インターフェイスより受け付けて、当該受け付けた特定表示器の特定情報を前記メータ情報データベースに照合し特定表示器種別および表示形態の種別を特定し、前記画像データベースより、前記特定がなされた特定表示器種別に対応する指示値画像データを抽出して出力インターフェイスに出力すると共に、当該指示値画像データのうち認識対象となる特定表示器領域の指定を入力インターフェイスより受け付け、前記指示値画像データより、前記特定表示器領域に該当する領域の画像データを抽出すると共に、ここで抽出した画像データの画像認識処理を行って電子データとしての特定表示情報を生成し、前記特定表示情報を出力インターフェイスに出力することを特徴とする。

第６の発明は、第１〜第５のいずれかの発明において、前記撮像装置がマクロレンズを備えたデジタルカメラであることを特徴とする。

第７の発明は、第６の発明において、前記デジタルカメラを、透明な水密容器内に固定する共に、当該水密容器を透明なスペーサーを介してメータの値表示窓に当接させた状態で固定することを特徴とする。

第８の発明は、第６または第７の発明において、前記デジタルカメラの駆動用の外部電源を前記水密容器内に収めることを特徴とする。

第９の発明は、電気使用量メータなどの各種メータの指示値の認識を行うシステムであって、撮像装置により撮影された前記メータの指示値画像データとして、時刻、季節、天候の少なくともいずれかの事象における所定時機毎に撮影した指示値画像データを格納する画像データベースと、前記メータの種別情報を格納するメータ情報データベースと、前記画像データベースにおける指示値画像に写るメータの特定情報を入力インターフェイスより受け付けて、当該受け付けたメータ特定情報を前記メータ情報データベースに照合しメータ種別を特定するメータ特定部と、前記画像データベースより、前記特定がなされたメータ種別に対応する指示値画像データを抽出して出力インターフェイスに出力すると共に、当該指示値画像データのうち認識対象となる指示値領域の指定を入力インターフェイスより受け付ける認識対象受付部と、前記指示値画像データより、前記指示値領域に該当する領域の画像データを抽出すると共に、ここで抽出した画像データの画像認識処理を行って電子データとしての指示値情報を生成する認識処理部と、前記指示値情報を出力インターフェイスに出力する指示値情報出力部と、前記特定がなされたメータ種別に対応する指示値画像データの前記指示値領域に該当する領域の画像データについて、前記いずれかの事象における所定時機毎の画像認識処理を実行し、指示値画像データからの指示値の認識率を各時機毎に算定する認識率算定部と、前記認識率が所定の閾値より低い時機または事象の前記指示値画像データについて、前記メータ特定情報または前記指示値領域のいずれかの再設定要求の通知を出力インターフェイスに出力する再設定要求出力部と、を備えることを特徴とする指示値認識システムにかかる。

第１０の発明は、電気使用量メータなどの各種メータの指示値の認識方法を、撮像装置により撮影された前記メータの指示値画像データとして、時刻、季節、天候の少なくともいずれかの事象における所定時機毎に撮影した指示値画像データを格納する画像データベースと、前記メータの種別情報を格納するメータ情報データベースと、を備えた情報処理装置に実行させるプログラムであって、前記画像データベースにおける指示値画像に写るメータの特定情報を入力インターフェイスより受け付けて、当該受け付けたメータ特定情報を前記メータ情報データベースに照合しメータ種別を特定するステップと、前記画像データベースより、前記特定がなされたメータ種別に対応する指示値画像データを抽出して出力インターフェイスに出力すると共に、当該指示値画像データのうち認識対象となる指示値領域の指定を入力インターフェイスより受け付けるステップと、前記指示値画像データより、前記指示値領域に該当する領域の画像データを抽出すると共に、ここで抽出した画像データの画像認識処理を行って電子データとしての指示値情報を生成するステップと、前記指示値情報を出力インターフェイスに出力するステップと、前記特定がなされたメータ種別に対応する指示値画像データの前記指示値領域に該当する領域の画像データについて、前記いずれかの事象における所定時機毎の画像認識処理を実行し、指示値画像データからの指示値の認識率を各時機毎に算定し、前記認識率が所定の閾値より低い時機または事象の前記指示値画像データについて、前記メータ特定情報または前記指示値領域のいずれかの再設定要求の通知を出力インターフェイスに出力するステップと、を備えることを特徴とする指示値認識プログラムにかかる。

第１１の発明は、第１０の発明に記載の指示値認識プログラムを記録したコンピュータ読み取り可能な記録媒体にかかる。

その他、本願が開示する課題、及びその解決方法は、発明の実施の形態の欄、及び図面により明らかにされる。

本発明によれば、メータ種別や設置状況等に対応した効率的な指示値認識や指示値の２次利用を可能とし、また、指示値以外の表示についての認識処理も可能とする。

以下に本発明の実施形態について図面を用いて詳細に説明する。図１は本実施形態における指示値認識システム１００を含む全体構成図である。本実施形態においては、例えば需要家の施設に設置された現字式の電力積算計（メータ３００）の指示値をデジタルカメラで撮影し、この撮影画像、つまり指示値画像に基づき指示値を認識する状況を想定する。しかし本発明の適用はこの実施形態に限定されるものではなく、ガス、水道など各種測定対象に関する各種メータ（現字式の他、指針式など）に対する指示値の認識を行ういずれの状況にも適用可能である。

本実施形態における指示値認識システム１００（以下、システム１００とする）は、演算部１０１と、当該演算部１０１が実行するプログラム１０２を格納したメモリ１０３と、外部装置とのデータ授受の処理を担うＩ／Ｏ部１０４と、データベース１０６、１０７など各種データベースを格納する記憶装置１０５とを有するコンピュータである。

ここにおけるシステム１００は、前記記憶装置１０５において、画像データベース１０６、およびメータ情報データベース１０７を備えるものとする。図２は本実施形態におけるデータベース類のデータ構成例である。前記の画像データベース１０６は、撮像装置２００により撮影された前記メータ３００の指示値画像データを格納するものであり、例えばメータ３００毎に、画像ファイル名をキーとして、撮影日時、指示値（本発明により指示値画像データより認識した値：当該処理前はこの項目は空欄となる）、信頼度（本発明により指示値画像データより指示値を認識処理した際の信頼度：当該処理前はこの項目は空欄となる）、特定表示（本発明により指示値画像データより認識した特定表示器の「断線表示：当該処理前はこの項目は空欄となる）といった情報を関連づけたレコードの集合体となっている。

また、前記メータ情報データベース１０７は、前記メータ３００の種別情報と当該メータ３００における指示文字の種別情報とを格納するものであり、例えば、メータＩＤをキーとして、ガスメータや電力量計といったメータマスタ名称、メータタイプ（例：文字盤回転式、液晶デジタルなど）、文字盤回転方向（例：縦あるいは横）、製作会社、指示文字の文字種（例：文字コードやフォント、サンプルとしての文字画像ファイルなど）といった情報を関連づけしたレコードの集合体となっている。

システム１００は、このようなデータベース１０６、１０７を用いて処理に必要にデータを格納するとともに、当該データを本発明の指示値認識プログラム１０２の実行に際し利用する。
以下に、前記システム１００のプログラム１０２を構成する各構成部につき詳細な説明を行う。前記プログラム１０２は、前記画像データベース１０６における指示値画像に写るメータの特定情報を入力インターフェイス１０４より受け付けて、当該受け付けたメータ特定情報を前記メータ情報データベース１０７に照合しメータ種別および指示文字の種別を特定するメータ特定部１１を備える。
また、前記画像データベース１０６より、前記特定がなされたメータ種別に対応する指示値画像データを抽出して出力インターフェイス１０４に出力すると共に、当該指示値画像データのうち認識対象となる指示値領域の指定を入力インターフェイス１０４より受け付ける認識対象受付部１２を備える。
また、前記指示値画像データより、前記指示値領域に該当する領域の画像データを抽出すると共に、ここで抽出した画像データの画像認識処理を行って電子データとしての指示値情報を生成する認識処理部１３と、前記指示値情報を出力インターフェイス１０４に出力する出力部１４とを備える。

続いて、本実施形態における撮像装置２００の概要と、当該撮像装置２００のメータ３００への取付け形態について図１および図３を用いて説明する。図３は本実施形態における、（ａ）カメラ収納形態の全体図、（ｂ）カメラ設置手法の概要、（ｃ）カメラ設置形態例１、（ｄ）カメラ設置形態例２をそれぞれ示す図である。

本実施形態における撮像装置２００は、例えば、マクロレンズ２７１を備えたデジタルカメラとすることができる。このデジタルカメラのカメラセンサーとしては、ＣＣＤやＣＭＯＳなどが想定できるが、いずれのカメラセンサーを備えるデジタルカメラであってもよい。ここではデジタルカメラの一例としてＣＣＤカメラについて説明する。このＣＣＤカメラ２００は、ＣＣＤ（Charge Coupled Device）と呼ばれる、光を電気信号に変換する受光素子を撮像素子としているカメラである。これにより画像を電気信号に変換し、そのデータをデジタル化して記録することが可能となる。勿論、本発明の撮像装置２００は、このＣＣＤカメラに限定されることはなく、ＣＣＤカメラ同様に画像を電子データとして取得できる装置であればいずれのものでもよい。

本実施形態におけるＣＣＤカメラ２００は、前記マクロレンズ２７１を原レンズ２７０に装着し用いることでメータ３００における現字部３０１の接写が可能となる。なお、前記マクロレンズ２７１については、カメラ内蔵方式、外付け方式のいずれとしてもよい。また、市販カメラのうち、条件を満たす性能のマクロレンズがついているもの、なおかつタイマー自動操作に適しているものを選定することでも対応できる。

前記現字部３０１は、例えばメータ３００において表示される指示文字がドラム回転式（機械式かデジタル式かは問わない）などの文字盤上に印字あるいは刻印（浮彫り含む）され、電力消費用等に応じて前記文字盤が回転し、前記指示文字の表示が変遷する機構をさす。なお、当該ＣＣＤカメラ２００による撮影時照明の位置に応じて、偏向レンズを採用することも可能である。更に、発光ダイオードなどの照明装置２７５をＣＣＤカメラ２００が備えることとできる。

カメラ２００の機能構成としては、当該カメラを制御する演算部２０１、当該演算部２０１がメモリ２０３より読み込んでカメラ制御に用いるプログラム２０２、処理結果などを出力するＩ／Ｏ部２０４を備えている。また、各種レンズや鏡体など光学系２０５や、フォーカス制御用の駆動など各種機械装置を含む機構系２０６とを備えている。

こうしたＣＣＤカメラ２００は、メータ３００における積算値表示等の前記現字部３０１に向けて固定する必要がある。そこで図３（ｂ）で示すごとく、前記ＣＣＤカメラ２００を、透明な水密容器２３０内に固定する共に、当該水密容器２３０を透明なスペーサー２５０を介してメータ３００の現字部３０１に当接させた状態で固定することとなる。なお、前記の透明なスペーサー２５０は、前記マクロレンズ２７１の最短の焦点距離を確保するに必要な離隔距離（例：１０ｃｍ程度)と同等の厚みを有するもので、ガラスやアクリル等の素材を採用できる。

また前記の水密容器２３０内には、前記ＣＣＤカメラの駆動用の電源ボックス２２０を収めるとすれば、カメラ駆動期間が長期化でき好適である。この電源ボックス２２０は、電池を装備した電池ボックスであったり、或いは商用電源の受電装置であったりする。更に、前記水密容器２３０内には、ＣＣＤカメラ２００の駆動時期を制御するタイマー２１０も同様に収めるものとできる。これにより、例えば、ＣＣＤカメラが撮影すべき時機（日時、季節など）を制御したり、或いは撮影不要な時期がある場合などにも容易に対応できる。或いはこのタイマーが例えば降雨時と無降雨時とを検知するセンサーや、光量センサーと連動するものとすれば、前記撮影の時機として天候種別や日中／日没に応じたタイミングを採用することもできる。なお、図３（ｄ）に示すごとく、ＣＣＤカメラ２００とタイマー２１０、および電源ボックス２２０の各間は、配線２８０で接続されている。

上述のごとく水密容器２３０を、スペーサ２５０を介して前記現字部３０１に当接したならば、図３（ｃ）に示すように、例えば水密容器２３０とメータ３００とを適宜な拘束具（例：針金や粘着テープ、或いは合成樹脂綱など）で巻回し拘束・固定する。或いは固定用の板材２５６を水密容器２３０とメータ３００との間に架設し、当該板材２５６の端部をそれぞれ水密容器２３０およびメータ３００に固定するなどしてもよい。

このような撮像装置つまりＣＣＤカメラ２００の取付けを行うことで、撮影自体が安定（例：焦点距離が安定、撮影面の光の反射対策が不要、撮影中システムの位置がずれる可能性が低い等）し、また、撮影面への雨滴等の付着を防止でき、屋外撮影が可能となる。加えて、防滴・防爆仕様を簡便に実現でき、使用環境の影響を受けにくくなる（例：塵、湿度等）。

なお、本実施形態においては、これまで示した構成各部１１〜１４らは、システム１００においてハードウェアとして実現してもよいし、ＨＤＤやメモリなどの適宜な記憶装置１０５に格納したプログラムとして実現するとしてもよい。この場合、前記システム１００の演算部１０１がプログラム実行に合わせて記憶装置１０５より該当プログラムをメモリ１０３に読み出して、これを実行することとなる。

また、本実施形態におけるシステム１００は、記憶装置１０５や構成各部１１〜１４が、システム１００において全て具備された例を想定したが、この形態に限定されることない。例えば、前記構成部の一部や組み合わせ、或いはテーブル１０６がネットワーク上で別個の装置に配置され、適宜な管理サーバもしくは前記演算部１０１が前記構成部の稼働管理を行って、本発明を実現するといった例も想定できる。

次に、本実施形態の指示値認識方法の実際手順について図を参照しつつ説明する。なお、以下で説明する指示値認識方法に対応する各種動作は、前記システム１００におけるメモリ１０３やＨＤＤ等を含む記憶装置１０５が前記各構成部の機能を実現すべく備えるプログラム１０２によって実現される。そして、このプログラム１０２は、以下に説明される各種の動作を行うためのコードから構成されており、前記構成各部の機能を実装したものとなる。

まず本実施形態における指示値認識方法のメインフローにつき説明しておく。図４は本実施形態における指示値認識方法の処理手順例１を示すフロー図である。本実施形態における前記システム１００は、まず前記画像データベース１０６における指示値画像に写るメータ３００の特定情報を入力インターフェイス１０４より受け付ける（ｓ１０００）。そして、当該受け付けたメータ特定情報を前記メータ情報データベース１０７に照合しメータ種別および指示文字の種別を特定する（ｓ１００１）。

なお、前記メータ情報データベース１０６が、図２で示したごとく、メータの種別情報として、メータ名称、文字盤回転の有無および回転方向、デジタル表示の有無、およびメータ会社名の少なくともいずれかの情報を含み、また、指示文字の種別情報として、文字コード、フォント種別、およびサンプル文字画像の少なくともいずれかを含むものであれば、前記特定情報として、前記メータの種別情報のうちいずれか、および前記指示文字の種別情報のいずれかを入力インターフェイス１０４より受け付けることとできる。そして、当該受け付けたメータ特定情報を前記メータ情報データベース１０７に照合しメータ種別および指示文字の種別を特定することとできる。

続いてシステム１００は、前記画像データベース１０６より、前記特定がなされたメータ種別に対応する指示値画像データを抽出して出力インターフェイスに出力する。なお、当該指示値画像データの抽出に先立ち、グレースケール変換を行うこととできる。図６において、この処理時点のおける画面例を示す。

先のステップｓ１０００においてメータ特定情報を受け付けて、ステップｓ１００１にて特定したメータの情報については、この画面６００に示すとおり、「メータ情報選択」欄６０１に表示される。この例では、メータＩＤが「１」、メータマスタ名称が「ガスメータ」、メータタイプが「７ＳＥＧ式デジタルメータ」、文字盤の回転方向が「縦回転」、といった具合のメータ情報が示される。

また、当該画面６００には他にも、画像データベース１０６より抽出してきた指示値画像データのサムネイル群６０２と、そのサムネイル群６０２に属するいずれかの指示値画像データの拡大画像６０３などが含まれる。

システム１００は、例えば前記拡大画像６０３などに対して、前記指示値画像データのうち認識対象となる指示値領域の指定を受け付ける（ｓ１００３）。この指定の受付処理は、例えば前記画面６００における認識対象登録ボタン６０４の押下に応じて開始する。図７に指示値領域の指定受付画面７００を示す。この画面７００においては、前記特定したメータ３００の情報をメータ情報欄７０１に示すと共に、指示値領域の指定対象として前記サムネイル群６０２より選択された指示受付画像７０２を表示する。この指示受付画像７０２に対し、例えば、文字盤画像などが含まれる現字部領域７０３の囲い込み処理（例：マウスカーソルのクリックとドラッグにより矩形領域を範囲指定する）を受付ける。

システム１００はその囲い込み領域を、画像領域座標７０４として認識し、画面７００において提示する。この処理にあわせて、メータ桁数について桁数選択ボタン７０５より受け付けたり、認識基準としての前記指示受付画像７０２における指示値の登録を登録文字入力欄７０６で受付ける。また、文字盤等に対する照射光量に指示値の認識効率が左右される懸念に対処すべく、昼夜別に前記ステップｓ１００３での処理および当該画面７００における受付処理を行うこともできる。

なお、前記指示値領域は、例えば前記指示受付画像７０２中あるいはメータ３００中に予め定めた原点座標を基準とした座標値をもって領域の特定情報とできる。この例では、前記指示値領域が矩形であるとしたが、この場合、矩形領域における１頂点の座標と、前記頂点と対角線上にある他の１頂点の座標とが指示値領域の情報となる。勿論、このような指示値領域の特定手段だけでなく、領域の形態やシステムやプログラムの構成に応じて任意に特定手段を選定するものとしてよい。

システム１００は、こうして指示値領域の指定を受け付けた後、当該指示値領域に基づくテスト解析を行うことができる。つまり、この指示値領域を今後の処理全てに使用しても指示値の認識率等に支障がないが判定することが可能なのである。このため、例えば図８に示す画面８００においてテスト解析ボタン８０１の押下を受けるなどして、テスト解析の実行を行う場合（ｓ１００４：ＹＥＳ）、前記指示受付画像７０２について、時刻等の事象における所定時機毎の画像認識処理を実行する（ｓ１００５）。

この場合、前記画像データベース１０６が、指示値画像データとして、時刻、季節、天候の少なくともいずれかの事象における所定時機毎に撮影した指示値画像データを格納しているものとし、前記指示受付画像７０２もこうした事象のデータが関連づけされた上で格納されているとする。

システム１００は、指示受付画像７０２から解析された指示値８０２と、前記画面７００において認識基準として受け付けた指示値との一致性を検証し、各時機毎に認識率を判算定する（ｓ１００６）。

そして、前記認識率が所定の閾値より低い時機または事象の前記指示受付画像７０２があれば（ｓ１００７：ＹＥＳ）、前記メータ特定情報または前記指示値領域のいずれかの再設定要求の通知を出力インターフェイス１０４に出力する（ｓ１００８）。

他方、前記認識率が所定の閾値より低い時機または事象の前記指示受付画像７０２がない場合（ｓ１００７：ＹＥＳ）、あるいはテスト解析を実行しない場合（ｓ１００４：ＮＯ）、システム１００は、前記サムネイル群６０２らの指示値画像データより、前記指示値領域に該当する領域の画像データを抽出すると共に（ｓ１００９）、ここで抽出した画像データの画像認識処理を行って電子データとしての指示値情報を生成する（ｓ１０１０）。

ここでシステム１００は、前記生成した各指示値情報の起源となった各指示値画像データからの指示値の認識率を各々算定して信頼度情報を生成した場合（ｓ１０１１：ＹＥＳ、ｓ１０１２）、この信頼度情報を出力インターフェイス１０４に出力し（ｓ１０１３）、処理を終了する。図９に示す画面９００に示す通り、前記サムネイル群６０２を構成する指示値画像データ毎に認識した指示値の結果と、前記信頼度情報とが、指示値情報欄９０１として示される。また、図１０に示す画面１０００のごとく、表計算アプリケーション等にて処理しやすいよう、ＣＳＶ形式等の適宜なファイル形式にて出力することも可能である。

一方、前記生成した各指示値情報の起源となった各指示値画像データからの指示値の認識率を各々算定して信頼度情報を生成しない場合（ｓ１０１１：ＮＯ）、前記指示値情報を出力インターフェイス１０４に出力し（ｓ１０１３）、処理を終了する。

次に、他の手順例についても説明しておく。図５は本実施形態における指示値認識方法の処理手順例２を示すフロー図である。本実施形態におけるシステム１００は、メータ３００の指示値だけでなく、メータ故障や断線など特定の情報について表示を行う特定表示器３０５（図１）の表示認識を行うことが可能である。

この場合、前記指示値画像データが、故障信号などメータ指示値以外の特定表示を行う特定表示器３０５の画像を含み、前記メータ情報データベース１０７が、前記特定表示器３０５の種別情報と当該特定表示器３０５における表示形態の種別情報とを格納するものとする。

システム１００は、前記画像データベース１０６における指示値画像に写る特定表示器３０５の特定情報を入力インターフェイス１０４より受け付ける（ｓ１１００）。そして、当該受け付けた特定表示器３０５の特定情報を前記メータ情報データベース１０７に照合し特定表示器種別および表示形態の種別を特定する（ｓ１１０１）。

更に、前記画像データベース１０６より、前記特定がなされた特定表示器種別に対応する指示値画像データをグレースケール変換して抽出し、出力インターフェイス１０４に出力する（ｓ１１０２）。これと共に、当該指示値画像データのうち認識対象となる特定表示器領域の指定を入力インターフェイス１０４より受け付ける（ｓ１１０３）。

続いて、前記指示値画像データより、前記特定表示器領域に該当する領域の画像データを抽出すると共に（ｓ１１０４）、ここで抽出した画像データの画像認識処理を行って電子データとしての特定表示情報を生成する（ｓ１１０５）。システム１００は、この特定表示情報を出力インターフェイス１０４に出力し（ｓ１１０６）、処理は終了する。

−−−−信頼度の判定処理例−−−−
前記信頼度情報を生成する手法としては、例えば以下のようなものが想定できる。例えば、認識結果による信頼判定がある。空白桁がないメータ３００において、すべてのテンプレート（基準の文字情報）との相関値を求め、その全てが閾値以下の時、文字を決定できなかったと判定し信頼度ＮＧとする。

また他に、空白文字チェックによる信頼判定がある。空白桁があるメータ３００（例：７セグメントタイプ等）において、あり得ない桁が空白桁となった場合に信頼度ＮＧと判定する。

また、文字（数値・記号）位置チェックによる信頼判定がある。レイアウト情報（指示値領域の情報）として、数字が登録されている桁において文字（英字、記号）が検出された、または文字が登録されている桁において数字が検出された場合を信頼度ＮＧと判定する。

また、認識対象画像ずれ補正異常による信頼度判定がある。ずれ補正およびマーカ位置サーチの結果として得られたずれの値が閾値よりも大きい場合、信頼度ＮＧと判定する。

また、平均輝度による信頼度判定がある。基準画像（レイアウト情報登録時に使用された画像）と認識対象画像の平均輝度の差が閾値よりも大きい場合に信頼度ＮＧと判定する。

また、全数字チェックによる信頼度判定がある。レイアウト情報の各桁の平均輝度と、各桁ごとの平均輝度との差の値が閾値よりも大きい場合に信頼度ＮＧと判定する。

また、統計処理・インクリメントチェックによる信頼度判定がある。積算メータにおいて、前回の値よりも小さい値が計測された場合に信頼度ＮＧと判定する。

また、統計処理・指示値増減幅許容範囲チェックによる信頼度判定がある。前回の指示値と今回の指示値との差がパラメータで設定された閾値よりも大きい場合に信頼度ＮＧと判定する。

また、統計処理・画像回転による信頼度判定がある。画像の回転状況を確認するために収集したデータで、信頼度を判定する閾値により判定する。

また、統計処理・相関値（最大と２番目）の差による信頼度判定がある。相関値の最大値と２番目の値との差が閾値よりも小さい場合は信頼度ＮＧと判定する。

また、統計処理・時間当たりの指示値増減幅許容範囲チェックによる信頼度判定がある。前回の値と今回の値との時間当たりの差が、パラメータで設定された閾値よりも大きい場合、信頼度ＮＧと判定する。

また、統計処理・最小値／最大値範囲チェックによる信頼度判定がある。計測された値が、パラメータで設定された最大値／最小値の範囲でない場合に信頼度ＮＧと判定する。

なお、上記各信頼度判定において、「相関値」とは、認識する文字毎のマスタと、認識対象画像とのマッチング状況を数値化したものである。また、「テンプレート」とは、文字毎のマスタ画像を指すものである。

以上、本発明の実施の形態について、その実施の形態に基づき具体的に説明したが、これに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。

本実施形態における指示値認識システムを含む全体構成図である。本実施形態におけるデータベース類のデータ構成例である。本実施形態における、（ａ）カメラ収納形態の全体図、（ｂ）カメラ設置手法の概要、（ｃ）カメラ設置形態例１、（ｄ）カメラ設置形態例２をそれぞれ示す図である。本実施形態における指示値認識方法の処理手順例１を示すフロー図である。本実施形態における指示値認識方法の処理手順例２を示すフロー図である。本実施形態における画面例１を示す図である。本実施形態における画面例２を示す図である。本実施形態における画面例３を示す図である。本実施形態における画面例４を示す図である。本実施形態における画面例５を示す図である。

符号の説明

１１メータ特定部
１２認識対象受付部
１３認識処理部
１４出力部
１００システム
１０１演算部
１０２プログラム
１０３メモリ
１０４Ｉ／Ｏ部、入出力インターフェイス
１０５記憶装置
１０６画像データベース
１０７メータ情報データベース
２００撮像装置
３００メータ

Claims

電気使用量メータなどの各種メータの指示値の認識を、
撮像装置により撮影された前記メータの指示値画像データとして、時刻、季節、天候の少なくともいずれかの事象における所定時機毎に撮影した指示値画像データを格納する画像データベースと、
前記メータの種別情報を格納するメータ情報データベースと、を備えた情報処理装置により行う方法であって、
前記画像データベースにおける指示値画像に写るメータの特定情報を入力インターフェイスより受け付けて、当該受け付けたメータ特定情報を前記メータ情報データベースに照合しメータ種別を特定し、
前記画像データベースより、前記特定がなされたメータ種別に対応する指示値画像データを抽出して出力インターフェイスに出力すると共に、当該指示値画像データのうち認識対象となる指示値領域の指定を入力インターフェイスより受け付け、
前記指示値画像データより、前記指示値領域に該当する領域の画像データを抽出すると共に、ここで抽出した画像データの画像認識処理を行って電子データとしての指示値情報を生成し、
前記指示値情報を出力インターフェイスに出力し、
前記特定がなされたメータ種別に対応する指示値画像データの前記指示値領域に該当する領域の画像データについて、前記いずれかの事象における所定時機毎の画像認識処理を実行し、指示値画像データからの指示値の認識率を各時機毎に算定し、
前記認識率が所定の閾値より低い時機または事象の前記指示値画像データについて、前記メータ特定情報または前記指示値領域のいずれかの再設定要求の通知を出力インターフェイスに出力することを特徴とする指示値認識方法。
請求項１において、
前記メータ情報データベースが、
メータの種別情報として、メータ名称、文字盤回転の有無および回転方向、デジタル表示の有無、およびメータ会社名の少なくともいずれかの情報を含み、
前記特定情報として、前記メータの種別情報のうちいずれかを入力インターフェイスより受け付けて、当該受け付けたメータ特定情報を前記メータ情報データベースに照合しメータ種別を特定することを特徴とする指示値認識方法。
請求項１または２において、
前記指示値情報を生成すると共に、当該指示値情報の起源となった指示値画像データからの指示値の認識率を算定して信頼度情報を生成し、
前記信頼度情報を出力インターフェイスに出力することを特徴とする指示値認識方法。
請求項１〜３の何れか１項において、
前記指示値画像データより、前記指示値画像データより前記指示値領域に該当する領域の画像データを抽出するに先立ち、当該指示値画像データのグレースケール変換を行うことを特徴とする指示値認識方法。
請求項１〜４のいずれか１項において、
前記指示値画像データが、故障信号などメータ指示値以外の特定表示を行う特定表示器の画像を含み、前記メータ情報データベースが、前記特定表示器の種別情報と当該特定表示器における表示形態の種別情報とを格納するものであり、
前記画像データベースにおける指示値画像に写る特定表示器の特定情報を入力インターフェイスより受け付けて、当該受け付けた特定表示器の特定情報を前記メータ情報データベースに照合し特定表示器種別および表示形態の種別を特定し、
前記画像データベースより、前記特定がなされた特定表示器種別に対応する指示値画像データを抽出して出力インターフェイスに出力すると共に、当該指示値画像データのうち認識対象となる特定表示器領域の指定を入力インターフェイスより受け付け、
前記指示値画像データより、前記特定表示器領域に該当する領域の画像データを抽出すると共に、ここで抽出した画像データの画像認識処理を行って電子データとしての特定表示情報を生成し、
前記特定表示情報を出力インターフェイスに出力することを特徴とする指示値認識方法。
請求項１〜５のいずれか１項において、前記撮像装置がマクロレンズを備えたデジタルカメラであることを特徴とする指示値認識方法。
請求項６において、前記デジタルカメラを、透明な水密容器内に固定する共に、当該水密容器を透明なスペーサーを介してメータの値表示窓に当接させた状態で固定することを特徴とする指示値認識方法。
請求項６または７において、前記デジタルカメラの駆動用の外部電源を前記水密容器内に収めることを特徴とする指示値認識方法。
電気使用量メータなどの各種メータの指示値の認識を行うシステムであって、
撮像装置により撮影された前記メータの指示値画像データとして、時刻、季節、天候の少なくともいずれかの事象における所定時機毎に撮影した指示値画像データを格納する画像データベースと、
前記メータの種別情報を格納するメータ情報データベースと、
前記画像データベースにおける指示値画像に写るメータの特定情報を入力インターフェイスより受け付けて、当該受け付けたメータ特定情報を前記メータ情報データベースに照合しメータ種別を特定するメータ特定部と、
前記画像データベースより、前記特定がなされたメータ種別に対応する指示値画像データを抽出して出力インターフェイスに出力すると共に、当該指示値画像データのうち認識対象となる指示値領域の指定を入力インターフェイスより受け付ける認識対象受付部と、
前記指示値画像データより、前記指示値領域に該当する領域の画像データを抽出すると共に、ここで抽出した画像データの画像認識処理を行って電子データとしての指示値情報を生成する認識処理部と、
前記指示値情報を出力インターフェイスに出力する指示値情報出力部と、
前記特定がなされたメータ種別に対応する指示値画像データの前記指示値領域に該当する領域の画像データについて、前記いずれかの事象における所定時機毎の画像認識処理を実行し、指示値画像データからの指示値の認識率を各時機毎に算定する認識率算定部と、
前記認識率が所定の閾値より低い時機または事象の前記指示値画像データについて、前記メータ特定情報または前記指示値領域のいずれかの再設定要求の通知を出力インターフェイスに出力する再設定要求出力部と、
を備えることを特徴とする指示値認識システム。
電気使用量メータなどの各種メータの指示値の認識方法を、
撮像装置により撮影された前記メータの指示値画像データとして、時刻、季節、天候の少なくともいずれかの事象における所定時機毎に撮影した指示値画像データを格納する画像データベースと、
前記メータの種別情報を格納するメータ情報データベースと、を備えた情報処理装置に実行させるプログラムであって、
前記画像データベースにおける指示値画像に写るメータの特定情報を入力インターフェイスより受け付けて、当該受け付けたメータ特定情報を前記メータ情報データベースに照合しメータ種別を特定するステップと、
前記画像データベースより、前記特定がなされたメータ種別に対応する指示値画像データを抽出して出力インターフェイスに出力すると共に、当該指示値画像データのうち認識対象となる指示値領域の指定を入力インターフェイスより受け付けるステップと、
前記指示値画像データより、前記指示値領域に該当する領域の画像データを抽出すると共に、ここで抽出した画像データの画像認識処理を行って電子データとしての指示値情報を生成するステップと、
前記指示値情報を出力インターフェイスに出力するステップと、
前記特定がなされたメータ種別に対応する指示値画像データの前記指示値領域に該当する領域の画像データについて、前記いずれかの事象における所定時機毎の画像認識処理を実行し、指示値画像データからの指示値の認識率を各時機毎に算定し、
前記認識率が所定の閾値より低い時機または事象の前記指示値画像データについて、前記メータ特定情報または前記指示値領域のいずれかの再設定要求の通知を出力インターフェイスに出力するステップと、を備えることを特徴とする指示値認識プログラム。
請求項１０に記載の指示値認識プログラムを記録したコンピュータ読み取り可能な記録媒体。