JP6707178B2 - 画像処理装置、制御方法及び制御プログラム - Google Patents

Description

本開示は、画像処理装置、制御方法及び制御プログラムに関し、特に、メータを撮影した画像からメータ内の数値を認識する画像処理装置、制御方法及び制御プログラムに関する。

工場、家屋等では、設備点検作業において、作業者が電力量等のメータ（装置）から電力量等を示す数値を目視により読み取り、紙の台帳である点検簿に記録している。しかしながら、このような人手による作業では、人為的ミスにより誤った数値が点検簿に記録され、手戻りが発生する可能性があった。このような問題を解消するために、近年、設備点検作業において、カメラでメータを撮影した画像から、コンピュータにより数値を自動認識する技術が利用されている。

デジタル式計器が示す数値を含むシーンを撮像し、撮像した画像を処理して、計器が示す数値を検出する計器読み取り装置が開示されている（特許文献１を参照）。

特許第５５３０７５２号

カメラでメータを撮影した画像から、コンピュータにより数値を自動認識する場合、カメラで撮影した画像を、作業者等が後で確認できるように、証拠画像として保存しておくことが望ましい。その場合、証拠画像として適切な画像を効率良く保存できることが望まれている。

画像処理装置、制御方法及び制御プログラムの目的は、証拠画像として適切な画像を効率良く記憶することを可能とすることにある。

本発明の一側面に係る画像処理装置は、記憶部と、メータを撮影した入力画像を順次生成する撮像部と、順次生成された各入力画像に写っているメータ内の数値を特定して集計し、集計結果に基づいて、メータ内の数値を認識する数値認識部と、メータ内の数値の各桁に対応する各桁毎に、各桁に対応する部分領域が鮮明であるか否かを判定する判定部と、部分領域毎に、その部分領域が鮮明であると判定された入力画像を選択し、選択された入力画像の少なくとも一部を証拠画像として数値認識部が認識した数値を関連付けて記憶部に記憶する制御部と、を有する。

また、本発明の一側面に係る制御方法は、記憶部と、メータを撮影した入力画像を順次生成する撮像部と、を有する画像処理装置の制御方法であって、順次生成された各入力画像に写っているメータ内の数値を特定して集計し、集計結果に基づいて、メータ内の数値を認識し、メータ内の数値の各桁に対応する部分領域毎に、各部分領域が鮮明であるか否かを判定し、各桁毎に、各桁に対応する部分領域が鮮明であると判定された入力画像を選択し、選択された入力画像の少なくとも一部を証拠画像として認識した数値を関連付けて記憶部に記憶することを含む。

また、本発明の一側面に係る制御プログラムは、記憶部と、メータを撮影した入力画像を順次生成する撮像部と、を有する画像処理装置の制御プログラムであって、順次生成された各入力画像に写っているメータ内の数値を特定して集計し、集計結果に基づいて、メータ内の数値を認識し、メータ内の数値の各桁に対応する部分領域毎に、各部分領域が鮮明であるか否かを判定し、各桁毎に、各桁に対応する部分領域が鮮明であると判定された入力画像を選択し、選択された入力画像の少なくとも一部を証拠画像として認識した数値を関連付けて記憶部に記憶することを画像処理装置に実行させる。

本実施形態によれば、画像処理装置、制御方法及び制御プログラムは、証拠画像として適切な画像を効率良く記憶することが可能となる。

本発明の目的及び効果は、特に請求項において指摘される構成要素及び組み合わせを用いることによって認識され且つ得られるだろう。前述の一般的な説明及び後述の詳細な説明の両方は、例示的及び説明的なものであり、特許請求の範囲に記載されている本発明を制限するものではない。

実施形態に従った画像処理装置１００の概略構成の一例を示す図である。 記憶装置１１０及びＣＰＵ１２０の概略構成を示す図である。 全体処理の動作の例を示すフローチャートである。 部分領域検出処理の動作の例を示すフローチャートである。 メータを撮影した入力画像５００の一例を示す図である。 部分領域について説明するための図である。 管理テーブルのデータ構造の一例を示す図である。 数値認識処理の動作の例を示すフローチャートである。 証拠画像保存処理の動作の例を示すフローチャートである。 保存される証拠画像の組合せについて説明する図である。 他の処理回路２３０の概略構成を示す図である。

以下、本開示の一側面に係る画像処理装置について図を参照しつつ説明する。但し、本開示の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

図１は、実施形態に従った画像処理装置１００の概略構成の一例を示す図である。

画像処理装置１００は、タブレットＰＣ、多機能携帯電話（いわゆるスマートフォン）、携帯情報端末、ノートＰＣ等の携帯可能な情報処理装置であり、そのユーザである作業者により使用される。画像処理装置１００は、通信装置１０１と、入力装置１０２と、表示装置１０３と、撮像装置１０４と、記憶装置１１０と、ＣＰＵ（Central Processing Unit）１２０と、処理回路１３０とを有する。以下、画像処理装置１００の各部について詳細に説明する。

通信装置１０１は、主に２．４ＧＨｚ帯、５ＧＨｚ帯等を感受帯域とするアンテナを含む、通信インターフェース回路を有する。通信装置１０１は、アクセスポイント等との間でＩＥＥＥ（The Institute of Electrical and Electronics Engineers, Inc.）８０２．１１規格の無線通信方式に基づいて無線通信を行う。そして、通信装置１０１は、アクセスポイントを介して外部のサーバ装置（不図示）とデータの送受信を行う。通信装置１０１は、アクセスポイントを介してサーバ装置から受信したデータをＣＰＵ１２０に供給し、ＣＰＵ１２０から供給されたデータをアクセスポイントを介してサーバ装置に送信する。なお、通信装置１０１は、外部の装置と通信できるものであればどのようなものであってもよい。例えば、通信装置１０１は、携帯電話通信方式に従って不図示の基地局装置を介してサーバ装置と通信するものでもよいし、有線ＬＡＮ通信方式に従ってサーバ装置と通信するものでもよい。

入力装置１０２は、タッチパネル式の入力装置、キーボード、マウス等の入力デバイス及び入力デバイスから信号を取得するインターフェース回路を有する。入力装置１０２は、ユーザの入力を受け付け、ユーザの入力に応じた信号をＣＰＵ１２０に対して出力する。

表示装置１０３は、液晶、有機ＥＬ（Electro-Luminescence）等から構成されるディスプレイ及びディスプレイに画像データ又は各種の情報を出力するインターフェース回路を有する。表示装置１０３は、ＣＰＵ１２０と接続されて、ＣＰＵ１２０から出力された画像データをディスプレイに表示する。なお、タッチパネルディスプレイを用いて、入力装置１０２と表示装置１０３を一体に構成してもよい。

撮像装置１０４は、１次元又は２次元に配列されたＣＣＤ（Charge Coupled Device）からなる撮像素子を備える縮小光学系タイプの撮像センサと、Ａ／Ｄ変換器とを有する。撮像装置１０４は、撮像部の一例であり、ＣＰＵ１２０からの指示に従ってメータを順次撮影する（例えば３０フレーム／秒）。撮像センサは、メータを撮影したアナログの画像信号を生成してＡ／Ｄ変換器に出力する。Ａ／Ｄ変換器は、出力されたアナログの画像信号をアナログデジタル変換してデジタルの画像データを順次生成し、ＣＰＵ１２０に出力する。なお、ＣＣＤの代わりにＣＭＯＳ（Complementary Metal Oxide Semiconductor）からなる撮像素子を備える等倍光学系タイプのＣＩＳ（Contact Image Sensor）を利用してもよい。以下では、撮像装置１０４によりメータが撮影されて出力されたデジタルの画像データを入力画像と称する場合がある。

記憶装置１１０は、記憶部の一例である。記憶装置１１０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、記憶装置１１０には、画像処理装置１００の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、例えばＣＤ−ＲＯＭ（compact disk read only memory）、ＤＶＤ−ＲＯＭ（digital versatile disk read only memory）等のコンピュータ読み取り可能な可搬型記録媒体からインストールされてもよい。コンピュータプログラムは、公知のセットアッププログラム等を用いて記憶装置１１０にインストールされる。また、記憶装置１１０には、各入力画像に関する情報を管理する管理テーブルが格納される。

ＣＰＵ１２０は、予め記憶装置１１０に記憶されているプログラムに基づいて動作する。ＣＰＵ１２０は、汎用プロセッサであってもよい。なお、ＣＰＵ１２０に代えて、ＤＳＰ（digital signal processor）、ＬＳＩ（large scale integration）等が用いられてよい。また、ＣＰＵ１２０に代えて、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等が用いられてもよい。

ＣＰＵ１２０は、通信装置１０１、入力装置１０２、表示装置１０３、撮像装置１０４、記憶装置１１０及び処理回路１３０と接続され、これらの各部を制御する。ＣＰＵ１２０は、通信装置１０１を介したデータ送受信制御、入力装置１０２の入力制御、表示装置１０３の表示制御、撮像装置１０４の撮像制御、記憶装置１１０の制御等を行う。さらに、ＣＰＵ１２０は、撮像装置１０４により生成された入力画像に写っているメータ内の数値を認識するとともに、証拠画像を記憶装置１１０に記憶する。

処理回路１３０は、撮像装置１０４から取得した入力画像に補正処理等の所定の画像処理を施す。なお、処理回路１３０として、ＬＳＩ、ＤＳＰ、ＡＳＩＣ又はＦＰＧＡ等が用いられてもよい。

図２は、記憶装置１１０及びＣＰＵ１２０の概略構成を示す図である。

図２に示すように、記憶装置１１０には、数値認識プログラム１１１、判定プログラム１１２及び制御プログラム１１３等の各プログラムが記憶される。これらの各プログラムは、プロセッサ上で動作するソフトウェアにより実装される機能モジュールである。ＣＰＵ１２０は、記憶装置１１０に記憶された各プログラムを読み取り、読み取った各プログラムに従って動作することにより、数値認識部１２１、判定部１２２及び制御部１２３として機能する。

図３は、画像処理装置１００による全体処理の動作の例を示すフローチャートである。

以下、図３に示したフローチャートを参照しつつ、画像処理装置１００による全体処理の動作の例を説明する。なお、以下に説明する動作のフローは、予め記憶装置１１０に記憶されているプログラムに基づき主にＣＰＵ１２０により画像処理装置１００の各要素と協働して実行される。

最初に、数値認識部１２１は、ユーザにより、入力装置１０２を用いてメータの撮影の開始を指示する撮影開始指示が入力され、入力装置１０２から撮影開始指示信号を受信すると、撮影開始指示を受け付ける（ステップＳ１０１）。数値認識部１２１は、撮影開始指示を受け付けると、画像処理に用いられる各情報の初期化、及び、撮像装置１０４の撮像サイズ、フォーカス等のパラメータ設定を実行し、撮像装置１０４にメータを撮影させて入力画像を生成させる。数値認識部１２１は、撮像装置１０４により順次生成された入力画像を記憶装置１１０に順次記憶する。

次に、数値認識部１２１は、部分領域検出処理を実行する（ステップＳ１０２）。数値認識部１２１は、部分領域検出処理において、撮像装置１０４によって生成された入力画像に写っているメータ内の数値の各桁に対応する部分領域を検出する。部分領域検出処理の詳細については後述する。

次に、数値認識部１２１は、部分領域検出処理において、数値認識処理で使用可能な部分領域が検出されたか否かを判定する（ステップＳ１０３）。

数値認識処理で使用可能な部分領域が抽出されなかった場合、数値認識部１２１は、ステップＳ１０２に処理を戻し、新たに生成された入力画像に対して部分領域抽出処理を実行する。一方、数値認識処理で使用可能な部分領域が抽出された場合、数値認識部１２１は、数値認識処理を実行する（ステップＳ１０４）。数値認識部１２１は、数値認識処理において、順次生成された各入力画像に写っているメータ内の数値を特定して集計し、集計結果に基づいて、メータ内の数値を認識する。数値認識処理の詳細については後述する。

次に、数値認識部１２１は、数値認識処理において、メータ内の数値を認識できたか否かを判定する（ステップＳ１０５）。

メータ内の数値を認識できなかった場合、数値認識部１２１は、ステップＳ１０２に処理を戻し、新たに生成された入力画像に対してステップＳ１０２〜Ｓ１０５の処理を繰り返す。一方、メータ内の数値を認識できた場合、判定部１２２及び制御部１２３は、証拠画像保存処理を実行する（ステップＳ１０６）。証拠画像保存処理において、判定部１２２は、各部分領域が鮮明であるか否かを判定する。また、制御部１２３は、各桁毎に、各桁に対応する部分領域が鮮明であると判定された入力画像を選択し、選択された入力画像に対応する画像を証拠画像として、数値認識部１２１が認識した数値を関連付けて記憶装置１１０に記憶する。証拠画像保存処理の詳細については後述する。

次に、制御部１２３は、数値認識部１２１が認識した数値、及び／又は、制御部１２３が選択した証拠画像を表示装置１０３に表示し（ステップＳ１０７）、一連のステップを終了する。また、制御部１２３は、数値認識部１２１が認識した数値、及び／又は、制御部１２３が選択した証拠画像を通信装置１０１を介してサーバ装置に送信してもよい。

図４は、部分領域検出処理の動作の例を示すフローチャートである。図４に示す動作のフローは、図３に示すフローチャートのステップＳ１０２において実行される。

最初に、数値認識部１２１は、入力画像からプレート枠を検出する（ステップＳ２０１）。

図５Ａは、メータ（装置）を撮影した入力画像５００の一例を示す図である。

図５Ａに示すように、一般に、メータは黒色の筐体５０１を有し、筐体５０１の内部に白色のプレート５０２を有する。プレート５０２は、ガラス（不図示）を介して目視可能になっており、プレート５０２には、メータが計測した電力量等の数値が示されるメータ部分５０３が配置される。メータ部分５０３において、数値は白色で示され、背景は黒色で示されている。数値認識部１２１は、プレート５０２の外縁をプレート枠として検出する。なお、以下では、計測する数値の桁数が４であるメータを例にして説明するが、メータが計測する数値の桁数は２以上であればいくつでもよい。

数値認識部１２１は、入力画像内の画素の水平及び垂直方向の両隣の画素又はその画素から所定距離だけ離れた複数の画素の輝度値又は色値（Ｒ値、Ｂ値、Ｇ値）の差の絶対値が第１閾値を越える場合、その画素をエッジ画素として抽出する。数値認識部１２１は、ハフ変換又は最小二乗法等を用いて、抽出した各エッジ画素の近傍を通過する直線を抽出し、抽出した各直線のうち二本ずつが略直交する四本の直線から構成される矩形の内、最も大きい矩形をプレート枠として検出する。または、数値認識部１２１は、抽出した各エッジ画素が他のエッジ画素と連結しているか否かを判定し、連結しているエッジ画素を一つのグループとしてラベリングする。数値認識部１２１は、抽出したグループの内、最も面積が大きいグループで囲まれる領域の外縁をプレート枠として検出してもよい。

なお、数値認識部１２１は、筐体５０１の色と、プレート５０２の色の違いを利用してプレート枠を検出してもよい。数値認識部１２１は、各画素の輝度値又は色値が第２閾値未満であり（黒色を示し）、その画素に右側に隣接する画素又はその画素から右側に所定距離離れた画素の輝度値又は色値が第２閾値以上である（白色を示す）場合、その画素を左端エッジ画素として抽出する。第２閾値は黒色を示す値と白色を示す値の中間の値に設定される。同様に、数値認識部１２１は、各画素の輝度値又は色値が第２閾値未満であり、その画素に左側に隣接する画素又はその画素から左側に所定距離離れた画素の輝度値又は色値が第２閾値以上である場合、その画素を右端エッジ画素として抽出する。同様に、数値認識部１２１は、各画素の輝度値又は色値が第２閾値未満であり、その画素に下側に隣接する画素又はその画素から下側に所定距離離れた画素の輝度値又は色値が第２閾値以上である場合、その画素を上端エッジ画素として抽出する。同様に、数値認識部１２１は、各画素の輝度値又は色値が第２閾値未満であり、その画素に上側に隣接する画素又はその画素から上側に所定距離離れた画素の輝度値又は色値が第２閾値以上である場合、その画素を下端エッジ画素として抽出する。

数値認識部１２１は、ハフ変換又は最小二乗法等を用いて、抽出した左端エッジ画素、右端エッジ画素、上端エッジ画素及び下端エッジ画素のそれぞれを連結した直線を抽出し、抽出した各直線から構成される矩形をプレート枠として検出する。

次に、数値認識部１２１は、検出したプレート枠内の領域から数値背景枠を検出する（ステップＳ２０２）。数値認識部１２１は、メータ部分５０３の外縁を数値背景枠として検出する。

数値認識部１２１は、メータ部分５０３を含むプレート５０２が写っている画像が入力された場合に、メータ部分５０３の外縁の位置情報を出力するように事前学習された識別器により、数値背景枠を検出する。この識別器は、例えばディープラーニング等により、メータを撮影した複数の画像を用いて事前学習され、予め記憶装置１１０に記憶される。数値認識部１２１は、検出したプレート枠を含む画像を識別器に入力し、識別器から出力された位置情報を取得することにより、数値背景枠を検出する。

なお、数値認識部１２１は、プレート枠を検出する場合と同様に、入力画像内のエッジ画素に基づいて、数値背景枠を検出してもよい。数値認識部１２１は、入力画像のプレート枠を含む領域からエッジ画素を抽出し、抽出した各エッジ画素の近傍を通過する直線を抽出し、抽出した各直線のうち二本ずつが略直交する四本の直線から構成される矩形の内、最も大きい矩形を数値背景枠として検出する。または、数値認識部１２１は、抽出した各エッジ画素が相互に連結するグループの内、最も面積が大きいグループで囲まれる領域の外縁を数値背景枠として検出してもよい。

または、数値認識部１２１は、プレート枠を検出する場合と同様に、プレート５０２の色と、メータ部分５０３の色の違いを利用してプレート枠を検出してもよい。数値認識部１２１は、各画素の輝度値又は色値が第２閾値以上であり（白色を示し）、その画素に右側に隣接する画素又はその画素から右側に所定距離離れた画素の輝度値又は色値が第２閾値未満である（黒色を示す）場合、その画素を左端エッジ画素として抽出する。同様にして、数値認識部１２１は、右端エッジ画素、上端エッジ画素及び下端エッジ画素を抽出する。数値認識部１２１は、ハフ変換又は最小二乗法等を用いて、抽出した左端エッジ画素、右端エッジ画素、上端エッジ画素及び下端エッジ画素のそれぞれの近傍を通過する直線を抽出し、抽出した各直線から構成される矩形を数値背景枠として検出する。

また、メータのプレート５０２内に数値背景枠が存在する位置を示す目印５０４が示されている場合、数値認識部１２１は、目印５０４を検出し、水平及び垂直方向において各目印５０４で挟まれた領域内で数値背景枠を検出してもよい。

次に、数値認識部１２１は、検出した数値背景枠内の領域から、メータ内の数値の各桁に対応する部分領域を検出する（ステップＳ２０３）。

図５Ｂは、部分領域について説明するための図である。

図５Ｂに示す画像５１０は、入力画像５００から検出されたメータ部分５０３の数値背景枠を示す。数値認識部１２１は、数値背景枠内の数値の各桁値を含む各矩形領域５１１〜５１４を部分領域として検出する。

数値認識部１２１は、メータ部分５０３が写っている画像が入力された場合に、メータ部分５０３内の数値の各桁値を含む各矩形領域の位置情報を出力するように事前学習された識別器により、部分領域を検出する。この識別器は、例えばディープラーニング等により、メータを撮影した複数の画像を用いて事前学習され、予め記憶装置１１０に記憶される。数値認識部１２１は、検出した数値背景枠を含む画像を識別器に入力し、識別器から出力された位置情報を取得することにより部分領域を検出する。

なお、数値認識部１２１は、プレート枠を検出する場合と同様に、入力画像内のエッジ画素に基づいて、数値背景枠を検出してもよい。数値認識部１２１は、入力画像の数値背景枠を含む領域からエッジ画素を抽出し、抽出した各エッジ画素の近傍を通過する直線を抽出し、抽出した各直線のうち二本ずつが略直交する四本の直線から構成される矩形の内、最も大きい矩形の領域を検出する。または、数値認識部１２１は、抽出した各エッジ画素が相互に連結するグループの内、最も面積が大きいグループで囲まれる領域を検出する。数値認識部１２１は、公知のＯＣＲ（Optical Character Recognition）技術を利用して、検出した各領域から１桁の数字を検出し、１桁の数字を検出できた場合、その領域を部分領域として検出する。

なお、図５Ｂに示すように、入力画像５００から検出されたメータ部分５０３には数値が適切に撮像されていない可能性がある。図５Ｂに示す画像５２０は、メータ部分５０３全体が不鮮明であり、数値部分と背景部分の輝度値又は色値の差が小さい画像を示す。画像５２０では、各矩形領域５２１〜５２４は部分領域として検出されない。図５Ｂに示す画像５３０は、メータの前面を覆うガラス部分に照明等の環境光が写り込むことにより、メータ部分５０３全体に外乱光が写り、全ての数値が識別できない画像を示す。画像５３０では、各矩形領域５３１〜５３４は部分領域として検出されない。図５Ｂに示す画像５４０は、メータ部分５０３の一部に外乱光が写り、外乱光が写っている数値が識別できない画像を示す。画像５４０では、各矩形領域５４１、５４３、５４４は部分領域として検出されるが、矩形領域５４２は部分領域として検出されない。図５Ｂに示す画像５５０は、メータ部分５０３の一部に影が写っており、影が写っている数値が誤って認識される画像を示す。画像５５０では、各矩形領域５５１〜５５４は部分領域として検出される。

次に、数値認識部１２１は、検出した各部分領域に桁番号を割り当てる（ステップＳ２０４）。数値認識部１２１は、数値背景枠内の領域を、水平方向に、メータが示す数値の桁数で等分に分割し、右側の領域から昇順に桁番号を割り当てる（最も右側の領域から順に１、２、３、４の桁番号を割り当てる）。数値認識部１２１は、検出した各部分領域に、各部分領域の中心位置が含まれる領域に割り当てられた桁番号を割り当てる。

次に、数値認識部１２１は、検出した各部分領域が数値認識処理で使用可能であるか否かを判定する（ステップＳ２０５）。数値認識部１２１は、各部分領域にボケ又はテカリが含まれるか否かにより、各部分領域が数値認識処理で使用可能であるか否かを判定する。ボケとは、撮像装置１０４の焦点ずれにより、画像内の各画素の輝度値の差が小さくなっている領域、又は、ユーザの手ぶれによって画像内の複数の画素に同一物が写り、画像内の各画素の輝度値の差が小さくなっている領域を意味する。テカリとは、外乱光等の影響により、画像内の所定領域の画素の輝度値が一定の値に飽和（白飛び）している領域を意味する。

数値認識部１２１は、画像が入力された場合に、入力された画像にボケが含まれる度合いを示すボケ度を出力するように事前学習された識別器により、各部分領域にボケが含まれるか否かを判定する。この識別器は、例えばディープラーニング等により、メータを撮影し且つボケが含まれない画像を用いて事前学習され、予め記憶装置１１０に記憶される。なお、この識別器は、メータを撮影し且つボケが含まれる画像をさらに用いて事前学習されていてもよい。数値認識部１２１は、検出した部分領域を含む画像を識別器に入力し、識別器から出力されたボケ度が第３閾値以上であるか否かにより、部分領域にボケが含まれるか否かを判定する。

または、数値認識部１２１は、部分領域に含まれる各画素の輝度値のエッジ強度に基づいて、各部分領域にボケが含まれるか否かを判定してもよい。数値認識部１２１は、部分領域内の画素の水平もしくは垂直方向の両隣の画素又はその画素から所定距離だけ離れた複数の画素の輝度値の差の絶対値を、その画素のエッジ強度として算出する。数値認識部１２１は、部分領域内の各画素について算出したエッジ強度の平均値が第４閾値以下であるか否かにより、部分領域にボケが含まれるか否かを判定する。

または、数値認識部１２１は、部分領域に含まれる各画素の輝度値の分布に基づいて、各部分領域にボケが含まれるか否かを判定してもよい。数値認識部１２１は、部分領域内の各画素の輝度値のヒストグラムを生成し、数値（白色）を示す輝度値の範囲と、背景（黒色）を示す輝度値の範囲のそれぞれにおいて極大値を検出し、各極大値の半値幅の平均値を算出する。数値認識部１２１は、算出した各極大値の半値幅の平均値が第５閾値以上であるか否かにより、部分領域にボケが含まれるか否かを判定する。

また、数値認識部１２１は、画像が入力された場合に、入力された画像にテカリが含まれる度合いを示すテカリ度を出力するように事前学習された識別器により、各部分領域にテカリが含まれるか否かを判定する。この識別器は、例えばディープラーニング等により、メータを撮影し且つテカリが含まれない画像を用いて事前学習され、予め記憶装置１１０に記憶される。なお、この識別器は、メータを撮影し且つテカリが含まれる画像をさらに用いて事前学習されていてもよい。数値認識部１２１は、検出した部分領域を含む画像を識別器に入力し、識別器から出力されたテカリ度が第６閾値以上であるか否かにより、部分領域にテカリが含まれるか否かを判定する。

または、数値認識部１２１は、部分領域に含まれる各画素の輝度値に基づいて、各部分領域にテカリが含まれるか否かを判定してもよい。数値認識部１２１は、部分領域内の画素の内、輝度値が第７閾値以上（白色）である画素の数を算出し、算出した数が第８閾値以上であるか否かにより、部分領域にテカリが含まれるか否かを判定する。

または、数値認識部１２１は、部分領域に含まれる各画素の輝度値の分布に基づいて、各部分領域にテカリが含まれるか否かを判定してもよい。数値認識部１２１は、部分領域内の各画素の輝度値のヒストグラムを生成し、第７閾値以上の領域に分布された画素の数が第８閾値以上であるか否かにより、部分領域にテカリが含まれるか否かを判定する。

なお、上記した各閾値及び各範囲は、事前の実験により、予め設定される。

次に、数値認識部１２１は、使用可能であると判定した部分領域の情報を記憶装置１１０の管理テーブルに記憶し（ステップＳ２０６）、一連のステップを終了する。

図６は、管理テーブルのデータ構造の一例を示す図である。

管理テーブルには、各入力画像について、各入力画像の識別情報（入力画像ＩＤ）、証拠用画像情報、部分領域情報及び桁値等の情報が関連付けて記憶される。入力画像ＩＤは、入力画像毎に一意に割り当てられる。証拠用画像情報は、証拠用画像の格納先等を示す情報である。証拠用画像は、証拠画像として保存される画像であり、証拠用画像として、例えば入力画像から数値背景枠内の領域を切出した画像が使用される。証拠用画像は、入力画像の少なくとも一部の一例である。部分領域情報は、部分領域画像の格納先等を示す情報であり、各桁に対応する部分領域毎に記憶される。部分領域画像は、入力画像から部分領域を切出した画像である。桁値は、各部分領域において特定された桁値であり、各桁毎に記憶される。

数値認識部１２１は、使用可能であると判定した各部分領域を入力画像から切出して部分領域画像を生成し、記憶装置１１０に記憶するとともに、その格納先を部分領域情報として管理テーブルに記憶する。なお、数値認識部１２１は、使用可能であると判定した各部分領域を入力画像から切出すのではなく、入力画像内における各部分領域の位置情報を部分領域情報として管理テーブルに記憶してもよい。

また、数値認識部１２１は、入力画像内に、使用可能であると判定した部分領域が存在する場合、入力画像から数値背景枠内の領域を切出して証拠用画像を生成し、記憶装置１１０に記憶するとともに、その格納先を証拠用画像情報として管理テーブルに記憶する。なお、証拠用画像として、入力画像からプレート枠内の領域を切出した画像、又は、入力画像自体が使用されてもよい。その場合、数値認識部１２１は、入力画像からプレート枠内の領域を切出した画像、又は、入力画像自体を証拠用画像として記憶装置１１０に記憶し、その格納先を証拠用画像情報として管理テーブルに記憶する。

図７は、数値認識処理の動作の例を示すフローチャートである。図７に示す動作のフローは、図３に示すフローチャートのステップＳ１０４において実行される。図７のステップＳ３０１〜Ｓ３０９の各処理は、数値認識処理で使用可能であると判定された各部分領域に対して実行される。即ち、図７のステップＳ３０１〜Ｓ３０９の各処理は、撮像装置１０４により順次生成された入力画像に写っているメータ内の数値の各桁毎に実行される。

最初に、数値認識部１２１は、処理対象となる部分領域に割り当てられた桁番号の桁値が確定済みであるか否かを判定する（ステップＳ３０１）。

その桁番号の桁値が確定済みである場合、数値認識部１２１は、ステップＳ３１０へ処理を移行する。一方、その桁番号の桁値が確定していない場合、数値認識部１２１は、部分領域に写っている桁値を特定する（ステップＳ３０２）。

数値認識部１２１は、一桁の数値が写っている画像が入力された場合に、その画像に写っている数値を出力するように事前学習された識別器により、部分領域に写っている桁値を特定する。この識別器は、例えばディープラーニング等により、メータ内の各数値を撮影した複数の画像を用いて事前学習され、予め記憶装置１１０に記憶される。数値認識部１２１は、部分領域が含まれる画像を識別器に入力し、識別器から出力された数値を、部分領域に写っている桁値として特定する。なお、数値認識部１２１は、公知のＯＣＲ技術を利用して、部分領域に写っている桁値を特定してもよい。

次に、数値認識部１２１は、特定した数値を整数化する（ステップＳ３０３）。一般に、メータは、側面に複数の数字が印字された円柱状のドラムを回転させることにより、測定した数値をプレート上に表示させる。したがって、ドラムが回転して印字された数字が移動しているときにメータが撮影されると、部分領域には複数の数値が含まれる可能性がある。そのため、識別器は、部分領域に複数の数値が含まれる場合、各数値が写っている領域に応じて、小数の数値を出力するように事前学習されている。数値認識部１２１は、識別器から出力された数値の小数部分を切り上げ、切り落とし、又は、四捨五入して、その数値を整数化する。

次に、数値認識部１２１は、特定した数値を、記憶装置１１０の管理テーブルに、その部分領域に割り当てられた桁番号の桁値として記憶する（ステップＳ３０４）。

次に、数値認識部１２１は、所定数（例えば１０）以上の入力画像に対して数値認識処理が実行されたか否かを判定する（ステップＳ３０５）。

まだ所定数以上の入力画像に対して数値認識処理が実行されていない場合、数値認識部１２１は、ステップＳ３１０へ処理を移行する。一方、所定数以上の入力画像に対して数値認識処理が実行された場合、数値認識部１２１は、直近の所定数の入力画像に対して特定した桁値の中の最頻値を特定する（ステップＳ３０６）。数値認識部１２１は、管理テーブルを参照し、処理対象となる部分領域に割り当てられた桁番号の直近の所定数の桁値の中で最も多く記憶されている桁値を最頻値として特定する。

次に、数値認識部１２１は、所定数に対する特定した最頻値の（直近の所定数における）発生数の割合を算出する（ステップＳ３０７）。

次に、数値認識部１２１は、算出した割合が第９閾値を超えるか否かを判定する（ステップＳ３０８）。第９閾値は、例えば５０％に設定される。

算出した割合が第９閾値を超えない場合、数値認識部１２１は、その最頻値はまだ信頼できる値でないとみなして、ステップＳ３１０へ処理を移行する。一方、算出した割合が第９閾値を超える場合、数値認識部１２１は、特定した最頻値を確定桁値として特定する（ステップＳ３０９）。このように、数値認識部１２１は、算出した割合が第９閾値を超える場合に限り桁値を確定させるため、認識する数値の信頼性をより高めることが可能となる。

次に、数値認識部１２１は、検出した全ての部分領域に対して処理が完了したか否かを判定する（ステップＳ３１０）。

まだ処理が完了していない部分領域が存在する場合、数値認識部１２１は、ステップＳ３０１へ処理を戻し、ステップＳ３０１〜Ｓ３１０の処理を繰り返す。一方、検出した全ての部分領域に対して処理が完了した場合、数値認識部１２１は、全ての桁番号の桁値が確定したか否かを判定する（ステップＳ３１１）。

全ての桁番号の桁値がまだ確定していない場合、数値認識部１２１は、特に処理を実行せず、一連のステップを終了する。一方、全ての桁番号の桁値が確定した場合、数値認識部１２１は、全ての桁のそれぞれについて特定した確定桁値を組み合わせた数値を、メータ内の数値として認識し（ステップＳ３１２）、一連のステップを終了する。

このように、数値認識部１２１は、順次生成された各入力画像に写っているメータ内の数値を桁毎に特定して集計し、集計結果に基づいて、メータ内の数値を認識する。数値認識部１２１は、特定の桁の数値を特定できない入力画像に対しても、他の桁の数値を特定して集計に利用するため、より少ない入力画像を用いて精度良くメータ内の数値を認識することができる。ユーザは、全ての桁を識別可能な入力画像が生成されるまでメータを撮像し続ける必要がなくなるため、画像処理装置１００は、ユーザの利便性を向上させることが可能となる。

なお、数値認識部１２１は、順次生成された各入力画像に写っているメータ内の数値を全桁まとめて特定して集計し、集計結果に基づいて、メータ内の数値を認識してもよい。

また、ステップＳ３０５において、数値認識部１２１は、数値認識処理が実行された入力画像の数が所定数以上でなくても、桁値を確定可能な数以上であれば、ステップＳ３０６以降の処理を実行してもよい。例えば、所定数が１０であり且つ第９閾値が５０％である場合、数値認識処理が実行された入力画像の数が６つの時点で、各入力画像について特定された桁値が全て同一であれば、その桁値は最頻値となり、最頻値の発生数の割合は６０％以上となる。そのような場合、数値認識部１２１は、数値認識処理が実行された入力画像の数が所定数以上でなくても、認識する数値を確定させてもよい。これにより、数値認識部１２１は、数値認識処理による認識時間を短縮させることが可能となる。

図８は、証拠画像保存処理の動作の例を示すフローチャートである。図８に示す動作のフローは、図３に示すフローチャートのステップＳ１０６において実行される。

最初に、判定部１２２は、数値認識部１２１が検出した全ての部分領域毎に、各部分領域が鮮明であるか否かを判定する（ステップＳ４０１）。なお、判定部１２２は、数値認識部１２１が特定した桁値が、数値認識部１２１が認識した数値において対応する桁値と一致する部分領域についてのみ、各部分領域が鮮明であるか否かを判定してもよい。

部分領域が鮮明であるとは、部分領域に含まれる数値を認識可能であることを意味し、部分領域にボケ又はテカリが含まれないことを意味する。逆に、部分領域が不鮮明であるとは、部分領域に含まれる数値を認識できないことを意味し、部分領域にボケ又はテカリが含まれることを意味する。判定部１２２は、各部分領域にボケ又はテカリが含まれるか否かにより、各部分領域が鮮明であるか否かを判定する。

判定部１２２は、ステップＳ２０５の処理と同様にして、メータを撮影し且つボケ又はテカリが含まれない画像を少なくとも用いて事前学習した識別器により、各部分領域にボケ又はテカリが含まれるか否かを判定する。または、判定部１２２は、ステップＳ２０５の処理と同様にして、各部分領域内の画像の輝度値に基づいて、各部分領域にボケ又はテカリが含まれるか否かを判定する。但し、判定部１２２は、ステップＳ２０５の処理よりも、各部分領域にボケ又はテカリが含まれると判定し易くする。即ち、判定部１２２は、第３閾値、第５閾値、第６閾値又は第８閾値をステップＳ２０５の処理で使用される値よりも小さくし、第４閾値をステップＳ２０５の処理で使用される値よりも大きくする。

なお、判定部１２２は、ステップＳ２０５の処理と同一の判定基準に従って、各部分領域にボケ又はテカリが含まれるか否かを判定してもよい。その場合、判定部１２２は、ステップＳ２０５の処理における判定結果を用いて、各部分領域にボケ又はテカリが含まれるか否かを判定してもよい。これにより、判定部１２２は、判定処理による処理時間を短縮し、処理負荷を軽減させることができる。

次に、制御部１２３は、全ての桁に対応する部分領域が鮮明であると判定された１枚の入力画像が存在するか否かを判定する（ステップＳ４０２）。

全ての桁に対応する部分領域が鮮明であると判定された１枚の入力画像が存在する場合、制御部１２３は、その１枚の入力画像を選択する。制御部１２３は、選択されたその１枚の入力画像に対応する証拠用画像のみを証拠画像として、数値認識部１２１が認識した数値を関連付けて記憶装置１１０に記憶し（ステップＳ４０３）、一連のステップを終了する。

一方、全ての桁に対応する部分領域が鮮明であると判定された入力画像が存在しない場合、制御部１２３は、対応する証拠用画像が証拠画像として使用される何れの入力画像においても、部分領域が鮮明であると判定されていない桁を特定する（ステップＳ４０４）。なお、ステップＳ４０４の処理が最初に実行されるときには、部分領域が鮮明であると判定されていない桁として全ての桁が特定される。

次に、制御部１２３は、特定した桁について、鮮明であると判定された部分領域が最も多く含まれる入力画像を、対応する証拠用画像を証拠画像として使用する入力画像として選択する（ステップＳ４０５）。このように、制御部１２３は、各桁毎に、各桁に対応する部分領域が鮮明であると判定された入力画像を選択する。

次に、制御部１２３は、選択した何れの入力画像においても、部分領域が鮮明であると判定されていない桁が残っているか否かを判定する（ステップＳ４０６）。

部分領域が鮮明であると判定されていない桁が残っている場合、制御部１２３は、ステップＳ４０４へ処理を戻し、部分領域が鮮明であると判定されていない桁を再度特定する。一方、部分領域が鮮明であると判定されていない桁が残っていない場合、制御部１２３は、ステップＳ４０５で選択した複数の入力画像のそれぞれに対応する証拠用画像を証拠画像として記憶装置１１０に記憶する（ステップＳ４０７）。そして、制御部１２３は、一連のステップを終了する。制御部１２３は、各証拠画像を、数値認識部１２１が認識した数値を関連付けて記憶装置１１０に記憶する。

図９は、記憶装置１１０に保存される証拠画像の組合せについて説明する図である。

図９の組合せ１は、入力画像１において全ての桁（桁１〜桁４）に対応する部分領域が鮮明であると判定された場合の組合せを示す。この場合、入力画像１の証拠用画像が証拠画像として用いられる。組合せ２は、全ての桁（桁１〜桁４）に対応する部分領域が鮮明であると判定された入力画像が存在せず、入力画像１において３桁（桁１〜桁３）に対応する部分領域のみが鮮明であると判定された場合の組合せを示す。この場合、入力画像１の証拠用画像と、入力画像１において鮮明であると判定されていない桁４に対応する部分領域が鮮明であると判定された入力画像２の証拠用画像とが、証拠画像として用いられる。

組合せ３、４は、３桁に対応する部分領域が鮮明であると判定された入力画像が存在せず、入力画像１において２桁（桁１、桁２）に対応する部分領域のみが鮮明であると判定された場合の組合せを示す。組合せ３は、入力画像１において鮮明であると判定されていない桁３、桁４に対応する部分領域が入力画像２において鮮明であると判定された場合の組合せを示す。この場合、入力画像１の証拠用画像と、入力画像２の証拠用画像とが、証拠画像として用いられる。一方、組合せ４は、入力画像１において鮮明であると判定されていない桁３、桁４に対応する部分領域が鮮明であると判定された入力画像が存在しない場合の組合せを示す。この場合、入力画像１の証拠用画像と、桁３に対応する部分領域が鮮明であると判定された入力画像２の証拠用画像と、桁４に対応する部分領域が鮮明であると判定された入力画像３の証拠用画像とが、証拠画像として用いられる。

組合せ５は、２桁に対応する部分領域が鮮明であると判定された入力画像が存在しない場合の組合せを示す。この場合、桁１〜４のそれぞれに対応する部分領域が鮮明であると判定された入力画像１〜４の証拠用画像が証拠画像として用いられる。

このように、制御部１２３は、全ての桁に対応する部分領域のそれぞれについて、鮮明であると判定された入力画像の内の何れかの入力画像に対応する証拠用画像を、それぞれ証拠画像として使用する。特に、制御部１２３は、証拠用画像が証拠画像として使用される入力画像において、鮮明であると判定されなかった部分領域を補完する他の入力画像の証拠用画像を証拠画像として使用する。これにより、制御部１２３は、全ての部分領域が鮮明であると判定された入力画像が存在しなくても、証拠能力を有する複数の画像を記憶しておくことにより、証拠画像として適切な画像を効率良く記憶することが可能となる。ユーザは、全ての部分領域が鮮明であると判定された入力画像が生成されるまで、メータを撮影し続ける必要がなくなり、画像処理装置１００は、ユーザの利便性を向上させることが可能となる。また、画像処理装置１００は、数値認識処理に使用した全ての入力画像に関する画像を保存しておく必要がなく、記憶装置１１０の記憶容量の削減を図ることも可能となる。

なお、部分領域が数値認識処理で使用可能であるか否の判定基準と、鮮明であるか否かの判定基準が異なる場合、数値認識部１２１がメータ内の数値を認識した後も、全ての桁に対応する各部分領域が鮮明である証拠画像が揃わない可能性がある。その場合、制御部１２３は、数値認識部１２１がメータ内の数値を認識した後も、全ての桁に対応する各部分領域が鮮明である証拠画像が揃うまで、撮像装置１０４にメータを撮像させて入力画像を生成させ続けてもよい。数値認識部１２１は、メータ内の数値を認識済みであるため、メータ内の数値の集計を停止するが、制御部１２３は、新たに生成された入力画像について各部分領域が鮮明であるか否かの判定を継続する。制御部１２３は、全ての桁に対応する各部分領域が鮮明である証拠画像が揃った場合に、撮像装置１０４にメータの撮像を停止させて、証拠画像保存処理を終了する。これにより、画像処理装置１００は、より確実に目視により識別可能な証拠画像を取得することが可能となる。

また、制御部１２３は、数値認識部１２１がメータ内の数値を認識してから所定時間以内に、全ての桁に対応する各部分領域が鮮明である証拠画像が揃わなかった場合、ユーザによるメータの撮影の停止を指示する撮影停止指示を受け付けてもよい。その場合、制御部１２３は、ユーザからの撮影停止指示を受け付けるためのボタン等の表示データを表示装置１０３に表示する。制御部１２３は、ユーザにより、入力装置１０２を用いてそのボタンがタップされて撮影停止指示が入力され、入力装置１０２から撮影停止指示信号を受信すると、撮影停止指示を受け付ける。

制御部１２３は、撮影停止指示を受け付けた場合、各桁毎に、各桁に対応する部分領域の中から、最も鮮明であると判定された部分領域を選択し、選択した各部分領域を含む各入力画像の証拠用画像を証拠画像として使用する。制御部１２３は、例えば、各識別器が出力するボケ度が最も小さい部分領域、エッジ強度の平均値が最も大きい部分領域、又は、半値幅の平均値が最も小さい部分領域を、最も鮮明である部分領域として選択する。または、制御部１２３は、各識別器が出力するテカリ度が最も小さい部分領域、又は、輝度値が第７閾値以上である画素の数もしくはヒストグラムの第７閾値以上の領域に分布された画素の数が最も少ない部分領域を、最も鮮明である部分領域として選択する。ユーザは、所定時間以内に鮮明な証拠画像が取得されなかった場合に、それまでに取得された画像の中で最も鮮明な画像を確認することができ、その画像をそのまま証拠画像として使用するかメータを撮影しなおすかを判断することが可能となる。

以上詳述したように、画像処理装置１００は、メータ内の数値の各桁毎に、各桁に対応する部分領域が鮮明であると判定された入力画像に対応する証拠用画像を証拠画像として記憶する。これにより、画像処理装置１００は、証拠画像として適切な画像を効率良く記憶することが可能となった。

図１０は、他の実施形態に係る画像処理装置における処理回路２３０の概略構成を示すブロック図である。

処理回路２３０は、画像処理装置１００の処理回路１３０の代わりに用いられ、ＣＰＵ１２０の代わりに、全体処理を実行する。処理回路２３０は、数値認識回路２３１、判定回路２３２及び制御回路２３３等を有する。

数値認識回路２３１は、数値認識部の一例であり、数値認識部１２１と同様の機能を有する。数値認識回路２３１は、撮像装置１０４からメータを撮影した入力画像を順次取得し、記憶装置１１０に順次記憶する。また、数値認識回路２３１は、各入力画像に写っているメータ内の数値を特定して集計し、集計結果に基づいてメータ内の数値を認識し、認識結果を記憶装置１１０に記憶する。

判定回路２３２は、判定部の一例であり、判定部１２２と同様の機能を有する。判定回路２３２は、メータ内の数値の各桁に対応する部分領域毎に、各部分領域が鮮明であるか否かを判定し、判定結果を制御回路２３３に出力する。

制御回路２３３は、制御部の一例であり、制御部１２３と同様の機能を有する。制御回路２３３は、各桁毎に、各桁に対応する部分領域が鮮明であると判定された入力画像を選択し、選択された入力画像に対応する証拠用画像を証拠画像として数値認識回路２３１が認識した数値を関連付けて記憶装置１１０に記憶する。

以上詳述したように、画像処理装置１００は、処理回路２３０を用いる場合においても、証拠画像として適切な画像を効率良く記憶することが可能となった。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、部分領域検出処理、数値認識処理又は証拠画像保存処理で使用される各識別器は、記憶装置１１０に記憶されているのではなく、サーバ装置等の外部装置に記憶されていてもよい。その場合、数値認識部１２１は、通信装置１０１を介してサーバ装置に、各画像を送信し、サーバ装置から各識別器が出力する識別結果を受信して取得する。

また、画像処理装置１００は、携帯可能な情報処理装置に限定されず、例えば、メータを撮像可能に設置された定点カメラ等でもよい。

１００ 画像処理装置
１０４ 撮像装置
１１０ 記憶装置
１２１ 数値認識部
１２２ 判定部
１２３ 制御部

Claims (7)

1. 記憶部と、
   メータを撮影した入力画像を順次生成する撮像部と、
   前記順次生成された各入力画像に写っているメータ内の数値を特定して集計し、集計結果に基づいて、前記メータ内の数値を認識する数値認識部と、
   前記メータ内の数値の各桁に対応する部分領域毎に、各部分領域が鮮明であるか否かを判定する判定部と、
   前記各桁毎に、各桁に対応する部分領域が鮮明であると判定された入力画像を選択し、選択された入力画像の少なくとも一部を証拠画像として前記数値認識部が認識した数値を関連付けて前記記憶部に記憶する制御部と、
   を有することを特徴とする画像処理装置。
2. 前記制御部は、全ての部分領域が鮮明であると判定された１枚の入力画像が存在する場合には、当該１枚の入力画像のみの少なくとも一部を証拠画像として前記記憶部に記憶し、全ての部分領域が鮮明であると判定された入力画像が存在しない場合には、複数の入力画像のそれぞれの少なくとも一部を証拠画像として前記記憶部に記憶する、請求項１に記載の画像処理装置。
3. 前記判定部は、メータを撮影し且つ鮮明である画像を少なくとも用いて事前学習した識別器により、各部分領域が鮮明であるか否かを判定する、請求項１または２に記載の画像処理装置。
4. 前記判定部は、各部分領域内の画像の輝度値に基づいて、各部分領域が鮮明であるか否かを判定する、請求項１または２に記載の画像処理装置。
5. 前記数値認識部は、
   前記順次生成された各入力画像に写っているメータ内の数値の各桁毎に、桁値を特定し、所定数の入力画像に対して特定した桁値の中の最頻値を特定し、前記所定数に対する前記特定した最頻値の発生数の割合が閾値を超える場合、前記特定した最頻値を確定桁値として特定し、
   全ての桁のそれぞれについて特定した確定桁値を組み合わせた数値を、前記メータ内の数値として認識する、請求項１〜４の何れか一項に記載の画像処理装置。
6. 記憶部と、メータを撮影した入力画像を順次生成する撮像部と、を有する画像処理装置の制御方法であって、
   前記順次生成された各入力画像に写っているメータ内の数値を特定して集計し、集計結果に基づいて、前記メータ内の数値を認識し、
   前記メータ内の数値の各桁に対応する部分領域毎に、各部分領域が鮮明であるか否かを判定し、
   前記各桁毎に、各桁に対応する部分領域が鮮明であると判定された入力画像を選択し、選択された入力画像の少なくとも一部を証拠画像として前記認識した数値を関連付けて前記記憶部に記憶する、
   ことを含むことを特徴とする制御方法。
7. 記憶部と、メータを撮影した入力画像を順次生成する撮像部と、を有する画像処理装置の制御プログラムであって、
   前記順次生成された各入力画像に写っているメータ内の数値を特定して集計し、集計結果に基づいて、前記メータ内の数値を認識し、
   前記メータ内の数値の各桁に対応する部分領域毎に、各部分領域が鮮明であるか否かを判定し、
   前記各桁毎に、各桁に対応する部分領域が鮮明であると判定された入力画像を選択し、選択された入力画像の少なくとも一部を証拠画像として前記認識した数値を関連付けて前記記憶部に記憶する、
   ことを前記画像処理装置に実行させることを特徴とする制御プログラム。