JP6821007B2

JP6821007B2 - 画像処理装置、制御方法及び制御プログラム

Info

Publication number: JP6821007B2
Application number: JP2019505667A
Authority: JP
Inventors: 貴彦深澤
Original assignee: PFU Ltd
Current assignee: PFU Ltd
Priority date: 2017-03-17
Filing date: 2017-03-17
Publication date: 2021-01-27
Anticipated expiration: 2037-03-17
Also published as: JPWO2018167971A1; WO2018167971A1

Description

本開示は、画像処理装置、制御方法及び制御プログラムに関し、特に、メータを撮影した画像からメータ部分を検出する画像処理装置、制御方法及び制御プログラムに関する。

工場、家屋等では、設備点検作業において、作業者が電力量等のメータ（装置）から電力量等を示す数値を目視により読み取り、紙の台帳である点検簿に記録している。また、近年では、設備点検作業において、カメラでメータを撮影した画像から、コンピュータにより数値を自動認識する技術も利用されている。このような設備点検作業では、数値の目視誤り又は認識誤りが発生する可能性があるため、ユーザである作業者がカメラでメータを撮影した画像を、後で確認できるように証拠画像として保存しておくことが行われている。

カメラで認識対象物が撮影された画像に対して認識処理を行い、認識結果を出力する画像処理装置が開示されている（特許文献１を参照）。

特開２０１０−２１８０６１号公報

カメラでメータを撮影した画像を証拠画像として保存しておく場合、証拠画像に適した画像が保存される必要があり、ユーザがメータを良好に撮影するように、ユーザに対して適切な指示が行われることが望まれている。

画像処理装置、制御方法及び制御プログラムの目的は、メータを撮影するユーザに対して適切な指示を行うことを可能とすることにある。

本発明の一側面に係る画像処理装置は、携帯可能な画像処理装置であって、出力部と、メータを撮影した入力画像を順次生成する撮像部と、入力画像からメータ部分を検出する検出部と、入力画像内で検出されたメータ部分の傾き又は大きさに基づいて、メータ内の数値が入力画像内の所定の位置又は所定の大きさで撮像されるように、ユーザに対する画像処理装置の移動指示を出力部に出力する指示部と、を有する。

また、本発明の一側面に係る制御方法は、出力部と、メータを撮影した入力画像を順次生成する撮像部と、を有し、携帯可能な画像処理装置の制御方法であって、入力画像からメータ部分を検出し、入力画像内で検出されたメータ部分の傾き又は大きさに基づいて、メータ内の数値が入力画像内の所定の位置又は所定の大きさで撮像されるように、ユーザに対する画像処理装置の移動指示を出力部に出力することを含む。

また、本発明の一側面に係る制御プログラムは、出力部と、メータを撮影した入力画像を順次生成する撮像部と、を有し、携帯可能な画像処理装置の制御プログラムであって、入力画像からメータ部分を検出し、入力画像内で検出されたメータ部分の傾き又は大きさに基づいて、メータ内の数値が入力画像内の所定の位置又は所定の大きさで撮像されるように、ユーザに対する画像処理装置の移動指示を出力部に出力することを画像処理装置に実行させる。

本実施形態によれば、画像処理装置、制御方法及び制御プログラムは、メータを撮影するユーザに対して適切な指示を行うことが可能となる。

本発明の目的及び効果は、特に請求項において指摘される構成要素及び組み合わせを用いることによって認識され且つ得られるだろう。前述の一般的な説明及び後述の詳細な説明の両方は、例示的及び説明的なものであり、特許請求の範囲に記載されている本発明を制限するものではない。

実施形態に従った画像処理装置１００の概略構成の一例を示す図である。記憶装置１１０及びＣＰＵ１２０の概略構成を示す図である。座標系について説明するための図である。座標系について説明するための図である。座標系について説明するための図である。座標系について説明するための図である。座標系について説明するための図である。座標系について説明するための図である。全体処理の動作の例を示すフローチャートである。メータを撮影した入力画像８００の一例を示す図である。入力画像の例を示す図である。入力画像の例を示す図である。表示装置１０３に表示される警告の例を示す図である。表示装置１０３に表示される警告の例を示す図である。画像判定処理の動作の例を示すフローチャートである。入力画像の例を示す図である。表示装置１０３に表示される移動指示の例を示す図である。表示装置１０３に表示される移動指示の例を示す図である。入力画像の例を示す図である。入力画像の例を示す図である。入力画像の例を示す図である。入力画像の例を示す図である。入力画像の例を示す図である。他の処理回路２３０の概略構成を示す図である。

以下、本開示の一側面に係る画像処理装置について図を参照しつつ説明する。但し、本開示の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

図１は、実施形態に従った画像処理装置１００の概略構成の一例を示す図である。

画像処理装置１００は、タブレットＰＣ、多機能携帯電話（いわゆるスマートフォン）、携帯情報端末、ノートＰＣ等の携帯可能な情報処理装置であり、そのユーザである作業者により使用される。画像処理装置１００は、通信装置１０１と、入力装置１０２と、表示装置１０３と、音出力装置１０４と、振動発生装置１０５と、撮像装置１０６と、センサ１０７と、記憶装置１１０と、ＣＰＵ（Central Processing Unit）１２０と、処理回路１３０とを有する。以下、画像処理装置１００の各部について詳細に説明する。

通信装置１０１は、主に２．４ＧＨｚ帯、５ＧＨｚ帯等を感受帯域とするアンテナを含む、通信インターフェース回路を有する。通信装置１０１は、アクセスポイント等との間でＩＥＥＥ（The Institute of Electrical and Electronics Engineers, Inc.）８０２．１１規格の無線通信方式に基づいて無線通信を行う。そして、通信装置１０１は、アクセスポイントを介して外部のサーバ装置（不図示）とデータの送受信を行う。通信装置１０１は、アクセスポイントを介してサーバ装置から受信したデータをＣＰＵ１２０に供給し、ＣＰＵ１２０から供給されたデータをアクセスポイントを介してサーバ装置に送信する。なお、通信装置１０１は、外部の装置と通信できるものであればどのようなものであってもよい。例えば、通信装置１０１は、携帯電話通信方式に従って不図示の基地局装置を介してサーバ装置と通信するものでもよいし、有線ＬＡＮ通信方式に従ってサーバ装置と通信するものでもよい。

入力装置１０２は、入力部の一例であり、タッチパネル式の入力装置、キーボード、マウス等の入力デバイス及び入力デバイスから信号を取得するインターフェース回路を有する。入力装置１０２は、ユーザの入力を受け付け、ユーザの入力に応じた信号をＣＰＵ１２０に対して出力する。

表示装置１０３は、出力部の一例であり、液晶、有機ＥＬ（Electro-Luminescence）等から構成されるディスプレイ及びディスプレイに画像データ又は各種の情報を出力するインターフェース回路を有する。表示装置１０３は、ＣＰＵ１２０と接続されて、ＣＰＵ１２０から出力された画像データをディスプレイに表示する。なお、タッチパネルディスプレイを用いて、入力装置１０２と表示装置１０３を一体に構成してもよい。

音出力装置１０４は、出力部の一例であり、スピーカ及びスピーカに音声データを出力するインターフェース回路を有する。音出力装置１０４は、ＣＰＵ１２０と接続されて、ＣＰＵ１２０から出力された音声データをスピーカから出力する。

振動発生装置１０５は、出力部の一例であり、振動を発生させるモータ及びモータに振動を発生させるための信号を出力するインターフェース回路を有する。振動発生装置１０５は、ＣＰＵ１２０と接続されて、ＣＰＵ１２０から出力された指示信号に応じて振動を発生させる。

撮像装置１０６は、１次元又は２次元に配列されたＣＣＤ（Charge Coupled Device）からなる撮像素子を備える縮小光学系タイプの撮像センサと、Ａ／Ｄ変換器とを有する。撮像装置１０６は、撮像部の一例であり、ＣＰＵ１２０からの指示に従ってメータを順次撮影する（例えば３０フレーム／秒）。撮像センサは、メータを撮影したアナログの画像信号を生成してＡ／Ｄ変換器に出力する。Ａ／Ｄ変換器は、出力されたアナログの画像信号をアナログデジタル変換してデジタルの画像データを順次生成し、ＣＰＵ１２０に出力する。なお、ＣＣＤの代わりにＣＭＯＳ（Complementary Metal Oxide Semiconductor）からなる撮像素子を備える等倍光学系タイプのＣＩＳ（Contact Image Sensor）を利用してもよい。以下では、撮像装置１０６によりメータが撮影されて出力されたデジタルの画像データを入力画像と称する場合がある。

センサ１０７は、加速度センサであり、ＣＰＵ１２０から出力された指示信号に応じて、画像処理装置１００に加わる加速度を３軸方向毎に検出し、検出した加速度を画像処理装置１００の移動情報として出力する。センサ１０７は、例えば、ピエゾ抵抗効果を利用したピエゾ抵抗型の３軸加速度センサ、又は静電容量の変化を利用した静電容量型の３軸加速度センサとすることができる。なお、センサ１０７として、加速度センサの代わりに、画像処理装置１００の回転角速度を検出するジャイロセンサを利用し、加速度の代わりに回転角速度を画像処理装置１００の移動情報として出力してもよい。

記憶装置１１０は、記憶部の一例である。記憶装置１１０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、記憶装置１１０には、画像処理装置１００の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、例えばＣＤ−ＲＯＭ（compact disk read only memory）、ＤＶＤ−ＲＯＭ（digital versatile disk read only memory）等のコンピュータ読み取り可能な可搬型記録媒体からインストールされてもよい。コンピュータプログラムは、公知のセットアッププログラム等を用いて記憶装置１１０にインストールされる。

ＣＰＵ１２０は、予め記憶装置１１０に記憶されているプログラムに基づいて動作する。ＣＰＵ１２０は、汎用プロセッサであってもよい。なお、ＣＰＵ１２０に代えて、ＤＳＰ（digital signal processor）、ＬＳＩ（large scale integration）等が用いられてよい。また、ＣＰＵ１６０に代えて、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等が用いられてもよい。

ＣＰＵ１２０は、通信装置１０１、入力装置１０２、表示装置１０３、音出力装置１０４、振動発生装置１０５、撮像装置１０６、センサ１０７、記憶装置１１０及び処理回路１３０と接続され、これらの各部を制御する。ＣＰＵ１２０は、通信装置１０１を介したデータ送受信制御、入力装置１０２の入力制御、表示装置１０３、音出力装置１０４及び振動発生装置１０５の出力制御、撮像装置１０６の撮像制御、センサ１０７及び記憶装置１１０の制御等を行う。さらに、ＣＰＵ１２０は、撮像装置１０６により生成された入力画像に写っているメータ内の数値を認識するとともに、証拠画像を記憶装置１１０に記憶する。

処理回路１３０は、撮像装置１０６から取得した入力画像に補正処理等の所定の画像処理を施す。なお、処理回路１３０として、ＬＳＩ、ＤＳＰ、ＡＳＩＣ又はＦＰＧＡ等が用いられてもよい。

図２は、記憶装置１１０及びＣＰＵ１２０の概略構成を示す図である。

図２に示すように、記憶装置１１０には、検出プログラム１１１、移動距離検出プログラム１１２、判定プログラム１１３、指示プログラム１１４、数値認識プログラム１１５及び記憶制御プログラム１１６等の各プログラムが記憶される。これらの各プログラムは、プロセッサ上で動作するソフトウェアにより実装される機能モジュールである。ＣＰＵ１３０は、記憶装置１１０に記憶された各プログラムを読み取り、読み取った各プログラムに従って動作することにより、検出部１２１、移動距離検出部１２２、判定部１２３、指示部１２４、数値認識部１２５及び記憶制御部１２６として機能する。

図３、４Ａ、４Ｂ、５、６Ａ、６Ｂは、本実施形態において説明に用いる座標系について説明するための図である。

図３〜６Ｂに示す例では、撮像装置１０６による撮像位置１５０からの撮像方向、即ち撮像装置１０６の光軸方向をｚ軸とし、ｚ軸に垂直であり且つ水平面に平行な方向をｘ軸とし、ｚ軸及びｘ軸に垂直な方向をｙ軸としている。図３〜６Ｂに示すように、画像処理装置１００は、メータ３００を撮影する際に、ユーザにより、撮像装置１０６による撮像位置１５０からの撮像方向が、メータ３００が計測した電力量等の数値が示されるメータ部分３０１を向くように移動される。なお、図３〜６Ｂでは、画像処理装置１００の長手方向が水平線に平行になるように撮影される場合を例に説明している。また、以下では、画像処理装置１００において表示装置１０３のディスプレイが設けられた平面を表示面と称し、その裏側にある撮像装置１０６による撮像位置１５０が設けられた面を背面と称する場合がある。

図３は、撮像装置１０６の光軸（ｚ軸）方向の画像処理装置１００の水平移動の例を示す。画像処理装置１００は、メータ部分３０１との間の距離を調整するために、矢印Ａ１の方向又はその逆方向に水平移動するようにユーザに指示する。

図４Ａは、撮像装置１０６の光軸（ｚ軸）に垂直な平面（ｘｙ平面）に沿った画像処理装置１００のｙ軸方向の水平移動の例を示す。画像処理装置１００は、メータ部分３０１に対する撮像位置１５０の垂直位置を調整するために、矢印Ａ２の方向又はその逆方向に水平移動される。図４Ｂは、撮像装置１０６の光軸（ｚ軸）に垂直な平面（ｘｙ平面）に沿った画像処理装置１００のｘ軸方向の水平移動の例を示す。画像処理装置１００は、メータ部分３０１に対する撮像位置１５０の水平位置を調整するために、矢印Ａ３の方向又はその逆方向に水平移動するようにユーザに指示する。これらの水平移動では、画像処理装置１００は、メータ３００に対する表示面又は背面の向きを一定に保ちながら移動される。

図５は、撮像装置１０６の光軸（ｚ軸）を中心とする画像処理装置１００の回転移動の例を示す。この回転移動では、画像処理装置１００は、表示面又は背面が、撮像位置１５０の配置位置を中心として、光軸（ｚ軸）に垂直な平面（ｘｙ平面）に沿って回転するように移動される。以下では、この回転移動において画像処理装置１００が回転する角度を回転角と称する場合がある。図５では、時計回り方向を正方向とし、反時計回り方向を負方向としている。画像処理装置１００の長手方向が水平線に対して反時計回り方向に回転するように（−θ₁）傾いている場合、画像処理装置１００は、矢印Ａ４の方向（時計回り方向）に回転移動するようにユーザに指示する。一方、画像処理装置１００の長手方向が水平線に対して時計回り方向に回転するように（θ₁）傾いている場合、画像処理装置１００は、矢印Ａ４の逆方向（反時計回り方向）に回転移動するようにユーザに指示する。

図６Ａは、撮像装置１０６の光軸（ｚ軸）に対する仰俯角方向の画像処理装置１００の回転移動の例を示す。この回転移動では、画像処理装置１００は、表示面又は背面が、撮像位置１５０を通過するｘ軸に平行な直線を回転軸として回転するように移動される。以下では、この回転移動において画像処理装置１００が回転する角度を仰俯角と称する場合がある。図６Ａでは、時計回り方向を正方向とし、反時計回り方向を負方向としている。画像処理装置１００の表示面又は背面が光軸（ｚ軸）と直交するｘｙ平面に対して反時計回り方向に回転するように（−θ₂）傾いている場合、画像処理装置１００は、矢印Ａ５の方向（時計回り方向）に回転移動するようにユーザに指示する。一方、画像処理装置１００の表示面又は背面が光軸（ｚ軸）と直交するｘｙ平面に対して時計回り方向に回転するように（θ₂）傾いている場合、画像処理装置１００は、矢印Ａ５の逆方向（反時計回り方向）に回転移動するようにユーザに指示する。

図６Ｂは、撮像装置１０６の光軸（ｚ軸）に対する方位角方向の画像処理装置１００の回転移動の例を示す。この回転移動では、画像処理装置１００は、表示面又は背面が、撮像位置１５０を通過するｙ軸に平行な直線を回転軸として回転するように移動される。以下では、この回転移動において画像処理装置１００が回転する角度を方位角と称する場合がある。図６Ｂでは、時計回り方向を正方向とし、反時計回り方向を負方向としている。画像処理装置１００の表示面又は背面が光軸（ｚ軸）と直交するｘｙ平面に対して反時計回り方向に回転するように（−θ₃）傾いている場合、画像処理装置１００は、矢印Ａ６の方向（時計回り方向）に回転移動するようにユーザに指示する。一方、画像処理装置１００の表示面又は背面が光軸（ｚ軸）と直交するｘｙ平面に対して時計回り方向に回転するように（θ₃）傾いている場合、画像処理装置１００は、矢印Ａ６の逆方向（反時計回り方向）に回転移動するようにユーザに指示する。

図７は、画像処理装置１００による全体処理の動作の例を示すフローチャートである。

以下、図７に示したフローチャートを参照しつつ、画像処理装置１００による全体処理の動作の例を説明する。なお、以下に説明する動作のフローは、予め記憶装置１１０に記憶されているプログラムに基づき主にＣＰＵ１２０により画像処理装置１００の各要素と協働して実行される。

最初に、検出部１２１は、ユーザにより、入力装置１０２を用いてメータ部分の撮影の開始を指示する撮影開始指示が入力され、入力装置１０２から撮影開始指示信号を受信すると、撮影開始指示を受け付ける（ステップＳ１０１）。検出部１２１は、撮影開始指示を受け付けると、画像処理に用いられる各情報の初期化、及び、撮像装置１０６の撮像サイズ、フォーカス等のパラメータ設定を実行する。

次に、移動距離検出部１２２は、画像処理装置１００の現在位置を示す位置情報を初期位置として設定する（ステップＳ１０２）。

次に、検出部１２１は、撮像装置１０６にメータの撮影を開始させて入力画像を生成させる（ステップＳ１０３）。

次に、検出部１２１は、撮像装置１０６により生成された入力画像を取得し、記憶装置１１０に記憶する（ステップＳ１０４）。

次に、移動距離検出部１２２は、センサ１０７から出力された移動情報を受信し、受信した移動情報に基づいて画像処理装置１００の移動量及び移動方向を算出して、画像処理装置１００の位置情報を更新する。移動距離検出部１２２は、更新した位置情報に基づいて、初期位置からの移動距離、即ち入力装置１０２が撮影開始指示を受け付けてからの移動距離を検出する（ステップＳ１０５）。

次に、検出部１２１は、取得した入力画像からメータ部分を検出するメータ検出処理を実行する（ステップＳ１０６）。

図８は、メータ（装置）を撮影した入力画像８００の一例を示す図である。

図８に示すように、一般に、メータは黒色の筐体８０１を有し、筐体８０１の内部に白色のプレート８０２を有する。プレート８０２は、ガラス（不図示）を介して目視可能になっており、プレート８０２には、メータが計測した電力量等の数値が示されるメータ部分８０３が配置される。メータ部分８０３において、数値は白色で示され、背景は黒色で示されている。

まず、検出部１２１は、プレート８０２を検出する。検出部１２１は、入力画像内の画素の水平及び垂直方向の両隣の画素又はその画素から所定距離だけ離れた複数の画素の輝度値又は色値（Ｒ値、Ｂ値、Ｇ値）の差の絶対値が第１閾値を越える場合、その画素をエッジ画素として抽出する。検出部１２１は、ハフ変換又は最小二乗法等を用いて、抽出した各エッジ画素の近傍を通過する直線を抽出し、抽出した各直線のうち二本ずつが略直交する四本の直線から構成される矩形の内、最も大きい矩形をプレート８０２として検出する。略直交とは、直角に対して±４５°以内の角度（４５°以上且つ１３５°以下）で交わることを意味する。または、検出部１２１は、抽出した各エッジ画素が他のエッジ画素と連結しているか否かを判定し、連結しているエッジ画素を一つのグループとしてラベリングする。検出部１２１は、抽出したグループの内、最も面積が大きいグループで囲まれる領域をプレート８０２として検出してもよい。

なお、検出部１２１は、筐体８０１の色と、プレート８０２の色の違いを利用してプレート枠を検出してもよい。検出部１２１は、各画素の輝度値又は色値が第２閾値未満であり（黒色を示し）、その画素に右側に隣接する画素又はその画素から右側に所定距離離れた画素の輝度値又は色値が第２閾値以上である（白色を示す）場合、その画素を左端エッジ画素として抽出する。第２閾値は黒色を示す値と白色を示す値の中間の値に設定される。同様に、検出部１２１は、各画素の輝度値又は色値が第２閾値未満であり、その画素に左側に隣接する画素又はその画素から左側に所定距離離れた画素の輝度値又は色値が第２閾値以上である場合、その画素を右端エッジ画素として抽出する。同様に、検出部１２１は、各画素の輝度値又は色値が第２閾値未満であり、その画素に下側に隣接する画素又はその画素から下側に所定距離離れた画素の輝度値又は色値が第２閾値以上である場合、その画素を上端エッジ画素として抽出する。同様に、検出部１２１は、各画素の輝度値又は色値が第２閾値未満であり、その画素に上側に隣接する画素又はその画素から上側に所定距離離れた画素の輝度値又は色値が第２閾値以上である場合、その画素を下端エッジ画素として抽出する。検出部１２１は、ハフ変換又は最小二乗法等を用いて、抽出した左端エッジ画素、右端エッジ画素、上端エッジ画素及び下端エッジ画素のそれぞれを連結した直線を抽出し、抽出した各直線から構成される矩形をプレート８０２として検出する。

次に、検出部１２１は、検出したプレート８０２内の領域から、メータ部分８０３を検出する。検出部１２１は、メータ部分８０３を含むプレート８０２が写っている画像が入力された場合に、メータ部分８０３の位置情報を出力するように事前学習された識別器により、メータ部分８０３を検出する。この識別器は、例えばディープラーニング等により、メータを撮影した複数の画像を用いて事前学習され、予め記憶装置１１０に記憶される。検出部１２１は、検出したプレート８０２を含む画像を識別器に入力し、識別器から出力された位置情報を取得することにより、メータ部分８０３を検出する。

なお、検出部１２１は、プレート８０２を検出する場合と同様に、入力画像内のエッジ画素に基づいて、メータ部分８０３を検出してもよい。検出部１２１は、入力画像のプレート枠を含む領域からエッジ画素を抽出し、抽出した各エッジ画素の近傍を通過する直線を抽出し、抽出した各直線のうち二本ずつが略直交する四本の直線から構成される矩形の内、最も大きい矩形の領域を検出する。または、検出部１２１は、抽出した各エッジ画素が相互に連結するグループの内、最も面積が大きいグループで囲まれる矩形の領域を検出する。検出部１２１は、公知のＯＣＲ（Optical Character Recognition）技術を利用して、検出した各領域から所定桁の数字を検出し、所定桁の数字を検出できた場合、その領域をメータ部分８０３として検出する。

または、検出部１２１は、プレート８０２を検出する場合と同様に、プレート８０２の色と、メータ部分８０３の色の違いを利用して矩形の領域を検出してもよい。検出部１２１は、各画素の輝度値又は色値が第２閾値以上であり（白色を示し）、その画素に右側に隣接する画素又はその画素から右側に所定距離離れた画素の輝度値又は色値が第２閾値未満である（黒色を示す）場合、その画素を左端エッジ画素として抽出する。同様にして、検出部１２１は、右端エッジ画素、上端エッジ画素及び下端エッジ画素を抽出する。検出部１２１は、ハフ変換又は最小二乗法等を用いて、抽出した左端エッジ画素、右端エッジ画素、上端エッジ画素及び下端エッジ画素のそれぞれの近傍を通過する直線を抽出し、抽出した各直線から構成される矩形の領域を検出する。

また、メータのプレート８０２内にメータ部分８０３が存在する位置を示す目印８０４が示されている場合、検出部１２１は、目印８０４を検出し、水平及び垂直方向において各目印８０４で挟まれた領域内でメータ部分８０３を検出してもよい。

次に、判定部１２３は、メータ検出処理においてメータ部分が検出されたか否かにより、入力画像にメータ部分の全体が含まれるか否かを判定する（ステップＳ１０７）。

図９Ａ、９Ｂは、メータ部分８０３の全体が含まれない入力画像９００、９１０の例を示す図である。

図９Ａは、メータ部分８０３が端部付近に撮影されることにより、メータ部分８０３の全体が含まれていない入力画像９００を示す。また、図９Ｂは、メータ部分８０３の撮影サイズが大きくなりすぎることにより、メータ部分８０３の全体が含まれていない入力画像９１０を示す。入力画像９００又は入力画像９１０にはメータ部分８０３の全体が写っていないため、メータ検出処理ではメータ部分８０３内の数値が検出されず、メータ部分８０３は検出されない。

入力画像にメータ部分の全体が含まれない場合、指示部１２４は、入力画像にメータ部分の全体が含まれない旨の警告を出力して、ユーザに通知し（ステップＳ１０８）、ステップＳ１０４へ処理を戻し、新たに入力画像を取得するまで待機する。指示部１２４は、入力画像にメータ部分の全体が含まれない旨の警告として、メータ部分の全体が写るように画像処理装置１００を移動させる指示を出力してもよい。指示部１２４は、表示装置１０３に表示することにより、音出力装置１０４から音声として出力することにより、又は、振動発生装置１０５に所定の振動を発生させることにより、警告を出力する。

なお、指示部１２４は、入力装置１０２が撮影開始指示を受け付けてからの移動距離に応じて、警告の表示サイズを変更してもよい。ユーザが撮影開始指示を入力する場合、画像処理装置１００は、ユーザが操作し易いように、ユーザの手元にある可能性が高い。一方、メータは必ずしも撮影し易い位置に設置されておらず、ユーザは腕を伸ばしたりする等、無理な体勢でメータを撮影し、メータの撮影中において表示装置１０３を見づらい状態にある可能性がある。

指示部１２４は、ステップＳ１０５において検出した画像処理装置１００の移動距離が距離閾値未満である場合、画像処理装置１００はユーザの手元にあり、移動距離が距離閾値以上である場合、画像処理装置１００はユーザの手元から離れた位置にあるとみなす。そして、指示部１２４は、画像処理装置１００の移動距離が距離閾値以上である場合の警告の表示サイズを、画像処理装置１００の移動距離が距離閾値未満である場合の警告の表示サイズより大きくする。なお、指示部１２４は、画像処理装置１００の移動距離が大きい程、警告の表示サイズを段階的に大きくしてもよい。

図９Ｃ及び図９Ｄは、表示装置１０３に表示される警告の例を示す図である。

図９Ｃに示す画面９２０には、画像処理装置１００の移動距離が距離閾値未満である場合に表示される警告９２１が示され、図９Ｄに示す画面９３０には、画像処理装置１００の移動距離が距離閾値以上である場合に表示される警告９３１が示される。警告９３１は警告９２１より大きく表示され、ユーザは、画像処理装置１００（表示画面）が手元から離れた位置にあっても、警告９３１を容易に確認することができる。

ステップＳ１０７において、入力画像にメータ部分の全体が含まれていた場合、判定部１２３及び指示部１２４は、画像判定処理を実行する（ステップＳ１０９）。画像判定処理において、判定部１２３は、入力画像内で検出されたメータ部分の傾き又は大きさに基づいて、入力画像が証拠画像として適切であるか否かを判定する。また、指示部１２４は、入力画像が証拠画像として適切でない場合に、メータ内の数値が入力画像内の所定の位置又は所定の大きさで撮像されるように、ユーザに対する画像処理装置１００の移動指示を出力する。画像判定処理の詳細については後述する。

次に、判定部１２３は、画像判定処理において入力画像が証拠画像として適切であると判定されたか否かを判定する（ステップＳ１１０）。

入力画像が証拠画像として適切でなかった場合、判定部１２３は、ステップＳ１０４へ処理を戻し、新たに入力画像を取得するまで待機する。一方、入力画像が証拠画像として適切であった場合、数値認識部１２５は、数値認識処理を実行する（ステップＳ１１１）。

数値認識処理において、数値認識部１２５は、数値が写っている画像が入力された場合に、その画像に写っている数値を出力するように事前学習された識別器により、メータ部分に写っている数値を特定する。この識別器は、例えばディープラーニング等により、メータ内の各数値を撮影した複数の画像を用いて事前学習され、予め記憶装置１１０に記憶される。数値認識部１２５は、メータ部分が含まれる画像を識別器に入力し、識別器から出力された数値を、メータ部分に写っている数値として特定する。なお、数値認識部１２５は、公知のＯＣＲ技術を利用して、メータ部分に写っている数値を特定してもよい。

次に、数値認識部１２５は、数値認識処理において、メータ内の数値を認識できたか否かを判定する（ステップＳ１１２）。

メータ内の数値を認識できなかった場合、数値認識部１２５は、ステップＳ１０４へ処理を戻し、新たに入力画像を取得するまで待機する。一方、メータ内の数値を認識できた場合、記憶制御部１２６は、入力画像の少なくとも一部を証拠画像として、数値認識部１２５が認識した数値を関連付けて記憶装置１１０に記憶する（ステップＳ１１３）。記憶制御部１２６は、例えば入力画像からメータ部分の領域を切出した画像を証拠画像として記憶装置１１０に記憶する。なお、記憶制御部１２６は、入力画像からプレートの領域を切出した画像、又は、入力画像自体を証拠画像として記憶装置１１０に記憶してもよい。

次に、記憶制御部１２６は、数値認識部１２５が認識した数値、及び／又は、記憶制御部１２６が記憶した証拠画像を表示装置１０３に表示し（ステップＳ１１４）、一連のステップを終了する。また、記憶制御部１２６は、数値認識部１２５が認識した数値、及び／又は、記憶制御部１２６が選択した証拠画像を通信装置１０１を介してサーバ装置に送信してもよい。

なお、ステップＳ１０９及びＳ１１０の処理は、ステップＳ１１１及びＳ１１２の処理の後に実行され、画像判定処理は、数値認識処理においてメータ内の数値を認識された画像に対してのみ実行されてもよい。

また、移動距離検出部１２２は、入力装置１０２が撮影開始指示を受け付けたときの画像処理装置１００の位置ではなく、装置起動時又は全体処理を実行するためのアプリケーションプログラム起動時の画像処理装置１００の位置を初期位置として設定してもよい。

図１０は、画像判定処理の動作の例を示すフローチャートである。図１０に示す動作のフローは、図７に示すフローチャートのステップＳ１０９において実行される。

最初に、判定部１２３は、入力画像内で検出されたメータ部分の大きさが所定範囲内に含まれるか否かを判定する（ステップＳ２０１）。メータ部分の大きさは、面積（画素数）、又は、水平方向もしくは垂直方向の長さ（画素数）により規定される。例えば入力画像の水平方向の画素数が６４０画素である場合、所定範囲は、水平方向の画素数が４００画素以上であり且つ６００画素以下である範囲に設定される。なお、所定範囲の上限は設定されなくてもよい。

図１１Ａは、メータ部分の大きさが所定範囲内に含まれない入力画像１１００の例を示す図である。

図１１Ａは、離れた位置からメータが撮影され、メータ部分８０３が小さく写っている入力画像１１００を示す。入力画像１１００では、メータ部分８０３の大きさが小さいため、ユーザは、メータ部分８０３に写っている数値を目視により確認しづらい。

メータ部分の大きさが所定範囲内に含まれない場合、指示部１２４は、撮像装置１０６の光軸（ｚ軸）方向の画像処理装置１００の水平移動指示を、ユーザに対する画像処理装置１００の移動指示として出力して、ユーザに通知する（ステップＳ２０２）。指示部１２４は、メータ部分の大きさが所定範囲内に含まれるように、水平移動指示を出力する。指示部１２４は、メータ部分の大きさが所定範囲の下限未満である場合、画像処理装置１００をメータに近づけるように、図３の矢印Ａ１の方向に水平移動させる移動指示を出力する。一方、指示部１２４は、メータ部分の大きさが所定範囲の上限より大きい場合、画像処理装置１００をメータから離すように、図３の矢印Ａ１の逆方向に水平移動させる移動指示を出力する。

画像判定処理において、指示部１２４は、警告を出力する場合と同様に、表示装置１０３に表示することにより、音出力装置１０４から音声として出力することにより、又は、振動発生装置１０５に所定の振動を発生させることにより、移動指示を出力する。また、画像判定処理において、指示部１２４は、警告を出力する場合と同様に、入力装置１０２が撮影開始指示を受け付けてからの移動距離に応じて、移動指示の表示サイズを変更してもよい。さらに、指示部１２４は、入力装置１０２が撮影開始指示を受け付けてからの移動距離に応じて、移動指示の表示態様を変更してもよい。

図１１Ｂ及び図１１Ｃは、表示装置１０３に表示される移動指示の例を示す図である。

図１１Ｂの画面１１１０には、画像処理装置１００の移動距離が距離閾値未満である場合に表示される移動指示１１１１が示され、図１１Ｃの画面１１２０には、画像処理装置１００の移動距離が距離閾値以上である場合に表示される移動指示１１２１が示される。移動指示１１２１は、移動指示１１１１より大きく表示される。また、移動指示１１２１は、移動指示１１１１より簡略化されて簡潔に表示される。また、移動指示１１１１は文字のみで表示されるが、移動指示１１２１は文字及び記憶を用いて表示される。これらにより、ユーザは、画像処理装置１００（表示画面）が手元から離れた位置にあっても、移動指示１１２１を容易に確認することができる。

このように、指示部１２４は、入力画像内で検出されたメータ部分の大きさに基づいて、メータ内の数値が入力画像内の所定の大きさで撮像されるように、ユーザに対する画像処理装置の移動指示を出力する。

次に、判定部１２３は、入力画像が証拠画像として適切でないと判定し（ステップＳ２０３）、一連のステップを終了する。

一方、ステップＳ２０１において、メータ部分の大きさが所定範囲内に含まれていた場合、判定部１２３は、入力画像内で検出されたメータ部分にボケが含まれるか否かを判定する（ステップＳ２０４）。ボケとは、撮像装置１０６の焦点ずれにより、画像内の各画素の輝度値の差が小さくなっている領域、又は、ユーザの手ぶれによって画像内の複数の画素に同一物が写り、画像内の各画素の輝度値の差が小さくなっている領域を意味する。

図１２Ａは、メータ部分にボケが含まれる入力画像１２００の例を示す図である。

図１２Ａは、撮像装置１０６の焦点ずれにより、メータ部分８０３内の数字の輝度値と背景の輝度値の差が小さくなっている入力画像１２００を示す。入力画像１２００では、メータ部分８０３の数字の輝度値と背景の輝度値の差が小さいため、ユーザは、メータ部分８０３に写っている数値を目視により確認しづらい。

判定部１２３は、画像が入力された場合に、入力された画像にボケが含まれる度合いを示すボケ度を出力するように事前学習された識別器により、メータ部分にボケが含まれるか否かを判定する。この識別器は、例えばディープラーニング等により、メータを撮影し且つボケが含まれない画像を用いて事前学習され、予め記憶装置１１０に記憶される。なお、この識別器は、メータを撮影し且つボケが含まれる画像をさらに用いて事前学習されていてもよい。判定部１２３は、検出したメータ部分を含む画像を識別器に入力し、識別器から出力されたボケ度が第３閾値以上であるか否かにより、メータ部分にボケが含まれるか否かを判定する。

または、判定部１２３は、入力画像内のメータ部分の領域に含まれる各画素の輝度値のエッジ強度に基づいて、メータ部分にボケが含まれるか否かを判定してもよい。判定部１２３は、メータ部分の領域内の画素の水平もしくは垂直方向の両隣の画素又はその画素から所定距離だけ離れた複数の画素の輝度値の差の絶対値を、その画素のエッジ強度として算出する。判定部１２３は、メータ部分の領域内の各画素について算出したエッジ強度の平均値が第４閾値以下であるか否かにより、メータ部分にボケが含まれるか否かを判定する。

または、判定部１２３は、入力画像内のメータ部分の領域に含まれる各画素の輝度値の分布に基づいて、メータ部分にボケが含まれるか否かを判定してもよい。判定部１２３は、メータ部分の領域内の各画素の輝度値のヒストグラムを生成し、数値（白色）を示す輝度値の範囲と、背景（黒色）を示す輝度値の範囲のそれぞれにおいて極大値を検出し、各極大値の半値幅の平均値を算出する。判定部１２３は、算出した各極大値の半値幅の平均値が第５閾値以上であるか否かにより、メータ部分にボケが含まれるか否かを判定する。なお、上記した各閾値及び各範囲は、事前の実験により、予め設定される。

メータ部分にボケが含まれる場合、指示部１２４は、メータ部分にボケが含まれる旨の通知とともに、撮像装置１０６の焦点を調節する指示を出力して、ユーザに通知する（ステップＳ２０５）。指示部１２４は、警告を出力する場合と同様に、表示装置１０３に表示することにより、音出力装置１０４から音声として出力することにより、又は、振動発生装置１０５に所定の振動を発生させることにより、指示を出力する。なお、指示部１２４は、ユーザにより、入力装置１０２を用いて入力画像内の所定位置の指定が入力されると、指定された位置に撮像装置１０６の焦点を合わせるように調節してもよい。その場合、指示部１２４は、焦点を合わせる位置として、メータ部分を指定するように指示を出力してもよい。

一方、ステップＳ２０４において、メータ部分にボケが含まれていなかった場合、判定部１２３は、入力画像内で検出されたメータ部分にテカリが含まれるか否かを判定する（ステップＳ２０６）。テカリとは、外乱光等の影響により、画像内の所定領域の画素の輝度値が一定の値に飽和（白飛び）している領域を意味する。

図１２Ｂは、メータ部分にテカリが含まれる入力画像１２１０の例を示す図である。

図１２Ｂは、メータ部分８０３の前面を覆うガラス部分に照明等の環境光が写り込むことにより、メータ部分８０３の一部に外乱光１２１１が写り、その領域が白飛びしている入力画像１２１０を示す。入力画像１２１０ではメータ部分８０３の数字の一部が白飛びしているため、ユーザは、メータ部分８０３に写っている数値を目視により確認しづらい。

判定部１２３は、画像が入力された場合に、入力された画像にテカリが含まれる度合いを示すテカリ度を出力するように事前学習された識別器により、メータ部分にテカリが含まれるか否かを判定する。この識別器は、例えばディープラーニング等により、メータを撮影し且つテカリが含まれない画像を用いて事前学習され、予め記憶装置１１０に記憶される。なお、この識別器は、メータを撮影し且つテカリが含まれる画像をさらに用いて事前学習されていてもよい。判定部１２３は、検出したメータ部分を含む画像を識別器に入力し、識別器から出力されたテカリ度が第６閾値以上であるか否かにより、メータ部分にテカリが含まれるか否かを判定する。

または、判定部１２３は、入力画像内のメータ部分の領域に含まれる各画素の輝度値に基づいて、メータ部分にテカリが含まれるか否かを判定してもよい。判定部１２３は、メータ部分の領域内の画素の内、輝度値が第７閾値以上（白色）である画素の数を算出し、算出した数が第８閾値以上であるか否かにより、メータ部分にテカリが含まれるか否かを判定する。

または、判定部１２３は、入力画像内のメータ部分の領域に含まれる各画素の輝度値の分布に基づいて、メータ部分にテカリが含まれるか否かを判定してもよい。判定部１２３は、メータ部分の領域内の各画素の輝度値のヒストグラムを生成し、第７閾値以上の領域に分布された画素の数が第８閾値以上であるか否かにより、メータ部分にテカリが含まれるか否かを判定する。なお、上記した各閾値及び各範囲は、事前の実験により、予め設定される。

メータ部分にテカリが含まれる場合、指示部１２４は、撮像装置１０６の光軸（ｚ軸）に垂直な平面（ｘｙ平面）に沿った画像処理装置１００の水平移動指示をユーザに対する画像処理装置１００の移動指示として出力して、ユーザに通知する（ステップＳ２０７）。指示部１２４は、メータ部分にテカリが含まれなくなるように、水平移動指示を出力する。指示部１２４は、メータ部分の中心位置より上側にテカリが存在する場合、画像処理装置１００を図４Ａの矢印Ａ２の方向に水平移動させる移動指示を出力する。一方、指示部１２４は、メータ部分の中心位置より下側にテカリが存在する場合、画像処理装置１００を図４Ａの矢印Ａ２の逆方向に水平移動させる移動指示を出力する。または、指示部１２４は、メータ部分の中心位置より左側にテカリが存在する場合、画像処理装置１００を図４Ｂの矢印Ａ３の方向に水平移動させる移動指示を出力する。一方、指示部１２４は、メータ部分の中心位置より右側にテカリが存在する場合、画像処理装置１００を図４Ｂの矢印Ａ３の逆方向に水平移動させる移動指示を出力する。

画像処理装置１００がタブレットＰＣ又はスマートフォン等である場合、ユーザが画像処理装置１００を持ちやすいように、一般に、撮像装置１０６による撮像位置１５０は、背面の中央位置ではなく、端部付近に配置される。一方、ユーザは、撮影時に、撮像位置１５０が画像処理装置１００の中央位置に配置されていると勘違いして、画像処理装置１００の中央位置がメータ部分に対向するように移動させる傾向にある。画像処理装置１００は、画像処理装置１００の移動指示を出力することにより、メータ部分が良好に撮影されるように、ユーザによって画像処理装置１００を適切な位置に移動させることが可能となる。

一方、ステップＳ２０６において、メータ部分にテカリが含まれていなかった場合、判定部１２３は、入力画像内でメータ部分が傾いているか否かを判定する（ステップＳ２０８）。

図１３Ａは、メータ部分が傾いている入力画像１３００の例を示す図である。

図１３Ａは、図５に示すように、画像処理装置１００が回転角方向に回転するように傾いた状態、特に矢印Ａ４の逆方向に回転するように（−θ₁）傾いた状態で撮影された入力画像１３００を示す。入力画像１３００では、メータ部分８０３が傾いているため、ユーザは、メータ部分８０３に写っている数値を目視により確認しづらい。

判定部１２３は、検出部１２１により入力画像内で検出されたメータ部分８０３に含まれる四辺形を特定する。判定部１２３は、検出部１２１がメータ部分８０３を検出する際に矩形を抽出している場合、検出部１２１により抽出された矩形を、メータ部分８０３に含まれる四辺形として特定する。一方、判定部１２３は、検出部１２１が矩形を抽出していない場合、検出部１２１によるメータ部分８０３の検出処理において説明した方法と同様にしてメータ部分８０３から矩形を抽出し、抽出した矩形をメータ部分８０３に含まれる四辺形として特定する。

次に、判定部１２３は、特定した四辺形の四辺の内、略水平方向に延伸し且つ相互に対向する二辺１３０１、１３０２を特定する。略水平方向とは、例えば水平ラインに対して４５°以内の角度を有する方向を意味し、略水平方向に延伸する辺とは、水平ラインとなす角度が４５°以内である直線を意味する。判定部１２３は、特定した二辺１３０１、１３０２の各中点１３０３、１３０４を通過する直線１３０５と入力画像１３００の垂直ライン１３０６とがなす角度θ₄を算出する。判定部１２３は、算出した角度θ₄が第１角度（例えば１５°）以上である場合、メータ部分８０３が傾いていると判定し、算出した角度θ₄が第１角度未満である場合、メータ部分８０３が傾いていないと判定する。

なお、判定部１２３は、入力画像内で検出されたメータ部分が入力画像の水平ラインに対して第１角度以上傾いているか否かを判定してもよい。その場合、判定部１２３は、特定した四辺形の四辺の内、略垂直方向に延伸し且つ相互に対向する二辺の各中点を通過する直線と入力画像の水平ラインとがなす角度が第１角度以上であるか否かを判定する。略垂直方向とは、例えば垂直ラインに対して４５°以内の角度を有する方向を意味し、略垂直方向に延伸する辺とは、水平ラインとなす角度が４５°以内である直線を意味する。

メータ部分が傾いている場合、指示部１２４は、撮像装置１０６の光軸（ｚ軸）を中心とする画像処理装置１００の回転移動指示をユーザに対する画像処理装置１００の移動指示として出力して、ユーザに通知する（ステップＳ２０９）。指示部１２４は、メータ部分に含まれる四辺形の略水平方向に延伸し且つ相互に対向する二辺の各中点を通過する直線と入力画像の垂直ラインとがなす角度が第１角度以下になるように、回転移動指示を出力する。指示部１２４は、その直線が垂直ラインに対して時計回りに回転している場合（図１３Ａに示す状態）、画像処理装置１００を図５の矢印Ａ４の方向（時計回り）に回転移動させる移動指示を出力する。一方、指示部１２４は、その直線が垂直ラインに対して反時計回りに回転している場合（図１３Ａに示す状態の逆向きにメータ部分８０３が傾いている状態）、画像処理装置１００を図５の矢印Ａ４の逆方向（反時計回り）に回転移動させる移動指示を出力する。

このように、指示部１２４は、入力画像内で検出されたメータ部分の傾きに基づいて、メータ内の数値が入力画像内の所定の傾きで撮像されるように、ユーザに対する画像処理装置の移動指示を出力する。

一方、ステップＳ２０８において、メータ部分が傾いていなかった場合、判定部１２３は、メータ部分が入力画像の垂直方向において歪んでいるか否かを判定する（ステップＳ２１０）。

図１３Ｂは、メータ部分が垂直方向において歪んでいる入力画像１３１０の例を示す図である。

図１３Ｂは、図６Ａに示すように、画像処理装置１００が仰俯角方向に回転した状態、特に矢印Ａ５の方向に回転した状態（θ₂）で撮影された入力画像１３１０を示す。入力画像１３１０では、メータ部分８０３が垂直方向において歪み、メータ部分８０３に写っている数値が歪んでいるため、ユーザは、メータ部分８０３に写っている数値を目視により確認しづらい。

判定部１２３は、ステップＳ２０８の処理と同様にして、検出部１２１により入力画像内で検出されたメータ部分８０３に含まれる四辺形を特定する。次に、判定部１２３は、特定した四辺形の四辺の内、略垂直方向に延伸し且つ相互に対向する二辺１３１１、１３１２を特定する。判定部１２３は、特定した二辺１３１１、１３１２がなす角度θ₅を算出する。判定部１２３は、算出した角度θ₅が第２角度（例えば２０°）以上である場合、メータ部分８０３が垂直方向において歪んでいると判定し、算出した角度θ₅が第２角度未満である場合、メータ部分８０３が垂直方向において歪んでいないと判定する。

メータ部分が垂直方向において歪んでいる場合、指示部１２４は、撮像装置１０６の光軸（ｚ軸）に対する仰俯角方向の画像処理装置１００の回転移動指示をユーザに対する画像処理装置１００の移動指示として出力して、ユーザに通知する（ステップＳ２１１）。指示部１２４は、メータ部分に含まれる四辺形の略垂直方向に延伸し且つ相互に対向する二辺がなす角度が第２角度以下になるように、回転移動指示を出力する。指示部１２４は、略垂直方向に延伸し且つ相互に対向する二辺がメータ部分８０３より上側で交わる場合（図１３Ｂに示す状態）、画像処理装置１００を図６Ａの矢印Ａ５の逆方向（反時計回り）に回転移動させる移動指示を出力する。一方、指示部１２４は、略垂直方向に延伸し且つ相互に対向する二辺がメータ部分８０３より下側で交わる場合、画像処理装置１００を図６Ａの矢印Ａ５の方向（時計回り）に回転移動させる移動指示を出力する。

一方、ステップＳ２１０において、メータ部分が入力画像の垂直方向において歪んでいなかった場合、判定部１２３は、メータ部分が入力画像の水平方向において歪んでいるか否かを判定する（ステップＳ２１２）。

図１３Ｃは、メータ部分が水平方向において歪んでいる入力画像１３２０の例を示す図である。

図１３Ｃは、図６Ｂに示すように、画像処理装置１００が方位角方向に回転した状態、特に矢印Ａ６の逆方向に回転した状態（−θ₃）で撮影された入力画像１３２０を示す。入力画像１３２０では、メータ部分８０３が水平方向において歪み、メータ部分８０３に写っている数値が歪んでいるため、ユーザは、メータ部分８０３に写っている数値を目視により確認しづらい。

判定部１２３は、ステップＳ２０８の処理と同様にして、検出部１２１により入力画像内で検出されたメータ部分８０３に含まれる四辺形を特定する。次に、判定部１２３は、特定した四辺形の四辺の内、略水平方向に延伸し且つ相互に対向する二辺１３２１、１３２２を特定する。判定部１２３は、特定した二辺１３２１、１３２２がなす角度θ₆を算出する。判定部１２３は、算出した角度θ₆が第３角度（例えば２０°）以上である場合、メータ部分８０３が水平方向において歪んでいると判定し、算出した角度θ₆が第３角度未満である場合、メータ部分８０３が水平方向において歪んでいないと判定する。

メータ部分が水平方向において歪んでいる場合、指示部１２４は、撮像装置１０６の光軸（ｚ軸）に対する方位角方向の画像処理装置１００の回転移動指示をユーザに対する画像処理装置１００の移動指示として出力して、ユーザに通知する（ステップＳ２１３）。指示部１２４は、メータ部分に含まれる四辺形の略水平方向に延伸し且つ相互に対向する二辺がなす角度が第３角度以下になるように、回転移動指示を出力する。指示部１２４は、略水平方向に延伸し且つ相互に対向する二辺がメータ部分８０３より左側で交わる場合（図１３Ｂに示す状態）、画像処理装置１００を図６Ｂの矢印Ａ６の方向（時計回り）に回転移動させる移動指示を出力する。一方、指示部１２４は、略水平方向に延伸し且つ相互に対向する二辺がメータ部分８０３より右側で交わる場合、画像処理装置１００を図６Ｂの矢印Ａ６の逆方向（反時計回り）に回転移動させる移動指示を出力する。

一方、ステップＳ２１２において、メータ部分が入力画像の水平方向において歪んでいなかった場合、判定部１２３は、入力画像が証拠画像として適切であると判定し（ステップＳ２１４）、一連のステップを終了する。

以上詳述したように、画像処理装置１００は、入力画像内で検出されたメータ部分の傾き又は大きさに基づいて、メータ内の数値が入力画像内の所定の位置又は所定の大きさで撮像されるように、ユーザに対する画像処理装置の移動指示を出力する。これにより、画像処理装置１００は、メータを撮影するユーザに対して適切な指示を行うことが可能となった。また、各ユーザは、ユーザ毎の個人差に依存せずに、メータを良好に撮影することが可能となった。特に、撮影しづらい位置にメータが設置されている場合でも、ユーザは、移動指示に従ってメータを良好に撮影することが可能となった。また、各ユーザがメータの撮影に失敗していることに気付かないまま撮影を完了してしまうことが抑制され、画像処理装置１００は、適切な証拠画像をより確実に保存することが可能となった。

図１４は、他の実施形態に係る画像処理装置における処理回路２３０の概略構成を示すブロック図である。

処理回路２３０は、画像処理装置１００の処理回路１３０の代わりに用いられ、ＣＰＵ１２０の代わりに、全体処理を実行する。処理回路２３０は、検出回路２３１、移動距離検出回路２３２、判定回路２３３、指示回路２３４、数値認識回路２３５及び記憶制御回路２３６等を有する。

検出回路２３１は、検出部の一例であり、検出部１２１と同様の機能を有する。検出回路２３１は、撮像装置１０６からメータを撮影した入力画像を順次取得し、入力画像からメータ部分を検出し、検出結果を判定回路２３３に出力する。

移動距離検出回路２３２は、移動距離検出部の一例であり、移動距離検出部１２２と同様の機能を有する。移動距離検出回路２３２は、センサ１０７から出力された移動情報を受信し、受信した移動情報に基づいて画像処理装置１００の移動距離を検出し、検出結果を指示回路２３４に出力する。

判定回路２３３は、判定部の一例であり、判定部１２３と同様の機能を有する。判定回路２３３は、入力画像内で検出されたメータ部分の傾き又は大きさに基づいて、入力画像が証拠画像として適切であるか否かを判定し、判定結果を指示回路２３４に出力する。

指示回路２３４は、指示部の一例であり、指示部１２４と同様の機能を有する。指示回路２３４は、判定回路２３３による判定結果及び移動距離検出回路２３２による検出結果に基づいて、ユーザに対する画像処理装置１００の移動指示を表示装置１０３、音出力装置１０４又は振動発生装置１０５に出力する。

数値認識回路２３５は、数値認識部の一例であり、数値認識部１２５と同様の機能を有する。数値認識回路２３５は、入力画像に写っているメータ内の数値を認識し、認識結果を記憶装置１１０に記憶する。

記憶制御回路２３６は、記憶制御部の一例であり、記憶制御部１２６と同様の機能を有する。記憶制御回路２３６は、証拠画像を数値認識回路２３５が認識した数値を関連付けて記憶装置１１０に記憶する。

以上詳述したように、画像処理装置１００は、処理回路２３０を用いる場合においても、メータを撮影するユーザに対して適切な指示を行うことが可能となった。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、全体処理で使用される各識別器は、記憶装置１１０に記憶されているのではなく、サーバ装置等の外部装置に記憶されていてもよい。その場合、ＣＰＵ１２０は、通信装置１０１を介してサーバ装置に、各画像を送信し、サーバ装置から各識別器が出力する識別結果を受信して取得する。

また、画像処理装置１００は、ユーザによって携帯可能な情報処理装置に限定されず、例えば、ユーザの操作によって飛行する飛行可能な情報処理装置でもよい。

１００画像処理装置
１０２入力装置
１０３表示装置
１０４音出力装置
１０５振動発生装置
１０６撮像装置
１０７センサ
１１０記憶装置
１２１検出部
１２２移動距離検出部
１２３判定部
１２４指示部

Claims

携帯可能な画像処理装置であって、
出力部と、
メータを撮影した入力画像を順次生成する撮像部と、
前記入力画像からメータ部分を検出する検出部と、
前記メータ部分にテカリが含まれるか否かを判定する判定部と、
前記入力画像内で検出された前記メータ部分の傾き又は大きさに基づいて、前記メータ内の数値が前記入力画像内の所定の位置又は所定の大きさで撮像されるように、ユーザに対する前記画像処理装置の移動指示を前記出力部に出力する指示部と、を有し、
前記指示部は、前記判定部がテカリが含まれると判定した場合、前記撮像部の光軸に垂直な平面に沿った前記画像処理装置の水平移動指示を前記移動指示として出力する、
ことを特徴とする画像処理装置。
前記指示部は、前記入力画像内で検出された前記メータ部分に含まれる四辺形の略水平方向に延伸し且つ相互に対向する二辺の各中点を通過する直線と前記入力画像の垂直ラインとがなす角度が第１角度以下になるように、前記撮像部の光軸を中心とする前記画像処理装置の回転移動指示を前記移動指示として出力する、請求項１に記載の画像処理装置。
前記指示部は、前記入力画像内で検出された前記メータ部分に含まれる四辺形の略垂直方向に延伸し且つ相互に対向する二辺がなす角度が第２角度以下になるように、前記撮像部の光軸に対する仰俯角方向の前記画像処理装置の回転移動指示を前記移動指示として出力する、請求項１または２に記載の画像処理装置。
前記指示部は、前記入力画像内で検出された前記メータ部分に含まれる四辺形の略水平方向に延伸し且つ相互に対向する二辺がなす角度が第３角度以下になるように、前記撮像部の光軸に対する方位角方向の前記画像処理装置の回転移動指示を前記移動指示として出力する、請求項１〜３の何れか一項に記載の画像処理装置。
前記指示部は、前記入力画像内で検出された前記メータ部分の大きさが所定範囲内に含まれるように、前記撮像部の光軸方向の前記画像処理装置の水平移動指示を前記移動指示として出力する、請求項１〜４の何れか一項に記載の画像処理装置。
前記指示部は、前記入力画像に前記メータ部分の全体が含まれない場合、前記入力画像に前記メータ部分の全体が含まれない旨を前記出力部に出力する、請求項１〜５の何れか一項に記載の画像処理装置。
前記メータ部分の撮影開始指示が入力される入力部と、
前記画像処理装置の移動距離を検出する移動距離検出部と、をさらに有し、
前記指示部は、前記入力部が前記撮影開始指示を受け付けてからの移動距離に応じて、前記移動指示の表示サイズを変更する、請求項１〜６の何れか一項に記載の画像処理装置。
出力部と、メータを撮影した入力画像を順次生成する撮像部と、を有し、携帯可能な画像処理装置の制御方法であって、
前記入力画像からメータ部分を検出し、
前記メータ部分にテカリが含まれるか否かを判定し、
前記入力画像内で検出された前記メータ部分の傾き又は大きさに基づいて、前記メータ内の数値が前記入力画像内の所定の位置又は所定の大きさで撮像されるように、ユーザに対する前記画像処理装置の移動指示を前記出力部に出力する、ことを含み、
前記出力において、前記メータ部分にテカリが含まれると判定した場合、前記撮像部の光軸に垂直な平面に沿った前記画像処理装置の水平移動指示を前記移動指示として出力する、
ことを特徴とする制御方法。
出力部と、メータを撮影した入力画像を順次生成する撮像部と、を有し、携帯可能な画像処理装置の制御プログラムであって、
前記入力画像からメータ部分を検出し、
前記メータ部分にテカリが含まれるか否かを判定し、
前記入力画像内で検出された前記メータ部分の傾き又は大きさに基づいて、前記メータ内の数値が前記入力画像内の所定の位置又は所定の大きさで撮像されるように、ユーザに対する前記画像処理装置の移動指示を前記出力部に出力する、ことを前記画像処理装置に実行させ、
前記出力において、前記メータ部分にテカリが含まれると判定した場合、前記撮像部の光軸に垂直な平面に沿った前記画像処理装置の水平移動指示を前記移動指示として出力する、
ことを前記画像処理装置に実行させることを特徴とする制御プログラム。