JP3799408B1 - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】事前の初期設定を必要とせず、現場に設置したカメラで撮影した丸型計器の画像のみを用いて、指示値の読み取りを行うことを可能とする。
【解決手段】画像入力部１１に丸型計器２の原画像が入力され、計器構造学習部１２が、原画像中に表記されている、丸型計器２の目盛りの数値を示す数字の位置を決定し、決定した数字の位置情報を蓄積する。また、計器構造学習部１２は、原画像中の指針の位置を決定する。そして、指示値算出部１３が、計器構造学習部１２によって決定された指針の位置情報と、数字の位置情報とに基づいて、指針の位置に対応する数字の数値を指示値として算出する。
【選択図】図１

Description

本発明は、画像処理技術に関し、特に、丸型計器の画像を処理して、丸型計器の指針の示す指示値を算出する画像処理装置および画像処理方法に関する。

アナログメータのような計器は、各種のシステムの計測や監視に広く使用されている。近年、工場の自動化や低コスト化が望まれており、メータによる点検の自動化が図られている。メータによる点検の自動化の方法として、メータの交換、メータの改造、視認作業の自動化などがある。このうち、メータの交換や改造では、コストがかかることや視認性が劣化することや、さらには交換期間にシステムを停止しなければならないという重大な問題もある。一方、視認作業の自動化は、カメラや画像入力装置を設置するだけでよく、システムの停止を必要としない利点がある。また、メータに接触することがないため、視認性も維持でき、困難な高所や危険区域内の点検も可能であり、一時的な自動監視も容易に行うことができる。このような点で、画像処理によるアナログメータ、特に、アナログメータの多くを占める丸型計器の視認作業の自動化は期待されている。

一般的なアナログメータ自動読み取りシステムの処理の流れを図１８に示す。設置したカメラで点検対象となるメータを撮影し（ステップＳ１００）、その画像を解析して（ステップＳ１０１）、指示値を出力する（ステップＳ１０２）。この点検結果を保存することや、解析することも可能である（ステップＳ１０３）。

画像を用いた計器の指示値の読み取りを行う場合、計器の構造情報が必要となる。ここで構造情報とは、指示値を読み取るために必要となる情報である。従来のシステムでは、システムの設置時に、マーカを取りつけたりするなどして、指示値の読み取りに必要な事前情報をシステムに設定している。具体的には、画像解析における基準となる位置を、計器の表示盤にマーカを設置することにより設定し、設定された基準となる位置の情報を指示値の読み取りの際に利用する。このようにして、初期設定で、読み取りに必要となる情報を事前に与えている。

なお、画像認識に関する従来技術の例として、例えば、以下の特許文献１に、２値画像から所定のマークを抽出し、抽出したマークを基準に指示針を読み取る画像認識方法に関して記載されている。
特開２００１−２２４３３号公報

しかし、以上のような初期設定を必要とするシステムでは、指示値の読み取りに必要な事前情報が設定されていない場合には、計器の指示値の読み取りができない。また、工場内に多数存在する全ての計器の表示盤に、マーカ等の事前情報を取り付けるのは、その労力が過大となり、また、コストがかかる。

そこで、本発明は、上記の従来技術の問題点を解決し、事前の初期設定を必要とせず、現場に設置したカメラで撮影した丸型計器の画像のみを用いて、指示値の読み取りを行う画像処理装置および画像処理方法の提供を目的とする。

上記課題を解決するため、本発明は、画像撮影手段によって撮影された丸型計器の画像を処理して、前記丸型計器の指針によって示される指示値を算出する画像処理装置であって、前記丸型計器の画像を入力する画像入力手段と、前記入力された丸型計器の画像から、前記丸型計器の表示盤領域を抽出する表示盤領域抽出手段と、前記表示盤領域の中心から鉛直方向下に引いた直線を基準線として決定する基準線決定手段と、前記抽出された表示盤領域から、前記丸型計器の指針の中心線を抽出し、抽出された指針の中心線と前記基準線とが成す角度を前記指針の位置として決定する指針位置決定手段と、前記抽出された表示盤領域を、目盛りが存在する領域である目盛り領域と、目盛りの数値を示す数字が表記されている領域である数字領域と、前記表示盤領域の中心および指針を併せた領域である中心・指針領域とに分割する領域分割手段と、前記数字領域から数字を切り出して認識する数字認識手段と、前記表示盤領域の中心から前記認識された各数字の重心に対して引いた直線と、前記基準線とが成す角度を、前記各数字の位置として決定し、前記各数字と対応付けて蓄積する数字位置決定・蓄積手段と、前記決定された指針の位置情報と、前記蓄積された各数字の位置情報とに基づいて、前記指針によって示される指示値を算出する指示値算出手段とを備えることを特徴とする。

また、本発明は、前記の画像処理装置において、更に、前記数字位置決定・蓄積手段に蓄積された前記各数字の位置情報を、前記各数字に対応する角度について昇順または降順に並び替えて得られる数字列において、隣接する数字との大小関係から前記各数字の位置の誤りを検出し、前記各数字の位置情報を修正する数字位置修正手段を備えることを特徴とする。

また、本発明は、前記の画像処理装置において、前記数字位置修正手段は、更に、前記認識された各数字と前記目盛り領域に含まれる目盛りとを対応付け、前記数字位置決定・蓄積手段に蓄積された前記各数字に対応する角度を、前記表示盤領域の中心から前記各数字と対応付けられた目盛りに対して引いた直線と前記基準線とが成す角度に変更することを特徴とする。

また、本発明は、前記の画像処理装置において、更に、前記表示盤領域抽出手段によって抽出された丸型計器の表示盤領域の画像の歪みを補正する歪み補正手段を備えることを特徴とする。

また、本発明は、画像撮影手段によって撮影された丸型計器の画像を処理して、前記丸型計器の指針によって示される指示値を算出する画像処理方法であって、前記丸型計器の画像を入力する画像入力ステップと、前記入力された丸型計器の画像から、前記丸型計器の表示盤領域を抽出する表示盤領域抽出ステップと、前記表示盤領域の中心から鉛直方向下に引いた直線を基準線として決定する基準線決定ステップと、前記抽出された表示盤領域から、前記丸型計器の指針の中心線を抽出し、抽出された指針の中心線と前記基準線とが成す角度を前記指針の位置として決定する指針位置決定ステップと、前記抽出された表示盤領域を、目盛りが存在する領域である目盛り領域と、目盛りの数値を示す数字が表記されている領域である数字領域と、前記表示盤領域の中心および指針を併せた領域である中心・指針領域とに分割する領域分割ステップと、前記数字領域から数字を切り出して認識する数字認識ステップと、前記表示盤領域の中心から前記認識された各数字の重心に対して引いた直線と、前記基準線とが成す角度を、前記各数字の位置として決定し、前記各数字と対応付けて記憶手段中に蓄積する数字位置決定・蓄積ステップと、前記決定された指針の位置情報と、前記蓄積された各数字の位置情報とに基づいて、前記指針によって示される指示値を算出する指示値算出ステップとを有することを特徴とする。

また、本発明は、前記の画像処理方法において、更に、前記数字位置決定・蓄積ステップにおいて前記記憶手段中に蓄積された前記各数字の位置情報を、前記各数字に対応する角度について昇順または降順に並び替えて得られる数字列において、隣接する数字との大小関係から前記各数字の位置の誤りを検出し、前記各数字の位置情報を修正する数字位置修正ステップを有することを特徴とする。

また、本発明は、前記の画像処理方法において、前記数字位置修正ステップは、更に、前記認識された各数字と前記目盛り領域に含まれる目盛りとを対応付け、前記記憶手段中に蓄積された前記各数字に対応する角度を、前記表示盤領域の中心から前記各数字と対応付けられた目盛りに対して引いた直線と前記基準線とが成す角度に変更することを特徴とする。

また、本発明は、前記の画像処理方法において、更に、前記表示盤領域抽出ステップによって抽出された丸型計器の表示盤領域の画像の歪みを補正する歪み補正ステップを有することを特徴とする。

本発明によれば、事前の初期設定を必要とせず、現場に設置したカメラで撮影した丸型計器の画像のみを用いた学習により、丸型計器の構造を自動的に理解して、指示値の読み取りを行うことが可能となる。

図１は、本発明の構成の一例を示す図である。画像処理装置１は、カメラ３が撮影した丸型計器２の画像を処理して、丸型計器２の指針が示す指示値を算出する処理装置である。

画像処理装置１は、画像入力部１１、計器構造学習部１２、指示値算出部１３を備える。画像入力部１１には、カメラ３によって撮影された丸型計器２の画像（原画像）が入力される。計器構造学習部１２は、入力された画像情報に基づいて、丸型計器２の指示値を読み取るために必要な、丸型計器２の計器構造を学習（自動判定）する。具体的には、計器構造学習部１２は、入力された原画像中に表記されている、丸型計器２の目盛りの数値を示す数字の位置を決定し、決定した数字の位置情報を蓄積する。また、計器構造学習部１２は、原画像中の指針の位置を決定する。

指示値算出部１３は、学習された計器構造に基づいて、丸型計器２の指針が示す指示値を算出する。具体的には、計器構造学習部１２によって決定された指針の位置情報と、丸型計器２の数字の位置情報とに基づいて、指針の位置に対応する数字の数値を指示値として算出する。

計器構造学習部１２は、表示盤領域抽出手段１２１、領域分割手段１２２、基準線決定手段１２３、指針位置決定手段１２４、数字認識手段１２５、数字位置決定・蓄積手段１２６、数字位置修正手段１２７を備える。

表示盤領域抽出手段１２１は、入力された丸型計器２の原画像から表示盤の領域を抽出する。領域分割手段１２２は、表示盤領域を、目盛りが存在する領域である目盛り領域、表示盤の中心と指針とを併せた領域である中心・指針領域、目盛りの数値を示す数字が表記されている領域である数字領域に分割する。

基準線決定手段１２３は、表示盤領域中に表記されている数字の位置の基準となる線である基準線を決定する。基準線決定手段１２３は、例えば、表示盤領域の中心から鉛直方向下に引いた直線を基準線とする。

指針位置決定手段１２４は、表示盤領域抽出手段１２１によって抽出された表示盤領域の画像から、丸型計器２の指針の中心線を抽出して、指針の位置を決定する。

数字認識手段１２５は、数字領域に存在する数字を認識する。数字位置決定・蓄積手段１２６は、認識された数字の、基準線を基準とする位置を決定し、決定した数字の位置情報を蓄積する。数字位置決定・蓄積手段１２６は、例えば、表示盤領域の中心から数字の重心に対して引いた直線と基準線とが成す角度を、その数字の位置として決定する。

数字位置修正手段１２７は、数字位置決定・蓄積手段１２６内に蓄積される数字位置情報を修正する。数字位置修正手段１２７の具体的処理については、後述する。

なお、ここでは図示を省略するが、本発明においては、計器構造学習部１２は、例えば、表示盤領域抽出手段１２１によって抽出された表示盤領域の画像を縦横不等倍率で拡大して、歪みの補正を行うモジュールを備える構成をとることもできる。

また、計器構造学習部１２は、例えば、後述するように、入力された原画像を複数用いて、指針が除去された画像を作成するモジュールを備える構成をとることもできる。本発明の実施の形態において、指針が除去された画像を用いて数字の認識を行うことによって、指針に隠れた数字の認識を行うことができるようになる。

図２は、本発明の指示値算出処理フローの一例を示す図である。まず、画像入力部１１にカメラ３によって撮影された丸型計器２の画像（原画像）が入力される（ステップＳ１）。

次に、計器構造学習部１２が、原画像に基づいて、計器構造を学習する（ステップＳ２）。例えば、計器構造学習部１２は、原画像中に表記されている数字の、基準線を基準とする位置情報を蓄積する。また、計器構造学習部１２は、原画像中の指針の位置を決定する。

次に、指示値算出部１３が、学習された計器構造に基づいて、指針が示す指示値を算出する（ステップＳ３）。具体的には、指示値算出部１３は、原画像中に表記されている数字の位置情報と、原画像中の指針の位置情報とに基づいて、指針の位置に対応する数字の数値を、指示値として算出する。

（計器構造の学習処理の説明）
丸型計器２は指針が回転することにより指示値を示す。丸型計器２の指示値を読み取るためには、まず指針の位置に関する情報が必要であり、さらに、目盛りの数値を示す数字の位置情報が必要となる。

以下、計器構造学習部１２による、丸型計器２の原画像から指針の位置および数字の位置を決定する処理について説明する。

丸型計器２は、表示盤の形状が円である。この円の中心に対する表示盤に表記された数字の相対的位置をもとに、指針の角度と指示値との関係を学習する。より具体的には、計器構造学習部１２は、丸型計器２の表示盤の中心から鉛直方向下に引いた直線を基準線とし、上記表示盤の中心から各数字の重心に対して引いた直線と基準線とが成す角度を、各数字の位置として決定し、蓄積する。

（１）表示盤領域の抽出
計器構造学習部１２の表示盤領域抽出手段１２１は、入力された、例えば図３（Ａ）に示す丸型計器２の原画像から、丸型計器２の表示盤の輪郭線である円を抽出する。例えば、原画像から、Ｓｏｂｅｌフィルタによりエッジを抽出し、図４（Ａ）に示すような画像を取得する。エッジが抽出された画像に対して２値化処理を行って、エッジの強い部分を切り出す。そして、図４（Ｂ）に示すような２値化された画像に対して細線化処理を行って、輪郭線の線幅を１画素にすることによって、図４（Ｃ）に示すような表示盤領域の輪郭線１００を抽出する。そして、抽出された表示盤領域の輪郭線１００の画像に基づいて、例えばＨｏｕｇｈ変換により、図４（Ｄ）に示すような円形状の仮想的な輪郭線１０１を作成する。そして、原画像の全領域のうち、作成された仮想的な輪郭線１０１の内部の領域を表示盤領域とする。図３（Ｂ）に、表示盤領域（図示の中央の円内の部分）の例を示す。

（２）基準線の決定
基準線決定手段１２３は、例えば、円形状の表示盤領域の中心から鉛直方向下に引いた直線を基準線とする。もちろん、本発明において、基準線は、表示盤領域の中心から鉛直方向下に引いた直線に限定されるものではない。

（３）指針の位置の決定
指針は周りの背景に対してコントラストが強く、白い背景に対して色が黒い。この特徴を利用して指針の位置を決定する。

指針位置決定手段１２４は、例えば、図３（Ｂ）に示すような表示盤領域に対して、表示盤領域の中心から各方向に（放射方向に）黒色画素の強さを測定し、その強さが最大の方向の直線と基準線とが成す角度を指針の角度とする。例えば、黒色画素の強さＳ_black は、輝度の最大値Ｉ_MAX と輝度値Ｉ（ｘ、ｙ）との差とすると、Ｓ_black ＝Ｉ_MAX −Ｉ（ｘ、ｙ）で表される。表示盤領域の全画素の黒色画素の強さを計算し、基準線と表示盤領域の中心から各画素に対して引いた直線とが成す角度ごとに、当該角度ごとに存在する黒色画素の強さの和をとることによって、角度ごとの黒色画素の強さが算出できる。

図５に角度ごとの黒色画素の強さのヒストグラムの例を示す。このヒストグラムにおいて、黒色画素の和が最も強い、角度θに対応する山の部分が指針の位置を表す。そこで、表示盤の中心からこの角度θ方向に引いた直線を指針の中心線とする。また、上記角度θを、指針の位置として決定する。

（４）領域分割
表示盤領域には、目盛りや数字、指針などが存在する。これらの存在する領域を分割することは処理の効率化や高精度化につながる。そこで、表示盤領域をＲで示すとすると、領域分割手段１２２は、表示盤領域Ｒを、目盛り領域Ｒ_S 、数字領域Ｒ_N 、中心・指針領域Ｒ_C に分割する（Ｒ＝Ｒ_S ∪Ｒ_N ∪Ｒ_C ）。目盛り領域は、目盛りが存在する領域である。数字領域は、目盛りの数値を示す数字が表記されている領域であって、目盛り領域より内側の領域である。中心・指針領域は、表示盤の中心と指針とが存在する領域である。

例えば、目盛り領域の抽出では、表示盤領域の画像に対して平滑化処理、エッジ抽出処理、２値化処理を行って線成分を抽出し、その中からＨｏｕｇｈ変換により最も円らしいものを円として抽出する。この抽出された円の外周部の領域を目盛り領域とする。図６（Ａ）に、抽出された目盛り領域の例を示す。

次に、上記目盛り領域の抽出処理において抽出された円の内部の領域Ｒ_N ∪Ｒ_C を、数字領域と中心・指針領域とに分割する。ここでは、画素の輝度値についての閾値処理により、領域Ｒ_N ∪Ｒ_C を、表示盤領域の中心および指針が存在する部分とそれ以外の部分とに分ける。すなわち、画素の輝度値が閾値以下の領域のうち、指針の中心線と重なる領域を中心・指針領域とする。数字自体も輝度値が閾値以下となるが、指針の中心線と重ならないことから、中心・指針領域から除かれる。

図６（Ｃ）に中心・指針領域の例を示す。図中、当該中心・指針領域において描かれている直線ＯＸが指針の中心線である。領域Ｒ_N ∪Ｒ_C のうち、中心・指針領域以外の領域が数字領域である。図６（Ｂ）に数字領域の例を示す。

（５）数字位置決定
基準線を基準とした数字の位置を決定し、決定された数字の位置情報を蓄積する。その後、数字と目盛りとを対応づけて、数字と目盛りとの位置ずれを修正する。

図７に、数字の位置決定処理フローの一例を示す。まず、数字認識手段１２５は、数字領域から数字を切り出す（ステップＳ１１）。数字の切り出しは閾値処理により行う。閾値処理の改善例については後述する。閾値処理で切り出された対象を内包する長方形を数字の矩形として切り出す。図８（Ａ）に、切り出しの対象となる数字矩形の例を示す。図８（Ａ）には、実線で囲まれた、数字「５」についての数字矩形と数字「０」についての数字矩形とが示されている。

次に、数字認識手段１２５は、切り出した数字を認識する（ステップＳ１２）。すなわち、切り出した長方形の数字矩形を数字認識処理にかける。ここで、切り出しの対象には単位などの記号や文字などの数字以外のものも含まれるため、０から９までの数字を識別すると同時に数字以外のものは棄却する。

数字認識手段１２５は、数字として認識されたものを内包する数字矩形のうち、隣接するものを統合して、複数桁の数字として認識する（ステップＳ１３）。例えば、認識された２つの数字についての数字矩形が次の３つの条件を満たすときに、数字矩形を統合する。
条件１：数字矩形の縦の大きさの差が一定値以下である。
条件２：数字矩形の横の間隔が一定値以下である。
条件３：数字矩形の縦方向の位置ずれが一定値以下である。

ステップＳ１３の処理の結果、例えば図８（Ａ）中、実線で囲まれた数字「５」についての数字矩形と数字「０」についての数字矩形とが、点線で囲まれた部分に示すように統合される。そして、統合された数字矩形についての数字認識処理の結果、図８（Ｂ）に示すような数字「５０」として認識される。

次に、数字位置決定・蓄積手段１２６が、認識された数字の位置を決定する（ステップＳ１４）。

ステップＳ１４の処理について、図９を用いて説明する。図９に示す円は、数字領域と目盛り領域との境界線であり、点Ｏは、表示盤領域の中心を示す点である。また、直線ＯＡ₀ はＯから鉛直下向きに伸ばした基準線である。また、Ｖ₁ 〜Ｖ₄ は、それぞれ、数字領域中に表記されている、認識された１桁の単独の数字または複数桁の統合された数字であり、図中には、それぞれの数字に対応する数字矩形が示されている。また、図中、直線ＯＡ_i （１≦ｉ≦４）は、各数字Ｖ_i の重心を通る直線である。

数字位置決定・蓄積手段１２６は、各数字矩形の、基準線に対する時計回りの方向の角度ａ_i を、各数字Ｖ_i の位置として求め、図１０（Ａ）に示すように、Ｖ_i とａ_i との対応情報を、各数字Ｖ_i の位置情報として蓄積する。

例えば、数字Ｖ₁ についての数字矩形の基準線に対する角度ａ₁ は、図９中の直線ＯＡ₁ と基準線ＯＡ₀ とが成す角度である。同様に、数字Ｖ₂ についての数字矩形の基準線に対する角度ａ₂ は、直線ＯＡ₂ と基準線ＯＡ₀ とが成す角度、数字Ｖ₃ についての数字矩形の基準線に対する角度ａ₃ は、直線ＯＡ₃ と基準線ＯＡ₀ とが成す角度、数字Ｖ₄ についての数字矩形の基準線に対する角度ａ₄ は、直線ＯＡ₄ と基準線ＯＡ₀ とが成す角度である。

次に、数字位置修正手段１２７は、数字の位置の誤りを検出し（ステップＳ１５）、誤っている数字の位置情報を削除する。一般に、計器の数字には、照明の影響を受けている場合や、指針が数字に重なる場合があるため、全ての数字が正確に認識される保証はない。ここで、一般に、目盛りの数字は単調に増加する性質をもつ。ここでは、この性質を用いて複数桁のうち一部が欠けている数字や誤認識されている可能性のある数字を検出して棄却する。具体的には、数字位置決定・蓄積手段１２６に蓄積された数字の位置情報を角度の順に並び替えて得られる数字列において、隣接する数字との大小関係から認識誤りを検出する。

例えば、数字位置修正手段１２７は、数字位置決定・蓄積手段１２６に蓄積された数字の位置情報を読み出して、角度ａ_i について昇順に数字Ｖ_i を並べ替える。例えば、ａ₁ ＜ａ₂ ＜ａ₃ ＜ａ₄ とすると、例えば、図１０（Ｂ）に示すような、数字の並び替え後のデータが作成される。ここで、例えば、Ｖ₃ ＜Ｖ₂ である場合には、Ｖ₃ は誤りであり、数字Ｖ₃ についての位置情報を削除する。図１０（Ｃ）に、誤っている数字の位置情報が削除された後の、各数字の位置情報の例を示す。

なお、数字位置修正手段１２７は、数字位置決定・蓄積手段１２６に蓄積された数字の位置情報を読み出して、角度ａ_i について降順に並び替えた数字列において、隣接する数字との大小関係から誤りを検出してもよい。

最後に、数字位置修正手段１２７は、各数字を目盛りと対応させて数字の位置のずれを修正する（ステップＳ１６）。本発明の実施の形態では、例えば、図９に示す中心Ｏから各数字の重心に対して引いた直線ＯＡ_i と基準線ＯＡ₀ とが成す角度が、各数字の位置として決定されるため、各数字の位置と、各数字が示す数値に対応する目盛りの位置との間に誤差が生じることがある。例えば、図１１（Ａ）に示す原画像中において、丸型計器２の表示盤領域の中心Ｏから引かれ、数字「２００」の重心を通る矢印１０２の先端は、数字「２００」が示す数値に対応する、太い点線で囲った目盛り１０３の位置とは、ずれていることがある。

そこで、数字位置修正手段１２７は、中心Ｏから数字Ｖ_i の重心方向に引いた直線の角度を±５°の範囲で変化させ、その範囲内に存在する目盛り１０３を切り出す。目盛り１０３の切り出しの結果、例えば、図１１（Ａ）の原画像から抽出された図１１（Ｂ）に示す目盛り領域の画像から、点線で囲った目盛り１０３が切り出される。

そして、数字位置修正手段１２７は、その数字Ｖ_i に対応する角度ａ_i を、中心Ｏから切り出された目盛り１０３に対して引いた直線と基準線とが成す角度に変更する。

なお、例えば、目盛りの切り出しにおいて目盛りを抽出できなかった場合には、数字の位置のずれの修正を行わない構成をとることもできる。

（指示値の算出の説明）
指示値算出部１３は、指針位置決定手段１２４によって決定された、指針の位置情報、すなわち指針の中心線と基準線とが成す角度の情報と、数字位置決定・蓄積手段１２６内に蓄積された、各数字の位置情報とに基づいて、丸型計器２の指針が示す指示値を算出する。

指示値は次のようにして求める。指針の中心線と基準線とが成す角度が大きくなるにつれて、指示値も大きくなる。さらに目盛りが等間隔である場合には、角度と指示値とは比例する。この関係から指針の中心線と基準線とが成す角度が角度θのときの指示値Ｖ（θ）は次式により算出される。

θ_L 、θ_R は、それぞれ、数字位置決定・蓄積手段１２６に蓄積されている角度情報のうち、θに最も近い左隣の角度、右隣の角度を表している。

例えば、図１２に示すような数字の位置情報が、数字位置決定・蓄積手段１２６に蓄積されているとする。ここで、指針の角度θが、例えば９１°である場合、指示値は次のように求められる。

図１２に示す数字の位置情報から、角度θ_L ＝５６°、θ_R ＝１９６°である。また、数字Ｖ（５６）＝０、数字Ｖ（１９６）＝４００である。

従って、指示値Ｖ（９１）は、

となり、指示値「１００」が算出される。

（数字認識処理の改善例）
以下では、本発明の実施の形態における数字認識処理の改善例について説明する。例えば、丸型計器２に当たっている強い光の反射により、丸型計器２の表示盤に表記されている数字の一部が切り出せなかったり読み取れない場合がある。また、数字が指針と重なっていることにより、数字が読み取れないような場合もある。そこで本発明の実施の形態では、照明の影響や指針により切り出しや読み取りが困難な数字に対して次のような対策をとる。

（ａ）光の反射対策
本発明の実施の形態においては、以下に説明するように、数字認識手段１２５が、動的閾値処理と固定閾値処理とを組み合わせて用いて、数字領域から数字を切り出す。

数字領域の数字の切り出しには、閾値処理を用いる。丸型計器２の表示盤には、照明の影響などにより明るさの変化が見られる。例えば、図１３（Ａ）に示す原画像中の右側には、光の反射を受けたことによって輝度値が高い白色の領域が見られる。このため、数字領域に対して単一の閾値を用いると、数字の切り出しがうまくいかない場合がある。

本発明の実施の形態では、二つの閾値処理の結果を組み合わせることで、照明の影響に対して頑健な数字切り出しを実現する。図１３または図１４を参照して、数字の切り出し処理を説明する。まず、数字領域に対して、強い光の反射などの影響を除去するための前処理を施す。一般に光の反射している領域は輝度値が高く、数字内の画素は相対的に輝度値が低い。前処理では、数字領域の輝度値の平均値以上の画素の輝度値を、この平均値に置き換える。このような処理によって照明により明るい領域の影響を抑えることができる。

次に二つの閾値処理について述べる。一つ目の閾値処理である固定閾値処理では、前処理を施した画像の全画素に対して判別分析法からの固定閾値で２値化を行う。この処理の特徴として、比較的照明の影響が小さい場合には全ての数字を切り出せるが、照明の影響が強い場合には閾値を固定するため、例えば、図１３（Ｂ）や図１４（Ａ）の数字の切り出し例に示すように、照明により数字の一部が欠けてしまうことが挙げられる。例えば、図１３（Ｂ）に示す例では、数字「４００」と数字「６００」の１の位が部分的に欠けている。また、例えば、図１４（Ａ）に示す例では、数字「１」の右隣の数字の一部が欠けている。

二つ目の閾値処理である動的閾値処理では、画素ごとに閾値を決定する移動平均法を用いる。これはある画素の閾値を決定するとき、その近傍（６１×６１）の画素の輝度値の平均値を用いるものである。各画素に対してそれぞれ閾値を決定し、２値化する。この処理の特徴として閾値を動的に決定することから照明の影響が強い領域でも数字をうまく切り出せるという利点がある一方で、数字が存在しない領域でも閾値処理するため、例えば図１３（Ｃ）や図１４（Ｂ）に示すように、数字が存在しない領域を部分的に切り出してしまうことが挙げられる。例えば、図１４（Ｂ）中の領域１０４は、当該領域内の画素についての閾値として、その近傍の画素の輝度値の平均値を用いたことによって、ノイズが導入されて、本来数字が存在しないのに切り出されてしまう領域である。

これら二つの閾値処理の結果を組み合わせて数字の切り出しを行う。動的閾値処理によれば、例えば、数字の一部に照明が当たっており、その照明の当たっている数字部分の画素の輝度値が高くなっている場合でも、その領域内の画素についての閾値として、その画素の近傍の画素の輝度値の平均値を用いるため、照明の当たっている数字部分の画素の輝度値が、その近傍の画素の輝度値の平均値（閾値）より低い場合には、数字候補領域として切り出される。従って、一般に動的閾値処理により切り出された領域の方が、得られる数字候補領域は大きい。例えば、図１４（Ａ）に示す数字候補領域より図１４（Ｂ）に示す数字候補領域の方が大きい。

そこで、数字認識手段１２５は、動的閾値処理による数字候補領域のうち、固定閾値処理による数字候補領域との重なりがある領域を、数字の切り出し領域として選択する。

図１３（Ｄ）または図１４（Ｃ）は、動的閾値処理と固定閾値処理とを組み合わせた上で、数字矩形で囲って数字を切り出した場合の、数字切り出し結果例を示している。以上のようにして二つの閾値処理の結果を組み合わせることにより、照明の影響に対して頑健な数字の切り出しが可能となる。

（ｂ）指針で隠れた数字の認識
丸型計器２の表示盤の数字は、指針と重なる場合に切り出しや認識が困難となる。指針はシステムのそのときの状態によって位置が変化するため、以前に撮影した画像とは指針の位置が違うことが考えられる。本発明の実施の形態では、例えば、計器構造学習部１２が、指針の位置が違う複数の原画像を組み合わせて、指針が除去された画像を生成するモジュールを備える構成をとることができる。生成された、指針が除去された画像を用いて数字領域を抽出することによって、指針に隠れた数字の認識を行うことが可能となる。

指針は表示盤背景と比較して輝度値が相対的に低い。例えば、異なる時間で撮影された二つの原画像間で、対応する各画素の輝度値を比較して、輝度値が低い方の画素の輝度値を、輝度値が高い方の画素の輝度値に置き換えることによって、指針を除去した画像を生成する。

例えば、図１５（Ａ）に示す原画像と図１５（Ｂ）に示す原画像とを用いて、対応する画素間で、輝度値が低い方の画素の輝度値を、輝度値が高い方の画素の輝度値に置き換えて、例えば図１５（Ｃ）に示すような、指針を除去した画像を生成する。

（撮影角度による歪みの補正の説明）
一般に、計器を正面に対して斜めから撮影した場合には、画像上の計器には歪みが生じる。一般に歪みがあると、数字の認識処理や数字の位置の決定処理における精度の低下につながる。そこで、本発明の別の実施の形態においては、例えば、計器構造学習部１２は、表示盤領域抽出手段１２１によって抽出された表示盤領域の画像を縦横不等倍率で拡大して歪みの補正を行うモジュールを備える構成をとることもできる。ここで、歪みを補正した画像を正面化画像と呼ぶ。

丸型計器２を正面から撮影した場合には、その表示盤領域の画像の形状は円になる。一方、斜めから撮影した場合には、例えば図１６（Ｂ）に示すような歪んだ原画像となり、表示盤領域の画像の形状は、縦と横の長さが異なる楕円となる。横斜め上や横斜め下から撮影した場合には斜め方向の歪みが生じる。ここでは、縦方向あるいは横方向の歪みを補正する。表示盤領域抽出手段１２１によって抽出された丸型計器２の表示盤領域の輪郭線について、図１７（Ａ）に示すように縦方向の長さの最大値を調べるとともに、図１７（Ｂ）に示すように、横方向の長さの最大値を調べる。これらをそれぞれ縦方向と横方向の直径として、短い直径が長い直径に揃うように拡大率を決めて、一方向だけに画像の拡大を行う。その結果、図１６（Ａ）に示すように歪みが補正された画像が生成される。生成された歪みの補正後の画像を用いて、領域分割処理、数字認識処理を行うことにより、数字の位置を決定する際における精度の低下を防止することができる。

なお、本発明は、コンピュータにより読み取られ実行されるプログラムとして実施することもできる。本発明を実現するプログラムは、コンピュータが読み取り可能な、可搬媒体メモリ、半導体メモリ、ハードディスクなどの適当な記録媒体に格納することができ、これらの記録媒体に記録して提供され、または、通信インタフェースを介してネットワークを利用した送受信により提供されるものである。

本発明の構成の一例を示す図である。 本発明の指示値算出処理フローの一例を示す図である。 表示盤領域の抽出を説明する図である。 表示盤領域の抽出を説明する図である。 角度ごとの黒色画素の強さのヒストグラムの例を示す図である。 目盛り領域、数字領域、中心・指針領域の例を示す図である。 数字の位置決定処理フローの一例を示す図である。 数字矩形または認識される数字を示す図である。 数字の位置の決定処理を説明する図である。 数字位置決定・蓄積手段中に蓄積される数字の位置情報の例を示す図である。 数字の位置のずれの修正処理を説明する図である。 数字の位置情報の例を示す図である。 数字の切り出し例を示す図である。 数字の切り出し例を示す図である。 原画像または指針を除去した画像を示す図である。 原画像および歪みを補正した画像の一例を示す図である。 画像の歪みの補正を説明する図である。 一般的なアナログメータ自動読み取りシステムの処理の流れを示す図である。

符号の説明

１ 画像処理装置
２ 丸型計器
３ カメラ
１１ 画像入力部
１２ 計器構造学習部
１３ 指示値算出部
１００ 表示盤領域の輪郭線
１０１ 仮想的な輪郭線
１０２ 矢印
１０３ 目盛り
１０４ 領域
１２１ 表示盤領域抽出手段
１２２ 領域分割手段
１２３ 基準線決定手段
１２４ 指針位置決定手段
１２５ 数字認識手段
１２６ 数字位置決定・蓄積手段
１２７ 数字位置修正手段

Claims (8)

1. 画像撮影手段によって撮影された丸型計器の画像を処理して、前記丸型計器の指針によって示される指示値を算出する画像処理装置であって、
   前記丸型計器の画像を入力する画像入力手段と、
   前記入力された丸型計器の画像から、前記丸型計器の表示盤領域を抽出する表示盤領域抽出手段と、
   前記表示盤領域の中心から鉛直方向下に引いた直線を基準線として決定する基準線決定手段と、
   前記抽出された表示盤領域から、前記丸型計器の指針の中心線を抽出し、抽出された指針の中心線と前記基準線とが成す角度を前記指針の位置として決定する指針位置決定手段と、
   前記抽出された表示盤領域を、目盛りが存在する領域である目盛り領域と、目盛りの数値を示す数字が表記されている領域である数字領域と、前記表示盤領域の中心および指針を併せた領域である中心・指針領域とに分割する領域分割手段と、
   前記数字領域から数字を切り出して認識する数字認識手段と、
   前記表示盤領域の中心から前記認識された各数字の重心に対して引いた直線と、前記基準線とが成す角度を、前記各数字の位置として決定し、前記各数字と対応付けて蓄積する数字位置決定・蓄積手段と、
   前記決定された指針の位置情報と、前記蓄積された各数字の位置情報とに基づいて、前記指針によって示される指示値を算出する指示値算出手段とを備える
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、更に、
   前記数字位置決定・蓄積手段に蓄積された前記各数字の位置情報を、前記各数字に対応する角度について昇順または降順に並び替えて得られる数字列において、隣接する数字との大小関係から前記各数字の位置の誤りを検出し、前記各数字の位置情報を修正する数字位置修正手段を備える
   ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記数字位置修正手段は、更に、
   前記認識された各数字と前記目盛り領域に含まれる目盛りとを対応付け、前記数字位置決定・蓄積手段に蓄積された前記各数字に対応する角度を、前記表示盤領域の中心から前記各数字と対応付けられた目盛りに対して引いた直線と前記基準線とが成す角度に変更する
   ことを特徴とする画像処理装置。
4. 請求項１乃至請求項３のいずれか１項に記載の画像処理装置において、更に、
   前記表示盤領域抽出手段によって抽出された丸型計器の表示盤領域の画像の歪みを補正する歪み補正手段を備える
   ことを特徴とする画像処理装置。
5. 画像撮影手段によって撮影された丸型計器の画像を処理して、前記丸型計器の指針によって示される指示値を算出する画像処理方法であって、
   前記丸型計器の画像を入力する画像入力ステップと、
   前記入力された丸型計器の画像から、前記丸型計器の表示盤領域を抽出する表示盤領域抽出ステップと、
   前記表示盤領域の中心から鉛直方向下に引いた直線を基準線として決定する基準線決定ステップと、
   前記抽出された表示盤領域から、前記丸型計器の指針の中心線を抽出し、抽出された指針の中心線と前記基準線とが成す角度を前記指針の位置として決定する指針位置決定ステップと、
   前記抽出された表示盤領域を、目盛りが存在する領域である目盛り領域と、目盛りの数値を示す数字が表記されている領域である数字領域と、前記表示盤領域の中心および指針を併せた領域である中心・指針領域とに分割する領域分割ステップと、
   前記数字領域から数字を切り出して認識する数字認識ステップと、
   前記表示盤領域の中心から前記認識された各数字の重心に対して引いた直線と、前記基準線とが成す角度を、前記各数字の位置として決定し、前記各数字と対応付けて記憶手段中に蓄積する数字位置決定・蓄積ステップと、
   前記決定された指針の位置情報と、前記蓄積された各数字の位置情報とに基づいて、前記指針によって示される指示値を算出する指示値算出ステップとを有する
   ことを特徴とする画像処理方法。
6. 請求項５に記載の画像処理方法において、更に、
   前記数字位置決定・蓄積ステップにおいて前記記憶手段中に蓄積された前記各数字の位置情報を、前記各数字に対応する角度について昇順または降順に並び替えて得られる数字列において、隣接する数字との大小関係から前記各数字の位置の誤りを検出し、前記各数字の位置情報を修正する数字位置修正ステップを有する
   ことを特徴とする画像処理方法。
7. 請求項６に記載の画像処理方法において、
   前記数字位置修正ステップは、更に、
   前記認識された各数字と前記目盛り領域に含まれる目盛りとを対応付け、前記記憶手段中に蓄積された前記各数字に対応する角度を、前記表示盤領域の中心から前記各数字と対応付けられた目盛りに対して引いた直線と前記基準線とが成す角度に変更する
   ことを特徴とする画像処理方法。
8. 請求項５乃至請求項７のいずれか１項に記載の画像処理方法において、更に、
   前記表示盤領域抽出ステップによって抽出された丸型計器の表示盤領域の画像の歪みを補正する歪み補正ステップを有する
   ことを特徴とする画像処理方法。
   

Images