JP3948943B2 - 図形認識方法及び装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、図形認識方法及び装置に関し、さらに詳細には、認識対象パターンの領域抽出が行われた画像あるいは予め認識対象パターンのみ写されている画像から、候補パターンの辞書データを用いて、対象物の認識を行う図形認識方法及び装置に関するものである。
【０００２】
【従来の技術】
認識対象パターンの領域抽出が済んだ画像（あるいは予め認識対象パターンのみ写されている画像）から対象物の認識を行う手法として、辞書データに候補パターンの画像データ（テンプレート) を用意し、テンプレートマッチングを行うパターン認識手法が知られている。
また、辞書データとして、パターン画像を縦（及び横）に関して長さが均等に分割した個々の領域における面積比率（小領域の面積に対する小領域内の認識対象パターンの面積比率) を求め、比較を行う認識手法が知られている。
【０００３】
【発明が解決しようとする課題】
上記したテンプレートマッチングは認識対象パターンと候補パターンの各画素を比較するため、精度の良い結果が得られる。しかし、位置合わせや各画素の比較を行うために処理時間が非常にかかる。
処理時間の削減手法として、多重解像度による段階的な比較手法があるが、格段に処理時間が変化するわけではなく、各解像度の辞書データを持つ必要があり、その分記憶するデータ量が増えることになる。
また、認識対象パターンの大きさや傾きが一定でない場合、辞書データをその大きさや傾きに合わせる変換処理が毎回必要になる。
一方、パターンを個々の領域に分割して、それぞれの領域で面積比率を比較する手法では、これまで長さを均等に分割した領域を対象としていたため、認識対象パターンの縦横比に影響を与える一部の領域が撮影状態や領域抽出処理によってうまく抽出できない場合が生ずる。この場合、認識対象パターンと候補パターンの本来比較すべき分割領域が異なってしまい、認識精度に重大な影響を与える。
例として、領域抽出後の認識対象パターンを図１０（ａ）に、候補パターンを図１０（ｂ）に示す。この例では、領域抽出後に抽出できなかった領域の影響で、比較対象となる図１０（ａ）のＤ１，Ｄ２，Ｂ２の領域と図１０（ｂ）のＤ１，Ｄ２，Ｂ２領域においてそれぞれ本来比較すべき領域と大きく異なるために認識精度に影響を及ぼしてしまう。
本発明は、上記従来の問題点に鑑みなされたものであって、任意の大きさ及び傾きの認識対象パターンを、その大きさ及び傾きに合わせて候補パターンを変換することなしに高速に認識が行え、且つ抽出し損なった領域の認識精度に対する影響を減少させることができる図形認識方法及び装置を提供することを目的とする。
【０００４】
【課題を解決するための手段】
図１は本発明の概要を説明する図である。本発明においては、図１に示すように図形認識を行う。
（１）認識対象パターンの重心まわりの慣性主軸に平行な辺を持つ認識対象パターンに外接する矩形（外接矩形) を設定する。
（２）上記外接矩形を次のようにして分割する。
(i) 上記外接矩形の一方の辺について、該辺に平行な直線で、部分領域内での認識対象パターンの面積が一定になるように外接矩形を任意の数で分割する。
(ii)さらに、上記辺に直交する他方の辺について、該他方の辺に平行な直線で、部分領域内での認識対象パターンの面積が一定になるように（面積比一定分割）、もしくは、前記一方の辺を分割したときの長さが一定になるように（均等分割) 、外接矩形を任意の数で分割する。
（３）認識対象パターンの全面積（画素数) に対する区分領域内の認識対象パターンの面積（画素数) の比率を特徴量として個々の区分領域に対して算出する。
（４）上記特徴量と、予め同じ分割数で同様にして領域分割を行い特徴量を記憶しておいた候補パターンのデータと照合することにより、認識対象パターンを特定する。
【０００５】
本発明によれば、重心まわりの慣性主軸に平行な辺を持つ外接矩形に対して照合を行うため、認識対象パターンの傾きに合わせて辞書データである候補パターンのデータを変換する必要がない。また、認識対象パターンの外接矩形と候補パターンの外接矩形の区分領域の総数が同じであり、区分領域ごとの特徴量を用いる照合を行うため、予め照合する領域どうしが決まっており、テンプレートマッチングのような画像を走査して位置合わせを行う必要もなく、効率良く照合を行うことができる。
また、認識対象パターンと候補パターンのそれぞれについて、全体の面積に対する各分割領域内での面積を求め、認識対象パターンと候補パターンとを該面積の比率を用いて比較するので、大きさに対する正規化が行われており認識対象パターンの大きさに合わせて辞書データである候補パターンのデータを変換する必要がなく、効率の良い照合が行える。
さらに、認識対象パターンの外接矩形の縦横比に影響を与えるような一部の領域が撮影状態や領域抽出処理によってうまく抽出できない場合でも、これらの抽出できなかった領域は全体の面積にほとんど影響を与えない細長い領域であることが多く、本発明によれば、外接矩形を面積比一定分割により分割しているため、認識対象パターンと候補パターンの本来比較すべき分割領域のズレを軽減することができ、より精度の良い比較が行える。
例として、領域抽出後の認識対象パターンを図２（ａ）に、候補パターンを図２（ｂ）に示す。この例では、横方向にだけ面積比一定分割を行い、縦方向は均等分割を行った場合を示しており、抽出されなかった領域の影響が大きく影響を及ぼすのは、Ｄ１領域だけであり、その他の小領域では、ほとんど影響を受けないことが分かる。
【０００６】
【発明の実施の形態】
図３に本発明の実施例のシステム構成を示す。同図に示すように、本発明の実施例のシステムは、画像処理装置１０と入出力装置２０で構成される。
画像処理装置１０は、特徴量算出処理部１１、特徴量照合処理部１２、比較結果表示処理部１３、および、認識対象パターンの領域抽出後の画像が格納されている領域抽出画像格納メモリ１４、候補パターンの特徴量が格納されている辞書データ格納メモリ１５、照合結果が格納される照合結果格納メモリ１６を備えている。
特徴量算出処理部１１は、領域抽出画像格納メモリ１４から領域抽出画像を読み込み、その特徴量を算出する。特徴量照合処理部１２は、辞書データ格納メモリ１５から候補パターンごとに特徴量を読み込み、特徴量算出処理部１１で算出された特徴量と照合を行う。比較結果表示処理部１３は、照合結果格納メモリ１６から候補パターンに対する照合結果を読み込み、各候補パターンの照合結果を比較し、入出力装置に比較結果の表示を行う。
入出力装置２０は、領域抽出画像格納メモリ１４に複数の認識対象パターンが格納されている場合に特徴量算出処理部１１に入力する認識対象パターンの画像を指定したり、比較結果あるいは途中経過を表示することが可能な機能を有する。
なお、領域抽出画像格納メモリ１４に格納される認識対象パターンの画像は、対象となる画像が、予め認識対象パターンのみ写されている撮像画像、すなわち、認識対象パターン以外の部分（背景）が一様な画像である場合、領域抽出処理が行われている必要はない。
【０００７】
本発明はＣＰＵ、メモリ、外部記憶装置、キーボード、ディスプレイ、プリンタ等の入出力装置、外部媒体読み取り装置、通信インタフェース等を備えた通常の計算機システムで実現することができ、上記外部記憶装置に本発明の処理を行うプログラムや認識対象パターン、候補パターンの特徴量等が記憶され、実行時、上記プログラム等がメモリに読み込まれ、上記特徴量算出処理、特徴量照合処理、比較結果表示処理等の処理が行われる。
【０００８】
図４は本発明の実施例の図形認識処理の流れを示すフローチャートであり、同図を用いて、本発明の実施例を説明する。
まず、画像入力処理（図４の＃１）において、領域抽出画像格納メモリ１４から認識対象パターンの画像を入力する。この時、領域抽出画像格納メモリ１４内に複数の認識対象パターンの画像が格納されており、予め入力の対象が指定されていない場合、入出力装置２０を用いて入力する認識対象パターン画像を指定する。
次に、２値化処理（図４の＃２）で、入力された画像に対し２値化を行う。ここでは認識対象パターン領域内の画素に任意の同じ数値（例えば、”１”とする) を設定し、背景領域内の画素に別の異なる数値( 例えば、”０”とする) を設定する。
入力した画像は、認識対象パターンの領域と背景領域（認識対象パターン領域以外の領域）が分離されているため、容易に設定可能である。なお、入力した画像が既に２値化されている画像であれば、上記＃２の２値化の処理は省くことが可能である。
【０００９】
上記の２値化が済んだ画像に対し、外接矩形算出処理（図４の＃３）では、図５に示すように認識対象パターン領域の重心を算出し、さらにその重心まわりの認識対象パターン領域の慣性主軸を求める。
次に、図５に示すように、慣性主軸が画像のＸ軸（横軸）に平行になるように認識対象パターン領域を重心を中心として回転する。また、一回転後の認識対象パターン領域が外接し、画像のＸ軸及びＹ軸に平行な辺を持つ矩形（以降、外接矩形) を設定する。
さらに領域分割処理（図４の＃４）で、上記の外接矩形を小領域に分割する。分割方法は、図６に示すように、外接矩形の一辺に平行に分割した各矩形領域内の認識対象パターンの面積（画素数）が一定になるように分割する（面積比一定分割）。ついで、他方の辺についても、上記と同様な分割を行う。
【００１０】
このときの分割数は、辞書データ格納メモリ１５に格納されている候補データを作成したときの分割数に合わせる。なお、候補データを作成するとき各辺の分割数は任意であるが、後述するように、候補データどうしを照合し、それらのばらつきが最大となる分割数を選択するなど、候補データどうしの特徴量に関する分離がよくなる値を選ぶと良い。
但し、全ての候補データを同じ分割数で作成する必要がある。また、全ての認識対象が外接矩形の一辺に対しては常に良好に抽出できる場合には、その辺に対する分割を長さが均等になる均等分割として、領域分割処理（図４の＃４）及び辞書データ格納メモリ１５内の候補パターンのデータ作成を行うことが可能である。
なお、前記図２（ａ）（ｂ）の例は、Ｘ軸方向（横方向）は面積比一定分割（Ｘ軸に平行な直線により分割される各領域における識別対象パターン領域の面積とその背景領域の面積の比、候補パターン領域の面積とその背景領域の面積の比が一定になるような分割）であり、Ｙ軸方向（縦方向）は均等分割（Ｙ軸に平行な直線により、Ｘ軸が均等な長さになるように分割）である。
【００１１】
特徴量算出処理（図４の＃５）では、まず、認識対象パターン領域全体の面積（画素数) を求め、次に上記で分割された外接矩形の小領域ごとに、認識対象パターン領域全体の面積（画素数) に対するその小領域内の認識対象パターンの面積（画素数) の比率を算出する。
以上が、認識対象パターンに対する特徴量の算出方法である。この手順を用いて、予め辞書データ格納メモリ１５内の各候補パターンの特徴量を算出しておく。
次に上記の認識対象パターンの特徴量と候補パターンの特徴量との照合について説明する。
ここでは、辞書データ格納メモリ１５に格納されている候補パターンの数だけ、特徴量入力処理（図４の＃６）、照合処理（図４の＃７）及び照合結果出力処理（図４の＃８）を順次繰り返す。
まず、特徴量入力処理＃６では、辞書データ格納メモリ１５に格納されている候補パターンの特徴量データを入力する。
次に、照合処理＃７で、上記処理で算出した認識対象パターンと候補パターンのそれぞれ対応する小領域ごとに、総数量の差の絶対値を算出する。こうして求めた全ての小領域に対する値の総和を候補パターンの照合結果とする。
ここで対応する小領域とは、図７に示すように外接矩形領域に対する小領域の分割位置が一致するもの同士を指している。
【００１２】
図８により上記照合処理を具体例を説明する。ここでは、候補パターンＡと認識対象パターンＢを照合する場合について説明する。候補パターンＡは同図に示すようにａ１１〜ａ５５の区分領域に分割され、また、認識対象パターンＢはｂ１１〜ｂ５５の区分領域に分割されているとする。
この場合、候補パターンＡの特徴量は、同図に示すように各区分領域について求めた（区分領域ａｉｋ内のパターンの面積）／（パターン全体の面積）＝Ａｉｋ（ｉ＝１〜５，ｋ＝１〜５）である。
同様に、認識対象パターンＢの特徴量は、同図に示すように各区分領域について求めた（区分領域ｂｉｋ内のパターンの面積）／（パターン全体の面積）＝Ｂｉｋ（ｉ＝１〜５，ｋ＝１〜５）である。
照合処理＃７では、前記したように外接矩形領域に対する小領域の分割位置が一致するもの同士について、各区分領域の特徴量の差を求め、次の式に示すように、その絶対値の総和を算出して、これを照合結果とする。
照合結果＝Σ｜Ａｉｋ−Ｂｉｋ｜ ここで（ｉ＝１〜５，ｋ＝１〜５）
【００１３】
照合結果出力処理（図３の＃８）では、この照合結果及び小領域ごとの値（特徴量の差の絶対値) を、照合結果格納メモリ１６に出力する。
全ての候補パターンに対して特徴量入力処理＃６から照合結果出力処理＃８までの処理が完了したら、各候補パターンに対する照合結果を比較し、その比較結果を入出力装置２０に表示する処理を行う。
すなわち、照合結果比較処理（図３の＃９）では、照合結果格納メモリ１６に格納されている各候補パターンの照合結果を順次入力し、値の小さい順に正解に近いものとして候補パターンの順位付けを行う。その順位に基づき、比較結果表示処理（図３の＃１０）では、候補パターンの名称と照合結果を列挙して表示する。
【００１４】
次に、図９により前記した分割数を求める手法の一例を説明する。同図は、分割数が異なる複数の候補パターン群１〜ｍ（分割数はそれぞれＤ１〜Ｄｍ）の中から照合結果のばらつきの最も大きな候補パターン群を求め、その候補パターンの分割数を、分割数として用いる場合を示している。
各候補パターン群１〜ｍは、それぞれ候補パターンＴ１１〜Ｔ１ｎ，Ｔ２１〜Ｔ２ｎ，…，Ｔｍ１〜Ｔｍｎのｎ個の候補パターンからなるとする。
まず、同図に示すように、候補パターン群１に属する候補パターンＴ１１〜Ｔ１ｎを相互に照合し、前記したように候補パターン相互の各区分領域の特徴量の差の絶対値の総和Σ｜Ｔ１１_ik−Ｔ１２_ik｜，Σ｜Ｔ１１_ik−Ｔ１３_ik｜，…，Σ｜Ｔ１ｎ−１_ik−Ｔ１ｎ_ik｜を求める。
同様に、候補パターン群２〜ｍについて、候補パターンを相互に照合し、候補パターンの各区分領域の特徴量の差の絶対値の総和を求める。
次に、各候補パターン群１〜ｍについて、横軸を上記照合結果、縦軸を頻度としたヒストグラムを作成する。
そして、候補パターン群１〜ｍのうち、ヒストグラムの高さが最も低い（最もばらつきが大きい）候補パターンを求め、その候補パターンの分割数を選択する。例えば、図９では、候補パターンｊのヒストグラムの高さが最も低く、候補パターンｊの分割数Ｄｊを選択することになる。
以上のように分割数を定めることにより、候補データどうしの特徴量に関する分離をよくすることができ、認識精度を向上させることができる。
【００１５】
【発明の効果】
以上説明したように本発明においては、以下の効果を得ることができる。
（１）重心まわりの慣性主軸に平行な辺を持つ外接矩形に対して照合を行っているので、認識対象パターンの傾きに合わせて候補パターンのデータを変換する必要がなく、また、認識対象パターンの外接矩形と候補パターンの外接矩形の区分領域の総数を同じにして、区分領域ごとの特徴量を用いる照合を行っているので、テンプレートマッチングのような画像を走査して位置合わせを行う必要もなく、効率良く照合を行うことができ、高速な認識処理を行うことが可能となる。
（２）認識対象パターンと候補パターンのそれぞれについて、全体の面積に対する各分割領域内での面積を求め、認識対象パターンと候補パターンとを該面積の比率を用いて比較しているので、認識対象パターンの大きさに合わせて辞書データである候補パターンのデータを変換する必要がなく、効率の良い照合を行うことができる。
（３）認識対象パターンの外接矩形の縦横比に影響を与えるような一部の領域が撮影状態や領域抽出処理によってうまく抽出できない場合でも、認識対象パターンと候補パターンの本来比較すべき分割領域のズレを軽減することができ、また、抽出し損なった領域の認識精度に対する影響を減少することができ、精度の良い比較を行うことができる。
【図面の簡単な説明】
【図１】本発明の概要を説明する図である。
【図２】横方向に面積比一定分割した認識対象パターンと候補パターンにおいて領域抽出後に抽出できなかった領域を説明する図である。
【図３】本発明の実施例の図形認識装置のシステムの構成を示すブロック図である。
【図４】本発明の実施例の図形認識処理の流れを示すフローチャートである。
【図５】認識対象パターンの慣性主軸と外接矩形の例および慣性主軸に関して回転を行った後の状態を示す図である。
【図６】認識対象パターンの外接矩形と横方向に対して面積比一定分割を行った場合の一例を示す図である。
【図７】認識対象パターンの小領域と候補パターンの小領域の対応関係を説明する図である。
【図８】認識対象パターンと候補パターンの照合処理を説明する図である。
【図９】分割数を求める手法の一例を説明する図である。
【図１０】 候補パターンと認識対象パターンを均等分割した場合において、領域抽出で抽出できなかった領域を説明する図である。
【符号の説明】
１０ 画像処理装置
１１ 特徴量算出処理部
１２ 特徴量照合処理部
１３ 比較結果表示処理部
１４ 領域抽出画像格納メモリ
１５ 辞書データ格納メモリ
１６ 照合結果格納メモリ
２０ 入出力装置

Claims (6)

1. 認識対象パターンが含まれる領域として、認識対象パターンの重心まわりの慣性主軸に平行な辺を持つ認識対象パターンに外接する外接矩形を設定し、
   前記外接矩形の一方の辺に平行な直線で、該直線と、前記外接矩形の該一方の辺に直交する他方の辺により囲まれた各部分領域内での認識対象パターンの面積が一定になるように前記外接矩形を任意の数で部分領域に分割し、
   同様に、前記一方の辺に直交する他方の辺について、該他方の辺に平行な直線で、該直線と前記外接矩形の一方の辺により囲まれた各部分領域内での認識対象パターンの面積が一定になるように、もしくは、前記一方の辺を均等な長さに分割するように、前記外接矩形を任意の数で部分領域に分割し、
   認識対象パターンの全面積に対する、前記外接矩形の一方の辺に平行な前記直線と他方の辺に平行な前記直線で囲まれた小領域内及びこれらの直線と外接矩形の辺で囲まれた小領域内の認識対象パターンの面積の比率を特徴量として算出し、
   前記特徴量と、予め同じ分割数で同様にして領域分割を行い特徴量を記憶しておいた候補パターンのデータと照合することにより、認識対象パターンを特定する
   ことを特徴とする図形認識方法。
2. 候補データを作成する際、候補データ同士を照合し、照合結果のばらつきが最大となる分割数を求め、該分割数により外接矩形の辺を分割する
   ことを特徴とする請求項１の図形認識方法。
3. 認識対象パターンと候補パターンを比較して、認識対象パターンを特定する図形認識装置であって、
   認識対象パターンの重心まわりの慣性主軸に平行な辺を持つ認識対象パターンに外接する外接矩形を設定する外接矩形設定手段と、
   前記外接矩形の一方の辺に平行な直線で、該直線と前記外接矩形の前記一方の辺により囲まれた各部分領域内での認識対象パターンの面積が一定になるように前記外接矩形を任意の数で部分領域に分割するとともに、前記一方の辺に直交する他方の辺について、該他方の辺に平行な直線で、該直線と前記外接矩形の一方の辺により囲まれた各部分領域内での認識対象パターンの面積が一定になるように、もしくは、前記一方の辺を均等な長さに分割するように、前記外接矩形を任意の数で部分領域に分割する外接矩形分割手段と、
   認識対象パターンの全面積に対する、前記外接矩形の一方の辺に平行な前記直線と他方の辺に平行な前記直線で囲まれた小領域内及びこれらの直線と外接矩形の辺で囲まれた小領域内の認識対象パターンの面積の比率から特徴量を算出する特徴量算出手段と、
   前記特徴量と、予め同じ分割数で同様にして領域分割を行い特徴量を記憶しておいた候補パターンのデータと照合する照合手段とを備えた
   ことを特徴とする図形認識装置。
4. 候補データを作成する際、候補データ同士を照合し、照合結果のばらつきが最大となる分割数を求め、前記外接矩形分割手段は、該分割数により外接矩形の辺を分割する
   ことを特徴とする請求項３の図形認識装置。
5. 図形認識処理をコンピュータにより実行させるプログラムを記録した記録媒体であって、
   前記プログラムは、認識対象パターンが含まれる領域として、認識対象パターンの重心まわりの慣性主軸に平行な辺を持つ認識対象パターンに外接する外接矩形を設定し、
   前記外接矩形の一方の辺に平行な直線で、該直線と前記外接矩形の前記一方の辺により囲まれた各部分領域内での認識対象パターンの面積が一定になるように前記外接矩形を任意の数で部分領域に分割し、
   同様に、前記一方の辺に直交する他方の辺について、該他方の辺に平行な直線で、該直線と前記外接矩形の一方の辺により囲まれた各部分領域内での認識対象パターンの面積が一定になるように、もしくは、前記一方の辺を均等な長さに分割するように、前記外接矩形を任意の数で部分領域に分割し、
   認識対象パターンの全面積に対する、前記外接矩形の一方の辺に平行な前記直線と他方の辺に平行な前記直線で囲まれた小領域内及びこれらの直線と外接矩形の辺で囲まれた小領域内の認識対象パターンの面積の比率を特徴量として算出し、
   前記特徴量と、予め同じ分割数で同様にして領域分割を行い特徴量を記憶しておいた候補パターンのデータと照合することにより、認識対象パターンを特定する
   ことを特徴とする図形認識処理をコンピュータに実行させるプログラムを記録した記録媒体。
6. 図形認識処理をコンピュータに実行させるプログラムであって、
   前記プログラムは、認識対象パターンが含まれる領域として、認識対象パターンの重心まわりの慣性主軸に平行な辺を持つ認識対象パターンに外接する外接矩形を設定する処理と、
   前記外接矩形の一方の辺に平行な直線で、該直線と前記外接矩形の前記一方の辺により囲まれた各部分領域内での認識対象パターンの面積が一定になるように前記外接矩形を任意の数で部分領域に分割し、
   同様に、前記一方の辺に直交する他方の辺について、該他方の辺に平行な直線で、該直線と前記外接矩形の一方の辺により囲まれた各部分領域内での認識対象パターンの面積が一定になるように、もしくは、前記一方の辺を均等な長さに分割するように、前記外接矩形を任意の数で部分領域に分割する処理と、
   認識対象パターンの全面積に対する、前記外接矩形の一方の辺に平行な前記直線と他方の辺に平行な前記直線で囲まれた小領域内及びこれらの直線と外接矩形の辺で囲まれた小領域内の認識対象パターンの面積の比率を特徴量として算出する処理と、
   前記特徴量と、予め同じ分割数で同様にして領域分割を行い特徴量を記憶しておいた候補パターンのデータと照合することにより、認識対象パターンを特定する処理をコンピュータに実行させることを特徴とする図形認識処理を行うプログラム。

Images