JP2644812B2

JP2644812B2 - 記号認識方法

Info

Publication number: JP2644812B2
Application number: JP63069418A
Authority: JP
Inventors: 整松島; 孝文宮武
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1988-03-25
Filing date: 1988-03-25
Publication date: 1997-08-25
Anticipated expiration: 2012-08-25
Also published as: JPH01243191A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、図面，画像の自動認識のための構造マツチ
ングによる記号認識方法に係り、特に図形が、紙質の悪
い紙に書かれたり、製図用以外の普通の筆記具で書かれ
たり、ラフに書かれたりした場合でも、回転自由の記号
を安定に認識することを可能にする記号認識方法を提供
する。

さらに一般に、信号対雑音比の低い場合を含む画像デ
ータを対象に記号や特定形状の物体を抽出する時に効力
を発揮する記号認識方法を提供する。

〔従来の技術〕従来記号を認識する主要な方法として、パターンマツ
チングと、構造マツチングの手法がある。パターンマツ
チング法は、あらかじめ登録されている辞書パターンと
照合を取り、類似性を調べ、最も類似性の高い辞書パタ
ーンを見出すものである。この方法は、回転のない、大
きさが一定の記号の認識に有効である。一方、回転があ
つたり、大きさが必ずしも一定でない記号には、図形の
構造的な特徴を使つた認識方法が取られる。この手法が
構造マツチング法である。本発明はこの構造マツチング
法を改良するものである。

構造マツチング法で用いる主要な構造として、従来か
ら図形の位相構造と形状特徴が用いられてきた。具体的
にはパターン認識の自動機への適用技術；高野英彦，自
動化技術第18巻第８号1986年発行pp22〜28に記載されて
いるように、図形を構成する黒領域（鉛筆の黒色のよう
な着色された部分）と白領域（背景部分）のそれぞれの
個数、形状、それらの包含関係等を用いている。形状特
徴の中には、図形の三角や四，円といつた形状，周長，
面積，重心の位置，モーメント等が使われる場合が多
い。これらの特徴を特徴ベクトル（具体的なベクトルと
せず、プログラムで組み込む場合もあるが、実質的に特
徴ベクトルと言つても構わない）と考え、基準図形との
整合度を検定している。これらの構造は回転，大きさの
変更に強いという特徴を持つており、工業用の視覚装置
の基本アルゴリズムとして多用されている。

しかし、この方法は、画質が粗い場合や記号が細かい
図形の場合の認識には実際上使えなかつた。その理由
は、特徴ベクトルが、雑音として発生する穴や点の存在
に弱いという欠点を持つていたからである。特に図形が
小さくなつてくると、それらの雑音の影響度が高くな
り、従来手法はそのままでは非常に不安定であつた。こ
の従来手法の欠点を補う他の従来手法として、構造を調
べる前に雑音を除去する手法もある。これは大きさの小
さい図形や穴を取り去つたり、埋めたりする手法である
が、これも、細かい図形では雑音を除去しきれず、かえ
つてその図形が持つている本来の構造を変えてしまい、
性能が得られなかつた。

〔発明が解決しようとする課題〕

図面の紙質が悪い場合、普通の鉛筆で図形を書く場
合、線や塗りつぶした領域に所々小さな孔があく。さら
に、孤立した小さい図形や点も発生する。これによつ
て、図形の構造を現わす特徴ベクトルが大幅に変わつて
しまう。具体的には、領域の面積，重心、モーメント等
が変わる。また、白と黒の領域の個数も変わる。また、
それらの包含関係も複雑になる。これによつて安定な記
号認識が出来なくなる。

また認識に先立つ、雑音除去や穴埋め処理によつて
も、この不安定性は残つており、問題点が解決されてい
ない。

さらに図面の場合以外でも、各種の画像処理におい
て、信号／雑音のレベルが高く取れなくい場合も図形認
識と同様な問題点が残つている。

〔課題を解決するための手段〕

上記のように、図形に小図形が加わつたり、孔が空い
ても、図形の構造を示す特徴ベクトルが安定な形となる
図形特徴、その抽出法、それを使つた認識法を提供す
る。具体的には、従来手法が、図形特徴を、図形の黒領
域と白領域の図形に対して求めていたのにたいして、（１）図形の特徴値を、図形の輪郭線一つ一つが作り出
す図形にたいして求め、（２）該輪郭線が、該図形の黒領域の輪郭か、白領域の
輪郭かによつて、例えば正負の符号で区別し、（３）該一つ一つの輪郭線が作る図形を、一定の法則、
具体的には、面積の大きさ等で順序ずけ、その順に該図
形の特徴値を並べて、特徴ベクトルとし、特徴ベクトル同志で整合性を検定する。

さらに、（4.1）（１）から（３）を、単独に、或いは組合せた
方法を従来の方法と混合して使う。

また、（4.2）（１）から（３）を、単独に、或いは組合せた
方法を段階的に使つて、粗分類から精細な分類に持つて
いつても良い。さらに、検定に当つて特徴ベクトルの一
部の要素、又は、全部の要素をプログラムで処理する方
法も、本特許が提供する手段に含まれる。

（５）（4.1），（4.2）の方法において、間に図形の加
工を加える。

〔作用〕

まず、図形の特徴値を、図形の輪郭線一つ一つが作り
出す図形にたいして求めることにより、各特徴値が安定
に求まる。雑音を含まない時点での図形の輪郭線は、白領域内の雑音としての独立した黒領域と、黒領域内の雑音としての白領域（孔）の存在によつても形状の変化がない。すなわち特徴値が
変わらない。すなわち雑音の影響がなくなる。従つて各
特徴値が安定に求まる。新たに、雑音に対応する新たな
輪郭線が求まるが、それらはいずれも小図形であり、例
えば面積の小さなものは取り上げないなどの方法で簡単
に、かつ、単なる数値比較でも除去可能である。これは
従来の雑音除去に手法に比べて遥かに容易である。

次に、該輪郭線が、該図形の黒領域の輪郭か、白領域
の輪郭かによつて、例えば正負の符号で区別することに
より、容易に黒領域と白領域を混在して取扱うことが可
能となる。例えば、特徴として面積値を取れば、その値
の差が、白領域と黒領域の違いも考慮に入れた図形の類
似性を示す指標となる。

また、該一つ一つの輪郭線が作る図形を、一定の法
則、具体的には、面積の大きさ等で順序ずけ、その順に
該図形の特徴値を並べて、特徴ベクトルとすると、この
特徴ベクトルは自動的に包含関係の情報をも含んだ特徴
ベクトルとなる。その理由は以下に述べる理由による。
今二つの輪郭線があつて、一方が、他方を内部に含む場
合は、外側の輪郭線が作る図形は、内側の輪郭線が作る
図形より面積が小さい。このため、面積順に二つの特徴
値を並べると自動的に包含関係を考慮した特徴ベクトル
となる。内包関係のない図形間では、このことは言えな
いが、“あとに来る図形はそれ以前の図形に含まれない
という”重要な内包関係の情報を特徴ベクトルが含むこ
とになつている。これによつて、基準図形との照合の仕
方が簡易化される。なお、輪郭線が単純な場合は、特徴
値を並べるための特徴として、面積の替りに図形の周長
を使う方法でも効果が出る。

一方、内包関係の複雑の記号の場合は、異なる記号が
同一の特徴ベクトルとなる場合が多くなる。この場合
は、本発明は記号の粗分類に強力な作用を発揮する。本
特徴ベクトルを粗分類に使う場合は、粗分類後に従来手
法で精細な分類を行なえば、認識率が高まる。また、粗
分類後に、図形を一端加工したあとで、例えば、周囲か
ら図形を削つたあと、残りの図形に再びこの種の特徴ベ
クトルを求めて照合を行なう方法も認識に有効である。

以上述べたように、本発明は（１）図形の構造を表す特徴ベクトルを安定化し、（２）黒領域，白領域の違い、内包関係を自動的に含ん
だ特徴ベクトルを提供し、（３）結果として記号、画像の認識を簡略化，安定化を
果たす。

作用を有する。

〔実施例〕

第１図は、本発明の一実施例である。記号10が認識部
をしめす。図１は画像、又は図形データを記憶しておく
イメージメモリである。また４は基準図形の特徴を記憶
したメモリである。認識部10は、イメージメモリ１の図
形または画像を、認識し結果として記号名を出力する。
結果として、記号名以外に記号の位置座標，大きさ，傾
き、等の各種特徴量も加えて出力する場合も本実施例の
一部である。

認識部10には、少なくとも輪郭抽出部２、特徴ベクト
ル作成部３、照合部５を含む。輪郭抽出部２は、イメー
ジメモリ１の中の所定の図形から、輪郭と、その輪郭が
白領域の輪郭か、黒領域の輪郭かを示すフラグを出力す
る。記号21がそのデータである。１のイメージメモリの
内容も、データが圧縮された形で表現されたデータでも
良い。輪郭線の抽出、及びその輪郭線が白領域の輪郭
か、黒領域の輪郭かを求める方法としては、従来からい
ろんな方法（例えば、交差点記述法による二値画像の輪
郭追跡と復元：電子通信学会論文誌vol.J65−Ｄ No.1
0,pp1203−1210）があり、そのどれを使つても良い。ま
た、出力てしての輪郭線として、輪郭線のイメージを出
力しても良いし、輪郭線を表すベクトル列、又は、点座
標列を出力しても良い。

特徴ベクトル作成部３は、各輪郭線が作る図形の特徴
値を求めて、特徴ベクトル31を作成する。

また、照合部５は特徴ベクトル同士を照合し、尤も照
合度の高い基準図形を抽出し、その記号の記号名（図中
６）、例えば、記号番号を出力する。

第２図は特徴ベクトルの例を示したものである。

図中１はイメージメモリである。この中の図形のう
ち、記号101,103,105,106などは黒領域を囲む輪郭線で
ある。また、記号102,104,107,108などは白領域を囲む
輪郭線である。

今この図形で、101,102,103,104以外の輪郭が全て雑
音としておく。

第２図中記号21は、輪郭抽出部２の出力結果を示す。
記号21中の101,102,……は、抽出した輪郭線図形、111,
112,……は、その輪郭線が白，黒のどちらの領域を囲む
かを示すフラグである。尚、輪郭線を求める場合、輪郭
線が黒領域上にある場合と、白領域上にある場合、或い
は、白は白，黒は黒というようにそれぞれ囲む領域上に
設定する場合、の三つの場合があるが、そのどれを採用
しても、あらかじめ決めておけば問題はない。これらの
輪郭は、必ずしも大きい順に求まる訳ではない。この図
の例では、イメージメモリ１を上から走査し、輪郭が出
現する順に、107,102,106,103,104,………,105,108の順
に求まつた例である。

この結果21に関して、各輪郭線が作る図形の特徴を求
める。この例では、特徴として尤も単純な例、面積を用
いた。この面積値を大きいものから並べ、その値に、輪
郭線が白，黒のどちらの領域を囲むかを示すフラグ値
（111,112,……）をその対応する図形の面積値に掛け
る。その用にして求まつた結果が面積列30である。

次に、特徴ベクトルの長さ、すなわち、特徴ベクトル
に取り上げる輪郭線の数の最大値を決めておき、その個
数までで面積列を切る。その際、その個数に満たない場
合には、面積値０とすれば良い。この結果が特徴ベクト
ル21: （S₁₀₁,−S₁₀₂,S₁₀₃,−S₁₀₄,S₁₀₅,S₁₀₆,−S₁₀₇） … である。この例は、特徴ベクトルの長さを７つとしたも
のである。

さて、ここでこの図形の雑音のない場合について考え
る。105,106,107の輪郭は雑音に対応するものであるた
め、その場合の特徴ベクトルは、（S₁₀₁,−S₁₀₂,S₁₀₃,−S₁₀₄,0,0,0） … となる。式，式を比べると、第１項から第４項まで
の値は全く同じであり、その範囲内では雑音の影響はな
い。また、第５項以降については、式のS₁₀₅,S₁₀₆,S
₁₀₇は他の項に比べて十分値が小さい。このため、式
，式はほとんど同じ特徴ベクトルであると言つても
良い。すなわち、この特徴ベクトルは雑音の存在に対し
て極めて安定である。

尚、この例では特徴ベクトルの長さ以上の輪郭線を切
り捨てているが、特徴ベクトルの中の一つの項として、
採用出来なかつた図形全体を特徴を示す特徴値、例え
ば、その面積の総和値等を追加する方法もある。こうす
れば、雑音の多い図形をリジエクトする場合に有効であ
る。

また、特徴ベクトルとして各項を面積最大値で割つて
おけば、大きさに不変な特徴ベクトルが得られる。これ
を特徴ベクトル作成部３の出力とする方法もある。この
場合、第一項は度のベクトルも１の値となるので、実質
意味がなくなるのでこの項を除く方法もある。記号の大
きさも、ある程度考慮して認識する場合には、今示した
大きさに不変な特徴ベクトルと、面積値の最大値を組合
せる方法で解決できる。

また、上記特徴ベクトルの特徴の値を、周長，モーメ
ント，輪郭のコーナー数等に置き換えても良いし、ま
た、面積特徴と合わせて用いても良い。例えば、輪郭の
コーナー数を加味すると丸の中に三角がある場合と四角
がある場合も分離が出来る。その場合、輪郭線が白，黒
のどちらの領域を囲むかを示すフラグ値（111,112,…
…）は、掛けなくとも掛けても良い。また一部だけに掛
けても良い。

第３図は、照合部の例を示したものである。この例で
は、照合度Rjを次式で求める場合を示す。

ここにｉは特徴ベクトルの各項の番号、ｊは基準図形
の番号、S,Mはそれぞれ被認識対象図形と基準図形の特
徴ベクトルを表す。

この照合度Rjが最小となるｊを認識結果とする。

照合部５のなかの記号51,52,53,54,55,56は、この認
識結果を得るための回路列である。図形51は、照合制御
部である。記号52はRjを求めるための最初の演算を行な
う減算器、記号53は、減算の結果の絶対値を取る回路、
記号54は、累算器である。信号503は累算の途中結果を
記憶するためのラツチ信号である。この信号に先立つ
て、二つの特徴ベクトルＳとＭの各項のデータが31,4よ
り、それぞれ減算器に入力される。信号500は項番号ｉ
を示す信号、信号502は読出し指示信号である。また、
信号501は基準図形の番号ｊを示すデータを示す。信号5
01,500,502によつて、基準番号ｊの特徴ベクトルと各項
の値が基準図形特徴ベクトルメモリ４から順次取りださ
れることになる。尚、信号509は、初期リセツト信号で
ある。これによつて累算器54は始めに０に初期設定され
る。

記号55は最小値回路である。この回路は、内部にラツ
チ510を含んであり、これが最小値を記憶している。

また、レジスタ56は、Rjが最小値となるときの基準図
形番号ｊを記憶するためのレジスタである。

最小値回路55内のラツチ510と、レジスタ56は、まず
信号509により初期値設定が行なわれる。初期値は、ラ
ツチ510には、このラツチが表しうる値の最大値、レジ
スタ56には０が、それぞれ与えられる。

累算が終了した段階では、信号508はRjを示してい
る。その段階でこの値508と、ラツチ510に記憶されてい
る値504が比較器511で比較され、508の内容が小さかっ
た場合、ラツチ510の内容が信号508の内容で置き換えら
れる。これを実行する信号が507である。この信号507は
比較器の比較結果信号506とタイミング信号505の論理積
によつて作られる。この信号507はまた、レジスタ56の
ラツチ信号としても使われる。これによつて、累算器の
結果がそれ以前までの最小値を下回つた時、ｊの値がレ
ジスタ56に蓄えられる。

全ての基準図形と照合が終わつた段階でレジスタ56に
は、被認識対象図形に尤も近い基準図形の番号が残つて
いる。この値が認識結果６として出力される。

尚、ラツチ510にはその時の最小値が残つているの
で、この値が閾値より大きい場合には認識結果をリジエ
クトする方法や、他の検定を実行する方法もある。さら
には、類似性の高い基準図形が複数個あつた場合も考え
て、それらの番号、照合結果を類似性の高い順に記憶し
出力する方法もある。

尚、照合の方法として、上述の実施例のように差の絶
対値の総和をとる方法のほかに、特徴ベクトルのノルム
を取る方法等もあり、そのどれらを利用しても本発明実
施の効果が大きい。

第４図は、本発明の方法による特徴ベクトルによる認
識を複数回使う場合の本発明の実施例を示したものであ
る。

図中、Step1,3の２ケ所に本発明の方法による特徴ベ
クトルによる認識が入つている。図200,300,400は三種
類の認識対象図形である。300,400はほぼ同じ特徴ベク
トルとなる。このため、Step1の終了段階では、200と
（300,400）の二つに分類される。個の中の後者の図形
に、加工が加えられる。この実施例では、図形の中心
を、マスク画像500を使つて切り出す加工を行なつてい
る。二つの図形の中心を求めお互いに中心が一致するよ
うに位置合わせをすれば、Step2の図形301,401の量図形
が求まる。これに関してStep3で、再び特徴ベクトルを
求め、認識を行なうと、図形301と401は簡単に分離する
ことが出来る。

尚、このStep3で、他の認識方法を用いても良い。

〔発明の効果〕

以上の実施例で明らかになつたように本発明の実施に
より以下の効果がある。

（１）雑音の存在に極めて強い、安定な（回転）記号の
認識が可能である。雑音の図形が十分小さな図形や孔で
あるかぎり、原理的に雑音は認識結果に影響を及ぼさな
い。

その結果として（２）従来は、マイラー紙等の紙質の良いものに、イン
クも選んだ図面しか実質的に記号認識が難しかつたが、
普通の紙に、普通の筆記具で書いた図面の記号認識も可
能となり、認識技術の応用が格段に広がる。

（３）従来、構造マツチングは、図形間の内包関係のト
リーを考慮しながら行なつていたが、本手法はその熕わ
しさがなく簡単な処理で実行可能となる。処理回路や処
理プログラムが少なくなる。

【図面の簡単な説明】

第１図は、本発明実施による記号認識装置の構成を示す
図、第２図は、特徴ベクトルを示す図、第３図は特徴ベ
クトルの照合方法を示す図、第４図は本発明の特徴ベク
トルによる照合を段階的に施す場合の実施例を示す図で
ある。１……認識対象の図形、画像データ格納用イメージメモ
リ、２……輪郭抽出処理部、３……特徴ベクトル作成
部、４……基準図形特徴ベクトルメモリ、５……照合
部、６……記号名、10記号認識部、30……面積列、31…
…特徴ベクトル、100,200,300,400……認識対象図形
例、101,102,108……輪郭線。

Claims

(57)【特許請求の範囲】

【請求項１】認識対象となる図形を、図形を構成する輪
郭線が作る形状を基に、基準パターンと類似性を比較し
て認識を行う記号認識方法において、夫々の輪郭線が作る図形の面積を計測し、輪郭線が白領域を囲むか、黒領域を囲むかに応じて、計
測した面積の面積値に正負の異なる符号を付し、面積値の絶対値の大きい順に面積値を並べて、図形の特
徴ベクトルとし、その特徴ベクトルを用いて、記号の認識を行うことを特
徴とする記号認識方法。
【請求項２】請求項１記載において、特徴ベクトル中の
各面積値を、その中の最大値を使って正規化することを
特徴とする記号認識方法。
【請求項３】請求項１記載において、認識対象となる図
形を周囲から特定幅で削った図形に対し、特徴ベクトル
を用いて、記号の認識を行うことを特徴とする記号認識
方法。