JPH06348849A

JPH06348849A - 画像シンボル認識方法

Info

Publication number: JPH06348849A
Application number: JP5154378A
Authority: JP
Inventors: Eiji Kawamura; 英司川村; Hideaki Arita; 秀昶有田
Original assignee: Nippon Steel Corp
Current assignee: Nippon Steel Corp
Priority date: 1993-06-01
Filing date: 1993-06-01
Publication date: 1994-12-22

Abstract

(57)【要約】【目的】シンボルの形状や、図面上に記載された角度
や大きさに関係なくシンボルを認識することができ、か
つ、その認識ルールを容易に自動生成できるようにす
る。【構成】処理２にて、処理１で画面表示した対象図面
から任意のシンボルを抽出し、そのシンボルの交点数お
よび複雑度の特徴量を計算して登録する。次いで、処理
３にて上記特徴量が一致するシンボルを図面上から探索
して切り出すセグメンテーションを行った後、処理４に
てこの切り出したシンボル候補の正規化ヒストグラムを
作成し、この正規化ヒストグラムから求めた認識確信度
を表す値と、上記登録したシンボルの特徴量に応じて生
成した評価値とを比較するマッチングを行ってシンボル
を認識するようにすることにより、決まった特徴量で全
てのシンボルを評価するとともに、認識ルールをシンボ
ルの特徴量に応じて自動生成できるようにする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、図面処理を行う際の画
像シンボル認識方法に係わり、特に、図面認識システム
等における手書き図面等、地図、プラント図、回路図、
配管図、地形図および線路図等の図面一般に対するセグ
メンテーション方法と、このセグメンテーションにより
切り出されたシンボル候補とユーザーが抽出しようとす
るシンボルとのマッチング方法に関する。

【０００２】

【従来の技術】従来の画像認識装置及び画像認識ソフト
ウエアにおいては、計算機内での画像の認識処理手続き
を、認識対象に応じて、それぞれの特徴抽出のためにプ
ログラミングする必要がある。このため、新しいシンボ
ルを計算機に登録するたびに、ユーザーはプログラムを
書き直す必要があった。また、シンボルの認識方法につ
いても、それぞれのシンボルが同じ評価関数で比べられ
ないため、登録する各シンボル間の違いが明確でなくな
る場合があった。

【０００３】そこで、認識したいシンボルを計算機に登
録するための記号登録用エディタを採用し、同時に、登
録したシンボルの認識ルールを自動生成する方法に関し
て、特開平４−５１３６６号公報記載の方法などが提案
されている。

【０００４】

【発明が解決しようとする課題】しかしながら、この方
法では、シンボルの登録に際し、登録するシンボルは予
め登録されている円や矩形等の組合せであることが要求
されるので、認識可能なシンボルには限界があった。ま
た、その認識ルールも十分に記述することができないと
いう問題があった。

【０００５】本発明は上記の問題に鑑みてなされたもの
で、図面上に書かれるあらゆるシンボルに対し、形の制
限なくシンボルを登録することができ、かつ、そのシン
ボルを認識するのに十分な認識ルールを容易に自動生成
することを可能にするセグメンテーション方法と、図面
上に書かれるシンボルの角度や大きさの変化によらず、
シンボルを認識することを可能にするマッチング方法と
を兼ね備えた画像シンボル認識方法を提供することを目
的とするものである。

【０００６】

【課題を解決するための手段】本発明は、ベクトル化さ
れたデータを用いてシンボルを画面上に表示するととも
に、画面上のシンボルのデータよりシンボルのデータベ
ースファイルを作成し、次いで、上記データベースファ
イルを用いて画面のセグメンテーションを行い、これに
より切り出されたシンボル候補からシンボルの認識を行
う画像シンボル認識方法であって、上記シンボルのフェ
レ径の中心座標、縦横の長さ、および上記シンボルを構
成するベクトルの数、座標、角度、始点から終点までの
距離の各データから、上記シンボルの交点数および複雑
度を計算して登録することにより上記データベースファ
イルを作成し、上記登録したシンボルのベクトルデータ
から、各ベクトルの長さの平均値に近い適当な一本を取
り出し、これを用いて上記登録した交点数および複雑度
が合致するシンボル候補を見つけだすようにするセグメ
ンテーション方法を行うとともに、上記セグメンテーシ
ョン方法により切り出されたシンボル候補のベクトルデ
ータのヒストグラムを作成し、それを正規化するととも
に、上記正規化ヒストグラムから求めた認識確信度を表
すデータと、上記データベースファイルに登録されてい
る上記シンボルの特徴に応じて生成したデータとを順次
比較し、評価するシンボル認識方法を行うようにしたも
のである。

【０００７】

【作用】本発明は上記技術手段より成るので、ユーザー
が表示画面上でシンボルを指定すると、そのシンボルの
交点情報、複雑度（密集度）およびフェレ径等の特徴量
が計算されて登録されるとともに、そのシンボルを構成
するベクトルの角度毎の本数および角度毎の長さを表し
たヒストグラムが作成される。そして、シンボルのセグ
メンテーションやマッチングの際に、これらのパラメー
タを用いて認識対象が評価されることにより、ユーザー
がシンボル毎に認識ルールを作成する必要なくデータベ
ースファイルにシンボルを登録することが可能になる。

【０００８】次に、登録したシンボルのベクトルデータ
から、各ベクトルの長さの平均値に近い適当なベクトル
が一本取り出され、図面上でこのベクトルが探索され
る。そして、上述のパラメータをもとに、探索されたベ
クトルの周りに交点情報および複雑度の合致するシンボ
ルが見つけだされて切り出されることにより、セグメン
テーションが行われる。

【０００９】切り出された複数個のシンボル候補の重な
り部分が多い場合は、それらは一つのシンボルとして再
統合される。ここで、シンボルの交点数や複雑度は、シ
ンボルの相似変換や回転変換によっては変化しないパラ
メータであるので、図面上でシンボルが相似変換または
回転変換された状態で記載されていても認識することが
可能となる。

【００１０】次に、切り出されたシンボル候補に対して
ベクトルのヒストグラムが作成され、このヒストグラム
と、先ほど作成された登録シンボルのヒストグラムとの
差がとられる。そして、その差情報から求められたシン
ボル認識の確信度を表す値がある閾値まで達しない場合
は、シンボルの回転変換が行われているかもしれないと
想定され、ヒストグラムの角度が変換されて再びマッチ
ングが行われる。

【００１１】このようにして、ユーザーの見つけたいシ
ンボルであるかどうかが調べられ、それでもうまくマッ
チングしない場合は、上述のセグメンテーションまでフ
ィードバックされ、切り出し方法が変えられて再びマッ
チングされる。これにより、確信度がある閾値に達した
シンボルが抽出される。

【００１２】

【実施例】以下、本発明の詳細を、一実施例としてプラ
ント図面のバルブのシンボル（記号）を認識する過程を
取り上げて説明する。図１は、本実施例による画像シン
ボル認識方法の概略動作を示すフローチャートである。
また、図２は、その画像シンボル認識方法を実現するた
めの装置を示すブロック図である。

【００１３】図２において、２１はプラント図面のデジ
タルデータからベクトル化したベクトルデータを入力す
るデータ入力部、２２は入力したベクトルデータを用い
て図面データを表示したり、シンボル（記号）の認識結
果を表示するＣＲＴ表示部、２３はユーザーの指定によ
り任意のシンボル（記号）を登録してデータベースファ
イルを作成するデータベースファイル作成部である。

【００１４】また、２４はデータベースファイル作成部
２３にて登録したシンボル（記号）の特徴に基づいて、
図面上からシンボル候補を切り出すセグメンテーション
部、２５はセグメンテーション部２４にて切り出したシ
ンボル候補の中から最終的に認識しようとするシンボル
（記号）を抽出するマッチング部である。

【００１５】実際の処理の流れは、以下のようになる。
すなわち、図１において、まず、処理１にてプラント図
面のデジタルデータからベクトル化したベクトルデータ
を入力し、これ用いて対象図面をＣＲＴ上に表示する。
そして、処理２にて、例えば図６に示すような記号６
１、６２、６３をそれぞれ１つのシンボル（記号）とみ
なし、ユーザーの指定により任意のシンボル（記号）を
データベースファイルに登録する。

【００１６】次に、処理３にて、処理２で登録を行った
シンボル（記号）の特徴に基づいて所定の処理を行い、
認識しようとするシンボル（記号）のシンボル（記号）
候補をみつける。次いで、処理４にて、処理３でみつけ
たシンボル（記号）候補と、処理２で登録したシンボル
（記号）とのマッチングを行い、その認識結果（シンボ
ルの個数、座標入力など）をＣＲＴ上に表示する。

【００１７】図１のデータベースファイル作成処理２に
おける動作の詳細を、図３のフローチャートを参照して
説明する。図３において、まず最初に、処理３１にてＣ
ＲＴ表示画面上からユーザーが認識しようとするシンボ
ルをユーザーが指定して、例えば、図６のシンボル（記
号）６１を抽出する。次に、処理３２にてシンボル（記
号）６１のフェレ径の中心座標、縦横の長さの計算を行
い、処理３３にてシンボル（記号）６１を構成するベク
トルの数、座標、角度および始点から終点までの距離の
計算を行う。

【００１８】さらに、処理３４にてシンボル中の交点数
の計算を行い、処理３５にてシンボルの複雑度の計算を
行うことにより、シンボル（記号）６１の各特徴量を求
める。なお、シンボル中の交点数の計算の際、小線分の
集合による多数の交点は円弧であるとみなし、別途登録
する。そして、処理３６において、以上のようにして求
めたシンボル（記号）６１の各特徴量をシンボル（記
号）のデータベースファイルに登録する。

【００１９】シンボル（記号）６２、６３についても、
以上と同様にその特徴量を計算して登録することによ
り、シンボル（記号）の登録数を制限なく増やすことが
可能である。そして、これらの各特徴量を用いて全ての
シンボル（記号）の評価を行うことにより、ユーザーは
シンボル毎に認識ルールをプログラムする必要がなくな
る。

【００２０】次に、図１のセグメンテーション処理３に
おける動作の詳細を、図４のフローチャートを参照して
説明する。図４において、最初に、処理４１にて、抽出
しようとするシンボル（記号）６１から、各ベクトルの
長さの平均値の近辺にある一定の長さのベクトルを抽出
し、処理４２以降で、そのベクトルを用いて図面上から
シンボルを探索する。

【００２１】この探索は、以下のようにして行う。すな
わち、処理４２にて抽出したいベクトルのフェレ径から
ある矩形の大きさを決めて、その矩形領域で図面上の一
部分を囲んでみる。そして、処理４３において、囲まれ
た矩形領域の中に含まれるベクトルを抽出し、このベク
トルをもとに、処理４４、処理４５にて交点数や複雑度
（密集度）の特徴量の計算を行い、シンボル（記号）６
１の特徴量と比べてみる。

【００２２】そして、双方の特徴量が一致しない場合
は、処理４６にて矩形領域の縦横比を入れ換えて、再び
処理４２から処理４５を実行する。また、処理４７にお
いて、フェレ径の縦横比の入れ換えを一度も行っていな
いと判断したときも、処理４６により矩形領域の縦横比
を入れ換えた後、再び処理４２から処理４５を実行す
る。これにより、シンボル（記号）が図面上で回転して
記載されているような場合にも、そのシンボル（記号）
を切り出せるようにする。

【００２３】また、探索した矩形領域が２つ以上重なっ
ていた場合は、そのどちらもが含まれるようにしてシン
ボル（記号）の切り出しを行う。すなわち、重なり合っ
た２つの矩形領域について、上述の方法でそれぞれセグ
メンテーションできない場合は、処理４８にて２つの矩
形の外郭をとり、重なりあった複数の矩形を１つの矩形
に統合する。そして、処理４９にて、もう一度交点数と
複雑度とを計算し、登録したシンボル（記号）６１と比
較する。その結果、双方の特徴量が一致すれば、処理５
０にてその矩形領域内のベクトルを抽出する。

【００２４】なお、上述のシンボルの複雑度ｆの計算
は、シンボル（記号）のベクトル数（線分数）ｎをシン
ボル（記号）のフェレ径の面積ｓで割った後、その結果
を正規化することによって行う。すなわち、複雑度ｆの
計算式は、ｆ＝ｎ×１００００／ｓで表される。

【００２５】このような特徴量の比較により、例えば、
図７に示すシンボル（記号）７１、７３、７５は、登録
したシンボル（記号）６１と等しいと判断されるので、
最終的なシンボル（記号）候補として保存される。

【００２６】ここで、回転して記載されたシンボル（記
号）に関し、その交点数や複雑度などのパラメータは、
回転していないシンボル（記号）のパラメータと何ら変
わらないので、シンボル（記号）７５のように回転して
記載された図形も有効に切り出せるようになる。また、
相互に重なり合った複数の矩形領域を１つの矩形領域に
して特徴量を比較した結果、登録したシンボル（記号）
６１のシンボル（記号）候補となるのが、図７のシンボ
ル（記号）７３である。

【００２７】これにより、登録したシンボル（記号）に
対して、相似変換または回転変換した状態で記載された
シンボル（記号）をも切り出すことが可能なセグメンテ
ーションを行うことができる。

【００２８】このようにして、登録したシンボル（記
号）６１から、シンボル（記号）候補としてシンボル７
１、７３、７５が最終的に選ばれる。また、登録したシ
ンボル（記号）６２からはシンボル（記号）候補として
シンボル（記号）７２、７５が選ばれ、登録したシンボ
ル（記号）６３からはシンボル（記号）候補としてシン
ボル（記号）７６が選ばれる。

【００２９】次に、図１のマッチング処理４における動
作の詳細を、図５のフローチャートを参照して説明す
る。図５において、まず、処理５１にて、セグメンテー
ションにより切り出された図７のシンボル（記号）候補
７１、７２、７３、７４、７５、７６について、ベクト
ルデータのヒストグラムを作成する。

【００３０】ヒストグラムは２種類作成し、１つはベク
トルデータの横軸に角度、縦軸に個数をとり、もう１つ
は横軸に角度、縦軸に長さをとって作成する。そして、
処理５２においてこれらの積算値を求め、ヒストグラム
の正規化を行う。前者のヒストグラムは、シンボル（記
号）の相似変換に対して不変な特徴量であり、後者のヒ
ストグラムは、シンボル（記号）の回転変換に対して不
変な特徴量である。登録したシンボル（記号）６１につ
いても、処理５１、処理５２にてヒストグラムの作成お
よびヒストグラムの正規化を行う。

【００３１】次に、処理５３において、シンボル（記
号）候補７１、７２、７３、７４、７５、７６と、デー
タベースファイルに登録しているシンボル（記号）６１
とのマッチングを行う。

【００３２】マッチングは、データベースファイルに登
録しているシンボル（記号）６１のデータに対して、シ
ンボル（記号）候補７１、７２、７３、７４、７５、７
６のヒストグラムを角度シフトさせて積和を計算し、最
大値を示すシフト値Ｌを決定する。そして、データベー
スファイルに登録しているシンボル６１のデータのｉ−
１，ｉ，ｉ＋１項の平均値と、シンボル（記号）候補７
１、７２、７３、７４、７５、７６のデータのｊ＋Ｌ−
１，ｊ＋Ｌ，ｊ＋Ｌ＋１項の平均値との偏差の二乗和ｓ
を求める。

【００３３】さらに、この二乗和ｓを用いて、シンボル
認識の確信度（そのシンボルであるに違いないと思われ
る指数）を示すｃｆ値を、次の計算式により求める。ｃｆ＝１００／（１＋ｓ／ｔ）ｓ：偏差の二乗和ｔ：規定の定数

【００３４】求めた確信度ｃｆが、前回までの確信度ｃ
ｆより大きいならば、前回までの確信度ｃｆと、求めた
確信度ｃｆとを置き換える。次に、処理５４において、
正誤に関する評価パラメータｘの計算を行い、この評価
パラメータｘと処理５３にて得られた確信度ｃｆとを比
較する。そして、確信度ｃｆが評価パラメータｘの値以
上であれば、そのシンボル候補は登録したシンボル（記
号）と同じシンボル（記号）であると認識し、処理５５
にてＣＲＴ上に表示する。

【００３５】上述の評価パラメータｘについては、デー
タベースファイルに登録したシンボル（記号）６１の交
点数ａを線分数ｎで割った値ｐと、同じく登録したシン
ボル（記号）６１の取り得る最大の交点数ａ_maxを線分
数ｎで割った値ｐ_maxと比較する。そして、ｐの値がｐ
_maxの値に近ければ評価パラメータｘの値を高くし、ｐ
の値がｐ_maxの値より遠ければ評価パラメータｘの値を
低くして表す。これにより、シンボル（記号）の複雑度
によって評価パラメータｘの値を変更する。

【００３６】登録したシンボル（記号）６２、６３につ
いても以上と同様の処理を行う。そして、最終的にマッ
チングに成功したものを、データベースファイルに登録
したシンボル（記号）６１、６２、６３と同じシンボル
（記号）であると認識し、認識結果をＣＲＴ上に表示す
る。

【００３７】以上の例では、最終的に、図６のシンボル
６１と同じシンボルであると認識されるシンボルは、図
８（ａ）のシンボル８１、８２、８３である。また、シ
ンボル６２と同じシンボルであると認識されるシンボル
は、図８（ｂ）のシンボル８４、８５であり、シンボル
６３と同じシンボルであると認識されるシンボルは、図
８（ｃ）のシンボル８６である。このように認識された
シンボルは、実際には、図９のような表として画面表示
される。

【００３８】以上のように、まず、ＣＲＴ表示画面上か
らシンボル（記号）をユーザーが指定して抽出し、抽出
したシンボル（記号）の所定の特徴量を計算させて、こ
れをデータベースファイルに登録することが容易にでき
る。また、シンボル（記号）の特徴量として、シンボル
のフェレ径の縦横の長さや、シンボルの交点数および複
雑度のようなパラメータを用いることにより、簡単な処
理でセグメンテーションを行うことができる。

【００３９】また、同じシンボル（記号）が図面上で回
転して記載されていても、シンボル候補を切り出すため
の矩形領域の縦横の長さを入れ換えて探索を行うことに
より、図面上でのシンボル（記号）の傾きに関係なくシ
ンボル候補を切り出すことができる。マッチングに関し
ても、シンボルを構成する各ベクトルの角度別の本数お
よび角度別の長さのヒストグラムによりシンボル認識を
行っているので、セグメンテーションからマッチングま
での処理を高速に行うことができる。

【００４０】

【発明の効果】以上説明したように本発明によれば、ユ
ーザーが要求するシンボルを、ベクトル化されたデータ
を用いて表示画面上から抽出して登録するとともに、認
識しようとするシンボルを切り出す際に、シンボルの交
点数や複雑度といった、決まった特徴量を用いて全ての
シンボルを評価するようにしたので、どのような形状の
シンボルでも登録することが可能となる。さらに、シン
ボル認識を行う際の認識ルールを各シンボル毎に上記特
徴量を用いて自動生成するようにしたので、シンボルを
登録するたびに、そのシンボルに関する認識ルールをユ
ーザーが記述する必要がなくなるとともに、対象とする
シンボルを高速に切り出すことができる。また、以上の
ようにして切り出したシンボルについて、シンボルの相
似変換や回転変換に対して不変な特徴量で成るヒストグ
ラムを用いてシンボル認識（マッチング）を行うように
したので、登録したシンボルに対して回転変換もしくは
相似変換した状態で記載されたシンボルも認識すること
ができる。

【図面の簡単な説明】

【図１】本発明の一実施例による画像シンボル認識方法
の概略動作を示すフローチャートである。

【図２】本実施例による画像シンボル認識方法を実現す
るための装置を示すブロック図である。

【図３】データベースファイル作成部の動作の詳細を示
すフローチャートである。

【図４】セグメンテーション部の動作の詳細を示すフロ
ーチャートである。

【図５】マッチング部の動作の詳細を示すフローチャー
トである。

【図６】登録したシンボルの一例を示す図である。

【図７】認識対象としてのプラント図面の一例を示す図
である。

【図８】図７のプラント図面上でのシンボル認識結果の
一例を示す図である。

【図９】シンボル認識結果のＣＲＴ画面上での表示例を
示す図である。

【符号の説明】

１データ入力・画面表示処理２データベースファイル作成処理３セグメンテーション処理４シンボル認識処理（マッチング処理）２１データ入力部２２ＣＲＴ表示部２３データベースファイル作成部２４セグメンテーション部２５マッチング部６１、７１、７３、７５、８１、８２、８３シンボル
（記号）６２、７２、７４、８４、８５シンボル（記号）６３、７６、８６シンボル（記号）

Claims

【特許請求の範囲】

【請求項１】ベクトル化されたデータを用いてシンボ
ルを画面上に表示するとともに、画面上のシンボルのデ
ータよりシンボルのデータベースファイルを作成し、次
いで、上記データベースファイルを用いて画面のセグメ
ンテーションを行い、これにより切り出されたシンボル
候補からシンボルの認識を行う画像シンボル認識方法で
あって、上記シンボルのフェレ径の中心座標、縦横の長さ、およ
び上記シンボルを構成するベクトルの数、座標、角度、
始点から終点までの距離の各データから、上記シンボル
の交点数および複雑度を計算して登録することにより上
記データベースファイルを作成し、上記登録したシンボルのベクトルデータから、各ベクト
ルの長さの平均値に近い適当な一本を取り出し、これを
用いて上記登録した交点数および複雑度が合致するシン
ボル候補を見つけだすようにするセグメンテーション方
法を行うとともに、上記セグメンテーション方法により切り出されたシンボ
ル候補のベクトルデータのヒストグラムを作成し、それ
を正規化するとともに、上記正規化ヒストグラムから求
めた認識確信度を表すデータと、上記データベースファ
イルに登録されている上記シンボルの特徴に応じて生成
したデータとを順次比較し、評価するシンボル認識方法
を行うようにしたことを特徴とする画像シンボル認識方
法。