JP3569626B2 - 図形抽出方法及びそのプログラムを記録した記録媒体 - Google Patents
図形抽出方法及びそのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3569626B2 JP3569626B2 JP12655498A JP12655498A JP3569626B2 JP 3569626 B2 JP3569626 B2 JP 3569626B2 JP 12655498 A JP12655498 A JP 12655498A JP 12655498 A JP12655498 A JP 12655498A JP 3569626 B2 JP3569626 B2 JP 3569626B2
- Authority
- JP
- Japan
- Prior art keywords
- template
- value
- graphic
- extraction
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、紙の上に書かれた設備管理図面、機械設計図面、地図など、様々な図面をＣＡＤなどで扱えるベクトルデータに変換する方法に関する。
【０００２】
【従来の技術】
既存図面を自動認識する従来手法には、以下の二つの方法が考えられる。
【０００３】
第１の方法は、細線化処理や白黒の境界線を抽出する処理を行い、得られた画像上の黒点を追跡することによって、図面画像を構造化されたベクトルデータに変換するものである。この方法では、図面の局所に注目して処理するため、線分の部分的な歪みや、雑音に影響されやすいという問題があった。この結果、手書きによる筆記変動や雑音を含む通常の図面に対しては、歪みを多く含んだベクトルデータになっていた。特に、線分の交差点付近など線分が密になっている部分での歪みは著しく、例えば図８に示す例の様に、本来交差点となるべきものが複数の分岐点に別れたり、線分の交差によって図形の形状が著しく歪んだりするなどの問題があった。
【０００４】
第２の方法は、一般Ｈｏｕｇｈ変換「森 俊二、坂倉 栂子：画像認識の基礎［２］、Ｐａｇｅ１１−１４、オーム社、１９９０」などの方法で、上記第１の方法の欠点がほぼ解決できる。この方法は、図面の大部分が、直線、四角形、円など比較的少数種の基本図形から構成されることを利用したもので、予め与えるこれら基本図形と類似した形状をもつ図形を、図面中から探索する方式である。
【０００５】
【発明が解決しようとする課題】
しかしながら、この種の従来の第２の方法は、基本的に抽出対象との類似性のみに基づいて対象を抽出するため、抽出対象と区別すべき類似した対象に関する情報を使っていない。
【０００６】
このため、例えば円を抽出対象とする場合には、図９に示す様に抽出対象でない類似した形状の図形が図面中から間違って多数検出されると云う問題があった。図９（ａ）に於いて、１０００は入力図面（例）、図９（ｂ）に於いて、１１００は図形抽出結果（例）、１１０１は正しく抽出された図形、１１０２は誤って抽出された図形である。
【０００７】
本発明は、上記従来の第１の方法のような雑音や歪みの発生の問題がなく、しかも上記従来の第２の方法における誤検出の問題を抜本的に解決する図形抽出方法を提供するものである。
【０００８】
【課題を解決するための手段】
本発明は、以下に列記した発明により上記の課題を解決する。
【０００９】
第１の発明は、白黒の２値で表現された図面をベクトル情報に変換する方法であって、認識対象とする図形の特徴を重み値によって表現する第１のテンプレートを登録し、この第１のテンプレートを用いて第１の図形抽出処理を行い、この第１の図形抽出処理の結果から、ポインティング・デバイスによって指定された検出図形を切り出し、さらに正しく検出された図面と誤って検出された図形の２種類に分類して登録し、
これらの検出図形を基に、正解図形が値を持つ部分で大きな値となり、誤り図形が値を持つ部分で小さな値となる第二のテンプレートを作成し、この第２のテンプレートを用いて第２の図形抽出処理を行うことを特徴とする。
【００１０】
ここで、前記第２のテンプレートは、着目する認識対象図形とそれ以外の対象図形との差が大きくなる様に作成してもよい。
【００１１】
（２）の発明は、（１）の発明において、前記第１及び第２の図形抽出処理は、第１及び第２のテンプレートの中心を図面上の黒点に重ねながら相関を求め、その値の大きさによって図形位置を抽出することを特徴とする。
【００１２】
（３）の発明は、白黒の２値で表現された図面をベクトル情報に変換する方法をコンピュータで実行するためのプログラムを記録した記録媒体であって、
認識対象とする図形の特徴を重み値によって表現する第１のテンプレートを登録する手順と、この第１のテンプレートを用いて第１の図形抽出処理を行なう手順と、この第１の図形抽出処理の結果から、ポインティング・デバイスによって指定された検出図形を切り出し、さらに正しく検出された図面と誤って検出された図形の２種類に分類して登録する手順と、これらの検出図形を基に、正解図形が値を持つ部分で大きな値となり、誤り図形が値を持つ部分で小さな値となる第二のテンプレートを作成する手順と、この第２のテンプレートを用いて第２の図形抽出処理を行う手順とをコンピュータで実行するためのプログラムを該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。
【００１３】
ここで、前記第２のテンプレートを作成する手順では、着目する認識対象図形とそれ以外の対象図形との差が大きくなる様に該第２のテンプレートを作成するようにしてもよい。
【００１４】
（４）の発明は、（３）の発明において、前記第１及び第２の図形抽出処理を行う手順では、第１及び第２のテンプレートの中心を図面上の黒点に重ねながら相関を求め、その値の大きさによって図形位置を抽出することを特徴とする。
【００１５】
本発明では、上述の第２の従来方法の基本的な考え方を踏襲し、雑音や歪みの発生の問題を無くす。まず、図面を構成する基本図形（直線、円、三角形、四角形など）を認識対象として選ぶ。これらの認識対象毎に検索用のテンプレートを利用する。以上は、第２の従来方法と同様である。しかし、上記の様に類似した図形を判別するためには、それぞれの形状をテンプレートに記述するのみでは、不十分であり、それらの差異を強調する様にする必要がある。そこで本発明では、類似した図形との差を強調するようにテンプレートを補正する機能を付加する。テンプレートを類似図形との差異に基づいて修正するため、従来方法において多数発生していた誤検出が防止できる。この為、高い精度で図面を認識することができる。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００１７】
図１は、本発明の処理フローの実施形態例であって、１００は認識対象となる２値図面、２００は第１のテンプレート登録処理、３００は第１の図形抽出処理、４００は第１の図形抽出結果、５００は第１の図形抽出結果の登録操作、６００は第２のテンプレート登録処理、７００は第２の図形抽出処理、８００は第２の図形抽出結果である。
【００１８】
２値図面１００は、紙に書かれた図面をイメージスキャナなどのイメージ入力手段によって光電変換して得られるものであり、その一例を図２に示す。以下の説明では、白い紙の部分は値０、鉛筆など黒い線で筆記された線分の部分は値１で表されているものとする。
【００１９】
第１のテンプレート登録処理２００は、認識対象とする定型図形を初期登録する処理である。登録の方法には２つの方法がある。
【００２０】
最初の方法は、予め決められた認識対象図形の形状に合わせてテンプレートを決める簡易な方法であり、例えば、円を抽出するテンプレートの場合には、円の半径をｒとして、
ｘ２＋ｙ２＝ｒ２
なる式によってテンプレート図形を与える。この方法は、対象図形の形状が簡単な関数の形に表現できる場合に適している。
【００２１】
もう一方の方法は、実際の図面中に含まれる対象図形を切り出し、これに基づいてテンプレートを作成する方法であり、どんな複雑な形状の図形であっても容易に表現できる。
【００２２】
図３は、この方法によって円を抽出するテンプレートを作成する手順の説明図であって、２１０は２値図面、２２０は抽出対象である円を含む矩形領域、２３０は矩形領域２２０によって切り出された図形、２４０は切り出された図形２３０を整形して得られた図形、２５０は整形された図形２４０を聖ね合わせて合成した円のテンプレートである。
【００２３】
まず、マウスなどのポインティング・デバイスを用いたマニュアル操作によって２値図面２１０上の抽出対象図形を矩形領域で切り出す。切り出す矩形領域の数は１個でもよいが、実際の図形の大きさや形などの変動に対処するため、複数個切り出しておく（図３の２３０）。次に、切り出された図形から、不要な部分の削除や不足部分の補完を行い、２４０の様に形を整形する。最後に、整形して得られた複数の図形を重ね合わせて平均化し、テンプレート２５０を作成する。重ね合わせるには位置の整合が必要であるが、目視によって複数個の図形が重なる様に設定してもよいし、相関などを用いて自動的に位置合わせすることもできる。
【００２４】
自動的に位置整合を行う方法について説明する。マニュアル操作によって図面から矩形で切り出されたＫ個（Ｋ≧２）の対象図形を
Ｔ１（ｘ，ｙ），．．．，ＴＫ（ｘ，ｙ）
と表す。まず最初に適当な２つ、例えばＴｉを基準図形、Ｔｊ（ｊ≠ｉ）を被整合対象図形として選び、Ｔｊの位置のずらし量（ｄｊ ｘ，ｄｊ ｙ）を変化させながら、相関
【００２５】
【数１】
【００２６】
または、正規化相関
【００２７】
【数２】
【００２８】
の何れかを求め、これら相関係数が最大となるずらし量を位置補正量（Ｄｊ ｘ，Ｄｊ ｙ）とする。ただし、φは、対象図形ＴｉとＴｊの重なる領域の位置座標（ｘ，ｙ）の集合を示す。
【００２９】
以上の説明では、相関係数を利用した例を示したが、単純に２つの対象図形の差の絶対値の和
【００３０】
【数３】
【００３１】
や、ユークリッド距離
【００３２】
【数４】
【００３３】
などの距離値を計算し、その値が最小になる様に位置合わせしても概ね同等の結果が期待できる。
【００３４】
この様な方法によって得られる補正量（Ｄｊ ｘ，Ｄｊ ｙ）だけ位置をずらし、Ｋ枚の対象図形を重ね合わせて平均化することにより、第１のテンプレートＴを得る。すなわち、第１のテンプレートＴは、
【００３５】
【数５】
【００３６】
により得ることができる。
【００３７】
以上で説明したテンプレート登録方法は、実際の図面に書かれた対象図形を平均化して利用するため、対象図形の変動も考慮され、安定した認識結果が期待できる。
【００３８】
図４は、第１の図形抽出処理３００の処理フローの実施形態例であって、３１０は２値図面、３２０は第１のテンプレート、３３０は投票処理、３４０は投票画像、３５０は検索処理、４００は第１の図形抽出結果である。
【００３９】
投票処理３３０では、入力の２値図面３１０、Ｉ（ｘ，ｙ）の上を、第１のテンプレート登録処理２００で作成したテンプレート３２０、Ｔ（ｘ，ｙ）を移動させながら、各点ごとに２値図面（部分）とテンプレートとの類似度を計算して、投票画像３４０Ｖ、（Ｘ，Ｙ）上に投票する。類似度としては例えば相関
【００４０】
【数６】
【００４１】
または、入力２値図面（部分）の値で正規化した正規化相関
【００４２】
【数７】
【００４３】
などが利用できる。
【００４４】
ただし、Φは入力２値図面とテンプレートとの重なる領域の画素の（ｘ，ｙ）座標の集合を示す。類似度としては、これら相関のほか様々な尺度が利用可能であり、大小関係は逆になるが差分の絶対値の和、ユークリッド距離などを用いても同様な結果が期待できる。相関Ｃ（Ｘ，Ｙ）（式（１））の場合を例に説明すると、投票画像Ｖ（Ｘ，Ｙ）の全ての画素値を０に初期設定した後、（Ｘ，Ｙ）の値を変えながら順次、式（１）に従って相関Ｃ（Ｘ，Ｙ）を計算し、投票画像Ｖ（Ｘ，Ｙ）を
Ｖ（Ｘ，Ｙ）＝Ｃ（Ｘ，Ｙ）
によって求める。式（１）の計算コストは必ずしも低くないが、入力図面およびテンプレートが２値のデータである場合には、積が０または１になるため、計算コストを大幅に減らすことができる。
【００４５】
この様にして得られる投票画像３４０、Ｖ（Ｘ，Ｙ）は、入力図面に対してテンプレートで畳み込んだものであるから、入力図面をぼかした様な画像になる。
【００４６】
検索処理３５０は、投票画像３４０、Ｖ（Ｘ，Ｙ）を入力として、対象図形を抽出する処理である。投票画像に於いて、投票値の大きな部分はテンプレートと類似した図形の存在する位置を表す。そこで、投票画像のうち、投票値が一定値以下で雑音と見做せる部分を除外したのち、投票値が極大値をとる位置を検出対象図形の位置と決定できる。
【００４７】
この様な方法によって決定された位置に、抽出対象図形を重ねて表示すると、図９（ｂ）の従来の第２の方法の問題点の図形抽出結果（例）１１００で示した様な第１の図形抽出結果４００が得られる。
【００４８】
以上、説明した一連の処理は、一般Ｈｏｕｇｈ変換を利用した従来の第２の方法と基本的に同じものであって、上述の様に、抽出対象図形のほか、誤って対象とは異なる図形も同時に抽出されると云う問題がある。
【００４９】
第１の図形抽出結果の登録操作５００以降の処理は、この様な誤抽出の問題を解決するためのものである。まず、第１の図形抽出結果の登録操作５００では、第１の図形抽出結果４００で得られた検出図形をテンプレートの大きさの矩形領域で切り出し、「正しく検出された図形」と「誤って検出された図形」の２種類に分類して登録する。ただし、この分類作業には、「正しい」か「誤っている」かの人間の判断が必要である。図５は、この様な方法で登録された図形の例であって、５１０は正しく検出された図形、５２０は誤って検出された図形の例を示す。
【００５０】
第２のテンプレート登録処理６００では、Ｍ個の正しく検出された図形と、Ｎ個の誤って検出された図形を基に第２のテンプレートを作成する処理である。正しく検出された図形をＴｍ ｃ（ｘ，ｙ）（≧０；１≦ｍ≦Ｍ）、誤って検出された図形をＴｎ ｅ（ｘ，ｙ）（≧０；１≦ｎ≦Ｎ）とするとき、第２のテンプレート
【００５１】
【数８】
【００５２】
によって求める。ただし、α，βは実験的に定める重み計数である。
【００５３】
式（２）に於いて、
【００５４】
【数９】
【００５５】
の値は、第１項すなわち第１のテンプレートＴ（ｘ，ｙ）の値と、第２項の正解図形の値が大きいほど大きくなり、第３項の誤り図形の値が大きくなると、
【００５６】
【数１０】
【００５７】
の値は小さくなる。すなわち、第２のテンプレート
【００５８】
【数１１】
【００５９】
の値は、第１項と第２項で大きな値を持ち、第３項が小さい値を持つ部分で大きな値となる。反対に誤り図形のみで大きな値を持つ部分では、マイナスの値をとることになる。
【００６０】
また、この式（２）の定義のほか計算コストの少ない簡易版も考えられる。例えば、式（２）の結果を適当な閾値を用いて、
−１，０，１
の３値にする方法がある。こうすると第２の図形抽出処理７００で行う相関計算が掛け算のない加減算のみで実現できるため、計算コストを大幅に減少させることができる。
【００６１】
第２のテンプレートの算出方法は、正解図形が値をもつところで大きな値、誤り図形が値を持つ部分が小さな値を取るようになっていれば、必ずしも式（２）に限定する必要はない。
【００６２】
図６は、第２の図形抽出処理７００の処理フローの実施形態例であって、７１０は２値図面、７２０は第２のテンプレート、７３０は投票処理、７４０は投票画像、７５０は検索処理、８００は第２の図形抽出結果である。本処理ブロックは、図６に示した第１の図形抽出処理３００と同一であり、異なるのは使用するテンプレートのみである。
【００６３】
図７は、第２の図形抽出処理を行った結果得られる、第２の図形抽出結果８００の一例であって、第１の図形抽出結果に含まれていた誤抽出図形が消え、抽出対象図形のみが正しく抽出されているのが判る。
【００６４】
なお、以上の説明では、円の抽出の場合を例に説明してきたが、本発明は、図面中の図形の形状をテンプレートの形で登録して抽出する方法であるから、矩形、三角形などは勿論、任意形状の図形の抽出にも適用できる。
【００６５】
また、図１〜図７を用いて説明した図形抽出方法を、コンピュータを用いて実現できることは言うまでもなく、コンピュータでその処理の手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して提供し、配布することが可能である。
【００６６】
【発明の効果】
以上説明してきた様に、本発明では、第１の図形抽出処理で得られた「正しい検出図形」と「誤って検出された図形」を利用し、これらに基づいて学習することによって第２のテンプレートを登録し、再度抽出処理を行うため、誤りなく対象図形を抽出することが可能である。
【図面の簡単な説明】
【図１】本発明の一実施形態例の処理フローを示す図である。
【図２】上記実施形態例での２値図面の例を示す図である。
【図３】（ａ），（ｂ）は、上記実施形態例での第１のテンプレート登録処理の説明図である。
【図４】上記実施形態例での第１の図形抽出処理ブロックの実施形態例を示す図である。
【図５】上記実施形態例での登録された図形の例を示す図である。
【図６】上記実施形態例第２の図形抽出処理ブロックの実施形態例を示す図である。
【図７】上記実施形態例での第２の図形抽出結果の一例を示す図である。
【図８】従来の第１の方法の問題点を説明する図である。
【図９】（ａ），（ｂ）は、従来の第２の方法の問題点を説明する図である。
【符号の説明】
１００…２値図面
２００…第１のテンプレート登録処理
２１０…２値図面
２２０…抽出対象を含む矩形領域
２３０…切り出された図形
２４０…整形して得られた図形
２５０…合成された円のテンプレート
３００…第１の図形抽出処理
３１０…２値図面
３２０…第１のテンプレート
３３０…投票処理
３４０…投票画像
３５０…検索処理
４００…第１の図形抽出結果
５００…第１の図形抽出結果の登録操作
５１０…正しく検出された図形の例
５２０…誤って検出された図形の例
６００…第２のテンプレート登録処理
７００…第２の図形抽出処理
７１０…２値図面
７２０…第２のテンプレート
７３０…投票処理
７４０…投票画像
７５０…検索処理
８００…第２の図形抽出結果
１０００…入力図面（例）
【発明の属する技術分野】
本発明は、紙の上に書かれた設備管理図面、機械設計図面、地図など、様々な図面をＣＡＤなどで扱えるベクトルデータに変換する方法に関する。
【０００２】
【従来の技術】
既存図面を自動認識する従来手法には、以下の二つの方法が考えられる。
【０００３】
第１の方法は、細線化処理や白黒の境界線を抽出する処理を行い、得られた画像上の黒点を追跡することによって、図面画像を構造化されたベクトルデータに変換するものである。この方法では、図面の局所に注目して処理するため、線分の部分的な歪みや、雑音に影響されやすいという問題があった。この結果、手書きによる筆記変動や雑音を含む通常の図面に対しては、歪みを多く含んだベクトルデータになっていた。特に、線分の交差点付近など線分が密になっている部分での歪みは著しく、例えば図８に示す例の様に、本来交差点となるべきものが複数の分岐点に別れたり、線分の交差によって図形の形状が著しく歪んだりするなどの問題があった。
【０００４】
第２の方法は、一般Ｈｏｕｇｈ変換「森 俊二、坂倉 栂子：画像認識の基礎［２］、Ｐａｇｅ１１−１４、オーム社、１９９０」などの方法で、上記第１の方法の欠点がほぼ解決できる。この方法は、図面の大部分が、直線、四角形、円など比較的少数種の基本図形から構成されることを利用したもので、予め与えるこれら基本図形と類似した形状をもつ図形を、図面中から探索する方式である。
【０００５】
【発明が解決しようとする課題】
しかしながら、この種の従来の第２の方法は、基本的に抽出対象との類似性のみに基づいて対象を抽出するため、抽出対象と区別すべき類似した対象に関する情報を使っていない。
【０００６】
このため、例えば円を抽出対象とする場合には、図９に示す様に抽出対象でない類似した形状の図形が図面中から間違って多数検出されると云う問題があった。図９（ａ）に於いて、１０００は入力図面（例）、図９（ｂ）に於いて、１１００は図形抽出結果（例）、１１０１は正しく抽出された図形、１１０２は誤って抽出された図形である。
【０００７】
本発明は、上記従来の第１の方法のような雑音や歪みの発生の問題がなく、しかも上記従来の第２の方法における誤検出の問題を抜本的に解決する図形抽出方法を提供するものである。
【０００８】
【課題を解決するための手段】
本発明は、以下に列記した発明により上記の課題を解決する。
【０００９】
第１の発明は、白黒の２値で表現された図面をベクトル情報に変換する方法であって、認識対象とする図形の特徴を重み値によって表現する第１のテンプレートを登録し、この第１のテンプレートを用いて第１の図形抽出処理を行い、この第１の図形抽出処理の結果から、ポインティング・デバイスによって指定された検出図形を切り出し、さらに正しく検出された図面と誤って検出された図形の２種類に分類して登録し、
これらの検出図形を基に、正解図形が値を持つ部分で大きな値となり、誤り図形が値を持つ部分で小さな値となる第二のテンプレートを作成し、この第２のテンプレートを用いて第２の図形抽出処理を行うことを特徴とする。
【００１０】
ここで、前記第２のテンプレートは、着目する認識対象図形とそれ以外の対象図形との差が大きくなる様に作成してもよい。
【００１１】
（２）の発明は、（１）の発明において、前記第１及び第２の図形抽出処理は、第１及び第２のテンプレートの中心を図面上の黒点に重ねながら相関を求め、その値の大きさによって図形位置を抽出することを特徴とする。
【００１２】
（３）の発明は、白黒の２値で表現された図面をベクトル情報に変換する方法をコンピュータで実行するためのプログラムを記録した記録媒体であって、
認識対象とする図形の特徴を重み値によって表現する第１のテンプレートを登録する手順と、この第１のテンプレートを用いて第１の図形抽出処理を行なう手順と、この第１の図形抽出処理の結果から、ポインティング・デバイスによって指定された検出図形を切り出し、さらに正しく検出された図面と誤って検出された図形の２種類に分類して登録する手順と、これらの検出図形を基に、正解図形が値を持つ部分で大きな値となり、誤り図形が値を持つ部分で小さな値となる第二のテンプレートを作成する手順と、この第２のテンプレートを用いて第２の図形抽出処理を行う手順とをコンピュータで実行するためのプログラムを該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。
【００１３】
ここで、前記第２のテンプレートを作成する手順では、着目する認識対象図形とそれ以外の対象図形との差が大きくなる様に該第２のテンプレートを作成するようにしてもよい。
【００１４】
（４）の発明は、（３）の発明において、前記第１及び第２の図形抽出処理を行う手順では、第１及び第２のテンプレートの中心を図面上の黒点に重ねながら相関を求め、その値の大きさによって図形位置を抽出することを特徴とする。
【００１５】
本発明では、上述の第２の従来方法の基本的な考え方を踏襲し、雑音や歪みの発生の問題を無くす。まず、図面を構成する基本図形（直線、円、三角形、四角形など）を認識対象として選ぶ。これらの認識対象毎に検索用のテンプレートを利用する。以上は、第２の従来方法と同様である。しかし、上記の様に類似した図形を判別するためには、それぞれの形状をテンプレートに記述するのみでは、不十分であり、それらの差異を強調する様にする必要がある。そこで本発明では、類似した図形との差を強調するようにテンプレートを補正する機能を付加する。テンプレートを類似図形との差異に基づいて修正するため、従来方法において多数発生していた誤検出が防止できる。この為、高い精度で図面を認識することができる。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００１７】
図１は、本発明の処理フローの実施形態例であって、１００は認識対象となる２値図面、２００は第１のテンプレート登録処理、３００は第１の図形抽出処理、４００は第１の図形抽出結果、５００は第１の図形抽出結果の登録操作、６００は第２のテンプレート登録処理、７００は第２の図形抽出処理、８００は第２の図形抽出結果である。
【００１８】
２値図面１００は、紙に書かれた図面をイメージスキャナなどのイメージ入力手段によって光電変換して得られるものであり、その一例を図２に示す。以下の説明では、白い紙の部分は値０、鉛筆など黒い線で筆記された線分の部分は値１で表されているものとする。
【００１９】
第１のテンプレート登録処理２００は、認識対象とする定型図形を初期登録する処理である。登録の方法には２つの方法がある。
【００２０】
最初の方法は、予め決められた認識対象図形の形状に合わせてテンプレートを決める簡易な方法であり、例えば、円を抽出するテンプレートの場合には、円の半径をｒとして、
ｘ２＋ｙ２＝ｒ２
なる式によってテンプレート図形を与える。この方法は、対象図形の形状が簡単な関数の形に表現できる場合に適している。
【００２１】
もう一方の方法は、実際の図面中に含まれる対象図形を切り出し、これに基づいてテンプレートを作成する方法であり、どんな複雑な形状の図形であっても容易に表現できる。
【００２２】
図３は、この方法によって円を抽出するテンプレートを作成する手順の説明図であって、２１０は２値図面、２２０は抽出対象である円を含む矩形領域、２３０は矩形領域２２０によって切り出された図形、２４０は切り出された図形２３０を整形して得られた図形、２５０は整形された図形２４０を聖ね合わせて合成した円のテンプレートである。
【００２３】
まず、マウスなどのポインティング・デバイスを用いたマニュアル操作によって２値図面２１０上の抽出対象図形を矩形領域で切り出す。切り出す矩形領域の数は１個でもよいが、実際の図形の大きさや形などの変動に対処するため、複数個切り出しておく（図３の２３０）。次に、切り出された図形から、不要な部分の削除や不足部分の補完を行い、２４０の様に形を整形する。最後に、整形して得られた複数の図形を重ね合わせて平均化し、テンプレート２５０を作成する。重ね合わせるには位置の整合が必要であるが、目視によって複数個の図形が重なる様に設定してもよいし、相関などを用いて自動的に位置合わせすることもできる。
【００２４】
自動的に位置整合を行う方法について説明する。マニュアル操作によって図面から矩形で切り出されたＫ個（Ｋ≧２）の対象図形を
Ｔ１（ｘ，ｙ），．．．，ＴＫ（ｘ，ｙ）
と表す。まず最初に適当な２つ、例えばＴｉを基準図形、Ｔｊ（ｊ≠ｉ）を被整合対象図形として選び、Ｔｊの位置のずらし量（ｄｊ ｘ，ｄｊ ｙ）を変化させながら、相関
【００２５】
【数１】
または、正規化相関
【００２７】
【数２】
の何れかを求め、これら相関係数が最大となるずらし量を位置補正量（Ｄｊ ｘ，Ｄｊ ｙ）とする。ただし、φは、対象図形ＴｉとＴｊの重なる領域の位置座標（ｘ，ｙ）の集合を示す。
【００２９】
以上の説明では、相関係数を利用した例を示したが、単純に２つの対象図形の差の絶対値の和
【００３０】
【数３】
や、ユークリッド距離
【００３２】
【数４】
などの距離値を計算し、その値が最小になる様に位置合わせしても概ね同等の結果が期待できる。
【００３４】
この様な方法によって得られる補正量（Ｄｊ ｘ，Ｄｊ ｙ）だけ位置をずらし、Ｋ枚の対象図形を重ね合わせて平均化することにより、第１のテンプレートＴを得る。すなわち、第１のテンプレートＴは、
【００３５】
【数５】
により得ることができる。
【００３７】
以上で説明したテンプレート登録方法は、実際の図面に書かれた対象図形を平均化して利用するため、対象図形の変動も考慮され、安定した認識結果が期待できる。
【００３８】
図４は、第１の図形抽出処理３００の処理フローの実施形態例であって、３１０は２値図面、３２０は第１のテンプレート、３３０は投票処理、３４０は投票画像、３５０は検索処理、４００は第１の図形抽出結果である。
【００３９】
投票処理３３０では、入力の２値図面３１０、Ｉ（ｘ，ｙ）の上を、第１のテンプレート登録処理２００で作成したテンプレート３２０、Ｔ（ｘ，ｙ）を移動させながら、各点ごとに２値図面（部分）とテンプレートとの類似度を計算して、投票画像３４０Ｖ、（Ｘ，Ｙ）上に投票する。類似度としては例えば相関
【００４０】
【数６】
または、入力２値図面（部分）の値で正規化した正規化相関
【００４２】
【数７】
などが利用できる。
【００４４】
ただし、Φは入力２値図面とテンプレートとの重なる領域の画素の（ｘ，ｙ）座標の集合を示す。類似度としては、これら相関のほか様々な尺度が利用可能であり、大小関係は逆になるが差分の絶対値の和、ユークリッド距離などを用いても同様な結果が期待できる。相関Ｃ（Ｘ，Ｙ）（式（１））の場合を例に説明すると、投票画像Ｖ（Ｘ，Ｙ）の全ての画素値を０に初期設定した後、（Ｘ，Ｙ）の値を変えながら順次、式（１）に従って相関Ｃ（Ｘ，Ｙ）を計算し、投票画像Ｖ（Ｘ，Ｙ）を
Ｖ（Ｘ，Ｙ）＝Ｃ（Ｘ，Ｙ）
によって求める。式（１）の計算コストは必ずしも低くないが、入力図面およびテンプレートが２値のデータである場合には、積が０または１になるため、計算コストを大幅に減らすことができる。
【００４５】
この様にして得られる投票画像３４０、Ｖ（Ｘ，Ｙ）は、入力図面に対してテンプレートで畳み込んだものであるから、入力図面をぼかした様な画像になる。
【００４６】
検索処理３５０は、投票画像３４０、Ｖ（Ｘ，Ｙ）を入力として、対象図形を抽出する処理である。投票画像に於いて、投票値の大きな部分はテンプレートと類似した図形の存在する位置を表す。そこで、投票画像のうち、投票値が一定値以下で雑音と見做せる部分を除外したのち、投票値が極大値をとる位置を検出対象図形の位置と決定できる。
【００４７】
この様な方法によって決定された位置に、抽出対象図形を重ねて表示すると、図９（ｂ）の従来の第２の方法の問題点の図形抽出結果（例）１１００で示した様な第１の図形抽出結果４００が得られる。
【００４８】
以上、説明した一連の処理は、一般Ｈｏｕｇｈ変換を利用した従来の第２の方法と基本的に同じものであって、上述の様に、抽出対象図形のほか、誤って対象とは異なる図形も同時に抽出されると云う問題がある。
【００４９】
第１の図形抽出結果の登録操作５００以降の処理は、この様な誤抽出の問題を解決するためのものである。まず、第１の図形抽出結果の登録操作５００では、第１の図形抽出結果４００で得られた検出図形をテンプレートの大きさの矩形領域で切り出し、「正しく検出された図形」と「誤って検出された図形」の２種類に分類して登録する。ただし、この分類作業には、「正しい」か「誤っている」かの人間の判断が必要である。図５は、この様な方法で登録された図形の例であって、５１０は正しく検出された図形、５２０は誤って検出された図形の例を示す。
【００５０】
第２のテンプレート登録処理６００では、Ｍ個の正しく検出された図形と、Ｎ個の誤って検出された図形を基に第２のテンプレートを作成する処理である。正しく検出された図形をＴｍ ｃ（ｘ，ｙ）（≧０；１≦ｍ≦Ｍ）、誤って検出された図形をＴｎ ｅ（ｘ，ｙ）（≧０；１≦ｎ≦Ｎ）とするとき、第２のテンプレート
【００５１】
【数８】
によって求める。ただし、α，βは実験的に定める重み計数である。
【００５３】
式（２）に於いて、
【００５４】
【数９】
の値は、第１項すなわち第１のテンプレートＴ（ｘ，ｙ）の値と、第２項の正解図形の値が大きいほど大きくなり、第３項の誤り図形の値が大きくなると、
【００５６】
【数１０】
の値は小さくなる。すなわち、第２のテンプレート
【００５８】
【数１１】
の値は、第１項と第２項で大きな値を持ち、第３項が小さい値を持つ部分で大きな値となる。反対に誤り図形のみで大きな値を持つ部分では、マイナスの値をとることになる。
【００６０】
また、この式（２）の定義のほか計算コストの少ない簡易版も考えられる。例えば、式（２）の結果を適当な閾値を用いて、
−１，０，１
の３値にする方法がある。こうすると第２の図形抽出処理７００で行う相関計算が掛け算のない加減算のみで実現できるため、計算コストを大幅に減少させることができる。
【００６１】
第２のテンプレートの算出方法は、正解図形が値をもつところで大きな値、誤り図形が値を持つ部分が小さな値を取るようになっていれば、必ずしも式（２）に限定する必要はない。
【００６２】
図６は、第２の図形抽出処理７００の処理フローの実施形態例であって、７１０は２値図面、７２０は第２のテンプレート、７３０は投票処理、７４０は投票画像、７５０は検索処理、８００は第２の図形抽出結果である。本処理ブロックは、図６に示した第１の図形抽出処理３００と同一であり、異なるのは使用するテンプレートのみである。
【００６３】
図７は、第２の図形抽出処理を行った結果得られる、第２の図形抽出結果８００の一例であって、第１の図形抽出結果に含まれていた誤抽出図形が消え、抽出対象図形のみが正しく抽出されているのが判る。
【００６４】
なお、以上の説明では、円の抽出の場合を例に説明してきたが、本発明は、図面中の図形の形状をテンプレートの形で登録して抽出する方法であるから、矩形、三角形などは勿論、任意形状の図形の抽出にも適用できる。
【００６５】
また、図１〜図７を用いて説明した図形抽出方法を、コンピュータを用いて実現できることは言うまでもなく、コンピュータでその処理の手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して提供し、配布することが可能である。
【００６６】
【発明の効果】
以上説明してきた様に、本発明では、第１の図形抽出処理で得られた「正しい検出図形」と「誤って検出された図形」を利用し、これらに基づいて学習することによって第２のテンプレートを登録し、再度抽出処理を行うため、誤りなく対象図形を抽出することが可能である。
【図面の簡単な説明】
【図１】本発明の一実施形態例の処理フローを示す図である。
【図２】上記実施形態例での２値図面の例を示す図である。
【図３】（ａ），（ｂ）は、上記実施形態例での第１のテンプレート登録処理の説明図である。
【図４】上記実施形態例での第１の図形抽出処理ブロックの実施形態例を示す図である。
【図５】上記実施形態例での登録された図形の例を示す図である。
【図６】上記実施形態例第２の図形抽出処理ブロックの実施形態例を示す図である。
【図７】上記実施形態例での第２の図形抽出結果の一例を示す図である。
【図８】従来の第１の方法の問題点を説明する図である。
【図９】（ａ），（ｂ）は、従来の第２の方法の問題点を説明する図である。
【符号の説明】
１００…２値図面
２００…第１のテンプレート登録処理
２１０…２値図面
２２０…抽出対象を含む矩形領域
２３０…切り出された図形
２４０…整形して得られた図形
２５０…合成された円のテンプレート
３００…第１の図形抽出処理
３１０…２値図面
３２０…第１のテンプレート
３３０…投票処理
３４０…投票画像
３５０…検索処理
４００…第１の図形抽出結果
５００…第１の図形抽出結果の登録操作
５１０…正しく検出された図形の例
５２０…誤って検出された図形の例
６００…第２のテンプレート登録処理
７００…第２の図形抽出処理
７１０…２値図面
７２０…第２のテンプレート
７３０…投票処理
７４０…投票画像
７５０…検索処理
８００…第２の図形抽出結果
１０００…入力図面（例）
Claims (4)
- 白黒の２値で表現された図面をベクトル情報に変換する方法であって、
認識対象とする図形の特徴を重み値によって表現する第１のテンプレートを登録し、
この第１のテンプレートを用いて第１の図形抽出処理を行い、
この第１の図形抽出処理の結果から、ポインティング・デバイスによって指定された検出図形を切り出し、さらに正しく検出された図面と誤って検出された図形の２種類に分類して登録し、
これらの検出図形を基に、正解図形が値を持つ部分で大きな値となり、誤り図形が値を持つ部分で小さな値となる第二のテンプレートを作成し、
この第２のテンプレートを用いて第２の図形抽出処理を行うこと
を特徴とする図形抽出方法。 - 前記第１及び第２の図形抽出処理は、第１及び第２のテンプレートの中心を図面上の黒点に重ねながら相関を求め、その値の大きさによって図形位置を抽出すること
を特徴とする請求項１記載の図形抽出方法。 - 白黒の２値で表現された図面をベクトル情報に変換する方法をコンピュータで実行するためのプログラムを記録した記録媒体であって、
認識対象とする図形の特徴を重み値によって表現する第１のテンプレートを登録する手順と、
この第１のテンプレートを用いて第１の図形抽出処理を行なう手順と、
この第１の図形抽出処理の結果から、ポインティング・デバイスによって指定された検出図形を切り出し、さらに正しく検出された図面と誤って検出された図形の２種類に分類して登録する手順と、
これらの検出図形を基に、正解図形が値を持つ部分で大きな値となり、誤り図形が値を持つ部分で小さな値となる第二のテンプレートを作成する手順と、
この第２のテンプレートを用いて第２の図形抽出処理を行う手順と
をコンピュータで実行するためのプログラムを該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする図形抽出プログラムを記録した記録媒体。 - 前記第１及び第２の図形抽出処理を行う手順では、第１及び第２のテンプレートの中心を図面上の黒点に重ねながら相関を求め、その値の大きさによって図形位置を抽出すること
を特徴とする請求項３記載の図形抽出プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12655498A JP3569626B2 (ja) | 1998-05-11 | 1998-05-11 | 図形抽出方法及びそのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12655498A JP3569626B2 (ja) | 1998-05-11 | 1998-05-11 | 図形抽出方法及びそのプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11328399A JPH11328399A (ja) | 1999-11-30 |
| JP3569626B2 true JP3569626B2 (ja) | 2004-09-22 |
Family
ID=14938050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12655498A Expired - Fee Related JP3569626B2 (ja) | 1998-05-11 | 1998-05-11 | 図形抽出方法及びそのプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3569626B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5351409B2 (ja) * | 2007-10-31 | 2013-11-27 | キヤノン株式会社 | 位置検出器、テンプレートを得る方法、露光装置及びデバイス製造方法 |
| JP5650060B2 (ja) * | 2011-06-03 | 2015-01-07 | 日本電信電話株式会社 | 画像追跡装置及び画像追跡方法 |
-
1998
- 1998-05-11 JP JP12655498A patent/JP3569626B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11328399A (ja) | 1999-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111507251B (zh) | 试题图像中作答区域的定位方法、装置、电子设备及计算机存储介质 | |
| CN110378310B (zh) | 一种基于答案库的手写样本集的自动生成方法 | |
| US6778703B1 (en) | Form recognition using reference areas | |
| CN110020692B (zh) | 一种基于印刷体模板的手写体分离与定位方法 | |
| CN113435240B (zh) | 一种端到端的表格检测和结构识别方法及系统 | |
| CN108629286B (zh) | 一种基于主观感知显著模型的遥感机场目标检测方法 | |
| US10025977B2 (en) | Method for identifying a sign on a deformed document | |
| CN111209920B (zh) | 一种复杂动态背景下飞机检测方法 | |
| JPWO2010052830A1 (ja) | 画像向き判定装置、画像向き判定方法及び画像向き判定プログラム | |
| CN111523537A (zh) | 一种文字识别方法、存储介质及系统 | |
| CN115375917B (zh) | 一种目标边缘特征提取方法、装置、终端及存储介质 | |
| CN112767358A (zh) | 基于图像特征配准的铁路电力机车故障检测方法 | |
| CN105354571A (zh) | 基于曲线投影的畸变文本图像基线估计方法 | |
| CN113158895A (zh) | 票据识别方法、装置、电子设备及存储介质 | |
| CN114445843A (zh) | 固定版式的卡证图像文字识别方法和装置 | |
| CN110705554B (zh) | 图像的处理方法和装置 | |
| CN112907612A (zh) | 一种条形码区域定位的方法和图像的矩形区域拟合的方法 | |
| JP3569626B2 (ja) | 図形抽出方法及びそのプログラムを記録した記録媒体 | |
| JP2898562B2 (ja) | ナンバープレート決定方法 | |
| JP3558493B2 (ja) | 用紙位置合わせ装置、用紙位置合わせ方法及び用紙位置合わせプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| CN115223173A (zh) | 对象识别方法、装置、电子设备及存储介质 | |
| JPH11272800A (ja) | 文字認識装置 | |
| WO2022056875A1 (zh) | 一种铭牌图像的分割方法、装置和计算机可读存储介质 | |
| CN113506306A (zh) | 多人抠图方法、系统、装置和存储介质 | |
| CN110223319B (zh) | 基于改进几何粒子滤波的动态目标实时跟踪方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040615 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040621 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090625 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090625 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100625 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100625 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110625 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120625 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130625 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |