JP5402417B2 - 画像処理装置 - Google Patents

Description

本発明は、図形と、その図形に対応する数字と、それらを対応付ける引出線とを有する画像から引出線を検出する機能を有する画像処理装置に関する。

機器のサービスや保守において交換部品の発注等に利用するパーツカタログや部品表がある。これらのパーツカタログや部品表は、交換部品の形状や部品の組み付け位置を図面にて表示し、併せて部品名称と交換発注時の部品番号を示したものである。カタログにおいては通常、個々の部品は、製品を構成する複数の集合部分（ユニット）単位にまとめて提示される。

特許文献１には、図１３に示すような紙に記載された製品の分解図ＦＦ１及び当該分解図ＦＦ１に含まれる部品の部品表ＦＦ２から構成されるカタログＦＦに対して画像認識処理を行い、分解図ＦＦ１に含まれる図形と部品表ＦＦ２に含まれる部品番号や部品名称を対応付けることで、ユーザにとって利便性の高いデータベース形式に変換して保持するパーツカタログ作成方法及び装置が開示されている。

まず、紙に記載されたパーツカタログについて簡単に説明する。図１３のような紙に記載されたカタログＦＦを用いて部品の部品番号や部品名称を知りたい場合、「１．ユーザは分解図ＦＦ１から所望の部品を探す、２．部品から伸びる引出線を辿る、３．引出線の示すインデックス番号を知る、４．インデックス番号を部品表ＦＦ２から探す。」といった四つのステップを踏む必要がある。このステップは大量の部品について調べなければならないユーザにとって負担が大きく、特に、引出線が入り組んでいたり、パーツの数が多くて部品表ＦＦ２の行数が膨大になってしまったりする場合などには、ユーザの負担は非常に大きい。

一方で、前述のようなデータベース形式になっているパーツカタログを使えば、例えば、画面に表示した分解図においてマウスで部品をクリックすると、その部品の部品番号や部品名称などを一目で知ることができるという風に、極めて簡単に部品の番号や名称を知ることができる。このため、上述の四つのステップを踏むのに比べて、ユーザの負担を大幅に減らすことが可能である。

データベース形式のカタログデータの一例を表１に示す。

この表に示すように、このカタログデータは、パーツ単体画像、境界情報、パーツ名、及び部品番号からなる。パーツ単体画像は、図１４に示されるような当該パーツの単体画像ＰＫである。このカタログデータは、各パーツについて作成される。

境界情報は、各パーツのパーツ組付図およびパーツ組付拡大図において、そのパーツが画像中のどの位置に有るかを示す情報である。画像左上隅を原点（Ｘ＝０，Ｙ＝０）とし、Ｘは右方向に、Ｙは下方向に正に増加する座標系における、そのパーツがすべて収まる長方形の左上座標及び右下座標の組合せである。図１５に示すように、パーツ単体画像ＰＫを囲む長方形の座標が含まれている。

また、パーツ名は、当該パーツの名称を表す。部品番号（発注番号）は、パーツ毎に採番される番号である。同一形状のパーツは同一番号を持つ。

図１６はデータベースから読み出され、ＣＲＴなどに表示されるパーツカタログ表示画面の一例を示している。このパーツカタログ表示画面には、部品を検索するための表示領域ＷＷ１、部品の組付状態等の画像を表示するための表示領域ＷＷ２、及び、部品単体の画像を表示するための表示領域ＷＷ３が設けられている例えば、図１３に示すパーツカタログの内容を表１に示すデータベース形式のカタログデータに変換した後に、図１６と同じパーツカタログ表示画面で表示すると、図１７に示すような内容が表示される。この場合、表示領域ＷＷ２には、分解図ＦＦ１の内容が表示され、表示領域ＷＷ３には、分解図ＦＦ１の各要素について分割して形成した部品画像がそれぞれ表示される。

ここで、図１３のような紙に記載されたパーツカタログ（以下、旧パーツカタログとも言う）からデータベース形式のパーツカタログ（以下、新パーツカタログとも言う）を作成するためには、図１３の分解図ＦＦ１で示された図面からインデックス番号と部品画像を対応付け、更に、部品表ＦＦ２で示された表からインデックス番号と、部品番号や部品名称と対応付ける必要が有る。特に分解図ＦＦ１で示された図面からインデックス番号と部品番号を対応付けるためには、引出線を検出することが重要になる。

引出線の検出方法にはいくつかの手法が提案されている。例えば、特許文献２に開示されている手法ではオペレータがマウス操作により端点を指定することで引出線を検出しているし、特許文献３では引出線の端点をオペレータが紙面上で指定すると言った手法が提案されている。

しかし、引出線を全て手作業で指定することは非常に煩雑で、オペレータに多大な負荷をかける処理であるため、自動で検出する手法もいくつか提案されている。例えば、図面から数字領域を検出し、該領域に対して交差する線分を抽出することで引出線を検出するという手法が有る。

しかし、線分を探すという画像処理は一般に非常に大きな計算量となる。例えば線分を探す一般的な手法として、ハフ（Hough）変換が挙げられるが、ハフ変換は非常に負荷の大きな処理である。ハフ変換では、まず画像を２値化して、ONとOFFの画素に分ける。その後ONの画素に対して下記の式［１］で示されるような、曲線を描画し、rθ平面において曲線がたくさん通った座標を見つける。実際にはrθ平面を所定の大きさのグリッドに分け、rθ平面が通ったグリッド領域に投票をする。全てのON画像に対してこの投票を行い、大きな投票の有ったrθを直線のパラメータとする。

ｒ＝ｙsinθ＋ｘcosθ・・・式［１］

ハフ変換では、一画素に対してrθ平面上の曲線を一本描画する必要が有る。更に、線分の正確な方向と位置を検出するためには、rθそれぞれのグリッドを細かく取る必要が有るため、一本の曲線を描画するための計算量が大きくなり、画像全体にわたって処理するには非常に大きな計算量となる。また、処理量が大きいだけでなく、更に画像に直線以外の成分が含まれると、その成分に引っ張られてたくさんの誤検出が発生するというリスクも高い。

一方、このようなハフ変換の欠点を解決した図面認識方法が特許文献４に開示されている。この図面認識方法では、図形を構成する要素のうち、文字周辺に位置し、両側に端点が有るものを引出線として検出する。これによれば、画像全体に対してハフ変換を行う処理が不要になるため、高速に引出線を検出可能である。

しかし、図１３に示すような旧パーツカタログの場合、引出線はしばしば部品画像と重なってしまうので、引出線の両側に端点が有るとは限らない。このため、この図面認識方法では引出線を正確に検出できない可能性が有る。

本発明は、以上を鑑みてなされたものであり、その目的は、図形と、その図形に対応する数字と、それらを対応付ける引出線とを有する画像から引出線を高速かつ高精度に検出することである。

本発明の画像処理装置は、図形と、その図形に対応する数字と、それらを対応付ける引出線とを有する画像から前記数字を検出する数字検出手段と、前記画像から線の端点及び交点を検出するコーナー検出手段と、前記コーナー検出手段で検出された交点を前記画像から除去することで、前記図形を要素に分解する分解手段と、前記数字検出手段、コーナー検出手段、及び分解手段の出力に基づいて、引出線を検出する引出線検出手段とを有することを特徴とする画像処理装置である。

本発明によれば、引出線が図形と重なっていても、交点を削除してから引出線を検出するので、正確に引出線を検出することができる。また、直接引出線を探索せずに、引出線の端点を検出し、引出線の端点を一端とする要素（ラベル）を引出線として検出するので、全面にハフ変換を施すことに比べると、少ない計算量で処理が可能であり、また直線以外の引出線にも対応可能である。

本発明の実施形態のデータ処理装置のブロック図である。 本発明の実施形態のデータ処理装置において、旧パーツカタログから新パーツカタログのカタログデータを作成し、データベースに登録する処理のフローチャートである。 図２の図表判定手段の処理内容を示す図である。 図３のラベリング手段の処理を説明するための図である。 図２の図面認識手段の処理内容を示す図である。 図５のコーナー検出手段における変動成分とコーナーらしさとの関係を示す図である。 図５のコーナー検出手段で変動成分を検出するためのフィルタを示す図である。 図５の分解手段による分解前後の画像を示す図である。 図５の分解手段における参照領域のサイズとコーナー検出の可能／不可能との関係を示す図である。 図５のコーナー検出手段におけるフィルタサイズとコーナー（交点）らしさとの関係を示すグラフである。 図５の端点判定手段の処理内容を示す図である。 図５のコーナー検出手段におけるフィルタサイズとコーナー（端点）らしさとの関係を示すグラフである。 旧パーツカタログを示す図である。 新パーツカタログのカタログデータにおけるパーツの単体画像を示す図である。 新パーツカタログのカタログデータにおける境界情報を示す図である。 データベースから読み出され、ＣＲＴなどに表示されるパーツカタログ表示画面の一例を示す図である。 図１３に示す旧パーツカタログにから作成した新パーツカタログの表示画面を示す図である。

以下に本発明の実施形態を添付した図面を参照して説明する。
〈データ処理装置の構成〉
図１は、本発明の実施形態のデータ処理装置のブロック図である。このデータ処理装置は、特許文献１に開示されているデータ処理装置と同様、図１３に示すような旧パーツカタログの画像から新パーツカタログデータ（新パーツカタログのカタログデータ）を作成する機能を有するものであり、特に、引出線を高速かつ高精度に検出する画像処理機能を有することが特徴である。

図１において、ＣＰＵ（中央処理装置）１は、このデータ処理装置の動作制御を行うものであり、ＲＯＭ（リード・オンリ・メモリ）２は、ＣＰＵ１が起動時に実行するプログラムや必要なデータ等を記憶するためのものであり、ＲＡＭ（ランダム・アクセス・メモリ）３は、ＣＰＵ１のワークエリア等を構成するためのものである。キャラクタジェネレータ４は、図形文字の表示データを発生するためのものであり、時計回路５は、現在日時情報を出力するためのものであり、ネットワークＩ／Ｆ（インターフェース）回路６は、このデータ処理装置をＬＡＮ（ローカルエリアネットワーク）等のネットワーク（図示せず）に接続するためのものであり、ネットワーク伝送制御部７は、ネットワークを介して、他のデータ端末装置との間で種々のデータをやりとりするための各種所定のプロトコルスイートの通信制御処理を実行するためのものである。

磁気ディスク装置８は、種々のアプリケーションプログラム、ワークデータ、及びファイルデータなどの種々のデータファイル等を記憶するためのものであり、光学媒体ドライブ装置９は、ＣＤ−ＲＯＭやＤＶＤ等の交換可能な光学記録媒体１０のデータにアクセスするためのものであり、ＣＲＴ画面表示装置１１は、このデータ処理装置を操作するための画面を表示するためのものであり、表示制御部１２は、ＣＲＴ画面表示装置１１の表示内容を制御するためのものである。キーボード装置１３は、このデータ処理装置に種々のキー操作を行うためのものであり、画面指示装置１４は、ＣＲＴ画面表示装置１１の任意の点を指示する等の操作作業を行うためのものであり、入力制御部１５は、キーボード装置１３及び画面指示装置１４の入力情報の取り込み等をするためのものである。これらのＣＰＵ１、ＲＯＭ２、ＲＡＭ３、キャラクタジェネレータ４、時計回路５、ネットワーク伝送制御部７、磁気ディスク装置８、光学媒体ドライブ装置９、表示制御部１２、及び入力制御部１５は、内部バス１６に接続されており、これらの各要素間のデータのやりとりは、主としてこの内部バス１６を介して行われる。

本実施形態では、製品のパーツカタログデータベースを磁気ディスク装置８に保存し、ユーザが当該製品について、保守部品の部品番号等を容易に知ることができるようにしている。パーツカタログデータベースに保存されるカタログデータの形式は表１と同じである。このカタログデータは、各パーツについて作成される。

図２に、旧パーツカタログから新パーツタログデータを作成し、データベースに登録する処理のフローを示す。この処理はＣＰＵ１がＲＯＭ２に格納されているプログラム、及び磁気ディスク装置８に格納されているアプリケーションプログラムを実行することにより実現される。

図１３に示したような、旧パーツカタログの画像が紙媒体で存在するものとする。その画像を読み取り手段２１にて光学的に読み取る。図１３に示す画像ＦＦには分解図ＦＦ１と部品表ＦＦ２が含まれているので、それぞれを図表判定手段２２にて、図領域３２と表領域３１に分離する。図表判定手段102の動作の詳細については後述するが、自動で図と表の分類を行うものとする。ただし、本実施形態で提示するシステムでは、図１に示したように、キーボードやマウスを用いて手作業で分類しても構わないし、自動判定の後に手作業で修正すると言った処理も容易に考えられる。しかし、説明を簡単にする為、後の処理については自動で分類が行われるだけとして説明する。

図領域３２に対しては、図面認識手段２４にて図面認識処理を行い、表１で示したパーツ単体画像、境界情報及びパーツ単体画像に対して、引出線を介して付与されているインデックス番号を認識して出力する。図面認識手段２４の詳細については後述する。

表領域３１に対してはＯＣＲ手段２３にてＯＣＲ処理を行うことで、画像データを、文字を示すバイナリーコードに変換する。表領域３１には表１で示したパーツ名(部品名称)とパーツ番号(部品番号)に加えて、図領域ＦＦ１と対応するインデックス番号（図１３では１０１〜１０４）が記されている。同じ行にあるパーツ名、パーツ番号とインデックス番号が対応するとして、インデックス番号に対する、パーツ名とパーツ番号とを出力する。尚ＯＣＲ処理は一般的な処理であるので説明を省略する。

続いてデータ作成部２５では、ＯＣＲ手段２３と図面認識手段２４の出力を比較し、同じインデックス番号を持つものを統合することで、表１で示したような新パーツカタログデータ３３を出力する。最後に、作成された新パーツカタログデータはデータベース２６に格納される。

〈図表判定手段２２〉
図３に、図表判定手段２２の処理内容を示す。この図はフローチャートであり、その各ステップを機能ブロックとして記載したものである。

画像データ３０に対して二値化手段201において閾値処理を行うことで、画像に含まれる各画素が白画素か黒画素かを判定する。ここで画像データは１画素当たり８ビット（０〜２５５）であり、値が大きいほど明るい画素とする。閾値は１２８を用いる。

続いてラベリング手段202では、繋がりを持つ画素を一つのラベルとして分類する。例えば図４Ａのように二値化された画像が有るとする。背景のラベルを０とすれば、図４Ｂのように、左上の黒い塊のラベルが１、右下の黒い塊のラベルが２といった具合にラベリングされる。

具体的なラベリング手法は、以下の通りである。左上端から走査しながら、黒画素を探索する。白画素の場合、注目画素のラベルは０である。一方、黒画素が現れた場合、隣接する左か上に黒画素が無いかを調べ、黒画素が有る場合には、隣接する画素のラベルを注目画素のラベルとする。無い場合には、新しいラベルを注目画素に付与する。以上の処理を画像の右下端まで繰り返す。

全ての画素にラベルが付与されたら、ラベル毎に外接矩形を算出する。例えば図４の例で言うと、１のラベルは左端から３〜４つ目、上端から２〜３つ目に存在するので、左＝３、上＝２、幅＝２、高＝２の矩形が外接矩形である。

続いて、領域統合手段203では、各ラベルの外接矩形同士の包含関係を調べる。例えばあるラベルＬ１の外接矩形が別のラベルＬ２の最小外接矩形に含まれる場合、ラベルＬ２だけを残して、ラベルＬ１を無視する。以上の処理を繰り返すと、表領域を示す矩形のラベルと図領域を示す矩形のラベルとが残る。

続いてピーク個数カウント手段204では、残ったラベルそれぞれに対して、縦方向に走査し、横方向に黒画素がいくつ存在するかを数える。黒画素の数が、矩形の幅に対して９割以上ならばピークとする。表領域は横方向に長い直線がいくつも存在するので、ピークがたくさん検出できるはずである。一方、図領域は横方向に長い直線が存在しない場合が多い。以上から、ピーク個数が５より大きければ表領域３１、５以下なら図領域３２と判定できる。

〈図面認識手段２４〉
図５に、図面認識手段２４の処理内容を示す。この図も図３と同様、フローチャートであり、その各ステップを機能ブロックとして記載したものである。

図面認識手段２４の処理は大きく分けると、文字検出・認識、及び引出線検出・パーツ画像検出という、２つの処理に分けることが可能であり、前者は図の左側、後者は図の右側に対応する。

《文字検出・認識》
まず文字検出・認識処理を中心に説明する。
図表判定手段２２によって図領域３２と判定された画像データを、まず、二値化手段300により二値化する。この動作は前述した二値化手段201の動作と同じであり、各画素が白画素か黒画素かを判定して、二値画像を出力するものである。続いて、二値化後の画像に対してラベリング処理を行う。これも前述したラベリング手段202の動作と同じであり、各画素のラベル及びその外接矩形が得られる。

続いて、数字領域検出手段302では各ラベルの外接矩形が数字であるかどうかを判定し、前記ラベリング手段202により得られた外接矩形のうち、数字領域であるものだけを出力する。具体的な判定処理は、以下の通りである。各ラベルの外接矩形の高さを投票し、ヒストグラムを作成後、そのヒストグラムのピークを検出する。検出したピークの高さを持つ外接矩形のラベルを数字領域と判定する。一般に図に用いられるインデックス番号のフォントサイズは一定であるので高さが一定になるのに対し、図に含まれる連続する領域の形・大きさは様々であるため、上述の処理で数字領域を判定できる。

数字領域検出手段で302インデックス番号と判定された領域の画像をＯＣＲ手段３０３により識別することにより、画像データ変換されたアスキーコード、及びその数字の外接矩形が出力される。

《引出線検出・パーツ画像検出》
次に引出線検出・パーツ画像検出について説明する。
まず図領域３２の画像データに対して、コーナー検出手段304において交点、若しくは端点を検出する。コーナー検出には、非特許文献１に記載されている手法を用いる。

この文献に記載されている手法の概略を説明する。各画素に対して、縦方向の二次微分と横方向の二次微分、及び縦横方向の微分、つまり縦方向、横方向、縦横方向の変動を求め、ヘシアンマトリクスを作って、その固有値を求めることにより、最も変動の大きい方向とその変動成分αを求めると共に、その方向に直交する方向の変動成分βを求めることができる。小さい方の変動βが十分に大きい場合、注目画素の周辺は少なくとも２つの方向に対して大きく変動しているということなので、背景ではなく、単純なエッジでもなく、コーナーとして検出できる。αとβの関係を図６に示す。尚、α≧βなので斜線部は存在しない。以上のように、小さい方の変動βを調べることで、エッジ、コーナー、バックグラウンドの判定が容易に可能になる（請求項２の効果）。この図より、βが大きいほど、コーナーである確率が高いことが分かる。以下βのことを「コーナーらしさ」と呼ぶことにする。

続いて、縦方向、横方向、縦横方向の変動成分の検出方法について述べる。図７は元画像（図領域３２の画像データ）に対して、畳み込むべきフィルタを示している。図７Ａが横方向の変動成分を検出するフィルタ、図７Ｂ、Ｃが縦横方向の変動成分を検出するフィルタ、図７Ｄが縦方向の変動成分を検出するフィルタである。図７では、注目する範囲、つまりフィルタのサイズは９×９であるが、実際には、様々なサイズのフィルタを用い、その応答の変動を画素毎に保持する。図示した９×９のほか、３×３、５×５、７×７、１１×１１、１３×１３、１５×１５の８種類のサイズを利用する。コーナー検出手段304は、周辺に対して、極大であるか否か、及び８種類のサイズのフィルタの中でどのサイズにおいて極大であったかをコーナー情報として出力する。

続いて、分解手段305について説明する。パーツカタログに含まれる画像においては、図８に示すように、パーツ単体画像110と、引出線111とが繋がっている場合が多々ある。そのため、引出線111を検出するために事前にこれらを分解して、図８Ｂのようにするのが分解手段305である。分解手段305は、コーナー検出手段304により得られたコーナー情報を用いてコーナーらしい領域を算出し、二値化手段300により得られた画像から差し引くことによって画像を分解する。本実施形態の肝要な部分であるので、具体的な分解手法については後に詳述する。

続いて、分解された画像に対して、ラベリング手段306においてラベリング処理を行う。このラベリング処理については、前述したラベリング手段202の動作と同じであり、各画素のラベル、及びその外接矩形が得られる。

端点判定手段307はコーナー検出手段304により得られたコーナー情報と、数字領域判定手段302により得られた数字領域の矩形から引出線の端点の座標を出力する。詳細な処理については後述する。

引出線判定手段308ではラベリング手段306により得られた外接矩形のうちで四隅のいずれかに、端点判定手段307により得られた端点の座標が存在するか否かを判定し、存在する場合の矩形を出力する。対応付け手段309では引出線の端点付近に存在する数字と、パーツ単体画像とを対応付けて出力する。

以上の構成により、引出線がパーツ単体画像と重なっていても、交点を削除してから引出線を検出するので、正確に引出線を検出することができる。また、直接引出線を探索せずに、引出線の端点を検出し、引出線の端点を一端とするラベル（要素）を引出線として検出するので、全面にハフ変換を施すことに比べると、少ない計算量で処理が可能であり、また直線以外の引出線にも対応が可能である。

ところで、コーナー検出手段304に入力される画像は二値化後の画像でないことが望ましい。二値化後の画像において特に斜線では、線のジャギーが激しくなり、ジャギーの発生しているところを微視的に見ると、２方向に大きく変動してしまっているので、コーナーとして誤検出されてしまうからである。本実施計形態では、二値化前の画像データを入力しているので、この誤検出を防ぐことができる（請求項６の効果）。

［分解手段305］
本実施形態の肝要な手段である分解手段305について詳述する。分解手段305は、前述の通り複数の交点からなる図８Ａのような画像を図８Ｂのように分解する。コーナー検出手段304により得られたコーナー情報は前述の通り二以上の方向へ変動する領域なので交点を検出することが可能であり、検出したコーナー付近を二値化画像から差し引けばよいのであるが、検出したコーナーのどれぐらい周辺を元画像から差し引くかが問題である。例えば、検出したコーナー付近の小さすぎる範囲を元画像から差し引けば、太い線の交点では画像が十分に分解されず、引出線とパーツ単体画像とを分離できない。一方で、大きすぎる領域を元画像から差し引けば、短い引出線がなくなってしまう。そこで、参照領域の大きさにより、コーナーとして検出できるか否かが変化するという現象を利用する。

例えば、図９において、各矩形は一画素を示し、白い画素が背景、微細な点を付与した画素が線を示し、×で示した画素を注目画素、太線で示した矩形を参照領域とする。図９Ａでは３×３を参照領域としているが、この参照領域では画素が全く変動しておらず、二方向どころか一方向の変動も無いため、３×３領域で見ると注目画素はコーナーではない。一方で、図９Ｂのように５×５を参照領域とすると、参照領域は縦方向と横方向に変動しており、コーナーとして検出できる。

以上のように、参照領域のサイズを変えて、コーナー検出を行うことで交点の大きさが分かる。これを利用して、元画像から差し引くサイズを制御すれば、過不足なく交点を削除できる（請求項３、請求項４の効果）。

より具体的には、コーナー検出手段304は周辺に比べてコーナーらしいか、及びどのサイズの参照領域で、最もコーナーらしいかを出力するので、注目画素の周辺に対して、その出力されたサイズの参照領域を二値化画像から差し引くことにより、最適に画像を分解することができる。

更に言うと、コーナー検出手段304の出力するコーナーらしさ（小さい方の変動β）は図１０に示すように、ピークを示す参照領域のサイズよりも小さな参照サイズで十分にコーナーらしい値を出力することも多々ある。

実際に図９の例などでは、ピークを示す参照領域は９×９であり、そのまま使うと大きすぎる領域を二値画像から差し引いてしまう。そのため、コーナー検出手段304の出力サイズは、ピークのサイズを使うのではなく、コーナーらしさの値に所定の閾値処理を施し、閾値を超える最小サイズに設定すると、更に良好に画像を分解できる。同様に、ピークを検出したサイズよりもやや小さいサイズ、例えば９×９でピークを検出したなら、差し引く領域のサイズを５×５にするなどでも同様の効果が得られる（請求項５の効果）。この差し引くサイズの検出は、コーナー検出手段304で担当しても良いし、コーナー検出手段304でピークだけを検出し、分解手段305で調整しても良い。

なお、本手法と同様に、参照領域を変えながら、コーナー検出を行う技術として、非特許文献２に記載されている手法が挙げられる。この手法は、非特許文献１に記載されている手法を様々なサイズに適用し、基準サイズを求める点で本手法と同様である。しかし、非特許文献２に記載されている手法は画像を認識するために利用される技術であり、引出線を検出するだけでなく、画像を分解するために利用している本手法とは異なる。更に、非特許文献２に記載されている手法では、本手法のように画像の分解に主眼を置いていないので、検出したピークのサイズをそのまま利用している点でも本手法とは異なる。

［端点判定手段307］
続いて端点判定手段307について説明する。ここまで述べたように、コーナー検出手段304では２つの方向に変動が存在する領域の中心をコーナーとして検出する。端点判定手段307は図１１に示すフローに従って、コーナーが端点であるか否かを判定する。

まず、領域毎に距離判定手段401において、数字領域判定手段302により出力される各数字領域３４について、近傍コーナー３６を１０個選定する。一般に数字に対応付けられた引出線の端点は数字の近傍に存在することが多いため、数字領域から近いコーナーが引出線の端点であるかを判定すると精度良く引出線を検出できる（請求項８の効果）。一方で、引出線ではない交点や端点が数字近傍に存在することもあるので、ここでは一つに絞らず数字近傍のコーナーをいくつか選定するにとどめる。

続いて対応ラベル検出手段402では、ラベリング手段306の出力する外接矩形のラベル３５を、近傍コーナー３６と比較し、近傍コーナー３６を含む外接矩形のラベルを選定する。その後、方向判定手段403では、そのラベルの外接矩形の対角線のうち、近傍コーナー３６を含むものを抽出し、その対角線が数字向きであるものだけを選定する。この時点で端点の候補となるコーナーがなくなった場合は、総合判定手段405により、最近傍のコーナーが選択される。

一般に引出線は数字の方向を向いていることが多いため、数字の方向を向いた端点を引出線の端点として検出すれば、精度良く引出線を検出できる（請求項１０の効果）。尚、近傍コーナー３６が引出線の端点であった場合、そのラベルの対角線の方向は引出線の方向とほぼ一致するので、ここに示した構成で、高速に方向判定が可能である。

更に、参照領域判定手段404では、参照領域に対する、前述のβで示した、コーナーらしさの応答のピークが、小さい参照領域において得られたものを選択する。以上のような構成とした理由について、以下に説明する。本手法において交点だけではなく線の端点がコーナーとして検出されるのは、線が幅を持っており、微視的に見ると、矩形になることに起因する。

つまり、巨視的に見ると線の端点はコーナーとして検出されにくくなるので、線の端点のコーナーらしさは一般的に、図１２のような応答を示すことが多い。一方、交点は微視的に見るとコーナーではなく、巨視的に見るとコーナーであることが多いので、図１０のような応答を示すことが多い。端点判定手段307において検出したいのは端点であるので、コーナーが検出された参照領域が小さいものを優先的に選択することで、図１２のような応答を示しやすい端点を検出しやすくなり、引出線を正しく検出できる可能性が高まる（請求項９の効果）。

尚、この時点で複数のコーナーが残っていた場合には、総合判定手段405により最も近傍のコーナーを端点として検出する。以上のように総合判定手段405では、検出した数字領域一つにつき、コーナーを一つだけ引出線の端点として検出するが、一般に一つの数字に対応する引出線はひとつであるため、引出線の誤検出を最小限にとどめることができる（請求項７の効果）。

以上詳細に説明したように、本実施形態のデータ処理装置は下記（１）〜（９）の効果を有する。
（１）引出線がパーツ単体画像と繋がっていても、交点を削除してから引出線を検出するので、正確に引出線を検出することができる。また、直接引出線を探索せずに、引出線の端点を検出し、引出線の端点を一端とするラベル（要素）を引出線として検出するので、全面にハフ変換を施すことに比べると、少ない計算量で処理が可能で、また直線以外の引出線にも対応可能である。

（２）縦方向、横方向、縦横方向の変動から主たる変動αとβを算出し、小さい方の変動βを調べることで、エッジ、コーナー、バックグラウンドの判定が容易になるため、高速、かつ正確に交点を検出することができる。

（３）参照するサイズを変えて、コーナー検出を行うことで交点の大きさが分かる。これを利用して、元画像から差し引くサイズを制御することで、過不足なく交点を削除して画像を分解することができる。

（４）参照するサイズを変えながら、小さい変動βを観測すると、実際に削除するべき大きさはβが最も大きくなる大きさよりも小さいサイズであるので、最も大きくなる参照サイズよりも小さなサイズを用いて画像を分解することで、過不足なく画像を分解することができる。

（５）コーナー検出手段304に入力される画像が二値化後の画像でないことで、二値化後の画像を入力した場合に発生する問題である、ジャギーが発生している斜線部をコーナーとして誤検出する問題の発生を回避することができる。

（６）一般に一つの数字に対して対応付けられる引出線は一つであるので、検出する端点を一つに絞ることで、端点の誤検出を防ぐことができる。
（７）数字に対応付けられた引出線の端点は数字に近い位置に存在することが多いことを利用して、数字に近い引出線を優先的に端点と検出することで端点の誤検出が少なくなる。

（８）コーナーが検出された参照領域が小さいものを優先的に選択することで、端点を検出しやすくなり、引出線を正しく検出できる可能性が高まる。
（９）数字に対応付けられた引出線は数字領域の方向を向いている可能性が高いことを利用し、数字方向を向いている引出線を優先的に引出線と検出することで、引出線の誤検出が少なくなる。

なお、以上の実施形態では、旧パーツカタログの画像が紙媒体で提供されている場合について説明したが、旧パーツカタログの画像が光学記録媒体１０やネットワークＩ／Ｆから電子データ（ビットマップデータ）として提供される場合は、図２の読み取り手段２１の処理を省略することで、同様に新パーツカタログデータを作成することができる。

300・・・二値化手段、302・・・数字領域検出手段、304・・・コーナー検出手段、305・・・分解手段、306・・・ラベリング手段、308・・・引出線検出手段、401・・・距離判定手段、403・・・方向判定手段、404・・・参照領域判定手段、405・・・総合判定手段。

特開２００７−３３４７８３号公報 特許第３６３５７１４号公報 特開２００７−３３４７８３号公報 特開平１０−１３４１４４号公報

C. Harris and M. Stephens (1988). "A combined corner and edgedetector" Herbert Bay, TinneTuytelaars and Luc Van Gool "SURF: Speeded Up Robust Features",Proceedings of the 9th European Conference on Computer Vision, Springer LNCSvolume 3951, part 1, pp 404-417, 2006.

Claims (8)

1. 図形と、その図形に対応する数字と、それらを対応付ける引出線とを有する画像から前記数字を検出する数字検出手段と、
   前記画像から線の端点及び交点を検出するコーナー検出手段と、
   前記コーナー検出手段で検出された交点を前記画像から除去することで、前記図形を要素に分解する分解手段と、
   前記数字検出手段、コーナー検出手段、及び分解手段の出力に基づいて、引出線を検出する引出線検出手段と
   を有することを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置において、
   コーナー検出手段は、画像の縦方向、横方向及び縦横方向の変動を算出する変動算出手段と、算出された変動を並べてマトリクスとし、そのマトリクスの固有値を算出する固有値算出手段と、算出された固有値の大小を比較する比較手段と、小さい方の固有値を用いてコーナーを検出する手段とを有することを特徴とする画像処理装置。
3. 請求項２記載の画像処理装置において、
   固有値算出手段は複数サイズの参照領域において固有値を算出し、
   分解手段は、どのサイズの参照領域でコーナーが検出されたかに応じて、処理を切り替えることを特徴とする画像処理装置。
4. 請求項３記載の画像処理装置において、
   分解手段はコーナー検出手段により検出されたコーナーの周辺を背景にすることで画像を分解し、該コーナーの周辺の大きさを、どのサイズの参照領域でコーナーが検出されたかによって切り替えることを特徴とする画像処理装置。
5. 請求項４記載の画像処理装置において、
   分解手段は、コーナー検出を行うために利用する固有値が最大となる参照領域のサイズよりも小さな参照領域のサイズをコーナーの周辺として、背景にすることを特徴とする画像処理装置。
6. 請求項１記載の画像処理装置において、
   画像データに含まれる各画素を白、もしくは黒と判定する二値化手段を具備し、該二値化手段の結果を引出線検出に利用するが、コーナー検出手段には二値化前の画像データを入力することを特徴とする画像処理装置。
7. 請求項１記載の画像処理装置において、
   引出線検出手段は、コーナー検出手段により検出されたコーナーのうち、引出線の端点であるものを判定する端点判定手段を具備し、該端点判定手段は、数字領域判定手段により検出された数字領域一つに対して一つの端点を判定することを特徴とする画像処理装置。
8. 請求項１記載の画像処理装置において、
   引出線検出手段は、コーナー検出手段により検出されたコーナーのうち、引出線の端点であるもの判定する端点判定手段を具備し、該端点判定手段は、数字領域判定手段により検出された数字領域一つに対して、最も近い領域にあるものを優先的に端点と判定することを特徴とする画像処理装置。

Images