JP4477468B2

JP4477468B2 - 組み立て図面の装置部品イメージ検索装置

Info

Publication number: JP4477468B2
Application number: JP2004302328A
Authority: JP
Inventors: ▲りゅう▼汝杰; 孝之馬場; 進遠藤; 秀一椎谷; 祐介上原; 大器増本
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2004-10-15
Filing date: 2004-10-15
Publication date: 2010-06-09
Anticipated expiration: 2024-10-15
Also published as: CN1760860B; US20060082595A1; JP2006113922A; CN1760860A

Description

本発明は、組み立て図面の装置部品イメージを抽出し、照合する装置及び方法に関する。

すでに紙の形で存在する技術図面を効率的に管理し、検索することは、早急に解決を迫られる問題である。統計データによると、技術図面の数は、アメリカとカナダのみで、１９９０年代の初めに、３５億枚に達しており、毎年約２６００万枚が増えている。これらの図面をファイリングし、参照し、管理する年間コストは１０億ドルを超えている。最近、主に、技術図面の理解と、内容の照合、検索等を含む、効率の改善と維持コストの削減のための技術図面の電子管理方法を研究し始める研究者が現れた。

内容に基づいた技術図面の照合と検索は、応用上非常に重要である。例えば、技術者がある製品の設計または改良を計画するとき、以前の技術図面が参照される。したがって、この場合、従来では必要な図面を見つけるために図面を一つ一つ閲覧しなければならず、多くの時間と労力を消費する。この問題を解決するために、テキスト内容に基づいた検索が提案されている。これは、例えば、キーワードインデックスとして、テキストタグを各図面に添付するものである。この情報はグラフィカルな文書を全体として検索するのには便利であるが、何百万もの図面にラベル付けしなければならず、大きな労力を必要とする。更に、そのようなテキストによる図面内容の記述は、照合のために用いられるイメージの全てに完全に網羅的に対応することができず、また、質問イメージに対応する構成の技術図面内での位置を通常は示すことが出来ない。図面の内容に基づいた自動検索照合技術が得られれば、そのような図面を検索する効率は劇的に改善し、技術図面の管理コストが大きく削減される。

公知の技術の一つは、Ｆ−シグネチャを用いて技術図面プリミティブを照合するものである。非特許文献１を参照されたい。しかし、この方法は、技術図面内の分離されたプリミティブを照合し、検索することが出来るのみであり、部分検出や部分比較は実現されない。したがって、応用範囲も限定されている。

ＰａｓｉＦｒａｎｔｉは、ハフ変換を用いたグローバルな線の特徴を用いて内容に基づいた技術図面の検索を行うことを提案した。非特許文献２を参照されたい。また、この方法は、各技術図面を全体として扱い、部分的比較は対象としていない。更に、線の特徴は、線と曲線で出来た図面などの比較に有効であるのみで、応用範囲を限定する要因となっている。

他の公知の方法は、データベースから、テキストとグラフィック構造情報を用いて、質問イメージと似た装置部品を含む技術図面を検索する。特許文献１を参照されたい。この方法は、入力としてテキストを入力し、テキストによる幾何記述からインデックスを参照し、最後に、質問イメージに対応する部品の存在を技術図面内に確認する。したがって、この方法は、本質的にテキスト検索モードに依存している。
S. Tabbone, L. Wendling, K. Tombre, Matching of graphical symbols in line-drawing images using angular signature information, International Journal Document Analysis and Recognition, volume 6, issue 1, June 2003 Pasi Franti, Alexey Mednonogov, Ville Kyrki, Heikki Kalviainen, Content-based matching of line-drawings using the Hough transform, International Journal of Document Analysis and Recognition, volume 3, issue 2, December 2000 米国特許５、８４５、２８８号明細書

以上のように、図面の内容に基づいた検索、照合技術は、研究開発が始められたばかりであり、十分な技術が開発されていない。
本発明の課題は、図面に含まれる装置部品と質問イメージを比較することによって、組み立て図面内の質問装置部品イメージに対応する装置部品イメージを検索することができる組み立て図面内の装置部品イメージ検索装置を提供することである。

本発明の装置部品イメージ検索装置は、技術図面の装置部品のイメージと質問イメージとを照合する装置部品イメージ検索装置であって、技術図面に引かれている罫線を検出し、技術図面を１以上の小領域に分割する分割手段と、該小領域が、主にテキストを含んでいるテキスト領域か、テキスト以外の内容を主に含んでいる非テキスト領域かを判定する非テキスト領域判定手段と、該非テキスト領域について、装置部品イメージを抽出する抽出手段と、質問イメージと、抽出された装置部品イメージとを照合する照合手段とを備えることを特徴とする。

本発明によれば、効果的な、図面の内容に基づいた組み立て図面装置部品抽出照合装置を提供することができる。

組み立て図面は、技術図面でも特別かつ重要な種類のものであり、通常、装置を構成する部品と、これらの部品がどのように組み立てられるかを示すのに使われる。実際の応用では、特定の装置部品を含むデータから全ての図面を検索するのが通常である。このため、本発明の組み立て図面装置部品抽出比較装置は、組み立て図面から装置部品イメージを抽出し、質問装置部品イメージと比較する。そして、組み立て図面からテキスト領域を除去するレイアウト解析ユニットと、併合分離プロセスで、各装置部品をグループ化する装置部品抽出ユニットと、組み立て図面内から質問イメージに対応する部品のイメージを検出する機能を実現するための、抽出された装置部品イメージを質問部品イメージと比較する装置部品比較ユニットとからなる。

レイアウト解析の目的は、図面の中でグラフィック領域をテキスト領域から分離することである。これは、組み立て図面内に現れる罫線で構成されるテーブル状の領域を処理することから始める。全図面を取り囲む余白に基づいて、文書ページの方向を評価し、図面の傾きを直す。そして、図面は、この余白の構成にしたがって、粗い領域に分割されると同時に、これらの領域が、投影ヒストグラム特性に基づいて、テキスト領域と非テキスト領域にラベル付けされる。次に、これらの非テキスト領域は、再帰的により小さな領域に、余白帯の部分で分離され、この処理を更なる分離が行えなくなるまで続ける。

装置部品抽出は、テキスト領域はグラフィックコンポーネントが無く、装置部品照合検索に必要ないので、上記で得られた非テキスト領域に対してのみ行われる。装置部品抽出は、画素の連結成分解析によって行う。最初、他の連結成分の輪郭内の全ての連結成分が併合され、装置部品が互いに分離されるのを防ぐ。そして、分離処理で、補助線で接続された装置部品を分離する。この処理で、分離領域は、１つだけの装置部品を含むように処理される。

レイアウト解析と装置部品抽出の結果として、組み立て図面に含まれる装置部品は、各イメージに分離される。したがって、質問装置部品イメージと組み立て図面を照合することは、質問部品イメージとこれらの分離された装置部品イメージを照合するものとなる。このため、グリッドにイメージを分割し、特徴量をフーリエ変換で求める処理が行われる。

質問装置部品イメージと組み立て図面を照合することは、いわばオブジェクトを検出する問題で、目的領域の位置、大きさ、方向を同時に考慮しなくてはならない。本発明では、組み立て図面内の装置部品イメージは、最初に抽出され、目的領域の位置の決定問題は、容易に解決される用になっているので、照合処理を簡単且つより効率的に実現する。

図１は、本発明に従った組み立て図面の装置部品抽出照合装置の構成を示すブロック図である。
組み立て図面の装置部品抽出照合装置は、レイアウト解析ユニット１０、装置部品抽出ユニット１１、装置部品比較ユニット１２の３つのユニットからなる。

入力組み立て図面イメージは、２値画像が好ましく、非２値画像が入力される場合には、２値化処理を予め施しておく。
１．レイアウト解析ユニット１０
一般に、組み立て図面のイメージは、テキストとグラフィック領域の組み合わせである。テキスト領域は、通常、名前や組み立ての種類などの装置部品を記述する。しかし、これらのテキスト領域は、イメージに基づいた装置部品照合検索には有効ではない。レイアウト解析の目的は、図面のグラフィック領域からテキスト領域を分離除去することである。

１．１余白検出及び向き補正
組み立て図面の明白な特徴の一つは、図面全体を囲むように余白があることである。一般に、余白は、組み立て図面のページ全体をカバーし、図面の有効領域を示す。この他に、余白は、通常、グラフィック領域、テキスト領域、タイトル領域などの異なる機能領域に図面文書を分けるのに用いられる。

図面イメージの連結成分は、以下の条件を満足する場合、余白と決定される。
（１）画素が隣接して繋がって構成される連結成分と図面イメージの大きさの比が所定閾値より大きい。（この閾値は、当業者によって適宜設定されるべきものである。）
（２）イメージ構成する画素の数が背景の画素の数よりずっと少ない。
（３）連結成分が他の連結成分に含まれていない。
（４）連結成分が直線のみで形成されている。

これらの条件を満たす領域を発見するアルゴリズムは、本発明の属する技術分野では良く知られていると考えられるので、詳細な説明は省略する。
更に、余白を構成する直線の向きを解析することにより、図面文書の方向が計算され、図面文書の向き補正を実行できる。

１．２テーブル検出及びテーブルに基づく分離
ここでは、図面文書に引かれる罫線によって形成される長方形の部分領域からなる構造をテーブルと呼ぶ。テーブル検出は、投影ヒストグラム特性に基づいて実行される。投影ヒストグラムは、画素値を水平方向あるいは垂直方向に加算して、各画素の行あるいは列についてヒストグラムとしたものである。以下では、「行あるいは列」を単に「行」と記載する。テーブル決定に使用される基準は以下のとおりである。
（１）テーブル線に対応する水平、あるいは、垂直投影ヒストグラムの各行の加算画素値は、一般に大きな値となり、線の幅が同じような値となる。
（２）水平、垂直の２つの投影ヒストグラムの、テーブル線以外の行の加算画素値は、その分布が、分散が小さく、ピークが非常に小さいものとなる。

この処理により、画素の連結成分は、テーブル線であるか否かに分類される。同時に、テーブル線の位置は、ヒストグラムから、画素値が非常に大きい行として決定できる。
図２（ａ）は、水平及び垂直投影ヒストグラムのテーブルと、これが作られた図面文書のテーブルを示す図である。

テーブル検出及びテーブル線決定の後、各テーブルのグリッドが得られる。ここで、グリッドは、罫線によって分離される長方形の領域である。最初に、図面は、テーブル領域が検出されたテーブル線の位置で、複数の長方形のグリッドに水平垂直方向に分割される。この最初のグリッドは、罫線（テーブル線）によっては分断されておらず、これらのグリッドの組み合わせでテーブルの全領域をカバーする。

図２（ｂ）は、実際のテーブルと最初のテーブル線検出によって得られたテーブルとの関係を示す図である。
図２（ｂ）を参照すると、図２（ａ）の最初のテーブルの分離結果が示されている。ここで、薄い線は、実際のテーブルの線を示している。次に、この最初の分離されたグリッドが、領域成長法により、以下のように、自然なテーブルグリッドに結合される。

図３は、グリッドのテーブル結合処理を説明する擬似コードである。
まず、LabelNumberが０に設定される。次に、全てのグリッドにLabelNumber＝０を設定する。次に、LabelNumberが０のグリッドを見つけ、GridにLabelNumberが０のグリッド番号を設定する。ここで、グリッド番号は、上記テーブル検出の際に、既に各グリッドに与えられているものとする。次に、処理するグリッドのLabelNumberを１つ増加し、当該グリッドのデータのスタックのラベルのデータとして、LabelNumberを設定する。そして、Stack.pushでGrid番号で示されるデータスタックに、データを書き込む。次に、スタックが空でないものを見つけ、Stack.popupでGridにデータを読み出す。そして、そのグリッドの右側のグリッドのデータをGridRightに読み出す。グリッドの番号とその位置関係は、テーブル検出に際に既に得られているものとする。

次に、Gridで示されるグリッドとGridRightの間に罫線が存在するか否かを検出する。この検出方法としては、さまざまな方法が知られているが、一例としては、元の図面データの対応する部分をスキャンして、罫線があるか否かを判断する。

罫線がないと判断された場合には、GridRightのラベル番号をGridのラベル番号と同じ値としてGridRightのグリッドにデータを書き込む。
以上の処理を当該グリッドの上下左右について行い、更に、全てのグリッドについて処理して、グリッドの結合処理を終了する。

以上の処理により、全ての最初のグリッドにはラベルが与えられ、同じラベルのグリッドは、本来のテーブルグリッドに結合される。
これらの本来のテーブルグリッドによれば、図面文書は、複数の粗い領域に分割される。これらのグリッドが余白から得られた場合は、これらのグリッドの組み合わせにより、全文書をカバーするか、あるいは、追加の領域がこれらの領域の結合を完全にするために加えられなくてはならない。余白や他のテーブルが無い場合には、テーブルに基づく分割処理はこれ以上必要ない。

１．３テキスト領域特定
段落のテキストラインは、縦あるいは横に配列されており、ほぼ同じ幅を持っており、更に、白帯（下地，空白部分）によって分断されるように分布されている。テキストラインの文字の分布は、段落のテキストラインのように、縦あるいは横に配列され、同様の幅で、白帯によって分断されている。これらの特徴より、テキスト領域は、投影プロファイルにより他の領域と区別できる。

最初に、各グリッド内の所定の領域の投影プロファイルを計算する。この領域は、各連結成分が含まれる領域であり、この小さな領域についてヒストグラムを作る。所定の領域は、各グリッドを基本とし、そこから、白帯によって分割されている場合には、この白帯によって分割された領域とする。すなわち、各連結成分の包絡長方形に含まれる画素が１に設定され、所定の領域の他の画素が０に設定される。スムージング処理が投影プロファイルの詳細量を制御するために適用される。スムージングの前と後に得られた投影プロファイルは、それぞれオリジナルプロファイル、スムーズプロファイルと呼ばれ、Ｐ^O、Ｐ^Sで表され、
Ｐ^S＝Ｐ^O×ｆ、ここで、ｆは、ある種のフィルタ
である。

図４（ａ）は、所定領域と、そのオリジナルプロファイルとスムーズプロファイルを示す図である。
次に、スムーズプロファイルの極大、極小を求めるために、スムーズプロファイルの傾きである第１微分を以下のように定義して計算する。

ここで、ｐ^S _nとｄ_nは、スムーズプロファイルの行の画素値とこのプロファイルの第１微分であり、ｎは、行のシーケンス番号であり、ｗは当業者が適宜設定すべきものである。

図４（ｂ）は、図４（ａ）のスムーズプロファイルの第１微分を示す図である。
この後、スムーズプロファイルの第１微分が０となる点（ゼロ点）は、各テキストラインの境界線を得るために用いられる。
（１）スムーズプロファイルの極大、極小点を見つける。以下の条件を満たすゼロ点は、それぞれスムーズプロファイルの極大、極小に対応する。
ＭＡＸ_n＝｛ｎ｜ｄ_n＞０及びｄ_n+1≦０｝
ＭＩＮ_n＝｛ｎ｜ｄ_n＜０及びｄ_n+1≧０｝
あるいは、極大、極小は、一点ではなく、線分に対応する場合がある。この場合、上記式は以下のようになる。
ＭＡＸ_n＝｛ｎ｜ｎ＝（ｉ＋ｊ）／２、ｄ_j-1＞０及びｄ_j+1＜０及びｄ_m＝０、ｉ≦ｍ≦ｊ｝
ＭＩＮ_n＝｛ｎ｜ｎ＝ｉ・・・ｊ、ｄ_j-1＜０及びｄ_j+1＞０及びｄ_m＝０、ｉ≦ｍ≦ｊ｝
（２）境界線検出。上記で得られた各極大は、１つのテキストラインに対応すると考えられる。極小とオリジナルプロファイルを用いて、各テキストラインの境界線が以下の通り決定される。

各極大点から両方向に極小点あるいはオリジナルプロファイルのゼロ点を探す。最初に出会う極小点あるいはオリジナルプロファイルのゼロ点をこの方向の境界線とする。他の極大点に出会う前に、そのような点が見つからなかった場合には、現在の極大点は破棄する。

図４（ｃ）は、図４（ａ）の領域の各テキストラインの境界線を示す図である。
（３）特徴抽出。ここまでで、境界線の組とこれらに対応する極大が得られており、｛（ｌ¹ _n、ｍ_n、ｌ² _n）｜ｌ¹ _n＜ｍ_n＜ｌ² _n、ｎ＝１・・・Ｎ｝と表す。ここで、ｎは、所定領域に含まれるテキストラインを番号付けるインデックスである。このインデックスは、現在処理している所定領域についてそれぞれ与えられるものであり、ｎについて加算する等を行うと、テーブル検出で得られた所定のグリッドの内の所定の領域について加算等を行うことになる。

図５は、テキスト行を各連結成分で規定される包絡長方形に分割した様子を示す図である。
これらに基づいて、３つの特徴量をテキスト領域特定のために計算する。
−ディメンショナルユニフォーミティ、ＤＵ、は、テキストラインの幅の均一性を計る。

ここで、ｌ_nはテキストラインの幅で、Ｍはテキストラインの幅の平均値、varはテキストラインの幅の分散である。
−カバーリングユニフォーミティ、ＣＵ、テキストラインの文字の分布を計る。境界線［ｌ¹ _n、ｌ² _n］によって形成される帯によって分けられた、この帯に含まれる、文字などを構成する画素の連結成分をｃ_i、ｉ＝１・・・Ｉと表し、これらの連結成分を囲む包絡長方形の高さと中央位置をｈ_i、ｔ_i、ｉ＝１・・・Ｉと表すと、この帯のカバーリングユニフォーミティは、

とする。ここで、σは、当業者が適切に設定するものとする。また、ＣＵは、所定領域に含まれる全ての帯の平均のカバーリングユニフォーミティとして定義される。ここで、Ｈ_iはテキストラインに含まれる連結成分の幅がテキストラインの幅に含まれると１で、含まれないと小さな値となる関数であり、Ｔ_iは、連結成分の中心の位置がテキストラインの幅に含まれると１、はみ出ると０となる関数である。これらの関数を使用することにより、連結成分の幅がテキストラインに含まれ、且つ、連結成分の位置がテキストラインの幅に含まれる場合は大きい値、そうでない場合は０あるいは小さな値となるような関数を作っている。

ここで、ＣＵは、所定領域内の平均である。
−極小極大比、ＭＭＲ。上記で検出された極小は、一般に、２つのテキストラインの間のスペースに対応し、したがって、スムーズプロファイルにおいて、非常に小さい値を取る。ＭＭＲは、したがって、この特徴を特徴付けるように定義する。

ここで、ＭＭＲの定義は、テキストラインの境界線の画素値の和を極大値で割った値を所定領域内に渡って平均したものである。

これらの３つの特徴量から、テキスト領域は、閾値を設ける等により、他の領域と容易に判別することができる。
例えば、ディメンショナルユニフォーミティは、０に近い値で、カバーリングユニフォーミティは、１に近い値で、極小極大比が０に近い値である場合にテキスト領域と判断する。

テキスト領域の方向が決定できないときは、縦方向と横方向の両方の投影ヒストグラムを解析し、この領域は、一方の投影プロファイル（投影ヒストグラム）が条件を満たしたらテキスト領域であると判断するようにする。

１．４分離
非テキスト領域は更に分割する必要がある。オリジナル水平垂直投影プロファイルにおいて、０値の部分をチェックし、プロファイル内で０値が連続する最大の部分を、非テキスト領域の分離の位置と方向と決定する。したがって、非テキスト領域は、最大の白領域で２つの部分に分離される。

分離処理は、もう分離が出来なくなるまで、すなわち、白領域がなくなるまで、全ての非テキスト領域に繰り返される。
図６は、入力から分離処理までの処理の流れを示すフローチャートである。

図６のフローチャートでは、まず、組み立て図面イメージを入力する。ステップＳ１０において、余白の検出を行う。ステップＳ１１において、予約が存在するか否かを判断する。ステップＳ１１の判断がＮｏの場合には、ステップＳ１３に進む。ステップＳ１１の判断がＹｅｓの場合には、ステップＳ１２において、図面文書の向きを修正する。ステップＳ１３においては、テーブルが存在するか否かを判断する。

ステップＳ１３の判断がＮｏの場合には、ステップＳ１５に進む。ステップＳ１３の判断がＹｅｓの場合には、ステップＳ１４において、テーブルに基づいて文書を分割する。ステップＳ１５においては、分割された領域の内、処理しようとしている領域がテキスト領域か否かを判断する。ステップＳ１５の判断がＹｅｓの場合には、分割結果を出力する。ステップＳ１５の判断がＮｏの場合には、ステップＳ１６で、更に分割するか否かを判断する。ステップＳ１６の判断がＮｏの場合には、分割結果を出力する。ステップＳ１６の判断がＹｅｓの場合には、ステップＳ１７において分割を実行して、ステップＳ１５に戻る。

２．装置部品抽出ユニット
レイアウト解析の後、文書は、小さな領域に分割され、テキスト領域と非テキスト領域に分類される。照合と検索に有効な装置部品イメージは、非テキスト領域においてのみから抽出される。したがって、上で得られた非テキスト領域のみ装置部品抽出ユニットで処理される。

装置部品抽出は、連結成分解析及び形態操作に基づき、（１）輪郭操作、（２）マージ、（３）分離、（４）ラベルテキスト除去ステップからなる。
図７は、装置部品抽出処理のフローチャートを示す図である。

まず、ステップＳ２０において、輪郭を抽出する輪郭操作を行う。ステップＳ２１において、装置部品イメージを併合し、ステップＳ２２において、不要に接続された装置部品イメージを分割し、ステップＳ２３において、部品イメージに補助線で接続されているラベルテキストを除去する。

以下、各ステップの詳細を説明する。
（１）輪郭操作
対象の非テキスト領域の各連結成分に対し、輪郭が最初に抽出される。既知の方法がこの処理に適用できる。Luciano da Fontoura Costa and Roberto Marcondes Cesar Jr., Shape Analysis and Classification: Theory and Practice, CRC Press LLC, pages 341-347を参照されたい。

紙の図面文書をイメージにスキャンするときや２値化処理において起こるノイズのせいで、輪郭は通常劣化し、輪郭が複数の部分に切れたりする。したがって、形態膨張(Dilation)操作が輪郭の開きを直すために適用される。I. Pitas, Digital Image Processing Algorithms and Applications, A Wiley-Interscience Publication, pages 361-369を参照されたい。

このようにして得られた輪郭は閉曲線である。この曲線の内側は、連結成分が占める領域を示す。更に、実際の連結成分に対応した領域を得るために、形態収縮(Erosion)処理が、膨張操作の影響を除去するために行われる。

図８は、輪作操作処理の例を示し、図８（ａ）は、最初の連結成分、図８（ｂ）は、図８（ａ）のイメージから得られた輪郭、図８（ｃ）は、この連結成分が占める領域、図８（ｄ）は，輪郭補正処理なしの場合に得られる連結成分が占める領域を示す。

（２）併合
装置部品イメージが複数の連結成分に分かれてしまうことがよくある。このために、連結成分が占める各領域をチェックする。ある連結成分が占める領域によって完全にカバーされている連結成分が発見されたならば、カバーされている連結成分の領域をカバーしている連結成分の領域に併合する。したがって、装置部品イメージは、不当に分解されないようになる。

（３）分離
組み立て図面の線は、主に２種類、特に、装置部品オブジェクトからのものと、オブジェクトをラベル付けしたり、接続したり、内部外部関係を示したりする、オブジェクトを説明する線（補助線と呼ぶ）からなっている。分離処理の目的は、補助線によって接続されている装置部品を分離し、補助線を除去することである。この操作は、装置部品イメージの大きさに比較して、一般に非常に補助線が細いという特徴を用いて行っている。

形態収縮処理を最初に、連結成分を囲む領域に適用する。この処理により、装置オブジェクトを除去する細い補助線が除去される。このとき、収縮処理によって領域の画素数が劇的に減り、この領域は細い棒状の形状であると判断される場合には、対応する連結成分を補助線として除去する。

図８（ｅ）は、図８（ａ）のイメージの分離結果を示す図である。
（４）ラベルテキスト除去
非テキスト領域でも、各装置部品のインデックス番号、大きさ情報などをラベル付けするテキストが存在する。後の照合処理の負荷を軽くするため、これらのテキストは取り除かれるべきである。これは、領域の関数として、部品の相対発生頻度のヒストグラムを解析することにより用意に実現できる。Lloyd Alan Eletcher and Rangachar Kasturi, A Robust Algorithm for Text String Separation from Mixed Text/Graphics Images, IEEE Transactions on Pattern Analysis and Machine Intelligence, volume 10, No. 6, pages 910-918, 1988を参照されたい。

３．装置部品比較ユニット
レイアウト解析ユニット及び装置部品抽出ユニットの処理の後、組み立て図面に含まれる全ての装置部品イメージが抽出される。比較する場合、これらの抽出された装置部品イメージが入力質問装置部品イメージとの照合に用いられる。抽出された装置部品イメージは、各個独立のイメージとして扱われる。

比較のために、多くの既知の方法が使用できる。以下に説明するGrid Pixels Distribution法も使うことができる。
装置部品比較ユニットは、２値化装置部品イメージを入力し、このイメージを極座標空間においてグリッドに分け、所定の方法で各グリッドの画素を計数することによってベクトルを作り、比較のための特徴量をフーリエ変換して求める。この特徴量は、アフィン不変量で、並進、回転、スケール変換しても変化しない。

（１）イメージの画素座標を直交座標空間から極座標空間に変換する座標空間変換。並進変換による画素座標の変化の影響を減らすため、装置部品イメージの重心が極座標系の原点として採用される。

（２）グリッド生成。イメージを動径方向に、装置部品イメージの原点から最も遠い画素と原点の間をｍ（ｍは任意の自然数）個に分割し、角度方向にｎ（ｎは任意の自然数）個に分割し、全ての装置部品イメージをｍ×ｎグリッドに分割する。

（３）グリッド画素分布特徴量抽出。
最初に、各グリッド内の装置部品画素の数を数える。
次に、グリッドを動径方向にスキャンして、以下のようにベクトルを生成し、該ベクトルの各要素にグリッドの画素数を対応させる。

図９は、グリッドをスキャンする順番を示す。ラベルｍｎのグリッドにおける画素数をｃ_mnで表し、図９で生成されたベクトルを｛ｃ₁₁、ｃ₁₂、ｃ₁₃、ｃ₂₁、ｃ₂₂、ｃ₂₃、ｃ₃₁、ｃ₃₂、ｃ₃₃、・・・｝で表す。

最後に、上記で生成されたグリッド画素分布を示すベクトルにフーリエ変換を行い、フーリエ係数の大きさを比較のための最終的に特徴量（ベクトル）として採用する。
（４）比較。質問イメージと、組み立て図面から抽出された装置部品イメージのそれぞれに対応する２つの入力された２値化イメージに対し、（１）から（３）のステップで特徴量を得、２つのイメージの類似度値として、２つの特徴量ベクトルのユークリッド距離を計算する。

図１０〜図１２は、本発明の実施形態にしたがった処理を行った結果を順次模式的に示す図である。
図１０（ａ）と図１０（ｂ）は，それぞれ、質問装置部品イメージと組み立て技術図面イメージを示している。

図１１（ａ）は、余白による分割結果と、テキスト、非テキスト領域への分類とテキスト領域の特定結果を示している。図１１（ａ）においては、太線と細い線の長方形は、それぞれテキストと非テキスト領域を示している。

次に、得られた非テキスト領域は、分割が出来なくなるまで、再帰的に分割処理を受ける。図１１（ｂ）は最終的レイアウト結果を示す。更に、この図では、テキスト、非テキストは、太線と細い線の長方形でそれぞれ表されている。

そして、装置部品抽出ユニットでは、装置部品イメージは、全ての非テキスト領域から抽出される。図１２（ａ）は、得られた装置部品イメージの領域を示し、それぞれは、長方形で示されている。

最後に、質問装置部品イメージと抽出された装置部品イメージは、装置部品比較ユニットにおいて比較される。図１２（ｂ）は、比較結果を示し、長方形は、入力組み立て図面イメージにおける質問装置部品イメージの存在を示している。

（付記１）技術図面の装置部品のイメージと質問イメージとを照合する装置部品イメージ検索装置であって、
技術図面上での隣接性に基づいて分離されるべき部品を分離することを特徴とする装置部品イメージ領域を抽出する抽出手段と、
質問イメージと、抽出された装置部品イメージ領域とを照合する照合手段と、
を備えることを特徴とする装置部品イメージ検索装置。

（付記２）技術図面の装置部品のイメージと質問イメージとを照合する装置部品イメージ検索装置であって、
技術図面に引かれている罫線を検出し、技術図面を１以上の小領域に分割する分割手段と、
該小領域が、主にテキストを含んでいるテキスト領域か、テキスト以外の内容を主に含んでいる非テキスト領域かを判定する非テキスト領域判定手段と、
該非テキスト領域について、装置部品イメージを抽出する抽出手段と、
質問イメージと、抽出された装置部品イメージとを照合する照合手段と、
を備えることを特徴とする装置部品イメージ検索装置。

（付記３）更に、前記技術図面の余白を検出し、該技術図面の向きを補正する余白検出向き補正手段を備えることを特徴とする付記２に記載の装置部品イメージ検索装置。
（付記４）前記分割手段は、技術図面の画素値を水平方向あるいは垂直方向に投影した投影ヒストグラムを生成し、該投影ヒストグラムのピークの特徴から罫線を検出することを特徴とする付記２に記載の装置部品イメージ検索装置。

（付記５）罫線検出で生成された小領域による技術図面の分割を、実際の技術図面の罫線による領域分割と同じになるように、実際には罫線で分割されていない小領域同士を結合することを特徴とする付記４に記載の装置部品イメージ検索装置。

（付記６）前記非テキスト領域判定手段は、各小領域に含まれる画素の連結成分の分布が該小領域の帯状領域にどのように含まれているかの傾向を検出することにより該小領域がテキスト領域か非テキスト領域かを検出することを特徴とする付記２に記載の装置部品イメージ検索装置。

（付記７）前記帯状領域の境界線は、各章領域について水平方向あるいは垂直方向に投影ヒストグラムを生成し、該投影ヒストグラムを平滑化し、該平滑化された投影ヒストグラムの極大点と極小点を検出することにより、検出されることを特徴とする付記６に記載の装置部品イメージ検索装置。

（付記８）前記非テキスト領域判定手段は、前記帯状領域の幅に対し、前記連結成分の幅がどのくらいずれているかを示すディメンショナルユニフォーミティと、該連結成分の位置と幅が該帯状領域からどれほどずれた位置にあるかを示すカバーリングユニフォーミティと、該帯状領域に含まれる該連結成分の画素値の極大値に対する極小値の比がどのくらい小さいかを示す極小極大比の３つの値を用いて、非テキスト領域かテキスト領域かを判定することを特徴とする付記６に記載の装置部品イメージ検索装置。

（付記９）前記抽出手段は、非テキスト領域に含まれる白帯部分について、該非テキスト領域を分割し、装置の組み立て図面から装置部品部分のイメージ領域を抽出することを特徴とする付記２に記載の装置部品イメージ検索装置。

（付記１０）前記抽出手段は、更に、該装置部品部分のイメージについて輪郭検出を行い、一体化された部品のイメージの結合を行うと共に、分離されるべき部品の分離を行うことを特徴とする付記９に記載の装置部品イメージ検索装置。

（付記１１）前記照合手段は、前記装置部品イメージを動径方向と角度方向に分割し、各グリッドについて画素数を計数し、これによって生成するベクトルをフーリエ変換した、該装置部品イメージの特徴量ベクトルと、質問イメージについて同様に得られた特徴量ベクトルとのユークリッド距離を類似の尺度として使用することを特徴とする付記２に記載の装置部品イメージ検索装置。

（付記１２）技術図面の装置部品のイメージと質問イメージとを照合する装置部品イメージ検索方法であって、
技術図面に引かれている罫線を検出し、技術図面を１以上の小領域に分割し、
該小領域が、主にテキストを含んでいるテキスト領域か、テキスト以外の内容を主に含んでいる非テキスト領域かを判定し、
該非テキスト領域について、装置部品イメージを抽出し、
質問イメージと、抽出された装置部品イメージとを照合する、
ことを特徴とする装置部品イメージ検索方法。

（付記１３）技術図面の装置部品のイメージと質問イメージとを照合する装置部品イメージ検索処理を情報処理装置に実行させるプログラムであって、
技術図面に引かれている罫線を検出し、技術図面を１以上の小領域に分割し、
該小領域が、主にテキストを含んでいるテキスト領域か、テキスト以外の内容を主に含んでいる非テキスト領域かを判定し、
該非テキスト領域について、装置部品イメージを抽出し、
質問イメージと、抽出された装置部品イメージとを照合する、
ことを特徴とする装置部品イメージ検索方法を情報処理装置に実現させるプログラム。

本発明に従った組み立て図面の装置部品抽出照合装置の構成を示すブロック図である。（ａ）は、水平及び垂直投影ヒストグラムのテーブルと、これが作られた図面文書のテーブルを示す図であり、（ｂ）は、実際のテーブルと最初のテーブル線検出によって得られたテーブルとの関係を示す図である。グリッドのテーブル結合処理を説明する擬似コードである。（ａ）は、所定領域と、そのオリジナルプロファイルとスムーズプロファイルを示す図であり、（ｂ）は、図４（ａ）のスムーズプロファイルの第１微分を示す図であり、（ｃ）は、図４（ａ）の領域の各テキストラインの境界線を示す図である。テキスト行を各連結成分で規定される包絡長方形に分割した様子を示す図である。入力から分離処理までの処理の流れを示すフローチャートである。装置部品抽出処理のフローチャートを示す図である。輪作操作処理の例を示す図である。装置部品イメージのグリッドをスキャンする順番を示す図である。本発明の実施形態にしたがった処理を行った結果を順次模式的に示す図（その１）である。本発明の実施形態にしたがった処理を行った結果を順次模式的に示す図（その２）である。本発明の実施形態にしたがった処理を行った結果を順次模式的に示す図（その３）である。

符号の説明

１０レイアウト解析ユニット
１１装置部品抽出ユニット
１２装置部品比較ユニット

Claims

技術図面の装置部品のイメージと質問イメージとを照合する装置部品イメージ検索装置であって、
技術図面に引かれている罫線を検出し、技術図面を１以上の小領域に分割する分割手段と、
該小領域が、主にテキストを含んでいるテキスト領域か、テキスト以外の内容を主に含んでいる非テキスト領域かを判定する非テキスト領域判定手段と、
該非テキスト領域について、装置部品イメージを抽出する抽出手段と、
質問イメージと、抽出された装置部品イメージとを照合する照合手段と、
を備えることを特徴とする装置部品イメージ検索装置。
前記分割手段は、技術図面の画素値を水平方向あるいは垂直方向に投影した投影ヒストグラムを生成し、該投影ヒストグラムのピークの特徴から罫線を検出することを特徴とする請求項１に記載の装置部品イメージ検索装置。
罫線検出で生成された小領域による技術図面の分割を、実際の技術図面の罫線による領域分割と同じになるように、実際には罫線で分割されていない小領域同士を結合することを特徴とする請求項２に記載の装置部品イメージ検索装置。
前記非テキスト領域判定手段は、各小領域に含まれる画素の連結成分の分布が該小領域の帯状領域にどのように含まれているかの傾向を検出することにより該小領域がテキスト領域か非テキスト領域かを検出することを特徴とする請求項１に記載の装置部品イメージ検索装置。
前記非テキスト領域判定手段は、前記帯状領域の幅に対し、前記連結成分の幅がどのくらいずれているかを示すディメンショナルユニフォーミティと、該連結成分の位置と幅が該帯状領域からどれほどずれた位置にあるかを示すカバーリングユニフォーミティと、該帯状領域に含まれる該連結成分の画素値の極大値に対する極小値の比がどのくらい小さいかを示す極小極大比の３つの値を用いて、非テキスト領域かテキスト領域かを判定することを特徴とする請求項４に記載の装置部品イメージ検索装置。
前記抽出手段は、非テキスト領域に含まれる下地（白色領域）部分について、該非テキスト領域を分割し、装置の組み立て図面から装置部品部分のイメージ領域を抽出することを特徴とする請求項１に記載の装置部品イメージ検索装置。
前記抽出手段は、更に、該装置部品部分のイメージについて輪郭検出を行い、一体化された部品のイメージの結合を行うと共に、分離されるべき部品の分離を行うことを特徴とする請求項６に記載の装置部品イメージ検索装置。
前記照合手段は、前記装置部品イメージを動径方向と角度方向に分割し、各グリッドについて画素数を計数し、これによって生成するベクトルをフーリエ変換した、該装置部品イメージの特徴量ベクトルと、質問イメージについて同様に得られた特徴量ベクトルとのユークリッド距離を類似の尺度として使用することを特徴とする請求項１に記載の装置部品イメージ検索装置。
分割手段と非テキスト領域判定手段と抽出手段と照合手段とを備えた装置部品イメージ検索装置が技術図面の装置部品のイメージと質問イメージとを照合する装置部品イメージ検索方法であって、
前記装置部品イメージ検索装置が、
前記分割手段に技術図面に引かれている罫線を検出し、技術図面を１以上の小領域に分割させ、
前記非テキスト領域判定手段に該小領域が、主にテキストを含んでいるテキスト領域か、テキスト以外の内容を主に含んでいる非テキスト領域かを判定させ、
前記抽出手段に該非テキスト領域について、装置部品イメージを抽出させ、
前記照合手段に質問イメージと、抽出された装置部品イメージとを照合させる、
ことを特徴とする装置部品イメージ検索方法。
分割手段と非テキスト領域判定手段と抽出手段と照合手段とを備えた装置部品イメージ検索装置に技術図面の装置部品のイメージと質問イメージとを照合する装置部品イメージ検索処理を実行させるプログラムであって、
前記装置部品イメージ検索装置に、
前記分割手段に技術図面に引かれている罫線を検出し、技術図面を１以上の小領域に分割させ、
前記非テキスト領域判定手段に該小領域が、主にテキストを含んでいるテキスト領域か、テキスト以外の内容を主に含んでいる非テキスト領域かを判定させ、
前記抽出手段に該非テキスト領域について、装置部品イメージを抽出させ、
前記照合手段に質問イメージと、抽出された装置部品イメージとを照合させる、
ことを特徴とするプログラム。