JPWO2016143106A1 - 部品種類自動判別方法及び部品種類自動判別システム並びに画像処理用部品データ作成方法及び画像処理用部品データ作成システム - Google Patents

Abstract

カメラ１２で撮像した部品画像から当該部品の特徴データを抽出し、抽出した特徴データを、データベースに登録されている複数種類の部品のリファレンス用特徴データと比較して両者が最も一致する部品の種類を判別する。その結果、異型部品と判別された部品画像のうちのリードが存在する候補となるリード存在候補領域に対して１走査ライン毎にＦＦＴを適用してパワースペクトル画像を作成する。そして、パワースペクトル画像の周期的な特徴を抽出するためにパワースペクトル画像からＨＬＡＣ特徴を求め、このＬＡＣ特徴の特徴量をＳＶＭを使用して学習してリード付きのコネクタ部品を異型部品と区別して判別する。その後、部品種類の判別結果に応じて部品画像から当該部品の特徴データを抽出して画像処理用部品データを作成する。或は、リード付きのコネクタ部品と判別した場合は、リードの欠損や曲がりを検出する画像処理アルゴリズムを自動選択する。

Description

本発明は、リード付きのコネクタ部品の判別性能を向上させた部品種類自動判別方法及び部品種類自動判別システム並びに画像処理用部品データ作成方法及び画像処理用部品データ作成システムに関する発明である。

近年、特許文献１（特開２００６−３３８４８２号公報）に記載されているように、部品実装機で実装する部品の種類を自動判別する手法として、動的計画法（ＤＰ：Dynamic Programming)によるマッチングを用いた階層型の手法が提案されている。この手法は、カメラで撮像した部品画像から当該部品の特徴を表すデータである特徴データを抽出し、抽出した特徴データを、データベースに登録されている複数種類の部品のリファレンス用特徴データと比較して両者が最も一致する部品の種類を自動判別するものである。

特開２００６−３３８４８２号公報

上記特許文献１の部品種類判別方法では、図２Ａ〜図２Ｅに示すような４辺にリードを持つＩＣ部品、チップ部品、ミニモールド部品、単純な形状のコネクタ部品、ＢＧＡ部品といった一般的な部品の画像に対しては高い判別性能が得られるが、図２Ｇ、図２Ｈに示すような複雑な形状のコネクタ部品の画像は、コネクタ部品として判別されず、図２Ｆに示すような異型部品（Odd Form）として誤って判別されてしまう。これらのコネクタ部品は、電子部品の代表的な形状であるリード付きのコネクタ部品であるにも拘らず、リード付きのコネクタ部品として判別されないため、リードの欠損や曲がりを検出する画像処理アルゴリズムが自動選択されないという問題があった。また、上記特許文献１では、自動判別した部品の種類に応じて当該部品の画像から当該部品の特徴データ（ボディ、リード、バンプ等の位置やサイズ等のデータ）を抽出して画像処理用部品データを作成するようにしているが、図２Ｇ、図２Ｈに示すような複雑な形状のコネクタ部品は、異型部品として誤って判別されてしまうため、適切な画像処理用部品データを作成できないという問題もあった。

そこで、本発明が解決しようとする課題は、リード付きのコネクタ部品を異型部品と区別して判別できるようにすることである。

本発明は、リード付きのコネクタ部品を異型部品と区別して判別するために、リードの周期的な並びに注目し、部品画像から周期的な特徴を抽出するために、部品画像から高速フーリエ変換［ＦＦＴ］を用いてパワースペクトル画像を作成するパワースペクトル画像作成処理（パワースペクトル画像作成手段）と、前記パワースペクトル画像の周期的な特徴を抽出するために前記パワースペクトル画像から高次局所自己相関［ＨＬＡＣ］特徴を求めるＨＬＡＣ特徴抽出処理（ＨＬＡＣ特徴抽出手段）と、前記高次局所自己相関特徴を用いてリード付きのコネクタ部品であるか否かを判別するコネクタ部品判別処理（コネクタ部品判別手段）とを含むことを特徴とするものである。

この場合、リード付きのコネクタ部品の画像から作成したパワースペクトル画像には、等ピッチで配列されたリードの周期性により周期的な縦縞が出来るが、リードのない部品のパワースペクトル画像には、周期的な縦縞が出来ない。

この特性に着目して、本発明では、パワースペクトル画像に縦縞が含まれているか否かを判別するための特徴量として、パワースペクトル画像から高次局所自己相関特徴を求め、この高次局所自己相関特徴を用いてリード付きのコネクタ部品であるか否かを判別するものであり、これにより、リード付きのコネクタ部品を異型部品と区別して判別することが可能となる。

但し、リード付きのコネクタ部品の画像でも、その画像中のリードが存在しない領域から作成したパワースペクトル画像には周期的な縦縞が出来ない。そこで、部品画像のうちのリードが存在する候補となる領域に対して１走査ライン毎に高速フーリエ変換を適用してパワースペクトル画像を作成するようにすると良い。一般に、リードは、部品のボディ部分から外側方向に向けて取り付けられていて、部品外周付近の領域に存在する可能性が高いため、部品画像のうちの部品外周付近の領域を「リードが存在する候補となる領域」に設定してパワースペクトル画像を作成すれば良い。これにより、部品画像の中からリードが存在する可能性の高い領域に絞り込んで周期的な特徴を抽出することができる。

また、本発明は、高次局所自己相関特徴の特徴量をサポートベクターマシン（ＳＶＭ）を使用して学習してリード付きのコネクタ部品であるか否かを判別するようにすると良い。これにより、リード付きのコネクタ部品を精度良く判別することができる。

本発明を実施する場合は、前述した特許文献１等に記載された部品種類自動判別手法と同様の手法を使用して、例えば、図２Ａ〜図２Ｅに示すような４辺にリードを持つＩＣ部品、チップ部品、ミニモールド部品、単純な形状のコネクタ部品を判別しておき、それらの部品に該当しない異型部品と判別された部品画像について、前記パワースペクトル画像作成処理、前記ＨＬＡＣ特徴抽出処理及び前記コネクタ部品判別処理を行ってリード付きのコネクタ部品を異型部品と区別して判別するようにすると良い。これにより、部品実装機で実装する全ての部品の種類を精度良く自動判別することができる。

本発明の部品種類自動判別方法で判別した部品の種類に応じて部品画像から当該部品の特徴データを抽出して画像処理用部品データを作成するようにしたり、或は、リード付きのコネクタ部品と判別した場合に、リードの欠損や曲がりを検出する画像処理アルゴリズムを自動選択するようにしても良い。これにより、前述した従来の問題を解消することができる。

図１は本発明の一実施例の部品種類自動判別システム（画像処理用部品データ作成システム）の構成を示すブロック図である。 図２Ａは４辺にリードを持つＩＣ部品の画像を示す図である。 図２Ｂはチップ部品の画像を示す図である。 図２Ｃはミニモールド部品の画像を示す図である。 図２Ｄは単純な形状のコネクタ部品の画像を示す図である。 図２ＥはＢＧＡ部品の画像を示す図である。 図２Ｆは異型部品の画像を示す図である。 図２Ｇは複雑な形状のコネクタ部品の画像（その１）を示す図である。 図２Ｈは複雑な形状のコネクタ部品の画像（その２）を示す図である。 図３（ａ）はリード群領域画像の作成手順（正規化）を説明する図、同図（ｂ）は２１５枚の部品画像を平均化して平均画像を求める手順を説明する図である。 図４は平均画像のリード存在候補領域の位置を説明する図である。 図５（ａ）〜（ｄ）は実際にリードが存在するリード存在候補領域画像の例１〜４を示す図、同図（ｅ）〜（ｈ）は各例１〜４の画像にＦＦＴを適用して作成したパワースペクトル画像を示す図である。 図６（ａ）〜（ｄ）はリードが存在しないリード存在候補領域画像の例５〜８を示す図、同図（ｅ）〜（ｈ）は各例５〜８の画像にＦＦＴを適用して作成したパワースペクトル画像を示す図である。 図７はＨＬＡＣのマスクパターンを示す図である。 図８は部品種類自動判別プログラムの処理の流れを示すフローチャートである。 図９はＨＬＡＣを用いた場合とＬＢＰを用いた場合とを比較してスペクトル画像に対する正解率と濃淡画像に対する正解率を示す図である。 図１０（ａ）はコネクタ部品と誤判別された異型部品の画像の例を示す図、同図（ｂ）は（ａ）の部品画像のリード存在候補領域のパワースペクトル画像を示す図である。 図１１（ａ）は異型部品と誤判別されたコネクタ部品の画像の例を示す図、同図（ｂ）は（ａ）の部品画像のリード存在候補領域のパワースペクトル画像を示す図である。

以下、本発明を実施するための形態を具体化した一実施例を説明する。
本実施例の部品種類自動判別システムは、画像処理用部品データ作成システムとしての機能も搭載され、図１に示すように、パーソナルコンピュータ等のコンピュータ１１と、部品種類判別対象（画像処理用部品データの作成対象）となる部品を撮像してグレースケール画像を取得するＣＭＯＳセンサ等のイメージセンサを内蔵するカメラ１２と、キーボード、マウス、タッチパネル等の入力装置１３と、液晶ディスプレイ、ＣＲＴ等の表示装置１４と、後述する図８の部品種類自動判別プログラム、画像処理用部品データ作成プログラムや各種のデータ等を記憶する記憶装置１５とを備えた構成となっている。

部品種類自動判別システム（画像処理用部品データ作成システム）は、部品実装機の制御システムを利用して構成しても良いし、或は、部品実装機の制御システムとは別に構成した専用のシステム（例えば卓上撮像装置とパーソナルコンピュータとの組み合わせ）を用いても良い。部品実装機の制御システムを利用して部品種類自動判別システム（画像処理用部品データ作成システム）を構成する場合には、カメラ１２は、部品実装機の吸着ノズルに吸着した部品をその下方から撮像するカメラ（いわゆるパーツカメラ）を使用すれば良い。

コンピュータ１１は、後述する図８の部品種類自動判別プログラムを実行することで、カメラ１２で撮像した部品画像から当該部品の特徴データを抽出し、抽出した特徴データを、データベースに登録されている複数種類の部品のリファレンス用特徴データと比較して両者が最も一致する部品の種類を判別する部品種類判別手段１６として機能すると共に、前記部品種類判別手段１６によって異型部品（Odd Form）と判別された部品画像について高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を用いてパワースペクトル画像を作成するパワースペクトル画像作成手段１７としても機能し、更に、前記パワースペクトル画像の周期的な特徴を抽出するために前記パワースペクトル画像から高次局所自己相関（ＨＬＡＣ：Higher-order Local AutoCorrelation）特徴を求めるＨＬＡＣ特徴抽出手段１８として機能すると共に、ＨＬＡＣ特徴を用いてリード付きのコネクタ部品であるか否かを判別するコネクタ部品判別手段１９としても機能する。

パワースペクトル画像作成手段１７は、前記部品画像のうちのリードが存在する候補となるリード存在候補領域に対して１走査ライン毎にＦＦＴを適用して前記パワースペクトル画像を作成する。コネクタ部品判別手段１９は、ＨＬＡＣ特徴の特徴量をサポートベクターマシン（ＳＶＭ：Support Vector Machine）を使用して学習してリード付きのコネクタ部品を異型部品と区別して判別する。更に、本実施例では、コンピュータ１１は、部品種類の判別結果に応じて部品画像から当該部品の特徴データ（ボディ部分のサイズ、リード位置、リード本数、リード間隔、リード幅、リード長さ、バンプの位置等）を抽出して画像処理用部品データを作成する部品データ作成手段２０としても機能する。以下、これら各機能について説明する。

部品種類判別手段１６による部品種類自動判別の手法は、前述した特許文献１等に記載されている動的計画法（ＤＰ：Dynamic Programming)によるマッチングを用いた階層型の手法である。この手法は、カメラ１２で撮像した部品画像から当該部品の特徴を表すデータである特徴データを抽出し、抽出した特徴データを、データベースに登録されている複数種類の部品のリファレンス用特徴データと比較して両者が最も一致する部品の種類を自動判別するものである。上記特徴データには、部品領域全体の投影輝度（水平方向と垂直方向のピクセル頻度）やゼロクロスパターン頻度のデータが含まれる。この部品種類自動判別の手法では、図２Ａ〜図２Ｅに示すような４辺にリードを持つＩＣ部品、チップ部品、ミニモールド部品、単純な形状のコネクタ部品、ＢＧＡ部品といった一般的な部品の画像に対しては高い判別性能が得られるが、図２Ｇ、図２Ｈに示すような複雑な形状のコネクタ部品の画像は、コネクタ部品として判別されず、図２Ｆに示すような異型部品として誤って判別されてしまう。

この理由としては、コネクタ部品は電極と電極を接続するために用いられる部品であり、最終製品の大きさやデザインに合わせて多種多様な形状で作成されるため、特徴データとして部品領域全体の投影輝度やゼロクロスパターン頻度を用いると、部品の内部構造等の輝度変化により、リファレンスとのＤＰ距離が増大してしまう。結果的に、部分空間法において、リファレンスの部分空間への距離が増大してしまうために、リード付きのコネクタ部品を異型部品と区別して正しく判別できないものと考えられる。

そこで、本発明では、コネクタ部品を異型部品と区別して判別するために、コネクタ部品の等ピッチで配列されたリードの周期的な並びに注目した。周期的な特徴を得るために、部品画像からＦＦＴを用いてパワースペクトル画像を作成し、このパワースペクトル画像からＨＬＡＣ特徴を求め、サポートベクターマシンを用いた識別器（コネクタ部品判別手段１９）によりリードの存在を判別するものである。部品画像に対してＦＦＴを適用する領域は、リードが存在する領域が既知のデータを用いてリードの存在確率から決定した。以下、この領域の決定方法について説明する。

リードは、代表的な電子部品の電極形状の一種であり、通常、部品のボディ部分から外部方向へ向けて取り付けられている。そのため、部品外周付近にリードが存在する確率が高く、逆に、部品中央部にリードが存在する確率が低いことが予想される。リードは同一形状のものが等間隔に数本から数十本、同一方向に向いて並んでいる場合が多い。この同一方向に並んだリードの列をリード群とし、予めリード群が定義されている部品画像から，部品領域内におけるリード群の存在する領域を求める。カメラ１２で撮像する位置に供給される部品は、０°、９０°、１８０°、２７０°のいずれの向きで供給されるのかはユーザーの運用方法で決まるため、どの方向が正しい部品の向きかは部品画像からは決定できない。

そこで、部品画像を４方向に回転させ、人手で定義したリード群を画像中に投票して、リード群の存在確率を表す画像（以下「リード群領域画像」と呼ぶ）を生成した。部品領域は、縦横比が１：１（５１２×５１２[pixel] ）の正方形領域になるように正規化し、リード群の投票最大数が輝度２５５になるように正規化してリード群が存在する領域を画像化した。使用した画像は全２１５枚の部品画像である。

図３はリード群領域画像の作成手順（正規化）と、２１５枚の部品画像の平均化により得られた平均画像を示したものである。この平均画像を見ると、リード群は部品領域の外周部分に集中していることが分かる。得られた平均画像を判別分析法により２値化したものを図４に示す。２値化の結果から、図４に示すように平均画像の各辺の長さＬの１／８の長さの領域で、リードが存在する候補となるリード存在候補領域を取得し、このリード存在候補領域で切り抜いた画像をリード存在候補領域画像とする。このリード存在候補領域画像を上下左右の４箇所から取得し、それぞれのリード存在候補領域画像からリードの有無を判別する。

次に、リードの有無を判別するために、リード存在候補領域画像から周期的な特徴を抽出する手順を説明する。

前述した特許文献１等の階層型の部品種類自動判別手法（部品種類判別手段１６）により異型部品と判別された部品画像から、上述した手法により取得したリード存在候補領域画像の例１〜８を図５（ａ）〜（ｄ）と図６（ａ）〜（ｄ）に示す。各図のリード存在候補領域画像は全て部品領域の外側が上向きになるように回転補正をかけて表示している。図５（ａ）〜（ｄ）に示すリード存在候補領域画像の例１〜４は、実際にリードが存在する領域の例であり、図６（ａ）〜（ｄ）に示すリード存在候補領域画像の例５〜８は、リードが存在しない領域の例である。図５（ａ）〜（ｄ）に示すリード存在候補領域画像の例１〜４に関しては水平方向に規則的な輝度変化が認められる。

そこで、このリード存在候補領域画像に対して、水平方向１走査ライン毎にＦＦＴをかけてパワースペクトル画像を作成する。ＦＦＴをかける際に２の階乗のデータ数が必要となるため、図５（ａ）〜（ｄ）と図６（ａ）〜（ｄ）に示すリード存在候補領域画像の例１〜８は、幅方向を全て５１２[pixel] となるように伸長して作成する。得られた各例１〜８のパワースペクトル画像を図５（ｅ）〜（ｈ）と図６（ｅ）〜（ｈ）に示す。図５（ｅ）〜（ｈ）に示すように、実際にリードが存在する画像ではパワースペクトル画像において周期的な縦線を確認できるが、図６（ｅ）〜（ｈ）に示すように、リードが存在しない領域の画像では周期的な縦線を確認できない。

本発明では、得られたパワースペクトル画像をテクスチャと捉え、パワースペクトル画像から高次局所自己相関（ＨＬＡＣ：Higher-order Local AutoCorrelation）特徴を取得し、これを特徴量とすることでリードを持つ部品かどうかを判定する手法を提案する。一般に、ＨＬＡＣは、文字認識や顔認識といった様々な画像処理で使用されており、汎用性の高い特徴量として用いられる。自己相関関数を高次に拡張したＮ次の自己相関関数は、以下の式で表される。

ここで、Ｉは画像であり、変位ベクトルｒとＮ個の変位ベクトルａ_i （ｉ＝０，…，Ｎ）は画像の座標を持つ２次元ベクトルである。変位ベクトルの組合せ数が特徴ベクトルの次元となる。３×３の局所領域で、Ｎ＝２に限定すると、濃淡画像に対し３５次元の特徴ベクトルが得られる。３５の組合せパターンを図７に示す。

ＨＬＡＣは、加法性と位置不変性の２つの性質を持つ。図５（ｅ）〜（ｈ）に示したパワースペクトル画像中における縦縞模様は、リード間ピッチにより出現位置が決定される。ＨＬＡＣの位置不変性という性質を用いることは、ＦＦＴをかける際のデータの伸長や、部品のリード間ピッチに対して非依存の特徴を得ることができるため、認識に適していると考えられる。また、パワースペクトル画像の高さは元の部品画像における部品領域により変化するため、ＨＬＡＣ特徴で得られた３５次元の特徴量をパワースペクトル画像の面積で正規化したものを特徴量として用いている。

次に、ＳＶＭを用いたコネクタ部品の判別手法を説明する。
上述した手法で作成したリード存在候補領域画像が、実際にリードが存在する領域であるか否かを判別するため、高次元データの二値分類として定評のあるＳＶＭを使用する。クラス間には重複する領域があることを考慮して、ソフトマージンＳＶＭを使用し、カーネルにはＲＢＦ（Radial Basis Function ）カーネルを使用する。教師データとラベルのセットを（ｘ_n ，ｔ_n ）、スラック変数をξ_n 、Ｃをペナルティとすると、ＳＶＭの最適化問題は次のように表される。

また、ＲＢＦカーネルは、γをパラメータとして、次のように表される。

パラメータＣ，γの調整が識別能力に影響するため、訓練データを用いて、ｎ分割交差確認（n-fold cross validation ）を行って最適なＣ，γを決定する。

前述したように、従来のＤＰマッチングを用いた階層型の手法では、コネクタ部品の判別に誤りが多く、異型部品と誤判別されるケースが多い。そこで、本発明では、コンピュータ１１は、後述する図８の部品種類自動判別プログラムを実行することで、ＤＰマッチングを用いた階層型の手法による部品の種類を判別する部品種類判別手段１６に対して、パワースペクトル画像作成手段１７、ＨＬＡＣ特徴抽出手段１８及びコネクタ部品判別手段１９による判別処理を追加し、部品画像の上下左右４方向のリード存在候補領域画像のいずれかにリード群が存在すると判別された部品に関してはコネクタ部品と判別することで部品種類の判別性能を向上させるものである。

以下、コンピュータ１１によって実行する図８の部品種類自動判別プログラムの処理内容を説明する。本プログラムが起動されると、まず、ステップ１０１で、カメラ１２で撮像する位置に供給される部品を、０°、９０°、１８０°、２７０°の４方向に順番に回転させて撮像し、部品画像を取得する。この後、ステップ１０２に進み、ＤＰマッチングを用いた階層型の手法により部品の種類を判別する。この階層型の手法は、前記特許文献１等に詳しく記載されており、部品画像から当該部品の特徴データを抽出し、抽出した特徴データを、データベースに登録されている複数種類の部品のリファレンス用特徴データと比較して両者が最も一致する部品の種類を判別する。これらステップ１０１及び１０２の処理機能が部品種類判別手段１６として機能する。

この後、ステップ１０３に進み、上記ステップ１０２の階層型の部品種類判別処理により異型部品と判別されたか否かを判定し、異型部品と判別された場合には、ステップ１０４に進み、異型部品と判別された部品画像についてＦＦＴを適用してパワースペクトル画像を作成する。この際、異型部品と判別された部品画像のうちのリードが存在する候補となるリード存在候補領域画像に対してＦＦＴを適用してパワースペクトル画像を作成する。このステップ１０４の処理機能がパワースペクトル画像作成手段１７として機能する。

この後、ステップ１０５に進み、パワースペクトル画像からＨＬＡＣ特徴を抽出する。このステップ１０５の処理機能がＨＬＡＣ特徴抽出手段１８として機能する。この後、ステップ１０６に進み、ＨＬＡＣ特徴を用いてリード付きのコネクタ部品を異型部品と区別して判別する。このステップ１０６の処理機能がコネクタ部品判別手段１９として機能する。

この後、ステップ１０７に進み、部品種類の判別結果に応じて部品画像から当該部品の特徴データを抽出して画像処理用部品データを作成する。このステップ１０７の処理機能が部品データ作成手段２０として機能する。尚、リード付きのコネクタ部品と判別された場合に、リードの欠損や曲がりを検出する画像処理アルゴリズムを自動選択するようにしても良い。

一方、上記ステップ１０３で、ステップ１０２の階層型の部品種類判別処理により異型部品と判別されなかったと判定されれば、上記ステップ１０４〜１０６の処理を飛び越してステップ１０７に進み、部品種類の判別結果に応じて部品画像から当該部品の特徴データを抽出して画像処理用部品データを作成する。

本発明者らは、本発明の部品種類自動判別手法を評価する評価実験を行ったので、以下、この評価実験について説明する。

まず、リード存在候補領域画像の判別性能を評価するために、前述したリード存在候補領域画像の作成方法を用いて、リード系の部品（ＩＣ部品、コネクタ部品）と、異型部品からリード存在候補領域画像を取得し、目視によりリード群のある画像（Positive画像）及びリード群のない画像（Negative画像）に分類した。分類の結果、Positive画像として４４１枚、Negative画像として７３７枚を得た。得られた画像に対して、１０分割交差確認（10-fold cross validation）を行って正解率を求めた。周波数領域で取得した特徴量の有効性を評価するために、原画像に対してＨＬＡＣ特徴を得た場合と比較した。また、特徴量の比較のために、ＬＢＰ（Local Binary Pattern）をそれぞれの画像に対して用いて評価した。ＬＢＰはテクスチャ認識や顔認識で使用されており、効果的な結果が報告されている。実験結果を図９に示す。この実験結果より、ＨＬＡＣ、ＬＢＰのいずれを用いた手法でも周波数領域での特徴を得ることが有効であることが分かる。また、ＨＬＡＣとＬＢＰの結果を比較すると、スペクトル画像に対する正解率は、ＨＬＡＣを用いた場合に９８．２［％］で、ＬＢＰを用いた場合（９６．４［％］）よりも高い正解率が得られた。ＨＬＡＣ特徴量は３５次元であり、ＬＢＰの２５６次元に比べ、低い次元数の特徴量で高い識別性能が得られている。

次に、自動識別器としての性能を評価するために、従来の手法（特許文献１の階層型の手法）による判別結果を表１に示し、本発明の手法による判別結果を表２に示す。

表１、表２の判別結果を見ると、本発明の手法では、コネクタ部品の判別性能が従来の４０．０［％］から９１．３［％］に大幅に向上している。ＩＣ部品の誤判別は依然として残されているが、ＩＣ部品及びコネクタ部品で使用される位置決め処理は、両方共リードを基準に位置決めして検査をするため、この誤判別は問題にならない。

一方で、本来、異型部品である部品に対し、コネクタ部品と誤判別するケースが少し増加した。コネクタ部品と誤判別した異型部品の画像の例を図１０に示す。この原因は、異型部品の部品領域外周部に周期的に並ぶ形状が現れるものが存在していたためであり、このような周期的な形状が現れる異型部品に対しては誤判別してしまう可能性がある。このような部品に関しては、後工程（画像処理用部品データ作成工程）でのリードの識別処理において非リードであると認識されるため、異型部品として認識することができる。

また、コネクタ部品に関しては、８．７［％］の異型部品への誤判別が残っている。異型部品と誤判別されたコネクタ部品の画像の例を図１１に示す。図１１から分かるように、リード群は、部品画像の下側のリード存在候補領域画像の半分程度の領域にしか含まれておらず、周期的な縦縞模様の特徴が低下したためと考えられる。この誤判別については、リード存在候補領域の見直しなどで改善する余地がある。

以上の説明から明らかなように、従来の手法（特許文献１等の階層型の手法）で異型部品と判別された部品画像に対して、本発明の手法を用いることで、コネクタ部品の判別性能が４０．０［％］から９１．３［％］に大幅に向上することが確認された。部品種類全体としては、８９．２［％］から９６．０［％］に判別性能が向上することが確認された。部品画像において、リード群の存在する確率が高い領域から取得したパワースペクトル画像からＨＬＡＣ特徴量を取得し、ＳＶＭを判別器に用いることで高い判別性能が得られることが確認できた。しかし、コネクタ部品であるにも拘らず、リード群が部品の中央部に存在するコネクタ部品に対して、異型部品と誤判別するケースが残されている。この課題に対しては、リード存在候補領域の見直しや、リードの形状の識別を組み合わせるなどの方法により精度の高い分類器を構築すれば解決できるものと思われる。

尚、本発明は、上記実施例に限定されず、システム構成等を適宜変更して実施できる等、要旨を逸脱しない範囲内で種々変更可能であることは言うまでもない。

１１…コンピュータ、１２…カメラ、１６…部品種類判別手段、１７…パワースペクトル画像作成手段、１８…ＨＬＡＣ特徴抽出手段、１９…コネクタ部品判別手段、２０…部品データ作成手段

Claims (10)

1. カメラで撮像した部品画像を処理してその部品の種類を自動判別する部品種類自動判別方法において、
   前記部品画像から高速フーリエ変換（ＦＦＴ）を用いてパワースペクトル画像を作成するパワースペクトル画像作成処理と、
   前記パワースペクトル画像の周期的な特徴を抽出するために前記パワースペクトル画像から高次局所自己相関（ＨＬＡＣ）特徴を求めるＨＬＡＣ特徴抽出処理と、
   前記高次局所自己相関特徴を用いてリードのあるコネクタ部品であるか否かを判別するコネクタ部品判別処理と
   を含むことを特徴とする部品種類自動判別方法。
2. 前記パワースペクトル画像作成処理では、前記部品画像のうちのリードが存在する候補となる領域に対して１走査ライン毎に高速フーリエ変換を適用して前記パワースペクトル画像を作成することを特徴とする請求項１に記載の部品種類自動判別方法。
3. 前記コネクタ部品判別処理では、前記高次局所自己相関特徴の特徴量をサポートベクターマシン（ＳＶＭ）を使用して学習してリード付きのコネクタ部品であるか否かを判別することを特徴とする請求項１又は２に記載の部品種類自動判別方法。
4. 前記カメラで撮像した部品画像から当該部品の特徴データを抽出し、抽出した特徴データを、データベースに登録されている複数種類の部品のリファレンス用特徴データと比較して両者が最も一致する部品の種類を判別する部品種類判別処理を含み、
   前記部品種類判別処理によって異型部品と判別された部品画像について、前記パワースペクトル画像作成処理、前記ＨＬＡＣ特徴抽出処理及び前記コネクタ部品判別処理を行ってリード付きのコネクタ部品を異型部品と区別して判別することを特徴とする請求項１乃至３のいずれかに記載の部品種類自動判別方法。
5. カメラで撮像した部品画像を処理してその部品の種類を自動判別する部品種類自動判別システムにおいて、
   前記部品画像から高速フーリエ変換（ＦＦＴ）を用いてパワースペクトル画像を作成するパワースペクトル画像作成手段と、
   前記パワースペクトル画像の周期的な特徴を抽出するために前記パワースペクトル画像から高次局所自己相関（ＨＬＡＣ）特徴を求めるＨＬＡＣ特徴抽出手段と、
   前記高次局所自己相関特徴を用いてリードのあるコネクタ部品であるか否かを判別するコネクタ部品判別手段と
   を含むことを特徴とする部品種類自動判別システム。
6. 前記パワースペクトル画像作成手段は、前記部品画像のうちのリードが存在する候補となる領域に対して１走査ライン毎に高速フーリエ変換を適用して前記パワースペクトル画像を作成することを特徴とする請求項５に記載の部品種類自動判別システム。
7. 前記コネクタ部品判別手段は、前記高次局所自己相関特徴の特徴量をサポートベクターマシン（ＳＶＭ）を使用して学習してリード付きのコネクタ部品であるか否かを判別することを特徴とする請求項５又は６に記載の部品種類自動判別システム。
8. 前記カメラで撮像した部品画像から当該部品の特徴データを抽出し、抽出した特徴データを、データベースに登録されている複数種類の部品のリファレンス用特徴データと比較して両者が最も一致する部品の種類を判別する部品種類判別手段を含み、
   前記パワースペクトル画像作成手段、前記ＨＬＡＣ特徴抽出手段及び前記コネクタ部品判別手段は、前記部品種類判別手段によって異型部品と判別された部品画像について、前記パワースペクトル画像を作成して前記高次局所自己相関特徴を求め、リード付きのコネクタ部品を異型部品と区別して判別することを特徴とする請求項５乃至７のいずれかに記載の部品種類自動判別システム。
9. 部品実装機で実装する部品を画像認識する際に使用する画像処理用部品データを作成する画像処理用部品データ作成方法において、
   請求項１乃至４のいずれかに記載の部品種類自動判別方法で判別した部品の種類に応じて前記部品画像から当該部品の特徴データを抽出して画像処理用部品データを作成することを特徴とする画像処理用部品データ作成方法。
10. 部品実装機で実装する部品を画像認識する際に使用する画像処理用部品データを作成する画像処理用部品データ作成システムにおいて、
    請求項５乃至８のいずれかに記載の部品種類自動判別システムで判別した部品の種類に応じて前記部品画像から当該部品の特徴データを抽出して画像処理用部品データを作成する部品データ作成手段を備えていることを特徴とする画像処理用部品データ作成システム。

Images