JP6476397B2 - リード画像認識方法及びリード画像認識装置並びに画像処理用部品データ作成方法及び画像処理用部品データ作成装置 - Google Patents

Description

本発明は、リード付きの部品をカメラで撮像した画像を処理してリードを認識するリード画像認識方法及びリード画像認識装置並びに画像処理用部品データ作成方法及び画像処理用部品データ作成装置に関する発明である。

近年、特許文献１（特開２０１１−２１１０８８号公報）に記載されているように、部品実装機で実装するリード付きの部品を画像認識する際に使用する画像処理用部品データを自動作成する技術が開発されている。この画像処理用部品データの自動作成方法は、事前に生産に使用するリード付きの部品と同じ仕様の部品をカメラで撮像して画像処理して該部品の形状データ（部品のボディ部の寸法、リード位置、リード本数、リード間隔、リード幅、リード長さ等）を計測し、その形状データを含む画像処理用部品データを作成するものである。そして、生産開始後に、部品実装機の吸着ノズルに吸着した部品をカメラで撮像して該部品の形状を画像認識し、その認識結果を事前に作成した画像処理用部品データと比較して吸着部品の品種、吸着位置、吸着姿勢等を判定するようにしている。

特開２０１１−２１１０８８号公報

一般的なリード付き部品は、２辺又は４辺に複数のリードが等ピッチ（等間隔）で配列され、リードと紛らわしい金属部分が存在しない簡単な構造であるため、従来の画像認識方法でも、図２、図３に示すように、撮像した画像からリードを比較的精度良く認識できるが、近年、リードと紛らわしい形状の金属部分等が存在する複雑な構造のリード付き部品が増えつつある。例えば、図４に示すリード付き部品を従来の画像認識方法で認識すると、撮像した画像に写ったコイルの一部をリードと誤認識する場合がある。また、図５に示すリード付きコネクタ部品を従来の画像認識方法で認識すると、撮像した画像に写った止め金具をリードと誤認識する場合がある。このように、従来の画像認識方法では、リードと紛らわしい形状の金属部分等が存在するリード付き部品を画像認識する際に、リードと紛らわしい形状の金属部分等をリードと区別できない可能性があり、リードの誤認識率が高くなるという問題が生じている。

そこで、本発明が解決しようとする課題は、リードと紛らわしい形状の金属部分等が存在するリード付き部品を画像認識する場合でも、リードと紛らわしい形状の金属部分等をリードと誤認識することを防止できて、リードの認識精度を向上できるようにすることである。

上記課題を解決するために、本発明は、同一形状のリードが等ピッチで１列又は複数列に配列された部品をカメラで撮像した画像を処理して前記リードを認識する場合に、前記画像の縦、横、又は斜め方向に設定した複数のラインに沿って輝度（画素値）の変化パターンを波形解析して輝度が周期的に変化する領域を前記リードが存在する可能性のあるリード認識対象領域として特定した後、そのリード認識対象領域内で前記リードを画像認識することを第１の特徴とし、更に、前記輝度の変化パターンの周期性から検出された前記リードのピッチ、前記リード認識対象領域の平均投影輝度及び検出された前記ピッチで投影された投影輝度の標準偏差に基づいて前記リードの列の開始及び終了の座標を取得することを第２の特徴とするものである。

一般に、リード付きの部品は、同一形状のリードが等ピッチで１列又は複数列に配列されているため、該部品を撮像した画像内のリードの列と重なるラインに沿った輝度の変化パターンは、リードのピッチに相当する長さを１波長とする周期的な波形パターンとなるが、リードの列に重ならないラインに沿った輝度の変化パターンは周期的な波形パターンとならない。

この点に着目して、本発明は、画像の複数のラインに沿って輝度の変化パターンを波形解析して輝度が周期的に変化する領域をリードが存在する可能性のあるリード認識対象領域として特定した後、そのリード認識対象領域内でリードを画像認識するようにしたものである。このようにすれば、リード認識対象領域以外の領域にリードと紛らわしい形状の金属部分等が存在しても、その金属部分等をリードと誤認識することを防止でき、リードの認識精度を向上させることができる。

この場合、波形解析は、正規化二乗差関数、平均振幅差関数、フーリエ変換のいずれかを用いて行えば良く、要は、輝度変化の周期性を評価するのに適した関数や解析手法を用いて、リード認識対象領域を特定する波形解析を行えば良い。
また、前記画像認識を行う際に、AdaBoostとHaar-Like 特徴を用いた検出器を使用して前記リードを画像認識するようにしても良い。更に、前記ラインに沿って平均振幅差関数で計算した波形を微分し、それに対して正規化二乗差関数を取る処理を含むようにしても良い。

また、部品実装機で実装するリード付きの部品を画像認識する際に使用する画像処理用部品データを作成する場合は、上述した本発明のリード画像認識方法で画像認識したリードの認識結果を用いて、リード位置、リード本数、リード間隔、リード幅、リード長さのうちの少なくとも１つのデータを含む画像処理用部品データを作成するようにすれば良い。上述したように、本発明のリード画像認識方法を用いれば、リードと紛らわしい形状の金属部分等をリードと誤認識することを防止できるため、従来よりも信頼性の高い画像処理用部品データを自動作成することができる。

図１は本発明の一実施例の画像処理用部品データ作成装置の構成を示すブロック図である。 図２は２辺にリードの列が形成された部品を撮像した画像の一例を示す図である。 図３は４辺にリードの列が形成された部品を撮像した画像の一例を示す図である。 図４はリードの列とコイルが設けられた部品を撮像した画像の一例を示す図である。 図５はリード付きコネクタ部品を撮像した画像の一例を示す図である。 図６はリード付きの部品を撮像した画像に波形解析のラインを設定する方法を説明する図である。 図７は各ラインＬ１，Ｌ２に沿った輝度の変化パターンを平均振幅差関数で計算した波形を示す図である。 図８は各ラインＬ１，Ｌ２に沿って平均振幅差関数で計算した波形を微分した波形を示す図である。 図９は各ラインＬ１，Ｌ２に沿って正規化二乗差関数で計算した波形を示す図である。 図１０は周期性のあるラインを抽出する処理を説明する図である。 図１１は図１０に示す（Ａ）の領域の平均投影輝度と標準偏差を示すグラフである。 図１２（ａ）、（ｂ）は本実施例のリード画像認識方法と従来のリード画像認識方法とのリードの認識率、誤認識率を比較する実験結果を示す図である。

以下、本発明を実施するための形態を具体化した一実施例を説明する。
図１に示すように、画像処理用部品データ作成装置は、パーソナルコンピュータ等のコンピュータ１１と、画像処理用部品データの作成対象となる部品を撮像してグレースケール画像を取得するＣＭＯＳセンサ等のイメージセンサを内蔵するカメラ１２と、キーボード、マウス、タッチパネル等の入力装置１３と、液晶ディスプレイ、ＣＲＴ等の表示装置１４と、後述するリード画像認識と画像処理用部品データ作成のためのプログラムや各種のデータ等を記憶する記憶装置１５とを備えた構成となっている。

画像処理用部品データ作成装置は、部品実装機の制御システムを利用して構成しても良いし、或は、部品実装機の制御システムとは別に構成した専用の画像処理用部品データ作成装置（例えば卓上撮像装置とパーソナルコンピュータとの組み合わせ）を用いても良い。部品実装機の制御システムを利用して画像処理用部品データ作成装置を構成する場合には、カメラ１２は、部品実装機の吸着ノズルに吸着した部品をその下方から撮像するカメラ（いわゆるパーツカメラ）を使用すれば良い。

コンピュータ１１は、カメラ１２で撮像した画像の縦、横（上下左右）方向に設定した複数のラインに沿って輝度（画素値）の変化パターンを波形解析して輝度が周期的に変化する領域をリードが存在する可能性のあるリード認識対象領域として特定する波形解析手段として機能すると共に、前記波形解析処理で特定したリード認識対象領域内でリードを画像認識する画像認識手段として機能し、更に、画像認識したリードの認識結果を用いて、リード位置、リード本数、リード間隔、リード幅、リード長さのうちの少なくとも１つのデータを含む画像処理用部品データを作成する画像処理用部品データ作成手段としても機能する。以下、これらの機能について説明する。

一般に、リード付きの部品は、同一形状のリードが等ピッチで１列又は複数列に配列されているため、図６に示すように、該部品を撮像した画像内のリードの列と重なるラインＬ１に沿った輝度の変化パターンは、リードのピッチに相当する長さを１波長とする周期的な波形パターンとなるが、リードの列に重ならないラインＬ２に沿った輝度の変化パターンは周期的な波形パターンとならない。

この点に着目して、本実施例では、コンピュータ１１によって、リード付き部品を撮像した画像の複数のラインに沿って輝度の変化パターンを波形解析して輝度が周期的に変化する領域をリードが存在する可能性のあるリード認識対象領域として特定した後、そのリード認識対象領域内でリードを画像認識するようにしている。

まず、波形解析処理について説明する。本実施例では、平均振幅差関数又は正規化二乗差関数を用いる波形解析処理を説明する。
［平均振幅差関数を用いる波形解析処理］
平均振幅差関数（AMDF：Average Magnitude Difference Function ）は、信号の周期性の強さを現す関数であり、音声認識の分野ではピッチの検出のための手法の一つとして用いられている。この平均振幅差関数は、下記の［数１］の式によって定義される。

上記［数１］の式において、Ｄ（τ）は遅れτにおける平均振幅差関数であり、Ｗは波形解析する窓のサイズであり、ｘは画像のＸ座標（水平方向であるＸ方向に解析する場合）である。

上記［数１］の式により計算したＤ（τ）の値が大きいほど、輝度の変化パターンの周期性が強いことを意味する。

［正規化二乗差関数を用いる波形解析処理］
正規化二乗差関数（NSDF：Normalized Square Difference Function ）は、下記の［数２］の式によって定義される。

上記［数２］の式において、ｎ'(τ) は遅れτにおける正規化二乗差関数であり、ｍ'(τ) は後述する［数８］の式で定義される関数であり、ｒ'(τ) は後述する［数４］の式で定義される自己相関関数（ACF ：Autocorrelation Function ）である。

上記［数２］の式により計算した正規化二乗差関数ｎ'(τ) の値が大きいほど、輝度の変化パターンの周期性が強いことを意味する。
自己相関関数は主に２種類あり、それらをタイプ１とタイプ２に分類すると、タイプ１の自己相関関数は、下記の［数３］の式によって定義される。

上記［数３］の式において、ｒ（τ）は遅れτにおける自己相関関数であり、Ｗは波形解析する窓のサイズの初期値である。
タイプ２の自己相関関数は、下記の［数４］の式によって定義される。

上記［数４］の式によって定義されるタイプ２の自己相関関数ｒ'(τ) は、τが増加するにつれて積分範囲が減少する特徴がある。
前記［数２］の式の右辺に含まれるｍ'(τ) は二乗差関数（SDF ：Square Difference Function ）によって求められる。この二乗差関数も、自己相関関数と同様に、２種類あり、それらをタイプ１とタイプ２に分類すると、タイプ１の二乗差関数は、下記の［数５］の式によって定義される。

上記［数５］の式において、ｄ（τ）は遅れτにおけるタイプ１の二乗差関数であり、Ｗは窓のサイズの初期値である。
同様に、タイプ２の二乗差関数は、下記の［数６］の式によって定義される。

上記［数６］の式において、ｄ'(τ) は遅れτにおけるタイプ２の二乗差関数であり、前述したタイプ２の自己相関関数ｒ'(τ) と同様に、τが増加するにつれて積分範囲が減少することを示している。タイプ１とタイプ２のどちらの二乗差関数においても、τ＝０の時に最小値を取り、これに対し、自己相関関数では、τ＝０の時に最大値を取る。
前記［数５］の式を展開すると、下記の［数７］の式に示すように、二乗差関数の式の中に、自己相関関数の式が含まれていることが分かる。

ここで、下記の［数８］の式によりｍ'(τ) の式を定義する。

前記［数７］の式の右辺に［数８］の式と［数４］の式を代入すると、下記の式が導き出される。
ｄ'(τ) ＝ｍ'(τ) −２ｒ'(τ)

次に、正規化二乗差関数を用いてリード認識対象領域を特定する方法について説明する。一般に、リード付きの部品は、同一形状のリードが等ピッチで水平方向又は垂直方向に配列されたものが多い。この点を考慮して、本実施例では、リード付きの部品を撮像した画像の垂直・水平方向（縦・横方向）の輝度の変化パターンを信号の波形と捉え、まず、画像の各ライン毎に正規化二乗差関数の値を計算する。以下、説明を簡単化するために、図６に示すように、リード付きの部品を撮像した画像の水平方向に複数の波形解析のラインＬ１，Ｌ２を設定して、水平方向の輝度の変化パターンを波形解析する場合について説明する。

図６において、ラインＬ１は、画像に写ったリードの列と重なるラインであり、ラインＬ２は、画像内のリードの列と重ならないラインである。図７は、各ラインＬ１，Ｌ２に沿った輝度の変化パターンを平均振幅差関数で計算した波形を示している。図８は、各ラインＬ１，Ｌ２に沿って平均振幅差関数で計算した波形を微分した波形を示している。図９は、各ラインＬ１，Ｌ２に沿って正規化二乗差関数で計算した波形を示している。

平均振幅差関数は、波形をずらした際の差の絶対値を取るため、常にその値は正となる（図７参照）。これに対し、正規化二乗差関数は、負の相関が負値とならないため、都合が悪い。そこで、本実施例では、各ラインＬ１，Ｌ２に沿って平均振幅差関数で計算した波形（図７参照）を微分し（図８参照）、それに対して、正規化二乗差関数を取ることで正の相関が高い箇所を判定した（図９参照）。

リードの列と重なったラインＬ１における平均振幅差関数は何らかの周期性を持っているが、リードの列と重ならないラインＬ２では周期性が無いことを観察できる。この平均振幅差関数の波形を微分した波形が図８に示されている。この微分波形でも、リードの列と重なったラインＬ１の波形の周期性を当然確認できる。この微分波形に対して正規化二乗差関数を得たものが図９に表される結果である。リードの列と重なったラインＬ１においては、１ピッチ目のところに非常に相関性の高いピーク値が得られていることが分かる。以上のようにして、輝度が周期的に変化するラインを特定できるが、まだリードの列の開始のＸ座標、終了のＸ座標を決定できていない。以下に、リードの列の開始、終了のＸ座標を得る手法を説明する。
まず、上記波形解析により周期性があると判定した領域に対して、Ｘ方向（水平方向）への輝度の投影を行う。平均投影輝度Ｔ（ｘ）は、下記の［数９］の式で表される。

上記［数９］の式において、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）における画像の輝度であり、ｙ₁ ，ｙ₂ はそれぞれ連続して周期性があると判断した領域の開始及び終了のＹ座標である。この領域は既に周期性があると判断されており、ピッチも検出できている領域であるため、検出されたピッチで投影した波形データの標準偏差Ｓ（ｘ）を取ると、リードの列が存在する領域では標準偏差Ｓ（ｘ）が高く、そうでない領域では標準偏差Ｓ（ｘ）が低く得られる。この標準偏差Ｓ（ｘ）は下記の［数１０］の式で定義される。

上記［数１０］の式において、ｐは検出されたピッチであり、Ｔav（ｘ）はピッチｐの区間平均投影輝度である。Ｔav（ｘ）は下記の［数１１］の式で定義される。

図１１は図１０に示す（Ａ）の領域の平均投影輝度と標準偏差を示すグラフである。標準偏差が高い領域だけを抽出することで、リードの列の開始及び終了の座標ｘ₁ 、ｘ₂ を取得できる。

図２に示すリード付き部品では、リードが部品の左右方向（Ｘ方向）にのみ延びているため、上述した波形解析処理は、左右方向（Ｘ方向）にのみ行えば良いが、図３に示すリード付き部品では、リードが部品の上下左右方向（Ｘ方向及びＹ方向）に延びているため、同様の処理を画像の縦横両方向（Ｘ方向及びＹ方向）に対して行い、垂直方向（Ｙ方向）のリードの列が存在する領域と水平方向（Ｘ方向）のリードの列が存在する領域をそれぞれ抽出する。

以上のようにして、リード付きの部品を撮像した画像内の輝度が周期的に変化する領域をリードが存在する可能性のあるリード認識対象領域として特定した後、そのリード認識対象領域内でリードを画像認識する。この際、リードの画像認識は、顔検出でよく用いられるAdaBoostとHaar-Like 特徴を用いた検出器を使用する。他に、HOG 特徴を用いた画像認識を用いても良いが、リード先端は輝度勾配の特徴よりも領域の輝度差による特徴があるため、HOG 特徴を使用した画像認識では、Haar-Like 特徴を用いた方法に比べて、リードの認識率が低い傾向がある。リードの画像認識は、これらの方法に限定されず、例えば、特開２００７−１４２０３９号公報、特許第２９４１６１７号公報等に記載された方法を使用しても良い。

本発明者らは、リード付きの部品を撮像した画像の中からリード認識対象領域を特定してリードを画像認識する本実施例の方法と、画像全体からリードを画像認識する従来方法について、リードの認識率、誤認識率を比較する実験を行ったので、その実験結果を図１２に示す。ここで、リードの認識率とは、部品全体の合計リード本数に対して正しく認識できたリード本数の割合であり、リードの誤認識率とは、リードではないものをリードと誤って認識した割合である。実験に使用した画像サンプルは、図４、図５に示すリードと紛らわしい形状の金属部分等が存在するリード付き部品の画像サンプルを使用した。

本実施例のリードの認識率は、従来のリードの認識率とあまり差がないものの、誤認識率は、２４．５％から２．４％に大きく削減できていることが確認された。一方、認識率は、９６．８％から９５．７％と僅かに低下したが、この原因は、１部品で１〜２本だけといった周期性を持たないリードが存在し、これらのリードが周期性による領域特定を行うことで除外されてしまったためと考えられる。全体としては、１〜２本だけのリード付き部品は、簡単な形状の定形部品である場合が多く、従来方法を用いてリードを画像認識すれば良い。

本実施例のリードの認識結果を用いて、リード位置、リード本数、リード間隔、リード幅、リード長さを計測して、これらのうちの少なくとも１つのデータを含む画像処理用部品データを作成する。

以上説明した本実施例では、画像の複数のラインに沿って輝度の変化パターンを波形解析して輝度が周期的に変化する領域をリードが存在する可能性のあるリード認識対象領域として特定した後、そのリード認識対象領域内でリードを画像認識するようにしたので、リード認識対象領域以外の領域にリードと紛らわしい形状の金属部分等が存在しても、その金属部分等をリードと誤認識することを防止でき、リードの認識精度を向上させることができる。

しかも、本実施例のリードの認識結果を用いて画像処理用部品データを作成するようにしているため、リードと紛らわしい形状の金属部分等をリードと誤認識して画像処理用部品データを自動作成することを防止でき、従来よりも信頼性の高い画像処理用部品データを自動作成することができる。

尚、画像にリードの列が斜め方向に写っている場合の対策として、周期性の波形解析を行うラインを画像の斜め方向（例えば画像の対角方向、或は水平方向から４５°傾いた方向）に設定するようにしても良い。

また、ラインに沿った周期性の波形解析は、正規化二乗差関数、平均振幅差関数を用いるものに限定されず、フーリエ変換等を用いても良く、要は、輝度変化の周期性を評価するのに適した関数や解析手法を用いて、リード認識対象領域を特定するようにすれば良い。

１１…コンピュータ（波形解析手段，画像認識手段，画像処理用部品データ作成手段）、１２…カメラ

Claims (8)

1. 同一形状のリードが等ピッチで１列又は複数列に配列された部品をカメラで撮像した画像を処理して前記リードを認識するリード画像認識方法において、
   前記画像の縦、横、又は斜め方向に設定した複数のラインに沿って輝度の変化パターンを波形解析して輝度が周期的に変化する領域を前記リードが存在する可能性のあるリード認識対象領域として特定する波形解析処理と、
   前記波形解析処理で特定した前記リード認識対象領域内で前記リードを画像認識する画像認識処理と
   を含み、
   前記画像認識処理では、前記輝度の変化パターンの周期性から検出された前記リードのピッチ、前記リード認識対象領域の平均投影輝度及び検出された前記ピッチで投影された投影輝度の標準偏差に基づいて前記リードの列の開始及び終了の座標を取得することを特徴とするリード画像認識方法。
2. 前記波形解析処理では、正規化二乗差関数、平均振幅差関数、フーリエ変換のいずれかを用いて前記リード認識対象領域を特定することを特徴とする請求項１に記載のリード画像認識方法。
3. 前記画像認識処理では、AdaBoostとHaar-Like 特徴を用いた検出器を使用して前記リードを画像認識することを特徴とする請求項１又は２に記載のリード画像認識方法。
4. 前記波形解析処理では、前記ラインに沿って平均振幅差関数で計算した波形を微分し、それに対して正規化二乗差関数を取る処理を含むことを特徴とする請求項１乃至３のいずれかに記載のリード画像認識方法。
5. 同一形状のリードが等ピッチで１列又は複数列に配列された部品をカメラで撮像した画像を処理して前記リードを認識するリード画像認識装置において、
   前記画像の縦、横、又は斜め方向に設定した複数のラインに沿って輝度の変化パターンを波形解析して輝度が周期的に変化する領域を前記リードが存在する可能性のあるリード認識対象領域として特定する波形解析手段と、
   前記波形解析手段で特定した前記リード認識対象領域内で前記リードを画像認識する画像認識手段と
   を含み、
   前記画像認識手段は、前記輝度の変化パターンの周期性から検出された前記リードのピッチ、前記リード認識対象領域の平均投影輝度及び検出された前記ピッチで投影された投影輝度の標準偏差に基づいて前記リードの列の開始及び終了の座標を取得することを特徴とするリード画像認識装置。
6. 前記波形解析手段は、正規化二乗差関数、平均振幅差関数、フーリエ変換のいずれかを用いて前記リード認識対象領域を特定することを特徴とする請求項５に記載のリード画像認識装置。
7. 部品実装機で実装するリード付きの部品を画像認識する際に使用する画像処理用部品データを作成する画像処理用部品データ作成方法において、
   請求項１乃至４のいずれかに記載のリード画像認識方法で画像認識したリードの認識結果を用いて、リード位置、リード本数、リード間隔、リード幅、リード長さのうちの少なくとも１つのデータを含む画像処理用部品データを作成することを特徴とする画像処理用部品データ作成方法。
8. 部品実装機で実装するリード付きの部品を画像認識する際に使用する画像処理用部品データを作成する画像処理用部品データ作成装置において、
   請求項５又は６に記載のリード画像認識装置で画像認識したリードの認識結果を用いて、リード位置、リード本数、リード間隔、リード幅、リード長さのうちの少なくとも１つのデータを含む画像処理用部品データを作成することを特徴とする画像処理用部品データ作成装置。

Images