JP4900951B2 - 生産ラインの検査システム及び検査方法 - Google Patents

Description

本発明は、基板への半田印刷及び／又は電子部品実装を行う複数の装置を当該基板の搬送経路に沿って配置した生産ラインの検査システム及び検査方法に関する発明である。

基板への半田印刷及び／又は電子部品実装を行う複数の装置を当該基板の搬送経路に沿って配置した電子部品実装基板生産ラインにおいては、特許文献１（特開２００６−５８２８４号公報）に記載されているように、各装置毎に半田印刷状態や電子部品実装状態の良否を画像処理により検査するために、各装置毎にカメラ付きの検査機を設けて、各検査機のカメラで撮像した画像を前後２つの装置間で比較して差分画像を求め、その差分画像に基づいて半田印刷状態や電子部品実装状態の良否を各装置毎に検査するようにしたものがある。
特開２００６−５８２８４号公報

上記検査システムにおいて、前後２つの装置間で正確な差分画像を得るためには、前後２つの装置の画像間で撮像条件が正確に一致する必要があるが、実際には、各装置における基板とカメラとの間の位置決め誤差やカメラの個体差、分解能、照明（光学系）のばらつき等によって各装置のカメラで撮像した画像にずれが生じるため、前後２つの装置間で正確な差分画像を得ることは困難であり、その結果、半田印刷状態や電子部品実装状態の検査精度が悪くなるという問題があった。

本発明はこのような事情を考慮してなされたものであり、従ってその目的は、前後２つの装置間で精度の良い差分画像を求めることができ、半田印刷状態や電子部品実装状態の良否を精度良く検査することができる生産ラインの検査システム及び検査方法を提供することにある。

本発明は、基板の搬送経路に沿って複数の装置を配置し、これら複数の装置のうちの２つ以上の装置にそれぞれ前記基板を撮像するカメラを設け、各装置のカメラで撮像した画像を前後２つの装置間で比較して差分画像を求める際に、前後２つの装置の画像間で撮像部位のＸＹ方向の位置ずれ、傾き及び撮像倍率の差（以下これらを「オフセット量」と総称する）を演算し、前後２つの装置の画像間で前記オフセット量を考慮して両画像の差分をとる画素の対応位置関係を決定して差分画像を求め、この差分画像に基づいて当該装置で作業が正常に行われたか否かを検査することを第１の特徴とし、更に、オフセット量を演算する際に、各画像からそれぞれ非円形の特定形状を認識し、各画像の特定形状から決定される基準点のＸＹ座標と該特定形状のサイズと傾きに基づいてオフセット量を演算することを第２の特徴とするものである。

前後２つの装置間の画像のずれは、撮像部位のＸＹ方向の位置ずれ、傾き及び撮像倍率の差の３種類のずれ（差）があるため、本発明では、これら３種類のずれを「オフセット量」として求めて、前後２つの装置の画像間で前記オフセット量を考慮して両画像の差分をとる画素の対応位置関係を決定して差分画像を求めるようにしたものであり、これにより、前後２つの装置間で画像のずれがない精度の良い差分画像を求めることが可能となり、半田印刷状態や電子部品実装状態の良否を精度良く検査することができる。
更に、本発明では、オフセット量を演算する際に、各画像からそれぞれ非円形の特定形状を認識し、各画像の特定形状から決定される基準点のＸＹ座標と該特定形状のサイズと傾きに基づいてオフセット量を演算するようにしている。ここで、非円形の特定形状は、基板の表面に形成された基準位置認識用の大型のマークを用いても良いし、或は、基板に形成された特定形状の導体パターン等を用いて良い。各画像の特定形状から決定される基準点のＸＹ座標の差から撮像部位のＸＹ方向の位置ずれが求められ、特定形状のサイズの比から撮像倍率の差が求められ、特定形状の傾きの差から撮像部位の傾きの差が求められる。

この場合、オフセット量を演算する際に、各画像からそれぞれ２個の基準点を認識し、各画像の２個の基準点間を結ぶ直線上の特定点のＸＹ座標と該直線の長さと傾きに基づいてオフセット量を演算するようにしても良い。ここで、基準点は、基板の表面に形成された基準位置認識マークを用いても良いし、或は、基板に形成された特定のパターンによって決定される点であっても良い。両画像の特定点のＸＹ座標の差から撮像部位のＸＹ方向の位置ずれが求められ、直線の長さの比から撮像倍率の差が求められ、直線の傾きの差から撮像部位の傾きの差が求められる。

２個の基準点間を結ぶ直線上の特定点は、例えば、該直線の中点又はいずれか一方の基準点であっても良い。要は、２個の基準点間を結ぶ直線上の決められた位置に特定点を設定すれば良い。

特定形状の基準点は、例えば、該特定形状の中心又は図心に設定しても良い。要は、特定形状から一義的に決定される位置に基準点を設定すれば良い。

以下、本発明を実施するための最良の形態を具体化した２つの実施例１，２を説明する。

本発明の実施例１を図１乃至図３に基づいて説明する。
まず、図１に基づいて電子部品実装基板生産ラインの一例を概略的に説明する。
本実施例１の電子部品実装基板生産ラインは、基板１１を搬送する搬送コンベア１２（搬送経路）に沿って、印刷装置１３と複数台の電子部品実装装置１４〜１７が一列に配置されている。印刷装置１３と各電子部品実装装置１４〜１７には、半田印刷状態や電子部品実装状態の良否を画像処理により検査するために、カメラ（図示せず）が搭載されている。各電子部品実装装置１４〜１７のカメラは、装着ヘッドに取り付けても良いし、装置天井部等に取り付けても良い。また、各カメラは、２次元カメラ単体又はラインセンサカメラであっても良いし、複数のカメラの合成画像を得る撮像系で構成しても良い。各カメラの視野は、できるだけ広い方が良く、基板１１全体を一望視できる広視野のカメラが最も望ましい。

この電子部品実装基板生産ラインを構成する印刷装置１３、電子部品実装装置１４〜１７、カメラ、搬送コンベア１２は、それぞれネットワーク１８を介して生産制御コンピュータ１９に接続されている。この生産制御コンピュータ１９は、各装置１３〜１７のカメラで撮像した画像を前後２つの装置間で比較して差分画像を求め、その差分画像に基づいて当該装置１３〜１７で作業が正常に行われたか否かを検査する。

本実施例１の画像処理は、原則として仮想画面上で行う。従来の画像処理では、視野内の有限個の画素（ピクセル）上で、行っていたが、そのような格子状の画面では、微小な移動や回転を考えることは非常に困難である。そこで、本実施例１では、基本的に仮想画面で画像処理するようにしている。ここで、仮想画面とは、無限個の画素を有する画面のことである。この考え方は現実的ではないので、次の方法を採用する。

図２において、任意の仮想点ｅの輝度又は色調（以下これらを単に「輝度」という）を求める際に、その仮想点ｅの近傍の４画素ａ〜ｄの輝度を２次元線形補間して、仮想点ｅの輝度を求める。以下の説明は、画素を超越した仮想画面上で処理するものとして行う。ただし、本発明は、仮想画面上で画像処理することを必須要件とするものではない。

ところで、前後２つの装置間で正確な差分画像を得るためには、前後２つの装置の画像間で撮像条件が正確に一致する必要があるが、実際には、各装置１３〜１７におけける基板１１とカメラとの間の位置決め誤差やカメラの固体差、分解能、照明（光学系）のばらつき等によって各装置１３〜１７のカメラで撮像した画像にずれが生じるため、前後２つの装置間で正確な差分画像を得ることは困難である。差分画像の精度が悪ければ、半田印刷状態や電子部品実装状態の検査精度が悪くなる。

前後２つの装置間の画像のずれは、撮像部位のＸＹ方向の位置ずれ、傾き及び撮像倍率の差の３種類のずれ（差）があるため、本実施例１では、これら３種類のずれを「オフセット量」として求めて、前後２つの装置の画像間で前記オフセット量を考慮して両画像の差分をとる画素（相当点Ｄ1 ，Ｄ2 ）の対応位置関係を決定して差分画像を求めるようにしている。

この場合、オフセット量を演算する際に、図３（ａ），（ｂ）に示すように、２つの画像Ｇ1 ，Ｇ2 からそれぞれ２個の基準点（Ａ1 ，Ｂ1 ）、（Ａ2 ，Ｂ2 ）を認識し、各画像Ｇ1 ，Ｇ2 の２個の基準点（Ａ1 ，Ｂ1 ）間、（Ａ2 ，Ｂ2 ）間を結ぶ直線上の特定点Ｃ1 ，Ｃ2 のＸＹ座標と該直線の長さｍ1 ，ｍ2 と傾きθ1 ，θ2 に基づいてオフセット量を演算する。

ここで、基準点（Ａ1 ，Ｂ1 ）、（Ａ2 ，Ｂ2 ）は、基板１１の表面に形成された基準位置認識マークを用いても良いし、或は、基板１１に形成された特定の導体パターン等によって決定される点であっても良い。

また、２個の基準点（Ａ1 ，Ｂ1 ）間、（Ａ2 ，Ｂ2 ）間を結ぶ直線上の特定点Ｃ1 ，Ｃ2 は、例えば、該直線の中点又はいずれか一方の基準点であっても良い。要は、２個の基準点（Ａ1 ，Ｂ1 ）間、（Ａ2 ，Ｂ2 ）間を結ぶ直線上の決められた位置に特定点Ｃ1 ，Ｃ2 を設定すれば良い。以下の説明では、直線の中点を特定点Ｃ1 ，Ｃ2 とした例で説明する。

２個の基準点（Ａ1 ，Ｂ1 ）、（Ａ2 ，Ｂ2 ）は、パターンマッチング等により別々に正確な座標（Ｘ，Ｙ）を求めることができる。カメラの視野より広い画像の差分画像を得たい場合は、カメラの撮像エリアを少しオーバラップさせて変更して、複数枚の画像を取り込んで１枚の画像につなぎ合わせるようにすれば良い。

差分画像を得るポイントは、２つの画像Ｇ1 ，Ｇ2 の対応する任意の仮想点（物理的な画素を超越した点）Ｄ1 ，Ｄ2 どうしの輝度及び／又は色調の差分を求めることである。ここで、対応する任意の仮想点Ｄ1 ，Ｄ2 を「相当点」と呼ぶことにする。一方の相当点Ｄ1 は、他方の相当点Ｄ2 でもある。

カメラの視野内の全ての点について、相当点Ｄ1 ，Ｄ2 どうしの差分値を得て、２次元画像を作ると、それが差分画面となる。比較画像処理を行うには、差分画面を全て作成してから行う必要はない。差分画面の画像処理したい点又はエリアについて、差分画面を求めてから画像処理する方が、処理時間を節約できる場合がある。

相当点Ｄ1 ，Ｄ2 と特定点Ｃ1 ，Ｃ2 との間の距離ｎ1 ，ｎ2 は、次式の関係が成立する。
ｎ2 ＝ｎ1 ×（ｍ2 ／ｍ1 ）
ここで、ｍ1 ，ｍ2 は、２個の基準点（Ａ1 ，Ｂ1 ）間、（Ａ2 ，Ｂ2 ）間を結ぶ直線の長さである。
相当点Ｄ1 ，Ｄ2 は、特定点Ｃ1 ，Ｃ2 から距離ｎ1 ，ｎ2 だけ離れた位置で、且つ、各直線（Ａ1 −Ｂ1 ）、（Ａ2 −Ｂ2 ）に対する傾きφが同じとなる点である。

また、各画像Ｇ1 ，Ｇ2 のＸ軸に対する各直線（Ａ1 −Ｂ1 ）、（Ａ2 −Ｂ2 ）の傾きをθ1 ，θ2 とすると、一方の画像Ｇ1 の相当点Ｄ1 は、Ｘ軸に対する傾きがθ1 ＋φとなり、他方の画像Ｇ2 の相当点Ｄ2 は、Ｘ軸に対する傾きがθ2 ＋φとなる。このような幾何学的な関係を利用して、一方の画像Ｇ1 の相当点Ｄ1 に対応する他方の画像Ｇ2 の相当点Ｄ2 を幾何学的に算出することができる。これにより、前後２つの装置の画像Ｇ1 ，Ｇ2 間でオフセット量（撮像部位のＸＹ方向の位置ずれ、傾き及び撮像倍率の差）を考慮して両画像Ｇ1 ，Ｇ2 の差分をとる画素（相当点Ｄ1 ，Ｄ2 ）の対応位置関係を決定して正確な差分画像を求めることができる。

前述したように、特定点Ｃ1 ，Ｃ2 は、各直線（Ａ1 −Ｂ1 ）、（Ａ2 −Ｂ2 ）の中点に限定されず、いずれか一方の基準点を用いても良く、この場合でも、上記と同様の幾何学的な手法で相当点Ｄ1 ，Ｄ2 を算出することができる。従って、各画像Ｇ1 ，Ｇ2 内の離れた位置に２個の基準点を特定できれば、幾何学的な手法で相当点Ｄ1 ，Ｄ2 を算出することができる。そして、２個の基準点間の距離（直線の長さ）が長くなるほど、相当点Ｄ1 ，Ｄ2 の算出精度を高めることができる。

以上説明した本実施例１では、電子部品実装基板生産ラインの生産制御コンピュータ１９は、前後２つの装置の画像Ｇ1 ，Ｇ2 間でオフセット量（撮像部位のＸＹ方向の位置ずれ、傾き及び撮像倍率の差）を演算するオフセット量演算手段として機能すると共に、前後２つの装置の画像Ｇ1 ，Ｇ2 間で前記オフセット量を考慮して両画像Ｇ1 ，Ｇ2 の差分をとる画素（相当点Ｄ1 ，Ｄ2 ）の対応位置関係を決定して、両画像Ｇ1 ，Ｇ2 の全ての点（画素）について、相当点Ｄ1 ，Ｄ2 どうしの差分値を得て差分画像を求める差分画像演算手段として機能し、この差分画像に基づいて当該装置で作業が正常に行われたか否かを検査する。これにより、前後２つの装置間で画像のずれがない精度の良い差分画像を求めることが可能となり、半田印刷状態や電子部品実装状態の良否を精度良く検査することができる。

上記実施例１では、２個の基準点（Ａ1 ，Ｂ1 ）、（Ａ2 ，Ｂ2 ）からオフセット量を演算するようにしたが、図４（ａ）、（ｂ）に示す本発明の実施例２では、前後２つの装置の画像Ｇ1 ，Ｇ2 からそれぞれ非円形の特定形状Ｍ1 ，Ｍ2 を認識して、各画像Ｇ1 ，Ｇ2 の特定形状Ｍ1 ，Ｍ2 から決定される基準点Ｃ1 ，Ｃ2 のＸＹ座標と該特定形状Ｍ1 ，Ｍ2 のサイズと傾きθ1 ，θ2 に基づいてオフセット量を演算するようにしている。

ここで、非円形の特定形状Ｍ1 ，Ｍ2 は、基板１１の表面に形成された基準位置認識用の大型のマークを用いても良いし、或は、基板１１に形成された特定形状の導体パターン等を用いて良く、また、特定形状Ｍ1 ，Ｍ2 の形状も、八角形等の多角形に限定されず、コ字形のような形状であっても良く、要は、位置と傾きとサイズを求めることができる方向性のある形状であれば良い。特定形状Ｍ1 ，Ｍ2 は、画像Ｇ1 ，Ｇ2 内で大きくなるほど、後述する相当点Ｄ1 ，Ｄ2 の算出精度が高くなる。

各画像Ｇ1 ，Ｇ2 の特定形状Ｍ1 ，Ｍ2 から決定される基準点Ｃ1 ，Ｃ2 のＸＹ座標の差から撮像部位のＸＹ方向の位置ずれが求められ、特定形状Ｍ1 ，Ｍ2 のサイズの比から撮像倍率の差が求められ、特定形状Ｍ1 ，Ｍ2 の傾きθ1 ，θ2 の差から撮像部位の傾きの差が求められる。

特定形状Ｍ1 ，Ｍ2 の基準点Ｃ1 ，Ｃ2 は、例えば、該特定形状Ｍ1 ，Ｍ2 の中心又は図心に設定しても良く、要は、特定形状Ｍ1 ，Ｍ2 から一義的に決定される位置に基準点Ｃ1 ，Ｃ2 を設定すれば良い。例えば、特定形状Ｍ1 ，Ｍ2 の中心を基準点Ｃ1 ，Ｃ2 とする場合は、特定形状Ｍ1 ，Ｍ2 のＸ軸方向中心線Ｌx1，Ｌx2と、Ｙ軸方向中心線Ｌy1，Ｌy2を求め、両中心線の交点を特定形状Ｍ1 ，Ｍ2 の中心とし、この中心を基準点Ｃ1 ，Ｃ2 とすれば良い。

また、特定形状Ｍ1 ，Ｍ2 のサイズは、特定形状Ｍ1 ，Ｍ2 の外形寸法をＸ軸方向中心線Ｌx1，Ｌx2又はＹ軸方向中心線Ｌy1，Ｌy2に沿って計測し、その計測値をサイズとすれば良い。

また、特定形状Ｍ1 ，Ｍ2 の傾きθ1 ，θ2 は、各画像Ｇ1 ，Ｇ2 のＹ軸に対するＹ軸方向中心線Ｌy1，Ｌy2の傾きを求めたり、或は、Ｘ軸に対するＸ軸方向中心線Ｌx1，Ｌx2の傾きを求めれば良い。

そして、各画像Ｇ1 ，Ｇ2 の特定形状Ｍ1 ，Ｍ2 から決定される基準点Ｃ1 ，Ｃ2 のＸＹ座標と該特定形状Ｍ1 ，Ｍ2 のサイズと傾きθ1 ，θ2 に基づいてオフセット量を演算した後、前記実施例１と同様の幾何学的手法で、前後２つの装置の画像Ｇ1 ，Ｇ2 間で前記オフセット量を考慮して両画像Ｇ1 ，Ｇ2 の差分をとる画素（相当点Ｄ1 ，Ｄ2 ）の対応位置関係を決定して、両画像Ｇ1 ，Ｇ2 の全ての点（画素）について相当点Ｄ1 ，Ｄ2 どうしの差分値を得て差分画像を求め、この差分画像に基づいて当該装置で作業が正常に行われたか否かを検査する。これにより、前後２つの装置間で画像のずれがない精度の良い差分画像を求めることが可能となり、半田印刷状態や電子部品実装状態の良否を精度良く検査することができる。

尚、本発明は、基板への半田印刷、電子部品の実装、基板の検査のうちの少なくとも１つを実行する生産ラインに適用して実施でき、また、生産ラインを構成する複数の装置の全てにカメラを設けた構成に限定されず、生産ラインを構成する複数の装置のうちの２つ以上の装置にそれぞれカメラを設けた構成としても良い。

本発明の実施例１における電子部品実装基板生産ラインの一例を概略的に示す図である。 画素を超越した仮想画面上で画像処理する際の２次元線形補間方法を説明する図である。 （ａ），（ｂ）は、実施例１において、前後２つの装置の画像間でオフセット量を考慮して差分画像を求める方法を説明する図である。 （ａ），（ｂ）は、実施例２において、前後２つの装置の画像間でオフセット量を考慮して差分画像を求める方法を説明する図である。

符号の説明

１１…基板、１２…搬送コンベア（搬送経路）、１３…印刷装置、１４〜１７…電子部品実装装置、１８…ネットワーク、１９…生産制御コンピュータ（オフセット量演算手段，差分画像演算手段）

Claims (8)

1. 基板の搬送経路に沿って複数の装置を配置し、これら複数の装置のうちの２つ以上の装置にそれぞれ前記基板を撮像するカメラを設け、各装置のカメラで撮像した画像を前後２つの装置間で比較して差分画像を求め、その差分画像に基づいて当該装置で作業が正常に行われたか否かを検査する生産ラインの検査システムにおいて、
   前後２つの装置の画像間で撮像部位のＸＹ方向の位置ずれ、傾き及び撮像倍率の差（以下これらを「オフセット量」と総称する）を演算するオフセット量演算手段と、
   前後２つの装置の画像間で前記オフセット量を考慮して両画像の差分をとる画素の対応位置関係を決定して差分画像を求める差分画像演算手段と
   を備え、
   前記オフセット量演算手段は、各画像からそれぞれ非円形の特定形状を認識し、各画像の特定形状から決定される基準点のＸＹ座標と該特定形状のサイズと傾きに基づいて前記オフセット量を演算することを特徴とする生産ラインの検査システム。
2. 前記オフセット量演算手段は、各画像からそれぞれ２個の基準点を認識し、各画像の２個の基準点間を結ぶ直線上の特定点のＸＹ座標と該直線の長さと傾きに基づいて前記オフセット量を演算することを特徴とする請求項１に記載の生産ラインの検査システム。
3. 前記直線上の特定点は、該直線の中点又はいずれか一方の基準点であることを特徴とする請求項２に記載の生産ラインの検査システム。
4. 前記特定形状内の基準点は、該特定形状の中心又は図心に設定されていることを特徴とする請求項１に記載の生産ラインの検査システム。
5. 基板の搬送経路に沿って複数の装置を配置し、これら複数の装置のうちの２つ以上の装置にそれぞれ前記基板を撮像するカメラを設け、各装置のカメラで撮像した画像を前後２つの装置間で比較して差分画像を求め、その差分画像に基づいて当該装置で作業が正常に行われたか否かを検査する生産ラインの検査方法において、
   前記差分画像を求める際に、前後２つの装置の画像間で撮像部位のＸＹ方向の位置ずれ、傾き及び撮像倍率の差（以下これらを「オフセット量」と総称する）を演算し、前後２つの装置の画像間で前記オフセット量を考慮して両画像の差分をとる画素の対応位置関係を決定して差分画像を求め、
   前記オフセット量を演算する際に、各画像からそれぞれ非円形の特定形状を認識し、各画像の特定形状から決定される基準点のＸＹ座標と該特定形状のサイズと傾きに基づいて前記オフセット量を演算することを特徴とする生産ラインの検査方法。
6. 前記オフセット量を演算する際に、各画像からそれぞれ２個の基準点を認識し、各画像の２個の基準点間を結ぶ直線上の特定点のＸＹ座標と該直線の長さと傾きに基づいて前記オフセット量を演算することを特徴とする請求項５に記載の生産ラインの検査方法。
7. 前記直線上の特定点は、該直線の中点又はいずれか一方の基準点であることを特徴とする請求項６に記載の生産ラインの検査方法。
8. 前記特定形状内の基準点は、該特定形状の中心又は図心に設定されていることを特徴とする請求項５に記載の生産ラインの検査方法。

Images