JP4354173B2 - Appearance inspection equipment for electronic circuit components - Google Patents
Appearance inspection equipment for electronic circuit components Download PDFInfo
- Publication number
- JP4354173B2 JP4354173B2 JP2002325841A JP2002325841A JP4354173B2 JP 4354173 B2 JP4354173 B2 JP 4354173B2 JP 2002325841 A JP2002325841 A JP 2002325841A JP 2002325841 A JP2002325841 A JP 2002325841A JP 4354173 B2 JP4354173 B2 JP 4354173B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- coordinate
- inspection
- inspection surface
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、電子回路用部品の外観検査装置に関し、より詳細には、外観検査の高精度化に適した電子回路用部品の外観検査装置に関する。
【0002】
【従来の技術】
近年、パーソナルコンピュータ(PC)やワークステーション(WS)等のコンピュータの劇的な進歩は勿論のことであるが、カメラやスキャナ等の画像入出力機器、CDやMO等の画像記録装置の進歩に伴い画像処理における処理速度・処理精度といった処理技術は、目覚しく発展するに至っている。
そのような中、従来、目視検査に頼っていたパッケージ基板や半導体部品等の電子回路用部品の外観検査は、画像処理をなす外観検査装置を用いた自動化へと技術転換がなされようとしている。尚、本明細書における電子回路用部品は、セラミックパッケージ基板やプラスチックパッケージ基板といった周知のパッケージ基板および、LSIやICチップといった半導体部品、チップキャパシタ、アンテナスイッチモジュール等を含む周知の電子部品を概念として含有する。
【0003】
上記外観検査装置にてなされる画像処理の方法としては、モノクロ処理による白黒2値化処理の方法と、カラー画像処理による方法とが種々検討されている。
また、カラー画像処理を用いた外観検査においては、白黒2値化処理を用いた場合に比べて外観上の微妙な色差の識別能力を高めることができる。そのため、構成原料による微妙な色差が表面に発生しやすい電子回路用部品の外観検査においては、カラー画像処理による方法が、特に有用な方法であることが認識されている。
【0004】
【特許文献1】
特開2000−046651号公報
【特許文献2】
特開平10−311713号公報
【0005】
【発明が解決しようとする課題】
そこで、外観検査装置にてなす画像処理をカラー画像処理とし、該外観検査装置を用いて電子回路用部品の外観検査を行なった場合、白黒2値化処理を用いた場合に比べて、処理精度に関して次のような問題が特に顕在化してしまう。カラー画像は、3次元色空間座標系の独立した3つの座標成分のそれぞれ座標値にて表される。そのため、白黒2値化にて表される白黒の濃淡度に比べて、外観上の微妙な色差の識別能力が高まる訳である。しかしながら、この識別能力の向上により、検査画像と基準画像とを位置合わせした際の位置精度に起因した位置のズレ領域が、例えば差分処理やパターンマッチングなどにてカラー画像処理した際に、不良領域として過剰抽出されてしまう場合がある。図5の模式図を用いて具体的に説明すると、まず、電子回路用部品の所定の検査領域に対応する検査画像50を取得する。この検査画像50は、3次元色空間座標系をなす3つの独立した座標成分のうちの1座標成分を表すものである。また、検査画像50には、基板上の表面(以下、単に基板表面ともいう)60に形成された配線パターン61と、抽出すべき不良領域62が存在するものとする。そして、検査画像50を表す座標成分に対応する予め設定された基準画像51と、該検査画像50とを位置合わせした後、差分処理やパターンマッチングなどを用いてカラー画像処理が行なわれる。この際、位置合わせ精度に起因したズレ領域63は、カラー画像表示することにより、白黒2値化表示に比べて基板表面60や不良領域62に対して色差が明確化されたものとなる。そして、例えば、ズレ領域63と基板表面60との色差が、不良領域62と基板表面60との色差に近い場合、差分処理において、基板表面60とズレ領域63との色差を表す差分値が、基板表面60と不良領域62との色差を表す差分値に対して差が縮小化されるとともに、設定するしきい値の範囲外と判定されやすくなり、ひいては、ズレ領域が不良領域として過剰抽出される確率が増大してしまう。勿論、不良領域自体を抽出する処理精度は、カラー画像処理を行なうことで向上するが、さらに処理精度を高めるためには、このような過剰抽出を抑制させることが必須とされる。
【0006】
また、上記したズレ領域63が基板表面60に対して色差がより明確化されることで、該ズレ領域63が、パターンマッチングにおいても、白黒2値化処理では精度上見逃していた範囲またそれ以上に不良領域として過剰抽出されてしまうことになる。このように、位置あわせによる精度上のズレ領域が、白黒2値化表示に比べて、3次元色空間座標系によるカラー画像表示した場合、その識別能力が高められることにより、不良領域として過剰抽出される場合が高められてしまう。
【0007】
上述のごとくカラー画像処理を用いた外観検査のほうが、白黒2値化処理を用いた場合に比べてその処理精度は高いが、昨今の電子回路用部品の高密度化・高集積化に対応する形で、さらなる高精度化を図るためには、上記したズレ領域に起因する不良領域の過剰抽出を低減化させることは重要な課題とされる。本発明は、まさにこの課題を鑑みてなされたものであって、即ち本発明は、電子回路用部品の外観をカラー画像処理を用いて外観検査する際に、その処理精度の向上を可能とする電子回路用部品の外観検査装置を提供することを目的とする。
【0008】
【課題を解決するための手段および作用・効果】
上記課題を解決するための本発明の電子回路用部品の外観装置は、
電子回路用部品の外観検査に用いられる外観検査装置であって、
電子回路用部品の検査面を撮像するカラー受光部と、
該カラー受光部の検知出力に基づいて検査面内の各位置における3次元色空間座標系の3つの座標成分よりなる検査面色情報を生成する検査面色情報生成手段と、
その検査面色情報生成手段によって生成された3次元色空間座標系の検査面色情報を使って、後記する第一不良候補領域を選定する第一不良候補領域選定手段と、
該第一不良候補領域に基づいて検査面における不良領域を特定する不良領域特定手段と、
を備えており、
第一不良候補領域選定手段は、
検査面色情報生成手段によって生成された3次元色空間座標系の検査面色情報の3つの座標成分を表す第一検査面データから、その3次元色空間座標系とは異なる3次元色空間座標系に座標変換させた第二検査面データを作成するとともに、3つの座標成分で表す第一検査面データおよび第二検査面データによる6つの座標成分の中の少なくとも1つの座標成分からなる第一画像処理データの座標成分を表すデータと、
検査面内の各位置における予め設定された良品基準色情報のうち、第一画像処理データの座標成分を表すデータに対応する良品基準色情報のデータに対して、最大値フィルタ処理を施した最大値良品基準データおよび最小値フィルタ処理を施した最小値良品基準データのうちのいずれかのデータと、
を減算処理することにより前記第一不良候補領域を選定するとともに、
その減算処理は、第一画像処理データの座標成分と同じ座標成分の最大値良品基準データと最小値良品基準データを用いて、第一画像処理データの座標成分と最大値良品基準データを用いて処理される座標成分との間、第一画像処理データの座標成分と最小値良品基準データを用いて処理される座標成分との間で行われ、
1つの座標成分に対して行なう最大値良品基準データを用いて処理される座標成分を用いた減算処理、または1つの座標成分に対して行なう最小値良品基準データを用いて処理される座標成分を用いた減算処理を処理数の単位としたとき、その処理数が2つとされることを特徴とする。
【0009】
まず、カラー受光部にて電子回路用部品の検査面のカラー画像を撮像し、その検査面の各位置それぞれに対応した各画素にてカラー画像の入力信号を検知するとともに、各画素におけるカラー画像を表す3次元色空間座標系の3つの座標成分それぞれに対応する検知出力の信号を、カラー受光部より出力させる。次に、出力されたアナログ信号に基づいて、検査面内の各位置における3次元色空間座標系の3つの座標成分それぞれに対応する3つの座標値よりなる検査面色情報を、デジタル信号として生成する検査面情報生成手段は、パーソナルコンピューター(PC)などのコンピューターに具備させることができる。そして、該検査面色情報の3つの座標成分を表す第一検査面データおよび該第一検査面データを自身の3次元色空間座標系とは異なる3次元座標系に座標変換させた第二検査面データを作成するとともに、これら第一検査面データおよび第二検査面データにおける少なくとも1つの座標成分からなる第一画像処理データの各座標成分を表すデータと、予め設定された良品基準色情報のうち第一画像処理データの各座標成分にそれぞれ対応するデータに対して最大値フィルタ処理を施した最大値良品基準データおよび最小値フィルタ処理を施した最小値基準データのうち少なくともいずれかの第一画像処理データの各座標成分に対応するデータとを減算処理することにより第一不良候補領域を選定する第一不良候補領域選定手段は、上記同様にPCなどのコンピューターに具備させることができる。さらに、選定された第一不良候補領域に基づいて、検査面における不良領域を特定する不良領域特定手段も、コンピューターに具備させることができる。
【0010】
上述のような構成要件からなる本発明の電子回路用部品の外観検査装置において、第一に特質すべき点は、第一不良候補領域選定手段に係わるものである。そこで以下、第一不良候補領域選定手段を中心に具体的な説明を行なう。
【0011】
上記本発明の電子回路用部品の外観検査装置は、電子回路用部品の外観検査対象である、検査面の外観のカラー画像に対して、画像処理を施すために用いられるものである。そこで、まず、カラー受光部を経て、検査面色情報生成手段にて検査面色情報を生成させる。該検査面色情報は、検査面内の各位置、つまりは、検査面の外観のカラー画像を区画化した各画素の位置における、3次元色空間座標系をなす独立した3つの座標成分のそれぞれ座標値から構成されるものである。このように、検査面色情報は、検査面内の各位置の位置情報と、その位置におけるカラー画像情報とを含むものである。
【0012】
上記検査面色情報を生成させた後、該検査面色情報の3つの座標成分を表す第一検査面データおよび該第一検査面データを自身の3次元色空間座標系とは異なる3次元色空間座標系に座標変換させた第二検査面データにおける、少なくとも1つの座標成分からなる第一画像処理データを作成する。この第一検査面データは、検査面色情報と同じ3次元色空間座標系からなり、他方、第二検査面データは、第一検査面データとは異なる3次元色空間座標系からなるものである。電子回路用部品の外観を検査する際、検査対象によって有用とされる3次元色空間座標系の座標成分は変化する。そこで、その有用な座標成分に適宜対応する形で、第一検査面データおよび第二検査面データのうち少なくとも1つの座標成分から第一画像処理データは構成される。この第一画像処理データが、画像処理する際の検査画像をなす画像データとされるものである。そして、該検査画像に対して基準画像となるデータとしては、次のような形成のものを用いる。予め設定された良品基準色情報のうち第一画像処理データの各座標成分にそれぞれ対応するデータに対して最大フィルタ処理を施した最大値良品基準データおよび最小値フィルタ処理を施した最小値良品基準データのうち少なくともいずれかのデータを基準画像となるデータとして用いる。まず、良品基準色情報は、検査面内の各位置におけるカラー画像情報の各座標成分に対して、予め設定される良品基準値からなるものである。つまり、外観検査として画像処理する際に適宜選択される3次元色空間座標系のそれぞれ座標成分に対して、良品許容範囲内における所定の基準値を座標値として予め設定させたものである。
【0013】
そして、良品基準色情報における第一画像処理データの各座標成分に対応するデータに対して、最大値フィルタ処理を施した最大値良品基準データおよび最小値フィルタ処理を施した最小値良品基準データを作成する。このデータは良品基準色情報とともに予め作成しておくのが処理時間の観点からもよい。ここで、最大値フィルタ処理および最小値フィルタ処理を図4の模式図を用いて具体的に説明する。良品基準色情報における第一画像処理データの1座標成分に対応した座標成分を表す基準画像51に対して、それぞれの画素70を走査する形で、例えば、自身を取り囲む最小の単位となる8画素を含めた9画素中における最大または最小の座標値の値に走査対象である画素(図4斜線部の画素)値を書き換える。この際に最大の座標値に書き換える処理が最大値フィルタ処理であり、最小の座標値に書き換える処理が最小値フィルタ処理である。この際、最大値、最小値を探索する画素の領域は、図4(b)に示すように、自身に最隣接する4画素を含めた5画素でもよいし、図4(c)に示すように、図4(a)に示すものの次に最隣接する4画素を含めた13画素の領域としてもよい。このように最大値、最小値を探索する画素の領域は、特に限定されるものではなく、基準画像51のより狭い領域に対して精緻にフィルタ処理する必要がある場合は、最大値、最小値を探索する画素の領域を小さくするといった具合に、必要に応じて適宜選択されるものである。また、これらフィルタ処理をする際に設定される、最大値、最小値を探索する画素の領域は、それぞれの画素を走査する時点での基準をなすものであって、例えば、図4(a)に示すように自身を取り囲む最小の単位となる8画素を含めた9画素を領域と設定した場合、基準画像上において頂点をなす画素においては、自身を取り囲む最小の単位の領域は4画素とされるといったものである。
【0014】
上記のようにして、良品基準色情報における第一画像処理データのそれぞれ座標成分に対応する基準画像をなすデータに対して、最大値フィルタ処理が施された最大値良品基準データおよび最小値フィルタ処理が施された最小値良品基準データが作成される。この最大値良品基準データおよび最小値良品基準データそれぞれがなすフィルタ基準画像は、例えば図6の模式図のようになる。ここでは、基板表面60に比べて配線パターン61の色度が小さい、つまりはそれぞれの画像領域における平均的な座標値を比べたとき、配線パターン61の方が小さい場合の模式図とされる。このように基準画像51に対して最大値フィルタ処理を施すことで、配線パターン61の画像領域は小さくなり、他方、最小値フィルタ処理を施すことで配線パターン61の画像領域は大きくなる。勿論、基板表面に比べて配線パターンの色度が大きい場合に、最小値フィルタ処理を施したものは、図6に示す最大値フィルタ処理を施したフィルタ基準画像と同様なものとなり、他方、最大値フィルタ処理を施したものは、図6に示す最小値フィルタ処理を施したフィルタ基準画像と同様なものとなる。
【0015】
そして、第一画像処理データの各座標成分を表すデータと、最大値良品基準データおよび最小値良品基準データのうち少なくともいずれかの第一画像処理データの各座標成分に対応するデータとをそれぞれ減算処理する。この際、例えば、第一画像データから、最大値良品基準データや最小値良品基準データを減算する場合は、最大値良品基準データを減算したものの値が正となるものを、最小値良品基準データを減算したものの値が負となるものを抽出する。勿論、最大値良品基準データや最小値良品基準データから、第一画像処理データを減算させる場合は、抽出すべき値の正負を逆にすればよい。そして、このように抽出されたデータに対応する検査面内の各位置の集合を、検査面における第一不良候補領域とする。ここで、最大値良品基準データや、最小値良品基準データを用いることによる効果について図7の模式図を用いて説明する。
図7は、それぞれ基板表面60および配線パターン61の画像領域における平均的な座標値を比べたとき、基板表面60の方が大きい場合のものである。また、ここでは、減算処理は、第一画像データから、最大値良品基準データや最小値良品基準データを減算する場合のみを考える。なお、図7は、第一画像データにおける1座標成分がなす検査画像(図中破線)と、該検査画像の座標成分に対応するフィルタ基準画像(図中実線)とを、重ねあわせたものである。そこで、図7上図の最大値良品基準データを用いた場合、抽出すべき不良領域62の平均的な座標値が配線パターン61や基板表面60よりも大きく、たとえ不良領域62と基板表面60との平均的な座標値の差分値が、配線パターン61と基板表面60との平均的な座標値の差分値に近い場合においても、第一画像処理データがなす検査画面と、最大値良品基準データがなすフィルタ基準画像との位置合わせ精度に起因したズレ領域は、減算処理にて少なくともゼロまたは負となるので、不良領域62のみが減算処理にて正の値として抽出されることなる。また、抽出すべき不良領域62の平均的な座標値が配線パターン61よりも小さく、たとえ不良領域62と基板表面60との平均的な座標値の差分値が、配線パターン61と基板表面60との平均的な座標値の差分値に近い場合においても、図7下図の最小値良品基準データを用いることで、検査画面とフィルタ基準画像との位置合わせ精度に起因したズレ領域は、減算処理にてゼロとなるので、不良領域62のみが減算処理にて負の値として抽出されることになる。
【0016】
また、例えば、それぞれ基板表面および配線パターンの画像領域における平均的な座標値を比べたとき、配線パターンの方が大きい場合は、図7上図の最大値良品基準データを最小値良品基準データとするとともに、抽出すべき不良領域62の平均的な座標値が配線パターン61や基板表面60よりも小さい場合を考えれば、同様の理由にて不良領域62のみが減算処理にて負の値として抽出されることになる。他方、図7下図の最小値良品基準データを最大値良品基準データとするとともに、抽出すべき不良領域62の平均的な座標値が配線パターン61や基板表面60よりも小さい場合を考えれば、同様の理由にて不良領域62のみが減算処理にて正の値として抽出されることになる。
【0017】
上述のように、第一不良候補領域選定手段にて、第一最大値良品基準データや最小値良品基準データを用いた減算処理による画像処理を行うことで、従来、問題であった検査画像と基準画像との位置合わせ精度に起因して配線パターンの周辺部に発生するズレ領域が、不良領域として過剰抽出されることを効果的に抑制することができる。そして、この減算処理により抽出されたデータに対応する検査面内の各位置の集合を、検査面における第一不良候補領域とするとともに、この選定された第一不良候補領域に基づいて、不良領域特定手段にて検査面における不良領域を特定することになる。その結果、特定される不良領域は、上記減算処理を用いて選定した第一不良候補領域に基づくものであるので、その特定精度を効果的に高めることが可能となる。
【0018】
上記のように、本発明の外観検査装置を用いることで、電子回路用部品の外観検査の処理精度を効果的に高めることが可能とされる。また、カラー画像処理を用いた場合、当然、検査対象として抽出すべき不良領域が他の領域に比べて画像上、色差が大きい程よく、そのような3次元色空間座標系の座標成分が有用なものとして適宜選択されるとともに、該座標成分から本発明の第一画像処理データは構成される。しかしながら、検査画像と基準画像との位置合わせ精度に起因する不良領域の過剰抽出の兼ね合いより、実際問題として、検査対象として抽出すべき不良領域が他の領域に比べて画像上、色差が大きい程いいとは言えない側面もあったが、本発明に示す減算処理による画像処理を用いることにより、カラー画像の有用性を一段と高めることが可能となる。また、図7に示すように、減算処理の際に用いられるフィルタ基準画像の配線パターンと、検査画面の配線パターンとは、重なる領域が大きいほど、減算処理の効果が高められるので、位置合わせ精度によるズレ量を加味して、フィルタ処理するときの最大値、最小値を探索する画素の領域を適宜調整することが望ましい。
【0019】
次に本発明の電子回路用部品の外観検査装置における減算処理は、第一画像処理データの各座標成分において、最大値良品基準データを用いて処理される座標成分と、最小値良品基準データを用いて処理される座標成分とが含まれる処理であることを特徴とする。
【0020】
電子回路用部品の外観検査の対象となる不良領域としては、例えば、配線パターンが形成された基板表面上に発生する異物の付着、変色、クラック、表面の剥がれなど多くの検査項目からなるものであるので、不良領域と他の良品領域との色度の大小関係や色差を一義的に限定するのは困難な場合が多い。勿論、種々の予備実験やそれから得られる実験データなどから、ある程度、不良領域として発生しやすい項目および該不領領域と他の良品領域との色度の大小関係などを限定することは可能である。そのため、減算処理を、第一画像処理データの各座標成分において、最大値良品基準データを用いて処理される座標成分のみ、または、最小値良品基準データを用いて処理される座標成分のみとする処理としても、その減算処理による効果を得ることはできる。しかしながら、特には、減算処理を、最大値良品基準データおよび最小値良品基準データの両者を用いて処理されるものとすることで、さらに、その効果を高めることが可能となる。つまり、不良領域と他の良品領域との色度の大小関係により大別される両者の不良領域を、偏りなく精度よく特定することが可能となるとともに、その特定精度をさらに高めることが可能となる。
【0021】
次に、本発明の電子回路用部品の外観検査装置における減算処理は、1つの座標成分に対して行なう前記最大値良品基準データまたは前記最小値良品基準データを用いた処理を処理数の単位としたとき、その処理数が2つとされることを特徴とする。なお、ここでいう減算処理の処理数とは、例えば、第一画像処理データにおける1つの座標成分のデータと、該座標成分に対応する最大値良品基準データにおけるデータとを減算処理した場合に、その処理数を1とするといったものである。
【0022】
上記したように、減算処理は、第一画像処理データにおける各座標成分と、最大値良品基準データおよび最小値良品基準データのうちの少なくともいずれかの第一画像処理データの各座標成分に対応するデータとをそれぞれ減算する処理である。その場合、第一画像処理データを構成する座標成分としては、その成分が多いほど、減算処理の効果ひいては特定すべき不良領域の特定精度は上がる。しかしながら、電子回路用部品の外観検査は、大量の電子回路用部品に対して順次処理していかなければならず、その処理時間の短縮化は、処理精度とともに重要な問題とされる。そこで、減算処理は、1つの座標成分に対して行う最大値良品基準データまたは最小値良品基準データを用いた処理を処理数の単位としたとき、その処理数を2つとすることが望ましい。減算処理の処理数を2つとすることで、その処理による効果を十分に得ることができるとともに、処理時間の過度の増大を抑制し、その処理時間の短縮化を図ることが可能となる。ここで、減算処理の処理数を2つとした場合、例えば、第一画像処理データの2つの座標成分に対して、それぞれ最大値良品基準データを用いた減算処理とする、または、それぞれ最小値良品基準データを用いた減算処理とする、または、一方を最大値良品基準データ、他方を最小値良品基準データを用いた減算処理とするなどにて減算処理が行なわれることになる。上記のように外観検査の対象となる不良領域と他の良品領域との色度の大小関係や色差を一義的に限定することは困難な場合が多い。そこで、第一画像処理データの2つの成分に対して、それぞれ最大値良品基準データを用いた減算処理または、それぞれ最小値良品基準データを用いた減算処理とした場合は、抽出すべき不良領域が、他の良品領域との色度の大小関係において、どちらかに偏りがあるとき、減算処理の効果が十分に高められる。また、第一画像処理データの2つの成分に対して、一方を最大値良品基準データ、他方を最小値良品基準データを用いた減算処理とした場合は、抽出すべき不良領域が、他の良品領域との色度の大小関係において、どちらかに偏りがないとき、減算処理の効果が十分に高められる。このように、電子回路用部品の外観検査をする際の検査対象にあわせて、減算処理の際に使用する座標成分やデータの種類は、適宜選択されるものである。なお、第一画像処理データの1つの座標成分に対して、それぞれ最大値良品基準データおよび最小値良品基準データを用いて減算処理するという方法でも勿論よい。この場合は、1つの座標成分にて、特定すべき不良領域と、他の良品領域との色差が明確化されやすいものに有効となる。
【0023】
次に、本発明においては、最大値良品基準データまたは最小値良品基準データのそれぞれ座標成分を表すデータの大きさに合わせて、該座標成分に対応する第一画像処理データのそれぞれ座標成分を表すデータは、その大きさのレベルが補正されてなることを特徴とする。
【0024】
電子回路用部品の外観検査の対象とする検査面においては、たとえ同種の製品における同一の検査面を対象とした場合においても、基板表面に発生する色差のばらつきが発生しやすく、例えば、基板表面や配線パターンなどの良品領域と不良領域との色差のばらつきが過度に大きくなる場合がある。このこのとは、減算処理による効果が抑制されることに繋がる。そこで、最大値良品基準データまたは最小値良品基準データのそれぞれ座標成分を表すデータの大きさ、つまりは、座標値に合わせて、該座標成分に対応する第一画像処理データのそれぞれ座標成分の座標値の大きさを、レベル補正しておく。その結果、基板表面や配線パターンなどの良品領域と不良領域との色差のばらつきを効果的に抑制することが可能となるとともに、減算処理による効果をより有用にすることができる。レベル補正の処理としては、例えば、第一検査面データおよび第二検査面データのうち第一画像処理データをなす各座標成分に対応する座標成分において、検査面の所定領域を表すデータと、該領域に対応する最大値良品基準データまたは最小値基準データの各座標成分におけるデータとを、同一座標成分に対してその座標値を基に比較し、その比較結果に合わせて、第一画像処理データをなす各座標成分の座標値のレベルを補正するといった方法にて行なうことができる。ここで、レベル補正するための検査面の所定領域としては、例えば、基板表面のある領域(例えば100×100画素)と配線パターンのある領域(例えば50×50画素)との組あわせからなるといったように、個別の複数領域から構成することもできる。その場合、個別の領域に対して各自レベル補正を行なうといった方法を用いることもできる。また、レベル補正するために行なわれる、検査面の所定領域に対応するデータを用いた比較処理は、所定領域に対応するデータの座標値の平均をとったものや、所定の重みをつけて平均化したものや、フーリエ変換したものを用いて比較処理するといったように特に限定されず、公知のものを用いることができる。このように、レベル補正の処理方法や、レベル補正するための検査面の所定領域(画素領域)は特に限定されず、第一画像処理データを、基板表面や配線パターンなどの良品領域と不良領域との色差のばらつきが効果的に抑制されたものとすることが第一に重要とされる。なお、ここでの補正処理は、例えば、第一不良候補領域選定手段にて行なうものとすればよい。
【0025】
次に、本発明においては、第一画像処理データを構成しない、第一検査面データおよび第二検査面データによる座標成分の中の1つの座標成分からなる第二画像処理データの座標成分を表すデータと、
検査面内の各位置における予め設定された良品基準色情報のうち、第二画像処理データの座標成分を表すデータに対応した良品基準色情報のデータと、
を差分処理またはパターンマッチング処理することにより第二不良候補領域を選定し、
不良領域特定手段は、この第二不良候補領域と第一不良候補領域とを含めて不良領域を特定することを特徴とする。
【0026】
上記の減算処理にて選定される第一不良候補領域に加えて、さらに、差分処理やパターンマッチング処理にて選定される第二不良候補領域を含めて、検査面の不良領域を特定することで、さらにその特定精度を高めることができる。ここで、差分処理やパターンマッチグ処理にて用いられる検査画像データは、第一検査面データおよび第二検査面データのうち第一画像処理データを構成しない座標成分からなる第二画像処理データとすることが重要である。つまり、検査面における不良領域と良品領域との色差が大きい座標成分が、第一画像処理データの座標成分として、第一検査面データおよび第二検査面データから適宜選択される。よって、該第一画像処理データを構成する座標成分以外の座標成分から第二画像処理データを構成することで、検査画像と基準画像との位置合わせ精度に起因する、例えば配線パターンの周辺部のズレ領域が不良領域として過剰抽出されることが自然と抑制されるとともに、減算処理では選定できなかった不良個所を、差分処理やパターンマッチング処理といった別の処理手段で効果的に抽出することを可能とする。このように、差分処理やパターンマッチングによる画像処理を行なうことで、減算処理では選定できなかった、例えば配線パターン上の不良領域や基板表面上の不良領域などの不良個所を、効果的に選定できるわけだが、特には、配線パターンの周辺部のズレ領域が不良領域として過剰抽出される割合を加味して、適宜、第二画像処理データとして採用する座標成分は選択されるものである。なお、ここでの第二画像処理データの作成および第二不良候補領域の選定は、例えば、不良領域特定手段にて行えばよい。
【0027】
ここまでに、本発明においては、少なくとも、フィルタ処理を施したデータにて減算処理を行なうことで、その不良領域を特定する特定精度が効果的に高まることについて述べてきた。そこで、次に、この減算処理や、さらには、差分処理やパターンマッチングによる画像処理にて用いられる3次元色空間座標系について述べる。第一としては、公知の3次元色空間座標系であれば、特に限定されるものではないが、その中においても、第一検査画像データつまりは、検査面色情報をなす3次元色空間座標系は、光の三原色である赤R、緑Gおよび青Bを座標成分とするRGB座標系とするのが好適である。なぜなら、外観をカラー撮像するためのカラー受光部としては、CCDカメラが多く用いられており、その検知出力の信号は、RGB座標系に対応したものとされるからである。このように、検査面色情報を、RGB座標系からなるものとすることで、カラー受光部からの検知出力データに基づいて検査面色情報を生成する際に、座標変換する必要がなく、外観検査の処理時間を短縮化することが可能となる。次に、第一検査面データを座標変換することにより作成される第二検査面データは、色相H、彩度Sおよび明度Iを座標成分とするHSI座標系とするのが好適である。なぜなら、電子回路用部品の良品基準値からなる良品基準色情報は、目視により得られた判定基準を基に設定する必要があり、HSI座標系が、人の色感覚に近いものとされるからである。つまりは、第二検査面データを、HSI座標系とすることで、その良品基準値とされる良品基準色情報の判定基準がより精度よく設定されることになり、ひいては、外観検査の処理精度を高めることが可能となる。
【0028】
勿論、第一検査面データおよび第二検査面データは、上述の3次元色空間座標系に限定されるわけではなく、例えば、RGB座標系およびHSI座標系は、それぞれ独立した3つの座標成分からなるが、該座標成分に従属する座標成分を加えた、4つ以上の座標成分よりなるものとすることも可能である。このように、第一検査面データおよび第二検査面データをなす3次元色空間座標系は、第一には、外観検査処理において、必要とされる処理精度および処理時間を考慮して、適宜公知のものから選択されればよい。
【0029】
【発明の実施の形態】
以下、本発明の実施形態を、図面を用いて説明を行なう。
図1は、本発明の電子回路用部品の外観検査装置の一実施形態を示す概略構成図である。外観検査装置100は、電子回路用部品1を載置するステージ20を具備してなる。また、ステージ20は、移動制御装置50からの電力により、電子回路用部品1の位置決め及び搬送を、自動的に行なうことができる。外観検査装置100は、その他に、光源30からの光を電子回路用部品1の検査面上に照明させるための照明装置40、カラー受光部2および画像処理装置11などを含んだ構成とされる。カラー受光部2は、外観検査対象となる電子回路用部品1の検査面の外観のカラー画像を撮像し、その検査面の各位置それぞれに対応した各画素にてカラー画像の入力信号を検知するとともに、各画素におけるカラー画像を表す3次元色空間座標系の3つの座標成分それぞれに対応する検知出力の信号を画像処理装置11に出力する機能を持つ。次に、画像処理装置11は、図3に示すように、演算処理等の機能をなすCPU13、データを記憶する機能をなすメモリ14、データを保管および蓄積する機能をなすハードディスク15、カラー受光部2から出力される、カラー画像を表す3次元色空間座標系の3つの座標成分それぞれに対応する検知出力の信号を取り込むとともに、そのアナログ信号をデジタル信号にA/D変換させる機能を持つ画像取込ボード16、および、取込画像や処理状態等を表示するモニター12などを有してなる。このような画像処理装置11により、画像データの作成、画像処理等を行なうことができる。なお、図1および図3における画像処理装置11の形態は、パーソナルコンピューター(PC)を主体としたものとなっているが、PCの代わりにワークステーションなど汎用コンピューターを使用することもできる。また、画像取込および処理機能を特化させた画像処理装置を、コンピューターに外部接続させる形態にて機能させることもできる。さらに、ハードディスク15を、ここでは補助記憶装置として位置づけているが、この補助記憶装置としてのハードディスクをMO、CD−R、CD−RWなどのリム−バル記憶媒体、または、LANなどで接続された外部の記憶媒体に置き換えることもできる。一方、メモリ14は、画像データの記憶ならびに画像処理、演算処理等に用いられるが、これらメモリ14の機能をハードディスク15にてなすことも勿論可能である。
【0030】
次に、図1、図2および図3を併用して本発明の外観検査装置にて行う外観検査方法について説明する。図2は、外観検査方法の一作業手順を示すものである。ステージ20に載置された電子回路用部品1の検査面に対して光源30からの光を照明装置40を介して照射し、電子回路用部品1の検査面の外観のカラー画像をカラー受光部2にて撮像するとともに、その検査面の各位置に対応する各画素における、カラー画像を表す3次元色空間座標系の3つの座標成分それぞれに対応する検知出力の信号を画像処理装置11に出力する。この作業がステップ1のカラー受光部における作業にあたる。そして、画像処理装置11の画像取込ボード16にて、入力された検知出力の信号を、A/D変換するとともに、デジタル信号としての検査面色情報を生成する。この検査面色情報は、検査面の各位置、つまりは、検査面の外観のカラー画像を区画化した各画素の位置における、3次元色空間座標系の独立した3つの座標成分それぞれに対応した3つの色空間座標値から構成されるものである。このように、検査面色情報は、検査面の各位置の位置情報と、その各位置におけるカラー画像情報とを含むものである。このような検査面色情報を画像取込ボード16を介して、検査面のカラー画像情報として、画像処理装置11に取り込む。この作業がステップ2の検査面色情報生成手段における作業にあたる。
【0031】
ステップ2にて画像処理装置11に入力された検査面色情報を、画像処理装置11のメモリ14に第一検査画像として保管しておく。そして、予めメモリ14に読み込ませておいた基準画像と比較し、第一検査画像において位置ズレがある場合は、そのズレ量を画像処理装置11にて計算する。その後、該ズレ量を基に第一検査画像の位置補正を行い、第一検査面データとしてメモリ14に保管する。次に、このメモリ14に保管した第一検査面データを、自身の3次元色空間座標系とは異なる3次元色空間座標系に、CPU13およびメモリ14を用いた演算処理にて座標変換するとともに、その処理結果を第二検査面データとしてメモリ14に保管する。そして、これら第一検査面データおよび第二検査面データにおける少なくとも1つの座標成分からなる第一画像処理データを画像処理装置11を用いて作成するとともに、メモリ14に保管する。また、第一検査面データおよび第二検査面データを構成する検査面の各位置におけるカラー画像情報の各座標成分それぞれに対して、良品許容範囲内の良品基準値を予め設定させておくとともに、これら良品基準値からなる良品基準色情報を予めメモリ14に読み込ませておく。そして、さらに、この良品基準色情報における各座標成分それぞれに対して、CPU13およびメモリ14を用いた演算処理にて、それぞれ最大値フィルタ処理および最小値フィルタ処理を施すとともに、それぞれの処理結果を、最大値良品基準データおよび最小値良品基準データとしてメモリ14に予め保管しておく。そして、第一画像処理データの各座標成分を表すデータと、最大値良品基準データおよび最小値基準データのうち少なくともいずれかの第一画像処理データの各座標成分に対応するデータとを、CPU13およびメモリ14を用いて減算処理を行い、所定のしきい値を超えた値(例えば正)または未満の値(例えば負)となったデータを抽出するという画像処理を行なう。この画像処理にて抽出されたデータに対応する検査面内の各位置の集合を、第一不良候補領域とする。この作業が、ステップ3の第一不良候補領域選定手段にあたる。また、ここで抽出されたデータは、第一抽出データとしてメモリ14に保管しておく。
【0032】
そして、ステップ3の作業の後、選定された第一不良候補領域に基づいて、不良領域を特定する。この際、例えば、第一検査面データおよび第二検査面データのうち第一画像処理データを構成しない座標成分からなる第二画像処理データを用いて、差分処理やパターンマッチング処理することにより第二不良候補領域を選定した場合、この第二不良候補領域も含めて、不良領域を特定することになる。つまり、第一不良候補領域のみの場合は、第一不良候補領域と不良領域とは同一領域のものである。この第二不良候補領域の選定の画像処理も含めて、ステップ4の不良領域特定手段にて、不良領域の特定がなされる。
【0033】
次に、ステップ4の作業の後、選定された第一不良候補領域に対応するメモリ14に保管しておいた第一抽出データを用いて、電子回路用部品1の検査面内において不良領域とされた各部位それぞれの面積、長さを画像処理11にて解析を行ない、形状評価データを作成する。該形状評価データから、電子回路用部品1の検査面内に形成された配線パターンの各部位ごとに設定されたしきい値を超えるものが抽出された場合、その電子回路用部品1を不良と判定する。この作業が、ステップ5の形状評価による良否判定手段にあたる。
【0034】
上記の作業手順には記載していないが、良品基準色情報を構成する各座標成分がなす良品基準画像は、予め、上述した位置補正にて用いた基準画像と比較することにより、位置補正がなされたものである。また、当然であるが、電子回路用部品1において外観検査の対象とされない領域には、予めマスク処理が施されてなる。さて、上記の作業手順により、電子回路用部品1の外観検査が行なわれるが、この作業手順は一例にすぎない。位置補正や、画像処理装置11におけるデータの作成、演算処理および解析の方法・手順は、公知のものが適用可能である。また、ステップ4の不良領域の特定の際に、差分処理やパターンマッチングによる画像処理にて選定した第二不良候補領域を用いることも可能である。
【0035】
次に、第一検査面データや第二検査面データに用いられる3次元色空間座標系の具体例および、ステップ4にて差分処理やパターンマッチングを行う際の具体例を合わせて、以下に本発明の外観検査装置にて行う外観検査方法の実施例について説明する。
【0036】
(実施例1) カラー受光部2として、光の三原色(赤R、緑G、青B)別に、カラー画像を取り込めるものを用いる。例えば、CCD型の3板式カラーラインセンサカメラなどを用いる。図8に示すように、このようなラインセンサカメラ2を用いて電子回路用部品1を載置したステージ20をカメラスキャン方向とは垂直方向とされるX方向に移動させることにより、電子回路用部品1の検査面の外観のカラー画像を、R、G、B別に検査面色情報として画像処理装置11に取り込む。また、R、G、B別の各取り込み画像は、図8に示すように、画素を最小単位として構成され、各画素の大きさは、使用するラインセンサカメラ2の種類やレンズの種類により決まる分解能にて規定される。一方、R、G、B別にラインセンサカメラ2より画像処理装置11に出力される検知出力の出力値を表す輝度の大きさは、画像処理装置11にて、例えば、0〜255の1バイトのデジタル値に変換される。このようにして、検査面の各位置にそれぞれが対応した各画素の位置における、R、G、B座標成分それぞれに対応した座標値から構成される検査面色情報を、画像処理装置11に取り込む。また、該検査面色情報は、検査面の各位置の位置情報と、その各位置におけるRGB座標系にて表されるカラー画像情報とを含むものとされる。
【0037】
次に、画像処理装置11に入力された検査面色情報を、画像処理装置11のメモリ14に第一検査画像として保管しておく。そして、予めメモリ14に読み込ませておいた基準画像と比較し、第一検査画像において位置ズレがある場合は、そのズレ量を画像処理装置11に計算する。その後、該ズレ量を基に第一検査画像の位置補正を行ない、第一検査面データとしてメモリ14に保管する。
【0038】
上記位置補正を行なった後、メモリ14に保管された第一検査面データを、自身のRGB座標系とは異なるHSI座標系に、CPU13およびメモリ14を用いた演算処理にて座標変換するとともに、その処理結果を第二検査面データとしてメモリ14に保管する。ここで、第一検査面データは、カラー画像情報として、R、G、B座標成分の3つの座標成分を有し、他方、第二検査面データは、H(色相)、S(彩度)、I(明度)座標成分の3つの座標成分を有するものとされる。また、色相Hは、色合いを表すものであり、図9(a)に示すように、周方向に対してR(赤)、Y(黄)、G(緑)、C(シアン)、B(青)、M(マゼンダ)が規定され、その中心に対する角度により色合いが定義されるものである。そこで、該色合いを示す0〜360度の範囲からなる角度を、0〜255(1バイト)の値に割り充てたものを、H座標成分の座標値とする。例えば、Rを0とすると、Gが85、Bが170となり、255で再びRとなる。次に、図9(b)のHSI座標系に示すように、色の鮮やかさを表す彩度Sは、中心からの長さにて定義されるものである。そこで、その長さを、0〜255(1バイト)の値に割り充てたものを、S座標成分の座標値とする。最後に、色の明るさを表す明度Iは、中心軸上の位置で定義されるものである。そこで、その位置を、0〜255(1バイト)の値に割り充てたものを、I座標成分の座標値とする。
【0039】
上記のようにそれぞれの座標成分の座標値が規定された、第一検査面データおよび第二検査面データにおける少なくとも1つの座標成分からなる第一画像処理データを画像処理装置11を用いて作成するとともに、メモリ14に保管する。また、第一検査面データおよび第二検査面データを構成する検査面の各位置におけるカラー画像情報の各座標成分それぞれに対して、良品許容範囲内の良品基準値を予め設定させておくとともに、これら良品基準値からなる良品基準色情報を予めメモリ14に読み込ませておく。そして、上記第一検査画像の位置補正に用いた基準画像を基に、良品基準色情報は位置補正がなされたものとされる。勿論、該良品基準色情報を基準画像として用いることもできる。次に、このような良品基準色情報における各座標成分に対して、CPU13およびメモリ14を用いた演算処理にて、それぞれ最大値フィルタ処理および最小値フィルタ処理を施すとともに、それぞれの処理結果を、最大値良品基準データおよび最小値良品基準データとしてメモリ14に予め保管しておく。そして、第一画像処理データの各座標成分を表すデータと、最大値良品基準データおよび最小値良品基準データのうち少なくともいずれかの第一画像処理データの各座標成分に対応するデータとを、CPU13およびメモリ14を用いて減算処理を行ない、例えば、最大値良品基準データを用いたものは正の値のものを、最小値良品基準データを用いたものは負の値のものを、データ抽出するという画像処理を行なう。この画像処理にて抽出されたデータに対応する検査面内の各位置の集合を、第一不良候補領域とする。そして、ここで抽出されたデータを、第一抽出データとしてメモリ14に保管する。
【0040】
また、上記減算処理する前に、第一画像処理データの各座標成分のデータの大きさ(座標値)を、最大値良品基準データまたは最小値良品基準画像データを用いてレベル補正しておくこともできる。このようにレベル補正することで、減算処理にて選定される第一不良候補領域の処理精度を高めることができる。ここで、レベル補正する方法としては、例えば、検査面の所定領域に対応する第一画像処理データの各座標成分のデータと、その領域に対応する最大値良品基準データまたは最小値良品基準データのデータとを、それら座標値の平均値を比較して、その差分値をもとに第一画像処理データの大きさを補正するといった方法がとられる。また、レベル補正としては、第一画像処理データと、最大値良品基準データおよび最小値良品基準データとをそれぞれ比較した後、両者の比較結果を基に行なうことも可能である。さらに、第一画像処理データと、それぞれ最大値良品基準データおよび最小値良品基準データとを個別に比較し、それぞれの比較結果を基にレベル補正した処理結果を、それぞれデータとしてメモリに保管しておいてもよい。この場合は、減算処理する際に用いられる、最大値良品基準データや最小値良品基準データにあわせてレベル補正したそれぞれのデータを使用することになる。なお、レベル補正としては、第一画像処理データと良品基準色情報とを比較して行なうこともできる。
【0041】
上記減算処理による画像処理にて選定された第一不良候補領域に基づいて、検査面の不良領域を特定する。第一不良候補領域のみを用いる場合は、この第一不良候補領域を不良領域とする。このようにして、検査面の不良領域の特定がなされる。この不良領域の特定にあたって、使用される第一画像処理データの座標成分は、対象とする電子回路用部品の種類や、不良領域の項目により有用とされるものが適宜選択される。例えば、電子回路用部品の外観が、緑(G)色に近いものである場合は、第一画像処理データを、少なくともG成分が含むようにする。または、外観が白色に近いものである場合は、少なくともI(明度)が含むようにするといった様に、第一画像データを構成する座標成分の種類や成分数は適宜決定されるものである。また、検査面における良品領域と不良領域との色度の大小関係などにより、減算処理にて最大値良品基準データおよび最小値良品基準データの少なくともいずれかが適宜選択されることになる。
【0042】
上記のような減算処理による画像処理にて外観検査を行なうことで、電子回路用部品における種々の検査項目に対しても、それら検査項目に適宜対応する形で、その処理精度を高めることが可能となる。次に、不良領域を特定する際に、第一不良候補領域以外の第二不良候補領域をも用いる場合について述べる。
【0043】
(実施例2) 第一不良候補領域を選定するまでの手順は、実施例1と同様の手順にて行なう。そして、この第一不良候補領域の選定とは別に、差分処理やパターンマッチングによる画像処理にて第二不良候補領域の選定を行なう。まず、第一検査面データおよび第二検査面データのうち第一画像処理データを構成しない少なくとも1つの座標成分からなる第二画像処理データを、画像処理装置11を用いて作成するとともにメモリ14に保管する。そして、予めメモリ14に読み込ませておいた良品基準色情報のうち第二画像処理データの座標成分に対応する良品基準データを作成するとともに、該良品基準データと第二画像処理データとをそれぞれ同じ座標成分に対して、CPU13およびメモリ14を用いて、差分処理またはパターンマッチングによる画像処理を行ない、所定のしきい値を超えたデータを抽出する。この画像処理にて抽出されたデータに対応する検査面内の各位置の集合を、第二不良候補領域とする。また、ここで抽出されたデータは、第二抽出データとしてメモリ14に保管しておく。
【0044】
上記のように第二不良候補領域を抽出した後、第一不良候補領域とあわせた領域が不良領域として特定されることになる。そして、第一不良候補領域を表す第一抽出データと、第二不良候補領域を表す第二抽出データとを用いて、上記した形状評価と同様の方法による良否判定を行なうことで、最終的な電子回路用部品の良否がなされる。
【0045】
第二不良候補領域を選定する際に用いる第二画像処理データの座標成分としては、勿論、第一不良候補領域では選定しきれない不良領域を効果的に選定できる座標成分が適宜選択されることになる。例えば、図10の模式図を参照して、検査面色情報をなす取込画像70において、基板表面60の外観が緑(G)成分で、基板表面60に赤(R)成分を主体とした不良領域62が存在する場合を考える。まず、第一画像処理データとして、少なくともR成分を選択すれば、減算処理にて領域81のような領域が第一不良候補領域として選定される。次に、第二画像処理データとして色相Hを選択して、差分処理またはパターンマッチングによる画像処理を行うことにより、領域82のような領域が第二不良候補領域として選定される。図10に示すように、第二不良候補領域では、第一不良候補領域で選定されなかった不良領域が選定される場合があり、第一不良候補領域と第二不良候補領域との論理和を求めるなどすることにより、領域83が不良領域として特定されるので、不良領域の特定精度をさらに高めることが可能となる。その結果、外観検査の処理精度をさらに高めることが可能となる。
【0046】
上述のように、本発明の外観検査装置を用いて外観検査方法を行なうことで、電子回路用部品の検査面に対して行なわれる外観検査の検査精度を高めることが可能となる。尚、上述した本発明に係わる実施形態および実施例は、あくまで一例であって、電子回路用部品の検査面の外観検査において、最大値フィルタ処理および最小値フィルタ処理がなされたいずれかのデータを用いた減算処理を画像処理とし行なう手段を有した概念のものは、本発明の概念に内包されるものである。
【図面の簡単な説明】
【図1】本発明の外観検査装置の一実施形態を示す概略構成図。
【図2】本発明の外観検査装置にて行う外観検査方法の一作業手順を示す概略工程図。
【図3】本発明の外観検査装置の要部の概略構成図。
【図4】本発明の外観検査装置にて行う外観検査方法を説明するための模式図。
【図5】従来の外観検査による不具合を説明するための模式図。
【図6】本発明の外観検査装置にて行う外観検査方法を説明するための模式図
【図7】本発明の外観検査装置にて行う外観検査方法を説明するための模式図。
【図8】本発明の外観検査装置にて行う外観検査方法を説明するための模式図。
【図9】本発明の外観検査装置にて行う外観検査方法に用いられる3次元色空間座標系を説明するための模式図。
【図10】本発明の外観検査装置にて行う外観検査方法を説明するための模式図。
【符号の説明】
1 電子回路用部品
2 カラー受光部(ラインセンサカメラ)
11 画像処理装置
100 外観検査装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an appearance inspection apparatus for electronic circuit components, and more particularly to an appearance inspection apparatus for electronic circuit components suitable for improving the accuracy of appearance inspection.
[0002]
[Prior art]
In recent years, not only dramatic progress in computers such as personal computers (PCs) and workstations (WS), but also in image input / output devices such as cameras and scanners, and image recording devices such as CDs and MOs, etc. Accordingly, processing techniques such as processing speed and processing accuracy in image processing have been remarkably developed.
Under such circumstances, the technical inspection of the appearance inspection of electronic circuit components such as package substrates and semiconductor components, which has conventionally relied on visual inspection, is going to be automated to use an appearance inspection apparatus that performs image processing. The electronic circuit component in this specification is based on a known package substrate such as a ceramic package substrate or a plastic package substrate, and a known electronic component including a semiconductor component such as an LSI or an IC chip, a chip capacitor, an antenna switch module, or the like. contains.
[0003]
As a method of image processing performed by the appearance inspection apparatus, various methods such as a black-and-white binarization processing method using monochrome processing and a color image processing method have been studied.
Further, in the appearance inspection using color image processing, it is possible to enhance the ability to discriminate subtle color differences in appearance compared with the case of using black and white binarization processing. For this reason, it has been recognized that the color image processing method is a particularly useful method in the appearance inspection of electronic circuit components that are likely to generate subtle color differences due to their constituent materials.
[0004]
[Patent Document 1]
JP 2000-046651 A
[Patent Document 2]
Japanese Patent Laid-Open No. 10-311713
[0005]
[Problems to be solved by the invention]
Therefore, when the image processing performed by the appearance inspection apparatus is color image processing and the appearance inspection of the electronic circuit component is performed using the appearance inspection apparatus, the processing accuracy is higher than when the black and white binarization process is used. In particular, the following problems will become apparent. A color image is represented by coordinate values of three independent coordinate components in a three-dimensional color space coordinate system. For this reason, the ability to discriminate subtle color differences in appearance is enhanced as compared with the shade of black and white expressed by black and white binarization. However, due to the improvement of the identification capability, the position shift area caused by the position accuracy when the inspection image and the reference image are aligned is a defective area when color image processing is performed by, for example, difference processing or pattern matching. May be overextracted. More specifically, referring to the schematic diagram of FIG. 5, first, an inspection image 50 corresponding to a predetermined inspection region of the electronic circuit component is acquired. This inspection image 50 represents one coordinate component of three independent coordinate components forming a three-dimensional color space coordinate system. Further, it is assumed that the inspection image 50 includes a
[0006]
In addition, since the color difference of the above-described
[0007]
As described above, the appearance inspection using color image processing has higher processing accuracy than the case of using black and white binarization processing, but corresponds to the recent increase in density and integration of electronic circuit components. In order to further improve the accuracy, it is important to reduce the excessive extraction of defective areas due to the above-described deviation areas. The present invention has been made in view of this problem. That is, the present invention makes it possible to improve processing accuracy when an appearance of an electronic circuit component is inspected using color image processing. An object of the present invention is to provide an appearance inspection apparatus for electronic circuit components.
[0008]
[Means for solving the problems and actions / effects]
An external device for an electronic circuit component of the present invention for solving the above problems is as follows.
An appearance inspection apparatus used for appearance inspection of electronic circuit components,
A color light receiver for imaging the inspection surface of the electronic circuit component;
Inspection surface color information generating means for generating inspection surface color information including three coordinate components of a three-dimensional color space coordinate system at each position in the inspection surface based on the detection output of the color light receiving unit;
First defect candidate area selecting means for selecting a first defect candidate area to be described later using the inspection plane color information of the three-dimensional color space coordinate system generated by the inspection plane color information generating means;
A defect area specifying means for specifying a defect area on the inspection surface based on the first defect candidate area;
With
The first defect candidate area selection means is:
From the first inspection plane data representing the three coordinate components of the inspection plane color information of the three-dimensional color space coordinate system generated by the inspection plane color information generation means, to the three-dimensional color space coordinate system different from the three-dimensional color space coordinate system. First image processing consisting of first inspection surface data represented by three coordinate components and at least one coordinate component of six coordinate components based on the second inspection surface data, while generating coordinate-converted second inspection surface data Data representing coordinate components of the data;
Among the preset good quality standard color information at each position in the inspection surface, the maximum value filter processing is performed on the quality standard color information data corresponding to the data representing the coordinate component of the first image processing data. One of the good quality standard data and the minimum good quality standard data subjected to the minimum value filtering,
And selecting the first defect candidate area by subtracting,
The subtraction process isUsing the maximum value good quality standard data and the minimum value good quality standard data of the same coordinate component as the coordinate component of the first image processing data,Coordinate components of the first image processing dataWhenCoordinate components processed using the maximum value non-defective standard dataBetween,The coordinate component of the first image processing data andCoordinate components processed using the minimum value non-defective standard dataPerformed between
Maximum quality standard data for one coordinate componentSubtraction processing using coordinate components processed usingOrFor one coordinate componentMinimum value good standard dataCoordinate components processed usingUsedSubtractionWhen the process is a unit of the number of processes, the number of processes is two.
[0009]
First, a color image of an inspection surface of an electronic circuit component is picked up by a color light receiving unit, and an input signal of the color image is detected at each pixel corresponding to each position on the inspection surface, and the color image at each pixel is detected. The color light receiving unit outputs detection output signals corresponding to the three coordinate components of the three-dimensional color space coordinate system representing Next, based on the output analog signal, inspection surface color information including three coordinate values corresponding to the three coordinate components of the three-dimensional color space coordinate system at each position in the inspection surface is generated as a digital signal. The inspection surface information generating means can be provided in a computer such as a personal computer (PC). Then, the first inspection surface data representing the three coordinate components of the inspection surface color information and the second inspection surface obtained by coordinate-transforming the first inspection surface data into a three-dimensional coordinate system different from its own three-dimensional color space coordinate system While creating the data, among the data representing each coordinate component of the first image processing data composed of at least one coordinate component in the first inspection surface data and the second inspection surface data, and preset good product reference color information First image of at least one of maximum non-defective product reference data subjected to maximum value filter processing and minimum value reference data subjected to minimum value filter processing for data corresponding to each coordinate component of the first image processing data The first defect candidate area selecting means for selecting the first defect candidate area by subtracting data corresponding to each coordinate component of the processing data is the same as described above. It can be provided in a computer, such as C. Furthermore, the computer can be provided with a defective area specifying means for specifying a defective area on the inspection surface based on the selected first defective candidate area.
[0010]
In the electronic circuit component visual inspection apparatus according to the present invention having the above-described configuration requirements, the first characteristic is related to the first failure candidate area selecting means. Therefore, a specific description will be given below centering on the first failure candidate area selecting means.
[0011]
The electronic circuit component appearance inspection apparatus of the present invention is used to perform image processing on the color image of the appearance of the inspection surface, which is the appearance inspection target of the electronic circuit component. Therefore, first, the inspection surface color information is generated by the inspection surface color information generation means through the color light receiving unit. The inspection surface color information includes coordinates of three independent coordinate components forming a three-dimensional color space coordinate system at each position in the inspection surface, that is, at each pixel position where the color image of the appearance of the inspection surface is partitioned. It consists of values. As described above, the inspection surface color information includes the position information of each position in the inspection surface and the color image information at the position.
[0012]
After generating the inspection surface color information, the first inspection surface data representing the three coordinate components of the inspection surface color information and the three-dimensional color space coordinates different from the own three-dimensional color space coordinate system. First image processing data composed of at least one coordinate component in the second inspection plane data coordinate-converted by the system is created. The first inspection surface data is composed of the same three-dimensional color space coordinate system as the inspection surface color information, while the second inspection surface data is composed of a three-dimensional color space coordinate system different from the first inspection surface data. . When the appearance of the electronic circuit component is inspected, the coordinate components of the three-dimensional color space coordinate system that are useful depending on the inspection object change. Therefore, the first image processing data is composed of at least one coordinate component of the first inspection surface data and the second inspection surface data in a form corresponding to the useful coordinate components as appropriate. This first image processing data is image data that forms an inspection image when image processing is performed. Then, as data used as a reference image for the inspection image, data formed as follows is used. Maximum value non-defective product reference data subjected to maximum filter processing and minimum value non-defective product reference subjected to minimum value filter processing for data corresponding to each coordinate component of the first image processing data among preset good product standard color information At least one of the data is used as data serving as a reference image. First, the non-defective product reference color information includes non-defective product reference values set in advance for each coordinate component of the color image information at each position in the inspection surface. That is, a predetermined reference value within a non-defective acceptable range is set in advance as a coordinate value for each coordinate component of a three-dimensional color space coordinate system that is appropriately selected when image processing is performed as an appearance inspection.
[0013]
Then, for the data corresponding to each coordinate component of the first image processing data in the non-defective color reference information, the maximum non-defective product reference data subjected to the maximum value filter processing and the minimum non-defective product reference data subjected to the minimum value filter processing are obtained. create. This data may be created in advance together with the good standard color information from the viewpoint of processing time. Here, the maximum value filtering process and the minimum value filtering process will be specifically described with reference to the schematic diagram of FIG. By scanning each
[0014]
As described above, the maximum value non-defective product reference data and the minimum value filter processing in which the maximum value filter processing is performed on the data forming the reference image corresponding to each coordinate component of the first image processing data in the non-defective product reference color information. The minimum value non-defective product reference data to which is applied is created. The filter reference images formed by the maximum value non-defective product reference data and the minimum value non-defective product reference data are, for example, as shown in the schematic diagram of FIG. Here, the chromaticity of the
[0015]
Then, the data representing each coordinate component of the first image processing data is subtracted from the data corresponding to each coordinate component of at least one of the maximum value non-defective product reference data and the minimum value non-defective product reference data, respectively. To process. At this time, for example, when subtracting the maximum value non-defective product reference data or the minimum value non-defective product reference data from the first image data, the value obtained by subtracting the maximum value non-defective product reference data is positive, Extract the value that is negative when subtracting. Of course, when the first image processing data is subtracted from the maximum value non-defective product reference data or the minimum value non-defective product reference data, the value to be extracted may be reversed. A set of positions in the inspection surface corresponding to the data extracted in this way is set as a first defect candidate region on the inspection surface. Here, the effect of using the maximum value non-defective product reference data and the minimum value non-defective product reference data will be described with reference to the schematic diagram of FIG.
FIG. 7 shows the case where the
[0016]
Further, for example, when the average coordinate values in the substrate surface and the image area of the wiring pattern are compared, if the wiring pattern is larger, the maximum value non-defective product reference data in FIG. In addition, considering the case where the average coordinate value of the
[0017]
As described above, the first defect candidate area selection means performs image processing by subtraction processing using the first maximum value non-defective product reference data and the minimum value non-defective product reference data, and thus the inspection image that has been a problem in the past It is possible to effectively suppress the deviation area generated in the peripheral portion of the wiring pattern due to the alignment accuracy with the reference image from being excessively extracted as a defective area. Then, a set of positions in the inspection surface corresponding to the data extracted by the subtraction process is set as the first defect candidate region on the inspection surface, and the defect region is based on the selected first defect candidate region. The specifying unit specifies the defective area on the inspection surface. As a result, the specified defective area is based on the first defective candidate area selected using the subtraction process, and thus the specific accuracy can be effectively increased.
[0018]
As described above, by using the appearance inspection apparatus of the present invention, it is possible to effectively increase the processing accuracy of appearance inspection of electronic circuit components. In addition, when color image processing is used, naturally, it is better that a defective area to be extracted as an inspection object has a larger color difference on the image than other areas, and such a coordinate component of the three-dimensional color space coordinate system is useful. The first image processing data of the present invention is configured from the coordinate components. However, due to the excessive extraction of defective areas due to the alignment accuracy between the inspection image and the reference image, the actual problem is that the defective area to be extracted as the inspection object has a larger color difference on the image than the other areas. Although there are aspects that cannot be said to be good, it is possible to further increase the usefulness of a color image by using image processing by subtraction processing shown in the present invention. Further, as shown in FIG. 7, the effect of the subtraction process is enhanced as the overlapping area between the wiring pattern of the filter reference image used in the subtraction process and the wiring pattern of the inspection screen increases. It is desirable to appropriately adjust the pixel region for searching for the maximum value and the minimum value when performing the filtering process in consideration of the amount of deviation due to.
[0019]
Next, the subtraction processing in the electronic circuit component appearance inspection apparatus according to the present invention includes, in each coordinate component of the first image processing data, a coordinate component processed using the maximum value non-defective product reference data and a minimum value non-defective product reference data. And a coordinate component to be processed by using the processing.
[0020]
Defect areas that are subject to visual inspection of electronic circuit components include, for example, many inspection items such as adhesion of foreign matter, discoloration, cracks, and surface peeling on the substrate surface on which the wiring pattern is formed. Therefore, it is often difficult to unambiguously limit the chromaticity relationship and color difference between the defective area and the other non-defective areas. Of course, from various preliminary experiments and experimental data obtained therefrom, it is possible to limit to some extent the items that are likely to occur as defective areas and the chromaticity relationship between the non-defective areas and other non-defective areas. . Therefore, the subtraction process is performed only on the coordinate component processed using the maximum value non-defective product reference data or only the coordinate component processed using the minimum value non-defective product reference data in each coordinate component of the first image processing data. As a process, the effect of the subtraction process can be obtained. However, in particular, when the subtraction process is performed using both the maximum value non-defective product reference data and the minimum value non-defective product reference data, the effect can be further enhanced. In other words, it is possible to accurately identify the defective areas of the two, which are roughly classified according to the chromaticity relationship between the defective area and the other non-defective areas, and to further increase the identification accuracy. Become.
[0021]
Next, in the electronic circuit component appearance inspection apparatus according to the present invention, the subtraction processing is performed by using the maximum value non-defective product reference data or the minimum value non-defective product reference data for one coordinate component as a unit of the number of processes. In this case, the number of processes is two. Note that the number of subtraction processes referred to here is, for example, when subtraction processing is performed on the data of one coordinate component in the first image processing data and the data in the maximum value non-defective product reference data corresponding to the coordinate component. The number of processes is set to 1.
[0022]
As described above, the subtraction process corresponds to each coordinate component in the first image processing data and each coordinate component of the first image processing data of at least one of the maximum value non-defective product reference data and the minimum value non-defective product reference data. This is a process of subtracting data from each other. In this case, as the number of coordinate components constituting the first image processing data increases, the effect of the subtraction process and thus the accuracy of specifying the defective area to be specified increases. However, the appearance inspection of electronic circuit components must be sequentially processed for a large number of electronic circuit components, and shortening the processing time is an important problem together with processing accuracy. Therefore, the subtraction processing is preferably performed when the processing using the maximum value non-defective product reference data or the minimum value non-defective product reference data performed for one coordinate component is a unit of the processing number. By setting the number of subtraction processes to two, it is possible to sufficiently obtain the effects of the processes, suppress an excessive increase in the processing time, and shorten the processing time. Here, when the number of subtraction processes is two, for example, for each of the two coordinate components of the first image processing data, the subtraction process is performed using the maximum value non-defective product reference data, or each of the minimum value non-defective products. Subtraction processing is performed by subtraction processing using the reference data, or by using one of the maximum value non-defective product reference data and the other of the subtraction processing using the minimum value non-defective product reference data. As described above, it is often difficult to unambiguously limit the chromaticity relationship and color difference between a defective area to be subjected to appearance inspection and another non-defective area. Therefore, when the subtraction process using the maximum value non-defective product reference data or the subtraction process using the minimum value non-defective product reference data for each of the two components of the first image processing data, When the chromaticity relationship with other non-defective regions is biased in either direction, the effect of the subtraction process is sufficiently enhanced. In addition, when the subtraction process using the maximum value non-defective product reference data for one of the two components of the first image processing data and the other is the minimum value non-defective product reference data, the defective area to be extracted is another non-defective product. When there is no bias in the chromaticity relationship with the area, the effect of the subtraction process is sufficiently enhanced. As described above, the coordinate component and the type of data used in the subtraction process are appropriately selected according to the inspection target when the appearance inspection of the electronic circuit component is performed. Of course, a method of subtracting one coordinate component of the first image processing data using the maximum value non-defective product reference data and the minimum value non-defective product reference data may be used. In this case, it is effective for one coordinate component in which the color difference between the defective area to be identified and the other non-defective area is easily clarified.
[0023]
Next, in the present invention, each coordinate component of the first image processing data corresponding to the coordinate component is represented in accordance with the size of the data representing the coordinate component of the maximum value good product reference data or the minimum value good product reference data. The data is characterized in that its magnitude level is corrected.
[0024]
In the inspection surface to be subjected to the appearance inspection of electronic circuit components, even when the same inspection surface in the same type of product is targeted, variation in color difference that occurs on the substrate surface is likely to occur. In some cases, the variation in color difference between a non-defective area such as a wiring pattern and a defective area becomes excessively large. This leads to the effect of subtraction processing being suppressed. Therefore, the size of the data representing the coordinate components of the maximum value non-defective product reference data or the minimum value non-defective product reference data, that is, the coordinates of the coordinate components of the first image processing data corresponding to the coordinate components in accordance with the coordinate values. The level of the value is corrected. As a result, it is possible to effectively suppress variations in color difference between a non-defective region such as a substrate surface and a wiring pattern and a defective region, and it is possible to make the effect of subtraction processing more useful. As the level correction process, for example, in the coordinate component corresponding to each coordinate component forming the first image processing data among the first inspection surface data and the second inspection surface data, data representing a predetermined region of the inspection surface, The data of each coordinate component of the maximum value non-defective product reference data or the minimum value reference data corresponding to the region is compared based on the coordinate value for the same coordinate component, and the first image processing data is matched to the comparison result. This can be done by a method of correcting the level of the coordinate value of each coordinate component forming Here, the predetermined area of the inspection surface for level correction includes, for example, a combination of an area on the substrate surface (for example, 100 × 100 pixels) and an area on the wiring pattern (for example, 50 × 50 pixels). Thus, it can also be configured from a plurality of individual areas. In that case, it is also possible to use a method in which individual level correction is performed on individual areas. In addition, the comparison process using data corresponding to the predetermined area of the inspection surface performed for level correction may be performed by averaging the coordinate values of the data corresponding to the predetermined area, or by averaging with a predetermined weight. There is no particular limitation such that the comparison processing is performed using a converted or Fourier-transformed one, and a known one can be used. As described above, the level correction processing method and the predetermined area (pixel area) on the inspection surface for level correction are not particularly limited, and the first image processing data is obtained from the non-defective area and the defective area such as the substrate surface and the wiring pattern. It is first important that the variation in color difference is effectively suppressed. Note that the correction processing here may be performed by, for example, the first defect candidate area selection unit.
[0025]
Next, in the present invention, the first image processing data is not configured.,For first inspection surface data and second inspection surface dataAccordingCoordinate componentInOne coordinate componentConsist ofSecond image processing dataThroneData representing the standard component;
Among the non-defective product reference color information set in advance at each position in the inspection surface, the non-defective product reference color information data corresponding to the data representing the coordinate component of the second image processing data,
The second defect candidate area is selected by differential processing or pattern matching processing,
The defective area specifying means isA defect area is specified including the second defect candidate area and the first defect candidate area.
[0026]
In addition to the first defect candidate area selected by the above subtraction process, further including the second defect candidate area selected by the difference process or the pattern matching process, Furthermore, the specific accuracy can be improved. Here, the inspection image data used in the difference processing and the pattern matching processing includes second image processing data including coordinate components that do not constitute the first image processing data among the first inspection surface data and the second inspection surface data. It is important to. That is, a coordinate component having a large color difference between the defective area and the non-defective area on the inspection surface is appropriately selected from the first inspection surface data and the second inspection surface data as the coordinate component of the first image processing data. Therefore, by constructing the second image processing data from coordinate components other than the coordinate components constituting the first image processing data, for example, at the periphery of the wiring pattern caused by the alignment accuracy between the inspection image and the reference image Excessive extraction of misaligned areas as defective areas is naturally suppressed, and defective areas that could not be selected by subtraction processing can be effectively extracted by other processing means such as difference processing and pattern matching processing. And Thus, by performing image processing by difference processing or pattern matching, it is possible to effectively select, for example, a defective portion such as a defective region on the wiring pattern or a defective region on the substrate surface that could not be selected by the subtraction processing. However, in particular, the coordinate component to be employed as the second image processing data is selected as appropriate, taking into account the proportion of the over-extraction of the misalignment area around the wiring pattern as a defective area. Here, the generation of the second image processing data and the selection of the second defect candidate area may be performed by, for example, a defect area specifying unit.
[0027]
So far, in the present invention, it has been described that the accuracy of specifying the defective area is effectively increased by performing the subtraction process at least on the data subjected to the filter process. Therefore, next, a three-dimensional color space coordinate system used in this subtraction processing and further in image processing by difference processing and pattern matching will be described. The first is not particularly limited as long as it is a known three-dimensional color space coordinate system. Among them, the first inspection image data, that is, the three-dimensional color space coordinate system forming inspection surface color information is also included. Is preferably an RGB coordinate system having the coordinate components of the three primary colors of light, red R, green G and blue B. This is because a CCD camera is often used as a color light receiving unit for color imaging of the external appearance, and the detection output signal corresponds to the RGB coordinate system. As described above, the inspection surface color information is made up of the RGB coordinate system, so that when the inspection surface color information is generated based on the detection output data from the color light receiving unit, there is no need to perform coordinate conversion, Processing time can be shortened. Next, the second inspection surface data created by coordinate conversion of the first inspection surface data is preferably an HSI coordinate system having hue H, saturation S, and lightness I as coordinate components. This is because non-defective standard color information consisting of non-defective standard values for electronic circuit components must be set based on a judgment standard obtained by visual observation, and the HSI coordinate system is close to human color sensation. It is. In other words, by setting the second inspection surface data in the HSI coordinate system, the determination standard of the non-defective product reference color information, which is the non-defective product reference value, can be set with higher accuracy. Can be increased.
[0028]
Of course, the first inspection surface data and the second inspection surface data are not limited to the above-described three-dimensional color space coordinate system. For example, the RGB coordinate system and the HSI coordinate system include three independent coordinate components. However, it may be composed of four or more coordinate components obtained by adding coordinate components subordinate to the coordinate components. As described above, the three-dimensional color space coordinate system that forms the first inspection surface data and the second inspection surface data is appropriately selected in consideration of processing accuracy and processing time required in the appearance inspection processing. What is necessary is just to select from a well-known thing.
[0029]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a schematic configuration diagram showing an embodiment of an electronic circuit component appearance inspection apparatus according to the present invention. The appearance inspection apparatus 100 includes a stage 20 on which the
[0030]
Next, an appearance inspection method performed by the appearance inspection apparatus according to the present invention will be described with reference to FIGS. FIG. 2 shows one work procedure of the appearance inspection method. The inspection surface of the
[0031]
The inspection surface color information input to the image processing apparatus 11 in step 2 is stored as a first inspection image in the memory 14 of the image processing apparatus 11. Then, the image processing apparatus 11 calculates the amount of deviation when there is a positional deviation in the first inspection image, compared with a reference image previously read into the memory 14. Thereafter, the position of the first inspection image is corrected based on the amount of deviation, and stored in the memory 14 as first inspection surface data. Next, the first inspection plane data stored in the memory 14 is coordinate-transformed into a three-dimensional color space coordinate system different from its own three-dimensional color space coordinate system by arithmetic processing using the
[0032]
Then, after the operation of step 3, a defective area is specified based on the selected first defective candidate area. At this time, for example, the second image processing data composed of the coordinate components that do not constitute the first image processing data among the first inspection surface data and the second inspection surface data is used to perform the second processing by performing difference processing and pattern matching processing. When a defect candidate area is selected, the defect area is specified including this second defect candidate area. That is, in the case of only the first defect candidate area, the first defect candidate area and the defect area are in the same area. The defective area is specified by the defective area specifying means in step 4 including the image processing for selecting the second defective candidate area.
[0033]
Next, after the work in step 4, using the first extracted data stored in the memory 14 corresponding to the selected first defect candidate area, the defect area is identified in the inspection surface of the
[0034]
Although not described in the above work procedure, the non-defective reference image formed by each coordinate component constituting the non-defective reference color information is previously subjected to position correction by comparing with the reference image used in the position correction described above. It was made. As a matter of course, a mask process is performed in advance on a region of the
[0035]
Next, a specific example of the three-dimensional color space coordinate system used for the first inspection surface data and the second inspection surface data, and a specific example when performing difference processing and pattern matching in step 4, are described below. An embodiment of an appearance inspection method performed by the appearance inspection apparatus of the invention will be described.
[0036]
(Example 1) As the color light receiving unit 2, one that can capture a color image for each of the three primary colors of light (red R, green G, and blue B) is used. For example, a CCD type three-plate color line sensor camera or the like is used. As shown in FIG. 8, by using the line sensor camera 2 as described above, the stage 20 on which the
[0037]
Next, the inspection surface color information input to the image processing apparatus 11 is stored in the memory 14 of the image processing apparatus 11 as a first inspection image. Then, it is compared with a reference image previously read into the memory 14, and if there is a positional shift in the first inspection image, the amount of shift is calculated in the image processing device 11. Thereafter, the position of the first inspection image is corrected based on the amount of deviation and stored in the memory 14 as first inspection surface data.
[0038]
After performing the above-described position correction, the first inspection plane data stored in the memory 14 is coordinate-converted into an HSI coordinate system different from its own RGB coordinate system by arithmetic processing using the
[0039]
First image processing data including at least one coordinate component in the first inspection surface data and the second inspection surface data, in which the coordinate values of the respective coordinate components are defined as described above, is created using the image processing device 11. At the same time, it is stored in the memory 14. In addition, for each coordinate component of the color image information at each position of the inspection surface constituting the first inspection surface data and the second inspection surface data, a non-defective product reference value within a non-defective product allowable range is set in advance. Non-defective product reference color information including these non-defective product reference values is read in the memory 14 in advance. Then, based on the reference image used for the position correction of the first inspection image, the non-defective reference color information is assumed to have been subjected to position correction. Of course, the non-defective product reference color information can also be used as a reference image. Next, with respect to each coordinate component in such non-defective product reference color information, a maximum value filter process and a minimum value filter process are performed by arithmetic processing using the
[0040]
In addition, before the subtraction process, the level (coordinate value) of each coordinate component of the first image processing data is level-corrected using the maximum value non-defective product reference data or the minimum value non-defective product reference image data. You can also. By performing the level correction in this way, it is possible to improve the processing accuracy of the first defect candidate area selected in the subtraction process. Here, as a method for level correction, for example, the data of each coordinate component of the first image processing data corresponding to a predetermined area of the inspection surface, and the maximum value non-defective product reference data or the minimum value non-defective product reference data corresponding to the region. A method is used in which the average value of these coordinate values is compared with the data, and the size of the first image processing data is corrected based on the difference value. Further, the level correction can be performed based on a comparison result between the first image processing data, the maximum value non-defective product reference data, and the minimum value non-defective product reference data. Furthermore, the first image processing data is individually compared with the maximum value non-defective product reference data and the minimum value non-defective product reference data, and the result of level correction based on each comparison result is stored in the memory as data. It may be left. In this case, each level-corrected data used in accordance with the maximum value non-defective product reference data and the minimum value non-defective product reference data used in the subtraction process is used. The level correction can also be performed by comparing the first image processing data and the good product reference color information.
[0041]
A defective area on the inspection surface is specified based on the first defective candidate area selected in the image processing by the subtraction process. When only the first defect candidate area is used, this first defect candidate area is set as a defect area. In this way, the defective area on the inspection surface is specified. In specifying the defective area, the coordinate components of the first image processing data to be used are appropriately selected as useful depending on the type of the electronic circuit component to be used and the item of the defective area. For example, when the appearance of the electronic circuit component is close to green (G), at least the G component is included in the first image processing data. Or, when the appearance is close to white, at least I (brightness) is included so that the types and number of coordinate components constituting the first image data are determined as appropriate. Further, at least one of the maximum value non-defective product reference data and the minimum value non-defective product reference data is appropriately selected in the subtraction process depending on the chromaticity relationship between the non-defective region and the defective region on the inspection surface.
[0042]
By performing visual inspection by image processing using the subtraction process as described above, it is possible to increase the processing accuracy of various inspection items in electronic circuit components in a way that appropriately corresponds to these inspection items. It becomes. Next, a case where a second defect candidate area other than the first defect candidate area is also used when specifying the defect area will be described.
[0043]
(Example 2) The procedure until the selection of the first defect candidate region is performed in the same manner as in Example 1. In addition to the selection of the first defect candidate area, the second defect candidate area is selected by image processing based on difference processing or pattern matching. First, the second image processing data including at least one coordinate component that does not constitute the first image processing data among the first inspection surface data and the second inspection surface data is created using the image processing apparatus 11 and stored in the memory 14. store. Then, non-defective product reference color information that has been read into the memory 14 in advance is created, and non-defective product reference data corresponding to the coordinate components of the second image processing data is created, and the non-defective product reference data and the second image processing data are the same. The
[0044]
After extracting the second defect candidate area as described above, the area combined with the first defect candidate area is specified as the defect area. Then, by using the first extraction data representing the first defect candidate area and the second extraction data representing the second defect candidate area, the quality determination by the same method as the shape evaluation described above is performed, and the final determination is made. The quality of the electronic circuit component is determined.
[0045]
As a coordinate component of the second image processing data used when selecting the second defect candidate area, of course, a coordinate component that can effectively select a defect area that cannot be selected in the first defect candidate area is appropriately selected. become. For example, referring to the schematic diagram of FIG. 10, in the captured
[0046]
As described above, by performing the appearance inspection method using the appearance inspection apparatus of the present invention, it is possible to increase the inspection accuracy of the appearance inspection performed on the inspection surface of the electronic circuit component. The above-described embodiments and examples according to the present invention are merely examples, and any data that has been subjected to the maximum value filter processing and the minimum value filter processing in the appearance inspection of the inspection surface of the electronic circuit component is obtained. The concept having means for performing the subtraction processing used as image processing is included in the concept of the present invention.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram showing an embodiment of an appearance inspection apparatus according to the present invention.
FIG. 2 is a schematic process diagram showing one work procedure of an appearance inspection method performed by an appearance inspection apparatus of the present invention.
FIG. 3 is a schematic configuration diagram of a main part of an appearance inspection apparatus according to the present invention.
FIG. 4 is a schematic diagram for explaining an appearance inspection method performed by an appearance inspection apparatus according to the present invention.
FIG. 5 is a schematic diagram for explaining a defect caused by a conventional appearance inspection.
FIG. 6 is a schematic diagram for explaining an appearance inspection method performed by an appearance inspection apparatus according to the present invention.
FIG. 7 is a schematic diagram for explaining an appearance inspection method performed by the appearance inspection apparatus of the present invention.
FIG. 8 is a schematic diagram for explaining an appearance inspection method performed by the appearance inspection apparatus of the present invention.
FIG. 9 is a schematic diagram for explaining a three-dimensional color space coordinate system used in an appearance inspection method performed by an appearance inspection apparatus according to the present invention.
FIG. 10 is a schematic diagram for explaining an appearance inspection method performed by the appearance inspection apparatus of the present invention.
[Explanation of symbols]
1 Electronic circuit components
2 Color receiver (line sensor camera)
11 Image processing device
100 Visual inspection device
Claims (5)
電子回路用部品の検査面を撮像するカラー受光部と、
該カラー受光部の検知出力に基づいて前記検査面内の各位置における3次元色空間座標系の3つの座標成分よりなる検査面色情報を生成する検査面色情報生成手段と、
その検査面色情報生成手段によって生成された3次元色空間座標系の前記検査面色情報を使って、後記する第一不良候補領域を選定する第一不良候補領域選定手段と、
該第一不良候補領域に基づいて前記検査面における不良領域を特定する不良領域特定手段と、
を備えており、
前記第一不良候補領域選定手段は、
前記検査面色情報生成手段によって生成された3次元色空間座標系の前記検査面色情報の3つの座標成分を表す第一検査面データから、その3次元色空間座標系とは異なる3次元色空間座標系に座標変換させた第二検査面データを作成するとともに、3つの座標成分で表す第一検査面データおよび第二検査面データによる6つの座標成分の中の少なくとも1つの座標成分からなる第一画像処理データの座標成分を表すデータと、
前記検査面内の各位置における予め設定された良品基準色情報のうち、前記第一画像処理データの座標成分を表すデータに対応する良品基準色情報のデータに対して、最大値フィルタ処理を施した最大値良品基準データおよび最小値フィルタ処理を施した最小値良品基準データのうちのいずれかのデータと、
を減算処理することにより前記第一不良候補領域を選定するとともに、
その減算処理は、前記第一画像処理データの座標成分と同じ座標成分の最大値良品基準データと最小値良品基準データを用いて、前記第一画像処理データの座標成分と前記最大値良品基準データを用いて処理される座標成分との間、前記第一画像処理データの座標成分と前記最小値良品基準データを用いて処理される座標成分との間で行われ、
1つの座標成分に対して行なう前記最大値良品基準データを用いて処理される座標成分を用いた減算処理、または1つの座標成分に対して行なう前記最小値良品基準データを用いて処理される座標成分を用いた減算処理を処理数の単位としたとき、その処理数が2つとされることを特徴とする電子回路用部品の外観検査装置。An appearance inspection apparatus used for appearance inspection of electronic circuit components,
A color light receiver for imaging the inspection surface of the electronic circuit component;
Inspection surface color information generating means for generating inspection surface color information including three coordinate components of a three-dimensional color space coordinate system at each position in the inspection surface based on the detection output of the color light receiving unit;
Using the inspection surface color information of the three-dimensional color space coordinate system generated by the inspection surface color information generation unit, a first defect candidate region selection unit that selects a first defect candidate region to be described later;
A defect area specifying means for specifying a defect area on the inspection surface based on the first defect candidate area;
With
The first defect candidate area selecting means is
From the first inspection surface data representing the three coordinate components of the inspection surface color information of the three-dimensional color space coordinate system generated by the inspection surface color information generation means, three-dimensional color space coordinates different from the three-dimensional color space coordinate system First inspection surface data that is coordinate-transformed into the system is generated, and the first inspection surface data is represented by three coordinate components, and the first inspection surface data includes at least one coordinate component among the six coordinate components based on the second inspection surface data. Data representing coordinate components of image processing data;
Of the preset good standard color information at each position in the inspection surface, the maximum value filtering process is performed on the good standard color information data corresponding to the data representing the coordinate component of the first image processing data. Data of the maximum value non-defective product reference data and the minimum value non-defective product reference data subjected to the minimum value filtering
And selecting the first defect candidate area by subtracting,
The subtraction process uses the maximum value non-defective product reference data and the minimum value non-defective product reference data of the same coordinate component as the coordinate component of the first image processing data, and the coordinate component of the first image processed data and the maximum value non-defective product reference data. Between the coordinate component processed using the coordinate component of the first image processing data and the coordinate component processed using the minimum value non-defective product reference data ,
Coordinates are processed using the minimum good reference data performed for subtraction or one coordinate component with coordinate components that are processed using the maximum value good reference data performed with respect to one coordinate component An appearance inspection apparatus for electronic circuit parts, wherein the number of processes is two when subtraction processing using a component is a unit of the number of processes.
前記検査面内の各位置における予め設定された良品基準色情報のうち、前記第二画像処理データの座標成分を表すデータに対応した良品基準色情報のデータと、
を差分処理またはパターンマッチング処理することにより第二不良候補領域を選定し、
前記不良領域特定手段は、この第二不良候補領域と前記第一不良候補領域とを含めて不良領域を特定することを特徴とする請求項1または2に記載の電子回路用部品の外観検査装置。Does not constitute the first image processing data, the data representing the coordinates component of the second image processing data consisting of a single coordinate component in the coordinate component by the first test surface data and the second test surface data,
Among the predetermined good standard color information at each position in the inspection surface, non-defective standard color information data corresponding to data representing coordinate components of the second image processing data,
The second defect candidate area is selected by differential processing or pattern matching processing,
3. The electronic circuit component visual inspection apparatus according to claim 1, wherein the defective area specifying unit specifies a defective area including the second defective candidate area and the first defective candidate area. 4. .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002325841A JP4354173B2 (en) | 2002-11-08 | 2002-11-08 | Appearance inspection equipment for electronic circuit components |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002325841A JP4354173B2 (en) | 2002-11-08 | 2002-11-08 | Appearance inspection equipment for electronic circuit components |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004163113A JP2004163113A (en) | 2004-06-10 |
JP4354173B2 true JP4354173B2 (en) | 2009-10-28 |
Family
ID=32804939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002325841A Expired - Fee Related JP4354173B2 (en) | 2002-11-08 | 2002-11-08 | Appearance inspection equipment for electronic circuit components |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4354173B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101800064B1 (en) * | 2014-02-07 | 2017-12-20 | 주식회사 엘지화학 | A Geometric-Tolerance Test Method for Polymer Cell by Using a Go-no Jig |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4548086B2 (en) * | 2004-10-15 | 2010-09-22 | 株式会社ニコン | Defect inspection equipment |
US7769226B2 (en) | 2005-01-26 | 2010-08-03 | Semiconductor Energy Laboratory Co., Ltd. | Pattern inspection method and apparatus |
JP5303503B2 (en) * | 2010-03-30 | 2013-10-02 | 大日本スクリーン製造株式会社 | Image inspection apparatus, printing apparatus, and image inspection method |
CN103091331B (en) * | 2013-01-11 | 2014-12-31 | 华中科技大学 | System and method for visual inspection on burrs and stain defects of radio frequency identification (RFID) antennae |
JP2018180578A (en) * | 2017-04-03 | 2018-11-15 | 富士通株式会社 | Design support program, information processing apparatus, and design support method |
-
2002
- 2002-11-08 JP JP2002325841A patent/JP4354173B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101800064B1 (en) * | 2014-02-07 | 2017-12-20 | 주식회사 엘지화학 | A Geometric-Tolerance Test Method for Polymer Cell by Using a Go-no Jig |
Also Published As
Publication number | Publication date |
---|---|
JP2004163113A (en) | 2004-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4882529B2 (en) | Defect detection method and defect detection apparatus | |
JP4054184B2 (en) | Defective pixel correction device | |
US20060018534A1 (en) | Technique for detecting a defect of an object by area segmentation of a color image of the object | |
KR20190014275A (en) | Mura detection device and detection method of mura detection device | |
JP3906780B2 (en) | Data registration method for component code conversion table, board inspection data creation device, registration processing program, and storage medium thereof | |
JP4354173B2 (en) | Appearance inspection equipment for electronic circuit components | |
JP5466099B2 (en) | Appearance inspection device | |
JP4190243B2 (en) | Electronic circuit component visual inspection method, visual inspection apparatus, and electronic circuit component manufacturing method. | |
JP4354174B2 (en) | Manufacturing method for electronic circuit components | |
JP2005181218A (en) | Board inspecting device | |
JP4090775B2 (en) | Appearance inspection method and appearance inspection apparatus for electronic circuit components, and method for manufacturing electronic circuit components | |
JP3241050B2 (en) | Semiconductor visual inspection equipment | |
JP2014062837A (en) | Defect inspection device and defect reviewing device | |
JP2004132950A (en) | Appearance inspection apparatus and appearance inspection method | |
JP4195980B2 (en) | Appearance inspection method and appearance inspection apparatus using color image | |
JP4961370B2 (en) | Inspection method and inspection apparatus | |
JPH08152412A (en) | Appearance inspection device | |
JP2006284543A (en) | Method and device for inspecting mounted circuit board | |
JP2003203218A (en) | Visual inspection device and method | |
JP3250335B2 (en) | Mounted parts inspection device | |
JP4889018B2 (en) | Appearance inspection method | |
JP2006172381A (en) | Image observation method and device for performing the same method | |
JP2006086451A (en) | Substrate-inspection device, and method and device for setting parameter | |
JP4548086B2 (en) | Defect inspection equipment | |
JP2004085543A (en) | System and method for visual inspection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050425 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071203 |
|
A256 | Written notification of co-pending application filed on the same date by different applicants |
Free format text: JAPANESE INTERMEDIATE CODE: A2516 Effective date: 20071203 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080521 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080717 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080717 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081202 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090702 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090729 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4354173 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120807 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130807 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |