JP3551188B2 - 表面状態検査方法および基板検査装置 - Google Patents
表面状態検査方法および基板検査装置 Download PDFInfo
- Publication number
- JP3551188B2 JP3551188B2 JP2002364400A JP2002364400A JP3551188B2 JP 3551188 B2 JP3551188 B2 JP 3551188B2 JP 2002364400 A JP2002364400 A JP 2002364400A JP 2002364400 A JP2002364400 A JP 2002364400A JP 3551188 B2 JP3551188 B2 JP 3551188B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- color component
- inspection
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
- G01N21/95684—Patterns showing highly reflecting parts, e.g. metallic elements
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Spectrometry And Color Measurement (AREA)
Description
【発明の属する技術分野】
この発明は、部品実装基板上に形成されたはんだ付け部位のように表面が曲面形状をとる物体の曲面や、部品のリードの傾き状態など、所定の検査対象物の表面状態を検査するための技術に関連する。
【0002】
【従来の技術】
出願人は、以前に、はんだ付け部位の鏡面反射性を利用して、画像処理の手法により基板上のはんだ付け部位を自動検査する装置を開発した(特許文献1参照。)。
【0003】
【特許文献1】
特公平6−1173号 公報
【0004】
図8は、上記特許文献1に開示された基板検査装置の構成および検査の原理を示す。この検査装置は、赤(R),緑(G),青(B)の各色彩光を発する3個の光源8,9,10と撮像装置3とにより検査対象の画像を生成するもので、各光源8,9,10は、基板面に対する仰角がR,G,Bの順に大きくなるように設定されている。一方、撮像装置3は、検査対象のはんだ2を真上位置から撮像するように配備される。
【0005】
各光源8,9,10からの照射光は、はんだ2の表面で鏡面反射する。ここではんだ2の任意の位置において、この位置から見た撮像装置3の方向に対称となる方向からの光は、鏡面反射すると、撮像装置3に導かれる。したがって上記の光学系によれば、図9に示すように、はんだ表面の傾きによってR,G,Bの各色彩が切り分けられた2次元画像が生成されることになる。図示例のような球体状のはんだであれば、中央部の平坦面が赤色の画像領域として、基板面の近傍の急傾斜面が青色の画像領域として、またこれらの中間に位置する比較的緩やかな傾斜面(緩傾斜面)が緑色の画像領域として、それぞれ現れることになり、これら光源に対応する色彩の分布状態に基づき、はんだ2の形状の良否などを判定することができる。
【0006】
上記の原理による検査は、球体状のはんだに限らず、フィレットの形状の検査にも適用することができる。図10は、前記の光学系により基板上のフィレットを観測した場合の色彩の分布状態を、フィレットの傾斜状態に対応づけて示したものである。なお、この図10において、50は基板面を、S1はランドの形成範囲を、それぞれ示す。
図10の例でも、上方の急傾斜面では青、中間の緩傾斜面では緑、基板面近くの平坦に近い面では赤、というように、はんだの傾斜角度によって観測される反射光が切り分けられる。
【0007】
上記の検査装置では、あらかじめR,G,Bの各色彩毎に所定の2値化しきい値を設定しておき、前記撮像装置3により得た画像をこれら2値化しきい値により2値化して、R,G,B毎の2値パターン(以下、これを「色彩パターン」という。)を抽出するようにしている。またこれらの色彩パターンについて、あらかじめ良好な形状のはんだの画像において得られるパターンを登録しておき、検査対象の画像上における各色彩パターンの特徴を前記登録パターンの特徴と比較することにより、はんだの表面状態の良否を判別するようにしている。
【0008】
【発明が解決しようとする課題】
近年の部品実装基板では、高密度化に伴ってランドが小さくなっており、特に携帯電話用の基板のような小型の基板では、ランドを小さくせざるを得ない状態にある。しかしながらこのようにランドが小さくなると、フィレットの傾きが急峻になり、R,G,Bの各色彩パターンを抽出するのが困難になる。
【0009】
図11は、フィレットの傾きが急峻である場合の観測例を示す。この例では、ランドの形成範囲S2が小さくなるため、フィレットは、全長にわたって、青色用の光源10に対応する角度で傾斜するようになり、観測される反射光の大部分が青色光だけとなる場合が起こり得る。
【0010】
同様の問題は、部品のリードの傾きを観測する場合にも生じる。たとえば、前記図8の光学系を用いてリードの上面を観測する場合、リードに浮きが生じていても、その浮きによる傾斜角度の変化が微小であれば、通常の赤色光による検出範囲に含まれるため、リードの微小な浮きまで検出するのは困難となる。
このように、傾きが急峻な対象物の傾斜状態を詳細に観測したり、傾斜角度の微小な変化を検出したい場合には、上記の光学系では、対応は困難になる。
【0011】
一方、傾斜面の検出にかかる分解能を向上する方法として、光源の数を増やすことが考えられるが、この場合、コスト高となる。
【0012】
この発明は上記問題点に着目してなされたもので、基板上のはんだやリードなど所定の検査対象物の表面状態の検査を行う場合に、従来と同様の光学系を用いて傾斜角度の検出にかかる分解能を向上し、急峻な傾斜面の傾斜状態を詳細に観測したり、検査対象物の微細な傾きの変化を精度良く検出できるようにして、検査の精度を向上することを目的とする。
【0013】
【課題を解決するための手段】
この発明にかかる第1の表面状態検査方法は、検査対象物に対し、仰角が異なる複数の方向からそれぞれ異なる色彩光を照射した照明状態下で、前記検査対象物からの反射光を撮像するステップと、前記撮像により得られた画像に対し、検査対象物の画像を含む画像領域内の画素毎に、各色彩光に対応する色成分のうち強度が最大となる1の色成分を抽出する処理、または強度が最大の色成分と強度が2番目に大きい色成分とを抽出する処理のいずれかを、各色成分の強度の関係に基づき選択して実行するステップと、前記画像領域における色成分の抽出処理結果を示す画像データを用いて、前記検査対象物の表面状態を検査するステップとを実行するようにしている。
【0014】
ここでいう「検査対象物」とは、たとえば基板上のはんだ付け部位や部品のリードのように、曲面状の表面や所定の傾斜角度を持つ表面(水平面を含む。)を検査対象とするものである。仰角が異なる複数の方向から照射される色彩光は、たとえば赤,緑,青の各色彩とすることができるが、これに限らず、赤と緑のように、2種類の光源を用いてもよい。
【0015】
「検査対象物の画像を含む画像領域」は、少なくとも、検査対象物の画像の輪郭線により切り出される画像領域(すなわち、検査対象物の画像そのもの)とすることができる。望ましくは、検査対象物の画像よりも大きい矩形状の領域として設定するとよい。
また、前記画像領域として、複数の対象物を含む画像領域を設定することもできる。また画像全体を1つの画像領域と見なして処理することもできる。
【0016】
「各色彩光に対応する色成分」とは、画像上において、前記複数の方向から照射される各色彩光に対応する色彩の特徴量と考えることができる。たとえば、前記した赤,緑,青の各色彩光を照射する場合、赤,緑,青の各色信号の強度を色成分と考えることができる。なお、ディジタル画像においては、各色信号の強度は、画素毎の階調により表すことができる。
【0017】
色成分を抽出する処理において、強度が最大となる1の色成分のみを抽出するか、または強度が最大の色成分と強度が2番目に大きい色成分との2つを抽出するかは、たとえば、第1位の色成分と第2位の色成分との強度の差に応じて決定することができる。すなわち、第1位,第2位の各色成分間に所定値以上の強度の差があれば、第1位の色成分のみを抽出し、両者の差が所定値より小さい場合は、第1位および第2位の各色成分を抽出すればよい。
【0018】
ここで、この発明にかかる色成分の抽出処理の原理について、図8に示した光学系を例にして説明する。なお、以下では、所定の光源から検査対象物に光を照射したときにその照射光に対する鏡面反射光が撮像装置に入射するような傾きを有する傾斜面を、「光源に適合する傾斜面」と呼ぶことにする。また、他の光源を挟まずに配置される2つの光源(前記図8の光源8と9、および9と10)を、「隣り合う光源」と呼び、これら光源からの光を「隣り合う仰角方向からの光」と呼ぶ。また、これら隣り合う光源の一方の光源に適合する傾斜面から他方の光源に適合する傾斜面に移行する間の傾斜面を「境界位置の傾斜面」と呼ぶことにする。
【0019】
検査対象物の傾斜面が所定の光源に適合している場合には、その光源に対応する色成分が他の色成分よりもはるかに優勢になると考えられるから、最も強度が大きい色成分を抽出することによって前記光源からの光と同じ色彩による画像を得ることができる。また隣り合う光源に適合する傾斜面の境界位置にある傾斜面については、前記隣り合う光源に対応する各色成分の強度が接近した状態にあると考えられるから、強度が最大の色成分と強度が2番目に大きい色成分とを抽出することによって、前記隣り合う光源に対応する色彩の混合色による画像を得ることができる。
【0020】
たとえば、上記図8の光学系により観測を行う場合、各光源8,9,10の配置方向に適合する傾斜面を、それぞれ赤,緑,青の各色彩で表すことができる。さらに、光源8,9の間に対する境界位置の傾斜面を、赤と緑との混合色により、光源9,10の間に対する傾斜面を、緑と青との混合色により、それぞれ表すことができる。このように、各光源に対応する色彩に加えて、隣り合う光源に対応する色彩の混合色により傾斜面を示すことができるので、画像上の各色彩の分布状態に基づき、傾斜角度の検出にかかる分解能を従来よりも細かく設定することができる。
したがって従来と同様の光学系により、より多くの光源を配置した場合と同様の分解能をもって、検査対象物の表面の傾斜角度を認識することができ、急峻な傾斜面を傾斜角度を切り分けて識別したり、微細な角度変化を検出するなどして、検査の精度を向上することができる。
【0021】
また、上記色成分の抽出処理後の画像を表示する場合には、1または2の色成分により色彩が明瞭化された画像を表示することができる。したがって検査対象物の表面にやや拡散性がある場合でも、傾斜角度に応じた所定の色成分が抽出されるので、検査対象物の表面状態を明瞭に表すことができ、その表面状態の適否を表示画面上で容易に判別することができる。
【0022】
さらに、図8のように、赤,緑,青の各色彩光を照射する場合には、色成分を抽出する処理のステップを、各色成分の強度の平均値を求めるステップと、各色成分のうち前記平均値を上回る1または2個の色成分を抽出するステップとを含むものとすることができる。
【0023】
たとえば、前記図8の構成の光学系において、赤色の光源8に適合する傾斜面の画像では、赤色成分が緑,青の色成分よりも圧倒的に優勢となるから、各色成分の強度の平均値を上回るのは赤色成分のみとなる。一方、光源8,9に適合する各傾斜面の境界位置では、赤色成分と緑色成分との強度の差が小さくなるが、青色成分は小さいままであるので、各色成分の平均値を上回るのは、赤,緑の各色成分となる。よって画素毎に、各色成分の平均値を算出し、この平均値を下回る色成分を除去することによって、着目画素に対応する傾斜面の傾斜角度に応じた1または2個の色成分を抽出することができる。
【0024】
なお、上記処理において、前記平均値が所定値よりも低い画素(すなわち明度の低い画素)については、十分な反射が得られていない部分に対応するものとして、上記抽出処理の対象から除外するのが望ましい。
【0025】
つぎに、前記検査対象物の表面状態を検査するステップは、色成分を抽出する処理のステップを実行した後の前記画像領域において、この領域内の各画素を、前記抽出された色成分の種類および組み合わせに基づいてグループ分けするステップと、各グループに属する画素の分布状態に基づき前記対象物の表面状態の適否を判別するステップとを含ませることができる。
【0026】
前記グループ分けのステップでは、個々の色成分毎に、また隣り合う仰角方向からの光に対応する2つの色成分の組み合わせ毎に、グループを設定することができる。ここで、単独の色成分のみが抽出された画素は、その抽出された色成分に対応する色彩で表示される傾斜面の画像領域に含まれる。また、2つの色成分が抽出された画素は、その抽出された色成分に対応する色彩の混合色により表示される傾斜面の画像領域に含まれる。
【0027】
このように、上記のグループ分け処理によれば、検査対象物の表面状態をグループの数分の傾斜面に切り分けて検出することが可能となる。ここで、傾斜面の傾斜状態が変化すると、色成分の抽出処理結果が変化し、グループ分け結果も変化することになり、その結果、各グループに属する画素の分布状態も変化することになる。
【0028】
各グループに属する画素の分布状態は、たとえば、各画素にグループ毎に異なるラベルを付けるラベリング処理により、抽出することができる。この場合には、ラベリング結果に基づき、各グループに対応する画像領域を切り分けて認識することができる。
【0029】
また、各グループの分布状態が変化すれば、おのずと、各グループに属する画素の数も変化するから、各グループの画素数をもって、これらグループに属する画素の分布状態を示すパラメータとすることもできる。
【0030】
前記検査対象物の表面状態の適否を判別するステップでは、ラベリング処理により抽出されたグループ毎の特徴量(重心位置、面積など)、または前記画素数などのパラメータを、所定の基準値と比較することにより、適否判別を行うことができる。なお、前記基準値は、あらかじめ、検査対象物のモデルの画像などを用いて、良好な表面状態についての特徴量やパラメータを求め、その算出結果の示す値に基づいて設定するのが望ましい。
【0031】
上記のグループ分け処理および判別処理によれば、各グループに属する画素の分布状態に基づき、各光源に適合する傾斜面およびこれらの境界位置の傾斜面を切り分けて検出できるから、対象物の表面状態の適否を、簡単かつ精度良く判別することが可能となる。
【0032】
さらに、この発明にかかる第2の表面状態検査方法では、検査対象物に対し、仰角が異なる複数の方向からそれぞれ異なる色彩光を照射した照明状態下で、前記検査対象物からの反射光を撮像するステップと、前記撮像により得た画像に対し、検査対象物の画像を含む画像領域内の画素毎に、所定の色彩光に対応する色成分を段階設定された複数のしきい値と比較するステップと、前記各画素における比較結果に応じて前記検査対象物の表面状態を検査するステップとを実行するようにしている。
【0033】
たとえば前記図8の光学系によれば、同じ色彩(たとえば青)により抽出可能な傾斜面であっても、その傾斜角度によって前記色彩に対応する色成分の強度が変化する。したがってこの色成分に複数のしきい値を設定すれば、前記傾斜面の角度をさらに細かく切り分けて検出することができ、より詳細な検索を行うことができる。また、リードの浮きのような角度変化を検出する場合でも、微小な角度変化まで検出して、検査精度を向上することができる。
【0034】
つぎにこの発明にかかる第1の基板検査装置は、異なる色彩光を発光する複数の光源を検査対象の基板に対してそれぞれ異なる仰角の方向に配備して成る照明手段と、前記基板からの反射光を撮像するための撮像手段と、前記照明手段の各光源を点灯させた状態で前記撮像手段により生成された画像を取り込む画像入力手段と、前記画像入力手段により取り込まれた入力画像に対し、検査対象物の画像を含む画像領域の画素毎に、各光源に対応する色成分のうち強度が最大となる1の色成分を抽出する処理、または強度が最大の色成分と強度が2番目に大きい色成分とを抽出する処理のいずれかを、各色成分の強度の関係に基づき選択して実行する色成分抽出手段と、前記色成分抽出手段による処理が実行された後の前記画像領域内の画像データを用いて前記検査対象物の表面状態の適否を判別する判別手段と、前記判別手段による判別結果を出力する出力手段とを具備する。
【0035】
前記照明手段には、たとえば色彩毎に異なる径を有するリング状の光源を設けることができる。またLEDのような発光体を複数リング状に配列した発光体群により、1つの光源を構成することができる。さらに同色の発光体群を、複数段、同心円状に配列して、1つの光源とすることもできる。
【0036】
撮像手段は、各色彩毎の画像信号を生成可能なCCDカメラにより構成することができる。画像入力手段は、検査のための画像処理を行うコンピュータ内に組み込まれ、処理対象となる画像を生成するためのもので、前記撮像手段からの画像信号を増幅処理するための増幅回路や処理用のディジタル画像を生成するためのA/D変換回路を含む構成とすることができる。
なお、撮像手段は、アナログの画像信号を生成するものに限らず、ディジタルカメラであってもよい。この場合は、画像入力手段は、各色彩毎のディジタル画像データを個別に取り込むための入力ポートとして構成することができる。
【0037】
色成分抽出手段、判別手段は、それぞれ前記した色成分抽出処理を実行するステップ、検査対象物の表面状態を検査するステップを実行するためのプログラムが設定されたコンピュータにより構成することができる。なお、このコンピュータのメモリには、前記プログラムのほか、処理対象の画像データや色成分の抽出処理後の画像データを格納することができる。
【0038】
また、色成分抽出手段および判別手段が処理対象とする画像領域は、あらかじめ実装状態が良好な基板や基板の設計データから求めた検査対象物の位置や大きさに基づき、設定することができる。または、撮像手段により得られた画像を表示し、この表示画面上で各検査対象物に対応する画像領域の指定を受け付け、メモリに保存するようにしてもよい。ただし、画像全体に含まれる検査対象物が1つであり、この画像上に検査対象物が十分に大きく現れているならば、画像全体を処理対象の画像領域とすることもできる。
【0039】
出力手段は、前記判別手段による判別結果を、外部の装置に出力するためのインターフェース回路として、構成することができる。また、前記判別結果を表示する手段、または前記判別結果を所定の記憶媒体に格納する情報記憶手段をもって、出力手段とすることもできる(後記する第3の基板検査装置においても同様である。)。
【0040】
上記構成の装置によれば、前記した第1の方法に基づき、基板上のはんだや部品のリードなどの表面について、傾斜角度をより細かく検出した上で、表面状態の適否を自動判別することが可能となる。よって従来と同様のハードウェア構成でより詳細な検査を行うことができ、コストをかけずに、高性能の自動基板検査装置を提供することができる。
【0041】
上記基板検査装置の好ましい態様では、前記照明手段は、赤,緑,青の各色彩光をそれぞれ発光する3種類の光源を具備する。また色成分抽出手段は、前記各光源に対応する色成分の強度の平均値を算出する手段と、算出された平均値を上回る1または2の色成分を抽出する手段とを具備する。
この構成によれば、カラー画像を構成するR,G,Bの各色信号の特徴量を各光源に対応する色成分とすることができるので、色成分の抽出処理を容易に行うことができる。また画素毎に、各色成分の強度の平均値を上回る色成分を抽出することによって、各光源の配置方向に適合する傾斜面をその光源からの光と同じ色彩により、またこれらの傾斜面の境界位置の傾斜面を対応する2光源の色彩の混合色により、それぞれ抽出することができる。
【0042】
さらに好ましい態様の装置では、前記判別手段は、前記色成分抽出手段による処理後の前記画像領域において、この領域内の各画素を、前記抽出された色成分の種類および組み合わせに基づいてグループ分けする手段を含み、各グループに属する画素の分布状態に基づき前記検査対象物の表面状態の適否を判別するように構成される。前記したように、検査領域内の各画素を、色成分の種類および組み合わせに基づいてグループ分けすれば、各光源に適合する傾斜面およびこれらの境界位置の傾斜面を切り分けて検出することができる。よって、検査対象物の表面を、光源の数を越える分解能をもって自動的に切り分けることができ、その傾斜状態の良否を精度良く判別することが可能となる。
【0043】
つぎに、この発明にかかる第2の基板検査装置は、上記した第1の基板検査装置と同様の照明手段、撮像手段、画像入力手段、色成分抽出手段のほか、前記色成分抽出手段により抽出された各色成分による画像を表示する表示手段と、前記表示手段により表示された画像について、良否の判断結果を示すデータの入力を受け付ける入力手段とを具備する。
なお、色成分抽出手段が処理対象とする画像領域は、任意に指定された画像領域としても良いし、あらかじめ設定された画像領域を対象とすることもできる。
【0044】
表示手段は、画像を表示するためのモニタ装置やこのモニタ装置に対する表示制御手段により構成される。なお、表示制御手段は、表示制御用のプログラムが組みこまれたコンピュータにより構成することができる。入力手段は、マウス、キーボード、コンソールなどの入力操作用の機器により構成することができる。なお、入力手段により入力されたデータは、外部の装置などに出力したり、所定の記憶媒体に保存することができる。
【0045】
上記第2の構成による基板検査装置は、ユーザーが表示された画像を確認しながら、検査対象物の良否を判定して、その判定結果を入力する目視検査装置にかかるものである。この装置では、検査対象の基板について、各光源に対応する色彩、およびこれら色彩の混合色により、傾斜角度の分解能が向上した画像を表示することができるので、従来と同様の照明系により対象物の表面状態をより詳細に観測することが可能となり、精度の高い検査を行うことができる。
【0046】
さらにこの発明にかかる第3の基板検査装置は、前記第1、第2の装置と同様の照明手段、撮像手段、画像入力手段を具備し、さらに、画像入力手段により取り込まれた入力画像に対し、検査対象物の画像を含む画像領域内の画素毎に、所定の光源に対応する色成分を段階設定された複数のしきい値と比較する比較手段と、前記各画素における比較結果を用いて前記検査対象物の表面状態の適否を判別する判別手段と、前記判別手段による判別結果を出力する出力手段とを具備する。なお、比較手段、判別手段は、それぞれその手段の処理を実行するためのプログラムが設定されたコンピュータにより構成するのが望ましい。
【0047】
上記第3の基板検査装置は、第1の基板検査装置と同様に、検査対象物の表面状態の適否を自動判別するものである。この構成の装置によれば、同じ色彩パターンとして検出される傾斜面の傾斜角度を、複数のしきい値によって詳細に切り分けて検出することができる。したがって、前記図11に示した急峻な傾きのフィレットや、リードのわずかな浮きでも精度良く検出し、判別精度を高めることが可能となる。しかもハードウェア構成は、従来と同様にできるので、コストをかけずに高性能の自動基板検査装置を提供することができる。
【0048】
【発明の実施の形態】
図1は、この発明の一実施例にかかる基板検査装置の構成を示す。
この基板検査装置は、検査対象の基板を撮像して得た画像を処理して、前記基板上のはんだ付け部位などの良否を判別するためのもので、撮像部3,投光部4,制御処理部5,X軸テーブル部6,Y軸テーブル部7などにより構成される。なお、図中の1Tは、検査対象の基板(以下「被検査基板1T」という。)である。また1Sは、はんだ付け状態や部品の実装状態が良好な基準基板であって、検査に先立つティーチング時に用いられる。
【0049】
前記Y軸テーブル部7は、基板1S,1Tを支持するコンベヤ24を具備し、図示しないモータによりこのコンベヤ24を動かして、前記基板1S,1TをY軸方向に(図1の紙面に直交する方向)に沿って移動させる。前記X軸テーブル部6は、Y軸テーブル部7の上方で、撮像部3および投光部4を支持しつつ、これらをX軸方向(図の左右方向)に移動させる。
【0050】
前記投光部4は、異なる径を有する3個の円環状光源8,9,10により構成される。これらの光源8,9,10は、それぞれ赤色光、緑色光、青色光の各色彩光を発光するもので、観測位置の真上位置に中心を合わせることにより、前記基板1S,1Tの支持面から見て、異なる仰角に対応する方向に位置するように配備される。
【0051】
前記撮像部3は、カラー画像生成用のCCDカメラであって、その光軸が各光源8,9,10の中心に対応し、かつ鉛直方向に沿うように位置決めされる。これにより観測対象である基板1S,1Tからの反射光が撮像部3に入射し、三原色のR,G,B毎のカラー画像信号に変換されて制御処理部5へ入力される。
【0052】
制御処理部5は、CPU11を制御主体とするコンピュータであって、画像入力部12,メモリ13,撮像コントローラ14,画像処理部15,XYテーブルコントローラ16,検査部17,ティーチングテーブル18,入力部19,CRT表示部20,プリンタ21,送受信部22,外部メモリ装置23などを構成として含む。
【0053】
画像入力部12は、撮像部3からのR,G,Bの各画像信号を増幅する増幅回路や、これら画像信号をディジタル信号に変換するためのA/D変換回路などを備える。メモリ13には、R,G,B毎のディジタル量の濃淡画像データや、これら濃淡画像を2値化処理して得られる2値画像などを格納するための画像格納領域が設定されている。
【0054】
撮像コントローラ14は、撮像部3および投光部4をCPU11に接続するインターフェースなどを備え、CPU11からの命令に基づき投光部4の各光源の光量を調整したり、撮像部3の各色彩光出力の相互バランスを保つなどの制御を行う。
【0055】
XYテーブルコントローラ16は、前記X軸テーブル部6およびY軸テーブル部7をCPU11に接続するインターフェースなどを含み、CPU11からの指令に基づき、X軸テーブル部6およびY軸テーブル部7の移動動作を制御する。
【0056】
ティーチングテーブル18には、種々の基板毎に、検査領域の設定位置および大きさ、この検査領域内で検査のための色彩パターンを抽出するのに必要な2値化しきい値、抽出された色彩パターンの特徴量(色彩パターンの位置,大きさなど)、後記する色グループ毎の画素数、および良否判定のための基準値などの検査情報をまとめた判定ファイルが格納される。これらの判定ファイルは、検査に先立ち、前記基準基板1Sを撮像して得られた画像を用いて係員により教示されるもので、検査時には、CPU11により読み出されてメモリ13などにセットされ、画像処理部15や検査部17などに供給される。
【0057】
画像処理部15は、メモリ13に格納されたR,G,Bの各画像データより、R,G,Bの各階調、およびこれら階調の総和により表される明度を画素単位で抽出する。さらに画像処理部15は、はんだ付け部位については、後記する各色成分の抽出処理や色グループ毎の積算処理などを、はんだ以外の部位については、R,G,Bの各色彩パターンを抽出する処理や、抽出した色彩パターンの特徴量を算出する処理を、検査領域毎に実施する。
【0058】
検査部17は、前記ティーチングテーブル18より判定基準値などの供給を受け、検査対象領域毎に、前記画像処理部15により求められたグループ毎の画素数や各色彩パターンの特徴量を判定基準値と比較するなどして、良否判定を行い、この判定結果を、CPU11に出力する。CPU11は、各検査領域毎の判定結果を総合して被検査基板1Tが良品か否かを判定する。この最終的な判定結果は、CRT表示部20やプリンタ21,あるいは送受信部22に出力される。
【0059】
前記入力部19は、検査のための各種条件や検査情報の入力などを入力するためのもので、キーボードやマウスなどにより構成される。CRT表示部20(以下、単に「表示部20」という。)は、CPU11から画像データ、検査結果、前記入力部19からの入力データなどの供給を受けて、これを表示画面上に表示する。またプリンタ21は、CPU11から検査結果などの供給を受け、これを予め定められた形式でプリントアウトする。
【0060】
送受信部22は、部品実装機,はんだ付け装置などの他の装置との間でデータのやりとりを行うためのもので、たとえば不良と判定された被検査基板1Tについて、その識別情報や不良の内容を後段の修正装置に送信することにより、不良箇所を速やかに修正することができる。外部メモリ装置23は、フレキシブルディスク,光磁気ディスクなどの記憶媒体にデータを読み書きするための装置であって、前記検査結果を保存したり、検査に必要なプログラムや設定データを外部から取り込むために用いられる。
【0061】
なお、上記構成において、画像処理部15および検査部17は、上記した各処理を実行するためのプログラムを組み込んだ専用のプロセッサにより構成される。ただし、必ずしも、専用のプロセッサを設ける必要はなく、メインの制御を行うCPU11に画像処理部15および検査部17の機能を付与するようにしてもよい。
【0062】
この実施例の基板検査装置では、はんだ付け部位を検査する場合に、はんだ面の傾斜角度を従来よりも細かく切り分けて検出することによって、精度の高い検査を行うようにしている。
【0063】
図2は、前記図1の光学系で得られる画像について、はんだ面の傾斜角度の変化による赤(R),緑(G),青(B)の各色成分の階調の変化の状態を模式したものである。なお、ここに示す傾斜角度は、水平方向に対するはんだ面の角度であり、はんだ面が水平に近づくほど小さい値をとる。
【0064】
図1の光学系によれば、赤色成分は、平坦に近い角度範囲A1で他の色成分よりも優勢となり、傾斜角度が大きくなるにつれて小さくなる。反対に青色成分は、傾斜角度が大きくなるのに応じて増加し、急峻なはんだ面を示す角度範囲A3で他の色成分よりも優勢となる。緑色成分は、前記角度範囲A1とA3との間の緩やかな傾斜面(緩傾斜面)に対応する角度範囲A2で優勢となり、またその他の角度範囲においては、はんだ面の角度が角度範囲A2に近づくにつれて増加する。
また角度範囲A1からA2に移行する間の角度範囲a1では、減少する赤色成分に増加する緑色成分が徐々に接近し、さらに両者の大小関係が逆転して差が広がってゆく。角度範囲A2からA3に移行する間の角度範囲a2でも同様に、減少する緑色成分に増加する青色成分が徐々に接近し、さらに両者の大小関係が逆転して差が広がる現象が生じる。
【0065】
この実施例では、上記の特性に基づき、検査領域内の各画素について、それぞれ最も大きな色成分、または最も大きな色成分と2番目に大きな色成分との2つを抽出することにより、前記5つの角度範囲A1,A2,A3,a1,a2に対応するはんだ面を切り分けて抽出するようにしている。
【0066】
上記の色成分の抽出処理は、各色成分の平均値を基準として行われる。前記図2に示すように、各光源8,9,10に適合する角度範囲A1,A2,A3では、それぞれ光源8,9,10に対応する単独の色成分が他の2つの色成分よりも優勢となる。この場合に3つの色成分の平均値を求めると、優勢な1つの色成分によって平均値が引き上げられるから、前記平均値は、この優勢な色成分と他の2つの劣勢な色成分との間に位置するようになる。
一方、境界位置の傾斜面に対応する角度範囲a1,a2では、最も大きな色成分とつぎに大きな色成分との差が小さくなり、しかも、これら2つの色成分と残りの色成分との間には大きな差異があるから、3つの色成分の平均値は、2番目に大きな色成分と残りの劣勢な色成分との間に位置するようになる。
【0067】
図3は、色成分の抽出処理の具体例を示す。
図3(1)は、前記図2の角度範囲a1内の一画素に対する処理を示す。図示例では、赤および緑の各色成分の階調が大きいため、各階調の平均値Avより階調が小さくなるのは青色成分だけとなる。この場合、赤および緑の各色成分の階調は維持されるが、青色成分の階調はゼロに変更される。
【0068】
図3(2)は、前記図2の角度範囲A1内の一画素に対する処理を示す。この図示例では、赤色成分の階調が他の2つよりも高く、また緑,青の各色成分の階調の差が小さいため、平均値Avを上回る階調を持つのは赤色成分のみとなる。このような場合には、赤色成分の階調のみが維持され、緑,青の各色成分の階調はゼロに変更される。
【0069】
他の角度範囲についても上記と同様であって、角度範囲A2では緑色成分の階調のみが、角度範囲A3では青色成分の階調のみが、それぞれ維持され、残りの2成分の階調はゼロに変更される。また角度範囲a2では、緑および青の各色成分の階調が維持され、赤色成分の階調がゼロに変更される。
【0070】
このような処理により、角度範囲A1,A2,A3に対応する各傾斜面は、それぞれ赤,緑,青の単色の濃淡画像に変換される。また角度範囲a1に対応する傾斜面は、赤と緑との混合色の濃淡画像に、角度範囲a2に対応する傾斜面は、緑と青との混合色の濃淡画像に、それぞれ変換される。
【0071】
図4は、基板上のフィレットについて、上記の色成分の抽出処理を実行した後に画像上に現れる色彩分布を、フィレットの傾斜状態に対応させて模式的に示す。図示例のフィレットの傾斜角度は、前記図2の角度範囲A3に対応する角度から徐々に小さくなって基板面に接する位置で平坦になるように変化するので、この傾斜角度が小さくなる方向に沿って、青(B),青と緑との混合色(図中、BGと示す。),緑(G),緑と赤との混合色(図中、GRと示す。),赤(R)の各色彩領域が順に出現するようになる。なお、混合色BG,GRの色彩領域では、混合色を構成する2種類の色成分の強度の比率によって、色合いが変化するようになる。
【0072】
このように、上記の色成分の抽出処理によれば、はんだ面の画像を構成する各画素を、抽出された色成分の種類および組み合わせによって、上記5種類の色彩領域にグループ分けすることができる(以下、これら色彩領域に対応する5種類のグループを「色グループ」と呼ぶ。)。
【0073】
上記5種類の色グループによれば、各色グループに所属する画素の数をもって、画像上における前記5種類の色彩の出現頻度を示すことができる。上記の図4に示したように、5種類の色彩は、はんだ面の傾斜角度に応じた分布状態を示すものとなるから、はんだ面の傾斜状態が変化して各色彩の分布状態が変化すれば、当然、各色彩の出現頻度も変化することになる。すなわち、前記色グループ毎の画素数は、画像上の5種類の色彩の分布状態を示すパラメータと考えることができるから、この画素数をもって、はんだ面の傾斜状態の良否を判断することができる。
【0074】
そこで、この実施例の基板検査装置では、被検査基板1T上のはんだ付け部位について、前記図3に示した方法により、設定された検査領域内の各画素につき、それぞれ単独または2つの色成分を抽出するとともに、各画素を、抽出された色成分の種類および組み合わせに基づいて前記5種類の色グループに分類し、各色グループ毎に、それぞれそのグループに含まれる画素の数を求めるようにしている。さらにこの色グループ毎の画素数を判定基準値と比較することにより、はんだ付け部位の良否を判定するようにしている。
以下、この検査のためのティーチング、および検査における詳細な手順を、順に説明する。
【0075】
図5は、ティーチング時の手順を示す。なお、この図5および以下の説明では、各処理のステップを「ST」と示す。
ティーチング時には、まず係員が入力部19を操作して教示対象とする基板名や基板のサイズなどを登録した後、前記基準基板1SをY軸テーブル部7上にセットし、前記投光部4による照明下で撮像を開始する(ST1)。この処理により、R,G,Bの各画像信号が画像入力部12に取り込まれた後、ディジタル変換処理が施され、前記メモリ13内に処理対象のカラー濃淡画像データが入力される。またここで入力されたカラー画像は、前記表示部20に表示される。
【0076】
係員は、所定の被検査部位に撮像部3および投光部4を位置決めして撮像を行い、得られた画像に対し、マウスなどを用いて検査領域を指定する。この指定操作を受けて、CPU11は、ST2に進み、前記検査領域の設定位置および大きさを取り込んでメモリ13内に一時保存する(ST2)。
【0077】
一方、係員は、前記検査領域がはんだ付け部位を含むものである場合には、その旨を示す識別情報を前記検査領域の設定操作に続いて入力する。この識別情報の入力によって、ST3が「YES」となると、以下、設定された検査領域内の画素に順に着目して、ST4〜8の処理を実行する。
【0078】
ST4では、前記検査領域内の1画素について、R,G,Bの各階調の平均値Avを算出し、つぎのST5では、平均値Avを所定のしきい値L0と比較する。このしきい値L0は、はんだ付け部位の画像の平均的な明るさに基づいて設定されたもので、前記平均値Avがしきい値L0より小さい場合には、ST5は「NO」となる。この場合には、以下のST6,7,8をスキップして、着目画素に対する処理を終了する。
【0079】
平均値Avがしきい値L0以上であれば、ST5が「YES」となり、つぎのST6において、R,G,Bの各階調のうち、前記平均値Avよりも小さい階調をゼロに変更する。
【0080】
つぎに、ST7では、ST6の処理後の各色成分の階調に基づき、着目画素が属する色グループを決定する。ここでは、着目画素において、0より大きい階調を持つ色成分が1つである場合には、その単独の色成分により表される色彩(R,G,Bのいずれか)に対応する色グループを、所属グループとする。また、0より大きい階調を持つ色成分が2つある場合には、その2種類の色成分に対応する混合色(RGまたはGB)に対応する色グループを、所属グループとする。
【0081】
このようにして、着目画素の所属グループが決まると、つぎのST8では、決定した色グループの画素数を、現在の値に1を加算した値に更新する。なお、初期の画素数はゼロに設定されている。
以下、検査領域内の各画素について同様の処理を実行することにより、この検査領域内において、R,G,B,RG,GBの各色グループに属する画素数を求めることができる。
【0082】
検査領域内の全ての画素に対する処理が終了すると、ST9が「YES」となってST12に進み、前記各色グループ毎に、それぞれ最終的に得た画素数に基づき判定基準値を設定する。なお、この判定基準値は、前記最終の画素数よりも所定の余裕度分だけ小さい値(たとえば最終の画素数の90%に相当する値など)とするのが望ましい。
【0083】
一方、ST2において、はんだ付け部位以外の部位に検査領域が設定された場合には、ST3が「NO」となり、ST10,11の各ステップによって、従来と同様に、R,G,Bの各色彩パターンを用いた検査用データが設定されることになる。ST10では、係員が表示部20の画像上で最適な濃度を持つ位置を指定するなどの方法により、R,G,B毎に2値化しきい値を入力する。CPU11は、この設定値を取り込み、前記検査領域の設定データ(位置や大きさ)に対応づけて前記メモリ13に保存する。
【0084】
さらに、ST11では、前記設定された2値化しきい値に基づき、各色彩パターンを抽出する。そして、これら色彩パターンについて、重心位置、面積などの特徴量を算出する。この後は、ST12に進み、前記特徴量に基づき、良否判定のための判定基準値を設定する。
【0085】
以下、同様に、基板上の被検査部位が順に撮像され、検査領域の設定が行われた後、はんだ付け部位であれば、検査領域内の画素を前記5種類の色グループに分類してグループ毎の画素数を求め、はんだ付け部位以外の部位であれば、R,G,Bの各色彩パターンを抽出してその特徴量を求める。そして求められた画素数や特徴量に基づき、前記検査領域にかかる良否判定のための判定基準値を設定する。そして、検査領域毎に、その領域の設定データに前記判定基準値を対応づけた検査情報(非はんだ付け部位については、各色彩パターンの2値化しきい値も含む。)を作成し、メモリ13に一時保存する。
【0086】
すべての被検査部位にかかる設定が終了すると、ST13が「YES」となり、ST14で、各被検査部位についてメモリ13に一時保存された検査情報により判定データファイルを作成し、ティーチングテーブル18に保存する。なお、この判定データファイルでは、前記はんだ付け部位の検査領域として指定された検査領域には、識別用のフラグが設定される。
【0087】
図6は、前記基板検査装置における自動検査の手順を示す。なお、この図では、各ステップをST21以降の符号で示す。またこの図6の手順は、1枚の基板に対して行われるもので、被検査基板の数に応じて繰り返されることになる。
【0088】
この検査に先立ち、係員は、被検査基板1Tの種類を基板名などにより指定する。CPU11は、この指定に応じてティーチングテーブル18より前記被検査基板1Tに対応する判定データファイルを読み出してメモリ13内にセットする。この状態下で検査開始操作が行われると、最初のST21で、被検査基板1TがY軸テーブル部7に搬入され、撮像が開始される。
【0089】
つぎにCPU11は、前記判定データファイル内の検査領域の設定データに基づき、最初の被検査部位に撮像部3および投光部4を位置決めして、前記被検査部位の画像を生成し、その画像上に検査領域を設定する(ST22)。ここでこの検査領域に前記した識別用のフラグが設定されている場合には、ST23が「YES」となり、以下、検査領域内の各画素に順に着目しつつ、ティーチング時のST4〜8と同様の処理を実行することにより、各画素を前記5種類の色グループに分類し、これらのグループ毎の画素数を計数する(ST24〜28)。なお、この場合も、階調平均値Avがしきい値L0より小さい画素については、ST26〜28のステップはスキップされる。
【0090】
検査領域内のすべての画素に対する処理が終了すると、ST29が「YES」となってST32に進む。ST32では、各色グループについて得られた画素数を、それぞれ前記判定基準値と比較することによって、はんだ付け部位の良否を判定する。
【0091】
一方、はんだ付け部位以外の部位を検査する場合には、ST23が「NO」となり、ST30において、検査領域内の濃淡画像を前記各色彩パターン毎の2値化しきい値により2値化することによって、R,G,Bの色彩パターンを抽出する。さらにつぎのST31で、抽出された各色彩パターンの特徴量を算出した後、ST32に進む。ST32では、前記算出された特徴量を前記判定基準値と比較することによって、被検査部位の良否を判定する。
【0092】
以下、同様に、判定データファイル内の検査情報に基づき、各被検査部位が順に撮像されて検査領域が設定された後、はんだ付け部位については、各色グループの画素数を用いた判定処理が、はんだ付け部位以外の部位については、3種類の色彩パターンの特徴量を用いた判定処理が、それぞれ実行される。
【0093】
すべての被検査部位に対する判定処理が終了すると、ST33が「YES」となり、以下、ST34〜36において、各被検査部位に対する判定結果に基づき、被検査基板1Tについて、良品または不良品のいずれかの判定処理が行われる。さらに、ST37で、この判定結果を出力し、前記被検査基板1Tに対する検査を終了する。
【0094】
このように、この実施例の基板検査装置では、はんだ付け部位を検査する場合に、各光源8,9,10に対応する色彩、および隣り合う光源に対応する2種類の混合色の計5種類の色彩について、それぞれ対応する5種類の色グループの画素数を用いて各色彩の分布状態の良否を判断するようにしたから、はんだ面の傾斜角度を従来よりも細かく切り分けて検出し、詳細な検査を行うことができる。
【0095】
また、各色成分の抽出処理では、画像データを構成する3つの色成分の中から強度が最大となる1の色成分、または最大の色成分と2番目に強度が大きい色成分とを抽出する処理が、画素毎に行われるので、画像中のはんだ表面の傾斜状態を、前記5種類の色彩により表すことができる。したがって、上記した自動はんだ検査装置に代えて、目視検査装置において前記色成分の抽出処理を実行し、抽出処理後の画像を表示するようにすれば、前記5種類の色彩の分布状態に基づき、はんだ付け部位の傾斜状態を詳細に認識することが可能となる。
【0096】
なお、上記実施例では、各色成分の階調の平均値を基準にして色成分の抽出処理を行ったが、これに限らず、第1位および第2位の各色成分の階調を比較し、両者の差が所定値より大きい場合には、第1位の色成分のみを抽出し、両者の差が前記所定値以内であれば、第2位までの色成分を抽出するようにしてもよい。
【0097】
ところで、前記図2では、単一の色成分が優勢となる角度範囲A1,A2,A3では、優勢な色成分を同じ大きさに示しているが、実際には、同じ色彩で検出できる角度範囲においても、角度によって微小な変化が生じる。
たとえば、前記図11に示したフィレットのような急峻な傾斜面は、図1の光学系では、青色パターンとして検出されるが、このような傾斜面では、上方から下方に移行するにつれて、青色成分は徐々に減少することになる。
【0098】
したがって単一の色成分が優勢となる検査対象に対しては、この優勢な色成分について、複数のしきい値を設定することができる。このような設定によれば、従来の1つの色彩により検出される角度範囲をさらに細かく切り分けて識別することが可能となるから、前記の急峻な傾斜面についても、その傾きの状態を詳細に認識して高精度の検査を行うことができる。またしきい値の設定間隔を細かくすることによって、角度検出の分解能を向上することができるから、微細な角度変化でも精度良く検出することができる。
【0099】
図7は、上記の段階設定された複数のしきい値を用いてICのリードの状態を検査する場合の検査対象の例を示す。
実装状態が適正であれば、リードの上面は平坦になるから、前記図1の投受光部によれば、画像上のリードは赤色パターンにより表される。したがって、赤色成分に複数のしきい値を設定することで、リード上面の傾斜角度を細かく認識することが可能となる。
【0100】
図7(1)は、ある部品30Aの1本のリード31Aに浮きが生じている状態を、図7(2)は、同一部品30Bの同じ位置のリード31Bに、より微小な浮きが生じている状態を、それぞれ示す。なお、図7(1)(2)において、32A,32Bは、良好な状態のリードを示す。
【0101】
これらのリード31A,32A,31B,32Bを前記投光部4による照明下で撮像し、得られた画像上で前記リード31A,31Bを示す赤色成分を比較すると、リード31Aにおける赤色成分は、リード31Bにおける赤色成分よりも小さくなる。また図7(2)の不良のリード31Bに対応する赤色成分を、その他の良好なリード32Bに対応する赤色成分と比較すると、前者は後者よりも小さな値を示す。
したがって良好なリード32A,32Bおよび各不良のリード31A,31Bを示す赤色成分の大きさに対応させて3種類のしきい値を設定すれば、これらのリードの傾きの違いを精度良く検出することができる。
【0102】
なお、この種の検査を行う場合、不良なリードを検出するためのしきい値にそれぞれ赤色以外の色彩パターンを対応づけるようにすれば、不良のリードを、その傾きに応じた色彩パターンにより示すことができる。たとえば図7(1)のように、リードの傾斜角度が比較的大きい場合には、緑色パターンを出現させ、図7(2)のように、リードの傾斜角度が微小である場合には、イエローパターンを出現させるようにすれば、これらの色彩によってリードの傾き状態を容易に判断することができる。同様に、前記図11のような例においても、たとえば、青色成分に3段階のしきい値を設定し、これらのしきい値により検出される傾斜面を、赤,緑,青の各色彩パターンで表すようにすれば、緩やかな傾斜面の場合と同様のパターン表示を行うことが可能となる。
【0103】
なお、上記の複数のしきい値により傾斜角度を検出する方法は、図1の基板検査装置に適用することができる。またこの検出方法とともに、上記した検出角度によって表示色を変える方法を、図1と同様の光学系を持つ目視検査装置に導入すれば、検査対象の微小な傾きの変化でも、容易に視認して、高精度の検査を行うことができる。
さらに、自動,目視のいずれの装置においても、被検査部位の種類や検査目的に応じて、各光源に対応する色彩とその混合色に対応する5種類の色彩パターンによる検査,単一の色成分に複数のしきい値を設定しての検査を切り替えて実行するようにしてもよい。
【0104】
【発明の効果】
上記したように、この発明では、複数の色彩光を異なる仰角方向から照射した照明下で得られたカラー画像において、各色彩光に対応する色成分のうち強度が最大となる1の色成分を抽出する処理、または強度が最大の色成分と強度が2番目に大きい色成分を抽出する処理により、各色彩光に適合する傾斜面、およびこれら傾斜面の境界位置にある傾斜面を、それぞれ異なる色彩により抽出するので、従来と同様の構成の光学系により、傾斜角度の検出にかかる分解能を向上することができる。
【0105】
またこの発明では、同じ色彩によって検出される傾斜角度範囲について、その色彩を構成する色成分を段階設定された複数のしきい値と比較するようにしたので、従来と同様の構成の光学系により、傾斜角度の検出にかかる分解能を向上することができる。
【0106】
よって、この発明では、急峻な傾斜面の傾斜角度を切り分けて検出したり、表面の微細な角度変化を精度良く検出することが可能となり、従来と同様のハードウェア構成をもって、検査対象物の表面状態にかかる検査の精度を向上することができる。
【図面の簡単な説明】
【図1】この発明の一実施例にかかる基板検査装置の構成を示すブロック図である。
【図2】はんだ面の傾斜角度と各色成分の階調との関係を示すグラフである。
【図3】色成分の抽出処理方法を示す説明図である。
【図4】5色の色領域により傾斜面が区分けされた状態を示す説明図である。
【図5】ティーチング時の手順を示すフローチャートである。
【図6】検査時の手順を示すフローチャートである。
【図7】同じ色彩の検出範囲に複数のしきい値を設定しての検査の対象例を示す説明図である。
【図8】従来の基板検査装置の光学系の構成を示す説明図である。
【図9】図8の光学系による認識処理の原理を示す説明図である。
【図10】図8の光学系による認識処理の原理を示す説明図である。
【図11】図8の光学系により急峻な傾斜面を観測した場合の結果を示す説明図である。
【符号の説明】
1S,1T 基板
2 はんだ
3 撮像部
4 投光部
5 制御処理部
8,9,10 光源
11 CPU
12 画像入力部
13 メモリ
15 画像処理部
20 CRT表示部
Claims (9)
- 検査対象物に対し、仰角が異なる複数の方向からそれぞれ異なる色彩光を照射した照明状態下で、前記検査対象物からの反射光を撮像するステップと、
前記撮像により得られた画像に対し、検査対象物の画像を含む画像領域内の画素毎に、各色彩光に対応する色成分のうち強度が最大となる1の色成分を抽出する処理、または強度が最大の色成分と強度が2番目に大きい色成分とを抽出する処理のいずれかを、各色成分の強度の関係に基づき選択して実行するステップと、
前記画像領域における色成分の抽出処理結果を示す画像データを用いて、前記検査対象物の表面状態を検査するステップとを実行するようにした表面状態検査方法。 - 前記複数の方向からの色彩光は、赤,緑,青の各色彩光であり、前記色成分を抽出する処理のステップは、各色成分の強度の平均値を求めるステップと、各色成分のうち前記平均値を上回る1または2個の色成分を抽出するステップとを含む請求項1に記載された表面状態検査方法。
- 前記検査対象物の表面状態を検査するステップは、色成分を抽出する処理のステップを実行した後の前記画像領域内において、この領域内の各画素を、前記抽出された色成分の種類および組み合わせに基づいてグループ分けするステップと、各グループに属する画素の分布状態に基づき前記検査対象物の表面状態の適否を判別するステップとを含んで成る請求項1または2に記載された表面状態検査方法。
- 検査対象物に対し、仰角が異なる複数の方向からそれぞれ異なる色彩光を照射した照明状態下で、前記検査対象物からの反射光を撮像するステップと、
前記撮像により得た画像に対し、検査対象物の画像を含む画像領域内の画素毎に、所定の色彩光に対応する色成分を段階設定された複数のしきい値と比較するステップと、
前記各画素における比較結果に応じて前記検査対象物の表面状態を検査するステップとを実行するようにした表面状態検査方法。 - 異なる色彩光を発光する複数の光源を検査対象の基板に対してそれぞれ異なる仰角の方向に配備して成る照明手段と、
前記基板からの反射光を撮像するための撮像手段と、
前記照明手段の各光源を点灯させた状態で前記撮像手段により生成された画像を取り込む画像入力手段と、
前記画像入力手段により取り込まれた入力画像に対し、検査対象物の画像を含む画像領域内の画素毎に、各光源に対応する色成分のうち強度が最大となる1の色成分を抽出する処理、または強度が最大の色成分と強度が2番目に大きい色成分とを抽出する処理のいずれかを、各色成分の強度の関係に基づき選択して実行する色成分抽出手段と、
前記色成分抽出手段による処理が実行された後の前記画像領域内の画像データを用いて前記検査対象物の表面状態の適否を判別する判別手段と、
前記判別手段による判別結果を出力する出力手段とを具備して成る基板検査装置。 - 前記照明手段は、赤,緑,青の各色彩光をそれぞれ発光する3種類の光源を具備し、
前記色成分抽出手段は、前記各光源に対応する色成分の強度の平均値を算出する手段と、算出された平均値を上回る1または2の色成分を抽出する手段とを具備して成る請求項5に記載された基板検査装置。 - 前記判別手段は、前記色成分抽出手段による処理後の前記画像領域において、この領域内の各画素を、前記抽出された色成分の種類および組み合わせに基づいてグループ分けする手段を含み、各グループに属する画素の分布状態に基づき前記検査対象物の表面状態の適否を判別する請求項5または6に記載された基板検査装置。
- 異なる色彩光を発光する複数の光源を検査対象の基板に対してそれぞれ異なる仰角の方向に配備して成る照明手段と、
前記基板からの反射光を撮像するための撮像手段と、
前記照明手段の各光源を点灯させた状態で前記撮像手段により生成された画像を取り込む画像入力手段と、
前記画像入力手段により取り込まれた入力画像に対し、検査対象物の画像を含む画像領域内の画素毎に、各光源に対応する色成分のうち強度が最大となる1の色成分を抽出する処理、または強度が最大の色成分と強度が2番目に大きい色成分とを抽出する処理のいずれかを、各色成分の強度の関係に基づき選択して実行する色成分抽出手段と、
前記色成分抽出手段により抽出された各色成分による画像を表示する表示手段と、
前記表示手段により表示された画像について、良否の判断結果を示すデータの入力を受け付ける入力手段とを具備して成る基板検査装置。 - 異なる色彩光を発光する複数の光源を検査対象の基板に対してそれぞれ異なる仰角の方向に配備して成る照明手段と、
前記基板からの反射光を撮像するための撮像手段と、
前記照明手段の各光源を点灯させた状態で前記撮像手段により生成された画像を取り込む画像入力手段と、
前記画像入力手段により取り込まれた入力画像に対し、検査対象物の画像を含む画像領域内の画素毎に、所定の光源に対応する色成分を段階設定された複数のしきい値と比較する比較手段と、
前記各画素における比較結果を用いて前記検査対象物の表面状態の適否を判別する判別手段と、
前記判別手段による判別結果を出力する出力手段とを具備して成る基板検査装置。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002364400A JP3551188B2 (ja) | 2002-01-10 | 2002-12-16 | 表面状態検査方法および基板検査装置 |
DE60228542T DE60228542D1 (de) | 2002-01-10 | 2002-12-27 | Verfahren und Vorrichtung zum Prüfen der Oberfläche von Substraten |
EP02028989A EP1333275B1 (en) | 2002-01-10 | 2002-12-27 | Method and apparatus for inspecting the surface of substrates |
US10/338,020 US6947151B2 (en) | 2002-01-10 | 2003-01-08 | Surface state inspecting method and substrate inspecting apparatus |
TW092100289A TW583389B (en) | 2002-01-10 | 2003-01-08 | A surface conduction examination method and a substrate examination device |
CNB031034675A CN1195978C (zh) | 2002-01-10 | 2003-01-09 | 表面状态检查方法及电路板检查装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002-3449 | 2002-01-10 | ||
JP2002003449 | 2002-01-10 | ||
JP2002364400A JP3551188B2 (ja) | 2002-01-10 | 2002-12-16 | 表面状態検査方法および基板検査装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003270173A JP2003270173A (ja) | 2003-09-25 |
JP3551188B2 true JP3551188B2 (ja) | 2004-08-04 |
Family
ID=26625476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002364400A Expired - Fee Related JP3551188B2 (ja) | 2002-01-10 | 2002-12-16 | 表面状態検査方法および基板検査装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US6947151B2 (ja) |
EP (1) | EP1333275B1 (ja) |
JP (1) | JP3551188B2 (ja) |
CN (1) | CN1195978C (ja) |
DE (1) | DE60228542D1 (ja) |
TW (1) | TW583389B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009142390A3 (ko) * | 2008-05-19 | 2010-01-21 | (주)펨트론 | 표면형상 측정장치 |
Families Citing this family (65)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7062080B2 (en) * | 2001-11-26 | 2006-06-13 | Omron Corporation | Method of inspecting curved surface and device for inspecting printed circuit board |
US9092841B2 (en) * | 2004-06-09 | 2015-07-28 | Cognex Technology And Investment Llc | Method and apparatus for visual detection and inspection of objects |
DE10249850A1 (de) * | 2002-10-25 | 2004-05-13 | Siemens Ag | Verfahren zur Qualitätskontrolle von Anschlusskugeln von elektronischen Bauelementen |
TWI221531B (en) * | 2002-10-25 | 2004-10-01 | Hwan-Chia Chang | Method for testing soldering reliability |
US7356176B2 (en) * | 2004-02-26 | 2008-04-08 | Omron Corporation | Mounting-error inspecting method and substrate inspecting apparatus using the method |
JP3867724B2 (ja) * | 2004-02-27 | 2007-01-10 | オムロン株式会社 | 表面状態検査方法およびその方法を用いた表面状態検査装置ならびに基板検査装置 |
US8127247B2 (en) | 2004-06-09 | 2012-02-28 | Cognex Corporation | Human-machine-interface and method for manipulating data in a machine vision system |
US8891852B2 (en) | 2004-06-09 | 2014-11-18 | Cognex Technology And Investment Corporation | Method and apparatus for configuring and testing a machine vision detector |
US9292187B2 (en) | 2004-11-12 | 2016-03-22 | Cognex Corporation | System, method and graphical user interface for displaying and controlling vision system operating parameters |
JP4736764B2 (ja) * | 2005-01-11 | 2011-07-27 | オムロン株式会社 | 基板検査装置並びにその検査ロジック設定方法および検査ロジック設定装置 |
US7769226B2 (en) | 2005-01-26 | 2010-08-03 | Semiconductor Energy Laboratory Co., Ltd. | Pattern inspection method and apparatus |
US7315361B2 (en) * | 2005-04-29 | 2008-01-01 | Gsi Group Corporation | System and method for inspecting wafers in a laser marking system |
JP2006318214A (ja) * | 2005-05-12 | 2006-11-24 | Omron Corp | 特徴量取得装置及び変換装置 |
US7391510B2 (en) * | 2006-01-26 | 2008-06-24 | Orbotech Ltd | System and method for inspecting patterned devices having microscopic conductors |
JP4801457B2 (ja) * | 2006-02-02 | 2011-10-26 | 株式会社リコー | 表面欠陥検査装置、表面欠陥検査方法及び表面欠陥検査プログラム |
CN101150732B (zh) * | 2006-09-20 | 2010-08-11 | 王锦峰 | 用黑白相机拍摄彩色图像的成像方法和装置 |
JP4389982B2 (ja) * | 2007-08-09 | 2009-12-24 | オムロン株式会社 | 基板外観検査装置 |
FR2920227B1 (fr) * | 2007-08-24 | 2009-11-27 | Vit | Procede d'inspection de cartes electroniques par analyse multispectrale. |
US8103085B1 (en) * | 2007-09-25 | 2012-01-24 | Cognex Corporation | System and method for detecting flaws in objects using machine vision |
DE102007049702A1 (de) * | 2007-10-17 | 2009-04-23 | Robert Bosch Gmbh | Pickerstrasse |
DE102008057131B4 (de) | 2007-12-06 | 2013-05-29 | Honda Motor Co., Ltd. | Riemenprüfvorrichtung |
JP4611404B2 (ja) * | 2008-06-04 | 2011-01-12 | 本田技研工業株式会社 | ベルト検査装置 |
JP4503643B2 (ja) * | 2007-12-06 | 2010-07-14 | 本田技研工業株式会社 | 金属ベルトの検査装置 |
DE102008013525B4 (de) * | 2008-03-08 | 2010-07-29 | Nordischer Maschinenbau Rud. Baader Gmbh + Co Kg | Vorrichtung und Verfahren zum kontaktlosen Erkennen von Charakteristika von kontinuierlich geförderten, transluzenten Produkten |
US8077307B2 (en) * | 2008-04-09 | 2011-12-13 | Orbotech Ltd. | Illumination system for optical inspection |
TW200949241A (en) * | 2008-05-28 | 2009-12-01 | Asustek Comp Inc | Apparatus and method for detecting circuit board |
JP4719284B2 (ja) * | 2008-10-10 | 2011-07-06 | トヨタ自動車株式会社 | 表面検査装置 |
KR100955272B1 (ko) | 2009-01-29 | 2010-04-30 | (주)펨트론 | 표면형상 측정장치 |
JP5108827B2 (ja) * | 2009-04-28 | 2012-12-26 | ヴィスコ・テクノロジーズ株式会社 | 形状検査装置および形状検査プログラム |
JP5065329B2 (ja) * | 2009-05-12 | 2012-10-31 | ヴィスコ・テクノロジーズ株式会社 | 形状検査装置および形状検査プログラム |
IT1395116B1 (it) * | 2009-07-29 | 2012-09-05 | Utpvision S R L | Sistema di rilevamento ottico di difetti superficiali |
JP5471306B2 (ja) * | 2009-10-28 | 2014-04-16 | ソニー株式会社 | 色むら検査装置および色むら検査方法 |
JP2012063269A (ja) * | 2010-09-16 | 2012-03-29 | Sony Corp | 測定装置及び測定方法 |
CN102364332B (zh) * | 2011-06-10 | 2014-07-30 | 乐金化学(南京)信息电子材料有限公司 | 偏光板移动检测装置及方法 |
KR101248143B1 (ko) * | 2011-06-24 | 2013-03-28 | 주식회사 에스에프이 | 영상 처리 모듈 및 이를 이용한 엘이디 칩 본딩 장치 |
JP6032696B2 (ja) * | 2011-06-30 | 2016-11-30 | 芝浦メカトロニクス株式会社 | 貼り合せ板状体検査装置及び方法 |
US9651499B2 (en) | 2011-12-20 | 2017-05-16 | Cognex Corporation | Configurable image trigger for a vision system and method for using the same |
CN104136881B (zh) * | 2012-02-03 | 2017-08-29 | 独立行政法人产业技术综合研究所 | 计测物品表面上的突起或突条的高度的方法及用于该方法的装置 |
KR101438157B1 (ko) * | 2012-11-12 | 2014-09-05 | 주식회사 고영테크놀러지 | 기판 검사방법 |
KR101590831B1 (ko) * | 2013-04-02 | 2016-02-03 | 주식회사 고영테크놀러지 | 기판의 이물질 검사방법 |
EP2999956B1 (en) * | 2013-05-23 | 2021-06-30 | Rina Consulting - Centro Sviluppo Materiali S.p.A. | Method for the surface inspection of long products and apparatus suitable for carrying out such a method |
KR101816616B1 (ko) * | 2014-01-08 | 2018-01-09 | 야마하하쓰도키 가부시키가이샤 | 외관 검사 장치 및 외관 검사 방법 |
TWI495867B (zh) * | 2014-07-22 | 2015-08-11 | Machvision Inc | Application of repeated exposure to multiple exposure image blending detection method |
CN105987916A (zh) * | 2015-01-29 | 2016-10-05 | 三垦电气株式会社 | 图像检查装置及图像检查方法 |
WO2016142986A1 (ja) * | 2015-03-06 | 2016-09-15 | 富士機械製造株式会社 | 認識装置および、認識方法 |
CN104764752B (zh) * | 2015-03-24 | 2017-09-12 | 广州视源电子科技股份有限公司 | 一种焊点连锡检测方法及设备 |
CN106153625A (zh) * | 2015-04-01 | 2016-11-23 | 五邑大学 | 基于彩色光反射差异的表面划痕检测方法 |
JP2017067633A (ja) * | 2015-09-30 | 2017-04-06 | キヤノン株式会社 | 検査装置および物品製造方法 |
JP6791631B2 (ja) * | 2016-01-06 | 2020-11-25 | 株式会社サキコーポレーション | 画像生成方法及び検査装置 |
CN106289099B (zh) * | 2016-07-28 | 2018-11-20 | 汕头大学 | 一种单目视觉系统及基于该系统的三维尺寸快速测量方法 |
CN106645161B (zh) * | 2016-09-27 | 2020-02-04 | 凌云光技术集团有限责任公司 | 一种表面缺陷检测系统及方法 |
JP6673268B2 (ja) * | 2017-03-14 | 2020-03-25 | オムロン株式会社 | 管理装置、管理装置の制御方法、情報処理プログラム、および記録媒体 |
JP6837161B2 (ja) * | 2017-12-05 | 2021-03-03 | 株式会社Fuji | 撮像ユニット及び部品実装機 |
JP6969439B2 (ja) * | 2018-02-23 | 2021-11-24 | オムロン株式会社 | 外観検査装置、及び外観検査装置の照明条件設定方法 |
EP3767938B1 (en) * | 2018-03-14 | 2021-12-15 | Fuji Corporation | Image-capturing unit and component-mounting device |
CN108827971A (zh) * | 2018-04-26 | 2018-11-16 | 深圳市创科自动化控制技术有限公司 | 一种表面缺陷检测方法 |
JP7125880B2 (ja) * | 2018-09-27 | 2022-08-25 | オルガノ株式会社 | 検査装置および検査方法 |
EP4007482A4 (en) * | 2019-07-26 | 2022-08-24 | Fuji Corporation | LIGHTING UNIT |
US11282187B2 (en) * | 2019-08-19 | 2022-03-22 | Ricoh Company, Ltd. | Inspection system, inspection apparatus, and method using multiple angle illumination |
US11189372B2 (en) * | 2019-09-19 | 2021-11-30 | Rx-V Inc. | Verification system for medication packaging and method |
JP2021089159A (ja) | 2019-12-02 | 2021-06-10 | Juki株式会社 | 検査装置及び検査方法 |
JPWO2022113369A1 (ja) * | 2020-11-30 | 2022-06-02 | ||
CN113029102A (zh) * | 2021-04-26 | 2021-06-25 | 四川大学 | 一种房屋安全监测用倾斜角测量装置 |
CN113298793B (zh) * | 2021-06-03 | 2023-11-24 | 中国电子科技集团公司第十四研究所 | 一种基于多视角模板匹配的电路板表面缺陷检测的方法 |
CN116148265A (zh) * | 2023-02-14 | 2023-05-23 | 浙江迈沐智能科技有限公司 | 一种基于合成革高质量图像获取的瑕疵分析方法及系统 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61293657A (ja) * | 1985-06-21 | 1986-12-24 | Matsushita Electric Works Ltd | 半田付け外観検査方法 |
JPS62127617A (ja) * | 1985-11-29 | 1987-06-09 | Fujitsu Ltd | 線状物体検査装置 |
DE68925901T2 (de) * | 1988-05-09 | 1996-11-14 | Omron Tateisi Electronics Co | Substrat-prüfungsvorrichtung |
JPH061173B2 (ja) | 1988-05-09 | 1994-01-05 | オムロン株式会社 | 曲面性状検査装置 |
US5039868A (en) * | 1988-11-24 | 1991-08-13 | Omron Corporation | Method of and apparatus for inspecting printed circuit boards and the like |
JPH02231510A (ja) * | 1989-03-02 | 1990-09-13 | Omron Tateisi Electron Co | 基板検査装置 |
US5064291A (en) * | 1990-04-03 | 1991-11-12 | Hughes Aircraft Company | Method and apparatus for inspection of solder joints utilizing shape determination from shading |
JP3072998B2 (ja) * | 1990-04-18 | 2000-08-07 | 株式会社日立製作所 | はんだ付け状態検査方法及びその装置 |
DE69214225T2 (de) * | 1991-07-22 | 1997-03-06 | Omron Tateisi Electronics Co | Lehrmethode und System zur Kontrolle der angeschlossenen Bauteile |
KR100200215B1 (ko) * | 1996-04-08 | 1999-06-15 | 윤종용 | 상관 신경 회로망을 이용한 납땜 검사 장치 및방법 |
US6040895A (en) * | 1997-10-08 | 2000-03-21 | Siemens Aktiengesellschaft | Method and device for controlled illumination of an object for improving identification of an object feature in an image of the object |
-
2002
- 2002-12-16 JP JP2002364400A patent/JP3551188B2/ja not_active Expired - Fee Related
- 2002-12-27 EP EP02028989A patent/EP1333275B1/en not_active Expired - Fee Related
- 2002-12-27 DE DE60228542T patent/DE60228542D1/de not_active Expired - Lifetime
-
2003
- 2003-01-08 TW TW092100289A patent/TW583389B/zh not_active IP Right Cessation
- 2003-01-08 US US10/338,020 patent/US6947151B2/en not_active Expired - Fee Related
- 2003-01-09 CN CNB031034675A patent/CN1195978C/zh not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009142390A3 (ko) * | 2008-05-19 | 2010-01-21 | (주)펨트론 | 표면형상 측정장치 |
Also Published As
Publication number | Publication date |
---|---|
CN1431482A (zh) | 2003-07-23 |
US6947151B2 (en) | 2005-09-20 |
JP2003270173A (ja) | 2003-09-25 |
TW583389B (en) | 2004-04-11 |
EP1333275A3 (en) | 2004-04-07 |
EP1333275B1 (en) | 2008-08-27 |
EP1333275A2 (en) | 2003-08-06 |
DE60228542D1 (de) | 2008-10-09 |
US20030169418A1 (en) | 2003-09-11 |
TW200301817A (en) | 2003-07-16 |
CN1195978C (zh) | 2005-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3551188B2 (ja) | 表面状態検査方法および基板検査装置 | |
US7505149B2 (en) | Apparatus for surface inspection and method and apparatus for inspecting substrate | |
US7822261B2 (en) | Board inspecting apparatus, its parameter setting method and parameter setting apparatus | |
KR950000331B1 (ko) | 물체의 표면형상패턴 검사방법 및 장치 | |
US6879392B2 (en) | Method and apparatus for inspecting defects | |
JP2006220648A (ja) | 基板検査装置並びにその検査ロジック設定方法および検査ロジック設定装置 | |
JP4492356B2 (ja) | 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置 | |
JP2015143656A (ja) | 検査装置および検査方法 | |
JP3594026B2 (ja) | 曲面体の表面状態検査方法および基板検査装置 | |
JP2007226334A (ja) | カラー画像の処理方法およびカラー画像処理装置 | |
JP2009128303A (ja) | 基板外観検査装置 | |
JP2010014530A (ja) | 基板外観検査方法および基板外観検査装置 | |
JP4389801B2 (ja) | 基板検査装置 | |
JP3599023B2 (ja) | はんだ検査方法およびこの方法を用いた基板検査装置 | |
JP3622749B2 (ja) | 曲面性状検査方法およびこの方法を用いた基板検査装置 | |
JP4506395B2 (ja) | 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置 | |
JP2007033126A (ja) | 基板検査装置並びにそのパラメータ調整方法およびパラメータ調整装置 | |
JP4453503B2 (ja) | 基板検査装置および基板検査方法並びに基板検査装置の検査ロジック生成装置および検査ロジック生成方法 | |
JP2002250700A (ja) | パターン検査方法およびその装置 | |
JP4507785B2 (ja) | 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置 | |
JP2006078285A (ja) | 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置 | |
JP2005223006A (ja) | クリーム半田印刷検査方法 | |
JP4858227B2 (ja) | 検査パラメータ設定支援装置、その制御プログラムおよび制御方法 | |
JP4419778B2 (ja) | 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置 | |
JP2010032332A (ja) | 外観検査方法およびその装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040330 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040412 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |