JP4137212B2 - Height measuring method and height measuring apparatus - Google Patents

Height measuring method and height measuring apparatus Download PDF

Info

Publication number
JP4137212B2
JP4137212B2 JP04273098A JP4273098A JP4137212B2 JP 4137212 B2 JP4137212 B2 JP 4137212B2 JP 04273098 A JP04273098 A JP 04273098A JP 4273098 A JP4273098 A JP 4273098A JP 4137212 B2 JP4137212 B2 JP 4137212B2
Authority
JP
Japan
Prior art keywords
reference position
height
cream solder
light
printed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP04273098A
Other languages
Japanese (ja)
Other versions
JPH11241916A (en
Inventor
光正 岡林
純夫 後藤
勝 斉藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juki Corp
Original Assignee
Juki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juki Corp filed Critical Juki Corp
Priority to JP04273098A priority Critical patent/JP4137212B2/en
Publication of JPH11241916A publication Critical patent/JPH11241916A/en
Application granted granted Critical
Publication of JP4137212B2 publication Critical patent/JP4137212B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、高さ測定方法及び高さ測定装置、更に詳細には、表面実装システムに用いられるクリーム半田印刷機によって印刷されたクリーム半田など微細な高さを測定する高さ測定方法及び高さ測定装置に関する。
【0002】
【従来の技術】
従来から三次元形状を認識して高さを測定する装置として光切断法を用いた三次元認識装置が知られている。この光切断法による三次元認識装置を図14に示す。光源であるライン光発生器121からのライン光122が被測定物123の斜め上方から所定の角度で投光され、被測定物123の表面に形成された面形状に沿ってできた像が垂直上方よりCCDカメラ124で撮影される。CCDカメラ124で撮影した画像はCCDカメラ制御器125でA/D変換され、画像取込み器126で取込まれる。そして、その取込まれたデータは座標演算器127によって被測定物123の三次元座標に変換される。
【0003】
クリーム半田印刷機に組込んで使用するようなクリーム半田高さ測定装置においては、図14で点線で囲まれた部分(測定ユニット)128が、XY移動ガントリー(XY移動機構)に組み込まれて使用される。まずクリーム半田印刷機に印刷用の配線基板が搬入されると、配線基板とステンシルの位置決め完了後に、XY移動ガントリーによって、初期待避位置から目的とする測定位置まで測定ユニット128が移動される。そして、測定ユニットは被測定物である配線基板上のパッド面(レジスト面)に形成されるライン光の像を、CCDカメラ124によって撮像してから初期待避位置に再び移動待避する。次に配線基板のパッド面にクリーム半田が印刷される。配線基板のパッド面への印刷が完了した後に、再びXY移動ガントリーによって測定ユニット128が目的とする測定位置まで移動されて、クリーム半田の形状に沿ってできたライン光の像を、CCDカメラ124によって撮像してから、初期待避位置に再び移動待避する。
【0004】
以上の撮像データから、配線基板のパッド面の高さ方向の重心位置座標と、クリーム半田部の高さ方向の重心位置座標を計算する。そして、配線基板のパッド面の高さ方向の重心位置座標とクリーム半田部の高さ方向の重心位置座標の差し引きから、配線基板のパッド面を基準として、印刷後のクリーム半田部の高さを算出する。そして各パッド面にわたるクリーム半田部の平均高さを算出する。
【0005】
三次元形状を得るためには、光切断位置を変えた複数のデータが必要となる。例えば長さが2mmのパッドに印刷されたクリーム半田の三次元形状を得るために、50μmのピッチで光切断を行うとする。この場合は、クリーム半田の印刷前に、配線基板のパッド面に形成されるライン光の像をCCDカメラによって、光切断の位置を変えながら40回撮像する。さらに、クリーム半田の印刷後に、クリーム半田の形状に沿って形成されたライン光の像を、CCDカメラで光切断の位置を変えながら40回撮像する必要がある。従って、CCDカメラによる撮像回数の合計は80回となる。同じく、測定ユニットの微小移動回数の合計も80回となる。
【0006】
【発明が解決しようとする課題】
しかしながら、従来のクリーム半田印刷機に組込んで使用するようなクリーム半田の高さ測定装置においては、印刷前のライン光の像と印刷後のライン光の像をCCDカメラで撮像してクリーム半田の高さを算出しなければならない。このためにタクトタイムが長くなり、半導体の表面実装システム全体の性能を下げてしまうという問題点があった。
【0007】
さらに、光切断の位置を微小に変えるにもCCDカメラが搭載された重い測定ユニットを移動しなければならず、XY移動ガントリーに対しては、目的とする測定位置までのスキップ機能と、測定目的位置での微小移動という二つの機能を持たせねばならず、XY移動ガントリー駆動用のサーボ系が複雑になるという問題点があった。
【0008】
従って、本発明は、このような問題を解決するためになされたもので、タクトタイムを大幅に向上させて正確な高さを測定することが可能な高さ測定方法及び高さ測定装置を提供することをその課題とする。
【0009】
【課題を解決するための手段】
本発明は、この課題を解決するために、ライン光によって切断される基板に印刷されたクリーム半田を撮像して光切断法により基板上のクリーム半田の高さを測定する高さ測定方法において、クリーム半田が基板に印刷される前に、基板の第1基準位置とクリーム半田が印刷されようとする第2基準位置とにそれぞれレジスト面に適した露光量でライン光を投光して前記第1基準位置でのレジスト面と第2基準位置でのレジスト面の高さデータの差Δxを算出し、クリーム半田が印刷された後、前記第1基準位置にレジスト面に適した露光量でライン光を投光し、第2基準位置にクリーム半田に適した露光量でライン光を投光して第2基準位置でのクリーム半田の高さを前記第1基準位置でのレジスト面の高さを基準にして算出し、この算出した高さを前記高さデータの差Δxで補正して、前記第2基準位置からのクリーム半田の高さを求める構成を採用している。
【0012】
また、本発明では、ライン光によって切断される基板に印刷されたクリーム半田を撮像して光切断法により基板上のクリーム半田の高さを測定する高さ測定装置において、基板の第1基準位置とクリーム半田が印刷されようとする第2基準位置にそれぞれライン光を投光する投光装置と、それぞれライン光が投光された第1基準位置と第2基準位置の像を撮像する手段と、前記ライン光による第1基準位置と第2基準位置での画像を処理して第1基準位置と第2基準位置の高さを算出する手段とを有し、クリーム半田が基板に印刷される前に、前記第1基準位置と第2基準位置とにそれぞれレジスト面に適した露光量でライン光を投光して該第1基準位置でのレジスト面と第2基準位置でのレジスト面の高さデータの差Δxを算出し、クリーム半田が印刷された後、前記第1基準位置にレジスト面に適した露光量でライン光を投光し、第2基準位置にクリーム半田に適した露光量でライン光を投光して第2基準位置でのクリーム半田の高さを第1基準位置でのレジスト面の高さを基準にして算出し、この算出した高さを前記高さデータの差Δxで補正して、前記第2基準位置からのクリーム半田の高さを求める構成も採用している。
【0013】
【発明の実施の形態】
以下、図面に示す実施の形態に基づいて本発明を詳細に説明する。
【0014】
[基本構成]
図1は本発明の1実施形態を示した3次元測定装置の主要光学部品の基本構成図であり、図2はその側面図である。各図において、符号1で示すものは、レーザ光源としてのレーザダイオードで、このレーザダイオード1から発光されたレーザ光は、コリメートレンズ2で光学中心軸に平行な平行光束1aにされる。このレーザ平行光束1aは、フォーカスレンズ3と投光ミラー4とラインジェネレータレンズ5が組み込まれている投光ユニット7に入射する。レーザ光束は、投光ユニット7内のフォーカスレンズ3によりスポット光となるように絞り込まれ、投光ミラー4によって垂直軸(Z方向)に対して45度の角度に反射され、ラインジェネレータレンズ5によって幅14〜20μm、長さ10mmのライン光9となり、被測定物(クリーム半田ないしそれが印刷される配線基板)11上にX方向にライン光9を形成する。
【0015】
被測定物11からの散乱反射光は、光軸6aが垂直軸となるように配置された6.4mm×4.8mm視野のノンインターレース式CCDカメラ6により撮像される。また、この投光ユニット7は、リニアモータ8のシャフト8aに取り付けられており、リニアモータ8がY方向に約10mmのストロークで直線運動を行なうことにより、2重矢印で示したように、平行光束1aに平行に往復移動する。この投光ユニット7の移動によりライン光9はライン光の伸びるX方向と垂直方向に移動することになる。
【0016】
[回路構成(データ取得)]
図3は、3次元測定装置において被測定物の画像データを取得する回路構成を示したブロック図である。同図において、リニアモータ駆動指令器31は、CPU44からのスタート信号を受けて、リニアモータドライバ32にリニアモータ駆動用の指令パルス列を出力し、リニアモータ8を1パルス当たり0.25μm移動させる。リニアモータ駆動指令器31は、同時にLD(レーザダイオード)オン/CCDトリガタイミングデコーダ(以下タイミングデコーダという)35に正/逆方向信号を送り、リニアモータ8が正方向か逆方向のどちらに移動しているかを知らせる。
【0017】
リニアモータドライバ32は、指令パルス列を受けてリニアモータを駆動するとともに、リニアモータ8内蔵の位置エンコーダ8bからの実際位置を示す信号を受けてリニアモータ8への供給電圧を調整し、リニアモータの位置をフィードバック制御する。
【0018】
位置カウンタ34は、リニアモータ8の位置エンコーダ8bにより90度位相の異なるA相信号、B相信号を受け、リニアモータ8の位置を示す位置信号をデジタルデータで出力する。なお、位置カウンタ34のリセットは、位置エンコーダ8bの原点リセット信号により行なう。
【0019】
タイミングデコーダ35は、位置カウンタ34からの位置データを受けてLDオンのタイミング信号(160μmピッチ)を出力する。この信号の立ち上がりを受けて、ワンショットマルチバイブレータ(MS)46は、2ms幅のLDオンパルスをレーザダイオードドライバ36に出力し、レーザダイオード1をパルス点灯する。レーザダイオード1には、光量モニタフォトダイオード(不図示)が内蔵されており、これによりレーザダイオード1の光量が一定に制御される。
【0020】
なお、LDオンの最中にも、リニアモータ8が動いているために、移動方向によりライン光位置がずれるための補正と、正方向と逆方向で半ピッチ分(実施例では80μm)ズラすために、上述したようにリニアモータ駆動指令器31から正/逆方向信号が入力される。
【0021】
位置ラッチ37は、位置カウンタ34から出力される位置データをLDオンのタイミングの立ち上がりでラッチし、そのときのライン光のY方向の位置をMS46からのLDオンパルスの立ち下がりタイミングに同期してCPU44に伝えている。LDオン中にもライン光が移動して、実際のライン光位置とずれを生じるが、これについては、ライン光移動速度とLDオン時間と正/逆方向信号により、CPU44内で補正を行なっている。
【0022】
一方、同期信号タイミング発生器39は、タイミングデコーダ35からOR回路35’を介してCCDカメラ同期タイミング信号を受け、HD水平同期信号とタイミングを合わせたVD垂直同期信号を出力する。このVD垂直同期信号に関連して、前フレームの各画素の光量データ読み出しが開始される。同時に、各画素での光量蓄積が始まり、ライン光9による画像がCCDカメラ6のCCDエリアイメージセンサ38上に取得される。
【0023】
CCDエリアイメージセンサ38上の像は、同期信号タイミング発生器39からの垂直レジスタ転送クロック、水平レジスタ転送クロック等により、ドライバ33を介して各画素の光量値(アナログ値)として読み出される。これが、アンプ47を介して、A/D変換器48に入力され、デジタルデータとして、V−RAM画像メモリ40に入力される。
【0024】
水平アドレスカウンタ42は、同期信号タイミング発生器39からの水平同期信号の立ち下がりより所定の水平クロック数後にリセットされ、その後水平クロックをカウントすることにより有効画面内の現在の画素の水平方向の位置(水平アドレス)を出力する。この水平アドレス値は、マルチプレクサ41を介してV−RAM画像メモリ40の水平アドレスに入力される。
【0025】
一方、垂直アドレスカウンタ43は、同期信号タイミング発生器39からの垂直同期信号の立ち下がりより所定の水平同期信号のパルス数後にリセットされ、その後水平同期信号のパルスをカウントすることにより有効画面内の現在の画素の垂直方向の位置(垂直アドレス)を出力する。この垂直アドレス値は、マルチプレクサ45を介してV−RAM画像メモリ40の垂直アドレスに入力される。
【0026】
書込タイミング発生器49は、水平アドレスカウンタ42よりの有効水平走査区間信号と、垂直アドレスカウンタ43よりの有効垂直走査区間信号の間、水平クロックに同期してV−RAM画像メモリ40に書き込み信号を出力する。これによりV−RAM画像メモリ40は有効水平走査区間信号と有効垂直走査区間信号で定まる有効画面内の各画素データを格納する。
【0027】
水平/垂直アドレス発生器50は、水平アドレス信号をマルチプレクサ41に、垂直アドレス信号をマルチプレクサ45に、また読出し信号をV−RAM画像メモリ40に出力する。マルチプレクサ41、45はCPU44からの切替信号に応じて読み出し側に切り替えられ、読出し信号に同期して水平アドレス信号及び垂直アドレス信号で定まるアドレスのV−RAM画像メモリ40の画像データが順次読み出される。なお、この画像データの読み出しは、V−RAM画像メモリ40に画像データの書き込みが完了した後に行なわれる。これは、CPU44からの切替信号によりマルチプレクサ41、45が書き込みから読み出しモードに切り替えられることにより保証される。
【0028】
[回路構成(データ処理)]
図4には、VーRAM画像メモリ40に格納された画像データを処理するための回路構成が図示されており、VーRAM画像メモリ40を中心とした回路構成は、図3に図示したものと同じものが図示されている。
【0029】
切替信号によりマルチプレクサ41、45が読出しに切り替えられることにより読出し信号に同期してVーRAM画像メモリ40から読み出される画像データは、階調データフィルタ処理ブロック60に入力され、ノイズ分が除去される。階調データフィルタ処理ブロック60には、2つの1ラインバッファ61、62が設けられ、これにより3ライン分の画像データが同時に得られる。これらの3ライン分の画像データは演算回路63に入力され、画像データの平坦度Fが演算され、また演算回路64にも入力されて、階調の最大値MAXと階調の最小値MINの差ΔBが演算される。また、3ライン分の画像データは帯域除去フィルタ68にも入力され、帯域除去フィルタがかけられる。また1ラインバッファ61の出力は遅延回路69に入力され、演算処理時間分に相当する遅延がかけられる。なお、演算回路63、64及び帯域除去フィルタ68の処理はそれぞれ3×3の各画素ブロック単位で処理が行なわれる。
【0030】
演算回路65は画像データの平坦度Fの差ΔBに対する比を演算し、比較器66はその演算結果をしきい値66’と比較する。しきい値以下であればマルチプレクサ68は、帯域除去フィルタ68で帯域除去フィルタ処理された画像データを選択し、またしきい値以上であれば遅延回路69で各演算時間分に相当する遅延のかけられた画像データを選択して二値化処理ブロック70に出力する。
【0031】
二値化処理ブロック70では、階調データフィルタ処理ブロック60からの画像データに対して平均値演算回路71で1ライン毎に平均値x(上にバー付き)が演算され、また標準偏差演算回路72で1ライン毎に標準偏差ρが演算され、しきい値演算回路74でしきい値(x+1.5ρ)が演算される。比較器75は、このしきい値と1ラインバッファ73で保持していた1ライン分の画像データを比較し、画像データの二値化を行なう。
【0032】
二値化処理ブロック70から二値化された画像データは、二値化データフィルタ処理ブロック80のノイズ除去処理回路83と2つの1ラインバッファ81、82に入力される。ノイズ除去フィルタ処理回路83は、入力側の2つの1ラインバッファ81、82と直接の画像データから同時に3ライン分の画像データを受け、3×3の各画像ブロック毎に小突起、孤立データがあるかを調べ、あればそのデータを除去する処理を行なう。ノイズ除去処理回路83の出力は判定回路87と1ラインバッファ85に入力される。判定回路87は、1ラインの全てが0かを判定し、1ライン全てが0の場合はマルチプレクサ89でオア回路88の出力を、またそうでない場合は1ラインバッファ85の出力を選択し、それを1ラインバッファ86に入力する。1ラインバッファ85の画像データは、現在の画像データに、またノイズ除去処理回路83の出力と1ラインバッファ86の画像データはその前後の画像データに相当するので、1ライン全てが0の場合は、前後のラインの同じ水平位置のデータのオア処理により穴埋めされた画像データが出力される。
【0033】
二値化データフィルタ処理ブロック80からの二値化された画像データは、重心位置演算処理ブロック90に入力され重心位置が各ライン毎に演算される。重心位置演算処理ブロック90の立上り検出回路91は、二値化画像データが「0」から「1」に変化するのを検出して、そのときの水平アドレスカウンタ93の水平アドレス値をラッチ回路94にラッチする。また、立下り検出回路92は、二値化画像データが「1」から「0」に変化するのを検出して、そのときの水平アドレスカウンタ93の水平アドレス値をラッチ回路95にラッチする。重心位置演算回路96は、この立上り及び立下り時の水平アドレス値を平均して重心位置を演算し、その値を重心位置演算結果メモリ100に格納する。なお、水平アドレスカウンタ93は水平アドレス値を求めるために、V−RAM画像メモリからの読み出し用の水平クロックをカウントしている。また、水平アドレスカウンタ93のリセットは画像データ1ラインの切り替わり時期に行なわれる。
【0034】
[高さデータの測定]
次にこのような構成において、被測定物を配線基板に印刷されたクリーム半田に例をとり配線基板ないしクリーム半田の高さデータを求める処理を図5、図6の流れを参照して説明する。
【0035】
一般に、クリーム半田の高さを測定する場合、クリーム半田部の像の輝度に比べて、クリーム半田間のレジスト面の像の画像の輝度が極端に低く、レジスト面のライン光の像を認識できないためにクリーム半田の印刷基準を求めることができなくなるという問題がある。光強度を高めたり、露光時間を長くするとレジスト面の像は認識できるようになるが、今度はクリーム半田部の像がハレーションを起こして、重心計算を正確に処理できなくなってしまう。そこで、以下で説明するように2つの基準線を用いて高さ測定が行なわれる。
【0036】
まず、CPU44はリニアモータ駆動指令器31に位置指令信号とスタート信号を発生し、リニアモータ8を第1基準位置(配線基板のレジスト位置)に移動させる(ステップS11)。第1基準位置にくると、CPU44よりオア回路35’を介してCCDカメラ同期タイミングパルスを送出するとともに(ステップS12)、LDオン信号を発生してレーザダイオード1を例えば30ms点灯させる(ステップS13)。
【0037】
レーザダイオード1から発光されたレーザ光は、コリメートレンズ2で集光されて、光学中心軸に対して平行な平行光束1aとなり、フォーカスレンズ3によりスポット光となるように絞り込まれる。このレーザスポット光は、投光ミラー4によって入射角に対して45度の方向に反射され、ラインジェネレータレンズ5に入射する。このレンズ5によりレーザスポット光は、プリズム効果によって一方向(X方向)に引き伸ばされて、被測定物11上で幅14μm、長さ10mmのライン光9となる。このライン光は、視野6.4mm×4.8mmでノンインターレース式のCCDカメラ6によって撮像される。
【0038】
ステップS14でT1の時間待機した後、ステップS15でCCDカメラ同期タイミングパルスを送り、同期信号タイミング発生器39を駆動してCCDカメラ6のイメージセンサ38の画像データを書込タイミング発生器49の出力に同期してVーRAM画像メモリ40に読み込む(ステップS16)。このようにして、取得される画像データが第1基準線110として図7に図示されている。
【0039】
この画像データはステップS17において各画像処理を受ける。まず、CPU44の切替信号によりマルチプレクサ41、45が読み出しモードに切り替わり、水平/垂直アドレス発生器50からの読み出し信号に従って水平アドレス及び垂直アドレスに同期してVーRAM画像メモリ40から画像データが読み出される。
【0040】
読み出された画像データは階調データフィルタ処理ブロック60で階調データフィルタ処理が行なわれる。演算回路63は、各3×3の画素ブロックの中心の画素を注目画素として、その周りの階調の平坦度Fを演算する。この平坦度Fは、注目画素周囲の画素間差の絶対値の平均値として求められ、画素列をA、B、C・・・・、画素行を1、2、3・・・・として、例えば、注目画素をB2とすると、
【0041】
【数1】

Figure 0004137212
【0042】
を算出することにより平坦度Fが演算される。演算回路64は、各3×3の画素ブロックの画素の最大値と階調の最小値の差ΔBを求め、演算回路65はF/ΔBを演算する。比較器66はF/ΔBがしきい値66’より小さいときには、画像データが平坦でないので、マルチプレクサ67を切り替える。これにより帯域除去フィルタ回路68で注目画素に対して
【0043】
【数2】
Figure 0004137212
【0044】
の帯域除去フィルタ処理のかけられたデータが出力され、一方ΔB=0の時またはF/ΔBがしきい値より大きい時は遅延回路69からのデータが選択され、帯域除去フィルタ処理されないデータが出力される。
【0045】
このように階調データのフィルタ処理が行なわれた画像データは、二値化処理ブロック70で二値化処理される。そのために、演算回路71、72は各ラインの階調の平均値xと標準偏差ρを計算する。比較器75は、1ラインバッファ73の各画素毎にその画素の階調データがそのラインの階調の平均値x+ρ×1.5より大きい時は現在の画素の値を1に、以下の時は現在の画素の値を0にして二値化する。
【0046】
この各二値化された画像データは、二値化データフィルタ処理ブロック80に送られ、ノイズ除去処理回路83は各3×3画素ブロック毎に小突起データ並びに孤立データをノイズとして除去する。このノイズ除去は、図8に示したようなa〜fのフィルタ処理を行うことに対応している。3×3の中心の画素を注目画素として、図8のパターンが現れた時、その注目画素の値を0にする。f以外の5種類のフィルタは、90度づつ回転させて実行する。このようにノイズ処理された二値化画像データは、1ラインバッファ85、86に送られる。判定回路87は、1ラインの全ての画素が0の場合には、前後のラインを参照して穴埋めを行なう。例えば、第2ラインの画素が全て0であった場合、その前後のライン(第1と第3ライン)に1の画素がある場合には、その1の画素のあるところを1にする。
【0047】
このように処理された画像データは重心位置演算処理ブロック90に送られ、演算回路96で重心位置(平均値)が演算される。この重心位置は、図13に示すように、画素列A、B、C・・・に対して1、2、3・・・のような連番を付けることにより行なわれる。この例では1、2行目に関してはI列、J列の画素の値が1であり、I列の番号は9、J列の番号は10なので、1、2行目の重心値は9.5となる。また3、4、5行目に関してはI列、H列、G列の画素が1であり、各行の重心値は各列に付された番号と同じ値の9、8、7となる。以下同様にして各行の重心値を求める。
【0048】
このようにして縦軸を重心値、横軸をライン番号としてグラフを描くと図9(a)のようになる。この結果がステップS18で第1基準位置(レジスト位置)の高さデータとしてメモリ100に格納される。
【0049】
このように第1基準位置の高さデータが求められたので、次にこれからクリーム半田が印刷されようとする第2基準位置にライン光を投光して、その面の高さデータを測定する。そこで、ステップS21で、リニアモータ8は、制御信号に従って一定速度4.8mm/secでY方向に第2基準位置に直線移動され(2.72mm移動)、それに従ってリニアモータ8のシャフトに結合された投光ユニット7もY方向に平行光束1aに平行に直線運動する。投光ユニット7は、平行光線に向かって前後方向に移動するが、フォーカスレンズ3は常に平行光束1aを受光することになるので、フォーカスレンズ3の結像作用には影響を及ぼすことはない。
【0050】
次のステップS22〜S27は、ステップS12〜S17と同じであり、撮像された画像データが図7の111で示され、また演算された高さデータが図9(b)に図示されている。この結果は、ステップS28で第2基準位置の高さデータとしてメモリ100に格納される。次に、ステップS29で第1基準線と第2基準線での平均高さデータの差Δxが演算される。図9の例では、Δx=171μm−127μm=44μmとなる。
【0051】
以上で、配線基板上に2本のライン光を投光して、測定面の平行度が測定されたので、次に、配線基板にクリーム半田を印刷する。図6のステップS30でクリーム半田が印刷されていることが確認された場合には、ステップS31でリニアモータ8を第1基準位置(図7の110の位置)、すなわちレジスト位置に移動する。ステップS31からS38は、ステップS11〜S18と同様である。第1基準位置に投光されたライン光の像が図10で112で図示されている。
【0052】
続いて、ステップS41でリニアモータ8を2.72mm移動してクリーム半田が印刷された部分(第2基準位置)に移動させる。続くステップS42〜S47は、ステップS32〜S37と同様であるが、ステップS43でレーザダイオードは、クリーム半田に適した露光量(2ms間露光)点灯されるところが相違している。このライン光の像は、図10で113a、113bに示したような像になる。この場合、右側に突出した輝度の高い像がクリーム半田部113aであり、その間の輝度の低い直線部分が配線基板のレジスト面ないしパッド面113bである。
【0053】
ステップS47で演算される重心位置、すなわちクリーム半田の高さデータは図11に示したごとくになり、この高さデータがステップS48でメモリ100に格納される。この高さデータは第1の基準位置の高さが「0」として処理されている。しかし、実際には、上記「0」としたレジスト面の高さはクリーム半田の印刷されたレジスト面ではない。従って、両レジスト面の高さの差に相当するステップS29で求めた第1基準線と第2基準線での高さデータの差Δx(44μm)で両レジスト面の高さの差に応じてクリーム半田部の高さを補正する(ステップS49)。これが図12に図示されており、クリーム半田の平均高さが103μmとなっている。
【0054】
予め別の計測器にて測定したクリーム半田の平均高さが102μmであったので、上記方法によってクリーム半田部の高さが正確であることが確認できた。平行度の取得と、クリーム半田部の高さ取得時に、各ライン光の間隔を2.72mmと一致させたが、これは説明の便宜上であり、平行度は直線近似を行うことにより、投光の位置と間隔が既知であれば、任意の位置と間隔で投光し、計算することができる。
【0055】
このように、上記方法では、クリーム半田の印刷されるレジスト面と別のレジスト面を基準にクリーム半田の高さを測定するようにし、両レジスト面の高さに差がある場合には、それを補正してクリーム半田の高さを測定している。この場合、それぞれレジスト面並びにクリーム半田に適した露光量でライン光を投光することができ、鮮明なレジスト面並びにクリーム半田の光切断像が得られるので、精度のよいクリーム半田の高さ測定が可能になる。
【0056】
なお、上述した例では、レジスト面及びクリーム半田部は、ライン光の投光時間を変えてそれぞれに適した露光量で撮像されたが、ライン光の強さ、あるいはCCDカメラの撮像感度を変化させることによりそれぞれ適した露光量で撮像するようにしてもよい。
【0057】
[表計算ソフトを用いた高さデータの測定]
また、上述した実施形態では、VーRAM画像メモリ40の画像データは、図4に示す回路構成で画像処理されたが、VーRAM画像メモリ40の画像データを表計算ソフトに取り込んで行なうこともできる。VーRAM画像メモリ40の画像データは、横640画素×縦480画素のビットマップ画像であるので、これを各画素を256階調の階調データに変換した後、640列×480行のセルの表計算ソフトに取り込む。画素間の分解能は10μmであるので、表計算ソフトに読み込んだ場合は前記画素がセルに相当することから、セル間のピッチは10μmとなる。ただし、実際の表計算ソフトは最大列数が256列という機能上の制約が有るので、200列×480行の階調データを取り込んで処理を行う。
【0058】
まず、取込んだ階調データは3×3のセル毎に取り出されて、階調の平坦度を調べてフィルタ処理が行なわれる。3×3のセルの中心のセルを注目セルとし、その周りの階調の平坦度を計算する。注目セル周囲のセル間差の絶対値の平均値を求める。列をA、B、C・・・・、行を1、2、3・・・・として、例えば、注目セルをB2として、数1に従い平坦度Fを算出する(図4の演算回路63による演算に対応)。次に3×3のセルの中の階調の最大値と階調の最小値の差ΔBに対する比を求め(演算回路65に対応)、F/ΔBがしきい値より小さい時(比較器66に対応)に注目セルに対して、数2の帯域除去フィルタ(フィルタ回路68に対応)をかける。もしΔB=0の時またはF/ΔBがしきい値より大きい時は何もしない。次に注目セルをB3に移し以上の処理を実行し、B4、B5・・・・と処理をする。そして次の行に移行してC2、C3・・・のように順次処理を行う。
【0059】
以上のように階調データのフィルタ処理が終わると、次の二値化処理に移る。各行の階調の平均値と標準偏差を計算する(演算回路71、72に対応)。そして各セル毎にそのセルの階調データがその行の階調の平均値+1.5×標準偏差より大きい時(比較器75に対応)は現在のセルの値を1に書換え、以下の時は現在のセルの値を消去する。セルA1、B1、C1・・・に対しては1行目の平均値と標準偏差を用い、セルA2、B2、C2・・・に対しては2行目の平均値と標準偏差を用いる。各セルは1か空白の状態になる。
【0060】
このように各セルの値が二値化されたあと、小突起データ並びに孤立データはノイズと考えられるので、ノイズ除去のためにこれらのデータの消去処理を行う。すなわち、図8に示す様なa〜fのフィルタ処理を行う。3×3の中心のセルを注目セルとして、図8のパターンが現れた時、その注目セルの値を消去する。f以外の5種類のフィルタは、90度づつ回転させて実行する(ノイズ除去処理回路83に対応)。
【0061】
次は各行を参照して、全て空白の場合は上下の行の数値1のセルの配列を参照して、穴埋めを行う(判定回路87に対応)。次に、各行の数値1のセルに対して重心値を計算する。これは、図13に示すように、列A、B、C・・・に対しては、1、2、3・・・と連番を付けるとこの数値が重心の値となる(重心位置演算回路96に対応)。この例では1、2行目に関してはI列、J列のセルの値が1であり、I列の番号は9、J列の番号は10なので、1、2行目の重心値は9.5となる。また3、4、5行目に関してはI列、H列、G列のセルが1であり、各行の重心値は各列に付された番号と同じ値の9、8、7となる。以下同様にして各行の重心値を求める。
【0062】
このように、図4の各処理ブロック60、70、80、90をソフトウェアで処理することもできる。
【0064】
【発明の効果】
以上説明したように、本発明では、クリーム半田が基板に印刷される前に、基板の第1基準位置とクリーム半田が印刷されようとする第2基準位置とにそれぞれレジスト面に適した露光量でライン光を投光して前記第1基準位置でのレジスト面と第2基準位置でのレジスト面の高さデータの差Δxを算出し、クリーム半田が印刷された後、前記第1基準位置にレジスト面に適した露光量でライン光を投光し、第2基準位置にクリーム半田に適した露光量でライン光を投光して第2基準位置でのクリーム半田の高さを前記第1基準位置でのレジスト面の高さを基準にして算出し、この算出した高さを前記高さデータの差Δxで補正して、前記第2基準位置からのクリーム半田の高さを求めるようにしているので、基板が平行でない場合でもクリーム半田の正確な高さ測定が可能になる。
【0065】
また、第1基準位置でのレジスト面と、第2基準位置に印刷されたクリーム半田とは、ライン光の投光時間、ライン光の強さ、あるいは撮像感度を変化させることにより第1基準位置でのレジスト面と、第2基準位置に印刷されたクリーム半田にそれぞれ適した露光量で撮像されるので、鮮明な撮像が可能になり、高さデータの品質を向上させることができる。
【図面の簡単な説明】
【図1】本発明に用いられる高さ測定装置の構成を示す斜視図である。
【図2】図1の高さ測定装置の側面図である。
【図3】ライン光を投光して得られる像から画像データを取得する回路構成を示した回路図である。
【図4】取得された画像データを処理する回路構成を示した回路図である。
【図5】クリーム半田を印刷する前に2つのライン光を投光した場合に得られる画像の処理の流れを示したフローチャート図である。
【図6】クリーム半田を印刷した後に2つのライン光を投光した場合に得られる画像の処理の流れを示したフローチャート図である。
【図7】クリーム半田を印刷する前に2つのライン光を投光した場合に得られる画像を示した説明図である。
【図8】画像データのフィルタ処理に用いられるフィルタデータを示す説明図である。
【図9】クリーム半田を印刷する前に2つのライン光を投光した場合に得られる画像データから求めた平坦部の高さを示す線図である。
【図10】クリーム半田を印刷した後に2つのライン光を投光した場合に得られる画像を示した説明図である。
【図11】クリーム半田部分の画像データから求めたクリーム半田の高さを示す線図である。
【図12】補正したクリーム半田の高さデータを示す線図である。
【図13】画素あるいはセルの情報から重心値を求めるための例を示した説明図である。
【図14】従来の三次元測定装置の構成を示した斜視図である。
【符号の説明】
1 レーザ光源
5 ラインジェネレータ
6 CCDカメラ
9 ライン光[0001]
BACKGROUND OF THE INVENTION
The present invention measures height Method and Height measurement device, more specifically, height measurement to measure fine height such as cream solder printed by cream solder printing machine used in surface mount system Method and The present invention relates to a height measuring device.
[0002]
[Prior art]
Conventionally, a three-dimensional recognition device using a light cutting method is known as a device for recognizing a three-dimensional shape and measuring the height. FIG. 14 shows a three-dimensional recognition apparatus using this light cutting method. The line light 122 from the line light generator 121 that is a light source is projected at a predetermined angle from obliquely above the object to be measured 123, and an image formed along the surface shape formed on the surface of the object to be measured 123 is vertical. The image is taken by the CCD camera 124 from above. The image captured by the CCD camera 124 is A / D converted by the CCD camera controller 125 and captured by the image capturing device 126. Then, the acquired data is converted into the three-dimensional coordinates of the measurement object 123 by the coordinate calculator 127.
[0003]
In a cream solder height measuring apparatus that is used by being incorporated in a cream solder printer, a portion (measurement unit) 128 surrounded by a dotted line in FIG. 14 is incorporated in an XY moving gantry (XY moving mechanism). Is done. First, when a printed wiring board is carried into the cream solder printing machine, after the positioning of the wiring board and the stencil is completed, the measurement unit 128 is moved from the initial expected avoidance position to the target measurement position by the XY moving gantry. Then, the measurement unit captures an image of line light formed on the pad surface (resist surface) on the wiring board as the object to be measured by the CCD camera 124 and then moves back to the first expected avoidance position. Next, cream solder is printed on the pad surface of the wiring board. After the printing on the pad surface of the wiring board is completed, the measurement unit 128 is moved again to the target measurement position by the XY moving gantry, and the image of the line light formed along the shape of the cream solder is displayed on the CCD camera 124. After the image is taken, the movement is saved again at the first expected avoidance position.
[0004]
From the above imaging data, the center-of-gravity position coordinates in the height direction of the pad surface of the wiring board and the center-of-gravity position coordinates in the height direction of the cream solder portion are calculated. Then, from the subtraction of the center of gravity position coordinate in the height direction of the pad surface of the wiring board and the center of gravity position coordinate in the height direction of the cream solder part, the height of the cream solder part after printing is determined with reference to the pad surface of the wiring board. calculate. And the average height of the cream solder part over each pad surface is calculated.
[0005]
In order to obtain a three-dimensional shape, a plurality of data with different light cutting positions are required. For example, assume that light cutting is performed at a pitch of 50 μm in order to obtain a three-dimensional shape of cream solder printed on a pad having a length of 2 mm. In this case, before printing the cream solder, an image of line light formed on the pad surface of the wiring board is taken 40 times by the CCD camera while changing the position of light cutting. Furthermore, after the cream solder is printed, it is necessary to capture the image of the line light formed along the shape of the cream solder 40 times while changing the light cutting position with a CCD camera. Therefore, the total number of times of imaging by the CCD camera is 80 times. Similarly, the total number of micro movements of the measurement unit is 80 times.
[0006]
[Problems to be solved by the invention]
However, in a cream solder height measuring device that is used by being incorporated in a conventional cream solder printing machine, the image of the line light before printing and the image of the line light after printing are picked up by a CCD camera and the cream solder is used. The height of must be calculated. For this reason, there is a problem that the tact time becomes long and the performance of the entire semiconductor surface mounting system is lowered.
[0007]
Furthermore, in order to change the light cutting position minutely, the heavy measurement unit equipped with the CCD camera must be moved. For the XY moving gantry, the skip function to the target measurement position and the measurement purpose There is a problem that the servo system for driving the XY moving gantry is complicated because it must have two functions of minute movement at the position.
[0008]
Accordingly, the present invention has been made to solve such a problem, and the height measurement capable of measuring the accurate height by greatly improving the tact time. Method and It is an object of the present invention to provide a height measuring device.
[0009]
[Means for Solving the Problems]
In order to solve this problem, the present invention, in a height measurement method for measuring the height of the cream solder on the substrate by the light cutting method by imaging the cream solder printed on the substrate cut by the line light, Before the cream solder is printed on the substrate, the first reference position of the substrate and the second reference position where the cream solder is to be printed are respectively set. With exposure suitable for resist surface The first reference position by projecting line light Resist side at And second reference position Of resist surface at After the height data difference Δx is calculated and the cream solder is printed, it is placed at the first reference position. Line light is projected with an exposure amount suitable for the resist surface, Second reference position With exposure suitable for cream solder Line light is projected to set the height of the cream solder at the second reference position at the first reference position. Of resist surface A configuration is adopted in which the height is calculated based on the height, and the calculated height is corrected by the difference Δx in the height data to obtain the height of the cream solder from the second reference position.
[0012]
Further, according to the present invention, in the height measuring device for imaging the cream solder printed on the substrate cut by the line light and measuring the height of the cream solder on the substrate by the light cutting method, the first reference position of the substrate And a light projecting device that projects line light to the second reference position where the cream solder is about to be printed, and a means for capturing images of the first reference position and the second reference position where the line light is projected, respectively. And means for processing the images at the first reference position and the second reference position by the line light to calculate the heights of the first reference position and the second reference position, and the cream solder is printed on the substrate. Before, the first reference position and the second reference position respectively With exposure suitable for resist surface The first reference position by projecting line light Resist side at And second reference position Of resist surface at After the height data difference Δx is calculated and the cream solder is printed, it is placed at the first reference position. Line light is projected with an exposure amount suitable for the resist surface, Second reference position With exposure suitable for cream solder Line light is projected to set the height of the cream solder at the second reference position at the first reference position. Of resist surface A configuration is also adopted in which the height is calculated based on the height, and the calculated height is corrected by the difference Δx in the height data to obtain the height of the cream solder from the second reference position.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail based on embodiments shown in the drawings.
[0014]
[Basic configuration]
FIG. 1 is a basic configuration diagram of main optical components of a three-dimensional measuring apparatus showing an embodiment of the present invention, and FIG. 2 is a side view thereof. In each figure, reference numeral 1 denotes a laser diode as a laser light source. The laser light emitted from the laser diode 1 is collimated by a collimator lens 2 into a parallel light beam 1a parallel to the optical center axis. The laser parallel light beam 1a enters a light projecting unit 7 in which a focus lens 3, a light projecting mirror 4, and a line generator lens 5 are incorporated. The laser beam is narrowed down to become spot light by the focus lens 3 in the light projecting unit 7, reflected by the light projecting mirror 4 at an angle of 45 degrees with respect to the vertical axis (Z direction), and by the line generator lens 5. The line light 9 having a width of 14 to 20 μm and a length of 10 mm is formed, and the line light 9 is formed in the X direction on the object to be measured (cream solder or a wiring board on which it is printed) 11.
[0015]
Scattered and reflected light from the object to be measured 11 is imaged by a non-interlaced CCD camera 6 having a field of view of 6.4 mm × 4.8 mm arranged so that the optical axis 6a is a vertical axis. Further, the light projecting unit 7 is attached to the shaft 8a of the linear motor 8, and the linear motor 8 performs linear motion with a stroke of about 10 mm in the Y direction, as shown by double arrows. It reciprocates parallel to the light beam 1a. With this movement of the light projecting unit 7, the line light 9 moves in the direction perpendicular to the X direction in which the line light extends.
[0016]
[Circuit configuration (data acquisition)]
FIG. 3 is a block diagram showing a circuit configuration for acquiring image data of an object to be measured in the three-dimensional measuring apparatus. In the figure, a linear motor drive command device 31 receives a start signal from the CPU 44, outputs a command pulse train for driving the linear motor to the linear motor driver 32, and moves the linear motor 8 by 0.25 μm per pulse. The linear motor drive command unit 31 simultaneously sends a forward / reverse signal to an LD (laser diode) on / CCD trigger timing decoder (hereinafter referred to as timing decoder) 35, and the linear motor 8 moves in either the forward direction or the reverse direction. Let them know.
[0017]
The linear motor driver 32 receives the command pulse train to drive the linear motor, receives the signal indicating the actual position from the position encoder 8b built in the linear motor 8, adjusts the supply voltage to the linear motor 8, and The position is feedback controlled.
[0018]
The position counter 34 receives an A-phase signal and a B-phase signal having a phase difference of 90 degrees from the position encoder 8b of the linear motor 8, and outputs a position signal indicating the position of the linear motor 8 as digital data. The position counter 34 is reset by an origin reset signal from the position encoder 8b.
[0019]
The timing decoder 35 receives the position data from the position counter 34 and outputs an LD ON timing signal (160 μm pitch). In response to the rising edge of this signal, the one-shot multivibrator (MS) 46 outputs a 2 ms wide LD on pulse to the laser diode driver 36 and turns on the laser diode 1 in pulses. The laser diode 1 incorporates a light amount monitor photodiode (not shown), whereby the light amount of the laser diode 1 is controlled to be constant.
[0020]
Since the linear motor 8 is moving even while the LD is on, the correction is made to shift the line light position depending on the moving direction, and the half pitch (80 μm in the embodiment) is shifted in the reverse direction to the forward direction. Therefore, the forward / reverse direction signal is input from the linear motor drive command device 31 as described above.
[0021]
The position latch 37 latches the position data output from the position counter 34 at the rising edge of the LD on timing, and the position in the Y direction of the line light at that time is synchronized with the falling timing of the LD on pulse from the MS 46. To tell. Even when the LD is on, the line light moves and causes a deviation from the actual line light position. This is corrected in the CPU 44 by the line light moving speed, the LD on time, and the forward / reverse signal. Yes.
[0022]
On the other hand, the synchronization signal timing generator 39 receives the CCD camera synchronization timing signal from the timing decoder 35 via the OR circuit 35 ', and outputs a VD vertical synchronization signal that is synchronized with the HD horizontal synchronization signal. In association with the VD vertical synchronization signal, reading of the light amount data of each pixel in the previous frame is started. At the same time, accumulation of light quantity at each pixel starts, and an image by the line light 9 is acquired on the CCD area image sensor 38 of the CCD camera 6.
[0023]
The image on the CCD area image sensor 38 is read as a light amount value (analog value) of each pixel via the driver 33 by a vertical register transfer clock, a horizontal register transfer clock, etc. from the synchronization signal timing generator 39. This is input to the A / D converter 48 via the amplifier 47 and input to the V-RAM image memory 40 as digital data.
[0024]
The horizontal address counter 42 is reset after a predetermined number of horizontal clocks from the falling edge of the horizontal synchronizing signal from the synchronizing signal timing generator 39, and then the horizontal position of the current pixel in the effective screen is counted by counting the horizontal clocks thereafter. (Horizontal address) is output. The horizontal address value is input to the horizontal address of the V-RAM image memory 40 via the multiplexer 41.
[0025]
On the other hand, the vertical address counter 43 is reset after a predetermined number of horizontal synchronization signals from the falling edge of the vertical synchronization signal from the synchronization signal timing generator 39, and then counts the pulses of the horizontal synchronization signal, thereby counting the number of horizontal synchronization signals. The vertical position (vertical address) of the current pixel is output. This vertical address value is input to the vertical address of the V-RAM image memory 40 via the multiplexer 45.
[0026]
The write timing generator 49 writes a write signal to the V-RAM image memory 40 in synchronization with the horizontal clock between the effective horizontal scanning section signal from the horizontal address counter 42 and the effective vertical scanning section signal from the vertical address counter 43. Is output. Thus, the V-RAM image memory 40 stores each pixel data in the effective screen determined by the effective horizontal scanning section signal and the effective vertical scanning section signal.
[0027]
The horizontal / vertical address generator 50 outputs a horizontal address signal to the multiplexer 41, a vertical address signal to the multiplexer 45, and a read signal to the V-RAM image memory 40. The multiplexers 41 and 45 are switched to the reading side in response to the switching signal from the CPU 44, and the image data in the V-RAM image memory 40 having addresses determined by the horizontal address signal and the vertical address signal are sequentially read in synchronization with the reading signal. The reading of the image data is performed after the writing of the image data to the V-RAM image memory 40 is completed. This is ensured by switching the multiplexers 41 and 45 from the writing mode to the reading mode by the switching signal from the CPU 44.
[0028]
[Circuit configuration (data processing)]
4 shows a circuit configuration for processing the image data stored in the V-RAM image memory 40. The circuit configuration centered on the V-RAM image memory 40 is that shown in FIG. The same is shown.
[0029]
Image data read from the V-RAM image memory 40 in synchronization with the read signal when the multiplexers 41 and 45 are switched to read by the switching signal is input to the gradation data filter processing block 60 and noise is removed. . The gradation data filter processing block 60 is provided with two one-line buffers 61 and 62, whereby image data for three lines can be obtained simultaneously. The image data for these three lines is input to the arithmetic circuit 63, the flatness F of the image data is calculated, and also input to the arithmetic circuit 64, and the maximum gradation value MAX and the minimum gradation value MIN. The difference ΔB is calculated. The image data for three lines is also input to the band elimination filter 68, where the band elimination filter is applied. The output of the 1-line buffer 61 is input to the delay circuit 69, and a delay corresponding to the calculation processing time is applied. Note that the processing of the arithmetic circuits 63 and 64 and the band elimination filter 68 is performed in units of 3 × 3 pixel blocks.
[0030]
The arithmetic circuit 65 calculates a ratio of the flatness F of the image data to the difference ΔB, and the comparator 66 compares the calculation result with a threshold value 66 ′. If it is less than the threshold value, the multiplexer 68 selects the image data that has been subjected to the band removal filter processing by the band removal filter 68. The selected image data is selected and output to the binarization processing block 70.
[0031]
In the binarization processing block 70, the average value calculation circuit 71 calculates an average value x (with a bar above) for each line of the image data from the gradation data filter processing block 60, and a standard deviation calculation circuit. 72, the standard deviation ρ is calculated for each line, and the threshold value calculation circuit 74 calculates the threshold value (x + 1.5ρ). The comparator 75 compares this threshold value with the image data for one line held in the one line buffer 73, and binarizes the image data.
[0032]
The binarized image data from the binarization processing block 70 is input to the noise removal processing circuit 83 and the two one-line buffers 81 and 82 of the binarization data filter processing block 80. The noise removal filter processing circuit 83 receives three lines of image data simultaneously from the two one-line buffers 81 and 82 on the input side and the direct image data, and small protrusions and isolated data are generated for each 3 × 3 image block. If it exists, if it exists, the process which removes the data is performed. The output of the noise removal processing circuit 83 is input to the determination circuit 87 and the 1-line buffer 85. The determination circuit 87 determines whether all of one line is 0. If all the one lines are 0, the multiplexer 89 selects the output of the OR circuit 88, and otherwise, selects the output of the 1 line buffer 85. Is input to the 1-line buffer 86. The image data in the 1-line buffer 85 corresponds to the current image data, and the output from the noise removal processing circuit 83 and the image data in the 1-line buffer 86 correspond to the image data before and after that. The image data filled in by OR processing of the data at the same horizontal position of the preceding and following lines is output.
[0033]
The binarized image data from the binarized data filter processing block 80 is input to the centroid position calculation processing block 90, and the centroid position is calculated for each line. The rising edge detection circuit 91 of the center-of-gravity position calculation processing block 90 detects that the binarized image data changes from “0” to “1”, and the horizontal address value of the horizontal address counter 93 at that time is latch circuit 94. Latch on. The falling edge detection circuit 92 detects that the binarized image data changes from “1” to “0”, and latches the horizontal address value of the horizontal address counter 93 at that time in the latch circuit 95. The barycentric position calculation circuit 96 calculates the barycentric position by averaging the horizontal address values at the time of rising and falling, and stores the value in the barycentric position calculation result memory 100. The horizontal address counter 93 counts a horizontal clock for reading from the V-RAM image memory in order to obtain a horizontal address value. The horizontal address counter 93 is reset when the image data 1 line is switched.
[0034]
[Measurement of height data]
Next, the processing for obtaining the height data of the wiring board or cream solder will be described with reference to the flow of FIG. 5 and FIG. .
[0035]
Generally, when measuring the height of cream solder, the brightness of the image of the resist surface between the cream solder is extremely low compared to the brightness of the image of the cream solder, and the image of the line light on the resist surface cannot be recognized. Therefore, there is a problem that it is impossible to obtain the printing standard for cream solder. If the light intensity is increased or the exposure time is increased, the image on the resist surface can be recognized. However, this time, the image of the cream solder part causes halation, and the center of gravity calculation cannot be processed accurately. Therefore, height measurement is performed using two reference lines as described below.
[0036]
First, the CPU 44 generates a position command signal and a start signal in the linear motor drive command device 31, and moves the linear motor 8 to the first reference position (registration position of the wiring board) (step S11). When the first reference position is reached, a CCD camera synchronization timing pulse is sent from the CPU 44 via the OR circuit 35 '(step S12), and an LD ON signal is generated to turn on the laser diode 1 for 30 ms, for example (step S13). .
[0037]
The laser light emitted from the laser diode 1 is condensed by the collimator lens 2, becomes a parallel light beam 1 a parallel to the optical center axis, and is narrowed down to become spot light by the focus lens 3. The laser spot light is reflected by the light projecting mirror 4 in a direction of 45 degrees with respect to the incident angle, and enters the line generator lens 5. The laser spot light is stretched in one direction (X direction) by the lens 5 by the lens 5 and becomes line light 9 having a width of 14 μm and a length of 10 mm on the object to be measured 11. This line light is imaged by a non-interlaced CCD camera 6 with a visual field of 6.4 mm × 4.8 mm.
[0038]
After waiting for time T1 in step S14, a CCD camera synchronization timing pulse is sent in step S15, and the synchronization signal timing generator 39 is driven to output the image data of the image sensor 38 of the CCD camera 6 to the output of the write timing generator 49. In synchronism with this, it is read into the V-RAM image memory 40 (step S16). In this way, the acquired image data is shown in FIG. 7 as the first reference line 110.
[0039]
This image data is subjected to each image processing in step S17. First, the multiplexers 41 and 45 are switched to the read mode by the switching signal of the CPU 44, and the image data is read from the V-RAM image memory 40 in synchronization with the horizontal address and the vertical address according to the read signal from the horizontal / vertical address generator 50. .
[0040]
The read image data is subjected to gradation data filter processing in a gradation data filter processing block 60. The arithmetic circuit 63 calculates the flatness F of gradations around the pixel at the center of each 3 × 3 pixel block as the target pixel. The flatness F is obtained as an average value of absolute values of differences between pixels around the target pixel, and pixel columns are A, B, C,..., Pixel rows are 1, 2, 3,. For example, if the pixel of interest is B2,
[0041]
[Expression 1]
Figure 0004137212
[0042]
The flatness F is calculated by calculating. The arithmetic circuit 64 calculates a difference ΔB between the maximum pixel value and the minimum gradation value of each 3 × 3 pixel block, and the arithmetic circuit 65 calculates F / ΔB. When F / ΔB is smaller than the threshold value 66 ′, the comparator 66 switches the multiplexer 67 because the image data is not flat. As a result, the band elimination filter circuit 68 applies the pixel of interest
[0043]
[Expression 2]
Figure 0004137212
[0044]
On the other hand, when ΔB = 0 or when F / ΔB is larger than the threshold value, the data from the delay circuit 69 is selected, and the data not subjected to the band removal filter processing is output. Is done.
[0045]
The image data on which the gradation data has been filtered in this way is binarized by the binarization processing block 70. For this purpose, the arithmetic circuits 71 and 72 calculate the average value x and the standard deviation ρ of the gradation of each line. The comparator 75 sets the current pixel value to 1 when the gradation data of each pixel of the line buffer 73 is larger than the average value x + ρ × 1.5 of the gradation of the line, and when Will binarize the current pixel value to 0.
[0046]
Each of the binarized image data is sent to the binarized data filter processing block 80, and the noise removal processing circuit 83 removes the small protrusion data and the isolated data as noise for each 3 × 3 pixel block. This noise removal corresponds to performing the filter processes a to f as shown in FIG. With the 3 × 3 center pixel as the target pixel, when the pattern of FIG. 8 appears, the value of the target pixel is set to zero. The five types of filters other than f are rotated by 90 degrees and executed. The binarized image data subjected to noise processing in this way is sent to the 1-line buffers 85 and 86. When all the pixels in one line are 0, the determination circuit 87 performs hole filling with reference to the preceding and following lines. For example, if all the pixels in the second line are 0, and there is 1 pixel in the preceding and succeeding lines (first and third lines), the place where the 1 pixel exists is set to 1.
[0047]
The image data processed in this way is sent to the centroid position calculation processing block 90, and the centroid position (average value) is calculated by the calculation circuit 96. As shown in FIG. 13, the center of gravity is determined by assigning sequential numbers such as 1, 2, 3,... To the pixel columns A, B, C. In this example, for the first and second rows, the pixel values in the I and J columns are 1, the I column number is 9, and the J column number is 10. Therefore, the centroid values in the first and second rows are 9. 5 For the third, fourth, and fifth rows, the pixels in the I, H, and G columns are 1, and the center-of-gravity value of each row is 9, 8, and 7, which is the same value as the number assigned to each column. In the same manner, the center of gravity value of each row is obtained.
[0048]
When the graph is drawn with the vertical axis as the center of gravity and the horizontal axis as the line number in this way, the graph is as shown in FIG. This result is stored in the memory 100 as height data of the first reference position (registration position) in step S18.
[0049]
Since the height data of the first reference position is obtained in this way, the line light is projected to the second reference position where the cream solder is to be printed next, and the height data of the surface is measured. . Therefore, in step S21, the linear motor 8 is linearly moved to the second reference position in the Y direction (2.72 mm movement) at a constant speed of 4.8 mm / sec according to the control signal, and coupled to the shaft of the linear motor 8 accordingly. The light projecting unit 7 also moves linearly in the Y direction parallel to the parallel light beam 1a. The light projecting unit 7 moves in the front-rear direction toward the parallel light beam, but the focus lens 3 always receives the parallel light beam 1a, and thus does not affect the imaging function of the focus lens 3.
[0050]
The next steps S22 to S27 are the same as steps S12 to S17. The captured image data is indicated by 111 in FIG. 7, and the calculated height data is indicated in FIG. 9B. This result is stored in the memory 100 as the height data of the second reference position in step S28. Next, in step S29, a difference Δx between the average height data between the first reference line and the second reference line is calculated. In the example of FIG. 9, Δx = 171 μm-127 μm = 44 μm.
[0051]
As described above, two line lights are projected onto the wiring board and the parallelism of the measurement surface is measured. Next, cream solder is printed on the wiring board. If it is confirmed in step S30 in FIG. 6 that cream solder is printed, the linear motor 8 is moved to the first reference position (position 110 in FIG. 7), that is, the registration position in step S31. Steps S31 to S38 are the same as steps S11 to S18. An image of the line light projected at the first reference position is indicated by 112 in FIG.
[0052]
Subsequently, in step S41, the linear motor 8 is moved by 2.72 mm to move to the portion (second reference position) where the cream solder is printed. Subsequent steps S42 to S47 are the same as steps S32 to S37, except that the laser diode is turned on in step S43 with an exposure amount suitable for cream solder (exposure for 2 ms). The image of this line light becomes an image as shown by 113a and 113b in FIG. In this case, the high-luminance image protruding to the right is the cream solder portion 113a, and the low-brightness linear portion therebetween is the resist surface or pad surface 113b of the wiring board.
[0053]
The gravity center position calculated in step S47, that is, the height data of the cream solder is as shown in FIG. 11, and this height data is stored in the memory 100 in step S48. This height data is processed assuming that the height of the first reference position is “0”. However, actually, the height of the resist surface set to “0” is not the resist surface on which cream solder is printed. Accordingly, the difference Δx (44 μm) in height data between the first reference line and the second reference line obtained in step S29 corresponding to the difference in height between the two resist surfaces corresponds to the difference in height between the two resist surfaces. The height of the cream solder portion is corrected (step S49). This is illustrated in FIG. 12, where the average height of the cream solder is 103 μm.
[0054]
Since the average height of the cream solder measured with another measuring instrument in advance was 102 μm, it was confirmed that the cream solder portion had an accurate height by the above method. When acquiring the parallelism and acquiring the height of the cream solder portion, the interval between each line light was made equal to 2.72 mm. This is for convenience of explanation, and the parallelism is obtained by performing linear approximation. If the position and interval are known, light can be projected and calculated at an arbitrary position and interval.
[0055]
As described above, in the above method, the height of the cream solder is measured based on the resist surface on which the cream solder is printed and another resist surface. The height of the cream solder is measured with correction. In this case, line light can be projected at an exposure amount suitable for the resist surface and the cream solder, respectively, and a clear photo-cut image of the resist surface and the cream solder can be obtained. Is possible.
[0056]
In the example described above, the resist surface and the cream solder portion were imaged with different exposure amounts by changing the line light projection time, but the line light intensity or the CCD camera imaging sensitivity was changed. By doing so, you may make it image by the exposure amount suitable for each.
[0057]
[Measurement of height data using spreadsheet software]
In the above-described embodiment, the image data in the V-RAM image memory 40 is image-processed with the circuit configuration shown in FIG. 4, but the image data in the V-RAM image memory 40 is taken into the spreadsheet software. You can also. Since the image data in the V-RAM image memory 40 is a bitmap image of 640 pixels wide × 480 pixels high, after each pixel is converted into gradation data of 256 gradations, cells of 640 columns × 480 rows are obtained. Into the spreadsheet software. Since the resolution between the pixels is 10 μm, the pixel corresponds to the cell when read into the spreadsheet software, and the pitch between the cells is 10 μm. However, since the actual spreadsheet software has a functional restriction that the maximum number of columns is 256 columns, processing is performed by fetching gradation data of 200 columns × 480 rows.
[0058]
First, the acquired gradation data is extracted for each 3 × 3 cell, and the filter processing is performed by checking the flatness of the gradation. The center cell of the 3 × 3 cells is set as the target cell, and the flatness of the gradation around the cell is calculated. An average value of absolute values of differences between cells around the target cell is obtained. .., The rows are 1, 2, 3,..., For example, the target cell is B2, and the flatness F is calculated according to Equation 1 (by the arithmetic circuit 63 in FIG. 4). Corresponding to calculation). Next, a ratio to the difference ΔB between the maximum gradation value and the minimum gradation value in the 3 × 3 cell is obtained (corresponding to the arithmetic circuit 65), and when F / ΔB is smaller than the threshold value (comparator 66). 2), the band elimination filter (corresponding to the filter circuit 68) of Formula 2 is applied to the target cell. If ΔB = 0 or F / ΔB is larger than the threshold value, nothing is done. Next, the target cell is moved to B3, the above processing is executed, and B4, B5,... Are processed. Then, the process proceeds to the next line, and processing is sequentially performed as C2, C3.
[0059]
When the gradation data filtering process is completed as described above, the process proceeds to the next binarization process. The average value and standard deviation of the gradation of each row are calculated (corresponding to the arithmetic circuits 71 and 72). For each cell, when the gradation data of the cell is larger than the average value of the gradation of the row + 1.5 × standard deviation (corresponding to the comparator 75), the value of the current cell is rewritten to 1, and at the following times Erases the value of the current cell. The average value and standard deviation of the first row are used for the cells A1, B1, C1,..., And the average value and standard deviation of the second row are used for the cells A2, B2, C2,. Each cell is 1 or blank.
[0060]
After the values of the respective cells are binarized in this way, the small protrusion data and the isolated data are considered to be noise. Therefore, these data are erased to remove noise. That is, the filter processes a to f as shown in FIG. 8 are performed. With the 3 × 3 center cell as the target cell, when the pattern of FIG. 8 appears, the value of the target cell is erased. The five types of filters other than f are rotated by 90 degrees (corresponding to the noise removal processing circuit 83).
[0061]
Next, reference is made to each row, and if all are blank, reference is made to the array of cells of the numerical value 1 in the upper and lower rows to perform filling (corresponding to the determination circuit 87). Next, a centroid value is calculated for a cell of value 1 in each row. As shown in FIG. 13, for columns A, B, C..., This number becomes the value of the center of gravity when serial numbers 1, 2, 3,. Corresponding to circuit 96). In this example, for the first and second rows, the cell values in the I and J columns are 1, the I column number is 9, and the J column number is 10. Therefore, the centroid values in the first and second rows are 9. 5 For the third, fourth, and fifth rows, the cells in the I, H, and G columns are 1, and the center-of-gravity value of each row is 9, 8, and 7, which is the same value as the number assigned to each column. In the same manner, the center of gravity value of each row is obtained.
[0062]
Thus, each processing block 60, 70, 80, 90 of FIG. 4 can also be processed by software.
[0064]
【The invention's effect】
As described above, in the present invention, before the cream solder is printed on the substrate, the first reference position on the substrate and the second reference position on which the cream solder is to be printed are respectively set. With exposure suitable for resist surface The first reference position by projecting line light Resist side at And second reference position Of resist surface at After the height data difference Δx is calculated and the cream solder is printed, it is placed at the first reference position. Line light is projected with an exposure amount suitable for the resist surface, Second reference position With exposure suitable for cream solder Line light is projected to set the height of the cream solder at the second reference position at the first reference position. Of resist surface Since the height is calculated based on the height, and the calculated height is corrected by the difference Δx in the height data, the height of the cream solder from the second reference position is obtained. Even when it is not, accurate height measurement of cream solder becomes possible.
[0065]
The first reference position Resist side at And the solder solder printed at the second reference position is the first reference position by changing the projection time of the line light, the intensity of the line light, or the imaging sensitivity. Resist side at Since the image is picked up with an exposure amount suitable for each cream solder printed at the second reference position, clear image pick-up is possible, and the quality of the height data can be improved.
[Brief description of the drawings]
FIG. 1 is a perspective view showing a configuration of a height measuring device used in the present invention.
FIG. 2 is a side view of the height measuring device of FIG.
FIG. 3 is a circuit diagram showing a circuit configuration for acquiring image data from an image obtained by projecting line light.
FIG. 4 is a circuit diagram showing a circuit configuration for processing acquired image data.
FIG. 5 is a flowchart showing a flow of processing of an image obtained when two line lights are projected before cream solder is printed.
FIG. 6 is a flowchart showing a flow of processing of an image obtained when two line lights are projected after cream solder is printed.
FIG. 7 is an explanatory diagram showing an image obtained when two line lights are projected before the cream solder is printed.
FIG. 8 is an explanatory diagram showing filter data used for filter processing of image data.
FIG. 9 is a diagram showing the height of a flat portion obtained from image data obtained when two line lights are projected before cream solder is printed.
FIG. 10 is an explanatory view showing an image obtained when two line lights are projected after the cream solder is printed.
FIG. 11 is a diagram showing the height of the cream solder obtained from the image data of the cream solder portion.
FIG. 12 is a diagram showing corrected cream solder height data.
FIG. 13 is an explanatory diagram showing an example for obtaining a centroid value from pixel or cell information.
FIG. 14 is a perspective view showing a configuration of a conventional three-dimensional measuring apparatus.
[Explanation of symbols]
1 Laser light source
5 Line generator
6 CCD camera
9 line light

Claims (4)

ライン光によって切断される基板に印刷されたクリーム半田を撮像して光切断法により基板上のクリーム半田の高さを測定する高さ測定方法において、
クリーム半田が基板に印刷される前に、基板の第1基準位置とクリーム半田が印刷されようとする第2基準位置とにそれぞれレジスト面に適した露光量でライン光を投光して前記第1基準位置でのレジスト面と第2基準位置でのレジスト面の高さデータの差Δxを算出し、
クリーム半田が印刷された後、前記第1基準位置にレジスト面に適した露光量でライン光を投光し、第2基準位置にクリーム半田に適した露光量でライン光を投光して第2基準位置でのクリーム半田の高さを前記第1基準位置でのレジスト面の高さを基準にして算出し、この算出した高さを前記高さデータの差Δxで補正して、前記第2基準位置からのクリーム半田の高さを求めることを特徴とする高さ測定方法。
In the height measurement method of imaging the cream solder printed on the substrate cut by line light and measuring the height of the cream solder on the substrate by the light cutting method,
Before the cream solder is printed on the substrate , line light is projected to the first reference position of the substrate and the second reference position where the cream solder is to be printed at an exposure amount suitable for the resist surface, respectively. calculated resist surface at one reference position and the difference Δx of the resist surface height data in the second reference position,
After the cream solder is printed , the line light is projected onto the first reference position with the exposure amount suitable for the resist surface, and the line light is projected onto the second reference position with the exposure amount suitable for the cream solder . The height of the cream solder at the two reference positions is calculated with reference to the height of the resist surface at the first reference position, and the calculated height is corrected by the difference Δx of the height data. (2) A height measuring method characterized in that the height of cream solder from a reference position is obtained.
前記第1基準位置でのレジスト面と、第2基準位置に印刷されたクリーム半田とは、ライン光の投光時間、ライン光の強さ、あるいは撮像感度を変化させることにより第1基準位置でのレジスト面と、第2基準位置に印刷されたクリーム半田にそれぞれ適した露光量で撮像されることを特徴とする請求項1に記載の高さ測定方法。And the resist surface in the first reference position, and the solder cream is printed on the second reference position, the light projecting time of the line light, the intensity of the line light, or in the first reference position by changing the imaging sensitivity The height measurement method according to claim 1, wherein an image is captured with an exposure amount suitable for each of the resist surface and the cream solder printed at the second reference position. ライン光によって切断される基板に印刷されたクリーム半田を撮像して光切断法により基板上のクリーム半田の高さを測定する高さ測定装置において、
基板の第1基準位置とクリーム半田が印刷されようとする第2基準位置にそれぞれライン光を投光する投光装置と、
それぞれライン光が投光された第1基準位置と第2基準位置の像を撮像する手段と、
前記ライン光による第1基準位置と第2基準位置での画像を処理して第1基準位置と第2基準位置の高さを算出する手段とを有し、
クリーム半田が基板に印刷される前に、前記第1基準位置と第2基準位置とにそれぞれレジスト面に適した露光量でライン光を投光して該第1基準位置でのレジスト面と第2基準位置でのレジスト面の高さデータの差Δxを算出し、
クリーム半田が印刷された後、前記第1基準位置にレジスト面に適した露光量でライン光を投光し、第2基準位置にクリーム半田に適した露光量でライン光を投光して第2基準位置でのクリーム半田の高さを第1基準位置でのレジスト面の高さを基準にして算出し、この算出した高さを前記高さデータの差Δxで補正して、前記第2基準位置からのクリーム半田の高さを求めることを特徴とする高さ測定装置。
In a height measuring device that images cream solder printed on a substrate cut by line light and measures the height of the cream solder on the substrate by a light cutting method,
A light projecting device that projects line light to a first reference position of the substrate and a second reference position where the cream solder is to be printed;
Means for capturing images of a first reference position and a second reference position, respectively, to which line light is projected;
Means for processing the images at the first reference position and the second reference position by the line light to calculate the heights of the first reference position and the second reference position;
Before the cream solder is printed on the substrate, first the resist surface in the first reference position by projecting the line of light with an exposure amount suitable for each resist surface and the first reference position and the second reference position 2 Calculate the difference Δx in the height data of the resist surface at the reference position,
After the cream solder is printed , the line light is projected onto the first reference position with the exposure amount suitable for the resist surface, and the line light is projected onto the second reference position with the exposure amount suitable for the cream solder . The height of the cream solder at the two reference positions is calculated with reference to the height of the resist surface at the first reference position, and the calculated height is corrected by the difference Δx of the height data, so that the second A height measuring device characterized in that the height of cream solder from a reference position is obtained.
前記第1基準位置でのレジスト面と、第2基準位置に印刷されたクリーム半田とは、ライン光の投光時間、ライン光の強さ、あるいは撮像感度を変化させることにより第1基準位置でのレジスト面と、第2基準位置に印刷されたクリーム半田にそれぞれ適した露光量で撮像されることを特徴とする請求項3に記載の高さ測定装置。And the resist surface in the first reference position, and the solder cream is printed on the second reference position, the light projecting time of the line light, the intensity of the line light, or in the first reference position by changing the imaging sensitivity The height measurement apparatus according to claim 3, wherein an image is captured with an exposure amount suitable for each of the resist surface and the cream solder printed at the second reference position.
JP04273098A 1998-02-25 1998-02-25 Height measuring method and height measuring apparatus Expired - Fee Related JP4137212B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP04273098A JP4137212B2 (en) 1998-02-25 1998-02-25 Height measuring method and height measuring apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04273098A JP4137212B2 (en) 1998-02-25 1998-02-25 Height measuring method and height measuring apparatus

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007014488A Division JP2007101565A (en) 2007-01-25 2007-01-25 Height data processing method

Publications (2)

Publication Number Publication Date
JPH11241916A JPH11241916A (en) 1999-09-07
JP4137212B2 true JP4137212B2 (en) 2008-08-20

Family

ID=12644178

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04273098A Expired - Fee Related JP4137212B2 (en) 1998-02-25 1998-02-25 Height measuring method and height measuring apparatus

Country Status (1)

Country Link
JP (1) JP4137212B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8004795B2 (en) 2007-12-26 2011-08-23 Hitachi Global Storage Technologies Netherlands B.V. Magnetic head design having reduced susceptibility to electrostatic discharge from media surfaces

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4746841B2 (en) 2004-01-23 2011-08-10 ルネサスエレクトロニクス株式会社 Manufacturing method of semiconductor integrated circuit device
US7545512B2 (en) * 2006-01-26 2009-06-09 Koh Young Technology Inc. Method for automated measurement of three-dimensional shape of circuit boards
JP4995041B2 (en) * 2007-11-01 2012-08-08 アンリツ株式会社 Printed solder inspection method and printed solder inspection apparatus
JP5033587B2 (en) * 2007-11-05 2012-09-26 アンリツ株式会社 Printed solder inspection apparatus and printed solder inspection method
JP4892602B2 (en) * 2009-10-30 2012-03-07 ルネサスエレクトロニクス株式会社 Manufacturing method of semiconductor integrated circuit device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8004795B2 (en) 2007-12-26 2011-08-23 Hitachi Global Storage Technologies Netherlands B.V. Magnetic head design having reduced susceptibility to electrostatic discharge from media surfaces

Also Published As

Publication number Publication date
JPH11241916A (en) 1999-09-07

Similar Documents

Publication Publication Date Title
JP2711042B2 (en) Cream solder printing condition inspection device
JP4166587B2 (en) Appearance inspection apparatus and volume inspection method
JP4315536B2 (en) Electronic component mounting method and apparatus
JP2009511932A (en) Image measuring apparatus and method
JP4137212B2 (en) Height measuring method and height measuring apparatus
JP2002228425A (en) Real-time shape measuring method and device by ccd camera through use of dmd
JPH11183149A (en) Three-dimensional measurement apparatus
JP3922608B2 (en) Height measuring method and apparatus
JP4246319B2 (en) Illumination unevenness measuring method and measuring apparatus
JP2002022425A (en) Three-dimensional image input device
JP2007101565A (en) Height data processing method
JP3039704B2 (en) Printing evaluation method and printing evaluation device
JP4162132B2 (en) Scanning head and visual inspection apparatus using the same
JP4829055B2 (en) Minute height measuring method and minute height measuring apparatus
JP2003262509A (en) Inspection apparatus, measuring instrument, and method for measurement
JPH05107038A (en) Image sensing apparatus
JPH11224336A (en) Image detector
JP3072787B2 (en) Printing evaluation method and printing evaluation device
JP3119376B2 (en) Printing evaluation method and printing evaluation device
JPH1032743A (en) Image adding device
JP2701872B2 (en) Surface inspection system
JP3072788B2 (en) Printing evaluation method and printing evaluation device
JP3119375B2 (en) Printing evaluation method and printing evaluation device
JP4162131B2 (en) Scanning head and visual inspection apparatus using the same
JP3029142B2 (en) Printing evaluation method and printing evaluation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070605

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080507

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080604

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110613

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110613

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130613

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees