JP4671527B2 - Mounting component inspection method and inspection device - Google Patents

Mounting component inspection method and inspection device Download PDF

Info

Publication number
JP4671527B2
JP4671527B2 JP2001106549A JP2001106549A JP4671527B2 JP 4671527 B2 JP4671527 B2 JP 4671527B2 JP 2001106549 A JP2001106549 A JP 2001106549A JP 2001106549 A JP2001106549 A JP 2001106549A JP 4671527 B2 JP4671527 B2 JP 4671527B2
Authority
JP
Japan
Prior art keywords
component
mounting
information
input
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001106549A
Other languages
Japanese (ja)
Other versions
JP2002303590A (en
Inventor
大介 永井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2001106549A priority Critical patent/JP4671527B2/en
Publication of JP2002303590A publication Critical patent/JP2002303590A/en
Application granted granted Critical
Publication of JP4671527B2 publication Critical patent/JP4671527B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、電子機器に使用されるプリント基板の実装工程において、プリント基板上に実装して半田付けされた後の電子部品である実装部品を検査する方法および装置に関し、特にチップ部品などの実装部品の装着位置ズレおよびチップ部品の誤装着を外観で検査する半田付け後のチップ部品の検査方法および装置に関するものである。
【0002】
【従来の技術】
プリント基板上に実装された電子部品である実装部品の装着状態を非接触で検査する方法としては、特開平4−208803号公報に開示された検査装置がある。この検査装置においては、三角測量の原理を用いて、細く絞ったビーム光を実装済みプリント基板に照射し、その反射光を検出することで、計測点までの距離を計測し、前記ビーム光を計測対象となるプリント基板全面に走査させることで、実装済みプリント基板全面の高さ画像を取得するようになっている。
【0003】
そして、前記取得された高さ画像をもとに前記プリント基板上に実装された部品の外形を認識することで実装部品の位置およびサイズを計測し、予め教示されたプリント基板上に実装されるべき部品の装着位置および部品サイズに適合するかどうかを判定している。つまり、実装部品の装着位置にズレを生じている場合には、接続状態不良などのおそれがあるため不良判定を行い、実装部品のサイズが適合していない場合には、異なった部品が装着されているおそれがあるため不良判定を行って、これらの不具合を防止するように図られている。
【0004】
以下、図面を参照しながら、実装部品を認識するために実装部品の位置やサイズを計測する従来の方法について説明する。
図7の(a)および(b)は、プリント基板に実装されて半田付けされたチップ部品を示す断面図および平面図である。部品本体11の両側部に第一の電極12と第二の電極13とが設けられている実装部品としてのチップ部品10は、プリント基板18に形成された第一のランド16と第二のランド17とに跨るように実装される。そして、半田14によりチップ部品10の第一の電極12と第一のランド16とが接合され、半田15によりチップ部品10の第二の電極13と第二のランド17とが接合される。
【0005】
また、図7の(c)は、プリント基板18上のチップ部品10を撮像して得られた高さデータの断面プロファイルを概略的に示すもので、21は高さデータの断面プロファイル、22は2値化のための高さ閾値を表わす。この高さ閾値22としては、高さデータの断面プロファイル21に基づいて、電極12、13を含むチップ部品10の外形形状25を抽出することのできる適切な高さ閾値22が用いられる。そして、チップ部品10を上方から撮像して得られた濃淡画像を、前記高さ閾値22で2値化して図7の(d)に示すようなチップ部品10の外形形状25を得て、この外形形状25を示す2値化画像に基づいてチップ部品10の4つコーナー位置の認識もしくは、4辺の認識を行い、チップ部品10の位置やサイズを計測し、予め教示されたチップ部品10の装着位置や部品サイズに適合するかどうかを判定していた。
【0006】
【発明が解決しようとする課題】
しかしながら、クリーム半田印刷の量が多い場合、もしくは半田槽を通すフロー半田付けの場合には、図8の(a)、(b)に示すように、半田14、15がチップ部品11の電極12、13上まで吸い上げられ、電極12、13の外側の端面、あるいはチップ部品11の4つのコーナーが半田14、15により覆われてしまい、図8(c)に示すように、チップ部品10を計測して得られた高さデータを表す濃淡画像(高さデータの断面プロファイル)21を、高さ閾値22で2値化した際に、この2値化画像において、チップ部品10の外形線25が、半田部分も含めて2値化されて認識されるため、当該チップ部品10における正規の4つコーナー位置およびチップ部品10の外形を表わす4辺において、電極12、13側の端面の認識ができず、この結果、チップ部品10の正確な位置およびサイズの計測ができないという問題が生じていた。
【0007】
本発明は上記問題を解決するもので、実装部品における電極の外側の端面やコーナーが半田により覆われてしまった場合でも、実装部品の装着位置および部品サイズの良否を良好に判定することのできる実装部品の検査方法および検査装置を提供することを目的とするものである。
【0008】
【課題を解決するための手段】
上記問題を解決するために本発明の実装部品の検査方法および検査装置は、実装部品の実装状態を入力して得た画像に基づいて実装部品の前記複数の電極と部品本体との境界線をそれぞれ検出し、これらの境界線の情報と予め入力されている実装部品に関する電極の位置およびサイズなどの情報とに基づいて実装部品の装着位置およびサイズを算出することで実装部品の装着位置および部品サイズの良否を判定し、実装部品の装着位置を算出する工程で、境界線を検出工程において検出した複数の境界線位置と、予め入力されている実装部品の電極の情報を含む形状に関する情報とに基づいて、実装部品の外形を算出する部品外形算出処理を行うものである。
【0009】
本発明によれば、半田によりチップ部品などの実装部品の電極が覆われ、従来のように電極の部品外側位置の端面、あるいは実装部品のコーナーを認識することができない場合においても、半田に覆われる可能性の低い2箇所の電極と部品本体との境界線を検出することにより、正確に実装部品の装着位置およびサイズを決定できて正しい検査が行えるものである。
【0010】
【発明の実施形態】
本発明の請求項1に記載の実装部品の検査方法は、実装済みプリント基板表面部分、すなわち、実装部品の実装状態を入力して得た画像に基づいて実装部品の前記複数の電極と部品本体との境界線をそれぞれ検出し、これらの境界線の情報と予め教示などにより入力されている実装部品に関する電極の位置およびサイズなどの情報とに基づいて実装部品の装着位置を算出することで実装部品の装着位置の良否を判定し、実装部品の装着位置を算出する工程で、境界線を検出工程において検出した複数の境界線位置と、予め入力されている実装部品の電極の情報を含む形状に関する情報とに基づいて、実装部品の外形を算出する部品外形算出処理を行うことを特徴としたものであり、部品の半田付けの状態に関わらず正確にチップ部品などの実装部品の装着位置を認識し、正しい検査をし得るものである。また、例えば、境界線検出処理により検出された2つの電極と部品本体との境界線位置より、予め教示された電極サイズ分を加算することにより外形を推定し、前記推定した外形より実装部品の中点を求めて、実装中心位置とする。
【0011】
また、本発明の請求項2に記載の実装部品の検査方法は、装着位置を算出する工程で、境界線を検出する工程において検出した複数の境界線位置から実装部品の中心位置を算出する部品中心位置算出処理を行うもので、例えば、境界線検出処理により検出された2つの電極と部品本体との境界線位置の中点を、実装部品における電極に沿う方向の中心位置とする。
【0014】
(実施の形態1)
図1は本発明の実施の形態に係る実装部品の検査装置の斜視図であり、この検査装置により、実装済みプリント基板表面部分の高さおよび、基板表面からの反射光量を計測する動作を行うものであり、図1はこの原理を説明している。なお、従来のものと同様のものには同符号を付す。
【0015】
図1に示すように、検査装置は、被検体である実装済みプリント基板2のチップ部品(実装部品)10にレーザ光Lを真上から照射するレーザーユニット1と、プリント基板2のチップ部品10で反射された光を受ける4つの位置敏感検出器(PSD:Position Sensitive Detector)4A,4B,4C,4Dとを備えており、三角測量の原理に基づいて被検体であるプリント基板2の表面形状データを計測する。また、記憶機能や演算機能を有して、後述する処理を行う制御手段(図示せず)なども備えられている。位置敏感検出器4A〜4Dは、レーザ光Lを受光した位置に応じて2つのアナログ信号を出力するセンサとして機能する。
【0016】
三角測量の原理から、レーザ光Lの照射源座標(X,Y,Z)、被検体上の照射位置座標(X,Y)、各位置敏感検出器4A〜4Dにおけるレーザ光受光座標(Xa,Ya,Za)、(Xb,Yb,Zb)、(Xc,Yc,Zc)、(Xd,Yd,Zd)により、被検体上の照射位置における高さ座標が算出される。
【0017】
位置敏感検出器4A〜4Dから出力されたアナログ信号を下記の式(1)に基づいて変換処理することにより被検体の高さデータが算出される。下記式(1)と式(2)において、H(x,y)は照射位置であるサンプリング座標点(x,y)において計測した高さの値を示しており、B(x,y)はサンプリング座標点(x,y)において計測した輝度値(反射強度)である。また、Ia(x,y)とIb(x,y)はサンプリング座標点(x,y)において計測した各位置敏感検出器4A〜4Dからの信号値である。各位置敏感検出器4A〜4Dの出力信号である2つの信号値Ia(x,y)とIb(x,y)とを加算することにより、そのサンプリング座標点(x,y)における輝度値(B(x,y))が表される。
H(x,y)=Ia(x,y)/(Ia(x,y)+Ib(x,y))・・式1
B(x,y)=Ia(x,y)+Ib(x,y)・・式2
被検体の2次元領域における表面形状データ(高さデータ)の計測は、サンプリング座標点を固定したまま被検体をX,Y平面内で平行移動させて繰り返し行うか、あるいは被検体を固定した状態でサンプリング座標点を並行移動させて繰り返し行う。
【0018】
なお、上記以外の装置を用いて表面形状データを計測する方法としては、例えばスリット光の変化により高さデータを計測する光切断法や、2つ以上の視差画像から高さデータを計測するステレオ法等があり、またX線CT装置(x-ray Computed Tomography System)やMRI装置(Magnetic Resonance Imaging System)等によって計測した3次元データから表面形状データを取得することも可能である。
【0019】
これらの方法により、被検体であるプリント基板2に実装部品としてのチップ部品10が実装された状態が濃淡画像として取得できるるとともに、チップ部品10が実装されたプリント基板2の高さを認識できる画像を得ることができる。
【0020】
次に、上記検査装置において撮像した高さ画像と輝度画像とを用いてチップ部品位置の検査およびチップ部品サイズの検査を実施する。図2はこの検査処理を示すフローチャートである。
【0021】
まず、ステップST10において、前記検査装置で、部品実装済みのプリント基板2全面の高さデータおよび輝度データを計測する。
そして、ステップST20において、前記高さデータを用いて、被検体における平面視して短い長さの辺に沿う方向(短手方向と称す)の部品エッジ検出処理を実行する。図3により、エッジ検出処理を実行するウインドウ31、32、333、34を示す。前記エッジ検出ウインドウ31〜34を、予め教示されたプリント基板2およびチップ部品10の装着位置の情報に基づいて、半田付け状態によるエッジ検出精度の影響の受けないと想定される箇所に設定し、前記ウインドウ31〜34内の高さデータの変化点を検出して、エッジ点とする。ウインドウ31、32で検出された2つのエッジ点のデータから、半田が付かない側(短手方向)における一方の辺の位置が求まり、ウインドウ33、34で検出された2つのエッジ点のデータから、半田が付かない側(短手方向)における他方の辺の位置が求まる。また、ウインドウ31、33で検出された2つのエッジ点の中点と、ウインドウ32、34で検出された2つのエッジ点の中点とを結ぶ直線が、半田が付く方向(長手方向)の中心線Aとなり、この中心線Aの側方から見た直線部分と水平線とのなす角度が部品の装着回転角度(装着傾斜角度)となる。
【0022】
次に、ステップST30において、前記高さデータおよび輝度データを用いて、電極12、13と部品本体11との境界線位置を検出し、この境界線位置に基づいて、長手方向(半田により部品エッジが覆われる方向)の部品エッジを検出する。なお、長手方向の部品エッジ検出処理については後述する。
【0023】
次に、ステップST40において、ステップST20、ST30で検出されたエッジ座標よりチップ部品10の位置およびサイズの算出処理を実行する。
最後に、ステップST50において、チップ部品10の装着位置については、ステップST40で算出されたチップ部品10の装着位置と、予め教示されたチップ部品10の適正装着位置とのズレ量が、予め教示されたズレ許容値以下であるかどうかを比較し、前記ズレ量が前記ズレ許容値以下であれば良品、前記ズレ量が前記ズレ許容値より大きければ不良と判断する。
【0024】
部品サイズについては、ステップST40で算出したチップ部品10のサイズと、予め教示されたチップ部品10のサイズとの差が、予め教示されたサイズ許容値以下であるかどうかを比較し、前記サイズの差が前記サイズ許容値以下であれば良品、前記サイズの差が前記サイズ許容値よりも大きければ不良と判断する。
【0025】
ここで、上記ステップST30の長手方向の部品エッジ検出処理についてさらに詳しく説明する。図4は、長手方向の部品エッジ検出処理ステップST30を示すフローチャートである。
【0026】
まず、ステップST31において、処理対象領域を決定する。図5は、長手方向の部品エッジ検出処理を実行するための処理対象領域を示した図である。予めティーチングされたチップ部品10の装着位置に関する情報と、チップ部品10の形状に関する情報である部品中心位置座標41と、電極12、13の部品中心位置からの相対座標および部品ズレ許容範囲42とにより、一つのチップ部品10に対して第一の処理対象領域43と第二の処理対象領域44との二つの処理領域を決定する。
【0027】
そして、ステップST32において、前述したステップST31で決定した第一の処理対象領域43の高さ画像を読込む。また、ステップST33において、前記高さ画像を、部品形状を抽出することのできるチップ部品10の高さよりやや低めの高さ閾値で2値化し、マスク領域を0、非マスク領域を1としたマスク画像を生成する。
【0028】
次に、ステップST34において、前述したステップST31で決定した第一の処理対象領域43の輝度画像を読込む。そして、ステップST35において、前記読み込んだ輝度画像とステップST34で抽出したマスク処理領域との画像間演算を行い、電極12、13と部品本体11との境界線位置検出処理領域の絞込みを行う。
【0029】
さらに、ステップST36において、ステップST35により得られたマスク処理を施された輝度画像に対し、例えば図6に示す微分オペレータを施す。そして、微分処理された処理画像においてある値以上の値を示す座標の最小二乗近似直線を求めることにより電極12と部品本体11との境界線を検出する電極本体境界線検出処理を実行する。
【0030】
なお、本実施の形態では、輝度画像が、反射光量の高い電極12の部分で高く、反射光量の低い部品本体11の部分で低く計測される特徴に対応させて、微分処理により電極12と部品本体11との境界線位置を検出したが、ステップST35により得られたマスク処理を施された輝度画像において、電極12のみを抽出できる閾値により2値化した画像に対して輪郭線を抽出して、電極12と部品本体11との境界線を検出することも可能である。
【0031】
また、ステップST37において、ステップST31で決定された第二の処理対象領域44について、処理を実行済みかどうかの判断を実行する。そして、未実行の場合、第二の処理対象領域44に対し、ステップST32からステップST36までの処理を実行し、ステップST31で決定された第一の処理対象領域43および第二の処理対象領域44のそれぞれの処理領域に対し、二つの電極12、13と部品本体11との境界線を検出する。
【0032】
そして、ステップST38において、ステップST37で検出した2つの電極12、13と部品本体11との境界線位置と、予め教示された電極12、13の幅とにより、チップ部品10の外形エッジ座標を算出する。
【0033】
これにより、チップ部品10の外形エッジ座標を算出して、上述したように、ステップST40で、エッジ座標よりチップ部品10の装着位置およびサイズの算出処理を実行することで、半田14、15によりチップ部品10の電極12、13が覆われている場合でも、正確にチップ部品10の装着位置およびサイズを決定でき、チップ部品10の装着位置やサイズに関して正しい検査が行える。
【0034】
なお、上記実施の形態においては、部品本体11の両側部の2箇所に電極12、13がある場合を述べたが、これに限るものではなく、部品本体の4隅箇所など、部品本体11の複数の端部箇所に電極がある場合にも上記検査方法を適用可能である。
【0035】
【発明の効果】
以上のように、本発明によれば、半田により実装部品の電極が覆われ、従来のように電極の部品外側の端面、あるいは実装部品のコーナーを認識することができない場合においても、半田に覆われる可能性の低い複数箇所の電極と部品本体との境界線を検出することにより、正確にチップ部品などの実装部品の装着位置およびサイズを決定できて正しい検査が行え、これにより検査の信頼性が向上する。
【図面の簡単な説明】
【図1】本発明の実施の形態にかかる検査装置の概略的な斜視図である。
【図2】本発明の実施の形態にかかる検査方法を示すフローチャートである。
【図3】同検査方法における短手方向の部品エッジ検出処理を示す図である。
【図4】同検査方法における長手方向の部品エッジ検出処理を示すフローチャートである。
【図5】同検査方法における処理対象領域を示す図である。
【図6】同検査方法における輝度画像の微分処理のマスクパターンを示す図である。
【図7】(a)はプリント基板に実装されて半田付けされたチップ部品の断面図である。
(b)は半田付けされたチップ部品を上面から見た図である。
(c)は同チップ部品の高さデータの断面プロファイルを示した図である。
(d)は従来の検査方法によりチップ部品を2値化した画像を示す図である。
【図8】従来の検査方法の課題を示すもので、(a)はチップ部品の断面図、(b)は半田付けされたチップ部品を上面から見た平面図、(c)は同チップ部品の高さデータの断面プロファイル、(d)は同チップ部品を2値化した画像を示す図である。
【符号の説明】
1 レーザーユニット
2 プリント基板
4A〜4D 位置敏感検出器
10 チップ部品(実装部品)
11 部品本体
12、13 電極
14、15 半田
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method and apparatus for inspecting a mounting component, which is an electronic component after being mounted on a printed circuit board and soldered, in a mounting process of a printed circuit board used in an electronic device, and in particular, mounting of a chip component or the like The present invention relates to a method and an apparatus for inspecting a chip component after soldering to inspect the mounting position shift of the component and the erroneous mounting of the chip component by appearance.
[0002]
[Prior art]
As a method for inspecting the mounting state of a mounted component, which is an electronic component mounted on a printed circuit board, in a non-contact manner, there is an inspection device disclosed in Japanese Patent Laid-Open No. 4-208803. In this inspection apparatus, using the principle of triangulation, the mounted printed circuit board is irradiated with a narrowly focused beam light, and the reflected light is detected to measure the distance to the measurement point, and the beam light is By scanning the entire surface of the printed circuit board to be measured, a height image of the entire surface of the mounted printed circuit board is acquired.
[0003]
Then, the position and size of the mounted component are measured by recognizing the external shape of the component mounted on the printed circuit board based on the acquired height image, and mounted on the printed circuit board taught in advance. It is determined whether or not it matches the mounting position and the component size of the component to be. In other words, if there is a deviation in the mounting position of the mounted component, there is a risk of a connection state failure, etc., so a failure determination is made, and if the size of the mounted component does not fit, a different component is mounted. In order to prevent these problems, a failure determination is performed.
[0004]
Hereinafter, a conventional method for measuring the position and size of a mounted component in order to recognize the mounted component will be described with reference to the drawings.
7A and 7B are a cross-sectional view and a plan view showing a chip component mounted on a printed circuit board and soldered. The chip component 10 as a mounting component in which the first electrode 12 and the second electrode 13 are provided on both sides of the component main body 11 includes a first land 16 and a second land formed on the printed circuit board 18. It is mounted so as to straddle 17. Then, the first electrode 12 and the first land 16 of the chip component 10 are joined by the solder 14, and the second electrode 13 and the second land 17 of the chip component 10 are joined by the solder 15.
[0005]
FIG. 7C schematically shows a cross-sectional profile of height data obtained by imaging the chip component 10 on the printed board 18, 21 is a cross-sectional profile of height data, and 22 is This represents the height threshold for binarization. As the height threshold 22, an appropriate height threshold 22 that can extract the outer shape 25 of the chip component 10 including the electrodes 12 and 13 based on the cross-sectional profile 21 of the height data is used. Then, the grayscale image obtained by imaging the chip component 10 from above is binarized by the height threshold 22 to obtain the outer shape 25 of the chip component 10 as shown in FIG. Based on the binarized image showing the outer shape 25, the four corner positions or the four sides of the chip component 10 are recognized, the position and size of the chip component 10 are measured, and the chip component 10 taught in advance is measured. It was determined whether it fits the mounting position and part size.
[0006]
[Problems to be solved by the invention]
However, when the amount of cream solder printing is large, or in the case of flow soldering through a solder bath, the solders 14 and 15 are the electrodes 12 of the chip component 11 as shown in FIGS. 13, the outer end surfaces of the electrodes 12, 13 or the four corners of the chip component 11 are covered with the solders 14, 15, and the chip component 10 is measured as shown in FIG. When the grayscale image (height data cross-sectional profile) 21 representing the height data obtained by binarization is binarized with the height threshold value 22, the outline 25 of the chip component 10 is displayed in the binarized image. Since the binarization including the solder portion is recognized, the end faces on the electrodes 12 and 13 side are recognized at the four regular corner positions of the chip component 10 and the four sides representing the outer shape of the chip component 10. Can not, as a result, a problem that can not be exact position and size of the measurement of the chip component 10 has occurred.
[0007]
The present invention solves the above-mentioned problem, and even when the end face or corner of the outer side of the electrode in the mounting component is covered with solder, the mounting position of the mounting component and the quality of the component size can be determined satisfactorily. It is an object of the present invention to provide a mounting component inspection method and inspection apparatus.
[0008]
[Means for Solving the Problems]
In order to solve the above problems, a mounting component inspection method and inspection apparatus according to the present invention provides a boundary line between the plurality of electrodes of a mounting component and a component body based on an image obtained by inputting a mounting state of the mounting component. The mounting position and component of the mounting component are calculated by detecting the respective boundary lines and calculating the mounting position and size of the mounting component on the basis of information about the position and size of the electrode relating to the mounting component that is input in advance. In the step of determining the quality of the size and calculating the mounting position of the mounting component, a plurality of boundary line positions detected in the detection step of the boundary line, and information on the shape including information of electrodes of the mounting component input in advance Based on the above, a component outer shape calculation process for calculating the outer shape of the mounted component is performed .
[0009]
According to the present invention, an electrode of a mounting component such as a chip component is covered with solder, and even when the end surface of the electrode outside the component or the corner of the mounting component cannot be recognized as in the prior art, the solder is covered. By detecting the boundary line between the two electrodes and the component main body, which are unlikely to be detected, the mounting position and size of the mounted component can be accurately determined and a correct inspection can be performed.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
According to a first aspect of the present invention, there is provided a method for inspecting a mounted component, wherein the plurality of electrodes and the component main body of the mounted component based on an image obtained by inputting a mounted printed circuit board surface portion, that is, a mounted state of the mounted component Mounting is performed by calculating the mounting position of the mounting component based on the information on the boundary line and the information on the position and size of the electrode regarding the mounting component that has been input in advance by teaching. A shape that includes information on a plurality of boundary line positions that are detected in the detection step of the boundary line in the process of determining whether the mounting position of the component is good and calculating the mounting position of the mounted part, and information on the electrodes of the mounted parts that are input in advance based on the information about, which to make the part contour calculation processing of calculating the outline of the mounting parts and features, the actual such precise chip components regardless of the state of soldering of components Recognizing the mounting position of the component, it is capable of proper inspection. In addition, for example, the outer shape is estimated by adding the electrode size taught in advance from the boundary line position between the two electrodes detected by the boundary line detection process and the component body, and the mounted component is determined from the estimated outer shape. Find the midpoint and use it as the mounting center position.
[0011]
In the mounting component inspection method according to claim 2 of the present invention, in the step of calculating the mounting position, the component that calculates the center position of the mounting component from the plurality of boundary line positions detected in the step of detecting the boundary line The center position calculation process is performed. For example, the midpoint of the boundary line position between the two electrodes and the component main body detected by the boundary line detection process is set as the center position in the direction along the electrode in the mounted component.
[0014]
(Embodiment 1)
FIG. 1 is a perspective view of a mounting component inspection apparatus according to an embodiment of the present invention. With this inspection apparatus, an operation for measuring the height of a printed circuit board surface portion and the amount of reflected light from the substrate surface is performed. FIG. 1 illustrates this principle. In addition, the same code | symbol is attached | subjected to the thing similar to a conventional one.
[0015]
As shown in FIG. 1, the inspection apparatus includes a laser unit 1 that irradiates a chip component (mounting component) 10 of a mounted printed board 2 that is a subject from above, and a chip component 10 of the printed board 2. Four position sensitive detectors (PSD) 4A, 4B, 4C, and 4D that receive the light reflected by the light source, and the surface shape of the printed circuit board 2 that is the subject based on the principle of triangulation Measure the data. In addition, a control means (not shown) having a storage function and an arithmetic function and performing processing to be described later is also provided. The position sensitive detectors 4A to 4D function as sensors that output two analog signals according to the position where the laser beam L is received.
[0016]
From the principle of triangulation, the irradiation source coordinates (X, Y, Z) of the laser beam L, the irradiation position coordinates (X, Y) on the subject, and the laser beam receiving coordinates (Xa, Y) in the position sensitive detectors 4A to 4D. The height coordinate at the irradiation position on the subject is calculated from (Ya, Za), (Xb, Yb, Zb), (Xc, Yc, Zc), and (Xd, Yd, Zd).
[0017]
The analog signal output from the position sensitive detectors 4A to 4D is converted based on the following equation (1) to calculate the height data of the subject. In the following formulas (1) and (2), H (x, y) indicates the height value measured at the sampling coordinate point (x, y) that is the irradiation position, and B (x, y) is It is a luminance value (reflection intensity) measured at the sampling coordinate point (x, y). Ia (x, y) and Ib (x, y) are signal values from the position sensitive detectors 4A to 4D measured at the sampling coordinate point (x, y). By adding the two signal values Ia (x, y) and Ib (x, y) that are output signals of the position sensitive detectors 4A to 4D, the luminance value (x, y) at the sampling coordinate point (x, y) ( B (x, y)) is represented.
H (x, y) = Ia (x, y) / (Ia (x, y) + Ib (x, y)) .. Formula 1
B (x, y) = Ia (x, y) + Ib (x, y).
The measurement of the surface shape data (height data) in the two-dimensional region of the subject is repeatedly performed by moving the subject in parallel in the X and Y planes with the sampling coordinate points fixed, or the subject is fixed Repeat by moving the sampling coordinate point in parallel.
[0018]
In addition, as a method of measuring surface shape data using a device other than the above, for example, a light cutting method that measures height data by changing slit light, or a stereo that measures height data from two or more parallax images It is also possible to acquire surface shape data from three-dimensional data measured by an X-ray computed tomography system (X-ray CT), a magnetic resonance imaging system (MRI), or the like.
[0019]
By these methods, it is possible to acquire a state where the chip component 10 as the mounting component is mounted on the printed circuit board 2 as the subject as a grayscale image and to recognize the height of the printed circuit board 2 on which the chip component 10 is mounted. An image can be obtained.
[0020]
Next, the inspection of the chip component position and the inspection of the chip component size are performed using the height image and the luminance image captured by the inspection apparatus. FIG. 2 is a flowchart showing this inspection process.
[0021]
First, in step ST10, the inspection apparatus measures height data and luminance data of the entire surface of the printed circuit board 2 on which components are mounted.
In step ST20, using the height data, a part edge detection process in a direction along the side having a short length in plan view (referred to as a short direction) is executed. FIG. 3 shows windows 31, 32, 333, and 34 for executing edge detection processing. The edge detection windows 31 to 34 are set to locations that are assumed not to be affected by the edge detection accuracy due to the soldering state, based on the information on the mounting positions of the printed circuit board 2 and the chip component 10 taught in advance. A change point of the height data in the windows 31 to 34 is detected and set as an edge point. From the data of the two edge points detected in the windows 31 and 32, the position of one side on the side where the solder is not attached (short direction) is obtained, and from the data of the two edge points detected in the windows 33 and 34 The position of the other side on the side where the solder is not attached (short direction) is obtained. The straight line connecting the midpoint of the two edge points detected in the windows 31 and 33 and the midpoint of the two edge points detected in the windows 32 and 34 is the center in the direction (longitudinal direction) where the solder is attached. The angle formed by the straight line portion viewed from the side of the center line A and the horizontal line is the component mounting rotation angle (mounting inclination angle).
[0022]
Next, in step ST30, the position of the boundary line between the electrodes 12, 13 and the component main body 11 is detected using the height data and the luminance data, and the longitudinal direction (component edge by soldering is detected based on the boundary line position. The edge of the part is detected. The longitudinal part edge detection processing will be described later.
[0023]
Next, in step ST40, the process of calculating the position and size of the chip component 10 is executed from the edge coordinates detected in steps ST20 and ST30.
Finally, in step ST50, with respect to the mounting position of the chip component 10, the amount of deviation between the mounting position of the chip component 10 calculated in step ST40 and the proper mounting position of the chip component 10 taught in advance is taught in advance. Whether or not the deviation is less than or equal to the allowable deviation value is compared. If the deviation amount is less than or equal to the allowable deviation value, it is determined to be a non-defective product, and if the deviation amount is greater than the allowable deviation value, it is determined to be defective.
[0024]
As for the component size, it is compared whether or not the difference between the size of the chip component 10 calculated in step ST40 and the size of the chip component 10 taught in advance is equal to or less than a pre-taught size allowable value. If the difference is equal to or smaller than the allowable size value, it is determined to be a non-defective product.
[0025]
Here, the part edge detection process in the longitudinal direction in step ST30 will be described in more detail. FIG. 4 is a flowchart showing the component edge detection processing step ST30 in the longitudinal direction.
[0026]
First, in step ST31, a processing target area is determined. FIG. 5 is a diagram showing a processing target region for executing the component edge detection processing in the longitudinal direction. Information regarding the mounting position of the chip component 10 taught in advance, component center position coordinates 41 which are information regarding the shape of the chip component 10, relative coordinates from the component center positions of the electrodes 12 and 13, and a component deviation allowable range 42 The two processing areas of the first processing target area 43 and the second processing target area 44 are determined for one chip component 10.
[0027]
In step ST32, the height image of the first processing target area 43 determined in step ST31 described above is read. In step ST33, the height image is binarized with a height threshold slightly lower than the height of the chip component 10 from which the component shape can be extracted, and the mask area is set to 0 and the non-mask area is set to 1. Generate an image.
[0028]
Next, in step ST34, the luminance image of the first processing target area 43 determined in step ST31 described above is read. In step ST35, an inter-image calculation is performed between the read luminance image and the mask processing area extracted in step ST34, and the boundary position detection processing area between the electrodes 12 and 13 and the component body 11 is narrowed down.
[0029]
Further, in step ST36, for example, a differential operator shown in FIG. 6 is applied to the luminance image subjected to the mask processing obtained in step ST35. Then, electrode body boundary detection processing for detecting a boundary line between the electrode 12 and the component body 11 is performed by obtaining a least square approximation line of coordinates indicating a value equal to or greater than a certain value in the processed image subjected to differentiation processing.
[0030]
In the present embodiment, the luminance image is differentiated from the electrode 12 and the component by a differential process in correspondence with the feature that the luminance image is high in the portion of the electrode 12 having a high amount of reflected light and low in the portion of the component main body 11 having a low amount of reflected light. Although the boundary line position with the main body 11 is detected, the contour line is extracted with respect to the image binarized by the threshold value that can extract only the electrode 12 in the masked luminance image obtained in step ST35. It is also possible to detect the boundary line between the electrode 12 and the component main body 11.
[0031]
Further, in step ST37, it is determined whether or not the process has been executed for the second processing target area 44 determined in step ST31. If not executed, the processing from step ST32 to step ST36 is executed for the second processing target region 44, and the first processing target region 43 and the second processing target region 44 determined in step ST31. The boundary line between the two electrodes 12 and 13 and the component main body 11 is detected for each of the processing areas.
[0032]
In step ST38, the outer edge coordinates of the chip component 10 are calculated based on the boundary line position between the two electrodes 12 and 13 and the component body 11 detected in step ST37 and the width of the electrodes 12 and 13 taught in advance. To do.
[0033]
As a result, the outer edge coordinates of the chip component 10 are calculated, and as described above, the processing for calculating the mounting position and size of the chip component 10 from the edge coordinates is executed in step ST40. Even when the electrodes 12 and 13 of the component 10 are covered, the mounting position and size of the chip component 10 can be accurately determined, and the correct inspection regarding the mounting position and size of the chip component 10 can be performed.
[0034]
In the above embodiment, the case where the electrodes 12 and 13 are provided at two locations on both sides of the component main body 11 is described. However, the present invention is not limited to this. The above inspection method can also be applied when there are electrodes at a plurality of end portions.
[0035]
【The invention's effect】
As described above, according to the present invention, the electrode of the mounting component is covered with the solder, and even when the end surface of the electrode outside the component or the corner of the mounting component cannot be recognized as in the conventional case, the solder is covered. By detecting the boundary line between the electrode and the component body at multiple locations that are unlikely to be detected, it is possible to accurately determine the mounting position and size of the mounting component such as a chip component, and to perform a correct inspection, thereby ensuring the reliability of the inspection Will improve.
[Brief description of the drawings]
FIG. 1 is a schematic perspective view of an inspection apparatus according to an embodiment of the present invention.
FIG. 2 is a flowchart showing an inspection method according to an embodiment of the present invention.
FIG. 3 is a diagram showing component edge detection processing in a short direction in the inspection method;
FIG. 4 is a flowchart showing part edge detection processing in the longitudinal direction in the inspection method.
FIG. 5 is a diagram showing a processing target area in the inspection method.
FIG. 6 is a view showing a mask pattern of a luminance image differentiation process in the inspection method.
FIG. 7A is a cross-sectional view of a chip component mounted on a printed circuit board and soldered.
(B) is the figure which looked at the soldered chip component from the upper surface.
(C) is the figure which showed the cross-sectional profile of the height data of the same chip component.
(D) is a figure which shows the image which binarized the chip component by the conventional inspection method.
8A and 8B show problems of a conventional inspection method, in which FIG. 8A is a cross-sectional view of a chip component, FIG. 8B is a plan view of a soldered chip component viewed from above, and FIG. (D) is a diagram showing an image obtained by binarizing the chip component.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Laser unit 2 Printed circuit board 4A-4D Position sensitive detector 10 Chip component (mounting component)
11 Component body 12, 13 Electrode 14, 15 Solder

Claims (10)

部品本体の複数の端部にそれぞれ電極が設けられ、プリント基板上に前記複数の電極で半田付けされた実装部品を検査する実装部品の検査方法であって、
前記実装部品の実装状態を画像として入力し、この入力画像に基づいて実装部品の前記複数の電極と部品本体との境界線をそれぞれ検出し、これらの境界線の情報と予め入力されている実装部品に関する情報とに基づいて実装部品の装着位置を算出し、前記実装部品の装着位置と予め入力されている適正装着位置との情報に基づいて実装状態の良否を判定し、
実装部品の装着位置を算出する工程で、境界線を検出工程において検出した複数の境界線位置と、予め入力されている実装部品の電極の情報を含む形状に関する情報とに基づいて、実装部品の外形を算出する部品外形算出処理を行うことを特徴とする実装部品の検査方法。
Electrode is provided at each of a plurality of ends of the component body, and a mounting component inspection method for inspecting a mounting component soldered with the plurality of electrodes on a printed board,
The mounting state of the mounting component is input as an image, and boundary lines between the plurality of electrodes of the mounting component and the component main body are detected based on the input image, and information on these boundary lines and the mounting that is input in advance The mounting position of the mounting component is calculated based on the information related to the component, and the quality of the mounting state is determined based on the information on the mounting position of the mounting component and the appropriate mounting position input in advance .
In the step of calculating the mounting position of the mounting component, based on the plurality of boundary line positions detected in the detection step of the boundary line and the information on the shape including the information of the electrodes of the mounting component input in advance, A method for inspecting a mounted component, comprising performing a component outer shape calculation process for calculating an outer shape .
実装部品の装着位置を算出する工程で、境界線を検出する工程において検出した複数の境界線位置から実装部品の中心位置を算出する部品中心位置算出処理を行うことを特徴とする請求項1に記載の実装部品の検査方法。 The component center position calculation process for calculating the center position of the mounted component from a plurality of boundary line positions detected in the step of detecting the boundary line is performed in the step of calculating the mounting position of the mounted component. The inspection method of the mounting components described. 実装部品の実装状態を画像として入力する工程で、実装済みプリント基板表面箇所の高さと、前記実装済みプリント基板表面からの反射光量とを計測することで、実装部品の実装状態を画像として入力することを特徴とする請求項1に記載の実装部品の検査方法。 In the step of inputting the mounting state of the mounted component as an image , the mounting state of the mounted component is input as an image by measuring the height of the surface portion of the mounted printed circuit board and the amount of reflected light from the surface of the mounted printed circuit board. The mounting component inspection method according to claim 1 . 部品本体の複数の端部にそれぞれ電極が設けられ、プリント基板上に前記複数の電極で半田付けされた実装部品を検査する実装部品の検査方法であって、
前記実装部品の実装状態を画像として入力し、この入力画像に基づいて実装部品の前記複数の電極と部品本体との境界線をそれぞれ検出し、これらの境界線の情報と予め入力されている実装部品の情報とに基づいて実装部品のサイズを算出し、前記実装部品のサイズと予め入力されている適正サイズとの情報に基づいて実装部品の良否を判定し、
前記実装部品のサイズを算出する工程で、実装部品の電極の情報を含む部品形状に関する情報に基づいて部品外形を算出する部品外形算出処理を行うことを特徴とする実装部品の検査方法。
Electrode is provided at each of a plurality of ends of the component body, and a mounting component inspection method for inspecting a mounting component soldered with the plurality of electrodes on a printed board,
The mounting state of the mounting component is input as an image, and boundary lines between the plurality of electrodes of the mounting component and the component main body are detected based on the input image, and information on these boundary lines and the mounting that is input in advance Calculate the size of the mounting component based on the information of the component, determine the quality of the mounting component based on the information of the size of the mounting component and the appropriate size input in advance ,
A method for inspecting a mounted component, comprising performing a component outer shape calculation process for calculating a component outer shape based on information on a component shape including information on electrodes of the mounted component in the step of calculating the size of the mounted component .
実装部品の実装状態を画像として入力する工程で、実装済みプリント基板表面箇所の高さと、前記実装済みプリント基板表面からの反射光量とを計測することで、実装部品の実装状態を画像として入力することを特徴とする請求項に記載の実装部品の検査方法。 In the step of inputting the mounting state of the mounted component as an image , the mounting state of the mounted component is input as an image by measuring the height of the surface portion of the mounted printed circuit board and the amount of reflected light from the surface of the mounted printed circuit board. The method for inspecting a mounted component according to claim 4 . 部品本体の複数の端部にそれぞれ電極が設けられ、プリント基板上に前記複数の電極で半田付けされた実装部品を検査する実装部品の検査装置であって、
前記実装部品の実装状態を画像として入力する画像入力手段と、この入力画像に基づいて実装部品の前記複数の電極と部品本体との境界線をそれぞれ検出する境界線検出手段と、これらの境界線の情報と予め入力されている実装部品の情報とに基づいて実装部品の装着位置を算出する装着位置算出手段と、前記実装部品の装着位置と予め入力されている適正装着位置との情報に基づいて実装状態の良否を判定する判定手段とを備え
前記装着位置算出手段は、境界線検出手段により検出した複数の境界線位置と、予め入力された実装部品の電極の情報を含む形状に関する情報とに基づいて、実装部品の外形を算出することを特徴とする実装部品の検査装置。
Electrode is provided at each of a plurality of ends of the component body, and is a mounting component inspection apparatus that inspects a mounting component soldered to the printed circuit board with the plurality of electrodes,
Image input means for inputting the mounting state of the mounted component as an image, boundary line detecting means for detecting boundary lines between the plurality of electrodes of the mounted component and the component body based on the input image, and the boundary lines Based on the information on the mounting position, the mounting position calculating means for calculating the mounting position of the mounting component based on the information on the mounting component and the information on the mounting component input in advance, and the information on the mounting position of the mounting component and the appropriate mounting position input in advance Determination means for determining the quality of the mounting state ,
The mounting position calculation means calculates the outer shape of the mounting component based on a plurality of boundary line positions detected by the boundary line detection means and information relating to the shape including information on the electrodes of the mounting component input in advance. A device for inspecting mounted parts.
装着位置算出手段は、複数の境界線位置から実装部品の中心位置を算出することを特徴とする請求項に記載の実装部品の検査装置。The mounting component inspection apparatus according to claim 6 , wherein the mounting position calculation unit calculates a center position of the mounting component from a plurality of boundary line positions. 画像入力手段は、実装済みプリント基板表面箇所の高さと、前記実装済みプリント基板表面からの反射光量とを計測する計測手段で構成されていることを特徴とする請求項に記載の実装部品の検査装置。The mounted component according to claim 6 , wherein the image input unit includes a measuring unit that measures a height of a surface portion of the mounted printed circuit board and a reflected light amount from the surface of the mounted printed circuit board. Inspection device. 部品本体の複数の端部にそれぞれ電極が設けられ、プリント基板上に前記複数の電極で半田付けされた実装部品を検査する実装部品の検査装置であって、
前記実装部品の実装状態を画像として入力する画像入力手段と、この入力画像に基づいて実装部品の前記複数の電極と部品本体との境界線をそれぞれ検出する境界線検出手段と、これらの境界線の情報と予め入力されている実装部品の情報とに基づいて実装部品のサイズを算出するサイズ算出手段と、前記実装部品のサイズと予め入力されている適正サイズとの情報に基づいて実装部品の良否を判定する判定手段とを備え
サイズ算出手段は、実装部品の電極の情報を含む部品形状に関する情報に基づいて部品外形を算出することを特徴とする実装部品の検査装置。
Electrode is provided at each of a plurality of ends of the component body, and is a mounting component inspection apparatus that inspects a mounting component soldered to the printed circuit board with the plurality of electrodes,
Image input means for inputting the mounting state of the mounted component as an image, boundary line detecting means for detecting boundary lines between the plurality of electrodes of the mounted component and the component body based on the input image, and the boundary lines Size calculating means for calculating the size of the mounting component based on the information on the mounting component and information on the mounting component input in advance, and information on the mounting component based on the information on the size of the mounting component and the appropriate size input in advance Determination means for determining pass / fail ,
The size calculation means calculates a component external shape based on information on a component shape including information on electrodes of the mounted component, and a mounting component inspection apparatus characterized by the following.
画像入力手段は、実装済みプリント基板表面箇所の高さと、前記実装済みプリント基板表面からの反射光量とを計測する計測手段で構成されていることを特徴とする請求項に記載の実装部品の検査装置。The mounted component according to claim 9 , wherein the image input unit includes a measuring unit that measures a height of a surface portion of the mounted printed circuit board and a reflected light amount from the surface of the mounted printed circuit board. Inspection device.
JP2001106549A 2001-04-05 2001-04-05 Mounting component inspection method and inspection device Expired - Fee Related JP4671527B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001106549A JP4671527B2 (en) 2001-04-05 2001-04-05 Mounting component inspection method and inspection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001106549A JP4671527B2 (en) 2001-04-05 2001-04-05 Mounting component inspection method and inspection device

Publications (2)

Publication Number Publication Date
JP2002303590A JP2002303590A (en) 2002-10-18
JP4671527B2 true JP4671527B2 (en) 2011-04-20

Family

ID=18959025

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001106549A Expired - Fee Related JP4671527B2 (en) 2001-04-05 2001-04-05 Mounting component inspection method and inspection device

Country Status (1)

Country Link
JP (1) JP4671527B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4467966B2 (en) * 2003-12-09 2010-05-26 株式会社日立製作所 Substrate visual inspection device
JP5240980B2 (en) * 2007-06-13 2013-07-17 レーザーテック株式会社 Three-dimensional measuring device and inspection device
KR101770186B1 (en) * 2015-12-21 2017-08-23 주식회사 파미 Apparatus for determining component mounting and method for controlling the same
JP6589138B2 (en) * 2016-09-30 2019-10-16 パナソニックIpマネジメント株式会社 Inspection device
CN112867906B (en) * 2018-10-23 2022-11-22 株式会社富士 Component data generating method and component mounting machine
JP6960576B2 (en) * 2019-06-20 2021-11-05 パナソニックIpマネジメント株式会社 Component mounting system and component mounting method
JP6767643B2 (en) * 2019-06-20 2020-10-14 パナソニックIpマネジメント株式会社 Component mounting system and component mounting method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02165004A (en) * 1988-12-20 1990-06-26 Fujitsu Ltd Object testing apparatus
JPH05306913A (en) * 1992-04-30 1993-11-19 Matsushita Electric Ind Co Ltd Method for inspecting angular chip for soldered state

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02165004A (en) * 1988-12-20 1990-06-26 Fujitsu Ltd Object testing apparatus
JPH05306913A (en) * 1992-04-30 1993-11-19 Matsushita Electric Ind Co Ltd Method for inspecting angular chip for soldered state

Also Published As

Publication number Publication date
JP2002303590A (en) 2002-10-18

Similar Documents

Publication Publication Date Title
US8233041B2 (en) Image processing device and image processing method for performing three dimensional measurements
KR100283834B1 (en) Bonding method of semiconductor chip and its device
JP4631460B2 (en) X-ray inspection method
JP4543935B2 (en) Electronic component mounting apparatus and mounting method
JP5438475B2 (en) Gap step measurement device, gap step measurement method, and program thereof
JP4610702B2 (en) Electronic board inspection method
JP4671527B2 (en) Mounting component inspection method and inspection device
JP4864734B2 (en) Optical displacement sensor and displacement measuring apparatus using the same
JP4333349B2 (en) Mounting appearance inspection method and mounting appearance inspection apparatus
JP3850282B2 (en) Pattern surface automatic extraction method and shape measuring apparatus using the same
JP4650076B2 (en) Circuit pattern inspection apparatus and circuit pattern inspection method
JP4449596B2 (en) Mounting board inspection equipment
JP3203397B2 (en) Soldering condition inspection device and soldering condition inspection method
JPH05215694A (en) Method and apparatus for inspecting defect of circuit pattern
JPH10105719A (en) Optical measurement method for hole position
JP2630844B2 (en) 3D shape and size measurement device
JP4029975B2 (en) Measuring method of shoulder arc radius of notch of semiconductor wafer
JP2000022326A (en) Apparatus and method for inspecting solder
JP3054513B2 (en) Method for detecting lead lift of electronic components
JP2000121333A (en) Appearance inspection apparatus and method
JP2803427B2 (en) Surface mount IC lead displacement inspection equipment
US20240062401A1 (en) Measurement system, inspection system, measurement device, measurement method, inspection method, and program
JP2570508B2 (en) Soldering inspection equipment
JP2525261B2 (en) Mounted board visual inspection device
JP3013647B2 (en) Measuring device for discontinuous structures

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110118

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140128

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees