JP4613466B2 - 実装部品検査方法および装置 - Google Patents
実装部品検査方法および装置 Download PDFInfo
- Publication number
- JP4613466B2 JP4613466B2 JP2001301728A JP2001301728A JP4613466B2 JP 4613466 B2 JP4613466 B2 JP 4613466B2 JP 2001301728 A JP2001301728 A JP 2001301728A JP 2001301728 A JP2001301728 A JP 2001301728A JP 4613466 B2 JP4613466 B2 JP 4613466B2
- Authority
- JP
- Japan
- Prior art keywords
- component
- template
- electronic component
- mounting
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【発明の属する技術分野】
【０００１】
本発明は、プリント基板上に実装された電子部品のずれや有無を検査する実装部品検査装置に関するものである。
【従来の技術】
【０００２】
近年の電気製品の小型軽量化により、電気製品の主たる構成要素であるプリント基板における小型化は著しいものがあり、プリント基板の小型化に伴う部品の実装密度の増大や部品の小型化により、人間の目視による検査を困難にしてきている。そのため、これらプリント基板上の実装状態を自動で検査し、かつ生産タクトの向上に伴いより高速に検査を行う検査装置が求められている。以下、プリント基板上に実装された部品の有無および位置計測を例にしながら、従来の電子部品検査方法について説明する。
【０００３】
図１８は従来の電子部品位置計測方法の例を示すものである。図１８（ａ）はテンプレートマッチングにより部品実装検査を行う様子を示したもの、図１８（ｂ）はエッジ検出により部品外形を探索し部品実装検査を行う様子を示したものである。図１８（ａ）において、５８は部品を検査するためのマッチングテンプレート、５９は部品が実装されたプリント基板、６０はプリント基板上に実装された電子部品、６１は基板上のランド、６２は部品と基板を接合する半田である。また、図１８（ｂ）において６３はエッジ検出を行うための設定領域である。以上のように構成された電子部品検査方法について、以下、その動作について説明する。
【０００４】
まず、図１８（ａ）においては、電子部品６０と同種類の部品を用いてマッチングテンプレート５８を作成する。すなわちマッチング用のテンプレート５８は、検査すべき電子部品の基準となる外形や電極の大きさがほぼ同じ電子部品のマスターとして作成される。そしてプリント基板５９を撮像した画像に対して、図に示すようにマッチングテンプレート５８を移動させながらマッチング演算による照合を行い、部品位置を探索する。部品の照合とは、マッチング用のテンプレート５８とプリント基板５９上の部品６０との外形全体や電極全体の一致度を検査することである。また、図１８（ｂ）においては、部品実装位置に対して、部品外形が存在するであろう部位にあらかじめエッジ検出を行う領域６３を設定しておき、矢印の方向にエッジ検出を行って部品外形を検出し、すべてのエッジ検出が成功すればすなわち部品外形を検出できれば、部品が存在する判定して、エッジ検出点の幾何演算により部品実装位置を計算する。
【発明が解決しようとする課題】
【０００５】
しかしながら、プリント基板に実装される部品は、色や模様、またはサイズのばらつきが大きく、さらにメーカにより形状が幾分異なることなどがあるという問題を有している。特に部品の外装部となる本体部は表面形状のばらつきや、部品表面の輝度むらがあり、電子部品の表面の見え方の変化が大きく、検査に影響を与える恐れがある。
【０００６】
また、実装精度についても、多少の傾きを持つ程度であれば品質上問題がないため、部品検査を行う際に電子部品が必ずしも完全に正確な角度で実装されているとは限らないという問題もある。また逆に大きく装着角度ずれをおこしている場合にはそれがどのくらいの角度であるかを計測して不具合解析へとつなげたい意向もある。
【０００７】
そのため図１８に示すように部品のマスターをマッチング用のテンプレートとしてひとつ定め、サーチを行う方法では、このような部品の持つばらつきにマッチング用のテンプレートが対応していないため、マッチング時の評価値を落とす原因になり、部品検査を正確に行うことができず、検査率はせいぜい９８％程度であった。これは１００回検査を行うと２回は検査ミスを発生する計算であり、実際の生産においては、１枚の基板に実装される部品点数を約１０００点とし、１日に１０００枚の基板を生産すると仮定すると、ほぼすべての生産基板において検査ミスが発生することになり、実際の使用に耐えうるものではなかった。
【０００８】
さらに、部品画像を用いたテンプレートマッチングは非常に多くの演算回数を実行する。例えば１００×１００画素の部品テンプレートを用いて、１０００×１０００画素の画像をサーチする場合を考えると、演算回数は１００×１００×１０００×１０００＝１００００００００００回にもなり、多くの処理時間を必要とするため、検査タクトを向上させることが難しいという問題を有していた。
【０００９】
また、エッジ検出による方法は、演算回数少ないため処理時間は少なくて済むが、電子部品の色むら等により、電子部品の内部の線を輪郭であると誤認識したり、また基板上の電子部品以外の線に対しても反応してしまい誤認識をするという問題があり、やはり検査率は同等であった。
【００１０】
本発明は上記の問題点を解決し、部品のばらつきや実装角度のばらつきがある場合においても、高速に、かつ安定した電子部品実装位置検査を行うことができる実装部品検査方法を提供することを目的としている。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、本発明の実装部品検査方法は、電子部品のエッジ部分から抽出されたテンプレートを用いて前記電子部品の画像に対して照合処理を行って、前記電子部品の実装状態を検査する際に、前記電子部品のサイズ公差内で前記テンプレートを調整することを特徴とする。
【００１２】
これにより、電子部品の輪郭情報（エッジ部分）を用いて照合処理を行うことから、電子部品自体が持つ形状のばらつきや、模様のばらつき、部品表面の輝度むらに影響されず部品位置を検査でき、さらに、部品全体の情報から必要部分のみを選択してテンプレートを作成しているため、マッチング演算時の演算量を減らすことができ、高速に処理を行うことができる。
【００１３】
本発明の第１様態は、本体部と電極部とを有する電子部品を実装した基板に対して前記電子部品の実装状態を検査する実装部品検査方法、装置、プログラムであって、前記電子部品における前記本体部と前記電極部との境界線を除く前記電極部のエッジ部分から抽出された情報としてマッチングテンプレートを用いて電子部品を実装した基板の電子部品の画像に対して照合処理を行い、前記基板上に実装された部品の有無、誤実装、部品の実装位置などの実装状態を検査するため、電子部品の多少の形状ばらつきや、部品表面の輝度むらに影響されず部品位置を検査でき、さらに高速に処理を行うことができるという特徴を有する。
【００１４】
本発明の第２様態は、テンプレートの形状や寸法などの構成位置を変動させながら電子部品との照合処理を行い、基板上に実装された部品の実装状態を検査するため電子部品のサイズばらつきに影響されず、部品位置を検査できるという特徴を有する。
【００１５】
本発明の第３様態は、マッチングテンプレートを所定の角度に回転させて、回転させたテンプレートで照合処理を行い、基板上に実装された部品の実装状態を検査するため、電子部品の実装角度がばらつく場合においても、正確に部品位置を検査できるという特徴を有する。
【００１６】
本発明の第４様態は、形状や寸法が異なる複数の部品毎にマッチングテンプレートを複数有し、照合処理の評価値が低い場合に、別のマッチングテンプレートに切り替えて、実装基板上に実装された部品の実装状態を検査するため、同じ種類の部品でありながらメーカの違いなどにより幾分形状が相違している部品に対しても、正確に部品の検査できるという特徴を有する。
【００１７】
本発明の第５様態は、照合処理の評価値が高いテンプレートの使用頻度を記憶し、所定時間内の最も使用頻度の高いテンプレートを選択し、基板上に実装された部品の実装状態を検査するため、常に同順でテンプレートを切り替える場合に比べて、統計的に切り替えの回数を少なくでき、検査タクトを向上させることができるという特徴を有する。
【００１８】
本発明の第６様態は、基板の電極部、電子部品の電極部、半田部分の色情報を抽出し、抽出した基板の電極部の輝度を変化させ、半田部分と基板の電極部との輝度を略同一化して半田部分と基板の電極部とのエッジ部分を消去し、基板電極部と半田部分とがなすエッジ部分と、電子部品の電極部と基板の電極上の半田部分とがなすエッジ部分が近い形状にならないようにして部品の実装状態の検査を行なう。
【００１９】
つまり、あらかじめ記憶された基板電極部の色情報から基板電極部の抽出を行い、基板電極部と半田部分とがなすエッジ部分と、電子部品の電極部と基板電極上の半田部分とがなすエッジ部分が近しい形状にならないよう、抽出した基板電極部の輝度を変化させることにより、電子部品サーチ時の誤認識要因を排除する実装部品検査方法のために、基板上の誤認識要因を排除することができ、部品位置計測の安定度を高めることができる。
【００２０】
以下、本発明の実装部品検査方法および装置の一実施の形態について図１から図１７、１９を用いて説明する。なお、従来と同一機能のものには同一符号を示す。
【００２１】
（実施の形態１）
図１〜図４は本発明の実装部品検査方法を実行する実装部品検査装置を示す。ここで検査対象となる電子部品５０、５３は図１９に示すように電気回路を保護する外装部である本体部５１、５４と電気的な接合箇所となる電極部５２、５５から構成されている。言い換えればプリント基板上に実装され半田付けによりプリント基板の電極と接合される電極部５２、５５と、それ以外の部分とから構成されている。本実施の形態では図１９（ｃ）、（ｄ）に示すチップ部品形態の部品を用いて説明する。
【００２２】
図１において、ステージ４は電子部品５３が実装された基板３を載置する。画像撮像手段６の一例であるカメラ１は基板３を撮像する。照明部２は、撮像時に基板３を照らす。画像処理手段５は、カメラ１で撮像された画像を処理して実装した部品（以下、実装部品と称す）の有無や部品位置の計測などの実装状態の検査を行なう。
【００２３】
具体的に画像処理手段５は、撮像された画像から検査対象となる対象物（本実施形態では実装部品）の輪郭となるエッジ部分５７（５７ａ、５７ｂ、５７ｃ）を抽出するエッジ抽出手段８と、エッジ抽出手段８により抽出されたエッジ部分５７から検査に用いる情報の一例であるマッチング用のテンプレート（以下、マッチングテンプレートと称す）２４を構成・登録したり、予め作成したテンプレートを登録しておくテンプレート構成／登録手段１０と、撮像した画像に関して検査対象である実装部品とマッチングテンプレートとの一致を検査したり、あるいは一致度のずれ量を画素数単位で計測するマッチング演算手段７と、実装部品とマッチングテンプレートとの一致度のずれ量を画素数から実際の寸法に換算する部品位置計測手段９と、で構成されている。
【００２４】
ここでマッチングテンプレートは、画像から直接切出したものでもよく、画像を加工して生成したものでもよい。
【００２５】
画像撮像手段６からの画像処理手段５を実現する手段としては、各処理をプログラム実行手段１８であるパソコン等で実行できるようにプログラム化し、図２に示すように、画像撮像手段からの画像を処理する画像撮像プログラム１２と、画像処理手段の各機能を実行するマッチング演算プログラム１３と、エッジ部分抽出プログラム１４と、部品位置計測プログラム１５と、テンプレート構成／登録プログラム１６とで構成されている画像処理プログラム１１を作成し、ＣＤ−ＲＯＭやＣＤ−Ｒ、ＤＶＤ、ＦＤ、ＭＯなどのプログラム記録媒体１７等を用いて、プログラム実行手段１８にインストールすることで実現可能である。またプログラム記憶媒体１７に代えてインターネットなどの通信媒体を介したプログラムであってもよい。
【００２６】
このように構成された実装部品検査装置について、以下、その動作を説明する。
【００２７】
パソコンなどのマイクロコンピュータを主要部として構成されている画像処理手段５は、図３のステップＳ１で、まず画像撮像手段６を用いて検査対象となる部品を撮像し、エッジ抽出手段８により、部品５３の本体部５４と電極部５５との境界線５６を除く電極部のエッジ部分５７（５７ａ、５７ｂ、５７ｃ）を抽出する。本実施形態では、基板３に実装された部品を撮像してエッジ部分を抽出したが、部品単体を別に撮像処理してエッジ部分を抽出することも可能である。
【００２８】
次にステップＳ２で、テンプレート構成登録手段１０により抽出されたエッジ部分５７から検査用のマッチングテンプレートを構成して登録する。なお、テンプレートを作成するための画像は、例えば電子部品の設計図面から起こしたモデル画を代用として用いることも可能であり、この場合は部品がもつ傷などのイレギュラーな要素が存在しないため、より汎用的なテンプレートを構成可能である。
【００２９】
次にステップＳ３で、画像撮像手段６により撮像された電子部品を実装した基板３の画像に対して、マッチング演算手段７により登録されたマッチングテンプレートを用いて実装部品の照合処理を行い、実装部品は存在するのか？、マッチングテンプレートと実装部品とが寸法的に、あるいは形状的に一致するのか？、理想の実装位置からのズレ量はそれくらいか？などの部品の有無、間違った部品の実装（誤実装）、画素単位における位置や理想実装位置からのズレ量の計測といった実装状態の検査を行なう。ステップＳ４において、部品位置計測手段９により、上記照合処理結果、例えば画像上の部品照合の位置から実際の寸法単位での部品実装位置を計測する。また実際の寸法単位での理想実装位置からのズレ量の検出も同時に行う。以降、基板上の検査が必要な全部品実装位置を検査するまで、ステップＳ３、Ｓ４を繰り返す。
【００３０】
具体的には次のように処理するように構成されている。
【００３１】
図４は電子部品５３の本体部５４と電極部５５との境界線５６を除く電極部のエッジ部分５７（５７ａ、５７ｂ、５７ｃ）を抽出し、抽出された部分からマッチングテンプレートを構成する様子を示したものである。図４のエッジ検出フィルタ１９はエッジ部分を抽出する際に用いる。本実施形態では一般的なエッジ検出フィルタであるＳＯＢＥＬフィルタを例として表しているが、エッジを抽出できるものであればフィルタ自体は何でも良く、またフィルタ処理によるエッジ検出である必要もない。２０はテンプレートを作成する素となる電子部品の画像、２１は画像２０内の電子部品部分、２２はエッジ検出フィルタを作用させる領域、２３はエッジ検出フィルタを適用して部品の電極部５５のエッジ部分５７を抽出した結果、２４はエッジ部分抽出結果２３をもとに電子部品５３を照合するために構成したマッチングテンプレートである。
【００３２】
図４において、まずエッジ検出フィルタ１９を用いて、電子部品画像２０中の電子部品部分２１の電極部の一部に対して、エッジ検出フィルタ適用範囲２２を設定する。このフィルタを画像に作用させると、電子部品の輪郭のみが検出されてエッジ検出結果２３が得られる。なお、フィルタ範囲を電子部品全体に設定していないのは、電子部品の表面形状のばらつきや、模様のばらつき、あるいは輝度むらの影響が最も少ないのが、電子部品電極部の特に先端部分の輪郭であるからである。
【００３３】
エッジ検出結果２３では電子部品部分２１の電極部５５と背景とのエッジ部分５７のみが検出されているのがわかる。この電極部５５のエッジ部分５７に相当する部分を画像２０から切り出し、マッチングテンプレート２４を構成する。
【００３４】
このテンプレート２４を用いて、カメラ１により撮像された電子部品を実装した基板３の画像に対して部品実装検査を行う様子を示したのが図５である。図５（ａ）（ｂ）は基板３上に実装された部品位置を計測する例を示している。図５（ａ）（ｂ）において、２４ａはテンプレート２４の部品電極部分、２４ｂはテンプレート２４の部品背景部分、２６は電子部品を実装する基板上のランド、２７は基板上に実装された電子部品（上記電子部品５３や電子部品部分２１に相当する）、２８はランド２６と部品２７とを接合する半田である。
【００３５】
手順としては、図５（ａ）に示すように、テンプレート２４を画像左上から右方向に向けて移動し、右端に移動完了の後、下方向にずらして同様に順に移動しながらマッチング演算により各画像位置での照合を行っていき、図５（ｂ）に示すように、テンプレートの部品電極部分２４ａが電子部品２７の電極部分に重なり、またテンプレートの部品背景部分２５が電子部品２７の背景（ここでは半田２８）に重なったとき照合が成功し画像上の部品位置が計測される。すなわちテンプレート２４の電極部分２４ａと背景部分２４ｂとの境界線を電子部品２７の電極部分の輪郭と一致させるように照合処理を行なう。この照合処理により、部分の有無検査、マッチングテンプレートと実装部品とが寸法的に、あるいは形状的に一致に基づく間違った部品の実装（誤実装）検査といった実装状態の検査を行なう。
【００３６】
なお、マッチング演算方式としては特に規定しないが、単純な画素濃度差分演算や、正規化相関のような相関演算が考えられる。また、図５（ｃ）は実装ずれを起こしている部品位置を計測した例を示したものである。図５（ｃ）において、２９は部品の理想実装位置、３０は実装ずれを起こした部品、３１は計測された理想位置からのずれを表している。図５（ｃ）に示すように、画素単位における位置や理想実装位置からのズレ量の計測を行い、画像上の部品照合の位置やズレ量から実際の寸法単位での部品実装位置を変換計測する。このように実装部品の位置をテンプレートマッチングによる照合により計測した後、あらかじめ基板のＣＡＤデータなどから算出されている理想実装位置２９との差を演算することで、理想位置からのズレ量を計測する。
【００３７】
尚、本実施の形態ではテンプレートを順に移動させていたが、ＣＡＤデータやＮＣデータなどの予め設定されている実装位置付近を撮像し、その画像に対してテンプレートによる照合処理を行なう方が、処理時間が短縮することが可能である。
【００３８】
以上により、見え方の変化が大きい電子部品の本体部の情報を用いずに照合処理となるマッチングを行うため、電子部品の表面形状のばらつきや、部品表面の輝度むらに影響されずに実装位置の計測など部品実装検査を行なうことができる。これにより、電子部品表面に見え方のばらつきがある場合でも、ほぼ１００％の検査を行うことが可能となる。また、電子部品をマッチングする際の情報は電極部の一部のエッジ部分の情報のみと必要最小限であるので、処理も高速にできる。例えば、本方式によれば、テンプレートの構成画素数を部品全体をテンプレートとする場合の１／１００以下にすることは容易に実現でき、その場合は１００倍の処理時間で検査を行えることになる。
【００３９】
このように、本実施の形態によれば、部品の本体部と電極部との境界線を除く電極部のエッジ部分５７などの電子部品の電極部からのみ構成されるマッチングテンプレートを用い、電子部品を実装した基板の画像に対してこのテンプレートによる照合処理を行うことにより、電子部品の表面形状のばらつきや、部品表面の輝度むらに影響されず部品位置をほぼ１００％の確率で検査でき、さらに、部品全体の情報から必要部分の情報のみを選択してテンプレートを作成しているため、マッチング演算時の演算量を大幅に減らすことができ、高速に処理を行うことができる。
【００４０】
尚、本実施の形態では抽出したエッジ部分からマッチングテンプレートを構成し、このマッチングプレートを用いて部品検査を行なったが、マッチングテンプレートを予め設定しておき、そのテンプレートを部品検査に使用することも可能であり、予め設定、登録しておく方が、わざわざマッチングテンプレートを作成する必要がなく、時間的なロスを軽減できる。
【００４１】
また部品毎にマッチングテンプレートを登録しておき、検査対象となる部品毎に前記マッチングテンプレートを選択して部品検査を行なうことにより、多種多様な部品を実装する基板に対して最適な部品検査が行なえる。
【００４２】
（実施の形態２）
図１、図２、および図６、図７は本発明の実施の形態２の実装部品検査方法を実行する検査装置を示す。装置の構成については実施の形態１で説明したものと基本的に同構成であり、すでに実施の形態１で説明を記載済みであるので、ここでは説明を省略する。
【００４３】
本実施の形態では実際に製造された部品毎に生じる寸法誤差や、各メーカ毎に多少異なる形状変化に対応できるように、マッチングテンプレートを変形、具体的には寸法の拡大、縮小、あるいは多少の形状変形を行ない、部品との照合処理を行なうものであり、このことにより、多様な部品に関して検査精度を向上させ、また実際の部品間で生じる寸法誤差にも正確な検査を行なえる。
【００４４】
このように構成された実装部品検査装置について、以下、その動作を説明する。
【００４５】
パソコンなどのマイクロコンピュータを主要部として構成されている画像処理手段５は、図６のステップＳ１で、まず検査対象となる部品を画像撮像手段６を用いて撮像し、エッジ抽出手段８により、部品の電極部のみからなるエッジ部分、具体的には部品５３の本体部５４と電極部５５との境界線５６を除く電極部のエッジ部分５７（５７ａ、５７ｂ、５７ｃ）を抽出する。本実施形態では、基板３に実装された部品を撮像してエッジ部分を抽出したが、部品単体を別に撮像処理してエッジ部分を抽出することも可能である。
【００４６】
次にステップＳ２で、テンプレート構成／登録手段１０により抽出された部分から情報としてマッチングテンプレートを構成しデータ登録する。次にステップＳ３で、画像撮像手段６により撮像された電子部品を実装した基板３の電子部品の画像に対して、マッチング演算手段７によりテンプレートの大きさを拡大、縮小したり、形状を多少変形させたりして照合処理を行なう。例えば部品サイズの変動公差の分だけテンプレート構成位置を変化させながら電子部品の照合処理を行い、部品の有無、間違った部品の実装（誤実装）、画素単位における位置や理想実装位置からのズレ量の計測といった実装状態の検査を行なう。ステップＳ４において、部品位置計測手段９により、上記照合処理結果、例えば画像上の部品照合の位置から実際の寸法単位での部品実装位置を計測する。また実際の寸法単位での理想実装位置からのズレ量の検出も同時に行う。以降、基板上の検査が必要な全部品実装位置を検査するまで、Ｓ３、Ｓ４を繰り返す。
【００４７】
具体的には次のように処理するように構成されている。
【００４８】
図７はテンプレート構成位置を変化させる様子を示したものである。図６（ａ）、（ｂ）、（ｃ）は設計公差内での同種電子部品のばらつきを表している。図７では極端に示しているが、実際の電子部品においても部品サイズはある程度の公差を持っているので、いくらかのサイズ変動は常に発生する。３２はこの電子部品を照合処理するために構成したテンプレートである。テンプレート３２は電子部品の電極部の一部のエッジ部分に相当する部分を素の画像から切り出し、テンプレートを構成したものであり、これについては実施の形態１ですでに説明済みであるのでここでは省略する。
【００４９】
このテンプレート３２は、テンプレートを構成する要素に可動性を持たせてあり、この図７では図７（ａ）〜（ｃ）の部品のサイズ変動公差分に合わせて、上下に動くように設定している。このテンプレート３２を用いて、画像撮像手段６により撮像された電子部品を実装した基板３の画像の電子部品に対してテンプレートの構成位置を変化させながらマッチング演算を行うことにより、サイズ変動のある電子部品に対しても部品位置を検査できる。例えば、このテンプレート３２を用いて、カメラ１により撮像された電子部品を実装した基板４の画像の電子部品に対してテンプレート３２を部品のサイズ変動公差範囲内で構成位置を変化させながら、図５で説明したように照合処理を行うことにより、サイズ変動のある電子部品に対しても部品位置計測などの検査を実行できる。なお、この例ではテンプレートを上下に可動するとしたが、左右可動など部品サイズのばらつきによっては必ずしもこれに限るものではない。
【００５０】
このように、本実施の形態によれば、マッチングテンプレートの構成位置を変動させながら照合処理を行い、実装基板上に実装された部品の検査を行なうため、電子部品のサイズ変動（公差）が大きい場合においても、部品位置を検査できる。また多少の形状変化がある場合にもマッチングテンプレートの形状を変形させることにより対応可能となる。
【００５１】
（実施の形態３）
図１、図２、および図８、図９は本発明の実施の形態３の実装部品検査方法を実行する検査装置を示す。装置の構成については実施の形態１で説明したものと基本的に同構成であり、すでに実施の形態１で説明を記載済みであるので、ここでは説明を省略する。
【００５２】
このように構成された実装部品検査装置について、以下、その動作を説明する。
【００５３】
パソコンなどのマイクロコンピュータを主要部として構成されている画像処理手段５は、図６のステップＳ１で、まず画像撮像手段６を用いて検査対象となる部品を撮像し、エッジ抽出手段８により、部品の電極部のみからなるエッジ部分、具体的には部品５３の本体部５４と電極部５５との境界線５６を除く電極部のエッジ部分５７（５７ａ、５７ｂ、５７ｃ）を抽出する。本実施形態では、基板３に実装された部品を撮像してエッジ部分を抽出したが、部品単体を別に撮像処理してエッジ部分を抽出することも可能である。
【００５４】
次にステップＳ２で、テンプレート構成登録手段１０により抽出されたエッジ部分５７から検査用のマッチングテンプレートを構成して登録する。なお、テンプレートを作成するための画像は、例えば電子部品の設計図面から起こしたモデル画を代用として用いることも可能であり、この場合は部品がもつ傷などのイレギュラーな要素が存在しないため、より汎用的なテンプレートを構成可能である。
【００５５】
次にステップＳ３で、テンプレート構成／登録手段１０により、マッチングテンプレートを所定の角度に回転させたテンプレート系列を生成し登録し、次にステップＳ４で、画像撮像手段６により撮像された電子部品を実装した基板３の電子部品の画像に対して、マッチング演算手段７により、回転させたテンプレート系列を用いて電子部品の照合処理（サーチ）を行い部品の有無、間違った部品の実装（誤実装）、画素単位における位置や理想実装位置からのズレ量の計測といった実装状態の検査を行なう。
【００５６】
ステップＳ５において、部品位置計測手段９により、上記照合処理結果、例えば画像上の部品照合の位置から実際の寸法単位での部品実装位置を計測する。また実際の寸法単位での理想実装位置からのズレ量の検出も同時に行う。以降、基板上の検査が必要な全部品実装位置を検査するまで、Ｓ４、Ｓ５を繰り返す。
【００５７】
具体的には次のように処理するように構成されている。
【００５８】
図９（ａ）〜（ｅ）は、エッジ情報をマッチングするテンプレートを所定の角度に回転させて回転系列を生成させる様子を示したものである。エッジ情報をマッチングするテンプレートの作成方法については、実施の形態１ですでに説明済みであるのでここでは省略する。ここで実施の形態１にて説明したテンプレートが図８の（ｃ）であり、図８の（ｃ）のテンプレートを一定角度ごとに回転させることにより、図８（ａ）〜（ｅ）に示す回転テンプレート系列が得られる。画像撮像手段６により撮像された電子部品を実装した基板３の画像に対して、この図８（ａ）〜（ｅ）のテンプレートによりマッチング演算を行うことにより、回転している電子部品に対しても部品位置などの実装状態の検査を行なえる。
【００５９】
このように、本実施の形態によれば、マッチングするテンプレートを所定の角度に回転させて、回転させたテンプレートで照合処理を行い、実装基板上に実装された部品の検査を行なうめに、電子部品の実装角度がばらつく場合においても、部品の検査、特に正確に部品位置を検査できる。
【００６０】
尚、本実施形態では、予めマッチングテンプレートを回転した回転系列を登録して照合処理を行なったが、マッチングプレートを随時回転移動しながら照合処理を行なうことも可能である。
【００６１】
（実施の形態４）
図１、図２、および図１０、図１１は本発明の実施の形態４の実装部品検査方法を実行する検査装置を示す。装置の構成については実施の形態１で説明したものと基本的に同構成であり、すでに実施の形態１で説明を記載済みであるので、ここでは説明を省略する。
【００６２】
このように構成された実装部品検査装置について、以下、その動作を説明する。
【００６３】
パソコンなどのマイクロコンピュータを主要部として構成されている画像処理手段５は、図６のステップＳ１で、まず画像撮像手段６を用いて検査対象となる各メーカの部品を撮像し、エッジ抽出手段８により、部品の電極部のみからなるエッジ部分、具体的には部品５３の本体部５４と電極部５５との境界線５６を除く電極部のエッジ部分５７（５７ａ、５７ｂ、５７ｃ）を抽出する。本実施形態では、基板３に実装された部品を撮像してエッジ部分を抽出したが、部品単体を別に撮像処理してエッジ部分を抽出することも可能である。
【００６４】
次にステップＳ２で、テンプレート構成登録手段１０により抽出されたエッジ部分５７から各メーカ毎の電子部品用マッチングテンプレートを構成して登録する。なお、テンプレートを作成するための画像は、例えば電子部品の設計図面から起こしたモデル画を代用として用いることも可能であり、この場合は部品がもつ傷などのイレギュラーな要素が存在しないため、より汎用的なテンプレートを構成可能である。
【００６５】
次にステップＳ３で、画像撮像手段６により撮像された電子部品を実装した基板３の画像の電子部品に対して、マッチング演算手段７により、照合処理を行い部品の有無、間違った部品の実装（誤実装）、画素単位における位置や理想実装位置からのズレ量の計測といった実装状態の検査を行なう。この際に、良好な検査結果が得られないといった照合処理の評価値が低い場合にはテンプレート切換え手段により自動的に登録済みの各メーカの電子部品用テンプレートを切り替えながら電子部品の照合処理を行い同様の実装状態の検査を行なう。ステップＳ４において部品位置計測手段９により、上記照合処理結果、例えば画像上の部品照合の位置から実際の寸法単位での部品実装位置を計測する。また実際の寸法単位での理想実装位置からのズレ量の検出も同時に行う。以降、基板上の検査が必要な全部品実装位置を検査するまで、Ｓ３、Ｓ４を繰り返す。
【００６６】
具体的には次のように処理するように構成されている。
【００６７】
図１１（ａ）〜（ｃ）はメーカが違う同じ電気特性の種類の部品を表している。プリント基板等に実装される部品は、ＩＣ等の半導体部品と違い、部品の形状規定がそれほど厳しくない。そのため、部品を供給するメーカによって、部品形状や模様が幾分異なることが存在する場合があり、図１１（ａ）〜（ｃ）はそれを極端に示した例である。図１１（ａ）〜（ｃ）の電子部品に対して、既に実施の形態１ですでに説明済みである方法を用いて、マッチングテンプレートを作成することにより図１１（ｄ）〜（ｆ）を得る。
【００６８】
画像撮像手段６により撮像された電子部品を実装した基板３の画像に対して、この図１１（ｄ）〜（ｆ）のマッチングテンプレートによる照合処理を行い部品の有無、間違った部品の実装（誤実装）、画素単位における位置や理想実装位置からのズレ量の計測といった実装状態の検査を行なう。この際に、照合の一致度などの照合処理の評価値に応じて自動的にマッチングプレートを切り替えながらマッチング演算を行うことにより、同じ種類の部品でありながらメーカの違いにより幾分形状が相違している部品に対しても、正確な部品位置の計測などの実装状態の検査が行なえる。
【００６９】
このように、本実施の形態によれば、複数のメーカから買い入れた部品のように形状が幾分相違している部品の検査を行なうため、マッチングテンプレートの形状を複数持ち、照合処理の際の評価値が低い場合に、自動的に別のテンプレートに切り替えて、実装基板上に実装された部品の検査を行なうため、同じ種類の部品でありながらメーカの違いにより幾分形状が相違している部品に対しても、部品の検査、特に正確に部品位置を検査できる。
【００７０】
ここで評価値が低いとは各検査毎に良好な検査結果が得られないといった照合処理の不都合が生じた場合や、照合処理の全体に対して照合処理が有効に作用し、良好な検査が行なえた割合が小さいことを意味する。具体的には所定の検査基準を超えるものが少なく、または無く、更にその割合が大きいものである。
【００７１】
（実施の形態５）
図１、図２、および図１２は本発明の実施の形態５の実装部品検査方法を実行する検査装置を示す。
【００７２】
本実施の形態は、図１に示した実装部品検査装置に対して、画像処理手段５に、マッチングによる照合処理の評価値が高く良好な検査が行なえた場合にテンプレートの使用頻度を更新し記憶するテンプレート使用頻度／記憶手段３４と、照合処理に用いるテンプレートを選択し切り替えを行うテンプレート選択手段３３を付加して、画像処理手段６４とした構成となっている。
【００７３】
また、画像処理手段６４を実現する手段としては、図２０に示すように、図２の画像処理プログラム１１にテンプレート使用頻度／記憶プログラム６６と、テンプレート選択プログラム６５を付加した画像処理プログラム６７を作成し、ＣＤ−ＲＯＭやＣＤ−Ｒ、ＤＶＤ、ＦＤ、ＭＯなどのプログラム記録媒体１７等を用いて、プログラム実行手段１８にインストールすることで実現可能である。またプログラム記憶媒体１７に代えてインターネットなどの通信媒体を介したプログラムであってもよい。
【００７４】
このように構成された実装部品検査装置について、以下、その動作を説明する。
【００７５】
パソコンなどのマイクロコンピュータを主要部として構成されている画像処理手段５は、図６のステップＳ１で、まず画像撮像手段６を用いて検査対象となる各メーカの部品を撮像し、エッジ抽出手段８により、部品の電極部のみからなるエッジ部分、具体的には部品５３の本体部５４と電極部５５との境界線５６を除く電極部のエッジ部分５７（５７ａ、５７ｂ、５７ｃ）を抽出する。本実施の形態では、基板３に実装された部品を撮像してエッジ部分を抽出したが、部品単体を別に撮像処理してエッジ部分を抽出することも可能である。
【００７６】
次にステップＳ２で、テンプレート構成登録手段１０により抽出されたエッジ部分５７から各メーカ毎の電子部品用マッチングテンプレートを構成して登録する。なお、テンプレートを作成するための画像は、例えば電子部品の設計図面から起こしたモデル画を代用として用いることも可能であり、この場合は部品がもつ傷などのイレギュラーな要素が存在しないため、より汎用的なテンプレートを構成可能である。
【００７７】
次にステップＳ３で、テンプレート選択手段３３において、所定時間、特に検査時点から直近のテンプレート使用頻度、最も使われている確立が高い部品のテンプレートを選択する。ステップＳ４において、画像撮像手段６により撮像された電子部品を実装した基板３の電子部品の画像に対して、マッチング演算手段７により、照合処理を行い部品の有無、間違った部品の実装（誤実装）、画素単位における位置や理想実装位置からのズレ量の計測といった実装状態の検査を行なう。この際に、照合の一致度などの照合処理の評価値が低い場合にはテンプレート選択手段３３により自動的に登録済みの各メーカの電子部品用テンプレートを切り替えながら電子部品の照合処理を行い、部品の実装状態の検査を行なう。良好な検査が行なえた場合にステップＳ５において、テンプレート使用頻度／記憶手段３４によりテンプレートの使用頻度を記録更新し、ステップＳ６において、実施形態１のステップＳ４にて説明したように部品位置計測手段９により、マッチング結果から部品実装位置を計測する。このように、優先的に使用頻度の高いテンプレートを用いて探索をおこなうことにより、統計的にテンプレートの切り替え回数を減少させることができ、照合処理の時間短縮を短縮することができ、検査タクトを向上させることができる。
【００７８】
このように、本実施の形態によれば、マッチングによる評価値が高いテンプレートの使用頻度を記憶し、所定の時間、例えば検査時点から直近の時間で最も使用頻度の高いテンプレートを自動で切り替えて、実装基板上に実装された部品の検査を行なうため、常に同順でテンプレートを切り替える場合に比べて、統計的に切り替えの回数を少なくでき、検査タクトを向上させることができる。
【００７９】
ここで評価値が高いとは照合処理の全体に対して照合処理が有効に作用し、良好な検査が行なえた割合が大きいことを意味する。具体的には所定の検査基準を超えるものであり、更にその割合が大きいものである。
【００８０】
（実施の形態６）
図１４、図１５、および図１６、図１７は本発明の実施の形態６の実装部品検査方法を実行する検査装置を示す。なお、同一機能のものについては同一番号を付し、説明を省略する。
【００８１】
本実施の形態は、図１に示した実装部品検査装置に対して、画像撮像手段としてカラー撮像手段を用い、画像処理手段５に、検査対象物の画像から色情報を抽出処理する色抽出手段２６と、画像の輝度をデータ上で変化させる輝度情報変更手段２７を付加して、画像処理手段３７とした構成となっている。また、画像処理手段３７を実現する手段としては、図１５に示すように、図２の画像処理プログラム１１に色抽出プログラム３８と、輝度情報変更プログラム３９を付加した画像処理プログラム４０を作成し、ＣＤ−ＲＯＭやＣＤ−Ｒ、ＤＶＤ、ＦＤ、ＭＯなどのプログラム記録媒体１７等を用いて、プログラム実行手段１８にインストールすることで実現可能である。またプログラム記憶媒体１７に代えてインターネットなどの通信媒体を介したプログラムであってもよい。
【００８２】
このように構成された実装部品検査装置について、以下、その動作を説明する。
【００８３】
パソコンなどのマイクロコンピュータを主要部として構成されている画像処理手段４０は、図１６のステップＳ１で、まず画像撮像手段６を用いて検査対象となる部品を撮像し、エッジ抽出手段８により、部品５３の本体部５４と電極部５５との境界線５６を除く電極部のエッジ部分５７（５７ａ、５７ｂ、５７ｃ）を抽出する。本実施形態では、基板３に実装された部品を撮像してエッジ部分を抽出したが、部品単体を別に撮像処理してエッジ部分を抽出することも可能である。
【００８４】
次にステップＳ２で、テンプレート構成登録手段１０により抽出されたエッジ部分５７から検査用のマッチングテンプレートを構成して登録する。なお、テンプレートを作成するための画像は、例えば電子部品の設計図面から起こしたモデル画を代用として用いることも可能であり、この場合は部品がもつ傷などのイレギュラーな要素が存在しないため、より汎用的なテンプレートを構成可能である。
【００８５】
次にステップＳ３において、色情報抽出手段３５により、電子部品を実装した基板の画像４に対して、あらかじめ記憶された基板電極（ランド）部の色情報に基づいて基板電極部を抽出し、次にステップＳ４で輝度情報変更手段３６により、基板ランド部と半田部分とがなすエッジ部分と、電子部品の電極部と基板ランド上の半田部分とがなすエッジ部分が近い形状にならないよう、抽出した基板電極部の輝度を変化させる。次にステップＳ５で、電子部品を実装した基板４の画像に対して、マッチング演算手段７により登録したテンプレートを用いて電子部品の照合を行い、部品の有無、間違った部品の実装（誤実装）、画素単位における位置や理想実装位置からのズレ量の計測といった実装状態の検査を行なう。ステップＳ６において、実施形態１のステップＳ４にて説明したように部品位置計測手段１０により、画像上の部品照合位置から実際の部品実装位置を計測し、さらに理想実装位置からのズレ量の検出も同時に行う。以降、基板上の検査が必要な全部品を検査するまで、ステップＳ３〜Ｓ６を繰り返す。
【００８６】
具体的には次のように処理するように構成されている。
【００８７】
図１７は基板ランド部と半田とがなすエッジ部分と、電子部品の電極部と基板ランド上の半田部分とがなすエッジ部分が近しい形状にならないよう、抽出した基板ランド部の輝度を変化させる様子を示したものである。図１７において、４１は基板上に実装された電子部品を撮像した画像、４２は電子部品、４３は基板ランド部、４４は電子部品を接合するための半田である。また、４５は基板ランド部４３と半田部４４とがなすエッジ部分、４６は電子部品の電極部と半田４４とがなすエッジ部分を表している。
【００８８】
図１７に示すように、基板ランド部４３と半田部４４とがなすエッジ部分４５と、電子部品の電極部と半田４４とがなすエッジ部分４６が近しい形状になってしまう場合がある。この場合、テンプレート２４を用いて、画像４１上の電子部品４２をサーチしようとした場合、エッジ部分４５を間違って認識してしまう場合が発生する。これを避けるために、図１７（ａ）〜（ｃ）に示すような課程を踏んで、誤認識要因を排除する。まず、（ａ）において、あらかじめ記憶された基板ランド部４３の色情報から基板ランド部４３の抽出を行い、（ｂ）の網目部４７を得る。次に、抽出した網目部４７を、（ｃ）に示すように半田部４４と同色にしてしまうことにより誤認識要因を消してしまうことができる。
【００８９】
これにより、基板ランド部４３と半田部４４とのエッジ部分４５を間違って認識してしまう問題をなくすことができる。基板ランド部４３を抽出する際に色情報を用いる理由としては、モノクロの輝度情報では、明るさのみの尺度で画像が表されるため、特に電子部品表面において基板ランド部と同じように見える部位が存在する場合があり、良好な基板ランド部のみを抽出できない場合があるためである。色としては基板ランド部と電子部品とでははっきり異なっているため、安定して判別を行うことができる。
【００９０】
以上により、あらかじめ記憶された基板電極（ランド）部の色情報から基板ランド部の抽出を行い、基板ランド部と半田部分とがなすエッジ部分と、電子部品の電極部と基板電極上の半田部分とがなすエッジ部分が近しい形状にならないよう、抽出した基板電極部の輝度を変化させることにより、電子部品サーチ時の誤認識要因を排除する実装位置計測方法のために、基板上の誤認識要因を排除することができ、部品位置計測などの実装状態の検査の安定度を高めることができる。本実施の形態１から６の検査はプログラムにより実行することが可能である。
【００９１】
本実施の形態では、部品の電極部のみからなるエッジ部分を用いたマッチングテンプレートによる検査を説明したが、実施の形態２、実施の形態６は、この実施形態でなく、部品全体のテンプレートを使用する場合などの各種テンプレ−トマッチング技術にも適用可能であり、同様の効果を奏する。
【００９２】
また実施の形態４、実施の形態５についても同様に各種テンプレ−トマッチング技術にも適用可能であり、同様の効果を奏する。
【発明の効果】
【００９３】
以上のように本発明の実装部品検査方法および装置によれば、電子部品のエッジ部分から構成されるテンプレートを用い、電子部品を実装した基板の画像に対してこのテンプレートによる照合処理を行うことにより、電子部品の多少の形状ばらつきや、部品表面の輝度むらに影響されず部品を検査でき、さらに高速に処理を行うことができるという効果を有する。
【図面の簡単な説明】
【００９４】
【図１】本発明の実施の形態１における実装部品検査装置の構成を示す図
【図２】同実施の形態における画像処理手段のプログラムによる実現手段を示す図
【図３】同実施の形態における実装部品検査方法を示すフローチャート
【図４】同実施の形態においてテンプレートを作成する方法を説明する図
【図５】同実施の形態において電子部品の実装状態を検査する方法を説明する図
【図６】本発明の実施の形態２における実装部品検査方法を示すフローチャート
【図７】同実施の形態においてテンプレートを作成する方法を説明する図
【図８】本発明の実施の形態３における実装部品検査方法を示すフローチャート
【図９】同実施の形態においてテンプレートを作成する方法を説明する図
【図１０】本発明の実施の形態４における実装部品検査方法を示すフローチャート
【図１１】同実施の形態においてテンプレートを作成する方法を説明する図
【図１２】本発明の実施の形態５における実装部品検査装置の構成を示す図
【図１３】同実施形態における実装部品検査方法を示すフローチャート
【図１４】本発明の実施の形態６における実装部品検査装置の構成を示す図
【図１５】同実施の形態における画像処理手段のプログラムによる実現手段を示す図
【図１６】同実施の形態における実装部品検査方法を示すフローチャート
【図１７】同実施の形態において実装部品検査方法を説明するための補足図
【図１８】従来方法を説明する図
【図１９】電子部品の構成図
【図２０】本発明の実施の形態５における画像処理手段のプログラムによる実現手段を示す図
【符号の説明】
【００９５】
１ カメラ
２ 照明
３ 基板
４ ステージ
５ 画像処理手段
６ 画像撮像手段
７ マッチング演算手段
８ エッジ部分抽出手段
９ 部品位置計測手段
１０ テンプレート構成／登録手段
１１ 画像処理プログラム
１２ 画像撮像プログラム
１３ マッチング演算プログラム
１４ エッジ部分抽出プログラム
１５ 部品位置計測プログラム
１６ テンプレート構成／登録プログラム
１７ プログラム記憶媒体
１８ プログラム実行手段
１９ ＳＯＢＥＬテンプレート
２０ 電子部品撮像画像
２１ 電子部品
２２ エッジ検出テンプレート適用範囲
２３ エッジ検出テンプレート適用結果
２４ エッジ抽出部分を組み合わせて作成したテンプレート
２４ａ テンプレートの部品電極部部分
２５ｂ テンプレートの部品背景部分
２６ 基板ランド
２７ 電子部品
２８ 半田
２９ 理想の部品実装状態
３０ 実際の部品実装状態
３１ 理想位置とのズレ量
３２ 電子部品のサイズ変動に合わせて可動域をもつテンプレート
３３ テンプレート選択手段
３４ テンプレート使用頻度更新／記憶手段
３５ 色情報抽出手段
３６ 輝度情報変更手段
３７ 画像処理手段
３８ 色情報抽出プログラム
３９ 輝度情報変更プログラム
４０ 画像処理プログラム
４１ 基板上に実装された電子部品を撮像した画像
４２ 電子部品
４３ 基板ランド
４４ 電子部品を接合するための半田部
４５ 基板ランド部と半田部とがなすエッジ部分
４６ 電子部品の電極部と半田部分とがなすエッジ部分
４７ 抽出された基板ランド部
５０、５３ 電子部品
５１、５４ 電子部品の本体部
５２、５５ 電子部品の電極部
５６ 電子部品の本体部と電極部との境界線
５７ エッジ部分
５８ マッチングテンプレート
５９ 部品が実装された基板
６０ 電子部品
６１ 基板上のランド
６２ 半田
６３ エッジ検出処理領域
６４ 画像処理手段
６５ テンプレート選択プログラム
６６ テンプレート使用頻度更新／記憶手段
６７ 画像処理プログラム
【０００１】
本発明は、プリント基板上に実装された電子部品のずれや有無を検査する実装部品検査装置に関するものである。
【従来の技術】
【０００２】
近年の電気製品の小型軽量化により、電気製品の主たる構成要素であるプリント基板における小型化は著しいものがあり、プリント基板の小型化に伴う部品の実装密度の増大や部品の小型化により、人間の目視による検査を困難にしてきている。そのため、これらプリント基板上の実装状態を自動で検査し、かつ生産タクトの向上に伴いより高速に検査を行う検査装置が求められている。以下、プリント基板上に実装された部品の有無および位置計測を例にしながら、従来の電子部品検査方法について説明する。
【０００３】
図１８は従来の電子部品位置計測方法の例を示すものである。図１８（ａ）はテンプレートマッチングにより部品実装検査を行う様子を示したもの、図１８（ｂ）はエッジ検出により部品外形を探索し部品実装検査を行う様子を示したものである。図１８（ａ）において、５８は部品を検査するためのマッチングテンプレート、５９は部品が実装されたプリント基板、６０はプリント基板上に実装された電子部品、６１は基板上のランド、６２は部品と基板を接合する半田である。また、図１８（ｂ）において６３はエッジ検出を行うための設定領域である。以上のように構成された電子部品検査方法について、以下、その動作について説明する。
【０００４】
まず、図１８（ａ）においては、電子部品６０と同種類の部品を用いてマッチングテンプレート５８を作成する。すなわちマッチング用のテンプレート５８は、検査すべき電子部品の基準となる外形や電極の大きさがほぼ同じ電子部品のマスターとして作成される。そしてプリント基板５９を撮像した画像に対して、図に示すようにマッチングテンプレート５８を移動させながらマッチング演算による照合を行い、部品位置を探索する。部品の照合とは、マッチング用のテンプレート５８とプリント基板５９上の部品６０との外形全体や電極全体の一致度を検査することである。また、図１８（ｂ）においては、部品実装位置に対して、部品外形が存在するであろう部位にあらかじめエッジ検出を行う領域６３を設定しておき、矢印の方向にエッジ検出を行って部品外形を検出し、すべてのエッジ検出が成功すればすなわち部品外形を検出できれば、部品が存在する判定して、エッジ検出点の幾何演算により部品実装位置を計算する。
【発明が解決しようとする課題】
【０００５】
しかしながら、プリント基板に実装される部品は、色や模様、またはサイズのばらつきが大きく、さらにメーカにより形状が幾分異なることなどがあるという問題を有している。特に部品の外装部となる本体部は表面形状のばらつきや、部品表面の輝度むらがあり、電子部品の表面の見え方の変化が大きく、検査に影響を与える恐れがある。
【０００６】
また、実装精度についても、多少の傾きを持つ程度であれば品質上問題がないため、部品検査を行う際に電子部品が必ずしも完全に正確な角度で実装されているとは限らないという問題もある。また逆に大きく装着角度ずれをおこしている場合にはそれがどのくらいの角度であるかを計測して不具合解析へとつなげたい意向もある。
【０００７】
そのため図１８に示すように部品のマスターをマッチング用のテンプレートとしてひとつ定め、サーチを行う方法では、このような部品の持つばらつきにマッチング用のテンプレートが対応していないため、マッチング時の評価値を落とす原因になり、部品検査を正確に行うことができず、検査率はせいぜい９８％程度であった。これは１００回検査を行うと２回は検査ミスを発生する計算であり、実際の生産においては、１枚の基板に実装される部品点数を約１０００点とし、１日に１０００枚の基板を生産すると仮定すると、ほぼすべての生産基板において検査ミスが発生することになり、実際の使用に耐えうるものではなかった。
【０００８】
さらに、部品画像を用いたテンプレートマッチングは非常に多くの演算回数を実行する。例えば１００×１００画素の部品テンプレートを用いて、１０００×１０００画素の画像をサーチする場合を考えると、演算回数は１００×１００×１０００×１０００＝１００００００００００回にもなり、多くの処理時間を必要とするため、検査タクトを向上させることが難しいという問題を有していた。
【０００９】
また、エッジ検出による方法は、演算回数少ないため処理時間は少なくて済むが、電子部品の色むら等により、電子部品の内部の線を輪郭であると誤認識したり、また基板上の電子部品以外の線に対しても反応してしまい誤認識をするという問題があり、やはり検査率は同等であった。
【００１０】
本発明は上記の問題点を解決し、部品のばらつきや実装角度のばらつきがある場合においても、高速に、かつ安定した電子部品実装位置検査を行うことができる実装部品検査方法を提供することを目的としている。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、本発明の実装部品検査方法は、電子部品のエッジ部分から抽出されたテンプレートを用いて前記電子部品の画像に対して照合処理を行って、前記電子部品の実装状態を検査する際に、前記電子部品のサイズ公差内で前記テンプレートを調整することを特徴とする。
【００１２】
これにより、電子部品の輪郭情報（エッジ部分）を用いて照合処理を行うことから、電子部品自体が持つ形状のばらつきや、模様のばらつき、部品表面の輝度むらに影響されず部品位置を検査でき、さらに、部品全体の情報から必要部分のみを選択してテンプレートを作成しているため、マッチング演算時の演算量を減らすことができ、高速に処理を行うことができる。
【００１３】
本発明の第１様態は、本体部と電極部とを有する電子部品を実装した基板に対して前記電子部品の実装状態を検査する実装部品検査方法、装置、プログラムであって、前記電子部品における前記本体部と前記電極部との境界線を除く前記電極部のエッジ部分から抽出された情報としてマッチングテンプレートを用いて電子部品を実装した基板の電子部品の画像に対して照合処理を行い、前記基板上に実装された部品の有無、誤実装、部品の実装位置などの実装状態を検査するため、電子部品の多少の形状ばらつきや、部品表面の輝度むらに影響されず部品位置を検査でき、さらに高速に処理を行うことができるという特徴を有する。
【００１４】
本発明の第２様態は、テンプレートの形状や寸法などの構成位置を変動させながら電子部品との照合処理を行い、基板上に実装された部品の実装状態を検査するため電子部品のサイズばらつきに影響されず、部品位置を検査できるという特徴を有する。
【００１５】
本発明の第３様態は、マッチングテンプレートを所定の角度に回転させて、回転させたテンプレートで照合処理を行い、基板上に実装された部品の実装状態を検査するため、電子部品の実装角度がばらつく場合においても、正確に部品位置を検査できるという特徴を有する。
【００１６】
本発明の第４様態は、形状や寸法が異なる複数の部品毎にマッチングテンプレートを複数有し、照合処理の評価値が低い場合に、別のマッチングテンプレートに切り替えて、実装基板上に実装された部品の実装状態を検査するため、同じ種類の部品でありながらメーカの違いなどにより幾分形状が相違している部品に対しても、正確に部品の検査できるという特徴を有する。
【００１７】
本発明の第５様態は、照合処理の評価値が高いテンプレートの使用頻度を記憶し、所定時間内の最も使用頻度の高いテンプレートを選択し、基板上に実装された部品の実装状態を検査するため、常に同順でテンプレートを切り替える場合に比べて、統計的に切り替えの回数を少なくでき、検査タクトを向上させることができるという特徴を有する。
【００１８】
本発明の第６様態は、基板の電極部、電子部品の電極部、半田部分の色情報を抽出し、抽出した基板の電極部の輝度を変化させ、半田部分と基板の電極部との輝度を略同一化して半田部分と基板の電極部とのエッジ部分を消去し、基板電極部と半田部分とがなすエッジ部分と、電子部品の電極部と基板の電極上の半田部分とがなすエッジ部分が近い形状にならないようにして部品の実装状態の検査を行なう。
【００１９】
つまり、あらかじめ記憶された基板電極部の色情報から基板電極部の抽出を行い、基板電極部と半田部分とがなすエッジ部分と、電子部品の電極部と基板電極上の半田部分とがなすエッジ部分が近しい形状にならないよう、抽出した基板電極部の輝度を変化させることにより、電子部品サーチ時の誤認識要因を排除する実装部品検査方法のために、基板上の誤認識要因を排除することができ、部品位置計測の安定度を高めることができる。
【００２０】
以下、本発明の実装部品検査方法および装置の一実施の形態について図１から図１７、１９を用いて説明する。なお、従来と同一機能のものには同一符号を示す。
【００２１】
（実施の形態１）
図１〜図４は本発明の実装部品検査方法を実行する実装部品検査装置を示す。ここで検査対象となる電子部品５０、５３は図１９に示すように電気回路を保護する外装部である本体部５１、５４と電気的な接合箇所となる電極部５２、５５から構成されている。言い換えればプリント基板上に実装され半田付けによりプリント基板の電極と接合される電極部５２、５５と、それ以外の部分とから構成されている。本実施の形態では図１９（ｃ）、（ｄ）に示すチップ部品形態の部品を用いて説明する。
【００２２】
図１において、ステージ４は電子部品５３が実装された基板３を載置する。画像撮像手段６の一例であるカメラ１は基板３を撮像する。照明部２は、撮像時に基板３を照らす。画像処理手段５は、カメラ１で撮像された画像を処理して実装した部品（以下、実装部品と称す）の有無や部品位置の計測などの実装状態の検査を行なう。
【００２３】
具体的に画像処理手段５は、撮像された画像から検査対象となる対象物（本実施形態では実装部品）の輪郭となるエッジ部分５７（５７ａ、５７ｂ、５７ｃ）を抽出するエッジ抽出手段８と、エッジ抽出手段８により抽出されたエッジ部分５７から検査に用いる情報の一例であるマッチング用のテンプレート（以下、マッチングテンプレートと称す）２４を構成・登録したり、予め作成したテンプレートを登録しておくテンプレート構成／登録手段１０と、撮像した画像に関して検査対象である実装部品とマッチングテンプレートとの一致を検査したり、あるいは一致度のずれ量を画素数単位で計測するマッチング演算手段７と、実装部品とマッチングテンプレートとの一致度のずれ量を画素数から実際の寸法に換算する部品位置計測手段９と、で構成されている。
【００２４】
ここでマッチングテンプレートは、画像から直接切出したものでもよく、画像を加工して生成したものでもよい。
【００２５】
画像撮像手段６からの画像処理手段５を実現する手段としては、各処理をプログラム実行手段１８であるパソコン等で実行できるようにプログラム化し、図２に示すように、画像撮像手段からの画像を処理する画像撮像プログラム１２と、画像処理手段の各機能を実行するマッチング演算プログラム１３と、エッジ部分抽出プログラム１４と、部品位置計測プログラム１５と、テンプレート構成／登録プログラム１６とで構成されている画像処理プログラム１１を作成し、ＣＤ−ＲＯＭやＣＤ−Ｒ、ＤＶＤ、ＦＤ、ＭＯなどのプログラム記録媒体１７等を用いて、プログラム実行手段１８にインストールすることで実現可能である。またプログラム記憶媒体１７に代えてインターネットなどの通信媒体を介したプログラムであってもよい。
【００２６】
このように構成された実装部品検査装置について、以下、その動作を説明する。
【００２７】
パソコンなどのマイクロコンピュータを主要部として構成されている画像処理手段５は、図３のステップＳ１で、まず画像撮像手段６を用いて検査対象となる部品を撮像し、エッジ抽出手段８により、部品５３の本体部５４と電極部５５との境界線５６を除く電極部のエッジ部分５７（５７ａ、５７ｂ、５７ｃ）を抽出する。本実施形態では、基板３に実装された部品を撮像してエッジ部分を抽出したが、部品単体を別に撮像処理してエッジ部分を抽出することも可能である。
【００２８】
次にステップＳ２で、テンプレート構成登録手段１０により抽出されたエッジ部分５７から検査用のマッチングテンプレートを構成して登録する。なお、テンプレートを作成するための画像は、例えば電子部品の設計図面から起こしたモデル画を代用として用いることも可能であり、この場合は部品がもつ傷などのイレギュラーな要素が存在しないため、より汎用的なテンプレートを構成可能である。
【００２９】
次にステップＳ３で、画像撮像手段６により撮像された電子部品を実装した基板３の画像に対して、マッチング演算手段７により登録されたマッチングテンプレートを用いて実装部品の照合処理を行い、実装部品は存在するのか？、マッチングテンプレートと実装部品とが寸法的に、あるいは形状的に一致するのか？、理想の実装位置からのズレ量はそれくらいか？などの部品の有無、間違った部品の実装（誤実装）、画素単位における位置や理想実装位置からのズレ量の計測といった実装状態の検査を行なう。ステップＳ４において、部品位置計測手段９により、上記照合処理結果、例えば画像上の部品照合の位置から実際の寸法単位での部品実装位置を計測する。また実際の寸法単位での理想実装位置からのズレ量の検出も同時に行う。以降、基板上の検査が必要な全部品実装位置を検査するまで、ステップＳ３、Ｓ４を繰り返す。
【００３０】
具体的には次のように処理するように構成されている。
【００３１】
図４は電子部品５３の本体部５４と電極部５５との境界線５６を除く電極部のエッジ部分５７（５７ａ、５７ｂ、５７ｃ）を抽出し、抽出された部分からマッチングテンプレートを構成する様子を示したものである。図４のエッジ検出フィルタ１９はエッジ部分を抽出する際に用いる。本実施形態では一般的なエッジ検出フィルタであるＳＯＢＥＬフィルタを例として表しているが、エッジを抽出できるものであればフィルタ自体は何でも良く、またフィルタ処理によるエッジ検出である必要もない。２０はテンプレートを作成する素となる電子部品の画像、２１は画像２０内の電子部品部分、２２はエッジ検出フィルタを作用させる領域、２３はエッジ検出フィルタを適用して部品の電極部５５のエッジ部分５７を抽出した結果、２４はエッジ部分抽出結果２３をもとに電子部品５３を照合するために構成したマッチングテンプレートである。
【００３２】
図４において、まずエッジ検出フィルタ１９を用いて、電子部品画像２０中の電子部品部分２１の電極部の一部に対して、エッジ検出フィルタ適用範囲２２を設定する。このフィルタを画像に作用させると、電子部品の輪郭のみが検出されてエッジ検出結果２３が得られる。なお、フィルタ範囲を電子部品全体に設定していないのは、電子部品の表面形状のばらつきや、模様のばらつき、あるいは輝度むらの影響が最も少ないのが、電子部品電極部の特に先端部分の輪郭であるからである。
【００３３】
エッジ検出結果２３では電子部品部分２１の電極部５５と背景とのエッジ部分５７のみが検出されているのがわかる。この電極部５５のエッジ部分５７に相当する部分を画像２０から切り出し、マッチングテンプレート２４を構成する。
【００３４】
このテンプレート２４を用いて、カメラ１により撮像された電子部品を実装した基板３の画像に対して部品実装検査を行う様子を示したのが図５である。図５（ａ）（ｂ）は基板３上に実装された部品位置を計測する例を示している。図５（ａ）（ｂ）において、２４ａはテンプレート２４の部品電極部分、２４ｂはテンプレート２４の部品背景部分、２６は電子部品を実装する基板上のランド、２７は基板上に実装された電子部品（上記電子部品５３や電子部品部分２１に相当する）、２８はランド２６と部品２７とを接合する半田である。
【００３５】
手順としては、図５（ａ）に示すように、テンプレート２４を画像左上から右方向に向けて移動し、右端に移動完了の後、下方向にずらして同様に順に移動しながらマッチング演算により各画像位置での照合を行っていき、図５（ｂ）に示すように、テンプレートの部品電極部分２４ａが電子部品２７の電極部分に重なり、またテンプレートの部品背景部分２５が電子部品２７の背景（ここでは半田２８）に重なったとき照合が成功し画像上の部品位置が計測される。すなわちテンプレート２４の電極部分２４ａと背景部分２４ｂとの境界線を電子部品２７の電極部分の輪郭と一致させるように照合処理を行なう。この照合処理により、部分の有無検査、マッチングテンプレートと実装部品とが寸法的に、あるいは形状的に一致に基づく間違った部品の実装（誤実装）検査といった実装状態の検査を行なう。
【００３６】
なお、マッチング演算方式としては特に規定しないが、単純な画素濃度差分演算や、正規化相関のような相関演算が考えられる。また、図５（ｃ）は実装ずれを起こしている部品位置を計測した例を示したものである。図５（ｃ）において、２９は部品の理想実装位置、３０は実装ずれを起こした部品、３１は計測された理想位置からのずれを表している。図５（ｃ）に示すように、画素単位における位置や理想実装位置からのズレ量の計測を行い、画像上の部品照合の位置やズレ量から実際の寸法単位での部品実装位置を変換計測する。このように実装部品の位置をテンプレートマッチングによる照合により計測した後、あらかじめ基板のＣＡＤデータなどから算出されている理想実装位置２９との差を演算することで、理想位置からのズレ量を計測する。
【００３７】
尚、本実施の形態ではテンプレートを順に移動させていたが、ＣＡＤデータやＮＣデータなどの予め設定されている実装位置付近を撮像し、その画像に対してテンプレートによる照合処理を行なう方が、処理時間が短縮することが可能である。
【００３８】
以上により、見え方の変化が大きい電子部品の本体部の情報を用いずに照合処理となるマッチングを行うため、電子部品の表面形状のばらつきや、部品表面の輝度むらに影響されずに実装位置の計測など部品実装検査を行なうことができる。これにより、電子部品表面に見え方のばらつきがある場合でも、ほぼ１００％の検査を行うことが可能となる。また、電子部品をマッチングする際の情報は電極部の一部のエッジ部分の情報のみと必要最小限であるので、処理も高速にできる。例えば、本方式によれば、テンプレートの構成画素数を部品全体をテンプレートとする場合の１／１００以下にすることは容易に実現でき、その場合は１００倍の処理時間で検査を行えることになる。
【００３９】
このように、本実施の形態によれば、部品の本体部と電極部との境界線を除く電極部のエッジ部分５７などの電子部品の電極部からのみ構成されるマッチングテンプレートを用い、電子部品を実装した基板の画像に対してこのテンプレートによる照合処理を行うことにより、電子部品の表面形状のばらつきや、部品表面の輝度むらに影響されず部品位置をほぼ１００％の確率で検査でき、さらに、部品全体の情報から必要部分の情報のみを選択してテンプレートを作成しているため、マッチング演算時の演算量を大幅に減らすことができ、高速に処理を行うことができる。
【００４０】
尚、本実施の形態では抽出したエッジ部分からマッチングテンプレートを構成し、このマッチングプレートを用いて部品検査を行なったが、マッチングテンプレートを予め設定しておき、そのテンプレートを部品検査に使用することも可能であり、予め設定、登録しておく方が、わざわざマッチングテンプレートを作成する必要がなく、時間的なロスを軽減できる。
【００４１】
また部品毎にマッチングテンプレートを登録しておき、検査対象となる部品毎に前記マッチングテンプレートを選択して部品検査を行なうことにより、多種多様な部品を実装する基板に対して最適な部品検査が行なえる。
【００４２】
（実施の形態２）
図１、図２、および図６、図７は本発明の実施の形態２の実装部品検査方法を実行する検査装置を示す。装置の構成については実施の形態１で説明したものと基本的に同構成であり、すでに実施の形態１で説明を記載済みであるので、ここでは説明を省略する。
【００４３】
本実施の形態では実際に製造された部品毎に生じる寸法誤差や、各メーカ毎に多少異なる形状変化に対応できるように、マッチングテンプレートを変形、具体的には寸法の拡大、縮小、あるいは多少の形状変形を行ない、部品との照合処理を行なうものであり、このことにより、多様な部品に関して検査精度を向上させ、また実際の部品間で生じる寸法誤差にも正確な検査を行なえる。
【００４４】
このように構成された実装部品検査装置について、以下、その動作を説明する。
【００４５】
パソコンなどのマイクロコンピュータを主要部として構成されている画像処理手段５は、図６のステップＳ１で、まず検査対象となる部品を画像撮像手段６を用いて撮像し、エッジ抽出手段８により、部品の電極部のみからなるエッジ部分、具体的には部品５３の本体部５４と電極部５５との境界線５６を除く電極部のエッジ部分５７（５７ａ、５７ｂ、５７ｃ）を抽出する。本実施形態では、基板３に実装された部品を撮像してエッジ部分を抽出したが、部品単体を別に撮像処理してエッジ部分を抽出することも可能である。
【００４６】
次にステップＳ２で、テンプレート構成／登録手段１０により抽出された部分から情報としてマッチングテンプレートを構成しデータ登録する。次にステップＳ３で、画像撮像手段６により撮像された電子部品を実装した基板３の電子部品の画像に対して、マッチング演算手段７によりテンプレートの大きさを拡大、縮小したり、形状を多少変形させたりして照合処理を行なう。例えば部品サイズの変動公差の分だけテンプレート構成位置を変化させながら電子部品の照合処理を行い、部品の有無、間違った部品の実装（誤実装）、画素単位における位置や理想実装位置からのズレ量の計測といった実装状態の検査を行なう。ステップＳ４において、部品位置計測手段９により、上記照合処理結果、例えば画像上の部品照合の位置から実際の寸法単位での部品実装位置を計測する。また実際の寸法単位での理想実装位置からのズレ量の検出も同時に行う。以降、基板上の検査が必要な全部品実装位置を検査するまで、Ｓ３、Ｓ４を繰り返す。
【００４７】
具体的には次のように処理するように構成されている。
【００４８】
図７はテンプレート構成位置を変化させる様子を示したものである。図６（ａ）、（ｂ）、（ｃ）は設計公差内での同種電子部品のばらつきを表している。図７では極端に示しているが、実際の電子部品においても部品サイズはある程度の公差を持っているので、いくらかのサイズ変動は常に発生する。３２はこの電子部品を照合処理するために構成したテンプレートである。テンプレート３２は電子部品の電極部の一部のエッジ部分に相当する部分を素の画像から切り出し、テンプレートを構成したものであり、これについては実施の形態１ですでに説明済みであるのでここでは省略する。
【００４９】
このテンプレート３２は、テンプレートを構成する要素に可動性を持たせてあり、この図７では図７（ａ）〜（ｃ）の部品のサイズ変動公差分に合わせて、上下に動くように設定している。このテンプレート３２を用いて、画像撮像手段６により撮像された電子部品を実装した基板３の画像の電子部品に対してテンプレートの構成位置を変化させながらマッチング演算を行うことにより、サイズ変動のある電子部品に対しても部品位置を検査できる。例えば、このテンプレート３２を用いて、カメラ１により撮像された電子部品を実装した基板４の画像の電子部品に対してテンプレート３２を部品のサイズ変動公差範囲内で構成位置を変化させながら、図５で説明したように照合処理を行うことにより、サイズ変動のある電子部品に対しても部品位置計測などの検査を実行できる。なお、この例ではテンプレートを上下に可動するとしたが、左右可動など部品サイズのばらつきによっては必ずしもこれに限るものではない。
【００５０】
このように、本実施の形態によれば、マッチングテンプレートの構成位置を変動させながら照合処理を行い、実装基板上に実装された部品の検査を行なうため、電子部品のサイズ変動（公差）が大きい場合においても、部品位置を検査できる。また多少の形状変化がある場合にもマッチングテンプレートの形状を変形させることにより対応可能となる。
【００５１】
（実施の形態３）
図１、図２、および図８、図９は本発明の実施の形態３の実装部品検査方法を実行する検査装置を示す。装置の構成については実施の形態１で説明したものと基本的に同構成であり、すでに実施の形態１で説明を記載済みであるので、ここでは説明を省略する。
【００５２】
このように構成された実装部品検査装置について、以下、その動作を説明する。
【００５３】
パソコンなどのマイクロコンピュータを主要部として構成されている画像処理手段５は、図６のステップＳ１で、まず画像撮像手段６を用いて検査対象となる部品を撮像し、エッジ抽出手段８により、部品の電極部のみからなるエッジ部分、具体的には部品５３の本体部５４と電極部５５との境界線５６を除く電極部のエッジ部分５７（５７ａ、５７ｂ、５７ｃ）を抽出する。本実施形態では、基板３に実装された部品を撮像してエッジ部分を抽出したが、部品単体を別に撮像処理してエッジ部分を抽出することも可能である。
【００５４】
次にステップＳ２で、テンプレート構成登録手段１０により抽出されたエッジ部分５７から検査用のマッチングテンプレートを構成して登録する。なお、テンプレートを作成するための画像は、例えば電子部品の設計図面から起こしたモデル画を代用として用いることも可能であり、この場合は部品がもつ傷などのイレギュラーな要素が存在しないため、より汎用的なテンプレートを構成可能である。
【００５５】
次にステップＳ３で、テンプレート構成／登録手段１０により、マッチングテンプレートを所定の角度に回転させたテンプレート系列を生成し登録し、次にステップＳ４で、画像撮像手段６により撮像された電子部品を実装した基板３の電子部品の画像に対して、マッチング演算手段７により、回転させたテンプレート系列を用いて電子部品の照合処理（サーチ）を行い部品の有無、間違った部品の実装（誤実装）、画素単位における位置や理想実装位置からのズレ量の計測といった実装状態の検査を行なう。
【００５６】
ステップＳ５において、部品位置計測手段９により、上記照合処理結果、例えば画像上の部品照合の位置から実際の寸法単位での部品実装位置を計測する。また実際の寸法単位での理想実装位置からのズレ量の検出も同時に行う。以降、基板上の検査が必要な全部品実装位置を検査するまで、Ｓ４、Ｓ５を繰り返す。
【００５７】
具体的には次のように処理するように構成されている。
【００５８】
図９（ａ）〜（ｅ）は、エッジ情報をマッチングするテンプレートを所定の角度に回転させて回転系列を生成させる様子を示したものである。エッジ情報をマッチングするテンプレートの作成方法については、実施の形態１ですでに説明済みであるのでここでは省略する。ここで実施の形態１にて説明したテンプレートが図８の（ｃ）であり、図８の（ｃ）のテンプレートを一定角度ごとに回転させることにより、図８（ａ）〜（ｅ）に示す回転テンプレート系列が得られる。画像撮像手段６により撮像された電子部品を実装した基板３の画像に対して、この図８（ａ）〜（ｅ）のテンプレートによりマッチング演算を行うことにより、回転している電子部品に対しても部品位置などの実装状態の検査を行なえる。
【００５９】
このように、本実施の形態によれば、マッチングするテンプレートを所定の角度に回転させて、回転させたテンプレートで照合処理を行い、実装基板上に実装された部品の検査を行なうめに、電子部品の実装角度がばらつく場合においても、部品の検査、特に正確に部品位置を検査できる。
【００６０】
尚、本実施形態では、予めマッチングテンプレートを回転した回転系列を登録して照合処理を行なったが、マッチングプレートを随時回転移動しながら照合処理を行なうことも可能である。
【００６１】
（実施の形態４）
図１、図２、および図１０、図１１は本発明の実施の形態４の実装部品検査方法を実行する検査装置を示す。装置の構成については実施の形態１で説明したものと基本的に同構成であり、すでに実施の形態１で説明を記載済みであるので、ここでは説明を省略する。
【００６２】
このように構成された実装部品検査装置について、以下、その動作を説明する。
【００６３】
パソコンなどのマイクロコンピュータを主要部として構成されている画像処理手段５は、図６のステップＳ１で、まず画像撮像手段６を用いて検査対象となる各メーカの部品を撮像し、エッジ抽出手段８により、部品の電極部のみからなるエッジ部分、具体的には部品５３の本体部５４と電極部５５との境界線５６を除く電極部のエッジ部分５７（５７ａ、５７ｂ、５７ｃ）を抽出する。本実施形態では、基板３に実装された部品を撮像してエッジ部分を抽出したが、部品単体を別に撮像処理してエッジ部分を抽出することも可能である。
【００６４】
次にステップＳ２で、テンプレート構成登録手段１０により抽出されたエッジ部分５７から各メーカ毎の電子部品用マッチングテンプレートを構成して登録する。なお、テンプレートを作成するための画像は、例えば電子部品の設計図面から起こしたモデル画を代用として用いることも可能であり、この場合は部品がもつ傷などのイレギュラーな要素が存在しないため、より汎用的なテンプレートを構成可能である。
【００６５】
次にステップＳ３で、画像撮像手段６により撮像された電子部品を実装した基板３の画像の電子部品に対して、マッチング演算手段７により、照合処理を行い部品の有無、間違った部品の実装（誤実装）、画素単位における位置や理想実装位置からのズレ量の計測といった実装状態の検査を行なう。この際に、良好な検査結果が得られないといった照合処理の評価値が低い場合にはテンプレート切換え手段により自動的に登録済みの各メーカの電子部品用テンプレートを切り替えながら電子部品の照合処理を行い同様の実装状態の検査を行なう。ステップＳ４において部品位置計測手段９により、上記照合処理結果、例えば画像上の部品照合の位置から実際の寸法単位での部品実装位置を計測する。また実際の寸法単位での理想実装位置からのズレ量の検出も同時に行う。以降、基板上の検査が必要な全部品実装位置を検査するまで、Ｓ３、Ｓ４を繰り返す。
【００６６】
具体的には次のように処理するように構成されている。
【００６７】
図１１（ａ）〜（ｃ）はメーカが違う同じ電気特性の種類の部品を表している。プリント基板等に実装される部品は、ＩＣ等の半導体部品と違い、部品の形状規定がそれほど厳しくない。そのため、部品を供給するメーカによって、部品形状や模様が幾分異なることが存在する場合があり、図１１（ａ）〜（ｃ）はそれを極端に示した例である。図１１（ａ）〜（ｃ）の電子部品に対して、既に実施の形態１ですでに説明済みである方法を用いて、マッチングテンプレートを作成することにより図１１（ｄ）〜（ｆ）を得る。
【００６８】
画像撮像手段６により撮像された電子部品を実装した基板３の画像に対して、この図１１（ｄ）〜（ｆ）のマッチングテンプレートによる照合処理を行い部品の有無、間違った部品の実装（誤実装）、画素単位における位置や理想実装位置からのズレ量の計測といった実装状態の検査を行なう。この際に、照合の一致度などの照合処理の評価値に応じて自動的にマッチングプレートを切り替えながらマッチング演算を行うことにより、同じ種類の部品でありながらメーカの違いにより幾分形状が相違している部品に対しても、正確な部品位置の計測などの実装状態の検査が行なえる。
【００６９】
このように、本実施の形態によれば、複数のメーカから買い入れた部品のように形状が幾分相違している部品の検査を行なうため、マッチングテンプレートの形状を複数持ち、照合処理の際の評価値が低い場合に、自動的に別のテンプレートに切り替えて、実装基板上に実装された部品の検査を行なうため、同じ種類の部品でありながらメーカの違いにより幾分形状が相違している部品に対しても、部品の検査、特に正確に部品位置を検査できる。
【００７０】
ここで評価値が低いとは各検査毎に良好な検査結果が得られないといった照合処理の不都合が生じた場合や、照合処理の全体に対して照合処理が有効に作用し、良好な検査が行なえた割合が小さいことを意味する。具体的には所定の検査基準を超えるものが少なく、または無く、更にその割合が大きいものである。
【００７１】
（実施の形態５）
図１、図２、および図１２は本発明の実施の形態５の実装部品検査方法を実行する検査装置を示す。
【００７２】
本実施の形態は、図１に示した実装部品検査装置に対して、画像処理手段５に、マッチングによる照合処理の評価値が高く良好な検査が行なえた場合にテンプレートの使用頻度を更新し記憶するテンプレート使用頻度／記憶手段３４と、照合処理に用いるテンプレートを選択し切り替えを行うテンプレート選択手段３３を付加して、画像処理手段６４とした構成となっている。
【００７３】
また、画像処理手段６４を実現する手段としては、図２０に示すように、図２の画像処理プログラム１１にテンプレート使用頻度／記憶プログラム６６と、テンプレート選択プログラム６５を付加した画像処理プログラム６７を作成し、ＣＤ−ＲＯＭやＣＤ−Ｒ、ＤＶＤ、ＦＤ、ＭＯなどのプログラム記録媒体１７等を用いて、プログラム実行手段１８にインストールすることで実現可能である。またプログラム記憶媒体１７に代えてインターネットなどの通信媒体を介したプログラムであってもよい。
【００７４】
このように構成された実装部品検査装置について、以下、その動作を説明する。
【００７５】
パソコンなどのマイクロコンピュータを主要部として構成されている画像処理手段５は、図６のステップＳ１で、まず画像撮像手段６を用いて検査対象となる各メーカの部品を撮像し、エッジ抽出手段８により、部品の電極部のみからなるエッジ部分、具体的には部品５３の本体部５４と電極部５５との境界線５６を除く電極部のエッジ部分５７（５７ａ、５７ｂ、５７ｃ）を抽出する。本実施の形態では、基板３に実装された部品を撮像してエッジ部分を抽出したが、部品単体を別に撮像処理してエッジ部分を抽出することも可能である。
【００７６】
次にステップＳ２で、テンプレート構成登録手段１０により抽出されたエッジ部分５７から各メーカ毎の電子部品用マッチングテンプレートを構成して登録する。なお、テンプレートを作成するための画像は、例えば電子部品の設計図面から起こしたモデル画を代用として用いることも可能であり、この場合は部品がもつ傷などのイレギュラーな要素が存在しないため、より汎用的なテンプレートを構成可能である。
【００７７】
次にステップＳ３で、テンプレート選択手段３３において、所定時間、特に検査時点から直近のテンプレート使用頻度、最も使われている確立が高い部品のテンプレートを選択する。ステップＳ４において、画像撮像手段６により撮像された電子部品を実装した基板３の電子部品の画像に対して、マッチング演算手段７により、照合処理を行い部品の有無、間違った部品の実装（誤実装）、画素単位における位置や理想実装位置からのズレ量の計測といった実装状態の検査を行なう。この際に、照合の一致度などの照合処理の評価値が低い場合にはテンプレート選択手段３３により自動的に登録済みの各メーカの電子部品用テンプレートを切り替えながら電子部品の照合処理を行い、部品の実装状態の検査を行なう。良好な検査が行なえた場合にステップＳ５において、テンプレート使用頻度／記憶手段３４によりテンプレートの使用頻度を記録更新し、ステップＳ６において、実施形態１のステップＳ４にて説明したように部品位置計測手段９により、マッチング結果から部品実装位置を計測する。このように、優先的に使用頻度の高いテンプレートを用いて探索をおこなうことにより、統計的にテンプレートの切り替え回数を減少させることができ、照合処理の時間短縮を短縮することができ、検査タクトを向上させることができる。
【００７８】
このように、本実施の形態によれば、マッチングによる評価値が高いテンプレートの使用頻度を記憶し、所定の時間、例えば検査時点から直近の時間で最も使用頻度の高いテンプレートを自動で切り替えて、実装基板上に実装された部品の検査を行なうため、常に同順でテンプレートを切り替える場合に比べて、統計的に切り替えの回数を少なくでき、検査タクトを向上させることができる。
【００７９】
ここで評価値が高いとは照合処理の全体に対して照合処理が有効に作用し、良好な検査が行なえた割合が大きいことを意味する。具体的には所定の検査基準を超えるものであり、更にその割合が大きいものである。
【００８０】
（実施の形態６）
図１４、図１５、および図１６、図１７は本発明の実施の形態６の実装部品検査方法を実行する検査装置を示す。なお、同一機能のものについては同一番号を付し、説明を省略する。
【００８１】
本実施の形態は、図１に示した実装部品検査装置に対して、画像撮像手段としてカラー撮像手段を用い、画像処理手段５に、検査対象物の画像から色情報を抽出処理する色抽出手段２６と、画像の輝度をデータ上で変化させる輝度情報変更手段２７を付加して、画像処理手段３７とした構成となっている。また、画像処理手段３７を実現する手段としては、図１５に示すように、図２の画像処理プログラム１１に色抽出プログラム３８と、輝度情報変更プログラム３９を付加した画像処理プログラム４０を作成し、ＣＤ−ＲＯＭやＣＤ−Ｒ、ＤＶＤ、ＦＤ、ＭＯなどのプログラム記録媒体１７等を用いて、プログラム実行手段１８にインストールすることで実現可能である。またプログラム記憶媒体１７に代えてインターネットなどの通信媒体を介したプログラムであってもよい。
【００８２】
このように構成された実装部品検査装置について、以下、その動作を説明する。
【００８３】
パソコンなどのマイクロコンピュータを主要部として構成されている画像処理手段４０は、図１６のステップＳ１で、まず画像撮像手段６を用いて検査対象となる部品を撮像し、エッジ抽出手段８により、部品５３の本体部５４と電極部５５との境界線５６を除く電極部のエッジ部分５７（５７ａ、５７ｂ、５７ｃ）を抽出する。本実施形態では、基板３に実装された部品を撮像してエッジ部分を抽出したが、部品単体を別に撮像処理してエッジ部分を抽出することも可能である。
【００８４】
次にステップＳ２で、テンプレート構成登録手段１０により抽出されたエッジ部分５７から検査用のマッチングテンプレートを構成して登録する。なお、テンプレートを作成するための画像は、例えば電子部品の設計図面から起こしたモデル画を代用として用いることも可能であり、この場合は部品がもつ傷などのイレギュラーな要素が存在しないため、より汎用的なテンプレートを構成可能である。
【００８５】
次にステップＳ３において、色情報抽出手段３５により、電子部品を実装した基板の画像４に対して、あらかじめ記憶された基板電極（ランド）部の色情報に基づいて基板電極部を抽出し、次にステップＳ４で輝度情報変更手段３６により、基板ランド部と半田部分とがなすエッジ部分と、電子部品の電極部と基板ランド上の半田部分とがなすエッジ部分が近い形状にならないよう、抽出した基板電極部の輝度を変化させる。次にステップＳ５で、電子部品を実装した基板４の画像に対して、マッチング演算手段７により登録したテンプレートを用いて電子部品の照合を行い、部品の有無、間違った部品の実装（誤実装）、画素単位における位置や理想実装位置からのズレ量の計測といった実装状態の検査を行なう。ステップＳ６において、実施形態１のステップＳ４にて説明したように部品位置計測手段１０により、画像上の部品照合位置から実際の部品実装位置を計測し、さらに理想実装位置からのズレ量の検出も同時に行う。以降、基板上の検査が必要な全部品を検査するまで、ステップＳ３〜Ｓ６を繰り返す。
【００８６】
具体的には次のように処理するように構成されている。
【００８７】
図１７は基板ランド部と半田とがなすエッジ部分と、電子部品の電極部と基板ランド上の半田部分とがなすエッジ部分が近しい形状にならないよう、抽出した基板ランド部の輝度を変化させる様子を示したものである。図１７において、４１は基板上に実装された電子部品を撮像した画像、４２は電子部品、４３は基板ランド部、４４は電子部品を接合するための半田である。また、４５は基板ランド部４３と半田部４４とがなすエッジ部分、４６は電子部品の電極部と半田４４とがなすエッジ部分を表している。
【００８８】
図１７に示すように、基板ランド部４３と半田部４４とがなすエッジ部分４５と、電子部品の電極部と半田４４とがなすエッジ部分４６が近しい形状になってしまう場合がある。この場合、テンプレート２４を用いて、画像４１上の電子部品４２をサーチしようとした場合、エッジ部分４５を間違って認識してしまう場合が発生する。これを避けるために、図１７（ａ）〜（ｃ）に示すような課程を踏んで、誤認識要因を排除する。まず、（ａ）において、あらかじめ記憶された基板ランド部４３の色情報から基板ランド部４３の抽出を行い、（ｂ）の網目部４７を得る。次に、抽出した網目部４７を、（ｃ）に示すように半田部４４と同色にしてしまうことにより誤認識要因を消してしまうことができる。
【００８９】
これにより、基板ランド部４３と半田部４４とのエッジ部分４５を間違って認識してしまう問題をなくすことができる。基板ランド部４３を抽出する際に色情報を用いる理由としては、モノクロの輝度情報では、明るさのみの尺度で画像が表されるため、特に電子部品表面において基板ランド部と同じように見える部位が存在する場合があり、良好な基板ランド部のみを抽出できない場合があるためである。色としては基板ランド部と電子部品とでははっきり異なっているため、安定して判別を行うことができる。
【００９０】
以上により、あらかじめ記憶された基板電極（ランド）部の色情報から基板ランド部の抽出を行い、基板ランド部と半田部分とがなすエッジ部分と、電子部品の電極部と基板電極上の半田部分とがなすエッジ部分が近しい形状にならないよう、抽出した基板電極部の輝度を変化させることにより、電子部品サーチ時の誤認識要因を排除する実装位置計測方法のために、基板上の誤認識要因を排除することができ、部品位置計測などの実装状態の検査の安定度を高めることができる。本実施の形態１から６の検査はプログラムにより実行することが可能である。
【００９１】
本実施の形態では、部品の電極部のみからなるエッジ部分を用いたマッチングテンプレートによる検査を説明したが、実施の形態２、実施の形態６は、この実施形態でなく、部品全体のテンプレートを使用する場合などの各種テンプレ−トマッチング技術にも適用可能であり、同様の効果を奏する。
【００９２】
また実施の形態４、実施の形態５についても同様に各種テンプレ−トマッチング技術にも適用可能であり、同様の効果を奏する。
【発明の効果】
【００９３】
以上のように本発明の実装部品検査方法および装置によれば、電子部品のエッジ部分から構成されるテンプレートを用い、電子部品を実装した基板の画像に対してこのテンプレートによる照合処理を行うことにより、電子部品の多少の形状ばらつきや、部品表面の輝度むらに影響されず部品を検査でき、さらに高速に処理を行うことができるという効果を有する。
【図面の簡単な説明】
【００９４】
【図１】本発明の実施の形態１における実装部品検査装置の構成を示す図
【図２】同実施の形態における画像処理手段のプログラムによる実現手段を示す図
【図３】同実施の形態における実装部品検査方法を示すフローチャート
【図４】同実施の形態においてテンプレートを作成する方法を説明する図
【図５】同実施の形態において電子部品の実装状態を検査する方法を説明する図
【図６】本発明の実施の形態２における実装部品検査方法を示すフローチャート
【図７】同実施の形態においてテンプレートを作成する方法を説明する図
【図８】本発明の実施の形態３における実装部品検査方法を示すフローチャート
【図９】同実施の形態においてテンプレートを作成する方法を説明する図
【図１０】本発明の実施の形態４における実装部品検査方法を示すフローチャート
【図１１】同実施の形態においてテンプレートを作成する方法を説明する図
【図１２】本発明の実施の形態５における実装部品検査装置の構成を示す図
【図１３】同実施形態における実装部品検査方法を示すフローチャート
【図１４】本発明の実施の形態６における実装部品検査装置の構成を示す図
【図１５】同実施の形態における画像処理手段のプログラムによる実現手段を示す図
【図１６】同実施の形態における実装部品検査方法を示すフローチャート
【図１７】同実施の形態において実装部品検査方法を説明するための補足図
【図１８】従来方法を説明する図
【図１９】電子部品の構成図
【図２０】本発明の実施の形態５における画像処理手段のプログラムによる実現手段を示す図
【符号の説明】
【００９５】
１ カメラ
２ 照明
３ 基板
４ ステージ
５ 画像処理手段
６ 画像撮像手段
７ マッチング演算手段
８ エッジ部分抽出手段
９ 部品位置計測手段
１０ テンプレート構成／登録手段
１１ 画像処理プログラム
１２ 画像撮像プログラム
１３ マッチング演算プログラム
１４ エッジ部分抽出プログラム
１５ 部品位置計測プログラム
１６ テンプレート構成／登録プログラム
１７ プログラム記憶媒体
１８ プログラム実行手段
１９ ＳＯＢＥＬテンプレート
２０ 電子部品撮像画像
２１ 電子部品
２２ エッジ検出テンプレート適用範囲
２３ エッジ検出テンプレート適用結果
２４ エッジ抽出部分を組み合わせて作成したテンプレート
２４ａ テンプレートの部品電極部部分
２５ｂ テンプレートの部品背景部分
２６ 基板ランド
２７ 電子部品
２８ 半田
２９ 理想の部品実装状態
３０ 実際の部品実装状態
３１ 理想位置とのズレ量
３２ 電子部品のサイズ変動に合わせて可動域をもつテンプレート
３３ テンプレート選択手段
３４ テンプレート使用頻度更新／記憶手段
３５ 色情報抽出手段
３６ 輝度情報変更手段
３７ 画像処理手段
３８ 色情報抽出プログラム
３９ 輝度情報変更プログラム
４０ 画像処理プログラム
４１ 基板上に実装された電子部品を撮像した画像
４２ 電子部品
４３ 基板ランド
４４ 電子部品を接合するための半田部
４５ 基板ランド部と半田部とがなすエッジ部分
４６ 電子部品の電極部と半田部分とがなすエッジ部分
４７ 抽出された基板ランド部
５０、５３ 電子部品
５１、５４ 電子部品の本体部
５２、５５ 電子部品の電極部
５６ 電子部品の本体部と電極部との境界線
５７ エッジ部分
５８ マッチングテンプレート
５９ 部品が実装された基板
６０ 電子部品
６１ 基板上のランド
６２ 半田
６３ エッジ検出処理領域
６４ 画像処理手段
６５ テンプレート選択プログラム
６６ テンプレート使用頻度更新／記憶手段
６７ 画像処理プログラム
Claims (10)
- 電子部品のエッジ部分から抽出されたテンプレートを用いて前記電子部品の画像に対して照合処理を行って、前記電子部品の実装状態を検査する際に、
前記電子部品のサイズ公差内で前記テンプレートを調整しながら照合処理を行うこと
を特徴とする実装部品検査方法。 - １つの本体部に対して複数の電極部を有する電子部品の検査において、
前記電極部のエッジ部分から抽出された複数のテンプレートを相対的に移動させて調整すること
を特徴とする請求項１記載の実装部品検査方法。 - 前記テンプレートを形状変化させて調整すること
を特徴とする請求項１または２記載の実装部品検査方法。 - 前記テンプレートを複数有し、照合処理の評価値が低い場合に別のテンプレートに切替えて前記電子部品の実装状態を検査すること
を特徴とする請求項１から３いずれか記載の実装部品検査方法。 - 照合処理の評価値が高いテンプレートの使用頻度を記憶し、所定時間内の使用頻度が最も高いテンプレートを選択して前記電子部品の実装状態を検査すること
を特徴とする請求項１から４いずれか記載の実装部品検査方法。 - 電子部品を撮像する画像撮像手段と、
前記電子部品のエッジ部分から抽出されたテンプレートを用いて前記電子部品の画像に対して照合処理を行って、前記電子部品の実装状態を検査する画像処理手段と、を有し、
前記画像処理手段は、前記照合処理の際に前記電子部品のサイズ公差内で前記テンプレートを調整しながら照合処理を行う処理手段であること
を特徴とする実装部品検査装置。 - １つの本体部に対して複数の電極部を有する電子部品の検査において、
前記画像処理手段は、前記電極部のエッジ部分から抽出された複数のテンプレートを相対的に移動させて調整する処理手段であること
を特徴とする請求項６記載の実装部品検査装置。 - 前記画像処理手段は、前記テンプレートを形状変化させて調整する手段であること
を特徴とする請求項６または７記載の実装部品検査装置。 - 前記画像処理手段は、前記テンプレートを複数有し、照合処理の評価地が低い場合に、別のテンプレートに切替えて前記電子部品の実装状態を検査する手段であること
を特徴とする請求項６から８いずれか記載の実装部品検査装置。 - 前記画像処理手段は、照合処理の評価値が高いテンプレートの使用頻度を記憶し、所定時間内の使用頻度が最も高いテンプレートを選択して前記電子部品の実装状態を検査する手段であること
を特徴とする請求項６から９いずれか記載の実装部品検査装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001301728A JP4613466B2 (ja) | 2001-09-28 | 2001-09-28 | 実装部品検査方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001301728A JP4613466B2 (ja) | 2001-09-28 | 2001-09-28 | 実装部品検査方法および装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003110298A JP2003110298A (ja) | 2003-04-11 |
| JP2003110298A5 JP2003110298A5 (ja) | 2008-05-08 |
| JP4613466B2 true JP4613466B2 (ja) | 2011-01-19 |
Family
ID=19122093
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001301728A Expired - Fee Related JP4613466B2 (ja) | 2001-09-28 | 2001-09-28 | 実装部品検査方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4613466B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4467966B2 (ja) * | 2003-12-09 | 2010-05-26 | 株式会社日立製作所 | 基板外観検査装置 |
| JP4661075B2 (ja) * | 2004-04-09 | 2011-03-30 | 株式会社ニコン | 位置検出装置 |
| JP4454428B2 (ja) | 2004-07-30 | 2010-04-21 | 富士通株式会社 | 部品エッジ検出方法、部品エッジ検出プログラム及び検査装置 |
| JP4757595B2 (ja) * | 2005-10-04 | 2011-08-24 | 株式会社日立ハイテクインスツルメンツ | 実装部品の検査装置 |
| JP5133762B2 (ja) * | 2008-04-14 | 2013-01-30 | 株式会社ブリヂストン | ゴルフボールの外観検査方法 |
| JP5517638B2 (ja) | 2009-01-29 | 2014-06-11 | パナソニック株式会社 | 実装部品検査方法、およびその方法を実施する実装部品検査装置、およびその実装部品検査装置を備えた部品実装機 |
| WO2014167723A1 (ja) * | 2013-04-12 | 2014-10-16 | 富士機械製造株式会社 | 基板外観検査装置 |
| JP6427332B2 (ja) * | 2014-04-08 | 2018-11-21 | 株式会社ミツトヨ | 画像測定機 |
| US11568629B2 (en) | 2018-06-06 | 2023-01-31 | Cognex Corporation | System and method for finding and classifying patterns in an image with a vision system |
| WO2020012621A1 (ja) * | 2018-07-12 | 2020-01-16 | 株式会社Ｆｕｊｉ | テンプレート作成装置および部品装着機 |
| JP7439785B2 (ja) * | 2021-03-19 | 2024-02-28 | 株式会社デンソー | 認証システム及び追跡システム |
-
2001
- 2001-09-28 JP JP2001301728A patent/JP4613466B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003110298A (ja) | 2003-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6748104B1 (en) | Methods and apparatus for machine vision inspection using single and multiple templates or patterns | |
| JP4613466B2 (ja) | 実装部品検査方法および装置 | |
| WO2001061275A1 (en) | Method and system for automatically generating reference height data for use in a three-dimensional inspection system | |
| JP5045591B2 (ja) | 検査領域の領域設定データの作成方法および基板外観検査装置 | |
| JP4454428B2 (ja) | 部品エッジ検出方法、部品エッジ検出プログラム及び検査装置 | |
| JP5615076B2 (ja) | 部品有無判定装置及び部品有無判定方法 | |
| JP5960433B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4814116B2 (ja) | 実装基板外観検査方法 | |
| JP2870695B2 (ja) | 実装極性部品の極性検査方法および実装基板外観検査方法 | |
| JP2002042112A (ja) | 回路基板の部品実装検査方法及びそのシステム | |
| JP2003086919A (ja) | パターン検査装置 | |
| JP4106301B2 (ja) | 部品認識方法及び装置 | |
| JP3049488B2 (ja) | パターン検査方法及びパターン検査装置 | |
| JP4744234B2 (ja) | 部品の位置決め方法及び装置 | |
| JP4423130B2 (ja) | プリント回路基板外観検査方法、プリント回路基板外観検査プログラム及びプリント回路基板外観検査装置 | |
| Nevliudov et al. | Automated System Development for the Printed Circuit Boards Optical Inspection Using Machine Learning Methods | |
| JP4860452B2 (ja) | テンプレートマッチングを用いたマーク位置決め方法及び装置 | |
| JP3919207B2 (ja) | 外観検査装置 | |
| KR20160137020A (ko) | 피듀셜 마크 인식 방법 | |
| KR101779020B1 (ko) | 부품 실장 방법 | |
| JP4008722B2 (ja) | 電子部品の電極浮き検出方法及び装置 | |
| JPH09167232A (ja) | 線分抽出方法 | |
| JPH0949862A (ja) | プロービング位置検出方法及びプロービング位置補正方法及び電子回路検査方法 | |
| JP6751567B2 (ja) | 電子部品検査方法、電子部品実装方法、及び電子部品実装装置 | |
| CN114429443A (zh) | 电容器极性判定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080220 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080220 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20080312 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080319 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20091119 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100915 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100921 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101004 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4613466 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131029 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |