JP4090557B2

JP4090557B2 - 電子部品の認識方法及び装置

Info

Publication number: JP4090557B2
Application number: JP06628598A
Authority: JP
Inventors: 豊小倉; 山田　　和範; 洋安西
Original assignee: Juki Corp
Current assignee: Juki Corp
Priority date: 1998-03-17
Filing date: 1998-03-17
Publication date: 2008-05-28
Anticipated expiration: 2018-03-17
Also published as: JPH11266100A

Description

【０００１】
【発明の属する技術分野】
本発明は、電子部品の認識方法及び装置、更に詳細には、１面に半球状突出物を配列した電子部品を異る角度で照明し、照明された電子部品の像を画像処理することにより電子部品を認識する電子部品の認識方法及び装置に関する。
【０００２】
【従来の技術】
従来より、チップマウンタでは、ＩＣチップ部品等の電子部品を吸着する吸着ノズルを備えた吸着ヘッドが設けられており、フィーダから供給される電子部品が吸着ノズルにより吸着され、回路基板上に移送、搭載されている。通常電子部品は、必ずしも正しい姿勢で吸着されるわけではないので、電子部品の吸着姿勢がＣＣＤカメラ等の認識装置により撮像され、電子部品の画像認識が行なわれ、この画像認識に基づき得られる電子部品の吸着ノズルの中心位置からのずれ並びに傾き量が補正された後、電子部品が回路基板上に搭載されている。
【０００３】
電子部品の回路基板への正確な搭載には、電子部品の画像認識を良好に行なう必要があり、そのために電子部品を最適に照明する必要がある。電子部品には種々の種類があり、電子部品を最適に照明するには、電子部品の種類に応じて照明方法を変えなければならない。例えば、図１に示すＢＧＡ（ＢａｌｌＧｒｉｄＡｒｒａｙ），ＣＳＰ（ＣｈｉｐＳｃａｌｅＰａｃｋａｇｅ）などの半田ボール１を有する電子部品２を認識する際、図２（Ａ）に示すように下方から光源３、３’を用いて照射し、ボール１の頂点付近を反射させ、これをＣＣＤカメラで撮像している。ボールは頂点付近が明るく輝くので、（Ｂ）に図示したような画像が得られ、これを画像処理してボール頂点を求めボールの位置認識を行なう方式をとっていた。
【０００４】
また、図２（Ｃ）に示すようにボール１の側方から光源４、４’で照射しボールの根元付近を反射させ、（Ｄ）に示すような根元付近が明るいボール画像を処理してボールの外周を求めボールの位置認識を行なっていた。
【０００５】
また、半田ボールを認識するものではないが特開平７−２６０６９７号公報に示されるように受光軸の周囲から照射した画像と受光軸に平行な光から受光した画像の２枚から欠陥部を抽出する方法が提案されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の認識方式において、例えば図２（Ｇ）に示すようなＢＧＡ，ＣＳＰ電子部品で半田ボールが欠け、ベース面に微量の半田１ａが中央部付近に付着した時、下方の光源３、３’からの照射を行なう場合には、半田１ａが半田ボールと同様に反射して（Ｈ）のような画像が得られ、半田ボールとの見分けがつかなくなり認識困難になる、という問題があった。
【０００７】
また、例えば図２（Ｉ）に示すように、半田ボール１ｂに部分的な欠けなどの不良が存在する場合には、光源４、４’により側部から照明を行なう場合には、他の正常な半田ボール１と反射状態が類似しているので、撮像された画像は（Ｊ）のようになり、不良半田ボール１ｂの検出が困難である、という問題点があった。
【０００８】
また、特開平７−２６０６９７号公報に示されるように受光軸の周囲から照射した画像と受光軸に平行な光から受光した画像の２枚から欠陥部を抽出する方式の場合、半田ボールが鏡面であれば全体が反射し、部分的に鏡面もしくは凹凸があるとその部分のみが反射するので、特に平行光における反射画像は球面の半田ボールにおいては表面の欠陥の状態に応じ反射の具合が変わるため、十分な評価が望めない、という問題点があった。
【０００９】
したがって、本発明は、特にＢＧＡ，ＣＳＰなどの電子部品であって半田ボールなどの半球状突出物を正確に画像認識できる電子部品の認識方法及び装置を提供することをその課題とする。
【００１０】
【課題を解決するための手段】
本発明は、１面に半球状突出物を配列した電子部品を異る角度で照明し、照明された電子部品の像を画像処理することにより電子部品を認識する電子部品の認識方法及び装置であって、半球状突出物を側方、斜方及び下方の３方向から照明すること、これら側方、斜方及び下方の３方向から個々に照明された各半球状突出物を半球状突出物の配列面にほぼ直交する方向から撮像すること、撮像された各半球状突出物の側方画像に示される根元部分、斜方画像に示される中腹部分、下方画像に示される先端部分が、個々に明るく輝く３枚の画像データを画像間演算して１枚の画像データを生成すること、及び該演算結果の１枚の画像データに基づいて半球状突出物の特徴あるいは欠陥を識別することを特徴としている。
【００１１】
このような構成では、半球状突出物は異る種々の複数方向の角度で個々に撮像され、その各画像が処理されるので、半球状突出物の特徴に従い、各照射角度を変化させることにより半球状突出物の特徴を抽出することが可能になり、半球状突出物の欠陥などを良好に識別できるようになる。
【００１２】
特に、半田ボールのような接線方向がなだらかで連続的に変化する傾斜面を持つ半球状突出物の場合には、その配列面に対して側方、斜方及び下方から照明すると、半田ボールの根元部分、中腹部分、先端部分がそれぞれ明るく輝くようになる。半田ボールが正常の場合には、その輝く部分に重複することがなくなり（あるいは少ない）、一方半田ボールが欠損あるいは一部欠落しているような場合には、その部分に対しては同様な画像あるいは不規則な画像が得られる。そこで、各方向から照明された画像データを演算（減算）することにより半田ボールの異常を良好に識別することが可能になる。
【００１３】
【発明の実施の形態】
以下、図面に示す実施の形態に基づいて本発明を詳細に説明する。
【００１４】
本発明での電子部品の画像認識は、チップマウンタ装置での電子部品の吸着、位置決め、回路基板への搭載という処理の流れにおいて、基板への搭載直前の検査として実施される。チップマウンタ装置が本発明による検査機能を有することで検査から搭載までの時間を最小にすることができるため、より信頼性の高い検査として位置付けることができる。
【００１５】
図３は本発明の１実施形態を示す電子部品の認識装置の構成図である。図３において１０は電子部品で、図１に示したような一面に半球の半田ボール（半球状突出物）が縦横に配列されたＢＧＡ，ＣＳＰなどの電子部品である。この電子部品１０は上下に昇降可能な吸着ノズル１１で吸着され、画像撮像部１２でその画像が撮像される。
【００１６】
画像撮像部１２は、ＬＥＤの光源１３ａを複数個それぞれ４面に配列した側方照明ユニット１３と、同様に、ＬＥＤの光源１４ａを複数個それぞれ４面に配列した斜方照明ユニット１４と、ＬＥＤの光源１５ａを複数個それぞれ４面に配列した下方照明ユニット１５を有し、吸着ノズル１１が所定位置まで下降したとき、照明ユニットの光源が点灯して、吸着ノズルに吸着されている電子部品を照明する。
【００１７】
また、画像撮像部１２は、下方にレンズ１６を備えたＣＣＤカメラのような撮像装置１７を有し、吸着ノズル１１に吸着された電子部品１０を半田ボールの配列面に対してほぼ直交する方向から撮像する。撮像された電子部品の画像は、画像処理部２０に送られ、メモリ２３に格納される。
【００１８】
このメモリ部２３への格納は、図４に示したように、Ａ／Ｄ変換器２１を介して行なわれ、画像処理部のＣＰＵ２２は、メモリ部に格納された画像データに対して画像処理を行ない電子部品の画像を認識する。また、ＣＰＵ２２は駆動部２４を介して各照明ユニット１３〜１４、吸着ノズル１１を駆動するとともに、撮像装置１７の駆動を制御する。
【００１９】
以上の構成において、ＢＧＡ，ＣＳＰ等の電子部品１０の位置決めを画像認識にて行なう際、吸着ノズル１１が駆動部２４を介して駆動され、吸着ノズルでピックされた電子部品１０は画像撮像部１２に移動する。電子部品１０が撮像位置に到達した後、ＣＰＵ２２は、駆動部２４を介して側方照明ユニット１３を駆動しその４面に配置された光源１３ａを点灯し、電子部品１０を側部から照明する。そして、その画像が撮像装置１７で撮像され、画像処理部２０のメモリ部２３の第１のメモリ２３ａに取り込まれる。側方照明ユニット１３による照明は、図２（Ｃ）に示したようになり、正常ボールの場合、撮像される画像はボールの根元部分が強く反射され輝くので、図２（Ｄ）のようになる。このメモリ２３ａに取り込まれた画像が図５（Ａ）に図示されている。
【００２０】
側方照明ユニット１３で照明された電子部品の映像の取り込みが終了すると、ＣＰＵ２２は駆動部２４を介して側方照明ユニット１３の光源１３ａを消灯するとともに、斜方照明ユニット１４を駆動しその４面の光源１４ａを点灯し、電子部品１０を斜方（例えばボール配列面に対して４５度の方向）から照明する。そして、その画像が撮像装置１７で撮像され、画像処理部２０のメモリ部２３の第２のメモリ２３ｂに取り込まれる。斜方照明ユニット１４による照明は、図２（Ｅ）に示したようになり、正常ボールの場合、撮像される画像はボールの中腹部分が強く反射され輝くので、図２（Ｆ）のようになる。このメモリ２３ｂに取り込まれた画像が図５（Ｂ）に図示されている。
【００２１】
斜方照明ユニット１４で照明された電子部品の映像の取り込みが終了すると、ＣＰＵ２２は駆動部２４を介して斜方照明ユニット１４の光源１４ａを消灯し、下方照明ユニット１５を駆動しその４面の光源１５ａを点灯するとともに、電子部品１０を下方から照明する。そして、その画像が撮像装置１７で撮像され、画像処理部２０のメモリ部２３の第３のメモリ２３ｃに取り込まれる。下方照明ユニット１５による照明は、図２（Ａ）に示したようになり、正常ボールの場合、撮像される画像はボールの先端部分が強く反射され輝くので、図２（Ｂ）のようになる。このメモリ２３ｃに取り込まれた画像が図５（Ｃ）に図示されている。
【００２２】
各映像入力が終了すると、画像処理部２０のＣＰＵ２２は、第１のメモリ２３ａに取り込んだ画像から第２のメモリ２３ｂに取り込んだ画像と第３のメモリ２３ｃに取り込んだ画像を減算し、その減算により得られた画像を第４のメモリ２３ｄに書き込む。このとき、減算結果が負の場合は０として扱う。
【００２３】
電子部品１の半田ボールが正常である場合には、メモリ２３ａ〜２３ｃに取り込まれた３枚の画像の高輝度部分は図５（Ａ）、（Ｂ）、（Ｃ）にそれぞれ示すようにボールの根元部分、中腹部分、先端部分に相当するので、ボール部については重ならないか、あるいは重なってもその重複部分は少ない。また背景部については３枚の画像は同様な輝度特性を示すので減算することで相殺され、０付近でフラットな輝度分布を示すことになる。従って、図５（Ｄ）で示すようなボールの根元周辺部のみが強調された画像を得ることができる。
【００２４】
なお、ボールの中腹部分、先端部分の抽出についても、画像間の演算順序を偏向することにより、それらの部分のみが強調された画像を得ることができる。
【００２５】
一方、図２（Ｇ）のように電子部品の半田ボールが欠け、ベース面に微量の半田しか付着していない場合、ほとんどボール高さがないため下方照射光のみに反応する。従って照射角度によって輝度は異なるが欠損部全体が写る。この場合、側方照明ユニット１３による照明では、写らない場合もあるが、いずれにしても、メモリ２３ａ〜２３ｃに格納された画像は、図５（Ｅ）〜（Ｇ）のようになり、各画像間演算を行なうと、欠損部においては３枚の画像においてボール部分が重なるため、図５（Ｈ）に示すように欠損部のボールのデータがなくなり不良を検出することが可能となる。
【００２６】
また、図２（Ｉ）のように電子部品の半田ボール１ｂに部分的な欠けなどの不良が存在し半田ボール１ｂにある程度の高さが残るものでは、メモリ２３ａ〜２３ｃに格納された照射角度の異なる３枚の画像は図５（Ｉ）、（Ｊ）、（Ｋ）のようになり、どちらかというと正常ボールと同様の特徴を持つようになる。しかし不良半田ボールでは高さ変化が異なるので、正常ボールのように高輝度部が明確に分離しない。従って、同様の画像間演算を行なうと、３枚の画像において不良ボール部の画像が重なるため、図５（Ｌ）に示すように不良ボールのデータがなくなり不良を検出することが可能となる。
【００２７】
なお、電子部品の位置決めは、電子部品上にマトリックス状に存在するすべてのボールの中心を求め、算出する。位置決め工程の中、ボールの径、面積など２次元形状の検査をボール個々について行う。このとき、上記のような処理によりボールの欠落、ボール側面の削れ等の欠陥の検出が可能である。
【００２８】
また、部品の位置決め、ボールの２次元形状検査に必要なボール中心、径、面積はボール根元エッジより算出する。側方照明ユニット１３の照明により得られるメモリ２３ａの画像のみを用いてこれらの情報を抽出することも可能であるが、メモリ２３ｄのボール外周強調画像を認識することにより、より安定してボールを認識することが可能になる。
【００２９】
なお、図３に示した構成において、斜方照明ユニット１４を除くすべての装置は、位置決め、２次元形状検査でも共通して使用する。斜方照明ユニット１４は、本発明においてボールの高さ形状変化をより的確に捉えるために用意するものであるが、側方照明ユニット１３、下方照明ユニット１５の最低２つの照明装置による構成においてもその効果を得ることができる。
【００３０】
【発明の効果】
以上説明したように、本発明によれば、半球状突出物は異る種々の複数方向の角度で個々に撮像され、その各画像が処理されるので、半球状突出物の特徴に従い、各照射角度を変化させることにより半球状突出物の特徴を抽出することが可能になり、半球状突出物の欠陥などを良好に識別できるようになる。
【００３１】
また、半田ボールのような半球状突出物の場合には、その配列面に対して側方、斜方及び下方から照明すると、半田ボールの根元部分、中腹部分、先端部分がそれぞれ明るく輝くようになり、正常な半田ボールでは、その輝く部分に重複がないかあるいは少なく、異常な半田ボールでは、その部分の各画像が同様あるいは不規則なので、各画像データの演算（減算）により半田ボールの異常を良好に識別することが可能になる。
【図面の簡単な説明】
【図１】（Ａ）は、ＢＧＡ、ＣＳＰなどの電子部品の平面図、（Ｂ）はその側面図である。
【図２】電子部品を種々の角度で照明して得られる画像を示した説明図である。
【図３】本発明の電子部品の認識装置の構成を示した構成図である。
【図４】本発明の電子部品の認識装置の制御系を示したブロック図である。
【図５】電子部品の画像データの演算過程を示す説明図である。
【符号の説明】
１０電子部品
１１吸着ノズル
１３側方照明ユニット
１４斜方照明ユニット
１５下方照明ユニット
１７撮像装置
２３メモリ部

Claims

１面に半球状突出物を配列した電子部品を異る角度で照明し、照明された電子部品の像を画像処理することにより電子部品を認識する電子部品の認識方法であって、
半球状突出物を側方、斜方及び下方の３方向から照明し、
これら側方、斜方及び下方の３方向から個々に照明された各半球状突出物を半球状突出物の配列面にほぼ直交する方向から撮像し、
撮像された各半球状突出物の側方画像に示される根元部分、斜方画像に示される中腹部分、下方画像に示される先端部分が、個々に明るく輝く３枚の画像データを画像間演算して１枚の画像データを生成し、
該演算結果の１枚の画像データに基づいて半球状突出物の特徴あるいは欠陥を識別することを特徴とする電子部品の認識方法。
１面に半球状突出物を配列した電子部品を異る角度で照明し、照明された電子部品の像を画像処理することにより電子部品を認識する電子部品の認識装置であって、
半球状突出物を側方方向から照明する照明ユニットと、
半球状突出物を斜方方向から照明する照明ユニットと、
半球状突出物を下方方向から照明する照明ユニットと、
半球状突出物を半球状突出物の配列面にほぼ直交する方向から撮像する撮像装置と、
これら側方、斜方及び下方の３方向から個々に照明された半球状突出物を撮像することにより得られる各半球状突出物の側方画像に示される根元部分、斜方画像に示される中腹部分、下方画像に示される先端部分が、個々に明るく輝く３枚の画像データを画像間演算処理して１枚の画像データを生成する画像処理装置と、
前記画像間演算処理により生成した１枚の画像データに基づいて半球状突出物の特徴あるいは欠陥を識別する手段と、
を有することを特徴とする電子部品の認識装置。