JPWO2018100692A1 - Image processing method for electronic parts and image processing apparatus - Google Patents
Image processing method for electronic parts and image processing apparatus Download PDFInfo
- Publication number
- JPWO2018100692A1 JPWO2018100692A1 JP2018553585A JP2018553585A JPWO2018100692A1 JP WO2018100692 A1 JPWO2018100692 A1 JP WO2018100692A1 JP 2018553585 A JP2018553585 A JP 2018553585A JP 2018553585 A JP2018553585 A JP 2018553585A JP WO2018100692 A1 JPWO2018100692 A1 JP WO2018100692A1
- Authority
- JP
- Japan
- Prior art keywords
- surface portion
- curved surface
- metal curved
- image processing
- bump
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 239000002184 metal Substances 0.000 claims abstract description 70
- 229910052751 metal Inorganic materials 0.000 claims abstract description 70
- 238000003384 imaging method Methods 0.000 claims abstract description 29
- 239000000758 substrate Substances 0.000 description 19
- 238000000034 method Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000005286 illumination Methods 0.000 description 5
- 230000004907 flux Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 229910000679 solder Inorganic materials 0.000 description 2
- 230000004308 accommodation Effects 0.000 description 1
- 210000000078 claw Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/08—Measuring arrangements characterised by the use of optical techniques for measuring diameters
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Supply And Installment Of Electrical Components (AREA)
Abstract
本開示の画像処理方法では、金属曲面部の3次元CADデータと金属曲面部に照射される光の向きとに基づいて、金属曲面部で反射した光が撮像位置に到達したときに生成する図形の2次元データを作成する。そして、その図形の2次元データに基づいて、実際に撮像された画像から得られる金属曲面部に関する情報を評価する。In the image processing method of the present disclosure, a figure generated when light reflected by the metal curved surface portion reaches the imaging position based on the three-dimensional CAD data of the metal curved surface portion and the direction of light irradiated to the metal curved surface portion. Create 2D data of Then, based on the two-dimensional data of the figure, the information on the metal curved surface portion obtained from the actually captured image is evaluated.
Description
本明細書は、電子部品の画像処理方法及び画像処理装置を開示する。 This specification discloses an image processing method and an image processing apparatus for electronic parts.
従来より、部品供給装置から供給される電子部品を採取し、採取した電子部品を基板上の所定の位置に装着する部品実装機が知られている。こうした部品実装機において、複数のバンプが配列された電子部品のバンプ面に光を照射して撮像し、撮像された画像からバンプのサイズや配置情報を求めるものも知られている(例えば特許文献1)。一方、バンプを撮像する際には側射光源を用いることがあるが、その場合、バンプの中央部分は曲面であり、その中央部分で反射された光はカメラに入射し難いため、バンプの中央部分は暗い画像となることも知られている(例えば特許文献2)。 2. Description of the Related Art Conventionally, there has been known a component mounter which samples electronic components supplied from a component supply device and mounts the collected electronic components at predetermined positions on a substrate. Among such component mounting machines, there is also known one that irradiates light onto a bump surface of an electronic component in which a plurality of bumps are arrayed to pick up an image, and obtains bump size and arrangement information from the picked up image (for example, patent document 1). On the other hand, when imaging a bump, a side-emitting light source may be used. In that case, the central portion of the bump is a curved surface, and light reflected by the central portion is difficult to enter the camera. It is also known that a part will be a dark image (for example, patent document 2).
側射光源を用いてバンプを撮像した場合、バンプの中央部分のほかに外周部分も暗い画像となる。そのため、撮像された画像には、バンプは明るい環状帯として現れるが、その環状帯の外径は実際のバンプ径よりも小さくなる。こうしたことから、画像上での環状帯の外径を、一律に実際のバンプ径の所定割合(例えば90%)に設定することがあった。しかしながら、バンプの形状はバンプの種類によって様々である。そのため、各バンプの形状を考慮することなく、環状帯の外径を一律に実際のバンプ径の所定割合に設定してしまうと、画像上のバンプを正しく評価できないおそれがあった。 In the case of imaging a bump using a side-emitting light source, an outer peripheral portion also becomes a dark image in addition to the central portion of the bump. Therefore, in the captured image, the bumps appear as bright annular bands, but the outer diameter of the annular bands is smaller than the actual bump diameter. Because of this, the outer diameter of the annular band on the image may be uniformly set to a predetermined ratio (for example, 90%) of the actual bump diameter. However, the shape of the bumps varies depending on the type of bump. Therefore, if the outer diameter of the annular band is uniformly set to a predetermined ratio of the actual bump diameter without considering the shape of each bump, there is a possibility that the bumps on the image can not be evaluated correctly.
本開示は、上述した課題を解決するためになされたものであり、電子部品の金属曲面部に関する情報を精度よく評価することを主目的とする。 The present disclosure has been made to solve the above-described problems, and has as its main object to accurately evaluate information on a metal curved portion of an electronic component.
本開示の画像処理方法は、
金属曲面部を備えた電子部品の前記金属曲面部に側射光源及び/又は傾斜光源の光を照射し、光の照射された前記金属曲面部を、前記金属曲面部に対向する所定の撮像位置から撮像し、該撮像された画像に基づいて前記金属曲面部に関する情報を得る画像処理方法であって、
前記金属曲面部の3次元CADデータと前記金属曲面部に照射される光の向きとに基づいて、前記金属曲面部で反射した光が前記撮像位置に到達したときに生成する図形の2次元データを作成し、前記図形の2次元データに基づいて前記撮像された画像から得られる前記金属曲面部に関する情報を評価する、
ものである。The image processing method of the present disclosure is
The metal curved surface portion of the electronic component provided with the metal curved surface portion is irradiated with the light of the side light source and / or the inclined light source, and the metal curved surface portion irradiated with light is a predetermined imaging position facing the metal curved surface portion An image processing method for obtaining information on the metal curved surface portion based on the captured image,
Two-dimensional data of a figure generated when light reflected by the metal curved surface portion reaches the imaging position based on the three-dimensional CAD data of the metal curved surface portion and the direction of light irradiated to the metal curved surface portion And evaluating information on the metal curved surface portion obtained from the captured image based on two-dimensional data of the graphic,
It is a thing.
本開示の画像処理装置は、
金属曲面部を備えた電子部品の前記金属曲面部に側射光源及び/又は傾斜光源の光を照射し、光の照射された前記金属曲面部を、前記金属曲面部に対向する所定の撮像位置から撮像し、該撮像された画像に基づいて前記金属曲面部に関する情報を得る画像処理装置であって、
前記金属曲面部の3次元CADデータを記憶する記憶装置と、
前記金属曲面部の3次元CADデータと前記金属曲面部に照射される光の向きとに基づいて、前記金属曲面部で反射した光が前記撮像位置に到達したときに生成する図形の2次元データを作成し、前記図形の2次元データに基づいて前記撮像された画像から得られる前記金属曲面部に関する情報を評価する制御装置と、
を備える。The image processing apparatus of the present disclosure is
The metal curved surface portion of the electronic component provided with the metal curved surface portion is irradiated with the light of the side light source and / or the inclined light source, and the metal curved surface portion irradiated with light is a predetermined imaging position facing the metal curved surface portion An image processing apparatus for obtaining information from the curved metal surface portion on the basis of the captured image;
A storage device for storing three-dimensional CAD data of the metal curved surface portion;
Two-dimensional data of a figure generated when light reflected by the metal curved surface portion reaches the imaging position based on the three-dimensional CAD data of the metal curved surface portion and the direction of light irradiated to the metal curved surface portion A controller configured to evaluate information on the metal curved surface portion obtained from the captured image based on two-dimensional data of the figure;
Equipped with
本開示の画像処理方法及び画像処理装置では、金属曲面部の3次元CADデータと金属曲面部に照射される光の向きとに基づいて、金属曲面部で反射した光が所定の撮像位置に到達したときに生成する図形の2次元データを作成する。また、その図形の2次元データに基づいて、撮像された画像から得られる金属曲面部に関する情報を評価する。図形の2次元データは3次元CADデータに基づく正確なデータである。したがって、撮像された画像から得られる金属曲面部に関する情報を図形の2次元データに基づいて評価することにより、電子部品の金属曲面部に関する情報を精度よく評価することができる。 In the image processing method and the image processing apparatus of the present disclosure, the light reflected by the metal curved surface reaches a predetermined imaging position based on the three-dimensional CAD data of the metal curved surface and the direction of the light irradiated to the metal curved surface. Create two-dimensional data of the figure to be generated when In addition, based on two-dimensional data of the figure, information on a metal curved surface portion obtained from the captured image is evaluated. The two-dimensional data of a figure is accurate data based on three-dimensional CAD data. Therefore, the information on the metal curved surface portion of the electronic component can be evaluated with high accuracy by evaluating the information on the metal curved surface portion obtained from the captured image based on the two-dimensional data of the figure.
本開示の画像処理方法及び画像処理装置の好適な実施形態を、図面を参照しながら以下に説明する。図1は部品実装装置10の斜視図、図2はパーツカメラ40の構成の概略説明図、図3は部品実装装置10の制御に関わる構成を示すブロック図である。なお、本実施形態において、左右方向(X軸)、前後方向(Y軸)及び上下方向(Z軸)は、図1に示した通りとする。
Preferred embodiments of the image processing method and image processing apparatus of the present disclosure will be described below with reference to the drawings. FIG. 1 is a perspective view of the
部品実装装置10は、基台12と、基台12の上に設置された実装装置本体14と、実装装置本体14に装着された部品供給装置としてのリールユニット70とを備えている。
The
実装装置本体14は、基台12に対して交換可能に設置されている。この実装装置本体14は、基板搬送装置18と、ヘッド24と、ノズル37と、パーツカメラ40と、制御装置60とを備えている。
The mounting device
基板搬送装置18は、基板16を搬送したり保持したりする装置である。この基板搬送装置18は、支持板20,20と、コンベアベルト22,22(図1では片方のみ図示)とを備えている。支持板20,20は、左右方向に延びる部材であり、図1の前後に間隔を開けて設けられている。コンベアベルト22,22は、支持板20,20の左右に設けられた駆動輪及び従動輪に無端状となるように架け渡されている。基板16は、一対のコンベアベルト22,22の上面に乗せられて左から右へと搬送される。この基板16は、多数立設された支持ピン23によって裏面側から支持可能となっている。
The
ヘッド24は、X軸スライダ26の前面に取り付けられている。X軸スライダ26は、Y軸スライダ30の前面に取り付けられている。Y軸スライダ30は、前後方向に延びる左右一対のガイドレール32,32にスライド可能に取り付けられている。Y軸スライダ30の前面には、左右方向に延びる上下一対のガイドレール28,28が設けられている。X軸スライダ26は、このガイドレール28,28にスライド可能に取り付けられている。ヘッド24は、X軸スライダ26が左右方向に移動するのに伴って左右方向に移動し、Y軸スライダ30が前後方向に移動するのに伴って前後方向に移動する。なお、各スライダ26,30は、それぞれ駆動モータ26a,30a(図3参照)により駆動される。また、ヘッド24は、Z軸モータ34を内蔵し、Z軸に沿って延びるボールネジ35に取り付けられたノズル37の高さをZ軸モータ34によって調整する。さらに、ヘッド24は、ノズル37を回転させるQ軸モータ36(図3参照)を内蔵している。
The
ノズル37は、ノズル先端に部品を吸着して保持したり、ノズル先端に吸着している部品を吸着解除したりする部材である。ノズル37は、図示しない圧力供給源から圧力を供給可能であり、例えば負圧が供給されると部品を吸着し、負圧の供給が停止されるか又は正圧が供給されると部品を吸着解除する。ノズル37は、ヘッド24の本体底面から下方に突出している。また、Z軸モータ34によってノズル37がZ軸方向に沿って昇降することで、ノズル37に吸着された部品の高さが調整される。Q軸モータ36によってノズル37が回転することで、ノズル37に吸着された部品の向きが調整される。
The
パーツカメラ40は、基板搬送装置18の前側の支持板20の前方に配置されている。パーツカメラ40は、パーツカメラ40の上方が撮像範囲であり、ノズル37に保持された部品を下方から撮像して撮像画像を生成する。パーツカメラ40は、図2に示すように、照明部41と、撮像部49とを備えている。
The
照明部41は、撮像対象の部品90に対して光を照射する。この照明部41は、ハウジング42と、連結部43と、落射光源44と、ハーフミラー46と、多段光源47と、を備えている。ハウジング42は、上面及び下面(底面)が八角形状に開口した椀状の部材である。ハウジング42は、下面の開口よりも上面の開口の方が大きく、下面から上面に向かって内部空間が大きくなる傾向の形状をしている。連結部43は、ハウジング42と撮像部49とを連結する筒状の部材である。落射光源44は、LED45を複数有している。ハーフミラー46は、落射光源44のLED45からの水平方向の光を上方に反射する。また、ハーフミラー46は上方からの光については撮像部49に向けて透過する。多段光源47は、上段光源47aと、中段光源47bと、下段光源47cとを備えている。上段光源47aは、複数のLED48aを有し、中段光源47bは、複数のLED48bを有し、下段光源47cは、複数のLED48cを有している。LED48a〜48cは、いずれも光軸49aから傾斜した方向に光を照射する。LED48a〜48cの照射方向の光軸49aからの傾斜角は、LED48aが最も大きく、LED48aはほぼ水平方向に光を照射する。また、この傾斜角は、LED48cが最も小さくなっている。上段光源47aはほぼ水平方向に光を照射することから側射光源と称し、中段光源47bは斜め上向きに光を照射することから傾斜光源と称する。
The
撮像部49は、受光した光に基づいて撮像画像を生成する。この撮像部49は、図示しないレンズなどの光学系及び撮像素子(例えばCCD)を備えている。落射光源44及び多段光源47から発せられ撮像対象の部品で反射した後の光がハーフミラー46を透過して撮像部49に到達すると、撮像部49はこの光を受光して撮像画像を生成する。
The
制御装置60は、図3に示すように、CPU61、ROM62、HDD63、RAM64、入出力インターフェース65などを備えており、これらはバス66を介して接続されている。この制御装置60は、基板搬送装置18、X軸スライダ26の駆動モータ26a、Y軸スライダ30の駆動モータ30a、Z軸モータ34、Q軸モータ36、パーツカメラ40及びノズル37用の図示しない圧力供給源へ駆動信号を出力する。また、制御装置60は、パーツカメラ40からの撮像画像を入力する。制御装置60は、リールユニット70のフィーダコントローラ76と通信可能に接続されている。なお、図示しないが、各スライダ26,30には図示しない位置センサが装備されており、制御装置60はそれらの位置センサからの位置情報を入力しつつ、各スライダ26,30の駆動モータ26a,30aを制御する。
As shown in FIG. 3, the
リールユニット70は、複数のリール72を備え、実装装置本体14の前側に着脱可能に取り付けられている。各リール72には、テープが巻き付けられている。テープの表面には、テープの長手方向に沿って複数の収容凹部が設けられている。各収容凹部には、部品が収容されている。これらの部品は、テープの表面を覆うフィルムによって保護されている。こうしたテープは、リールから後方に向かって巻きほどかれ、フィーダ部74においてフィルムが剥がされて部品が露出した状態となる。この露出した状態の部品は、ノズル37によって吸着される。リールユニット70の動作はフィーダコントローラ76(図3参照)によって制御される。
The
管理コンピュータ80は、部品実装装置10の生産ジョブを管理するコンピュータであり、部品実装装置10の制御装置60と通信可能に接続されている。なお、生産ジョブは、部品実装装置10においてどの部品をどういう順番でどの基板16に装着するか、また、何枚の基板16に部品の実装を行うかなどを定めた情報である。管理コンピュータ80は、この生産ジョブを記憶しており、生産ジョブに含まれる情報を必要に応じて部品実装装置10に出力する。
The
次に、本実施形態の部品実装装置10の動作について説明する。ここでは、部品として、図2に示すように、本体92の下面に複数のバンプ94が配設されたBGAパッケージの部品90を例に挙げて説明する。
Next, the operation of the
まず、部品実装処理ルーチンについて説明する。図4はこのルーチンのフローチャートである。制御装置60のCPU61は、部品実装処理ルーチンを開始すると、部品90をノズル37に吸着させる(S100)。具体的には、CPU61は、X軸スライダ26やY軸スライダ30を制御して、リールユニット70によって供給される部品90の直上にノズル37を配置する。このとき、ノズル37の中心が部品90の中心の直上に来るようにノズル37を配置する。続いて、CPU61は、ヘッド24を制御して、ノズル37を部品90の上面まで下降し、ノズル37に負圧を供給して部品90をノズル37に吸着させる。
First, the component mounting process routine will be described. FIG. 4 is a flowchart of this routine. When the component mounting processing routine is started, the
次に、CPU61は、部品90に含まれるバンプ94をパーツカメラ40に撮像させる(S110)。具体的には、CPU61は、ヘッド24を制御して、ノズル37に吸着された部品90が他の部材と干渉しない高さまでノズル37を上昇する。続いて、CPU61は、X軸スライダ26やY軸スライダ30を制御して、パーツカメラ40の光軸49a上にノズル37の中心が一致するようにノズル37を配置する。続いて、CPU61は、パーツカメラ40の上段光源47aのみを点灯させ、部品90に含まれるバンプ94をパーツカメラ40に撮像させ、その撮像画像を入力する。バンプ94の表面は曲面であるため、バンプ94の中心付近で反射された光は撮像部49に入射しない。そのため、パーツカメラ40によって撮像された画像には、図5に示すように、バンプ94は、黒色背景96に白色の環状帯(ドーナツ状の帯)98として現れる。
Next, the
次に、CPU61は、撮像画像から白色の環状帯98の外径drを演算し(S120)、予め設定しておいた基準データを用いてその環状帯98の外径drをバンプ94の外径Dr(図5参照)に換算する(S130)。このS130の処理の詳細については後述する。
Next, the
次に、CPU61は、換算したバンプ94の外径Drが適正範囲内か否かを判定する(S140)。適正範囲は、設計上のバンプ94の外径に誤差・公差等を見込んで設定された許容量を付加した範囲である。S140で肯定判定だったならば、CPU61は、ノズル37に吸着された部品90を基板16の所定位置に装着し(S150)、本ルーチンを終了する。具体的には、CPU61は、X軸スライダ26やY軸スライダ30を制御して、基板16の所定位置の直上にノズル37の中心が一致するようにノズル37を配置する。続いて、CPU61は、ヘッド24を制御して、ノズル37に吸着された部品90を基板16の上面まで下降し、ノズル37に大気圧又は正圧を供給して部品90を基板16に装着する。一方、S140で否定判定だったならば、CPU61は、図示しないディスプレイにエラーメッセージを表示し(S160)、本ルーチンを終了する。
Next, the
ここで、基準データについて詳説する。CPU61は、上述した部品実装処理ルーチンを実行する前に、基準データ作成ルーチンを実行する。図6はこのルーチンのフローチャートである。制御装置60のCPU61は、基準データ作成ルーチンを開始すると、HDD63に記憶されている部品90の3次元CADデータを取得する(S200)。HDD63には、基板16に実装される各種部品(部品90を含む)の3次元CADデータが記憶されている。部品90の3次元CADデータには、バンプ94の外形形状のデータが含まれている。バンプ94の外形形状のデータとしては、バンプ94の高さや外径(バンプ94を平面視したときの円の直径)のほか、バンプ94の曲面を定義するデータ(曲率半径など)が含まれている。次に、CPU61は、部品90に含まれるバンプ94に側射光源の光を照射したときの理想画像(2次元データ)を3次元CADデータから演算する(S210)。バンプ94の理想画像は、図5の環状帯98と同様の環状帯として現れる。次に、CPU61は、理想画像から環状帯の外径を演算する(S220)。次に、CPU61は、設計上のバンプ94の外径に対する環状帯の外径の比率を基準データとして演算し、その基準データを部品90の識別情報と対応づけてHDD63に記憶し(S230)、本ルーチンを終了する。なお、識別情報は、部品種類を区別するために付された情報である。
Here, the reference data will be described in detail. The
部品90としては、例えば、図7に示すように半球状のバンプ94aを持つBGAパッケージの部品90aや、図8に示すように円柱の底面に半楕円球が接合した形状のバンプ94bを持つBGAパッケージの部品90bなどがある。バンプ94aは、ランドの上に溶融ハンダを供給して固化させたものである。バンプ94bは、カップ状の受け皿の上に溶融ハンダを供給し固化させたものである。HDD63には、部品90aの識別情報に対応づけて記憶された基準データRaと、部品90bの識別情報に対応づけて記憶された基準データRbとが存在する。
As the
部品90aの基準データRaの求め方について、以下に説明する。上段光源47aのLED48aから照射される光束は、図9に示すように、所定の角度範囲を持っている。図9には上段光源47aのうち図2で右側のLED48aから照射される光束を示したが、その他の場所のLED48aから照射される光束もこれと同様の角度範囲を持っている。LED48aから照射される所定の角度範囲を持った光束がバンプ94aに照射されると、図10に示すように、バンプ94aの表面で光軸49aと平行な方向に反射した光だけが撮像部49に入射する。そのため、バンプ94aの理想画像は、図11に示すように、黒色背景96に白色の環状帯98aとして現れる。この環状帯98aの外径daは、図10とバンプ94aの3次元CADデータとを用いれば正確に算出することができる。そのため、設計上のバンプ94aの外径Daに対する環状帯98aの外径daの比率Ra(基準データ)を、正確に求めることができる。ここでは、Ra=da/Da=60(%)だったとする。HDD63には、部品90aの識別情報と基準データRaとが対応づけて記憶される。
The method of obtaining the reference data Ra of the
部品90bの基準データRbの求め方について、以下に説明する。上段光源47aのLED48aから照射される光束は、上述したとおり、所定の角度範囲を持っている。LED48aから照射される所定の角度範囲を持った光束がバンプ94bに照射されると、図12に示すように、バンプ94bの表面で光軸49aと平行な方向に反射した光だけが撮像部49に入射する。そのため、バンプ94bの理想画像は、図12に示すように、黒色背景96に白色の環状帯98bとして現れる。この環状帯98bの外径dbは、図12とバンプ94bの3次元CADデータとを用いれば正確に算出することができる。そのため、設計上のバンプ94bの外径Dbに対する環状帯98bの外径dbの比率Rb(基準データ)を正確に求めることができる。ここでは、Rb=db/Db=90(%)だったとする。HDD63には、部品90bの識別情報と基準データRbとが対応づけて記憶される。
The method of obtaining the reference data Rb of the
上述したS130において、ノズル37に吸着された部品90の識別情報が部品90aの識別情報と一致していた場合、S120で演算した環状帯98の外径drを、部品90aの基準データである比率Raを用いて撮像対象のバンプ94の外径Drに換算する。この場合、Dr=dr/Ra≒1.67drになる。S140では、この換算した外径Drが適正範囲内か否かが判定される。一方、上述したS130において、ノズル37に吸着された部品90の識別情報が部品90bの識別情報と一致していた場合、S120で演算した環状帯の外径drを、部品90bの基準データである比率Rbを用いて撮像対象のバンプ94の外径Drに換算する。この場合、Dr=dr/Rb≒1.11drになる。S140では、この換算した外径Drが適正範囲内か否かが判定される。
In the above-described S130, when the identification information of the
ところで、部品90aでも部品90bでもバンプ外径に対する環状帯外径の比率を同じ値とした場合、その比率は実際のバンプの形状を考慮した値ではない。そのため、環状帯の外径drからバンプの外径Drをその比率を用いて換算したとしても、バンプの外径Drは誤差が大きくなる。その結果、バンプの外径Drが適正範囲内か否かの判定精度は低くなる。これに対して、本実施形態では、比率Ra,Rbは実際のバンプの形状を考慮した値となっている。そのため、環状帯の外径drからバンプの外径Drを比率Ra,Rbを用いて換算して得られるバンプの外径Drは、誤差が非常に小さいものとなる。その結果、バンプの外径Drが適正範囲内か否かの判定精度は高くなる。
By the way, when the ratio of the annular belt outer diameter to the bump outer diameter is made the same in both the
ここで、本実施形態の構成要素と本開示の画像処理方法(又は画像処理装置)の構成要素との対応関係について説明する。本実施形態のバンプ94が「金属曲面部」に相当し、環状帯98が「図形」に相当し、バンプ94の外径が「金属曲面部に関する情報」に相当し、比率Ra,Rbが「基準データ」に相当する。
Here, the correspondence between the components of the present embodiment and the components of the image processing method (or the image processing apparatus) of the present disclosure will be described. The
以上説明した本実施形態では、バンプ94の3次元CADデータとバンプ94に照射される光の向きとに基づいて、バンプ94で反射した光が撮像部49に到達したときに生成する環状帯98の2次元データを作成する。また、その環状帯98の2次元データに基づいて基準データである比率Ra,Rbを作成する。そして、撮像画像から得られる環状帯98の外径drを比率Ra,Rbを用いて評価する。各比率は、各部品の3次元CADデータに基づく正確なデータである。したがって、部品90のバンプ94の外径Drを精度よく評価することができる。
In the embodiment described above, based on the three-dimensional CAD data of the
また、バンプ94は、一般的には半球状又はそれに近い形状であるが、詳細にみると種々の形状のものがある。そのため、複数種類のバンプ94について3次元CADデータの外径が同じだとしても、2次元データに変換した後の環状帯98の外径は異なることがある。したがって、各バンプ94の3次元CADデータを利用して比率Ra,Rbを作成する意義が高い。
Also, although the
なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。 It is needless to say that the present invention is not limited to the above-mentioned embodiment at all, and can be implemented in various modes within the technical scope of the present invention.
例えば、上述した実施形態では、金属曲面部として、BGAパッケージ部品のバンプを例示したが、特にこれに限定されるものではなく、例えばPGAパッケージ部品のピン電極であってもよいし、リード部品のリード(但し湾曲部を有するリード)であってもよい。ピン電極の先端は曲面であるため、側射光源が照射されたときの撮像画像には上述したバンプと同様、環状帯が現れる。また、湾曲部を有するリードの湾曲部も曲面であるため、側射光源が照射されたときの撮像画像には線状帯が現れる。したがって、バンプの代わりにピン電極や湾曲部を有するリードを採用した場合でも、上述した実施形態と同様の効果が得られる。 For example, in the above-described embodiment, the bump of the BGA package component is exemplified as the metal curved portion, but the invention is not particularly limited thereto. For example, the pin electrode of the PGA package component may be used. It may be a lead (but a lead having a curved portion). Since the tip of the pin electrode is a curved surface, an annular band appears in the captured image when the side-reflection light source is irradiated, like the above-described bump. Further, since the curved portion of the lead having the curved portion is also a curved surface, a linear band appears in the captured image when the side-emitting light source is irradiated. Therefore, even in the case of adopting a lead having a pin electrode or a curved portion instead of the bump, the same effect as that of the above-described embodiment can be obtained.
上述した実施形態の部品実装処理ルーチン(図4)において、S130を省略し、S140でバンプ94の外径Drが適正範囲内か否かを判定する代わりに環状帯の外径drが適正範囲内か否かを判定してもよい。この場合、部品実装処理ルーチンを実行する前に、基準データ作成ルーチン(図6)の代わりに、環状帯外径演算ルーチンを行う。環状帯外径演算ルーチンは、基準データ作成ルーチンのS230を省略したもの(つまりS200〜S220)である。環状帯の外径drが適正範囲内か否かは、環状帯の外径drが理想画像から得られる環状帯の外径の許容範囲内か否かによって判断される。理想画像から得られる環状帯の外径は3次元CADデータに基づく正確なデータである。そのため、このようにしても、部品90を精度よく評価することができる。
In the component mounting process routine (FIG. 4) of the embodiment described above, S130 is omitted, and instead of determining whether the outer diameter Dr of the
上述した実施形態では、バンプ94を撮影するにあたり、側射光源である上段光源47aのみを点灯させたが、これに代えて又は加えて、傾斜光源である中段光源47bを点灯させてもよい。傾斜光源をバンプ94に照射した場合も、バンプ94は撮影画像に環状帯として現れるため、上述した実施形態と同様の効果が得られる。また、側射光源及び傾斜光源の一方又は両方を点灯させると共に落射光源44を点灯させてもよい。このようにしても上述した実施形態と同様の効果が得られる。
In the embodiment described above, only the upper
上述した実施形態では、部品供給装置としてリールユニット70を例示したが、特にこれに限定されるものではなく、例えば、トレイに部品を載せて供給するトレイユニットを採用してもよい。
In the embodiment described above, the
上述した実施形態では、部品90を採取する部材としてノズル37を用いたが、その代わりに爪で掴むタイプのチャックを採用してもよい。
In the embodiment described above, the
本開示の画像処理方法や画像処理装置は、以下のように構成してもよい。 The image processing method and the image processing apparatus of the present disclosure may be configured as follows.
本開示の画像処理方法において、前記図形の2次元データに基づいて前記金属曲面部に関する情報の基準データを作成し、前記撮像された画像から得られる前記金属曲面部に関する情報を前記基準データを用いて評価してもよい。また、本開示の画像処理装置において、前記制御装置は、前記図形の2次元データに基づいて前記金属曲面部に関する情報の基準データを作成し、前記撮像された画像から得られる前記金属曲面部に関する情報を前記基準データを用いて評価してもよい。こうすれば、金属曲面部に関する情報の基準データは3次元CADデータに基づく正確なデータとなる。したがって、撮像された画像から得られる金属曲面部に関する情報を基準データを用いて評価することにより、電子部品の金属曲面部に関する情報を精度よく評価することができる。 In the image processing method of the present disclosure, reference data of information on the metal curved surface portion is created based on two-dimensional data of the graphic, and information on the metal curved surface portion obtained from the captured image is used with the reference data. It may be evaluated. Further, in the image processing apparatus of the present disclosure, the control device generates reference data of information related to the metal curved surface portion based on two-dimensional data of the graphic, and relates to the metal curved surface portion obtained from the captured image. Information may be evaluated using the reference data. In this way, the reference data of the information on the metal curved surface portion becomes accurate data based on the three-dimensional CAD data. Therefore, the information on the metal curved surface portion of the electronic component can be evaluated with high accuracy by evaluating the information on the metal curved surface portion obtained from the captured image using the reference data.
本開示の画像処理方法及び画像処理装置において、前記金属曲面部は、バンプであり、前記図形は、環状帯であり、前記金属曲面部に関する情報は、前記バンプの外径であってもよい。バンプは、一般的には半球状又はそれに近い形状であるが、詳細にみると種々の形状のものがある。そのため、複数種類のバンプについて3次元CADデータの外径が同じだとしても、2次元データに変換した後の環状帯の外径は異なることがある。したがって、本開示の画像処理方法や画像処理装置を適用する意義が高い。 In the image processing method and the image processing apparatus of the present disclosure, the metal curved surface portion may be a bump, the graphic may be an annular band, and the information on the metal curved surface portion may be an outer diameter of the bump. The bumps are generally hemispherical or near in shape, but variously in detail. Therefore, even if the outer diameter of the three-dimensional CAD data is the same for a plurality of types of bumps, the outer diameter of the annular band after conversion into two-dimensional data may be different. Therefore, the significance of applying the image processing method and the image processing apparatus of the present disclosure is high.
本発明は、バンプなどの金属表面部を備えた部品を基板に実装する部品実装機などに利用可能である。 The present invention is applicable to a component mounting machine or the like for mounting a component provided with a metal surface portion such as a bump on a substrate.
10 部品実装装置、12 基台、14 実装装置本体、16 基板、18 基板搬送装置、20 支持板、22 コンベアベルト、23 支持ピン、24 ヘッド、26 X軸スライダ、26a 駆動モータ、28 ガイドレール、30 Y軸スライダ、30a 駆動モータ、32 ガイドレール、34 Z軸モータ、35 ボールネジ、36 Q軸モータ、37 ノズル、40 パーツカメラ、41 照明部、42 ハウジング、43 連結部、44 落射光源、45 LED、46 ハーフミラー、47 多段光源、47a 上段光源、47b 中段光源、47c 下段光源、48a,48b,48c LED、49 撮像部、49a 光軸、60 制御装置、61 CPU、62 ROM、63 HDD、64 RAM、65 入出力インターフェース、66 バス、70 リールユニット、72 リール、74 フィーダ部、76 フィーダコントローラ、80 管理コンピュータ、90,90a,90b 部品、92 本体、94,94a,94b バンプ、96 黒色背景、98,98a,98b 環状帯。
DESCRIPTION OF
Claims (6)
前記金属曲面部の3次元CADデータと前記金属曲面部に照射される光の向きとに基づいて、前記金属曲面部で反射した光が前記撮像位置に到達したときに生成する図形の2次元データを作成し、前記図形の2次元データに基づいて前記撮像された画像から得られる前記金属曲面部に関する情報を評価する、
画像処理方法。The metal curved surface portion of the electronic component provided with the metal curved surface portion is irradiated with the light of the side light source and / or the inclined light source, and the metal curved surface portion irradiated with light is a predetermined imaging position facing the metal curved surface portion An image processing method for obtaining information on the metal curved surface portion based on the captured image,
Two-dimensional data of a figure generated when light reflected by the metal curved surface portion reaches the imaging position based on the three-dimensional CAD data of the metal curved surface portion and the direction of light irradiated to the metal curved surface portion And evaluating information on the metal curved surface portion obtained from the captured image based on two-dimensional data of the graphic,
Image processing method.
請求項1に記載の画像処理方法。Reference data of information on the metal curved surface portion is created based on two-dimensional data of the graphic, and information on the metal curved surface portion obtained from the captured image is evaluated using the reference data.
The image processing method according to claim 1.
前記図形は、環状帯であり、
前記金属曲面部に関する情報は、前記バンプの外径である、
請求項1又は2に記載の画像処理方法。The metal curved portion is a bump,
The figure is an annular band,
The information on the metal curved portion is the outer diameter of the bump,
The image processing method according to claim 1.
前記金属曲面部の3次元CADデータを記憶する記憶装置と、
前記金属曲面部の3次元CADデータと前記金属曲面部に照射される光の向きとに基づいて、前記金属曲面部で反射した光が前記撮像位置に到達したときに生成する図形の2次元データを作成し、前記図形の2次元データに基づいて前記撮像された画像から得られる前記金属曲面部に関する情報を評価する制御装置と、
を備える画像処理装置。The metal curved surface portion of the electronic component provided with the metal curved surface portion is irradiated with the light of the side light source and / or the inclined light source, and the metal curved surface portion irradiated with light is a predetermined imaging position facing the metal curved surface portion An image processing apparatus for obtaining information from the curved metal surface portion on the basis of the captured image;
A storage device for storing three-dimensional CAD data of the metal curved surface portion;
Two-dimensional data of a figure generated when light reflected by the metal curved surface portion reaches the imaging position based on the three-dimensional CAD data of the metal curved surface portion and the direction of light irradiated to the metal curved surface portion A controller configured to evaluate information on the metal curved surface portion obtained from the captured image based on two-dimensional data of the figure;
An image processing apparatus comprising:
請求項4に記載の画像処理方法。The control device creates reference data of information on the metal curved surface portion based on two-dimensional data of the figure, and evaluates information on the metal curved surface portion obtained from the captured image using the reference data ,
The image processing method according to claim 4.
前記図形は、環状帯であり、
前記金属曲面部に関する情報は、前記バンプの外径である、
請求項4又は5に記載の画像処理装置。The metal curved portion is a bump,
The figure is an annular band,
The information on the metal curved portion is the outer diameter of the bump,
The image processing apparatus according to claim 4.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/085605 WO2018100692A1 (en) | 2016-11-30 | 2016-11-30 | Image processing method and image processing device for electronic part |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018100692A1 true JPWO2018100692A1 (en) | 2019-07-11 |
JP6670949B2 JP6670949B2 (en) | 2020-03-25 |
Family
ID=62242844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018553585A Active JP6670949B2 (en) | 2016-11-30 | 2016-11-30 | Image processing method and image processing apparatus for electronic components |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6670949B2 (en) |
WO (1) | WO2018100692A1 (en) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03269310A (en) * | 1990-03-20 | 1991-11-29 | Matsushita Electric Ind Co Ltd | Instrument and method for inspecting shape of solder |
JP2000121338A (en) * | 1998-10-13 | 2000-04-28 | Yamagata Casio Co Ltd | Electronic component inspecting device |
JP2000294590A (en) * | 1999-04-06 | 2000-10-20 | Fujitsu Ltd | Bump inspection method and its inspection device |
JP2000315896A (en) * | 1999-04-30 | 2000-11-14 | Tenryu Technics Co Ltd | Surface mounting part-fitting machine |
US20040175029A1 (en) * | 2003-03-04 | 2004-09-09 | Tong Fang | Ball grid array modeling for inspecting surface mounted devices |
JP2005173963A (en) * | 2003-12-11 | 2005-06-30 | Matsushita Electric Ind Co Ltd | Method and device for analyzing electronic component, and electronic component using them |
JP2008216140A (en) * | 2007-03-06 | 2008-09-18 | Fuji Mach Mfg Co Ltd | Transfer material transfer inspection method in electronic component installing device |
JP2011075470A (en) * | 2009-10-01 | 2011-04-14 | Fujitsu Ltd | Image processing program, image processing method, and image processing device |
WO2013128503A1 (en) * | 2012-03-01 | 2013-09-06 | 株式会社 東芝 | Defect detection device |
-
2016
- 2016-11-30 WO PCT/JP2016/085605 patent/WO2018100692A1/en active Application Filing
- 2016-11-30 JP JP2018553585A patent/JP6670949B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03269310A (en) * | 1990-03-20 | 1991-11-29 | Matsushita Electric Ind Co Ltd | Instrument and method for inspecting shape of solder |
JP2000121338A (en) * | 1998-10-13 | 2000-04-28 | Yamagata Casio Co Ltd | Electronic component inspecting device |
JP2000294590A (en) * | 1999-04-06 | 2000-10-20 | Fujitsu Ltd | Bump inspection method and its inspection device |
JP2000315896A (en) * | 1999-04-30 | 2000-11-14 | Tenryu Technics Co Ltd | Surface mounting part-fitting machine |
US20040175029A1 (en) * | 2003-03-04 | 2004-09-09 | Tong Fang | Ball grid array modeling for inspecting surface mounted devices |
JP2005173963A (en) * | 2003-12-11 | 2005-06-30 | Matsushita Electric Ind Co Ltd | Method and device for analyzing electronic component, and electronic component using them |
JP2008216140A (en) * | 2007-03-06 | 2008-09-18 | Fuji Mach Mfg Co Ltd | Transfer material transfer inspection method in electronic component installing device |
JP2011075470A (en) * | 2009-10-01 | 2011-04-14 | Fujitsu Ltd | Image processing program, image processing method, and image processing device |
WO2013128503A1 (en) * | 2012-03-01 | 2013-09-06 | 株式会社 東芝 | Defect detection device |
Also Published As
Publication number | Publication date |
---|---|
JP6670949B2 (en) | 2020-03-25 |
WO2018100692A1 (en) | 2018-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6231791B2 (en) | Mounting device | |
CN108029243B (en) | Mounting device, shooting processing method and shooting unit | |
JP2023118927A (en) | Substrate handling work system | |
JP6059973B2 (en) | Surface mounter and component supply device | |
JP2017139388A (en) | Mounting apparatus | |
JP6837161B2 (en) | Imaging unit and component mounting machine | |
JP6475165B2 (en) | Mounting device | |
EP3407696A1 (en) | Mounting apparatus and image processing method | |
JP6859356B2 (en) | Lighting condition identification device and lighting condition identification method | |
CN110651538B (en) | Working machine and calculation method | |
JPWO2018100692A1 (en) | Image processing method for electronic parts and image processing apparatus | |
JPWO2016143059A1 (en) | Mounting apparatus, imaging processing method, and imaging unit | |
JPWO2018100706A1 (en) | Work machine | |
JP6482165B2 (en) | Recognition device and recognition method | |
JP7271738B2 (en) | Imaging unit | |
WO2024004074A1 (en) | Mounting machine | |
CN114287176B (en) | Working machine | |
US11924976B2 (en) | Work machine | |
JP2021136332A (en) | Imaging apparatus and component mounting machine | |
JP6789603B2 (en) | Mounting device | |
JP2021144979A (en) | Lighting device and component mounting device | |
WO2019176024A1 (en) | Image-capturing unit and component-mounting device | |
JP6190172B2 (en) | Component mounting device | |
JPH07193398A (en) | Automatic assembly/mounting device and its method | |
JPWO2020065698A1 (en) | Production optimization system for component data, component data creation system, component mounting machine and component mounting line |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200302 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6670949 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |