JPWO2016110941A1 - Mounting-related processing device, image processing method, and program thereof - Google Patents
Mounting-related processing device, image processing method, and program thereof Download PDFInfo
- Publication number
- JPWO2016110941A1 JPWO2016110941A1 JP2016568193A JP2016568193A JPWO2016110941A1 JP WO2016110941 A1 JPWO2016110941 A1 JP WO2016110941A1 JP 2016568193 A JP2016568193 A JP 2016568193A JP 2016568193 A JP2016568193 A JP 2016568193A JP WO2016110941 A1 JPWO2016110941 A1 JP WO2016110941A1
- Authority
- JP
- Japan
- Prior art keywords
- mounting
- image
- component
- unit
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 68
- 238000003672 processing method Methods 0.000 title claims description 15
- 238000001514 detection method Methods 0.000 claims abstract description 39
- 239000000284 extract Substances 0.000 claims abstract description 14
- 238000003384 imaging method Methods 0.000 claims description 46
- 238000000034 method Methods 0.000 claims description 18
- 238000012546 transfer Methods 0.000 description 22
- 239000000758 substrate Substances 0.000 description 20
- 238000010586 diagram Methods 0.000 description 8
- 230000032258 transport Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000001179 sorption measurement Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
- H05K13/08—Monitoring manufacture of assemblages
- H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
- H05K13/0813—Controlling of single components prior to mounting, e.g. orientation, component geometry
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Operations Research (AREA)
- Manufacturing & Machinery (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Supply And Installment Of Electrical Components (AREA)
- Studio Devices (AREA)
Abstract
実装装置11は、部品の状態に関する画像を撮像し、撮像された画像中において、所定の検出領域に存在する部品の外形を抽出し、この抽出した部品の外形に関する情報に基づいて、部品の画像を含む所定の取込領域を部品の画像が入る位置へ移動させ、取込領域に含まれる画像データを出力する。この実装装置11では、例えば、部品の位置がずれた画像が撮像されたとしても、抽出した部品の外形に応じて取込領域を移動するため、取込領域をより小さくすることができる。The mounting apparatus 11 captures an image related to the state of the component, extracts an external shape of the component existing in a predetermined detection area from the captured image, and based on the extracted information regarding the external shape of the component, the image of the component Is moved to a position where the image of the part enters, and the image data included in the capture area is output. In this mounting apparatus 11, for example, even if an image in which the position of a component is shifted is captured, the capture region is moved according to the extracted outer shape of the component, so that the capture region can be further reduced.
Description
本発明は、実装関連処理装置、画像処理方法及びそのプログラムに関し、より詳しくは、部品を基板に実装する処理に関する実装関連処理装置、画像処理方法及びそのプログラムに関する。 The present invention relates to a mounting-related processing device, an image processing method, and a program thereof, and more particularly to a mounting-related processing device, an image processing method, and a program thereof related to processing for mounting a component on a board.
従来、実装装置としては、イメージセンサの撮像エリア内に撮像前に予め静止状態にある複数の撮像対象(例えば吸着された部品)の各々に対応した複数の着目エリアを設定し、着目エリアの静止画像データの取得条件を撮像前に予め設定するものが提案されている(例えば、特許文献1参照)。 Conventionally, as a mounting apparatus, a plurality of areas of interest corresponding to each of a plurality of imaging objects (for example, sucked parts) in a stationary state are set in advance in an imaging area of an image sensor, and the area of interest is stationary. An image data acquisition condition is set in advance before imaging (see, for example, Patent Document 1).
しかしながら、上述した実装装置では、着目エリアを予め設定するが、撮像対象の位置ずれなどを考慮すると、部品の吸着ずれ量の最大値に、安全を見越したマージンを加えた大きさの着目エリアを設定する必要があった。そしてこのような装置では、画像データの転送量が大きくなり、転送に時間がかかることがあった。 However, in the mounting apparatus described above, the target area is set in advance, but considering the positional deviation of the imaging target, the target area having a size obtained by adding a margin for safety to the maximum value of the component suction deviation amount It was necessary to set. In such an apparatus, the transfer amount of image data becomes large, and transfer may take time.
本発明は、このような課題に鑑みなされたものであり、画像データの転送時間をより短縮することができる実装関連処理装置、画像処理方法及びそのプログラムを提供することを主目的とする。 The present invention has been made in view of such a problem, and a main object of the present invention is to provide a mounting related processing device, an image processing method, and a program thereof that can further reduce the transfer time of image data.
本発明は、上述の主目的を達成するために以下の手段を採った。 The present invention adopts the following means in order to achieve the main object described above.
本発明の実装関連処理装置は、
部品を基板に実装する処理に関する実装関連処理を実行する実装関連処理装置であって、
部品の状態に関する画像を撮像する撮像部と、
前記撮像された画像中において、所定の検出領域に存在する部品の外形を抽出し該抽出した部品の外形に関する情報に基づいて前記部品の画像を含む所定の取込領域を該部品の画像が入る位置へ移動させる領域設定部と、
前記取込領域に含まれる画像データを出力する出力部と、
を備えたものである。The mounting related processing device of the present invention
A mounting-related processing device that executes mounting-related processing related to processing for mounting a component on a board,
An imaging unit that captures an image relating to the state of the component;
In the captured image, the external shape of the part existing in the predetermined detection area is extracted, and the image of the part enters the predetermined capture area including the image of the part based on the extracted information regarding the external shape of the part. An area setting unit to be moved to the position;
An output unit for outputting image data included in the capture area;
It is equipped with.
この装置は、部品の状態に関する画像を撮像し、撮像された画像中において、所定の検出領域に存在する部品の外形を抽出し、この抽出した部品の外形に関する情報に基づいて、部品の画像を含む所定の取込領域を部品の画像が入る位置へ移動させる。そして、この装置は、取込領域に含まれる画像データを出力する。この装置では、例えば、部品の位置がずれた画像が撮像されたとしても、抽出した部品の外形に応じて取込領域を移動するため、取込領域をより小さくすることができる。このため、出力する取込領域の画像データをより小さくすることができる。したがって、この装置では、画像データの転送時間をより短縮することができる。ここで、実装関連処理装置は、例えば、部品を基板に実装する実装装置であるものとしてもよいし、基板に実装された部品の状態を検査する検査装置であるものとしてもよい。 The apparatus captures an image related to the state of the component, extracts an external shape of the component existing in a predetermined detection area from the captured image, and extracts an image of the component based on the extracted information regarding the external shape of the component. A predetermined capture area including the image is moved to a position where an image of the part enters. This apparatus then outputs the image data included in the capture area. In this apparatus, for example, even if an image in which the position of a component is shifted is captured, the capture region is moved according to the extracted external shape of the component, so that the capture region can be further reduced. For this reason, the image data of the capture area to be output can be further reduced. Therefore, in this apparatus, the transfer time of image data can be further shortened. Here, the mounting-related processing device may be, for example, a mounting device that mounts components on a substrate, or may be an inspection device that inspects the state of components mounted on a substrate.
本発明の実装関連処理装置において、前記領域設定部は、前記検出領域に対して二値化処理を行い前記部品の外形を抽出するものとしてもよい。この装置では、比較的簡便な二値化処理によって画像データの転送時間をより短縮することができる。 In the mounting-related processing device of the present invention, the area setting unit may perform binarization processing on the detection area and extract the outer shape of the component. In this apparatus, the transfer time of image data can be further shortened by a relatively simple binarization process.
本発明の実装関連処理装置において、前記取込領域は、前記検出領域以下のサイズであるものとしてもよい。取込領域は、より部品サイズに近く、より狭い領域であることが転送時間の観点からは好ましい。検出領域は、部品の外形を抽出可能な程度の領域であればよく、これも、外形抽出処理の時間の観点からは、より狭い領域であることが好ましい。 In the mounting-related processing device of the present invention, the capture area may be a size smaller than the detection area. It is preferable from the viewpoint of transfer time that the capture area is closer to the component size and narrower. The detection area may be an area that can extract the outer shape of the component, and this is also preferably a narrower area from the viewpoint of the time of the outer shape extraction process.
本発明の実装関連処理装置において、前記領域設定部は、前記抽出された部品の外形に基づいてサイズを変更して前記取込領域を設定するものとしてもよい。この装置では、取込領域をより小さくすることができ、画像データの転送時間を更に短縮することができる。なお、取込領域の初期値は、部品の大きさに基づいて予め定められたサイズとすることができる。あるいは、本発明の実装関連処理装置において、前記取込領域は、前記撮像される部品のサイズに基づいて設定されているものとしてもよい。 In the mounting-related processing device of the present invention, the area setting unit may change the size based on the extracted outer shape of the part and set the capture area. In this apparatus, the capture area can be further reduced, and the transfer time of image data can be further shortened. The initial value of the capture area can be a predetermined size based on the size of the part. Alternatively, in the mounting-related processing device of the present invention, the capture area may be set based on the size of the imaged component.
本発明の実装関連処理装置において、前記撮像部は、受光により電荷を発生させ発生した電荷を出力する撮像素子と、出力された電荷に基づいて画像データを生成する画像処理部とを備えており、前記領域設定部は、前記撮像素子から電荷を転送し前記画像処理部が画像を生成する際に前記部品の外形を抽出するものとしてもよい。この装置では、撮像素子からの電荷の転送時に部品の外形を抽出することができるため、画像の撮像から画像データの出力までの処理時間についても、より短縮することができる。 In the mounting-related processing device of the present invention, the imaging unit includes an imaging element that generates charges by receiving light and outputs the generated charges, and an image processing unit that generates image data based on the output charges. The region setting unit may extract the external shape of the component when the charge is transferred from the image sensor and the image processing unit generates an image. In this apparatus, the external shape of the component can be extracted when the charge is transferred from the image sensor, so that the processing time from image capturing to image data output can be further shortened.
本発明の実装関連処理装置は、部品を基板に実装する実装部と、前記実装部を制御する制御部と、を備え、前記出力部は、前記制御部へ前記画像データを出力するものとしてもよい。こうすれば、撮像部から制御部への画像データの転送時間をより短縮することができる。 The mounting-related processing device of the present invention includes a mounting unit that mounts a component on a board and a control unit that controls the mounting unit, and the output unit outputs the image data to the control unit. Good. By so doing, it is possible to further shorten the transfer time of the image data from the imaging unit to the control unit.
本発明の画像処理方法は、
部品を基板に実装する処理に関する実装関連処理での画像処理方法であって、
(a)部品の状態に関する画像を撮像するステップと、
(b)前記撮像された画像中において、所定の検出領域に存在する部品の外形を抽出し該抽出した部品の外形に関する情報に基づいて前記部品の画像を含む所定の取込領域を該部品の画像が入る位置へ移動させるステップと、
(c)前記取込領域に含まれる画像データを出力するステップと、
を含むものである。The image processing method of the present invention includes:
An image processing method in a mounting related process related to a process of mounting a component on a board,
(A) capturing an image relating to the state of the component;
(B) In the captured image, the outline of a part existing in a predetermined detection area is extracted, and a predetermined capture area including an image of the part is extracted based on the extracted information related to the outline of the part. Moving to the position where the image enters,
(C) outputting image data included in the capture area;
Is included.
この画像処理方法は、上述した実装関連処理装置と同様に、部品の位置がずれた画像が撮像されたとしても、抽出した部品の外形に応じて取込領域を移動するため、取込領域をより小さくすることができる。このため、出力する取込領域の画像データをより小さくすることができる。したがって、この装置では、画像データの転送時間をより短縮することができる。なお、この画像処理方法において、上述した実装関連処理装置の種々の態様を採用してもよいし、また、上述した実装関連処理装置の各機能を実現するようなステップを追加してもよい。 In this image processing method, as in the above-described mounting-related processing device, even if an image in which the position of the component is shifted is captured, the capture region is moved according to the extracted external shape of the component. It can be made smaller. For this reason, the image data of the capture area to be output can be further reduced. Therefore, in this apparatus, the transfer time of image data can be further shortened. In this image processing method, various aspects of the above-described mounting related processing device may be adopted, and steps for realizing each function of the above mounting related processing device may be added.
本発明のプログラムは、上述した画像処理方法のステップを1以上のコンピュータが実行するものである。このプログラムは、コンピュータが読み取り可能な記録媒体(例えばハードディスク、ROM、FD、CD、DVDなど)に記録されていてもよいし、伝送媒体(インターネットやLANなどの通信網)を介してあるコンピュータから別のコンピュータへ配信されてもよいし、その他どのような形で授受されてもよい。このプログラムを1つのコンピュータに実行させるか又は複数のコンピュータに各ステップを分担して実行させれば、上述した画像処理方法の各ステップが実行されるため、この方法と同様の作用効果が得られる。 The program of the present invention is one in which one or more computers execute the steps of the above-described image processing method. This program may be recorded on a computer-readable recording medium (for example, hard disk, ROM, FD, CD, DVD, etc.), or from a computer via a transmission medium (communication network such as the Internet or LAN). It may be distributed to another computer, or may be exchanged in any other form. If this program is executed by a single computer or if each step is shared and executed by a plurality of computers, each step of the above-described image processing method is executed, so that the same effect as this method can be obtained. .
本発明の好適な実施形態を図面を参照しながら以下に説明する。図1は、実装システム10の一例を表す概略説明図である。図2は、実装装置11の構成を表すブロック図である。実装システム10は、部品Pを基板Sに実装する処理に関する実装関連処理を実行するシステムである。この実装システム10は、実装装置11と、管理コンピュータ50とを備えている。実装関連処理としては、例えば、基板Sに部品Pを配置する実装処理、基板Sに配置された部品Pの状態を検査する検査処理などが含まれる。実装システム10は、部品Pを基板Sに実装する実装処理を実施する複数の実装装置11と、部品Pが配置された基板Sを検査する図示しない検査装置とが上流から下流に配置されている。図1では、説明の便宜のため実装装置11を1台のみ示している。なお、本実施形態において、左右方向(X軸)、前後方向(Y軸)及び上下方向(Z軸)は、図1に示した通りとする。
Preferred embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a schematic explanatory diagram illustrating an example of the
実装装置11は、図1、2に示すように、基板搬送ユニット12と、実装ユニット13と、部品供給ユニット14と、撮像ユニット30と、制御装置40とを備えている。基板搬送ユニット12は、基板Sの搬入、搬送、実装位置での固定、搬出を行うユニットである。基板搬送ユニット12は、図1の前後に間隔を開けて設けられ左右方向に架け渡された1対のコンベアベルトを有している。基板Sはこのコンベアベルトにより搬送される。
As illustrated in FIGS. 1 and 2, the mounting
実装ユニット13は、部品Pを部品供給ユニット14から採取し、基板搬送ユニット12に固定された基板Sへ配置するものである。実装ユニット13は、ヘッド移動部20と、実装ヘッド22と、吸着ノズル24とを備えている。ヘッド移動部20は、ガイドレールに導かれてXY方向へ移動するスライダと、スライダを駆動するモータとを備えている。実装ヘッド22は、スライダに取り外し可能に装着されており、ヘッド移動部20によりXY方向へ移動する。実装ヘッド22の下面には、1以上の吸着ノズル24が取り外し可能に装着されている。実装ヘッド22は、Z軸モータを内蔵しており、このZ軸モータによってZ軸に沿って吸着ノズル24の高さを調整する。吸着ノズル24は、部品Pを採取するものであり、図示しない減圧ポンプにより負圧が供給され、この負圧により部品Pを吸着保持する。
The mounting
部品供給ユニット14は、複数のリールを備え、実装装置11の前側に着脱可能に取り付けられている。各リールには、テープが巻き付けられ、テープの表面には、部品Pが長手方向に沿って保持されている。このテープは、リールから後方に向かって巻きほどかれ、部品が露出した状態で、吸着ノズル24で吸着される採取位置にフィーダ部により送り出される。
The
撮像ユニット30は、実装ヘッド22に吸着された部品Pを撮像するユニットであり、基板搬送ユニット12と部品供給ユニット14との間に配設されている。この撮像ユニット30の撮像範囲は、撮像ユニット30の上方である。撮像ユニット30は、撮像素子31と、領域設定部32と、画像処理部33と、出力部34とを備えている。撮像素子31は、受光により電荷を発生させ発生した電荷を出力するものである。撮像素子31は、フォトダイオードを備えたCCDイメージセンサとしてもよいし、CMOSイメージセンサとしてもよい。領域設定部32は、撮像素子31から画像処理部33へ入力される電荷に基づいて、画像データの取込領域を設定する処理を行うものである。この領域設定部32は、二値化処理及び外形抽出処理を電荷転送と並行して行う回路として構成されている。領域設定部32は、予め定められた検出領域に含まれる画素の電荷と所定の閾値とに基づいて二値化処理を行う。この閾値は、その画素が部品の領域であるか、部品以外の領域であるかを判定可能な値に経験的に求められている。検出領域は、実装ヘッド22の各吸着ノズル24の位置及び吸着する部品種に応じてその領域の大きさ及び位置が予め定められている。また、領域設定部32は、二値化処理の結果に基づいて部品Pの外形抽出処理を行う。この領域設定部32は、撮像された画像中において、検出領域に存在する部品の外形を抽出し、この抽出した部品の外形に関する情報に基づいて部品の画像を含む所定の取込領域をこの部品の画像が入る位置へ移動させる処理を行う。画像処理部33は、入力された電荷に基づいて画像データを生成するものである。画像処理部33は、例えば、暗電流補正、補間演算、色空間変換、ガンマ補正などの処理を行い、画像データを生成する。出力部34は、生成された画像データの一部又は全部を制御装置40へ出力するものである。撮像ユニット30は、部品Pを吸着した吸着ノズル24が撮像ユニット30の上方を通過する際、吸着ノズル24に吸着された部品Pを撮像し、撮像結果を制御装置40へ出力する。
The
制御装置40は、図2に示すように、CPU41を中心とするマイクロプロセッサとして構成されており、処理プログラムを記憶するROM42、各種データを記憶するHDD43、作業領域として用いられるRAM44、外部装置と電気信号のやり取りを行うための入出力インタフェース45などを備えており、これらはバス46を介して接続されている。この制御装置40は、基板搬送ユニット12、実装ユニット13、部品供給ユニット14へ制御信号を出力し、撮像ユニット30からの画像信号を入力する。
As shown in FIG. 2, the
管理コンピュータ50は、実装システム10の各装置の情報を管理するコンピュータである。管理コンピュータ50は、作業者が各種指令を入力するキーボード及びマウス等の入力装置52と、各種情報を表示するディスプレイ54とを備えている。管理コンピュータ50は、記憶部に実装条件情報が記憶されている。実装条件情報には、部品Pの形状やサイズ、吸着に用いる吸着ノズル24などの情報が含まれている。
The
次に、こうして構成された本実施形態の実装システム10の動作、まず、実装装置11の実装処理について説明する。実装処理を開始すると、制御装置40のCPU41は、採取する部品Pに応じた吸着ノズル24を実装ヘッド22に装着させ、部品供給ユニット14から部品Pを採取するよう実装ユニット13を制御する。図3は、実装ヘッド22に採取された部品P1〜P4の説明図である。ここでは、実装ヘッド22が4つの吸着ノズル24を装着した場合を具体例として説明する。なお、部品P1〜P4は、部品Pと総称する。次に、CPU41は、実装ヘッド22が撮像ユニット30の上方を通過するようヘッド移動部20を制御し、実装ヘッド22に吸着保持された部品Pを撮像ユニット30に撮像させる。続いて、CPU41は、撮像ユニット30の撮像結果に基づいて、部品Pの位置や回転角度などを調整し、基板Sへ部品Pを配置させる。このとき、部品Pに変形など異常がある場合は、CPU41は、この部品Pを実装に用いずに廃棄する処理を実装ユニット13に行わせる。CPU41は、このような処理を、基板Sへの部品Pの配置がすべて終了するまで繰り返し行う。
Next, the operation of the mounting
次に、撮像ユニット30での画像データの出力処理について説明する。図4は、撮像ユニット30により実行される画像データ出力処理ルーチンの一例を表すフローチャートである。このルーチンは、制御装置40からの撮像指令を受けるたびに撮像ユニット30の各構成(回路)により実行される。このルーチンを開始すると、撮像ユニット30は、撮像素子31で撮像処理を行い(ステップS100)、撮像素子31から電荷を領域設定部32を介して画像処理部33へ転送する(ステップS110)。次に、領域設定部32は、所定の検出領域の電荷に基づいて二値化処理及び外形抽出処理を実行し(ステップS120)、取込領域を設定する(ステップS130)。
Next, image data output processing in the
図5は、撮像ユニット30で撮像された撮像画像60の検出領域61A〜61Dと取込領域62A〜62Dの説明図であり、図5(a)が二値化処理時の説明図であり、図5(b)が取込領域62を設定した説明図である。なお、ここでは、検出領域61A〜61Dを検出領域61と総称し、取込領域62A〜62Dを取込領域62と総称する。また、ステップS110〜S130では、各画素を構成する電荷が転送されている状態であり、図5に示すような画像データはイメージである。撮像素子31は、図5の画像を形成する電荷を所定の順番、例えば、左上の画素から右に向かう順で領域設定部32へ転送する。予め定められた検出領域61の画素が転送されてくると、これを受けた領域設定部32は、所定の閾値よりも、この電荷が大きいか否かに基づいて、二値化処理を行い、その結果を信号として出力する。この出力結果が、そのまま、その画素が部品の領域か、それ以外の領域かを示すものとなる。この出力結果により、部品の輪郭、即ち外形抽出を行うことができる。ここで、所定の閾値は、部品の色等に応じて、背景領域と部品領域とを区別することができる値に経験的に定められている。部品の外形を抽出すると、領域設定部32は、その部品の外形が入るように、取込領域62の位置を設定する。領域設定部32は、検出領域61の内部に部品Pが収まっているときには、検出領域61と同じ位置を取込領域62に設定する(図5の部品P1,P2参照)。また、領域設定部32は、検出領域61から部品Pがはみ出ているときには、部品がすべて含まれる領域を取込領域62に設定する(図5の部品P3,P4参照)。
FIG. 5 is an explanatory diagram of
ここで、検出領域61や取込領域62について説明する。一般的に、部品Pがおおよそどこにあるかを判定するための検出領域は、部品Pの吸着ノズル24への吸着ずれ、回転ずれなどを考慮して、部品Pの大きさに対して比較的大きなマージンを設けた大きさに設定される。これに対して、撮像ユニット30では、制御装置40へ転送する画像データの領域である取込領域62を部品Pの位置に応じて微小移動させるため、検出領域61は、マージンをより小さくした領域とすることができる。例えば、部品Pの画像が検出領域61からはみ出たとしても(図5の部品P3,P4参照)、検出領域61に含まれている部分(部品の外形、輪郭)によって、部品Pの位置を把握することができる。ここでは、検出領域61は、部品Pの外形を抽出可能な程度の領域として設定されており、検出領域61と取込領域62とは同じサイズの領域であるものとし、部品Pが入るだけのサイズ(図5参照)とした。
Here, the
続いて、転送された電荷に基づいて、画像処理部33は、画像データを生成する(ステップS140)。画像データは、例えば、ビットマップデータとしてもよいし、JPEGデータとしてもよい。そして、出力部34は、設定された取込領域62に含まれる画像データと、取込領域62の移動量とを制御装置40へ出力し(ステップS150)、このルーチンを終了する。取込領域62の移動量は、検出領域61に対する相対的な移動量としてもよいし、撮像画像60の基準位置(例えば、画像の左上端部)からの移動量としてもよい。この取込領域62の移動量と画像データを取得した制御装置40は、この移動量と画像データにおける部品Pの位置から、部品Pの吸着ずれ量を求める。また、制御装置40は、部品Pの基準の画像データと取得した画像データとのマッチングを行い、部品Pの回転角度や形状異常の有無を判定する。そして、制御装置40は、実装ヘッド22に吸着された部品P1〜P4が適切に基板Sに配置されるよう、回転角度の補正や配置位置の微調整などを実装ヘッド22に行わせる。
Subsequently, based on the transferred charges, the
ここで、本実施形態の構成要素と本発明の構成要素との対応関係を明らかにする。本実施形態の撮像素子31及び画像処理部33が本発明の撮像部に相当し、領域設定部32が領域設定部に相当し、出力部34が出力部に相当し、実装ユニット13が実装部に相当し、制御装置40が制御部に相当する。なお、本実施形態では、実装装置11の動作を説明することにより本発明の画像処理方法の一例も明らかにしている。
Here, the correspondence between the components of the present embodiment and the components of the present invention will be clarified. The
以上説明した実施形態の実装装置11の撮像ユニット30によれば、部品の状態に関する画像を撮像し、撮像された画像中において、検出領域61に存在する部品Pの外形を抽出し、この抽出した部品Pの外形に基づいて、部品Pの画像を含む取込領域62を部品Pの画像が入る位置へ移動させる。そして、撮像ユニット30は、取込領域62に含まれる画像データを制御装置40へ出力する。この撮像ユニット30では、例えば、部品Pの位置がずれた画像が撮像されたとしても、抽出した部品の外形に応じて取込領域62を移動するため、取込領域62をより小さくすることができる。このため、制御装置40へ出力する取込領域62の画像データをより小さくすることができる。したがって、撮像ユニット30では、画像データの転送時間をより短縮することができる。
According to the
また、領域設定部32は、検出領域61に含まれる範囲で二値化処理を行い部品Pの外形を抽出するため、比較的簡便な二値化処理によって画像データの転送時間をより短縮することができる。更に、取込領域62は、より部品サイズに近い検出領域61と同じサイズであるため、転送時間の観点からは好ましい。更にまた、領域設定部32は、撮像素子31から電荷を転送し画像処理部33が画像を生成する際に部品Pの外形を抽出するため、画像の撮像から画像データの出力までの処理時間についても、より短縮することができる。そしてまた、出力部34は、制御装置40へ画像データを出力するため、撮像ユニット30から制御装置40への画像データの転送時間をより短縮することができる。
Further, since the
なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。 It should be noted that the present invention is not limited to the above-described embodiment, and it goes without saying that the present invention can be implemented in various modes as long as it belongs to the technical scope of the present invention.
例えば、上述した実施形態では、検出領域61に対して二値化処理を行うものとしたが特にこれに限定されず、撮像画像60の全体を二値化処理してもよい。こうしても、撮像ユニット30は、より小さな取込領域62の画像データを転送するため、画像データの転送時間をより短縮することはできる。
For example, in the above-described embodiment, the binarization process is performed on the
上述した実施形態では、取込領域62は、検出領域61のサイズと同じものとしたが、これに限定されず、例えば、検出領域61以下のサイズとしてもよい。取込領域62は、より部品サイズに近く、より狭い領域であることが転送時間の短縮には好ましい。
In the embodiment described above, the capture area 62 is the same as the size of the
上述した実施形態では、取込領域62は、撮像される部品Pのサイズに基づいて予め設定されているものとして説明したが、特にこれに限定されず、領域設定部32は、抽出された部品の外形に基づいてサイズを変更して取込領域62を設定するものとしてもよい。この領域設定部32では、取込領域62を更に小さくすることができ、画像データの転送時間を更に短縮することができる。なお、取込領域62の初期値は、部品の大きさに基づいて予め定められたサイズ(例えば検出領域61のサイズ)とすることができる。
In the above-described embodiment, the capturing area 62 has been described as being preset based on the size of the part P to be imaged. However, the present invention is not limited to this, and the
上述した実施形態では、撮像素子31から電荷を転送し画像処理部33が画像を生成する際に部品の外形を抽出するものとしたが、特にこれに限定されず、画像処理部33が画像を生成したあとに部品の外形を抽出するものとしてもよい。また、領域設定部32は、電子回路としてハードウエアで構成されているものとして説明したが、ソフトウエアで構成されているものとしてもよい。この場合、撮像ユニット30が備えるコントローラがこのソフトウエアを実行するものとしてもよい。この装置においても、画像データの転送時間をより短縮することはできる。
In the above-described embodiment, the external shape of the component is extracted when the charge is transferred from the
上述した実施形態では、実装ヘッド22は、4つの吸着ノズル24を装着するものとして説明したが、特にこれに限定されない。例えば、実装ヘッド22は、1以上の吸着ノズル24を備えるものとすればよい。
In the embodiment described above, the mounting
上述した実施形態では、実装装置11を本発明の実装関連処理装置として説明したが、部品Pの位置や形状を判定するものとすれば特にこれに限定されず、例えば、基板S上に配置された部品Pの位置や形状を検査する検査装置を本発明の実装関連処理装置としてもよい。また、上述した実施形態では、本発明を実装装置11として説明したが、画像処理方法としてもよいし、このステップをコンピュータが実行するプログラムとしてもよい。
In the above-described embodiment, the mounting
本発明は、部品を基板上に配置する実装関連処理を行う装置に利用可能である。 The present invention can be used for an apparatus for performing a mounting related process for arranging components on a substrate.
10 実装システム、11 実装装置、12 基板搬送ユニット、13 実装ユニット、14 部品供給ユニット、20 ヘッド移動部、22 実装ヘッド、24 吸着ノズル、30 撮像ユニット、31 撮像素子、32 領域設定部、33 画像処理部、34 出力部、40 制御装置、41 CPU、42 ROM、43 HDD、44 RAM、45 入出力インタフェース、46 バス、50 管理コンピュータ、52 入力装置、54 ディスプレイ、60 撮像画像、61,61A〜61D 検出領域、62,62A〜62D 取込領域、P,P1〜P4 部品、S 基板。
DESCRIPTION OF
Claims (9)
部品の状態に関する画像を撮像する撮像部と、
前記撮像された画像中において、所定の検出領域に存在する部品の外形を抽出し該抽出した部品の外形に関する情報に基づいて前記部品の画像を含む所定の取込領域を該部品の画像が入る位置へ移動させる領域設定部と、
前記取込領域に含まれる画像データを出力する出力部と、
を備えた実装関連処理装置。A mounting-related processing device that executes mounting-related processing related to processing for mounting a component on a board,
An imaging unit that captures an image relating to the state of the component;
In the captured image, the external shape of the part existing in the predetermined detection area is extracted, and the image of the part enters the predetermined capture area including the image of the part based on the extracted information regarding the external shape of the part. An area setting unit to be moved to the position;
An output unit for outputting image data included in the capture area;
A mounting-related processing device.
前記領域設定部は、前記撮像素子から電荷を転送し前記画像処理部が画像を生成する際に前記部品の外形を抽出する、請求項1〜5のいずれか1項に記載の実装関連処理装置。The imaging unit includes an imaging device that generates charges by receiving light and outputs the generated charges, and an image processing unit that generates image data based on the output charges,
The mounting-related processing device according to claim 1, wherein the region setting unit extracts an external shape of the component when the charge is transferred from the imaging element and the image processing unit generates an image. .
部品を基板に実装する実装部と、
前記実装部を制御する制御部と、を備え、
前記出力部は、前記制御部へ前記画像データを出力する、実装関連処理装置。It is the mounting related processing apparatus of any one of Claims 1-6,
A mounting part for mounting components on a board;
A control unit for controlling the mounting unit,
The output unit is a mounting-related processing device that outputs the image data to the control unit.
(a)部品の状態に関する画像を撮像するステップと、
(b)前記撮像された画像中において、所定の検出領域に存在する部品の外形を抽出し該抽出した部品の外形に関する情報に基づいて前記部品の画像を含む所定の取込領域を該部品の画像が入る位置へ移動させるステップと、
(c)前記取込領域に含まれる画像データを出力するステップと、
を含む画像処理方法。An image processing method in a mounting related process related to a process of mounting a component on a board,
(A) capturing an image relating to the state of the component;
(B) In the captured image, the outline of a part existing in a predetermined detection area is extracted, and a predetermined capture area including an image of the part is extracted based on the extracted information related to the outline of the part. Moving to the position where the image enters,
(C) outputting image data included in the capture area;
An image processing method including:
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/050099 WO2016110941A1 (en) | 2015-01-06 | 2015-01-06 | Mounting-related processing device, image processing method, and program for same |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016110941A1 true JPWO2016110941A1 (en) | 2017-10-12 |
JP6503379B2 JP6503379B2 (en) | 2019-04-17 |
Family
ID=56355666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016568193A Active JP6503379B2 (en) | 2015-01-06 | 2015-01-06 | Implementation related processing device, image processing method and program thereof |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6503379B2 (en) |
WO (1) | WO2016110941A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114041332B (en) * | 2019-07-19 | 2024-01-30 | 株式会社富士 | Mounting device, mounting system, and inspection mounting method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012028949A (en) * | 2010-07-21 | 2012-02-09 | Canon Inc | Image processing device and control method of the same |
JP5524495B2 (en) * | 2009-03-10 | 2014-06-18 | 富士機械製造株式会社 | Imaging system and electronic circuit component mounting machine |
-
2015
- 2015-01-06 WO PCT/JP2015/050099 patent/WO2016110941A1/en active Application Filing
- 2015-01-06 JP JP2016568193A patent/JP6503379B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5524495B2 (en) * | 2009-03-10 | 2014-06-18 | 富士機械製造株式会社 | Imaging system and electronic circuit component mounting machine |
JP2012028949A (en) * | 2010-07-21 | 2012-02-09 | Canon Inc | Image processing device and control method of the same |
Also Published As
Publication number | Publication date |
---|---|
JP6503379B2 (en) | 2019-04-17 |
WO2016110941A1 (en) | 2016-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6021560B2 (en) | Parts inspection method and apparatus | |
JP5881244B2 (en) | Component mounting apparatus, board detection method, and board manufacturing method | |
JP6285578B2 (en) | Image processing apparatus, mounting processing system, image processing method, and program | |
JP6487327B2 (en) | Mounting inspection device | |
JP6600643B2 (en) | Component mounting apparatus and component mounting system | |
JPWO2017006416A1 (en) | Mounting apparatus, imaging processing method, and imaging unit | |
JP6472873B2 (en) | Parts inspection machine and parts placement machine | |
US10070570B2 (en) | Mounting device, image processing method, and imaging unit | |
EP2975921A1 (en) | Component recognition system for component mounting machine | |
JP6824398B2 (en) | Image processing equipment, multiplex communication system and image processing method | |
WO2016110941A1 (en) | Mounting-related processing device, image processing method, and program for same | |
JP2017224779A (en) | Mounting related apparatus | |
JP6789602B2 (en) | Mounting device | |
CN110291852B (en) | Substrate processing apparatus and image processing method | |
JPWO2015052755A1 (en) | Mounting device | |
JP6423193B2 (en) | Mounting apparatus and mounting method | |
US10354036B2 (en) | Model data generation device, method of generating model data, mounting reference point determination device, and method of determining mounting reference point | |
JP6510282B2 (en) | Component mounting device | |
JP6420582B2 (en) | Mounting setting device and mounting setting method | |
JP6484838B2 (en) | Inspection apparatus and inspection method | |
WO2021166220A1 (en) | Surface mounter and image analyzing method | |
WO2019123534A1 (en) | Mounting device, control device, and setting method | |
JP5947055B2 (en) | Substrate appearance inspection machine, production line, and substrate appearance inspection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180925 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190325 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6503379 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |