WO2016143058A1 - 実装装置、撮像処理方法及び撮像ユニット - Google Patents

実装装置、撮像処理方法及び撮像ユニット Download PDF

Info

Publication number
WO2016143058A1
WO2016143058A1 PCT/JP2015/056956 JP2015056956W WO2016143058A1 WO 2016143058 A1 WO2016143058 A1 WO 2016143058A1 JP 2015056956 W JP2015056956 W JP 2015056956W WO 2016143058 A1 WO2016143058 A1 WO 2016143058A1
Authority
WO
WIPO (PCT)
Prior art keywords
reference mark
image
component
mounting head
mounting
Prior art date
Application number
PCT/JP2015/056956
Other languages
English (en)
French (fr)
Inventor
雅史 天野
一也 小谷
勇介 山蔭
亮輔 森
Original Assignee
富士機械製造株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士機械製造株式会社 filed Critical 富士機械製造株式会社
Priority to US15/556,821 priority Critical patent/US10070570B2/en
Priority to JP2017504474A priority patent/JP6712260B2/ja
Priority to CN201580077480.4A priority patent/CN107432116B/zh
Priority to EP15884550.3A priority patent/EP3270677B1/en
Priority to PCT/JP2015/056956 priority patent/WO2016143058A1/ja
Publication of WO2016143058A1 publication Critical patent/WO2016143058A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/081Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0812Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines the monitoring devices being integrated in the mounting machine, e.g. for monitoring components, leads, component placement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches

Definitions

  • the present invention relates to a mounting apparatus, an imaging processing method, and an imaging unit.
  • an imaging processing method a method has been proposed in which a plurality of images including positional deviation are acquired, a plurality of images are aligned, and an interpolation image is generated by interpolation processing based on the plurality of images (for example, Patent Document 1).
  • an image to be used for generating a composite image is selected by an optimization process in which the alignment accuracy is weighted.
  • a mounting apparatus that includes a mounting head for collecting components and mounts the components on a substrate by the mounting head can be cited.
  • an image including the collected component may be taken while moving the mounting head from which the component is collected.
  • productivity may be reduced, such as generating a composite image by repeating the process of temporarily stopping the mounting head and capturing an image. .
  • the present invention has been made in view of such problems, and provides a mounting apparatus, an imaging processing method, and an imaging unit that can obtain a higher quality image while further suppressing a decrease in productivity. Main purpose.
  • the present invention adopts the following means in order to achieve the main object described above.
  • the mounting apparatus of the present invention is A mounting head having a first reference mark, a second reference mark having a predetermined positional relationship with the first reference mark, and a sampling member for sampling the component, and moving the sampled component onto the substrate;
  • An imaging unit that captures an image; During the movement of the mounting head, the imaging unit captures a first image including the component collected by the mounting head and the first reference mark, and the component collected by the mounting head and the second reference.
  • a second image including a mark is picked up by the imaging unit, and is sampled by the mounting head using the first image and the second image based on a positional relationship between the first reference mark and the second reference mark.
  • a control unit for generating an image of the processed part It is equipped with.
  • the mounting apparatus captures a first image including the component collected by the mounting head and the first reference mark during the movement of the mounting head, and includes the component collected by the mounting head and the second reference mark.
  • a second image is picked up, and an image of a component collected by the mounting head is generated using the first image and the second image based on the positional relationship between the first reference mark and the second reference mark.
  • This mounting apparatus can position the first image and the second image using the positional relationship between the first reference mark and the second reference mark, and can obtain a high-quality image including components.
  • the imaging range can be further expanded to a range including any of the reference marks, and it is possible to suppress the movement of the mounting head from being stopped during imaging of the mounting head. Therefore, this mounting apparatus can obtain a higher quality image while further suppressing a decrease in productivity.
  • the mounting head may be configured such that the first reference mark and the second reference mark are disposed on the outer peripheral side with respect to the sampling member.
  • the positions of the first reference mark and the second reference mark can be further separated, and the imaging range can be further expanded.
  • the mounting head may include the first reference mark and the second reference mark on the front side and the rear side in the moving direction of the mounting head.
  • the first reference mark or the second reference mark easily enters the imaging range even if the mounting head moves, it is easy to obtain a higher quality image while further suppressing the reduction in productivity. .
  • control unit may determine one or more of the shape of the component and the position of the component based on the generated image of the component. In this mounting apparatus, it is possible to obtain a higher quality image used for determining whether the shape and position of the component are appropriate.
  • the mounting head includes two or more sampling members, and the control unit is configured to perform the first imaging at a timing when components collected by the two or more sampling members are in the same imaging range.
  • the image and the second image may be captured by the imaging unit.
  • the imaging efficiency is good.
  • control unit may display the first image before the second reference mark enters the imaging range and after the component and the first reference mark enter the same imaging range. After the first reference mark is out of the imaging range and the collected part and the second reference mark are in the same imaging range, the second image is captured by the imaging unit. It is good also as what makes it.
  • the image processing method of the present invention includes: A first reference mark, a second reference mark having a predetermined positional relationship with the first reference mark, a sampling member for sampling the component, a mounting head for moving the sampled component onto the substrate, and an image An imaging processing method in a mounting apparatus including an imaging unit for imaging, (A) While moving the mounting head, the imaging unit captures a first image including the component collected by the mounting head and the first reference mark, and the component collected by the mounting head and the Causing the imaging unit to capture a second image including a second reference mark; (B) generating an image of a component picked up by the mounting head using the first image and the second image based on a positional relationship between the first reference mark and the second reference mark; Is included.
  • the first image and the second image are positioned using the positional relationship between the first reference mark and the second reference mark, and the image quality including the parts is high. An image can be obtained. Further, in this mounting apparatus, the imaging range can be further expanded to a range including any of the reference marks, and it is possible to suppress the movement of the mounting head from being stopped during imaging of the mounting head. Therefore, this image processing method can obtain a higher quality image while further suppressing the decrease in productivity.
  • various aspects of the mounting apparatus described above may be adopted, and steps for realizing each function of the mounting apparatus described above may be added.
  • the imaging unit of the present invention is Mounting having a first reference mark, a second reference mark having a predetermined positional relationship with the first reference mark, and a sampling member for sampling the component, and a mounting head for moving the sampled component onto the substrate
  • An imaging unit used in the apparatus An imaging unit that captures an image; During the movement of the mounting head, the imaging unit captures a first image including the component collected by the mounting head and the first reference mark, and the component collected by the mounting head and the second reference.
  • a second image including a mark is picked up by the imaging unit, and is sampled by the mounting head using the first image and the second image based on a positional relationship between the first reference mark and the second reference mark.
  • a control unit for generating an image of the processed part It is equipped with.
  • This imaging unit can obtain a higher quality image while further suppressing the decrease in productivity, similarly to the mounting apparatus described above.
  • various aspects of the mounting apparatus described above may be adopted, and steps for realizing each function of the mounting apparatus described above may be added.
  • FIG. 1 is a schematic explanatory diagram illustrating an example of a mounting system 10.
  • FIG. The block diagram showing the structure of the mounting apparatus.
  • Explanatory drawing of the mounting head 22 which extract
  • FIG. 1 is a schematic explanatory diagram illustrating an example of the mounting system 10.
  • FIG. 2 is an explanatory diagram of the mounting head 22 and the imaging unit 30.
  • FIG. 3 is a block diagram illustrating the configuration of the mounting apparatus 11.
  • the mounting system 10 is a system that executes a mounting process related to a process of mounting the component 60 on the board S, for example.
  • the mounting system 10 includes a mounting device 11 and a management computer 50.
  • a plurality of mounting apparatuses 11 that perform a mounting process for mounting components on a substrate S are arranged from upstream to downstream. In FIG. 1, only one mounting apparatus 11 is shown for convenience of explanation.
  • the mounting process includes a process of placing, mounting, inserting, joining, and adhering components on a substrate.
  • the left-right direction (X-axis), the front-rear direction (Y-axis), and the up-down direction (Z-axis) are as shown in FIGS.
  • the mounting apparatus 11 includes a board transfer unit 12, a mounting unit 13, a component supply unit 14, an imaging unit 30, and a control device 40.
  • the substrate transport unit 12 is a unit that carries in, transports, fixes and unloads the substrate S at the mounting position.
  • the substrate transport unit 12 has a pair of conveyor belts provided at intervals in the front-rear direction of FIG. 1 and spanned in the left-right direction. The board
  • substrate S is conveyed by this conveyor belt.
  • the mounting unit 13 collects the component 60 from the component supply unit 14 and arranges it on the substrate S fixed to the substrate transport unit 12.
  • the component 60 is a BGA component including a large number of bumps 61 arranged at the lower part of a relatively large plate-shaped main body.
  • the mounting unit 13 includes a head moving unit 20, a mounting head 22, and a suction nozzle 24.
  • the head moving unit 20 includes a slider that is guided by the guide rail and moves in the XY directions, and a motor that drives the slider.
  • the mounting head 22 is detachably mounted on the slider and is moved in the XY direction by the head moving unit 20.
  • One or more suction nozzles 24 are detachably mounted on the lower surface of the mounting head 22.
  • the suction nozzle 24 collects the component 60 using negative pressure and is detachably mounted on the mounting head 22.
  • the mounting head 22 incorporates a Z-axis motor 23, and the height of the suction nozzle 24 is adjusted along the Z-axis by the Z-axis motor.
  • the mounting head 22 includes a rotating device that rotates (spins) the suction nozzle 24 by a drive motor (not shown), and can adjust the angle of the component collected (sucked) by the suction nozzle 24.
  • the mounting head 22 has a first reference mark 25a, 25b and a second reference mark 26a, 26b, which serve as a reference for the position of the collected components, on the lower surface side of the mounting head 22 so that they can be removed and replaced. It is installed.
  • the first reference marks 25a and 25b are collectively referred to as the first reference mark 25, and the second reference marks 26a and 26b are collectively referred to as the second reference mark 26.
  • the mounting head 22 is provided with a first reference mark 25 and a second reference mark 26 on the outer peripheral side with respect to the suction nozzle 24.
  • the first reference mark 25 and the second reference mark 26 are arranged at the corner of the mounting head 22, that is, at the corner of the imaging range of the imaging unit 30.
  • the mounting head 22 is provided with a first reference mark 25 on the front side (device rear side) of the mounting head 22 in the main movement direction, and the first reference mark 25 on the rear side (device front side) of the mounting head 22 in the main movement direction.
  • Two reference marks 26 are provided.
  • the first reference mark 25 and the second reference mark 26 include a support column and a disk-shaped mark member disposed at the tip of the support column.
  • the first reference mark 25 is disposed at a predetermined positional relationship with the second reference mark 26, for example, at a predetermined distance L1. Further, the first reference mark 25a is arranged in a predetermined positional relationship (predetermined distance L2) with the first reference mark 25b.
  • the second reference mark 26a is disposed in a predetermined positional relationship (predetermined distance L2) with the second reference mark 26b. Since the suction nozzles 24a to 24d have a predetermined positional relationship (distance and arrangement position) with the first reference mark 25 and the second reference mark 26, any one position of the first reference mark 25 and the second reference mark 26 is used. Can be recognized, each position can be recognized.
  • the component supply unit 14 includes a plurality of reels and is detachably attached to the front side of the mounting apparatus 11. A tape is wound around each reel, and a plurality of parts are held on the surface of the tape along the longitudinal direction of the tape. This tape is unwound from the reel toward the rear, and is sent out by the feeder unit to a sampling position where the tape is sucked by the suction nozzle 24 with the components exposed.
  • the component supply unit 14 includes a tray unit having a tray on which a plurality of components are arranged and placed. This tray unit includes a moving mechanism that fixes the tray to a pallet, pulls it out from a magazine cassette (not shown), and moves the tray to a predetermined collection position. A large number of rectangular pockets are formed in the tray, and parts are accommodated in the pockets. The components accommodated in the tray are larger in height and size than the components accommodated in the reel. The component 60 is stored in the tray of the tray unit.
  • the imaging unit 30 is a unit that captures an image of the component adsorbed by the mounting head 22 and the first reference mark 25 and the second reference mark 26 that the mounting head 22 has.
  • the imaging unit 30 is disposed between the component supply unit 14 and the board transport unit 12.
  • the imaging range of the imaging unit 30 is above the imaging unit 30.
  • the imaging unit 30 includes an illumination unit 31, an illumination control unit 32, an image sensor 33, and an image processing unit 34.
  • the illuminating unit 31 is configured to be able to irradiate light in a plurality of illumination states with respect to the component 60 irradiated with light upward and held by the mounting head 22.
  • the illumination control unit 32 controls the illumination unit 31 based on a predetermined illumination condition so that the illumination state according to the component sucked by the suction nozzle 24 is achieved.
  • the imaging element 33 is an element that generates charges by receiving light and outputs the generated charges.
  • the image sensor 33 may be a CMOS image sensor capable of performing high-speed continuous capture processing by overlapping the charge transfer processing after exposure and the exposure processing of the next image.
  • the image processing unit 34 performs processing for generating image data based on the input charges.
  • the imaging unit 30 captures a plurality of images and outputs captured image data to the control device 40 when the suction nozzle 24 that has suctioned the component 60 passes above the imaging unit 30.
  • the control device 40 is configured as a microprocessor centered on a CPU 41, and includes a ROM 42 that stores a processing program, an HDD 43 that stores various data, a RAM 44 that is used as a work area, an external device and an electrical device. An input / output interface 45 for exchanging signals is provided, and these are connected via a bus 46.
  • the control device 40 outputs control signals to the substrate transport unit 12, the mounting unit 13, the component supply unit 14, and the imaging unit 30, and inputs signals from the mounting unit 13, the component supply unit 14, and the imaging unit 30.
  • the management computer 50 is a computer that manages information of each device of the mounting system 10.
  • the management computer 50 includes an input device 52 such as a keyboard and a mouse for an operator to input various commands, and a display 54 for displaying various information.
  • FIG. 4 is a flowchart illustrating an example of a mounting process routine executed by the CPU 41 of the control device 40.
  • This routine is stored in the HDD 43 of the control device 40, and is executed by a start instruction from the operator.
  • the case where the component 60 is mounted on the substrate S by the suction nozzle 24 will be mainly described.
  • the CPU 41 of the control device 40 first acquires mounting job information from the management computer 50 (step S100).
  • the mounting job information includes the mounting order of the components, the type and characteristics of the components to be mounted, information on the suction nozzle that sucks the components, and the like.
  • the feature of the part includes information on the size of the part and a reference image that is an image of the part having a normal shape.
  • the CPU 41 performs the conveyance and fixing process of the substrate S (step S110), sets the parts to be sucked, and acquires the information from the mounting job information (step S120).
  • the CPU 41 attaches the suction nozzle 24 to the mounting head 22 as necessary, and performs suction and movement processing of the set component (step S130).
  • the CPU 41 performs a process of moving the mounting head 22 to the sampling position of the component supply unit 14 in which the corresponding part is stored, and lowering the suction nozzle 24 to suck the component 60 onto the suction nozzle 24.
  • one or more parts 60 may be sucked by the suction nozzles 24a to 24d.
  • FIG. 5 is an explanatory diagram of the mounting head 22 from which the component 60 is collected. As shown in FIG. 5, when a relatively large component 60 is sucked and held, a large area is occupied in the region of the mounting head 22.
  • the CPU 41 executes imaging processing for imaging the moving mounting head 22 (the component 60, the first reference mark 25, and the second reference mark 26) a plurality of times (steps S140 to S210).
  • this imaging process a process of capturing a plurality of images and executing a super-resolution process to obtain an image of the component 60 with higher image quality is performed.
  • the CPU 41 determines whether or not the first image capturing timing has been reached (step S140). If the first image capturing timing has not been reached, the CPU 41 waits as it is, and the first image capturing timing is reached. When it reaches, the first image is imaged (step S150).
  • the imaging timing of the first image is set, for example, to a timing at which all the parts 60 collected by the suction nozzles 24a to 24d are in the same imaging range and at least the first reference mark 25 enters the imaging range of the imaging unit 30. Also good.
  • the CPU 41 may cause the imaging unit 30 to capture the first image 71 before the second reference mark 26 enters the imaging range and after the component 60 and the first reference mark 25 enter the same imaging range.
  • FIG. 6 is an explanatory diagram of an imaging process for imaging a plurality of times.
  • FIG. 6A is an explanatory diagram of the first image 71, and FIG. When imaging is performed at this imaging timing, the first image 71 including the component 60 and the first reference mark 25 collected by the mounting head 22 can be captured by the imaging unit 30 while the mounting head 22 is moving (FIG. 6). (A)).
  • the CPU 41 determines whether or not the timing for capturing the second image has been reached (step S160). If the timing for capturing the second image has not been reached, the CPU 41 stands by, and when the timing for capturing the second image has been reached.
  • the second image is imaged (step S170).
  • the imaging timing of the second image may be set to be a timing shifted by 1/2 pixel with respect to the first image so that multi-frame super-resolution processing can be executed, for example.
  • the imaging timing of the second image may be a timing after the exposure of the first image is completed after the exposure processing of the first image and the transfer of the charge after the exposure are performed in the imaging element 33.
  • the imaging timing of the second image is set to a timing at which, for example, all the parts 60 collected by the suction nozzles 24a to 24d are in the same imaging range, and at least the second reference mark 26 enters the imaging range of the imaging unit 30. It may be.
  • the CPU 41 may cause the imaging unit 30 to capture the second image 72 after the first reference mark 25 is out of the imaging range and the collected component 60 and the second reference mark 26 are in the same imaging range. Good.
  • the second image 72 including the component 60 and the second reference mark 26 collected by the mounting head 22 can be captured by the imaging unit 30 while the mounting head 22 is moving (FIG. 6). (B)).
  • Each imaging timing does not exclude the case where the first reference mark 25 and the second reference mark 26 are included in the first image 71, and the first reference mark 25 and the second reference mark are included in the second image 72. The case where 26 is included is not excluded.
  • the CPU 41 generates an image of the component 60 collected by the mounting head 22 using the first image 71 and the second image 72 based on the positional relationship between the first reference mark 25 and the second reference mark 26.
  • Super-resolution processing is performed (step S180).
  • Super-resolution processing uses, for example, a plurality of images, obtains the position of the imaging object (component 60) that overlaps accurately, performs motion estimation processing, blur estimation processing, and reconstruction processing, and is higher than the captured images. Generate a resolution image.
  • This super-resolution processing may be performed by the image processing unit 34.
  • FIG. 7 is an explanatory diagram for generating a super-resolution image 73 from the first image 71 and the second image 72, FIG.
  • FIG. 7 (a) is an image diagram of the bump 61
  • FIG. 7 (b) is an image diagram of a chip component. It is.
  • the mounting apparatus 11 can generate a high-resolution image using a relatively low-resolution image.
  • the mounting apparatus 11 is required to image from a relatively small chip component to a relatively large BGA component.
  • the imaging unit 30 narrows the imaging range (field of view) when attempting to capture a high-resolution image, and cannot capture a large component, and decreases the resolution when attempting to capture a large component.
  • the mounting apparatus 11 can sufficiently secure an imaging range when imaging a large component and can sufficiently ensure image resolution when imaging a small component or a small part by performing super-resolution processing. .
  • a component 60 having a relatively large outer shape and a relatively small component (bump 61) disposed on the component may be mounted.
  • a defect or deformation of the bump 61 may be detected.
  • the defect or deformation of the bump 61 can be detected with high accuracy by performing multi-frame super-resolution processing that generates a high-quality image by combining a plurality of images, for example.
  • multi-frame super-resolution processing it is preferable to superimpose images by capturing the reference mark together with the component 60 and aligning the position of the reference mark.
  • the mounting head 22 when a plurality of components having a relatively large outer shape, such as the component 60, are picked up, it is difficult to place the reference mark on the center side of the mounting head 22 in consideration of sucking deviation and rotation (FIG. reference).
  • FOG. reference sucking deviation and rotation
  • the reference mark is disposed on the outer peripheral side with respect to the suction nozzle, if the component 60 collected by the mounting head 22 is included in the imaging range of the imaging unit 30, the reference mark is likely to be out of the imaging range. (See FIG. 6).
  • This mounting apparatus 11 uses any of different reference marks (first reference mark 25 or second reference mark 26) having a clear positional relationship depending on the imaging frame, and the reference mark tends to be outside the imaging range. Resolve.
  • the position of the component 60 can be specified by the coordinates from the first reference mark 25 in the first image 71, and the distance between the first reference mark 25 and the second reference mark 26 in the second image 72 and the first reference mark 25. It can be specified by the coordinates from the two reference marks 26. Then, the CPU 41 generates a high quality image by superimposing the images whose positions are specified.
  • the CPU 41 calculates the amount of suction position deviation of the component 60 collected by the mounting head 22 using the generated super-resolution image (step S190).
  • the amount of suction position deviation is, for example, the X-axis between the center position of the component 60 and the center position of the suction nozzle 24 based on the positional relationship of the center coordinates of the first reference mark 25, the second reference mark 26, and the suction nozzle 24. , And the difference between the coordinate values of the Y axis.
  • the CPU 41 determines whether or not the calculated suction position deviation amount is within an allowable range (step S200).
  • This allowable range is set to this range, for example, by empirically obtaining a range of misalignment in which the component 60 can be properly placed on the substrate S.
  • the CPU 41 determines whether or not the shape of the component is within the allowable range (step S210). This determination can be performed, for example, by matching the image of the component 60 of the generated super-resolution image with the reference image, and based on, for example, the matching degree based on the defect or deformation of the bump 61.
  • step S200 or step S210 When it is determined in step S200 or step S210 that the positional deviation amount or the shape difference is not within the allowable range, the CPU 41 performs a disposal process on the assumption that the component 60 is a defective component (step S220). On the other hand, when the shape of the component is within the allowable range in step S210, the CPU 41 executes a process of mounting (arranging) the component P at the position where the calculated suction position deviation amount is corrected (step S230). Subsequently, the CPU 41 determines whether or not the mounting process by the mounting device 11 for the current board S has been completed (step S240), and when the mounting process for the current board S has not been completed, the processes after step S120 are executed. To do.
  • the CPU 41 sets the component 60 to be sucked next, collects the component 60, picks up the first image and the second image with the imaging unit 30, performs super-resolution processing, and picks up the component 60. Judge position and shape.
  • the CPU 41 discharges the substrate S that has been mounted (step S250), and determines whether the production is completed (step S260).
  • the CPU 41 executes the processes after step S110. That is, the CPU 41 transports and fixes a new substrate S, and executes the processes after step S120.
  • the CPU 41 ends this routine as it is.
  • the suction nozzle 24 of this embodiment corresponds to the sampling member of the present invention
  • the mounting head 22 corresponds to the mounting head
  • the imaging unit 30 corresponds to the imaging unit
  • the control device 40 corresponds to the control unit.
  • the first reference marks 25, 25a, and 25b correspond to the first reference marks
  • the second reference marks 26, 26a, and 26b correspond to the second reference marks.
  • an example of the imaging processing method of the present invention is also clarified by describing the operation of the mounting apparatus 11.
  • the mounting apparatus 11 uses the positional relationship between the first reference mark 25 and the second reference mark 26 to position the first image 71 and the second image 72 to obtain a high-quality image including the component 60. be able to.
  • the imaging range can be further expanded to a range including any of the reference marks, and the movement stop of the mounting head 22 can be suppressed when the mounting head 22 is imaged. Therefore, the mounting apparatus 11 can obtain a higher quality image while further suppressing the decrease in productivity.
  • the mounting head 22 is provided with the first reference mark 25 and the second reference mark 26 on the outer peripheral side with respect to the suction nozzle 24, the positions of the first reference mark 25 and the second reference mark 26 are arranged. Can be positioned further apart, and the imaging range can be further expanded. Further, the mounting head 22 is provided with the first reference mark 25 and the second reference mark 26 on the front side and the rear side in the moving direction of the mounting head 22. Even if is moved, either the first fiducial mark 25 or the second fiducial mark 26 is likely to enter the imaging range, and it is easy to obtain a higher quality image while further suppressing the decrease in productivity.
  • the mounting device 11 determines whether the shape and position of the component 60 are appropriate. A higher quality image used for determination can be obtained. And in this mounting apparatus 11, since several components are imaged in the same image, imaging efficiency is good.
  • the mounting head 22 has the four reference marks of the first reference marks 25a and 25b and the second reference marks 26a and 26b, but is not particularly limited thereto.
  • FIG. 8 is an explanatory diagram of a mounting head 22 ⁇ / b> B provided with one first reference mark 25 and one second reference mark 26. As shown in FIG. 8, for example, if the mounting head 22 can keep the mounting head 22 parallel to the front-rear direction of the apparatus, the first reference mark 25 and the second reference mark 26 are one by one. can do. Alternatively, for example, it may have three reference marks arranged in an L shape such as the first reference marks 25a and 25b and the second reference mark 26a.
  • the imaging target of the imaging unit 30 has been described as the component 60 (BGA component) in which the bumps 61 are arranged, but is not particularly limited thereto.
  • the part imaged by the imaging unit 30 may be, for example, a relatively large part and a small part that needs to be recognized. Such a component is effective for applying the present invention.
  • first image 71 and the second image 72 are imaged while moving the mounting head 22 in the front-rear direction of the apparatus.
  • the first image 71 and the second image 72 may be captured when moving obliquely.
  • the super-resolution processing is performed by capturing two images.
  • the present invention is not particularly limited as long as a plurality of images are used.
  • the resolution processing may be performed.
  • the sampling member is described as the suction nozzle 24.
  • the sampling member is not particularly limited as long as the component is collected.
  • a mechanical chuck that mechanically clamps and collects the component may be used. .
  • the present invention has been described as the mounting apparatus 11.
  • the imaging unit 30 may be used, or an imaging processing method or a control method for the imaging unit 30 may be used. It may be a program.
  • the present invention can be used for an apparatus for performing a mounting process in which components are arranged on a substrate.
  • 10 mounting system 11 mounting device, 12 substrate transport unit, 13 mounting unit, 14 component supply unit, 20 head moving unit, 22, 22B mounting head, 23 Z axis motor, 24, 24a-24d suction nozzle, 25, 25a, 25b 1st reference mark, 26, 26a, 26b 2nd reference mark, 30 imaging unit, 31 illumination unit, 32 illumination control unit, 33 imaging element, 34 image processing unit, 40 control device, 41 CPU, 42 ROM, 43 HDD 44 RAM, 45 input / output interface, 46 bus, 50 management computer, 52 input device, 54 display, 60 parts, 61 bump, 71a, 71b first image, 72a, 72b second image, 73a, 73b super resolution image , S substrate.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Manufacturing & Machinery (AREA)
  • Operations Research (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

 実装装置(11)は、実装ヘッド(22)の移動中において、実装ヘッド(22)採取された部品(60)と第1基準マークとを含む第1画像を撮像すると共に、実装ヘッド(22)に採取された部品(60)と第2基準マークとを含む第2画像を撮像し、第1基準マークと第2基準マークとの位置関係に基づき第1画像と第2画像とを用いて実装ヘッド(22)に採取された部品(60)の画像を生成する。このとき、実装装置(11)は、第2基準マークが撮像範囲に入る前であって部品(60)と第1基準マークとが同一撮像範囲に入ったあとに第1画像を撮像し、その後、第1基準マークが撮像範囲から外れ、部品(60)と第2基準マークとが同一撮像範囲に入ったあとに第2画像を撮像してもよい。

Description

実装装置、撮像処理方法及び撮像ユニット
 本発明は、実装装置、撮像処理方法及び撮像ユニットに関する。
 従来、撮像処理方法としては、位置ずれを含む複数の画像を取得し、複数の画像の位置合わせを行い、複数の画像に基づく補間処理により補間画像を生成するものが提案されている(例えば、特許文献1参照)。この方法では、位置合わせの精度を重み付けした最適化処理により合成画像を生成するのに用いる画像を選択する。
特開2012-003469号公報
 ところで、このような画像処理方法を採用する装置としては、部品を採取する実装ヘッドを備え、実装ヘッドによって基板に部品を実装する実装装置が挙げられる。このような実装装置において、部品を採取した実装ヘッドを移動しながら採取された部品を含む画像を撮像することがある。また、実装装置では、このとき、複数の画像を用いて部品の合成画像を生成することが考えられる。しかしながら、上述した画像処理方法では、撮像範囲をより広げることについては考慮されていなかった。このため、上述した画像処理方法では、例えば、撮像対象が大型である場合、実装ヘッドを一旦停止させて撮像するという処理を繰り返して合成画像を生成するなど、生産性が低下することがあった。
 本発明は、このような課題に鑑みなされたものであり、生産性の低下をより抑制しつつ、より高画質な画像を得ることができる実装装置、撮像処理方法及び撮像ユニットを提供することを主目的とする。
 本発明は、上述の主目的を達成するために以下の手段を採った。
 本発明の実装装置は、
 第1基準マークと、該第1基準マークと所定の位置関係を有する第2基準マークと、部品を採取する採取部材とを有し、採取した部品を基板上へ移動させる実装ヘッドと、
 画像を撮像する撮像部と、
 前記実装ヘッドの移動中において、前記実装ヘッドに採取された部品と前記第1基準マークとを含む第1画像を前記撮像部に撮像させると共に、前記実装ヘッドに採取された部品と前記第2基準マークとを含む第2画像を前記撮像部に撮像させ、前記第1基準マークと前記第2基準マークとの位置関係に基づき前記第1画像と前記第2画像とを用いて前記実装ヘッドに採取された部品の画像を生成する制御部と、
 を備えたものである。
 この実装装置は、実装ヘッドの移動中において、実装ヘッドに採取された部品と第1基準マークとを含む第1画像を撮像すると共に、実装ヘッドに採取された部品と第2基準マークとを含む第2画像を撮像し、第1基準マークと第2基準マークとの位置関係に基づき第1画像と第2画像とを用いて実装ヘッドに採取された部品の画像を生成する。この実装装置は、第1基準マークと第2基準マークとの位置関係を利用して第1画像と第2画像との位置決めを行い、部品を含む高画質な画像を得ることができる。また、この実装装置では、基準マークのいずれかを含む範囲まで撮像範囲をより広げることができ、実装ヘッドの撮像時に実装ヘッドの移動停止を抑制可能である。したがって、この実装装置は、生産性の低下をより抑制しつつ、より高画質な画像を得ることができる。
 本発明の実装装置において、前記実装ヘッドは、前記採取部材に対して外周側に前記第1基準マークと前記第2基準マークとが配設されているものとしてもよい。この実装装置では、第1基準マークと第2基準マークとの位置をより離れた位置にすることが可能であり、撮像範囲をより広げることができる。
 本発明の実装装置において、前記実装ヘッドは、該実装ヘッドの移動方向の前方側と後方側とに前記第1基準マークと前記第2基準マークとが配設されているものとしてもよい。この実装装置では、実装ヘッドが移動しても第1基準マークか第2基準マークのいずれかが撮像範囲に入りやすいため、生産性の低下をより抑制しつつ、より高画質な画像を得やすい。
 本発明の実装装置において、前記制御部は、生成した前記部品の画像に基づいて該部品の形状及び該部品の位置のうち1以上を判定するものとしてもよい。この実装装置では、部品の形状及び位置が適正であるかの判定を行うために用いる、より高画質な画像を得ることができる。
 本発明の実装装置において、前記実装ヘッドは、2以上の前記採取部材を有し、前記制御部は、前記2以上の採取部材に採取されている部品が同一撮像範囲となるタイミングで前記第1画像及び前記第2画像を前記撮像部に撮像させるものとしてもよい。この実装装置では、複数の部品を同一画像に撮像するため、撮像効率がよい。
 本発明の実装装置において、前記制御部は、前記第2基準マークが撮像範囲に入る前であって前記部品と前記第1基準マークとが同一撮像範囲に入ったあとに前記第1画像を前記撮像部に撮像させ、その後、前記第1基準マークが撮像範囲から外れ、採取された前記部品と前記第2基準マークとが同一撮像範囲に入ったあとに前記第2画像を前記撮像部に撮像させるものとしてもよい。
 本発明の画像処理方法は、
 第1基準マークと、該第1基準マークと所定の位置関係を有する第2基準マークと、部品を採取する採取部材とを有し、採取した部品を基板上へ移動させる実装ヘッドと、画像を撮像する撮像部と、を備えた実装装置での撮像処理方法であって、
(a)前記実装ヘッドの移動中において、前記実装ヘッドに採取された部品と前記第1基準マークとを含む第1画像を前記撮像部に撮像させると共に、前記実装ヘッドに採取された部品と前記第2基準マークとを含む第2画像を前記撮像部に撮像させるステップと、
(b)前記第1基準マークと前記第2基準マークとの位置関係に基づき前記第1画像と前記第2画像とを用いて前記実装ヘッドに採取された部品の画像を生成するステップと、
 を含むものである。
 この画像処理方法は、上述した実装装置と同様に、第1基準マークと第2基準マークとの位置関係を利用して第1画像と第2画像との位置決めを行い、部品を含む高画質な画像を得ることができる。また、この実装装置では、基準マークのいずれかを含む範囲まで撮像範囲をより広げることができ、実装ヘッドの撮像時に実装ヘッドの移動停止を抑制可能である。したがって、この画像処理方法は、生産性の低下をより抑制しつつ、より高画質な画像を得ることができる。なお、この画像処理方法において、上述した実装装置の種々の態様を採用してもよいし、また、上述した実装装置の各機能を実現するようなステップを追加してもよい。
 本発明の撮像ユニットは、
 第1基準マークと、該第1基準マークと所定の位置関係を有する第2基準マークと、部品を採取する採取部材とを有し、採取した部品を基板上へ移動させる実装ヘッドを備えた実装装置に用いられる撮像ユニットであって、
 画像を撮像する撮像部と、
 前記実装ヘッドの移動中において、前記実装ヘッドに採取された部品と前記第1基準マークとを含む第1画像を前記撮像部に撮像させると共に、前記実装ヘッドに採取された部品と前記第2基準マークとを含む第2画像を前記撮像部に撮像させ、前記第1基準マークと前記第2基準マークとの位置関係に基づき前記第1画像と前記第2画像とを用いて前記実装ヘッドに採取された部品の画像を生成する制御部と、
 を備えたものである。
 この撮像ユニットは、上述した実装装置と同様に、生産性の低下をより抑制しつつ、より高画質な画像を得ることができる。なお、この撮像ユニットにおいて、上述した実装装置の種々の態様を採用してもよいし、また、上述した実装装置の各機能を実現するようなステップを追加してもよい。
実装システム10の一例を表す概略説明図。 実装ヘッド22及び撮像ユニット30の説明図。 実装装置11の構成を表すブロック図。 実装処理ルーチンの一例を表すフローチャート。 部品60を採取した実装ヘッド22の説明図。 第1画像71及び第2画像72の説明図。 超解像画像73を生成する説明図。 実装ヘッド22Bの説明図。
 本発明の好適な実施形態を図面を参照しながら以下に説明する。図1は、実装システム10の一例を表す概略説明図である。図2は、実装ヘッド22及び撮像ユニット30の説明図である。図3は、実装装置11の構成を表すブロック図である。実装システム10は、例えば、部品60を基板Sに実装する処理に関する実装処理を実行するシステムである。この実装システム10は、実装装置11と、管理コンピュータ50とを備えている。実装システム10は、部品を基板Sに実装する実装処理を実施する複数の実装装置11が上流から下流に配置されている。図1では、説明の便宜のため実装装置11を1台のみ示している。なお、実装処理とは、部品を基板上に配置、装着、挿入、接合、接着する処理などを含む。また、本実施形態において、左右方向(X軸)、前後方向(Y軸)及び上下方向(Z軸)は、図1、2に示した通りとする。
 実装装置11は、図1、3に示すように、基板搬送ユニット12と、実装ユニット13と、部品供給ユニット14と、撮像ユニット30と、制御装置40とを備えている。基板搬送ユニット12は、基板Sの搬入、搬送、実装位置での固定、搬出を行うユニットである。基板搬送ユニット12は、図1の前後に間隔を開けて設けられ左右方向に架け渡された1対のコンベアベルトを有している。基板Sはこのコンベアベルトにより搬送される。
 実装ユニット13は、部品60を部品供給ユニット14から採取し、基板搬送ユニット12に固定された基板Sへ配置するものである。部品60は、例えば、図1に示すように、比較的大きい板状の本体の下部に多数配列されているバンプ61を備えたBGA部品である。実装ユニット13は、ヘッド移動部20と、実装ヘッド22と、吸着ノズル24とを備えている。ヘッド移動部20は、ガイドレールに導かれてXY方向へ移動するスライダと、スライダを駆動するモータとを備えている。実装ヘッド22は、スライダに取り外し可能に装着されており、ヘッド移動部20によりXY方向へ移動する。実装ヘッド22の下面には、1以上の吸着ノズル24が取り外し可能に装着されている。ここでは、吸着ノズル24a~24dの4つのノズルを実装ヘッド22が装着する場合を主として説明する(図2)。また、ここでは、吸着ノズル24a~24dを吸着ノズル24と総称する。吸着ノズル24は、負圧を利用して部品60を採取するものであり、実装ヘッド22に取り外し可能に装着されている。この実装ヘッド22は、Z軸モータ23を内蔵しており、このZ軸モータによってZ軸に沿って吸着ノズル24の高さを調整する。また、実装ヘッド22は、図示しない駆動モータによって吸着ノズル24を回転(自転)させる回転装置を備え、吸着ノズル24に採取(吸着)された部品の角度を調整可能となっている。
 実装ヘッド22は、図2に示すように、その下面側に、採取された部品の位置の基準となる第1基準マーク25a,25bと、第2基準マーク26a,26bとが取外し交換可能に配設されている。なお、ここでは、第1基準マーク25a,25bを第1基準マーク25と総称し、第2基準マーク26a,26bを第2基準マーク26と総称する。実装ヘッド22は、吸着ノズル24に対して外周側に第1基準マーク25および第2基準マーク26が配設されている。第1基準マーク25及び第2基準マーク26は、実装ヘッド22の角部、即ち、撮像ユニット30の撮像範囲の隅側に配設されている。実装ヘッド22は、実装ヘッド22の主たる移動方向の前方側(装置後方側)に第1基準マーク25が配設されており、実装ヘッド22の主たる移動方向の後方側(装置前方側)に第2基準マーク26が配設されている。この第1基準マーク25及び第2基準マーク26は、支柱と、支柱の先端に配設された円盤状のマーク部材とを備える。この第1基準マーク25は、第2基準マーク26と所定の位置関係、例えば、所定の距離L1で配設されている。また、第1基準マーク25aは、第1基準マーク25bと所定の位置関係(所定距離L2)で配設されている。同様に、第2基準マーク26aは、第2基準マーク26bと所定の位置関係(所定距離L2)で配設されている。吸着ノズル24a~24dは、第1基準マーク25及び第2基準マーク26と所定の位置関係(距離や配置位置)を有するから、第1基準マーク25及び第2基準マーク26のうちいずれかの位置が認識できれば、それぞれの位置を認識することができる。
 部品供給ユニット14は、複数のリールを備え、実装装置11の前側に着脱可能に取り付けられている。各リールには、テープが巻き付けられ、テープの表面には、複数の部品がテープの長手方向に沿って保持されている。このテープは、リールから後方に向かって巻きほどかれ、部品が露出した状態で、吸着ノズル24で吸着される採取位置にフィーダ部により送り出される。この部品供給ユニット14は、部品を複数配列して載置するトレイを有するトレイユニットを備えている。このトレイユニットは、トレイをパレットに固定して図示しないマガジンカセットから引きだし、所定の採取位置へトレイを移動する移動機構を備えている。トレイには、多数の矩形のポケットが形成されており、このポケットに部品を収容している。このトレイに収容される部品は、リールに収容される部品に比して高さや大きさが大きいものである。部品60は、トレイユニットのトレイに収納されている。
 撮像ユニット30は、実装ヘッド22に吸着された部品と実装ヘッド22が有する第1基準マーク25及び第2基準マーク26とを撮像するユニットである。この撮像ユニット30は、部品供給ユニット14と基板搬送ユニット12との間に配置されている。この撮像ユニット30の撮像範囲は、撮像ユニット30の上方である。撮像ユニット30は、照明部31と、照明制御部32と、撮像素子33と、画像処理部34とを備える。照明部31は、上方に光を照射し実装ヘッド22に保持された部品60に対して複数の照明状態で光を照射可能に構成されている。照明制御部32は、所定の照明条件に基づき、吸着ノズル24に吸着された部品に応じた照明状態になるように照明部31を制御する。撮像素子33は、受光により電荷を発生させ発生した電荷を出力する素子である。撮像素子33は、露光後の電荷の転送処理と次画像の露光処理とをオーバーラップさせることにより高速な連続取込み処理をすることができるCMOSイメージセンサとしてもよい。画像処理部34は、入力された電荷に基づいて画像データを生成する処理を行う。撮像ユニット30は、部品60を吸着した吸着ノズル24が撮像ユニット30の上方を通過する際、複数の画像を撮像し、撮像画像データを制御装置40へ出力する。
 制御装置40は、図3に示すように、CPU41を中心とするマイクロプロセッサとして構成されており、処理プログラムを記憶するROM42、各種データを記憶するHDD43、作業領域として用いられるRAM44、外部装置と電気信号のやり取りを行うための入出力インタフェース45などを備えており、これらはバス46を介して接続されている。この制御装置40は、基板搬送ユニット12、実装ユニット13、部品供給ユニット14、撮像ユニット30へ制御信号を出力し、実装ユニット13や部品供給ユニット14、撮像ユニット30からの信号を入力する。
 管理コンピュータ50は、実装システム10の各装置の情報を管理するコンピュータである。管理コンピュータ50は、作業者が各種指令を入力するキーボード及びマウス等の入力装置52と、各種情報を表示するディスプレイ54とを備えている。
 次に、こうして構成された本実施形態の実装システム10の動作、具体的には、実装装置11の実装処理について説明する。図4は、制御装置40のCPU41により実行される実装処理ルーチンの一例を表すフローチャートである。このルーチンは、制御装置40のHDD43に記憶され、作業者による開始指示により実行される。ここでは、吸着ノズル24で部品60を基板Sに実装する場合について主として説明する。このルーチンを開始すると、制御装置40のCPU41は、まず、実装ジョブ情報を管理コンピュータ50から取得する(ステップS100)。実装ジョブ情報には、部品の実装順、実装する部品の種別及びその特徴、部品を吸着する吸着ノズルの情報などが含まれている。この部品の特徴には、部品のサイズの情報や、正常な形状の部品の画像であるリファレンス画像なども含まれる。
 次に、CPU41は、基板Sの搬送及び固定処理を行い(ステップS110)、吸着する部品を設定し、その情報を実装ジョブ情報から取得する(ステップS120)。次に、CPU41は、必要に応じて実装ヘッド22に吸着ノズル24を装着させ、設定された部品の吸着及び移動処理を行う(ステップS130)。吸着処理では、CPU41は、該当する部品が収納されている部品供給ユニット14の採取位置まで実装ヘッド22を移動させ、吸着ノズル24を下降して吸着ノズル24に部品60を吸着させる処理を行う。この吸着処理では、1以上の部品60を吸着ノズル24a~24dに吸着させるものとしてもよい。また、移動処理では、CPU41は、部品60を吸着した実装ヘッド22を撮像ユニット30の上方を通過させて、基板Sの実装位置まで移動する処理を行う。図5は、部品60を採取した実装ヘッド22の説明図である。図5に示すように、比較的大きな部品60を吸着保持すると、実装ヘッド22の領域のうち大きな面積が占められる。
 次に、CPU41は、移動中の実装ヘッド22(部品60及び第1基準マーク25、第2基準マーク26)を複数回、撮像する撮像処理を実行する(ステップS140~210)。この撮像処理では、複数の画像を撮像し、超解像処理を実行してより高画質な部品60の画像を得る処理を行う。この撮像処理では、まず、CPU41は、第1画像の撮像タイミングに至ったか否かを判定し(ステップS140)、第1画像の撮像タイミングに至っていないときはそのまま待機し、第1画像の撮像タイミングに至ったときには、第1画像を撮像処理する(ステップS150)。第1画像の撮像タイミングは、例えば、吸着ノズル24a~24dに採取された部品60すべてが同一撮像範囲となり、且つ少なくとも第1基準マーク25が撮像ユニット30の撮像範囲に入るタイミングに設定されていてもよい。例えば、CPU41は、第2基準マーク26が撮像範囲に入る前であって部品60と第1基準マーク25とが同一撮像範囲に入ったあとに第1画像71を撮像ユニット30に撮像させてもよい。図6は、複数回撮像する撮像処理の説明図であり、図6(a)が第1画像71、図6(b)が第2画像72の説明図である。この撮像タイミングで撮像すると、実装ヘッド22の移動中において、実装ヘッド22に採取された部品60と第1基準マーク25とを含む第1画像71を撮像ユニット30に撮像させることができる(図6(a))。
 次に、CPU41は、第2画像の撮像タイミングに至ったか否かを判定し(ステップS160)、第2画像の撮像タイミングに至っていないときはそのまま待機し、第2画像の撮像タイミングに至ったときには、第2画像を撮像処理する(ステップS170)。第2画像の撮像タイミングは、例えば、マルチフレームの超解像処理を実行できるように、第1画像に対して1/2ピクセルずらしたタイミングになるよう設定されていてもよい。また、第2画像の撮像タイミングは、撮像素子33において、第1画像の露光処理及び露光後の電荷の転送を行い、第2画像の露光が終了したあとのタイミングとしてもよい。あるいは、第2画像の撮像タイミングは、例えば、吸着ノズル24a~24dに採取された部品60すべてが同一撮像範囲となり、且つ少なくとも第2基準マーク26が撮像ユニット30の撮像範囲に入るタイミングに設定されていてもよい。例えば、CPU41は、第1基準マーク25が撮像範囲から外れ、採取された部品60と第2基準マーク26とが同一撮像範囲に入ったあとに第2画像72を撮像ユニット30に撮像させてもよい。この撮像タイミングで撮像すると、実装ヘッド22の移動中において、実装ヘッド22に採取された部品60と第2基準マーク26とを含む第2画像72を撮像ユニット30に撮像させることができる(図6(b))。なお、各撮像タイミングとしては、第1画像71に第1基準マーク25及び第2基準マーク26が含まれる場合を排除するものではなく、第2画像72に第1基準マーク25及び第2基準マーク26が含まれる場合を排除するものでもない。
 続いて、CPU41は、第1基準マーク25及び第2基準マーク26の位置関係に基づいて第1画像71と第2画像72とを用いて、実装ヘッド22に採取された部品60の画像を生成する超解像処理を行う(ステップS180)。超解像処理は、例えば、複数の画像を用い、正確に重なる撮像対象(部品60)の位置を求め、モーション推定処理、ぼけ推定処理、再構成処理を行い、撮像した画像に比して高解像度の画像を生成する。この超解像処理は、画像処理部34により行われるものとしてもよい。図7は、第1画像71及び第2画像72から超解像画像73を生成する説明図であり、図7(a)がバンプ61のイメージ図であり、図7(b)がチップ部品のイメージ図である。この実装装置11では、図7に示すように、比較的低解像度の画像を用いて高解像度の画像を生成することができる。実装装置11では、比較的小さなチップ部品から、比較的大きなBGA部品まで撮像することが求められる。一般的に、撮像ユニット30は、高解像度の画像を撮像しようとすると撮像範囲(視野)が狭くなり大型部品を撮像できず、大型部品を撮像しようとすると解像度が低下する。この実装装置11では、大型部品を撮像する際の撮像範囲を十分に確保すると共に、超解像処理を行うことにより、小型部品や小さな部位を撮像する際の画像解像度を十分確保することができる。
 ここで、部品60の画像処理について説明する。実装装置11では、外形が比較的大きく、且つその部品に比較的小さな構成物(バンプ61)が配設されている部品60を実装処理することがある。この場合に、部品60が正常であるかを判断するため、バンプ61の欠損や変形などを検出することがある。このバンプ61の欠損や変形などは、例えば、複数の画像を合成処理することによって高画質画像を生成する、マルチフレームの超解像処理を行うことにより、高精度に検出することができる。マルチフレームの超解像処理を行うに際しては、基準マークを部品60と共に撮像し、この基準マークの位置を合わせることにより画像を重ね合わせることが好ましい。また、実装ヘッド22では、部品60のように比較的外形が大きい部品を複数吸着する場合は、吸着ずれや回転など考慮すると、基準マークを実装ヘッド22の中央側に配設しにくい(図5参照)。例えば、基準マークが吸着ノズルに対して外周側に配設された場合、実装ヘッド22に採取された部品60を撮像ユニット30の撮像範囲に含めようとすると、基準マークが撮像範囲から外れやすくなる(図6参照)。この実装装置11では、撮像フレームによって、位置関係が明確である異なる基準マーク(第1基準マーク25又は第2基準マーク26)のいずれかを使用し、基準マークが撮像範囲外になりやすい問題を解決する。例えば、部品60の位置は、第1画像71では第1基準マーク25からの座標で特定することができ、また第2画像72では第1基準マーク25と第2基準マーク26との距離と第2基準マーク26からの座標により特定することができる。そして、CPU41は、位置が特定された画像を重ね合わせることにより、高画質画像を生成するのである。
 ステップS180のあと、CPU41は、生成した超解像画像を用いて、実装ヘッド22に採取された部品60の吸着位置ずれ量を算出する(ステップS190)。吸着位置ずれ量は、例えば、第1基準マーク25、第2基準マーク26及び吸着ノズル24の中心座標の位置関係に基づいて、部品60の中心位置と、吸着ノズル24の中心位置とのX軸、Y軸の座標値の差として求めることができる。続いて、CPU41は、算出した吸着位置ずれ量が許容範囲内であるか否かを判定する(ステップS200)。この許容範囲は、例えば、部品60を適正に基板Sに配置できる位置ずれ量の範囲を経験的に求め、この範囲に設定されている。吸着位置ずれ量が許容範囲内であるときには、CPU41は、部品の形状が許容範囲内であるか否かを判定する(ステップS210)。この判定は、例えば、生成した超解像画像の部品60の画像とリファレンス画像とのマッチングを行い、例えば、バンプ61の欠損や変形に基づくマッチング度に基づいて行うことができる。
 ステップS200やステップS210で位置ずれ量や形状相違が許容範囲内にないと判定されたときには、CPU41は、その部品60が不具合の生じる部品であるものとして廃棄処理を行う(ステップS220)。一方、ステップS210で部品の形状が許容範囲内であるときには、CPU41は、算出した吸着位置ずれ量を補正した位置に部品Pを実装(配置)する処理を実行する(ステップS230)。続いて、CPU41は、現基板Sの実装装置11による実装処理が完了したか否かを判定し(ステップS240)、現基板Sの実装処理が完了していないときには、ステップS120以降の処理を実行する。即ち、CPU41は、次に吸着する部品60を設定し、この部品60を採取したのち、撮像ユニット30で第1画像及び第2画像を撮像し、超解像処理を行って、部品60の吸着位置ずれや形状を判定する。一方、ステップS240で現基板Sの実装処理が完了したときには、CPU41は、実装完了した基板Sを排出させ(ステップS250)、生産完了したか否かを判定する(ステップS260)。生産完了していないときには、CPU41は、ステップS110以降の処理を実行する。即ち、CPU41は、新たな基板Sを搬送、固定し、ステップS120以降の処理を実行する。一方、ステップS260で生産完了したときには、CPU41は、そのままこのルーチンを終了する。
 ここで、本実施形態の構成要素と本発明の構成要素との対応関係を明らかにする。本実施形態の吸着ノズル24が本発明の採取部材に相当し、実装ヘッド22が実装ヘッドに相当し、撮像ユニット30が撮像部に相当し、制御装置40が制御部に相当する。また、第1基準マーク25,25a,25bが第1基準マークに相当し、第2基準マーク26,26a,26bが第2基準マークに相当する。なお、本実施形態では、実装装置11の動作を説明することにより本発明の撮像処理方法の一例も明らかにしている。
 以上説明した実施形態の実装装置11では、実装ヘッド22の移動中において、実装ヘッド22に採取された部品60と第1基準マーク25とを含む第1画像71を撮像すると共に、実装ヘッド22に採取された部品60と第2基準マーク26とを含む第2画像72を撮像し、第1基準マーク25と第2基準マーク26との位置関係に基づき第1画像71と第2画像72とを用いて実装ヘッド22に採取された部品60の画像を生成する。この実装装置11は、第1基準マーク25と第2基準マーク26との位置関係を利用して第1画像71と第2画像72との位置決めを行い、部品60を含む高画質な画像を得ることができる。また、この実装装置11では、基準マークのいずれかを含む範囲まで撮像範囲をより広げることができ、実装ヘッド22の撮像時に実装ヘッド22の移動停止を抑制可能である。したがって、この実装装置11は、生産性の低下をより抑制しつつ、より高画質な画像を得ることができる。
 また、実装ヘッド22は、吸着ノズル24に対して外周側に第1基準マーク25と第2基準マーク26とが配設されているため、第1基準マーク25と第2基準マーク26との位置をより離れた位置にすることが可能であり、撮像範囲をより広げることができる。更に、実装ヘッド22は、実装ヘッド22の移動方向の前方側と後方側とに第1基準マーク25と第2基準マーク26とが配設されているため、この実装装置11では、実装ヘッド22が移動しても第1基準マーク25か第2基準マーク26のいずれかが撮像範囲に入りやすく、生産性の低下をより抑制しつつ、より高画質な画像を得やすい。更にまた、制御装置40は、生成した部品60の画像に基づいて部品60の形状及び部品60の吸着位置を判定するため、この実装装置11では、部品60の形状及び位置が適正であるかの判定を行うために用いる、より高画質な画像を得ることができる。そして、この実装装置11では、複数の部品を同一画像に撮像するため、撮像効率がよい。
 なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
 例えば、上述した実施形態では、実装ヘッド22は、第1基準マーク25a,25b、第2基準マーク26a,26bの4つの基準マークを有するものとしたが、特にこれに限定されない。図8は、第1基準マーク25と第2基準マーク26とを1つ備えた実装ヘッド22Bの説明図である。図8に示すように、例えば、実装ヘッド22は、装置の前後方向に対し実装ヘッド22の平行が保てるものとすれば、第1基準マーク25と第2基準マーク26とを各々1つずつとすることができる。あるいは、例えば、第1基準マーク25a,25b及び第2基準マーク26aなど、L字型に配置された3つの基準マークを有するものとしてもよい。
 上述した実施形態では、撮像ユニット30の撮像対象がバンプ61の配列した部品60(BGA部品)として説明したが、特にこれに限定されない。撮像ユニット30で撮像する部品は、例えば、比較的大型の部品であって、認識することを要する小さな部位があるものとすることができる。このような部品は、本発明を適用するのに有効である。
 上述した実施形態では、実装ヘッド22を装置の前後方向に移動させながら第1画像71及び第2画像72を撮像する場合を主として説明したが、前後方向及び左右方向、即ち、撮像ユニット30上を斜めに移動する際に第1画像71及び第2画像72を撮像するものとしてもよい。
 上述した実施形態では、2つの画像を撮像して超解像処理を行うものとしたが、複数の画像を用いるものとすれば、特にこれに限定されず、3以上の画像を撮像して超解像処理を行うものとしてもよい。
 上述した実施形態では、採取部材を吸着ノズル24として説明したが、部品を採取ずるものであれば特にこれに限定されず、例えば、部品を機械的に挟持して採取するメカニカルチャックなどとしてもよい。
 上述した実施形態では、本発明を実装装置11として説明したが、例えば、撮像ユニット30としてもよいし、撮像処理方法や撮像ユニット30の制御方法としてもよいし、上述した処理をコンピュータが実行するプログラムとしてもよい。
 本発明は、部品を基板上に配置する実装処理を行う装置に利用可能である。
10 実装システム、11 実装装置、12 基板搬送ユニット、13 実装ユニット、14 部品供給ユニット、20 ヘッド移動部、22,22B 実装ヘッド、23 Z軸モータ、24,24a~24d 吸着ノズル、25,25a,25b 第1基準マーク、26,26a,26b 第2基準マーク、30 撮像ユニット、31 照明部、32 照明制御部、33 撮像素子、34 画像処理部、40 制御装置、41 CPU、42 ROM、43 HDD、44 RAM、45 入出力インタフェース、46 バス、50 管理コンピュータ、52 入力装置、54 ディスプレイ、60 部品、61 バンプ、71a,71b 第1画像、72a,72b 第2画像、73a,73b 超解像画像、S 基板。

Claims (8)

  1.  第1基準マークと、該第1基準マークと所定の位置関係を有する第2基準マークと、部品を採取する採取部材とを有し、採取した部品を基板上へ移動させる実装ヘッドと、
     画像を撮像する撮像部と、
     前記実装ヘッドの移動中において、前記実装ヘッドに採取された部品と前記第1基準マークとを含む第1画像を前記撮像部に撮像させると共に、前記実装ヘッドに採取された部品と前記第2基準マークとを含む第2画像を前記撮像部に撮像させ、前記第1基準マークと前記第2基準マークとの位置関係に基づき前記第1画像と前記第2画像とを用いて前記実装ヘッドに採取された部品の画像を生成する制御部と、
     を備えた実装装置。
  2.  前記実装ヘッドは、前記採取部材に対して外周側に前記第1基準マークと前記第2基準マークとが配設されている、請求項1に記載の実装装置。
  3.  前記実装ヘッドは、該実装ヘッドの移動方向の前方側と後方側とに前記第1基準マークと前記第2基準マークとが配設されている、請求項1又は2に記載の実装装置。
  4.  前記制御部は、生成した前記部品の画像に基づいて該部品の形状及び該部品の位置のうち1以上を判定する、請求項1~3のいずれか1項に記載の実装装置。
  5.  前記実装ヘッドは、2以上の前記採取部材を有し、
     前記制御部は、前記2以上の採取部材に採取されている部品が同一撮像範囲となるタイミングで前記第1画像及び前記第2画像を前記撮像部に撮像させる、請求項1~4のいずれか1項に記載の実装装置。
  6.  前記制御部は、前記第2基準マークが撮像範囲に入る前であって前記部品と前記第1基準マークとが同一撮像範囲に入ったあとに前記第1画像を前記撮像部に撮像させ、その後、前記第1基準マークが撮像範囲から外れ、採取された前記部品と前記第2基準マークとが同一撮像範囲に入ったあとに前記第2画像を前記撮像部に撮像させる、請求項1~5のいずれか1項に記載の実装装置。
  7.  第1基準マークと、該第1基準マークと所定の位置関係を有する第2基準マークと、部品を採取する採取部材とを有し、採取した部品を基板上へ移動させる実装ヘッドと、画像を撮像する撮像部と、を備えた実装装置での撮像処理方法であって、
    (a)前記実装ヘッドの移動中において、前記実装ヘッドに採取された部品と前記第1基準マークとを含む第1画像を前記撮像部に撮像させると共に、前記実装ヘッドに採取された部品と前記第2基準マークとを含む第2画像を前記撮像部に撮像させるステップと、
    (b)前記第1基準マークと前記第2基準マークとの位置関係に基づき前記第1画像と前記第2画像とを用いて前記実装ヘッドに採取された部品の画像を生成するステップと、
     を含む撮像処理方法。
  8.  第1基準マークと、該第1基準マークと所定の位置関係を有する第2基準マークと、部品を採取する採取部材とを有し、採取した部品を基板上へ移動させる実装ヘッドを備えた実装装置に用いられる撮像ユニットであって、
     画像を撮像する撮像部と、
     前記実装ヘッドの移動中において、前記実装ヘッドに採取された部品と前記第1基準マークとを含む第1画像を前記撮像部に撮像させると共に、前記実装ヘッドに採取された部品と前記第2基準マークとを含む第2画像を前記撮像部に撮像させ、前記第1基準マークと前記第2基準マークとの位置関係に基づき前記第1画像と前記第2画像とを用いて前記実装ヘッドに採取された部品の画像を生成する制御部と、
     を備えた撮像ユニット。
PCT/JP2015/056956 2015-03-10 2015-03-10 実装装置、撮像処理方法及び撮像ユニット WO2016143058A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US15/556,821 US10070570B2 (en) 2015-03-10 2015-03-10 Mounting device, image processing method, and imaging unit
JP2017504474A JP6712260B2 (ja) 2015-03-10 2015-03-10 実装装置、撮像処理方法及び撮像ユニット
CN201580077480.4A CN107432116B (zh) 2015-03-10 2015-03-10 安装装置、拍摄处理方法以及拍摄单元
EP15884550.3A EP3270677B1 (en) 2015-03-10 2015-03-10 Mounting device, image processing method and imaging unit
PCT/JP2015/056956 WO2016143058A1 (ja) 2015-03-10 2015-03-10 実装装置、撮像処理方法及び撮像ユニット

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/056956 WO2016143058A1 (ja) 2015-03-10 2015-03-10 実装装置、撮像処理方法及び撮像ユニット

Publications (1)

Publication Number Publication Date
WO2016143058A1 true WO2016143058A1 (ja) 2016-09-15

Family

ID=56878829

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/056956 WO2016143058A1 (ja) 2015-03-10 2015-03-10 実装装置、撮像処理方法及び撮像ユニット

Country Status (5)

Country Link
US (1) US10070570B2 (ja)
EP (1) EP3270677B1 (ja)
JP (1) JP6712260B2 (ja)
CN (1) CN107432116B (ja)
WO (1) WO2016143058A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018203373A1 (ja) * 2017-05-01 2018-11-08 株式会社Fuji 実装装置、情報処理装置、実装システム、実装方法及び情報処理方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6925783B2 (ja) * 2016-05-26 2021-08-25 株式会社アドテックエンジニアリング パターン描画装置及びパターン描画方法
CN109963082B (zh) * 2019-03-26 2021-01-08 Oppo广东移动通信有限公司 图像拍摄方法、装置、电子设备、计算机可读存储介质
CN109951641B (zh) * 2019-03-26 2021-02-26 Oppo广东移动通信有限公司 图像拍摄方法和装置、电子设备、计算机可读存储介质
EP4025031A4 (en) * 2019-08-30 2022-09-07 Fuji Corporation WORK MACHINE

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005011950A (ja) * 2003-06-18 2005-01-13 Yamaha Motor Co Ltd 表面実装機
JP2008211009A (ja) * 2007-02-27 2008-09-11 Hitachi High-Tech Instruments Co Ltd 部品ライブラリデータ作成方法
JP2012064781A (ja) * 2010-09-16 2012-03-29 Hitachi High-Tech Instruments Co Ltd 部品認識カメラの状態チェック方法、および、部品認識カメラの状態チェック機能を有する電子部品装着装置
JP2013021196A (ja) * 2011-07-13 2013-01-31 Fuji Mach Mfg Co Ltd 部品実装機の画像処理装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7034272B1 (en) 1999-10-05 2006-04-25 Electro Scientific Industries, Inc. Method and apparatus for evaluating integrated circuit packages having three dimensional features
JP4576062B2 (ja) * 2001-03-21 2010-11-04 富士機械製造株式会社 リード位置検出方法,電気部品装着方法およびリード位置検出装置
JP4495250B2 (ja) * 2007-09-28 2010-06-30 パナソニック株式会社 検査装置及び検査方法
JP5301329B2 (ja) * 2008-03-31 2013-09-25 Juki株式会社 電子部品の実装方法
JP4893702B2 (ja) * 2008-07-01 2012-03-07 パナソニック株式会社 部品実装関連作業機
JP5527035B2 (ja) 2010-06-16 2014-06-18 株式会社ニコン 画像処理プログラム、画像処理装置および撮像装置
JP5507378B2 (ja) * 2010-07-30 2014-05-28 Juki株式会社 電子部品実装装置
JP2012129434A (ja) * 2010-12-17 2012-07-05 Fuji Mach Mfg Co Ltd 対基板作業機
JP5753020B2 (ja) * 2011-08-03 2015-07-22 ヤマハ発動機株式会社 部品実装装置
EP2587450B1 (en) 2011-10-27 2016-08-31 Nordson Corporation Method and apparatus for generating a three-dimensional model of a region of interest using an imaging system
JP2013153813A (ja) * 2012-01-27 2013-08-15 Olympus Corp 内視鏡装置、画像処理方法及びプログラム
JP5852505B2 (ja) * 2012-05-14 2016-02-03 ヤマハ発動機株式会社 部品または基板の作業装置および部品実装装置
JP2014000119A (ja) * 2012-06-15 2014-01-09 Panasonic Corp 内視鏡およびこれを備えた内視鏡システム
EP2882272B1 (en) * 2012-08-01 2020-05-06 FUJI Corporation Component mounting apparatus
WO2014068766A1 (ja) 2012-11-02 2014-05-08 富士機械製造株式会社 部品実装機
JP6250876B2 (ja) * 2012-12-20 2017-12-20 富士機械製造株式会社 スプライシング誤作業検出装置
JP6333250B2 (ja) 2013-07-08 2018-05-30 株式会社Fuji 部品保持状態検出方法および部品実装装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005011950A (ja) * 2003-06-18 2005-01-13 Yamaha Motor Co Ltd 表面実装機
JP2008211009A (ja) * 2007-02-27 2008-09-11 Hitachi High-Tech Instruments Co Ltd 部品ライブラリデータ作成方法
JP2012064781A (ja) * 2010-09-16 2012-03-29 Hitachi High-Tech Instruments Co Ltd 部品認識カメラの状態チェック方法、および、部品認識カメラの状態チェック機能を有する電子部品装着装置
JP2013021196A (ja) * 2011-07-13 2013-01-31 Fuji Mach Mfg Co Ltd 部品実装機の画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3270677A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018203373A1 (ja) * 2017-05-01 2018-11-08 株式会社Fuji 実装装置、情報処理装置、実装システム、実装方法及び情報処理方法
JPWO2018203373A1 (ja) * 2017-05-01 2019-12-12 株式会社Fuji 実装装置、情報処理装置、実装システム、実装方法及び情報処理方法

Also Published As

Publication number Publication date
EP3270677A1 (en) 2018-01-17
CN107432116A (zh) 2017-12-01
JP6712260B2 (ja) 2020-06-17
US20180054932A1 (en) 2018-02-22
US10070570B2 (en) 2018-09-04
EP3270677B1 (en) 2020-08-26
JPWO2016143058A1 (ja) 2017-12-21
CN107432116B (zh) 2019-08-27
EP3270677A4 (en) 2018-01-17

Similar Documents

Publication Publication Date Title
WO2017006416A1 (ja) 実装装置、撮像処理方法及び撮像ユニット
WO2016143058A1 (ja) 実装装置、撮像処理方法及び撮像ユニット
KR101605587B1 (ko) 다이 본더 및 그 본드 헤드 장치와 콜릿 위치 조정 방법
JP6279581B2 (ja) 実装装置及び部品検出方法
JP2014072409A (ja) 部品検査方法及び装置
WO2017126025A1 (ja) 実装装置および撮像処理方法
JP6789602B2 (ja) 実装装置
JP6612845B2 (ja) 実装装置、撮像処理方法及び撮像ユニット
WO2021144971A1 (ja) 検査装置及び検査方法
WO2018154691A1 (ja) 対基板作業装置および画像処理方法
WO2016181439A1 (ja) 実装装置及び実装方法
JP6904978B2 (ja) 部品装着機
JP7050048B2 (ja) 部品実装装置および画像処理方法
JP6423193B2 (ja) 実装装置及び実装方法
JP6707403B2 (ja) 実装関連処理装置
WO2016151797A1 (ja) 実装装置及び実装方法
WO2019175974A1 (ja) 実装装置、情報処理装置及び実装方法
JP6789603B2 (ja) 実装装置
WO2018203373A1 (ja) 実装装置、情報処理装置、実装システム、実装方法及び情報処理方法
JP6652787B2 (ja) 実装装置及びその制御方法
WO2017037865A1 (ja) 要求精度設定装置
WO2020170349A1 (ja) 外観検査方法、実装機
JP2018186116A (ja) 対基板作業装置
JPWO2018173226A1 (ja) 実装装置及び実装方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15884550

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017504474

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015884550

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15556821

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE