WO2021205578A1 - 画像処理装置および実装装置、画像処理方法 - Google Patents

画像処理装置および実装装置、画像処理方法 Download PDF

Info

Publication number
WO2021205578A1
WO2021205578A1 PCT/JP2020/015873 JP2020015873W WO2021205578A1 WO 2021205578 A1 WO2021205578 A1 WO 2021205578A1 JP 2020015873 W JP2020015873 W JP 2020015873W WO 2021205578 A1 WO2021205578 A1 WO 2021205578A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
cavity
component
image processing
tape
Prior art date
Application number
PCT/JP2020/015873
Other languages
English (en)
French (fr)
Inventor
雄哉 稲浦
Original Assignee
株式会社Ｆｕｊｉ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｆｕｊｉ filed Critical 株式会社Ｆｕｊｉ
Priority to JP2022513778A priority Critical patent/JP7298017B2/ja
Priority to US17/995,633 priority patent/US20230217636A1/en
Priority to EP20930555.6A priority patent/EP4135503A4/en
Priority to PCT/JP2020/015873 priority patent/WO2021205578A1/ja
Priority to CN202080097703.4A priority patent/CN115211245A/zh
Publication of WO2021205578A1 publication Critical patent/WO2021205578A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/02—Feeding of components
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/04—Mounting of components, e.g. of leadless components
    • H05K13/0417—Feeding with belts or tapes
    • H05K13/0419—Feeding with belts or tapes tape feeders
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0813—Controlling of single components prior to mounting, e.g. orientation, component geometry

Definitions

  • This specification discloses an image processing device, a mounting device, and an image processing method.
  • a device that captures an image of a tape provided with a plurality of cavities for accommodating parts and determines the presence or absence of parts in the cavity based on the feature amount acquired from the image (for example, Patent Document 1). reference).
  • the average value of the brightness of each pixel is calculated as a feature amount, and the average value is compared with the threshold value set based on the brightness of the body part of the component or the threshold value set based on the brightness of the cavity.
  • the threshold value set based on the brightness of the body part of the component or the threshold value set based on the brightness of the cavity.
  • the brightness of the body portion of the component differs depending on the component type, it may be necessary to set a threshold value for each component type in the above-mentioned device, which may complicate the process. Further, since the brightness of the same component type can change depending on the imaging conditions, there is a possibility of erroneous determination due to the difference in imaging conditions when comparing the threshold value based on the brightness of the body portion or the threshold value based on the brightness of the cavity.
  • the main purpose of this disclosure is to accurately determine the presence or absence of parts in the cavity.
  • the image processing apparatus of the present disclosure is An image processing device that processes an image of a tape provided with a plurality of cavities for accommodating parts to be supplied.
  • a feature amount acquisition unit that extracts the brightness of pixels in a predetermined range that can include the bottom surface of the cavity and the parts in the cavity using the image, and acquires a value indicating the variation of the extracted brightness as a feature amount.
  • the parts in the cavity are based on the threshold value for determination determined based on the feature amounts when there are parts in the cavity and when there are no parts, and the feature amounts obtained from the image.
  • Judgment unit that determines the presence or absence of The gist is to prepare.
  • the image processing apparatus of the present disclosure acquires a value indicating variation in brightness extracted from a predetermined range of an image as a feature amount, and is determined based on each feature amount when there is a component in the cavity and when there is no component.
  • the presence or absence of a component in the cavity is determined based on the threshold value for determination and the feature amount acquired from the image.
  • the feature amount acquired from the image tends to have the same tendency depending on the presence or absence of the component in the cavity, regardless of the difference in the component type and the imaging condition. Therefore, even if the component type and imaging conditions change, the presence or absence of components in the cavity can be accurately determined.
  • the block diagram which shows the structure regarding the control of the mounting apparatus 10.
  • Explanatory drawing which shows an example of classifier 38.
  • a flowchart showing an example of feature learning processing.
  • Explanatory drawing which shows an example of the image with a part.
  • Explanatory drawing which shows an example of the image without a part.
  • Explanatory drawing which shows an example of the relationship between the presence / absence of a part and a feature amount.
  • the flowchart which shows an example of the part presence
  • Explanatory drawing which shows an example of how to normalize an image.
  • FIG. 1 is a schematic configuration diagram of the mounting device 10.
  • FIG. 2 is a schematic configuration diagram of the feeder 20.
  • FIG. 3 is a block diagram showing a configuration related to control of the mounting device 10.
  • the left-right direction in FIG. 1 is the X-axis direction
  • the front-back direction is the Y-axis direction
  • the up-down direction is the Z-axis direction.
  • the mounting device 10 includes a feeder 20 for supplying the component P, a substrate transport device 12 for transporting the substrate S, and a head 14 for sucking the component P with a suction nozzle 15 and mounting the component P on the substrate S. And a moving mechanism 16 for moving the head 14 in the XY directions. Further, the mounting device 10 includes a mark camera 18 capable of photographing various marks and feeders 20 attached to the substrate S from above, and a parts camera 19 capable of photographing parts P and the like sucked on the suction nozzle 15 from below. A control device 30 (see FIG. 3) that controls the entire mounting device 10 is provided. The head 14 has one or a plurality of suction nozzles 15. The suction nozzle 15 is moved up and down by a Z-axis motor (not shown).
  • the feeder 20 includes a reel (not shown) around which the tape 22 is wound, and is detachably attached to the mounting device 10 by a replacement device (not shown) or an operator.
  • the tape 22 has a plurality of concave cavities 24 for accommodating the component P formed along the feeding direction (longitudinal direction) of the tape 22. Further, the tape 22 is formed with a plurality of feed holes 23 that engage with sprocket teeth formed on the outer periphery of a sprocket (not shown).
  • the feeder 20 drives a motor 21 (see FIG. 3) to intermittently rotate the sprocket to intermittently feed the tape 22 in a predetermined amount backward (feeding direction) in the Y direction, and the head 14 (suction nozzle).
  • the component P is supplied to the component supply position where 15) can be picked up.
  • the control device 30 includes a CPU, ROM, RAM, HDD, etc. (not shown). As shown in FIG. 3, the control device 30 includes a drive control unit 32 that drives each unit and an image processing unit 34 that processes an image captured by the mark camera 18 and the parts camera 19 as a functional block.
  • the drive control unit 32 outputs a control signal to the motor 21 of the feeder 20, the substrate transfer device 12, the head 14, the moving mechanism 16, the mark camera 18, the parts camera 19, and the like.
  • Various information about the component P from the control unit of the feeder 20, an image signal from the mark camera 18, an image signal from the parts camera 19, and the like are input to the drive control unit 32.
  • the image signals from the mark camera 18 and the parts camera 19 are processed by the image processing unit 34.
  • the image signal may be directly input to the image processing unit 34.
  • the control device 30 is connected to the management device 40 that manages information related to the mounting process so as to be capable of bidirectional communication via a communication network, and exchanges data and control signals with each other.
  • the image processing unit 34 includes a classifier storage unit 36.
  • the classifier storage unit 36 stores a plurality of classifiers 38 for determining the presence / absence of the component P in the cavity 24 of the tape 22.
  • FIG. 4 is an explanatory diagram showing an example of the classifier 38.
  • a plurality of classifiers 38 associated with the tape type which is the type of the tape 22 and the component type which is the type of the component P are stored.
  • a classifier 38 (2) associated with the tape type T1 and the component type P2 and the like. Examples of the tape types T1, T2, T3, ...
  • Each classifier 38 is created by, for example, capturing an image of the tape 22 (cavity 24) with a mark camera 18, outputting it to a computer such as a management device 40, and extracting the image from the image using the image processing function of the computer. It is done by learning the quantity. Details of this feature amount and learning will be described later.
  • the management device 40 is a general-purpose computer, and as shown in FIG. 3, includes a management control unit 42, an input device 44 such as a keyboard and a mouse, a display 46, and a storage unit 48 such as an HDD and an SSD. ..
  • the management control unit 42 is composed of a CPU, ROM, RAM, etc., inputs an input signal from the input device 44, and outputs an image signal to the display 46.
  • the storage unit 48 stores the production plan of the substrate S.
  • the production plan for the board S is a plan that defines which component P is mounted in what order on the mounting surface of the board S in the mounting device 10, and how many boards S on which the component P is mounted are manufactured. be.
  • the management device 40 outputs a command signal to the control device 30 so that the component P is mounted according to the production plan, and causes the mounting device 10 to perform the mounting process.
  • FIG. 5 is a flowchart showing an example of the feature amount learning process. This process is executed by the management control unit 42 of the management device 40, but may be executed by another computer.
  • the management control unit 42 acquires a plurality of images Ga of the cavity 24 whose presence or absence of the component P is already known by the mark camera 18 (S100).
  • S100 for example, an image with a part in which a cavity 24 containing a part P such as an unused tape 22 is imaged and a cavity in which a part P such as a used tape 22 to which all the parts P are supplied are not housed.
  • An image without parts, which is an image of 24, is acquired. Further, it is assumed that each image with parts is imaged for the same tape type and the same part type, and each image without parts is imaged for the same tape type as the image with parts.
  • the following processing may be performed in parallel while sequentially acquiring the captured images Ga.
  • the management control unit 42 sets the extraction range Ar of the feature amount from the image Ga of 1 (S105), and extracts the brightness of each pixel from the set extraction range Ar (S110). Subsequently, the management control unit 42 acquires five feature quantities of maximum brightness, minimum brightness, average brightness, contrast, and brightness dispersion based on the brightness of the extracted pixels (S115).
  • the contrast is obtained, for example, as the ratio of the maximum brightness to the minimum brightness.
  • the luminance variance is obtained by dividing the sum of the squares of the deviations between the luminance and the average luminance of each pixel by the number of pixels.
  • the management control unit 42 may acquire the standard deviation instead of the variance.
  • the management control unit 42 determines whether or not the image Ga this time is an image with parts (S120), and if it is determined that the image Ga is an image with parts, each feature amount of S115 is associated with the presence of parts (S125). ), When it is determined that the image is not the image with parts but the image without parts, each feature amount of S115 is associated with no parts (S130).
  • FIG. 6 is an explanatory view showing an example of an image with parts
  • FIG. 7 is an explanatory view showing an example of an image without parts
  • FIG. 8 is an example of the relationship between the presence / absence of parts and a feature amount. It is explanatory drawing which shows.
  • the extraction range Ar set in S105 is, for example, a range in which margins ⁇ are added to both the vertical and horizontal sides of the rectangular upper surface size of the component P.
  • the margin ⁇ may be a constant value or a value proportional to the size of the component P.
  • the vertical and horizontal margins ⁇ are not limited to the same value, but may be different values.
  • the center position of the extraction range Ar is determined so as to coincide with, for example, the center position 24c (predetermined supply position) when the component P in the cavity 24 is sucked by the suction nozzle 15. From these facts, even if the component P is displaced in the cavity 24, the upper surface of the component P and the bottom surface of the cavity 24 are included in the image.
  • FIG. 6 shows a component P in which electrodes Pe are provided at both ends of the body Pb. Therefore, in the image with parts, the brightness varies due to the difference in the reflection of light in each part. For example, the brightness of the electrode Pe is the highest, the brightness of the body Pb is the highest, and the brightness of the bottom surface of the cavity 24 is the highest. It tends to be low. Although the tendency may differ depending on the tape type and the component type, the brightness of the upper surface of the component P and the bottom surface of the cavity 24 are usually different, so that the brightness of each pixel tends to vary. On the other hand, as shown in FIG.
  • the transparent embossed tape transmits the reflected light of the constituent member of the feeder 20 below the tape 22, and the brightness differs depending on the material of the constituent member. That is, the transparent embossed tape may have a larger variation in brightness due to the influence of disturbance than the black embossed tape or the white paper tape.
  • the horizontal axis represents the number of images Ga (the number of data)
  • the vertical axis represents the luminance dispersion which is one of the feature quantities
  • the presence of parts is shown by black circles
  • the absence of parts is shown by white circles. .. Since the brightness tends to vary more easily when there are parts than when there are no parts, the brightness dispersion becomes a relatively large value when there is a part and a relatively small value when there is no part.
  • the boundary of the luminance dispersion due to the difference in the presence or absence of the component appears, and the threshold value Sref of the luminance dispersion for determining the presence or absence of the component can be determined based on the boundary.
  • the management control unit 42 determines whether or not all the image Ga has been processed (S135), and determines that there is an unprocessed image Ga. Then, the process returns to S105 and the process is performed. On the other hand, when the management control unit 42 determines that all the images Ga have been processed in S135, the management control unit 42 creates the classifier 38 by machine learning using the feature amount associated with the presence / absence of parts (S140).
  • the management control unit 42 stores the created classifier 38 in the classifier storage unit 36 in association with the tape type and the component type (S145), and ends the feature amount learning process.
  • the management control unit 42 may store a plurality of classifiers 38 in the storage unit 48 and, if necessary, transmit the plurality of classifiers 38 to the image processing unit 34 so that they can be used.
  • FIG. 9 is a flowchart showing an example of the component presence / absence determination process. This process is executed by the image processing unit 34 when it is time to determine the presence or absence of parts.
  • the timing of determining the presence or absence of a component is, for example, when a suction error of the component P by the suction nozzle 15 occurs continuously for a predetermined number of times, or when a new feeder 20 is set in the mounting device 10 and accommodates the component P. This is the case when the tape 22 is sent out to 24.
  • the image processing unit 34 first determines whether or not the tape type and the component type have been acquired (S200). When the image processing unit 34 determines that the tape type and the component type have not been acquired, the image processing unit 34 acquires the tape type (S205) and the component type (S210). The processing of S205 and S210 is performed by acquiring the tape type and the part type input to the operator by, for example, an operation panel (not shown). Alternatively, the tape type or component type input may be acquired via communication with the control unit of the feeder 20. Further, the image processing unit 34 captures an image of a flat portion of the tape 22 in which the cavity 24 is not formed, and based on the brightness of the pixels acquired from the image and the reference brightness acquired in advance for each tape type. The tape type may be determined. For example, the image processing unit 34 can acquire the average brightness of each pixel from the image and determine that the tape type has the average brightness closest to the reference brightness.
  • the image processing unit 34 acquires the image G obtained by capturing the cavity 24 with the mark camera 18 (S215), and sets the feature amount extraction range Ar from the image G (S220).
  • This extraction range Ar is the same range as S105 of the feature amount learning process.
  • the image processing unit 34 cuts out the image of the set extraction range Ar, converts it into a specific size, and performs averaging processing to normalize it (S225).
  • FIG. 10 is an explanatory diagram showing an example of how the image is normalized. As shown in the figure, the image of the extraction range Ar is converted into an image of a specific size of vertical M pixels ⁇ horizontal N pixels. Therefore, the image sizes to be processed can be made uniform, and the number of pixels extracted for each image can be kept constant. Further, in S225, noise can be removed by performing the averaging process using a filter such as a Gaussian filter or a moving average filter.
  • a filter such as a Gaussian filter or a moving average filter.
  • the image processing unit 34 extracts the brightness of each pixel from an image of a specific size (S230), and based on the brightness of the extracted pixel, five feature quantities, that is, maximum brightness, minimum brightness, average brightness, and contrast. Acquire with brightness distribution (S235). Then, the image processing unit 34 uses the classifier 38 corresponding to the tape type and the component type acquired in S205 and S210 to input each acquired feature amount and determine the presence / absence of the component (S240), and determines the presence / absence of the component (S240). Is output (S245) to end the component presence / absence determination process. For example, when the tape type T2 and the component type P2 are acquired in S205 and S210, the image processing unit 34 uses the classifier 38 (12) to determine the presence or absence of the component.
  • the determination result of the presence / absence of parts is output to, for example, the drive control unit 32 or the management device 40.
  • the drive control unit 32 controls the feeder 20 so as to send the tape 22 to the next cavity 24 when it is determined that there is no component P when the suction error of the component P occurs continuously for a predetermined number of times, and the component P If it is determined that there is, the head 14 is controlled so as to reattach the component P. Further, the drive control unit 32 terminates the feeding of the tape 22 when it is determined that the component P is present when the new feeder 20 is set in the mounting device 10 and the tape 22 is fed. Further, the drive control unit 32 may display information indicating that there is no component on an operation panel or the like (not shown).
  • the management device 40 receives a determination result that there is no component P and gives an instruction to replace the feeder 20. Is output to the switching device. Therefore, it is possible to prevent the replacement device from replacing the feeder 20 when the component P is still present.
  • the image processing unit 34 of the present embodiment corresponds to the image processing apparatus of the present disclosure
  • the cavity 24 corresponds to the cavity
  • the tape 22 corresponds to the tape
  • the image processing unit 34 that executes S240 of the component presence / absence determination process corresponds to the determination unit.
  • the image processing unit 34 that executes the component presence / absence determination process S205 corresponds to the tape type acquisition unit.
  • the image processing unit 34 that executes the component presence / absence determination process S210 corresponds to the component type acquisition unit.
  • the feeder 20 corresponds to the feeder
  • the mounting device 10 corresponds to the mounting device
  • the mark camera 18 corresponds to the imaging device.
  • an example of the image processing method of the present disclosure is also clarified by explaining the operation of the image processing unit 34.
  • the image processing unit 34 acquires the feature amount of the brightness extracted from the image G, and based on each feature amount when the component P is present in the cavity 24 and when the component P is not present.
  • the presence or absence of the component P in the cavity 24 is determined based on the determined threshold value for determination and the feature amount acquired from the image G. Since the acquired feature quantity shows the same tendency depending on the presence or absence of the component P in the cavity 24 regardless of the difference in the component type and the imaging conditions, the presence or absence of the component P in the cavity 24 is accurately determined. can do.
  • the extraction range Ar is defined as a range in which the extraction range Ar is centered on the supply position of the component P and the margin ⁇ is added to the size of the component P, and the extraction range Ar is converted to a specific size and averaged.
  • the brightness of the pixel is extracted from. Therefore, since the influence of noise can be suppressed by keeping the number of pixels for extracting the brightness constant, it is possible to stably acquire the feature amount and determine the presence or absence of the component P more accurately.
  • the image processing unit 34 acquires the type of the tape 22 to be processed and determines the presence / absence of the component P by using the classifier 38 corresponding to the tape type, the feature amount due to the difference in the material of the tape 22 and the like is determined. The effect of change can be suppressed. Further, since the image processing unit 34 acquires the type of the component P to be processed and determines the presence / absence of the component P by using the classifier 38 corresponding to the component type, the feature amount due to the difference in the material of the component P and the like is determined. The effect of change can be suppressed.
  • the image processing unit 34 acquires five feature quantities of luminance dispersion, maximum luminance, minimum luminance, luminance average, and contrast. Further, since the presence / absence of the component P is determined based on the classifier 38 in which the threshold value is set by machine learning with the five feature quantities as variables and the five feature quantities acquired from the image G, the determination accuracy is improved. It is possible to prevent erroneous determination of the presence or absence of the component P.
  • the image processing unit 34 since the image processing unit 34 accurately determines the presence / absence of the component P, it is possible to prevent the component P from being repeatedly sucked (collected) even though the component P is not in the cavity 24, or to prevent the component P from being repeatedly sucked (collected). It can be appropriately determined that the tape 22 has disappeared and it is time to replace the tape 22.
  • the present invention is not limited to this, and a plurality of features including the luminance variance or standard deviation and a value related to luminance other than the luminance variance or standard deviation. All you have to do is acquire the feature quantity. That is, it suffices to acquire two or more feature quantities including the variance of brightness or the standard deviation.
  • the luminance dispersion is illustrated as a value indicating the variation in luminance, other indexes such as contrast and luminance average may be used.
  • the plurality of classifiers 38 are associated with both the tape type and the component type, but the present invention is not limited to this, and may be associated with either the tape type or the component type.
  • the image processing unit 34 may omit the acquisition of the component type of S210 in FIG. 9 and determine the presence or absence of the component by using the classifier 38 corresponding to the tape type acquired in S205 regardless of the component type. good.
  • the image processing unit 34 may omit the acquisition of the tape type in S205 of FIG. 9 and determine the presence / absence of parts by using the classifier 38 corresponding to the part type acquired in S210 regardless of the tape type. good.
  • a shared classifier 38 that is not associated with either the tape type or the component type may be used. In that case, the image processing unit 34 may omit the processing of S200 to S210 of FIG.
  • the necessary classifier 38 may be stored in the classifier storage unit 36 according to the possibility of erroneous judgment due to the difference in tape type and component type, the judgment frequency (use frequency), and the like.
  • a classifier 38 associated with a tape type is used for a tape type having a high possibility of erroneous judgment such as transparent embossed tape, and a tape is used for a combination of a tape type and a part type having a high possibility of erroneous judgment.
  • the classifier 38 associated with the species and the component type may be used, or a shared classifier 38 may be used for the tape type and the component type having a low possibility of erroneous determination.
  • pixels are extracted from the extraction range Ar of the image Ga, but the present invention is not limited to this, and pixels may be extracted from an image in which the extraction range Ar is normalized to a specific size. Further, in the component presence / absence determination process, the pixels are extracted from the image in which the extraction range Ar is normalized to a specific size, but the present invention is not limited to this, and the pixels may be extracted from the extraction range Ar.
  • the center position of the extraction range Ar coincides with the center position 24c when the component P is sucked by the suction nozzle 15, but the extraction range Ar is set within the range of the cavity 24. It should be done. Further, the extraction range Ar is a range in which the margin ⁇ is added to the size of the component P, but it may be a range in which the upper surface of the component P and the bottom surface of the cavity 24 can be seen, such as a range slightly narrower than the cavity 24.
  • the feature amount learning process is executed by the management control unit 42 or the like other than the image processing unit 34, but the present invention is not limited to this, and the feature amount learning process may be executed by the image processing unit 34.
  • the feature amount learning process by the image processing unit 34 may be executed when the mounting process is not performed.
  • an image is captured by the mark camera 18 before the component P is adsorbed by the adsorption nozzle 15, and if the component P is adsorbed, the image is learned as an image with components. May be.
  • the acquired feature amount is input to the classifier 38 to determine the presence or absence of the component P, that is, the determination result (identification result) by the classifier 38 is obtained, but the present invention is not limited to this. No.
  • the determination is made using the acquired feature quantity and the threshold value Sref. May be good.
  • the acquired luminance variance is equal to or more than the threshold value Sref, it is determined that there is a component P, and if the luminance variance is less than the threshold value Sref, it is determined that there is no component P.
  • the management control unit 42 classifies the five feature quantities according to the presence / absence of the component P, determines the identification boundary, and sets a threshold value used for determining the presence / absence of the component based on the identification boundary.
  • the vessel 38 was created, but it is not limited to this.
  • the management control unit 42 may create a discriminator that determines the presence or absence of a component by using the discriminating boundary itself.
  • the management control unit 42 may create a classifier having a plurality of discrimination boundaries for determining the presence / absence of parts.
  • the management control unit 42 sets the weighting coefficient according to the coordinate value in the multidimensional coordinate system composed of the plurality of feature quantities, and after the plurality of feature quantities are weighted by the weighting coefficient. You may create a classifier that determines the presence or absence of parts based on the relationship between the value and the threshold value or the discrimination boundary.
  • the image processing unit 34 included in the mounting device 10 determines the presence or absence of the component P, but the present invention is not limited to this, and image processing provided in addition to the mounting device 10 such as the management control unit 42 of the management device 40 is not limited to this.
  • the device may determine the presence or absence of the component P.
  • the image processing device of the present disclosure may be configured as follows.
  • the predetermined range is defined as a range in which a predetermined margin is added to the size of the component centering on the supply position when the tape supplies the component in the cavity.
  • the feature amount acquisition unit may extract the brightness of the pixel from the image obtained by converting the predetermined range in the image into a specific size and averaging the predetermined range. In this way, since the brightness is extracted from an image of a specific size, the number of pixels for extracting the brightness can be fixed for each image. Further, since the brightness is extracted from the image converted to a specific size and averaged, the influence of noise can be suppressed. Therefore, it is possible to stably acquire the feature amount and more accurately determine the presence or absence of a component in the cavity.
  • the image processing apparatus of the present disclosure includes a tape type acquisition unit for acquiring the type of the tape to be processed, and the determination unit acquires the tape type among the determination thresholds determined for each type of tape.
  • a threshold value corresponding to the type of the tape acquired by the unit may be used.
  • the image processing apparatus of the present disclosure includes a part type acquisition unit that acquires the type of a part to be supplied, and the determination unit is the part type acquisition unit among the determination threshold values determined for each type of the part. You may use the threshold value according to the type of the said part acquired by. By doing so, it is possible to suppress the influence of changes in the feature amount due to differences in the material and shape of the parts, and to more accurately determine the presence or absence of the parts in the cavity.
  • the feature amount acquisition unit acquires the dispersion or standard deviation of brightness as a value indicating the variation in brightness, and also acquires a plurality of the feature amounts including values related to brightness other than the dispersion and standard deviation. Then, the determination unit determines the presence or absence of a component in the cavity based on the threshold value determined by machine learning with the plurality of the feature quantities as variables and the plurality of the feature quantities acquired from the image. It may be the one to do. By doing so, it is possible to improve the accuracy of determining the presence / absence of the component in the cavity, and it is possible to prevent erroneous determination of the presence / absence of the component.
  • Another image processing device of the present disclosure is an image processing device that processes an image of a tape provided with a plurality of cavities for accommodating parts to be supplied, and uses the image to process the bottom surface of the cavity and the inside of the cavity.
  • a feature amount acquisition unit that extracts the brightness of pixels in a predetermined range that can include parts and acquires a value indicating the variation of the extracted brightness as a feature amount, and a case where there is a part in the cavity and a case where there is no part. It is provided with a discriminator for determination created based on each of the feature amounts, and a determination unit for determining the presence or absence of a component in the cavity based on the feature amount acquired from the image. It is a summary.
  • the features obtained from the image have a similar tendency depending on the presence or absence of parts in the cavity. Therefore, by using the discriminator created based on the feature amount, it is possible to accurately determine the presence or absence of the component in the cavity even if the component type or the imaging condition changes.
  • the mounting device of the present disclosure is a mounting device to which a feeder for feeding the tape is attached, and a component to be supplied is collected from the cavity and mounted, and is an imaging device that captures an image of the tape, or any of the above-mentioned ones.
  • the gist is to provide the image processing device of the above.
  • the mounting device of the present disclosure can accurately determine the presence or absence of a component in the cavity by any of the above-mentioned image processing devices. Therefore, it is possible to prevent repeated sampling of parts even though there are no parts in the cavity, and it is possible to appropriately determine that it is time to replace the tape because there are no parts in the cavity.
  • the image processing method of the present disclosure is an image processing method for processing an image of a tape provided with a plurality of cavities for accommodating parts to be supplied, and (a) the bottom surface of the cavity and the inside of the cavity using the image.
  • the gist is to include.
  • the presence or absence of a component in the cavity can be accurately determined even if the component type, imaging conditions, and the like change.
  • various aspects of the above-mentioned image processing apparatus may be adopted, or steps may be added to realize each function of the above-mentioned image processing apparatus.
  • the present invention can be used as a supply device for sending parts contained in tape, a mounting device for mounting the supplied parts, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

供給対象の部品を収納するキャビティが複数設けられたテープの画像を処理する画像処理装置は、画像を用いてキャビティの底面とキャビティ内の部品とが含まれうる所定範囲の画素の輝度を抽出し、抽出した輝度のばらつきを示す値を特徴量として取得する特徴量取得部と、キャビティ内に部品が有る場合と部品が無い場合のそれぞれの特徴量に基づいて定められた判定用の閾値と、画像から取得された特徴量とに基づいて、キャビティ内の部品の有無を判定する判定部と、を備える。

Description

画像処理装置および実装装置、画像処理方法
　本明細書は、画像処理装置および実装装置、画像処理方法を開示する。
　従来、部品を収納するキャビティが複数設けられたテープの画像を撮像し、画像から取得した特徴量に基づいてキャビティ内の部品の有無などを判定する装置が提案されている（例えば、特許文献１参照）。この装置では、特徴量として各画素の輝度の平均値を算出し、その平均値を、部品のボディ部分の輝度に基づいて設定された閾値やキャビティの輝度に基づいて設定された閾値と比較して部品の有無を判定する。これにより、部品の吸着ミスによるリトライ動作の繰り返しを防いだり、テープの部品切れを把握している。
特開２０１４－０７２４０９号公報
　ここで、部品のボディ部などの輝度は、部品種毎に異なるため、上述した装置では部品種毎に閾値を設定する必要が生じて処理が煩雑となる場合がある。また、同じ部品種でも撮像条件によって輝度が変化しうるから、ボディ部分の輝度に基づく閾値やキャビティの輝度に基づく閾値と比較するものでは、撮像条件の違いで誤判定する可能性もある。
　本開示は、キャビティ内の部品の有無を精度よく判定することを主目的とする。
　本開示は、上述の主目的を達成するために以下の手段を採った。
　本開示の画像処理装置は、
　供給対象の部品を収納するキャビティが複数設けられたテープの画像を処理する画像処理装置であって、
　前記画像を用いて前記キャビティの底面と該キャビティ内の部品とが含まれうる所定範囲の画素の輝度を抽出し、抽出した輝度のばらつきを示す値を特徴量として取得する特徴量取得部と、
　前記キャビティ内に部品が有る場合と部品が無い場合のそれぞれの前記特徴量に基づいて定められた判定用の閾値と、前記画像から取得された前記特徴量とに基づいて、前記キャビティ内の部品の有無を判定する判定部と、
　を備えることを要旨とする。
　本開示の画像処理装置は、画像の所定範囲から抽出した輝度のばらつきを示す値を特徴量として取得し、キャビティ内に部品が有る場合と部品が無い場合のそれぞれの特徴量に基づいて定められた判定用の閾値と、画像から取得した特徴量とに基づいて、キャビティ内の部品の有無を判定する。ここで、キャビティ内に部品が有れば所定範囲にキャビティの底面と部品とが写るために輝度のばらつきが大きくなり、部品が無ければ所定範囲にキャビティの底面のみが写るために輝度のばらつきが小さくなる。このため、画像から取得される特徴量は、部品種や撮像条件などの違いに拘わらず、キャビティ内の部品の有無の違いによって同じような傾向が現れることになる。したがって、部品種や撮像条件などが変わっても、キャビティ内の部品の有無を精度よく判定することができる。
実装装置１０の概略構成図。 フィーダ２０の概略構成図。 実装装置１０の制御に関する構成を示すブロック図。 識別器３８の一例を示す説明図。 特徴量学習処理の一例を示すフローチャート。 部品有り画像の一例を示す説明図。 部品無し画像の一例を示す説明図。 部品の有無と特徴量との関係の一例を示す説明図。 部品有無判定処理の一例を示すフローチャート。 画像を正規化する様子の一例を示す説明図。
　次に、本開示を実施するための形態について図面を参照しながら説明する。図１は、実装装置１０の概略構成図である。図２は、フィーダ２０の概略構成図である。図３は、実装装置１０の制御に関する構成を示すブロック図である。なお、本実施形態は、図１の左右方向がＸ軸方向であり、前後方向がＹ軸方向であり、上下方向がＺ軸方向である。
　実装装置１０は、図１に示すように、部品Ｐを供給するフィーダ２０と、基板Ｓを搬送する基板搬送装置１２と、吸着ノズル１５で部品Ｐを吸着して基板Ｓ上に実装するヘッド１４と、ヘッド１４をＸＹ方向に移動させる移動機構１６とを備える。また、実装装置１０は、基板Ｓに付された各種マークやフィーダ２０などを上方から撮像可能なマークカメラ１８と、吸着ノズル１５に吸着された部品Ｐなどを下方から撮像可能なパーツカメラ１９と、実装装置１０の全体の制御を司る制御装置３０（図３参照）とを備える。ヘッド１４は、吸着ノズル１５を１または複数有している。吸着ノズル１５は、図示しないＺ軸モータにより上下方向に昇降される。
　フィーダ２０は、テープ２２が巻回された図示しないリールを備え、実装装置１０に対して図示しない交換装置または作業者により着脱可能に取り付けられる。テープ２２は、部品Ｐを収容するための凹状のキャビティ２４が、テープ２２の送り方向（長手方向）に沿って複数形成されている。また、テープ２２は、図示しないスプロケットの外周に形成されたスプロケット歯に係合する送り穴２３が複数形成されている。フィーダ２０は、モータ２１（図３参照）を駆動してスプロケットを間欠的に回転させることにより、テープ２２を所定量ずつＹ方向後方（送り方向）に間欠的に送り出して、ヘッド１４（吸着ノズル１５）がピックアップ可能な部品供給位置に部品Ｐを供給する。
　制御装置３０は、図示しないＣＰＵやＲＯＭ，ＲＡＭ，ＨＤＤなどを備える。制御装置３０は、図３に示すように機能ブロックとして、各部を駆動する駆動制御部３２と、マークカメラ１８やパーツカメラ１９により撮像された画像を処理する画像処理部３４とを備える。駆動制御部３２は、フィーダ２０のモータ２１や基板搬送装置１２、ヘッド１４、移動機構１６、マークカメラ１８、パーツカメラ１９などへ制御信号を出力する。駆動制御部３２には、フィーダ２０の制御部からの部品Ｐに関する各種情報やマークカメラ１８からの画像信号、パーツカメラ１９からの画像信号などが入力される。マークカメラ１８やパーツカメラ１９からの画像信号は、画像処理部３４で処理される。なお、画像信号が画像処理部３４に直接入力されてもよい。また、制御装置３０は、実装処理に関する情報の管理を行う管理装置４０と通信ネットワークを介して双方向通信可能に接続されており、互いにデータや制御信号のやり取りを行っている。
　画像処理部３４は、識別器記憶部３６を備えている。識別器記憶部３６は、テープ２２のキャビティ２４内の部品Ｐの有無を判定するための複数の識別器３８を記憶している。図４は、識別器３８の一例を示す説明図である。図示するように、本実施形態では、テープ２２の種類であるテープ種と部品Ｐの種類である部品種と対応付けた複数の識別器３８が記憶されている。例えば、テープ種Ｔ１と部品種Ｐ１とに対応付けられた識別器３８（１）やテープ種Ｔ１と部品種Ｐ２とに対応付けられた識別器３８（２）などがある。なお、テープ種Ｔ１，Ｔ２，Ｔ３，・・・としては、例えば白色の紙テープ，黒色のエンボステープ，透明のエンボステープなどが挙げられ、材質や色，透光性などの違いにより画像内での輝度が異なる。また、部品種Ｐ１，Ｐ２，・・・としては、例えば角チップ部品，バンプ部品，リード部品などが挙げられ、材質や色、形状などの違いにより画像内での輝度が異なる。各識別器３８の作成は、例えばマークカメラ１８によりテープ２２（キャビティ２４）の画像を撮像して、管理装置４０などのコンピュータに出力し、そのコンピュータの画像処理機能を用いて画像から抽出した特徴量を学習することにより行われる。この特徴量や学習の詳細は後述する。
　管理装置４０は、汎用のコンピュータであり、図３に示すように、管理制御部４２と、キーボードやマウスなどの入力デバイス４４と、ディスプレイ４６と、ＨＤＤやＳＳＤなどの記憶部４８と、を備える。管理制御部４２は、ＣＰＵやＲＯＭ，ＲＡＭなどで構成され、入力デバイス４４から入力信号を入力し、ディスプレイ４６への画像信号を出力する。記憶部４８は、基板Ｓの生産計画を記憶している。基板Ｓの生産計画は、実装装置１０において基板Ｓの実装面のどの位置にどの部品Ｐをどの順番で実装するか、部品Ｐを実装した基板Ｓを何枚作製するかなどを定めた計画である。管理装置４０は、生産計画に従って部品Ｐが実装されるように制御装置３０に指令信号を出力して、実装装置１０に実装処理を行わせる。
　以下は、こうして構成された実装装置１０の動作の説明である。ここでは、キャビティ２４内の部品有無の判定に関する処理を説明する。先に識別器３８を作成する際の学習処理を説明してから、識別器３８を用いた部品有無の判定処理を説明する。図５は、特徴量学習処理の一例を示すフローチャートである。この処理は、管理装置４０の管理制御部４２により実行されるが、他のコンピュータにより実行されてもよい。
　この処理では、管理制御部４２は、部品Ｐの有無が既に判明しているキャビティ２４をマークカメラ１８で撮像した複数の画像Ｇａを取得する（Ｓ１００）。Ｓ１００では、例えば、未使用のテープ２２など部品Ｐが収容されているキャビティ２４を撮像した部品有り画像と、全ての部品Ｐが供給された使用済みのテープ２２など部品Ｐが収容されていないキャビティ２４を撮像した部品無し画像とが取得される。また、各部品有り画像は、同じテープ種および同じ部品種を対象として撮像され、各部品無し画像は、部品有り画像と同じテープ種を対象として撮像されたものとする。なお、撮像された画像Ｇａを順次取得しながら、以下の処理を並行して行ってもよい。
　次に、管理制御部４２は、１の画像Ｇａから特徴量の抽出範囲Ａｒを設定し（Ｓ１０５）、設定した抽出範囲Ａｒから各画素の輝度を抽出する（Ｓ１１０）。続いて、管理制御部４２は、抽出した画素の輝度に基づいて、最大輝度と最小輝度と平均輝度とコントラストと輝度分散との５つの特徴量を取得する（Ｓ１１５）。コントラストは、例えば最大輝度と最小輝度との比として取得される。輝度分散は、各画素の輝度と平均輝度との偏差の二乗の総和を画素数で除することにより取得される。なお、管理制御部４２は、分散に代えて標準偏差を取得してもよい。また、管理制御部４２は、今回の画像Ｇａが部品有り画像であるか否かを判定し（Ｓ１２０）、部品有り画像であると判定すると、Ｓ１１５の各特徴量を部品有りに対応付け（Ｓ１２５）、部品有り画像でなく部品無し画像であると判定すると、Ｓ１１５の各特徴量を部品無しに対応付ける（Ｓ１３０）。
　ここで、図６は、部品有り画像の一例を示す説明図であり、図７は、部品無し画像の一例を示す説明図であり、図８は、部品の有無と特徴量との関係の一例を示す説明図である。Ｓ１０５で設定される抽出範囲Ａｒは、例えば部品Ｐの矩形状の上面サイズに対し、縦横のそれぞれの両側にマージンαを加えた範囲とする。マージンαは、一定値でもよいし、部品Ｐのサイズに比例した値でもよい。また、縦方向と横方向のマージンαは、同じ値に限られず、異なる値でもよい。抽出範囲Ａｒの中心位置は、例えばキャビティ２４内の部品Ｐが吸着ノズル１５で吸着される際の中心位置２４ｃ（所定の供給位置）と一致するように定められる。これらのことから、部品Ｐがキャビティ２４内で位置ずれしていても、画像内に部品Ｐの上面とキャビティ２４の底面とが含まれることになる。
　また、図６では、部品ＰのボディＰｂの両端に電極Ｐｅが設けられたものを示す。このため、部品有り画像では各部の光の反射の違いにより輝度にばらつきが生じており、例えば、電極Ｐｅの輝度が最も高く、次にボディＰｂの輝度が高く、キャビティ２４の底面の輝度が最も低い傾向となる。なお、テープ種や部品種によっては異なる傾向となることもあるが、通常は部品Ｐの上面とキャビティ２４の底面の輝度は異なるため、各画素の輝度にばらつきが生じやすくなる。一方、図７に示すように、部品無し画像ではキャビティ２４の底面のみが画像に写るため、各画素の輝度は比較的低い輝度で一様の輝度分布となり、輝度のばらつきが小さな傾向となる。黒色のエンボステープでは、その傾向が顕著となり、白色の紙テープでもその傾向が現れやすい。ただし、透明のエンボステープでは、テープ２２の下方にあるフィーダ２０の構成部材の反射光を透過し、その構成部材の材質によって輝度が異なることになる。即ち、透明のエンボステープは、黒色のエンボステープや白色の紙テープに比べて外乱の影響により輝度のばらつきが大きくなることがある。
　また、図８では、横軸に画像Ｇａの数（データ数）をとり、縦軸に特徴量の１つである輝度分散をとり、部品有りを黒丸で図示し、部品無しを白丸で図示する。部品有りの場合には部品無しの場合よりも輝度にばらつきが生じやすい傾向にあるため、輝度分散は、部品有りの場合に比較的大きな値となり、部品無しの場合に比較的小さな値となる。また、図８では、部品の有無の違いによる輝度分散の境界が現れており、その境界に基づいて部品の有無を判定するための輝度分散の閾値Ｓｒｅｆを定めることができる。
　特徴量学習処理のＳ１２５，Ｓ１３０で部品有無に特徴量を対応付けると、管理制御部４２は、全ての画像Ｇａを処理したか否かを判定し（Ｓ１３５）、未処理の画像Ｇａがあると判定すると、Ｓ１０５に戻り処理を行う。一方、管理制御部４２は、Ｓ１３５で全ての画像Ｇａを処理したと判定すると、部品有無が対応付けられた特徴量を用いた機械学習により識別器３８を作成する（Ｓ１４０）。機械学習は、例えばＳＶＭ（サポートベクターマシン）やＡｄａＢｏｏｓｔなどにより、５つの特徴量を部品の有無で分類して識別境界を決定し、その識別境界に基づいて部品有無の判定に用いられる閾値が設定された識別器３８を作成する。
　そして、管理制御部４２は、作成した識別器３８をテープ種と部品種に対応付けて識別器記憶部３６に記憶させて（Ｓ１４５）、特徴量学習処理を終了する。なお、管理制御部４２が、複数の識別器３８を記憶部４８に記憶しておき、必要な場合に画像処理部３４に送信して使用可能とするものなどとしてもよい。
　次に、キャビティ２４内の部品有無の判定処理を説明する。図９は、部品有無判定処理の一例を示すフローチャートである。この処理は、部品有無の判定タイミングとなったときに画像処理部３４により実行される。なお、部品有無の判定タイミングは、例えば吸着ノズル１５による部品Ｐの吸着エラーが所定回数続けて発生した場合や、新たなフィーダ２０が実装装置１０にセットされ部品Ｐを収容している先頭のキャビティ２４までテープ２２を送り出す場合などが該当する。
　この処理では、画像処理部３４は、まずテープ種と部品種とを取得済みであるか否かを判定する（Ｓ２００）。画像処理部３４は、テープ種と部品種とを取得済みでないと判定すると、テープ種を取得すると共に（Ｓ２０５）、部品種を取得する（Ｓ２１０）。なお、Ｓ２０５，Ｓ２１０の処理は、例えば図示しない操作パネルなどにより作業者に入力されたテープ種や部品種を取得することにより行われる。あるいは、フィーダ２０の制御部との通信を介して入力されたテープ種や部品種を取得してもよい。また、画像処理部３４は、テープ２２においてキャビティ２４が形成されていない平面部分の画像を撮像し、その画像から取得した画素の輝度と、テープ種毎に予め取得された基準輝度とに基づいてテープ種を判定してもよい。例えば、画像処理部３４は、画像から各画素の平均輝度を取得し、平均輝度が基準輝度に最も近いテープ種と判定することができる。
　次に、画像処理部３４は、キャビティ２４をマークカメラ１８で撮像した画像Ｇを取得し（Ｓ２１５）、画像Ｇから特徴量の抽出範囲Ａｒを設定する（Ｓ２２０）。この抽出範囲Ａｒは、特徴量学習処理のＳ１０５と同じ範囲である。続いて、画像処理部３４は、設定した抽出範囲Ａｒの画像を切り出して特定サイズに変換し平均化処理することにより正規化する（Ｓ２２５）。図１０は画像を正規化する様子の一例を示す説明図である。図示するように、抽出範囲Ａｒの画像が、縦Ｍ画素×横Ｎ画素の特定サイズの画像に変換される。このため、処理対象の画像サイズを揃えて、画像毎に抽出される画素数を一定とすることができる。また、Ｓ２２５では、ガウシアンフィルタや移動平均フィルタなどのフィルタを用いて平均化処理を行うことにより、ノイズを除去することができる。
　続いて、画像処理部３４は、特定サイズの画像から各画素の輝度を抽出し（Ｓ２３０）、抽出した画素の輝度に基づいて５つの特徴量、即ち最大輝度と最小輝度と平均輝度とコントラストと輝度分散と取得する（Ｓ２３５）。そして、画像処理部３４は、Ｓ２０５，Ｓ２１０で取得したテープ種と部品種とに対応する識別器３８を用いて、取得した各特徴量を入力して部品有無を判定し（Ｓ２４０）、判定結果を出力して（Ｓ２４５）、部品有無判定処理を終了する。例えば、Ｓ２０５，Ｓ２１０でテープ種Ｔ２と部品種Ｐ２とが取得された場合、画像処理部３４は、識別器３８（１２）を用いて部品の有無を判定する。
　また、Ｓ２４５では、部品有無の判定結果が、例えば駆動制御部３２や管理装置４０などに出力される。駆動制御部３２は、部品Ｐの吸着エラーが所定回数続けて発生した場合に、部品Ｐが無いと判定されると、次のキャビティ２４までテープ２２を送るようにフィーダ２０を制御し、部品Ｐが有ると判定されると、部品Ｐを再吸着するようにヘッド１４を制御する。また、駆動制御部３２は、新たなフィーダ２０が実装装置１０にセットされてテープ２２を送り出している場合に部品Ｐが有ると判定されると、テープ２２の送り出しを終了させる。また、駆動制御部３２は、図示しない操作パネルなどに、部品が無い旨の情報を表示してもよい。また、フィーダ２０が実装装置１０に対して図示しない交換装置により着脱されるように構成されている場合、管理装置４０は、部品Ｐが無い旨の判定結果を受けて、そのフィーダ２０の交換指示を交換装置に出力する。このため、まだ部品Ｐが有る場合に、交換装置がフィーダ２０を交換するのを防止することができる。
　ここで、本実施形態の構成要素と本開示の構成要素との対応関係を明らかにする。本実施形態の画像処理部３４が本開示の画像処理装置に相当し、キャビティ２４がキャビティに相当し、テープ２２がテープに相当し、部品有無判定処理のＳ２３０，Ｓ２３５を実行する画像処理部３４が特徴量取得部に相当し、部品有無判定処理のＳ２４０を実行する画像処理部３４が判定部に相当する。部品有無判定処理のＳ２０５を実行する画像処理部３４がテープ種取得部に相当する。部品有無判定処理のＳ２１０を実行する画像処理部３４が部品種取得部に相当する。また、フィーダ２０がフィーダに相当し、実装装置１０が実装装置に相当し、マークカメラ１８が撮像装置に相当する。なお、本実施形態は、画像処理部３４の動作を説明することにより本開示の画像処理方法の一例も明らかにしている。
　以上説明した実装装置１０は、画像処理部３４が、画像Ｇから抽出した輝度の特徴量を取得し、キャビティ２４内に部品Ｐが有る場合と部品Ｐが無い場合のそれぞれの特徴量に基づいて定められた判定用の閾値と、画像Ｇから取得した特徴量とに基づいて、キャビティ２４内の部品Ｐの有無を判定する。取得される特徴量は、部品種や撮像条件などの違いに拘わらず、キャビティ２４内の部品Ｐの有無の違いによって同じような傾向が現れるから、キャビティ２４内の部品Ｐの有無を精度よく判定することができる。
　また、画像処理部３４は、抽出範囲Ａｒが部品Ｐの供給位置を中心として部品Ｐのサイズにマージンαを加えた範囲に定められており、抽出範囲Ａｒを特定サイズに変換し平均化した画像から画素の輝度を抽出する。このため、輝度を抽出する画素数を一定としてノイズの影響を抑えることができるから、特徴量を安定的に取得して部品Ｐの有無をより精度よく判定することができる。
　また、画像処理部３４は、処理対象のテープ２２の種類を取得し、テープ種に対応する識別器３８を用いて部品Ｐの有無を判定するから、テープ２２の材質などの違いによる特徴量の変化の影響を抑えることができる。また、画像処理部３４は、処理対象の部品Ｐの種類を取得し、部品種に対応する識別器３８を用いて部品Ｐの有無を判定するから、部品Ｐの材質などの違いによる特徴量の変化の影響を抑えることができる。
　また、画像処理部３４は、輝度分散と最大輝度と最小輝度と輝度平均とコントラストとの５つの特徴量を取得する。また、５つの特徴量を変数として機械学習により閾値が設定された識別器３８と、画像Ｇから取得された５つの特徴量とに基づいて部品Ｐの有無を判定するから、判定精度を高めて部品Ｐの有無を誤判定するのを防止することができる。
　また、実装装置１０は、画像処理部３４が部品Ｐの有無を精度よく判定するため、キャビティ２４内に部品Ｐが無いのに部品Ｐの吸着（採取）を繰り返すのを防止したり、部品Ｐが無くなりテープ２２の交換タイミングとなったことを適切に判定することができる。
　なお、本開示は上述した実施形態に何ら限定されることはなく、本開示の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
　例えば、上述した実施形態では、輝度分散を含む５つの特徴量を取得したが、これに限られず、輝度の分散または標準偏差と、輝度の分散または標準偏差以外の輝度に関する値とを含む複数の特徴量を取得すればよい。即ち、輝度の分散または標準偏差を含む２以上の特徴量を取得すればよい。また、輝度のばらつきを示す値として輝度分散を例示したが、コントラストや輝度平均などの他の指標を用いてもよい。
　上述した実施形態では、複数の識別器３８がテープ種と部品種の両方に対応付けられていたが、これに限られず、テープ種と部品種のいずれか一方に対応付けられていてもよい。例えば、画像処理部３４は、図９のＳ２１０の部品種の取得を省略して、部品種に拘わらず、Ｓ２０５で取得したテープ種に対応する識別器３８を用いて部品有無を判定してもよい。また、画像処理部３４は、図９のＳ２０５のテープ種の取得を省略して、テープ種に拘わらず、Ｓ２１０で取得した部品種に対応する識別器３８を用いて部品有無を判定してもよい。また、テープ種と部品種のいずれにも対応付けられていない共用の識別器３８を用いてもよい。その場合、画像処理部３４は、図９のＳ２００～Ｓ２１０の処理を省略すればよい。
　また、テープ種や部品種の違いによる誤判定の可能性や判定頻度（使用頻度）などに応じて、必要な識別器３８が識別器記憶部３６に記憶されていればよい。例えば、透明のエンボステープなど誤判定の可能性が高いテープ種についてはテープ種に対応付けられた識別器３８を用いたり、誤判定の可能性が高いテープ種と部品種の組み合わせなどについてはテープ種と部品種とに対応付けられた識別器３８を用いたり、誤判定の可能性が低いテープ種や部品種については共用の識別器３８を用いたりするものなどとしてもよい。
　上述した実施形態では、特徴量学習処理では、画像Ｇａの抽出範囲Ａｒから画素を抽出したが、これに限られず、抽出範囲Ａｒを特定サイズに正規化した画像から画素を抽出してもよい。また、部品有無判定処理では、抽出範囲Ａｒを特定サイズに正規化した画像から画素を抽出したが、これに限られず、抽出範囲Ａｒから画素を抽出してもよい。
　上述した実施形態では、抽出範囲Ａｒの中心位置は、部品Ｐが吸着ノズル１５で吸着される際の中心位置２４ｃと一致したが、これに限られず、キャビティ２４の範囲内で抽出範囲Ａｒが設定されればよい。また、抽出範囲Ａｒは、部品Ｐのサイズにマージンαを加えた範囲としたが、キャビティ２４よりも若干狭い範囲など、部品Ｐの上面とキャビティ２４の底面とが写る範囲であればよい。
　上述した実施形態では、特徴量学習処理が画像処理部３４以外の管理制御部４２などにより実行されたが、これに限られず、画像処理部３４により実行されてもよい。画像処理部３４による特徴量学習処理は、実装処理が行われていない場合に実行されればよい。あるいは、実装処理中に、吸着ノズル１５で部品Ｐを吸着する前にマークカメラ１８で画像を撮像しておき、部品Ｐが吸着されれば、その画像を部品有り画像として学習していくものなどとしてもよい。
　上述した実施形態では、取得した特徴量を識別器３８に入力して部品Ｐの有無を判定するもの即ち識別器３８による判定結果（識別結果）を得るものとしたが、これに限られるものではない。例えば図８のように、輝度分散などの１以上の特徴量と、部品Ｐの有無とに相関があり閾値Ｓｒｅｆを設定可能な場合、取得された特徴量と閾値Ｓｒｅｆとを用いて判定してもよい。図８の例では、取得された輝度分散が閾値Ｓｒｅｆ以上であれば部品Ｐが有り、輝度分散が閾値Ｓｒｅｆ未満であれば部品Ｐが無いと判定されることになる。
　上述した実施形態では、管理制御部４２は、５つの特徴量を部品Ｐの有無で分類して識別境界を決定し、その識別境界に基づいて部品有無の判定に用いられる閾値が設定された識別器３８を作成したが、これに限られるものではない。例えば、管理制御部４２は、識別境界自体を用いて部品有無を判定する識別器を作成してもよい。さらに、管理制御部４２は、部品有無を判定する識別境界を複数有する識別器を作成してもよい。また、管理制御部４２は、複数の特徴量で構成される複数次元の座標系における座標の値に応じて重みづけ係数を設定し、複数の特徴量が重みづけ係数で重みづけされた後の値と、閾値または識別境界との関係により部品有無を判定する識別器を作成してもよい。
　上述した実施形態では、実装装置１０が備える画像処理部３４が部品Ｐの有無を判定したが、これに限られず、管理装置４０の管理制御部４２など、実装装置１０以外に設けられた画像処理装置が部品Ｐの有無を判定してもよい。
　ここで、本開示の画像処理装置は、以下のように構成してもよい。例えば、本開示の画像処理装置において、前記所定範囲は、前記テープが前記キャビティ内の部品を供給する際の供給位置を中心として、部品のサイズに所定のマージンを加えた範囲に定められており、前記特徴量取得部は、前記画像における前記所定範囲を特定サイズに変換し平均化した画像から前記画素の輝度を抽出するものとしてもよい。こうすれば、特定サイズの画像から輝度を抽出するから、画像毎に輝度を抽出する画素数を一定とすることができる。また、特定サイズに変換して平均化した画像から輝度を抽出するから、ノイズの影響を抑えることができる。したがって、特徴量を安定的に取得して、キャビティ内の部品の有無をより精度よく判定することができる。
　本開示の画像処理装置において、処理対象の前記テープの種類を取得するテープ種取得部を備え、前記判定部は、前記テープの種類毎に定められた前記判定用の閾値のうち前記テープ種取得部により取得された前記テープの種類に応じた閾値を用いるものとしてもよい。こうすれば、テープの材質などの違いによる特徴量の変化の影響を抑えて、キャビティ内の部品の有無をさらに精度よく判定することができる。
　本開示の画像処理装置において、供給対象の部品の種類を取得する部品種取得部を備え、前記判定部は、前記部品の種類毎に定められた前記判定用の閾値のうち前記部品種取得部により取得された前記部品の種類に応じた閾値を用いるものとしてもよい。こうすれば、部品の材質や形状などの違いによる特徴量の変化の影響を抑えて、キャビティ内の部品の有無をさらに精度よく判定することができる。
　本開示の画像処理装置において、前記特徴量取得部は、輝度のばらつきを示す値として輝度の分散または標準偏差を取得すると共に分散および標準偏差以外の輝度に関する値を含む複数の前記特徴量を取得し、前記判定部は、複数の前記特徴量を変数として機械学習により定められた前記閾値と、前記画像から取得された複数の前記特徴量とに基づいて、前記キャビティ内の部品の有無を判定するものとしてもよい。こうすれば、キャビティ内の部品の有無の判定精度を高めることができるから、部品の有無を誤判定するのを防止することができる。
　本開示の別の画像処理装置は、供給対象の部品を収納するキャビティが複数設けられたテープの画像を処理する画像処理装置であって、前記画像を用いて前記キャビティの底面と該キャビティ内の部品とが含まれうる所定範囲の画素の輝度を抽出し、抽出した輝度のばらつきを示す値を特徴量として取得する特徴量取得部と、前記キャビティ内に部品が有る場合と部品が無い場合のそれぞれの前記特徴量に基づいて作成された判定用の識別器と、前記画像から取得された前記特徴量とに基づいて、前記キャビティ内の部品の有無を判定する判定部と、を備えることを要旨とする。上述したように、画像から取得される特徴量は、キャビティ内の部品の有無の違いによって同じような傾向が現れる。このため、特徴量に基づいて作成された識別器を用いることで、部品種や撮像条件などが変わっても、キャビティ内の部品の有無を精度よく判定することができる。
　本開示の実装装置は、前記テープを送るフィーダが取り付けられ、供給対象の部品を前記キャビティから採取して実装する実装装置であって、前記テープの画像を撮像する撮像装置と、上述したいずれかの画像処理装置と、を備えることを要旨とする。本開示の実装装置は、上述したいずれかの画像処理装置によりキャビティ内の部品の有無を精度よく判定することができる。このため、キャビティ内に部品が無いのに部品の採取を繰り返すのを防止したり、キャビティ内に部品が無くなってテープの交換タイミングとなったことを適切に判定することができる。
　本開示の画像処理方法は、供給対象の部品を収納するキャビティが複数設けられたテープの画像を処理する画像処理方法であって、（ａ）前記画像を用いて前記キャビティの底面と該キャビティ内の部品とが含まれうる所定範囲の画素の輝度を抽出し、抽出した輝度のばらつきを示す値を特徴量として取得するステップと、（ｂ）前記キャビティ内に部品が有る場合の前記特徴量と前記キャビティ内に部品が無い場合の前記特徴量とに基づいて定められた判定用の閾値と、前記画像から取得された前記特徴量とに基づいて、前記キャビティ内の部品の有無を判定するステップと、を含むことを要旨とする。本開示の画像処理方法では、上述した画像処理装置と同様に、部品種や撮像条件などが変わっても、キャビティ内の部品の有無を精度よく判定することができる。なお、この画像処理方法において、上述した画像処理装置の種々の態様を採用してもよいし、上述した画像処理装置の各機能を実現するようなステップを追加してもよい。
   本発明は、テープに収容された部品を送る供給装置や供給された部品を実装する実装装置などに利用可能である。
　１０　実装装置、１２　基板搬送装置、１４　ヘッド、１５　吸着ノズル、１６　移動機構、１８　マークカメラ、１９　パーツカメラ、２０　フィーダ、２１　モータ、２２　テープ、２３　送り穴、２４　キャビティ、２４ｃ　中心位置、３０　制御装置、３２　駆動制御部、３４　画像処理部、３６　識別器記憶部、３８　識別器、４０　管理装置、４２　管理制御部、４４　入力デバイス、４６　ディスプレイ、４８　記憶部、Ｇ　画像、Ｐ　部品、Ｐｂ　ボディ、Ｐｅ　電極、Ｓ　基板。

Claims (8)

  1. 　供給対象の部品を収納するキャビティが複数設けられたテープの画像を処理する画像処理装置であって、
    　前記画像を用いて前記キャビティの底面と該キャビティ内の部品とが含まれうる所定範囲の画素の輝度を抽出し、抽出した輝度のばらつきを示す値を特徴量として取得する特徴量取得部と、
    　前記キャビティ内に部品が有る場合と部品が無い場合のそれぞれの前記特徴量に基づいて定められた判定用の閾値と、前記画像から取得された前記特徴量とに基づいて、前記キャビティ内の部品の有無を判定する判定部と、
    　を備える画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記所定範囲は、前記テープが前記キャビティ内の部品を供給する際の供給位置を中心として、部品のサイズに所定のマージンを加えた範囲に定められており、
    　前記特徴量取得部は、前記画像における前記所定範囲を特定サイズに変換し平均化した画像から前記画素の輝度を抽出する
    　画像処理装置。
  3. 　請求項１または２に記載の画像処理装置であって、
    　処理対象の前記テープの種類を取得するテープ種取得部を備え、
    　前記判定部は、前記テープの種類毎に定められた前記判定用の閾値のうち前記テープ種取得部により取得された前記テープの種類に応じた閾値を用いる
    　画像処理装置。
  4. 　請求項１ないし３のいずれか１項に記載の画像処理装置であって、
    　供給対象の部品の種類を取得する部品種取得部を備え、
    　前記判定部は、前記部品の種類毎に定められた前記判定用の閾値のうち前記部品種取得部により取得された前記部品の種類に応じた閾値を用いる
    　画像処理装置。
  5. 　請求項１ないし４のいずれか１項に記載の画像処理装置であって、
    　前記特徴量取得部は、輝度のばらつきを示す値として輝度の分散または標準偏差を取得すると共に分散および標準偏差以外の輝度に関する値を含む複数の前記特徴量を取得し、
    　前記判定部は、複数の前記特徴量を変数として機械学習により定められた前記閾値と、前記画像から取得された複数の前記特徴量とに基づいて、前記キャビティ内の部品の有無を判定する
    　画像処理装置。
  6. 　供給対象の部品を収納するキャビティが複数設けられたテープの画像を処理する画像処理装置であって、
    　前記画像を用いて前記キャビティの底面と該キャビティ内の部品とが含まれうる所定範囲の画素の輝度を抽出し、抽出した輝度のばらつきを示す値を特徴量として取得する特徴量取得部と、
    　前記キャビティ内に部品が有る場合と部品が無い場合のそれぞれの前記特徴量に基づいて作成された判定用の識別器と、前記画像から取得された前記特徴量とに基づいて、前記キャビティ内の部品の有無を判定する判定部と、
    　を備える画像処理装置。
  7. 　前記テープを送るフィーダが取り付けられ、供給対象の部品を前記キャビティから採取して実装する実装装置であって、
    　前記テープの画像を撮像する撮像装置と、
    　請求項１ないし６のいずれか１項に記載の画像処理装置と、
    　を備える実装装置。
  8. 　供給対象の部品を収納するキャビティが複数設けられたテープの画像を処理する画像処理方法であって、
    　（ａ）前記画像を用いて前記キャビティの底面と該キャビティ内の部品とが含まれうる所定範囲の画素の輝度を抽出し、抽出した輝度のばらつきを示す値を特徴量として取得するステップと、
    　（ｂ）前記キャビティ内に部品が有る場合と部品が無い場合のそれぞれの前記特徴量に基づいて定められた判定用の閾値と、前記画像から取得された前記特徴量とに基づいて、前記キャビティ内の部品の有無を判定するステップと、
    　を含む画像処理方法。
PCT/JP2020/015873 2020-04-08 2020-04-08 画像処理装置および実装装置、画像処理方法 WO2021205578A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2022513778A JP7298017B2 (ja) 2020-04-08 2020-04-08 画像処理装置および実装装置、画像処理方法
US17/995,633 US20230217636A1 (en) 2020-04-08 2020-04-08 Image processing device, mounting device, and image processing method
EP20930555.6A EP4135503A4 (en) 2020-04-08 2020-04-08 IMAGE PROCESSING DEVICE, MOUNTING DEVICE AND IMAGE PROCESSING METHOD
PCT/JP2020/015873 WO2021205578A1 (ja) 2020-04-08 2020-04-08 画像処理装置および実装装置、画像処理方法
CN202080097703.4A CN115211245A (zh) 2020-04-08 2020-04-08 图像处理装置及安装装置、图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/015873 WO2021205578A1 (ja) 2020-04-08 2020-04-08 画像処理装置および実装装置、画像処理方法

Publications (1)

Publication Number Publication Date
WO2021205578A1 true WO2021205578A1 (ja) 2021-10-14

Family

ID=78023605

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/015873 WO2021205578A1 (ja) 2020-04-08 2020-04-08 画像処理装置および実装装置、画像処理方法

Country Status (5)

Country Link
US (1) US20230217636A1 (ja)
EP (1) EP4135503A4 (ja)
JP (1) JP7298017B2 (ja)
CN (1) CN115211245A (ja)
WO (1) WO2021205578A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023100247A1 (ja) * 2021-11-30 2023-06-08 株式会社Fuji 検査装置および検査方法
WO2023195173A1 (ja) * 2022-04-08 2023-10-12 株式会社Fuji 部品実装システム及び画像分類方法
WO2023248281A1 (ja) * 2022-06-20 2023-12-28 株式会社Fuji 検査装置、実装装置および検査方法
WO2024009410A1 (ja) * 2022-07-05 2024-01-11 株式会社Fuji 部品有無判定方法および画像処理システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014072409A (ja) 2012-09-28 2014-04-21 Juki Corp 部品検査方法及び装置
JP2016127217A (ja) * 2015-01-08 2016-07-11 パナソニックＩｐマネジメント株式会社 電子部品供給装置ならびに電子部品供給装置における部品供給テープの処理方法
WO2016203628A1 (ja) * 2015-06-18 2016-12-22 富士機械製造株式会社 テープ切断処理装置および処理方法
JP2019036015A (ja) * 2017-08-10 2019-03-07 ヤマハ発動機株式会社 表面実装機

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6903360B2 (en) * 2002-10-16 2005-06-07 Agilent Technologies, Inc. Method for detecting missing components at electrical board test using optoelectronic fixture-mounted sensors
DE102004011327B3 (de) * 2004-03-09 2005-11-10 S-Y Systems Technologies Europe Gmbh Vorrichtung und Verfahren zum Bestimmen, ob ein Bauteil fehlt.
JP5443894B2 (ja) * 2009-08-21 2014-03-19 Ｊｕｋｉ株式会社 電子部品実装装置及びその吸着位置補正方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014072409A (ja) 2012-09-28 2014-04-21 Juki Corp 部品検査方法及び装置
JP2016127217A (ja) * 2015-01-08 2016-07-11 パナソニックＩｐマネジメント株式会社 電子部品供給装置ならびに電子部品供給装置における部品供給テープの処理方法
WO2016203628A1 (ja) * 2015-06-18 2016-12-22 富士機械製造株式会社 テープ切断処理装置および処理方法
JP2019036015A (ja) * 2017-08-10 2019-03-07 ヤマハ発動機株式会社 表面実装機

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4135503A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023100247A1 (ja) * 2021-11-30 2023-06-08 株式会社Fuji 検査装置および検査方法
WO2023195173A1 (ja) * 2022-04-08 2023-10-12 株式会社Fuji 部品実装システム及び画像分類方法
WO2023248281A1 (ja) * 2022-06-20 2023-12-28 株式会社Fuji 検査装置、実装装置および検査方法
WO2024009410A1 (ja) * 2022-07-05 2024-01-11 株式会社Fuji 部品有無判定方法および画像処理システム

Also Published As

Publication number Publication date
EP4135503A4 (en) 2023-06-07
EP4135503A1 (en) 2023-02-15
JP7298017B2 (ja) 2023-06-26
JPWO2021205578A1 (ja) 2021-10-14
CN115211245A (zh) 2022-10-18
US20230217636A1 (en) 2023-07-06

Similar Documents

Publication Publication Date Title
WO2021205578A1 (ja) 画像処理装置および実装装置、画像処理方法
CN107048599B (zh) 自动化的斯创贝尔印刷
EP3751976B1 (en) System for creating learned model for component image recognition, and method for creating learned model for component image recognition
JP6021560B2 (ja) 部品検査方法及び装置
WO2016147331A1 (ja) 部品供給装置
CN113196337B (zh) 图像处理装置、作业机器人、基板检查装置及检体检查装置
US20160029521A1 (en) Component mounting apparatus and component mounting method
JP2007067187A (ja) 電子部品装着装置
WO2019123527A1 (ja) 実装装置、検出装置及び検出方法
US10932401B2 (en) Component mounting machine
WO2017068638A1 (ja) 画像処理装置および部品実装機
CN114788436B (zh) 元件安装机
JP2009076796A (ja) 電子部品向き検査装置及び電子部品向き検査方法並びに電子部品装着機
WO2022044075A1 (ja) 画像処理装置および実装装置、画像処理方法
WO2022149264A1 (ja) 部品有無検出装置、部品有無検出装置の学習方法及び部品実装機
WO2022107188A1 (ja) 画像処理装置、および散在部品の識別方法
WO2021090395A1 (ja) 画像処理装置、部品実装システムおよび画像処理方法
JPWO2018055757A1 (ja) 照明条件特定装置及び照明条件特定方法
CN109644585B (zh) 元件安装装置及位置识别方法
JP6707403B2 (ja) 実装関連処理装置
WO2023195173A1 (ja) 部品実装システム及び画像分類方法
JP2020204830A (ja) マーク認識装置及びそれを備えた処理装置
JP2018041880A (ja) 部品供給装置
WO2021166230A1 (ja) 画像処理装置および実装装置、画像処理方法
JP2019204185A (ja) 画像処理装置、ロボット、及び、ロボットシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20930555

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022513778

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020930555

Country of ref document: EP

Effective date: 20221108