WO2024009410A1 - 部品有無判定方法および画像処理システム - Google Patents

部品有無判定方法および画像処理システム Download PDF

Info

Publication number
WO2024009410A1
WO2024009410A1 PCT/JP2022/026767 JP2022026767W WO2024009410A1 WO 2024009410 A1 WO2024009410 A1 WO 2024009410A1 JP 2022026767 W JP2022026767 W JP 2022026767W WO 2024009410 A1 WO2024009410 A1 WO 2024009410A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
target
effective
parts
feature
Prior art date
Application number
PCT/JP2022/026767
Other languages
English (en)
French (fr)
Inventor
雄哉 稲浦
貴紘 小林
幹也 鈴木
一也 小谷
Original Assignee
株式会社Fuji
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Fuji filed Critical 株式会社Fuji
Priority to PCT/JP2022/026767 priority Critical patent/WO2024009410A1/ja
Publication of WO2024009410A1 publication Critical patent/WO2024009410A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/02—Feeding of components

Definitions

  • This specification discloses a component presence/absence determination method and an image processing system.
  • Patent Document 1 discloses that an image processing device that processes an image of a tape extracts the brightness of the tape image in a predetermined range including the cavity, and acquires a value indicating the variation in the extracted brightness as a feature quantity.
  • a method has been disclosed in which it is determined whether or not there is a component in the cavity by comparing the feature amount and a threshold value.
  • a threshold value is set for each type of tape and each type of parts, the type of tape and the type of parts to be processed are acquired, and the parts in the cavity are processed using the threshold value according to the type.
  • a threshold value is determined by machine learning using multiple types of feature quantities (5 feature quantities: maximum luminance, minimum luminance, average luminance, contrast, and luminance variance) including luminance variance and standard deviation as variables.
  • feature quantities maximum luminance, minimum luminance, average luminance, contrast, and luminance variance
  • luminance variance and standard deviation as variables.
  • the main purpose of the present disclosure is to determine the presence or absence of a component in a cavity from an image of a tape with good accuracy, regardless of the feeder or component type.
  • the present disclosure has taken the following measures to achieve the above-mentioned main objective.
  • the component presence/absence determination method disclosed herein is as follows: A component presence/absence determination method for determining whether or not a component is present in the cavity from an image of the tape in a feeder that supplies a tape provided with a plurality of cavities for accommodating components, the method comprising: For each feeder or for each part type, multiple types of feature quantities are extracted from the part-present image in which there is a part in the cavity and the part-free image in which there is no part in the cavity, and based on the extracted plurality of feature quantities.
  • one of the multiple types of feature quantities that is effective for determination is selected based on the multiple types of feature quantities extracted from the component presence image and the component absence image. Select at least three feature types. Then, in determining whether or not there is a target part in the cavity of the target feeder, the determination is made using the feature amount of the type selected for the part type of the target feeder or target part. This makes it possible to determine the presence or absence of a component within the cavity from the tape image with good accuracy, regardless of the feeder or component type.
  • the image processing system of the present disclosure can achieve the same effects as the component presence/absence determination method of the present disclosure.
  • FIG. 1 is a schematic configuration diagram of a component mounting machine. It is a partially enlarged view of a mark camera and a feeder.
  • FIG. 2 is a schematic configuration diagram of a mark camera.
  • FIG. 2 is a block diagram showing an electrical connection relationship between a component mounting machine and a management device.
  • 3 is a flowchart illustrating an example of pre-judgment processing performed by an image processing unit.
  • FIG. 7 is an explanatory diagram showing the minimum brightness of an image with a component and an image without a component in side emission of R light.
  • FIG. 7 is an explanatory diagram showing the contrast between an image with a component and an image without a component when the B light is fully turned on.
  • FIG. 7 is an explanatory diagram showing the maximum brightness of an image with a component and an image without a component when G light is incidentally irradiated.
  • FIG. 7 is an explanatory diagram showing the average luminance of an image with a component and an image without a component when R light is incidentally irradiated.
  • FIG. 3 is an explanatory diagram showing an example of determination information for each feeder.
  • 5 is a flowchart illustrating an example of a component presence/absence determination process executed by an image processing unit.
  • FIG. 1 is a schematic configuration diagram of the component mounting machine 10.
  • FIG. 2 is a partially enlarged view of the mark camera 20 and the feeder 30.
  • FIG. 3 is a schematic configuration diagram of the mark camera 20.
  • FIG. 4 is a block diagram showing the electrical connection relationship between the component mounter 10 and the management device 60.
  • the left-right direction in FIG. 1 is the X-axis direction
  • the front (front) and rear (rear) directions are the Y-axis direction, which is approximately perpendicular to the X-axis direction
  • the vertical direction is the X-axis direction and the Y-axis direction (horizontal plane). This is the Z-axis direction which is approximately perpendicular to .
  • the component mounting machine 10 takes out components from the feeder 30 and mounts them on the board S, and as shown in FIG. , a parts camera 18, a mark camera 20, a feeder 30, and a control device 40 (see FIG. 4).
  • a plurality of component mounting machines 10 are arranged side by side in the board transport direction to constitute a component mounting line.
  • the component mounting line is managed by a management device 50 (see FIG. 4).
  • the substrate transfer device 12 is installed on the base 11.
  • the substrate conveyance device 12 includes a pair of conveyor belts that are spaced apart from each other in the front and back (in the Y-axis direction) and spanned from side to side (in the X-axis direction).
  • the substrate S is conveyed from left to right in FIG. 1 by driving a conveyor belt.
  • the feeders 30 are attached to a feeder stand installed on the base 11 so as to be lined up in the left-right direction (X-axis direction).
  • the feeder 30 includes a reel wound with a tape 32 that accommodates parts.
  • the tape 32 has a plurality of cavities 34 and sprocket holes 33 formed at equal intervals along its longitudinal direction.
  • Each cavity 34 accommodates a component.
  • These parts are protected by a film covering the surface of the tape 32.
  • the components in the cavity 34 are exposed at the component supply position by peeling off the film before the component supply position, and are picked up (adsorbed) by the mounting head 14 .
  • the mounting head 14 includes a holder that holds the suction nozzle 15 and a lifting device that lifts and lowers the holder.
  • the suction nozzle 15 has a suction port at its tip, and can suction components using negative pressure supplied to the suction port from a negative pressure source (not shown).
  • the mounting head 14 may be a head provided with a single suction nozzle 15, or may be a rotary head provided with a plurality of suction nozzles 15 equally spaced along the outer periphery of a cylindrical head main body.
  • a mechanical chuck or an electromagnetic chuck may be used as the member for holding the component.
  • the head moving device 16 moves the mounting head 14 back and forth and left and right (XY axis directions).
  • the head moving device 16 includes an X-axis slider 16a and a Y-axis slider 16b.
  • the X-axis slider 16a is supported by an X-axis guide rail provided to extend left and right (in the X-axis direction) with respect to the Y-axis slider 16b, and can be moved left and right by driving the X-axis motor.
  • the Y-axis slider 16b is supported by a Y-axis guide rail provided so as to extend back and forth (in the Y-axis direction), and can be moved left and right by driving the Y-axis motor.
  • a mounting head 14 is attached to the X-axis slider 16a. Therefore, the mounting head 14 can be moved along the XY plane (horizontal plane) by driving and controlling the head moving device 16 (X-axis slider 16a and Y-axis slider 16b).
  • the parts camera 18 is installed on the base 11.
  • the parts camera 18 images the part from below when the part sucked by the suction nozzle 15 passes above the parts camera 18, and outputs the captured image to the control device 40 (see FIG. 4).
  • the mark camera 20 is provided on the X-axis slider 16a (or the mounting head 14), and is moved back and forth and left and right (XY-axis directions) together with the mounting head 14 by the head moving device 16.
  • the mark camera 20 images the object to be imaged from above and outputs the captured image to the control device 40 (see FIG. 4).
  • Examples of the object to be imaged include a mark attached to the substrate S, a tape 32 (cavity 34) fed out by the feeder 30, a component mounted on the substrate S, and the like.
  • the mark camera 20 includes an illumination section 21, a lens 25, and an imaging section 26.
  • the illumination unit 21 includes a side illumination unit 22 and an epi-illumination unit (coaxial epi-illumination unit) 23.
  • the side illumination unit 22 illuminates the object obliquely.
  • the side illumination unit 22 includes a plurality of light sources of different colors, for example, a red LED 22r that emits monochromatic light of R (red), a green LED 22g that emits monochromatic light of G (green), and a monochromatic light of B (blue). It has a blue LED 22b that emits light.
  • a plurality of each of the LEDs 22r, 22g, and 22b are arranged in a ring shape around the lens 25 when viewed from above.
  • the epi-illumination unit 23 illuminates the object from the same direction as the optical axis of the lens 25.
  • the epi-illumination unit 23 irradiates a half mirror 24 that is arranged at an angle of 45 degrees with respect to the optical axis of the lens 25 and the half mirror 24 in a direction perpendicular to the optical axis of the lens 25 (horizontal direction).
  • the light source of the epi-illumination unit 23 includes a plurality of light sources of different colors, for example, a red LED 23r that emits monochromatic light of R (red), a green LED 23g that emits monochromatic light of G (green), and a blue LED 23g of B (blue). It has a blue LED 23b that emits monochromatic light.
  • the illumination unit 21 has a side illumination pattern in which light is emitted only from the side illumination unit 22, an epi-illumination pattern in which light is emitted only from the epi-illumination unit 23, and a side-illumination pattern in which light is emitted only from the epi-illumination unit 23, and a side-illumination pattern in which light is emitted only from the side-illumination unit 22 and epi-illumination. It has a full lighting irradiation pattern in which light is irradiated from both sides of the illumination section 23.
  • the illumination unit 21 has a red light irradiation pattern that irradiates R light in side illumination, epi-illumination, and full lighting, a green light irradiation pattern that irradiates G light, and a blue light irradiation pattern that irradiates B color light.
  • An irradiation pattern is a red light irradiation pattern that irradiates R light in side illumination, epi-illumination, and full lighting.
  • a green light irradiation pattern that irradiates G light
  • a blue light irradiation pattern that irradiates B color light.
  • An irradiation pattern An irradiation pattern.
  • the imaging unit 26 includes a monochrome image sensor (for example, a monochrome CCD) that generates a monochromatic image based on the received light.
  • the imaging unit 26 receives the light emitted from the side illumination unit 22 and the epi-illumination unit 23 and reflected by the object via the half mirror 24 to generate a captured image.
  • the control device 40 includes a CPU 42, a ROM 44, a RAM 46, a storage section 48 such as a hard disk or a solid state drive, an input/output port and a communication port (not shown), and controls each drive section of the component mounter 10, and controls the parts camera 18 and the like. It processes images captured by the mark camera 20.
  • the control device 40 outputs various control signals to the feeder 30, the substrate transport device 12, the mounting head 14, the head moving device 16, the parts camera 18, the mark camera 20, and the like.
  • the control device 40 also inputs detection signals from various sensors including a position sensor that detects the position of the mounting head 14, and inputs image signals from the parts camera 18 and mark camera 20. Further, the control device 40 is connected to a management device 50 that manages a component mounting line including the component mounting machine 10 for bidirectional communication via a communication network, and exchanges data and control signals with each other.
  • the management device 50 is a general-purpose computer, and as shown in FIG. A storage unit 58 such as a solid state drive is provided.
  • the storage unit 58 stores a production schedule for the substrate S.
  • the production schedule defines which components are to be mounted on which boards in the component mounting machine 10, and how many boards with the components mounted thereon are to be produced.
  • the management device 50 instructs the control device 40 of the component mounting machine 10 to produce a board S on which components are mounted according to the production schedule.
  • the feeder 30 to which the target component to be mounted determines the characteristics of the component presence image necessary for executing the component presence/absence determination process, which will be described later. It is determined whether pre-judgment processing for acquiring the quantity and the feature quantity of the part-free image has been executed.
  • the component presence image is an image generated by capturing an image of the tape 32 with the component accommodated in the cavity 34 using the mark camera 20.
  • the component-free image is an image generated by capturing an image of the tape 32 with no components accommodated in the cavity 34 using the mark camera 20.
  • the feature quantity is a quantity that characterizes the image, and is used to determine the presence or absence of a part.
  • the pre-judgment process is executed for each feeder 30.
  • the control device 40 executes the pre-judgment process.
  • the CPU 42 executes a component presence/absence determination process to determine whether or not there is a component in the cavity 34 of the tape 32 fed from the target feeder 30. If the CPU 42 determines that there are no parts in the cavity 34, it determines that the target feeder 30 is out of parts, and outputs an error.
  • the feeder 30 that has run out of parts is collected and replaced by an operator or an automatic replacement robot (not shown).
  • the CPU 42 determines that there is a component in the cavity 34, it performs a suction operation to cause the suction nozzle 15 to suction the component supplied from the target feeder 30.
  • the control device 40 controls the head moving device 16 to move the mounting head 14 directly above the component supply position of the target feeder 30.
  • a lifting device (not shown) is controlled to lower the suction nozzle 15, and a negative pressure source (not shown) is controlled to supply negative pressure to the suction nozzle 15.
  • the component is attracted to the tip of the suction nozzle 15.
  • control device 40 raises the suction nozzle 15 and controls the head moving device 16 to move the suction nozzle 15 that has suctioned the component above the target mounting position of the substrate S. Then, the control device 40 controls a positive pressure source (not shown) so that the suction nozzle 15 is lowered and atmospheric pressure is supplied to the suction nozzle 15. As a result, the component that was being attracted by the suction nozzle 15 is separated from the suction nozzle 15 and mounted on the substrate S.
  • FIG. 5 is a flowchart illustrating an example of pre-determination processing executed by the CPU 42 of the control device 40.
  • the CPU 42 first determines whether or not the suction operation is yet to be performed for the target feeder 30 (S100). If the CPU 42 determines that the suction operation has not yet been executed, the mark camera 20 captures an image of the tape 32 (cavity 34) fed out from the target feeder 30 and before the component is taken out by the suction operation as a component presence image. The mark camera 20 is controlled (S110). The image with the component is captured multiple times while changing the imaging conditions (side illumination, epi-illumination, and illumination patterns of combinations of full lighting and R, G, and B color lights).
  • the pre-judgment process is performed after production has started and before the first suction operation is performed on the target feeder 30, so that there are no parts accommodated in the cavity 34 of the tape 32 fed from the target feeder 30.
  • the image taken of the tape 32 can be determined to be an image with parts present. Note that the operator may visually check whether the image contains parts or not.
  • the CPU 42 determines whether the suction operation has been performed (S120).
  • the CPU 42 captures an image of the tape 32 (cavity 34) sent to the target feeder by the mark camera 20 and from which parts have been taken out by the suction operation, as a component-free image.
  • the mark camera 20 is controlled (S130). Similar to the part-present image, the component-free image is captured multiple times while changing the imaging conditions (side illumination, epi-illumination, and illumination patterns of combinations of full lighting and R, G, and B color lights). Note that the operator may visually check whether the image is a part-free image.
  • the parts camera 18 or the like is used to image the tip of the suction nozzle 15 after the suction operation has been performed, and the suction This may be done by checking whether or not the nozzle 15 has attracted the component.
  • the CPU 42 When the CPU 42 captures images with a component and images without a component multiple times under different imaging conditions, the CPU 42 executes multiple sets of the above imaging operation each time a suction operation is performed on the same target feeder 30 (S100). ⁇ S140). As a result, a plurality of images with parts and images without parts are acquired for each imaging condition. Note that the number of sets can be set as appropriate by the operator. Further, the CPU 42 may execute only one set of the above imaging operations. That is, the CPU 42 may acquire one image with a component and one image without a component for each imaging condition.
  • the CPU 42 extracts a plurality of types of feature amounts from the images with parts and images without parts for each imaging condition for the target feeder 30 (S150).
  • this is performed by calculating a plurality of types of feature amounts based on the acquired luminance.
  • the plurality of types of feature amounts include maximum brightness, minimum brightness, average brightness, contrast, variance, and standard deviation. Contrast can be determined, for example, by the ratio of maximum brightness to minimum brightness.
  • the variance can be determined by dividing the sum of the squares of the deviations between the brightness of each pixel and the average brightness by the number of pixels.
  • the CPU 42 calculates the ratio (feature ratio) obtained by dividing the larger of the feature amounts of the image with parts and the feature amount of the image without parts by the smaller one. Calculate (S160). Subsequently, the CPU 42 selects the combination with the maximum feature amount ratio among the various combinations of imaging conditions and feature amounts as an effective combination effective for determining the presence or absence of a component (S170). Note that the feature amount ratio may be calculated as a ratio obtained by dividing the smaller one of the feature amount of the image with parts and the feature amount of the image without parts by the larger one. In this case, in the determination in S170, the combination with the minimum feature amount ratio may be selected as the effective combination. Then, the CPU 42 registers the imaging condition and the feature amount in the effective combination in the storage unit 48 in association with the target feeder 30 as the effective imaging condition and the effective feature amount (S180), and ends the determination preprocessing.
  • the ratio feature ratio obtained by dividing the larger of the feature amounts of the image with parts and the feature amount of the image without parts by the smaller one
  • FIG. 6 shows the minimum brightness of an image with parts and an image without parts in R-light side emission.
  • FIG. 7 shows the contrast between an image with parts and an image without parts when the B light is fully turned on.
  • FIG. 8 shows the maximum brightness of an image with parts and an image without parts when G light is reflected.
  • FIG. 9 shows the average brightness of an image with a component and an image without a component when R light is incidentally illuminated.
  • the feature ratio is defined as the minimum value (C0 in the figure) of the feature amounts extracted from a plurality of component-free images captured under the same imaging conditions. It was determined by dividing by the maximum value (C1 in the figure) of the feature amounts extracted from a plurality of images with parts captured under the same imaging conditions. Note that if there is one image with parts and one image without parts that were captured under the same imaging conditions, the feature amount ratio is the feature amount extracted from one image without parts. It can be obtained by dividing by the feature quantity extracted from the image with one part captured in . In the examples shown in FIGS.
  • the combination of the imaging condition and the type of feature amount with the largest feature amount ratio is the combination where the type of imaging condition is R-light side emission and the type of feature amount is the minimum brightness (see FIG. reference).
  • the R-light side emission becomes the effective imaging condition
  • the minimum brightness becomes the effective feature quantity
  • these pieces of information are registered in the storage unit 48 as determination information 49 in association with the target feeder 30.
  • An example of the determination information 49 for each feeder is shown in FIG.
  • the determination information 49 is created for each feeder 30, and is registered in the storage unit 48 in association with identification information (feeder number) for identifying the feeder 30, as shown.
  • FIG. 11 is a flowchart illustrating an example of a component presence/absence determination process executed by the CPU 42 of the control device 40.
  • the CPU 42 first determines whether or not effective imaging conditions and effective feature amounts have been registered in the storage unit 48 (determination information 49) for the target feeder 30 that supplies the target component. (S200). If the CPU 42 determines that the effective imaging conditions and effective feature amounts have not been registered for the target feeder 30, the CPU 42 ends the component presence/absence determination process.
  • the CPU 42 determines whether or not the suction operation is yet to be executed (S210).
  • the CPU 42 refers to the feeder-specific determination information 49 stored in the storage unit 48 and acquires the effective imaging conditions corresponding to the target feeder 30 (S220). .
  • the CPU 42 controls the mark camera 20 to irradiate light from the illumination unit 21 under the acquired effective imaging conditions to capture an image of the tape 32 (cavity 34) of the target feeder 30 (S230).
  • the CPU 42 determines the presence or absence of a component within the cavity 34 based on the image of the cavity 34 (image to be determined) captured in S230.
  • the CPU 42 refers to the feeder-specific determination information 49 to acquire the type of effective feature amount corresponding to the target feeder 30 (S240), and from the captured image of the determination target, the type of effective feature amount acquired in S240. Effective features are extracted (S250). Subsequently, the CPU 42 refers to the feeder-specific determination information 49 and obtains the effective feature amount of each of the parts present image and the parts absent image corresponding to the target feeder 30 (S260), and Similarity determination is made to determine whether the effective feature is similar to the effective feature of the image with parts or the effective feature of the image without parts (S270). The similarity determination can be performed, for example, as follows.
  • the CPU 42 calculates the length of the distance between two points when the effective feature amount of the image to be determined and the effective feature amount of the image with parts are displayed as points on two-dimensional coordinates. Similarly, the CPU 42 determines the length of the distance between two points when the effective feature amount of the image to be determined and the effective feature amount of the image without parts are displayed as points on two-dimensional coordinates. Next, the CPU 42 compares the lengths of the two point-to-point distances. Then, the CPU 42 determines that the length of the two-point distance between the effective feature amount of the image to be determined and the effective feature amount of the image with parts is the same as the effective feature amount of the image to be determined and the effective feature amount of the image without parts.
  • the image to be determined is determined to be similar to the image with parts.
  • the CPU 42 determines that the length of the two-point distance between the effective feature amount of the image to be determined and the effective feature amount of the image without parts is the same as the effective feature amount of the image to be determined and the effective feature amount of the image with parts. If it is shorter than the distance between points, the image to be determined is determined to be similar to the component-free image.
  • the CPU 42 determines that the image to be determined is similar to the component presence image, it determines that there is a component in the cavity 34 (S290), moves to suction operation (S300), and ends the component presence determination process. do. On the other hand, if the CPU 42 determines that the image to be determined is similar to the component-free image, it determines that there is no component in the cavity 34 (S310), and outputs an error without proceeding to the suction operation (S310). S320), the parts presence/absence determination process ends.
  • the degree of light reflection differs depending on the feeder 30 due to differences in lots, scratches due to use over time, etc. in images with parts and images without parts. The way the image appears may change.
  • the type of feature amount the feature amounts obtained in the image with the component and the image without the component may be similar, making it difficult to determine the presence or absence of the component.
  • the CPU 42 selects the type of feature amount that has the largest ratio (feature ratio) between the feature amount of the image with parts and the feature amount of the image without parts among the plurality of types of feature amounts. It is registered in advance as an effective feature quantity that is effective for determining presence/absence. Thereby, it is possible to extract the optimum type of feature amount from the image of the tape 32 for each feeder 30, and it is possible to determine the presence or absence of parts from the image of the tape 32 with good accuracy.
  • the CPU 42 of the control device 40 that executes the determination preprocessing of the embodiment corresponds to the selection unit of the present disclosure
  • the storage unit 48 of the control device 40 corresponds to the storage unit
  • the control device 40 that executes the component presence/absence determination process corresponds to the selection unit of the present disclosure.
  • the CPU 42 corresponds to the determination section.
  • the CPU 42 selects an irradiation pattern effective for determination from among a plurality of types of irradiation patterns as the imaging condition for the image used for determining the presence or absence of a component.
  • the CPU 42 may select an imaging condition that is effective for determination from among multiple types of imaging conditions, such as selecting a shutter speed that is effective for determination from among a plurality of different shutter speeds.
  • the CPU 42 may omit selection of effective imaging conditions for each feeder 30 and apply common imaging conditions to all feeders 30.
  • the CPU 42 selects a feature amount (effective feature amount).
  • an effective feature amount from among multiple types of feature amounts, for example, maximum brightness, minimum brightness, and average brightness
  • the CPU 42 selects the difference between the feature amount of the image with parts and the feature amount of the image without parts. The feature with the largest value may be selected as the effective feature.
  • the CPU 42 selects one effective feature amount effective for determination from among multiple types of feature amounts, but it is also possible to select two or more effective feature amounts.
  • the CPU 42 determines, for example, that among the plurality of types of feature amounts, the ratio of the feature amount of the image with parts to the feature amount of the image without parts is within a predetermined range (for example, the ratio of the feature amount of the image with parts to the image without parts).
  • a feature quantity whose value obtained by dividing the larger one by the smaller one is equal to or greater than a predetermined value may be selected as the effective feature quantity.
  • the CPU 42 may select, for example, a feature amount in which the difference between the feature amount of the image with parts and the feature amount of the image without parts is equal to or greater than a predetermined value as the effective feature amount. Note that when determining the presence or absence of a component using two or more effective feature quantities, the CPU 42 uses each of the two or more effective feature quantities to determine the similarity of the image to be determined with respect to the image with the part and the image without the part. The presence or absence of parts may be determined based on the results of each similarity determination.
  • the component presence/absence determination method of the present disclosure for each feeder or for each component type, based on the multiple types of feature amounts extracted from the component presence image and the component no image, Select one or more types of feature amounts that are effective for determination. Then, in determining whether or not there is a target part in the cavity of the target feeder, the determination is made using the feature amount of the type selected for the part type of the target feeder or target part. This makes it possible to determine the presence or absence of a component within the cavity from the tape image with good accuracy, regardless of the feeder or component type.
  • the type of feature amount effective for the determination may be selected based on a ratio or difference between the feature amount of the image with the component and the feature amount of the image without the component.
  • a plurality of images with parts and a plurality of images without parts are acquired, and two points closest to each other among the feature quantities of the plurality of images with parts and the feature quantities of the plurality of images without parts are obtained.
  • the type of feature amount effective for the determination may be selected based on the ratio or difference. In this way, a feature quantity effective for determination can be selected from a plurality of types of feature quantities for each feeder or for each component type by simple processing.
  • the component presence image and the component absent image are captured under a plurality of types of imaging conditions for each feeder or component type, and the captured component presence image and the component absent image are captured. extracting a plurality of types of feature quantities from each, and selecting a combination of one or more imaging conditions and types of feature quantities that are effective for the determination from among the combinations of the plurality of types of imaging conditions and the plurality of types of feature quantities.
  • the selected combination is stored in advance as a valid combination, and when determining whether or not there is a target part in the cavity of the target feeder that is the target of determination among the plurality of feeders, the target feeder or the target part is An image of the cavity is captured using an effective combination of the selected component types, and the effective feature amount is extracted from the captured image, and each of the extracted effective feature amount and the pre-stored image with the component and the image without the component are captured. It may be determined whether the target part is present in the cavity of the target feeder based on the corresponding effective feature quantity. In this way, by selecting effective imaging conditions in addition to effective feature amounts, it is possible to determine the presence or absence of parts within the cavity from the image of the tape with even better accuracy.
  • the present disclosure described above is not limited to the form of a component presence/absence determination method, but may be in the form of an image processing system including the control device 40 that executes prejudgment processing and component presence/absence determination processing.
  • the present disclosure can be used in the manufacturing industry of image processing systems, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Analysis (AREA)

Abstract

部品有無判定方法は、フィーダ毎または部品種毎に、部品有り画像と部品無し画像とからそれぞれ複数種類の特徴量を抽出し、抽出した複数種類の特徴量に基づいて複数種類の特徴量の中から判定に有効な一つ以上の特徴量の種類を選択し、選択した種類の特徴量を有効特徴量として予め記憶する。そして、複数のフィーダのうち判定対象である対象フィーダのキャビティ内に対象部品が有るか否かを判定するにあたり、対象フィーダのテープの画像を取得し、取得した画像から対象フィーダまたは対象部品の部品種について選択した種類の有効特徴量を抽出し、抽出した有効特徴量と予め記憶した部品有り画像および部品無し画像のそれぞれの対応する有効特徴量とに基づいて対象フィーダのキャビティ内に対象部品が有るか否かを判定する。

Description

部品有無判定方法および画像処理システム
　本明細書は、部品有無判定方法および画像処理システムについて開示する。
　従来、部品を収容するキャビティが複数設けられたテープを供給するフィーダにおいて、テープの画像からキャビティ内に部品が有るか否かを判定するものが知られている。例えば、特許文献１には、テープの画像を処理する画像処理装置において、テープの画像のキャビティを含む所定範囲の輝度を抽出し、抽出した輝度のばらつきを示す値を特徴量として取得し、取得した特徴量と閾値とを比較してキャビティ内に部品が有るか否かを判定するものが開示されている。また、特許文献１には、テープの種類毎や部品の種類毎に閾値を定め、処理対象のテープの種類や部品の種類を取得して、その種類に応じた閾値を用いてキャビティ内の部品の有無を判定することも開示されている。さらに、特許文献１には、輝度の分散や標準偏差を含む複数種類の特徴量（最大輝度、最小輝度、平均輝度、コントラストおよび輝度分散の５つの特徴量）を変数として機械学習により閾値を定め、処理対象のテープの画像から抽出される複数種類の特徴量と閾値とに基づいてキャビティ内の部品の有無を判定することも開示されている。
国際公開第２０２１／２０５５７８号公報
　フィーダには、例えばロットの違いや経年使用による傷等によって個体差が生じるため、フィーダ毎に判定に有効な特徴量が異なる場合がある。この場合、特許文献１に記載のものでは、フィーダの個体差によっては、テープの画像から適切でない種類の特徴量が抽出されて部品の有無が判定される結果、部品の有無を誤判定するおそれが生じる。こうした問題は、部品種によっても同様に生じうる。
　本開示は、フィーダや部品種に拘わらず、良好な精度をもってテープの画像からキャビティ内の部品の有無を判定することを主目的とする。
　本開示は、上述の主目的を達成するために以下の手段を採った。
　本開示の部品有無判定方法は、
　部品を収容するキャビティが複数設けられたテープを供給するフィーダにおいて、前記テープの画像から前記キャビティ内に部品が有るか否かを判定する部品有無判定方法であって、
　フィーダ毎または部品種毎に、前記キャビティ内に部品が有る部品有り画像と前記キャビティ内に部品が無い部品無し画像とからそれぞれ複数種類の特徴量を抽出し、抽出した複数種類の特徴量に基づいて当該複数種類の特徴量の中から前記判定に有効な一つ以上の特徴量の種類を選択し、選択した種類の特徴量を有効特徴量として予め記憶し、
　前記複数のフィーダのうち判定対象である対象フィーダの前記キャビティ内に対象部品が有るか否かを判定するにあたり、当該対象フィーダのテープの画像を取得し、取得した画像から前記対象フィーダまたは前記対象部品の部品種について選択した種類の有効特徴量を抽出し、抽出した有効特徴量と予め記憶した前記部品有り画像および前記部品無し画像のそれぞれの対応する有効特徴量とに基づいて前記対象フィーダのキャビティ内に前記対象部品が有るか否かを判定する、
　ことを要旨とする。
　この本開示の部品有無判定方法では、フィーダ毎または部品種毎に、部品有り画像と部品無し画像から抽出される複数種類の特徴量に基づいて複数種類の特徴量の中から判定に有効な一つ以上の特徴量の種類を選択しておく。そして、対象フィーダのキャビティ内に対象部品が有るか否かを判定するにあたり、対象フィーダまたは対象部品の部品種について選択した種類の特徴量を用いて判定を行なう。これにより、フィーダや部品種に拘わらず、良好な精度をもってテープの画像からキャビティ内の部品の有無を判定することができる。
　また、本開示の画像処理システムは、本開示の部品有無判定方法と同様の効果を奏することができる。
部品実装機の概略構成図である。 マークカメラとフィーダの部分拡大図である。 マークカメラの概略構成図である。 部品実装機と管理装置の電気的な接続関係を示すブロック図である。 画像処理部により実行される判定前処理の一例を示すフローチャートである。 部品有り画像と部品無し画像のＲ光側射での最小輝度を示す説明図である。 部品有り画像と部品無し画像のＢ光全点灯でのコントラストを示す説明図である。 部品有り画像と部品無し画像のＧ光落射での最大輝度を示す説明図である。 部品有り画像と部品無し画像のＲ光落射での平均輝度を示す説明図である。 フィーダ別の判定用情報の一例を示す説明図である。 画像処理部により実行される部品有無判定処理の一例を示すフローチャートである。
　次に、本開示を実施するための形態について図面を参照しながら説明する。
　図１は、部品実装機１０の概略構成図である。図２は、マークカメラ２０とフィーダ３０の部分拡大図である。図３は、マークカメラ２０の概略構成図である。図４は、部品実装機１０と管理装置６０の電気的な接続関係を示すブロック図である。なお、図１の左右方向がＸ軸方向であり、前（手前）後（奥）方向がＸ軸方向と概ね直交するＹ軸方向であり、上下方向がＸ軸方向およびＹ軸方向（水平面）に概ね直交するＺ軸方向である。
　部品実装機１０は、フィーダ３０から部品を取り出して基板Ｓに実装するものであり、図１に示すように、基台１１と、基板搬送装置１２と、実装ヘッド１４と、ヘッド移動装置１６と、パーツカメラ１８と、マークカメラ２０と、フィーダ３０と、制御装置４０（図４参照）と、を備える。部品実装機１０は、基板搬送方向に複数並べて配置されて部品実装ラインを構成する。部品実装ラインは、管理装置５０（図４参照）によって管理される。
　基板搬送装置１２は、基台１１に設置されている。基板搬送装置１２は、前後（Ｙ軸方向）に間隔を開けて設けられ左右（Ｘ軸方向）に架け渡された１対のコンベアベルトを有する。基板Ｓは、コンベアベルトを駆動することにより図１中、左から右へと搬送される。
　フィーダ３０は、基台１１に設置されたフィーダ台に対して、左右方向（Ｘ軸方向）に並ぶように取り付けられる。フィーダ３０は、部品を収容するテープ３２が巻回されたリールを備える。テープ３２には、図２に示すように、その長手方向に沿って等間隔に複数のキャビティ３４とスプロケット穴３３とが形成されている。各キャビティ３４内には、部品が収容されている。これらの部品は、テープ３２の表面を覆うフィルムによって保護されている。キャビティ３４内の部品は、部品供給位置の手前でフィルムが剥がされることで部品供給位置において露出した状態となり、実装ヘッド１４により採取（吸着）される。
　実装ヘッド１４は、図示しないが、吸着ノズル１５を保持するホルダと、当該ホルダを昇降させる昇降装置と、を備える。吸着ノズル１５は、先端に吸着口を有し、図示しない負圧源から吸着口に供給される負圧により部品を吸着可能である。実装ヘッド１４は、単一の吸着ノズル１５を備えたヘッドであってもよし、円柱状のヘッド本体の外周に沿って等間隔に複数の吸着ノズル１５を備えたロータリヘッドであってもよい。また、部品を保持する部材として、吸着ノズル１５に代えて、メカニカルチャックや電磁チャックを用いるものとしてもよい。
　ヘッド移動装置１６は、実装ヘッド１４を前後左右（ＸＹ軸方向）に移動させるものである。ヘッド移動装置１６は、図１に示すように、Ｘ軸スライダ１６ａと、Ｙ軸スライダ１６ｂと、を備える。Ｘ軸スライダ１６ａは、Ｙ軸スライダ１６ｂに対して左右（Ｘ軸方向）に延在するように設けられたＸ軸ガイドレールに支持され、Ｘ軸モータの駆動によって左右に移動可能である。Ｙ軸スライダ１６ｂは、前後（Ｙ軸方向）に延在するように設けられたＹ軸ガイドレールに支持され、Ｙ軸モータの駆動によって左右に移動可能である。Ｘ軸スライダ１６ａには実装ヘッド１４が取り付けられている。このため、実装ヘッド１４は、ヘッド移動装置１６（Ｘ軸スライダ１６ａおよびＹ軸スライダ１６ｂ）を駆動制御することにより、ＸＹ平面（水平面）に沿って移動可能である。
　パーツカメラ１８は、基台１１に設置されている。パーツカメラ１８は、吸着ノズル１５に吸着された部品がパーツカメラ１８の上方を通過する際に、当該部品を下方から撮像し、その撮像画像を制御装置４０（図４参照）に出力する。
　マークカメラ２０は、Ｘ軸スライダ１６ａ（あるいは実装ヘッド１４）に設けられ、ヘッド移動装置１６により実装ヘッド１４と共に前後左右（ＸＹ軸方向）に移動する。マークカメラ２０は、撮像対象物を上方から撮像し、その撮像画像を制御装置４０（図４参照）へ出力する。撮像対象物としては、基板Ｓに付されたマークや、フィーダ３０により送り出されたテープ３２（キャビティ３４）、基板Ｓに実装された後の部品等を挙げることができる。
　マークカメラ２０は、図３に示すように、照明部２１とレンズ２５と撮像部２６とを備える。
　照明部２１は、側射照明部２２と落射照明部（同軸落射照明部）２３とを備える。側射照明部２２は、対象物に対して斜めに光を当てるものである。側射照明部２２は、色の異なる複数の光源、例えば、Ｒ（レッド）の単色光を発光する赤色ＬＥＤ２２ｒと、Ｇ（グリーン）の単色光を発光する緑色ＬＥＤ２２ｇと、Ｂ（ブルー）の単色光を発光する青色ＬＥＤ２２ｂと、を有する。各ＬＥＤ２２ｒ、２２ｇ、２２ｂは、上面視において、レンズ２５の周囲にそれぞれ複数個ずつリング状に配列される。落射照明部２３は、対象物に対してレンズ２５の光軸と同じ方向から光を当てるものである。落射照明部２３は、レンズ２５の光軸に対して斜め４５度に配置されたハーフミラー２４と、ハーフミラー２４に対してレンズ２５の光軸と直交する方向（水平方向）に光を照射する光源と、を有する。落射照明部２３の光源は、色の異なる複数の光源、例えば、Ｒ（レッド）の単色光を発光する赤色ＬＥＤ２３ｒと、Ｇ（グリーン）の単色光を発光する緑色ＬＥＤ２３ｇと、Ｂ（ブルー）の単色光を発光する青色ＬＥＤ２３ｂと、を有する。
　照明部２１は、光の照射パターンとして、側射照明部２２のみから光を照射する側射照射パターンと、落射照明部２３のみから光を照射する落射照射パターンと、側射照明部２２および落射照明部２３の双方から光を照射する全点灯照射パターンと、を有する。更に、照明部２１は、側射、落射および全点灯のそれぞれでＲの光を照射する赤色光照射パターンと、Ｇの光を照射する緑色光照射パターンと、Ｂ色の光を照射する青色光照射パターンと、を有する。
　撮像部２６は、受光した光に基づいて単色の撮像画像を生成するモノクロ撮像素子（例えばモノクロＣＣＤ等）を備える。撮像部２６は、側射照明部２２や落射照明部２３から発せられ対象物で反射した光を、ハーフミラー２４を介して受光して撮像画像を生成する。
　制御装置４０は、ＣＰＵ４２やＲＯＭ４４，ＲＡＭ４６，ハードディスクやソリッドステートドライブ等の記憶部４８、図示しない入出力ポートおよび通信ポートを備え、部品実装機１０の各駆動部を制御したり、パーツカメラ１８やマークカメラ２０で撮像された画像を処理したりする。制御装置４０は、フィーダ３０や基板搬送装置１２、実装ヘッド１４、ヘッド移動装置１６、パーツカメラ１８、マークカメラ２０などへ各種制御信号を出力する。また、制御装置４０は、実装ヘッド１４の位置を検出する位置センサを含む各種センサから検出信号を入力したり、パーツカメラ１８やマークカメラ２０からの画像信号を入力したりする。また、制御装置４０は、部品実装機１０を含む部品実装ラインを管理する管理装置５０と通信ネットワークを介して双方向通信可能に接続されており、互いにデータや制御信号のやり取りを行なう。
　管理装置５０は、汎用のコンピュータであり、図４に示すように、ＣＰＵやＲＯＭ，ＲＡＭ等で構成される管理制御部５２と、キーボードやマウス等の入力デバイス５４と、ディスプレイ５６と、ハードディスクやソリッドステートドライブ等の記憶部５８と、を備える。記憶部５８には、基板Ｓの生産スケジュールが記憶されている。生産スケジュールは、部品実装機１０においてどの部品をどの基板に実装するかそのように部品を実装した基板を何枚作製するかを定めたものである。管理装置５０は、生産スケジュールに従って部品を実装した基板Ｓが生産されるように部品実装機１０の制御装置４０に対して生産を指示する。
　制御装置４０のＣＰＵ４２は、管理装置５０から生産が指示されると、まず、実装すべき対象部品を供給する対象のフィーダ３０について、後述する部品有無判定処理の実行に必要な部品有り画像の特徴量と部品無し画像の特徴量とを取得する判定前処理が実行済みであるか否かを判定する。部品有り画像は、キャビティ３４に部品が収容されている状態のテープ３２の画像をマークカメラ２０で撮像して生成される画像である。部品無し画像は、キャビティ３４に部品が収容されていない状態のテープ３２の画像をマークカメラ２０で撮像して生成される画像である。特徴量は、その画像を特徴付ける量であり、部品有無の判定に用いられる。判定前処理は、フィーダ３０毎に実行される。
　制御装置４０は、対象のフィーダ３０について、判定前処理が実行済みでない場合には、判定前処理を実行する。一方、ＣＰＵ４２は、判定前処理が実行済みである場合には、対象のフィーダ３０から送り出されたテープ３２のキャビティ３４内に部品が有るか否かを判定する部品有無判定処理を実行する。ＣＰＵ４２は、キャビティ３４内に部品が無いと判定すると、対象のフィーダ３０に部品切れが発生していると判断し、エラーを出力する。部品切れが発生したフィーダ３０は、作業者や図示しない自動交換ロボットによって回収・交換される。
　一方、ＣＰＵ４２は、キャビティ３４内に部品が有ると判定すると、対象のフィーダ３０から供給される部品を吸着ノズル１５に吸着させる吸着動作を行なう。具体的には、制御装置４０は、ヘッド移動装置１６を制御して対象のフィーダ３０の部品供給位置の真上へ実装ヘッド１４を移動させる。続いて、図示しない昇降装置を制御して吸着ノズル１５を下降させると共に図示しない負圧源を制御して当該吸着ノズル１５に負圧を供給する。これにより、吸着ノズル１５の先端部に部品が吸着される。次に、制御装置４０は、吸着ノズル１５を上昇させ、ヘッド移動装置１６を制御して部品を吸着した吸着ノズル１５を基板Ｓの目標実装位置の上方へ移動させる。そして、制御装置４０は、吸着ノズル１５を下降させ、吸着ノズル１５に大気圧が供給されるよう図示しない正圧源を制御する。これにより、吸着ノズル１５に吸着されていた部品が吸着ノズル１５から離間して基板Ｓに装着される。
　次に、判定前処理の詳細について説明する。図５は、制御装置４０のＣＰＵ４２により実行される判定前処理の一例を示すフローチャートである。
　判定前処理では、ＣＰＵ４２は、まず、対象のフィーダ３０について吸着動作が実行前であるか否かを判定する（Ｓ１００）。ＣＰＵ４２は、吸着動作の実行前であると判定すると、マークカメラ２０により対象のフィーダ３０から送り出され吸着動作によって部品が取り出される前のテープ３２（キャビティ３４）の画像を部品有り画像として撮像するようにマークカメラ２０を制御する（Ｓ１１０）。部品有り画像は、撮像条件（側射、落射および全点灯とＲ、ＧおよびＢの各色の光との組み合わせの各照射パターン）を変更しながら複数回撮像される。判定前処理は、生産が開始された後、対象のフィーダ３０について最初に吸着動作を実行する前に行なわれるため、当該対象のフィーダ３０から送り出されたテープ３２のキャビティ３４内には部品が収容されている、すなわち当該テープ３２を撮像した画像は部品有り画像と判断することができる。なお、部品有り画像か否かの確認は、作業者が目視にて行なうものとしてもよい。
　次に、ＣＰＵ４２は、吸着動作が実行後であるか否かを判定する（Ｓ１２０）。ＣＰＵ４２は、吸着動作が実行後であると判定すると、マークカメラ２０により対象フィーダに送り出され吸着動作によって部品が取り出された後のテープ３２（キャビティ３４）の画像を部品無し画像として撮像するようにマークカメラ２０を制御する（Ｓ１３０）。部品無し画像は、部品有り画像と同様に、撮像条件（側射、落射および全点灯とＲ、ＧおよびＢの各色の光との組み合わせの各照射パターン）を変更しながら複数回撮像される。なお、部品無し画像か否かの確認は、作業者が目視にて行なうものとしてもよい。また、部品無し画像か否かの確認は、吸着動作が実行され部品無し画像が撮像された後、パーツカメラ１８等により吸着動作を実行した後の吸着ノズル１５の先端部を撮像し、当該吸着ノズル１５に部品が吸着されているか否かを確認することにより行なってもよい。
　ＣＰＵ４２は、こうして異なる撮像条件で部品有り画像と部品無し画像とをそれぞれ複数回撮像すると、上記撮像動作を、同一の対象のフィーダ３０に対して吸着動作が行なわれる度に複数セット実行する（Ｓ１００～Ｓ１４０）。これにより、部品有り画像と部品無し画像は、撮像条件毎に、複数ずつ取得されることとなる。なお、セット数は、作業者が適宜設定することが可能である。また、ＣＰＵ４２は、上記撮像動作を１セットだけ実行してもよい。すなわち、ＣＰＵ４２は、撮像条件毎に、部品有り画像と部品無し画像とを１つずつ取得するようにしてもよい。
　そして、ＣＰＵ４２は、対象のフィーダ３０について、撮像条件毎に部品有り画像と部品無し画像とからそれぞれ複数種類の特徴量を抽出する（Ｓ１５０）。特徴量の抽出は、画像（部品有り画像、部品無し画像）に対してそれぞれ部品供給位置（キャビティ３４）を含む所定範囲を抽出範囲に設定し、設定した抽出範囲内の各画素の輝度を取得し、取得した輝度に基づいて複数種類の特徴量を算出することにより行なわれる。複数種類の特徴量には、例えば、最大輝度や最小輝度、平均輝度、コントラスト、分散、標準偏差などを挙げることができる。コントラストは、例えば、最大輝度と最小輝度の比によって求めることができる。分散は、各画素の輝度と平均輝度との偏差の二乗の総和を画素数で除することにより求めることができる。
　次に、ＣＰＵ４２は、撮像条件および特徴量の各種類の組み合わせ毎に、部品有り画像の特徴量と部品無し画像の特徴量とのうち大きい方を小さい方で除した比率（特徴量比率）を算出する（Ｓ１６０）。続いて、ＣＰＵ４２は、撮像条件および特徴量の各種類の組み合わせのうち、特徴量比率が最大となる組み合わせを、部品有無の判定に有効な有効組み合わせとして選択する（Ｓ１７０）。なお、特徴量比率は、部品有り画像の特徴量と部品無し画像の特徴量とのうち小さい方を大きい方で除した比率として算出するようにしてもよい。この場合、Ｓ１７０の判定は、特徴量比率が最小となる組み合わせを有効組み合わせとして選択すればよい。そして、ＣＰＵ４２は、有効組み合わせにおける撮像条件と特徴量とを有効撮像条件と有効特徴量としてそれぞれ対象のフィーダ３０に対応付けて記憶部４８に登録して（Ｓ１８０）、判定前処理を終了する。
　図６に部品有り画像と部品無し画像のＲ光側射での最小輝度を示す。図７に部品有り画像と部品無し画像のＢ光全点灯でのコントラストを示す。図８に部品有り画像と部品無し画像のＧ光落射での最大輝度を示す。図９に部品有り画像と部品無し画像のＲ光落射での平均輝度を示す。これらは、同一の撮像条件で複数回の吸着動作の前後でそれぞれ撮像された複数の部品有り画像と複数の部品無し画像との間で、同一種類の特徴量同士を比較したものである。特徴量比率は、例えば、図６～図９に示すように、同一の撮像条件で撮像された複数の部品無し画像からそれぞれ抽出された特徴量のうちの最小値（図中、Ｃ０）を、当該同一の撮像条件で撮像された複数の部品有り画像からそれぞれ抽出された特徴量のうちの最大値（図中、Ｃ１）で除することにより求めるものとした。なお、同一の撮像条件で撮像された部品有り画像と部品無し画像とが１つずつである場合には、特徴量比率は、１つの部品無し画像から抽出された特徴量を、同一の撮像条件で撮像された１つの部品有り画像から抽出された特徴量で除することにより求めることができる。図６～図９の例では、特徴量比率が最も大きい撮像条件および特徴量の種類の組み合わせは、撮像条件の種類がＲ光側射で特徴量の種類が最小輝度の組み合わせである（図６参照）。この場合、Ｒ光側射が有効撮像条件となり、最小輝度が有効特徴量となり、これらの情報が判定用情報４９として対象のフィーダ３０に対応付けられて記憶部４８に登録されることとなる。フィーダ別の判定用情報４９の一例を図１０に示す。判定用情報４９は、フィーダ３０毎に作成され、図示するように、フィーダ３０を識別する識別情報（フィーダ番号）と対応付けられて記憶部４８に登録される。
　次に、部品有無判定処理について説明する。図１１は、制御装置４０のＣＰＵ４２により実行される部品有無判定処理の一例を示すフローチャートである。
　部品有無判定処理では、ＣＰＵ４２は、まず、対象部品を供給する対象のフィーダ３０について、有効撮像条件や有効特徴量が記憶部４８（判定用情報４９）に登録済みであるか否かを判定する（Ｓ２００）。ＣＰＵ４２は、対象のフィーダ３０について、有効撮像条件や有効特徴量が登録済みでないと判定すると、部品有無判定処理を終了する。
　一方、ＣＰＵ４２は、対象のフィーダ３０について、有効撮像条件や有効特徴量が登録済みであると判定すると、吸着動作の実行前であるか否かを判定する（Ｓ２１０）。ＣＰＵ４２は、吸着動作の実行前であると判定すると、記憶部４８に記憶されているフィーダ別の判定用情報４９を参照して、対象のフィーダ３０に対応する有効撮像条件を取得する（Ｓ２２０）。そして、ＣＰＵ４２は、取得した有効撮像条件で照明部２１から光を照射して対象のフィーダ３０のテープ３２（キャビティ３４）の画像を撮像するようにマークカメラ２０を制御する（Ｓ２３０）。ＣＰＵ４２は、Ｓ２３０で撮像したキャビティ３４の画像（判定対象の画像）に基づき、当該キャビティ３４内の部品の有無を判定する。
　次に、ＣＰＵ４２は、フィーダ別の判定用情報４９を参照して、対象のフィーダ３０に対応する有効特徴量の種類を取得し（Ｓ２４０）、撮像した判定対象の画像からＳ２４０で取得した種類の有効特徴量を抽出する（Ｓ２５０）。続いて、ＣＰＵ４２は、フィーダ別の判定用情報４９を参照して、対象のフィーダ３０に対応する部品有り画像と部品無し画像のそれぞれの有効特徴量を取得し（Ｓ２６０）、判定対象の画像の有効特徴量が、部品有り画像の有効特徴量と部品無し画像の有効特徴量とのうちいずれに類似しているかの類否判定を行なう（Ｓ２７０）。類否判定は、例えば、以下のようにして行なうことができる。すなわち、ＣＰＵ４２は、判定対象の画像の有効特徴量と部品有り画像の有効特徴量とを２次元座標に点として表示したときの２点間距離の長さを求める。また、ＣＰＵ４２は、同様に、判定対象の画像の有効特徴量と部品無し画像の有効特徴量とを２次元座標に点として表示したときの２点間距離の長さを求める。次に、ＣＰＵ４２は、両者の２点間距離の長さを比較する。そして、ＣＰＵ４２は、判定対象の画像の有効特徴量と部品有り画像の有効特徴量との２点間距離の長さが判定対象の画像の有効特徴量と部品無し画像の有効特徴量との２点間距離の長さよりも短い場合には、判定対象の画像は、部品有り画像に類似していると判定する。一方、ＣＰＵ４２は、判定対象の画像の有効特徴量と部品無し画像の有効特徴量との２点間距離の長さが判定対象の画像の有効特徴量と部品有り画像の有効特徴量との２点間距離の長さよりも短い場合には、判定対象の画像は、部品無し画像に類似していると判定する。
　ＣＰＵ４２は、判定対象の画像は部品有り画像に類似していると判定すると、キャビティ３４内に部品が有ると判定し（Ｓ２９０）、吸着動作に移行して（Ｓ３００）、部品有無判定処理を終了する。一方、ＣＰＵ４２は、判定対象の画像は部品無し画像に類似していると判定すると、キャビティ３４内に部品が無いと判定し（Ｓ３１０）、吸着動作に移行することなく、エラーを出力して（Ｓ３２０）、部品有無判定処理を終了する。
　ここで、例えばテープ３２として透明テープ（透明エンボステープ）が用いられる場合、部品有り画像や部品無し画像には、フィーダ３０毎にロットの違いや経年使用による傷等により光の反射具合が異なり、写り方が変わる場合が生じる。この場合、特徴量の種類によっては、部品有り画像と部品無し画像とでそれぞれ得られる特徴量が似通ったものとなり、部品有無の判定が困難となる場合が生じる。本実施形態では、ＣＰＵ４２は、フィーダ３０毎に、複数種類の特徴量のうち部品有り画像の特徴量と部品無し画像の特徴量との比率（特徴量比率）が最大の特徴量の種類を部品有無の判定に有効な有効特徴量として予め登録しておく。これにより、フィーダ３０毎にテープ３２の画像から最適な種類の特徴量を抽出することができ、良好な精度でテープ３２の画像から部品の有無を判定することができる。
　また、例えば色の付いたフィルム（例えば青色フィルム）で表面が覆われた部品を撮像する際には、照明部２１から照射する光の色（例えば赤色）によっては、暗く写り、特徴量が得られにくくなる場合が生じる。このため、フィーダ３０毎に代えて又は加えて、部品種毎に、有効撮像条件や有効特徴量を選択するようにしてもよい。
　ここで、実施形態の主要な要素と請求の範囲に記載した本開示の主要な要素との対応関係について説明する。即ち、実施形態の判定前処理を実行する制御装置４０のＣＰＵ４２が本開示の選択部に相当し、制御装置４０の記憶部４８が記憶部に相当し、部品有無判定処理を実行する制御装置４０のＣＰＵ４２が判定部に相当する。
　なお、本開示は上述した実施形態に何ら限定されることはなく、本開示の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
　例えば、上述した実施形態では、ＣＰＵ４２は、部品有無の判定に用いる画像の撮像条件として、複数種類の照射パターンの中から判定に有効な照射パターンを選択するものとした。しかし、ＣＰＵ４２は、異なる複数の速度のシャッタースピードの中から判定に有効な速度のシャッタースピードを選択する等、複数種類の撮像条件の中から判定に有効な撮像条件を選択するものであればよい。また、ＣＰＵ４２は、フィーダ３０毎の有効撮像条件の選択を省略し、全てのフィーダ３０に対して共通の撮像条件を適用してもよい。
　また、上述した実施形態では、ＣＰＵ４２は、部品有り画像の特徴量と部品無し画像の特徴量との比率に基づいて複数種類の特徴量の中から部品有無の判定に有効な特徴量（有効特徴量）を選択するものとした。しかし、ＣＰＵ４２は、複数種類の特徴量のうち例えば最大輝度や最小輝度、平均輝度の中から有効特徴量を選択する場合には、部品有り画像の特徴量と部品無し画像の特徴量との差分が最大の特徴量を有効特徴量として選択してもよい。
  また、上述した実施形態では、ＣＰＵ４２は、複数種類の特徴量の中から判定に有効な１つの有効特徴量を選択するものとしたが、２つ以上の有効特徴量を選択してもよい。この場合、ＣＰＵ４２は、例えば、複数種類の特徴量のうち、部品有り画像の特徴量と部品無し画像の特徴量との比率が所定範囲内（例えば、部品有り画像の特徴量と部品無し画像の特徴量とのうち多い方を小さい方で除した値が所定値以上）の特徴量を有効特徴量として選択すればよい。また、ＣＰＵ４２は、例えば、部品有り画像の特徴量と部品無し画像の特徴量との差分が所定値以上である特徴量を有効特徴量として選択すればよい。なお、２つ以上の有効特徴量を用いて部品有無を判定する場合は、ＣＰＵ４２は、２つ以上の有効特徴量のそれぞれで、部品有り画像と部品無し画像とに対する判定対象の画像の類否判定を行ない、各類否判定の結果に基づいて部品有無の判定を行なうものとすればよい。
　以上説明したように、本開示の部品有無判定方法では、フィーダ毎または部品種毎に、部品有り画像と部品無し画像から抽出される複数種類の特徴量に基づいて複数種類の特徴量の中から判定に有効な一つ以上の特徴量の種類を選択しておく。そして、対象フィーダのキャビティ内に対象部品が有るか否かを判定するにあたり、対象フィーダまたは対象部品の部品種について選択した種類の特徴量を用いて判定を行なう。これにより、フィーダや部品種に拘わらず、良好な精度をもってテープの画像からキャビティ内の部品の有無を判定することができる。
　こうした本開示の部品有無判定方法において、前記部品有り画像の特徴量と前記部品無し画像の特徴量との比率または差分に基づいて前記判定に有効な特徴量の種類を選択してもよい。あるいは、複数の前記部品有り画像と複数の前記部品無し画像とを取得し、取得した複数の前記部品有り画像の特徴量と複数の前記部品無し画像の特徴量とのうち互いに最も近接した２点の比率または差分に基づいて前記判定に有効な特徴量の種類を選択してもよい。こうすれば、簡易な処理によりフィーダ毎または部品種毎に複数種類の特徴量から判定に有効な特徴量を選択することができる。
　また、本開示の部品有無判定方法において、フィーダ毎または部品種毎に、複数種類の撮像条件で前記部品有り画像と前記部品無し画像とを撮像し、撮像した前記部品有り画像と前記部品無し画像とからそれぞれ複数種類の特徴量を抽出し、前記複数種類の撮像条件および前記複数種類の特徴量の組み合わせの中から前記判定に有効な一つ以上の撮像条件および特徴量の種類の組み合わせを選択し、選択した組み合わせを有効組み合わせとして予め記憶し、前記複数のフィーダのうち判定対象である対象フィーダの前記キャビティ内に対象部品が有るか否かを判定するにあたり、前記対象フィーダまたは前記対象部品の部品種について選択した種類の有効組み合わせで前記キャビティの画像を撮像すると共に撮像した画像から前記有効特徴量を抽出し、抽出した有効特徴量と予め記憶した前記部品有り画像および前記部品無し画像のそれぞれの対応する有効特徴量とに基づいて前記対象フィーダのキャビティ内に前記対象部品が有るか否かを判定してもよい。こうすれば、有効特徴量に加えて有効撮像条件も選択することで、更に良好な精度をもってテープの画像からキャビティ内の部品の有無を判定することができる。
　なお、上述した本開示では、部品有無判定方法の形態に限られず、判定前処理や部品有無判定処理を実行する制御装置４０を含む画像処理システムの形態としてもよい。
　本開示は、画像処理システムの製造産業などに利用可能である。
　１０　部品実装機、１１　基台、１２　基板搬送装置、１４　実装ヘッド、１５　吸着ノズル、１６　ヘッド移動装置、１６ａ　Ｘ軸スライダ、１６ｂ　Ｙ軸スライダ、１８　パーツカメラ、２０　マークカメラ、２１　照明部、２２　側射照明部、２２ｂ　青色ＬＥＤ、２２ｇ　緑色ＬＥＤ、２２ｒ　赤色ＬＥＤ、２３　落射照明部、２３ｂ　青色ＬＥＤ、２３ｇ　緑色ＬＥＤ、２３ｒ　赤色ＬＥＤ、２４　ハーフミラー、２５　レンズ、２６　撮像部、３０　フィーダ、３２　テープ、３３　スプロケット穴、３４　キャビティ、４０　制御装置、４２　ＣＰＵ、４４　ＲＯＭ、４６　ＲＡＭ、４８　記憶部、４９　判定用情報、５０　管理装置、５２　管理制御部、５４　入力デバイス、５６　ディスプレイ、５８　記憶部。

Claims (5)

  1. 　部品を収容するキャビティが複数設けられたテープを供給するフィーダにおいて、前記テープの画像から前記キャビティ内に部品が有るか否かを判定する部品有無判定方法であって、
    　フィーダ毎または部品種毎に、前記キャビティ内に部品が有る部品有り画像と前記キャビティ内に部品が無い部品無し画像とからそれぞれ複数種類の特徴量を抽出し、抽出した複数種類の特徴量に基づいて当該複数種類の特徴量の中から前記判定に有効な一つ以上の特徴量の種類を選択し、選択した種類の特徴量を有効特徴量として予め記憶し、
    　前記複数のフィーダのうち判定対象である対象フィーダの前記キャビティ内に対象部品が有るか否かを判定するにあたり、当該対象フィーダのテープの画像を取得し、取得した画像から前記対象フィーダまたは前記対象部品の部品種について選択した種類の有効特徴量を抽出し、抽出した有効特徴量と予め記憶した前記部品有り画像および前記部品無し画像のそれぞれの対応する有効特徴量とに基づいて前記対象フィーダのキャビティ内に前記対象部品が有るか否かを判定する、
    　部品有無判定方法。
  2. 　請求項１に記載の部品有無判定方法であって、
    　前記部品有り画像の特徴量と前記部品無し画像の特徴量との比率または差分に基づいて前記判定に有効な特徴量の種類を選択する、
    　部品有無判定方法。
  3. 　請求項１に記載の部品有無判定方法であって、
    　複数の前記部品有り画像と複数の前記部品無し画像とを取得し、取得した複数の前記部品有り画像の特徴量と複数の前記部品無し画像の特徴量とのうち互いに最も近接した２点の比率または差分に基づいて前記判定に有効な特徴量の種類を選択する、
    　部品有無判定方法。
  4. 　請求項１ないし３いずれか１項に記載の部品有無判定方法であって、
    　フィーダ毎または部品種毎に、複数種類の撮像条件で前記部品有り画像と前記部品無し画像とを撮像し、撮像した前記部品有り画像と前記部品無し画像とからそれぞれ複数種類の特徴量を抽出し、前記複数種類の撮像条件および前記複数種類の特徴量の組み合わせの中から前記判定に有効な一つ以上の撮像条件および特徴量の種類の組み合わせを選択し、選択した組み合わせを有効組み合わせとして予め記憶し、
    　前記複数のフィーダのうち判定対象である対象フィーダの前記キャビティ内に対象部品が有るか否かを判定するにあたり、前記対象フィーダまたは前記対象部品の部品種について選択した種類の有効組み合わせで前記キャビティの画像を撮像すると共に撮像した画像から前記有効特徴量を抽出し、抽出した有効特徴量と予め記憶した前記部品有り画像および前記部品無し画像のそれぞれの対応する有効特徴量とに基づいて前記対象フィーダのキャビティ内に前記対象部品が有るか否かを判定する、
    　部品有無判定方法。
  5. 　部品を収容するキャビティが複数設けられたテープを供給するフィーダにおいて、前記テープの画像から前記キャビティ内に部品が有るか否かを判定するための画像処理システムであって、
    　フィーダ毎または部品種毎に、前記キャビティ内に部品が有る部品有り画像と前記キャビティ内に部品が無い部品無し画像とからそれぞれ複数種類の特徴量を抽出し、抽出した複数種類の特徴量に基づいて当該複数種類の特徴量の中から前記判定に有効な一つ以上の特徴量を選択する選択部と、
    　前記選択部により選択された種類の特徴量を有効特徴量として記憶する記憶部と、
    　前記複数のフィーダのうち判定対象である対象フィーダの前記キャビティ内に対象部品が有るか否かを判定するにあたり、前記対象フィーダのテープの画像を取得し、取得した画像から前記対象フィーダまたは前記対象部品の部品種について前記選択部により選択された種類の有効特徴量を抽出し、抽出した有効特徴量と前記記憶部に記憶された前記部品有り画像および前記部品無し画像のそれぞれの対応する有効特徴量とに基づいて前記対象フィーダのキャビティ内に前記対象部品が有るか否かを判定する判定部と、
    　を備える画像処理システム。
PCT/JP2022/026767 2022-07-05 2022-07-05 部品有無判定方法および画像処理システム WO2024009410A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/026767 WO2024009410A1 (ja) 2022-07-05 2022-07-05 部品有無判定方法および画像処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/026767 WO2024009410A1 (ja) 2022-07-05 2022-07-05 部品有無判定方法および画像処理システム

Publications (1)

Publication Number Publication Date
WO2024009410A1 true WO2024009410A1 (ja) 2024-01-11

Family

ID=89452961

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/026767 WO2024009410A1 (ja) 2022-07-05 2022-07-05 部品有無判定方法および画像処理システム

Country Status (1)

Country Link
WO (1) WO2024009410A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021019610A1 (ja) * 2019-07-26 2021-02-04 株式会社Ｆｕｊｉ 検査装置
WO2021205578A1 (ja) * 2020-04-08 2021-10-14 株式会社Ｆｕｊｉ 画像処理装置および実装装置、画像処理方法
WO2022044075A1 (ja) * 2020-08-24 2022-03-03 株式会社Fuji 画像処理装置および実装装置、画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021019610A1 (ja) * 2019-07-26 2021-02-04 株式会社Ｆｕｊｉ 検査装置
WO2021205578A1 (ja) * 2020-04-08 2021-10-14 株式会社Ｆｕｊｉ 画像処理装置および実装装置、画像処理方法
WO2022044075A1 (ja) * 2020-08-24 2022-03-03 株式会社Fuji 画像処理装置および実装装置、画像処理方法

Similar Documents

Publication Publication Date Title
US9474195B2 (en) Image generating apparatus and image generating method
US12051188B2 (en) Substrate work system
JP6837161B2 (ja) 撮像ユニット及び部品実装機
WO2024009410A1 (ja) 部品有無判定方法および画像処理システム
CN112425281B (zh) 元件安装机
JP6859356B2 (ja) 照明条件特定装置及び照明条件特定方法
JP7423797B2 (ja) 画像処理装置および実装装置、画像処理方法
JP7301973B2 (ja) 検査装置
JP3597611B2 (ja) 実装機におけるマーク認識用照明装置
JP2022105581A (ja) 成形不良の検出方法
WO2023276059A1 (ja) 部品実装機
JP7108045B2 (ja) 部品撮像用カメラ及び部品実装機
CN115136579A (zh) 图像校正方法、拍摄装置及检查装置
JP7271738B2 (ja) 撮像ユニット
WO2024004074A1 (ja) 実装機
EP3767938B1 (en) Image-capturing unit and component-mounting device
US12007670B2 (en) Illuminating unit
WO2024189728A1 (ja) 検査装置および検査システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22950204

Country of ref document: EP

Kind code of ref document: A1