WO2023248281A1 - 検査装置、実装装置および検査方法 - Google Patents

検査装置、実装装置および検査方法 Download PDF

Info

Publication number
WO2023248281A1
WO2023248281A1 PCT/JP2022/024498 JP2022024498W WO2023248281A1 WO 2023248281 A1 WO2023248281 A1 WO 2023248281A1 JP 2022024498 W JP2022024498 W JP 2022024498W WO 2023248281 A1 WO2023248281 A1 WO 2023248281A1
Authority
WO
WIPO (PCT)
Prior art keywords
absence
frequency
image
class
target
Prior art date
Application number
PCT/JP2022/024498
Other languages
English (en)
French (fr)
Inventor
智也 藤本
貴紘 小林
雄哉 稲浦
Original Assignee
株式会社Fuji
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Fuji filed Critical 株式会社Fuji
Priority to PCT/JP2022/024498 priority Critical patent/WO2023248281A1/ja
Publication of WO2023248281A1 publication Critical patent/WO2023248281A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages

Definitions

  • This specification discloses an inspection device, a mounting device, and an inspection method.
  • an inspection device that inspects the presence or absence of components mounted (mounted) on a board or the like using an image taken of the board (for example, see Patent Document 1).
  • This inspection device acquires the brightness value of each pixel from a pre-mounting image before a component is mounted, generates a histogram showing the number of pixels for each brightness value, and sets a threshold value. Then, for each pixel in the pre-mounting image, pixels with a luminance value below a threshold are identified as substrates, and pixels with luminance values greater than the threshold are identified as non-substrates, thereby generating a mask image that masks areas other than the substrate. .
  • a specific area corresponding to the mounting surface of the component is extracted from the difference image between the pre-mounting image and the post-mounting image, and whether the component is mounted or not is determined based on the brightness difference in the specific area.
  • a threshold value is set to a luminance value that is higher by a predetermined luminance value than the peak value of the histogram, and the threshold value is used to distinguish between substrates and non-substrates. It is conceivable to determine the presence or absence of a component by distinguishing between components and non-components using a histogram of feature values such as brightness values in this manner. However, when the brightness varies greatly due to the way light hits and reflects the parts and surrounding background when capturing an image, multiple similar peak values may appear, making it difficult to properly determine the presence or absence of parts. There is a risk of misjudgment.
  • the main purpose of the present disclosure is to more appropriately determine the presence or absence of an object using an image.
  • the present disclosure has taken the following measures to achieve the above-mentioned main objective.
  • the inspection device of the present disclosure includes: An inspection device that inspects the presence or absence of an object by image processing, By machine learning using images in which the presence or absence of a target object is associated, a frequency distribution is created or obtained by aggregating the frequency of the feature value in each pixel of the image according to the presence or absence of the target object, and each class of the frequency distribution is calculated.
  • a setting section for setting a part of them as a judgment target class;
  • a determination unit that determines the presence or absence of a target object in the target image; The main point is to have the following.
  • the inspection device of the present disclosure uses machine learning to create or obtain a frequency distribution that aggregates the frequency of feature values in each pixel of an image according to the presence or absence of an object, and sets a part of each class of the frequency distribution as a judgment target class. do. Then, by comparing the frequency of the feature value belonging to the judgment target class among the feature values in each pixel of the target image of the inspection with the frequency of the presence/absence of the object belonging to the determination target class in the frequency distribution, Determine the presence or absence of the target object.
  • some judgment target classes instead of using all the classes of the frequency distribution aggregated by the presence or absence of objects, it is possible to narrow down the judgment to the classes in which the influence of the presence or absence of objects on the frequency is significant. This makes it possible to prevent misjudgments. Therefore, it is possible to more appropriately determine the presence or absence of an object using an image.
  • FIG. 1 is a configuration diagram showing an outline of the configuration of a mounting system 10.
  • FIG. FIG. 2 is a configuration diagram schematically showing the configuration of a mounting apparatus 20.
  • FIG. FIG. 3 is an explanatory diagram showing an example of a tray T that supplies solder balls SB.
  • FIG. 3 is an explanatory diagram showing an example of a suction nozzle 33 that suctions a solder ball SB.
  • 5 is a flowchart illustrating an example of determination target class setting processing.
  • An explanatory diagram showing an example of a determination target class JC. 5 is a flowchart illustrating an example of a component presence/absence determination process.
  • An explanatory diagram showing an example of determination in the determination target class JC. 12 is a flowchart illustrating determination target class setting processing in a modified example.
  • FIG. 1 is a configuration diagram showing an outline of the configuration of the mounting system 10.
  • FIG. 2 is a configuration diagram showing an outline of the configuration of the mounting apparatus 20.
  • FIG. 3 is an explanatory diagram showing an example of the tray T that supplies the solder balls SB.
  • FIG. 4 is an explanatory diagram showing an example of the suction nozzle 33 that suctions the solder ball SB.
  • the left-right direction (X-axis), the front-back direction (Y-axis), and the up-down direction (Z-axis) are as shown in FIGS. 1 and 2.
  • the mounting system 10 includes a printing device 11, a print inspection device 12, a mounting device 20, a mounting inspection device 14, and a management device 18.
  • the printing device 11 is a device that prints solder paste or the like, which is a viscous fluid, onto the substrate B.
  • the print inspection device 12 is a device that inspects the state of solder paste printed on the board B.
  • the mounting device 20 is a device that mounts the component P on the board B.
  • the mounting inspection device 14 is a device that inspects the state of the component P mounted on the board B.
  • the mounting target is a flat board B, but is not limited to this, and may be a three-dimensional base material or the like.
  • the mounting apparatus 20 includes a substrate processing section 21, a component supply section 22, a control device 25, and a mounting section 30.
  • the mounting apparatus 20 has a function of executing a mounting process of arranging the component P on the board B, and also a function of executing an inspection process of inspecting the board B on which the component P is mounted.
  • the substrate processing section 21 is a unit that carries in the substrate B, transports it, fixes it at a mounting position, and carries it out.
  • the substrate processing section 21 includes a pair of conveyor belts that are provided at a distance from each other in the front and back of FIG. 2 and spanned in the left-right direction, and transports the substrate B by driving the conveyor belts.
  • the component supply section 22 includes a plurality of tape feeders 22a and a tray feeder 22b, and is provided on the front side of the mounting apparatus 20.
  • the tape feeder 22a is arranged to line up in the left-right direction (X-axis direction), and feeds tapes each containing a component in a plurality of recesses formed at predetermined intervals in the longitudinal direction from a reel in the front-back direction (Y-axis direction). ) to supply parts.
  • the tray feeder 22b supplies components by feeding out a tray T containing components in the front-rear direction (Y-axis direction). As shown in FIG.
  • spherical solder balls SB as the component P are accommodated in a plurality of recesses C formed, for example, in a grid shape.
  • the tray feeder 22b feeds out the tray T and supplies the solder balls SB.
  • the mounting section 30 is a unit that picks up the component P from the component supply section 22 and places it on the board B fixed to the board processing section 21.
  • the mounting section 30 includes a head moving section 31, a mounting head 32, a suction nozzle 33, and a mark camera 34.
  • the head moving unit 31 includes a slider that is guided by a guide rail and moves in the X and Y directions, and a motor that drives the slider.
  • the mounting head 32 is removably attached to the slider, and is moved in the XY directions by the head moving section 31.
  • the mounting head 32 has one or more suction nozzles 33 (eg, 1, 4, 8, 16, etc.) removably attached to its lower surface.
  • the suction nozzle 33 is a holding member that picks up and holds the part P using negative pressure.
  • the mark camera 34 is disposed on the lower surface of the mounting head 32 (or slider) so that the imaging range is downward, and moves in the X and Y directions as the mounting head 32 moves.
  • the mark camera 34 images the reference mark attached to the board B, the component P mounted on the board B, etc. from above, and outputs the image to the control device 25.
  • the mounting apparatus 20 also includes a parts camera 23, a nozzle stocker 24, a display operation section 28, and the like.
  • the parts camera 23 is arranged between the parts supply section 22 and the substrate processing section 21 so that the imaging range is above.
  • the parts camera 23 images the part P when the mounting head 32 holding the part P passes above the parts camera 23 and outputs the image to the control device 25 .
  • the nozzle stocker 24 stores a plurality of types of suction nozzles 33, and is disposed between the component supply section 22 and the substrate processing section 21.
  • the suction nozzle 33 of the mounting head 32 is replaced as appropriate depending on the type and size of the component P.
  • the suction nozzle 33 (see FIG. 4) for the solder ball SB is replaced.
  • This suction nozzle 33 has a plurality of suction ports 33a (16 in FIG. 4) formed in a grid pattern, and each suction port 33a suctions the solder ball SB in the recess C of the tray T, respectively.
  • the display and operation section 28 is provided at the front of the mounting apparatus 20 (see FIG. 1), and includes, for example, a touch panel and operation buttons.
  • This display/operation unit 28 displays various images and various information to the worker, and inputs various operation instructions such as selection operations by the worker.
  • the control device 25 is configured as a microprocessor centered on a CPU 26, and includes a storage section 27 for storing various data. In addition to the function of controlling the entire mounting apparatus 20, the control device 25 also performs inspections such as whether or not the suction nozzle 33 is suctioning the component P and whether the shape of the component P is within an allowable range. Executes inspections such as the implementation status (presence or absence of implementation).
  • the control device 25 outputs control signals to the board processing section 21, parts supply section 22, parts camera 23, display operation section 28, and mounting section 30, and outputs control signals to the board processing section 21, parts supply section 22, parts camera 23, and display. Signals are input from the operating section 28 and the mounting section 30.
  • the storage unit 27 stores information regarding the size and shape of the component P, the order in which the component P is mounted on the board B, the placement position of the component P, the type of suction nozzle 33 that can collect the component P, etc. There is.
  • the management device 18 is a computer that manages information on each device of the mounting system 10.
  • the management device 18 includes a control section, a storage section, a display device, and an input device.
  • the control unit is configured as a microprocessor centered on a CPU.
  • the storage unit stores information for managing production of the mounting system 10 and information regarding various processes performed by each device.
  • the CPU 26 of the control device 25 controls the head moving unit 31 so that the mounting head 32 equipped with the suction nozzle 33 for the solder balls SB moves above the component supply position of the tray feeder 22b (tray T). Control. Next, the CPU 26 controls the mounting head 32 to lower the suction nozzle 33 to suction the solder ball SB in the recess C of the tray T. Subsequently, the CPU 26 controls the head moving section 31 so that the mounting head 32 moves above the parts camera 23, and causes the parts camera 23 to image the solder ball SB sucked by the suction nozzle 33.
  • the CPU 26 processes the captured image, determines the positional deviation of each solder ball SB attracted by the suction nozzle 33, and corrects the target mounting position based on the positional deviation. For example, the target mounting position is corrected so that the positional deviation of each of the plurality of solder balls SB becomes smaller as a whole. Then, the CPU 26 controls the head moving unit 31 so that the mounting head 32 moves above the substrate B, and lowers the suction nozzle 33 to release the suction, thereby moving the solder ball SB to the target mounting position on the substrate B. The mounting head 32 is controlled to perform the mounting.
  • FIG. 5 is a flowchart illustrating an example of determination target class setting processing.
  • the CPU 26 first acquires a learning image without components captured by the mark camera 34 of the board B on which the solder balls SB are not mounted (S100), and selects an inspection area from the learning image without components.
  • the brightness value of each pixel in A is acquired (S110).
  • the CPU 26 may acquire a plurality of learning images without parts, and acquire the luminance value of each pixel from the inspection area A of each image.
  • the CPU 26 aggregates the acquired luminance values of each pixel for each predetermined luminance class to create a component-free luminance histogram (S120).
  • the CPU 26 acquires a learning image with the component present, which is captured by the mark camera 34, of the board B on which the solder ball SB (component P) is mounted (S130), and each of the learning images in the inspection area A of the learning image with the component is captured by the mark camera 34.
  • the brightness value of the pixel is acquired (S140).
  • the CPU 26 may acquire a plurality of learning images with parts present, and acquire the luminance value of each pixel from the inspection area A of each image.
  • the CPU 26 aggregates the acquired luminance values of each pixel for each predetermined luminance class, and creates a luminance histogram with components (S150). Note that in S100 and S130, a learning image without a component and a learning image with a component may be obtained by capturing images with the mark camera 34 before and after mounting the solder ball SB (component P) on the board B, respectively. .
  • FIG. 6 is an explanatory diagram showing an example of an image without parts
  • FIG. 7 is an explanatory diagram showing an example of a brightness histogram without parts
  • FIG. 8 is an explanatory diagram showing an example of an image with parts present
  • FIG. 9 is an explanatory diagram showing an example of a brightness histogram with parts present.
  • 6 shows a learning image taken before the solder ball SB is mounted on the board B
  • FIG. 8 shows a learning image taken after the solder ball SB is mounted on the board B.
  • Each image in this embodiment is, for example, a grayscale image in which each pixel has a luminance value of 256 gradations from 0 to 255, and the inspection area A in the inspection process is indicated by a dotted line (see FIGS.
  • the presence or absence of the solder ball SB is determined using the brightness value of each pixel in the inspection area A.
  • the inspection area A is set to be a slightly larger area than the solder ball SB shown in the image so that the solder ball SB can fit within the area even if the mounting position varies (see FIG. 8). Therefore, in the inspection area A in the image, the solder paste SP printed (coated) on the upper surface of the substrate B and the surrounding electrodes E is reflected as a background other than the solder balls SB.
  • a dark luminance value is obtained from the background other than the solder ball SB.
  • brightness values ranging from 0 to 255 are divided into a plurality of classes (also referred to as brightness classes), and the frequencies of brightness belonging to each class are totaled.
  • the luminance values are divided into eight luminance classes 1 to 8 of 32 values, but the number is not limited to eight.
  • the learning result was that the frequency was the highest in brightness class 4, the frequency was relatively high in brightness classes 1, 5, and 6, and the frequency was small in the other brightness classes.
  • the learning result was that the frequency was the highest in brightness class 8, the frequency was relatively high in brightness classes 5 and 6, and the frequency was small in the other classes. Note that the frequency appeared even in brightness class 1 due to the influence of the background other than the solder ball SB.
  • the control device 25 selects the class in which the frequency difference d between presence and absence of components in the brightness histogram created in this way is the largest (S160). Subsequently, the control device 25 sets the selected class as the determination target class JC (S170), and stores the determination target class JC and the frequencies N0 and N1 of parts presence/absence in the determination target class JC in the storage unit 27. (S180), and this process ends.
  • FIG. 10 is an explanatory diagram showing an example of the determination target class JC.
  • the luminance histograms of the bar graphs exemplified in FIGS. 7 and 8 are collectively displayed as a frequency line graph, with the absence of components indicated by dotted lines and the presence of components indicated by dashed lines.
  • the power difference d calculated as the difference between the power with parts and the power without parts for each brightness class is referred to as power differences d1 to d8, but the power difference d3 is omitted because it is approximately 0.
  • the frequency difference d8 of brightness class 8 is the maximum, and brightness class 8 is set as the determination target class JC.
  • the frequency N0 of no parts and the frequency N1 of parts present in brightness class 8 are stored in the storage unit 27.
  • FIG. 11 is a flowchart illustrating an example of parts presence/absence determination processing.
  • the CPU 26 first images the mounted board B on which the solder balls SB (target component) are mounted using the mark camera 34 to obtain an inspection target image (S200).
  • the CPU 26 acquires the brightness value of each pixel in the inspection area A in the target image, and counts the frequency Nj of pixels whose brightness values belong to the determination target class JC (S210).
  • the CPU 26 counts only the frequencies of pixels whose brightness values belong to the determination target class JC, and does not count the frequencies of pixels other than the determination target class JC.
  • the CPU 26 compares the counted frequency Nj with the frequency of the judgment target class JC in the learning result, that is, the frequency N0 without parts and the frequency N1 with parts in the judgment target class JC (S220), and determines whether the frequency Nj is a part. It is determined whether the frequency N1 with the part is closer than the frequency N0 without the component (S230). If the CPU 26 determines that the frequency Nj is close to the component presence frequency N1, it determines that the target component is present, that is, the solder ball SB has been mounted (S240), and ends this process.
  • the CPU 26 determines that the frequency Nj is not the frequency N1 but close to the frequency N0 of no component, it determines that there is no target component, that is, the solder ball SB is not mounted, which is a mounting error (S250), and executes the main processing. end. Note that when the CPU 26 determines that there is a mounting error, the CPU 26 displays this on the display operation unit 28 to notify the operator of the error.
  • FIG. 12 is an explanatory diagram showing an example of determination in the determination target class JC.
  • a frequency line graph of the image to be inspected is shown together with a frequency line graph as the learning result shown in FIG.
  • a frequency line graph (frequency distribution) is not actually created.
  • the frequency Nj of the determination target class JC is closer to the frequency N1 with parts present than the frequency N0 without parts. Therefore, in this example, it is determined that the target component is present, that is, the solder ball SB has been mounted.
  • the presence or absence of the target part based on the entire brightness histogram including the frequencies of classes other than the determination target class JC.
  • the frequency of the inspection target is close to both the frequency with and without parts, and in brightness class 3, the frequency of the inspection target deviates from both frequencies with and without parts. This makes it difficult to judge.
  • the frequency of the image to be inspected is closer to the frequency of the image without parts, so there is a risk of erroneous determination. Therefore, in this embodiment, the presence or absence of the solder ball SB is determined using only the brightness class 8 of the brightness histogram, which has the greatest influence on the brightness of the solder ball SB. This makes it possible to eliminate background effects other than the solder balls SB, thereby preventing erroneous determinations and accurately determining the presence or absence of the solder balls SB.
  • the control device 25 of this embodiment corresponds to the inspection device of the present disclosure
  • the CPU 26 that executes determination target class setting processing corresponds to a setting section
  • the CPU 26 that executes parts presence/absence determination processing corresponds to a determination section
  • the suction nozzle 33 corresponds to the holding member
  • the mounting section 30 (excluding the mark camera 34) corresponds to the mounting section
  • the mark camera 34 corresponds to the imaging section.
  • the control device 25 of the mounting apparatus 20 described above uses machine learning to create a brightness histogram in which the frequency of brightness values is aggregated according to the presence or absence of a solder ball SB (component), and sets a part of the brightness histogram to the determination target class JC. Then, the presence or absence of the solder ball SB is determined by comparing the frequency Nj belonging to the determination target class JC among the luminance values of each pixel of the target image to be inspected with the frequencies N0 and N1 of the determination target class JC in the brightness histogram.
  • the determination target class JC is set based on the frequency difference d between the presence and absence of the solder ball SB belonging to each class of the histogram, only the class in which the influence of the presence or absence of the solder ball SB appears in the frequency difference d is used for judgment. can do.
  • the class with the largest frequency difference d is set as the determination target class JC, the presence or absence of the solder ball SB can be appropriately determined using only the class in which the influence of the presence or absence of the solder ball SB is noticeable. .
  • control device 25 counts the frequency Nj of brightness values belonging to the determination target class JC from each pixel of the target image, and does not count the frequency of brightness values belonging to other classes. Therefore, only the frequency Nj of brightness values necessary for determination is counted, and the frequency of unnecessary brightness values is not counted, so that the presence or absence of the solder ball SB can be quickly determined.
  • the mounting apparatus 20 images the substrate B with the mark camera 34 to determine whether or not the solder balls SB are mounted. Therefore, it is possible to efficiently perform the process of mounting the solder balls SB on the substrate B and the process of inspecting whether the solder balls SB have been reliably mounted.
  • the determination target class JC is set to be one in which the frequency difference d between the presence and absence of the solder ball SB is the maximum, but the present invention is not limited to this.
  • One judgment target class JC may be set, or a plurality of judgment target classes JC may be set.
  • a predetermined number of classes having the largest frequency difference d may be set as the determination target class JC.
  • the two classes 4 and 8 may be set as the determination target class JC.
  • one or more classes in which the frequency difference d is greater than or equal to a predetermined value may be set as the determination target class JC.
  • the frequency Nj of the brightness value belonging to the judgment target class JC is counted, and the frequency of the brightness value belonging to other classes is not counted, but the present invention is not limited to this, and all frequencies of each class are counted and Then, the presence or absence of a part may be determined only from the frequency of the determination target class JC.
  • FIG. 13 is a flowchart illustrating determination target class setting processing in a modified example.
  • the same step numbers are given to the same processes as in the embodiment, and the description thereof will be omitted.
  • the CPU 26 displays the brightness histogram (for example, FIG. 10) on the display screen of the display operation unit 28 and instructs setting (selection) of the judgment target class JC (S162), and instructs the setting. is input (S164).
  • the CPU 26 may display a message on the display screen of the display operation unit 28 to instruct the setting of the determination target class JC by selecting one or more (at least some) classes.
  • the CPU 26 sets one or more classes based on the input setting instructions as the determination target class JC (S170b).
  • the intention and experience of the operator (user) can be reflected in the setting of the determination target class JC, so that erroneous determination of the presence or absence of the solder ball SB (component) can be more appropriately prevented.
  • the determination target class set by the control device 25 (CPU 26) based on the power difference d may be displayed on the display screen so that the operator can change it.
  • the present disclosure is applied to determining the presence or absence of the solder ball SB, but is not limited thereto, and may be applied to determining the presence or absence of the component P mounted on the board B.
  • the present invention is not limited to the presence or absence of the component P mounted on the board B, and may be applied to the determination of the presence or absence of the component P being sucked by the suction nozzle 33.
  • an image captured by the parts camera 23 of the solder ball SB being sucked by the solder ball SB suction nozzle 33 may be used as the target image to determine the presence or absence of the solder ball SB in each suction port 33a. .
  • the present invention is not limited to the part P, and may be applied to inspecting the presence or absence of objects other than the part P. Further, although the determination using the brightness value of each pixel has been exemplified, the determination is not limited to the brightness value, and any feature value that can be obtained from each pixel may be used.
  • control device 25 of the mounting apparatus 20 inspects the presence or absence of components, but the present invention is not limited to this, and a dedicated inspection device such as the mounting inspection device 14 may inspect the presence or absence of components.
  • a dedicated inspection device such as the mounting inspection device 14 may inspect the presence or absence of components.
  • an external inspection device such as the management device 18 may acquire a target image captured by the mark camera 34 of the board B after mounting, and inspect whether the component is present or not.
  • the control device 25 performs the determination target class setting process and the parts presence/absence determination process, but the process is not limited to being performed by the same device, and may be performed by separate devices.
  • an external device such as the management device 18 may create a brightness histogram by machine learning, the control device 25 may obtain the result, and set the determination target class JC and the frequencies N0 and N1.
  • the management device 18 may perform the determination target class setting process, and the control device 25 may obtain the result.
  • the component presence/absence determination process may be performed by the control device 25 as in the embodiment. In this way, the determination target class setting process and the component presence/absence determination process may be shared by a plurality of devices, and an inspection system including the plurality of devices may be used.
  • the inspection device of the present disclosure may be configured as follows.
  • the setting unit may set the determination target class based on a difference in frequency depending on the presence or absence of an object belonging to each class of the frequency distribution. In this way, since it is possible to make a determination using only the class in which the influence of the presence or absence of the object appears in the difference in frequency, it is possible to more appropriately prevent erroneous determination of the presence or absence of the object.
  • the inspection device of the present disclosure includes a display unit that displays the frequency distribution, and an input unit that inputs setting instructions from a user, and the setting unit is configured to configure each of the frequency distributions displayed on the display unit.
  • the determination target class may be set based on a setting instruction input to the input unit among the classes. In this way, the intention and experience of the user can be reflected in the setting of the determination target class, so that erroneous determination of the presence or absence of the object can be more appropriately prevented.
  • the determination unit counts the frequency of feature values belonging to the determination target class from each pixel of the target image, and does not count the frequency of feature values belonging to classes other than the determination target class. You can also use it as In this way, only the frequencies of feature values necessary for determination are counted, and the frequencies of unnecessary feature values are not counted, so that the presence or absence of an object can be quickly determined.
  • a mounting device of the present disclosure includes any of the inspection devices described above, a holding member that holds an object, a mounting unit that mounts the object held by the holding member on a board, and a mounting unit that mounts the object held by the holding member on a board, and a mounting unit that mounts the object held by the holding member on a board.
  • the present invention further comprises: an imaging unit that captures a subsequent image of the substrate as the target image. Therefore, similarly to the above-mentioned inspection device, it is possible to more appropriately determine the presence or absence of an object using an image.
  • the inspection method of the present disclosure is an inspection method that inspects the presence or absence of a target object by image processing, and includes: (a) machine learning using images in which the presence or absence of the target object is associated with the characteristics of each pixel of the image; creating or acquiring a frequency distribution in which the frequency of values is aggregated according to the presence or absence of an object, and setting a part of each class of the frequency distribution as a determination target class; (b) acquiring a target image for inspection; By comparing the frequency of the feature value belonging to the judgment target class among the feature values in each pixel of the target image with the frequency of the presence/absence of the object belonging to the judgment target class in the frequency distribution, The gist includes a step of determining whether or not an object exists.
  • the inspection method of the present disclosure can more appropriately determine the presence or absence of a target object using an image, similar to the above-described inspection device.
  • various aspects of the above-mentioned inspection apparatus may be adopted, or steps for realizing each function may be added.
  • the present disclosure can be used in the technical field of inspecting the presence or absence of a target object by image processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

画像処理により対象物の有無を検査する検査装置は、対象物の有無が対応付けられた画像を用いた機械学習により、画像の各画素における特徴値の度数を対象物の有無別に集計した度数分布を作成または取得し、度数分布の各階級のうち一部を判定対象階級に設定する設定部と、検査の対象画像を取得し、対象画像の各画素における特徴値のうち判定対象階級に属する特徴値の度数を、度数分布の判定対象階級に属する対象物の有無別の度数と比較することで、対象画像内の対象物の有無を判定する判定部と、を備える。

Description

検査装置、実装装置および検査方法
　本明細書は、検査装置、実装装置および検査方法を開示する。
　従来、基板などに搭載（実装）された部品の有無の検査を、基板を撮像した画像を用いて行う検査装置が提案されている（例えば特許文献１参照）。この検査装置では、部品が搭載される前の搭載前画像から各画素の輝度値を取得し、輝度値毎の画素数を示すヒストグラムを生成して閾値を設定する。そして、搭載前画像の各画素について、閾値以下の輝度値の画素を基板として識別し、閾値よりも大きな輝度値の画素を基板以外として識別することにより、基板以外をマスクするマスク画像を生成する。そのマスク画像を用いて、搭載前画像と搭載後画像の差分画像から部品の載置面に相当する特定領域を抽出し、特定領域における輝度差により部品の搭載有無を判定している。
特開２０１７－０３４２０２号公報
　上述した検査装置では、ヒストグラムのピーク値から所定輝度だけ高い輝度値に閾値を設定し、その閾値を用いて基板と基板以外とを識別している。このように輝度値などの特徴値のヒストグラムを用いて部品と部品以外とを識別することにより、部品の有無を判定することが考えられる。しかし、画像を撮像する際の部品や周囲の背景への光の当り具合や反射具合によって輝度のバラツキが大きくなると、似通ったピーク値が複数現れる場合があり、部品の有無を適切に判定できずに誤判定するおそれがある。
　本開示は、画像を用いた対象物の有無の判定をより適切に行うことを主目的とする。
　本開示は、上述の主目的を達成するために以下の手段を採った。
　本開示の検査装置は、
　画像処理により対象物の有無を検査する検査装置であって、
　対象物の有無が対応付けられた画像を用いた機械学習により、前記画像の各画素における特徴値の度数を対象物の有無別に集計した度数分布を作成または取得し、前記度数分布の各階級のうち一部を判定対象階級に設定する設定部と、
　検査の対象画像を取得し、該対象画像の各画素における特徴値のうち前記判定対象階級に属する特徴値の度数を、前記度数分布の前記判定対象階級に属する対象物の有無別の度数と比較することで、前記対象画像内の対象物の有無を判定する判定部と、
　を備えることを要旨とする。
　本開示の検査装置は、機械学習により画像の各画素における特徴値の度数を対象物の有無別に集計した度数分布を作成または取得し、度数分布の各階級のうち一部を判定対象階級に設定する。そして、検査の対象画像の各画素における特徴値のうち判定対象階級に属する特徴値の度数を、度数分布の判定対象階級に属する対象物の有無別の度数と比較することで、対象画像内の対象物の有無を判定する。このように、対象物の有無別に集計した度数分布の全ての階級を用いずに一部の判定対象階級を用いることで、対象物の有無による度数への影響が顕著な階級に絞った判定が可能となり誤判定を防止することができる。したがって、画像を用いた対象物の有無の判定をより適切に行うことができる。
実装システム１０の構成の概略を示す構成図。 実装装置２０の構成の概略を示す構成図。 はんだボールＳＢを供給するトレイＴの一例を示す説明図。 はんだボールＳＢを吸着する吸着ノズル３３の一例を示す説明図。 判定対象階級設定処理の一例を示すフローチャート。 部品なしの画像の一例を示す説明図。 部品なしの輝度ヒストグラムの一例を示す説明図。 部品ありの画像の一例を示す説明図。 部品ありの輝度ヒストグラムの一例を示す説明図。 判定対象階級ＪＣの一例を示す説明図。 部品有無判定処理の一例を示すフローチャート。 判定対象階級ＪＣにおける判定の一例を示す説明図。 変形例の判定対象階級設定処理を示すフローチャート。
　次に、本開示の実施の形態を図面を参照しながら説明する。図１は、実装システム１０の構成の概略を示す構成図である。図２は、実装装置２０の構成の概略を示す構成図である。図３は、はんだボールＳＢを供給するトレイＴの一例を示す説明図である。図４は、はんだボールＳＢを吸着する吸着ノズル３３の一例を示す説明図である。なお、本実施形態において、左右方向（Ｘ軸）、前後方向（Ｙ軸）及び上下方向（Ｚ軸）は、図１，図２に示した通りとする。
　実装システム１０は、図１に示すように、印刷装置１１と、印刷検査装置１２と、実装装置２０と、実装検査装置１４と、管理装置１８とを備える。印刷装置１１は、基板Ｂに粘性流体であるはんだペーストなどを印刷する装置である。印刷検査装置１２は、基板Ｂに印刷されたはんだペーストの状態を検査する装置である。実装装置２０は、基板Ｂに部品Ｐを実装する装置である。実装検査装置１４は、基板Ｂに実装された部品Ｐの状態を検査する装置である。なお、実装対象物は、平板状の基板Ｂとするが、これに限られず、３次元形状の基材などでもよい。
　実装装置２０は、図２に示すように、基板処理部２１と、部品供給部２２と、制御装置２５と、実装部３０とを備える。実装装置２０は、部品Ｐを基板Ｂに配置する実装処理を実行する機能のほか、部品Ｐが実装された基板Ｂを検査する検査処理を実行する機能も有する。基板処理部２１は、基板Ｂの搬入、搬送、実装位置での固定、搬出を行うユニットである。基板処理部２１は、図２の前後に間隔を開けて設けられ左右方向に架け渡された１対のコンベアベルトを備え、コンベアベルトの駆動により基板Ｂを搬送する。
　部品供給部２２は、複数のテープフィーダ２２ａと、トレイフィーダ２２ｂとを備え、実装装置２０の前側に設けられている。テープフィーダ２２ａは、左右方向（Ｘ軸方向）に並ぶように配置され、長手方向に所定間隔をおいて形成された複数の凹部にそれぞれ部品が収容されたテープをリールから前後方向（Ｙ軸方向）に送り出すことにより部品を供給する。トレイフィーダ２２ｂは、部品が収容されたトレイＴを前後方向（Ｙ軸方向）に送り出すことにより部品を供給する。図３に示すように、トレイＴの上面には、例えば格子状に形成された複数の凹部Ｃに部品Ｐとしての球状のはんだボールＳＢが収容されている。トレイフィーダ２２ｂは、このトレイＴを送り出してはんだボールＳＢを供給する。
　実装部３０は、部品Ｐを部品供給部２２から採取し、基板処理部２１に固定された基板Ｂへ配置するユニットである。実装部３０は、ヘッド移動部３１と、実装ヘッド３２と、吸着ノズル３３と、マークカメラ３４とを備える。ヘッド移動部３１は、ガイドレールに導かれてＸＹ方向へ移動するスライダと、スライダを駆動するモータとを備える。実装ヘッド３２は、スライダに取り外し可能に装着され、ヘッド移動部３１によりＸＹ方向へ移動する。実装ヘッド３２は、その下面側に１以上の吸着ノズル３３（例えば、１個や４個、８個、１６個など）が取り外し可能に装着される。吸着ノズル３３は、負圧を利用して部品Ｐを採取し保持する保持部材である。
　マークカメラ３４は、実装ヘッド３２（又はスライダ）の下面に下方が撮像範囲となるように配設されており、実装ヘッド３２の移動に伴ってＸＹ方向へ移動する。マークカメラ３４は、基板Ｂに付された基準マークや、基板Ｂに実装された部品Ｐなどを上方から撮像し、その画像を制御装置２５へ出力する。
　また、実装装置２０は、パーツカメラ２３やノズルストッカ２４、表示操作部２８なども備える。パーツカメラ２３は、部品供給部２２と基板処理部２１との間に上方が撮像範囲となるように配設されている。パーツカメラ２３は、部品Ｐを保持した実装ヘッド３２がパーツカメラ２３の上方を通過する際に部品Ｐを撮像し、その画像を制御装置２５へ出力する。ノズルストッカ２４は、複数種類の吸着ノズル３３をストックするものであり、部品供給部２２と基板処理部２１との間に配設されている。なお、実装ヘッド３２の吸着ノズル３３は、部品Ｐの種類や大きさなどに応じて適宜交換される。例えば、実装対象がはんだボールＳＢの場合、はんだボールＳＢ用の吸着ノズル３３（図４参照）に交換される。この吸着ノズル３３は、複数（図４では１６個）の吸着口３３ａが格子状に形成されており、各吸着口３３ａでトレイＴの凹部Ｃ内のはんだボールＳＢをそれぞれ吸着する。
　表示操作部２８は、実装装置２０の前部に設けられており（図１参照）、例えばタッチパネルと操作ボタンなどを備える。この表示操作部２８では、作業者への各種画像や各種情報の表示や、作業者による選択操作などの各種操作指示の入力が行われる。
　制御装置２５は、ＣＰＵ２６を中心とするマイクロプロセッサとして構成されており、各種データを記憶する記憶部２７などを備える。制御装置２５は、実装装置２０の装置全体を制御する機能のほか、吸着ノズル３３における部品Ｐの吸着有無や部品Ｐの形状が許容範囲内であるかなどの検査や、基板Ｂへの部品Ｐの実装状態（実装有無）などの検査を実行する。制御装置２５は、基板処理部２１や、部品供給部２２、パーツカメラ２３、表示操作部２８、実装部３０へ制御信号を出力し、基板処理部２１や部品供給部２２、パーツカメラ２３、表示操作部２８、実装部３０から信号を入力する。記憶部２７には、部品Ｐのサイズや形状などに関する情報や、部品Ｐを基板Ｂへ実装する実装順、部品Ｐの配置位置、部品Ｐを採取可能な吸着ノズル３３の種類などが記憶されている。
　管理装置１８は、実装システム１０の各装置の情報を管理するコンピュータである。管理装置１８は、制御部と、記憶部と、表示装置と、入力装置とを備える。制御部は、ＣＰＵを中心とするマイクロプロセッサとして構成されている。記憶部には、実装システム１０の生産を管理する情報や各装置で行われる各種処理に関する情報が記憶されている。
　以下は、こうして構成された実装装置２０の動作の説明であり、部品ＰとしてはんだボールＳＢの実装処理と実装後の検査処理を例示する。実装処理では、制御装置２５のＣＰＵ２６は、はんだボールＳＢ用の吸着ノズル３３が装着された実装ヘッド３２がトレイフィーダ２２ｂ（トレイＴ）の部品供給位置の上方へ移動するようにヘッド移動部３１を制御する。次に、ＣＰＵ２６は、吸着ノズル３３を下降させてトレイＴの凹部Ｃ内のはんだボールＳＢを吸着するように実装ヘッド３２を制御する。続いて、ＣＰＵ２６は、実装ヘッド３２がパーツカメラ２３の上方に移動するようにヘッド移動部３１を制御し、吸着ノズル３３に吸着されたはんだボールＳＢをパーツカメラ２３に撮像させる。また、ＣＰＵ２６は、撮像された画像を処理して、吸着ノズル３３に吸着された各はんだボールＳＢの位置ずれなどを判定し、位置ずれに基づいて目標実装位置を補正する。例えば、複数のはんだボールＳＢの各々の位置ずれが全体として小さくなるように目標実装位置が補正される。そして、ＣＰＵ２６は、実装ヘッド３２が基板Ｂの上方へ移動するようにヘッド移動部３１を制御し、吸着ノズル３３を下降させて吸着を解除することではんだボールＳＢを基板Ｂ上の目標実装位置に実装するように実装ヘッド３２を制御する。
　また、ＣＰＵ２６は、はんだボールＳＢの実装が完了すると、その実装状態を検査する検査処理を行う。検査処理では、はんだボールＳＢの実装後にマークカメラ３４により上方から画像を撮像させ、その画像から取得した画素の輝度値を、予め機械学習により設定された判定対象階級ＪＣにおけるはんだボールＳＢの有無別の輝度値と比較することにより、はんだボールＳＢの有無の検査が行われる。なお、実装完了後に、はんだボールＳＢが基板Ｂ上にない状態は、例えば吸着ノズル３３の吸着口３３ａからはんだボールＳＢが離れずに吸着されたまま（持ち帰り部品）となることなどにより生じる。以下、検査処理の説明の前に、機械学習により判定対象階級ＪＣを設定する処理を説明する。図５は、判定対象階級設定処理の一例を示すフローチャートである。
　判定対象階級設定処理では、ＣＰＵ２６は、まず、はんだボールＳＢが実装されていない基板Ｂをマークカメラ３４で撮像した部品なしの学習画像を取得し（Ｓ１００）、部品なしの学習画像のうち検査領域Ａにおける各画素の輝度値を取得する（Ｓ１１０）。なお、ＣＰＵ２６は、部品なしの学習画像を複数取得し、各画像の検査領域Ａからそれぞれ各画素の輝度値を取得すればよい。次に、ＣＰＵ２６は、取得した各画素の輝度値を所定の輝度階級毎に集計して、部品なしの輝度ヒストグラムを作成する（Ｓ１２０）。
　続いて、ＣＰＵ２６は、はんだボールＳＢ（部品Ｐ）が実装された基板Ｂをマークカメラ３４で撮像した部品ありの学習画像を取得し（Ｓ１３０）、部品ありの学習画像のうち検査領域Ａにおける各画素の輝度値を取得する（Ｓ１４０）。なお、ＣＰＵ２６は、部品ありの学習画像を複数取得し、各画像の検査領域Ａからそれぞれ各画素の輝度値を取得すればよい。次に、ＣＰＵ２６は、取得した各画素の輝度値を所定の輝度階級毎に集計して、部品ありの輝度ヒストグラムを作成する（Ｓ１５０）。なお、Ｓ１００，Ｓ１３０では、基板ＢへのはんだボールＳＢ（部品Ｐ）の実装前後でマークカメラ３４でそれぞれ画像を撮像することにより、部品なしの学習画像と部品ありの学習画像を取得すればよい。
　ここで、図６は、部品なしの画像の一例を示す説明図であり、図７は、部品なしの輝度ヒストグラムの一例を示す説明図である。また、図８は、部品ありの画像の一例を示す説明図であり、図９は、部品ありの輝度ヒストグラムの一例を示す説明図である。図６は、はんだボールＳＢが基板Ｂ上に実装される前に撮像された学習画像を示し、図８は、はんだボールＳＢが基板Ｂ上に実装された後に撮像された学習画像を示す。本実施形態の各画像は、例えば各画素が値０～２５５の２５６階調の輝度値を有するグレースケール画像とし、検査処理における検査領域Ａを点線で示す（図６，図８参照）。検査処理では、検査領域Ａ内の各画素の輝度値を用いてはんだボールＳＢの有無が判定される。検査領域Ａは、実装位置がバラついても領域内にはんだボールＳＢが収まるようにするため、画像に写るはんだボールＳＢよりも若干大きな領域に設定されている（図８参照）。このため、画像内の検査領域Ａには、はんだボールＳＢ以外の背景として、基板Ｂの上面や周りの電極Ｅに印刷（塗布）されたはんだペーストＳＰなどが写り込む。
　図６の部品なしの画像では、はんだボールＳＢがない分、検査領域Ａ内の基板Ｂを示す画素から暗い輝度値が多く取得される。また、検査領域Ａ内のはんだペーストＳＰを示す画素から若干明るい輝度値が取得される。一方、図８の部品ありの画像では、はんだボールＳＢがあるため、はんだボールＳＢの中心部分の画素から明るい輝度値が多く取得され、はんだボールＳＢの周縁部分の画素から中心部分よりも若干暗い輝度値が取得される。なお、周縁部分でも、格子状に実装された隣のはんだボールＳＢからの反射光を受けて、所々明るい輝度値が取得される。また、はんだボールＳＢがあっても、それ以外の背景から暗い輝度値が取得される。輝度値の度数分布を示すヒストグラムでは、値０～２５５の輝度値を複数の階級（輝度階級ともいう）に分けて、各階級に属する輝度の度数が集計されている。本実施形態では、輝度値を値３２ずつの８つの輝度階級１～８に分けるものを例示するが、８つに限られない。部品なし場合、図７に示すように、輝度階級４で度数が最も多く、輝度階級１，５，６で比較的度数が多く、その他の輝度階級で度数が少ない学習結果となった。一方、部品ありの場合、図９に示すように、輝度階級８で度数が最も多く、輝度階級５，６で比較的度数が多く、その他の階級で度数が少ない学習結果となった。なお、はんだボールＳＢ以外の背景の影響により、輝度階級１でも度数が現れた。
　制御装置２５は、こうして作成した輝度ヒストグラムにおける部品有無の度数差ｄが最大の階級を選択する（Ｓ１６０）。続いて、制御装置２５は、選択した階級を判定対象階級ＪＣに設定し（Ｓ１７０）、その判定対象階級ＪＣと、判定対象階級ＪＣにおける部品有無別の度数Ｎ０，Ｎ１を記憶部２７に記憶して（Ｓ１８０）、本処理を終了する。
　図１０は、判定対象階級ＪＣの一例を示す説明図である。図１０では、図７，図８で例示した棒グラフの輝度ヒストグラムを、度数折れ線グラフとしてまとめて表示したものであり、部品なしを点線で示し、部品ありを一点鎖線で示す。また、輝度階級毎に部品ありの度数と部品なしの度数との差分として算出される度数差ｄを度数差ｄ１～ｄ８とするが、度数差ｄ３は略値０であるため図示を省略する。この例では、輝度階級８の度数差ｄ８が最大となり、判定対象階級ＪＣに輝度階級８が設定される。また、輝度階級８における部品なしの度数Ｎ０と、部品ありの度数Ｎ１とが記憶部２７に記憶される。
　次に、検査処理における部品有無の判定処理を説明する。図１１は部品有無判定処理の一例を示すフローチャートである。部品有無判定処理では、ＣＰＵ２６は、まず、はんだボールＳＢ（対象部品）が実装された実装後の基板Ｂをマークカメラ３４で撮像して、検査の対象画像を取得する（Ｓ２００）。次に、ＣＰＵ２６は、対象画像における検査領域Ａ内の各画素の輝度値を取得し、輝度値が判定対象階級ＪＣに属する画素の度数Ｎｊをカウントする（Ｓ２１０）。Ｓ２１０では、ＣＰＵ２６は、輝度値が判定対象階級ＪＣに属する画素の度数のみをカウントし、判定対象階級ＪＣ以外の他の階級については度数のカウントを行わない。
　続いて、ＣＰＵ２６は、カウントした度数Ｎｊを、学習結果の判定対象階級ＪＣの度数即ち判定対象階級ＪＣにおける部品なしの度数Ｎ０と部品ありの度数Ｎ１と比較して（Ｓ２２０）、度数Ｎｊが部品なしの度数Ｎ０よりも部品ありの度数Ｎ１に近いか否かを判定する（Ｓ２３０）。ＣＰＵ２６は、度数Ｎｊが部品ありの度数Ｎ１に近いと判定すると、対象部品あり即ちはんだボールＳＢが実装されたと判定して（Ｓ２４０）、本処理を終了する。一方、ＣＰＵ２６は、度数Ｎｊが度数Ｎ１ではなく部品なしの度数Ｎ０に近いと判定すると、対象部品なし即ちはんだボールＳＢが実装されておらず実装エラーであると判定して（Ｓ２５０）、本処理を終了する。なお、ＣＰＵ２６は、実装エラーと判定した場合、その旨を表示操作部２８に表示して作業者にエラーを報知する。
　図１２は、判定対象階級ＪＣにおける判定の一例を示す説明図である。なお、図１２では、説明の便宜上、図１０で示した学習結果としての度数折れ線グラフと共に、検査対象の画像の度数折れ線グラフを示す。ただし、本実施形態では輝度値が判定対象階級ＪＣ以外の階級に属する画素の度数はカウントしないため、実際には度数折れ線グラフ（度数分布）は作成されない。図示するように、判定対象階級ＪＣの度数Ｎｊは、部品なしの度数Ｎ０よりも部品ありの度数Ｎ１に近いものとなっている。このため、この例では、対象部品あり即ちはんだボールＳＢが実装されたと判定される。
　ここで、判定対象階級ＪＣ以外の他の階級の度数を含めた輝度ヒストグラム全体で対象部品の有無を判定することも考えられる。しかし、そのようにすると、例えば図１２の輝度階級２，７では検査対象の度数が部品有無の度数のいずれにも近く、輝度階級３では検査対象の度数が部品有無の度数のいずれとも乖離して、判定が困難となる。また、輝度階級５では検査対象画像の度数が部品なしの度数により近いため、誤判定するおそれがある。そこで、本実施形態では、輝度ヒストグラムのうちはんだボールＳＢの輝度の影響が最も大きい輝度階級８のみを用いて、はんだボールＳＢの有無を判定するのである。これにより、はんだボールＳＢ以外の背景の影響を排除することができるから、誤判定するのを防止して、はんだボールＳＢの有無を精度よく判定することができる。
　ここで、本実施形態の構成要素と本開示の構成要素との対応関係を明らかにする。本実施形態の制御装置２５が本開示の検査装置に相当し、判定対象階級設定処理を実行するＣＰＵ２６が設定部に相当し、部品有無判定処理を実行するＣＰＵ２６が判定部に相当する。吸着ノズル３３が保持部材に相当し、実装部３０（マークカメラ３４を除く）が実装部に相当し、マークカメラ３４が撮像部に相当する。また、判定対象階級設定処理や部品有無判定処理を説明することにより、本開示の検査方法の一例も明らかにしている。
　以上説明した実装装置２０の制御装置２５では、機械学習により輝度値の度数をはんだボールＳＢ（部品）の有無別に集計した輝度ヒストグラムを作成し、そのうち一部を判定対象階級ＪＣに設定する。そして、検査の対象画像の各画素における輝度値のうち判定対象階級ＪＣに属する度数Ｎｊを、輝度ヒストグラムの判定対象階級ＪＣの度数Ｎ０，Ｎ１と比較することではんだボールＳＢの有無を判定する。このように、輝度ヒストグラムの一部の判定対象階級ＪＣを用いることで、はんだボールＳＢの有無による度数への影響が顕著な階級に絞った判定が可能となり誤判定を防止することができる。
　また、ヒストグラムの各階級に属するはんだボールＳＢの有無別の度数差ｄに基づいて判定対象階級ＪＣを設定するため、はんだボールＳＢの有無による影響が度数差ｄに現れた階級のみを用いて判定することができる。特に、度数差ｄが最大の階級を判定対象階級ＪＣに設定するから、はんだボールＳＢの有無による影響が顕著に現れた階級のみを用いて、はんだボールＳＢの有無を適切に判定することができる。
　また、制御装置２５は、対象画像の各画素から判定対象階級ＪＣに属する輝度値の度数Ｎｊをカウントし、他の階級に属する輝度値の度数はカウントしない。このため、判定に必要な輝度値の度数Ｎｊのみをカウントして、不要な輝度値の度数をカウントしないから、はんだボールＳＢの有無を速やかに判定することができる。
　また、実装装置２０は、実装部３０の吸着ノズル３３で吸着したはんだボールＳＢを基板Ｂに実装した後に、マークカメラ３４により基板Ｂを撮像して、はんだボールＳＢの実装有無を判定する。このため、はんだボールＳＢの基板Ｂへの実装処理と、確実に実装されたか否かの検査処理とを効率よく行うことができる。
　なお、本開示は上述した実施形態に何ら限定されることはなく、本開示の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
　上述した実施形態では、はんだボールＳＢの有無別の度数差ｄが最大となる１の判定対象階級ＪＣを設定したが、これに限られず、部品有無の輝度の傾向即ち度数差ｄに基づいて少なくとも１の判定対象階級ＪＣを設定すればよく、複数の判定対象階級ＪＣを設定してもよい。例えば、度数差ｄが大きい方から所定数の階級を判定対象階級ＪＣに設定してもよい。図１０の例では、大きい方から度数差ｄ８，度数差ｄ４の順であるため、その２つの階級４，８を判定対象階級ＪＣに設定してもよい。また、度数差ｄが所定値以上の１または複数の階級を判定対象階級ＪＣに設定してもよい。複数の判定対象階級ＪＣを用いることにより、部品有無の判定精度をより向上させることができる。
　実施形態では、判定対象階級ＪＣに属する輝度値の度数Ｎｊをカウントし、他の階級に属する輝度値の度数はカウントしないものとしたが、これに限られず、各階級の度数を全てカウントした上で、判定対象階級ＪＣの度数のみから部品の有無を判定してもよい。
　実施形態では、判定対象階級ＪＣを度数差ｄに基づいて設定したが、これに限られず、以下のようにしてもよい。図１３は、変形例の判定対象階級設定処理を示すフローチャートである。変形例では、実施形態と同じ処理には同じステップ番号を付して説明を省略する。この処理では、ＣＰＵ２６は、輝度ヒストグラムを作成すると、表示操作部２８の表示画面に輝度ヒストグラム（例えば図１０）を表示して判定対象階級ＪＣの設定（選択）を指示し（Ｓ１６２）、設定指示が入力されるのを待つ（Ｓ１６４）。なお、ＣＰＵ２６は、表示操作部２８の表示画面に、１または複数（少なくとも一部）の階級を選択することで判定対象階級ＪＣの設定指示を行うようにメッセージを表示すればよい。
　そして、ＣＰＵ２６は、入力された設定指示に基づく１または複数の階級を判定対象階級ＪＣに設定する（Ｓ１７０ｂ）。これにより、作業者（使用者）の意思や経験を判定対象階級ＪＣの設定に反映することができるから、はんだボールＳＢ（部品）の有無の誤判定をより適切に防止することができる。なお、制御装置２５（ＣＰＵ２６）が度数差ｄに基づいて設定した判定対象階級を表示画面に表示して、作業者が変更可能としてもよい。
　実施形態では、本開示をはんだボールＳＢの有無の判定に適用したが、これに限られず、基板Ｂに実装された部品Ｐの有無の判定に適用すればよい。あるいは、基板Ｂに実装された部品Ｐの有無に限られず、吸着ノズル３３に吸着されている部品Ｐの有無の判定に適用してもよい。例えば、はんだボールＳＢ用の吸着ノズル３３ではんだボールＳＢを吸着した状態をパーツカメラ２３で撮像した画像を対象画像として、各吸着口３３ａ内のはんだボールＳＢの有無の判定に適用してもよい。また、部品Ｐに限られず、部品Ｐ以外の対象物の有無の検査に適用してもよい。また、各画素の輝度値を用いた判定を例示したが、輝度値に限られず、各画素から取得可能な特徴値を用いればよい。
　実施形態では、実装装置２０の制御装置２５が部品有無の検査を行うものを例示したが、これに限られず、実装検査装置１４など検査専用の検査装置が部品有無の検査を行ってもよい。あるいは、実装後の基板Ｂをマークカメラ３４で撮像した対象画像を管理装置１８などの外部の検査装置が取得して、部品有無の検査を行ってもよい。
　実施形態では、判定対象階級設定処理と部品有無判定処理とを制御装置２５が行うものを例示したが、両処理を同一の装置が行うものに限られず、別々の装置が行ってもよい。例えば、管理装置１８などの外部の装置が機械学習により輝度ヒストグラムを作成し、その結果を制御装置２５が取得して、判定対象階級ＪＣと度数Ｎ０，Ｎ１とを設定してもよい。あるいは、管理装置１８が判定対象階級設定処理を行い、その結果を制御装置２５が取得してもよい。そして、部品有無判定処理は、実施形態と同様に制御装置２５が行えばよい。このように、判定対象階級設定処理と部品有無判定処理とを複数の装置で分担してもよく、それらの複数の装置を備えた検査システムとしてもよい。
　ここで、本開示の検査装置は、以下のように構成してもよい。例えば、本開示の検査装置において、前記設定部は、前記度数分布の各階級に属する対象物の有無別の度数の差に基づいて前記判定対象階級を設定するものとしてもよい。こうすれば、対象物の有無による影響が度数の差に現れた階級のみを用いて判定することができるから、対象物の有無の誤判定をより適切に防止することができる。
　本開示の検査装置において、前記度数分布を表示する表示部と、使用者からの設定指示を入力する入力部と、を備え、前記設定部は、前記表示部に表示された前記度数分布の各階級のうち前記入力部に入力された設定指示に基づいて前記判定対象階級を設定するものとしてもよい。こうすれば、使用者の意思や経験を判定対象階級の設定に反映することができるから、対象物の有無の誤判定をより適切に防止することができる。
　本開示の検査装置において、前記判定部は、前記対象画像の各画素から前記判定対象階級に属する特徴値の度数をカウントし、前記判定対象階級以外の階級に属する特徴値の度数はカウントしないものとしてもよい。こうすれば、判定に必要な特徴値の度数のみをカウントして、不要な特徴値の度数をカウントしないから、対象物の有無を速やかに判定することができる。
　本開示の実装装置は、上述したいずれかの検査装置と、対象物を保持する保持部材を有し、該保持部材で保持した対象物を基板に実装する実装部と、対象物が実装された後の前記基板の画像を前記対象画像として撮像する撮像部と、を備えることを要旨とする。このため、上述した検査装置と同様に、画像を用いた対象物の有無の判定をより適切に行うことができる。
　本開示の検査方法は、画像処理により対象物の有無を検査する検査方法であって、（ａ）対象物の有無が対応付けられた画像を用いた機械学習により、前記画像の各画素における特徴値の度数を対象物の有無別に集計した度数分布を作成または取得し、前記度数分布の各階級のうち一部を判定対象階級に設定するステップと、（ｂ）検査の対象画像を取得し、該対象画像の各画素における特徴値のうち前記判定対象階級に属する特徴値の度数を、前記度数分布の前記判定対象階級に属する対象物の有無別の度数と比較することで、前記対象画像内の対象物の有無を判定するステップと、を含むことを要旨とする。本開示の検査方法は、上述した検査装置と同様に、画像を用いた対象物の有無の判定をより適切に行うことができる。この検査方法において、上述した検査装置の種々の態様を採用してもよいし、各機能を実現するようなステップを追加してもよい。
　本明細書では、出願当初の請求項５において「請求項１ないし３のいずれか１項に記載の検査装置」を「請求項１ないし４のいずれか１項に記載の検査装置」に変更した技術思想も開示されている。
　本開示は、画像処理により対象物の有無を検査する技術分野に利用可能である。
　１０　実装システム、１１　印刷装置、１２　印刷検査装置、１４　実装検査装置、１８　管理装置、２０　実装装置、２１　基板処理部、２２　部品供給部、２２ａ　テープフィーダ、２２ｂ　トレイフィーダ、２３　パーツカメラ、２４　ノズルストッカ、２５　制御装置、２６　ＣＰＵ、２７　記憶部、２８　表示操作部、３０　実装部、３１　ヘッド移動部、３２　実装ヘッド、３３　吸着ノズル、３３ａ　吸着口、３４　マークカメラ、Ａ　判定領域、Ｂ　基板、Ｃ　凹部、Ｅ　電極、Ｐ　部品、ＳＢ　はんだボール、ＳＰ　はんだペースト、Ｔ　トレイ。

Claims (6)

  1. 　画像処理により対象物の有無を検査する検査装置であって、
    　対象物の有無が対応付けられた画像を用いた機械学習により、前記画像の各画素における特徴値の度数を対象物の有無別に集計した度数分布を作成または取得し、前記度数分布の各階級のうち一部を判定対象階級に設定する設定部と、
    　検査の対象画像を取得し、該対象画像の各画素における特徴値のうち前記判定対象階級に属する特徴値の度数を、前記度数分布の前記判定対象階級に属する対象物の有無別の度数と比較することで、前記対象画像内の対象物の有無を判定する判定部と、
    　を備える検査装置。
  2. 　前記設定部は、前記度数分布の各階級に属する対象物の有無別の度数の差に基づいて前記判定対象階級を設定する、
    　請求項１に記載の検査装置。
  3. 　前記度数分布を表示する表示部と、
    　使用者からの設定指示を入力する入力部と、
    　を備え、
    　前記設定部は、前記表示部に表示された前記度数分布の各階級のうち前記入力部に入力された設定指示に基づいて前記判定対象階級を設定する、
    　請求項１に記載の検査装置。
  4. 　前記判定部は、前記対象画像の各画素から前記判定対象階級に属する特徴値の度数をカウントし、前記判定対象階級以外の階級に属する特徴値の度数はカウントしない、
    　請求項１ないし３のいずれか１項に記載の検査装置。
  5. 　請求項１ないし３のいずれか１項に記載の検査装置と、
    　対象物を保持する保持部材を有し、該保持部材で保持した対象物を基板に実装する実装部と、
    　対象物が実装された後の前記基板の画像を前記対象画像として撮像する撮像部と、
    　を備える実装装置。
  6. 　画像処理により対象物の有無を検査する検査方法であって、
    （ａ）対象物の有無が対応付けられた画像を用いた機械学習により、前記画像の各画素における特徴値の度数を対象物の有無別に集計した度数分布を作成または取得し、前記度数分布の各階級のうち一部を判定対象階級に設定するステップと、
    （ｂ）検査の対象画像を取得し、該対象画像の各画素における特徴値のうち前記判定対象階級に属する特徴値の度数を、前記度数分布の前記判定対象階級に属する対象物の有無別の度数と比較することで、前記対象画像内の対象物の有無を判定するステップと、
    　を含む検査方法。
PCT/JP2022/024498 2022-06-20 2022-06-20 検査装置、実装装置および検査方法 WO2023248281A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/024498 WO2023248281A1 (ja) 2022-06-20 2022-06-20 検査装置、実装装置および検査方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/024498 WO2023248281A1 (ja) 2022-06-20 2022-06-20 検査装置、実装装置および検査方法

Publications (1)

Publication Number Publication Date
WO2023248281A1 true WO2023248281A1 (ja) 2023-12-28

Family

ID=89379467

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/024498 WO2023248281A1 (ja) 2022-06-20 2022-06-20 検査装置、実装装置および検査方法

Country Status (1)

Country Link
WO (1) WO2023248281A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010067102A (ja) * 2008-09-12 2010-03-25 Sony Corp 物体検出装置、撮像装置、物体検出方法およびプログラム
JP2017034202A (ja) * 2015-08-06 2017-02-09 Juki株式会社 検査装置、実装装置、検査方法及びプログラム
WO2019171492A1 (ja) * 2018-03-07 2019-09-12 株式会社日立製作所 予測業務支援装置および予測業務支援方法
WO2021205578A1 (ja) * 2020-04-08 2021-10-14 株式会社Ｆｕｊｉ 画像処理装置および実装装置、画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010067102A (ja) * 2008-09-12 2010-03-25 Sony Corp 物体検出装置、撮像装置、物体検出方法およびプログラム
JP2017034202A (ja) * 2015-08-06 2017-02-09 Juki株式会社 検査装置、実装装置、検査方法及びプログラム
WO2019171492A1 (ja) * 2018-03-07 2019-09-12 株式会社日立製作所 予測業務支援装置および予測業務支援方法
WO2021205578A1 (ja) * 2020-04-08 2021-10-14 株式会社Ｆｕｊｉ 画像処理装置および実装装置、画像処理方法

Similar Documents

Publication Publication Date Title
EP3037776B1 (en) Substrate production work method, substrate imaging condition determination method, and substrate production work device
JP4767995B2 (ja) 部品実装方法、部品実装機、実装条件決定方法、実装条件決定装置およびプログラム
JP4674220B2 (ja) 部品移載装置、表面実装機、及び電子部品検査装置
EP3119174B1 (en) Mounting misalignment correction apparatus and component mounting system
CN105209891B (zh) 元件安装机
JP6830538B2 (ja) 対基板作業管理システム
WO2016174763A1 (ja) 部品検査機及び部品装着機
JP2018056218A (ja) バンプ付電子部品搭載装置およびバンプ付電子部品搭載方法
WO2023248281A1 (ja) 検査装置、実装装置および検査方法
JP2017139388A (ja) 実装装置
WO2017013781A1 (ja) 部品実装機
CN110637508B (zh) 测定位置决定装置
JP7440606B2 (ja) 部品実装機および部品実装システム
JP4388423B2 (ja) 電子部品搭載装置
JP7425091B2 (ja) 検査装置及び検査方法
JP2005353750A (ja) 電子部品搭載装置の保守管理装置
JP7235603B2 (ja) 部品実装用データの変更装置、変更プログラム、及び、表面実装機
WO2021090395A1 (ja) 画像処理装置、部品実装システムおよび画像処理方法
CN115669253A (zh) 基板高度测定装置及基板高度测定方法
WO2023162142A1 (ja) 画像確認装置および画像確認方法
WO2023100247A1 (ja) 検査装置および検査方法
JPWO2019030875A1 (ja) 画像処理システムおよび部品実装機
JP7249426B2 (ja) 部品実装機
JP7148708B2 (ja) 分析装置
JP7377870B2 (ja) 実装装置及び実装装置の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22947845

Country of ref document: EP

Kind code of ref document: A1