WO2022003919A1 - 検査データ作成方法、検査データ作成装置および検査装置 - Google Patents

検査データ作成方法、検査データ作成装置および検査装置 Download PDF

Info

Publication number
WO2022003919A1
WO2022003919A1 PCT/JP2020/026087 JP2020026087W WO2022003919A1 WO 2022003919 A1 WO2022003919 A1 WO 2022003919A1 JP 2020026087 W JP2020026087 W JP 2020026087W WO 2022003919 A1 WO2022003919 A1 WO 2022003919A1
Authority
WO
WIPO (PCT)
Prior art keywords
component
similarity
image
parts
inspection data
Prior art date
Application number
PCT/JP2020/026087
Other languages
English (en)
French (fr)
Inventor
孝智 水嶋
Original Assignee
ヤマハ発動機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ発動機株式会社 filed Critical ヤマハ発動機株式会社
Priority to JP2022532968A priority Critical patent/JP7448655B2/ja
Priority to PCT/JP2020/026087 priority patent/WO2022003919A1/ja
Priority to TW110121908A priority patent/TWI841850B/zh
Publication of WO2022003919A1 publication Critical patent/WO2022003919A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P70/00—Climate change mitigation technologies in the production process for final industrial or consumer products
    • Y02P70/50—Manufacturing or production processes characterised by the final manufactured product

Definitions

  • the present invention relates to an inspection data creation method, an inspection data creation device and an inspection device, and more particularly to an inspection data creation method for setting inspection data as component data, an inspection data creation device and an inspection device.
  • the above-mentioned republication 2018/105100 gazette discloses an inspection job data creation method (inspection data creation method) for setting inspection job data as component data.
  • inspection job data creation method first, the dimensions of the electronic component are extracted from the finished product image data of the finished product substrate. Then, in this inspection job data creation method, it is inquired whether or not the dimensions of the extracted electronic components match the dimensions of the electronic components in the component library in which the component data of various types of electronic components are registered in advance. .. Then, in this inspection job data creation method, inspection data as component data is set based on the fact that the dimensions of the electronic components match.
  • the electronic parts of the parts library in which the dimensions of the extracted electronic parts and the part data of various kinds of electronic parts are registered in advance are used. Since the inspection job data (inspection data) as part data is only set based only on the fact that the dimensions match, the applicable range is narrow and the inspection job data (inspection data) as part data can be easily set. There is a problem that it is difficult.
  • the present invention has been made to solve the above-mentioned problems, and one object of the present invention is to set inspection data as component data based on simply matching dimensions.
  • the present invention provides an inspection data creation method, an inspection data creation device, and an inspection device capable of easily setting inspection data as component data.
  • the inspection data creation method includes a step of acquiring a mounted board image of a board on which a component is mounted, a step of extracting a component image of a component in the mounted board image, and a component image. Based on this, it includes a step of acquiring the similarity of parts for each part and a step of setting inspection data as part data used in an inspection device for inspecting a substrate based on the similarity of parts for each part. ..
  • a step of setting inspection data as component data used in the inspection device for inspecting the above is provided. This is different from setting inspection data as part data based solely on the fact that the dimensions match, even if the dimensions do not match perfectly, based on the similarity of the parts for each part. Inspection data can be set as data. As a result, since the applicable range can be widened, it is possible to easily set the inspection data as the part data as compared with the case where the inspection data as the part data is simply set based on the matching of the dimensions. It is possible to provide a method for creating various inspection data.
  • the similarity of the parts for each part includes a numerical value
  • the part having the highest numerical value of the similarity of the parts is used as the part data.
  • steps to set as inspection data for With this configuration, the component with the highest numerical value of the similarity of the components can be set as inspection data as component data. As a result, inspection data as component data can be set more easily.
  • the step of acquiring the similarity of the parts for each part is the image processing by the machine learning model learned in advance, the shading in the image, and the height in the image. It includes image processing using at least one of them and a step of acquiring the similarity of parts for each part by using at least one of them.
  • the parts for each part can be processed by image processing using a machine learning model learned in advance, or by using image processing using at least one of the shades in the image and the height in the image.
  • the degree of similarity can be easily obtained.
  • the image processing by the machine learning model learned in advance it is possible to easily make a highly accurate judgment (acquisition of similarity) close to the judgment of a skilled person.
  • the step of acquiring the similarity of the parts for each part includes the step of acquiring the similarity of the types of parts for each part type based on the part image. ..
  • the similarity of parts for each part based on the similarity of the types of parts for each part type.
  • the step of acquiring the similarity of the parts for each part is the similarity of the types of parts in addition to the step of acquiring the similarity of the types of parts for each type of parts based on the part image.
  • it further includes a step to acquire the similarity of the shape of the part for each part shape based on the part image.
  • the step of acquiring the similarity of the parts for each part is the step of acquiring the similarity of the parts for each part type.
  • the step of including and setting the inspection data includes a step of setting the inspection data as the part data from the registered part data of the part registration information.
  • the similarity of the shape of the part is the similarity of the outer shape of the part and the main body of the part. Includes at least one of the similarity of the components and the similarity of the terminals of the component.
  • the step for acquiring the component similarity for each component is based on the component image.
  • the width of the outer shape of the part, the length of the outer shape of the part, the thickness of the outer shape of the part, the width of the main body of the part, the length of the main body of the part, the thickness of the main body of the part, the number of terminals of the part, and the part. Includes a step to obtain at least one of the terminal pitch of the component, the width of the terminal of the component, and the length of the terminal of the component.
  • the similarity of the shape of the component can be appropriately obtained based on the pitch of the terminal of the component, the width of the terminal of the component, or the length of the terminal of the component.
  • the step of acquiring the similarity of the parts for each part is machine learning learned in advance.
  • image processing with a model the similarity of the part type for each part type is acquired, and the part shape is used by image processing using at least one of the shade in the image and the height in the image. Includes a step to get the similarity of the shape of each part.
  • the image processing by the machine learning model learned in advance is used to appropriately acquire the similarity of the component types for each component type, and the shading in the image and the height in the image are included.
  • the step for acquiring the similarity of the parts for each part is the shading in the image and the image.
  • the step for acquiring at least one of the similarity of the part type for each part type and the similarity of the shape of the part for each part shape by using image processing using at least one of the medium heights. Includes a step that considers at least one of information about the color of the substrate and information about the thickness of the solder on the substrate.
  • the board and the component can be easily distinguished. As a result, it is possible to accurately obtain the degree of similarity of the types of parts for each part type or the degree of similarity of the shapes of parts for each part shape. Further, when considering the information on the thickness of the solder on the board, since the reference of the height for distinguishing the solder on the board and the terminal of the component is known, the solder on the board and the terminal of the component can be easily distinguished. As a result, it is possible to accurately obtain the degree of similarity of the types of parts for each part type or the degree of similarity of the shapes of parts for each part shape.
  • the step of extracting the component image in the mounted board image is used in the component mounting device for mounting the component on the board, and the shape of the component and the mounting of the component. It includes a step of extracting a component image in a mounted board image based on at least one of the board data including the position and the board CAD data as the image data of the board.
  • the step of setting the inspection data is when the information of the terminal of the component set as the inspection data is different from the information of the terminal of the component acquired based on the component image. , Includes a step of creating new inspection data by overwriting the terminal information of the component set as inspection data with the terminal information of the component acquired based on the component image. With this configuration, it is possible to suppress the setting of incorrect component terminal information as inspection data.
  • the inspection data creation device extracts the component image of the component in the mounted board image and the acquisition unit that acquires the mounted board image of the board on which the component is mounted, and is based on the component image.
  • the control unit is provided with a control unit that acquires the similarity of the parts for each part and sets the inspection data as the part data used in the inspection device for inspecting the substrate based on the similarity of the parts for each part.
  • the similarity of the parts for each part is acquired based on the part image, and the substrate is inspected based on the similarity of the parts for each part.
  • a control unit for setting inspection data as component data used in the inspection device is provided.
  • the inspection data as the part data can be easily set as compared with the case where the inspection data as the part data is simply set based on the fact that the dimensions match, as in the inspection data creation method according to the first aspect. It is possible to provide an inspection data creation device capable of performing.
  • the inspection device captures a board on which components are mounted and acquires a mounted board image, and extracts a component image of the component in the mounted board image and converts it into a component image. Based on this, it is provided with a control unit that acquires the similarity of parts for each part and sets inspection data as part data based on the similarity of parts for each part.
  • the similarity of the parts for each part is acquired based on the part image, and the inspection as part data is performed based on the similarity of the parts for each part.
  • a control unit for setting data is provided.
  • a data creation method, an inspection data creation device and an inspection device can be provided.
  • FIG. 1 is a diagram for explaining acquisition of similarity of parts by an inspection data creating device according to an embodiment. It is a 2nd figure for demonstrating the acquisition of the degree of similarity of a part by the inspection data creation apparatus by one Embodiment.
  • the component mounting system 100 includes an inspection data creating device 10, a database 20, and an inspection device 30.
  • the inspection data creation device 10 is a device for creating inspection data used in the inspection device 30.
  • the inspection data creating device 10 is, for example, a personal computer configured to be capable of performing various operations.
  • the inspection data creating device 10 includes a control unit 11, a storage unit 12, an input unit 13, a display unit 14, and a communication unit 15.
  • the control unit 11 is a control circuit that controls the operation of the inspection data creation device 10.
  • the control unit 11 includes a processor such as a CPU (Central Processing Unit).
  • the storage unit 12 includes a non-volatile storage medium capable of storing various types of information (data) and reading out the stored information (data).
  • the storage unit 12 stores, for example, a mounted board image 40 acquired from the inspection device 30, inspection data 50 to be transmitted to the inspection device 30, and the like.
  • the communication unit 15 is an example of the "acquisition unit" in the claims.
  • the input unit 13 includes a mouse, a keyboard, and the like, and is configured to accept input operations by the user.
  • the display unit 14 includes, for example, a liquid crystal monitor, and displays information such as inspection data 50.
  • the communication unit 15 is configured to be able to communicate with an external device.
  • the communication unit 15 is configured to be able to communicate with the database 20 and the inspection device 30.
  • the communication unit 15 is configured to acquire the mounted board image 40 from the inspection device 30.
  • the database 20 includes a component library 21 in which component data for each component C mounted on the board B (see FIG. 2) is registered.
  • the component library 21 includes information on the type of component C, information on the shape of component C, and information on inspection of component C as component data for each component C.
  • Information on the type of component C includes, for example, information on the type of component C such as chip capacitors, chip resistors, chip inductors, chip transistors, LEDs, SOPs, BGAs, QFPs, and connectors.
  • the information on the shape of the part C is, for example, the width of the outer shape of the part C, the length of the outer shape of the part C, the thickness of the outer shape of the part C, the width of the main body of the part C, the length of the main body of the part C, and the part. Thickness of the main body of C, number of terminals (leads) of component C, pitch of terminals (leads) of component C, width of terminals (leads) of component C, length of terminals (leads) of component C, etc.
  • the inspection information of the component C includes, for example, the inspection information of the component C such as the position of the inspection frame, the inspection site, and the inspection parameter.
  • the parts library 21 is an example of "parts registration information" in the claims.
  • the inspection device 30 is a device that photographs the substrate B as an inspection target and performs various inspections on the substrate B and the component C on the substrate B.
  • the inspection device 30 constitutes a part of a board manufacturing line for manufacturing a circuit board by mounting the component C on the board B.
  • solder solder paste
  • solder printing device not shown
  • the component C is mounted (mounted) on the substrate B after solder printing by a component mounting device (not shown) (mounting step), so that the terminals of the component C are arranged on the solder.
  • the substrate B on which the component C is mounted is transferred to a reflow furnace (not shown) to melt and cure (cool) the solder (reflow process), so that the terminals of the component C are connected to the wiring of the substrate B.
  • a reflow furnace not shown
  • the solder reflow process
  • the inspection device 30 may, for example, inspect the printed state of the solder on the substrate B after the solder printing process, inspect the mounted state of the component C after the mounting process, or inspect the mounted state of the component C after the reflow process. Used for. Therefore, one or more inspection devices 30 are provided in the substrate production line. As the printing state of the solder, the printing position deviation from the design printing position, the shape, volume and height (coating amount) of the solder, the presence or absence of a bridge (short circuit), and the like are inspected.
  • the type and orientation (polarity) of the component C are appropriate, whether the amount of misalignment with respect to the design mounting position of the component C is within the allowable range, and whether the solder joint state of the terminals is normal. Inspections such as whether or not are performed. In addition, as a common inspection content between each process, foreign matter such as dust and other deposits is also detected.
  • the inspection device 30 includes a substrate transfer conveyor 31 for transporting the substrate B and a head that can move above the substrate transfer conveyor 31 in the XY direction (horizontal direction) and the Z direction (vertical direction). It includes a moving mechanism 32, a measuring unit 33 held by the head moving mechanism 32, and a control device 34 for controlling the inspection device 30.
  • the substrate transfer conveyor 31 is configured so that the substrate B can be conveyed in the horizontal direction and the substrate B can be stopped and held at a predetermined inspection position. Further, the substrate transfer conveyor 31 is configured so that the substrate B for which the inspection has been completed can be transported horizontally from a predetermined inspection position and the substrate B can be carried out from the inspection device 30.
  • the head moving mechanism 32 is provided above the substrate transfer conveyor 31, and is configured by, for example, an orthogonal 3-axis (XYZ-axis) robot using a ball screw axis and a servomotor.
  • the head moving mechanism 32 includes an X-axis motor, a Y-axis motor, and a Z-axis motor for driving these X-axis, Y-axis, and Z-axis. With these X-axis motors, Y-axis motors and Z-axis motors, the head moving mechanism 32 makes the measuring unit 33 move in the XY direction (horizontal direction) and the Z direction (vertical direction) above the substrate transfer conveyor 31 (board B). It is configured so that it can be moved to.
  • the measuring unit 33 is configured to measure (photograph) two-dimensional information (two-dimensional image) and three-dimensional information (three-dimensional image).
  • the measuring unit 33 includes a photographing unit 33a and a projection unit 33b.
  • the measuring unit 33 is moved to a predetermined position above the substrate B by the head moving mechanism 32, and by using the photographing unit 33a, the projection unit 33b, or the like, the measuring unit 33 becomes the substrate B, the component C on the substrate B, or the like. It is configured to take pictures for visual inspection.
  • the photographing unit 33a is configured to photograph the substrate B irradiated with the striped pattern light by the projection unit 33b.
  • the photographing unit 33a has an image pickup element such as a CCD image sensor and a CMOS image sensor.
  • the photographing unit 33a is configured so that the substrate B can be photographed in a substantially rectangular photographing area.
  • the optical axis 33c is arranged in the direction perpendicular to the reference plane in the horizontal direction. That is, the photographing unit 33a is configured to acquire a two-dimensional image of the upper surface of the substrate B from a position substantially vertically above.
  • the photographing unit 33a obtains a two-dimensional image under the illumination light of the projection unit 33b.
  • a plurality of projection units 33b are provided. Further, each of the plurality of projection units 33b is configured to project a measurement pattern to be photographed by the photographing unit 33a from a direction inclined with respect to the optical axis 33c direction of the photographing unit 33a. That is, the measurement unit 33 is configured to project measurement patterns from a plurality of directions to measure three-dimensional information.
  • a plurality (for example, four) of the projection units 33b are arranged so as to surround the periphery of the photographing unit 33a when viewed from above. Further, the plurality of projection units 33b are arranged at positions equidistant from the center of photography (photographing unit 33a) at intervals of substantially equal angles (approximately 90 degrees).
  • the projection unit 33b is configured to project a grid-like light-dark pattern (striped pattern light) having a sinusoidal light intensity distribution at equal intervals as a measurement pattern. Further, the projection unit 33b is configured to shift the position (phase) of the light / dark pattern for projection.
  • the control device 34 is configured to control each part of the inspection device 30.
  • the control device 34 includes a control unit 34a, a storage unit 34b, an image processing unit 34c, an imaging control unit 34d, a projection control unit 34e, and a motor control unit 34f.
  • the control unit 34a includes a processor such as a CPU that executes a logical calculation, a ROM (Read Only Memory) that stores a program that controls the CPU, and a RAM (Random Access Memory) that temporarily stores various data during the operation of the device. ) And so on.
  • the control unit 34a passes through the image processing unit 34c, the photographing control unit 34d, the projection control unit 34e, and the motor control unit 34f according to the program stored in the ROM and the software (program) stored in the storage unit 34b. It is configured to control each part of the inspection device 30. Then, the control unit 34a controls the measurement unit 33 to perform various visual inspections on the substrate B.
  • the storage unit 34b includes a non-volatile storage medium capable of storing various information (data) and reading the stored information (data).
  • the storage unit 34b stores, for example, captured image data (mounted board image 40) captured by the photographing unit 33a, inspection data 50 acquired from the inspection data creating device 10, and the like. Based on the inspection data 50, the inspection apparatus 30 performs various inspections on the substrate B and the component C on the substrate B.
  • the image processing unit 34c performs image processing on the captured image (photographed signal) captured by the photographing unit 33a, and recognizes (image recognition) the substrate B, the component C on the substrate B, and the solder joint portion (solder). It is configured to generate image data suitable for.
  • the shooting control unit 34d is configured to read the shooting signal from the shooting unit 33a at a predetermined timing based on the control signal output from the control unit 34a and output the read shooting signal to the image processing unit 34c. Has been done.
  • the projection control unit 34e is configured to control the projection by the projection unit 33b based on the control signal output from the control unit 34a.
  • the motor control unit 34f drives each servomotor of the inspection device 30 (X-axis motor, Y-axis motor and Z-axis motor of the head moving mechanism 32, and the substrate transfer conveyor 31 based on the control signal output from the control unit 34a. It is configured to control the drive of a motor (not shown) for this purpose. Further, the motor control unit 34f is configured to acquire the positions of the measurement unit 33, the substrate B, and the like based on a signal from an encoder (not shown) of each servomotor.
  • step S101 the mounted board image (completed board image) 40 of the board B on which the component C is mounted is acquired. Specifically, first, the mounted board image 40 is acquired by photographing the board B on which the component C is mounted in the inspection device 30. Then, in step S101, the mounted board image 40 acquired by the inspection device 30 is acquired by the inspection data creating device 10 via the communication unit 15.
  • the mounted board image 40 includes a three-dimensional image in which the component C has information on the three-dimensional shape of the mounted board B and a two-dimensional image in which the component C has information on the two-dimensional shape of the mounted board B. Includes.
  • step S102 the component image 41 in the mounted board image 40 is extracted.
  • the component image 41 in the mounted board image 40 is extracted based on at least one of the board data and the board CAD data.
  • the board data is used in a component mounting device (not shown) for mounting the component C on the substrate B, and is data including the shape of the component C and the mounting position of the component C.
  • the board CAD data is image data of the board B including the mounting position of the component C.
  • the component image in the mounted board image 40 is used by using at least one of the information on the mounting position of the component C included in the board data and the information on the mounting position of the component C included in the board CAD data. 41 is extracted.
  • the component image 41 includes a three-dimensional image having information on the three-dimensional shape of the component C and a two-dimensional image having information on the two-dimensional shape of the component C.
  • step S103 the similarity degree 60 of the component C for each component C is acquired based on the component image 41. Specifically, in step S103, the processes of steps S201 to S203 of FIG. 4 are performed.
  • step S201 the similarity degree 61 of the type of the part C for each part type is acquired based on the part image 41.
  • step S201 as shown in FIG. 6, the similarity degree 61 of the type of the part C for each part type is acquired by using the image processing by the machine learning model (discriminator) 70 learned in advance.
  • a part image 41 as a two-dimensional image and a three-dimensional image is input to the machine learning model 70, and the similarity degree 61 of the type of the part C for each part type is acquired as an output result.
  • the similarity degree 61 of the type of the part C for each part type is acquired as an output result.
  • step S201 the similarity degree 61 of the type of the part C for each part type is acquired as the degree of certainty (probability) for each part type.
  • the similarity degree 61 of the type of the component C for each component type includes a numerical value.
  • the machine learning model 70 can be created, for example, by training as shown in FIG. 7. That is, as shown in FIG. 7, first, the field image 71 is prepared.
  • the field-of-view image 71 is not particularly limited as long as it is an image including the component C, but for example, an image acquired by the inspection device 30 can be used.
  • the visual field image 71 includes a two-dimensional image and a three-dimensional image. Then, by cutting out (extracting) the region of the component C from the visual field image 71, the component image 72 in the visual field image 71 is acquired. At this time, the component image 72 as the two-dimensional image and the three-dimensional image is acquired from the field image 71 as the two-dimensional image and the three-dimensional image. In the process of cutting out the region of the component C, the size of the clipped image differs depending on the type and size of the component C.
  • the part image 73 of the determined size is acquired as a learning image.
  • the component image 73 as the two-dimensional image and the three-dimensional image is acquired from the component image 72 as the two-dimensional image and the three-dimensional image.
  • the type of the component C is labeled on the component image 73.
  • the trained machine learning model 70 is created by performing machine learning based on the two-dimensional image and the part image 73 as the three-dimensional image labeled with the type of the component C.
  • the machine learning model 70 can be created (constructed) by using a convolutional neural network. Further, the machine learning model 70 is learned by using various types of component images 73 such as chip capacitors, chip resistors, chip inductors, chip transistors, LEDs, SOPs, BGAs, QFPs, and connectors.
  • step S202 the similarity 62 of the shape of the component C is acquired based on the component image 41. That is, in addition to step S201 for acquiring the similarity 61 of the type of component C for each component type based on the component image 41, the component image is separate from step S201 for acquiring the similarity 61 for the type of component C. Based on 41, step S202 is performed to acquire the similarity 62 of the shape of the part C for each part shape.
  • step S202 the shape of the component C is acquired based on the component image 41. Specifically, based on the part image 41, the width W1 of the outer shape of the part C, the length L1 of the outer shape of the part C, the thickness T1 of the outer shape of the part C, the width W2 of the main body of the part C, and the part.
  • the outer shape of the component C means the entire component C including both the main body and the terminal of the component C. Further, the main body of the component C means a chip portion that does not include the terminal of the component C. Further, the terminal of the component C means an electrode (lead) portion that does not include the main body of the component C.
  • the width W1 of the outer shape of the part C, the length L1 of the outer shape of the part C, and the thickness T1 of the outer shape of the part C are obtained.
  • the width W3 and the length L3 of the terminal of the component C are acquired.
  • the image processing using the shading in the image and the height in the image is not particularly limited, but binarization processing, edge extraction processing, contour tracking processing, and the like can be used.
  • the main body and terminals of the component C can be identified by using the difference in the shade (luminance value) between the main body and the terminal of the component C and the substrate B.
  • the width W1 of the outer shape of the part C, the length L1 of the outer shape of the part C, the width W2 of the main body of the part C, and the length L2 of the main body of the part C can be acquired.
  • the main body and terminals of the component C can be identified by utilizing the difference in height between the main body and terminals of the component C and the substrate B.
  • the width W1 of the outer shape of the part C the length L1 of the outer shape of the part C, the thickness T1 of the outer shape of the part C, and the width W2 of the main body of the part C.
  • the length L2 of the main body of the component C, the thickness T2 of the main body of the component C, the number of terminals of the component C, the pitch P3 of the terminals of the component C, the width W3 of the terminals of the component C, and the terminals of the component C The length L3 and can be obtained.
  • the component image 41 as a two-dimensional image and a three-dimensional image may be used in combination.
  • the component image 41 as a two-dimensional image is masked to hide unnecessary parts (parts other than the component C) in two dimensions.
  • the shape of the component C can be obtained from the component image 41 as an image. As a result, the shape of the component C can be acquired with higher accuracy.
  • the information on the color of the substrate B and the information on the thickness of the solder on the substrate B are taken into consideration. Will be done.
  • the information regarding the color of the substrate B includes the color of the surface of the substrate B, the color of the silk print of the substrate B, and the like.
  • the information regarding the thickness of the solder of the substrate B includes the thickness of the solder of the substrate B or the thickness of the screen mask used for printing the solder.
  • the information regarding the color of the substrate B is used as auxiliary information for distinguishing the component C from the substrate B at the time of image processing using shades in the image, for example.
  • the information regarding the thickness of the solder of the substrate B is used as auxiliary information for distinguishing the terminal of the component C from the solder of the substrate B at the time of image processing using the height in the image.
  • step S202 the similarity 62 of the shape of the part C for each part shape is acquired by using the image processing using the shading in the image and the height in the image. Further, in step S202, when the similarity 62 of the shape of the component C for each component shape is acquired by using the image processing using the shading in the image and the height in the image, the information regarding the color of the substrate B, And information about the thickness of the solder on the substrate B is taken into account.
  • step S202 the similarity 62 of the shape of the part C for each part shape is acquired based on the shape of the part C.
  • the similarity 62 of the shape of the component C for each component shape is acquired for the component library 21 in which the types and shapes of the plurality of components C are registered in advance.
  • the similarity 62 in the shape of the component C includes the similarity in the outer shape of the component C, the similarity in the main body of the component C, and the similarity in the terminals of the component C.
  • the similarity 62 of the shapes of the parts C is the similarity of the width W1 of the outer shape of the part C, the similarity of the length L1 of the outer shape of the part C, and the similarity of the thickness T1 of the outer shape of the part C.
  • the degree of similarity 62 in the shapes of these parts C can be obtained as the degree of deviation between the measurement part (part C in the part image 41) and the registered part in the part library 21 by the following equation (1).
  • the similarity 62 of the shape of the part C for each part shape includes a numerical value.
  • S s 1.0-
  • X2 Value of shape of registered component.
  • the outer shape length L1 of the measurement part is 6.40 (X1)
  • the outer shape length L1 of the registered part is obtained.
  • the similarity (S s ) of the external length L1 of the component C is 1.0-
  • / 6.40 0.9843.
  • W2 of the main body of the component C in the example shown in FIG.
  • the width W2 of the main body of the measurement component is 4.37 (X1)
  • the width W2 of the main body of the registered component is Since it is 4.40 (X2)
  • the similarity (S s ) of the width W2 of the main body of the component C is 1.0-
  • /4.37 0.9931.
  • the similarity (S s ) of the number of terminals of the component C is 1.0-
  • / 6 0.8333.
  • step S203 the component type and the component shape are based on the similarity 61 of the type of the component C for each component type and the similarity 62 of the shape of the component C for each component shape.
  • the similarity degree 60 of the part C for each part C is acquired.
  • the types and shapes of the plurality of parts C are different based on the similarity 61 of the types of the parts C for each part type and the similarity 62 of the shapes of the parts C for each part shape.
  • the similarity 60 of the component C for each component C is acquired for the component library 21 registered in advance.
  • the similarity 60 of the part C is acquired for all the registered parts of the part library 21, so that the similarity 60 of the part C for each part C whose type and shape are both specified is 60. Is obtained.
  • the similarity 60 of the component C can be obtained as a comprehensive evaluation index including the evaluation index (similarity) of both the component type and the component shape by the following formula (2).
  • the similarity 60 of the component C for each component C includes a numerical value.
  • S p, S t of the equation (2), S sow, S sol, S sot, S sbw, S sbl, S sbt, S srn, S srp, S srw, S srl is between 0 and 1 or less The value.
  • the weighting coefficients a, b, c, and d can be obtained in advance by an experiment or the like. Further, when the maximum degree of similarity 60 parts C (maximum value of S p) and 100, the sum of weighting coefficients a, b, c, d becomes 100.
  • the similarity 60 of the component C is obtained by weighting and adding the similarity 61 of the type of the component C and the similarity 62 of the shape of the component C, respectively. Will be done.
  • the similarity 60 of the component C includes a group of the similarity 61 of the type of the component C, a group of the similarity of the outer shape of the component C, a group of the similarity of the main body of the component C, and the group of the component C. It is obtained by weighting and adding to the group of terminal similarity.
  • the component is used by using the image processing by the machine learning model 70 learned in advance and the image processing using at least one of the shading in the image and the height in the image.
  • the similarity 60 of the component C for each C is acquired.
  • step S104 inspection data 50 as component data used in the inspection apparatus 30 for inspecting the substrate B is set based on the similarity 60 of the component C for each component C. Will be done. Specifically, in step S104, the component C having the highest numerical value of the similarity 60 of the component C is set as the inspection data 50 as the component data from the registered component data of the component library 21. In the example shown in FIG. 10, the component (registered component) C of "SOP14pin-p1.27-L6.5 x W4.4" is set as the inspection data 50 as the component data.
  • step S104 when the terminal information of the component C set as the inspection data 50 (information of the terminal of the component C in the registered component data) is different from the information of the terminal of the component C acquired based on the component image 41, New inspection data is created by overwriting the terminal information of the component C set as the inspection data 50 with the terminal information of the component C acquired based on the component image 41.
  • the information on the terminals of the component C includes the number of terminals of the component C, the pitch P3 of the terminals of the component C, the width W3 of the terminals of the component C, and the length L3 of the terminals of the component C.
  • step S104 the terminal information of the component C set as the inspection data 50 and the terminal information of the component C acquired based on the component image 41 are compared, and the two pieces of information set the threshold value based on the comparison result. If it is determined that the difference is significantly larger than the above, the information on the terminal of the component C set as the inspection data 50 is overwritten by the information on the terminal of the component C acquired based on the component image 41.
  • steps S103 and S104 is performed on all the components C (all component images 41) in the mounted board image 40, so that the component C inspects the mounted substrate B.
  • the automatic setting of the data 50 is completed.
  • step S104 even if the similarity 60 of the component C is small, the component C having the highest numerical value of the similarity 60 of the component C is set as the inspection data 50 as the component data. .. That is, regardless of the magnitude of the numerical value of the similarity 60 of the component C, the component C having the highest numerical value of the similarity 60 of the component C is set as the inspection data 50 as the component data.
  • the substrate B is provided with the step of acquiring the similarity 60 of the component C for each component C based on the component image 41 and the similarity 60 of the component C for each component C.
  • a step of setting inspection data 50 as component data used in the inspection device 30 to be inspected is provided.
  • inspection data 50 can be set as component data.
  • the inspection data 50 as the part data can be easily set as compared with the case where the inspection data 50 as the part data is simply set based on the matching of the dimensions. Can be done.
  • the similarity 60 of the component C for each component C includes a numerical value.
  • the step of setting the inspection data 50 includes a step of setting the component C having the highest numerical value of the similarity 60 of the component C as the inspection data 50 as the component data.
  • the step of acquiring the similarity 60 of the component C for each component C is the image processing by the machine learning model 70 learned in advance, the shading in the image, and the height in the image. It includes a step of acquiring the similarity 60 of the component C for each component C by using the image processing using the above.
  • the similarity 60 of the component C for each component C can be obtained by using the image processing by the machine learning model 70 learned in advance or the image processing using the shading in the image and the height in the image. It can be easily obtained.
  • the image processing by the machine learning model 70 learned in advance it is possible to easily make a highly accurate judgment (acquisition of similarity) close to the judgment of a skilled person.
  • the step of acquiring the similarity 60 of the component C for each component C acquires the similarity 61 of the type of component C for each component type based on the component image 41. Including steps. Thereby, the similarity degree 60 of the part C for each part C can be acquired based on the similarity degree 61 of the type of the part C for each part type. As a result, the inspection data 50 as the component data can be set while identifying the component C having different types based on the similarity 60 of the component C in consideration of the type of the component C.
  • the step of acquiring the similarity 60 of the component C for each component C acquires the similarity 61 of the type of component C for each component type based on the component image 41.
  • a step of acquiring the similarity 62 of the shape of the component C for each component shape is further included based on the component image 41.
  • the inspection data 50 as the part data can be set while identifying the parts C having different types and shapes based on the similarity 60 of the parts C in consideration of the type and shape of the parts C. Further, since both the type and shape of the part C are considered, unlike the case where only the shape of the part C is considered, the inspection data 50 as the part data while identifying the parts C having the same shape but different types. Can be set.
  • the step of acquiring the similarity 60 of the component C for each component C is the similarity 61 of the type of component C for each component type and the shape of the component C for each component shape.
  • a step of acquiring the similarity 60 of the component C for each component C with respect to the component library 21 in which the types and shapes of the plurality of components C are registered in advance based on the similarity 62 is included.
  • the step of setting the inspection data 50 includes a step of setting the inspection data 50 as the component data from the registered component data of the component library 21. Thereby, the inspection data 50 as the component data can be easily set by using the registered component data of the component library 21.
  • the similarity 62 in the shape of the component C includes the similarity in the outer shape of the component C, the similarity in the main body of the component C, and the similarity in the terminals of the component C. ..
  • the similarity 62 of the shape of the component C can be appropriately acquired based on the similarity of the outer shape of the component C, the similarity of the main body of the component C, or the similarity of the terminals of the component C.
  • the step of acquiring the similarity 60 of the component C for each component C is the width W1 of the outer shape of the component C and the length of the outer shape of the component C based on the component image 41.
  • L1 the outer thickness T1 of the component C
  • the width W2 of the main body of the component C the width W2 of the main body of the component C
  • the length L2 of the main body of the component C the thickness T2 of the main body of the component C
  • the number of terminals of the component C and the component. It includes a step of acquiring the pitch P3 of the terminal of C, the width W3 of the terminal of the component C, and the length L3 of the terminal of the component C.
  • Appropriate degree of similarity 62 in the shape of component C based on the thickness T2, the number of terminals of component C, the pitch P3 of the terminals of component C, the width W3 of the terminals of component C, or the length L3 of the terminals of component C. Can be obtained in.
  • the step of acquiring the similarity 60 of the component C for each component C is the step of acquiring the similarity 60 of the component C for each component type by using the image processing by the machine learning model 70 learned in advance. It includes a step of acquiring the similarity degree 61 of the type and acquiring the similarity degree 62 of the shape of the part C for each part shape by using the image processing using the shading in the image and the height in the image.
  • image processing by the machine learning model 70 learned in advance the shading in the image and the height in the image are used while appropriately acquiring the similarity 61 of the type of the component C for each component type.
  • the similarity 62 of the shape of the part C for each part shape can be appropriately acquired.
  • the step of acquiring the similarity 60 of the component C for each component C is for each component shape by using image processing using the shading in the image and the height in the image.
  • the step of considering the information about the color of the substrate B and the information about the thickness of the solder of the substrate B is included.
  • the similarity 62 of the shape of the part C for each part shape can be accurately obtained. Further, when considering the information on the thickness of the solder of the board B, the reference of the height for distinguishing the solder of the board B and the terminal of the component C can be known, so that the solder of the board B and the terminal of the component C can be easily distinguished. can do. As a result, the similarity 62 of the shape of the part C for each part shape can be accurately obtained.
  • the step of extracting the component image 41 in the mounted substrate image 40 is used in the component mounting device for mounting the component C on the substrate B, and the shape and component of the component C.
  • the step includes extracting the component image 41 in the mounted board image 40 based on at least one of the board data including the mounting position of C and the board CAD data as the image data of the board B.
  • the position of the component C in the mounted board image 40 can be easily specified based on the board data or the board CAD data.
  • the component image 41 in the mounted board image 40 can be easily extracted as compared with the case where the board data or the board CAD data is not used.
  • the terminal information of the component C set as the inspection data 50 is the information of the terminal of the component C acquired based on the component image 41. If they are different, the step of creating new inspection data 50 is included by overwriting the terminal information of the component C set as the inspection data 50 with the terminal information of the component C acquired based on the component image 41. As a result, it is possible to suppress setting the wrong terminal information of the component C as the inspection data 50.
  • the inspection data creating apparatus shows an example of creating the inspection data of the present invention, but the present invention is not limited to this.
  • the inspection device may create the inspection data of the present invention.
  • the control unit 34a of the inspection device 30 of the above embodiment functions in the same manner as the control unit 11 of the inspection data creation device 10 of the above embodiment.
  • inspection data may be manually set based on the similarity of parts for each part.
  • the similarity of the parts for each part may be presented to the operator, and the inspection data may be manually set by the operator.
  • the component having the highest component similarity value is set as inspection data as component data regardless of the magnitude of the component similarity value. Not limited to this.
  • the operator may be notified that the numerical value of the similarity of parts is equal to or less than the threshold value.
  • the similarity of the parts for each part is acquired by using the image processing by the machine learning model and the image processing using the shading in the image and the height in the image.
  • the present invention is not limited to this.
  • the similarity of the parts for each part is acquired by using only one of the image processing by the machine learning model and the image processing using the shading in the image and the height in the image. May be good.
  • image processing by a machine learning model may acquire both the similarity of component types and the similarity of component shapes.
  • both the similarity of the types of parts and the similarity of the shapes of parts may be obtained by image processing using the shading in the image and the height in the image.
  • the arrangement state of the terminal of the component is acquired by image processing using the shading in the image and the height in the image, and the component is based on the arrangement state of the terminal of the component and the rule of the terminal shape of the component.
  • Kind similarity may be acquired.
  • a rule of the terminal shape for example, in the case of SOP, it can be a rule that gull-wing-shaped terminals exist on two opposite sides of the main body of the component. Further, for example, in the case of QFP, it can be a rule that gull-wing-shaped terminals exist on four sides of the main body of the component.
  • image processing is performed using the shading in the image and the height in the image
  • the present invention is not limited to this.
  • image processing may be performed using only one of the shading in the image and the height in the image.
  • the mounted board image and the component image include a two-dimensional image and a three-dimensional image
  • the present invention is not limited to this.
  • the mounted board image and the component image may include only one of the two-dimensional image and the three-dimensional image.
  • the similarity of parts for each part is acquired by acquiring the similarity of parts for all the registered parts of the parts library (part registration information).
  • the present invention is not limited to this.
  • the similarity of parts for each part may be acquired by acquiring the similarity of parts for some registered parts of the parts registration information.
  • the similarity in the shape of the component includes the similarity in the outer shape of the component, the similarity in the main body of the component, and the similarity in the terminals of the component.
  • the invention is not limited to this.
  • the similarity of the shape of the component includes only one or two of the similarity of the outer shape of the component, the similarity of the main body of the component, and the similarity of the terminals of the component. May be good.
  • the width of the outer shape of the part, the length of the outer shape of the part, the thickness of the outer shape of the part, the width of the main body of the part, the length of the main body of the part, and the length of the main body of the part are based on the part image.
  • An example is shown in which the thickness of the main body, the number of terminals of the component, the pitch of the terminal of the component, the width of the terminal of the component, and the length of the terminal of the component are obtained, but the present invention is limited to this. No.
  • the width of the outer shape of the part based on the component image, the width of the outer shape of the part, the length of the outer shape of the part, the thickness of the outer shape of the part, the width of the main body of the part, the length of the main body of the part, and the thickness of the main body of the part. It is not necessary to acquire all of the number of terminals of the component, the pitch of the terminals of the component, the width of the terminals of the component, and the length of the terminals of the component.
  • the similarity of the parts type for each part type is acquired by using the image processing by the machine learning model, and the image processing using the shading in the image and the height in the image is used.
  • the present invention is not limited to this, although an example is shown in which the similarity of the shape of a part is acquired for each part shape.
  • the similarity of the component types for each component type is acquired by using image processing using at least one of the shading in the image and the height in the image, and the image by the machine learning model is used. By using the process, the similarity of the shape of the part for each part shape may be acquired.
  • the present invention when the similarity of the shape of the component for each component shape is acquired by using the image processing using the shading in the image and the height in the image, the information regarding the color of the substrate and the information regarding the color of the substrate are obtained.
  • the present invention is not limited to this.
  • information on the color of the substrate is obtained when the similarity of the shape of the component for each component shape is acquired by using image processing using at least one of the shade in the image and the height in the image. , And only one of the information about the thickness of the solder on the substrate may be considered.
  • the processing operation of the control unit has been described using a flow-driven flowchart in which the processing operations are sequentially performed along the processing flow, but the present invention is not limited to this.
  • the processing operation of the control unit may be performed by event-driven type (event-driven type) processing in which processing is executed in event units. In this case, it may be completely event-driven, or it may be a combination of event-driven and flow-driven.
  • Inspection data creation device 11 10 Inspection data creation device 11, 34a Control unit 15 Communication unit 21 Parts library (parts registration information) 30 Inspection device 33a Imaging unit 40 Mounted board image 41 Part image 50 Inspection data 60 Part similarity 61 Part type similarity 62 Part shape similarity 70 Machine learning model B Board C Part L1 Part external length L2 Length of the main body of the part L3 Length of the terminal of the part P3 Pitch of the terminal of the part T1 Thickness of the outer shape of the part T2 Thickness of the main body of the part W1 Width of the outer shape of the part W2 Width of the main body of the part W3 width

Landscapes

  • Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

この検査データ作成方法は、実装済基板画像（４０）を取得するステップと、実装済基板画像中の部品（Ｃ）の部品画像（４１）を抽出するステップと、部品画像に基づいて、部品ごとの部品の類似度（６０）を取得するステップと、部品ごとの部品の類似度に基づいて、部品データとしての検査データ（５０）を設定するステップと、を備える。

Description

検査データ作成方法、検査データ作成装置および検査装置
　この発明は、検査データ作成方法、検査データ作成装置および検査装置に関し、特に、部品データとしての検査データを設定する検査データ作成方法、検査データ作成装置および検査装置に関する。
　従来、部品データとしての検査データを設定する検査データ作成方法が知られている。このような方法は、たとえば、再公表２０１８／１０５１００号公報に開示されている。
　上記再公表２０１８／１０５１００号公報には、部品データとしての検査ジョブデータを設定する検査ジョブデータ作成方法（検査データ作成方法）が開示されている。この検査ジョブデータ作成方法では、まず、完成品基板の完成品画像データから、電子部品の寸法が抽出される。そして、この検査ジョブデータ作成方法では、抽出した電子部品の寸法と、多種類の電子部品の部品データが予め登録されている部品ライブラリの電子部品の寸法とが一致するか否かが照会される。そして、この検査ジョブデータ作成方法では、電子部品の寸法が一致したことに基づいて部品データとしての検査データが設定される。
再公表２０１８／１０５１００号公報
　しかしながら、上記再公表２０１８／１０５１００号公報に記載された検査ジョブデータ作成方法では、単に抽出した電子部品の寸法と、多種類の電子部品の部品データが予め登録されている部品ライブラリの電子部品の寸法とが一致したことのみに基づいて部品データとしての検査ジョブデータ（検査データ）を設定するだけであるため、適用範囲が狭く、部品データとしての検査ジョブデータ（検査データ）を容易に設定することが困難であるという問題点がある。
　この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、単に寸法が一致したことに基づいて部品データとしての検査データを設定する場合に比べて、部品データとしての検査データを容易に設定することが可能な検査データ作成方法、検査データ作成装置および検査装置を提供することである。
　この発明の第１の局面による検査データ作成方法は、部品が実装済の基板の実装済基板画像を取得するステップと、実装済基板画像中の部品の部品画像を抽出するステップと、部品画像に基づいて、部品ごとの部品の類似度を取得するステップと、部品ごとの部品の類似度に基づいて、基板を検査する検査装置において用いられる部品データとしての検査データを設定するステップと、を備える。
　この発明の第１の局面による検査データ作成方法では、上記のように、部品画像に基づいて、部品ごとの部品の類似度を取得するステップと、部品ごとの部品の類似度に基づいて、基板を検査する検査装置において用いられる部品データとしての検査データを設定するステップと、を設ける。これにより、単に寸法が一致したことのみに基づいて部品データとしての検査データを設定する場合と異なり、寸法が完全には一致していなくても、部品ごとの部品の類似度に基づいて、部品データとしての検査データを設定することができる。その結果、適用範囲を広くすることができるので、単に寸法が一致したことに基づいて部品データとしての検査データを設定する場合に比べて、部品データとしての検査データを容易に設定することが可能な検査データ作成方法を提供することができる。
　上記第１の局面による検査データ作成方法において、好ましくは、部品ごとの部品の類似度は、数値を含み、検査データを設定するステップは、部品の類似度の数値が最も高い部品を部品データとしての検査データとして設定するステップを含む。このように構成すれば、部品の類似度の数値が最も高い部品を部品データとしての検査データとして設定することができる。その結果、部品データとしての検査データをより容易に設定することができる。
　上記第１の局面による検査データ作成方法において、好ましくは、部品ごとの部品の類似度を取得するステップは、予め学習された機械学習モデルによる画像処理と、画像中の濃淡および画像中の高さのうちの少なくとも１つを利用した画像処理と、のうちの少なくとも１つを用いて、部品ごとの部品の類似度を取得するステップを含む。このように構成すれば、予め学習された機械学習モデルによる画像処理、または、画像中の濃淡および画像中の高さのうちの少なくとも１つを利用した画像処理、を用いて、部品ごとの部品の類似度を容易に取得することができる。また、予め学習された機械学習モデルによる画像処理を用いた場合、熟練者の判断に近い高精度な判断（類似度の取得）を容易に行うことができる。
　上記第１の局面による検査データ作成方法において、好ましくは、部品ごとの部品の類似度を取得するステップは、部品画像に基づいて、部品種類ごとの部品の種類の類似度を取得するステップを含む。このように構成すれば、部品種類ごとの部品の種類の類似度に基づいて、部品ごとの部品の類似度を取得することができる。その結果、部品の種類を考慮した部品の類似度に基づいて、種類が異なる部品を識別しつつ、部品データとしての検査データを設定することができる。
　この場合、好ましくは、部品ごとの部品の類似度を取得するステップは、部品画像に基づいて、部品種類ごとの部品の種類の類似度を取得するステップに加えて、部品の種類の類似度を取得するステップとは別個に、部品画像に基づいて、部品形状ごとの部品の形状の類似度を取得するステップをさらに含む。このように構成すれば、部品種類ごとの部品の種類の類似度だけでなく、部品形状ごとの部品の形状の類似度にも基づいて、部品ごとの部品の類似度を取得することができる。その結果、部品の種類および形状を考慮した部品の類似度に基づいて、種類および形状が異なる部品を識別しつつ、部品データとしての検査データを設定することができる。また、部品の種類および形状の両方を考慮するので、部品の形状のみを考慮する場合と異なり、同一形状であるが、種類が異なる部品を識別しつつ、部品データとしての検査データを設定することができる。
　上記部品種類ごとの部品の種類の類似度および部品形状ごとの部品の形状の類似度を取得する構成において、好ましくは、部品ごとの部品の類似度を取得するステップは、部品種類ごとの部品の種類の類似度および部品形状ごとの部品の形状の類似度に基づいて、複数の部品の種類および形状が予め登録された部品登録情報に対して、部品ごとの部品の類似度を取得するステップを含み、検査データを設定するステップは、部品登録情報の登録部品データから、部品データとしての検査データを設定するステップを含む。このように構成すれば、部品登録情報の登録部品データを用いて、部品データとしての検査データを容易に設定することができる。
　上記部品種類ごとの部品の種類の類似度および部品形状ごとの部品の形状の類似度を取得する構成において、好ましくは、部品の形状の類似度は、部品の外形の類似度と、部品の本体の類似度と、部品の端子の類似度とのうちの少なくとも１つを含む。このように構成すれば、部品の外形の類似度、部品の本体の類似度、または、部品の端子の類似度に基づいて、部品の形状の類似度を適切に取得することができる。
　上記部品種類ごとの部品の種類の類似度および部品形状ごとの部品の形状の類似度を取得する構成において、好ましくは、部品ごとの部品の類似度を取得するステップは、部品画像に基づいて、部品の外形の幅と、部品の外形の長さと、部品の外形の厚みと、部品の本体の幅と、部品の本体の長さと、部品の本体の厚みと、部品の端子の数と、部品の端子のピッチと、部品の端子の幅と、部品の端子の長さと、のうちの少なくとも１つを取得するステップを含む。このように構成すれば、部品の外形の幅、部品の外形の長さ、部品の外形の厚み、部品の本体の幅、部品の本体の長さ、部品の本体の厚み、部品の端子の数、部品の端子のピッチ、部品の端子の幅、または、部品の端子の長さに基づいて、部品の形状の類似度を適切に取得することができる。
　上記部品種類ごとの部品の種類の類似度および部品形状ごとの部品の形状の類似度を取得する構成において、好ましくは、部品ごとの部品の類似度を取得するステップは、予め学習された機械学習モデルによる画像処理を用いて、部品種類ごとの部品の種類の類似度を取得するとともに、画像中の濃淡および画像中の高さのうちの少なくとも１つを利用した画像処理を用いて、部品形状ごとの部品の形状の類似度を取得するステップを含む。このように構成すれば、予め学習された機械学習モデルによる画像処理を用いて、部品種類ごとの部品の種類の類似度を適切に取得しつつ、画像中の濃淡および画像中の高さのうちの少なくとも１つを利用した画像処理を用いて、部品形状ごとの部品の形状の類似度を適切に取得することができる。
　上記部品種類ごとの部品の種類の類似度および部品形状ごとの部品の形状の類似度を取得する構成において、好ましくは、部品ごとの部品の類似度を取得するステップは、画像中の濃淡および画像中の高さのうちの少なくとも１つを利用した画像処理を用いて、部品種類ごとの部品の種類の類似度および部品形状ごとの部品の形状の類似度のうちの少なくとも１つを取得する場合に、基板の色に関する情報、および、基板のはんだの厚みに関する情報のうちの少なくとも１つを考慮するステップを含む。このように構成すれば、基板の色に関する情報を考慮する場合、基板の色と部品の色（部品の本体の色、および、部品の端子の色など）とが近い色である場合にも、基板と部品とを容易に識別することができる。その結果、部品種類ごとの部品の種類の類似度、または、部品形状ごとの部品の形状の類似度を、正確に取得することができる。また、基板のはんだの厚みに関する情報を考慮する場合、基板のはんだと部品の端子とを識別する高さの基準が分かるので、基板のはんだと部品の端子とを容易に識別することができる。その結果、部品種類ごとの部品の種類の類似度、または、部品形状ごとの部品の形状の類似度を、正確に取得することができる。
　上記第１の局面による検査データ作成方法において、好ましくは、実装済基板画像中の部品画像を抽出するステップは、基板に部品を実装する部品実装装置において用いられるとともに、部品の形状および部品の実装位置を含む基板データ、および、基板の画像データとしての基板ＣＡＤデータのうちの少なくとも１つに基づいて、実装済基板画像中の部品画像を抽出するステップを含む。このように構成すれば、基板データ、または、基板ＣＡＤデータに基づいて、実装済基板画像中の部品の位置を容易に指定することができる。その結果、基板データ、または、基板ＣＡＤデータを用いない場合に比べて、実装済基板画像中の部品画像を容易に抽出することができる。
　上記第１の局面による検査データ作成方法において、好ましくは、検査データを設定するステップは、検査データとして設定した部品の端子の情報が、部品画像に基づいて取得した部品の端子の情報と異なる場合、検査データとして設定した部品の端子の情報を、部品画像に基づいて取得した部品の端子の情報により上書きすることにより、新たな検査データを作成するステップを含む。このように構成すれば、誤った部品の端子の情報を検査データとして設定することを抑制することができる。
　この発明の第２の局面による検査データ作成装置は、部品が実装済の基板の実装済基板画像を取得する取得部と、実装済基板画像中の部品の部品画像を抽出し、部品画像に基づいて、部品ごとの部品の類似度を取得し、部品ごとの部品の類似度に基づいて、基板を検査する検査装置において用いられる部品データとしての検査データを設定する制御部と、を備える。
　この発明の第２の局面による検査データ作成装置では、上記のように、部品画像に基づいて、部品ごとの部品の類似度を取得し、部品ごとの部品の類似度に基づいて、基板を検査する検査装置において用いられる部品データとしての検査データを設定する制御部を設ける。これにより、上記第１の局面による検査データ作成方法と同様に、単に寸法が一致したことに基づいて部品データとしての検査データを設定する場合に比べて、部品データとしての検査データを容易に設定することが可能な検査データ作成装置を提供することができる。
　この発明の第３の局面による検査装置は、部品が実装済の基板を撮影して実装済基板画像を取得する撮影部と、実装済基板画像中の部品の部品画像を抽出し、部品画像に基づいて、部品ごとの部品の類似度を取得し、部品ごとの部品の類似度に基づいて、部品データとしての検査データを設定する制御部と、を備える。
　この発明の第３の局面による検査装置では、上記のように、部品画像に基づいて、部品ごとの部品の類似度を取得し、部品ごとの部品の類似度に基づいて、部品データとしての検査データを設定する制御部を設ける。これにより、上記第１の局面による検査データ作成方法と同様に、単に寸法が一致したことに基づいて部品データとしての検査データを設定する場合に比べて、部品データとしての検査データを容易に設定することが可能な検査装置を提供することができる。
　本発明によれば、上記のように、単に寸法が一致したことに基づいて部品データとしての検査データを設定する場合に比べて、部品データとしての検査データを容易に設定することが可能な検査データ作成方法、検査データ作成装置および検査装置を提供することができる。
一実施形態による部品実装システムを示すブロック図である。 一実施形態による検査装置を示すブロック図である。 一実施形態による検査データ作成装置による検査データ作成処理を説明するためのフローチャートである。 一実施形態による検査データ作成装置による部品の類似度の取得を説明するためのフローチャートである。 一実施形態による検査データ作成装置による検査データ作成処理を説明するための図である。 一実施形態による検査データ作成装置による部品の種類の類似度の取得を説明するための図である。 一実施形態による検査データ作成装置の機械学習モデルの作成を説明するための図である。 一実施形態による検査データ作成装置による部品の形状の取得を説明するための図である。 一実施形態による検査データ作成装置による部品の形状の類似度の取得を説明するための図である。 一実施形態による検査データ作成装置による部品の類似度の取得を説明するための第１図である。 一実施形態による検査データ作成装置による部品の類似度の取得を説明するための第２図である。
　以下、本発明を具体化した実施形態を図面に基づいて説明する。
　まず、図１を参照して、一実施形態による部品実装システム１００の構成について説明する。
（部品実装システムの構成）
　図１に示すように、部品実装システム１００は、検査データ作成装置１０と、データベース２０と、検査装置３０とを備えている。
　検査データ作成装置１０は、検査装置３０において用いられる検査データを作成するための装置である。検査データ作成装置１０は、たとえば、各種の演算を行うことが可能に構成されたパーソナルコンピュータである。検査データ作成装置１０は、制御部１１と、記憶部１２と、入力部１３と、表示部１４と、通信部１５とを備えている。制御部１１は、検査データ作成装置１０の動作を制御する制御回路である。制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプロセッサを含んでいる。記憶部１２は、各種の情報（データ）の記憶と、記憶した情報（データ）の読み出しとが可能な不揮発性の記憶媒体を含んでいる。記憶部１２には、たとえば、検査装置３０から取得する実装済基板画像４０、および、検査装置３０に送信する検査データ５０などが記憶されている。なお、通信部１５は、請求の範囲の「取得部」の一例である。
　入力部１３は、マウス、および、キーボードなどを含み、ユーザによる入力操作を受け付けるように構成されている。表示部１４は、たとえば液晶モニタを含み、検査データ５０などの情報を表示する。通信部１５は、外部の機器と通信可能に構成されている。通信部１５は、データベース２０、および、検査装置３０と通信可能に構成されている。通信部１５は、検査装置３０から、実装済基板画像４０を取得するように構成されている。
　データベース２０は、基板Ｂ（図２参照）に実装される部品Ｃごとの部品データが登録された部品ライブラリ２１を備えている。部品ライブラリ２１は、部品Ｃごとの部品データとして、部品Ｃの種類の情報、部品Ｃの形状の情報、部品Ｃの検査の情報を含んでいる。部品Ｃの種類の情報は、たとえば、チップコンデンサ、チップ抵抗器、チップインダクタ、チップトランジスタ、ＬＥＤ、ＳＯＰ、ＢＧＡ、ＱＦＰ、および、コネクタなどの部品Ｃの種類の情報を含んでいる。また、部品Ｃの形状の情報は、たとえば、部品Ｃの外形の幅、部品Ｃの外形の長さ、部品Ｃの外形の厚み、部品Ｃの本体の幅、部品Ｃの本体の長さ、部品Ｃの本体の厚み、部品Ｃの端子（リード）の数、部品Ｃの端子（リード）のピッチ、部品Ｃの端子（リード）の幅、および、部品Ｃの端子（リード）の長さなどの部品Ｃの形状の情報を含んでいる。また、部品Ｃの検査の情報は、たとえば、検査枠の位置、検査部位、および、検査パラメータなどの部品Ｃの検査の情報を含んでいる。なお、部品ライブラリ２１は、請求の範囲の「部品登録情報」の一例である。
　検査装置３０は、基板Ｂを検査対象として撮影し、基板Ｂおよび基板Ｂ上の部品Ｃに対する各種検査を行う装置である。検査装置３０は、部品Ｃを基板Ｂに実装して回路基板を製造するための基板製造ラインの一部を構成している。
　基板製造プロセスの概要としては、まず、配線パターンが形成された基板Ｂ上に、はんだ印刷装置（図示せず）によって所定のパターンではんだ（はんだペースト）の印刷（塗布）が行われる（はんだ印刷工程）。続いて、はんだ印刷後の基板Ｂに、部品実装装置（図示せず）によって部品Ｃが搭載（実装）される（実装工程）ことにより、部品Ｃの端子がはんだ上に配置される。その後、部品Ｃを実装済みの基板Ｂがリフロー炉（図示せず）に搬送されてはんだの溶融および硬化（冷却）が行われる（リフロー工程）ことにより、部品Ｃの端子が基板Ｂの配線に対して半田接合される。これにより、部品Ｃが配線に対して電気的に接続された状態で基板Ｂ上に固定され、基板製造が完了する。
　検査装置３０は、たとえば、はんだ印刷工程後の基板Ｂ上のはんだの印刷状態の検査や、実装工程後における部品Ｃの実装状態の検査、または、リフロー工程後における部品Ｃの実装状態の検査などに用いられる。したがって、検査装置３０は、基板製造ラインにおいて１または複数設けられる。はんだの印刷状態としては、設計上の印刷位置に対する印刷位置ずれ、はんだの形状、体積および高さ（塗布量）、ブリッジ（短絡）の有無などの検査が行われる。部品Ｃの実装状態としては、部品Ｃの種類および向き（極性）が適正か否か、部品Ｃの設計上の実装位置に対する位置ずれの量が許容範囲内か、端子のはんだ接合状態が正常か否かなどの検査が行われる。また、各工程間での共通の検査内容として、ゴミやその他の付着物などの異物の検出も行われる。
　図２に示すように、検査装置３０は、基板Ｂを搬送するための基板搬送コンベア３１と、基板搬送コンベア３１の上方をＸＹ方向（水平方向）およびＺ方向（上下方向）に移動可能なヘッド移動機構３２と、ヘッド移動機構３２によって保持された測定部３３と、検査装置３０の制御を行う制御装置３４とを備えている。
　基板搬送コンベア３１は、基板Ｂを水平方向に搬送するとともに、所定の検査位置で基板Ｂを停止させて保持することが可能なように構成されている。また、基板搬送コンベア３１は、検査が終了した基板Ｂを所定の検査位置から水平方向に搬送して、検査装置３０から基板Ｂを搬出することが可能なように構成されている。
　ヘッド移動機構３２は、基板搬送コンベア３１の上方に設けられ、たとえばボールねじ軸とサーボモータとを用いた直交３軸（ＸＹＺ軸）ロボットにより構成されている。ヘッド移動機構３２は、これらのＸ軸、Ｙ軸およびＺ軸の駆動を行うためのＸ軸モータ、Ｙ軸モータおよびＺ軸モータを備えている。これらのＸ軸モータ、Ｙ軸モータおよびＺ軸モータにより、ヘッド移動機構３２は、測定部３３を、基板搬送コンベア３１（基板Ｂ）の上方でＸＹ方向（水平方向）およびＺ方向（上下方向）に移動させることが可能なように構成されている。
　測定部３３は、２次元情報（２次元画像）および３次元情報（３次元画像）を測定（撮影）するように構成されている。測定部３３は、撮影部３３ａと、投影部３３ｂとを備えている。この測定部３３がヘッド移動機構３２によって基板Ｂの上方の所定位置に移動されるとともに、撮影部３３ａや投影部３３ｂなどを用いることによって、測定部３３が基板Ｂおよび基板Ｂ上の部品Ｃなどの外観検査のための撮影を行うように構成されている。
　撮影部３３ａは、投影部３３ｂにより縞パターン光が照射された基板Ｂを撮影するように構成されている。撮影部３３ａは、ＣＣＤイメージセンサ、および、ＣＭＯＳイメージセンサなどの撮像素子を有している。撮影部３３ａは、略矩形形状の撮影領域において基板Ｂを撮影可能なように構成されている。また、撮影部３３ａは、水平方向の基準面に対して垂直方向に光軸３３ｃが配置されている。つまり、撮影部３３ａは、基板Ｂの上面の２次元画像を略垂直上方の位置から撮影するように構成されている。この撮影部３３ａにより、投影部３３ｂによる照明光の下では、２次元画像が得られる。
　投影部３３ｂは、複数設けられている。また、複数の投影部３３ｂは、それぞれ、撮影部３３ａの光軸３３ｃ方向に対して傾斜した方向から撮影部３３ａにより撮影する測定パターンを投影するように構成されている。つまり、測定部３３は、複数の方向から測定パターンを投影して３次元情報を測定するように構成されている。投影部３３ｂは、上方からみて、撮影部３３ａの周囲を取り囲むように複数個（たとえば、４個）配置されている。また、複数個の投影部３３ｂは、撮影中心（撮影部３３ａ）から等距離の位置に、略等角度（略９０度）間隔で配列されている。また、投影部３３ｂは、測定パターンとして、正弦波状の光強度分布を有する等間隔の格子状の明暗パターン（縞パターン光）を投影するように構成されている。また、投影部３３ｂは、この明暗パターンの位置（位相）をシフトさせて投影するように構成されている。
　制御装置３４は、検査装置３０の各部を制御するように構成されている。制御装置３４は、制御部３４ａと、記憶部３４ｂと、画像処理部３４ｃと、撮影制御部３４ｄと、投影制御部３４ｅと、モータ制御部３４ｆとを含んでいる。
　制御部３４ａは、論理演算を実行するＣＰＵなどのプロセッサ、ＣＰＵを制御するプログラムなどを記憶するＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）および装置の動作中に種々のデータを一時的に記憶するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などから構成されている。制御部３４ａは、ＲＯＭに記憶されているプログラムや、記憶部３４ｂに格納されたソフトウェア（プログラム）に従って、画像処理部３４ｃ、撮影制御部３４ｄ、投影制御部３４ｅおよびモータ制御部３４ｆを介して、検査装置３０の各部を制御するように構成されている。そして、制御部３４ａは、測定部３３を制御して、基板Ｂに対する各種の外観検査を行う。
　記憶部３４ｂは、各種の情報（データ）の記憶と、記憶した情報（データ）の読み出しとが可能な不揮発性の記憶媒体を含んでいる。記憶部３４ｂには、たとえば、撮影部３３ａによって撮影された撮影画像データ（実装済基板画像４０）、および、検査データ作成装置１０から取得する検査データ５０などが記憶されている。検査データ５０に基づいて、検査装置３０による基板Ｂおよび基板Ｂ上の部品Ｃに対する各種検査が行われる。
　画像処理部３４ｃは、撮影部３３ａによって撮影された撮影画像（撮影信号）を画像処理して、基板Ｂ、基板Ｂ上の部品Ｃ、および、はんだ接合部（はんだ）を認識（画像認識）するのに適した画像データを生成するように構成されている。
　撮影制御部３４ｄは、制御部３４ａから出力される制御信号に基づいて、撮影部３３ａから所定のタイミングで撮影信号の読み出しを行うとともに、読み出した撮影信号を画像処理部３４ｃに出力するように構成されている。投影制御部３４ｅは、制御部３４ａから出力される制御信号に基づいて、投影部３３ｂによる投影の制御を行うように構成されている。
　モータ制御部３４ｆは、制御部３４ａから出力される制御信号に基づいて、検査装置３０の各サーボモータ（ヘッド移動機構３２のＸ軸モータ、Ｙ軸モータおよびＺ軸モータ、基板搬送コンベア３１を駆動するためのモータ（図示せず）など）の駆動を制御するように構成されている。また、モータ制御部３４ｆは、各サーボモータのエンコーダ（図示せず）からの信号に基づいて、測定部３３、および、基板Ｂなどの位置を取得するように構成されている。
（検査データ作成処理）
　次に、図３のフローチャート、図４のフローチャート、および、図５～図１１を参照して、本実施形態の検査データ作成装置１０による検査データ作成処理について説明する。なお、図３のフローチャートおよび図４のフローチャートの各処理は、検査データ作成装置１０の制御部１１により行われる。
　図３および図５に示すように、まず、ステップＳ１０１では、部品Ｃが実装済の基板Ｂの実装済基板画像（完成基板画像）４０が取得される。具体的には、まず、検査装置３０において部品Ｃが実装済の基板Ｂが撮影されることにより実装済基板画像４０が取得される。そして、ステップＳ１０１において、検査装置３０において取得された実装済基板画像４０が、通信部１５を介して、検査データ作成装置１０において取得される。なお、実装済基板画像４０は、部品Ｃが実装済の基板Ｂの３次元形状の情報を有する３次元画像と、部品Ｃが実装済の基板Ｂの２次元形状の情報を有する２次元画像とを含んでいる。
　そして、ステップＳ１０２では、実装済基板画像４０中の部品画像４１が抽出される。具体的には、ステップＳ１０２では、基板データ、および、基板ＣＡＤデータのうちの少なくとも１つに基づいて、実装済基板画像４０中の部品画像４１が抽出される。基板データは、基板Ｂに部品Ｃを実装する部品実装装置（図示せず）において用いられるとともに、部品Ｃの形状および部品Ｃの実装位置を含むデータである。また、基板ＣＡＤデータは、部品Ｃの実装位置を含む基板Ｂの画像データである。ステップＳ１０２では、基板データが含む部品Ｃの実装位置の情報、および、基板ＣＡＤデータが含む部品Ｃの実装位置の情報のうちの少なくとも１つを利用して、実装済基板画像４０中の部品画像４１が抽出される。なお、部品画像４１は、部品Ｃの３次元形状の情報を有する３次元画像と、部品Ｃの２次元形状の情報を有する２次元画像とを含んでいる。
　そして、ステップＳ１０３では、部品画像４１に基づいて、部品Ｃごとの部品Ｃの類似度６０の取得が行われる。具体的には、ステップＳ１０３では、図４のステップＳ２０１～Ｓ２０３の処理が行われる。
　図４および図５に示すように、まず、ステップＳ２０１では、部品画像４１に基づいて、部品種類ごとの部品Ｃの種類の類似度６１が取得される。具体的には、ステップＳ２０１では、図６に示すように、予め学習された機械学習モデル（判別器）７０による画像処理を用いて、部品種類ごとの部品Ｃの種類の類似度６１が取得される。より具体的には、ステップＳ２０１では、機械学習モデル７０に、２次元画像および３次元画像としての部品画像４１を入力し、出力結果として部品種類ごとの部品Ｃの種類の類似度６１が取得される。また、ステップＳ２０１では、部品種類ごとの部品Ｃの種類の類似度６１が、部品種類ごとの確信度（確率）として取得される。部品種類ごとの部品Ｃの種類の類似度６１は、数値を含んでいる。
　機械学習モデル７０は、たとえば、図７に示すように学習させることにより、作成することができる。すなわち、図７に示すように、まず、視野画像７１が準備される。視野画像７１としては、部品Ｃを含む画像であれば、特に限られないが、たとえば、検査装置３０において取得された画像を用いることができる。また、視野画像７１は、２次元画像および３次元画像を含んでいる。そして、視野画像７１から、部品Ｃの領域を切り出す（抽出する）ことにより、視野画像７１中の部品画像７２が取得される。この際、２次元画像および３次元画像としての視野画像７１から、２次元画像および３次元画像としての部品画像７２が取得される。なお、部品Ｃの領域を切り出す工程では、部品Ｃの種類およびサイズにより、切り出した画像のサイズが異なる。
　このため、部品画像７２に対して画像サイズの変更（リサイズ）が行われることにより、決められたサイズの部品画像７３が学習画像として取得される。この際、２次元画像および３次元画像としての部品画像７２から、２次元画像および３次元画像としての部品画像７３が取得される。そして、部品画像７３に、部品Ｃの種類がラベル付けされる。そして、部品Ｃの種類がラベル付けされた、２次元画像および３次元画像としての部品画像７３に基づいて、機械学習を行うことにより、学習済みの機械学習モデル７０が作成される。機械学習モデル７０は、畳み込みニューラルネットワークを利用して、作成（構築）することができる。また、機械学習モデル７０は、チップコンデンサ、チップ抵抗器、チップインダクタ、チップトランジスタ、ＬＥＤ，ＳＯＰ、ＢＧＡ、ＱＦＰ、および、コネクタなどの様々な種類の部品画像７３を用いて、学習される。
　そして、図４および図５に示すように、ステップＳ２０２では、部品画像４１に基づいて、部品Ｃの形状の類似度６２が取得される。すなわち、部品画像４１に基づいて、部品種類ごとの部品Ｃの種類の類似度６１を取得するステップＳ２０１に加えて、部品Ｃの種類の類似度６１を取得するステップＳ２０１とは別個に、部品画像４１に基づいて、部品形状ごとの部品Ｃの形状の類似度６２を取得するステップＳ２０２が行われる。
　図８に示すように、ステップＳ２０２では、まず、部品画像４１に基づいて、部品Ｃの形状が取得される。具体的には、部品画像４１に基づいて、部品Ｃの外形の幅Ｗ１と、部品Ｃの外形の長さＬ１と、部品Ｃの外形の厚みＴ１と、部品Ｃの本体の幅Ｗ２と、部品Ｃの本体の長さＬ２と、部品Ｃの本体の厚みＴ２と、部品Ｃの端子の数と、部品Ｃの端子のピッチＰ３と、部品Ｃの端子の幅Ｗ３と、部品Ｃの端子の長さＬ３と、が取得される。なお、部品Ｃの外形とは、部品Ｃの本体および端子の両方を含む部品Ｃの全体を意味している。また、部品Ｃの本体とは、部品Ｃの端子を含まないチップ部分を意味している。また、部品Ｃの端子とは、部品Ｃの本体を含まない電極（リード）部分を意味している。
　この際、画像中の濃淡および画像中の高さを利用した画像処理を用いて、部品Ｃの外形の幅Ｗ１と、部品Ｃの外形の長さＬ１と、部品Ｃの外形の厚みＴ１と、部品Ｃの本体の幅Ｗ２と、部品Ｃの本体の長さＬ２と、部品Ｃの本体の厚みＴ２と、部品Ｃの端子の数と、部品Ｃの端子のピッチＰ３と、部品Ｃの端子の幅Ｗ３と、部品Ｃの端子の長さＬ３と、が取得される。画像中の濃淡および画像中の高さを利用した画像処理としては、特に限られないが、２値化処理、エッジ抽出処理、および、輪郭追跡処理などを用いることができる。
　たとえば、２次元画像としての部品画像４１から、部品Ｃの本体および端子と、基板Ｂとの濃淡（輝度値）の相違を利用して、部品Ｃの本体および端子を識別することができる。その結果、２次元画像としての部品画像４１から、部品Ｃの外形の幅Ｗ１と、部品Ｃの外形の長さＬ１と、部品Ｃの本体の幅Ｗ２と、部品Ｃの本体の長さＬ２と、部品Ｃの端子の数と、部品Ｃの端子のピッチＰ３と、部品Ｃの端子の幅Ｗ３と、部品Ｃの端子の長さＬ３と、を取得することができる。
　また、３次元画像としての部品画像４１から、部品Ｃの本体および端子と、基板Ｂとの高さの相違を利用して、部品Ｃの本体および端子を識別することができる。その結果、３次元画像としての部品画像４１から、部品Ｃの外形の幅Ｗ１と、部品Ｃの外形の長さＬ１と、部品Ｃの外形の厚みＴ１と、部品Ｃの本体の幅Ｗ２と、部品Ｃの本体の長さＬ２と、部品Ｃの本体の厚みＴ２と、部品Ｃの端子の数と、部品Ｃの端子のピッチＰ３と、部品Ｃの端子の幅Ｗ３と、部品Ｃの端子の長さＬ３と、を取得することができる。
　また、２次元画像および３次元画像としての部品画像４１を互いに独立して利用するのではなく、２次元画像および３次元画像としての部品画像４１を複合して利用してもよい。たとえば、３次元画像としての部品画像４１の高さ情報に基づいて、２次元画像としての部品画像４１に対して不要部分（部品Ｃ以外の部分）を隠すマスク処理を行った状態で、２次元画像としての部品画像４１から、部品Ｃの形状を取得することができる。これにより、より精度よく、部品Ｃの形状を取得することができる。
　また、画像中の濃淡および画像中の高さを利用した画像処理を用いて、部品Ｃの形状を取得する場合に、基板Ｂの色に関する情報、および、基板Ｂのはんだの厚みに関する情報が考慮される。基板Ｂの色に関する情報は、基板Ｂの表面の色、および、基板Ｂのシルクプリントの色などを含んでいる。また、基板Ｂのはんだの厚みに関する情報は、基板Ｂのはんだの厚み、または、はんだの印刷に用いられたスクリーンマスクの厚みを含んでいる。基板Ｂの色に関する情報は、たとえば、画像中の濃淡を利用した画像処理時に、部品Ｃと基板Ｂとを識別するための補助情報として用いられる。また、基板Ｂのはんだの厚みに関する情報は、画像中の高さを利用した画像処理時に、部品Ｃの端子と基板Ｂのはんだとを識別するための補助情報として用いられる。
　ステップＳ２０２では、画像中の濃淡および画像中の高さを利用した画像処理を用いて、部品形状ごとの部品Ｃの形状の類似度６２が取得される。また、ステップＳ２０２では、画像中の濃淡および画像中の高さを利用した画像処理を用いて、部品形状ごとの部品Ｃの形状の類似度６２を取得する場合に、基板Ｂの色に関する情報、および、基板Ｂのはんだの厚みに関する情報が考慮される。
　そして、ステップＳ２０２では、図９に示すように、部品Ｃの形状に基づいて、部品形状ごとの部品Ｃの形状の類似度６２が取得される。具体的には、複数の部品Ｃの種類および形状が予め登録された部品ライブラリ２１に対して、部品形状ごとの部品Ｃの形状の類似度６２が取得される。部品Ｃの形状の類似度６２は、部品Ｃの外形の類似度と、部品Ｃの本体の類似度と、部品Ｃの端子の類似度とを含んでいる。具体的には、部品Ｃの形状の類似度６２は、部品Ｃの外形の幅Ｗ１の類似度と、部品Ｃの外形の長さＬ１の類似度と、部品Ｃの外形の厚みＴ１の類似度と、部品Ｃの本体の幅Ｗ２の類似度と、部品Ｃの本体の長さＬ２の類似度と、部品Ｃの本体の厚みＴ２の類似度と、部品Ｃの端子の数の類似度と、部品Ｃの端子のピッチＰ３の類似度と、部品Ｃの端子の幅Ｗ３の類似度と、部品Ｃの端子の長さＬ３の類似度と、を含んでいる。これらの部品Ｃの形状の類似度６２は、以下の式（１）により、計測部品（部品画像４１の部品Ｃ）と部品ライブラリ２１の登録部品との乖離度として求めることができる。部品形状ごとの部品Ｃの形状の類似度６２は、数値を含んでいる。
Ｓｓ＝１．０－｜Ｘ１－Ｘ２｜／Ｘ１　・・・（１）
ここで、
Ｓｓ：部品の形状の類似度（乖離度）
Ｘ１：計測部品の形状の値
Ｘ２：登録部品の形状の値
である。
　たとえば、部品Ｃの外形の長さＬ１の類似度を求める場合、図９に示す例では、計測部品の外形の長さＬ１が６．４０（Ｘ１）であり、登録部品の外形の長さＬ１が６．５０（Ｘ２）であるため、部品Ｃの外形の長さＬ１の類似度（Ｓｓ）は、１．０－｜６．４０－６．５０｜／６．４０＝０．９８４３となる。また、たとえば、部品Ｃの本体の幅Ｗ２の類似度を求める場合、図９に示す例では、計測部品の本体の幅Ｗ２が４．３７（Ｘ１）であり、登録部品の本体の幅Ｗ２が４．４０（Ｘ２）であるため、部品Ｃの本体の幅Ｗ２の類似度（Ｓｓ）は、１．０－｜４．３７－４．４０｜／４．３７＝０．９９３１となる。また、たとえば、部品Ｃの端子の数の類似度を求める場合、図９に示す例では、計測部品の右辺の端子の数が６（Ｘ１）であり、登録部品の右辺の端子の数が７（Ｘ２）であるため、部品Ｃの端子の数の類似度（Ｓｓ）は、１．０－｜６－７｜／６＝０．８３３３となる。
　そして、図４および図５に示すように、ステップＳ２０３では、部品種類ごとの部品Ｃの種類の類似度６１および部品形状ごとの部品Ｃの形状の類似度６２に基づいて、部品種類および部品形状の両方の評価指標を含む総合的な評価指標としての部品Ｃごとの部品Ｃの類似度６０が取得される。具体的には、図１０に示すように、部品種類ごとの部品Ｃの種類の類似度６１および部品形状ごとの部品Ｃの形状の類似度６２に基づいて、複数の部品Ｃの種類および形状が予め登録された部品ライブラリ２１に対して、部品Ｃごとの部品Ｃの類似度６０が取得される。より具体的には、部品ライブラリ２１の全ての登録部品に対して、部品Ｃの類似度６０が取得されることにより、種類および形状の両方が特定された部品Ｃごとの部品Ｃの類似度６０が取得される。部品Ｃの類似度６０は、以下の式（２）により、部品種類および部品形状の両方の評価指標（類似度）を含む総合的な評価指標として求めることができる。部品Ｃごとの部品Ｃの類似度６０は、数値を含んでいる。
Ｓｐ＝ａ×Ｓｔ＋ｂ×（Ｓｓｏｗ×Ｓｓｏｌ×Ｓｓｏｔ）＋ｃ×（Ｓｓｂｗ×Ｓｓｂｌ×Ｓｓｂｔ）＋ｄ×（Ｓｓｒｎ×Ｓｓｒｐ×Ｓｓｒｗ×Ｓｓｒｌ）　・・・（２）
ここで、
Ｓｐ：部品の類似度
ａ：部品の種類の類似度の重み係数
Ｓｔ：部品の種類の類似度（確信度）
ｂ：部品の外形の類似度の重み係数
Ｓｓｏｗ：部品の外形の幅の類似度（乖離度）
Ｓｓｏｌ：部品の外形の長さの類似度（乖離度）
Ｓｓｏｔ：部品の外形の厚みの類似度（乖離度）
ｃ：部品の本体の類似度の重み係数
Ｓｓｂｗ：部品の本体の幅の類似度（乖離度）
Ｓｓｂｌ：部品の本体の長さの類似度（乖離度）
Ｓｓｂｔ：部品の本体の厚みの類似度（乖離度）
ｄ：部品の端子の類似度の重み係数
Ｓｓｒｎ：部品の端子の数の類似度（乖離度）
Ｓｓｒｐ：部品の端子のピッチの類似度（乖離度）
Ｓｓｒｗ：部品の端子の幅の類似度（乖離度）
Ｓｓｒｌ：部品の端子の長さの類似度（乖離度）
である。
　なお、上記式（２）のＳｐ、Ｓｔ、Ｓｓｏｗ、Ｓｓｏｌ、Ｓｓｏｔ、Ｓｓｂｗ、Ｓｓｂｌ、Ｓｓｂｔ、Ｓｓｒｎ、Ｓｓｒｐ、Ｓｓｒｗ、Ｓｓｒｌは、０以上１以下の値である。また、重み係数ａ、ｂ、ｃ、ｄは、予め実験などにより求めておくことができる。また、部品Ｃの類似度６０の最大値（Ｓｐの最大値）を１００とする場合、重み係数ａ、ｂ、ｃ、ｄの合計は、１００となる。
　上記式（２）に示すように、部品Ｃの類似度６０は、部品Ｃの種類の類似度６１と、部品Ｃの形状の類似度６２とにそれぞれ重みづけをして加算することにより、取得される。具体的には、部品Ｃの類似度６０は、部品Ｃの種類の類似度６１のグループと、部品Ｃの外形の類似度のグループと、部品Ｃの本体の類似度のグループと、部品Ｃの端子の類似度のグループとにそれぞれ重みづけをして加算することにより、取得される。
　このように、ステップＳ２０１～Ｓ２０３では、予め学習された機械学習モデル７０による画像処理と、画像中の濃淡および画像中の高さのうちの少なくとも１つを利用した画像処理とを用いて、部品Ｃごとの部品Ｃの類似度６０が取得される。
　そして、図３および図１０に示すように、ステップＳ１０４では、部品Ｃごとの部品Ｃの類似度６０に基づいて、基板Ｂを検査する検査装置３０において用いられる部品データとしての検査データ５０が設定される。具体的には、ステップＳ１０４では、部品ライブラリ２１の登録部品データから、部品Ｃの類似度６０の数値が最も高い部品Ｃが、部品データとしての検査データ５０として設定される。図１０に示す例では、「ＳＯＰ１４ｐｉｎ－ｐ１．２７－Ｌ６．５×Ｗ４．４」の部品（登録部品）Ｃが、部品データとしての検査データ５０として設定されている。
　ここで、部品ライブラリ２１の登録部品の数によっては、部品画像４１より取得した部品形状に近い登録部品データが無く、部品形状が異なる登録部品データを部品データとしての検査データ５０として設定してしまう事象が発生するおそれがある。このような事象は、ＳＯＰおよびＱＦＰなどのリード部品において発生しやすい。リード部品では、部品Ｃの外形および本体の形状が略同じで、端子の形状が異なる部品Ｃが多く存在するためである。
　そこで、ステップＳ１０４では、検査データ５０として設定した部品Ｃの端子の情報（登録部品データの部品Ｃの端子の情報）が、部品画像４１に基づいて取得した部品Ｃの端子の情報と異なる場合、検査データ５０として設定した部品Ｃの端子の情報を、部品画像４１に基づいて取得した部品Ｃの端子の情報により上書きすることにより、新たな検査データが作成される。部品Ｃの端子の情報は、部品Ｃの端子の数と、部品Ｃの端子のピッチＰ３と、部品Ｃの端子の幅Ｗ３と、部品Ｃの端子の長さＬ３を含んでいる。ステップＳ１０４では、検査データ５０として設定した部品Ｃの端子の情報と、部品画像４１に基づいて取得した部品Ｃの端子の情報とを比較し、比較結果に基づいて２つの情報がしきい値を超えて大きく異なると判断される場合、検査データ５０として設定した部品Ｃの端子の情報が、部品画像４１に基づいて取得した部品Ｃの端子の情報により上書きされる。
　そして、ステップＳ１０３およびＳ１０４の処理が、実装済基板画像４０中の全ての部品Ｃ（全ての部品画像４１）に対して行われることにより、部品Ｃが実装済の基板Ｂを検査するための検査データ５０の自動設定が完了する。
　なお、図１１に示すように、ステップＳ１０４では、部品Ｃの類似度６０が小さくても、部品Ｃの類似度６０の数値が最も高い部品Ｃが、部品データとしての検査データ５０として設定される。すなわち、部品Ｃの類似度６０の数値の大小にかかわらず、部品Ｃの類似度６０の数値が最も高い部品Ｃが、部品データとしての検査データ５０として設定される。
（本実施形態の効果）
　本実施形態では、以下のような効果を得ることができる。
　本実施形態では、上記のように、部品画像４１に基づいて、部品Ｃごとの部品Ｃの類似度６０を取得するステップと、部品Ｃごとの部品Ｃの類似度６０に基づいて、基板Ｂを検査する検査装置３０において用いられる部品データとしての検査データ５０を設定するステップと、を設ける。これにより、単に寸法が一致したことのみに基づいて部品データとしての検査データ５０を設定する場合と異なり、寸法が完全には一致していなくても、部品Ｃごとの部品Ｃの類似度６０に基づいて、部品データとしての検査データ５０を設定することができる。その結果、適用範囲を広くすることができるので、単に寸法が一致したことに基づいて部品データとしての検査データ５０を設定する場合に比べて、部品データとしての検査データ５０を容易に設定することができる。
　また、本実施形態では、上記のように、部品Ｃごとの部品Ｃの類似度６０は、数値を含む。また、検査データ５０を設定するステップは、部品Ｃの類似度６０の数値が最も高い部品Ｃを部品データとしての検査データ５０として設定するステップを含む。これにより、部品Ｃの類似度６０の数値が最も高い部品Ｃを部品データとしての検査データ５０として設定することができる。その結果、部品データとしての検査データ５０をより容易に設定することができる。
　また、本実施形態では、上記のように、部品Ｃごとの部品Ｃの類似度６０を取得するステップは、予め学習された機械学習モデル７０による画像処理と、画像中の濃淡および画像中の高さを利用した画像処理とを用いて、部品Ｃごとの部品Ｃの類似度６０を取得するステップを含む。これにより、予め学習された機械学習モデル７０による画像処理、または、画像中の濃淡および画像中の高さのうちを利用した画像処理、を用いて、部品Ｃごとの部品Ｃの類似度６０を容易に取得することができる。また、予め学習された機械学習モデル７０による画像処理を用いた場合、熟練者の判断に近い高精度な判断（類似度の取得）を容易に行うことができる。
　また、本実施形態では、上記のように、部品Ｃごとの部品Ｃの類似度６０を取得するステップは、部品画像４１に基づいて、部品種類ごとの部品Ｃの種類の類似度６１を取得するステップを含む。これにより、部品種類ごとの部品Ｃの種類の類似度６１に基づいて、部品Ｃごとの部品Ｃの類似度６０を取得することができる。その結果、部品Ｃの種類を考慮した部品Ｃの類似度６０に基づいて、種類が異なる部品Ｃを識別しつつ、部品データとしての検査データ５０を設定することができる。
　また、本実施形態では、上記のように、部品Ｃごとの部品Ｃの類似度６０を取得するステップは、部品画像４１に基づいて、部品種類ごとの部品Ｃの種類の類似度６１を取得するステップに加えて、部品Ｃの種類の類似度６１を取得するステップとは別個に、部品画像４１に基づいて、部品形状ごとの部品Ｃの形状の類似度６２を取得するステップをさらに含む。これにより、部品種類ごとの部品Ｃの種類の類似度６１だけでなく、部品形状ごとの部品Ｃの形状の類似度６２にも基づいて、部品Ｃごとの部品Ｃの類似度６０を取得することができる。その結果、部品Ｃの種類および形状を考慮した部品Ｃの類似度６０に基づいて、種類および形状が異なる部品Ｃを識別しつつ、部品データとしての検査データ５０を設定することができる。また、部品Ｃの種類および形状の両方を考慮するので、部品Ｃの形状のみを考慮する場合と異なり、同一形状であるが、種類が異なる部品Ｃを識別しつつ、部品データとしての検査データ５０を設定することができる。
　また、本実施形態では、上記のように、部品Ｃごとの部品Ｃの類似度６０を取得するステップは、部品種類ごとの部品Ｃの種類の類似度６１および部品形状ごとの部品Ｃの形状の類似度６２に基づいて、複数の部品Ｃの種類および形状が予め登録された部品ライブラリ２１に対して、部品Ｃごとの部品Ｃの類似度６０を取得するステップを含む。また、検査データ５０を設定するステップは、部品ライブラリ２１の登録部品データから、部品データとしての検査データ５０を設定するステップを含む。これにより、部品ライブラリ２１の登録部品データを用いて、部品データとしての検査データ５０を容易に設定することができる。
　また、本実施形態では、上記のように、部品Ｃの形状の類似度６２は、部品Ｃの外形の類似度と、部品Ｃの本体の類似度と、部品Ｃの端子の類似度とを含む。これにより、部品Ｃの外形の類似度、部品Ｃの本体の類似度、または、部品Ｃの端子の類似度に基づいて、部品Ｃの形状の類似度６２を適切に取得することができる。
　また、本実施形態では、上記のように、部品Ｃごとの部品Ｃの類似度６０を取得するステップは、部品画像４１に基づいて、部品Ｃの外形の幅Ｗ１と、部品Ｃの外形の長さＬ１と、部品Ｃの外形の厚みＴ１と、部品Ｃの本体の幅Ｗ２と、部品Ｃの本体の長さＬ２と、部品Ｃの本体の厚みＴ２と、部品Ｃの端子の数と、部品Ｃの端子のピッチＰ３と、部品Ｃの端子の幅Ｗ３と、部品Ｃの端子の長さＬ３と、を取得するステップを含む。これにより、部品Ｃの外形の幅Ｗ１、部品Ｃの外形の長さＬ１、部品Ｃの外形の厚みＴ１、部品Ｃの本体の幅Ｗ２、部品Ｃの本体の長さＬ２、部品Ｃの本体の厚みＴ２、部品Ｃの端子の数、部品Ｃの端子のピッチＰ３、部品Ｃの端子の幅Ｗ３、または、部品Ｃの端子の長さＬ３に基づいて、部品Ｃの形状の類似度６２を適切に取得することができる。
　また、本実施形態では、上記のように、部品Ｃごとの部品Ｃの類似度６０を取得するステップは、予め学習された機械学習モデル７０による画像処理を用いて、部品種類ごとの部品Ｃの種類の類似度６１を取得するとともに、画像中の濃淡および画像中の高さを利用した画像処理を用いて、部品形状ごとの部品Ｃの形状の類似度６２を取得するステップを含む。これにより、予め学習された機械学習モデル７０による画像処理を用いて、部品種類ごとの部品Ｃの種類の類似度６１を適切に取得しつつ、画像中の濃淡および画像中の高さを利用した画像処理を用いて、部品形状ごとの部品Ｃの形状の類似度６２を適切に取得することができる。
　また、本実施形態では、上記のように、部品Ｃごとの部品Ｃの類似度６０を取得するステップは、画像中の濃淡および画像中の高さを利用した画像処理を用いて、部品形状ごとの部品Ｃの形状の類似度６２を取得する場合に、基板Ｂの色に関する情報、および、基板Ｂのはんだの厚みに関する情報を考慮するステップを含む。これにより、基板Ｂの色に関する情報を考慮する場合、基板Ｂの色と部品Ｃの色（部品Ｃの本体の色、および、部品Ｃの端子の色など）とが近い色である場合にも、基板Ｂと部品Ｃとを容易に識別することができる。その結果、部品形状ごとの部品Ｃの形状の類似度６２を、正確に取得することができる。また、基板Ｂのはんだの厚みに関する情報を考慮する場合、基板Ｂのはんだと部品Ｃの端子とを識別する高さの基準が分かるので、基板Ｂのはんだと部品Ｃの端子とを容易に識別することができる。その結果、部品形状ごとの部品Ｃの形状の類似度６２を、正確に取得することができる。
　また、本実施形態では、上記のように、実装済基板画像４０中の部品画像４１を抽出するステップは、基板Ｂに部品Ｃを実装する部品実装装置において用いられるとともに、部品Ｃの形状および部品Ｃの実装位置を含む基板データ、および、基板Ｂの画像データとしての基板ＣＡＤデータのうちの少なくとも１つに基づいて、実装済基板画像４０中の部品画像４１を抽出するステップを含む。これにより、基板データ、または、基板ＣＡＤデータに基づいて、実装済基板画像４０中の部品Ｃの位置を容易に指定することができる。その結果、基板データ、または、基板ＣＡＤデータを用いない場合に比べて、実装済基板画像４０中の部品画像４１を容易に抽出することができる。
　また、本実施形態では、上記のように、検査データ５０を作成するステップは、検査データ５０として設定した部品Ｃの端子の情報が、部品画像４１に基づいて取得した部品Ｃの端子の情報と異なる場合、検査データ５０として設定した部品Ｃの端子の情報を、部品画像４１に基づいて取得した部品Ｃの端子の情報により上書きすることにより、新たな検査データ５０を作成するステップを含む。これにより、誤った部品Ｃの端子の情報を検査データ５０として設定することを抑制することができる。
［変形例］
　なお、今回開示された実施形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく請求の範囲によって示され、さらに請求の範囲と均等の意味および範囲内での全ての変更（変形例）が含まれる。
　たとえば、上記実施形態では、検査データ作成装置が、本発明の検査データの作成を行う例を示したが、本発明はこれに限られない。本発明では、検査装置が、本発明の検査データの作成を行ってもよい。この場合、上記実施形態の検査装置３０の制御部３４ａが、上記実施形態の検査データ作成装置１０の制御部１１と同様に機能する。
　また、上記実施形態では、部品ごとの部品の類似度に基づいて、検査データが自動設定される例を示したが、本発明はこれに限られない。本発明では、部品ごとの部品の類似度に基づいて、検査データが手動設定されてもよい。この場合、たとえば、表示部に表示することにより、部品ごとの部品の類似度を作業者に提示し、作業者により検査データが手動設定されてもよい。
　また、上記実施形態では、部品の類似度の数値の大小にかかわらず、部品の類似度の数値が最も高い部品が、部品データとしての検査データとして設定される例を示したが、本発明はこれに限られない。本発明では、部品の類似度の数値がしきい値以下である場合、部品の類似度の数値がしきい値以下であることが作業者に通知されてもよい。
　また、上記実施形態では、機械学習モデルによる画像処理と、画像中の濃淡および画像中の高さを利用した画像処理とを用いて、部品ごとの部品の類似度が取得される例を示したが、本発明はこれに限られない。本発明では、機械学習モデルによる画像処理と、画像中の濃淡および画像中の高さを利用した画像処理とのうちのいずれか一方のみを用いて、部品ごとの部品の類似度が取得されてもよい。たとえば、機械学習モデルによる画像処理により、部品の種類の類似度および部品の形状の類似度の両方が取得されてもよい。また、たとえば、画像中の濃淡および画像中の高さを利用した画像処理により、部品の種類の類似度および部品の形状の類似度の両方が取得されてもよい。この場合、画像中の濃淡および画像中の高さを利用した画像処理により、部品の端子の配置状態を取得するとともに、部品の端子の配置状態と部品の端子形状のルールに基づいて、部品の種類の類似度が取得されてもよい。端子形状のルールとしては、たとえば、ＳＯＰの場合、部品の本体の互いに対向する２辺にガルウィング状の端子が存在することをルールとすることができる。また、たとえば、ＱＦＰの場合、部品の本体の４辺にガルウィング状の端子が存在することをルールとすることができる。
　また、上記実施形態では、画像中の濃淡および画像中の高さを利用した画像処理が行われる例を示したが、本発明はこれに限られない。本発明では、画像中の濃淡および画像中の高さのうちの一方のみを利用した画像処理が行われてもよい。
　また、上記実施形態では、実装済基板画像および部品画像が、２次元画像および３次元画像を含んでいる例を示したが、本発明はこれに限られない。本発明では、実装済基板画像および部品画像が、２次元画像および３次元画像のうちのいずれか一方のみを含んでいてもよい。
　また、上記実施形態では、部品ライブラリ（部品登録情報）の全ての登録部品に対して、部品の類似度が取得されることにより、部品ごとの部品の類似度が取得される例を示したが、本発明はこれに限られない。本発明では、部品登録情報の一部の登録部品に対して、部品の類似度が取得されることにより、部品ごとの部品の類似度が取得されてもよい。
　また、上記実施形態では、部品の形状の類似度が、部品の外形の類似度と、部品の本体の類似度と、部品の端子の類似度と、を含んでいる例を示したが、本発明はこれに限られない。本発明では、部品の形状の類似度が、部品の外形の類似度と、部品の本体の類似度と、部品の端子の類似度とのうちのいずれか１つまたは２つのみを含んでいてもよい。
　また、上記実施形態では、部品画像に基づいて、部品の外形の幅と、部品の外形の長さと、部品の外形の厚みと、部品の本体の幅と、部品の本体の長さと、部品の本体の厚みと、部品の端子の数と、部品の端子のピッチと、部品の端子の幅と、部品の端子の長さと、が取得される例を示したが、本発明はこれに限られない。本発明では、部品画像に基づいて、部品の外形の幅と、部品の外形の長さと、部品の外形の厚みと、部品の本体の幅と、部品の本体の長さと、部品の本体の厚みと、部品の端子の数と、部品の端子のピッチと、部品の端子の幅と、部品の端子の長さと、の全てが取得される必要はない。
　また、上記実施形態では、機械学習モデルによる画像処理を用いて、部品種類ごとの部品の種類の類似度が取得されるとともに、画像中の濃淡および画像中の高さを利用した画像処理を用いて、部品形状ごとの部品の形状の類似度が取得される例を示したが、本発明はこれに限られない。本発明では、画像中の濃淡および画像中の高さのうちの少なくとも１つを利用した画像処理を用いて、部品種類ごとの部品の種類の類似度が取得されるとともに、機械学習モデルによる画像処理を用いて、部品形状ごとの部品の形状の類似度が取得されてもよい。
　また、上記実施形態では、画像中の濃淡および画像中の高さを利用した画像処理を用いて、部品形状ごとの部品の形状の類似度を取得する場合に、基板の色に関する情報、および、基板のはんだの厚みに関する情報が考慮される例を示したが、本発明はこれに限られない。本発明では、画像中の濃淡および画像中の高さのうちの少なくとも１つを利用した画像処理を用いて、部品形状ごとの部品の形状の類似度を取得する場合に、基板の色に関する情報、および、基板のはんだの厚みに関する情報のうちの一方のみが考慮されてもよい。また、画像中の濃淡および画像中の高さのうちの少なくとも１つを利用した画像処理を用いて、部品種類ごとの部品の種類の類似度を取得する場合に、基板の色に関する情報、および、基板のはんだの厚みに関する情報のうちの少なくとも１つが考慮されてもよい。
　また、上記実施形態では、説明の便宜上、制御部の処理動作を処理フローに沿って順番に処理を行うフロー駆動型のフローチャートを用いて説明したが、本発明はこれに限られない。本発明では、制御部の処理動作を、イベント単位で処理を実行するイベント駆動型（イベントドリブン型）の処理により行ってもよい。この場合、完全なイベント駆動型で行ってもよいし、イベント駆動およびフロー駆動を組み合わせて行ってもよい。
　１０　検査データ作成装置
　１１、３４ａ　制御部
　１５　通信部
　２１　部品ライブラリ（部品登録情報）
　３０　検査装置
　３３ａ　撮影部
　４０　実装済基板画像
　４１　部品画像
　５０　検査データ
　６０　部品の類似度
　６１　部品の種類の類似度
　６２　部品の形状の類似度
　７０　機械学習モデル
　Ｂ　基板
　Ｃ　部品
　Ｌ１　部品の外形の長さ
　Ｌ２　部品の本体の長さ
　Ｌ３　部品の端子の長さ
　Ｐ３　部品の端子のピッチ
　Ｔ１　部品の外形の厚み
　Ｔ２　部品の本体の厚み
　Ｗ１　部品の外形の幅
　Ｗ２　部品の本体の幅
　Ｗ３　部品の端子の幅

Claims (14)

  1. 　部品が実装済の基板の実装済基板画像を取得するステップと、
    　前記実装済基板画像中の前記部品の部品画像を抽出するステップと、
    　前記部品画像に基づいて、前記部品ごとの前記部品の類似度を取得するステップと、
    　前記部品ごとの前記部品の類似度に基づいて、前記基板を検査する検査装置において用いられる部品データとしての検査データを設定するステップと、を備える、検査データ作成方法。
  2. 　前記部品ごとの前記部品の類似度は、数値を含み、
    　前記検査データを設定するステップは、前記部品の類似度の数値が最も高い前記部品を前記部品データとしての前記検査データとして設定するステップを含む、請求項１に記載の検査データ作成方法。
  3. 　前記部品ごとの前記部品の類似度を取得するステップは、予め学習された機械学習モデルによる画像処理と、画像中の濃淡および画像中の高さのうちの少なくとも１つを利用した画像処理と、のうちの少なくとも１つを用いて、前記部品ごとの前記部品の類似度を取得するステップを含む、請求項１または２に記載の検査データ作成方法。
  4. 　前記部品ごとの前記部品の類似度を取得するステップは、前記部品画像に基づいて、部品種類ごとの前記部品の種類の類似度を取得するステップを含む、請求項１～３のいずれか１項に記載の検査データ作成方法。
  5. 　前記部品ごとの前記部品の類似度を取得するステップは、前記部品画像に基づいて、部品種類ごとの前記部品の種類の類似度を取得するステップに加えて、前記部品の種類の類似度を取得するステップとは別個に、前記部品画像に基づいて、部品形状ごとの前記部品の形状の類似度を取得するステップをさらに含む、請求項４に記載の検査データ作成方法。
  6. 　前記部品ごとの前記部品の類似度を取得するステップは、部品種類ごとの前記部品の種類の類似度および部品形状ごとの前記部品の形状の類似度に基づいて、複数の前記部品の種類および形状が予め登録された部品登録情報に対して、前記部品ごとの前記部品の類似度を取得するステップを含み、
    　前記検査データを設定するステップは、前記部品登録情報の登録部品データから、前記部品データとしての前記検査データを設定するステップを含む、請求項５に記載の検査データ作成方法。
  7. 　前記部品の形状の類似度は、前記部品の外形の類似度と、前記部品の本体の類似度と、前記部品の端子の類似度とのうちの少なくとも１つを含む、請求項５または６に記載の検査データ作成方法。
  8. 　前記部品ごとの前記部品の類似度を取得するステップは、前記部品画像に基づいて、前記部品の外形の幅と、前記部品の外形の長さと、前記部品の外形の厚みと、前記部品の本体の幅と、前記部品の本体の長さと、前記部品の本体の厚みと、前記部品の端子の数と、前記部品の端子のピッチと、前記部品の端子の幅と、前記部品の端子の長さと、のうちの少なくとも１つを取得するステップを含む、請求項５～７のいずれか１項に記載の検査データ作成方法。
  9. 　前記部品ごとの前記部品の類似度を取得するステップは、予め学習された機械学習モデルによる画像処理を用いて、部品種類ごとの前記部品の種類の類似度を取得するとともに、画像中の濃淡および画像中の高さのうちの少なくとも１つを利用した画像処理を用いて、部品形状ごとの前記部品の形状の類似度を取得するステップを含む、請求項５～８のいずれか１項に記載の検査データ作成方法。
  10. 　前記部品ごとの前記部品の類似度を取得するステップは、画像中の濃淡および画像中の高さのうちの少なくとも１つを利用した画像処理を用いて、部品種類ごとの前記部品の種類の類似度および部品形状ごとの前記部品の形状の類似度のうちの少なくとも１つを取得する場合に、前記基板の色に関する情報、および、前記基板のはんだの厚みに関する情報のうちの少なくとも１つを考慮するステップを含む、請求項５～８のいずれか１項に記載の検査データ作成方法。
  11. 　前記実装済基板画像中の前記部品画像を抽出するステップは、前記基板に前記部品を実装する部品実装装置において用いられるとともに、前記部品の形状および前記部品の実装位置を含む基板データ、および、前記基板の画像データとしての基板ＣＡＤデータのうちの少なくとも１つに基づいて、前記実装済基板画像中の前記部品画像を抽出するステップを含む、請求項１～１０のいずれか１項に記載の検査データ作成方法。
  12. 　前記検査データを設定するステップは、前記検査データとして設定した前記部品の端子の情報が、前記部品画像に基づいて取得した前記部品の端子の情報と異なる場合、前記検査データとして設定した前記部品の端子の情報を、前記部品画像に基づいて取得した前記部品の端子の情報により上書きすることにより、新たな前記検査データを作成するステップを含む、請求項１～１１のいずれか１項に記載の検査データ作成方法。
  13. 　部品が実装済の基板の実装済基板画像を取得する取得部と、
    　前記実装済基板画像中の前記部品の部品画像を抽出し、前記部品画像に基づいて、前記部品ごとの前記部品の類似度を取得し、前記部品ごとの前記部品の類似度に基づいて、前記基板を検査する検査装置において用いられる部品データとしての検査データを設定する制御部と、を備える、検査データ作成装置。
  14. 　部品が実装済の基板を撮影して実装済基板画像を取得する撮影部と、
    　前記実装済基板画像中の前記部品の部品画像を抽出し、前記部品画像に基づいて、前記部品ごとの前記部品の類似度を取得し、前記部品ごとの前記部品の類似度に基づいて、部品データとしての検査データを設定する制御部と、を備える、検査装置。
PCT/JP2020/026087 2020-07-02 2020-07-02 検査データ作成方法、検査データ作成装置および検査装置 WO2022003919A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022532968A JP7448655B2 (ja) 2020-07-02 2020-07-02 検査データ作成方法、検査データ作成装置および検査装置
PCT/JP2020/026087 WO2022003919A1 (ja) 2020-07-02 2020-07-02 検査データ作成方法、検査データ作成装置および検査装置
TW110121908A TWI841850B (zh) 2020-07-02 2021-06-16 檢查資料製作方法、檢查資料製作裝置及檢查裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/026087 WO2022003919A1 (ja) 2020-07-02 2020-07-02 検査データ作成方法、検査データ作成装置および検査装置

Publications (1)

Publication Number Publication Date
WO2022003919A1 true WO2022003919A1 (ja) 2022-01-06

Family

ID=79315842

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/026087 WO2022003919A1 (ja) 2020-07-02 2020-07-02 検査データ作成方法、検査データ作成装置および検査装置

Country Status (2)

Country Link
JP (1) JP7448655B2 (ja)
WO (1) WO2022003919A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023171412A1 (ja) * 2022-03-08 2023-09-14 三菱電機株式会社 設計支援装置、および学習装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004151057A (ja) * 2002-11-01 2004-05-27 Omron Corp 部品コード変換テーブルの登録方法、変換テーブル登録装置、部品コード変換テーブルの登録用プログラムおよび記憶媒体
JP2004340832A (ja) * 2003-05-16 2004-12-02 Matsushita Electric Ind Co Ltd 回路基板の外観検査方法及び回路基板の外観検査装置
JP2006250609A (ja) * 2005-03-09 2006-09-21 Matsushita Electric Ind Co Ltd 回路実装基板の外観検査方法
JP2008032525A (ja) * 2006-07-28 2008-02-14 Omron Corp 基板外観検査用の検査基準データの設定方法およびこの方法を用いた基板外観検査装置
WO2015115274A1 (ja) * 2014-01-31 2015-08-06 オムロン株式会社 物体判別装置、画像センサ、物体判別方法
WO2018105100A1 (ja) * 2016-12-09 2018-06-14 株式会社Ｆｕｊｉ 装着ジョブデータの作成方法および作成装置
JP2019100917A (ja) * 2017-12-05 2019-06-24 パナソニックＩｐマネジメント株式会社 検査プログラム生成システム、検査プログラムの生成方法、及び検査プログラムの生成用プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004151057A (ja) * 2002-11-01 2004-05-27 Omron Corp 部品コード変換テーブルの登録方法、変換テーブル登録装置、部品コード変換テーブルの登録用プログラムおよび記憶媒体
JP2004340832A (ja) * 2003-05-16 2004-12-02 Matsushita Electric Ind Co Ltd 回路基板の外観検査方法及び回路基板の外観検査装置
JP2006250609A (ja) * 2005-03-09 2006-09-21 Matsushita Electric Ind Co Ltd 回路実装基板の外観検査方法
JP2008032525A (ja) * 2006-07-28 2008-02-14 Omron Corp 基板外観検査用の検査基準データの設定方法およびこの方法を用いた基板外観検査装置
WO2015115274A1 (ja) * 2014-01-31 2015-08-06 オムロン株式会社 物体判別装置、画像センサ、物体判別方法
WO2018105100A1 (ja) * 2016-12-09 2018-06-14 株式会社Ｆｕｊｉ 装着ジョブデータの作成方法および作成装置
JP2019100917A (ja) * 2017-12-05 2019-06-24 パナソニックＩｐマネジメント株式会社 検査プログラム生成システム、検査プログラムの生成方法、及び検査プログラムの生成用プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023171412A1 (ja) * 2022-03-08 2023-09-14 三菱電機株式会社 設計支援装置、および学習装置

Also Published As

Publication number Publication date
JP7448655B2 (ja) 2024-03-12
TW202220542A (zh) 2022-05-16
JPWO2022003919A1 (ja) 2022-01-06

Similar Documents

Publication Publication Date Title
JP6922168B2 (ja) 表面実装ラインの品質管理システム及びその制御方法
US10991088B2 (en) Defect inspection system and method using artificial intelligence
JP3092809B2 (ja) 検査方法、並びに検査プログラムデータの自動作成機能を有する検査装置
US20120327215A1 (en) High speed optical sensor inspection system
JP7122524B2 (ja) 検査プログラム生成システム、検査プログラムの生成方法、及び検査プログラムの生成用プログラム
CN107945184A (zh) 一种基于彩色图像分割和梯度投影定位的贴装元件检测方法
JP4493421B2 (ja) プリント回路基板検査装置とプリント回路基板組み立て検査ラインシステムおよびプログラム
Janóczki et al. Automatic optical inspection of soldering
JP2011082243A (ja) 部品実装装置および部品実装装置における実装状態検査方法
WO2022003919A1 (ja) 検査データ作成方法、検査データ作成装置および検査装置
CN108093618A (zh) 通过比较3d高度轮廓与参照高度轮廓来检验贴装内容
JP2010027964A (ja) 検査領域の領域設定データの作成方法および基板外観検査装置
CN109804730B (zh) 基板检查装置及利用其的基板歪曲补偿方法
EP3104169B1 (en) Quality management system
TWI841850B (zh) 檢查資料製作方法、檢查資料製作裝置及檢查裝置
KR20040096277A (ko) 메탈 마스크 검사 장치 및 그의 검사 방법
JP3123275B2 (ja) 電子部品の欠品検査における検査データの作成方法
CN116758160B (zh) 基于正交视觉系统的光学元件装配过程位姿检测方法及装配方法
JP5778685B2 (ja) ボールグリッドアレイデバイスの位置合わせ及び検査のためのシステム及び方法
KR101495323B1 (ko) 벤트홀을 이용한 플립칩 얼라인먼트 검사 장치 및 방법
JP2004301620A (ja) 自動部品マウント装置の検査方法
TWI449119B (zh) Circuit board placement method
JPH038400A (ja) プリント基板の位置補正方法
JP2884581B2 (ja) 実装済プリント基板の検査装置における基準データーの教示方法
Kunte Automatická optická inspekce plošných spojů

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20942432

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022532968

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20942432

Country of ref document: EP

Kind code of ref document: A1