WO2022224645A1 - データ作成システム、及び、実装システム - Google Patents

データ作成システム、及び、実装システム Download PDF

Info

Publication number
WO2022224645A1
WO2022224645A1 PCT/JP2022/012023 JP2022012023W WO2022224645A1 WO 2022224645 A1 WO2022224645 A1 WO 2022224645A1 JP 2022012023 W JP2022012023 W JP 2022012023W WO 2022224645 A1 WO2022224645 A1 WO 2022224645A1
Authority
WO
WIPO (PCT)
Prior art keywords
component
unit
data
image
information
Prior art date
Application number
PCT/JP2022/012023
Other languages
English (en)
French (fr)
Inventor
鳴海 厚田
一総 坪田
浩 村田
誠一 松尾
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2023516344A priority Critical patent/JPWO2022224645A1/ja
Publication of WO2022224645A1 publication Critical patent/WO2022224645A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages

Definitions

  • the present invention relates to a data creation system that creates component data used to recognize components, and a mounting system that recognizes components based on the component data and mounts them on boards.
  • Patent Document 1 Conventionally, techniques for automating the creation of component data used to recognize components have been proposed (see Patent Document 1, for example).
  • the operator specifies the characteristic portions of the part such as the position or shape of the electrode of the part, and the characteristic portion cannot be automatically designated.
  • the present invention provides a data creation system and the like that can create component data for recognizing components more easily than before.
  • a data creation system is a data creation system that creates component data used when recognizing a component, wherein each of a plurality of components including a first component is imaged.
  • a first part including the first part is obtained by using an inference model trained using the generated plurality of part images and information about characteristic portions of each of the plurality of parts including the first part as learning data.
  • An inference unit that receives an image as an input and outputs information about the characteristic part of the first part in the first part image, and based on the information about the characteristic part of the first part output by the inference part, and a data creation unit that creates the component data.
  • a mounting system is a mounting system comprising the above data creation system and a mounting device, wherein the mounting device creates a component using the component data created by the data creation system.
  • a recognition unit that recognizes, a head that holds the component and mounts the component on a substrate, and a control unit that controls the head based on the recognition result of the recognition unit.
  • FIG. 1 is a block diagram showing the configuration of a mounting system according to Embodiment 1.
  • FIG. 2 is a block diagram showing the configuration of the inference model creation device according to the first embodiment.
  • FIG. 3 is a diagram showing a first example of learning part image data according to the first embodiment.
  • FIG. 4 is a diagram showing a second example of learning part image data according to the first embodiment.
  • FIG. 5 is a diagram showing a third example of learning part image data according to the first embodiment.
  • FIG. 6 is a block diagram showing the configuration of the data creation system according to Embodiment 1.
  • FIG. 7 is a diagram for explaining characteristic portion detection processing executed by the data creation system according to the first embodiment.
  • FIG. 8 is a block diagram showing the configuration of the mounting apparatus according to Embodiment 1.
  • FIG. FIG. 9 is a flow chart showing a processing procedure of the inference model creation device according to the first embodiment.
  • 10 is a flow chart showing the processing procedure of the data creation system according to the first embodiment.
  • FIG. 11 is a flow chart showing the processing procedure of the mounting apparatus according to Embodiment 1.
  • FIG. 12 is a block diagram showing the configuration of a data creation system according to Embodiment 2.
  • FIG. 13 is a diagram for explaining characteristic portion detection processing executed by the data creation system according to the second embodiment.
  • FIG. 14 is a diagram for explaining characteristic portion detection processing executed by the data creation system according to the second embodiment.
  • FIG. 13 is a diagram for explaining characteristic portion detection processing executed by the data creation system according to the second embodiment.
  • FIG. 15 is a flow chart showing the processing procedure of the data creation system according to the second embodiment.
  • FIG. 16 is a block diagram showing the configuration of a data creation system according to Embodiment 3.
  • FIG. 17 is a flow chart showing the processing procedure of the data creation system according to the third embodiment.
  • FIG. 18 is a block diagram showing the configuration of a data creation system according to Embodiment 4.
  • FIG. 19 is a flow chart showing the processing procedure of the data creation system according to the fourth embodiment.
  • FIG. 20 is a block diagram showing the configuration of a data creation system according to Embodiment 5.
  • FIG. 21 is a flow chart showing the processing procedure of the data creation system according to the fifth embodiment.
  • each figure is a schematic diagram, and the scale, dimensions, etc. are not necessarily strictly illustrated.
  • symbol is attached
  • FIG. 1 is a block diagram showing the configuration of a mounting system 400 according to Embodiment 1.
  • FIG. 1 is a block diagram showing the configuration of a mounting system 400 according to Embodiment 1.
  • the mounting system 400 is a component mounting system that recognizes a component based on an image (also referred to as a component image) generated by imaging the component and component data, and mounts the component on a board based on the recognition result.
  • an image also referred to as a component image
  • parts examples include chip parts, IC (Integrated Circuit) parts, BGA (Ball Grid Array) parts, connector parts, mini-mold parts, and odd-shaped parts.
  • IC Integrated Circuit
  • BGA Ball Grid Array
  • substrates examples include substrates such as printed wiring boards.
  • the mounting system 400 is, for example, a system that manufactures various circuit boards such as control circuits and power supply circuits by mounting components on boards.
  • the mounting system 400 will be described as being used for manufacturing circuit boards. May be used for work.
  • the mounting system 400 may be used for various operations such as a press-fitting operation for press-fitting a component onto a substrate, a processing operation for attaching a component onto a substrate, and a fastening operation.
  • the implementation system 400 includes an inference model creation device 100, a data creation system 200, and an implementation device 300.
  • the inference model creation device 100 is a device that creates an inference model for creating part data.
  • the inference model generation device 100 includes, for example, a communication interface for communicating with a device such as the data generation system 200, a nonvolatile memory storing a program, a volatile memory that is a temporary storage area for executing the program, It is a computer equipped with an input/output port for sending and receiving signals, a processor for executing programs, and the like.
  • Parts data is data used to recognize parts.
  • An inference model is a machine learning model that acquires object information based on images.
  • the inference model includes a plurality of component images (component image data) generated by capturing images of a plurality of components including the first component, and a plurality of component images including the first component. and information (feature data) on each of the feature portions of .
  • Each of the plurality of images includes, for example, one or more components among the plurality of components including the first component.
  • Information about the characteristic portion is provided, for example, for each of a plurality of images.
  • the inference model is, for example, a machine learning model using a neural network such as deep learning (deep learning), but may be another machine learning model.
  • a characteristic part is a characteristic part for specifying a part, for example, a characteristic part in the body of the part, an electrode provided on the part, and the like.
  • the information about the feature part includes information about any of the shape type, position, size and angle of the feature part of the first part in the first part image.
  • the positional information is, for example, coordinates in an arbitrarily determined coordinate system in the image of the electrodes provided on the component.
  • the information on dimensions is, for example, information indicating the size of at least one of the part and the electrodes provided on the part, and is a numerical value indicating the length.
  • the information about the angle is, for example, information indicating the direction in which the electrode provided on the component is arranged, and is a numerical value indicating the angle.
  • the information about the characteristic portion includes the type (class) of the shape of the characteristic portion possessed by the part.
  • the information on the type of shape is, for example, information indicating the shape of at least one of the body of the component and the electrode of the component, and information indicating the shape of a characteristic portion such as a corner or a rectangle, or information indicating the shape of a characteristic portion such as a lead, This is information that can specify the shape of an electrode such as a bump.
  • FIG. 2 is a block diagram showing the configuration of the inference model creation device 100 according to the first embodiment.
  • the inference model creation device 100 includes a storage unit 110, a learning data set acquisition unit 120, a learning unit 130, and an output unit 140.
  • the storage unit 110 is a storage device such as an HDD (Hard Disk Drive), flash memory, etc. that stores the learning component image data 111 and the teacher data 112 .
  • HDD Hard Disk Drive
  • flash memory etc. that stores the learning component image data 111 and the teacher data 112 .
  • the learning part image data 111 is part image data including a plurality of parts including the first part.
  • the teacher data 112 is so-called annotation information, which is data indicating information about characteristic portions of each of a plurality of parts including the first part included in the learning part image data 111 .
  • the teacher data 112 is, for example, information indicating the types (classes) of the shapes of electrodes of parts such as connector parts, and information about the positions, dimensions, arrangement pitches, etc. of the electrodes in accordance with the learning part image data 111. It is information that includes
  • the inference model creation device 100 receives, for example, the learning part image data 111 and the teacher data 112 from a computer (not shown) operated by an operator, and stores them in the storage unit 110 .
  • the learning data set acquisition unit 120 is a processing unit that acquires a data set of learning data (simply referred to as a data set) used by the learning unit 130 to perform machine learning and create an inference model.
  • learning data set acquisition section 120 acquires a combination of learning component image data 111 stored in storage section 110 and teacher data 112 as a data set.
  • the learning data set acquisition unit 120 acquires data sets not from the storage unit 110 but from a computer (not shown) operated by a worker via a communication interface (not shown) provided in the inference model creation device 100. You may
  • the learning unit 130 is a processing unit that creates (also referred to as learning or training) an inference model by performing machine learning using the dataset acquired by the learning dataset acquisition unit 120 . It can also be said that the learning unit 130 causes the inference model to learn using the data set.
  • Machine learning is realized, for example, by Back Propagation (BP) in deep learning.
  • the learning unit 130 inputs the learning part image data 111 to the inference model, and acquires the detection result output by the inference model. Then, the learning unit 130 adjusts the inference model so that the detection result becomes the teacher data 112 .
  • the learning unit 130 improves the detection accuracy of the inference model by repeating such adjustments for a plurality of (for example, thousands of sets) different pieces of learning part image data 111 and the corresponding teacher data 112 .
  • the inference model is stored, for example, in the storage unit 110, and the learning unit 130 causes the inference model stored in the storage unit 110 to learn.
  • Storing an inference model means storing information such as network parameters and calculation algorithms (machine learning algorithms) in the inference model.
  • algorithms include, but are not limited to, ThinNet, YOLOv3-tiny, RefineDet (Single-Shot Refinement Neural Network for Object Detection), CenterNET-res18, CenterNET-DLA34, and the like.
  • FIG. 3 is a diagram showing a first example of the learning part image data 111 according to the first embodiment. Specifically, FIG. 3 is a diagram schematically showing an image including the component 500. As shown in FIG.
  • the component 500 includes, as characteristic portions, a lead portion 510 in which leads are arranged, and an insertion portion 520 positioned between the two lead portions 510 .
  • the teacher data 112 associated with the learning component image data 111 in this case is, for example, information indicating the shape types, positions, dimensions, angles, etc. of the plurality of leads in the lead portion 510 and the insertion portion 520 .
  • FIG. 4 is a diagram showing a second example of the learning part image data 111 according to the first embodiment. Specifically, FIG. 4 is a diagram schematically showing an image including the component 501. As shown in FIG.
  • the component 501 includes, as a characteristic portion, a ball portion 530 in which a plurality of ball-shaped electrodes are arranged.
  • the teacher data 112 associated with the learning component image data 111 in this case is, for example, information indicating the shape type, position, and size of each of the plurality of ball-shaped electrodes.
  • FIG. 5 is a diagram showing a third example of the learning part image data 111 according to the first embodiment. Specifically, FIG. 5 is a diagram schematically showing an image including a part 502. As shown in FIG.
  • the component 502 has, as characteristic portions, a corner portion 540 indicating a corner portion on the outer edge of the component 502 and a straight portion 550 indicating a straight portion on the outer edge of the component 502. include.
  • the teacher data 112 associated with the learning component image data 111 in this case is, for example, information indicating the shape type, position, size, and angle of each of the corner portion 540 and the straight portion 550 .
  • the output unit 140 is a processing unit that outputs the inference model learned by the learning unit 130.
  • the output unit 140 has, for example, a communication interface for the inference model creation device 100 to communicate with the data creation system 200 .
  • the learning unit 130 for example, transmits the learned inference model to the data creation system 200 via the output unit 140 .
  • the output unit 140 may be connected to the data creation system 200 so as to be capable of wired communication, or may be connected so as to be wirelessly communicable.
  • the output unit 140 is implemented by an adapter to which a communication line for wired communication is connected, an antenna and a wireless communication circuit for wireless communication, or the like.
  • the output unit 140 may be a terminal to which a storage device such as a USB (Universal Serial Bus) memory storing an inference model is connected.
  • a storage device such as a USB (Universal Serial Bus) memory storing an inference model
  • Each processing unit included in the inference model creation device 100 is implemented by, for example, a processor such as a CPU (Central Processing Unit) and a control program executed by the processor.
  • a processor such as a CPU (Central Processing Unit) and a control program executed by the processor.
  • Each processing unit may be implemented by one processor, or may be implemented by processors different from each other.
  • the data creation system 200 is a device that creates component data used when recognizing components. Specifically, the data creation system 200 uses an inference model to determine the shape of the characteristic portion of the component in an image including the component generated by imaging the component by the mounting apparatus 300 or the like that mounts the component on the board. Part data, which is data used to specify (recognize) the type, position, size, angle, etc., is created.
  • the data generation system 200 is, for example, a communication interface for communicating with devices such as the inference model generation device 100 and the mounting device 300, a non-volatile memory storing programs, and a temporary storage area for executing programs. It is a computer equipped with a volatile memory, an input/output port for sending and receiving signals, a processor for executing programs, and the like.
  • FIG. 6 is a block diagram showing the configuration of the data creation system 200 according to the first embodiment.
  • the data creation system 200 includes an imaging unit 210, an image processing unit 220, a feature data detection unit (inference unit) 230, a component data creation unit (data creation unit) 240, an output unit 250, an acquisition unit 260, and a storage unit 270 .
  • the imaging unit 210 captures an image of a component input to the inference model used by the feature data detection unit 230 (more specifically, captures the component to generate an image (image data) including the component). It's a camera.
  • the imaging unit 210 outputs a captured image (more specifically, an image generated by capturing) to the image processing unit 220 .
  • the imaging unit 210 generates a component image including the first component by capturing an image of the first component, and outputs the generated component image to the image processing unit 220 .
  • a camera included in the mounting apparatus 300 may be used as the imaging unit 210 .
  • the imaging unit 210 does not have to be always connected to the image processing unit 220 so as to be communicable.
  • an image generated by the imaging unit 210 may be stored in a portable storage device such as a USB memory, and the image may be output to the image processing unit 220 via the storage device.
  • the imaging unit 210 may be, for example, a camera of a terminal carried by the worker.
  • the image processing unit 220 is a processing unit that performs image processing on the image acquired from the imaging unit 210 .
  • the image processing unit 220 adjusts the position of the parts in the image and performs preprocessing such as noise removal for the feature data detection unit 230 to detect the feature part of the part from the image.
  • the image processing unit 220 outputs the preprocessed image to the feature data detection unit 230 .
  • the image may be stored in the storage unit 270 in advance.
  • the image processing section 220 may acquire the image from the storage section 270 .
  • the image processing section 220 may acquire an image from an external device via a communication section such as a communication interface (not shown) included in the data creation system 200 .
  • the feature data detection unit 230 is a processing unit that uses an inference model for the image acquired from the image processing unit 220 and outputs information about the feature part of the part. Specifically, the feature data detection unit 230 extracts a plurality of component images generated by imaging each of the plurality of components including the first component and the characteristics of each of the plurality of components including the first component. Using an inference model trained with information about the part as learning data (for example, the above-described data set), using a first part image including the first part as an input, the first part in the first part image outputs information about the features of
  • FIG. 7 is a diagram for explaining the characteristic part detection processing executed by the data creation system 200 according to the first embodiment. Specifically, (a) of FIG. 7 is a diagram schematically showing an example of an image including the part 503 that is input to the inference model, and (b) of FIG. FIG. 11 is a diagram for explaining information about a feature portion output from an inference model when an image including a part 503 schematically shown in FIG.
  • the characteristic data detection unit 230 uses the inference model to detect, for example, the lead portion 560 that is the characteristic portion of the component 503 shown in FIG. 7B. Specifically, the feature data detection unit 230 outputs information on features such as the shape type, position, size, array pitch, and angle of the lead part 560 using the inference model.
  • the feature data detection unit 230 receives the image acquired from the image processing unit 220 using the inference model acquired by the acquisition unit 260, and transmits information about the feature part of the part included in the image to the part data creation unit 240. output to
  • the feature data detection unit 230 provides information indicating a candidate with the highest probability among the plurality of estimated candidates. only may be output as the information about the characteristic portion of the first part.
  • An inference model may estimate multiple output candidates for an input. For example, in an inference model that takes as input an image containing a part and outputs information indicating whether the type (class) of the shape of the feature of the part is A, B, or C, the image containing the part is entered, the probability (probability) that the class is A is 70%, the probability that the class is B is 20%, the probability that the class is C is 10%, and so on. , multiple candidates may be estimated.
  • the feature data detection unit 230 outputs only information indicating the candidate with the highest probability among the plurality of candidates.
  • the feature data detection unit 230 uses an inference model that outputs only information indicating the candidate with the highest degree of certainty among the plurality of candidates.
  • the feature data detection unit 230 outputs information indicating that the class of the part included in the image is A, and information indicating the probability that the class is B and the class is C. Do not output accuracy information.
  • the component data creation unit 240 is a processing unit that creates component data based on the information about the feature acquired from the feature data detection unit 230 .
  • the component data generation unit 240 determines the pickup position of the component supplied from the supply unit by the mounting apparatus 300, or uses the information output from the feature data detection unit 230 to obtain the image data of the component picked up by the pickup nozzle.
  • the component data is generated by adding information necessary for determining the type of the component by comparison with the component data and for determining whether the pickup posture of the component is good or bad.
  • the component data generation unit 240 may generate component data by adding information necessary for the recognition test unit 282 (to be described later) to determine the type of component to the information output from the feature data detection unit 230.
  • the component data used by the recognition test unit 282 is simplified data obtained by removing the unique information of the mounting device 300 and the information related to the supply unit attached to the mounting device 300 from the component data output to the mounting device 300. may be
  • the output unit 250 outputs the parts data generated by the parts data creation unit 240.
  • the output unit 250 has, for example, a communication interface for the data creation system 200 to communicate with the mounting device 300 .
  • the component data creation unit 240 transmits component data to the mounting apparatus 300 via the output unit 250, for example.
  • the output unit 250 may be connected to the mounting apparatus 300 for wired communication or may be connected for wireless communication.
  • the output unit 250 is implemented by an adapter to which a communication line for wired communication is connected, an antenna and a wireless communication circuit for wireless communication, or the like.
  • the output unit 250 may be a terminal to which a storage device such as a USB memory storing the inference model is connected.
  • the acquisition unit 260 is a processing unit that acquires an inference model.
  • the feature data detection unit 230 receives the image acquired from the image processing unit 220 using the inference model acquired by the acquisition unit 260, and outputs information about the feature part of the part included in the image.
  • the acquisition unit 260 has, for example, a communication interface for communicating with the inference model creation device 100 .
  • the acquisition unit 260 acquires the inference model by receiving it from the inference model creation device 100, for example.
  • the obtaining unit 260 may obtain the inference model from the storage unit 270 when the inference model is stored in the storage unit 270 .
  • Each processing unit included in the data creation system 200 is implemented, for example, by a processor such as a CPU and a control program executed by the processor.
  • Each processing unit may be implemented by one processor, or may be implemented by processors different from each other.
  • the storage unit 270 is a storage device such as an HDD or a flash memory that stores control programs and the like executed by each processing unit provided in the data creation system 200 .
  • an inference model may be stored in the storage unit 270 .
  • the acquisition unit 260 may cause the storage unit 270 to store an inference model acquired by communicating with the inference model creation device 100 .
  • the mounting apparatus 300 is a mounting machine that mounts components on a substrate. Specifically, the mounting apparatus 300 captures a component image, recognizes the component in the component image using the component data created by the data creation system 200, and mounts the component on the board based on the recognition result. More specifically, the mounting apparatus 300 uses the component data created by the data creation system 200 to determine the type, position, and shape of the characteristic portion of the component in the component image generated by imaging the component. The dimensions, angles, etc. are recognized, and based on the recognition results, the components are picked up and positioned, and the picked up components are mounted on the board.
  • the mounting apparatus 300 includes, for example, a communication interface for communicating with a device such as the data creation system 200, a nonvolatile memory storing a program, a volatile memory serving as a temporary storage area for executing the program, and a signal It comprises a computer equipped with an input/output port for transmission and reception, a processor for executing programs, etc., and mounting equipment such as a stage on which a substrate is placed, a camera for imaging components, and a head for picking up components.
  • a communication interface for communicating with a device such as the data creation system 200, a nonvolatile memory storing a program, a volatile memory serving as a temporary storage area for executing the program, and a signal It comprises a computer equipped with an input/output port for transmission and reception, a processor for executing programs, etc., and mounting equipment such as a stage on which a substrate is placed, a camera for imaging components, and a head for picking up components.
  • FIG. 8 is a block diagram showing the configuration of the mounting apparatus 300 according to Embodiment 1. As shown in FIG. 8
  • the mounting device 300 includes an acquisition unit 310 , a recognition unit 320 , a control unit 330 , a head 340 and a storage unit 350 .
  • the acquisition unit 310 is a processing unit that acquires component data.
  • Acquisition unit 310 has, for example, a communication interface for communicating with data creation system 200 .
  • the acquisition unit 310 acquires the component data by receiving it from the data generation system 200, for example.
  • the acquisition unit 310 may acquire the component data from the storage unit 350 when the storage unit 350 stores the component data.
  • the recognition unit 320 recognizes the part by imaging the part. Specifically, the recognition unit 320 uses the part data created by the data creation system 200 to determine the type, position, size, and shape of the characteristic portion of the part in the part image, for the image generated by imaging the part. Then, the angle and the like are recognized, and information indicating the recognition result (that is, information indicating the shape type, position, size, angle, and the like of the characteristic portion of the component in the component image) is generated.
  • the recognition unit 320 is implemented, for example, by a camera that captures an image of a component to generate an image including the component, and a processing unit that uses component data to recognize the component in the image.
  • the recognition section 320 outputs the recognition result to the control section 330 .
  • the control unit 330 is a processing unit that mounts components on the board based on the recognition result of the recognition unit 320 . Specifically, the control unit 330 controls the head 340 based on the recognition result of the recognition unit 320 to cause the head 340 to pick up the component and mount the component picked up by the head 340 onto the board.
  • the mounting apparatus 300 includes a drive mechanism having guides and motors for driving the head 340, and an adsorption mechanism such as a pump and valves for causing the head 340 to adsorb components by vacuum adsorption or the like. may have.
  • the control unit 330 may control the head 340 by controlling the driving mechanism and the suction mechanism to mount the component on the board.
  • Each processing unit included in the mounting device 300 is realized by, for example, a processor such as a CPU and a control program executed by the processor.
  • Each processing unit may be implemented by one processor, or may be implemented by processors different from each other.
  • the storage unit 350 is a storage device such as an HDD or a flash memory that stores control programs and the like executed by each processing unit provided in the mounting device 300 . Further, the storage unit 350 may store component data. For example, the acquisition unit 310 may cause the storage unit 350 to store component data acquired by communicating with the data generation system 200 .
  • FIG. 9 is a flow chart showing the processing procedure of the inference model creation device 100 according to the first embodiment.
  • the learning data set acquisition unit 120 acquires a learning data set used by the learning unit 130 for machine learning to generate an inference model (S101). For example, the learning data set acquisition unit 120 acquires a combination of the learning part image data 111 stored in the storage unit 110 and the teacher data 112 as a data set.
  • the learning unit 130 creates an inference model by performing machine learning based on the dataset acquired by the learning dataset acquisition unit 120 (S102). For example, the learning unit 130 acquires a pre-learning inference model stored in advance in the storage unit 110, and uses the dataset acquired by the learning dataset acquisition unit 120 to learn the acquired inference model. Create a trained inference model.
  • the output unit 140 outputs the inference model learned by the learning unit 130 (S103). For example, the output unit 140 transmits the inference model to the data creation system 200.
  • FIG. 1 is a diagrammatic representation of the output unit 140 .
  • FIG. 10 is a flow chart showing the processing procedure of the data creation system 200 according to the first embodiment.
  • the acquisition unit 260 acquires an inference model (S201).
  • the acquisition unit 260 acquires the inference model by receiving it from the inference model creation device 100 .
  • the imaging unit 210 images the component (S202). More specifically, the imaging unit 210 generates an image (image data) including the component by capturing an image of the component. For example, the image capturing unit 210 determines that conditions such as the distance between a component and the camera when the learning component image data 111 generated by the camera is generated, and the direction in which the camera captures the image (imaging direction) are different from the camera. Take an image of the part in the same state. Thereby, for example, the imaging unit 210 generates a component image including the first component. By generating an image in this way, it can be expected that the accuracy of the information regarding the feature portion output from the feature data detection section 230 will be improved.
  • the image capturing unit 210 determines that conditions such as the distance between a component and the camera when the learning component image data 111 generated by the camera is generated, and the direction in which the camera captures the image (imaging direction) are different from the camera.
  • the part may be imaged in different states.
  • the image processing unit 220 performs image processing on the image acquired from the imaging unit 210 (S203). For example, the image processing unit 220 adjusts the position of the parts in the image and performs preprocessing such as noise removal for the feature data detection unit 230 to detect the feature part of the part from the image. .
  • the feature data detection unit 230 uses the inference model for the image acquired from the image processing unit 220 to output information about the feature part of the part (S204). Specifically, using an inference model, the feature data detection unit 230 receives an image including a part as input and outputs information about the feature part of the part in the image. For example, when a part image including the first part is input, the feature data detection unit 230 outputs information about the feature part of the first part.
  • the component data creation unit 240 creates component data based on the information about the characteristic part acquired from the characteristic data detection unit 230 (S205). For example, the component data generation unit 240 generates component data by converting the information output from the feature data detection unit 230 into a data format or the like so that the mounting apparatus 300 can read the information.
  • the output unit 250 outputs the parts data generated by the parts data generation unit 240 (S206).
  • the output unit 250 transmits component data to the mounting apparatus 300, for example.
  • FIG. 11 is a flow chart showing the processing procedure of the mounting apparatus 300 according to the first embodiment.
  • the acquisition unit 310 acquires part data (S301).
  • the acquisition unit 310 acquires the component data by receiving it from the data creation system 200, for example.
  • the recognition unit 320 takes an image of the component (S302). Specifically, the recognition unit 320 generates an image (component image) including the component by capturing an image of the component.
  • the recognition unit 320 uses the component data to recognize the component in the component image generated by imaging the component in step S302 (S303). Specifically, for the part image generated in step S302, the recognition unit 320 uses the part data created by the data creation system 200 to determine the type, position, size, and shape of the characteristic portion of the part in the part image. The angle or the like is recognized, and information indicating the recognition result, that is, information indicating the shape type, position, size, angle, and the like of the characteristic portion of the component in the component image is generated.
  • the control unit 330 mounts the component on the board by controlling the head 340 based on the recognition result of the recognition unit 320 (S304). Specifically, the component is picked up by the head 340, and the control unit 330 controls the head 340 based on the recognition result of the recognition unit 320, thereby picking up the component picked up by the head 340 according to the preset number of the substrate. Mount it on the mounting position.
  • the data creation system 200 is a data creation system that creates component data used when recognizing components.
  • the data generation system 200 generates a plurality of component images generated by imaging each of a plurality of components including the first component, and information on characteristic portions of each of the plurality of components including the first component.
  • a first part image including the first part is input, and feature data detection for outputting information about the characteristic part of the first part in the first part image.
  • a parts data creation part 240 for creating parts data based on the information about the feature part of the first part output by the feature data detection part 230 .
  • the operator specifies the characteristic part of the part, such as the position or shape of the electrode of the part, and the characteristic part cannot be specified automatically.
  • the feature data detection unit 230 automatically specifies the feature part of the part included in the image using the inference model without the operator or the like specifying it. can automatically output features of parts that Therefore, according to the data creation system 200, component data for recognizing components can be created more easily than before. Moreover, since the work of designating the characteristic portion is automatically performed, the characteristic portion can be appropriately designated regardless of the operator's ability.
  • the information on the characteristic portion includes information on any of the shape type, position, size and angle of the characteristic portion of the first part in the first part image.
  • the component data creation unit 240 can create component data so that the mounting apparatus 300 or the like that recognizes components using the component data can appropriately recognize components using the component data.
  • the feature data detection unit 230 selects the candidate with the highest probability among the plurality of estimated candidates. is output as information about the characteristic portion of the first component.
  • a characteristic portion is a portion that can be specified as one, such as a lead or a ball-shaped electrode (bump). . Therefore, according to this, outputting unnecessary information can be suppressed.
  • the data creation system 200 further includes an imaging unit 210 that captures the first component image input to the feature data detection unit 230 .
  • the imaging unit 210 can input the first component image to the feature data detection unit 230 .
  • the mounting system 400 is a mounting system that includes the data creation system 200 and the mounting device 300 .
  • the mounting apparatus 300 includes a recognition unit 320 that recognizes a component using component data created by the data creation system 200, a head 340 that holds the component and mounts the component on a board, and a recognition result of the recognition unit 320. and a control unit 330 that controls the head 340 based on.
  • the part data used by the mounting apparatus 300 is created by the data creation system 200 automatically designating the characteristic portion, so compared to the case where the operator designates the characteristic portion and is generated. , differences in the quality of component data (for example, the probability that the mounting apparatus 300 can appropriately recognize components) by workers are less likely to occur. Therefore, according to the mounting apparatus 300 using such component data, it is possible to appropriately recognize the component and mount the component on the board without depending on the ability of the operator.
  • component data for example, the probability that the mounting apparatus 300 can appropriately recognize components
  • Embodiment 2 Next, a data creation system according to Embodiment 2 will be described.
  • the differences from the data creation system according to Embodiment 1 will be mainly described, and descriptions of substantially similar configurations will be omitted or simplified.
  • the inference model creation device and the implementation device in the implementation system according to the second embodiment are substantially the same as the inference model creation device 100 and the implementation device 300 in the implementation system 400 according to the first embodiment. omitted.
  • FIG. 12 is a block diagram showing the configuration of a data creation system 201 according to Embodiment 2. As shown in FIG. 12
  • the data generation system 201 includes an imaging unit 210, an image processing unit 220, a feature data detection unit 231, a detail detection unit (detection unit) 280, a parts data generation unit 240, an output unit 250, and an acquisition unit 260. , and a storage unit 270 .
  • the feature data detection unit 231 is a processing unit that uses an inference model for the image acquired from the image processing unit 220 and outputs information about the feature part of the part. Specifically, the feature data detection unit 231 extracts a plurality of component images generated by imaging each of the plurality of components including the first component and the characteristic portions of the plurality of components including the first component. Using an inference model trained with information about each as learning data (for example, the data set described above), a first part image including the first part as an input, the first part in the first part image outputs information about the features of
  • the information about the characteristic part is information (area information) indicating a predetermined area in the first part image containing the characteristic part of the first part, or At least one piece of information indicating the type of feature of the first part included. That is, the feature data detection unit 231 uses the inference model to input the first part image including the first part, and extracts a predetermined area including the feature part of the first part in the first part image. or at least one of information indicating the type of characteristic portion of the first component. In other words, the inference model used by the feature data detection unit 231 is input with the first part image including the first part, and indicates a predetermined area including the feature part of the first part in the first part image.
  • At least one of information and information indicating the type of characteristic portion of the first component is output.
  • the inference model generating apparatus 100 receives a first part image including the first part as input, and selects a predetermined area including the characteristic portion of the first part in the first part image, or An inference model for outputting information indicating the type of characteristic part of is created and output to the data creation system 201 .
  • the information indicating the type of characteristic portion is, for example, information capable of designating information (pattern) indicating a specific shape.
  • the information indicating the type of characteristic portion is information indicating the type (class) of the shape of the characteristic portion of the first component.
  • the information indicating the type of characteristic portion may be any information that can specify information (pattern) indicating a specific shape, such as information indicating a specific part type or information indicating a specific filter used for pattern matching. good too.
  • the detail detection unit 280 is a processing unit that outputs information on any of the shape type, position, size, and angle of the characteristic portion of the first component using pattern matching for a predetermined area in the first component image. is.
  • Information (pattern) indicating a specific shape for pattern matching is specified based on information indicating the type of characteristic portion of the first component contained in the first component image output from the characteristic data detection section 231. be done.
  • Information (pattern) indicating a specific shape for pattern matching by the detail detection unit 280 is stored in advance in the storage unit 270, for example.
  • the detail detection unit 280 may match images with each other, or may match data with each other.
  • the detail detection unit 280 detects the pattern specified based on the information indicating the type of characteristic portion of the first component included in the first component image output from the characteristic data detection unit 231. is used to perform pattern matching on a predetermined region in the first component image, but the present invention is not limited to this.
  • the detail detection unit 280 may perform pattern matching on a predetermined region in the first component image using information (patterns) indicating all specific shapes pre-stored in the storage unit 270. Then, using the pattern specified based on the information indicating the type of characteristic portion of the first component included in the first component image output from the characteristic data detection unit 231, the entire first component image is pattern matching may be performed.
  • FIGS. 13 and 14 are diagrams for explaining the characteristic part detection processing executed by the data creation system 201 according to the second embodiment. Specifically, FIGS. 13 and 14 are diagrams schematically showing images including the part 504. FIG.
  • the feature data detection unit 231 detects detection areas 570, 571, and 572 indicating areas including the feature parts as information about the feature parts of the part 504. output the information shown.
  • the detail detection unit 280 performs detection based on information indicating detection areas 570, 571, and 572 indicating areas including the feature portions, which is information about the feature portions in the part 504 output by the feature data detection unit 231. Pattern matching is performed in regions 570 , 571 , 572 .
  • the detail detection unit 280 detects, for example, the types, positions, dimensions, and angles of the characteristic portions of the corners 580 and 581, which are the characteristic portions of the part 504, and the lead, as indicated by the thick line in FIG.
  • the type, position, size, and angle of the shape of the characteristic portion of the portion 582 are specified, and the specified information and the component data creation unit 240 are output.
  • the component data creation unit 240 creates component data based on the information regarding the characteristic portion of the component 504 specified by the detail detection unit 280 based on the information regarding the characteristic portion of the component 504 output by the characteristic data detection unit 231. .
  • the predetermined area may be arbitrarily determined as long as it includes a characteristic portion, and is not particularly limited.
  • the predetermined area is an area including a plurality of electrodes
  • the center of the circumscribing rectangle of the plurality of electrodes is used as a reference, and the vertical direction and the horizontal direction from the center (arbitrarily predetermined two-axis orthogonal coordinate system It may be a rectangular area obtained by extending the circumscribing rectangle by a predetermined offset amount in each direction of the two axes.
  • the information indicating the predetermined area is, for example, information including the coordinates indicating the center and the dimensions of each side of the circumscribing rectangle.
  • Each processing unit included in the data creation system 201 is implemented, for example, by a processor such as a CPU and a control program executed by the processor.
  • Each processing unit may be implemented by one processor, or may be implemented by processors different from each other.
  • FIG. 15 is a flow chart showing the processing procedure of the data creation system 201 according to the second embodiment.
  • the acquisition unit 260 acquires an inference model (S201).
  • the imaging unit 210 images the component (S202).
  • the image processing unit 220 performs image processing on the image acquired from the imaging unit 210 (S203).
  • the feature data detection unit 231 uses the inference model for the image acquired from the image processing unit 220 to output information about the feature part of the part (S2041).
  • the feature data detection unit 231 uses an inference model, receives an image including a part as input, and obtains area information indicating the area including the feature part, which is information about the feature part of the part in the image. Output.
  • the detail detection unit 280 identifies the details of the characteristic portion (for example, the type, position, size and accuracy of the shape of the characteristic portion) based on the area information (S2042). Specifically, detail detection section 280 outputs detailed information indicating the details of the characteristic portion based on the area information.
  • the parts data creation unit 240 creates parts data based on the detailed information acquired from the details detection unit 280 (S205). For example, the component data generation unit 240 generates component data by converting the data format of the detailed information output from the detail detection unit 280 so that the mounting apparatus 300 can read the detailed information.
  • the output unit 250 outputs the parts data generated by the parts data generation unit 240 (S206).
  • the data creation system 201 includes a plurality of component images generated by imaging each of a plurality of components including the first component, and the first component.
  • a first part image including the first part is input, and the first part image in the first part image is A feature data detection unit 231 that outputs information about the feature part of the component, a component data creation unit 240 that creates component data based on the information about the feature part of the first component output by the feature data detection unit 231, Prepare.
  • the information about the characteristic part is information indicating a predetermined area including the characteristic part of the first part in the first part image, or at least one piece of information indicating the type of feature of the first part included in the .
  • the feature data detection unit 231 uses a rough area ( (predetermined region), or using an inference model that identifies at least one of the types of features.
  • a rough area (predetermined region)
  • an inference model can be created more easily than the inference model used by the feature data detection unit 230 .
  • the data creation system 201 uses pattern matching for a predetermined area in the first part image to obtain information on any of the shape type, position, size, and angle of the characteristic portion of the first part.
  • a detail detection unit 280 for outputting is further provided.
  • the information indicating the specific shape for pattern matching is specified based on the information indicating the type of characteristic portion of the first component included in the first component image output from the characteristic data detection section 231. be.
  • the detail detection unit 280 does not image-process the entire part image, but image-processes only a limited area of the part image. Therefore, the amount of data to be subjected to image processing performed by the detail detection unit 280 is reduced, thereby reducing the computational load associated with the creation of component data. Also, the time required to create component data can be shortened. Furthermore, since the characteristic part is detected according to the rule for each characteristic part (based on the details such as the shape of the characteristic part), the part data created based on the information from which the characteristic part is detected in this way can be used. According to the mounting apparatus 300 that recognizes the component, the recognition accuracy of the component is improved. Further, by designating an area for pattern matching and information (pattern) indicating a specific shape for pattern matching, the processing time of the detail detection unit 280 can be shortened.
  • Embodiment 3 Next, a data creation system according to Embodiment 3 will be described. In the description of the data creation system according to Embodiment 3, the differences from the data creation system according to Embodiments 1 and 2 will be mainly described, and the substantially similar configurations will not be explained. It may be omitted or simplified. Note that the inference model creation device and the implementation device in the implementation system according to the third embodiment are substantially the same as the inference model creation device 100 and the implementation device 300 in the implementation system 400 according to the first embodiment. omitted.
  • FIG. 16 is a block diagram showing the configuration of a data creation system 202 according to Embodiment 3. As shown in FIG.
  • the data creation system 202 includes an imaging unit 210, an image processing unit 220, a feature data detection unit 230, a data adjustment unit 281, a parts data creation unit 240, an output unit 250, an acquisition unit 260, and a storage unit 270. And prepare.
  • the data adjustment unit 281 adjusts (changes) the information about the feature parts output by the feature data detection unit 230 .
  • the data adjustment unit 281 includes, for example, a presentation unit such as a display for presenting information about the characteristic portion to the user, a reception unit such as a keyboard or touch panel for receiving instructions from the user, and a and a processing unit that adjusts the information about the features.
  • the data adjustment unit 281 presents the information on the feature parts output by the feature data detection unit 230 by means of the presentation unit. For example, when the information about the characteristic portion is coordinates indicating the position of the characteristic portion, the data adjustment section 281 presents the information indicating the coordinates and the image to the user by the presentation section. The user checks the presentation portion to determine whether the coordinates indicating the position of the characteristic portion are appropriate. When the user determines that the coordinates indicating the position of the characteristic portion are not appropriate, the user inputs the appropriate position to the reception unit. Data adjustment unit 281 corrects the coordinates indicating the position of the characteristic portion based on the input (instruction from the user) received by the reception unit, and outputs the corrected coordinates to component data generation unit 240 as information regarding the characteristic portion. .
  • the data adjustment unit 281 presents a plurality of candidates for the characteristic portion of the first component estimated from the first component image by the characteristic data detection unit 230 to the user by the presentation unit as information regarding the characteristic portion of the first component. You may post. Furthermore, the data adjustment unit 281 may receive an instruction from the user to select any one of a plurality of candidates through the reception unit. As a result, the component data creating unit 240 creates component data based on the information relating to the characteristic part of the component output by the characteristic data detecting unit 230 and the information relating to the characteristic part of the component adjusted by the data adjustment unit 281 .
  • Each processing unit included in the data creation system 202 is implemented, for example, by a processor such as a CPU and a control program executed by the processor.
  • Each processing unit may be implemented by one processor, or may be implemented by processors different from each other.
  • FIG. 17 is a flow chart showing the processing procedure of the data creation system 202 according to the third embodiment.
  • the acquisition unit 260 acquires an inference model (S201).
  • the imaging unit 210 images the component (S202).
  • the image processing unit 220 performs image processing on the image acquired from the imaging unit 210 (S203).
  • the feature data detection unit 230 uses the inference model for the image acquired from the image processing unit 220 to output information about the feature part of the part (S204).
  • the data adjustment unit 281 adjusts the information regarding the feature part of the part (S2043). For example, the data adjustment unit 281 presents the image input to the feature data detection unit 230 and the information about the feature output from the feature data detection unit 230 by the presentation unit. Furthermore, the data adjustment unit 281 adjusts the information regarding the characteristic portion based on the input received by the reception unit.
  • the parts data creation unit 240 creates parts data based on the information about the characteristic part acquired from the data adjustment unit 281 (S205).
  • the output unit 250 outputs the parts data generated by the parts data generation unit 240 (S206).
  • Embodiment 4 Next, a data creation system according to Embodiment 4 will be described. In addition, in the explanation of the data creation system according to Embodiment 4, the explanation will focus on the differences from the data creation system according to Embodiments 1, 2, and 3, and substantially Descriptions of similar configurations may be omitted or simplified. Note that the inference model creation device and the implementation device in the implementation system according to the fourth embodiment are substantially the same as the inference model creation device 100 and the implementation device 300 in the implementation system 400 according to the first embodiment. omitted.
  • FIG. 18 is a block diagram showing the configuration of data creation system 203 according to the fourth embodiment.
  • the data generation system 203 includes an imaging unit 210, an image processing unit 220, a feature data detection unit 230, a recognition test unit (test unit) 282, a component data generation unit 240, an output unit 250, and an acquisition unit 260. , and a storage unit 270 .
  • the recognition test unit 282 acquires a second component image including a second component that is the same type of component as the first component, and based on the component data, identifies the second component included in the acquired second component image. Recognition processing, which is processing for recognizing the parts of That is, the recognition test unit 282 determines whether or not the second component, which is the same type of component as the first component, can be recognized based on the component data.
  • the first part is a connector part with leads
  • the second part has leads that the first part has, and the positions, dimensions, arrangement pitches, etc. of the leads are the same as those of the first part. and connector parts with leads.
  • the recognition test unit 282 includes an imaging unit (more specifically, a camera) that generates a second component image by capturing an image of the second component, and the second component image based on the component data. and a processing unit for recognizing the second part in .
  • the imaging unit is configured so that conditions such as the distance between a part and the camera when the learning part image data 111 generated by the camera is generated, and the direction in which the camera captures the image (imaging direction) are different from the camera.
  • a second part is imaged in the same state.
  • the imaging unit may set conditions such as the distance between the part and the camera when the learning part image data 111 generated by the camera is generated, and the direction in which the camera captures the image (imaging direction).
  • the second component may be imaged in a different state than the camera.
  • the imaging unit may be the imaging unit 210.
  • the recognition test section 282 may be implemented as a processing section that acquires the second image from the imaging section 210 and performs recognition processing without having an imaging section.
  • the second image may be stored in the storage unit 270 in advance.
  • the recognition test section 282 may acquire the second component image from the storage section 270 and perform recognition processing.
  • the recognition test unit 282 uses the component data created by the component data creation unit 240 based on the component data output by the mounting apparatus 300 (more specifically, the recognition unit 320). can be recognized.
  • the output unit 250 outputs part data created based on the information about the feature of the first part.
  • the component data generation unit 240 outputs the component data that has been generated by simplification to the mounting apparatus 300.
  • the component data is generated by adding the unique information of the mounting apparatus 300 and the information about the supply section attached to the mounting apparatus 300 from the component data.
  • the output unit 250 outputs the component data.
  • the recognition test section 282 may adjust (change) the component data output by the feature data detection section 230 in the same manner as the data adjustment section 281 .
  • the recognition test unit 282 may include a presentation unit such as a display for presenting to the user information about the characteristic portion indicated by the component data, and a reception unit such as a keyboard or touch panel for receiving instructions from the user. good.
  • the recognition test unit 282 determines that the second component cannot be recognized in the second component image based on the component data
  • the component data generated by the feature data detection unit 230 and the component data generation unit 240 indicates Information about the characteristic portion is presented by the presenting portion.
  • Recognition test section 282 corrects the component data based on the input (instruction from the user) received by the receiving section, and outputs the corrected component data to output section 250 .
  • the data creation system 203 further includes a data adjustment unit 281, and the recognition test unit 282 determines that the second component can be recognized in the second component image based on the component data.
  • the component data may be output to the data adjustment unit 281 .
  • Each processing unit included in the data creation system 203 is implemented, for example, by a processor such as a CPU and a control program executed by the processor.
  • Each processing unit may be implemented by one processor, or may be implemented by processors different from each other.
  • FIG. 19 is a flow chart showing the processing procedure of the data creation system 203 according to the fourth embodiment.
  • the acquisition unit 260 acquires an inference model (S201).
  • the imaging unit 210 images the component (S202). For example, the imaging unit 210 generates a first component image including the first component by capturing an image of the first component, and includes the second component by capturing an image of the second component. Generate a second part image.
  • the image processing unit 220 performs image processing on the image acquired from the imaging unit 210 (S203). For example, the image processing unit 220 performs image processing on each of the first component image and the second component image acquired from the imaging unit 210 .
  • the feature data detection unit 230 uses the inference model for the image acquired from the image processing unit 220 to output information about the feature part of the part (S204). For example, the feature data detection unit 230 uses the inference model for the first part image acquired from the image processing unit 220 to output information about the feature part of the first part.
  • the component data creation unit 240 creates component data based on the information about the characteristic part acquired from the characteristic data detection unit 230 (S205).
  • the recognition test unit 282 obtains a second component image including the second component, and uses the component data created based on the information regarding the characteristic portion of the first component to generate the obtained second component image.
  • Recognition processing which is processing for recognizing the second component included in the component image, is performed, and it is determined whether or not the second component can be recognized (S2051).
  • the component data (more specifically, information about the characteristic portion indicated by the component data) is adjusted (S2052). For example, the recognition test unit 282 presents the information about the characteristic portion indicated by the part data by the presenting unit. The recognition test unit 282 corrects the component data (more specifically, information about the feature indicated by the component data) based on the input (instruction from the user) received by the receiving unit.
  • the output unit 250 outputs the part data (S206). For example, in the case of Yes in step S2051, the output unit 250 outputs the parts data created by the parts data creating unit 240. FIG. Alternatively, for example, the output unit 250 outputs the component data adjusted by the recognition test unit 282 after step S2052.
  • Embodiment 5 Next, a data creation system according to Embodiment 5 will be described. In addition, in the explanation of the data creation system according to Embodiment 5, the explanation will focus on the points of difference from the data creation systems according to Embodiments 1, 2, 3, and 4. However, descriptions of substantially similar configurations may be omitted or simplified. Note that the inference model creation device and the implementation device in the implementation system according to the fifth embodiment are substantially the same as the inference model creation device 100 and the implementation device 300 in the implementation system 400 according to the first embodiment. omitted.
  • FIG. 20 is a block diagram showing the configuration of a data creation system 204 according to Embodiment 5. As shown in FIG.
  • the data creation system 204 includes an imaging unit 210, an image processing unit 220, a feature data detection unit 230, a recognition test unit 282, a component data creation unit 240, an output unit 250, an acquisition unit 260, and a storage unit 270. , a learning data set acquisition unit 290 , and a learning unit 291 .
  • the recognition test unit 282 acquires a second component image including the second component, and recognizes the second component included in the acquired second component image based on the component data. 2, and determines whether or not the second component can be recognized. If the recognition test unit 282 determines that the second component can be recognized in the second component image based on the component data (“OK” in FIG. 20), the recognition test unit 282 outputs the component data to the output unit 250 .
  • the recognition test unit 282 determines that the second component cannot be recognized in the second component image based on the component data (“NG” shown in FIG. 20)
  • the second component image is added to the learning data set. Output to acquisition unit 290 .
  • the learning data set acquisition unit 290 is a processing unit that acquires a data set used when the learning unit 291 makes the inference model learn. For example, the learning data set acquisition unit 290 acquires from the recognition test unit 282 the second component images that have been determined to be unrecognizable by the recognition test unit 282 . Also. For example, the learning data set acquisition unit 290 acquires information about the characteristic portion of the second component image included in the second component image. For example, the learning data set acquisition unit 290 includes a presentation unit such as a display for presenting the second component image to the user, and a reception unit such as a keyboard or touch panel for receiving instructions from the user.
  • a presentation unit such as a display for presenting the second component image to the user
  • a reception unit such as a keyboard or touch panel for receiving instructions from the user.
  • the learning data set acquisition unit 290 presents, for example, the second component image using the presentation unit. By confirming the presentation part, the user inputs information about the characteristic part of the second part included in the second part image.
  • the learning data set acquisition unit 290 acquires information about the feature part of the second part, which is the input (instruction from the user) received by the reception unit. In this way, the learning data set acquisition unit 290 acquires the second part image and the information about the feature part of the second part as a data set for the learning unit 291 to learn the inference model.
  • the learning data set acquisition unit 290 outputs the acquired data set to the learning unit 291 .
  • the learning unit 291 is a processing unit that creates an inference model by performing machine learning using the data set acquired by the learning data set acquisition unit 290, that is, makes the inference model learn.
  • Machine learning is realized by, for example, the error backpropagation method in deep learning, etc., similar to the learning unit 130 .
  • the learning unit 291 acquires, from the acquisition unit 260, the inference model that the acquisition unit 260 has acquired from the inference model creation device 100, for example.
  • the learning unit 291 causes the inference model acquired from the acquisition unit 260 to learn using the data set acquired by the learning data set acquisition unit 290 .
  • the acquisition unit 260 acquires the inference model learned by the learning unit 291, and the feature data detection unit 230 acquires the first part using the inference model acquired by the acquisition unit 260 and learned by the learning unit 291.
  • a first part image including the first part image is input, and information about the characteristic portion of the first part in the first part image is output.
  • the inference model that outputs information about the characteristic portion of the first part which is information that does not allow the recognition test unit 282 to recognize the second part contained in the second image, is , is learned using the second image.
  • the inference model is updated so that the recognition test unit 282 can recognize the second part contained in the second image and output the information about the characteristic part of the first part. That is, in the data creation system 204 , the inference model is updated by the learning section 291 based on the recognition result of the recognition test section 282 .
  • Information about the second image and the second characteristic portion may be stored in the storage unit 270 in advance.
  • the recognition test section 282 may acquire the second component image from the storage section 270 and perform recognition processing. Further, in this case, for example, when the recognition test unit 282 determines that the learning data set acquisition unit 290 cannot recognize the part, the learning data set acquisition unit 290 acquires the second image and the information about the feature part of the second part from the storage unit 270. good too.
  • the learning data set acquisition unit 290 and the learning unit 291 included in the data creation system 204 and the components other than the learning data set acquisition unit 290 and the learning unit 291 included in the data creation system 204 are implemented by different computers. good too. Moreover, each computer does not have to be connected all the time so as to be communicable. For example, when the recognition test unit 282 determines that the recognition cannot be performed, the operator operates the computer provided with the recognition test unit 282 to store the second image in a portable storage device such as a USB memory, and sets the learning data set. An inference model may be learned using the second image stored in the storage device by operating a computer including the acquisition unit 290 and the learning unit 291 .
  • Each processing unit included in the data creation system 204 is implemented, for example, by a processor such as a CPU and a control program executed by the processor.
  • Each processing unit may be implemented by one processor, or may be implemented by processors different from each other.
  • FIG. 21 is a flow chart showing the processing procedure of the data creation system according to the fifth embodiment.
  • the acquisition unit 260 acquires an inference model (S201).
  • the acquisition unit 260 acquires the inference model by receiving the inference model from the inference model creation device 100 .
  • the imaging unit 210 images the component (S202). For example, the imaging unit 210 generates a first component image including the first component by capturing an image of the first component, and includes the second component by capturing an image of the second component. Generate a second part image.
  • the image processing unit 220 performs image processing on the image acquired from the imaging unit 210 (S203). For example, the image processing unit 220 performs image processing on each of the first component image and the second component image acquired from the imaging unit 210 .
  • the feature data detection unit 230 uses the inference model for the image acquired from the image processing unit 220 to output information about the feature part of the part (S204). For example, the feature data detection unit 230 uses the inference model for the first part image acquired from the image processing unit 220 to output information about the feature part of the first part.
  • the component data creation unit 240 creates component data based on the information about the feature acquired from the recognition test unit 282 (S205).
  • the recognition test unit 282 acquires a second component image including the second component, and performs processing for recognizing the second component included in the acquired second component image based on the component data. is performed, and it is determined whether or not the second part can be recognized (S2051).
  • the output unit 250 outputs the component data (S206).
  • the learning data set acquisition unit 290 causes the recognition test unit 282 to An image including the part determined to be unrecognizable and information about the characteristic part of the part included in the image are obtained (S2053).
  • the learning data set acquisition unit 290 acquires the second part image and information about the feature part of the second part.
  • the learning data set acquisition unit 290 presents the second image using the presentation unit.
  • the learning data set acquisition unit 290 acquires information regarding the characteristic part of the second part received by the reception unit.
  • the learning unit 291 creates an inference model using the second image acquired by the learning data set acquisition unit 290 and the information about the feature part of the second part (more specifically, the acquisition unit 291 in step S201 260 updates the acquired inference model (S2054), and proceeds to step S201.
  • step S206 the output unit 250 outputs the part data created by the part data creation unit 240 based on the information on the feature acquired from the recognition test unit 282.
  • the data creation system 204 includes a plurality of component images generated by imaging each of a plurality of components including the first component, and the first component.
  • a first part image including the first part is input, and the first part image in the first part image is A feature data detection unit 230 that outputs information about the feature part of the part, a part data creation part 240 that creates part data based on the information about the feature part of the first part output by the feature data detection unit 230, Prepare.
  • the data creation system 204 acquires a second component image including a second component that is the same type of component as the first component, and based on the component data, the acquired second It further includes a recognition test section 282 that performs recognition processing for recognizing the second component included in the component image. For example, the inference model is updated based on the recognition results of the recognition tester 282 .
  • the inference model is automatically updated to output appropriate information about features for recognizing parts.
  • supervised learning was exemplified for learning an inference model, but the inference model may be a model learned by unsupervised learning.
  • all or part of the components of the processing unit in the implementation system may be configured with dedicated hardware, or may be realized by executing a software program suitable for each component.
  • Each component may be implemented by a program execution unit such as a CPU (Central Processing Unit) or processor reading and executing a software program recorded in a recording medium such as a HDD (Hard Disk Drive) or semiconductor memory. good.
  • a program execution unit such as a CPU (Central Processing Unit) or processor reading and executing a software program recorded in a recording medium such as a HDD (Hard Disk Drive) or semiconductor memory. good.
  • the component of the processing unit of the mounting system may be composed of one or more electronic circuits.
  • Each of the one or more electronic circuits may be a general-purpose circuit or a dedicated circuit.
  • One or more electronic circuits may include, for example, a semiconductor device, an IC (Integrated Circuit), or an LSI (Large Scale Integration).
  • An IC or LSI may be integrated on one chip or may be integrated on a plurality of chips. Although they are called ICs or LSIs here, they may be called system LSIs, VLSIs (Very Large Scale Integration), or ULSIs (Ultra Large Scale Integration) depending on the degree of integration.
  • An FPGA Field Programmable Gate Array
  • the present invention can be realized not only as a mounting system, but also a program including steps of processing performed by each component of the mounting system, and a recording medium such as a computer-readable DVD (Digital Versatile Disc) on which the program is recorded. It can also be realized as
  • any of the general or specific aspects described above may be implemented in a system, device, integrated circuit, computer program or computer readable recording medium, and any of the system, device, integrated circuit, computer program and recording medium may be implemented. may be implemented in any combination.
  • the data creation system according to the present invention can be used for a device that generates component data used by a device that recognizes components, such as a mounting device.
  • REFERENCE SIGNS LIST 100 inference model creation device 110, 270, 350 storage unit 111 part image data for learning 112 teacher data 120, 290 learning data set acquisition unit 130, 291 learning unit 140, 250 output unit 200, 201, 202, 203, 204 data creation System 210 imaging unit 220 image processing unit 230, 231 feature data detection unit (inference unit) 240 component data creation unit (data creation unit) 260, 310 acquisition unit 280 detail detection unit (detection unit) 281 data adjustment unit 282 recognition test unit (test unit) 300 mounting device 320 recognition section 330 control section 340 head 400 mounting system 500, 501, 502, 503, 504 parts 510, 560, 582 lead section 520 insertion section 530 ball section 540, 580, 581 corner section 550 straight section 570, 571 , 572 detection areas

Landscapes

  • Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

データ作成システム（２００）は、第１の部品を含む複数の部品のそれぞれが撮像されることで生成された複数の部品画像と当該第１の部品を含む複数の部品のそれぞれの特徴部に関する情報とを学習データとして学習された推論モデルを用いて、第１の部品を含む第１の部品画像を入力として、当該第１の部品画像における当該第１の部品の特徴部に関する情報を出力する推論部（特徴データ検出部（２３０））と、推論部により出力された第１の部品の特徴部に関する情報に基づいて、部品データを作成するデータ作成部（部品データ作成部（２４０））と、を備える。

Description

データ作成システム、及び、実装システム
　本発明は、部品を認識するために用いられる部品データを作成するデータ作成システム、及び、当該部品データに基づいて部品を認識して基板に実装する実装システムに関する。
　従来、部品を認識するために用いられる部品データの作成を自動化する技術が提案されている（例えば、特許文献１参照）。
　特許文献１に開示されているデータ作成方法では、部品を含む画像のうち、作業者から指定された電極（バンプ）と形状が類似する部分を電極として認識し、電極の位置等を示す部品データを作成する。
国際公開第２０１８／１０５０９９号
　しかしながら、特許文献１に開示されているデータ作成方法では、部品が有する電極の位置又は形状等の部品の特徴部が作業者によって指定されており、当該特徴部を自動で指定することができない。
　本発明は、部品を認識するための部品データを従来よりも簡便に作成できるデータ作成システム等を提供する。
　本発明の一態様に係るデータ作成システムは、部品を認識する際に使用される部品データを作成するデータ作成システムであって、第１の部品を含む複数の部品のそれぞれが撮像されることで生成された複数の部品画像と前記第１の部品を含む複数の部品のそれぞれの特徴部に関する情報とを学習データとして学習された推論モデルを用いて、前記第１の部品を含む第１の部品画像を入力として、前記第１の部品画像における前記第１の部品の特徴部に関する情報を出力する推論部と、前記推論部により出力された前記第１の部品の特徴部に関する情報に基づいて、前記部品データを作成するデータ作成部と、を備える。
　また、本発明の一態様に係る実装システムは、上記データ作成システムと実装装置とを備える実装システムであって、前記実装装置は、前記データ作成システムにより作成された前記部品データを用いて部品を認識する認識部と、前記部品を保持して基板に前記部品を実装するヘッドと、前記認識部の認識結果に基づいて前記ヘッドを制御する制御部と、を備える。
　なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭ等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　本発明によれば、部品を認識するための部品データを従来よりも簡便に作成できるデータ作成システム等を提供できる。
図１は、実施の形態１に係る実装システムの構成を示すブロック図である。 図２は、実施の形態１に係る推論モデル作成装置の構成を示すブロック図である。 図３は、実施の形態１に係る学習用部品画像データの第１例を示す図である。 図４は、実施の形態１に係る学習用部品画像データの第２例を示す図である。 図５は、実施の形態１に係る学習用部品画像データの第３例を示す図である。 図６は、実施の形態１に係るデータ作成システムの構成を示すブロック図である。 図７は、実施の形態１に係るデータ作成システムが実行する特徴部の検出処理を説明するための図である。 図８は、実施の形態１に係る実装装置の構成を示すブロック図である。 図９は、実施の形態１に係る推論モデル作成装置の処理手順を示すフローチャートである。 図１０は、実施の形態１に係るデータ作成システムの処理手順を示すフローチャートである。 図１１は、実施の形態１に係る実装装置の処理手順を示すフローチャートである。 図１２は、実施の形態２に係るデータ作成システムの構成を示すブロック図である。 図１３は、実施の形態２に係るデータ作成システムが実行する特徴部の検出処理を説明するための図である。 図１４は、実施の形態２に係るデータ作成システムが実行する特徴部の検出処理を説明するための図である。 図１５は、実施の形態２に係るデータ作成システムの処理手順を示すフローチャートである。 図１６は、実施の形態３に係るデータ作成システムの構成を示すブロック図である。 図１７は、実施の形態３に係るデータ作成システムの処理手順を示すフローチャートである。 図１８は、実施の形態４に係るデータ作成システムの構成を示すブロック図である。 図１９は、実施の形態４に係るデータ作成システムの処理手順を示すフローチャートである。 図２０は、実施の形態５に係るデータ作成システムの構成を示すブロック図である。 図２１は、実施の形態５に係るデータ作成システムの処理手順を示すフローチャートである。
　以下では、本発明の実施の形態に係るデータ作成システム等について、図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、いずれも本発明の一具体例を示すものである。したがって、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ及びステップの順序等は、一例であり、本発明を限定する趣旨ではない。よって、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　また、各図は、模式図であり、縮尺、寸法等必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成については同一の符号を付しており、重複する説明は省略又は簡略化する場合ある。
　（実施の形態１）
　［構成］
　まず、図１を参照して、実施の形態１に係る実装システムについて説明する。
　図１は、実施の形態１に係る実装システム４００の構成を示すブロック図である。
　実装システム４００は、部品を撮像することで生成した画像（部品画像ともいう）と部品データとに基づいて部品を認識し、認識結果に基づいて当該部品を基板に実装する部品実装システムである。
　部品としては、例えば、チップ部品、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）部品、ＢＧＡ（Ｂａｌｌ　Ｇｒｉｄ　Ａｒｒａｙ）部品、コネクタ部品、ミニモールド部品、又は、異型部品が例示される。
　基板としては、例えば、プリント配線基板等の基板が例示される。
　実装システム４００は、例えば、基板に部品を実装することで制御回路及び電源回路等の各種の回路基板を製造するシステムである。
　なお、本実施形態においては、実装システム４００は回路基板の製造に用いられる場合について説明するが、これに限定されるものではなく、電子機器、自動車等の種々の製品の製造のための種々の作業に用いられても良い。例えば、実装システム４００は、基板に対して部品を圧入する圧入作業、基板に対して部品を貼り付ける加工作業、締結作業等の種々の作業に用いられても良い。
　実装システム４００は、推論モデル作成装置１００と、データ作成システム２００と、実装装置３００と、を備える。
　＜推論モデル作成装置＞
　推論モデル作成装置１００は、部品データを生成するための推論モデルを生成する装置である。推論モデル作成装置１００は、例えば、データ作成システム２００等の装置と通信するための通信インターフェース、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、信号の送受信をするための入出力ポート、プログラムを実行するプロセッサ等を備えるコンピュータである。
　部品データは、部品を認識するために用いられるデータである。
　推論モデルは、画像に基づいて物体の情報を取得する機械学習モデルである。具体的には、推論モデルは、第１の部品を含む複数の部品のそれぞれが撮像されることで生成された複数の部品画像（部品画像データ）と、当該第１の部品を含む複数の部品のそれぞれの特徴部に関する情報（特徴データ）と、を学習データとして学習されたモデルである。複数の画像のそれぞれには、例えば、第１の部品を含む複数の部品のうち、１以上の部品が含まれる。特徴部に関する情報は、例えば、複数の画像毎に設けられる。推論モデルは、例えば、ディープラーニング（Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ）（深層学習）等のニューラルネットワークを用いた機械学習モデルであるが、他の機械学習モデルであってもよい。
　特徴部とは、部品を特定するための特徴的な部分であって、例えば、部品のボディにおける特徴的な部分、及び、当該部品に設けられた電極等である。例えば、特徴部に関する情報は、第１の部品画像における第１の部品の特徴部の形状の種類、位置、寸法及び角度のいずれかに関する情報を含む。位置に関する情報とは、例えば、部品に設けられた電極の画像における予め任意に定められる座標系における座標である。また、寸法に関する情報とは、例えば、部品及び当該部品に設けられた電極の少なくとも一方のサイズを示す情報であって、長さを示す数値である。また、角度に関する情報とは、例えば、部品に設けられた電極が配置される向きを示す情報であって、角度を示す数値である。
　また、特徴部に関する情報には、部品が有する特徴部の形状の種類（クラス）が含まれる。形状の種類に関する情報とは、例えば、部品のボディ、及び、当該部品が有する電極の少なくとも一方の形状を示す情報であって角部、矩形等の特徴部の形状を示す情報、又は、リード、バンプ等の電極の形状を特定できる情報である。
　図２は、実施の形態１に係る推論モデル作成装置１００の構成を示すブロック図である。
　推論モデル作成装置１００は、記憶部１１０と、学習データセット取得部１２０と、学習部１３０と、出力部１４０と、を備える。
　記憶部１１０は、学習用部品画像データ１１１と、教師データ１１２とを記憶するＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、フラッシュメモリ等の記憶装置である。
　学習用部品画像データ１１１は、第１の部品を含む複数の部品を含む部品画像データである。
　教師データ１１２は、いわゆるアノテーション情報であって、学習用部品画像データ１１１に含まれる第１の部品を含む複数の部品それぞれの特徴部に関する情報を示すデータである。教師データ１１２は、例えば、学習用部品画像データ１１１に応じて、コネクタ部品等の部品が有する電極の形状の種類（クラス）を示す情報と、当該電極の、位置、寸法、配列ピッチ等に関する情報とを含む情報である。
　推論モデル作成装置１００は、例えば、学習用部品画像データ１１１及び教師データ１１２を、作業者が操作する図示しないコンピュータ等から受信して記憶部１１０に記憶する。
　学習データセット取得部１２０は、学習部１３０が機械学習して推論モデルを作成するために用いる学習データのデータセット（単にデータセットともいう）を取得する処理部である。本実施の形態では、学習データセット取得部１２０は、記憶部１１０に記憶されている学習用部品画像データ１１１と、教師データ１１２との組み合わせをデータセットとして取得する。
　なお、学習データセット取得部１２０は、記憶部１１０からではなく、推論モデル作成装置１００が備える図示しない通信インターフェースを介して、データセットを作業者が操作する図示しないコンピュータ等から受信することで取得してもよい。
　学習部１３０は、学習データセット取得部１２０が取得したデータセットを用いて機械学習することで、推論モデルの作成（学習又は訓練ともいう）を行う処理部である。学習部１３０は、データセットを用いて推論モデルに学習させるとも言える。
　機械学習は、例えば、ディープラーニング等における誤差逆伝播法（ＢＰ：ＢａｃｋＰｒｏｐａｇａｔｉｏｎ）等によって実現される。具体的には、学習部１３０は、推論モデルに学習用部品画像データ１１１を入力し、推論モデルが出力する検出結果を取得する。そして、学習部１３０は、検出結果が教師データ１１２となるように推論モデルを調整する。学習部１３０は、このような調整をそれぞれ異なる複数の（例えば、数千組の）学習用部品画像データ１１１及びこれに対応する教師データ１１２について繰り返すことによって、推論モデルの検出精度を向上させる。推論モデルは、例えば、記憶部１１０に記憶されており、学習部１３０は、記憶部１１０に記憶されている推論モデルに学習させる。なお、推論モデルを記憶するとは、推論モデルにおけるネットワークパラメータ、演算のアルゴリズム（機械学習アルゴリズム）等の情報を記憶することを意味する。なお、アルゴリズムは、一例として、ＴｈｉｎＮｅｔ、ＹＯＬＯｖ３－ｔｉｎｙ、ＲｅｆｉｎｅＤｅｔ（Ｓｉｎｇｌｅ－Ｓｈｏｔ　Ｒｅｆｉｎｅｍｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ　ｆｏｒ　Ｏｂｊｅｃｔ　Ｄｅｔｅｃｔｉｏｎ）、ＣｅｎｔｅｒＮＥＴ－ｒｅｓ１８、ＣｅｎｔｅｒＮＥＴ－ＤＬＡ３４等が挙げられるが、これらに限定されない。
　図３は、実施の形態１に係る学習用部品画像データ１１１の第１例を示す図である。具体的には、図３は、部品５００を含む画像を模式的に示す図である。
　図３に示す画像の例では、部品５００は、特徴部として、リードが配置されるリード部５１０と、２つのリード部５１０の間に位置する挿入部５２０と、を含む。この場合の学習用部品画像データ１１１に紐付く教師データ１１２は、例えば、リード部５１０における複数のリード及び挿入部５２０それぞれの形状の種類、位置、寸法、及び、角度等を示す情報である。
　図４は、実施の形態１に係る学習用部品画像データ１１１の第２例を示す図である。具体的には、図４は、部品５０１を含む画像を模式的に示す図である。
　図４に示す画像の例では、部品５０１は、特徴部として、複数のボール状の電極が配置されるボール部５３０を含む。この場合の学習用部品画像データ１１１に紐付く教師データ１１２は、例えば、複数のボール状の電極のそれぞれの形状の種類、位置及び寸法を示す情報である。
　図５は、実施の形態１に係る学習用部品画像データ１１１の第３例を示す図である。具体的には、図５は、部品５０２を含む画像を模式的に示す図である。
　図５に示す画像の例では、部品５０２は、特徴部として、部品５０２の外縁において角となる部分を示す角部５４０と、部品５０２の外縁において直線となる部分を示す直線部５５０と、を含む。この場合の学習用部品画像データ１１１に紐付く教師データ１１２は、例えば、角部５４０及び直線部５５０それぞれの形状の種類、位置、寸法、及び、角度を示す情報である。
　出力部１４０は、学習部１３０によって学習された推論モデルを出力する処理部である。出力部１４０は、例えば、推論モデル作成装置１００がデータ作成システム２００と通信するための通信インターフェースを有する。学習部１３０は、例えば、学習させた推論モデルを出力部１４０を介してデータ作成システム２００に送信する。
　なお、出力部１４０は、データ作成システム２００と有線通信可能に接続されていてもよいし、無線通信可能に接続されていてもよい。出力部１４０は、有線通信するための通信線が接続されるアダプタ、又は、無線通信するためのアンテナ及び無線通信回路等により実現される。或いは、出力部１４０は、推論モデルが記憶されるＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリ等の記憶装置が接続される端子でもよい。
　推論モデル作成装置１００が備える各処理部は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサと、当該プロセッサが実行する制御プログラムとによって実現される。各処理部は、１つのプロセッサによって実現されてもよいし、互いに異なるプロセッサによって実現されてもよい。
　＜データ作成システム＞
　データ作成システム２００は、部品を認識する際に使用される部品データを作成する装置である。具体的には、データ作成システム２００は、推論モデルを用いて、部品を基板に実装する実装装置３００等が、当該部品を撮像することで生成した部品を含む画像における当該部品の特徴部の形状の種類、位置、寸法、及び、角度等を特定（認識）するために用いるデータである部品データを作成する。データ作成システム２００は、例えば、推論モデル作成装置１００及び実装装置３００等の装置と通信するための通信インターフェース、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、信号の送受信をするための入出力ポート、プログラムを実行するプロセッサ等を備えるコンピュータである。
　図６は、実施の形態１に係るデータ作成システム２００の構成を示すブロック図である。
　データ作成システム２００は、撮像部２１０と、画像処理部２２０と、特徴データ検出部（推論部）２３０と、部品データ作成部（データ作成部）２４０と、出力部２５０と、取得部２６０と、記憶部２７０と、を備える。
　撮像部２１０は、特徴データ検出部２３０が用いる推論モデルに入力される部品を撮像する（より具体的には、部品を撮像することで当該部品を含む画像（画像データ）を生成する）ためのカメラである。撮像部２１０は、撮像した画像（より具体的には、撮像することで生成した画像）を画像処理部２２０に出力する。例えば、撮像部２１０は、第１の部品を撮像することで第１の部品を含む部品画像を生成し、生成した部品画像を画像処理部２２０に出力する。
　なお、撮像部２１０には、実装装置３００が備えるカメラが利用されてもよい。また、撮像部２１０は、画像処理部２２０と通信可能に常時接続されていなくてもよい。例えば、撮像部２１０が生成した画像がＵＳＢメモリ等の可搬な記憶装置に記憶され、当該記憶装置を介して画像処理部２２０に当該画像が出力されてもよい。撮像部２１０は例えば作業者が携帯する端末のカメラであってもよい。
　画像処理部２２０は、撮像部２１０から取得した画像について画像処理を行う処理部である。画像処理部２２０は、例えば、特徴データ検出部２３０が当該画像から部品の特徴部を検出するために当該画像について、当該画像における部品の位置を調整、及び、ノイズの除去等の前処理を行う。画像処理部２２０は、前処理を行った画像を特徴データ検出部２３０に出力する。
　なお、画像は、記憶部２７０に予め記憶されていてもよい。この場合、画像処理部２２０は、記憶部２７０から画像を取得してもよい。或いは、画像処理部２２０は、データ作成システム２００が備える図示しない通信インターフェース等の通信部を介して外部機器から画像を取得してもよい。
　特徴データ検出部２３０は、画像処理部２２０から取得した画像について、推論モデルを用いて、部品の特徴部に関する情報を出力する処理部である。具体的には、特徴データ検出部２３０は、第１の部品を含む複数の部品のそれぞれが撮像されることで生成された複数の部品画像と第１の部品を含む複数の部品のそれぞれの特徴部に関する情報とを学習データ（例えば、上記したデータセット）として学習された推論モデルを用いて、第１の部品を含む第１の部品画像を入力として、第１の部品画像における第１の部品の特徴部に関する情報を出力する。
　図７は、実施の形態１に係るデータ作成システム２００が実行する特徴部の検出処理を説明するための図である。具体的には、図７の（ａ）は、推論モデルに入力される、部品５０３を含む画像の一例を模式的に示す図であり、図７の（ｂ）は、図７の（ａ）に模式的に示す部品５０３を含む画像が推論モデルに入力された場合に推論モデルから出力される特徴部に関する情報を説明するための図である。
　例えば、特徴データ検出部２３０は、図７の（ａ）に示す部品５０３を含む画像を取得したとする。この場合、特徴データ検出部２３０は、推論モデルを用いて、例えば、図７の（ｂ）に示す部品５０３の特徴部であるリード部５６０を検出する。具体的には、特徴データ検出部２３０は、推論モデルを用いてリード部５６０の形状の種類、位置、寸法、配列ピッチ、及び、角度等の特徴に関する情報を出力する。
　例えば、特徴データ検出部２３０は、取得部２６０が取得した推論モデルを用いて、画像処理部２２０から取得した画像を入力とし、当該画像に含まれる部品の特徴部に関する情報を部品データ作成部２４０に出力する。
　なお、特徴データ検出部２３０は、第１の部品画像から推定される第１の部品の特徴部について複数の候補が存在する場合、推定された複数の候補のうち確度が最大の候補を示す情報のみを、第１の部品の特徴部に関する情報として出力してもよい。推論モデルによって、入力に対して出力する候補が複数推定される場合がある。例えば、部品を含む画像が入力とし、当該部品が有する特徴部の形状の種類（クラス）がＡであるかＢであるかＣであるかを示す情報を出力する推論モデルにおいて、部品を含む画像が入力された場合、当該クラスがＡである確度（確率）が７０％であり、当該クラスがＢである確度が２０％であり、当該クラスがＣである確度が１０％である、というように、複数の候補が推定される場合がある。このような場合に、例えば、特徴データ検出部２３０は、複数の候補のうち確度が最大の候補を示す情報のみを出力する。言い換えると、例えば、特徴データ検出部２３０は、複数の候補のうち確度が最大の候補を示す情報のみを出力する推論モデルを用いる。上記の例では、例えば、特徴データ検出部２３０は、画像に含まれる部品のクラスがＡであることを示す情報を出力し、当該クラスがＢである確度を示す情報及び当該クラスがＣである確度を示す情報を出力しない。
　部品データ作成部２４０は、特徴データ検出部２３０から取得した特徴部に関する情報に基づいて部品データを作成する処理部である。例えば、部品データ作成部２４０は、特徴データ検出部２３０から出力された情報に、実装装置３００が、供給部から供給される部品の吸着位置を決めたり、吸着ノズルに吸着した部品の画像データを部品データと比較して部品の種類を判別したり、部品の吸着姿勢の良否等を判定するために必要な情報を加えた部品データを生成する。
　また、部品データ作成部２４０は、特徴データ検出部２３０から出力された情報に、後述する認識テスト部２８２が部品の種類を判別するために必要な情報を加えた部品データを生成してもよい。例えば、認識テスト部２８２が用いる部品データは、実装装置３００に出力される部品データから、実装装置３００の固有情報や実装装置３００に取付けられた供給部に関する情報等を除いた簡略化されたデータであってもよい。
　出力部２５０は、部品データ作成部２４０が生成した部品データを出力する。出力部２５０は、例えば、データ作成システム２００が実装装置３００と通信するための通信インターフェースを有する。部品データ作成部２４０は、例えば、部品データを出力部２５０を介して実装装置３００に送信する。
　なお、出力部２５０は、実装装置３００と有線通信可能に接続されていてもよいし、無線通信可能に接続されていてもよい。出力部２５０は、有線通信するための通信線が接続されるアダプタ、又は、無線通信するためのアンテナ及び無線通信回路等により実現される。或いは、出力部２５０は、推論モデルが記憶されるＵＳＢメモリ等の記憶装置が接続される端子でもよい。
　取得部２６０は、推論モデルを取得する処理部である。特徴データ検出部２３０は、取得部２６０が取得した推論モデルを用いて、画像処理部２２０から取得した画像を入力とし、当該画像に含まれる部品の特徴部に関する情報を出力する。取得部２６０は、例えば、推論モデル作成装置１００と通信するための通信インターフェースを有する。取得部２６０は、例えば、推論モデルを、推論モデル作成装置１００から受信することで取得する。
　なお、取得部２６０は、記憶部２７０に推論モデルが記憶されている場合、記憶部２７０から推論モデルを取得してもよい。
　データ作成システム２００が備える各処理部は、例えば、ＣＰＵ等のプロセッサと、当該プロセッサが実行する制御プログラムとによって実現される。各処理部は、１つのプロセッサによって実現されてもよいし、互いに異なるプロセッサによって実現されてもよい。
　記憶部２７０は、データ作成システム２００が備える各処理部が実行する制御プログラム等が記憶されるＨＤＤ、フラッシュメモリ等の記憶装置である。また、記憶部２７０には、推論モデルが記憶されてもよい。例えば、取得部２６０は、推論モデル作成装置１００と通信することで取得した推論モデルを記憶部２７０に記憶させてもよい。
　＜実装装置＞
　実装装置３００は、部品を基板に実装する実装機である。具体的には、実装装置３００は、部品画像を撮像し、データ作成システム２００が作成した部品データを用いて当該部品画像における部品を認識し、認識結果に基づいて部品を基板に実装する。より具体的には、実装装置３００は、部品を撮像することで生成した部品画像について、データ作成システム２００が作成した部品データを用いて当該部品画像における部品の特徴部の形状の種類、位置、寸法、及び、角度等を認識し、認識結果に基づいて部品を吸着して位置合わせを行い、吸着した部品を基板に実装する。実装装置３００は、例えば、データ作成システム２００等の装置と通信するための通信インターフェース、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、信号の送受信をするための入出力ポート、プログラムを実行するプロセッサ等を備えるコンピュータと、基板が載置されるステージ、部品を撮像するカメラ、及び、部品を吸着するヘッド等の実装設備とを備える。
　図８は、実施の形態１に係る実装装置３００の構成を示すブロック図である。
　実装装置３００は、取得部３１０と、認識部３２０と、制御部３３０と、ヘッド３４０と、記憶部３５０と、を備える。
　取得部３１０は、部品データを取得する処理部である。取得部３１０は、例えば、データ作成システム２００と通信するための通信インターフェースを有する。取得部３１０は、例えば、部品データを、データ作成システム２００から受信することで取得する。
　なお、取得部３１０は、記憶部３５０に部品データが記憶されている場合、記憶部３５０から部品データを取得してもよい。
　認識部３２０は、部品を撮像することで当該部品を認識する。具体的には、認識部３２０は、部品を撮像することで生成した画像について、データ作成システム２００が作成した部品データを用いて当該部品画像における部品の特徴部の形状の種類、位置、寸法、及び、角度等を認識し、認識結果を示す情報（つまり、当該部品画像における部品の特徴部の形状の種類、位置、寸法、及び、角度等を示す情報）を生成する。認識部３２０は、例えば、部品を撮像することで当該部品を含む画像を生成するカメラと、部品データを用いて当該画像における部品を認識する処理部とから実現される。認識部３２０は、認識結果を制御部３３０に出力する。
　制御部３３０は、認識部３２０の認識結果に基づいて、部品を基板に実装する処理部である。具体的には、制御部３３０は、認識部３２０の認識結果に基づいてヘッド３４０を制御することで、ヘッド３４０に部品を吸着させて、ヘッド３４０に吸着させた部品を基板に実装させる。
　なお、図示しないが、実装装置３００は、ヘッド３４０を駆動させるためのガイド及びモータ等を有する駆動機構、及び、真空吸着等によってヘッド３４０に部品を吸着させるためのポンプ及びバルブなどの吸着機構を有してもよい。制御部３３０は、駆動機構及び吸着機構を制御することでヘッド３４０を制御して、部品を基板に実装させてもよい。
　実装装置３００が備える各処理部は、例えば、ＣＰＵ等のプロセッサと、当該プロセッサが実行する制御プログラムとによって実現される。各処理部は、１つのプロセッサによって実現されてもよいし、互いに異なるプロセッサによって実現されてもよい。
　記憶部３５０は、実装装置３００が備える各処理部が実行する制御プログラム等が記憶されるＨＤＤ、フラッシュメモリ等の記憶装置である。また、記憶部３５０には、部品データが記憶されてもよい。例えば、取得部３１０は、データ作成システム２００と通信することで取得した部品データを記憶部３５０に記憶させてもよい。
　［処理手順］
　続いて、実装システム４００が備える各構成要素の処理手順について説明する。
　＜推論モデル作成装置＞
　図９は、実施の形態１に係る推論モデル作成装置１００の処理手順を示すフローチャートである。
　まず、学習データセット取得部１２０は、学習部１３０が機械学習して推論モデルを生成するために用いる学習データセットを取得する（Ｓ１０１）。例えば、学習データセット取得部１２０は、記憶部１１０に記憶されている学習用部品画像データ１１１と、教師データ１１２との組み合わせをデータセットとして取得する。
　次に、学習部１３０は、学習データセット取得部１２０が取得したデータセットに基づいて機械学習することで、推論モデルを作成する（Ｓ１０２）。例えば、学習部１３０は、記憶部１１０に予め記憶されている学習前の推論モデルを取得し、学習データセット取得部１２０が取得したデータセットを用いて、取得した推論モデルを学習させることで、学習済みの推論モデルを作成する。
　次に、出力部１４０は、学習部１３０によって学習された推論モデルを出力する（Ｓ１０３）。例えば、出力部１４０は、推論モデルをデータ作成システム２００に送信する。
　＜データ作成システム＞
　図１０は、実施の形態１に係るデータ作成システム２００の処理手順を示すフローチャートである。
　まず、取得部２６０は、推論モデルを取得する（Ｓ２０１）。例えば、取得部２６０は、推論モデルを、推論モデル作成装置１００から受信することで取得する。
　次に、撮像部２１０は、部品を撮像する（Ｓ２０２）。より具体的には、撮像部２１０は、部品を撮像することで当該部品を含む画像（画像データ）を生成する。例えば、撮像部２１０は、カメラによって生成された学習用部品画像データ１１１が生成される際の部品と当該カメラとの距離、及び、カメラが撮像する向き（撮像方向）等の条件が当該カメラと同じ状態で、部品を撮像する。これにより、例えば、撮像部２１０は、第１の部品を含む部品画像を生成する。このように画像が生成されることで、特徴データ検出部２３０から出力される特徴部に関する情報の正確性を向上させることが期待できる。
　なお、撮像部２１０は、カメラによって生成された学習用部品画像データ１１１が生成される際の部品と当該カメラとの距離、及び、カメラが撮像する向き（撮像方向）等の条件が当該カメラと異なる状態で、部品を撮像してもよい。
　次に、画像処理部２２０は、撮像部２１０から取得した画像について画像処理を行う（Ｓ２０３）。画像処理部２２０は、例えば、特徴データ検出部２３０が当該画像から部品の特徴部を検出するために当該画像について、当該画像における部品の位置を調整、及び、ノイズの除去等の前処理を行う。
　次に、特徴データ検出部２３０は、画像処理部２２０から取得した画像について、推論モデルを用いて、部品の特徴部に関する情報を出力する（Ｓ２０４）。具体的には、特徴データ検出部２３０は、推論モデルを用いて、部品を含む画像を入力として、当該画像における当該部品の特徴部に関する情報を出力する。例えば、特徴データ検出部２３０は、第１の部品を含む部品画像が入力された場合、第１の部品の特徴部に関する情報を出力する。
　次に、部品データ作成部２４０は、特徴データ検出部２３０から取得した特徴部に関する情報に基づいて部品データを作成する（Ｓ２０５）。例えば、部品データ作成部２４０は、特徴データ検出部２３０から出力された情報を、実装装置３００が読み取り可能なようにデータ形式等を変換した部品データを生成する。
　次に、出力部２５０は、部品データ作成部２４０が生成した部品データを出力する（Ｓ２０６）。出力部２５０は、例えば、部品データを実装装置３００に送信する。
　＜実装装置＞
　図１１は、実施の形態１に係る実装装置３００の処理手順を示すフローチャートである。
　まず、取得部３１０は、部品データを取得する（Ｓ３０１）。取得部３１０は、例えば、部品データを、データ作成システム２００から受信することで取得する。
　次に、認識部３２０は、部品を撮像する（Ｓ３０２）。具体的には、認識部３２０は、部品を撮像することで、当該部品を含む画像（部品画像）を生成する。
　次に、認識部３２０は、部品データを用いて、ステップＳ３０２で部品を撮像することで生成した部品画像における部品を認識する（Ｓ３０３）。具体的には、認識部３２０は、ステップＳ３０２で生成した部品画像について、データ作成システム２００が作成した部品データを用いて当該部品画像における部品の特徴部の形状の種類、位置、寸法、及び、角度等を認識し、認識結果を示す情報、つまり、当該部品画像における部品の特徴部の形状の種類、位置、寸法、及び、角度等を示す情報を生成する。
　次に、制御部３３０は、認識部３２０の認識結果に基づいてヘッド３４０を制御することで、部品を基板に実装する（Ｓ３０４）。具体的には、ヘッド３４０に部品を吸着させて、制御部３３０は、認識部３２０の認識結果に基づいてヘッド３４０を制御することで、ヘッド３４０に吸着させた部品を基板の予め設定された実装位置に実装させる。
　［効果等］
　以上説明したように、実施の形態１に係るデータ作成システム２００は、部品を認識する際に使用される部品データを作成するデータ作成システムである。データ作成システム２００は、第１の部品を含む複数の部品のそれぞれが撮像されることで生成された複数の部品画像と当該第１の部品を含む複数の部品のそれぞれの特徴部に関する情報とを学習データとして学習された推論モデルを用いて、第１の部品を含む第１の部品画像を入力として、当該第１の部品画像における当該第１の部品の特徴部に関する情報を出力する特徴データ検出部２３０と、特徴データ検出部２３０により出力された第１の部品の特徴部に関する情報に基づいて、部品データを作成する部品データ作成部２４０と、を備える。
　従来のデータ作成方法では、部品が有する電極の位置又は形状等の部品の特徴部が作業者によって指定されており、当該特徴部を自動で指定することができない。一方、データ作成システム２００によれば、画像に含まれる部品の特徴部を、作業者等が指定することなく、特徴データ検出部２３０が推論モデルを用いて自動的に指定、つまり、画像に含まれる部品の特徴部を自動的に出力できる。そのため、データ作成システム２００によれば、部品を認識するための部品データを従来よりも簡便に作成できる。また、特徴部を指定する作業が自動的に行われるため、作業者の能力によらず適切に特徴部が指定され得る。
　また、例えば、特徴部に関する情報は、第１の部品画像における第１の部品の特徴部の形状の種類、位置、寸法及び角度のいずれかに関する情報を含む。
　このような特徴部に関する情報に基づく部品データであれば、画像における部品の位置、寸法及び角度のいずれかを適切に認識するための部品データとなる。そのため、部品データ作成部２４０は、当該部品データを用いて部品を認識する実装装置３００等が、当該部品データを用いて適切に部品を認識できるように、部品データを作成できる。
　また、例えば、特徴データ検出部２３０は、第１の部品画像から推定される当該第１の部品の特徴部について複数の候補が存在する場合、推定された複数の候補のうち確度が最大の候補を示す情報のみを、当該第１の部品の特徴部に関する情報として出力する。
　特徴部は、リードである、ボール状の電極（バンプ）である等のように、１つに特定される部分であることから、特徴部を特定するための情報としては、１つあればよい。そのため、これによれば、不要な情報を出力することが抑制され得る。
　また、例えば、データ作成システム２００は、特徴データ検出部２３０に入力される第１の部品画像を撮像する撮像部２１０をさらに備える。
　これによれば、例えば、第１の部品画像を予め記憶部２７０に記憶させておかなくても、撮像部２１０によって特徴データ検出部２３０に第１の部品画像を入力させることができる。
　また、実施の形態に係る実装システム４００は、データ作成システム２００と実装装置３００とを備える実装システムである。実装装置３００は、データ作成システム２００により作成された部品データを用いて部品を認識する認識部３２０と、部品を保持して基板に当該部品を実装するヘッド３４０と、認識部３２０の認識結果に基づいてヘッド３４０を制御する制御部３３０と、を備える。
　これによれば、実装装置３００が用いる部品データは、データ作成システム２００が特徴部を自動的に指定して作成されるため、作業者が特徴部を指定して作成される場合と比較して、作業者による部品データの質（例えば、実装装置３００が適切に部品を認識できる確率）に差が生じにくい。そのため、このような部品データを用いる実装装置３００によれば、作業者の能力に依存せずに適切に部品を認識して当該部品を基板に実装できる。
　（実施の形態２）
　続いて、実施の形態２に係るデータ作成システムについて説明する。なお、実施の形態２に係るデータ作成システムの説明においては、実施の形態１に係るデータ作成システムとの差異点を中心に説明し、実質的に同様の構成については説明を省略又は簡略化する場合がある。なお、実施の形態２に係る実装システムにおける推論モデル作成装置及び実装装置は、実施の形態１に係る実装システム４００における推論モデル作成装置１００及び実装装置３００と実質的に同様であるため、説明を省略する。
　［構成］
　図１２は、実施の形態２に係るデータ作成システム２０１の構成を示すブロック図である。
　データ作成システム２０１は、撮像部２１０と、画像処理部２２０と、特徴データ検出部２３１と、詳細検出部（検出部）２８０と、部品データ作成部２４０と、出力部２５０と、取得部２６０と、記憶部２７０と、を備える。
　特徴データ検出部２３１は、画像処理部２２０から取得した画像について、推論モデルを用いて、部品の特徴部に関する情報を出力する処理部である。具体的には、特徴データ検出部２３１は、第１の部品を含む複数の部品のそれぞれが撮像されることで生成された複数の部品画像と第１の部品を含む複数の部品の特徴部のそれぞれに関する情報とを学習データ（例えば、上記したデータセット）として学習された推論モデルを用いて、第１の部品を含む第１の部品画像を入力として、第１の部品画像における第１の部品の特徴部に関する情報を出力する。
　ここで、実施の形態２では、特徴部に関する情報は、第１の部品画像において第１の部品の特徴部が含まれる所定の領域を示す情報（領域情報）、あるいは、第１の部品画像に含まれる第１の部品の特徴部の種類を示す情報の少なくとも１つを含む。つまり、特徴データ検出部２３１は、推論モデルを用いて、第１の部品を含む第１の部品画像を入力として、第１の部品画像において第１の部品の特徴部が含まれる所定の領域を示す情報、あるいは、第１の部品の特徴部の種類を示す情報の少なくとも１つを出力する。言い換えると、特徴データ検出部２３１が用いる推論モデルは、第１の部品を含む第１の部品画像を入力として、第１の部品画像において第１の部品の特徴部が含まれる所定の領域を示す情報、あるいは、第１の部品の特徴部の種類を示す情報の少なくとも１つを出力する。例えば、推論モデル作成装置１００は、第１の部品を含む第１の部品画像を入力として、第１の部品画像において第１の部品の特徴部が含まれる所定の領域、あるいは、第１の部品の特徴部の種類を示す情報を出力する推論モデルを作成し、データ作成システム２０１に出力する。特徴部の種類を示す情報とは、例えば、特定の形状を示す情報（パターン）を指定できる情報である。具体的に例えば、特徴部の種類を示す情報とは、第１の部品の特徴部の形状の種類（クラス）を示す情報である。
　なお、特徴部の種類を示す情報は、特定の形状を示す情報（パターン）を指定できる情報であればよく、特定の部品種別を示す情報あるいはパターンマッチングに用いる特定のフィルターを示す情報であってもよい。
　詳細検出部２８０は、第１の部品画像における所定の領域に対してパターンマッチングを用いて第１の部品の特徴部の形状の種類、位置、寸法及び角度のいずれかに関する情報を出力する処理部である。パターンマッチングをするための特定の形状を示す情報（パターン）は、特徴データ検出部２３１から出力された第１の部品画像に含まれる第１の部品の特徴部の種類を示す情報に基づいて指定される。詳細検出部２８０がパターンマッチングするための特定の形状を示す情報（パターン）は、例えば、記憶部２７０に予め記憶されている。
　なお、詳細検出部２８０は、画像同士をマッチングさせてもよいし、データ同士をマッチングさせてもよい。
　なお、本実施形態では、詳細検出部２８０は、特徴データ検出部２３１から出力された第１の部品画像に含まれる第１の部品の特徴部の種類を示す情報に基づいて指定されるパターンを用いて、第１の部品画像における所定の領域に対してパターンマッチングを行っているが、これに限定されない。例えば、詳細検出部２８０は、記憶部２７０に予め記憶されている全ての特定の形状を示す情報（パターン）を用いて第１の部品画像における所定の領域に対してパターンマッチングを行っても良いし、特徴データ検出部２３１から出力された第１の部品画像に含まれる第１の部品の特徴部の種類を示す情報に基づいて指定されるパターンを用いて、第１の部品画像全体に対してパターンマッチングを行っても良い。
　図１３及び図１４は、実施の形態２に係るデータ作成システム２０１が実行する特徴部の検出処理を説明するための図である。具体的には、図１３及び図１４は、部品５０４を含む画像を模式的に示す図である。
　図１３に示すように、特徴データ検出部２３１は、部品５０４を含む画像が入力されると、部品５０４における特徴部に関する情報として、特徴部が含まれる領域を示す検出領域５７０、５７１、５７２を示す情報を出力する。
　次に、詳細検出部２８０は、特徴データ検出部２３１が出力した部品５０４における特徴部に関する情報である、特徴部が含まれる領域を示す検出領域５７０、５７１、５７２を示す情報に基づいて、検出領域５７０、５７１、５７２においてパターンマッチングを行う。これにより、詳細検出部２８０は、例えば、図１４に太線で示すように、部品５０４における特徴部である角部５８０、５８１の特徴部の形状の種類、位置、寸法、及び、角度と、リード部５８２の特徴部の形状の種類、位置、寸法、及び、角度を特定し、特定した情報と部品データ作成部２４０に出力する。これにより、部品データ作成部２４０は、特徴データ検出部２３１が出力した部品５０４における特徴部に関する情報に基づき詳細検出部２８０が特定した部品５０４における特徴部に関する情報に基づいて、部品データを作成する。
　なお、所定の領域は、特徴部が含まれる領域であれば任意に定められてよく、特に限定されない。例えば、所定の領域は、複数の電極が含まれる領域である場合、当該複数の電極の外接矩形の中心を基準として、当該中心から縦方向及び横方向（予め任意に定められる２軸直交座標系の当該２軸のそれぞれの方向）にそれぞれ所定のオフセット量だけ当該外接矩形を伸ばした矩形の領域でもよい。所定の領域を示す情報は、例えば、当該中心を示す座標と、当該外接矩形の各辺の寸法とを含む情報である。
　データ作成システム２０１が備える各処理部は、例えば、ＣＰＵ等のプロセッサと、当該プロセッサが実行する制御プログラムとによって実現される。各処理部は、１つのプロセッサによって実現されてもよいし、互いに異なるプロセッサによって実現されてもよい。
　［処理手順］
　図１５は、実施の形態２に係るデータ作成システム２０１の処理手順を示すフローチャートである。
　まず、取得部２６０は、推論モデルを取得する（Ｓ２０１）。
　次に、撮像部２１０は、部品を撮像する（Ｓ２０２）。
　次に、画像処理部２２０は、撮像部２１０から取得した画像について画像処理を行う（Ｓ２０３）。
　次に、特徴データ検出部２３１は、画像処理部２２０から取得した画像について、推論モデルを用いて、部品の特徴部に関する情報を出力する（Ｓ２０４１）。本実施の形態では、特徴データ検出部２３１は、推論モデルを用いて、部品を含む画像を入力として、当該画像における当該部品の特徴部に関する情報である、特徴部を含む領域を示す領域情報を出力する。
　次に、詳細検出部２８０は、領域情報に基づいて特徴部の詳細（例えば、特徴部の形状の種類、位置、寸法及び確度）を特定する（Ｓ２０４２）。具体的には、詳細検出部２８０は、領域情報に基づいて特徴部の詳細を示す詳細情報を出力する。
　次に、部品データ作成部２４０は、詳細検出部２８０から取得した詳細情報に基づいて部品データを作成する（Ｓ２０５）。例えば、部品データ作成部２４０は、詳細検出部２８０から出力された詳細情報を、実装装置３００が読み取り可能なようにデータ形式等を変換した部品データを生成する。
　次に、出力部２５０は、部品データ作成部２４０が生成した部品データを出力する（Ｓ２０６）。
　［効果等］
　以上説明したように、実施の形態２に係るデータ作成システム２０１は、第１の部品を含む複数の部品のそれぞれが撮像されることで生成された複数の部品画像と当該第１の部品を含む複数の部品のそれぞれの特徴部に関する情報とを学習データとして学習された推論モデルを用いて、第１の部品を含む第１の部品画像を入力として、当該第１の部品画像における当該第１の部品の特徴部に関する情報を出力する特徴データ検出部２３１と、特徴データ検出部２３１により出力された第１の部品の特徴部に関する情報に基づいて、部品データを作成する部品データ作成部２４０と、を備える。また、実施の形態２に係るデータ作成システム２０１では、特徴部に関する情報は、第１の部品画像において第１の部品の特徴部が含まれる所定の領域を示す情報、あるいは、第１の部品画像に含まれる第１の部品の特徴部の種類を示す情報の少なくとも１つを含む。
　例えば、特徴データ検出部２３１は、実施の形態１に係る特徴データ検出部２３０と比較して、特徴部に関する情報として当該特徴部の形状の種類、位置、寸法等の詳細ではなく大まかな領域（所定の領域）、あるいは、特徴部の種類の少なくとも一方を特定する推論モデルを用いる。このような推論モデルであれば、特徴データ検出部２３０が用いる推論モデルと比較して簡便に作成され得る。
　また、例えば、データ作成システム２０１は、第１の部品画像における所定の領域に対してパターンマッチングを用いて第１の部品の特徴部の形状の種類、位置、寸法及び角度のいずれかに関する情報を出力する詳細検出部２８０をさらに備える。例えば、パターンマッチングをするための特定の形状を示す情報は、特徴データ検出部２３１から出力された第１の部品画像に含まれる第１の部品の特徴部の種類を示す情報に基づいて指定される。
　これによれば、詳細検出部２８０は、部品画像全体を画像処理するのではなく、部品画像の限られた領域のみを対象として画像処理する。そのため、詳細検出部２８０が行う画像処理の対象となるデータ量が削減されるため、部品データの作成に係る演算負荷が軽減される。また、部品データの作成に係る時間が短縮され得る。さらに、特徴部毎のルールで（特徴部の形状等の詳細に基づいて）特徴部が検出されるため、このように特徴部が検出された情報に基づいて作成された部品データを用いて部品を認識する実装装置３００によれば、部品の認識精度が向上される。また、パターンマッチングをする領域、及び、パターンマッチングをするための特定の形状を示す情報（パターン）を指定することで、詳細検出部２８０による処理時間を短縮することができる。
　（実施の形態３）
　続いて、実施の形態３に係るデータ作成システムについて説明する。なお、実施の形態３に係るデータ作成システムの説明においては、実施の形態１及び実施の形態２に係るデータ作成システムとの差異点を中心に説明し、実質的に同様の構成については説明を省略又は簡略化する場合がある。なお、実施の形態３に係る実装システムにおける推論モデル作成装置及び実装装置は、実施の形態１に係る実装システム４００における推論モデル作成装置１００及び実装装置３００と実質的に同様であるため、説明を省略する。
　［構成］
　図１６は、実施の形態３に係るデータ作成システム２０２の構成を示すブロック図である。
　データ作成システム２０２は、撮像部２１０と、画像処理部２２０と、特徴データ検出部２３０と、データ調整部２８１と、部品データ作成部２４０と、出力部２５０と、取得部２６０と、記憶部２７０と、を備える。
　データ調整部２８１は、特徴データ検出部２３０が出力した特徴部に関する情報を調整（変更）する。データ調整部２８１は、例えば、ユーザに特徴部に関する情報を提示するためのディスプレイ等の提示部と、ユーザからの指示を受け付けるためのキーボード、タッチパネル等の受付部と、ユーザから受け付けた指示に基づいて特徴部に関する情報を調整する処理部とにより実現される。
　データ調整部２８１は、特徴データ検出部２３０が出力した特徴部に関する情報を提示部によって提示する。例えば、データ調整部２８１は、特徴部に関する情報が特徴部の位置を示す座標である場合、当該座標を示す情報と画像とを提示部によってユーザに提示する。ユーザは、提示部を確認することで、特徴部の位置を示す座標が適切であるか否かを判定する。ユーザは、特徴部の位置を示す座標が適切でないと判定した場合、受付部に適切な位置を入力する。データ調整部２８１は、受付部によって受け付けた入力（ユーザからの指示）に基づいて、特徴部の位置を示す座標を修正し、修正した座標を特徴部に関する情報として部品データ作成部２４０に出力する。また、データ調整部２８１は、特徴データ検出部２３０により第１の部品画像から推定された第１の部品の特徴部の複数の候補を第１の部品の特徴部に関する情報として提示部によってユーザに掲示してもよい。さらに、データ調整部２８１は、受付部によって複数の候補のうちいずれか一つを選択するユーザからの指示を受付けてもよい。これにより、部品データ作成部２４０は、特徴データ検出部２３０が出力した部品における特徴部に関する情報をデータ調整部２８１が調整した当該部品における特徴部に関する情報に基づいて、部品データを作成する。
　データ作成システム２０２が備える各処理部は、例えば、ＣＰＵ等のプロセッサと、当該プロセッサが実行する制御プログラムとによって実現される。各処理部は、１つのプロセッサによって実現されてもよいし、互いに異なるプロセッサによって実現されてもよい。
　［処理手順］
　図１７は、実施の形態３に係るデータ作成システム２０２の処理手順を示すフローチャートである。
　まず、取得部２６０は、推論モデルを取得する（Ｓ２０１）。
　次に、撮像部２１０は、部品を撮像する（Ｓ２０２）。
　次に、画像処理部２２０は、撮像部２１０から取得した画像について画像処理を行う（Ｓ２０３）。
　次に、特徴データ検出部２３０は、画像処理部２２０から取得した画像について、推論モデルを用いて、部品の特徴部に関する情報を出力する（Ｓ２０４）。
　次に、データ調整部２８１は、部品の特徴部に関する情報を調整する（Ｓ２０４３）。例えば、データ調整部２８１は、特徴データ検出部２３０に入力される画像、及び、特徴データ検出部２３０が出力した特徴部に関する情報を提示部によって提示する。さらに、データ調整部２８１は、受付部によって受け付けた入力に基づいて、特徴部に関する情報を調整する。
　次に、部品データ作成部２４０は、データ調整部２８１から取得した特徴部に関する情報に基づいて部品データを作成する（Ｓ２０５）。
　次に、出力部２５０は、部品データ作成部２４０が生成した部品データを出力する（Ｓ２０６）。
　（実施の形態４）
　続いて、実施の形態４に係るデータ作成システムについて説明する。なお、実施の形態４に係るデータ作成システムの説明においては、実施の形態１、実施の形態２、及び、実施の形態３に係るデータ作成システムとの差異点を中心に説明し、実質的に同様の構成については説明を省略又は簡略化する場合がある。なお、実施の形態４に係る実装システムにおける推論モデル作成装置及び実装装置は、実施の形態１に係る実装システム４００における推論モデル作成装置１００及び実装装置３００と実質的に同様であるため、説明を省略する。
　［構成］
　図１８は、実施の形態４に係るデータ作成システム２０３の構成を示すブロック図である。
　データ作成システム２０３は、撮像部２１０と、画像処理部２２０と、特徴データ検出部２３０と、認識テスト部（テスト部）２８２と、部品データ作成部２４０と、出力部２５０と、取得部２６０と、記憶部２７０と、を備える。
　認識テスト部２８２は、第１の部品と同じ種類の部品である第２の部品を含む第２の部品画像を取得し、部品データに基づいて、取得した第２の部品画像に含まれる第２の部品を認識するための処理である認識処理を行う。つまり、認識テスト部２８２は、部品データに基づいて、第１の部品と同じ種類の部品である第２の部品を認識可能であるか否かを判定する。
　例えば、第２の部品は、第１の部品がリード付きコネクタ部品である場合、第１の部品が有するリードを備え、且つ、当該リードの位置、寸法、配列ピッチ等が第１の部品と同じリード付きコネクタ部品とである。
　認識テスト部２８２は、例えば、第２の部品を撮像することで第２の部品画像を生成する撮像部（より具体的には、カメラ）と、部品データに基づいて、当該第２の部品画像において第２の部品を認識する処理部とにより実現される。当該撮像部は、例えば、カメラによって生成された学習用部品画像データ１１１が生成される際の部品と当該カメラとの距離、及び、カメラが撮像する向き（撮像方向）等の条件が当該カメラと同じ状態で、第２の部品を撮像する。或いは、例えば、当該撮像部は、カメラによって生成された学習用部品画像データ１１１が生成される際の部品と当該カメラとの距離、及び、カメラが撮像する向き（撮像方向）等の条件が当該カメラと異なる状態で、第２の部品を撮像してもよい。
　なお、当該撮像部は、撮像部２１０でもよい。つまり、認識テスト部２８２は、撮像部を有さず、撮像部２１０から第２の画像を取得して認識処理を行う処理部として実現されてもよい。
　また、第２の画像は、記憶部２７０に予め記憶されていてもよい。この場合、認識テスト部２８２は、記憶部２７０から第２の部品画像を取得して認識処理を行ってもよい。
　このように、認識テスト部２８２は、例えば、実装装置３００（より具体的には、認識部３２０）が部品データ作成部２４０により出力された部品データに基づいて作成される部品データを用いて部品を認識できるか否かを検査する。
　例えば、認識テスト部２８２が、第１の部品の特徴部に関する情報に基づいて作成される部品データを用いて、当該第２の部品画像において第２の部品を認識できると判定した場合、出力部２５０は第１の部品の特徴部に関する情報に基づいて作成される部品データを出力する。なお、第２の部品の認識に用いた部品データが簡略化して生成された部品データである場合、部品データ作成部２４０は、当該簡略化して生成された部品データに、実装装置３００に出力される部品データから実装装置３００の固有情報や実装装置３００に取付けられた供給部に関する情報等を加えた部品データを生成する。出力部２５０は当該部品データを出力する。
　また、例えば、認識テスト部２８２は、データ調整部２８１と同様に、特徴データ検出部２３０が出力した部品データを調整（変更）してもよい。例えば、認識テスト部２８２は、部品データが示す特徴部に関する情報をユーザに提示するためのディスプレイ等の提示部と、ユーザからの指示を受け付けるためのキーボード、タッチパネル等の受付部とを備えてもよい。
　認識テスト部２８２は、例えば、部品データに基づいて、当該第２の部品画像において第２の部品を認識できないと判定した場合、特徴データ検出部２３０部品データ作成部２４０が作成した部品データが示す特徴部に関する情報を提示部によって提示する。認識テスト部２８２は、受付部によって受け付けた入力（ユーザからの指示）に基づいて部品データを修正し、修正した部品データを出力部２５０に出力する。
　なお、データ作成システム２０３は、さらに、データ調整部２８１を備え、認識テスト部２８２は、部品データに基づいて、当該第２の部品画像において第２の部品を認識できると判定した場合、当該部品データを出力部２５０に出力し、当該第２の部品画像において第２の部品を認識できないと判定した場合、データ調整部２８１に当該部品データを出力してもよい。
　データ作成システム２０３が備える各処理部は、例えば、ＣＰＵ等のプロセッサと、当該プロセッサが実行する制御プログラムとによって実現される。各処理部は、１つのプロセッサによって実現されてもよいし、互いに異なるプロセッサによって実現されてもよい。
　［処理手順］
　図１９は、実施の形態４に係るデータ作成システム２０３の処理手順を示すフローチャートである。
　まず、取得部２６０は、推論モデルを取得する（Ｓ２０１）。
　次に、撮像部２１０は、部品を撮像する（Ｓ２０２）。例えば、撮像部２１０は、第１の部品を撮像することで当該第１の部品を含む第１の部品画像を生成し、且つ、第２の部品を撮像することで当該第２の部品を含む第２の部品画像を生成する。
　次に、画像処理部２２０は、撮像部２１０から取得した画像について画像処理を行う（Ｓ２０３）。例えば、画像処理部２２０は、撮像部２１０から取得した第１の部品画像及び第２の部品画像のそれぞれについて画像処理を行う。
　次に、特徴データ検出部２３０は、画像処理部２２０から取得した画像について、推論モデルを用いて、部品の特徴部に関する情報を出力する（Ｓ２０４）。例えば、特徴データ検出部２３０は、画像処理部２２０から取得した第１の部品画像について、推論モデルを用いて、第１の部品の特徴部に関する情報を出力する。
　次に、部品データ作成部２４０は、特徴データ検出部２３０から取得した特徴部に関する情報に基づいて部品データを作成する（Ｓ２０５）。
　次に、認識テスト部２８２は、第２の部品を含む第２の部品画像を取得し、第１の部品の特徴部に関する情報に基づいて作成された部品データを用いて、取得した第２の部品画像に含まれる第２の部品を認識するための処理である認識処理を行い、当該第２の部品を認識可能であるか否かを判定する（Ｓ２０５１）。
　認識テスト部２８２は、第１の部品の特徴部に関する情報に基づいて作成された部品データを用いて、第２の部品画像において第２の部品を認識できないと判定した場合（Ｓ２０５１でＮｏ）、当該部品データ（より具体的には、当該部品データが示す特徴部に関する情報）を調整する（Ｓ２０５２）。例えば、認識テスト部２８２は、部品データが示す特徴部に関する情報を提示部によって提示する。認識テスト部２８２は、受付部によって受け付けた入力（ユーザからの指示）に基づいて、部品データ（より具体的には、部品データが示す特徴部に関する情報）を修正する。
　認識テスト部２８２が、第１の部品の特徴部に関する情報に基づいて作成された部品データを用いて、第２の部品画像において第２の部品を認識できると判定した場合（Ｓ２０５１でＹｅｓ）、又は、ステップＳ２０５２の次に、出力部２５０は、部品データを出力する（Ｓ２０６）。例えば、出力部２５０は、ステップＳ２０５１でＹｅｓの場合、部品データ作成部２４０が作成した部品データを出力する。或いは、例えば、出力部２５０は、ステップＳ２０５２の次に、認識テスト部２８２によって調整された部品データを出力する。
　（実施の形態５）
　続いて、実施の形態５に係るデータ作成システムについて説明する。なお、実施の形態５に係るデータ作成システムの説明においては、実施の形態１、実施の形態２、実施の形態３、及び、実施の形態４に係るデータ作成システムとの差異点を中心に説明し、実質的に同様の構成については説明を省略又は簡略化する場合がある。なお、実施の形態５に係る実装システムにおける推論モデル作成装置及び実装装置は、実施の形態１に係る実装システム４００における推論モデル作成装置１００及び実装装置３００と実質的に同様であるため、説明を省略する。
　［構成］
　図２０は、実施の形態５に係るデータ作成システム２０４の構成を示すブロック図である。
　データ作成システム２０４は、撮像部２１０と、画像処理部２２０と、特徴データ検出部２３０と、認識テスト部２８２と、部品データ作成部２４０と、出力部２５０と、取得部２６０と、記憶部２７０と、学習データセット取得部２９０と、学習部２９１と、を備える。
　認識テスト部２８２は、上記したように、第２の部品を含む第２の部品画像を取得し、部品データに基づいて、取得した第２の部品画像に含まれる第２の部品を認識するための処理である認識処理を行い、当該第２の部品を認識可能であるか否かを判定する。認識テスト部２８２は、部品データに基づいて、第２の部品画像において第２の部品を認識できると判定した場合（図２０に示す「ＯＫ」）、当該部品データを出力部２５０に出力する。
　一方、認識テスト部２８２は、部品データに基づいて、第２の部品画像において第２の部品を認識できないと判定した場合（図２０に示す「ＮＧ」）、第２の部品画像を学習データセット取得部２９０に出力する。
　学習データセット取得部２９０は、学習部２９１が推論モデルに学習させる際に用いるデータセットを取得する処理部である。例えば、学習データセット取得部２９０は、認識テスト部２８２において認識できないと判定された第２の部品画像を認識テスト部２８２から取得する。また。例えば、学習データセット取得部２９０は、第２の部品画像に含まれる第２の部品画像の特徴部に関する情報を取得する。例えば、学習データセット取得部２９０は、ユーザに第２の部品画像を提示するためのディスプレイ等の提示部と、ユーザからの指示を受け付けるためのキーボード、タッチパネル等の受付部とを備える。
　学習データセット取得部２９０は、例えば、第２の部品画像を提示部によって提示する。ユーザは、提示部を確認することで、第２の部品画像に含まれる第２の部品の特徴部に関する情報を入力する。学習データセット取得部２９０は、受付部によって受け付けた入力（ユーザからの指示）である第２の部品の特徴部に関する情報を取得する。このように、学習データセット取得部２９０は、第２の部品画像と、第２の部品の特徴部に関する情報とを、学習部２９１が推論モデルに学習させるためのデータセットとして取得する。
　学習データセット取得部２９０は、取得したデータセットを学習部２９１に出力する。
　学習部２９１は、学習データセット取得部２９０が取得したデータセットを用いて機械学習することで、推論モデルの作成を行う、つまり、推論モデルに学習させる処理部である。
　機械学習は、例えば、学習部１３０と同様に、ディープラーニング等における誤差逆伝播法等によって実現される。学習部２９１は、例えば、取得部２６０が推論モデル作成装置１００から取得した推論モデルを取得部２６０から取得する。学習部２９１は、取得部２６０から取得した推論モデルに、学習データセット取得部２９０が取得したデータセットを用いて学習させる。
　取得部２６０は、学習部２９１が学習させた推論モデルを取得し、特徴データ検出部２３０は、取得部２６０が取得した、学習部２９１が学習させた推論モデルを用いて、第１の部品を含む第１の部品画像を入力として、当該第１の部品画像における当該第１の部品の特徴部に関する情報を出力する。
　このように、データ作成システム２０４では、認識テスト部２８２で第２の画像に含まれる第２の部品を認識できない情報であって、第１の部品の特徴部に関する情報を出力する推論モデルについては、当該第２の画像を用いて学習させる。これにより、推論モデルは、認識テスト部２８２で第２の画像に含まれる第２の部品を認識できる情報であって、第１の部品の特徴部に関する情報を出力するように更新される。つまり、データ作成システム２０４では、推論モデルは、認識テスト部２８２の認識結果に基づいて学習部２９１によって更新される。
　なお、第２の画像及び第２の特徴部に関する情報は、記憶部２７０に予め記憶されていてもよい。この場合、認識テスト部２８２は、記憶部２７０から第２の部品画像を取得して認識処理を行ってもよい。また、この場合、例えば、学習データセット取得部２９０は、認識テスト部２８２で認識できないと判定されたとき、記憶部２７０から第２の画像及び第２の部品の特徴部に関する情報を取得してもよい。
　また、データ作成システム２０４が備える学習データセット取得部２９０及び学習部２９１と、データ作成システム２０４が備える学習データセット取得部２９０及び学習部２９１以外の構成要素とは、それぞれ異なるコンピュータで実現されてもよい。また、それぞれのコンピュータは、通信可能に常時接続されていなくてもよい。例えば、作業者は、認識テスト部２８２が認識できないと判定した場合、認識テスト部２８２を備えるコンピュータを操作してＵＳＢメモリ等の可搬な記憶装置に第２の画像を記憶させ、学習データセット取得部２９０及び学習部２９１を備えるコンピュータを操作して当該記憶装置に記憶させた第２の画像を用いて推論モデルを学習させてもよい。
　データ作成システム２０４が備える各処理部は、例えば、ＣＰＵ等のプロセッサと、当該プロセッサが実行する制御プログラムとによって実現される。各処理部は、１つのプロセッサによって実現されてもよいし、互いに異なるプロセッサによって実現されてもよい。
　［処理手順］
　図２１は、実施の形態５に係るデータ作成システムの処理手順を示すフローチャートである。
　まず、取得部２６０は、推論モデルを取得する（Ｓ２０１）。ここでは、例えば、取得部２６０は、推論モデル作成装置１００から推論モデルを受信することで、推論モデルを取得する。
　次に、撮像部２１０は、部品を撮像する（Ｓ２０２）。例えば、撮像部２１０は、第１の部品を撮像することで当該第１の部品を含む第１の部品画像を生成し、且つ、第２の部品を撮像することで当該第２の部品を含む第２の部品画像を生成する。
　次に、画像処理部２２０は、撮像部２１０から取得した画像について画像処理を行う（Ｓ２０３）。例えば、画像処理部２２０は、撮像部２１０から取得した第１の部品画像及び第２の部品画像のそれぞれについて画像処理を行う。
　次に、特徴データ検出部２３０は、画像処理部２２０から取得した画像について、推論モデルを用いて、部品の特徴部に関する情報を出力する（Ｓ２０４）。例えば、特徴データ検出部２３０は、画像処理部２２０から取得した第１の部品画像について、推論モデルを用いて、第１の部品の特徴部に関する情報を出力する。
　次に、部品データ作成部２４０は、認識テスト部２８２から取得した特徴部に関する情報に基づいて部品データを作成する（Ｓ２０５）。
　次に、認識テスト部２８２は、第２の部品を含む第２の部品画像を取得し、部品データに基づいて、取得した第２の部品画像に含まれる第２の部品を認識するための処理である認識処理を行い、当該第２の部品を認識可能であるか否かを判定する（Ｓ２０５１）。
　認識テスト部２８２が、部品データに基づいて、第２の部品画像において第２の部品を認識できると判定した場合（Ｓ２０５１でＹｅｓ）、出力部２５０は、当該部品データを出力する（Ｓ２０６）。
　一方、認識テスト部２８２が、部品データに基づいて、第２の部品画像において第２の部品を認識できないと判定した場合（Ｓ２０５１でＮｏ）、学習データセット取得部２９０は、認識テスト部２８２によって認識できないと判定された部品を含む画像と、当該画像に含まれる部品の特徴部に関する情報とを取得する（Ｓ２０５３）。例えば、学習データセット取得部２９０は、第２の部品画像と、第２の部品の特徴部に関する情報とを取得する。例えば、学習データセット取得部２９０は、第２の画像を提示部によって提示する。さらに、学習データセット取得部２９０は、受付部によって受け付けた第２の部品の特徴部に関する情報を取得する。
　次に、学習部２９１は、学習データセット取得部２９０が取得した第２の画像及び第２の部品の特徴部に関する情報を用いて推論モデルを作成（より具体的には、ステップＳ２０１で取得部２６０が取得した推論モデルを更新）し（Ｓ２０５４）、ステップＳ２０１に移行する。
　ステップＳ２０５４の次のステップＳ２０１では、取得部２６０は、ステップＳ２０５４で学習部２９１が作成した推論モデルを取得する。
　また、ステップＳ２０５１でＹｅｓの場合、ステップＳ２０６では、出力部２５０は、認識テスト部２８２から取得した特徴部に関する情報に基づいて部品データ作成部２４０によって作成された部品データを出力する。
　［効果等］
　以上説明したように、実施の形態５に係るデータ作成システム２０４は、第１の部品を含む複数の部品のそれぞれが撮像されることで生成された複数の部品画像と当該第１の部品を含む複数の部品のそれぞれの特徴部に関する情報とを学習データとして学習された推論モデルを用いて、第１の部品を含む第１の部品画像を入力として、当該第１の部品画像における当該第１の部品の特徴部に関する情報を出力する特徴データ検出部２３０と、特徴データ検出部２３０により出力された第１の部品の特徴部に関する情報に基づいて、部品データを作成する部品データ作成部２４０と、を備える。また、実施の形態５に係るデータ作成システム２０４は、第１の部品と同じ種類の部品である第２の部品を含む第２の部品画像を取得し、部品データに基づいて、取得した第２の部品画像に含まれる第２の部品を認識するための処理である認識処理を行う認識テスト部２８２をさらに備える。例えば、推論モデルは、認識テスト部２８２の認識結果に基づいて更新される。
　これによれば、推論モデルが部品を認識するための特徴部に関する適切な情報を出力するように自動的に更新される。
　（その他の実施の形態）
　以上、本実施の形態に係るデータ作成システム等について、上記各実施の形態に基づいて説明したが、本発明は、上記各実施の形態に限定されるものではない。
　例えば、上記実施の形態では、推論モデルの学習について、教師あり学習について例示したが、推論モデルは、教師なし学習によって学習されたモデルであってもよい。
　また、例えば、実装システムにおける処理部の構成要素の全部又は一部は、専用のハードウェアで構成されてもよく、或いは、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）又はプロセッサ等のプログラム実行部が、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）又は半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、実装システムの処理部の構成要素は、１つ又は複数の電子回路で構成されてもよい。１つ又は複数の電子回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
　１つ又は複数の電子回路には、例えば、半導体装置、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）又はＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）等が含まれてもよい。ＩＣ又はＬＳＩは、１つのチップに集積されてもよく、複数のチップに集積されてもよい。ここでは、ＩＣ又はＬＳＩと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（Ｖｅｒｙ　Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）、又は、ＵＬＳＩ（Ｕｌｔｒａ　Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるかもしれない。また、ＬＳＩの製造後にプログラムされるＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）も同じ目的で使うことができる。
　なお、本発明は、実装システムとして実現できるだけでなく、実装システムの各構成要素が行う処理をステップとして含むプログラム、及び、そのプログラムを記録したコンピュータ読み取り可能なＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等の記録媒体として実現することもできる。
　つまり、上述した包括的又は具体的な態様は、システム、装置、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。
　本発明に係るデータ作成システムは、実装装置等の部品を認識する処理を行う装置が用いる部品データを生成する装置に利用可能である。
　１００　推論モデル作成装置
　１１０、２７０、３５０　記憶部
　１１１　学習用部品画像データ
　１１２　教師データ
　１２０、２９０　学習データセット取得部
　１３０、２９１　学習部
　１４０、２５０　出力部
　２００、２０１、２０２、２０３、２０４　データ作成システム
　２１０　撮像部
　２２０　画像処理部
　２３０、２３１　特徴データ検出部（推論部）
　２４０　部品データ作成部（データ作成部）
　２６０、３１０　取得部
　２８０　詳細検出部（検出部）
　２８１　データ調整部
　２８２　認識テスト部（テスト部）
　３００　実装装置
　３２０　認識部
　３３０　制御部
　３４０　ヘッド
　４００　実装システム
　５００、５０１、５０２、５０３、５０４　部品
　５１０、５６０、５８２　リード部
　５２０　挿入部
　５３０　ボール部
　５４０、５８０、５８１　角部
　５５０　直線部
　５７０、５７１、５７２　検出領域

Claims (8)

  1. 　部品を認識する際に使用される部品データを作成するデータ作成システムであって、
    　第１の部品を含む複数の部品のそれぞれが撮像されることで生成された複数の部品画像と前記第１の部品を含む複数の部品のそれぞれの特徴部に関する情報とを学習データとして学習された推論モデルを用いて、前記第１の部品を含む第１の部品画像を入力として、前記第１の部品画像における前記第１の部品の特徴部に関する情報を出力する推論部と、
    　前記推論部により出力された前記第１の部品の特徴部に関する情報に基づいて、前記部品データを作成するデータ作成部と、を備える、
    　データ作成システム。
  2. 　前記特徴部に関する情報は、前記第１の部品画像における前記第１の部品の特徴部の形状の種類、位置、寸法及び角度のいずれかに関する情報を含む、
    　請求項１に記載のデータ作成システム。
  3. 　前記特徴部に関する情報は、前記第１の部品画像において前記第１の部品の特徴部が含まれる所定の領域を示す情報、あるいは、前記第１の部品画像に含まれる前記第１の部品の特徴部の種類を示す情報の少なくとも１つを含む、
    　請求項１に記載のデータ作成システム。
  4. 　前記第１の部品画像における前記所定の領域に対してパターンマッチングを用いて前記第１の部品の特徴部の形状の種類、位置、寸法及び角度のいずれかに関する情報を出力する検出部をさらに備え、
    　前記パターンマッチングをするための特定の形状を示す情報は、前記推論部から出力された前記第１の部品画像に含まれる前記第１の部品の特徴部の種類を示す情報に基づいて指定される、
    　請求項３に記載のデータ作成システム。
  5. 　前記推論部は、前記第１の部品画像から推定される前記第１の部品の特徴部について複数の候補が存在する場合、推定された前記複数の候補のうち確度が最大の候補を示す情報のみを、前記第１の部品の特徴部に関する情報として出力する、
    　請求項１から４のいずれか１項に記載のデータ作成システム。
  6. 　前記第１の部品と同じ種類の部品である第２の部品を含む第２の部品画像を取得し、前記部品データに基づいて、取得した前記第２の部品画像に含まれる前記第２の部品を認識するための処理である認識処理を行うテスト部をさらに備え、
    　前記推論モデルは、前記テスト部の認識結果に基づいて更新される、
    　請求項１から５のいずれか１項に記載のデータ作成システム。
  7. 　前記推論部に入力される前記第１の部品画像を撮像する撮像部をさらに備える、
    　請求項１から６のいずれか１項に記載のデータ作成システム。
  8. 　請求項１から７のいずれか１項に記載のデータ作成システムと実装装置とを備える実装システムであって、
    　前記実装装置は、前記データ作成システムにより作成された前記部品データを用いて部品を認識する認識部と、
    　前記部品を保持して基板に前記部品を実装するヘッドと、
    　前記認識部の認識結果に基づいて前記ヘッドを制御する制御部と、を備える、
    　実装システム。
PCT/JP2022/012023 2021-04-19 2022-03-16 データ作成システム、及び、実装システム WO2022224645A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023516344A JPWO2022224645A1 (ja) 2021-04-19 2022-03-16

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021070213 2021-04-19
JP2021-070213 2021-04-19

Publications (1)

Publication Number Publication Date
WO2022224645A1 true WO2022224645A1 (ja) 2022-10-27

Family

ID=83722838

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/012023 WO2022224645A1 (ja) 2021-04-19 2022-03-16 データ作成システム、及び、実装システム

Country Status (2)

Country Link
JP (1) JPWO2022224645A1 (ja)
WO (1) WO2022224645A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5441266B2 (ja) * 2010-06-24 2014-03-12 合同会社ＩＰ Ｂｒｉｄｇｅ１号 部品実装システムおよび画像認識用データ作成装置ならびに画像認識用データ作成方法
JP2020112483A (ja) * 2019-01-15 2020-07-27 春江 姚 外観検査システム、計算モデル構築方法及び計算モデル構築プログラム
JP2021044281A (ja) * 2019-09-06 2021-03-18 ヤマハ発動機株式会社 部品認識データ作成方法および部品認識データ作成プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5441266B2 (ja) * 2010-06-24 2014-03-12 合同会社ＩＰ Ｂｒｉｄｇｅ１号 部品実装システムおよび画像認識用データ作成装置ならびに画像認識用データ作成方法
JP2020112483A (ja) * 2019-01-15 2020-07-27 春江 姚 外観検査システム、計算モデル構築方法及び計算モデル構築プログラム
JP2021044281A (ja) * 2019-09-06 2021-03-18 ヤマハ発動機株式会社 部品認識データ作成方法および部品認識データ作成プログラム

Also Published As

Publication number Publication date
JPWO2022224645A1 (ja) 2022-10-27

Similar Documents

Publication Publication Date Title
CN110163912B (zh) 二维码位姿标定方法、装置及系统
US7406191B2 (en) Inspection data producing method and board inspection apparatus using the method
JP4571763B2 (ja) 画像処理装置、およびボンディング装置
US20160110840A1 (en) Image processing method, image processing device, and robot system
CN102576462A (zh) 图案匹配方法、图案匹配程序、电子计算机、电子设备检查装置
JP2005116766A (ja) ボンディング方法、ボンディング装置及びボンディングプログラム
WO2022224645A1 (ja) データ作成システム、及び、実装システム
JPH10274626A (ja) 画像処理装置
JP2010091401A (ja) 教師データ作成支援方法、並びに、画像分類方法および画像分類装置
Nevliudov et al. Automated System Development for the Printed Circuit Boards Optical Inspection Using Machine Learning Methods
JP4890904B2 (ja) 部品位置検出方法及び装置
JP4106301B2 (ja) 部品認識方法及び装置
JP2015217559A (ja) 検査装置、検査方法及び検査プログラム
JP4566686B2 (ja) 対象物の形状判別方法及び装置
JP4823782B2 (ja) 部品位置決め方法及び装置
JP4744234B2 (ja) 部品の位置決め方法及び装置
JP2006234793A (ja) 部品位置検出方法および装置
JP3765888B2 (ja) 部品の位置検出方法
JP4491630B2 (ja) 電子部品のリード方向判別方法及びその装置
JP2022165667A (ja) データ管理装置、及び、データ管理システム
JP4681984B2 (ja) 部品の位置決め方法及び装置
JP7423809B2 (ja) バンプ位置データ生成装置
JP4002107B2 (ja) 画像認識装置及びプログラム
JP2003208623A (ja) 画像認識装置及びプログラム
JP4660205B2 (ja) 部品認識方法及び装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22791425

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023516344

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22791425

Country of ref document: EP

Kind code of ref document: A1