WO2021001995A1 - 部品実装システム - Google Patents

部品実装システム Download PDF

Info

Publication number
WO2021001995A1
WO2021001995A1 PCT/JP2019/026654 JP2019026654W WO2021001995A1 WO 2021001995 A1 WO2021001995 A1 WO 2021001995A1 JP 2019026654 W JP2019026654 W JP 2019026654W WO 2021001995 A1 WO2021001995 A1 WO 2021001995A1
Authority
WO
WIPO (PCT)
Prior art keywords
component
mounting
board
component mounting
inspection
Prior art date
Application number
PCT/JP2019/026654
Other languages
English (en)
French (fr)
Inventor
光孝 稲垣
茂人 大山
春菜 成田
Original Assignee
株式会社Ｆｕｊｉ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｆｕｊｉ filed Critical 株式会社Ｆｕｊｉ
Priority to EP19936240.1A priority Critical patent/EP3996482A4/en
Priority to PCT/JP2019/026654 priority patent/WO2021001995A1/ja
Priority to US17/624,203 priority patent/US20220408622A1/en
Priority to CN201980097987.4A priority patent/CN114073175B/zh
Priority to JP2021529657A priority patent/JP7394852B2/ja
Publication of WO2021001995A1 publication Critical patent/WO2021001995A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0815—Controlling of component placement on the substrate during or after manufacturing

Definitions

  • a component mounting line including one or a plurality of component mounting machines, an appearance inspection device installed on the board carry-out side of the component mounting line and determining the quality of the mounted state of each component mounted on the circuit board, and a component.
  • a component mounting system including a learning computer connected to a mounting line network and collecting and learning teacher data used for learning processing has been proposed (see, for example, Patent Document 1).
  • the control device of each component mounting machine is a reconstructed super-resolution processing unit that estimates a high-resolution image from a low-resolution image captured during production, and the learning result of the learning process of the learning computer during production.
  • It has a learning-type super-resolution processing unit that estimates a high-resolution image from a low-resolution image obtained by imaging a component based on the image.
  • the control device of each component mounting machine estimates a high-resolution image by reconstructive super-resolution processing and processes the estimated high-resolution image to recognize the component until the learning process of the learning computer is completed.
  • the control device of each component mounting machine switches to the learning type super-resolution processing to estimate the high-resolution image and processes the estimated high-resolution image to process the component. recognize.
  • control device of each component mounting machine switches to the reconstructive super-resolution processing when it is determined that the learning result of the teacher data needs to be updated during the execution period of the learning-type super-resolution processing.
  • a high-resolution image is estimated, and a learning result update request is sent to the learning computer.
  • the control device of each component mounting machine is reconstructed when the learning computer that receives the update request recollects the teacher data and relearns to update the learning result of the teacher data and completes the learning process. Switch from super-resolution processing to learning-type super-resolution processing.
  • the production efficiency is improved.
  • the inspection it is conceivable to perform the inspection under the inspection conditions inferior in the inspection accuracy, for example, the teacher data are not sufficiently prepared.
  • the inspection is performed under inspection conditions inferior in inspection accuracy, there is a possibility that a problem may occur in the quality of the board after component mounting, and even in such a case, it is desired to ensure the quality of the board after component mounting.
  • the inspection accuracy is inferior. Even if the inspection is performed under the conditions, the main purpose is to ensure the quality of the board after mounting the components.
  • the present disclosure has taken the following measures to achieve the above-mentioned main purpose.
  • the first component mounting system of the present disclosure is It is a component mounting system equipped with a plurality of component mounting machines that are lined up in the substrate transport direction and each has an imaging device that images a substrate.
  • the board after mounting the component is imaged after the component mounting operation is performed, teacher data based on the captured image of the board after mounting the component is acquired, and machine learning is performed based on the acquired teacher data to generate learning data.
  • Learning device and An image in which the board after mounting the component is imaged and the component is recognized in the captured image of the board after mounting the component using the learning data under the first inspection condition or the second inspection condition whose inspection accuracy is inferior to the first inspection condition.
  • An inspection device that inspects the board after mounting the components by performing processing, When the inspection of the board after mounting the component is performed under the second inspection condition, the inspection information indicating that the inspection was performed under the second inspection condition is associated with the identification information for identifying the board after mounting the component.
  • a storage device that stores the captured image of the board after mounting the components, The gist is to prepare.
  • the first component mounting system of the present disclosure includes a learning device, an inspection device, and a storage device.
  • the learning device takes an image of the substrate after mounting the component, acquires teacher data based on the captured image, and performs machine learning based on the acquired teacher data to generate learning data.
  • the inspection device takes an image of the board after mounting the component, and recognizes the component in the captured image of the board after mounting the component using the learning data under the first inspection condition or the second inspection condition whose inspection accuracy is inferior to the first inspection condition. By performing the process, the board is inspected after mounting the components. Then, when the inspection of the board after component mounting is performed under the second inspection condition, the storage device associates the inspection information indicating that the inspection was performed under the second inspection condition with the identification information for identifying the board after component mounting.
  • the captured image of the board is stored.
  • the operator later confirms the captured image of the board after mounting the component, and the inspection result by the inspection device is valid. It becomes possible to judge the sex. As a result, the quality of the board after mounting the components can be ensured.
  • the second component mounting system of the present disclosure is A plurality of component mounting machines having a plurality of component mounting machines arranged in the substrate transport direction and having an imaging device for imaging the substrate are provided, and as the plurality of component mounting machines, an upstream component mounting machine arranged on the upstream side in the board transport direction and the upstream component mounting machine An intermediate between a downstream component mounting machine arranged on the downstream side in the board transport direction of the side component mounting machine and one or a plurality of downstream component mounting machines arranged between the upstream component mounting machine and the downstream component mounting machine.
  • the upstream component mounting machine mounts a lower component on a board
  • the downstream component mounting machine mounts an upper component on a lower component mounted on the board.
  • the image pickup device of the upstream component mounting machine or the component mounting machine arranged on the upstream side in the board transport direction from the upstream component mounting machine images the lower component mounting pre-board before the lower component mounting operation is performed. Then, the image pickup device of either the upstream component mounting machine or the intermediate component mounting machine captures an image of the lower component mounting post-board after the lower component mounting operation is performed, and an image of the lower component pre-mounting board.
  • Machine learning is performed based on the image, teacher data based on the captured image of the board after mounting the lower component is acquired, and machine learning is performed based on the acquired teacher data and the captured image of the board after mounting the lower component.
  • a learning device that generates training data for inspection of lower parts
  • the image pickup device of either the upstream component mounting machine or the intermediate component mounting machine images the substrate after mounting the lower component, and the learning data for the inspection of the lower component is used in the captured image of the substrate after mounting the lower component.
  • An inspection device that inspects the board after mounting the lower component by performing image processing that recognizes the component. The gist is to prepare.
  • the second component mounting system of the present disclosure includes a plurality of component mounting machines arranged in the substrate transport direction and each having an imaging device.
  • a plurality of component mounting machines one or a plurality of intermediate component mounting machines arranged between the upstream component mounting machine, the downstream component mounting machine, and the upstream component mounting machine and the downstream component mounting machine.
  • the upstream component mounting machine mounts the lower component on the board
  • the downstream component mounting machine mounts the upper component on the lower component mounted on the board.
  • the second component mounting system includes a learning device and an inspection device.
  • the learning device uses an image pickup device of a component mounting machine located upstream in the board transport direction from the upstream component mounting machine or the upstream component mounting machine to image the lower component mounting pre-board, and the upstream component mounting machine or the intermediate.
  • the substrate is imaged after mounting the lower component with one of the image pickup devices of the component mounting machine. Then, machine learning is performed based on the captured image of the board before mounting the lower component, and the teacher data based on the captured image of the board after mounting the lower component is acquired and based on the acquired teacher data and the captured image of the board after mounting the lower component. Machine learning is performed to generate training data for inspection of lower parts.
  • the inspection device images the board after mounting the lower component with an image pickup device of either the upstream component mounting machine or the intermediate component mounting machine, and uses the learning data for the inspection of the lower component to capture the component in the captured image of the board after mounting the lower component.
  • the board is inspected after mounting the lower components by performing image processing that recognizes.
  • the learning data of the board after mounting the lower component can be generated earlier than the one in which the downstream component mounting machine images the board after mounting the lower component and acquires the teacher data based on the captured image. , It is possible to inspect the board at an early stage after mounting the lower component based on the learning data.
  • FIG. 1 is a configuration diagram showing an outline of the configuration of the component mounting system 1 of the present embodiment.
  • FIG. 2 is an external perspective view of the component mounting machine 10.
  • FIG. 3 is an explanatory diagram showing an electrical connection relationship between the control device 60 and the management device 80 of the component mounting machine 10.
  • the left-right direction is the X-axis direction
  • the front-back direction is the Y-axis direction
  • the up-down direction is the Z-axis direction.
  • the component mounting system 1 includes a printing machine 2, a printing inspection machine 3, a plurality of (for example, 5) component mounting machines 10 (M1 to M5), and a management device that manages the entire system. 80 and.
  • the printing machine 2 prints solder on the substrate S to form a circuit pattern.
  • the printing inspection machine 3 inspects the state of the solder printed by the printing machine 2.
  • the plurality of component mounting machines 10 perform a mounting operation of mounting the components on the board S and perform a mounting inspection of whether or not the components are mounted on the board S.
  • the printing machine 2, the printing inspection machine 3, and the plurality of component mounting machines 10 are arranged side by side in the transport direction of the substrate S to form a production line.
  • the component mounting machine 10 has a component supply device 21 for supplying components, a substrate transfer device 22 for transporting a substrate S, a head 40 having a suction nozzle for sucking components, and a head 40.
  • a head moving device 30 that moves in the axial direction and the Y-axis direction, and a control device 60 (see FIG. 3) that controls the entire mounting machine are provided.
  • the component mounting machine 10 images the parts camera 23 for capturing the suction posture of the component sucked by the suction nozzle, the nozzle station 24 accommodating the replacement suction nozzle, and the substrate S. It also has a mark camera 43 for this purpose.
  • the parts supply device 21 includes, for example, a tape reel around which carrier tape containing parts is wound at predetermined intervals, and a tape feeding mechanism that pulls out the carrier tape from the tape reel and sends it to a parts supply position by driving a drive motor. It is configured as a tape feeder.
  • the component supply device 21 (tape feeder) is detachably attached to a feeder stand (not shown) included in the component mounting machine 10.
  • the board transfer device 22 includes a pair of conveyor rails arranged at intervals in the Y-axis direction, and by driving the pair of conveyor rails, the board S is moved from left to right (board transfer direction) in FIG. And transport.
  • the head moving device 30 includes a pair of X-axis guide rails 31, an X-axis slider 32, an X-axis actuator 33 (see FIG. 3), a pair of Y-axis guide rails 35, and a Y-axis. It includes a slider 36 and a Y-axis actuator 37 (see FIG. 3).
  • the pair of Y-axis guide rails 35 are installed on the upper stage of the housing 11 so as to extend parallel to each other in the Y-axis direction.
  • the Y-axis slider 36 is bridged over a pair of Y-axis guide rails 35 and moves in the Y-axis direction along the Y-axis guide rail 35 by being driven by the Y-axis actuator 37.
  • the pair of X-axis guide rails 31 are installed on the lower surface of the Y-axis slider 36 so as to extend parallel to each other in the X-axis direction.
  • the X-axis slider 32 is bridged over a pair of X-axis guide rails 31 and moves in the X-axis direction along the X-axis guide rail 31 by driving the X-axis actuator 33.
  • a head 40 is attached to the X-axis slider 32, and the head moving device 30 moves the head 40 in the X-axis direction and the Y-axis direction by moving the X-axis slider 32 and the Y-axis slider 36. ..
  • the head 40 includes a Z-axis actuator 41 (see FIG. 3) that moves the suction nozzle in the Z-axis (up and down) direction, and a ⁇ -axis actuator 42 (see FIG. 3) that rotates the suction nozzle around the Z-axis.
  • a Z-axis actuator 41 see FIG. 3
  • a ⁇ -axis actuator 42 see FIG. 3
  • the head 40 can apply a negative pressure to the suction port to suck the parts.
  • the head 40 can release the suction of the parts by applying the positive pressure to the suction port by communicating the positive pressure source with the suction port of the suction nozzle.
  • the control device 60 is configured as a microprocessor centered on the CPU 61, and includes a ROM 62, an HDD 63, a RAM 64, and an input / output interface 65 in addition to the CPU 61. These are electrically connected via a bus 66.
  • the control device 60 includes a position signal from the X-axis position sensor 34 that detects the position of the X-axis slider 32, a position signal from the Y-axis position sensor 38 that detects the position of the Y-axis slider 36, and a mark camera 43.
  • An image signal, an image signal from the parts camera 23, and the like are input via the input / output interface 65.
  • control device 60 a control signal to the component supply device 21, a control signal to the substrate transfer device 22, a drive signal to the X-axis actuator 33, a drive signal to the Y-axis actuator 37, and a Z-axis actuator 41.
  • the drive signal, the drive signal to the ⁇ -axis actuator 42, the control signal to the parts camera 23, the control signal to the mark camera 43, and the like are output via the input / output interface 65.
  • the control device 60 is connected to the management device 80 so as to be capable of bidirectional communication, and exchanges data and control signals with each other.
  • the management device 80 is, for example, a general-purpose computer, and includes a CPU 81, a ROM 82, an HDD 83 (or SSD), a RAM 84, an input / output interface 85, and the like, as shown in FIG. These are electrically connected via the bus 86.
  • An input signal is input to the management device 80 from an input device 87 such as a mouse or a keyboard via the input / output interface 85. Further, the image signal to the display 88 is output from the management device 80 via the input / output interface 85.
  • the HDD 83 stores the production job of the substrate S.
  • the management device 80 generates a production job based on the data input by the operator via the input device 87, and transmits the generated production job to each component mounting machine 10 to produce the production job for each component mounting machine 10. Instruct the start of.
  • FIG. 4 is an explanatory diagram illustrating a plurality of component mounting machines 10 (M1 to M5) constituting the production line and work processes performed by the plurality of component mounting machines 10 (M1 to M5), respectively.
  • the component mounting machine M1 which is the most upstream of the plurality of component mounting machines M1 to M5 in the board transport direction mounts the lower component, and the component mounting which is the most downstream in the board transport direction.
  • the machine M5 mounts the upper component.
  • the component mounting machines (intermediate component mounting machines) M2 to M4 arranged between the most upstream component mounting machine M1 and the most downstream component mounting machine M5 are not covered with the upper parts (frame parts). Mount the component.
  • FIG. 5 is a flowchart showing an example of the lower component mounting process. This process is executed by the control device 60 of the most upstream component mounting machine M1.
  • the CPU 61 of the control device 60 of the component mounting machine M1 first controls the board transfer device 22 so that the board S is carried in (step S100). Subsequently, the CPU 61 determines whether or not the learning process (learning process for lower component inspection) used for the mounting inspection of the lower component, which will be described later, is being executed (step S110), and the learning process for lower component inspection is being executed.
  • the learning process learning process for lower component inspection
  • step S120 If it is determined that the above is true, the head moving device 30 is controlled so that the mark camera 43 comes above the carried-in substrate S, and the mark camera 43 is controlled so as to image the substrate S (step S120), and the process proceeds to step S130. .. As a result, an image of the board S before the lower component is mounted (the image of the board before mounting the lower component) is acquired. On the other hand, when the CPU 61 determines that the lower component inspection learning process is not being executed (learned), the CPU 61 skips step S120 and proceeds to step S130.
  • the CPU 61 controls the head moving device 30 so that the suction nozzle comes above the component supply position of the component supply device 21, and performs a suction operation that controls the head 40 so as to suck the lower component to the suction nozzle (Ste S130). Then, the CPU 61 controls the head moving device 30 so that the attracted lower component comes above the target mounting position of the board S (step S140), and the head 40 mounts the lower component at the target mounting position of the board S. Is performed (step S150). The process of step S140 is performed so that the attracted lower component passes above the parts camera 23 and reaches above the target mounting position.
  • the CPU 61 takes an image of the lower component when it passes above the parts camera 23, calculates the suction deviation amount of the lower component based on the obtained image, and based on the calculated suction deviation amount. And correct the target mounting position.
  • the CPU 61 controls the mark camera 43 so as to image the substrate S on which the lower component is mounted (step S160).
  • an image of the board S after the lower component is mounted (a board image after the lower component is mounted) is acquired.
  • the CPU 61 controls the substrate transfer device 22 so that the substrate S is carried out (step S170), and ends this process.
  • FIG. 6 is a flowchart showing an example of the upper component mounting process. This process is executed by the control device 60 of the most downstream component mounting machine M5.
  • the CPU 61 of the control device 60 of the component mounting machine M5 first controls the board transfer device 22 so that the board S is carried in (step S200). Subsequently, the CPU 61 controls the head moving device 30 so that the suction nozzle comes above the component supply position of the component supply device 21, and performs a suction operation that controls the head 40 so as to suck the upper component to the suction nozzle ( Step S210).
  • step S220 controls the head moving device 30 so that the attracted upper component comes above the target mounting position of the board S
  • step S220 the head 40 mounts the upper component at the target mounting position of the board S. Is performed (step S230).
  • step S220 is performed so that the attracted upper component passes above the part camera 23 and reaches above the target mounting position.
  • the CPU 61 takes an image of the upper part when the sucked upper part passes above the parts camera 23, calculates the suction deviation amount of the upper part based on the obtained image, and based on the calculated suction deviation amount. And correct the target mounting position.
  • the CPU 61 controls the mark camera 43 so as to image the substrate S on which the upper component is mounted (step S240).
  • an image of the board S after the upper component is mounted (a board image after the upper component is mounted) is acquired.
  • the substrate S is not imaged before the upper component is mounted, but the reason for this will be described later.
  • the CPU 61 controls the substrate transfer device 22 so that the substrate S is carried out (step S250), and ends this process.
  • FIG. 7 is a flowchart showing an example of learning processing for inspection of lower parts. This process is repeatedly executed by the CPU 81 of the management device 80 at predetermined time intervals while the above-described lower component mounting process is being executed by the component mounting machine M1.
  • the CPU 81 of the management device 80 first determines whether or not the learning is incomplete (step S300). When the CPU 81 determines that the learning is incomplete, it determines whether or not the board image before mounting the lower component has been acquired (step S310).
  • the image of the board before mounting the lower component is acquired by taking an image of the board S with the mark camera 43 before mounting the lower component on the board S in step S120 of the lower component mounting process.
  • the CPU 81 determines that the board image before mounting the lower component has been acquired, it generates learning data for inspection of the lower component by machine learning (for example, a support vector machine or the like) based on the board image before mounting the lower component with no component as teacher data.
  • the learning data for lower component inspection is generated by pairing the input lower component pre-mounting board image and the output inspection result (without components) and obtaining the relationship between the board image and the inspection result. Is done.
  • the CPU 81 determines whether or not the board image has been acquired after mounting the lower component (step S330).
  • the image of the board after mounting the lower component is acquired by taking an image of the board S with the mark camera 43 after mounting the lower component on the board S in step S160 of the lower component mounting process.
  • the CPU 81 determines that the board image after mounting the lower component has been acquired, the CPU 81 displays the board image after mounting the lower component on the display 88, accepts the input of the teacher data with or without the component (step S340), and the teacher data is input. Wait (step S350).
  • the operator determines whether or not the lower component to be inspected is shown in the board image after mounting the lower component displayed on the display 88, and if it is determined that the lower component is shown, "there is a component". If you enter it and determine that the lower parts are not shown, enter "No parts".
  • the CPU 81 inputs the teacher data of the presence or absence of parts, the CPU 81 generates (updates) the learning data for inspection of the lower parts by the above-mentioned machine learning based on the input teacher data and the board image after mounting the lower parts (step S360).
  • the number of acquired teacher data N is incremented by a value of 1 (step S370).
  • the relationship between the board image and the inspection result is determined by pairing the input lower part post-mounting board image and the output inspection result teacher data (presence or absence of parts input by the operator). It is done by asking.
  • the CPU 81 determines whether or not the acquisition number N of the teacher data is equal to or greater than the predetermined number Nref (step S380).
  • the predetermined number Nref is determined to be a necessary and sufficient number for ensuring the accuracy of the mounting inspection of the lower component using the learning data for the lower component inspection.
  • the CPU 81 determines that the number N of acquired teacher data is less than a predetermined number Nref
  • the CPU 81 returns to step S310 and learns for lower component inspection by machine learning based on the board image before mounting the lower component and the board image after mounting the lower component.
  • the process of generating (updating) data is repeated.
  • the CPU 81 determines in step S380 that the number of acquired teacher data N is equal to or greater than a predetermined number Nref in the iterative process, it determines that the learning has been completed (step S390), and ends this process.
  • step S400 determines whether or not the lot switching of the substrate S and the lower component has occurred.
  • the main process is terminated, and when it is determined that the lot switching has occurred, the learning history of steps S320 and S360 is cleared (step S410), and the teacher data
  • the acquired number N is initialized to the value 0 (step S420), and the process proceeds to step S310.
  • the CPU 81 stores the lot information of the substrate S in advance in the HDD 83 in association with the substrate ID that identifies the substrate S, and when the substrate S is carried into the component mounting machine 10, the substrate ID of the substrate S is carried in. The lot information corresponding to is read out, and it is determined whether or not the lot of the substrate S has been switched. Then, when the CPU 81 determines that the lot switching of the board S has occurred, the CPU 81 executes re-learning, and identifies the learning data for lower component inspection generated by the re-learning and the identification information (learning ID) for identifying the learning data and the board. It is stored in the HDD 83 in association with the ID.
  • the CPU 81 stores the lot information of the lower component in advance in the HDD 83 in association with the lower component ID that identifies the lower component, and when the component is mounted on the board S carried into the component mounting machine 10, the CPU 81 is concerned.
  • the lot information corresponding to the part ID of the lower part is read out to determine whether or not the lot of the lower part has been switched.
  • the CPU 81 executes re-learning and stores the learning data for inspection of the lower component generated by the re-learning in association with the learning ID and the board ID in the HDD 83.
  • the learning data for lower part inspection stored in this way is used for the next lower part inspection process.
  • FIG. 8 is a flowchart showing an example of the lower component inspection process executed by the CPU 81 of the management device 80. This process is repeatedly executed at predetermined time intervals while the above-mentioned lower component mounting process is being executed by the component mounting machine M1.
  • the CPU 81 of the management device 80 first determines whether or not the board image is acquired after mounting the lower component (step S500) and whether or not the learning data for lower component inspection exists (step). S510), respectively. If the CPU 81 determines that the board image has not been acquired after mounting the lower component, or determines that the learning data for inspecting the lower component does not exist, it determines that the lower component cannot be inspected, and ends this process. On the other hand, when the CPU 81 determines that the board image after mounting the lower component is acquired and the learning data for inspection of the lower component exists, the CPU 81 recognizes the lower component in the board image after mounting the lower component using the learning data for inspection of the lower component.
  • a mounting inspection is performed to determine whether or not the lower component to be inspected is mounted on the substrate S (step S520).
  • the learning data for the lower component inspection is read from the HDD 83 based on the identification information (board ID and lower component ID) of the substrate S and the lower component to be inspected, and the learning is read out. It is performed depending on whether or not the lower component can be recognized from the board image after mounting the lower component using data (recognition model).
  • the CPU 81 determines whether or not the recognition of the lower component is successful by the recognition process (step S530), and if it is determined that the recognition of the lower component is successful, it is determined that the lower component is normally mounted (step S540).
  • step S550 If it is determined that the recognition of the lower component has failed, it is determined that a mounting error has occurred (step S550). Then, the CPU 81 determines whether or not the acquisition number N of the teacher data is less than a predetermined number Nref, that is, whether or not the learning by the learning process for lower component inspection described above is incomplete (step S560). When the CPU 81 determines that the number of acquired teacher data N is not less than the predetermined number Nref but is equal to or greater than the predetermined number Nref, the CPU 81 ends this process, and determines that the number of acquired teacher data N is less than the predetermined number Nref. The ID, the inspection results of steps S540 and S550, and the fact that the teacher data is insufficient are associated with each other, and the board image after mounting the lower component is stored in the HDD 83 (step S570), and this process is terminated.
  • the execution condition of the mounting inspection of the lower component it is a condition that the board image after mounting the lower component is acquired and that the learning data for the lower component inspection exists. Even if the acquisition number N of the teacher data used for generating the learning data for inspection of the lower component does not reach a predetermined number Nref, that is, even if the learning is not completed, the mounting inspection of the lower component is performed. As a result, the mounting inspection of the lower component can be performed at an early stage, and the production efficiency can be improved.
  • the implementation inspection when the number of teacher data acquisitions N is less than the predetermined number Nref (second inspection condition) is compared with the implementation inspection when the number of teacher data acquisitions N is the predetermined number Nref or more (first inspection condition). , Inspection accuracy is inferior. Therefore, in the present embodiment, when the mounting inspection is performed when the acquisition number N of the teacher data is less than the predetermined number Nref, the board ID of the board S used for the mounting inspection and the board image after mounting the lower component are displayed. The inspection results are associated with each other and stored in the HDD 83. As a result, the operator can later determine the validity of the inspection result by referring to the image of the board after mounting the lower component, and can ensure the quality of the board after mounting the lower component.
  • FIG. 9 is a flowchart showing an example of learning processing for inspection of upper parts. This process is repeatedly executed by the CPU 81 of the management device 80 at predetermined time intervals while the above-described upper component mounting process is being executed by the component mounting machine M5.
  • the CPU 81 of the management device 80 first determines whether or not the learning is incomplete (step S600). When the CPU 81 determines that the learning is incomplete, it determines whether or not the board image has been acquired after mounting the lower component (step S610).
  • the substrate image after mounting the lower component is acquired by imaging the substrate S with the mark camera 43 after mounting the lower component on the substrate S in step S160 of the lower component mounting process. It is a board image after mounting the lower component, and is used as a board image before mounting the upper component, which is an image of the board S before mounting the upper component. Therefore, in the above-mentioned upper component mounting process, it is possible to omit the process of capturing the image of the substrate S before mounting the upper component with the mark camera 43. Of course, in the upper component mounting process, the board S before mounting the upper component may be imaged to acquire the image of the board before mounting the upper component.
  • machine learning machine learning (image of the board before mounting the upper component) based on the board image after mounting the lower component (board image before mounting the upper component) with no component as training data.
  • a support vector machine or the like generates learning data for inspection of upper parts (step S620).
  • the learning data for upper component inspection is generated by pairing the input upper component pre-mounting board image and the output inspection result (without components) and obtaining the relationship between the board image and the inspection result. Is done.
  • the CPU 81 determines whether or not the board image has been acquired after mounting the upper component (step S630).
  • the image of the board after mounting the upper component is acquired by taking an image of the board S with the mark camera 43 after mounting the upper component on the board S in step S240 of the upper component mounting process.
  • the CPU 81 determines that the board image after mounting the upper component has been acquired, the CPU 81 displays the board image after mounting the upper component on the display 88, accepts the input of the teacher data with or without the component (step S640), and the teacher data is input. Wait (step S650).
  • the operator determines whether or not the upper component to be inspected is shown in the board image after mounting the upper component displayed on the display 88, and if it is determined that the upper component is shown, "there is a component". If it is determined that the upper part is not shown, enter "No part".
  • the CPU 81 inputs the teacher data of the presence or absence of parts, the CPU 81 generates (updates) the learning data for inspection of the upper parts by the above-mentioned machine learning based on the input teacher data and the board image after mounting the upper parts (step S660).
  • the number of acquisitions of teacher data M is incremented by a value of 1 (step S670).
  • the relationship between the board image and the inspection result is determined by pairing the input upper component mounting post-board image and the output inspection result teacher data (presence or absence of components input by the operator). It is done by asking.
  • the CPU 81 determines whether or not the acquisition number M of the teacher data is equal to or greater than the predetermined number Mref (step S680).
  • the predetermined number Mref is determined to be a necessary and sufficient number for ensuring the accuracy of the mounting inspection of the upper part using the learning data for the upper part inspection.
  • the CPU 81 determines that the acquisition number M of the teacher data is less than a predetermined number Mref
  • the CPU 81 returns to step S610 and is based on the board image after mounting the lower component (board image before mounting the upper component) and the board image after mounting the upper component.
  • the process of generating (updating) learning data for inspection of upper parts by machine learning is repeated.
  • the CPU 81 determines in step S680 that the number of acquired teacher data M is equal to or greater than a predetermined number Mref in the iterative process, it determines that the learning has been completed (step S690), and ends this process.
  • step S700 determines whether or not the lot switching of the substrate S and the upper component has occurred.
  • step S700 determines whether or not the lot switching of the substrate S and the upper component has occurred.
  • the CPU 81 stores the lot information of the substrate S in advance in the HDD 83 in association with the substrate ID that identifies the substrate S, and when the substrate S is carried into the component mounting machine 10, the substrate ID of the substrate S is carried in. The lot information corresponding to is read out, and it is determined whether or not the lot of the substrate S has been switched. Then, when the CPU 81 determines that the lot switching of the board S has occurred, the CPU 81 executes re-learning, and identifies the learning data for upper component inspection generated by the re-learning and the identification information (learning ID) for identifying the learning data and the board. It is stored in the HDD 83 in association with the ID.
  • the CPU 81 stores the lot information of the upper component in advance in the HDD 83 in association with the upper component ID that identifies the upper component, and when the component is mounted on the board S carried into the component mounting machine 10, the CPU 81 is concerned.
  • the lot information corresponding to the part ID of the upper part is read out to determine whether or not the lot of the upper part has been switched.
  • the CPU 81 executes re-learning and stores the learning data for inspection of the upper component generated by the re-learning in association with the learning ID and the board ID in the HDD 83.
  • the learning data for upper part inspection stored in this way is used for the next upper part inspection process.
  • FIG. 10 is a flowchart showing an example of the upper component inspection process executed by the CPU 81 of the management device 80. This process is repeatedly executed at predetermined time intervals while the above-mentioned upper component mounting process is being executed by the component mounting machine M5.
  • the CPU 81 of the management device 80 first determines whether or not the board image is acquired after mounting the upper component (step S800) and whether or not the learning data for upper component inspection exists (step). S810), respectively are determined.
  • the CPU 81 determines that the board image has not been acquired after mounting the upper component or determines that the learning data for inspection of the upper component does not exist, it determines that the upper component cannot be inspected and ends this process.
  • the CPU 81 determines that the board image after mounting the upper component is acquired and the learning data for inspection of the upper component exists, the CPU 81 recognizes the upper component in the board image after mounting the upper component by using the learning data for inspection of the upper component.
  • a mounting inspection is performed to determine whether or not the upper component to be inspected is mounted on the substrate S (step S820).
  • the corresponding learning data for the upper component inspection is read from the HDD 83 based on the identification information (board ID and upper component ID) of the substrate S to be inspected and the upper component, and the learning is read out. It is performed depending on whether or not the upper component can be recognized from the board image after mounting the upper component using data (recognition model).
  • the CPU 81 determines whether or not the recognition of the upper component is successful by the recognition process (step S830), and if it is determined that the recognition of the upper component is successful, it is determined that the upper component is normally mounted (step S840).
  • step S850 If it is determined that the recognition of the upper component has failed, it is determined that a mounting error has occurred (step S850). Then, the CPU 81 determines whether or not the acquisition number M of the teacher data is less than a predetermined number Mref, that is, whether or not the learning by the above-mentioned upper part inspection learning process is completed (step S860). When the CPU 81 determines that the number of acquired teacher data M is not less than the predetermined number of Mref and is equal to or greater than the predetermined number of Mref, the CPU 81 ends this process, and determines that the number of acquired teacher data M is less than the predetermined number of Mref. The ID, the inspection results of steps S840 and S850, and the fact that the teacher data is insufficient are associated with each other, and the board image after mounting the upper component is stored in the HDD 83 (step S870), and this process is terminated.
  • the execution condition of the mounting inspection of the upper component it is a condition that the board image after mounting the upper component is acquired and that the learning data for the inspection of the upper component exists. Even if the acquisition number M of the teacher data used for generating the learning data for the upper part inspection does not reach the predetermined number Mref, that is, even if the learning is not completed, the mounting inspection of the upper part is performed. As a result, the mounting inspection of the upper component can be performed at an early stage, and the production efficiency can be improved.
  • the implementation inspection when the number of teacher data acquisitions M is less than the predetermined number Mref (second inspection condition) is compared with the implementation inspection when the number of teacher data acquisitions M is the predetermined number Mref or more (first inspection condition).
  • Inspection accuracy is inferior. Therefore, in the present embodiment, when the mounting inspection is performed when the acquisition number M of the teacher data is less than a predetermined number Mref, that fact, the board ID of the board S used for the mounting inspection, and the board image after mounting the upper component are displayed.
  • the inspection results are associated with each other and stored in the HDD 83. As a result, the operator can later determine the validity of the inspection result by referring to the image of the board after mounting the upper component, and can ensure the quality of the board after mounting the upper component.
  • the mark camera 43 corresponds to the image pickup device
  • the component mounting machine 10 corresponds to the component mounting machine
  • the component mounting system 1 corresponds to the component mounting system
  • the CPU 81 of the management device 80 that executes the above corresponds to the learning device
  • the CPU 81 of the management device 80 that executes the lower part inspection process and the upper part inspection process corresponds to the inspection device
  • the HDD 83 of the management device 80 corresponds to the storage device.
  • the component mounting machine M1 corresponds to the upstream component mounting machine
  • the component mounting machine M5 corresponds to the downstream component mounting machine
  • the component mounting machines M2 to M4 correspond to the intermediate component mounting machines.
  • the image of the board after mounting the lower component is performed by using the mark camera 43 of the component mounting machine M1 immediately after the component mounting machine M1 mounts the lower component.
  • the component mounting machine M5 Waiting for the board to be carried into at least two component mounting machines of the component mounting machines M1 to M4 on the upstream side in the board transport direction after mounting the lower components, and then the at least two component mounting machines.
  • a mark camera 43 may be used to image a plurality of boards after mounting a plurality of lower components at the same time.
  • step S900 the CPU 81 of the management device 80 first determines whether or not the learning for mounting inspection of the lower component is incomplete (step S900), and whether or not the board after mounting the lower component is generated. That is, whether or not the component mounting machine M1 has mounted the lower component (step S910) is determined.
  • step S910 the CPU 81 determines that the learning is completed or determines that the board has not been generated after mounting the lower component.
  • the CPU 81 determines that the learning is not completed and the board after mounting the lower component has been generated, the CPU 81 increments the number of generated boards L after mounting the lower component by a value of 1 (step S920), and after mounting the lower component. It is determined whether or not the number of generated substrates L is equal to or greater than the predetermined number Lref (step S930).
  • the predetermined number Lref is the number of boards after mounting the lower component to be imaged at the same time. For example, in addition to the component mounting machine M1 for mounting the lower component, three component mounting machines (intermediate component mounting machines) M2 to When the substrate is imaged after mounting the lower component with M4, the value is 4.
  • the CPU 81 determines that the number of occurrences L of the board after mounting the lower component is less than the predetermined number Lref, the CPU 81 determines that it is not at the imaging timing and ends this process, and the number L of the board after mounting the lower component is the predetermined number Lref. If it is determined that the above is the case, the mark camera 43 is instructed to image the board after mounting the lower component to the component mounting machines M1 to M4 to which the board is loaded after mounting the lower component (step S940), and the operator is instructed. On the other hand, after mounting the lower component, an operator call is notified to the effect that the substrate has been imaged (step S950), and this process is terminated. As a result, the operator can collectively check the board images after mounting the plurality of lower components, so that the teacher data can be efficiently input to the management device 80. As a result, the workload of the operator can be further reduced.
  • the CPU 81 learns based on the board image after mounting the lower component and the teacher data of the presence or absence of the component input by the operator who viewed the board image after mounting the lower component. , Learning based on the board image before mounting the lower component and the teacher data without the component is also performed, but the learning based on the board image before mounting the lower component and the teacher data without the component may be omitted.
  • the CPU 81 learns based on the board image after mounting the upper component and the teacher data of the presence or absence of the component input by the operator who viewed the board image after mounting the upper component. , Learning based on the board image before mounting the upper component (board image after mounting the lower component) and the teacher data without the component was also performed, but the board image before mounting the upper component (board image after mounting the lower component) and the board without the component Learning based on teacher data may be omitted.
  • the CPU 81 inspects whether or not a component is actually mounted on the substrate S after performing the mounting operation as an inspection using learning data in the lower component inspection process and the upper component inspection process. I decided to do it. However, the CPU 81 may inspect whether or not the component has a mounting deviation (deviation in the XY direction or deviation in the rotation direction) with respect to the substrate S as an inspection using the learning data.
  • the component mounting machine M1 mounts the lower component and images the board before mounting the lower component and the board after mounting the lower component, and the component mounting machine M5 is placed on the lower component. It was decided to mount the components and image the board after mounting the upper components.
  • a mark camera imaging device provided on the upstream side component mounting machine is used for imaging the lower component mounting pre-board. You may do it with.
  • the image of the board after mounting the lower component is taken on the downstream side in the board transport direction from the component mounting machine M1 on which the lower component is mounted and on the upstream side in the board transport direction from the component mounting machine M5 on which the upper component is mounted. It may be performed by the mark camera (imaging device) provided in the machines M2 to M4. Further, in a component mounting system in which a component mounting machine is provided on the downstream side in the board transport direction of the component mounting machine M5, an image of the board after mounting the upper component is performed by a mark camera (imaging device) provided on the downstream component mounting machine. You may do it with.
  • the first component mounting system of the present disclosure is a component mounting system including a plurality of component mounting machines that are lined up in the substrate transport direction and each have an image pickup device for imaging the substrate, and the component mounting operation.
  • a learning device that images the board after mounting the components, acquires teacher data based on the captured image of the board after mounting the components, and performs machine learning based on the acquired teacher data to generate learning data.
  • the component-mounted substrate is imaged, and the component is recognized in the captured image of the component-mounted substrate using the learning data under the first inspection condition or the second inspection condition whose inspection accuracy is inferior to the first inspection condition.
  • the inspection device that inspects the board after mounting the component by performing image processing and the board after mounting the component are inspected under the second inspection condition
  • the inspection is performed under the second inspection condition. It is a gist to include a storage device that stores an image of the board after mounting the component by associating the inspection information of the above with the identification information that identifies the board after mounting the component.
  • the first component mounting system of the present disclosure includes a learning device, an inspection device, and a storage device.
  • the learning device takes an image of the substrate after mounting the component, acquires teacher data based on the captured image, and performs machine learning based on the acquired teacher data to generate learning data.
  • the inspection device takes an image of the board after mounting the component, and recognizes the component in the captured image of the board after mounting the component using the learning data under the first inspection condition or the second inspection condition whose inspection accuracy is inferior to the first inspection condition. By performing the process, the board is inspected after mounting the components. Then, when the inspection of the board after component mounting is performed under the second inspection condition, the storage device associates the inspection information indicating that the inspection was performed under the second inspection condition with the identification information for identifying the board after component mounting.
  • the captured image of the board is stored.
  • the operator later confirms the captured image of the board after mounting the component, and the inspection result by the inspection device is valid. It becomes possible to judge the sex. As a result, the quality of the board after mounting the components can be ensured.
  • the first inspection condition is a condition for inspecting the post-component mounting substrate based on learning data generated after a predetermined number of teacher data are acquired.
  • the second inspection condition may be a condition for inspecting the board after mounting the component based on the learning data generated before the predetermined number of the teacher data is acquired.
  • the second component mounting system of the present disclosure includes a plurality of component mounting machines each having an image pickup device that images the substrate while arranging in the substrate transport direction, and is arranged on the upstream side in the board transport direction as the plurality of component mounting machines. Between the upstream component mounting machine to be mounted, the downstream component mounting machine arranged on the downstream side in the board transport direction from the upstream component mounting machine, and the upstream component mounting machine and the downstream component mounting machine. The upstream component mounting machine mounts the lower component on the board, and the downstream component mounting machine mounts the lower component on the board.
  • a component mounting system in which an upper component is mounted on the upper component, and the image device of the component mounting machine arranged on the upstream side of the upstream component mounting machine or the upstream component mounting machine in the substrate transport direction of the lower component.
  • the lower component mounting before the lower component mounting operation is performed, and the lower component mounting after the lower component mounting operation is performed by the imaging device of either the upstream component mounting machine or the intermediate component mounting machine.
  • the rear board is imaged, machine learning is performed based on the captured image of the lower component mounting front board, teacher data based on the captured image of the lower component mounting post-board is acquired, and the acquired teacher data and the lower component mounting are obtained.
  • the lower component is a learning device that performs machine learning based on the captured image of the rear substrate to generate learning data for inspection of the lower component, and an image pickup device of either the upstream component mounting machine or the intermediate component mounting machine.
  • An inspection device that inspects the board after mounting the lower component by imaging the board after mounting and performing image processing to recognize the component in the captured image of the board after mounting the lower component using the learning data for the inspection of the lower component. And, the gist is to prepare.
  • the second component mounting system of the present disclosure includes a plurality of component mounting machines arranged in the substrate transport direction and each having an imaging device.
  • a plurality of component mounting machines one or a plurality of intermediate component mounting machines arranged between the upstream component mounting machine, the downstream component mounting machine, and the upstream component mounting machine and the downstream component mounting machine.
  • the upstream component mounting machine mounts the lower component on the board
  • the downstream component mounting machine mounts the upper component on the lower component mounted on the board.
  • the second component mounting system includes a learning device and an inspection device.
  • the learning device uses an image pickup device of a component mounting machine located upstream in the board transport direction from the upstream component mounting machine or the upstream component mounting machine to image the lower component mounting pre-board, and the upstream component mounting machine or the intermediate.
  • the substrate is imaged after mounting the lower component with one of the image pickup devices of the component mounting machine. Then, machine learning is performed based on the captured image of the board before mounting the lower component, and the teacher data based on the captured image of the board after mounting the lower component is acquired and based on the acquired teacher data and the captured image of the board after mounting the lower component. Machine learning is performed to generate training data for inspection of lower parts.
  • the inspection device images the board after mounting the lower component with an image pickup device of either the upstream component mounting machine or the intermediate component mounting machine, and uses the learning data for the inspection of the lower component to capture the component in the captured image of the board after mounting the lower component.
  • the board is inspected after mounting the lower components by performing image processing that recognizes.
  • the learning data of the board after mounting the lower component can be generated earlier than the one in which the downstream component mounting machine images the board after mounting the lower component and acquires the teacher data based on the captured image. , It is possible to inspect the board at an early stage after mounting the lower component based on the learning data.
  • the image pickup apparatus of the at least two component mounting machines may be used to image the substrate after mounting the lower component.
  • the operator can collectively check the captured images of the board after mounting the lower components, so that the teacher data can be efficiently input to the learning device.
  • the image pickup apparatus of the at least two component mounting machines may take an image of the board after mounting the lower component, and then notify the operator to that effect.
  • the worker can know that the board has been imaged after mounting the plurality of lower parts, so that the worker can learn by immediately checking the plurality of captured images and inputting the teacher data into the learning device.
  • the device can be made to perform learning efficiently.
  • the learning device uses the captured image of the board after mounting the lower component as the captured image of the board before mounting the upper component before the mounting operation of the upper component is performed.
  • the upper component is mounted.
  • the board after mounting the parts is imaged, teacher data based on the captured image of the board after mounting the upper parts is acquired, and machine learning is performed based on the acquired teacher data to generate learning data for inspection of the upper parts.
  • the inspection device uses an image pickup device of the downstream component mounting machine or a component mounting machine arranged downstream of the downstream component mounting machine in the board transport direction to image the upper component mounting post-board, and inspects the upper component. It is also possible to inspect the board after mounting the upper component by performing image processing for recognizing the component in the captured image of the board after mounting the upper component using the training data for the above. As a result, in addition to the inspection of the lower part, the inspection of the upper part can also be performed. Further, in order to perform learning for upper component inspection by using the captured image of the board after mounting the lower component, which is used to obtain the learning data for inspection of the lower component, as the captured image of the board before mounting the upper component, before mounting the upper component. There is no need to perform a separate image to obtain an image of the substrate.
  • the learning device is an imaging device of either the upstream component mounting machine or the intermediate component mounting machine each time the lot of the substrate or the lower component is switched.
  • the board is imaged after mounting, the teacher data based on the captured image of the board after mounting the lower component is reacquired, and machine learning is performed based on the reacquired teacher data to regenerate the learning data for the inspection of the lower component. You may do it. In this way, even if the lot of the substrate or the component is switched, the recognition accuracy of the component can be maintained well.
  • This disclosure can be used in the manufacturing industry of component mounting machines and component mounting systems.

Landscapes

  • Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

部品実装システムは、基板搬送方向に並ぶと共に基板を撮像する撮像装置をそれぞれ有する複数の部品実装機を備える。さらに、部品実装システムは、学習装置と検査装置と記憶装置とを備える。学習装置は、部品の実装動作を行なった後の部品実装後基板を撮像し、部品実装後基板の撮像画像に基づく教師データを取得すると共に取得した教師データに基づいて機械学習を行なって学習データを生成する。検査装置は、部品実装後基板を撮像し、第１検査条件または第１検査条件よりも検査精度が劣る第２検査条件により学習データを用いて部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで部品実装後基板の検査を行なう。記憶装置は、第２検査条件により部品実装後基板の検査が行なわれた場合、第２検査条件で検査が行なわれた旨の検査情報と部品実装後基板を識別する識別情報とを関連付けて部品実装後基板の撮像画像を記憶する。

Description

部品実装システム
　本明細書は、部品実装システムについて開示する。
　従来より、１台又は複数台の部品実装機を含む部品実装ラインと、部品実装ラインの基板搬出側に設置され回路基板に実装した各部品の実装状態の良否を判定する外観検査装置と、部品実装ラインのネットワークに接続され学習処理に用いる教師データの収集及び学習を行なう学習用コンピュータと、を備える部品実装システムが提案されている（例えば、特許文献１参照）。各部品実装機の制御装置は、生産中に撮像対象を撮像した低解像度画像から高解像度画像を推定する再構成型超解像処理部と、生産中に学習用コンピュータの学習処理の学習結果に基づいて部品を撮像した低解像度画像から高解像度画像を推定する学習型超解像処理部とを有する。各部品実装機の制御装置は、学習用コンピュータの学習処理が完了するまでは再構成型超解像処理により高解像度画像を推定すると共に推定した高解像度画像を処理して部品を認識する。一方、各部品実装機の制御装置は、学習用コンピュータの学習処理が完了した後は、学習型超解像処理に切り替えて高解像度画像を推定すると共に推定した高解像度画像を処理して部品を認識する。また、各部品実装機の制御装置は、学習型超解像処理の実行期間中に、教師データの学習結果を更新する必要があると判断したときに、再構成型超解像処理に切り替えて高解像度画像を推定すると共に、学習結果の更新要求を学習用コンピュータへ送信する。そして、各部品実装機の制御装置は、更新要求を受信した学習用コンピュータが教師データを再収集すると共に再学習して教師データの学習結果を更新してその学習処理を完了すると、再構成型超解像処理から学習型超解像処理に切り替える。
特開２０１８－９７７３１号公報
　ところで、部品実装システムにおいて、実装動作を行なった後の部品実装後基板を撮像し、その撮像画像において部品を認識する画像処理を施すことで当該部品実装後基板の検査を行なう場合、生産効率を高めるため、例えば教師データが十分に揃っていない等、検査精度の劣る検査条件で検査を行なうことが考えられる。しかし、検査精度の劣る検査条件で検査が行なわれると、部品実装後基板の品質に問題が生じるおそれがあり、こうした場合でも部品実装後基板の品質を確保することが望まれる。
　本開示は、教師データに基づいて機械学習により生成される学習データを用いて部品実装後基板の撮像画像に画像処理を施して当該部品実装後基板の検査を行なう場合に、検査精度の劣る検査条件で検査が行なわれるものとしても、部品実装後基板の品質を確保できるようにすることを主目的とする。
　本開示は、上述の主目的を達成するために以下の手段を採った。
　本開示の第１の部品実装システムは、
　基板搬送方向に並ぶと共に基板を撮像する撮像装置をそれぞれ有する複数の部品実装機を備える部品実装システムであって、
　部品の実装動作を行なった後の部品実装後基板を撮像し、前記部品実装後基板の撮像画像に基づく教師データを取得すると共に該取得した教師データに基づいて機械学習を行なって学習データを生成する学習装置と、
　前記部品実装後基板を撮像し、第１検査条件または該第１検査条件よりも検査精度が劣る第２検査条件により前記学習データを用いて前記部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで前記部品実装後基板の検査を行なう検査装置と、
　前記第２検査条件により前記部品実装後基板の検査が行なわれた場合、前記第２検査条件で検査が行なわれた旨の検査情報と前記部品実装後基板を識別する識別情報とを関連付けて該部品実装後基板の撮像画像を記憶する記憶装置と、
　を備えることを要旨とする。
　この本開示の第１の部品実装システムは、学習装置と、検査装置と、記憶装置とを備える。学習装置は、部品実装後基板を撮像し、その撮像画像に基づく教師データを取得すると共に取得した教師データに基づいて機械学習を行なって学習データを生成する。検査装置は、 部品実装後基板を撮像し、第１検査条件または第１検査条件よりも検査精度が劣る第２検査条件により学習データを用いて部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで部品実装後基板の検査を行なう。そして、記憶装置は、第２検査条件により部品実装後基板の検査が行なわれた場合、第２検査条件で検査が行なわれた旨の検査情報と部品実装後基板を識別する識別情報とを関連付けて部品実装後基板の撮像画像を記憶する。これにより、検査精度の劣る第２検査条件で部品実装後基板の検査が行なわれた場合に、作業者は、後から部品実装後基板の撮像画像を確認して、検査装置による検査結果の妥当性を判断することが可能となる。この結果、部品実装後基板の品質を確保することができる。
　本開示の第２の部品実装システムは、
　基板搬送方向に並ぶと共に基板を撮像する撮像装置をそれぞれ有する複数の部品実装機を備え、前記複数の部品実装機として、基板搬送方向における上流側に配置される上流側部品実装機と、前記上流側部品実装機よりも基板搬送方向における下流側に配置される下流側部品実装機と、前記上流側部品実装機と前記下流側部品実装機との間に配置される１台または複数台の中間部品実装機とを有し、前記上流側部品実装機が基板に下部品を実装し、前記下流側部品実装機が前記基板に実装された下部品の上に上部品を実装する部品実装システムであって、
　前記上流側部品実装機または該上流側部品実装機よりも基板搬送方向における上流側に配置された部品実装機の撮像装置で前記下部品の実装動作が行なわれる前の下部品実装前基板を撮像し、前記上流側部品実装機または前記中間部品実装機のいずれかの撮像装置で前記下部品の実装動作が行なわれた後の下部品実装後基板を撮像し、前記下部品実装前基板の撮像画像に基づいて機械学習を行ない、前記下部品実装後基板の撮像画像に基づく教師データを取得すると共に該取得した教師データと前記下部品実装後基板の撮像画像とに基づいて機械学習を行なって下部品検査用の学習データを生成する学習装置と、
　前記上流側部品実装機または前記中間部品実装機のいずれかの撮像装置で前記下部品実装後基板を撮像し、前記下部品検査用の学習データを用いて前記下部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで該下部品実装後基板の検査を行なう検査装置と、
　を備えることを要旨とする。
　この本開示の第２の部品実装システムは、基板搬送方向に並ぶと共に撮像装置をそれぞれ有する複数の部品実装機を備える。複数の部品実装機として、上流側部品実装機と、下流側部品実装機と、上流側部品実装機と下流側部品実装機との間に配置される１台または複数台の中間部品実装機とを有し、上流側部品実装機が基板に下部品を実装し、下流側部品実装機が基板に実装された下部品の上に上部品を実装する。さらに、第２の部品実装システムは、学習装置と、検査装置とを備える。学習装置は、上流側部品実装機または上流側部品実装機よりも基板搬送方向における上流側に配置された部品実装機の撮像装置で下部品実装前基板を撮像し、上流側部品実装機または中間部品実装機のいずれかの撮像装置で下部品実装後基板を撮像する。そして、下部品実装前基板の撮像画像に基づいて機械学習を行ない、下部品実装後基板の撮像画像に基づく教師データを取得すると共に取得した教師データと下部品実装後基板の撮像画像とに基づいて機械学習を行なって下部品検査用の学習データを生成する。検査装置は、上流側部品実装機または中間部品実装機のいずれかの撮像装置で下部品実装後基板を撮像し、下部品検査用の学習データを用いて下部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで下部品実装後基板の検査を行なう。これにより、下流側部品実装機が下部品実装後基板を撮像し、その撮像画像に基づく教師データを取得するものに比して、下部品実装後基板の学習データを早期に生成することができ、学習データに基づく下部品実装後基板の検査を早期に行なうことができる。
本実施形態の部品実装システム１の構成の概略を示す構成図である。 部品実装機１０の外観斜視図である。 部品実装機１０の制御装置６０と管理装置８０との電気的な接続関係を示す説明図である。 生産ラインを構成する複数台の部品実装機１０（Ｍ１～Ｍ５）と、複数の部品実装機１０（Ｍ１～Ｍ５）がそれぞれ行なう処理とを説明する説明図である。 下部品実装処理の一例を示すフローチャートである。 上部品実装処理の一例を示すフローチャートである。 下部品検査用学習処理の一例を示すフローチャートである。 下部品検査処理の一例を示すフローチャートである。 上部品検査用学習処理の一例を示すフローチャートである。 上部品検査処理の一例を示すフローチャートである。 下部品実装後基板撮像処理の一例を示すフローチャートである。
　次に、本開示の発明を実施するための形態について図面を参照しながら説明する。
　図１は、本実施形態の部品実装システム１の構成の概略を示す構成図である。図２は、部品実装機１０の外観斜視図である。図３は、部品実装機１０の制御装置６０と管理装置８０との電気的な接続関係を示す説明図である。なお、図１，２中、左右方向をＸ軸方向とし、前後方向をＹ軸方向とし、上下方向をＺ軸方向とする。
　部品実装システム１は、図１に示すように、印刷機２と、印刷検査機３と、複数台（例えば５台）の部品実装機１０（Ｍ１～Ｍ５）と、システム全体を管理する管理装置８０と、を備える。印刷機２は、基板Ｓ上にはんだを印刷して回路パターンを形成する。印刷検査機３は、印刷機２で印刷されたはんだの状態を検査する。複数の部品実装機１０は、部品を基板Ｓに実装する実装動作を行なうと共に基板Ｓに部品が実装されたか否かの実装検査を行なう。印刷機２と印刷検査機３と複数の部品実装機１０とは、基板Ｓの搬送方向に並べて設置されて生産ラインを構成する。
　部品実装機１０は、図２に示すように、部品を供給する部品供給装置２１と、基板Ｓを搬送する基板搬送装置２２と、部品を吸着する吸着ノズルを有するヘッド４０と、ヘッド４０をＸ軸方向およびＹ軸方向に移動させるヘッド移動装置３０と、実装機全体をコントロールする制御装置６０（図３参照）と、を備える。また、部品実装機１０は、これらの他に、吸着ノズルに吸着させた部品の吸着姿勢を撮像するためのパーツカメラ２３や、交換用の吸着ノズルを収容するノズルステーション２４、基板Ｓを撮像するためのマークカメラ４３なども備えている。
　部品供給装置２１は、例えば、所定間隔で部品を収容したキャリアテープが巻回されたテープリールと、駆動モータの駆動によりテープリールからキャリアテープを引き出して部品供給位置まで送り出すテープ送り機構と、を備えるテープフィーダとして構成される。この部品供給装置２１（テープフィーダ）は、部品実装機１０が備える図示しないフィーダ台に着脱可能に取り付けられる。
　基板搬送装置２２は、Ｙ軸方向に間隔を空けて配置される一対のコンベアレールを備えており、一対のコンベアレールを駆動することにより基板Ｓを図１の左から右（基板搬送方向）へと搬送する。
　ヘッド移動装置３０は、図２に示すように、一対のＸ軸ガイドレール３１と、Ｘ軸スライダ３２と、Ｘ軸アクチュエータ３３（図３参照）と、一対のＹ軸ガイドレール３５と、Ｙ軸スライダ３６と、Ｙ軸アクチュエータ３７（図３参照）と、を備える。一対のＹ軸ガイドレール３５は、Ｙ軸方向に互いに平行に延在するように筐体１１の上段に設置される。Ｙ軸スライダ３６は、一対のＹ軸ガイドレール３５に架け渡され、Ｙ軸アクチュエータ３７の駆動によりＹ軸ガイドレール３５に沿ってＹ軸方向に移動する。一対のＸ軸ガイドレール３１は、Ｘ軸方向に互いに平行に延在するようにＹ軸スライダ３６の下面に設置される。Ｘ軸スライダ３２は、一対のＸ軸ガイドレール３１に架け渡され、Ｘ軸アクチュエータ３３の駆動によりＸ軸ガイドレール３１に沿ってＸ軸方向に移動する。Ｘ軸スライダ３２にはヘッド４０が取り付けられており、ヘッド移動装置３０は、Ｘ軸スライダ３２とＹ軸スライダ３６とを移動させることで、ヘッド４０をＸ軸方向とＹ軸方向とに移動させる。
　ヘッド４０は、吸着ノズルをＺ軸（上下）方向に移動させるＺ軸アクチュエータ４１（図３参照）と、吸着ノズルをＺ軸周りに回転させるθ軸アクチュエータ４２（図３参照）とを備える。ヘッド４０は、吸着ノズルの吸引口に負圧源を連通させることで、吸引口に負圧を作用させて部品を吸着することができる。また、ヘッド４０は、吸着ノズルの吸引口に正圧源を連通させることで、吸引口に正圧を作用させて部品の吸着を解除することができる。
　制御装置６０は、図３に示すように、ＣＰＵ６１を中心としたマイクロプロセッサとして構成されており、ＣＰＵ６１の他に、ＲＯＭ６２と、ＨＤＤ６３と、ＲＡＭ６４と、入出力インタフェース６５とを備える。これらは、バス６６を介して電気的に接続されている。制御装置６０には、Ｘ軸スライダ３２の位置を検知するＸ軸位置センサ３４からの位置信号や、Ｙ軸スライダ３６の位置を検知するＹ軸位置センサ３８からの位置信号、マークカメラ４３からの画像信号、パーツカメラ２３からの画像信号などが入出力インタフェース６５を介して入力されている。一方、制御装置６０からは、部品供給装置２１への制御信号や、基板搬送装置２２への制御信号、Ｘ軸アクチュエータ３３への駆動信号、Ｙ軸アクチュエータ３７への駆動信号、Ｚ軸アクチュエータ４１への駆動信号、θ軸アクチュエータ４２への駆動信号、パーツカメラ２３への制御信号、マークカメラ４３への制御信号などが入出力インタフェース６５を介して出力されている。また、制御装置６０は、管理装置８０と双方向通信可能に接続されており、互いにデータや制御信号のやり取りを行っている。
　管理装置８０は、例えば、汎用のコンピュータであり、図３に示すように、ＣＰＵ８１とＲＯＭ８２とＨＤＤ８３（又はＳＳＤ）とＲＡＭ８４と入出力インタフェース８５などを備える。これらは、バス８６を介して電気的に接続されている。この管理装置８０には、マウスやキーボード等の入力デバイス８７から入力信号が入出力インタフェース８５を介して入力されている。また、管理装置８０からは、ディスプレイ８８への画像信号が入出力インタフェース８５を介して出力されている。ＨＤＤ８３は、基板Ｓの生産ジョブを記憶している。ここで、基板Ｓの生産ジョブには、各部品実装機１０においてどの部品をどの順番で基板Ｓへ実装するか、また、そのように部品を実装した基板Ｓを何枚作製するかなどの生産スケジュールが含まれる。管理装置８０は、オペレータが入力デバイス８７を介して入力したデータに基づいて生産ジョブを生成し、生成した生産ジョブを各部品実装機１０へ送信することで、各部品実装機１０に対して生産の開始を指示する。
　次に、こうして構成された本実施形態の部品実装システム１における部品実装機１０の動作について説明する。特に、基板Ｓに下部品を実装し、実装した下部品を上に上部品（フレーム部品）を実装する場合に行なわれる下部品および上部品の各実装検査について説明する。図４は、生産ラインを構成する複数の部品実装機１０（Ｍ１～Ｍ５）と、複数台の部品実装機１０（Ｍ１～Ｍ５）がそれぞれ行なう作業処理とを説明する説明図である。本実施形態では、図示するように、複数台の部品実装機Ｍ１～Ｍ５のうち基板搬送方向における最上流にある部品実装機Ｍ１が下部品を実装し、基板搬送方向における最下流にある部品実装機Ｍ５が上部品を実装する。また、最上流の部品実装機Ｍ１と最下流の部品実装機Ｍ５との間に配置される部品実装機（中間部品実装機）Ｍ２～Ｍ４は、上部品（フレーム部品）で覆われないその他の部品を実装する。
　まず、部品実装機Ｍ１が行なう下部品の実装処理と部品実装機Ｍ５が行なう上部品の実装処理について説明する。
　図５は、下部品実装処理の一例を示すフローチャートである。この処理は、最上流の部品実装機Ｍ１の制御装置６０により実行される。下部品実装処理が実行されると、部品実装機Ｍ１の制御装置６０のＣＰＵ６１は、まず、基板Ｓが搬入されるよう基板搬送装置２２を制御する（ステップＳ１００）。続いて、ＣＰＵ６１は、後述する下部品の実装検査に用いる学習処理（下部品検査用学習処理）が実行中であるか否かを判定し（ステップＳ１１０）、下部品検査用学習処理が実行中であると判定すると、搬入した基板Ｓの上方にマークカメラ４３が来るようヘッド移動装置３０を制御すると共に当該基板Ｓを撮像するようマークカメラ４３を制御して（ステップＳ１２０）、ステップＳ１３０に進む。これにより、下部品が実装される前の基板Ｓの画像（下部品実装前基板画像）が取得される。一方、ＣＰＵ６１は、下部品検査用学習処理が実行中でない（学習済み）と判定すると、ステップＳ１２０をスキップして、ステップＳ１３０に進む。
　次に、ＣＰＵ６１は、部品供給装置２１の部品供給位置の上方に吸着ノズルが来るようにヘッド移動装置３０を制御し、吸着ノズルに下部品を吸着するようヘッド４０を制御する吸着動作を行なう（ステップＳ１３０）。そして、ＣＰＵ６１は、吸着した下部品が基板Ｓの目標実装位置の上方へ来るようにヘッド移動装置３０を制御すると共に（ステップＳ１４０）、下部品を基板Ｓの目標実装位置に実装するようヘッド４０を制御する実装動作を行なう（ステップＳ１５０）。なお、ステップＳ１４０の処理は、吸着した下部品がパーツカメラ２３の上方を通過して目標実装位置の上方へ至るように行なわれる。ＣＰＵ６１は、吸着した下部品がパーツカメラ２３の上方を通過する際に当該下部品を撮像し、得られた撮像画像に基づいて下部品の吸着ずれ量を算出すると共に算出した吸着ずれ量に基づいて目標実装位置を補正する。ＣＰＵ６１は、こうして実装動作を行なうと、下部品を実装した基板Ｓを撮像するようマークカメラ４３を制御する（ステップＳ１６０）。これにより、下部品が実装された後の基板Ｓの画像（下部品実装後基板画像）が取得される。そして、ＣＰＵ６１は、当該基板Ｓが搬出されるよう基板搬送装置２２を制御して（ステップＳ１７０）、本処理を終了する。
　図６は、上部品実装処理の一例を示すフローチャートである。この処理は、最下流の部品実装機Ｍ５の制御装置６０により実行される。上部品実装処理が実行されると、部品実装機Ｍ５の制御装置６０のＣＰＵ６１は、まず、基板Ｓが搬入されるよう基板搬送装置２２を制御する（ステップＳ２００）。続いて、ＣＰＵ６１は、部品供給装置２１の部品供給位置の上方に吸着ノズルが来るようにヘッド移動装置３０を制御し、吸着ノズルに上部品を吸着するようヘッド４０を制御する吸着動作を行なう（ステップＳ２１０）。そして、ＣＰＵ６１は、吸着した上部品が基板Ｓの目標実装位置の上方へ来るようにヘッド移動装置３０を制御すると共に（ステップＳ２２０）、上部品を基板Ｓの目標実装位置に実装するようヘッド４０を制御する実装動作を行なう（ステップＳ２３０）。なお、ステップＳ２２０の処理は、吸着した上部品がパーツカメラ２３の上方を通過して目標実装位置の上方へ至るように行なわれる。ＣＰＵ６１は、吸着した上部品がパーツカメラ２３の上方を通過する際に当該上部品を撮像し、得られた撮像画像に基づいて上部品の吸着ずれ量を算出すると共に算出した吸着ずれ量に基づいて目標実装位置を補正する。ＣＰＵ６１は、こうして実装動作を行なうと、上部品を実装した基板Ｓを撮像するようマークカメラ４３を制御する（ステップＳ２４０）。これにより、上部品が実装された後の基板Ｓの画像（上部品実装後基板画像）が取得される。なお、上部品実装処理では、上部品を実装する前の基板Ｓの撮像は行なわないが、この理由については後述する。そして、ＣＰＵ６１は、当該基板Ｓが搬出されるよう基板搬送装置２２を制御して（ステップＳ２５０）、本処理を終了する。
　次に、下部品の実装検査に用いられる学習データを生成する下部品検査用学習処理について説明する。図７は、下部品検査用学習処理の一例を示すフローチャートである。この処理は、部品実装機Ｍ１によって上述した下部品実装処理が実行されている間、管理装置８０のＣＰＵ８１により所定時間毎に繰り返し実行される。下部品検査用学習処理が実行されると、管理装置８０のＣＰＵ８１は、まず、学習が未完了であるか否かを判定する（ステップＳ３００）。ＣＰＵ８１は、学習が未完了であると判定すると、下部品実装前基板画像が取得されたか否かを判定する（ステップＳ３１０）。下部品実装前基板画像は、上述したように、下部品実装処理のステップＳ１２０において、基板Ｓに下部品を実装する前に当該基板Ｓをマークカメラ４３で撮像することにより取得される。ＣＰＵ８１は、下部品実装前基板画像が取得されたと判定すると、部品無しを教師データとして下部品実装前基板画像に基づいて機械学習（例えばサポートベクタマシン等）により下部品検査用学習データを生成する（ステップＳ３２０）。ここで、下部品検査用学習データの生成は、入力である下部品実装前基板画像と出力である検査結果（部品無し）とをペアとして、基板画像と検査結果との関係を求めることにより行なわれる。
　次に、ＣＰＵ８１は、下部品実装後基板画像が取得されたか否かを判定する（ステップＳ３３０）。下部品実装後基板画像は、上述したように、下部品実装処理のステップＳ１６０において、基板Ｓに下部品を実装した後に当該基板Ｓをマークカメラ４３で撮像することにより取得される。ＣＰＵ８１は、下部品実装後基板画像が取得されたと判定すると、下部品実装後基板画像をディスプレイ８８に表示し、部品有無の教師データの入力を受け付け（ステップＳ３４０）、教師データが入力されるのを待つ（ステップＳ３５０）。オペレータは、ディスプレイ８８に表示されている下部品実装後基板画像中に検査対象となる下部品が写っているか否かを判断し、下部品が写っていると判断すれば、「部品有り」を入力し、下部品が写っていないと判断すれば、「部品無し」を入力する。ＣＰＵ８１は、部品有無の教師データを入力すると、入力した教師データと下部品実装後基板画像とに基づいて上述した機械学習により下部品検査用学習データを生成（更新）すると共に（ステップＳ３６０）、教師データの取得数Ｎを値１だけインクリメントする（ステップＳ３７０）。下部品検査用学習データの生成は、入力である下部品実装後基板画像と出力である検査結果の教師データ（オペレータが入力した部品有無）とをペアとして、基板画像と検査結果との関係を求めることにより行なわれる。
　そして、ＣＰＵ８１は、教師データの取得数Ｎが所定数Ｎｒｅｆ以上であるか否かを判定する（ステップＳ３８０）。ここで、所定数Ｎｒｅｆは、下部品検査用学習データを用いた下部品の実装検査の精度を確保するために必要十分な数が定められる。ＣＰＵ８１は、教師データの取得数Ｎが所定数Ｎｒｅｆ未満であると判定すると、ステップＳ３１０に戻って、下部品実装前基板画像や下部品実装後基板画像に基づいて機械学習により下部品検査用学習データを生成（更新）する処理を繰り返す。ＣＰＵ８１は、繰り返し処理においてステップＳ３８０で教師データの取得数Ｎが所定数Ｎｒｅｆ以上となったと判定すると、学習が完了したと判定して（ステップＳ３９０）、本処理を終了する。
　ＣＰＵ８１は、ステップＳ３００において学習が完了していると判定すると、基板Ｓや下部品のロットの切り替わりが発生したか否かを判定する（ステップＳ４００）。ＣＰＵ８１は、ロットの切り替わりが発生していないと判定すると、本処理を終了し、ロットの切り替わりが発生したと判定すると、ステップＳ３２０，Ｓ３６０の学習履歴をクリアすると共に（ステップＳ４１０）、教師データの取得数Ｎを値０に初期化して（ステップＳ４２０）、ステップＳ３１０に進む。これにより、教師データの取得数Ｎが所定数Ｎｒｅｆ以上となるまで、再度、下部品実装前基板画像と部品無しの教師データとに基づく学習（再学習）と、下部品実装後基板画像と当該下部品実装後基板を見たオペレータが入力した下部品有無の教師データとに基づく学習（再学習）が実行されて下部品検査用学習データが再生成されることになる。ここで、基板Ｓや下部品のロットの切り替わりが発生した場合に再学習するのは、その切り替わり前後で基板Ｓや下部品の写りが変化するおそれがあるからである。
　ここで、ＣＰＵ８１は、基板Ｓを識別する基板ＩＤと関連付けて当該基板Ｓのロット情報をＨＤＤ８３に予め記憶しておき、部品実装機１０に基板Ｓが搬入されると、当該基板Ｓの基板ＩＤに対応するロット情報を読み出して基板Ｓのロットに切り替わりが発生したか否かを判定する。そして、ＣＰＵ８１は、基板Ｓのロットの切り替わりが発生したと判定すると、再学習を実行し、再学習により生成した下部品検査用学習データをその学習データを識別する識別情報（学習ＩＤ）および基板ＩＤと関連付けてＨＤＤ８３に記憶する。また、ＣＰＵ８１は、下部品を識別する下部品ＩＤと関連付けて当該下部品のロット情報をＨＤＤ８３に予め記憶しておき、部品実装機１０に搬入された基板Ｓに部品が実装されると、当該下部品の部品ＩＤに対応するロット情報を読み出して下部品のロットに切り替わりが発生したか否かを判定する。そして、ＣＰＵ８１は、下部品のロットの切り替わりが発生したと判定すると、再学習を実行し、再学習により生成した下部品検査用学習データをその学習ＩＤおよび基板ＩＤと関連付けてＨＤＤ８３に記憶する。こうして記憶された下部品検査用学習データは、次の下部品検査処理に用いられる。
　次に、下部品検査用学習データを用いた下部品の実装検査について説明する。図８は、管理装置８０のＣＰＵ８１により実行される下部品検査処理の一例を示すフローチャートである。この処理は、部品実装機Ｍ１によって上述した下部品実装処理が実行されている間、所定時間毎に繰り返し実行される。
　下部品検査処理が実行されると、管理装置８０のＣＰＵ８１は、まず、下部品実装後基板画像が取得されたか否か（ステップＳ５００）、下部品検査用学習データが存在するか否か（ステップＳ５１０）、をそれぞれ判定する。ＣＰＵ８１は、下部品実装後基板画像が取得されてないと判定したり、下部品検査用学習データが存在しないと判定すると、下部品検査を行なうことができないと判断し、本処理を終了する。一方、ＣＰＵ８１は、下部品実装後基板画像が取得され、且つ、下部品検査用学習データが存在すると判定すると、その下部品検査用学習データを用いて下部品実装後基板画像において下部品を認識する認識処理（画像処理）を行なうことで検査対象となった下部品が基板Ｓに実装されているか否かを判定する実装検査を行なう（ステップＳ５２０）。ここで、下部品の実装検査は、検査対象となった基板Ｓおよび下部品の識別情報（基板ＩＤおよび下部品ＩＤ）に基づいて対応する下部品検査用学習データをＨＤＤ８３から読み出し、読み出した学習データ（認識モデル）を用いて下部品実装後基板画像から下部品が認識できるかどうかによって行なわれる。ＣＰＵ８１は、認識処理により下部品の認識が成功したか否かを判定し（ステップＳ５３０）、下部品の認識が成功したと判定すると、下部品の実装が正常に行なわれたと判定し（ステップＳ５４０）、下部品の認識が失敗したと判定すると、実装エラーが発生したと判定する（ステップＳ５５０）。そして、ＣＰＵ８１は、教師データの取得数Ｎが所定数Ｎｒｅｆ未満であるか否か、すなわち上述した下部品検査用学習処理による学習が未完了であるか否かを判定する（ステップＳ５６０）。ＣＰＵ８１は、教師データの取得数Ｎが所定数Ｎｒｅｆ未満でなく所定数Ｎｒｅｆ以上であると判定すると、本処理を終了し、教師データの取得数Ｎが所定数Ｎｒｅｆ未満であると判定すると、基板ＩＤとステップＳ５４０，Ｓ５５０の検査結果と教師データが不足している旨とを関連付けて下部品実装後基板画像をＨＤＤ８３に記憶して（ステップＳ５７０）、本処理を終了する。
　ここで、本実施形態では、下部品の実装検査の実行条件として、下部品実装後基板画像が取得されていることと、下部品検査用学習データが存在していることを条件としているから、当該下部品検査用学習データの生成に用いられた教師データの取得数Ｎが所定数Ｎｒｅｆに達していなくても、すなわち学習が完了していなくても、下部品の実装検査は行なわれる。これにより、下部品の実装検査を早期に行なうことができ、生産効率を高めることができる。但し、教師データの取得数Ｎが所定数Ｎｒｅｆ未満（第２検査条件）での実装検査は、教師データの取得数Ｎが所定数Ｎｒｅｆ以上（第１検査条件）での実装検査に比して、検査精度が劣る。このため、本実施形態では、教師データの取得数Ｎが所定数Ｎｒｅｆ未満で実装検査が行なわれたときには、その旨と実装検査に用いられた基板Ｓの基板ＩＤと下部品実装後基板画像と検査結果とを互いに関連付けてＨＤＤ８３に記憶する。これにより、後にオペレータが当該下部品実装後基板画像を参照して検査結果の妥当性を判断することができ、下部品実装後基板の品質を確保することができる。
　次に、上部品の実装検査に用いられる学習データを生成する上部品検査用学習処理について説明する。図９は、上部品検査用学習処理の一例を示すフローチャートである。この処理は、部品実装機Ｍ５によって上述した上部品実装処理が実行されている間、管理装置８０のＣＰＵ８１により所定時間毎に繰り返し実行される。上部品検査用学習処理が実行されると、管理装置８０のＣＰＵ８１は、まず、学習が未完了であるか否かを判定する（ステップＳ６００）。ＣＰＵ８１は、学習が未完了であると判定すると、下部品実装後基板画像が取得されたか否かを判定する（ステップＳ６１０）。下部品実装後基板画像は、本実施形態では、上述したように、下部品実装処理のステップＳ１６０において、基板Ｓに下部品を実装した後に当該基板Ｓをマークカメラ４３で撮像することにより取得される下部品実装後基板画像であり、上部品を実装する前の基板Ｓの撮像画像である上部品実装前基板画像として用いられる。したがって、上述した上部品実装処理において、上部品を実装する前の基板Ｓをマークカメラ４３で撮像する処理を省略することができる。勿論、上部品実装処理において、上部品を実装する前の基板Ｓを撮像することで、上部品実装前基板画像を取得するものとしてもよい。ＣＰＵ８１は、下部品実装後基板画像（上部品実装前基板画像）が取得されたと判定すると、部品無しを教師データとして下部品実装後基板画像（上部品実装前基板画像）に基づいて機械学習（例えばサポートベクタマシン等）により上部品検査用学習データを生成する（ステップＳ６２０）。ここで、上部品検査用学習データの生成は、入力である上部品実装前基板画像と出力である検査結果（部品無し）とをペアとして、基板画像と検査結果との関係を求めることにより行なわれる。
　次に、ＣＰＵ８１は、上部品実装後基板画像が取得されたか否かを判定する（ステップＳ６３０）。上部品実装後基板画像は、上述したように、上部品実装処理のステップＳ２４０において、基板Ｓに上部品を実装した後に当該基板Ｓをマークカメラ４３で撮像することにより取得される。ＣＰＵ８１は、上部品実装後基板画像が取得されたと判定すると、上部品実装後基板画像をディスプレイ８８に表示し、部品有無の教師データの入力を受け付け（ステップＳ６４０）、教師データが入力されるのを待つ（ステップＳ６５０）。オペレータは、ディスプレイ８８に表示されている上部品実装後基板画像中に検査対象となる上部品が写っているか否かを判断し、上部品が写っていると判断すれば、「部品有り」を入力し、上部品が写っていないと判断すれば、「部品無し」を入力する。ＣＰＵ８１は、部品有無の教師データを入力すると、入力した教師データと上部品実装後基板画像とに基づいて上述した機械学習により上部品検査用学習データを生成（更新）すると共に（ステップＳ６６０）、教師データの取得数Ｍを値１だけインクリメントする（ステップＳ６７０）。上部品検査用学習データの生成は、入力である上部品実装後基板画像と出力である検査結果の教師データ（オペレータが入力した部品有無）とをペアとして、基板画像と検査結果との関係を求めることにより行なわれる。
　そして、ＣＰＵ８１は、教師データの取得数Ｍが所定数Ｍｒｅｆ以上であるか否かを判定する（ステップＳ６８０）。ここで、所定数Ｍｒｅｆは、上部品検査用学習データを用いた上部品の実装検査の精度を確保するために必要十分な数が定められる。ＣＰＵ８１は、教師データの取得数Ｍが所定数Ｍｒｅｆ未満であると判定すると、ステップＳ６１０に戻って、下部品実装後基板画像（上部品実装前基板画像）や上部品実装後基板画像に基づいて機械学習により上部品検査用学習データを生成（更新）する処理を繰り返す。ＣＰＵ８１は、繰り返し処理においてステップＳ６８０で教師データの取得数Ｍが所定数Ｍｒｅｆ以上となったと判定すると、学習が完了したと判定して（ステップＳ６９０）、本処理を終了する。
　ＣＰＵ８１は、ステップＳ６００において学習が完了していると判定すると、基板Ｓや上部品のロットの切り替わりが発生したか否かを判定する（ステップＳ７００）。ＣＰＵ８１は、ロットの切り替わりが発生していないと判定すると、本処理を終了し、ロットの切り替わりが発生したと判定すると、ステップＳ６２０，Ｓ６６０の学習履歴をクリアすると共に（ステップＳ７１０）、教師データの取得数Ｍを値０に初期化して（ステップＳ７２０）、ステップＳ６１０に進む。これにより、教師データの取得数Ｍが所定数Ｍｒｅｆ以上となるまで、再度、上部品実装前基板画像と部品無しの教師データとに基づく学習（再学習）と、上部品実装後基板画像と当該上部品実装後基板画像を見たオペレータが入力した上部品有無の教師データとに基づく学習（再学習）が実行されて上部品検査用学習データが再生成されることになる。ここで、基板Ｓや上部品のロットの切り替わりが発生した場合に再学習するのは、その切り替わり前後で基板Ｓや上部品の写りが変化するおそれがあるからである。
　ここで、ＣＰＵ８１は、基板Ｓを識別する基板ＩＤと関連付けて当該基板Ｓのロット情報をＨＤＤ８３に予め記憶しておき、部品実装機１０に基板Ｓが搬入されると、当該基板Ｓの基板ＩＤに対応するロット情報を読み出して基板Ｓのロットに切り替わりが発生したか否かを判定する。そして、ＣＰＵ８１は、基板Ｓのロットの切り替わりが発生したと判定すると、再学習を実行し、再学習により生成した上部品検査用学習データをその学習データを識別する識別情報（学習ＩＤ）および基板ＩＤと関連付けてＨＤＤ８３に記憶する。また、ＣＰＵ８１は、上部品を識別する上部品ＩＤと関連付けて当該上部品のロット情報をＨＤＤ８３に予め記憶しておき、部品実装機１０に搬入された基板Ｓに部品が実装されると、当該上部品の部品ＩＤに対応するロット情報を読み出して上部品のロットに切り替わりが発生したか否かを判定する。そして、ＣＰＵ８１は、上部品のロットの切り替わりが発生したと判定すると、再学習を実行し、再学習により生成した上部品検査用学習データをその学習ＩＤおよび基板ＩＤと関連付けてＨＤＤ８３に記憶する。こうして記憶された上部品検査用学習データは、次の上部品検査処理に用いられる。
　次に、上部品検査用学習データを用いた上部品の実装検査について説明する。図１０は、管理装置８０のＣＰＵ８１により実行される上部品検査処理の一例を示すフローチャートである。この処理は、部品実装機Ｍ５によって上述した上部品実装処理が実行されている間、所定時間毎に繰り返し実行される。
　上部品検査処理が実行されると、管理装置８０のＣＰＵ８１は、まず、上部品実装後基板画像が取得されたか否か（ステップＳ８００）、上部品検査用学習データが存在するか否か（ステップＳ８１０）、をそれぞれ判定する。ＣＰＵ８１は、上部品実装後基板画像が取得されてないと判定したり、上部品検査用学習データが存在しないと判定すると、上部品検査を行なうことができないと判断し、本処理を終了する。一方、ＣＰＵ８１は、上部品実装後基板画像が取得され、且つ、上部品検査用学習データが存在すると判定すると、その上部品検査用学習データを用いて上部品実装後基板画像において上部品を認識する認識処理（画像処理）を行なうことで検査対象となった上部品が基板Ｓに実装されているか否かを判定する実装検査を行なう（ステップＳ８２０）。ここで、上部品の実装検査は、検査対象となった基板Ｓおよび上部品の識別情報（基板ＩＤおよび上部品ＩＤ）に基づいて対応する上部品検査用学習データをＨＤＤ８３から読み出し、読み出した学習データ（認識モデル）を用いて上部品実装後基板画像から上部品が認識できるかどうかによって行なわれる。ＣＰＵ８１は、認識処理により上部品の認識が成功したか否かを判定し（ステップＳ８３０）、上部品の認識が成功したと判定すると、上部品の実装が正常に行なわれたと判定し（ステップＳ８４０）、上部品の認識が失敗したと判定すると、実装エラーが発生したと判定する（ステップＳ８５０）。そして、ＣＰＵ８１は、教師データの取得数Ｍが所定数Ｍｒｅｆ未満であるか否か、すなわち上述した上部品検査用学習処理による学習が未完了であるか否かを判定する（ステップＳ８６０）。ＣＰＵ８１は、教師データの取得数Ｍが所定数Ｍｒｅｆ未満でなく所定数Ｍｒｅｆ以上であると判定すると、本処理を終了し、教師データの取得数Ｍが所定数Ｍｒｅｆ未満であると判定すると、基板ＩＤとステップＳ８４０，Ｓ８５０の検査結果と教師データが不足している旨とを関連付けて上部品実装後基板画像をＨＤＤ８３に記憶して（ステップＳ８７０）、本処理を終了する。
　ここで、本実施形態では、上部品の実装検査の実行条件として、上部品実装後基板画像が取得されていることと、上部品検査用学習データが存在していることを条件としているから、当該上部品検査用学習データの生成に用いられた教師データの取得数Ｍが所定数Ｍｒｅｆに達していなくても、すなわち学習が完了していなくても、上部品の実装検査は行なわれる。これにより、上部品の実装検査を早期に行なうことができ、生産効率を高めることができる。但し、教師データの取得数Ｍが所定数Ｍｒｅｆ未満（第２検査条件）での実装検査は、教師データの取得数Ｍが所定数Ｍｒｅｆ以上（第１検査条件）での実装検査に比して、検査精度が劣る。このため、本実施形態では、教師データの取得数Ｍが所定数Ｍｒｅｆ未満で実装検査が行なわれたときには、その旨と実装検査に用いられた基板Ｓの基板ＩＤと上部品実装後基板画像と検査結果とを互いに関連付けてＨＤＤ８３に記憶する。これにより、後にオペレータが当該上部品実装後基板画像を参照して検査結果の妥当性を判断することができ、上部品実装後基板の品質を確保することができる。
　ここで、実施形態の主要な要素と発明の開示の欄に記載した発明の主要な要素との対応関係について説明する。即ち、マークカメラ４３が撮像装置に相当し、部品実装機１０が部品実装機に相当し、部品実装システム１が部品実装システムに相当し、下部品検査用学習処理と上部品検査用学習処理とを実行する管理装置８０のＣＰＵ８１が学習装置に相当し、下部品検査処理と上部品検査処理とを実行する管理装置８０のＣＰＵ８１が検査装置に相当し、管理装置８０のＨＤＤ８３が記憶装置に相当する。また、部品実装機Ｍ１が上流側部品実装機に相当し、部品実装機Ｍ５が下流側部品実装機に相当し、部品実装機Ｍ２～Ｍ４が中間部品実装機に相当する。
　なお、本発明は上述した実施形態に何ら限定されることはなく、本開示の発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
　例えば、上述した実施形態では、下部品実装後基板の撮像は、部品実装機Ｍ１が下部品を実装した直後に当該部品実装機Ｍ１のマークカメラ４３を用いて行なうものとした。しかし、上部品を実装する部品実装機Ｍ１と下部品を実装する部品実装機Ｍ５との間に１台または複数台の部品実装機Ｍ２～Ｍ４を備える部品実装システム１においては、部品実装機Ｍ５よりも基板搬送方向における上流側にある部品実装機Ｍ１～Ｍ４のうち少なくとも２台の部品実装機にそれぞれ下部品実装後基板が搬入されるのを待って、当該少なくとも２台の部品実装機のマークカメラ４３を用いて同時期に複数の下部品実装後基板を撮像するものとしてもよい。図１１は、管理装置８０のＣＰＵ８１により実行される下部品実装後基板撮像処理の一例を示すフローチャートである。下部品実装後基板撮像処理では、管理装置８０のＣＰＵ８１は、まず、下部品の実装検査のための学習が未完了であるか否か（ステップＳ９００）、下部品実装後基板が発生したか否か、すなわち部品実装機Ｍ１が下部品を実装したか否か（ステップＳ９１０）、をそれぞれ判定する。ＣＰＵ８１は、学習が完了していると判定したり、下部品実装後基板が発生していないと判定すると、本処理を終了する。一方、ＣＰＵ８１は、学習が未完了であり、且つ、下部品実装後基板が発生したと判定すると、下部品実装後基板の発生数Ｌを値１だけインクリメントし（ステップＳ９２０）、下部品実装後基板の発生数Ｌが所定数Ｌｒｅｆ以上であるか否かを判定する（ステップＳ９３０）。ここで、所定数Ｌｒｅｆは、同時に撮像する下部品実装後基板の枚数であり、例えば、下部品を実装する部品実装機Ｍ１の他に、３台の部品実装機（中間部品実装機）Ｍ２～Ｍ４で下部品実装後基板を撮像する場合、値４となる。ＣＰＵ８１は、下部品実装後基板の発生数Ｌが所定数Ｌｒｅｆ未満であると判定すると、撮像タイミングにないと判断して本処理を終了し、下部品実装後基板の発生数Ｌが所定数Ｌｒｅｆ以上であると判定すると、下部品実装後基板が搬入されている各部品実装機Ｍ１～Ｍ４に対してそれぞれマークカメラ４３で下部品実装後基板を撮像するよう指示し（ステップＳ９４０）、オペレータに対して下部品実装後基板の撮像が行なわれた旨のオペレータコールの通知を行なって（ステップＳ９５０）、本処理を終了する。これにより、オペレータは、複数の下部品実装後基板画像をまとめて確認することができるため、教師データを効率良く管理装置８０へ入力することができる。この結果、オペレータの作業負担をより軽減することができる。
　上述した実施形態では、ＣＰＵ８１は、下部品検査用学習処理において、下部品実装後基板画像と当該下部品実装後基板画像を見たオペレータが入力した部品有無の教師データとに基づく学習に加えて、下部品実装前基板画像と部品無しの教師データとに基づく学習も行なうものとしたが、下部品実装前基板画像と部品無しの教師データとに基づく学習は省略してもよい。
　上述した実施形態では、ＣＰＵ８１は、上部品検査用学習処理において、上部品実装後基板画像と当該上部品実装後基板画像を見たオペレータが入力した部品有無の教師データとに基づく学習に加えて、上部品実装前基板画像（下部品実装後基板画像）と部品無しの教師データとに基づく学習も行なうものとしたが、上部品実装前基板画像（下部品実装後基板画像）と部品無しの教師データとに基づく学習は省略してもよい。
　上述した実施形態では、ＣＰＵ８１は、下部品検査処理や上部品検査処理において、学習データを用いた検査として、実装動作を行なった後の基板Ｓに実際に部品が実装されたか否かの検査を行なうものとした。しかし、ＣＰＵ８１は、学習データを用いた検査として、部品が基板Ｓに対して実装ずれ（ＸＹ方向のずれや回転方向のずれ）が生じているか否かの検査を行なうものとしてもよい。
　上述した実施形態では、部品実装システム１は、部品実装機Ｍ１が下部品を実装すると共に下部品実装前基板と下部品実装後基板とを撮像し、部品実装機Ｍ５が下部品の上に上部品を実装すると共に上部品実装後基板を撮像するものとした。しかし、部品実装機Ｍ１よりも基板搬送方向における上流側に部品実装機を備える部品実装システムにおいては、下部品実装前基板の撮像を、当該上流側の部品実装機が備えるマークカメラ（撮像装置）で行なってもよい。また、下部品実装後基板の撮像を、下部品を実装する部品実装機Ｍ１よりも基板搬送方向における下流側で且つ上部品を実装する部品実装機Ｍ５よりも基板搬送方向における上流側の部品実装機Ｍ２～Ｍ４が備えるマークカメラ（撮像装置）で行なってもよい。また、部品実装機Ｍ５よりも基板搬送方向における下流側に部品実装機を備える部品実装システムにおいては、上部品実装後基板の撮像を、当該下流側の部品実装機が備えるマークカメラ（撮像装置）で行なってもよい。
　以上説明したように、本開示の第１の部品実装システムは、基板搬送方向に並ぶと共に基板を撮像する撮像装置をそれぞれ有する複数の部品実装機を備える部品実装システムであって、部品の実装動作を行なった後の部品実装後基板を撮像し、前記部品実装後基板の撮像画像に基づく教師データを取得すると共に該取得した教師データに基づいて機械学習を行なって学習データを生成する学習装置と、前記部品実装後基板を撮像し、第１検査条件または該第１検査条件よりも検査精度が劣る第２検査条件により前記学習データを用いて前記部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで前記部品実装後基板の検査を行なう検査装置と、前記第２検査条件により前記部品実装後基板の検査が行なわれた場合、前記第２検査条件で検査が行なわれた旨の検査情報と前記部品実装後基板を識別する識別情報とを関連付けて該部品実装後基板の撮像画像を記憶する記憶装置と、を備えることを要旨とする。
　この本開示の第１の部品実装システムは、学習装置と、検査装置と、記憶装置とを備える。学習装置は、部品実装後基板を撮像し、その撮像画像に基づく教師データを取得すると共に取得した教師データに基づいて機械学習を行なって学習データを生成する。検査装置は、 部品実装後基板を撮像し、第１検査条件または第１検査条件よりも検査精度が劣る第２検査条件により学習データを用いて部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで部品実装後基板の検査を行なう。そして、記憶装置は、第２検査条件により部品実装後基板の検査が行なわれた場合、第２検査条件で検査が行なわれた旨の検査情報と部品実装後基板を識別する識別情報とを関連付けて部品実装後基板の撮像画像を記憶する。これにより、検査精度の劣る第２検査条件で部品実装後基板の検査が行なわれた場合に、作業者は、後から部品実装後基板の撮像画像を確認して、検査装置による検査結果の妥当性を判断することが可能となる。この結果、部品実装後基板の品質を確保することができる。
　こうした本開示の第１の部品実装システムにおいて、前記第１検査条件は、前記教師データが所定数取得された後に生成される学習データに基づいて前記部品実装後基板の検査を行なう条件であり、前記第２検査条件は、前記教師データが前記所定数取得される前に生成される学習データに基づいて前記部品実装後基板の検査を行なう条件であるものとしてもよい。こうすれば、教師データが不足している状態でも、部品の実装検査を行なうことができるため、生産効率をより向上させることができる。また、教師データが不足している状態で部品の実装検査を行なった際に、その旨を特定できる状態で部品実装後基板の撮像画像を記憶するため、後から作業者が部品実装後基板の撮像画像を確認することで、検査結果の妥当性を判断することが可能となる。
　本開示の第２の部品実装システムは、基板搬送方向に並ぶと共に基板を撮像する撮像装置をそれぞれ有する複数の部品実装機を備え、前記複数の部品実装機として、基板搬送方向における上流側に配置される上流側部品実装機と、前記上流側部品実装機よりも基板搬送方向における下流側に配置される下流側部品実装機と、前記上流側部品実装機と前記下流側部品実装機との間に配置される１台または複数台の中間部品実装機とを有し、前記上流側部品実装機が基板に下部品を実装し、前記下流側部品実装機が前記基板に実装された下部品の上に上部品を実装する部品実装システムであって、前記上流側部品実装機または該上流側部品実装機よりも基板搬送方向における上流側に配置された部品実装機の撮像装置で前記下部品の実装動作が行なわれる前の下部品実装前基板を撮像し、前記上流側部品実装機または前記中間部品実装機のいずれかの撮像装置で前記下部品の実装動作が行なわれた後の下部品実装後基板を撮像し、前記下部品実装前基板の撮像画像に基づいて機械学習を行ない、前記下部品実装後基板の撮像画像に基づく教師データを取得すると共に該取得した教師データと前記下部品実装後基板の撮像画像とに基づいて機械学習を行なって下部品検査用の学習データを生成する学習装置と、前記上流側部品実装機または前記中間部品実装機のいずれかの撮像装置で前記下部品実装後基板を撮像し、前記下部品検査用の学習データを用いて前記下部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで該下部品実装後基板の検査を行なう検査装置と、を備えることを要旨とする。
　この本開示の第２の部品実装システムは、基板搬送方向に並ぶと共に撮像装置をそれぞれ有する複数の部品実装機を備える。複数の部品実装機として、上流側部品実装機と、下流側部品実装機と、上流側部品実装機と下流側部品実装機との間に配置される１台または複数台の中間部品実装機とを有し、上流側部品実装機が基板に下部品を実装し、下流側部品実装機が基板に実装された下部品の上に上部品を実装する。さらに、第２の部品実装システムは、学習装置と、検査装置とを備える。学習装置は、上流側部品実装機または上流側部品実装機よりも基板搬送方向における上流側に配置された部品実装機の撮像装置で下部品実装前基板を撮像し、上流側部品実装機または中間部品実装機のいずれかの撮像装置で下部品実装後基板を撮像する。そして、下部品実装前基板の撮像画像に基づいて機械学習を行ない、下部品実装後基板の撮像画像に基づく教師データを取得すると共に取得した教師データと下部品実装後基板の撮像画像とに基づいて機械学習を行なって下部品検査用の学習データを生成する。検査装置は、上流側部品実装機または中間部品実装機のいずれかの撮像装置で下部品実装後基板を撮像し、下部品検査用の学習データを用いて下部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで下部品実装後基板の検査を行なう。これにより、下流側部品実装機が下部品実装後基板を撮像し、その撮像画像に基づく教師データを取得するものに比して、下部品実装後基板の学習データを早期に生成することができ、学習データに基づく下部品実装後基板の検査を早期に行なうことができる。
　こうした本開示の第２の部品実装システムにおいて、前記上流側部品実装機および前記中間部品実装機のうち少なくとも２台の部品実装機のそれぞれに前記下部品実装後基板が配置されるのを待って、前記少なくとも２台の部品実装機の撮像装置でそれぞれ前記下部品実装後基板を撮像するものとしてもよい。こうすれば、作業者は、下部品実装後基板の撮像画像をまとめて確認することができるため、教師データを効率良く学習装置に入力することができる。この結果、作業者の作業負担をより軽減することができる。この場合、前記少なくとも２台の部品実装機の撮像装置でそれぞれ前記下部品実装後基板を撮像した後、その旨を作業者に報知するものとしてもよい。こうすれば、作業者は、複数の下部品実装後基板が撮像されたことを知ることができるため、直ちに複数の撮像画像を確認して学習装置にまとめて教師データを入力することで、学習装置に効率良く学習を行なわせることができる。
　また、本開示の第２の部品実装システムにおいて、前記学習装置は、前記下部品実装後基板の撮像画像を前記上部品の実装動作が行なわれる前の上部品実装前基板の撮像画像として用いて機械学習を行ない、前記下流側部品実装機または該下流側部品実装機よりも基板搬送方向における下流側に配置された部品実装機の撮像装置で前記上部品の実装動作が行なわれた後の上部品実装後基板を撮像し、前記上部品実装後基板の撮像画像に基づく教師データを取得すると共に該取得した教師データに基づいて機械学習を行なって上部品検査用の学習データを生成し、前記検査装置は、前記下流側部品実装機または該下流側部品実装機よりも基板搬送方向における下流側に配置された部品実装機の撮像装置で前記上部品実装後基板を撮像し、前記上部品検査用の学習データを用いて該上部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで該上部品実装後基板の検査を行なうものとしてもよい。これにより、下部品の検査に加えて上部品の検査も行なうことができる。また、下部品検査用の学習データを得るために用いられる下部品実装後基板の撮像画像を、上部品実装前基板の撮像画像として用いて上部品検査用の学習を行なうため、上部品実装前基板の撮像画像を得るために別途撮像を行なう必要がない。
　さらに、本開示の第２の部品実装システムにおいて、前記学習装置は、基板または下部品のロットが切り替わる度に前記上流側部品実装機または前記中間部品実装機のいずれかの撮像装置で前記下部品実装後基板を撮像し、前記下部品実装後基板の撮像画像に基づく教師データを再取得すると共に該再取得した教師データに基づいて機械学習を行なって前記下部品検査用の学習データを再生成するものとしてもよい。こうすれば、基板や部品のロットが切り替わっても、部品の認識精度を良好に維持することができる。
　本開示は、部品実装機や部品実装システムの製造産業などに利用可能である。
　１　部品実装システム、２　印刷機、３　印刷検査機、１０　部品実装機、１１　筐体、２１　部品供給装置、２２　基板搬送装置、２３　パーツカメラ、２４　ノズルステーション、３０　ヘッド移動装置、３１　Ｘ軸ガイドレール、３２　Ｘ軸スライダ、３３　Ｘ軸アクチュエータ、３４　Ｘ軸位置センサ、３５　Ｙ軸ガイドレール、３６　Ｙ軸スライダ、３７　Ｙ軸アクチュエータ、３８　Ｙ軸位置センサ、４０　ヘッド、４１　Ｚ軸アクチュエータ、４２　θ軸アクチュエータ、４３　マークカメラ、６０　制御装置、６１　ＣＰＵ、６２　ＲＯＭ、６３　ＨＤＤ、６４　ＲＡＭ、６５　入出力インタフェース、６６　バス、８０　管理装置、８１　ＣＰＵ、８２　ＲＯＭ、８３　ＨＤＤ、８４　ＲＡＭ、８５　入出力インタフェース、８６　バス、Ｓ　基板。

Claims (7)

  1. 　基板搬送方向に並ぶと共に基板を撮像する撮像装置をそれぞれ有する複数の部品実装機を備える部品実装システムであって、
    　部品の実装動作を行なった後の部品実装後基板を撮像し、前記部品実装後基板の撮像画像に基づく教師データを取得すると共に該取得した教師データに基づいて機械学習を行なって学習データを生成する学習装置と、
    　前記部品実装後基板を撮像し、第１検査条件または該第１検査条件よりも検査精度が劣る第２検査条件により前記学習データを用いて前記部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで前記部品実装後基板の検査を行なう検査装置と、
    　前記第２検査条件により前記部品実装後基板の検査が行なわれた場合、前記第２検査条件で検査が行なわれた旨の検査情報と前記部品実装後基板を識別する識別情報とを関連付けて該部品実装後基板の撮像画像を記憶する記憶装置と、
    　を備える部品実装システム。
  2. 　請求項１に記載の部品実装システムであって、
    　前記第１検査条件は、前記教師データが所定数取得された後に生成される学習データに基づいて前記部品実装後基板の検査を行なう条件であり、
    　前記第２検査条件は、前記教師データが前記所定数取得される前に生成される学習データに基づいて前記部品実装後基板の検査を行なう条件である、
    　部品実装システム。
  3. 　基板搬送方向に並ぶと共に基板を撮像する撮像装置をそれぞれ有する複数の部品実装機を備え、前記複数の部品実装機として、基板搬送方向における上流側に配置される上流側部品実装機と、前記上流側部品実装機よりも基板搬送方向における下流側に配置される下流側部品実装機と、前記上流側部品実装機と前記下流側部品実装機との間に配置される１台または複数台の中間部品実装機とを有し、前記上流側部品実装機が基板に下部品を実装し、前記下流側部品実装機が前記基板に実装された下部品の上に上部品を実装する部品実装システムであって、
    　前記上流側部品実装機または該上流側部品実装機よりも基板搬送方向における上流側に配置された部品実装機の撮像装置で前記下部品の実装動作が行なわれる前の下部品実装前基板を撮像し、前記上流側部品実装機または前記中間部品実装機のいずれかの撮像装置で前記下部品の実装動作が行なわれた後の下部品実装後基板を撮像し、前記下部品実装前基板の撮像画像に基づいて機械学習を行ない、前記下部品実装後基板の撮像画像に基づく教師データを取得すると共に該取得した教師データと前記下部品実装後基板の撮像画像とに基づいて機械学習を行なって下部品検査用の学習データを生成する学習装置と、
    　前記上流側部品実装機または前記中間部品実装機のいずれかの撮像装置で前記下部品実装後基板を撮像し、前記下部品検査用の学習データを用いて前記下部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで該下部品実装後基板の検査を行なう検査装置と、
    　を備える部品実装システム。
  4. 　請求項３に記載の部品実装システムであって、
    　前記上流側部品実装機および前記中間部品実装機のうち少なくとも２台の部品実装機のそれぞれに前記下部品実装後基板が配置されるのを待って、前記少なくとも２台の部品実装機の撮像装置でそれぞれ前記下部品実装後基板を撮像する、
    　部品実装システム。
  5. 　請求項４に記載の部品実装システムであって、
    　前記少なくとも２台の部品実装機の撮像装置でそれぞれ前記下部品実装後基板を撮像した後、その旨を作業者に報知する、
    　部品実装システム。
  6. 　請求項３ないし５いずれか１項に記載の部品実装システムであって、
    　前記学習装置は、前記下部品実装後基板の撮像画像を前記上部品の実装動作が行なわれる前の上部品実装前基板の撮像画像として用いて機械学習を行ない、前記下流側部品実装機または該下流側部品実装機よりも基板搬送方向における下流側に配置された部品実装機の撮像装置で前記上部品の実装動作が行なわれた後の上部品実装後基板を撮像し、前記上部品実装後基板の撮像画像に基づく教師データを取得すると共に該取得した教師データに基づいて機械学習を行なって上部品検査用の学習データを生成し、
    　前記検査装置は、前記下流側部品実装機または該下流側部品実装機よりも基板搬送方向における下流側に配置された部品実装機の撮像装置で前記上部品実装後基板を撮像し、前記上部品検査用の学習データを用いて該上部品実装後基板の撮像画像において部品を認識する画像処理を行なうことで該上部品実装後基板の検査を行なう、
    　部品実装システム。
  7. 　請求項３ないし６いずれか１項に記載の部品実装システムであって、
    　前記学習装置は、基板または下部品のロットが切り替わる度に前記上流側部品実装機または前記中間部品実装機のいずれかの撮像装置で前記下部品実装後基板を撮像し、前記下部品実装後基板の撮像画像に基づく教師データを再取得すると共に該再取得した教師データに基づいて機械学習を行なって前記下部品検査用の学習データを再生成する、
    　部品実装システム。
PCT/JP2019/026654 2019-07-04 2019-07-04 部品実装システム WO2021001995A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP19936240.1A EP3996482A4 (en) 2019-07-04 2019-07-04 COMPONENT MOUNTING SYSTEM
PCT/JP2019/026654 WO2021001995A1 (ja) 2019-07-04 2019-07-04 部品実装システム
US17/624,203 US20220408622A1 (en) 2019-07-04 2019-07-04 Component mounting system
CN201980097987.4A CN114073175B (zh) 2019-07-04 2019-07-04 元件安装系统
JP2021529657A JP7394852B2 (ja) 2019-07-04 2019-07-04 部品実装システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/026654 WO2021001995A1 (ja) 2019-07-04 2019-07-04 部品実装システム

Publications (1)

Publication Number Publication Date
WO2021001995A1 true WO2021001995A1 (ja) 2021-01-07

Family

ID=74100773

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/026654 WO2021001995A1 (ja) 2019-07-04 2019-07-04 部品実装システム

Country Status (5)

Country Link
US (1) US20220408622A1 (ja)
EP (1) EP3996482A4 (ja)
JP (1) JP7394852B2 (ja)
CN (1) CN114073175B (ja)
WO (1) WO2021001995A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1041700A (ja) * 1996-07-25 1998-02-13 Sanyo Electric Co Ltd 電子部品装着装置の装着経路設定方法およびその装置
JP2017033979A (ja) * 2015-07-29 2017-02-09 ファナック株式会社 実装タクトおよび消費電力を低減する部品マウンタ及び機械学習器
JP2018025481A (ja) * 2016-08-10 2018-02-15 オムロン株式会社 表面実装ラインの検査装置及び品質管理システム
JP2018097731A (ja) 2016-12-15 2018-06-21 株式会社Ｆｕｊｉ 画像処理システム及び画像処理方法
WO2018216075A1 (ja) * 2017-05-22 2018-11-29 株式会社Ｆｕｊｉ 画像処理装置、多重通信システム及び画像処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2570239B2 (ja) * 1991-07-30 1997-01-08 オムロン株式会社 実装部品検査用データ生成方法およびその方法の実施に用いられる実装部品検査装置
US6621566B1 (en) * 2000-10-02 2003-09-16 Teradyne, Inc. Optical inspection system having integrated component learning
JP4674220B2 (ja) * 2007-03-05 2011-04-20 ヤマハ発動機株式会社 部品移載装置、表面実装機、及び電子部品検査装置
JP5077322B2 (ja) * 2009-10-22 2012-11-21 パナソニック株式会社 部品実装システムおよび実装状態検査方法
EP3071007B1 (en) * 2013-11-11 2018-06-06 Fuji Machine Mfg. Co., Ltd. Component mounting device
JP6411028B2 (ja) * 2014-01-17 2018-10-24 株式会社Ｆｕｊｉ 管理装置
JP6375512B2 (ja) * 2014-05-27 2018-08-22 パナソニックＩｐマネジメント株式会社 部品実装ライン及び基板検査方法
JP6218094B1 (ja) * 2016-04-15 2017-10-25 Ｊｅインターナショナル株式会社 検査方法、検査装置、検査プログラム、および記録媒体
JP2017211259A (ja) * 2016-05-25 2017-11-30 株式会社シーイーシー 検査装置、検査方法、及びプログラム
KR101893831B1 (ko) * 2016-10-20 2018-08-31 주식회사 고영테크놀러지 기판 검사장치 및 이를 이용한 기판 검사방법
CN109923955B (zh) * 2016-11-14 2020-10-30 株式会社富士 保存图像的再分类系统及再分类方法
JP7122524B2 (ja) * 2017-12-05 2022-08-22 パナソニックＩｐマネジメント株式会社 検査プログラム生成システム、検査プログラムの生成方法、及び検査プログラムの生成用プログラム
KR20190084167A (ko) * 2017-12-21 2019-07-16 주식회사 고영테크놀러지 인쇄 회로 기판 검사 장치, 스크린 프린터의 결함 유형 결정 방법 및 컴퓨터 판독 가능한 기록 매체
JP6537008B1 (ja) * 2018-02-14 2019-07-03 株式会社イシダ 検査装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1041700A (ja) * 1996-07-25 1998-02-13 Sanyo Electric Co Ltd 電子部品装着装置の装着経路設定方法およびその装置
JP2017033979A (ja) * 2015-07-29 2017-02-09 ファナック株式会社 実装タクトおよび消費電力を低減する部品マウンタ及び機械学習器
JP2018025481A (ja) * 2016-08-10 2018-02-15 オムロン株式会社 表面実装ラインの検査装置及び品質管理システム
JP2018097731A (ja) 2016-12-15 2018-06-21 株式会社Ｆｕｊｉ 画像処理システム及び画像処理方法
WO2018216075A1 (ja) * 2017-05-22 2018-11-29 株式会社Ｆｕｊｉ 画像処理装置、多重通信システム及び画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3996482A4

Also Published As

Publication number Publication date
EP3996482A1 (en) 2022-05-11
CN114073175B (zh) 2023-09-22
CN114073175A (zh) 2022-02-18
US20220408622A1 (en) 2022-12-22
JP7394852B2 (ja) 2023-12-08
JPWO2021001995A1 (ja) 2021-01-07
EP3996482A4 (en) 2022-12-07

Similar Documents

Publication Publication Date Title
WO2015045002A1 (ja) 実装装置
US7676916B2 (en) Electronic component mounting system and electronic component mounting method
JP5077322B2 (ja) 部品実装システムおよび実装状態検査方法
CN110168458B (zh) 管理装置、安装关联装置及安装系统
JP4237158B2 (ja) 実装基板製造装置および製造方法
CN1942059B (zh) 标记识别方法和印刷装置
WO2004049775A1 (ja) 作業プログラム適否判定装置を含む対基板作業システムおよび作業プログラム適否判定プログラム
CN107006148B (zh) 元件安装装置及元件安装系统
CN106255402B (zh) 部件安装系统以及部件安装系统的部件安装方法
JP2019175914A (ja) 画像管理方法及び画像管理装置
WO2021001995A1 (ja) 部品実装システム
JP6259565B2 (ja) 実装管理装置、検査管理装置、実装システム、実装管理方法及びそのプログラム、ならびに検査管理方法及びそのプログラム
JP6335246B2 (ja) 検査管理装置及び検査管理方法
WO2021001996A1 (ja) 部品実装システム
CN114041332B (zh) 安装装置、安装系统以及检查安装方法
CN115700028A (zh) 元件安装系统
JP2019220718A (ja) 部品実装装置
WO2019163044A1 (ja) 部品実装システム
JP5003610B2 (ja) 基板検査方法
WO2024069783A1 (ja) 制御装置、実装装置、管理装置及び情報処理方法
JP7470908B2 (ja) 部品実装システムおよび部品実装方法ならびに部品実装装置
CN114208412B (zh) 安装装置、安装系统以及检查安装方法
WO2022269679A1 (ja) 部品実装システムの制御方法及び部品実装システム
WO2015159405A1 (ja) 対基板作業機および対基板作業システム並びに対基板作業方法
JP2022073028A (ja) 部品実装システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19936240

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021529657

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019936240

Country of ref document: EP

Effective date: 20220204