WO2024079882A1 - 生産支援装置 - Google Patents

生産支援装置 Download PDF

Info

Publication number
WO2024079882A1
WO2024079882A1 PCT/JP2022/038370 JP2022038370W WO2024079882A1 WO 2024079882 A1 WO2024079882 A1 WO 2024079882A1 JP 2022038370 W JP2022038370 W JP 2022038370W WO 2024079882 A1 WO2024079882 A1 WO 2024079882A1
Authority
WO
WIPO (PCT)
Prior art keywords
component
pair
component mounting
production
support device
Prior art date
Application number
PCT/JP2022/038370
Other languages
English (en)
French (fr)
Inventor
弘健 江嵜
聡希 竹内
Original Assignee
株式会社Fuji
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Fuji filed Critical 株式会社Fuji
Priority to PCT/JP2022/038370 priority Critical patent/WO2024079882A1/ja
Publication of WO2024079882A1 publication Critical patent/WO2024079882A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/02—Feeding of components

Definitions

  • This specification relates to a production support device.
  • Patent Document 1 A conventional method for allocating part feeders for electronic component mounters is disclosed in, for example, Patent Document 1 (hereinafter referred to as the "conventional method").
  • a part feeder row is determined in which all part feeders to be allocated to each electronic component mounter are arranged in an arbitrary order, and a predetermined number of individuals consisting of an identifier sequence are generated by associating the identifiers of each electronic component mounter with each part feeder using random numbers.
  • a genetic algorithm is applied to each of the generated individuals, with the mounting time on each electronic component mounter being used as an evaluation value, and the allocation of part feeders to each electronic component mounter is optimized so as to minimize the evaluation value.
  • a population of multiple individuals in the next generation is generated by considering all combinations of part feeders for all part feeders that form the part feeder row, and the generation of the population is then repeated to finally allocate the part feeder that minimizes the evaluation value.
  • the part feeders to be optimized are not selected in advance, so even if only some of the part feeders are different, the next generation must be generated by considering all combinations of part feeders for all part feeders that make up the part feeder row. This means that optimization takes time even if only some of the parts are different. Therefore, it is desirable to be able to perform optimization efficiently even when the number of optimization targets increases.
  • the purpose of this specification is to provide a production support device that can efficiently optimize the placement of component types.
  • a production support device including: a learning data acquisition unit that acquires, as learning data, arrangement data regarding the arrangement of a plurality of component mounting machines and component type data representing the component types of a plurality of components that each of the component mounting machines mounts on a board; a trained model storage unit that stores a trained model generated by performing machine learning on a replacement pattern in which a reward is obtained by replacing component type pairs representing component types distinguished by the component type data and mounting components by a plurality of component mounting machines; a production information acquisition unit that acquires production information including at least new arrangement data and new component type data, and instructs the component mounting machines to mount new components to produce a board; and an inference unit that uses the new arrangement data and new component type data included in the production information and the trained model to infer and output a component type pair to be replaced among the new component types distinguished by the component type data.
  • the production support device uses a trained model that has learned replacement patterns that will earn rewards when optimizing the placement of component types, making it possible to infer component type pairs that are to be replaced, i.e., effective for optimization. This eliminates the need to sequentially consider all combinations of component types to determine component type pairs that are effective for optimization for multiple component types, and by using the trained model, it is possible to selectively determine component type pairs that are effective for optimization for new component types as well. Therefore, by using the production support device, it is possible to efficiently optimize the placement of component types.
  • FIG. 1 is a diagram showing an overall configuration of a production system.
  • FIG. 2 is a diagram for explaining a plurality of component mounting machines constituting the production system of FIG. 1 .
  • FIG. 3 is a diagram showing a schematic diagram of an overall configuration of the component mounting machine shown in FIG. 2 .
  • FIG. 2 is a side view showing a schematic view of a main part of the feeder shown in FIG. 1 .
  • FIG. 2 is a top view showing a schematic diagram of a carrier tape.
  • FIG. 2 is a functional block diagram showing a configuration of a production support device.
  • 13 is a flowchart showing a learning process executed by the production support device (trained model generation unit).
  • the production support device will be described below with reference to the drawings. In this embodiment, an example will be described in which the production support device is provided in a production system in which a feeder is transported to a component mounting machine by an automatic transport machine.
  • the production system 1 includes a plurality of component mounting machines 10 (four in this embodiment) arranged in the width direction, an automatic conveyor 20, a loader device 30, a feeder 40, and a production support device 100.
  • the component mounting machine 10 is a substrate-related operation machine that performs a mounting operation of mounting a component P (e.g., an electronic component) on a substrate K as a predetermined operation.
  • the board K is transported in sequence into each component mounting machine 10, and a mounting process is performed in which the specified components are mounted in each component mounting machine 10.
  • the X-axis direction is the left-right direction (width direction) of the component mounting machine 10
  • the Y-axis direction is the front-back direction (depth direction) of the component mounting machine 10
  • the Z-axis direction is the up-down direction (vertical direction) of the component mounting machine 10.
  • the production system 1 also includes an automatic conveyor 20 that conveys and detaches (replaces) the feeders 40 for each of the component mounting machines 10.
  • an example of the automatic conveyor 20 is an AGV (Automatic Guided Vehicle), which is an unmanned transport vehicle (unmanned transport robot) that automatically moves back and forth between an automatic warehouse (not shown) and the component mounting machine 10 to convey a specified feeder 40.
  • the automatic conveyor 20 includes a detachment mechanism (e.g., a belt conveyor or an articulated robot) for attaching and detaching the feeder 40 to and from the component supply device 12 of the component mounting machine 10, which will be described later.
  • the production system 1 is equipped with a loader device 30 that replenishes parts P and changes the setup for the next production run in accordance with the production schedule.
  • the loader device 30 is disposed in front of the component mounting machine 10 (more specifically, the component supply device 12 described below) in the Y-axis direction and is movable in the X-axis direction. Note that in this embodiment, the loader device 30 is also movable in the X-axis direction across adjacent component mounting machines 10 (component supply devices 12).
  • the loader device 30 also moves the feeder 40 from the upper level to the lower level or from the lower level to the upper level in the slot 12S of the component supply device 12 described later. Furthermore, the loader device 30 moves and replaces the feeder 40 between two component mounting machines 10, i.e., between the slots 12S of the two component supply devices 12. Specifically, the loader device 30 can temporarily store (recover) the feeder 40 set in the upper level of the slot 12S, move it in the X-axis direction, and then discharge the stored (recovered) feeder 40 to the lower level and set it. The loader device 30 can temporarily store (recover) the feeder 40 set in the lower level of the slot 12S, move it in the X-axis direction, and then discharge the stored (recovered) feeder 40 to the upper level and set it.
  • the loader device 30 temporarily stores (retrieves) the feeder 40 set in the slot 12S of the component supply device 12 of one component mounting machine 10, moves it in the X-axis direction, and then ejects and sets the stored (retrieved) feeder 40 into the slot 12S of the component supply device 12 of the other component mounting machine 10, i.e., it is possible to interchange multiple feeders 40 between component mounting machines 10. This allows the loader device 30 to automatically supply components P and perform setup changes (including the replacement of feeders 40).
  • the production system 1 is provided with a management device H for controlling the entire production.
  • the management device H include a host computer or a buffer connected to each of the above-mentioned devices so that they can communicate with each other.
  • the management device H supplies various information, including production information J related to production, to each of the above-mentioned devices 10, 20, 30, 40, and 100 as necessary, as described below.
  • the component mounting machine 10 mainly comprises a board transport device 11, a component supply device 12, a component transfer device 13, a component camera 14, a board camera 15, and a control device 16.
  • the board transport device 11 is composed of a belt conveyor or the like, and transports the board K sequentially in the X-axis direction.
  • the board transport device 11 positions the board K at a predetermined position within the component mounting machine 10. Then, when the mounting operation on the positioned board K is completed, the board transport device 11 transports the board K outside the component mounting machine 10 (for example, to an adjacent component mounting machine 10).
  • the component supply device 12 supplies components P (e.g., electronic components) to be mounted on the board K.
  • the component supply device 12 has a number of slots 12S arranged in the X-axis direction, and a feeder 40 is removably set in each of the slots 12S.
  • the slots 12S are formed by an upper section and a lower section along the Z-axis direction (see FIG. 2).
  • the component supply device 12 feeds and moves a carrier tape 50 that supplies components P (described later) by the feeder 40, and supplies components P to a component supply position Ps (see FIG. 4) provided at the tip side (upper side in FIG. 3) of the feeder 40.
  • the component transfer device 13 holds the component P supplied to the component supply position Ps and mounts the held component P on the positioned board K.
  • the component transfer device 13 mainly comprises a head drive device 13A, a moving table 13B, and a mounting head 13C.
  • the head drive device 13A moves the moving table 13B in the X-axis and Y-axis directions using a linear motion mechanism.
  • the mounting head 13C is a holding device that holds the component P, and is detachably mounted on the moving stage 13B.
  • a plurality of suction nozzles 13E capable of holding the component P are detachably mounted on a nozzle holder 13D provided on the mounting head 13C.
  • the suction nozzles 13E are supported on the mounting head 13C so that they can rotate about an axis parallel to the Z-axis direction (the up and down direction of the component mounting machine 10) and can be raised and lowered.
  • the suction nozzles 13E hold the component P supplied to the component supply position Ps by suction, and mount the held component P on the positioned board K.
  • the component camera 14 and the board camera 15 are digital imaging devices having imaging elements such as CCD or CMOS.
  • the component camera 14 is fixed to the base of the component mounting machine 10 with its optical axis facing the Z-axis direction, and images the component P held by the suction nozzle 13E from below.
  • the board camera 15 is fixed to the moving stage 13B with its optical axis facing the Z-axis direction, and images the board K from above.
  • the control device 16 is a computer device whose main components are a CPU, ROM, RAM, and various interfaces, and it controls the overall operation of the component mounting machine 10. Specifically, the control device 16 operates the component mounting machine 10 by executing a control program (not shown). As a result, the component mounting machine 10 performs the mounting work of the component P, for example, according to a sequence stored in advance.
  • control device 16 causes the board camera 15 to capture an image of the board K that has been positioned by the board transport device 11. The control device 16 then processes the image captured by the board camera 15 to recognize the positioning state of the board K. The control device 16 also causes the suction nozzle 13E to pick up and hold the component P supplied by the component supply device 12, and causes the component camera 14 to capture an image of the held component P. The control device 16 then processes the image captured by the component camera 14 to recognize the posture of the component P.
  • the control device 16 executes a control program and moves the suction nozzle 13E (mounting head 13C) above a designated mounting position that is preset as the position at which the component P is to be mounted on the board K.
  • the control device 16 also corrects the designated mounting position and designated mounting angle based on the positioning state of the board K and the attitude of the component P, and sets the mounting position and mounting angle at which the component P is actually mounted.
  • the control device 16 corrects the target position (X-axis coordinates and Y-axis coordinates) and rotation angle of the suction nozzle 13E according to the mounting position and mounting angle. The control device 16 then lowers the suction nozzle 13E at the corrected rotation angle in the corrected target position, and mounts the component P on the board K. The control device 16 repeats the pick-and-place cycle as described above to perform the mounting process of mounting multiple components P on the board K.
  • Feeder 40 4 the feeder 40 includes a feeder body 41, a drive sprocket 42, a tape pressing unit 43, and a peeling unit 44.
  • the feeder 40 holds a reel R on which a carrier tape 50 containing components P for each component type is wound.
  • the feeder 40 is capable of communicating with the management device H, for example, when the feeder 40 is set in the slot 12S of the component supply device 12 of the component mounting machine 10 or when the feeder 40 is being transported by the automatic transporter 20.
  • the carrier tape 50 wound around the reel R will be described.
  • the carrier tape 50 includes a base tape 51 and a cover tape 52.
  • the base tape 51 is made of a flexible material such as paper or resin.
  • a plurality of cavities 511 capable of accommodating components P are provided at equal intervals along the longitudinal direction of the base tape 51 (the left-right direction in FIG. 5).
  • a plurality of feed holes 512 are provided at equal intervals along the longitudinal direction of the base tape 51.
  • the plurality of feed holes 512 mesh with the drive sprocket 42.
  • the cover tape 52 is formed using a transparent polymer film or the like. As shown by the dashed line in FIG. 5, the cover tape 52 covers the upper surface of the base tape 51 and prevents the component P housed in the cavity 511 from falling out.
  • the base tape 51 and the cover tape 52 are joined to each other at joint areas 501 and 502 provided on both sides (one side and the other side) of the width of the carrier tape 50 that sandwich the cavity 511.
  • the joint areas 501 and 502 are provided on one side of the width of the carrier tape 50 relative to the feed hole 512.
  • the feeder body 41 is a thin box-shaped member formed from a transparent or opaque resin plate or metal plate.
  • the side of the feeder body 41 is openable and closable, and inside the feeder body 41, as shown in FIG. 4, a drive sprocket 42, a tape pressing section 43, and a peeling section 44 are arranged.
  • the drive sprocket 42 is a sprocket that can mesh with the feed hole 512 provided in the base tape 51 of the carrier tape 50, and is rotatably provided on the feeder body 41.
  • a motor e.g., a stepping motor, etc.
  • the drive sprocket 42 is driven by the motor and transports the component P to the component supply position Ps by pitch-feeding the carrier tape 50.
  • the component supply position Ps is located above the position where the drive sprocket 42 is positioned when viewed from the direction of the rotation axis of the drive sprocket 42 (X-axis direction). This allows the feeder 40 to position the meshing position between the carrier tape 50 and the drive sprocket 42 close to the component supply position Ps, so the feeder 40 can improve the positioning accuracy of the component P transported to the component supply position Ps.
  • the tape holding unit 43 guides the carrier tape 50 pulled out from the reel R so that the component P is transported to the component supply position Ps.
  • the peeling unit 44 peels the cover tape 52 from the base tape 51 before the component P reaches the component supply position Ps, making the component P accommodated in the cavity 511 available for suction by the suction nozzle 13E (see Figure 3).
  • each component mounting machine 10 constituting the production system 1 mounts onto a board K a plurality of different types of components P supplied from each of a plurality of feeders 40 set in a plurality of slots 12S of the component supply device 12 by the automatic conveyor 20 or the loader device 30. That is, each component mounting machine 10 constituting the production system 1 performs a mounting process on the board K by picking and placing the different types of components P in order, and supplies the board K after the mounting process to, for example, an adjacent component mounting machine 10.
  • the time required for pick-and-place may differ depending on the type of component P to be mounted on the board K. Therefore, in the production system 1, there may be differences in the cycle time, which represents the time required for each component mounting machine 10 to complete mounting of the component P on the board K. If there is a large difference in cycle time in the production system 1, the component mounting machine 10 requiring a long cycle time may become a so-called bottleneck, and may reduce productivity when producing the board K.
  • optimization of the arrangement of components P (component types) mounted on board K by each of the multiple component mounting machines 10 in the production system 1 is considered, i.e., switching between component types of components P in the production system 1 is considered, in order to optimize the mounting order of components P mounted sequentially on board K by the multiple component mounting machines 10 in the production system 1.
  • a component type pair representing the component types among all the component types used in the production system 1, or a feeder pair representing the feeders 40 that supply the components P of the component types to be replaced to the component mounting machine 10 is provisionally determined. Then, for the provisionally determined component type pair (or feeder pair), the mounting process of the components P when the component types (feeders 40) are replaced is simulated, and the cycle time is measured.
  • the production system 1 is therefore equipped with a production support device 100 that infers component type pairs that represent the above-mentioned component types.
  • the production support device 100 is provided so as to be able to communicate with each of the component mounting machines 10 (feeders 40), the automatic conveyor 20, the loader device 30, and the management device H that constitute the production system 1.
  • the production support device 100 can also be, for example, a device incorporated in the management device H.
  • the production support device 100 provides support for maximizing evaluation for a preset evaluation target. An example of the evaluation target is the cycle time.
  • the production support device 100 infers and outputs component type pairs that represent component types to be replaced among the multiple component types of the components P mounted by the component mounting machine 10 according to the evaluation results of the evaluation target.
  • the production support device 100 stores a trained model generated by reinforcement learning.
  • the production support device 100 uses the trained model and production information J supplied from the management device H to infer and determine a pair of component types to be replaced among a plurality of component types of the components P used in production, specifically, a pair of feeders to be replaced among a plurality of feeders 40 set in the component mounting machine 10.
  • This allows the production system 1 to optimize the arrangement (replacement) of component types, that is, the arrangement (replacement) of the feeders 40.
  • the cycle time of each component mounting machine 10 is equalized, and the impact of bottlenecks on the overall production in the production system 1 can be reduced. It should be noted that, for example, when the leveling degree is equal to or above a certain standard, it can be considered that there is no bottleneck.
  • the production support device 100 is a device whose main components are a computer device having a CPU, ROM, RAM, and various interfaces, and includes a learning data acquisition unit 110, a trained model storage unit 130, a production information acquisition unit 140, and an inference unit 150, as shown in FIG. 6.
  • the production support device 100 also includes a trained model generation unit 120, as shown in FIG. 6.
  • the production support device 100 includes an optimizer 160 that can perform an optimization simulation using the inference result by the inference unit 150, as shown in FIG. 6.
  • the learning data acquisition unit 110 acquires, as optimization information D, which is learning data, arrangement data Da relating to the arrangement of the multiple component mounting machines 10 constituting the production system 1 and component type data Dk representing the component types of the multiple components P that each of the component mounting machines 10 mounts on the board K.
  • the learning data acquisition unit 110 also acquires, as optimization information D, cycle time data Ds representing the cycle time required for mounting processing by each component mounting machine 10 when using the arrangement of the component mounting machines 10 represented by the arrangement data Da and the components P of the component type represented by the component type data Dk (feeders 40 that supply the components P of the corresponding component type), and replacement restriction information Dj representing the mounting order of the components P that must be strictly observed.
  • each of the placement data Da, part type data Dk, cycle time data Ds, and replacement restriction information Dj included in the optimization information D is supplied from the management device H or an external device not shown. In this embodiment, the case where the data is supplied from the management device H is illustrated.
  • the production information J output by the management device H includes the number and arrangement of the component mounting machines 10 constituting the production system 1, which corresponds to the arrangement data Da, the number of feeders 40 set in each component mounting machine 10, the type and number of components P mounted on each component mounting machine 10, which corresponds to the component type data Dk, and the cycle time as an actual result or a simulation result, which corresponds to the cycle time data Ds.
  • the production information J includes control data including the designated mounting position and designated mounting angle of the components P on the board K, component information (shape, dimensions, maximum moving speed, imaging conditions, etc.), the leveling degree of the cycle time (presence or absence of a bottleneck), and equipment information that affects the efficiency of the mounting process (mounting head 13C, suction nozzle 13E, etc.). Therefore, instead of or in addition to acquiring each of the above-mentioned arrangement data Da, component type data Dk, cycle time data Ds, and replacement restriction information Dj as optimization information D, the learning data acquisition unit 110 can also acquire the production information J output by the management device H as learning data.
  • the trained model generation unit 120 generates a trained model M by repeatedly performing machine learning (reinforcement learning) on a replacement pattern in which a reward E, described below, is obtained by replacing component type pairs Cp that represent component types distinguished by the component type data Dk acquired by the training data acquisition unit 110.
  • a reward E described below
  • the component type pair Cp corresponds to the feeder pair Cf representing the feeders 40 loaded with reels R on which carrier tapes 50 containing the components P of the component type that form the component type pair Cp are wound. Therefore, instead of or in addition to machine learning (reinforcement learning) on the replacement pattern of the component type pair Cp, the trained model generation unit 120 can also generate a trained model M by repeatedly performing machine learning (reinforcement learning) on a replacement pattern in which the feeder pairs Cf are replaced and a reward E, which will be described later, is obtained by multiple component mounting machines 10 mounting the components P, instead of or in addition to machine learning (reinforcement learning) on the replacement pattern of the component type pair Cp. The generation of the trained model M by the trained model generation unit 120 will be described in detail later.
  • the trained model storage unit 130 stores the trained model M generated by the trained model generation unit 120. Therefore, the trained model storage unit 130 can store the trained model M that is updated by the trained model generation unit 120 repeatedly performing machine learning (reinforcement learning).
  • the production information acquisition unit 140 acquires production information J that includes at least new placement data Dan and new component type data Dkn, and instructs the component mounting machine 10 to mount new components P to produce a board K. Specifically, the production information acquisition unit 140 acquires production information J from the management device H when the board K is produced, in other words, when optimization of a new component type pair Cp (new feeder pair Cf) is required.
  • the inference unit 150 uses the new arrangement data Dan and new part type data Dkn included in the production information J acquired by the production information acquisition unit 140, and the learned model M stored in the learned model storage unit 130 to infer and output a part type pair Cp (feeder pair Cf) to be replaced among the new part types distinguished by the part type data Dkn.
  • the inference unit 150 can output the inferred part type pair Cp (feeder pair Cf) to the management device H (more specifically, for example, a display device (not shown) provided in the management device H) to inform a worker or the like.
  • the inference of the part type pair Cp (feeder pair Cf) by the inference unit 150 will be described in detail later.
  • the optimizer 160 performs a simulation of the mounting process of the component mounting machine 10 and the cycle time associated with the mounting process when the component types (feeders 40) are swapped based on the component type pair Cp (feeder pair Cf) inferred by the inference unit 150. Then, as described below, the optimizer 160 determines the reward E in the machine learning (reinforcement learning) when the trained model generation unit 120 generates the trained model M based on the simulation results, and updates the optimization information D (more specifically, for example, cycle time data Ds, etc.).
  • trained model generation unit 120 mainly includes state information acquisition unit 121, evaluation result acquisition unit 122, reward calculation unit 123, value function storage unit 124, action decision unit 125, action information output unit 126, and value function update unit 127.
  • the status information acquisition unit 121 acquires at least one of the optimization information D and production information J, which are learning data, as status information. That is, the status information acquisition unit 121 acquires at least the placement data Da and part type data Dk as learning data, and also acquires the cycle time data Ds and replacement restriction information Dj as status information.
  • the status information acquisition unit 121 mainly acquires status information from the optimizer 160, but the learning data acquisition unit 110 can also acquire status information (learning data) from the management device H as necessary.
  • the evaluation result acquisition unit 122 acquires, for a preset evaluation target, evaluation results obtained by the mounting process after replacing component type pairs Cp among the component types represented by the component type data Dk, or replacing feeder pairs Cf among the multiple feeders 40.
  • the evaluation result acquisition unit 122 acquires, as evaluation results in the mounting process after replacing component type pairs Cp or feeder pairs Cf, an increase or decrease in cycle time, whether the components P are mounted on the board K in ascending order of size, or whether the components P are mounted on the board K in ascending order of height from the surface of the board K in the Z-axis direction, and the like.
  • the evaluation result acquisition unit 122 can acquire evaluation results for the evaluation target from the optimizer 160.
  • the reward calculation unit 123 calculates reward E for the replacement of the part type pair Cp (or the replacement of the feeder pair Cf) based on the optimization information D (or production information J) based on the evaluation results of the evaluation target obtained by replacing the part type pair Cp (or the replacement of the feeder pair Cf). If the evaluation results are good, the reward calculation unit 123 gives a positive reward E for the replacement of the part type pair Cp (or the replacement of the feeder pair Cf), but if the evaluation results are not good, it gives a negative reward (penalty) for the replacement of the part type pair Cp (or the replacement of the feeder pair Cf).
  • the reward calculation unit 123 gives a positive reward E if the cycle time is reduced when simulating the mounting process after switching the component type pair Cp (or switching the feeder pair Cf) with respect to the cycle time, which is one of the evaluation results (or when actually performing the mounting process with the component mounting machine 10).
  • the reward calculation unit 123 gives a negative reward E if the cycle time is increased.
  • the reward calculation unit 123 gives a positive reward E if the mounting process after switching the component type pair Cp (or switching the feeder pair Cf) with respect to the order of placement of components P on the board K, which is one of the evaluation results (or when actually performing the mounting process with the component mounting machine 10), if the components P are placed (mounted) in order from smallest to largest, or if the components P are placed (mounted) in order from lowest to largest.
  • the reward calculation unit 123 gives a negative reward E if the components P are placed (mounted) in order from largest to largest, or if the components P are placed (mounted) in order from highest to lowest.
  • the reward calculation unit 123 calculates the reward E for each evaluation target. Furthermore, the reward calculation unit 123 grants a reward E according to the difference between the evaluation result and the standard set for each evaluation target. That is, when the difference between the evaluation result and the standard is large in the positive direction, the reward calculation unit 123 grants a larger reward E than when the difference between the evaluation result and the standard is small in the positive direction. Conversely, when the difference between the evaluation result and the standard is large in the negative direction, a larger penalty is imposed than when the difference between the evaluation result and the standard is small in the negative direction.
  • the cycle time which is one of the evaluation results, will be taken as an example for explanation.
  • the cycle time represented by the cycle time data Ds included in the optimization information D before the replacement of the component type pair Cp (or the replacement of the feeder pair Cf) is performed (a simulation is performed) is set as the reference cycle time.
  • the reward calculation unit 123 gives a larger reward E than if the shortened time is small in the positive direction.
  • the reward calculation unit 123 gives a larger reward E as the shortened time of the cycle time becomes larger (as the cycle time is shortened). Conversely, if the shortened time is large in the negative direction, that is, if the cycle time is longer than the reference cycle time, the reward calculation unit 123 gives a negative reward E or does not give a reward E.
  • the value function memory unit 124 generates a value function in reinforcement learning based on the state information (learning data) acquired by the state information acquisition unit 121 and the reward E calculated by the reward calculation unit 123.
  • the value function is a function generated in order to obtain behavioral information corresponding to the state information so as to optimize the evaluation result of the evaluation target in the learning phase.
  • the value function memory unit 124 then stores the generated value function, i.e., the learned model M, in an updatable manner. Therefore, the value function memory unit 124 also performs the function of the learned model memory unit 130.
  • the value function (trained model M) in this embodiment is an optimal action value function generated by DQN (Deep Q-Network) as a reinforcement learning algorithm.
  • the optimal action value function is found as an approximate function using a neural network, and gives the best action to be taken when a Q value (the value of reward E that can be obtained instantly according to the state) can be estimated for each action in a certain state.
  • the optimal action value function is the trained model M
  • the Q value is estimated using a neural network in which the part type pair Cp (feeder pair Cf) becomes a node in the output layer, and as a result, the part type pair Cp (feeder pair Cf) to be replaced as the "best action” is given.
  • the value function is not limited to finding the optimal action value function using DQN.
  • a "policy" is determined based on the generated value function, and the "best action” is determined based on the "policy.”
  • the behavior decision unit 125 determines a part type pair Cp of part types that can be selected from among a plurality of part types, or a feeder pair Cf of feeders 40 that can be selected from a plurality of feeders 40, based on the state information and the trained model M (optimum action value function). In this case, the behavior decision unit 125 can select the part type pair Cp (or feeder pair Cf) based on the optimal action value function (trained model M), or, if necessary, search for a part type pair Cp (or feeder pair Cf) without based on the optimal action value function (trained model M).
  • the behavior information output unit 126 outputs the contents of the decision made by the behavior decision unit 125, i.e., the component type pair Cp (or feeder pair Cf) to be replaced, to the optimizer 160 as behavior information A.
  • the optimizer 160 acquires the behavior information A and performs a simulation of the mounting process based on the virtual mounting conditions in which the component type pair Cp (or feeder pair Cf) is replaced according to the behavior information A.
  • the optimizer 160 estimates the evaluation result for the evaluation mode as the simulation result in the case where the component type pair Cp (or feeder pair Cf) is replaced according to the behavior information A.
  • the state information acquisition unit 121 acquires the virtual mounting conditions as new optimization information D (or production information J), i.e., new state information
  • the evaluation result acquisition unit 122 acquires the estimated evaluation result of the evaluation target by the optimizer 160.
  • the reward calculation unit 123 calculates the reward E for the new optimization information D (or production information J) based on the estimated evaluation result by the optimizer 160.
  • the reward calculation unit 123 calculates the evaluation of the action information A that has transitioned the state from the state information before the replacement of the component type pair Cp (or feeder pair Cf) to the new state information after the replacement of the component type pair Cp (or feeder pair Cf) as the reward E for the new state information, i.e., the optimization information D (or production information J).
  • the value function update unit 127 updates the optimal action value function stored in the value function update unit 127 based on new state information, i.e., optimization information D (or production information J), updated based on action information A, and the reward E for the new state information (optimization information D reflecting action information A).
  • new state information i.e., optimization information D (or production information J)
  • the reward E for the new state information i.e., optimization information D reflecting action information A.
  • the value function update unit 127 only needs to update the optimal action value function based on a reinforcement learning algorithm (DQN), and it is also possible not to update the optimal action value function if, for example, a negative reward E is given.
  • DQN reinforcement learning algorithm
  • the trained model generating unit 120 executes a first learning step S1 as the first step in the learning process, which is a reinforcement learning step using the estimated evaluation results by the optimizer 160.
  • the trained model generating unit 120 executes a second learning step S2, which is a reinforcement learning step using the actual evaluation results obtained by replacing the actual component type pair Cp (or feeder pair Cf) in the component mounting machine 10.
  • a provisional optimal action value function created by, for example, an operator is stored in the value function storage unit 124.
  • the state information i.e., optimization information D (or production information J)
  • optimization information D or production information J
  • the optimal action value function (value function) stored in the value function storage unit 124 in the early stages of the learning phase has much room for improvement, and the action information A obtained from the initial optimal action value function (value function) is also immature. Therefore, for example, if multiple component mounting machines 10 constituting the production system 1 perform mounting processing by switching component type pairs Cp (or feeder pairs Cf) based on immature action information A, there is a high possibility that the evaluation results of the evaluation target will be poor. As a result, for example, there is a concern that a severe bottleneck will occur in the component mounting machines 10 constituting the production system 1, causing a deterioration in productivity.
  • the trained model generation unit 120 therefore performs reinforcement learning in the early stages of the learning process using estimated evaluation results obtained by a simulation executed by the optimizer 160.
  • the trained model generation unit 120 can perform reinforcement learning using only the simulation results without actually replacing the component type pair Cp (or feeder pair Cf) in the component mounting machine 10, thereby avoiding a deterioration in productivity.
  • evaluation results for the evaluation target can be obtained in a short time compared to when reinforcement learning is performed while actually replacing the component type pair Cp (or feeder pair Cf) in the component mounting machine 10. Therefore, in the first learning process, the optimal action value function (value function) can be updated in a short time.
  • the trained model generation unit 120 performs reinforcement learning using the actual evaluation results obtained by the mounting process after the component type pair Cp (or feeder pair Cf) is actually replaced in the component mounting machine 10. This enables the trained model generation unit 120 to further improve the action information A while suppressing the occurrence of a deterioration in productivity.
  • inference unit 150 mainly includes state information acquisition unit 151, value function storage unit 152, action decision unit 153, and action information output unit 154.
  • state information acquisition unit 151, value function storage unit 152, action decision unit 153, and action information output unit 154 have the same configurations as state information acquisition unit 121, value function storage unit 124, action decision unit 125, and action information output unit 126 of trained model generation unit 120 described above, respectively.
  • step S10 the production information acquisition unit 140 of the production support device 100 acquires production information J that instructs actual production from, for example, the management device H.
  • step S11 the production support device 100 (inference unit 150) sets a component mounting machine pair Cm representing the component mounting machines 10 among the multiple component mounting machines 10 that constitute the production system 1 based on the production information J.
  • the multiple feeders 40 that can be set in each component mounting machine 10 are known, for example, from the optimization information D and production information J.
  • the component type of the component P to be mounted in each component mounting machine 10 is also known, for example, from the optimization information D and production information J.
  • the relationship between each component type of the component P and each component mounting machine 10 is also known.
  • the production support device 100 infers the part type pair Cp (or feeder pair Cf) using the optimal action value function (trained model M) as a "second step.” That is, the inference unit 150 acquires production information J including new placement data Dan and part type data Dkn of new part types as state information from the production information acquisition unit 140 by the state information acquisition unit 151. Then, the action decision unit 153 infers the part type pair Cp (or feeder pair Cf) to be replaced using the state information (production information J) acquired by the state information acquisition unit 151 and the optimal action value function (trained model M) stored in the value function storage unit 152 (trained model storage unit 130).
  • the production support device 100 switches the component type pair Cp (or the feeder pair Cf) in the component mounting machine 10. That is, the behavior information output unit 156 of the production support device 100 outputs the component type pair Cp (or the feeder pair Cf) inferred in step S11 to the management device H as behavior information A.
  • the management device H then outputs a command based on the behavior information A, specifically, a command to switch the feeders 40 that form the feeder pair Cf corresponding to the component type pair Cp, to, for example, multiple component mounting machines 10 and loader devices 30.
  • each component mounting machine 10 and loader device 30 switches the two feeders 40 identified by the component type pair Cp, specifically the feeder pair Cf, identified in the action information A.
  • the switching of the feeders 40 in the component mounting machine 10 includes, for example, changing the identification numbers (numbers corresponding to the order in which the components P are to be mounted) assigned to the slots 12S of the component supply device 12 in accordance with the switching of the feeders 40.
  • the production support device 100 acquires the cycle time required for the mounting process in the component mounting machine 10 after replacing the component type, i.e., the feeder 40. That is, the production support device 100 status information acquisition unit 151 acquires from the management device H the cycle time required for the mounting process in the component mounting machine 10 in which the feeder 40 has been replaced after the feeder 40 has been replaced.
  • step S15 the production support device 100 judges whether the cycle time acquired in step S14 has improved compared to before the feeder 40 was replaced. That is, if the cycle time after the replacement of the component type pair Cp (feeder pair Cf) acquired in step S14 is shorter than the reference cycle time before the replacement of the component type pair Cp (feeder pair Cf) included in the production information J (status information) acquired by the production information acquisition unit 140 in step S11, the cycle time has improved and the production support device 100 judges "Yes". Then, the production support device 100 returns to step S12 again and executes each step process from step S12 onwards.
  • step S12 determines "No" since the cycle time has not been improved. Then, in step S16, the production support device 100 returns the component type replaced in step S13, i.e., the feeder 40, to the state before the replacement, and proceeds to step S17.
  • the behavioral information output unit 154 of the production support device 100 outputs, for example, the feeder pair Cf (component type pair Cp) that returns the corresponding feeder 40 to its state before the swap to the management device H as behavioral information A.
  • the management device H outputs a command based on the behavioral information A, specifically, a command to return the feeders 40 that form the feeder pair Cf corresponding to the component type pair Cp to their state before the swap to, for example, the multiple component mounting machines 10 and the loader device 30.
  • each component mounting machine 10 and loader device 30 returns the component type pair Cp identified in the action information A, specifically the two feeders 40 identified by the feeder pair Cf, to the state before the replacement.
  • the replacement of the feeders 40 in the component mounting machine 10 includes, for example, changing the identification numbers (numbers corresponding to the order in which the components P are mounted) assigned to the slots 12S of the component supply device 12 in response to the replacement of the feeders 40.
  • step S17 the production support device 100 judges whether the above-mentioned component type (feeder 40) replacement, in other words, optimization consideration, has been completed for all target component mounting machine pairs Cm that can be combined with the multiple component mounting machines 10 that make up the production system 1 based on the production information J. That is, if the optimization consideration for all target component mounting machine pairs Cm has not been completed, the production support device 100 judges "No" and returns to step S11. Then, when the production support device 100 sets a new component mounting machine pair Cm in step S11, it executes each step process from step S12 onwards as described above. On the other hand, if the optimization consideration for all target component mounting machine pairs Cm has been completed, the production support device 100 judges "Yes" and proceeds to step S18, and ends the execution of the optimization program in step S16.
  • the optimization consideration for all target component mounting machine pairs Cm has been completed, the production support device 100 judges "Yes" and proceeds to step S18, and ends the execution of the optimization program in step S16.
  • all possible combinations of component mounting machine pairs Cm may include, for example, setting combinations of all component mounting machines 10 constituting the production system 1 as component mounting machine pairs Cm. Also, for example, if there are combinations of component mounting machines 10 that are expected to have effects such as shortening the cycle time, it is possible to set component mounting machine pairs Cm by selecting component mounting machines 10 that are likely to have such effects from among all component mounting machines 10.
  • the production support device 100 includes a learning data acquisition unit 110 that acquires, as learning data (optimization information D or production information J), placement data Da regarding the placement of multiple component mounting machines 10 and component type data Dk representing the component types of multiple components P that each of the component mounting machines 10 mounts on a board K; a trained model storage unit 130 that stores a trained model M generated by performing machine learning on a replacement pattern in which a reward E is obtained by replacing component type pairs Cp representing component types distinguished by the component type data Dk and having the multiple component mounting machines 10 mount the components P; a production information acquisition unit 140 that acquires production information J that includes at least new placement data Dan and new component type data Dkn and instructs the component mounting machine 10 to mount a new component P to produce a board K; and an inference unit that uses the new placement data Dan and new component type data Dkn included in the production information J and the trained model M to infer and output a component type pair Cp to be replaced among the new component types distinguished by the component type data Dk
  • the production support device 100 also includes a trained model generation unit 120 that generates a trained model M by repeatedly performing machine learning on a replacement pattern that obtains a reward E when supplying a component P to the component mounting machine 10 by replacing a component type pair Cp that is distinguished by the component type data Dk.
  • the trained model M that has learned a replacement pattern that will earn reward E can be used to infer part type pairs Cp (feeder pairs Cf) that are to be replaced, i.e., that are effective for optimization.
  • This eliminates the need to sequentially consider all combinations of part types (feeders 40) for multiple part types to determine part type pairs Cp (feeder pairs Cf) that are effective for optimization.
  • the trained model M it is possible to selectively determine part type pairs Cp (feeder pairs Cf) that are effective for optimization for new part types as well. Therefore, by using the production support device 100, the placement of part types (feeders 40) can be optimized efficiently.
  • a component mounting machine pair Cm is set by an operator or the like as the first process, and the production support device 100 is configured to replace, that is, to optimize, the feeders 40 (component types) set in the component mounting machine pair Cm selectively set as the second process. This makes it possible to reduce the number of simulations executed by the optimizer 160 in the above-described embodiment, and efficiently optimize the placement of component types.
  • the production support device 100 can infer the component mounting machine pair Cm in the same manner as inferring the component type pair Cp or feeder pair Cf as shown in Figures 7 and 9. That is, in this case, as a first step, for example, in step S11 of the above-mentioned optimization program, the component mounting machine pair Cm is inferred for the component mounting machine 10 that is likely to mount the feeder 40 (component type) to be replaced based on the trained model M and the optimization information D (or production information J).
  • the production support device 100 can infer the feeder pair Cf, i.e., the component type pair Cp, that is actually set in the component mounting machine pair Cm in the second step, thereby efficiently optimizing the arrangement of component types.
  • the reward calculation unit 123 calculates the reward E according to the evaluation result regardless of the evaluation target.
  • the trained model generation unit 120 may also include a weighting unit 128. The weighting unit 128 will be described below.
  • the weighting unit 128 weights the reward E that the reward calculation unit 123 gives to each of the multiple evaluation targets.
  • the weighting unit 128 gives a larger reward E or penalty to some of the evaluation targets than to the other evaluation targets. Therefore, the second modified example can also achieve the same effect as the above-mentioned embodiment.
  • the weighting of the reward E for each evaluation target can be set, for example, by the worker.
  • the production support device 100 infers the component type pair Cp (feeder pair Cf) based on the trained model M and the optimization information D (production information J).
  • the worker may determine the component type pair Cp and the feeder pair Cf for the limited feeders 40, i.e., the component types, set in the component mounting machines 10 that form the component mounting machine pair Cm.
  • the production support device 100 is provided with the trained model generation unit 120.
  • the trained model generation unit 120 can be provided in a device other than the production support device 100 provided in the production system 1 (for example, the management device H of the production system 1, or a computer device that can communicate with the management device H and is owned by the manufacturer that manufactures the production system 1 and the component mounting machine 10, etc.).
  • the trained model generation unit 120 provided in a device other than the production support device 100 can generate the trained model M using, for example, the optimization information D owned by the manufacturer.
  • the generated trained model M is then supplied, for example, to the management device H of the production system 1, and supplied from the management device H to the trained model storage unit 130 of the production support device 100 and stored therein. In this case, the same effect as in the above-mentioned embodiment can be obtained.
  • 1...production system 10...component mounting machine, 11...substrate conveying device, 12...component supplying device, 12S...slot, 13...component transfer device, 13A...head driving device, 13B...moving table, 13C...mounting head, 13D...nozzle holder, 13E...suction nozzle, 14...component camera, 15...substrate camera, 16...control device, 20...automatic conveying machine, 30...loader device, 40...feeder, 41...feeder main body, 42...driving sprocket, 43...tape holding section, 44...peeling section, 50...carrier tape, 501...joining section, 502...joining section, 51...base tape, 511...cavity, 512...feed hole, 52...cover tape, 100...production support device, 110...learning data acquisition section, 120...learned model generation section, 121...status information acquisition section, 122...evaluation result acquisition section , 123...reward calculation unit, 124...value function memory unit, 125...

Landscapes

  • Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

生産支援装置は、複数の部品装着機の配置に関する配置データ及び部品装着機の各々が基板に装着する複数の部品の部品種を表す部品種データを学習用データとして取得する学習用データ取得部と、部品種データによって区別される部品種同士を表す部品種ペアの入れ替えを行って複数の部品装着機が部品を装着することにより報酬が得られる入れ替えパターンに関する機械学習を行うことによって生成された学習済みモデルを記憶する学習済みモデル記憶部と、新たな配置データ及び新たな部品種データを少なくとも含み、部品装着機を用いて新たな部品を装着して基板を生産することを指示する生産情報を取得する生産情報取得部と、生産情報に含まれる新たな配置データ及び新たな部品種データと学習済みモデルとを用いて、部品種データによって区別される新たな部品種のうちの入れ替え対象となる部品種ペアを推論して出力する推論部と、を備える。

Description

生産支援装置
　本明細書は、生産支援装置に関するものである。
　従来から、例えば、特許文献１に開示された電子部品実装機のパーツフィーダ振り分け方法（以下、「従来の方法」と称呼する。）が知られている。従来の方法では、各電子部品実装機に振り分けるパーツフィーダの全てが任意の順番で並べられたパーツフィーダ列を決定し、パーツフィーダごとに各電子部品実装機の識別子を乱数によって対応させて識別子の配列からなる個体を所定の数だけ生成するようになっている。そして、従来の方法では、生成された各個体に対して各電子部品実装機での実装時間を評価値として遺伝的アルゴリズムを適用し、評価値が最小となるようにパーツフィーダの各電子部品実装機への振り分けを最適化するようになっている。
特開２０００－２６１１９０号公報
　ところで、上述した従来の方法では、パーツフィーダ列を形成する全てのパーツフィーダについて、パーツフィーダ同士の全ての組み合わせを検討することにより次の世代の複数の個体からなる集団を生成し、そして、集団の生成を繰り返すことによって、最終的に、評価値が最小となるパーツフィーダを振り分ける。この場合、パーツフィーダの数が増える程、最終的にパーツフィーダの振り分けを最適化するまでに時間を要することになる。
　又、従来の方法では、最適化の対象となるパーツフィーダを予め選択しないため、例えば、一部のパーツフィーダが異なるだけであっても、パーツフィーダ列を形成する全てのパーツフィーダについて、パーツフィーダ同士の全ての組み合わせを検討することによって次の世代を生成する必要がある。このため、一部が異なるだけの場合であっても、最適化に時間を要することになる。従って、最適化の対象が増えた場合であっても、効率良く最適化が行えることが望まれている。
　本明細書は、効率良く部品種の配置の最適化を行うことができる生産支援装置を提供することを目的とする。
　本明細書は、複数の部品装着機の配置に関する配置データ及び部品装着機の各々が基板に装着する複数の部品の部品種を表す部品種データを学習用データとして取得する学習用データ取得部と、部品種データによって区別される部品種同士を表す部品種ペアの入れ替えを行って複数の部品装着機が部品を装着することにより報酬が得られる入れ替えパターンに関する機械学習を行うことによって生成された学習済みモデルを記憶する学習済みモデル記憶部と、新たな配置データ及び新たな部品種データを少なくとも含み、部品装着機を用いて新たな部品を装着して基板を生産することを指示する生産情報を取得する生産情報取得部と、生産情報に含まれる新たな配置データ及び新たな部品種データと学習済みモデルとを用いて、部品種データによって区別される新たな部品種のうちの入れ替え対象となる部品種ペアを推論して出力する推論部と、を備えた、生産支援装置を開示する。
　本明細書では、出願当初の請求項５において、「請求項１又は２記載の生産支援装置」を「請求項１－４の何れか一項に記載の生産支援装置」に変更した技術的思想も開示されている。又、本明細書では、出願当初の請求項７において、「請求項１又は２に記載の生産支援装置」を「請求項１－６の何れか一項に記載の生産支援装置」に変更した技術的思想も開示されている。更に、本明細書では、出願当初の請求項９において、「請求項１又は２に記載の生産支援装置」を「請求項１－８の何れか一項に記載の生産支援装置」に変更した技術的思想も開示されている。
　生産支援装置によれば、部品種の配置の最適化について、報酬が得られる入れ替えパターンを学習した学習済みモデルを用いることにより、入れ替えの対象となる即ち最適化に有効な部品種ペアを推論することができる。これにより、複数の部品種について、逐次、部品種同士の全ての組み合わせを検討して最適化に有効な部品種ペアを決定する必要がなく、又、学習済みモデルを用いることによって新たな部品種についても選択的に最適化に有効な部品種ペアを決定することができる。従って、生産支援装置を用いることにより、効率良く部品種の配置の最適化を行うことができる。
生産システムの全体構成を示す図である。 図１の生産システムを構成する複数の部品装着機を説明するための図である。 図２の部品装着機の全体構成を模式的に示す図である。 図１のフィーダの要部を模式的に示した側面図である。 キャリアテープを模式的に示した上面図である。 生産支援装置の構成を示す機能ブロック図である。 生産支援装置（学習済みモデル生成部）による学習フェーズの構成を示す機能ブロック図である。 生産支援装置（学習済みモデル生成部）により実行される学習工程を示すフローチャートである。 生産支援装置（推論部）による推論フェーズの構成を示す機能ブロック図である。 生産支援装置により実行される最適化プログラムを示すフローチャートである。
　以下、生産支援装置について、図面を参照しながら説明する。本実施形態においては、自動搬送機によってフィーダが部品装着機に搬送される生産システムに生産支援装置が設けられる場合を例示して説明する。
１．生産システム１の全体構成
　最初に、図１、図２及び図３を参照して、生産システム１の全体構成を説明する。生産システム１は、幅方向に複数（本実施形態においては、４つ）並べられた部品装着機１０と、自動搬送機２０と、ローダ装置３０と、フィーダ４０と、生産支援装置１００とを備える。部品装着機１０は、所定作業として部品Ｐ（例えば、電子部品）を基板Ｋに装着する装着作業を実施する対基板作業機である。
　そして、複数の部品装着機１０によって形成される生産システム１においては、各々の部品装着機１０の内部に基板Ｋが順番に搬送され、それぞれの部品装着機１０において所定の部品を装着する装着処理が行われる。尚、以下の説明においては、Ｘ軸方向を部品装着機１０の左右方向（幅方向）とし、Ｙ軸方向を部品装着機１０の前後方向（奥行方向）とし、Ｚ軸方向を部品装着機１０の上下方向（鉛直方向）とする。
　又、生産システム１は、部品装着機１０の各々に対して、フィーダ４０を搬送して脱着する（入れ替える）自動搬送機２０を備えている。ここで、自動搬送機２０としては、例えば、図示を省略する自動倉庫と部品装着機１０との間を自動的に往復移動して、所定のフィーダ４０を搬送する無人搬送車（無人搬送ロボット）であるＡＧＶ（Automatic Guided Vehicle）等を例示することができる。尚、図示を省略するが、自動搬送機２０は、後述する部品装着機１０の部品供給装置１２に対して、フィーダ４０を脱着するための脱着機構（例えば、ベルトコンベアや多関節ロボット等）を備えている。
　更に、生産システム１は、生産スケジュールに合わせて、部品Ｐの補給や、次生産への段取り替えを行うローダ装置３０を備えている。ローダ装置３０は、Ｙ軸方向にて部品装着機１０（より詳しくは、後述する部品供給装置１２）の前方に配置されてＸ軸方向に移動可能とされる。尚、本実施形態において、ローダ装置３０は、隣接する部品装着機１０（部品供給装置１２）に対しても横断的にＸ軸方向に移動可能とされている。
　又、ローダ装置３０は、後述する部品供給装置１２のスロット１２Ｓにおいて、上段から下段へ、又は、下段から上段へフィーダ４０を移動させる。更に、ローダ装置３０は、２つの部品装着機１０の間、即ち、２つの部品供給装置１２の各々のスロット１２Ｓの間で、フィーダ４０移動させて入れ替える。具体的に、ローダ装置３０は、スロット１２Ｓの上段にセットされたフィーダ４０を一旦収容（回収）し、Ｘ軸方向に移動した後、収容（回収）したフィーダ４０を下段に排出してセットすることができる。又、ローダ装置３０は、スロット１２Ｓの下段にセットされたフィーダ４０を一旦収容（回収）し、Ｘ軸方向に移動した後、収容（回収）したフィーダ４０を上段に排出してセットすることができる。
　更に、ローダ装置３０は、一方の部品装着機１０の部品供給装置１２のスロット１２Ｓにセットされたフィーダ４０を一旦収容（回収）し、Ｘ軸方向に移動した後、収容（回収）したフィーダ４０を他方の部品装着機１０の部品供給装置１２のスロット１２Ｓに排出してセットする、即ち、部品装着機１０の間で複数のフィーダ４０を入れ替えることができる。これにより、ローダ装置３０は、部品Ｐの供給及び段取り替え（フィーダ４０の入れ替えを含む）を自動的に行うことができる。
　ここで、生産システム１においては、図１に示すように、上述した各装置１０，２０，３０，４０の他に、生産の全体をコントロールするための管理装置Ｈが設けられる。管理装置Ｈとしては、例えば、上述した各装置と通信可能に接続されたホストコンピュータやバッファ等を例示することができる。そして、管理装置Ｈは、後述するように、生産に関する生産情報Ｊを含む各種情報を、必要に応じて上述した各装置１０，２０，３０，４０，１００に供給する。
２．部品装着機１０
　部品装着機１０は、図３にて概略的に示すように、基板搬送装置１１と、部品供給装置１２と、部品移載装置１３と、部品カメラ１４と、基板カメラ１５と、制御装置１６とを主に備える。
　基板搬送装置１１は、ベルトコンベア等により構成され、基板ＫをＸ軸方向へ順次搬送する。基板搬送装置１１は、部品装着機１０の機内における所定位置に基板Ｋを位置決めする。そして、基板搬送装置１１は、位置決めされた基板Ｋに対する装着作業が終了すると、基板Ｋを部品装着機１０の機外（例えば、隣接する部品装着機１０）へ搬出する。
　部品供給装置１２は、基板Ｋに装着する部品Ｐ（例えば、電子部品）を供給する。部品供給装置１２は、Ｘ軸方向に配列された複数のスロット１２Ｓを備え、スロット１２Ｓの各々にはフィーダ４０が着脱可能にセットされる。ここで、本実施形態のスロット１２Ｓは、Ｚ軸方向に沿った上段と下段とによって形成されている（図２を参照）。部品供給装置１２は、フィーダ４０によって後述する部品Ｐを供給するキャリアテープ５０を送り移動させ、フィーダ４０の先端側（図３において上側）に設けられた部品供給位置Ｐｓ（図４を参照）に部品Ｐを供給する。
　部品移載装置１３は、部品供給位置Ｐｓに供給された部品Ｐを保持し、保持した部品Ｐを位置決めされた基板Ｋに装着する。部品移載装置１３は、ヘッド駆動装置１３Ａと、移動台１３Ｂと、装着ヘッド１３Ｃとを主に備える。ヘッド駆動装置１３Ａは、直動機構により移動台１３ＢをＸ軸方向及びＹ軸方向へ移動させる。
　装着ヘッド１３Ｃは、部品Ｐを保持する保持装置であり、移動台１３Ｂに対して着脱可能に設けられる。そして、装着ヘッド１３Ｃに設けられたノズルホルダ１３Ｄには、部品Ｐを保持可能な複数の吸着ノズル１３Ｅが着脱可能に設けられる。吸着ノズル１３Ｅは、装着ヘッド１３Ｃに対して、Ｚ軸方向（部品装着機１０の上下方向）に平行な軸線の回りに回転可能に、且つ、昇降可能に支持される。吸着ノズル１３Ｅは、部品供給位置Ｐｓに供給された部品Ｐを吸着により保持し、その保持した部品Ｐを位置決めされた基板Ｋに装着する。
　部品カメラ１４及び基板カメラ１５は、ＣＣＤやＣＭＯＳ等の撮像素子を有するデジタル式の撮像装置である。部品カメラ１４は、光軸をＺ軸方向へ向けた状態で部品装着機１０の基台に固定され、吸着ノズル１３Ｅに保持された部品Ｐを下方から撮像する。基板カメラ１５は、光軸をＺ軸方向へ向けた状態で移動台１３Ｂに固定され、基板Ｋを上方から撮像する。
　制御装置１６は、ＣＰＵ、ＲＯＭ、ＲＡＭ、各種インターフェースを主要構成部品とするコンピュータ装置であり、部品装着機１０の作動を統括的に制御する。具体的に、制御装置１６は、図示省略の制御プログラムを実行することにより、部品装着機１０を作動させる。これにより、部品装着機１０は、例えば、予め記憶されたシーケンスに従い、部品Ｐの装着作業を実施する。
　例えば、制御装置１６は、基板搬送装置１１によって位置決めされた基板Ｋを基板カメラ１５に撮像させる。そして、制御装置１６は、基板カメラ１５によって撮像された画像を画像処理し、基板Ｋの位置決め状態を認識する。又、制御装置１６は、部品供給装置１２によって供給された部品Ｐを吸着ノズル１３Ｅに採取させて保持させ、保持されている部品Ｐを部品カメラ１４に撮像させる。そして、制御装置１６は、部品カメラ１４によって撮像された画像を画像処理し、部品Ｐの姿勢を認識する。
　制御装置１６は、制御プログラムを実行し、基板Ｋに部品Ｐを装着する位置として予め設定されている指定装着位置の上方に向かって吸着ノズル１３Ｅ（装着ヘッド１３Ｃ）を移動させる。又、制御装置１６は、基板Ｋの位置決め状態や部品Ｐの姿勢等に基づいて指定装着位置や指定装着角度を補正し、実際に部品Ｐを装着する装着位置及び装着角度を設定する。
　制御装置１６は、装着位置及び装着角度に合わせて、吸着ノズル１３Ｅの目標位置（Ｘ軸座標及びＹ軸座標）と回転角度とを補正する。そして、制御装置１６は、補正された目標位置において補正された回転角度で吸着ノズル１３Ｅを降下させ、基板Ｋに部品Ｐを装着する。制御装置１６は、上述したようにピックアンドプレースサイクルを繰り返すことにより、基板Ｋに複数の部品Ｐを装着する装着処理を行う。
３．フィーダ４０
　フィーダ４０は、図４に示すように、フィーダ本体４１と、駆動スプロケット４２と、テープ押え部４３と、剥離部４４とを備える。フィーダ４０は、部品種ごとに部品Ｐを収容したキャリアテープ５０が巻回されたリールＲを保持する。フィーダ４０は、例えば、部品装着機１０の部品供給装置１２のスロット１２Ｓにセットされた状態で、又は、自動搬送機２０によって搬送されている状態で、管理装置Ｈと通信することが可能である。
　ここで、リールＲに巻回されるキャリアテープ５０について、説明しておく。キャリアテープ５０は、図５に示すように、ベーステープ５１と、カバーテープ５２とを備える。ベーステープ５１は、紙材や樹脂等の柔軟な材料を用いて形成される。ベーステープ５１の幅方向の一方側（図５における下側）には、部品Ｐを収容可能な複数のキャビティ５１１がベーステープ５１の長手方向（図５における左右方向）に沿って等間隔に設けられる。又、ベーステープ５１の幅方向の他方側（図５において上側）には、複数の送り孔５１２がベーステープ５１の長手方向に沿って等間隔に設けられる。複数の送り孔５１２は、駆動スプロケット４２に歯合する。
　カバーテープ５２は、透明な高分子フィルム等を用いて形成される。カバーテープ５２は、図５にて破線により示すように、ベーステープ５１の上面を覆い、キャビティ５１１に収容された部品Ｐの脱落を防止する。又、ベーステープ５１とカバーテープ５２とは、キャビティ５１１を挟んだキャリアテープ５０の幅方向の両側（一方側及び他方側）に設けられた接合部位５０１及び接合部位５０２において互いに接合されている。ここで、接合部位５０１及び接合部位５０２は、送り孔５１２よりもキャリアテープ５０の幅方向の一方側に設けられる。
　フィーダ４０の説明に戻り、フィーダ本体４１は、透明又は不透明の樹脂板又は金属板等によって形成された薄い箱状の部材である。フィーダ本体４１の側面は、図示を省略するが開閉可能に設けられており、フィーダ本体４１の内部には、図４に示すように、駆動スプロケット４２、テープ押え部４３及び剥離部４４が配置される。
　駆動スプロケット４２は、キャリアテープ５０のベーステープ５１に設けられた送り孔５１２に歯合可能なスプロケットであり、フィーダ本体４１に回転可能に設けられる。駆動スプロケット４２には、図示省略の複数のギヤを介してモータ（例えば、ステッピングモータ等）が接続されている。これにより、駆動スプロケット４２は、モータによって駆動され、キャリアテープ５０をピッチ送りすることにより、部品Ｐを部品供給位置Ｐｓに搬送する。
　ここで、部品供給位置Ｐｓは、駆動スプロケット４２の回転軸線方向（Ｘ軸方向）から見た場合に、駆動スプロケット４２が配置される位置の上方に設けられる。これにより、フィーダ４０は、キャリアテープ５０と駆動スプロケット４２との歯合位置を部品供給位置Ｐｓに近い位置に配置することができるため、フィーダ４０は、部品供給位置Ｐｓに搬送される部品Ｐの位置決め精度を高めることができる。
　テープ押え部４３は、部品供給位置Ｐｓに部品Ｐが搬送されるように、リールＲから引き出されたキャリアテープ５０を案内する。剥離部４４は、部品Ｐが部品供給位置Ｐｓに到達するまでの間に、カバーテープ５２をベーステープ５１から剥離し、キャビティ５１１に収容された部品Ｐを吸着ノズル１３Ｅ(図３を参照)によって吸着可能な状態にする。
４．生産支援装置１００の概要
　上述したように、生産システム１を構成する各々の部品装着機１０は、自動搬送機２０又はローダ装置３０によって部品供給装置１２の複数のスロット１２Ｓにセットされた複数のフィーダ４０の各々から供給される複数の異なる部品種の部品Ｐを基板Ｋに装着する。即ち、生産システム１を構成する各々の部品装着機１０は、異なる部品種の部品Ｐを順番にピックアンドプレースすることにより基板Ｋに装着処理を施し、装着処理を施した基板Ｋを、例えば、隣接する部品装着機１０に供給する。
　ところで、複数の部品装着機１０を配置した生産システム１においては、基板Ｋに装着する部品Ｐの部品種に依存してピックアンドプレースに要する時間が異なる場合がある。従って、生産システム１においては、各々の部品装着機１０が基板Ｋへの部品Ｐの装着が完了するまでに要する時間を表すサイクルタイムに差が生じる場合がある。生産システム１において、サイクルタイムに大きな差が生じる場合には、長いサイクルタイムを要する部品装着機１０が、所謂、ボトルネックとなり、基板Ｋを生産する際の生産性を悪化させる虞がある。
　ここで、生産性を向上させる、換言すれば、ボトルネックを生じさせないようにサイクルタイムを平準化する場合、通常、生産システム１における複数の部品装着機１０の各々が基板Ｋに装着する部品Ｐ（部品種）の配置の最適化、即ち、生産システム１における部品Ｐの部品種の入れ替えが検討される。つまり、生産システム１において複数の部品装着機１０が順次基板Ｋに装着する部品Ｐの装着順序を最適化するために、部品種同士の入れ替え、即ち、部品種ごとに部品Ｐを供給するフィーダ４０同士の入れ替えが検討される。
　しかしながら、部品種同士の入れ替え（フィーダ４０同士の入れ替え）の検討においては、生産システム１において用いられる全ての部品種のうちの部品種同士を表す部品種ペア、又は、入れ替え対象となる部品種の部品Ｐを部品装着機１０に供給するフィーダ４０同士を表すフィーダペアを仮に決定する。そして、仮決定した部品種ペア（又はフィーダペア）について、部品種（フィーダ４０）を入れ替えた場合の部品Ｐの装着処理をシミュレーションし、サイクルタイムを計測する。
　通常、配置の最適化の検討においては、このような部品種ペア（又はフィーダペア）の仮決定、仮決定した部品種ペア（フィーダペア）についての装着処理のシミュレーション、及び、シミュレーション結果であるサイクルタイムの評価を、例えば、生産システム１において用いられる全ての部品種（フィーダ４０）を組み合わせて行う。このため、部品種、即ち、フィーダ４０、或いは、部品装着機１０の数が増える程、配置の最適化に関する検討の内容が複雑化すると共に、サイクルタイムの評価、つまり、ボトルネックの解消が可能な部品種の配置（フィーダ４０の配置）の最適化を実現する最適解を得るまでに膨大な時間が必要になる。
　そこで、生産システム１は、上述した部品種同士を表す部品種ペアを推論する生産支援装置１００を備えている。生産支援装置１００は、生産システム１を構成する各部品装着機１０（フィーダ４０）、自動搬送機２０、ローダ装置３０、及び、管理装置Ｈと通信可能に設けられる。尚、生産支援装置１００は、例えば、管理装置Ｈに組み込まれた装置とすることもできる。生産支援装置１００は、予め設定された評価対象に関して、評価を最大化するための支援を行う。評価対象としては、例えば、サイクルタイムを例示することができる。生産支援装置１００は、評価対象の評価結果に応じて、部品装着機１０において装着される部品Ｐの複数の部品種のうちの入れ替え対象となる部品種同士を表す部品種ペアを推論して出力する。
　具体的に、生産支援装置１００は、強化学習によって生成された学習済みモデルが記憶されている。そして、生産支援装置１００は、学習済みモデルと管理装置Ｈから供給される生産情報Ｊとを用いて、生産に用いられる部品Ｐの複数の部品種のうちの入れ替え対象となる部品種ペア、具体的には、部品装着機１０にセットされる複数のフィーダ４０のうちの入れ替え対象となるフィーダペアを推論して決定する。これにより、生産システム１においては、部品種の配置（入れ替え）、即ち、フィーダ４０の配置（入れ替え）の最適化を図ることができる。その結果、各々の部品装着機１０のサイクルタイムが平準化され、ひいては、生産システム１におけるボトルネックの生産全体に対する影響を低減することができる。尚、ボトルネックについては、例えば、平準化度が一定基準以上の場合に「ボトルネックがない」とみなすことができる。
４－１．生産支援装置１００の構成
　次に、本実施形態の生産支援装置１００の構成を説明する。生産支援装置１００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、各種インターフェースを有するコンピュータ装置を主要構成部品とする装置であり、図６に示すように、学習用データ取得部１１０と、学習済みモデル記憶部１３０と、生産情報取得部１４０と、推論部１５０とを備えている。又、生産支援装置１００は、図６に示すように、学習済みモデル生成部１２０を備えている。更に、生産支援装置１００は、図６に示すように、推論部１５０による推論結果を用いて最適化のシミュレーションを行うことが可能なオプチマイザ１６０を備えている。
　学習用データ取得部１１０は、生産システム１を構成する複数の部品装着機１０の配置に関する配置データＤａ及び部品装着機１０の各々が基板Ｋに装着する複数の部品Ｐの部品種を表す部品種データＤｋを学習用データであるオプチマイズ情報Ｄとして取得する。又、学習用データ取得部１１０は、配置データＤａによって表される部品装着機１０の配置及び部品種データＤｋによって表される部品種の部品Ｐ（対応する部品種の部品Ｐを供給するフィーダ４０）を用いた場合に、各々の部品装着機１０にて装着処理に要するサイクルタイムを表すサイクルタイムデータＤｓ、及び、厳守すべき部品Ｐの装着順序を表す入れ替え規制情報Ｄｊもオプチマイズ情報Ｄとして取得する。
　尚、オプチマイズ情報Ｄに含まれる配置データＤａ、部品種データＤｋ、サイクルタイムデータＤｓ及び入れ替え規制情報Ｄｊの各々については、管理装置Ｈ、又は、図示省略の外部装置から供給される。本実施形態においては、管理装置Ｈから供給される場合を例示する。
　ここで、管理装置Ｈが出力する生産情報Ｊは、配置データＤａに相当する生産システム１を構成する部品装着機１０の数と配置と、各々の部品装着機１０にセットされるフィーダ４０の数と、部品種データＤｋに相当する各々の部品装着機１０において実装される部品Ｐの種類と実装数と、サイクルタイムデータＤｓに相当する実績又はシミュレーション結果としてのサイクルタイムを含んでいる。更に、生産情報Ｊは、部品Ｐの基板Ｋに対する指定装着位置及び指定装着角度を含む制御データ、部品情報（形状、寸法、最大移動速度、撮像条件等）、サイクルタイムの平準化度（ボトルネックの有無）、装着処理の効率に影響を与える機器情報（装着ヘッド１３Ｃや吸着ノズル１３Ｅ等）を含んでいる。従って、学習用データ取得部１１０は、上述した配置データＤａ、部品種データＤｋ、サイクルタイムデータＤｓ及び入れ替え規制情報Ｄｊの各々をオプチマイズ情報Ｄとして取得することに代えて、又は、加えて、管理装置Ｈから出力される生産情報Ｊを学習用データとして取得することも可能である。
　学習済みモデル生成部１２０は、学習用データ取得部１１０によって取得された部品種データＤｋによって区別される部品種同士を表す部品種ペアＣｐの入れ替えを行い、複数（例えば、２つの部品装着機１０が部品Ｐを装着することにより後述する報酬Ｅが得られる入れ替えパターンに関する機械学習（強化学習）を繰り返し行うことによって、学習済みモデルＭを生成する。ここで、上述したように、複数の部品Ｐは、各々、リールＲに巻回されたキャリアテープ５０に収容されており、リールＲは、各々、キャリアテープ５０に収容された部品Ｐを部品装着機１０に供給するフィーダ４０に装填される。
　従って、部品種ペアＣｐは、部品種ペアＣｐを形成する部品種の部品Ｐを収容しているキャリアテープ５０が巻回されたリールＲの装填されたフィーダ４０同士を表すフィーダペアＣｆに対応する。このため、学習済みモデル生成部１２０は、部品種ペアＣｐの入れ替えパターンに関する機械学習（強化学習）に代えて、又は、加えて、フィーダペアＣｆの入れ替えを行い、複数の部品装着機１０が部品Ｐを装着することにより後述する報酬Ｅが得られる入れ替えパターンに関する機械学習（強化学習）を繰り返し行うことによって、学習済みモデルＭを生成することもできる。尚、学習済みモデル生成部１２０による学習済みモデルＭの生成については、後に詳述する。
　学習済みモデル記憶部１３０は、学習済みモデル生成部１２０によって生成された学習済みモデルＭを記憶する。このため、学習済みモデル記憶部１３０は、学習済みモデル生成部１２０が機械学習（強化学習）を繰り返し行うことによって更新される学習済みモデルＭを記憶することができる。
　生産情報取得部１４０は、新たな配置データＤａｎ及び新たな部品種データＤｋｎを少なくとも含み、部品装着機１０を用いて新たな部品Ｐを装着して基板Ｋを生産することを指示する生産情報Ｊを取得する。具体的に、生産情報取得部１４０は、基板Ｋの生産に際し、換言すれば、新たな部品種ペアＣｐ（新たなフィーダペアＣｆ）の最適化が必要な際に、管理装置Ｈから生産情報Ｊを取得する。
　推論部１５０は、生産情報取得部１４０によって取得された生産情報Ｊに含まれる新たな配置データＤａｎ及び新たな部品種データＤｋｎと、学習済みモデル記憶部１３０に記憶されている学習済みモデルＭとを用いて、部品種データＤｋｎによって区別される新たな部品種のうちの入れ替え対象となる部品種ペアＣｐ（フィーダペアＣｆ）を推論して出力する。ここで、推論部１５０は、推論した部品種ペアＣｐ（フィーダペアＣｆ）を管理装置Ｈ（より詳しくは、例えば、管理装置Ｈに設けられた図示を省略する表示装置等）に出力し、作業者等に案内することができる。尚、推論部１５０による部品種ペアＣｐ（フィーダペアＣｆ）の推論については、後に詳述する。
　オプチマイザ１６０は、推論部１５０によって推論された部品種ペアＣｐ（フィーダペアＣｆ）に基づいて、部品種（フィーダ４０）の入れ替えた場合における部品装着機１０の装着処理及び装着処理に伴うサイクルタイムのシミュレーションを行う。そして、後述するように、オプチマイザ１６０は、シミュレーション結果に基づいて、学習済みモデル生成部１２０が学習済みモデルＭを生成する際の機械学習（強化学習）における報酬Ｅを確定すると共に、オプチマイズ情報Ｄ（より詳しくは、例えば、サイクルタイムデータＤｓ等）を更新する。
４－２．学習フェーズにおいて機能する学習済みモデル生成部１２０の構成
　次に、図７を参照して、学習フェーズにおいて機能する生産支援装置１００の学習済みモデル生成部１２０の構成を説明する。図７に示すように、学習済みモデル生成部１２０は、状態情報取得部１２１と、評価結果取得部１２２と、報酬算出部１２３と、価値関数記憶部１２４と、行動決定部１２５と、行動情報出力部１２６と、価値関数更新部１２７とを主に備える。
　状態情報取得部１２１は、学習用データであるオプチマイズ情報Ｄ及び生産情報Ｊのうちの少なくとも一つを状態情報として取得する。即ち、状態情報取得部１２１は、少なくとも学習用データとして配置データＤａ及び部品種データＤｋを取得し、又、サイクルタイムデータＤｓ及び入れ替え規制情報Ｄｊも状態情報として取得する。ここで、状態情報取得部１２１は、主として、オプチマイザ１６０から状態情報を取得するが、必要に応じて学習用データ取得部１１０が管理装置Ｈからも状態情報（学習用データ）を取得することができる。
　評価結果取得部１２２は、予め設定された評価対象に関して、部品種データＤｋによって表される部品種のうちの部品種ペアＣｐの入れ替え、或いは、複数のフィーダ４０のうちのフィーダペアＣｆの入れ替えを行った後の装着処理によって得られる評価結果を取得する。評価結果取得部１２２は、部品種ペアＣｐの入れ替え、或いは、フィーダペアＣｆの入れ替えを行った後の装着処理における評価結果として、サイクルタイムの増減や、部品Ｐが小さい順に基板Ｋに装着されたか、部品Ｐの基板Ｋの表面からのＺ軸方向への高さが低い順に基板Ｋに装着されたか等を取得する。評価結果取得部１２２は、評価対象に対する評価結果をオプチマイザ１６０から取得することができる。
　報酬算出部１２３は、部品種ペアＣｐの入れ替え（又はフィーダペアＣｆの入れ替え）によって得られる評価対象の評価結果に基づき、オプチマイズ情報Ｄ（又は生産情報Ｊ）に基づく部品種ペアＣｐの入れ替え（又はフィーダペアＣｆの入れ替え）に対する報酬Ｅを算出する。報酬算出部１２３は、評価結果が良好である場合に、部品種ペアＣｐの入れ替え（又はフィーダペアＣｆの入れ替え）に対してプラスの報酬Ｅを与える一方、評価結果が良好でない場合に部品種ペアＣｐの入れ替え（又はフィーダペアＣｆの入れ替え）に対してマイナスの報酬（罰則）を与える。
　例えば、報酬算出部１２３は、評価結果の一つであるサイクルタイムに関して、部品種ペアＣｐの入れ替え（又はフィーダペアＣｆの入れ替え）を行った後の装着処理をシミュレーションした場合（或いは、実際に部品装着機１０にて装着処理を行った場合）に、サイクルタイムが減少していれば、プラスの報酬Ｅを与える。一方、報酬算出部１２３は、サイクルタイムが増加していれば、マイナスの報酬Ｅを与える。又、報酬算出部１２３は、評価結果の一つである基板Ｋに対して部品Ｐの配置する順番に関して、部品種ペアＣｐの入れ替え（又はフィーダペアＣｆの入れ替え）を行った後の装着処理をシミュレーションした場合（或いは、実際に部品装着機１０にて装着処理を行った場合）に、小さな部品Ｐから順に配置（装着）されていれば、或いは、低い部品Ｐから順に配置（装着）されていれば、プラスの報酬Ｅを与える。一方、報酬算出部１２３は、大きな部品Ｐから順に配置（装着）されていれば、或いは、高い部品Ｐから順に配置（装着）されていれば、マイナスの報酬Ｅを与える。
　このように、報酬算出部１２３は、評価対象ごとに報酬Ｅを算出する。又、報酬算出部１２３は、評価対象ごとに設定された基準と評価結果との差に応じた報酬Ｅを付与する。即ち、報酬算出部１２３は、評価結果と基準との差がプラス方向に大きい場合には、評価結果と基準との差がプラス方向に小さい場合よりも大きな報酬Ｅを与える。逆に、評価結果と基準との差がマイナス方向に大きい場合には、評価結果と基準との差がマイナス方向に小さい場合よりも大きな罰則を与える。
　具体的に、評価結果の一つであるサイクルタイムを例に挙げて説明する。例えば、部品種ペアＣｐの入れ替え（又はフィーダペアＣｆの入れ替え）を行う（シミュレーションを行う）前であって、例えば、オプチマイズ情報Ｄに含まれるサイクルタイムデータＤｓによって表されるサイクルタイムを基準サイクルタイムとする。そして、報酬算出部１２３は、例えば、部品種ペアＣｐの入れ替え（又はフィーダペアＣｆの入れ替え）を行った後の装着処理のシミュレーションにおいて、サイクルタイムと基準サイクルタイムとの差である短縮時間がプラス方向に大きい場合は、短縮時間がプラス方向に小さい場合よりも大きな報酬Ｅを与える。即ち、報酬算出部１２３は、サイクルタイムの短縮時間が大きくなるにつれて（サイクルタイムが短縮されるにつれて）、大きな報酬Ｅを与える。逆に、短縮時間がマイナス方向に大きい場合、即ち、サイクルタイムが基準サイクルタイムよりも長い場合には、報酬算出部１２３は、マイナスの報酬Ｅを与えるか、或いは、報酬Ｅを与えない。
　価値関数記憶部１２４は、状態情報取得部１２１が取得した状態情報（学習用データ）と報酬算出部１２３が算出した報酬Ｅとに基づく強化学習において価値関数を生成する。ここで、価値関数は、学習フェーズにおいて、評価対象の評価結果が最適となるように状態情報に応じた行動情報を得るために生成された関数である。そして、価値関数記憶部１２４は、生成された価値関数即ち学習済みモデルＭを更新可能に記憶する。従って、価値関数記憶部１２４は、学習済みモデル記憶部１３０の機能も発揮する。
　特に、本実施形態の価値関数（学習済みモデルＭ）は、強化学習アルゴリズムとしてＤＱＮ（Deep Q-Network）により生成される最適行動価値関数である。この場合、最適行動価値関数は、ニューラルネットワークを用いた近似関数として求められ、ある状態のときの行動ごとにＱ値（状態に応じて即時的に得られる報酬Ｅの価値）が推定できた場合に取るべき最善の行動を与えるものである。即ち、最適行動価値関数を学習済みモデルＭとした場合には、状態情報によって表される「状態」を入力とすると、部品種ペアＣｐ（フィーダペアＣｆ）が出力層のノードとなるようなニューラルネットワークを用いてＱ値が推定され、その結果、「最善の行動」としての入れ替え対象となる部品種ペアＣｐ（フィーダペアＣｆ）が与えられる。
　尚、価値関数については、ＤＱＮを用いて最適行動価値関数を求める場合に限られない。例えば、Ｑ学習、Ｓａｒｓａ、モンテカルロ法等の強化学習アルゴリズムにより、価値関数を生成することも可能である。この場合には、生成された価値関数に基づく「政策」が決定され、「政策」に基づいて「最善の行動」が決定される。
　行動決定部１２５は、状態情報及び学習済みモデルＭ（最適行動価値関数）に基づき、複数の部品種のうちから選択可能な部品種同士の部品種ペアＣｐ、或いは、複数のフィーダ４０のうちから選択可能なフィーダ４０同士のフィーダペアＣｆを決定する。尚、この場合、行動決定部１２５は、最適行動価値関数（学習済みモデルＭ）に基づいて部品種ペアＣｐ（又はフィーダペアＣｆ）を選択したり、必要に応じて、最適行動価値関数（学習済みモデルＭ）に基づかずに部品種ペアＣｐ（又はフィーダペアＣｆ）を探索したりすることができる。
　行動情報出力部１２６は、行動決定部１２５による決定内容、即ち、入れ替え対象となる部品種ペアＣｐ（又はフィーダペアＣｆ）を、行動情報Ａとしてオプチマイザ１６０に出力する。この場合、オプチマイザ１６０は、行動情報Ａを取得し、行動情報Ａに従って部品種ペアＣｐ（又はフィーダペアＣｆ）を入れ替えた仮想の装着条件に基づいて装着処理のシミュレーションを行う。そして、オプチマイザ１６０は、行動情報Ａに従って部品種ペアＣｐ（又はフィーダペアＣｆ）の入れ替た場合のシミュレーション結果として、評価態様に対する評価結果を推定する。
　その後、状態情報取得部１２１は、仮想の装着条件を新たなオプチマイズ情報Ｄ（又は生産情報Ｊ）即ち新たな状態情報として取得し、評価結果取得部１２２はオプチマイザ１６０による評価対象の推定評価結果を取得する。続いて、報酬算出部１２３は、オプチマイザ１６０による推定評価結果に基づき、新たなオプチマイズ情報Ｄ（又は生産情報Ｊ）に対する報酬Ｅを算出する。つまり、報酬算出部１２３は、部品種ペアＣｐ（又はフィーダペアＣｆ）の入れ替え前の状態情報から部品種ペアＣｐ（又はフィーダペアＣｆ）の入れ替え後の新たな状態情報へ状態を遷移させた行動情報Ａに対する評価を、新たな状態情報即ちオプチマイズ情報Ｄ（又は生産情報Ｊ）に対する報酬Ｅとして算出する。
　価値関数更新部１２７は、行動情報Ａに基づいて更新した新たな状態情報即ちオプチマイズ情報Ｄ（又は生産情報Ｊ）、及び、新たな状態情報（行動情報Ａを反映したオプチマイズ情報Ｄ）に対する報酬Ｅに基づき、価値関数更新部１２７に記憶された最適行動価値関数を更新する。尚、価値関数更新部１２７は、強化学習アルゴリズム（ＤＱＮ）に基づいて最適行動価値関数を更新すればよく、例えば、マイナスの報酬Ｅが与えられた場合には、最適行動価値関数の更新を行わないことも可能である。
４－３．学習済みモデル生成部１２０の学習工程
　ここで、図８に示すフローチャートを参照して、学習フェーズにおいて学習済みモデル生成部１２０が行う学習工程を説明する。
　図８に示すように、学習済みモデル生成部１２０は、学習工程で行う最初の工程として、オプチマイザ１６０による推定評価結果を用いて強化学習を行う第一学習工程Ｓ１を実行する。その後、学習済みモデル生成部１２０は、部品装着機１０における実際の部品種ペアＣｐ（又はフィーダペアＣｆ）の入れ替えによって得られた実際の評価結果を用いて強化学習を行う第二学習工程Ｓ２を実行する。
　第一学習工程Ｓ１においては、学習済みモデル生成部１２０が強化学習による機械学習を行う際に、価値関数記憶部１２４には、例えば、作業者が作成した暫定の最適行動価値関数（価値関数）が記憶される。又、状態情報即ちオプチマイズ情報Ｄ（又は生産情報Ｊ）は、作業者が暫定的に作成する。
　つまり、学習フェーズの初期段階で価値関数記憶部１２４に記憶される最適行動価値関数（価値関数）は、改善の余地が多く、初期の最適行動価値関数（価値関数）から得られる行動情報Ａも未熟である。従って、例えば、生産システム１を構成する複数の部品装着機１０が未熟な行動情報Ａに基づいて部品種ペアＣｐ（又はフィーダペアＣｆ）を入れ替えて装着処理を行った場合には、評価対象の評価結果が良好でない可能性も高くなる。その結果、例えば、生産システム１を構成する部品装着機１０において酷いボトルネックが生じ、生産性の悪化が生じることが懸念される。
　そこで、学習済みモデル生成部１２０は、学習工程の初期段階において、オプチマイザ１６０にて実行されるシミュレーションよって得られる推定評価結果を用いて強化学習を行う。この場合、学習済みモデル生成部１２０は、実際に部品装着機１０において部品種ペアＣｐ（又はフィーダペアＣｆ）の入れ替えを行うことなく、シミュレーション結果のみを用いて強化学習を行うことができるため、生産性の悪化が生じることを回避できる。又、シミュレーション結果を用いる場合は、実際に部品装着機１０において部品種ペアＣｐ（又はフィーダペアＣｆ）の入れ替えを行いながら強化学習を行う場合と比べて、評価対象に対する評価結果を短時間で得られる。このため、第一学習工程においては、最適行動価値関数（価値関数）の更新を短時間で行うことができる。
　その後、学習済みモデル生成部１２０は、最適行動価値関数（価値関数）の更新が進み、行動情報Ａの精度が向上した段階で、部品装着機１０において実際に部品種ペアＣｐ（又はフィーダペアＣｆ）の入れ替え後の装着処理によって得られる実際の評価結果を用いて強化学習を行う。これにより、学習済みモデル生成部１２０は、生産性の悪化が発生することを抑制しつつ、行動情報Ａの更なる向上を図ることができる。
４－４．推論フェーズにおいて機能する推論部１５０の構成
　次に、図９を参照して、推論フェーズにおいて機能する生産支援装置１００の推論部１５０の構成を説明する。図９に示すように、推論部１５０は、状態情報取得部１５１と、価値関数記憶部１５２と、行動決定部１５３と、行動情報出力部１５４とを主に備える。尚、状態情報取得部１５１、価値関数記憶部１５２、行動決定部１５３、及び、行動情報出力部１５４は、それぞれ、上述した学習済みモデル生成部１２０の状態情報取得部１２１、価値関数記憶部１２４、行動決定部１２５、及び、行動情報出力部１２６と同等の構成である。
４－５．生産支援装置１００による部品種ペアＣｐの配置（入れ替え）の最適化
　次に、図１０に示す最適化プログラムのフローチャートを参照して、生産支援装置１００のうち主として推論部１５０による部品種ペアＣｐ（又はフィーダペアＣｆ）の入れ替えの最適化について説明する。最適化プログラムは、ステップＳ１０に開始される。そして、続くステップＳ１１において、生産支援装置１００は、生産情報取得部１４０が、例えば、管理装置Ｈから実際の生産を指示する生産情報Ｊを取得する。そして、生産支援装置１００（推論部１５０）は、「第一工程」として、生産情報Ｊに基づいて生産システム１を構成する複数の部品装着機１０のうちの部品装着機１０同士を表す部品装着機ペアＣｍを設定する。
　上述したように、最適化が実行される際、各々の部品装着機１０にセットされ得る複数のフィーダ４０は、例えば、オプチマイズ情報Ｄや生産情報Ｊによって既知である。換言すれば、各々の部品装着機１０において装着処理される部品Ｐの部品種も、例えば、オプチマイズ情報Ｄや生産情報Ｊによって既知である。つまり、部品Ｐの各々の部品種と各々の部品装着機１０との関係も既知である。このため、部品種の最適化を図りたい場合、第一工程として、例えば、作業者の指示に従い、推論部１５０は、生産情報Ｊに基づいて、生産システム１を構成する複数の部品装着機１０のうちの部品装着機１０同士を表す部品装着機ペアＣｍを適宜設定する。
　続く、ステップＳ１２においては、生産支援装置１００は、「第二工程」として、最適行動価値関数（学習済みモデルＭ）を用いて、部品種ペアＣｐ（又はフィーダペアＣｆ）を推論する。即ち、推論部１５０は、状態情報取得部１５１が生産情報取得部１４０から新たな配置データＤａｎ及び新たな部品種の部品種データＤｋｎを含む生産情報Ｊを状態情報として取得する。そして、行動決定部１５３は、状態情報取得部１５１が取得した状態情報（生産情報Ｊ）と、価値関数記憶部１５２（学習済みモデル記憶部１３０）に記憶されている最適行動価値関数（学習済みモデルＭ）とを用いて、入れ替え対象となる部品種ペアＣｐ（又はフィーダペアＣｆ）を推論する。
　続く、ステップＳ１３においては、生産支援装置１００は、部品装着機１０において、部品種ペアＣｐ（又はフィーダペアＣｆ）の入れ替えを行う。即ち、生産支援装置１００の行動情報出力部１５６は、前記ステップＳ１１にて推論された部品種ペアＣｐ（又はフィーダペアＣｆ）を行動情報Ａとして、管理装置Ｈに出力する。そして、管理装置Ｈは、行動情報Ａに基づく指令、具体的には、部品種ペアＣｐに対応するフィーダペアＣｆを形成するフィーダ４０同士の入れ替え指令を、例えば、複数の部品装着機１０及びローダ装置３０に出力する。
　これにより、各々の部品装着機１０及びローダ装置３０は、行動情報Ａにおいて特定された部品種ペアＣｐ、具体的には、フィーダペアＣｆによって特定される２つのフィーダ４０の入れ替えを行う。尚、部品装着機１０におけるフィーダ４０の入れ替えについては、例えば、部品供給装置１２のスロット１２Ｓに付された識別番号（部品Ｐを装着する順番に対応する番号）を、フィーダ４０の入れ替えに対応して変更することが含まれる。
　続く、ステップＳ１４においては、生産支援装置１００は、部品装着機１０において、部品種、即ち、フィーダ４０を入れ替えた後の装着処理に要するサイクルタイムを取得する。即ち、生産支援装置１００状態情報取得部１５１は、管理装置Ｈから、フィーダ４０を入れ替えた後においてフィーダ４０を入れ替えた部品装着機１０における装着処理に要するサイクルタイムを取得する。
　続く、ステップＳ１５においては、生産支援装置１００は、前記ステップＳ１４にて取得したサイクルタイムが、フィーダ４０の入れ替え前に比べて改善しているか否かを判定する。即ち、生産支援装置１００は、前記ステップＳ１４にて取得した部品種ペアＣｐ（フィーダペアＣｆ）の入れ替え後におけるサイクルタイムが、前記ステップＳ１１にて生産情報取得部１４０が取得した生産情報Ｊ（状態情報）に含まれている部品種ペアＣｐ（フィーダペアＣｆ）の入れ替え前の基準サイクルタイムに比べて短縮されていれば、サイクルタイムが改善されているため、「Ｙｅｓ」と判定する。そして、生産支援装置１００は、再び、前記ステップＳ１２に戻り、前記ステップＳ１２以降の各ステップ処理を実行する。
　一方、生産支援装置１００は、例えば、複数回の最適化（入れ替え）を行った結果、前記ステップＳ１２にて取得した部品種ペアＣｐ（フィーダペアＣｆ）の入れ替え後におけるサイクルタイムが基準サイクルタイムに比べて短縮されていなければ、サイクルタイムが改善されていないため、「Ｎｏ」と判定する。そして、生産支援装置１００は、ステップＳ１６にて、前記ステップＳ１３にて入れ替えた部品種、即ち、フィーダ４０を入れ替え前の状態に戻し、ステップＳ１７に進む。
　即ち、生産支援装置１００の行動情報出力部１５４は、例えば、該当するフィーダ４０を入れ替え前に戻すフィーダペアＣｆ（部品種ペアＣｐ）を行動情報Ａとして、管理装置Ｈに出力する。これにより、管理装置Ｈは、行動情報Ａに基づく指令、具体的には、部品種ペアＣｐに対応するフィーダペアＣｆを形成するフィーダ４０同士を入れ替え前に戻す指令を、例えば、複数の部品装着機１０及びローダ装置３０に出力する。
　これにより、各々の部品装着機１０及びローダ装置３０は、行動情報Ａにおいて特定された部品種ペアＣｐ、具体的には、フィーダペアＣｆによって特定される２つのフィーダ４０を入れ替え前の状態に戻す。尚、部品装着機１０におけるフィーダ４０の入れ替えについては、例えば、部品供給装置１２のスロット１２Ｓに付された識別番号（部品Ｐを装着する順番に対応する番号）を、フィーダ４０の入れ替えに対応して変更することが含まれる。
　ステップＳ１７においては、生産支援装置１００は、生産情報Ｊに基づき、生産システム１を構成する複数の部品装着機１０に関して組み合わせ可能な対象全ての部品装着機ペアＣｍについて、上述した部品種（フィーダ４０）の入れ替え、換言すれば、最適化の検討が完了したか否かを判定する。即ち、生産支援装置１００は、対象全ての部品装着機ペアＣｍについての最適化の検討が完了していなければ、「Ｎｏ」と判定して前記ステップＳ１１に戻る。そして、生産支援装置１００は、前記ステップＳ１１にて新たな部品装着機ペアＣｍを設定すると、上述したように、前記ステップＳ１２以降の各ステップ処理を実行する。一方、生産支援装置１００は、対象全ての部品装着機ペアＣｍについての最適化の検討が完了していれば、「Ｙｅｓ」と判定してステップＳ１８に進み、最適化プログラムの実行をステップＳ１６にて終了する。
　ここで、「組み合わせ可能な対象全ての部品装着機ペアＣｍ」については、例えば、生産システム１を構成する全ての部品装着機１０同士の組み合わせを部品装着機ペアＣｍとして設定することを含んでも良い。又、例えば、予めサイクルタイムの短縮等の効果が期待できる部品装着機１０同士の組み合わせがあれば、全ての部品装着機１０のうちから効果の期待できそうな部品装着機１０同士を選択して部品装着機ペアＣｍを設定することもできる。
　以上の説明からも理解できるように、生産支援装置１００は、複数の部品装着機１０の配置に関する配置データＤａ及び部品装着機１０の各々が基板Ｋに装着する複数の部品Ｐの部品種を表す部品種データＤｋを学習用データであるオプチマイズ情報Ｄ又は生産情報Ｊとして取得する学習用データ取得部１１０と、部品種データＤｋによって区別される部品種同士を表す部品種ペアＣｐの入れ替えを行って複数の部品装着機１０が部品Ｐを装着することにより報酬Ｅが得られる入れ替えパターンに関する機械学習を行うことによって生成された学習済みモデルＭを記憶する学習済みモデル記憶部１３０と、新たな配置データＤａｎ及び新たな部品種データＤｋｎを少なくとも含み、部品装着機１０を用いて新たな部品Ｐを装着して基板Ｋを生産することを指示する生産情報Ｊを取得する生産情報取得部１４０と、生産情報Ｊに含まれる新たな配置データＤａｎ及び新たな部品種データＤｋｎと学習済みモデルＭとを用いて、部品種データＤｋｎによって区別される新たな部品種のうちの入れ替え対象となる部品種ペアＣｐを推論して出力する推論部と、を備える。又、生産支援装置１００は、部品種データＤｋによって区別される部品種ペアＣｐの入れ替えを行って部品装着機１０に部品Ｐを供給する際に報酬Ｅが得られる入れ替えパターンに関する機械学習を繰り返し行うことにより、学習済みモデルＭを生成する学習済みモデル生成部１２０も備える。
　これによれば、部品Ｐの部品種（フィーダ４０の入れ替え）の配置の最適化について、報酬Ｅが得られる入れ替えパターンを学習した学習済みモデルＭを用いることにより、入れ替えの対象となる即ち最適化に有効な部品種ペアＣｐ（フィーダペアＣｆ）を推論することができる。これにより、複数の部品種について、逐次、部品種同士（フィーダ４０同士）の全ての組み合わせを検討して最適化に有効な部品種ペアＣｐ（フィーダペアＣｆ）を決定する必要がない。又、学習済みモデルＭを用いることにより、新たな部品種についても選択的に最適化に有効な部品種ペアＣｐ（フィーダペアＣｆ）を決定することができる。従って、生産支援装置１００を用いることにより、効率良く部品種（フィーダ４０）の配置の最適化を行うことができる。
５．第一変形例
　上述した実施形態においては、例えば、第一工程として作業者等によって部品装着機ペアＣｍが設定され、生産支援装置１００は、第二工程として選択的に設定された部品装着機ペアＣｍにセットされたフィーダ４０（部品種）を入れ替え即ち最適化の対象とすることができるようにした。これにより、上述した実施形態においては、例えば、オプチマイザ１６０が実行するシミュレーションの回数を低減することができ、効率良く部品種の配置の最適化を行うことができる。
　ところで、上述したように、各々の部品装着機１０において装着処理される部品Ｐの部品種は既知である。従って、生産支援装置１００は、上述した実施形態のように、入れ替えの対象として部品種ペアＣｐ又はフィーダペアＣｆを推論することに代えて、又は、加えて、図７及び図９に示すように、部品種ペアＣｐ又はフィーダペアＣｆの推論と同様にして部品装着機ペアＣｍを推論することも可能である。即ち、この場合には、第一工程として、例えば、上述した最適化プログラムの前記ステップＳ１１において、学習済みモデルＭとオプチマイズ情報Ｄ（又は生産情報Ｊ）とに基づいて、入れ替えの対象となるフィーダ４０（部品種）が装着される可能性の高い部品装着機１０について部品装着機ペアＣｍが推論される。これにより、上述したように、生産支援装置１００は、第二工程において、部品装着機ペアＣｍに実際にセットされるフィーダペアＣｆ即ち部品種ペアＣｐを推論することができるため、効率良く部品種の配置の最適化を図ることができる。
６．第二変形例
　又、上述した実施形態においては、学習フェーズにおいて、報酬算出部１２３は、評価対象に関係なく、評価結果に応じた報酬Ｅを算出するようにした。これに加えて、図７にて破線により示すように、学習済みモデル生成部１２０が重み付け部１２８を備えることも可能である。以下、重み付け部１２８を説明する。
　重み付け部１２８は、報酬算出部１２３が複数の評価対象の各々に対して与える報酬Ｅの重み付けを行う。つまり、重み付け部１２８は、複数の評価対象のうち一部の評価対象（例えば、サイクルタイム）の重要度が他の評価対象（例えば、部品Ｐの配置等）の重要度よりも高い場合に、一部の評価対象に対し、他の評価対象よりも与える報酬Ｅ又は罰則の程度を大きくする。従って、第二変形例においても、上述した実施形態と同様の効果が得られる。尚、各々の評価対象に対する報酬Ｅの重み付けは、例えば、作業者による設定が可能である。
７．その他の変形例
　上述した実施形態においては、生産支援装置１００が学習済みモデルＭとオプチマイズ情報Ｄ（生産情報Ｊ）とに基づいて、部品種ペアＣｐ（フィーダペアＣｆ）を推論するようにした。これに代えて、例えば、第一変形例のように、生産支援装置１００によって部品装着機ペアＣｍが推論される場合には、部品装着機ペアＣｍを形成する部品装着機１０にセットされる限られたフィーダ４０即ち部品種について、作業者が部品種ペアＣｐやフィーダペアＣｆを決定するようにしても良い。この場合においても、入れ替えの対象となる部品種（フィーダ４０）の数が限られるため、仮に作業者が部品種ペアＣｐやフィーダペアＣｆを決定したとしても、上述した従来の方法に比べて、効率良く部品種の配置の最適化を図ることが可能となる。
　更に、上述した実施形態においては、生産支援装置１００が学習済みモデル生成部１２０を備えるようにした。これに代えて、学習済みモデル生成部１２０を、生産システム１に設けられた生産支援装置１００以外の装置（例えば、生産システム１の管理装置Ｈや、管理装置Ｈと通信可能で生産システム１及び部品装着機１０を製造するメーカが所有するコンピュータ装置等）に設けることも可能である。この場合、生産支援装置１００以外の装置に設けられた学習済みモデル生成部１２０は、例えば、メーカが所有しているオプチマイズ情報Ｄを用いて学習済みモデルＭを生成することができる。そして、生成された学習済みモデルＭは、例えば、生産システム１の管理装置Ｈに供給され、管理装置Ｈから生産支援装置１００の学習済みモデル記憶部１３０に供給されて記憶される。この場合においても、上述した実施形態と同様の効果が得られる。
　１…生産システム、１０…部品装着機、１１…基板搬送装置、１２…部品供給装置、１２Ｓ…スロット、１３…部品移載装置、１３Ａ…ヘッド駆動装置、１３Ｂ…移動台、１３Ｃ…装着ヘッド、１３Ｄ…ノズルホルダ、１３Ｅ…吸着ノズル、１４…部品カメラ、１５…基板カメラ、１６…制御装置、２０…自動搬送機、３０…ローダ装置、４０…フィーダ、４１…フィーダ本体、４２…駆動スプロケット、４３…テープ押え部、４４…剥離部、５０…キャリアテープ、５０１…接合部位、５０２…接合部位、５１…ベーステープ、５１１…キャビティ、５１２…送り孔、５２…カバーテープ、１００…生産支援装置、１１０…学習用データ取得部、１２０…学習済みモデル生成部、１２１…状態情報取得部、１２２…評価結果取得部、１２３…報酬算出部、１２４…価値関数記憶部、１２５…行動決定部、１２６…行動情報出力部、１２７…価値関数更新部、１２８…重み付け部、１３０…学習済みモデル記憶部、１４０…生産情報取得部、１５０…推論部、１５１…状態情報取得部、１５２……価値関数記憶部、１５３…行動決定部、１５４…行動情報出力部、１６０…オプチマイザ、Ｐ…部品、Ｐｓ…部品供給位置、Ｒ…リール、Ｄ…オプチマイズ情報、Ｄａ…配置データ、Ｄａｎ…新たな配置データ、Ｄｋ…部品種データ、Ｄｋｎ…新たな部品種データ、Ｄｓ…サイクルタイムデータ、Ｄｊ…入れ替え規制情報、Ｊ…生産情報、Ｍ…学習済みモデル、Ｅ…報酬、Ａ…行動情報、Ｃｐ…部品種ペア、Ｃｆ…フィーダペア、Ｃｍ…部品装着機ペア、Ｈ…管理装置
 

Claims (10)

  1. 　複数の部品装着機の配置に関する配置データ及び前記部品装着機の各々が基板に装着する複数の部品の部品種を表す部品種データを学習用データとして取得する学習用データ取得部と、
    　前記部品種データによって区別される前記部品種同士を表す部品種ペアの入れ替えを行って複数の前記部品装着機が前記部品を装着することにより報酬が得られる入れ替えパターンに関する機械学習を行うことによって生成された学習済みモデルを記憶する学習済みモデル記憶部と、
    　新たな前記配置データ及び新たな前記部品種データを少なくとも含み、前記部品装着機を用いて新たな前記部品を装着して前記基板を生産することを指示する生産情報を取得する生産情報取得部と、
    　前記生産情報に含まれる新たな前記配置データ及び新たな前記部品種データと前記学習済みモデルとを用いて、前記部品種データによって区別される新たな前記部品種のうちの入れ替え対象となる前記部品種ペアを推論して出力する推論部と、
    　を備えた、生産支援装置。
  2. 　前記部品種データによって区別される前記部品種ペアの入れ替えを行って前記部品装着機に前記部品を供給する際に報酬が得られる入れ替えパターンに関する機械学習を繰り返し行うことにより、前記学習済みモデルを生成する学習済みモデル生成部を備えた、請求項１に記載の生産支援装置。
  3. 　前記報酬は、
    　前記部品種ペアの入れ替えを行った後のシミュレーションにおいて、前記部品の装着に要するサイクルタイムが短縮される場合に与えられる、請求項１又は２に記載の生産支援装置。
  4. 　前記報酬は、
    　前記部品種ペアの入れ替えを行う前の前記サイクルタイムに比べて、前記部品種ペアの入れ替えを行った後の前記サイクルタイムの短縮時間が大きくなるにつれて大きくなる、請求項３に記載の生産支援装置。
  5. 　前記報酬は、
    　前記部品種ペアの入れ替えを行った後のシミュレーションにおいて、前記部品が小さい順に前記基板に装着される場合に与えられる、請求項１又は２に記載の生産支援装置。
  6. 　前記報酬は、
    　前記部品種ペアの入れ替えを行った後のシミュレーションにおいて、前記部品の前記基板の表面からの高さが低い順に前記基板に装着される場合に与えられる、請求項５に記載の生産支援装置。
  7. 　複数の前記部品は、各々、リールに巻回されたキャリアテープに収容されており、
    　前記リールは、各々、前記キャリアテープに収容された前記部品を前記部品装着機に供給するフィーダに装填される、請求項１又は２に記載の生産支援装置。
  8. 　前記推論部は、
    　前記部品を前記部品装着機に供給する前記フィーダ同士を表すフィーダペアを前記部品種ペアとして推論して出力する、請求項７に記載の生産支援装置。
  9. 　複数の前記部品装着機のうちの前記部品装着機同士を表す部品装着機ペアを設定する第一工程と、
    　前記部品装着機ペアにおける前記部品種ペアを推論して出力する第二工程と、を実行する、請求項１又は２に記載の生産支援装置。
  10. 　前記推論部は、
    　前記生産情報と前記学習済みモデルとを用いて、前記第一工程における前記部品装着機ペアを推論して出力する、請求項９に記載の生産支援装置。
PCT/JP2022/038370 2022-10-14 2022-10-14 生産支援装置 WO2024079882A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/038370 WO2024079882A1 (ja) 2022-10-14 2022-10-14 生産支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/038370 WO2024079882A1 (ja) 2022-10-14 2022-10-14 生産支援装置

Publications (1)

Publication Number Publication Date
WO2024079882A1 true WO2024079882A1 (ja) 2024-04-18

Family

ID=90669011

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/038370 WO2024079882A1 (ja) 2022-10-14 2022-10-14 生産支援装置

Country Status (1)

Country Link
WO (1) WO2024079882A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017033979A (ja) * 2015-07-29 2017-02-09 ファナック株式会社 実装タクトおよび消費電力を低減する部品マウンタ及び機械学習器
WO2019155593A1 (ja) * 2018-02-09 2019-08-15 株式会社Ｆｕｊｉ 部品画像認識用学習済みモデル作成システム及び部品画像認識用学習済みモデル作成方法
JP2020066178A (ja) * 2018-10-25 2020-04-30 ファナック株式会社 状態判定装置及び状態判定方法
WO2021100630A1 (ja) * 2019-11-18 2021-05-27 パナソニックＩｐマネジメント株式会社 配置支援方法、学習済みモデルの生成方法、プログラム、配置支援システム及び作業システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017033979A (ja) * 2015-07-29 2017-02-09 ファナック株式会社 実装タクトおよび消費電力を低減する部品マウンタ及び機械学習器
WO2019155593A1 (ja) * 2018-02-09 2019-08-15 株式会社Ｆｕｊｉ 部品画像認識用学習済みモデル作成システム及び部品画像認識用学習済みモデル作成方法
JP2020066178A (ja) * 2018-10-25 2020-04-30 ファナック株式会社 状態判定装置及び状態判定方法
WO2021100630A1 (ja) * 2019-11-18 2021-05-27 パナソニックＩｐマネジメント株式会社 配置支援方法、学習済みモデルの生成方法、プログラム、配置支援システム及び作業システム

Similar Documents

Publication Publication Date Title
JP6732038B2 (ja) 部品実装ラインの生産管理システム及び生産管理方法
JP6267127B2 (ja) 段取り替え方法および段取り替え装置
JP5144548B2 (ja) 実装条件決定方法
WO2006064680A1 (ja) 動作時間短縮方法、動作時間短縮装置、プログラムおよび部品実装機
WO2016142989A1 (ja) 部品種割り振りの最適化方法および部品種割り振りの最適化装置
JP6572446B2 (ja) 部品実装システムおよび作業者割り当てシステムならびに作業者割り当て方法
JP5721585B2 (ja) 部品実装ライン
JP7220238B2 (ja) 管理装置、移動型作業装置、実装装置、実装システム及び管理方法
JP7203866B2 (ja) 管理装置、移動型作業装置、実装システム及び管理方法
WO2024079882A1 (ja) 生産支援装置
KR20060093118A (ko) 지지 부재 레이아웃 패턴을 결정하기 위한 장치
JP2010016266A (ja) 実装条件決定方法
CN114303450A (zh) 模拟装置以及模拟方法
WO2024079883A1 (ja) 生産支援装置
JP7133021B2 (ja) 移動作業管理装置、実装システム及び管理方法
JP6424236B2 (ja) 対基板作業管理装置
JP5038970B2 (ja) 実装条件決定方法、実装条件決定装置、部品実装方法、部品実装機およびプログラム
JP2019071477A (ja) 部品実装ラインの最適化装置および部品実装ラインの最適化方法
JP4425529B2 (ja) 電子回路部品装着方法および電子回路部品装着システム
JP5697438B2 (ja) 実装システム
JP2017045744A (ja) 基板の生産方法
JP6609893B2 (ja) 部品実装機、基板生産ライン、および部品種の割り振り方法
JP2020074472A (ja) マルチフィーダ装置
JP5885510B2 (ja) 部品実装方法
JP4754956B2 (ja) 部品実装順序決定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22962100

Country of ref document: EP

Kind code of ref document: A1